專利名稱：基于推測的社會關(guān)系的行為建議的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及從個人圖像集合來推測社會關(guān)系并建議行為方式。
背景技術(shù)：
客戶圖像集合已經(jīng)普遍深入開展。從這些集合中對有意義的信息進行語義挖掘已經(jīng)是機器學習和計算機視覺社區(qū)中的活躍的研究領(lǐng)域。大量的工作正致力于對象識別問題，即檢測特定類型的對象，例如人臉、汽車、草、水、天空等等。這項工作主要依賴于利用可在圖像中獲得的低水平視覺特征(例如顏色、紋理和線條)。近年來，對例如場景檢測和行為識別的更復雜的信息的語義提取的關(guān)注日益提高。例如，某人可能想要根據(jù)照片是拍攝于室內(nèi)還是室外來對照片進行分組，或者將工作照和休閑照分開。這一問題的解決方案主要依賴于采用衍生特征，例如出現(xiàn)在圖像中的人，某種對象在圖像中出現(xiàn)或不出現(xiàn)，等等。通常，在這種場景下采用集體推測能力。例如，對于一具體的照片，可能難以判斷其為工作還是空閑，但是看看其他位置和時間相似的照片，可能就更容易做出相同的預測。這條研究線索的目的是使人們對數(shù)字圖像集合的認識方式發(fā)生演變一從一束像素值到高復雜性且有意義的對象，可詢問所述對象以獲得信息，或以對用戶有意義的方式自動組織所述對象。隨著語義理解的進一步發(fā)展，人們能夠在觀察足夠多的圖像之后推測出現(xiàn)在相同照片中的人與人之間的關(guān)系:他們是家庭成員、朋友、僅僅是熟人、或只是偶然在相同時間和相同地點出現(xiàn)的陌生人。換言之，客戶照片通常不會和陌生人在一起拍攝，但經(jīng)常和朋友以及家人在一起拍攝。檢測和預測這樣的關(guān)系可能是朝著構(gòu)建智能照相機以及智能圖像管理系統(tǒng)前進的重要一步。已知通過分析圖像來檢測人并猜測被檢測人的年齡和性別。此外，幾種系統(tǒng)提供了基于人口統(tǒng)計學信息的廣告建議。例如，在美國專利號7，362，919中，圖像被布置在主題化冊頁上，其中圖形元素基于圖像中的人的年齡和性別。相似地，在美國專利號7，174，029中，采用視頻照相機來監(jiān)控環(huán)境、檢測人、確定某人的人口統(tǒng)計學檔案、并基于該人口統(tǒng)計學檔案向此人提供廣告。盡管這些方法對于對單個人有吸引力的廣告來說是有用的，但是對于不與單個人相關(guān)而是與多人之間共享的社會關(guān)系相關(guān)的產(chǎn)品進行廣告來說不是有效的。

發(fā)明內(nèi)容
根據(jù)本發(fā)明，提供了一種對圖像集合中的個人之間的社會關(guān)系進行分類以建議可能的行為方式的方法，包括:a)搜索該集合以識別個人，并確定他們的性別和他們的年齡范圍；b)利用所識別的個人的性別和年齡范圍推測他們之間的至少一種社會關(guān)系；以及c)利用所推測的至少一種社會關(guān)系建議可能的行為方式。本發(fā)明的特征和優(yōu)點包括利用與個人身份、年齡和性別信息相關(guān)聯(lián)的個人圖像集合來自動地發(fā)現(xiàn)出現(xiàn)在該個人圖像中的各個人之間的社會關(guān)系類型，并因此提供了一種建議可能的行為方式的系統(tǒng)，所述行為方式例如為產(chǎn)品建議、活動、共享機會或社交網(wǎng)絡(luò)鏈接。


圖1是可采用本發(fā)明的系統(tǒng)的圖示；圖2是實現(xiàn)本發(fā)明的一個實施例的流程圖；圖3是顯示社會關(guān)系類型的本體結(jié)構(gòu)的表格；圖4a和4b描述了圖像和從該圖像推測的相應的社會關(guān)系的不例；圖5描述了利用在圖像集合中發(fā)現(xiàn)的社會關(guān)系建立家庭樹，在圖像集合中搜索圖像，并向用戶提供建議的系統(tǒng)；圖6提供了示例性的圖像集合以及發(fā)現(xiàn)的社會關(guān)系；圖7描述了家庭樹；以及圖8描述了基于社會關(guān)系建議的產(chǎn)品。部件清單10本系統(tǒng)12計算裝置14索引服務器16圖像服務器20通信網(wǎng)絡(luò)22獲得個人圖像集合24識別圖像中頻繁出現(xiàn)的人(人臉檢測/識別)26提取證據(jù)，包括人的同時出現(xiàn)、人的年齡和性別28存儲識別的人和相關(guān)聯(lián)的證據(jù)30從提取的證據(jù)推測與人相關(guān)聯(lián)的社會關(guān)系32針對推測的社會關(guān)系搜索/組織圖像集合35社會關(guān)系類型的本體結(jié)構(gòu)40示例圖像42示例關(guān)系50示例圖像52示例關(guān)系102圖像集合104社會關(guān)系檢測器106社會關(guān)系108建議器110可能行為方式112存儲器114家庭樹116關(guān)系詢問
118圖像選擇器120詢問輸出122顯示器124用戶輸入126地理位置130兄妹的圖像132母女的圖像134兄妹的圖像136圖像138圖像140母子社會關(guān)系142基于社會關(guān)系的圖形。
具體實施例方式本發(fā)明是一種在客戶圖像集合中自動檢測社會關(guān)系的方法。例如，給定兩張出現(xiàn)在圖像中的人臉，人們意欲推測他們彼此是配偶而不僅僅是朋友。甚至在掌握了關(guān)于各個人臉的年齡、性別和身份的 附加信息時，該任務也是極其困難的。照片中可能存在什么樣的信息從而能夠區(qū)分“朋友”或“配偶”關(guān)系呢？但是當集體地觀察一組相關(guān)的照片時，該任務就容易處理得多了。具體地，第三方個人(除了照片中的主人公和拍照師之外)可基于經(jīng)驗規(guī)則對上述任務進行很好的猜測，所述經(jīng)驗規(guī)則例如:a)夫妻通常傾向于只拍攝他們自己，相反地，朋友通常成群出現(xiàn)，以及b)有小孩的夫妻通常和他們的孩子一起出現(xiàn)在照片中。該方法的優(yōu)點是人們甚至可以說出關(guān)于在給定的集合中從未(或很少)一起拍照的某些人之間的關(guān)系的有意義的東西。例如，如果A(男性)和小孩出現(xiàn)在一組照片中，B(女性)和同一小孩出現(xiàn)在其他照片中，并且A和B出現(xiàn)在幾張其他照片中，那么很可能他們是配偶關(guān)系，并且是和他們一起照相的這個小孩的父母。本發(fā)明以有意義的方式獲取上述經(jīng)驗規(guī)則。在建立這些規(guī)則時，需要考慮幾個關(guān)鍵問題:(a)這些畢竟只是經(jīng)驗規(guī)則，因此不總是正確的。(b)可以同時采用很多規(guī)則，必須小心地組合這些規(guī)則。(c)在某些場景下，很多規(guī)則可能彼此沖突。解決這些問題的一個好方法是馬爾可夫邏輯(“馬爾可夫邏輯網(wǎng)絡(luò)”(“MarkovLogic Networks”)，作者 M.Richardson 和 P.Domingos,發(fā)表于 Machine Learning, 62:107-136，pp.1-43,01/26/2006.6)，其提供了一種以數(shù)學的合理途徑組合一階邏輯規(guī)則的框架。每個規(guī)則被視為軟約束(與邏輯中的硬約束相反)，其重要性由與之相關(guān)聯(lián)的真值權(quán)重確定。權(quán)重越高，規(guī)則越重要。換言之，給出兩個沖突的規(guī)則，在其他各方面都相同的情況下，應確信具有更高權(quán)重的規(guī)則的置信度更高。權(quán)重可以從訓練數(shù)據(jù)學習。進一步地，除了由本領(lǐng)域?qū)＜姨峁┑囊?guī)則之外，馬爾可夫邏輯也提供了利用該數(shù)據(jù)學習新規(guī)則的能力，從而增強了背景知識。然后利用這些學習的規(guī)則(以及它們的權(quán)重)在可能的關(guān)系組上進行集體推測。如后文所述，也可采用噪聲預測器(用于年齡和性別)作為系統(tǒng)的輸入，來構(gòu)建用來預測關(guān)系、年齡和性別的集體模型。預測了一個元素有助于預測其他元素，反之亦然。例如，確認兩個人性別相同可以幫助排除配偶關(guān)系，反之亦然。對一個照片的推測可延及其他照片，從而提高整體準確度。統(tǒng)計關(guān)系模型將例如一階邏輯的關(guān)系語言能力和例如馬爾可夫網(wǎng)絡(luò)的概率模型相結(jié)合。這提供了為范圍內(nèi)的關(guān)系(例如我們的情況中的各種社會關(guān)系)明確地建模的能力，同時也明確地考慮到不確定性(例如經(jīng)驗規(guī)則不可能總是正確)。近年來，在這個領(lǐng)域有大量的研究。能力最強的這類模型之一是馬爾可夫邏輯(馬爾可夫網(wǎng)絡(luò)(“Markov LogicNetworks” )，作者 M.Richardson 和 P.Domingos,發(fā)表于 Machine Learning, 62: 107-136,PP.1-43,01/26/2006)。其結(jié)合了一階邏輯能力和馬爾可夫網(wǎng)絡(luò)來限定潛在對象的特征分布(例如在我們的范圍內(nèi)的年齡、性別、面部特征)和他們之間的關(guān)系(例如在我們的范圍內(nèi)的各種社會關(guān)系)。這是通過為一階原理中的每個公式附加真值權(quán)重來實現(xiàn)的，其中權(quán)重(粗略地)表示了公式的重要性。形式上，馬爾可夫網(wǎng)絡(luò)L被定義為一組對(Fi，wi)，F(xiàn)i是一階邏輯的公式，wi是實數(shù)。給定一組常數(shù)C,基礎(chǔ)訓練預測(ground predicates)集合X
的特定配置X的概率如下:
權(quán)利要求
1.一種對圖像集合中的個人之間的社會關(guān)系進行分類以建議可能行為方式的方法，該方法包括: a)搜索所述集合以識別個人并確定他們的性別和他們的年齡范圍； b)利用識別的個人的所述性別和年齡范圍來推測他們之間的至少一種社會關(guān)系；以及 c)利用至少一種推測的社會關(guān)系來建議可能行為方式。
2.根據(jù)權(quán)利要求1所述的方法，其中所述可能行為方式包括建議產(chǎn)品廣告、針對特定的一個或多個產(chǎn)品的潛在客戶、圖像產(chǎn)品、活動、共享機會、或在線社交網(wǎng)絡(luò)中的鏈接。
3.根據(jù)權(quán)利要求2所述的方法，其中所述產(chǎn)品廣告提供給集合擁有者，所述廣告中的產(chǎn)品涉及特定節(jié)日。
4.根據(jù)權(quán)利要求1所述的方法，其中所述可能行為方式被建議給除了集合擁有者之外的人。
5.根據(jù)權(quán)利要求2所述的方法，其中所述圖像產(chǎn)品與來自所述圖像集合的圖像結(jié)合，其中所述推測的社會關(guān)系發(fā)現(xiàn)自所述圖像集合。
6.根據(jù)權(quán)利要求2所述的方法，其中所述活動包括教育活動、與運動相關(guān)的活動、與興趣愛好相關(guān)的活動、或與健康或醫(yī)藥相關(guān)的活動。
7.根據(jù)權(quán)利要求1所述的方法，其中集合擁有者的地理位置被用來建議所述行為方式。
8.一種從圖像集合產(chǎn)生家庭樹的方法，該方法包括: a)搜索集合以識別個人，并確定他們的性別和他們的年齡范圍； b)利用識別的所述個人的所述性別和年齡范圍來推測個人之間的至少兩種社會關(guān)系; c)利用至少兩種推測的社會關(guān)系來產(chǎn)生家庭樹；以及 d)存儲所述家庭樹,使所述家庭樹與所述集合關(guān)聯(lián)。
9.根據(jù)權(quán)利要求8所述的方法，進一步包括基于所述家庭樹搜索圖像集合。
10.一種將圖像集合中的個人之間的社會關(guān)系進行分類以搜索圖像集合的方法，該方法包括: a)搜索所述集合以識別個人并確定他們的性別和他們的年齡范圍； b)利用識別的所述個人的所述性別和年齡范圍推測個人之間的至少一種社會關(guān)系；以及 c)基于推測的所述社會關(guān)系搜索圖像集合。
全文摘要
一種對圖像集合中的個人之間的社會關(guān)系進行分類以建議可能行為方式的方法，該方法包括搜索所述集合以識別個人并確定他們的性別和他們的年齡范圍；利用識別的個人的所述性別和所述年齡范圍來推測他們之間的至少一種社會關(guān)系；以及利用推測的至少一種社會關(guān)系建議可能行為方式。
文檔編號G06Q30/02GK103119620SQ200980138668
公開日2013年5月22日 申請日期2009年10月20日 優(yōu)先權(quán)日2008年10月25日
發(fā)明者A·C·加拉格爾, J·羅 申請人:高智83基金會有限責任公司