專利名稱：圖像檢索設備和圖像顯示裝置及其方法
技術領域：
本發(fā)明涉及從多個圖像數據中檢索包含人臉的圖像數據的圖像檢索設備，顯示圖像的圖像顯示裝置及其方法，以及保存應用了該檢索方法的程序的存儲介質。
背景技術：
近年來，由于數字照相機和數字攝像機的普及，個人保持大量數字圖像數據的情況增多了。這樣，當保持的圖像數據量變得很龐大時，用于從中檢索所需要的數字圖像數據的方法就變得重要了。例如，作為檢索方法的一種，尋求從數字圖像數據中只檢索拍攝的人臉的部分，或只檢索拍攝的特定的人臉的部分。
通過進行這樣的檢索，能夠進行只將反映特定的人的數字圖像數據收存到特定的文件夾，或只切出臉部、和其它的數字圖像數據進行合成等處理。
作為從包含人臉的圖像數據檢索該臉區(qū)域的技術，為了檢索特定的人，將表征該人臉的數據作為基準臉數據預先登錄，比較該已登錄的基準臉數據和檢索對象的圖像數據，檢索具有與該基準臉數據近似的臉數據的圖像區(qū)域(日本特開2002-183734號公報)。
可是，在進行上述圖像檢索時，必須預先登錄作為基準的臉數據，如以下說明的那樣，該操作較為麻煩，不適合作為民用設備。
具體地說明一下，首先，當登錄作為檢索對象的基準的臉數據時，指定包含想登錄的臉的圖像文件，顯示該圖像文件的圖像數據，指定該圖像中的想登錄的臉區(qū)域，登錄作為基準的臉。此時，從該臉的圖像數據中抽取出表征該臉的特征數據，將該特征數據作為基準臉數據保存。
接著，在進行檢索時，當指定成為檢索對象的圖像文件時，比較表征作為基準的臉的基準臉數據，和作為檢索對象的圖像文件的圖像數據，檢索包含與目的臉最相似的臉的圖像數據。
如上說明的那樣，在以往的檢索裝置中，想檢索的基準臉數據的登錄和圖像數據中的臉的檢索是分開操作的。因此，由于對于以檢索為目的的用戶而言，必須預先進行登錄基準臉數據這一麻煩的操作，所以，特別是對民用設備的用戶來說，不太合適。
另外，在檢索人臉時，如何讓用戶看見臉，這樣的用戶接口也很重要。
在日本特開平10-334213號公報所述的“圖像處理裝置和存儲圖像處理裝置控制程序的介質”中，公開了以下內容對包含人像的數字圖像數據，通過比較圖像的顏色數據和預先準備好的臉識別顏色數據檢測臉區(qū)域，并以補色數據反轉顯示具有最大面積的臉區(qū)域，從而提示用戶檢索對象的臉區(qū)域在哪里。另外，通過觸摸“選擇”按鈕，檢測具有次大的面積的臉區(qū)域，反轉顯示該臉區(qū)域。
但是，在該日本特開平10-334213號公報中，公開了在1張數字圖像數據中，通過“選擇”按鈕，依次反轉顯示多個臉區(qū)域的方法，但沒有公開任何關于具有臉區(qū)域的數字圖像數據為多個時的用戶接口的技術。
另外，實際上，在用戶進行臉檢索時，一般都是檢索多個數字圖像數據，因此，存在必須具備與此相應的用戶接口這一問題。

發(fā)明內容
本發(fā)明正是鑒于上述問題而完成的，本發(fā)明的特征在于，提供一種圖像檢索設備及其方法和存儲介質，可以容易地進行作為檢索基準的基準臉數據的登錄和使用該基準臉數據的檢索處理。
另外，本發(fā)明的特征還在于，提供一種圖像顯示裝置及其方法，可以從多個數字圖像數據中顯示所期望的數字圖像數據，并可以通過簡單的操作在顯示畫面上顯示數字圖像數據中的臉區(qū)域。
下面，參照附圖闡明本發(fā)明的其他特征和優(yōu)點。此外，在附圖中，對相同或相似的結構添加相同的標號。


附圖包含在說明書中，構成說明書的一部分，表示本發(fā)明的實施方式，并與說明書的記述一起，說明本發(fā)明的原理。
圖1是表示本發(fā)明的第1實施例的檢索裝置的結構的框圖。
圖2是說明第1實施例的檢索裝置中的檢索處理的流程圖。
圖3是表示用于在第1實施例的檢索裝置中，指定檢索對象的圖像的窗口顯示例的圖。
圖4是表示在圖2的步驟S102中，顯示在顯示單元的窗口例的圖。
圖5是表示在圖2的步驟S104中，顯示在顯示單元的用戶接口畫面例的圖。
圖6是表示本發(fā)明的第2實施例的圖像顯示裝置的結構例的框圖。
圖7是表示存儲由第2實施例的臉區(qū)域檢測單元檢測出的臉區(qū)域的文件結構的一例的圖。
圖8是表示第2實施例的用戶接口的例子的圖。
圖9是說明通過第2實施例的圖像顯示裝置的操作單元，指示“后退”按鈕時的顯示圖像控制單元的動作的流程圖。
圖10是說明通過第2實施例的圖像顯示裝置的操作單元，指示“前進”按鈕時的顯示圖像控制單元的動作的流程圖。
圖11是說明從本發(fā)明的實施例的圖像數據檢測臉區(qū)域，并登錄于存儲器的處理的流程圖。
最佳實施方式下面，參照附圖詳細說明本發(fā)明的優(yōu)選實施例。
<第1實施例>
圖1是表示本發(fā)明的第1實施例的檢索裝置的結構的框圖。另外，在本實施例中，在以一般的個人計算機(PC)100等實現的情況下，說明該檢索裝置。
在圖1中，101是CPU，是控制該檢索裝置整體的動作的運算處理裝置(CPU)。102是存儲器，具有存儲BIOS或啟動程序等的ROM，以及CPU 101執(zhí)行控制處理時作為工作區(qū)使用，暫時保存各種數據或用于裝載由CPU 101執(zhí)行的程序的程序區(qū)(RAM)。103是電橋電路，連接主總線111和外圍總線112。104是CRT顯示器或液晶面板等顯示單元(顯示器)。105是連接在外圍總線112上的硬盤(HD)等大容量存儲裝置，記錄著由CPU 101執(zhí)行的程序和圖像數據等數字數據。另外，該硬盤101中，作為CPU 101可讀取的程序代碼，預先安裝著后述的檢索程序，成為按照來自操作單元106的指示，將該程序代碼載入存儲器102中，并由CPU 101執(zhí)行的結構。操作單元106具有鍵盤、鼠標等點擊設備。108是用于讀入可拆卸的存儲介質(軟盤、CD、DVD或存儲卡等)的驅動單元。109是CD-ROM或DVD-ROM等外部存儲介質。
另外，在第1實施例中，在硬盤105中記錄著程序的情況下進行說明，但該程序保存在CD-ROM等外部存儲介質109中，也可以是通過存儲介質驅動單元108使CPU 101執(zhí)行的方式。另外，同樣地，也可以通過網絡接口(I/F)107將該程序下載到存儲器102，并執(zhí)行。
在第1實施例中，通過以下動作向用戶提供服務在該PC 100上OS(操作系統(tǒng))預先進行動作，該OS程序存儲在HDD 105中，在接入系統(tǒng)電源后，裝載到主存儲器102中，由CPU 101依次執(zhí)行，并控制電橋電路103、顯示單元104、HDD 105、操作單元106、網絡接口107。該實施例的臉檢索程序在該PC 100的OS上工作。
接著說明第1實施例的檢索裝置中的檢索處理。
圖2是說明第1實施例的檢索裝置中的基準臉數據的登錄和檢索處理的流程圖，執(zhí)行該處理的程序預先存儲在HDD 105中，當根據來自操作單元106的指示起動時，載入存儲器102并由CPU 101執(zhí)行。
當該處理開始時，首先在步驟S101中，將用戶接口(UI)畫面顯示在顯示單元104，由用戶指定表示檢索對象的范圍。
圖3是表示此時顯示在顯示單元104中的窗口例的圖。
在圖3中，顯示著PC 101的OS所管理的文件系統(tǒng)，在畫面的左側300，樹狀顯示文件系統(tǒng)所管理的文件結構；在右側301，顯示當前所選擇的當前目錄(這里，是D盤目錄“My Picture”中的目錄“2003-3-3”)中的圖像文件的縮略圖像一覽。在步驟S101中，用戶使用操作單元106，從在該圖3顯示的文件結構信息中指定檢索對象范圍。作為該檢索對象范圍的指定方法，可以分別指定多個文件，也可以指定為多個目錄單位。圖3表示目錄“2003-3-3”被選擇的狀態(tài)。
接著進入步驟S102，在顯示單元104顯示用于指定圖像的檢索條件的畫面，由用戶輸入其檢索條件。
圖4是表示在該步驟S102中，顯示在顯示單元104的窗口例的圖。
這里，向用戶提供下面2個檢索條件。
(1)檢索人臉(用復選框400指示)(2)檢索與特定的人相似的臉(用復選框401指示)用戶從這2個選擇項中選擇所期望的檢索條件。下面，依次說明用戶選擇“檢索人臉”時的操作和選擇“檢索與特定的人相似的臉”時的動作。
首先，說明用戶選擇“檢索人臉”(選擇復選框400)，并將此人的臉作為基準圖像數據登錄的情況。
在步驟S102，對復選按鈕(check button)400進行選擇，當“是”按鈕402被指示時，進入步驟S103，基于在步驟102設定的檢索條件執(zhí)行檢索。這里所執(zhí)行的臉的檢索處理是利用Laurenz Wiskott等人提出的使用了臉圖形和子波(wavelet)變換的方法。(Laurenz Wiskott，Jean-Marc Fellous，Norbert Kruger，and Christoph von der Malsburg，“Face Recognition by Elastic Bunch Graph Matching”IEEE Trans.OnPattern Analysis and Machine Intelligence，vol.19，no.7，pp.775-779，1997)據此，對作為檢索對象的臉數據，使用子波變換方法進行臉區(qū)域的大致輪廓檢測。即，將由少數節(jié)點(node)組成的臉圖形應用于圖像，對各節(jié)點進行子波變換，檢測出被判斷為表示作為臉的特征的圖形、即臉區(qū)域。通過對作為檢索對象的多個圖像反復進行該操作，能夠檢索包含臉的圖像和該臉的位置。
接著在步驟S104，選擇是重新檢索、還是將檢索結果的臉數據作為基準臉數據登錄，還是結束檢索。
圖5是表示在步驟S104中，顯示在顯示單元104的用戶接口畫面例的圖。
在圖5中，和表示檢索結果的圖像顯示欄500一起，配置有“登錄”按鈕501、指示重新檢索的“是”按鈕502、以及不指示重新檢索即指示檢索結束的“否”按鈕503。當用戶希望再次檢索而點擊“是”按鈕502時，處理返回到步驟S102，如上述那樣重新設定檢索條件。并且，在指示“檢索人臉”時，在圖像顯示欄500中只顯示包括臉的圖像，在指示后述的“相似的人臉”時，只顯示包含與該被指定的臉(基準臉)相似的人的圖像。
另外，在用戶結束檢索的情況下，當點擊“否”按鈕503時，終止該檢索處理。
另外用光標框504選擇表示檢索結果的圖像顯示欄500中的某圖像，在將該選擇出的臉數據作為基準臉數據登錄的時，點擊“登錄”按鈕501。由此，在圖5的例子中，作為基準臉數據，登錄用光標框504選擇的圖像505的圖像數據。這樣登錄的基準臉數據和其名稱一起被保存到HDD 105中。
此時，當點擊圖5的“登錄”按鈕501時，由步驟S104進入步驟S105，由用戶想作為基準臉登錄的臉圖像數據(用光標框504指定)，生成表征該臉的臉數據，將該臉數據作為基準臉數據登錄。實際上，在基于在步驟S103大致檢測出的臉區(qū)域，校正了臉的傾斜、大小等之后，再次使用子波變換，生成由包含臉的各個部分(parts)的位置的多個節(jié)點構成的臉圖形。在此所生成的臉圖形成為表征原來的臉的臉數據本身。并且，在登錄時，當點擊“登錄”按鈕501后，將輸入特別指定該臉的圖像數據的名稱、例如該臉的個人姓名和ID等的畫面，顯示在顯示單元104上，用戶使用操作單元106輸入該個人姓名和ID等，由此可以特別指定該圖像數據地進行登錄。
這樣在步驟S105，結束基準臉數據的登錄后進入步驟S104，顯示圖4所示的畫面，促使選擇是進行將檢索結果的其它圖像的臉數據作為基準臉數據登錄的處理，還是使用所登錄的臉數據進行“檢索相似臉”，還是結束檢索。以上是在步驟S102，為了登錄基準臉數據，用戶選擇了“檢索人臉”時的說明。
接下來，說明用戶在圖4的用戶接口畫面選擇了“檢索相似臉”時的處理。這里重要的是不改變對用戶的用戶接口的處理流程，就能執(zhí)行“檢索相似臉”。另外，在就這樣結束處理時，可以點擊“結束”按鈕404。
在這里，當選擇了“檢索相似臉”(選擇復選按鈕401)時，如圖4的403所示那樣，顯示作為基準臉數據登錄的人物的名稱的一覽。在這里例如，當選擇該欄403的開頭的“鈴木一郎”，指示開始檢索的“是”按鈕402被指示時，開始包含與該“鈴木一郎”相似的臉的人物的圖像檢索。并且，此時，當指定欄403的人物名時，為了能夠確認該被指定的人臉，設置用于顯示該臉的顯示區(qū)域，該區(qū)域也可以顯示此人所登錄的臉數據。
并且在步驟S103，執(zhí)行實際的檢索，在這里，程序通過以下的動作檢索臉。首先，和上述的“檢索人臉”的情況一樣，對作為對象的臉數據，使用子波變換的方法進行臉區(qū)域的大致輪廓檢測。即，將由少數節(jié)點組成的臉圖形嵌于圖像，對節(jié)點分別進行子波變換，檢測判斷為表示作為臉的特征的圖形，即臉區(qū)域。接著，對這樣檢測出的臉區(qū)域，在校正了臉的傾斜、大小等之后，再次使用子波變換，生成由包含臉部的各個位置的多數節(jié)點構成的臉圖形。在此生成的臉圖形成為表征檢索對象的臉的臉數據。并且比較所登錄的基準臉的臉圖形的特征量和值，若其差小于等于閾值，則判斷為是與該指定的基準臉相似的臉。
這樣，通過對作為檢索對象的所有多個圖像反復執(zhí)行該操作，可以特別指定在圖4的畫面指定的、包含與該特定人臉相似的臉的圖像和該臉的位置。
在步驟S104中，將圖5所示的畫面提供給用戶。并且，此時在圖像顯示欄500中顯示步驟S103的檢索處理結果，即包括被判斷為與“鈴木一郎”相似的人物的圖像組(有多個時)。并且，用戶選擇從顯示于該顯示欄500的圖像中選擇所希望的圖像并結束檢索處理，或者(與“檢索人臉”情況一樣)重新檢索，或者結束檢索。
如以上說明的那樣，通過第1實施例，用戶可以使用依照統(tǒng)一了的唯一流程的用戶接口，來進行臉數據的登錄臉索，能夠容易明白地進行臉檢索。
圖6是表示本發(fā)明的第2實施例的圖像顯示裝置的結構例的框圖。
在圖6中，601是用于輸入數字圖像數據的圖像輸入單元。圖像輸入單元601可以輸入存儲器或二次存儲單元上的數字圖像數據，也可以通過模擬或數字接口從數字照相機、數字攝像機和掃描器等外部設備輸入數字圖像數據。
602是臉區(qū)域檢測單元，用于由從圖像輸入單元601輸入的數字圖像數據檢測臉區(qū)域。作為檢測該臉區(qū)域的方法，例如，像日本特開平10-334213號公報所公開的那樣，可以是通過對數字圖像數據，比較圖像的顏色數據和預先準備好的臉的識別顏色數據，檢測臉區(qū)域的方法，也可以是在上述第1實施例中說明的方法或除此以外的方法。實際上，臉區(qū)域檢測單元602具備CPU和存儲著由該CPU執(zhí)行的程序的存儲器等，并由軟件實現。
603是存儲單元，用于存儲從圖像輸入單元601輸入的數字圖像數據。由圖像輸入單元601輸入的數字圖像數據位于存儲器或二次存儲上時，在存儲單元603中，也可以不必存儲數字圖像數據本身，而是存儲存儲器上的指針或二次存儲上的文件名的方式。存儲單元603實際上由存儲器或二次存儲裝置構成。
604是接收來自用戶的操作的操作單元，具備例如鍵盤或鼠標等點擊設備。
圖11是說明第2實施例的臉區(qū)域檢測單元602的處理的流程圖。
當在步驟S401，通過圖像輸入單元601輸入圖像數據時，就在步驟S402中將變量n設為“1”。接著在步驟S403，檢測該圖像數據是否包含臉區(qū)域。該處理可以使用例如由上述的Laurenz Wiskott等人提出的臉圖形和子波變換的方法，也可以使用除此以外的公知的方法。接著在步驟S404，當判斷為包含臉區(qū)域時，進入步驟S405，生成顯示該臉區(qū)域的矩形信息，如圖7所示作為“臉區(qū)域n”登錄到存儲單元603。并且，在步驟S406，將變量n加1，進入步驟S403。
另一方面，在步驟S404，在未發(fā)現臉區(qū)域時，進入步驟S407，輸入多個圖像數據，觀察是否還存在尚未進行臉區(qū)域的檢索處理的圖像數據。如果有，則作為檢索對象選擇下一個圖像數據，進入步驟S402，并執(zhí)行上述處理。這樣，當所有的圖像數據的檢索處理結束時，結束該處理。
圖8是表示第2實施例的用戶接口801的一例的圖。
在圖8中，預先顯示包括4個人的圖像，最左邊的人的臉區(qū)域表示選擇了框803的狀態(tài)。在例如上述第1實施例中，表示圖像檢索的結果。此時，框803所圈定的臉區(qū)域相當于成為檢索對象的臉區(qū)域。
在該狀態(tài)下，可以通過操作單元604，指示圖8中的“后退(backward)”按鈕804或“前進(forward)”按鈕805。操作單元604實際上由鼠標或鍵盤或觸摸面板或實際的按鈕構成。這里，當“前進(forward)”按鈕805被指示后，為了選擇例如其右邊的人的臉區(qū)域，每指示“前進(forward)”按鈕805，就按照圖7的臉區(qū)域的順序依次選擇該顯示單元802內的人臉區(qū)域，當在選擇最后的人臉區(qū)域時，指示“前進(forward)”按鈕805時，讀出下一個圖像數據并顯示在顯示單元802上，變?yōu)檫x擇該圖像中最先被識別登錄的人臉區(qū)域(臉區(qū)域1)。相反地，當指示“后退(backward)”按鈕804時，依次按返回方向選擇顯示單元802內的人臉區(qū)域，例如當在圖8的狀態(tài)下指示“后退(backward)”按鈕804時，讀出前一個圖像數據并顯示在顯示單元802，選擇該圖像中的被最后識別存儲的臉區(qū)域(臉區(qū)域m)。
605是顯示圖像控制單元，存儲由臉區(qū)域檢測單元602檢測出的臉區(qū)域，并控制用框803選擇哪個數字圖像數據和哪個臉區(qū)域，顯示在圖8的數字圖像數據的顯示單元802中。由臉區(qū)域檢測單元602檢測出的臉區(qū)域，被作為例如圖7那樣的數據文件，存儲到存儲單元603中。
圖7是說明第2實施例的、用臉圖像區(qū)域檢測單元602檢測出的臉區(qū)域的存儲例的圖。
在圖7中，701是唯一地識別各數字圖像數據的圖像名，可以是數字圖像數據的文件名，也可以是顯示圖像控制單元605所發(fā)放的唯一的ID。另外，702～705是臉區(qū)域檢測單元602對每個數字圖像數據所檢測出的臉區(qū)域，只設置對每個圖像所檢測出的臉區(qū)域的數目。
在第2實施例中，為了簡便，臉區(qū)域用包圍臉的圖像數據的長方形框803表示。并且，設在702～705中，存儲著表示該臉區(qū)域的矩形框的左上和右下的頂點坐標。在702～705中，寫著“(0、0)、(0、0)”的部分，意味著該部分不存在臉數據即不存在臉區(qū)域。當然，實際上，也可以用框803只顯示拍攝了臉的部分。
此時，在702～705中，可以存儲圈定臉的矩形框的左上和右下的頂點以及只屏蔽(mask)臉的屏蔽數據。并且，作為臉區(qū)域的存儲方法，在該第2實施例中，為了簡便而使用圖7那樣的表，但實際上并不限于此。例如，可以考慮使用線性表，來消除每張數字圖像數據的臉區(qū)域數的上限，并節(jié)約存儲器的方法等。另外，還可以考慮利用由臉區(qū)域檢測單元602檢測出的臉區(qū)域的方法。
顯示圖像控制單元605，以來自操作單元604的輸入為觸發(fā)(trigger)，接下來控制選擇哪個數字圖像數據和該圖像內的哪個臉區(qū)域803顯示在數字圖像數據802中。關于此時的操作，用圖9和圖10在后面詳細敘述。顯示圖像控制單元605，實際上由CPU和存儲著由該CPU執(zhí)行的程序等的存儲器來實現，實際上通過軟件來執(zhí)行。
606是顯示圖像生成單元，由顯示圖像控制單元605控制，生成顯示于顯示單元802的數字圖像數據。顯示圖像生成單元606從顯示圖像控制單元605指示接下來顯示哪個數字圖像數據，從存儲單元603取出該被指示的數字圖像數據，顯示在顯示單元802。進而，用框803圈定被存儲在顯示圖像控制單元605的圖7的數據文件中的臉區(qū)域內被選擇的臉區(qū)域，生成顯示于數字圖像數據顯示單元802的數字圖像數據。另外，在初始狀態(tài)下，還可以選擇該圖像的“臉區(qū)域1”。
當然，反轉顯示所選擇的臉區(qū)域時，可以從顯示圖像控制單元605取出區(qū)域坐標和屏蔽數據，進行只反轉顯示所屏蔽的區(qū)域的處理。顯示圖像生成單元606，實際上由CPU和存儲著由該CPU執(zhí)行的程序等的存儲器構成，實際上通過軟件來實現。
607是圖像顯示單元，顯示圖8所示的用戶接口801。在用戶接口801中，在顯示單元802顯示顯示圖像生成單元606生成的數字圖像數據。框803表示當前所選擇的臉區(qū)域。圖像顯示單元607，實際上由監(jiān)視器等構成。
接著，使用圖9和圖10，詳細說明顯示圖像控制單元105的動作。首先，參照圖9說明在操作單元604中，觸摸圖8的用戶接口801的“后退”按鈕804時的動作。并且，在以下的說明中，圖像數據的順序，表示例如在圖7中被登錄到圖像名701的順序，“后退(backward)”表示在圖7的表中從下向上的方向，“前進(forward)”表示從上向下的方向。同樣地，臉區(qū)域的順序表示圖7的表的從左向右的方向，“后退(backward)”表示在圖7的表中由右向左的方向，“前進(forward)”表示由左向右的方向。
在最開始的步驟S201，當指示“后退”按鈕804時，在步驟S202參照圖7的登錄數據，在當前顯示的數字圖像數據中，查詢是否存在前一個臉區(qū)域。
步驟S202的調查結果，就是當存在臉區(qū)域時，進入步驟S205，將該臉區(qū)域傳送給顯示圖像生成單元606，結束動作。
另一方面，當該圖像數據不存在臉區(qū)域時，進入步驟S203，參照圖7的登錄數據，查詢是否存在前一個數字圖像的臉區(qū)域。不存在時結束操作。當存在前一個數字圖像數據時，進入步驟S204，查詢在前一個數字圖像數據中是否存在臉區(qū)域。這里，該圖像中不存在臉區(qū)域時，返回步驟S203，進一步查詢是否存在前一個數字圖像數據。這樣，當發(fā)現存在臉區(qū)域的圖像數據后，選擇該圖像數據的最后的臉區(qū)域，進入步驟S205，將該臉區(qū)域傳送給顯示圖像生成單元606，結束動作。另外，在步驟S203，即使查詢最后的圖像數據，在該圖像數據中不包含臉區(qū)域的情況下，也結束該處理。
接下來，用圖10的流程圖，闡述在操作單元604中，指示“前進”按鈕805時的動作。
在最開始的步驟S301，當指示“前進”按鈕805后，進入步驟S302，參照圖7的登錄數據，在當前顯示的數字圖像數據中，查詢是否存在前一個臉區(qū)域。
其結果就是，在存在臉區(qū)域時，進入步驟S305，將該臉區(qū)域傳送給顯示圖像生成單元606，結束動作。
另一方面，當該圖像數據中不存在臉區(qū)域時，進入步驟S303，參照圖7的登錄數據，查詢是否存在下一個數字圖像數據。不存在時結束動作。
在步驟S303，當存在下一個圖像數據時，查詢在該圖像數據中是否存在臉區(qū)域，存在時進入步驟S304，指示該數字圖像數據的最開始(圖7的臉區(qū)域1)的臉區(qū)域，進入步驟S305，將該臉區(qū)域傳送給顯示圖像生成單元606，結束動作。另外，當該圖像數據中不存在臉區(qū)域時，返回到步驟S303，進一步查詢是否存在下一個數字圖像數據。
這樣，執(zhí)行步驟S303、S304，直到檢測出包含臉區(qū)域的圖像數據，在即使結束前面的圖像數據的檢索，也未發(fā)現包含臉區(qū)域的圖像數據時，結束該處理。在上述動作中，在選擇顯示最開始的數字圖像數據中的第一個臉區(qū)域時，指示“后退”按鈕804的情況下，或者在選擇顯示最后的數字圖像數據的最后的臉區(qū)域時，指示“前進”按鈕805的情況下，本實施例的圖像顯示裝置不動作，但不一定必須那樣做。
例如，在選擇最開始的數字圖像數據的第1個臉區(qū)域(臉區(qū)域1)時，指示“后退”按鈕804的情況下，也可以循環(huán)地進行動作，以使得選擇最后的數字圖像數據中的最后的臉區(qū)域來顯示。
另外，也可以這樣作即，在選擇最開始的數字圖像數據的第1個臉區(qū)域(臉區(qū)域1)時，不能指示“后退”按鈕804；在選擇最后的數字圖像數據的最后的臉區(qū)域時，不能指示“前進”按鈕805。
在第2實施例中，如在顯示單元802所示的那樣，通過添加框803或反轉顯示等，強調顯示數字圖像中的被選擇的臉區(qū)域，當然也可以進行除此以外的動作。例如，也可以是只切取所選擇的臉區(qū)域來顯示那樣的用戶接口。
此外，本發(fā)明既適用于由多部設備(例如，主機、接口設備、閱讀器、打印機等)構成的系統(tǒng)，也適用于由單個設備組成的裝置(例如，復印機、傳真裝置等)。
另外，本發(fā)明的目的還可以通過以下的方式達到，即，將記錄了實現上述實施方式的功能(在照相機側進行的處理、在打印機側進行的各種打印處理)的軟件的程序代碼的存儲介質提供給系統(tǒng)或裝置，該系統(tǒng)或者裝置的計算機(或CPU、MPU)讀出并執(zhí)行保存在該存儲介質中的程序代碼。此時，從存儲介質讀出的程序代碼本身就能實現上述實施方式的功能，存儲了該程序代碼的存儲介質就構成本發(fā)明。另外，不僅包括通過計算機執(zhí)行所讀出的程序代碼，實現上述實施例的功能的情況，還包括基于該程序代碼的指示，在計算機上運行的操作系統(tǒng)(OS)等進行實際處理的一部分或全部，通過該處理，實現上述實施例的功能的情況。
進而，還包括以下情況在從存儲介質所讀出的程序代碼，被寫入到插入計算機的功能擴展卡或連接在計算機的功能擴展單元所具備的存儲器之后，基于該程序代碼的指示，該功能擴展卡或功能擴展單元所具備的CPU等進行實際處理的一部分或全部，通過該處理，實現上述實施方式的功能。不言而喻地，例如，用PC上的驅動器進行這些處理的情況，也與此相當。
在不脫離本發(fā)明的精神和范圍內，本發(fā)明可以通過大量而廣泛的實施方式實現，所以應該理解為本發(fā)明并不限于特定的實施方式，而是由附加的權利要求書所限定。
權利要求
1.一種圖像檢索設備，其特征在于，包括臉檢索裝置，從多個圖像數據中檢索包含人臉的圖像數據；顯示裝置，顯示由上述臉檢索裝置檢索出的上述圖像數據；登錄裝置，從顯示于上述顯示裝置的圖像數據中抽取出用于圖像檢索的臉數據，作為基準臉數據登錄；圖像檢索裝置，從多個圖像數據中，檢索由上述登錄裝置所登錄的上述基準臉數據中的包含特定的基準臉數據的圖像數據。
2.根據權利要求1所述的圖像檢索設備，其特征在于，上述登錄裝置，具有從顯示于上述顯示裝置的圖像數據中選擇一個圖像數據的選擇裝置，從由上述選擇裝置選擇出的圖像數據中抽取出臉數據，作為上述基準臉數據進行登錄。
3.根據權利要求2所述的圖像檢索設備，其特征在于，上述登錄裝置還具有對上述基準臉數據賦予識別信息的裝置。
4.根據權利要求3所述的圖像檢索設備，其特征在于，上述圖像檢索裝置，檢索包含由上述識別信息特別指定的上述基準臉數據的圖像數據。
5.根據權利要求1所述的圖像檢索設備，其特征在于，還具有指定裝置，指定由上述臉檢索裝置檢索的多個圖像數據。
6.一種圖像檢索設備，其特征在于，包括抽取裝置，從多個圖像數據中抽取出包含人臉圖像的圖像數據；顯示裝置，顯示由上述抽取裝置抽取出的上述圖像數據；指示裝置，從顯示于上述顯示裝置的圖像數據中，選擇用于圖像檢索的包含臉數據的圖像，指示進行登錄；登錄裝置，響應上述指示裝置的指示，檢測包含在該圖像中的臉區(qū)域，作為基準臉數據進行登錄；輸入裝置，輸入由上述登錄裝置登錄的上述基準臉數據的識別信息；圖像檢索裝置，從多個圖像數據中，檢索由上述登錄裝置所登錄的上述基準臉數據內的、包括由上述識別信息特別指定的基準臉數據的圖像數據。
7.一種圖像檢索方法，其特征在于，包括臉檢索步驟，從多個圖像數據中檢索包含人臉的圖像數據；顯示步驟，顯示在上述臉檢索步驟中檢索到的上述圖像數據；登錄步驟，從在上述顯示步驟中顯示的圖像數據中抽取出用于圖像檢索的臉數據，作為基準臉數據登錄；圖像檢索步驟，檢索在上述登錄步驟中登錄了的上述基準臉數據中的包含特定的基準臉數據的圖像數據。
8.根據權利要求7所述的圖像檢索方法，其特征在于，上述登錄步驟，具有從在上述顯示步驟中顯示的圖像數據中選擇一個圖像數據的選擇步驟，從在上述選擇步驟中選擇出的圖像數據中抽取出臉數據，作為基準臉數據進行登錄。
9.根據權利要求8所述的圖像檢索方法，其特征在于，上述登錄步驟還具有對上述基準臉數據賦予識別信息的步驟。
10.根據權利要求9所述的圖像檢索方法，其特征在于，在上述圖像檢索步驟中，檢索包含由上述識別信息特別指定的上述基準臉數據的圖像數據。
11.根據權利要求7所述的圖像檢索方法，其特征在于，還具有指定步驟，指定在上述臉檢索步驟中被檢索的多個圖像數據。
12.一種程序，其特征在于，執(zhí)行權利要求7所述的圖像檢索方法。
13.一種計算機可讀取的存儲介質，其特征在于，存儲著權利要求12所述的程序。
14.一種圖像顯示裝置，其特征在于，包括臉區(qū)域檢測裝置，檢測包含于數字圖像數據的人臉區(qū)域；存儲裝置，將由上述臉區(qū)域檢測裝置檢測出的表示臉區(qū)域的區(qū)域信息，與上述數字圖像數據建立對應關系地進行存儲；選擇裝置，選擇包含于上述數字圖像數據的臉區(qū)域；顯示裝置，可識別由上述選擇裝置選擇出的臉區(qū)域地顯示上述數字圖像數據。
15.根據權利要求14所述的圖像顯示裝置，其特征在于，上述存儲裝置以矩形信息存儲上述臉區(qū)域。
16.根據權利要求14所述的圖像顯示裝置，其特征在于，由上述選擇裝置選擇臉區(qū)域后，上述顯示裝置對該被選擇出的臉區(qū)域加框地進行顯示。
17.根據權利要求14所述的圖像顯示裝置，其特征在于，由上述選擇裝置選擇臉區(qū)域后，上述顯示裝置將該被選擇的臉區(qū)域反轉地進行顯示。
18.根據權利要求14所述的圖像顯示裝置，其特征在于，當上述數字圖像數據包含多個臉區(qū)域時，上述選擇裝置根據選擇指示依次排他地選擇臉區(qū)域。
19.根據權利要求14所述的圖像顯示裝置，其特征在于，當輸入包含于顯示中的數字圖像數據的臉區(qū)域以外的臉區(qū)域的選擇指示后，上述選擇裝置根據該選擇指示選擇其它的數字圖像數據的臉區(qū)域。
20.一種圖像顯示方法，其特征在于，包括臉區(qū)域檢測步驟，檢測包含于數字圖像數據的人臉區(qū)域；存儲步驟，將在上述臉區(qū)域檢測步驟中檢測出的表示臉區(qū)域的區(qū)域信息，與上述數字圖像數據建立對應關系地存儲到存儲器中；選擇步驟，選擇包含于上述數字圖像數據的臉區(qū)域；顯示步驟，可識別在上述選擇步驟中選擇出的臉區(qū)域地顯示上述數字圖像數據。
21.根據權利要求20所述的圖像顯示方法，其特征在于，上述存儲器以矩形信息存儲上述臉區(qū)域。
22.根據權利要求20所述的圖像顯示方法，其特征在于，當在上述選擇步驟中選擇臉區(qū)域后，在上述顯示步驟中對該選擇出的臉區(qū)域加框地進行顯示。
23.根據權利要求20所述的圖像顯示方法，其特征在于當在上述選擇步驟中選擇臉區(qū)域后，在上述顯示步驟中將該選擇出的臉區(qū)域反轉地進行顯示。
24.根據權利要求20所述的圖像顯示方法，其特征在于，在上述選擇步驟中，當上述數字圖像數據包含多個臉區(qū)域時，根據選擇指示依次排他地選擇臉區(qū)域。
25.根據權利要求20所述的圖像顯示方法，其特征在于，在上述選擇步驟中，當輸入包含于顯示中的數字圖像數據的臉區(qū)域以外的臉區(qū)域的選擇指示后，根據該選擇指示選擇其它的數字圖像數據的臉區(qū)域。
全文摘要
本發(fā)明提供一種圖像檢索設備和圖像顯示裝置及其方法。從多個圖像數據中檢索包含人臉圖像的圖像數據，顯示該檢索到的圖像數據，從該顯示出的圖像數據中抽取出用于圖像檢索的臉圖像數據，作為基準臉圖像數據登錄。這樣，指定已登錄的基準臉圖像數據內的被特別指定的基準臉圖像數據，檢索包含該基準臉圖像數據的圖像數據。
文檔編號G06K9/54GK1622116SQ200410091758
公開日2005年6月1日 申請日期2004年11月25日 優(yōu)先權日2003年11月26日
發(fā)明者合田亮, 岡寬人 申請人:佳能株式會社