專利名稱：信息終端，信息終端的信息控制方法，和信息控制程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及裝備有能夠顯示圖像等的顯示設(shè)備的信息終端，比如蜂窩電話機終端，和管理信息終端處理的圖像并把圖像顯示在顯示屏幕上的信息控制方法和信息控制程序。
背景技術(shù)：
例如，日本專利申請公開No. 2009-27221 (專利文獻1)公開一種把登記在電話簿或地址簿中的電話號碼或電子郵件地址分配給擁有該電話號碼或電子郵件地址的人的面部圖像，從而使得能夠容易地基于面部圖像識別作為通信對方的人，以進行通信的技術(shù)。特別地，在專利文獻1中，從通過拍攝多個人物而獲得的照片圖像中，提取多個人物的面部區(qū)域，并且提取的面部區(qū)域能夠與對應(yīng)人物的電話號碼或電子郵件地址相關(guān)聯(lián)并被匯總登記。此外，例如，日本專利申請公開No. 2005-157679(專利文獻2)公開下述技術(shù)。預(yù)先學(xué)習(xí)關(guān)于面部圖像的大量信息項，并保存為詞典數(shù)據(jù)，輸入的照片圖像被設(shè)定為灰度級圖像，從通過比例縮放灰度級圖像而獲得的比例縮放圖像中剪切窗口圖像，比較窗口圖像與保存為詞典數(shù)據(jù)的信息項，以確定與之接近的部分。當(dāng)重復(fù)進行這種處理時，能夠容易且快速地檢測面部圖像。[引用列表][專利文獻][專利文獻1]日本專利申請公開No.2009-27221 (圖7)[專利文獻2]日本專利申請公開No.2005-157679(圖1)

發(fā)明內(nèi)容
技術(shù)問題順便提及，最近的蜂窩電話機終端能夠執(zhí)行各種應(yīng)用程序，所述各種應(yīng)用程序不僅包括處理電話呼叫或電子郵件的電信關(guān)聯(lián)應(yīng)用程序，而且包括連接到因特網(wǎng)并瀏覽網(wǎng)站的應(yīng)用程序，拍攝照片圖像或運動圖像以及再現(xiàn)和查看這些圖像的應(yīng)用程序，管理和再現(xiàn)音樂的應(yīng)用程序，和管理日程的應(yīng)用程序。此外，最近的蜂窩電話機終端通常配備有使最初用上述各種應(yīng)用程序處理的內(nèi)容數(shù)據(jù)與具體的目標(biāo)內(nèi)容文件，比如照片圖像文件關(guān)聯(lián)的功能。具體地說，作為最典型的例子，能夠使登記在電話簿或地址簿中的人物的電話號碼，地址等的數(shù)據(jù)與作為通信對方的對應(yīng)人物的面部圖像文件關(guān)聯(lián)。這里，通過繼續(xù)使用蜂窩電話機終端，包括新拍攝的圖像文件，附加到電子郵件等的新圖像文件，和從網(wǎng)頁等獲得的新圖像文件在內(nèi)的新圖像文件的數(shù)目不斷增大。另外，臨時保存的圖像文件經(jīng)常被改變或刪除。在更新圖像文件，S卩，例如新增、改變或刪除圖像文件，以使更新的圖像文件與各CN 102549601 A
種應(yīng)用程序的內(nèi)容數(shù)據(jù)關(guān)聯(lián)的情況下，每次更新圖像文件時，用戶必須逐一檢查圖像文件 (例如，檢查圖像中的內(nèi)容)，和對圖像文件分類。分類操作非常麻煩，從而對用戶來說是一項繁重的負擔(dān)，從而即使當(dāng)進行圖像文件的更新等時，在許多情況下，分類操作也會在圖像文件未被分類的情況下結(jié)束。此外，存在被原樣保留、而未被分類或關(guān)聯(lián)的圖像文件不能被有效利用的擔(dān)心。即，圖像文件甚至未與用于電話簿等的另一個應(yīng)用程序的內(nèi)容數(shù)據(jù)關(guān)聯(lián)。問題的解決方案鑒于上述情況，提出了本發(fā)明，本發(fā)明的目的是提供一種能夠顯著減輕用戶對更新的圖像文件分類的負擔(dān)，和使圖像文件與其它內(nèi)容數(shù)據(jù)的關(guān)聯(lián)更容易的信息終端，所述信息終端的信息控制方法和信息控制程序。按照本發(fā)明的信息終端包括圖像檢測器/登記器，面部圖像檢測器，相似面部分類部分，和相似面部顯示部分。圖像檢測器/登記器檢測未登記或者更新的圖像文件，并構(gòu)成(structure)和管理檢測到的圖像文件的列表。面部圖像檢測器檢測包括在圖像檢測器 /登記器檢測的圖像文件的圖像中的面部圖像，使關(guān)于檢測的面部圖像的信息與圖像文件關(guān)聯(lián)，并保存關(guān)聯(lián)的信息。相似面部分類部分計算面部圖像檢測器檢測的面部圖像的特征量，比較計算的特征量與已計算并分類歸入組中的不同面部圖像的特征量，計算該面部圖像與相應(yīng)組中的不同面部圖像之間的相似性，并根據(jù)相似性計算的結(jié)果對該面部圖像進行分類和管理。相似面部顯示部分根據(jù)相似面部分類部分的面部圖像的分類結(jié)果，在顯示屏幕上顯示包括分類為相同組的面部圖像的至少一個圖像文件。借助這種結(jié)構(gòu)，本發(fā)明克服了上述問題。此外，按照本發(fā)明的信息終端的信息控制方法包括下述步驟用圖像檢測器/登記器檢測未登記或者更新的圖像文件，并構(gòu)成和管理檢測到的圖像文件的列表，用面部圖像檢測器檢測包括在圖像檢測器/登記器檢測的圖像文件的圖像中的面部圖像，使關(guān)于檢測的面部圖像的信息與圖像文件關(guān)聯(lián)，并保存所述信息，用相似面部分類部分計算面部圖像檢測器檢測的面部圖像的特征量，比較計算的特征量與已計算并分類歸入組中的不同面部圖像的特征量，計算該面部圖像與相應(yīng)組中的不同面部圖像之間的相似性，并根據(jù)相似性計算的結(jié)果對該面部圖像進行分類和管理，和用相似面部顯示部分根據(jù)相似面部分類部分進行的面部圖像分類的結(jié)果，在顯示屏幕上顯示包括分類為相同組的面部圖像的至少一個圖像文件。結(jié)果，上述問題被克服。此外，信息控制程序使信息終端執(zhí)行檢測未登記或者更新的圖像文件，并構(gòu)成和管理檢測到的圖像文件的列表的圖像檢測/記錄處理，檢測包括在圖像檢測器/登記器檢測的圖像文件的圖像中的面部圖像，使關(guān)于檢測的面部圖像的信息與圖像文件關(guān)聯(lián)，并保存關(guān)聯(lián)的信息的面部圖像檢測處理，計算面部圖像檢測器檢測的面部圖像的特征量，比較計算的特征量與已計算并分類歸入組中的不同面部圖像的特征量，計算該面部圖像與相應(yīng)組中的不同面部圖像之間的相似性，并根據(jù)相似性計算的結(jié)果對該面部圖像進行分類和管理的相似面部分類處理，和根據(jù)相似面部分類部分的面部圖像的分類結(jié)果，在顯示屏幕上顯示包括分類為相同組的面部圖像的至少一個圖像文件的相似面部顯示處理。結(jié)果，本發(fā)明克服了上述問題。S卩，按照本發(fā)明，當(dāng)檢測到未登記或更新的圖像文件時，即，當(dāng)檢測到經(jīng)歷更新(比如新增和變更)的圖像文件時，從圖像文件中檢測面部圖像，并與已計算和分類歸入各個組中的其它面部圖像比較，從而對檢測的面部圖像分類。從而，按照本發(fā)明，每次圖像文件被更新時，圖像文件被分類，并且所述圖像文件和其它圖像文件被分組。此外，按照本發(fā)明，根據(jù)分類結(jié)果，包括分類為相同組的面部圖像的一個或多個圖像文件被顯示在顯示屏幕上。因而，用戶能夠檢查圖像文件的分類狀況，從而能夠根據(jù)需要校正分類結(jié)果。結(jié)果， 能夠容易地使分類的圖像文件與另一個所需應(yīng)用的內(nèi)容數(shù)據(jù)關(guān)聯(lián)。發(fā)明的有益效果在本發(fā)明中，從未登記或者更新的圖像文件中檢測面部圖像，比較該面部圖像與已計算和分類歸入各個組中的其它面部圖像，從而對該面部圖像分類。根據(jù)分類結(jié)果，包括分類歸入相同組中的面部圖像的一個或多個圖像文件被顯示在顯示屏幕上。從而，能夠顯著減輕用戶對未登記或更新的圖像文件分類的負擔(dān)，從而使圖像文件與其它內(nèi)容數(shù)據(jù)的關(guān)聯(lián)更容易。


圖1是表示本發(fā)明的一個實施例的移動體終端的示意外部的透視圖，其中移動體終端是從顯示屏幕一側(cè)觀察的。圖2是表示本發(fā)明的所述實施例的移動體終端的示意外部的透視圖，其中移動體終端是從照相機鏡頭一側(cè)觀察的。圖3是表示所述實施例的移動體終端的示意內(nèi)部結(jié)構(gòu)的方框圖。圖4是表示當(dāng)執(zhí)行內(nèi)容管理應(yīng)用程序時，由CPU形成的功能的功能方框圖。圖5是在執(zhí)行圖像拍攝用照相機應(yīng)用程序，并發(fā)現(xiàn)圖像拾取設(shè)備拍攝了圖像的情況下，拍攝圖像檢測器/登記器中的功能方框圖。圖6是在把外部存儲器插入外部存儲設(shè)備中的情況下，拍攝圖像檢測器/登記器中的功能方框圖。圖7是在新增、改變或刪除圖像文件的情況下，拍攝圖像檢測器/登記器中的功能方框圖。圖8是面部矩形檢測器的詳細功能方框圖。圖9是在把面部矩形檢測器檢測的面部矩形分類歸入各個組中的情況下，相似面部分類部分中的功能方框圖。圖10是在用另一種方法，預(yù)先把分類信息賦予圖像文件，然后參考分類信息對面部矩形分類的情況下，相似面部分類部分中的功能方框圖。圖11是在移動體終端的用戶手動對圖像文件分類的情況下，相似面部分類部分中的功能方框圖。圖12是相似面部分類部分的面部相似性計算器和分類部分中的處理的流程圖。圖13是由相似面部登記通知部分，單一圖像顯示部分和相似面部圖像集合顯示部分構(gòu)成的相似面部顯示部分的詳細功能方框圖。圖14是由相似面部登記通知部分，單一圖像顯示部分，相似面部圖像集合顯示部分，和電話信息顯示部分構(gòu)成的相似面部顯示部分的詳細功能方框圖。圖15是表示作為相似面部分類和記錄的完成通知的例子，以卡片式對象的形式，在顯示屏幕上顯示包括面部矩形的圖像文件，并在卡片式對象附近指示預(yù)定通知圖標(biāo)的例子的示圖。圖16是表示通過用戶輸入請求單一圖像顯示的預(yù)定指令操作，在顯示屏幕上進行單一圖像顯示的例子的示圖。圖17是表示通過使面部圖像與電話簿關(guān)聯(lián)，顯示在顯示屏幕上的面部圖像和電話簿的信息的示圖。圖18是表示其中在顯示屏幕上列出均具有相似面部圖像的多個圖像文件的縮略圖的例子的示圖。圖19是表示在按照內(nèi)容數(shù)據(jù)的更新、變更等的時間先后順序排列和顯示多個卡片式對象的狀態(tài)下的用戶界面屏幕的例子的示圖。圖20是說明在按照內(nèi)容數(shù)據(jù)的更新、變更等的時間先后順序排列和顯示多個卡片式對象的狀態(tài)下的用戶界面屏幕上，所有卡片式對象都處于空閑狀態(tài)的情況的示圖。圖21是表示在按照內(nèi)容數(shù)據(jù)的更新、變更等的時間先后順序排列和顯示多個卡片式對象的狀態(tài)下的用戶界面屏幕上，卡片式對象任意之一處于預(yù)覽狀態(tài)的情況下的顯示例子的示圖。圖22是說明處于空閑狀態(tài)的卡片式對象的示圖。圖23是說明處于預(yù)覽狀態(tài)的卡片式對象的示圖。圖M是表示在相似面部顯示部分中，當(dāng)電話簿信息顯示被轉(zhuǎn)變成相似面部圖像集合顯示時的處理的流程圖。圖25是表示在相似面部顯示部分中，當(dāng)單一圖像顯示被轉(zhuǎn)變成相似面部圖像集合顯示時的處理的流程圖。圖沈是表示在相似面部顯示部分中，當(dāng)其中進行相似面部登記通知的狀態(tài)被轉(zhuǎn)變成相似面部圖像集合顯示時的處理的流程圖。
具體實施例方式下面參考附圖，說明本發(fā)明的實施例。應(yīng)注意本實施例例示諸示蜂窩電話機終端之類的移動體終端，作為本發(fā)明的信息終端，信息控制方法和信息控制程序適用于的例子，不過下面說明的內(nèi)容只是一個例子，本發(fā)明當(dāng)然不局限于該例子。(移動體終端的示意外部結(jié)構(gòu))圖1和2是表示按照本發(fā)明的實施例的移動體終端的示意外部的透視圖。應(yīng)注意圖ι是從本實施例的移動體終端的顯示屏幕2 —側(cè)觀察的示圖，圖2是從本實施例的移動體終端的照相機鏡頭4 一側(cè)觀察的示圖。此外，圖1和2只表示了按照本發(fā)明的主要部件， 未表示對一般的蜂窩電話機終端等設(shè)置的組件。本實施例的移動體終端是在機殼中包括顯示屏幕2，照相機鏡頭4和能夠插入/取出外部存儲器3的存儲卡插槽(未示出)的蜂窩電話機終端。這里，在本實施例的移動體終端1中，在拍攝被攝物體A和被攝物體B的人物(圖 1中只表示了面部)的情況下，照相機鏡頭4的拍攝方向(圖中的點劃線箭頭的方向)與朝著被攝物體A和B的方向重合。當(dāng)被攝物體A和B被拍攝時，被拍攝的被攝物體A和B的圖像(被攝物體圖像5A和5B)顯示在顯示屏幕2上。(移動體終端的示意內(nèi)部結(jié)構(gòu))圖3表示本實施例的移動體終端1的示意內(nèi)部結(jié)構(gòu)。應(yīng)注意圖3只表示按照本實施例的主要部分，未表示對普通蜂窩電話機終端等設(shè)置的組件。本實施例的移動體終端1包括作為主要的內(nèi)部硬件組件的CPU(中央處理器)10， 顯示設(shè)備11，圖像拾取設(shè)備12，內(nèi)部存儲設(shè)備13和外部存儲設(shè)備14。顯示設(shè)備11包括由液晶，有機EL(電致發(fā)光)等構(gòu)成的顯示屏幕，和顯示屏幕的顯示驅(qū)動電路，根據(jù)從CPU 10供給的圖像信號在顯示屏幕上顯示各種圖像、文字等。圖像拾取設(shè)備12包括光學(xué)鏡頭(照相機鏡頭4)，圖像拾取元件，驅(qū)動光學(xué)鏡頭以便聚焦或改變變焦倍率的鏡頭驅(qū)動機構(gòu)，鏡頭驅(qū)動機構(gòu)的驅(qū)動電路，對來自圖像拾取元件的圖像拾取信號進行圖像處理的圖像處理電路，等等。在CPU 10的控制下，圖像拾取設(shè)備 12拍攝的靜止圖像或運動圖像的圖像信號被保存在內(nèi)部存儲設(shè)備13或外部存儲設(shè)備14 中。內(nèi)部存儲設(shè)備13是設(shè)置在本實施例的移動體終端中的內(nèi)置存儲器，由R0M(只讀存儲器)和RAM(隨機存取存儲器)構(gòu)成。ROM包括可重寫ROM，比如NAND型閃速存儲器或EEPR0M(電可擦可編程只讀存儲器)。ROM保存在CPU 10上構(gòu)成的文件系統(tǒng)15，用于由 CPU 10控制各個組件的控制程序，各種初始設(shè)定值，詞典數(shù)據(jù)，諸如各種操作音之類的音頻數(shù)據(jù)，和各種應(yīng)用程序。應(yīng)注意各種應(yīng)用程序的例子包括SNS (社交網(wǎng)絡(luò)服務(wù))，SMS (短消息服務(wù))/MMS(多媒體消息接發(fā)服務(wù))，電子郵件，音樂，運動圖像，照片，日程管理，攝像等的應(yīng)用程序。此外，ROM還保存由各種應(yīng)用程序處理的內(nèi)容數(shù)據(jù)。各種應(yīng)用程序處理的內(nèi)容數(shù)據(jù)的例子可包括諸如電話號碼，電子郵件地址，人名和SNS賬號之類的數(shù)據(jù)(下面總稱為電話簿的數(shù)據(jù))，日程表或日歷的數(shù)據(jù)，SMS或匪S，電子郵件的消息數(shù)據(jù)，諸如消息數(shù)據(jù)或來電/去電的發(fā)送/接收之類的通信歷史，圖像拾取設(shè)備12拍攝的或者從個人計算機等傳送的靜止圖像或運動圖像的數(shù)據(jù)，通過因特網(wǎng)購買的靜止圖像或運動圖像，音樂的購買歷史， 和用戶通過網(wǎng)絡(luò)等下載的數(shù)據(jù)文件。另外，在本實施例中，ROM還保存作為本發(fā)明的信息控制程序的內(nèi)容文件管理應(yīng)用程序，所述內(nèi)容文件管理應(yīng)用程序檢測已經(jīng)歷新增、變更等的具體目標(biāo)內(nèi)容文件(后面說明)，比如拍攝的圖像文件，按照與另一個內(nèi)容文件的相似性對目標(biāo)內(nèi)容文件分類，和管理已分類的目標(biāo)內(nèi)容文件。例如，除了在出廠時被保存在ROM中的情況之外，也可在出廠之后，通過通信或者借助外部存儲器把這些各種應(yīng)用程序或本實施例的內(nèi)容文件管理應(yīng)用程序傳送給本實施例的移動體終端并安裝。作為用于CPU 10對各種數(shù)據(jù)進行處理的工作區(qū)，RAM必要時保存包括內(nèi)容數(shù)據(jù)在內(nèi)的各種數(shù)據(jù)。外部存儲設(shè)備14包括外部存儲器3，能夠插入/取出外部存儲器3的存儲卡插槽， 和CPU 10通過存儲卡插槽對外部存儲器3進行讀/寫的接口電路。應(yīng)注意外部存儲器3 可包括保持SIM(用戶識別模塊)信息等的可連接/拆卸的卡式外部存儲器。在這種情況下，分別為一般的外部存儲卡和SIM卡單獨提供存儲卡插槽。CPU 10控制本實施例的移動體終端1的各個組件，形成管理各個文件的所謂文件系統(tǒng)15。此外，CPU 10執(zhí)行保存在內(nèi)部存儲設(shè)備13中的各種應(yīng)用程序，并對與各種應(yīng)用程序相關(guān)的各種內(nèi)容進行信息處理。特別地，在本實施例中，CPU 10執(zhí)行本實施例的內(nèi)容文件管理應(yīng)用程序，從而按照與另一個內(nèi)容文件的相似度，對具體的目標(biāo)內(nèi)容文件，比如更新的拍攝圖像文件，即，已經(jīng)歷新增、變更等的拍攝圖像文件進行分類，管理已分類的內(nèi)容文件， 并酌情使已分類的目標(biāo)內(nèi)容文件與期望的應(yīng)用程序處理的內(nèi)容數(shù)據(jù)關(guān)聯(lián)，以便管理它們。(當(dāng)執(zhí)行內(nèi)容文件管理應(yīng)用程序時的功能塊)圖4是表示當(dāng)執(zhí)行內(nèi)容文件管理應(yīng)用程序時，由CPU 10構(gòu)成的功能的方框圖。應(yīng)注意在本實施例中，照片圖像文件用作目標(biāo)內(nèi)容文件的例子，照片圖像文件中的人物的面部圖像的相似度用作目標(biāo)內(nèi)容文件的相似度。下面說明按照相似度，分類和管理照片圖像文件的例子。如圖4中所示，當(dāng)執(zhí)行內(nèi)容文件管理應(yīng)用程序時，在CPU 10中形成諸如拍攝圖像檢測器/登記器20，面部矩形檢測器21，相似面部分類部分22和相似面部顯示部分23之類的功能部分。拍攝圖像檢測器/登記器20檢測拍攝圖像文件的新增、變更、刪除等，并形成和管理保存在本實施例的移動體終端中的圖像文件的信息列表。應(yīng)注意在本實施例中，拍攝圖像文件的例子包括用圖3中所示的圖像拾取設(shè)備12拍攝的照片圖像文件，保存在內(nèi)部存儲設(shè)備13或外部存儲設(shè)備14中的照片圖像文件，和經(jīng)由網(wǎng)絡(luò)、外部連接電纜等傳送的照片圖像文件。CPU 10借助文件系統(tǒng)15，檢測和管理這些照片圖像文件的新增、變更或刪除。根據(jù)拍攝圖像檢測器/登記器20從中檢測新增、變更、刪除等的圖像文件，面部矩形檢測器21參照預(yù)先學(xué)習(xí)和準(zhǔn)備的面部檢測用詞典數(shù)據(jù)，檢測包括顯現(xiàn)在圖像文件中的人物的面部區(qū)域的面部矩形圖像(面部圖像的窗口圖像)，使檢測的面部矩形信息與圖像文件關(guān)聯(lián)，并保存所述關(guān)聯(lián)信息。相似面部分類部分22根據(jù)在面部矩形檢測器21中檢測的面部矩形，計算面部矩形圖像的特征量，比較計算的特征量和已計算并分類歸入各個組中的其它面部矩形的特征量，從而判定該面部矩形類似于哪組面部矩形。根據(jù)相似性判定結(jié)果，對該面部矩形分類。 另外，在本實施例中，移動體終端的用戶還可手動分類在面部矩形檢測器21中檢測的面部矩形。應(yīng)注意作為面部矩形的圖像的特征量，可以使用構(gòu)成面部矩形的圖像的像素之間的亮度值之差。根據(jù)相似面部分類部分22的面部矩形的分類結(jié)果，相似面部顯示部分23使包括被判定為在相同組中的面部矩形的一個或多個圖像顯示在顯示設(shè)備11的顯示屏幕2上。(拍攝圖像檢測器/登記器的細節(jié))圖5-7是拍攝圖像檢測器/登記器20的詳細功能方框圖。圖5表示在拍攝圖像檢測器/登記器20發(fā)現(xiàn)圖像拍攝用照相機應(yīng)用程序被執(zhí)行， 并且圖像拾取設(shè)備12拍攝了圖像的情況下，拍攝圖像檢測器/登記器20中的功能方框圖。 即，當(dāng)在執(zhí)行內(nèi)容文件管理應(yīng)用程序的狀態(tài)下，執(zhí)行照相機應(yīng)用程序時，形成圖像拾取檢測器30，圖像文件信息登記器31，拍攝圖像存儲器32和圖像文件信息存儲器35。在圖5中，當(dāng)圖像拾取檢測器30發(fā)現(xiàn)圖像拾取設(shè)備12拍攝了圖像時，圖像拾取檢測器30把從圖像拾取設(shè)備12供給的照片圖像文件發(fā)送給拍攝圖像存儲器32。此時，拍攝圖像存儲器32把作為發(fā)送的照片圖像文件的照片圖像文件33保存在內(nèi)部存儲設(shè)備13或外部存儲設(shè)備14中。應(yīng)注意圖像文件33包括諸如被攝物體圖像之類的實際拍攝圖像數(shù)據(jù) 34。此外在此時，圖像拾取檢測器30還把照片圖像文件發(fā)送給圖像文件信息登記器31。圖像文件信息登記器31把照片圖像文件的除實際拍攝圖像數(shù)據(jù)外的圖像屬性信息，作為圖像文件信息36發(fā)送給圖像文件信息存儲器35。圖像文件信息存儲器35把圖像文件信息36保存在內(nèi)部存儲設(shè)備13等中，并構(gòu)成其中使圖像文件信息36和保存在拍攝圖像存儲器32中的圖像文件33相互關(guān)聯(lián)的數(shù)據(jù)庫。應(yīng)注意圖像屬性信息包括各種信息項，比如圖像分辨率，數(shù)據(jù)大小，圖像拍攝日期和時間，文件名，圖像文件的ID (識別信息)，白平衡設(shè)定值，自動聚焦設(shè)定值，拍攝距離，背光校正信息，電平校正信息，包圍拍攝信息，根據(jù)實際拍攝圖像數(shù)據(jù)生成的縮略像信息，和圖像拾取設(shè)備12的照相機鏡頭的F值。圖6表示在把外部存儲器3插入外部存儲設(shè)備14的情況下，拍攝圖像檢測器/登記器20中的功能方框圖。即，當(dāng)執(zhí)行內(nèi)容文件管理應(yīng)用程序時，在拍攝圖像檢測器/登記器20中，形成外部存儲設(shè)備插入檢測器41，圖像文件檢索部分42，圖像文件信息登記器31， 拍攝圖像存儲器32，和圖像文件信息存儲器35。在圖6中，當(dāng)外部存儲器3被插入外部存儲設(shè)備14的存儲卡插槽時，外部存儲設(shè)備插入檢測器41發(fā)現(xiàn)外部存儲器3被插入存儲卡插槽。當(dāng)外部存儲設(shè)備插入檢測器41檢測到外部存儲器3的插入時，拍攝圖像檢測器/登記器20使圖像文件檢索部分42工作。這種情況下，圖像文件檢索部分42檢查外部存儲器3中是否保存有照片圖像文件。當(dāng)保存有照片圖像文件時，圖像文件檢索部分42從圖像文件中，檢索其圖像文件信息 36未登記在圖像文件信息存儲部分35中的未登記圖像文件。當(dāng)找出未登記圖像文件時，圖像文件檢索部分42把所述圖像文件發(fā)送給圖像文件信息登記器31。因而，圖像文件信息存儲器31把所述圖像文件的圖像文件信息36發(fā)送給圖像文件信息存儲器35。在圖像文件信息存儲器35中，使圖像文件信息36與保存在外部存儲器3中的照片圖像文件關(guān)聯(lián)，并登記在數(shù)據(jù)庫中。圖7表示在通過網(wǎng)絡(luò)，外部連接電纜等傳送和新增圖像文件，或者已保存在內(nèi)部存儲設(shè)備13或外部存儲設(shè)備14中的圖像文件被變更或刪除的情況下，拍攝圖像檢測器/ 登記器20中的功能方框圖。即，在執(zhí)行內(nèi)容文件管理應(yīng)用程序時，在拍攝圖像檢測器/登記器20中形成文件系統(tǒng)變更檢測器43，圖像文件檢索部分42，圖像文件信息登記器31，拍攝圖像存儲器32和圖像文件信息存儲器35。在圖7中，在檢查文件系統(tǒng)15的操作的同時，文件系統(tǒng)變更檢測器43始終監(jiān)測文件更新，包括向內(nèi)部存儲設(shè)備13或外部存儲設(shè)備14的圖像文件的新增，和已保存的圖像文件的變更、刪除等。當(dāng)文件系統(tǒng)變更檢測器43檢測到用文件系統(tǒng)15的文件更新，包括圖像文件的新增、變更、刪除等時，拍攝圖像檢測器/登記器20使圖像文件檢索部分42工作。這里，當(dāng)新增圖像文件時，圖像文件檢索部分42把圖像文件(3 發(fā)給拍攝圖像存儲器32，以便保存在其中，并通過圖像文件信息登記器31把圖像屬性信息(圖像文件信息 36)發(fā)給圖像文件信息存儲器35，以便保存在其中。另外，在圖像文件被變更的情況下，圖像文件檢索部分42從拍攝圖像存儲器32管理的圖像文件33中，檢索文件系統(tǒng)變更檢測器檢測到所述變更的圖像文件33，通過圖像文件信息登記器31使圖像文件信息存儲器35保存變更的圖像文件的圖像屬性信息。在圖像文件被刪除的情況下，圖像文件檢索部分42通過圖像文件信息登記器31，使圖像文件信息存儲器35刪除與刪除的圖像文件對應(yīng)的圖像屬性信息。另外，圖像文件信息登記器31按照所述新增、變更、刪除等，更新數(shù)據(jù)庫。(面部矩形檢測器的細節(jié))
圖8是表示面部矩形檢測器21的細節(jié)的功能方框圖。在圖8中，面部矩形檢測器21包括面部矩形匹配部分51，面部檢索詞典存儲器52 和面部矩形信息存儲器M。在面部檢索詞典存儲器52中，預(yù)先登記關(guān)于利用大量的面部圖像學(xué)習(xí)的面部的信息，作為面部檢索詞典數(shù)據(jù)53。面部矩形匹配部分51比例縮放輸入的圖像文件的圖像，比較這樣獲得的比例縮放圖像與預(yù)先登記在面部檢索詞典數(shù)據(jù)53中的信息。通過重復(fù)進行比例縮放圖像和所述信息之間的相似部分的判斷(匹配)，面部矩形匹配部分51從照片圖像中找出面部區(qū)域，雙眼的位置，鼻子的位置，嘴的位置等等，并檢測這些信息項作為面部矩形信息55。面部矩形信息存儲器M向面部矩形匹配部分51檢測的面部矩形信息55賦予 ID (識別信息)，通過使所述ID與圖像文件關(guān)聯(lián)構(gòu)成數(shù)據(jù)庫，從而把所述ID和關(guān)聯(lián)的圖像文件保存在例如內(nèi)部存儲設(shè)備13中。(相似面部分類部分的細節(jié))圖9-11表示相似面部分類部分22的功能方框圖。圖9表示在把圖8所示的面部矩形檢測器21檢測的面部矩形分類歸入各個組中的情況下，相似面部分類部分22中的功能方框圖。就圖9來說，相似面部分類部分22由面部特征檢測器61，面部相似性計算器62， 分類部分63，面部特征信息存儲器64和面部分類信息存儲器66構(gòu)成。面部特征檢測器61計算面部矩形檢測器21檢測的面部矩形的特征量。所述特征量用構(gòu)成面部矩形的圖像的像素之間的亮度值之差表示。面部特征信息存儲器64保存和管理已計算的面部特征信息65。面部相似性計算器62比較面部特征檢測器61計算的特征量和保存在面部特征信息存儲器64中的面部特征信息65，從而計算每個面部矩形的相似性。分類部分63根據(jù)面部相似性計算器62計算的相似性，創(chuàng)建具有密切相似性的面部矩形的集合(組)，即，相似面部矩形的集合(組)，并關(guān)于每個集合(組)對面部矩形分類。面部分類信息存儲器66保存和管理分類部分63關(guān)于每個組分類的面部分類信息項67。圖10是在用另一種方法，預(yù)先把分類信息賦予圖像文件，并根據(jù)分類信息對面部矩形分類的情況下，相似面部分類部分22中的功能方框圖。在圖10的情況下，相似面部分類部分22由在先分類圖像獲取部分70和面部分類信息存儲器66構(gòu)成。在先分類圖像獲取部分70根據(jù)用另一種方法在先賦予的分類信息，對圖像文件分類。面部分類信息存儲器66從在先分類圖像獲取部分70接收圖像文件，并保存和管理圖像文件的面部分類信息67。圖11是在移動體終端的用戶手動分類圖像的情況下，相似面部分類部分22中的功能方框圖。在圖11的情況下，相似面部分類部分22由手動分類部分71和面部分類信息存儲器66構(gòu)成。手動分類部分71按照用戶的指令，對圖像文件分類。面部分類信息存儲器66從手動分類部分71接收圖像文件，保存和管理圖像文件的面部分類信息67。應(yīng)注意在圖11的情況下的手動分類包括手動校正在圖9和10的情況下獲得的分類結(jié)果的情況。(相似面部分類部分中的處理流程)圖12是表示在上面說明的圖9中所示的相似面部分類部分22的面部相似性計算器62和分類部分63中的處理的流程圖。在圖12中，首先，面部相似性計算器62準(zhǔn)備用面部特征檢測器61檢測的面部矩形的數(shù)目，同樣數(shù)目的優(yōu)先度(相似性得分)，和同樣數(shù)目的組的標(biāo)識符(聚類ID)。應(yīng)注意這種情況下的聚類ID是與已分類的各個組的聚類ID不同的臨時ID。隨后，在步驟Si，面部相似性計算器62把準(zhǔn)備的聚類ID賦予面部特征檢測器61 檢測的面部矩形，從而對面部矩形分組。隨后，在步驟S2，面部相似性計算器62通過比較已分類的每個組的每個面部矩形的特征量和面部特征檢測器61檢測的面部矩形的特征量，計算相似性，并計算每個組的相似性的最大值，最小值和平均值。隨后，面部相似性計算器62把處理轉(zhuǎn)到分類部分63。在步驟S3，分類部分63判斷是否存在其相似性的平均值超過第一閾值的多個組。 當(dāng)判斷存在其相似性的平均值超過第一閾值的多個組時，處理進入步驟S4,否則，處理進入步驟S9。在處理進入步驟S9的情況下，分類部分63判斷是否僅僅存在一個其相似性的平均值超過第一閾值的組。當(dāng)判斷僅僅存在一個其相似性的平均值超過第一閾值的組時，處理進入步驟S10，當(dāng)不存在其相似性的平均值超過第一閾值的組時，處理進入步驟S11。在步驟S11，分類部分63向面部矩形分配新的聚類ID。即，在這種情況下，面部特征檢測器61檢測到的面部矩形是不屬于已分類的任何組的新的面部矩形。于是，向新的面部矩形分配新的聚類ID(即，新的組)。在步驟Sll之后，結(jié)束圖12中所示的流程圖的處理。另一方面，在步驟S10，分類部分63只把其平均值超過第一閾值的組的一個聚類 ID分配給該面部矩形。即，在這種情況下，面部特征檢測器61檢測的面部矩形被判斷為屬于已分類的某個組的面部矩形，從而把該組的聚類ID分配給該面部矩形。在步驟SlO之后， 結(jié)束圖12中所示的流程圖的處理。當(dāng)在步驟S3中，判斷存在其相似性的平均值超過第一閾值的多個組，從而處理進入步驟S4時，分類部分63把其平均值超過第一閾值的多個組之中平均值最高的那個組的聚類ID分配給該面部矩形。隨后，分類部分63進行步驟S5-步驟S8的循環(huán)處理。在所述循環(huán)處理中，按組的數(shù)目重復(fù)所述處理。在步驟S5-步驟S8的循環(huán)處理中，分類部分63判斷除平均值最高的那個組之外的某個組是否具有超過預(yù)定第二閾值的相似性的最大值，最小值和平均值。當(dāng)判斷所述組的最大值，最小值和平均值超過第二閾值時，分類部分63隨后進行步驟S7的處理。另一方面，當(dāng)判斷所述某個組的最大值，最小值和平均值未超過第二閾值時，分類部分63進行關(guān)于下ー個組的判斷。在步驟S7，分類部分63用平均值最大的那個組的聚類ID替換所述組的聚類ID。 即，在這種情況下，分類部分63進行組成這些組的處理。當(dāng)按組的數(shù)目，重復(fù)進行了步驟S5-步驟S8的循環(huán)處理時，結(jié)束圖12中所示的流程圖的處理。應(yīng)注意如圖11中所示，在移動體終端的用戶手動分類圖像文件(面部矩形)的情況下，手動分類的面部矩形所屬于的那個組的平均值(在一些情況下，最大值和最小值)發(fā)生變化。此外，當(dāng)進行手動分類吋，能夠確實地分類難以用自動分類正確分類的面部矩形， 所述手動分類的信息在自動分類時反映出。結(jié)果，能夠更精確地進行自動分類。(相似面部顯示部分的細節(jié))圖13和14是相似面部顯示部分23的詳細功能方框圖。圖15_18是分別表示在移動體終端1的顯示屏幕2上顯示圖像的情況下的顯示例子的示圖。如圖13中所示，相似面部顯示部分23由相似面部登記通知部分81，単一圖像顯示部分83和相似面部圖像集合顯示部分82構(gòu)成。當(dāng)拍攝圖像檢測器/登記器20檢測到圖像文件吋，面部矩形檢測器21檢測面部矩形，之后，相似面部分類部分22如上所述對面部矩形分類，相似面部登記通知部分81向用戶告知面部圖像的分類和登記的完成。在本實施例中，為了向用戶告知相似面部圖像的分類和記錄的完成，例如使用一種在顯示在蜂窩電話機終端的待機屏幕上的卡片式對象的附近，或者在所述對象的預(yù)定位置顯示預(yù)定圖標(biāo)的方法。應(yīng)注意作為另ー種方法，最初對移動體終端配備的通知功能，比如聲音輸出、LED發(fā)光和振動器的振動，可用于向用戶告知相似面部圖像的分類和記錄的完成。圖15表示通知相似面部圖像的分類和記錄的完成的例子。在圖15的例子中，在顯示屏幕2上，作為卡片式對象91，顯示包括面部矩形的圖像文件，在卡片式對象91附近， 顯示預(yù)定的相似面部登記通知圖標(biāo)92。雖然在圖15的例子中只顯示了一個卡片式對象91， 不過如后所述，在本實施例的移動體終端中的顯示器上，可按與更新歷史對應(yīng)的時間先后順序，排列和顯示多個卡片式對象。按照本實施例的移動體終端，在排列和顯示多個卡片式對象的情況下，也能夠與圖15的例子中一祥，通過在與其中完成面部圖像的分類和登記的圖像文件對應(yīng)的卡片式對象的附近，或者在所述對象的預(yù)定位置，顯示相似面部登記通知圖標(biāo)，來向用戶告知與卡片式對象對應(yīng)的圖像文件中的面部圖像的分類和登記的完成。當(dāng)在如圖15中所示進行相似面部登記通知的情況下，或者在単一圖像顯示部分 83或相似面部圖像集合顯示部分82顯示圖像的情況下，用戶輸入預(yù)定的指令操作時，單一圖像顯示部分83和相似面部圖像集合顯示部分82工作。應(yīng)注意在移動體終端1的顯示屏幕2上設(shè)置所謂的觸摸面板的情況下，用戶輸入的預(yù)定指令操作例如是對觸控板的操作 (例如，觸摸，輕點或輕滑)。例如，當(dāng)在圖15的例子中進行相似面部登記通知吋，如果用戶輸入請求顯示單一圖像的預(yù)定指令操作吋，那么單一圖像顯示部分83在顯示屏幕2上顯示與卡片式對象91 對應(yīng)的圖像文件的圖像，如圖16中所示。應(yīng)注意在按照時間先后順序，在顯示屏幕2上排列和顯示多個卡片式對象的情況下，當(dāng)用戶從卡片式對象中選擇ー個卡片式對象，并輸入請求顯示該單ー圖像的預(yù)定指令操作時，單一圖像顯示部分83也在顯示屏幕2上，顯示與用戶選擇的卡片式對象對應(yīng)的圖像文件的圖像。此外，例如，當(dāng)如圖15中所示，通過相似面部登記通知圖標(biāo)92，進行相似面部登記通知吋，如果作為請求進行相似面部圖像的集合顯示的操作，用戶輸入了對相似面部登記通知圖標(biāo)92的觸摸操作，那么相似面部圖像集合顯示部分82顯示作為與對應(yīng)于卡片式對象91的圖像文件的面部圖像相似的圖像而預(yù)先分類的各個組中的圖像文件的縮略像 95的列表，如圖18中所示。應(yīng)注意在按照時間先后順序，在顯示屏幕2上排列和顯示多個卡片式對象的情況下，當(dāng)用戶通過相似面部登記通知圖標(biāo)，從已經(jīng)歷相似面部登記通知的卡片式對象中選擇ー個卡片式對象，并輸入請求相似面部圖像集合顯示的操作(例如，對相似面部登記通知圖標(biāo)92的觸摸操作)吋，相似面部圖像集合顯示部分82也顯示作為對應(yīng)于所選卡片式對象的圖像文件的面部圖像的相似圖像而預(yù)先分類的各個組中的圖像文件的縮略像的列表。另外，在進行圖16中所示的単一圖像顯示的時候，在用戶輸入請求相似面部圖像的集合顯示的操作(例如，對相似面部登記通知圖標(biāo)92的觸摸操作)吋，也進行如圖18中所示的相似面部圖像集合顯示。另ー方面，例如，在如圖18中所示進行相似面部圖像集合顯示的情況下，當(dāng)用戶從顯示在顯示屏幕2上的縮略像95中選擇所需的縮略像，并輸入請求單一圖像顯示的預(yù)定指令操作時，單一圖像顯示部分83在顯示屏幕2上，顯示與選擇的縮略像對應(yīng)的圖像文件的單ー圖像。應(yīng)注意當(dāng)在圖18的例子中選擇置于左上角的縮略像時，進行圖16中所示的単一圖像顯示。此外，按照本實施例的移動體終端，在顯示屏幕2上進行上面說明的相似面部登記通知，単一圖像顯示，或者相似面部圖像集合顯示的情況下，當(dāng)電話簿與顯示的面部圖像關(guān)聯(lián)吋，還能夠與電話簿的信息鏈接。圖14是在與電話簿信息的鏈接可能的情況下，相似面部顯示部分23的功能方框圖。在圖14的例子中，相似面部顯示部分23由相似面部登記通知部分81，単一圖像顯示部分83，相似面部圖像集合顯示部分82和電話簿信息顯示部分84構(gòu)成。相似面部登記通知部分81，単一圖像顯示部分83和相似面部圖像集合顯示部分82與上面所述相同。在進行相似面部登記通知，単一圖像顯示和相似面部圖像集合顯示，并且用戶選擇與電話簿關(guān)聯(lián)的圖像的情況下，電話簿信息顯示部分84工作。例如，在進行圖15中所示的相似面部登記通知，并且卡片式對象91與電話簿關(guān)聯(lián)的情況下，當(dāng)對于卡片式對象91，用戶輸入請求顯示電話簿的預(yù)定指令操作時，連同面部圖像93 —起，電話簿信息顯示部分84在顯示屏幕2上顯示與對應(yīng)于卡片式對象91的面部圖像93相關(guān)的電話簿信息94，如圖17中所示。此外，例如，在進行圖18中所示的相似面部圖像集合顯示的情況下，當(dāng)用戶從顯示在顯示屏幕2上的縮略像95中選擇所需的縮略像，并且輸入請求顯示電話簿的預(yù)定指令操作時，連同面部圖像93 —起，電話簿信息顯示部分84在顯示屏幕2上顯示與對應(yīng)于所選縮略像的面部圖像關(guān)聯(lián)的電話簿信息94，如圖17中所示。類似地，在進行圖16中所示的単一圖像顯示的情況下，當(dāng)用戶輸入請求顯示電話簿的預(yù)定指令操作時，連同面部圖像93 —起，電話簿信息顯示部分84在顯示屏幕2上顯示與作為單一圖像顯示的圖像文件關(guān)聯(lián)的電話簿信息94，如圖17中所示。另一方面，在如圖17中所示顯示電話簿信息的情況下，當(dāng)用戶輸入請求顯示單一圖像顯示的預(yù)定指令操作時，單一圖像顯示部分83在顯示屏幕2上，顯示與卡片式對象91 對應(yīng)的圖像文件的圖像，如圖16中所示。此外，例如，在如圖17中所示顯示電話簿信息的情況下，當(dāng)用戶進行觸摸相似面部登記通知圖標(biāo)92，以請求相似面部圖像的集合顯示的操作時，相似面部圖像集合顯示部分82顯示作為與電話簿信息94 一起顯示的面部圖像93的相似圖像而預(yù)先分類的各個組中的圖像文件的縮略像95的列表，如圖18中所示。(多個卡片式對象的排列顯示的例子)在本實施例中，除了如圖15中所示的與對應(yīng)于圖像文件的內(nèi)容數(shù)據(jù)相關(guān)的卡片式對象之外，準(zhǔn)備向用戶告知由用于電子郵件，SNS, SMS/MMS，音樂再現(xiàn)等的各種應(yīng)用程序處理的各種內(nèi)容的更新、添加等的卡片式對象，作為上面說明的卡片式對象。按照本實施例的移動體終端，能夠在蜂窩電話機終端的待機屏幕等上，排列和顯示與各種應(yīng)用程序的各種內(nèi)容數(shù)據(jù)對應(yīng)的卡片式對象，如圖19-21中所示。應(yīng)注意圖19-21分別表示其中沿著縱長方向設(shè)定顯示屏幕2的示圖。具體地說，在本實施例中，如圖19中所示排列的卡片式對象101被視為用于容易理解地向用戶指示對應(yīng)內(nèi)容數(shù)據(jù)的更新或添加以及所述更新或添加的概況的顯示對象。此外，在本實施例中，在卡片式對象101上，顯示正確地指示內(nèi)容的特性和更新的細節(jié)的信息，比如指示內(nèi)容對應(yīng)于用于SNS，SMS，電子郵件，音樂，照片等的各種應(yīng)用程序中的哪個應(yīng)用程序的信息，每個內(nèi)容獨有的、能夠指示諸如消息傳送來源和新聞標(biāo)題之類內(nèi)容屬性信息的信息，和指示內(nèi)容數(shù)據(jù)被更新或添加的日期和時間的信息。在本實施例中，作為指示內(nèi)容對應(yīng)于哪個應(yīng)用程序的信息，使用對應(yīng)于內(nèi)容的種類的圖標(biāo)、文字信息等等。預(yù)先以隨內(nèi)容而不同的信息的形式，準(zhǔn)備所述圖標(biāo)或文字信息。 另外，作為每個內(nèi)容獨有的、能夠指示內(nèi)容屬性信息的信息，使用指示消息傳送來源的文字信息，諸如照片之類的圖像、指示新聞投放來源和新聞標(biāo)題的文字信息，等等。此外，作為指示內(nèi)容數(shù)據(jù)等被更新或添加的日期和時間的信息，使用指示年月日，日期和時間等的文字信息。應(yīng)注意圖19和20的例子未顯示每個卡片式對象101對應(yīng)于哪個內(nèi)容，未顯示在卡片101上記述的用于更新信息指示的文字信息等的具體例子。另外，在本實施例中，當(dāng)在顯示屏幕2上表示多上卡片式對象101時，卡片式對象 101是按照更新內(nèi)容數(shù)據(jù)的時間先后順序排成一列顯示的，這能夠易于理解地指出內(nèi)容數(shù)據(jù)之間在更新、添加等方面的時間關(guān)系。S卩，圖19和20分別表示在按照內(nèi)容數(shù)據(jù)被更新或變更的時間先后順序，排列和顯示多個卡片式對象101的狀態(tài)下的用戶界面屏幕的例子。應(yīng)注意圖19和20分別表示在作為蜂窩電話機終端的本實施例的移動體終端處于所謂的待機狀態(tài)的時候，卡片式對象101 的顯示例子。當(dāng)然，這只是一個例子，圖19和20中所示的屏幕可以不是待機屏幕，而是另外準(zhǔn)備的預(yù)定屏幕。更具體地說，在本實施例中，顯示在屏幕上的多個卡片式對象101是當(dāng)從用戶觀察時，從屏幕的頂部到底部，按照更新日期和時間的倒序依次排列顯示的(倒序顯示的)。即，按照更新、變更等的時間的倒序(按照從屏幕的頂部到底部的順序)，依次排列顯示一指示收到SMS的卡片式對象，一指示收到另一個SMS的卡片式對象，一指示來自 RSS (RDF (資源描述框架)站點摘要)的新聞被更新的卡片式對象，一指示SNS被更新的卡片式對象，和一指示添加或更新了諸如本實施例的照片之類的圖像文件的卡片式對象。應(yīng)注意圖19表示其中從屏幕的頂部到底部，按照時間的倒序排列對象的例子，不過，當(dāng)然可以按照相反的順序排列對象。另外，圖19表示其中縱長使用顯示屏幕的例子。不過，在如上所述橫長使用顯示屏幕的情況下，可以從屏幕的左側(cè)到右側(cè)(或者從右側(cè)到左側(cè))，按照時間先后順序排列和顯示卡片式對象(即，橫向排列成一排地顯示卡片式對象)。 此外，在可通過在縱向方向和橫向方向之間切換屏幕方向，使用本實施例的終端的屏幕顯示的情況下，與屏幕方向在縱向方向和橫向方向之間的切換相結(jié)合，卡片式對象被排列成一排的方向可被切換成縱向方向或橫向方向。結(jié)果，按照縱長或橫長使用屏幕的使用條件， 能夠顯示數(shù)目更多的卡片式對象。另外，可沿著對角線方向重疊地顯示卡片式對象。此外，除了把卡片式對象直線地排成一排的情況之外，可以彎曲地排列和顯示卡片式對象。在彎曲排列卡片式對象的情況下，可根據(jù)用戶使用哪只手(左手或右手)操作觸摸面板，切換彎曲方向。在屏幕的顯示被設(shè)定為縱長顯示，并且用戶用例如右手操作顯示屏幕上的觸摸面板的情況下，可以依次逐漸彎曲和排列卡片式對象，以致使屏幕上的中央?yún)^(qū)域朝著屏幕的左側(cè)突出，使屏幕上的上下端區(qū)域朝著屏幕的右側(cè)彎曲。另一方面，在用戶用例如左手操作顯示屏幕上的觸摸面板的情況下，可以依次逐漸彎曲和排列卡片式對象， 以致使屏幕上的中央?yún)^(qū)域朝著屏幕的右側(cè)突出，使屏幕上的上下端區(qū)域朝著屏幕的左側(cè)彎曲。結(jié)果，能夠?qū)崿F(xiàn)用戶更易于使用的用戶界面。此外，在本實施例中，如圖19和20中所示，顯示在和待機屏幕中一樣的初始狀態(tài)下的卡片式對象101，以致使最初具有矩形形狀的每個卡片式對象的上部或下部假想地朝著屏幕深度方向稍微傾斜。應(yīng)注意在橫長使用顯示屏幕，從而橫向依次排列和顯示卡片式對象的情況下，理想的是使每個矩形卡片式對象的左側(cè)或右側(cè)假想地朝著屏幕深度方向傾斜。如上所述，在本實施例中，通過朝著屏幕深度方向，假想地傾斜最初為矩形的卡片式對象，和原樣排列矩形卡片式對象的情況相比，能夠在屏幕上顯示數(shù)目更多的卡片式對象。在下面的說明中，處于朝著屏幕深度方向傾斜的狀態(tài)的卡片式對象101被特別表示成處于空閑狀態(tài)的卡片式對象loid。在處于空閑狀態(tài)的每個卡片式對象101上，如上所述，顯示正確地指示內(nèi)容的特性和更新的細節(jié)的信息，比如指示內(nèi)容對應(yīng)于哪個應(yīng)用程序的信息，每個內(nèi)容獨有的、能夠指示每個內(nèi)容屬性的信息，和更新等的日期和時間信息。此外，當(dāng)用戶通過對顯示屏幕上的觸摸面板的預(yù)定手勢操作，輸入從如上所述排列和顯示在屏幕上的卡片式對象中，選擇所需卡片式對象101的指令時，在本實施例的移動體終端中，改變通過所述指令輸入選擇的卡片式對象101的顯示狀態(tài)。這里，在本實施例中，選擇所需卡片式對象的預(yù)定手勢操作是用戶接觸觸摸面板上，與卡片式對象的顯示區(qū)域?qū)?yīng)的一部分檢測區(qū)域的手勢操作。應(yīng)注意觸摸手勢操作指的是接觸觸摸面板一定時間以上的手勢操作。此外，當(dāng)利用通過觸摸面板的觸摸手勢操作，從處于空閑狀態(tài)的多個卡片式對象 IOld中選擇一個卡片式對象時，本實施例的移動體終端把選擇的卡片式對象101顯示成具有初始狀態(tài)下的矩形形狀的卡片式對象ΙΟΙν。S卩，在這種情況下，本實施例的移動體終端假想地豎起如上所述朝著屏幕深度方向傾斜的處于空閑狀態(tài)的卡片式對象loid，以致所選卡片式對象的表面近似平行于屏幕， 從而把該卡片式對象101顯示成近似矩形的卡片。如上所述，在本實施例中，卡片式對象101被假想地豎起，并顯示成矩形卡片式對象ΙΟΙν，從而向用戶告知該卡片式對象確實已被選擇的事實。在下面的說明中，處于在屏幕上被豎起、并以矩形形狀顯示的狀態(tài)的卡片式對象101被特別稱為處于預(yù)覽狀態(tài)的卡片式對象ΙΟΙν。圖15中所示的卡片式對象91是處于預(yù)覽狀態(tài)的卡片式對象。與如上所述處于空閑狀態(tài)的卡片式對象IOld的情況相比，在處于預(yù)覽狀態(tài)的卡片式對象IOlV上，可顯示數(shù)目更多的信息項。即，與處于空閑狀態(tài)的卡片式對象IOld相比，處于預(yù)覽狀態(tài)的卡片式對象IOlV在屏幕上占據(jù)更大的面積，從而能夠在屏幕上顯示數(shù)目更多的信息項。在本實施例中，在處于預(yù)覽狀態(tài)的卡片式對象IOlv上，除了類似于處于空閑狀態(tài)的卡片式對象loid，顯示指示內(nèi)容對應(yīng)于哪個應(yīng)用程序的信息，更新等的日期和時間信息， 和其它信息項之外，還顯示指示每個內(nèi)容的更新細節(jié)的更詳細信息項。圖22和23是分別表示處于空閑狀態(tài)的卡片式對象IOld (圖22)和處于預(yù)覽狀態(tài)的卡片式對象101v(圖23)的放大圖。在圖22中所示的處于空閑狀態(tài)的卡片式對象IOld上，排列指示內(nèi)容對應(yīng)于用于 SNS，電子郵件，音樂，照片等的各種應(yīng)用程序中的哪個應(yīng)用程序的圖標(biāo)10 ，作為每個內(nèi)容獨有的、能夠指示內(nèi)容的每種屬性(比如消息傳送來源或新聞標(biāo)題)的信息的文字信息 102b，簡單地指示每個內(nèi)容的更新細節(jié)的文字信息102c，和指示更新、添加等的日期和時間的文字信息102d。另外，在存在消息傳送來源的照片等的縮略像，音樂的專輯封面的縮略像等的情況下，在卡片式對象IOld上顯示其縮略像102a，作為能夠指示內(nèi)容的屬性的信息項。另一方面，在圖23中所示的卡片式對象IOlv上，和處于空閑狀態(tài)的卡片式對象 IOld的情況一樣，排列圖標(biāo)10 和日期-時間文字信息102d，并指示與空閑狀態(tài)下相比能更詳細地指示每個內(nèi)容的更新細節(jié)的文字信息102c。另外，在使卡片式對象IOlv處于預(yù)覽狀態(tài)之后，如果持續(xù)一段時間以上，用戶未發(fā)出任何指令，那么本實施例的移動體終端使卡片式對象IOlv恢復(fù)成處于空閑狀態(tài)的卡片式對象101d。此外，在本實施例的移動體終端中，在圖22中所示的處于空閑狀態(tài)的卡片式對象 IOld上，或者在圖23中所示的處于預(yù)覽狀態(tài)的卡片式對象IOlv上，除了如上所述的縮略像10 等之外，還顯示用于上面說明的相似面部登記的通知，或者使對象與電話簿的關(guān)聯(lián)的完成通知的圖標(biāo)102f。即，在用戶對上面顯示圖標(biāo)102f的卡片式對象進行預(yù)定指令操作的情況下，本實施例的移動體終端進行如上所述的單一圖像顯示或相似面部圖像集合顯示，與電話簿信息關(guān)聯(lián)的圖像顯示，等等。(相似面部顯示部分中的處理流程)圖M是表示當(dāng)圖17中所示的電話簿信息顯示被轉(zhuǎn)變成上面說明的圖14中所示的相似面部顯示部分23中的相似面部圖像集合顯示時的處理的流程圖。
在圖M中，在進行如圖17中所示的電話簿信息顯示的情況下，當(dāng)用戶進行例如觸摸相似面部登記通知圖標(biāo)102f (9 ，以請求相似面部圖像的集合顯示的操作時，在步驟 S21中，相似面部圖像集合顯示部分82從相似面部分類部分22的面部分類信息存儲器66 的數(shù)據(jù)庫中，獲得對應(yīng)于與電話簿信息94 一起顯示的面部圖像93的聚類ID。隨后，相似面部圖像集合顯示部分82進行步驟S22-S25的循環(huán)處理。按與相同聚類ID對應(yīng)的圖像文件的數(shù)目，重復(fù)進行所述循環(huán)處理。在步驟S22-S25的循環(huán)處理中，首先，在步驟S23中，相似面部圖像集合顯示部分 82從拍攝圖像檢測器/登記器20的圖像文件信息存儲器35的數(shù)據(jù)庫中，獲得與聚類ID對應(yīng)的圖像文件的ID。隨后，在步驟S24，相似面部圖像集合顯示部分82從圖像文件信息存儲器35獲得與圖像文件的ID對應(yīng)的縮略像，并把獲得的縮略圖顯示在顯示屏幕2上。當(dāng)按圖像文件的數(shù)目進行步驟S22-S25的循環(huán)處理時，進行如上所述的相似面部圖像的集合顯示。當(dāng)完成集合顯示時，相似面部圖像集合顯示部分82結(jié)束圖M的流程圖的處理。圖25是表示當(dāng)如圖16中所示的單一圖像顯示被轉(zhuǎn)變成上面說明的圖13和14中所示的相似面部顯示部分23中的相似面部圖像集合顯示時的處理的流程圖。在圖25中，在進行如圖16中所示的單一圖像顯示的情況下，當(dāng)發(fā)現(xiàn)用戶對單一圖像中的面部圖像，進行例如觸摸相似面部登記通知圖標(biāo)102f (9 ，以請求相似面部圖像的集合顯示的操作時，在步驟S31，單一圖像顯示部分83把處理轉(zhuǎn)給相似面部圖像集合顯示部分82。在步驟S32，在這種情況下，相似面部圖像集合顯示部分82從拍攝圖像檢測器/登記器20的圖像文件信息存儲器35的數(shù)據(jù)庫，獲得與已經(jīng)歷單一圖像顯示的面部圖像對應(yīng)的圖像文件的ID。隨后，在步驟S33，相似面部圖像集合顯示部分82從相似面部分類部分22的面部分類信息存儲器66的數(shù)據(jù)庫，獲得與獲得的圖像文件對應(yīng)的聚類ID。隨后，相似面部圖像集合顯示部分82進行步驟S34-S37的循環(huán)處理。按對應(yīng)于相同聚類ID的圖像文件的數(shù)目，重復(fù)進行所述循環(huán)處理。在步驟S34-S37的循環(huán)處理中，首先，在步驟S35，相似面部圖像集合顯示部分82 從拍攝圖像檢測器/登記器20的圖像文件信息存儲器35的數(shù)據(jù)庫，獲得與聚類ID對應(yīng)的圖像文件的ID。隨后，在步驟S36，相似面部圖像集合顯示部分82從圖像文件信息存儲器35，獲得與圖像文件的ID對應(yīng)的縮略像，并把獲得的縮略像顯示在顯示屏幕2上。當(dāng)按圖像文件的數(shù)目進行步驟S34-S37的循環(huán)處理時，進行如上所述的相似面部圖像的集合顯示。當(dāng)集合顯示完成時，相似面部圖像集合顯示部分82結(jié)束圖25的流程圖的處理。圖沈是表示當(dāng)在按照時間先后順序排列和顯示多個卡片式對象的狀態(tài)下，通過在某個卡片式對象上顯示相似面部登記通知圖標(biāo)102f (9 ，向用戶告知相似面部登記的完成，然后用戶選擇上面指示所述圖標(biāo)102f(9》的卡片式對象，并輸入進行相似面部圖像集合顯示的指令操作，結(jié)果進行相似面部圖像的集合顯示時的處理的流程圖。
在圖沈中，在按照時間先后順序排列和顯示如上所述的多個卡片式對象的狀態(tài)下，當(dāng)通過在某個卡片式對象上指示相似面部登記通知圖標(biāo)102f(92)，向用戶告知相似面部通知的完成時，用戶選擇該卡片式對象91，并進行例如觸摸相似面部登記通知圖標(biāo) 102f(92)，以請求集合顯示，從而相似面部登記通知部分81把處理轉(zhuǎn)到相似面部圖像集合顯示部分82。在步驟S41，在這種情況下，相似面部圖像集合顯示部分82從面部矩形信息存儲器M的數(shù)據(jù)庫，獲得與相似面部登記通知的卡片式對象91對應(yīng)的圖像文件中的面部矩形的ID。隨后，相似面部圖像集合顯示部分82根據(jù)在步驟S41中獲得的面部矩形ID，判斷圖像文件中的面部矩形的數(shù)目是否為ι。當(dāng)判斷面部矩形的數(shù)目為1時，處理進入步驟S43， 或者當(dāng)判斷面部矩形的數(shù)目為2以上時，處理進入步驟S49。當(dāng)處理進入步驟S49時，相似面部圖像集合顯示部分82對在圖像文件中檢測到的面部矩形之中，更接近于中心、并且具有更大面積的面部矩形加權(quán)，從而對面部矩形排序， 并選擇順序最高(優(yōu)先度最高)的面部矩形。在步驟S49之后，處理進入步驟S43。在步驟S43，相似面部圖像集合顯示部分82再次從面部矩形信息存儲器M的數(shù)據(jù)庫，獲得面部矩形的ID。隨后，在步驟S44，相似面部圖像集合顯示部分82根據(jù)面部矩形的 ID，從相似面部分類部分22的面部分類信息存儲器66的數(shù)據(jù)庫，獲得聚類ID。隨后，相似面部圖像集合顯示部分82進行步驟S45-S48的循環(huán)處理。按對應(yīng)于相同聚類ID的圖像文件的數(shù)目，重復(fù)進行所述循環(huán)處理。在步驟S45-S48的循環(huán)處理中，首先，在步驟S46，相似面部圖像集合顯示部分82 從拍攝圖像檢測器/登記器20的圖像文件信息存儲器35的數(shù)據(jù)庫中，獲得與聚類ID對應(yīng)的圖像文件的ID。隨后，在步驟S47，相似面部圖像集合顯示部分82從圖像文件信息存儲器35，獲得與圖像文件的ID對應(yīng)的縮略像，并把獲得的縮略像顯示在顯示屏幕2上。當(dāng)按圖像文件的數(shù)目重復(fù)進行步驟S45-S48的循環(huán)處理時，進行如上所述的相似面部圖像的集合顯示。當(dāng)集合顯示完成時，相似面部圖像集合顯示部分82結(jié)束圖沈中所示的流程圖的處理。參考圖26，說明了其中在按照時間先后順序排列和顯示多個卡片式對象的狀態(tài)下，指定上面指示相似面部登記通知圖標(biāo)102f (9 的卡片式對象，從而進行相似面部圖像的集合顯示的例子。另一方面，例如，在指定上面指示相似面部登記通知圖標(biāo)102f(92)的卡片式對象，從而顯示單一圖像，并且之后用戶輸入進行相似面部圖像集合顯示的操作指令的情況下，按照和上面相同的方式進行相似面部圖像的集合顯示。(結(jié)論)如上所述，按照本實施例的移動體終端，在拍攝圖像檢測器/登記器20中，在如參考圖5所述用圖像拾取設(shè)備12拍攝圖像，如參考圖6所述把外部存儲器3插入外部存儲設(shè)備14中，和如參考圖7所述進行圖像文件的新增、變更、刪除等的任何情況下，可對能夠被移動體終端處理的所有圖像文件進行相似面部分類。此外，按照本實施例的移動體終端，拍攝圖像檢測器/登記器20，面部矩形檢測器 21和相似面部分類部分22中的功能是在后臺實現(xiàn)的，于是可在不向用戶要求任何特殊操作的情況下，實現(xiàn)這些功能。在進行相似面部登記通知之后，能夠進行相似面部圖像集合顯示，電話簿信息顯示等等。另外，在本實施例的移動體終端中，還能夠?qū)γ娌烤匦芜M行手動分類。因而，即使在作為自動分類的結(jié)果，提供與用戶的意圖相反的分類結(jié)果的情況下，也能夠校正面部矩形的分類。此外，當(dāng)進行手動分類，并且之后另外進行圖像文件的分類處理時，分類精度得到提高，因為使反映用戶的校正的分類組作為基礎(chǔ)(matrix)經(jīng)歷分類計算。此外，按照本實施例的移動體終端，提供相似面部顯示部分23的功能。于是，能夠顯示包括相同組的面部矩形的圖像組，從而在與電話簿信息鏈接的情況下，使登記在電話簿中的人物的詳細信息的顯示和與所述人物的通信更容易。在未與電話簿信息鏈接的情況下，當(dāng)選擇并在電話簿中新登記照片圖像時，在所述照片圖像已經(jīng)歷相似面部分類的情況下，能夠使與所述照片圖像被分類為相同組的面部矩形的所有圖像文件組與電話簿的記錄信息相鏈接。S卩，按照本實施例的移動體終端，通過按照面部圖像的相似性，對增加或更新的圖像文件分組和使之與另一個照片圖像文件的面部圖像關(guān)聯(lián)，能夠幾乎完全消除用戶為了對圖像文件分類而進行的檢查操作，從而顯著減輕用戶的負擔(dān)，結(jié)果能夠容易地使面部圖像與諸如電話簿之類的其它內(nèi)容數(shù)據(jù)關(guān)聯(lián)。在本實施例中，靜止圖像的圖像文件被舉例用作目標(biāo)內(nèi)容文件，不過和以上例子中一樣，檢測、分類等可適用于運動圖像文件。另外，例如，通過把聲音的特征量的檢測和相似性計算應(yīng)用于音頻文件，音頻文件也可以是分類目標(biāo)。關(guān)于以上實施例的其它說明只是本發(fā)明的一個例子。從而，本發(fā)明并不局限于以上實施例，當(dāng)然可依據(jù)設(shè)計等做出各種修改，而不脫離本發(fā)明的技術(shù)思想。在以上實施例中，蜂窩電話機終端被用作移動體終端，不過本發(fā)明可適用于按照以上實施例的其它各種信息終端。[附圖標(biāo)記列表]1移動體終端(蜂窩電話機終端)2顯示屏幕3外部存儲器4照相機鏡頭A，B被攝物體(人臉)5A，5B被攝物體圖像10CPU11顯示設(shè)備12圖像拾取設(shè)備13內(nèi)部存儲設(shè)備14外部存儲設(shè)備20拍攝圖像檢測器/登記器21面部矩形檢測器22相似面部分類部分23相似面部顯示部分
30圖像拾取檢測器31圖像文件信息登記器32拍攝圖像存儲器33圖像文件34實際拍攝圖像數(shù)據(jù)35圖像文件信息存儲器36圖像文件信息41外部存儲設(shè)備插入檢測器42圖像文件檢測部分51面部矩形匹配部分52面部檢索詞典存儲器53面部檢索詞典數(shù)據(jù)54面部矩形信息存儲器55面部矩形信息61面部特征檢測器62面部相似性計算器63分類部分64面部特征信息存儲器65面部特征信息66面部分類信息存儲器67面部分類信息70在先分類圖像獲取部分71手動分類部分81相似面部登記通知部分82相似面部圖像集合顯示部分83單一圖像顯示部分84電話簿信息顯示部分91，101d，101v 卡片式對象92，102f相似面部登記通知圖標(biāo)93登記在電話簿中的面部圖像94登記在電話簿中的信息95縮略像102a縮略像102b，102c，102d 文字信息102e 圖標(biāo)
權(quán)利要求
1.一種信息終端，包括檢測未登記或者更新的圖像文件，并構(gòu)成和管理檢測到的圖像文件的列表的圖像檢測器/登記器；檢測包括在圖像檢測器/登記器檢測的圖像文件的圖像中的面部圖像，使關(guān)于檢測的面部圖像的信息與圖像文件關(guān)聯(lián)，并保存關(guān)聯(lián)的信息的面部圖像檢測器；計算面部圖像檢測器檢測的面部圖像的特征量，比較計算的特征量與已計算并分類歸入組中的不同面部圖像的特征量，計算該面部圖像與相應(yīng)組中的不同面部圖像之間的相似性，并根據(jù)相似性計算的結(jié)果對該面部圖像進行分類和管理的相似面部分類部分；和根據(jù)相似面部分類部分的面部圖像的分類結(jié)果，在顯示屏幕上顯示包括分類為相同組的面部圖像的至少一個圖像文件的相似面部顯示部分。
2.按照權(quán)利要求1所述的信息終端，其中圖像檢測器/登記器檢測圖像拾取設(shè)備新拍攝的拍攝圖像文件、保存在外部存儲器中的未登記圖像文件和由管理文件信息的文件系統(tǒng)更新的圖像文件。
3.按照權(quán)利要求1所述的信息終端，其中相似面部分類部分按照用戶發(fā)出的指令，校正面部圖像的分類結(jié)果，并在待進行的不同面部圖像的分類中反映面部圖像的校正后的分類結(jié)果。
4.按照權(quán)利要求1所述的信息終端，其中相似面部顯示部分把與圖像檢測器/登記器檢測的圖像文件對應(yīng)的預(yù)定對象圖像顯示在顯示屏幕上，當(dāng)相似面部分類部分的分類完成時，在預(yù)定對象圖像的附近顯示用于通知相似面部分類的完成的預(yù)定圖標(biāo)圖像。
5.按照權(quán)利要求4所述的信息終端，其中當(dāng)預(yù)定對象圖像被選擇，并且用戶輸入了請求顯示該圖像文件的用戶指令時，相似面部顯示部分在顯示屏幕上顯示與預(yù)定對象圖像對應(yīng)的圖像文件的圖像。
6.按照權(quán)利要求4所述的信息終端，其中當(dāng)預(yù)定對象圖像被選擇，并且用戶輸入了請求顯示與該圖像文件中的面部圖像類似的多個圖像文件的列表的用戶指令時，相似面部顯示部分在顯示屏幕上顯示包括與對應(yīng)于預(yù)定對象圖像的圖像文件中的面部圖像相似的面部圖像的多個圖像文件的圖像，作為列表。
7.按照權(quán)利要求4所述的信息終端，其中在保存與多個面部圖像中的每一個關(guān)聯(lián)的預(yù)定登記信息的狀態(tài)下，當(dāng)預(yù)定對象圖像被選擇，并且用戶輸入了請求顯示與所需面部圖像相關(guān)的登記信息的用戶指令時，連同所需面部圖像一起，相似面部顯示部分在顯示屏幕上顯示與所需面部圖像相關(guān)的登記信肩、ο
8.信息終端的信息控制方法，包括下述步驟用圖像檢測器/登記器檢測未登記或者更新的圖像文件，并構(gòu)成和管理檢測到的圖像文件的列表；用面部圖像檢測器檢測包括在圖像檢測器/登記器檢測的圖像文件的圖像中的面部圖像，使關(guān)于檢測的面部圖像的信息與圖像文件關(guān)聯(lián)，并保存關(guān)聯(lián)的信息；用相似面部分類部分計算面部圖像檢測器檢測的面部圖像的特征量，比較計算的特征量與已計算并分類歸入組中的不同面部圖像的特征量，計算該面部圖像與相應(yīng)組中的不同面部圖像之間的相似性，并根據(jù)相似性計算的結(jié)果對該面部圖像進行分類和管理；和用相似面部顯示部分根據(jù)相似面部分類部分進行的面部圖像分類的結(jié)果，在顯示屏幕上顯示包括分類為相同組的面部圖像的至少一個圖像文件。
9. 一種使信息終端執(zhí)行下述處理的信息控制程序檢測未登記或者更新的圖像文件，并構(gòu)成和管理檢測到的圖像文件的列表的圖像檢測/ 登記處理；檢測包括在圖像檢測器/登記器檢測的圖像文件的圖像中的面部圖像，使關(guān)于檢測的面部圖像的信息與圖像文件關(guān)聯(lián)，并保存關(guān)聯(lián)的信息的面部圖像檢測處理；計算面部圖像檢測器檢測的面部圖像的特征量，比較計算的特征量與已計算并分類歸入組中的不同面部圖像的特征量，計算該面部圖像與相應(yīng)組中的不同面部圖像之間的相似性，并根據(jù)相似性計算的結(jié)果對該面部圖像進行分類和管理的相似面部分類處理；和根據(jù)相似面部分類部分的面部圖像的分類結(jié)果，在顯示屏幕上顯示包括分類為相同組的面部圖像的至少一個圖像文件的相似面部顯示處理。
全文摘要
為了能夠顯著減輕在用戶對添加或更新的圖像文件分類時的負擔(dān)，從而使與其它內(nèi)容數(shù)據(jù)的關(guān)聯(lián)更容易。圖像檢測器/登記器(20)檢測未登記或者更新的圖像文件，并構(gòu)成和管理圖像文件的列表。面部矩形檢測器(21)檢測所檢測到的圖像文件中的面部矩形，使關(guān)于面部矩形的信息與圖像文件關(guān)聯(lián)，并保存所述信息。相似面部分類部分(22)計算面部矩形的特征量，比較計算的特征量與已計算并分類歸入各個組中的不同面部矩形的特征量，計算該面部矩形與各個組中的不同面部矩形之間的相似性，并按照相似性計算的結(jié)果，對該面部矩形進行分類和管理。相似面部顯示部分(23)在顯示屏幕上，顯示包括分類歸入相同組中的面部矩形的至少一個圖像文件。
文檔編號G06K9/03GK102549601SQ20098016092
公開日2012年7月4日 申請日期2009年9月30日 優(yōu)先權(quán)日2009年8月21日
發(fā)明者八木大地, 川上裕幸, 木村照孝 申請人:索尼愛立信移動通信股份公司