專利名稱：電子裝置、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及能夠從與某個(gè)事件(event)相關(guān)的運(yùn)動(dòng)圖像數(shù)據(jù)項(xiàng)目或靜止圖像數(shù)據(jù)項(xiàng)目確定代表該事件的圖像的電子裝置、以及該電子裝置中的圖像處理方法和程序。
背景技術(shù)：
目前已經(jīng)存在將由多個(gè)場(chǎng)景組成的運(yùn)動(dòng)圖像或靜止圖像分組并提取代表每個(gè)組的代表性圖像的技術(shù)。例如，日本專利申請(qǐng)?jiān)缙诠_No. 2010-9608(以下，稱為專利文獻(xiàn)1)公開了如下內(nèi)容基于用戶的指令，多個(gè)圖像被分組，并且用戶所希望的圖像被從該組中包括的圖像中提取，作為每個(gè)組的代表性圖像。另外，日本專利申請(qǐng)?jiān)缙诠_No. 2003-203090(以下，稱為專利文獻(xiàn)2)公開了一種圖像空間顯示方法，其中基于從圖像中所提取的特征量，將類似的圖像組合在一起成為組，并且從要顯示的各個(gè)組中一個(gè)接一個(gè)地提取圖像。

發(fā)明內(nèi)容
但是，在專利文獻(xiàn)1所公開的技術(shù)中，用戶手動(dòng)確定代表性圖像，其花費(fèi)用戶的時(shí)間和精力。另外，在專利文獻(xiàn)2所公開的技術(shù)中，圖像的類似性通過(guò)利用特征量(信號(hào)強(qiáng)度， 例如直方圖特征、邊緣特征和紋理特征)間的距離作為參考來(lái)確定。但是，在使用僅由信號(hào)強(qiáng)度所組成的特征量的情形中，即便當(dāng)圖像自身并不具有特征量的類似性時(shí)，用戶也可能希望將這些圖像分類為同一組。在專利文獻(xiàn)2中公開的技術(shù)很難支持這種情形。另外，通過(guò)利用由臉部檢測(cè)/臉部識(shí)別、笑容識(shí)別等技術(shù)所檢測(cè)的從屬意義信息， 與僅由信號(hào)強(qiáng)度所組成的特征量的情形相比，可執(zhí)行有意義的分類處理。但是，作為嚴(yán)肅事件的場(chǎng)景的代表性圖像，與微笑或大笑相對(duì)應(yīng)的圖像并不認(rèn)為是合適的。另外，存在以下情形即便在歡快的事件中，也可能檢測(cè)到用戶的完全陌生人的微笑，并且，將該場(chǎng)景提取作為代表性圖像是不合適的。另外，在從某個(gè)圖像組檢測(cè)出多個(gè)能夠是代表性圖像的候選者的場(chǎng)景的情形中， 即便當(dāng)使用從屬意義信息時(shí)，也很難判定哪個(gè)場(chǎng)景將被設(shè)置為代表性圖像。鑒于上述的環(huán)境，希望提供一種電子裝置、圖像處理方法以及程序，其能夠從與某個(gè)事件相關(guān)的多個(gè)圖像中選擇反映了事件的細(xì)節(jié)并適于作為代表性圖像的圖像。根據(jù)本發(fā)明的實(shí)施例，提供了一種電子裝置，其包括存儲(chǔ)器、控制器和輸出單元。 該存儲(chǔ)器存儲(chǔ)被分類為多個(gè)組的多個(gè)圖像；多個(gè)事件特征信息項(xiàng)目，該多個(gè)事件特征信息項(xiàng)目指示每個(gè)事件所特有的對(duì)象的特征；以及多個(gè)規(guī)則信息項(xiàng)目，該多個(gè)規(guī)則信息項(xiàng)目指示用于為每個(gè)組選擇代表由多個(gè)圖像表達(dá)的事件的代表性圖像的規(guī)則，并且該多個(gè)規(guī)則信息項(xiàng)目針對(duì)每個(gè)事件和與事件相關(guān)的每個(gè)人是不同的。該控制器基于多個(gè)事件特征信息項(xiàng)目，從每個(gè)組的多個(gè)圖像中提取多個(gè)元信息項(xiàng)目，從所提取的多個(gè)元信息項(xiàng)目中分析高級(jí)元信息，以導(dǎo)出所述多個(gè)圖像表達(dá)了與誰(shuí)有關(guān)的什么事件，以及基于與所導(dǎo)出的事件相對(duì)應(yīng)的規(guī)則信息，從多個(gè)圖像中選擇代表所導(dǎo)出的事件的代表性圖像。該輸出單元針對(duì)每個(gè)組輸出所選擇的代表性圖像的縮略圖像。利用這種結(jié)構(gòu)，該電子裝置抽象出多個(gè)元信息項(xiàng)目，并且導(dǎo)出由每個(gè)組中的多個(gè)圖像所表達(dá)的事件，并且隨后基于對(duì)應(yīng)于該事件的規(guī)則信息選擇代表性圖像，其結(jié)果是，能夠選擇反映了事件的細(xì)節(jié)并適于作為代表性圖像的圖像。另外，由于上述規(guī)則信息項(xiàng)目針對(duì)與事件相關(guān)的每個(gè)人是不同的，因此例如取決于與事件相關(guān)的人與用戶間的關(guān)系的深度，將被選擇的代表性圖像也是不同的。因此，該電子裝置能夠?yàn)殡娮友b置的用戶選擇最佳的代表性圖像。此處，圖像不僅包括最初由靜止相機(jī)所捕獲的靜止圖像，還包括從運(yùn)動(dòng)圖像提取出的靜止圖像(幀)。存儲(chǔ)器可存儲(chǔ)個(gè)人特征信息，該個(gè)人特征信息指示與用戶具有預(yù)定關(guān)系的人的特征。在這種情形中，控制器基于個(gè)人特征信息和多個(gè)事件特征信息項(xiàng)目來(lái)提取元信息項(xiàng)目。相應(yīng)地，通過(guò)識(shí)別特定的人，該電子裝置能夠?qū)С雠c特定的人相關(guān)的事件，并且相應(yīng)地選擇代表性圖像。針對(duì)每個(gè)事件，多個(gè)規(guī)則信息項(xiàng)目可包括將被包括在代表性圖像中的多個(gè)元信息項(xiàng)目以及多個(gè)分?jǐn)?shù)信息項(xiàng)目，該多個(gè)分?jǐn)?shù)信息項(xiàng)目的每一個(gè)指示與元信息項(xiàng)目的重要度相對(duì)應(yīng)的分?jǐn)?shù)。在這種情形中，控制器基于多個(gè)分?jǐn)?shù)信息項(xiàng)目可將與多個(gè)圖像的各自元信息項(xiàng)目相對(duì)應(yīng)的分?jǐn)?shù)相加，并且將具有最高分?jǐn)?shù)的圖像選作代表性圖像。相應(yīng)地，通過(guò)針對(duì)每個(gè)事件設(shè)置與每個(gè)元信息項(xiàng)目的重要度相對(duì)應(yīng)的分?jǐn)?shù)，電子裝置能夠可靠地選擇最佳地表達(dá)了每個(gè)事件的代表性圖像。輸出單元可與縮略圖像一起輸出字符信息，該字符信息指示表達(dá)了什么事件以及事件和誰(shuí)相關(guān)。相應(yīng)地，電子裝置能夠呈現(xiàn)代表性圖像的縮略圖像，并且還使得用戶輕松地理解由代表性圖像所表達(dá)的事件所指示的“誰(shuí)的”事件和“什么”事件?？刂破骺蛇x擇具有高分?jǐn)?shù)的預(yù)定數(shù)目的代表性圖像，并且輸出預(yù)定數(shù)目的代表性圖像的縮略圖像，使得具有較高分?jǐn)?shù)的代表性圖像具有較大的可見區(qū)域。相應(yīng)地，通過(guò)根據(jù)其分?jǐn)?shù)來(lái)輸出代表性圖像，與一個(gè)代表性圖像被輸出的情形相比，電子裝置能夠使得用戶更容易地理解事件的細(xì)節(jié)。此處，短語(yǔ)“輸出縮略圖像使得具有較高分?jǐn)?shù)的代表性圖像具有較大的可見區(qū)域”例如包括顯示多個(gè)縮略圖像，同時(shí)以分?jǐn)?shù)的次序來(lái)重疊部分圖像，并且以分?jǐn)?shù)的次序來(lái)變更縮略圖像的大小。根據(jù)本發(fā)明的另一實(shí)施例，提供了一種圖像處理方法，包括存儲(chǔ)以下內(nèi)容被分類為多個(gè)組的多個(gè)圖像；多個(gè)事件特征信息項(xiàng)目，該多個(gè)事件特征信息項(xiàng)目指示每個(gè)事件所特有的對(duì)象的特征；以及多個(gè)規(guī)則信息項(xiàng)目，該多個(gè)規(guī)則信息項(xiàng)目指示用于為每個(gè)組選擇代表由多個(gè)圖像表達(dá)的事件的代表性圖像的規(guī)則，該多個(gè)規(guī)則信息項(xiàng)目針對(duì)每個(gè)事件和與事件相關(guān)的每個(gè)人是不同的?；诙鄠€(gè)事件特征信息項(xiàng)目，從每個(gè)組的多個(gè)圖像中提取多個(gè)元信息項(xiàng)目。從所提取的元信息項(xiàng)目中分析高級(jí)元信息，以導(dǎo)出表達(dá)了什么事件以及在多個(gè)圖像中事件與誰(shuí)相關(guān)?；谂c所導(dǎo)出的事件相對(duì)應(yīng)的規(guī)則信息，從多個(gè)圖像中選擇代表所導(dǎo)出的事件的代表性圖像。針對(duì)每個(gè)組輸出所選擇的代表性圖像的縮略圖像。根據(jù)本發(fā)明的又一實(shí)施例，提供了一種程序，該程序使得電子裝置執(zhí)行存儲(chǔ)步驟、提取步驟、導(dǎo)出步驟、選擇步驟以及輸出步驟。在存儲(chǔ)步驟中，存儲(chǔ)以下內(nèi)容被分類為多個(gè)組的多個(gè)圖像；多個(gè)事件特征信息項(xiàng)目，該多個(gè)事件特征信息項(xiàng)目指示每個(gè)事件所特有的對(duì)象的特征；以及多個(gè)規(guī)則信息項(xiàng)目，該多個(gè)規(guī)則信息項(xiàng)目指示用于為每個(gè)組選擇代表由多個(gè)圖像表達(dá)的事件的代表性圖像的規(guī)則，該多個(gè)規(guī)則信息項(xiàng)目針對(duì)每個(gè)事件和與事件相關(guān)的每個(gè)人是不同的。在提取步驟中，基于多個(gè)事件特征信息項(xiàng)目，從每個(gè)組的多個(gè)圖像中提取多個(gè)元信息項(xiàng)目。在導(dǎo)出步驟中，通過(guò)從所提取的元信息項(xiàng)目中分析高級(jí)元信息，以導(dǎo)出表達(dá)了什么事件以及在多個(gè)圖像中事件與誰(shuí)相關(guān)。在選擇步驟中，基于與所導(dǎo)出的事件相對(duì)應(yīng)的規(guī)則信息，從多個(gè)圖像中選擇代表所導(dǎo)出的事件的代表性圖像。在輸出步驟中，針對(duì)每個(gè)組輸出所選擇的代表性圖像的縮略圖像。如上所述，根據(jù)本發(fā)明的實(shí)施例，可以從與某個(gè)事件相關(guān)的多個(gè)圖像中選擇反映了事件的細(xì)節(jié)并適于作為代表性圖像的圖像。鑒于以下對(duì)其最佳模式實(shí)施例的詳細(xì)描述(如附圖中所示)，本發(fā)明的這些和其他對(duì)象、特征和優(yōu)點(diǎn)將變得更加明顯。


圖1是示出了根據(jù)本發(fā)明的實(shí)施例的PC的硬件結(jié)構(gòu)的示圖；圖2是示出了用于由根據(jù)本發(fā)明的實(shí)施例的PC的圖像顯示應(yīng)用選擇代表性圖像的功能性框的示圖；圖3是示出了圖2中的代表性圖像選擇單元的細(xì)節(jié)的示圖；圖4是示出了由根據(jù)本發(fā)明的實(shí)施例的PC的代表性圖像選擇處理的流程的流程圖；圖5是概念性地示出了處理的示圖，其中，根據(jù)本發(fā)明的實(shí)施例的PC從從屬元信息導(dǎo)出最高級(jí)元信息；圖6是概念性地示出了在本發(fā)明的實(shí)施例中的從運(yùn)動(dòng)圖像數(shù)據(jù)選擇代表性圖像的選擇處理的狀態(tài)的示圖；圖7是示出了在本發(fā)明的實(shí)施例中的代表性圖像的縮略圖的顯示示例的示圖；圖8是示出了在本發(fā)明的另一實(shí)施例中的代表性圖像的縮略圖的顯示示例的示圖；圖9是示出了在本發(fā)明的又一實(shí)施例中的代表性圖像的縮略圖的顯示示例的示圖；以及圖10是示出了根據(jù)本發(fā)明的另一實(shí)施例的PC的代表性圖像選擇處理的流程的流程圖。
具體實(shí)施例方式以下，將參照附圖來(lái)描述本發(fā)明的實(shí)施例。(PC的硬件結(jié)構(gòu))圖1是示出了根據(jù)本發(fā)明的實(shí)施例的PC(個(gè)人計(jì)算機(jī))的硬件結(jié)構(gòu)的示圖。如圖1所示，PC 100設(shè)有CPU(中央處理單元)11、R0M(只讀存儲(chǔ)器)12、RAM(隨機(jī)訪問(wèn)存儲(chǔ)器)13、輸入和輸出接口 15以及彼此連接以上那些組件的總線14。
當(dāng)必要時(shí)，CPU 11訪問(wèn)RAM 13等，并且在執(zhí)行各種類型的計(jì)算處理的同時(shí)，執(zhí)行 PC 100的整個(gè)框的總體控制。ROM 12是非易失性存儲(chǔ)器，其中固定存儲(chǔ)了將被CPU 11執(zhí)行的OS以及諸如程序的固件和多種參數(shù)。RAM 13被用作CPU 11的工作區(qū)域等，并且，臨時(shí)存儲(chǔ)OS、執(zhí)行中的各種應(yīng)用或者正被處理的各種數(shù)據(jù)項(xiàng)目。顯示器16、輸入單元17、存儲(chǔ)器18、通信單元19、驅(qū)動(dòng)單元20等連接到輸入和輸出接口 15。顯示器16是使用液晶、EL(電致發(fā)光)、CRT(陰極射線管)等的顯示設(shè)備。顯示器16可被內(nèi)嵌在PC 100中，或者可從外部連接到PC 100。輸入單元17例如是諸如鼠標(biāo)、鍵盤、觸摸面板或另一操作裝置之類的定位設(shè)備。 在輸入單元17包括觸摸面板的情形中，觸摸面板能夠與顯示器16集成。存儲(chǔ)器18是諸如HDD (硬盤驅(qū)動(dòng)器)、閃存和另一固態(tài)存儲(chǔ)器的非易失性存儲(chǔ)器。 在存儲(chǔ)器18中，存儲(chǔ)了 OS、各種應(yīng)用以及各種數(shù)據(jù)項(xiàng)。具體地，在此實(shí)施例中，從記錄介質(zhì) 5載入的運(yùn)動(dòng)圖像、靜止圖像等的數(shù)據(jù)以及用于顯示運(yùn)動(dòng)圖像或靜止圖像的縮略圖的列表的圖像顯示應(yīng)用也被存儲(chǔ)在存儲(chǔ)器18中。圖像顯示應(yīng)用能夠?qū)⒍鄠€(gè)運(yùn)動(dòng)圖像或靜止圖像分類為多個(gè)組，針對(duì)每個(gè)組導(dǎo)出由運(yùn)動(dòng)圖像或靜止圖像所表達(dá)的事件，并且選擇代表該事件的代表性圖像。存儲(chǔ)器18還存儲(chǔ)個(gè)人特征信息和事件特征信息，該個(gè)人特征信息對(duì)導(dǎo)出事件是必要的并且指示與PC 100 的用戶具有預(yù)定關(guān)系的人(父母、配偶、孩子、兄弟、朋友等)的特征，該事件特征信息指示某事件所特有的對(duì)象的特征。驅(qū)動(dòng)單元20驅(qū)動(dòng)諸如存儲(chǔ)卡、光記錄介質(zhì)、軟盤(注冊(cè)商標(biāo))和磁記錄盤之類的可移除記錄介質(zhì)5，讀取記錄在記錄介質(zhì)5上的數(shù)據(jù)，并且將數(shù)據(jù)寫入到記錄介質(zhì)5。通常， 記錄介質(zhì)5是插入到數(shù)字相機(jī)中的存儲(chǔ)卡，并且PC 100從自數(shù)字相機(jī)中取出并插入到驅(qū)動(dòng)單元20中的存儲(chǔ)卡讀取靜止圖像或運(yùn)動(dòng)圖像的數(shù)據(jù)。數(shù)字相機(jī)和PC 100可通過(guò)USB(通用串行總線)線纜等連接，以將靜止圖像或運(yùn)動(dòng)圖像從存儲(chǔ)卡載入到PC 100，該存儲(chǔ)卡被插入在數(shù)字相機(jī)中。通信單元19是可與LAN(局域網(wǎng))、WAN(廣域網(wǎng))等連接并用于與另一裝置通信的NIC(網(wǎng)絡(luò)接口卡)等。通信單元19可執(zhí)行有線或無(wú)線通信。(PC的軟件結(jié)構(gòu))如上所述，PC 100能夠?qū)㈧o止圖像或運(yùn)動(dòng)圖像分類為多個(gè)組，并且針對(duì)每個(gè)組由圖像顯示應(yīng)用選擇和顯示代表性圖像(最佳拍攝)。此處，在運(yùn)動(dòng)圖像的情形中，該組指由多個(gè)幀組成的一次拍攝或一個(gè)場(chǎng)景，或者，在靜止圖像的情形中，該組例如指在相同的日期和時(shí)間或在相同的時(shí)間段內(nèi)捕獲的圖像組。圖2是示出了用于由PC 100的圖像顯示應(yīng)用選擇代表性圖像的功能框的示圖。如圖2所示，PC 100包括讀取單元21、運(yùn)動(dòng)圖像解碼器22、音頻解碼器23、靜止圖像解碼器對(duì)、運(yùn)動(dòng)圖像分析單元25、音頻分析單元沈、靜止圖像分析單元27、高級(jí) (superordinate)意義信息分析單元觀以及代表性圖像選擇單元四。讀取單元21從記錄介質(zhì)5中讀取運(yùn)動(dòng)圖像內(nèi)容或靜止圖像數(shù)據(jù)。靜止圖像數(shù)據(jù)是針對(duì)例如對(duì)應(yīng)于日期或時(shí)間段的每個(gè)組被讀取的。在已讀取的數(shù)據(jù)是運(yùn)動(dòng)圖像內(nèi)容的情形中，讀取單元21將運(yùn)動(dòng)圖像內(nèi)容劃分為運(yùn)動(dòng)圖像數(shù)據(jù)和音頻數(shù)據(jù)。然后，讀取單元21將運(yùn)動(dòng)圖像數(shù)據(jù)輸出到運(yùn)動(dòng)圖像解碼器22，將音頻數(shù)據(jù)輸出到音頻解碼器23，并且將靜止圖像數(shù)據(jù)輸出到靜止圖像解碼器對(duì)。運(yùn)動(dòng)圖像解碼器22對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)解碼，并且將數(shù)據(jù)輸出到運(yùn)動(dòng)圖像分析單元 25。音頻解碼器23對(duì)音頻數(shù)據(jù)解碼，并且將數(shù)據(jù)輸出到音頻分析單元沈。靜止圖像解碼器 M對(duì)靜止圖像數(shù)據(jù)解碼，并且將數(shù)據(jù)輸出到靜止圖像分析單元27。運(yùn)動(dòng)圖像分析單元25從運(yùn)動(dòng)圖像數(shù)據(jù)提取客觀(objective)特征信息，并且基于特征信息提取從屬(subordinate)元信息(意義信息)。以同樣的方式，音頻分析單元 26和靜止圖像分析單元27分別從音頻數(shù)據(jù)和靜止圖像數(shù)據(jù)提取客觀特征信息，并且基于該特征信息提取從屬元信息。為了提取從屬元信息，使用了個(gè)人特征信息或事件特征信息。另外，為了提取從屬元信息，還使用了描述在如下文檔中的技術(shù)Understanding Video Events :A Survey of Methods for Automatic interpretation of Semantic Occurences in Video,Gal Lavee,Ehud RivlinJPMichael Rudzsky,IEEE TRANSACTIONS ON SYATEMS, MAN, AND CYBERNETICS-PART C APPLICATIONS AND REVIEWS, VOL. 39，NO. 5，2009 年 9 月。在提取特征信息時(shí)，運(yùn)動(dòng)圖像分析單元25執(zhí)行諸如顏色和紋理特征提取、梯度 (gradient)計(jì)算和邊緣提取之類的基于像素的處理，或者執(zhí)行諸如人體或臉部的檢測(cè)和識(shí)別、對(duì)對(duì)象的識(shí)別、對(duì)人體、臉部或?qū)ο蟮倪\(yùn)動(dòng)檢測(cè)和速度檢測(cè)之類的基于對(duì)象的處理。在人體檢測(cè)中，運(yùn)動(dòng)圖像分析單元25使用指示人體形狀等的特征過(guò)濾器，從而從運(yùn)動(dòng)圖像中檢測(cè)指示人體的區(qū)域。在臉部檢測(cè)中，運(yùn)動(dòng)圖像分析單元25例如使用指示眼睛、鼻子、眼睫毛、頭發(fā)、臉頰等的位置關(guān)系或皮膚顏色信息的特征的特征過(guò)濾器，從而從運(yùn)動(dòng)圖像中檢測(cè)指示臉部的區(qū)域。另外，運(yùn)動(dòng)圖像分析單元25不僅識(shí)別人體或臉部的存在或不存在，而且，還通過(guò)利用個(gè)人特征信息識(shí)別具有與用戶的預(yù)定關(guān)系的具體個(gè)人。例如，作為個(gè)人特征信息，使用了邊緣強(qiáng)度圖像特征、頻度強(qiáng)度圖像特征、更高階自動(dòng)相關(guān)特征、顏色轉(zhuǎn)換圖像特征等。例如，在使用邊緣強(qiáng)度圖像的情形中，運(yùn)動(dòng)圖像分析單元25將灰度(grayscale)圖像和邊緣強(qiáng)度圖像存儲(chǔ)作為將被識(shí)別的個(gè)人(諸如父母、孩子、配偶和朋友的個(gè)人)的特征數(shù)據(jù)，以同樣的方式從其臉部被檢測(cè)的個(gè)人的臉部圖像中提取灰度圖像和邊緣強(qiáng)度圖像，并且對(duì)二者的灰度圖像和二者的邊緣強(qiáng)度圖像執(zhí)行模式匹配，從而識(shí)別具體個(gè)人的臉部。在對(duì)象識(shí)別中，運(yùn)動(dòng)圖像分析單元25使用被作為事件特征信息存儲(chǔ)的識(shí)別模型， 從而判定是否包括將被識(shí)別的對(duì)象。識(shí)別模型是通過(guò)諸如SVM(支持向量機(jī))的機(jī)器學(xué)習(xí)預(yù)先從用于學(xué)習(xí)的圖像中構(gòu)建的。另外，除了在運(yùn)動(dòng)圖像中的個(gè)人和對(duì)象外，運(yùn)動(dòng)圖像分析單元25還能夠識(shí)別背景。例如，運(yùn)動(dòng)圖像分析單元25使用通過(guò)諸如SVM的機(jī)器學(xué)習(xí)預(yù)先從用于學(xué)習(xí)的圖像中構(gòu)建的模型，以將運(yùn)動(dòng)圖像的背景分類為諸如小鎮(zhèn)、室內(nèi)、室外、海岸、水中景、夜景、日落、雪景以及擁塞之類的場(chǎng)景。音頻分析單元沈從音頻數(shù)據(jù)檢測(cè)人的語(yǔ)音、除了人以外的環(huán)境中的聲音、以及諸如功率和音調(diào)的在特征信息的提取中的特征。為了區(qū)分人的語(yǔ)音和環(huán)境中的聲音，例如使用預(yù)定功率的音頻的持續(xù)時(shí)間等。在提取特征信息時(shí)，靜止圖像分析單元27執(zhí)行能夠被運(yùn)動(dòng)圖像分析單元25所執(zhí)行的分析處理之外的靜態(tài)處理，例如顏色和紋理特征提取、梯度計(jì)算、邊緣提取、對(duì)人體、臉部或?qū)ο蟮臋z測(cè)以及對(duì)背景的識(shí)別。另外，在諸如文本之類的標(biāo)記(標(biāo)簽)信息被包含在每個(gè)數(shù)據(jù)項(xiàng)目中的情形中，分析單元25到27將標(biāo)記信息提取作為特征信息。例如，指示事件的細(xì)節(jié)的信息或者拍攝圖像的日期和時(shí)間的信息，以及拍攝圖像的位置的信息可被用作標(biāo)記信息?；谟煞治鰡卧?5到27中每一個(gè)所提取的特征信息，分析單元25到27提取添加了更具體的意義的從屬元信息(意義信息)。例如，基于所提取的人體特征或臉部特征，運(yùn)動(dòng)圖像分析單元25將個(gè)人、人的性別、年齡、臉部表情、姿態(tài)、服裝、人數(shù)、陣形等識(shí)別作為從屬元信息。另外，基于運(yùn)動(dòng)特征，運(yùn)動(dòng)圖像分析單元25識(shí)別活動(dòng)的或非活動(dòng)的運(yùn)動(dòng)、快速的或緩慢的運(yùn)動(dòng)、或者諸如站立、坐下、走路和跑步之類的人體活動(dòng)，或者識(shí)別用人手表達(dá)的手勢(shì)等。音頻分析單元沈從例如所提取的音頻特征中提取來(lái)自發(fā)言者的掌聲、歡呼、聲音、對(duì)應(yīng)于語(yǔ)音的感覺(jué)、笑聲、哭聲、談話的細(xì)節(jié)、基于回聲所獲得的特殊程度等作為從屬元 fn息ο靜止圖像分析單元27從能夠被運(yùn)動(dòng)圖像分析單元25所識(shí)別的元信息中識(shí)別不與運(yùn)動(dòng)特征相關(guān)的元信息。例如，針對(duì)如上所述的對(duì)從屬元信息的提取，可使用一種基于諸如貝葉斯網(wǎng)絡(luò)的狀態(tài)空間代表、有限狀態(tài)機(jī)、條件隨機(jī)場(chǎng)(CRF)，以及隱藏馬爾可夫模型(HMM)的方法、一種基于諸如邏輯方法的意義模型、諸如皮特里網(wǎng)(Petri net)的離散事件系統(tǒng)，以及受限滿意度模型、諸如SVM的傳統(tǒng)模式識(shí)別/分類方法的方法、最近鄰居方法，以及中性網(wǎng)或者多種其他方法。高級(jí)意義信息分析單元觀基于由分析單元25到27中的每一個(gè)所提取的從屬元信息分析高級(jí)元信息，并且導(dǎo)出最高級(jí)元信息，其能夠說(shuō)明運(yùn)動(dòng)圖像的一次拍攝或一組靜止圖像的全部，即，一個(gè)事件。為了導(dǎo)出事件，還使用了在如下文檔中公開的技術(shù)Event Mining in Multimedia Streams :Research on identifying and analyzing events and activities in media collectionshad led to new technologies and systems, Lexing Xie, Hari Sundaran, Murray Campbell, Proceedings of the IEEE Vol. 96, No.4,2008 年 4月。具體地，基于從屬元信息項(xiàng)目，高級(jí)意義信息分析單元觀分析與誰(shuí)(Who)、什么 (What)、何時(shí)(When)、哪里(Where)、為什么(Why)以及如何(How)(以下，稱為5W1H)相對(duì)應(yīng)的多個(gè)元信息項(xiàng)目，逐步提高抽象的等級(jí)，并且最終將運(yùn)動(dòng)圖像的一次拍攝或多個(gè)靜止圖像分類為一個(gè)事件。例如，從運(yùn)動(dòng)圖像或靜止圖像中，提取出諸如“大量孩子”、“大量父母和孩子”，以及“體育服裝”之類的與人相關(guān)的元信息，諸如“活動(dòng)的運(yùn)動(dòng)”和“跑步形式”之類的與人的動(dòng)作相關(guān)的元信息，以及諸如“學(xué)校建筑物”之類的與通用對(duì)象相關(guān)的元信息。從聲音中， 提取出諸如“通過(guò)揚(yáng)聲器的人的語(yǔ)音”、“掌聲”和“笑聲”之類的元信息。另外，在獲取了諸如“小學(xué)”之類的位置信息、諸如“秋季”之類的季節(jié)(日期和時(shí)間)信息等作為其他元信息的情形中，高級(jí)意義信息分析單元觀通過(guò)集成這些信息項(xiàng)目導(dǎo)出可感知的一個(gè)事件，“小學(xué)中的運(yùn)動(dòng)會(huì)”。另外，例如，關(guān)于5W1H的元素中的元素“誰(shuí)”，高級(jí)意義信息分析單元28能夠通過(guò)利用指示具體個(gè)人的文字來(lái)表達(dá)事件。換言之，在與拍攝圖像的人(用戶)、家庭成員等相關(guān)的從屬元信息被提取作為指示“誰(shuí)”的信息的情形中，高級(jí)意義信息分析單元觀利用信息自身作為從屬元信息，以判定“男孩A的小學(xué)中的運(yùn)動(dòng)會(huì)”的事件。在事件(最高級(jí)元信息)被高級(jí)意義信息分析單元觀導(dǎo)出之后，代表性圖像選擇單元四從運(yùn)動(dòng)圖像的一次拍攝或多個(gè)靜止圖像中選擇最好地表達(dá)(代表)事件的圖像(在運(yùn)動(dòng)圖像的情形中是幀)。圖3是示出了圖2中的代表性圖像選擇單元四的細(xì)節(jié)的圖。如圖3所示，代表性圖像選擇單元四包括規(guī)則選擇單元31、分?jǐn)?shù)計(jì)算單元32、代表性圖像輸出單元33以及規(guī)則信息存儲(chǔ)器34。規(guī)則信息存儲(chǔ)器34將規(guī)則信息存儲(chǔ)作為用于針對(duì)每個(gè)已抽象的事件選擇最佳代表性的圖像的參考。換言之，針對(duì)圖像顯示應(yīng)用能夠識(shí)別的每個(gè)事件和與該事件有關(guān)的每個(gè)人，規(guī)則信息存儲(chǔ)器34保留用于提取事件的元信息(從屬意義信息或客觀特征信息)的重要度。此處，重要度是當(dāng)代表性圖像被選擇時(shí)將使用的參考的優(yōu)先次序。例如，在上述“男孩A的小學(xué)的運(yùn)動(dòng)會(huì)”的事件被導(dǎo)出的情形中，以下項(xiàng)目被包括作為優(yōu)先項(xiàng)目。(1) “男孩A出現(xiàn)在圖像中”(臉部被聚焦并且未被模糊化)(2) “男孩A有活動(dòng)的姿勢(shì)”(優(yōu)選地在運(yùn)動(dòng)期間)(3) “男孩 A 微笑了”另一方面，在所導(dǎo)出的事件僅表達(dá)了“小學(xué)中的運(yùn)動(dòng)會(huì)”的情形中，采用以下的優(yōu)先項(xiàng)目。(1) “盡可能多地在圖像中出現(xiàn)小學(xué)學(xué)生的臉”(2) “有活動(dòng)的姿勢(shì)”(3) “許多微笑的人”但是，在此情形中，即便當(dāng)事項(xiàng)“特定的人出現(xiàn)在圖像中”被包括在規(guī)則信息中時(shí) (與和“男孩A的小學(xué)中的運(yùn)動(dòng)會(huì)”的上述事件的規(guī)則類似)，也不會(huì)有任何問(wèn)題，并且結(jié)果是，包括“男孩A”的圖像被選擇作為代表性圖像。以這種方式，通過(guò)設(shè)置用于針對(duì)由高級(jí)意義信息分析單元觀所導(dǎo)出的每個(gè)事件選擇代表性圖像的規(guī)則，可以選擇更好地反映事件的細(xì)節(jié)的更合適的代表性圖像。然后，規(guī)則信息存儲(chǔ)器34存儲(chǔ)分?jǐn)?shù)信息，該分?jǐn)?shù)信息指示與被包括作為規(guī)則信息的優(yōu)先項(xiàng)目中的每一個(gè)的重要度相對(duì)應(yīng)的分?jǐn)?shù)。規(guī)則選擇單元31從規(guī)則信息存儲(chǔ)器34中讀取針對(duì)每個(gè)事件的規(guī)則信息。根據(jù)包括在上述規(guī)則信息中的分?jǐn)?shù)信息，分?jǐn)?shù)計(jì)算單元32計(jì)算針對(duì)每個(gè)圖像(靜止圖像或幀)所提取的高級(jí)/從屬元信息的分?jǐn)?shù)。例如，在上述運(yùn)動(dòng)會(huì)的示例中，必要的條件是“男孩A出現(xiàn)的照片”。分?jǐn)?shù)計(jì)算單元32針對(duì)每個(gè)元信息項(xiàng)目添加預(yù)定分?jǐn)?shù)，例如，當(dāng)在照片中“男孩A出現(xiàn)且其未被失焦并模糊的幀”時(shí)添加+100，當(dāng)男孩A具有“活動(dòng)的姿勢(shì)” 時(shí)+50，或者當(dāng)男孩A帶有“微笑”時(shí)+50，并且計(jì)算每個(gè)圖像的總分。代表性圖像輸出單元33將從運(yùn)動(dòng)圖像的一次拍攝或一個(gè)組中的多個(gè)靜止圖像中由分?jǐn)?shù)計(jì)算單元32所計(jì)算出的具有最高分?jǐn)?shù)的圖像選擇作為代表性圖像，并且輸出該圖像。(PC 的操作)
接下來(lái)，將給出對(duì)如上所述構(gòu)造的PC 100的代表性圖像選擇操作的描述。在以下描述中，PC 100的CPU 11是操作主體。但是，以下操作還與另一硬件或諸如圖像顯示應(yīng)用之類的軟件協(xié)同執(zhí)行。圖4是示出了 PC100的代表性圖像選擇處理的流程的流程圖。如圖4所示，CPU 11首先如上所述由分析單元25到27提取從屬元信息(步驟 41)，然后由高級(jí)意義信息分析單元觀導(dǎo)出最高級(jí)元信息，即，一個(gè)事件(步驟42)。圖5是概念性地示出了從從屬元信息中導(dǎo)出最高級(jí)元信息的處理的示圖。如圖5所示，CPU 11首先從某個(gè)組的多個(gè)照片10中提取與“誰(shuí)”和“什么”相對(duì)應(yīng)的從屬元信息項(xiàng)目。例如，諸如“孩子(包括用戶的孩子)”或“帶有微笑的家庭成員”之類的元信息被提取作為與“誰(shuí)”相對(duì)應(yīng)的從屬元信息，并且，諸如“體育服裝”、“跑步”、“運(yùn)動(dòng)姿勢(shì)”、或“烹飪”之類的元信息被提取作為與“什么”相對(duì)應(yīng)的從屬元信息。然后，CPU 11從上述與“誰(shuí)”相對(duì)應(yīng)的從屬元信息中提取“孩子”的高級(jí)元信息，并且從上述與“什么”相對(duì)應(yīng)的從屬元信息中提取“體育事件”的高級(jí)元信息。然后，CPU 11從“孩子”的元信息和“體育事件”的元信息中提取“用戶的孩子參與其中的孩子的體育事件”的更高級(jí)元信息。另外，作為除了與“誰(shuí)”和“什么”相對(duì)應(yīng)的元信息以外的元信息，CPU 11將來(lái)自照片10的提取作為GPS信息(位置信息)的“小學(xué)”的元信息、通過(guò)分析背景場(chǎng)景所提取的 “操場(chǎng)”的元信息、以及提取作為日歷信息(日期和時(shí)間信息)的“秋季”的元信息與“用戶的孩子參與其中的孩子的體育事件”的元信息相集成，從而最終導(dǎo)出“用戶的孩子的小學(xué)中的運(yùn)動(dòng)會(huì)”的最高級(jí)元信息(事件)。返回參照?qǐng)D4，隨后，CPU 11根據(jù)所導(dǎo)出的事件，由代表性圖像選擇單元四的規(guī)則選擇單元31確定用于選擇代表性圖像所必需的規(guī)則信息(步驟43)。然后，CPU 11基于上述規(guī)則信息，針對(duì)某個(gè)目標(biāo)組的多個(gè)靜止圖像或者組成運(yùn)動(dòng)圖像的一次拍攝的多個(gè)幀中的每一個(gè)計(jì)算每個(gè)元信息項(xiàng)目的分?jǐn)?shù)，并且相加那些分?jǐn)?shù)(步驟44到48)。然后，CPU 11從多個(gè)靜止圖像或運(yùn)動(dòng)圖像的幀中確定具有已計(jì)算的最高分?jǐn)?shù)素的靜止圖像或幀，將其作為代表性圖像(步驟49)。此處，將給出關(guān)于從運(yùn)動(dòng)圖像數(shù)據(jù)中選擇代表性圖像的細(xì)節(jié)的描述。圖6是概念性地示出了從運(yùn)動(dòng)圖像數(shù)據(jù)中選擇代表性圖像的選擇處理的狀態(tài)的示圖。在運(yùn)動(dòng)圖像的所有幀都是靜止圖像的假定下，從運(yùn)動(dòng)圖像數(shù)據(jù)中選擇代表性圖像的選擇處理可通過(guò)與靜止圖像完全相同的方法來(lái)執(zhí)行。但是，在實(shí)際情況中，當(dāng)處理由不同的方法執(zhí)行時(shí)，效率得到提高。如圖6所示，CPU 11例如基于通過(guò)諸如對(duì)運(yùn)動(dòng)向量的檢測(cè)(攝影技術(shù))或提取主題之類的處理所提取的客觀特征信息，將原始運(yùn)動(dòng)圖像60的一次拍攝劃分成多個(gè)場(chǎng)景65。 針對(duì)此后所執(zhí)行的處理，考慮兩種方法。如在圖6的左下部分所示的，在第一種方法中，例如，在由整個(gè)運(yùn)動(dòng)圖像60所表達(dá)的事件是基于標(biāo)記信息或其他元信息所指示的情形中，針對(duì)每個(gè)場(chǎng)景65，CPU 11首先選擇表達(dá)了事件的一個(gè)最佳場(chǎng)景65，同時(shí)考慮諸如主題的運(yùn)動(dòng)之類的運(yùn)動(dòng)圖像所特有的特征。 在這之后，CPU 11從所選擇的場(chǎng)景65的幀中，在與上述靜止圖像組相同的框架內(nèi)選擇代表性幀。
如在圖6的右下部分所示的，在第二種方法中，CPU 11首先基于客觀特征從場(chǎng)景 65的幀中縮窄代表性幀。在這之后，CPU 11從已縮窄的幀中在與上述靜止圖像相同的框架內(nèi)選擇代表性幀。在這種情形中，同樣在各自場(chǎng)景65的縮窄代表性幀的處理中，在一個(gè)場(chǎng)景是一個(gè)事件的假定下，CPU 11可通過(guò)與選擇最終代表性幀相同的處理來(lái)選擇每個(gè)代表性幀。返回參照?qǐng)D4，當(dāng)選擇了代表性圖像時(shí)，CPU 11創(chuàng)建代表性圖像的縮略圖(步驟 50)，并且在顯示器16上顯示縮略圖(步驟51)。圖7是示出了代表性圖像的縮略圖的顯示示例的示圖。如在圖7的上部所示的， 例如，在代表性圖像被選擇之前，照片10的縮略圖IOa被顯示作為矩陣中的列表?？s略圖 IOa可基于日期等針對(duì)每個(gè)組(文件夾)被顯示。在圖7的上部，屬于多個(gè)組的照片10的縮略圖IOa被顯示作為列表。當(dāng)上述的代表性圖像選擇處理在預(yù)定定時(shí)從這種狀態(tài)被執(zhí)行時(shí)，如圖7的下部所示，該組的代表性圖像的縮略圖70被顯示，而非照片10的縮略圖10a?？s略圖70中的每一個(gè)被顯示，使得指示該組中的照片10的多個(gè)矩形被彼此堆疊在一起，并且縮略圖70位于矩形的最上端，以便用戶能夠理解縮略圖70表達(dá)了照片10的代表性圖像。(總結(jié))如上所述，根據(jù)此實(shí)施例，PC 100從多個(gè)圖像(靜止圖像/運(yùn)動(dòng)圖像)提取從屬元信息項(xiàng)目，并且將該從屬元信息項(xiàng)目與PC 100所導(dǎo)出的高級(jí)元信息的結(jié)果(即，事件)相集成，并且隨后根據(jù)針對(duì)每個(gè)事件所設(shè)置的規(guī)則信息選擇代表性圖像。因此，PC 100能夠向用戶呈現(xiàn)反映了事件的細(xì)節(jié)并且適于作為代表性圖像的圖像。相應(yīng)地，用戶能夠從大量圖像中輕松地理解事件并且組織圖像。另外，PC 100導(dǎo)出事件的“什么”和誰(shuí)的事件(“誰(shuí)”)， 并且基于所導(dǎo)出的結(jié)果選擇代表性圖像，通過(guò)該結(jié)果，用戶能夠更容易地理解事件。(修改例)本發(fā)明并不限于以上的實(shí)施例，并且，在不偏離本發(fā)明的要旨的前提下，能夠被以多種方式變更。在以上實(shí)施例中，如圖7所示，PC 100顯示在堆疊的矩形中的最上端矩形上的每個(gè)代表性圖像的縮略圖70，但是代表性圖像的顯示模式并不限于此。圖8和圖9是示出了代表性圖像的縮略圖70的其他顯示模式的示圖。在第一個(gè)示例中，如圖8所示，PC 100可基于日期等將多個(gè)照片的縮略圖IOa劃分成組(簇)，顯示縮略圖IOa以便在每個(gè)簇中彼此隨機(jī)重疊，并且在每個(gè)組的簇的鄰近處顯示每個(gè)組的代表性圖像的縮略圖70。在此情形中，作為簇，可以選擇具有上述更高分?jǐn)?shù)的元信息的預(yù)定數(shù)量的照片，而非屬于該組的所有照片的縮略圖，并且可以顯示具有更高分?jǐn)?shù)的照片以使其位于前端。另外，可以顯示具有更高分?jǐn)?shù)的照片，以使得其具有更大的可見區(qū)域。此處，例如，分類為多個(gè)組的操作可以類似圖像為單位而非日期為單位來(lái)執(zhí)行。另外，例如，所導(dǎo)出的事件的名稱可被顯示在每個(gè)簇的鄰近處，而非顯示在圖8中的日期。事件的名稱指示事件的“什么”和誰(shuí)的(“誰(shuí)”)。在第二個(gè)示例中，如圖9所示，針對(duì)每個(gè)事件，PC 100不僅可以分層次顯示代表性圖像的縮略圖70，還可以分層次顯示表達(dá)了事件中的子事件的子代表性圖像的縮略圖75。在這種情形中，還可以顯示事件名71和子事件名72。在圖9的示例中，關(guān)于“女孩A的運(yùn)動(dòng)會(huì)”的事件，代表性圖像的縮略圖70和事件名71被顯示在層次的頂層中。在第二層中，顯示了子事件名72，該子事件名表達(dá)了對(duì)應(yīng)于 “家”- >“實(shí)際運(yùn)動(dòng)會(huì)”- >“家”的時(shí)間進(jìn)程的第一子事件。在第三層中，針對(duì)第一子事件中的每一個(gè)，顯示了子事件名72和子事件名72的子代表性圖像的縮略圖75，該子事件名表達(dá)了“早餐”、“入場(chǎng)”、“投球(其中，球被投入籃筐)、“賽跑”、“晚餐”以及“上床睡覺(jué)”的第二子事件。為了執(zhí)行這種分層次顯示方法，PC 100需要比上述圖5中所示出的方法理解事件的更多細(xì)節(jié)。換言之，PC 100需要以能夠?qū)С鲎邮录某潭仍敿?xì)識(shí)別和分類從屬元信息。 作為該方法的示例，例如，PC 100可針對(duì)與“誰(shuí)”和“什么”相對(duì)應(yīng)的從屬元信息項(xiàng)目中的每一個(gè)導(dǎo)出子事件，并且在圖5中所示出的方法中針對(duì)每個(gè)子事件選擇代表性圖像。在此情形中所使用的規(guī)則信息不一定如在上述實(shí)施例的規(guī)則信息的情形中的針對(duì)每個(gè)具體個(gè)人來(lái)準(zhǔn)備(因?yàn)榭赡艽嬖诓慌c人相關(guān)的子事件)，并且由此，僅需準(zhǔn)備每個(gè)子事件的具體信肩、ο在上述的實(shí)施例中，從屬元信息和高級(jí)元信息由PC 100提取，但是，那些信息項(xiàng)目中的至少一部分可由另一設(shè)備提取，并且當(dāng)圖像被輸入到PC 100時(shí)可與圖像一起被輸入。例如，照片的從屬元信息項(xiàng)目可由數(shù)字相機(jī)在照片拍攝時(shí)被提取，并且與照片一起被輸入到PC 100，然后，PC 100可從那些從屬元信息項(xiàng)目提取高級(jí)元信息。另外，臉部檢測(cè)、夜景檢測(cè)等中的從屬元信息(其能夠被數(shù)字相機(jī)以相對(duì)小的計(jì)算量提取)可被數(shù)字相機(jī)提取。運(yùn)動(dòng)檢測(cè)、通用對(duì)象識(shí)別等中的元信息(其中，提取所必需的計(jì)算量變得相對(duì)較大)可被PC 100提取。另外，元信息可被在網(wǎng)絡(luò)中替代PC 100的服務(wù)器提取，并且經(jīng)由通信單元 19被輸入到PC 100。另外，在以上實(shí)施例中由PC 100所執(zhí)行的處理還能夠被如下設(shè)備執(zhí)行電視裝置、數(shù)字靜止相機(jī)、數(shù)字視頻相機(jī)、移動(dòng)電話、智能電話、記錄和再現(xiàn)裝置、游戲機(jī)、PDA(個(gè)人數(shù)字助理)、電子圖書終端、電子詞典、便攜AV設(shè)備以及任意其他電子裝置。在以上實(shí)施例中，如圖4所示，在事件被導(dǎo)出之后，相應(yīng)地計(jì)算元信息項(xiàng)目的分?jǐn)?shù)。但是，可在當(dāng)從圖像中提取從屬元信息的處理被執(zhí)行的同一時(shí)刻計(jì)算分?jǐn)?shù)。圖10是示出這種情況下的代表性圖像選擇處理的過(guò)程的流程圖。如圖10所示，CPU 11由分析單元25到27提取從屬元信息以計(jì)算每個(gè)元信息項(xiàng)目的分?jǐn)?shù)，并且與圖像相關(guān)聯(lián)地存儲(chǔ)該分?jǐn)?shù)(步驟81)。然后，在事件被導(dǎo)出之后，CPU 11 載入每個(gè)圖像的所存儲(chǔ)的分?jǐn)?shù)(步驟8 ，并且將所存儲(chǔ)的分?jǐn)?shù)相加(步驟86)，由此選擇代表性的圖像(步驟88)。在上述實(shí)施例中，分析單元25到27和高級(jí)意義信息分析單元觀的從屬元信息和高級(jí)元信息提取處理并不限于上述的處理。換言之，可執(zhí)行任意處理，只要提取出用作用于描述各自圖像的某些客觀特征的從屬元信息以及從從屬元信息項(xiàng)目導(dǎo)出的高級(jí)元信息即可。例如，每個(gè)元數(shù)據(jù)項(xiàng)目可以是被個(gè)人添加作為標(biāo)記信息的信息項(xiàng)目。在代表性圖像選擇單元四的規(guī)則選擇單元31中，雖然不是必須的，但是希望可以針對(duì)所有類型的事件預(yù)先對(duì)元信息項(xiàng)目進(jìn)行排序，該事件能夠被圖像顯示應(yīng)用所識(shí)別。例如，PC 100可特別僅針對(duì)具有高使用頻率(導(dǎo)出頻率)的事件組預(yù)先生成清晰的規(guī)則信息，并且關(guān)于其他事件將該規(guī)則信息用通用規(guī)則替代。通用規(guī)則指諸如“構(gòu)成質(zhì)量”或“波動(dòng)/ 模糊”的程度(實(shí)際上通過(guò)學(xué)習(xí)所導(dǎo)出或獲得)的從屬元信息項(xiàng)目或客觀特征量的優(yōu)先次序。另外，在具有高使用頻率的事件組的規(guī)則信息被生成的情形中，用戶可主觀地對(duì)各自元信息項(xiàng)目執(zhí)行權(quán)衡，或者可采用某用類型的機(jī)器學(xué)習(xí)方法。在上述的實(shí)施例中，分?jǐn)?shù)計(jì)算單元32基于元信息的“存在或不存在”來(lái)計(jì)算總分， 但是，該分?jǐn)?shù)可以是連續(xù)(階梯式的)的評(píng)估值，諸如活動(dòng)的程度或微笑的程度，而非“存在”和“不存在”兩個(gè)值。那些元信息項(xiàng)目可被分?jǐn)?shù)計(jì)算單元32計(jì)算，或者可被圖2的分析單元25到27計(jì)算。換言之，能夠在分析單元25到27中執(zhí)行處理，其不僅包括與事件的導(dǎo)出直接相關(guān)的元信息，還包括用于稍后選擇代表性圖像的信息。另外，在上述實(shí)施例中的規(guī)則選擇單元31和分?jǐn)?shù)計(jì)算單元32的組合中，能夠通過(guò)機(jī)器學(xué)習(xí)計(jì)算各個(gè)事件的分?jǐn)?shù)。通過(guò)機(jī)器學(xué)習(xí)來(lái)確定分?jǐn)?shù)，與預(yù)先針對(duì)各個(gè)事件來(lái)主觀設(shè)置分?jǐn)?shù)的情形相比，考慮到了許多元信息項(xiàng)目，其結(jié)果是事件能夠被更準(zhǔn)確地導(dǎo)出。在上述實(shí)施例中，基于一次拍攝或者運(yùn)動(dòng)圖像的一個(gè)場(chǎng)景，代表性圖像被選擇并被顯示。但是，例如，代表性圖像可被用于運(yùn)動(dòng)圖像編輯處理。換言之，雖然在現(xiàn)有技術(shù)中幀的縮略圖在由用戶指定的編輯點(diǎn)處被顯示，以便指示在一次拍攝中的場(chǎng)景轉(zhuǎn)換，但是，代表性圖像的縮略圖可被顯示。另外，例如，當(dāng)執(zhí)行場(chǎng)景搜索時(shí)，可顯示每個(gè)場(chǎng)景的代表性圖像，而非如在現(xiàn)有技術(shù)中的顯示在預(yù)定幀間隔處所提取的幀。相應(yīng)地，用戶對(duì)場(chǎng)景的可訪問(wèn)性得到了提高。本申請(qǐng)包含與在2010年3月31日向日本專利局遞交的JP 2010-084557號(hào)日本優(yōu)先權(quán)專利申請(qǐng)中公開的內(nèi)容相關(guān)的主題，該申請(qǐng)的全部?jī)?nèi)容通過(guò)引用被結(jié)合于此。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計(jì)要求和其他因素，可以發(fā)生各種修改例、組合例、子組合例和變化例，只要它們?cè)跈?quán)利要求或其等同物的范圍內(nèi)即可。
1權(quán)利要求
1.一種電子裝置，包括存儲(chǔ)器，所述存儲(chǔ)器被配置用于存儲(chǔ)被分類為多個(gè)組的多個(gè)圖像，多個(gè)事件特征信息項(xiàng)目，所述多個(gè)事件特征信息項(xiàng)目指示每個(gè)事件所特有的對(duì)象的特征，以及多個(gè)規(guī)則信息項(xiàng)目，所述多個(gè)規(guī)則信息項(xiàng)目指示用于為每個(gè)組選擇代表由所述多個(gè)圖像表達(dá)的事件的代表性圖像的規(guī)則，并且所述多個(gè)規(guī)則信息項(xiàng)目針對(duì)每個(gè)事件和與所述事件相關(guān)的每個(gè)人是不同的；控制器，所示控制器被配置用于基于所述多個(gè)事件特征信息項(xiàng)目從每個(gè)組的多個(gè)圖像中提取多個(gè)元信息項(xiàng)目， 從所提取的多個(gè)元信息項(xiàng)目中分析高級(jí)元信息，以導(dǎo)出所述多個(gè)圖像表達(dá)了什么事件以及該事件與誰(shuí)有關(guān)，以及基于與所導(dǎo)出的事件相對(duì)應(yīng)的規(guī)則信息，從所述多個(gè)圖像中選擇代表所導(dǎo)出的事件的所述代表性圖像；以及輸出單元，所述輸出單元被配置用于針對(duì)每個(gè)組輸出所選擇的代表性圖像的縮略圖像。
2.如權(quán)利要求1所述的電子裝置，其中，所述存儲(chǔ)器存儲(chǔ)個(gè)人特征信息，該個(gè)人特征信息指示與用戶具有預(yù)定關(guān)系的人的特征，并且所述控制器基于所述個(gè)人特征信息和所述多個(gè)事件特征信息項(xiàng)目來(lái)提取所述多個(gè)元信息項(xiàng)目。
3.如權(quán)利要求2所述的電子裝置，其中，針對(duì)每個(gè)事件，所述多個(gè)規(guī)則信息項(xiàng)目包括將被包括在所述代表性圖像中的多個(gè)元信息項(xiàng)目以及多個(gè)分?jǐn)?shù)信息項(xiàng)目，該多個(gè)分?jǐn)?shù)信息項(xiàng)目的每一個(gè)指示與每個(gè)元信息項(xiàng)目的重要度相對(duì)應(yīng)的分?jǐn)?shù)，并且所述控制器基于所述多個(gè)分?jǐn)?shù)信息項(xiàng)目，將與所述多個(gè)圖像的各自元信息項(xiàng)目相對(duì)應(yīng)的分?jǐn)?shù)相加，并且將具有最高分?jǐn)?shù)的圖像選作所述代表性圖像。
4.如權(quán)利要求3所述的電子裝置，其中，所述輸出單元與所述縮略圖像一起輸出字符信息，該字符信息指示所述事件表達(dá)了什么事件以及所述事件和誰(shuí)相關(guān)。
5.如權(quán)利要求3所述的電子裝置，其中，所述控制器選擇具有高分?jǐn)?shù)的預(yù)定數(shù)目的代表性圖像，并且輸出所述預(yù)定數(shù)目的代表性圖像的縮略圖像，使得具有較高分?jǐn)?shù)的所述代表性圖像具有較大的可見區(qū)域。
6.一種圖像處理方法，包括 存儲(chǔ)以下內(nèi)容被分類為多個(gè)組的多個(gè)圖像，多個(gè)事件特征信息項(xiàng)目，所述多個(gè)事件特征信息項(xiàng)目指示每個(gè)事件所特有的對(duì)象的特征，以及多個(gè)規(guī)則信息項(xiàng)目，所述多個(gè)規(guī)則信息項(xiàng)目指示用于為每個(gè)組選擇代表由所述多個(gè)圖像表達(dá)的事件的代表性圖像的規(guī)則，并且所述多個(gè)規(guī)則信息項(xiàng)目針對(duì)每個(gè)事件和與所述事件相關(guān)的每個(gè)人是不同的；基于所述多個(gè)事件特征信息項(xiàng)目，從每個(gè)組的多個(gè)圖像中提取多個(gè)元信息項(xiàng)目； 從所提取的多個(gè)元信息項(xiàng)目中分析高級(jí)元信息，以導(dǎo)出所述多個(gè)圖像表達(dá)了什么事件以及該事件與誰(shuí)有關(guān)；基于與所導(dǎo)出的事件相對(duì)應(yīng)的規(guī)則信息，從所述多個(gè)圖像中選擇代表所導(dǎo)出的事件的所述代表性圖像；以及針對(duì)每個(gè)組輸出所選擇的代表性圖像的縮略圖像。
7. 一種程序，所述程序使得電子裝置執(zhí)行如下操作 存儲(chǔ)以下內(nèi)容 被分類為多個(gè)組的多個(gè)圖像，多個(gè)事件特征信息項(xiàng)目，所述多個(gè)事件特征信息項(xiàng)目指示每個(gè)事件所特有的對(duì)象的特征，以及多個(gè)規(guī)則信息項(xiàng)目，所述多個(gè)規(guī)則信息項(xiàng)目指示用于為每個(gè)組選擇代表由所述多個(gè)圖像表達(dá)的事件的代表性圖像的規(guī)則，并且所述多個(gè)規(guī)則信息項(xiàng)目針對(duì)每個(gè)事件和與所述事件相關(guān)的每個(gè)人是不同的；基于所述多個(gè)事件特征信息項(xiàng)目，從每個(gè)組的多個(gè)圖像中提取多個(gè)元信息項(xiàng)目； 從所提取的多個(gè)元信息項(xiàng)目中分析高級(jí)元信息，以導(dǎo)出所述多個(gè)圖像表達(dá)了什么事件以及該事件與誰(shuí)有關(guān)；基于與所導(dǎo)出的事件相對(duì)應(yīng)的規(guī)則信息，從所述多個(gè)圖像中選擇代表所導(dǎo)出的事件的所述代表性圖像；以及針對(duì)每個(gè)組輸出所選擇的代表性圖像的縮略圖像。
全文摘要
本發(fā)明公開了電子裝置、圖像處理方法和程序。該電子裝置包括存儲(chǔ)器、控制器和輸出單元。存儲(chǔ)器存儲(chǔ)被分類為多個(gè)組的多個(gè)圖像，指示每個(gè)事件所特有的對(duì)象的特征的多個(gè)事件特征信息項(xiàng)目，以及指示用于針對(duì)每個(gè)組選擇由圖像表達(dá)的事件的代表性圖像的規(guī)則的多個(gè)規(guī)則信息項(xiàng)目，該多個(gè)規(guī)則信息針對(duì)每個(gè)事件和與事件相關(guān)的每個(gè)人是不同的?？刂破骰诙鄠€(gè)事件特征信息項(xiàng)目，從每個(gè)組的多個(gè)圖像中提取多個(gè)元信息項(xiàng)目，從所提取的元信息項(xiàng)目中分析高級(jí)元信息，以導(dǎo)出表達(dá)了什么事件以及在多個(gè)圖像中事件與誰(shuí)相關(guān)，以及基于與所導(dǎo)出的事件相對(duì)應(yīng)的規(guī)則信息從多個(gè)圖像中選擇代表所導(dǎo)出的事件的代表性圖像。輸出單元針對(duì)每個(gè)組輸出代表性圖像的縮略圖像。
文檔編號(hào)G06F17/30GK102207950SQ20111007555
公開日2011年10月5日 申請(qǐng)日期2011年3月24日 優(yōu)先權(quán)日2010年3月31日
發(fā)明者坂口龍己, 押領(lǐng)司宏, 江島公志, 鹿島浩司 申請(qǐng)人:索尼公司