專(zhuān)利名稱：內(nèi)容檢索的裝置和方法及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及內(nèi)容檢索的裝置和方法以及程序，具體而言涉及可用來(lái)通過(guò)顯示對(duì)于多個(gè)圖像中的每一個(gè)的檢索結(jié)果來(lái)容易地認(rèn)識(shí)到運(yùn)動(dòng)圖像的內(nèi)容細(xì)節(jié)的內(nèi)容檢索的裝置和方法以及程序。
背景技術(shù)：
近來(lái)，已提出了分析并檢索視頻(運(yùn)動(dòng)圖像)內(nèi)容的技術(shù)。為了顯示這種分析結(jié)果和檢索結(jié)果，除了按原樣顯示數(shù)值和圖像以外，還設(shè)計(jì)了例如使得內(nèi)容被顯示在時(shí)間線上的視覺(jué)上可認(rèn)識(shí)的顯示方法。也就是說(shuō)，為了確認(rèn)運(yùn)動(dòng)圖像的內(nèi)容的所有細(xì)節(jié)，由于必須要再現(xiàn)內(nèi)容，所以需要 特定的再現(xiàn)時(shí)間。最好不花這樣的時(shí)間也能容易地認(rèn)識(shí)到內(nèi)容的細(xì)節(jié)。在現(xiàn)有技術(shù)中，已知顯示諸如音頻信號(hào)和像素的亮度值的變化之類(lèi)的波形圖像作為時(shí)間線顯示的示例。另外，已提出了顯示構(gòu)成內(nèi)容的每個(gè)場(chǎng)景的第一幀的圖像和最末幀的圖像的方法以及使得能夠在多畫(huà)面上查看圖像摘要場(chǎng)景的技術(shù)(例如參見(jiàn)專(zhuān)利文獻(xiàn)I)。另外，已提出了在記錄通常圖像的同時(shí)記錄從通常運(yùn)動(dòng)圖像二次采樣到的索引用運(yùn)動(dòng)圖像，并且例如當(dāng)任何索引顯示圖像被用戶選擇時(shí)對(duì)于所選擇的運(yùn)動(dòng)圖像執(zhí)行索引用運(yùn)動(dòng)圖像的再現(xiàn)(例如，參見(jiàn)專(zhuān)利文獻(xiàn)2)。引文列表專(zhuān)利文獻(xiàn)專(zhuān)利文獻(xiàn)I :7-67073號(hào)日本專(zhuān)利申請(qǐng)?jiān)缙诠紝?zhuān)利文獻(xiàn)2 :2001-238154號(hào)日本專(zhuān)利申請(qǐng)?jiān)缙诠?br>
發(fā)明內(nèi)容
本發(fā)明要解決的問(wèn)題然而，在現(xiàn)有技術(shù)中，有這樣的問(wèn)題，即用戶不能容易地找到包括期望圖像的場(chǎng)景或者用戶期望的特性場(chǎng)景。例如，即使能夠以個(gè)體圖像作為要檢索的圖像執(zhí)行內(nèi)容的檢索，也不可能執(zhí)行對(duì)順次顯示多個(gè)圖像的部分的檢索、對(duì)內(nèi)容中顯示期望圖像的時(shí)間比率與顯示另外圖像的時(shí)間比率的比較，等等。另外，例如，在顯示每個(gè)場(chǎng)景的第一幀之類(lèi)的圖像的方法中，在時(shí)間上較長(zhǎng)的內(nèi)容的情況下顯示變得復(fù)雜。從而，由于這樣的顯示，內(nèi)容細(xì)節(jié)不太可能變得容易認(rèn)識(shí)。另外，在將索引圖像顯示在多畫(huà)面上的方法或者再現(xiàn)索引運(yùn)動(dòng)圖像的方法的情況下，難以認(rèn)識(shí)到在視頻內(nèi)容的哪個(gè)部分(時(shí)間位置)存在哪種圖像。為了解決上述情形，本發(fā)明被設(shè)計(jì)為通過(guò)顯示分別對(duì)于多個(gè)圖像的檢索結(jié)果來(lái)促進(jìn)對(duì)運(yùn)動(dòng)圖像的內(nèi)容細(xì)節(jié)的認(rèn)識(shí)。
解決問(wèn)題的方案本發(fā)明的一個(gè)方面是一種內(nèi)容檢索裝置，包括檢索圖像輸入裝置，該檢索圖像輸入裝置接收作為靜止圖像的多個(gè)檢索圖像的輸入；圖像特征量提取裝置，該圖像特征量提取裝置利用預(yù)定方法提取多個(gè)檢索圖像中的每一個(gè)的圖像特征量；相似度計(jì)算裝置，該相似度計(jì)算裝置針對(duì)運(yùn)動(dòng)圖像的內(nèi)容來(lái)計(jì)算預(yù)先從構(gòu)成該內(nèi)容的幀的靜止圖像中提取的圖像特征量與每個(gè)檢索圖像的圖像特征量之間的相似度；確定裝置，該確定裝置通過(guò)將計(jì)算出的相似度與預(yù)定閾值相比較來(lái)確定與每個(gè)檢索圖像相似的靜止圖像的幀；以及時(shí)間線顯示裝置，該時(shí)間線顯示裝置基于所確定的幀和預(yù)先從內(nèi)容中提取的元數(shù)據(jù)，來(lái)生成顯示數(shù)據(jù)，該顯示數(shù)據(jù)用于通過(guò)將內(nèi)容連同指示與每個(gè)檢索圖像相似的靜止圖像的幀的時(shí)間位置的信息顯示在時(shí)間軸上來(lái)執(zhí)行時(shí)間線顯示。時(shí)間線顯示裝置可生成用于顯示如下畫(huà)面的顯示數(shù)據(jù)，所述畫(huà)面具有顯示多個(gè)檢索圖像的列表的檢索圖像顯示單元和在時(shí)間線上顯示內(nèi)容的時(shí)間線顯示單元，多個(gè)檢索圖像可在分別被相互不同顏色的顯示框圍繞的同時(shí)被顯示在檢索圖像顯示單元處，并且指示 與每個(gè)檢索圖像相似的靜止圖像的幀的時(shí)間位置的信息可作為具有與顯示框的顏色相同的顏色的顏色條被顯示在時(shí)間線顯示單元處。時(shí)間線顯示裝置可利用時(shí)間線顯示來(lái)在單個(gè)畫(huà)面上的時(shí)間線顯示單元處顯示多個(gè)內(nèi)容中的每一個(gè)，并且對(duì)于多個(gè)內(nèi)容中的每一個(gè)指示與每個(gè)檢索圖像相似的靜止圖像的幀的時(shí)間位置的信息可被顯示為具有與顯示框的顏色相同的顏色的顏色條。時(shí)間線顯示裝置可生成用于顯示如下畫(huà)面的顯示數(shù)據(jù)，該畫(huà)面還具有在利用時(shí)間線顯示來(lái)顯示的內(nèi)容的再現(xiàn)被指令的情況下顯示通過(guò)再現(xiàn)內(nèi)容而獲得的運(yùn)動(dòng)圖像的運(yùn)動(dòng)圖像顯示單元。時(shí)間線顯示裝置可基于元數(shù)據(jù)中包括的內(nèi)容的場(chǎng)景變化點(diǎn)的信息來(lái)確定構(gòu)成內(nèi)容的場(chǎng)景，并且以畫(huà)面的水平或垂直方向?yàn)闀r(shí)間軸、以指示各個(gè)場(chǎng)景的圖形在與場(chǎng)景的時(shí)間長(zhǎng)度相關(guān)聯(lián)的同時(shí)被顯示的方式來(lái)將內(nèi)容顯示在時(shí)間線上。時(shí)間線顯示裝置可在指示場(chǎng)景的圖形被分別以利用預(yù)定方法確定的場(chǎng)景的代表色來(lái)顯示的同時(shí),來(lái)將內(nèi)容顯示在時(shí)間線上。本發(fā)明的一個(gè)方面是一種內(nèi)容檢索方法，包括以下步驟利用檢索圖像輸入裝置接收作為靜止圖像的多個(gè)檢索圖像的輸入；利用圖像特征量提取裝置利用預(yù)定方法提取多個(gè)檢索圖像中的每一個(gè)的圖像特征量；利用相似度計(jì)算裝置針對(duì)運(yùn)動(dòng)圖像的內(nèi)容來(lái)計(jì)算預(yù)先從構(gòu)成該內(nèi)容的幀的靜止圖像中提取的圖像特征量與每個(gè)檢索圖像的圖像特征量之間的相似度；利用確定裝置通過(guò)將計(jì)算出的相似度與預(yù)定閾值相比較來(lái)確定與每個(gè)檢索圖像相似的靜止圖像的幀；以及利用時(shí)間線顯示裝置基于所確定的幀和預(yù)先從內(nèi)容中提取的元數(shù)據(jù)來(lái)生成顯示數(shù)據(jù)，該顯示數(shù)據(jù)用于通過(guò)將內(nèi)容連同指示與每個(gè)檢索圖像相似的靜止圖像的幀的時(shí)間位置的信息顯示在時(shí)間軸上來(lái)執(zhí)行時(shí)間線顯示。本發(fā)明的一個(gè)方面是一種程序，用于使得計(jì)算機(jī)具有作為內(nèi)容檢索裝置的功能，該裝置包括檢索圖像輸入裝置，該檢索圖像輸入裝置接收作為靜止圖像的多個(gè)檢索圖像的輸入；圖像特征量提取裝置，該圖像特征量提取裝置利用預(yù)定方法提取多個(gè)檢索圖像中的每一個(gè)的圖像特征量；相似度計(jì)算裝置，該相似度計(jì)算裝置針對(duì)運(yùn)動(dòng)圖像的內(nèi)容來(lái)計(jì)算預(yù)先從構(gòu)成該內(nèi)容的幀的靜止圖像中提取的圖像特征量與每個(gè)檢索圖像的圖像特征量之間的相似度；確定裝置，該確定裝置通過(guò)將計(jì)算出的相似度與預(yù)定閾值相比較來(lái)確定與每個(gè)檢索圖像相似的靜止圖像的幀；以及時(shí)間線顯示裝置，該時(shí)間線顯示裝置基于所確定的幀和預(yù)先從內(nèi)容中提取的元數(shù)據(jù)，來(lái)生成顯示數(shù)據(jù)，該顯示數(shù)據(jù)用于通過(guò)將內(nèi)容連同指示與每個(gè)檢索圖像相似的靜止圖像的幀的時(shí)間位置的信息顯示在時(shí)間軸上來(lái)執(zhí)行時(shí)間線顯
/Jn ο在本發(fā)明的一個(gè)方面中，接收作為靜止圖像的多個(gè)檢索圖像的輸入，利用預(yù)定方法提取多個(gè)檢索圖像中的每一個(gè)的圖像特征量，針對(duì)運(yùn)動(dòng)圖像的內(nèi)容來(lái)計(jì)算預(yù)先從構(gòu)成該內(nèi)容的幀的靜止圖像中提取的圖像特征量與每個(gè)檢索圖像的圖像特征量之間的相似度，通過(guò)將計(jì)算出的相似度與預(yù)定閾值相比較來(lái)確定與每個(gè)檢索圖像相似的靜止圖像的幀，基于所確定的幀和預(yù)先從內(nèi)容中提取的元數(shù)據(jù)，生成用于通過(guò)將內(nèi)容連同指示與每個(gè)檢索圖像相似的靜止圖像的幀的時(shí)間位置的信息顯示在時(shí)間軸上來(lái)執(zhí)行時(shí)間線顯示的顯示數(shù)據(jù)。本發(fā)明的效果 根據(jù)本發(fā)明，可更容易認(rèn)識(shí)運(yùn)動(dòng)圖像的內(nèi)容細(xì)節(jié)。


圖I是示出根據(jù)本發(fā)明的實(shí)施例的內(nèi)容處理裝置的結(jié)構(gòu)示例的框圖。圖2是示出基于從圖I的輸出單元輸出的顯示數(shù)據(jù)顯示的畫(huà)面的示例的視圖。圖3是示出在圖2中所示的畫(huà)面處再現(xiàn)內(nèi)容時(shí)的畫(huà)面的示例的視圖。圖4是示出在時(shí)間從圖3中所示的狀態(tài)進(jìn)一步經(jīng)過(guò)之后的畫(huà)面的示例的視圖。圖5是示出內(nèi)容顯示處理的示例的流程圖。圖6是示出在圖2至圖4的畫(huà)面處執(zhí)行檢索的情況的示例的視圖。圖7是示出在圖6中所示的畫(huà)面處顯示檢索結(jié)果的畫(huà)面的示例的視圖。圖8是示出在對(duì)于多個(gè)內(nèi)容執(zhí)行檢索的情況中的畫(huà)面的示例的視圖。圖9是示出在圖8中所示的畫(huà)面處顯示檢索結(jié)果的畫(huà)面的示例的視圖。圖10是示出在圖9中所示的畫(huà)面處再現(xiàn)內(nèi)容時(shí)的畫(huà)面的示例的視圖。圖11是示出檢索結(jié)果顯示處理的流程圖。圖12是示出顯示檢索結(jié)果的畫(huà)面的另一示例的視圖。圖13是示出個(gè)人計(jì)算機(jī)的結(jié)構(gòu)示例的框圖。
具體實(shí)施例方式下面，將參考附圖描述本發(fā)明的實(shí)施例。圖I是示出根據(jù)本發(fā)明的實(shí)施例的內(nèi)容處理裝置的結(jié)構(gòu)示例的框圖。內(nèi)容處理裝置10執(zhí)行輸入運(yùn)動(dòng)圖像內(nèi)容的時(shí)間線顯示并且根據(jù)需要執(zhí)行作為檢索內(nèi)容中的預(yù)定圖像的檢索結(jié)果的時(shí)間線顯示。如圖中所示，內(nèi)容處理裝置10設(shè)有內(nèi)容輸入單元21、元數(shù)據(jù)提取單元22、圖像特征量提取單元23、元數(shù)據(jù)數(shù)據(jù)庫(kù)24和圖像特征量數(shù)據(jù)庫(kù)25。另外，內(nèi)容處理裝置10設(shè)有檢索圖像輸入單元26、檢索單元27和輸出單元28。內(nèi)容輸入單元21接收內(nèi)容數(shù)據(jù)的輸入。如上所述，內(nèi)容是運(yùn)動(dòng)圖像內(nèi)容并且根據(jù)需要包括音頻、字幕等等。例如，內(nèi)容是作為要廣播的節(jié)目的一部分編輯的內(nèi)容。
元數(shù)據(jù)提取單元22分析從內(nèi)容輸入單元21提供來(lái)的內(nèi)容的數(shù)據(jù)并且從內(nèi)容中提取元數(shù)據(jù)。這里，例如，元數(shù)據(jù)指的是關(guān)于場(chǎng)景變化點(diǎn)的信息、關(guān)于執(zhí)行后文所述的時(shí)間線顯示所需的時(shí)間的信息、內(nèi)容的代表圖像等等的信息。元數(shù)據(jù)中包括的內(nèi)容的代表圖像被設(shè)定為與構(gòu)成內(nèi)容的各個(gè)場(chǎng)景之中的具有最大音頻信號(hào)水平的場(chǎng)景相對(duì)應(yīng)的幀的圖像(靜止圖像)。代表圖像是用預(yù)先確定的方法提取的。諸如代表圖像的數(shù)據(jù)和與代表圖像相對(duì)應(yīng)的幀的幀號(hào)碼之類(lèi)的信息也被元數(shù)據(jù)提取單元提取。元數(shù)據(jù)提取單元提取的元數(shù)據(jù)與內(nèi)容標(biāo)識(shí)信息相關(guān)聯(lián)地被存儲(chǔ)在元數(shù)據(jù)數(shù)據(jù)庫(kù)24中。圖像特征量提取單元23被配置為分析從內(nèi)容輸入單元21提供來(lái)的內(nèi)容數(shù)據(jù)并且從內(nèi)容中提取圖像特征量。這里，圖像特征量指的是在后文所述的檢索單元27的處理中用 于獲得與檢索圖像的相似度的信息。例如，圖像特征量指的是構(gòu)成內(nèi)容的一幀量的靜止圖像被分別分割成多個(gè)預(yù)定區(qū)域作為向每個(gè)區(qū)域提供代表色的信息等等。另外，圖像特征量可以是一幀量的靜止圖像的像素值的直方圖的信息，等等。圖像特征量提取單元23提取的圖像特征量例如與內(nèi)容標(biāo)識(shí)信息和幀號(hào)碼相關(guān)聯(lián)地被存儲(chǔ)在圖像特征量數(shù)據(jù)庫(kù)25中。另外，圖像特征量提取單元23被配置為類(lèi)似地從輸入自檢索圖像輸入單元26的檢索圖像中提取圖像特征量。檢索圖像輸入單元26被配置為接收作為靜止圖像的檢索圖像的輸入。例如，檢索圖像是用戶任意選擇的圖像，并且被輸入來(lái)用于從輸入自內(nèi)容輸入單元21的內(nèi)容之中檢索出與該檢索圖像相似的圖像。檢索單元27利用預(yù)定的方法將圖像特征量提取單元23提取的檢索圖像的圖像特征量和存儲(chǔ)在圖像特征量數(shù)據(jù)庫(kù)25中的圖像特征量相比較。從而，檢索圖像的圖像特征量與存儲(chǔ)在圖像特征量數(shù)據(jù)庫(kù)25中的構(gòu)成內(nèi)容的一幀量的每個(gè)靜止圖像的圖像特征量之間的相似度被計(jì)算為數(shù)值。例如，檢索單元27確定分別具有如下圖像特征量的靜止圖像并將這些靜止圖像的幀號(hào)碼等等提供給輸出單元28 :該圖像特征量與檢索圖像的圖像特征量的相似度的值為預(yù)定閾值以上。輸出單元28被配置為從元數(shù)據(jù)數(shù)據(jù)庫(kù)24中讀取內(nèi)容的元數(shù)據(jù)并且生成執(zhí)行內(nèi)容的時(shí)間線顯示所需的顯示數(shù)據(jù)。另外，輸出單元28從元數(shù)據(jù)數(shù)據(jù)庫(kù)24中讀取內(nèi)容的元數(shù)據(jù)并且基于從檢索單元27提供來(lái)的靜止圖像的幀號(hào)碼和所讀取的元數(shù)據(jù)來(lái)生成用于執(zhí)行檢索結(jié)果的時(shí)間線顯示的顯示數(shù)據(jù)。這里，從輸出單元28輸出的顯示數(shù)據(jù)被提供到顯示器(未示出)等等并如后文所述被作為圖像顯示。接下來(lái)，將對(duì)利用內(nèi)容處理裝置10進(jìn)行的內(nèi)容的時(shí)間線顯示的示例進(jìn)行描述。圖2是示出基于從輸出單元28輸出的顯示數(shù)據(jù)在顯示器(未示出)等等上顯示的畫(huà)面的示例的視圖。圖2中所示的畫(huà)面包括運(yùn)動(dòng)圖像顯示單元51。從內(nèi)容輸入單元21輸入的內(nèi)容的圖像作為運(yùn)動(dòng)圖像被顯示在運(yùn)動(dòng)圖像顯示單元51處。另外，圖2中所示的畫(huà)面包括代表圖像顯示單元52。從元數(shù)據(jù)數(shù)據(jù)庫(kù)24讀取的元數(shù)據(jù)中包括的代表圖像作為靜止圖像被顯示在代表圖像顯示單元52處。在此示例中，示出9( = 3乘3)個(gè)代表圖像。另外，圖2中所示的畫(huà)面包括時(shí)間線顯示單元53。內(nèi)容在時(shí)間線顯示單元53處被顯示在時(shí)間線上，使得圖中的水平方向?qū)?yīng)于內(nèi)容的時(shí)間軸。也就是說(shuō)，以時(shí)間線顯示單元53的左端對(duì)應(yīng)于內(nèi)容的開(kāi)始時(shí)刻并且時(shí)間線顯示單元53的右端對(duì)應(yīng)于內(nèi)容的結(jié)束時(shí)刻，來(lái)對(duì)應(yīng)于時(shí)間軸顯示內(nèi)容。這里，內(nèi)容時(shí)間線顯示指的是顯示特定的內(nèi)容，以使得用戶可從視覺(jué)上認(rèn)識(shí)到內(nèi)容的時(shí)間長(zhǎng)度和內(nèi)容的內(nèi)部場(chǎng)景、幀等等的時(shí)間位置。這里，例如，內(nèi)容時(shí)間線顯示指的是以某種方法顯示內(nèi)容，但不是將內(nèi)容顯示為再現(xiàn)的運(yùn)動(dòng)圖像之類(lèi)的。例如，時(shí)間線顯示中的內(nèi)容的顯示指的是象征著內(nèi)容或內(nèi)容的構(gòu)成部分的圖形、波形、標(biāo)記等等被與時(shí)間軸相關(guān) 聯(lián)地顯不。時(shí)間線顯示單元53包括場(chǎng)景顯示區(qū)域71。內(nèi)容的每個(gè)場(chǎng)景作為具有與每個(gè)場(chǎng)景的時(shí)間長(zhǎng)度相對(duì)應(yīng)的寬度(長(zhǎng)度)的矩形被顯示在場(chǎng)景顯示區(qū)域71處。也就是說(shuō)，在場(chǎng)景顯示區(qū)域71處顯示八個(gè)矩形，使得內(nèi)容被認(rèn)識(shí)為由八個(gè)場(chǎng)景構(gòu)成?；趶脑獢?shù)據(jù)數(shù)據(jù)庫(kù)24讀取的元數(shù)據(jù)中包括的場(chǎng)景變化點(diǎn)的信息確定每個(gè)場(chǎng)景的開(kāi)始點(diǎn)和結(jié)束點(diǎn)，從而顯示場(chǎng)景顯示區(qū)域71的矩形。雖然為了方便在圖中全都被顯示為白色矩形，但在場(chǎng)景顯示區(qū)域71處所示的各個(gè)矩形例如是分別以每個(gè)場(chǎng)景的代表色顯示的。場(chǎng)景的代表色例如被確定為與場(chǎng)景中存在的整個(gè)幀的像素值中的最大像素值相對(duì)應(yīng)的顏色，等等。這里，也可利用除上述以外的方法來(lái)確定場(chǎng)景的代表色。簡(jiǎn)言之，只需要將適合于場(chǎng)景的印象的顏色設(shè)定為代表色即可。在圖中場(chǎng)景顯示區(qū)域71的上方分別顯示代表圖像。也就是說(shuō)，在代表圖像顯示單元52處顯示的九個(gè)代表圖像被顯示在分別與內(nèi)容中的幀號(hào)碼相對(duì)應(yīng)的位置處。也就是說(shuō)，在代表圖像顯示單元52的第一行第一列處顯示的代表圖像是內(nèi)容的第一場(chǎng)景中包括的幀的圖像并且在場(chǎng)景顯示區(qū)域71上方被顯示為縮略圖72-1。這里，對(duì)于縮略圖72-1，朝著圖中的場(chǎng)景顯示區(qū)域71的最左側(cè)矩形提供了指示幀位置的虛線。這里，由于從圖中的縮略圖72-1的左端部和右端部朝著圖中的場(chǎng)景顯示區(qū)域71的最左側(cè)矩形的上部中央稍左的一點(diǎn)描繪了虛線，因此指示了縮略圖72-1的幀的時(shí)間位置。也就是說(shuō)，指示出在代表圖像顯示單元52的第一行第一列處顯示的代表圖像是與時(shí)間軸上的圖中場(chǎng)景顯示區(qū)域71的最左側(cè)矩形的中央稍左的一點(diǎn)相對(duì)應(yīng)的幀的圖像。這樣，用戶可容易地認(rèn)識(shí)到內(nèi)容中的代表圖像的時(shí)間位置。這里，只要能夠指示每個(gè)縮略圖的代表圖像的幀的位置，就也可以用另一種方法來(lái)顯示。簡(jiǎn)言之，只需要縮略圖被顯示為與時(shí)間線上顯示的內(nèi)容相關(guān)聯(lián)以使得能夠認(rèn)識(shí)到內(nèi)容中的代表圖像的時(shí)間位置即可。另外，還可以基于代表圖像幀的數(shù)據(jù)生成每個(gè)縮略圖或者將縮略圖作為預(yù)先生成的包括在元數(shù)據(jù)中?？s略圖72-2被認(rèn)識(shí)為指示在代表圖像顯示單元52的第二行第三列處顯示的代表圖像并且是內(nèi)容的第二場(chǎng)景中包括的幀的圖像。
縮略圖72-3被認(rèn)識(shí)為指示在代表圖像顯示單元52的第三行第三列處顯示的代表圖像并且是內(nèi)容的第三場(chǎng)景中包括的幀的圖像。類(lèi)似地，縮略圖72-4至72-9被顯示并且分別指示在代表圖像顯示單元52處顯示的九個(gè)代表圖像的縮略圖被顯示在場(chǎng)景顯示區(qū)域71的上方。這里，例如，各個(gè)縮略圖被顯示為交互重疊。例如，縮略圖72-1與縮略圖72-2重疊并且圖像的一部分被隱藏。在縮略圖被顯示為重疊的情況下，例如，重疊在上的縮略圖被以50%的透明度顯示，以使得重疊在下的縮略圖透過(guò)其可見(jiàn)。另外，例如，圖2中所示的按鈕81至83是作為⑶I的成分構(gòu)成的。例如，由于按鈕83被操作，縮略圖72-1至72-9將被分別顯示在場(chǎng)景顯示區(qū)域71的上方。也就是說(shuō)，圖2中所示的畫(huà)面最初是在不顯示縮略圖72-1至72-9的狀態(tài)中顯示的，并且當(dāng)按鈕83被操作時(shí)縮略圖72-1至72-9將被分別顯示在場(chǎng)景顯示區(qū)域71的上方。 按鈕81是用于作為內(nèi)容的再現(xiàn)在運(yùn)動(dòng)圖像顯示單元51處顯示運(yùn)動(dòng)圖像的按鈕。按鈕82是用于停止內(nèi)容的再現(xiàn)的按鈕。在利用按鈕81再現(xiàn)內(nèi)容的情況下，滑塊91被配置為在時(shí)間線顯示單元53處指示當(dāng)前再現(xiàn)的幀的位置。圖3是示出隨著內(nèi)容通過(guò)對(duì)按鈕81的操作被再現(xiàn)，在圖2中所示的畫(huà)面處經(jīng)過(guò)了預(yù)定時(shí)間后的畫(huà)面的示例的視圖。例如，滑塊91由被顯示為重疊在場(chǎng)景顯示區(qū)域71處的紅色矩形框表示，并且被顯示為具有隨著時(shí)間而增大的在圖中的水平方向上的長(zhǎng)度?；瑝K91的右端部指示內(nèi)容的當(dāng)前再現(xiàn)位置。如圖3中所示，由于在再現(xiàn)內(nèi)容之后經(jīng)過(guò)特定的時(shí)間，滑塊91的右端部向場(chǎng)景顯示區(qū)域71上的右側(cè)移動(dòng)。圖4是示出在從圖3中所示的狀態(tài)進(jìn)一步經(jīng)過(guò)了時(shí)間之后的畫(huà)面的示例的視圖。如圖中所示，滑塊91的右端部隨著時(shí)間進(jìn)一步向場(chǎng)景顯示區(qū)域71上的右側(cè)移動(dòng)并且與對(duì)應(yīng)于縮略圖72-4的代表圖像的幀的位置匹配?？s略圖72-4指示在代表圖像顯示單元52的第二行第一列處顯示的代表圖像并且在圖4中的運(yùn)動(dòng)圖像顯示單元51處顯示的圖像與在代表圖像顯示單元52的第二行第一列處顯示的代表圖像匹配。此時(shí)，縮略圖72-4被顯示為放大以具有比其他縮略圖更大的顯示面積。另外，此時(shí)，縮略圖72-4被顯示為重疊在縮略圖72-3和縮略圖72-5上，透明度為0%。也就是說(shuō)，執(zhí)行顯示以使得透過(guò)其不可見(jiàn)到縮略圖72-3和縮略圖72-5。這樣，當(dāng)再現(xiàn)位置(滑塊91的右端部)與代表圖像的幀匹配時(shí)，指示代表圖像的縮略圖被突出顯示。這里，對(duì)縮略圖由于被顯示為具有放大的顯示面積并且以0%的透明度重疊在上而被突出顯示的示例進(jìn)行描述。然而，也可以利用另外的方法來(lái)改變縮略圖的顯示狀態(tài)。這樣，根據(jù)本發(fā)明，內(nèi)容的細(xì)節(jié)能夠被可理解地顯示在時(shí)間線上。由于內(nèi)容的各個(gè)場(chǎng)景和指示代表圖像的縮略圖在時(shí)間線顯示單元53處被沿著時(shí)間軸顯示，所以用戶在再現(xiàn)該內(nèi)容的情況下可預(yù)先認(rèn)識(shí)到在什么定時(shí)可看到何種場(chǎng)景。另外，由于在再現(xiàn)內(nèi)容的情況下在滑塊91的右端部的位置移動(dòng)的同時(shí)在時(shí)間線顯示單元53中順次突出顯示各個(gè)縮略圖，所以例如用戶可以關(guān)注著代表圖像來(lái)評(píng)估內(nèi)容編輯的質(zhì)量。
接下來(lái)，將參考圖5的流程圖描述由圖I的內(nèi)容處理裝置10進(jìn)行的內(nèi)容顯示處理的示例。在步驟S21中，內(nèi)容輸入單元21接收內(nèi)容的數(shù)據(jù)的輸入。在步驟S22中，元數(shù)據(jù)提取單元22分析從內(nèi)容輸入單元21提供來(lái)的內(nèi)容的數(shù)據(jù)并從內(nèi)容中提取元數(shù)據(jù)。這里，例如，關(guān)于場(chǎng)景變化點(diǎn)的信息、與執(zhí)行時(shí)間線顯示所需的時(shí)間相關(guān)的信息、代表圖像的信息等等被提取作為元數(shù)據(jù)。這里，元數(shù)據(jù)中包括的內(nèi)容的代表圖像是利用預(yù)先確定的方法提取的。諸如代表圖像的數(shù)據(jù)和與代表圖像相對(duì)應(yīng)的幀的幀號(hào)碼之類(lèi)的信息也被元數(shù)據(jù)提取單元提取。在步驟S23中，元數(shù)據(jù)數(shù)據(jù)庫(kù)24存儲(chǔ)在步驟S22的處理中提取的元數(shù)據(jù)。在步驟S24中，輸出單元28從元數(shù)據(jù)數(shù)據(jù)庫(kù)24中讀取內(nèi)容的元數(shù)據(jù)并生成在時(shí)間線上顯示內(nèi)容所需的顯示數(shù)據(jù)。通過(guò)上述步驟，顯示如上文參考圖2所述的畫(huà)面。這里， 如上所述，圖2中所示的畫(huà)面最初是在不顯示縮略圖72-1至72-9的狀態(tài)中顯示的。在步驟S25中，輸出單元28判定是否指令了縮略圖顯示并且等待直到判定指令了縮略圖顯示為止。例如，在圖2的按鈕83被操作的情況下，則在步驟S25中判定指令了縮略圖顯示，并且處理前進(jìn)到步驟S26。在步驟S26中，輸出單元28生成在與步驟S24中生成的顯示數(shù)據(jù)相對(duì)應(yīng)的畫(huà)面上顯示縮略圖所需的顯示數(shù)據(jù)。從而，例如，縮略圖72-1至72-9被分別顯示在場(chǎng)景顯示區(qū)域71的上方。這樣，執(zhí)行了內(nèi)容顯示處理。隨后，為了對(duì)應(yīng)于對(duì)畫(huà)面上⑶I的操作來(lái)顯示圖3和圖4中所示的畫(huà)面，輸出單元28生成用于適當(dāng)?shù)仫@示這些畫(huà)面的顯示數(shù)據(jù)。接下來(lái)，將描述利用內(nèi)容處理裝置10進(jìn)行的圖像檢索。如上所述，檢索圖像輸入單元26被配置為接收作為靜止圖像的檢索圖像的輸入。例如，作為由用戶任意選擇的圖像的檢索圖像被輸入以用于檢索從內(nèi)容輸入單元21輸入的內(nèi)容之中的與檢索圖像相似的圖像。例如，圖6示出了在上文參考圖2至圖4描述的畫(huà)面處執(zhí)行檢索的情況的示例。該圖示出了從與圖2至圖4中的內(nèi)容相同的內(nèi)容來(lái)檢索出檢索圖像的示例。在圖6的畫(huà)面上，布置了檢索圖像顯示區(qū)域54，并且經(jīng)由檢索圖像輸入單元26輸入的作為檢索圖像的圖像101至103被顯示在檢索圖像顯示區(qū)域54處。在此示例中，從在代表圖像顯示單元52處顯示的九個(gè)代表圖像之中選擇三個(gè)代表圖像作為檢索圖像。也就是說(shuō)，圖像101是在代表圖像顯示單元52處顯示的圖像之中的在第二行第二列顯示的圖像。圖像102是在代表圖像顯示單元52處顯示的圖像之中的在第一行第三列顯示的圖像。圖像103是在代表圖像顯示單元52處顯示的圖像之中的在第一行第一列顯示的圖像。當(dāng)在此狀態(tài)中按鈕84被操作時(shí)，分別與檢索圖像顯示區(qū)域54處顯示的圖像具有高相似度的圖像被從內(nèi)容中檢索出。圖7是示出當(dāng)在圖6中所示的畫(huà)面處按鈕84被操作時(shí)顯示檢索結(jié)果的畫(huà)面的示例的視圖。
如圖7中所示,在檢索圖像顯示區(qū)域54處顯示的圖像101至103的外框(顯示框)是以預(yù)定的顏色顯示的。這里，在圖中利用陰影圖案的差異來(lái)顯示預(yù)定的顏色。例如，圖像101的外框被顯示為藍(lán)色，圖像102的外框被顯示為綠色，并且圖像103的外框被顯示為紅色。另外，在圖7的示例中，指示分別與圖像101至103相似的圖像的幀的位置的顏色條被顯示為與場(chǎng)景顯示區(qū)域71處的對(duì)應(yīng)于各個(gè)場(chǎng)景的矩形相重疊。這里，圖7中顯示的各個(gè)顏色條指示多個(gè)幀位置，是在圖中的水平方向上具有特定寬度的條。也就是說(shuō)，在在運(yùn)動(dòng)圖像內(nèi)容中檢索靜止圖像的情況下，一般會(huì)連續(xù)檢測(cè)到具有高相似度的多個(gè)圖像。從而，當(dāng)對(duì)分別具有高相似度的幀位置著色時(shí)，將顯示顏色條。在圖中，顏色條111-1至111-4指示分別與圖像101具有高相似度的幀的位置并且被形成為具有與圖像101的外框的顏色相同的顏色(例如藍(lán)色)的顏色條。另外，顏色條112-1至112-3指示分別與圖像102具有高相似度的幀的位置并且被形成為具有與圖像102的外框的顏色相同的顏色(例如綠色)的顏色條。此外，顏色條113-1至113-3指示分別與圖像103具有高相似度的幀的位置并且被形成為具有與圖像103的外框的顏色相同的 顏色(例如紅色)的顏色條。這樣，用戶可立即認(rèn)識(shí)到在內(nèi)容中的何處存在顯示了目標(biāo)圖像(檢索圖像)的部分以及該部分有多長(zhǎng)。另外，可以立即認(rèn)識(shí)到在內(nèi)容中顯示多個(gè)圖像(例如圖像101至103)的各個(gè)部分是如何組合的。例如，在圖7的示例中，圖像101至103是導(dǎo)彈的圖像。圖像101、圖像102和圖像103分別是導(dǎo)彈發(fā)射前、導(dǎo)彈發(fā)射時(shí)和導(dǎo)彈發(fā)射后的圖像。例如，在諸如新聞節(jié)目之類(lèi)的內(nèi)容中報(bào)道關(guān)于導(dǎo)彈的情況下，發(fā)射前、發(fā)射時(shí)、發(fā)射后的導(dǎo)彈的圖像在許多情況下被重復(fù)顯
/Jn ο根據(jù)圖7中所示的檢索結(jié)果，認(rèn)識(shí)到在內(nèi)容中的大概四個(gè)位置處包括顯示導(dǎo)彈圖像的部分。作為第一場(chǎng)景的第一位置是與場(chǎng)景顯示區(qū)域71的最左側(cè)矩形相對(duì)應(yīng)的場(chǎng)景。也就是說(shuō)，由于發(fā)射前、發(fā)射時(shí)和發(fā)射后的導(dǎo)彈的圖像被顯示在與顏色條111-1、顏色條112-1和顏色條113-1相對(duì)應(yīng)的部分，所以認(rèn)識(shí)到在此位置顯示了導(dǎo)彈圖像。作為第五場(chǎng)景的第二位置是與場(chǎng)景顯示區(qū)域71的左側(cè)起第五個(gè)矩形相對(duì)應(yīng)的場(chǎng)景。也就是說(shuō)，由于發(fā)射前、發(fā)射時(shí)和發(fā)射后的導(dǎo)彈的圖像被顯示在與顏色條111-2、顏色條112-2和顏色條113-2相對(duì)應(yīng)的部分，所以認(rèn)識(shí)到在此位置顯示了導(dǎo)彈圖像。作為第七場(chǎng)景的第三位置是與場(chǎng)景顯示區(qū)域71的左側(cè)起第七個(gè)矩形相對(duì)應(yīng)的場(chǎng)景。也就是說(shuō)，由于發(fā)射前的導(dǎo)彈的圖像被顯示在與顏色條111-3相對(duì)應(yīng)的部分，所以認(rèn)識(shí)到在此位置顯示了導(dǎo)彈圖像。作為第八場(chǎng)景的第四位置是與場(chǎng)景顯示區(qū)域71的左側(cè)起第八個(gè)矩形相對(duì)應(yīng)的場(chǎng)景。也就是說(shuō)，由于發(fā)射前、發(fā)射時(shí)和發(fā)射后的導(dǎo)彈的圖像被顯示在與顏色條111-4、顏色條112-3和顏色條113-3相對(duì)應(yīng)的部分，所以認(rèn)識(shí)到在此位置顯示了導(dǎo)彈圖像。也就是說(shuō)，認(rèn)識(shí)到在內(nèi)容中包括四個(gè)導(dǎo)彈相關(guān)場(chǎng)景。其中，認(rèn)識(shí)到僅在第七場(chǎng)景中，與其他場(chǎng)景不同，只顯示了發(fā)射前的圖像。另外，在第一場(chǎng)景中，與其他場(chǎng)景不同，發(fā)射后的圖像被顯示得較長(zhǎng)。
如上所述，根據(jù)利用本發(fā)明的內(nèi)容處理裝置10的檢索結(jié)果，用戶可立即認(rèn)識(shí)到內(nèi)容的細(xì)節(jié)，并且例如還可評(píng)估內(nèi)容的編輯者的編輯方法。這里，與上述情況類(lèi)似，可以也在圖6和圖7中所示的畫(huà)面上在運(yùn)動(dòng)圖像顯示單元51處顯示運(yùn)動(dòng)圖像作為對(duì)內(nèi)容的再現(xiàn)。這里，描述了對(duì)與圖2至圖4的畫(huà)面相同的畫(huà)面執(zhí)行檢索的情況。然而，也可以顯示另一畫(huà)面用于執(zhí)行圖像檢索。簡(jiǎn)言之，只需要顯示具有圖7中的檢索圖像顯示區(qū)域54和時(shí)間線顯示單元53的畫(huà)面即可。利用圖7，描述了對(duì)于一個(gè)內(nèi)容執(zhí)行圖像檢索的示例。然而，也可以對(duì)于多個(gè)內(nèi)容執(zhí)行圖像檢索。圖8是示出在對(duì)多個(gè)內(nèi)容執(zhí)行圖像檢索的情況下利用圖I的內(nèi)容處理裝置10的輸出單元28生成的顯示數(shù)據(jù)顯示的畫(huà)面的示例的視圖。
這里，在對(duì)多個(gè)內(nèi)容執(zhí)行圖像檢索的情況下，圖I的內(nèi)容輸入單元21預(yù)先接收多個(gè)內(nèi)容的輸入，并且對(duì)各個(gè)內(nèi)容執(zhí)行元數(shù)據(jù)的提取和圖像特征量的提取。另外，在對(duì)多個(gè)內(nèi)容執(zhí)行圖像檢索的情況下，例如可以基于內(nèi)容標(biāo)識(shí)信息讀取存儲(chǔ)在元數(shù)據(jù)數(shù)據(jù)庫(kù)24中的元數(shù)據(jù)和存儲(chǔ)在圖像特征量數(shù)據(jù)庫(kù)中的圖像特征量。在圖8的畫(huà)面上布置了運(yùn)動(dòng)圖像顯示單元151、時(shí)間線顯示單元153和檢索圖像顯示區(qū)域154。在圖8的示例中,在時(shí)間線顯示單元153處的時(shí)間線中顯示了七個(gè)內(nèi)容。時(shí)間線顯示單元153包括與作為檢索對(duì)象的內(nèi)容的數(shù)目相對(duì)應(yīng)的場(chǎng)景顯示區(qū)域。在此示例中，時(shí)間線顯示單元153包括場(chǎng)景顯示區(qū)域171-1至171-7。每個(gè)內(nèi)容的每個(gè)場(chǎng)景在場(chǎng)景顯示區(qū)域171-1至171-7的每一個(gè)處被顯示為具有與每個(gè)場(chǎng)景的時(shí)間長(zhǎng)度相對(duì)應(yīng)的寬度(長(zhǎng)度)的矩形。例如，在場(chǎng)景顯示區(qū)域171-1處顯示了三個(gè)矩形，并且認(rèn)識(shí)到該內(nèi)容由三個(gè)場(chǎng)景構(gòu)成。這里，基于從元數(shù)據(jù)數(shù)據(jù)庫(kù)24讀取的元數(shù)據(jù)中包括的場(chǎng)景變化點(diǎn)的信息確定每個(gè)場(chǎng)景的開(kāi)始點(diǎn)和結(jié)束點(diǎn)，以便顯示場(chǎng)景顯示區(qū)域171-1至171-7的矩形。在場(chǎng)景顯示區(qū)域171-1至171-7處指示的各個(gè)矩形例如將被以每個(gè)場(chǎng)景的代表色來(lái)顯示(在圖中為了方便全都顯示為白色)。場(chǎng)景的代表色例如被確定為與場(chǎng)景中存在的整個(gè)幀的像素值中的最大像素值相對(duì)應(yīng)的顏色等等。這里，也可利用除上述以外的方法來(lái)確定場(chǎng)景的代表色。簡(jiǎn)言之，只需要將適合于場(chǎng)景的印象的顏色設(shè)定為代表色即可。另外，在時(shí)間線顯示單元153中，在場(chǎng)景顯示區(qū)域171-1至171_7的圖中的左側(cè)分別布置了靜止圖像顯示區(qū)域175-1至175-7。在靜止圖像顯示區(qū)域175-1至175-7處要顯示的每個(gè)圖像例如是每個(gè)內(nèi)容的開(kāi)頭幀的圖像、預(yù)定的代表圖像等等。另外，圖中在靜止圖像顯示區(qū)域175-1至175-7處顯示的圖像的上方描述的文本串例如指示各個(gè)內(nèi)容的標(biāo)識(shí)信肩、O作為由用戶從在時(shí)間線顯示單元153處的時(shí)間線中顯示的內(nèi)容中選擇的內(nèi)容的再現(xiàn)獲得的運(yùn)動(dòng)圖像被顯示在運(yùn)動(dòng)圖像顯示單元151處。由檢索圖像輸入單元26接收的輸入的檢索圖像將被顯示在檢索圖像顯示區(qū)域154處。這里，在圖8的示例中，檢索圖像尚未被輸入，并且檢索圖像未被顯示在檢索圖像顯示區(qū)域154處。例如，作為由用戶任意選擇的圖像的檢索圖像被輸入，以用于檢索在時(shí)間線顯示單元153處的時(shí)間線中顯示的內(nèi)容之中與檢索圖像相似的圖像。
當(dāng)在此狀態(tài)中檢索圖像被輸入并且作為⑶I的成分構(gòu)成的按鈕184被操作時(shí)，分別與在檢索圖像顯示區(qū)域154處顯示的圖像具有高相似度的圖像被從內(nèi)容之中檢索出。圖9是示出當(dāng)在圖8中所示的畫(huà)面上圖像201至203作為檢索圖像被輸入并且按鈕184被操作之后顯示檢索結(jié)果的畫(huà)面的示例的視圖。如圖9中所示，在檢索圖像顯示區(qū)域154處顯示的圖像201至203的外框是以預(yù)定的顏色顯示的。在圖中，利用陰影圖案的差異來(lái)顯示預(yù)定的顏色。另外，在圖9的示例中，指示分別與圖像201至203相似的圖像的幀的位置的顏色條被顯示為與場(chǎng)景顯示區(qū)域171-1至171-7處的對(duì)應(yīng)于各個(gè)場(chǎng)景的矩形相重疊。這里，與上文參考圖7所述的情況類(lèi)似，圖9中顯示的各個(gè)顏色條指示多個(gè)幀位置，是在圖中的水平方向上具有特定寬度的條。也就是說(shuō)，在在運(yùn)動(dòng)圖像內(nèi)容中檢索靜止圖像的情況下，一般會(huì)連續(xù)檢測(cè)到具有高相似度的多個(gè)圖像。從而，當(dāng)對(duì)分別具有高相似度的幀位置著色時(shí)，將顯示顏色條。
在圖中，顏色條211指示與圖像201具有高相似度的幀的位置并且被形成為具有與圖像201的外框的顏色相同的顏色(例如藍(lán)色)的顏色條。另外，顏色條212指示與圖像202具有高相似度的幀的位置并且被形成為具有與圖像202的外框的顏色相同的顏色(例如綠色)的顏色條。此外，顏色條213指示與圖像203具有高相似度的幀的位置并且被形成為具有與圖像203的外框的顏色相同的顏色(例如紅色)的顏色條。這里，在圖9的示例中，雖然只對(duì)場(chǎng)景顯示區(qū)域171-1處顯示的顏色條提供了標(biāo)號(hào)，但在場(chǎng)景顯示區(qū)域171-2至171-7處也顯示了顏色條。也就是說(shuō)，在圖9的示例中，對(duì)于多個(gè)內(nèi)容(在此示例中是七個(gè))中的每一個(gè)可以獲得與參考圖7所述的情況類(lèi)似的檢索結(jié)果。這樣，用戶可立即認(rèn)識(shí)到在多個(gè)內(nèi)容中的何處存在顯示了目標(biāo)圖像(檢索圖像)的部分以及該部分有多長(zhǎng)。另外，可以立即認(rèn)識(shí)到在內(nèi)容中顯示多個(gè)圖像(例如圖像101至103)的各個(gè)部分是如何組合的。然后，也可以例如通過(guò)在單個(gè)畫(huà)面上顯示檢索結(jié)果來(lái)比較各個(gè)內(nèi)容的編輯細(xì)節(jié)。另外，如上所述，作為由用戶從在時(shí)間線顯示單元153處的時(shí)間線中顯示的內(nèi)容中選擇的內(nèi)容的再現(xiàn)獲得的運(yùn)動(dòng)圖像被顯示在運(yùn)動(dòng)圖像顯示單元151處。圖10是示出在運(yùn)動(dòng)圖像被顯示在運(yùn)動(dòng)圖像顯示單元151處的情況下的畫(huà)面的示例的視圖。在圖10的示例中，用戶利用點(diǎn)選設(shè)備(未示出)等等選擇場(chǎng)景顯示區(qū)域171-3，并且在操作按鈕181時(shí)再現(xiàn)內(nèi)容。這里，作為⑶I的成分構(gòu)成的按鈕181是用于作為內(nèi)容的再現(xiàn)在運(yùn)動(dòng)圖像顯示單元151處顯示運(yùn)動(dòng)圖像的按鈕。按鈕182是用于停止內(nèi)容的再現(xiàn)的按鈕。另外，在該圖的示例中，由于場(chǎng)景顯示區(qū)域171-3被選擇，場(chǎng)景顯示區(qū)域171-3的外圍被突出顯示。在此示例中，突出顯示是通過(guò)用虛線示出場(chǎng)景顯示區(qū)域171-3的外圍來(lái)指示的。另外，在利用按鈕181再現(xiàn)內(nèi)容的情況下，滑塊被配置為在時(shí)間線顯示單元153處指示當(dāng)前再現(xiàn)的幀的位置。在該圖的示例中，由于再現(xiàn)了場(chǎng)景顯示區(qū)域171-3的內(nèi)容，所以顯示滑塊191-3。例如，滑塊191-3由被顯示為重疊在場(chǎng)景顯示區(qū)域171-3處的紅色矩形框表示，并且被顯示為具有隨著時(shí)間而增大的在圖中的水平方向上的長(zhǎng)度?；瑝K191-3的右端部指示內(nèi)容的當(dāng)前再現(xiàn)位置。由于在再現(xiàn)內(nèi)容之后經(jīng)過(guò)特定的時(shí)間，滑塊191-3的右端部向場(chǎng)景顯示區(qū)域171-3上的右側(cè)移動(dòng)。這里，在圖10的示例中，由于再現(xiàn)了場(chǎng)景顯示區(qū)域171-3的內(nèi)容，所以顯示滑塊191-3。當(dāng)再現(xiàn)另外的內(nèi)容時(shí)，將在該內(nèi)容的場(chǎng)景顯示區(qū)域上顯示滑塊。這樣，也可以在顯示檢索結(jié)果的同時(shí)作為內(nèi)容的再現(xiàn)顯示運(yùn)動(dòng)圖像。
接下來(lái)，將參考圖11的流程圖描述由圖I的內(nèi)容處理裝置10進(jìn)行的檢索結(jié)果顯示處理的示例。這里，在此處理之前，內(nèi)容輸入單元21預(yù)先接收對(duì)一個(gè)或多個(gè)內(nèi)容的輸入，并且對(duì)各個(gè)內(nèi)容執(zhí)行元數(shù)據(jù)的提取和圖像特征量的提取。在步驟S51中，檢索圖像輸入單元26接收檢索圖像的輸入。這里，例如，檢索圖像是用戶任意選擇的圖像(靜止圖像)，并且被輸入來(lái)用于檢索從內(nèi)容輸入單元21輸入的內(nèi)容之中與該檢索圖像相似的圖像。此時(shí)，例如，圖6的圖像101至103被輸入作為檢索圖像。在步驟S52中，圖像特征量提取單元23分析在步驟S51中輸入的檢索圖像。在步驟S53中，圖像特征量提取單元23提取作為步驟S51的處理的結(jié)果的檢索圖像的圖像特征量。在步驟S54中，檢索單元27利用預(yù)定的方法將在步驟S53的處理中圖像特征量提取單元23提取的檢索圖像的圖像特征量與存儲(chǔ)在圖像特征量數(shù)據(jù)庫(kù)25中的圖像特征量相比較。從而，檢索圖像的圖像特征量與存儲(chǔ)在圖像特征量數(shù)據(jù)庫(kù)25中的構(gòu)成內(nèi)容的一幀量的每個(gè)靜止圖像的圖像特征量之間的相似度被計(jì)算為數(shù)值。在步驟S55中，例如，檢索單元27確定與檢索圖像的圖像特征量的相似度的值在預(yù)定閾值以上的靜止圖像的幀。在步驟S56中，檢索單元27將檢索結(jié)果通知給輸出單元28。此時(shí)，作為步驟S55的處理的結(jié)果確定的靜止圖像的幀號(hào)碼等等被提供給輸出單元28。在步驟S57中，輸出單元28從元數(shù)據(jù)數(shù)據(jù)庫(kù)24中讀取內(nèi)容的元數(shù)據(jù)并且基于在步驟S56的處理中提供的靜止圖像的幀號(hào)碼和所讀取的元數(shù)據(jù)來(lái)生成在時(shí)間線上顯示檢索結(jié)果所需的顯示數(shù)據(jù)。從而，例如，顯示如上文參考圖7或圖9所述的畫(huà)面。隨后，輸出單元28根據(jù)對(duì)畫(huà)面上的Gn的操作等等，適當(dāng)?shù)厣娠@示數(shù)據(jù)。這樣，執(zhí)行了檢索結(jié)果顯示處理。由于參考作為上述檢索結(jié)果顯示處理的結(jié)果獲得的畫(huà)面，可以立即認(rèn)識(shí)到在內(nèi)容中的何處存在顯示了目標(biāo)圖像(檢索圖像)的部分以及該部分有多長(zhǎng)。與此同時(shí)，由于參考作為上述檢索結(jié)果顯示處理的結(jié)果獲得的畫(huà)面，可以檢測(cè)到內(nèi)容中預(yù)定事件的發(fā)生。例如，由于檢索出多個(gè)檢索圖像并且識(shí)別出與檢索圖像相似的幀的檢測(cè)順序，所以可以大概認(rèn)識(shí)到在內(nèi)容的哪個(gè)部分發(fā)生什么事件。與參考圖7的上述畫(huà)面類(lèi)似，圖12是示出顯示對(duì)于某個(gè)內(nèi)容檢索出檢索圖像的結(jié)果的畫(huà)面的示例的視圖。在此示例中，棒球廣播節(jié)目的內(nèi)容被檢索并顯示在時(shí)間線上。在圖12的示例中，在檢索圖像顯示區(qū)域54處顯示圖像104和105。在此示例中，從在代表圖像顯示單元52處顯示的九個(gè)代表圖像之中選擇兩個(gè)代表圖像作為檢索圖像。另外，在檢索圖像顯示區(qū)域54處顯示的圖像104和105的外框是以預(yù)定的顏色顯示的。例如，圖像104的外框被顯示為藍(lán)色，并且圖像105的外框被顯示為綠色。這里，在圖中利用陰影圖案的差異來(lái)指示預(yù)定的顏色。
另外，在該圖的示例中，指示分別與圖像104和105相似的圖像的幀的位置的顏色條被顯示為與場(chǎng)景顯示區(qū)域71處的對(duì)應(yīng)于各個(gè)場(chǎng)景的矩形重疊。這里，圖12中所示的顏色條被形成為分別具有與圖像104的外框的顏色或者圖像105的外框的顏色相同的顏色的顏色條。在圖12的示例中，圖像104是投手投球的圖像，并且圖像105是外場(chǎng)手奔跑(跳向球)的圖像。從而，在場(chǎng)景顯示區(qū)域71中的顯示了指示與圖像104相似的圖像的幀的顏色條和在其右側(cè)的指示與圖像105相似的圖像的幀的顏色條的位置處，認(rèn)識(shí)到被擊打的球飛向外場(chǎng)。例如，如果除了圖像104和105以外還檢索到一壘的跑壘者的圖像106并且找到與圖像104、105和106相似的圖像的顏色條按順序出現(xiàn)的位置，則認(rèn)識(shí)到在該位置處擊球
手擊出了一魚(yú)安打。例如，如果除了圖像104和105以外還檢索到二壘的跑壘者的圖像107并且找到 與圖像104、105和107相似的圖像的顏色條按順序出現(xiàn)的位置，則認(rèn)識(shí)到在該位置處擊球
手擊出了二魚(yú)安打。此時(shí)，例如由于參考在場(chǎng)景顯示區(qū)域71處顯示的各個(gè)矩形(各個(gè)場(chǎng)景)和在其上方顯示的縮略圖，可以更容易地認(rèn)識(shí)到內(nèi)容的細(xì)節(jié)。這樣，通過(guò)組合投球、守備和跑壘的圖像作為檢索圖像，可以容易地找到在內(nèi)容中何處發(fā)生一壘安打以及在何處發(fā)生二壘安打。也就是說(shuō)，由于以適當(dāng)?shù)慕M合檢索多個(gè)檢索圖像并且識(shí)別出與檢索圖像相似的幀的檢測(cè)時(shí)間位置和檢測(cè)順序，可以認(rèn)識(shí)到在內(nèi)容的哪個(gè)部分發(fā)生什么事件。如上所述，根據(jù)本發(fā)明，可以執(zhí)行現(xiàn)有技術(shù)不能支持的內(nèi)容細(xì)節(jié)的可視化顯示。從而，可以更容易地認(rèn)識(shí)到運(yùn)動(dòng)圖像的內(nèi)容細(xì)節(jié)。另外，由于以適當(dāng)?shù)慕M合檢索多個(gè)檢索圖像并且顯示與檢索圖像相似的幀，所以例如可以預(yù)先評(píng)估廣播前的節(jié)目的內(nèi)容。例如，以下是節(jié)目贊助商A的商品a、節(jié)目贊助商B的商品b和節(jié)目贊助商C的商品c的圖像不可避免地需要被包括在內(nèi)容中的情況。在這種情況下,通過(guò)檢索商品a至c的圖像并且比較與檢索圖像相似的幀的顏色條的長(zhǎng)度，可以校正節(jié)目贊助商A至C之間的不平衡。另外，在節(jié)目贊助商A至C的出資額之間存在差異的情況下，通過(guò)檢索商品a至c的圖像并且比較與檢索圖像相似的幀的顏色條的長(zhǎng)度和順序，可以將節(jié)目贊助商的意向適當(dāng)?shù)胤从车絻?nèi)容中。如上所述，根據(jù)本發(fā)明，能夠執(zhí)行現(xiàn)有技術(shù)不能支持的內(nèi)容細(xì)節(jié)的比較。從而，可以更容易地認(rèn)識(shí)到運(yùn)動(dòng)圖像的內(nèi)容細(xì)節(jié)。以上，由內(nèi)容處理裝置10在顯示畫(huà)面上以圖中的水平方向與時(shí)間軸相關(guān)聯(lián)在時(shí)間線上顯示內(nèi)容。然而，也可能以圖中的垂直方向與時(shí)間軸相關(guān)聯(lián)在時(shí)間線上顯示內(nèi)容。這里，上述一系列處理可利用硬件來(lái)執(zhí)行或者可利用軟件來(lái)執(zhí)行。在利用軟件執(zhí)行上述一系列處理的情況下，構(gòu)成軟件的程序被從網(wǎng)絡(luò)或記錄介質(zhì)安裝到組裝在專(zhuān)用硬件中的計(jì)算機(jī)。另外，由于安裝多種程序，從網(wǎng)絡(luò)或記錄介質(zhì)向例如如圖13中所示的能夠執(zhí)行各種功能的通用個(gè)人計(jì)算機(jī)700執(zhí)行安裝。在圖13中，中央處理單元(CPU) 701根據(jù)存儲(chǔ)在只讀存儲(chǔ)器(ROM) 702中的程序或從存儲(chǔ)單元708加載到隨機(jī)訪問(wèn)存儲(chǔ)器(RAM) 703的程序來(lái)執(zhí)行多種處理。另外，CPU 701執(zhí)行多種處理所必要的數(shù)據(jù)等等被適當(dāng)?shù)卮鎯?chǔ)在RAM 703中。CPU 701、ROM 702和RAM 703經(jīng)由總線704相互連接。輸入/輸出接口 705也連接到總線704。包括鍵盤(pán)、鼠標(biāo)等等的輸入單元706和包括諸如液晶顯示器(IXD)之類(lèi)的顯示器、揚(yáng)聲器等等的輸出單元707連接到輸入/輸出接口 705。另外，包括硬盤(pán)等等的存儲(chǔ)單元708、包括諸如調(diào)制解調(diào)器和LAN卡之類(lèi)的網(wǎng)絡(luò)接口卡的通信單元709等等連接到輸入/輸出接口 705。通信單元709經(jīng)由包括因特網(wǎng)在內(nèi)的網(wǎng)絡(luò)執(zhí)行通信處理。另外，驅(qū)動(dòng)器710根據(jù)需要連接到輸入/輸出接口 705，并且諸如磁盤(pán)、光盤(pán)、磁光盤(pán)或半導(dǎo)體存儲(chǔ)器之類(lèi)的可移除介質(zhì)711適當(dāng)?shù)匕哺接隍?qū)動(dòng)器710。然后，從可移除介質(zhì)讀取的計(jì)算機(jī)程序根據(jù)需要被安裝到存儲(chǔ)單元708。
在利用軟件執(zhí)行上述一系列處理的情況下，構(gòu)成軟件的程序是從諸如因特網(wǎng)之類(lèi)的網(wǎng)絡(luò)和諸如可移除介質(zhì)711之類(lèi)的記錄介質(zhì)安裝的。這里，除了利用圖13中所示的與裝置主體分開(kāi)、被配送來(lái)交付程序給用戶的記錄了程序的包括磁盤(pán)(包括軟盤(pán)(注冊(cè)商標(biāo)))、光盤(pán)(包括致密盤(pán)-只讀存儲(chǔ)器(CD-ROM)和數(shù)字多功能盤(pán)(DVD))、磁光盤(pán)(包括袖珍盤(pán)(MD)(注冊(cè)商標(biāo)))或半導(dǎo)體存儲(chǔ)器在內(nèi)的可移除介質(zhì)711構(gòu)成的介質(zhì)以外，記錄介質(zhì)還包括在預(yù)先組裝到裝置主體的狀態(tài)中交付給用戶的記錄程序的ROM 702和利用設(shè)在存儲(chǔ)單元708中的硬盤(pán)構(gòu)成的介質(zhì)。這里，除了按所述順序順次執(zhí)行的處理以外，本申請(qǐng)中的上述一系列處理還包括并行或分開(kāi)執(zhí)行而不一定順次執(zhí)行的處理。另外，不限于上述實(shí)施例，在不脫離本發(fā)明的范圍的情況下可對(duì)本發(fā)明的實(shí)施例進(jìn)行各種修改。標(biāo)號(hào)列表10內(nèi)容處理裝置21內(nèi)容輸入單元22元數(shù)據(jù)提取單元23圖像特征量提取單元24元數(shù)據(jù)數(shù)據(jù)庫(kù)25圖像特征量數(shù)據(jù)庫(kù)26檢索圖像輸入單元27檢索單元28輸出單元
權(quán)利要求
1.ー種內(nèi)容檢索裝置，包括 檢索圖像輸入裝置，該檢索圖像輸入裝置接收作為靜止圖像的多個(gè)檢索圖像的輸入； 圖像特征量提取裝置，該圖像特征量提取裝置利用預(yù)定方法提取所述多個(gè)檢索圖像中的每ー個(gè)的圖像特征量； 相似度計(jì)算裝置，該相似度計(jì)算裝置針對(duì)運(yùn)動(dòng)圖像的內(nèi)容來(lái)計(jì)算預(yù)先從構(gòu)成該內(nèi)容的幀的靜止圖像中提取的圖像特征量與每個(gè)所述檢索圖像的圖像特征量之間的相似度； 確定裝置，該確定裝置通過(guò)將計(jì)算出的相似度與預(yù)定閾值相比較來(lái)確定與每個(gè)所述檢索圖像相似的所述靜止圖像的幀；以及 時(shí)間線顯示裝置，該時(shí)間線顯示裝置基于所確定的幀和預(yù)先從所述內(nèi)容中提取的元數(shù)據(jù)，來(lái)生成顯示數(shù)據(jù)，該顯示數(shù)據(jù)用于通過(guò)將所述內(nèi)容連同指示與每個(gè)所述檢索圖像相似的靜止圖像的幀的時(shí)間位置的信息顯示在時(shí)間軸上來(lái)執(zhí)行時(shí)間線顯示。
2.根據(jù)權(quán)利要求I所述的內(nèi)容檢索裝置， 其中，所述時(shí)間線顯示裝置生成用于顯示如下畫(huà)面的顯示數(shù)據(jù)，所述畫(huà)面具有顯示所述多個(gè)檢索圖像的列表的檢索圖像顯示單元和在時(shí)間線上顯示所述內(nèi)容的時(shí)間線顯示單元， 所述多個(gè)檢索圖像在分別被相互不同顔色的顯示框圍繞的同時(shí)被顯示在所述檢索圖像顯示單元中，并且 指示與每個(gè)所述檢索圖像相似的靜止圖像的幀的時(shí)間位置的信息作為具有與所述顯示框的顏色相同的顔色的顔色條被顯示在所述時(shí)間線顯示単元中。
3.根據(jù)權(quán)利要求2所述的內(nèi)容檢索裝置， 其中，所述時(shí)間線顯示裝置利用所述時(shí)間線顯示來(lái)在單個(gè)畫(huà)面上的所述時(shí)間線顯示單元中顯示多個(gè)內(nèi)容中的每ー個(gè)，并且 對(duì)于所述多個(gè)內(nèi)容中的每ー個(gè)指示與每個(gè)所述檢索圖像相似的靜止圖像的幀的時(shí)間位置的信息被顯示為具有與所述顯示框的顏色相同的顔色的顔色條。
4.根據(jù)權(quán)利要求3所述的內(nèi)容檢索裝置， 其中，所述時(shí)間線顯示裝置生成用于顯示如下畫(huà)面的顯示數(shù)據(jù)，該畫(huà)面還具有在利用所述時(shí)間線顯示來(lái)顯示的內(nèi)容的再現(xiàn)被指令的情況下顯示通過(guò)再現(xiàn)所述內(nèi)容而獲得的運(yùn)動(dòng)圖像的運(yùn)動(dòng)圖像顯示單元。
5.根據(jù)權(quán)利要求I所述的內(nèi)容檢索裝置， 其中，所述時(shí)間線顯示裝置基于所述元數(shù)據(jù)中包括的所述內(nèi)容的場(chǎng)景變化點(diǎn)的信息來(lái)確定構(gòu)成所述內(nèi)容的場(chǎng)景，并且以畫(huà)面的水平或垂直方向?yàn)闀r(shí)間軸、以指示各個(gè)場(chǎng)景的圖形在與場(chǎng)景的時(shí)間長(zhǎng)度相關(guān)聯(lián)的同時(shí)被顯示的方式來(lái)將所述內(nèi)容顯示在時(shí)間線上。
6.根據(jù)權(quán)利要求5所述的內(nèi)容檢索裝置， 其中，所述時(shí)間線顯示裝置在指示場(chǎng)景的圖形被分別以利用預(yù)定方法確定的場(chǎng)景的代表色來(lái)顯示的同時(shí)，來(lái)將所述內(nèi)容顯示在時(shí)間線上。
7.ー種內(nèi)容檢索方法，包括以下步驟 利用檢索圖像輸入裝置接收作為靜止圖像的多個(gè)檢索圖像的輸入； 利用圖像特征量提取裝置利用預(yù)定方法提取所述多個(gè)檢索圖像中的每ー個(gè)的圖像特征量;利用相似度計(jì)算裝置針對(duì)運(yùn)動(dòng)圖像的內(nèi)容來(lái)計(jì)算預(yù)先從構(gòu)成該內(nèi)容的幀的靜止圖像中提取的圖像特征量與每個(gè)所述檢索圖像的圖像特征量之間的相似度； 利用確定裝置通過(guò)將計(jì)算出的相似度與預(yù)定閾值相比較來(lái)確定與每個(gè)所述檢索圖像相似的所述靜止圖像的幀；以及 利用時(shí)間線顯示裝置基于所確定的幀和預(yù)先從所述內(nèi)容中提取的元數(shù)據(jù)來(lái)生成顯示數(shù)據(jù)，該顯示數(shù)據(jù)用于通過(guò)將所述內(nèi)容連同指示 與每個(gè)所述檢索圖像相似的靜止圖像的幀的時(shí)間位置的信息顯示在時(shí)間軸上來(lái)執(zhí)行時(shí)間線顯示。
8.ー種程序，用于使得計(jì)算機(jī)具有作為內(nèi)容檢索裝置的功能，該裝置包括 檢索圖像輸入裝置，該檢索圖像輸入裝置接收作為靜止圖像的多個(gè)檢索圖像的輸入；圖像特征量提取裝置，該圖像特征量提取裝置利用預(yù)定方法提取所述多個(gè)檢索圖像中的每ー個(gè)的圖像特征量； 相似度計(jì)算裝置，該相似度計(jì)算裝置針對(duì)運(yùn)動(dòng)圖像的內(nèi)容來(lái)計(jì)算預(yù)先從構(gòu)成該內(nèi)容的幀的靜止圖像中提取的圖像特征量與每個(gè)所述檢索圖像的圖像特征量之間的相似度； 確定裝置，該確定裝置通過(guò)將計(jì)算出的相似度與預(yù)定閾值相比較來(lái)確定與每個(gè)所述檢索圖像相似的所述靜止圖像的幀；以及 時(shí)間線顯示裝置，該時(shí)間線顯示裝置基于所確定的幀和預(yù)先從所述內(nèi)容中提取的元數(shù)據(jù)，來(lái)生成顯示數(shù)據(jù)，該顯示數(shù)據(jù)用于通過(guò)將所述內(nèi)容連同指示與每個(gè)所述檢索圖像相似的靜止圖像的幀的時(shí)間位置的信息顯示在時(shí)間軸上來(lái)執(zhí)行時(shí)間線顯示。
全文摘要
所公開(kāi)的內(nèi)容檢索裝置、方法和程序顯示對(duì)于多個(gè)圖像的檢索結(jié)果并且使得更容易掌握視頻的內(nèi)容。元數(shù)據(jù)提取單元(22)從經(jīng)由內(nèi)容輸入單元(21)提供來(lái)的內(nèi)容中提取代表圖像信息和其他元數(shù)據(jù)，并將所述元數(shù)據(jù)累積在元數(shù)據(jù)數(shù)據(jù)庫(kù)(24)中。圖像特征量提取單元(23)從內(nèi)容中提取圖像特征量并將所述圖像特征量累積在圖像特征量數(shù)據(jù)庫(kù)(25)中。圖像特征量提取單元還從檢索圖像中提取圖像特征量。檢索單元(27)將檢索圖像的圖像特征量與存儲(chǔ)在圖像特征量數(shù)據(jù)庫(kù)(25)中的圖像特征量相比較并且識(shí)別與檢索圖像相似的靜止圖像。輸出單元(28)讀取內(nèi)容元數(shù)據(jù)，生成時(shí)間線顯示所必要的顯示數(shù)據(jù)，并且還生成用于在時(shí)間線上顯示檢索結(jié)果的顯示數(shù)據(jù)。
文檔編號(hào)G11B27/34GK102822827SQ201180017318
公開(kāi)日2012年12月12日 申請(qǐng)日期2011年3月30日 優(yōu)先權(quán)日2010年4月9日
發(fā)明者田中和政, 田中健司, 高橋義博 申請(qǐng)人:索尼公司