專利名稱：移動(dòng)圖像處理裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于產(chǎn)生元鏡頭的移動(dòng)圖像處理裝置、移動(dòng)圖像處理方法，以及移動(dòng)圖像處理程序，所述元鏡頭包括作為在移動(dòng)圖像內(nèi)容進(jìn)行切換的改變點(diǎn)被分割的移動(dòng)圖像的多個(gè)部分移動(dòng)圖像。
背景技術(shù)：
隨著高性能個(gè)人計(jì)算機(jī)(PC)和硬盤記錄器的廣泛使用，視頻和移動(dòng)圖像的數(shù)字化和存儲(chǔ)技術(shù)也已經(jīng)有了很大的發(fā)展。這種技術(shù)以軟件和硬件的形式實(shí)現(xiàn)，不僅已經(jīng)實(shí)現(xiàn)了商業(yè)使用，還可實(shí)現(xiàn)了家用。
特別地，例如，個(gè)人計(jì)算機(jī)或記錄器的硬盤(HDD)是以電磁的方式記錄視頻的。因此，有這樣的優(yōu)點(diǎn)使目標(biāo)節(jié)目的再現(xiàn)以更少的等待時(shí)間啟動(dòng)，方便地限制性地刪除不想要的節(jié)目等等，這是在傳統(tǒng)的錄像帶上不能獲得的。這種改進(jìn)可以方便地使記錄這類操作更為簡(jiǎn)單。
另一方面，當(dāng)記錄大量視頻時(shí)，就產(chǎn)生了很難檢索到希望得到的場(chǎng)景這種問題。這種問題可以由所謂的“跳過(skipping over)”程序使用快進(jìn)功能以便減少檢索時(shí)間的方式來(lái)解決。
然而，由于這樣的“跳過”是跳過例如每幾秒一幀的與節(jié)目?jī)?nèi)容的結(jié)構(gòu)無(wú)關(guān)的物理單元的顯示幀，那么，就會(huì)產(chǎn)生感興趣的場(chǎng)景被錯(cuò)過的新問題。
為了解決這樣的問題，使用圖像處理技術(shù)的技術(shù)研究和產(chǎn)品已經(jīng)有了很大的發(fā)展，所述技術(shù)研究和產(chǎn)品發(fā)展是為能跳過每一個(gè)部分移動(dòng)圖像(以下被稱為“鏡頭”)，而將移動(dòng)圖像在其圖像內(nèi)容進(jìn)行切換的圖像改變點(diǎn)(以下被稱為“剪切點(diǎn)(cut point)”)處分割成部分移動(dòng)圖像。
如上所述產(chǎn)生的許多鏡頭的再現(xiàn)時(shí)間長(zhǎng)度可以只有幾秒鐘短。在一個(gè)鏡頭非常短的情況下，不會(huì)產(chǎn)生減少檢索時(shí)間的效果。
為了解決這一問題，已經(jīng)提出一些技術(shù)建議，并作出一些產(chǎn)品開發(fā)(例如，參見日本專利申請(qǐng)公報(bào)No.Hei-3-177175、Hei-3-184483、Hei-8-317342)，所述技術(shù)提供能自動(dòng)地在節(jié)目中區(qū)分廣告和其他非廣告的內(nèi)容(以下被稱為“節(jié)目主體部分”)的屬性，或者自動(dòng)地定義邊界以便于用戶區(qū)分。
這些技術(shù)和產(chǎn)品如下當(dāng)記錄廣播節(jié)目時(shí)，利用立體聲廣播，多路聲音廣播，單聲道廣播等等之間的聲音模式切換，自動(dòng)地將立體聲部分區(qū)分作廣告；利用出現(xiàn)在廣告起始和結(jié)束部分的固定時(shí)間長(zhǎng)度的無(wú)聲部分，使用無(wú)聲部分并提示為廣告之間或者廣告和節(jié)目主體部分之間的邊界；或者利用15秒的倍數(shù)等的廣告的時(shí)間長(zhǎng)度，使用N秒的倍數(shù)的剪切點(diǎn)的結(jié)合并提示為廣告之間或者廣告和節(jié)目主體部分這間的邊界。因此，更易于用戶有選擇地觀看節(jié)目主體部分或廣告。
根據(jù)上文所述文獻(xiàn)中的方法，還存在下述問題當(dāng)節(jié)目主體部分和廣告使用同一聲音模式(如立體聲模式)廣播時(shí)，找不到邊界；當(dāng)無(wú)聲部分存在于節(jié)目主體部分時(shí)，定義了不想要的邊界；當(dāng)在節(jié)目主體部分的15秒的倍數(shù)的間隔存在剪切時(shí)，這一區(qū)間會(huì)被錯(cuò)誤地定義為廣告。
本發(fā)明是在考慮到上述問題基礎(chǔ)上實(shí)現(xiàn)的，本發(fā)明的目的是提供一種移動(dòng)圖像的處理裝置和方法，能夠以更高的準(zhǔn)確度自動(dòng)地區(qū)分節(jié)目主體部分和廣告。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個(gè)實(shí)施例，在移動(dòng)圖像處理裝置中，為了用于將作為在圖像改變點(diǎn)被分割的單個(gè)部分移動(dòng)圖像組或多個(gè)部分移動(dòng)圖像的集合的元鏡頭分類為具有同樣屬性的元鏡頭，該圖像改變點(diǎn)是指移動(dòng)圖像的內(nèi)容進(jìn)行切換的點(diǎn)，所述移動(dòng)圖像處理裝置包括相似度測(cè)量處理單元，所述相似度測(cè)量處理單元用于測(cè)量在移動(dòng)圖像的內(nèi)容進(jìn)行切換的圖像改變點(diǎn)處被分割的多個(gè)部分移動(dòng)圖像之間的相似度；相似鏡頭指定處理單元，所述相似鏡頭指定處理單元用于基于所述測(cè)量的相似度，指定彼此相似的部分移動(dòng)圖像；分組處理單元，所述分組處理單元用于分配相同的組屬性給所述指定的相似部分移動(dòng)圖像；元鏡頭邊界候選時(shí)間輸入處理單元，所述元鏡頭邊界候選時(shí)間輸入處理單元用于從外部接收可以作為所述元鏡頭的邊界候選的移動(dòng)圖像內(nèi)的時(shí)間，并且根據(jù)所述接收的元鏡頭邊界候選時(shí)間，將所述移動(dòng)圖像分割成為作為多個(gè)區(qū)間的臨時(shí)元鏡頭；以及臨時(shí)元鏡頭屬性分配處理單元，所述臨時(shí)元鏡頭屬性分配處理單元用于將相同的屬性分配所述已被分割的包含已被分配相同的組屬性的部分移動(dòng)圖像的臨時(shí)元鏡頭。
因?yàn)?，根?jù)本發(fā)明的移動(dòng)圖像處理裝置給節(jié)目主體部分區(qū)間和廣告(臨時(shí)元鏡頭)區(qū)間分配屬性，所述節(jié)目主體部分區(qū)間和廣告區(qū)間是通過如上所述的專利文獻(xiàn)等所述的方法在時(shí)間上定義的，所述屬性通過使用相似鏡頭出現(xiàn)的趨勢(shì)來(lái)表示區(qū)間是屬于節(jié)目主體部分還是屬于廣告，所以可以以比傳統(tǒng)的方法更高的準(zhǔn)確度區(qū)分節(jié)目主體部分區(qū)間和廣告。


圖1是示出了根據(jù)實(shí)施例1的移動(dòng)圖像處理裝置的功能配置的框圖。
圖2是用于說(shuō)明根據(jù)實(shí)施例1的移動(dòng)圖像處理裝置的操作的示意圖。
圖3是用于說(shuō)明根據(jù)實(shí)施例1的移動(dòng)圖像處理裝置的操作的示意圖。
圖4是示出了根據(jù)實(shí)施例1的移動(dòng)圖像處理裝置中的移動(dòng)圖像處理的流程圖。
圖5示出了根據(jù)實(shí)施例1的移動(dòng)圖像處理裝置的硬件配置。
圖6是示出了根據(jù)實(shí)施例2的移動(dòng)圖像處理裝置的功能配置框圖。
圖7是用于說(shuō)明根據(jù)實(shí)施例2的移動(dòng)圖像處理裝置的操作的示意圖。
圖8是用于說(shuō)明根據(jù)實(shí)施例2的移動(dòng)圖像處理裝置的操作的示意圖。
圖9是示出了根據(jù)實(shí)施例2的移動(dòng)圖像處理裝置中的移動(dòng)圖像處理的流程圖。
圖10是用于說(shuō)明根據(jù)實(shí)施例3的移動(dòng)圖像處理裝置的操作的示意圖。
具體實(shí)施例方式
下面將參照附圖詳細(xì)說(shuō)明本發(fā)明的移動(dòng)圖像處理裝置和移動(dòng)圖像處理方法以及移動(dòng)圖像處理程序的實(shí)施例。
在本發(fā)明的實(shí)施例中，單詞“元鏡頭”作為一概括術(shù)語(yǔ)，用于表示一組時(shí)間上連續(xù)的多個(gè)鏡頭(或單個(gè)鏡頭)。此外，“臨時(shí)元鏡頭(temporary meta shot)”用于表示被外部輸入的元鏡頭邊界候選(時(shí)間信息)所分割的移動(dòng)圖像的多個(gè)區(qū)間。
另外，在本發(fā)明的實(shí)施例中，術(shù)語(yǔ)“廣告”的含義不僅包括商業(yè)廣播公司播出的所謂的“廣告”，而且還包括與節(jié)目主體部分直接聯(lián)系少于一分鐘的元鏡頭，諸如公共廣播公司、付費(fèi)電視廣播公司等播出的節(jié)目預(yù)覽或活動(dòng)通知等。
還有，例如，在下述本發(fā)明的實(shí)施例中，將描述在分配“非廣告(即節(jié)目主體部分)”或“廣告(即非節(jié)目主體部分)”作為元鏡頭屬性的情況下的處理。
圖1是示出按照本發(fā)明實(shí)施例1的移動(dòng)圖像處理裝置10的功能配置框圖。
移動(dòng)圖像處理裝置10包括移動(dòng)圖像獲取單元101，剪切檢測(cè)單元102，鏡頭區(qū)間定義單元103，相似鏡頭檢測(cè)單元104，臨時(shí)元鏡頭屬性分配單元105，元鏡頭生成單元107，元鏡頭信息輸出單元108，以及元鏡頭邊界候選時(shí)間輸入單元109。
(1)動(dòng)圖像獲取單元101例如，移動(dòng)圖像獲取單元101經(jīng)由與涉及的移動(dòng)圖像處理裝置10連接的廣播節(jié)目接收器(調(diào)諧器)，從外部獲取移動(dòng)圖像。
移動(dòng)圖像獲取單元101可以獲取未經(jīng)壓縮的移動(dòng)圖像。而且，還可以獲取已經(jīng)轉(zhuǎn)化為DV(數(shù)字視頻)格式的數(shù)字?jǐn)?shù)據(jù)，或已經(jīng)轉(zhuǎn)化為作為移動(dòng)圖像壓縮標(biāo)準(zhǔn)格式的MPEG-1，2，4壓縮標(biāo)準(zhǔn)的數(shù)字?jǐn)?shù)據(jù)。
移動(dòng)圖像獲取單元101將獲取的圖像改變?yōu)檫m合剪切檢測(cè)單元102處理的格式，并將轉(zhuǎn)化后的移動(dòng)圖像傳送給剪切檢測(cè)單元102。例如，此處，該轉(zhuǎn)化為合適的格式的處理是將已經(jīng)壓縮(編碼)的移動(dòng)圖像解壓縮(解碼)的處理。而且，該轉(zhuǎn)化可以是將移動(dòng)圖像的尺寸轉(zhuǎn)化為剪切檢測(cè)單元102處理所必須的和足夠的圖像尺寸的處理。
(2)剪切檢測(cè)單元102剪切檢測(cè)單元102計(jì)算輸入的一圖像幀與其前一幀圖像的相似度，所述圖像幀為一幀接一幀地輸入，并檢測(cè)圖像內(nèi)容進(jìn)行切換的圖像改變點(diǎn)，即，剪切點(diǎn)。此外，當(dāng)獲取如在MPEG-2中那樣使用預(yù)測(cè)編碼進(jìn)行圖像壓縮時(shí)，可以通過使用預(yù)測(cè)編碼量的變化來(lái)檢測(cè)剪切點(diǎn)。
順便說(shuō)明，剪切檢測(cè)單元102檢測(cè)剪切點(diǎn)的方法不限于實(shí)施例所述，該方法可以通過各種現(xiàn)有已知技術(shù)實(shí)現(xiàn)。該種技術(shù)在本申請(qǐng)的申請(qǐng)人提交的專利文獻(xiàn)4(日本專利申請(qǐng)公報(bào)No.Hei-9-93588)等中得到描述。
(3)鏡頭區(qū)間定義單元103
鏡頭區(qū)間定義單元103定義一組圖像幀為“鏡頭”，該組圖像幀屬于同一時(shí)間區(qū)間，并被剪切檢測(cè)單元102檢測(cè)出的時(shí)間上位置最近的兩個(gè)剪切點(diǎn)所包圍。例如，當(dāng)一個(gè)剪切點(diǎn)剛好在再現(xiàn)時(shí)間的3′15″20幀之前被檢測(cè)到，下一個(gè)剪切點(diǎn)剛好在3′21″12幀之前被檢測(cè)到，則將3′15″20幀到3′21″11幀之間的幀定義為一個(gè)鏡頭。此處，當(dāng)視頻再現(xiàn)時(shí)，再現(xiàn)時(shí)間是指視頻啟動(dòng)之后到預(yù)定幀被再現(xiàn)之前所需的時(shí)間。
(4)相似鏡頭鏡頭檢測(cè)單元104相似鏡頭檢測(cè)單元104利用鏡頭區(qū)間定義單元103定義的鏡頭作為一個(gè)單元來(lái)檢測(cè)相似鏡頭。具體地，其從各個(gè)鏡頭中選擇包含在一個(gè)鏡頭中的一個(gè)或兩個(gè)或更多幀作為目標(biāo)。然后，其通過比較這些幀來(lái)測(cè)量相似度。
關(guān)于鏡頭之間相似性比較，可以使用本申請(qǐng)的申請(qǐng)人提交的專利文獻(xiàn)5(日本專利申請(qǐng)公報(bào)No.Hei-9-270006)所述的方法，等等。依據(jù)該方法，作為目標(biāo)的兩幀中的特征量被分別計(jì)算。然后，計(jì)算這兩特征量之間的距離。例如，在使用角度直方圖的特征量被使用的情況下，計(jì)算在36維空間的兩特征量點(diǎn)之間的距離。該距離是與相似度相關(guān)的一個(gè)數(shù)值，該距離值越小，相似度越高。
鏡頭之間相似性比較的方法不僅可以通過如上所述的專利文獻(xiàn)5中所述的方法實(shí)現(xiàn)，還可以通過從作為比較目標(biāo)的兩幀中分別提取面部區(qū)域，然后比較提取的面部區(qū)域的圖像之間的相似性來(lái)實(shí)現(xiàn)。
此外，該方法還可以通過下述方法實(shí)現(xiàn)通過如上所述的方式從作為比較目標(biāo)的兩幀中提取面部區(qū)域，再?gòu)奶崛〉拿娌繀^(qū)域圖像中識(shí)別人，然后以這兩幀中識(shí)別的人是否相同為依據(jù)來(lái)確定相似性。
依據(jù)這些方法，對(duì)于因?yàn)榕臄z角度和攝像位置的不同，依據(jù)上述方法不能被確定為相似的鏡頭的可以依據(jù)“鏡頭中出現(xiàn)同一人”被確定為相似的鏡頭。
順便說(shuō)明，上文已經(jīng)描述了鏡頭之間相似性比較方法的例子，本發(fā)明的移動(dòng)圖像處理裝置10可以使用的相似性比較方法并不局限于上文所述的例子。
在測(cè)量得出的相似度等于或大于預(yù)定值的情況下，被檢測(cè)的兩個(gè)鏡頭被認(rèn)為是彼此相似的鏡頭。因此，基于鏡頭之間的相似度就可確定相似的鏡頭。
相似圖像鏡頭檢測(cè)單元104測(cè)量包含在一個(gè)移動(dòng)圖像內(nèi)的一個(gè)鏡頭與包含在該移動(dòng)圖像內(nèi)的所有其他的鏡頭之間的相似度，然而，作為另一個(gè)例子，也可以測(cè)量一個(gè)鏡頭與同該鏡頭時(shí)間上接近的限定的預(yù)定數(shù)量的鏡頭之間的相似度。
(5)元鏡頭邊界候選時(shí)間輸入單元109一方面，元鏡頭邊界候選時(shí)間輸入單元109從外部輸入感興趣的移動(dòng)圖像的元鏡頭之間的邊界(例如，廣告的一組連續(xù)的鏡頭與非廣告的一組連續(xù)的鏡頭之間的邊界)的時(shí)間信息。
例如，外部提供的時(shí)間信息假定通過下述方法生成。第一到第三生成例子在技術(shù)上已經(jīng)在說(shuō)明書的“技術(shù)領(lǐng)域”中描述的專利文獻(xiàn)中以及已經(jīng)公布產(chǎn)品中提出或?qū)崿F(xiàn)。
(5-1)第一生成時(shí)間信息的例子第一生成例子所生成的時(shí)間是指疊加在廣播電波(air wave)上的聲音信號(hào)模式(立體聲廣播，多路聲音廣播＝雙語(yǔ)廣播，單聲道廣播等等)被切換的時(shí)間。這已經(jīng)被實(shí)現(xiàn)為模擬磁帶錄像機(jī)的廣告檢測(cè)功能。
(5-2)第二生成時(shí)間信息的例子第二生成例子所產(chǎn)生的時(shí)間是無(wú)聲片斷的諸如起始時(shí)間、終止時(shí)間或者中間時(shí)間之類的任意時(shí)間。所述“無(wú)聲片斷”是指當(dāng)觀測(cè)到包含在一移動(dòng)圖像內(nèi)的音頻信號(hào)在固定時(shí)間段(如0.5秒等)內(nèi)的聲級(jí)(波形數(shù)據(jù)的平方)等于或小于固定值的情況。這也已經(jīng)被實(shí)現(xiàn)為模擬磁帶錄像機(jī)的無(wú)聲部分自動(dòng)分割功能。
(5-3)第三生成時(shí)間信息的例子第三生成例子是一種這樣的方法，作為通過如上所述的利用廣告通常有特定時(shí)間長(zhǎng)度如15秒，30秒，或者60秒的事實(shí)的方法的剪切檢測(cè)的結(jié)果，搜索其中剪切點(diǎn)是15秒倍的的組合，并且，當(dāng)發(fā)現(xiàn)這樣的組合時(shí)，則定義其為廣告和節(jié)目主體部分的邊界，并且定義被這種組合包圍的時(shí)間上更短的時(shí)間片斷為作為廣告的元鏡頭。
(5-4)第四生成時(shí)間信息的例子作為第四生成例子，在數(shù)字廣播使用MPEG-2壓縮標(biāo)準(zhǔn)的情況下 可以假定廣告和節(jié)目的主體部分之間的傳輸系統(tǒng)是不同的。
例如，在播放電影等的節(jié)目的情況下，在每秒24幀的膠片上形成原始的電影，然而，作為一個(gè)用于電視廣播的系統(tǒng)，可以使用“3-2下拉(pull down)”方法對(duì)其進(jìn)行編碼，使其轉(zhuǎn)化為30幀(60場(chǎng))。通過觀測(cè)MPEG-2視頻數(shù)據(jù)流中“3-2下拉”存在或不存在，來(lái)定義未經(jīng)過“3-2下拉”編碼的廣告部分與節(jié)目主體部分(電影)之間的邊界。
(5-5)第五生成時(shí)間信息的例子在第五生成例子中，可以在節(jié)目的中間或在節(jié)目的主體部分與廣告之間以某種標(biāo)準(zhǔn)進(jìn)行分辨率等的切換。也就是說(shuō)，有可能廣告部分以高清晰度廣播，而節(jié)目主體部分以標(biāo)準(zhǔn)的電視分辨率廣播，或者相反。因此，分辨率等的改變點(diǎn)可以用作元鏡頭邊界候選。
(5-6)第六生成時(shí)間信息的例子在第六生成例子中，移動(dòng)圖像處理裝置10的使用者、廣播者、或者不同于這些人的第三方，可以手動(dòng)輸入廣告與節(jié)目主體部分之間的邊界。在此情況下，例如，操作者在注視電視屏幕的同時(shí)，當(dāng)其感覺到廣告部分與節(jié)目主體部分之間的邊界時(shí)，可以按下按鈕，并且在移動(dòng)圖像處理裝置10中輸入這一時(shí)間作為元鏡頭邊界候選時(shí)間。
(5-7)臨時(shí)元鏡頭例子圖2示出了輸入到移動(dòng)圖像獲取單元101的移動(dòng)圖像基于上述元鏡頭邊界候選時(shí)間被分割為臨時(shí)元鏡頭的例子。圖2是用于解釋依據(jù)本發(fā)明實(shí)施例1中移動(dòng)圖像處理裝置10操作的概念性框圖。
臨時(shí)元鏡頭201至213表示從上述元鏡頭邊界候選時(shí)間輸入單元109輸入的臨時(shí)元鏡頭的定義。在圖2中，時(shí)間從左至右移動(dòng)，并且左向是節(jié)目起始方向，右向是節(jié)目結(jié)束的方向。在圖2例子中，假定通過無(wú)聲檢測(cè)來(lái)定義臨時(shí)元鏡頭。
臨時(shí)元鏡頭203至206以及209至212均是30秒的廣告，但是在這一階段，然而，移動(dòng)圖像處理裝置10還不能確定臨時(shí)元鏡頭是否為廣告。將通過下述方法來(lái)確定臨時(shí)元鏡頭是否為廣告。
在圖2中，251至257表示在臨時(shí)元鏡頭中的一些鏡頭，并且，鏡頭251和鏡頭254，鏡頭252和鏡頭253，鏡頭255和鏡頭256在相似鏡頭檢測(cè)單元104中被確定為相似鏡頭，并且分別分配給它們相同的組屬性。也就是說(shuō)，將鏡頭模式“A”分配給鏡頭251和鏡頭254，將鏡頭模式“B”分配給鏡頭252和鏡頭253，將鏡頭模式“C”分配給鏡頭256和鏡頭257。
(6)臨時(shí)元鏡頭屬性分配單元105臨時(shí)元鏡頭屬性分配單元105使用相似鏡頭的組屬性將屬性分配給臨時(shí)元鏡頭。
也就是說(shuō)，首先，將一個(gè)元鏡頭模式“a”的屬性分配給臨時(shí)元鏡頭201和207，所述臨時(shí)元鏡頭201和207包含屬于鏡頭模式“A”的鏡頭。
其次，嘗試將同一屬性分配給臨時(shí)元鏡頭202和207，所述臨時(shí)元鏡頭202和207包含有屬于鏡頭模式“B”的鏡頭，但因?yàn)椋R頭模式“a”已經(jīng)分配給元鏡頭207，因此，“a”的屬性也分配給元鏡頭202。
接著，嘗試將同一屬性分配給臨時(shí)元鏡頭207、208和213，所述臨時(shí)元鏡頭207、208和213包含有屬于鏡頭模式“C”的鏡頭，但因?yàn)?，元鏡頭模式“a”已經(jīng)分配給臨時(shí)元鏡頭207，因此，“a”的屬性也分配給元鏡頭208和213。
這樣，在圖2例子中，同一元鏡頭模式“a”分配給臨時(shí)元鏡頭201、202、207、208和213。
(7)元鏡頭生成單元107元鏡頭生成單元107通過將具有元鏡頭屬性分配單元105按如上所述的方式所分配的同樣屬性且在時(shí)間上連續(xù)的臨時(shí)元鏡頭耦合來(lái)定義元鏡頭。也就是說(shuō)，元鏡頭201和202，207和208作為在其中同一元鏡頭模式“a”連續(xù)的區(qū)間被耦合。
另一方面，鑒于沒有屬性分配給元鏡頭203至206，209至212，因此，他們分別不能作為個(gè)別元鏡頭被耦合，也不能被耦合到一起。此處，假定他們利用作為一個(gè)屬性的“無(wú)屬性”相耦合，那么，最后元鏡頭如下201和202(屬性a)，203至206(無(wú)屬性)，207和208(屬性a)，209至212(無(wú)屬性)，213(屬性a)。
(8)元鏡頭信息輸出單元108元鏡頭信息輸出單元108輸出關(guān)于這樣被定義的元鏡頭的信息。
盡管，只能通過無(wú)聲檢測(cè)，通過確定被作為節(jié)目主體部分和作為廣告的其他部分的屬性所定義的元鏡頭，來(lái)分割節(jié)目的主體部分，但是，不僅被分割的節(jié)目的主體部分可以重新集成，而且還可實(shí)現(xiàn)用于區(qū)分廣告與節(jié)目的主體部分的屬性分配。
(9)屬性分配的修改例如上已經(jīng)描述了一個(gè)例子，所述例子中同一屬性分配給所有節(jié)目主體部分，然而，其實(shí)質(zhì)上，并不需要所有節(jié)目主體部分具有同一屬性。
例如，在圖3所示的例子中，盡管，元鏡頭模式“a”分配給臨時(shí)元鏡頭301，302和307，元鏡頭模式“b”分配給臨時(shí)元鏡頭308和313，然而，正如在前一段以及其前文所述，通過集成依據(jù)某屬性而定義的元鏡頭，元鏡頭集成與用于區(qū)分廣告節(jié)目的主體部分的屬性分配可以依據(jù)如上所述的方式實(shí)施。
自然地，這樣，元鏡頭能在不需要耦合元鏡頭模式“a”“b”的情況下被定義。
(10)關(guān)于移動(dòng)圖像處理的細(xì)節(jié)圖4是示出移動(dòng)圖像處理裝置10中移動(dòng)圖像處理的流程圖。
移動(dòng)圖像處理主要包括如下三個(gè)處理鏡頭區(qū)間定義處理、分組處理和元鏡頭生成處理。
(10-1)鏡頭區(qū)間定義處理首先，進(jìn)行鏡頭區(qū)間定義處理。
也就是說(shuō)，剪切檢測(cè)單元102一幀接一幀地獲取圖像幀并將其輸入(步驟402)。
然后，剪切檢測(cè)單元102計(jì)算在步驟402所獲得的圖像幀與剛好在其前獲得的圖像幀之間的相似度，并且根據(jù)相似度檢測(cè)剪切點(diǎn)。
在獲取的圖像幀是剪切點(diǎn)的情況下，(步驟403，是)，鏡頭區(qū)間定義單元103將從感興趣的剪切點(diǎn)到剛好在其前的剪切點(diǎn)的區(qū)間定義為鏡頭區(qū)間(步驟S404)。
重復(fù)步驟402到步驟404的處理。關(guān)于全部的視頻(節(jié)目)的鏡頭區(qū)間定義被完成(步驟401，是)，則鏡頭區(qū)間定義處理完成，并將進(jìn)程轉(zhuǎn)至分組處理。
(10-2)分組處理相似鏡頭檢測(cè)單元104選擇預(yù)定鏡頭作為參考鏡頭，并確定感興趣的鏡頭和要比較的目標(biāo)鏡頭之間的相似度(步驟407)。
然后，當(dāng)目標(biāo)鏡頭被判定為與參考鏡頭相似時(shí)(步驟408，是)，相似鏡頭檢測(cè)單元104將分配標(biāo)簽給感興趣的目標(biāo)鏡頭和參考鏡頭以標(biāo)識(shí)為同一組。也就是說(shuō)，目標(biāo)鏡頭和參考鏡頭被歸為同一組(步驟409)。
基于一個(gè)參考鏡頭，對(duì)于所有目標(biāo)鏡頭重復(fù)如上所述的步驟407和步驟408。對(duì)于所有目標(biāo)鏡頭的處理都已經(jīng)完成(步驟406，是)，則替換參考鏡頭并再重復(fù)407和408的步驟。
然后，當(dāng)對(duì)于全部視頻，參考鏡頭和目標(biāo)鏡頭之間的相似度確定過程都已完成時(shí)(步驟405，是)，則分組處理完成，并將進(jìn)程轉(zhuǎn)至下一個(gè)元鏡頭生成處理。
(10-3)元鏡頭生成處理元鏡頭邊界候選時(shí)間輸入單元109從外部輸入時(shí)間信息作為元鏡頭的邊界候選(步驟413)。“臨時(shí)元鏡頭”是根據(jù)通過在此處輸入的時(shí)間邊界，分割輸入至移動(dòng)圖像獲取單元101的移動(dòng)圖像而形成的。
然后，基于相似鏡頭檢測(cè)單元104分配的標(biāo)簽(屬性)臨時(shí)元鏡頭屬性分配單元105分配同一屬性標(biāo)簽給多個(gè)臨時(shí)元鏡頭，在所述多個(gè)臨時(shí)元鏡頭中存在具有同一標(biāo)簽的相似鏡頭(步驟414)。
接著，元鏡頭生成單元107使用如上所述分配臨時(shí)元鏡頭的標(biāo)簽，依據(jù)是否臨時(shí)元鏡頭是連續(xù)的以及是否有相同的屬性標(biāo)簽(或者它們是否有屬性標(biāo)簽)(步驟411)來(lái)耦合臨時(shí)元鏡頭，從而形成元鏡頭(步驟412)。
重復(fù)上述步驟411和步驟412。當(dāng)對(duì)于整個(gè)視頻元鏡頭的產(chǎn)生完成時(shí)(步驟410，是)，則元鏡頭生成處理完成，并將結(jié)果從元鏡頭信息輸出單元108輸出，則移動(dòng)圖像處理完成。
如上所述，由于按照實(shí)施例1移動(dòng)圖像處理裝置10基于相似鏡頭出現(xiàn)模式耦合臨時(shí)元鏡頭，因而，被過剩地檢測(cè)的臨時(shí)元鏡頭能被有效地耦合。此外，作為元鏡頭屬性，他們是含有相似鏡頭(其為節(jié)目主體部分)還是不含有相似鏡頭(其為廣告)以及其他情況能被自動(dòng)地估計(jì)出。因此，用戶能更方便地檢索預(yù)定場(chǎng)景。
(11)移動(dòng)圖像處理修改例移動(dòng)圖像處理裝置10中移動(dòng)圖像處理由如下三個(gè)處理過程(圖4中被虛線包圍的部分)構(gòu)成(1)鏡頭區(qū)間定義處理；(2)分組處理；(3)元鏡頭生成處理。在本實(shí)施例中，對(duì)于移動(dòng)圖像中所有鏡頭完成(1)鏡頭區(qū)間定義處理后，過程轉(zhuǎn)至(2)分組處理。同樣地，對(duì)于移動(dòng)圖像中所有鏡頭完成(2)分組處理后，轉(zhuǎn)至(3)元鏡頭生成處理?？商娲?，作為另一個(gè)例子，在通過提供暫時(shí)存儲(chǔ)區(qū)(未示出)將視頻輸入移動(dòng)圖像處理裝置10中的同時(shí)，可以并行地執(zhí)行上述三個(gè)處理過程。
例如，每次檢測(cè)出一個(gè)新的剪切點(diǎn)和定義出一個(gè)鏡頭區(qū)間，則可以對(duì)于該鏡頭區(qū)間與過去鏡頭區(qū)間進(jìn)行相似度確定，并且，此時(shí)，基于已獲得的相似鏡頭確定結(jié)果以及從外部輸入的元鏡頭邊界候選時(shí)間信息，可以進(jìn)行元鏡頭生成。如此，通過并行執(zhí)行處理過程，在節(jié)目記錄結(jié)束后極短時(shí)間內(nèi)，即可獲得處理結(jié)果。
(12)移動(dòng)圖像處理裝置10的硬件配置圖5示出了按照本實(shí)施例的移動(dòng)圖像處理裝置10的硬件配置。
移動(dòng)圖像處理裝置10硬件配置包括ROM 52，所述ROM 52中存有用于在移動(dòng)圖像處理裝置10中執(zhí)行移動(dòng)圖像處理的程序或相似的程序；CPU 51，所述CPU 51根據(jù)存儲(chǔ)在ROM 52中的程序來(lái)控制移動(dòng)圖像處理裝置10的各個(gè)單元，以便于執(zhí)行移動(dòng)圖像處理或其他相似的處理；RAM 53，所述RAM 53中有已形成的工作區(qū)并存儲(chǔ)有移動(dòng)圖像處理裝置10控制所需的各種數(shù)據(jù)；通信接口57，所述通信接口57與網(wǎng)絡(luò)連接以實(shí)施通信；數(shù)據(jù)傳輸總線63，所述數(shù)據(jù)傳輸總線63用于連接各個(gè)部件。
用于在移動(dòng)圖像處理裝置10中執(zhí)行移動(dòng)圖像處理的移動(dòng)圖像處理程序，是由以可安裝格式或可執(zhí)行格式文件的形式存儲(chǔ)有該程序的如CD-ROM，移動(dòng)盤(FD)和DVD等計(jì)算機(jī)可讀記錄媒體提供的。
此外，本實(shí)施例的移動(dòng)圖像處理程序還可以被安排成由儲(chǔ)存其的與因特網(wǎng)等網(wǎng)絡(luò)連接的計(jì)算機(jī)提供，并且可經(jīng)由網(wǎng)絡(luò)下載。
這樣，移動(dòng)圖像處理程序從上述記錄媒體上下載到主存儲(chǔ)器，并在移動(dòng)圖像處理裝置10中執(zhí)行，并且在主存儲(chǔ)器上生成已經(jīng)在軟件配置中描述的各個(gè)部分。
下面將根據(jù)本實(shí)施例2描述移動(dòng)圖像處理裝置10。
圖6是示出了按照本實(shí)施例2的移動(dòng)圖像處理裝置10的功能配置框圖。
本實(shí)施例2包括在如上所述的實(shí)施例1基礎(chǔ)上添加的邊界候選時(shí)間校正單元106，其余配置則與實(shí)施例1和圖1相同。因此，下面將省略與實(shí)施例1相同部件的描述，只就對(duì)實(shí)施例1的擴(kuò)展部分進(jìn)行描述。
進(jìn)展到通過臨時(shí)元鏡頭屬性分配單元105分配元鏡頭標(biāo)簽(屬性)這一步驟的過程與實(shí)施例1是相同的，所述臨時(shí)元鏡頭屬性分配單元105使用包含屬于同一相似鏡頭組的鏡頭的元鏡頭。
(1)臨時(shí)元鏡頭的邊界與鏡頭單元之間發(fā)生不匹配的可能性下面將通過圖7和圖8描述通過從元鏡頭邊界候選時(shí)間輸入單元109輸入的時(shí)間而定義的臨時(shí)元鏡頭的邊界和用于相似鏡頭檢測(cè)單元104檢測(cè)相似鏡頭的鏡頭單元不相同的可能性。
圖7是一概念性框圖，用于示出移動(dòng)圖像處理裝置10中邊界候選時(shí)間校正單元106的操作。在圖7中，作為例子，MPEG-2格式的移動(dòng)圖像數(shù)據(jù)作為用幀單元來(lái)表示。垂直方向長(zhǎng)的矩形代表一幀，且時(shí)間從左至右經(jīng)過。
剪切檢測(cè)單元102進(jìn)行的剪切檢測(cè)有時(shí)是通過只使用有較高高度的被稱為“I-圖(I-picture)”的幀來(lái)執(zhí)行的。這是因?yàn)橥ㄟ^在限定的I-圖上執(zhí)行剪切檢測(cè)和相似鏡頭檢測(cè)能減少計(jì)算量。
在剪切檢測(cè)單元102按此對(duì)于每一個(gè)I-圖執(zhí)行剪切檢測(cè)的情況下，鏡頭區(qū)間定義單元103實(shí)施的鏡頭定義以及相似鏡頭檢測(cè)單元104實(shí)施的相似鏡頭檢測(cè)，是自然地以I-圖為間隔。在此情況下，圖7中的702是剪切檢測(cè)單元102定義的剪切點(diǎn)，也就是，702為前后鏡頭的邊界。
另一方面，從元鏡頭邊界候選時(shí)間輸入單元109輸入的時(shí)間可以取任意時(shí)間。圖7中的701就是這樣輸入的元鏡頭邊界候選時(shí)間，然而，其不必然與剪切檢測(cè)單元102所定義的剪切點(diǎn)702相匹配。
例如，當(dāng)無(wú)聲檢測(cè)檢測(cè)到從元鏡頭邊界候選時(shí)間輸入單元109輸入的元鏡頭之間的邊界時(shí)，就會(huì)發(fā)生這樣的不匹配的例子。在無(wú)攝像的場(chǎng)景中人沉默的情況下，因?yàn)闆]有生成視頻剪切點(diǎn)，但生成了無(wú)聲區(qū)間，因此，就會(huì)在臨時(shí)元鏡頭之間出現(xiàn)邊界。
(2)臨時(shí)元鏡頭的重新定義的描述如圖7所示，當(dāng)701和702不匹配時(shí)，邊界候選時(shí)間校正單元106用下述的規(guī)定方法進(jìn)行臨時(shí)元鏡頭的重新定義。
第一方法是這樣一種方法只啟用從元鏡頭邊界候選時(shí)間輸入單元109輸入的臨時(shí)元鏡頭的邊界，并丟棄剪切檢測(cè)單元102檢測(cè)到的剪切點(diǎn)(邊界)。這樣，圖7中701被啟用，而702被丟棄。
第二方法是這樣一種方法在剪切檢測(cè)單元102檢測(cè)到的剪切點(diǎn)中搜索距離從元鏡頭邊界候選時(shí)間輸入單元109輸入的臨時(shí)元鏡頭邊界最近的，并將臨時(shí)元鏡頭邊界改變到檢索結(jié)果的位置。這樣，圖7中701被丟棄，而702被啟用。
第三種方法是這樣一種方法將從元鏡頭邊界候選時(shí)間輸入單元109輸入的臨時(shí)元鏡頭邊界和剪切檢測(cè)單元102檢測(cè)到的剪切點(diǎn)均設(shè)置為新的元鏡頭邊界。這樣，圖7中701和702都被啟用，并且，701和702之間的區(qū)間就變成一個(gè)短鏡頭和短元鏡頭。
(3)臨時(shí)元鏡頭的重新定義的其他描述上述三種方法將通過圖8從另外一種角度進(jìn)行描述。
圖8是一概念性框圖，用于示出在移動(dòng)圖像處理裝置10中的邊界候選時(shí)間校正單元106的操作。
在圖8中，A階段中的矩形表示鏡頭定義區(qū)間103所定義的鏡頭。另一方面，801是從元鏡頭邊界候選時(shí)間輸入單元109輸入的臨時(shí)元鏡頭邊界。
圖7所描述的三種方法各自與B、C和D相一致。這樣，邊界候選時(shí)間校正單元106重新定義臨時(shí)元鏡頭邊界，并且元鏡頭生成單元107據(jù)此結(jié)果產(chǎn)生元鏡頭。后續(xù)的過程與實(shí)施例1相同。
(4)移動(dòng)圖像處理圖9是一流程圖，示出移動(dòng)圖像處理裝置10中的移動(dòng)圖像處理。
由于與使用圖4的實(shí)施例1中所描述的部分有許多共同的、重復(fù)的步驟，因此，只描述與實(shí)施例1不同的部分，而省去共同的、重復(fù)的內(nèi)容部分。
進(jìn)展到通過臨時(shí)元鏡頭屬性分配單元105分配相同的屬性標(biāo)簽給多個(gè)臨時(shí)元鏡頭這一步驟(步驟414)的過程與實(shí)施例1是相同的，所述多個(gè)臨時(shí)元鏡頭中含有基于相似鏡頭檢測(cè)單元104分配的標(biāo)簽(屬性)而具有同一標(biāo)號(hào)的相似鏡頭。
此處，邊界候選時(shí)間校正單元106通過如上所述的方法重新定義臨時(shí)元鏡頭邊界(步驟415)。
元鏡頭生成單元107依據(jù)臨時(shí)元鏡頭是否是連續(xù)的以及是否有相同的屬性標(biāo)簽(或者他們是否有屬性標(biāo)簽)使用如上所述分配臨時(shí)元鏡頭的標(biāo)簽來(lái)耦合臨時(shí)元鏡頭(步驟411)，從而形成元鏡頭(步驟412)。在這之后的處理過程與本實(shí)施例1所述一致。
如上所述，由于移動(dòng)圖像處理裝置10按照實(shí)施例2基于相似鏡頭出現(xiàn)模式耦合臨時(shí)元鏡頭，因而過分地檢測(cè)的臨時(shí)元鏡頭能被有效地耦合。此外，作為元鏡頭屬性，他們是否含有相似鏡頭(其為節(jié)目主體部分)還是不含有(其為廣告)以及其他情況能被自動(dòng)地估計(jì)出。因此，用戶能更方便地檢索預(yù)定場(chǎng)景。
(5)移動(dòng)圖像處理修改例移動(dòng)圖像處理裝置10中移動(dòng)圖像處理由如下三個(gè)處理過程(圖4中被虛線包圍的部分)構(gòu)成(1)鏡頭區(qū)間定義處理過程，(2)分組處理，(3)元鏡頭生成處理。
在本實(shí)施例中，對(duì)于移動(dòng)圖像中所有鏡頭的(1)鏡頭區(qū)間定義處理完成后，過程轉(zhuǎn)至(2)分組處理。同樣地，對(duì)于移動(dòng)圖像中所有鏡頭的(2)分組處理完成后，過程轉(zhuǎn)至(3)元鏡頭生成處理?？商娲?，作為另一個(gè)例子，在通過在移動(dòng)圖像處理裝置10中提供暫時(shí)存儲(chǔ)區(qū)(未示出)將視頻輸入的同時(shí)，可以并行地執(zhí)行上述三個(gè)處理過程。
例如，每次檢測(cè)出一個(gè)新的剪切點(diǎn)和定義出一個(gè)鏡頭區(qū)間，則可以對(duì)于該鏡頭區(qū)間和過去鏡頭區(qū)間進(jìn)行相似度確定，并且，此時(shí)，基于已獲得的相似鏡頭確定結(jié)果以及從外部輸入的元鏡頭邊界候選時(shí)間信息，可以生成元鏡頭生成。如此，通過并行執(zhí)行處理過程，在節(jié)目記錄結(jié)束后極短時(shí)間內(nèi)，即可獲得處理結(jié)果。
(6)移動(dòng)圖像處理裝置10的硬件配置和實(shí)施例1一樣，圖5示出移動(dòng)圖像處理裝置10的硬件配置。
移動(dòng)圖像處理裝置10硬件配置包括ROM 52，所述ROM 52中存有用于在移動(dòng)圖像處理裝置10中執(zhí)行移動(dòng)圖像處理的程序或的相似處理程序；CPU 51，所述CPU 51根據(jù)存儲(chǔ)在ROM 52中的程序來(lái)控制移動(dòng)圖像處理裝置10的各個(gè)單元，以便于執(zhí)行移動(dòng)圖像處理或其他相似的處理；RAM 53，所述RAM 53中有已成形的一工作區(qū)并存儲(chǔ)有移動(dòng)圖像處理裝置10控制所需的各種數(shù)據(jù)；通信接口57，所述通信接口57與網(wǎng)絡(luò)連接以實(shí)施通信；數(shù)據(jù)傳輸總線62，所述數(shù)據(jù)傳輸總線62用于連接各個(gè)部件。
用于在如上所述的移動(dòng)圖像處理裝置10中執(zhí)行移動(dòng)圖像處理的移動(dòng)圖像處理程序，是由以可安裝格式或可執(zhí)行格式文件形式存儲(chǔ)有該程序的如CD-ROM，移動(dòng)盤(FD)和DVD等計(jì)算機(jī)可讀記錄媒體提供的。
此外，本實(shí)施例的移動(dòng)圖像處理程序還可以被安排成由儲(chǔ)存其的與因特網(wǎng)等網(wǎng)絡(luò)連接的計(jì)算機(jī)提供，并且可經(jīng)由網(wǎng)絡(luò)下載。
這樣，移動(dòng)圖像處理程序從上述記錄媒體上下載到主存儲(chǔ)器，并在移動(dòng)圖像處理裝置10中執(zhí)行，并且在主存儲(chǔ)器上生成在軟件配置中描述的各個(gè)部分。
下面將根據(jù)本實(shí)施例3描述移動(dòng)圖像處理裝置10。
因?yàn)楸緦?shí)施例的所有的功能配置、處理流程與裝置配置都與如上所述的實(shí)施例1或?qū)嵤├?相同，因此將省去對(duì)它們的描述。
(1)關(guān)于錯(cuò)誤屬性分配的可能性首先，將描述本實(shí)施例3所要解決的問題。
圖10是一概念性框圖，示出當(dāng)移動(dòng)圖像處理裝置10的臨時(shí)元鏡頭屬性分配單元105使用相似鏡頭檢測(cè)單元104的結(jié)果分配屬性標(biāo)簽給臨時(shí)元鏡頭時(shí)的過程擴(kuò)展。
圖10中，矩形表示鏡頭，倒三角形表示廣告之間的邊界。矩形上由曲線連接的部分表示它們分別為相似鏡頭。
不同區(qū)間1002，1003，1004是同一公司的廣告。此外，區(qū)間1002和1003是同一產(chǎn)品的廣告，并且除了中間鏡頭不同外，具有相同的剪切。
在這種情況下，代表該公司標(biāo)志的圖像1001經(jīng)常在廣告結(jié)尾處顯示，并且在相似鏡頭檢測(cè)單元104中被檢測(cè)為相似鏡頭。然而，當(dāng)區(qū)間1002，1003和1004是外部定義的臨時(shí)元鏡頭時(shí)，如果臨時(shí)元鏡頭屬性分配單元105不經(jīng)變化而使用它們分配同一元鏡頭模式(屬性)，那么就會(huì)產(chǎn)生與分配給節(jié)目主體部分相同的屬性這樣的問題。
此外，因?yàn)榭缭皆R頭存在相似鏡頭，所以在完全相同的廣告被連續(xù)播放兩次，或者播放有部分內(nèi)容不同的一系列廣告的情況下也會(huì)產(chǎn)生同樣的問題。
(2)解決方案因此，當(dāng)在臨時(shí)元鏡頭之間存在相似鏡頭時(shí)，臨時(shí)元鏡頭屬性分配單元105計(jì)算其相關(guān)位置并且確定是否將其用于屬性分配。
例如，假定如下，關(guān)于圖10中相似鏡頭對(duì)A，起始時(shí)間在元鏡頭的頭部(0秒)，結(jié)束時(shí)間在從元鏡頭的頭部算起的2.5秒后，盡管它們是相似鏡頭，但是確定在元鏡頭中相對(duì)位置是嚴(yán)格地匹配的，相似鏡頭對(duì)(A)不再用作同一元鏡頭模式(屬性)分配的依據(jù)。
具體地，關(guān)于作為比較目標(biāo)的一對(duì)相似鏡頭，將使用這樣的條件，所述條件為“從臨時(shí)元鏡頭的頭部測(cè)量的起始時(shí)間在0.5秒的誤差余量之內(nèi)匹配”并且“從臨時(shí)元鏡頭的頭部測(cè)量的結(jié)束時(shí)間在0.5秒的誤差余量之內(nèi)匹配”。通過這種方法，能清除公司標(biāo)志之類的相似鏡頭對(duì)B。
(3)解決方案的修改例子1在上述描述中，通過使用距離元鏡頭的頭部的相對(duì)位置來(lái)確定是否相似鏡頭從元鏡頭模式(屬性)分配基礎(chǔ)中清除，然而，對(duì)于具有不同時(shí)間長(zhǎng)度廣告中的公司標(biāo)志或相似其他標(biāo)志，可以通過如下所述擴(kuò)充方法而將其正確地消除。
例如，考慮這樣的情況，盡管是同一家公司的廣告，有時(shí)播出的廣告為一個(gè)15秒和一個(gè)30秒，并且在廣告結(jié)束時(shí)插入1秒鐘的企業(yè)標(biāo)志。為了解決這樣的情況，相似鏡頭對(duì)不用作元鏡頭模式(屬性)的分配依據(jù)這一條件，將被添加到如上使用的條件，即“從臨時(shí)元鏡頭的頭部測(cè)量的起始時(shí)間在0.5秒的誤差余量之內(nèi)匹配”并且“從臨時(shí)元鏡頭的頭部測(cè)量的結(jié)束時(shí)間在0.5秒的誤差余量之內(nèi)匹配”。
(4)解決方案的修改例子2此外，在上述描述中，設(shè)定相似鏡頭的起始時(shí)間和結(jié)束時(shí)間作為目標(biāo)匹配的條件，然而，若只用單個(gè)條件，即目標(biāo)相似鏡頭“從元鏡頭的頭部起始”，或者目標(biāo)相似鏡頭“從元鏡頭的結(jié)尾處結(jié)束”，則通過公司標(biāo)志或相似標(biāo)志的相似檢測(cè)，能防止同一元鏡頭模式(屬性)跨越多個(gè)廣告而分配。
(5)解決方案的修改例子3此外，有時(shí)同一廣告或同一公司的廣告在同一節(jié)目中不同的時(shí)間播出，當(dāng)從不同時(shí)間播出的廣告中檢測(cè)出相似鏡頭時(shí)，則可能執(zhí)行將同一屬性分配給節(jié)目主體部分。為了防止這種可能發(fā)生，可以在相似鏡頭檢測(cè)單元104中規(guī)定相似鏡頭搜索范圍。
例如，當(dāng)提前設(shè)定“相似鏡頭的搜索在10分鐘的范圍內(nèi)進(jìn)行”的條件時(shí)，則不能檢測(cè)出在時(shí)間上相距10分鐘以上的相似鏡頭。也就是，在廣告和廣告之間存在超過10分鐘的節(jié)目主體部分的情況下，即使在兩側(cè)廣告區(qū)間播出同一廣告，因?yàn)樵诘谝惶帥]有檢測(cè)出來(lái)相似鏡頭，并且沒有元鏡頭模式(屬性)分配的依據(jù)，則從節(jié)目主體部分中正確地區(qū)分廣告的可能性就變得更高。
(6)解決方案的修改例子4此外，在上述描述中，作為例子描述了在同一移動(dòng)圖像內(nèi)中的相似鏡頭檢測(cè)，然而，可以通過多次記錄同一節(jié)目而形成移動(dòng)圖像來(lái)實(shí)施處理。
這樣，即使在這種情況下，例如，盡管一個(gè)節(jié)目由五個(gè)角組成，因?yàn)楦鱾€(gè)角的標(biāo)題圖像不同，因此，只通過播放一次的移動(dòng)圖像，不能將角標(biāo)題檢測(cè)出作為相似鏡頭，當(dāng)使用多次記錄同一節(jié)目的數(shù)據(jù)來(lái)實(shí)施相似鏡頭檢測(cè)時(shí)，角標(biāo)題是跨越廣播次數(shù)的相似鏡頭，并且可以在臨時(shí)元鏡頭上實(shí)現(xiàn)元鏡頭模式(屬性)分配，因此，可以提高節(jié)目主體部分和廣告之間的區(qū)分能力。
應(yīng)當(dāng)注意的是，本發(fā)明并不局限于上述各個(gè)實(shí)施例，而是可以以多種方式實(shí)施而不脫離其范圍。
工業(yè)應(yīng)用如上所述，本發(fā)明用于生成元鏡頭，更具體地，適用于分配屬性(節(jié)目主體部分或廣告)給元鏡頭。
權(quán)利要求
1.一種移動(dòng)圖像處理裝置，用于將作為在圖像改變點(diǎn)被分割的單個(gè)部分移動(dòng)圖像或多個(gè)部分移動(dòng)圖像的集合的元鏡頭分類為具有同樣屬性的元鏡頭，所述圖像改變點(diǎn)是指移動(dòng)圖像的內(nèi)容進(jìn)行切換的點(diǎn)，所述移動(dòng)圖像處理裝置包括相似度測(cè)量處理單元，所述相似度測(cè)量處理單元用于測(cè)量在移動(dòng)圖像的內(nèi)容進(jìn)行切換的圖像改變點(diǎn)處被分割的多個(gè)部分移動(dòng)圖像之間的相似度；相似鏡頭指定處理單元，所述相似鏡頭指定處理單元用于基于所述測(cè)量的相似度，指定彼此相似的部分移動(dòng)圖像；分組處理單元，所述分組處理單元用于分配相同的組屬性給所述指定的相似部分移動(dòng)圖像；元鏡頭邊界候選時(shí)間輸入處理單元，所述元鏡頭邊界候選時(shí)間輸入處理單元用于從外部接收可以作為所述元鏡頭的邊界候選的移動(dòng)圖像內(nèi)的時(shí)間輸入，并且根據(jù)所述接收的元鏡頭邊界候選時(shí)間，將所述移動(dòng)圖像分割成為作為多個(gè)區(qū)間的臨時(shí)元鏡頭；以及臨時(shí)元鏡頭屬性分配處理單元，所述臨時(shí)元鏡頭屬性分配處理單元用于將相同的屬性分配給所述已被分割成的包含已被分配相同的組屬性的部分移動(dòng)圖像的臨時(shí)元鏡頭。
2.根據(jù)權(quán)利要求1所述的移動(dòng)圖像處理裝置，還包括元鏡頭生成處理單元，所述元鏡頭生成處理單元用于耦合在時(shí)間上連續(xù)并且具有相同屬性的臨時(shí)元鏡頭，以基于所述臨時(shí)元鏡頭屬性分配處理單元分配的所述屬性生成一個(gè)元鏡頭，或者當(dāng)具有相同屬性的元鏡頭不連續(xù)時(shí)，生成自身作為一個(gè)元鏡頭的單個(gè)元鏡頭。
3.根據(jù)權(quán)利要求1或2所述的移動(dòng)圖像處理裝置，還包括邊界候選時(shí)間校正處理單元，所述邊界候選時(shí)間校正處理單元在由所述元鏡頭邊界候選時(shí)間輸入處理單元輸入的所述元鏡頭邊界候選時(shí)間，與在所述移動(dòng)圖像內(nèi)容進(jìn)行切換的圖像改變點(diǎn)處被分割的所述部分移動(dòng)圖像的分割時(shí)間之間有時(shí)間偏移的情況下，用于參照所述元鏡頭邊界候選時(shí)間或所述圖像改變點(diǎn)來(lái)定義新的臨時(shí)元鏡頭邊界，其中，所述元鏡頭生成處理單元基于所述定義的新的臨時(shí)元鏡頭邊界，生成元鏡頭。
4.根據(jù)權(quán)利要求1至3任何一項(xiàng)所述的移動(dòng)圖像處理裝置，其中通過所述元鏡頭邊界候選時(shí)間輸入處理單元接收的所述元鏡頭邊界候選時(shí)間是通過用戶操作生成的時(shí)間信息。
5.根據(jù)權(quán)利要求1至3任何一項(xiàng)所述的移動(dòng)圖像處理裝置，其中通過所述元鏡頭邊界候選時(shí)間輸入處理單元接收的元鏡頭邊界候選時(shí)間是在所述移動(dòng)圖像內(nèi)的在一段固定時(shí)間內(nèi)聲級(jí)等于或小于固定值的時(shí)間區(qū)間的頭部、中間或尾部的一條或多條時(shí)間信息。
6.根據(jù)權(quán)利要求1至3任何一項(xiàng)所述的移動(dòng)圖像處理裝置，其中通過所述元鏡頭邊界候選時(shí)間輸入處理單元接收的元鏡頭邊界候選時(shí)間是所述移動(dòng)圖像中的聲音的傳輸格式進(jìn)行切換的時(shí)間信息。
7.根據(jù)權(quán)利要求1至3任何一項(xiàng)所述的移動(dòng)圖像處理裝置，其中通過所述元鏡頭邊界候選時(shí)間輸入處理單元接收的元鏡頭邊界候選時(shí)間是所述移動(dòng)圖像中的圖像的傳輸格式進(jìn)行切換的時(shí)間信息。
8.根據(jù)權(quán)利要求1至3任何一項(xiàng)所述的移動(dòng)圖像處理裝置，其中通過所述元鏡頭邊界候選時(shí)間輸入處理單元接收的元鏡頭邊界候選時(shí)間是在圖像內(nèi)容進(jìn)行切換的圖像改變點(diǎn)的間隔是固定時(shí)間的條件下，從所述圖像改變點(diǎn)中選擇的時(shí)間信息。
9.根據(jù)權(quán)利要求1至8任何一項(xiàng)所述的移動(dòng)圖像處理裝置，其中，當(dāng)分配同樣屬性給臨時(shí)元鏡頭時(shí)，對(duì)于屬于同一組且屬于不同元鏡頭的兩個(gè)部分移動(dòng)圖像的起始時(shí)間或結(jié)束時(shí)間或這兩個(gè)時(shí)間，當(dāng)各個(gè)臨時(shí)元鏡頭內(nèi)的相對(duì)的時(shí)間匹配或接近時(shí)，所述臨時(shí)元鏡頭屬性分配處理單元分配或不分配相同的屬性給所述各個(gè)臨時(shí)元鏡頭。
10.根據(jù)權(quán)利要求1至9任何一項(xiàng)所述的移動(dòng)圖像處理裝置，其中所述部分移動(dòng)圖像是多個(gè)不同的移動(dòng)圖像的部分移動(dòng)圖像，其中，相似度測(cè)量處理單元測(cè)量所述部分移動(dòng)圖像的相似度，相似鏡頭指定處理單元指定相似的部分移動(dòng)圖像。
11.一種移動(dòng)圖像處理方法，用于將作為在圖像改變點(diǎn)被分割的單個(gè)部分移動(dòng)圖像或多個(gè)部分移動(dòng)圖像的集合的元鏡頭分類為具有同樣屬性的元鏡頭，所述圖像改變點(diǎn)是指移動(dòng)圖像的內(nèi)容進(jìn)行切換的點(diǎn)，所述移動(dòng)圖像處理方法包括剪切檢測(cè)步驟，所述剪切檢測(cè)步驟用于從移動(dòng)圖像中檢測(cè)圖像內(nèi)容進(jìn)行切換的圖像改變點(diǎn)；相似度測(cè)量步驟，所述相似度測(cè)量步驟用于測(cè)量在所述檢測(cè)到的圖像改變點(diǎn)處被分割的多個(gè)部分移動(dòng)圖像之間的相似度；相似鏡頭指定步驟，所述相似鏡頭指定步驟基于所述測(cè)量到的相似度，指定彼此相似的部分移動(dòng)圖像；分組步驟，所述分組步驟用于分配相同的組屬性給所述指定的相似部分移動(dòng)圖像；元鏡頭邊界候選時(shí)間輸入步驟，所述元鏡頭邊界候選時(shí)間輸入步驟用于從外部接收可以作為所述元鏡頭邊界候選的移動(dòng)圖像內(nèi)的時(shí)間輸入，并且根據(jù)所述接收的元鏡頭邊界候選時(shí)間，將所述移動(dòng)圖像分割成為作為多個(gè)區(qū)間的臨時(shí)元鏡頭；以及臨時(shí)元鏡頭屬性分配步驟，所述臨時(shí)元鏡頭屬性分配步驟用于將相同的屬性分配給所述已被分割成的包含已被分配相同的組屬性的部分移動(dòng)圖像的臨時(shí)元鏡頭，以將所述多個(gè)部分移動(dòng)圖像分類為具有相同屬性的臨時(shí)元鏡頭。
12.一種用于通過計(jì)算機(jī)實(shí)現(xiàn)移動(dòng)圖像處理方法的程序，該移動(dòng)移動(dòng)圖像處理方法用于將作為在圖像改變點(diǎn)被分割的單個(gè)部分移動(dòng)圖像或多個(gè)部分移動(dòng)圖像的集合的元鏡頭分類為具有同樣屬性的元鏡頭，所述圖像改變點(diǎn)是指移動(dòng)圖像的內(nèi)容進(jìn)行切換的點(diǎn)，所述移動(dòng)圖像處理方法的程序包括剪切檢測(cè)功能，所述剪切檢測(cè)功能用于從移動(dòng)圖像中檢測(cè)圖像內(nèi)容進(jìn)行切換的圖像改變點(diǎn)；相似度測(cè)量功能，所述相似度測(cè)量功能用于測(cè)量在所述檢測(cè)到的圖像改變點(diǎn)處被分割的多個(gè)部分移動(dòng)圖像之間的相似度；相似鏡頭指定功能，所述相似鏡頭指定功能基于所述已測(cè)量到的相似度，指定彼此相似的部分移動(dòng)圖像；分組功能，所述分組功能用于分配相同的組屬性給所述指定的相似部分移動(dòng)圖像；元鏡頭邊界候選時(shí)間輸入功能，所述元鏡頭邊界候選時(shí)間輸入功能用于從外部接收可以作為所述元鏡頭邊界候選的移動(dòng)圖像內(nèi)的時(shí)間輸入，并且根據(jù)所述接收的元鏡頭邊界候選時(shí)間，將所述移動(dòng)圖像分割成為作為多個(gè)區(qū)間的臨時(shí)元鏡頭；以及臨時(shí)元鏡頭屬性分配功能，所述臨時(shí)元鏡頭屬性分配功能用于將相同的屬性分配給分割的所述已被分割成的包含已被分配相同的組屬性的部分移動(dòng)圖像的臨時(shí)元鏡頭，以將所述多個(gè)部分移動(dòng)圖像分類為具有相同屬性的臨時(shí)元鏡頭。
全文摘要
本發(fā)明涉及移動(dòng)圖像處理裝置和方法，該裝置能以更高的準(zhǔn)確度區(qū)分節(jié)目主體部分和廣告。該裝置包括相似鏡頭檢測(cè)單元，測(cè)量部分移動(dòng)圖像之間的相似度并指定相似的部分移動(dòng)圖像；元鏡頭邊界候選時(shí)間輸入裝置，從外部接收可以作為元鏡頭邊界候選的移動(dòng)圖像內(nèi)的時(shí)間；臨時(shí)元鏡頭屬性分配單元，將相同的屬性分配給包含已被分組且屬于相同的元鏡頭組的部分移動(dòng)圖像的臨時(shí)元鏡頭，元鏡頭組是根據(jù)元鏡頭邊界時(shí)間輸入單元輸入的元鏡頭邊界時(shí)間分割的；和元鏡頭生成單元，通過耦合多個(gè)臨時(shí)元鏡頭來(lái)定義元鏡頭，多個(gè)臨時(shí)元鏡頭在時(shí)間上連續(xù)且基于分配的屬性而具有相同的屬性，或者，當(dāng)具有相同屬性的臨時(shí)元鏡頭不連續(xù)時(shí)，定義臨時(shí)元鏡頭自身為元鏡頭。
文檔編號(hào)G06F17/30GK1703083SQ20051007420
公開日2005年11月30日 申請(qǐng)日期2005年5月26日 優(yōu)先權(quán)日2004年5月26日
發(fā)明者青木恒 申請(qǐng)人:株式會(huì)社東芝