專利名稱：自動產(chǎn)生多媒體內(nèi)容項目的概要的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及自動產(chǎn)生多媒體內(nèi)容項目的概要。更具體而言，本發(fā)
明涉及自動產(chǎn)生概要，該概要具有的步速(pace)類似于多媒體內(nèi)容項 目的感覺步速，該多媒體內(nèi)容項目例如是諸如電影、TV節(jié)目或?qū)崨r廣 播之類的視頻序列。
背景技術(shù)：
當(dāng)前的硬盤和光盤視頻錄像機(jī)允許用戶存儲成百小時的多媒體 數(shù)據(jù)，諸如TV節(jié)目，這些已知的設(shè)備中的一些產(chǎn)生視頻預(yù)覽，該預(yù) 覽向用戶提供所存儲內(nèi)容的快速概述，然后用戶就可以決定是否觀看 整個節(jié)目。在這種已知設(shè)備中，分析所記錄的節(jié)目以便自動創(chuàng)建視頻 預(yù)覽或概要。
視頻概要應(yīng)當(dāng)滿足的一個重要要求就是重新創(chuàng)建原始節(jié)目的氣 氛(atmosphere)，以4更讓用戶清楚是否對該節(jié)目感興趣。但是，當(dāng)前 的視頻概要產(chǎn)生方法并不考慮原始節(jié)目的氣氛以便將它們的概要產(chǎn) 生算法適用于節(jié)目的每種風(fēng)格和類型。這樣，用戶在觀看概要時，并 不清楚節(jié)目的類型也不知道是否對該節(jié)目感興趣。

發(fā)明內(nèi)容
因此，期望有一種概要產(chǎn)生系統(tǒng)和方法，其能夠產(chǎn)生反映諸如電 影或TV節(jié)目之類的多媒體內(nèi)容項目的氣氛的概要讓觀眾知道節(jié)目 的類型的概要。
根據(jù)本發(fā)明第一方面，這是通過一種自動產(chǎn)生多媒體內(nèi)容項目的 概要的方法實現(xiàn)的，該方法包括以下步驟確定多媒體內(nèi)容項目的內(nèi) 容的感覺步速，該多媒體內(nèi)容項目包括多個段；選擇該多媒體內(nèi)容項 目的至少一個段來產(chǎn)生該多媒體內(nèi)容項目的概要，使得該概要的步速 類似于所確定的多媒體內(nèi)容項目的內(nèi)容的感覺步速。
根據(jù)本發(fā)明第二方面，這也通過一種自動產(chǎn)生多媒體內(nèi)容項目的 概要的裝置來實現(xiàn)，該裝置包括確定多媒體內(nèi)容項目的內(nèi)容的感覺步速的處理器，該多媒體內(nèi)容項目包括多個段；選擇該多媒體內(nèi)容項
目的至少一個段來產(chǎn)生該多媒體內(nèi)容項目的概要，使得該概要的步速 類似于所確定的多媒體內(nèi)容項目的內(nèi)容的感覺步速的選擇器。
在很大程度上，節(jié)目的氣氛由節(jié)目的步速來確定。根據(jù)本發(fā)明， 模仿多媒體內(nèi)容項目的原始感覺步速而自動產(chǎn)生概要，從而向用戶提 供該項目(電影或節(jié)目等等)的真實氣氛更好的表示。例如，如果電 影具有慢的步速(例如，浪漫電影)就產(chǎn)生慢的步速，如果電影具有 快的步速(例如，動作電影)就產(chǎn)生快的步速。
多媒體內(nèi)容項目的內(nèi)容的感覺步速可以基于鏡頭持續(xù)時間(shot duration)、運動活動性和/或音頻響度來確定。導(dǎo)演們在編輯期間通 過調(diào)整鏡頭的持續(xù)時間來設(shè)置電影的步速。短的鏡頭讓觀眾感覺到動 作和快的步速。相反，長鏡頭給觀眾感覺平靜和慢的步速。結(jié)果，多 媒體內(nèi)容項目的感覺步速可以簡單地從鏡頭持續(xù)時間的分布來確定。 此外，運動活動性在快步速多媒體內(nèi)容項目中更大，而音頻響度不變 地在臉部(face)快速步速多媒體內(nèi)容項目中更大。因此，多媒體內(nèi) 容項目的感覺步速可以容易地從這些特征中獲得。
如果基于鏡頭持續(xù)時間確定，那么可以從鏡頭持續(xù)時間的分布來 確定感覺步速。所述分布可以從 一 個范圍內(nèi)鏡頭持續(xù)時間的計數(shù)以便 形成柱狀圖來確定，或者可替換地從鏡頭持續(xù)時間的平均及其標(biāo)準(zhǔn)持 續(xù)時間來確定，或者可替換地，可以計算其他更高階的力矩(moment )。 檢測鏡頭邊界的算法是眾所周知的，因此鏡頭持續(xù)時間以及它們的分 布可以使用簡單的統(tǒng)計技術(shù)簡單容易地獲得。
選擇至少 一 個用于概要的段可以通過為每個段提取至少 一 個內(nèi)
容分析特征、向每個段分配一個作為所提取內(nèi)容分析特征的函數(shù)的分 數(shù)、并選擇使分?jǐn)?shù)函數(shù)最大的段來實現(xiàn)。可替換地，可以這樣選擇段 以便使所選擇的段在概要持續(xù)時間上給出類似于在整個內(nèi)容項目上 的感覺步速分布的步速分布。


為了更完整地了解本發(fā)明，現(xiàn)在聯(lián)系附圖對以下描述做出參考， 其中
圖1是根據(jù)本發(fā)明優(yōu)選實施例的方法步驟的流程圖。
具體實施例方式
將參考圖l來描述本發(fā)明的實施例。在步驟101,輸入多媒體內(nèi)
容項目，諸如電影、TV節(jié)目或?qū)崨r廣播。例如，在視頻錄像機(jī)的情況
下，多媒體內(nèi)容項目被記錄和存儲在硬盤或光盤等等之上。在步驟
103,該多媒體內(nèi)容項目被分段。該分段優(yōu)選地基于鏡頭?？商鎿Q地， 多媒體內(nèi)容項目可以基于時隙被分段。在步驟105,確定多媒體內(nèi)容 項目的感覺步速。然后在步驟107，選擇段，以便在步驟109產(chǎn)生概 要，使得該概要具有與多媒體內(nèi)容項目的感覺步速類似的步速。 現(xiàn)在將更詳細(xì)地描述確定感覺步速的步驟。
根據(jù)本發(fā)明的第 一 實施例，通過鏡頭持續(xù)時間分布來確定多媒體 內(nèi)容項目的感覺步速。
首先，使用任何已知的鏡頭轉(zhuǎn)換檢測算法來檢測鏡頭邊界。如果 獲得了鏡頭邊界的位置，那么就計算鏡頭的持續(xù)時間。通過計數(shù)在視 頻節(jié)目中有多少鏡頭落在預(yù)定范圍之內(nèi)來分析鏡頭持續(xù)時間的分布。 通過這個方法，構(gòu)建了鏡頭持續(xù)時間分布的柱狀圖，其中每個柱體 (bin)表示特定的鏡頭持續(xù)時間范圍(例如，小于1秒，1和2秒之間、 2和3秒之間，等等)。柱狀圖柱體(histogram bin)的值表示所找 到的具有對應(yīng)于柱狀圖柱體的持續(xù)時間限制的特定持續(xù)時間的鏡頭 的數(shù)量。
也可以使用其他建才莫分布的方法。例如，在更簡單的實施例中， 鏡頭持續(xù)時間分布可以使用鏡頭持續(xù)時間平均和標(biāo)準(zhǔn)偏差來建模。在 另 一 個實施例中，除了標(biāo)準(zhǔn)偏差，可以計算其他更高階的力矩 (moment )。
從鏡頭持續(xù)時間分布確定多媒體內(nèi)容項目的感覺步速。 然后對多媒體內(nèi)容項目進(jìn)行分段。這可以基于所檢測的鏡頭邊界
進(jìn)行。可替換地，該多媒體內(nèi)容項目可以在預(yù)定的時隙中或者基于內(nèi)
容分析來分段。
根據(jù)第二實施例，多媒體內(nèi)容項目的感覺步速不僅僅從鏡頭持續(xù) 時間獲得(鏡頭持續(xù)時間分布)，也可以通過運動量和音頻響度來獲 得。例如，運動和音頻響度的增加指示感覺步速的增加。使用運動和 音頻響度來獲得感覺步速被公開在chapter 4， pages 58-84 of"Formulating Film Tempo" in "Media Computing-Computational Media Aesthetics"; Adams B， Dovai C" Venkatesh S. ，edited by Chitra Dorai， Svetha Venkatesh, Kluwer Academic Publshers, 2002.
在可替換實施例中，可以從感覺步速分布確定感覺步速。這可以 通過首先計算感覺步速的量度然后在鏡頭之中提取其分類來建模。
在感覺步速或感覺步速分布已經(jīng)被計算之后(或者使用鏡頭持續(xù) 時間分布或通過計算步速函數(shù))，本發(fā)明的方法選擇最匹配感覺步速 或分布概要的段。
根據(jù)第 一替換，段的選擇是通過使用重要性分?jǐn)?shù)函數(shù)來進(jìn)行的。
在自動視頻產(chǎn)生概要的當(dāng)前方法中具有與其相關(guān)聯(lián)的數(shù)學(xué)分?jǐn)?shù) (重要性分?jǐn)?shù))。該分?jǐn)?shù)是從內(nèi)容提取的內(nèi)容分析特征(CA特征)(例 如亮度、對比度、運動等)的函數(shù)。段選擇涉及選取最大化重要性
分?jǐn)?shù)函數(shù)的段。該概要的重要性分?jǐn)?shù)函數(shù)Isu,「y可以表示為概要的內(nèi)
容分析特征C4/e"組e,y的函數(shù)F如下
為了產(chǎn)生也模仿多媒體內(nèi)容項目(或原始節(jié)目)的感覺步速的概 要，作為原始節(jié)目步速分布甲阿，和概要步速分布 ^","之間距離
的懲罰分?jǐn)?shù)被減去，給出了如下的重要性分?jǐn)?shù) =尸(C4/eam"5幼附附"/7) —a ' cfa,(中雌^町—
其中必"甲纖柳^-屮戸，)是非負(fù)值，表示原始節(jié)目步速分布和概要
步速之間的差值，a是定標(biāo)因子，用于歸一化分布之間的距離，并使 其可與函數(shù)F假設(shè)的典型值相比。
必"甲纖，-屮罔，)可以是諸如Ll, L2的分布、柱狀圖交集、推土 機(jī)距離(earth movers distance)等等之間的任何距離量度。如果 使用簡單的鏡頭持續(xù)時間平均值建模距離，那么該距離簡單地是
A、/f \f/ — IJ/ 、 = 1J - J 1
其中 聽m。"
是概要中的平均鏡頭持續(xù)時間，"肖自是多媒體內(nèi)容 項目的平均鏡頭持續(xù)時間。然后可以選擇段來最大化重要性分?jǐn)?shù)
7根據(jù)第二替換實施例，通過段的預(yù)分配來進(jìn)行段的選擇。 給定多媒體內(nèi)容項目的內(nèi)容的感覺步速分布和概要的期望持續(xù) 時間，那么就為概要的持續(xù)時間創(chuàng)建新的步速分布，其具有與感覺步 速分布相同的形狀。從多媒體內(nèi)容項目中選擇段，使其適合于新創(chuàng)建 的分布。該新創(chuàng)建的分布對于每個步速范圍，指示必須使用該特別步 速選擇的鏡頭數(shù)量。選擇過程為每個步速范圍選擇具有最高重要性分 數(shù)的鏡頭(根據(jù)已知的概要方法)，直到達(dá)到所分配的量。通過這個 方法，創(chuàng)建的概要具有與多媒體內(nèi)容項目相同的步速分布。
例如，假設(shè)多媒體內(nèi)容項目包含30%的鏡頭小于3秒，60°/。的鏡頭 的持續(xù)時間在3到8秒之間，10°/。的鏡頭大于8秒，并且該概要長度 是100秒。
結(jié)果，該概要的30秒需要由短鏡頭(小于3秒)組成，60秒需 要由具有在3到8秒的持續(xù)時間的鏡頭組成，10秒需要由長鏡頭(大 于8秒)組成。
根據(jù)本發(fā)明的方法，選擇具有最高重要分?jǐn)?shù)的小于3秒直到填充 了所需的30秒的鏡頭。然后對于具有3和8秒之間的持續(xù)時間的鏡 頭，和對于長的鏡頭(大于8秒)重復(fù)相同的方法。
也可以引入容限余量。在之前的實例中，為長的鏡頭(大于8秒) 分配10秒。顯然，僅僅可以選4奪一個4竟頭。該4竟頭不必正好是10秒， 例如9或12秒也是可以的。
雖然本發(fā)明的優(yōu)選實施例已經(jīng)在附圖中示出且在之前的說明書 中進(jìn)行了描述，但是應(yīng)當(dāng)理解本發(fā)明并不限于所公開的實施例，而是 可以做出各種修改，而不背離以下權(quán)利要求中陳述的本發(fā)明的范圍。
權(quán)利要求
1. 一種自動產(chǎn)生多媒體內(nèi)容項目的概要的方法，該方法包括以下步驟確定多媒體內(nèi)容項目的內(nèi)容的感覺步速，所述多媒體內(nèi)容項目包括多個段；選擇所述多媒體內(nèi)容項目的至少一個段來產(chǎn)生所述多媒體內(nèi)容項目的概要，使得所述概要的步速類似于所確定的所述多媒體內(nèi)容項目的內(nèi)容的感覺步速。
2. 根據(jù)權(quán)利要求l的方法，其中，基于鏡頭持續(xù)時間、運動活動 性和音頻響度中的至少一個來確定所述多媒體內(nèi)容項目的內(nèi)容的感 覺步速。
3. 根據(jù)權(quán)利要求2的方法，其中，基于鏡頭持續(xù)時間中的至少一 個來確定所述多媒體內(nèi)容項目的內(nèi)容的感覺步速是通過確定所述多媒體內(nèi)容項目的內(nèi)容的鏡頭的持續(xù)時間的分布進(jìn)行的。
4. 根據(jù)權(quán)利要求3的方法，其中，確定所述多媒體內(nèi)容項目的內(nèi) 容的鏡頭的持續(xù)時間的分布包括以下步驟檢測所述多媒體內(nèi)容項目的內(nèi)容的鏡頭邊界；和 通過計數(shù)具有在預(yù)定范圍內(nèi)的持續(xù)時間的鏡頭的數(shù)量，或者通過 平均鏡頭持續(xù)時間并計算所述鏡頭持續(xù)時間的標(biāo)準(zhǔn)偏差來確定分布。
5. 根據(jù)之前任何一個權(quán)利要求的方法，其中，選擇所述多媒體內(nèi) 容項目的至少一個段的步驟包括以下步驟為所述多媒體內(nèi)容項目的每個段提取至少一個內(nèi)容分析特征； 向每個段分配分?jǐn)?shù)，該分?jǐn)?shù)是所述提取的內(nèi)容分析特征的函數(shù)；和選擇至少一個最大化分?jǐn)?shù)函數(shù)的段。
6. 根據(jù)權(quán)利要求1到4的任何一個的方法，其中，選擇所述多媒 體內(nèi)容項目的至少一個段的步驟包括以下步驟在整個多媒體內(nèi)容項目之上確定感覺步速的分布； 確定所述概要的持續(xù)時間；和選擇所述多媒體內(nèi)容項目的至少一個段，該段在所述確定的概要 持續(xù)時間上具有類似于所述多媒體內(nèi)容項目的確定的感覺步速分布的步速分布。
7. —種計算機(jī)程序產(chǎn)品，包括多個程序代碼部分，用于執(zhí)行根據(jù) 權(quán)利要求1到6中任何一個的方法。
8. —種自動產(chǎn)生多媒體內(nèi)容項目的概要的裝置，該裝置包括 確定多媒體內(nèi)容項目的內(nèi)容的感覺步速的處理器，所述多媒體內(nèi)容項目包括多個段；選擇器，用于選擇所述多媒體內(nèi)容項目的至少一個段來產(chǎn)生所述 多媒體內(nèi)容項目的概要，使得所述概要的步速類似于所確定的所述多 媒體內(nèi)容項目的內(nèi)容的感覺步速。
全文摘要
自動產(chǎn)生在步驟(101)中輸入的多媒體內(nèi)容項目的概要。在步驟(105)中確定多媒體內(nèi)容項目的內(nèi)容的感覺步速。該多媒體內(nèi)容項目包括多個段。在步驟(107)中選擇多媒體內(nèi)容項目的至少一個段，以便在步驟(109)中產(chǎn)生概要，其具有類似于在步驟(105)中確定的多媒體內(nèi)容項目的感覺步速的步速。
文檔編號G11B27/031GK101506891SQ200780031623
公開日2009年8月12日 申請日期2007年8月23日 優(yōu)先權(quán)日2006年8月25日
發(fā)明者J·韋達(dá), M·巴比里 申請人:皇家飛利浦電子股份有限公司