專利名稱：自適應(yīng)圖片組(agop)結(jié)構(gòu)確定的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻數(shù)據(jù)的編碼，且更確切地說(shuō)，涉及自適應(yīng)地確定視頻數(shù)據(jù)的圖片 組(GOP)結(jié)構(gòu)。
背景技術(shù)：
已建立用于對(duì)數(shù)字視頻序列編碼的若干不同視頻編碼標(biāo)準(zhǔn)。舉例來(lái)說(shuō)，運(yùn)動(dòng)圖 片專家組(MPEG)已開(kāi)發(fā)出若干標(biāo)準(zhǔn)，包括MPEG-I (第2部分)、MPEG-2(第2部分)及 MPEG-4(第2部分)。其它實(shí)例包括國(guó)際電信聯(lián)盟(ITU-T)H. 261及H. 263標(biāo)準(zhǔn)及也在MPEG-4 第10部分中陳述的標(biāo)題為“高級(jí)視頻編碼，AVC(Advanced Video Coding, AVC) ”的ITU-T H. 264標(biāo)準(zhǔn)。這些視頻編碼標(biāo)準(zhǔn)通常通過(guò)以壓縮方式對(duì)數(shù)據(jù)進(jìn)行編碼而支持視頻序列的改 進(jìn)的傳輸及存儲(chǔ)效率。壓縮減少需要傳輸或存儲(chǔ)以供有效傳輸或存儲(chǔ)視頻幀的數(shù)據(jù)總量。 在許多情形(包括視頻串流、視頻攝錄機(jī)、個(gè)人視頻記錄器(PVR)、數(shù)字視頻記錄器(DVR)、 視頻電話(VT)、視頻會(huì)議、視頻CD (VCD)及數(shù)字通用/視頻光盤(pán)(DVD)上的數(shù)字視頻分配及 視頻廣播應(yīng)用)下，經(jīng)由有線及無(wú)線傳輸媒體兩者且在磁性及光學(xué)存儲(chǔ)媒體兩者上使用視 頻編碼。MPEG-1、MPEG-2、MPEG-4、ITU-T H. 261、ITU-T H. 263 及 ITU-T H. 264 標(biāo)準(zhǔn)支持利 用連續(xù)視頻幀之間的相似性(被稱作時(shí)間或幀間相關(guān))的視頻編碼技術(shù)以提供幀間壓縮。 這些標(biāo)準(zhǔn)還支持利用個(gè)別視頻幀內(nèi)的相似性(被稱作空間或幀內(nèi)相關(guān))的視頻編碼技術(shù)以 提供幀內(nèi)壓縮。幀間壓縮技術(shù)通過(guò)將視頻幀的基于像素的表示轉(zhuǎn)換為基于像素塊的平移運(yùn) 動(dòng)表示來(lái)跨越鄰近或緊密間隔的視頻幀而采用數(shù)據(jù)冗余。使用幀間技術(shù)來(lái)編碼的視頻幀通 常被稱作P( “經(jīng)預(yù)測(cè)的”)幀或B( “雙向預(yù)測(cè)性”)幀。使用空間壓縮來(lái)編碼通常被稱作 1(“幀內(nèi)”)幀的一些幀，其可為非預(yù)測(cè)性的(亦即，如在H. 264前標(biāo)準(zhǔn)中，僅基于變換編碼) 或預(yù)測(cè)性的(亦即，如在H. 264中，基于空間預(yù)測(cè)及變換編碼兩者)。此外，一些幀可包括經(jīng) 幀內(nèi)編碼的塊與經(jīng)幀間編碼的塊兩者的組合。這些編碼標(biāo)準(zhǔn)提供非常適于無(wú)線視頻廣播應(yīng) 用的高度有效的編碼。在使用上文提及的有效編碼標(biāo)準(zhǔn)中的任一者來(lái)執(zhí)行編碼之前，編碼裝置可將所接 收的視頻序列分割為包括多個(gè)幀的圖片組(GOP)結(jié)構(gòu)。編碼裝置可接著在對(duì)視頻數(shù)據(jù)進(jìn)行 編碼以用于傳輸或存儲(chǔ)之前確定GOP結(jié)構(gòu)中所包括的幀中的每一者的圖片編碼類型。以圖 片編碼類型來(lái)確定GOP結(jié)構(gòu)對(duì)于編碼效率而言是重要的。因此，不僅對(duì)先前未壓縮的原始 視頻數(shù)據(jù)起作用的編碼方案受益于GOP結(jié)構(gòu)確定。對(duì)先前壓縮的視頻數(shù)據(jù)起作用的代碼轉(zhuǎn) 換方案也可受益。舉例來(lái)說(shuō)，無(wú)線視頻廣播所需要的一些視頻數(shù)據(jù)(例如，數(shù)字電視信號(hào)) 是以其原始形式使用例如MPEG-2 (第2部分)的不提供當(dāng)前最有效的壓縮的視頻編碼標(biāo)準(zhǔn) 來(lái)編碼的。在此情況下，代碼轉(zhuǎn)換器可將視頻數(shù)據(jù)轉(zhuǎn)換為例如ITU-TH. 264的提供較有效的 壓縮以用于無(wú)線視頻廣播的編碼標(biāo)準(zhǔn)。為轉(zhuǎn)換視頻數(shù)據(jù)，代碼轉(zhuǎn)換器可首先將視頻數(shù)據(jù)從 第一編碼標(biāo)準(zhǔn)解碼，且可接著在使用較適用于無(wú)線視頻廣播的第二編碼標(biāo)準(zhǔn)來(lái)對(duì)視頻數(shù)據(jù) 進(jìn)行重新編碼之前將視頻序列分割為GOP結(jié)構(gòu)且執(zhí)行GOP結(jié)構(gòu)確定。
因?yàn)橐曨l信號(hào)隨時(shí)間改變其統(tǒng)計(jì)性質(zhì)，所以編碼裝置應(yīng)調(diào)適GOP結(jié)構(gòu)以便在對(duì)于 最有效壓縮而言所可能的最大程度上采用可用的時(shí)間冗余?？偟貋?lái)說(shuō)，編碼裝置基于周?chē)?幀的內(nèi)容及對(duì)例如剪輯場(chǎng)景改變(cut scene change)、閃光幀(flash frame)、交叉淡化 (cross-fade)及相機(jī)搖攝(pan)與卷動(dòng)(scroll)的視頻轉(zhuǎn)變效果的識(shí)別來(lái)自適應(yīng)地確定 GOP結(jié)構(gòu)內(nèi)的候選幀的圖片編碼類型?，F(xiàn)有自適應(yīng)GOP (AGOP)結(jié)構(gòu)確定方法包括使用直方 圖或方差測(cè)量、基于邊緣確定的算法及基于運(yùn)動(dòng)向量場(chǎng)演變或時(shí)間預(yù)測(cè)效率量度的算法來(lái) 分析亮度信號(hào)及色度信號(hào)兩者的統(tǒng)計(jì)特征。然而，現(xiàn)有AGOP結(jié)構(gòu)確定方法對(duì)于實(shí)現(xiàn)日益復(fù) 雜的無(wú)線視頻廣播應(yīng)用所需要的有效壓縮而言可能不夠準(zhǔn)確。

發(fā)明內(nèi)容
總地來(lái)說(shuō)，本發(fā)明是針對(duì)用于基于視頻序列中所包括的多個(gè)幀之間的交叉相關(guān)來(lái) 確定所述幀中的每一者的圖片編碼類型的技術(shù)。更具體來(lái)說(shuō)，所述技術(shù)可基于圖片組(GOP) 結(jié)構(gòu)中所包括的幀之間的交叉相關(guān)來(lái)自適應(yīng)地確定所述幀的圖片類型。所述交叉相關(guān)包括 所述視頻序列中所包括的若干對(duì)幀內(nèi)的圖像信息之間的第一階交叉相關(guān)及若干對(duì)所述第 一階交叉相關(guān)之間的第二階交叉相關(guān)。可分析所述第一階交叉相關(guān)以檢測(cè)所述幀之間的視 頻轉(zhuǎn)變效果。可比較分析所述第一階交叉相關(guān)及所述第二階交叉相關(guān)以確定相鄰幀之間的 時(shí)間相似性。因此，基于相關(guān)的確定技術(shù)基于所述視頻轉(zhuǎn)變效果及所述時(shí)間相似性將所述 幀的圖片類型確定為P( “經(jīng)預(yù)測(cè)的”)、B( “雙向預(yù)測(cè)性”)或1( “幀內(nèi)”)圖片。在一個(gè)方面中，一種基于圖像相關(guān)的確定技術(shù)計(jì)算所述視頻序列中所包括的若干 對(duì)幀內(nèi)的圖像之間的所述第一階交叉相關(guān)。所述基于圖像相關(guān)的確定技術(shù)可確定全幀的圖 片類型。在另一方面中，一種基于子圖像相關(guān)的確定技術(shù)計(jì)算所述視頻序列中所包括的若 干對(duì)幀內(nèi)的子圖像(例如，宏塊)的集合之間的所述第一階交叉相關(guān)，且在所述若干對(duì)幀中 的每一對(duì)幀的所述子圖像的全部或一部分上求所述交叉相關(guān)的平均值。此外，可將所述視 頻序列中所包括的所述幀中的每一者劃分為多個(gè)片斷以使得所述基于子圖像相關(guān)的確定 技術(shù)可確定所述幀中的每一者的所述個(gè)別片斷的圖片類型?？稍谟蓪?shí)時(shí)或非實(shí)時(shí)編碼裝置利用的基于相關(guān)的自適應(yīng)圖片組(AGOP)結(jié)構(gòu)確定 模塊內(nèi)執(zhí)行本文中所描述的技術(shù)。在一些方面中，可使用所述基于相關(guān)的AGOP結(jié)構(gòu)確定模 塊作為在實(shí)時(shí)編碼裝置中實(shí)施的其它AGOP結(jié)構(gòu)確定方法可與之比較的離線基準(zhǔn)。在其它 方面中，所述基于相關(guān)的AGOP結(jié)構(gòu)確定模塊可在實(shí)時(shí)或非實(shí)時(shí)編碼裝置中實(shí)施。在實(shí)時(shí)編 碼裝置的情況下，可通過(guò)適當(dāng)?shù)膹?fù)雜性降低來(lái)實(shí)施所述基于相關(guān)的AGOP結(jié)構(gòu)確定模塊以 使得能夠進(jìn)行對(duì)圖片類型的實(shí)時(shí)確定。作為一實(shí)例，可由實(shí)時(shí)或非實(shí)時(shí)代碼轉(zhuǎn)換器利用所述基于相關(guān)的AGOP結(jié)構(gòu)確定 模塊以用于對(duì)先前壓縮的視頻數(shù)據(jù)進(jìn)行重新編碼。所述代碼轉(zhuǎn)換器可通過(guò)例如ITU-TH. 264 的提供有效的幀間及幀內(nèi)壓縮的編碼標(biāo)準(zhǔn)來(lái)對(duì)所述視頻數(shù)據(jù)重新編碼。所述技術(shù)可尤其 適用于需要高度有效的數(shù)據(jù)壓縮的無(wú)線視頻廣播應(yīng)用。作為另一實(shí)例，可由對(duì)先前未壓縮 的原始視頻數(shù)據(jù)起作用的實(shí)時(shí)或非實(shí)時(shí)、單遍或多遍視頻編碼器利用所述基于相關(guān)的AGOP 結(jié)構(gòu)確定模塊。在一個(gè)方面中，本發(fā)明提供一種方法，其包含計(jì)算視頻序列中所包括的若干對(duì)幀 內(nèi)的圖像信息之間的第一階交叉相關(guān)及計(jì)算若干對(duì)所述第一階交叉相關(guān)之間的第二階交叉相關(guān)。所述方法進(jìn)一步包含基于所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確定所述 視頻序列中所包括的所述幀中的每一者的圖片類型。在另一方面中，本發(fā)明提供一種裝置，其包含相關(guān)器，所述相關(guān)器計(jì)算視頻序列中 所包括的若干對(duì)幀內(nèi)的圖像信息之間的第一階交叉相關(guān)且計(jì)算若干對(duì)所述第一階交叉相 關(guān)之間的第二階交叉相關(guān)。所述裝置還包括圖片類型確定模塊，所述圖片類型確定模塊基 于所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確定所述視頻序列中所包括的所述幀中 的每一者的圖片類型。在另一方面中，本發(fā)明提供一種包含計(jì)算機(jī)可讀媒體的計(jì)算機(jī)程序產(chǎn)品，所述計(jì) 算機(jī)可讀媒體包含指令。所述指令使計(jì)算機(jī)計(jì)算視頻序列中所包括的若干對(duì)幀內(nèi)的圖像信 息之間的第一階交叉相關(guān)，計(jì)算若干對(duì)所述第一階交叉相關(guān)之間的第二階交叉相關(guān)且基于 所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確定所述視頻序列中所包括的所述幀中的 每一者的圖片類型。在又一方面中，本發(fā)明提供一種裝置，其包含用于計(jì)算視頻序列中所包括的若干 對(duì)幀內(nèi)的圖像信息之間的第一階交叉相關(guān)及若干對(duì)所述第一階交叉相關(guān)之間的第二階交 叉相關(guān)的裝置。所述裝置還包含用于基于所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確 定所述視頻序列中所包括的所述幀中的每一者的圖片類型的裝置。在另一方面中，本發(fā)明提供一種無(wú)線通信裝置手持機(jī)，其包含相關(guān)器，所述相關(guān)器 計(jì)算視頻序列中所包括的若干對(duì)幀內(nèi)的圖像信息之間的第一階交叉相關(guān)且計(jì)算若干對(duì)所 述第一階交叉相關(guān)之間的第二階交叉相關(guān)。所述手持機(jī)進(jìn)一步包含圖片類型確定模塊，所 述圖片類型確定模塊基于所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確定所述視頻序 列中所包括的所述幀中的每一者的圖片類型。在又一方面中，本發(fā)明提供一種包含至少一個(gè)處理器的用于處理數(shù)字圖像數(shù)據(jù)的 集成電路裝置，所述至少一個(gè)處理器經(jīng)配置以計(jì)算視頻序列中所包括的若干對(duì)幀內(nèi)的圖像 信息之間的第一階交叉相關(guān)，計(jì)算若干對(duì)所述第一階交叉相關(guān)之間的第二階交叉相關(guān)且基 于所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確定所述視頻序列中所包括的所述幀中 的每一者的圖片類型。在一額外方面中，本發(fā)明提供一種系統(tǒng)，其包含編碼裝置，所述編碼裝置包括將視 頻數(shù)據(jù)分割為包括多個(gè)幀的GOP結(jié)構(gòu)的GOP分割器及實(shí)時(shí)地確定所述GOP結(jié)構(gòu)中所包括的 所述幀的圖片類型的AGOP結(jié)構(gòu)確定模塊。所述系統(tǒng)還包括定位在所述代碼轉(zhuǎn)換器外部的 基于相關(guān)的AGOP結(jié)構(gòu)確定模塊，其基于所述GOP結(jié)構(gòu)中所包括的若干對(duì)幀內(nèi)的圖像信息之 間的第一階交叉相關(guān)及若干對(duì)第一階交叉相關(guān)之間的第二階交叉相關(guān)來(lái)確定所述幀的基 準(zhǔn)圖片類型。所述系統(tǒng)進(jìn)一步包含基準(zhǔn)比較器，其將所述圖片類型與所述基準(zhǔn)圖片類型比 較以確定所述集成在所述編碼裝置中的AGOP結(jié)構(gòu)確定模塊的準(zhǔn)確度。在另一方面中，本發(fā)明提供一種編碼裝置，其包含GOP分割器，所述GOP分割器將 視頻數(shù)據(jù)分割為包括多個(gè)幀的GOP結(jié)構(gòu)。所述編碼裝置還包含基于相關(guān)的AGOP結(jié)構(gòu)確定 模塊，其基于所述GOP結(jié)構(gòu)中所包括的若干對(duì)幀內(nèi)的圖像信息之間的第一階交叉相關(guān)及若 干對(duì)第一階交叉相關(guān)之間的第二階交叉相關(guān)來(lái)實(shí)時(shí)地確定所述幀的圖片類型。在一種情況 下，所述編碼裝置可包含對(duì)先前壓縮的視頻數(shù)據(jù)起作用的實(shí)時(shí)或非實(shí)時(shí)代碼轉(zhuǎn)換器。在另 一情況下，所述編碼裝置可包含對(duì)先前未壓縮的原始視頻數(shù)據(jù)起作用的實(shí)時(shí)或非實(shí)時(shí)編碼ο本發(fā)明中所描述的技術(shù)可以硬件、軟件、固件或其任一組合實(shí)施。如果以軟件實(shí) 施，則所述軟件可在計(jì)算機(jī)中執(zhí)行。起初可將所述軟件存儲(chǔ)為指令、程序代碼或其類似物。 因此，本發(fā)明還預(yù)期一種包含計(jì)算機(jī)可讀媒體的用于處理視頻數(shù)據(jù)的計(jì)算機(jī)程序產(chǎn)品，其 中所述計(jì)算機(jī)可讀媒體包含用于使計(jì)算機(jī)執(zhí)行根據(jù)本發(fā)明的技術(shù)及功能的指令?；蛘?，如 果以硬件實(shí)施，則所述硬件實(shí)施方案可為數(shù)字的、模擬的或兩者兼有。本發(fā)明的方面可在計(jì) 算機(jī)可讀媒體或包含計(jì)算機(jī)可讀媒體的計(jì)算機(jī)程序產(chǎn)品中實(shí)施。計(jì)算機(jī)程序產(chǎn)品可包括封 裝材料。在隨附圖式及以下描述中闡明了各種實(shí)例的額外細(xì)節(jié)。其它特征、目標(biāo)、優(yōu)勢(shì)及實(shí) 例將通過(guò)描述及圖式且通過(guò)權(quán)利要求書(shū)變得顯而易見(jiàn)。


圖1為說(shuō)明作為在實(shí)時(shí)代碼轉(zhuǎn)換器中實(shí)施的AGOP結(jié)構(gòu)確定模塊可與之比較的離 線基準(zhǔn)的基于相關(guān)的AGOP結(jié)構(gòu)確定模塊的示范性實(shí)施的框圖。圖2為說(shuō)明在實(shí)時(shí)代碼轉(zhuǎn)換器中實(shí)施的基于相關(guān)的AGOP結(jié)構(gòu)確定模塊的示范性 實(shí)施的框圖。圖3為說(shuō)明作為在實(shí)時(shí)編碼器中實(shí)施的AGOP結(jié)構(gòu)確定模塊可與之比較的離線基 準(zhǔn)的基于相關(guān)的AGOP結(jié)構(gòu)確定模塊的示范性實(shí)施的框圖。圖4為說(shuō)明在實(shí)時(shí)編碼器中實(shí)施的基于相關(guān)的AGOP結(jié)構(gòu)確定模塊的示范性實(shí)施 的框圖。圖5為說(shuō)明作為由實(shí)時(shí)編碼裝置利用的離線基準(zhǔn)的來(lái)自圖1及圖3的基于相關(guān)的 AGOP結(jié)構(gòu)確定模塊的示范性操作的流程圖。圖6為說(shuō)明在實(shí)時(shí)或非實(shí)時(shí)編碼裝置中實(shí)施的來(lái)自圖2及圖4的基于相關(guān)的AGOP 結(jié)構(gòu)確定模塊的示范性操作的流程圖。圖7為更詳細(xì)地說(shuō)明來(lái)自圖1到圖4的基于相關(guān)的AGOP結(jié)構(gòu)確定模塊的框圖。圖8A到圖8C為說(shuō)明視頻序列中所包括的幀之間的第一階交叉相關(guān)及第二階交叉 相關(guān)的圖式。圖9為說(shuō)明來(lái)自圖7的基于相關(guān)的AGOP結(jié)構(gòu)確定模塊中所包括的相關(guān)器的示范 性實(shí)施的框圖。圖10為說(shuō)明來(lái)自圖7的基于相關(guān)的AGOP結(jié)構(gòu)確定模塊中所包括的相關(guān)器的另一 示范性實(shí)施的框圖。圖11為說(shuō)明來(lái)自圖7的基于相關(guān)的AGOP結(jié)構(gòu)確定模塊中所包括的相關(guān)分析器的 示范性實(shí)施的框圖。圖12為說(shuō)明作為來(lái)自圖11的相關(guān)分析器中所包括的視頻轉(zhuǎn)變檢測(cè)器的一部分的 緊湊支持事件檢測(cè)器的框圖。圖13為說(shuō)明作為來(lái)自圖11的相關(guān)分析器中所包括的視頻轉(zhuǎn)變檢測(cè)器的一部分的 擴(kuò)展支持事件檢測(cè)器的框圖。圖14為說(shuō)明作為來(lái)自圖11的相關(guān)分析器中所包括的視頻轉(zhuǎn)變檢測(cè)器的一部分的 全局運(yùn)動(dòng)檢測(cè)器的框圖。
18
圖15為說(shuō)明基于相關(guān)的AGOP結(jié)構(gòu)確定模塊基于圖像交叉相關(guān)來(lái)確定視頻序列中 所包括的幀的圖片類型的示范性操作的流程圖。圖16為說(shuō)明基于相關(guān)的AGOP結(jié)構(gòu)確定模塊基于子圖像交叉相關(guān)來(lái)確定視頻序列 中所包括的幀的圖片類型的示范性操作的流程圖。圖17為說(shuō)明包括剪輯場(chǎng)景改變指紋及閃光幀指紋的來(lái)自圖12的緊湊支持事件檢 測(cè)器的輸出的曲線圖。圖18為說(shuō)明包括部分場(chǎng)景改變指紋的來(lái)自圖12的緊湊支持事件檢測(cè)器的輸出的 曲線圖。圖19為說(shuō)明包括交叉淡化指紋的來(lái)自圖13的擴(kuò)展支持事件檢測(cè)器的輸出的曲線 圖。圖20A及圖20B為說(shuō)明包括相機(jī)搖攝指紋及相機(jī)卷動(dòng)指紋的來(lái)自圖14的全局運(yùn) 動(dòng)檢測(cè)器的輸出的曲線圖。
具體實(shí)施例方式本發(fā)明描述用于基于視頻序列中所包括的多個(gè)幀之間的交叉相關(guān)來(lái)確定所述幀 中的每一者的圖片類型的技術(shù)。所述交叉相關(guān)包括所述視頻序列中所包括的若干對(duì)幀內(nèi) 的圖像信息之間的第一階交叉相關(guān)及若干對(duì)所述第一階交叉相關(guān)之間的第二階交叉相關(guān)。 可分析所述第一階交叉相關(guān)以檢測(cè)所述幀之間的視頻轉(zhuǎn)變效果，例如，剪輯場(chǎng)景改變、閃光 幀、交叉淡化及相機(jī)搖攝與卷動(dòng)。可比較分析所述第一階交叉相關(guān)及所述第二階交叉相關(guān) 以確定所述幀之間的時(shí)間相似性。因此，所述基于相關(guān)的確定技術(shù)基于所述視頻轉(zhuǎn)變效果 及所述時(shí)間相似性來(lái)確定所述幀的圖片類型。所述基于相關(guān)的確定技術(shù)可計(jì)算若干對(duì)幀內(nèi) 的圖像之間或若干對(duì)幀內(nèi)的子圖像(例如，宏塊)的集合之間的第一階交叉相關(guān)，在所述若 干對(duì)幀中的每一對(duì)幀的所述子圖像的全部或一部分上求所述第一階交叉相關(guān)的平均值。更具體來(lái)說(shuō)，所述技術(shù)可基于圖片組(GOP)結(jié)構(gòu)中所包括的幀之間的交叉相關(guān)來(lái) 自適應(yīng)地確定所述幀的圖片類型。GOP結(jié)構(gòu)基于幀內(nèi)及幀間編碼技術(shù)而將視頻數(shù)據(jù)的長(zhǎng)序 列分割為可管理的數(shù)據(jù)集合。舉例來(lái)說(shuō)，GOP結(jié)構(gòu)通常以I (“幀內(nèi)”)幀開(kāi)始，繼之以P(“經(jīng) 預(yù)測(cè)的”)幀(其指的是先前I及P幀)或B( “雙向預(yù)測(cè)性”)幀(其指的是先前及后續(xù)I 及P幀)。在一些情況下，GOP結(jié)構(gòu)可為閉合式的，以使得GOP結(jié)構(gòu)中所包括的幀形成可在 不參考GOP結(jié)構(gòu)外的幀的情況下完全解碼的自含單元。在其它情況下，GOP結(jié)構(gòu)可為開(kāi)放 式的，以使得GOP結(jié)構(gòu)中所包括的幀可參考GOP結(jié)構(gòu)外的幀?？稍诨谙嚓P(guān)的自適應(yīng)圖片組(AGOP)結(jié)構(gòu)確定模塊內(nèi)執(zhí)行本文中所描述的技 術(shù)，所述基于相關(guān)的自適應(yīng)圖片組(AGOP)結(jié)構(gòu)確定模塊能夠確定GOP結(jié)構(gòu)中所包括的多 個(gè)幀中的每一者的圖片類型且更新所述GOP結(jié)構(gòu)以指定所述幀中的每一者的所確定的圖 片類型。從編碼效率的觀點(diǎn)來(lái)說(shuō)，本文中所描述的基于相關(guān)的AGOP結(jié)構(gòu)確定技術(shù)在確定 GOP結(jié)構(gòu)中所包括的幀的圖片類型時(shí)實(shí)現(xiàn)高水平的準(zhǔn)確度且可被視為AGOP結(jié)構(gòu)確定技術(shù) 的“黃金標(biāo)準(zhǔn)”?；谙嚓P(guān)的AGOP確定模塊的輸出展現(xiàn)時(shí)間相似性量度的直觀行為且以高 敏感度提供關(guān)于相關(guān)動(dòng)態(tài)特性的信息。此外，基于相關(guān)的AGOP確定模塊的性能在很大程度 上取決于幀內(nèi)容、速率-失真最佳化特性及編碼帶寬機(jī)制(encodingbandwidth regime)特 性。
19
圖1為說(shuō)明作為在實(shí)時(shí)代碼轉(zhuǎn)換器10中實(shí)施的AGOP結(jié)構(gòu)確定模塊18可與之比 較的離線基準(zhǔn)的基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22的示范性實(shí)施的框圖。代碼轉(zhuǎn)換器10 可至少部分形成為可被統(tǒng)稱為集成電路裝置的一個(gè)或一個(gè)以上集成電路裝置。在一些方面 中，代碼轉(zhuǎn)換器10可形成例如移動(dòng)電話的無(wú)線通信裝置手持機(jī)的一部分。如圖1中所說(shuō)明， 代碼轉(zhuǎn)換器10包括解碼器11、預(yù)處理器12及編碼器14。預(yù)處理器12包括GOP分割器16 且編碼器14包括AGOP結(jié)構(gòu)確定模塊18。在其它實(shí)施方案中，可在預(yù)處理器12與編碼器 14之間劃分AGOP結(jié)構(gòu)確定模塊18的功能。代碼轉(zhuǎn)換器10從視頻數(shù)據(jù)提供者接收包括經(jīng)編碼的視頻數(shù)據(jù)的視頻序列。視頻 序列可包含使用一視頻編碼標(biāo)準(zhǔn)來(lái)編碼的視頻數(shù)據(jù)，所述視頻編碼標(biāo)準(zhǔn)不支持最有效地利 用連續(xù)幀之間或單個(gè)幀內(nèi)的相似性的算法。舉例來(lái)說(shuō)，視頻序列可包含使用MPEG-2 (第2 部分)來(lái)編碼的數(shù)字電視數(shù)據(jù)，所述MPEG-2(第2部分)不提供當(dāng)前最有效的幀間及幀內(nèi) 壓縮。然而，許多視頻應(yīng)用(特別是無(wú)線視頻廣播應(yīng)用)需要由例如ITU-T H. 264的更高 級(jí)的編碼標(biāo)準(zhǔn)提供的高度有效的數(shù)據(jù)壓縮，所述更高級(jí)的編碼標(biāo)準(zhǔn)通過(guò)較復(fù)雜的算法來(lái)利 用幀間及幀內(nèi)的數(shù)據(jù)冗余。因此，代碼轉(zhuǎn)換器10可將視頻序列轉(zhuǎn)換為另一更高級(jí)的編碼標(biāo) 準(zhǔn)。舉例來(lái)說(shuō)，代碼轉(zhuǎn)換器10可對(duì)所述視頻序列進(jìn)行重新編碼以使視頻幀對(duì)無(wú)線視頻廣 播、有效存儲(chǔ)或需要高度有效的數(shù)據(jù)壓縮的其它應(yīng)用或服務(wù)作好準(zhǔn)備。為了轉(zhuǎn)換視頻序列，解碼器11將視頻序列從較低效的原始編碼標(biāo)準(zhǔn)解碼。預(yù)處理 器12內(nèi)的GOP分割器16接著將經(jīng)解碼的視頻序列分割為包括多個(gè)幀的GOP結(jié)構(gòu)。GOP分 割器16可根據(jù)基于使得能夠進(jìn)行視頻序列的均勻I幀間隔的隨機(jī)存取的預(yù)定GOP結(jié)構(gòu)大 小或根據(jù)使得能夠進(jìn)行視頻序列內(nèi)的I個(gè)幀的隨機(jī)存取的隨機(jī)定位而將經(jīng)解碼的視頻序 列分割為幀群組。舉例來(lái)說(shuō)，GOP分割器16可將經(jīng)解碼的視頻序列分割為約三十個(gè)幀的若 干群組，其中每一群組以一 I幀開(kāi)始。編碼器14內(nèi)的AGOP結(jié)構(gòu)確定模塊18確定由GOP分割器16產(chǎn)生的GOP結(jié)構(gòu)中所 包括的幀中的每一者的圖片類型。AGOP結(jié)構(gòu)確定模塊18可執(zhí)行任何非基于相關(guān)的AGOP結(jié) 構(gòu)確定技術(shù)。舉例來(lái)說(shuō)，AGOP結(jié)構(gòu)確定模塊18可使用直方圖或方差測(cè)量、基于邊緣確定的 算法或基于運(yùn)動(dòng)向量場(chǎng)演變或時(shí)間預(yù)測(cè)效率量度的算法來(lái)執(zhí)行對(duì)亮度信號(hào)及色度信號(hào)的 統(tǒng)計(jì)特征的分析以確定GOP結(jié)構(gòu)中所包括的幀的圖片類型。編碼器14接著使用所要編碼標(biāo) 準(zhǔn)來(lái)對(duì)幀進(jìn)行重新編碼且將所述經(jīng)重新編碼的幀發(fā)送到發(fā)射器以用于無(wú)線視頻廣播、發(fā)送 到存儲(chǔ)裝置以用于存儲(chǔ)或發(fā)送到其它設(shè)備以用于需要高度有效的數(shù)據(jù)壓縮的應(yīng)用或服務(wù)。根據(jù)本發(fā)明的一方面，基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22可定位在代碼轉(zhuǎn)換器10 外部以作為在代碼轉(zhuǎn)換器10中實(shí)施的AGOP結(jié)構(gòu)確定模塊18可與之比較的離線基準(zhǔn)?；?于相關(guān)的AGOP結(jié)構(gòu)確定模塊22基于由GOP分割器16產(chǎn)生的GOP結(jié)構(gòu)中所包括的幀之間 的交叉相關(guān)來(lái)確定所述幀中的每一者的基準(zhǔn)圖片類型。由基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22執(zhí)行的交叉相關(guān)計(jì)算可包括GOP結(jié)構(gòu)中所包 括的若干對(duì)幀內(nèi)的圖像信息之間的第一階交叉相關(guān)及若干對(duì)所述第一階交叉相關(guān)之間的 第二階交叉相關(guān)?？稍谙袼赜蛑杏?jì)算第一階交叉相關(guān)計(jì)算?？煞治鏊龅谝浑A交叉相關(guān)以 檢測(cè)所述幀之間的視頻轉(zhuǎn)變效果。可比較分析所述第一階交叉相關(guān)及所述第二階交叉相關(guān) 以確定相鄰幀之間的時(shí)間相似性。以此方式，基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22基于視頻 轉(zhuǎn)變及時(shí)間相似性來(lái)確定所述幀的圖片類型。
視頻轉(zhuǎn)變效果指用以從一視頻序列的當(dāng)前場(chǎng)景轉(zhuǎn)變到同一視頻序列的另一場(chǎng)景 或另一視頻序列的另一場(chǎng)景的視覺(jué)視頻效果。總地來(lái)說(shuō)，可將視頻轉(zhuǎn)變效果劃分為三類例 如剪輯場(chǎng)景改變、鏡頭邊界及閃光幀的緊湊支持效果(compact support effect)；例如交 叉淡化及溶解(dissolve)的擴(kuò)展支持效果；及例如相機(jī)搖攝與相機(jī)卷動(dòng)的全局運(yùn)動(dòng)效果。 時(shí)間相似性指當(dāng)前幀與相鄰幀之間的圖像內(nèi)容或細(xì)節(jié)重復(fù)程度。測(cè)量時(shí)間相似性可幫助確 定當(dāng)前幀是否包括適于編碼為P、B或I圖片的內(nèi)容。舉例來(lái)說(shuō)，如果當(dāng)前幀不類似于任何 相鄰幀，則應(yīng)將當(dāng)前幀編碼為I圖片。如果當(dāng)前幀類似于先前相鄰幀但不類似于后續(xù)相鄰 幀，則應(yīng)將當(dāng)前幀編碼為P圖片。如果當(dāng)前幀類似于先前相鄰幀及后續(xù)相鄰幀，則應(yīng)將其編 碼為P圖片或B圖片。在一個(gè)方面中，基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22計(jì)算所述GOP結(jié)構(gòu)中所包括的 若干對(duì)幀內(nèi)的圖像之間的第一階交叉相關(guān)。第一階圖像交叉相關(guān)識(shí)別所述若干對(duì)幀之間的 全局(亦即，總體)相似性及全局移動(dòng)的量，但不識(shí)別在幀內(nèi)在較小規(guī)模的子圖像處發(fā)生的 移動(dòng)。在此情況下，基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22可確定全幀的圖片類型。在另一方面中，基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22計(jì)算GOP結(jié)構(gòu)中所包括的若干 對(duì)幀內(nèi)的子圖像(例如，宏塊)的集合之間的第一階交叉相關(guān)且在所述若干對(duì)幀中的每一 對(duì)幀的子圖像的全部或一部分上求所述交叉相關(guān)的平均值。第一階子圖像交叉相關(guān)識(shí)別所 述若干對(duì)幀之間的子圖像相似性及移動(dòng)量，且識(shí)別在幀內(nèi)于何處發(fā)生移動(dòng)。在此情況下，基 于相關(guān)的AGOP結(jié)構(gòu)確定模塊22通過(guò)添加填充像素來(lái)填充子圖像集合中的每一子圖像以實(shí) 現(xiàn)共同圖像大小。以此方式，基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22可使第一幀內(nèi)的經(jīng)填充的 子圖像中的每一者與第二幀內(nèi)的具有潛在不同的原始大小的經(jīng)填充的子圖像交叉相關(guān)。舉 例來(lái)說(shuō)，一子圖像可包含一可填充為64X64圖像的16X16宏塊。在其它實(shí)例中，子圖像可 包含16X8、8X16、8X8或更小的像素塊。此外，可將所述視頻序列中所包括的所述幀中的 每一者劃分為多個(gè)片斷，以使得基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22可確定所述幀中的每一 者的個(gè)別片斷的圖片類型。從編碼效率的觀點(diǎn)來(lái)說(shuō)，基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22在確定GOP結(jié)構(gòu)中所 包括的幀的圖片類型時(shí)實(shí)現(xiàn)高水平的準(zhǔn)確度，以使得其可被視為用于評(píng)估其它AGOP確定 技術(shù)的“黃金標(biāo)準(zhǔn)”。基準(zhǔn)比較器20將由AGOP結(jié)構(gòu)確定模塊18實(shí)時(shí)確定的圖片類型與由 基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22確定的基準(zhǔn)圖片類型比較以確定集成在實(shí)時(shí)代碼轉(zhuǎn)換器 10中的AGOP結(jié)構(gòu)確定模塊18的準(zhǔn)確度。以此方式，在實(shí)施于代碼轉(zhuǎn)換器10內(nèi)之前，AGOP 結(jié)構(gòu)確定模塊18的改變可根據(jù)基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22的“黃金標(biāo)準(zhǔn)”來(lái)加以測(cè) 試ο準(zhǔn)確地確定GOP結(jié)構(gòu)中所包括的幀的圖片類型減少所需編碼位速率且使得能夠 進(jìn)行幀的有效壓縮。舉例來(lái)說(shuō)，準(zhǔn)確地確定I、p及B幀的GOP結(jié)構(gòu)允許編碼器14通過(guò)利用 幀的不同冗余類型及相依結(jié)構(gòu)、針對(duì)幀的不同復(fù)雜性而利用適當(dāng)?shù)膲嚎s工具集合及支持例 如廣播應(yīng)用的通道切換的應(yīng)用特定要求來(lái)有效地對(duì)幀進(jìn)行編碼。以此方式，編碼器14可改 進(jìn)代碼轉(zhuǎn)換器10內(nèi)的速率-失真權(quán)衡。此外，依賴于內(nèi)容的圖片類型確定使編碼器14能 夠更好地利用信號(hào)相關(guān)以用于改進(jìn)的編碼效率及視頻轉(zhuǎn)變的更好處置。編碼器14可根據(jù)例如MPEG-2 (第2部分)、MPEG-4 (第2部分)、ITU-T H. 263或 ITU-T H.264/MPEG-4(第10部分)高級(jí)視頻編碼(AVC)的視頻壓縮標(biāo)準(zhǔn)來(lái)操作。雖然圖1中未圖示，但在一些方面中，編碼器14可與音頻解碼器及編碼器集成，且包括適當(dāng)?shù)亩嗦?復(fù)用器_多路分用器單元或其它硬件及軟件，以處置在共同數(shù)據(jù)流中或作為單獨(dú)數(shù)據(jù)流的 音頻及視頻兩者的編碼。如果適用，則多路復(fù)用器-多路分用器單元可遵照ITU-T H. 223 多路復(fù)用器協(xié)議或例如用戶數(shù)據(jù)報(bào)協(xié)議(UDP)的其它協(xié)議。H. 264/MPEG-4 第 10 部分(AVC)標(biāo)準(zhǔn)由 ITU-T 視頻編碼專家組(VCEG)與 IS0/IEC 運(yùn)動(dòng)圖片專家組(MPEG) —起制定以作為被稱作聯(lián)合視頻團(tuán)隊(duì)(JVT)的集體合伙關(guān)系的產(chǎn) 品。H. 264標(biāo)準(zhǔn)由ITU-T研究組描述于ITU-T建議H. 264“一般音視頻服務(wù)的高級(jí)視頻編碼 (Advanced video coding for generic audiovisual services)，，中，且標(biāo)注日期為 2005 年3月，所述建議在本文中可被稱作H. 264標(biāo)準(zhǔn)或H. 264規(guī)范或H. 264/AVC標(biāo)準(zhǔn)或規(guī)范。聯(lián)合視頻團(tuán)隊(duì)(JVT)繼續(xù)從事H. 264/MPEG-4AVC的可縮放視頻編碼(SVC)擴(kuò) 展。演進(jìn)SVC擴(kuò)展的規(guī)范采取聯(lián)合草案(JD)的形式。由JVT建立的聯(lián)合可縮放視頻模型 (JSVM)實(shí)施用于在可縮放視頻編碼中使用的工具，所述工具可在代碼轉(zhuǎn)換器10內(nèi)使用以 用于本發(fā)明中所描述的各種編碼任務(wù)。關(guān)于精細(xì)粒度可縮放性(res)編碼的詳細(xì)信息可 在聯(lián)合草案文獻(xiàn)中找到，例如，在托馬斯·維根德(Thomas Wiegand)、蓋瑞·蘇里文(Gary Sullivan)、朱里安·瑞切爾(Julien Reichel)、?？恕に谷A茲(Heiko Schwarz)及馬瑟亞 斯 維恩(Mathias Wien)的聯(lián)合草案6 (SVC JD6) “聯(lián)合草案6 可縮放視頻編碼(Joint Draft 6 =Scalable Video Coding) ”(JVT_S 201，2006 年 4 月，日內(nèi)瓦)中，及在托馬斯 維 根德、蓋瑞·蘇里文、朱里安·瑞切爾、?？恕に谷A茲及馬瑟亞斯·維恩的聯(lián)合草案9 (SVC JD9) “聯(lián)合草案 9:SVC 修正(Joint Draft 9 of SVC Amendment) ”(JVT-V201，2007 年 1 月，摩洛哥，馬拉喀什)中。在一些方面中，對(duì)于視頻廣播來(lái)說(shuō)，可將本發(fā)明中所描述的技術(shù)應(yīng)用于增強(qiáng) 型H. 264視頻編碼以用于使用將作為技術(shù)標(biāo)準(zhǔn)TIA-1099公開(kāi)的僅前向鏈路(FLO)空中 接口規(guī)范“陸上移動(dòng)多媒體多播的僅前向鏈路空中接口規(guī)范(Forward Link Only Air InterfaceSpecification for Terrestrial Mobile Multimedia Multicast)”)( "FLO 規(guī) 范”)而在陸上移動(dòng)多媒體多播(TM3)系統(tǒng)中遞送實(shí)時(shí)視頻服務(wù)。FLO規(guī)范包括界定適合于 FLO空中接口的位流語(yǔ)法及語(yǔ)義以及解碼過(guò)程的實(shí)例?；蛘撸筛鶕?jù)例如DVB-H (數(shù)字視頻 廣播_手持型)、ISDB-T (集成服務(wù)數(shù)字廣播_陸上型)或DMB (數(shù)字多媒體廣播)的其它 標(biāo)準(zhǔn)來(lái)廣播視頻。因此，可從移動(dòng)無(wú)線終端、視頻串流服務(wù)器或視頻廣播服務(wù)器發(fā)送經(jīng)編碼 的視頻數(shù)據(jù)的視頻序列。然而，本發(fā)明中所描述的技術(shù)不限于任何特定類型的廣播、多播、 單播或其它點(diǎn)對(duì)點(diǎn)系統(tǒng)。在廣播的情況下，視頻數(shù)據(jù)提供者可將經(jīng)編碼視頻數(shù)據(jù)的若干通 道廣播到多個(gè)接收裝置。圖2為說(shuō)明在實(shí)時(shí)代碼轉(zhuǎn)換器24中實(shí)施的基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22的 示范性實(shí)施的框圖。在圖2的實(shí)例中，使用基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22來(lái)進(jìn)行轉(zhuǎn)碼， 而非如同在圖1中用作評(píng)估不同GOP結(jié)構(gòu)確定模塊的基準(zhǔn)。代碼轉(zhuǎn)換器24可至少部分形 成為可被統(tǒng)稱為集成電路裝置的一個(gè)或一個(gè)以上集成電路裝置。在一些方面中，代碼轉(zhuǎn)換 器24可形成例如移動(dòng)電話的無(wú)線通信裝置手持機(jī)的一部分。如圖2中所說(shuō)明，代碼轉(zhuǎn)換器24包括解碼器25、預(yù)處理器26及編碼器28。預(yù)處 理器26包括GOP分割器30及復(fù)雜性降低模塊32。編碼器28包括基于相關(guān)的AGOP結(jié)構(gòu)確 定模塊22。在圖2中所說(shuō)明的實(shí)施方案中，整個(gè)基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22包括在編碼器28中。在其它實(shí)施方案中，可在預(yù)處理器26與編碼器28之間劃分基于相關(guān)的AGOP 結(jié)構(gòu)確定模塊22的功能。舉例來(lái)說(shuō)，基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22可在預(yù)處理器26 內(nèi)計(jì)算交叉相關(guān)且可在編碼器28內(nèi)執(zhí)行相關(guān)分析及圖片類型確定。代碼轉(zhuǎn)換器24從視頻數(shù)據(jù)提供者接收包括經(jīng)編碼的視頻數(shù)據(jù)的視頻序列。如上 文參看圖1所描述，視頻序列可包含使用不支持最有效地利用連續(xù)幀之間或單個(gè)幀內(nèi)的相 似性的算法的視頻編碼標(biāo)準(zhǔn)來(lái)編碼的視頻數(shù)據(jù)，例如，使用MPEG-2 (第2部分)來(lái)編碼的數(shù) 字電視數(shù)據(jù)。代碼轉(zhuǎn)換器24可將視頻序列轉(zhuǎn)換為例如ITU-T H. 264的另一更高級(jí)的編碼 標(biāo)準(zhǔn)。舉例來(lái)說(shuō)，代碼轉(zhuǎn)換器24可對(duì)所述視頻序列進(jìn)行重新編碼以使視頻幀對(duì)無(wú)線視頻廣 播、有效存儲(chǔ)或需要高度有效的數(shù)據(jù)壓縮的其它應(yīng)用或服務(wù)作好準(zhǔn)備。為了轉(zhuǎn)換視頻序列，解碼器25將視頻序列從較低效的原始編碼標(biāo)準(zhǔn)解碼。預(yù)處理 器26內(nèi)的GOP分割器30接著將經(jīng)解碼的視頻序列分割為包括多個(gè)幀的GOP結(jié)構(gòu)。GOP分 割器30可根據(jù)基于使得能夠進(jìn)行視頻序列的均勻I幀間隔的隨機(jī)存取的預(yù)定GOP大小或 根據(jù)使得能夠進(jìn)行視頻序列內(nèi)的I個(gè)幀的隨機(jī)存取的隨機(jī)定位而將經(jīng)解碼的視頻序列分 割為幀群組。舉例來(lái)說(shuō)，GOP分割器30可將經(jīng)解碼的視頻序列分割為約三十個(gè)幀的若干群 組，其中每一群組以一 I幀開(kāi)始。如上文參看圖1所描述，在非實(shí)時(shí)地執(zhí)行交叉相關(guān)計(jì)算時(shí)，可將基于相關(guān)的AGOP 結(jié)構(gòu)確定模塊22視為AGOP確定技術(shù)的“黃金標(biāo)準(zhǔn)”。因此，在基于相關(guān)的AGOP結(jié)構(gòu)確定模 塊22實(shí)施于非實(shí)時(shí)代碼轉(zhuǎn)換器內(nèi)的情況下，基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22可在無(wú)任何 復(fù)雜性降低的情況下非實(shí)時(shí)地確定圖片類型。然而，在圖2中所說(shuō)明的方面中，在代碼轉(zhuǎn)換 器24包含實(shí)時(shí)代碼轉(zhuǎn)換器的情況下，實(shí)施于代碼轉(zhuǎn)換器24內(nèi)的基于相關(guān)的AGOP結(jié)構(gòu)確定 模塊22可經(jīng)受復(fù)雜性降低以使得能夠進(jìn)行對(duì)圖片類型的實(shí)時(shí)確定。在圖2中所說(shuō)明的實(shí)施方案中，預(yù)處理器26包括復(fù)雜性降低模塊32，所述復(fù)雜性 降低模塊32執(zhí)行特定復(fù)雜性降低以使基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22能夠以最小的準(zhǔn) 確度損失來(lái)實(shí)時(shí)地計(jì)算交叉相關(guān)。舉例來(lái)說(shuō)，復(fù)雜性降低模塊44可降低GOP結(jié)構(gòu)中所包括 的幀內(nèi)的圖像信息的分辨率。復(fù)雜性降低模塊32還可限制基于相關(guān)的AGOP結(jié)構(gòu)確定模塊 22可在確定任何給定幀的圖片類型時(shí)計(jì)算的交叉相關(guān)計(jì)算的數(shù)目。在一些實(shí)施方案中，復(fù) 雜性降低模塊32可對(duì)視頻數(shù)據(jù)或基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22的實(shí)時(shí)功能執(zhí)行其它 復(fù)雜性降低。一旦復(fù)雜性降低模塊44已執(zhí)行必要的復(fù)雜性降低，編碼器24內(nèi)的基于相關(guān)的 AGOP結(jié)構(gòu)確定模塊22便基于由GOP分割器30產(chǎn)生的GOP結(jié)構(gòu)中所包括的幀之間的交叉相 關(guān)而實(shí)時(shí)地確定所述幀中的每一者的圖片類型。編碼器28接著使用所要編碼標(biāo)準(zhǔn)來(lái)對(duì)幀 進(jìn)行重新編碼且將所述經(jīng)重新編碼的幀發(fā)送到發(fā)射器以用于無(wú)線視頻廣播、發(fā)送到存儲(chǔ)裝 置以用于存儲(chǔ)或發(fā)送到其它設(shè)備以用于需要高度有效的數(shù)據(jù)壓縮的應(yīng)用或服務(wù)?；谙嚓P(guān)的AGOP結(jié)構(gòu)確定模塊22如上文參看圖1所描述而操作。在圖2中所說(shuō) 明的實(shí)例中，基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22的操作可經(jīng)受復(fù)雜性降低。然而，圖2中所 說(shuō)明的實(shí)例不希望是限制性的。在其它實(shí)例中，代碼轉(zhuǎn)換器24可包括軟件、硬件及/或固 件平臺(tái)，其就每單位時(shí)間所支持的計(jì)算數(shù)目性能而言足夠強(qiáng)大以實(shí)時(shí)地且在無(wú)任何復(fù)雜性 降低的情況下實(shí)施基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22。所述交叉相關(guān)包括GOP結(jié)構(gòu)中所包括的若干對(duì)幀內(nèi)的圖像信息之間的第一階交叉相關(guān)及若干對(duì)所述第一階交叉相關(guān)之間的第二階交叉相關(guān)?？稍谙袼赜蛑杏?jì)算第一階交 叉相關(guān)?？煞治鏊龅谝浑A交叉相關(guān)以檢測(cè)所述幀之間的視頻轉(zhuǎn)變?？杀容^分析第一階交 叉相關(guān)及第二階交叉相關(guān)以確定相鄰幀之間的時(shí)間相似性。以此方式，基于相關(guān)的AGOP結(jié) 構(gòu)確定模塊22基于視頻轉(zhuǎn)變及時(shí)間相似性來(lái)確定所述幀的圖片類型。在一個(gè)方面中，基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22計(jì)算GOP結(jié)構(gòu)中所包括的若干 對(duì)幀內(nèi)的圖像之間的第一階交叉相關(guān)。第一階圖像交叉相關(guān)識(shí)別所述若干對(duì)幀之間的全 局(亦即，總體)相似性及全局移動(dòng)的量，但不識(shí)別在幀內(nèi)在較小規(guī)模的子圖像處發(fā)生的移 動(dòng)。在此情況下，基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22可確定全幀的圖片類型。在另一方面中，基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22計(jì)算GOP結(jié)構(gòu)中所包括的若干 對(duì)幀內(nèi)的子圖像(例如，宏塊)的集合之間的第一階交叉相關(guān)且在所述若干對(duì)幀中的每一 對(duì)幀的子圖像的全部或一部分上求所述交叉相關(guān)的平均值。第一階子圖像交叉相關(guān)識(shí)別所 述若干對(duì)幀之間的子圖像相似性及移動(dòng)量，且識(shí)別在幀內(nèi)于何處發(fā)生移動(dòng)。在此情況下，基 于相關(guān)的AGOP結(jié)構(gòu)確定模塊22通過(guò)添加填充像素來(lái)填充子圖像集合中的每一子圖像以實(shí) 現(xiàn)共同圖像大小。以此方式，基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22可使第一幀內(nèi)的經(jīng)填充的 子圖像中的每一者與第二幀內(nèi)的潛在不同原始大小的經(jīng)填充的子圖像交叉相關(guān)。舉例來(lái) 說(shuō)，一子圖像可包含一可填充為64X64圖像的16X16宏塊。在其它實(shí)例中，子圖像可包含 16X8,8X16,8X8或更小的像素塊。此外，可將所述視頻序列中所包括的所述幀中的每一 者劃分為多個(gè)片斷，以使得基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22可確定所述幀中的每一者的 個(gè)別片斷的圖片類型。從編碼效率的觀點(diǎn)來(lái)說(shuō)，基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22使得能夠進(jìn)行對(duì)GOP 結(jié)構(gòu)中所包括的幀的圖片類型的準(zhǔn)確實(shí)時(shí)確定。準(zhǔn)確地確定GOP結(jié)構(gòu)中所包括的幀的圖片 類型減少編碼位速率且使得能夠進(jìn)行幀的有效壓縮。舉例來(lái)說(shuō)，準(zhǔn)確地確定I、P及B幀的 GOP結(jié)構(gòu)允許編碼器28通過(guò)利用幀的不同冗余類型及相依結(jié)構(gòu)、針對(duì)幀的不同復(fù)雜性利用 適當(dāng)?shù)膲嚎s工具集合且支持例如廣播應(yīng)用的通道切換的應(yīng)用特定要求來(lái)有效地對(duì)幀進(jìn)行 編碼。以此方式，編碼器28可改進(jìn)代碼轉(zhuǎn)換器24內(nèi)的速率-失真權(quán)衡。此外，依賴于內(nèi)容 的圖片類型確定使編碼器28能夠更好地利用信號(hào)相關(guān)以用于改進(jìn)的編碼效率及視頻轉(zhuǎn)變 的更好處置。編碼器28可大體上類似于圖1的編碼器14而操作。因此，經(jīng)編碼的視頻數(shù) 據(jù)的視頻序列可為移動(dòng)無(wú)線終端、視頻串流服務(wù)器或視頻廣播服務(wù)器。在廣播的情況下，視 頻數(shù)據(jù)提供者可將經(jīng)編碼的視頻數(shù)據(jù)的若干通道廣播到多個(gè)接收裝置。在另一方面中，代碼轉(zhuǎn)換器24可包括基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22及類似于 來(lái)自圖1的AGOP結(jié)構(gòu)確定模塊18的AGOP結(jié)構(gòu)確定模塊兩者。以此方式，當(dāng)足夠資源可用 以基于交叉相關(guān)實(shí)時(shí)地確定圖片類型時(shí)，代碼轉(zhuǎn)換器24可利用基于相關(guān)的AGOP結(jié)構(gòu)確定 模塊22。然而，當(dāng)資源不足時(shí)，代碼轉(zhuǎn)換器24可改為利用可更快但較不準(zhǔn)確的非基于相關(guān) 的AGOP結(jié)構(gòu)確定模塊以用于對(duì)圖片類型的實(shí)時(shí)確定。圖3為說(shuō)明作為在實(shí)時(shí)編碼器36中實(shí)施的AGOP結(jié)構(gòu)確定模塊40可與之比較的 離線基準(zhǔn)的基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22的示范性實(shí)施的框圖。編碼器36可至少部 分形成為可被統(tǒng)稱為集成電路裝置的一個(gè)或一個(gè)以上集成電路裝置。在一些方面中，編碼 器36可形成例如移動(dòng)電話的無(wú)線通信裝置手持機(jī)的一部分。如圖3中所說(shuō)明，編碼器36包括GOP分割器38及AGOP結(jié)構(gòu)確定模塊40。編碼器
2436可包含單遍或多遍視頻編碼器。編碼器36可根據(jù)例如MPEG-2 (第2部分)、MPEG_4 (第 2部分)、ITU-T H. 263或ITU-T H. 264/MPEG_4(第10部分)高級(jí)視頻編碼(AVC)的視頻 壓縮標(biāo)準(zhǔn)來(lái)操作。編碼器36從視頻數(shù)據(jù)提供者接收包括先前未壓縮的原始視頻數(shù)據(jù)的視頻序列。 許多視頻應(yīng)用(特別是無(wú)線視頻廣播應(yīng)用)需要由例如ITU-T H. 264的高級(jí)編碼標(biāo)準(zhǔn)提供 的高度有效的數(shù)據(jù)壓縮，所述高級(jí)編碼標(biāo)準(zhǔn)通過(guò)更復(fù)雜的算法來(lái)利用跨越幀及幀內(nèi)的數(shù)據(jù) 冗余。舉例來(lái)說(shuō)，編碼器36可對(duì)所述視頻序列進(jìn)行編碼以使視頻幀對(duì)無(wú)線視頻廣播、有效 存儲(chǔ)或需要高度有效的數(shù)據(jù)壓縮的其它應(yīng)用或服務(wù)作好準(zhǔn)備。為了對(duì)視頻序列進(jìn)行編碼，GOP分割器38將視頻序列分割為包括多個(gè)幀的GOP結(jié) 構(gòu)。GOP分割器38可根據(jù)基于使得能夠進(jìn)行視頻序列的均勻I幀間隔的隨機(jī)存取的預(yù)定 GOP結(jié)構(gòu)大小或根據(jù)使得能夠進(jìn)行視頻序列內(nèi)的I個(gè)幀的隨機(jī)存取的隨機(jī)定位而將視頻序 列分割為幀群組。舉例來(lái)說(shuō)，GOP分割器38可將視頻序列分割為約三十個(gè)幀的若干群組， 其中每一群組以一 I幀開(kāi)始。在其它情況下，GOP分割器38可根據(jù)基于基本傳輸方案的物 理層包化及數(shù)據(jù)突發(fā)特性的考慮而將視頻序列分割為幀群組。統(tǒng)計(jì)多路復(fù)用方案的存在及 其設(shè)計(jì)還可影響GOP分割器38將視頻序列分割為幀群組的方式。編碼器36內(nèi)的AGOP結(jié)構(gòu)確定模塊40確定由GOP分割器38產(chǎn)生的GOP結(jié)構(gòu)中所 包括的幀中的每一者的圖片類型。AGOP結(jié)構(gòu)確定模塊40可執(zhí)行任何非基于相關(guān)的AGOP結(jié) 構(gòu)確定技術(shù)。編碼器36接著使用所要編碼標(biāo)準(zhǔn)來(lái)對(duì)幀進(jìn)行編碼且將所述經(jīng)編碼的幀發(fā)送 到發(fā)射器以用于無(wú)線視頻廣播、發(fā)送到存儲(chǔ)裝置以用于存儲(chǔ)或發(fā)送到其它設(shè)備以用于需要 高度有效的數(shù)據(jù)壓縮的應(yīng)用或服務(wù)。根據(jù)本發(fā)明的一方面，基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22可定位在編碼器36外部 以作為在編碼器36中實(shí)施的AGOP結(jié)構(gòu)確定模塊40可與之比較的離線基準(zhǔn)?；谙嚓P(guān)的 AGOP結(jié)構(gòu)確定模塊22基于由GOP分割器38產(chǎn)生的GOP結(jié)構(gòu)中所包括的幀之間的交叉相關(guān) 來(lái)確定所述幀中的每一者的基準(zhǔn)圖片類型。基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22如上文參看 圖1所述而操作。從編碼效率的觀點(diǎn)來(lái)說(shuō)，基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22在確定GOP結(jié)構(gòu)中所 包括的幀的圖片類型時(shí)實(shí)現(xiàn)高水平的準(zhǔn)確度，以使得其可被視為用于評(píng)估其它AGOP確定 技術(shù)的“黃金標(biāo)準(zhǔn)”?；鶞?zhǔn)比較器42將由AGOP結(jié)構(gòu)確定模塊40實(shí)時(shí)確定的圖片類型與由 基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22確定的基準(zhǔn)圖片類型比較以確定在實(shí)時(shí)編碼器36中集 成的AGOP結(jié)構(gòu)確定模塊40的準(zhǔn)確度。以此方式，在實(shí)施于編碼器36內(nèi)之前，AGOP結(jié)構(gòu)確 定模塊40的改變可對(duì)照基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22的“黃金標(biāo)準(zhǔn)”來(lái)加以測(cè)試。圖4為說(shuō)明在實(shí)時(shí)編碼器44中實(shí)施的基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22的示范 性實(shí)施的框圖。在圖4的實(shí)例中，使用基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22來(lái)進(jìn)行編碼，而非 如同在圖3中用作評(píng)估不同GOP結(jié)構(gòu)確定模塊的基準(zhǔn)。編碼器44可至少部分形成為可被 統(tǒng)稱為集成電路裝置的一個(gè)或一個(gè)以上集成電路裝置。在一些方面中，編碼器44可形成例 如移動(dòng)電話的無(wú)線通信裝置手持機(jī)的一部分。如圖4中所說(shuō)明，編碼器44包括GOP分割器46、復(fù)雜性降低模塊48及基于相關(guān)的 AGOP結(jié)構(gòu)確定模塊22。編碼器44可包含單遍或多遍視頻編碼器。編碼器44可根據(jù)例如 MPEG-2 (第 2 部分)、MPEG-4 (第 2 部分)、ITU-T H. 263 或 ITU-T H. 264/MPEG-4 (第 10 部
25分)高級(jí)視頻編碼(AVC)的視頻壓縮標(biāo)準(zhǔn)來(lái)操作。編碼器44從視頻數(shù)據(jù)提供者接收包括先前未壓縮的原始視頻數(shù)據(jù)的視頻序列。 編碼器32可對(duì)所述視頻序列進(jìn)行編碼以使視頻幀對(duì)無(wú)線視頻廣播、有效存儲(chǔ)或需要高度 有效的數(shù)據(jù)壓縮的其它應(yīng)用或服務(wù)作好準(zhǔn)備。為了對(duì)視頻序列進(jìn)行編碼，GOP分割器46將 視頻序列分割為包括多個(gè)幀的GOP結(jié)構(gòu)。如上文所描述，在非實(shí)時(shí)地執(zhí)行交叉相關(guān)計(jì)算時(shí)， 可將基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22視為AGOP確定技術(shù)的“黃金標(biāo)準(zhǔn)”。因此，在基于相 關(guān)的AGOP結(jié)構(gòu)確定模塊22實(shí)施于非實(shí)時(shí)編碼器內(nèi)的情況下，基于相關(guān)的AGOP結(jié)構(gòu)確定模 塊22可在無(wú)任何復(fù)雜性降低的情況下非實(shí)時(shí)地確定圖片類型。然而，在圖4中所說(shuō)明的方 面中，在編碼器44包含實(shí)時(shí)編碼器的情況下，實(shí)施于編碼器44內(nèi)的基于相關(guān)的AGOP結(jié)構(gòu) 確定模塊22可經(jīng)受復(fù)雜性降低以使得能夠進(jìn)行對(duì)圖片類型的實(shí)時(shí)確定。在圖4中所說(shuō)明的實(shí)施方案中，復(fù)雜性降低模塊48執(zhí)行特定復(fù)雜性降低以使基于 相關(guān)的AGOP結(jié)構(gòu)確定模塊22能夠以最小的準(zhǔn)確度損失來(lái)實(shí)時(shí)地執(zhí)行交叉相關(guān)計(jì)算。復(fù)雜 性降低模塊48大體類似于圖2的代碼轉(zhuǎn)換器24的預(yù)處理器26內(nèi)的復(fù)雜性降低模塊32而 操作?；谙嚓P(guān)的AGOP結(jié)構(gòu)確定模塊22如上文參看圖1所描述而操作。在圖4中所說(shuō) 明的實(shí)例中，基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22的操作可經(jīng)受復(fù)雜性降低。然而，圖4中所 說(shuō)明的實(shí)例不希望是限制性的。在其它實(shí)例中，編碼器44可包括軟件、硬件及/或固件平 臺(tái)，其就每單位時(shí)間所支持的計(jì)算數(shù)目性能而言足夠強(qiáng)大以實(shí)時(shí)地且在無(wú)任何復(fù)雜性降低 的情況下實(shí)施基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22。圖5為說(shuō)明作為由實(shí)時(shí)代碼轉(zhuǎn)換器10利用的離線基準(zhǔn)的基于相關(guān)的AGOP結(jié)構(gòu)確 定模塊22的示范性操作的流程圖。將與圖1的實(shí)時(shí)代碼轉(zhuǎn)換器10相關(guān)地描述圖5的流程 圖。一旦預(yù)處理器12從解碼器11接收到經(jīng)解碼的視頻數(shù)據(jù)，GOP分割器16便將視頻數(shù)據(jù) 分割為各包括多個(gè)幀的GOP結(jié)構(gòu)(50)。在實(shí)時(shí)代碼轉(zhuǎn)換器10中實(shí)施的AGOP結(jié)構(gòu)確定模塊18實(shí)時(shí)地確定GOP結(jié)構(gòu)中所 包括的幀的圖片類型(52)。定位在實(shí)時(shí)代碼轉(zhuǎn)換器10外部的基于相關(guān)的AGOP結(jié)構(gòu)確定模 塊22確定GOP結(jié)構(gòu)中所包括的幀的基準(zhǔn)圖片類型(54)?？蓪⒒谙嚓P(guān)的AGOP結(jié)構(gòu)確定模 塊22的輸出視為圖片類型確定技術(shù)的“黃金標(biāo)準(zhǔn)”。因此，基準(zhǔn)比較器20將由AGOP結(jié)構(gòu)確 定模塊18確定的實(shí)時(shí)計(jì)算的圖片類型與由基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22確定的基準(zhǔn) 圖片類型比較以確定AGOP結(jié)構(gòu)確定模塊18的準(zhǔn)確度(55)。圖6為說(shuō)明在實(shí)時(shí)代碼轉(zhuǎn)換器24中實(shí)施的基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22的 示范性操作的流程圖。將與圖2的實(shí)時(shí)代碼轉(zhuǎn)換器24相關(guān)地描述圖6的流程圖。一旦預(yù) 處理器26從解碼器25接收到經(jīng)解碼的視頻數(shù)據(jù)，GOP分割器30便將視頻數(shù)據(jù)分割為各包 括多個(gè)幀的GOP結(jié)構(gòu)(56)。復(fù)雜性降低模塊32降低GOP結(jié)構(gòu)中所包括的幀內(nèi)的圖像信息的分辨率(57)。在 一些情況下，復(fù)雜性降低模塊32還可限制基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22可在確定任何 給定幀的圖片類型時(shí)計(jì)算的交叉相關(guān)的數(shù)目。在實(shí)時(shí)代碼轉(zhuǎn)換器24中實(shí)施的基于相關(guān)的 AGOP結(jié)構(gòu)確定模塊22接著實(shí)時(shí)地確定GOP結(jié)構(gòu)中所包括的幀的圖片類型(58)。圖7為更詳細(xì)地說(shuō)明基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22的框圖。如上文所描述， 基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22可用作位于實(shí)時(shí)編碼裝置外部的離線基準(zhǔn)(圖1及圖3)或可在實(shí)時(shí)編碼裝置中實(shí)施(圖2及圖4)。如圖7中所說(shuō)明，基于相關(guān)的AGOP結(jié)構(gòu)確定模 塊22包括分析窗定位模塊60、相關(guān)器62、相關(guān)分析器64、圖片類型確定模塊66及評(píng)估模塊 68?？偟貋?lái)說(shuō)，基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22接收GOP結(jié)構(gòu)中所包括的幀且基于 若干對(duì)幀內(nèi)的圖像信息之間的交叉相關(guān)來(lái)確定所述幀中的每一者的圖片類型。分析窗定位 模塊60在GOP結(jié)構(gòu)內(nèi)定位一具有預(yù)定幀計(jì)數(shù)寬度的分析窗，其以候選幀為中心。舉例來(lái)說(shuō)， 分析窗可具有五個(gè)幀的時(shí)間寬度，以使得所述分析窗在以候選幀為中心時(shí)還包括所述候選 幀的兩個(gè)先前相鄰幀及兩個(gè)后續(xù)相鄰幀。相關(guān)器62計(jì)算分析窗中所包括的若干對(duì)幀內(nèi)的圖像之間的第一階交叉相關(guān)。以 此方式，分析窗對(duì)相關(guān)器62計(jì)算以確定候選幀的圖片類型的第一階交叉相關(guān)的數(shù)目設(shè)置 限制。在一個(gè)方面中，相關(guān)器62計(jì)算全幀圖像之間的第一階交叉相關(guān)。第一階圖像交叉相 關(guān)識(shí)別所述若干對(duì)幀之間的全局(亦即，總體)相似性及全局移動(dòng)的量，但不識(shí)別在幀內(nèi)在 較小規(guī)模的子圖像處發(fā)生的移動(dòng)。相關(guān)器62接著計(jì)算若干對(duì)第一階圖像交叉相關(guān)之間的 第二階交叉相關(guān)。在另一方面中，相關(guān)器62計(jì)算若干對(duì)幀內(nèi)的子圖像集合之間的第一階交叉相關(guān)。 可將所述幀中的每一者內(nèi)的圖像劃分為例如宏塊的多個(gè)子圖像。舉例來(lái)說(shuō)，子圖像可包含 16X16、16X8、8X16、8X8或更小的像素塊。接著將第一幀的子圖像中的每一者填充為共 同圖像大小且與來(lái)自第二幀的經(jīng)填充的子圖像交叉相關(guān)。相關(guān)器62通過(guò)在所述若干對(duì)幀 中的每一對(duì)幀的子圖像的全部或一部分上求峰值子圖像交叉相關(guān)值的平均值來(lái)產(chǎn)生第一 階交叉相關(guān)。第一階子圖像交叉相關(guān)識(shí)別所述若干對(duì)幀之間的子圖像相似性及移動(dòng)量，且 識(shí)別在幀內(nèi)于何處發(fā)生移動(dòng)。相關(guān)器62接著計(jì)算若干對(duì)第一階子圖像交叉相關(guān)之間的第 二階交叉相關(guān)。相關(guān)分析器64從相關(guān)器62接收第一階交叉相關(guān)及第二階交叉相關(guān)。相關(guān)分析器 64基于第一階交叉相關(guān)而檢測(cè)分析窗內(nèi)的幀之間的視頻轉(zhuǎn)變效果。視頻轉(zhuǎn)變效果指用以從 一視頻序列的當(dāng)前場(chǎng)景轉(zhuǎn)變?yōu)橥灰曨l序列的另一場(chǎng)景或另一視頻序列的另一場(chǎng)景的視 覺(jué)視頻效果。舉例來(lái)說(shuō)，相關(guān)分析器64可檢測(cè)包括剪輯場(chǎng)景改變、鏡頭邊界、閃光幀及部分 場(chǎng)景改變的緊湊支持視頻效果。當(dāng)視頻序列因同一內(nèi)容通道上的內(nèi)容改變或因通道或相機(jī) 切換而從一個(gè)視頻場(chǎng)景改變?yōu)椴煌曨l場(chǎng)景時(shí)，可發(fā)生剪輯場(chǎng)景改變。當(dāng)幀組成物的一部 分從一個(gè)場(chǎng)景改變?yōu)椴煌瑘?chǎng)景且所述幀組成物的剩余部分為靜態(tài)(例如，邊界、圖形及文 本覆蓋)時(shí)，可發(fā)生部分場(chǎng)景改變。當(dāng)視頻序列因在視頻記錄事件時(shí)的閃光攝影而瞬間改 變亮度值時(shí)，可出現(xiàn)閃光幀。相關(guān)分析器64還可檢測(cè)擴(kuò)展支持視頻效果，其包括交叉淡化及溶解(其包括淡入 及淡出以作為特殊情況)以及放大及縮小。當(dāng)視頻序列因內(nèi)容改變而從一個(gè)視頻場(chǎng)景逐漸 改變?yōu)椴煌曨l場(chǎng)景(例如，天氣圖從國(guó)家的一個(gè)地區(qū)改變?yōu)榱硪坏貐^(qū))時(shí)，可發(fā)生交叉淡 化。此外，相關(guān)分析器64可檢測(cè)包括相機(jī)搖攝及相機(jī)卷動(dòng)的全局運(yùn)動(dòng)視頻效果。當(dāng)視頻 序列因視頻相機(jī)的水平移動(dòng)而從一個(gè)視頻場(chǎng)景逐漸改變?yōu)椴煌曨l場(chǎng)景時(shí)，可發(fā)生相機(jī)搖 攝。當(dāng)視頻序列因視頻相機(jī)的垂直移動(dòng)而從一個(gè)視頻場(chǎng)景遞增地改變?yōu)椴煌曨l場(chǎng)景時(shí)， 可發(fā)生相機(jī)卷動(dòng)。不同視頻轉(zhuǎn)變效果在分析窗中所包括的候選幀與相鄰幀之間展現(xiàn)不同程度的圖像數(shù)據(jù)及細(xì)節(jié)重復(fù)，且因此表示候選幀的不同圖片類型。舉例來(lái)說(shuō)，如果在候選幀中發(fā)生剪 輯場(chǎng)景改變，則因?yàn)橐曨l場(chǎng)景完全改變，所以應(yīng)將候選幀編碼為I圖片。在于候選幀中發(fā)生 部分場(chǎng)景改變的情況下，可將候選幀的包括靜態(tài)邊界、圖形或文本覆蓋的部分編碼為P片 斷，且可將候選幀的包括發(fā)生改變的有效視頻場(chǎng)景的部分編碼為I片斷。如果在候選幀中 發(fā)生閃光幀、交叉淡化、放大或縮小或者相機(jī)搖攝或卷動(dòng)，則因?yàn)橐曨l場(chǎng)景略微或逐漸依賴 于先前幀及可能的后續(xù)幀而改變，所以可將候選幀編碼為P圖片或B圖片。相關(guān)分析器64還在第一階交叉相關(guān)與第二階交叉相關(guān)之間執(zhí)行比較分析且基于 所述比較分析來(lái)確定分析窗內(nèi)的相鄰幀之間的時(shí)間相似性。時(shí)間相似性指分析窗中所包括 的候選幀與相鄰幀之間的圖像細(xì)節(jié)重復(fù)程度。時(shí)間相似性的量表示候選幀的圖片類型。舉 例來(lái)說(shuō)，如果候選幀不類似于任何先前相鄰幀，但其類似于后續(xù)相鄰幀，則應(yīng)將所述候選幀 編碼為I圖片。如果候選幀類似于先前相鄰幀但不類似于后續(xù)相鄰幀，則應(yīng)將所述候選幀 編碼為P圖片。如果候選幀類似于先前相鄰幀及后續(xù)相鄰幀兩者，則應(yīng)將其編碼為P圖片 或B圖片。在此情況下，分析窗中所包括的相鄰幀之間的第一階交叉相關(guān)及第二階交叉相 關(guān)可幫助確定應(yīng)將候選幀編碼為P圖片還是B圖片。舉例來(lái)說(shuō)，如果先前相鄰幀類似于后 續(xù)相鄰幀，則應(yīng)將所述候選幀編碼為P圖片。圖片類型確定模塊66從相關(guān)分析器64接收視頻轉(zhuǎn)變效果信息及時(shí)間相似性信 息。圖片類型確定模塊66基于在分析窗內(nèi)檢測(cè)的視頻轉(zhuǎn)變效果及分析窗中所包括的幀之 間的時(shí)間相似性來(lái)確定候選幀的圖片類型。在相關(guān)器62計(jì)算圖像交叉相關(guān)的實(shí)施方案中， 圖片類型確定模塊66可確定整個(gè)候選幀的圖片類型。在相關(guān)器62計(jì)算子圖像交叉相關(guān)的 實(shí)施方案中，可將候選幀劃分為多個(gè)片斷，以使得圖片類型確定模塊66可確定候選幀的個(gè) 別片斷中的每一者的圖片類型。評(píng)估模塊68基于圖片類型確定模塊66對(duì)幀內(nèi)容、速率_失真改進(jìn)特性及編碼帶 寬機(jī)制特性的依賴性來(lái)測(cè)量圖片類型確定模塊66的性能。評(píng)估模塊68可利用取決于GOP 結(jié)構(gòu)中的所確定的P、B及I圖片的數(shù)目及時(shí)間位置的編碼增益模型或PSNR改進(jìn)模型。對(duì) 于在PSNR改進(jìn)模型中的使用而言，可以可用于時(shí)間預(yù)測(cè)的參考圖片的有效計(jì)數(shù)的形式來(lái) 概述所確定的圖片類型?？墒褂迷u(píng)估模塊68的輸出來(lái)進(jìn)一步改進(jìn)由基于相關(guān)的AGOP結(jié)構(gòu) 確定模塊22進(jìn)行的圖片類型確定的準(zhǔn)確度。評(píng)估模塊68的輸出可呈數(shù)值或表格的形式。 評(píng)估模塊68可特別適用于基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22實(shí)施于實(shí)時(shí)編碼裝置內(nèi)的實(shí) 施方案中(圖2及圖4)。在視頻數(shù)據(jù)在基礎(chǔ)層及增強(qiáng)層中被編碼的實(shí)施方案中(亦即，對(duì)于可縮放視頻編 碼(SVC)而言)，基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22可包括一分層模塊(圖7中未圖示)以 使得能夠進(jìn)行基于增強(qiáng)層來(lái)改變基礎(chǔ)層中的幀類型確定。舉例來(lái)說(shuō)，基礎(chǔ)層中所包括的特 定幀類型可改進(jìn)基礎(chǔ)層與增強(qiáng)層之間的帶寬平衡。因此，分層模塊可基于增強(qiáng)層內(nèi)的幀類 型來(lái)改變基礎(chǔ)層編碼內(nèi)的幀類型以便改進(jìn)帶寬平衡。圖8A到圖8C為說(shuō)明視頻序列中所包括的幀之間的第一階交叉相關(guān)及第二階交叉 相關(guān)的圖式。在一個(gè)方面中，來(lái)自圖7的相關(guān)器62計(jì)算本文中所描述的在分析窗70中所 包括的若干對(duì)幀內(nèi)的圖像之間的第一階交叉相關(guān)。在另一方面中，相關(guān)器62計(jì)算本文中所 描述的在所述分析窗70中所包括的若干對(duì)幀內(nèi)的子圖像(例如，宏塊)的集合之間的第一 階交叉相關(guān)且在所述若干對(duì)幀中的每一對(duì)幀的子圖像的全部或一部分上求交叉相關(guān)的平均值。圖8A說(shuō)明由來(lái)自圖7的分析窗定位模塊60進(jìn)行的在GOP結(jié)構(gòu)內(nèi)定位分析窗70。 如圖8A中所展示，分析窗70以候選幀(fk) 72為中心定位在GOP結(jié)構(gòu)內(nèi)且包括預(yù)定數(shù)目個(gè) 相鄰幀。舉例來(lái)說(shuō)，分析窗70具有五個(gè)幀的預(yù)定時(shí)間寬度，以使得分析窗在以候選幀(fk)72 為中心時(shí)還包括候選幀(fk)72的兩個(gè)先前相鄰幀(fH及fk_2)及兩個(gè)后續(xù)相鄰幀(fk+1及 fk+2)。以此方式，相關(guān)器62計(jì)算分析窗70中所包括的幀之間的第一階交叉相關(guān)以確定候 選幀72的圖片類型。換句話說(shuō)，分析窗70的使用對(duì)相關(guān)器62計(jì)算以確定GOP結(jié)構(gòu)中所包 括的每一幀的圖片類型的第一階交叉相關(guān)的數(shù)目設(shè)置限制。圖8B說(shuō)明由相關(guān)器62在分析窗70中所包括的幀之間執(zhí)行的第一階交叉相關(guān) 計(jì)算。相關(guān)器62計(jì)算第一先前相鄰幀(fk_i)與候選幀(fk)72之間的第一前向交叉相關(guān) (Fl) 74。相關(guān)器62接著計(jì)算第二先前相鄰幀(fk_2)與候選幀(fk) 72之間的第二前向交叉 相關(guān)(F2)75。相關(guān)器62還計(jì)算第一后續(xù)相鄰幀(fk+1)與候選幀(fk)72之間的第一后向交 叉相關(guān)(Bi) 76。相關(guān)器62接著計(jì)算第二后續(xù)相鄰幀(fk+2)與候選幀(fk) 72之間的第二后 向交叉相關(guān)(B2)77。相關(guān)器62接著計(jì)算第一先前相鄰幀(fk_i)與第一后續(xù)相鄰幀(fk+1) 之間的第一對(duì)稱交叉相關(guān)計(jì)算(S2)78。相關(guān)器62接著計(jì)算第二先前相鄰幀(fk_2)與第二 后續(xù)相鄰幀(fk+2)之間的第二對(duì)稱交叉相關(guān)計(jì)算(S4)79。圖8C說(shuō)明由相關(guān)器62在分析窗70內(nèi)的第一階交叉相關(guān)之間執(zhí)行的第二階交叉 相關(guān)計(jì)算。相關(guān)器62計(jì)算第一階第一前向交叉相關(guān)(Fl)74與第一階第一后向交叉相關(guān) (Bi) 76之間的第二階第一相鄰交叉相關(guān)(01)80。相關(guān)器62接著計(jì)算第一階第二前向交叉 相關(guān)(F2)75與第一階第二后向交叉相關(guān)(B2) 77之間的第二階第二相鄰交叉相關(guān)(02)81。在一些方面中，如圖1及圖3中所展示，可在基于相關(guān)的AGOP確定模塊22內(nèi)使用 相關(guān)器62以作為位于實(shí)時(shí)編碼裝置外部的離線基準(zhǔn)。在此情況下，相關(guān)器62非實(shí)時(shí)地計(jì)算 本文中所描述的第一階交叉相關(guān)及第二階交叉相關(guān)。在其它方面中，如圖2及圖4中所展 示，可在實(shí)施于實(shí)時(shí)編碼裝置中的基于相關(guān)的AGOP確定模塊22內(nèi)使用相關(guān)器62。在一些情 況下，復(fù)雜性降低可限制相關(guān)器62可在確定候選幀72的圖片類型時(shí)計(jì)算的交叉相關(guān)的數(shù) 目。舉例來(lái)說(shuō)，當(dāng)分析窗70具有等于五個(gè)幀的時(shí)間寬度時(shí)，相關(guān)器62可僅計(jì)算三個(gè)第一階 交叉相關(guān)及兩個(gè)第二階交叉相關(guān)。舉例來(lái)說(shuō)，相關(guān)器62可計(jì)算第一前向交叉相關(guān)(Fl)74、 第一對(duì)稱交叉相關(guān)(S2) 78、第二對(duì)稱交叉相關(guān)(S4) 79、第二階第一相鄰交叉相關(guān)(01) 80及 第二階第二相鄰交叉相關(guān)(02)81。圖9為說(shuō)明基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22中所包括的相關(guān)器62的示范性實(shí) 施的框圖。如圖9中所展示，相關(guān)器62A包含基于二維快速傅立葉變換(2D FFT)的計(jì)算以 執(zhí)行圖像交叉相關(guān)。相關(guān)器62A可計(jì)算視頻序列中所包括的若干對(duì)幀內(nèi)的圖像之間的第一 階交叉相關(guān)及若干對(duì)所述第一階圖像交叉相關(guān)之間的第二階交叉相關(guān)兩者。當(dāng)相關(guān)器62A正在計(jì)算第一階圖像交叉相關(guān)時(shí)，預(yù)調(diào)節(jié)模塊82接收第一幀內(nèi)的圖 像且將經(jīng)預(yù)調(diào)節(jié)的圖像饋入到傅立葉變換(F)84。同時(shí)，預(yù)調(diào)節(jié)模塊83接收第二幀內(nèi)的圖 像且將經(jīng)預(yù)調(diào)節(jié)的圖像饋入到復(fù)共軛(廣)傅立葉變換85。將第一幀圖像的變換及第二幀 圖像的復(fù)共軛變換相乘且饋入到傅立葉逆變換(F—1) 88。標(biāo)準(zhǔn)化器89接著將逆變換輸出標(biāo) 準(zhǔn)化且最大值濾波器90確定第一幀與第二幀內(nèi)的圖像之間的經(jīng)標(biāo)準(zhǔn)化的第一階交叉相關(guān) 的最大值。接著，留存經(jīng)標(biāo)準(zhǔn)化的第一階圖像交叉相關(guān)的最大值以作為用于由相關(guān)分析器
2964使用的特性值。當(dāng)相關(guān)器62A正在計(jì)算第二階交叉相關(guān)時(shí)，預(yù)調(diào)節(jié)模塊82接收第一對(duì)幀之間的第 一階圖像交叉相關(guān)且將經(jīng)預(yù)調(diào)節(jié)的第一階圖像交叉相關(guān)饋入到傅立葉變換(F) 84。同時(shí)，預(yù) 調(diào)節(jié)模塊83接收第二對(duì)幀之間的第一階圖像交叉相關(guān)且將經(jīng)預(yù)調(diào)節(jié)的第一階圖像交叉相 關(guān)饋入到復(fù)共軛(F*)傅立葉變換85。將第一對(duì)幀之間的圖像交叉相關(guān)的變換及第二對(duì)幀 之間的圖像交叉相關(guān)的復(fù)共軛變換相乘并饋入到傅立葉逆變換(FlSS。標(biāo)準(zhǔn)化器89接著 將逆變換輸出標(biāo)準(zhǔn)化且最大值濾波器90確定第一對(duì)幀與第二對(duì)幀之間的第一階圖像交叉 相關(guān)之間的經(jīng)標(biāo)準(zhǔn)化的第二階交叉相關(guān)的最大值。接著，留存經(jīng)標(biāo)準(zhǔn)化的第二階圖像交叉 相關(guān)的最大值以作為用于由相關(guān)分析器64使用的特性值。圖10為說(shuō)明基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22中所包括的相關(guān)器62的另一示范 性實(shí)施的框圖。如圖10中所展示，相關(guān)器62B包含基于二維(2D)FFT的計(jì)算以執(zhí)行子圖像 交叉相關(guān)。相關(guān)器62B可計(jì)算視頻序列中所包括的若干對(duì)幀內(nèi)的子圖像之間的第一階交叉 相關(guān)及若干對(duì)所述第一階子圖像交叉相關(guān)之間的第二階交叉相關(guān)兩者。當(dāng)相關(guān)器62B正在計(jì)算第一階子圖像交叉相關(guān)時(shí)，預(yù)調(diào)節(jié)模塊92接收第一幀內(nèi)的 子圖像(例如，宏塊的集合)且將經(jīng)預(yù)調(diào)節(jié)的子圖像饋入到傅立葉變換(F) 94。預(yù)調(diào)節(jié)模塊 92將第一幀內(nèi)的子圖像填充為共同圖像大小。同時(shí)，預(yù)調(diào)節(jié)模塊93接收第二幀內(nèi)的子圖 像(例如，宏塊的集合)且將經(jīng)預(yù)調(diào)節(jié)的子圖像饋入到復(fù)共軛傅立葉變換(廣)95。預(yù)調(diào)節(jié) 模塊93將第二幀內(nèi)的子圖像填充為共同圖像大小。將第一幀的經(jīng)填充的子圖像的變換及 第二幀的經(jīng)填充的子圖像的復(fù)共軛變換相乘且饋入到傅立葉逆變換(戶)98。標(biāo)準(zhǔn)化器99 接著將逆變換輸出標(biāo)準(zhǔn)化且最大值濾波器100確定第一幀內(nèi)的子圖像與第二幀內(nèi)的子圖 像之間的經(jīng)標(biāo)準(zhǔn)化的第一階交叉相關(guān)的最大值。平均模塊102接著在第一幀內(nèi)的子圖像集 合中的子圖像的全部或一部分上求經(jīng)標(biāo)準(zhǔn)化的交叉相關(guān)的最大值的平均值。接著，留存經(jīng) 標(biāo)準(zhǔn)化的第一階交叉相關(guān)的經(jīng)平均的最大值以作為用于由相關(guān)分析器64使用的特性值。當(dāng)相關(guān)器62B正在計(jì)算第二階交叉相關(guān)計(jì)算時(shí)，預(yù)調(diào)節(jié)模塊92接收第一對(duì)幀之 間的第一階交叉相關(guān)子區(qū)段且將經(jīng)預(yù)調(diào)節(jié)的第一階交叉相關(guān)子區(qū)段饋入到傅立葉變換 (F)94。同時(shí)，預(yù)調(diào)節(jié)模塊93接收第二對(duì)幀之間的第一階交叉相關(guān)子區(qū)段且將經(jīng)預(yù)調(diào)節(jié)的 第一階交叉相關(guān)子區(qū)段饋入到復(fù)共軛(廣)傅立葉變換95。將第一對(duì)幀之間的第一階交叉 相關(guān)子區(qū)段的變換及第二對(duì)幀之間的第一階交叉相關(guān)子區(qū)段的復(fù)共軛變換相乘并饋入到 傅立葉逆變換(F—1) 98。標(biāo)準(zhǔn)化器99接著將逆變換輸出標(biāo)準(zhǔn)化且最大值濾波器100確定第 一對(duì)幀與第二對(duì)幀內(nèi)之間的第一階交叉相關(guān)子區(qū)段之間的經(jīng)標(biāo)準(zhǔn)化的第二階交叉相關(guān)的 最大值。接著，留存經(jīng)標(biāo)準(zhǔn)化的第二階交叉相關(guān)的最大值以作為用于由相關(guān)分析器64使用 的特性值。圖11為說(shuō)明基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22中所包括的相關(guān)分析器64的示范 性實(shí)施的框圖。如圖11中所說(shuō)明，相關(guān)分析器64包含第一階相關(guān)分析器104、比較分析器 106、第二階相關(guān)分析器108及視頻轉(zhuǎn)變效果檢測(cè)器110。視頻轉(zhuǎn)變效果檢測(cè)器110包括緊 湊支持事件檢測(cè)器112、擴(kuò)展支持事件檢測(cè)器114及全局運(yùn)動(dòng)檢測(cè)器116。相關(guān)分析器64從相關(guān)器62接收第一階交叉相關(guān)及第二階交叉相關(guān)。第一階相關(guān) 分析器104編譯第一階交叉相關(guān)且將第一階交叉相關(guān)饋入到視頻轉(zhuǎn)變效果檢測(cè)器110及比 較分析器106。第二階相關(guān)分析器108編譯第二階交叉相關(guān)且將第二階交叉相關(guān)施加到比較分析器106。視頻轉(zhuǎn)變效果檢測(cè)器110基于第一階交叉相關(guān)而檢測(cè)當(dāng)前處理的GOP結(jié)構(gòu)的幀之 間的視頻轉(zhuǎn)變效果。如參看圖12到圖14所描述，視頻轉(zhuǎn)變效果檢測(cè)器110經(jīng)由緊湊支持 事件檢測(cè)器112、擴(kuò)展支持事件檢測(cè)器114及全局運(yùn)動(dòng)檢測(cè)器116基于對(duì)視頻特殊效果的識(shí) 別來(lái)檢測(cè)視頻轉(zhuǎn)變效果。更具體地說(shuō)，緊湊支持事件檢測(cè)器112從第一階交叉相關(guān)識(shí)別剪 輯場(chǎng)景改變指紋、閃光幀指紋及部分場(chǎng)景改變指紋。擴(kuò)展支持事件檢測(cè)器114從第一階交 叉相關(guān)識(shí)別包括淡入及淡出的交叉淡化指紋及放大及縮小指紋。全局運(yùn)動(dòng)檢測(cè)器116從第 一階交叉相關(guān)識(shí)別相機(jī)搖攝指紋及相機(jī)卷動(dòng)指紋。本文中定義指紋以意謂來(lái)自與特定視頻 轉(zhuǎn)變效果唯一匹配的匹配的濾波器的特定響應(yīng)，以使得檢測(cè)到此特定響應(yīng)等效于檢測(cè)到其 相關(guān)聯(lián)的視頻轉(zhuǎn)變效果。視頻轉(zhuǎn)變效果檢測(cè)器110接著將所檢測(cè)的視頻轉(zhuǎn)變效果輸出到圖片類型確定模 塊66(圖7)。舉例來(lái)說(shuō)，如果在候選幀72中發(fā)生剪輯場(chǎng)景改變，則因?yàn)橐曨l場(chǎng)景完全改變， 所以應(yīng)將候選幀72編碼為I圖片。在于候選幀72中發(fā)生部分場(chǎng)景改變的情況下，可將候 選幀72的包括靜態(tài)邊界、圖形或文本覆蓋的部分編碼為P片斷，且可將候選幀72的包括發(fā) 生改變的有效視頻場(chǎng)景的部分編碼為I片斷。如果在候選幀中發(fā)生閃光幀、交叉淡化、放大 或縮小或者相機(jī)搖攝或卷動(dòng)，則因?yàn)橐曨l場(chǎng)景依賴于先前幀及可能的后續(xù)幀而略微或逐漸 改變，所以可將候選幀72編碼為P圖片或B圖片。比較分析器106在第一階交叉相關(guān)與第二階交叉相關(guān)之間執(zhí)行比較分析。比較分 析器106接著基于所述比較分析來(lái)確定分析窗70內(nèi)的相鄰幀之間的時(shí)間相似性。當(dāng)執(zhí)行 比較分析時(shí)，比較分析器106比較幀之間的相關(guān)程度以確定候選幀72與其先前及后續(xù)相鄰 幀兩者相似的程度及相鄰幀彼此相似的程度。比較分析器106接著將時(shí)間相似性輸出到圖 片類型確定模塊66 (圖7)。舉例來(lái)說(shuō)，如果候選幀72與后續(xù)相鄰幀很好地相關(guān)但不與先前 相鄰幀很好地相關(guān)(亦即，第一前向交叉相關(guān)74是低的且第一后向交叉相關(guān)76是高的)， 則應(yīng)將候選幀72編碼為與先前幀無(wú)關(guān)且充當(dāng)后續(xù)幀的參考的I圖片。作為另一實(shí)例，如果 候選幀72與后續(xù)相鄰幀及先前相鄰幀兩者均很好地相關(guān)，則應(yīng)將候選幀72編碼為P圖片 或B圖片。然而，如果后續(xù)相鄰幀與先前相鄰幀很好地相關(guān)(亦即，第一對(duì)稱交叉相關(guān)78 是高的)，則可將候選幀72編碼為P圖片。圖12為說(shuō)明作為來(lái)自圖11的相關(guān)分析器64中所包括的視頻轉(zhuǎn)變效果檢測(cè)器110 的一部分的緊湊支持事件檢測(cè)器112的框圖。緊湊支持事件檢測(cè)器112可利用匹配的濾波 器組以在第一階交叉相關(guān)分析器104的輸出內(nèi)檢測(cè)與緊湊支持視頻效果相關(guān)聯(lián)的指紋。緊 湊支持視頻效果包括剪輯場(chǎng)景改變、部分場(chǎng)景改變及閃光幀。舉例來(lái)說(shuō)，當(dāng)視頻序列內(nèi)容因 同一通道上的內(nèi)容改變或因通道切換而從一個(gè)視頻場(chǎng)景瞬時(shí)改變?yōu)椴煌曨l場(chǎng)景時(shí)，可發(fā) 生剪輯場(chǎng)景改變。當(dāng)視頻序列中的幀內(nèi)容的一部分從一個(gè)視頻場(chǎng)景改變?yōu)椴煌曨l場(chǎng)景且 所述視頻序列中的幀內(nèi)容的剩余部分為靜態(tài)(例如，邊界、圖形或文本覆蓋)時(shí)，可發(fā)生部 分場(chǎng)景改變。當(dāng)視頻序列內(nèi)容因在視頻記錄事件時(shí)的閃光攝影而瞬間改變亮度值時(shí)，可發(fā) 生閃光幀。在圖12中所說(shuō)明的實(shí)例中，緊湊支持事件檢測(cè)器112利用來(lái)自圖6的第一階第 一前向交叉相關(guān)(Fl)74、第一階第一對(duì)稱交叉相關(guān)(S2)78及第一階第二對(duì)稱交叉相關(guān) (S4) 79的輸出。緊湊支持事件檢測(cè)器112使第一階交叉相關(guān)輸出中的每一者傳遞通過(guò)非線性高通濾波器120A到120C中的專用一者。將非線性高通濾波器120A到120C中的每一者 的輸出輸入到剪輯場(chǎng)景改變匹配的濾波器122及閃光幀匹配的濾波器124兩者。剪輯場(chǎng)景改變匹配的濾波器122隔離第一階交叉相關(guān)的輸出中所包括的類似于 剪輯場(chǎng)景改變的預(yù)期指紋的時(shí)間系列特征。舉例來(lái)說(shuō)，如圖17中的特征180所展示，因視 頻場(chǎng)景的完全改變，剪輯場(chǎng)景改變指紋包含幀之間的低相關(guān)的單個(gè)下降(dip)。緊湊支持 事件檢測(cè)器112將剪輯場(chǎng)景改變匹配的濾波器122的輸出饋入到閾值比較器123以準(zhǔn)確地 識(shí)別特征中的哪些包含剪輯場(chǎng)景改變指紋。閾值比較器123將由剪輯場(chǎng)景改變匹配的濾波 器122隔離的特征與設(shè)定為預(yù)定值(例如，0.29)的閾值(TcJ比較。緊湊支持事件檢測(cè)器 112在具有大于閾值的匹配的濾波器響應(yīng)的那些特征位置處檢測(cè)剪輯場(chǎng)景改變。接著，閾 值比較器123在檢測(cè)到剪輯場(chǎng)景改變的情況下將其布爾(Boolean)輸出(B。s。)設(shè)定為等于 1，且在未檢測(cè)到剪輯場(chǎng)景改變的情況下將其設(shè)定為等于0。緊湊支持事件檢測(cè)器112還可通過(guò)使用剪輯場(chǎng)景改變匹配的濾波器122及閾值比 較器123來(lái)檢測(cè)部分場(chǎng)景改變。如圖18中的特征184所展示，大體類似于剪輯場(chǎng)景改變指 紋，部分場(chǎng)景改變指紋包含單個(gè)下降，但因視頻場(chǎng)景的靜態(tài)部分而具有較高相關(guān)。部分場(chǎng)景 改變指紋的相對(duì)小的下降可能不會(huì)觸發(fā)待被緊湊支持事件檢測(cè)器112檢測(cè)到的來(lái)自剪輯 場(chǎng)景改變匹配的濾波器122的足夠大的響應(yīng)?？山档洼斎氲介撝当容^器123的閾值(TcJ 以使得能夠進(jìn)行對(duì)部分場(chǎng)景改變的檢測(cè)，但此可通過(guò)增加錯(cuò)誤地檢測(cè)緊湊支持視頻效果的 可能性(亦即，增加的誤警率)而導(dǎo)致額外的準(zhǔn)確度問(wèn)題。實(shí)情為，相關(guān)器62可執(zhí)行靜態(tài) 邊界檢測(cè)以識(shí)別靜態(tài)邊界的存在且計(jì)算對(duì)應(yīng)于視頻場(chǎng)景的有效部分的子圖像之間的第一 階交叉相關(guān)。以此方式，僅具有靜態(tài)邊界的有效視頻場(chǎng)景的完全改變可呈現(xiàn)等效于剪輯場(chǎng) 景改變指紋的指紋。閃光幀匹配的濾波器124隔離第一階交叉相關(guān)的輸出中所包括的類似于閃光幀 的預(yù)期指紋的時(shí)間系列特征。舉例來(lái)說(shuō)，如圖17的特征182所展示，因視頻場(chǎng)景內(nèi)的亮度 值改變，閃光幀指紋包含幀之間的較低相關(guān)的連續(xù)下降。緊湊支持事件檢測(cè)器112將閃光 幀匹配的濾波器124的輸出饋入到閾值比較器125以準(zhǔn)確地識(shí)別特征中的哪些包含閃光幀 指紋。閾值比較器125將由閃光幀匹配的濾波器124隔離的特征與設(shè)定為預(yù)定值(例如， 0. 20)的閾值(Tff)比較。緊湊支持事件檢測(cè)器112在具有大于閾值的匹配的濾波器的響 應(yīng)的那些特征位置處檢測(cè)閃光幀。接著，閾值比較器125在檢測(cè)到閃光幀的情況下將其布 爾輸出(Bff)設(shè)定為等于1，且在未檢測(cè)到閃光幀的情況下將其設(shè)定為等于0。圖13為說(shuō)明作為來(lái)自圖11的相關(guān)分析器64中所包括的視頻轉(zhuǎn)變效果檢測(cè)器110 的一部分的擴(kuò)展支持事件檢測(cè)器114的框圖。擴(kuò)展支持事件檢測(cè)器114利用多分辨率分析 以在第一階交叉相關(guān)分析器104的輸出內(nèi)檢測(cè)與擴(kuò)展支持視頻效果相關(guān)聯(lián)的指紋。擴(kuò)展支 持視頻效果包括交叉淡化、淡入、淡出及縮放。舉例來(lái)說(shuō)，當(dāng)視頻序列因內(nèi)容改變而從一個(gè) 視頻場(chǎng)景逐漸改變?yōu)椴煌曨l場(chǎng)景時(shí)(例如，天氣圖從國(guó)家的一個(gè)地區(qū)改變?yōu)榱硪坏貐^(qū))， 可發(fā)生交叉淡化。在圖13中所說(shuō)明的實(shí)例中，擴(kuò)展支持事件檢測(cè)器114利用來(lái)自圖6的第一階第 一前向交叉相關(guān)(Fl)74、第一階第一對(duì)稱交叉相關(guān)(S2)78及第一階第二對(duì)稱交叉相關(guān) (S4) 79的輸出。擴(kuò)展支持事件檢測(cè)器114使第一階交叉相關(guān)輸出中的每一者傳遞通過(guò)非線 性低通濾波器126A到126C中的專用一者。非線性低通濾波器126A到126C中的每一者的輸出被輸入到多分辨率分析器128A到128C中的專用一者。多分辨率分析器128A到128C 識(shí)別第一階交叉相關(guān)的輸出中所包括的類似于交叉淡化或縮放的預(yù)期指紋的特征。舉例來(lái) 說(shuō)，如圖19的特征186所展示，因視頻場(chǎng)景的逐漸改變，交叉淡化指紋包含幀之間的低相關(guān) 的凹口。多分辨率分析器128A到128C使得能夠進(jìn)行以統(tǒng)一方式進(jìn)行的具有變化很大的持 續(xù)時(shí)間的特征的檢測(cè)及其實(shí)際持續(xù)時(shí)間的確定。擴(kuò)展支持事件檢測(cè)器114將多分辨率分析器128A到128C的輸出施加到經(jīng)結(jié)構(gòu)化 顯著峰值分析器130以準(zhǔn)確地識(shí)別特征中的哪些包含交叉淡化或縮放指紋。經(jīng)結(jié)構(gòu)化顯著 峰值分析器130組合由多分辨率分析器128A到128C中的每一者識(shí)別的特征且確定第一階 交叉相關(guān)的輸出的每一者中的低相關(guān)的凹口是否以特定次序時(shí)間性地對(duì)準(zhǔn)。擴(kuò)展支持事件 檢測(cè)器114可在第一階交叉相關(guān)的凹口時(shí)間性地相互對(duì)準(zhǔn)的情況下宣稱交叉淡化。此外， 理想地，應(yīng)將所述凹口的最小值排序?yàn)榈谝浑A第一前向交叉相關(guān)(Fl) 74大于第一階第一 對(duì)稱交叉相關(guān)(S2) 78大于第一階第二對(duì)稱交叉相關(guān)(S4)79。圖14為說(shuō)明作為來(lái)自圖11的相關(guān)分析器64中所包括的視頻轉(zhuǎn)變效果檢測(cè)器110 的一部分的全局運(yùn)動(dòng)檢測(cè)器116的框圖。全局運(yùn)動(dòng)檢測(cè)器116利用全局位移估計(jì)以在第一 階交叉相關(guān)分析器104的輸出內(nèi)檢測(cè)與全局運(yùn)動(dòng)相關(guān)聯(lián)的指紋。全局運(yùn)動(dòng)視頻效果包括相 機(jī)搖攝、相機(jī)卷動(dòng)及影響整個(gè)視頻場(chǎng)景的其它平移運(yùn)動(dòng)。舉例來(lái)說(shuō)，當(dāng)視頻序列因視頻相機(jī) 的水平移動(dòng)而從一個(gè)視頻場(chǎng)景逐漸改變?yōu)椴煌曨l場(chǎng)景時(shí)，可發(fā)生相機(jī)搖攝。當(dāng)視頻序列 因視頻相機(jī)的垂直移動(dòng)而從一個(gè)視頻場(chǎng)景逐漸改變?yōu)椴煌曨l場(chǎng)景時(shí)，可發(fā)生相機(jī)卷動(dòng)。在圖14中所說(shuō)明的實(shí)例中，全局運(yùn)動(dòng)檢測(cè)器116利用來(lái)自圖6的第一階第一前向 交叉相關(guān)(Fl) 74、第一階第一對(duì)稱交叉相關(guān)(S2) 78及第一階第二對(duì)稱交叉相關(guān)(S4) 79的 輸出。全局運(yùn)動(dòng)檢測(cè)器116將第一階交叉相關(guān)輸出中的每一者傳遞通過(guò)最大值位置濾波器 132A到132C中的專用一者。最大值位置濾波器132A到132C識(shí)別第一階交叉相關(guān)的輸出 中所包括的類似于相機(jī)搖攝及相機(jī)卷動(dòng)的預(yù)期指紋的特征。舉例來(lái)說(shuō)，如圖20A中的特征 188所展示，因視頻場(chǎng)景的逐漸改變，相機(jī)搖攝指紋包含在最大交叉相關(guān)值位置中始終存在 的相對(duì)于原點(diǎn)的顯著水平偏移。如圖20B中的特征200所展示，因視頻場(chǎng)景的遞增改變，相 機(jī)卷動(dòng)指紋包含在最大交叉相關(guān)值位置中始終存在的相對(duì)于原點(diǎn)的顯著垂直偏移。最大值 位置濾波器132A到132C以相關(guān)聯(lián)的第一階交叉相關(guān)的時(shí)間距離各輸出水平位移估計(jì)(h) 及垂直位移估計(jì)(ν)。然而，例如振蕩(ringing)及模糊的壓縮假象使根據(jù)第一階交叉相關(guān)的位移估計(jì) 的準(zhǔn)確度降級(jí)。因此，全局運(yùn)動(dòng)檢測(cè)器116利用多通道融合模塊134使水平位移估計(jì)及垂 直位移估計(jì)平滑以避免壓縮假象的類降級(jí)噪聲的影響。此外，緊湊支持視頻效果及擴(kuò)展支 持視頻效果可中斷全局運(yùn)動(dòng)位移估計(jì)，此可導(dǎo)致異常的位移估計(jì)值。多通道融合模塊134 可通過(guò)跨越所檢測(cè)的緊湊支持視頻效果及擴(kuò)展支持視頻效果而執(zhí)行位移估計(jì)的非線性平 滑化來(lái)減小或消除此效果。如圖14中所說(shuō)明，多通道融合模塊134包括用于以時(shí)間距離2進(jìn)行的位移估計(jì)的 1/2權(quán)重以及用于以時(shí)間距離4進(jìn)行的位移估計(jì)的1/4權(quán)重以補(bǔ)償與不同位移估計(jì)相關(guān)聯(lián) 的不同時(shí)間距離。多通道融合模塊134還包括用于位移估計(jì)中的每一者的均勻權(quán)重(例 如，1/3)136A到136C以均衡以不同時(shí)間距離進(jìn)行的位移估計(jì)的強(qiáng)調(diào)。在其它方面中，多通 道融合模塊134可使用非均勻權(quán)重以強(qiáng)調(diào)以選定的時(shí)間距離進(jìn)行的位移估計(jì)。最后，多通道融合模塊134包括水平加法器142，其通過(guò)加入根據(jù)時(shí)間距離中的每一者的經(jīng)加權(quán)的水 平位移估計(jì)來(lái)產(chǎn)生單個(gè)經(jīng)平滑化的水平位移估計(jì)值。多通道融合模塊134還包括垂直加法 器144，其通過(guò)加入根據(jù)時(shí)間距離中的每一者的垂直位移估計(jì)來(lái)產(chǎn)生單個(gè)經(jīng)平滑化的垂直 位移估計(jì)值。圖15為說(shuō)明基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22基于圖像交叉相關(guān)來(lái)確定視頻序 列中所包括的幀的圖片類型的示范性操作的流程圖。將關(guān)于圖7的基于相關(guān)的AGOP確定 模塊22、圖8A到圖8C的分析窗70及圖11的相關(guān)分析器64來(lái)描述圖15的流程圖。分析窗定位模塊60在GOP結(jié)構(gòu)內(nèi)定位分析窗70，所述分析窗70以候選幀(fk) 72 為中心且包括先前相鄰幀(f^及fk_2)及后續(xù)相鄰幀(fk+1及fk+2) (150)。相關(guān)器62計(jì)算分 析窗70中所包括的若干對(duì)幀內(nèi)的圖像之間的第一階交叉相關(guān)(152)。相對(duì)于所述圖像的像 素域數(shù)據(jù)執(zhí)行第一階交叉相關(guān)。在此方面中，相關(guān)器62計(jì)算全幀圖像之間的第一階交叉相 關(guān)。如上文參看圖8B所描述，第一階交叉相關(guān)可包括第一前向交叉相關(guān)74、第二前向交叉 相關(guān)75、第一后向交叉相關(guān)76、第二后向交叉相關(guān)77、第一對(duì)稱交叉相關(guān)78及第二對(duì)稱交 叉相關(guān)79。第一階圖像交叉相關(guān)識(shí)別所述若干對(duì)幀之間的全局(亦即，總體)相似性及全 局移動(dòng)的量，但不識(shí)別在幀內(nèi)在較小規(guī)模的子圖像處發(fā)生的移動(dòng)。相關(guān)器62接著計(jì)算若干 對(duì)第一階圖像交叉相關(guān)之間的第二階交叉相關(guān)(154)。如上文參看圖8C所描述，第二階交 叉相關(guān)可包括第一相鄰交叉相關(guān)80及第二相鄰交叉相關(guān)81。相關(guān)分析器64從相關(guān)器62接收第一階交叉相關(guān)及第二階交叉相關(guān)。第一階相關(guān) 分析器104編譯第一階交叉相關(guān)且將第一階交叉相關(guān)饋入到視頻轉(zhuǎn)變效果檢測(cè)器110及比 較分析器106。第二階相關(guān)分析器108編譯第二階交叉相關(guān)且將第二階交叉相關(guān)饋入到比 較分析器106。視頻轉(zhuǎn)變效果檢測(cè)器110基于第一階交叉相關(guān)而檢測(cè)當(dāng)前處理的GOP結(jié)構(gòu)內(nèi)的幀 之間的視頻轉(zhuǎn)變效果(156)。如參看圖10到圖12所描述，視頻轉(zhuǎn)變效果檢測(cè)器110經(jīng)由緊 湊支持事件檢測(cè)器112、擴(kuò)展支持事件檢測(cè)器114及全局運(yùn)動(dòng)檢測(cè)器116基于對(duì)視頻效果的 識(shí)別來(lái)檢測(cè)視頻轉(zhuǎn)變效果。更具體地說(shuō)，緊湊支持事件檢測(cè)器112從第一階交叉相關(guān)中識(shí) 別剪輯場(chǎng)景改變指紋、閃光幀指紋及部分場(chǎng)景改變指紋。擴(kuò)展支持事件檢測(cè)器114從第一 階交叉相關(guān)中識(shí)別包括淡入及淡出指紋的交叉淡化指紋及放大及縮小指紋。全局運(yùn)動(dòng)檢測(cè) 器116識(shí)別相機(jī)搖攝指紋及相機(jī)卷動(dòng)指紋。比較分析器106在第一階交叉相關(guān)與第二階交叉相關(guān)之間執(zhí)行比較分析。比較分 析器106接著基于所述比較分析來(lái)確定分析窗70內(nèi)的相鄰幀之間的時(shí)間相似性、其強(qiáng)度及 性質(zhì)(158)。當(dāng)執(zhí)行比較分析時(shí)，比較分析器106比較幀之間的相關(guān)程度以確定候選幀72 與其相鄰幀相似的程度及相鄰幀彼此相似的程度。圖片類型確定模塊66從視頻轉(zhuǎn)變效果檢測(cè)器110接收視頻轉(zhuǎn)變效果信息且從比 較分析器106接收時(shí)間相似性信息。圖片類型確定模塊66接著基于在分析窗70內(nèi)檢測(cè)的 視頻轉(zhuǎn)變效果及分析窗70中所包括的幀之間的時(shí)間相似性來(lái)確定候選幀72的圖片類型 (160)。圖16為說(shuō)明基于相關(guān)的AGOP結(jié)構(gòu)確定模塊22基于子圖像交叉相關(guān)來(lái)確定視頻 序列中所包括的幀的圖片類型的示范性操作的流程圖。將關(guān)于圖7的基于相關(guān)的AGOP確 定模塊22、圖8A到圖8C的分析窗70及圖11的相關(guān)分析器64來(lái)描述圖16的流程圖。
34
分析窗定位模塊60在GOP結(jié)構(gòu)內(nèi)定位分析窗70，所述分析窗70以候選幀(fk) 72 為中心且包括先前相鄰幀(fk_i及fk_2)及后續(xù)相鄰幀(fk+1及fk+2) (164)。相關(guān)器62計(jì)算分 析窗70中所包括的若干對(duì)幀內(nèi)的子圖像集合之間的第一階交叉相關(guān)(166)。相對(duì)于所述 子圖像的像素域數(shù)據(jù)來(lái)執(zhí)行子圖像第一階交叉相關(guān)?？蓪⑺鰩械拿恳徽邇?nèi)的圖像劃分 為多個(gè)子圖像(例如，宏塊)。接著將第一幀的子圖像中的每一者填充為共同圖像大小且 與第二幀的子圖像交叉相關(guān)。舉例來(lái)說(shuō)，子圖像可包含填充為64X64圖像的16X16宏塊。 相關(guān)器62通過(guò)在所述若干對(duì)幀中的每一對(duì)幀的子圖像的全部或一部分上求峰值(亦即，最 大)子圖像交叉相關(guān)值的平均值來(lái)產(chǎn)生第一階交叉相關(guān)(168)。第一階子圖像交叉相關(guān)識(shí) 別所述若干對(duì)幀之間的子圖像相似性及移動(dòng)量，且識(shí)別在幀內(nèi)于何處發(fā)生移動(dòng)。相關(guān)器62 接著計(jì)算若干對(duì)第一階子圖像交叉相關(guān)之間的第二階交叉相關(guān)(170)。相關(guān)分析器64從相關(guān)器62接收第一階交叉相關(guān)及第二階交叉相關(guān)。第一階相關(guān) 分析器104編譯第一階交叉相關(guān)且將第一階交叉相關(guān)饋入到視頻轉(zhuǎn)變效果檢測(cè)器110及比 較分析器106。第二階相關(guān)分析器108編譯第二階交叉相關(guān)且將第二階交叉相關(guān)饋入到比 較分析器106。視頻轉(zhuǎn)變效果檢測(cè)器110基于第一階交叉相關(guān)而檢測(cè)當(dāng)前處理的GOP結(jié)構(gòu) 內(nèi)的幀之間的視頻轉(zhuǎn)變效果(172)。比較分析器106在第一階交叉相關(guān)與第二階交叉相關(guān) 之間執(zhí)行比較分析。比較分析器106接著基于所述比較分析來(lái)確定分析窗70內(nèi)的相鄰幀 之間的時(shí)間相似性、其強(qiáng)度及性質(zhì)(174)。圖片類型確定模塊66從視頻轉(zhuǎn)變效果檢測(cè)器110接收視頻轉(zhuǎn)變效果信息且從比 較分析器106接收時(shí)間相似性信息?？蓪⒑蜻x幀72劃分為多個(gè)片斷，以使得圖片類型確定 模塊66可基于在分析窗70內(nèi)檢測(cè)的視頻轉(zhuǎn)變效果及分析窗70中所包括的幀之間的時(shí)間 相似性來(lái)確定候選幀72的個(gè)別片斷中的每一者的圖片類型(176)。圖17為說(shuō)明包括剪輯場(chǎng)景改變指紋180及閃光幀指紋182的來(lái)自圖12的緊湊支 持事件檢測(cè)器112的輸出的曲線圖。當(dāng)視頻序列內(nèi)容因同一通道上的內(nèi)容改變(例如，因 選定的相機(jī)饋入的改變)或因通道切換而從一個(gè)視頻場(chǎng)景改變?yōu)椴煌曨l場(chǎng)景時(shí)，可發(fā)生 剪輯場(chǎng)景改變。因此，因視頻場(chǎng)景的完全改變，剪輯場(chǎng)景改變指紋180包含幀之間的低相關(guān) 的單個(gè)下降。當(dāng)視頻序列因在視頻記錄事件時(shí)的閃光攝影而瞬間改變亮度值時(shí)，可出現(xiàn)閃 光幀。因此，因視頻場(chǎng)景內(nèi)的亮度值改變，閃光幀指紋182包含幀之間的較低相關(guān)的連續(xù)下 降。所述連續(xù)下降是由視頻序列中的快閃誘發(fā)的增加的亮度的出現(xiàn)及消失而產(chǎn)生。在閃光 幀的情況下，與剪輯場(chǎng)景改變的單次改變相比，在極短的時(shí)幀中有效地發(fā)生兩次改變。圖18為說(shuō)明包括部分場(chǎng)景改變指紋184的來(lái)自圖12的緊湊支持事件檢測(cè)器112 的輸出的曲線圖。當(dāng)視頻序列幀內(nèi)容的一部分從一個(gè)視頻場(chǎng)景改變?yōu)椴煌曨l場(chǎng)景且所述 視頻序列幀內(nèi)容的剩余部分為靜態(tài)(例如，邊界及圖形及文本覆蓋)時(shí)，可發(fā)生部分場(chǎng)景改 變。因此，大體類似于剪輯場(chǎng)景改變指紋180，部分場(chǎng)景改變指紋184包含單個(gè)下降，但因視 頻場(chǎng)景的靜態(tài)部分而具有較高相關(guān)。圖19為說(shuō)明包括交叉淡化指紋186的來(lái)自圖13的擴(kuò)展支持事件檢測(cè)器114的輸 出的曲線圖。當(dāng)視頻序列幀內(nèi)容因內(nèi)容改變而從一個(gè)視頻場(chǎng)景逐漸改變?yōu)椴煌曨l場(chǎng)景 (例如，天氣圖從國(guó)家的一個(gè)地區(qū)改變?yōu)榱硪坏貐^(qū))時(shí)，可發(fā)生交叉淡化。因此，交叉淡化指 紋186包含幀之間的低相關(guān)的凹口，以使得因視頻場(chǎng)景的逐漸改變，不同交叉相關(guān)時(shí)間系 列中的這些凹口以特定次序時(shí)間性地對(duì)準(zhǔn)。
35
圖20A及圖20B為說(shuō)明包括相機(jī)搖攝指紋188及相機(jī)卷動(dòng)指紋200的全局運(yùn)動(dòng)檢 測(cè)器116的輸出的曲線圖。當(dāng)視頻序列幀內(nèi)容因視頻相機(jī)的水平移動(dòng)而從一個(gè)視頻場(chǎng)景逐 漸改變?yōu)椴煌曨l場(chǎng)景時(shí)，可發(fā)生相機(jī)搖攝。如圖18A中所說(shuō)明，因視頻場(chǎng)景的逐漸全局平 移改變，相機(jī)搖攝指紋188包含在所檢測(cè)的運(yùn)動(dòng)的水平分量中始終存在的相對(duì)于值0的顯 著偏移或偏差，亦即，在最大交叉相關(guān)值位置中始終存在的與原點(diǎn)的顯著水平偏移。所述偏 移的量取決于運(yùn)動(dòng)量以及觀察或估計(jì)所述偏移時(shí)所通過(guò)的時(shí)間距離，亦即，特定第一階交 叉相關(guān)時(shí)間系列。在圖20A中，可分別以1個(gè)、2個(gè)及4個(gè)幀間隔的時(shí)間距離來(lái)觀察約-1.5 個(gè)像素、"3個(gè)像素及_6個(gè)像素的平均偏移。當(dāng)視頻序列幀內(nèi)容因視頻相機(jī)的垂直移動(dòng)而從一個(gè)視頻場(chǎng)景逐漸改變?yōu)椴煌?頻場(chǎng)景時(shí)，可發(fā)生相機(jī)卷動(dòng)。如圖20B中所說(shuō)明，因視頻場(chǎng)景的逐漸全局平移改變，相機(jī)卷 動(dòng)指紋200包含在所檢測(cè)的運(yùn)動(dòng)的垂直分量中始終存在的相對(duì)于值0的顯著偏移或偏差， 亦即，在交叉相關(guān)峰值位置中始終存在的相對(duì)于原點(diǎn)的顯著垂直偏移。所述偏移的量取決 于運(yùn)動(dòng)量以及觀察或估計(jì)所述偏移時(shí)所通過(guò)的時(shí)間距離，亦即，特定第一階交叉相關(guān)時(shí)間 系列。在圖20B中，(例如)在幀索引10到16周?chē)^察到的最早的下降(亦即，相對(duì)于0 的負(fù)偏差)分別以1個(gè)、2個(gè)及4個(gè)幀間隔的時(shí)間距離對(duì)應(yīng)于-1個(gè)、-2個(gè)及-4個(gè)像素的平 均偏移。在此時(shí)間間隔期間，視頻相機(jī)可能因短暫震動(dòng)而經(jīng)歷突然的短垂直位移。本發(fā)明的技術(shù)是針對(duì)基于視頻序列中所包括的多個(gè)幀之間的交叉相關(guān)來(lái)確定所 述幀中的每一者的圖片類型。更具體地說(shuō)，所述技術(shù)是針對(duì)基于GOP結(jié)構(gòu)中所包括的幀之 間的交叉相關(guān)來(lái)自適應(yīng)地確定所述幀的圖片類型。所述交叉相關(guān)包括所述視頻序列中所包 括的若干對(duì)幀內(nèi)的圖像信息之間的第一階交叉相關(guān)及若干對(duì)所述第一階交叉相關(guān)之間的 第二階交叉相關(guān)?？煞治鏊龅谝浑A交叉相關(guān)以檢測(cè)所述幀之間的視頻轉(zhuǎn)變效果?？杀容^ 分析第一階交叉相關(guān)及第二階交叉相關(guān)以確定相鄰幀之間的時(shí)間相似性。因此，所述基于 相關(guān)的確定技術(shù)基于所述視頻轉(zhuǎn)變效果及所述時(shí)間相似性來(lái)確定所述幀的圖片類型。所述基于相關(guān)的確定技術(shù)可計(jì)算若干對(duì)幀內(nèi)的圖像之間或若干對(duì)幀內(nèi)的子圖像 (例如，宏塊)的集合之間的第一階交叉相關(guān)，接著在所述若干對(duì)幀中的每一對(duì)幀的所述子 圖像的全部或一部分上求所述第一階交叉相關(guān)的統(tǒng)計(jì)值(例如，最大值)的平均值。本文 中所描述的技術(shù)可在由代碼轉(zhuǎn)換器利用的基于相關(guān)的AGOP結(jié)構(gòu)確定模塊內(nèi)執(zhí)行以用于以 例如ITU-T H. 264的提供有效的幀間及幀內(nèi)壓縮的編碼標(biāo)準(zhǔn)來(lái)對(duì)視頻數(shù)據(jù)進(jìn)行重新編碼。 在一個(gè)方面中，可使用所述基于相關(guān)的AGOP結(jié)構(gòu)確定模塊作為在實(shí)時(shí)代碼轉(zhuǎn)換器中實(shí)施 的其它AGOP結(jié)構(gòu)確定方法可與之比較的離線基準(zhǔn)。在另一方面中，可在實(shí)時(shí)代碼轉(zhuǎn)換器中 實(shí)施具有適當(dāng)?shù)膹?fù)雜性降低的基于相關(guān)的AGOP結(jié)構(gòu)確定模塊。在其它方面中，可在單遍或 多遍、實(shí)時(shí)或非實(shí)時(shí)視頻編碼器中利用基于相關(guān)的AGOP結(jié)構(gòu)確定模塊以用于以例如ITU-T H. 264的提供有效的幀間及幀內(nèi)壓縮的編碼標(biāo)準(zhǔn)來(lái)對(duì)先前未壓縮的原始視頻數(shù)據(jù)進(jìn)行編 碼。本文中所描述的技術(shù)可以硬件、軟件、固件或其任一組合實(shí)施。所述技術(shù)可在例如 通用計(jì)算機(jī)、無(wú)線通信裝置手持機(jī)或具有包括無(wú)線通信裝置手持機(jī)及其它裝置中的應(yīng)用的 多種用途的集成電路裝置的各種裝置的任一者中實(shí)施。被描述為模塊或組件的任何特征可 一起實(shí)施于集成式邏輯裝置中或單獨(dú)實(shí)施為離散但可交互操作的邏輯裝置。如果以硬件實(shí) 施，則可使用數(shù)字硬件、模擬硬件或其組合來(lái)實(shí)現(xiàn)所述技術(shù)。如果以軟件實(shí)施，則可至少部分地由在計(jì)算機(jī)程序產(chǎn)品的計(jì)算機(jī)可讀媒體上存儲(chǔ)或傳輸?shù)囊粋€(gè)或一個(gè)以上指令或代碼 來(lái)實(shí)現(xiàn)所述技術(shù)。計(jì)算機(jī)可讀媒體可包括計(jì)算機(jī)存儲(chǔ)媒體、通信媒體或兩者，且可包括有助 于將計(jì)算機(jī)程序從一處傳送到另一處的任何媒體。存儲(chǔ)媒體可為可由計(jì)算機(jī)存取的任何可 用媒體。計(jì)算機(jī)程序產(chǎn)品可包括封裝材料。舉例來(lái)說(shuō)且并非限制，所述計(jì)算機(jī)可讀媒體可包含RAM(例如，同步動(dòng)態(tài)隨機(jī)存取 存儲(chǔ)器(SDRAM))、只讀存儲(chǔ)器(ROM)、非易失性隨機(jī)存取存儲(chǔ)器(NVRAM)、可編程只讀存儲(chǔ) 器PR0M、可擦除可編程只讀存儲(chǔ)器(EPROM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、快閃存 儲(chǔ)器、CD-ROM或其它光盤(pán)存儲(chǔ)設(shè)備、磁盤(pán)存儲(chǔ)設(shè)備或其它磁性存儲(chǔ)裝置或可用以載運(yùn)或存 儲(chǔ)呈指令或數(shù)據(jù)結(jié)構(gòu)的形式的所要程序代碼且可由計(jì)算機(jī)存取的任何其它媒體。此外，可適當(dāng)?shù)貙⑷魏芜B接稱為計(jì)算機(jī)可讀媒體。舉例來(lái)說(shuō)，如果使用網(wǎng)絡(luò)電纜、 同軸電纜、光纖電纜、雙絞線、數(shù)字用戶線(DSL)或例如紅外線、無(wú)線電及微波的無(wú)線技術(shù) 而從網(wǎng)站、服務(wù)器或其它遠(yuǎn)程源傳輸軟件，則網(wǎng)絡(luò)電纜、同軸電纜、光纖電纜、雙絞線、DSL或 例如紅外線、無(wú)線電及微波的無(wú)線技術(shù)包括在媒體的定義中。如本文中所使用，磁盤(pán)及光盤(pán) 包括壓縮光盤(pán)(CD)、激光光盤(pán)、光學(xué)光盤(pán)、數(shù)字通用光盤(pán)(DVD)、軟磁盤(pán)及藍(lán)光(blu-ray)光 盤(pán)，其中磁盤(pán)通常以磁性方式再現(xiàn)數(shù)據(jù)，而光盤(pán)例如使用激光以光學(xué)方式再現(xiàn)數(shù)據(jù)。上述各 物的組合也應(yīng)包括在計(jì)算機(jī)可讀媒體的范圍內(nèi)。與計(jì)算機(jī)程序產(chǎn)品的計(jì)算機(jī)可讀媒體相關(guān)聯(lián)的代碼可由計(jì)算機(jī)執(zhí)行，例如，由一 個(gè)或一個(gè)以上處理器(例如，一個(gè)或一個(gè)以上數(shù)字信號(hào)處理器(DSP))、通用微處理器、專用 集成電路(ASIC)、現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA，也被稱作現(xiàn)場(chǎng)可編程邏輯陣列(FPLA))或其它 等效集成或離散邏輯電路來(lái)執(zhí)行。在一些方面中，本文中所描述的功能性可提供在經(jīng)配置 以用于編碼及解碼的專用軟件模塊或硬件模塊內(nèi)或并入在經(jīng)組合的視頻編碼器-解碼器 (編解碼器)中。然而，在不偏離隨附權(quán)利要求書(shū)的范圍的情況下，可對(duì)所描述的技術(shù)進(jìn)行各種修改。
權(quán)利要求
一種方法，其包含計(jì)算視頻序列中所包括的若干對(duì)幀內(nèi)的圖像信息之間的第一階交叉相關(guān)；計(jì)算若干對(duì)所述第一階交叉相關(guān)之間的第二階交叉相關(guān)；以及基于所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確定所述視頻序列中所包括的所述幀中的每一者的圖片類型。
2.根據(jù)權(quán)利要求1所述的方法，其中確定所述幀中的每一者的圖片類型包含確定應(yīng)將 所述視頻序列中所包括的所述幀中的每一者編碼為幀內(nèi)圖片、經(jīng)預(yù)測(cè)的圖片還是雙向預(yù)測(cè) 性圖片。
3.根據(jù)權(quán)利要求1所述的方法，其中確定所述幀中的每一者的圖片類型包含 通過(guò)將所述第一階交叉相關(guān)的輸出中所包括的特征識(shí)別為視頻效果指紋來(lái)檢測(cè)所述視頻序列中所包括的所述幀之間的視頻轉(zhuǎn)變效果；以及基于對(duì)所述第一階交叉相關(guān)及所述第二階交叉相關(guān)的比較分析來(lái)確定所述視頻序列 中所包括的所述幀之間的時(shí)間相似性。
4.根據(jù)權(quán)利要求3所述的方法，其中檢測(cè)視頻轉(zhuǎn)變效果包含基于所述第一階交叉相關(guān) 來(lái)檢測(cè)一個(gè)或一個(gè)以上緊湊支持視頻轉(zhuǎn)變效果，其中所述緊湊支持視頻轉(zhuǎn)變效果包括剪輯 場(chǎng)景改變視頻效果、部分場(chǎng)景改變視頻效果及閃光幀視頻效果，且其中檢測(cè)所述一個(gè)或一 個(gè)以上緊湊支持視頻轉(zhuǎn)變效果包含將所述第一階交叉相關(guān)的輸出施加到與所述緊湊支持視頻轉(zhuǎn)變效果匹配的濾波器，所 述濾波器檢測(cè)所述輸出內(nèi)的大體類似于緊湊支持視頻效果指紋的多個(gè)特征；以及將所述匹配的濾波器的輸出施加到閾值比較器，所述閾值比較器識(shí)別所述所檢測(cè)的特 征中的哪些為緊湊支持視頻效果指紋。
5.根據(jù)權(quán)利要求3所述的方法，其中檢測(cè)視頻轉(zhuǎn)變效果包含基于所述第一階交叉相關(guān) 來(lái)檢測(cè)一個(gè)或一個(gè)以上擴(kuò)展支持視頻轉(zhuǎn)變效果，其中所述擴(kuò)展支持視頻轉(zhuǎn)變效果包括交叉 淡化視頻效果、淡入視頻效果、淡出視頻效果、放大視頻效果及縮小視頻效果，且其中檢測(cè) 所述一個(gè)或一個(gè)以上擴(kuò)展支持視頻轉(zhuǎn)變效果包含將所述第一階交叉相關(guān)的輸出施加到多分辨率分析器，所述多分辨率分析器檢測(cè)所述 輸出內(nèi)的大體類似于擴(kuò)展支持視頻效果指紋的多個(gè)特征；以及將所述多分辨率分析器的輸出施加到經(jīng)結(jié)構(gòu)化顯著峰值分析器，所述經(jīng)結(jié)構(gòu)化顯著峰 值分析器識(shí)別所述所檢測(cè)的特征中的哪些為擴(kuò)展支持視頻效果指紋。
6.根據(jù)權(quán)利要求3所述的方法，其中檢測(cè)視頻轉(zhuǎn)變效果包含基于所述第一階交叉相關(guān) 來(lái)檢測(cè)一個(gè)或一個(gè)以上全局運(yùn)動(dòng)視頻轉(zhuǎn)變效果，其中所述全局運(yùn)動(dòng)視頻轉(zhuǎn)變效果包括相機(jī) 搖攝視頻效果及相機(jī)卷動(dòng)視頻效果，且其中檢測(cè)所述一個(gè)或一個(gè)以上全局運(yùn)動(dòng)視頻轉(zhuǎn)變效 果包含將所述第一階交叉相關(guān)的輸出施加到最大值位置濾波器，所述最大值位置濾波器檢測(cè) 所述輸出內(nèi)的大體類似于全局運(yùn)動(dòng)視頻效果指紋的多個(gè)特征且確定對(duì)所述特征中的每一 者的水平位移估計(jì)及垂直位移估計(jì)；以及將所述最大值位置濾波器的輸出施加到多通道融合模塊，所述多通道融合模塊使所述 所檢測(cè)的特征中的每一者的所述水平位移估計(jì)及所述垂直位移估計(jì)平滑且識(shí)別所述所檢 測(cè)的特征中的哪些為全局運(yùn)動(dòng)視頻效果指紋。
7.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包含基于對(duì)幀內(nèi)容、速率-失真改進(jìn)特性及編 碼帶寬機(jī)制特性的依賴性來(lái)評(píng)估所述視頻序列中所包括的所述幀中的每一者的所述所確 定的圖片類型的準(zhǔn)確度。
8.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包含將所述視頻序列分割為包括多個(gè)幀的圖 片組(GOP)結(jié)構(gòu)，其中確定所述幀中的每一者的圖片類型包含在所述GOP結(jié)構(gòu)內(nèi)定位分析窗，以使得所述分析窗以候選幀為中心且包括預(yù)定數(shù)目個(gè) 相鄰幀；計(jì)算所述分析窗中所包括的幀的圖像信息之間的第一階交叉相關(guān)；計(jì)算所述分析窗中所包括的若干對(duì)所述第一階交叉相關(guān)之間的第二階交叉相關(guān)；以及基于所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確定所述候選幀的圖片類型。
9.根據(jù)權(quán)利要求1所述的方法，其中計(jì)算第一階交叉相關(guān)包含在所述視頻序列中所包括的若干對(duì)幀內(nèi)的圖像信息之 間執(zhí)行基于二維快速傅立葉變換的計(jì)算，且其中計(jì)算第二階交叉相關(guān)包含在若干對(duì)第一階交叉相關(guān)之間執(zhí)行基于二維快速傅立 葉變換的計(jì)算。
10.根據(jù)權(quán)利要求1所述的方法，其中計(jì)算第一階交叉相關(guān)包含計(jì)算所述視頻序列中 所包括的若干對(duì)幀內(nèi)的全幀圖像之間的第一階交叉相關(guān)。
11.根據(jù)權(quán)利要求1所述的方法，其中計(jì)算第一階交叉相關(guān)包含將所述視頻序列中所包括的若干對(duì)幀內(nèi)的子圖像集合中的子圖像填充為共同圖像大計(jì)算所述子圖像集合之間的第一階子圖像交叉相關(guān)；以及在所述若干對(duì)幀中的每一對(duì)幀的所述子圖像的至少一部分上求所述子圖像交叉相關(guān) 的平均值。
12.根據(jù)權(quán)利要求11所述的方法，其中確定所述幀中的每一者的圖片類型包含將所述視頻序列中所包括的所述幀中的每一者劃分為多個(gè)片斷；以及基于所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確定所述視頻序列中所包括的所 述幀中的每一者的所述個(gè)別片斷的圖片類型。
13.根據(jù)權(quán)利要求1所述的方法，其中確定所述幀中的每一者的圖片類型包含確定所 述視頻序列中所包括的所述幀中的每一者的基準(zhǔn)圖片類型，進(jìn)一步包含將實(shí)時(shí)確定的圖片 類型與所述基準(zhǔn)圖片類型比較以確定所述實(shí)時(shí)確定的圖片類型的準(zhǔn)確度。
14.根據(jù)權(quán)利要求1所述的方法，其中確定所述幀中的每一者的圖片類型包含實(shí)時(shí)確 定所述視頻序列中所包括的所述幀中的每一者的圖片類型。
15.根據(jù)權(quán)利要求14所述的方法，其進(jìn)一步包含執(zhí)行復(fù)雜性降低以使得能夠進(jìn)行對(duì)所 述圖片類型的實(shí)時(shí)確定。
16.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包含基于所述針對(duì)所述幀而確定的圖片類 型而對(duì)所述視頻序列中所包括的所述幀中的每一者進(jìn)行編碼。
17.一種裝置，其包含相關(guān)器，其計(jì)算視頻序列中所包括的若干對(duì)幀內(nèi)的圖像信息之間的第一階交叉相關(guān)， 且計(jì)算若干對(duì)所述第一階交叉相關(guān)之間的第二階交叉相關(guān)；以及圖片類型確定模塊，其基于所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確定所述視 頻序列中所包括的所述幀中的每一者的圖片類型。
18.根據(jù)權(quán)利要求17所述的裝置，其中所述圖片類型確定模塊確定應(yīng)將所述視頻序列 中所包括的所述幀中的每一者編碼為幀內(nèi)圖片、經(jīng)預(yù)測(cè)的圖片還是雙向預(yù)測(cè)性圖片。
19.根據(jù)權(quán)利要求17所述的裝置，其進(jìn)一步包含相關(guān)分析器，所述相關(guān)分析器包括 視頻轉(zhuǎn)變效果檢測(cè)器，其基于所述第一階交叉相關(guān)的輸出中所包括的被識(shí)別為視頻效果指紋的特征來(lái)檢測(cè)所述視頻序列中所包括的所述幀之間的視頻轉(zhuǎn)變效果；以及比較分析器，其基于對(duì)所述第一階交叉相關(guān)及所述第二階交叉相關(guān)的比較分析來(lái)確定 所述視頻序列中所包括的所述幀之間的時(shí)間相似性。
20.根據(jù)權(quán)利要求19所述的裝置，其中所述視頻轉(zhuǎn)變效果檢測(cè)器包括緊湊支持事件檢測(cè)器，其基于所述第一階交叉相關(guān)來(lái)檢測(cè)一個(gè)或一個(gè)以上緊湊支持視 頻轉(zhuǎn)變效果，其中所述緊湊支持視頻轉(zhuǎn)變效果包括剪輯場(chǎng)景改變視頻效果、部分場(chǎng)景改變 視頻效果及閃光幀視頻效果，且其中所述緊湊支持事件檢測(cè)器包含與所述緊湊支持視頻轉(zhuǎn)變效果匹配的濾波器，所述濾波器檢測(cè)所述第一階交叉相關(guān)的 輸出內(nèi)的大體類似于緊湊支持視頻效果指紋的多個(gè)特征；以及閾值比較器，其識(shí)別所述匹配的濾波器的輸出中的所述所檢測(cè)的特征中的哪些為緊湊 支持視頻效果指紋。
21.根據(jù)權(quán)利要求19所述的裝置，其中所述視頻轉(zhuǎn)變效果檢測(cè)器包括擴(kuò)展支持事件檢測(cè)器，其基于所述第一階交叉相關(guān)來(lái)檢測(cè)一個(gè)或一個(gè)以上擴(kuò)展支持視 頻轉(zhuǎn)變效果，其中所述擴(kuò)展支持視頻轉(zhuǎn)變效果包括交叉淡化視頻效果、淡入視頻效果、淡出 視頻效果、放大視頻效果及縮小視頻效果，且其中所述擴(kuò)展支持事件檢測(cè)器包含多分辨率分析器，其檢測(cè)所述第一階交叉相關(guān)的輸出內(nèi)的大體類似于擴(kuò)展支持視頻效 果指紋的多個(gè)特征；以及經(jīng)結(jié)構(gòu)化顯著峰值分析器，其識(shí)別所述多分辨率分析器的輸出中的所述所檢測(cè)的特征 中的哪些為擴(kuò)展支持視頻效果指紋。
22.根據(jù)權(quán)利要求19所述的裝置，其中所述視頻轉(zhuǎn)變效果檢測(cè)器包括全局運(yùn)動(dòng)檢測(cè)器，其基于所述第一階交叉相關(guān)來(lái)檢測(cè)一個(gè)或一個(gè)以上全局運(yùn)動(dòng)視頻轉(zhuǎn) 變效果，其中所述全局運(yùn)動(dòng)視頻轉(zhuǎn)變效果包括相機(jī)搖攝視頻效果及相機(jī)卷動(dòng)視頻效果，且 其中所述全局運(yùn)動(dòng)檢測(cè)器包含最大值位置濾波器，其檢測(cè)所述第一階交叉相關(guān)的輸出內(nèi)的大體類似于全局運(yùn)動(dòng)視頻 效果指紋的多個(gè)特征且確定對(duì)所述特征中的每一者的水平位移估計(jì)及垂直位移估計(jì)；以及 多通道融合模塊，其使所述最大值位置濾波器的輸出中的對(duì)所述所檢測(cè)的特征中的每 一者的所述水平位移估計(jì)及所述垂直位移估計(jì)平滑且識(shí)別所述所檢測(cè)的特征中的哪些為 全局運(yùn)動(dòng)視頻效果指紋。
23.根據(jù)權(quán)利要求17所述的裝置，其進(jìn)一步包含評(píng)估模塊，所述評(píng)估模塊基于對(duì)幀內(nèi) 容、速率_失真改進(jìn)特性及編碼帶寬機(jī)制特性的依賴性來(lái)評(píng)估由所述圖片類型確定模塊針 對(duì)所述視頻序列中所包括的所述幀中的每一者而確定的所述圖片類型的準(zhǔn)確度。
24.根據(jù)權(quán)利要求17所述的裝置，其進(jìn)一步包含圖片組(GOP)分割器，其將所述視頻序列分割為包括多個(gè)幀的GOP結(jié)構(gòu)；以及分析窗定位模塊，其在所述GOP結(jié)構(gòu)內(nèi)定位分析窗以使得所述分析窗以候選幀為中心 且包括預(yù)定數(shù)目個(gè)相鄰幀，其中所述相關(guān)器計(jì)算所述分析窗中所包括的幀的圖像信息之間的第一階交叉相關(guān)，且 計(jì)算所述分析窗中所包括的若干對(duì)所述第一階交叉相關(guān)之間的第二階交叉相關(guān)，且其中所述圖片類型確定模塊基于所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確定 所述候選幀的圖片類型。
25.根據(jù)權(quán)利要求17所述的裝置，其中所述相關(guān)器在所述視頻序列中所包括的若干對(duì) 幀內(nèi)的圖像信息之間執(zhí)行基于二維快速傅立葉變換的計(jì)算以產(chǎn)生所述第一階交叉相關(guān)，且 在若干對(duì)第一階交叉相關(guān)之間執(zhí)行基于二維快速傅立葉變換的計(jì)算以產(chǎn)生所述第二階交 叉相關(guān)。
26.根據(jù)權(quán)利要求17所述的裝置，其中所述相關(guān)器計(jì)算所述視頻序列中所包括的若干 對(duì)幀內(nèi)的全幀圖像之間的第一階交叉相關(guān)。
27.根據(jù)權(quán)利要求17所述的裝置，其中所述相關(guān)器將所述視頻序列中所包括的若干對(duì)幀內(nèi)的子圖像集合中的子圖像填充為共同圖像大計(jì)算所述子圖像集合之間的第一階子圖像交叉相關(guān)；且在所述若干對(duì)幀中的每一對(duì)幀的所述子圖像的至少一部分上求所述子圖像交叉相關(guān) 的平均值以產(chǎn)生所述第一階交叉相關(guān)。
28.根據(jù)權(quán)利要求27所述的裝置，其中所述圖片類型確定模塊將所述視頻序列中所包括的所述幀中的每一者劃分為多個(gè)片斷；且基于所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確定所述視頻序列中所包括的所 述幀中的每一者的所述個(gè)別片斷的圖片類型。
29.根據(jù)權(quán)利要求17所述的裝置，其中所述圖片類型確定模塊確定所述視頻序列中所 包括的所述幀中的每一者的基準(zhǔn)圖片類型以用于與實(shí)時(shí)確定的圖片類型比較從而確定所 述實(shí)時(shí)確定的圖片類型的準(zhǔn)確度。
30.根據(jù)權(quán)利要求17所述的裝置，其中所述圖片類型確定模塊實(shí)時(shí)確定所述視頻序列 中所包括的所述幀中的每一者的圖片類型。
31.根據(jù)權(quán)利要求30所述的裝置，其進(jìn)一步包含復(fù)雜性降低模塊，所述復(fù)雜性降低模 塊執(zhí)行復(fù)雜性降低以使所述圖片類型確定模塊能夠執(zhí)行對(duì)所述圖片類型的實(shí)時(shí)確定。
32.根據(jù)權(quán)利要求17所述的裝置，其進(jìn)一步包含編碼器，所述編碼器基于所述針對(duì)所 述幀而確定的圖片類型而對(duì)所述視頻序列中所包括的所述幀中的每一者進(jìn)行編碼。
33.一種包含計(jì)算機(jī)可讀媒體的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)可讀媒體包含用于使計(jì) 算機(jī)執(zhí)行以下操作的指令計(jì)算視頻序列中所包括的若干對(duì)幀內(nèi)的圖像信息之間的第一階交叉相關(guān)；計(jì)算若干對(duì)所述第一階交叉相關(guān)之間的第二階交叉相關(guān)；且基于所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確定所述視頻序列中所包括的所 述幀中的每一者的圖片類型。
34.根據(jù)權(quán)利要求33所述的包含計(jì)算機(jī)可讀媒體的計(jì)算機(jī)程序產(chǎn)品，其中所述指令使 所述計(jì)算機(jī)確定應(yīng)將所述視頻序列中所包括的所述幀中的每一者編碼為幀內(nèi)圖片、經(jīng)預(yù)測(cè)的圖片還是雙向預(yù)測(cè)性圖片。
35.根據(jù)權(quán)利要求33所述的包含計(jì)算機(jī)可讀媒體的計(jì)算機(jī)程序產(chǎn)品，其中所述指令使 所述計(jì)算機(jī)基于所述第一階交叉相關(guān)的輸出中所包括的被識(shí)別為視頻效果指紋的特征來(lái)檢測(cè)所 述視頻序列中所包括的所述幀之間的視頻轉(zhuǎn)變效果；且基于對(duì)所述第一階交叉相關(guān)及所述第二階交叉相關(guān)的比較分析來(lái)確定所述視頻序列 中所包括的所述幀之間的時(shí)間相似性。
36.根據(jù)權(quán)利要求35所述的包含計(jì)算機(jī)可讀媒體的計(jì)算機(jī)程序產(chǎn)品，其中所述指令使 所述計(jì)算機(jī)基于所述第一階交叉相關(guān)來(lái)檢測(cè)一個(gè)或一個(gè)以上緊湊支持視頻轉(zhuǎn)變效果，其中 所述緊湊支持視頻轉(zhuǎn)變效果包括剪輯場(chǎng)景改變視頻效果、部分場(chǎng)景改變視頻效果及閃光幀 視頻效果，且其中所述使所述計(jì)算機(jī)檢測(cè)一個(gè)或一個(gè)以上緊湊支持視頻轉(zhuǎn)變效果的指令使 所述計(jì)算機(jī)將所述第一階交叉相關(guān)的輸出施加到與所述緊湊支持視頻轉(zhuǎn)變效果匹配的濾波器，所 述濾波器檢測(cè)所述輸出內(nèi)的大體類似于緊湊支持視頻效果指紋的多個(gè)特征；且將所述匹配的濾波器的輸出施加到閾值比較器，所述閾值比較器識(shí)別所述所檢測(cè)的特 征中的哪些為緊湊支持視頻效果指紋。
37.根據(jù)權(quán)利要求35所述的包含計(jì)算機(jī)可讀媒體的計(jì)算機(jī)程序產(chǎn)品，其中所述指令使 所述計(jì)算機(jī)基于所述第一階交叉相關(guān)來(lái)檢測(cè)一個(gè)或一個(gè)以上擴(kuò)展支持視頻轉(zhuǎn)變效果，其中 所述擴(kuò)展支持視頻轉(zhuǎn)變效果包括交叉淡化視頻效果、淡入視頻效果、淡出視頻效果、放大視 頻效果及縮小視頻效果，且其中所述使所述計(jì)算機(jī)檢測(cè)所述一個(gè)或一個(gè)以上擴(kuò)展支持視頻 轉(zhuǎn)變效果的指令使所述計(jì)算機(jī)將所述第一階交叉相關(guān)的輸出施加到多分辨率分析器，所述多分辨率分析器檢測(cè)所述 輸出內(nèi)的大體類似于擴(kuò)展支持視頻效果指紋的多個(gè)特征；且將所述多分辨率分析器的輸出施加到經(jīng)結(jié)構(gòu)化顯著峰值分析器，所述經(jīng)結(jié)構(gòu)化顯著峰 值分析器識(shí)別所述所檢測(cè)的特征中的哪些為擴(kuò)展支持視頻效果指紋。
38.根據(jù)權(quán)利要求35所述的包含計(jì)算機(jī)可讀媒體的計(jì)算機(jī)程序產(chǎn)品，其中所述指令使 所述計(jì)算機(jī)基于所述第一階交叉相關(guān)來(lái)檢測(cè)一個(gè)或一個(gè)以上全局運(yùn)動(dòng)視頻轉(zhuǎn)變效果，其中 所述全局運(yùn)動(dòng)視頻轉(zhuǎn)變效果包括相機(jī)搖攝視頻效果及相機(jī)卷動(dòng)視頻效果，且其中所述使所 述計(jì)算機(jī)檢測(cè)所述一個(gè)或一個(gè)以上全局運(yùn)動(dòng)視頻轉(zhuǎn)變效果的指令使所述計(jì)算機(jī)將所述第一階交叉相關(guān)的輸出施加到最大值位置濾波器，所述最大值位置濾波器檢測(cè) 所述輸出內(nèi)的大體類似于全局運(yùn)動(dòng)視頻效果指紋的多個(gè)特征且確定對(duì)所述特征中的每一 者的水平位移估計(jì)及垂直位移估計(jì)；且將所述最大值位置濾波器的輸出施加到多通道融合模塊，所述多通道融合模塊使所述 所檢測(cè)的特征中的每一者的所述水平位移估計(jì)及所述垂直位移估計(jì)平滑且識(shí)別所述所檢 測(cè)的特征中的哪些為全局運(yùn)動(dòng)視頻效果指紋。
39.根據(jù)權(quán)利要求33所述的包含計(jì)算機(jī)可讀媒體的計(jì)算機(jī)程序產(chǎn)品，其進(jìn)一步包含使 所述計(jì)算機(jī)基于對(duì)幀內(nèi)容、速率_失真改進(jìn)特性及編碼帶寬機(jī)制特性的依賴性來(lái)評(píng)估所述 視頻序列中所包括的所述幀中的每一者的所述所確定的圖片類型的準(zhǔn)確度的指令。
40.根據(jù)權(quán)利要求33所述的包含計(jì)算機(jī)可讀媒體的計(jì)算機(jī)程序產(chǎn)品，其進(jìn)一步包含使所述計(jì)算機(jī)執(zhí)行以下操作的指令將所述視頻序列分割為包括多個(gè)幀的圖片組(GOP)結(jié)構(gòu)；在所述GOP結(jié)構(gòu)內(nèi)定位分析窗以使得所述分析窗以候選幀為中心且包括預(yù)定數(shù)目個(gè) 相鄰幀；計(jì)算所述分析窗中所包括的幀的圖像信息之間的第一階交叉相關(guān)；計(jì)算所述分析窗中所包括的若干對(duì)所述第一階交叉相關(guān)之間的第二階交叉相關(guān)；且基于所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確定所述候選幀的圖片類型。
41.根據(jù)權(quán)利要求33所述的包含計(jì)算機(jī)可讀媒體的計(jì)算機(jī)程序產(chǎn)品，其中所述指令使 所述計(jì)算機(jī)在所述視頻序列中所包括的若干對(duì)幀內(nèi)的圖像信息之間執(zhí)行基于二維快速傅立葉變 換的計(jì)算以產(chǎn)生所述第一階交叉相關(guān)，且在若干對(duì)第一階交叉相關(guān)之間執(zhí)行基于二維快速傅立葉變換的計(jì)算以產(chǎn)生所述第二 階交叉相關(guān)。
42.根據(jù)權(quán)利要求33所述的包含計(jì)算機(jī)可讀媒體的計(jì)算機(jī)程序產(chǎn)品，其中所述指令使 所述計(jì)算機(jī)計(jì)算所述視頻序列中所包括的若干對(duì)幀內(nèi)的全幀圖像之間的第一階交叉相關(guān)。
43.根據(jù)權(quán)利要求33所述的包含計(jì)算機(jī)可讀媒體的計(jì)算機(jī)程序產(chǎn)品，其中所述指令使 所述計(jì)算機(jī)將所述視頻序列中所包括的若干對(duì)幀內(nèi)的子圖像集合中的子圖像填充為共同圖像大計(jì)算所述子圖像集合之間的第一階子圖像交叉相關(guān)；且在所述若干對(duì)幀中的每一對(duì)幀的所述子圖像的至少一部分上求所述子圖像交叉相關(guān) 的平均值以產(chǎn)生所述第一階交叉相關(guān)。
44.根據(jù)權(quán)利要求43所述的包含計(jì)算機(jī)可讀媒體的計(jì)算機(jī)程序產(chǎn)品，其中所述指令使 所述計(jì)算機(jī)將所述視頻序列中所包括的所述幀中的每一者劃分為多個(gè)片斷；且基于所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確定所述視頻序列中所包括的所 述幀中的每一者的所述個(gè)別片斷的圖片類型。
45.根據(jù)權(quán)利要求33所述的包含計(jì)算機(jī)可讀媒體的計(jì)算機(jī)程序產(chǎn)品，其中所述指令使 所述計(jì)算機(jī)確定所述視頻序列中所包括的所述幀中的每一者的基準(zhǔn)圖片類型，且將實(shí)時(shí)確 定的圖片類型與所述基準(zhǔn)圖片類型比較以確定所述實(shí)時(shí)確定的圖片類型的準(zhǔn)確度。
46.根據(jù)權(quán)利要求33所述的包含計(jì)算機(jī)可讀媒體的計(jì)算機(jī)程序產(chǎn)品，其中所述指令使 所述計(jì)算機(jī)實(shí)時(shí)確定所述視頻序列中所包括的所述幀中的每一者的圖片類型。
47.根據(jù)權(quán)利要求46所述的包含計(jì)算機(jī)可讀媒體的計(jì)算機(jī)程序產(chǎn)品，其中所述指令使 所述計(jì)算機(jī)執(zhí)行復(fù)雜性降低以使得能夠進(jìn)行對(duì)所述圖片類型的實(shí)時(shí)確定。
48.根據(jù)權(quán)利要求33所述的包含計(jì)算機(jī)可讀媒體的計(jì)算機(jī)程序產(chǎn)品，其進(jìn)一步包含使 所述計(jì)算機(jī)基于所述針對(duì)所述幀而確定的圖片類型而對(duì)所述視頻序列中所包括的所述幀 中的每一者進(jìn)行編碼的指令。
49.一種裝置，其包含用于計(jì)算視頻序列中所包括的若干對(duì)幀內(nèi)的圖像信息之間的第一階交叉相關(guān)及若干對(duì)所述第一階交叉相關(guān)之間的第二階交叉相關(guān)的裝置；以及用于基于所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確定所述視頻序列中所包括 的所述幀中的每一者的圖片類型的裝置。
50.根據(jù)權(quán)利要求49所述的裝置，其中所述用于確定圖片類型的裝置確定應(yīng)將所述 視頻序列中所包括的所述幀中的每一者編碼為幀內(nèi)圖片、經(jīng)預(yù)測(cè)的圖片還是雙向預(yù)測(cè)性圖 片。
51.根據(jù)權(quán)利要求49所述的裝置，其進(jìn)一步包含用于基于所述第一階交叉相關(guān)的輸出中所包括的被識(shí)別為視頻效果指紋的特征來(lái)檢 測(cè)所述視頻序列中所包括的所述幀之間的視頻轉(zhuǎn)變效果的裝置；以及用于基于對(duì)所述第一階交叉相關(guān)及所述第二階交叉相關(guān)的比較分析來(lái)確定所述視頻 序列中所包括的所述幀之間的時(shí)間相似性的裝置。
52.根據(jù)權(quán)利要求51所述的裝置，其中所述用于檢測(cè)視頻轉(zhuǎn)變效果的裝置包括用于基 于所述第一階交叉相關(guān)來(lái)檢測(cè)一個(gè)或一個(gè)以上緊湊支持視頻轉(zhuǎn)變效果的裝置，其中所述緊 湊支持視頻轉(zhuǎn)變效果包括剪輯場(chǎng)景改變視頻效果、部分場(chǎng)景改變視頻效果及閃光幀視頻效 果，且其中所述用于檢測(cè)一個(gè)或一個(gè)以上緊湊支持視頻轉(zhuǎn)變效果的裝置包含與所述緊湊支持視頻轉(zhuǎn)變效果匹配的濾波器，所述濾波器檢測(cè)所述第一階交叉相關(guān)的 輸出內(nèi)的大體類似于緊湊支持視頻效果指紋的多個(gè)特征；以及閾值比較器，其識(shí)別所述匹配的濾波器的輸出中的所述所檢測(cè)的特征中的哪些為緊湊 支持視頻效果指紋。
53.根據(jù)權(quán)利要求51所述的裝置，其中所述用于檢測(cè)視頻轉(zhuǎn)變效果的裝置包括用于基 于所述第一階交叉相關(guān)來(lái)檢測(cè)一個(gè)或一個(gè)以上擴(kuò)展支持視頻轉(zhuǎn)變效果的裝置，其中擴(kuò)展支 持視頻轉(zhuǎn)變效果包括交叉淡化視頻效果、淡入視頻效果、淡出視頻效果、放大視頻效果及縮 小視頻效果，且其中所述用于檢測(cè)一個(gè)或一個(gè)以上擴(kuò)展支持視頻轉(zhuǎn)變效果的裝置包含多分辨率分析器，其檢測(cè)所述第一階交叉相關(guān)的輸出內(nèi)的大體類似于擴(kuò)展支持視頻效 果指紋的多個(gè)特征；以及經(jīng)結(jié)構(gòu)化顯著峰值分析器，其識(shí)別所述多分辨率分析器的輸出中的所述所檢測(cè)的特征 中的哪些為擴(kuò)展支持視頻效果指紋。
54.根據(jù)權(quán)利要求51所述的裝置，其中所述用于檢測(cè)視頻轉(zhuǎn)變效果的裝置包括用于基 于所述第一階交叉相關(guān)來(lái)檢測(cè)一個(gè)或一個(gè)以上全局運(yùn)動(dòng)視頻轉(zhuǎn)變效果的裝置，其中全局運(yùn) 動(dòng)視頻轉(zhuǎn)變效果包括相機(jī)搖攝視頻效果及相機(jī)卷動(dòng)視頻效果，且其中所述用于檢測(cè)所述一 個(gè)或一個(gè)以上全局運(yùn)動(dòng)視頻轉(zhuǎn)變效果的裝置包含最大值位置濾波器，其檢測(cè)所述第一階交叉相關(guān)的輸出內(nèi)的大體類似于全局運(yùn)動(dòng)視頻 效果指紋的多個(gè)特征且確定對(duì)所述特征中的每一者的水平位移估計(jì)及垂直位移估計(jì)；以及多通道融合模塊，其使所述最大值位置濾波器的輸出中的對(duì)所述所檢測(cè)的特征中的每 一者的所述水平位移估計(jì)及所述垂直位移估計(jì)平滑且識(shí)別所述所檢測(cè)的特征中的哪些為 全局運(yùn)動(dòng)視頻效果指紋。
55.根據(jù)權(quán)利要求49所述的裝置，其進(jìn)一步包含用于基于對(duì)幀內(nèi)容、速率-失真改進(jìn)特 性及編碼帶寬機(jī)制特性的依賴性來(lái)評(píng)估所述視頻序列中所包括的所述幀中的每一者的所 述所確定的圖片類型的準(zhǔn)確度的裝置。
56.根據(jù)權(quán)利要求49所述的裝置，其進(jìn)一步包含用于將所述視頻序列分割為包括多個(gè)幀的GOP結(jié)構(gòu)的裝置；以及用于在所述GOP結(jié)構(gòu)內(nèi)定位分析窗以使得所述分析窗以候選幀為中心且包括預(yù)定數(shù) 目個(gè)相鄰幀的裝置，其中所述用于計(jì)算的裝置計(jì)算所述分析窗中所包括的幀的圖像信息之間的第一階交 叉相關(guān)，且計(jì)算所述分析窗中所包括的若干對(duì)所述第一階交叉相關(guān)之間的第二階交叉相 關(guān)，且其中所述用于確定圖片類型的裝置基于所述第一階交叉相關(guān)及所述第二階交叉相關(guān) 來(lái)確定所述候選幀的圖片類型。
57.根據(jù)權(quán)利要求49所述的裝置，其中所述用于計(jì)算的裝置在所述視頻序列中所包括 的若干對(duì)幀內(nèi)的圖像信息之間執(zhí)行基于二維快速傅立葉變換的計(jì)算以產(chǎn)生所述第一階交 叉相關(guān)，且在若干對(duì)第一階交叉相關(guān)之間執(zhí)行基于二維快速傅立葉變換的計(jì)算以產(chǎn)生所述 第二階交叉相關(guān)。
58.根據(jù)權(quán)利要求49所述的裝置，其中所述用于計(jì)算的裝置計(jì)算所述視頻序列中所包 括的若干對(duì)幀內(nèi)的全幀圖像之間的第一階交叉相關(guān)。
59.根據(jù)權(quán)利要求49所述的裝置，其中所述用于計(jì)算的裝置將所述視頻序列中所包括的若干對(duì)幀內(nèi)的子圖像集合中的子圖像填充為共同圖像大計(jì)算所述子圖像集合之間的第一階子圖像交叉相關(guān)；且在所述若干對(duì)幀中的每一對(duì)幀的所述子圖像的至少一部分上求所述子圖像交叉相關(guān) 的平均值以產(chǎn)生所述第一階交叉相關(guān)。
60.根據(jù)權(quán)利要求59所述的裝置，其中所述用于確定圖片類型的裝置將所述視頻序列中所包括的所述幀中的每一者劃分為多個(gè)片斷；且基于所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確定所述視頻序列中所包括的所 述幀中的每一者的所述個(gè)別片斷的圖片類型。
61.根據(jù)權(quán)利要求49所述的裝置，其中所述用于確定圖片類型的裝置確定所述視頻序 列中所包括的所述幀中的每一者的基準(zhǔn)圖片類型以用于與實(shí)時(shí)確定的圖片類型比較從而 確定所述實(shí)時(shí)確定的圖片類型的準(zhǔn)確度。
62.根據(jù)權(quán)利要求49所述的裝置，其中所述用于確定圖片類型的裝置實(shí)時(shí)確定所述視 頻序列中所包括的所述幀中的每一者的圖片類型。
63.根據(jù)權(quán)利要求62所述的裝置，其進(jìn)一步包含用于執(zhí)行復(fù)雜性降低以使所述圖片類 型確定模塊能夠執(zhí)行對(duì)所述圖片類型的實(shí)時(shí)確定的裝置。
64.根據(jù)權(quán)利要求49所述的裝置，其進(jìn)一步包含用于基于所述針對(duì)所述幀而確定的圖 片類型而對(duì)所述視頻序列中所包括的所述幀中的每一者進(jìn)行編碼的裝置。
65.一種無(wú)線通信裝置手持機(jī)，其包含相關(guān)器，其計(jì)算視頻序列中所包括的若干對(duì)幀內(nèi)的圖像信息之間的第一階交叉相關(guān)， 且計(jì)算若干對(duì)所述第一階交叉相關(guān)之間的第二階交叉相關(guān)；以及圖片類型確定模塊，其基于所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確定所述視 頻序列中所包括的所述幀中的每一者的圖片類型。
66.根據(jù)權(quán)利要求65所述的手持機(jī)，其中所述圖片類型確定模塊確定應(yīng)將所述視頻序 列中所包括的所述幀中的每一者編碼為幀內(nèi)圖片、經(jīng)預(yù)測(cè)的圖片還是雙向預(yù)測(cè)性圖片。
67.根據(jù)權(quán)利要求65所述的手持機(jī)，其進(jìn)一步包含相關(guān)分析器，所述相關(guān)分析器包括 視頻轉(zhuǎn)變效果檢測(cè)器，其基于所述第一階交叉相關(guān)的輸出中所包括的被識(shí)別為視頻效果指紋的特征來(lái)檢測(cè)所述視頻序列中所包括的所述幀之間的視頻轉(zhuǎn)變效果；以及比較分析器，其基于對(duì)所述第一階交叉相關(guān)及所述第二階交叉相關(guān)的比較分析來(lái)確定 所述視頻序列中所包括的所述幀之間的時(shí)間相似性。
68.根據(jù)權(quán)利要求67所述的手持機(jī)，其中所述視頻轉(zhuǎn)變效果檢測(cè)器包括緊湊支持事件檢測(cè)器，其基于所述第一階交叉相關(guān)來(lái)檢測(cè)一個(gè)或一個(gè)以上緊湊支持視 頻轉(zhuǎn)變效果，其中所述緊湊支持視頻轉(zhuǎn)變效果包括剪輯場(chǎng)景改變視頻效果、部分場(chǎng)景改變 視頻效果及閃光幀視頻效果，且其中所述緊湊支持事件檢測(cè)器包含與所述緊湊支持視頻轉(zhuǎn)變效果匹配的濾波器，所述濾波器檢測(cè)所述第一階交叉相關(guān)的 輸出內(nèi)的大體類似于緊湊支持視頻效果指紋的多個(gè)特征；以及閾值比較器，其識(shí)別所述匹配的濾波器的輸出中的所述所檢測(cè)的特征中的哪些為緊湊 支持視頻效果指紋。
69.根據(jù)權(quán)利要求67所述的手持機(jī)，其中所述視頻轉(zhuǎn)變效果檢測(cè)器包括擴(kuò)展支持事件檢測(cè)器，其基于所述第一階交叉相關(guān)來(lái)檢測(cè)一個(gè)或一個(gè)以上擴(kuò)展支持視 頻轉(zhuǎn)變效果，其中所述擴(kuò)展支持視頻轉(zhuǎn)變效果包括交叉淡化視頻效果、淡入視頻效果、淡出 視頻效果、放大視頻效果及縮小視頻效果，且其中所述擴(kuò)展支持事件檢測(cè)器包含多分辨率分析器，其檢測(cè)所述第一階交叉相關(guān)的輸出內(nèi)的大體類似于擴(kuò)展支持視頻效 果指紋的多個(gè)特征；以及經(jīng)結(jié)構(gòu)化顯著峰值分析器，其識(shí)別所述多分辨率分析器的輸出中的所述所檢測(cè)的特征 中的哪些為擴(kuò)展支持視頻效果指紋。
70.根據(jù)權(quán)利要求67所述的手持機(jī)，其中所述視頻轉(zhuǎn)變效果檢測(cè)器包括全局運(yùn)動(dòng)檢測(cè)器，其基于所述第一階交叉相關(guān)來(lái)檢測(cè)一個(gè)或一個(gè)以上全局運(yùn)動(dòng)視頻轉(zhuǎn) 變效果，其中所述全局運(yùn)動(dòng)視頻轉(zhuǎn)變效果包括相機(jī)搖攝視頻效果及相機(jī)卷動(dòng)視頻效果，且 其中所述全局運(yùn)動(dòng)檢測(cè)器包含最大值位置濾波器，其檢測(cè)所述第一階交叉相關(guān)的輸出內(nèi)的大體類似于全局運(yùn)動(dòng)視頻 效果指紋的多個(gè)特征且確定對(duì)所述特征中的每一者的水平位移估計(jì)及垂直位移估計(jì)；以及 多通道融合模塊，其使所述最大值位置濾波器的輸出中的對(duì)所述所檢測(cè)的特征中的每 一者的所述水平位移估計(jì)及所述垂直位移估計(jì)平滑且識(shí)別所述所檢測(cè)的特征中的哪些為 全局運(yùn)動(dòng)視頻效果指紋。
71.根據(jù)權(quán)利要求65所述的手持機(jī)，其進(jìn)一步包含評(píng)估模塊，所述評(píng)估模塊基于對(duì)幀 內(nèi)容、速率_失真改進(jìn)特性及編碼帶寬機(jī)制特性的依賴性來(lái)評(píng)估由所述圖片類型確定模塊 針對(duì)所述視頻序列中所包括的所述幀中的每一者而確定的所述圖片類型的準(zhǔn)確度。
72.根據(jù)權(quán)利要求65所述的手持機(jī)，其進(jìn)一步包含圖片組(GOP)分割器，其將所述視頻序列分割為包括多個(gè)幀的GOP結(jié)構(gòu)；以及 分析窗定位模塊，其在所述GOP結(jié)構(gòu)內(nèi)定位分析窗以使得所述分析窗以候選幀為中心 且包括預(yù)定數(shù)目個(gè)相鄰幀，其中所述相關(guān)器計(jì)算所述分析窗中所包括的幀的圖像信息之間的第一階交叉相關(guān)，且 計(jì)算所述分析窗中所包括的若干對(duì)所述第一階交叉相關(guān)之間的第二階交叉相關(guān)，且其中所述圖片類型確定模塊基于所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確定 所述候選幀的圖片類型。
73.根據(jù)權(quán)利要求65所述的手持機(jī)，其中所述相關(guān)器在所述視頻序列中所包括的若干 對(duì)幀內(nèi)的圖像信息之間執(zhí)行基于二維快速傅立葉變換的計(jì)算以產(chǎn)生所述第一階交叉相關(guān)， 且在若干對(duì)第一階交叉相關(guān)之間執(zhí)行基于二維快速傅立葉變換的計(jì)算以產(chǎn)生所述第二階 交叉相關(guān)。
74.根據(jù)權(quán)利要求65所述的手持機(jī)，其中所述相關(guān)器計(jì)算所述視頻序列中所包括的若 干對(duì)幀內(nèi)的全幀圖像之間的第一階交叉相關(guān)。
75.根據(jù)權(quán)利要求65所述的手持機(jī)，其中所述相關(guān)器將所述視頻序列中所包括的若干對(duì)幀內(nèi)的子圖像集合中的子圖像填充為共同圖像大計(jì)算所述子圖像集合之間的第一階子圖像交叉相關(guān)；且在所述若干對(duì)幀中的每一對(duì)幀的所述子圖像的至少一部分上求所述子圖像交叉相關(guān) 的平均值以產(chǎn)生所述第一階交叉相關(guān)。
76.根據(jù)權(quán)利要求75所述的手持機(jī)，其中所述圖片類型確定模塊 將所述視頻序列中所包括的所述幀中的每一者劃分為多個(gè)片斷；且基于所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確定所述視頻序列中所包括的所 述幀中的每一者的所述個(gè)別片斷的圖片類型。
77.根據(jù)權(quán)利要求65所述的手持機(jī)，其中所述圖片類型確定模塊實(shí)時(shí)確定所述視頻序 列中所包括的所述幀中的每一者的圖片類型。
78.根據(jù)權(quán)利要求77所述的手持機(jī)，其進(jìn)一步包含復(fù)雜性降低模塊，所述復(fù)雜性降低 模塊執(zhí)行復(fù)雜性降低以使所述圖片類型確定模塊能夠執(zhí)行對(duì)所述圖片類型的實(shí)時(shí)確定。
79.根據(jù)權(quán)利要求65所述的手持機(jī)，其進(jìn)一步包含編碼器，所述編碼器基于所述針對(duì) 所述幀而確定的圖片類型而對(duì)所述視頻序列中所包括的所述幀中的每一者進(jìn)行編碼。
80.—種包含至少一個(gè)處理器的用于處理數(shù)字圖像數(shù)據(jù)的集成電路裝置，所述至少一 個(gè)處理器經(jīng)配置以計(jì)算視頻序列中所包括的若干對(duì)幀內(nèi)的圖像信息之間的第一階交叉相關(guān)； 計(jì)算若干對(duì)所述第一階交叉相關(guān)之間的第二階交叉相關(guān)；且基于所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確定所述視頻序列中所包括的所 述幀中的每一者的圖片類型。
81.根據(jù)權(quán)利要求80所述的集成電路裝置，其中所述至少一個(gè)處理器經(jīng)配置以確定應(yīng) 將所述視頻序列中所包括的所述幀中的每一者編碼為幀內(nèi)圖片、經(jīng)預(yù)測(cè)的圖片還是雙向預(yù) 測(cè)性圖片。
82.根據(jù)權(quán)利要求80所述的集成電路裝置，其中所述至少一個(gè)處理器經(jīng)配置以 基于所述第一階交叉相關(guān)的輸出中所包括的被識(shí)別為視頻效果指紋的特征來(lái)檢測(cè)所述視頻序列中所包括的所述幀之間的視頻轉(zhuǎn)變效果；且基于對(duì)所述第一階交叉相關(guān)及所述第二階交叉相關(guān)的比較分析來(lái)確定所述視頻序列中所包括的所述幀之間的時(shí)間相似性。
83.根據(jù)權(quán)利要求82所述的集成電路裝置，其中所述至少一個(gè)處理器經(jīng)配置以基于所 述第一階交叉相關(guān)來(lái)檢測(cè)一個(gè)或一個(gè)以上緊湊支持視頻轉(zhuǎn)變效果，其中所述緊湊支持視頻 轉(zhuǎn)變效果包括剪輯場(chǎng)景改變視頻效果、部分場(chǎng)景改變視頻效果及閃光幀視頻效果，且其中 所述至少一個(gè)處理器經(jīng)配置以將所述第一階交叉相關(guān)的輸出施加到與所述緊湊支持視頻轉(zhuǎn)變效果匹配的濾波器，所 述濾波器檢測(cè)所述輸出內(nèi)的大體類似于緊湊支持視頻效果指紋的多個(gè)特征；且將所述匹配的濾波器的輸出施加到閾值比較器，所述閾值比較器識(shí)別所述所檢測(cè)的特 征中的哪些為緊湊支持視頻效果指紋。
84.根據(jù)權(quán)利要求82所述的集成電路裝置，其中所述至少一個(gè)處理器經(jīng)配置以基于所 述第一階交叉相關(guān)來(lái)檢測(cè)一個(gè)或一個(gè)以上擴(kuò)展支持視頻轉(zhuǎn)變效果，其中所述擴(kuò)展支持視頻 轉(zhuǎn)變效果包括交叉淡化視頻效果、淡入視頻效果、淡出視頻效果、放大視頻效果及縮小視頻 效果，且其中所述至少一個(gè)處理器經(jīng)配置以將所述第一階交叉相關(guān)的輸出施加到多分辨率分析器，所述多分辨率分析器檢測(cè)所述 輸出內(nèi)的大體類似于擴(kuò)展支持視頻效果指紋的多個(gè)特征；且將所述多分辨率分析器的輸出施加到經(jīng)結(jié)構(gòu)化顯著峰值分析器，所述經(jīng)結(jié)構(gòu)化顯著峰 值分析器識(shí)別所述所檢測(cè)的特征中的哪些為擴(kuò)展支持視頻效果指紋。
85.根據(jù)權(quán)利要求82所述的集成電路裝置，其中所述至少一個(gè)處理器經(jīng)配置以基于所 述第一階交叉相關(guān)來(lái)檢測(cè)一個(gè)或一個(gè)以上全局運(yùn)動(dòng)視頻轉(zhuǎn)變效果，其中所述全局運(yùn)動(dòng)視頻 轉(zhuǎn)變效果包括相機(jī)搖攝視頻效果及相機(jī)卷動(dòng)視頻效果，且其中所述至少一個(gè)處理器經(jīng)配置 以將所述第一階交叉相關(guān)的輸出施加到最大值位置濾波器，所述最大值位置濾波器檢測(cè) 所述輸出內(nèi)的大體類似于全局運(yùn)動(dòng)視頻效果指紋的多個(gè)特征且確定對(duì)所述特征中的每一 者的水平位移估計(jì)及垂直位移估計(jì)；且將所述最大值位置濾波器的輸出施加到多通道融合模塊，所述多通道融合模塊使對(duì)所 述所檢測(cè)的特征中的每一者的所述水平位移估計(jì)及所述垂直位移估計(jì)平滑且識(shí)別所述所 檢測(cè)的特征中的哪些為全局運(yùn)動(dòng)視頻效果指紋。
86.根據(jù)權(quán)利要求80所述的集成電路裝置，其中所述至少一個(gè)處理器經(jīng)配置以基于對(duì) 幀內(nèi)容、速率_失真改進(jìn)特性及編碼帶寬機(jī)制特性的依賴性來(lái)評(píng)估所述視頻序列中所包括 的所述幀中的每一者的所述所確定的圖片類型的準(zhǔn)確度。
87.根據(jù)權(quán)利要求80所述的集成電路裝置，其中所述至少一個(gè)處理器經(jīng)配置以 將所述視頻序列分割為包括多個(gè)幀的圖片組(GOP)結(jié)構(gòu)；在所述GOP結(jié)構(gòu)內(nèi)定位分析窗以使得所述分析窗以候選幀為中心且包括預(yù)定數(shù)目個(gè) 相鄰幀；計(jì)算所述分析窗中所包括的幀的圖像信息之間的第一階交叉相關(guān)；計(jì)算所述分析窗中所包括的若干對(duì)所述第一階交叉相關(guān)之間的第二階交叉相關(guān)；且基于所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確定所述候選幀的圖片類型。
88.根據(jù)權(quán)利要求80所述的集成電路裝置，其中所述至少一個(gè)處理器經(jīng)配置以 在所述視頻序列中所包括的若干對(duì)幀內(nèi)的圖像信息之間執(zhí)行基于二維快速傅立葉變換的計(jì)算以產(chǎn)生所述第一階交叉相關(guān)，且在若干對(duì)第一階交叉相關(guān)之間執(zhí)行基于二維快速傅立葉變換的計(jì)算以產(chǎn)生所述第二 階交叉相關(guān)。
89.根據(jù)權(quán)利要求80所述的集成電路裝置，其中所述至少一個(gè)處理器經(jīng)配置以計(jì)算所 述視頻序列中所包括的若干對(duì)幀內(nèi)的全幀圖像之間的第一階交叉相關(guān)。
90.根據(jù)權(quán)利要求80所述的集成電路裝置，其中所述至少一個(gè)處理器經(jīng)配置以 將所述視頻序列中所包括的若干對(duì)幀內(nèi)的子圖像集合中的子圖像填充為共同圖像大計(jì)算所述子圖像集合之間的第一階子圖像交叉相關(guān)；且在所述若干對(duì)幀中的每一對(duì)幀的所述子圖像的至少一部分上求所述子圖像交叉相關(guān) 的平均值以產(chǎn)生所述第一階交叉相關(guān)。
91.根據(jù)權(quán)利要求90所述的集成電路裝置，其中所述至少一個(gè)處理器經(jīng)配置以將所述視頻序列中所包括的所述幀中的每一者劃分為多個(gè)片斷；且基于所述第一階交叉相關(guān)及所述第二階交叉相關(guān)來(lái)確定所述視頻序列中所包括的所 述幀中的每一者的所述個(gè)別片斷的圖片類型。
92.根據(jù)權(quán)利要求80所述的集成電路裝置，其中所述至少一個(gè)處理器經(jīng)配置以確定所 述視頻序列中所包括的所述幀中的每一者的基準(zhǔn)圖片類型，且將實(shí)時(shí)確定的圖片類型與所 述基準(zhǔn)圖片類型比較以確定所述實(shí)時(shí)確定的圖片類型的準(zhǔn)確度。
93.根據(jù)權(quán)利要求80所述的集成電路裝置，其中所述至少一個(gè)處理器經(jīng)配置以實(shí)時(shí)確 定所述視頻序列中所包括的所述幀中的每一者的圖片類型。
94.根據(jù)權(quán)利要求93所述的集成電路裝置，其中所述至少一個(gè)處理器經(jīng)配置以執(zhí)行復(fù) 雜性降低從而使得能夠進(jìn)行對(duì)所述圖片類型的實(shí)時(shí)確定。
95.根據(jù)權(quán)利要求80所述的集成電路裝置，其中所述至少一個(gè)處理器經(jīng)配置以基于所 述針對(duì)所述幀而確定的圖片類型而對(duì)所述視頻序列中所包括的所述幀中的每一者進(jìn)行編 碼。
96.一種系統(tǒng)，其包含編碼裝置，其包括將視頻數(shù)據(jù)分割為包括多個(gè)幀的圖片組(GOP)結(jié)構(gòu)的GOP分割器及 實(shí)時(shí)確定所述GOP結(jié)構(gòu)中所包括的所述幀的圖片類型的自適應(yīng)圖片組(AGOP)結(jié)構(gòu)確定模 塊；定位在所述編碼裝置外部的基于相關(guān)的AGOP結(jié)構(gòu)確定模塊，其基于若干對(duì)幀內(nèi)的圖 像信息之間的第一階交叉相關(guān)及若干對(duì)第一階交叉相關(guān)之間的第二階交叉相關(guān)來(lái)確定所 述GOP結(jié)構(gòu)中所包括的所述幀的基準(zhǔn)圖片類型；以及基準(zhǔn)比較器，其將所述圖片類型與所述基準(zhǔn)圖片類型比較以確定集成在所述編碼裝置 中的所述AGOP結(jié)構(gòu)確定模塊的準(zhǔn)確度。
97.根據(jù)權(quán)利要求96所述的系統(tǒng)，其中所述編碼裝置包含代碼轉(zhuǎn)換器或編碼器中的一者ο
98.一種編碼裝置，其包含圖片組(GOP)分割器，其將視頻數(shù)據(jù)分割為包括多個(gè)幀的GOP結(jié)構(gòu)；以及基于相關(guān)的自適應(yīng)圖片組(AGOP)結(jié)構(gòu)確定模塊，其基于若干對(duì)幀內(nèi)的圖像信息之間的第一階交叉相關(guān)及若干對(duì)第一階交叉相關(guān)之間的第二階交叉相關(guān)來(lái)實(shí)時(shí)確定所述GOP 結(jié)構(gòu)中所包括的所述幀的圖片類型。
99.根據(jù)權(quán)利要求98所述的編碼裝置，其進(jìn)一步包含復(fù)雜性降低模塊，所述復(fù)雜性降 低模塊執(zhí)行以下操作中的至少一者降低所述GOP結(jié)構(gòu)中所包括的所述幀內(nèi)的圖像信息的 分辨率及限制由所述基于相關(guān)的AGOP結(jié)構(gòu)確定模塊計(jì)算的第一階交叉相關(guān)的數(shù)目。
100.根據(jù)權(quán)利要求98所述的編碼裝置，其中所述裝置包含代碼轉(zhuǎn)換器或編碼器中的 “"者 ο
全文摘要
本發(fā)明針對(duì)用于基于視頻序列中所包括的多個(gè)幀之間的交叉相關(guān)來(lái)確定所述幀中的每一者的圖片類型的技術(shù)。所述交叉相關(guān)包括所述視頻序列中所包括的若干對(duì)幀內(nèi)的圖像信息之間的第一階交叉相關(guān)及若干對(duì)所述第一階交叉相關(guān)之間的第二階交叉相關(guān)。可分析所述第一階交叉相關(guān)以檢測(cè)所述幀之間的視頻轉(zhuǎn)變效果?？杀容^分析所述第一階交叉相關(guān)及所述第二階交叉相關(guān)以確定所述幀之間的時(shí)間相似性。因此，所述基于相關(guān)的確定技術(shù)基于所述視頻轉(zhuǎn)變效果及所述時(shí)間相似性來(lái)確定所述幀的圖片類型。所述基于相關(guān)的確定技術(shù)可計(jì)算若干對(duì)幀內(nèi)的圖像之間或若干對(duì)幀內(nèi)的子圖像集合之間的第一階交叉相關(guān)，接著在所述若干對(duì)幀中的每一對(duì)幀的所述子圖像上求所述第一階交叉相關(guān)的平均值。
文檔編號(hào)H04N7/26GK101926174SQ200880125475
公開(kāi)日2010年12月22日 申請(qǐng)日期2008年12月17日 優(yōu)先權(quán)日2007年12月17日
發(fā)明者史考特·T·斯瓦澤伊, 塞伊富拉·哈利特·奧古茲, 阿密特·羅哈吉 申請(qǐng)人:高通股份有限公司