專利名稱：視頻分類系統(tǒng)和方法
視頻分類系統(tǒng)和方法相關(guān)申請的交叉引用本申請涉及共同提交的題為“Rho-Domain Metrics (Rho-域度量)”、“VideoAnalytics for Security Systems and Methods (用于安全系統(tǒng)和方法的視頻分析學(xué))”以及“Systems And Methods for Video Content Analysis (用于視頻內(nèi)容分析的系統(tǒng)和方法)”的專利申請，這些文獻(xiàn)專門通過援引包含于此。附圖
簡述圖I示出對于給定量化參數(shù)的失真與內(nèi)模式和間模式之間的率差的關(guān)系。圖2是示出基于內(nèi)容分類的模式判定方法的流程圖。圖3是示出在本發(fā)明某些實(shí)施例中采用的處理系統(tǒng)的簡化方框示意圖。
具體實(shí)施例方式現(xiàn)在參照附圖對本發(fā)明的實(shí)施例作詳細(xì)描述，這些附圖作為說明性示例提供以使本領(lǐng)域技術(shù)人員能夠?qū)嵺`本發(fā)明。顯然，下面的附圖和示例不旨在將本發(fā)明的范圍限制在單個(gè)實(shí)施例，而是可通過互換所述或所示要素的一些或全部而令其它實(shí)施例變得可能。只要是適宜的，在所有附圖中將使用相同的附圖標(biāo)記來表示相同或相似的部件。在這些實(shí)施例的某些要素可使用已知組件部分或全部實(shí)現(xiàn)的情形下，僅對這些已知組件中對理解本發(fā)明而言必要的那些部分進(jìn)行描述，并省去對這些已知組件的其它部分的詳細(xì)說明，以不至于使本發(fā)明產(chǎn)生混淆。在本說明書中，示出單一組件的實(shí)施例不應(yīng)當(dāng)視為限制；相反，本發(fā)明旨在涵蓋包含多個(gè)同一組件的其它實(shí)施例，反之亦然，除非在本文中明確聲明其它情形。此外，申請人不打算使說明書或權(quán)利要求書中的任一術(shù)語歸結(jié)于不常見或特殊的含義，除非明確如此闡述。此外，本發(fā)明涵蓋本文中通過解說引述的部件的所有目前和將來知道的等效物。諸如H. 264/AVC之類的視頻標(biāo)準(zhǔn)將模式判定用作編碼判定過程以確定宏塊(“MB”)是被編碼為內(nèi)預(yù)測模式(“Intra Mode (內(nèi)模式)”)還是間預(yù)測模式(“Inter Mode(間模式)”)。率失真(rate distortion)優(yōu)化技術(shù)一般應(yīng)用于各種實(shí)現(xiàn)中。當(dāng)編碼MB時(shí)，對內(nèi)模式和間模式都計(jì)算率失真成本。最小成本模式被選為最終的編碼模式。取決于視頻標(biāo)準(zhǔn)，應(yīng)用多個(gè)內(nèi)模式和間模式。例如，在H. 264標(biāo)準(zhǔn)中,對于每個(gè)MB有4個(gè)內(nèi)16x16模式和9個(gè)內(nèi)4x4模式，以及對于每個(gè)MB有SKIP模式，間16x16模式，間16x8、8xl6、8x8、8x4、4x8和4x4模式。率失真成本J被定義為J=D+入*R,(I)其中失真D被定義為重構(gòu)的MB和原始MB之間的差,率R表不用于編碼當(dāng)如MB的比特，以及系數(shù)、為加權(quán)因子。在一個(gè)示例中，絕對差的總和(SAD)可用于量化失真。率失真優(yōu)化率失真優(yōu)化(RDO)技術(shù)可提供編碼質(zhì)量和壓縮比的平衡1 (如T.Wiegand、G. J. Sullivan、G. Bjontegaard 和 A. Iuthra 在 IEEE Transactions on Circuits andSystems for video Technology (IEEE視頻技術(shù)電路和系統(tǒng)學(xué)報(bào))(2003年7月第13卷,第 560-576 頁)上的文章“Overview of the H. 264/AVC Video coding Standard (H. 264/AVC視頻編碼標(biāo)準(zhǔn)的回顧)”中所描述的)。對等式(I)中的率R的精確計(jì)算的計(jì)算成本高，且通常涉及需要使用硬件資源且弓I入額外延遲的雙通過(dual-pass)編碼過程。已進(jìn)行研究以優(yōu)化R的計(jì)算并提供快速率失真平衡的模式判定算法。但是，由于在提供實(shí)時(shí)編碼和多信道編碼的硬件實(shí)施例中所采用的緊湊流水線體系結(jié)構(gòu)，每MB的比特率R的估計(jì)通常成本非常高。因此，在某些實(shí)施例中，當(dāng)從等式(I)省略掉R時(shí)，失真D用于確定模式判定。模式優(yōu)化通常不能通過單獨(dú)利用D而不考慮編碼的比特率前景來實(shí)現(xiàn)。例如，在低復(fù)雜度背景情況下，背景MB的內(nèi)模式的SAD可比間模式的SAD值小因此，通常選擇內(nèi)模式。但是，內(nèi)模式編碼通常比間模式編碼消耗多得多的比特，因而編碼比特可能被浪費(fèi)并且可觀察到背景塊狀偽像。
某些實(shí)施例采用率成本失真Jrt和Jra的比較?；诘仁?1)，可進(jìn)行與在等式(2)中示出的*( AR)與Dra的比較相等效的比較，其中A*(AR)(下文中以t表示)是內(nèi)模式和間模式之間的率差加權(quán)因子。J間=D間J內(nèi)=D內(nèi)實(shí)驗(yàn)結(jié)果表明在圖I所示的給定量化參數(shù)("QP" ) (QP=26)的失真和AR之間存在偽正切關(guān)系。圖I示出對于給定QP的AR和D的關(guān)系。在圖I中，SAD用作失真且AR=Rrt -R_。為了本說明書的目的，R#表示由內(nèi)模式編碼器用于編碼當(dāng)前微塊的比特?cái)?shù)，且R間表示由間模式編碼器用于編碼當(dāng)前微塊的比特?cái)?shù)。點(diǎn)P被定義為在該點(diǎn)處Dif f_R( AR)等于軸X上的零點(diǎn)。如附圖中所示，具有比P小的D值的點(diǎn)利用內(nèi)模式編碼將消耗較多比特(AR(=R內(nèi)-Rla])>0)，而具有比P大的D值的點(diǎn)利用內(nèi)模式將消耗較少比特。實(shí)驗(yàn)結(jié)果表明對于給定QP，失真和A R之間存在偽正切關(guān)系。P點(diǎn)的位置是QP和視頻運(yùn)動(dòng)復(fù)雜度的函數(shù)，P點(diǎn)隨著QP和運(yùn)動(dòng)復(fù)雜度的增大而增大。應(yīng)當(dāng)理解，尋找P點(diǎn)是該過程中的關(guān)鍵步驟。當(dāng)P點(diǎn)被定位時(shí)，基于正切曲線和D值分布頻率，可估計(jì)偏差T并可快速且較容易地達(dá)到內(nèi)模式/間模式判定。Rho-域內(nèi)容分類某些實(shí)施例使用Rho-域(“ P -域”)內(nèi)容分類。本發(fā)明的某些實(shí)施例提供一種創(chuàng)新的P-域度量e以及應(yīng)用該度量的系統(tǒng)和方法。在一些實(shí)施例中，P-域中的P的定義可被認(rèn)為是在視頻編碼過程中轉(zhuǎn)換和量化之后的非零系數(shù)的數(shù)量。另外，本文使用術(shù)語“NZ”來表征P，其中NZ可被理解為表示在諸如H. 264視頻標(biāo)準(zhǔn)之類的視頻標(biāo)準(zhǔn)下量化每個(gè)宏塊之后的多個(gè)非零系數(shù)。為了本說明書的目的，P-域偏差度量0可被定義為理論NZ_QP曲線和實(shí)際NZ_QP曲線之間的遞歸加權(quán)比。歸一化的0通常在I. 0上下波動(dòng)。小于I. 0的e值可指示實(shí)際的經(jīng)編碼比特率大于預(yù)期，這暗示著已遇到更復(fù)雜的運(yùn)動(dòng)背景內(nèi)容。相反，大于1.0的0值指示實(shí)際的經(jīng)編碼比特率小于預(yù)期，這暗示著遇到較平滑的運(yùn)動(dòng)內(nèi)容。因此，P-域偏差0可用作將視頻內(nèi)容分為高運(yùn)動(dòng)復(fù)雜度、中等、中低以及低運(yùn)動(dòng)復(fù)雜度種類的指示器?；谶\(yùn)動(dòng)復(fù)雜度分類，可采用快速模式判定算法?；趦?nèi)容分類的模式判定算法的示例
在圖2的示例中，例示了基于內(nèi)容分類的模式判定算法。該算法可以在硬件和軟件的結(jié)合中實(shí)施，并且可用作存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中的指令和數(shù)據(jù)。應(yīng)當(dāng)理解，指令和數(shù)據(jù)可被配置成和/或調(diào)節(jié)成使得處理器對指令的執(zhí)行導(dǎo)致該處理器執(zhí)行圖2所描述的方法。在步驟200，基于P -域內(nèi)容分類，創(chuàng)建離線訓(xùn)練的量化參數(shù)QP和P-點(diǎn)的表QP_P_Tn，而Tn(Tn=l，2,3, ... 51)表示不同的運(yùn)動(dòng)復(fù)雜度分類。如果在步驟203確定當(dāng)前幀屬于視頻序列的前5幀，那么接下來執(zhí)行步驟204 ;否則接下來執(zhí)行步驟203。在步驟204，基于初始QP和復(fù)雜度信息初始化運(yùn)動(dòng)復(fù)雜度索引Tn，并且可從QP_P_Tn表找到P-點(diǎn)。隨后可執(zhí)行步驟206。如果在步驟202確定當(dāng)前幀不屬于視頻序列的前5幀，那么在步驟203基于經(jīng)編碼的幀NZ和QP信息來計(jì)算NZ_QP偏差0。在步驟205，基于偏差0重新計(jì)算運(yùn)動(dòng)復(fù)雜度索引Tn。在執(zhí)行步驟206前可基于加權(quán)的先前幀QP值和內(nèi)容分類索引Tn從QP_P_Tn表執(zhí) 行查表以尋找當(dāng)前幀的P。在步驟206，基于T和D的正切關(guān)系、D的分布頻率以及P-點(diǎn)的位置相對于失真D計(jì)算偏差T?？山⒆鳛槊總€(gè)運(yùn)動(dòng)復(fù)雜度種類的P-點(diǎn)、D和QP的函數(shù)的數(shù)學(xué)模型Cp以表示每個(gè)MB的成本偏差T。在表I中示出QP_P_Tn的一個(gè)示例,如下
QPPT
static intMD_P_TABLE[][]={
//{Tl，T2，T3,P—A—TI .P—點(diǎn)—T2，P—點(diǎn)—T3}
；0.8J.!,2,4,6,6j, "QP= 14 ；0.8J.!,2,4,6,6j, "QP= 15 !0.8/!.!,2,5,7JL//QP= 16 {0.8,1.1,2,5,7,7},//QP= 17 !0.8/1.1,2,6,8,8),//QP= 18 !0.8/1.1,2,6,8,8),//QP= 19 !0.8/1.1,2,7,9,9},//QP = 20 10.8/1.1,2,8,9,9},//QP = 20 }//表中所列出的是相對值。Il根據(jù)QP和內(nèi)容分類索弓丨Tn，可從MD_P_TABLE獲得P_點(diǎn)。表I :QP_P_Tn 表在步驟208，可對當(dāng)前幀的每個(gè)MB進(jìn)行模式判定。間模式率失真成本J可如等式
(2)所示由D來代替，且內(nèi)模式成本J可由D+t來代替，其中T是從實(shí)驗(yàn)?zāi)Ｐ蚦p導(dǎo)出的，如步驟206所述。成功模式可被選為產(chǎn)生最小模式成本J的模式。通常重復(fù)該過程直至在步驟210確定對當(dāng)前幀的編碼結(jié)束。在某些實(shí)施例中，根據(jù)實(shí)驗(yàn)結(jié)果離線構(gòu)建模式判定算法、QP_P_Tn表和偏差模型(P。運(yùn)動(dòng)分類索引Tn及其相應(yīng)方法在題為“ P-域度量0及其應(yīng)用”的相關(guān)共同提交申請中有所描述。與通常計(jì)算成本高且通常涉及雙通過編碼模式判定算法的常規(guī)系統(tǒng)相比較，本文描述的基于視頻分類的模式判定算法、系統(tǒng)和方法可提供成本效率非常高的、快速且穩(wěn)健的替換方法。在本發(fā)明的某些實(shí)施例中，使用快速查表方法來獲得P-點(diǎn)值。根據(jù)P-點(diǎn)、QP和內(nèi)容分類索引Tn，可從選擇的實(shí)驗(yàn)?zāi)Ｐ?lt;p獲得MB成本偏差T。通過將T插入等式(2)可有效地進(jìn)行模式判定。系統(tǒng)描述現(xiàn)在轉(zhuǎn)向圖3，本發(fā)明的某些實(shí)施例采用一種處理系統(tǒng)，該處理系統(tǒng)包括部署成執(zhí)行前述某些步驟的至少一個(gè)計(jì)算系統(tǒng)30。計(jì)算系統(tǒng)30可以是市面上可購得的系統(tǒng)，該系統(tǒng)執(zhí)行諸如Microsoft Windows ,UNIX或其變體、Linux、實(shí)時(shí)操作系統(tǒng)和/或私人操作系統(tǒng)之類的市面上可購得的操作系統(tǒng)?？烧{(diào)整、配置和/或設(shè)計(jì)計(jì)算系統(tǒng)的體系結(jié)構(gòu)以將其整 合到處理系統(tǒng)中、嵌入到圖象捕獲系統(tǒng)、通信設(shè)備和/或圖形處理系統(tǒng)中的一個(gè)或多個(gè)中。在一個(gè)示例中，計(jì)算系統(tǒng)30包括總線302和/或用來在處理器之間通信的其他機(jī)制，不管這些處理器是與計(jì)算系統(tǒng)30集成的處理器(例如304、305)還是位于不同的、可能是物理上分離的計(jì)算系統(tǒng)300中的處理器。一般來說，處理器304和/或305包括CISC或RISC計(jì)算處理器和/或一個(gè)或多個(gè)數(shù)字信號(hào)處理器。在一些實(shí)施例中，處理器304和/或305可實(shí)現(xiàn)在定制設(shè)備中和/或作為可配置的定序器執(zhí)行。設(shè)備驅(qū)動(dòng)器303可提供輸出信號(hào)，該輸出信號(hào)用來控制內(nèi)部和外部組件并在處理器304、305之間進(jìn)行通信。計(jì)算系統(tǒng)30 —般還包括存儲(chǔ)器306，該存儲(chǔ)器302可包括能耦合至總線302的隨機(jī)存取存儲(chǔ)器(RAM)、靜態(tài)存儲(chǔ)器、高速緩沖存儲(chǔ)器、閃存和任何其他類型的存儲(chǔ)設(shè)備中的一種或多種。存儲(chǔ)器306可用來存儲(chǔ)指令和數(shù)據(jù)，該指令和數(shù)據(jù)能使處理器304、305的一個(gè)或多個(gè)執(zhí)行所需的過程。主存儲(chǔ)器306可用于存儲(chǔ)短暫數(shù)據(jù)和/或臨時(shí)數(shù)據(jù)，例如在由處理器304或305執(zhí)行指令期間產(chǎn)生和/或使用的變量和中間信息。計(jì)算系統(tǒng)30 —般還包括非易失性存儲(chǔ)，例如只讀存儲(chǔ)器(“ROM”) 308、閃存、存儲(chǔ)卡等；非易失性存儲(chǔ)可連接至總線302，但也可等同地使用高速通用串行總線(USB)、防火墻或耦合至總線302的其它這類總線進(jìn)行連接。非易失性存儲(chǔ)可用于存儲(chǔ)配置、以及其它信息，所述其它信息包括由處理器304和/或305執(zhí)行的指令。非易失性存儲(chǔ)也可包括海量存儲(chǔ)設(shè)備310，例如磁盤、光盤、閃存盤，該海量存儲(chǔ)設(shè)備304可直接或間接地耦合至總線302并用來存儲(chǔ)擬由處理器305和/或305執(zhí)行的指令，以及其它信息。在一些實(shí)施例中，計(jì)算系統(tǒng)30可通信地耦合至例如IXD平板顯示器的顯示系統(tǒng)312，包括觸摸屏顯示器、電致發(fā)光顯示器、等離子體顯示器、陰極射線管或能夠配置和適配成接收信息并將信息顯示給計(jì)算系統(tǒng)30使用者的其它顯示設(shè)備。一般來說，設(shè)備驅(qū)動(dòng)器303可包括顯示驅(qū)動(dòng)器、圖形適配器和/或維持顯示的數(shù)字表示并將該數(shù)字表示轉(zhuǎn)換成用于驅(qū)動(dòng)顯示系統(tǒng)312的信號(hào)的其它模塊。顯示系統(tǒng)312也可包括從由系統(tǒng)300提供的信號(hào)中生成顯示的邏輯或軟件。在這一點(diǎn)上，顯示器312可設(shè)置為遠(yuǎn)程終端或設(shè)置在不同的計(jì)算系統(tǒng)30上的會(huì)話中。輸入設(shè)備314 —般在本地提供或通過遠(yuǎn)程系統(tǒng)提供，并一般作為字母數(shù)字輸入以及光標(biāo)控制316輸入(例如鼠標(biāo)、跟蹤球等)。應(yīng)當(dāng)理解，可將輸入和輸出提供給例如PDA、平板計(jì)算機(jī)的無線設(shè)備或被適當(dāng)配備成顯示圖像并提供用戶輸入的其它系統(tǒng)。根據(jù)本發(fā)明的一個(gè)實(shí)施例，所描述的本發(fā)明的一些部分可通過計(jì)算系統(tǒng)30來實(shí)現(xiàn)。處理器304執(zhí)行一個(gè)或多個(gè)指令序列。例如，在已從例如存儲(chǔ)設(shè)備310的計(jì)算機(jī)可讀介質(zhì)接收指令之后，這些指令可存儲(chǔ)在主存儲(chǔ)器306內(nèi)。包含在主存儲(chǔ)器306中的指令序列的執(zhí)行使處理器304執(zhí)行根據(jù)本發(fā)明某些方面的過程步驟。在某些實(shí)施例中，可由嵌入式計(jì)算系統(tǒng)提供功能，這些嵌入式計(jì)算系統(tǒng)執(zhí)行專門功能，其中嵌入式系統(tǒng)采用硬件和軟件的定制組合來執(zhí)行預(yù)定義任務(wù)的集合。因此，本發(fā)明的實(shí)施例不限于硬件電路和軟件的任何具體組合。術(shù)語“計(jì)算機(jī)可讀介質(zhì)”用來定義能夠尤其在指令由處理器304和/或305和/或處理系統(tǒng)的其它外設(shè)執(zhí)行的情形下存儲(chǔ)指令和其它數(shù)據(jù)并將其提供至處理器304和/或305的任何介質(zhì)。這種介質(zhì)可包括非易失性存儲(chǔ)、易失性存儲(chǔ)以及傳輸介質(zhì)。非易失性存儲(chǔ)可體現(xiàn)為例如光盤或磁盤(包括DVD、CD-ROM和藍(lán)光盤)之類的介質(zhì)。存儲(chǔ)可設(shè)置在本地并物理靠近處理器304、305，或一般通過使用網(wǎng)絡(luò)連接來遠(yuǎn)程地提供。非易失性存儲(chǔ)可從計(jì)算系統(tǒng)304移去，如同那些能方便地使用包括USB等標(biāo)準(zhǔn)接口連接于計(jì)算機(jī)或從計(jì)算機(jī)斷開的藍(lán)光、DVD或⑶存儲(chǔ)或存儲(chǔ)卡或者存儲(chǔ)棒那樣。因此，計(jì)算機(jī)可讀介質(zhì)可包括軟盤、柔性盤、硬盤、磁帶、任何其它磁性介質(zhì)、CD-ROM、DVD、藍(lán)光以及其它光學(xué)介質(zhì)、穿孔卡片、紙帶、具有孔圖案的任何其它物理介質(zhì)、RAM、PROM、EPROM、FLASH/EEPR0M、任何其它存儲(chǔ)器芯片或磁帶盒，或者計(jì)算機(jī)可從中讀取內(nèi)容的任意其它介質(zhì)。傳輸介質(zhì)可用來連接處理系統(tǒng)的部件和/或計(jì)算系統(tǒng)30的組件。該介質(zhì)可包括雙絞線、同軸電纜、銅線和光纖。傳輸介質(zhì)也可包括無線介質(zhì)，例如無線電波、聲波和光波。在特定無線電頻率(RF)下，可使用光纖和紅外(IR)數(shù)據(jù)通信。各種形式的計(jì)算機(jī)可讀介質(zhì)可參與提供指令和數(shù)據(jù)以供處理器304和/或305執(zhí)行。例如，最初可從遠(yuǎn)端計(jì)算機(jī)的磁盤檢索指令并在網(wǎng)絡(luò)或調(diào)制解調(diào)器上將指令傳輸至計(jì)算系統(tǒng)30。指令可選擇地在執(zhí)行前或執(zhí)行期間存儲(chǔ)在不同的存儲(chǔ)或存儲(chǔ)的不同部分中。計(jì)算系統(tǒng)30可包括通信接口 318，該通信接口 318提供在可包括局域網(wǎng)322、廣域網(wǎng)或兩者的某些組合的網(wǎng)絡(luò)320上的雙向數(shù)據(jù)通信。例如，綜合業(yè)務(wù)數(shù)字網(wǎng)(ISDN)可結(jié)合局域網(wǎng)(LAN)使用。在另一示例中，LAN可包括無線鏈路。網(wǎng)絡(luò)鏈路320 —般提供通過一個(gè)或多個(gè)網(wǎng)絡(luò)至其它數(shù)據(jù)設(shè)備的數(shù)據(jù)通信。例如，網(wǎng)絡(luò)鏈路320可提供通過局域網(wǎng)322至主計(jì)算機(jī)324或至例如互聯(lián)網(wǎng)328之類的廣域網(wǎng)的連接。局域網(wǎng)322和互聯(lián)網(wǎng)328兩者均可使用攜帶數(shù)字?jǐn)?shù)據(jù)流的電信號(hào)、電磁信號(hào)或光信號(hào)。計(jì)算系統(tǒng)30可使用一個(gè)或多個(gè)網(wǎng)絡(luò)來發(fā)送消息和數(shù)據(jù)，包括程序代碼和其它信息。在互聯(lián)網(wǎng)示例中，服務(wù)器330可通過互聯(lián)網(wǎng)328發(fā)送對應(yīng)用程序的請求代碼，并可作為響應(yīng)接收下載的應(yīng)用，該下載的應(yīng)用提供或擴(kuò)充如前面示例中描述的功能性模塊。接收的代碼可由處理器304和/或305執(zhí)行。本發(fā)明某些方面的附加說明本發(fā)明的前述說明是說明性而非限定性的。例如，本領(lǐng)域內(nèi)技術(shù)人員應(yīng)當(dāng)理解，本發(fā)明可通過前述功能和能力的各種組合來實(shí)現(xiàn)，并可包括比前述更少或更多的部件。下面闡述本發(fā)明的某些附加方面和特征，并且這些附加方面和特征可使用前面更詳細(xì)描述的功能和部件來獲得，如本領(lǐng)域內(nèi)技術(shù)人員在受到本公開教示后所能理解的那樣。本發(fā)明的某些實(shí)施例提供視頻編碼器系統(tǒng)和方法。在這些實(shí)施例中的某些實(shí)施例中，編碼器系統(tǒng)采用內(nèi)容分類。這些實(shí)施例中的一些實(shí)施例包括維護(hù)與視頻幀的量化參數(shù)和P-點(diǎn)有關(guān)的一個(gè)或多個(gè)表。在這些實(shí)施例中的一些實(shí)施例中，幀包括一個(gè)或多個(gè)宏塊。這些實(shí)施例中的一些實(shí)施例包括計(jì)算表示宏塊的原始版本與解碼版本之間的差異的偏差。這些實(shí)施例中的一些實(shí)施例包括計(jì)算表示失真值分布頻率的偏差。這些實(shí)施例中的一些實(shí)施例包括計(jì)算表示P-點(diǎn)位置的偏差。在這些實(shí)施例中的一些實(shí)施例中，P-點(diǎn)對應(yīng)于與宏塊的編碼模式之間的最小率差相關(guān)聯(lián)的失真值。這些實(shí)施例中的一些實(shí)施例包括使用經(jīng)編碼幀的量化參數(shù)和多個(gè)非零系數(shù)來更新運(yùn)動(dòng)復(fù)雜度索引。這些實(shí)施例中的一些實(shí)施例包括使用運(yùn)動(dòng)復(fù)雜度索引來引用在一個(gè)或多個(gè)表中維護(hù)的模式信息以選擇宏塊的編碼模式。在這些實(shí)施例中的一些實(shí)施例中，所選擇的模式產(chǎn)生最低成本編碼。在這些實(shí)施例中的一些實(shí)施例中。在這些實(shí)施例中的一些實(shí)施例中，偏差包括所選擇的量化參數(shù)值的 估計(jì)失真與測量失真的加權(quán)差。在這些實(shí)施例中的一些實(shí)施例中，偏差被歸一化。在這些實(shí)施例中的一些實(shí)施例中，基于編碼模式間的率差與失真之間的正切關(guān)系來計(jì)算表示宏塊的原始版本與解碼版本之間的差異的偏差。在這些實(shí)施例中的一些實(shí)施例中，每個(gè)P-點(diǎn)對應(yīng)于與宏塊的編碼模式之間無率差相關(guān)聯(lián)的失真值。在這些實(shí)施例中的一些實(shí)施例中，在接收視頻序列中初始數(shù)量的幀期間初始化運(yùn)動(dòng)復(fù)雜度索引。在這些實(shí)施例中的一些實(shí)施例中，視頻序列中初始數(shù)量的幀有至少5個(gè)幀。這些實(shí)施例中的一些實(shí)施例包括將每個(gè)宏塊的每個(gè)運(yùn)動(dòng)復(fù)雜度種類的偏差成本建模為P-點(diǎn)、失真和量化參數(shù)的函數(shù)。這些實(shí)施例中的一些實(shí)施例包括使用先前幀的加權(quán)量化參數(shù)值來查找當(dāng)前幀的P-點(diǎn)。在這些實(shí)施例中的一些實(shí)施例中，編碼模式包括間預(yù)測模式和內(nèi)預(yù)測模式。在這些實(shí)施例中的一些實(shí)施例中，編碼模式由H. 264視頻標(biāo)準(zhǔn)來定義。本發(fā)明的某些實(shí)施例提供視頻編碼器。這些實(shí)施例中的一些實(shí)施例包括與視頻幀的編碼模式和量化參數(shù)有關(guān)的多個(gè)表。這些實(shí)施例中的一些實(shí)施例包括內(nèi)容分類器，該內(nèi)容分類器使用表示宏塊的原始版本和解碼版本之間差異的偏差從所述多個(gè)表中選擇視頻幀的宏塊的編碼模式。這些實(shí)施例中的一些實(shí)施例包括處理器，該處理器使用經(jīng)編碼幀的非零系數(shù)和量化參數(shù)來維護(hù)運(yùn)動(dòng)復(fù)雜度索引。在這些實(shí)施例中的一些實(shí)施例中，運(yùn)動(dòng)復(fù)雜度索引可用于基于幀的運(yùn)動(dòng)復(fù)雜度來選擇編碼模式。在這些實(shí)施例中的一些實(shí)施例中，所選擇的模式產(chǎn)生用于幀的最低成本編碼。在這些實(shí)施例中的一些實(shí)施例中，所選擇的模式產(chǎn)生用于宏塊的最低成本編碼。在這些實(shí)施例中的一些實(shí)施例中，每個(gè)P-點(diǎn)對應(yīng)于與宏塊的編碼模式之間的最小率差相關(guān)聯(lián)的失真值。盡管已參照特定示例性實(shí)施例對本發(fā)明進(jìn)行了描述，然而本領(lǐng)域內(nèi)普通技術(shù)人員當(dāng)然知道可對這些實(shí)施例作出各種修改和變化而不脫離本發(fā)明較寬的精神和范圍。因此，說明書和附圖被認(rèn)為是解說性而非限制性意義。
權(quán)利要求
1.一種視頻編碼器中的內(nèi)容分類方法，包括 維護(hù)與視頻幀的量化參數(shù)和P-點(diǎn)有關(guān)的一個(gè)或多個(gè)表，所述幀包括一個(gè)或多個(gè)宏塊； 計(jì)算表示宏塊的原始版本與解碼版本之間的差異的偏差、失真值的分布頻率以及P-點(diǎn)的位置； 使用經(jīng)編碼的幀中的多個(gè)非零系數(shù)和量化參數(shù)來更新運(yùn)動(dòng)復(fù)雜度索引；以及 使用所述運(yùn)動(dòng)復(fù)雜度索引來引用維護(hù)在所述一個(gè)或多個(gè)表中的模式信息以選擇所述宏塊的編碼模式，其中所選擇的模式產(chǎn)生最低成本編碼，其中每個(gè)P-點(diǎn)對應(yīng)于與宏塊的編碼模式之間的最小率差相關(guān)聯(lián)的失真值。
2.如權(quán)利要求I所述的方法，其特征在于，所述偏差包括所選擇的量化參數(shù)值的估計(jì)失真與測量失真的加權(quán)差。
3.如權(quán)利要求I或2所述的方法，其特征在于，所述偏差被歸一化。
4.如權(quán)利要求1-3中任一項(xiàng)所述的方法，其特征在于，基于所述編碼模式間的率差與失真之間的正切關(guān)系來計(jì)算表示宏塊的原始版本與解碼版本之間的差異的偏差。
5.如權(quán)利要求1-4中任一項(xiàng)所述的方法,其特征在于,所述每個(gè)P-點(diǎn)對應(yīng)于與所述宏塊的編碼模式之間無率差相關(guān)聯(lián)的失真值。
6.如權(quán)利要求1-5中任一項(xiàng)所述的方法，其特征在于，在接收視頻序列中初始數(shù)量的幀期間初始化所述運(yùn)動(dòng)復(fù)雜度索引。
7.如權(quán)利要求6所述的方法，其特征在于，所述視頻序列中初始數(shù)量的幀有至少5個(gè)幀。
8.如權(quán)利要求1-7中任一項(xiàng)所述的方法，其特征在于，還包括將每個(gè)宏塊的每個(gè)運(yùn)動(dòng)復(fù)雜度種類的偏差成本建模為P-點(diǎn)、失真和量化參數(shù)的函數(shù)。
9.如權(quán)利要求1-8中任一項(xiàng)所述的方法，其特征在于，還包括使用先前幀的加權(quán)量化參數(shù)值來查找當(dāng)前幀的P-點(diǎn)。
10.如權(quán)利要求1-9中任一項(xiàng)所述的方法，其特征在于，所述編碼模式包括間預(yù)測模式和內(nèi)預(yù)測模式。
11.如權(quán)利要求1-10中任一項(xiàng)所述的方法，其特征在于，所述編碼模式由H.264視頻標(biāo)準(zhǔn)來定義。
12.一種視頻編碼器，包括 與視頻幀的編碼模式和量化參數(shù)有關(guān)的多個(gè)表； 內(nèi)容分類器，所述內(nèi)容分類器使用表示所述視頻幀的宏塊的原始版本與解碼版本之間差異的偏差從所述多個(gè)表中選擇所述宏塊的編碼模式；以及 處理器，所述處理器使用編碼幀的非零系數(shù)和量化參數(shù)來維護(hù)運(yùn)動(dòng)復(fù)雜度索引，所述運(yùn)動(dòng)復(fù)雜度索引可用于基于幀的運(yùn)動(dòng)復(fù)雜度來選擇編碼模式，其中所選擇的模式產(chǎn)生最低成本編碼，其中每個(gè)P-點(diǎn)對應(yīng)于與宏塊的編碼模式之間的最小率差相關(guān)聯(lián)的失真值。
全文摘要
描述了采用基于表的內(nèi)容分類的視頻編碼器系統(tǒng)和方法。一個(gè)或多個(gè)表有關(guān)于通常包括宏塊的視頻幀的量化參數(shù)和P-點(diǎn)。確定表示宏塊的原始版本與解碼版本之間的差異的偏差，該偏差進(jìn)一步表示P-點(diǎn)的失真值的分布頻率。P-點(diǎn)對應(yīng)于與宏塊的編碼模式之間的最小率差相關(guān)聯(lián)的失真值。使用編碼幀的量化參數(shù)和非零系數(shù)來更新運(yùn)動(dòng)復(fù)雜度索引?？墒褂眠\(yùn)動(dòng)復(fù)雜度索引來引用維護(hù)在表格中的模式信息以從表中檢索宏塊的編碼模式。
文檔編號(hào)H04N7/26GK102771123SQ201080062017
公開日2012年11月7日 申請日期2010年9月2日 優(yōu)先權(quán)日2010年9月2日
發(fā)明者F·施, 王標(biāo) 申請人:英特賽爾美國股份有限公司