專利名稱：用于視頻編碼的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及根據(jù)權(quán)利要求1的前序部分的一種用于視頻編碼的方法。
背景技術(shù)：
對(duì)多媒體流(諸如音頻或視頻流)的編碼已經(jīng)在文獻(xiàn)中進(jìn)行了廣泛描 述，并借助于若干標(biāo)準(zhǔn)進(jìn)行了標(biāo)準(zhǔn)化。H.264/AVC視頻編碼標(biāo)準(zhǔn)具體地描 述了高級(jí)的壓縮技術(shù)，其被開發(fā)用于使能處于低比特率的視頻或音頻信號(hào) 的傳輸。此標(biāo)準(zhǔn)定義了已編碼視頻比特流的語法、以及一種用于對(duì)比特流 進(jìn)行解碼的方法。由此，每個(gè)視頻幀在宏塊(macroblock)的級(jí)別被細(xì)分 并被編碼，其中每個(gè)宏塊是16 x 16的像素塊。
宏塊可以被一起分組成片段，以允許并行化或差錯(cuò)恢復(fù)。對(duì)于每個(gè)宏 塊，已編碼的比特流包含首先，數(shù)據(jù)，其用信號(hào)通知解碼器如何基于已 解碼的宏塊來計(jì)算該宏塊的預(yù)測；以及笫二，剩余數(shù)據(jù)，其被解碼并被添 加到所述預(yù)測，以重構(gòu)宏塊像素值。每個(gè)宏塊以"預(yù)測內(nèi)(intra-prediction )，， 模式或者"預(yù)測間(inter-prediction)"模式被編碼，在"預(yù)測內(nèi)，，模式 中，宏塊的預(yù)測基于在當(dāng)前片段中重構(gòu)的宏塊而構(gòu)成，在"預(yù)測間"模式 中，宏塊的預(yù)測基于已經(jīng)解碼的幀(被稱為參考幀)的像素塊而構(gòu)成。預(yù) 測內(nèi)編碼模式在當(dāng)前片段中應(yīng)用空間預(yù)測，其中已編碼的宏塊通過當(dāng)前片 段中之前已經(jīng)被編碼、解碼和重構(gòu)的鄰居樣本而被預(yù)測。以預(yù)測內(nèi)模式被 編碼的宏塊被稱為I類宏塊。預(yù)測間編碼才莫式是基于時(shí)間預(yù)測的，其中已 編碼宏塊通過在之前和/或未來的參考幀中的樣本被預(yù)測。以預(yù)測間模式被 編碼的宏塊可以是當(dāng)每個(gè)子塊通過單個(gè)參考幀被預(yù)測時(shí)為P類宏塊，或 者當(dāng)每個(gè)子塊通過一個(gè)或兩個(gè)參考幀被預(yù)測時(shí)為B類型宏塊。默認(rèn)的H.264行為是，將宏塊以光柵掃描的順序(即，從左到右逐行 掃描)分組為片段。不過，H.264標(biāo)準(zhǔn)進(jìn)一步引入了另一種能力，被稱為 靈活宏塊排序(下文中縮寫為FMO ) 。 FMO將視頻幀劃分為多個(gè)片段組， 其中每個(gè)片段組包含一組宏塊，其可以潛在地位于非連續(xù)的位置，并且可 以位于幀中的任意位置。
對(duì)于傳輸而言，每個(gè)片段可以使用默認(rèn)模式在一個(gè)網(wǎng)絡(luò)抽象層(下文 中縮寫為NAL)內(nèi)進(jìn)行傳輸。不過，H,264/AVC標(biāo)準(zhǔn)進(jìn)一步描述了在若干 NAL單元上每個(gè)片段的數(shù)據(jù)劃分的附加特征，以便在片段傳輸期間改進(jìn)差 錯(cuò)恢復(fù)。
根據(jù)在若干分區(qū)上一個(gè)片段的數(shù)據(jù)劃分的該特征， 一個(gè)片段的已編碼 內(nèi)容將被分布在3個(gè)NAL單元上NAL單元分區(qū)A、 NAL單元分區(qū)B、 以及NAL單元分區(qū)C,根據(jù)此標(biāo)準(zhǔn)，NAL單元分區(qū)A將包含片段頭部以 及該片段中的每個(gè)宏塊的頭部數(shù)據(jù)，所述NAL單元分區(qū)A包括用于內(nèi)編 碼(intra-coded )或間編碼(inter-coded)的宏塊的預(yù)測內(nèi)模式或運(yùn)動(dòng)向 量。如果預(yù)測內(nèi)編碼被使用，則NAL單元分區(qū)B將包含考慮中的片段的 宏塊的內(nèi)編碼的剩余數(shù)據(jù)，以及如果間編碼類型的編碼被4吏用，則NAL 單元分區(qū)C將包含間編碼的剩余數(shù)據(jù)。
這些NAL單元被進(jìn)一步封裝為分組，用于通過網(wǎng)絡(luò)向接收器傳輸， 所述接收器包含解碼器，用于再次對(duì)所接收的分組進(jìn)行解碼，以^更允許初 始幀被重構(gòu)以用于顯示或提供給用戶。
一旦在網(wǎng)絡(luò)中或者在接收緩沖器中出現(xiàn)擁塞或過載狀況，文獻(xiàn)中的若
干論文已經(jīng)提出將NAL單元分區(qū)C丟棄，所述論文諸如S. Mys、 P. Lambert、 W. De Neve、 P. Verhoeve和R. Van de Walle撰寫的"SNR Scalability in H.264/AVC using Data Partitioning" (Lectures Notes in Computer Science, Advances in Multimedia Information Processing, 巻 4261,第329-338頁，2006年)。為了限制視頻質(zhì)量的損失(通過丟棄一 些NAL單元，必然導(dǎo)致此結(jié)果)，這些論文提出在將丟棄NAL單元分區(qū) C的片段中隨機(jī)分配額外的預(yù)定量的I類型宏塊。不過，這導(dǎo)致了低效的編碼。

發(fā)明內(nèi)容
因此，本發(fā)明的目的是提供一種以上已知種類的方法，但是其適于解 決與現(xiàn)有技術(shù)方法有關(guān)的問題，
凈艮據(jù)本發(fā)明，通過以下步驟實(shí)現(xiàn)了此目的將至少一類的間編碼宏塊 歸類為若干類別，以及將這些宏塊分組為若干片段組，每個(gè)片段組是根據(jù) 間編碼宏塊的這些各個(gè)類別。
這樣，對(duì)于間編碼類型的宏塊，例如，P類型宏塊，不同類別的P類 型片段組的集合被創(chuàng)建。在封裝期間，根據(jù)上述的數(shù)據(jù)分割原理，所述集 合的組的每個(gè)片段的已編碼數(shù)據(jù)被劃分為分區(qū)A和分區(qū)C。例如通過僅丟 棄最不重要宏塊的分區(qū)C，其被安排在此集合的最不重要類別的一個(gè)或多 個(gè)片段組中，將得到對(duì)于差錯(cuò)更健壯以及更注重質(zhì)量的傳輸。
本發(fā)明還涉及一種用于執(zhí)行所述方法的編碼裝置。
在所附權(quán)利要求中闡述了另外的實(shí)施例。
需要注意，在權(quán)利要求中使用的術(shù)語"耦合于，，不應(yīng)被解釋為僅限于 直接連接。因此，表達(dá)方式"耦合于設(shè)備B的設(shè)備A"的范圍不應(yīng)被限于 這樣的設(shè)備或系統(tǒng)，其中設(shè)備A的輸出直接連接于設(shè)備B的輸入。其意味 著，在A的輸出和B的輸入之間存在一條路徑，其可以是包括其它設(shè)備或 裝置的路徑。
需要注意，在權(quán)利要求中使用的術(shù)語"包括"不應(yīng)被解釋為僅限于之 后列舉的裝置。因此，表達(dá)方式"一種設(shè)備包括裝置A和B"的范圍不應(yīng) 被限于這樣的設(shè)備，其僅由部件A和B組成，其意味著，結(jié)合本發(fā)明，所 述設(shè)備的僅似目關(guān)部件是A和B。


通過參考以下對(duì)實(shí)施例的描述并結(jié)合附圖，本發(fā)明的以上和其它目的 和特征將變得明顯，并且發(fā)明本身將被最好地理解，在附圖中圖la示意性地示出了針對(duì)P類型宏塊進(jìn)行說明的方法的幀的示例；
圖lb進(jìn)一步說明了根據(jù)用于圖la的幀的方法的數(shù)據(jù)分割；
圖2a示意性地示出了針對(duì)B類型宏塊進(jìn)行說明的方法的幀的示例；
圖2b進(jìn)一步說明了根據(jù)用于圖2a的幀的方法的數(shù)據(jù)分割；
圖3a示意性地示出了針對(duì)B和P類型宏塊進(jìn)行+兌明的方法的幀的示
例；
圖3b進(jìn)一步說明了根據(jù)用于圖3a的幀的方法的數(shù)據(jù)分割；
圖4a示意性地示出了針對(duì)在某個(gè)片段組中允許的B和P類型宏塊進(jìn)
4亍-說明的方法的幀的示例；
圖4b進(jìn)一步說明了根據(jù)用于圖4a的幀的方法的數(shù)據(jù)分割；
圖5a示意性地示出了針對(duì)P類型宏塊進(jìn)行說明的方法的幀的示例，
其中P類型宏塊在一個(gè)類別中具有若干片段組；以及
圖5b進(jìn)一步說明了根據(jù)用于圖5a的幀的方法的數(shù)據(jù)分割。
具體實(shí)施例方式
應(yīng)該注意，下文僅闡明了本發(fā)明的原理。由此，將會(huì)理解，本領(lǐng)域技 術(shù)人員將能夠設(shè)計(jì)出多種實(shí)施例，盡管在此未明確描述或示出，但是這些 實(shí)施例包含了本發(fā)明的原理并且被包括在本發(fā)明的精神和范圍中。此外， 此處陳述的所有示例和條件語言主要明確地意在僅用于教學(xué)目的，以便幫 助讀者理解發(fā)明者所貢獻(xiàn)的、用于推動(dòng)本領(lǐng)域的發(fā)明原理和概念，并且此
和條件。而且，此處描ii^發(fā)明的原理、方面和實(shí)施例、及其特定示例的 所有敘述意在包括它們在結(jié)構(gòu)上和功能上的等價(jià)物。此外，意圖在于，這 些等價(jià)物包括當(dāng)前已知的等價(jià)物以及未來開發(fā)出的等價(jià)物，即，不論結(jié)構(gòu) 如何，所開發(fā)的、執(zhí)行相同功能的任意單元。
本發(fā)明將借助于示例進(jìn)行解釋，在示例中，初始編碼遵循H.264/AVC 標(biāo)準(zhǔn)。不過，使用底層原理的任意類型的編碼可以被用于實(shí)現(xiàn)與本發(fā)明有 關(guān)的實(shí)施例。更具體而言，根據(jù)本發(fā)明的方法的一實(shí)施例涉及一種方式，其完成了 將宏塊分組為分段組。為了此目的，添加了用于編碼算法的一個(gè)附加步驟， 從而一旦該算法被確定用于每個(gè)宏塊，則不管它將進(jìn)行內(nèi)編碼或間編碼，
它都將向?qū)⑦M(jìn)行間編碼的部分或所有宏塊添加一個(gè)額外步驟。根據(jù)主要
MPEG標(biāo)準(zhǔn)，將內(nèi)編碼的宏塊^f皮稱為I宏塊。對(duì)于其它宏塊，即間編;馬的 宏塊，取決于具體的編碼算法，可以在P類型和B類型宏塊之間做出區(qū)分。 編碼器為每個(gè)宏塊確定它是哪種類型。
在本發(fā)明的實(shí)施例中，僅P類型宏塊^皮進(jìn)一步歸類，諸如在圖la-b 或5a-b中所描述的。在本發(fā)明的另一實(shí)施例中，僅B類型宏塊^皮進(jìn)一步歸 類，諸如在圖2a-b中所描述的，然而，在本發(fā)明的又一實(shí)施例中，根據(jù)預(yù) 定準(zhǔn)則，P和B類型宏塊都被進(jìn)一步分類，諸如在圖3a-b中所描述的。在 本發(fā)明的再一實(shí)施例中，不管宏塊是B還是P類型，P和B類型宏塊都被 分類，于是無需針對(duì)宏塊是B還是P類型做出任何初始區(qū)分,諸如在圖4a-b 中所描述的。
我們將首先通過參考圖la和b描述第一實(shí)施例，其中僅P類型宏塊 被分類，
對(duì)P類型或任意類型的間編碼宏塊的分類或歸類的完成可以基于它們 的尺寸和/或基于它們在解碼器端用于視頻數(shù)據(jù)的重構(gòu)的重要性。不過，對(duì) 這些間編碼的宏塊進(jìn)行歸類的其它方式也是可能的。
對(duì)宏塊歸類的第一種可能性是，考慮它們的剩余數(shù)據(jù)的尺寸。例如， 這可以這樣完成在像素域中，通過將宏塊像素值與其預(yù)測之間的差值相 加，其中所述宏塊像素值是l至256之間的整數(shù)值。另一示例可以包括 在壓縮域中，考慮剩余數(shù)據(jù)的量化的以及熵編碼的轉(zhuǎn)換系數(shù)的大小(以比 特為單位)。具有最大尺寸的宏塊將被歸類為最重要的宏塊；具有最小尺 寸的宏塊被歸類為最不重要的宏塊。
第二種可能性是，估計(jì)重要性，例如通過評(píng)估對(duì)于在解碼端的重構(gòu)視 頻的視覺質(zhì)量，損失宏塊剩余數(shù)據(jù)將會(huì)有什么影響。由于缺少宏塊剩余數(shù) 據(jù)導(dǎo)致的質(zhì)量下降可以使用任意視頻質(zhì)量度量來量化。例如，在一基本實(shí)施例中，該度量可以是初始#見頻和在解碼端重構(gòu)的#見頻之間的峰值信噪比
(PSNR)。根據(jù)宏塊剩余數(shù)據(jù)的視覺重要性對(duì)宏塊歸類可以通過使用其 它視頻質(zhì)量度量、考慮人類視覺系統(tǒng)的更多方面(例如VQM、 PEVQ或 基于SSIM的度量)而被進(jìn)一步改進(jìn)。顯然，與較不重要的宏塊相比，重 要的宏塊可以接著被分類到較高(或較重要)類別的一類，較不重要的宏 塊將被歸類到較低類別的一類。
在其它實(shí)施例中，該分類過程也可以考慮宏塊之間的時(shí)間和空間依賴 性，以便評(píng)估損失宏塊剩余數(shù)據(jù)的影響。由此，該過程考慮所有宏塊，它
視頻質(zhì)量度量(例如上述度量之一)，所述過程接著測量從比特流中移除 該特定宏塊對(duì)^L頻質(zhì)量有什么全局影響。
在上述分類步驟之后，宏塊可以基于某些預(yù)定閾值凈皮歸類為不同類別， 所述閾值涉及宏塊尺寸、宏塊剩余數(shù)據(jù)的重要性、或由所選擇的分類方法 定義的上述準(zhǔn)則中的其它準(zhǔn)則。在計(jì)算上更復(fù)雜的實(shí)施例中，所述歸類可 以基于通過使用視頻質(zhì)量度量(例如上述度量之一)測量宏塊的多種集 合的同時(shí)損失對(duì)已解碼視頻的質(zhì)量的影響，而直接評(píng)估多種歸類選擇。
分類/歸類的可能結(jié)果在圖la中示出。在此簡化圖中，示出了一個(gè)簡 化幀，其包括7個(gè)I類型的宏塊和41個(gè)P類型的宏塊。在此實(shí)施例中，41 個(gè)宏塊4皮進(jìn)一步歸類為3種子類別，標(biāo)為P1、 P2和P3，其借助于塊中的 不同灰色和表示法進(jìn)行指示。對(duì)于P1類別，呈現(xiàn)了5個(gè)宏塊，對(duì)于P2類 別，呈現(xiàn)了4個(gè)宏塊。其余的32個(gè)宏塊是P3類型。在此示例中，根據(jù)上 述準(zhǔn)則之一，Pl宏塊被認(rèn)為是更重要的宏塊，而P3宏塊被認(rèn)為是最不重 要的宏塊。
由于目前是基于宏塊的子類別進(jìn)行分組，即，7個(gè)I類型的宏塊將凈皮 分組為由片段FMO 0組成的I片段組，5個(gè)Pl類型的宏塊將被分組為由 片段FMOl組成的Pl片段組,4個(gè)P2類型的宏塊將被分組為由片段FM02 組成的P2片段組，以及32個(gè)P3類型的宏塊將被分組為由片段FM03組 成的P3片段組該分組的結(jié)果是，如所述標(biāo)準(zhǔn)已知的，對(duì)于I片段組，僅呈現(xiàn)分區(qū)A 和B，對(duì)于包括片段FMOl至FM03的其它P類型的片段組，僅呈現(xiàn)分 區(qū)A和C,
這在圖lb中示意性地示出，圖lb將FM03指示為包括P3類型宏塊 的片段，將FM02指示為包括P2類型宏塊的片段，將FMOl指示為包括 Pl類型宏塊的片段，以及將FMO0指示為包括I類型宏塊的片段。借助于 由H.264/AVC標(biāo)準(zhǔn)所提供的靈活的宏塊可能性，所述將非連續(xù)位置中的宏 塊分組為l個(gè)片段是可能的。
至此，通過進(jìn)一步將數(shù)據(jù)分割應(yīng)用于片段組的不同片段，8個(gè)NAL單 元分區(qū)的集合導(dǎo)致了用于分區(qū)A、片段FMO0的第一個(gè)(NALU1); 用于分區(qū)A、片段FMOl的第二個(gè)(NALU2);用于分區(qū)A、片段FM02 的笫三個(gè)(NALU3);用于分區(qū)A、片段FM03的第四個(gè)(NALU4); 用于分區(qū)B、片段FMOO的第五個(gè)(NALU5);用于分區(qū)C、片段FMOl 的第六個(gè)(NALU6);用于分區(qū)C、片段FM02的第七個(gè)(NALU7); 以及用于分區(qū)C、片段FM03的第八個(gè)(NALU8)。這些單元照這樣在 圖lb中示意性地進(jìn)行指示。
在過載流量情況中，在所有8個(gè)NAL單元通過通信網(wǎng)絡(luò)的傳輸期間， 一種NAL單元分區(qū)丟棄機(jī)制可以在傳輸器或中間節(jié)點(diǎn)處實(shí)現(xiàn)，所述機(jī)制 例如包括系統(tǒng)地丟棄分區(qū)C、 FM03的NAL單元，因?yàn)樗鼈兩婕癙3宏 塊，而被認(rèn)為是較不重要的單元。不過，也可以使用其它丟棄機(jī)制，它們 使用鏈接于歸類準(zhǔn)則的某種預(yù)定準(zhǔn)則。在圖lb中描述的示例中，例如僅 NAL單元8可以被丟棄。那么這對(duì)應(yīng)于片段FM03的分區(qū)C。在另一示 例中(例如丟棄NAL單元7和8 )，其包括丟棄片段FM02和3的分區(qū)C。
類似原理可以被應(yīng)用于B類型的幀。如圖2a和2b所說明的。這些原 理被應(yīng)用于B和P類型宏塊的實(shí)施例也是可能的，如圖3a和3b中所描述 的。在此圖中，P類型的宏塊被歸類為兩個(gè)片段組，而B類型的宏塊沒有 被進(jìn)一步歸類。在此示例中，NALU7可以接著作為用于丟棄的適當(dāng)選擇。
一種更通用的機(jī)制也是可能的，其中甚至沒有對(duì)B P類型的宏塊做出最初區(qū)分，但是其中它們根據(jù)如前所述的準(zhǔn)則被立即歸類。在圖4a-b中 示出了針對(duì)該機(jī)制的示例。其中，P和B宏塊被歸類為3種等同的類別， 并且從而針對(duì)該3種類別中的每種類別分組為一個(gè)公共片段組，在圖4b 中，這些片段組被分別指示為P&B1、 P&B2和P&B3。將P和B宏塊分 組為相同片段實(shí)際上不被當(dāng)前的H.264/AVC語法所允許，但是潛在地可以 在其它或未來的^f見頻編碼標(biāo)準(zhǔn)中被允許。
出于簡明的目的，在之前的示例中假定每個(gè)片段組由單一片段組成。 但是某些附加限制可能需要將每個(gè)片段組細(xì)分為若干片段。這些限制例如 可以是存儲(chǔ)器或者編碼或解碼設(shè)備的處理性能的局限性，其對(duì)于片段尺寸 給出了上界。如果給定片段組大于最大片M寸，則H.264/AVC標(biāo)準(zhǔn)假定 在該片段組中創(chuàng)建若干片段，它們由以光柵掃描的順序獲取的宏塊所組成。 例如，在圖5a中，假設(shè)最大片M寸是16個(gè)宏塊，則片段組P3需要由 至少2個(gè)片段組成，如圖5b中FM03和4所指示的。在此示例中，由此， 數(shù)據(jù)分割導(dǎo)致了創(chuàng)建10個(gè)NAL單元，如圖5b中所描述的，而不是之前 示例中的8個(gè)NAL單元。
必須強(qiáng)調(diào)的是，所有這些所述示例都不是限制性的，也可以設(shè)想到包 括這些前述示例的結(jié)合的其它情形。
關(guān)于現(xiàn)有技術(shù)，這種分割允許選擇性地丟棄包含間編碼宏塊的較不重 要的剩余數(shù)據(jù)的NAL單元，以便限制視覺失真、和/或在分類/歸類步驟期 間保持宏塊級(jí)的最優(yōu)內(nèi)編碼/間編碼決策。另外，可丟棄的數(shù)據(jù)量現(xiàn)在可以 基于逐個(gè)幀而被調(diào)節(jié)，因?yàn)榉謪^(qū)由涉及相同類別的若干宏塊的若干NAL 單元組成。
還要注意的是，盡管已經(jīng)參考H.264/AVC視頻編碼標(biāo)準(zhǔn)描述了實(shí)施 例，但是使用不同于此特定標(biāo)準(zhǔn)中所提出的、其它類型的編碼和數(shù)據(jù)分割 的其它實(shí)施例也是可能的。
由此描述的方法解決了與現(xiàn)有技術(shù)解決方案相關(guān)聯(lián)的問題，所述方法 包括以預(yù)測間片段的方式隨機(jī)地添加確定數(shù)量的內(nèi)編碼宏塊(IMBR編 碼選項(xiàng))。在給定編碼比特率，增加IMBR值實(shí)際上減少了間編碼宏塊的量，并由此減少了分區(qū)C的尺寸(有利于分區(qū)B)。如果通過移除分區(qū)C 來適應(yīng)比特流，這減少了損失的剩余信息的量(在基于分區(qū)A數(shù)據(jù)的預(yù)測 間之后)。另外，通過增加比特流中的I幀的頻率，由于預(yù)測間導(dǎo)致的差 錯(cuò)的傳播也可以被限制。不過，此現(xiàn)有技術(shù)過程結(jié)果是，相對(duì)于以下準(zhǔn)則 是低效的分區(qū)C損失的視覺影響、速率失真性能、以及可丟棄數(shù)據(jù)量的 可適應(yīng)性。這可以通過以下內(nèi)容理解對(duì)于被強(qiáng)迫進(jìn)行內(nèi)編碼而非間編碼 的宏塊的選擇被隨機(jī)完成，而不管每個(gè)宏塊的視覺重要性。強(qiáng)迫引入附加 的內(nèi)編碼宏塊(經(jīng)由IMBR選項(xiàng)或附加的I幀)防止編碼器作出優(yōu)化其速 率失真性能的編碼選擇。在固定的編碼比特率，增加附加的內(nèi)編碼宏塊的 數(shù)量由此對(duì)于視頻質(zhì)量具有負(fù)面影響。引入附加的內(nèi)編碼宏塊允許對(duì)分區(qū) (基本上是B和C)的尺寸進(jìn)行控制。這是有用的，以便當(dāng)分區(qū)C的尺寸 大于應(yīng)用所需時(shí)，限制分區(qū)C損失的影響。在流量自適應(yīng)的情形中，分區(qū) C實(shí)際上可以大于在阻塞的情形中所需的比特率節(jié)約。不過，IMBR方法 靜態(tài)地固定分區(qū)C的尺寸，而在實(shí)踐中，阻塞的嚴(yán)重性可以隨著時(shí)間而改 變，并且由此理想地需要自適應(yīng)地:^殳置將丟棄的數(shù)據(jù)量。
為了解決這些問題，根據(jù)本發(fā)明的方法由此帶來了優(yōu)越的解決方案。 另一可替換解決方案可以包括通過在編碼器中優(yōu)化對(duì)將進(jìn)行內(nèi)編碼的附 加宏塊的選擇，改進(jìn)IMBR解決方案。取代于隨機(jī)選擇，可以選擇以先后 順序?qū)τ谄鋼p失將對(duì)于已解碼;阮頻的質(zhì)量具有最強(qiáng)影響的宏塊、或者將具 有最大預(yù)測間剩余數(shù)據(jù)的宏塊進(jìn)行內(nèi)編碼。該第二選擇減少了編碼效率的 負(fù)擔(dān)，因?yàn)樗鼜?qiáng)i^j"經(jīng)由預(yù)測間進(jìn)行編碼最低效的宏塊進(jìn)行內(nèi)編碼，
盡管這可能導(dǎo)致不同的算法，但是在實(shí)踐中，兩種選擇選項(xiàng)將導(dǎo)致對(duì) 宏塊的類似選擇，因?yàn)榫哂写罅款A(yù)測間剩余數(shù)據(jù)的宏塊典型地是將在分區(qū) C損失的情形中對(duì)視覺失真做出重大貢獻(xiàn)的宏塊。
第二選項(xiàng)的可能實(shí)現(xiàn)可以例如包括當(dāng)選擇對(duì)針對(duì)宏塊的編碼模式時(shí)， 編碼器比較Intra—Res和Inter—Res，其中Intra—Res是在宏塊的預(yù)測內(nèi)之 后的剩余數(shù)據(jù)的尺寸，而Inter—Res是預(yù)測間之后的剩余數(shù)據(jù)的尺寸。如 果Intra一Res < Inter—Res,則宏塊進(jìn)行內(nèi)編碼，并且以另外方式進(jìn)行間編碼。如果想要增加內(nèi)編碼宏塊的量，則以上限制可以略孩M^動(dòng)，諸如，如
果lntra一Res < ]S.Inter一Res，則對(duì)宏塊進(jìn)行內(nèi)編碼，其中j8是大于1的數(shù) 字，其被選擇以便獲得在片段上的附加內(nèi)編碼宏塊的理想數(shù)量。
至此，僅描述了所述方法。本發(fā)明還涉及一種用于同樣實(shí)現(xiàn)此方法的 編碼器。在某些實(shí)施例中，在傳輸期間阻塞的情形中，編碼器本身適用于 自己丟棄NAL單元分區(qū)的一部分。在其他實(shí)施例中，編碼器適于傳輸所 有的NAL單元分區(qū)，并且它可以是網(wǎng)絡(luò)的中間節(jié)點(diǎn)，例如能實(shí)施該方法 的一部分，特別是丟棄從根據(jù)本發(fā)明的編碼器接收的特定NAL單元分區(qū) 的步驟的路由器、DSL接入復(fù)用器、無線集中器設(shè)備或無線網(wǎng)絡(luò)的中間接 點(diǎn)。在其他實(shí)施例中，甚至接收器可以適用于丟棄NAL單元分區(qū)的此部 分。關(guān)于實(shí)現(xiàn)如本文檔中之前段落所述的方法的特定步驟的可能的實(shí)現(xiàn)方 式對(duì)于本領(lǐng)域技術(shù)人員是可知的。因此，這種編碼器、傳輸器、中間節(jié)點(diǎn)、
接收器以及解碼器(用于解碼根據(jù)所述方法進(jìn)行編碼的數(shù)據(jù))的特定實(shí)施 例將不會(huì)進(jìn)行進(jìn)一步描述，但是可以用硬件和/或軟件實(shí)現(xiàn)、通過處理器工 具實(shí)現(xiàn)、作為計(jì)算機(jī)程序等來實(shí)現(xiàn)，如本領(lǐng)域技術(shù)人員所公知的。
盡管以上已經(jīng)結(jié)合特定裝置描述了本發(fā)明的原理，但是顯然可以理解， 該描述僅通過示例進(jìn)行，而不會(huì)作為對(duì)本發(fā)明范圍的限制，本發(fā)明的范圍 由所附權(quán)利要求來限定.
權(quán)利要求
1.一種用于編碼視頻數(shù)據(jù)的方法，所述方法包括以下步驟在預(yù)測間和預(yù)測內(nèi)模式之間進(jìn)行選擇，由此，如果選擇了預(yù)測間模式，則所述方法進(jìn)一步包括以下另一步驟根據(jù)預(yù)定準(zhǔn)則將至少一種類型的預(yù)測間宏塊分類為不同類別，以及包括以下步驟安排所述至少一種類型的所有宏塊并使得相同類別從屬于一個(gè)片段組，從而為此類型的預(yù)測間宏塊創(chuàng)建片段組的集合。
2. 根據(jù)權(quán)利要求1所述的方法，其中所述預(yù)定準(zhǔn)則涉及在已編碼的預(yù) 測間宏塊中包含的剩余數(shù)據(jù)的尺寸，或者涉及在解碼端該剩余數(shù)據(jù)對(duì)于重 構(gòu)的視頻的視覺質(zhì)量的重要性。
3. 根據(jù)權(quán)利要求1或2所述的方法，其中所述方法包括以下附加步驟 將所述集合的片段組的片段，數(shù)據(jù)分割為若干NAL單元分區(qū)，用以通過 通信網(wǎng)絡(luò)進(jìn)行進(jìn)一步傳輸。
4. 根據(jù)權(quán)利要求3所述的方法，進(jìn)一步包括以下步驟在所述集合的 若干NAL單元分區(qū)的傳輸期間，根據(jù)涉及所述預(yù)定準(zhǔn)則的第二預(yù)定準(zhǔn)則， 可能丟棄所述集合的至少一個(gè)所述片段組的至少一個(gè)分區(qū)。
5. —種用于編碼視頻數(shù)據(jù)的編碼裝置，所述編碼裝置適用于在預(yù)測間 和預(yù)測內(nèi)模式之間進(jìn)行選擇，以M選擇了預(yù)測間模式的情況下，根據(jù)預(yù) 定準(zhǔn)則將至少一種類型的預(yù)測間宏塊分類為不同類別，以及安排所述至少 一種類型的所有宏塊并使得相同類別從屬于一個(gè)片段組，從而為此類型的 預(yù)測間宏塊創(chuàng)建片段組的集合。
6. 根據(jù)權(quán)利要求5所述的編碼裝置，其中所述預(yù)定準(zhǔn)則涉及在已編碼 的預(yù)測間宏塊中包含的剩余數(shù)據(jù)的尺寸，或者涉及在解碼端該剩余數(shù)據(jù)對(duì) 于重構(gòu)的視頻的視覺質(zhì)量的重要性。
7. 根據(jù)權(quán)利要求5或6所述的編碼裝置，其進(jìn)一步適用于執(zhí)行將所 述集合的片段組的片段，數(shù)據(jù)分割為若干NAL單元分區(qū)，用以通過通信 網(wǎng)絡(luò)進(jìn)行進(jìn)一步傳輸。
8. —種用于傳輸已編碼視頻數(shù)據(jù)的傳輸器，所述傳輸器包括根據(jù)權(quán)利 要求5至7中任一項(xiàng)所述的編碼裝置。
9. 根據(jù)權(quán)利要求8所述的傳輸器，其進(jìn)一步適用于在傳輸前，沖^# 涉及所述預(yù)定準(zhǔn)則的第二預(yù)定準(zhǔn)則，可能丟棄所述集合的至少一個(gè)所述片 段組的至少一個(gè)分區(qū)。
10. —種通信網(wǎng)絡(luò)的中間節(jié)點(diǎn)，其適用于從根據(jù)權(quán)利要求7所述的 編碼裝置接收NAL單元分區(qū)，以及進(jìn)一步適用于才艮據(jù)涉及所迷預(yù)定準(zhǔn) 則的第二預(yù)定準(zhǔn)則，可能丟棄所述集合的至少一個(gè)所述片段組的至少一個(gè) 分區(qū)。
11. 一種通信網(wǎng)絡(luò)的中間節(jié)點(diǎn)，其適用于從才艮據(jù)權(quán)利要求8所述的 傳輸器接收NAL單元分區(qū)，以及進(jìn)一步適用于根據(jù)涉及所述預(yù)定準(zhǔn)則 的笫二預(yù)定準(zhǔn)則，可能丟棄所述集合的至少一個(gè)所述片段組的至少一個(gè)分 區(qū)。
12. —種接收器，用于從根據(jù)權(quán)利要求8所述的傳輸器接收已編碼視 頻數(shù)據(jù)，以及進(jìn)一步適用于根據(jù)涉及所述預(yù)定準(zhǔn)則的笫二預(yù)定準(zhǔn)則，可 能丟棄所述集合的至少 一個(gè)所述片段組的至少 一個(gè)分區(qū)。
13. —種解碼器裝置，用于解碼根據(jù)權(quán)利要求1至4中任一項(xiàng)進(jìn)行編 碼的已編碼視頻數(shù)據(jù)。
全文摘要
本發(fā)明涉及用于視頻編碼的方法和設(shè)備。所述方法包括以下步驟在預(yù)測間和預(yù)測內(nèi)模式之間進(jìn)行選擇，由此，如果選擇了預(yù)測間模式，則所述方法進(jìn)一步包括以下另一步驟根據(jù)預(yù)定準(zhǔn)則將至少一種類型的預(yù)測間宏塊分類為不同類別，以及包括以下步驟安排所述至少一種類型的所有宏塊并使得相同類別從屬于一個(gè)片段組，從而為此類型的預(yù)測間宏塊創(chuàng)建片段組的集合。
文檔編號(hào)H04N7/26GK101640797SQ20091016015
公開日2010年2月3日 申請(qǐng)日期2009年7月28日 優(yōu)先權(quán)日2008年7月28日
發(fā)明者J-F·P·邁克 申請(qǐng)人:阿爾卡特朗訊公司