專利名稱：兩種相關(guān)數(shù)據(jù)序列的編碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及將第一數(shù)據(jù)序列塊和第二數(shù)據(jù)序列塊編碼的方法，其中第二數(shù)據(jù)序列塊與第一數(shù)據(jù)序列塊相關(guān)。本發(fā)明可以應(yīng)用于例如對(duì)立體視頻的編碼。
背景技術(shù)：
適當(dāng)?shù)臄?shù)據(jù)塊作為其它數(shù)據(jù)塊預(yù)先編碼的參考，以這樣的方式對(duì)數(shù)據(jù)塊序列編碼是可能的。這種技術(shù)應(yīng)用于，例如根據(jù)移動(dòng)圖像專家組(MPEG)標(biāo)準(zhǔn)對(duì)視頻幀編碼。
存在這樣的應(yīng)用，其中兩個(gè)相關(guān)序列的數(shù)據(jù)塊需要被編碼，立體視頻的編碼是個(gè)例子。立體(3D)視頻通常包括左眼視頻幀的序列和右眼視頻幀的序列。左眼視頻幀的序列和右眼視頻幀的序列，可以被各自看作是第一和第二數(shù)據(jù)序列塊，這些序列彼此相關(guān)。
立體視頻可以以后面的方式編碼。左眼視頻幀的序列根據(jù)MPEG視頻編碼技術(shù)編碼，假設(shè)這個(gè)序列是普通視頻信號(hào)。這意味著適當(dāng)?shù)淖笱垡曨l幀將作為其它左眼視頻幀預(yù)先編碼的參考。而對(duì)于右眼視頻幀序列，每個(gè)右眼視頻幀相應(yīng)于相應(yīng)的左眼視頻幀預(yù)先編碼。這意味著每個(gè)左眼視頻幀形成相應(yīng)右眼視頻幀預(yù)先編碼的參考。立體視頻編碼的這種方式，在已公告的第0639031號(hào)歐洲專利申請(qǐng)中被揭示出來。
發(fā)明概述本發(fā)明的目的是能夠減小現(xiàn)有成本。
本發(fā)明考慮了以下方面。為了使預(yù)先編碼的數(shù)據(jù)塊解碼，有必要得到作為這個(gè)預(yù)先編碼的參考的每個(gè)數(shù)據(jù)塊。結(jié)果，在解碼端，有必要臨時(shí)存儲(chǔ)數(shù)據(jù)塊，它已作為其它數(shù)據(jù)塊預(yù)先編碼的參考。
根據(jù)現(xiàn)有技術(shù)，每個(gè)右眼視頻幀相應(yīng)于相應(yīng)的左眼視頻幀預(yù)先編碼。這意味著在解碼端，需要臨時(shí)存儲(chǔ)每個(gè)左眼視頻幀。這種存儲(chǔ)需要相對(duì)大的存儲(chǔ)量，特別是因?yàn)橐曨l幀通常包括相對(duì)多的位。
根據(jù)本發(fā)明，第一數(shù)據(jù)序列塊以這樣的方式編碼，即適當(dāng)?shù)臄?shù)據(jù)塊作為其它數(shù)據(jù)塊預(yù)先編碼的參考。與第一數(shù)據(jù)序列塊相關(guān)的第二數(shù)據(jù)序列塊以這樣的方式編碼，即所有數(shù)據(jù)塊相應(yīng)于作為參考的第一序列中的數(shù)據(jù)塊預(yù)選編碼。
由此，在解碼端，不必存儲(chǔ)第一序列中包括的所有數(shù)據(jù)塊，相反，這在現(xiàn)有技術(shù)中是必要的。存儲(chǔ)作為參考的第一序列中的那些數(shù)據(jù)塊，就已足夠。結(jié)果，與現(xiàn)有技術(shù)的解碼器相比，根據(jù)本發(fā)明的解碼器只要比較少的存儲(chǔ)容量。結(jié)果，本發(fā)明能夠?qū)崿F(xiàn)成本的減少。
本發(fā)明的另一個(gè)優(yōu)點(diǎn)涉及以下方面。預(yù)先編碼內(nèi)在地引起一些不精確性預(yù)測(cè)很少會(huì)100％的正確。對(duì)于解碼端得到的數(shù)據(jù)的質(zhì)量，這種不精確性通常具有相反的效果。根據(jù)現(xiàn)有技術(shù)，第二序列中的一些數(shù)據(jù)塊相應(yīng)于第一序列中的數(shù)據(jù)塊預(yù)先編碼，其中第一序列的數(shù)據(jù)塊本身是預(yù)先編碼的結(jié)果。這意味著，根據(jù)現(xiàn)有技術(shù)，一些數(shù)據(jù)塊的編碼包括序列中的兩個(gè)預(yù)先編碼操作。結(jié)果，不精確性將會(huì)累加。由于根據(jù)本發(fā)明，第二序列中所有的數(shù)據(jù)塊相應(yīng)于作為參考的第一序列中的所有數(shù)據(jù)塊預(yù)先編碼，不精確性這樣的累加不會(huì)發(fā)生。結(jié)果，本發(fā)明能夠得到更好的質(zhì)量。
此后，將參考圖示，更具體地描述本發(fā)明的這些和其它方面。
附圖的簡(jiǎn)要描述

圖1是原理圖，說明了此前描述的本發(fā)明的基本結(jié)構(gòu)；圖2是根據(jù)本發(fā)明的立體視頻編碼器的方塊圖；圖3是示意圖，說明了根據(jù)本發(fā)明對(duì)左眼和右眼視頻幀編碼的方法；圖4是示意圖，代表了編碼的立體視頻數(shù)據(jù)，它由圖2中說明的編碼器提供；圖5是根據(jù)本發(fā)明的立體視頻解碼器的方塊圖。
本發(fā)明的實(shí)施例后面的陳述涉及參考符號(hào)。在所有的圖中，相似的部分有相似的參考字母指示。幾個(gè)相似的部分會(huì)出現(xiàn)在單一的圖中。在這種情況下，數(shù)字或下標(biāo)加到參考字母上，來區(qū)別相似的部分。為了方便起見，數(shù)字或下標(biāo)可以被省略，或者在數(shù)字或下標(biāo)的值不重要(不考慮值)的情況下，它可以被星號(hào)代替。這也應(yīng)用在權(quán)利要求書中。
圖1說明了此前描述的本發(fā)明的基本特點(diǎn)，它具有第一序列[SQ1]數(shù)據(jù)塊[DB1-*]和第二序列[SQ2]數(shù)據(jù)塊[DB2-*]。第二序列[SQ2]數(shù)據(jù)塊[DB2-*]與第一序列[SQ1]數(shù)據(jù)塊[DB1-*]相關(guān)。第一序列[SQ1]數(shù)據(jù)塊[DB1-*]以這樣的方式編碼，即適當(dāng)?shù)臄?shù)據(jù)塊作為第一序列[SQ1]中其它數(shù)據(jù)塊預(yù)先編碼[PE]的參考[REF]。第二序列[SQ2]數(shù)據(jù)塊[DB2-*]以這樣的方式編碼，即第二序列[SQ2]數(shù)據(jù)塊[DB2-*]相應(yīng)于作為參考[REF]的第一序列[SQ1]中的那些數(shù)據(jù)塊預(yù)先編碼[PE]。
圖1說明的特征可以用于，例如對(duì)立體(3D)視頻編碼。在這種情況下，圖1說明的數(shù)據(jù)塊可以，例如符合視頻幀?？梢曰诋?dāng)前在非立體視頻的MPEG視頻編碼中應(yīng)用的移動(dòng)估算和壓縮技術(shù)，來進(jìn)行預(yù)先編碼。
圖2顯示了根據(jù)本發(fā)明的立體視頻編碼器。編碼器接收左眼視頻幀序列[VL]和右眼視頻幀序列[VR]，并且響應(yīng)于此，而提供編碼的立體視頻數(shù)據(jù)[CSV]。編碼器包括預(yù)先處理碼器[PREP]、核心編碼器[CENC]、可變長(zhǎng)度編碼器[VLC]、格式器[FRMT]和控制器[CNTRL]。更特別地，核心編碼器[CENC]包括移動(dòng)估算器及補(bǔ)償器[MCE]、減法器[SUB]、離散余弦變換器及量化器[DCTQ]、反離散余弦變換器及量化器[IDCTQ]、加法器[ADD]和存儲(chǔ)器[MEM]。
圖2中說明的編碼器基本上如下操作。預(yù)先處理器[PREP]根據(jù)MPEG標(biāo)準(zhǔn)調(diào)整左眼視頻幀的順序。這意味著調(diào)整左眼視頻幀的順序，好象這些視頻幀屬于非立體視頻信號(hào)。預(yù)先處理器[PREP]將左眼視頻幀以再次排列的順序，與右眼視頻幀組合。由此，預(yù)先處理器[PREP]應(yīng)用左眼和右眼視頻幀的多路復(fù)用調(diào)制，而提供給核心編碼器[CENC]。
核心編碼器[CENC]根據(jù)MPEG標(biāo)準(zhǔn)將左眼視頻幀編碼，好象這些視頻幀屬于非立體視頻信號(hào)。結(jié)果，根據(jù)它們?cè)谛蛄兄懈髯缘奈恢煤蛻?yīng)用的MPEG編碼類型，左眼視頻幀受到I、P或B編碼之一。相反，所有的右眼視頻幀受到B編碼，這是預(yù)先編碼。更特別地，每個(gè)右眼視頻幀相應(yīng)于已經(jīng)受到I或P編碼之一的左眼視頻幀而被編碼，而不相應(yīng)于受到B編碼的左眼視頻幀而被編碼。這意味著，核心編碼器[CENC]將每個(gè)右眼視頻幀編碼，好象這些視頻幀是被指定受到B編碼的左眼視頻幀。核心編碼器[CENC]對(duì)編碼的左眼和右眼的每個(gè)視頻幀提供量化系數(shù)[CF]。如果視頻幀已經(jīng)預(yù)先編碼的話，它還提供預(yù)先編碼參數(shù)[PP]。
可變長(zhǎng)度編碼器[VLC]將量化的系數(shù)[CF]和預(yù)先編碼參數(shù)[PP]翻譯成可變長(zhǎng)度的碼詞。格式器[FRMT]將不同來源的碼詞與解碼末尾需要的任何其它數(shù)據(jù)組合，如標(biāo)識(shí)符。格式器[FRMT]將所有這些數(shù)據(jù)做成適當(dāng)?shù)母袷?。由此，格式器[FRMT]提供編碼的立體視頻數(shù)據(jù)[CSV]。照此進(jìn)行，而不論控制器是否被適當(dāng)編程，而對(duì)編碼器中的各個(gè)部分提供控制信號(hào)，并且促使這些部分根據(jù)此前的描述來工作。
圖3說明了對(duì)左眼和右眼視頻幀編碼。方塊代表了被編碼的視頻幀。顯示了四個(gè)左眼視頻幀[L]和四個(gè)右眼視頻幀[R]。視頻幀中參考符號(hào)的下標(biāo)指示了序列[VL，VR]中視頻幀的位置，其中序列[VL，VR]由圖2顯示的解碼器接收。方塊內(nèi)的字母I、P或B指示了相關(guān)視頻幀將進(jìn)行的編碼操作。
在圖3中，預(yù)先編碼用箭頭的方式說明。箭頭從中發(fā)出的視頻幀，是預(yù)先編碼的視頻幀。箭頭到達(dá)的視頻幀，是作為這種預(yù)先編碼參考的視頻幀。例如，左眼視頻幀L(n+1)和L(n+2)將相應(yīng)于左眼視頻幀L(n)和L(n+3)預(yù)先編碼。所有的右眼視頻幀也相應(yīng)于左眼視頻幀L(n)和L(n+3)預(yù)先編碼。預(yù)先處理器[PREP]可以將左眼和右眼視頻幀以后面的順序提供給核心編碼器[CENC]L(n)，L(n+3)，R(n)，L(n+1)，R(n+1)，L(n+2)，R(n+2)，R(n+3)。
圖4代表了編碼的立體視頻數(shù)據(jù)[CSV]，它由圖2中說明的編碼器提供。編碼的立體視頻數(shù)據(jù)[CSV]包括方塊代表的編碼的左眼和右眼視頻幀[Lc，Rc]。左眼和右眼視頻幀[Lc，Rc]從圖3顯示的左眼和右眼視頻幀[Lc，Rc]的編碼中得到。編碼的左眼和右眼視頻幀[Lc，Rc]的參考符號(hào)中的下標(biāo)，各自指示了左眼或右眼視頻幀[L，R]，它們已經(jīng)被編碼。例如，編碼的左眼視頻幀L(n+1)是圖3顯示的左眼視頻幀L(n+1)的B編碼圖像。
圖5顯示了根據(jù)本發(fā)明的立體視頻解碼器。解碼器通過沒有畫出的傳輸通道，接收?qǐng)D4中說明的編碼的立體視頻數(shù)據(jù)[CSV]。響應(yīng)于此，它提供解碼的左眼視頻幀序列[VL｀]和解碼的右眼視頻幀序列[VR｀]。解碼器包括反格式器[DFRMT]、可變長(zhǎng)度解碼器[VLD]、核心解碼器[CDEC]、立體視頻多路解調(diào)器[STDEMUX]和控制器[CNTRL]。更特別地，核心解碼器[CDEC]包括反離散余弦變換器及量化器[IDCTQ]，移動(dòng)補(bǔ)償器[MC]和存儲(chǔ)器[MEM]。圖5中顯示的解碼器基本上如后操作。反格式器[DFRMT]從不將被可變長(zhǎng)度解碼的數(shù)據(jù)中，分離出將被可變長(zhǎng)度解碼的數(shù)據(jù)，后者被提供給控制器[CNTRL]。數(shù)據(jù)可以包括，例如識(shí)別符，它可以被立體視頻多路解調(diào)器[STDEMUX]使用，來區(qū)別左眼視頻幀和右眼視頻幀?？勺冮L(zhǎng)度加碼器[VLD]將碼詞翻譯回成量化系數(shù)[CF]和預(yù)先編碼參數(shù)[PP]，它們已經(jīng)在圖2中說明的編碼器中確定。
核心解碼器[CDEC]根據(jù)量化系數(shù)[CF]和預(yù)先編碼參數(shù)[PP]，再次產(chǎn)生左眼和右眼視頻幀。更特別地，核心解碼器[CDEC]再次產(chǎn)生左眼視頻幀，好象它們?cè)从跇?biāo)準(zhǔn)的非立體MPEG視頻數(shù)據(jù)。核心解碼器[CDEC]再次產(chǎn)生右眼視頻幀，好象它們是B編碼的左眼視頻幀。參考圖3，存儲(chǔ)器[MEN]臨時(shí)存儲(chǔ)I編碼視頻幀L(n)和P編碼視頻幀L(n+3)，而將圖3顯示的所有視頻幀解碼，這是充分的。
立體視頻多路解調(diào)器[STDEMUX]再次排列核心解碼器[CDEC]提供的左眼視頻幀的順序。它進(jìn)一步將左眼視頻幀和右眼視頻幀多路解調(diào)。例如參考圖3，核心解碼器[CDEC]將連續(xù)地提供視頻幀L(n)，L(n+3)，R(n)，L(n+1)，R(n+1)，L(n+2)，R(n+2)，R(n+3)的解碼圖像。在適當(dāng)?shù)难舆t后，然后立體視頻多路解調(diào)器[STDEMUX]將連續(xù)地提供左眼視頻幀[L]的解碼圖像，并且與之平行，提供右眼視頻幀[R]的解碼圖像。由此，得到左眼視頻幀的解碼序列[VL｀]和右眼視頻幀的解碼序列[VR｀]。照此進(jìn)行，控制器被適當(dāng)編程，而對(duì)解碼器中的各個(gè)部分提供控制信號(hào)，并且促使這些部分根據(jù)此前的描述工作。
此前的圖示及它們的描述，用于說明而非限制本發(fā)明。在所附的范圍內(nèi)，明顯有多個(gè)變化。在這方面，進(jìn)行了后面結(jié)束部分的陳述。
有幾種方式使編碼的立體視頻格式化。圖4只說明了一種可能的格式，其中解碼幀的順序?yàn)長(zhǎng)c(n/I)，Lc(n+3/P)，Rc(n/B)，Lc(n+1/B)，Rc(n+1/B)，Lc(n+2/B)，Rc(n+2/B)，Rc(n+3/B)。另一種可能的格式是例如Lc(n/I)，Lc(n+3/P)，Lc(n+1/B)，Lc(n+2/B)，Rc(n/B)，Rc(n+1/B)，Rc(n+2/B)，Rc(n+3/B)。很多不同的格式都是可能的，正象標(biāo)準(zhǔn)MPEG編碼中存在很多不同的格式一樣。
有各種方式將編碼的立體視頻從編碼器傳輸?shù)浇獯a器。例如，通過攜帶編碼的立體視頻數(shù)據(jù)[CSV]的傳輸通道，圖2說明的編碼器可以連接到圖5說明的解碼器上。另一種可能的應(yīng)用是，例如編碼器是記錄設(shè)備的一部分，這意味著將編碼的立體視頻數(shù)據(jù)[CSV]記錄到載體上。解碼器可以是相同記錄設(shè)備的一部分，或者是從載體上檢索編碼的立體視頻數(shù)據(jù)[CSV]的另一個(gè)設(shè)備。
有幾種方式通過幾項(xiàng)硬件或軟件，或兩者幾項(xiàng)的結(jié)合來實(shí)現(xiàn)功能。在這方面，附圖是示意性的，每個(gè)只代表本發(fā)明的一種可能的實(shí)施例。這樣，盡管圖示用不同的方塊顯示了不同的功能，這無論如何也不排除單一一項(xiàng)硬件或軟件執(zhí)行幾個(gè)功能。也不排除幾項(xiàng)硬件和/或軟件結(jié)合來執(zhí)行功能。
權(quán)利要求書中任何的參考符號(hào)將不構(gòu)成對(duì)權(quán)利要求書的限制。動(dòng)詞“包括”不排除使用權(quán)利要求書中定義的那些以外的元件或步驟。元件或步驟前面的不定冠詞“一”或“一個(gè)”不排除使用多個(gè)這樣的元件或步驟。
權(quán)利要求
1.一種將第一序列[SQ1]數(shù)據(jù)塊[DB1-*]和第二序列[SQ2]數(shù)據(jù)塊[DB2-*]編碼的方法，其中所述第二序列[SQ2]數(shù)據(jù)塊[DB2-*]與所述第一序列[SQ1]數(shù)據(jù)塊[DB1-*]相關(guān)，所述方法包括將所述第一序列[SQ1]數(shù)據(jù)塊[DB1-*]以這樣的方式編碼的步驟，即適當(dāng)?shù)臄?shù)據(jù)塊作為將所述第一序列[SQ1]中其它數(shù)據(jù)塊預(yù)先編碼[PE]的參考[REF]，其特征在于，所述方法包括將所述第二序列[SQ2]數(shù)據(jù)塊[DB2-*]以這樣的方式編碼的步驟，即所有的數(shù)據(jù)塊[DB2-*]相應(yīng)于作為參考[REF]的所述第一序列[SQ1]中的那些數(shù)據(jù)塊預(yù)先編碼[PE]。
2.一種編碼器，用于將第一序列[VL]數(shù)據(jù)塊[L]和第二序列[VR]數(shù)據(jù)塊[R]編碼，其中所述第二序列[VR]數(shù)據(jù)塊[R]編碼與所述第一序列[VL]數(shù)據(jù)塊[L]相關(guān)，所述編碼器包括裝置，將所述第一序列[VL]數(shù)據(jù)塊[L]以這樣的方式編碼，即適當(dāng)?shù)臄?shù)據(jù)塊作為將所述第一序列[VL]中其它數(shù)據(jù)塊[L(n+1)，L(n+2)]預(yù)先編碼的參考，其特征在于，所述編碼器包括將所述第二序列[VR]數(shù)據(jù)塊[R]以這樣的方式編碼的裝置，即所有的數(shù)據(jù)塊[R]相應(yīng)于作為參考[L(n)，L(n+3)]的所述第一序列[VL]中的那些數(shù)據(jù)塊預(yù)先編碼。
3.一種解碼器，用于將多路復(fù)用編碼的第一序列[VL]數(shù)據(jù)塊[L]和編碼的第二序列[VR]數(shù)據(jù)塊[R]解碼，所述第二序列[VR]數(shù)據(jù)塊[R]與所述第一序列[VL]數(shù)據(jù)塊[L]相關(guān)，所述解碼器包括裝置，將所述第一序列[VL]數(shù)據(jù)塊[L]以這樣的方式解碼，即適當(dāng)?shù)臄?shù)據(jù)塊[L(n)，L(n+3)]作為將所述第一序列[VL]中其它數(shù)據(jù)塊[L(n+1)，L(n+2)]預(yù)定解碼的參考，其特征在于，所述解碼器包括裝置，將所述第二序列[VR]數(shù)據(jù)塊[R]以這樣的方式解碼，即所有的數(shù)據(jù)塊[R]相應(yīng)于作為參考[L(n)，L(n+3)]的所述第一序列[VL]中的那些數(shù)據(jù)塊預(yù)先解碼。
4.一種編碼的第一序列[VL]數(shù)據(jù)塊[L]和編碼的第二序列[VR]數(shù)據(jù)塊[R]的多路復(fù)用器[CSV]，所述第二序列[VR]數(shù)據(jù)塊[R]與所述第一序列[VL]數(shù)據(jù)塊[L]相關(guān)，所述第一序列[VL]數(shù)據(jù)塊[L]已經(jīng)以這樣的方式編碼，即適當(dāng)?shù)臄?shù)據(jù)塊[L(n)，L(n+3)]作為將所述第一序列[VL]中其它數(shù)據(jù)塊[L(n+1)，L(n+2)]預(yù)先解碼的參考，其特征在于所述第二序列[VR]數(shù)據(jù)塊[R]已經(jīng)以這樣的方式解碼，即所有的數(shù)據(jù)塊[R]相應(yīng)于作為參考[L(n)，L(n+3)]的所述第一序列[VL]中的那些數(shù)據(jù)塊預(yù)先編碼。
全文摘要
第一序列[SQ1]數(shù)據(jù)塊[DB1－*]和第二序列[SQ2]數(shù)據(jù)塊[DB2－*]被編碼。第二序列[SQ2]數(shù)據(jù)塊[DB2－*]與第一序列[SQ1]數(shù)據(jù)塊[DB1－*]相關(guān)。這可以認(rèn)為是,例如立體視頻(3D)的編碼。第一序列[SQ1]數(shù)據(jù)塊[DB1－*]以這樣的方式編碼,即適當(dāng)?shù)臄?shù)據(jù)塊作為將第一序列[SQ1]中其它數(shù)據(jù)塊預(yù)先編碼[PE]的參考[REF]。第二序列[SQ2]數(shù)據(jù)塊[DB2－*]以這樣的方式編碼,即相應(yīng)于作為參考[REF]的第一序列[SQ1]中的那些數(shù)據(jù)塊[DB1－*],所有的數(shù)據(jù)塊[DB2－*]被預(yù)先編碼[PE]。例如,在立體(3D)視頻編碼應(yīng)用中,左眼視頻幀被MPEG編碼,好象它們屬于普通的非立體視頻信號(hào),而右眼視頻幀相應(yīng)于I和P編碼的左眼視頻幀都被B編碼,反之亦然。在解碼端,相對(duì)小的存儲(chǔ)器足以用于解碼的目的。
文檔編號(hào)H04N7/32GK1365577SQ01800718
公開日2002年8月21日 申請(qǐng)日期2001年3月19日 優(yōu)先權(quán)日2000年3月31日
發(fā)明者S·佩奈恩, G·古特勒 申請(qǐng)人:皇家菲利浦電子有限公司