專(zhuān)利名稱(chēng)：可對(duì)視頻信號(hào)縮放地進(jìn)行編碼和解碼的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻信號(hào)的可縮放編碼和解碼。
背景技術(shù)：
向由移動(dòng)電話(huà)或筆記本計(jì)算機(jī)以無(wú)線(xiàn)方式發(fā)送和接收的數(shù)字視頻信號(hào)分配
TV信號(hào)所需的高帶寬是困難的?？梢灶A(yù)想到相同的困難會(huì)發(fā)生在將來(lái)普及使用的 移動(dòng)電視機(jī)和手提計(jì)算機(jī)上。因此，這些移動(dòng)設(shè)備所使用的視頻壓縮標(biāo)準(zhǔn)應(yīng)當(dāng)具有 高的視頻信號(hào)壓縮效率。
這些移動(dòng)設(shè)備具有多種處理和顯示能力以致應(yīng)該配備多種壓縮視頻數(shù)據(jù)形 式。這意味著應(yīng)該基于一個(gè)視頻源來(lái)提供具有多個(gè)變量——例如每秒發(fā)送的幀數(shù)、 分辨率和每像素的位數(shù)一一的不同組合的多種不同質(zhì)量的視頻數(shù)據(jù)。這向內(nèi)容提供 者施加了很大的負(fù)擔(dān)。
由于上述問(wèn)題，內(nèi)容提供者為每一源視頻配備高的位速率的壓縮視頻數(shù)據(jù)， 并當(dāng)從移動(dòng)設(shè)備接收到請(qǐng)求時(shí)還配備了一種處理，以對(duì)所壓縮的視頻進(jìn)行解碼并對(duì) 其編碼而回到適應(yīng)移動(dòng)設(shè)備的視頻處理能力的視頻數(shù)據(jù)。然而，該方法必須用到代 碼轉(zhuǎn)換程序，包括解碼、縮放和編碼處理，這有時(shí)會(huì)造成將請(qǐng)求的數(shù)據(jù)提供給移動(dòng) 設(shè)備的延遲。代碼轉(zhuǎn)換程序還需要復(fù)雜的硬件和算法以應(yīng)付多種對(duì)象編碼格式。
已研發(fā)出可縮放視頻編解碼器(SVC)嘗試克服這些問(wèn)題。這種方案將視頻 編碼為具有最高圖像質(zhì)量的圖像序列，同時(shí)保證能對(duì)編碼的圖像(幀)序列的一部 分(具體地說(shuō)，從全部幀序列中間斷地選擇的一部分幀序列)進(jìn)行解碼以形成某一 圖像質(zhì)量等級(jí)。
運(yùn)動(dòng)補(bǔ)償時(shí)域?yàn)V波(MCTF)是可縮放視頻編解碼中建議使用的一種編碼方案。 MCTF方案具有減少每秒發(fā)送位數(shù)的高壓縮效率(即高編碼效率)。MCTF方案可 應(yīng)用于一些發(fā)送環(huán)境，例如帶寬受到限制的移動(dòng)通信環(huán)境。
盡管能確保可接收可縮放MCTF編碼方案編碼的圖像序列的一部分并將其處 理成如上所述具有某一圖像質(zhì)量等級(jí)的視頻，但是仍然存在的問(wèn)題是如果位速率降低則圖像質(zhì)量顯著劣化。該問(wèn)題的一種解決方案是提供低的位速率的輔助圖像序 列，例如具有小屏幕尺寸和/或低幀速的的圖像序列。
輔助圖像序列被稱(chēng)為基層(BL)，而主圖像序列被稱(chēng)為增強(qiáng)層或強(qiáng)化層。由 于將同一視頻內(nèi)容編碼為具有不同空間分辨率或不同幀速率的兩個(gè)層，因此基層和 增強(qiáng)層的視頻信號(hào)具有冗余。為了提高增強(qiáng)層的編碼效率，可用基層的運(yùn)動(dòng)信息和 /或紋理信息預(yù)測(cè)增強(qiáng)層的視頻信號(hào)。這種預(yù)測(cè)方法被稱(chēng)為層間預(yù)測(cè)。
圖1示出基層內(nèi)預(yù)測(cè)方法和層間殘余預(yù)測(cè)方法的例子，它是用基層對(duì)增強(qiáng)層 進(jìn)行編碼的層間預(yù)測(cè)方法。
基層內(nèi)預(yù)測(cè)方法使用基層的紋理(或圖像數(shù)據(jù))。具體地說(shuō)，基層內(nèi)預(yù)測(cè)方 法用以?xún)?nèi)模式編碼的基層的相應(yīng)塊形成增強(qiáng)層的宏塊的預(yù)測(cè)數(shù)據(jù)。術(shù)語(yǔ)"相應(yīng)塊" 指位于與含宏塊的幀在時(shí)域上重合的基層幀中并且如果通過(guò)增強(qiáng)層的屏幕尺寸和 基層的屏幕尺寸的比放大基層幀則具有覆蓋宏塊的面積的塊。在通過(guò)上升采樣而以 增強(qiáng)層的屏幕尺寸和基層的屏幕尺寸的比放大相應(yīng)塊后，基層內(nèi)預(yù)測(cè)方法使用基層 的相應(yīng)塊。
層間殘余預(yù)測(cè)方法與基層內(nèi)預(yù)測(cè)方法相似，除了它使用基層中編碼的相應(yīng)塊 以獲得殘余數(shù)據(jù)，該數(shù)據(jù)是圖像差數(shù)據(jù)，而不是基層中含圖像數(shù)據(jù)的相應(yīng)塊。層間 殘余預(yù)測(cè)方法使用編碼以包含殘余數(shù)據(jù)的基層的相應(yīng)塊形成被編碼以包含殘余數(shù) 據(jù)的增強(qiáng)層的宏塊的預(yù)測(cè)數(shù)據(jù)，所述殘余數(shù)據(jù)是圖像差數(shù)據(jù)。與基層內(nèi)預(yù)測(cè)方法相 似，在通過(guò)上升采樣而以增強(qiáng)層屏幕尺寸與基層屏幕尺寸的比放大相應(yīng)塊后，層間 殘余預(yù)測(cè)方法使用含殘余數(shù)據(jù)的基層相應(yīng)塊。
通過(guò)對(duì)視頻源下降采樣獲得用于層間預(yù)測(cè)方法的具有較低分辨率的基層。由 于可采用多種不同的下降采樣技術(shù)和下降采樣比(即水平和/或垂直尺寸縮減比)， 從同一視頻源產(chǎn)生的增強(qiáng)層和基層中的相應(yīng)圖像(幀或塊)可以是異相的。
圖2示出增強(qiáng)層和基層之間的相位關(guān)系?？赏ㄟ^(guò)(i )以獨(dú)立于增強(qiáng)層的較 低空間分辨率對(duì)視頻源采樣(ii )以較高的空間分辨率對(duì)增強(qiáng)層下降采樣來(lái)產(chǎn)生基 層。在圖2的例子中，增強(qiáng)層和基層之間的下降采樣比為2/3。
視頻信號(hào)作為單獨(dú)的分量予以管理，即一個(gè)亮度分量和兩個(gè)色度分量。亮度 分量關(guān)聯(lián)于亮度信息Y而兩個(gè)色度分量關(guān)聯(lián)于色度信息Cb和Cr。亮度和色度信 號(hào)之間的比4:2:0(Y: Cb: Cr)是廣泛使用的。色度信號(hào)的采樣典型地位于亮度信號(hào) 的采樣中間。當(dāng)直接從視頻源形成增強(qiáng)層和/或基層時(shí)，對(duì)增強(qiáng)層和/或基層的亮度 信號(hào)和色度信號(hào)采樣以滿(mǎn)足4:2:0的比和根據(jù)4:2:0的比的位置條件。
在上面的情形(i)中，由于增強(qiáng)層和基層可能具有不同的采樣位置，因此
如圖2的部分(a)所示，增強(qiáng)層和基層是異相的。在部分(a)的例子中，每個(gè)增 強(qiáng)層和基層的亮度和色度信號(hào)滿(mǎn)足4:2:0的比和根據(jù)4:2:0的比的位置條件。
在上面的情形(ii)中，通過(guò)以一規(guī)定比率對(duì)增強(qiáng)層的亮度和色度信號(hào)下降 采樣而形成基層。如果形成基層以使基層的亮度和色度信號(hào)與增強(qiáng)層的亮度和色度 信號(hào)同相，則基層的亮度和色度信號(hào)不滿(mǎn)足根據(jù)圖2的(b)部分所示的4:2:0的 比的位置條件。
另外，如果形成基層以使基層的亮度和色度信號(hào)滿(mǎn)足根據(jù)4:2:0比的位置條件， 則如圖2的部分(c)所示，基層的色度信號(hào)與增強(qiáng)層的色度信號(hào)異相。在這種情 形下，如果對(duì)基層的色度信號(hào)根據(jù)層間預(yù)測(cè)方法以規(guī)定比率上升采樣，則上升采樣 的基層的色度信號(hào)與增強(qiáng)層的色度信號(hào)異相。
另外在情形(ii)中，如圖2 (a)所示，增強(qiáng)層和基層可能是異相的。 艮P，基層的相位在產(chǎn)生基層的下降采樣程序中和在層間預(yù)測(cè)方法的上升采樣 程序中可能會(huì)改變，因此基層與增強(qiáng)層異相，由此降低編碼效率。

發(fā)明內(nèi)容
在一個(gè)實(shí)施例中，視頻信號(hào)的解碼包括基于基層中至少一部分基圖像和預(yù)測(cè) 的當(dāng)前圖像中的采樣的偏移信息預(yù)測(cè)當(dāng)前層中至少一部分當(dāng)前圖像。例如，采樣可 以是亮度和/或色度采樣。
在一個(gè)實(shí)施例中，偏移信息基于基圖像部分中的相應(yīng)采樣。
在另一實(shí)施例中，預(yù)測(cè)步驟基于基圖像的上升采樣部分的至少一部分和偏移 信息預(yù)測(cè)當(dāng)前圖像部分。
在一個(gè)實(shí)施例中，偏移信息是相移信息。
在一個(gè)實(shí)施例中，預(yù)測(cè)步驟可從基層的分片頭部獲得偏移信息，而在另一實(shí) 施例中，可從當(dāng)前層中的序列級(jí)頭部獲得偏移信息。
其它相關(guān)的實(shí)施例包括對(duì)視頻信號(hào)進(jìn)行編碼的方法以及對(duì)視頻信號(hào)進(jìn)行編碼 和解碼的裝置。


通過(guò)下面結(jié)合附圖的詳細(xì)說(shuō)明，本發(fā)明的上述和其它的目的、特征和其它優(yōu) 點(diǎn)將變得更易理解，其中
圖1示出用基層對(duì)增強(qiáng)層進(jìn)行編碼的層間預(yù)測(cè)方法的一個(gè)例子；
圖2示出增強(qiáng)層和基層之間的相位關(guān)系的例子；
圖3是可實(shí)施根據(jù)本發(fā)明的可縮放視頻信號(hào)編碼方法的視頻信號(hào)編碼裝置的 方框圖4示出圖3所示的EL編碼器的部件；
圖5示出根據(jù)本發(fā)明一個(gè)實(shí)施例的、將基層和/或增強(qiáng)層的相移考慮在內(nèi)的、 在根據(jù)層間預(yù)測(cè)方法編碼的增強(qiáng)層的解碼中用于對(duì)基層進(jìn)行上升采樣的方法； 圖6是用于對(duì)通過(guò)圖3的裝置編碼的位流進(jìn)行解碼的裝置的方框圖；以及 圖7示出圖6所示的EL解碼器的部件。
具體實(shí)施例方式
下面將結(jié)合附圖對(duì)本發(fā)明諸實(shí)施例進(jìn)行詳細(xì)說(shuō)明。
圖3是可實(shí)施根據(jù)本發(fā)明的可縮放視頻信號(hào)編碼方法的視頻信號(hào)編碼裝置的 方框圖。
圖3所示的視頻信號(hào)編碼裝置包括增強(qiáng)層(EL)編碼器100、紋理編碼單元 110、運(yùn)動(dòng)編碼單元120、復(fù)用器(或多路復(fù)用器)130、下降采樣單元140和基層 (BL)編碼器150。下降采樣單元140直接從輸入視頻信號(hào)或通過(guò)對(duì)輸入視頻信號(hào) 下降采樣而產(chǎn)生增強(qiáng)層，并根據(jù)特定方案通過(guò)對(duì)輸入視頻信號(hào)或增強(qiáng)層信號(hào)下降采 樣而形成基層信號(hào)。所述特定方案取決于接收各層的應(yīng)用或裝置；并因此是設(shè)計(jì)選 擇的問(wèn)題。EL編碼器IOO根據(jù)特定編碼方案(例如MCTF方案)以可縮放方式在 每個(gè)宏塊基礎(chǔ)上對(duì)通過(guò)下降采樣單元140產(chǎn)生的增強(qiáng)層信號(hào)進(jìn)行編碼，并產(chǎn)生適當(dāng) 的管理信息。紋理編碼單元IIO將編碼的宏塊數(shù)據(jù)轉(zhuǎn)換成壓縮的位流。運(yùn)動(dòng)編碼單 元120根據(jù)特定方案將通過(guò)EL編碼器100獲得的圖像塊的運(yùn)動(dòng)矢量編碼成壓縮的 位流。BL編碼器150根據(jù)特定方案——例如根據(jù)MPEG-1、 MPEG-2或MPEG-4 標(biāo)準(zhǔn)或H.261或H.264標(biāo)準(zhǔn)——對(duì)由下降采樣單元140產(chǎn)生的基層信號(hào)進(jìn)行編碼， 并產(chǎn)生小屏幕圖像序列，例如在需要時(shí)產(chǎn)生縮小至其原始尺寸的25%的圖像序列。 復(fù)用器130將紋理編碼單元110的輸出數(shù)據(jù)、來(lái)自BL編碼器150的小屏幕序列以 及運(yùn)動(dòng)編碼單元120的輸出矢量數(shù)據(jù)封裝成所需的格式。復(fù)用器130對(duì)封裝的數(shù)據(jù) 多路復(fù)用為所需的傳輸格式并輸出。
下降采樣單元140不僅將增強(qiáng)層和基層信號(hào)發(fā)送到EL和BL編碼器100和 150，而且還將兩個(gè)層的采樣相關(guān)信息發(fā)送至EL和BL編碼器100和150。兩個(gè)層
的采樣相關(guān)信息可包括空間分辨率(或屏幕尺寸)、幀速率、兩個(gè)層的亮度和色度 信號(hào)之間的比、兩個(gè)層的色度信號(hào)的位置以及基于兩個(gè)層的亮度和色度信號(hào)的各位 置的關(guān)于兩個(gè)層的亮度和色度信號(hào)之間的相移的信息。
相移可定義為兩個(gè)層的亮度信號(hào)之間的相位差。 一般是根據(jù)亮度和色度信號(hào) 之間的比對(duì)兩個(gè)層的亮度和色度信號(hào)進(jìn)行采樣以滿(mǎn)足位置條件，并對(duì)兩個(gè)層的亮度 信號(hào)進(jìn)行采樣以使它們彼此同相。
相移還可定義為兩個(gè)層的色度信號(hào)之間的相位差。在兩個(gè)層的亮度信號(hào)的位 置彼此匹配以使兩個(gè)層的亮度信號(hào)彼此同相之后，可基于兩個(gè)層的色度信號(hào)位置之 間的差確定兩個(gè)層的色度信號(hào)之間的相位差。
例如，可基于產(chǎn)生增強(qiáng)層或基層的輸入視頻信號(hào)，參照一個(gè)虛擬層(例如上 升采樣的基層)而對(duì)每個(gè)層單獨(dú)定義相位差。這里，相位差在基層的增強(qiáng)層和虛擬 層(例如上升采樣的基層)的亮度和/或色度采樣(例如像素)之間。
EL編碼器100將從下降采樣單元140傳來(lái)的相移信息記錄在序列層或分片層 的頭部區(qū)中。如果相移信息具有0以外的值，則EL編碼器100將指示兩個(gè)層之間 是否存在相移的全局偏移標(biāo)志"global_shift—flag"置位為，例如，"1",并將相移 值記錄在字段"global—shift—x"禾P "global—shiftj"的信息中。"global—shift—x" 值表示水平相移。"global—shift—y"值表示垂直相移。換種說(shuō)法，"global—shift一x" 值表示采樣(即像素)之間的水平位置偏移，而"gbbal一shiftj"表示采樣(即像 素)之間的垂直位置偏移。
另一方面，如果相移信息具有0值，則EL編碼器100將標(biāo)志"globa1—shift—flag" 置位為，例如，"0 ",并且不將相移值記錄到信息字段"global—shift—x "和 "global—shiftj"中。
如有必要，EL編碼器IOO還將采樣相關(guān)的信息記錄至序列層或分片層的頭部 區(qū)中。
EL編碼器100在從下降采樣單元140接收到的視頻數(shù)據(jù)上執(zhí)行MCTF。因此， EL編碼器100通過(guò)在宏塊中減去運(yùn)動(dòng)估計(jì)所發(fā)現(xiàn)的基準(zhǔn)塊而執(zhí)行視頻幀(或圖像) 中每個(gè)宏塊上的預(yù)測(cè)操作。另外，EL編碼器IOO通過(guò)將基準(zhǔn)塊和宏塊之間的圖像 差添加至基準(zhǔn)塊而有選擇地執(zhí)行更新操作。
EL編碼器100將輸入視頻幀序列分為，例如，奇數(shù)幀和偶數(shù)幀。EL編碼器 IOO在多個(gè)編碼等級(jí)上對(duì)單獨(dú)的幀執(zhí)行預(yù)測(cè)和更新操作直到，例如，通過(guò)更新操作 產(chǎn)生的L幀號(hào)對(duì)于一組圖像(GOP)減小至l。圖4示出在各編碼等級(jí)中的一個(gè)等級(jí)上關(guān)聯(lián)于預(yù)測(cè)和更新操作的EL編碼器100的部件。
圖4所示的EL編碼器100的部件包括估計(jì)器/預(yù)測(cè)器101。通過(guò)運(yùn)動(dòng)估計(jì)，估 計(jì)器/預(yù)測(cè)器101搜索包含殘余數(shù)據(jù)的一個(gè)幀(例如增強(qiáng)層中的奇數(shù)幀)的每個(gè)宏 塊的基準(zhǔn)塊，并隨后執(zhí)行預(yù)測(cè)操作以計(jì)算宏塊與基準(zhǔn)塊的圖像差(即像素一像素差) 以及從宏塊至基準(zhǔn)塊的運(yùn)動(dòng)矢量。EL編碼器100還包括更新器102，用于通過(guò)對(duì) 計(jì)算得到的宏塊與基準(zhǔn)塊的圖像差歸一化并將該歸一化值添加到基準(zhǔn)塊而對(duì)一個(gè) 幀(例如偶數(shù)幀)執(zhí)行更新操作，該幀包括宏塊的基準(zhǔn)塊。
與對(duì)象塊具有最小圖像差的塊具有與對(duì)象塊最高的相關(guān)度。例如，定義兩個(gè) 塊的圖像差為兩個(gè)塊的像素一像素差的和或平均值。認(rèn)為具有像素一像素差和(或 平均值)或小于對(duì)象塊的閾值的塊、具有最小差和(或平均值)的塊是基準(zhǔn)塊。
把由估計(jì)器/預(yù)測(cè)器101執(zhí)行的操作稱(chēng)為"P"操作，而把"P"操作產(chǎn)生的幀 稱(chēng)為"H"幀。"H"幀中存在的殘余數(shù)據(jù)反映視頻信號(hào)的高頻分量。把由更新器 102執(zhí)行的操作稱(chēng)為"U"操作，而把"U"操作產(chǎn)生的幀稱(chēng)為"L"幀。":L"幀 是低通子波帶圖像。
圖4的估計(jì)器/預(yù)測(cè)器101和更新器102可在通過(guò)分割一個(gè)幀產(chǎn)生的多個(gè)分片 上同時(shí)和并行地執(zhí)行其操作，而不是以幀為單位執(zhí)行其操作。在下面的實(shí)施例描述 中，術(shù)語(yǔ)"幀"廣義地包括"分片"，假設(shè)用術(shù)語(yǔ)"分片"代替術(shù)語(yǔ)"幀"是技術(shù) 上等同的。
更具體地說(shuō)，估計(jì)器/預(yù)測(cè)器101將每個(gè)輸入視頻幀或以先前等級(jí)獲得的L幀 的每個(gè)奇數(shù)幀分割成一定大小的宏塊。估計(jì)器/預(yù)測(cè)器101隨后以同一時(shí)域分解等 級(jí)在當(dāng)前的奇數(shù)幀或者在當(dāng)前奇數(shù)幀之前和之后的偶數(shù)幀中搜索圖像最確定地類(lèi) 似于每個(gè)分割的宏塊的圖像的塊，并使用最類(lèi)似塊或基準(zhǔn)塊產(chǎn)生每個(gè)分割的宏塊的 預(yù)測(cè)圖像并獲得其運(yùn)動(dòng)矢量。
如圖4所示，EL編碼器100也可包括BL解碼器150。 BL解碼器105從含接 收自BL編碼器150的小屏幕序列的編碼的基層流中取出諸如宏塊模式的編碼信 息，并將編碼的基層流解碼以產(chǎn)生每個(gè)都由一個(gè)或多個(gè)宏塊構(gòu)成的幀。估計(jì)器/預(yù) 測(cè)器101也可根據(jù)基層內(nèi)預(yù)測(cè)方法在基層的一個(gè)幀中搜索宏塊的基準(zhǔn)塊。具體地 說(shuō)，估計(jì)器/預(yù)測(cè)器101在由BL解碼器105重構(gòu)的基層的與含宏塊的幀時(shí)域上重 合的一個(gè)幀中搜索以?xún)?nèi)模式編碼的相應(yīng)塊。術(shù)語(yǔ)"相應(yīng)塊"指位于時(shí)域上重合的基 層幀中并且如果以增強(qiáng)層的屏幕尺寸與基層的屏幕尺寸的比放大基層幀則具有覆 蓋宏塊的面積的塊。
估計(jì)器/預(yù)測(cè)器101通過(guò)對(duì)相應(yīng)塊的內(nèi)編碼的像素值進(jìn)行解碼而重構(gòu)所發(fā)現(xiàn)的 相應(yīng)塊的原始圖像，并隨后對(duì)所發(fā)現(xiàn)的相應(yīng)塊上升采樣從而以增強(qiáng)層屏幕尺寸與基 層屏幕尺寸的比將其放大。估計(jì)器/預(yù)測(cè)器101考慮從下降采樣單元140發(fā)送來(lái)的
相移信息"global—shift一x/y"執(zhí)行該上升采樣以使放大的基層的相應(yīng)塊與增強(qiáng)層的 宏塊同相。
估計(jì)器/預(yù)測(cè)器101參照基層相應(yīng)塊中的相應(yīng)區(qū)對(duì)宏塊進(jìn)行編碼，相應(yīng)塊被放 大以與宏塊同相。這里，術(shù)語(yǔ)"相應(yīng)區(qū)"指與宏塊處于幀中同一相對(duì)位置的相應(yīng)塊 中的部分區(qū)域。
如有必要，估計(jì)器/預(yù)測(cè)器101通過(guò)在改變相應(yīng)塊相位的同時(shí)在宏塊上執(zhí)行運(yùn) 動(dòng)估計(jì)而在基層的放大相應(yīng)塊中搜索與宏塊的相關(guān)度更高的基準(zhǔn)區(qū)，并用搜索到的 基準(zhǔn)區(qū)對(duì)宏塊進(jìn)行編碼。
如果在搜索基準(zhǔn)區(qū)的同時(shí)，放大的相應(yīng)塊的相位進(jìn)一步變化，則估計(jì)器/預(yù)測(cè) 器101將局部偏移標(biāo)志"local—shift—flag"置為1， "local—shift—flag"指示在宏塊 和相應(yīng)上升采樣塊之間是否存在不同于全局相移"global—shift—flag"的相移。另外， 估計(jì)器/預(yù)測(cè)器101將局部偏移標(biāo)志記錄在宏塊的頭部區(qū)域并將宏塊和相應(yīng)塊之間 的局部相移記錄在信息字段"local—shift—x"和"local—shift一y"。局部相移信息可 以是替換信息并將整個(gè)相移信息提供作為全局相移信息的替換或代替。或者，局部 相移信息可以是附加信息，其中附加至相應(yīng)全局相移信息的局部相移信息提供整個(gè) 或全部的相移信息。
估計(jì)器/預(yù)測(cè)器101還將指示已以基層內(nèi)模式對(duì)增強(qiáng)層的宏塊進(jìn)行編碼的信息 插入至宏塊的頭部區(qū)域中以將該情況通知解碼器。估計(jì)器/預(yù)測(cè)器101也可使用在 宏塊之前和之后的其它幀中發(fā)現(xiàn)的基準(zhǔn)塊將層間殘余預(yù)測(cè)方法應(yīng)用于宏塊以使其 包含作為圖像差的數(shù)據(jù)的殘余數(shù)據(jù)。同樣在這種情形下，考慮從下降采樣單元140 傳來(lái)的相移信息"global—shift_x/y"以使基層與增強(qiáng)層同相，估計(jì)器/預(yù)測(cè)器101對(duì) 所編碼的基層的相應(yīng)塊上升采樣以使其包含作為圖像差的數(shù)據(jù)的殘余數(shù)據(jù)。這里， 基層的相應(yīng)塊是已被編碼以使其包含作為圖像差數(shù)據(jù)的殘余數(shù)據(jù)。
估計(jì)器/預(yù)測(cè)器101將指示已根據(jù)層間殘余預(yù)測(cè)方法對(duì)增強(qiáng)層的宏塊進(jìn)行編碼 的信息插入到宏塊的頭部區(qū)以把該情況通知解碼器。
估計(jì)器/預(yù)測(cè)器101對(duì)幀中所有宏塊執(zhí)行上述程序以形成作為幀的預(yù)測(cè)圖像的 H幀。估計(jì)器/預(yù)測(cè)器101對(duì)所有輸入視頻幀或以先前等級(jí)獲得的L幀的所有奇數(shù) 幀執(zhí)行上述程序以形成作為輸入幀的預(yù)測(cè)圖像的H幀。
如上所述，更新器102將由估計(jì)器/預(yù)測(cè)器101產(chǎn)生的H幀中的每個(gè)宏塊的圖 像差添加至具有其基準(zhǔn)塊的L幀，所述基準(zhǔn)塊是輸入視頻幀或以先前等級(jí)獲得的L 幀的偶數(shù)幀。
以有線(xiàn)或無(wú)線(xiàn)方式把以上述方法編碼的數(shù)據(jù)流發(fā)送至解碼裝置或者經(jīng)由記錄 介質(zhì)傳遞。解碼裝置根據(jù)下述方法重構(gòu)原始視頻信號(hào)。
圖5示出根據(jù)本發(fā)明一個(gè)實(shí)施例的、考慮基層和/或增強(qiáng)層中的相移、在根據(jù) 層間預(yù)測(cè)方法編碼的增強(qiáng)層的解碼中用于對(duì)基層上升采樣的方法。
為了對(duì)根據(jù)層間預(yù)測(cè)方法編碼的增強(qiáng)層的宏塊進(jìn)行解碼，通過(guò)上升采樣以增 強(qiáng)層的屏幕尺寸與基層屏幕尺寸的比放大與宏塊對(duì)應(yīng)的基層塊。這種上升采樣是考 慮增強(qiáng)層和/或基層中的相移信息"glob(shift一x/y"而進(jìn)行的，由此補(bǔ)償增強(qiáng)層的 宏塊和基層中被放大的相應(yīng)塊之間的全局相移。
如果在增強(qiáng)層宏塊和基層相應(yīng)塊之間存在不同于全局相移"global一shift一x/y" 的局部相移"local—shift一x/y"，則考慮局部相移"local—shift一x/y"而對(duì)相應(yīng)塊上升 采樣。例如在一個(gè)實(shí)施例中，可用局部相移信息代替全局相移信息，或者在另一實(shí) 施例中與全局相移信息一起使用。
然后，用已被放大以與宏塊同相的相應(yīng)塊重構(gòu)增強(qiáng)層的宏塊的原始圖像。
圖6是用于對(duì)由圖3的裝置編碼的位流進(jìn)行解碼的裝置的方框圖。圖6的解 碼裝置包括多路分解器(或去多路復(fù)用器)200、紋理解碼單元210、運(yùn)動(dòng)解碼單 元220、 EL解碼器230以及BL解碼器240。多路分解器200將接收到的位流分成 壓縮的運(yùn)動(dòng)矢量流和壓縮的宏塊信息流。紋理解碼單元210將壓縮的宏塊信息流重 構(gòu)至其原始的未壓縮狀態(tài)。運(yùn)動(dòng)解碼單元220將壓縮的運(yùn)動(dòng)矢量流重構(gòu)至其原始的 未壓縮狀態(tài)。EL解碼器230根據(jù)特定方案(例如MCTF方案)將未壓縮的宏塊信 息流和未壓縮的運(yùn)動(dòng)矢量流轉(zhuǎn)回到原始視頻信號(hào)。BL解碼器240根據(jù)特定方案(例 如MPEG-4或H.264標(biāo)準(zhǔn))對(duì)基層流進(jìn)行解碼。
EL解碼器230根據(jù)層間預(yù)測(cè)方法使用基層的編碼信息和/或經(jīng)解碼的基層的 幀或宏塊以對(duì)增強(qiáng)層流進(jìn)行解碼。為了實(shí)現(xiàn)這個(gè)目的，EL解碼器230從增強(qiáng)層的 序列頭部區(qū)或分片頭部區(qū)讀全局偏移標(biāo)志"global—shift—flag "和相移信息 "globaLshift一x/y"以確定在增強(qiáng)層和/或基層中是否存在相移并確認(rèn)相移。EL解 碼器230考慮所確認(rèn)的相移對(duì)基層上升采樣以使層間預(yù)測(cè)方法所使用的基層與增 強(qiáng)層同相。
EL解碼器230將輸入流重構(gòu)為原始幀序列。圖7示出根據(jù)MCTF方案實(shí)現(xiàn)的EL解碼器230的主要部件。
圖7的EL解碼器230的諸部件執(zhí)行將時(shí)域分解級(jí)N的H和L幀序列的時(shí)域 組合成為時(shí)域分解級(jí)N—1的L幀序列。圖7的部件包括逆更新器231、逆預(yù)測(cè)器 232、運(yùn)動(dòng)矢量解碼器233以及排列器234。逆更新器231有選擇地將輸入的L幀 的相應(yīng)像素值減去輸入的H幀的像素的差值。逆預(yù)測(cè)器232用H幀和己減去H幀 的圖像差的上述L幀兩者將輸入的H幀重構(gòu)為原始圖像的L幀。運(yùn)動(dòng)矢量解碼器 233將輸入運(yùn)動(dòng)矢量流解碼成H幀中的塊的運(yùn)動(dòng)矢量信息并將運(yùn)動(dòng)矢量信息提供 給每一級(jí)的逆更新器231和逆預(yù)測(cè)器232。排列器234使從逆更新器231輸出的L 幀和由逆預(yù)測(cè)器232完成的L幀進(jìn)行交織，由此產(chǎn)生一正常的L幀序列。
從排列器234輸出的L幀構(gòu)成級(jí)N-l的L幀序列701 。下一級(jí)逆更新器和N-l 級(jí)預(yù)測(cè)器將級(jí)N—l的L幀序列701和輸入的H幀序列702重構(gòu)為L(zhǎng)幀序列。該 解碼處理是在與編碼程序中執(zhí)行的編碼級(jí)數(shù)相同的級(jí)數(shù)上進(jìn)行的，由此重構(gòu)原始視 頻幀序列。
下面將更詳細(xì)地描述級(jí)N上的重構(gòu)(時(shí)域組合)程序，其中將在級(jí)N+1上產(chǎn) 生的級(jí)N的L幀和接收的級(jí)N的H幀重構(gòu)為級(jí)N—l的L幀。
對(duì)于級(jí)N的輸入的L幀，逆更新器231確定級(jí)N的所有相應(yīng)H幀，這些幀的 圖像差是用作為基準(zhǔn)塊的在編碼程序中更新為級(jí)N的輸入L幀的級(jí)N—1的原始L 幀中的塊參照從運(yùn)動(dòng)矢量解碼器233提供的運(yùn)動(dòng)矢量獲得的。逆更新器231隨后從 級(jí)N的輸入L幀中的相應(yīng)塊的像素值減去級(jí)N的相應(yīng)H幀中的諸宏塊的誤差值， 由此重構(gòu)原始L幀。
對(duì)于級(jí)N的當(dāng)前L幀中的塊進(jìn)行該逆更新操作，這些塊已用編碼程序中H幀 中的宏塊誤差值予以更新，由此將級(jí)N的L幀重構(gòu)為級(jí)N—1的L幀。
對(duì)于輸入H幀中的對(duì)象宏塊，逆預(yù)測(cè)器232參照運(yùn)動(dòng)矢量解碼器233提供的 運(yùn)動(dòng)矢量確定從逆更新器231輸出的經(jīng)過(guò)逆更新的L幀中的基準(zhǔn)塊，并將基準(zhǔn)塊 的像素值加上對(duì)象宏塊的像素的差(誤差)值，由此重構(gòu)其原始圖像。
如果在宏塊的頭部區(qū)中包含指示己以基層內(nèi)模式對(duì)H幀中的宏塊進(jìn)行編碼的 信息，則逆預(yù)測(cè)器232用從BL解碼器240提供的基層幀重構(gòu)宏塊的原始圖像。下 面是該流程的詳細(xì)例子。
逆預(yù)測(cè)器232重構(gòu)對(duì)應(yīng)于增強(qiáng)層中宏塊的基層中的內(nèi)編碼塊的原始圖像，并 對(duì)來(lái)自基層的重構(gòu)的相應(yīng)塊上升采樣從而以增強(qiáng)層的屏幕尺寸與基層屏幕尺寸的 比將其放大。逆預(yù)測(cè)器232考慮增強(qiáng)層和/或基層中的相移信息"global一shift一x/y"進(jìn)行上升采樣以使基層中放大的相應(yīng)塊與增強(qiáng)層的宏塊同相。即，如果
"global—shift—flag"指示在基層和增強(qiáng)層之間存在相移(例如等于l)，則逆預(yù)測(cè) 器232在上升采樣的過(guò)程中將來(lái)自基層的相應(yīng)宏塊相移"global—shift—x"和 "global—shift_y"值。逆預(yù)測(cè)器232通過(guò)將基層中已被放大以與宏塊同相的相應(yīng)放 大塊中相應(yīng)區(qū)的像素值加上宏塊諸像素的差值來(lái)重構(gòu)宏塊的原始圖像。這里，術(shù)語(yǔ) "相應(yīng)區(qū)"指幀中與宏塊處于同一相對(duì)位置的相應(yīng)塊中的一部分區(qū)域。
如果局部偏移標(biāo)志"local—shift—flag"指示在宏塊和相應(yīng)塊之間存在不同于全 局相移"global一shift一x/y"的局部相移"local—shift—x/y"，逆預(yù)測(cè)器232考慮局部 相移"local—shift一x/y"(作為代替或附加相位信息)對(duì)相應(yīng)塊上升采樣。宏塊的頭 部區(qū)中可包含局部相移信息。
如果在在宏塊的頭部區(qū)中包含指示已以層間殘余模式對(duì)H幀中的宏塊進(jìn)行編 碼的信息，則逆預(yù)測(cè)器232考慮上面討論的全局相移"global—shift一x/y"對(duì)基層的 相應(yīng)塊上升采樣以使其包含殘余數(shù)據(jù)，從而放大相應(yīng)塊以使其與增強(qiáng)層的宏塊同 相。逆預(yù)測(cè)器232隨后用放大以與宏塊同相的相應(yīng)塊重構(gòu)宏塊的殘余數(shù)據(jù)。
逆預(yù)測(cè)器232參照從運(yùn)動(dòng)矢量解碼器233提供的運(yùn)動(dòng)矢量搜索L幀中含殘余 數(shù)據(jù)的重構(gòu)宏塊的基準(zhǔn)塊，并通過(guò)將基準(zhǔn)塊的像素值加上宏塊的像素差值(即殘余 數(shù)據(jù))重構(gòu)宏塊的原始圖像。
以上面的操作中的相同方式重構(gòu)當(dāng)前H幀中的所有宏塊為其原始圖像，并且 組合重構(gòu)的宏塊以將當(dāng)前的H幀重構(gòu)為L(zhǎng)幀。排列器234輪流地排列由逆運(yùn)側(cè)器 232重構(gòu)的L幀和由逆更新器231更新的L幀，并將如此排列的L幀輸出至下一 級(jí)。
上述解碼方法將MCTF編碼的數(shù)據(jù)流重構(gòu)為完整的視頻幀序列。在上述MCTF 編碼程序中已對(duì)圖像組(GOP)進(jìn)行預(yù)測(cè)和更新操作N次的情形下，如果在MCTF 解碼程序中進(jìn)行N次逆更新和預(yù)測(cè)操作，則獲得具有原始圖像質(zhì)量的視頻幀序列。 然而，如果執(zhí)行逆更新和預(yù)測(cè)操作少于N次，則可獲得具有較低圖像質(zhì)量和較低 位速的視頻幀序列。因此，把解碼裝置設(shè)計(jì)成在與其性能相適應(yīng)的程度下執(zhí)行逆更 新和預(yù)測(cè)操作。
可在移動(dòng)通信終端、媒體播放器等中包含上述解碼裝置。
如上面說(shuō)明得以明了的那樣，根據(jù)本發(fā)明對(duì)視頻信號(hào)進(jìn)行編碼和解碼的方法 通過(guò)防止在根據(jù)層間預(yù)測(cè)方法對(duì)視頻信號(hào)編碼/解碼時(shí)的下降采樣和上升采樣程序 造成的基層和/或增強(qiáng)層中的相移而增加編碼效率。盡管以闡述為目的公開(kāi)了本發(fā)明的示例性實(shí)施例，然而本領(lǐng)域內(nèi)技術(shù)人員可 以理解在不脫離本發(fā)明的范圍和精神的情況下可作出多種修正、替換和添加。
權(quán)利要求
1.一種對(duì)視頻信號(hào)進(jìn)行解碼的方法，包括預(yù)測(cè)當(dāng)前層中一當(dāng)前圖像的至少一部分，所述預(yù)測(cè)是基于基層中一基圖像的至少一部分和所預(yù)測(cè)的當(dāng)前圖像中的采樣的偏移信息。
2. 如權(quán)利要求l所述的方法，其特征在于，所述采樣是亮度采樣。
3. 如權(quán)利要求l所述的方法，其特征在于，所述采樣是色度采樣。
4. 如權(quán)利要求l所述的方法，其特征在于，所述采樣是亮度和色度采樣。
5. 如權(quán)利要求1所述的方法，其特征在于，所述偏移信息是基于所述基圖像的所述部分中的相應(yīng)采樣。
6. 如權(quán)利要求5所述的方法，其特征在于，所述預(yù)測(cè)步驟從所述基層中一分 片的頭部獲得所述偏移信息。
7. 如權(quán)利要求5所述的方法，其特征在于，所述偏移信息是相移信息。
8. 如權(quán)利要求l所述的方法，其特征在于，所述預(yù)測(cè)步驟基于所述基圖像的 上升采樣部分的至少一部分和所述偏移信息來(lái)預(yù)測(cè)所述當(dāng)前圖像的所述部分。
9. 如權(quán)利要求8所述的方法，其特征在于，所述上升采樣是基于所述偏移信 息來(lái)執(zhí)行的。
10. 如權(quán)利要求7所述的方法，其特征在于，所述偏移信息是相移信息。
11. 如權(quán)利要求1所述的方法，其特征在于，所述預(yù)測(cè)步驟從所述基層中一 分片的頭部獲得所述偏移信息。
12. 如權(quán)利要求ll所述的方法，其特征在于，所述預(yù)測(cè)步驟基于所述分片的 頭部中的指示符確定所述偏移信息的存在。
13. 如權(quán)利要求1所述的方法，其特征在于，所述預(yù)測(cè)步驟從所述當(dāng)前層中 的序列級(jí)頭部獲得所述偏移信息。
14. 如權(quán)利要求13所述的方法，其特征在于，所述預(yù)測(cè)步驟基于所述序列級(jí) 頭部中的指示符確定所述偏移信息的存在。
15. 如權(quán)利要求1所述的方法，其特征在于，所述預(yù)測(cè)步驟基于所述基層和 所述當(dāng)前層之一中的指示符確定所述偏移信息的存在。
16. 如權(quán)利要求l所述的方法，其特征在于，所述偏移信息是相移信息。
17. —種對(duì)視頻信號(hào)進(jìn)行編碼的方法，包括基于基層中一基圖像的至少一部分對(duì)當(dāng)前層中一當(dāng)前圖像的至少一部分進(jìn)行 編碼；以及將預(yù)測(cè)的當(dāng)前圖像中的采樣的偏移信息記錄在所編碼的視頻信號(hào)中。
18. —種對(duì)視頻信號(hào)進(jìn)行解碼的裝置，包括預(yù)測(cè)當(dāng)前層中一當(dāng)前圖像的至少一部分的解碼器，所述預(yù)測(cè)是基于基層中一 基圖像的至少一部分和所預(yù)測(cè)的當(dāng)前圖像中的采樣的偏移信息。
19. 一種對(duì)視頻信號(hào)進(jìn)行編碼的裝置，包括基于基層中一基圖像的至少一部分對(duì)當(dāng)前層中一當(dāng)前圖像的至少一部分進(jìn)行 編碼、并將預(yù)測(cè)的當(dāng)前圖像中的采樣的偏移信息記錄在所編碼的視頻信號(hào)中的編碼
全文摘要
在一個(gè)實(shí)施例中，視頻信號(hào)的解碼包括基于基層中的至少一部分基圖像和預(yù)測(cè)的當(dāng)前圖像中的采樣的偏移信息預(yù)測(cè)當(dāng)前層中的至少一部分當(dāng)前圖像。
文檔編號(hào)H04N7/24GK101176346SQ200680016145
公開(kāi)日2008年5月7日 申請(qǐng)日期2006年3月31日 優(yōu)先權(quán)日2005年4月1日
發(fā)明者全柄文, 尹度鉉, 樸志皓, 樸玄旭, 樸勝煜 申請(qǐng)人:Lg電子株式會(huì)社