專利名稱：用于色彩圖像的視頻編碼/解碼裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于色彩圖像的視頻編碼/解碼裝置，特別是，涉及一種 基于色彩圖像的色彩信息和分辨率信息執(zhí)行運(yùn)動(dòng)補(bǔ)償?shù)难b置和方法。
背景技術(shù)：
傳統(tǒng)的視頻壓縮方法將R-G-B圖像格式的圖像轉(zhuǎn)換為適于壓縮的 Y-Cb-Cr圖像格式的圖像，以便獲得高壓縮率。同時(shí)，傳統(tǒng)的視頻壓縮方法將 色度(Cb， Cr)分量大小減少到1/4,并且編碼Cb和Cr分量，以便增加壓 縮效率。但是，傳統(tǒng)的視頻壓縮方法不適于要求高質(zhì)量圖像恢復(fù)的應(yīng)用。這 是因?yàn)镃b和Cr分量的二次抽樣產(chǎn)生能量損失，當(dāng)R-G-B分量轉(zhuǎn)換為Y-Cb-Cr 分量時(shí)產(chǎn)生相應(yīng)的質(zhì)量損失。為了減少這些損失，有必要以與Y分量相同的 分辨率編碼cb和Cr分量。
同時(shí)，為了編碼Y-Cb-Cr分量時(shí)獲得更好的質(zhì)量，有必要通過(guò)直接編碼 R-G-B分量減少圖像的質(zhì)量損失。但是，傳統(tǒng)的視頻壓縮方法使用傳統(tǒng)的 Y-Cb-Cr編碼器編碼R-G-B分量，而不使用R-G-B色彩分量中不同于Y-Cb-Cr 分量的特性。上述傳統(tǒng)的視頻壓縮方法的一個(gè)示例是ISO/IEC MPEG和ITU-T VCEG的聯(lián)合視頻組開(kāi)發(fā)的AVC/H.264標(biāo)準(zhǔn)。
但是，由于R-G-B分量和Y-Cb-Cr分量的圖像特性不同，如果用傳統(tǒng)的 Y-Cb-Cr編碼器編碼R-G-B分量，編碼效率4艮低。例如，Y-Cb-Cr圖像的各個(gè) 分量(Y， Cb， Cr)在相同的區(qū)域內(nèi)不相關(guān)，而R-G-B圖像的各個(gè)分量(R， G, B)則相關(guān)。
同樣，R-G-B圖像的R, G， B分量具有相似的頻率特性，但是，在Y-Cb-Cr 圖像中，由于R-G-B圖像轉(zhuǎn)換為Y-Cb-Cr圖像時(shí)執(zhí)行的處理，作為亮度分量 的Y分量與作為色度分量的Cb和Cr分量頻率特性不同。同樣，傳統(tǒng)的視頻壓縮方法沒(méi)有將R-G-B圖像和Y-Cb-Cr圖像的特性正確反應(yīng)到編碼中。同時(shí)， 傳統(tǒng)的視頻壓縮方法沒(méi)有在編碼時(shí)依照?qǐng)D像大小考慮頻率特性的改變。

發(fā)明內(nèi)容
本發(fā)明提供了一種使用平面間預(yù)測(cè)增強(qiáng)R-G-B圖像的編碼/解碼效率的 視頻編碼/解碼裝置和方法。
本發(fā)明還提供了 一種根據(jù)視頻編碼/解碼的色彩信息和分辨率信息執(zhí)行 有效運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)補(bǔ)償裝置和方法。
本發(fā)明還提供了 一種根據(jù)視頻編碼/解碼的色彩信息和分辨率信息有效 減少塊效率的解塊濾波器和解塊濾波方法。
根據(jù)本發(fā)明的一個(gè)方面，提供了一種視頻編碼裝置，包括第一運(yùn)動(dòng)預(yù) 測(cè)單元，基于輸入圖像的第一運(yùn)動(dòng)預(yù)測(cè)結(jié)果，為輸入圖像產(chǎn)生第一預(yù)測(cè)剩余 (residue)圖像；圖像信息檢測(cè)單元，在R-G-B圖像的色彩分量中設(shè)置參考色 彩分量，確定輸入圖像是Y-Cb-Cr圖像還是R-G-B圖像，并確定輸入圖像的 色彩分量是否為參考色彩分量；和第二運(yùn)動(dòng)預(yù)測(cè)單元，如果輸入圖像是R-G-B 圖像并且如果輸入圖像的色彩分量不是參考色彩分量，則基于參考色彩分量， 對(duì)第 一預(yù)測(cè)剩余圖像執(zhí)行運(yùn)動(dòng)預(yù)測(cè)并且產(chǎn)生第二預(yù)測(cè)剩余圖像，生成第二預(yù) 測(cè)剩余圖像。
根據(jù)本發(fā)明的另 一個(gè)方面，提供了 一種由編碼器執(zhí)行的視頻編碼方法， 包括基于輸入圖像的第一運(yùn)動(dòng)預(yù)測(cè)結(jié)果，為輸入圖像產(chǎn)生第一預(yù)測(cè)剩余圖 像；在R-G-B圖像的色彩分量中設(shè)置參考色彩分量，確定輸入圖像是Y-Cb-Cr 圖像還是R-G-B圖像，確定輸入圖像的色彩分量是否為參考色彩分量；如果 輸入圖像是R-G-B圖像并且如果輸入圖像的色彩分量不是參考色彩分量，基 于參考色彩分量，對(duì)第一預(yù)測(cè)剩余圖像執(zhí)行運(yùn)動(dòng)預(yù)測(cè)并且產(chǎn)生第二預(yù)測(cè)剩余 圖像。
根據(jù)本發(fā)明的另一個(gè)方面，提供了一種視頻解碼裝置，包括第一恢復(fù) 單元，對(duì)編碼圖像執(zhí)行預(yù)定操作，并且產(chǎn)生編碼圖像的第一預(yù)測(cè)剩余圖像； 圖像信息檢測(cè)單元，確定編碼圖像是R-G-B圖像還是Y-Cb-Cr圖像，并且確 定編碼圖像的色彩分量是否為R-G-B圖像的參考色彩分量；第二恢復(fù)單元， 如果編碼圖像是R-G-B圖像并且如果編碼圖像的色彩分量不是參考色彩分 量，基于參考色彩分量產(chǎn)生編碼圖像的第二預(yù)測(cè)剩余圖像；解塊濾波器單元，減少影響基于第一預(yù)測(cè)剩余圖像和第二預(yù)測(cè)剩余圖像恢復(fù)的編碼圖像的解碼 圖像的塊影響。
根據(jù)本發(fā)明的另一個(gè)方面，提供了一種視頻解碼方法，包括對(duì)編碼圖 像執(zhí)行預(yù)定操作，并且產(chǎn)生編碼圖像的第一預(yù)測(cè)剩余圖像；確定編碼圖像是 R-G-B圖像還是Y-Cb-Cr圖像，并且確定編碼圖像的色彩分量是否為R-G-B 圖像的參考色彩分量；如果編碼圖像是R-G-B圖像并且如果編碼圖像的色彩 分量不是參考色彩分量，基于參考色彩分量產(chǎn)生編碼圖像的第二預(yù)測(cè)剩余圖 像；減少影響基于第一預(yù)測(cè)剩余圖像和第二預(yù)測(cè)剩余圖像恢復(fù)的編碼圖像的 解碼圖像的塊影響。
根據(jù)本發(fā)明的另一個(gè)方面，提供了一種包含在解碼器或編碼器中的運(yùn)動(dòng) 補(bǔ)償裝置，包括圖像信息檢測(cè)器，檢測(cè)輸入圖像的色彩信息；濾波器抽頭 選擇器，基于輸入圖像的色彩信息，選擇用于補(bǔ)償?shù)臑V波器抽頭的長(zhǎng)度；內(nèi) 插器，使用具有所選長(zhǎng)度的濾波器抽頭內(nèi)插輸入圖像；和運(yùn)動(dòng)補(bǔ)償器，為內(nèi) 插結(jié)果執(zhí)行運(yùn)動(dòng)補(bǔ)償。
根據(jù)本發(fā)明的另一個(gè)方面，提供了一種由編碼器或解碼器執(zhí)行的運(yùn)動(dòng)補(bǔ) 償方法，包括檢測(cè)輸入圖像的色彩信息；基于輸入圖像的色彩信息，選擇 用于內(nèi)插的濾波器抽頭的長(zhǎng)度；使用具有所選長(zhǎng)度的濾波器抽頭內(nèi)插輸入圖 像；為內(nèi)插結(jié)果執(zhí)行運(yùn)動(dòng)補(bǔ)償。
根據(jù)本發(fā)明的另 一個(gè)方面，提供了 一種包含在解碼器或編碼器中的運(yùn)動(dòng) 補(bǔ)償裝置，包括圖像信息檢測(cè)器，檢測(cè)輸入圖像的分辨率和色彩信息；濾 波器抽頭選擇器，基于輸入圖像的分辨率信息和色彩信息，選擇用于內(nèi)插的 濾波器抽頭的長(zhǎng)度；內(nèi)插器，使用具有所選長(zhǎng)度的濾波器抽頭內(nèi)插輸入圖像； 運(yùn)動(dòng)補(bǔ)償器，為內(nèi)插結(jié)果執(zhí)行運(yùn)動(dòng)補(bǔ)償。
根據(jù)本發(fā)明的另一個(gè)方面，提供了一種由解碼器或編碼器執(zhí)行的運(yùn)動(dòng)補(bǔ) 償方法，包括檢測(cè)輸入圖像的分辨率信息和色彩信息；基于輸入圖像的分 辨率信息和色彩信息，選擇用于內(nèi)插的濾波器抽頭的長(zhǎng)度；使用具有所選長(zhǎng) 度的濾波器抽頭內(nèi)插輸入圖像；為內(nèi)插結(jié)果執(zhí)行運(yùn)動(dòng)補(bǔ)償。
根據(jù)本發(fā)明的另一個(gè)方面，提供了 一種包含在視頻解碼器或視頻編碼器 中的解塊濾波器裝置，包括圖像信息檢測(cè)器，檢測(cè)圖像的色彩信息；解塊 濾波器選擇器，基于色彩信息選擇用于減少該圖像的塊影響的解塊濾波器抽 頭的長(zhǎng)度；濾波單元，使用具有所選抽頭長(zhǎng)度的解塊濾波器濾波該圖像。
6根據(jù)本發(fā)明的另 一個(gè)方面，提供了 一種由解碼器或編碼器執(zhí)行的解塊濾
波器選擇方法，包括檢測(cè)圖像的色彩信息；基于色彩信息選擇用于減少圖 像的塊影響的解塊濾波器的長(zhǎng)度；使用具有所選長(zhǎng)度的解塊濾波器濾波圖像。


通過(guò)參考附圖詳細(xì)描述實(shí)施例，本發(fā)明的上述和其他特征和優(yōu)點(diǎn)將更清 楚，附圖為
圖1A和1B是描述根據(jù)本發(fā)明實(shí)施例的視頻編碼裝置的結(jié)構(gòu)的方塊圖； 圖2是根據(jù)本發(fā)明一個(gè)實(shí)施例的視頻編碼方法的流程圖； 圖3A是根據(jù)本發(fā)明一個(gè)實(shí)施例的視頻解碼裝置的結(jié)構(gòu)的方塊圖； 圖3B是根據(jù)本發(fā)明一個(gè)實(shí)施例的視頻解碼方法的流程圖； 圖4是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于圖像的色彩信息補(bǔ)償運(yùn)動(dòng)的運(yùn)動(dòng)補(bǔ) 償裝置的方塊圖5是描述根據(jù)本發(fā)明一個(gè)實(shí)施例，依照?qǐng)D像的色彩信息執(zhí)行運(yùn)動(dòng)補(bǔ)償 的方法的流程圖6是根據(jù)本發(fā)明另一個(gè)實(shí)施例、基于圖像的色彩信息和分辨率信息補(bǔ) 償運(yùn)動(dòng)的運(yùn)動(dòng)補(bǔ)償裝置的方塊圖7是描述根據(jù)本發(fā)明另一個(gè)實(shí)施例、基于圖像的色彩信息和分辨率信 息#卜償運(yùn)動(dòng)的方法的流程圖8是解釋使用長(zhǎng)標(biāo)記(long tab )濾波器的內(nèi)插(interpolation)方法的圖9是解釋使用短標(biāo)記(shorttab)濾波器的內(nèi)插方法的視圖IO是描述解塊濾波器單元的視圖ll是描述根據(jù)本發(fā)明一個(gè)實(shí)施例、根據(jù)圖像的色彩信息選擇解塊濾波
器的方法的流程圖12A和12B描述了將纟皮輸入到解塊濾波器的宏塊的垂直和水平邊界；
圖13A和13B描述了 4x4塊的垂直和水平邊界的圖像取樣；
圖14A和14B是描述根據(jù)本發(fā)明一個(gè)實(shí)施例的平面間預(yù)測(cè)編碼方法的仿
真結(jié)果的圖表；和
圖15A和15B是描述使用根據(jù)本發(fā)明的運(yùn)動(dòng)補(bǔ)償裝置執(zhí)行編碼時(shí)的仿真
結(jié)果的圖表。
具體實(shí)施例方式
在下文中，將參考附圖詳細(xì)描述本發(fā)明的實(shí)施例。所有圖中相同的附圖 標(biāo)記表示相同的分量。
圖1A是根據(jù)本發(fā)明一個(gè)實(shí)施例的視頻編碼裝置的結(jié)構(gòu)的方塊圖。
參考圖1A,本發(fā)明一個(gè)實(shí)施例的視頻編碼裝置包括第一運(yùn)動(dòng)預(yù)測(cè)單元 100，圖像信息才全測(cè)單元110,第二運(yùn)動(dòng)預(yù)測(cè)單元120，和編碼單元130。第 一運(yùn)動(dòng)預(yù)測(cè)單元100包括平面間預(yù)測(cè)器102，平面內(nèi)預(yù)測(cè)器104，和預(yù)測(cè)剩 余計(jì)算器106。
第一運(yùn)動(dòng)預(yù)測(cè)單元100的平面間預(yù)測(cè)器102和平面內(nèi)預(yù)測(cè)器104基于輸 入圖像的時(shí)間和空間相鄰圖像，執(zhí)行輸入圖像的運(yùn)動(dòng)預(yù)測(cè)。平面間預(yù)測(cè)器102 采用與輸入圖像時(shí)間相鄰的先前恢復(fù)的圖像，執(zhí)行輸入圖像的運(yùn)動(dòng)預(yù)測(cè)。平 面內(nèi)預(yù)測(cè)器104利用與輸入圖像空間相鄰的輸入圖像的編碼單元塊，執(zhí)行輸 入圖像的運(yùn)動(dòng)預(yù)測(cè)。通常，由于初始輸入圖像沒(méi)有先前恢復(fù)的圖像，平面內(nèi) 預(yù)測(cè)器104對(duì)初始輸入圖像執(zhí)行運(yùn)動(dòng)預(yù)測(cè)，平面間預(yù)測(cè)器102為隨后的輸入 圖像執(zhí)行運(yùn)動(dòng)預(yù)測(cè)。預(yù)測(cè)剩余計(jì)算器106利用輸入圖像和平面間預(yù)測(cè)器102 或平面內(nèi)預(yù)測(cè)器104的運(yùn)動(dòng)預(yù)測(cè)結(jié)果之間的差值，產(chǎn)生第一預(yù)測(cè)剩余圖像。
同樣的，第一運(yùn)動(dòng)預(yù)測(cè)單元IOO根據(jù)輸入圖像的色彩信息和分辨率信息，
詳纟田描述。
圖像信息檢測(cè)單元IIO確定輸入圖像是R-G-B圖像還是Y-Cb-Cr圖像。 同樣的，圖像信息檢測(cè)單元110感覺(jué)輸入圖像的色彩分量。也就是說(shuō)，圖像 信息檢測(cè)單元110確定輸入圖像的色彩分量是R-G-B圖像的R、 G、或B分 量，還是Y-Cb-Cr圖像的Y (亮度)、Cb、或Cr (色度)分量。同樣的，圖 像信息檢測(cè)單元IIO設(shè)置R-G-B圖像的色彩分量中的特定色彩分量為參考色 彩分量。也就是說(shuō)，R、 G、和B分量中的一個(gè)可被設(shè)置為參考色彩分量。在 下文中，假設(shè)G分量被設(shè)置為參考色彩分量。
如果輸入圖像的色彩分量是R-G-B圖像的參考色彩分量，第二運(yùn)動(dòng)預(yù)測(cè) 單元120基于該參考色彩分量，對(duì)從第一運(yùn)動(dòng)預(yù)測(cè)單元IOO輸出的第一預(yù)測(cè) 剩余圖像執(zhí)行運(yùn)動(dòng)預(yù)測(cè)，并產(chǎn)生第二預(yù)測(cè)剩余圖像。在當(dāng)前輸入圖像被接收 之前，第二預(yù)測(cè)單元120使用的參考色彩分量被接收、編碼和解碼。更具體 的，第二運(yùn)動(dòng)預(yù)測(cè)單元120基于已編碼和解碼過(guò)的參考色彩分量的預(yù)測(cè)剩余圖像，執(zhí)行運(yùn)動(dòng)預(yù)測(cè)。
例如，如果參考色彩分量是G分量，并且輸入圖像的色彩分量是B分量。 第一運(yùn)動(dòng)預(yù)測(cè)單元100基于輸入圖像的運(yùn)動(dòng)預(yù)測(cè)結(jié)果，為B和G分量產(chǎn)生第 一預(yù)測(cè)剩余。同樣，圖像信息檢測(cè)單元110確定輸入圖像是R-G-B圖像，并 且輸入圖像的色彩分量是與參考色彩分量(G分量)不同的色彩分量(例如， B分量)。第二運(yùn)動(dòng)預(yù)測(cè)單元120基于已編碼和解碼過(guò)的參考色彩分量(G分 量)的第一編碼預(yù)測(cè)剩余圖像，對(duì)輸入圖像(B分量)的第一預(yù)測(cè)剩余圖像 執(zhí)行平面間預(yù)測(cè)，產(chǎn)生第二預(yù)測(cè)剩余圖像。也就是說(shuō)，具有B分量的輸入圖 像被第一運(yùn)動(dòng)預(yù)測(cè)單元100和第二運(yùn)動(dòng)預(yù)測(cè)單元120預(yù)測(cè)兩次。
編碼單元130編碼第一運(yùn)動(dòng)預(yù)測(cè)單元100產(chǎn)生的第一預(yù)測(cè)剩余圖像和第 二運(yùn)動(dòng)預(yù)測(cè)單元120產(chǎn)生的第二預(yù)測(cè)剩余圖像，產(chǎn)生比特流。更具體的，編 碼單元130執(zhí)行預(yù)測(cè)剩余圖像的離散余弦變換(DCT )或者離散整數(shù)變換132, 執(zhí)行變換值的量化和熵編碼，產(chǎn)生編碼圖像(比特流)。
由于Y-Cb-Cr圖像通過(guò)色彩座標(biāo)轉(zhuǎn)換方法從R-G-B圖像轉(zhuǎn)換得到， Y-Cb-Cr圖像和R-G-B圖像有不同的編碼特性。也就是說(shuō)，Y-Cb-Cr圖像的各 個(gè)Y、 Cb、 Cr分量在相同的空間位置相互之間不相關(guān)，但是R-G-B圖像的各 個(gè)分量相互之間相關(guān)。因此，本發(fā)明的視頻編碼裝置編碼時(shí)，根據(jù)輸入圖像 是R-G-B圖像還是Y-Cb-Cr圖像，使用不同的預(yù)測(cè)方法。
因此，本發(fā)明的視頻編碼裝置將R-G-B圖像的一個(gè)色彩分量設(shè)置為參考 色彩分量，用傳統(tǒng)編碼方法編碼參考色彩分量。同樣，視頻編碼裝置利用空 間相鄰像素或時(shí)間相鄰像素，預(yù)測(cè)R-G-B圖像的參考色彩分量之外的剩余兩 種色彩分量，并且基于參考色彩分量對(duì)預(yù)測(cè)結(jié)果進(jìn)行再次預(yù)測(cè)。
圖1B是根據(jù)本發(fā)明另 一個(gè)實(shí)施例的視頻編碼裝置的結(jié)構(gòu)的方塊圖。
參考圖1B，本發(fā)明的視頻編碼裝置包括第一運(yùn)動(dòng)預(yù)測(cè)單元IOO，圖像 信息檢測(cè)單元110,第二運(yùn)動(dòng)預(yù)測(cè)單元120,編碼單元130,第一恢復(fù)單元140, 第二恢復(fù)單元150，和解塊濾波器單元160。第一運(yùn)動(dòng)預(yù)測(cè)單元100包括平 面間預(yù)測(cè)器IOI，平面內(nèi)預(yù)測(cè)器104，預(yù)測(cè)剩余計(jì)算器107。
輸入圖像(F(n))170是Y-Cb-Cr圖像或者R-G-B圖像。輸入圖像170被本 發(fā)明的視頻編碼裝置進(jìn)行逐塊處理。第一運(yùn)動(dòng)預(yù)測(cè)單元100包括平面間預(yù)測(cè) 器101和平面內(nèi)預(yù)測(cè)器104，上述平面間預(yù)測(cè)器101具有運(yùn)動(dòng)估計(jì)器(ME) 102和運(yùn)動(dòng)補(bǔ)償器(MC) 103,用于基于先前恢復(fù)的圖像(Fr(n-l))172估計(jì)和
9預(yù)測(cè)運(yùn)動(dòng)，來(lái)增強(qiáng)編碼效率，上述平面內(nèi)預(yù)測(cè)器104具有空間估計(jì)器(SE) 105和空間預(yù)測(cè)器(SP) 106，用于基于空間相鄰塊估計(jì)和預(yù)測(cè)運(yùn)動(dòng)。
根據(jù)Y-Cb-Cr (或者Y-U-V)圖像和R-G-B圖像的各個(gè)色彩分量改變運(yùn) 動(dòng)補(bǔ)償?shù)膬?nèi)插方法。首先，預(yù)測(cè)剩余計(jì)算器107基于輸入圖像170和平面間 預(yù)測(cè)器101或者平面內(nèi)預(yù)測(cè)器104獲得的運(yùn)動(dòng)預(yù)測(cè)結(jié)果，獲得編碼預(yù)測(cè)剩余 圖像AF(n)。如果輸入圖像170是Y-Cb-Cr圖像，預(yù)測(cè)剩余計(jì)算器107使用預(yù) 測(cè)剩余圖像AF(n)來(lái)獲得預(yù)測(cè)剩余AY(n)、 AU(n)和AV(n)。如果輸入圖像170 是R-G-B圖像，預(yù)測(cè)剩余計(jì)算器107使用預(yù)測(cè)剩余圖像AF(n)來(lái)獲得預(yù)測(cè)剩 余AR(n)、 AG(n)和AB(n)。
編碼單元130對(duì)Y-Cb-Cr圖像的預(yù)測(cè)剩余AY(n)、 MJ(n)、 AV(n)或者R-G-B 圖像的預(yù)測(cè)剩余AG(n)執(zhí)行DCT (或者離散整數(shù)變換)、量化和熵編碼，從而 壓縮預(yù)測(cè)剩余。
如果輸入圖像170是R-G-B圖像，第二運(yùn)動(dòng)預(yù)測(cè)單元120的預(yù)測(cè)剩余預(yù) 測(cè)器(RP ) 122利用恢復(fù)的G分量的預(yù)測(cè)剩余AGr(n)124，執(zhí)行R和B分量 的預(yù)測(cè)剩余AB(n)和AR(n)的平面間預(yù)測(cè)。
同樣，編碼單元130對(duì)通過(guò)平面間預(yù)測(cè)獲得的預(yù)測(cè)剩余圖像AB，和AR，(n) 執(zhí)行DCT (或者離散整數(shù)變換)、量化和熵編碼，從而壓縮預(yù)測(cè)剩余圖像。 DCT由ISO/正C MPEG-4標(biāo)準(zhǔn)的第二部分定義，離散整數(shù)變換由ISO/IEC MPEG和ITU-T VCEG的聯(lián)合視頻組開(kāi)發(fā)的AVC/H.264標(biāo)準(zhǔn)定義。
第一恢復(fù)單元140對(duì)由編碼單元130變換和量化的圖像(將被恢復(fù))執(zhí) 行逆量化，以便圖像可被用于使用空間相鄰塊或者時(shí)間隨后圖像的預(yù)測(cè)，隨 后對(duì)圖像執(zhí)行反離散余弦變換(IDCT)，因此產(chǎn)生圖像的各個(gè)色彩分量的預(yù) 測(cè)剩余圖像。
如果將被恢復(fù)的圖像是Y-Cb-Cr圖像，第一恢復(fù)單元140獲得恢復(fù)的預(yù) 測(cè)剩余圖像AYr(n)、 AUr(n)和AVr(n)。同樣的，如果將被恢復(fù)的圖像是R-G-B 圖像，第一恢復(fù)單元140獲得恢復(fù)的預(yù)測(cè)剩余圖像AGr(n)、 AB，r(n)和AR，r(n)。 預(yù)測(cè)剩余圖像AGr(n)存儲(chǔ)在緩沖器124中，以便由第二運(yùn)動(dòng)預(yù)測(cè)單元120進(jìn) 4亍平面間予貞測(cè)。
如果將被恢復(fù)的圖像的色彩分量是R和B分量，第二恢復(fù)單元150利用 G分量的恢復(fù)的預(yù)測(cè)剩余圖像AGr(n)，獲得R和B分量的恢復(fù)的預(yù)測(cè)剩余圖 像ABr(n)和ARr(n)。 Y-Cb-Cr圖像的恢復(fù)的預(yù)測(cè)剩余圖像AYr(n)、 AUr(n)和AVr(n)或者R-G-B圖像的恢復(fù)的預(yù)測(cè)剩余圖像AGr(n)和ABr(n)作為輸入Fr(n) 輸入到解塊濾波器單元160。
解塊濾波器(環(huán)路濾波器)單元160將輸入Fr(n)加到第一運(yùn)動(dòng)預(yù)測(cè)單元 IOO產(chǎn)生的平面間或平面內(nèi)預(yù)測(cè)結(jié)果，濾波相加后的結(jié)果，因此減少塊影響。 本發(fā)明的解塊濾波器單元160 4艮據(jù)Y-Cb-Cr (或者Y-U-V )圖像和R-G-B圖 像的各個(gè)分量，在塊邊界區(qū)域使用不同的濾波器抽頭長(zhǎng)度。將在下文中參考 圖10和11詳細(xì)描述。
圖2是描述根據(jù)本發(fā)明一個(gè)實(shí)施例的視頻編碼方法的流程圖。
參考圖1A和2，在步驟S200,第一運(yùn)動(dòng)預(yù)測(cè)單元100對(duì)輸入圖^象執(zhí)行 時(shí)間/空間預(yù)測(cè)(平面間預(yù)測(cè)/平面內(nèi)預(yù)測(cè))。在步驟S210，圖像信息檢測(cè)單元 110設(shè)置G分量為R-G-B圖像的參考色彩分量，確定輸入圖像是否為R-G-B 圖像。在步驟S220,如果輸入圖像是R-G-B圖像，圖像信息才企測(cè)單元IIO確 定輸入圖像的色彩分量是否為參考色彩分量G分量。如果輸入圖像的色彩分 量是R或者B分量，第二運(yùn)動(dòng)預(yù)測(cè)單元120使用在步驟S306恢復(fù)的G分量 的預(yù)測(cè)剩余圖像，對(duì)各個(gè)分量執(zhí)行平面間預(yù)測(cè)。換句話說(shuō)，本發(fā)明的視頻編 碼方法使用第一運(yùn)動(dòng)預(yù)測(cè)單元100，對(duì)除參考色彩分量之外的不同色彩分量 執(zhí)行運(yùn)動(dòng)預(yù)測(cè)，接著基于該參考色彩分量，對(duì)不同色彩分量執(zhí)行運(yùn)動(dòng)預(yù)測(cè)。 由第一運(yùn)動(dòng)預(yù)測(cè)單元100或者第二運(yùn)動(dòng)預(yù)測(cè)單元110獲得的預(yù)測(cè)剩余圖像通 過(guò)DCT (或者離散整數(shù)變換)、量化和熵編碼進(jìn)行壓縮。
在下文中，將詳細(xì)描述應(yīng)用于R-G-B圖像的除參考色彩分量之外的R和 B分量的平面內(nèi)預(yù)測(cè)。首先，使用輸入圖像對(duì)具有G分量的輸入圖像執(zhí)行運(yùn) 動(dòng)預(yù)測(cè)，并從運(yùn)動(dòng)預(yù)測(cè)結(jié)果和輸入圖像之間的差值獲得G分量的預(yù)測(cè)剩余圖 像AG。該預(yù)測(cè)剩余圖像AG可用等式1表示。
△G=G-Gp ...... ( 1 )
其中，Gp是使用與G分量空間相鄰的G分量圖像或者與G分量時(shí)間相 鄰的G分量圖像的預(yù)測(cè)值。預(yù)測(cè)剩余圖像事實(shí)上經(jīng)歷了熵編碼。
與Y、 Cb和Cr分量相比，G、 R和B分量之間的相關(guān)性仍然很大。為了 使用G分量和R、 B分量之間的相似性，R和B分量與G分量一樣被時(shí)間和 空間預(yù)測(cè)。因此，預(yù)測(cè)剩余圖像AR和AB通過(guò)下面的等式獲得。
AR=R-Rp ...... (2)
△B=B-Bp ...... (3)其中，Rp和Bp是使用R和B分量的空間或時(shí)間相鄰圖像預(yù)測(cè)的R和B 分量的預(yù)測(cè)剩余值。預(yù)測(cè)剩余值減去G分量的編碼和解碼的預(yù)測(cè)剩余圖像的 線性變換值，因此R和B分量的平面間預(yù)測(cè)剩余圖像AR，和AG，通過(guò)下面的 等式4和5獲得。
AR，=AR-f(AGr)=AR-(a.AGr+b) ...... (4)
△B，=AB-f(AGr)=AB-(c.AGr+d) ...... (5)
與R和B分量的時(shí)間/空間預(yù)測(cè)剩余AR和AB相比，這些值編碼的數(shù)據(jù) 量很小，因此編碼效率可被增強(qiáng)。這是因?yàn)槔妙A(yù)測(cè)剩余圖像AG、 AR和AB 之間的相關(guān)性很大的事實(shí)，通過(guò)線性函數(shù)表示預(yù)測(cè)剩余AG和AR之間的關(guān)系 以及預(yù)測(cè)剩余AG和AB之間的關(guān)系，預(yù)測(cè)剩余圖像AR和AB可近似于AG 的函數(shù)。在下文中，當(dāng)使用G分量的預(yù)測(cè)剩余預(yù)測(cè)R分量的預(yù)測(cè)剩余時(shí)，值 a和b (等式6和7 )是近似線性函數(shù)的灰度(gradation)和偏差，當(dāng)使用G分 量的預(yù)測(cè)剩余預(yù)測(cè)B分量的預(yù)測(cè)剩余時(shí)，值c和d (等式8和9 )是近似線性
函數(shù)的灰度和偏差。
a=cov(AG,AR)/a2AG ...... (6)
b=E(AR)-a-E(AG) ...... (7)
c=cov(AG，AB)/CT2AG ...... (8)
d= E(AB)-c'E(AG) ...... (9)
其中，cov(.)是協(xié)方差，E(.)是值的平均，？是方差。
圖3A是描述根據(jù)本發(fā)明 一個(gè)實(shí)施例的視頻解碼裝置的結(jié)構(gòu)的方塊圖。
參考圖3A，本發(fā)明一個(gè)實(shí)施例的視頻解碼裝置包括第一恢復(fù)單元300,
圖像信息檢測(cè)器310,第二恢復(fù)單元320，運(yùn)動(dòng)預(yù)測(cè)單元330，解塊(deblock)
濾波器340。
本發(fā)明的視頻解碼裝置從壓縮比特流(也就是編碼的圖像)恢復(fù)圖像。 第一恢復(fù)單元300執(zhí)行壓縮比特流(數(shù)據(jù))的熵解碼302、逆量化304、和反 離散整數(shù)變換306，并且如果壓縮比特流是Y-Cb-Cr圖像，則獲得Y-Cb-Cr 圖像的各個(gè)分量的恢復(fù)的預(yù)測(cè)剩余圖像AYr(n)、 AUr(n)和AVr(n)。同時(shí)，如 果壓縮比特流是R-G-B圖像，第一恢復(fù)單元300獲得恢復(fù)的預(yù)測(cè)剩余圖像 AGr(n)、 AB，r(n)和AR，r(n)。
圖像信息檢測(cè)器310確定壓縮比特流是Y-Cb-Cr圖像還是R-G-B圖像， 確定壓縮比特流的色彩分量是否為R-G-B圖像的參考色彩分量。在下文中，假設(shè)G分量被設(shè)為參考色彩分量。
如果壓縮比特流是Y-Cb-Cr圖像或者是R-G-B圖像的參考色彩分量，第 一恢復(fù)單元300恢復(fù)的預(yù)測(cè)剩余圖像是將被輸入到運(yùn)動(dòng)預(yù)測(cè)單元330的預(yù)測(cè) 剩余圖像AFr(n)352。
如果壓縮比特流是R-G-B圖像的B或者R分量(也就是除參考色彩分量 之外的不同分量)，第二恢復(fù)單元320存儲(chǔ)G分量的預(yù)測(cè)剩余圖像AGr(n), 用于平面間預(yù)測(cè)，以便恢復(fù)R和B分量的預(yù)測(cè)剩余圖像。
同時(shí)，如果比特流用^f見(jiàn)頻編碼器的平面間預(yù)測(cè)編碼(圖1A和1B),第二 恢復(fù)單元320將由運(yùn)動(dòng)預(yù)測(cè)單元330的MC (運(yùn)動(dòng)比較器)332獲得的先前圖 像Fr(n-l)的平面間預(yù)測(cè)值與由第一恢復(fù)單元300和第二恢復(fù)單元320獲得的 預(yù)測(cè)剩余圖像相加，并獲得R-G-B或Y-Cb-Cr圖像的各個(gè)分量的恢復(fù)值。如 果比特流用平面內(nèi)預(yù)測(cè)編碼，第二恢復(fù)單元320將由運(yùn)動(dòng)預(yù)測(cè)器330的SP(空 間預(yù)測(cè)器)334獲得的平面內(nèi)預(yù)測(cè)值與第一恢復(fù)單元330和第二恢復(fù)單元330 獲得的預(yù)測(cè)剩余圖像相加，并獲得R-G-B或Y-Cb-Cr圖像的各個(gè)分量的恢復(fù) 值。其中，根據(jù)Y-Cb-Cr (或者Y-U-V )圖像和R-G-B圖像的各個(gè)分量，對(duì) 運(yùn)動(dòng)補(bǔ)償使用不同的內(nèi)插方法來(lái)執(zhí)行運(yùn)動(dòng)預(yù)測(cè)單元330的平面間預(yù)測(cè)。這將 在下文中參考圖4到9詳細(xì)描述。第二恢復(fù)單元320恢復(fù)的值傳送到解塊濾 波器340來(lái)減少塊影響，并作為各個(gè)色彩分量的恢復(fù)的圖像Fr(n) 352輸出。
根據(jù)Y-Cb-Cr (或者Y-U-V)圖像和R-G-B圖像的各個(gè)分量，解塊濾波
這將參考圖10和11描述。
圖3B是描述^f艮據(jù)本發(fā)明一個(gè)實(shí)施例的^L頻解碼方法的流程圖。 參考圖3A和3B,在步驟S350,第一恢復(fù)單元300 乂人比特流產(chǎn)生第一預(yù)
測(cè)剩余圖像。同樣，在步驟S355,圖像信息檢測(cè)器310確定比特流是Y-Cb-Cr
圖像還是R-G-B圖像，確定比特流的色彩分量是否為R-G-B圖像的參考色彩分量。
在步驟S360，如果比特流是R-G-B圖像，并且比特流的色彩分量不是 R-G-B圖像的參考色彩分量，則第二恢復(fù)單元320預(yù)測(cè)第一預(yù)測(cè)剩余圖像， 并產(chǎn)生第二預(yù)測(cè)剩余圖像，該第一預(yù)測(cè)剩余圖像由第一恢復(fù)單元300使用參
考色彩分量的第 一預(yù)測(cè)剩余圖像獲得。
在步驟S365,第二恢復(fù)單元320將第一和第二預(yù)測(cè)剩余圖像與由運(yùn)動(dòng)預(yù)測(cè)器330獲得的先前圖像的運(yùn)動(dòng)預(yù)測(cè)結(jié)果相加，獲得恢復(fù)的圖像。在步驟
S370，解塊濾波器340減少恢復(fù)的圖像的塊影響，獲得最終恢復(fù)的圖像Fr(n) 352。
圖4是#>據(jù)本發(fā)明一個(gè)實(shí)施例的運(yùn)動(dòng)補(bǔ)償裝置的結(jié)構(gòu)的方塊圖。
參考圖4，本發(fā)明的運(yùn)動(dòng)補(bǔ)償裝置103或者332包括圖像信息檢測(cè)器 (未示出)，濾波器抽頭選擇器400，內(nèi)插器410和420,和運(yùn)動(dòng)補(bǔ)償器430。
R-G-B圖像的R、 G和B分量具有相似的頻率特性，但是在Y-Cb-Cr圖 像中，作為亮度分量的Y分量與作為色度分量的Cb和Cr分量頻率特性不同。 同時(shí)，與亮度分量相比，Y-Cb-Cr圖像的色度分量具有很多低頻分量和相互之 間有很大的相關(guān)性。圖4是才艮據(jù)圖像的色彩分量使用不同的預(yù)測(cè)方法的運(yùn)動(dòng) 補(bǔ)償裝置的方塊圖。
圖像信息檢測(cè)器(未示出)確定輸入圖像是Y-Cb-Cr圖像還是R-G-B圖 像，并且確定輸入圖像的色彩分量是否為R-G-B圖像的參考色彩分量。通常， R-G-B圖像的參考色彩分量設(shè)為G分量。
濾波器抽頭選擇器400根據(jù)從圖像信息檢測(cè)器(未示出)接收的輸入圖 像的色彩分量信息402,選擇長(zhǎng)抽頭濾波內(nèi)插器410或者短抽頭濾波內(nèi)插器 420。也就是說(shuō)，濾波器抽頭選擇器400根據(jù)輸入圖像的各個(gè)色彩分量選擇濾 波器抽頭，用于最佳運(yùn)動(dòng)預(yù)測(cè)。在本公開(kāi)文本中，長(zhǎng)抽頭濾波器可以是6抽 頭濾波器，短抽頭濾波器可以是2抽頭濾波器。
例如，如果輸入圖像是Y-Cb-Cr圖像或者輸入圖像的色彩分量不是R-G-B 圖像的參考色彩分量，濾波器抽頭選擇器400選擇6抽頭濾波內(nèi)插器，如果 輸入圖像的色彩分量是R-G-B圖像的參考色彩分量，選擇2抽頭濾波內(nèi)插器。
濾波器抽頭選擇器400選擇的內(nèi)插器410或者420內(nèi)插輸入圖像來(lái)執(zhí)行 輸入圖像的運(yùn)動(dòng)補(bǔ)償。此時(shí)，每個(gè)內(nèi)插器410和420基于先前幀的運(yùn)動(dòng)矢量 412內(nèi)插輸入圖像。
可選的，內(nèi)插器410和420可以分別是6抽頭濾波內(nèi)插器410和雙線性 內(nèi)插器420。如果濾波器抽頭選擇器400選擇6抽頭濾波內(nèi)插器410, 6抽頭 濾波內(nèi)插器410內(nèi)插輸入圖像。
內(nèi)插器410或者420內(nèi)插后的輸入圖像由運(yùn)動(dòng)補(bǔ)償器430進(jìn)行運(yùn)動(dòng)補(bǔ)償。
圖5是描述根據(jù)本發(fā)明依據(jù)輸入圖像的色彩分量執(zhí)行運(yùn)動(dòng)補(bǔ)償?shù)姆椒ǖ?流程圖。
14參考圖4和5，在步驟S500，濾波器抽頭選擇器400基于從圖像信息檢 測(cè)器(未示出)接收的色彩分量，選擇濾波器抽頭。如果在步驟S510確定輸 入圖像的色彩分量是R-G-B分量，在步驟520,濾波器抽頭選擇器400對(duì)R-G-B 圖像的各個(gè)分量選擇相同的內(nèi)插方法。例如，濾波器抽頭選擇器400允許 R-G-B圖像的所有各個(gè)分量通過(guò)長(zhǎng)抽頭濾波內(nèi)插器410,或者允許R-G-B圖 像的所有各個(gè)分量通過(guò)短抽頭濾波內(nèi)插器420。
如果確定輸入圖像的色彩分量不是R-G-B分量，而是Y-Cb-Cr分量，在 步驟S530，圖像信息檢測(cè)器(未示出)確定輸入圖像的色彩分量是否為Y分 量(亮度)。如果輸入圖像的色彩分量是亮度分量，濾波器抽頭選擇器400選 擇長(zhǎng)抽頭濾波內(nèi)插器410，以便在步驟S540輸入圖像可被長(zhǎng)抽頭濾波內(nèi)插器 410內(nèi)插。如果輸入圖像的色彩分量是色度分量(Cb, Cr),在步驟S550， 濾波器抽頭選擇器400選擇短抽頭濾波內(nèi)插器420。
根據(jù)輸入圖像的色彩分量選擇不同的抽頭濾波內(nèi)插器的原因是因?yàn)楫?dāng)輸 入圖像的色彩分量存在許多高頻分量時(shí)，與短抽頭濾波內(nèi)插器方法相比，使 用許多相鄰像素的長(zhǎng)抽頭濾波內(nèi)插器方法可以正確恢復(fù)高頻分量。相反的， 如果輸入圖像的色彩分量的低頻分量比高頻分量多時(shí)，在維持與長(zhǎng)抽頭濾波 內(nèi)插器相似的性能的同時(shí)，使用相對(duì)少的相鄰像素的短抽頭濾波內(nèi)插器在復(fù) 雜性方面更有效。
圖6是根據(jù)本發(fā)明另一個(gè)實(shí)施例的運(yùn)動(dòng)補(bǔ)償裝置的結(jié)構(gòu)的方塊圖。
參考圖6,本發(fā)明的運(yùn)動(dòng)補(bǔ)償裝置103或者332包括圖像信息檢測(cè)器 (未示出)，濾波器抽頭選擇器600,內(nèi)插器610和620，和運(yùn)動(dòng)補(bǔ)償器630。
圖像的大小或分辨率信息604與圖像的色彩分量602 —樣影響頻率特性。 圖6是根據(jù)本發(fā)明另一個(gè)實(shí)施例，依據(jù)圖像的色彩信息或分辨率信息使用不 同的運(yùn)動(dòng)補(bǔ)償方法的運(yùn)動(dòng)補(bǔ)償裝置的方塊圖。
圖像信息檢測(cè)器(未示出)感知圖像的色彩分量和分辨率信息。更詳細(xì) 地，圖像信息檢測(cè)器(未示出)確定輸入圖像是高分辨率圖像還是低分辨率 圖像，并且確定輸入圖像的色彩分量是否為R-G-B圖像的參考色彩分量。
濾波器抽頭選擇器600根據(jù)由圖像信息檢測(cè)器(未示出)感知的輸入圖 像的色彩信息和分辨率信息，選擇濾波器抽頭的長(zhǎng)度。更詳細(xì)地，如果輸入 圖像是高分辨率圖像或者輸入圖像的色彩分量是與Y-Cb-Cr圖像的Y分量(亮 度)不同的色彩分量，濾波器抽頭選擇器600選擇短抽頭濾波器。同樣，如
15果輸入圖像是低分辨率圖像，或者輸入圖像是R-G-B圖像，或者輸入圖像的 色彩分量是Y-Cb-Cr圖像的Y分量(亮度)，濾波器抽頭選擇器600選擇長(zhǎng)抽 頭濾波器。通常，長(zhǎng)抽頭濾波器是6抽頭濾波器，短抽頭濾波器是2抽頭濾 波器。
這里有使用長(zhǎng)濾波器抽頭的內(nèi)插器610 (也稱為長(zhǎng)抽頭濾波內(nèi)插器)和 使用短濾波器抽頭的內(nèi)插器620 (也稱為短抽頭濾波內(nèi)插器)，內(nèi)插器610和 620相應(yīng)于先前幀的運(yùn)動(dòng)矢量(MV)內(nèi)插圖像信息。
運(yùn)動(dòng)補(bǔ)償器630對(duì)內(nèi)插器內(nèi)插后的輸入圖像的運(yùn)動(dòng)進(jìn)行補(bǔ)償。
圖7是描述根據(jù)本發(fā)明另一實(shí)施例的運(yùn)動(dòng)補(bǔ)償方法的流程圖。更詳細(xì)地， 圖7是描述是用色彩分量和分辨率信息執(zhí)行運(yùn)動(dòng)補(bǔ)償?shù)姆椒ǖ牧鞒虉D。
參考圖6和7,在步驟S700,圖像信息檢測(cè)器(未示出)接收輸入圖像 的圖像大小信息，并且在步驟S710確定輸入圖像是否為高分辨率圖像。在本 發(fā)明中，高分辨率圖像表示比HD分辨級(jí)別的1280x720的圖像大小更大的圖 像。1280x720的參考圖像大小可根據(jù)環(huán)境和應(yīng)用而改變。
如果輸入圖像是高分辨率圖像，在步驟S750，濾波器抽頭選擇器600選 擇短抽頭濾波內(nèi)插器。原因在于，由于高分辨率圖像包括的低頻分量多于高 頻分量，不需要使用長(zhǎng)抽頭濾波器。在高分辨率圖像的情況下，由于實(shí)際圖 像的一小部分被大量像素顯示，像素值之間的差值很小。在這種情況下，由 于使用長(zhǎng)抽頭濾波器和使用短抽頭濾波器時(shí)，視頻質(zhì)量差異很小，濾波器抽 頭選擇器600考慮復(fù)雜性而選擇短抽頭濾波內(nèi)插器620。
如果輸入圖像是低分辨率圖像，在步驟S700,圖像信息檢測(cè)器(未示出) 接收色彩信息，在步驟S720,確定輸入圖像是否為R-G-B圖像。在步驟S730, 如果輸入圖像的色彩分量是R、 G或B分量，濾波器抽頭選擇器600選擇長(zhǎng) 抽頭濾波內(nèi)插器610,以便輸入圖像的所有各個(gè)分量可被長(zhǎng)抽頭濾波內(nèi)插器 610內(nèi)插。如果輸入圖像的色彩分量不是R、 G或B分量，而是Y、 Cb或Cr 分量，在步驟S730，圖像信息檢測(cè)器(未示出)確定輸入圖像的色彩分量是 否為Y分量(亮度)。如果輸入圖像的色彩分量是亮度分量，在步驟S740， 濾波器抽頭選擇器600選擇長(zhǎng)抽頭濾波內(nèi)插器610。如果輸入圖像的色彩分 量是色度分量，在步驟S750,濾波器抽頭選擇器600選擇短抽頭濾波內(nèi)插器。
圖8描述了為了運(yùn)動(dòng)補(bǔ)償，當(dāng)先前幀的圖像在垂直或水平方向上四次內(nèi) 插時(shí)，使用6抽頭濾波器的示例。6抽頭濾波器被MPEG-4AVC/H.264定義。參考圖8，當(dāng)給出先前幀的像 素A到U時(shí)，位于1/4或1/2像素位置的像素a到s，可根據(jù)下面的公式得到。 首先，位于相應(yīng)像素的垂直或水平方向的1/2像素位置的像素b和h，如
下所示被6個(gè)相鄰像素內(nèi)插。
bl=(E-5xf+20xg+20xh-5xI+J) ...... (10)
hl=(A-5xC+20xG+20xM-5xR+T) ...... (11)
b=Clipl((bl+16) 5) ...... (12)
h=Clipl((hl+16) 5) ...... ( 13 )
其中，Clipl(x)表示將值x鉗位到預(yù)定大小，以便值x在圖像像素的比特 范圍之內(nèi)。在輸入圖像是8比特圖像的情況下，如果x小于0， Clipl(x)的值 x被設(shè)為0。如果x大于255， x被設(shè)為255，其中其他值保持不變。用于內(nèi) 插的濾波器抽頭是使用相對(duì)大量的相鄰像素的6抽頭濾波器(1，-5，20，20,-5,1 )。 使用先前恢復(fù)的對(duì)應(yīng)于1/2像素位置的相鄰像素，根據(jù)等式14a、 14b和 15，在垂直和水平方向上內(nèi)插1/2像素位置的像素j。
jl=cc-5xdd+20xhl+20xml-5xee^ff ...... (14a)
jl=aa-5xbb+20xbl+20xsl-5xgg+hh ...... (14b)
j=Clipl((j 1+512)》10) ...... ( 15 )
其中，作為相鄰像素值的cc、 dd、 hl、 ml、 ee、 ff或aa、 bb、 b、 sl、 gg和hh是由6抽頭濾波器在上面的等式IO和11執(zhí)行內(nèi)插獲得的中間結(jié)果。 位于1/2像素位置、作為最終值的像素值s和m是根據(jù)等式12和13、從 像素值sl和ml恢復(fù)的值。
位于1/4像素位置的像素值a、 c、 d、 n、 f、 i、 k和q是平均垂直或水平 方向上相鄰的兩個(gè)像素得到的值，如下面的等式16到23。
a=(G+b+l)》l ...... (16)
c=(H+b+l)》l ...... (17)
d=(G+h+l)》l ...... (18)
n=(M+h+l)》l ...... (19)
f=(b+j+l)》l ...... (20)
i=(h+j+l)》l ...... (21 )
k=(j+m+l)》l ...... (22)
q=(j+s+l)》l ...... (23)位于1/4像素位置的像素值e、 g、 p和r是通過(guò)平均對(duì)角線方向上相鄰的 兩個(gè)像素得到的值，如下面的等式24到27。
圖9描述了為了補(bǔ)償運(yùn)動(dòng)，當(dāng)先前幀的圖像在垂直或水平方向上內(nèi)插四 次時(shí)，使用雙線性內(nèi)插方法的示例。雙線性內(nèi)插方法由MPEG-4 AVC/H.264 定義。
在先前幀的像素A、 B、 C和D中，位于1/4或1/2像素位置的像素值可 通過(guò)等式28a獲得。
a=((4-dx) x(4-dy) xA+dxx(4-dy) xB+(4-dx) xdyxC+dxxdyxl>f8) 4......( 28a)
其中，dx是表示在1/4像素位置，像素a在水平方向與像素A或C的相 距值，dy是表示在1/4像素位置，像素a在垂直方向與像素A或B的相距值。
參考圖9，雙線性內(nèi)插方法使用相對(duì)少量的相鄰像素，并使用位于將被 內(nèi)插的值很近的像素值，不同于圖7。
圖10是根據(jù)本發(fā)明使用圖像的色彩分量特性的解塊濾波器單元的結(jié)構(gòu) 的方塊圖。圖像的色彩分量特性被解塊濾波器單元使用，用于減少圖像恢復(fù) 后產(chǎn)生的塊影響，也被用于運(yùn)動(dòng)補(bǔ)償。圖IO示出了考慮圖像的色彩分量特性 的解塊濾波器的 一個(gè)實(shí)施例。
參考圖10，解塊濾波器單元160或340包括圖像信息檢測(cè)器(未示出)， 解塊濾波器選擇器1000，長(zhǎng)抽頭環(huán)路(解塊)濾波器1010，短抽頭環(huán)路(解 塊)濾波器1020。
圖像信息檢測(cè)器(未示出)確定輸入圖像是Y-Cb-Cr圖像還是R-G-B圖 像，并且確定輸入圖像的色彩分量是否為亮度(Y)分量。
解塊濾波器選擇器1000基于輸入圖像的色彩分量，選擇長(zhǎng)抽頭環(huán)路濾波 器和短抽頭環(huán)路濾波器1010和1020之一，上述兩個(gè)濾波器具有不同的濾波 器抽頭長(zhǎng)度。例如，如果輸入圖像是R-G-B圖像，或者輸入圖像的色彩分量 是Y-Cb-Cr圖像的亮度(Y)分量，解塊濾波器選擇器1000選擇長(zhǎng)抽頭環(huán)路 濾波器1010。同樣，如果輸入圖像的色彩分量是Y-Cb-Cr圖像的色度(Cb 或Cr)分量，解塊濾波器選擇器1000選擇短抽頭環(huán)路濾波器1020。
e=(b+h+l)》l g=(b+m+l) l p=(h+s+l)》l r=(m+s+l)》l
.(24) (25) (26)長(zhǎng)抽頭環(huán)路濾波器1010與短抽頭環(huán)路濾波器1020有不同的濾波器抽頭 長(zhǎng)度。由解塊濾波器選擇器1000選擇長(zhǎng)抽頭環(huán)路濾波器1010和短抽頭環(huán)路 濾波器1020之一。
長(zhǎng)抽頭環(huán)路濾波器和短抽頭環(huán)路濾波器1010和1020中的每個(gè)基于塊編 碼模式、CBP (編碼塊圖案)、用于先前幀的運(yùn)動(dòng)信息(MV、 MC)參考圖像 數(shù)、和隔行掃描圖像的場(chǎng)信息，確定濾波是否應(yīng)被執(zhí)行，并最終消除輸入圖 像的塊影響。
圖ll是描述根據(jù)本發(fā)明一個(gè)實(shí)施例，依據(jù)輸入圖像的色彩分量選擇解塊 濾波器抽頭的方法的流程圖。
參考圖10和11,在步驟S1110,解塊濾波器選擇器1000接收來(lái)自圖像
信息檢測(cè)器(未示出)的色彩信息，并確定輸入圖像的色彩分量是否為R-G-B
圖像的色彩分量。如果輸入圖像的色彩分量是R-G-B圖像的色彩分量，在步
驟S1130，解塊濾波器選"f奪器1000為每個(gè)色彩分量分配相同的濾波器抽頭系
數(shù)。在這種情況下，解塊濾波器選擇器1000通常選擇長(zhǎng)抽頭環(huán)路濾波器1010。
如果輸入圖像的色彩分量是Y-Cb-Cr圖像的色彩分量，在步驟S1140,濾波
器抽頭選擇器1000選擇長(zhǎng)抽頭濾波器1010。如果輸入圖像的色彩分量是色
度分量，在步驟S1150,濾波器抽頭選擇器1000選擇短抽頭環(huán)路濾波器1020。
圖12描述了為了減少16x16宏塊中的塊影響，其上執(zhí)行解塊濾波的垂直 和水平方向的邊界。
參考圖12，宏塊;波分成16個(gè)4x4塊，每個(gè)塊-波編碼。因此，在4x4塊 的邊界產(chǎn)生塊影響。如圖12(A)所示，首先，對(duì)垂直邊界1201、 1202、 1203 和1204執(zhí)行解塊濾波。隨后，如參見(jiàn)圖12(B),對(duì)水平邊界1205、 1206、 1207和1208執(zhí)行解塊濾波。
圖13描述了對(duì)4x4塊的垂直和水平邊界執(zhí)行解塊濾波時(shí)使用的系數(shù)。
在垂直邊界，如圖13 (A)所示，為了減少使用像素pO、 pl、 p2、 p3、 q0、 ql、 q2和q3的像素值和濾波器抽頭的塊影響，^象素p0、 pl、 p2、 q0、 ql、 q2的像素值被改變。圖13 (B)描述了執(zhí)行水平邊界解塊濾波的像素。
由于每個(gè)4x4塊的損失程度不同，有必要改變?yōu)V波器系數(shù)，并且確定是 否應(yīng)對(duì)于每個(gè)4x4塊執(zhí)行濾波。為此，如圖IO所示，解塊濾波是否應(yīng)被執(zhí)行， 也就是濾波器抽頭的長(zhǎng)度等等，基于塊編碼模式、CBP(編碼塊圖形)、用于 先前幀的運(yùn)動(dòng)信息(MV、 MC)參考圖像數(shù)、和隔行掃描圖像的場(chǎng)信息，利用預(yù)定閾值確定。作為基本濾波方法，使用由MPEG-4 AVC/H.264定義的濾 波方法。確定對(duì)于一個(gè)4x4塊是否應(yīng)纟丸行濾波的濾波標(biāo)記值(filterFlag)可 通過(guò)等式28b計(jì)算。
<formula>formula see original document page 20</formula>
其中，只有當(dāng)值filterFlag是1時(shí)，解塊濾波才被執(zhí)行。a和p是根據(jù)相 鄰像素值的改變確定解塊濾波是否應(yīng)被執(zhí)行的閾值。當(dāng)量化值增加時(shí)，閾值 a和(3變大。Bs (濾波器強(qiáng)度)是表示當(dāng)解塊濾波被執(zhí)行時(shí)通過(guò)濾波器改變 的像素值的范圍的值。值Bs是0與4之間的值。如果值Bs是O,濾波不被 執(zhí)行。當(dāng)值Bs接近4時(shí)，濾波器系數(shù)的值變大。值Bs被改變，因此像素pO、 pl、 p2、 p3、 q0、 ql、 q2、 q3中的多數(shù)像素減少塊影響。
首先，當(dāng)色彩分量是R、 G和B分量或者Y-Cb-Cr圖像的Y分量時(shí)，使 用的長(zhǎng)抽頭濾波器系數(shù)可用等式29到45定義。
如果值Bs小于4，如下所示，最接近邊界的像素pO和qO改變?yōu)閜，O和
q,O。<formula>formula see original document page 20</formula>其中，Clip3(min, max, x),皮定義來(lái)設(shè)定最小值min和最大值max之間的 值x。 Clipl(x)與等式12中的Clipl(x)具有相同的含義。tc是限定像素值的閾 值。其中，如果值Bs很大，tc也有很大的值，使得像素值的改變程度更大。
對(duì)于pl和ql,定義下面的值，以便確定濾波是否應(yīng)被執(zhí)行。<formula>formula see original document page 20</formula>
其中，如果ap小于p, pl改變?yōu)閜，l。否則，pl不改變。
<formula>formula see original document page 20</formula>其中，如果ap小于(3，如下ql改變?yōu)閝，l。否則，ql不改變。
<formula>formula see original document page 20</formula>
如果Bs是4,用于確定濾波器系數(shù)的值Tp和Tq如下定義。<formula>formula see original document page 20</formula>如果Tp是1， p0、 pl和p2通過(guò)增加濾波器系數(shù)的值分別改變?yōu)閜，O、 p，l
和p，2,如下所示。
p,0=(p2+2xpl+2xp0+2xq0+ql+4) 3 ...... (38)
p，l=(p2+pl+pO+qO+2)》2 ...... (39)
p，2=(2xp3+3xp2+pl+p0+q0+4) 3 ...... (40)
同時(shí)，如果Tp是O,只有pO通過(guò)減小濾波器系數(shù)的值改變?yōu)閜，O。
p，0=(2xpl+p(>+tql+2) 2 ...... (41)
同時(shí)，如果Tq是l， q0、 ql和q2通過(guò)增加濾波器系數(shù)的值分別改變?yōu)?br> q，O、 q，l禾口q，2,嗩口下戶斤示。
q，0=(pl+2xp(>f2xq0+2xql+q2+4) 3 ...... (42)
q，l=(pO+qO+ql+q2+2) 2 ...... (43)
q，2=<2xq3+3xq2+ql+q0+p0+4) 3 ...... (44)
同時(shí)，如果Tq是0，只有qO通過(guò)減小濾波器系數(shù)的值改變?yōu)閝，O,如下所示。
q，(K2xql+qO+pl+2) 2 ...... (45)
如果Y-Cb-Cr圖像的色彩分量是Cb或Cr分量，短抽頭濾波器系數(shù)如下 定義。首先，如果Bs小于4， p0和q0才艮據(jù)等式30和31分別改變?yōu)閜，0和 q，O。不同于R-G-B圖像和Y分量，pl和ql的值不改變。如果Bs是4，只 有p0和q0的值根據(jù)等式41和45分別改變?yōu)閜，O和q，O。不同于R-G-B圖像 和Y分量，pl和ql的值不改變。
圖14是根據(jù)本發(fā)明一個(gè)實(shí)施例，當(dāng)提供R-G-B圖像作為輸入圖像時(shí)，
據(jù)本發(fā)明的平面間預(yù)測(cè)和不使用平面間預(yù)測(cè)時(shí)的比較結(jié)果。
其中，輸入圖像是1280x720大小的CREW(組)圖像，仿真結(jié)果用四比特
速率的PSNR(信噪功率比)表示。
圖14A示出了只執(zhí)行空間預(yù)測(cè)的內(nèi)部模式的仿真結(jié)果，圖14B示出了使
用時(shí)間預(yù)測(cè)和空間預(yù)測(cè)的仿真結(jié)果。如圖14所示，本發(fā)明和傳統(tǒng)4支術(shù)在相同
比特率有超過(guò)3dB增益差值。
圖15A示出了當(dāng)R-G-B圖像是輸入圖像時(shí)，6抽頭濾波器被用于運(yùn)動(dòng)補(bǔ)
償?shù)那闆r下(MC—LL )和6抽頭濾波器被用于G分量并且雙線性濾波器被用
于R和B分量的情況下(MC_LC )， 640x350 Harbour(哈勃)圖像的比較結(jié)果。
21從圖15A可見(jiàn)，在相同比特率，本發(fā)明的MC—LL方法的PSNR增益大 于傳統(tǒng)技術(shù)的PSNR增益。
圖15B示出了當(dāng)Y-Cb-Cr圖像是輸入圖像時(shí)，6抽頭濾波器被用于Y分 量并且雙線性濾波器被用于Cb和Cr分量的情況下(MC一LC )和6抽頭濾波 器^^皮用于所有Y、 Cb和Cr分量進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)那闆r下(MC—LL)， 640x350 Harbour圖像的比較結(jié)果。從圖15B可知，在本發(fā)明中，在相同比特率，每 個(gè)Y、 Cb和Cr分量的PSNR被改進(jìn)。
本發(fā)明可用存儲(chǔ)于計(jì)算機(jī)可讀介質(zhì)中、能在通用計(jì)算機(jī)運(yùn)行的程序?qū)崿F(xiàn)。 其中，計(jì)算機(jī)可讀介質(zhì)包括但不限于比如磁存儲(chǔ)介質(zhì)(比如ROM、軟盤、硬 盤等)、光學(xué)可讀介質(zhì)(比如CD-ROM, DVD等等)、和載波(比如因特網(wǎng)上 的傳輸)的存儲(chǔ)介質(zhì)。本發(fā)明也可用存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)可讀 程序代碼單元實(shí)現(xiàn)，使通過(guò)網(wǎng)絡(luò)連接的許多計(jì)算機(jī)系統(tǒng)影響分布的處理。
如上所述，本發(fā)明可考慮輸入圖像的色彩分量特性，有效編碼和解碼視 頻數(shù)據(jù)。特別是，可以通過(guò)平面間預(yù)測(cè)改進(jìn)R-G-B圖像的編碼效率。本發(fā)明 可被應(yīng)用到由于R-G-B圖像被直接編碼，需要圖像信息具有高質(zhì)量的數(shù)字檔 案、數(shù)字影院等等。
同樣，本發(fā)明在編碼器和解碼器中使用色彩分量特性和圖像分辨率特性， 用于運(yùn)動(dòng)補(bǔ)償和解塊濾波。本發(fā)明可以根據(jù)圖像特性，通過(guò)濾波增強(qiáng)圖像質(zhì) 量，改進(jìn)編碼效率。因此本發(fā)明可以相應(yīng)于R-G-B圖像和Y-Cb-Cr圖像的各 個(gè)特性，構(gòu)造適合的編碼器和解碼器。
盡管本發(fā)明已經(jīng)參考實(shí)施例進(jìn)行了特別地展示和描述，本領(lǐng)域的普通技 術(shù)人員應(yīng)該明白，在不脫離后附的權(quán)利要求定義的本發(fā)明的精神和范圍的情 況下，可以在形式和細(xì)節(jié)上做各種改變。
2權(quán)利要求
1.一種包含在解碼器或編碼器中的運(yùn)動(dòng)補(bǔ)償裝置，包括圖像信息檢測(cè)器，檢測(cè)輸入圖像的色彩信息；濾波器抽頭選擇器，基于輸入圖像的色彩信息，選擇用于補(bǔ)償?shù)臑V波器抽頭的長(zhǎng)度；內(nèi)插器，使用具有所選長(zhǎng)度的濾波器抽頭內(nèi)插輸入圖像；和運(yùn)動(dòng)補(bǔ)償器，為內(nèi)插結(jié)果執(zhí)行運(yùn)動(dòng)補(bǔ)償。
2. 根據(jù)權(quán)利要求1的運(yùn)動(dòng)補(bǔ)償裝置，其中圖像信息檢測(cè)器確定輸入圖像 是Y-Cb-Cr圖像還是R-G-B圖像，并且確定輸入圖像的色彩分量是否為Y分量。
3. 根據(jù)權(quán)利要求1的運(yùn)動(dòng)補(bǔ)償裝置，其中，如果輸入圖像是R-G-B圖像 或者輸入圖像的色彩分量是Y分量，則濾波器抽頭選擇器選擇6抽頭濾波器， 如果輸入圖像的色彩分量是Y-Cb-Cr圖像的Cb或Cr分量，則選擇2抽頭濾 波器。
4. 一種由編碼器或解碼器執(zhí)行的運(yùn)動(dòng)補(bǔ)償方法，包括 檢測(cè)輸入圖像的色彩信息；基于輸入圖像的色彩信息，選擇用于內(nèi)插的濾波器抽頭的長(zhǎng)度； 使用具有所選長(zhǎng)度的濾波器抽頭內(nèi)插輸入圖像；和 為內(nèi)插結(jié)果執(zhí)行運(yùn)動(dòng)補(bǔ)償。
5. 根據(jù)權(quán)利要求4的運(yùn)動(dòng)補(bǔ)償方法，其中檢測(cè)輸入圖像的色彩信息包括 確定輸入圖像是Y-Cb-Cr圖像還是R-G-B圖像，并且確定輸入圖像的色彩分量是否為Y分量。
6. 根據(jù)權(quán)利要求4的運(yùn)動(dòng)補(bǔ)償方法，其中選擇濾波器抽頭的長(zhǎng)度包括-. 如果輸入圖像是R-G-B圖像或者輸入圖像的色彩分量是Y分量，則選擇6濾波器抽頭，如果輸入圖像的色彩分量是Y-Cb-Cr圖像的Cb或Cr分量， 則選擇2抽頭濾波器。
7. —種包含在解碼器或編碼器中的運(yùn)動(dòng)補(bǔ)償裝置，包括 圖像信息檢測(cè)器，檢測(cè)輸入圖像的分辨率和色彩信息； 濾波器抽頭選擇器，基于輸入圖像的分辨率信息和色彩信息，選擇用于內(nèi)插的濾波器抽頭的長(zhǎng)度；內(nèi)插器，使用具有所選長(zhǎng)度的濾波器抽頭內(nèi)插輸入圖像；和運(yùn)動(dòng)補(bǔ)償器，為內(nèi)插結(jié)果執(zhí)行運(yùn)動(dòng)補(bǔ)償。
8. 根據(jù)權(quán)利要求7的運(yùn)動(dòng)補(bǔ)償裝置，其中圖像信息檢測(cè)器確定輸入圖像 是否為高分辨率圖像，確定輸入圖像是Y-Cb-Cr圖像還是R-G-B圖像，并且 確定輸入圖像的色彩分量是否為Y分量。
9. 根據(jù)權(quán)利要求7的運(yùn)動(dòng)補(bǔ)償裝置，其中，如果輸入圖像是高分辨率圖 像或者輸入圖像的色彩分量是Y分量，則濾波器抽頭選擇器選擇2抽頭濾波 器，如果輸入圖像是低分辨率圖像，或者輸入圖像是R-G-B圖像，或者輸入 圖像的色彩分量是Cb或Cr分量，則選擇6抽頭濾波器。
10. —種由解碼器或編碼器執(zhí)行的運(yùn)動(dòng)補(bǔ)償方法，包括 檢測(cè)輸入圖像的分辨率信息和色彩信息；基于輸入圖像的分辨率信息和色彩信息，選擇用于內(nèi)插的濾波器抽頭的 長(zhǎng)度；使用具有所選長(zhǎng)度的濾波器抽頭內(nèi)插輸入圖像；和 為內(nèi)插結(jié)果執(zhí)行運(yùn)動(dòng)補(bǔ)償。
11. 根據(jù)權(quán)利要求10的運(yùn)動(dòng)補(bǔ)償方法，其中^^測(cè)圖像信息包括 確定輸入圖像是否為高分辨率圖像，確定輸入圖像是Y-Cb-Cr圖像還是R-G-B圖像，并且確定輸入圖像的色彩分量是否為Y分量。
12. 根據(jù)權(quán)利要求10的運(yùn)動(dòng)補(bǔ)償方法，選擇濾波器抽頭的長(zhǎng)度包括 如果輸入圖像是高分辨率圖像或者輸入圖像的色彩分量是Y分量，則選擇2抽頭濾波器，如果輸入圖像是低分辨率圖像，或者輸入圖像是R-G-B圖 像，或者輸入圖像的色彩分量是Cb或Cr分量，則選擇6抽頭濾波器。
全文摘要
提供一種用于色彩圖像的視頻編碼/解碼裝置和方法。第一運(yùn)動(dòng)預(yù)測(cè)單元基于輸入圖像的第一運(yùn)動(dòng)預(yù)測(cè)結(jié)果，為輸入圖像產(chǎn)生第一預(yù)測(cè)剩余圖像。圖像信息檢測(cè)單元將R-G-B圖像的色彩分量中的預(yù)定色彩分量設(shè)置為參考色彩分量，并確定輸入圖像是Y-Cb-Cr圖像還是R-G-B圖像，確定輸入圖像的色彩分量是否為參考色彩分量。如果輸入圖像是R-G-B圖像并且如果輸入圖像的色彩分量不是參考色彩分量，則第二運(yùn)動(dòng)預(yù)測(cè)單元基于參考色彩分量，對(duì)第一預(yù)測(cè)剩余圖像執(zhí)行運(yùn)動(dòng)預(yù)測(cè)并且產(chǎn)生第二預(yù)測(cè)剩余圖像，由此根據(jù)該色彩信息執(zhí)行最佳編碼/解碼。
文檔編號(hào)H04N7/34GK101616329SQ20091014980
公開(kāi)日2009年12月30日 申請(qǐng)日期2004年7月16日 優(yōu)先權(quán)日2003年7月16日
發(fā)明者趙大星, 金佑湜, 金鉉文 申請(qǐng)人:三星電子株式會(huì)社