專利名稱：圖像處理設(shè)備和方法及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理設(shè)備和方法，特別涉及這樣一種圖像處理設(shè)備和方法，其中在B片(slice)的情況下能夠減少包括在流中的比特量和存儲器的使用區(qū)域。
背景技術(shù)：
作為用于壓縮圖像信息的標(biāo)準(zhǔn)規(guī)范，H. 264和MPEG_4Part 10 (先進(jìn)視頻編碼，下文稱作H. 264/AVC)是可用的。在H. 264/AVC中，執(zhí)行關(guān)注于幀或場之間的相關(guān)的幀間預(yù)測。在幀間預(yù)測中執(zhí)行 的運(yùn)動補(bǔ)償處理中，通過幀間預(yù)測使用已經(jīng)存儲并且能夠參考的圖像的區(qū)域的一部分生成預(yù)測圖像(下文稱作幀間預(yù)測圖像)。例如，在如圖I所示已經(jīng)存儲并且能夠參考的圖像的5個幀被確定為參考幀的情況下，參考5個參考幀之一的圖像(下文稱作參考圖像)的一部分構(gòu)造要進(jìn)行幀間預(yù)測的幀(原始幀)的幀間預(yù)測圖像的一部分。要注意，通過基于參考幀和原始幀的圖像檢測的運(yùn)動矢量，確定要用作幀間預(yù)測圖像的一部分的參考圖像的部分的位置。更具體地講，如圖2所示，在參考幀中的面部11在原始幀中在朝右下方向移動并且面部11的下部約1/3被隱藏的情況下，檢測到表示與朝右下方向相反的朝左上方向的運(yùn)動矢量。然后，參考參考幀中的部分12按照由運(yùn)動矢量表示的運(yùn)動所移至的位置處的面部11的部分13，構(gòu)造原始幀中隱藏的面部11的部分12。另外，在H. 264/AVC中，在運(yùn)動補(bǔ)償處理中期望增強(qiáng)諸如1/2或1/4的運(yùn)動矢量分?jǐn)?shù)精度的分辨率。在如上所述的分?jǐn)?shù)精度的這種運(yùn)動補(bǔ)償處理中，稱作子像素(Sub pel)的虛擬分?jǐn)?shù)位置處的像素被設(shè)置在相鄰像素之間，并且還執(zhí)行生成這種子像素的處理(下文稱作內(nèi)插)。換言之，在分?jǐn)?shù)精度的運(yùn)動補(bǔ)償處理中，運(yùn)動矢量的最小分辨率是分?jǐn)?shù)位置處的像素，因此，執(zhí)行用于生成分?jǐn)?shù)位置的像素的內(nèi)插。圖3示出了通過內(nèi)插使在垂直方向和水平方向上像素的數(shù)目增加到4倍的圖像的像素。要注意，在圖3中，空白方塊表示處于整數(shù)位置的像素(整數(shù)像素(Int. pel))，施加了斜線的方塊表示分?jǐn)?shù)位置處的像素(子像素)。另外，方塊中的字母表示該方塊表示的像素的像素值。通過內(nèi)插生成的分?jǐn)?shù)位置處的像素的像素值b、h、j、a、d、f和r由下面給出的表達(dá)式(I)表示。b = (E-5F+20G+20H-5I+J)/32h = (A-5C+20G+20M-5R+T)/32j = (aa-5bb+20b+20s-5gg+h)/32a = (G+b) /2d = (G+h) /2f = (b+j) /2
r = (m+s) /2. . . (I)要注意，像素值aa、bb、S、gg和hh能夠與b類似地進(jìn)行確定；cc、dd、m、ee和ff與h類似地進(jìn)行確定；像素值c能夠與a類似地進(jìn)行確定；像素值f、n和q能夠與d類似地進(jìn)行確定；e、p和g能夠與r類似地進(jìn)行確定。以上給出的表達(dá)式(I)是在H.264/AVC等中采用的表達(dá)式，盡管表達(dá)式根據(jù)標(biāo)準(zhǔn)的差別而不同，但是表達(dá)式的目的相同。通過具有偶數(shù)數(shù)目的抽頭的有限脈沖響應(yīng)(FIR(Finit-dur ation Impulse Response))濾波器能夠?qū)崿F(xiàn)這些表達(dá)式。例如，在H. 264/AVC中，使用具有6個抽頭的內(nèi)插濾波器。同時，在非專利文獻(xiàn)I和2中，在最近的研究報告中列出了自適應(yīng)內(nèi)插濾波器(AIF)0在使用這個AIF的運(yùn)動補(bǔ)償處理中，通過自適應(yīng)改變用于內(nèi)插并且具有偶數(shù)個抽頭的FIR濾波器的濾波器系數(shù)，能夠降低圖形失真或編碼失真的影響從而減小運(yùn)動補(bǔ)償?shù)恼`差。參照圖4描述在非專利文獻(xiàn)2中公開的可分離自適應(yīng)內(nèi)插濾波器(下文稱作可分離AIF)。要注意，在圖4中，施加了斜線的方塊表示整數(shù)位置處的像素(整數(shù)像素(Int.pel))，空白方塊表示分?jǐn)?shù)位置處的像素(子像素)。另外，方塊中的字母表示該方塊表示的像素的像素值。在可分離AIF中，執(zhí)行水平方向上非整數(shù)位置的內(nèi)插作為第一步驟，執(zhí)行垂直方向上非整數(shù)位置的內(nèi)插作為第二步驟。要注意，還可以顛倒針對水平和垂直方向的處理順序。首先，在第一步驟中，借助過FIR濾波器，根據(jù)下面表達(dá)式(2)基于整數(shù)位置處的像素的像素值E、F、G、H、I和J，計算分?jǐn)?shù)位置處的像素的像素值a、b和C。這里，h[pos][n]是濾波器系數(shù)，pos表示圖3所示的子像素的位置而n表示濾波器系數(shù)的編號。這個濾波器系數(shù)被包括在流信息中并且應(yīng)用于解碼側(cè)。a = h[a]
XE+hl [a] [I] XF+h2[a] [2] XG+h[a] [3] XH+h[a] [4] X I+h[a][5] XJb = h[b]
XE+hl [b] [I] XF+h2[b] [2] XG+h[b] [3] XH+h[b] [4] XI+h[b][5] XJc = h[c]
XE+hl [c] [I] XF+h2[c] [2] XG+h[c] [3] XH+h[c] [4] X I+h[c][5] X J…(2)要注意，與像素值a、b、c類似，還能夠確定像素值G1、G2、G3、G4、G5的行的分?jǐn)?shù)位置處的像素的像素值(al、bl、cl、a2、b2、c2、a3、b3、c3、a4、b4、c4、a5、b5、c5)。然后，作為第二步驟，根據(jù)下面的表達(dá)式(3)計算像素值a、b、c之外的像素值d到
Ood = h[d]
XGl+h[d] [I] XG2+h[d] [2] XG+h[d] [3] XG3+h[d] [4]*G4+h[d][5] XG5h = h[h]
XGl+h[h] [I] XG2+h[h] [2] XG+h[h] [3] XG3+h [h] [4]*G4+h[h][5] XG5I = h[l]
XGl+h[l] [I] XG2+h[l] [2] XG+h[l] [3] XG3+h[l] [4]*G4+h[l][5] XG5
e = h[e]
Xal+h[e] [I] Xa2+h[e] [2] Xa+h[e] [3] Xa3+h[e] [4]*a4+h[e][5] Xa5i = h[i]
Xal+h[i] [I] Xa2+h[i] [2] Xa+h[i] [3] Xa3+h[i] [4]*a4+h[i][5] Xa5m = h[m]
Xal+h[m] [I] Xa2+h[m] [2] Xa+h[m] [3] Xa3+h[m] [4]*a4+h[m][5] Xa5f = h[f]
Xbl+h[f] [I] Xb2+h[f] [2] Xb+h[f] [3] Xb3+h[f] [4]*b4+h[f][5] Xb5j = h[j]
Xbl+h[j] [I] Xb2+h[j] [2] Xb+h[j] [3] Xb3+h[j] [4]*b4+h[j][5] Xb5
n = h[n]
Xbl+h[n] [I] Xb2+h[n] [2] Xb+h[n] [3] Xb3+h[n] [4]*b4+h[n][5] Xb5g = h [g]
X cl+h [g] [I] X c2+h [g] [2] X c+h [g] [3] X c3+h [g] [4] *c4+h [g][5] Xc5k = h [k]
X cl+h [k] [I] X c2+h [k] [2] X c+h [k] [3] X c3+h [k] [4] *c4+h [k][5] Xc5o = h [o]
X cl+h [o] [I] X c2+h [o] [2] X c+h [o] [3] X c3+h [o] [4] *c4+h [o][5] Xc5. . . (3)要注意，盡管在上述的方法中，所有的濾波器系數(shù)彼此獨(dú)立，但是在非專利文獻(xiàn)2中，示出了下面的表達(dá)式(5)。盡管上述的AIF改進(jìn)了內(nèi)插濾波器的性能，但是由于濾波器系數(shù)被包括在流信息中，所以存在開銷，并且根據(jù)情況，可能出現(xiàn)編碼效率下降。因此，通過非專利文獻(xiàn)3的參考軟件，通過以片為單位將0N/0FF (開/關(guān))標(biāo)記的信息包括在流信息中可以控制是否使用AIF。特別地，在解碼側(cè)，對流信息進(jìn)行解碼并且讀取AIF 0N/0FF標(biāo)記。如果標(biāo)記信息指示使用AIF，則進(jìn)一步從流信息讀取濾波器系數(shù)并且將其用作對象片的內(nèi)插濾波器的濾波器系數(shù)。如果標(biāo)記信息指示不使用AIF，則使用上文描述的H. 264/AVC的FIR濾波器的濾波器系數(shù)。另外,在H. 264/AVC方法中，宏塊尺寸是16X 16像素。然而,對于如變成下一代編碼方法的對象的UHD (超高清4000X2000像素)這樣的大畫面幀，將宏塊尺寸設(shè)置成16X16像素不是最佳的。因此，在非專利文獻(xiàn)4等中，提出了將宏塊尺寸擴(kuò)大到例如32 X 32像素的這樣的大尺寸。要注意，上述的常規(guī)技術(shù)的附圖適合用于本發(fā)明的說明?，F(xiàn)有技術(shù)文獻(xiàn)非專利文獻(xiàn)非專利文獻(xiàn)I :Yuri Vatis, Joern Ostermann, “Prediction of P-B-Frames Usinga Two-dimensional Non-separable Adaptive Wiener Interpolation Filter for H. 264/AVC, ”ITU-T SG16 VCEG 30th Meeting, Hangzhou China, October 2006非專利文獻(xiàn)2 :Steffen ffittmann, Thomas ffedi, “Separable adaptiveinterpolation filte，”ITU_T SG16C0M16-C219-E，June 2007非專利文獻(xiàn)3 ；KTA Reference Software version 2.2rI，searched the Interneton November 25，2009. <URL:http://iphome. hhi. de/suehring/tml/download/KTA/jmlI.0kta2. 2rl. zip>非專利文獻(xiàn)4:“Video Coding Using Extended Block Sizes, 1CEG-AD09，ITU-Telecommunications Standardization Sector STURY GROUP Question 16-Contribution123，Jan. 2009

發(fā)明內(nèi)容
技術(shù)問題
如上所述，如果使用AIF，則內(nèi)插濾波器的濾波器系數(shù)能夠以片為單位進(jìn)行改變。然而，濾波器系數(shù)信息必須被包括在流信息中，并且濾波器系數(shù)信息的比特量可能變成開銷并且編碼效率可能下降。尤其對于B畫面(B picture)，開銷變得相對更大。例如,在關(guān)于畫面類型按B、P、
B、P、B、P、......的順序每兩個畫面設(shè)置P畫面而B畫面設(shè)置在P畫面之間的情況下,與P
畫面相比，在B畫面中產(chǎn)生的比特量通常較小。盡管認(rèn)為這源于由于能夠使用時間距離小的參考圖像或者能夠使用雙向預(yù)測所以B畫面的幀間預(yù)測的畫面質(zhì)量增強(qiáng)的事實(shí)，但是在任何比率，B畫面的開銷的比率大于P畫面的開銷的比率。結(jié)果，通過B畫面，AIF的效果受到限制。具體地講，盡管AIF提高了內(nèi)插濾波器的性能，但是濾波器系數(shù)信息的開銷變成負(fù)擔(dān)，并且這增加了編碼效率損失的機(jī)會。此外，由于使用內(nèi)插濾波器，所以與要輸出的像素的數(shù)目相比，必須輸入的像素的數(shù)目(即，必須從幀存儲器讀入的像素的數(shù)目)增加，由此可能會導(dǎo)致存儲器的傳送區(qū)域變大。例如，如果想要在上文參照圖3描述的通過H. 264/AVC方法的內(nèi)插方法中生成分?jǐn)?shù)位置處的像素的像素值j，則通過將像素值E、F、G、H、I和J輸入到6抽頭內(nèi)插濾波器獲得像素值b。類似地,還獲得像素值aa、bb、S、gg和hh。然后,通過將獲得像素值aa、bb、b、S、gg和hh輸入到6抽頭內(nèi)插濾波器，獲得像素值j。因此，用于獲得一個像素的像素值j的整數(shù)位置處的像素的數(shù)目等于圖3所示的空白方塊的數(shù)目，S卩，36個。同時，考慮以塊為單位，在要確定的像素值是分?jǐn)?shù)像素的像素值e、f、g、i、j、k、m、n或O的情況下，作為最小塊尺寸應(yīng)用于4X4像素的運(yùn)動補(bǔ)償?shù)南袼氐臄?shù)目是如圖5所示的9X9=81像素。這是因為由于6抽頭的FIR濾波器另外需要周圍像素，所以除了內(nèi)插處理后獲得的4X4空白方塊像素以外，還需要施加斜線的那些方塊的像素。當(dāng)塊尺寸減小時，除了在內(nèi)插處理以后獲得的像素的數(shù)目以外要由幀存儲器讀入的像素的數(shù)目增加，其結(jié)果是，存儲器的使用區(qū)域增加。另外，在B畫面的情況下，如圖6所示能夠使用雙向預(yù)測。在圖6中，按顯示順序示出畫面，并且按顯示順序在編碼對象畫面前后并置已經(jīng)編碼的參考畫面。在編碼對象畫面是B畫面的情況下，例如由編碼對象畫面的對象預(yù)測塊所示，參考前后(雙向)的參考畫面的兩個塊，并且編碼對象畫面可以具有向前方向上LO預(yù)測的運(yùn)動矢量和向后方向上LI預(yù)測的另一運(yùn)動矢量。
因此，在利用4X4像素的塊尺寸執(zhí)行雙向預(yù)測的情況下，如圖7所示，除了內(nèi)插處理后獲得的空白方塊的4 X 4像素以外，還需要向前方向和向后方向的施加斜線的方塊的像素，即，81 X2=162像素。與上文描述的非專利文獻(xiàn)2的可分離AIF類似，剛剛描述的這個事實(shí)也同樣存在。例如，認(rèn)識到如果嘗試內(nèi)插上文描述的圖4的像素值e、f、g、i、j、k、m、n和o，則需要整數(shù)位置處的周圍6X6像素。鑒于如上所述的這種情形完成了本發(fā)明并且在B片的情況下本發(fā)明能夠減少包括在流中的比特量和存儲器的使用區(qū)域。技術(shù)方案根據(jù)本發(fā)明的第一方面的圖像處理設(shè)備，包括內(nèi)插濾波器，具有可變?yōu)V波器系數(shù)，用于以分?jǐn)?shù)精度內(nèi)插與編碼的圖像對應(yīng)的參考圖像的像素；解碼裝置，對編碼的圖像和與編碼的圖像對應(yīng)的運(yùn)動矢量進(jìn)行解碼；抽頭數(shù)目確定裝置，確定為編碼的圖像的片的每 種類型確定的所述內(nèi)插濾波器的抽頭數(shù)目；以及運(yùn)動補(bǔ)償裝置，使用由濾波器系數(shù)的數(shù)目等于由該抽頭數(shù)目確定裝置確定的抽頭數(shù)目的該內(nèi)插濾波器內(nèi)插的參考圖像和由該解碼裝置解碼的運(yùn)動矢量生成預(yù)測圖像。該解碼裝置還可以對該內(nèi)插濾波器的濾波器系數(shù)進(jìn)行解碼。圖像處理設(shè)備還可以包括濾波器系數(shù)計算裝置，用于計算當(dāng)編碼對象的圖像是B片時使參考圖像與預(yù)測圖像之間的差減小的濾波器系數(shù)。該抽頭數(shù)目確定裝置可以當(dāng)編碼對象的圖像是B片時把該內(nèi)插濾波器的抽頭數(shù)目確定為小于在編碼對象的圖像是B片之外的任何其它片的情況下的抽頭數(shù)目的抽頭數(shù)目。根據(jù)本發(fā)明的第一方面的圖像處理方法，包括由圖像處理設(shè)備執(zhí)行的如下步驟對編碼的圖像和與編碼的圖像對應(yīng)的運(yùn)動矢量進(jìn)行解碼；確定為編碼的圖像的片的每種類型確定的內(nèi)插濾波器的抽頭數(shù)目；以及使用由濾波器系數(shù)的數(shù)目等于所確定的抽頭數(shù)目的內(nèi)插濾波器內(nèi)插的參考圖像和解碼的運(yùn)動矢量生成預(yù)測圖像。根據(jù)本發(fā)明的第一方面程序使計算機(jī)發(fā)揮圖像處理設(shè)備的作用，該圖像處理設(shè)備包括解碼裝置，對編碼的圖像和與編碼的圖像對應(yīng)的運(yùn)動矢量進(jìn)行解碼；抽頭數(shù)目確定裝置，確定為編碼的圖像的片的每種類型確定的該內(nèi)插濾波器的抽頭數(shù)目；以及運(yùn)動補(bǔ)償裝置，使用由濾波器系數(shù)的數(shù)目等于由該抽頭數(shù)目確定裝置確定的抽頭數(shù)目的該內(nèi)插濾波器內(nèi)插的參考圖像和由該解碼裝置解碼的運(yùn)動矢量生成預(yù)測圖像。根據(jù)本發(fā)明的第二方面的圖像處理設(shè)備，包括運(yùn)動預(yù)測裝置，執(zhí)行編碼對象的圖像與參考圖像之間的運(yùn)動預(yù)測以檢測運(yùn)動矢量；內(nèi)插濾波器，具有可變?yōu)V波器系數(shù)，用于以分?jǐn)?shù)精度內(nèi)插參考圖像的像素；抽頭數(shù)目確定裝置，基于編碼對象的圖像的片的類型確定該內(nèi)插濾波器的抽頭數(shù)目；系數(shù)計算裝置，使用由該運(yùn)動預(yù)測裝置檢測的運(yùn)動矢量計算由該抽頭數(shù)目確定裝置確定的抽頭數(shù)目的該內(nèi)插濾波器的濾波器系數(shù)并且將預(yù)定的濾波器系數(shù)與計算的濾波器系數(shù)互相比較以選擇要用于內(nèi)插的濾波器系數(shù)；以及運(yùn)動補(bǔ)償裝置，使用由通過該系數(shù)計算裝置選擇的濾波器系數(shù)的該內(nèi)插濾波器內(nèi)插的參考圖像和由該運(yùn)動預(yù)測裝置檢測的運(yùn)動矢量生成預(yù)測圖像。根據(jù)本發(fā)明的第二方面的圖像處理方法，包括由圖像處理設(shè)備執(zhí)行的如下步驟執(zhí)行編碼對象的圖像與參考圖像之間的運(yùn)動預(yù)測以檢測運(yùn)動矢量；基于編碼對象的圖像的片的類型確定具有可變?yōu)V波器系數(shù)的用于以分?jǐn)?shù)精度內(nèi)插參考圖像的像素的內(nèi)插濾波器的抽頭數(shù)目；使用檢測的運(yùn)動矢量計算所確定的抽頭數(shù)目的內(nèi)插濾波器的濾波器系數(shù)并且將預(yù)定的濾波器系數(shù)與計算的濾波器系數(shù)互相比較以選擇要用于內(nèi)插的濾波器系數(shù)；以及使用由選擇的濾波器系數(shù)的內(nèi)插濾波器內(nèi)插的參考圖像和由運(yùn)動預(yù)測裝置檢測的運(yùn)動矢量生成預(yù)測圖像。根據(jù)本發(fā)明的第二方面的程序使計算機(jī)發(fā)揮圖像處理設(shè)備的作用，該圖像處理設(shè)備包括運(yùn)動預(yù)測裝置，執(zhí)行編碼對象的圖像與參考圖像之間的運(yùn)動預(yù)測以檢測運(yùn)動矢量；抽頭數(shù)目確定裝置，基于編碼對象的圖像的片的類型確定具有可變?yōu)V波器系數(shù)的用于以分?jǐn)?shù)精度內(nèi)插參考圖像的像素的內(nèi)插濾波器的抽頭數(shù)目；系數(shù)計算裝置，使用由該運(yùn)動預(yù)測裝置檢測的運(yùn)動矢量計算由該抽頭數(shù)目確定裝置確定的抽頭數(shù)目的該內(nèi)插濾波器的濾波器系數(shù)并且將預(yù)定的濾波器系數(shù)與計算的濾波器系數(shù)互相比較以選擇要用于內(nèi)插的濾波器系數(shù)；以及運(yùn)動補(bǔ)償裝置，使用由通過該系數(shù)計算裝置選擇的濾波器系數(shù)的該內(nèi)插濾波器內(nèi)插的參考圖像和由該運(yùn)動預(yù)測裝置檢測的運(yùn)動矢量生成預(yù)測圖像。在本發(fā)明的第一方面中，對編碼的圖像和與編碼的圖像對應(yīng)的運(yùn)動矢量進(jìn)行解碼。然后，確定針對編碼圖像的片的每種類型確定的內(nèi)插濾波器的抽頭數(shù)目，并且使用由濾波器系數(shù)的數(shù)目與所確定的抽頭數(shù)目相等的內(nèi)插濾波器所內(nèi)插的參考圖像和解碼的運(yùn)動矢量生成預(yù)測圖像。在本發(fā)明的第二方面中，在編碼對象的圖像與參考圖像之間執(zhí)行運(yùn)動預(yù)測以檢測運(yùn)動矢量，并且基于編碼對象的圖像的片的類型確定具有可變?yōu)V波器系數(shù)的用于以分?jǐn)?shù)精度內(nèi)插參考圖像的像素的內(nèi)插濾波器的抽頭數(shù)目。然后，使用檢測的運(yùn)動矢量計算所確定的抽頭數(shù)目的內(nèi)插濾波器的濾波器系數(shù)，并且把預(yù)定的濾波器系數(shù)與計算的濾波器系數(shù)互相比較以選擇要用于內(nèi)插的濾波器系數(shù)。然后，使用由選擇的濾波器系數(shù)的內(nèi)插濾波器內(nèi)插的參考圖像和由運(yùn)動預(yù)測裝置檢測的運(yùn)動矢量生成預(yù)測圖像。要注意，上述的圖像處理設(shè)備可以單獨(dú)設(shè)置為彼此獨(dú)立的設(shè)備或者可以均被構(gòu)造 為構(gòu)成一個圖像編碼設(shè)備或一個圖像解碼設(shè)備的內(nèi)部塊。有益效果利用本發(fā)明，能夠減少包括在流中的比特量和存儲器的使用區(qū)域。另外，利用本發(fā)明，尤其在B畫面的情況下，能夠減少包括在流中的比特量和存儲器的使用區(qū)域。


圖I是示出常規(guī)幀間預(yù)測的圖。圖2是詳細(xì)示出常規(guī)幀間預(yù)測的圖。圖3是示出內(nèi)插的圖。圖4是示出可分離AIF的圖。圖5是示出常規(guī)存儲器的使用區(qū)域的圖。圖6是示出雙向預(yù)測的圖。圖7是示出在雙向預(yù)測的情況下的常規(guī)存儲器的使用區(qū)域的圖。圖8是示出應(yīng)用了本發(fā)明的圖像編碼設(shè)備的第一實(shí)施例的結(jié)構(gòu)的框圖。
圖9是示出運(yùn)動預(yù)測和補(bǔ)償部分的結(jié)構(gòu)的例子的框圖。圖10是示出在四個抽頭的情況下的可分離AIF的圖。圖11是示出水平方向的濾波器系數(shù)的計算的圖。圖12是示出垂直方向的濾波器系數(shù)的計算的圖。圖13是示出圖8的圖像編碼設(shè)備的編碼 處理的流程圖。圖14是示出圖13的步驟S22的運(yùn)動預(yù)測和補(bǔ)償處理的流程圖。圖15是示出本發(fā)明的效果的圖。圖16是示出應(yīng)用了本發(fā)明的圖像解碼設(shè)備的第一實(shí)施例的例子的框圖。圖17是示出圖16的運(yùn)動補(bǔ)償部分的結(jié)構(gòu)的例子的框圖。圖18是示出圖17的圖像解碼設(shè)備的解碼處理的流程圖。圖19是示出圖18的步驟S139的運(yùn)動補(bǔ)償處理的流程圖。圖20是示出擴(kuò)張塊尺寸的例子的圖。圖21是示出計算機(jī)的硬件的結(jié)構(gòu)例子的框圖。圖22是示出應(yīng)用了本發(fā)明的電視接收機(jī)的主要結(jié)構(gòu)的例子的框圖。圖23是示出應(yīng)用了本發(fā)明的便攜式電話機(jī)的主要結(jié)構(gòu)的例子的框圖。圖24是示出應(yīng)用了本發(fā)明的硬盤記錄器的主要結(jié)構(gòu)的例子的框圖。圖25是示出應(yīng)用了本發(fā)明的圖像編碼設(shè)備的第二實(shí)施例的結(jié)構(gòu)的框圖。
具體實(shí)施例方式在下文中，參照附圖描述本發(fā)明的實(shí)施例。[圖像編碼設(shè)備的結(jié)構(gòu)的例子]圖8示出了作為應(yīng)用了本發(fā)明的圖像處理設(shè)備的圖像編碼設(shè)備的第一實(shí)施例的結(jié)構(gòu)。這個圖像編碼設(shè)備51例如基于H. 264和MPEG_4Part 10 (先進(jìn)視頻編碼)(下文中稱作H. 264/AVC)方法對向其輸入的圖像進(jìn)行壓縮編碼。在圖8的例子中，圖像編碼設(shè)備51由A/D轉(zhuǎn)換器61、屏幕重排序緩沖器62、算術(shù)運(yùn)算部分63、正交變換部分64、量化部分65、無損編碼部分66、累積緩沖器67、逆量化部分68、逆正交變換部分69、算術(shù)運(yùn)算部分70、去塊濾波器71、幀存儲器72、開關(guān)73、幀內(nèi)預(yù)測部分74、運(yùn)動預(yù)測和補(bǔ)償部分75、預(yù)測圖像選擇部分76和速率控制部分77構(gòu)成。A/D轉(zhuǎn)換器61將向其輸入的圖像進(jìn)行A/D轉(zhuǎn)換并且將所得圖像輸出到屏幕重排序緩沖器62以存儲在屏幕重排序緩沖器62中。屏幕重排序緩沖器62將存儲在其中的顯示順序的幀的圖像重新排列成用于對應(yīng)于GOP (Group of Picture，畫面組)的編碼的幀的順序。算術(shù)運(yùn)算部分63從自屏幕重排序緩沖器62讀取的圖像減去通過預(yù)測圖像選擇部分76選擇的來自幀內(nèi)預(yù)測部分74的預(yù)測圖像或者來自運(yùn)動預(yù)測和補(bǔ)償部分75的預(yù)測圖像，并且將差信息輸出到正交變換部分64。正交變換部分64對來自算術(shù)運(yùn)算部分63的差信息執(zhí)行諸如離散余弦變換或Karhunen-Lowe變換的正交變換并且輸出變換系數(shù)。量化部分65對從正交變換部分64輸出的變換系數(shù)進(jìn)行量化。從量化部分65輸出的量化的變換系數(shù)被輸入到無損編碼部分66，通過該無損編碼部分66，對量化的變換系數(shù)執(zhí)行諸如可變長度編碼或算術(shù)編碼的無損編碼并且執(zhí)行壓縮。無損編碼部分66從幀內(nèi)預(yù)測部分74獲取指示幀內(nèi)預(yù)測的信息并且從運(yùn)動預(yù)測和補(bǔ)償部分75獲取代表幀間預(yù)測模式等的信息。要注意，指示幀內(nèi)預(yù)測的信息和指示幀間預(yù)測的信息在下文中被分別稱作幀內(nèi)預(yù)測模式信息和幀間預(yù)測模式信息。無損編碼部分66對量化的變換系數(shù)進(jìn)行編碼并且對指示幀內(nèi)預(yù)測的信息、指示幀間預(yù)測模式的信息等進(jìn)行編碼，并且使用所得代碼作為壓縮圖像的首標(biāo)信息的一部分。無損編碼部分66將編碼的數(shù)據(jù)提供給累積緩沖器67以累積到累積緩沖器67中。例如，無損編碼部分66執(zhí)行無損編碼處理(例如，可變長度編碼或算術(shù)編碼)。作為可變長度編碼，在H. 264/AVC方法中規(guī)定的CAVLC (Context-Adaptive VariableLength Coding，上下文自適應(yīng)可變長度編碼)等是可用的。作為算術(shù)編碼，CABAC(Context-Adaptive Binary Arithmetic Coding,上下文自適應(yīng)二進(jìn)制算術(shù)編碼)等是可用的。例如，累積緩沖器67將從無損編碼部分66提供的數(shù)據(jù)作為編碼壓縮數(shù)據(jù)輸出到在下一級的沒有示出的記錄設(shè)備或發(fā)送路徑。同時，從量化部分65輸出的量化的變換系數(shù)還輸入到逆量化部分68，由逆量化部分68對它進(jìn)行逆量化，并且逆量化的變換系數(shù)由逆正交變換部分69進(jìn)行逆正交變換。通過算術(shù)運(yùn)算部分70，逆正交變換的輸出與從預(yù)測圖像選擇部分76提供的預(yù)測圖像進(jìn)行相力口，從而使它被轉(zhuǎn)換成局部解碼圖像。去塊濾波器71去除解碼圖像的塊失真并且將所得圖像提供給幀存儲器72以累積在幀存儲器72中。另外，在由去塊濾波器71執(zhí)行去塊濾波處理之前的圖像被提供給并累積在幀存儲器72中。開關(guān)73將累積在幀存儲器72中的參考圖像輸出到運(yùn)動預(yù)測和補(bǔ)償部分75或者幀內(nèi)預(yù)測部分74。在圖像編碼設(shè)備51中，例如，來自屏幕重排序緩沖器62的I畫面、B畫面和P畫面被提供給幀內(nèi)預(yù)測部分74作為要經(jīng)歷幀內(nèi)預(yù)測(還稱作幀內(nèi)處理)的圖像。另外，從屏幕重排序緩沖器62讀取的B畫面和P畫面被提供給運(yùn)動預(yù)測和補(bǔ)償部分75作為要經(jīng)歷幀間預(yù)測(還稱作幀間處理)的圖像。幀內(nèi)預(yù)測部分74基于從屏幕重排序緩沖器62讀取的用于幀內(nèi)預(yù)測的圖像和從幀存儲器72提供的參考圖像，執(zhí)行所有候選幀內(nèi)預(yù)測模式的幀內(nèi)預(yù)測處理以生成預(yù)測圖像。因此，幀內(nèi)預(yù)測部分74針對所有候選幀內(nèi)預(yù)測模式計算成本函數(shù)值并且選擇展示出計算的成本函數(shù)值中的最小值的幀內(nèi)預(yù)測模式中的那一個作為最佳幀內(nèi)預(yù)測模式。這個成本函數(shù)還稱作RD (Rate Distortion，速率失真)成本，并且基于如例如由JM (Joint Model，聯(lián)合模型)(即，H. 264/AVC方法的參考軟件)規(guī)定的高復(fù)雜度模式或低復(fù)雜度模式的技術(shù)計算它的值。具體地講，在采用高復(fù)雜度模式作為用于成本函數(shù)值的計算技術(shù)的情況下，臨時針對所有候選幀內(nèi)預(yù)測模式執(zhí)行直到編碼處理的處理，并且針對幀內(nèi)預(yù)測模式計算由下面的表達(dá)式(4)表示的成本函數(shù)。Cost (Mode) = D+ A R …(4)D是原始圖像與解碼圖像之間的差(失真)，R是包括直到正交變換系數(shù)的產(chǎn)生碼量，\是作為量化參數(shù)QP的函數(shù)給出的拉格朗日乘數(shù)。另一方面，在采用低復(fù)雜度模式作為用于成本函數(shù)值的計算技術(shù)的情況下，針對所有候選幀內(nèi)預(yù)測模式執(zhí)行幀內(nèi)預(yù)測圖像的生成以及表示幀內(nèi)預(yù)測模式的信息的首標(biāo)比特的計算等，并且針對幀內(nèi)預(yù)測模式計算由下面的表達(dá)式(5)表示的成本函數(shù)。Cost(Mode) = D+QPtoQuant(QP) Header_Bit (5)D是原始圖像與解碼圖像之間的差(失真)，Header_Bit是幀內(nèi)預(yù)測模式的首標(biāo)比特，并且QPtoQuant是作為量化參數(shù)QP的函數(shù)給出的函數(shù)。在低復(fù)雜度模式下，僅僅需要針對所有幀內(nèi)預(yù)測模式生成幀內(nèi)預(yù)測圖像并且不需要執(zhí)行編碼處理，因此，算術(shù)運(yùn)算量會小。、
幀內(nèi)預(yù)測部分74將在最佳幀內(nèi)預(yù)測模式下生成的預(yù)測圖像和該預(yù)測圖像的成本函數(shù)值提供給預(yù)測圖像選擇部分76。在由預(yù)測圖像選擇部分76選擇在最佳幀內(nèi)預(yù)測模式下生成的預(yù)測圖像的情況下，幀內(nèi)預(yù)測部分74將表示最佳幀內(nèi)預(yù)測模式的信息提供給無損編碼部分66。無損編碼部分66對這個信息進(jìn)行編碼并且使用編碼的信息作為壓縮圖像的首標(biāo)信息的一部分。從屏幕重排序緩沖器62讀取以進(jìn)行幀間處理的圖像和經(jīng)由開關(guān)73來自幀存儲器72的參考圖像被提供給運(yùn)動預(yù)測和補(bǔ)償部分75。運(yùn)動預(yù)測和補(bǔ)償部分75基于對象塊是包括在P片還是B片中，S卩，基于片的類型，確定抽頭數(shù)目。例如，在B片的情況下把抽頭數(shù)目確定為小于在P片的情況下的抽頭數(shù)目的抽頭數(shù)目。運(yùn)動預(yù)測和補(bǔ)償部分75使用具有帶有依據(jù)片的類型的抽頭數(shù)目的固定系數(shù)的內(nèi)插濾波器，執(zhí)行參考圖像的濾波處理。要注意，濾波器系數(shù)固定的表示并不意味著將濾波器系數(shù)固定為I個，但是它表示針對AIF(自適應(yīng)內(nèi)插濾波器)的變化的固定并且自然地可以替換系數(shù)。在下文中，由固定內(nèi)插濾波器執(zhí)行的濾波處理被稱作固定濾波處理。運(yùn)動預(yù)測和補(bǔ)償部分75基于要進(jìn)行幀間處理的圖像和在固定濾波處理后的參考圖像，在所有候選幀間預(yù)測模式下執(zhí)行塊的運(yùn)動預(yù)測以為每個塊生成運(yùn)動矢量。然后，運(yùn)動預(yù)測和補(bǔ)償部分75為在固定濾波處理后的參考圖像執(zhí)行補(bǔ)償處理以生成預(yù)測圖像。此時，運(yùn)動預(yù)測和補(bǔ)償部分75針對所有候選幀間預(yù)測模式確定處理對象的塊的成本函數(shù)值并且確定預(yù)測模式，并且確定在所確定的預(yù)測模式下的處理對象的片的成本函數(shù)值。另外，運(yùn)動預(yù)測和補(bǔ)償部分75使用生成的運(yùn)動矢量、要進(jìn)行幀間處理的圖像和參考圖像確定具有可變系數(shù)并且具有適合于片的類型的抽頭數(shù)目的內(nèi)插濾波器(AIF (自適應(yīng)內(nèi)插濾波器))的濾波器系數(shù)。然后，運(yùn)動預(yù)測和補(bǔ)償部分75使用確定的濾波器系數(shù)的濾波器，針對參考圖像執(zhí)行濾波處理。要注意，由可變內(nèi)插濾波器執(zhí)行的濾波處理在下文中還稱作可變?yōu)V波處理。運(yùn)動預(yù)測和補(bǔ)償部分75基于要進(jìn)行幀間處理的圖像和可變?yōu)V波處理后的參考圖像，在所有候選幀間預(yù)測模式下執(zhí)行塊的運(yùn)動預(yù)測以再次生成每個塊的運(yùn)動矢量。然后，運(yùn)動預(yù)測和補(bǔ)償部分75為可變?yōu)V波處理后的參考圖像執(zhí)行補(bǔ)償處理以生成預(yù)測圖像。此時，運(yùn)動預(yù)測和補(bǔ)償部分75針對所有候選幀間預(yù)測模式確定處理對象的塊的成本函數(shù)值并且確定預(yù)測模式，并且然后確定在所確定的預(yù)測模式下的處理對象的片的成本函數(shù)值。然后，運(yùn)動預(yù)測和補(bǔ)償部分75將固定濾波處理后的成本函數(shù)值與可變?yōu)V波處理后的成本函數(shù)值進(jìn)行比較。運(yùn)動預(yù)測和補(bǔ)償部分75采用成本函數(shù)值中具有較低值的那一個并且將預(yù)測圖像和成本函數(shù)值輸出到預(yù)測圖像選擇部分76，并且設(shè)置指示處理對象的片是否使用AIF的AIF使用標(biāo)記。在由預(yù)測圖像選擇部分76選擇最佳幀間預(yù)測模式下的對象塊的預(yù)測圖像的情況下，運(yùn)動預(yù)測和補(bǔ)償部分75將指示最佳幀間預(yù)測模式的信息(幀間預(yù)測模式信息)輸出到無損編碼部分66。此時，運(yùn)動矢量信息、參考幀信息、片的信息和AIF使用標(biāo)記以及在使用AIF的情況下的濾波器系數(shù)等被輸出到無損編碼部分66。無損編碼部分66再次對來自運(yùn)動預(yù)測和補(bǔ)償部分75的信息執(zhí)行諸如可變長度編碼或算術(shù)編碼的無損編碼處理并且將所得信息插入到壓縮圖像的首標(biāo)部分中。
預(yù)測圖像選擇部分76基于從幀內(nèi)預(yù)測部分74或運(yùn)動預(yù)測和補(bǔ)償部分75輸出的成本函數(shù)值，從最佳幀內(nèi)預(yù)測模式和最佳幀間預(yù)測模式中確定最佳預(yù)測模式。然后，預(yù)測圖像選擇部分76選擇確定的最佳預(yù)測模式的預(yù)測圖像并且將該預(yù)測圖像提供給算術(shù)運(yùn)算部分63和70。此時，如虛線所示，預(yù)測圖像選擇部分76將預(yù)測圖像的選擇信號提供給幀內(nèi)預(yù)測部分74或者運(yùn)動預(yù)測和補(bǔ)償部分75。速率控制部分77基于在累積緩沖器67中累積的壓縮圖像，控制量化部分65的量化操作的速率從而使得不會出現(xiàn)上溢或下溢。[運(yùn)動預(yù)測和補(bǔ)償部分的結(jié)構(gòu)的例子]圖9是示出運(yùn)動預(yù)測和補(bǔ)償部分75的結(jié)構(gòu)的例子的框圖。要注意，在圖9中，省去了圖8的開關(guān)73。在圖9的例子中，運(yùn)動預(yù)測和補(bǔ)償部分75由固定6抽頭濾波器81、固定4抽頭濾波器82、可變6抽頭濾波器83、6抽頭濾波器系數(shù)計算部分84、可變4抽頭濾波器85、4抽頭濾波器系數(shù)計算部分86、選擇器87和88、運(yùn)動預(yù)測部分89、運(yùn)動補(bǔ)償部分90、選擇器91和控制部分92構(gòu)成。來自屏幕重排序緩沖器62的輸入圖像(要進(jìn)行幀間處理的圖像)被輸入到6抽頭濾波器系數(shù)計算部分84、4抽頭濾波器系數(shù)計算部分86和運(yùn)動預(yù)測部分89。來自幀存儲器72的參考圖像被輸入到固定6抽頭濾波器81、固定4抽頭濾波器82、可變6抽頭濾波器83、6抽頭濾波器系數(shù)計算部分84、可變4抽頭濾波器85和4抽頭濾波器系數(shù)計算部分86。固定6抽頭濾波器81是在H. 264/AVC方法中規(guī)定的具有固定系數(shù)的6抽頭的內(nèi)插濾波器。固定6抽頭濾波器81對來自幀存儲器72的參考圖像執(zhí)行濾波處理并且將固定濾波處理后的參考圖像輸出到選擇器87。固定4抽頭濾波器82是具有固定系數(shù)的4抽頭的內(nèi)插濾波器，并且對來自幀存儲器72的參考圖像執(zhí)行濾波處理并且將固定濾波處理后的參考圖像輸出到選擇器87。可變6抽頭濾波器83是具有可變系數(shù)的6抽頭的內(nèi)插濾波器，并且使用由6抽頭濾波器系數(shù)計算部分84計算的6抽頭的濾波器系數(shù)對來自幀存儲器72的參考圖像執(zhí)行濾波處理并且將可變?yōu)V波處理后的參考圖像輸出到選擇器88。6抽頭濾波器系數(shù)計算部分84使用來自屏幕重排序緩沖器62的輸入圖像、來自幀存儲器72的參考圖像和來自運(yùn)動預(yù)測部分89的第一次的運(yùn)動矢量，計算用于使可變6抽頭濾波器83的濾波處理后的參考圖像近似于輸入圖像的6抽頭的濾波器系數(shù)。6抽頭濾波器系數(shù)計算部分84將計算的濾波器系數(shù)提供給可變6抽頭濾波器83和選擇器91。
可變4抽頭濾波器85是具有可變系數(shù)的4抽頭內(nèi)插濾波器，使用由4抽頭濾波器系數(shù)計算部分86計算的4抽頭濾波器系數(shù)對來自幀存儲器72的參考圖像執(zhí)行濾波處理并且將可變?yōu)V波處理后的參考圖像輸出到選擇器88。4抽頭濾波器系數(shù)計算部分86使用來自屏幕重排序緩沖器62的輸入圖像、來自幀存儲器72的參考圖像和來自運(yùn)動預(yù)測部分89的第一次的運(yùn)動矢量，計算用于將可變4抽頭濾波器85的濾波處理后的參考圖像向著輸入圖像進(jìn)行調(diào)整的4抽頭濾波器系數(shù)。4抽頭濾波器系數(shù)計算部分86將計算的濾波器系數(shù)提供給可變4抽頭濾波器85和選擇器91。在控制部分92的控制之下，在處理對象的片是P片的情況下，選擇器87選擇固定 6抽頭濾波器81的固定濾波后的參考圖像并且將選擇的參考圖像輸出到運(yùn)動預(yù)測部分89和運(yùn)動補(bǔ)償部分90。在控制部分92的控制之下，在處理對象的片是B片的情況下，選擇器87選擇固定4抽頭濾波器82的固定濾波后的參考圖像并且將選擇的參考圖像輸出到運(yùn)動預(yù)測部分89和運(yùn)動補(bǔ)償部分90。在控制部分92的控制之下，在處理對象的片是P片的情況下，選擇器88選擇可變6抽頭濾波器83的可變?yōu)V波后的參考圖像，并且將選擇的參考圖像輸出到運(yùn)動預(yù)測部分89和運(yùn)動補(bǔ)償部分90。在控制部分92的控制之下，在處理對象的片是B片的情況下，選擇器88選擇可變4抽頭濾波器85的可變?yōu)V波后的參考圖像并且將選擇的參考圖像輸出到運(yùn)動預(yù)測部分89和運(yùn)動補(bǔ)償部分90。具體地講，在處理對象的片是P片的情況下，選擇器87和88選擇6抽頭，而在處理對象的片是B片的情況下，選擇4抽頭。運(yùn)動預(yù)測部分89基于來自屏幕重排序緩沖器62的輸入圖像和來自選擇器87的固定濾波后的參考圖像針對所有候選幀間預(yù)測模式生成第一次的運(yùn)動矢量，并且將生成的運(yùn)動矢量輸出到6抽頭濾波器系數(shù)計算部分84、4抽頭濾波器系數(shù)計算部分86和運(yùn)動補(bǔ)償部分90。另外，運(yùn)動預(yù)測部分89基于來自屏幕重排序緩沖器62的輸入圖像和來自選擇器88的可變?yōu)V波后的參考圖像針對所有候選幀間預(yù)測模式生成第二次的運(yùn)動矢量并且將生成的運(yùn)動矢量輸出到運(yùn)動補(bǔ)償部分90。運(yùn)動補(bǔ)償部分90使用第一次的運(yùn)動矢量對來自選擇器87的固定濾波后的參考圖像執(zhí)行補(bǔ)償處理以生成預(yù)測圖像。然后，運(yùn)動補(bǔ)償部分90為每個塊計算成本函數(shù)值以確定最佳幀間預(yù)測模式并且在確定的最佳幀間預(yù)測模式下計算對象片的第一次的成本函數(shù)值。運(yùn)動補(bǔ)償部分90隨后使用第二次的運(yùn)動矢量對來自選擇器88的可變?yōu)V波后的參考圖像執(zhí)行補(bǔ)償處理以生成預(yù)測圖像。然后，運(yùn)動補(bǔ)償部分90為每個塊計算成本函數(shù)值以確定最佳幀間預(yù)測模式并且在確定的最佳幀間預(yù)測模式下計算對象片的第二次的成本函數(shù)值。然后，運(yùn)動補(bǔ)償部分90關(guān)于該對象片將第一次的成本函數(shù)值與第二次的成本函數(shù)值進(jìn)行比較并且確定使用濾波器中展示出較低值的那一個。具體地講，在第一次的成本函數(shù)值較低的情況下，運(yùn)動補(bǔ)償部分90關(guān)于對象片確定使用固定濾波器并且將用固定濾波后的參考圖像生成的預(yù)測圖像和成本函數(shù)值提供給預(yù)測圖像選擇部分76并且然后將AIF使用標(biāo)記的值設(shè)置成0 (未使用)。另一方面，在第二次的成本函數(shù)值較低的情況下，運(yùn)動補(bǔ)償部分90關(guān)于對象片確定使用可變?yōu)V波器。然后，運(yùn)動補(bǔ)償部分90將用可變?yōu)V波后的參考圖像生成的預(yù)測圖像和成本函數(shù)值提供給預(yù)測圖像選擇部分76并且將AIF使用標(biāo)記的值設(shè)置成I (使用)。在預(yù)測圖像選擇部分76選擇幀間預(yù)測圖像的情況下，在控制部分92的控制之下，運(yùn)動補(bǔ)償部分90將最佳幀間預(yù)測模式的信息、包括片的類型的片的信息、AIF使用標(biāo)記、運(yùn)動矢量、參考圖像的信息等輸出到無損編碼部分66。在預(yù)測圖像選擇部分76中選擇幀間預(yù)測圖像并且可變?yōu)V波器要被用于對象片的情況下，當(dāng)對象片是P片時，在控制部分92的控制之下，選擇器91將來自6抽頭濾波器系數(shù)計算部分84的濾波器系數(shù)輸出到無損編碼部分66。在預(yù)測圖像選擇部分76中選擇幀間預(yù)測圖像并且可變?yōu)V波器要被用于對象片的情況下，當(dāng)對象片是B片時，在控制部分92的控制之下，選擇器91將來自4抽頭濾波器系數(shù)計算部分86的濾波器系數(shù)輸出到無損編碼部分66?？刂撇糠?2響應(yīng)于對象片的類型，控制選擇器87、88和91。具體地講，在對象片是P片的情況下，控制部分92確定濾波器的抽頭數(shù)目應(yīng)該是6抽頭，但是在對象片是B片的情況下，控制部分92確定濾波器的抽頭數(shù)目應(yīng)該是4抽頭，小于P片的情況下的抽頭數(shù) 目。另一方面，如果接收到表示選擇來自預(yù)測圖像選擇部分76的幀間預(yù)測圖像的信號，則控制部分92執(zhí)行使得運(yùn)動補(bǔ)償部分90和選擇器91向無損編碼部分66輸出所需信息的控制。要注意，盡管在圖9的例子中彼此分離地提供了固定6抽頭濾波器81和固定4抽頭濾波器82，但是可以僅提供固定6抽頭濾波器81從而使得響應(yīng)于片選擇性地執(zhí)行6抽頭和4抽頭的濾波處理之一。類似地，盡管描述了彼此分離地提供可變6抽頭濾波器83和可變4抽頭濾波器85的例子，但是可以僅提供可變6抽頭濾波器83從而使得響應(yīng)于片選擇性地執(zhí)行6抽頭和4抽頭的濾波處理之一。在這個實(shí)例中，可以僅提供一個濾波器系數(shù)計算部分從而使得響應(yīng)于片選擇性地執(zhí)行6抽頭和4抽頭的濾波處理之一。[內(nèi)插處理方法]例如，可變6抽頭濾波器83通過在上文參照圖4描述的可分離自適應(yīng)內(nèi)插濾波器(下文稱作可分離AIF)執(zhí)行內(nèi)插處理。要注意，盡管在上文中參照圖4描述了 6抽頭的可分離AIF，但是參照圖10描述由可變4抽頭濾波器85執(zhí)行的4抽頭的可分離AIF。要注意，在圖10中，施加斜線的方塊表示整數(shù)位置處的像素(整數(shù)像素(Int.pel))，空白方塊表示分?jǐn)?shù)位置處的像素(子像素)。另外，方塊中的字母表示由方塊表示的像素的像素值。另外，在4抽頭可分離AIF中，與6抽頭的情況類似，在第一步驟執(zhí)行水平方向的非整數(shù)位置的內(nèi)插，在第二步驟執(zhí)行垂直方向的非整數(shù)位置的內(nèi)插。要注意，也可以顛倒水平方向和垂直方向的處理順序。首先，在第一步驟，借助FIR濾波器，根據(jù)下面的表達(dá)式(6)，基于整數(shù)位置處的像素的像素值E、F、G、H、I和J計算分?jǐn)?shù)位置處的像素的像素值a、b和C。這里，h [x] [y]是濾波器系數(shù)并且包括在流信息中并且由解碼側(cè)使用。a = hi [a] [I] XF+h2[a] [2] X G+h [a] [3] XH+h[a] [4] X Ib = hl[b] [I] XF+h2[b] [2] XG+h [b] [3] XH+h [b] [4] X Ic = hi [c] [I] XF+h2 [c] [2] XG+h [c] [3] XH+h [c] [4] X I …(6)
另外，要注意，能夠與像素值a、b和c相類似地確定像素值G2、G3和G4的行中的分?jǐn)?shù)位置處的像素的像素值(a2、b2、c2、a3、b3、c3、a4、b4、c4)。然后，在第二步驟，根據(jù)下面的表達(dá)式(7)計算像素值a、b和c之外的像素值d到
Ood = h[d] [I] XG2+h[d] [2] XG+h[d] [3] XG3+h[d] [4]*G4h = h[h] [I] XG2+h[h] [2] XG+h[h] [3] XG3+h[h] [4]*G4I = h[l] [I] XG2+h[l] [2] X G+h [I] [3] XG3+h[l] [4]*G4e = h[e] [I] Xa2+h[e] [2] Xa+h[e] [3] Xa3+h[e] [4]*a4i = h[i] [I] Xa2+h[i] [2] Xa+h[i] [3] Xa3+h[i] [4]*a4
m = h[m] [I] Xa2+h[m] [2] Xa+h[m] [3] Xa3+h[m] [4]*a4f = h[f] [I] Xb2+h[f] [2] Xb+h[f] [3] Xb3+h[f] [4]*b4j = h[j] [I] Xb2+h[j] [2] Xb+h[j] [3] Xb3+h[j] [4]*b4n = h[n] [I] Xb2+h[n] [2] Xb+h[n] [3] Xb3+h[n] [4]*b4g = h[g] [I] Xc2+h[g] [2] Xc+h[g] [3] Xc3+h[g] [4]*c4k = h[k] [I] Xc2+h[k] [2] Xc+h[k] [3] Xc3+h[k] [4]*c4o = h[o] [I] Xc2+h[o] [2] Xc+h[o] [3] Xc3+h[o] [4]*c4 …(7)[濾波器系數(shù)的計算方法]現(xiàn)在，描述由6抽頭濾波器系數(shù)計算部分84執(zhí)行的濾波器系數(shù)的計算方法。關(guān)于濾波器系數(shù)的計算方法，由于多種類型可應(yīng)用于AIF的內(nèi)插方法，所以盡管略有不同，但是它們在使用最小二乘法的這種基本部分是相同的。描述了一種作為代表的內(nèi)插方法，其中，在水平內(nèi)插處理后，由可分離AIF (自適應(yīng)內(nèi)插濾波器)在兩個階段執(zhí)行垂直方向的內(nèi)插。圖11表示可分離AIF的水平方向的濾波。在圖11所示的水平方向的濾波中，施加斜線的方塊表示整數(shù)位置處的像素(整數(shù)像素(Int. pel))，空白方塊表示分?jǐn)?shù)位置處的像素(子像素)。另外，方塊中的字母表示由方塊表示的像素的像素值。首先，執(zhí)行水平方向的內(nèi)插，即，確定圖11的像素值a、b和c的分?jǐn)?shù)位置的像素位置的濾波器系數(shù)。這里，由于使用6抽頭濾波器，所以為了計算分?jǐn)?shù)位置處的像素值a、b和c，使用整數(shù)位置處的像素值Cl、C2、C3、C4、C5和C6，并且計算濾波器系數(shù)以使下面的表達(dá)式(8)最小。Sgp = Ex.yl^x.y — ￡"=0 ^sa,; '* ■ ■ > 3 1這里，e是預(yù)測誤差，sp是分?jǐn)?shù)位置處的像素值a、b和c之一，S是原始信號，P是解碼的參考像素值，X和y是原始信號的對象的像素位置。另外，在表達(dá)式⑶中，S是下面的表達(dá)式(9)。Jc = X-*- MVs — Filter Offset , ■ (9 >通過第一次的運(yùn)動預(yù)測檢測MVdP sp，并且其中1^!￡是整數(shù)精度的水平方向的運(yùn)動矢量，sp表示分?jǐn)?shù)位置的像素位置并且對應(yīng)于運(yùn)動矢量的分?jǐn)?shù)部分。FilterOffset對應(yīng)于通過從濾波器的抽頭數(shù)目的一半減去I獲得的值，并且這里，2 = 6/2-1。h是濾波器系數(shù)，i假設(shè)從0到5的值。像素值a、b和c的最佳濾波器系數(shù)能夠被確定為使e的平方最小的h。如下面的表達(dá)式(10)所示，獲得聯(lián)立方程從而使得通過預(yù)測誤差的平方對h的偏微分獲得的值設(shè)置成零。通過求解該聯(lián)立方程，能夠確定關(guān)于從0到5的i的彼此獨(dú)立的濾波器系數(shù)，其中，分?jǐn)?shù)位置的像素值(sp)是a、b和C。
權(quán)利要求
1.一種圖像處理設(shè)備，包括 內(nèi)插濾波器，具有可變?yōu)V波器系數(shù)，用于以分?jǐn)?shù)精度內(nèi)插與編碼的圖像對應(yīng)的參考圖像的像素； 解碼裝置，對編碼的圖像和與編碼的圖像對應(yīng)的運(yùn)動矢量進(jìn)行解碼； 抽頭數(shù)目確定裝置，確定為編碼的圖像的片的每種類型確定的所述內(nèi)插濾波器的抽頭數(shù)目；以及 運(yùn)動補(bǔ)償裝置，使用由濾波器系數(shù)的數(shù)目等于由所述抽頭數(shù)目確定裝置確定的抽頭數(shù)目的所述內(nèi)插濾波器內(nèi)插的參考圖像和由所述解碼裝置解碼的運(yùn)動矢量生成預(yù)測圖像。
2.根據(jù)權(quán)利要求I的圖像處理設(shè)備，其中，所述解碼裝置還對所述內(nèi)插濾波器的濾波器系數(shù)進(jìn)行解碼。
3.根據(jù)權(quán)利要求I的圖像處理設(shè)備，還包括濾波器系數(shù)計算裝置，用于計算當(dāng)編碼對象的圖像是B片時使參考圖像與預(yù)測圖像之間的差減小的濾波器系數(shù)。
4.根據(jù)權(quán)利要求I的圖像處理設(shè)備，其中，所述抽頭數(shù)目確定裝置在編碼對象的圖像是B片時把所述內(nèi)插濾波器的抽頭數(shù)目確定為小于在編碼對象的圖像是B片之外的任何其它片的情況下的抽頭數(shù)目的抽頭數(shù)目。
5.一種圖像處理方法，包括由圖像處理設(shè)備執(zhí)行的如下步驟 對編碼的圖像和與編碼的圖像對應(yīng)的運(yùn)動矢量進(jìn)行解碼； 確定為編碼的圖像的片的每種類型確定的所述內(nèi)插濾波器的抽頭數(shù)目；以及使用由濾波器系數(shù)的數(shù)目等于確定的抽頭數(shù)目的內(nèi)插濾波器內(nèi)插的參考圖像和解碼的運(yùn)動矢量生成預(yù)測圖像。
6.一種使計算機(jī)發(fā)揮如下部件的作用的程序 解碼裝置，對編碼的圖像和與編碼的圖像對應(yīng)的運(yùn)動矢量進(jìn)行解碼； 抽頭數(shù)目確定裝置，確定為編碼的圖像的片的每種類型確定的所述內(nèi)插濾波器的抽頭數(shù)目；以及 運(yùn)動補(bǔ)償裝置，使用由濾波器系數(shù)的數(shù)目等于由所述抽頭數(shù)目確定裝置確定的抽頭數(shù)目的所述內(nèi)插濾波器內(nèi)插的參考圖像和由所述解碼裝置解碼的運(yùn)動矢量生成預(yù)測圖像。
7.一種圖像處理設(shè)備，包括 運(yùn)動預(yù)測裝置，執(zhí)行編碼對象的圖像與參考圖像之間的運(yùn)動預(yù)測以檢測運(yùn)動矢量； 內(nèi)插濾波器，具有可變?yōu)V波器系數(shù)，用于以分?jǐn)?shù)精度內(nèi)插參考圖像的像素； 抽頭數(shù)目確定裝置，基于編碼對象的圖像的片的類型確定所述內(nèi)插濾波器的抽頭數(shù)目； 系數(shù)計算裝置，使用由所述運(yùn)動預(yù)測裝置檢測的運(yùn)動矢量計算由所述抽頭數(shù)目確定裝置確定的抽頭數(shù)目的所述內(nèi)插濾波器的濾波器系數(shù)，并且將預(yù)定的濾波器系數(shù)與計算的濾波器系數(shù)互相比較以選擇要用于內(nèi)插的濾波器系數(shù)；以及 運(yùn)動補(bǔ)償裝置，使用由通過所述系數(shù)計算裝置選擇的濾波器系數(shù)的所述內(nèi)插濾波器內(nèi)插的參考圖像和由所述運(yùn)動預(yù)測裝置檢測的運(yùn)動矢量生成預(yù)測圖像。
8.一種圖像處理方法，包括由圖像處理設(shè)備執(zhí)行的如下步驟 執(zhí)行編碼對象的圖像與參考圖像之間的運(yùn)動預(yù)測以檢測運(yùn)動矢量； 基于編碼對象的圖像的片的類型確定具有可變?yōu)V波器系數(shù)的用于以分?jǐn)?shù)精度內(nèi)插參考圖像的像素的內(nèi)插濾波器的抽頭數(shù)目； 使用檢測的運(yùn)動矢量計算所確定的抽頭數(shù)目的內(nèi)插濾波器的濾波器系數(shù)并且將預(yù)定的濾波器系數(shù)與計算的濾波器系數(shù)互相比較以選擇要用于內(nèi)插的濾波器系數(shù)；以及 使用由選擇的濾波器系數(shù)的內(nèi)插濾波器內(nèi)插的參考圖像和由運(yùn)動預(yù)測裝置檢測的運(yùn)動矢量生成預(yù)測圖像。
9.一種使計算機(jī)用作圖像處理設(shè)備的程序，所述圖像處理設(shè)備包括 運(yùn)動預(yù)測裝置，執(zhí)行編碼對象的圖像與參考圖像之間的運(yùn)動預(yù)測以檢測運(yùn)動矢量；抽頭數(shù)目確定裝置，基于編碼對象的圖像的片的類型確定具有用于以分?jǐn)?shù)精度內(nèi)插參考圖像的像素的可變?yōu)V波器系數(shù)的內(nèi)插濾波器的抽頭數(shù)目； 系數(shù)計算裝置，使用由所述運(yùn)動預(yù)測裝置檢測的運(yùn)動矢量計算由所述抽頭數(shù)目確定裝置確定的抽頭數(shù)目的所述內(nèi)插濾波器的濾波器系數(shù)，并且將預(yù)定的濾波器系數(shù)與計算的濾波器系數(shù)互相比較以選擇要用于內(nèi)插的濾波器系數(shù)；以及 運(yùn)動補(bǔ)償裝置，使用由通過所述系數(shù)計算裝置選擇的濾波器系數(shù)的所述內(nèi)插濾波器內(nèi)插的參考圖像和由所述運(yùn)動預(yù)測裝置檢測的運(yùn)動矢量生成預(yù)測圖像。
全文摘要
本發(fā)明涉及能夠減小包括在流中的比特量和存儲器的使用區(qū)域的圖像處理設(shè)備、方法和程序。在圖像編碼設(shè)備51中，當(dāng)對象片是B片時，可變內(nèi)插濾波器(AIF)的抽頭數(shù)目例如被確定為4個抽頭。因此，即使在執(zhí)行4×4尺寸的雙向預(yù)測的情況下，除了在內(nèi)插處理后獲得的4×4空白方塊的像素外，僅需從幀存儲器讀入施加斜線的方塊的像素，即前方向和后方向的98=2×49個像素。換言之，與傳統(tǒng)情況相比，內(nèi)插處理不再需要由黑方塊指示的32個像素。本發(fā)明例如能夠應(yīng)用于例如基于H.264/AVC方法進(jìn)行編碼的圖像編碼設(shè)備。
文檔編號H04N7/32GK102668568SQ20108005842
公開日2012年9月12日 申請日期2010年12月14日 優(yōu)先權(quán)日2009年12月22日
發(fā)明者近藤健治 申請人:索尼公司