專利名稱：圖像處理設(shè)備及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備及方法，并且尤其涉及與基準(zhǔn)塊相鄰的相鄰像素存在于圖像框外部的情況下也能夠進(jìn)行二次預(yù)測的圖像處理設(shè)備及方法。
背景技術(shù)：
近年來，通過采用用于處理作為數(shù)字信號(hào)的圖像信息的編碼系統(tǒng)并且利用圖像信息特有的冗余性，同時(shí)針對(duì)高效信息傳輸和存儲(chǔ)，對(duì)圖像進(jìn)行壓縮編碼以通過正交變換如離散余弦變換等和運(yùn)動(dòng)補(bǔ)償壓縮圖像的設(shè)備正在普及。該編碼方法的示例包括MPEG(運(yùn)動(dòng)圖像專家組)等。具體地，MPEG2(IS0/IEC13818-2)被定義為通用圖像編碼格式，并且是包含隔行掃描圖像和逐行掃描圖像二者以及標(biāo)準(zhǔn)分辨率圖像和高清晰度圖像的標(biāo)準(zhǔn)。例如，MPEG2如今已被廣泛應(yīng)用于專業(yè)用途和消費(fèi)者用途的寬范圍。例如在具有720X480像素的標(biāo)準(zhǔn)分辨率的隔行掃描圖像的情況下，通過采用MPEG2壓縮格式，分配4至8Mbps的代碼量(比特率)。例如在具有1920X 1088像素的高分辨率的隔行掃描圖像的情況下，通過采用MPEG2 壓縮格式，分配18至22Mbps的代碼量(比特率)。因此，可以實(shí)現(xiàn)高壓縮率和優(yōu)良的圖像質(zhì)量。利用MPEG2，主要將適于廣播用途的高圖像質(zhì)量編碼作為對(duì)象，但不處理比MPEGl 的代碼量低的代碼量(比特率)，即，具有更高壓縮率的編碼格式。由于個(gè)人數(shù)字助理變得普及，預(yù)期對(duì)于這種編碼格式的需求從今開始將會(huì)增加，并且響應(yīng)于此，MPEG4編碼格式已經(jīng)被標(biāo)準(zhǔn)化。關(guān)于圖像編碼格式，其規(guī)范在1998年12月被批準(zhǔn)作為IS0/IEC14496-2國際標(biāo)準(zhǔn)。此外，近年來，以用于電視會(huì)議用途的圖像編碼為對(duì)象，作為H. 26L (ITU-T Q6/16VCEG)的標(biāo)準(zhǔn)的標(biāo)準(zhǔn)化已經(jīng)取得進(jìn)展。已經(jīng)知道，與傳統(tǒng)的編碼格式如MPEG2或 MPEG4相比，盡管利用H. 26L編碼和解碼需要更大的計(jì)算量，但實(shí)現(xiàn)了更高的編碼效率。此外，當(dāng)前作為MPEG4的活動(dòng)的一部分，已經(jīng)進(jìn)行了如下標(biāo)準(zhǔn)化作為增強(qiáng)壓縮視頻編碼的聯(lián)合模型(Joint Model of Enhanced-Compression Video Coding)，該標(biāo)準(zhǔn)化采用 H. 26L 作為基礎(chǔ)實(shí)現(xiàn)更高編碼效率、利用該H. 26L不支持的功能。就標(biāo)準(zhǔn)化日程來說，H. 264和 MPEG-4Part 10 (Advanced Video Coding，高級(jí)視頻編碼，在下文中稱為 H. 264/AVC)已于 2003年3月成為國際標(biāo)準(zhǔn)。此外，作為其擴(kuò)展的包括諸如RGB、4 2 2、4 4 4等操作所必需的編碼工具、MPEG-2規(guī)定的8X8DCT(離散余弦變換)和量化矩陣的FRExt (Fidelity Range Extension，保真度范圍擴(kuò)展)的標(biāo)準(zhǔn)化也在2005年2月完成。因此，獲得了能夠使用H. 264/AVC良好地表達(dá)動(dòng)畫中的電影噪聲的編碼格式，并且將被用在諸如藍(lán)光光盤 (Blu-Ray Disc，注冊(cè)商標(biāo))的廣泛應(yīng)用中。然而，最近對(duì)更高壓縮編碼的需求增加，例如要壓縮大約4000X2000像素的圖像，其為高清晰(Hi-Vision)圖像的四倍。另外，例如為了在有限傳輸能力的環(huán)境中(如因特網(wǎng))散布高清晰圖像，也需要更高壓縮編碼。因此，上述ITU-T下的VCEG( = Video Coding Expert Group，視頻編碼專家組)繼續(xù)進(jìn)行與提高編碼效率有關(guān)的研究。例如，在非專利文獻(xiàn)1中提出用于以幀間預(yù)測進(jìn)一步提高編碼效率的二階預(yù)測方法。將參考圖1描述該二階預(yù)測方法。在圖1的示例中示出目標(biāo)幀和基準(zhǔn)幀，在目標(biāo)幀中示出目標(biāo)塊A。在基準(zhǔn)幀和目標(biāo)幀中獲得關(guān)于目標(biāo)塊A的運(yùn)動(dòng)矢量mV(mV_x，mv_y)的情況下，計(jì)算目標(biāo)塊A和通過矢量mv與目標(biāo)塊A相關(guān)聯(lián)的塊B之間的差分信息(余差)。利用該二階方法，不僅計(jì)算與目標(biāo)塊A有關(guān)的差分信息，而且還計(jì)算與目標(biāo)塊A相鄰的相鄰像素組A’和通過矢量mv與相鄰像素組A’相關(guān)聯(lián)的相鄰像素組B’之間的差分信肩、ο也就是說，從目標(biāo)塊A的左上地址(X，y)獲得相鄰像素組A’的每個(gè)像素的地址。 并且，從通過運(yùn)動(dòng)矢量mv (mv_x,mv_y)與目標(biāo)塊A相關(guān)聯(lián)的塊B的左上地址(X+mv_X，y+mv_ y)計(jì)算相鄰像素組B’的每個(gè)像素的地址。這些地址被用于計(jì)算相鄰像素組B’的差分信肩、ο利用該二階方法，在這樣計(jì)算出的與目標(biāo)塊有關(guān)的差分信息和與相鄰像素有關(guān)的差分信息之間進(jìn)行根據(jù)H. 264/AVC方法的幀內(nèi)預(yù)測，由此生成二階差分信息。所生成的二階差分信息進(jìn)行正交變換和量子化，與壓縮圖像一起編碼，并被發(fā)送到解碼側(cè)。非專利文獻(xiàn)非專利文件1 =Sijia Chen、Jinpeng Wang、Shangwen Li 和 Lu Yu 于 VCEG-AD09， ITU-Telecommunications Standardization Sector STUDY GROUP Question 6 Video coding Experts Group (VCEG)上的"Second Order Prediction (SOP) in P Slice" ，2008 年7月16-18日

發(fā)明內(nèi)容
技術(shù)問題現(xiàn)在，盡管目標(biāo)塊A總是存在于目標(biāo)幀的圖像框內(nèi)，但是基準(zhǔn)塊B是否存在于基準(zhǔn)幀的圖像框內(nèi)取決于目標(biāo)塊A的地址和運(yùn)動(dòng)矢量的值。例如，在圖2的示例中，在基準(zhǔn)幀中檢測關(guān)于目標(biāo)塊A的運(yùn)動(dòng)矢量mvl和mv2。通過運(yùn)動(dòng)矢量mvl與目標(biāo)塊A相關(guān)聯(lián)的基準(zhǔn)塊Bl的一部分從圖像框的下部伸出，并且因此與基準(zhǔn)塊Bl相鄰的相鄰像素組ΒΓ的一部分也從圖像框的下部伸出。另外，通過運(yùn)動(dòng)矢量mv2與目標(biāo)塊A相關(guān)聯(lián)的基準(zhǔn)塊B2在圖像框內(nèi)，但與基準(zhǔn)塊 B2相鄰的相鄰像素組B2’的一部分從圖像框的右部伸出。也就是說，不僅基準(zhǔn)塊是否存在于圖像框內(nèi)取決于目標(biāo)塊A的地址和運(yùn)動(dòng)矢量的值，而且與基準(zhǔn)塊相鄰的相鄰像素組是否存在于圖像框內(nèi)也取決于目標(biāo)塊A的地址和運(yùn)動(dòng)矢量的值。在這種情況下不在圖像框內(nèi)的像素不可利用，所以不作為基準(zhǔn)像素。因此，如果應(yīng)用非專利文獻(xiàn)1中描述的二階預(yù)測方法，則存在與基準(zhǔn)塊相鄰的相鄰像素不可利用的情況，并且在此情況下，難以進(jìn)行二階預(yù)測。也就是說，利用非專利文獻(xiàn)1中描述的二階預(yù)測方法，H. 264/AVC格式幀內(nèi)預(yù)測轉(zhuǎn)向二階預(yù)測。利用H. 264/AVC格式幀內(nèi)預(yù)測，不需要對(duì)相鄰像素的可用性進(jìn)行確定，所以H. 264/AVC格式幀內(nèi)預(yù)測不能轉(zhuǎn)為對(duì)用于二階預(yù)測的相鄰像素的可用性的確定因此，利用二階預(yù)測，需要增加與相鄰像素可用性的判定有關(guān)的電路。鑒于這種情況作出了本發(fā)明，并且即便在與基準(zhǔn)塊相鄰的相鄰像素存在于圖像框的外部的情況下也能夠進(jìn)行二階預(yù)測。根據(jù)本發(fā)明第一方面的圖像處理設(shè)備包括確定裝置，用于使用與目標(biāo)幀中的目標(biāo)塊相鄰的目標(biāo)相鄰像素的相對(duì)地址確定與基準(zhǔn)幀中的基準(zhǔn)塊相鄰的基準(zhǔn)相鄰像素是否存在于所述基準(zhǔn)幀的圖像框內(nèi)；端點(diǎn)處理裝置，用于在所述確定裝置確定所述基準(zhǔn)相鄰像素不存在于所述圖像框內(nèi)的情況下對(duì)所述基準(zhǔn)相鄰像素進(jìn)行端點(diǎn)處理；二階預(yù)測裝置，用于通過在所述目標(biāo)塊和所述基準(zhǔn)塊之間的差分信息與所述目標(biāo)相鄰像素和已經(jīng)由所述端點(diǎn)處理裝置對(duì)其進(jìn)行了端點(diǎn)處理的所述基準(zhǔn)相鄰像素之間的差分信息之間進(jìn)行預(yù)測來生成二階差分信息；以及編碼裝置，用于對(duì)由所述二階預(yù)測裝置生成的所述二階差分信息進(jìn)行編碼。該圖像處理設(shè)備可以還包括計(jì)算裝置，該計(jì)算裝置用于利用所述目標(biāo)塊的地址 (χ，y)、所述目標(biāo)塊通過其參考所述基準(zhǔn)塊的運(yùn)動(dòng)矢量信息(dx，dy)和所述目標(biāo)相鄰像素的相對(duì)地址(S χ，δγ)計(jì)算所述基準(zhǔn)相鄰像素的相對(duì)地址(x+dx+ δ χ, y+dy+ δ y)，其中所述確定裝置確定由所述計(jì)算裝置計(jì)算出的所述基準(zhǔn)相鄰像素的所述相對(duì)地址(x+dx+ δ χ， y+dy+ δ y)是否存在于圖像框內(nèi)。在將像素值表示為η個(gè)比特的情況下，所述端點(diǎn)處理裝置可以進(jìn)行端點(diǎn)處理，使得x+dx+ δ χ < 0或y+dy+ δ y < 0成立的基準(zhǔn)相鄰像素的像素值為211-1。在x+dx+ δ χ > WIDTH-I成立的情況下，所述端點(diǎn)處理裝置可以使用由地址 (WIDTH-1, y+dy+ δ y)指示的像素值作為基準(zhǔn)相鄰像素的像素值進(jìn)行端點(diǎn)處理，其中 “WIDTH”代表圖像框的水平方向上的像素的數(shù)目。在y+dy+ δ y > HEIGHT-1成立的情況下，所述端點(diǎn)處理裝置可以使用由地址 (x+dx+ δ X, HEIGHT-1)指示的像素值作為基準(zhǔn)相鄰像素的像素值進(jìn)行端點(diǎn)處理，其中 “HEIGHT”代表圖像框的垂直方向上的像素的數(shù)目。在x+dx+ δ χ > WIDTH-I和y+dy+ δ y > HEIGHT-1成立的情況下，所述端點(diǎn)處理裝置可以使用由地址(WIDTH-1，HEIGHT-1)指示的像素值作為基準(zhǔn)相鄰像素的像素值進(jìn)行端點(diǎn)處理，其中“WIDTH”代表圖像框的水平方向上的像素的數(shù)目，“HEIGHT”代表圖像框的垂直方向上的像素的數(shù)目。所述端點(diǎn)處理裝置可以針對(duì)不在圖像框內(nèi)的基準(zhǔn)相鄰像素進(jìn)行端點(diǎn)處理，其中通過鏡像處理在圖像框的邊界處對(duì)稱地生成像素值。二階預(yù)測裝置可以還包括幀內(nèi)預(yù)測裝置，用于使用所述目標(biāo)相鄰像素和已經(jīng)由所述端點(diǎn)處理裝置對(duì)其進(jìn)行了端點(diǎn)處理的基準(zhǔn)相鄰像素之間的差分信息進(jìn)行預(yù)測，以生成關(guān)于目標(biāo)塊的幀內(nèi)預(yù)測圖像；以及二階差分生成裝置，用于計(jì)算目標(biāo)塊和基準(zhǔn)塊之間的差分信息和由所述幀內(nèi)預(yù)測裝置生成的幀內(nèi)預(yù)測圖像的差分，以生成二階差分信息。在所述確定裝置確定所述基準(zhǔn)相鄰像素存在于所述圖像框內(nèi)時(shí)，所述二階預(yù)測裝置可以在所述目標(biāo)塊和所述基準(zhǔn)塊間的差分信息與所述目標(biāo)相鄰像素和所述基準(zhǔn)相鄰像素間的差分信息之間進(jìn)行預(yù)測。根據(jù)本發(fā)明第一方面的圖像處理方法包括以下步驟圖像處理設(shè)備使用與目標(biāo)幀中的目標(biāo)塊相鄰的目標(biāo)相鄰像素的相對(duì)地址確定與基準(zhǔn)幀中的基準(zhǔn)塊相鄰的基準(zhǔn)相鄰像素是否存在于所述基準(zhǔn)幀的圖像框內(nèi)，在確定所述基準(zhǔn)相鄰像素不存在于所述圖像框內(nèi)的情況下對(duì)所述基準(zhǔn)相鄰像素進(jìn)行端點(diǎn)處理，通過在所述目標(biāo)塊和所述基準(zhǔn)塊間的差分信息與所述目標(biāo)相鄰像素和已經(jīng)對(duì)其進(jìn)行端點(diǎn)處理的所述基準(zhǔn)相鄰像素間的差分信息之間進(jìn)行預(yù)測來生成二階差分信息，以及對(duì)所生成的二階差分信息編碼。根據(jù)本發(fā)明第二方面的圖像處理設(shè)備包括解碼裝置，用于對(duì)編碼的目標(biāo)幀中的目標(biāo)塊的圖像解碼；確定裝置，用于使用與所述目標(biāo)塊相鄰的目標(biāo)相鄰像素的相對(duì)地址確定與基準(zhǔn)幀中的基準(zhǔn)塊相鄰的基準(zhǔn)相鄰像素是否存在于所述基準(zhǔn)幀的圖像框內(nèi)；端點(diǎn)處理裝置，用于在所述確定裝置確定所述基準(zhǔn)相鄰像素不存在于所述圖像框內(nèi)的情況下對(duì)所述基準(zhǔn)相鄰像素進(jìn)行端點(diǎn)處理；二階預(yù)測裝置，用于通過使用所述目標(biāo)相鄰像素和已經(jīng)由所述端點(diǎn)處理裝置對(duì)其進(jìn)行了端點(diǎn)處理的所述基準(zhǔn)相鄰像素之間的差分信息進(jìn)行二階預(yù)測來生成預(yù)測圖像；以及計(jì)算裝置，用于將所述目標(biāo)塊的圖像、由所述二階預(yù)測裝置生成的預(yù)測圖像和所述基準(zhǔn)塊的圖像相加以生成所述目標(biāo)塊的解碼圖像。該圖像處理設(shè)備可以還包括計(jì)算裝置，該計(jì)算裝置用于利用所述目標(biāo)塊的地址 (χ，y)、所述目標(biāo)塊通過其參考所述基準(zhǔn)塊的運(yùn)動(dòng)矢量信息(dx，dy)和所述目標(biāo)相鄰像素的相對(duì)地址(S χ，δγ)計(jì)算所述基準(zhǔn)相鄰像素的相對(duì)地址(x+dx+ δ χ, y+dy+ δ y)，其中所述確定裝置確定由所述計(jì)算裝置計(jì)算出的所述基準(zhǔn)相鄰像素的所述相對(duì)地址(x+dx+ δ χ， y+dy+ δ y)是否存在于圖像框內(nèi)。在將像素值表示為η個(gè)比特的情況下，所述端點(diǎn)處理裝置可以進(jìn)行端點(diǎn)處理，使得x+dx+ δ χ < 0或y+dy+ δ y < 0成立的基準(zhǔn)相鄰像素的像素值為211-1。在x+dx+ δ χ > WIDTH-I成立的情況下，所述端點(diǎn)處理裝置可以使用由地址 (WIDTH-l,y+dy+ δ y)指示的像素值作為所述基準(zhǔn)相鄰像素的像素值進(jìn)行所述端點(diǎn)處理，其中“WIDTH”代表圖像框的水平方向上的像素的數(shù)目。在y+dy+ δ y > HEIGHT-1成立的情況下，所述端點(diǎn)處理裝置可以使用由地址 (x+dx+ δ χ, HEIGHT-1)指示的像素值作為所述基準(zhǔn)相鄰像素的像素值進(jìn)行所述端點(diǎn)處理， 其中“ HEIGHT”代表圖像框的垂直方向上的像素的數(shù)目。在x+dx+ δ χ > WIDTH-I和y+dy+ δ y > HEIGHT-I成立的情況下，所述端點(diǎn)處理裝置可以使用由地址(WIDTH-1，HEIGHT-1)指示的像素值作為所述基準(zhǔn)相鄰像素的像素值進(jìn)行所述端點(diǎn)處理，其中“WIDTH”代表圖像框的水平方向上的像素的數(shù)目，“HEIGHT”代表圖像框的垂直方向上的像素的數(shù)目。所述端點(diǎn)處理裝置可以針對(duì)不在圖像框內(nèi)的基準(zhǔn)相鄰像素進(jìn)行端點(diǎn)處理，其中通過鏡像處理在圖像框的邊界處對(duì)稱地生成像素值。所述二階預(yù)測裝置可以還包括預(yù)測圖像生成裝置，用于通過使用目標(biāo)相鄰像素和已經(jīng)由所述端點(diǎn)處理裝置對(duì)其進(jìn)行了端點(diǎn)處理的所述基準(zhǔn)相鄰像素之間的差分信息進(jìn)行二階預(yù)測來生成預(yù)測圖像。在所述確定裝置確定所述基準(zhǔn)相鄰像素存在于所述圖像框內(nèi)的情況下，所述二階預(yù)測裝置可以使用所述目標(biāo)相鄰像素和所述基準(zhǔn)相鄰像素之間的差分信息進(jìn)行預(yù)測。根據(jù)本發(fā)明第二方面的圖像處理方法包括以下步驟圖像處理設(shè)備對(duì)編碼的目標(biāo)幀中的目標(biāo)塊的圖像解碼，使用與所述目標(biāo)塊相鄰的目標(biāo)相鄰像素的相對(duì)地址確定與基準(zhǔn)幀中的基準(zhǔn)塊相鄰的基準(zhǔn)相鄰像素是否存在于所述基準(zhǔn)幀的圖像框內(nèi)，在確定所述基準(zhǔn)相鄰像素不存在于所述圖像框內(nèi)的情況下對(duì)所述基準(zhǔn)相鄰像素進(jìn)行端點(diǎn)處理，通過使用所述目標(biāo)相鄰像素和已經(jīng)對(duì)其進(jìn)行了端點(diǎn)處理的所述基準(zhǔn)相鄰像素之間的差分信息進(jìn)行二階預(yù)測來生成預(yù)測圖像；以及將所述目標(biāo)塊的圖像、由所述二階預(yù)測裝置生成的預(yù)測圖像和所述基準(zhǔn)塊的圖像相加以生成所述目標(biāo)塊的解碼圖像。根據(jù)本發(fā)明的第一方面，使用與目標(biāo)幀中的目標(biāo)塊相鄰的目標(biāo)相鄰像素的相對(duì)地址確定與基準(zhǔn)幀中的基準(zhǔn)塊相鄰的基準(zhǔn)相鄰像素是否存在于基準(zhǔn)幀的圖像框內(nèi)。在確定基準(zhǔn)相鄰像素不存在于圖像框內(nèi)的情況下，對(duì)基準(zhǔn)相鄰像素進(jìn)行端點(diǎn)處理，通過在目標(biāo)塊和基準(zhǔn)塊間的差分信息與目標(biāo)相鄰像素和已經(jīng)對(duì)其進(jìn)行了端點(diǎn)處理的基準(zhǔn)相鄰像素間的差分信息之間進(jìn)行預(yù)測生成二階差分信息，并且將生成的二階差分信息編碼。根據(jù)本發(fā)明的第二方面，對(duì)編碼的目標(biāo)幀中的目標(biāo)塊的圖像解碼，并且使用與目標(biāo)幀中的目標(biāo)塊相鄰的目標(biāo)相鄰像素的相對(duì)地址確定與基準(zhǔn)幀中的基準(zhǔn)塊相鄰的基準(zhǔn)相鄰像素是否存在于基準(zhǔn)幀的圖像框內(nèi)。在確定基準(zhǔn)相鄰像素不存在于圖像框內(nèi)的情況下， 對(duì)基準(zhǔn)相鄰像素進(jìn)行端點(diǎn)處理，通過在目標(biāo)塊和基準(zhǔn)塊間的差分信息與目標(biāo)相鄰像素和已經(jīng)對(duì)其進(jìn)行了端點(diǎn)處理的基準(zhǔn)相鄰像素間的差分信息之間進(jìn)行預(yù)測來生成二階差分信息， 以及將目標(biāo)塊的圖像、由二階預(yù)測裝置生成的預(yù)測圖像和基準(zhǔn)塊的圖像相加以生成目標(biāo)塊的解碼圖像。注意，上述圖像處理設(shè)備中的每一個(gè)可以是獨(dú)立的設(shè)備，也可以是構(gòu)成單個(gè)圖像編碼設(shè)備或圖像解碼設(shè)備的內(nèi)部塊。發(fā)明的有益效果根據(jù)本發(fā)明的第一方面，可以對(duì)圖像編碼。另外，根據(jù)本發(fā)明的第一方面，即使在與基準(zhǔn)塊相鄰的相鄰像素存在于圖像框的外部的情況下，也可以進(jìn)行二階預(yù)測。根據(jù)本發(fā)明的第二方面，可以對(duì)圖像解碼。另外，根據(jù)本發(fā)明的第二方面，即使在與基準(zhǔn)塊相鄰的相鄰像素存在于圖像框的外部的情況下，也可以進(jìn)行二階預(yù)測。


圖1是描述幀間預(yù)測中的二階預(yù)測系統(tǒng)的圖。圖2是描述與基準(zhǔn)塊相鄰的相鄰像素組的圖。圖3是示出應(yīng)用了本發(fā)明的圖像編碼設(shè)備的實(shí)施例的配置的框圖。圖4是用于描述塊尺寸可變運(yùn)動(dòng)預(yù)測和補(bǔ)償處理的圖。圖5是用于描述1/4像素精度的運(yùn)動(dòng)預(yù)測和補(bǔ)償處理的圖。圖6是用于描述多基準(zhǔn)幀的運(yùn)動(dòng)預(yù)測和補(bǔ)償方法的圖。圖7是用于描述運(yùn)動(dòng)矢量信息生成方法的示例的圖。圖8是示出圖3中的二階預(yù)測單元的配置示例的框圖。圖9是用于描述二階預(yù)測單元和基準(zhǔn)相鄰確定單元的操作的圖。圖10是用于描述基準(zhǔn)相鄰像素的設(shè)置的圖。圖11是用于描述基準(zhǔn)相鄰像素的設(shè)置的圖。圖12是用于描述端點(diǎn)處理的示例的圖。圖13是用于描述圖3中的圖像編碼設(shè)備的編碼處理的流程圖。
圖14是用于描述圖13中的步驟S21中的預(yù)測處理的流程圖。圖15是用于描述在16X 16像素幀內(nèi)預(yù)測模式的情況下的處理序列的圖。圖16是示出用于輝度信號(hào)的各種4X4像素幀內(nèi)預(yù)測模式的圖。圖17是示出用于輝度信號(hào)的各種4X4像素幀內(nèi)預(yù)測模式的圖。圖18是用于描述4X4像素幀內(nèi)預(yù)測的方向的圖。圖19是用于描述4X4像素幀內(nèi)預(yù)測的圖。圖20是用于描述用于輝度信號(hào)的4X4像素幀內(nèi)預(yù)測模式的編碼的圖。圖21是示出用于輝度信號(hào)的各種8X8像素幀內(nèi)預(yù)測模式的圖。圖22是示出用于輝度信號(hào)的各種8X8像素幀內(nèi)預(yù)測模式的圖。圖23是示出用于輝度信號(hào)的各種16X16像素幀內(nèi)預(yù)測模式的圖。圖24是示出用于輝度信號(hào)的各種16X16像素幀內(nèi)預(yù)測模式的圖。圖25是用于描述16X 16像素幀內(nèi)預(yù)測的圖。圖26是示出用于色差信號(hào)的各種幀內(nèi)預(yù)測模式的圖。圖27是用于描述圖14中步驟S31中的幀內(nèi)預(yù)測處理的流程圖。圖28是用于描述圖14中步驟S32中的幀間運(yùn)動(dòng)預(yù)測處理的流程圖。圖29是用于描述圖28中步驟S53中的基準(zhǔn)相鄰像素確定處理的流程圖。圖30是用于描述圖28中步驟S54中的二階預(yù)測處理的流程圖。圖31是示出應(yīng)用了本發(fā)明的圖像解碼設(shè)備的實(shí)施例的配置示例的框圖。圖32是示出圖31中的二階預(yù)測單元的配置示例的框圖。圖33是用于描述圖31中的圖像解碼設(shè)備的解碼處理的流程圖。圖34是用于描述圖33中步驟S138中的預(yù)測處理的流程圖。圖35是用于描述圖34中步驟S179中的二階幀間預(yù)測處理的流程圖。圖36是示出計(jì)算機(jī)硬件的配置示例的框圖。
具體實(shí)施例方式下面參考附圖描述本發(fā)明的實(shí)施例。圖像編碼設(shè)備的配置示例圖3示出作為應(yīng)用了本發(fā)明的圖像處理設(shè)備的圖像編碼設(shè)備的實(shí)施例的配置。該圖像編碼設(shè)備51使用例如H. 264和MPEG-4第十部分(Advanced Video Coding, 高級(jí)視頻編碼)(在下文中稱為264/AVC)格式對(duì)圖像進(jìn)行壓縮編碼。在圖3的示例中，圖像編碼設(shè)備51由A/D轉(zhuǎn)換單元61、畫面排序緩沖器62、計(jì)算單元63、正交變換單元64、量子化單元65、無損編碼單元66、存儲(chǔ)緩沖器67、逆量子化單元 68、逆正交變換單元69、計(jì)算單元70、解塊過濾器71、幀存儲(chǔ)器72、開關(guān)73、幀內(nèi)預(yù)測單元 74、運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75、二階預(yù)測單元76、基準(zhǔn)相鄰確定單元77、預(yù)測圖像選擇單元78 以及速率控制單元79構(gòu)成。A/D轉(zhuǎn)換單元61將輸入圖像從模擬轉(zhuǎn)換為數(shù)字，并且輸出到畫面排序緩沖器 62進(jìn)行存儲(chǔ)。畫面排序緩沖器62將用于顯示的存儲(chǔ)順序的各幀的圖像排序?yàn)橛糜诎凑?GOP (Group of Picture，圖片組)編碼的幀順序。計(jì)算單元63從自畫面排序緩沖器62讀取的圖像中減去由預(yù)測圖像選擇單元78選擇的來自幀內(nèi)預(yù)測單元74的預(yù)測圖像或者來自運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75的預(yù)測圖像，并將其差分信息輸出到正交變換單元64。正交變換單元64對(duì)來自計(jì)算單元63的差分信息進(jìn)行正交變換(如離散余弦變換、Karhunen-Loeve transform變換等)，并輸出其變換系數(shù)。 量子化單元65將正交變換單元64輸出的變換系數(shù)量子化。作為量子化單元65的輸出的量子化的變換系數(shù)被輸入到無損編碼單元66、進(jìn)行無損編碼(如可變長編碼、算術(shù)編碼等)并被壓縮。無損編碼單元66從幀內(nèi)預(yù)測單元74獲取表示幀內(nèi)預(yù)測的信息，并且從運(yùn)動(dòng)預(yù)測 /補(bǔ)償單元75獲取表示幀間預(yù)測模式等的信息。注意，在下文中將表示幀內(nèi)預(yù)測的信息和表示幀間預(yù)測的信息分別稱為幀內(nèi)預(yù)測模式信息和幀間預(yù)測模式信息。無損編碼單元66對(duì)量子化的變換系數(shù)編碼，并且還對(duì)表示幀內(nèi)預(yù)測的信息、表示幀間預(yù)測模式的信息等編碼，并且將它們作為壓縮圖像中的頭信息的一部分。無損編碼單元66將編碼的數(shù)據(jù)提供給存儲(chǔ)緩沖器67進(jìn)行存儲(chǔ)。例如，利用無損編碼單元66進(jìn)行如可變長編碼、算術(shù)編碼等的無損編碼處理?？勺冮L編碼的示例包括由H. 264/AVC格式確定的CAVLC(Context-Adaptive Variable Length Coding，基于上下文的自適應(yīng)可變長編碼)。算術(shù)編碼的示例包括CABACKontext-Adaptive Binary Arithmetic Coding，基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼)。存儲(chǔ)緩沖器67將從無損編碼單元66提供的數(shù)據(jù)作為由H. 264/AVC格式編碼的壓縮圖像輸出到圖中未示出的下游的存儲(chǔ)設(shè)備或傳輸路徑等。此外，從量子化單元65輸出的量子化變換系數(shù)還被輸入到逆量子化單元68、進(jìn)行逆量子化，然后還在逆正交變換單元69處進(jìn)行逆正交變換。進(jìn)行了逆正交變換的輸出通過計(jì)算單元70與從預(yù)測圖像選擇單元78提供的預(yù)測圖像相加，并且成為局部解碼的圖像。解塊過濾器71從解碼圖像中去除塊噪聲，然后將其提供給幀存儲(chǔ)器72進(jìn)行存儲(chǔ)。由解塊過濾器71進(jìn)行解塊過濾處理之前的圖像也被提供給幀存儲(chǔ)器72進(jìn)行存儲(chǔ)。開關(guān)73將存儲(chǔ)在幀存儲(chǔ)器72中的基準(zhǔn)圖像輸出到運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75或者幀內(nèi)預(yù)測單元74。利用該圖像編碼設(shè)備51，例如來自畫面排序緩沖器62的I圖片、B圖片和P圖片被提供給幀內(nèi)預(yù)測單元74，作為要進(jìn)行幀內(nèi)預(yù)測(也稱為幀內(nèi)處理)的圖像。另外，從畫面排序緩沖器62讀取的B圖片和P圖片被提供給運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75，作為要進(jìn)行幀間預(yù)測(也被稱為幀間處理)的圖像。幀內(nèi)預(yù)測單元74基于從畫面排序緩沖器62讀取的要進(jìn)行幀內(nèi)預(yù)測的圖像和從幀存儲(chǔ)器72提供的基準(zhǔn)圖像進(jìn)行作為候選的所有幀內(nèi)預(yù)測模式的幀內(nèi)預(yù)測處理，以生成預(yù)測圖像。此時(shí)，幀內(nèi)預(yù)測單元74針對(duì)所有候選幀內(nèi)預(yù)測模式計(jì)算成本函數(shù)值，并且選擇所算出的成本函數(shù)值給出最小值的幀內(nèi)預(yù)測模式作為最佳幀內(nèi)預(yù)測模式。幀內(nèi)預(yù)測單元74將在最佳幀內(nèi)預(yù)測模式中生成的預(yù)測圖像及其成本函數(shù)值提供給預(yù)測圖像選擇單元78。在預(yù)測圖像選擇單元78選擇了最佳幀內(nèi)預(yù)測模式中生成的預(yù)測圖像的情況下，幀內(nèi)預(yù)測單元74將表示最佳幀內(nèi)預(yù)測模式的信息提供給無損編碼單元66。 無損編碼單元66對(duì)該信息編碼以作為壓縮圖像中頭信息的一部分。運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75對(duì)于作為候選的所有幀間預(yù)測模式進(jìn)行運(yùn)動(dòng)預(yù)測和補(bǔ)償處理。具體地，從畫面排序緩沖器62讀取的要進(jìn)行幀間處理的圖像被提供給運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75，并且基準(zhǔn)圖像也從幀存儲(chǔ)器72經(jīng)由開關(guān)73提供給運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75。運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75基于要進(jìn)行幀間處理的圖像和基準(zhǔn)圖像檢測作為候選的所有幀間預(yù)測模式的運(yùn)動(dòng)矢量、基于這些運(yùn)動(dòng)矢量對(duì)基準(zhǔn)圖像進(jìn)行補(bǔ)償處理，并生成預(yù)測圖像。運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75將檢測出的運(yùn)動(dòng)矢量信息、用于幀間處理的圖像信息(地址等)以及作為要進(jìn)行幀間處理的圖像與所生成的預(yù)測圖像之間的余差的一階余差提供給二階預(yù)測單元76。二階預(yù)測單元76獲取與使用運(yùn)動(dòng)矢量信息與目標(biāo)塊相關(guān)聯(lián)的基準(zhǔn)塊相鄰的基準(zhǔn)相鄰像素的地址，并且提供給基準(zhǔn)相鄰確定單元77。二階預(yù)測單元76根據(jù)來自基準(zhǔn)相鄰確定單元77的對(duì)該輸入的確定結(jié)果，對(duì)從幀存儲(chǔ)器72讀取的并經(jīng)過二階預(yù)測處理的相應(yīng)像素進(jìn)行端點(diǎn)處理。注意，端點(diǎn)處理是使用存在于基準(zhǔn)幀的圖像框內(nèi)的另一個(gè)像素值確定用于該圖像框外部發(fā)現(xiàn)的基準(zhǔn)相鄰像素的像素值的處理。此外，二階預(yù)測是用于在一階余差與目標(biāo)相鄰像素和基準(zhǔn)相鄰像素之間的差分之間進(jìn)行預(yù)測并生成二階差分信息(二階余差)的處理。二階預(yù)測單元76將通過二階預(yù)測處理生成的二階余差和用于二階預(yù)測處理的幀內(nèi)預(yù)測模式的信息輸出到運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75作為二階預(yù)測中的幀內(nèi)預(yù)測模式信息?；鶞?zhǔn)相鄰確定單元77使用來自運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75的基準(zhǔn)相鄰像素的地址確定基準(zhǔn)相鄰像素是否存在于基準(zhǔn)幀的圖像框內(nèi)，并且將其確定結(jié)果提供給二階預(yù)測單元 76。運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75可以通過比較來自二階預(yù)測單元76的二階余差來確定用于二階預(yù)測的最佳幀內(nèi)預(yù)測模式。此外，運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75通過比較二階余差和一階余差來確定是否進(jìn)行二階預(yù)測處理(即，是對(duì)二階余差編碼還是對(duì)一階余差編碼)。注意， 關(guān)于所有候選幀間預(yù)測模式進(jìn)行這些處理。此外，運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75對(duì)于作為候選的所有幀間預(yù)測模式計(jì)算成本函數(shù)值。此時(shí)，運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75使用一階余差和二階余差中針對(duì)每個(gè)幀間預(yù)測模式確定的余差計(jì)算成本函數(shù)值。運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75將計(jì)算出的成本函數(shù)值中提供最小值的預(yù)測模式確定為最佳幀間預(yù)測模式。運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75將在最佳幀間預(yù)測模式中生成的預(yù)測圖像(或者要進(jìn)行幀間的圖像和二階余差之間的差分)及其成本函數(shù)值提供給預(yù)測圖像選擇單元78。在預(yù)測圖像選擇單元78選擇了最佳幀間預(yù)測模式中生成的預(yù)測圖像的情況下，運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75將表示最佳幀間預(yù)測模式的信息輸出到無損編碼單元66。此時(shí)，運(yùn)動(dòng)矢量信息、基準(zhǔn)幀信息和表示要進(jìn)行二階預(yù)測的二階預(yù)測標(biāo)記、用于二階預(yù)測的幀內(nèi)預(yù)測模式的信息等也被輸出到無損編碼單元66。無損編碼單元66還對(duì)來自運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75的信息進(jìn)行無損編碼處理(如可變長編碼、算術(shù)編碼等)，并插入到壓縮圖像的頭部中。預(yù)測圖像選擇單元78基于從幀內(nèi)預(yù)測單元74或運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75輸出的成本函數(shù)值在最佳幀內(nèi)預(yù)測模式和最佳幀間預(yù)測模式中確定最佳預(yù)測模式。然后預(yù)測圖像選擇單元78選擇所確定的最佳預(yù)測模式中的預(yù)測圖像，并提供給計(jì)算單元63和70。此時(shí)， 預(yù)測圖像選擇單元78將預(yù)測圖像的選擇信息提供給幀內(nèi)預(yù)測單元74或運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75。速率控制單元79基于存儲(chǔ)在存儲(chǔ)緩沖器67中的壓縮圖像控制量子化單元65的量子化操作的速率以避免引起溢出或下溢。H. 264/AVC格式的描沭圖4是示出根據(jù)H. 264/AVC格式的運(yùn)動(dòng)預(yù)測和補(bǔ)償?shù)膲K尺寸的示例的圖。利用 H. 264/AVC格式，對(duì)可變化的塊尺寸進(jìn)行運(yùn)動(dòng)預(yù)測和補(bǔ)償。在圖4中的上層從左側(cè)依次示出由分割為16X 16像素、16X8像素、8X 16像素和 8X8像素分區(qū)的16X16個(gè)像素構(gòu)成的宏塊。在圖4中的下層從左側(cè)依次示出分割為8X8 像素、8 X 4像素、4 X 8像素和4 X 4像素子分區(qū)的8 X 8像素分區(qū)。具體地，利用H. 264/AVC格式，可以將一個(gè)宏塊分割為16 X 16像素、16 X 8像素、 8X16像素和8X8像素分區(qū)中的一個(gè)，其中，每個(gè)分區(qū)具有獨(dú)立的運(yùn)動(dòng)矢量信息。此外，可以將8 X 8像素分區(qū)分割為8 X 8像素、8 X 4像素、4X 8像素和4X 4像素子分區(qū)中的一個(gè)， 其中，每個(gè)子分區(qū)具有獨(dú)立的運(yùn)動(dòng)矢量信息。圖5是用于描述根據(jù)H. 264/AVC格式的1/4像素精度的預(yù)測和補(bǔ)償處理的圖。根據(jù)H. 264/AVC格式，使用6抽頭FIR (Finite Impulse Response Filter，有限脈沖響應(yīng)過濾器)進(jìn)行1/4像素精度的預(yù)測和補(bǔ)償處理。在圖5的示例中，位置A表示整數(shù)精度像素，位置b、c和d表示1/2像素精度的位
置，位置el、e2和e3表示1/4像素精度的位置。首先，下面將Clip ()定義為如下表達(dá)式 ⑴。[數(shù)學(xué)表達(dá)式1]注意，在輸入圖像具有8比特精度的情況下，max_pix的值為255。使用6抽頭FIR過濾器按如下表達(dá)式(2)生成位置b和d的像素值。[數(shù)學(xué)表達(dá)式2]F = Α_2-5 · Α_!+20 · A0+20 · A「5 · A2+A3通過在水平方向和垂直方向上應(yīng)用6抽頭FIR過濾器按如下表達(dá)式(3)生成位置 c的像素值。[數(shù)學(xué)表達(dá)式3]F = b_2-5 · b_!+20 · b0+20 · b「5 · b2+b3或者F = d_2_5 · c^+20 · d0+20 · d「5 · d2+d3c = Clipl ((F+512) >> 10)...(3)注意，在進(jìn)行了水平方向和垂直方向上的積項(xiàng)和(sum-of-product)處理之后最終只進(jìn)行一次Clip處理。
'0,如果a<0; Clipl(a) = |a,其他；
max _ pix，如果 a > max _ ρ χ
1) b, d = Clipl ((F+16) >> 5)
…⑵
13
通過如下表達(dá)式(4)中示出的線性插值生成位置el至e3。[數(shù)學(xué)表達(dá)式4]θι = (A+b+1) >> 1e2 = (b+d+1) >> 1e3 = (b+c+1) >> 1... (4)圖6是用于描述根據(jù)H. 264/AVC格式的多基準(zhǔn)幀的預(yù)測和補(bǔ)償處理的圖。根據(jù) H. 264/AVC格式，設(shè)置多基準(zhǔn)幀(Multi-Reference Frame)的運(yùn)動(dòng)預(yù)測和補(bǔ)償方法。在圖6的示例中，示出從現(xiàn)在開始要編碼的目標(biāo)幀F(xiàn)n和已經(jīng)編碼的幀F(xiàn)n-5至 Fn-I。在時(shí)間軸上，幀F(xiàn)n-I比目標(biāo)幀F(xiàn)n早1幀，幀F(xiàn)n_2比目標(biāo)幀F(xiàn)n早2幀，幀F(xiàn)n_3比目標(biāo)幀F(xiàn)n早3幀。類似地，幀F(xiàn)n-4比目標(biāo)幀F(xiàn)n早4幀，幀F(xiàn)n_5比目標(biāo)幀F(xiàn)n早5幀。一般來說，在時(shí)間軸上離目標(biāo)幀F(xiàn)n越近的幀，要加的基準(zhǔn)圖片編號(hào)(ref_id)越小。具體地，幀 Fn-I具有最小的基準(zhǔn)圖片編號(hào)，并且此后基準(zhǔn)圖片編號(hào)按Fn-2、-,Fn-5的順序減小。關(guān)于目標(biāo)幀F(xiàn)n，示出了塊Al和塊A2，在塊Al與比目標(biāo)幀F(xiàn)n早2幀的幀F(xiàn)n_2的塊Al ’相關(guān)聯(lián)的假定下搜索運(yùn)動(dòng)矢量Vl。類似地，在塊A2與比目標(biāo)幀F(xiàn)n早4幀的幀F(xiàn)n_4 的塊Al’相關(guān)聯(lián)的假定下搜索運(yùn)動(dòng)矢量V2。如上所述，根據(jù)H. 264/AVC格式，可以利用存儲(chǔ)在存儲(chǔ)器中的多個(gè)基準(zhǔn)幀，在一個(gè)幀(圖片)中參考不同的基準(zhǔn)幀。具體地，例如，使得塊Al參考幀F(xiàn)n-2，塊A2參考幀F(xiàn)n-4， 可以為一個(gè)圖片中的每個(gè)塊提供獨(dú)立的基準(zhǔn)幀信息(基準(zhǔn)圖片編號(hào)(ref_id))。在此，塊表示參考圖4描述的16 X 16像素、16 X 8像素、8 X 16像素和8X8像素分區(qū)之一。8X8像素子塊分區(qū)內(nèi)的基準(zhǔn)幀必需一致。根據(jù)H. 264/AVC格式，通過執(zhí)行上面參考圖4至圖6描述的運(yùn)動(dòng)預(yù)測和補(bǔ)償處理， 生成大量的運(yùn)動(dòng)矢量信息，并且如果不經(jīng)改變就對(duì)這些信息進(jìn)行編碼，會(huì)引起編碼效率惡化。響應(yīng)于此，根據(jù)H. 264/AVC格式，按照?qǐng)D7中所示的方法，實(shí)現(xiàn)了運(yùn)動(dòng)矢量編碼信息的減少。圖7是用于描述根據(jù)H. 264/AVC格式的運(yùn)動(dòng)矢量信息生成方法的圖。在圖7的示例中，示出了現(xiàn)在要編碼的目標(biāo)塊E(例如，16X16像素)和與目標(biāo)塊 E相鄰的已經(jīng)編碼的塊A至D。具體地，塊D與目標(biāo)塊E的左上相鄰，塊B與目標(biāo)塊E的上方相鄰，塊C與目標(biāo)塊 E的右上相鄰，塊A與目標(biāo)塊E的左側(cè)相鄰。注意，塊A至D沒有被分割的理由是因?yàn)槊總€(gè)塊代表具有上面參考圖3描述的16X 16像素至4X4像素的一個(gè)結(jié)構(gòu)的塊。例如，假定用!1^代表關(guān)于1( = 4、8、(、0、幻的運(yùn)動(dòng)矢量信息。首先，通過使用關(guān)于塊A、B、C的運(yùn)動(dòng)矢量信息的中值預(yù)測按如下表達(dá)式(5)生成關(guān)于目標(biāo)塊E的預(yù)測運(yùn)動(dòng)矢量信息pmvE。pmvE = med (mvA, mvB, mvc)... (5)由于圖像框的邊緣以及之前編碼等原因，關(guān)于塊C的運(yùn)動(dòng)矢量信息可能不被使用 (可能是不可用的)。在此情況下，代替關(guān)于塊C的運(yùn)動(dòng)矢量信息，使用關(guān)于塊D的運(yùn)動(dòng)矢 M.fn 息。使用pmvE按如下表達(dá)式(6)生成作為目標(biāo)塊E的運(yùn)動(dòng)矢量信息的、將添加至壓縮圖像的頭部的數(shù)據(jù)mvdE。
mvdE = mvE-pmvE... (6)注意，在現(xiàn)實(shí)中，關(guān)于運(yùn)動(dòng)矢量信息的水平方向和垂直方向的分量獨(dú)立進(jìn)行處理。以這種方式生成預(yù)測運(yùn)動(dòng)矢量信息，作為基于與相鄰塊的相關(guān)性生成的預(yù)測運(yùn)動(dòng)矢量信息和運(yùn)動(dòng)矢量信息之間的差分的數(shù)據(jù)mvdE被添加至壓縮圖像的頭部，從而可以減少運(yùn)動(dòng)矢量信息。二階預(yù)測單元的配置示例圖8是示出二階預(yù)測單元的詳細(xì)配置示例的框圖。在圖8的示例中，二階預(yù)測單元76由基準(zhǔn)塊地址計(jì)算單元81、基準(zhǔn)相鄰地址計(jì)算單元82、基準(zhǔn)相鄰像素確定單元83、目標(biāo)相鄰像素讀取單元84、相鄰像素差分計(jì)算單元85、 幀內(nèi)預(yù)測單元86以及目標(biāo)塊差分緩沖器87構(gòu)成。運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75將目標(biāo)塊的運(yùn)動(dòng)矢量(dx，dy)提供給基準(zhǔn)塊地址計(jì)算單元81。運(yùn)動(dòng)矢量預(yù)測/補(bǔ)償單元75將目標(biāo)塊地址(x，y)提供給基準(zhǔn)塊地址計(jì)算單元81和目標(biāo)相鄰像素讀取單元84。運(yùn)動(dòng)矢量預(yù)測/補(bǔ)償單元75將作為目標(biāo)塊和基準(zhǔn)塊(預(yù)測圖像)之間的差分的一階余差提供給目標(biāo)塊差分緩沖器87?；鶞?zhǔn)塊地址計(jì)算單元81根據(jù)來自運(yùn)動(dòng)矢量預(yù)測/補(bǔ)償單元75的目標(biāo)塊地址(X， y)和目標(biāo)塊的運(yùn)動(dòng)矢量(dx，dy)確定基準(zhǔn)塊地址(x+dx，y+dy)?；鶞?zhǔn)塊地址計(jì)算單元81 將確定的基準(zhǔn)塊地址(x+dX，y+dy)提供給基準(zhǔn)相鄰地址計(jì)算單元82?；鶞?zhǔn)相鄰地址計(jì)算單元82基于基準(zhǔn)塊地址(x+dx，y+dy)和與目標(biāo)塊相鄰的目標(biāo)相鄰像素的相對(duì)地址計(jì)算作為基準(zhǔn)相鄰像素的相對(duì)地址的基準(zhǔn)相鄰地址?；鶞?zhǔn)相鄰地址計(jì)算單元82將計(jì)算出的基準(zhǔn)相鄰地址(x+dx+ δ X，y+dy+ δ y)提供給基準(zhǔn)相鄰確定單元77?；鶞?zhǔn)相鄰像素是否存在于基準(zhǔn)幀的圖像框內(nèi)的確定結(jié)果被從基準(zhǔn)相鄰確定單元 77輸入到基準(zhǔn)相鄰像素確定單元83。在相鄰像素存在于基準(zhǔn)幀的圖像框內(nèi)的情況下，基準(zhǔn)相鄰像素確定單元83從幀存儲(chǔ)器72中讀取以H. 264/AVC定義的相鄰像素并且將其存儲(chǔ)在未示出的內(nèi)置緩沖器中。另一方面，在基準(zhǔn)相鄰像素不存在于基準(zhǔn)幀的圖像框內(nèi)的情況下，基準(zhǔn)相鄰像素確定單元83對(duì)不存在的相鄰像素進(jìn)行端點(diǎn)處理以確定從幀存儲(chǔ)器72中讀取并存儲(chǔ)在未示出的內(nèi)置緩沖器中的基準(zhǔn)相鄰像素的像素值。在此，端點(diǎn)處理例如是取存在于基準(zhǔn)幀的圖像框內(nèi)的另一個(gè)像素值作為不存在于圖像框內(nèi)的相鄰像素的像素值的處理，稍后將參考圖 12詳細(xì)描述端點(diǎn)處理。目標(biāo)相鄰像素讀取單元84使用來自運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75的基準(zhǔn)塊地址(x，y) 從幀存儲(chǔ)器72讀取目標(biāo)塊的像素值并將其存儲(chǔ)在未示出的內(nèi)置緩沖器中。相鄰像素差分計(jì)算單元85從建立在目標(biāo)相鄰像素讀取單元84中的內(nèi)置緩沖器中讀取目標(biāo)相鄰像素[A’ ]，并且還從建立在相鄰像素差分計(jì)算單元85中的內(nèi)置緩沖器中讀取與目標(biāo)相鄰像素對(duì)應(yīng)的基準(zhǔn)相鄰像素[B’]。然后相鄰像素差分計(jì)算單元85計(jì)算從各自的內(nèi)置緩沖器中讀取的目標(biāo)相鄰像素[A’]和基準(zhǔn)相鄰像素[B’]之間的差分，并且將其作為相鄰像素的余差[A’ -B’ ]存儲(chǔ)在未示出的內(nèi)置緩沖器中。幀內(nèi)預(yù)測單元86從相鄰像素差分計(jì)算單元85的內(nèi)置緩沖器中讀取相鄰像素的余差[A’-B’]，并且從目標(biāo)塊差分緩沖器87中讀取目標(biāo)塊的一階余差[A-B]。幀內(nèi)預(yù)測單元 86使用相鄰像素的余差[A’-B’]以每個(gè)幀內(nèi)預(yù)測模式[模式]對(duì)目標(biāo)塊進(jìn)行幀內(nèi)預(yù)測，并生成幀內(nèi)預(yù)測圖像Ipred(A' -B，)[模式]。然后，幀內(nèi)預(yù)測單元86生成作為目標(biāo)塊的一階余差和針對(duì)目標(biāo)塊預(yù)測的幀內(nèi)預(yù)測圖像之間的差分的二階余差，并且將所生成的二階余差和此時(shí)的幀內(nèi)預(yù)測模式的信息提供給運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75。注意，在圖8的示例中的幀內(nèi)預(yù)測單元86處進(jìn)行作為二階預(yù)測的幀內(nèi)預(yù)測的電路可以與幀內(nèi)預(yù)測單元75共用一個(gè)電路。二階預(yù)測單元和基準(zhǔn)相鄰確定單元的操作說明接下來，參考圖9描述二階預(yù)測單元76和基準(zhǔn)相鄰確定單元77的操作。注意，以下描述針對(duì)目標(biāo)塊的塊尺寸為4 X 4像素的情況。在圖9的示例中，示出目標(biāo)幀和基準(zhǔn)幀，在目標(biāo)幀中示出目標(biāo)塊A和與目標(biāo)塊A相鄰的目標(biāo)相鄰像素A’。此外，在目標(biāo)幀和基準(zhǔn)幀之間示出在基準(zhǔn)幀處取得的關(guān)于目標(biāo)幀A 的運(yùn)動(dòng)矢量(dx，dy)。此外，在基準(zhǔn)幀中示出通過運(yùn)動(dòng)矢量mv(dx，dy)與目標(biāo)塊A相關(guān)聯(lián)的基準(zhǔn)塊B和與基準(zhǔn)塊B相鄰的基準(zhǔn)相鄰像素B’。注意，在附圖中，用陰影線示出目標(biāo)相鄰像素A’和基準(zhǔn)相鄰像素B’，以與目標(biāo)塊A和基準(zhǔn)塊B的像素區(qū)分。首先，在二階預(yù)測單元76進(jìn)行上面參考圖1描述的二階預(yù)測處理。此時(shí)，由基準(zhǔn)相鄰確定單元77對(duì)基準(zhǔn)塊B的基準(zhǔn)相鄰像素B’是否存在于圖像框內(nèi)進(jìn)行確定，并且在二階預(yù)測單元76處進(jìn)行如下設(shè)置。也就是說，如圖9中所示，如果將位于目標(biāo)塊A的左上的像素的地址(坐標(biāo))定義為(x，y)，則位于基準(zhǔn)塊B的左上的像素的地址因運(yùn)動(dòng)矢量mv(dX，dy)而被定義為(x+dx， y+dy)。此時(shí)，利用如下表達(dá)式(7)，將目標(biāo)相鄰像素A’的地址定義為(χ+ δ χ, y+Sy)，并且將目標(biāo)相鄰像素B，的地址定義為(x+dx+ δ χ，y+dy+ δ y)。(δ χ, δγ) = {(-1，-1)，(0，-1)，(1，-1)，(2，-1)，(3，-1)，(4，-1)，(5，-1)， (6，-1)，(7，-1)，(-1,0), (-1,1), (-1,2), (_1，3)}…(7)接下來，參考圖10和圖11描述使用這些地址設(shè)置基準(zhǔn)塊B的基準(zhǔn)相鄰像素B’。 注意，目標(biāo)塊A的目標(biāo)相鄰像素Α’的定義符合H.264/AVC的定義。也就是說，稍后將參考圖13和圖14描述其細(xì)節(jié)。首先，在圖10中的A的示例中，示出與基準(zhǔn)塊B相鄰的基準(zhǔn)相鄰像素B’的一部分從基準(zhǔn)幀的圖像框的左側(cè)伸出到外部的示例。在圖10中的B的示例中，示出與基準(zhǔn)塊B相鄰的基準(zhǔn)相鄰像素B’的一部分從基準(zhǔn)幀的圖像框的上側(cè)伸出到外部的示例。在這些情況下，S卩，對(duì)于如下表達(dá)式(8)成立時(shí)的基準(zhǔn)相鄰像素B’，二階預(yù)測單元 76將像素值設(shè)置為211-1。在此，我們稱像素值被表示為η個(gè)比特，并且在8個(gè)比特的情況下， 像素值是128。 x+dx+ δ χ < 0 或者 y+dy+ δ y > 0... (8)接下來，在圖11中的A的示例中，示出基準(zhǔn)相鄰像素B’的一部分以及基準(zhǔn)塊B的一部分從基準(zhǔn)幀的圖像框的下側(cè)伸出到外部的示例。在圖11中的B的示例中，示出與基準(zhǔn)塊B相鄰的基準(zhǔn)相鄰像素B’的一部分從基準(zhǔn)幀的圖像框的右側(cè)伸出到外部的示例。此時(shí)，我們稱目標(biāo)幀和基準(zhǔn)幀的圖像框尺寸為WIDTHXHEIGHT。如果圖像框尺寸為WIDTHXHEIGHT，在例如圖11中的A中所示的情況下，S卩，對(duì)于如下表達(dá)式(9)成立時(shí)的基準(zhǔn)相鄰像素B’，二階預(yù)測單元76將地址(WIDTH-l，y+dy+Sy)指示的像素設(shè)置為基準(zhǔn)相鄰像素。x+dx+ δ χ > WIDTH-I... (9)此外，如果圖像框尺寸為WIDTHX HEIGHT，在例如圖11中的B中所示的情況下，即， 如下表達(dá)式(10)成立時(shí)，二階預(yù)測單元76將地址(x+dx+δ X，HEIGHT-1)指示的像素設(shè)置為基準(zhǔn)相鄰像素。y+dy+ δ y > HEIGHT—1... (10)此外，如果圖像框尺寸為WIDTHXHEIGHT，在表達(dá)式(9)和(10) 二者都成立的情況下，二階預(yù)測單元76將地址(WIDTH-1，HEIGHT-1)指示的像素設(shè)置為基準(zhǔn)相鄰像素。也就是說，對(duì)于如圖11中的A和圖11中的B中的箭頭表示的從圖像框伸出到外部的基準(zhǔn)相鄰像素，二階預(yù)測單元76設(shè)置基準(zhǔn)相鄰像素的處理僅是使用與存在于圖像框內(nèi)的基準(zhǔn)相鄰像素的值相同的值，這是端點(diǎn)處理的一個(gè)類型。該處理被稱為保持處理。注意，可以采用作為端點(diǎn)處理的另一個(gè)類型的鏡像處理，代替保持處理。接下來，參考圖12描述作為端點(diǎn)處理的保持處理和鏡像處理。注意，圖11中的B 中所示的E的范圍在圖12中的A的示例中被放大示出作為保持處理的示例，并且在圖12 中的B的示例中被放大示出作為鏡像處理的示例。從圖像框邊界起至圖中左側(cè)的基準(zhǔn)相鄰像素存在于圖像框內(nèi)，并且例如從圖像框邊界側(cè)起依次具有像素值a0、al和a2。然而，從圖像框邊界起至圖中右側(cè)的基準(zhǔn)相鄰像素存在于圖像框的外部。因此，在圖12中的A中所示的保持處理中，使用圖像框內(nèi)最靠近圖像框邊界的基準(zhǔn)相鄰像素的像素值aO虛擬生成圖像框外部的基準(zhǔn)相鄰像素的像素值。此外，在圖12中的B中所示的鏡像處理中，像虛擬像素值作為以圖像框邊界為中心的鏡像存在一樣進(jìn)行處理。也就是說，在鏡像處理中，使用圖像框內(nèi)部最靠近圖像框邊界的基準(zhǔn)相鄰像素的像素值aO虛擬生成圖像框外部最靠近圖像框邊界側(cè)的基準(zhǔn)相鄰像素的像素值。使用圖像框內(nèi)部第二靠近圖像框邊界的基準(zhǔn)相鄰像素的像素值al虛擬生成圖像框外部第二靠近圖像框邊界的基準(zhǔn)相鄰像素的像素值。使用圖像框內(nèi)部第三靠近圖像框邊界的基準(zhǔn)相鄰像素的像素值a2虛擬生成圖像框外部第三靠近圖像框邊界的基準(zhǔn)相鄰像素的像素值。注意，在以上描述中，以幀內(nèi)4X4預(yù)測為例進(jìn)行了描述，但是在幀內(nèi)8X8預(yù)測的情況下，可以通過用如下表達(dá)式(11)代替上述表達(dá)式(7)進(jìn)行定義來執(zhí)行相同的處理。(δχ, δγ) = {(-1，-1)，(O, -1)，(1，-1)，(2，-1)，(3，-1)，(4，-1)，(5，-1)， (6,-1), (7,-1), (8,-1), (9,-1), (10,-1), (11,-1), (12,-1), (13,-1), (14,-1), (15,-1), (-1,0), (-1,1), (-1,2), (-1,3), (-1,4), (-1,5), (-1,6), (_1，7)}…(11)在幀內(nèi)16X16預(yù)測的情況下，如稍后描述的圖24中所示，相鄰像素中位于該塊的右上的相鄰像素的像素值不被用于幀內(nèi)預(yù)測。因此，可以通過用如下表達(dá)式(12)代替上述表達(dá)式(7)進(jìn)行定義來執(zhí)行相同的處理。(δχ, δγ) = {(-1，-1)，(O, -1)，(1，-1)，(2，-1)，(3，-1)，(4，-1)，(5，-1)， (6，-1)， (7，-1)， (8，-1)， (9，-1)， (10，-1),(11,-1),(12，-1)， (13，-1)， (14，-1)， (15，-1)，(-1,0), (-1,1), (-1,2), (-1,3), (-1,4), (-1,5), (-1,6), (-1,7), (-1,8), (-1,9), (-1， 10)，(-1,11), (-1,12), (-1,13), (-1,14), (-1,15)}... (12)同樣對(duì)于色差信號(hào)，在與幀內(nèi)16X16預(yù)測的情況相同的方式下，相鄰像素中位于該塊的右上的相鄰像素的像素值不被用于幀內(nèi)預(yù)測。因此，可以通過用如下表達(dá)式(13)代替上述表達(dá)式(7)進(jìn)行定義來執(zhí)行相同的處理。(δχ, δγ) = {(-1，-1)，(0，-1)，(1，-1)，(2，-1)，(3，-1)，(4，-1)，(5，-1)， (6，-1)，(7，-1)，(-1,0), (-1,1), (-1,2), (-1,3), (-1,4), (-1,5), (-1,6), (_1，7)}… (13)如上所述，利用圖像編碼設(shè)備51，對(duì)基準(zhǔn)相鄰像素是否存在于圖像框外部進(jìn)行確定，并且在基準(zhǔn)相鄰像素存在于圖像框外部的情況下，對(duì)該像素進(jìn)行保持端點(diǎn)處理或鏡像端點(diǎn)處理。因此，即使在基準(zhǔn)相鄰像素存在于圖像框外部的情況下，也可以進(jìn)行二階預(yù)測處理，并且因此可以提高編碼效率。圖像編碼設(shè)備的編碼處理說明接下來，參考圖13中的流程圖描述圖3中的圖像編碼設(shè)備51的編碼處理。在步驟Sll，A/D轉(zhuǎn)換器61對(duì)輸入圖像進(jìn)行A/D轉(zhuǎn)換。在步驟S12，畫面排序緩沖器62存儲(chǔ)從A/D轉(zhuǎn)換器61提供的圖像，并且對(duì)圖片進(jìn)行從顯示順序到編碼順序的排序。在步驟S13，計(jì)算單元63計(jì)算在步驟S12中排序的圖像和預(yù)測圖像之間的差分。 在進(jìn)行幀間預(yù)測的情況下，經(jīng)由預(yù)測圖像選擇單元78從運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75向計(jì)算單元63提供預(yù)測圖像，在進(jìn)行幀內(nèi)預(yù)測的情況下，經(jīng)由預(yù)測圖像選擇單元78從幀內(nèi)預(yù)測單元 74向計(jì)算單元63提供預(yù)測圖像。與原始圖像數(shù)據(jù)的數(shù)據(jù)量相比，差分?jǐn)?shù)據(jù)的數(shù)據(jù)量較小。因此，與按原樣對(duì)圖像進(jìn)行編碼的情況相比，可以壓縮數(shù)據(jù)量。在步驟S14，正交變換單元64對(duì)從計(jì)算單元63提供的差分信息進(jìn)行正交變換。具體地，進(jìn)行諸如離散余弦變換、Karhimen-Lc^ve變換等的正交變換，并且輸出變換系數(shù)。在步驟S15，量子化單元65對(duì)變換系數(shù)進(jìn)行量子化。按照稍后描述的步驟S25中的處理，控制該量子化的速率。對(duì)上述量子化的差分信息進(jìn)行如下局部解碼。也就是說，在步驟S16，逆量子化單元68利用與量子化單元65的屬性相對(duì)應(yīng)的屬性，對(duì)通過量子化單元65量子化的變換系數(shù)進(jìn)行逆量子化。在步驟S17，逆正交變換單元69利用與正交變換單元64的屬性相對(duì)應(yīng)的屬性對(duì)在逆量子化單元68處進(jìn)行了逆量子化的變換系數(shù)進(jìn)行逆正交變換。在步驟S18，計(jì)算單元70將經(jīng)由預(yù)測圖像選擇單元78輸入的預(yù)測圖像與局部解碼的差分信息相加，并且生成局部解碼圖像(與計(jì)算單元63的輸入相對(duì)應(yīng)的圖像)。在步驟S19，解塊過濾器71對(duì)從計(jì)算單元70輸出的圖像進(jìn)行過濾。因此，塊噪聲被去除。在步驟S20，幀存儲(chǔ)器72存儲(chǔ)過濾后的圖像。注意，未由解塊過濾器71進(jìn)行過濾處理的圖像也從計(jì)算單元70提供給幀存儲(chǔ)器72，并且被存儲(chǔ)。在步驟S21，幀內(nèi)預(yù)測單元74和運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75進(jìn)行它們各自的圖像預(yù)測處理。也就是說，在步驟S21，幀內(nèi)預(yù)測單元74以幀內(nèi)預(yù)測模式進(jìn)行幀內(nèi)預(yù)測處理，并且運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75以幀間預(yù)測模式進(jìn)行運(yùn)動(dòng)預(yù)測/補(bǔ)償處理。
此時(shí)，基準(zhǔn)相鄰確定單元77確定與基準(zhǔn)塊相鄰的相鄰像素是否存在于基準(zhǔn)幀的圖像框內(nèi)，二階預(yù)測單元76根據(jù)其確定結(jié)果對(duì)基準(zhǔn)相鄰像素進(jìn)行端點(diǎn)處理，之后進(jìn)行二階預(yù)測并生成二階余差。運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75確定一階余差和二階余差中哪個(gè)余差具有較好的編碼效率。注意，在進(jìn)行二階預(yù)測的情況下，需要向解碼側(cè)發(fā)送表示將要進(jìn)行二階預(yù)測的二階預(yù)測標(biāo)記和表示用于二階預(yù)測的幀內(nèi)預(yù)測模式的信息。在稍后描述的步驟S22中選擇最佳幀間預(yù)測模式的預(yù)測圖像的情況下，這些信息與最佳幀間預(yù)測模式信息等一起被提供給無損編碼單元66。盡管稍后將參考圖14詳細(xì)描述步驟S21中的預(yù)測處理的細(xì)節(jié)，但是在該處理中， 以所有候選幀內(nèi)預(yù)測模式的每一個(gè)模式進(jìn)行預(yù)測處理，并且計(jì)算所有候選幀內(nèi)預(yù)測模式中每一個(gè)的成本函數(shù)值。基于計(jì)算出的成本函數(shù)值選擇最佳幀內(nèi)預(yù)測模式，并且將通過最佳幀內(nèi)預(yù)測模式中的幀內(nèi)預(yù)測生成的預(yù)測圖像和成本函數(shù)值提供給預(yù)測圖像選擇單元78。此外，在該處理中，以所有候選幀間預(yù)測模式進(jìn)行預(yù)測處理，并且使用確定的余差分別計(jì)算所有候選幀間預(yù)測模式的成本函數(shù)值。基于計(jì)算出的成本函數(shù)值從幀間預(yù)測模式中確定最佳幀間預(yù)測模式，并將用最佳幀間預(yù)測模式生成的預(yù)測圖像及其成本函數(shù)值提供給預(yù)測圖像選擇單元78。注意，在關(guān)于最佳幀間預(yù)測模式進(jìn)行二階預(yù)測的情況下，要進(jìn)行幀間處理的圖像和二階余差之間的差分被提供給預(yù)測圖像選擇單元78作為預(yù)測圖像。在步驟S22，預(yù)測圖像選擇單元78基于從幀內(nèi)預(yù)測單元74和運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75輸出的各自的成本函數(shù)值確定最佳幀內(nèi)預(yù)測模式和最佳幀間預(yù)測模式之一作為最佳預(yù)測模式。然后預(yù)測圖像選擇單元78選擇所確定的最佳預(yù)測模式的預(yù)測圖像，并將其提供給計(jì)算單元63和70。該預(yù)測圖像(在進(jìn)行二階預(yù)測的情況下，為要進(jìn)行幀間處理的圖像和二階余差之間的差分)被用于上述步驟S13和S18中的計(jì)算。注意，預(yù)測圖像的選擇信息被提供給幀內(nèi)預(yù)測單元74或者運(yùn)動(dòng)預(yù)測/補(bǔ)償單元 75。在選擇最佳幀內(nèi)預(yù)測模式的預(yù)測圖像的情況下，幀內(nèi)預(yù)測單元74將與最佳幀內(nèi)預(yù)測模式有關(guān)的信息(即，幀內(nèi)預(yù)測模式信息)提供給無損編碼單元66。在選擇最佳幀間預(yù)測模式的預(yù)測圖像的情況下，運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75將與最佳幀間預(yù)測模式有關(guān)的信息以及必要時(shí)與最佳幀間預(yù)測模式相對(duì)應(yīng)的信息輸出到無損編碼單元66。與最佳幀間預(yù)測模式相對(duì)應(yīng)的信息的示例包括表示要進(jìn)行二階預(yù)測的二階預(yù)測標(biāo)記、表示二階預(yù)測中幀內(nèi)預(yù)測模式的信息、基準(zhǔn)幀信息等。在步驟S23，無損編碼單元66對(duì)從量子化單元65輸出的量子化的變換系數(shù)編碼。 也就是說，對(duì)差分圖像(在二階預(yù)測的情況下為二階差分圖像)進(jìn)行無損編碼(如可變長編碼、算術(shù)編碼等)和壓縮。此時(shí)，在上述步驟S22中從幀內(nèi)預(yù)測單元74輸入到無損編碼單元66的與最佳幀內(nèi)預(yù)測模式有關(guān)的信息或者來自運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75的最佳幀間預(yù)測模式的信息等也被編碼并且添加至頭信息。在步驟S24，存儲(chǔ)緩沖器67存儲(chǔ)差分圖像作為壓縮圖像。存儲(chǔ)在存儲(chǔ)緩沖器67中的壓縮圖像被適當(dāng)?shù)刈x取，并且經(jīng)由傳輸路徑傳送給解碼側(cè)。在步驟S25，速率控制單元79基于存儲(chǔ)在存儲(chǔ)緩沖器67中的壓縮圖像，控制量子化單元65的量子化操作的速率，使得不出現(xiàn)溢出或下溢。預(yù)測處理的說明
接下來，參考圖14中的流程圖描述圖13的步驟S21中的預(yù)測處理。在從畫面排序緩沖器62提供的要被處理的圖像是用于幀內(nèi)處理的塊圖像的情況下，從幀存儲(chǔ)器72中讀取要參考的解碼圖像，并經(jīng)由開關(guān)73將該解碼圖像提供給幀內(nèi)預(yù)測單元74。在步驟S31，幀內(nèi)預(yù)測單元74基于這些圖像針對(duì)所有候選幀內(nèi)預(yù)測模式對(duì)要處理的塊的像素進(jìn)行幀內(nèi)預(yù)測。注意，對(duì)于要參考的解碼像素，使用未由解塊過濾器71進(jìn)行解塊過濾的像素。盡管稍后將參考圖27描述步驟S31中的幀內(nèi)預(yù)測處理的細(xì)節(jié)，但是，以所有候選幀內(nèi)預(yù)測模式進(jìn)行幀內(nèi)預(yù)測，并且針對(duì)所有候選幀內(nèi)預(yù)測模式計(jì)算成本函數(shù)值。然后基于計(jì)算出的成本函數(shù)值選擇最佳幀內(nèi)預(yù)測模式，并且將通過最佳幀內(nèi)預(yù)測模式中的幀內(nèi)預(yù)測生成的預(yù)測圖像及其成本函數(shù)值提供給預(yù)測圖像選擇單元78。在從畫面排序緩沖器62提供的要處理的圖像是用于幀間處理的圖像的情況下， 從幀存儲(chǔ)器72讀取要參考的圖像，并且經(jīng)由開關(guān)73將該圖像提供給運(yùn)動(dòng)預(yù)測/補(bǔ)償單元 75。在步驟S32，運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75基于這些圖像進(jìn)行幀間運(yùn)動(dòng)預(yù)測處理。也就是說， 運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75參考從幀存儲(chǔ)器72提供的圖像進(jìn)行所有候選幀間預(yù)測模式的運(yùn)動(dòng)預(yù)測處理。注意，此時(shí)，基準(zhǔn)相鄰確定單元77使用來自運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75的基準(zhǔn)相鄰像素的地址確定該基準(zhǔn)相鄰像素是否存在于基準(zhǔn)幀的圖像框內(nèi)。二階預(yù)測單元76根據(jù)來自基準(zhǔn)相鄰確定單元77的確定結(jié)果進(jìn)行端點(diǎn)處理，并且將作為進(jìn)行二階預(yù)測處理的結(jié)果獲得的二階余差輸出到運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75。響應(yīng)于此，運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75確定一階余差和二階余差中哪一個(gè)余差的編碼效率較好，并將其用于后續(xù)處理。稍后將參考圖28描述步驟S32中的幀間運(yùn)動(dòng)預(yù)測處理的細(xì)節(jié)。在該處理中，針對(duì)所有候選幀間預(yù)測模式進(jìn)行運(yùn)動(dòng)預(yù)測處理，并使用一階差分或二階差分計(jì)算所有候選幀間預(yù)測模式的成本函數(shù)值。在步驟S33，運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75比較在步驟S32計(jì)算出的幀間預(yù)測模式的成本函數(shù)值。運(yùn)動(dòng)預(yù)測/補(bǔ)償單元75將給出最小值的預(yù)測模式確定為最佳幀間預(yù)測模式，并將在最佳幀間預(yù)測模式中生成的預(yù)測圖像及其成本函數(shù)值提供給預(yù)測圖像選擇單元78。H. 264/AVC中幀內(nèi)預(yù)測處理的說明接下來，將描述H. 264/AVC中規(guī)定的幀內(nèi)預(yù)測模式。首先，描述輝度信號(hào)的幀內(nèi)預(yù)測模式。針對(duì)用于輝度信號(hào)的幀內(nèi)預(yù)測模式，設(shè)置幀內(nèi)4X4預(yù)測模式、幀內(nèi)8X8預(yù)測模式和幀內(nèi)16X16預(yù)測模式三個(gè)形式。這些是用于確定塊單元的模式，并且是針對(duì)每個(gè)宏塊設(shè)置的。此外，還可以針對(duì)每個(gè)宏塊設(shè)置獨(dú)立于輝度信號(hào)的色差信號(hào)的幀內(nèi)預(yù)測模式。此外，在幀內(nèi)4 X 4預(yù)測模式的情況下，可以為每個(gè)4 X 4像素目標(biāo)塊設(shè)置九種預(yù)測模式中的一種預(yù)測模式。在幀內(nèi)8X8預(yù)測模式的情況下，可以為每個(gè)8X8像素目標(biāo)塊設(shè)置九種預(yù)測模式中的一種預(yù)測模式。此外，在幀內(nèi)16X16預(yù)測模式的情況下，可以為16X16 像素當(dāng)前宏塊設(shè)置四種預(yù)測模式中的一種預(yù)測模式。注意，在下文中，將幀內(nèi)4X4預(yù)測模式、幀內(nèi)8X8預(yù)測模式和幀內(nèi)16X 16預(yù)測模式分別適當(dāng)?shù)胤Q為4X4像素幀內(nèi)預(yù)測模式、8X8像素幀內(nèi)預(yù)測模式和16X 16像素幀內(nèi)預(yù)測模式。
在圖15的示例中，附加到各塊的編號(hào)-1至25代表各塊各自的比特流序列(解碼側(cè)的處理序列)。注意，對(duì)于輝度信號(hào)，宏塊被分割為4 X 4像素，并且進(jìn)行4 X 4像素的DCT。 只有在-1塊中所示的幀內(nèi)16X16預(yù)測模式的情況下，收集各塊的DC分量，生成4X4矩陣， 并且進(jìn)一步對(duì)其進(jìn)行正交變換。另一方面，對(duì)于色差信號(hào)，在如塊16和17中所示將宏塊分割為4X4像素并且進(jìn)行4X4像素的DCT之后，收集各塊的DC分量，生成2X2矩陣，并且進(jìn)一步對(duì)其進(jìn)行正交變換。注意，對(duì)于幀內(nèi)8X8預(yù)測模式，這只可以用于以高輪廓(high profile)或者該輪廓以上的輪廓對(duì)當(dāng)前宏塊進(jìn)行8X8正交變換的情況。圖16和圖17是示出九種輝度信號(hào)4X4像素幀內(nèi)預(yù)測模式(幀內(nèi)_4x4_預(yù)測_ 模式)的圖。除了表示平均值(DC)預(yù)測的模式2以外的八種模式分別對(duì)應(yīng)于圖18中由0、 1、3至8表示的方向。將參考圖19描述九種幀內(nèi)_4x4_預(yù)測_模式。在圖19的示例中，像素a至ρ代表要進(jìn)行幀內(nèi)處理的目標(biāo)塊的像素，并且像素值A(chǔ)至M代表屬于相鄰塊的像素的像素值。也就是說，像素a至ρ是從畫面排序緩沖器62讀取的要處理的圖像，像素值A(chǔ)至M是已經(jīng)從幀存儲(chǔ)器72讀取的要參考的解碼圖像的像素值。在圖16和圖17中的每個(gè)幀內(nèi)預(yù)測模式的情況下，使用屬于相鄰塊的像素的像素值A(chǔ)至M如下生成像素a至ρ的預(yù)測像素值。注意，在像素值“可用，，的情況下，這代表該像素是可用的，而不具有如處于圖像框的邊緣或者仍未被編碼的原因，并且在像素值“不可用”的情況下，這代表由于如處于圖像框的邊緣或者仍未被編碼的原因，該像素是不可用的。模式0是垂直預(yù)測模式，并且只適用于像素值A(chǔ)至D“可用”的情況。在此情況下， 按照如下表達(dá)式(14)生成像素a至ρ的預(yù)測像素值。像素a，e，i，m的預(yù)測像素值=A像素b，f，，η的預(yù)測像素值=B像素c，g，k，ο的預(yù)測像素值=C像素d，h，1，ρ的預(yù)測像素值=D…(14)模式1是水平預(yù)測模式，并且只適用于像素值I至L“可用”的情況。在此情況下， 按照如下表達(dá)式(15)生成像素a至ρ的預(yù)測像素值。像素a，b，c，d的預(yù)測像素值=I像素e，f，g，h的預(yù)測像素值=J像素i，j，k，1的預(yù)測像素值=K像素m，η, ο, ρ的預(yù)測像素值=L…(15)模式2是DC預(yù)測模式，并且在像素值Α、B、C、D、I、J、K、L均“可用”的情況下，按照表達(dá)式(16)生成預(yù)測像素值。(A+B+C+D+I+J+K+L+4) >>3...(16)此外，在像素值Α、B、C、D均“不可用”的情況下，按照表達(dá)式(17)生成預(yù)測像素值。(I+J+K+L+2) >>2— (17)
此外，在像素值I、J、K、L均“不可用”的情況下，按照表達(dá)式(18)生成預(yù)測像素值。(A+B+C+D+2) > > 2...(18)此外，在像素值々、8、(、0、1、、1(、1^均“不可用”的情況下，生成128作為預(yù)測像素值。模式3是對(duì)角線_下_左預(yù)測模式，并且僅適用于像素值A(chǔ)、B、C、D、I、J、K、L、M 均“可用”的情況。在此情況下，按照下面的表達(dá)式(19)生成像素a至ρ的預(yù)測像素值。像素a的預(yù)測像素值=(A+2B+C+2) >> 2像素b，e的預(yù)測像素值=(B+2C+D+2) >>2像素c，f, i 的預(yù)測像素值=(C+2D+E+2) >>2像素d，g, j,m 的預(yù)測像素值=(D+2E+F+2) >>2像素h，k，η 的預(yù)測像素值=(E+2F+G+2) >>2像素1，ο的預(yù)測像素值=(F+2G+H+2) >> 2像素ρ的預(yù)測像素值=(G+3H+2) >> 2…(19)模式4是對(duì)角線_下_右預(yù)測模式，并且僅適用于像素值Α、B、C、D、I、J、K、L、M 均“可用”的情況。在此情況下，按照下面的表達(dá)式(20)生成像素a至ρ的預(yù)測像素值。像素m的預(yù)測像素值=(J+2K+L+2) >> 2像素i，η的預(yù)測像素值=(I+2J+K+2) >> 2像素e, j,o 的預(yù)測像素值=(M+2I+J+2) >> 2像素a, f, k，ρ 的預(yù)測像素值=(A+2M+I+2) >>2像素b，g，1 的預(yù)測像素值=(M+2A+B+2) >>2像素c，h的預(yù)測像素值=(A+2B+C+2) >> 2像素d 的預(yù)測像素值=(B+2C+D+2) >>2... (20)模式5是對(duì)角線_垂直_右預(yù)測模式，并且僅適用于像素值A(chǔ)、B、C、D、I、J、K、L、 M均“可用”的情況。在此情況下，按照下面的表達(dá)式(21)生成像素a至ρ的預(yù)測像素值。像素a，j的預(yù)測像素值=(M+A+1) >> 1像素b，k的預(yù)測像素值=(A+B+1) >> 1像素c，1的預(yù)測像素值=(B+C+1) >> 1像素d的預(yù)測像素值=(C+D+1) >> 1像素e，η的預(yù)測像素值=(Ι+2Μ+Α+2) >>2像素f，ο的預(yù)測像素值=(M+2A+B+2) >>2像素g，ρ的預(yù)測像素值=(A+2B+C+2) >> 2像素h的預(yù)測像素值=(B+2C+D+2) >> 2像素i的預(yù)測像素值=(M+2I+J+2) >> 2像素m 的預(yù)測像素值=(I+2J+K+2) >> 2... (21)模式6是水平_下預(yù)測模式，并且僅適用于像素值A(chǔ)、B、C、D、I、J、K、L、M均“可用”的情況。在此情況下，按照下面的表達(dá)式(22)生成像素a至ρ的預(yù)測像素值。像素a，g的預(yù)測像素值=(M+I+1) >> 1像素b，h的預(yù)測像素值=(I+2M+A+2) >>2
22
像素c的預(yù)測像素值=(M+2A+B+2) >>2像素d的預(yù)測像素值=(A+2B+C+2) >> 2像素e，k的預(yù)測像素值=(I+J+1) >> 1像素f，1的預(yù)測像素值=(M+2I+J+2) >> 2像素i，ο的預(yù)測像素值=(J+K+1) >> 1像素j，ρ的預(yù)測像素值=(I+2J+K+2) >> 2像素m的預(yù)測像素值=(K+L+1) >> 1像素η 的預(yù)測像素值=(J+2K+L+2) >> 2...(22)
模式7是垂直_左預(yù)測模式，并且僅適用于像素值Α、B、C、D、I、J、K、L、M均“可
用”的情況。在此情況下，按照下面的表達(dá)式(23)生成像素a至ρ的預(yù)測像素值。像素a的預(yù)測像素值=(A+B+1) >> 1像素b，i的預(yù)測像素值=(B+C+1) >> 1像素c，j的預(yù)測像素值=(C+D+1) >> 1像素d，k的預(yù)測像素值=(D+E+1) >> 1像素1的預(yù)測像素值=(E+F+1) >> 1像素e的預(yù)測像素值=(A+2B+C+2) >> 2像素f，m的預(yù)測像素值=(B+2C+D+2) >>2像素g，η的預(yù)測像素值=(C+2D+E+2) >> 2像素h，ο的預(yù)測像素值=(D+2E+F+2) >>2像素ρ 的預(yù)測像素值=(E+2F+G+2) >> 2- (23)模式8是水平_上預(yù)測模式，并且僅適用于像素值A(chǔ)、B、C、D、I、J、K、L、M均“可用”的情況。在此情況下，按照下面的表達(dá)式(24)生成像素a至ρ的預(yù)測像素值。像素a的預(yù)測像素值=(I+J+1) >> 1像素b的預(yù)測像素值=(I+2J+K+2) >> 2像素c，e的預(yù)測像素值=(J+K+1) >> 1像素d，f的預(yù)測像素值=(J+2K+L+2) >> 2像素g，i的預(yù)測像素值=(K+L+1) >> 1像素h，j的預(yù)測像素值=(K+3L+2) >> 2像素k，l，m，n，o，p的預(yù)測像素值=L…(24)接下來，將參考圖20描述用于4X4像素輝度信號(hào)的幀內(nèi)預(yù)測模式(Intra_4X4_ pred_mode)編碼方法。在圖20的示例中，示出由4X4像素構(gòu)成的要被編碼的目標(biāo)塊C，并且還示出由4X4像素構(gòu)成的并且與目標(biāo)塊C相鄰的塊A和塊B。在此情況下，目標(biāo)塊C中的幀內(nèi)_4 X 4_預(yù)測_模式和塊A和塊B中的幀內(nèi)_4 X 4_ 預(yù)測_模式被認(rèn)為具有高度相關(guān)性。使用該相關(guān)性進(jìn)行以下編碼處理可以實(shí)現(xiàn)較高的編碼效率。也就是說，在圖20的示例中，通過將塊A和塊B中的幀內(nèi)_4\4_預(yù)測_模式分別作為幀內(nèi)_4 X 4_預(yù)測_模式A和幀內(nèi)_4 X 4_預(yù)測_模式B，最可能模式被定義為如下表達(dá)式(25)。最可能模式=Min (幀內(nèi)_4 X 4_預(yù)測_模式A，幀內(nèi)_4 X 4_預(yù)測_模式B)
…(25)也就是說，取塊A和塊B中被分配了較小模式_編號(hào)的塊作為最可能模式。存在兩個(gè)被定義為比特流中目標(biāo)塊C的參數(shù)的值prev_intra4x4_pred_mode_ flag[luma4x4BlkIdx]禾口 rem_intra4x4_pred_mode[luma4x4BlkIdx]，通過基于以下@達(dá)式(26)中示出的偽代碼的處理進(jìn)行解碼處理，可以獲得目標(biāo)塊C的值Intra_4X4_pred_ mode, Intra4x4PredMode[luma4x4BlkIdx]。
if(prev_intra4x4_pred_mode flag [luma4x4BlkIdx])
Intr a4x4PredMode [luma4x4BlkIdx] = MostProbableMode else
if(rem_intra4x4_pred_mode[luma4x4BIkIdx] < MostProbableMode)
Intr a4x4PredMode [luma4x4BlkIdx]= rem_intra4x4_pred_mode[luma4x4BlkIdx
else
Intr a4x4PredMode [luma4x4BlkIdx]= rem_intra4x4_pred_mode[luma4x4BlkIdx] +1...(26)接下來，將描述8X8像素幀內(nèi)預(yù)測模式。圖21和圖22是示出用于輝度信號(hào)的九種8X8像素幀內(nèi)預(yù)測模式(Intra_8x8_pred_mode)。讓我們假定當(dāng)前的8X8塊中的像素值被取為ρ[x，y] (O彡χ彡7 ;0彡y彡7)，并且用P[-l，-l]，…，p[-l，15]，p[-l，0]，…，[p-1，7]代表相鄰塊的像素值。對(duì)于8X8像素幀內(nèi)預(yù)測模式，在生成預(yù)測值之前對(duì)相鄰像素進(jìn)行低通過濾處理。 現(xiàn)在讓我們假定用P[-1，-1]，…，p[-l，15]，p[-l，0]，…，P[-1，7]代表低通過濾處理之前的像素值，并且用P' [_1，-1]，…，P' [-1,15],ρ' [_1，0]，…，ρ' [_1，7]代表該處理之后的像素值。首先，在p[_l，-1] “可用”的情況下用以下表達(dá)式(27)計(jì)算ρ，[O, _1]，并且在 P[-l，_l] “不可用”的情況下用以下表達(dá)式(28)計(jì)算ρ，
。ρ'
= (p[-l，-l]+2*p
+p[l，-1]+2) >> 2 ...(27)ρ'
= (3*p
+p[l，-l]+2) >> 2...(28)用以下表達(dá)式(29)計(jì)算ρ' [Χ，-1](Χ = 0，·η，7)。ρ' [χ，-1] = (ρ[χ-1，-1]+2*ρ[χ，-1]+ρ[χ+1，-1]+2) >> 2 ...(29)在ρ[χ，-1](χ = 8，…，15) “可用”的情況下，用以下表達(dá)式(30)計(jì)算ρ' [χ,-1] (χ = 8，…，15)。ρ' [χ，-1] = (ρ[χ-1，-1]+2*ρ[χ，-1]+ρ[χ+1，-1]+2) >> 2ρ' [15，-1] = (ρ[14，-1]+3*ρ[15，-1]+2) >> 2...(30)
在p[_l，-1] “可用”的情況下，按下述計(jì)算P’ [-1，-1]。具體地，在p
和 P[_1，0] 二者均“可用”的情況下，用表達(dá)式(31)計(jì)算ρ’ [-1，-1]，并且在p[_l，0] “不可用”的情況下，用表達(dá)式(32)計(jì)算ρ’ [-1，-1]。此外，在p
“不可用”的情況下，用表達(dá)式(33)計(jì)算ρ’ [_1，-1]。ρ' [-1，-1] = (p
+2*p[-l，-l]+p[_l，0]+2) >>2 ...(31)ρ' [-1，-1] = (3*ρ[-1，-1]+ρ
+2) >> 2— (32)ρ' [-1，-1] = (3*p[-l，-l]+p[_l，0]+2) >> 2...(33)當(dāng)P[-I，y](y = 0，…，7) “可用”時(shí)，按下述計(jì)算 ρ’ [_1，y] (y = 0，…，7)。具體地，首先，在P[_l，-1] “可用”的情況下，用以下表達(dá)式(34)計(jì)算ρ’ [_1，0]，并且在 P[-l，_l] “不可用”的情況下，用表達(dá)式(35)計(jì)算p’ [-l,0]oρ' [_1，0] = (p[-l，-l]+2*p[-l，0]+p[_l，l]+2) >> 2 …(34)ρ' [-1,0] = (3*p[-l，0]+p[-l，1]+2) >> 2...(35)此外，用以下表達(dá)式(36)計(jì)算ρ' [-1，y] (y = 1，…，6)，并且用表達(dá)式(37)計(jì)算 P， [-1，7]。 P [-1，y] = (P [-1，y-1] +2*p [-1，y] +ρ [_1，y+1] +2) > > 2 …(36)ρ' [_1，7] = (p[-l，6]+3*p[_l，7]+2) >> 2— (37)使用由此計(jì)算出的P’按下述生成圖21和圖22中所示的幀內(nèi)預(yù)測模式的預(yù)測值。模式0是垂直預(yù)測模式，并且僅當(dāng)ρ[χ，-1](χ = 0，…，7) “可用”時(shí)適用。用以下表達(dá)式(38)生成預(yù)測值pred8X8L[x，y]。pred8X8L[x, y] = ρ' [χ, -1]χ, y = 0, ...，7...(38)模式1是水平預(yù)測模式，并且僅當(dāng)ρ[_1，y] (y = 0，…，7) “可用”時(shí)適用。用如下表達(dá)式(39)生成預(yù)測值pred8X8L[x，y]。pred8X8L[x, y] = ρ' [-1, y]x, y = 0, ...，7...(39)模式2是DC預(yù)測模式，并且按下述生成預(yù)測值predSXSjx，y]。具體地，在 p[x,-IKx = O,…，7)和p[_l，y](y = 0，…，7) 二者均“可用”的情況下，用如下表達(dá)式 (40)生成預(yù)測值 pred8X8L[x, y]。[數(shù)學(xué)表達(dá)式5]
權(quán)利要求
1.一種圖像處理設(shè)備，包括確定裝置，用于使用與目標(biāo)幀中的目標(biāo)塊相鄰的目標(biāo)相鄰像素的相對(duì)地址確定與所述基準(zhǔn)幀中的基準(zhǔn)塊相鄰的基準(zhǔn)相鄰像素是否存在于所述基準(zhǔn)幀的圖像框內(nèi)；端點(diǎn)處理裝置，用于在所述確定裝置確定所述基準(zhǔn)相鄰像素不存在于所述圖像框內(nèi)的情況下對(duì)所述基準(zhǔn)相鄰像素進(jìn)行端點(diǎn)處理；二階預(yù)測裝置，用于通過在所述目標(biāo)塊和所述基準(zhǔn)塊之間的差分信息與所述目標(biāo)相鄰像素和已經(jīng)由所述端點(diǎn)處理裝置對(duì)其進(jìn)行了端點(diǎn)處理的所述基準(zhǔn)相鄰像素之間的差分信息之間進(jìn)行預(yù)測來生成二階差分信息；以及編碼裝置，用于對(duì)由所述二階預(yù)測裝置生成的所述二階差分信息進(jìn)行編碼。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括計(jì)算裝置，所述計(jì)算裝置用于利用所述目標(biāo)塊的地址(χ，y)、所述目標(biāo)塊參考所述基準(zhǔn)塊的運(yùn)動(dòng)矢量信息(dx，dy)和所述目標(biāo)相鄰像素的相對(duì)地址(δχ，δγ)計(jì)算所述基準(zhǔn)相鄰像素的相對(duì)地址(x+dx+δχ，y+dy+δy),其中所述確定裝置確定由所述計(jì)算裝置計(jì)算出的所述基準(zhǔn)相鄰像素的相對(duì)地址 (x+dx+ δ X，y+dy+ δ y)是否存在于所述圖像框內(nèi)。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中在像素值被表示為η個(gè)比特的情況下，所述端點(diǎn)處理裝置進(jìn)行所述端點(diǎn)處理，使得x+dx+ δ χ < 0或y+dy+ δ y < 0成立的所述基準(zhǔn)相鄰像素的像素值為211—1。
4.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中在x+dx+δ χ > WIDTH-I成立的情況下， 所述端點(diǎn)處理裝置使用由地址(WIDTH-1，y+dy+ δ y)指示的像素值作為所述基準(zhǔn)相鄰像素的像素值進(jìn)行所述端點(diǎn)處理，其中WIDTH代表所述圖像框的水平方向上的像素的數(shù)目。
5.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中在y+dy+δ y > HEIGHT-I成立的情況下， 所述端點(diǎn)處理裝置使用由地址(X+dx+δχ，HEIGHT-1)指示的像素值作為所述基準(zhǔn)相鄰像素的像素值進(jìn)行所述端點(diǎn)處理，其中HEIGHT代表所述圖像框的垂直方向上的像素的數(shù)目。
6.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中在x+dx+δ χ > WIDTH-I和y+dy+ δ y > HEIGHT-1成立的情況下，所述端點(diǎn)處理裝置使用由地址(WIDTH-1，HEIGHT-1)指示的像素值作為所述基準(zhǔn)相鄰像素的像素值進(jìn)行所述端點(diǎn)處理，其中WIDTH代表所述圖像框的水平方向上的像素的數(shù)目，HEIGHT代表所述圖像框的垂直方向上的像素的數(shù)目。
7.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中所述端點(diǎn)處理裝置針對(duì)不在所述圖像框內(nèi)的所述基準(zhǔn)相鄰像素進(jìn)行所述端點(diǎn)處理，在該端點(diǎn)處理中通過鏡像處理在所述圖像框的邊界處對(duì)稱地生成像素值。
8.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，所述二階預(yù)測裝置還包括幀內(nèi)預(yù)測裝置，用于使用所述目標(biāo)相鄰像素和已經(jīng)由所述端點(diǎn)處理裝置對(duì)其進(jìn)行了端點(diǎn)處理的所述基準(zhǔn)相鄰像素之間的差分信息進(jìn)行預(yù)測，以生成關(guān)于所述目標(biāo)塊的幀內(nèi)預(yù)測圖像；以及二階差分生成裝置，用于計(jì)算所述目標(biāo)塊和所述基準(zhǔn)塊之間的差分信息和由所述幀內(nèi)預(yù)測裝置生成的所述幀內(nèi)預(yù)測圖像的差分，以生成所述二階差分信息。
9.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，在所述確定裝置確定所述基準(zhǔn)相鄰像素存在于所述圖像框內(nèi)的情況下，所述二階預(yù)測裝置在所述目標(biāo)塊和所述基準(zhǔn)塊之間的差分信息與所述目標(biāo)相鄰像素和所述基準(zhǔn)相鄰像素之間的差分信息之間進(jìn)行預(yù)測。
10.一種圖像處理方法，包括以下步驟 圖像處理設(shè)備使用與目標(biāo)幀中的目標(biāo)塊相鄰的目標(biāo)相鄰像素的相對(duì)地址確定與所述基準(zhǔn)幀中的基準(zhǔn)塊相鄰的基準(zhǔn)相鄰像素是否存在于所述基準(zhǔn)幀的圖像框內(nèi)，在確定所述基準(zhǔn)相鄰像素不存在于所述圖像框內(nèi)的情況下對(duì)所述基準(zhǔn)相鄰像素進(jìn)行端點(diǎn)處理，通過在所述目標(biāo)塊和所述基準(zhǔn)塊之間的差分信息與所述目標(biāo)相鄰像素和已經(jīng)對(duì)其進(jìn)行了端點(diǎn)處理的所述基準(zhǔn)相鄰像素之間的差分信息之間進(jìn)行預(yù)測來生成二階差分信息，以及對(duì)所生成的二階差分信息進(jìn)行編碼。
11.一種圖像處理設(shè)備，包括解碼裝置，用于對(duì)被編碼的目標(biāo)幀中的目標(biāo)塊的圖像進(jìn)行解碼； 確定裝置，用于使用與所述目標(biāo)塊相鄰的目標(biāo)相鄰像素的相對(duì)地址確定與所述基準(zhǔn)幀中的基準(zhǔn)塊相鄰的基準(zhǔn)相鄰像素是否存在于所述基準(zhǔn)幀的圖像框內(nèi)；端點(diǎn)處理裝置，用于在所述確定裝置確定所述基準(zhǔn)相鄰像素不存在于所述圖像框內(nèi)的情況下對(duì)所述基準(zhǔn)相鄰像素進(jìn)行端點(diǎn)處理；二階預(yù)測裝置，用于通過使用所述目標(biāo)相鄰像素和已經(jīng)由所述端點(diǎn)處理裝置對(duì)其進(jìn)行了端點(diǎn)處理的所述基準(zhǔn)相鄰像素之間的差分信息進(jìn)行二階預(yù)測來生成預(yù)測圖像；以及計(jì)算裝置，用于將所述目標(biāo)塊的圖像、由所述二階預(yù)測裝置生成的所述預(yù)測圖像和所述基準(zhǔn)塊的圖像相加以生成所述目標(biāo)塊的解碼圖像。
12.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，還包括計(jì)算裝置，所述計(jì)算裝置用于利用所述目標(biāo)塊的地址(χ，y)、所述目標(biāo)塊參考所述基準(zhǔn)塊的運(yùn)動(dòng)矢量信息(dx，dy)和所述目標(biāo)相鄰像素的相對(duì)地址(Sx，δγ)計(jì)算所述基準(zhǔn)相鄰像素的相對(duì)地址(x+dx+δχ，y+dy+δy)；其中所述確定裝置確定由所述計(jì)算裝置計(jì)算出的所述基準(zhǔn)相鄰像素的相對(duì)地址 (x+dx+ δ χ，y+dy+ δ y)是否存在于圖像框內(nèi)。
13.根據(jù)權(quán)利要求12所述的圖像處理設(shè)備，其中在將像素值表示為η個(gè)比特的情況下， 所述端點(diǎn)處理裝置進(jìn)行端點(diǎn)處理，使得x+dx+ δ χ < 0或y+dy+ δ y < 0成立的所述基準(zhǔn)相鄰像素的像素值為2"-1。
14.根據(jù)權(quán)利要求12所述的圖像處理設(shè)備，其中在x+dx+δ χ > WIDTH-I成立的情況下，所述端點(diǎn)處理裝置使用由地址(WIDTH-1，y+dy+ δ y)指示的像素值作為所述基準(zhǔn)相鄰像素的像素值進(jìn)行所述端點(diǎn)處理，其中WIDTH代表所述圖像框的水平方向上的像素的數(shù)目。
15.根據(jù)權(quán)利要求12所述的圖像處理設(shè)備，其中在y+dy+δ y > HEIGHT-I成立的情況下，所述端點(diǎn)處理裝置使用由地址(x+dx+δχ，HEIGHT-1)指示的像素值作為所述基準(zhǔn)相鄰像素的像素值進(jìn)行所述端點(diǎn)處理，其中HEIGHT代表所述圖像框的垂直方向上的像素的數(shù)目。
16.根據(jù)權(quán)利要求12所述的圖像處理設(shè)備，其中在x+dx+δ χ > WIDTH-I和y+dy+ δ y> HEIGHT-I成立的情況下，所述端點(diǎn)處理裝置使用由地址(WIDTH-1，HEIGHT-1)指示的像素值作為所述基準(zhǔn)相鄰像素的像素值進(jìn)行所述端點(diǎn)處理，其中WIDTH代表所述圖像框的水平方向上的像素的數(shù)目，HEIGHT代表所述圖像框的垂直方向上的像素的數(shù)目。
17.根據(jù)權(quán)利要求12所述的圖像處理設(shè)備，其中所述端點(diǎn)處理裝置針對(duì)不在所述圖像框內(nèi)的所述基準(zhǔn)相鄰像素進(jìn)行端點(diǎn)處理，在該端點(diǎn)處理中通過鏡像處理在所述圖像框的邊界處對(duì)稱地生成像素值。
18.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，所述二階預(yù)測裝置還包括預(yù)測圖像生成裝置，用于通過使用所述目標(biāo)相鄰像素和已經(jīng)由所述端點(diǎn)處理裝置對(duì)其進(jìn)行了端點(diǎn)處理的所述基準(zhǔn)相鄰像素之間的差分信息進(jìn)行二階預(yù)測來生成預(yù)測圖像。
19.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，在所述確定裝置確定所述基準(zhǔn)相鄰像素存在于所述圖像框內(nèi)的情況下，所述二階預(yù)測裝置使用所述目標(biāo)相鄰像素和所述基準(zhǔn)相鄰像素之間的差分信息進(jìn)行預(yù)測。
20.一種圖像處理方法，包括以下步驟圖像處理設(shè)備對(duì)被編碼的目標(biāo)幀中的目標(biāo)塊的圖像進(jìn)行解碼，使用與所述目標(biāo)塊相鄰的目標(biāo)相鄰像素的相對(duì)地址確定與所述基準(zhǔn)幀中的基準(zhǔn)塊相鄰的基準(zhǔn)相鄰像素是否存在于所述基準(zhǔn)幀的圖像框內(nèi)，在確定所述基準(zhǔn)相鄰像素不存在于所述圖像框內(nèi)的情況下對(duì)所述基準(zhǔn)相鄰像素進(jìn)行端點(diǎn)處理，通過使用所述目標(biāo)相鄰像素和已經(jīng)對(duì)其進(jìn)行了端點(diǎn)處理的所述基準(zhǔn)相鄰像素之間的差分信息進(jìn)行二階預(yù)測來生成預(yù)測圖像，以及將所述目標(biāo)塊的圖像、由所述二階預(yù)測裝置生成的所述預(yù)測圖像和所述基準(zhǔn)塊的圖像相加，以生成所述目標(biāo)塊的解碼圖像。
全文摘要
本發(fā)明涉及一種圖像處理設(shè)備和方法。即使在與基準(zhǔn)塊相鄰的相鄰像素存在于圖像框的外部的情況下，所述圖像處理設(shè)備和方法也能夠進(jìn)行二階預(yù)測。基準(zhǔn)相鄰像素確定單元83接收來自基準(zhǔn)相鄰確定單元77的關(guān)于基準(zhǔn)相鄰像素是否存在于基準(zhǔn)幀的圖像框內(nèi)的確定結(jié)果。在基準(zhǔn)相鄰像素存在于基準(zhǔn)幀的圖像框內(nèi)的情況下，基準(zhǔn)相鄰像素確定單元83基于H.264/AVC格式的定義確定相鄰像素的像素值。另一方面，在基準(zhǔn)相鄰像素不存在于基準(zhǔn)幀的圖像框內(nèi)的情況下，基準(zhǔn)相鄰像素確定單元83通過對(duì)不存在的相鄰像素進(jìn)行端點(diǎn)處理來確定基準(zhǔn)相鄰像素的像素值。本發(fā)明可應(yīng)用于例如用H.264/AVC格式編碼的圖像編碼設(shè)備。
文檔編號(hào)H04N7/32GK102396231SQ20108001746
公開日2012年3月28日 申請(qǐng)日期2010年4月22日 優(yōu)先權(quán)日2009年4月24日
發(fā)明者佐藤數(shù)史 申請(qǐng)人:索尼公司