技術(shù)領(lǐng)域

本發(fā)明涉及對(duì)圖像進(jìn)行壓縮編碼而傳送的圖像編碼裝置以及圖像編碼方法、和從通過(guò)圖像編碼裝置傳送的編碼數(shù)據(jù)對(duì)圖像進(jìn)行解碼的圖像解碼裝置以及圖像解碼方法。

背景技術(shù)：

以往，在MPEG、ITU-TH.26x等國(guó)際標(biāo)準(zhǔn)影像編碼方式中，在將輸入影像幀分割為由16×16像素塊構(gòu)成的宏塊的單位，并實(shí)施了運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)之后，按照塊單位對(duì)預(yù)測(cè)差分信號(hào)進(jìn)行正交變換/量化，從而進(jìn)行信息壓縮。

但是，如果壓縮率變高，則起因于在實(shí)施運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)時(shí)使用的預(yù)測(cè)參照?qǐng)D像的質(zhì)量的降低，存在妨礙壓縮效率的問(wèn)題。

因此，在MPEG-4AVC/H.264的編碼方式(參照非專(zhuān)利文獻(xiàn)1)中，通過(guò)實(shí)施環(huán)內(nèi)阻塞濾波的處理，從而去除伴隨正交變換系數(shù)的量化而發(fā)生的預(yù)測(cè)參照?qǐng)D像的塊失真。

此處，圖16是示出非專(zhuān)利文獻(xiàn)1公開(kāi)的圖像編碼裝置的結(jié)構(gòu)圖。

在該圖像編碼裝置中，如果塊分割部101輸入了編碼對(duì)象的圖像信號(hào)，則將該圖像信號(hào)分割為宏塊單位，將宏塊單位的圖像信號(hào)作為分割圖像信號(hào)輸出到預(yù)測(cè)部102。

預(yù)測(cè)部102如果從塊分割部101接收到分割圖像信號(hào)，則在幀內(nèi)或者幀間預(yù)測(cè)宏塊內(nèi)的各顏色分量的圖像信號(hào)，計(jì)算預(yù)測(cè)差分信號(hào)。

特別是，在幀間實(shí)施運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的情況下，按照宏塊自身、或者將宏塊進(jìn)一步細(xì)分割而得到的子塊的單位，搜索運(yùn)動(dòng)矢量。

然后，使用該運(yùn)動(dòng)矢量，實(shí)施針對(duì)由存儲(chǔ)器107保存的參照?qǐng)D像信號(hào)的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，從而生成運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像，求出表示該運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像的預(yù)測(cè)信號(hào)與分割圖像信號(hào)的差分，從而計(jì)算預(yù)測(cè)差分信號(hào)。

另外，預(yù)測(cè)部102將在得到預(yù)測(cè)信號(hào)時(shí)決定的預(yù)測(cè)信號(hào)生成用參數(shù)輸出到可變長(zhǎng)編碼部108。

另外，在預(yù)測(cè)信號(hào)生成用參數(shù)中，例如，包括表示幀間的運(yùn)動(dòng)量的運(yùn)動(dòng)矢量等信息。

壓縮部103如果從預(yù)測(cè)部102接收到預(yù)測(cè)差分信號(hào)，則在通過(guò)實(shí)施針對(duì)該預(yù)測(cè)差分信號(hào)的DCT(離散余弦變換)處理而去除了信號(hào)相關(guān)之后，進(jìn)行量化，從而得到壓縮數(shù)據(jù)。

局部解碼部104如果從壓縮部103接收到壓縮數(shù)據(jù)，則通過(guò)對(duì)該壓縮數(shù)據(jù)進(jìn)行逆量化來(lái)實(shí)施逆DCT處理，計(jì)算與從預(yù)測(cè)部102輸出的預(yù)測(cè)差分信號(hào)相當(dāng)?shù)念A(yù)測(cè)差分信號(hào)。

加法器105如果從局部解碼部104接收到預(yù)測(cè)差分信號(hào)，則將該預(yù)測(cè)差分信號(hào)和從預(yù)測(cè)部102輸出的預(yù)測(cè)信號(hào)進(jìn)行相加，生成局部解碼圖像。

環(huán)路濾波器106去除在表示由加法器105生成的局部解碼圖像的局部解碼圖像信號(hào)上重疊的塊失真，將失真去除后的局部解碼圖像信號(hào)作為參照?qǐng)D像信號(hào)保存到存儲(chǔ)器107中。

可變長(zhǎng)編碼部108如果從壓縮部103接收到壓縮數(shù)據(jù)，則對(duì)該壓縮數(shù)據(jù)進(jìn)行熵編碼，輸出作為其編碼結(jié)果的比特流。

另外，可變長(zhǎng)編碼部108在輸出比特流時(shí)，將從預(yù)測(cè)部102輸出的預(yù)測(cè)信號(hào)生成用參數(shù)復(fù)用到比特流而輸出。

此處，在非專(zhuān)利文獻(xiàn)1公開(kāi)的方式中，環(huán)路濾波器106針對(duì)DCT的塊邊界的周邊像素，根據(jù)量化的粗細(xì)、編碼模式、運(yùn)動(dòng)矢量的分散程度等信息來(lái)決定平滑化強(qiáng)度(濾波強(qiáng)度)，實(shí)施針對(duì)局部解碼圖像的濾波處理，從而謀求降低在塊邊界中發(fā)生的失真(塊失真)。

由此，參照?qǐng)D像信號(hào)的質(zhì)量被改善，能夠提高以后的編碼中的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的效率。

非專(zhuān)利文獻(xiàn)1：MPEG-4AVC(ISO/IEC14496-10)/ITU-TH.264標(biāo)準(zhǔn)

技術(shù)實(shí)現(xiàn)要素：

以往的圖像編碼裝置如以上那樣構(gòu)成，所以在環(huán)路濾波器106去除塊失真時(shí)，關(guān)于針對(duì)該塊的亮度信號(hào)分量的濾波的強(qiáng)度，根據(jù)編碼模式等決定，但關(guān)于針對(duì)該塊的色差信號(hào)分量的濾波的強(qiáng)度，挪用針對(duì)亮度信號(hào)分量的濾波的強(qiáng)度。因此，存在如下課題：針對(duì)色差信號(hào)分量的濾波的強(qiáng)度不一定恰當(dāng)，畫(huà)質(zhì)的改善效果受限。

本發(fā)明是為了解決上述那樣的課題而完成的，其目的在于得到一種能夠提高塊失真的去除精度來(lái)改善編碼圖像的質(zhì)量的圖像編碼裝置以及圖像編碼方法。

另外，本發(fā)明的目的在于得到一種能夠提高塊失真的去除精度來(lái)改善解碼圖像的質(zhì)量的圖像解碼裝置以及圖像解碼方法。

本發(fā)明涉及的圖像編碼裝置，具備：塊分割單元，將輸入圖像分割為成為實(shí)施預(yù)測(cè)處理時(shí)的處理單位的塊；編碼模式?jīng)Q定單元，決定針對(duì)由塊分割單元分割出的塊的編碼模式；預(yù)測(cè)圖像生成單元，依照由編碼模式?jīng)Q定單元決定的編碼模式，一邊參照已編碼塊的局部解碼圖像，一邊實(shí)施針對(duì)由塊分割單元分割出的塊的預(yù)測(cè)處理，生成預(yù)測(cè)圖像；差分圖像生成單元，生成由塊分割單元分割出的塊與由預(yù)測(cè)圖像生成單元生成的預(yù)測(cè)圖像的差分圖像；圖像壓縮單元，對(duì)由差分圖像生成單元生成的差分圖像進(jìn)行壓縮，輸出該差分圖像的壓縮數(shù)據(jù)；局部解碼圖像生成單元，對(duì)由圖像壓縮單元壓縮的差分圖像進(jìn)行解壓縮，將解壓縮后的差分圖像和由預(yù)測(cè)圖像生成單元生成的預(yù)測(cè)圖像進(jìn)行相加而生成局部解碼圖像；失真去除單元，實(shí)施針對(duì)由局部解碼圖像生成單元生成的局部解碼圖像的濾波處理，去除該局部解碼圖像的塊失真；以及編碼單元，對(duì)從圖像壓縮單元輸出的壓縮數(shù)據(jù)以及由編碼模式?jīng)Q定單元決定的編碼模式進(jìn)行編碼，生成復(fù)用了該壓縮數(shù)據(jù)以及編碼模式的編碼數(shù)據(jù)的比特流，失真去除單元在去除局部解碼圖像的塊失真時(shí)，與由編碼模式?jīng)Q定單元決定的編碼模式相應(yīng)地，按信號(hào)分量設(shè)定去除塊失真的濾波的強(qiáng)度。

根據(jù)本發(fā)明，構(gòu)成為具備：塊分割單元，將輸入圖像分割為成為實(shí)施預(yù)測(cè)處理時(shí)的處理單位的塊；編碼模式?jīng)Q定單元，決定針對(duì)由塊分割單元分割出的塊的編碼模式；預(yù)測(cè)圖像生成單元，依照由編碼模式?jīng)Q定單元決定的編碼模式，一邊參照已編碼塊的局部解碼圖像，一邊實(shí)施針對(duì)由塊分割單元分割出的塊的預(yù)測(cè)處理，生成預(yù)測(cè)圖像；差分圖像生成單元，生成由塊分割單元分割出的塊與由預(yù)測(cè)圖像生成單元生成的預(yù)測(cè)圖像的差分圖像；圖像壓縮單元，對(duì)由差分圖像生成單元生成的差分圖像進(jìn)行壓縮，輸出該差分圖像的壓縮數(shù)據(jù)；局部解碼圖像生成單元，對(duì)由圖像壓縮單元壓縮的差分圖像進(jìn)行解壓縮，將解壓縮后的差分圖像和由預(yù)測(cè)圖像生成單元生成的預(yù)測(cè)圖像進(jìn)行相加而生成局部解碼圖像；失真去除單元，實(shí)施針對(duì)由局部解碼圖像生成單元生成的局部解碼圖像的濾波處理，去除該局部解碼圖像的塊失真；以及編碼單元，對(duì)從圖像壓縮單元輸出的壓縮數(shù)據(jù)以及由編碼模式?jīng)Q定單元決定的編碼模式進(jìn)行編碼，生成復(fù)用了該壓縮數(shù)據(jù)以及編碼模式的編碼數(shù)據(jù)的比特流，失真去除單元在去除局部解碼圖像的塊失真時(shí)，與由編碼模式?jīng)Q定單元決定的編碼模式相應(yīng)地，按信號(hào)分量設(shè)定去除塊失真的濾波的強(qiáng)度，所以具有能夠提高塊失真的去除精度來(lái)改善編碼圖像的質(zhì)量的效果。

附圖說(shuō)明

圖1是示出本發(fā)明的實(shí)施方式1的圖像編碼裝置的結(jié)構(gòu)圖。

圖2是示出本發(fā)明的實(shí)施方式1的圖像編碼裝置的處理內(nèi)容的流程圖。

圖3是示出本發(fā)明的實(shí)施方式1的圖像解碼裝置的結(jié)構(gòu)圖。

圖4是示出本發(fā)明的實(shí)施方式1的圖像解碼裝置的處理內(nèi)容的流程圖。

圖5是示出最大大小的編碼塊被分層地分割為多個(gè)編碼塊的情況的說(shuō)明圖。

圖6(a)是示出分割后的分區(qū)的分布的圖，(b)是通過(guò)四叉樹(shù)圖表表示對(duì)層次分割后的分區(qū)分配編碼模式m(Bⁿ)的狀況的說(shuō)明圖。

圖7是示出編碼塊內(nèi)的濾波應(yīng)用像素的位置的說(shuō)明圖。

圖8是示出環(huán)路濾波器部11的處理內(nèi)容的流程圖。

圖9是示出濾波強(qiáng)度的判定方法的流程圖。

圖10是示出邊緣位置與像素位置的關(guān)系的說(shuō)明圖。

圖11是示出針對(duì)垂直邊緣的濾波處理的單位的說(shuō)明圖。

圖12是示出針對(duì)水平邊緣的濾波處理的單位的說(shuō)明圖。

圖13是示出Q(亮度的qP值)與參數(shù)β、Tc的對(duì)應(yīng)關(guān)系的說(shuō)明圖。

圖14是示出由可變長(zhǎng)編碼部13生成的比特流的說(shuō)明圖。

圖15是示出編碼塊Bⁿ的大小是Lⁿ＝kMⁿ的例子的說(shuō)明圖。

圖16是示出非專(zhuān)利文獻(xiàn)1公開(kāi)的圖像編碼裝置的結(jié)構(gòu)圖。

代碼說(shuō)明

1：編碼控制部(編碼模式?jīng)Q定單元)；2：塊分割部(塊分割單元)；3：切換開(kāi)關(guān)(預(yù)測(cè)圖像生成單元)；4：幀內(nèi)部預(yù)測(cè)部(預(yù)測(cè)圖像生成單元)；5：運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部(預(yù)測(cè)圖像生成單元)；6：減法部(差分圖像生成單元)；7：變換/量化部(圖像壓縮單元)；8：逆量化/逆變換部(局部解碼圖像)；9：加法部(局部解碼圖像)；10：幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器；11：環(huán)路濾波器部(失真去除單元)；12：運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器；13：可變長(zhǎng)編碼部(編碼單元)；21：可變長(zhǎng)解碼部(解碼單元)；22：切換開(kāi)關(guān)(預(yù)測(cè)圖像生成單元)；23：幀內(nèi)部預(yù)測(cè)部(預(yù)測(cè)圖像生成單元)；24：運(yùn)動(dòng)補(bǔ)償部(預(yù)測(cè)圖像生成單元)；25：逆量化/逆變換部(差分圖像生成單元)；26：加法部(解碼圖像生成單元)；27：幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器；28：環(huán)路濾波器部(失真去除單元)；29：運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器；101：塊分割部；102：預(yù)測(cè)部；103：壓縮部；104：局部解碼部；105：加法器；106：環(huán)路濾波器；107：存儲(chǔ)器；108：可變長(zhǎng)編碼部。

具體實(shí)施方式

以下，為了更詳細(xì)地說(shuō)明本發(fā)明，依照附圖，說(shuō)明用于實(shí)施該發(fā)明的方式。

實(shí)施方式1.

在該實(shí)施方式1中，說(shuō)明：圖像編碼裝置，該圖像編碼裝置輸入影像的各幀圖像，并針對(duì)通過(guò)在接近幀間實(shí)施運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)而得到的預(yù)測(cè)差分信號(hào)進(jìn)行基于正交變換、量化的壓縮處理之后，進(jìn)行可變長(zhǎng)編碼來(lái)生成比特流；和圖像解碼裝置，該圖像解碼裝置對(duì)從該圖像編碼裝置輸出的比特流進(jìn)行解碼。

該實(shí)施方式1的圖像編碼裝置的特征在于，適應(yīng)于影像信號(hào)的空間/時(shí)間方向的局部的變化，將影像信號(hào)分割為各種大小的區(qū)域來(lái)進(jìn)行幀內(nèi)/幀間自適應(yīng)編碼。

一般情況下，影像信號(hào)具有在空間/時(shí)間上信號(hào)的復(fù)雜度局部地變化的特性。在空間上觀察時(shí)，在某特定的影像幀上，既有如天空、壁等那樣的在比較寬的圖像區(qū)域中具有均勻的信號(hào)特性的圖樣，又混合存在人物、具有細(xì)致的紋理的繪畫(huà)等在小的圖像區(qū)域內(nèi)具有復(fù)雜的紋理圖案的圖樣。

在時(shí)間上觀察也是，關(guān)于天空、壁，局部上時(shí)間方向的圖樣的變化小，但關(guān)于活動(dòng)的人物、物體，其輪廓在時(shí)間上進(jìn)行剛體/非剛體的運(yùn)動(dòng)，所以時(shí)間上的變化大。

在編碼處理中，通過(guò)時(shí)間/空間上的預(yù)測(cè)而生成信號(hào)功率、熵小的預(yù)測(cè)差分信號(hào)，從而削減整體的代碼量，但如果能夠?qū)⒂糜陬A(yù)測(cè)的參數(shù)均勻地應(yīng)用于盡可能大的圖像信號(hào)區(qū)域，則能夠減小該參數(shù)的代碼量。

另一方面，如果針對(duì)時(shí)間/空間上變化大的圖像信號(hào)圖案應(yīng)用同一預(yù)測(cè)參數(shù)，則預(yù)測(cè)的錯(cuò)誤增加，所以無(wú)法削減預(yù)測(cè)差分信號(hào)的代碼量。

因此，期望如下：針對(duì)時(shí)間/空間上變化大的圖像信號(hào)圖案，減小預(yù)測(cè)對(duì)象的區(qū)域，由此雖然增加用于預(yù)測(cè)的參數(shù)的數(shù)據(jù)量，但降低預(yù)測(cè)差分信號(hào)的功率/熵。

為了進(jìn)行這樣的適合于影像信號(hào)的一般的性質(zhì)的編碼，在該實(shí)施方式1的圖像編碼裝置中，從規(guī)定的最大塊大小起分層地分割影像信號(hào)的區(qū)域，并針對(duì)每個(gè)分割區(qū)域?qū)嵤╊A(yù)測(cè)處理、預(yù)測(cè)差分的編碼處理。

該實(shí)施方式1的圖像編碼裝置作為處理對(duì)象的影像信號(hào)除了是由亮度信號(hào)和2個(gè)色差信號(hào)構(gòu)成的YUV信號(hào)、從數(shù)字?jǐn)z像元件輸出的RGB信號(hào)等任意的顏色空間的彩色影像信號(hào)以外，還是單色圖像信號(hào)、紅外線圖像信號(hào)等影像幀由水平/垂直二維的數(shù)字采樣(像素)列構(gòu)成的任意的影像信號(hào)。

各像素的灰度既可以是8比特，也可以是10比特、12比特等灰度。

但是，在以下的說(shuō)明中，只要沒(méi)有特別說(shuō)明，則設(shè)為輸入的影像信號(hào)是YUV信號(hào)。而且，設(shè)為是2個(gè)色差分量U、V相對(duì)亮度分量Y被子采樣的4：2：0格式的信號(hào)。

另外，將與影像的各幀對(duì)應(yīng)的處理數(shù)據(jù)單位稱(chēng)為“圖片”，在該實(shí)施方式1中，將“圖片”作為被逐行掃描(progressive scan)的影像幀的信號(hào)而進(jìn)行說(shuō)明。但是，在影像信號(hào)是隔行掃描信號(hào)的情況下，“圖片”也可以是作為構(gòu)成影像幀的單位的場(chǎng)圖像信號(hào)。另外，在以后的說(shuō)明中，有時(shí)將空間上連續(xù)的編碼塊的群組記載為“切片”。

圖1是示出本發(fā)明的實(shí)施方式1的圖像編碼裝置的結(jié)構(gòu)圖。

在圖1中，編碼控制部1實(shí)施如下處理：決定成為實(shí)施運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理(幀間預(yù)測(cè)處理)或者幀內(nèi)部預(yù)測(cè)處理(幀內(nèi)預(yù)測(cè)處理)時(shí)的處理單位的編碼塊的最大大小，并且決定最大大小的編碼塊被分層地分割時(shí)的上限的層次數(shù)。

另外，編碼控制部1實(shí)施如下處理：從可利用的1個(gè)以上的編碼模式(1個(gè)以上的幀內(nèi)部編碼模式、1個(gè)以上的幀之間編碼模式)中，選擇適合于分層地分割的各個(gè)編碼塊的編碼模式。另外，編碼控制部1構(gòu)成了編碼模式?jīng)Q定單元。

塊分割部2實(shí)施如下處理：如果輸入了表示輸入圖像的影像信號(hào)，則將該影像信號(hào)表示的輸入圖像分割為由編碼控制部1決定的最大大小的編碼塊，并且直至達(dá)到由編碼控制部1決定的上限的層次數(shù)為止，對(duì)該編碼塊分層地進(jìn)行分割。另外，塊分割部2構(gòu)成了塊分割單元。

切換開(kāi)關(guān)3實(shí)施如下處理：如果由編碼控制部1選擇的編碼模式是幀內(nèi)部編碼模式，則將由塊分割部2分割的編碼塊輸出到幀內(nèi)部預(yù)測(cè)部4，如果由編碼控制部1選擇的編碼模式是幀之間編碼模式，則將由塊分割部2分割的編碼塊輸出到運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5。

幀內(nèi)部預(yù)測(cè)部4實(shí)施如下處理：如果從切換開(kāi)關(guān)3接收到由塊分割部2分割的編碼塊，則一邊參照由幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器10保存的已編碼塊的局部解碼圖像(參照?qǐng)D像)，一邊使用從編碼控制部1輸出的幀內(nèi)部預(yù)測(cè)參數(shù)，實(shí)施針對(duì)該編碼塊的幀內(nèi)部預(yù)測(cè)處理，生成預(yù)測(cè)圖像。

運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5實(shí)施如下處理：如果從切換開(kāi)關(guān)3接收到由塊分割部2分割的編碼塊，則通過(guò)比較該編碼塊和由運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器12保存的已編碼塊的局部解碼圖像(參照?qǐng)D像)來(lái)實(shí)施運(yùn)動(dòng)搜索并計(jì)算運(yùn)動(dòng)矢量，使用該運(yùn)動(dòng)矢量和從編碼控制部1輸出的幀之間預(yù)測(cè)參數(shù)，實(shí)施針對(duì)該編碼塊的幀之間預(yù)測(cè)處理(運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理)，生成預(yù)測(cè)圖像。

另外，由切換開(kāi)關(guān)3、幀內(nèi)部預(yù)測(cè)部4以及運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5構(gòu)成了預(yù)測(cè)圖像生成單元。

減法部6實(shí)施如下處理：通過(guò)從由塊分割部2分割的編碼塊減去由幀內(nèi)部預(yù)測(cè)部4或者運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5生成的預(yù)測(cè)圖像，生成差分圖像(＝編碼塊－預(yù)測(cè)圖像)。另外，減法部6構(gòu)成了差分圖像生成單元。

變換/量化部7實(shí)施如下處理：按照從編碼控制部1輸出的預(yù)測(cè)差分編碼參數(shù)中包含的變換塊大小單位，實(shí)施由減法部6生成的差分圖像的變換處理(例如DCT(離散余弦變換)、預(yù)先對(duì)特定的學(xué)習(xí)系列進(jìn)行了基礎(chǔ)設(shè)計(jì)的KL變換等正交變換處理)，并且使用該預(yù)測(cè)差分編碼參數(shù)中包含的量化參數(shù)，對(duì)該差分圖像的變換系數(shù)進(jìn)行量化，從而將量化后的變換系數(shù)作為差分圖像的壓縮數(shù)據(jù)輸出。另外，變換/量化部7構(gòu)成了圖像壓縮單元。

逆量化/逆變換部8實(shí)施如下處理：使用從編碼控制部1輸出的預(yù)測(cè)差分編碼參數(shù)中包含的量化參數(shù)，對(duì)從變換/量化部7輸出的壓縮數(shù)據(jù)進(jìn)行逆量化，按照該預(yù)測(cè)差分編碼參數(shù)中包含的變換塊大小單位，實(shí)施逆量化后的壓縮數(shù)據(jù)的逆變換處理(例如逆DCT(逆離散余弦變換)、逆KL變換等逆變換處理)，從而將逆變換處理后的壓縮數(shù)據(jù)作為局部解碼預(yù)測(cè)差分信號(hào)(表示解壓縮后的差分圖像的數(shù)據(jù))輸出。

加法部9實(shí)施如下處理：通過(guò)將從逆量化/逆變換部8輸出的局部解碼預(yù)測(cè)差分信號(hào)和表示由幀內(nèi)部預(yù)測(cè)部4或者運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5生成的預(yù)測(cè)圖像的預(yù)測(cè)信號(hào)進(jìn)行相加，生成表示局部解碼圖像的局部解碼圖像信號(hào)。

另外，由逆量化/逆變換部8以及加法部9構(gòu)成了局部解碼圖像生成單元。

幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器10是將由加法部9生成的局部解碼圖像信號(hào)表示的局部解碼圖像作為通過(guò)幀內(nèi)部預(yù)測(cè)部4在下次的幀內(nèi)部預(yù)測(cè)處理中使用的圖像保存的RAM等記錄介質(zhì)。

環(huán)路濾波器部11實(shí)施如下處理：通過(guò)實(shí)施針對(duì)由加法部9生成的局部解碼圖像信號(hào)的濾波處理(環(huán)路濾波處理)，去除在塊邊界中發(fā)生的失真(塊失真)。

環(huán)路濾波器部11在去除局部解碼圖像的塊失真時(shí)，與由編碼控制部1選擇的編碼模式(幀內(nèi)部編碼模式、幀之間編碼模式)相應(yīng)地，按信號(hào)分量(亮度信號(hào)分量、色差信號(hào)分量)設(shè)定去除塊失真的濾波的強(qiáng)度。

另外，環(huán)路濾波器部11構(gòu)成了失真去除單元。

運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器12是將由環(huán)路濾波器部11進(jìn)行了濾波處理后的局部解碼圖像作為通過(guò)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5在下次的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理中使用的參照?qǐng)D像保存的RAM等記錄介質(zhì)。

可變長(zhǎng)編碼部13實(shí)施如下處理：對(duì)從變換/量化部7輸出的壓縮數(shù)據(jù)、從編碼控制部1輸出的編碼模式以及預(yù)測(cè)差分編碼參數(shù)、以及從幀內(nèi)部預(yù)測(cè)部4輸出的幀內(nèi)部預(yù)測(cè)參數(shù)或者從運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5輸出的幀之間預(yù)測(cè)參數(shù)(包括運(yùn)動(dòng)矢量)進(jìn)行可變長(zhǎng)編碼，生成復(fù)用了該壓縮數(shù)據(jù)、編碼模式、預(yù)測(cè)差分編碼參數(shù)、幀內(nèi)部預(yù)測(cè)參數(shù)/幀之間預(yù)測(cè)參數(shù)的編碼數(shù)據(jù)的比特流。另外，可變長(zhǎng)編碼部13構(gòu)成了編碼單元。

在圖1中，設(shè)想了作為圖像編碼裝置的構(gòu)成要素的編碼控制部1、塊分割部2、切換開(kāi)關(guān)3、幀內(nèi)部預(yù)測(cè)部4、運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5、減法部6、變換/量化部7、逆量化/逆變換部8、加法部9、環(huán)路濾波器部11以及可變長(zhǎng)編碼部13分別由專(zhuān)用的硬件(例如安裝了CPU的半導(dǎo)體集成電路、或者單片微型計(jì)算機(jī)等)構(gòu)成的例子，但在圖像編碼裝置由計(jì)算機(jī)構(gòu)成的情況下，也可以將描述了編碼控制部1、塊分割部2、切換開(kāi)關(guān)3、幀內(nèi)部預(yù)測(cè)部4、運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5、減法部6、變換/量化部7、逆量化/逆變換部8、加法部9、環(huán)路濾波器部11以及可變長(zhǎng)編碼部13的處理內(nèi)容的程序保存到該計(jì)算機(jī)的存儲(chǔ)器中，該計(jì)算機(jī)的CPU執(zhí)行該存儲(chǔ)器中保存的程序。

圖2是示出本發(fā)明的實(shí)施方式1的圖像編碼裝置的處理內(nèi)容的流程圖。

圖3是示出本發(fā)明的實(shí)施方式1的圖像解碼裝置的結(jié)構(gòu)圖。

在圖3中，可變長(zhǎng)解碼部21實(shí)施如下處理：從復(fù)用在比特流中的編碼數(shù)據(jù)，可變長(zhǎng)解碼出與分層地分割的各個(gè)編碼塊有關(guān)的壓縮數(shù)據(jù)、編碼模式、預(yù)測(cè)差分編碼參數(shù)、幀內(nèi)部預(yù)測(cè)參數(shù)/幀之間預(yù)測(cè)參數(shù)(包括運(yùn)動(dòng)矢量)，將該壓縮數(shù)據(jù)以及預(yù)測(cè)差分編碼參數(shù)輸出到逆量化/逆變換部25，并且將該編碼模式以及幀內(nèi)部預(yù)測(cè)參數(shù)/幀之間預(yù)測(cè)參數(shù)輸出到切換開(kāi)關(guān)22，而且，將該編碼模式輸出到環(huán)路濾波器部28。另外，可變長(zhǎng)解碼部21構(gòu)成了解碼單元。

切換開(kāi)關(guān)22實(shí)施如下處理：在從可變長(zhǎng)解碼部21輸出的與編碼塊有關(guān)的編碼模式是幀內(nèi)部編碼模式的情況下，將從可變長(zhǎng)解碼部21輸出的幀內(nèi)部預(yù)測(cè)參數(shù)輸出到幀內(nèi)部預(yù)測(cè)部23，在該編碼模式是幀之間編碼模式的情況下，將從可變長(zhǎng)解碼部21輸出的幀之間預(yù)測(cè)參數(shù)輸出到運(yùn)動(dòng)補(bǔ)償部24。

幀內(nèi)部預(yù)測(cè)部23實(shí)施如下處理：一邊參照由幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器27保存的已解碼塊的解碼圖像(參照?qǐng)D像)，一邊使用從切換開(kāi)關(guān)22輸出的幀內(nèi)部預(yù)測(cè)參數(shù)，實(shí)施針對(duì)該編碼塊的幀內(nèi)部預(yù)測(cè)處理，生成預(yù)測(cè)圖像。

運(yùn)動(dòng)補(bǔ)償部24實(shí)施如下處理：使用從切換開(kāi)關(guān)22輸出的幀之間預(yù)測(cè)參數(shù)中包含的運(yùn)動(dòng)矢量和由運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器29保存的已解碼塊的解碼圖像(參照?qǐng)D像)，實(shí)施針對(duì)該編碼塊的幀之間預(yù)測(cè)處理，生成預(yù)測(cè)圖像。

另外，由切換開(kāi)關(guān)22、幀內(nèi)部預(yù)測(cè)部23以及運(yùn)動(dòng)補(bǔ)償部24構(gòu)成了預(yù)測(cè)圖像生成單元。

逆量化/逆變換部25實(shí)施如下處理：使用從可變長(zhǎng)解碼部21輸出的預(yù)測(cè)差分編碼參數(shù)中包含的量化參數(shù)，對(duì)從可變長(zhǎng)解碼部21輸出的壓縮數(shù)據(jù)進(jìn)行逆量化，按照該預(yù)測(cè)差分編碼參數(shù)中包含的變換塊大小單位，實(shí)施逆量化后的壓縮數(shù)據(jù)的逆變換處理(例如逆DCT(逆離散余弦變換)、逆KL變換等逆變換處理)，從而將逆變換處理后的壓縮數(shù)據(jù)作為解碼預(yù)測(cè)差分信號(hào)(表示壓縮前的差分圖像的信號(hào))輸出。另外，逆量化/逆變換部25構(gòu)成了差分圖像生成單元。

加法部26實(shí)施如下處理：通過(guò)將從逆量化/逆變換部25輸出的解碼預(yù)測(cè)差分信號(hào)和表示由幀內(nèi)部預(yù)測(cè)部23或者運(yùn)動(dòng)補(bǔ)償部24生成的預(yù)測(cè)圖像的預(yù)測(cè)信號(hào)進(jìn)行相加，生成表示解碼圖像的解碼圖像信號(hào)。另外，加法部26構(gòu)成了解碼圖像生成單元。

幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器27是將由加法部26生成的解碼圖像信號(hào)表示的解碼圖像作為通過(guò)幀內(nèi)部預(yù)測(cè)部23在下次的幀內(nèi)部預(yù)測(cè)處理中使用的圖像保存的RAM等記錄介質(zhì)。

環(huán)路濾波器部28實(shí)施如下處理：通過(guò)實(shí)施針對(duì)由加法部26生成的解碼圖像信號(hào)的濾波處理(環(huán)路濾波處理)，來(lái)去除在塊邊界中發(fā)生的失真(塊失真)。

環(huán)路濾波器部28在去除解碼圖像的塊失真時(shí)，與從可變長(zhǎng)解碼部21輸出的編碼模式(幀內(nèi)部編碼模式、幀之間編碼模式)相應(yīng)地，按信號(hào)分量(亮度信號(hào)分量、色差信號(hào)分量)設(shè)定去除塊失真的濾波的強(qiáng)度。

另外，環(huán)路濾波器部28構(gòu)成了失真去除單元。

運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器29是將由環(huán)路濾波器部28執(zhí)行了濾波處理后的解碼圖像作為通過(guò)運(yùn)動(dòng)補(bǔ)償部24在下次的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理中使用的參照?qǐng)D像保存的RAM等記錄介質(zhì)。

在圖3中，設(shè)想了作為圖像解碼裝置的構(gòu)成要素的可變長(zhǎng)解碼部21、切換開(kāi)關(guān)22、幀內(nèi)部預(yù)測(cè)部23、運(yùn)動(dòng)補(bǔ)償部24、逆量化/逆變換部25、加法部26以及環(huán)路濾波器部28分別由專(zhuān)用的硬件(例如安裝了CPU的半導(dǎo)體集成電路、或者單片微型計(jì)算機(jī)等)構(gòu)成的例子，但在圖像解碼裝置由計(jì)算機(jī)構(gòu)成的情況下，也可以將描述了可變長(zhǎng)解碼部21、切換開(kāi)關(guān)22、幀內(nèi)部預(yù)測(cè)部23、運(yùn)動(dòng)補(bǔ)償部24、逆量化/逆變換部25、加法部26以及環(huán)路濾波器部28的處理內(nèi)容的程序保存到該計(jì)算機(jī)的存儲(chǔ)器中，該計(jì)算機(jī)的CPU執(zhí)行該存儲(chǔ)器中保存的程序。

圖4是示出本發(fā)明的實(shí)施方式1的圖像解碼裝置的處理內(nèi)容的流程圖。

接下來(lái)，說(shuō)明動(dòng)作。

最初，說(shuō)明圖1的圖像編碼裝置的處理內(nèi)容。

首先，編碼控制部1決定成為實(shí)施運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理(幀間預(yù)測(cè)處理)或者幀內(nèi)部預(yù)測(cè)處理(幀內(nèi)預(yù)測(cè)處理)時(shí)的處理單位的編碼塊的最大大小，并且決定最大大小的編碼塊被分層地分割時(shí)的上限的層次數(shù)(圖2的步驟ST1)。

作為編碼塊的最大大小的決定方法，例如考慮針對(duì)所有圖片決定為與輸入圖像的分辨率對(duì)應(yīng)的大小的方法。

另外，考慮如下方法等：將輸入圖像的局部運(yùn)動(dòng)的復(fù)雜度的差異作為參數(shù)進(jìn)行定量化，在運(yùn)動(dòng)劇烈的圖片中將最大大小決定為小的值，在運(yùn)動(dòng)少的圖片中將最大大小決定為大的值。

關(guān)于上限的層次數(shù)，例如考慮設(shè)定成為如下的方法：輸入圖像的運(yùn)動(dòng)越劇烈，使層次數(shù)越深，以能夠檢測(cè)更細(xì)的運(yùn)動(dòng)，如果輸入圖像的運(yùn)動(dòng)少，則抑制層次數(shù)。

另外，編碼控制部1從可利用的1個(gè)以上的編碼模式(M種幀內(nèi)部編碼模式、N種幀之間編碼模式)中，選擇適合于分層地分割的各個(gè)編碼塊的編碼模式(步驟ST2)。

由編碼控制部1進(jìn)行的編碼模式的選擇方法是公知的技術(shù)，所以省略詳細(xì)的說(shuō)明，但例如有如下方法等：使用可利用的任意的編碼模式，實(shí)施針對(duì)編碼塊的編碼處理來(lái)驗(yàn)證編碼效率，在可利用的多個(gè)編碼模式中，選擇編碼效率最佳的編碼模式。

在塊分割部2中，如果輸入了表示輸入圖像的影像信號(hào)，則將該影像信號(hào)表示的輸入圖像分割為由編碼控制部1決定的最大大小的編碼塊，并且直至達(dá)到由編碼控制部1決定的上限的層次數(shù)為止，對(duì)該編碼塊分層地進(jìn)行分割(步驟ST3)。

此處，圖5是示出最大大小的編碼塊被分層地分割為多個(gè)編碼塊的情況的說(shuō)明圖。

在圖5的例子中，最大大小的編碼塊是第0層次的編碼塊B⁰，在亮度分量上具有(L⁰，M⁰)的大小。

另外，在圖5的例子中，以最大大小的編碼塊B⁰為出發(fā)點(diǎn)，通過(guò)四叉樹(shù)構(gòu)造，分層地進(jìn)行分割直至另行決定的規(guī)定的深度為止，從而得到編碼塊Bⁿ。

在深度n下，編碼塊Bⁿ是大小為(Lⁿ，Mⁿ)的圖像區(qū)域。

其中，Lⁿ和Mⁿ既可以相同也可以不同，但在圖5的例子中示出了Lⁿ＝Mⁿ的情形。

以后，將編碼塊Bⁿ的大小定義為編碼塊Bⁿ的亮度分量中的大小(Lⁿ，Mⁿ)。

塊分割部2進(jìn)行四叉樹(shù)分割，所以(Lⁿ⁺¹，Mⁿ⁺¹)＝(Lⁿ/2，Mⁿ/2)始終成立。

但是，在如RGB信號(hào)等那樣所有顏色分量具有同一采樣數(shù)的彩色影像信號(hào)(4：4：4格式)中，所有顏色分量的大小為(Lⁿ，Mⁿ)，但在處理4：2：0格式的情況下，對(duì)應(yīng)的色差分量的編碼塊的大小是(Lⁿ/2，Mⁿ/2)。

以后，將在第n層次的編碼塊Bⁿ中可選擇的編碼模式記載為m(Bⁿ)。

在由多個(gè)顏色分量構(gòu)成的彩色影像信號(hào)的情況下，編碼模式m(Bⁿ)可以構(gòu)成為針對(duì)各顏色分量分別使用各自的模式，但以后只要沒(méi)有特別說(shuō)明，則設(shè)為指針對(duì)YUV信號(hào)4：2：0格式的編碼塊的亮度分量的編碼模式來(lái)進(jìn)行說(shuō)明。

在編碼模式m(Bⁿ)中，有一個(gè)或者多個(gè)幀內(nèi)部編碼模式(總稱(chēng)為“INTRA”)、一個(gè)或者多個(gè)幀之間編碼模式(總稱(chēng)為“INTER”)，編碼控制部1如上所述，從在該圖片中可利用的所有編碼模式或者其子集中，選擇針對(duì)編碼塊Bⁿ編碼效率最佳的編碼模式。

編碼塊Bⁿ如圖5所示，被進(jìn)一步分割為一個(gè)或者多個(gè)預(yù)測(cè)處理單位(分區(qū)(partition))。

以后，將屬于編碼塊Bⁿ的分區(qū)記載為P_iⁿ(i：第n層次中的分區(qū)編號(hào))。

關(guān)于屬于編碼塊Bⁿ的分區(qū)P_iⁿ的分割是被如何進(jìn)行的，作為信息包括在編碼模式m(Bⁿ)中。

關(guān)于分區(qū)P_iⁿ，全部依照編碼模式m(Bⁿ)進(jìn)行預(yù)測(cè)處理，但能夠針對(duì)每個(gè)分區(qū)P_iⁿ，選擇各自的預(yù)測(cè)參數(shù)。

編碼控制部1針對(duì)最大大小的編碼塊，例如生成圖6所示那樣的塊分割狀態(tài)，確定編碼塊Bⁿ。

圖6(a)的畫(huà)網(wǎng)線的部分表示分割后的分區(qū)的分布，而且，在圖6(b)中通過(guò)四叉樹(shù)圖表表示對(duì)層次分割后的分區(qū)分配編碼模式m(Bⁿ)的狀況。

在圖6(b)中，用□包圍的節(jié)點(diǎn)表示被分配了編碼模式m(Bⁿ)的節(jié)點(diǎn)(編碼塊Bⁿ)。

當(dāng)編碼控制部1針對(duì)各個(gè)編碼塊Bⁿ的分區(qū)P_iⁿ選擇最佳的編碼模式m(Bⁿ)時(shí)，如果該編碼模式m(Bⁿ)是幀內(nèi)部編碼模式(步驟ST4)，則切換開(kāi)關(guān)3將由塊分割部2分割的編碼塊Bⁿ的分區(qū)P_iⁿ輸出到幀內(nèi)部預(yù)測(cè)部4。

另一方面，如果該編碼模式m(Bⁿ)是幀之間編碼模式(步驟ST4)，則將由塊分割部2分割的編碼塊Bⁿ的分區(qū)P_iⁿ輸出到運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5。

幀內(nèi)部預(yù)測(cè)部4如果從切換開(kāi)關(guān)3接收到編碼塊Bⁿ的分區(qū)P_iⁿ，則一邊參照由幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器10保存的已編碼塊的局部解碼圖像，一邊使用與由編碼控制部1選擇的編碼模式m(Bⁿ)對(duì)應(yīng)的幀內(nèi)部預(yù)測(cè)參數(shù)，實(shí)施針對(duì)該編碼塊Bⁿ的分區(qū)P_iⁿ的幀內(nèi)部預(yù)測(cè)處理，生成幀內(nèi)部預(yù)測(cè)圖像P_iⁿ(步驟ST5)。

幀內(nèi)部預(yù)測(cè)部4如果生成了幀內(nèi)部預(yù)測(cè)圖像P_iⁿ，則將該幀內(nèi)部預(yù)測(cè)圖像P_iⁿ輸出到減法部6以及加法部9，但為了使得在圖3的圖像解碼裝置中也能夠生成相同的幀內(nèi)部預(yù)測(cè)圖像P_iⁿ，將該幀內(nèi)部預(yù)測(cè)參數(shù)輸出到可變長(zhǎng)編碼部13。

另外，幀內(nèi)部預(yù)測(cè)部4的幀內(nèi)部預(yù)測(cè)處理依照例如AVC/H.264標(biāo)準(zhǔn)(ISO/IEC 14496-10)中制定的算法，但不限于該算法。

運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5如果從切換開(kāi)關(guān)3接收到編碼塊Bⁿ的分區(qū)P_iⁿ，則通過(guò)比較該編碼塊Bⁿ的分區(qū)P_iⁿ和由運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器12保存的已編碼塊的局部解碼圖像來(lái)實(shí)施運(yùn)動(dòng)搜索并計(jì)算運(yùn)動(dòng)矢量，使用該運(yùn)動(dòng)矢量和從編碼控制部1輸出的幀之間預(yù)測(cè)參數(shù)，實(shí)施針對(duì)該編碼塊的幀之間預(yù)測(cè)處理，生成幀之間預(yù)測(cè)圖像P_iⁿ(步驟ST6)。

運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5如果生成了幀之間預(yù)測(cè)圖像P_iⁿ，則將該幀之間預(yù)測(cè)圖像P_iⁿ輸出到減法部6以及加法部9，但為了使得在圖3的圖像解碼裝置中也能夠生成相同的幀之間預(yù)測(cè)圖像P_iⁿ，將該幀之間預(yù)測(cè)參數(shù)輸出到可變長(zhǎng)編碼部13。

另外，在幀之間預(yù)測(cè)參數(shù)中，包括下述信息。

(1)描述了編碼塊Bⁿ內(nèi)的分區(qū)P_iⁿ的分割狀況的模式信息

(2)分區(qū)P_iⁿ的運(yùn)動(dòng)矢量

(3)在由運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器12保存了多個(gè)局部解碼圖像(參照?qǐng)D像)的情況下，表示使用哪一個(gè)參照?qǐng)D像來(lái)實(shí)施幀之間預(yù)測(cè)處理的參照?qǐng)D像的指示索引信息

(4)在有多個(gè)運(yùn)動(dòng)矢量的預(yù)測(cè)值候補(bǔ)的情況下，表示選擇哪一個(gè)運(yùn)動(dòng)矢量的預(yù)測(cè)值來(lái)使用的索引信息

(5)在有多個(gè)運(yùn)動(dòng)補(bǔ)償內(nèi)插濾波器的情況下，表示選擇哪一個(gè)濾波器來(lái)使用的索引信息

(6)在分區(qū)P_iⁿ的運(yùn)動(dòng)矢量能夠表示多個(gè)像素精度(半像素、1/4像素、1/8像素等)的情況下，表示使用哪一個(gè)像素精度的選擇信息

如果幀內(nèi)部預(yù)測(cè)部4或者運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5生成了預(yù)測(cè)圖像(幀內(nèi)部預(yù)測(cè)圖像P_iⁿ、幀之間預(yù)測(cè)圖像P_iⁿ)，則減法部6從由塊分割部2分割的編碼塊Bⁿ的分區(qū)P_iⁿ，減去由幀內(nèi)部預(yù)測(cè)部4或者運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5生成的預(yù)測(cè)圖像(幀內(nèi)部預(yù)測(cè)圖像P_iⁿ、幀之間預(yù)測(cè)圖像P_iⁿ)，從而生成差分圖像，將表示該差分圖像的預(yù)測(cè)差分信號(hào)e_iⁿ輸出到變換/量化部7(步驟ST7)。

變換/量化部7如果從減法部6接收到表示差分圖像的預(yù)測(cè)差分信號(hào)e_iⁿ，則按照從編碼控制部1輸出的預(yù)測(cè)差分編碼參數(shù)中包含的變換塊大小單位，實(shí)施該差分圖像的變換處理(例如DCT(離散余弦變換)、預(yù)先對(duì)特定的學(xué)習(xí)系列進(jìn)行了基礎(chǔ)設(shè)計(jì)的KL變換等正交變換處理)，并且使用該預(yù)測(cè)差分編碼參數(shù)中包含的量化參數(shù)，對(duì)該差分圖像的變換系數(shù)進(jìn)行量化，從而將量化后的變換系數(shù)作為差分圖像的壓縮數(shù)據(jù)輸出到逆量化/逆變換部8以及可變長(zhǎng)編碼部13(步驟ST8)。

逆量化/逆變換部8如果從變換/量化部7接收到差分圖像的壓縮數(shù)據(jù)，則使用從編碼控制部1輸出的預(yù)測(cè)差分編碼參數(shù)中包含的量化參數(shù)，對(duì)該差分圖像的壓縮數(shù)據(jù)進(jìn)行逆量化，按照該預(yù)測(cè)差分編碼參數(shù)中包含的變換塊大小單位，實(shí)施逆量化后的壓縮數(shù)據(jù)的逆變換處理(例如逆DCT(逆離散余弦變換)、逆KL變換等逆變換處理)，從而將逆變換處理后的壓縮數(shù)據(jù)作為局部解碼預(yù)測(cè)差分信號(hào)輸出到加法部9(步驟ST9)。

加法部9如果從逆量化/逆變換部8接收到局部解碼預(yù)測(cè)差分信號(hào)，則將該局部解碼預(yù)測(cè)差分信號(hào)、和表示由幀內(nèi)部預(yù)測(cè)部4或者運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5生成的預(yù)測(cè)圖像(幀內(nèi)部預(yù)測(cè)圖像P_iⁿ、幀之間預(yù)測(cè)圖像P_iⁿ)的預(yù)測(cè)信號(hào)進(jìn)行相加，從而生成局部解碼分區(qū)圖像、或者作為其集合的局部解碼塊圖像即局部解碼圖像(步驟ST10)。

在加法部9中，如果生成了局部解碼圖像，則將表示該局部解碼圖像的局部解碼圖像信號(hào)保存到幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器10中，并且將該局部解碼圖像信號(hào)輸出到環(huán)路濾波器部11。

環(huán)路濾波器部11如果從加法部9接收到局部解碼圖像信號(hào)，則實(shí)施針對(duì)該局部解碼圖像信號(hào)的濾波處理，從而去除在塊邊界中發(fā)生的失真(塊失真)(步驟ST11)。

環(huán)路濾波器部11中的處理內(nèi)容的詳細(xì)內(nèi)容后述，但在去除局部解碼圖像的塊失真時(shí)，與由編碼控制部1選擇的編碼模式(幀內(nèi)部編碼模式、幀之間編碼模式)相應(yīng)地，按信號(hào)分量(亮度信號(hào)分量、色差信號(hào)分量)設(shè)定去除塊失真的濾波的強(qiáng)度。

另外，關(guān)于環(huán)路濾波器部11的濾波處理，既可以按照從加法部9輸出的局部解碼圖像信號(hào)的最大編碼塊或者各個(gè)編碼塊單位進(jìn)行，也可以在輸出了與1個(gè)畫(huà)面量的宏塊相當(dāng)?shù)木植拷獯a圖像信號(hào)之后集中1個(gè)畫(huà)面量來(lái)進(jìn)行。

反復(fù)實(shí)施步驟ST4～ST10的處理直至針對(duì)被分層地分割的所有編碼塊Bⁿ的處理完成為止，如果針對(duì)所有編碼塊Bⁿ的處理完成，則轉(zhuǎn)移到步驟ST13的處理(步驟ST12)。

可變長(zhǎng)編碼部13對(duì)從變換/量化部7輸出的壓縮數(shù)據(jù)、從編碼控制部1輸出的編碼模式(包括表示編碼塊的分割狀態(tài)的信息)以及預(yù)測(cè)差分編碼參數(shù)、以及從幀內(nèi)部預(yù)測(cè)部4輸出的幀內(nèi)部預(yù)測(cè)參數(shù)或者從運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5輸出的幀之間預(yù)測(cè)參數(shù)(包括運(yùn)動(dòng)矢量)進(jìn)行熵編碼。

可變長(zhǎng)編碼部13復(fù)用作為熵編碼的編碼結(jié)果的壓縮數(shù)據(jù)、編碼模式、預(yù)測(cè)差分編碼參數(shù)、幀內(nèi)部預(yù)測(cè)參數(shù)/幀之間預(yù)測(cè)參數(shù)的編碼數(shù)據(jù)來(lái)生成比特流(步驟ST13)。

以下，具體說(shuō)明環(huán)路濾波器部11的濾波處理。

環(huán)路濾波器部11是使在作為上述預(yù)測(cè)處理單位的分區(qū)與變換塊的邊界中發(fā)生的塊噪聲降低的非線性平滑化濾波器。

圖7是示出編碼塊內(nèi)的濾波應(yīng)用像素的位置的說(shuō)明圖。

在圖7中，垂直邊緣以及水平邊緣、和分區(qū)或者變換塊的塊邊界重疊的位置成為濾波處理的對(duì)象。

在圖7中，用K×K像素柵格表示垂直邊緣以及水平邊緣。K的值既可以確定為固定值，也可以根據(jù)編碼塊的最大大小、分區(qū)/變換塊的最大大小等設(shè)定。

圖8是示出環(huán)路濾波器部11的處理內(nèi)容的流程圖。

針對(duì)每個(gè)編碼塊執(zhí)行環(huán)路濾波器部11的濾波處理。

首先，環(huán)路濾波器部11判定垂直邊緣以及水平邊緣是否與分區(qū)或者變換塊的邊界一致(步驟ST41)。

在存在與分區(qū)或者變換塊的邊界一致的垂直邊緣或者水平邊緣的情況下，環(huán)路濾波器部11進(jìn)行與邊界一致的部位的濾波強(qiáng)度判定(步驟ST42、ST43)。濾波強(qiáng)度的判定方法將后述。

在環(huán)路濾波器部11中，如果進(jìn)行了濾波強(qiáng)度判定，則根據(jù)該濾波強(qiáng)度的判定結(jié)果、實(shí)際上成為濾波處理的對(duì)象的像素值的變化量，一邊變更最終的濾波的強(qiáng)度一邊進(jìn)行濾波處理(步驟ST44、ST45)。濾波處理的方法將后述。

環(huán)路濾波器部11反復(fù)實(shí)施步驟ST41～45的處理直至針對(duì)圖片內(nèi)的所有編碼塊的處理完成為止(步驟ST46)。

另外，設(shè)為在切片頭中復(fù)用是否對(duì)切片內(nèi)的所有編碼塊進(jìn)行本環(huán)路濾波的處理的識(shí)別信息，圖像編碼裝置構(gòu)成為根據(jù)狀況決定該識(shí)別信息的值并傳送到圖像解碼裝置。

接下來(lái)，說(shuō)明環(huán)路濾波器部11的濾波強(qiáng)度的判定處理。

圖9是示出濾波強(qiáng)度的判定方法的流程圖。

環(huán)路濾波器部11針對(duì)與垂直邊緣和水平邊緣鄰接的所有像素，按照下述條件求出濾波強(qiáng)度bS(步驟ST51)。

以下的說(shuō)明中，用p_i(i＝0，1，2，3)、q_j(j＝0，1，2，3)的記號(hào)表示了邊緣附近的像素，但邊緣位置和像素位置的關(guān)系如圖10那樣定義。

在編碼塊中，包括亮度信號(hào)分量的塊和色差信號(hào)分量的塊，但在環(huán)路濾波器部11中，按照以下的條件，進(jìn)行濾波強(qiáng)度的判定。

(1)濾波處理對(duì)象的編碼塊的編碼模式是幀內(nèi)部編碼模式、還是幀之間編碼模式

(2)進(jìn)行濾波處理的信號(hào)分量是亮度信號(hào)分量、還是色差信號(hào)分量

(3)在包括濾波處理對(duì)象的像素的變換塊內(nèi)，是否包括非零的變換系數(shù)

(4)包括濾波處理對(duì)象的像素的分區(qū)中的運(yùn)動(dòng)參數(shù)的狀態(tài)

環(huán)路濾波器部11通過(guò)以下的過(guò)程進(jìn)行濾波強(qiáng)度的判定。

(過(guò)程1)

在是位于編碼塊的邊界的邊緣、且包括p₀的編碼塊或者包括q₀的編碼塊的編碼模式是“幀內(nèi)部編碼模式”的情況下，決定為如下：

處理對(duì)象信號(hào)分量為亮度信號(hào)分量→bS＝2

處理對(duì)象信號(hào)分量為色差信號(hào)分量→bS＝4。

(過(guò)程2)

在不符合過(guò)程1中的條件的情況下，

在包括p₀的編碼塊、或者包括q₀的編碼塊的編碼模式是“幀內(nèi)部編碼模式”的情況下，決定為如下：

處理對(duì)象信號(hào)分量為亮度信號(hào)分量→bS＝1

處理對(duì)象信號(hào)分量為色差信號(hào)分量→bS＝3。

(過(guò)程3)

在不符合過(guò)程1、2中的條件的情況下，

在p₀或者q₀屬于具有非零正交變換系數(shù)的變換塊的情況下，決定為如下：

處理對(duì)象信號(hào)分量為亮度信號(hào)分量→bS＝2

處理對(duì)象信號(hào)分量為色差信號(hào)分量→bS＝2。

(過(guò)程4)

在不符合過(guò)程1～3中的條件的情況下，在滿足以下的任一條件的情況下，決定為如下：

處理對(duì)象信號(hào)分量為亮度信號(hào)分量→bS＝1

處理對(duì)象信號(hào)分量為色差信號(hào)分量→bS＝1。

[條件]

·包括p₀的分區(qū)和包括q₀的分區(qū)具有不同的參照?qǐng)D片、或者具有不同數(shù)量的運(yùn)動(dòng)矢量

·在包括p₀的分區(qū)和包括q₀的分區(qū)中，分別使用1個(gè)運(yùn)動(dòng)矢量，雙方的運(yùn)動(dòng)矢量的水平分量或者垂直分量的差分絕對(duì)值在1/4像素精度下是4以上

·在包括p₀的分區(qū)和包括q₀的分區(qū)中，分別使用2個(gè)運(yùn)動(dòng)矢量，在指相同的參照?qǐng)D片的運(yùn)動(dòng)矢量對(duì)(p₀中的運(yùn)動(dòng)矢量、和q₀中的運(yùn)動(dòng)矢量的對(duì))的至少1組中，雙方的運(yùn)動(dòng)矢量的水平分量或者垂直分量的差分絕對(duì)值在1/4像素精度下是4以上

(過(guò)程5)

在不符合過(guò)程1～4中的條件的情況下(分區(qū)/變換塊的邊界以外的邊緣也符合本條件)，決定為如下：

處理對(duì)象信號(hào)分量為亮度信號(hào)分量→bS＝0

處理對(duì)象信號(hào)分量為色差信號(hào)分量→bS＝0。

在處理對(duì)象的編碼塊的編碼模式是幀內(nèi)部編碼模式的情況下，相比于利用幀之間預(yù)測(cè)的幀間預(yù)測(cè)的情況，亮度信號(hào)和色差信號(hào)的預(yù)測(cè)殘差功率都大，被量化的變換系數(shù)的分布針對(duì)每個(gè)信號(hào)分量大幅不同的概率變高。

塊失真的程度受到由于量化而有效的變換系數(shù)主觀上會(huì)消失多少的影響，因此特別是在幀內(nèi)部編碼中，優(yōu)選能夠通過(guò)亮度和色差來(lái)調(diào)整作為測(cè)量塊失真的程度的尺度的濾波強(qiáng)度的值。

在以往的環(huán)路濾波器106(參照?qǐng)D16)中，色差信號(hào)分量的濾波強(qiáng)度始終被設(shè)定為與亮度信號(hào)分量的濾波強(qiáng)度相同的值，但在該實(shí)施方式1中，根據(jù)條件按信號(hào)分量(亮度信號(hào)分量、色差信號(hào)分量)設(shè)定了濾波強(qiáng)度，所以得到比以往更有助于畫(huà)質(zhì)的改善的濾波強(qiáng)度。

在環(huán)路濾波器部11中，如果進(jìn)行了濾波強(qiáng)度判定，則根據(jù)濾波強(qiáng)度的判定結(jié)果，按照垂直邊緣、水平邊緣的順序進(jìn)行濾波處理。

首先，環(huán)路濾波器部11針對(duì)垂直邊緣，針對(duì)每K行求出濾波強(qiáng)度bS的最大值，將該最大值設(shè)為bSVer。

環(huán)路濾波器部11根據(jù)最大值bSVer，進(jìn)行針對(duì)該K行的邊緣附近像素的濾波處理。

圖11是示出針對(duì)垂直邊緣的濾波處理的單位的說(shuō)明圖。以垂直邊緣為中心的K×K像素成為相同的bSVer。對(duì)各像素應(yīng)用的最終的濾波強(qiáng)度bS是由最大值bSVer和各像素位置處的像素值的變化量來(lái)決定的。

圖12示出針對(duì)水平邊緣的濾波處理的單位。除了處理的方向從垂直變化為水平以外，與垂直邊緣相同。

以下，說(shuō)明針對(duì)處理對(duì)象像素的濾波處理。

環(huán)路濾波器部11針對(duì)亮度信號(hào)分量的垂直邊緣方向，按照以下的過(guò)程進(jìn)行濾波處理。針對(duì)亮度信號(hào)分量的水平邊緣方向的濾波處理也是相同的過(guò)程，但代替最大值bSVer，使用針對(duì)水平邊緣的每K行的濾波強(qiáng)度bS的最大值bSHor。

[a]bSVer＝0的情況

不進(jìn)行濾波處理。

[b]bSVer≦2的情況

(1)在圖13中，求出設(shè)為Q＝(亮度的qP值)時(shí)的參數(shù)β、Tc。

圖13是示出Q(亮度的qP值)與參數(shù)β、Tc的對(duì)應(yīng)關(guān)系的說(shuō)明圖。

(2)求出d＝|p₂-2*p₁+p₀|+|q₂-2*q₁+q₀|+|p₂-2*p₁+p₀|+|q₂-2*q₁+q₀|，

根據(jù)以下的條件，進(jìn)行濾波運(yùn)算。

·在d小于(β＞＞2)，并且|p₃-p₀|+|q₀-q₃|小于(β＞＞2)，并且|p₀-q₀|小于((5＊t_c+1))＞＞1)的情況下，

p₀’＝Clipl_Y((p₂+2*p₁+2*p₀+2*q₀+q₁+4)＞＞3)

p₁’＝Clipl_Y((p₂+p₁+p₀+q₀+2)＞＞2)

p₂’＝Clipl_Y((2*p₃+3*p₂+p₁+p₀+q₀+4)＞＞3)

q₀’＝Clipl_Y((p₁+2*p₀+2*q₀+2*q₁+q₂+4)＞＞3)

q₁’＝ClipL_Y((p₀+q₀+q₁+q₂+2)＞＞2)

q₂’＝Clipl_Y((p₀+q₀+q₁+3*q₂+2*q₃+4)＞＞3)

·在其他情況下，

Δ＝Clip3(-t_C，t_C，(13*(q₀-p₀)+4*(q₁-p₁)-5*(q₂-p₀)+16)＞＞5)

p₀’＝Clipl_Y(p₀+Δ)

q₀’＝Clipl_Y(q₀-Δ)

p₁’＝Clipl_Y(p₁+Δ/2)

q₁’＝Clipl_Y(q₁-Δ/2)

(3)將所求出的p₀’～p₂’、q₀’～q₂’置換為p₀～p₂、q₀～q₂的各像素值，將置換后的圖像作為解碼圖像，輸出到后級(jí)的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器12。

[c]bSVer＞2的情況

在圖13中，求出設(shè)為Q＝(亮度的qP值)時(shí)的參數(shù)β、和設(shè)為Q＝(亮度的qP值+4)時(shí)的參數(shù)Tc。以后的處理與bSVer≦2的情況相同。

環(huán)路濾波器部11針對(duì)色差信號(hào)分量的垂直邊緣方向，按照以下的過(guò)程進(jìn)行濾波處理。針對(duì)色差信號(hào)分量的水平邊緣方向的濾波處理也是相同的過(guò)程，但代替最大值bSVer，使用最大值bSHor。bSVer和bSVer是用同一位置的亮度計(jì)算的值。

[a]bSVer＞2的情況

(1)進(jìn)行以下的濾波運(yùn)算。

Δ＝Clip3(-t_C，t_C，((((q₀-p₀)＜＜2)+P₁-q₁+4)＞＞3))

P₀’＝Clipl_C(P₀+Δ)

9₀’＝Clipl_C(q₀-Δ)

(2)將所求出的p₀’、q₀’置換為p₀、q₀的各像素值，將置換后的圖像作為解碼圖像，輸出到后級(jí)的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器12。

[b]bSVer≦2的情況

不進(jìn)行濾波處理。

圖像編碼裝置的環(huán)路濾波器部11和圖像解碼裝置的環(huán)路濾波器部28進(jìn)行共同的處理，但也可以構(gòu)成為圖像編碼裝置的環(huán)路濾波器部11關(guān)于濾波強(qiáng)度的判定設(shè)置控制用的參數(shù)。

例如，也可以構(gòu)成為通過(guò)復(fù)用表示是否以切片等級(jí)對(duì)濾波強(qiáng)度bS的值進(jìn)行信號(hào)化(signalling)的識(shí)別信息，從而能夠針對(duì)每個(gè)切片變更濾波強(qiáng)度bS的設(shè)定值。

關(guān)于此時(shí)的變更，既可以設(shè)為僅變更亮度信號(hào)分量，而固定色差信號(hào)分量，也可以相反地構(gòu)成為能夠固定亮度信號(hào)分量，而僅變更色差信號(hào)分量。

關(guān)于設(shè)定值的信號(hào)化，既可以是值本身，也可以是將濾波強(qiáng)度bS設(shè)為默認(rèn)值的偏移值的形式。也可以將色差信號(hào)分量的濾波強(qiáng)度表現(xiàn)為亮度信號(hào)分量的濾波強(qiáng)度的偏移值。

另外，還能夠構(gòu)成為特別是將編碼模式為幀內(nèi)部編碼模式的情況下的濾波強(qiáng)度bS的設(shè)定值信號(hào)化為值本身或者偏移值。例如，環(huán)路濾波器部11能夠構(gòu)成為按照以下的過(guò)程進(jìn)行濾波強(qiáng)度的判定。

關(guān)于以幀內(nèi)部編碼模式被編碼的編碼塊，將針對(duì)亮度分量的濾波強(qiáng)度值設(shè)為bSL，將針對(duì)色差分量的濾波強(qiáng)度值設(shè)為bSC，將bSL和bSC作為圖片等級(jí)的頭、切片頭等語(yǔ)法信息復(fù)用到比特流，從而使得能夠在編碼裝置和解碼化裝置中共享。此時(shí)，

(過(guò)程1)

在是位于編碼塊的邊界的邊緣、且包括po的編碼塊或者包括qo的編碼塊的編碼模式是“幀內(nèi)部編碼模式”的情況下，決定為如下：

處理對(duì)象信號(hào)分量為亮度信號(hào)分量→bS＝max(4－bSL、0)

處理對(duì)象信號(hào)分量為色差信號(hào)分量→bS＝max(4－bSC、0)

此處，max(A，B)是輸出A和B中的大的一方的值的函數(shù)。

(過(guò)程2)

在不符合過(guò)程1中的條件的情況下，

在包括po的編碼塊或者包括qo的編碼塊的編碼模式是“幀內(nèi)部編碼模式”的情況下，決定為如下：

處理對(duì)象信號(hào)分量為亮度信號(hào)分量→bS＝max(3－bSL、0)

處理對(duì)象信號(hào)分量為色差信號(hào)分量→bS＝max(3－bSC、0)。

在編碼模式是幀內(nèi)部編碼模式的情況下，存在如下情況：在壓縮處理過(guò)程中運(yùn)動(dòng)預(yù)測(cè)無(wú)法有效地發(fā)揮功能，不得已而進(jìn)行幀內(nèi)部編碼的情況；以及以錯(cuò)誤抗性、隨機(jī)訪問(wèn)的觀點(diǎn)周期性地、有意圖地使幀內(nèi)部編碼發(fā)生的情況。

在不得已而進(jìn)行幀內(nèi)部編碼的情況下，失真會(huì)與編碼的難易度對(duì)應(yīng)地重疊，相對(duì)于此，在周期性地、有意圖地使幀內(nèi)部編碼發(fā)生的情況下，由于不直接與編碼的難易度相關(guān)地使用幀內(nèi)部編碼，所以各個(gè)塊失真的發(fā)生方式產(chǎn)生差異。

在以往的環(huán)路濾波器中，沒(méi)有判別上述情況來(lái)控制濾波強(qiáng)度的手段。

由于按照切片、圖片的單位執(zhí)行周期幀內(nèi)部插入，所以通過(guò)按照這些單位根據(jù)用途控制濾波強(qiáng)度，從而能夠更良好地抑制塊失真。

另外，相反地，也可以構(gòu)成為對(duì)編碼模式為幀之間編碼模式的情況下的濾波強(qiáng)度bS的設(shè)定值進(jìn)行信號(hào)化。

此處，圖14是示出由可變長(zhǎng)編碼部13生成的比特流的說(shuō)明圖。

在圖14的例子中，示出了切片編碼數(shù)據(jù)由切片頭、和接著該切片頭的與切片內(nèi)的個(gè)數(shù)相當(dāng)?shù)淖畲缶幋a塊編碼數(shù)據(jù)構(gòu)成的情況。

各最大編碼塊編碼數(shù)據(jù)包括編碼模式。雖然未圖示，但在最大編碼塊編碼數(shù)據(jù)中，針對(duì)每個(gè)編碼塊，包括分區(qū)單位的運(yùn)動(dòng)矢量等預(yù)測(cè)參數(shù)、變換塊大小等預(yù)測(cè)差分編碼參數(shù)、預(yù)測(cè)差分編碼數(shù)據(jù)(已量化變換系數(shù))。

在切片頭中，包括：環(huán)路濾波ON/OFF標(biāo)志，該環(huán)路濾波ON/OFF標(biāo)志為是否對(duì)切片內(nèi)的所有編碼塊進(jìn)行本環(huán)路濾波的處理的識(shí)別信息；濾波強(qiáng)度信息復(fù)用標(biāo)志，該濾波強(qiáng)度信息復(fù)用標(biāo)志為表示是否對(duì)濾波強(qiáng)度bS的設(shè)定值進(jìn)行信號(hào)化的標(biāo)志；濾波強(qiáng)度信息，在濾波強(qiáng)度信息復(fù)用標(biāo)志是“1”的情況下復(fù)用該濾波強(qiáng)度信息。

濾波強(qiáng)度信息復(fù)用標(biāo)志以及濾波強(qiáng)度信息也可以構(gòu)成為復(fù)用到按照?qǐng)D片、序列、GOP(Group Of Pictures，圖片組)等單位定義的頭信息區(qū)域中。

接下來(lái)，說(shuō)明圖3的圖像解碼裝置的處理內(nèi)容。

可變長(zhǎng)解碼部21如果輸入了從圖1的圖像編碼裝置輸出的比特流，則實(shí)施針對(duì)該比特流的可變長(zhǎng)解碼處理(圖4的步驟ST21)，解碼出按照由1幀以上的圖片構(gòu)成的序列單位或者圖片單位規(guī)定圖片大小(水平像素?cái)?shù)/垂直行數(shù))的信息。

可變長(zhǎng)解碼部21按照與圖1的編碼控制部1同樣的過(guò)程，決定成為實(shí)施運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理(幀間預(yù)測(cè)處理)或者幀內(nèi)部預(yù)測(cè)處理(幀內(nèi)預(yù)測(cè)處理)時(shí)的處理單位的編碼塊的最大大小，并且決定最大大小的編碼塊被分層地分割時(shí)的上限的層次數(shù)(步驟ST22)。

例如，在圖像編碼裝置中根據(jù)輸入圖像的分辨率決定了編碼塊的最大大小的情況下，根據(jù)之前解碼出的幀大小決定編碼塊的最大大小。

另外，在比特流中復(fù)用有表示編碼塊的最大大小以及上限的層次數(shù)的信息的情況下，參照從該比特流解碼出的信息。

在比特流的結(jié)構(gòu)是圖14的結(jié)構(gòu)的情況下，可變長(zhǎng)解碼部21在最大編碼塊等級(jí)的解碼之前，從切片頭解碼出環(huán)路濾波ON/OFF標(biāo)志。

在比特流上復(fù)用的最大大小的編碼塊B⁰的編碼模式m(B⁰)中包括表示最大大小的編碼塊B⁰的分割狀態(tài)的信息，所以可變長(zhǎng)解碼部21解碼出比特流上復(fù)用的最大大小的編碼塊B⁰的編碼模式m(B⁰)，確定被分層地分割的各個(gè)編碼塊Bⁿ(步驟ST23)。

在可變長(zhǎng)解碼部21中，如果確定了各個(gè)編碼塊Bⁿ，則對(duì)該編碼塊Bⁿ的編碼模式m(Bⁿ)進(jìn)行解碼，根據(jù)屬于該編碼模式m(Bⁿ)的分區(qū)P_iⁿ的信息，確定屬于編碼塊Bⁿ的分區(qū)P_iⁿ。

在可變長(zhǎng)解碼部21中，如果確定了屬于編碼塊Bⁿ的分區(qū)P_iⁿ，則針對(duì)每個(gè)分區(qū)P_iⁿ，解碼出壓縮數(shù)據(jù)、編碼模式、預(yù)測(cè)差分編碼參數(shù)、幀內(nèi)部預(yù)測(cè)參數(shù)/幀之間預(yù)測(cè)參數(shù)(包括運(yùn)動(dòng)矢量)(步驟ST24)。

在屬于從可變長(zhǎng)解碼部21輸出的編碼塊Bⁿ的分區(qū)P_iⁿ的編碼模式m(Bⁿ)是幀內(nèi)部編碼模式的情況下(步驟ST25)，切換開(kāi)關(guān)22將從可變長(zhǎng)解碼部21輸出的幀內(nèi)部預(yù)測(cè)參數(shù)輸出到幀內(nèi)部預(yù)測(cè)部23。

另一方面，在分區(qū)P_iⁿ的編碼模式m(Bⁿ)是幀之間編碼模式的情況下(步驟ST25)，將從可變長(zhǎng)解碼部21輸出的幀之間預(yù)測(cè)參數(shù)輸出到運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部24。

幀內(nèi)部預(yù)測(cè)部23如果從切換開(kāi)關(guān)22接收到幀內(nèi)部預(yù)測(cè)參數(shù)，則一邊參照由幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器27保存的已解碼塊的解碼圖像(參照?qǐng)D像)，一邊使用該幀內(nèi)部預(yù)測(cè)參數(shù)，實(shí)施針對(duì)該編碼塊Bⁿ的分區(qū)P_iⁿ的幀內(nèi)部預(yù)測(cè)處理，生成幀內(nèi)部預(yù)測(cè)圖像P_iⁿ(步驟ST26)。

運(yùn)動(dòng)補(bǔ)償部24如果接收到從切換開(kāi)關(guān)22輸出的幀之間預(yù)測(cè)參數(shù)，則使用該幀之間預(yù)測(cè)參數(shù)中包含的運(yùn)動(dòng)矢量和由運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器29保存的已解碼塊的解碼圖像(參照?qǐng)D像)，實(shí)施針對(duì)該編碼塊的幀之間預(yù)測(cè)處理，生成幀內(nèi)部預(yù)測(cè)圖像P_iⁿ(步驟ST27)。

逆量化/逆變換部25使用從可變長(zhǎng)解碼部21輸出的預(yù)測(cè)差分編碼參數(shù)中包含的量化參數(shù)，對(duì)從可變長(zhǎng)解碼部21輸出的壓縮數(shù)據(jù)進(jìn)行逆量化，按照該預(yù)測(cè)差分編碼參數(shù)中包含的變換塊大小單位，實(shí)施逆量化后的壓縮數(shù)據(jù)的逆變換處理(例如逆DCT(逆離散余弦變換)、逆KL變換等逆變換處理)，從而將逆變換處理后的壓縮數(shù)據(jù)作為解碼預(yù)測(cè)差分信號(hào)(表示壓縮前的差分圖像的信號(hào))輸出到加法部26(步驟ST28)。

加法部26如果從逆量化/逆變換部25接收到解碼預(yù)測(cè)差分信號(hào)，則將該解碼預(yù)測(cè)差分信號(hào)和表示由幀內(nèi)部預(yù)測(cè)部23或者運(yùn)動(dòng)補(bǔ)償部24生成的預(yù)測(cè)圖像的預(yù)測(cè)信號(hào)進(jìn)行相加，從而生成解碼圖像，將表示該解碼圖像的解碼圖像信號(hào)保存到幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器27中，并且將該解碼圖像信號(hào)輸出到環(huán)路濾波器部28(步驟ST29)。

反復(fù)實(shí)施步驟ST23～ST29的處理直至針對(duì)被分層地分割的所有編碼塊Bⁿ的處理完成為止(步驟ST30)。

環(huán)路濾波器部28如果從加法部26接收到解碼圖像信號(hào)，則實(shí)施針對(duì)該解碼圖像信號(hào)的濾波處理，從而去除在塊邊界中發(fā)生的失真(塊失真)，將失真去除后的解碼圖像信號(hào)表示的解碼圖像保存到運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器29中。

環(huán)路濾波器部28中的濾波處理與圖1的環(huán)路濾波器部11中的濾波處理相同，在去除該解碼圖像的塊失真時(shí)，與從可變長(zhǎng)解碼部21輸出的編碼模式(幀內(nèi)部編碼模式、幀之間編碼模式)相應(yīng)地，按信號(hào)分量(亮度信號(hào)分量、色差信號(hào)分量)設(shè)定去除塊失真的濾波的強(qiáng)度。

另外，在通過(guò)可變長(zhǎng)解碼部21從切片頭解碼出濾波強(qiáng)度信息復(fù)用標(biāo)志以及濾波強(qiáng)度信息的情況下，用該濾波強(qiáng)度信息表示的濾波強(qiáng)度bS執(zhí)行濾波處理。

如以上說(shuō)明可知，根據(jù)該實(shí)施方式1，構(gòu)成為圖像解碼裝置的環(huán)路濾波器部28在去除解碼圖像的塊失真時(shí)，與從可變長(zhǎng)解碼部21輸出的編碼模式(幀內(nèi)部編碼模式、幀之間編碼模式)相應(yīng)地，按信號(hào)分量(亮度信號(hào)分量、色差信號(hào)分量)設(shè)定去除塊失真的濾波的強(qiáng)度，所以起到能夠提高塊失真的去除精度、改善解碼圖像的質(zhì)量的效果。

在以上的說(shuō)明中，示出了實(shí)施幀間運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理(幀之間預(yù)測(cè)處理)的圖像編碼裝置以及圖像解碼裝置的例子，但即使是針對(duì)所有幀實(shí)施幀內(nèi)預(yù)測(cè)處理(幀內(nèi)部預(yù)測(cè)處理)的圖像編碼裝置以及圖像解碼裝置，也可以構(gòu)成為由環(huán)路濾波器部11、28去除塊失真。

在組合幀內(nèi)預(yù)測(cè)處理(幀內(nèi)部預(yù)測(cè)處理)和幀間運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理(幀之間預(yù)測(cè)處理)來(lái)實(shí)施的圖像編碼裝置以及圖像解碼裝置中，在設(shè)定為通過(guò)幀內(nèi)部預(yù)測(cè)處理對(duì)所有幀進(jìn)行編碼時(shí)，還能夠控制為不利用環(huán)路濾波器部11、28的動(dòng)作。

在該實(shí)施方式1中，示出了如圖5所示編碼塊Bⁿ的大小是Lⁿ＝Mⁿ的例子，但也可以是編碼塊Bⁿ的大小為L(zhǎng)ⁿ≠M(fèi)ⁿ。

例如，如圖15所示，考慮編碼塊Bⁿ的大小為L(zhǎng)ⁿ＝kMⁿ的情況。

在接下來(lái)的分割中，成為(Lⁿ⁺¹，Mⁿ⁺¹)＝(Lⁿ，Mⁿ)，以后的分割既可以進(jìn)行與圖5同樣的分割，也可以如(Lⁿ⁺¹，Mⁿ⁺¹)＝(Lⁿ/2，Mⁿ/2)那樣進(jìn)行分割。

通過(guò)這樣的結(jié)構(gòu)，例如設(shè)為M⁰＝16，從而能夠定義MPEG-2(ISO/IEC13818-2)、MPEG-4AVC/H.264(ISO/IEC 14496-10)那樣的將由16×16像素構(gòu)成的宏塊橫向連結(jié)的結(jié)構(gòu)的最大編碼塊，具有易于構(gòu)成維持了與已有方式的互換性的圖像編碼裝置這樣的效果。

另外，即使在并非Lⁿ＝kMⁿ而如kLⁿ＝Mⁿ那樣縱向連結(jié)的情況下，當(dāng)然也可以按照同樣的思路進(jìn)行分割。

另外，本申請(qǐng)發(fā)明能夠在該發(fā)明的范圍內(nèi)，實(shí)現(xiàn)實(shí)施方式的任意的構(gòu)成要素的變形、或者實(shí)施方式的任意的構(gòu)成要素的省略。

產(chǎn)業(yè)上的可利用性

本發(fā)明的圖像編碼裝置、圖像解碼裝置、圖像編碼方法以及圖像解碼方法具備與編碼模式相應(yīng)地按信號(hào)分量設(shè)定濾波的強(qiáng)度的手段，能夠提高塊失真的去除精度，改善編碼圖像的質(zhì)量，所以能夠應(yīng)用于MPEG、ITU-TH.26x等國(guó)際標(biāo)準(zhǔn)影像編碼方式。