本申請是申請?zhí)枮?01280028658.2，申請日為2012年6月5日，發(fā)明名稱為“圖像編碼裝置、圖像解碼裝置、圖像編碼方法以及圖像解碼方法”的分案申請。

本發(fā)明涉及對圖像進(jìn)行壓縮編碼而傳送的圖像編碼裝置以及圖像編碼方法、和從通過圖像編碼裝置傳送的編碼數(shù)據(jù)對圖像進(jìn)行解碼的圖像解碼裝置以及圖像解碼方法。

背景技術(shù)：

以往，在mpeg、itu-th.26x等國際標(biāo)準(zhǔn)影像編碼方式中，在將輸入影像幀分割為由16×16像素塊構(gòu)成的宏塊的單位，并實(shí)施了運(yùn)動(dòng)補(bǔ)償預(yù)測之后，按照塊單位對預(yù)測差分信號進(jìn)行正交變換/量化，從而進(jìn)行信息壓縮。

但是，如果壓縮率變高，則起因于在實(shí)施運(yùn)動(dòng)補(bǔ)償預(yù)測時(shí)使用的預(yù)測參照圖像的質(zhì)量的降低，存在妨礙壓縮效率的問題。

因此，在mpeg-4avc/h.264的編碼方式(參照非專利文獻(xiàn)1)中，通過實(shí)施環(huán)內(nèi)阻塞濾波的處理，從而去除伴隨正交變換系數(shù)的量化而發(fā)生的預(yù)測參照圖像的塊失真。

此處，圖16是示出非專利文獻(xiàn)1公開的圖像編碼裝置的結(jié)構(gòu)圖。

在該圖像編碼裝置中，如果塊分割部101輸入了編碼對象的圖像信號，則將該圖像信號分割為宏塊單位，將宏塊單位的圖像信號作為分割圖像信號輸出到預(yù)測部102。

預(yù)測部102如果從塊分割部101接收到分割圖像信號，則在幀內(nèi)或者幀間預(yù)測宏塊內(nèi)的各顏色分量的圖像信號，計(jì)算預(yù)測差分信號。

特別是，在幀間實(shí)施運(yùn)動(dòng)補(bǔ)償預(yù)測的情況下，按照宏塊自身、或者將宏塊進(jìn)一步細(xì)分割而得到的子塊的單位，搜索運(yùn)動(dòng)矢量。

然后，使用該運(yùn)動(dòng)矢量，實(shí)施針對由存儲(chǔ)器107保存的參照圖像信號的運(yùn)動(dòng)補(bǔ)償預(yù)測，從而生成運(yùn)動(dòng)補(bǔ)償預(yù)測圖像，求出表示該運(yùn)動(dòng)補(bǔ)償預(yù)測圖像的預(yù)測信號與分割圖像信號的差分，從而計(jì)算預(yù)測差分信號。

另外，預(yù)測部102將在得到預(yù)測信號時(shí)決定的預(yù)測信號生成用參數(shù)輸出到可變長編碼部108。

另外，在預(yù)測信號生成用參數(shù)中，例如，包括表示幀間的運(yùn)動(dòng)量的運(yùn)動(dòng)矢量等信息。

壓縮部103如果從預(yù)測部102接收到預(yù)測差分信號，則在通過實(shí)施針對該預(yù)測差分信號的dct(離散余弦變換)處理而去除了信號相關(guān)之后，進(jìn)行量化，從而得到壓縮數(shù)據(jù)。

局部解碼部104如果從壓縮部103接收到壓縮數(shù)據(jù)，則通過對該壓縮數(shù)據(jù)進(jìn)行逆量化來實(shí)施逆dct處理，計(jì)算與從預(yù)測部102輸出的預(yù)測差分信號相當(dāng)?shù)念A(yù)測差分信號。

加法器105如果從局部解碼部104接收到預(yù)測差分信號，則將該預(yù)測差分信號和從預(yù)測部102輸出的預(yù)測信號進(jìn)行相加，生成局部解碼圖像。

環(huán)路濾波器106去除在表示由加法器105生成的局部解碼圖像的局部解碼圖像信號上重疊的塊失真，將失真去除后的局部解碼圖像信號作為參照圖像信號保存到存儲(chǔ)器107中。

可變長編碼部108如果從壓縮部103接收到壓縮數(shù)據(jù)，則對該壓縮數(shù)據(jù)進(jìn)行熵編碼，輸出作為其編碼結(jié)果的比特流。

另外，可變長編碼部108在輸出比特流時(shí)，將從預(yù)測部102輸出的預(yù)測信號生成用參數(shù)復(fù)用到比特流而輸出。

此處，在非專利文獻(xiàn)1公開的方式中，環(huán)路濾波器106針對dct的塊邊界的周邊像素，根據(jù)量化的粗細(xì)、編碼模式、運(yùn)動(dòng)矢量的分散程度等信息來決定平滑化強(qiáng)度(濾波強(qiáng)度)，實(shí)施針對局部解碼圖像的濾波處理，從而謀求降低在塊邊界中發(fā)生的失真(塊失真)。

由此，參照圖像信號的質(zhì)量被改善，能夠提高以后的編碼中的運(yùn)動(dòng)補(bǔ)償預(yù)測的效率。

非專利文獻(xiàn)1：mpeg-4avc(iso/iec14496-10)/itu-th.264標(biāo)準(zhǔn)

技術(shù)實(shí)現(xiàn)要素：

以往的圖像編碼裝置如以上那樣構(gòu)成，所以在環(huán)路濾波器106去除塊失真時(shí)，關(guān)于針對該塊的亮度信號分量的濾波的強(qiáng)度，根據(jù)編碼模式等決定，但關(guān)于針對該塊的色差信號分量的濾波的強(qiáng)度，挪用針對亮度信號分量的濾波的強(qiáng)度。因此，存在如下課題：針對色差信號分量的濾波的強(qiáng)度不一定恰當(dāng)，畫質(zhì)的改善效果受限。

本發(fā)明是為了解決上述那樣的課題而完成的，其目的在于得到一種能夠提高塊失真的去除精度來改善編碼圖像的質(zhì)量的圖像編碼裝置以及圖像編碼方法。

另外，本發(fā)明的目的在于得到一種能夠提高塊失真的去除精度來改善解碼圖像的質(zhì)量的圖像解碼裝置以及圖像解碼方法。

本發(fā)明涉及的圖像編碼裝置，具備：塊分割單元，將輸入圖像分割為成為實(shí)施預(yù)測處理時(shí)的處理單位的塊；編碼模式?jīng)Q定單元，決定針對由塊分割單元分割出的塊的編碼模式；預(yù)測圖像生成單元，依照由編碼模式?jīng)Q定單元決定的編碼模式，一邊參照已編碼塊的局部解碼圖像，一邊實(shí)施針對由塊分割單元分割出的塊的預(yù)測處理，生成預(yù)測圖像；差分圖像生成單元，生成由塊分割單元分割出的塊與由預(yù)測圖像生成單元生成的預(yù)測圖像的差分圖像；圖像壓縮單元，對由差分圖像生成單元生成的差分圖像進(jìn)行壓縮，輸出該差分圖像的壓縮數(shù)據(jù)；局部解碼圖像生成單元，對由圖像壓縮單元壓縮的差分圖像進(jìn)行解壓縮，將解壓縮后的差分圖像和由預(yù)測圖像生成單元生成的預(yù)測圖像進(jìn)行相加而生成局部解碼圖像；失真去除單元，實(shí)施針對由局部解碼圖像生成單元生成的局部解碼圖像的濾波處理，去除該局部解碼圖像的塊失真；以及編碼單元，對從圖像壓縮單元輸出的壓縮數(shù)據(jù)以及由編碼模式?jīng)Q定單元決定的編碼模式進(jìn)行編碼，生成復(fù)用了該壓縮數(shù)據(jù)以及編碼模式的編碼數(shù)據(jù)的比特流，失真去除單元在去除局部解碼圖像的塊失真時(shí)，與由編碼模式?jīng)Q定單元決定的編碼模式相應(yīng)地，按信號分量設(shè)定去除塊失真的濾波的強(qiáng)度。

根據(jù)本發(fā)明，構(gòu)成為具備：塊分割單元，將輸入圖像分割為成為實(shí)施預(yù)測處理時(shí)的處理單位的塊；編碼模式?jīng)Q定單元，決定針對由塊分割單元分割出的塊的編碼模式；預(yù)測圖像生成單元，依照由編碼模式?jīng)Q定單元決定的編碼模式，一邊參照已編碼塊的局部解碼圖像，一邊實(shí)施針對由塊分割單元分割出的塊的預(yù)測處理，生成預(yù)測圖像；差分圖像生成單元，生成由塊分割單元分割出的塊與由預(yù)測圖像生成單元生成的預(yù)測圖像的差分圖像；圖像壓縮單元，對由差分圖像生成單元生成的差分圖像進(jìn)行壓縮，輸出該差分圖像的壓縮數(shù)據(jù)；局部解碼圖像生成單元，對由圖像壓縮單元壓縮的差分圖像進(jìn)行解壓縮，將解壓縮后的差分圖像和由預(yù)測圖像生成單元生成的預(yù)測圖像進(jìn)行相加而生成局部解碼圖像；失真去除單元，實(shí)施針對由局部解碼圖像生成單元生成的局部解碼圖像的濾波處理，去除該局部解碼圖像的塊失真；以及編碼單元，對從圖像壓縮單元輸出的壓縮數(shù)據(jù)以及由編碼模式?jīng)Q定單元決定的編碼模式進(jìn)行編碼，生成復(fù)用了該壓縮數(shù)據(jù)以及編碼模式的編碼數(shù)據(jù)的比特流，失真去除單元在去除局部解碼圖像的塊失真時(shí)，與由編碼模式?jīng)Q定單元決定的編碼模式相應(yīng)地，按信號分量設(shè)定去除塊失真的濾波的強(qiáng)度，所以具有能夠提高塊失真的去除精度來改善編碼圖像的質(zhì)量的效果。

附圖說明

圖1是示出本發(fā)明的實(shí)施方式1的圖像編碼裝置的結(jié)構(gòu)圖。

圖2是示出本發(fā)明的實(shí)施方式1的圖像編碼裝置的處理內(nèi)容的流程圖。

圖3是示出本發(fā)明的實(shí)施方式1的圖像解碼裝置的結(jié)構(gòu)圖。

圖4是示出本發(fā)明的實(shí)施方式1的圖像解碼裝置的處理內(nèi)容的流程圖。

圖5是示出最大大小的編碼塊被分層地分割為多個(gè)編碼塊的情況的說明圖。

圖6(a)是示出分割后的分區(qū)的分布的圖，(b)是通過四叉樹圖表表示對層次分割后的分區(qū)分配編碼模式m(bⁿ)的狀況的說明圖。

圖7是示出編碼塊內(nèi)的濾波應(yīng)用像素的位置的說明圖。

圖8是示出環(huán)路濾波器部11的處理內(nèi)容的流程圖。

圖9是示出濾波強(qiáng)度的判定方法的流程圖。

圖10是示出邊緣位置與像素位置的關(guān)系的說明圖。

圖11是示出針對垂直邊緣的濾波處理的單位的說明圖。

圖12是示出針對水平邊緣的濾波處理的單位的說明圖。

圖13是示出q(亮度的qp值)與參數(shù)β、tc的對應(yīng)關(guān)系的說明圖。

圖14是示出由可變長編碼部13生成的比特流的說明圖。

圖15是示出編碼塊bⁿ的大小是lⁿ＝kmⁿ的例子的說明圖。

圖16是示出非專利文獻(xiàn)1公開的圖像編碼裝置的結(jié)構(gòu)圖。

代碼說明

1：編碼控制部(編碼模式?jīng)Q定單元)；2：塊分割部(塊分割單元)；3：切換開關(guān)(預(yù)測圖像生成單元)；4：幀內(nèi)部預(yù)測部(預(yù)測圖像生成單元)；5：運(yùn)動(dòng)補(bǔ)償預(yù)測部(預(yù)測圖像生成單元)；6：減法部(差分圖像生成單元)；7：變換/量化部(圖像壓縮單元)；8：逆量化/逆變換部(局部解碼圖像)；9：加法部(局部解碼圖像)；10：幀內(nèi)部預(yù)測用存儲(chǔ)器；11：環(huán)路濾波器部(失真去除單元)；12：運(yùn)動(dòng)補(bǔ)償預(yù)測幀存儲(chǔ)器；13：可變長編碼部(編碼單元)；21：可變長解碼部(解碼單元)；22：切換開關(guān)(預(yù)測圖像生成單元)；23：幀內(nèi)部預(yù)測部(預(yù)測圖像生成單元)；24：運(yùn)動(dòng)補(bǔ)償部(預(yù)測圖像生成單元)；25：逆量化/逆變換部(差分圖像生成單元)；26：加法部(解碼圖像生成單元)；27：幀內(nèi)部預(yù)測用存儲(chǔ)器；28：環(huán)路濾波器部(失真去除單元)；29：運(yùn)動(dòng)補(bǔ)償預(yù)測幀存儲(chǔ)器；101：塊分割部；102：預(yù)測部；103：壓縮部；104：局部解碼部；105：加法器；106：環(huán)路濾波器；107：存儲(chǔ)器；108：可變長編碼部。

具體實(shí)施方式

以下，為了更詳細(xì)地說明本發(fā)明，依照附圖，說明用于實(shí)施該發(fā)明的方式。

實(shí)施方式1.

在該實(shí)施方式1中，說明：圖像編碼裝置，該圖像編碼裝置輸入影像的各幀圖像，并針對通過在接近幀間實(shí)施運(yùn)動(dòng)補(bǔ)償預(yù)測而得到的預(yù)測差分信號進(jìn)行基于正交變換、量化的壓縮處理之后，進(jìn)行可變長編碼來生成比特流；和圖像解碼裝置，該圖像解碼裝置對從該圖像編碼裝置輸出的比特流進(jìn)行解碼。

該實(shí)施方式1的圖像編碼裝置的特征在于，適應(yīng)于影像信號的空間/時(shí)間方向的局部的變化，將影像信號分割為各種大小的區(qū)域來進(jìn)行幀內(nèi)/幀間自適應(yīng)編碼。

一般情況下，影像信號具有在空間/時(shí)間上信號的復(fù)雜度局部地變化的特性。在空間上觀察時(shí)，在某特定的影像幀上，既有如天空、壁等那樣的在比較寬的圖像區(qū)域中具有均勻的信號特性的圖樣，又混合存在人物、具有細(xì)致的紋理的繪畫等在小的圖像區(qū)域內(nèi)具有復(fù)雜的紋理圖案的圖樣。

在時(shí)間上觀察也是，關(guān)于天空、壁，局部上時(shí)間方向的圖樣的變化小，但關(guān)于活動(dòng)的人物、物體，其輪廓在時(shí)間上進(jìn)行剛體/非剛體的運(yùn)動(dòng)，所以時(shí)間上的變化大。

在編碼處理中，通過時(shí)間/空間上的預(yù)測而生成信號功率、熵小的預(yù)測差分信號，從而削減整體的代碼量，但如果能夠?qū)⒂糜陬A(yù)測的參數(shù)均勻地應(yīng)用于盡可能大的圖像信號區(qū)域，則能夠減小該參數(shù)的代碼量。

另一方面，如果針對時(shí)間/空間上變化大的圖像信號圖案應(yīng)用同一預(yù)測參數(shù)，則預(yù)測的錯(cuò)誤增加，所以無法削減預(yù)測差分信號的代碼量。

因此，期望如下：針對時(shí)間/空間上變化大的圖像信號圖案，減小預(yù)測對象的區(qū)域，由此雖然增加用于預(yù)測的參數(shù)的數(shù)據(jù)量，但降低預(yù)測差分信號的功率/熵。

為了進(jìn)行這樣的適合于影像信號的一般的性質(zhì)的編碼，在該實(shí)施方式1的圖像編碼裝置中，從規(guī)定的最大塊大小起分層地分割影像信號的區(qū)域，并針對每個(gè)分割區(qū)域?qū)嵤╊A(yù)測處理、預(yù)測差分的編碼處理。

該實(shí)施方式1的圖像編碼裝置作為處理對象的影像信號除了是由亮度信號和2個(gè)色差信號構(gòu)成的yuv信號、從數(shù)字?jǐn)z像元件輸出的rgb信號等任意的顏色空間的彩色影像信號以外，還是單色圖像信號、紅外線圖像信號等影像幀由水平/垂直二維的數(shù)字采樣(像素)列構(gòu)成的任意的影像信號。

各像素的灰度既可以是8比特，也可以是10比特、12比特等灰度。

但是，在以下的說明中，只要沒有特別說明，則設(shè)為輸入的影像信號是yuv信號。而且，設(shè)為是2個(gè)色差分量u、v相對亮度分量y被子采樣的4：2：0格式的信號。

另外，將與影像的各幀對應(yīng)的處理數(shù)據(jù)單位稱為“圖片”，在該實(shí)施方式1中，將“圖片”作為被逐行掃描(progressivescan)的影像幀的信號而進(jìn)行說明。但是，在影像信號是隔行掃描信號的情況下，“圖片”也可以是作為構(gòu)成影像幀的單位的場圖像信號。另外，在以后的說明中，有時(shí)將空間上連續(xù)的編碼塊的群組記載為“切片”。

圖1是示出本發(fā)明的實(shí)施方式1的圖像編碼裝置的結(jié)構(gòu)圖。

在圖1中，編碼控制部1實(shí)施如下處理：決定成為實(shí)施運(yùn)動(dòng)補(bǔ)償預(yù)測處理(幀間預(yù)測處理)或者幀內(nèi)部預(yù)測處理(幀內(nèi)預(yù)測處理)時(shí)的處理單位的編碼塊的最大大小，并且決定最大大小的編碼塊被分層地分割時(shí)的上限的層次數(shù)。

另外，編碼控制部1實(shí)施如下處理：從可利用的1個(gè)以上的編碼模式(1個(gè)以上的幀內(nèi)部編碼模式、1個(gè)以上的幀之間編碼模式)中，選擇適合于分層地分割的各個(gè)編碼塊的編碼模式。另外，編碼控制部1構(gòu)成了編碼模式?jīng)Q定單元。

塊分割部2實(shí)施如下處理：如果輸入了表示輸入圖像的影像信號，則將該影像信號表示的輸入圖像分割為由編碼控制部1決定的最大大小的編碼塊，并且直至達(dá)到由編碼控制部1決定的上限的層次數(shù)為止，對該編碼塊分層地進(jìn)行分割。另外，塊分割部2構(gòu)成了塊分割單元。

切換開關(guān)3實(shí)施如下處理：如果由編碼控制部1選擇的編碼模式是幀內(nèi)部編碼模式，則將由塊分割部2分割的編碼塊輸出到幀內(nèi)部預(yù)測部4，如果由編碼控制部1選擇的編碼模式是幀之間編碼模式，則將由塊分割部2分割的編碼塊輸出到運(yùn)動(dòng)補(bǔ)償預(yù)測部5。

幀內(nèi)部預(yù)測部4實(shí)施如下處理：如果從切換開關(guān)3接收到由塊分割部2分割的編碼塊，則一邊參照由幀內(nèi)部預(yù)測用存儲(chǔ)器10保存的已編碼塊的局部解碼圖像(參照圖像)，一邊使用從編碼控制部1輸出的幀內(nèi)部預(yù)測參數(shù)，實(shí)施針對該編碼塊的幀內(nèi)部預(yù)測處理，生成預(yù)測圖像。

運(yùn)動(dòng)補(bǔ)償預(yù)測部5實(shí)施如下處理：如果從切換開關(guān)3接收到由塊分割部2分割的編碼塊，則通過比較該編碼塊和由運(yùn)動(dòng)補(bǔ)償預(yù)測幀存儲(chǔ)器12保存的已編碼塊的局部解碼圖像(參照圖像)來實(shí)施運(yùn)動(dòng)搜索并計(jì)算運(yùn)動(dòng)矢量，使用該運(yùn)動(dòng)矢量和從編碼控制部1輸出的幀之間預(yù)測參數(shù)，實(shí)施針對該編碼塊的幀之間預(yù)測處理(運(yùn)動(dòng)補(bǔ)償預(yù)測處理)，生成預(yù)測圖像。

另外，由切換開關(guān)3、幀內(nèi)部預(yù)測部4以及運(yùn)動(dòng)補(bǔ)償預(yù)測部5構(gòu)成了預(yù)測圖像生成單元。

減法部6實(shí)施如下處理：通過從由塊分割部2分割的編碼塊減去由幀內(nèi)部預(yù)測部4或者運(yùn)動(dòng)補(bǔ)償預(yù)測部5生成的預(yù)測圖像，生成差分圖像(＝編碼塊－預(yù)測圖像)。另外，減法部6構(gòu)成了差分圖像生成單元。

變換/量化部7實(shí)施如下處理：按照從編碼控制部1輸出的預(yù)測差分編碼參數(shù)中包含的變換塊大小單位，實(shí)施由減法部6生成的差分圖像的變換處理(例如dct(離散余弦變換)、預(yù)先對特定的學(xué)習(xí)系列進(jìn)行了基礎(chǔ)設(shè)計(jì)的kl變換等正交變換處理)，并且使用該預(yù)測差分編碼參數(shù)中包含的量化參數(shù)，對該差分圖像的變換系數(shù)進(jìn)行量化，從而將量化后的變換系數(shù)作為差分圖像的壓縮數(shù)據(jù)輸出。另外，變換/量化部7構(gòu)成了圖像壓縮單元。

逆量化/逆變換部8實(shí)施如下處理：使用從編碼控制部1輸出的預(yù)測差分編碼參數(shù)中包含的量化參數(shù)，對從變換/量化部7輸出的壓縮數(shù)據(jù)進(jìn)行逆量化，按照該預(yù)測差分編碼參數(shù)中包含的變換塊大小單位，實(shí)施逆量化后的壓縮數(shù)據(jù)的逆變換處理(例如逆dct(逆離散余弦變換)、逆kl變換等逆變換處理)，從而將逆變換處理后的壓縮數(shù)據(jù)作為局部解碼預(yù)測差分信號(表示解壓縮后的差分圖像的數(shù)據(jù))輸出。

加法部9實(shí)施如下處理：通過將從逆量化/逆變換部8輸出的局部解碼預(yù)測差分信號和表示由幀內(nèi)部預(yù)測部4或者運(yùn)動(dòng)補(bǔ)償預(yù)測部5生成的預(yù)測圖像的預(yù)測信號進(jìn)行相加，生成表示局部解碼圖像的局部解碼圖像信號。

另外，由逆量化/逆變換部8以及加法部9構(gòu)成了局部解碼圖像生成單元。

幀內(nèi)部預(yù)測用存儲(chǔ)器10是將由加法部9生成的局部解碼圖像信號表示的局部解碼圖像作為通過幀內(nèi)部預(yù)測部4在下次的幀內(nèi)部預(yù)測處理中使用的圖像保存的ram等記錄介質(zhì)。

環(huán)路濾波器部11實(shí)施如下處理：通過實(shí)施針對由加法部9生成的局部解碼圖像信號的濾波處理(環(huán)路濾波處理)，去除在塊邊界中發(fā)生的失真(塊失真)。

環(huán)路濾波器部11在去除局部解碼圖像的塊失真時(shí)，與由編碼控制部1選擇的編碼模式(幀內(nèi)部編碼模式、幀之間編碼模式)相應(yīng)地，按信號分量(亮度信號分量、色差信號分量)設(shè)定去除塊失真的濾波的強(qiáng)度。

另外，環(huán)路濾波器部11構(gòu)成了失真去除單元。

運(yùn)動(dòng)補(bǔ)償預(yù)測幀存儲(chǔ)器12是將由環(huán)路濾波器部11進(jìn)行了濾波處理后的局部解碼圖像作為通過運(yùn)動(dòng)補(bǔ)償預(yù)測部5在下次的運(yùn)動(dòng)補(bǔ)償預(yù)測處理中使用的參照圖像保存的ram等記錄介質(zhì)。

可變長編碼部13實(shí)施如下處理：對從變換/量化部7輸出的壓縮數(shù)據(jù)、從編碼控制部1輸出的編碼模式以及預(yù)測差分編碼參數(shù)、以及從幀內(nèi)部預(yù)測部4輸出的幀內(nèi)部預(yù)測參數(shù)或者從運(yùn)動(dòng)補(bǔ)償預(yù)測部5輸出的幀之間預(yù)測參數(shù)(包括運(yùn)動(dòng)矢量)進(jìn)行可變長編碼，生成復(fù)用了該壓縮數(shù)據(jù)、編碼模式、預(yù)測差分編碼參數(shù)、幀內(nèi)部預(yù)測參數(shù)/幀之間預(yù)測參數(shù)的編碼數(shù)據(jù)的比特流。另外，可變長編碼部13構(gòu)成了編碼單元。

在圖1中，設(shè)想了作為圖像編碼裝置的構(gòu)成要素的編碼控制部1、塊分割部2、切換開關(guān)3、幀內(nèi)部預(yù)測部4、運(yùn)動(dòng)補(bǔ)償預(yù)測部5、減法部6、變換/量化部7、逆量化/逆變換部8、加法部9、環(huán)路濾波器部11以及可變長編碼部13分別由專用的硬件(例如安裝了cpu的半導(dǎo)體集成電路、或者單片微型計(jì)算機(jī)等)構(gòu)成的例子，但在圖像編碼裝置由計(jì)算機(jī)構(gòu)成的情況下，也可以將描述了編碼控制部1、塊分割部2、切換開關(guān)3、幀內(nèi)部預(yù)測部4、運(yùn)動(dòng)補(bǔ)償預(yù)測部5、減法部6、變換/量化部7、逆量化/逆變換部8、加法部9、環(huán)路濾波器部11以及可變長編碼部13的處理內(nèi)容的程序保存到該計(jì)算機(jī)的存儲(chǔ)器中，該計(jì)算機(jī)的cpu執(zhí)行該存儲(chǔ)器中保存的程序。

圖2是示出本發(fā)明的實(shí)施方式1的圖像編碼裝置的處理內(nèi)容的流程圖。

圖3是示出本發(fā)明的實(shí)施方式1的圖像解碼裝置的結(jié)構(gòu)圖。

在圖3中，可變長解碼部21實(shí)施如下處理：從復(fù)用在比特流中的編碼數(shù)據(jù)，可變長解碼出與分層地分割的各個(gè)編碼塊有關(guān)的壓縮數(shù)據(jù)、編碼模式、預(yù)測差分編碼參數(shù)、幀內(nèi)部預(yù)測參數(shù)/幀之間預(yù)測參數(shù)(包括運(yùn)動(dòng)矢量)，將該壓縮數(shù)據(jù)以及預(yù)測差分編碼參數(shù)輸出到逆量化/逆變換部25，并且將該編碼模式以及幀內(nèi)部預(yù)測參數(shù)/幀之間預(yù)測參數(shù)輸出到切換開關(guān)22，而且，將該編碼模式輸出到環(huán)路濾波器部28。另外，可變長解碼部21構(gòu)成了解碼單元。

切換開關(guān)22實(shí)施如下處理：在從可變長解碼部21輸出的與編碼塊有關(guān)的編碼模式是幀內(nèi)部編碼模式的情況下，將從可變長解碼部21輸出的幀內(nèi)部預(yù)測參數(shù)輸出到幀內(nèi)部預(yù)測部23，在該編碼模式是幀之間編碼模式的情況下，將從可變長解碼部21輸出的幀之間預(yù)測參數(shù)輸出到運(yùn)動(dòng)補(bǔ)償部24。

幀內(nèi)部預(yù)測部23實(shí)施如下處理：一邊參照由幀內(nèi)部預(yù)測用存儲(chǔ)器27保存的已解碼塊的解碼圖像(參照圖像)，一邊使用從切換開關(guān)22輸出的幀內(nèi)部預(yù)測參數(shù)，實(shí)施針對該編碼塊的幀內(nèi)部預(yù)測處理，生成預(yù)測圖像。

運(yùn)動(dòng)補(bǔ)償部24實(shí)施如下處理：使用從切換開關(guān)22輸出的幀之間預(yù)測參數(shù)中包含的運(yùn)動(dòng)矢量和由運(yùn)動(dòng)補(bǔ)償預(yù)測幀存儲(chǔ)器29保存的已解碼塊的解碼圖像(參照圖像)，實(shí)施針對該編碼塊的幀之間預(yù)測處理，生成預(yù)測圖像。

另外，由切換開關(guān)22、幀內(nèi)部預(yù)測部23以及運(yùn)動(dòng)補(bǔ)償部24構(gòu)成了預(yù)測圖像生成單元。

逆量化/逆變換部25實(shí)施如下處理：使用從可變長解碼部21輸出的預(yù)測差分編碼參數(shù)中包含的量化參數(shù)，對從可變長解碼部21輸出的壓縮數(shù)據(jù)進(jìn)行逆量化，按照該預(yù)測差分編碼參數(shù)中包含的變換塊大小單位，實(shí)施逆量化后的壓縮數(shù)據(jù)的逆變換處理(例如逆dct(逆離散余弦變換)、逆kl變換等逆變換處理)，從而將逆變換處理后的壓縮數(shù)據(jù)作為解碼預(yù)測差分信號(表示壓縮前的差分圖像的信號)輸出。另外，逆量化/逆變換部25構(gòu)成了差分圖像生成單元。

加法部26實(shí)施如下處理：通過將從逆量化/逆變換部25輸出的解碼預(yù)測差分信號和表示由幀內(nèi)部預(yù)測部23或者運(yùn)動(dòng)補(bǔ)償部24生成的預(yù)測圖像的預(yù)測信號進(jìn)行相加，生成表示解碼圖像的解碼圖像信號。另外，加法部26構(gòu)成了解碼圖像生成單元。

幀內(nèi)部預(yù)測用存儲(chǔ)器27是將由加法部26生成的解碼圖像信號表示的解碼圖像作為通過幀內(nèi)部預(yù)測部23在下次的幀內(nèi)部預(yù)測處理中使用的圖像保存的ram等記錄介質(zhì)。

環(huán)路濾波器部28實(shí)施如下處理：通過實(shí)施針對由加法部26生成的解碼圖像信號的濾波處理(環(huán)路濾波處理)，來去除在塊邊界中發(fā)生的失真(塊失真)。

環(huán)路濾波器部28在去除解碼圖像的塊失真時(shí)，與從可變長解碼部21輸出的編碼模式(幀內(nèi)部編碼模式、幀之間編碼模式)相應(yīng)地，按信號分量(亮度信號分量、色差信號分量)設(shè)定去除塊失真的濾波的強(qiáng)度。

另外，環(huán)路濾波器部28構(gòu)成了失真去除單元。

運(yùn)動(dòng)補(bǔ)償預(yù)測幀存儲(chǔ)器29是將由環(huán)路濾波器部28執(zhí)行了濾波處理后的解碼圖像作為通過運(yùn)動(dòng)補(bǔ)償部24在下次的運(yùn)動(dòng)補(bǔ)償預(yù)測處理中使用的參照圖像保存的ram等記錄介質(zhì)。

在圖3中，設(shè)想了作為圖像解碼裝置的構(gòu)成要素的可變長解碼部21、切換開關(guān)22、幀內(nèi)部預(yù)測部23、運(yùn)動(dòng)補(bǔ)償部24、逆量化/逆變換部25、加法部26以及環(huán)路濾波器部28分別由專用的硬件(例如安裝了cpu的半導(dǎo)體集成電路、或者單片微型計(jì)算機(jī)等)構(gòu)成的例子，但在圖像解碼裝置由計(jì)算機(jī)構(gòu)成的情況下，也可以將描述了可變長解碼部21、切換開關(guān)22、幀內(nèi)部預(yù)測部23、運(yùn)動(dòng)補(bǔ)償部24、逆量化/逆變換部25、加法部26以及環(huán)路濾波器部28的處理內(nèi)容的程序保存到該計(jì)算機(jī)的存儲(chǔ)器中，該計(jì)算機(jī)的cpu執(zhí)行該存儲(chǔ)器中保存的程序。

圖4是示出本發(fā)明的實(shí)施方式1的圖像解碼裝置的處理內(nèi)容的流程圖。

接下來，說明動(dòng)作。

最初，說明圖1的圖像編碼裝置的處理內(nèi)容。

首先，編碼控制部1決定成為實(shí)施運(yùn)動(dòng)補(bǔ)償預(yù)測處理(幀間預(yù)測處理)或者幀內(nèi)部預(yù)測處理(幀內(nèi)預(yù)測處理)時(shí)的處理單位的編碼塊的最大大小，并且決定最大大小的編碼塊被分層地分割時(shí)的上限的層次數(shù)(圖2的步驟st1)。

作為編碼塊的最大大小的決定方法，例如考慮針對所有圖片決定為與輸入圖像的分辨率對應(yīng)的大小的方法。

另外，考慮如下方法等：將輸入圖像的局部運(yùn)動(dòng)的復(fù)雜度的差異作為參數(shù)進(jìn)行定量化，在運(yùn)動(dòng)劇烈的圖片中將最大大小決定為小的值，在運(yùn)動(dòng)少的圖片中將最大大小決定為大的值。

關(guān)于上限的層次數(shù)，例如考慮設(shè)定成為如下的方法：輸入圖像的運(yùn)動(dòng)越劇烈，使層次數(shù)越深，以能夠檢測更細(xì)的運(yùn)動(dòng)，如果輸入圖像的運(yùn)動(dòng)少，則抑制層次數(shù)。

另外，編碼控制部1從可利用的1個(gè)以上的編碼模式(m種幀內(nèi)部編碼模式、n種幀之間編碼模式)中，選擇適合于分層地分割的各個(gè)編碼塊的編碼模式(步驟st2)。

由編碼控制部1進(jìn)行的編碼模式的選擇方法是公知的技術(shù)，所以省略詳細(xì)的說明，但例如有如下方法等：使用可利用的任意的編碼模式，實(shí)施針對編碼塊的編碼處理來驗(yàn)證編碼效率，在可利用的多個(gè)編碼模式中，選擇編碼效率最佳的編碼模式。

在塊分割部2中，如果輸入了表示輸入圖像的影像信號，則將該影像信號表示的輸入圖像分割為由編碼控制部1決定的最大大小的編碼塊，并且直至達(dá)到由編碼控制部1決定的上限的層次數(shù)為止，對該編碼塊分層地進(jìn)行分割(步驟st3)。

此處，圖5是示出最大大小的編碼塊被分層地分割為多個(gè)編碼塊的情況的說明圖。

在圖5的例子中，最大大小的編碼塊是第0層次的編碼塊b⁰，在亮度分量上具有(l⁰，m⁰)的大小。

另外，在圖5的例子中，以最大大小的編碼塊b⁰為出發(fā)點(diǎn)，通過四叉樹構(gòu)造，分層地進(jìn)行分割直至另行決定的規(guī)定的深度為止，從而得到編碼塊bⁿ。

在深度n下，編碼塊bⁿ是大小為(lⁿ，mⁿ)的圖像區(qū)域。

其中，lⁿ和mⁿ既可以相同也可以不同，但在圖5的例子中示出了lⁿ＝mⁿ的情形。

以后，將編碼塊bⁿ的大小定義為編碼塊bⁿ的亮度分量中的大小(lⁿ，mⁿ)。

塊分割部2進(jìn)行四叉樹分割，所以(lⁿ⁺¹，mⁿ⁺¹)＝(lⁿ/2，mⁿ/2)始終成立。

但是，在如rgb信號等那樣所有顏色分量具有同一采樣數(shù)的彩色影像信號(4：4：4格式)中，所有顏色分量的大小為(lⁿ，mⁿ)，但在處理4：2：0格式的情況下，對應(yīng)的色差分量的編碼塊的大小是(lⁿ/2，mⁿ/2)。

以后，將在第n層次的編碼塊bⁿ中可選擇的編碼模式記載為m(bⁿ)。

在由多個(gè)顏色分量構(gòu)成的彩色影像信號的情況下，編碼模式m(bⁿ)可以構(gòu)成為針對各顏色分量分別使用各自的模式，但以后只要沒有特別說明，則設(shè)為指針對yuv信號4：2：0格式的編碼塊的亮度分量的編碼模式來進(jìn)行說明。

在編碼模式m(bⁿ)中，有一個(gè)或者多個(gè)幀內(nèi)部編碼模式(總稱為“intra”)、一個(gè)或者多個(gè)幀之間編碼模式(總稱為“inter”)，編碼控制部1如上所述，從在該圖片中可利用的所有編碼模式或者其子集中，選擇針對編碼塊bⁿ編碼效率最佳的編碼模式。

編碼塊bⁿ如圖5所示，被進(jìn)一步分割為一個(gè)或者多個(gè)預(yù)測處理單位(分區(qū)(partition))。

以后，將屬于編碼塊bⁿ的分區(qū)記載為piⁿ(i：第n層次中的分區(qū)編號)。

關(guān)于屬于編碼塊bⁿ的分區(qū)piⁿ的分割是被如何進(jìn)行的，作為信息包括在編碼模式m(bⁿ)中。

關(guān)于分區(qū)piⁿ，全部依照編碼模式m(bⁿ)進(jìn)行預(yù)測處理，但能夠針對每個(gè)分區(qū)piⁿ，選擇各自的預(yù)測參數(shù)。

編碼控制部1針對最大大小的編碼塊，例如生成圖6所示那樣的塊分割狀態(tài)，確定編碼塊bⁿ。

圖6(a)的畫網(wǎng)線的部分表示分割后的分區(qū)的分布，而且，在圖6(b)中通過四叉樹圖表表示對層次分割后的分區(qū)分配編碼模式m(bⁿ)的狀況。

在圖6(b)中，用□包圍的節(jié)點(diǎn)表示被分配了編碼模式m(bⁿ)的節(jié)點(diǎn)(編碼塊bⁿ)。

當(dāng)編碼控制部1針對各個(gè)編碼塊bⁿ的分區(qū)piⁿ選擇最佳的編碼模式m(bⁿ)時(shí)，如果該編碼模式m(bⁿ)是幀內(nèi)部編碼模式(步驟st4)，則切換開關(guān)3將由塊分割部2分割的編碼塊bⁿ的分區(qū)piⁿ輸出到幀內(nèi)部預(yù)測部4。

另一方面，如果該編碼模式m(bⁿ)是幀之間編碼模式(步驟st4)，則將由塊分割部2分割的編碼塊bⁿ的分區(qū)piⁿ輸出到運(yùn)動(dòng)補(bǔ)償預(yù)測部5。

幀內(nèi)部預(yù)測部4如果從切換開關(guān)3接收到編碼塊bⁿ的分區(qū)piⁿ，則一邊參照由幀內(nèi)部預(yù)測用存儲(chǔ)器10保存的已編碼塊的局部解碼圖像，一邊使用與由編碼控制部1選擇的編碼模式m(bⁿ)對應(yīng)的幀內(nèi)部預(yù)測參數(shù)，實(shí)施針對該編碼塊bⁿ的分區(qū)piⁿ的幀內(nèi)部預(yù)測處理，生成幀內(nèi)部預(yù)測圖像piⁿ(步驟st5)。

幀內(nèi)部預(yù)測部4如果生成了幀內(nèi)部預(yù)測圖像piⁿ，則將該幀內(nèi)部預(yù)測圖像piⁿ輸出到減法部6以及加法部9，但為了使得在圖3的圖像解碼裝置中也能夠生成相同的幀內(nèi)部預(yù)測圖像piⁿ，將該幀內(nèi)部預(yù)測參數(shù)輸出到可變長編碼部13。

另外，幀內(nèi)部預(yù)測部4的幀內(nèi)部預(yù)測處理依照例如avc/h.264標(biāo)準(zhǔn)(iso/iec14496-10)中制定的算法，但不限于該算法。

運(yùn)動(dòng)補(bǔ)償預(yù)測部5如果從切換開關(guān)3接收到編碼塊bⁿ的分區(qū)piⁿ，則通過比較該編碼塊bⁿ的分區(qū)piⁿ和由運(yùn)動(dòng)補(bǔ)償預(yù)測幀存儲(chǔ)器12保存的已編碼塊的局部解碼圖像來實(shí)施運(yùn)動(dòng)搜索并計(jì)算運(yùn)動(dòng)矢量，使用該運(yùn)動(dòng)矢量和從編碼控制部1輸出的幀之間預(yù)測參數(shù)，實(shí)施針對該編碼塊的幀之間預(yù)測處理，生成幀之間預(yù)測圖像piⁿ(步驟st6)。

運(yùn)動(dòng)補(bǔ)償預(yù)測部5如果生成了幀之間預(yù)測圖像piⁿ，則將該幀之間預(yù)測圖像piⁿ輸出到減法部6以及加法部9，但為了使得在圖3的圖像解碼裝置中也能夠生成相同的幀之間預(yù)測圖像piⁿ，將該幀之間預(yù)測參數(shù)輸出到可變長編碼部13。

另外，在幀之間預(yù)測參數(shù)中，包括下述信息。

(1)描述了編碼塊bⁿ內(nèi)的分區(qū)piⁿ的分割狀況的模式信息

(2)分區(qū)piⁿ的運(yùn)動(dòng)矢量

(3)在由運(yùn)動(dòng)補(bǔ)償預(yù)測幀存儲(chǔ)器12保存了多個(gè)局部解碼圖像(參照圖像)的情況下，表示使用哪一個(gè)參照圖像來實(shí)施幀之間預(yù)測處理的參照圖像的指示索引信息

(4)在有多個(gè)運(yùn)動(dòng)矢量的預(yù)測值候補(bǔ)的情況下，表示選擇哪一個(gè)運(yùn)動(dòng)矢量的預(yù)測值來使用的索引信息

(5)在有多個(gè)運(yùn)動(dòng)補(bǔ)償內(nèi)插濾波器的情況下，表示選擇哪一個(gè)濾波器來使用的索引信息

(6)在分區(qū)piⁿ的運(yùn)動(dòng)矢量能夠表示多個(gè)像素精度(半像素、1/4像素、1/8像素等)的情況下，表示使用哪一個(gè)像素精度的選擇信息

如果幀內(nèi)部預(yù)測部4或者運(yùn)動(dòng)補(bǔ)償預(yù)測部5生成了預(yù)測圖像(幀內(nèi)部預(yù)測圖像piⁿ、幀之間預(yù)測圖像piⁿ)，則減法部6從由塊分割部2分割的編碼塊bⁿ的分區(qū)piⁿ，減去由幀內(nèi)部預(yù)測部4或者運(yùn)動(dòng)補(bǔ)償預(yù)測部5生成的預(yù)測圖像(幀內(nèi)部預(yù)測圖像piⁿ、幀之間預(yù)測圖像piⁿ)，從而生成差分圖像，將表示該差分圖像的預(yù)測差分信號eiⁿ輸出到變換/量化部7(步驟st7)。

變換/量化部7如果從減法部6接收到表示差分圖像的預(yù)測差分信號eiⁿ，則按照從編碼控制部1輸出的預(yù)測差分編碼參數(shù)中包含的變換塊大小單位，實(shí)施該差分圖像的變換處理(例如dct(離散余弦變換)、預(yù)先對特定的學(xué)習(xí)系列進(jìn)行了基礎(chǔ)設(shè)計(jì)的kl變換等正交變換處理)，并且使用該預(yù)測差分編碼參數(shù)中包含的量化參數(shù)，對該差分圖像的變換系數(shù)進(jìn)行量化，從而將量化后的變換系數(shù)作為差分圖像的壓縮數(shù)據(jù)輸出到逆量化/逆變換部8以及可變長編碼部13(步驟st8)。

逆量化/逆變換部8如果從變換/量化部7接收到差分圖像的壓縮數(shù)據(jù)，則使用從編碼控制部1輸出的預(yù)測差分編碼參數(shù)中包含的量化參數(shù)，對該差分圖像的壓縮數(shù)據(jù)進(jìn)行逆量化，按照該預(yù)測差分編碼參數(shù)中包含的變換塊大小單位，實(shí)施逆量化后的壓縮數(shù)據(jù)的逆變換處理(例如逆dct(逆離散余弦變換)、逆kl變換等逆變換處理)，從而將逆變換處理后的壓縮數(shù)據(jù)作為局部解碼預(yù)測差分信號輸出到加法部9(步驟st9)。

加法部9如果從逆量化/逆變換部8接收到局部解碼預(yù)測差分信號，則將該局部解碼預(yù)測差分信號、和表示由幀內(nèi)部預(yù)測部4或者運(yùn)動(dòng)補(bǔ)償預(yù)測部5生成的預(yù)測圖像(幀內(nèi)部預(yù)測圖像piⁿ、幀之間預(yù)測圖像piⁿ)的預(yù)測信號進(jìn)行相加，從而生成局部解碼分區(qū)圖像、或者作為其集合的局部解碼塊圖像即局部解碼圖像(步驟st10)。

在加法部9中，如果生成了局部解碼圖像，則將表示該局部解碼圖像的局部解碼圖像信號保存到幀內(nèi)部預(yù)測用存儲(chǔ)器10中，并且將該局部解碼圖像信號輸出到環(huán)路濾波器部11。

環(huán)路濾波器部11如果從加法部9接收到局部解碼圖像信號，則實(shí)施針對該局部解碼圖像信號的濾波處理，從而去除在塊邊界中發(fā)生的失真(塊失真)(步驟st11)。

環(huán)路濾波器部11中的處理內(nèi)容的詳細(xì)內(nèi)容后述，但在去除局部解碼圖像的塊失真時(shí)，與由編碼控制部1選擇的編碼模式(幀內(nèi)部編碼模式、幀之間編碼模式)相應(yīng)地，按信號分量(亮度信號分量、色差信號分量)設(shè)定去除塊失真的濾波的強(qiáng)度。

另外，關(guān)于環(huán)路濾波器部11的濾波處理，既可以按照從加法部9輸出的局部解碼圖像信號的最大編碼塊或者各個(gè)編碼塊單位進(jìn)行，也可以在輸出了與1個(gè)畫面量的宏塊相當(dāng)?shù)木植拷獯a圖像信號之后集中1個(gè)畫面量來進(jìn)行。

反復(fù)實(shí)施步驟st4～st10的處理直至針對被分層地分割的所有編碼塊bⁿ的處理完成為止，如果針對所有編碼塊bⁿ的處理完成，則轉(zhuǎn)移到步驟st13的處理(步驟st12)。

可變長編碼部13對從變換/量化部7輸出的壓縮數(shù)據(jù)、從編碼控制部1輸出的編碼模式(包括表示編碼塊的分割狀態(tài)的信息)以及預(yù)測差分編碼參數(shù)、以及從幀內(nèi)部預(yù)測部4輸出的幀內(nèi)部預(yù)測參數(shù)或者從運(yùn)動(dòng)補(bǔ)償預(yù)測部5輸出的幀之間預(yù)測參數(shù)(包括運(yùn)動(dòng)矢量)進(jìn)行熵編碼。

可變長編碼部13復(fù)用作為熵編碼的編碼結(jié)果的壓縮數(shù)據(jù)、編碼模式、預(yù)測差分編碼參數(shù)、幀內(nèi)部預(yù)測參數(shù)/幀之間預(yù)測參數(shù)的編碼數(shù)據(jù)來生成比特流(步驟st13)。

以下，具體說明環(huán)路濾波器部11的濾波處理。

環(huán)路濾波器部11是使在作為上述預(yù)測處理單位的分區(qū)與變換塊的邊界中發(fā)生的塊噪聲降低的非線性平滑化濾波器。

圖7是示出編碼塊內(nèi)的濾波應(yīng)用像素的位置的說明圖。

在圖7中，垂直邊緣以及水平邊緣、和分區(qū)或者變換塊的塊邊界重疊的位置成為濾波處理的對象。

在圖7中，用k×k像素柵格表示垂直邊緣以及水平邊緣。k的值既可以確定為固定值，也可以根據(jù)編碼塊的最大大小、分區(qū)/變換塊的最大大小等設(shè)定。

圖8是示出環(huán)路濾波器部11的處理內(nèi)容的流程圖。

針對每個(gè)編碼塊執(zhí)行環(huán)路濾波器部11的濾波處理。

首先，環(huán)路濾波器部11判定垂直邊緣以及水平邊緣是否與分區(qū)或者變換塊的邊界一致(步驟st41)。

在存在與分區(qū)或者變換塊的邊界一致的垂直邊緣或者水平邊緣的情況下，環(huán)路濾波器部11進(jìn)行與邊界一致的部位的濾波強(qiáng)度判定(步驟st42、st43)。濾波強(qiáng)度的判定方法將后述。

在環(huán)路濾波器部11中，如果進(jìn)行了濾波強(qiáng)度判定，則根據(jù)該濾波強(qiáng)度的判定結(jié)果、實(shí)際上成為濾波處理的對象的像素值的變化量，一邊變更最終的濾波的強(qiáng)度一邊進(jìn)行濾波處理(步驟st44、st45)。濾波處理的方法將后述。

環(huán)路濾波器部11反復(fù)實(shí)施步驟st41～45的處理直至針對圖片內(nèi)的所有編碼塊的處理完成為止(步驟st46)。

另外，設(shè)為在切片頭中復(fù)用是否對切片內(nèi)的所有編碼塊進(jìn)行本環(huán)路濾波的處理的識別信息，圖像編碼裝置構(gòu)成為根據(jù)狀況決定該識別信息的值并傳送到圖像解碼裝置。

接下來，說明環(huán)路濾波器部11的濾波強(qiáng)度的判定處理。

圖9是示出濾波強(qiáng)度的判定方法的流程圖。

環(huán)路濾波器部11針對與垂直邊緣和水平邊緣鄰接的所有像素，按照下述條件求出濾波強(qiáng)度bs(步驟st51)。

以下的說明中，用pi(i＝0，1，2，3)、qj(j＝0，1，2，3)的記號表示了邊緣附近的像素，但邊緣位置和像素位置的關(guān)系如圖10那樣定義。

在編碼塊中，包括亮度信號分量的塊和色差信號分量的塊，但在環(huán)路濾波器部11中，按照以下的條件，進(jìn)行濾波強(qiáng)度的判定。

(1)濾波處理對象的編碼塊的編碼模式是幀內(nèi)部編碼模式、還是幀之間編碼模式

(2)進(jìn)行濾波處理的信號分量是亮度信號分量、還是色差信號分量

(3)在包括濾波處理對象的像素的變換塊內(nèi)，是否包括非零的變換系數(shù)

(4)包括濾波處理對象的像素的分區(qū)中的運(yùn)動(dòng)參數(shù)的狀態(tài)

環(huán)路濾波器部11通過以下的過程進(jìn)行濾波強(qiáng)度的判定。

(過程1)

在是位于編碼塊的邊界的邊緣、且包括p0的編碼塊或者包括q0的編碼塊的編碼模式是“幀內(nèi)部編碼模式”的情況下，決定為如下：

處理對象信號分量為亮度信號分量→bs＝2

處理對象信號分量為色差信號分量→bs＝4。

(過程2)

在不符合過程1中的條件的情況下，

在包括p0的編碼塊、或者包括q0的編碼塊的編碼模式是“幀內(nèi)部編碼模式”的情況下，決定為如下：

處理對象信號分量為亮度信號分量→bs＝1

處理對象信號分量為色差信號分量→bs＝3。

(過程3)

在不符合過程1、2中的條件的情況下，

在p0或者q0屬于具有非零正交變換系數(shù)的變換塊的情況下，決定為如下：

處理對象信號分量為亮度信號分量→bs＝2

處理對象信號分量為色差信號分量→bs＝2。

(過程4)

在不符合過程1～3中的條件的情況下，在滿足以下的任一條件的情況下，決定為如下：

處理對象信號分量為亮度信號分量→bs＝1

處理對象信號分量為色差信號分量→bs＝1。

[條件]

·包括p0的分區(qū)和包括q0的分區(qū)具有不同的參照圖片、或者具有不同數(shù)量的運(yùn)動(dòng)矢量

·在包括p0的分區(qū)和包括q0的分區(qū)中，分別使用1個(gè)運(yùn)動(dòng)矢量，雙方的運(yùn)動(dòng)矢量的水平分量或者垂直分量的差分絕對值在1/4像素精度下是4以上

·在包括p0的分區(qū)和包括q0的分區(qū)中，分別使用2個(gè)運(yùn)動(dòng)矢量，在指相同的參照圖片的運(yùn)動(dòng)矢量對(p0中的運(yùn)動(dòng)矢量、和q0中的運(yùn)動(dòng)矢量的對)的至少1組中，雙方的運(yùn)動(dòng)矢量的水平分量或者垂直分量的差分絕對值在1/4像素精度下是4以上

(過程5)

在不符合過程1～4中的條件的情況下(分區(qū)/變換塊的邊界以外的邊緣也符合本條件)，決定為如下：

處理對象信號分量為亮度信號分量→bs＝0

處理對象信號分量為色差信號分量→bs＝0。

在處理對象的編碼塊的編碼模式是幀內(nèi)部編碼模式的情況下，相比于利用幀之間預(yù)測的幀間預(yù)測的情況，亮度信號和色差信號的預(yù)測殘差功率都大，被量化的變換系數(shù)的分布針對每個(gè)信號分量大幅不同的概率變高。

塊失真的程度受到由于量化而有效的變換系數(shù)主觀上會(huì)消失多少的影響，因此特別是在幀內(nèi)部編碼中，優(yōu)選能夠通過亮度和色差來調(diào)整作為測量塊失真的程度的尺度的濾波強(qiáng)度的值。

在以往的環(huán)路濾波器106(參照圖16)中，色差信號分量的濾波強(qiáng)度始終被設(shè)定為與亮度信號分量的濾波強(qiáng)度相同的值，但在該實(shí)施方式1中，根據(jù)條件按信號分量(亮度信號分量、色差信號分量)設(shè)定了濾波強(qiáng)度，所以得到比以往更有助于畫質(zhì)的改善的濾波強(qiáng)度。

在環(huán)路濾波器部11中，如果進(jìn)行了濾波強(qiáng)度判定，則根據(jù)濾波強(qiáng)度的判定結(jié)果，按照垂直邊緣、水平邊緣的順序進(jìn)行濾波處理。

首先，環(huán)路濾波器部11針對垂直邊緣，針對每k行求出濾波強(qiáng)度bs的最大值，將該最大值設(shè)為bsver。

環(huán)路濾波器部11根據(jù)最大值bsver，進(jìn)行針對該k行的邊緣附近像素的濾波處理。

圖11是示出針對垂直邊緣的濾波處理的單位的說明圖。以垂直邊緣為中心的k×k像素成為相同的bsver。對各像素應(yīng)用的最終的濾波強(qiáng)度bs是由最大值bsver和各像素位置處的像素值的變化量來決定的。

圖12示出針對水平邊緣的濾波處理的單位。除了處理的方向從垂直變化為水平以外，與垂直邊緣相同。

以下，說明針對處理對象像素的濾波處理。

環(huán)路濾波器部11針對亮度信號分量的垂直邊緣方向，按照以下的過程進(jìn)行濾波處理。針對亮度信號分量的水平邊緣方向的濾波處理也是相同的過程，但代替最大值bsver，使用針對水平邊緣的每k行的濾波強(qiáng)度bs的最大值bshor。

[a]bsver＝0的情況

不進(jìn)行濾波處理。

[b]bsver≤2的情況

(1)在圖13中，求出設(shè)為q＝(亮度的qp值)時(shí)的參數(shù)β、tc。

圖13是示出q(亮度的qp值)與參數(shù)β、tc的對應(yīng)關(guān)系的說明圖。

(2)求出d＝|p2-2*p1+p0|+|q2-2*q1+q0|+|p2-2*p1+p0|+|q2-2*q1+q0|，

根據(jù)以下的條件，進(jìn)行濾波運(yùn)算。

·在d小于(β＞＞2)，并且|p3-p0|+|q0-q3|小于(β＞＞2)，并且|p0-q0|小于((5＊tc+1))＞＞1)的情況下，

p0’＝cliply((p2+2*p1+2*p0+2*q0+q1+4)＞＞3)

p1’＝cliply((p2+p1+p0+q0+2)＞＞2)

p2’＝cliply((2*p3+3*p2+p1+p0+q0+4)＞＞3)

q0’＝cliply((p1+2*p0+2*q0+2*q1+q2+4)＞＞3)

q1’＝cliply((p0+q0+q1+q2+2)＞＞2)

q2’＝cliply((p0+q0+q1+3*q2+2*q3+4)＞＞3)

·在其他情況下，

δ＝clip3(-tc，tc，(13*(q0-p0)+4*(q1-p1)-5*(q2-p0)+16)＞＞5)

p0’＝cliply(p0+δ)

q0’＝cliply(q0-δ)

p1’＝cliply(p1+δ/2)

q1’＝cliply(q1-δ/2)

(3)將所求出的p0’～p2’、q0’～q2’置換為p0～p2、q0～q2的各像素值，將置換后的圖像作為解碼圖像，輸出到后級的運(yùn)動(dòng)補(bǔ)償預(yù)測幀存儲(chǔ)器12。

[c]bsver＞2的情況

在圖13中，求出設(shè)為q＝(亮度的qp值)時(shí)的參數(shù)β、和設(shè)為q＝(亮度的qp值+4)時(shí)的參數(shù)tc。以后的處理與bsver≤2的情況相同。

環(huán)路濾波器部11針對色差信號分量的垂直邊緣方向，按照以下的過程進(jìn)行濾波處理。針對色差信號分量的水平邊緣方向的濾波處理也是相同的過程，但代替最大值bsver，使用最大值bshor。bsver和bsver是用同一位置的亮度計(jì)算的值。

[a]bsver＞2的情況

(1)進(jìn)行以下的濾波運(yùn)算。

δ＝clip3(-tc，tc，((((q0-p0)＜＜2)+p1-q1+4)＞＞3))

p0’＝cliplc(p0+δ)

q0’＝cliplc(q0-δ)

(2)將所求出的p0’、q0’置換為p0、q0的各像素值，將置換后的圖像作為解碼圖像，輸出到后級的運(yùn)動(dòng)補(bǔ)償預(yù)測幀存儲(chǔ)器12。

[b]bsver≤2的情況

不進(jìn)行濾波處理。

圖像編碼裝置的環(huán)路濾波器部11和圖像解碼裝置的環(huán)路濾波器部28進(jìn)行共同的處理，但也可以構(gòu)成為圖像編碼裝置的環(huán)路濾波器部11關(guān)于濾波強(qiáng)度的判定設(shè)置控制用的參數(shù)。

例如，也可以構(gòu)成為通過復(fù)用表示是否以切片等級對濾波強(qiáng)度bs的值進(jìn)行信號化(signalling)的識別信息，從而能夠針對每個(gè)切片變更濾波強(qiáng)度bs的設(shè)定值。

關(guān)于此時(shí)的變更，既可以設(shè)為僅變更亮度信號分量，而固定色差信號分量，也可以相反地構(gòu)成為能夠固定亮度信號分量，而僅變更色差信號分量。

關(guān)于設(shè)定值的信號化，既可以是值本身，也可以是將濾波強(qiáng)度bs設(shè)為默認(rèn)值的偏移值的形式。也可以將色差信號分量的濾波強(qiáng)度表現(xiàn)為亮度信號分量的濾波強(qiáng)度的偏移值。

另外，還能夠構(gòu)成為特別是將編碼模式為幀內(nèi)部編碼模式的情況下的濾波強(qiáng)度bs的設(shè)定值信號化為值本身或者偏移值。例如，環(huán)路濾波器部11能夠構(gòu)成為按照以下的過程進(jìn)行濾波強(qiáng)度的判定。

關(guān)于以幀內(nèi)部編碼模式被編碼的編碼塊，將針對亮度分量的濾波強(qiáng)度值設(shè)為bsl，將針對色差分量的濾波強(qiáng)度值設(shè)為bsc，將bsl和bsc作為圖片等級的頭、切片頭等語法信息復(fù)用到比特流，從而使得能夠在編碼裝置和解碼化裝置中共享。此時(shí)，

(過程1)

在是位于編碼塊的邊界的邊緣、且包括po的編碼塊或者包括qo的編碼塊的編碼模式是“幀內(nèi)部編碼模式”的情況下，決定為如下：

處理對象信號分量為亮度信號分量→bs＝max(4－bsl、0)

處理對象信號分量為色差信號分量→bs＝max(4－bsc、0)

此處，max(a，b)是輸出a和b中的大的一方的值的函數(shù)。

(過程2)

在不符合過程1中的條件的情況下，

在包括po的編碼塊或者包括qo的編碼塊的編碼模式是“幀內(nèi)部編碼模式”的情況下，決定為如下：

處理對象信號分量為亮度信號分量→bs＝max(3－bsl、0)

處理對象信號分量為色差信號分量→bs＝max(3－bsc、0)。

在編碼模式是幀內(nèi)部編碼模式的情況下，存在如下情況：在壓縮處理過程中運(yùn)動(dòng)預(yù)測無法有效地發(fā)揮功能，不得已而進(jìn)行幀內(nèi)部編碼的情況；以及以錯(cuò)誤抗性、隨機(jī)訪問的觀點(diǎn)周期性地、有意圖地使幀內(nèi)部編碼發(fā)生的情況。

在不得已而進(jìn)行幀內(nèi)部編碼的情況下，失真會(huì)與編碼的難易度對應(yīng)地重疊，相對于此，在周期性地、有意圖地使幀內(nèi)部編碼發(fā)生的情況下，由于不直接與編碼的難易度相關(guān)地使用幀內(nèi)部編碼，所以各個(gè)塊失真的發(fā)生方式產(chǎn)生差異。

在以往的環(huán)路濾波器中，沒有判別上述情況來控制濾波強(qiáng)度的手段。

由于按照切片、圖片的單位執(zhí)行周期幀內(nèi)部插入，所以通過按照這些單位根據(jù)用途控制濾波強(qiáng)度，從而能夠更良好地抑制塊失真。

另外，相反地，也可以構(gòu)成為對編碼模式為幀之間編碼模式的情況下的濾波強(qiáng)度bs的設(shè)定值進(jìn)行信號化。

此處，圖14是示出由可變長編碼部13生成的比特流的說明圖。

在圖14的例子中，示出了切片編碼數(shù)據(jù)由切片頭、和接著該切片頭的與切片內(nèi)的個(gè)數(shù)相當(dāng)?shù)淖畲缶幋a塊編碼數(shù)據(jù)構(gòu)成的情況。

各最大編碼塊編碼數(shù)據(jù)包括編碼模式。雖然未圖示，但在最大編碼塊編碼數(shù)據(jù)中，針對每個(gè)編碼塊，包括分區(qū)單位的運(yùn)動(dòng)矢量等預(yù)測參數(shù)、變換塊大小等預(yù)測差分編碼參數(shù)、預(yù)測差分編碼數(shù)據(jù)(已量化變換系數(shù))。

在切片頭中，包括：環(huán)路濾波on/off標(biāo)志，該環(huán)路濾波on/off標(biāo)志為是否對切片內(nèi)的所有編碼塊進(jìn)行本環(huán)路濾波的處理的識別信息；濾波強(qiáng)度信息復(fù)用標(biāo)志，該濾波強(qiáng)度信息復(fù)用標(biāo)志為表示是否對濾波強(qiáng)度bs的設(shè)定值進(jìn)行信號化的標(biāo)志；濾波強(qiáng)度信息，在濾波強(qiáng)度信息復(fù)用標(biāo)志是“1”的情況下復(fù)用該濾波強(qiáng)度信息。

濾波強(qiáng)度信息復(fù)用標(biāo)志以及濾波強(qiáng)度信息也可以構(gòu)成為復(fù)用到按照圖片、序列、gop(groupofpictures，圖片組)等單位定義的頭信息區(qū)域中。

接下來，說明圖3的圖像解碼裝置的處理內(nèi)容。

可變長解碼部21如果輸入了從圖1的圖像編碼裝置輸出的比特流，則實(shí)施針對該比特流的可變長解碼處理(圖4的步驟st21)，解碼出按照由1幀以上的圖片構(gòu)成的序列單位或者圖片單位規(guī)定圖片大小(水平像素?cái)?shù)/垂直行數(shù))的信息。

可變長解碼部21按照與圖1的編碼控制部1同樣的過程，決定成為實(shí)施運(yùn)動(dòng)補(bǔ)償預(yù)測處理(幀間預(yù)測處理)或者幀內(nèi)部預(yù)測處理(幀內(nèi)預(yù)測處理)時(shí)的處理單位的編碼塊的最大大小，并且決定最大大小的編碼塊被分層地分割時(shí)的上限的層次數(shù)(步驟st22)。

例如，在圖像編碼裝置中根據(jù)輸入圖像的分辨率決定了編碼塊的最大大小的情況下，根據(jù)之前解碼出的幀大小決定編碼塊的最大大小。

另外，在比特流中復(fù)用有表示編碼塊的最大大小以及上限的層次數(shù)的信息的情況下，參照從該比特流解碼出的信息。

在比特流的結(jié)構(gòu)是圖14的結(jié)構(gòu)的情況下，可變長解碼部21在最大編碼塊等級的解碼之前，從切片頭解碼出環(huán)路濾波on/off標(biāo)志。

在比特流上復(fù)用的最大大小的編碼塊b⁰的編碼模式m(b⁰)中包括表示最大大小的編碼塊b⁰的分割狀態(tài)的信息，所以可變長解碼部21解碼出比特流上復(fù)用的最大大小的編碼塊b⁰的編碼模式m(b⁰)，確定被分層地分割的各個(gè)編碼塊bⁿ(步驟st23)。

在可變長解碼部21中，如果確定了各個(gè)編碼塊bⁿ，則對該編碼塊bⁿ的編碼模式m(bⁿ)進(jìn)行解碼，根據(jù)屬于該編碼模式m(bⁿ)的分區(qū)piⁿ的信息，確定屬于編碼塊bⁿ的分區(qū)piⁿ。

在可變長解碼部21中，如果確定了屬于編碼塊bⁿ的分區(qū)piⁿ，則針對每個(gè)分區(qū)piⁿ，解碼出壓縮數(shù)據(jù)、編碼模式、預(yù)測差分編碼參數(shù)、幀內(nèi)部預(yù)測參數(shù)/幀之間預(yù)測參數(shù)(包括運(yùn)動(dòng)矢量)(步驟st24)。

在屬于從可變長解碼部21輸出的編碼塊bⁿ的分區(qū)piⁿ的編碼模式m(bⁿ)是幀內(nèi)部編碼模式的情況下(步驟st25)，切換開關(guān)22將從可變長解碼部21輸出的幀內(nèi)部預(yù)測參數(shù)輸出到幀內(nèi)部預(yù)測部23。

另一方面，在分區(qū)piⁿ的編碼模式m(bⁿ)是幀之間編碼模式的情況下(步驟st25)，將從可變長解碼部21輸出的幀之間預(yù)測參數(shù)輸出到運(yùn)動(dòng)補(bǔ)償預(yù)測部24。

幀內(nèi)部預(yù)測部23如果從切換開關(guān)22接收到幀內(nèi)部預(yù)測參數(shù)，則一邊參照由幀內(nèi)部預(yù)測用存儲(chǔ)器27保存的已解碼塊的解碼圖像(參照圖像)，一邊使用該幀內(nèi)部預(yù)測參數(shù)，實(shí)施針對該編碼塊bⁿ的分區(qū)piⁿ的幀內(nèi)部預(yù)測處理，生成幀內(nèi)部預(yù)測圖像piⁿ(步驟st26)。

運(yùn)動(dòng)補(bǔ)償部24如果接收到從切換開關(guān)22輸出的幀之間預(yù)測參數(shù)，則使用該幀之間預(yù)測參數(shù)中包含的運(yùn)動(dòng)矢量和由運(yùn)動(dòng)補(bǔ)償預(yù)測幀存儲(chǔ)器29保存的已解碼塊的解碼圖像(參照圖像)，實(shí)施針對該編碼塊的幀之間預(yù)測處理，生成幀內(nèi)部預(yù)測圖像piⁿ(步驟st27)。

逆量化/逆變換部25使用從可變長解碼部21輸出的預(yù)測差分編碼參數(shù)中包含的量化參數(shù)，對從可變長解碼部21輸出的壓縮數(shù)據(jù)進(jìn)行逆量化，按照該預(yù)測差分編碼參數(shù)中包含的變換塊大小單位，實(shí)施逆量化后的壓縮數(shù)據(jù)的逆變換處理(例如逆dct(逆離散余弦變換)、逆kl變換等逆變換處理)，從而將逆變換處理后的壓縮數(shù)據(jù)作為解碼預(yù)測差分信號(表示壓縮前的差分圖像的信號)輸出到加法部26(步驟st28)。

加法部26如果從逆量化/逆變換部25接收到解碼預(yù)測差分信號，則將該解碼預(yù)測差分信號和表示由幀內(nèi)部預(yù)測部23或者運(yùn)動(dòng)補(bǔ)償部24生成的預(yù)測圖像的預(yù)測信號進(jìn)行相加，從而生成解碼圖像，將表示該解碼圖像的解碼圖像信號保存到幀內(nèi)部預(yù)測用存儲(chǔ)器27中，并且將該解碼圖像信號輸出到環(huán)路濾波器部28(步驟st29)。

反復(fù)實(shí)施步驟st23～st29的處理直至針對被分層地分割的所有編碼塊bⁿ的處理完成為止(步驟st30)。

環(huán)路濾波器部28如果從加法部26接收到解碼圖像信號，則實(shí)施針對該解碼圖像信號的濾波處理，從而去除在塊邊界中發(fā)生的失真(塊失真)，將失真去除后的解碼圖像信號表示的解碼圖像保存到運(yùn)動(dòng)補(bǔ)償預(yù)測幀存儲(chǔ)器29中。

環(huán)路濾波器部28中的濾波處理與圖1的環(huán)路濾波器部11中的濾波處理相同，在去除該解碼圖像的塊失真時(shí)，與從可變長解碼部21輸出的編碼模式(幀內(nèi)部編碼模式、幀之間編碼模式)相應(yīng)地，按信號分量(亮度信號分量、色差信號分量)設(shè)定去除塊失真的濾波的強(qiáng)度。

另外，在通過可變長解碼部21從切片頭解碼出濾波強(qiáng)度信息復(fù)用標(biāo)志以及濾波強(qiáng)度信息的情況下，用該濾波強(qiáng)度信息表示的濾波強(qiáng)度bs執(zhí)行濾波處理。

如以上說明可知，根據(jù)該實(shí)施方式1，構(gòu)成為圖像解碼裝置的環(huán)路濾波器部28在去除解碼圖像的塊失真時(shí)，與從可變長解碼部21輸出的編碼模式(幀內(nèi)部編碼模式、幀之間編碼模式)相應(yīng)地，按信號分量(亮度信號分量、色差信號分量)設(shè)定去除塊失真的濾波的強(qiáng)度，所以起到能夠提高塊失真的去除精度、改善解碼圖像的質(zhì)量的效果。

在以上的說明中，示出了實(shí)施幀間運(yùn)動(dòng)補(bǔ)償預(yù)測處理(幀之間預(yù)測處理)的圖像編碼裝置以及圖像解碼裝置的例子，但即使是針對所有幀實(shí)施幀內(nèi)預(yù)測處理(幀內(nèi)部預(yù)測處理)的圖像編碼裝置以及圖像解碼裝置，也可以構(gòu)成為由環(huán)路濾波器部11、28去除塊失真。

在組合幀內(nèi)預(yù)測處理(幀內(nèi)部預(yù)測處理)和幀間運(yùn)動(dòng)補(bǔ)償預(yù)測處理(幀之間預(yù)測處理)來實(shí)施的圖像編碼裝置以及圖像解碼裝置中，在設(shè)定為通過幀內(nèi)部預(yù)測處理對所有幀進(jìn)行編碼時(shí)，還能夠控制為不利用環(huán)路濾波器部11、28的動(dòng)作。

在該實(shí)施方式1中，示出了如圖5所示編碼塊bⁿ的大小是lⁿ＝mⁿ的例子，但也可以是編碼塊bⁿ的大小為lⁿ≠mⁿ。

例如，如圖15所示，考慮編碼塊bⁿ的大小為lⁿ＝kmⁿ的情況。

在接下來的分割中，成為(lⁿ⁺¹，mⁿ⁺¹)＝(lⁿ，mⁿ)，以后的分割既可以進(jìn)行與圖5同樣的分割，也可以如(lⁿ⁺¹，mⁿ⁺¹)＝(lⁿ/2，mⁿ/2)那樣進(jìn)行分割。

通過這樣的結(jié)構(gòu)，例如設(shè)為m⁰＝16，從而能夠定義mpeg-2(iso/iec13818-2)、mpeg-4avc/h.264(iso/iec14496-10)那樣的將由16×16像素構(gòu)成的宏塊橫向連結(jié)的結(jié)構(gòu)的最大編碼塊，具有易于構(gòu)成維持了與已有方式的互換性的圖像編碼裝置這樣的效果。

另外，即使在并非lⁿ＝kmⁿ而如klⁿ＝mⁿ那樣縱向連結(jié)的情況下，當(dāng)然也可以按照同樣的思路進(jìn)行分割。

另外，本申請發(fā)明能夠在該發(fā)明的范圍內(nèi)，實(shí)現(xiàn)實(shí)施方式的任意的構(gòu)成要素的變形、或者實(shí)施方式的任意的構(gòu)成要素的省略。

產(chǎn)業(yè)上的可利用性

本發(fā)明的圖像編碼裝置、圖像解碼裝置、圖像編碼方法以及圖像解碼方法具備與編碼模式相應(yīng)地按信號分量設(shè)定濾波的強(qiáng)度的手段，能夠提高塊失真的去除精度，改善編碼圖像的質(zhì)量，所以能夠應(yīng)用于mpeg、itu-th.26x等國際標(biāo)準(zhǔn)影像編碼方式。