圖像編碼裝置、圖像解碼裝置、圖像編碼方法以及圖像解碼方法
【專(zhuān)利摘要】圖像編碼裝置的環(huán)路濾波器部（11）在去除局部解碼圖像的塊失真時(shí)，與由編碼控制部（1）選擇的編碼模式（幀內(nèi)部編碼模式、幀之間編碼模式）相應(yīng)地，按信號(hào)分量（亮度信號(hào)分量、色差信號(hào)分量）設(shè)定去除塊失真的濾波的強(qiáng)度之后，按信號(hào)分量實(shí)施濾波處理。
【專(zhuān)利說(shuō)明】圖像編碼裝置、圖像解碼裝置、圖像編碼方法以及圖像解碼方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及對(duì)圖像進(jìn)行壓縮編碼而傳送的圖像編碼裝置以及圖像編碼方法、和從通過(guò)圖像編碼裝置傳送的編碼數(shù)據(jù)對(duì)圖像進(jìn)行解碼的圖像解碼裝置以及圖像解碼方法。
【背景技術(shù)】
[0002]以往，在MPEG、ITU-TH.26x等國(guó)際標(biāo)準(zhǔn)影像編碼方式中，在將輸入影像幀分割為由16X 16像素塊構(gòu)成的宏塊的單位，并實(shí)施了運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)之后，按照塊單位對(duì)預(yù)測(cè)差分信號(hào)進(jìn)行正交變換/量化，從而進(jìn)行信息壓縮。
[0003]但是，如果壓縮率變高，則起因于在實(shí)施運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)時(shí)使用的預(yù)測(cè)參照?qǐng)D像的質(zhì)量的降低，存在妨礙壓縮效率的問(wèn)題。
[0004]因此，在MPEG-4AVC/H.264的編碼方式(參照非專(zhuān)利文獻(xiàn)I)中，通過(guò)實(shí)施環(huán)內(nèi)阻塞濾波的處理，從而去除伴隨正交變換系數(shù)的量化而發(fā)生的預(yù)測(cè)參照?qǐng)D像的塊失真。
[0005]此處，圖16是示出非專(zhuān)利文獻(xiàn)I公開(kāi)的圖像編碼裝置的結(jié)構(gòu)圖。
[0006]在該圖像編碼裝置中，如果塊分割部101輸入了編碼對(duì)象的圖像信號(hào)，則將該圖像信號(hào)分割為宏塊單位，將宏塊單位的圖像信號(hào)作為分割圖像信號(hào)輸出到預(yù)測(cè)部102。
[0007]預(yù)測(cè)部102如果從塊分割部101接收到分割圖像信號(hào)，則在幀內(nèi)或者幀間預(yù)測(cè)宏塊內(nèi)的各顏色分量的圖像信號(hào)，計(jì)算預(yù)測(cè)差分信號(hào)。
[0008]特別是，在幀間實(shí)施運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的情況下，按照宏塊自身、或者將宏塊進(jìn)一步細(xì)分割而得到的子塊的單位，搜索運(yùn)動(dòng)矢量。
[0009]然后，使用該運(yùn)動(dòng)矢量，實(shí)施針對(duì)由存儲(chǔ)器107保存的參照?qǐng)D像信號(hào)的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，從而生成運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像，求出表示該運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像的預(yù)測(cè)信號(hào)與分割圖像信號(hào)的差分，從而計(jì)算預(yù)測(cè)差分信號(hào)。
[0010]另外，預(yù)測(cè)部102將在得到預(yù)測(cè)信號(hào)時(shí)決定的預(yù)測(cè)信號(hào)生成用參數(shù)輸出到可變長(zhǎng)編碼部108。
[0011]另外，在預(yù)測(cè)信號(hào)生成用參數(shù)中，例如，包括表示幀間的運(yùn)動(dòng)量的運(yùn)動(dòng)矢量等信肩、O
[0012]壓縮部103如果從預(yù)測(cè)部102接收到預(yù)測(cè)差分信號(hào)，則在通過(guò)實(shí)施針對(duì)該預(yù)測(cè)差分信號(hào)的DCT (離散余弦變換)處理而去除了信號(hào)相關(guān)之后，進(jìn)行量化，從而得到壓縮數(shù)據(jù)。
[0013]局部解碼部104如果從壓縮部103接收到壓縮數(shù)據(jù)，則通過(guò)對(duì)該壓縮數(shù)據(jù)進(jìn)行逆量化來(lái)實(shí)施逆DCT處理，計(jì)算與從預(yù)測(cè)部102輸出的預(yù)測(cè)差分信號(hào)相當(dāng)?shù)念A(yù)測(cè)差分信號(hào)。
[0014]加法器105如果從局部解碼部104接收到預(yù)測(cè)差分信號(hào)，則將該預(yù)測(cè)差分信號(hào)和從預(yù)測(cè)部102輸出的預(yù)測(cè)信號(hào)進(jìn)行相加，生成局部解碼圖像。
[0015]環(huán)路濾波器106去除在表示由加法器105生成的局部解碼圖像的局部解碼圖像信號(hào)上重疊的塊失真，將失真去除后的局部解碼圖像信號(hào)作為參照?qǐng)D像信號(hào)保存到存儲(chǔ)器107 中。[0016]可變長(zhǎng)編碼部108如果從壓縮部103接收到壓縮數(shù)據(jù)，則對(duì)該壓縮數(shù)據(jù)進(jìn)行熵編碼，輸出作為其編碼結(jié)果的比特流。
[0017]另外，可變長(zhǎng)編碼部108在輸出比特流時(shí)，將從預(yù)測(cè)部102輸出的預(yù)測(cè)信號(hào)生成用參數(shù)復(fù)用到比特流而輸出。
[0018]此處，在非專(zhuān)利文獻(xiàn)I公開(kāi)的方式中，環(huán)路濾波器106針對(duì)DCT的塊邊界的周邊像素，根據(jù)量化的粗細(xì)、編碼模式、運(yùn)動(dòng)矢量的分散程度等信息來(lái)決定平滑化強(qiáng)度(濾波強(qiáng)度)，實(shí)施針對(duì)局部解碼圖像的濾波處理，從而謀求降低在塊邊界中發(fā)生的失真(塊失真)。
[0019]由此，參照?qǐng)D像信號(hào)的質(zhì)量被改善，能夠提高以后的編碼中的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的效率。
[0020]非專(zhuān)利文獻(xiàn)1:MPEG-4AVC (IS0/IEC14496-10) /ITU-TH.264 標(biāo)準(zhǔn)
【發(fā)明內(nèi)容】

[0021]以往的圖像編碼裝置如以上那樣構(gòu)成，所以在環(huán)路濾波器106去除塊失真時(shí)，關(guān)于針對(duì)該塊的亮度信號(hào)分量的濾波的強(qiáng)度，根據(jù)編碼模式等決定，但關(guān)于針對(duì)該塊的色差信號(hào)分量的濾波的強(qiáng)度，挪用針對(duì)亮度信號(hào)分量的濾波的強(qiáng)度。因此，存在如下課題:針對(duì)色差信號(hào)分量的濾波的強(qiáng)度不一定恰當(dāng)，畫(huà)質(zhì)的改善效果受限。
[0022]本發(fā)明是為了解決上述那樣的課題而完成的，其目的在于得到一種能夠提高塊失真的去除精度來(lái)改善編碼圖像的質(zhì)量的圖像編碼裝置以及圖像編碼方法。
[0023]另外，本發(fā)明的目的在于得到一種能夠提高塊失真的去除精度來(lái)改善解碼圖像的質(zhì)量的圖像解碼裝置以及圖像解碼方法。
[0024]本發(fā)明涉及的圖像編碼裝置，具備:塊分割單元，將輸入圖像分割為成為實(shí)施預(yù)測(cè)處理時(shí)的處理單位的塊；編碼模式?jīng)Q定單元，決定針對(duì)由塊分割單元分割出的塊的編碼模式；預(yù)測(cè)圖像生成單元，依照由編碼模式?jīng)Q定單元決定的編碼模式，一邊參照已編碼塊的局部解碼圖像，一邊實(shí)施針對(duì)由塊分割單元分割出的塊的預(yù)測(cè)處理，生成預(yù)測(cè)圖像；差分圖像生成單元，生成由塊分割單元分割出的塊與由預(yù)測(cè)圖像生成單元生成的預(yù)測(cè)圖像的差分圖像；圖像壓縮單元，對(duì)由差分圖像生成單元生成的差分圖像進(jìn)行壓縮，輸出該差分圖像的壓縮數(shù)據(jù)；局部解碼圖像生成單元，對(duì)由圖像壓縮單元壓縮的差分圖像進(jìn)行解壓縮，將解壓縮后的差分圖像和由預(yù)測(cè)圖像生成單元生成的預(yù)測(cè)圖像進(jìn)行相加而生成局部解碼圖像；失真去除單元，實(shí)施針對(duì)由局部解碼圖像生成單元生成的局部解碼圖像的濾波處理，去除該局部解碼圖像的塊失真；以及編碼單元，對(duì)從圖像壓縮單元輸出的壓縮數(shù)據(jù)以及由編碼模式?jīng)Q定單元決定的編碼模式進(jìn)行編碼，生成復(fù)用了該壓縮數(shù)據(jù)以及編碼模式的編碼數(shù)據(jù)的比特流，失真去除單元在去除局部解碼圖像的塊失真時(shí)，與由編碼模式?jīng)Q定單元決定的編碼模式相應(yīng)地，按信號(hào)分量設(shè)定去除塊失真的濾波的強(qiáng)度。
[0025]根據(jù)本發(fā)明，構(gòu)成為具備:塊分割單元，將輸入圖像分割為成為實(shí)施預(yù)測(cè)處理時(shí)的處理單位的塊；編碼模式?jīng)Q定單元，決定針對(duì)由塊分割單元分割出的塊的編碼模式；預(yù)測(cè)圖像生成單元，依照由編碼模式?jīng)Q定單元決定的編碼模式，一邊參照已編碼塊的局部解碼圖像，一邊實(shí)施針對(duì)由塊分割單元分割出的塊的預(yù)測(cè)處理，生成預(yù)測(cè)圖像；差分圖像生成單元，生成由塊分割單元分割出的塊與由預(yù)測(cè)圖像生成單元生成的預(yù)測(cè)圖像的差分圖像；圖像壓縮單元，對(duì)由差分圖像生成單元生成的差分圖像進(jìn)行壓縮，輸出該差分圖像的壓縮數(shù)據(jù)；局部解碼圖像生成單元，對(duì)由圖像壓縮單元壓縮的差分圖像進(jìn)行解壓縮，將解壓縮后的差分圖像和由預(yù)測(cè)圖像生成單元生成的預(yù)測(cè)圖像進(jìn)行相加而生成局部解碼圖像；失真去除單元，實(shí)施針對(duì)由局部解碼圖像生成單元生成的局部解碼圖像的濾波處理，去除該局部解碼圖像的塊失真；以及編碼單元，對(duì)從圖像壓縮單元輸出的壓縮數(shù)據(jù)以及由編碼模式?jīng)Q定單元決定的編碼模式進(jìn)行編碼，生成復(fù)用了該壓縮數(shù)據(jù)以及編碼模式的編碼數(shù)據(jù)的比特流，失真去除單元在去除局部解碼圖像的塊失真時(shí)，與由編碼模式?jīng)Q定單元決定的編碼模式相應(yīng)地，按信號(hào)分量設(shè)定去除塊失真的濾波的強(qiáng)度，所以具有能夠提高塊失真的去除精度來(lái)改善編碼圖像的質(zhì)量的效果。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0026]圖1是示出本發(fā)明的實(shí)施方式I的圖像編碼裝置的結(jié)構(gòu)圖。
[0027]圖2是示出本發(fā)明的實(shí)施方式I的圖像編碼裝置的處理內(nèi)容的流程圖。
[0028]圖3是示出本發(fā)明的實(shí)施方式I的圖像解碼裝置的結(jié)構(gòu)圖。
[0029]圖4是示出本發(fā)明的實(shí)施方式I的圖像解碼裝置的處理內(nèi)容的流程圖。
[0030]圖5是示出最大大小的編碼塊被分層地分割為多個(gè)編碼塊的情況的說(shuō)明圖。
[0031]圖6 Ca)是示出分割后的分區(qū)的分布的圖，(b)是通過(guò)四叉樹(shù)圖表表示對(duì)層次分割后的分區(qū)分配編碼模式m (Bn)的狀況的說(shuō)明圖。
[0032]圖7是示出編碼塊內(nèi)的濾波應(yīng)用像素的位置的說(shuō)明圖。
[0033]圖8是示出環(huán)路濾波器部11的處理內(nèi)容的流程圖。
[0034]圖9是示出濾波強(qiáng)度的判定方法的流程圖。
[0035]圖10是示出邊緣位置與像素位置的關(guān)系的說(shuō)明圖。
[0036]圖11是示出針對(duì)垂直邊緣的濾波處理的單位的說(shuō)明圖。
[0037]圖12是示出針對(duì)水平邊緣的濾波處理的單位的說(shuō)明圖。
[0038]圖13是示出Q (亮度的qP值)與參數(shù)β、Tc的對(duì)應(yīng)關(guān)系的說(shuō)明圖。
[0039]圖14是示出由可變長(zhǎng)編碼部13生成的比特流的說(shuō)明圖。
[0040]圖15是示出編碼塊Bn的大小是Ln=kMn的例子的說(shuō)明圖。
[0041]圖16是示出非專(zhuān)利文獻(xiàn)I公開(kāi)的圖像編碼裝置的結(jié)構(gòu)圖。
[0042]代碼說(shuō)明
[0043]1:編碼控制部(編碼模式?jīng)Q定單元);2:塊分割部(塊分割單元);3:切換開(kāi)關(guān)(預(yù)測(cè)圖像生成單元);4:幀內(nèi)部預(yù)測(cè)部(預(yù)測(cè)圖像生成單元)；5:運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部(預(yù)測(cè)圖像生成單元)；6:減法部(差分圖像生成單元)；7:變換/量化部(圖像壓縮單元)；8:逆量化/逆變換部(局部解碼圖像);9:加法部(局部解碼圖像);10:幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器；11:環(huán)路濾波器部(失真去除單元)；12:運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器；13:可變長(zhǎng)編碼部(編碼單元)；21:可變長(zhǎng)解碼部(解碼單元)；22:切換開(kāi)關(guān)(預(yù)測(cè)圖像生成單元)；23:幀內(nèi)部預(yù)測(cè)部(預(yù)測(cè)圖像生成單元)；24:運(yùn)動(dòng)補(bǔ)償部(預(yù)測(cè)圖像生成單元)；25:逆量化/逆變換部(差分圖像生成單元)；26:加法部(解碼圖像生成單元);27:幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器；28:環(huán)路濾波器部(失真去除單元)；29:運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器；101:塊分割部；102:預(yù)測(cè)部；103:壓縮部；104:局部解碼部；105:加法器；106:環(huán)路濾波器；107:存儲(chǔ)器；108:可變長(zhǎng)編碼部?！揪唧w實(shí)施方式】
[0044]以下，為了更詳細(xì)地說(shuō)明本發(fā)明，依照附圖，說(shuō)明用于實(shí)施該發(fā)明的方式。
[0045]實(shí)施方式1.[0046]在該實(shí)施方式I中，說(shuō)明:圖像編碼裝置，該圖像編碼裝置輸入影像的各幀圖像，并針對(duì)通過(guò)在接近幀間實(shí)施運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)而得到的預(yù)測(cè)差分信號(hào)進(jìn)行基于正交變換、量化的壓縮處理之后，進(jìn)行可變長(zhǎng)編碼來(lái)生成比特流；和圖像解碼裝置，該圖像解碼裝置對(duì)從該圖像編碼裝置輸出的比特流進(jìn)行解碼。
[0047]該實(shí)施方式I的圖像編碼裝置的特征在于，適應(yīng)于影像信號(hào)的空間/時(shí)間方向的局部的變化，將影像信號(hào)分割為各種大小的區(qū)域來(lái)進(jìn)行幀內(nèi)/幀間自適應(yīng)編碼。
[0048]一般情況下，影像信號(hào)具有在空間/時(shí)間上信號(hào)的復(fù)雜度局部地變化的特性。在空間上觀察時(shí)，在某特定的影像幀上，既有如天空、壁等那樣的在比較寬的圖像區(qū)域中具有均勻的信號(hào)特性的圖樣，又混合存在人物、具有細(xì)致的紋理的繪畫(huà)等在小的圖像區(qū)域內(nèi)具有復(fù)雜的紋理圖案的圖樣。
[0049]在時(shí)間上觀察也是，關(guān)于天空、壁，局部上時(shí)間方向的圖樣的變化小，但關(guān)于活動(dòng)的人物、物體，其輪廓在時(shí)間上進(jìn)行剛體/非剛體的運(yùn)動(dòng)，所以時(shí)間上的變化大。
[0050]在編碼處理中，通過(guò)時(shí)間/空間上的預(yù)測(cè)而生成信號(hào)功率、熵小的預(yù)測(cè)差分信號(hào)，從而削減整體的代碼量，但如果能夠?qū)⒂糜陬A(yù)測(cè)的參數(shù)均勻地應(yīng)用于盡可能大的圖像信號(hào)區(qū)域，則能夠減小該參數(shù)的代碼量。
[0051]另一方面，如果針對(duì)時(shí)間/空間上變化大的圖像信號(hào)圖案應(yīng)用同一預(yù)測(cè)參數(shù)，則預(yù)測(cè)的錯(cuò)誤增加，所以無(wú)法削減預(yù)測(cè)差分信號(hào)的代碼量。
[0052]因此，期望如下:針對(duì)時(shí)間/空間上變化大的圖像信號(hào)圖案，減小預(yù)測(cè)對(duì)象的區(qū)域，由此雖然增加用于預(yù)測(cè)的參數(shù)的數(shù)據(jù)量，但降低預(yù)測(cè)差分信號(hào)的功率/熵。
[0053]為了進(jìn)行這樣的適合于影像信號(hào)的一般的性質(zhì)的編碼，在該實(shí)施方式I的圖像編碼裝置中，從規(guī)定的最大塊大小起分層地分割影 像信號(hào)的區(qū)域，并針對(duì)每個(gè)分割區(qū)域?qū)嵤╊A(yù)測(cè)處理、預(yù)測(cè)差分的編碼處理。
[0054]該實(shí)施方式I的圖像編碼裝置作為處理對(duì)象的影像信號(hào)除了是由亮度信號(hào)和2個(gè)色差信號(hào)構(gòu)成的YUV信號(hào)、從數(shù)字?jǐn)z像元件輸出的RGB信號(hào)等任意的顏色空間的彩色影像信號(hào)以外，還是單色圖像信號(hào)、紅外線(xiàn)圖像信號(hào)等影像幀由水平/垂直二維的數(shù)字采樣(像素)列構(gòu)成的任意的影像信號(hào)。
[0055]各像素的灰度既可以是8比特，也可以是10比特、12比特等灰度。
[0056]但是，在以下的說(shuō)明中，只要沒(méi)有特別說(shuō)明，則設(shè)為輸入的影像信號(hào)是YUV信號(hào)。而且，設(shè)為是2個(gè)色差分量U、V相對(duì)亮度分量Y被子采樣的4:2:0格式的信號(hào)。
[0057]另外，將與影像的各幀對(duì)應(yīng)的處理數(shù)據(jù)單位稱(chēng)為“圖片”，在該實(shí)施方式I中，將“圖片”作為被逐行掃描(progressive scan)的影像幀的信號(hào)而進(jìn)行說(shuō)明。但是，在影像信號(hào)是隔行掃描信號(hào)的情況下，“圖片”也可以是作為構(gòu)成影像幀的單位的場(chǎng)圖像信號(hào)。另外，在以后的說(shuō)明中，有時(shí)將空間上連續(xù)的編碼塊的群組記載為“切片”。
[0058]圖1是示出本發(fā)明的實(shí)施方式I的圖像編碼裝置的結(jié)構(gòu)圖。
[0059]在圖1中，編碼控制部I實(shí)施如下處理:決定成為實(shí)施運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理(幀間預(yù)測(cè)處理)或者幀內(nèi)部預(yù)測(cè)處理(幀內(nèi)預(yù)測(cè)處理)時(shí)的處理單位的編碼塊的最大大小，并且決定最大大小的編碼塊被分層地分割時(shí)的上限的層次數(shù)。
[0060]另外，編碼控制部I實(shí)施如下處理:從可利用的I個(gè)以上的編碼模式(I個(gè)以上的幀內(nèi)部編碼模式、I個(gè)以上的幀之間編碼模式)中，選擇適合于分層地分割的各個(gè)編碼塊的編碼模式。另外，編碼控制部I構(gòu)成了編碼模式?jīng)Q定單元。
[0061]塊分割部2實(shí)施如下處理:如果輸入了表示輸入圖像的影像信號(hào)，則將該影像信號(hào)表示的輸入圖像分割為由編碼控制部I決定的最大大小的編碼塊，并且直至達(dá)到由編碼控制部I決定的上限的層次數(shù)為止，對(duì)該編碼塊分層地進(jìn)行分割。另外，塊分割部2構(gòu)成了塊分割單兀。
[0062]切換開(kāi)關(guān)3實(shí)施如下處理:如果由編碼控制部I選擇的編碼模式是幀內(nèi)部編碼模式，則將由塊分割部2分割的編碼塊輸出到幀內(nèi)部預(yù)測(cè)部4，如果由編碼控制部I選擇的編碼模式是幀之間編碼模式，則將由塊分割部2分割的編碼塊輸出到運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5。
[0063]幀內(nèi)部預(yù)測(cè)部4實(shí)施如下處理:如果從切換開(kāi)關(guān)3接收到由塊分割部2分割的編碼塊，則一邊參照由幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器10保存的已編碼塊的局部解碼圖像(參照?qǐng)D像)，一邊使用從編碼控制部I輸出的幀內(nèi)部預(yù)測(cè)參數(shù)，實(shí)施針對(duì)該編碼塊的幀內(nèi)部預(yù)測(cè)處理，生成預(yù)測(cè)圖像。
[0064]運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5實(shí)施如下處理:如果從切換開(kāi)關(guān)3接收到由塊分割部2分割的編碼塊，則通過(guò)比較該編碼塊和由運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器12保存的已編碼塊的局部解碼圖像(參照?qǐng)D像)來(lái)實(shí)施運(yùn)動(dòng)搜索并計(jì)算運(yùn)動(dòng)矢量，使用該運(yùn)動(dòng)矢量和從編碼控制部I輸出的幀之間預(yù)測(cè)參數(shù)，實(shí)施針對(duì)該編碼塊的幀之間預(yù)測(cè)處理(運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理)，生成預(yù)測(cè)圖像。
[0065]另外，由切換開(kāi)關(guān)3、幀內(nèi)部預(yù)測(cè)部4以及運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5構(gòu)成了預(yù)測(cè)圖像生成單元。
[0066]減法部6實(shí)施如下處理:通過(guò)從由塊分割部2分割的編碼塊減去由幀內(nèi)部預(yù)測(cè)部4或者運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5生成的預(yù)測(cè)圖像，生成差分圖像(=編碼塊一預(yù)測(cè)圖像)。另外，減法部6構(gòu)成了差分圖像生成單元。
[0067]變換/量化部7實(shí)施如下處理:按照從編碼控制部I輸出的預(yù)測(cè)差分編碼參數(shù)中包含的變換塊大小單位，實(shí)施由減法部6生成的差分圖像的變換處理(例如DCT (離散余弦變換)、預(yù)先對(duì)特定的學(xué)習(xí)系列進(jìn)行了基礎(chǔ)設(shè)計(jì)的KL變換等正交變換處理)，并且使用該預(yù)測(cè)差分編碼參數(shù)中包含的量化參數(shù)，對(duì)該差分圖像的變換系數(shù)進(jìn)行量化，從而將量化后的變換系數(shù)作為差分圖像的壓縮數(shù)據(jù)輸出。另外，變換/量化部7構(gòu)成了圖像壓縮單元。
[0068]逆量化/逆變換部8實(shí)施如下處理:使用從編碼控制部I輸出的預(yù)測(cè)差分編碼參數(shù)中包含的量化參數(shù)，對(duì)從變換/量化部7輸出的壓縮數(shù)據(jù)進(jìn)行逆量化，按照該預(yù)測(cè)差分編碼參數(shù)中包含的變換塊大小單位，實(shí)施逆量化后的壓縮數(shù)據(jù)的逆變換處理(例如逆DCT (逆離散余弦變換)、逆KL變換等逆變換處理)，從而將逆變換處理后的壓縮數(shù)據(jù)作為局部解碼預(yù)測(cè)差分信號(hào)(表示解壓縮后的差分圖像的數(shù)據(jù))輸出。
[0069]加法部9實(shí)施如下處理:通過(guò)將從逆量化/逆變換部8輸出的局部解碼預(yù)測(cè)差分信號(hào)和表示由幀內(nèi)部預(yù)測(cè)部4或者運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5生成的預(yù)測(cè)圖像的預(yù)測(cè)信號(hào)進(jìn)行相力口，生成表示局部解碼圖像的局部解碼圖像信號(hào)。
[0070]另外，由逆量化/逆變換部8以及加法部9構(gòu)成了局部解碼圖像。[0071]幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器10是將由加法部9生成的局部解碼圖像信號(hào)表示的局部解碼圖像作為通過(guò)幀內(nèi)部預(yù)測(cè)部4在下次的幀內(nèi)部預(yù)測(cè)處理中使用的圖像保存的RAM等記錄介質(zhì)。
[0072]環(huán)路濾波器部11實(shí)施如下處理:通過(guò)實(shí)施針對(duì)由加法部9生成的局部解碼圖像信號(hào)的濾波處理(環(huán)路濾波處理)，去除在塊邊界中發(fā)生的失真(塊失真)。
[0073]環(huán)路濾波器部11在去除局部解碼圖像的塊失真時(shí)，與由編碼控制部I選擇的編碼模式(幀內(nèi)部編碼模式、幀之間編碼模式)相應(yīng)地，按信號(hào)分量(亮度信號(hào)分量、色差信號(hào)分量)設(shè)定去除塊失真的濾波的強(qiáng)度。
[0074]另外，環(huán)路濾波器部11構(gòu)成了失真去除單元。
[0075]運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器12是將由環(huán)路濾波器部11進(jìn)行了濾波處理后的局部解碼圖像作為通過(guò)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5在下次的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理中使用的參照?qǐng)D像保存的RAM等記錄介質(zhì)。
[0076]可變長(zhǎng)編碼部13實(shí)施如下處理:對(duì)從變換/量化部7輸出的壓縮數(shù)據(jù)、從編碼控制部I輸出的編碼模式以及預(yù)測(cè)差分編碼參數(shù)、以及從幀內(nèi)部預(yù)測(cè)部4輸出的幀內(nèi)部預(yù)測(cè)參數(shù)或者從運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5輸出的幀之間預(yù)測(cè)參數(shù)(包括運(yùn)動(dòng)矢量)進(jìn)行可變長(zhǎng)編碼，生成復(fù)用了該壓縮數(shù)據(jù)、編碼模式、預(yù)測(cè)差分編碼參數(shù)、幀內(nèi)部預(yù)測(cè)參數(shù)/幀之間預(yù)測(cè)參數(shù)的編碼數(shù)據(jù)的比特流。另外，可變長(zhǎng)編碼部13構(gòu)成了編碼單元。
[0077]在圖1中，設(shè)想了作為圖像編碼裝置的構(gòu)成要素的編碼控制部1、塊分割部2、切換開(kāi)關(guān)3、幀內(nèi)部預(yù)測(cè)部4、運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5、減法部6、變換/量化部7、逆量化/逆變換部
8、加法部9、環(huán)路濾波器部11以及可變長(zhǎng)編碼部13分別由專(zhuān)用的硬件(例如安裝了 CPU的半導(dǎo)體集成電路、或者單片微型計(jì)算機(jī)等)構(gòu)成的例子，但在圖像編碼裝置由計(jì)算機(jī)構(gòu)成的情況下，也可以將描述了編碼控制部1、塊分割部2、切換開(kāi)關(guān)3、幀內(nèi)部預(yù)測(cè)部4、運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5、減法部6、變換/量化部7、逆量化/逆變換部8、加法部9、環(huán)路濾波器部11以及可變長(zhǎng)編碼部13的處理內(nèi)容的程序保存到該計(jì)算機(jī)的存儲(chǔ)器中，該計(jì)算機(jī)的CPU執(zhí)行該存儲(chǔ)器中保存的程序。
[0078]圖2是示出本發(fā)明的實(shí)施方式I的圖像編碼裝置的處理內(nèi)容的流程圖。
[0079]圖3是示出本發(fā)明的實(shí)施方式I的圖像解碼裝置的結(jié)構(gòu)圖。
[0080]在圖3中，可變長(zhǎng)解碼部21實(shí)施如下處理:從復(fù)用在比特流中的編碼數(shù)據(jù)，可變長(zhǎng)解碼出與分層地分割的各個(gè)編碼塊有關(guān)的壓縮數(shù)據(jù)、編碼模式、預(yù)測(cè)差分編碼參數(shù)、幀內(nèi)部預(yù)測(cè)參數(shù)/幀之間預(yù)測(cè)參數(shù)(包括運(yùn)動(dòng)矢量)，將該壓縮數(shù)據(jù)以及預(yù)測(cè)差分編碼參數(shù)輸出到逆量化/逆變換部25，并且將該編碼模式以及幀內(nèi)部預(yù)測(cè)參數(shù)/幀之間預(yù)測(cè)參數(shù)輸出到切換開(kāi)關(guān)22，而且，將該編碼模式輸出到環(huán)路濾波器部28。另外，可變長(zhǎng)解碼部21構(gòu)成了解碼單元。
[0081]切換開(kāi)關(guān)22實(shí)施如下處理:在從可變長(zhǎng)解碼部21輸出的與編碼塊有關(guān)的編碼模式是幀內(nèi)部編碼模式的情況下，將從可變長(zhǎng)解碼部21輸出的幀內(nèi)部預(yù)測(cè)參數(shù)輸出到幀內(nèi)部預(yù)測(cè)部23，在該編碼模式是幀之間編碼模式的情況下，將從可變長(zhǎng)解碼部21輸出的幀之間預(yù)測(cè)參數(shù)輸出到運(yùn)動(dòng)補(bǔ)償部24。
[0082]幀內(nèi)部預(yù)測(cè)部23實(shí)施如下處理:一邊參照由幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器27保存的已解碼塊的解碼圖像(參照?qǐng)D像)，一邊使用從切換開(kāi)關(guān)22輸出的幀內(nèi)部預(yù)測(cè)參數(shù)，實(shí)施針對(duì)該編碼塊的幀內(nèi)部預(yù)測(cè)處理，生成預(yù)測(cè)圖像。
[0083]運(yùn)動(dòng)補(bǔ)償部24實(shí)施如下處理:使用從切換開(kāi)關(guān)22輸出的幀之間預(yù)測(cè)參數(shù)中包含的運(yùn)動(dòng)矢量和由運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器29保存的已解碼塊的解碼圖像(參照?qǐng)D像)，實(shí)施針對(duì)該編碼塊的幀之間預(yù)測(cè)處理，生成預(yù)測(cè)圖像。
[0084]另外，由切換開(kāi)關(guān)22、幀內(nèi)部預(yù)測(cè)部23以及運(yùn)動(dòng)補(bǔ)償部24構(gòu)成了預(yù)測(cè)圖像生成單
J Li ο
[0085]逆量化/逆變換部25實(shí)施如下處理:使用從可變長(zhǎng)解碼部21輸出的預(yù)測(cè)差分編碼參數(shù)中包含的量化參數(shù)，對(duì)從可變長(zhǎng)解碼部21輸出的壓縮數(shù)據(jù)進(jìn)行逆量化，按照該預(yù)測(cè)差分編碼參數(shù)中包含的變換塊大小單位，實(shí)施逆量化后的壓縮數(shù)據(jù)的逆變換處理(例如逆DCT (逆離散余弦變換)、逆KL變換等逆變換處理)，從而將逆變換處理后的壓縮數(shù)據(jù)作為解碼預(yù)測(cè)差分信號(hào)(表示壓縮前的差分圖像的信號(hào))輸出。另外，逆量化/逆變換部25構(gòu)成了差分圖像生成單元。
[0086]加法部26實(shí)施如下處理:通過(guò)將從逆量化/逆變換部25輸出的解碼預(yù)測(cè)差分信號(hào)和表示由幀內(nèi)部預(yù)測(cè)部23或者運(yùn)動(dòng)補(bǔ)償部24生成的預(yù)測(cè)圖像的預(yù)測(cè)信號(hào)進(jìn)行相加，生成表示解碼圖像的解碼圖像信號(hào)。另外，加法部26構(gòu)成了解碼圖像生成單元。
[0087]幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器27是將由加法部26生成的解碼圖像信號(hào)表示的解碼圖像作為通過(guò)幀內(nèi)部預(yù)測(cè)部23在下次的幀內(nèi)部預(yù)測(cè)處理中使用的圖像保存的RAM等記錄介質(zhì)。
[0088]環(huán)路濾波器部28實(shí)施如下處理:通過(guò)實(shí)施針對(duì)由加法部26生成的解碼圖像信號(hào)的濾波處理(環(huán)路濾波處理)，來(lái)去除在塊邊界中發(fā)生的失真(塊失真)。
[0089]環(huán)路濾波器部28在去除解碼圖像的塊失真時(shí)，與從可變長(zhǎng)解碼部21輸出的編碼模式(幀內(nèi)部編碼模式、幀之間編碼模式)相應(yīng)地，按信號(hào)分量(亮度信號(hào)分量、色差信號(hào)分量)設(shè)定去除塊失真的濾波的強(qiáng)度。
[0090]另外，環(huán)路濾波器部28構(gòu)成了失真去除單元。
[0091]運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器29是將由環(huán)路濾波器部28執(zhí)行了濾波處理后的解碼圖像作為通過(guò)運(yùn)動(dòng)補(bǔ)償部24在下次的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理中使用的參照?qǐng)D像保存的RAM等記錄介質(zhì)。
[0092]在圖3中，設(shè)想了作為圖像解碼裝置的構(gòu)成要素的可變長(zhǎng)解碼部21、切換開(kāi)關(guān)22、幀內(nèi)部預(yù)測(cè)部23、運(yùn)動(dòng)補(bǔ)償部24、逆量化/逆變換部25、加法部26以及環(huán)路濾波器部28分別由專(zhuān)用的硬件(例如安裝了 CPU的半導(dǎo)體集成電路、或者單片微型計(jì)算機(jī)等)構(gòu)成的例子，但在圖像解碼裝置由計(jì)算機(jī)構(gòu)成的情況下，也可以將描述了可變長(zhǎng)解碼部21、切換開(kāi)關(guān)
22、幀內(nèi)部預(yù)測(cè)部23、運(yùn)動(dòng)補(bǔ)償部24、逆量化/逆變換部25、加法部26以及環(huán)路濾波器部28的處理內(nèi)容的程序保存到該計(jì)算機(jī)的存儲(chǔ)器中，該計(jì)算機(jī)的CPU執(zhí)行該存儲(chǔ)器中保存的程序。
[0093]圖4是示出本發(fā)明的實(shí)施方式I的圖像解碼裝置的處理內(nèi)容的流程圖。
[0094]接下來(lái)，說(shuō)明動(dòng)作。
[0095]最初，說(shuō)明圖1的圖像編碼裝置的處理內(nèi)容。
[0096]首先，編碼控制部I決定成為實(shí)施運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理(幀間預(yù)測(cè)處理)或者幀內(nèi)部預(yù)測(cè)處理(幀內(nèi)預(yù)測(cè)處理)時(shí)的處理單位的編碼塊的最大大小，并且決定最大大小的編碼塊被分層地分割時(shí)的上限的層次數(shù)(圖2的步驟ST1)。[0097]作為編碼塊的最大大小的決定方法，例如考慮針對(duì)所有圖片決定為與輸入圖像的分辨率對(duì)應(yīng)的大小的方法。
[0098]另外，考慮如下方法等:將輸入圖像的局部運(yùn)動(dòng)的復(fù)雜度的差異作為參數(shù)進(jìn)行定量化，在運(yùn)動(dòng)劇烈的圖片中將最大大小決定為小的值，在運(yùn)動(dòng)少的圖片中將最大大小決定為大的值。
[0099]關(guān)于上限的層次數(shù)，例如考慮設(shè)定成為如下的方法:輸入圖像的運(yùn)動(dòng)越劇烈，使層次數(shù)越深，以能夠檢測(cè)更細(xì)的運(yùn)動(dòng)，如果輸入圖像的運(yùn)動(dòng)少，則抑制層次數(shù)。
[0100]另外，編碼控制部I從可利用的I個(gè)以上的編碼模式(M種幀內(nèi)部編碼模式、N種幀之間編碼模式)中，選擇適合于分層地分割的各個(gè)編碼塊的編碼模式(步驟ST2)。
[0101]由編碼控制部I進(jìn)行的編碼模式的選擇方法是公知的技術(shù)，所以省略詳細(xì)的說(shuō)明，但例如有如下方法等:使用可利用的任意的編碼模式，實(shí)施針對(duì)編碼塊的編碼處理來(lái)驗(yàn)證編碼效率，在可利用的多個(gè)編碼模式中，選擇編碼效率最佳的編碼模式。
[0102]在塊分割部2中，如果輸入了表示輸入圖像的影像信號(hào)，則將該影像信號(hào)表示的輸入圖像分割為由編碼控制部I決定的最大大小的編碼塊，并且直至達(dá)到由編碼控制部I決定的上限的層次數(shù)為止，對(duì)該編碼塊分層地進(jìn)行分割(步驟ST3)。
[0103]此處，圖5是示出最大大小的編碼塊被分層地分割為多個(gè)編碼塊的情況的說(shuō)明圖。
[0104]在圖5的例子中，最大大小的編碼塊是第O層次的編碼塊B°，在亮度分量上具有(L°,M°)的大小。
[0105]另外，在圖5的例子中，以最大大小的編碼塊B°為出發(fā)點(diǎn)，通過(guò)四叉樹(shù)構(gòu)造，分層地進(jìn)行分割直至另行決定的規(guī)定的深度為止，從而得到編碼塊Bn。
[0106]在深度η下，編碼塊Bn是大小為(Ln，Mn)的圖像區(qū)域。
[0107]其中，Ln和Mn既可以相同也可以不同，但在圖5的例子中示出了 Ln=Mn的情形。
[0108]以后，將編碼塊Bn的大小定義為編碼塊Bn的亮度分量中的大小(Ln，Mn)。
[0109]塊分割部2進(jìn)行四叉樹(shù)分割，所以(Ln+1，Mn+1) = (Ln/2, Mn/2)始終成立。
[0110]但是，在如RGB信號(hào)等那樣所有顏色分量具有同一采樣數(shù)的彩色影像信號(hào)(4:4:4格式)中，所有顏色分量的大小為(Ln, Mn),但在處理4:2:0格式的情況下,對(duì)應(yīng)的色差分量的編碼塊的大小是(Ln/2，Mn/2)。
[0111]以后，將在第η層次的編碼塊Bn中可選擇的編碼模式記載為m (Bn)0
[0112]在由多個(gè)顏色分量構(gòu)成的彩色影像信號(hào)的情況下，編碼模式m (Bn)可以構(gòu)成為針對(duì)各顏色分量分別使用各自的模式，但以后只要沒(méi)有特別說(shuō)明，則設(shè)為指針對(duì)YUV信號(hào)4:2:0格式的編碼塊的亮度分量的編碼模式來(lái)進(jìn)行說(shuō)明。
[0113]在編碼模式m (Bn)中，有一個(gè)或者多個(gè)幀內(nèi)部編碼模式(總稱(chēng)為“INTRA”)、一個(gè)或者多個(gè)幀之間編碼模式(總稱(chēng)為“INTER”)，編碼控制部I如上所述，從在該圖片中可利用的所有編碼模式或者其子集中，選擇針對(duì)編碼塊Bn編碼效率最佳的編碼模式。
[0114]編碼塊Bn如圖5所示，被進(jìn)一步分割為一個(gè)或者多個(gè)預(yù)測(cè)處理單位(分區(qū)(partition))。
[0115]以后，將屬于編碼塊Bn的分區(qū)記載為Pi11 (1:第η層次中的分區(qū)編號(hào))。
[0116]關(guān)于屬于編碼塊Bn的分區(qū)Pi11的分割是被如何進(jìn)行的，作為信息包括在編碼模式m(Bn)中。
[0117]關(guān)于分區(qū)PA全部依照編碼模式m (Bn)進(jìn)行預(yù)測(cè)處理，但能夠針對(duì)每個(gè)分區(qū)PA選擇各自的預(yù)測(cè)參數(shù)。
[0118]編碼控制部I針對(duì)最大大小的編碼塊，例如生成圖6所示那樣的塊分割狀態(tài)，確定編碼塊Bn。[0119]圖6 (a)的畫(huà)網(wǎng)線(xiàn)的部分表示分割后的分區(qū)的分布，而且，在圖6 (b)中通過(guò)四叉樹(shù)圖表表示對(duì)層次分割后的分區(qū)分配編碼模式m (Bn)的狀況。
[0120]在圖6 (b)中，用□包圍的節(jié)點(diǎn)表示被分配了編碼模式m (Bn)的節(jié)點(diǎn)(編碼塊^)。
[0121]當(dāng)編碼控制部I針對(duì)各個(gè)編碼塊Bn的分區(qū)Pi11選擇最佳的編碼模式m (Bn)時(shí)，如果該編碼模式m (Bn)是幀內(nèi)部編碼模式(步驟ST4)，則切換開(kāi)關(guān)3將由塊分割部2分割的編碼塊Bn的分區(qū)Pi11輸出到幀內(nèi)部預(yù)測(cè)部4。
[0122]另一方面，如果該編碼模式m (Bn)是幀之間編碼模式(步驟ST4)，則將由塊分割部2分割的編碼塊Bn的分區(qū)Pi11輸出到運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5。
[0123]幀內(nèi)部預(yù)測(cè)部4如果從切換開(kāi)關(guān)3接收到編碼塊Bn的分區(qū)ΡΛ則一邊參照由幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器10保存的已編碼塊的局部解碼圖像，一邊使用與由編碼控制部I選擇的編碼模式m (Bn)對(duì)應(yīng)的幀內(nèi)部預(yù)測(cè)參數(shù)，實(shí)施針對(duì)該編碼塊Bn的分區(qū)Pin的幀內(nèi)部預(yù)測(cè)處理，生成幀內(nèi)部預(yù)測(cè)圖像Pin (步驟ST5)。
[0124]幀內(nèi)部預(yù)測(cè)部4如果生成了幀內(nèi)部預(yù)測(cè)圖像PA則將該幀內(nèi)部預(yù)測(cè)圖像Pi11輸出到減法部6以及加法部9，但為了使得在圖3的圖像解碼裝置中也能夠生成相同的幀內(nèi)部預(yù)測(cè)圖像PA將該幀內(nèi)部預(yù)測(cè)參數(shù)輸出到可變長(zhǎng)編碼部13。
[0125]另外，幀內(nèi)部預(yù)測(cè)部4的幀內(nèi)部預(yù)測(cè)處理依照例如AVC/H.264標(biāo)準(zhǔn)(ISO/IEC14496-10)中制定的算法，但不限于該算法。
[0126]運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5如果從切換開(kāi)關(guān)3接收到編碼塊Bn的分區(qū)ΡΛ則通過(guò)比較該編碼塊Bn的分區(qū)Pi11和由運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器12保存的已編碼塊的局部解碼圖像來(lái)實(shí)施運(yùn)動(dòng)搜索并計(jì)算運(yùn)動(dòng)矢量，使用該運(yùn)動(dòng)矢量和從編碼控制部I輸出的幀之間預(yù)測(cè)參數(shù)，實(shí)施針對(duì)該編碼塊的幀之間預(yù)測(cè)處理，生成幀之間預(yù)測(cè)圖像Pi11 (步驟ST6)。
[0127]運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5如果生成了幀之間預(yù)測(cè)圖像ΡΛ則將該幀之間預(yù)測(cè)圖像Pi11輸出到減法部6以及加法部9，但為了使得在圖3的圖像解碼裝置中也能夠生成相同的幀之間預(yù)測(cè)圖像PA將該幀之間預(yù)測(cè)參數(shù)輸出到可變長(zhǎng)編碼部13。
[0128]另外，在幀之間預(yù)測(cè)參數(shù)中，包括下述信息。
[0129](I)描述了編碼塊Bn內(nèi)的分區(qū)Pi11的分割狀況的模式信息
[0130](2)分區(qū)Pi11的運(yùn)動(dòng)矢量
[0131](3)在由運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器12保存了多個(gè)局部解碼圖像(參照?qǐng)D像)的情況下，表示使用哪一個(gè)參照?qǐng)D像來(lái)實(shí)施幀之間預(yù)測(cè)處理的參照?qǐng)D像的指示索引信息
[0132](4)在有多個(gè)運(yùn)動(dòng)矢量的預(yù)測(cè)值候補(bǔ)的情況下，表示選擇哪一個(gè)運(yùn)動(dòng)矢量的預(yù)測(cè)值來(lái)使用的索引信息
[0133](5)在有多個(gè)運(yùn)動(dòng)補(bǔ)償內(nèi)插濾波器的情況下，表示選擇哪一個(gè)濾波器來(lái)使用的索引信息
[0134](6)在分區(qū)Pi11的運(yùn)動(dòng)矢量能夠表示多個(gè)像素精度(半像素、1/4像素、1/8像素等)的情況下，表示使用哪一個(gè)像素精度的選擇信息
[0135]如果幀內(nèi)部預(yù)測(cè)部4或者運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5生成了預(yù)測(cè)圖像(幀內(nèi)部預(yù)測(cè)圖像ΡΛ幀之間預(yù)測(cè)圖像PinX則減法部6從由塊分割部2分割的編碼塊Bn的分區(qū)ΡΛ減去由幀內(nèi)部預(yù)測(cè)部4或者運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5生成的預(yù)測(cè)圖像(幀內(nèi)部預(yù)測(cè)圖像PA幀之間預(yù)測(cè)圖像PinX從而生成差分圖像，將表示該差分圖像的預(yù)測(cè)差分信號(hào)ein輸出到變換/量化部7 (步驟 ST7)。
[0136]變換/量化部7如果從減法部6接收到表示差分圖像的預(yù)測(cè)差分信號(hào)θΛ則按照從編碼控制部I輸出的預(yù)測(cè)差分編碼參數(shù)中包含的變換塊大小單位，實(shí)施該差分圖像的變換處理(例如DCT (離散余弦變換)、預(yù)先對(duì)特定的學(xué)習(xí)系列進(jìn)行了基礎(chǔ)設(shè)計(jì)的KL變換等正交變換處理)，并且使用該預(yù)測(cè)差分編碼參數(shù)中包含的量化參數(shù)，對(duì)該差分圖像的變換系數(shù)進(jìn)行量化，從而將量化后的變換系數(shù)作為差分圖像的壓縮數(shù)據(jù)輸出到逆量化/逆變換部8以及可變長(zhǎng)編碼部13 (步驟ST8)。
[0137]逆量化/逆變換部8如果從變換/量化部7接收到差分圖像的壓縮數(shù)據(jù)，則使用從編碼控制部I輸出的預(yù)測(cè)差分編碼參數(shù)中包含的量化參數(shù)，對(duì)該差分圖像的壓縮數(shù)據(jù)進(jìn)行逆量化，按照該預(yù)測(cè)差分編碼參數(shù)中包含的變換塊大小單位，實(shí)施逆量化后的壓縮數(shù)據(jù)的逆變換處理(例如逆DCT (逆離散余弦變換)、逆KL變換等逆變換處理)，從而將逆變換處理后的壓縮數(shù)據(jù)作為局部解碼預(yù)測(cè)差分信號(hào)輸出到加法部9 (步驟ST9)。
[0138]加法部9如果從逆量化/逆變換部8接收到局部解碼預(yù)測(cè)差分信號(hào)，則將該局部解碼預(yù)測(cè)差分信號(hào)、和表示由幀內(nèi)部預(yù)測(cè)部4或者運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5生成的預(yù)測(cè)圖像(幀內(nèi)部預(yù)測(cè)圖像ΡΛ幀之間預(yù)測(cè)圖像Pi11)的預(yù)測(cè)信號(hào)進(jìn)行相加，從而生成局部解碼分區(qū)圖像、或者作為其集合的局部解碼編碼塊圖像即局部解碼圖像(步驟ST10)。
[0139]在加法部9中，如果生成了局部解碼圖像，則將表示該局部解碼圖像的局部解碼圖像信號(hào)保存到幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器10中，并且將該局部解碼圖像信號(hào)輸出到環(huán)路濾波器部11。
[0140]環(huán)路濾波器部11如果從加法部9接收到局部解碼圖像信號(hào)，則實(shí)施針對(duì)該局部解碼圖像信號(hào)的濾波處理，從而去除在塊邊界中發(fā)生的失真(塊失真)(步驟ST11)。
[0141]環(huán)路濾波器部11中的處理內(nèi)容的詳細(xì)內(nèi)容后述，但在去除局部解碼圖像的塊失真時(shí)，與由編碼控制部I選擇的編碼模式(巾貞內(nèi)部編碼模式、巾貞之間編碼模式)相應(yīng)地，按信號(hào)分量(亮度信號(hào)分量、色差信號(hào)分量)設(shè)定去除塊失真的濾波的強(qiáng)度。
[0142]另外，關(guān)于環(huán)路濾波器部11的濾波處理，既可以按照從加法部9輸出的局部解碼圖像信號(hào)的最大編碼塊或者各個(gè)編碼塊單位進(jìn)行，也可以在輸出了與I個(gè)畫(huà)面量的宏塊相當(dāng)?shù)木植拷獯a圖像信號(hào)之后集中I個(gè)畫(huà)面量來(lái)進(jìn)行。
[0143]反復(fù)實(shí)施步驟ST4?STlO的處理直至針對(duì)被分層地分割的所有編碼塊Bn的處理完成為止，如果針對(duì)所有編碼塊Bn的處理完成，則轉(zhuǎn)移到步驟ST13的處理(步驟ST12)。
[0144]可變長(zhǎng)編碼部13對(duì)從變換/量化部7輸出的壓縮數(shù)據(jù)、從編碼控制部I輸出的編碼模式(包括表示編碼塊的分割狀態(tài)的信息)以及預(yù)測(cè)差分編碼參數(shù)、以及從幀內(nèi)部預(yù)測(cè)部4輸出的幀內(nèi)部預(yù)測(cè)參數(shù)或者從運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5輸出的幀之間預(yù)測(cè)參數(shù)(包括運(yùn)動(dòng)矢量)進(jìn)行熵編碼。
[0145]可變長(zhǎng)編碼部13復(fù)用作為熵編碼的編碼結(jié)果的壓縮數(shù)據(jù)、編碼模式、預(yù)測(cè)差分編碼參數(shù)、幀內(nèi)部預(yù)測(cè)參數(shù)/幀之間預(yù)測(cè)參數(shù)的編碼數(shù)據(jù)來(lái)生成比特流(步驟ST13)。
[0146]以下，具體說(shuō)明環(huán)路濾波器部11的濾波處理。
[0147]環(huán)路濾波器部11是使在作為上述預(yù)測(cè)處理單位的分區(qū)與變換塊的邊界中發(fā)生的塊噪聲降低的非線(xiàn)性平滑化濾波器。
[0148]圖7是示出編碼塊內(nèi)的濾波應(yīng)用像素的位置的說(shuō)明圖。
[0149]在圖7中，垂直邊緣以及水平邊緣、和分區(qū)或者變換塊的塊邊界重疊的位置成為濾波處理的對(duì)象。
[0150]在圖7中，用KXK像素柵格表示垂直邊緣以及水平邊緣。K的值既可以確定為固定值，也可以根據(jù)編碼塊的最大大小、分區(qū)/變換塊的最大大小等設(shè)定。
[0151]圖8是示出環(huán)路濾波器部11的處理內(nèi)容的流程圖。
[0152]針對(duì)每個(gè)編碼塊執(zhí)行環(huán)路濾波器部11的濾波處理。
[0153]首先，環(huán)路濾波器部11判定垂直邊緣以及水平邊緣是否與分區(qū)或者變換塊的邊界一致(步驟ST41)。
[0154]在存在與分區(qū)或者變換塊的邊界一致的垂直邊緣或者水平邊緣的情況下，環(huán)路濾波器部11進(jìn)行與邊界一致的部位的濾波強(qiáng)度判定(步驟ST42、ST43)。濾波強(qiáng)度的判定方法將后述。
[0155]在環(huán)路濾波器部11中，如果進(jìn)行了濾波強(qiáng)度判定，則根據(jù)該濾波強(qiáng)度的判定結(jié)果、實(shí)際上成為濾波處理的對(duì)象的像素值的變化量，一邊變更最終的濾波的強(qiáng)度一邊進(jìn)行濾波處理(步驟ST44、ST45)。濾波處理的方法將后述。
[0156]環(huán)路濾波器部11反復(fù)實(shí)施步驟ST41?45的處理直至針對(duì)圖片內(nèi)的所有編碼塊的處理完成為止(步驟ST46)。
[0157]另外，設(shè)為在切片頭中復(fù)用是否對(duì)切片內(nèi)的所有編碼塊進(jìn)行本環(huán)路濾波的處理的識(shí)別信息，圖像編碼裝置構(gòu)成為根據(jù)狀況決定該識(shí)別信息的值并傳送到圖像解碼裝置。
[0158]接下來(lái)，說(shuō)明環(huán)路濾波器部11的濾波強(qiáng)度的判定處理。
[0159]圖9是示出濾波強(qiáng)度的判定方法的流程圖。
[0160]環(huán)路濾波器部11針對(duì)與垂直邊緣和水平邊緣鄰接的所有像素，按照下述條件求出濾波強(qiáng)度bS (步驟ST51)。
[0161]以下的說(shuō)明中，用Pi (i=0,1,2,3)、q」(j=0,1, 2, 3)的記號(hào)表示了邊緣附近的像素，但邊緣位置和像素位置的關(guān)系如圖10那樣定義。
[0162]在編碼塊中，包括亮度信號(hào)分量的塊和色差信號(hào)分量的塊，但在環(huán)路濾波器部11中，按照以下的條件，進(jìn)行濾波強(qiáng)度的判定。
[0163](I)濾波處理對(duì)象的編碼塊的編碼模式是幀內(nèi)部編碼模式、還是幀之間編碼模式
[0164](2)進(jìn)行濾波處理的信號(hào)分量是亮度信號(hào)分量、還是色差信號(hào)分量
[0165](3)在包括濾波處理對(duì)象的像素的變換塊內(nèi)，是否包括非零的變換系數(shù)
[0166](4)包括濾波處理對(duì)象的像素的分區(qū)中的運(yùn)動(dòng)參數(shù)的狀態(tài)
[0167]環(huán)路濾波器部11通過(guò)以下的過(guò)程進(jìn)行濾波強(qiáng)度的判定。
[0168](過(guò)程I)
[0169]在是位于編碼塊的邊界的邊緣、且包括Ptl的編碼塊或者包括Qtl的編碼塊的編碼模式是“幀內(nèi)部編碼模式”的情況下，決定為如下:[0170]處理對(duì)象信號(hào)分量為亮度信號(hào)分量一bS=2
[0171]處理對(duì)象信號(hào)分量為色差信號(hào)分量一bS=4。
[0172](過(guò)程2)
[0173]在不符合過(guò)程I中的條件的情況下，
[0174]在包括P(l的編碼塊、或者包括％的編碼塊的編碼模式是“幀內(nèi)部編碼模式”的情況下，決定為如下:
[0175]處理對(duì)象信號(hào)分量為亮度信號(hào)分量一bS=l
[0176]處理對(duì)象信號(hào)分量為色差信號(hào)分量一bS=3。
[0177](過(guò)程3)
[0178]在不符合過(guò)程1、2中的條件的情況下，
[0179]在Ptl或者q(l屬于具有非零正交變換系數(shù)的變換塊的情況下，決定為如下:
[0180]處理對(duì)象信號(hào)分量為亮度信號(hào)分量一bS=2
[0181]處理對(duì)象信號(hào)分量為色差信號(hào)分量一bS=2。
[0182](過(guò)程4)
[0183]在不符合過(guò)程I?3中的條件的情況下，在滿(mǎn)足以下的任一條件的情況下，決定為如下:
[0184]處理對(duì)象信號(hào)分量為亮度信號(hào)分量一bS=l
[0185]處理對(duì)象信號(hào)分量為色差信號(hào)分量一bS=l。
[0186][條件]
[0187].包括P(l的分區(qū)和包括Citl的分區(qū)具有不同的參照?qǐng)D片、或者具有不同數(shù)量的運(yùn)動(dòng)
矢量
[0188].在包括Ptl的分區(qū)和包括％的分區(qū)中，分別使用I個(gè)運(yùn)動(dòng)矢量，雙方的運(yùn)動(dòng)矢量的水平分量或者垂直分量的差分絕對(duì)值在1/4像素精度下是4以上
[0189].在包括Ptl的分區(qū)和包括的分區(qū)中，分別使用2個(gè)運(yùn)動(dòng)矢量，在指相同的參照?qǐng)D片的運(yùn)動(dòng)矢量對(duì)(P。中的運(yùn)動(dòng)矢量、和qd中的運(yùn)動(dòng)矢量的對(duì))的至少I(mǎi)組中，雙方的運(yùn)動(dòng)矢量的水平分量或者垂直分量的差分絕對(duì)值在1/4像素精度下是4以上
[0190](過(guò)程5)
[0191]在不符合過(guò)程I?4中的條件的情況下(分區(qū)/變換塊的邊界以外的邊緣也符合本條件)，決定為如下:
[0192]處理對(duì)象信號(hào)分量為亮度信號(hào)分量一bS=0
[0193]處理對(duì)象信號(hào)分量為色差信號(hào)分量一bS=0。
[0194]在處理對(duì)象的編碼塊的編碼模式是幀內(nèi)部編碼模式的情況下，相比于利用幀之間預(yù)測(cè)的幀間預(yù)測(cè)的情況，亮度信號(hào)和色差信號(hào)的預(yù)測(cè)殘差功率都大，被量化的變換系數(shù)的分布針對(duì)每個(gè)信號(hào)分量大幅不同的概率變高。
[0195]塊失真的程度受到由于量化而有效的變換系數(shù)主觀上會(huì)消失多少的影響，因此特別是在幀內(nèi)部編碼中，優(yōu)選能夠通過(guò)亮度和色差來(lái)調(diào)整作為測(cè)量塊失真的程度的尺度的濾波強(qiáng)度的值。
[0196]在以往的環(huán)路濾波器106 (參照?qǐng)D16)中，色差信號(hào)分量的濾波強(qiáng)度始終被設(shè)定為與亮度信號(hào)分量的濾波強(qiáng)度相同的值，但在該實(shí)施方式I中，根據(jù)條件按信號(hào)分量(亮度信號(hào)分量、色差信號(hào)分量)設(shè)定了濾波強(qiáng)度，所以得到比以往更有助于畫(huà)質(zhì)的改善的濾波強(qiáng)度。
[0197]在環(huán)路濾波器部11中，如果進(jìn)行了濾波強(qiáng)度判定，則根據(jù)濾波強(qiáng)度的判定結(jié)果，按照垂直邊緣、水平邊緣的順序進(jìn)行濾波處理。
[0198]首先，環(huán)路濾波器部11針對(duì)垂直邊緣，針對(duì)每K行求出濾波強(qiáng)度bS的最大值，將該最大值設(shè)為bSVer。
[0199]環(huán)路濾波器部11根據(jù)最大值bSVer，進(jìn)行針對(duì)該K行的邊緣附近像素的濾波處理。
[0200]圖11是示出針對(duì)垂直邊緣的濾波處理的單位的說(shuō)明圖。以垂直邊緣為中心的KXK像素成為相同的bSVer。對(duì)各像素應(yīng)用的最終的濾波強(qiáng)度bS是由最大值bSVer和各像素位置處的像素值的變化量來(lái)決定的。
[0201]圖12示出針對(duì)水平邊緣的濾波處理的單位。除了處理的方向從垂直變化為水平以外，與垂直邊緣相同。
[0202]以下，說(shuō)明針對(duì)處理對(duì)象像素的濾波處理。
[0203]環(huán)路濾波器部11針對(duì)亮度信號(hào)分量的垂直邊緣方向，按照以下的過(guò)程進(jìn)行濾波處理。針對(duì)亮度信號(hào)分量的水平邊緣方向的濾波處理也是相同的過(guò)程，但代替最大值bSVer,使用針對(duì)水平邊緣的每K行的濾波強(qiáng)度bS的最大值bSHor。
[0204][a]bSVer=0 的情況
[0205]不進(jìn)行濾波處理。
[0206][b] bSVer = 2 的情況
[0207](1)在圖13中，求出設(shè)為Q=(亮度的qP值)時(shí)的參數(shù)β、Tc。
[0208]圖13是示出Q (亮度的qP值)與參數(shù)β、Tc的對(duì)應(yīng)關(guān)系的說(shuō)明圖。
[0209](2)求出 d= ρ2-2*ρ!+ρ01 +1 α2-2*α!+α01 +1ρ2-2*ρ!+ρ01 +1 α2-2*α!+α01,
[0210]根據(jù)以下的條件，進(jìn)行濾波運(yùn)算。
[0211]?在d小于(β >> 2),并且 IP3-Pc^Iqcrq3I 小于(β >> 2),并且 |pQ-qQ| 小于((5*tc+l)) >> I)的情況下，
[0212]p0，= CliplY((p2+2*p1+2*p0+2*q0+q1+4) >>3)
[0213]P1，= CliplY((p2+p1+p0+q0+2) >>2)
[0214]p2，= CliplY((2*p3+3*p2+p1+p0+q0+4) >>3)
[0215]q0’ = Cl ip 1r ((P1+2*p0+2*q0+2>l<q1+q2+4) >>3)
[0216]q/ = CliplY((p0+q0+q1+q2+2) >>2)
[0217]q2，= CliplY((p0+q0+q1+3*q2+2*q3+4) >>3)
[0218]?在其他情況下，
[0219]Δ = Clip3 (_tc, tc, (13* (q0-p0)+4* Cq1-P1) _5* (q2_p0)+16) >>5)
[0220]p0f = Cliply (ρ0+Δ)
[0221]q0，=CliplY(q0-A)
[0222]p/ = CliplY(p1+A/2)
[0223]q/ = CliplY(q1-A/2)
[0224](3)將所求出的pQ’~p2’、qQ’~q2’置換為Ptl~p2、qQ~q2的各像素值,將置換后的圖像作為解碼圖像，輸出到后級(jí)的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器12。[0225][c]bSVer>2 的情況
[0226]在圖13中，求出設(shè)為Q=(亮度的qP值)時(shí)的參數(shù)β、和設(shè)為Q=(亮度的qP值+4)時(shí)的參數(shù)Tc。以后的處理與bSVer ^ 2的情況相同。
[0227]環(huán)路濾波器部11針對(duì)色差信號(hào)分量的垂直邊緣方向，按照以下的過(guò)程進(jìn)行濾波處理。針對(duì)色差信號(hào)分量的水平邊緣方向的濾波處理也是相同的過(guò)程，但代替最大值bSVer,使用最大值bSHor。bSVer和bSVer是用同一位置的亮度計(jì)算的值。
[0228][a]bSVer>2 的情況
[0229](I)進(jìn)行以下的濾波運(yùn)算。
[0230]Δ =Cl ip3 (-tc, tc, ((((q0-p0) <<2)+p「q1+4) >>3))
[0231]p0，= Cliplc (p0+Δ)
[0232]q0，= Cliplc (q0_A)
[0233](2)將所求出的P(l’、q(l ’置換為P(l、q(l的各像素值，將置換后的圖像作為解碼圖像，輸出到后級(jí)的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器12。
[0234][b] bSVer ^ 2 的情況
[0235]不進(jìn)行濾波處理。
[0236]圖像編碼裝置的環(huán)路`濾波器部11和圖像解碼裝置的環(huán)路濾波器部28進(jìn)行共同的處理，但也可以構(gòu)成為圖像編碼裝置的環(huán)路濾波器部11關(guān)于濾波強(qiáng)度的判定設(shè)置控制用的參數(shù)。
[0237]例如，也可以構(gòu)成為通過(guò)復(fù)用表示是否以切片等級(jí)對(duì)濾波強(qiáng)度bS的值進(jìn)行信號(hào)化(signalling)的識(shí)別信息，從而能夠針對(duì)每個(gè)切片變更濾波強(qiáng)度bS的設(shè)定值。
[0238]關(guān)于此時(shí)的變更，既可以設(shè)為僅變更亮度信號(hào)分量，而固定色差信號(hào)分量，也可以相反地構(gòu)成為能夠固定亮度信號(hào)分量，而僅變更色差信號(hào)分量。
[0239]關(guān)于設(shè)定值的信號(hào)化，既可以是值本身，也可以是將濾波強(qiáng)度bS設(shè)為默認(rèn)值的偏移值的形式。也可以將色差信號(hào)分量的濾波強(qiáng)度表現(xiàn)為亮度信號(hào)分量的濾波強(qiáng)度的偏移值。
[0240]另外，還能夠構(gòu)成為特別是將編碼模式為幀內(nèi)部編碼模式的情況下的濾波強(qiáng)度bS的設(shè)定值信號(hào)化為值本身或者偏移值。例如，環(huán)路濾波器部11能夠構(gòu)成為按照以下的過(guò)程進(jìn)行濾波強(qiáng)度的判定。
[0241]關(guān)于以幀內(nèi)部編碼模式被編碼的編碼塊，將針對(duì)亮度分量的濾波強(qiáng)度值設(shè)為bSL，將針對(duì)色差分量的濾波強(qiáng)度值設(shè)為bSC，將bSL和bSC作為圖片等級(jí)的頭、切片頭等語(yǔ)法信息復(fù)用到比特流，從而使得能夠在編碼裝置和解碼化裝置中共享。此時(shí)，
[0242](過(guò)程I)
[0243]在是位于編碼塊的邊界的邊緣、且包括po的編碼塊或者包括qo的編碼塊的編碼模式是“幀內(nèi)部編碼模式”的情況下，決定為如下:
[0244]處理對(duì)象信號(hào)分量為亮度信號(hào)分量一bS=max (4 — bSL、0)
[0245]處理對(duì)象信號(hào)分量為色差信號(hào)分量一bS=max (4 — bSC、0)
[0246]此處，max (A，B)是輸出A和B中的大的一方的值的函數(shù)。
[0247](過(guò)程2)
[0248]在不符合過(guò)程I中的條件的情況下，[0249]在包括po的編碼塊或者包括qo的編碼塊的編碼模式是“幀內(nèi)部編碼模式”的情況下，決定為如下:
[0250]處理對(duì)象信號(hào)分量為亮度信號(hào)分量一bS=max (3 — bSL、0)
[0251]處理對(duì)象信號(hào)分量為色差信號(hào)分量一bS=max (3 — bSC、0)。
[0252]在編碼模式是幀內(nèi)部編碼模式的情況下，存在如下情況:在壓縮處理過(guò)程中運(yùn)動(dòng)預(yù)測(cè)無(wú)法有效地發(fā)揮功能，不得已而進(jìn)行幀內(nèi)部編碼的情況；以及以錯(cuò)誤抗性、隨機(jī)訪(fǎng)問(wèn)的觀點(diǎn)周期性地、有意圖地使幀內(nèi)部編碼發(fā)生的情況。
[0253]在不得已而進(jìn)行幀內(nèi)部編碼的情況下，失真會(huì)與編碼的難易度對(duì)應(yīng)地重疊，相對(duì)于此，在周期性地、有意圖地使幀內(nèi)部編碼發(fā)生的情況下，由于不直接與編碼的難易度相關(guān)地使用幀內(nèi)部編碼，所以各個(gè)塊失真的發(fā)生方式產(chǎn)生差異。
[0254]在以往的環(huán)路濾波器中，沒(méi)有判別上述情況來(lái)控制濾波強(qiáng)度的手段。
[0255]由于按照切片、圖片的單位執(zhí)行周期幀內(nèi)部插入，所以通過(guò)按照這些單位根據(jù)用途控制濾波強(qiáng)度，從而能夠更良好地抑制塊失真。
[0256]另外，相反地，也可以構(gòu)成為對(duì)編碼模式為幀之間編碼模式的情況下的濾波強(qiáng)度bS的設(shè)定值進(jìn)行信號(hào)化。
[0257]此處，圖14是示出由可變長(zhǎng)編碼部13生成的比特流的說(shuō)明圖。
[0258]在圖14的例子中，示出了切片編碼數(shù)據(jù)由切片頭、和接著該切片頭的與切片內(nèi)的個(gè)數(shù)相當(dāng)?shù)淖畲缶幋a塊編碼數(shù)據(jù)構(gòu)成的情況。
[0259]各最大編碼塊編碼數(shù)據(jù)包括編碼模式。雖然未圖示，但在最大編碼塊編碼數(shù)據(jù)中，針對(duì)每個(gè)編碼塊，包括分區(qū)單位的運(yùn)動(dòng)矢量等預(yù)測(cè)參數(shù)、變換塊大小等預(yù)測(cè)差分編碼參數(shù)、預(yù)測(cè)差分編碼數(shù)據(jù)(已量化變換系數(shù))。
[0260]在切片頭中，包括:環(huán)路濾波0N/0FF標(biāo)志，該環(huán)路濾波0N/0FF標(biāo)志為是否對(duì)切片內(nèi)的所有編碼塊進(jìn)行本環(huán)路濾波的處理的識(shí)別信息；濾波強(qiáng)度信息復(fù)用標(biāo)志，該濾波強(qiáng)度信息復(fù)用標(biāo)志為表示是否對(duì)濾波強(qiáng)度bS的設(shè)定值進(jìn)行信號(hào)化的標(biāo)志；濾波強(qiáng)度信息，在濾波強(qiáng)度信息復(fù)用標(biāo)志是“ I”的情況下復(fù)用該濾波強(qiáng)度信息。
[0261]濾波強(qiáng)度信息復(fù)用標(biāo)志以及濾波強(qiáng)度信息也可以構(gòu)成為復(fù)用到按照?qǐng)D片、序列、GOP (Group Of Pictures,圖片組)等單位定義的頭信息區(qū)域中。
[0262]接下來(lái)，說(shuō)明圖3的圖像解碼裝置的處理內(nèi)容。
[0263]可變長(zhǎng)解碼部21如果輸入了從圖1的圖像編碼裝置輸出的比特流，則實(shí)施針對(duì)該比特流的可變長(zhǎng)解碼處理(圖4的步驟ST21)，解碼出按照由I幀以上的圖片構(gòu)成的序列單位或者圖片單位規(guī)定圖片大小(水平像素?cái)?shù)/垂直行數(shù))的信息。
[0264]可變長(zhǎng)解碼部21按照與圖1的編碼控制部I同樣的過(guò)程，決定成為實(shí)施運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理(幀間預(yù)測(cè)處理)或者幀內(nèi)部預(yù)測(cè)處理(幀內(nèi)預(yù)測(cè)處理)時(shí)的處理單位的編碼塊的最大大小，并且決定最大大小的編碼塊被分層地分割時(shí)的上限的層次數(shù)(步驟ST22)。
[0265]例如，在圖像編碼裝置中根據(jù)輸入圖像的分辨率決定了編碼塊的最大大小的情況下，根據(jù)之前解碼出的幀大小決定編碼塊的最大大小。
[0266]另外，在比特流中復(fù)用有表示編碼塊的最大大小以及上限的層次數(shù)的信息的情況下，參照從該比特流解碼出的信息。
[0267]在比特流的結(jié)構(gòu)是圖14的結(jié)構(gòu)的情況下，可變長(zhǎng)解碼部21在最大編碼塊等級(jí)的解碼之前，從切片頭解碼出環(huán)路濾波ΟΝ/OFF標(biāo)志。
[0268]在比特流上復(fù)用的最大大小的編碼塊…的編碼模式m (B0)中包括表示最大大小的編碼塊…的分割狀態(tài)的信息，所以可變長(zhǎng)解碼部21解碼出比特流上復(fù)用的最大大小的編碼塊Btl的編碼模式m (B°)，確定被分層地分割的各個(gè)編碼塊Bn (步驟ST23)。
[0269]在可變長(zhǎng)解碼部21中，如果確定了各個(gè)編碼塊Bn，則對(duì)該編碼塊Bn的編碼模式m(Bn)進(jìn)行解碼，根據(jù)屬于該編碼模式m (Bn)的分區(qū)Pi11的信息，確定屬于編碼塊Bn的分區(qū)ΡΛ
[0270]在可變長(zhǎng)解碼部21中，如果確定了屬于編碼塊Bn的分區(qū)ΡΛ則針對(duì)每個(gè)分區(qū)ΡΛ解碼出壓縮數(shù)據(jù)、編碼模式、預(yù)測(cè)差分編碼參數(shù)、幀內(nèi)部預(yù)測(cè)參數(shù)/幀之間預(yù)測(cè)參數(shù)(包括運(yùn)動(dòng)矢量)(步驟ST24)。
[0271]在屬于從可變長(zhǎng)解碼部21輸出的編碼塊Bn的分區(qū)Pi11的編碼模式m (Bn)是幀內(nèi)部編碼模式的情況下(步驟ST25)，切換開(kāi)關(guān)22將從可變長(zhǎng)解碼部21輸出的幀內(nèi)部預(yù)測(cè)參數(shù)輸出到幀內(nèi)部預(yù)測(cè)部23。
[0272]另一方面，在分區(qū)Pi11的編碼模式m (Bn)是幀之間編碼模式的情況下(步驟ST25)，將從可變長(zhǎng)解碼部21輸出的幀之間預(yù)測(cè)參數(shù)輸出到運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部24。
[0273]幀內(nèi)部預(yù)測(cè)部23如果從切換開(kāi)關(guān)22接收到幀內(nèi)部預(yù)測(cè)參數(shù)，則一邊參照由幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器27保存的已解碼塊的解碼圖像(參照?qǐng)D像)，一邊使用該幀內(nèi)部預(yù)測(cè)參數(shù)，實(shí)施針對(duì)該編碼塊Bn的分區(qū)Pi11的幀內(nèi)部預(yù)測(cè)處理，生成幀內(nèi)部預(yù)測(cè)圖像Pi11 (步驟ST26)。
[0274]運(yùn)動(dòng)補(bǔ)償部24如果接收到從切換開(kāi)關(guān)22輸出的幀之間預(yù)測(cè)參數(shù)，則使用該幀之間預(yù)測(cè)參數(shù)中包含的運(yùn)動(dòng)矢量和由運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器29保存的已解碼塊的解碼圖像(參照?qǐng)D像)，實(shí)施針對(duì)該編碼塊的幀之間預(yù)測(cè)處理，生成幀內(nèi)部預(yù)測(cè)圖像Pi11 (步驟ST27)。
`[0275]逆量化/逆變換部25使用從可變長(zhǎng)解碼部21輸出的預(yù)測(cè)差分編碼參數(shù)中包含的量化參數(shù)，對(duì)從可變長(zhǎng)解碼部21輸出的壓縮數(shù)據(jù)進(jìn)行逆量化，按照該預(yù)測(cè)差分編碼參數(shù)中包含的變換塊大小單位，實(shí)施逆量化后的壓縮數(shù)據(jù)的逆變換處理(例如逆DCT (逆離散余弦變換)、逆KL變換等逆變換處理)，從而將逆變換處理后的壓縮數(shù)據(jù)作為解碼預(yù)測(cè)差分信號(hào)(表示壓縮前的差分圖像的信號(hào))輸出到加法部26 (步驟ST28)。
[0276]加法部26如果從逆量化/逆變換部25接收到解碼預(yù)測(cè)差分信號(hào)，則將該解碼預(yù)測(cè)差分信號(hào)和表示由幀內(nèi)部預(yù)測(cè)部23或者運(yùn)動(dòng)補(bǔ)償部24生成的預(yù)測(cè)圖像的預(yù)測(cè)信號(hào)進(jìn)行相加，從而生成解碼圖像，將表示該解碼圖像的解碼圖像信號(hào)保存到幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器27中，并且將該解碼圖像信號(hào)輸出到環(huán)路濾波器部28 (步驟ST29)。
[0277]反復(fù)實(shí)施步驟ST23~ST29的處理直至針對(duì)被分層地分割的所有編碼塊Bn的處理完成為止(步驟ST30)。
[0278]環(huán)路濾波器部28如果從加法部26接收到解碼圖像信號(hào)，則實(shí)施針對(duì)該解碼圖像Ih號(hào)的濾波處理，從而去除在塊邊界中發(fā)生的失真(塊失真)，將失真去除后的解碼圖像/[目號(hào)表示的解碼圖像保存到運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器29中。
[0279]環(huán)路濾波器部28中的濾波處理與圖1的環(huán)路濾波器部11中的濾波處理相同，在去除該解碼圖像的塊失真時(shí)，與從可變長(zhǎng)解碼部21輸出的編碼模式(幀內(nèi)部編碼模式、幀之間編碼模式)相應(yīng)地，按信號(hào)分量(亮度信號(hào)分量、色差信號(hào)分量)設(shè)定去除塊失真的濾波的強(qiáng)度。[0280]另外，在通過(guò)可變長(zhǎng)解碼部21從切片頭解碼出濾波強(qiáng)度信息復(fù)用標(biāo)志以及濾波強(qiáng)度信息的情況下，用該濾波強(qiáng)度信息表示的濾波強(qiáng)度bS執(zhí)行濾波處理。
[0281]如以上說(shuō)明可知，根據(jù)該實(shí)施方式1，構(gòu)成為圖像解碼裝置的環(huán)路濾波器部28在去除解碼圖像的塊失真時(shí)，與從可變長(zhǎng)解碼部21輸出的編碼模式(幀內(nèi)部編碼模式、幀之間編碼模式)相應(yīng)地，按信號(hào)分量(亮度信號(hào)分量、色差信號(hào)分量)設(shè)定去除塊失真的濾波的強(qiáng)度，所以起到能夠提高塊失真的去除精度、改善解碼圖像的質(zhì)量的效果。
[0282]在以上的說(shuō)明中，示出了實(shí)施幀間運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理(幀之間預(yù)測(cè)處理)的圖像編碼裝置以及圖像解碼裝置的例子，但即使是針對(duì)所有幀實(shí)施幀內(nèi)預(yù)測(cè)處理(幀內(nèi)部預(yù)測(cè)處理)的圖像編碼裝置以及圖像解碼裝置，也可以構(gòu)成為由環(huán)路濾波器部11、28去除塊失真。[0283]在組合幀內(nèi)預(yù)測(cè)處理(幀內(nèi)部預(yù)測(cè)處理)和幀間運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理(幀之間預(yù)測(cè)處理)來(lái)實(shí)施的圖像編碼裝置以及圖像解碼裝置中，在設(shè)定為通過(guò)幀內(nèi)部預(yù)測(cè)處理對(duì)所有幀進(jìn)行編碼時(shí)，還能夠控制為不利用環(huán)路濾波器部11、28的動(dòng)作。
[0284]在該實(shí)施方式I中，示出了如圖5所示編碼塊Bn的大小是Ln=Mn的例子，但也可以是編碼塊^的大小為L(zhǎng)n#Mn。
[0285]例如，如圖15所示，考慮編碼塊Bn的大小為L(zhǎng)n=kMn的情況。
[0286]在接下來(lái)的分割中，成為(Ln+1，Mn+1) = (Ln,Mn),以后的分割既可以進(jìn)行與圖5同樣的分割，也可以如(Ln+1，Mn+1) = (Ln/2, Mn/2)那樣進(jìn)行分割。
[0287]通過(guò)這樣的結(jié)構(gòu)，例如設(shè)為M°=16，從而能夠定義MPEG-2 (IS0/IEC13818-2)、MPEG-4AVC/H.264 (IS0/IEC14496-10)那樣的將由16X 16像素構(gòu)成的宏塊橫向連結(jié)的結(jié)構(gòu)的最大編碼塊，具有易于構(gòu)成維持了與已有方式的互換性的圖像編碼裝置這樣的效果。
[0288]另外，即使在并非Ln=kMn而如kLn=Mn那樣縱向連結(jié)的情況下，當(dāng)然也可以按照同樣的思路進(jìn)行分割。
[0289]另外，本申請(qǐng)發(fā)明能夠在該發(fā)明的范圍內(nèi)，實(shí)現(xiàn)實(shí)施方式的任意的構(gòu)成要素的變形、或者實(shí)施方式的任意的構(gòu)成要素的省略。
[0290]產(chǎn)業(yè)上的可利用性
[0291]本發(fā)明的圖像編碼裝置、圖像解碼裝置、圖像編碼方法以及圖像解碼方法具備與編碼模式相應(yīng)地按信號(hào)分量設(shè)定濾波的強(qiáng)度的手段，能夠提高塊失真的去除精度，改善編碼圖像的質(zhì)量，所以能夠應(yīng)用于MPEG、ITU-TH.26x等國(guó)際標(biāo)準(zhǔn)影像編碼方式。
【權(quán)利要求】
1.一種圖像編碼裝置，具備: 塊分割單元，將輸入圖像分割為編碼處理單位的塊；以及 編碼模式?jīng)Q定單元，決定針對(duì)由所述塊分割單元分割出的塊的編碼模式， 該圖像編碼裝置依照由所述編碼模式?jīng)Q定單元決定的編碼模式，實(shí)施針對(duì)由所述塊分割單元分割出的塊的編碼處理，輸出壓縮數(shù)據(jù)， 其特征在于，該圖像編碼裝置具備: 預(yù)測(cè)圖像生成單元，生成由所述塊分割單元分割出的塊的預(yù)測(cè)圖像； 差分圖像生成單元，生成由所述塊分割單元分割出的塊與由所述預(yù)測(cè)圖像生成單元生成的預(yù)測(cè)圖像的差分圖像； 圖像壓縮單元，對(duì)由所述差分圖像生成單元生成的差分圖像進(jìn)行壓縮，輸出所述差分圖像的壓縮數(shù)據(jù)； 局部解碼圖像生成單元，對(duì)由所述圖像壓縮單元壓縮的差分圖像進(jìn)行解壓縮，將解壓縮后的差分圖像和由所述預(yù)測(cè)圖像生成單元生成的預(yù)測(cè)圖像進(jìn)行相加而生成局部解碼圖像； 失真去除單元，實(shí)施針對(duì)由所述局部解碼圖像生成單元生成的局部解碼圖像的濾波處理，去除所述局部解碼圖 像的塊失真；以及 編碼單元，對(duì)從所述圖像壓縮單元輸出的壓縮數(shù)據(jù)以及由所述編碼模式?jīng)Q定單元決定的編碼模式進(jìn)行編碼，生成復(fù)用了所述壓縮數(shù)據(jù)以及所述編碼模式的編碼數(shù)據(jù)的比特流，所述失真去除單元在去除所述局部解碼圖像的塊失真時(shí)，與由所述編碼模式?jīng)Q定單元決定的編碼模式相應(yīng)地，按信號(hào)分量設(shè)定去除塊失真的濾波的強(qiáng)度。
2.一種圖像解碼裝置，輸入按照塊單位對(duì)圖像進(jìn)行壓縮編碼而得到的比特流來(lái)生成代碼圖像，其特征在于，具備: 解碼單元，從編碼數(shù)據(jù)解碼出與各個(gè)塊有關(guān)的壓縮數(shù)據(jù)以及編碼模式； 預(yù)測(cè)圖像生成單元，依照由所述解碼單元解碼出的編碼模式，一邊參照已解碼塊的解碼圖像，一邊生成針對(duì)各個(gè)塊的預(yù)測(cè)圖像； 差分圖像生成單元，根據(jù)由所述解碼單元解碼出的壓縮數(shù)據(jù)生成壓縮前的差分圖像；解碼圖像生成單元，將由所述差分圖像生成單元生成的差分圖像和由所述預(yù)測(cè)圖像生成單元生成的預(yù)測(cè)圖像進(jìn)行相加而生成解碼圖像；以及 失真去除單元，實(shí)施針對(duì)由所述解碼圖像生成單元生成的解碼圖像的濾波處理，去除所述解碼圖像的塊失真， 所述失真去除單元在去除所述解碼圖像的塊失真時(shí)，與由所述解碼單元解碼出的編碼模式相應(yīng)地，按信號(hào)分量設(shè)定去除塊失真的濾波的強(qiáng)度。
3.一種圖像編碼方法，其特征在于，具備: 塊分割處理步驟，塊分割單元將輸入圖像分割為成為編碼處理單位的塊； 編碼模式?jīng)Q定處理步驟，編碼模式?jīng)Q定單元決定針對(duì)在所述塊分割處理步驟中分割出的塊的編碼模式； 預(yù)測(cè)圖像生成處理步驟，預(yù)測(cè)圖像生成單元依照在所述編碼模式?jīng)Q定處理步驟中決定的編碼模式，一邊參照已編碼塊的局部解碼圖像，一邊實(shí)施針對(duì)在所述塊分割處理步驟中分割出的塊的預(yù)測(cè)處理，生成預(yù)測(cè)圖像；差分圖像生成處理步驟，差分圖像生成單元生成在所述塊分割處理步驟中分割出的塊與在所述預(yù)測(cè)圖像生成處理步驟中生成的預(yù)測(cè)圖像的差分圖像； 圖像壓縮處理步驟，圖像壓縮單元對(duì)在所述差分圖像生成處理步驟中生成的差分圖像進(jìn)行壓縮，輸出所述差分圖像的壓縮數(shù)據(jù)； 局部解碼圖像生成處理步驟，局部解碼圖像生成單元對(duì)在所述圖像壓縮處理步驟中壓縮的差分圖像進(jìn)行解壓縮，將解壓縮后的差分圖像和在所述預(yù)測(cè)圖像生成處理步驟中生成的預(yù)測(cè)圖像進(jìn)行相加而生成局部解碼圖像； 失真去除處理步驟，失真去除單元實(shí)施針對(duì)在所述局部解碼圖像生成處理步驟中生成的局部解碼圖像的濾波處理，去除所述局部解碼圖像的塊失真；以及 編碼處理步驟，編碼單元對(duì)在所述圖像壓縮處理步驟中輸出的壓縮數(shù)據(jù)以及在所述編碼模式?jīng)Q定處理步驟中決定的編碼模式進(jìn)行編碼，生成復(fù)用了所述壓縮數(shù)據(jù)以及所述編碼模式的編碼數(shù)據(jù)的比特流， 在所述失真去除處理步驟中，在去除所述局部解碼圖像的塊失真時(shí)，與在所述編碼模式?jīng)Q定處理步驟中決定的編碼模式相應(yīng)地，按信號(hào)分量設(shè)定去除塊失真的濾波的強(qiáng)度。
4.一種圖像解碼方法，其特征在于，具備: 解碼處理步驟，解碼單元從在比特流上復(fù)用的編碼數(shù)據(jù)解碼出與各個(gè)塊有關(guān)的壓縮數(shù)據(jù)以及編碼模式； 預(yù)測(cè)圖像生成處理步驟，預(yù)測(cè)圖像生成單元依照在所述解碼處理步驟中解碼出的編碼模式，一邊參照已解碼塊的解碼圖像，一邊實(shí)施針對(duì)各個(gè)塊的預(yù)測(cè)處理，生成預(yù)測(cè)圖像； 差分圖像生成處理步驟，差分圖像生成單元根據(jù)在所述解碼處理步驟中解碼出的壓縮數(shù)據(jù)生成壓縮前的差分圖像； 解碼圖像生成處理步驟，解碼圖像生成單元將在所述差分圖像生成處理步驟中生成的差分圖像和在所述預(yù)測(cè)圖像生成處理步驟中生成的預(yù)測(cè)圖像進(jìn)行相加而生成解碼圖像；以及 失真去除處理步驟，失真去除單元實(shí)施針對(duì)在所述解碼圖像生成處理步驟中生成的解碼圖像的濾波處理，去除所述解碼圖像的塊失真， 在所述失真去除處理步驟中，在去除所述解碼圖像的塊失真時(shí)，與在所述解碼處理步驟中解碼出的編碼模式相應(yīng)地，按信號(hào)分量設(shè)定去除塊失真的濾波的強(qiáng)度。
【文檔編號(hào)】H04N19/82GK103621083SQ201280028658
【公開(kāi)日】2014年3月5日 申請(qǐng)日期:2012年6月5日 優(yōu)先權(quán)日:2011年6月30日
【發(fā)明者】關(guān)口俊一, 杉本和夫, 坂手寬治, 村上篤道, 峯澤彰 申請(qǐng)人:三菱電機(jī)株式會(huì)社