影像編碼方法、裝置、影像解碼方法、裝置以及它們的程序的制作方法
【專利摘要】本發(fā)明使運(yùn)動(dòng)補(bǔ)償畫面間預(yù)測(cè)中的預(yù)測(cè)誤差能量減低，謀求編碼效率的改善。使用小數(shù)精度的運(yùn)動(dòng)補(bǔ)償?shù)挠跋窬幋a方法具有：從多個(gè)內(nèi)插濾波器組使用指定內(nèi)插濾波器系數(shù)的權(quán)重值的權(quán)重參數(shù)生成多個(gè)加權(quán)濾波器系數(shù)的步驟；在所述加權(quán)濾波器系數(shù)之中，選擇使所述小數(shù)精度的運(yùn)動(dòng)補(bǔ)償中的預(yù)測(cè)誤差能量最小化的加權(quán)濾波器系數(shù)的步驟；通過(guò)應(yīng)用利用所述選擇的加權(quán)濾波器系數(shù)的內(nèi)插濾波器，對(duì)參照?qǐng)D像進(jìn)行小數(shù)精度像素的內(nèi)插，利用所述小數(shù)精度的運(yùn)動(dòng)補(bǔ)償對(duì)輸入圖像進(jìn)行編碼的步驟；以及對(duì)在所述選擇的加權(quán)濾波器系數(shù)的生成中使用的權(quán)重參數(shù)和所述內(nèi)插濾波器系數(shù)進(jìn)行編碼，將編碼后的權(quán)重參數(shù)和編碼后的內(nèi)插濾波器系數(shù)加到編碼比特流的步驟。
【專利說(shuō)明】影像編碼方法、裝置、影像解碼方法、裝置以及它們的程序
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及謀求影像編碼中的內(nèi)插濾波器的性能改善、改善編碼效率的影像編碼/解碼技術(shù)。
[0002]本申請(qǐng)基于2011年6月27日向日本申請(qǐng)的特愿2011 — 141725號(hào)要求優(yōu)先權(quán)，將其內(nèi)容引用于此。
【背景技術(shù)】
[0003]在影像編碼中，在不同的畫面間執(zhí)行預(yù)測(cè)的畫面間預(yù)測(cè)(運(yùn)動(dòng)補(bǔ)償)編碼中，參照已經(jīng)解碼的幀(frame)，求出使預(yù)測(cè)誤差能量最小的運(yùn)動(dòng)矢量，對(duì)該預(yù)測(cè)誤差信號(hào)(也稱為殘差信號(hào))進(jìn)行正交變換。此后，實(shí)施量化，經(jīng)過(guò)熵編碼(entropy encoding),最終成為二進(jìn)制數(shù)據(jù)(binary data),即,成為比特流(bit stream)。欲提高編碼效率,預(yù)測(cè)誤差能量的減低是不可缺的，要求預(yù)測(cè)精度高的預(yù)測(cè)方式。
[0004]在影像編碼標(biāo)準(zhǔn)方式中，導(dǎo)入了為數(shù)眾多的用于提高畫面間預(yù)測(cè)的精度的工具(tools)。例如，在H.264/AVC中，在最近的幀存在阻塞(occlusion)的情況下，參照在時(shí)間上稍微分開的幀更能減低預(yù)測(cè)誤差能量，因此，能參照多個(gè)幀。將本工具稱為多個(gè)參照幀預(yù)測(cè)。此外，為了能應(yīng)對(duì)復(fù)雜的形狀的運(yùn)動(dòng)，除了 16X16和8X8以外，還能像16X8、8X16、8X4、4X8、4X4那樣，對(duì)區(qū)塊大小(block size)進(jìn)行精細(xì)分割。將本工具稱為可變區(qū)塊大小預(yù)測(cè)。
[0005]與它們同樣地，從參照幀的整數(shù)精度像素使用6抽頭濾波器(6-tap filter)內(nèi)插1/2精度的像素，進(jìn)而利用該像素通過(guò)線性內(nèi)插生成1/4精度的像素。由此，對(duì)于小數(shù)精度的運(yùn)動(dòng)，預(yù)測(cè)變得準(zhǔn)。將本工具稱為1/4像素精度預(yù)測(cè)。
[0006]面向編碼效率比H.264/AVC高的下一代影像編碼標(biāo)準(zhǔn)方式的制定，國(guó)際標(biāo)準(zhǔn)化組織 IS0/IEC “MPEG，，( International Organization for Standardization/InternationalElectrotechnical Commission “Moving Picture Experts Group”(國(guó)際標(biāo)準(zhǔn)化組織 / 國(guó)際電工委員會(huì)“移動(dòng)圖像專家組”))和 ITU-T “VCEG” (International TelecommunicationUnion-Telecommunication Standardization Sector “Video Coding Experts Group，，(國(guó)際電信聯(lián)盟一電信標(biāo)準(zhǔn)化部“視頻編碼專家組”))共同設(shè)立了研究團(tuán)隊(duì)(JointCollaborative Team for Video Coding (用于視頻編碼的聯(lián)合協(xié)作的團(tuán)隊(duì)):JCT_VC)。下一代標(biāo)準(zhǔn)方式稱為高效影像編碼方式(High Efficiency Video Coding:HEVC)，當(dāng)前，從世界各國(guó)匯集各種各樣的新穎編碼技術(shù)，在JCT-VC會(huì)議進(jìn)行審議。
[0007]其中，特別是與畫面間預(yù)測(cè)(運(yùn)動(dòng)補(bǔ)償)關(guān)聯(lián)的提案完成得多，在HEVC用參照軟件(HEVC test Model:HM)中，采用改善運(yùn)動(dòng)矢量的預(yù)測(cè)效率的工具或?qū)^(qū)塊大小擴(kuò)張為16X16以上的工具。
[0008]此外，還提出了提高小數(shù)精度像素的內(nèi)插精度的工具，根據(jù)DCT(Discrete CosineTransform:離散余弦變換)系數(shù)的基導(dǎo)出的內(nèi)插濾波器系數(shù)的基于DCT變換的內(nèi)插濾波器(DCT-based Interpolation Filter:DCT_IF)效果高,在 HM 中采用。為了進(jìn)一步提高內(nèi)插精度，還提出了使內(nèi)插濾波器系數(shù)以幀單位自適應(yīng)地變化的內(nèi)插濾波器，稱為自適應(yīng)內(nèi)插濾波器(Adaptive Interpolation Filter:AIF)。在自適應(yīng)內(nèi)插濾波器中，編碼效率改善的效果高，還在由VCEG主導(dǎo)而制作完成的面向下一代影像編碼參照軟件(Key TechnicalArea (關(guān)鍵【技術(shù)領(lǐng)域】):KTA)中采用。因?yàn)閷?duì)提高編碼效率的貢獻(xiàn)高，所以，內(nèi)插濾波器的性能改善是非常令人期待的領(lǐng)域。
[0009]對(duì)以往的內(nèi)插濾波器更詳細(xì)地進(jìn)行說(shuō)明。
[0010][固定內(nèi)插] 圖8是示出H.264/AVC中的小數(shù)精度的像素內(nèi)插方法的圖。在H.264/AVC中，如圖8所示，在進(jìn)行1/2像素位置的內(nèi)插時(shí)，使用成為對(duì)象的內(nèi)插像素的左右各3點(diǎn)總計(jì)6個(gè)整數(shù)像素進(jìn)行內(nèi)插。在垂直方向上，使用上下各3點(diǎn)總計(jì)6個(gè)整數(shù)像素進(jìn)行內(nèi)插。濾波器系數(shù)分別成為[(I，-5,20,20, -5,1) /32]。在對(duì)1/2像素位置進(jìn)行內(nèi)插之后,在1/4像素位置中，使用[1/2，1/2]的平均值濾波器進(jìn)行內(nèi)插。因?yàn)樾枰淮螌?duì)1/2像素位置全部進(jìn)行內(nèi)插而求出，所以計(jì)算復(fù)雜度高，但是，能進(jìn)行性能高的內(nèi)插，實(shí)現(xiàn)編碼效率提高。利用以上的固定濾波器的內(nèi)插的技術(shù)示于非專利文獻(xiàn)I等。
[0011]像H.264/AVC的I維6抽頭濾波器那樣，對(duì)全部輸入圖像和全部幀使用相同值的系數(shù)值的濾波器稱為固定內(nèi)插濾波器(Fixed Interpolation Filter)。
[0012]作為進(jìn)一步改善在H.264/AVC中采用的內(nèi)插濾波器的性能的方式，在HEVC用參照軟件HM中，采用基于DCT變換的內(nèi)插濾波器(DCT-1F)。將該基于DCT變換的內(nèi)插濾波器的小數(shù)精度的像素內(nèi)插方法示于圖9。像圖9那樣，設(shè)小數(shù)精度位置中的內(nèi)插對(duì)象像素為P，設(shè)整數(shù)位置像素為px ,設(shè)示出p的位置的整數(shù)位置像素間參數(shù)為a (0≤a≤1)。此時(shí)，設(shè)在內(nèi)插中使用的整數(shù)位置的像素?cái)?shù)，即，抽頭長(zhǎng)度為2M(M是I以上的整數(shù)值)。根據(jù)DCT變換的定義式，式(I)成立。
[0013][數(shù)學(xué)式I]
【權(quán)利要求】
1.一種影像編碼方法，使用小數(shù)精度的運(yùn)動(dòng)補(bǔ)償，所述影像編碼方法具有:從多個(gè)內(nèi)插濾波器組使用指定內(nèi)插濾波器系數(shù)的權(quán)重值的權(quán)重參數(shù)生成多個(gè)加權(quán)濾波器系數(shù)的步驟；在所述加權(quán)濾波器系數(shù)之中，選擇使所述小數(shù)精度的運(yùn)動(dòng)補(bǔ)償中的預(yù)測(cè)誤差能量最小化的加權(quán)濾波器系數(shù)的步驟；通過(guò)應(yīng)用利用所述選擇的加權(quán)濾波器系數(shù)的內(nèi)插濾波器，對(duì)參照?qǐng)D像進(jìn)行小數(shù)精度像素的內(nèi)插，利用所述小數(shù)精度的運(yùn)動(dòng)補(bǔ)償對(duì)輸入圖像進(jìn)行編碼的步驟；以及對(duì)在所述選擇的加權(quán)濾波器系數(shù)的生成中使用的權(quán)重參數(shù)和所述內(nèi)插濾波器系數(shù)進(jìn)行編碼，將編碼后的權(quán)重參數(shù)和編碼后的內(nèi)插濾波器系數(shù)加到編碼比特流的步驟。
2.根據(jù)權(quán)利要求1所述的影像編碼方法，其中，按通過(guò)預(yù)先確定的方法算出的小數(shù)精度像素的每個(gè)內(nèi)插位置組或按指定的小數(shù)精度像素的每個(gè)內(nèi)插位置組，進(jìn)行所述加權(quán)濾波器系數(shù)的選擇，按所述小數(shù)精度像素的每個(gè)內(nèi)插位置組切換利用所述加權(quán)濾波器系數(shù)的內(nèi)插濾波器。
3.一種影像編碼裝置，使用小數(shù)精度的運(yùn)動(dòng)補(bǔ)償，所述影像編碼裝置具備:加權(quán)濾波器系數(shù)生成部 ，從多個(gè)內(nèi)插濾波器組使用指定內(nèi)插濾波器系數(shù)的權(quán)重值的權(quán)重參數(shù)生成多個(gè)加權(quán)濾波器系數(shù)；加權(quán)濾波器系數(shù)選擇部，在所述加權(quán)濾波器系數(shù)之中，選擇使所述小數(shù)精度的運(yùn)動(dòng)補(bǔ)償中的預(yù)測(cè)誤差能量最小化的加權(quán)濾波器系數(shù)；第一編碼部，通過(guò)應(yīng)用利用所述選擇的加權(quán)濾波器系數(shù)的內(nèi)插濾波器，對(duì)參照?qǐng)D像進(jìn)行小數(shù)精度像素的內(nèi)插，利用所述小數(shù)精度的運(yùn)動(dòng)補(bǔ)償對(duì)輸入圖像進(jìn)行編碼；以及第二編碼部，對(duì)在所述選擇的加權(quán)濾波器系數(shù)的生成中使用的權(quán)重參數(shù)和所述內(nèi)插濾波器系數(shù)進(jìn)行編碼，將編碼后的權(quán)重參數(shù)和編碼后的內(nèi)插濾波器系數(shù)加到編碼比特流。
4.根據(jù)權(quán)利要求3所述的影像編碼裝置，其中，按通過(guò)預(yù)先確定的方法算出的小數(shù)精度像素的每個(gè)內(nèi)插位置組或按指定的小數(shù)精度像素的每個(gè)內(nèi)插位置組，進(jìn)行所述加權(quán)濾波器系數(shù)的選擇，按所述小數(shù)精度像素的每個(gè)內(nèi)插位置組切換利用所述加權(quán)濾波器系數(shù)的內(nèi)插濾波器。
5.一種影像解碼方法，使用小數(shù)精度的運(yùn)動(dòng)補(bǔ)償，所述影像解碼方法具有:對(duì)用于生成小數(shù)精度像素的內(nèi)插濾波器系數(shù)和指定所述內(nèi)插濾波器系數(shù)的權(quán)重值的權(quán)重參數(shù)進(jìn)行解碼的步驟；使用解碼后的權(quán)重參數(shù)生成由解碼后的內(nèi)插濾波器系數(shù)的權(quán)重和確定的加權(quán)濾波器系數(shù)的步驟；使用由生成的加權(quán)濾波器系數(shù)確定的內(nèi)插濾波器生成預(yù)測(cè)信號(hào)的步驟；對(duì)殘差信號(hào)進(jìn)行解碼的步驟；以及使用解碼的殘差信號(hào)和生成的預(yù)測(cè)信號(hào)生成解碼圖像的步驟。
6.根據(jù)權(quán)利要求5所述的影像解碼方法，其中，按從編碼側(cè)指定的每個(gè)內(nèi)插位置組或規(guī)定的每個(gè)內(nèi)插位置組，進(jìn)行用于生成所述小數(shù)精度像素的內(nèi)插濾波器系數(shù)和指定所述內(nèi)插濾波器系數(shù)的權(quán)重值的權(quán)重參數(shù)的解碼，按每個(gè)所述內(nèi)插位置組切換由所述加權(quán)濾波器系數(shù)確定的內(nèi)插濾波器。
7.一種影像解碼裝置，使用小數(shù)精度的運(yùn)動(dòng)補(bǔ)償，所述影像解碼裝置具備:第一解碼部，對(duì)用于生成小數(shù)精度像素的內(nèi)插濾波器系數(shù)和指定所述內(nèi)插濾波器系數(shù)的權(quán)重值的權(quán)重參數(shù)進(jìn)行解碼； 加權(quán)濾波器系數(shù)生成部，使用解碼后的權(quán)重參數(shù)生成由解碼后的內(nèi)插濾波器系數(shù)的權(quán)重和確定的加權(quán)濾波器系數(shù)； 預(yù)測(cè)信號(hào)生成部，使用由生成的加權(quán)濾波器系數(shù)確定的內(nèi)插濾波器生成預(yù)測(cè)信號(hào)； 第二解碼部，對(duì)殘差信號(hào)進(jìn)行解碼；以及 解碼圖像生成部，使用解碼的殘差信號(hào)和生成的預(yù)測(cè)信號(hào)生成解碼圖像。
8.根據(jù)權(quán)利要求7所述的影像解碼裝置，其中， 按從編碼側(cè)指定的每個(gè)內(nèi)插位置組或規(guī)定的每個(gè)內(nèi)插位置組，進(jìn)行用于生成所述小數(shù)精度像素的內(nèi)插濾波器系數(shù)和指定所述內(nèi)插濾波器系數(shù)的權(quán)重值的權(quán)重參數(shù)的解碼， 按每個(gè)所述內(nèi)插位置組切換由所述加權(quán)濾波器系數(shù)確定的內(nèi)插濾波器。
9.一種影像編碼程序，用于使計(jì)算機(jī)執(zhí)行權(quán)利要求1或權(quán)利要求2所述的影像編碼方法。
10.一種影像解碼程序，用于使計(jì)算機(jī)執(zhí)行權(quán)利要求5或權(quán)利要求6所述的影像解碼方法。
【文檔編號(hào)】H04N19/46GK103597835SQ201280028582
【公開日】2014年2月19日 申請(qǐng)日期:2012年6月22日 優(yōu)先權(quán)日:2011年6月27日
【發(fā)明者】松尾翔平, 坂東幸浩, 高村誠(chéng)之, 如澤裕尚 申請(qǐng)人:日本電信電話株式會(huì)社