編碼設(shè)備、編碼方法、解碼設(shè)備和解碼方法
【專利摘要】本技術(shù)涉及一種編碼設(shè)備、編碼方法、解碼設(shè)備以及解碼方法，其能夠使用關(guān)于視差圖像的信息來提高視差圖像的編碼效率。校正單元使用關(guān)于基準視點的視差圖像的信息來校正基準視點的視差圖像的估計圖像。算數(shù)運算單元使用經(jīng)校正的估計圖像對基準視點的視差圖像進行編碼。發(fā)送經(jīng)編碼的基準視點的視差圖像和關(guān)于基準視點的視差圖像的信息。例如，本技術(shù)可以應(yīng)用于視差圖像編碼設(shè)備。
【專利說明】編碼設(shè)備、編碼方法、解碼設(shè)備和解碼方法【技術(shù)領(lǐng)域】
[0001]本技術(shù)涉及一種編碼設(shè)備、編碼方法、解碼設(shè)備以及解碼方法，并且更具體地涉及一種能夠使用關(guān)于視差圖像的信息來提高視差圖像的編碼效率的編碼設(shè)備、編碼方法、解碼設(shè)備以及解碼方法。
【背景技術(shù)】
[0002]近年來，3D圖像受到關(guān)注，并且提出了一種對用于生成多視點3D圖像的視差圖像進行編碼的方法(例如，參見非專利文獻I)。應(yīng)當(dāng)注意的是，視差圖像是包括對應(yīng)于該視差圖像的視點的彩色圖像的每個像素以及視差值的圖像，該視差值表示作為與該像素相對應(yīng)的基點的視點的彩色圖像的像素在畫面上的位置在水平方向上的距離。
[0003]為了與AVC (高級視頻編碼)方法相比進一步提高編碼效率，目前正在對被稱為HEVC (高效視頻編碼)的編碼方法進行標準化，并且非專利文獻2已于2011年8月今日作為草案出版。
[0004]引文列表
[0005]非專利文獻
[0006][非專利文獻 I] “Call for Proposals on3D Video Coding Technology”，ISO/IEC JTC1/SC29/WG11, MPEG2011/N12036,日內(nèi)瓦，瑞士，2011 年 3 月
[0007][非專利文獻 2] Thomas Wiegand, Woo-jin Han, Benjamin Bross, Jens-RainerOhm,Gary J.Su11ivian,“WD3: Working Draft3of High-Ef f iciency VideoCoding”，JCTVC-E603_d5(version5), 2011 年 5 月 20 日

【發(fā)明內(nèi)容】

[0008]發(fā)明要解決的問題
[0009]然而，還沒有產(chǎn)生使用關(guān)于視差圖像的信息來提高視差圖像的編碼效率的方法。
[0010]本技術(shù)是鑒于這種情形作出的，并且本技術(shù)使得能夠使用關(guān)于視差圖像的信息來提高視差圖像的編碼效率。
[0011]問題的解決方案
[0012]本技術(shù)的第一方面的編碼設(shè)備是這樣的編碼設(shè)備，其包括:校正單元，被配置成使用關(guān)于基準視點的視差圖像的信息來校正基準視點的視差圖像的預(yù)測圖像；編碼單元，被配置成使用由校正單元校正的預(yù)測圖像對基準視點的視差圖像進行編碼；以及發(fā)送單元，被配置成發(fā)送由編碼單元編碼的基準視點的視差圖像以及關(guān)于基準視點的視差圖像的信
肩、O
[0013]本技術(shù)的第一方面的編碼方法對應(yīng)于本技術(shù)的第一方面的編碼設(shè)備。
[0014]在本技術(shù)的第一方面中，使用關(guān)于基準視點的視差圖像的信息來校正基準視點的視差圖像的預(yù)測圖像，并且使用經(jīng)校正的預(yù)測圖像對基準視點的視差圖像進行編碼，并且發(fā)送經(jīng)編碼的基準視點的視差圖像以及關(guān)于基準視點的視差圖像的信息。[0015]本技術(shù)的第二方面的解碼設(shè)備是這樣的解碼設(shè)備，其包括:接收單元，被配置成接收使用基準視點的視差圖像的預(yù)測圖像編碼的基準視點的視差圖像以及關(guān)于基準視點的視差圖像的信息，其中該預(yù)測圖像是使用關(guān)于基準視點的視差圖像的信息校正的；校正單元，被配置成使用由接收單元接收的關(guān)于基準視點的視差圖像的信息來校正基準視點的視差圖像的預(yù)測圖像；以及解碼單元，被配置成使用由校正單元校正的預(yù)測圖像對由接收單元接收的經(jīng)編碼的基準視點的視差圖像進行解碼。
[0016]本技術(shù)的第二方面的解碼方法對應(yīng)于本技術(shù)的第二方面的解碼設(shè)備。
[0017]在本技術(shù)的第二方面中，接收使用基準視點的視差圖像的預(yù)測圖像編碼的基準視點的視差圖像以及關(guān)于基準視點的視差圖像的信息，其中該預(yù)測圖像是使用關(guān)于基準視點的視差圖像的信息校正的；使用所接收的關(guān)于基準視點的視差圖像的信息來校正基準視點的視差圖像的預(yù)測圖像；以及使用經(jīng)校正的預(yù)測圖像對經(jīng)編碼的基準視點的視差圖像進行解碼。
[0018]應(yīng)當(dāng)注意的是，可以通過使計算機執(zhí)行程序來實現(xiàn)第一方面的編碼設(shè)備和第二方面的解碼設(shè)備。
[0019]為了實現(xiàn)第一方面的編碼設(shè)備和第二方面的解碼設(shè)備，可以通過經(jīng)由傳輸介質(zhì)傳輸或者將程序記錄到記錄介質(zhì)，來提供由計算機執(zhí)行的程序。發(fā)明的效果
[0020]根據(jù)本技術(shù)的第一方面，可以通過使用關(guān)于視差圖像的信息來提高視差圖像的編碼效率。
[0021]根據(jù)本技術(shù)的第二方面，可以對視差圖像的編碼數(shù)據(jù)進行解碼，其中該編碼數(shù)據(jù)的編碼效率通過使用關(guān)于視差圖像的信息進行編碼而被提高。
【專利附圖】

【附圖說明】
[0022]圖1是示出應(yīng)用了本技術(shù)的編碼設(shè)備的第一實施方式的配置示例的框圖。
[0023]圖2是說明視點生成信息的視差最大值和視差最小值的曲線圖。
[0024]圖3是說明視點生成信息的視差準確度參數(shù)的圖。
[0025]圖4是說明視點生成信息的攝像機間距離的圖。
[0026]圖5是示出圖1的多視點圖像編碼單元的配置示例的框圖。
[0027]圖6是示出編碼單元的配置示例的框圖。
[0028]圖7是示出編碼比特流的配置示例的圖。
[0029]圖8是示出圖7的PPS的語法示例的圖。
[0030]圖9是示出切片報頭的語法示例的圖。
[0031]圖10是示出切片報頭的語法示例的圖。
[0032]圖11是說明圖1的編碼設(shè)備的編碼處理的流程圖。
[0033]圖12是說明圖11的多視點編碼處理的細節(jié)的流程圖。
[0034]圖13是說明圖12的視差圖像編碼處理的細節(jié)的流程圖。
[0035]圖14是說明圖12的視差圖像編碼處理的細節(jié)的流程圖。
[0036]圖15是示出應(yīng)用了本技術(shù)的解碼設(shè)備的第一實施方式的配置示例的框圖。
[0037]圖16是示出圖15的多視點圖像解碼單元的配置示例的框圖。
[0038]圖17是示出解碼單元的配置示例的框圖。[0039]圖18是說明圖15的解碼設(shè)備150的解碼處理的流程圖。
[0040]圖19是說明圖18的多視點解碼處理的細節(jié)的流程圖。
[0041]圖20是說明圖16的視差圖像解碼處理的細節(jié)的流程圖。
[0042]圖21是說明用于對預(yù)測圖像進行校正的信息的發(fā)送方法的表。
[0043]圖22是示出根據(jù)第二發(fā)送方法的編碼比特流的配置示例的圖。
[0044]圖23是示出根據(jù)第三發(fā)送方法的編碼比特流的配置示例的圖。
[0045]圖24是示出計算機的實施方式的配置示例的框圖。
[0046]圖25是示出應(yīng)用了本技術(shù)的電視設(shè)備的示意性配置示例的圖。
[0047]圖26是示出應(yīng)用了本技術(shù)的便攜式電話的示意性配置示例的圖。
[0048]圖27是示出應(yīng)用了本技術(shù)的記錄/再現(xiàn)設(shè)備的示意性配置示例的圖。
[0049]圖28是示出應(yīng)用了本技術(shù)的圖像拍攝設(shè)備的示意性配置示例的圖。
【具體實施方式】
[0050]<第一實施方式>
[0051][編碼設(shè)備的第一實施方式的配置示例]
[0052]圖1是示出應(yīng)用了本技術(shù)的編碼設(shè)備的第一實施方式的配置示例的框圖。
[0053]圖1的編碼設(shè)備50包括多視點彩色圖像圖像拍攝單元51、多視點彩色圖像校正單元52、多視點視差圖像校正單元53、視點生成信息生成單元54以及多視點圖像編碼單元55。
[0054]編碼設(shè)備50使用關(guān)于視差圖像的信息對預(yù)定視點的視差圖像進行編碼。
[0055]更具體地，編碼設(shè)備50的多視點彩色圖像圖像拍攝單元51拍攝多視點的彩色圖像，并且將其作為多視點彩色圖像提供給多視點彩色圖像校正單元52。多視點彩色圖像圖像拍攝單元51生成外部參數(shù)、視差最大值以及視差最小值(下文將描述其細節(jié))。多視點彩色圖像圖像拍攝單元51將外部參數(shù)、視差最大值以及視差最小值提供給視點生成信息生成單元54，并且將視差最大值和視差最小值提供給多視點視差圖像生成單元53。
[0056]應(yīng)當(dāng)注意的是，外部參數(shù)是用于限定多視點彩色圖像圖像拍攝單元51在水平方向上的位置的參數(shù)。視差最大值和視差最小值分別是可以在多視點視差圖像中出現(xiàn)的、世界坐標中的視差值的最大值和最小值。
[0057]多視點彩色圖像校正單元52對從多視點彩色圖像圖像拍攝單元51提供的多視點彩色圖像進行色彩校正、亮度校正、失真校正等。因此，多視點彩色圖像圖像拍攝單元51在校正后的多視點彩色圖像中在水平方向(X方向)上的焦距在所有的視點處是相同的。多視點彩色圖像校正單元52將校正后的多視點彩色圖像作為多視點校正彩色圖像提供給多視點視差圖像生成單元53和多視點圖像編碼單元55。
[0058]多視點視差圖像生成單元53基于從多視點彩色圖像圖像拍攝單元51提供的視差最大值和視差最小值來根據(jù)由多視點彩色圖像校正單元52提供的多視點校正彩色圖像生成多視點視差圖像。更具體地，多視點視差圖像生成單元53根據(jù)多個視點(基準視點)中的每個視點的多視點校正彩色圖像得到每個像素的視差值，并且基于視差最大值和視差最小值來對視差值進行規(guī)范化。然后，多視點視差圖像生成單元53生成下述視差圖像，在該視差圖像中，每個經(jīng)規(guī)范化的像素的視差值是多個視點中的每個視點的每個像素的像素值。[0059]多視點視差圖像生成單元53將所生成的多視點視差圖像作為多視點視差圖像提供給多視點圖像編碼單兀55。此外，多視點視差圖像生成單兀53生成表不多視點視差圖像的像素值的準確度的視差準確度參數(shù)，并且將該視差準確度參數(shù)提供給視點生成信息生成單元54。
[0060]視點生成信息生成單元54使用多視點校正彩色圖像和視差圖像生成用于生成與該多視點不同的視點的彩色圖像的視點生成信息(視點生成信息)。更具體地，視點生成信息生成單元54基于由多視點彩色圖像圖像拍攝單元51提供的外部參數(shù)來獲得攝像機間距離。攝像機間距離是當(dāng)多視點彩色圖像圖像拍攝單元51在多視點視差圖像的每個視點處拍攝彩色圖像時多視點彩色圖像圖像拍攝單元51在水平方向上的位置和當(dāng)多視點彩色圖像圖像拍攝單元51拍攝相對于因此拍攝的彩色圖像具有與視差圖像相對應(yīng)的視差的彩色圖像時多視點彩色圖像圖像拍攝單元51在水平方向上的位置之間的距離。
[0061]視點生成信息生成單元54采用由多視點彩色圖像圖像拍攝單元51提供的視差最大值和視差最小值、攝像機間距離以及由多視點視差圖像生成單元53提供的視差準確度參數(shù)，作為視點生成信息。視點生成信息生成單元54將所生成的視點生成信息提供給多視點圖像編碼單元55。
[0062]多視點圖像編碼單元55根據(jù)HEVC方法對從多視點彩色圖像校正單元52提供的多視點校正彩色圖像進行編碼。多視點圖像編碼單元55通過使用由視點生成信息生成單元54提供的視點生成信息中的視差最大值、視差最小值以及攝像機間距離作為關(guān)于視差的信息，根據(jù)基于HEVC方法的方法，對由多視點視差圖像生成單元53提供的多視點視差圖像進行編碼。
[0063]多視點圖像編碼單元55對由視點生成信息生成單元54提供的視點生成信息中的視差最大值、視差最小值以及攝像機間距離進行差分編碼，并且使這種信息被包括在關(guān)于多視點視差圖像的編碼的信息(編碼參數(shù))中。然后，多視點圖像編碼單元55將包括下述項的比特流作為編碼比特流發(fā)送:經(jīng)編碼的多視點校正彩色圖像和經(jīng)編碼的多視點視差圖像、經(jīng)差分編碼的視差最大值和經(jīng)差分編碼的視差最小值以及經(jīng)差分編碼的攝像機間距離、由視點生成信息生成單元54提供的視差準確度參數(shù)等。
[0064]如上所述，多視點圖像編碼單元55對視差最大值、視差最小值以及攝像機間距離進行差分編碼和發(fā)送，并且因此能夠減少視點生成信息的代碼量。為了提供舒適的3 D圖像，不太可能很大地改變畫面間的視差最大值、視差最小值以及攝像機間距離，并且因此差分編碼對于減少代碼量是有效的。
[0065]在編碼設(shè)備50中，根據(jù)多視點校正彩色圖像來生成多視點視差圖像，但是也可以在對多視點彩色圖像進行圖像拍攝期間通過傳感器檢測視差值來生成多視點視差圖像。
[0066][關(guān)于視點生成信息的說明]
[0067]圖2是說明視點生成信息的視差最大值和視差最小值的曲線圖。
[0068]在圖2中，橫軸表示非規(guī)范化的視差值，縱軸表示視差圖像的像素值。
[0069]如圖2所示，例如，多視點視差圖像生成單元53使用視差最小值Dmin和視差最大值Dmax將每個像素的視差值規(guī)范化為O至255的值。然后，多視點視差圖像生成單元53生成下述視差圖像，在該視差圖像中，經(jīng)規(guī)范化的像素中的每個像素的具有O至255的值的視差值是像素值。[0070]更具體地，視差圖像的每個像素的像素值I通過下述等式(I)由像素的非規(guī)范化的視差值d、視差最小值Dmin以及視差最大值Dmax表不。
[0071][等式I]
[0072]
【權(quán)利要求】
1.一種編碼設(shè)備，包括: 校正單元，被配置成使用關(guān)于基準視點的視差圖像的信息來校正所述基準視點的所述視差圖像的預(yù)測圖像； 編碼單元，被配置成使用經(jīng)所述校正單元校正的所述預(yù)測圖像對所述基準視點的所述視差圖像進行編碼；以及 發(fā)送單元，被配置成發(fā)送由所述編碼單元編碼的所述基準視點的所述視差圖像以及關(guān)于所述基準視點的所述視差圖像的所述信息。
2.根據(jù)權(quán)利要求1所述的編碼設(shè)備，其中，關(guān)于所述基準視點的所述視差圖像的所述信息包括視點生成信息，所述視點生成信息是用于使用所述基準視點的所述視差圖像和所述基準視點的彩色圖像來生成與所述基準視點不同的視點的彩色圖像的信息，并且 所述發(fā)送單元將所述視點生成信息作為用于對所述基準視點的所述視差圖像進行編碼的編碼參數(shù)來發(fā)送。
3.根據(jù)權(quán)利要求2所述的編碼設(shè)備，其中，所述校正單元基于所述視點生成信息，使用用于校正所述預(yù)測圖像的校正系數(shù)來校正所述預(yù)測圖像，并且 所述發(fā)送單元將校正系數(shù)作為所述編碼參數(shù)來發(fā)送。
4.根據(jù)權(quán)利要求2所述的編碼設(shè)備，其中，關(guān)于所述基準視點的所述視差圖像的所述信息包括表示用于拍攝所述基準視點的所述彩色圖像的圖像拍攝單元在深度方向上的圖像拍攝位置的圖像拍攝位置信息， 所述校正單元基于所述圖像拍攝位置信息和所述視點生成信息，使用用于校正所述預(yù)測圖像的所述校正系數(shù)來校正所述預(yù)測圖像，并且 所述發(fā)送單元將所述校正系數(shù)作為所述編碼參數(shù)來發(fā)送。
5.根據(jù)權(quán)利要求4所述的編碼設(shè)備，其中，所述校正單元設(shè)定所述校正系數(shù)。
6.根據(jù)權(quán)利要求5所述的編碼設(shè)備，其中，所述編碼單元按照具有層級結(jié)構(gòu)的單位對所述基準視點的所述視差圖像進行編碼。
7.根據(jù)權(quán)利要求1所述的編碼設(shè)備，還包括:預(yù)測圖像生成單元，用于生成所述基準視點的所述視差圖像的所述預(yù)測圖像。
8.一種用于編碼設(shè)備的編碼方法，包括: 校正步驟:使用關(guān)于基準視點的視差圖像的信息來校正所述基準視點的所述視差圖像的預(yù)測圖像； 編碼步驟:使用經(jīng)所述校正步驟中的處理校正的所述預(yù)測圖像對所述基準視點的所述視差圖像進行編碼；以及 發(fā)送步驟:發(fā)送通過所述編碼步驟中的處理編碼的所述基準視點的所述視差圖像以及關(guān)于所述基準視點的所述視差圖像的所述信息。
9.一種解碼設(shè)備，包括: 接收單元，被配置成接收使用基準視點的視差圖像的預(yù)測圖像編碼的所述基準視點的所述視差圖像以及關(guān)于所述基準視點的所述視差圖像的信息，其中所述預(yù)測圖像是使用關(guān)于所述基準視點的所述視差圖像的所述信息校正的； 校正單元，被配置成使用由所述接收單元接收的關(guān)于所述基準視點的所述視差圖像的所述信息來校正所述基準視點的所述視差圖像的預(yù)測圖像；以及解碼單元，被配置成使用由所述校正單元校正的所述預(yù)測圖像對由所述接收單元接收的經(jīng)編碼的所述基準視點的所述視差圖像進行解碼。
10.根據(jù)權(quán)利要求9所述的解碼設(shè)備，還包括:彩色圖像生成單元，被配置成使用由所述解碼單元解碼的所述基準視點的所述視差圖像以及所述基準視點的彩色圖像來生成與所述基準視點不同的視點的彩色圖像， 其中，關(guān)于所述基準視點的所述視差圖像的所述信息包括視點生成信息，所述視點生成信息是用于使用所述基準視點的所述視差圖像以及所述基準視點的所述彩色圖像來生成與所述基準視點不同的視點的彩色圖像的信息， 所述接收單元接收作為用于對經(jīng)編碼的所述基準視點的所述視差圖像進行解碼的編碼參數(shù)而被發(fā)送的所述視點生成信息，并且 所述彩色圖像生成單元使用由所述解碼單元解碼的所述基準視點的所述視差圖像、所述基準視點的所述彩色圖像以及由所述接收單元接收的所述視點生成信息來生成與所述基準視點不同的所述視點的所述彩色圖像。
11.根據(jù)權(quán)利要求10所述的解碼設(shè)備，其中，所述接收單元接收作為所述編碼參數(shù)發(fā)送的在編碼過程中用于校正所述預(yù)測圖像的校正系數(shù)， 基于所述視點生成信息來生成所述校正系數(shù)，并且 所述校正單元使用由所述接收單元接收的所述校正系數(shù)來校正所述預(yù)測圖像。
12.根據(jù)權(quán)利要求10所述的解碼設(shè)備，其中，關(guān)于所述基準視點的所述視差圖像的所述信息包括表示用于拍攝所述基準視點的所述彩色圖像的圖像拍攝單元在深度方向上的圖像拍攝位置的圖像拍攝位置信息， 所述接收單元接收作為所述編碼參數(shù)發(fā)送的在編碼過程中用于校正所述預(yù)測圖像的校正系數(shù),并且 所述校正單元使用由所述接收單元接收的所述校正系數(shù)以及所述視點生成信息來校正所述預(yù)測圖像。
13.根據(jù)權(quán)利要求12所述的解碼設(shè)備，其中，所述校正系數(shù)是基于所述視點生成信息而設(shè)定的。
14.根據(jù)權(quán)利要求13所述的解碼設(shè)備，其中，所述基準視點的所述視差圖像是按照具有層級結(jié)構(gòu)的單位來進行編碼的。
15.根據(jù)權(quán)利要求9所述的解碼設(shè)備，還包括:預(yù)測圖像生成單元，用于生成所述基準視點的所述視差圖像的所述預(yù)測圖像。
16.一種用于解碼設(shè)備的解碼方法，包括: 接收步驟:接收使用基準視點的視差圖像的預(yù)測圖像編碼的所述基準視點的所述視差圖像以及關(guān)于所述基準視點的所述視差圖像的信息，其中所述預(yù)測圖像是使用關(guān)于所述基準視點的所述視差圖像的所述信息校正的； 校正步驟:使用通過所述接收步驟中的處理接收的關(guān)于所述基準視點的所述視差圖像的所述信息來校正所述基準視點的所述視差圖像的預(yù)測圖像；以及 解碼步驟:使用通過所述校正步驟中的處理校正的所述預(yù)測圖像，對通過所述接收步驟中的處理接收的經(jīng)編碼的所述基準視點的所述視差圖像進行解碼。
【文檔編號】H04N19/597GK103748883SQ201280040938
【公開日】2014年4月23日 申請日期:2012年8月21日 優(yōu)先權(quán)日:2011年8月31日
【發(fā)明者】高橋良知 申請人:索尼公司