圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、圖像解碼程 ...的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及對多視點圖像進行編碼和解碼的圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、圖像解碼程序以及記錄介質(zhì)。
[0002]本申請基于在2012年9月25日向日本提出申請的特愿2012-211155號要求優(yōu)先權(quán)，將其內(nèi)容引用于本文。
【背景技術(shù)】
[0003]歷來，已知有由用多個攝像機對相同的被攝體和背景進行拍攝的多個圖像構(gòu)成的多視點圖像。將用該多個攝像機拍攝的活動圖像稱為多視點活動圖像(或多視點視頻)。在以下的說明中，將用一個攝像機拍攝的圖像(活動圖像)稱為“二維圖像(活動圖像)”，將用位置或方向(以下，稱為視點)不同的多個攝像機對相同的被攝體和背景進行拍攝的二維圖像(二維活動圖像)群稱為“多視點圖像(多視點活動圖像)”。
[0004]二維活動圖像關(guān)于時間方向具有強的相關(guān)性，能夠通過利用該相關(guān)性來提高編碼效率。另一方面，在多視點圖像、多視點活動圖像中，在各攝像機同步的情況下，與各攝像機的視頻的相同時刻對應(yīng)的幀(圖像)是從不同的位置對完全相同狀態(tài)的被攝體和背景進行拍攝的幀(圖像)，因此，在攝像機間具有強的相關(guān)性。在多視點圖像、多視點活動圖像的編碼中，能夠通過利用該相關(guān)性來提高編碼效率。
[0005]此處，對涉及二維活動圖像的編碼技術(shù)的現(xiàn)有技術(shù)進行說明。在包括作為國際編碼標(biāo)準(zhǔn)的H.264、MPEG-2、MPEG-4的現(xiàn)有的許多二維活動圖像編碼方式中，利用運動補償預(yù)測、正交變換、量化、熵編碼這樣的技術(shù)來進行高效率的編碼。例如，在H.264中，能夠?qū)崿F(xiàn)利用與過去或未來的多個幀的時間相關(guān)性的編碼。
[0006]例如在非專利文獻I中記載了 H.264中使用的運動補償預(yù)測技術(shù)的細節(jié)。對H.264中使用的運動補償預(yù)測技術(shù)的概要進行說明。H.264的運動補償預(yù)測許可將編碼對象幀分割為各種尺寸的塊并具有按照各塊不同的運動矢量和不同的參照幀。通過使用按照各塊不同的運動矢量來實現(xiàn)補償了按每個被攝體不同的運動的精度高的預(yù)測。另一方面，通過使用按照各塊不同的參照幀來實現(xiàn)考慮了由于時間變化而產(chǎn)生的遮擋的精度高的預(yù)測。
[0007]接下來，對現(xiàn)有的多視點圖像、多視點活動圖像的編碼方式進行說明。多視點圖像的編碼方法與多視點活動圖像的編碼方法的不同之處在于，在多視點活動圖像中，除了攝像機間的相關(guān)性之外，還同時存在時間方向的相關(guān)性。可是，關(guān)于利用攝像機間的相關(guān)性的方法，在哪一種情況下都能夠使用相同的方法。因此，此處，對在多視點活動圖像的編碼中使用的方法進行說明。
[0008]關(guān)于多視點活動圖像的編碼，歷來存在通過為了利用攝像機間的相關(guān)性而將運動補償預(yù)測應(yīng)用于相同時刻的由不同攝像機所拍攝的圖像的“視差補償預(yù)測”來高效率地對多視點活動圖像進行編碼的方式。此處，視差指的是被攝體上的相同部分在配置于不同的位置的攝像機的圖像平面上存在的位置之差。圖21是示出在攝像機間產(chǎn)生的視差的概念圖。在圖21所示的概念圖中，垂直地俯視光軸為平行的攝像機的圖像平面。像這樣，被攝體上的相同部分在不同的攝像機的圖像平面上投影的位置一般稱為對應(yīng)點。
[0009]在視差補償預(yù)測中，基于該對應(yīng)關(guān)系，根據(jù)參照幀來預(yù)測編碼對象幀的各像素值，對其預(yù)測殘差和示出對應(yīng)關(guān)系的視差信息進行編碼。視差按照每個成為對象的攝像機對、位置而變化，因此，需要按進行視差補償預(yù)測的每個區(qū)域?qū)σ暡钚畔⑦M行編碼。實際上，在H.264的多視點編碼方式中，按使用視差補償預(yù)測的每個塊對表示視差信息的矢量進行編碼。
[0010]由視差信息提供的對應(yīng)關(guān)系能夠通過使用攝像機參數(shù)基于對極幾何約束不是以二維矢量而是以示出被攝體的三維位置的一維量來表示。作為示出被攝體的三維位置的信息，存在各種表現(xiàn)，但是多使用從成為基準(zhǔn)的攝像機到被攝體的距離、與攝像機的圖像平面不平行的軸上的坐標(biāo)值。再有，也存在不使用距離而使用距離的倒數(shù)的情況。此外，由于距離的倒數(shù)為與視差成比例的信息，所以也存在設(shè)定2個成為基準(zhǔn)的攝像機而表現(xiàn)為由這些攝像機所拍攝的圖像間的視差量的情況。由于無論使用怎樣的表現(xiàn)，在其物理意義上都沒有本質(zhì)的不同，所以在以下不進行表現(xiàn)的區(qū)別，將這些示出三維位置的信息表現(xiàn)為深度。
[0011]圖22是對極幾何約束的概念圖。根據(jù)對極幾何約束，與某一攝像機的畫面上的點對應(yīng)的其他的攝像機的圖像上的點被約束在稱為對極線的直線上。此時，在得到了針對其像素的深度的情況下，對應(yīng)點在對極線上被單值確定。例如，如圖22所示那樣，關(guān)于針對在第一攝像機圖像中投影到m位置的被攝體的第二攝像機圖像中的對應(yīng)點，在實空間中的被攝體的位置為M’的情況下被投影到對極線上的位置m’，在實空間中的被攝體的位置為M’ ’的情況下被投影到對極線上的位置m’ ’。
[0012]在非專利文獻2中，利用該性質(zhì)，依照由針對參照幀的深度圖(距離圖像)提供的各被攝體的三維信息根據(jù)參照幀來合成針對編碼對象幀的預(yù)測圖像，由此，生成精度高的預(yù)測圖像，實現(xiàn)高效的多視點活動圖像的編碼。再有，基于該深度而生成的預(yù)測圖像被稱為視點合成圖像、視點內(nèi)插圖像、或者視差補償圖像。
[0013]進而，在專利文獻I中，最初將針對參照幀的深度圖(參照深度圖)變換為針對編碼對象幀的深度圖(假想深度圖)，使用該變換后的深度圖(假想深度圖)來求取對應(yīng)點，由此，能夠僅針對需要的區(qū)域生成視點合成圖像。由此，在一邊按成為編碼對象或解碼對象的幀的每個區(qū)域切換生成預(yù)測圖像的方法一邊對圖像或活動圖像進行編碼或解碼的情況下，實現(xiàn)了用于生成視點合成圖像的處理量、用于臨時積累視點合成圖像的存儲器的量的削減。
[0014]現(xiàn)有技術(shù)文獻專利文獻
專利文獻1:日本特開2010-21844號公報。
非專利文獻
非專利文獻 1:1TU-T Recommendat1n H.264 (03/2009), "Advanced video codingfor generic aud1visual services' March, 20090
非專利文獻2:Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and YoshiyukiYASHIMAj ^Mult1-view Video Coding based on 3-D Warping with Depth Map〃， InProceedings of Picture Coding Symposium 2006， SS3-6， April, 2006o
[0015]非專利文獻3:Y.Mori, N.Fukushimaj T.Fuji, and M.Tanimotoj 〃ViewGenerat1n with 3D Warping Using Depth Informat1n for FTV 〃， In Proceedings of3DTV-C0N2008, pp.229-232，May 2008。

【發(fā)明內(nèi)容】

[0016]發(fā)明要解決的課題
根據(jù)專利文獻I的方法，由于能針對編碼對象幀得到深度，所以能夠根據(jù)編碼對象幀的像素來求取參照幀上的對應(yīng)的像素。由此，通過僅針對編碼對象幀的所指定的區(qū)域生成視點合成圖像，從而與總是生成I幀量的視點合成圖像的情況相比，能夠削減處理量、所要求的存儲器的量。
[0017]然而，在根據(jù)針對參照幀的深度圖(參照深度圖)來合成針對編碼對象幀的深度圖(假想深度圖)的方法中，如圖11所示，雖然能夠從對編碼對象幀進行拍攝的視點進行觀測，但是對于不能從對參照幀進行拍攝的視點進行觀測的編碼對象幀上的區(qū)域(以下，稱為遮擋區(qū)域0CC)，存在不能得到深度信息這樣的問題。圖11是示出遮擋區(qū)域OCC發(fā)生的狀況的說明圖。這是因為在針對參照幀的深度圖上不存在對應(yīng)的深度信息。不能得到深度信息的結(jié)果是，發(fā)生了不能生成視點合成圖像的狀況。
[0018]在專利文獻I中，提供了如下方法:對針對變換而得到的編碼對象幀的深度圖(假想深度圖)進行假定了在實空間的連續(xù)性的補正，由此，對遮擋區(qū)域OCC也生成深度信息。在該情況下，由于遮擋區(qū)域OCC為被周邊的物體所遮擋的區(qū)域，所以在假設(shè)了在實空間的連續(xù)性的補正中，遮擋區(qū)域的周邊的背景物體OBJ-B的深度或者平滑地連結(jié)前景物體OBJ-F和背景物體OBJ-B的深度被提供為遮擋區(qū)域OCC的深度。
[0019]圖13示出了對遮擋區(qū)域OCC提供了其周邊的背景物體OBJ-B的深度的情況下(即，假定背景物體的連續(xù)性而對遮擋區(qū)域OCC提供了深度的情況下)的深度圖。在該情況下，背景物體OBJ-B的深度值被提供為編碼對象幀的遮擋區(qū)域OCC中的深度值。因而，當(dāng)使用所生成的假想深度圖來生成視點合成圖像時，如圖19所示，在參照幀中，由于遮擋而使背景物體OBJ-B被前景物體OBJ-F所遮擋，因此，遮擋區(qū)域OCC上的像素與參照幀上的前景物體OBJ-F上的像素相對應(yīng)，視點合成圖像的品質(zhì)降低。圖19是示出了在遮擋區(qū)域OCC中假定了背景物體的連續(xù)性的情況下在包括遮擋區(qū)域OCC的編碼對象幀中生成的視點合成圖像的說明圖。
[0020]另一方面，圖14示出了對遮擋區(qū)域OCC提供了平滑地連結(jié)前景物體OBJ-F和背景物體OBJ-B的深度的情況下(即，假定被攝體的連續(xù)性而對遮擋區(qū)域OCC提供了深度的情況下)的深度圖。在該情況下，從示出離視點近的深度值到示出離視點遠的深度值連續(xù)地變化的深度值被提供為編碼對象幀的遮擋區(qū)域OCC中的深度值。當(dāng)使用這樣的假想深度圖來生成視點合成圖像時，如圖20所示，遮擋區(qū)域OCC上的像素相對應(yīng)于參照幀上的前景對象OBJ-F的像素和背景對象OBJ-B的像素之間。圖20是示出了對遮擋區(qū)域OCC提供了平滑地連結(jié)前景物體OBJ-F和背景物體OBJ-B的深度的狀況下在包括遮擋區(qū)域OCC的編碼對象幀中生成的視點合成圖像的說明圖。此時的遮擋區(qū)域OCC的像素值通過對前景物體OBJ-F的像素和背景物體OBJ-B的像素進行內(nèi)插來得到。即，遮擋區(qū)域OCC的像素具有前景物體OBJ-F和背景物體OBJ-B混雜的值，在現(xiàn)實中是基本不會發(fā)生的狀況，因此，視點合成圖像的品質(zhì)降低。
[0021]針對這樣的遮擋區(qū)域，如非專利文獻3所代表的那樣，使用在遮擋區(qū)域的周邊區(qū)域中得到的視點合成圖像來進行修復(fù)(inpaint)處理，由此，能夠生成視點合成圖像。然而，為了進行修復(fù)處理，需要對遮擋區(qū)域的周邊區(qū)域也生成視點合成圖像，因此，不能得到能夠僅對編碼對象幀的所指定的區(qū)域生成視點合成圖像來削減處理量、臨時存儲器的量這樣的專利文獻I的效果。
[0022]本發(fā)明鑒于這樣的情形而完成，其目的在于提供一種能夠在對參照幀使用深度圖來生成編碼處理或解碼處理對象的幀的視點合成圖像時抑制視點合成圖像的品質(zhì)的降低并且實現(xiàn)高的編碼效率以及存儲器容量和運算量的削減的圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、圖像解碼程序、以及記錄介質(zhì)。
[0023]用于解決課題的方案
本發(fā)明是一種圖像編碼方法，在對作為多個視點的圖像的多視點圖像進行編碼時，使用針對與編碼對象圖像的視點不同的視點的編碼完畢的參照圖像和作為所述參照圖像中的被攝體的深度圖的參照深度圖來一邊在視點間預(yù)測圖像一邊進行編碼，所述圖像編碼方法具有:深度圖變換步驟，將所述參照深度圖變換為作為所述編碼對象圖像中的被攝體的深度圖的假想深度圖；遮擋區(qū)域深度生成步驟，對由于所述被攝體的前后關(guān)系而產(chǎn)生的在所述參照深度圖內(nèi)不存在深度值的遮擋區(qū)域分配針對與在所述參照圖像中被遮擋的被攝體相同的被攝體上的區(qū)域得到對應(yīng)關(guān)系的深度值，由此，生成所述遮擋區(qū)域的深度值；以及視點間圖像預(yù)測步驟，根據(jù)生成所述遮擋區(qū)域的深度值之后的所述假想深度圖和所述參照圖像來生成針對所述編碼對象圖像的視差補償圖像，由此，進行視點間的圖像預(yù)測。
[00