減小含有相互類似的信息的多個(gè)圖像的數(shù)據(jù)量的方法、程序及裝置,以及表現(xiàn)含有相互類...的制作方法【
技術(shù)領(lǐng)域：
】[0001]本發(fā)明涉及減小含有相互類似的信息的多個(gè)圖像的數(shù)據(jù)量(datasize)的方法、程序及裝置，以及表現(xiàn)含有相互類似的信息的多個(gè)圖像的數(shù)據(jù)結(jié)構(gòu)?！?br>背景技術(shù)：
】[0002]現(xiàn)在，正在研宄用于實(shí)現(xiàn)超臨場(chǎng)感交流的各種技術(shù)。作為這種技術(shù)之一，有利用多視點(diǎn)圖像提供高精細(xì)立體影像的三維影像技術(shù)。這種立體影像是這樣實(shí)現(xiàn)的:從非常多視點(diǎn)(例如，200視點(diǎn))拍攝被拍攝體，獲得視差圖像，從而利用視差圖像來實(shí)現(xiàn)立體影像。[0003]作為用于實(shí)用化這種立體影像的一個(gè)課題，提出了減小多視點(diǎn)圖像的數(shù)據(jù)量的方案。就多視點(diǎn)圖像而言，包括從多個(gè)視點(diǎn)分別觀察被拍攝體的信息，因此數(shù)據(jù)量大。對(duì)于這種課題，已經(jīng)提出了各種提案。[0004]例如，非專利文獻(xiàn)I公開了稱為多視點(diǎn)圖像的適應(yīng)式分散編程的方法。更具體而言，該方法基于模數(shù)運(yùn)算器，針對(duì)從各視點(diǎn)得到的圖像，在互相不進(jìn)行信息交換的狀態(tài)下進(jìn)行編碼，并且，在解碼時(shí)允許視點(diǎn)間的信息交換。[0005]非專利文獻(xiàn)2及非專利文獻(xiàn)3都公開了基于圖像間的殘差(residual)及距離(depths)的方法。在這些方法中，使用一個(gè)以上的原形圖像及從原形圖像變形而來的圖像(warpedview)與相鄰圖像(neighborviews)之間的差。這樣變形的圖像是根據(jù)相鄰圖像生成的與原形圖像對(duì)應(yīng)的假想圖像。[0006]現(xiàn)有技術(shù)文獻(xiàn)[0007]非專利文獻(xiàn)[0008]非專利文獻(xiàn)1:MehrdadPanahpourTehrani,ToshiakiFujii,MasayukiTanimoto,^TheAdaptiveDistributedSourceCodingofMulti_ViewImagesinCameraSensorNetworks〃，IEICETrans,E88-A(10),2835-2843,(2005)[0009]非專利文獻(xiàn)2:Κ.Mueller，A.Smolic，K.Dix，P.Merkle，P.KauffT.Wiegandj"Reliability-basedgenerat1nandviewsynthesisinlayereddepthvideo"，inProc.1EEEIntlConfonMMSPj34-39(Oct.2008)[0010]非專利文獻(xiàn)3；M.TanimotojM.Wildeboerj^FrameworksforFTVcoding^jinProc.PCS,1-4(May2009)[0011]非專利文獻(xiàn)4:R.SzeliskijR.ZabihjD.Scharsteinj0.Veksler,V.Kolmogorov,A.AgarwalajM.TappenandC.Rotherj^Acomparativestudyofenergyminimizat1nmethodsforMarkovrandomfieldswithsmoothness-basedpr1rs,^IEEETrans.PatternAnal.MachineIntell.，30(6)，1068-1080，(2008)[0012]非專利文獻(xiàn)5；Y.Boykov,0.VekslerandR.Zabihj^Fastapproximateenergyminimizat1nviagraphcuts,^IEEETrans.PatternAnal.Machinelntell.,23,1222-1239，(Nov.2001)[0013]非專利文獻(xiàn)6:Υ.Mori,Ν.FukushimajΤ.YendojΤ.FujiiandΜ.Tanimotoj"Viewgenerat1nwith3Dwarpingusingdepthinformat1nforFTV，"SignalProcess.:1mageCommun.，24，65-72，(Jan.2009)[0014]非專利文獻(xiàn)7:L.Yang，Τ.Yendo，Μ.PanahpourTehrani，Τ.FujiiandM.Tanimotoj"ProbabilisticreliabilitybasedviewsynthesisforFTV〃，inProc.1CIPj1785-1788，(Sep.2010)[0015]非專利文獻(xiàn)8:Ν.FukushimajΤ.Fujii，Y.1shibashijΤ.YendojandΜ.Tanimotoj"Real-timefreeviewpointimagerenderingbyusingfastmult1-passdynamicprogramming，"inProc.3DTV-C0N，(June2010)[0016]非專利文獻(xiàn)9:Α.Smolic，P.Kauff，S.Knorr，A.Hornung，Μ.Kunter，Μ.Muller,andM.Lang,"Three-Dimens1nalVideoPostproduct1nandProcessing"，inProc.1EEE,99(4)，607-625，(Apr.2011)[0017]非專利文獻(xiàn)10:Υ.Mori,N.FukushimajΤ.Fujii，andM.Tanimotoj^Viewgenerationwith3Dwarpingusingdepthinformat1nforFTVj"ImageCommunicat1n.,Vol.24，N0.1-2(2009)【
發(fā)明內(nèi)容】[0018]發(fā)明要解決的問題[0019]上述的非專利文獻(xiàn)I所公開的方法，主要假設(shè)面向分散信源編碼、分散影像幀編碼等的應(yīng)用，因此在編碼處理中沒有考慮到視點(diǎn)間的聯(lián)合。另外，在非專利文獻(xiàn)I所公開的方法中，在編碼處理及解碼處理中，雖然使用了邊信息(sideinformat1n)，但在與原形圖像的值之間的差大的區(qū)域中，邊信息的精度沒有那么高，因此有時(shí)導(dǎo)致解碼后的圖像品質(zhì)低下。相反，在非專利文獻(xiàn)2及3所公開的方法中，相對(duì)于邊信息所含的原形圖像，在差小的區(qū)域，無法恰當(dāng)復(fù)原其所含的信息。[0020]本發(fā)明為了解決上述問題，目的在于，提供一種高效降低含有相互類似的信息的多個(gè)圖像的數(shù)據(jù)量的方法、程序及裝置，以及表現(xiàn)含有相互類似的信息的多個(gè)圖像的數(shù)據(jù)結(jié)構(gòu)。[0021]用于解決課題的手段[0022]根據(jù)本發(fā)明的一個(gè)方面，提供一種減小含有相互類似的信息的多個(gè)圖像的數(shù)據(jù)量的方法。本方法包括:取得多個(gè)圖像，并且，在多個(gè)圖像中選擇與對(duì)象圖像以及對(duì)象圖像類似的第一參照?qǐng)D像及第二參照?qǐng)D像的步驟；基于第一參照?qǐng)D像及第二參照?qǐng)D像，生成與對(duì)象圖像對(duì)應(yīng)的合成圖像的步驟；生成掩模圖像的步驟，掩模圖像表示根據(jù)第一參照?qǐng)D像及第二參照?qǐng)D像生成的合成圖像相對(duì)于對(duì)象圖像的潛在誤差；生成與殘差對(duì)應(yīng)的殘差圖像的步驟，殘差是指對(duì)象圖像與合成圖像之間的差；基于掩模圖像，對(duì)潛在誤差相對(duì)大的區(qū)域分配殘差圖像的對(duì)應(yīng)的區(qū)域的信息，從而生成與對(duì)象圖像對(duì)應(yīng)的變換后圖像的步驟；輸出第一參照?qǐng)D像、第二參照?qǐng)D像及變換后圖像，來作為表現(xiàn)對(duì)象圖像、第一參照?qǐng)D像及第二參照?qǐng)D像的信息的步驟。[0023]優(yōu)選地，在本方法中，還包括:對(duì)對(duì)象圖像的各像素位置的亮度值進(jìn)行取模計(jì)算，計(jì)算出各像素位置的余數(shù)，從而生成由余數(shù)構(gòu)成的余數(shù)圖像的步驟；在生成變換后圖像的步驟中包括:基于掩模圖像，對(duì)潛在誤差相對(duì)小的區(qū)域，分配余數(shù)圖像的對(duì)應(yīng)的區(qū)域的信息的步驟。[0024]優(yōu)選地，在生成變換后圖像的步驟中包括:將掩模圖像的各像素位置的值與預(yù)定的閾值進(jìn)行比較，從而區(qū)別潛在誤差相對(duì)大的區(qū)域和潛在誤差相對(duì)小的區(qū)域的步驟。[0025]優(yōu)選地，在生產(chǎn)殘差圖像的步驟中包括如下步驟:針對(duì)根據(jù)對(duì)象圖像與合成圖像的差生成的圖像進(jìn)行比特平面變換。[0026]優(yōu)選地，在本方法中，還包括:取得所輸出的第一參照?qǐng)D像、第二參照?qǐng)D像及變換后圖像的步驟；基于所取得的第一參照?qǐng)D像及第二參照?qǐng)D像，生成與對(duì)象圖像對(duì)應(yīng)的合成圖像的步驟；根據(jù)所取得的第一參照?qǐng)D像及第二參照?qǐng)D像，生成掩模圖像的步驟；基于掩模圖像，在變換后圖像中提取潛在誤差相對(duì)大的區(qū)域的信息，并且，基于所提取的該信息和合成圖像，決定對(duì)象圖像的對(duì)應(yīng)的像素位置的亮度值的步驟。[0027]更優(yōu)選地，在本方法中還包括，基于掩模圖像，在變換后圖像中，對(duì)潛在誤差相對(duì)小的區(qū)域的信息進(jìn)行逆取模計(jì)算，從而決定對(duì)象圖像的對(duì)應(yīng)的像素位置的亮度值的步驟。[0028]更優(yōu)選地，在決定亮度值的步驟中，在變換后圖像的中對(duì)潛在誤差相對(duì)大的區(qū)域的信息進(jìn)行比特平面變換，并且，對(duì)通過該比特平面變換而比特?cái)?shù)增大的圖像與合成圖像相加，從而決定亮度值。[0029]更優(yōu)選地，進(jìn)行輸出的步驟還包括輸出對(duì)象圖像的縮小圖像的步驟，在該方法中還包括:在根據(jù)所決定的亮度值重建的對(duì)象圖像中，對(duì)于與通過對(duì)縮小圖像進(jìn)行增采樣而得的放大圖像之間的差相對(duì)大的區(qū)域，將其置換為放大圖像的對(duì)應(yīng)的值。[0030]優(yōu)選地，進(jìn)行選擇的步驟包括:在多個(gè)圖像是多視點(diǎn)圖像的情況下，基于基線距離，選擇對(duì)象圖像以及第一參照?qǐng)D像及第二參照?qǐng)D像的步驟；在多個(gè)圖像是影像幀列的情況下，基于幀速率，選擇對(duì)象圖像以及第一參照?qǐng)D像及第二參照?qǐng)D像的步驟。[0031]根據(jù)本發(fā)明的另一方面，提供一種減小含有相互類似的信息的多個(gè)圖像的數(shù)據(jù)量的程序。該程序使計(jì)算機(jī)執(zhí)行如下步驟:取得多個(gè)圖像，并且，在多個(gè)圖像中選擇與對(duì)象圖像以及對(duì)象圖像類似的第一參照?qǐng)D像及第二參照?qǐng)D像的步驟；基于第一參照?qǐng)D像及第二參照?qǐng)D像，生成與對(duì)象圖像對(duì)應(yīng)的合成圖像的步驟；生成掩模圖像的步驟，掩模圖像表示根據(jù)第一參照?qǐng)D像及第二參照?qǐng)D像生成的合成圖像相對(duì)于對(duì)象圖像的潛在誤差；生成與殘差對(duì)應(yīng)的殘差圖像的步驟，殘差是指對(duì)象圖像與合成圖像之間的差；基于掩模圖像，對(duì)潛在誤差相對(duì)大的區(qū)域分配殘差圖像的對(duì)應(yīng)的區(qū)域的信息，從而生成與對(duì)象圖像對(duì)應(yīng)的變換后圖像的步驟；輸出第一參照?qǐng)D像、第二參照?qǐng)D像及變換后圖像，來作為表現(xiàn)對(duì)象圖像、第一參照?qǐng)D像及第二參照?qǐng)D像的信息的步驟。[0032]根據(jù)本發(fā)明的另一其它方面，提供一種減小含有相互類似的信息的多個(gè)圖像的數(shù)據(jù)量的裝置。本裝置包括:取得多個(gè)圖像，并且，在多個(gè)圖像中選擇與對(duì)象圖像以及對(duì)象圖像類似的第一參照?qǐng)D像及第二參照?qǐng)D像的單元；基于第一參照?qǐng)D像及第二參照?qǐng)D像，生成與對(duì)象圖像對(duì)應(yīng)的合成圖像的單元；生成掩模圖像的單元，掩模圖像表示根據(jù)第一參照?qǐng)D像及第二參照?qǐng)D像生成的合成圖像相對(duì)于對(duì)象圖像的潛在誤差；生成與殘差對(duì)應(yīng)的殘差圖像的單元，殘差是指對(duì)象圖像與合成圖像之間的差；基于掩模圖像，對(duì)潛在誤差相對(duì)大的區(qū)域分配殘差圖像的對(duì)應(yīng)的區(qū)域的信息，從而生成與對(duì)象圖像對(duì)應(yīng)的變換后圖像的單元；輸出第一參照?qǐng)D像、第二參照?qǐng)D像及變換后圖像，來作為表現(xiàn)對(duì)象圖像、第一參照?qǐng)D像及第二參照?qǐng)D像的信息的單元。[0033]根據(jù)本發(fā)明的另一其它方面，提供一種表現(xiàn)含有相互類似的信息的多個(gè)圖像的數(shù)據(jù)結(jié)構(gòu)。本數(shù)據(jù)結(jié)構(gòu)具有:與多個(gè)圖像所含的對(duì)象圖像對(duì)應(yīng)的變換后圖像；與對(duì)象圖像類似的第一參照?qǐng)D像及第二參照?qǐng)D像；在變換后圖像中，對(duì)于根據(jù)第一參照?qǐng)D像及第二參照?qǐng)D像生成的合成圖像相對(duì)于對(duì)象圖像的潛在誤差相對(duì)大的區(qū)域，分配與殘差對(duì)應(yīng)的殘差圖像的對(duì)應(yīng)的區(qū)域的信息，殘差是對(duì)象圖像與合成圖像之間的差。[0034]發(fā)明的效果[0035]通過本發(fā)明，能夠更加高效地減小含有相互類似的信息的多個(gè)圖像的數(shù)據(jù)量?！靖綀D說明】[0036]圖1是表示應(yīng)用本實(shí)施方式的數(shù)據(jù)量減小方法的立體影像再生系統(tǒng)(3Ddisplaysreproduct1nsystem)I的圖。[0037]圖2是表示本實(shí)施方式的含有相互類似的信息的多個(gè)圖像(多視點(diǎn)圖像)的一例的示意圖。[0038]圖3是表示本實(shí)施方式的含有相互類似的信息的多個(gè)圖像(影像幀列)的一例的示意圖。[0039]圖4是表示圖1所示的發(fā)揮編碼器功能的信息處理裝置的硬件結(jié)構(gòu)的示意圖。[0040]圖5是表示圖1所示的發(fā)揮解碼器功能的信息處理裝置的硬件結(jié)構(gòu)的示意圖。[0041]圖6是表示本實(shí)施方式的數(shù)據(jù)量減小方法的全部處理步驟的流程圖。[0042]圖7是表示本實(shí)施方式的數(shù)據(jù)量減小方法的編碼處理的功能結(jié)構(gòu)的框圖。[0043]圖8是表示本實(shí)施方式的數(shù)據(jù)量減小方法中的合成圖像的生成處理的結(jié)果的圖。[0044]圖9是用于說明本實(shí)施方式的數(shù)據(jù)量減小方法中的掩模圖像(maskimage)的生成處理的示意圖。[0045]圖10是表示本實(shí)施方式的數(shù)據(jù)量減小方法中的掩模圖像的生成處理的結(jié)果的圖。[0046]圖11是用于說明本實(shí)施方式的數(shù)據(jù)量減小方法中的殘差圖像的生成處理的示意圖。[0047]圖12是表示本實(shí)施方式的數(shù)據(jù)量減小方法中的殘差圖像的生成處理的結(jié)果的圖。[0048]圖13是表示圖7所示的余數(shù)圖像生成部的更詳細(xì)的功能結(jié)構(gòu)的框圖。[0049]圖14是用于說明在本實(shí)施方式的數(shù)據(jù)量減小方法中用于邊信息選擇的誤差分布的計(jì)算處理的示意圖。[0050]圖15是表示在本實(shí)施方式中生成余數(shù)圖像時(shí)使用的查詢表(lookuptable)的一例的圖。[0051]圖16是表示本實(shí)施方式的余數(shù)圖像的生成處理的結(jié)果的圖。[0052]圖17是表示本實(shí)施方式的合成圖像的生成處理的結(jié)果的圖。[0053]圖18是表示本實(shí)施方式的合成圖像的生成處理的結(jié)果的圖。[0054]圖19是表示本實(shí)施方式的數(shù)據(jù)量減小方法的對(duì)解碼處理輸入的對(duì)象圖像的一例。[0055]圖20是表示根據(jù)圖19所示的對(duì)象圖像生成的殘差圖像的一例。[0056]圖21是表示根據(jù)圖19所示的對(duì)象圖像生成的余數(shù)圖像的一例。[0057]圖22是表示根據(jù)圖19所示的對(duì)象圖像生成的掩模圖像的一例。[0058]圖23是表示根據(jù)圖19所示的對(duì)象圖像生成的合成圖像的一例。[0059]圖24是表示本實(shí)施方式的數(shù)據(jù)量減小方法的解碼處理的功能結(jié)構(gòu)的框圖。[0060]圖25是用于說明本實(shí)施方式的數(shù)據(jù)量減小方法的解碼處理的概要的示意圖。[0061]圖26是用于說明本實(shí)施方式的數(shù)據(jù)量減小方法中的重建圖像的生成處理的示意圖。[0062]圖27是表示圖24所示的余數(shù)圖像生成部的更詳細(xì)的功能結(jié)構(gòu)的框圖。[0063]圖28是表示通過本實(shí)施方式的第三變形例的數(shù)據(jù)量減小方法來生成的余數(shù)圖像的一例。[0064]圖29是表示通過本實(shí)施方式的第四變形例當(dāng)前第1頁(yè)1 2 3 4 5 6