計(jì)算合成圖片的方法與裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種計(jì)算視覺(jué)場(chǎng)景的合成圖片的方法和裝置，尤其涉及計(jì)算機(jī)視覺(jué)領(lǐng)域、3D視頻處理領(lǐng)域以及3D視頻合成領(lǐng)域。
【背景技術(shù)】
[0002]3D視頻合成是在需要虛擬視圖渲染的應(yīng)用中使用。該類(lèi)應(yīng)用包括如自由視點(diǎn)電視(FTV)，視點(diǎn)可以根據(jù)觀看者的喜好選擇；或者如多視角視頻的3D視頻編碼，其中一些視圖是由其他視圖合成，通過(guò)限制待傳輸視圖的數(shù)目以增強(qiáng)對(duì)內(nèi)容的壓縮。在3D視頻中，視圖合成是基于可用參考視圖(物理視圖，也稱(chēng)作紋理視圖)創(chuàng)造虛擬視圖的過(guò)程，其中視覺(jué)場(chǎng)景是從可用參考視圖中獲取。
[0003]視圖合成的最常用方法是在[LMcMillan，An image-based approach tothree-dimens1nal computer graphics，博士論文，美國(guó)，北卡羅來(lái)納大學(xué)教堂山分校，1997年4月]中描述，被稱(chēng)作基于深度圖像繪制(DIBR)方法。該方法利用深度圖從視點(diǎn)定義場(chǎng)景點(diǎn)之間的距離，以使將對(duì)應(yīng)的紋理信息投射成虛擬視圖位置。
[0004]深度圖可定義為描述視覺(jué)場(chǎng)景中各部分間距的信息，可以以灰度圖像的形式呈現(xiàn)，或者可以使用視差圖呈現(xiàn)，其中視差圖的取值與代表深度圖的取值成反比。基于DIBR合成方法中，可以分為前向投影算法和后向投影算法兩種方法。在前向投影算法中，參考視圖中圖片的每個(gè)樣本的坐標(biāo)投射到合成圖片上，形成非整數(shù)樣本坐標(biāo)。這意味著合成圖片中樣本的實(shí)際取值必須以某種方式從參考視圖投射出的最近樣本估算出來(lái)。另一方面，在后向投影方法中，合成圖片中每個(gè)樣本的坐標(biāo)都投射到參考視圖上。因此，樣本的取值是基于靠近該投影樣本的位置的參考視圖中圖片的樣本決定。兩種方法在一些方面是有區(qū)別的，比如空洞區(qū)域檢測(cè)和處理以及同時(shí)掃描超過(guò)一張參考視圖從而通過(guò)插值方法生成合成輸出圖片或者所需圖像的可能性也就是說(shuō)，水平方向放置的左參考視圖和右參考視圖能被區(qū)分開(kāi)來(lái)。依據(jù)基于深度圖像繪制(DIBR)方法的最有效的尖端虛擬視圖合成算法依賴(lài)于前向投影算法，該前向投影算法合并由左參考視圖和右參考視圖合成的圖片，從而生成合成輸出圖片。當(dāng)前最尖端的解決方案一HEVC測(cè)試模型采用如圖1所示的合成算法10t3HEVC測(cè)試模型為[H.Schwarz，K.Wegner，Test Model under Considerat1n for HEVC based 3Dvideo coding，MPEG Doc，ml2350，2011 年 11 月]中描述的 JCT-3V (3D 聯(lián)合 ITU-T/MPEG 標(biāo)準(zhǔn)化工作)所采用。
[0005]在算法100中，左右視圖的紋理ST,^St,r和左右視圖的深度S DiI和SD,r用于執(zhí)行前向投影步驟1la和101b。該步驟中，參考視圖中的樣本通過(guò)DIBR算法投影成合成視圖。該步驟輸出ST，/圖，St，/圖，Scu’圖和SD，/圖，以及投射到合成視圖中的左右紋理和深度。同時(shí)，該算法在輸出的ST，/圖，St，/圖，Scu ’圖，SD，/圖中檢測(cè)空洞區(qū)域。這些區(qū)域以填充掩碼Sy’和SF，/的形式呈現(xiàn)；Sy’和SF，/用于標(biāo)識(shí)由各參考視圖合成的圖片中需要填充的區(qū)域。進(jìn)一步為創(chuàng)造可信圖的步驟105a和105b ;在該步驟中，修改Sf^和SF-’填充掩碼以生成Sm’和SR，/可信圖?；诠浪愕臉颖救≈嫡_概率，每個(gè)可信圖都表明了由參考視圖片合成的圖片中每個(gè)樣本對(duì)輸出圖片中樣本的最終取值的作用。因此，可以控制可信圖的取值以減少合成偽影，例如，在空洞區(qū)域邊界的合成偽影?，F(xiàn)有技術(shù)采用可信圖減少合成偽影，該合成偽影因單個(gè)參考視圖中紋理邊界與深度邊界不一致而產(chǎn)生。該解決方案應(yīng)用于視覺(jué)場(chǎng)景中與空洞區(qū)域相鄰的背景區(qū)域。該流程在[Descript1n of 3D VideoTechnology Proposal by Fraunhofer HHI(HEVC compatible !configurat1n A)， M〃UEGm22570，2011年11月]中提出，并且可描述如下。每一個(gè)在預(yù)定義間隔之內(nèi)鄰近空洞區(qū)域邊界的背景像素稱(chēng)作過(guò)渡區(qū)域201，像素200的可信度根據(jù)圖2所示的線(xiàn)性函數(shù)203減少。因此，直接位于空洞區(qū)域邊界的像素的可信度等于0，并且在水平方向線(xiàn)性增長(zhǎng)至像素點(diǎn)的最大可信度，使像素與邊界的距離等于過(guò)渡區(qū)域ATR 201的寬度。
[0006]在最后的合并107由左參考視圖和右參考視圖合成的圖片的步驟之前，基于預(yù)定的標(biāo)準(zhǔn)計(jì)算103左右視圖之間的平面區(qū)分圖Spj/。合并步驟107的目的是，對(duì)比每個(gè)參考視圖的樣本和另一個(gè)可用參考視圖的對(duì)應(yīng)樣本，以確定二者是否屬于視覺(jué)場(chǎng)景的同一平面。如果由一個(gè)參考視圖合成且處于像素位置(x，y)的樣本比處于相同的像素位置但是由另一個(gè)參考視圖合成的樣本更靠近攝像頭，那么這兩個(gè)樣本都標(biāo)記為屬于視覺(jué)場(chǎng)景的不同平面。一個(gè)樣本是否比另一個(gè)樣本更接近攝像頭是通過(guò)對(duì)比分配給兩個(gè)樣本的深度值之差與預(yù)定義閾值來(lái)判定的。合并步驟107中，使用可信圖的加權(quán)平均作為每個(gè)合并樣本的權(quán)重，以計(jì)算合成輸出樣本的取值:
[0007]V (X，y) = W1 (X，y) V1 (x，y) +wr (x，y) vr (x，y)
[0008]其中:
[0009]v(x, y)表示合成圖片中位于位置(X，y)的樣本的取值，
[0010]V1 (X，y)表示由左參考視圖片合成的圖片中位于坐標(biāo)位置(X，y)的樣本的取值，
[0011]vr(x, y)表示由右參考視圖片合成的圖片中位于坐標(biāo)位置(X，y)的樣本的取值，
[0012]W1 (X，y)表示V1 (X，y)樣本的權(quán)重，
[0013]wr (x, y)表示Vr (X，y)樣本的權(quán)重。
[0014]然而，在兩個(gè)樣本屬于視覺(jué)場(chǎng)景的不同平面的情況下，輸出樣本的取值是基于僅僅一個(gè)輸入樣本，即更靠近攝像頭的樣本的取值計(jì)算的。并且，是基于平面區(qū)分圖Sp+’和深度圖Sdi’，SD；決定。
[0015]在用于虛擬視圖合成的基于深度圖像繪制(DIBR)方法中，如果在合并步驟中使用超過(guò)一個(gè)參考視圖生成合成輸出圖片，不同參考視圖的深度圖之間的視圖間不一致會(huì)導(dǎo)致場(chǎng)景對(duì)象合成偽影以附加對(duì)象邊界的形式呈現(xiàn)。解決該問(wèn)題的方法是使用視圖間一致的深度圖。然而，在現(xiàn)有的多攝像頭場(chǎng)景中，視圖間一致的深度圖的估算和獲取非常困難，甚至是以現(xiàn)有技術(shù)無(wú)法實(shí)現(xiàn)。主要問(wèn)題是計(jì)算復(fù)雜度高，由于視圖間的視差估算的誤差，實(shí)現(xiàn)全自動(dòng)化是極其困難的；雖然半自動(dòng)化或者人工方法可以解決該問(wèn)題，但是通常它們不一定適用。

【發(fā)明內(nèi)容】

[0016]本發(fā)明的目的是為3D視圖合成提供更先進(jìn)的技術(shù)。
[0017]該目的通過(guò)獨(dú)立權(quán)利要求的特征實(shí)現(xiàn)。結(jié)合獨(dú)立權(quán)利要求、說(shuō)明書(shū)和附圖會(huì)使具體實(shí)施形式更易于理解。
[0018]本發(fā)明基于以下發(fā)現(xiàn):改進(jìn)的3D視圖合成技術(shù)能最小化由參考圖片合成的圖片的加權(quán)平均而產(chǎn)生的場(chǎng)景中對(duì)象的合成偽影。在參考圖片的對(duì)象邊界不對(duì)齊的情況下，可以通過(guò)減少對(duì)象邊界相鄰樣本的權(quán)重來(lái)進(jìn)行由參考圖片合成的圖片的加權(quán)平均使得合成偽影最小化。通過(guò)合理規(guī)范降低權(quán)重和權(quán)重修改模式的應(yīng)用條件，可達(dá)到進(jìn)一步的改進(jìn)。
[0019]為詳細(xì)描述本發(fā)明，將使用以下術(shù)語(yǔ)、縮寫(xiě)和符號(hào):
[0020]3D:
[0021]三維；
[0022]3D 視頻:
[0023]包含兩種紋理視圖及其對(duì)應(yīng)深度圖或視差圖的信號(hào)。
[0024]視覺(jué)場(chǎng)景:
[0025]現(xiàn)實(shí)世界或者用3D視頻呈現(xiàn)的合成場(chǎng)景。
[0026]深度圖:
[0027]灰度圖片，其中圖片中每一個(gè)點(diǎn)的取值決定到該點(diǎn)代表的視覺(jué)場(chǎng)景的攝像頭的距離，或者，根據(jù)本發(fā)明可利用視差圖和反演值形成深度圖，其中視差圖的取值與深度圖的取值成反比；
[0028]空洞區(qū)域:
[0029]在參考視圖合成的圖片中且不可見(jiàn)于參考視圖的區(qū)域。
[0030]視覺(jué)平面:
[0031]圖片區(qū)域，指與攝像頭有著相似距離的視覺(jué)場(chǎng)景中的部分，基于視覺(jué)場(chǎng)景中呈現(xiàn)內(nèi)容的語(yǔ)義分析或者分配給圖片各部分的深度值，可將像素分配到特定的視覺(jué)平面；
[0032]前景對(duì)象:
[0033]指視覺(jué)場(chǎng)景中相比于鄰近該對(duì)象邊界的區(qū)域與攝像頭距離更小的對(duì)象，并且該對(duì)象與所述鄰近區(qū)域不屬于同一視覺(jué)平面；
[0034]鄰近視覺(jué)場(chǎng)景空洞區(qū)域的前景區(qū)域和背景區(qū)域:
[0035]在攝像頭水平布置的情況下，鄰近空洞區(qū)域左右邊界的圖片區(qū)域?qū)儆诘綌z像頭距離不同的視覺(jué)平面；從這個(gè)意義上來(lái)說(shuō)，背景區(qū)域定義為屬于到攝像頭距離更遠(yuǎn)的視覺(jué)平面的圖片區(qū)域，而前景區(qū)域則定義為屬于到相機(jī)距離更近的視覺(jué)平面的圖片區(qū)域；
[0036]虛擬視圖(這里也稱(chēng)作合成視圖):
[0037]視覺(jué)場(chǎng)景中的視圖，產(chǎn)生于自由選擇的位置，且該位置不受用于獲取視覺(jué)場(chǎng)景的攝像頭的真正位置的限制；
[0038]合成圖片:
[0039]虛擬視圖中的一幀；
[0040]參考圖片:
[0041]參考視圖中的一幀。
[0042]第一方面，本發(fā)明涉及一種計(jì)算視覺(jué)場(chǎng)景的合成圖片的方法，所述方法基于所述視覺(jué)場(chǎng)景的左參考視圖的左深度圖和所述視覺(jué)場(chǎng)景的右參考視圖的右深度圖，所述方法包括:將所述左深度圖投射成左投影深度圖，將所述右深度圖投射成右投影深度圖，并確定所述左投影深度圖中的左空洞區(qū)域以及所述右投影深度圖中的右空洞區(qū)域；檢測(cè)所述左投影深度圖和所述右投影深度圖之間的對(duì)象邊界失準(zhǔn)；基于所述左空洞區(qū)域和檢測(cè)到的對(duì)象邊界失準(zhǔn)確定左可信圖信息，并基于所述右空洞區(qū)域和檢測(cè)到的對(duì)象邊界失準(zhǔn)確定右可信圖信息；通過(guò)所述左可信圖信息和所述右可信圖信息合并所述左參考視圖的左投影圖以及所述右參考視圖的右投影圖來(lái)計(jì)算所述合成圖片。
[0043]通過(guò)檢測(cè)所述左投影深度圖和所述右投影深度圖之間的對(duì)象邊界失準(zhǔn)，基于所述左空洞區(qū)域和檢測(cè)到的對(duì)象邊界失準(zhǔn)確定所述左可信圖信息，基于所述右空洞區(qū)域和檢測(cè)到的對(duì)象邊界失準(zhǔn)確定所述右可信圖信息，可以減少由兩視圖間不準(zhǔn)確的深度或者視差估算所導(dǎo)致的視圖合成誤差。
[0044]根據(jù)第一方面，在所述方法的第一種可能的實(shí)現(xiàn)形式中，所述確定左可信圖信息和右可信圖信息包括:基于所述左空洞區(qū)域確定所述左可信圖信息，基于所述右空洞區(qū)域確定所述右可信圖信息；當(dāng)檢測(cè)到所述左投影深度圖和所述右投影深度圖之間的對(duì)象邊界失準(zhǔn)時(shí)，修改所述左可信圖信息和/或所述右可信圖信息。
[0045]在檢測(cè)到對(duì)象邊界失準(zhǔn)的情況下，通過(guò)修改所述左可信性信息和/或所述右可信圖信息，可以提高所述合成圖片的質(zhì)量。
[0046]根據(jù)第一方面的第一種實(shí)現(xiàn)形式，在所述方法的第二種可能的實(shí)現(xiàn)形式中，基于所述左投影深度圖和所述右投影深度圖確定所述左投影深度圖Scu’和所述右投影深度圖之間的平面區(qū)分圖；基于所述左投影深度圖確定所述左投影深度圖的左平面區(qū)分圖；基于所述右投影深度圖確定所述右投影深度圖的右平面區(qū)分圖，其中所述確定左可信圖信息是基于所述左平面區(qū)分圖和所述平面區(qū)分圖進(jìn)行的，所述確定右可信圖信息是基于所述右平面區(qū)分圖和所述平面區(qū)分圖進(jìn)行的。
[0047]通過(guò)基于所述平面區(qū)分圖確定左可信圖和右可信圖，可以減少由不準(zhǔn)確的深度圖