專利名稱:多視點(diǎn)視頻中基于空時(shí)結(jié)合的虛擬視點(diǎn)繪制方法
技術(shù)領(lǐng)域:
本發(fā)明涉及一種基于深度圖像的虛擬視點(diǎn)合成方法,屬于視頻、多媒體信號(hào)處理技術(shù)領(lǐng)域。
背景技術(shù):
憑借良好的用戶交互性以及生動(dòng)逼真的視覺體驗(yàn),三維立體電視成為新一代多媒體技術(shù)的領(lǐng)跑者。真實(shí)場景的深度信息的構(gòu)建使立體電視給人一種景物伸展于熒屏之外伸手可觸的感覺。其中,多視點(diǎn)視頻被認(rèn)為擁有極其廣闊的應(yīng)用前景。它的主要實(shí)現(xiàn)目標(biāo)是,在播放端,針對(duì)同一場景,用戶可以根據(jù)自己的需要選擇不同的視點(diǎn)欣賞不同角度的場景,以獲取強(qiáng)烈的臨場感與真實(shí)感。然而,傳輸帶寬以及傳輸速率的限制增加了多視點(diǎn)視頻實(shí)現(xiàn)的難度。于是,虛擬視點(diǎn)合成技術(shù)應(yīng)運(yùn)而生。虛擬視點(diǎn)合成的方法有很多種,其中,基于深度圖像的視點(diǎn)合成是一種典型的方法。它可以利用一路視頻的彩色圖像與深度圖像,合成其他任意視點(diǎn)的視頻信息。在視點(diǎn)合成的過程中,原始視點(diǎn)中被遮擋的背景部分有可能在虛擬視點(diǎn)中暴露出來,這就是所謂的空洞問題。由于這部分暴露出來的區(qū)域在原始視點(diǎn)中是找不到參考信息的,所以空洞問題成為視點(diǎn)合成中最具挑戰(zhàn)性的問題,如何高效高質(zhì)地完成視點(diǎn)合成的問題便轉(zhuǎn)換為如何準(zhǔn)確地填補(bǔ)空洞的問題。在傳統(tǒng)的基于深度圖像的視點(diǎn)合成方法中,主要分為三個(gè)基本步驟:參考視點(diǎn)深度圖像的平滑處理、通過3D圖像變換獲得虛擬視點(diǎn)深度圖像與彩色圖像、空洞填充。這類方法得到的虛擬視點(diǎn)彩色圖像中會(huì)出現(xiàn)一些小的裂紋和大片的空洞區(qū)域。尤其是對(duì)于后者,無論是通過鄰域賦值、線性插值,還是使用復(fù)雜度較高的圖像修復(fù)算法進(jìn)行填充,都僅僅是在空域上利用空洞的周邊信息進(jìn)行推測的過程,難以具備較高的可信度,獲得的虛擬視點(diǎn)圖像也難以準(zhǔn)確地反映真實(shí)的場景。
發(fā)明內(nèi)容
為解決現(xiàn)有的基于深度圖像的視點(diǎn)合成方法中,基于空域的圖像后處理所導(dǎo)致的虛擬視點(diǎn)合成的欠準(zhǔn)確性問題,本發(fā)明提出一種新的基于深度圖的視點(diǎn)合成方法。鑒于在參考視點(diǎn)中,被遮擋的背景部分(即導(dǎo)致虛擬視點(diǎn)中空洞的部分)隨著時(shí)間的推移會(huì)暴露出來,這也就意味著,我們可以從參考視點(diǎn)目標(biāo)幀的前后幀中找到待修復(fù)的空洞部分的準(zhǔn)確信息。利用這一點(diǎn),本發(fā)明提出了空域和時(shí)域相結(jié)合進(jìn)行虛擬視點(diǎn)合成的方法,其中一部分空洞可以通過時(shí)域的信息進(jìn)行更為準(zhǔn)確地填充,而對(duì)于另一部分無法使用時(shí)域信息進(jìn)行填充的空洞,仍然使用空域補(bǔ)洞的方法進(jìn)行填充。這樣,由于其中一部分空洞可以說是用真實(shí)的背景信息進(jìn)行填充的,較在單幅圖像中的推測式的填充,整體性能更好。本發(fā)明中,首先,通過3D圖像變換獲得虛擬視點(diǎn)彩色圖像與深度圖像,并去除小的裂紋以及映射錯(cuò)誤的像素點(diǎn);然后進(jìn)行虛擬視點(diǎn)深度圖像的空洞填充,獲得完整的虛擬視點(diǎn)深度圖像,同時(shí)對(duì)空洞處像素坐標(biāo)進(jìn)行記錄;之后,進(jìn)行反向的3D圖像變換,在參考視點(diǎn)的目標(biāo)幀中定位目標(biāo)區(qū)域(導(dǎo)致空洞產(chǎn)生的遮擋區(qū)域),并且利用前后幀對(duì)目標(biāo)幀中目標(biāo)區(qū)域進(jìn)行背景復(fù)原,用于虛擬視點(diǎn)彩色圖像中部分空洞的填充;最后,利用基于樣本的圖像修復(fù)算法對(duì)剩余空洞進(jìn)行修復(fù)。本方法中,通過利用參考視點(diǎn)的前后幀的圖像信息,實(shí)現(xiàn)空時(shí)域相結(jié)合進(jìn)行補(bǔ)洞,較單純基于空域的補(bǔ)洞操作,能夠使結(jié)果更加準(zhǔn)確,提高虛擬視點(diǎn)圖像的質(zhì)量。另外,通過反向3D圖像變換,定位目標(biāo)區(qū)域,有針對(duì)性的進(jìn)行背景復(fù)原,較大規(guī)模的背景復(fù)原,在性能相近的情況下實(shí)現(xiàn)更加高效地補(bǔ)洞。本發(fā)明采用的技術(shù)方案為:一種基于深度圖的視點(diǎn)合成方法,其特征在于,采用空域和時(shí)域相結(jié)合的方式,利用參考視點(diǎn)中目標(biāo)幀的前后幀的圖像信息,基 于對(duì)導(dǎo)致空洞產(chǎn)生的遮擋區(qū)域的定位結(jié)果,進(jìn)行有針對(duì)性的背景復(fù)原,從而對(duì)虛擬視點(diǎn)圖像中的部分空洞進(jìn)行填充,具體步驟如下:(1)3D圖像變換:根據(jù)攝像機(jī)投影原理,通過3D圖像變換,將參考視點(diǎn)的圖像信息投影到虛擬視點(diǎn)上,獲得虛擬視點(diǎn)彩色圖像與深度圖像,并且對(duì)其中的小的裂紋以及映射錯(cuò)誤的像素點(diǎn)進(jìn)行處理;(2)虛擬視點(diǎn)深度圖像中空洞的坐標(biāo)記錄及其填充:對(duì)深度圖像中的空洞部分進(jìn)行坐標(biāo)記錄,然后利用鄰域賦值,對(duì)深度圖像進(jìn)行空洞填充;(3)反向的3D圖像變換,定位目標(biāo)區(qū)域:從虛擬視點(diǎn)出發(fā),根據(jù)攝像機(jī)投影原理,進(jìn)行反向的3D圖像變換,同時(shí)根據(jù)步驟(2)中的坐標(biāo)記錄結(jié)果進(jìn)行參考視點(diǎn)目標(biāo)幀中目標(biāo)區(qū)域的定位;(4)在時(shí)域上進(jìn)行目標(biāo)區(qū)域的背景復(fù)原:利用參考視點(diǎn)中目標(biāo)幀的前后幀信息,進(jìn)行目標(biāo)區(qū)域的背景復(fù)原,用于虛擬視點(diǎn)彩色圖像中部分空洞的填充;(5)剩余空洞的修復(fù):利用基于樣本的圖像修復(fù)技術(shù)對(duì)虛擬視點(diǎn)彩色圖像中的剩余空洞進(jìn)行填充。所述步驟(I)的具體步驟為:a.根據(jù)參考視點(diǎn)的深度信息,實(shí)現(xiàn)從參考視點(diǎn)平面到三維空間,再從三維空間到虛擬視點(diǎn)平面的坐標(biāo)變換;b.根據(jù)坐標(biāo)變換的結(jié)果,將參考視點(diǎn)中的像素點(diǎn)投影到虛擬視點(diǎn)平面內(nèi),從而獲得虛擬視點(diǎn)彩色圖像與深度圖像;c.對(duì)虛擬視點(diǎn)彩色圖像與深度圖像中映射錯(cuò)誤的點(diǎn)進(jìn)行檢測,并進(jìn)行鄰域賦值,同時(shí),對(duì)于其中一些小的裂紋,也使用鄰域賦值的方式進(jìn)行填充。所述步驟(2)的具體實(shí)現(xiàn)步驟如下:a.對(duì)虛擬視點(diǎn)深度圖像及彩色圖像中的大的空洞像素進(jìn)行坐標(biāo)記錄;b.逐行地使用空洞區(qū)域鄰近的背景像素進(jìn)行虛擬視點(diǎn)深度圖像的空洞填充,獲取完整的虛擬視點(diǎn)深度圖像。所述步驟(3)的具體實(shí)現(xiàn)步驟如下:a.根據(jù)步驟(2)中得到的虛擬視點(diǎn)深度圖像,實(shí)現(xiàn)從虛擬視點(diǎn)平面到三維空間,再從三維空間到參考視點(diǎn)平面的坐標(biāo)變換;b.根據(jù)坐標(biāo)變換結(jié)果以及步驟(2)中的坐標(biāo)記錄結(jié)果,在參考視點(diǎn)目標(biāo)幀中定位目標(biāo)區(qū)域。所述步驟(4)的具體實(shí)現(xiàn)步驟如下:
a.在時(shí)域上,利用前后幀進(jìn)行目標(biāo)幀中目標(biāo)區(qū)域的背景復(fù)原;b.根據(jù)步驟(3)中的坐標(biāo)變換結(jié)果,進(jìn)行虛擬視點(diǎn)中彩色圖像中部分空洞的填充。所述步驟(5)的具體實(shí)現(xiàn)步驟如下:a.檢測空洞區(qū)域的邊緣,計(jì)算邊緣上各像素的優(yōu)先級(jí),決定修復(fù)順序;b.以邊緣像素為中心,獲取特定尺寸的樣本塊,以樣本塊為單位,根據(jù)其中的顏色信息,從源圖像中搜索最佳匹配塊;c.找到最佳匹配塊之后,將最佳匹配塊中的像素信息復(fù)制到樣本塊中的空洞處,實(shí)現(xiàn)填充。
圖1:本發(fā)明的流程圖。圖2:參考視點(diǎn)的彩色圖像及深度圖像。圖3:虛擬視點(diǎn)的彩色圖像及深度圖像。圖4:小的空洞以及錯(cuò)誤映射點(diǎn)去除后的虛擬視點(diǎn)的彩色圖像。圖5:空洞填充之后的虛擬視點(diǎn)深度圖像。圖6:參考視點(diǎn)目標(biāo)幀中的目標(biāo)區(qū)域。圖7:后一幀圖像的前、背景分類結(jié)果圖。圖8:背景復(fù)原之后的目標(biāo)幀的彩色圖像。圖9:部分空洞修復(fù)之后的虛擬視點(diǎn)彩色圖像。圖10:剩余空洞修復(fù)之后的虛擬視點(diǎn)彩色圖像。
具體實(shí)施例方式該發(fā)明采用了 “Mobile”視頻序列進(jìn)行實(shí)驗(yàn)。該視頻序列采集了一個(gè)場景的9個(gè)視點(diǎn)的視頻,并提供了相應(yīng)的深度信息以及各攝像機(jī)的內(nèi)、外部參數(shù)。實(shí)驗(yàn)中,我們選取4號(hào)視點(diǎn)作為參考視點(diǎn),5號(hào)視點(diǎn)作為虛擬視點(diǎn)。圖1所示為本發(fā)明的流程圖,根據(jù)流程圖,我們對(duì)其具體實(shí)施方式
進(jìn)行介紹。(I) 3D圖像變換。所謂的3D圖像變換,就是根據(jù)攝像機(jī)投影原理,將參考視點(diǎn)中的像素點(diǎn)投影到虛擬視點(diǎn)平面內(nèi)。這一過程主要分為兩個(gè)部分,首先是將參考視點(diǎn)中的像素投影到三維空間中,然后再由三維空間投影到虛擬視點(diǎn)平面內(nèi)。圖2為參考視點(diǎn)的彩色圖像與深度圖像。假設(shè)攝像機(jī)i的內(nèi)參矩陣為Ai,外參矩陣中的平移矩陣與旋轉(zhuǎn)矩陣分別為Rpti,映射方程可以表示為:
權(quán)利要求
1.一種基于深度圖的視點(diǎn)合成方法,其特征在于,采用空域和時(shí)域相結(jié)合的方式,利用參考視點(diǎn)中目標(biāo)幀的前后幀的圖像信息,基于對(duì)導(dǎo)致空洞產(chǎn)生的遮擋區(qū)域的定位結(jié)果,進(jìn)行有針對(duì)性的背景復(fù)原,從而對(duì)虛擬視點(diǎn)圖像中的部分空洞進(jìn)行填充,具體步驟如下: (1)3D圖像變換:根據(jù)攝像機(jī)投影原理,通過3D圖像變換,將參考視點(diǎn)的圖像信息投影到虛擬視點(diǎn)上,獲得虛擬視點(diǎn)彩色圖像與深度圖像,并且對(duì)其中的小的裂紋以及映射錯(cuò)誤的像素點(diǎn)進(jìn)行處理; (2)虛擬視點(diǎn)深度圖像中空洞的坐標(biāo)記錄及其填充:對(duì)深度圖像中的空洞部分進(jìn)行坐標(biāo)記錄,然后利用鄰域賦值,對(duì)深度圖像進(jìn)行空洞填充; (3)反向的3D圖像變換,定位目標(biāo)區(qū)域:從虛擬視點(diǎn)出發(fā),根據(jù)攝像機(jī)投影原理,進(jìn)行反向的3D圖像變換,同時(shí)根據(jù)步驟(2)中的坐標(biāo)記錄結(jié)果進(jìn)行參考視點(diǎn)目標(biāo)幀中目標(biāo)區(qū)域的定位; (4)在時(shí)域上進(jìn)行目標(biāo)區(qū)域的背景復(fù)原:利用參考視點(diǎn)中目標(biāo)幀的前后幀信息,進(jìn)行目標(biāo)區(qū)域的背景復(fù)原,用于虛擬視點(diǎn)彩色圖像中部分空洞的填充; (5)剩余空洞的修復(fù):利用基于樣本的圖像修復(fù)技術(shù)對(duì)虛擬視點(diǎn)彩色圖像中的剩余空洞進(jìn)行填充。
2.根據(jù)權(quán)利要求1所述的基于深度圖的視點(diǎn)合成方法,其特征在于,所述步驟(I)的具體步驟為: a.根據(jù)參考視點(diǎn)的深度信息,實(shí)現(xiàn)從參考視點(diǎn)平面到三維空間,再從三維空間到虛擬視點(diǎn)平面的坐標(biāo)變換; b.根據(jù)坐標(biāo)變換的結(jié)果,將參考視點(diǎn)中的像素點(diǎn)投影到虛擬視點(diǎn)平面內(nèi),從而獲得虛擬視點(diǎn)彩色圖像與深度圖像;· c.對(duì)虛擬視點(diǎn)彩色圖像與深度圖像中映射錯(cuò)誤的點(diǎn)進(jìn)行檢測,并進(jìn)行鄰域賦值,同時(shí),對(duì)于其中一些小的裂紋,也使用鄰域賦值的方式進(jìn)行填充。
3.根據(jù)權(quán)利要求1所述的基于深度圖的視點(diǎn)合成方法,其特征在于,所述步驟(2)的具體實(shí)現(xiàn)步驟如下: a.對(duì)虛擬視點(diǎn)深度圖像及彩色圖像中的大的空洞像素進(jìn)行坐標(biāo)記錄; b.逐行地使用空洞區(qū)域鄰近的背景像素進(jìn)行虛擬視點(diǎn)深度圖像的空洞填充,獲取完整的虛擬視點(diǎn)深度圖像。
4.根據(jù)權(quán)利要求1所述的基于深度圖的視點(diǎn)合成方法,其特征在于,所述步驟(3)的具體實(shí)現(xiàn)步驟如下: a.根據(jù)步驟(2)中得到的虛擬視點(diǎn)深度圖像,實(shí)現(xiàn)從虛擬視點(diǎn)平面到三維空間,再從三維空間到參考視點(diǎn)平面的坐標(biāo)變換; b.根據(jù)坐標(biāo)變換結(jié)果以及步驟(2)中的坐標(biāo)記錄結(jié)果,在參考視點(diǎn)目標(biāo)幀中定位目標(biāo)區(qū)域。
5.根據(jù)權(quán)利要求1所述的基于深度圖的視點(diǎn)合成方法,其特征在于,所述步驟(4)的具體實(shí)現(xiàn)步驟如下: a.在時(shí)域上,利用前后幀進(jìn)行目標(biāo)幀中目標(biāo)區(qū)域的背景復(fù)原; b.根據(jù)步驟(3)中的坐標(biāo)變換結(jié)果,進(jìn)行虛擬視點(diǎn)中彩色圖像中部分空洞的填充。
6.根據(jù)權(quán)利要求1所述的基于深度圖的視點(diǎn)合成方法,其特征在于,所述步驟(5)的具體實(shí)現(xiàn)步驟如下: a.檢測空洞區(qū)域的邊緣,計(jì)算邊緣上各像素的優(yōu)先級(jí),決定修復(fù)順序; b.以邊緣像素為中心,獲取特定尺寸的樣本塊,以樣本塊為單位,根據(jù)其中的顏色信息,從源圖像中搜索最佳匹配塊; c.找到最佳匹配塊之后,將最佳匹配塊中的像素信息復(fù)制到樣本塊中的空洞處,實(shí)現(xiàn)填 充。
全文摘要
本發(fā)明提出一種新的基于深度圖的視點(diǎn)合成方法。首先,通過3D圖像變換獲得虛擬視點(diǎn)彩色圖像與深度圖像,并去除小的空洞以及映射錯(cuò)誤點(diǎn);然后進(jìn)行虛擬視點(diǎn)深度圖像的空洞填充,同時(shí)對(duì)空洞處像素坐標(biāo)進(jìn)行記錄;之后,進(jìn)行反向的3D圖像變換,在參考視點(diǎn)的目標(biāo)幀中定位目標(biāo)區(qū)域(導(dǎo)致空洞產(chǎn)生的區(qū)域),并利用前后幀對(duì)目標(biāo)區(qū)域進(jìn)行背景復(fù)原;最后,使用基于樣本的圖像修復(fù)算法對(duì)剩余空洞進(jìn)行修復(fù)。本方法中,通過利用前后幀的圖像信息,實(shí)現(xiàn)空時(shí)域相結(jié)合進(jìn)行補(bǔ)洞,較單純基于空域的補(bǔ)洞操作,能夠使結(jié)果更加準(zhǔn)確,提高虛擬視點(diǎn)圖像的質(zhì)量;另外,通過反向映射,定位目標(biāo)區(qū)域,有針對(duì)性的進(jìn)行背景復(fù)原,較大規(guī)模的背景復(fù)原,在結(jié)果相似的情況下實(shí)現(xiàn)更加高效地補(bǔ)洞。
文檔編號(hào)H04N15/00GK103248911SQ201310188898
公開日2013年8月14日 申請(qǐng)日期2013年5月20日 優(yōu)先權(quán)日2013年5月20日
發(fā)明者劉琚, 成聰, 楊曉輝 申請(qǐng)人:山東大學(xué)