專利名稱：一種基于透視變換的立體視頻繪制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視覺處理、立體視頻和自由視點(diǎn)電視技術(shù)領(lǐng)域，特別涉及一種基于透視變換的立體視頻繪制方法。
背景技術(shù)：
多視角立體視頻可以給觀察者提供任意視角的圖像，從而使景物的立體真實(shí)感更強(qiáng)，在這些年收到越來越多地關(guān)注?；诙嘁暯橇Ⅲw視頻，人們又提出了自由視點(diǎn)電視的概念。由于自由視點(diǎn)電視需要顯示任意視角的視圖，如果對(duì)每一個(gè)視角的圖像都進(jìn)行傳輸，那么多視角立體視頻的存儲(chǔ)量和傳輸帶寬需求將是無窮大的。因此通常使用基于深度圖的方法，利用深度圖和少量的參考圖像，生成所需要的任意視角的圖像。任意視角的視頻繪制會(huì)直接影響立體顯示的實(shí)時(shí)性和圖片質(zhì)量，因此，立體視頻繪制技術(shù)是自由立體電視中非常重要的一項(xiàng)關(guān)鍵技術(shù)。相對(duì)于傳統(tǒng)平面視頻，立體視頻包含了更多視角的數(shù)據(jù)信息，會(huì)造 成數(shù)據(jù)量成倍地增長(zhǎng)，這就給立體視頻的存儲(chǔ)和傳輸環(huán)節(jié)帶來了極大的困難?，F(xiàn)有的編碼算法計(jì)算復(fù)雜度高，需要耗費(fèi)大量的存儲(chǔ)帶寬。

發(fā)明內(nèi)容
本發(fā)明旨在至少在一定程度上解決上述技術(shù)問題之一或至少提供一種有用的商業(yè)選擇。為此，本發(fā)明的第一個(gè)目的在于提出一種基于透視變換的立體視頻繪制方法。本發(fā)明可以顯著降低立體視頻繪制算法的計(jì)算復(fù)雜度，節(jié)省了存儲(chǔ)帶寬。為達(dá)到上述目的，本發(fā)明的實(shí)施例提出了一種基于透視變換的立體視頻繪制方法，包括如下步驟獲取相機(jī)參數(shù)、虛擬視圖的視角參數(shù)以及參考視圖的視角參數(shù)，并根據(jù)所述相機(jī)參數(shù)、虛擬視圖的視角參數(shù)以及參考視圖的視角參數(shù)計(jì)算單應(yīng)矩陣，其中，所述單應(yīng)矩陣用于表示所述參數(shù)視圖和所述虛擬視圖的像素坐標(biāo)對(duì)應(yīng)關(guān)系；輸入第一參考深度圖和第二參考深度圖，并根據(jù)所述單應(yīng)矩陣將所述第一參考深度圖和所述第二參考深度圖分別映射為第一虛擬深度圖和第二虛擬深度圖；對(duì)所述第一虛擬深度圖和所述第二虛擬深度圖進(jìn)行濾波以得到第一濾波后虛擬深度圖和第二濾波后虛擬深度圖；輸入第一參考視圖和第二參考視圖，根據(jù)所述第一濾波后虛擬深度圖和第二濾波后虛擬深度圖將所述第一參考視圖和所述第二參考視圖分別映射為第一虛擬視圖和第二虛擬視圖；對(duì)所述第一虛擬視圖和第二虛擬視圖進(jìn)行融合以生成目標(biāo)視圖。根據(jù)本發(fā)明實(shí)施例的基于透視變換的立體視頻繪制方法，可以用于通過立體繪制得到各視角的虛擬視圖，供多視角立體顯示設(shè)備進(jìn)行顯示，并顯著降低了立體視頻繪制算法的計(jì)算復(fù)雜度，節(jié)省了存儲(chǔ)帶寬。在本發(fā)明的一個(gè)實(shí)施例中，所述根據(jù)相機(jī)參數(shù)、虛擬視圖的視角參數(shù)以及參考視圖的視角參數(shù)計(jì)算單應(yīng)矩陣，包括如下步驟計(jì)算所述參考視圖和所述虛擬視圖之間的多個(gè)深度值；對(duì)于每個(gè)所述深度值，分別取深度值相同的多個(gè)參考像素點(diǎn)，并利用所述多個(gè)參考像素點(diǎn)的坐標(biāo)分別計(jì)算對(duì)應(yīng)的虛擬像素點(diǎn)的坐標(biāo)；根據(jù)所述參考像素點(diǎn)坐標(biāo)和所述虛擬像素點(diǎn)坐標(biāo)計(jì)算所述單應(yīng)矩陣。在本發(fā)明的一個(gè)實(shí)施例中，所述根據(jù)相機(jī)參數(shù)、虛擬視圖的視角參數(shù)以及參考視圖的視角參數(shù)計(jì)算單應(yīng)矩陣，包括如下步驟計(jì)算所述參考視圖和所述虛擬視圖之間的多個(gè)深度值；對(duì)所述多個(gè)深度值按照出現(xiàn)次數(shù)遞減進(jìn)行排序以生成深度值序列，其中，所述深度值序列包括N個(gè)深度值；在所述深度值序列中，取前M個(gè)深度值，對(duì)所述M個(gè)深度值分別計(jì)算單應(yīng)矩陣，M〈N，M為預(yù)設(shè)數(shù)目；根據(jù)計(jì)算得到的M個(gè)單應(yīng)矩陣，通過線性內(nèi)插方法計(jì)算剩余N-M個(gè)深度值的單應(yīng)矩陣。在本發(fā)明的一個(gè)實(shí)施例中，所述通過線性內(nèi)插方法計(jì)算剩余N-M個(gè)深度值的單應(yīng)矩陣的計(jì)算公式為
權(quán)利要求
1.一種基于透視變換的立體視頻繪制方法，其特征在于，包括如下步驟 獲取相機(jī)參數(shù)、虛擬視圖的視角參數(shù)以及參考視圖的視角參數(shù)，并根據(jù)所述相機(jī)參數(shù)、虛擬視圖的視角參數(shù)以及參考視圖的視角參數(shù)計(jì)算單應(yīng)矩陣，其中，所述單應(yīng)矩陣用于表示所述參數(shù)視圖和所述虛擬視圖的像素坐標(biāo)對(duì)應(yīng)關(guān)系； 輸入第一參考深度圖和第二參考深度圖，并根據(jù)所述單應(yīng)矩陣將所述第一參考深度圖和所述第二參考深度圖分別映射為第一虛擬深度圖和第二虛擬深度圖； 對(duì)所述第一虛擬深度圖和所述第二虛擬深度圖進(jìn)行濾波以得到第一濾波后虛擬深度圖和第二濾波后虛擬深度圖； 輸入第一參考視圖和第二參考視圖，根據(jù)所述第一濾波后虛擬深度圖和第二濾波后虛擬深度圖將所述第一參考視圖和所述第二參考視圖分別映射為第一虛擬視圖和第二虛擬視圖；以及 對(duì)所述第一虛擬視圖和第二虛擬視圖進(jìn)行融合以生成目標(biāo)視圖。
2.如權(quán)利要求I所述的立體視頻繪制方法，其特征在于，所述根據(jù)相機(jī)參數(shù)、虛擬視圖的視角參數(shù)以及參考視圖的視角參數(shù)計(jì)算單應(yīng)矩陣，包括如下步驟 計(jì)算所述參考視圖和所述虛擬視圖之間的多個(gè)深度值； 對(duì)于每個(gè)所述深度值，分別取深度值相同的多個(gè)參考像素點(diǎn)，并利用所述多個(gè)參考像素點(diǎn)的坐標(biāo)分別計(jì)算對(duì)應(yīng)的虛擬像素點(diǎn)的坐標(biāo)； 根據(jù)所述參考像素點(diǎn)坐標(biāo)和所述虛擬像素點(diǎn)坐標(biāo)計(jì)算所述單應(yīng)矩陣。
3.如權(quán)利要求I所述的立體視頻繪制方法，其特征在于，所述根據(jù)相機(jī)參數(shù)、虛擬視圖的視角參數(shù)以及參考視圖的視角參數(shù)計(jì)算單應(yīng)矩陣，包括如下步驟 計(jì)算所述參考視圖和所述虛擬視圖之間的多個(gè)深度值； 對(duì)所述多個(gè)深度值按照出現(xiàn)次數(shù)遞減進(jìn)行排序以生成深度值序列，其中，所述深度值序列包括N個(gè)深度值； 在所述深度值序列中，取前M個(gè)深度值，對(duì)所述M個(gè)深度值分別計(jì)算單應(yīng)矩陣，M<N, M為預(yù)設(shè)數(shù)目； 根據(jù)計(jì)算得到的M個(gè)單應(yīng)矩陣，通過線性內(nèi)插方法計(jì)算剩余N-M個(gè)深度值的單應(yīng)矩陣。
4.如權(quán)利要求3所述的立體視頻繪制方法，其特征在于，利用下述公式通過線性內(nèi)插方法計(jì)算剩余N-M個(gè)深度值的單應(yīng)矩陣，
5.如權(quán)利要求I所述的立體視頻繪制方法，其特征在于，所述根據(jù)單應(yīng)矩陣將所述第一參考深度圖和所述第二參考深度圖分別映射為第一虛擬深度圖和第二虛擬深度圖，包括如下步驟 對(duì)所述第一參考深度圖和所述第二參考深度圖中的每個(gè)像素點(diǎn)計(jì)算對(duì)應(yīng)的虛擬視圖中的坐標(biāo)，并將對(duì)應(yīng)的深度值復(fù)制到所述第一虛擬深度圖和第二虛擬深度圖。
6.如權(quán)利要求5所述的立體視頻繪制方法，其特征在于，采用深度比較方法或極線方向處理方法對(duì)所述第一參考深度圖和所述第二參考深度圖進(jìn)行映射。
7.如權(quán)利要求I所述的立體視頻繪制方法，其特征在于，采用中值濾波法對(duì)所述第一虛擬深度圖和所述第二虛擬深度圖進(jìn)行濾波。
8.如權(quán)利要求I所述的立體視頻繪制方法，其特征在于，所述根據(jù)第一濾波后虛擬深度圖和第二濾波后虛擬深度圖將所述第一參考視圖和所述第二參考視圖分別映射為第一虛擬視圖和第二虛擬視圖，包括如下步驟 根據(jù)所述第一濾波后虛擬深度圖和第二濾波后虛擬深度圖的深度值分別計(jì)算所述第一參考視圖和第二參考視圖中的像素點(diǎn)在所述第一虛擬視圖和第二虛擬視圖中的位置，并將像素點(diǎn)復(fù)制到對(duì)應(yīng)的位置。
9.如權(quán)利要求I所述的立體視頻繪制方法，其特征在于，所述對(duì)第一虛擬視圖和第二虛擬視圖進(jìn)行融合以生成目標(biāo)視圖，包括如下步驟 對(duì)于每個(gè)像素位置，分別判斷所述像素位置在所述第一虛擬視圖和第二虛擬視圖中的對(duì)應(yīng)位置是否為空， 如果所述像素位置在所述第一虛擬視圖為空洞，在所述第二虛擬視圖不為空，則在所述目標(biāo)虛擬視圖的對(duì)應(yīng)位置填充所述第二虛擬視圖中對(duì)應(yīng)位置的值； 如果所述像素位置在所述第二虛擬視圖為空洞，在所述第一虛擬視圖不為空，則在所述目標(biāo)虛擬視圖的對(duì)應(yīng)位置填充所述第一虛擬視圖中對(duì)應(yīng)位置的值； 如果所述像素位置在所述第一虛擬視圖和第二虛擬視圖均不為空洞，則對(duì)所述第一虛擬視圖的對(duì)應(yīng)值和所述第二虛擬視圖的對(duì)應(yīng)值進(jìn)行線性插值以作為所述目標(biāo)虛擬視圖的對(duì)應(yīng)值。
10.如權(quán)利要求9所述的立體視頻繪制方法，其特征在于，還進(jìn)一步包括對(duì)所述目標(biāo)虛擬視圖中的空洞進(jìn)行全局優(yōu)化填補(bǔ)。
全文摘要
本發(fā)明提出一種基于透視變換的立體視頻繪制方法，包括獲取相機(jī)參數(shù)、虛擬視圖的視角參數(shù)以及參考視圖的視角參數(shù)，并計(jì)算單應(yīng)矩陣；輸入第一參考深度圖和第二參考深度圖，并根據(jù)單應(yīng)矩陣將第一參考深度圖和第二參考深度圖分別映射為第一虛擬深度圖和第二虛擬深度圖；對(duì)第一虛擬深度圖和第二虛擬深度圖進(jìn)行濾波得到第一濾波后虛擬深度圖和第二濾波后虛擬深度圖；輸入第一參考視圖和第二參考視圖，根據(jù)第一濾波后虛擬深度圖和第二濾波后虛擬深度圖將第一參考視圖和第二參考視圖分別映射為第一虛擬視圖和第二虛擬視圖；對(duì)第一虛擬視圖和第二虛擬視圖進(jìn)行融合以生成目標(biāo)視圖。本發(fā)明可以顯著降低立體視頻繪制算法的計(jì)算復(fù)雜度，節(jié)省了存儲(chǔ)帶寬。
文檔編號(hào)G06T7/00GK102768761SQ201210185779
公開日2012年11月7日 申請(qǐng)日期2012年6月6日 優(yōu)先權(quán)日2012年6月6日
發(fā)明者戴瓊海, 王競(jìng)瑤, 索津莉, 郝偉 申請(qǐng)人:北京華清美倫科技有限公司, 清華大學(xué)