一種基于圖像錯(cuò)切變換的全自動(dòng)2d轉(zhuǎn)3d視頻方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于圖像錯(cuò)切變換的全自動(dòng)2D轉(zhuǎn)3D視頻方法，是一種平面視頻 立體轉(zhuǎn)化的方法，屬于計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 客觀現(xiàn)實(shí)世界中，觀察者可以對(duì)某一特定場(chǎng)景從不同視點(diǎn)觀看，也可以感受場(chǎng)景 中每一個(gè)景象的錯(cuò)落層次、遠(yuǎn)近深度，即景象本身的立體感，而這正是二維視頻技術(shù)所不能 表示的。同二維視頻相比，三維立體視頻增加了景物深度信息。所謂深度，是針對(duì)于人眼的， 是指觀察點(diǎn)離目標(biāo)的距離。人體獲取深度線索可以利用單眼從靜態(tài)圖像，運(yùn)動(dòng)或生理上獲 取，也可以利用雙目視差線索獲取。人眼觀看立體圖像的必要條件是雙眼視差，從視差感受 到深度，從而獲取立體感受。
[0003] 在立體素材上的獲取上，主要有三種方式，第一種是通過(guò)基于模型渲染的方式的 借助專業(yè)建模軟件直接生成3D素材，主要應(yīng)用于計(jì)算機(jī)圖形學(xué)領(lǐng)域。第二種是采用攝像機(jī) 直接拍攝，一臺(tái)攝像機(jī)記錄場(chǎng)景中物體的信息，另一臺(tái)攝像機(jī)記錄場(chǎng)景中物體的深度信息， 再經(jīng)過(guò)一系列的圖像配準(zhǔn)以及后期制作，但是受到制作周期和高昂的制作成本制約。第三 種方式是將原有的平面視頻素材轉(zhuǎn)制為立體視頻，即2D轉(zhuǎn)3D視頻技術(shù)，它利用計(jì)算機(jī)圖形 學(xué)和圖像處理領(lǐng)域的相關(guān)知識(shí)，能自動(dòng)、快速、有效的將現(xiàn)有的2D轉(zhuǎn)3D視頻轉(zhuǎn)為3D視頻， 降低了 3D視頻制作的難度和成本，同時(shí)也解決了 3D片源不足的問(wèn)題，因此越來(lái)越受到人們 的關(guān)注。
[0004] 按照人工參與程度，2D視頻轉(zhuǎn)化為3D視頻主要分為三種方式：全人工，半人工半 自動(dòng)，全自動(dòng)。第一種方法以完全人工的方式并結(jié)合特定的制作軟件逐幀圖像進(jìn)行制作，將 每一幀圖像中所包含的各個(gè)物體按照深度逐層分割，這種方法得到的立體效果最好，但是 效率低，主要應(yīng)用于對(duì)精度要求很高的特定素材。第二種方法需要人工部分參與，只需要在 某些特定場(chǎng)景下人工處理場(chǎng)景的深度信息，這種方式即能增強(qiáng)深度信息的準(zhǔn)確性，又能夠 有效的控制人工成本，是一種主流的選擇。以上兩種方法，人工參與的部分中，其主要工作 就是恢復(fù)場(chǎng)景的深度信息，即根據(jù)一系列的算法(如DFC，SFC，運(yùn)動(dòng)估計(jì)等算法）計(jì)算二維 圖像所對(duì)應(yīng)的深度圖，通過(guò)深度圖和原圖進(jìn)行虛擬視點(diǎn)繪制，最后合成三維圖像。由于加入 了人工的參與，導(dǎo)致市場(chǎng)推廣性很差。第三種方法則是通過(guò)軟件直接完成視頻轉(zhuǎn)制，操作簡(jiǎn) 單，具有較強(qiáng)的市場(chǎng)應(yīng)用價(jià)值，而如今市面上也已經(jīng)出現(xiàn)具備2D轉(zhuǎn)3D功能的視頻軟件。但 是大多數(shù)軟件雖然在實(shí)時(shí)性方面達(dá)到了要求，但轉(zhuǎn)化后立體效果不盡人意，主要表現(xiàn)為，前 景清晰而背景信息輪廓模糊，場(chǎng)景中景致的層次感不強(qiáng)烈等。
[0005] 在國(guó)際上，美國(guó)高通公司的WangHaohong提出了一種實(shí)時(shí)的2D轉(zhuǎn)3D視頻的方法， 提出先對(duì)原始的高清2D視頻進(jìn)行欠采樣處理，獲得欠采樣后的深度視頻，并根據(jù)此深度視 頻與原始的高清2D視頻生成高清的深度視頻，最后再生成實(shí)時(shí)的可欣賞的3D視頻，該方案 使計(jì)算量大大降低，從而增強(qiáng)了實(shí)時(shí)性。接著SanJoes等相關(guān)專家又對(duì)高質(zhì)量快速的生成 深度視頻領(lǐng)域做出了研究，提出"快速的由2D視頻生成深度視頻"的方法，通過(guò)此方法，最 后能夠生成的效果很好的實(shí)時(shí)3D視頻。
[0006] 在我國(guó)已經(jīng)取得了一些階段性的重要成果，這些成果主要有：無(wú)錫景象數(shù)字技術(shù) 公司發(fā)明了一種"單幅2D圖像轉(zhuǎn)3D圖像的方法"并申請(qǐng)獲得了專利，該方法利用了單幅 圖像的灰度信息，先通過(guò)高斯濾波方法出去灰度圖像中的噪聲，然后再通過(guò)拉普拉斯濾波 法獲得與之對(duì)應(yīng)的深度圖像，最后結(jié)合原始圖像與深度圖像生成最終的3D圖像。同年該公 司再一次針對(duì)3D立體視頻領(lǐng)域提出一種"基于光流特征的2D轉(zhuǎn)3D視頻方法"并獲得了專 利，方法通過(guò)對(duì)視頻幀進(jìn)行光流運(yùn)動(dòng)的分析，獲得像素點(diǎn)的中的光流向量，從而計(jì)算得到視 差圖。
[0007] 清華大學(xué)和數(shù)碼視訊合作研制的立體數(shù)字電視廣播系統(tǒng)是首家采用深度圖對(duì)視 頻進(jìn)行2D-3D實(shí)時(shí)轉(zhuǎn)換的系統(tǒng)。清華大學(xué)在3D視頻研究方面在國(guó)內(nèi)領(lǐng)先。

【發(fā)明內(nèi)容】

[0008] 本發(fā)明的目的在于提供一種基于圖像錯(cuò)切變換的全自動(dòng)2D轉(zhuǎn)3D視頻方法，其通 過(guò)圖像的錯(cuò)切變換后合成雙目立體視頻圖像，提高了 2D轉(zhuǎn)3D視頻的實(shí)時(shí)性和效率。
[0009] 本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：一種基于圖像錯(cuò)切變換的全自動(dòng)2D轉(zhuǎn)3D視頻 方法，其特征在于具體步驟如下： 步驟1、獲取視頻的幀圖像，依次對(duì)其中的每一幀圖像變換，進(jìn)行下述步驟； 步驟2、獲取原始視頻圖像的高度和寬度，即存儲(chǔ)圖像矩陣的行數(shù)和列數(shù)； 步驟3、設(shè)定左眼視圖的變換因子a; 步驟4、設(shè)定右眼視圖的變換因子-a; 步驟5、根據(jù)公式（1)通過(guò)左眼視圖的變換因子a，計(jì)算出沿x軸正方向錯(cuò)切后的矩陣R2，即為錯(cuò)切后的初步左眼視圖；
【主權(quán)項(xiàng)】
1. 一種基于圖像錯(cuò)切變換的全自動(dòng)2D轉(zhuǎn)3D視頻方法，其特征在于具體步驟如下： 步驟1、獲取視頻的幀圖像，依次對(duì)其中的每一幀圖像變換，進(jìn)行下述步驟； 步驟2、獲取原始視頻圖像的高度和寬度，即存儲(chǔ)圖像矩陣的行數(shù)和列數(shù)； 步驟3、設(shè)定左眼視圖的變換因子α ; 步驟4、設(shè)定右眼視圖的變換因子-α ; 步驟5、根據(jù)公式（1)通過(guò)左眼視圖的變換因子α，計(jì)算出沿X軸正方向錯(cuò)切后的矩陣 R2，即為錯(cuò)切后的初步左眼視圖；
步驟6、根據(jù)公式（2)通過(guò)右眼視圖的變換因子-α，計(jì)算出沿X軸負(fù)方向錯(cuò)切后的矩 陣R3，即為錯(cuò)切后的初步右眼視圖；
步驟7、獲取錯(cuò)切后的左眼視圖的四個(gè)頂點(diǎn)Ap Cn D1，圖像的四個(gè)頂點(diǎn)，心為左下頂 點(diǎn)，B1為右下頂點(diǎn)，C i為右上頂點(diǎn)，D i為左上頂點(diǎn),將存儲(chǔ)該圖像的矩陣記為R2; 步驟8、在左眼視圖A1B1C1D1的存儲(chǔ)矩陣R 2中尋找與A i同行，與D凋列的點(diǎn)，按行和列 都相同的點(diǎn)記為P，再尋找與C1同行與B 1同列的點(diǎn)，按行和列都相同的點(diǎn)記為Q ; 步驟9、獲取錯(cuò)切后的右眼視圖的四個(gè)頂點(diǎn)A2、B2、C2、D2，并將存儲(chǔ)該視圖的矩陣記為 R3; 步驟10、在右眼視圖A2B2C2D2的存儲(chǔ)矩陣R 3中尋找與A 2同行D 2同列的點(diǎn)記為M，在尋 找與C2同行B 2同列的點(diǎn)，記為N; 步驟11、將錯(cuò)切后的左路視圖A1B1C1D1裁成以P，B i，Q，D1為頂點(diǎn)的矩形圖像； 步驟12、將錯(cuò)切后的右路視圖A2B2C2D2裁成以M，B 2, N，D2為頂點(diǎn)的矩形圖像； 步驟13、將存儲(chǔ)PB1QD1的矩陣R 3與存儲(chǔ)MB 2ND2的矩陣R 5合并成一個(gè)新的矩陣R 6，所輸 出的視圖即為轉(zhuǎn)化完成的雙目立體視圖。
【專利摘要】本發(fā)明涉及一種基于圖像錯(cuò)切變換的全自動(dòng)2D轉(zhuǎn)3D視頻方法，其特征在于具體步驟如下：獲取視頻的幀圖像，依次對(duì)其中的每一幀圖像變換，存儲(chǔ)圖像矩陣的行數(shù)和列數(shù);設(shè)定左眼視圖的變換因子α;設(shè)定右眼視圖的變換因子-α;計(jì)算出錯(cuò)切后的初步左眼視圖;計(jì)算出錯(cuò)切后的初步右眼視圖;獲取錯(cuò)切后的左眼視圖的四個(gè)頂點(diǎn)A1、B1、C1、D1，存儲(chǔ)該視圖的矩陣;其通過(guò)圖像的錯(cuò)切變換后合成雙目立體視頻圖像，提高了2D轉(zhuǎn)3D視頻的實(shí)時(shí)性和效率。
【IPC分類】H04N13-00
【公開(kāi)號(hào)】CN104683784
【申請(qǐng)?zhí)枴緾N201510057543
【發(fā)明人】陳占芳, 楊帆, 薛耀紅, 張超, 權(quán)巍, 韓成, 姜珊
【申請(qǐng)人】長(zhǎng)春理工大學(xué)
【公開(kāi)日】2015年6月3日
【申請(qǐng)日】2015年2月4日