專利名稱：用于三維電視系統(tǒng)中2d視頻到3d視頻的轉(zhuǎn)換方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于三維電視系統(tǒng)中2D視頻到3D視頻的轉(zhuǎn)換方法。
背景技術(shù)：
最近幾年，"三維電視將成為高清數(shù)字電視之后的 一個(gè)新的技術(shù)飛躍"這一觀 點(diǎn)已是學(xué)術(shù)界和工業(yè)界的共識(shí)。三維電視系統(tǒng)能給人帶來(lái)身臨其境的三維立體 效果，讓人們享受到視覺(jué)上的盛宴。
在多方努力試圖制定三維電視內(nèi)容、編碼與傳輸?shù)臉?biāo)準(zhǔn)時(shí)， 一個(gè)話題自然 而然擺在了大家的桌面上。那就是如何處理這么多年來(lái)積攢的二維視頻內(nèi)容？ 是讓以后的三維電視兼容傳統(tǒng)的二維內(nèi)容播放，還是通過(guò)某些技術(shù)手段，將原 來(lái)的二維內(nèi)容實(shí)時(shí)轉(zhuǎn)為三維，再立體地播放出來(lái)？無(wú)疑，后者的技術(shù)一旦成熟， 將帶來(lái)難以想象的經(jīng)濟(jì)價(jià)值，也會(huì)對(duì)三維電視的發(fā)展帶來(lái)前所未有的資金支撐。
在三維電視近幾年來(lái)的發(fā)展中，歐洲ATTEST項(xiàng)目提出的基于一路視頻加 對(duì)應(yīng)稠密深度圖的表達(dá)方法得到了廣泛的認(rèn)可，通過(guò)DIBR技術(shù)，利用稠密深度 圖，可以將一路視頻擴(kuò)展到多路視頻，從而實(shí)現(xiàn)多視點(diǎn)顯示。顯然，稠密深度 圖的產(chǎn)生至關(guān)重要，也是傳統(tǒng)二維視頻轉(zhuǎn)換為三維視頻的關(guān)鍵所在。
2D轉(zhuǎn)3D問(wèn)題的研究由來(lái)已久，Netherlands Delft University of Technology 的Qingqing Wei做了一份調(diào)研，將算法分為12類binocular disparity, motion, defocus， focus， silhouette, atmosphere scattering, shading, linear perspective, patterned texture, symmetric patterns, occlusion (curvature, simple transform) and statistical patterns。在這些算法中，基于運(yùn)動(dòng)motion的算法(或者說(shuō)基于光流的 算法)得到了大家的矚目，因?yàn)樗者m性很強(qiáng)，可廣泛用于各種視頻源。
光流是指當(dāng)觀察者和場(chǎng)景目標(biāo)之間有相對(duì)運(yùn)動(dòng)時(shí)，圖像亮度模式的表觀運(yùn) 動(dòng)。光流表達(dá)了圖像的變化，它包含了目標(biāo)運(yùn)動(dòng)的信息，可用來(lái)確定觀察者相 對(duì)目標(biāo)的運(yùn)動(dòng)情況。運(yùn)動(dòng)場(chǎng)與光流場(chǎng)的對(duì)應(yīng)關(guān)系請(qǐng)見(jiàn)圖1。
光流分析是研究圖像灰度在時(shí)間上的變化與背景中物體的結(jié)構(gòu)和運(yùn)動(dòng)的關(guān) 系。場(chǎng)景中的目標(biāo)運(yùn)動(dòng)導(dǎo)致圖像中的亮度模式運(yùn)動(dòng)，而亮度模式的可見(jiàn)運(yùn)動(dòng)產(chǎn) 生光流，除去一些特殊情況，光流場(chǎng)與運(yùn)動(dòng)場(chǎng)是對(duì)應(yīng)的。通過(guò)分析圖像的光流 變化，可以達(dá)到確定場(chǎng)景三維結(jié)構(gòu)和觀察者與運(yùn)動(dòng)物體之間相對(duì)運(yùn)動(dòng)的目的。
光流可看作是帶有灰度的像素點(diǎn)在圖像平面的運(yùn)動(dòng)而產(chǎn)生的瞬時(shí)速度場(chǎng)，據(jù)此 可建立基本的光流約束方程其中，A和^表示像素點(diǎn)在x方向和y方向的梯度，7'表示時(shí)間梯度，u和v分 別表示x方向和y方向上的光流速度。
一種基于相關(guān)的光流計(jì)算方法(圖2)假設(shè)了圖像中的某一個(gè)像素點(diǎn)的運(yùn)動(dòng) 只可能發(fā)生在以其為中心的某一個(gè)鄰域內(nèi)，在這個(gè)鄰域內(nèi)尋找最佳匹配像素點(diǎn)， 從而得到原圖像素點(diǎn)的運(yùn)動(dòng)矢量。主要步驟如下
(1) 以自上而下，自左而右的順序掃描t時(shí)刻圖像幀；
(2) 為每一個(gè)掃描到的像素點(diǎn)在t-l時(shí)刻圖像上尋找最佳匹配點(diǎn)，在t-l時(shí) 刻圖像上找到t時(shí)刻對(duì)應(yīng)坐標(biāo)像素，在它的NxN鄰域內(nèi)，計(jì)算匹配代價(jià)
Vw,w:M(x，y;w，w)- ^^(五1(/，/)一五2(/ + ",/ +w))，(f，y.)e Pv
選擇當(dāng)中匹配代價(jià)最小的像素點(diǎn)作為最佳匹配像素；
(3) 計(jì)算t時(shí)刻該像素點(diǎn)與其在t-l時(shí)刻最佳匹配點(diǎn)的水平距離和垂直距離 (以像素為單位)；
(4) 綜合兩個(gè)方向的運(yùn)動(dòng)矢量，計(jì)算運(yùn)動(dòng)幅度作為表示物體運(yùn)動(dòng)快慢的像素值。
這種基于相關(guān)的光流法有其自身的缺點(diǎn)，首先，它是逐點(diǎn)計(jì)算運(yùn)動(dòng)矢量， 當(dāng)處理高分辨率圖像時(shí)，計(jì)算量將會(huì)相當(dāng)巨大；其次，它采用全搜索的方法尋 找最佳匹配點(diǎn)，沒(méi)有利用像點(diǎn)之間的空間相關(guān)性，搜索過(guò)程十分耗時(shí)；此外， 它只是單方向利用了前后兩幀圖像的時(shí)間相關(guān)性，會(huì)造成一些像素點(diǎn)的誤匹配。

發(fā)明內(nèi)容
本發(fā)明的目的是克服現(xiàn)有技術(shù)的不足，提供一種用于三維電視系統(tǒng)中2D視 頻到3D視頻的轉(zhuǎn)換方法。
用于三維電視系統(tǒng)中2D視頻到3D視頻的轉(zhuǎn)換方法包括如下步驟
(1) 獲取經(jīng)過(guò)視頻編碼標(biāo)準(zhǔn)壓縮過(guò)的待轉(zhuǎn)換2D視頻文件；
(2) 解碼待轉(zhuǎn)換2D視頻文件，得到原始視頻，同時(shí)從視頻解碼器中提取 每個(gè)4x4像素塊的運(yùn)動(dòng)矢量信息，換算出這個(gè)4x4像素塊的運(yùn)動(dòng)幅度；
(3) 對(duì)從解碼待轉(zhuǎn)換2D視頻文件中得到的每一幀圖像，通過(guò)每個(gè)4x4像 素塊的運(yùn)動(dòng)幅度描述出整幅圖像的初始深度(4) 利用解碼出來(lái)的原始視頻和每一幀的初始深度圖，通過(guò)邊緣修正濾波， 得到物體邊緣清晰準(zhǔn)確的稠密深度圖，完成3D視頻的表達(dá)。
所述的解碼待轉(zhuǎn)換2D視頻文件，得到原始視頻，同時(shí)從視頻解碼器中提取每個(gè)4x4像素塊的運(yùn)動(dòng)矢量信息，換算出這個(gè)4x4像素塊的運(yùn)動(dòng)幅度步驟
(a) 解碼待轉(zhuǎn)換2D視頻文件，得到原始視頻，同時(shí)從視頻解碼器中提取 每個(gè)4x4像素塊的運(yùn)動(dòng)矢量，包括前向和后向各一對(duì)，每對(duì)包含x方向和y方 向；
(b) 利用每個(gè)4x4像素塊的參考關(guān)系，找到4x4像素塊的參考?jí)K所在的參 考幀與當(dāng)前幀之間的幀距以及參考關(guān)系；
(c) 將4x4像素塊的參考?jí)K所在的參考幀與當(dāng)前幀之間的幀距以及參考關(guān) 系換算成每個(gè)4x4像素塊的運(yùn)動(dòng)幅度；
每個(gè)4x4像素塊的運(yùn)動(dòng)幅度的定義如下設(shè)當(dāng)前4x4像素塊的前向運(yùn)動(dòng)矢量
為M^(Jc，力和iW^(x,力，后向運(yùn)動(dòng)矢量為M^(x,力和MJ^(jc，力，前向參考?jí)K所在
的參考幀與當(dāng)前幀的幀距為/W,(jc，力和A^(;c，力，這個(gè)4x4像素塊的運(yùn)動(dòng)幅度
/"力定義為 _
1 / ,ft(;c,jO ，~~M^(:c，力，/ MK (u) ,~~膨mXx，力, ,O，力=^C( (~M )2 + (~a )2 + (" ，")2 + (~~&ja ")2)
所述的對(duì)從解碼待轉(zhuǎn)換2D視頻文件中得到的每一幀圖像，通過(guò)每個(gè)4x4像 素塊的運(yùn)動(dòng)幅度描述出整幅圖像的初始深度圖步驟
(d) 對(duì)于解碼2D視頻文件得到的每一幀圖像，通過(guò)運(yùn)動(dòng)幅度描述出對(duì)應(yīng) 描述圖，描述圖的每個(gè)像素點(diǎn)代表著每個(gè)4x4像素塊的運(yùn)動(dòng)情況，由運(yùn)動(dòng)幅度 描述出對(duì)應(yīng)描述圖的描述過(guò)程如下對(duì)步驟(c)中得到的/Oc,力的值進(jìn)行線性 縮放，確保描述圖的每個(gè)像素點(diǎn)的取值范圍為[O， 255]，設(shè)描述圖的每個(gè)點(diǎn)表示 為gOc，力，線性縮放方法如下
<formula>formula see original document page 6</formula>
(e)將得到的描述圖線性放大16倍，即水平方向4倍，垂直方向4 f
r咅'
得到分辨率與原始序列相同的初始深度圖。
所述的利用解碼出來(lái)的原始視頻和每一幀的初始深度圖，通過(guò)邊緣修正濾
波，得到物體邊緣清晰準(zhǔn)確的稠密深度圖步驟
(f) 對(duì)步驟(e)中得到的初始深度圖進(jìn)行邊緣修正濾波，其中濾波參數(shù)的 確定來(lái)自于原始視頻當(dāng)前幀和參考幀像素點(diǎn)數(shù)據(jù)，得到濾波后的深度(g) 對(duì)濾波后的深度圖迭代步驟(f)中的邊緣修正濾波，迭代五次后得到 物體邊緣清晰準(zhǔn)確的稠密深度圖，完成3D視頻的表達(dá)；
每次迭代中的邊緣修正濾波如下其中，i表示第/次迭代，^表示深度圖中的一個(gè)點(diǎn)，《("表示在i次迭代時(shí)
P點(diǎn)的深度值。！'次迭代深度圖中的p點(diǎn)，是由卜l次迭代深度圖中p位置周邊A 鄰域中的所有《點(diǎn)確定的，權(quán)值o^定義如下
必W =必A卿勿"re腦柳
其中，^表示當(dāng)前幀在p位置上的像素亮度值， 表示當(dāng)前幀在9位置上的 像素亮度值，若|~-^較大，則兩點(diǎn)恰好在邊界，叫自—較小，對(duì)上一次迭代的 p點(diǎn)進(jìn)行濾波的強(qiáng)度較小，保留原深度。反之則進(jìn)行模糊濾波，消除塊狀虛假邊 界，如此一來(lái)，|^- |就能為深度圖定位精確的物體邊界?！稙?點(diǎn)的深度圖逆 轉(zhuǎn)換得到運(yùn)動(dòng)矢量后對(duì)應(yīng)的參考位置，~即為參考幀中在該參考位置的像數(shù)亮
度值；類似于|、-~|，若|~-《|較大，;U表明鄰域中《點(diǎn)的運(yùn)動(dòng)矢量不精確， 即深度不準(zhǔn)確，需要對(duì)p進(jìn)行模糊濾波，反之則保留該點(diǎn)深度，a和/ 均為正數(shù)， 其值的選取可在系統(tǒng)運(yùn)行中不斷調(diào)整，從而得到物體邊界清晰準(zhǔn)確的稠密深度 圖，完成3D視頻的表達(dá)。
本發(fā)明適用于任何現(xiàn)有壓縮視頻文件的2D轉(zhuǎn)3D。傳統(tǒng)的2D轉(zhuǎn)3D方法均 是從視頻序列開(kāi)始設(shè)計(jì)的，但考慮到目前己有的視頻文件大多是通過(guò)某種視頻 編碼方法壓縮的，本發(fā)明立足2D轉(zhuǎn)3D光流方法和傳統(tǒng)視頻編碼運(yùn)動(dòng)估計(jì)方法 在本質(zhì)上的一致性，利用視頻解碼器的中間結(jié)果獲取初始深度圖，很好地節(jié)省 了信號(hào)處理的時(shí)間和最終產(chǎn)品的成本；同時(shí)設(shè)計(jì)了一個(gè)邊緣修正濾波器，解決 了基于圖像獲取深度這類算法中的一大難題——如何得到物體邊緣清晰準(zhǔn)確的 稠密深度圖。


圖1是運(yùn)動(dòng)場(chǎng)與光流場(chǎng)的對(duì)應(yīng)關(guān)系圖2 (a)是圖像中4x4像素塊的示意圖2 (b)是基于相關(guān)的光流法的示意圖3是邊緣修正濾波器進(jìn)行迭代濾波的模塊框圖4是Akko&Kayo_p00026視頻的截圖5是圖4視頻截圖對(duì)應(yīng)的描述7圖6是圖4視頻截圖對(duì)應(yīng)的初始深度圖； 圖7是圖4視頻截圖對(duì)應(yīng)的1次迭代濾波后的稠密深度圖； 圖8是圖4視頻截圖對(duì)應(yīng)的5次迭代濾波后的稠密深度圖。 具體實(shí)施方法
用于三維電視系統(tǒng)中2D視頻到3D視頻的轉(zhuǎn)換方法包括如下步驟
(1) 獲取經(jīng)過(guò)視頻編碼標(biāo)準(zhǔn)壓縮過(guò)的待轉(zhuǎn)換2D視頻文件；
(2) 解碼待轉(zhuǎn)換2D視頻文件，得到原始視頻，同時(shí)從視頻解碼器中提取 每個(gè)4x4像素塊的運(yùn)動(dòng)矢量信息，換算出這個(gè)4x4像素塊的運(yùn)動(dòng)幅度；
(3) 對(duì)從解碼待轉(zhuǎn)換2D視頻文件中得到的每一幀圖像，通過(guò)每個(gè)4x4像 素塊的運(yùn)動(dòng)幅度描述出整幅圖像的初始深度(4) 利用解碼出來(lái)的原始視頻和每一幀的初始深度圖，通過(guò)邊緣修正濾波， 得到物體邊緣清晰準(zhǔn)確的稠密深度圖，完成3D視頻的表達(dá)。
所述的解碼待轉(zhuǎn)換2D視頻文件，得到原始視頻，同時(shí)從視頻解碼器中提取 每個(gè)4x4像素塊的運(yùn)動(dòng)矢量信息，換算出這個(gè)4x4像素塊的運(yùn)動(dòng)幅度步驟
(a) 解碼待轉(zhuǎn)換2D視頻文件，得到原始視頻，同時(shí)從視頻解碼器中提取 每個(gè)4x4像素塊的運(yùn)動(dòng)矢量，包括前向和后向各一對(duì)，每對(duì)包含x方向和y方 向；
以R264為例，每個(gè)宏塊有16x16、 16x8、 8"6、 8><8、 8><4、 4><8、 4><4等多 種劃分，每個(gè)分塊精確到的運(yùn)動(dòng)矢量范圍均不相同。然而，我們可以將這些同 一到以4x4為劃分單位，每個(gè)分塊均有前向和后向的運(yùn)動(dòng)矢量。
(b) 利用每個(gè)4x4像素塊的參考關(guān)系，找到4x4像素塊的參考?jí)K所在的參 考幀與當(dāng)前幀之間的幀距以及參考關(guān)系；
以H.264為例，參考幀數(shù)不止一幀。為提高壓縮效率，編碼器會(huì)在多個(gè)參 考幀中找到一個(gè)最合適的匹配塊。這樣一來(lái)，可能會(huì)出現(xiàn)如下情況A塊的運(yùn) 動(dòng)比B塊劇烈，A塊在M幀里找到了相應(yīng)的匹配塊，B塊在N幀里找到了相應(yīng) 的匹配塊，而且由于A塊與其匹配塊差距更小，可能導(dǎo)致A塊的運(yùn)動(dòng)矢量要比 B塊小。也就是說(shuō)，運(yùn)動(dòng)劇烈的A塊反而有較小的運(yùn)動(dòng)矢量。在這種例外情況 下，需要將幀距進(jìn)行修正，改為幀距的倒數(shù)。
(c) 將4x4像素塊的參考?jí)K所在的參考幀與當(dāng)前幀之間的幀距以及參考關(guān) 系換算成每個(gè)4x4像素塊的運(yùn)動(dòng)幅度；
每個(gè)4x4像素塊的運(yùn)動(dòng)幅度的定義如下設(shè)當(dāng)前4x4像素塊的前向運(yùn)動(dòng)矢 量為M^(JC，力和M^(x，力，后向運(yùn)動(dòng)矢量為MP^(x，力和A/I;0:，力，前向參考?jí)K所在的參考幀與當(dāng)前幀的幀距為A力(x,力和A《(Jc,力，這個(gè)4x4像素塊的運(yùn)動(dòng)幅度 /(x，力定義為
,，力l^/^l^+(^"力)、/(,^， + (^^) 2 Y M/0,力 A力0，力 V A《0，力 M"力
所述的對(duì)從解碼待轉(zhuǎn)換2D視頻文件中得到的每一幀圖像，通過(guò)每個(gè)4x4像 素塊的運(yùn)動(dòng)幅度描述出整幅圖像的初始深度圖步驟
(d)對(duì)于解碼2D視頻文件得到的每一幀圖像，通過(guò)運(yùn)動(dòng)幅度描述出對(duì)應(yīng) 描述圖，描述圖的每個(gè)像素點(diǎn)代表著每個(gè)44像素塊的運(yùn)動(dòng)情況，由運(yùn)動(dòng)幅度 描述出對(duì)應(yīng)描述圖的描述過(guò)程如下對(duì)步驟(c)中得到的/Oc,力的值進(jìn)行線性 縮放，確保描述圖的每個(gè)像素點(diǎn)的取值范圍為[O， 255]，設(shè)描述圖的每個(gè)點(diǎn)表示 為g(x，力，線性縮放方法如下-
255
=-,, 、 [/(A力-Z(U)mJ
(e) 將得到的描述圖線性放大16倍，即水平方向4倍，垂直方向4倍，
得到分辨率與原始序列相同的初始深度圖。
若前景物體和背景物體具有相同的運(yùn)動(dòng)幅度，在視頻中表現(xiàn)為前景物體的 運(yùn)動(dòng)更劇烈，即前景物體比背景物體運(yùn)動(dòng)幅度更大，故每個(gè)像素點(diǎn)的運(yùn)動(dòng)幅度 可直接表示此像素點(diǎn)的深度。
描述圖的精度是原圖的4x4塊，需要進(jìn)行放大才能獲得與原始序列相同的
分辨率。這里采用雙線性插值算法，該算法已相當(dāng)成熟。
所述的利用解碼出來(lái)的原始視頻和每一幀的初始深度圖，通過(guò)邊緣修正濾
波，得到物體邊緣清晰準(zhǔn)確的稠密深度圖步驟
(f) 對(duì)步驟(e)中得到的初始深度圖進(jìn)行邊緣修正濾波，其中濾波參數(shù)的 確定來(lái)自于原始視頻當(dāng)前幀和參考幀像素點(diǎn)數(shù)據(jù)，得到濾波后的深度(g) 對(duì)濾波后的深度圖迭代步驟(f)中的邊緣修正濾波，迭代五次后得到 物體邊緣清晰準(zhǔn)確的稠密深度圖，完成3D視頻的表達(dá)；
設(shè)計(jì)框圖如圖3所示。模塊輸入為解碼得到的當(dāng)前幀、深度圖中的每一點(diǎn) 對(duì)應(yīng)的參考幀和初始深度圖，最后的稠密深度圖由迭代產(chǎn)生。 每次迭代中的邊緣修正濾波如下
，=^^^-
其中，！'表示第/次迭代，/7表示深度圖中的一個(gè)點(diǎn)，《(^)表示在;次迭代時(shí)^點(diǎn)的深度值。！'次迭代深度圖中的/7點(diǎn)，是由Z-1次迭代深度圖中/P位置周邊A
鄰域中的所有《點(diǎn)確定的，權(quán)值《^定義如下
"/7g 二必6卿勿"rc"。礎(chǔ)iy
份 =e-，墨V
其中，^表示當(dāng)前幀在p位置上的像素亮度值， 表示當(dāng)前幀在？位置上的 像素亮度值，若| -~|較大，則兩點(diǎn)恰好在邊界，較小，對(duì)上一次迭代的 P點(diǎn)進(jìn)行濾波的強(qiáng)度較小，保留原深度。反之則進(jìn)行模糊濾波，消除塊狀虛假邊 界，如此一來(lái)，kp- l就能為深度圖定位精確的物體邊界?！?為《點(diǎn)的深度圖逆 轉(zhuǎn)換得到運(yùn)動(dòng)矢量后對(duì)應(yīng)的參考位置， 即為參考幀中在該參考位置的像數(shù)亮 度值；類似于K、1，若k,、.l較大，則表明鄰域中《點(diǎn)的運(yùn)動(dòng)矢量不精確， 即深度不準(zhǔn)確，需要對(duì)p進(jìn)行模糊濾波，反之則保留該點(diǎn)深度，"和^均為正數(shù)， 其值的選取可在系統(tǒng)運(yùn)行中不斷調(diào)整，從而得到物體邊界清晰準(zhǔn)確的稠密深度 圖，完成3D視頻的表達(dá)。 實(shí)施例
(1) 從網(wǎng)上下載經(jīng)過(guò)R264編碼后的Akko&Kaycu500026標(biāo)準(zhǔn)測(cè)試碼流，此視 頻文件即為我們待轉(zhuǎn)換的2D視頻文件。圖4即為Akko&Kayo_p00026視頻的截 圖。
(2) 解碼此視頻文件，從H264視頻解碼器中提取出每個(gè)4x4像素塊的運(yùn)動(dòng)矢 量，換算成運(yùn)動(dòng)幅度，并生成描述圖。圖5即為圖4視頻截圖對(duì)應(yīng)的描述圖。
(3) 將描述圖線形放大16倍，得到初始深度圖。圖6即為圖4視頻截圖對(duì)應(yīng) 的初始深度圖。
(3)迭代進(jìn)行邊緣修正濾波，得到物體邊緣清晰準(zhǔn)確的稠密深度圖，完成3D 視頻的表達(dá)。圖7即為圖4視頻截圖對(duì)應(yīng)的1次迭代濾波后稠密深度圖，圖8 即為圖4視頻截圖對(duì)應(yīng)的5次迭代濾波后的稠密深度圖。
權(quán)利要求
1.一種用于三維電視系統(tǒng)中2D視頻到3D視頻的轉(zhuǎn)換方法，其特征在于包括如下步驟(1)獲取經(jīng)過(guò)視頻編碼標(biāo)準(zhǔn)壓縮過(guò)的待轉(zhuǎn)換2D視頻文件；(2)解碼待轉(zhuǎn)換2D視頻文件，得到原始視頻，同時(shí)從視頻解碼器中提取每個(gè)4x4像素塊的運(yùn)動(dòng)矢量信息，換算出這個(gè)4×4像素塊的運(yùn)動(dòng)幅度；(3)對(duì)從解碼待轉(zhuǎn)換2D視頻文件中得到的每一幀圖像，通過(guò)每個(gè)4x4像素塊的運(yùn)動(dòng)幅度描述出整幅圖像的初始深度圖；(4)利用解碼出來(lái)的原始視頻和每一幀的初始深度圖，通過(guò)邊緣修正濾波，得到物體邊緣清晰準(zhǔn)確的稠密深度圖，完成3D視頻的表達(dá)。
2. 根據(jù)權(quán)利要求1所述的一種用于三維電視系統(tǒng)中2D視頻到3D視頻的轉(zhuǎn) 換方法，其特征在于所述的解碼待轉(zhuǎn)換2D視頻文件，得到原始視頻，同時(shí)從視 頻解碼器中提取每個(gè)4x4像素塊的運(yùn)動(dòng)矢量信息，換算出這個(gè)4x4像素塊的運(yùn)動(dòng) 幅度步驟(a) 解碼待轉(zhuǎn)換2D視頻文件，得到原始視頻，同時(shí)從視頻解碼器中提取 每個(gè)4x4像素塊的運(yùn)動(dòng)矢量，包括前向和后向各一對(duì)，每對(duì)包含x方向和y方 向；(b) 利用每個(gè)4x4像素塊的參考關(guān)系，找到4x4像素塊的參考?jí)K所在的參 考幀與當(dāng)前幀之間的幀距以及參考關(guān)系；(c) 將4x4像素塊的參考?jí)K所在的參考幀與當(dāng)前幀之間的幀距以及參考關(guān) 系換算成每個(gè)4x4像素塊的運(yùn)動(dòng)幅度；每個(gè)4x4像素塊的運(yùn)動(dòng)幅度的定義如下設(shè)當(dāng)前4x4像素塊的前向運(yùn)動(dòng)矢量 為MP^Oc,力和MJ^(x,力，后向運(yùn)動(dòng)矢量為M^Oc，力和M^(x，力，前向參考?jí)K所在 的參考幀與當(dāng)前幀的幀距為A《(x,力和A《"力，這個(gè)4x4像素塊的運(yùn)動(dòng)幅度<formula>formula see original document page 2</formula>
3.根據(jù)權(quán)利要求1所述的一種用于三維電視系統(tǒng)中2D視頻到3D視頻的轉(zhuǎn) 換方法，其特征在于所述的對(duì)從解碼待轉(zhuǎn)換2D視頻文件中得到的每一幀圖像， 通過(guò)每個(gè)4x4像素塊的運(yùn)動(dòng)幅度描述出整幅圖像的初始深度圖步驟(d)對(duì)于解碼2D視頻文件得到的每一幀圖像，通過(guò)運(yùn)動(dòng)幅度描述出對(duì)應(yīng) 描述圖，描述圖的每個(gè)像素點(diǎn)代表著每個(gè)4x4像素塊的運(yùn)動(dòng)情況，由運(yùn)動(dòng)幅度描述出對(duì)應(yīng)描述圖的描述過(guò)程如下對(duì)步驟(C)中得到的/(;c,力的值進(jìn)行線性縮放，確保描述圖的每個(gè)像素點(diǎn)的取值范圍為[O， 255]，設(shè)描述圖的每個(gè)點(diǎn)表示 為g(x，力，線性縮放方法如下255(e) 將得到的描述圖線性放大16倍，即水平方向4倍，垂直方向4倍，得到分辨率與原始序列相同的初始深度圖。
4.根據(jù)權(quán)利要求1所述的一種用于三維電視系統(tǒng)中2D視頻到3D視頻的轉(zhuǎn) 換方法，其特征在于所述的利用解碼出來(lái)的原始視頻和每一幀的初始深度圖， 通過(guò)邊緣修正濾波，得到物體邊緣清晰準(zhǔn)確的稠密深度圖步驟(f) 對(duì)步驟(e)中得到的初始深度圖進(jìn)行邊緣修正濾波，其中濾波參數(shù)的 確定來(lái)自于原始視頻當(dāng)前幀和參考幀像素點(diǎn)數(shù)據(jù)，得到濾波后的深度圖；(g) 對(duì)濾波后的深度圖迭代步驟(f)中的邊緣修正濾波，迭代五次后得到 物體邊緣清晰準(zhǔn)確的稠密深度圖，完成3D視頻的表達(dá)；每次迭代中的邊緣修正濾波如下<formula>formula see original document page 3</formula>其中，/表示第!'次迭代，p表示深度圖中的一個(gè)點(diǎn)，《(;O表示在Z次迭代時(shí) p點(diǎn)的深度值。/次迭代深度圖中的^點(diǎn)，是由/-1次迭代深度圖中^位置周邊八 鄰域中的所有《點(diǎn)確定的，權(quán)值"M定義如下<formula>formula see original document page 3</formula>其中， 表示當(dāng)前幀在p位置上的像素亮度值，^表示當(dāng)前幀在g位置上的 像素亮度值，若K- i較大，則兩點(diǎn)恰好在邊界，A。^"較小，對(duì)上一次迭代的 p點(diǎn)進(jìn)行濾波的強(qiáng)度較小，保留原深度。反之則進(jìn)行模糊濾波，消除塊狀虛假邊 界，如此一來(lái)，|~-~|就能為深度圖定位精確的物體邊界。？為q點(diǎn)的深度圖逆 轉(zhuǎn)換得到運(yùn)動(dòng)矢量后對(duì)應(yīng)的參考位置，《即為參考幀中在該參考位置的像數(shù)亮度值；類似于|、- |，若|~-力|較大，;j表明鄰域中9點(diǎn)的運(yùn)動(dòng)矢量不精確， 即深度不準(zhǔn)確，需要對(duì)p進(jìn)行模糊濾波，反之則保留該點(diǎn)深度，"和"均為正數(shù)， 其值的選取可在系統(tǒng)運(yùn)行中不斷調(diào)整，從而得到物體邊界清晰準(zhǔn)確的稠密深度 圖，完成3D視頻的表達(dá)。
全文摘要
本發(fā)明公開(kāi)了一種用于三維電視系統(tǒng)中2D視頻到3D視頻的轉(zhuǎn)換方法，包括如下步驟(1)獲取經(jīng)過(guò)視頻編碼標(biāo)準(zhǔn)壓縮過(guò)的待轉(zhuǎn)換2D視頻文件；(2)解碼得到原始視頻，同時(shí)從視頻解碼器中提取每個(gè)4×4像素塊的運(yùn)動(dòng)矢量信息，換算成運(yùn)動(dòng)幅度；(3)通過(guò)運(yùn)動(dòng)幅度描述出每一幀圖像的初始深度圖；(4)迭代邊緣修正濾波，得到物體邊緣清晰準(zhǔn)確的稠密深度圖，完成3D視頻的表達(dá)。本發(fā)明利用視頻解碼器的中間結(jié)果獲取初始深度圖，很好地節(jié)省了信號(hào)處理的時(shí)間和最終產(chǎn)品的成本；同時(shí)設(shè)計(jì)了一個(gè)邊緣修正濾波器，解決了基于圖像獲取深度這類算法中的一大難題——如何得到物體邊緣清晰準(zhǔn)確的稠密深度圖。
文檔編號(hào)H04N13/00GK101631256SQ20091010211
公開(kāi)日2010年1月20日 申請(qǐng)日期2009年8月13日 優(yōu)先權(quán)日2009年8月13日
發(fā)明者明 席, 明 張, 李東曉, 楊青青, 王梁昊, 黃曉軍 申請(qǐng)人:浙江大學(xué)