通過雙目圖像獲得深度圖的方法
【專利摘要】本發(fā)明涉及通過雙目圖像獲得深度圖的方法，包括：a.對轉(zhuǎn)換的左目視圖和右目視圖中值濾波；b.建立左、右目視圖的最小生成樹，然后計算出對應(yīng)的左、右目梯度輪廓圖像；c.平移得到2n幅左、右目視差范圍序列圖像和2n幅左、右目梯度視差范圍圖像；d.按權(quán)重求得左、右目梯度輪廓圖像差值的均值和左、右目視差范圍序列圖像差值的均值，得到2n幅差值權(quán)重視差表和權(quán)重系數(shù)表；e.進(jìn)行相似度聚合濾波，求得左右目2n幅聚合視差表，在2n幅聚合視差表中，取相同像素位置的最小聚合值表。本發(fā)明能夠快速準(zhǔn)確的得到序列圖位置和圖像深度圖，并且圖像的前景背景深度信息豐富，輪廓清晰，能夠有效提高裸眼3D圖像的質(zhì)量，進(jìn)一步推動裸眼3D技術(shù)的發(fā)展。
【專利說明】通過雙目圖像獲得深度圖的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理，具體的講是通過雙目圖像獲得深度圖的方法。
【背景技術(shù)】
[0002]隨著影視視頻技術(shù)的高速發(fā)展，電視電影視頻節(jié)目進(jìn)入千家萬戶的時候，2D平面電影和視頻節(jié)目已經(jīng)無法滿足人們對視覺沖擊和層次體驗(yàn)的強(qiáng)烈需求了。目前3D電影視頻的悄然興起，解決了人們對當(dāng)前立體電影視頻的觀看需求。但目前的3D電影視頻體驗(yàn)仍然不能脫離佩戴眼鏡的模式，在體驗(yàn)3D效果的同時，佩戴眼鏡給觀眾帶來了不少的煩惱，所以裸眼3D設(shè)備的需求呼之欲出。而裸眼3D的關(guān)鍵技術(shù)就是在于求圖像的深度圖。

【發(fā)明內(nèi)容】

[0003]本發(fā)明提供了一種通過雙目圖像獲得深度圖的方法，快速準(zhǔn)確的得到序列圖位置和圖像深度圖，并且圖像的前景背景深度信息豐富，輪廓清晰。
[0004]本發(fā)明通過雙目圖像獲得深度圖的方法，包括:
[0005]a.對雙目原始視頻圖像進(jìn)行分圖轉(zhuǎn)換，分為左目視圖和右目視圖，并且對所述的左目視圖和右目視圖進(jìn)行中值濾波；
[0006]b.對濾波后的分圖以像素索引號為節(jié)點(diǎn)，像素間的距離為邊，分別建立左、右目視圖的最小生成樹，然后將左、右目圖像轉(zhuǎn)換為灰度圖像后計算出左、右目圖像的對應(yīng)的左目梯度輪廓圖像和右目梯度輪廓圖像；
[0007]c.以零平面為基準(zhǔn)，左目圖像到右目圖像共有2n的視差范圍，其中0到n表示正視差，0到-n表示負(fù)視差；按照所述的2n視差范圍用左目視圖和右目視圖分別平移出對應(yīng)的2n幅左目視差范圍序列圖像和2n幅右目視差范圍序列圖像，以及用所述左目梯度輪廓圖像和右目梯度輪廓圖像分別平移出對應(yīng)的2n幅左目梯度視差范圍圖像和2n幅右目梯度視差范圍圖像。在3D圖像中，以屏幕為基準(zhǔn)，落在屏幕后面的是正視差，落在屏幕前面的負(fù)視差。n的取值根據(jù)雙目圖像視差大小而定，根據(jù)經(jīng)驗(yàn)針對480X 270大小級別的圖像n的取值范圍是15到20 ；
[0008]d.將步驟c中得到的左、右目視差范圍序列圖像和左、右目梯度視差范圍圖像，與對應(yīng)的步驟a的左、右目視圖和步驟b的左、右目梯度輪廓圖像一一做差值，并按權(quán)重求得左、右目梯度輪廓圖像差值的均值和左、右目視差范圍序列圖像差值的均值，將所述兩個均值比較后，如果偏重梯度輪廓圖像，則將梯度輪廓差值的權(quán)重設(shè)大，如果偏重色彩信息，則將左、右目視差范圍序列圖像的權(quán)重設(shè)大，最終得到2n幅差值權(quán)重視差表，進(jìn)而求得權(quán)重系數(shù)表；
[0009]e.根據(jù)步驟b的左、右目視圖的最小生成樹和步驟d的2n幅差值權(quán)重視差表以及權(quán)重系數(shù)表進(jìn)行相似度聚合濾波，求得左右目2n幅聚合視差表，在2n幅聚合視差表中，取相同像素位置的最小聚合值，得到的表即為當(dāng)前視圖的深度圖。
[0010]本發(fā)明是通過雙目圖像計算前景背景深度圖，其原理是利用左、右目視圖的視差范圍，平移左、右目圖像，并在其移動的視差圖序列中找到和相對的那一目圖像中相同像素點(diǎn)在第幾張視差序列圖中。最后得到的準(zhǔn)確序列圖位置即為當(dāng)前點(diǎn)的深度信息。
[0011]進(jìn)一步的，步驟b建立最小生成樹后，如果是3通道的RGB圖像，則分別對各個通道求差值，最后對3個通道的差值求均值得到當(dāng)前點(diǎn)到鄰域點(diǎn)的距離，可以通過公式
Dis tan ? = lR1-R2' + 'G1；G2l + lB1-B2'求得。
[0012]優(yōu)選的，步驟a所述的中值濾波為包括算法CTMF的快速中值濾波，也可以根據(jù)具體情況采用其它中值濾波算法。
[0013]優(yōu)選的，中值濾波的濾波半徑為I或2。
[0014]具體的，步驟b中像素間的距離計算包括計算4鄰域或8鄰域間的距離作為待計算的最小生成樹的邊。
[0015]進(jìn)一步的，對步驟c中平移后圖像空出的左右邊緣位置，左、右目視差范圍序列圖像用對應(yīng)平移圖像的步驟a的左、右目視圖的左右邊緣列進(jìn)行填充，左、右目梯度視差范圍圖像用對應(yīng)平移圖像的步驟b左、右目梯度輪廓圖像的左右邊緣列進(jìn)行填充。
[0016]經(jīng)過測試，優(yōu)選的是步驟d的均值計算中，左、右目梯度輪廓圖像的權(quán)值為0.8~
0.9,左、右目視差范圍序列圖像的權(quán)值為0.1~0.2,并且對于左、右目視差范圍序列圖像中的RGB像素值分別進(jìn)行差值計算，并求得差值的均值。
[0017]具體的，根據(jù)最小生成樹的父節(jié)點(diǎn)和對應(yīng)的子節(jié)點(diǎn)，以及步驟d的2n幅差值權(quán)重視差表和權(quán)重系數(shù)表進(jìn)行相似度聚 合濾波。
[0018]優(yōu)選的，步驟d所述的權(quán)重系數(shù)表是0到255距離范圍內(nèi)的權(quán)重系數(shù)表，以獲得整個范圍內(nèi)的權(quán)重系數(shù)表。
[0019]優(yōu)選的，通過kruskal算法求的所述的最小生成樹，也可以根據(jù)具體情況采用其
它算法。
[0020]本發(fā)明的通過雙目圖像獲得深度圖的方法，能夠快速準(zhǔn)確的得到序列圖位置和圖像深度圖，并且圖像的前景背景深度信息豐富，輪廓清晰，能夠有效提高裸眼3D圖像的質(zhì)量，進(jìn)一步推動裸眼3D技術(shù)的發(fā)展。
[0021]以下結(jié)合實(shí)施例的【具體實(shí)施方式】，對本發(fā)明的上述內(nèi)容再作進(jìn)一步的詳細(xì)說明。但不應(yīng)將此理解為本發(fā)明上述主題的范圍僅限于以下的實(shí)例。在不脫離本發(fā)明上述技術(shù)思想情況下，根據(jù)本領(lǐng)域普通技術(shù)知識和慣用手段做出的各種替換或變更，均應(yīng)包括在本發(fā)明的范圍內(nèi)。
【專利附圖】

【附圖說明】
[0022]圖1為本發(fā)明通過雙目圖像獲得深度圖的方法的流程圖。
【具體實(shí)施方式】
[0023]如圖1所示本發(fā)明通過雙目圖像獲得深度圖的方法，步驟為:
[0024]a.對雙目原始視頻圖像進(jìn)行分圖轉(zhuǎn)換，分為左目視圖和右目視圖，并且對所述的左目視圖和右目視圖通過CTMF算法進(jìn)行中值濾波，濾波半徑為I或2 ;
[0025]b.對濾波后的分圖以像素索引號為節(jié)點(diǎn)，計算像素間4鄰域或8鄰域間的距離作為最小生成樹的邊，通過kruskal算法分別建立左、右目視圖的最小生成樹，如果是3通道的RGB圖像，則分別對各個通道求差值，最后對3個通道的差值求均值得到當(dāng)前點(diǎn)到鄰域點(diǎn)
的距離，可以通過公式D,、ianCe = |R1 — R2| + |G1;G2| + |B1 — B21求得。然后將左、右目
圖像轉(zhuǎn)換為灰度圖像后計算出左、右目圖像的對應(yīng)的左目梯度輪廓圖像和右目梯度輪廓圖像；
[0026]c.以零平面為基準(zhǔn)，左目圖像到右目圖像共有2n的視差范圍，其中0到n表示正視差，0到-n表示負(fù)視差。按照所述的2n視差范圍用左目視圖和右目視圖分別平移出對應(yīng)的2n幅左目視差范圍序列圖像和2n幅右目視差范圍序列圖像，以及用所述左目梯度輪廓圖像和右目梯度輪廓圖像分別平移出對應(yīng)的2n幅左目梯度視差范圍圖像和2n幅右目梯度視差范圍圖像；平移后圖像空出的左右邊緣位置，左、右目視差范圍序列圖像用對應(yīng)平移圖像的步驟a的左、右目視圖的左右邊緣列進(jìn)行填充，左、右目梯度視差范圍圖像用對應(yīng)平移圖像的步驟b左、右目梯度輪廓圖像的左右邊緣列進(jìn)行填充；n的取值根據(jù)雙目圖像視差大小而定，根據(jù)經(jīng)驗(yàn)針對480X270大小級別的圖像n的取值范圍是15到20 ；
[0027]d.將步驟c中得到的左、右目視差范圍序列圖像和左、右目梯度視差范圍圖像，與對應(yīng)的步驟a的左、右目視圖和步驟b的左、右目梯度輪廓圖像一一做差值，并按權(quán)重求得左、右目梯度輪廓圖像差值的均值和左、右目視差范圍序列圖像差值的均值，左、右目梯度輪廓圖像的權(quán)值為0.8~0.9，左、右目視差范圍序列圖像的權(quán)值為
0.1 ~0.2,公式為:dis_color_gradient=0.12Xcolor + 0.88Xgradient。對于左、右目視差范圍序列圖像中的RGB像素值分別進(jìn)行差值計算，并求得差值的均值。其中，color為右目原始彩色序列圖像與左目原始彩色圖像的對應(yīng)差值，gradient為右梯度圖像序列圖與左梯度圖像的對應(yīng)差值。左目序列圖差值也同此方法。將所述兩個均值比較后，如果偏重梯度輪廓圖像，則將梯度輪廓差值的權(quán)重設(shè)大，如果偏重色彩信息，則將左、右目視差范圍序列圖像的權(quán)重設(shè)大，最終得到2n幅差值權(quán)重視差表，再通過公式
/'(^*SIGMA),.求得0到255距離范圍內(nèi)的權(quán)重系數(shù)表；
e -(i=[0,255], SIGMA=O-1O~0.17)
[0028]e.根據(jù)步驟b的左、右目視圖的最小生成樹的父節(jié)點(diǎn)和對應(yīng)的子節(jié)點(diǎn)，以及步驟d的2n幅差值權(quán)重視差表和權(quán)重系數(shù)表進(jìn)行相似度聚合濾波，求得左右目2n幅聚合視差表，在2n幅聚合視差表中，取相同像素位置的最小聚合值，得到的表即為當(dāng)前視圖的深度圖。
【權(quán)利要求】
1.通過雙目圖像獲得深度圖的方法，其特征包括: a.對雙目原始視頻圖像進(jìn)行分圖轉(zhuǎn)換，分為左目視圖和右目視圖，并且對所述的左目視圖和右目視圖進(jìn)行中值濾波； b.對濾波后的分圖以像素索引號為節(jié)點(diǎn)，像素間的距離為邊，分別建立左、右目視圖的最小生成樹，然后將左、右目圖像轉(zhuǎn)換為灰度圖像后計算出左、右目圖像的對應(yīng)的左目梯度輪廓圖像和右目梯度輪廓圖像； c.以零平面為基準(zhǔn)，左目圖像到右目圖像共有2n的視差范圍，其中O到n表示正視差，O到-n表示負(fù)視差；按照所述的2n視差范圍用左目視圖和右目視圖分別平移出對應(yīng)的2n幅左目視差范圍序列圖像和2n幅右目視差范圍序列圖像，以及用所述左目梯度輪廓圖像和右目梯度輪廓圖像分別平移出對應(yīng)的2n幅左目梯度視差范圍圖像和2n幅右目梯度視差范圍圖像； d.將步驟c中得到的左、右目視差范圍序列圖像和左、右目梯度視差范圍圖像，與對應(yīng)的步驟a的左、右目視圖和步驟b的左、右目梯度輪廓圖像一一做差值，并按權(quán)重求得左、右目梯度輪廓圖像差值的均值和左、右目視差范圍序列圖像差值的均值，將所述兩個均值比較后，如果偏重梯度輪廓圖像，則將梯度輪廓差值的權(quán)重設(shè)大，如果偏重色彩信息，則將左、右目視差范 圍序列圖像的權(quán)重設(shè)大，最終得到2n幅差值權(quán)重視差表，進(jìn)而求得權(quán)重系數(shù)表； e.根據(jù)步驟b的左、右目視圖的最小生成樹和步驟d的2n幅差值權(quán)重視差表以及權(quán)重系數(shù)表進(jìn)行相似度聚合濾波，求得左右目2n幅聚合視差表，在2n幅聚合視差表中，取相同像素位置的最小聚合值，得到的表即為當(dāng)前視圖的深度圖。
2.如權(quán)利要求1所述的通過雙目圖像獲得深度圖的方法，其特征為:步驟b建立最小生成樹后，如果是3通道的RGB圖像，則分別對各個通道求差值，最后對3個通道的差值求均值得到當(dāng)前點(diǎn)到鄰域點(diǎn)的距離。
3.如權(quán)利要求1所述的通過雙目圖像獲得深度圖的方法，其特征為:步驟a所述的中值濾波為包括算法CTMF的快速中值濾波。
4.如權(quán)利要求3所述的通過雙目圖像獲得深度圖的方法，其特征為:中值濾波的濾波半徑為I或2。
5.如權(quán)利要求1所述的通過雙目圖像獲得深度圖的方法，其特征為:步驟b中像素間的距離計算包括計算4鄰域或8鄰域間的距離作為待計算的最小生成樹的邊。
6.如權(quán)利要求1所述的通過雙目圖像獲得深度圖的方法，其特征為:對步驟c中平移后圖像空出的左右邊緣位置，左、右目視差范圍序列圖像用對應(yīng)平移圖像的步驟a的左、右目視圖的左右邊緣列進(jìn)行填充，左、右目梯度視差范圍圖像用對應(yīng)平移圖像的步驟b左、右目梯度輪廓圖像的左右邊緣列進(jìn)行填充。
7.如權(quán)利要求1所述的通過雙目圖像獲得深度圖的方法，其特征為:步驟d的均值計算中，左、右目梯度輪廓圖像的權(quán)值為0.8~0.9，左、右目視差范圍序列圖像的權(quán)值為0.1~0.2，并且對于左、右目視差范圍序列圖像中的RGB像素值分別進(jìn)行差值計算，并求得差值的均值。
8.如權(quán)利要求1所述的通過雙目圖像獲得深度圖的方法，其特征為:根據(jù)最小生成樹的父節(jié)點(diǎn)和對應(yīng)的子節(jié)點(diǎn)，以及步驟d的2n幅差值權(quán)重視差表和權(quán)重系數(shù)表進(jìn)行相似度聚合濾波。
9.如權(quán)利要求1至8之一所述的通過雙目圖像獲得深度圖的方法，其特征為:步驟d所述的權(quán)重系數(shù)表是O到255距離范圍內(nèi)的權(quán)重系數(shù)表。
10.如權(quán)利要求1至8之一所述的通過雙目圖像獲得深度圖的方法，其特征為:通過kruskal算法求的所述 的最小生成樹。
【文檔編號】G06T7/00GK103617608SQ201310507079
【公開日】2014年3月5日 申請日期:2013年10月24日 優(yōu)先權(quán)日:2013年10月24日
【發(fā)明者】李國超 申請人:四川長虹電器股份有限公司