專利名稱：結(jié)構(gòu)光條紋采樣數(shù)據(jù)深度圖像的雙四導(dǎo)六插值方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種結(jié)構(gòu)光條紋采樣數(shù)據(jù)深度圖像的插值方法。
背景技術(shù)：
在非接觸三維測(cè)量技術(shù)中，光學(xué)三維測(cè)量技術(shù)是獲取物體三維信息最有效的手段 之一。目前視覺三維測(cè)量技術(shù)的重點(diǎn)發(fā)展方向包括結(jié)構(gòu)光法、立體圖像法、莫爾法、全息法、 激光雷達(dá)法等。近年來，結(jié)構(gòu)光法三維信息測(cè)量技術(shù)取得了長足的進(jìn)步，顯示了其在分辨率及測(cè) 量速度上的優(yōu)勢(shì)，已經(jīng)成為三維測(cè)量領(lǐng)域中非常重要的研究方向之一。用結(jié)構(gòu)光法測(cè)量并重建空間曲面時(shí)，其重建精度主要受到條紋采樣寬度的影響。 理論上講，結(jié)構(gòu)光法中的使用的條紋，采樣寬度映射到圖像平面時(shí)，可以達(dá)到1個(gè)像素甚至 是亞像素粗細(xì)。但實(shí)際上，如果條紋寬度取到1個(gè)像素或更低，用圖像處理技術(shù)提取此條紋 數(shù)據(jù)時(shí)誤差極大，難以用于后續(xù)的曲面重建工作。所以，在實(shí)際應(yīng)用中，條紋的采樣寬度至 少要取到4個(gè)像素左右。這就造成了采樣數(shù)據(jù)橫、縱分辨率不一致，一個(gè)方向上點(diǎn)云比較密 集，而另一個(gè)方向上點(diǎn)云比較稀疏，進(jìn)而造成重建出的曲面中含有大量的狹長三角形，與原 曲面相比存在嚴(yán)重的失真。因此，對(duì)結(jié)構(gòu)光條紋的采樣數(shù)據(jù)進(jìn)行加密勢(shì)在必行，這就需要用 到插值技術(shù)。目前，常用的插值方法有最鄰近插值法、雙線性插值法和三次卷積插值法等等。其 中，最鄰近插值法原理簡單、執(zhí)行速度快，插值精度較低；三次卷積插值法實(shí)現(xiàn)復(fù)雜、執(zhí)行速 度慢，插值精度高；雙線性插值法的執(zhí)行速度介于二者之間，插值精度也高，在實(shí)際中有廣 泛的應(yīng)用。傳統(tǒng)的雙線性插值方法采用一個(gè)正方形模板，提取此正方形4個(gè)角點(diǎn)的像素作為 插值基準(zhǔn)數(shù)據(jù)，而生成的數(shù)據(jù)會(huì)出現(xiàn)在正方形中心位置。將此方法用于結(jié)構(gòu)光條紋采樣數(shù) 據(jù)深度圖像的插值，插值結(jié)果會(huì)出現(xiàn)在原圖像兩行像素之間，這會(huì)嚴(yán)重地改變?cè)紨?shù)據(jù)的 拓?fù)浣Y(jié)構(gòu)，進(jìn)而影響到后續(xù)三維信息復(fù)原結(jié)果的逼真程度。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種結(jié)構(gòu)光條紋采樣數(shù)據(jù)深度圖像的“雙四導(dǎo)六”插值方法， 此方法可以克服雙線性插值方法的缺陷，在不改變?cè)紨?shù)據(jù)拓?fù)浣Y(jié)構(gòu)的前提下，以更高的 可信度完成插值。上述的目的通過以下的技術(shù)方案實(shí)現(xiàn)一種結(jié)構(gòu)光條紋采樣數(shù)據(jù)深度圖像的“雙四導(dǎo)六”插值方法，該方法包括如下步 驟A、選取一個(gè)矩形模板計(jì)算待插值像素上、下位置的輔助點(diǎn)，此矩形模板包含兩行 三列像素，受結(jié)構(gòu)光條紋采樣數(shù)據(jù)特征的影響，此模板的中間列像素為空白，計(jì)算上下位置 輔助點(diǎn)時(shí)，以矩形的四個(gè)角點(diǎn)像素為插值基準(zhǔn)點(diǎn)；
B、選取一個(gè)十字形模板計(jì)算待插值像素的最終插值結(jié)果，此十字形模板中上、下 位置的像素為第一步計(jì)算得到的上、下位置輔助點(diǎn)，左、右位置的像素為待插值像素水平方 向上左、右位置的像素；C、根據(jù)兩次插值的位置結(jié)構(gòu)信息，推導(dǎo)出一種“雙四導(dǎo)六”數(shù)學(xué)計(jì)算模型，簡化最 終插值的計(jì)算。所述的結(jié)構(gòu)光條紋采樣數(shù)據(jù)深度圖像的“雙四導(dǎo)六”插值方法，步驟B中所述的在 深度圖像的上下邊緣位置插值時(shí)，上位置或下位置輔助點(diǎn)無法計(jì)算，插值方法將采用退化 后的形式進(jìn)行計(jì)算。所述的結(jié)構(gòu)光條紋采樣數(shù)據(jù)深度圖像的“雙四導(dǎo)六”插值方法，步驟C中所述的 “雙四導(dǎo)六”數(shù)學(xué)計(jì)算模型為上位置輔助點(diǎn)的計(jì)算用待插值點(diǎn)鄰域中上位置共4個(gè)像素，下 位置輔助點(diǎn)的計(jì)算用待插值點(diǎn)鄰域中下位置共4個(gè)像素，一共用到兩次4像素插值，兩次插 值中，待插值點(diǎn)鄰域中間位置的2個(gè)像素被重復(fù)使用，這樣可以根據(jù)各像素的位置結(jié)構(gòu)信 息，把最終插值的計(jì)算簡化為待插值點(diǎn)鄰域上中下6個(gè)像素的加權(quán)結(jié)果。本發(fā)明的有益效果1.本發(fā)明方法，用上、下位置輔助點(diǎn)增強(qiáng)最終插值結(jié)果的可信度。2.本發(fā)明方法，用十字形模板進(jìn)行最終插值的計(jì)算，生成的插值結(jié)果仍然在原像 素行的空缺位置，不會(huì)改變?cè)紨?shù)據(jù)的拓?fù)浣Y(jié)構(gòu)。3.本發(fā)明方法，用“雙四導(dǎo)六”數(shù)學(xué)計(jì)算模型，大大增強(qiáng)了本方法在實(shí)際中的應(yīng)用 效果。4.本發(fā)明方法，充分考慮了在圖像邊緣處進(jìn)行插值時(shí)的退化情況，使整個(gè)方法具 有更高的魯棒性。


附圖1是待插值點(diǎn)和周圍鄰域8個(gè)像素點(diǎn)的圖像形式，☆符號(hào)為待插值點(diǎn)。附圖2是用矩形模板計(jì)算上、下位置輔助點(diǎn)的示意圖， 符號(hào)表示輔助點(diǎn)。附圖3是用十字形模板計(jì)算最終插值的示意圖。附圖4是在圖像上邊緣插值的示意圖。
具體實(shí)施例方式實(shí)施例1 結(jié)構(gòu)光條紋采樣數(shù)據(jù)深度圖像的“雙四導(dǎo)六”插值方法，該方法包括如下步驟A、選取一個(gè)矩形模板計(jì)算待插值像素上、下位置的輔助點(diǎn)，此矩形模板包含兩行 三列像素，受結(jié)構(gòu)光條紋采樣數(shù)據(jù)特征的影響，此模板的中間列像素為空白，計(jì)算上下位置 輔助點(diǎn)時(shí)，以矩形的四個(gè)角點(diǎn)像素為插值基準(zhǔn)點(diǎn)；B、選取一個(gè)十字形模板計(jì)算待插值像素的最終插值結(jié)果，此十字形模板中上、下 位置的像素為第一步計(jì)算得到的上、下位置輔助點(diǎn)，左、右位置的像素為待插值像素水平方 向上左、右位置的像素；C、根據(jù)兩次插值的位置結(jié)構(gòu)信息，推導(dǎo)出一種“雙四導(dǎo)六”數(shù)學(xué)計(jì)算模型，簡化最 終插值的計(jì)算。
4
步驟B中所述的在深度圖像的上下邊緣位置插值時(shí)，上位置或下位置輔助點(diǎn)無法 計(jì)算，插值方法將采用退化后的形式進(jìn)行計(jì)算。步驟C中所述的“雙四導(dǎo)六”數(shù)學(xué)計(jì)算模型為上位置輔助點(diǎn)的計(jì)算用待插值點(diǎn)鄰 域中上位置共4個(gè)像素，下位置輔助點(diǎn)的計(jì)算用待插值點(diǎn)鄰域中下位置共4個(gè)像素，一共用 到兩次4像素插值，兩次插值中，待插值點(diǎn)鄰域中間位置的2個(gè)像素被重復(fù)使用，這樣可以 根據(jù)各像素的位置結(jié)構(gòu)信息，把最終插值的計(jì)算簡化為待插值點(diǎn)鄰域上中下6個(gè)像素的加 權(quán)結(jié)果。設(shè)定結(jié)構(gòu)光條紋采樣寬度為5個(gè)像素，采樣時(shí)取條紋邊緣和中心線作為采樣數(shù) 據(jù)，這樣映射成最終的深度圖像時(shí)，X方向會(huì)隔列損失1個(gè)像素寬度的數(shù)據(jù)，這也是可能損 失最小的情況了。以這樣的圖像作為初始輸入，按照本方法進(jìn)行插值。插值前，取一個(gè)待插值點(diǎn)及其周圍鄰域的8個(gè)像素點(diǎn)，如圖1所示。其中，☆符號(hào)即 為要插值的位置，此位置所在列為采樣數(shù)據(jù)缺失列，因此其上下位置均無實(shí)際像素值A(chǔ)pB1 為待插值點(diǎn)鄰域上方的像素，A2、B2為待插值點(diǎn)鄰域中間的像素，A3、B3為待插值點(diǎn)鄰域下方 的像素。第一步，選取矩形模板計(jì)算待插值像素上、下位置的輔助點(diǎn)，此矩形模板包含兩行 三列像素，如圖2所示。圖中，Cp C2為上、下位置的輔助點(diǎn)，用 符號(hào)表示。從圖中可以看 出，經(jīng)此步操作，輔助點(diǎn)生成在像素行間。此步驟的計(jì)算公式如下C1 = abAi+ad-WBi+d^bA^d-a) (l"b)B2(1)C2 = cdA2+c (1-d) B2+ (l_c) dA3+ (l_c) (l_d) B3(2)式中，a、1-a、b、l_b、c、l_c、d、1-d為矩形模板中各插值基準(zhǔn)點(diǎn)在對(duì)輔助點(diǎn)的影響 權(quán)重，且a、b、c、d滿足如下的關(guān)系a+b = 1, c+d = 1(3)第二步，選取一個(gè)十字形模板計(jì)算待插值像素的最終插值結(jié)果，此十字形模板如 圖3所示，圖中上下位置的像素為第一步計(jì)算輔助點(diǎn)，左右位置的像素為待插值像素水平 方向上左右位置的像素。此步驟的計(jì)算公式如下D= α C1+β C2+ γ A2+ θ B2(4)式中，D為最終插值結(jié)果，α、β、Y、θ為十字形模板中各插值基準(zhǔn)點(diǎn)對(duì)最終插值 的影響權(quán)重，且α、β、Υ、θ滿足如下的關(guān)系α +β + γ + θ = 1(5)第三步，以上兩步是此方法的設(shè)計(jì)思路，具體實(shí)現(xiàn)時(shí)，還需作進(jìn)一步的數(shù)學(xué)推導(dǎo)。 將式⑴、⑵代入式(4)并整理可得D= α EibA1+α a (I-I3)B1+[a (l-a) b+β cd+Y] A2+[α (l-a) (l-b) + 3 c(l-d)+θ ]Β2(6)+β (l-c)dA3+β (1-c) (1-d)B3從式(6)可以看出最終插值結(jié)果D為其鄰域6個(gè)像素、為為為為為的加權(quán)結(jié) 果。而第一步輔助點(diǎn)C1、C2的計(jì)算分，別用到了 A1、B1、A2、B2這4個(gè)像素和A2、B2、A3、B3這4 個(gè)像素，所以把這種數(shù)學(xué)模型定義為“雙四導(dǎo)六”插值模型。對(duì)于一般的結(jié)構(gòu)光采樣數(shù)據(jù)，可以對(duì)各參數(shù)按如下原則取值在矩形模板中，四個(gè)角點(diǎn)數(shù)據(jù)到輔助點(diǎn)的距離相等，可認(rèn)為對(duì)其影響權(quán)重一致，再
5
D 二一A7 +-B7 +-A^ + -B、
8 ^ 8 8 3 8 3在圖像下邊緣進(jìn)行插值時(shí)，原理與此行同，插值結(jié)果如下所示D = -A +-R +-A0 +-B7
8 8 8 8
根據(jù)公式⑶的限制，可取β 二 b = c = d = —.’
2在十字形模板中，輔助點(diǎn)的位置比左右兩個(gè)像素到最終插值點(diǎn)的位置近了一半， 因此它們的對(duì)最終插值結(jié)果的影響可看作是左右兩個(gè)像素的2倍，再根據(jù)公式(5)的限制，
.1 . 1
可取 α 二 β = -，y = θ 二一。
3 ζ 6這樣，最終插值結(jié)果可定量的表達(dá)成如下的形式D = -A +—B, +-A0 +-B7+-A +—B,(7)
12 1 12 1 3 ^ 3 2 12 ^ 12從公式(7)中可以看出，432對(duì)最終插值結(jié)果D的影響最大，而~、81、^』3的影 響則相對(duì)較小。當(dāng)插值發(fā)生在深度圖像的上下邊緣處時(shí)，插值情況將發(fā)生變化。如圖4所示，是在 圖像上邊緣進(jìn)行插值的情況。此時(shí)，由于待插值點(diǎn)的上位置輔助點(diǎn)無法求解，所以最終插值 將由待插值點(diǎn)左右相鄰的像素值和下位置輔助點(diǎn)決定。這也看作是“雙四導(dǎo)六”插值方法 的一種退化情況，此時(shí)的插值結(jié)果最終會(huì)受控于A2、B2、A3、B3這4個(gè)像素，如下式所示
S g
權(quán)利要求
一種結(jié)構(gòu)光條紋采樣數(shù)據(jù)深度圖像的“雙四導(dǎo)六”插值方法，其特征是該方法包括如下步驟A、選取一個(gè)矩形模板計(jì)算待插值像素上、下位置的輔助點(diǎn)，此矩形模板包含兩行三列像素，受結(jié)構(gòu)光條紋采樣數(shù)據(jù)特征的影響，此模板的中間列像素為空白，計(jì)算上下位置輔助點(diǎn)時(shí)，以矩形的四個(gè)角點(diǎn)像素為插值基準(zhǔn)點(diǎn)；B、選取一個(gè)十字形模板計(jì)算待插值像素的最終插值結(jié)果，此十字形模板中上、下位置的像素為第一步計(jì)算得到的上、下位置輔助點(diǎn)，左、右位置的像素為待插值像素水平方向上左、右位置的像素；C、根據(jù)兩次插值的位置結(jié)構(gòu)信息，推導(dǎo)出一種“雙四導(dǎo)六”數(shù)學(xué)計(jì)算模型，簡化最終插值的計(jì)算。
2.根據(jù)權(quán)利要求1所述的結(jié)構(gòu)光條紋采樣數(shù)據(jù)深度圖像的“雙四導(dǎo)六”插值方法，其特 征是步驟B中所述的在深度圖像的上下邊緣位置插值時(shí)，上位置或下位置輔助點(diǎn)無法計(jì) 算，插值方法將采用退化后的形式進(jìn)行計(jì)算。
3.根據(jù)權(quán)利要求1所述的結(jié)構(gòu)光條紋采樣數(shù)據(jù)深度圖像的“雙四導(dǎo)六”插值方法，其特 征是步驟C中所述的“雙四導(dǎo)六”數(shù)學(xué)計(jì)算模型為上位置輔助點(diǎn)的計(jì)算用待插值點(diǎn)鄰域中 上位置共4個(gè)像素，下位置輔助點(diǎn)的計(jì)算用待插值點(diǎn)鄰域中下位置共4個(gè)像素，一共用到兩 次4像素插值，兩次插值中，待插值點(diǎn)鄰域中間位置的2個(gè)像素被重復(fù)使用，這樣可以根據(jù) 各像素的位置結(jié)構(gòu)信息，把最終插值的計(jì)算簡化為待插值點(diǎn)鄰域上中下6個(gè)像素的加權(quán)結(jié)果。
全文摘要
結(jié)構(gòu)光條紋采樣數(shù)據(jù)深度圖像的“雙四導(dǎo)六”插值方法，傳統(tǒng)的結(jié)構(gòu)光條紋采樣深度圖像插值方法會(huì)嚴(yán)重地改變?cè)紨?shù)據(jù)的拓?fù)浣Y(jié)構(gòu)，進(jìn)而影響到后續(xù)三維信息復(fù)原結(jié)果的逼真程度。本發(fā)明的方法包括A、選取一個(gè)矩形模板計(jì)算待插值像素上、下位置的輔助點(diǎn)；B、選取一個(gè)十字形模板計(jì)算待插值像素的最終插值結(jié)果，此十字形模板中上、下位置的像素為第一步計(jì)算得到的上、下位置輔助點(diǎn)，左、右位置的像素為待插值像素水平方向上左、右位置的像素；C、根據(jù)兩次插值的位置結(jié)構(gòu)信息，推導(dǎo)出一種“雙四導(dǎo)六”數(shù)學(xué)計(jì)算模型，簡化最終插值的計(jì)算。本發(fā)明用于對(duì)結(jié)構(gòu)光條紋的采樣數(shù)據(jù)進(jìn)行加密。
文檔編號(hào)G01B11/25GK101900538SQ20091007213
公開日2010年12月1日 申請(qǐng)日期2009年5月26日 優(yōu)先權(quán)日2009年5月26日
發(fā)明者于舒春, 王洋, 范劍英 申請(qǐng)人:哈爾濱理工大學(xué)