一種基于全局變分技術(shù)的超高分辨率三維重建方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺三維重建領(lǐng)域，尤其是涉及一種超高分辨率三維重建方 法。
【背景技術(shù)】
[0002] 三維掃描技術(shù)是通過一定的檢測(cè)手段，獲取被測(cè)物體三維形貌和位置數(shù)據(jù)的一種 測(cè)量方法。目前的三維掃描技術(shù)大致可以分為接觸式和非接觸式兩大類。接觸式三維掃描 的主要產(chǎn)品有機(jī)械式三坐標(biāo)測(cè)量機(jī)，其測(cè)量精度高，但是測(cè)量速度較慢，每次只能測(cè)量一個(gè) 點(diǎn)，所以難以實(shí)現(xiàn)在線檢測(cè)，而且測(cè)量對(duì)象不能是軟質(zhì)或易劃傷的物體。
[0003] 光學(xué)掃描測(cè)量是利用光學(xué)原理、視覺掃描技術(shù)和圖像處理方法獲得物體的三維數(shù) 據(jù)，為非接觸式三維掃描技術(shù)。
[0004] 其中，對(duì)結(jié)構(gòu)光掃描技術(shù)，因其非接觸性、高精度、高分辨率和便攜性等優(yōu)點(diǎn)，已成 為計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)并廣泛應(yīng)用于眾多領(lǐng)域。其原理是將激光或者其它可見光構(gòu) 成的點(diǎn)、線、面、光柵等形式的結(jié)構(gòu)光投射到被測(cè)物體上，利用雙目或多目視覺傳感器采集 經(jīng)物體表面調(diào)制的結(jié)構(gòu)光圖像，利用圖像處理技術(shù)得到被測(cè)物體的三維幾何信息和空間位 置信息。
[0005] 面結(jié)構(gòu)光三維掃描能夠獲得較高精度的物體表面三維數(shù)據(jù)，但是其在表面細(xì)微特 征的三維數(shù)據(jù)獲取方面效果不是非常理想，因?yàn)槊娼Y(jié)構(gòu)光三維掃描需要用到相機(jī)和投影儀 等硬件設(shè)備，要獲得物體細(xì)微特征的三維精確數(shù)據(jù)，必須要提高三維數(shù)據(jù)的采集密度，一般 可以通過提高圖像的分辨率的方法實(shí)現(xiàn)，雖然高分辨率的相機(jī)是容易獲得的，但是高分辨 率的投影儀卻不容易找到，從而制約了面結(jié)構(gòu)光三維掃描精度的提高。
[0006] 基于光度立體視覺的三維重構(gòu)能夠很好地獲得物體表面的細(xì)節(jié)特征，但是它獲得 的數(shù)據(jù)只是以像素為單位的三維數(shù)據(jù)，并且在圖像質(zhì)量不好或者光照模型假設(shè)不恰當(dāng)?shù)那?況下，通過光度立體視覺重構(gòu)的三維數(shù)據(jù)還存在有較大的變形。這樣，要獲得高密度的數(shù)據(jù) 就受到了一定的限制。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明提供了一種基于全局變分技術(shù)的超高分辨率三維重建方法，大大地提高了 重建物體的精度，且相對(duì)容易實(shí)施。
[0008] -種基于全局變分技術(shù)的超高分辨率三維重建方法，包括如下步驟：
[0009] (1)獲取待重建場(chǎng)景的低分辨率三維幾何模型和高分辨率表面法向圖；
[0010] (2)根據(jù)低分辨率幾何模型和高分辨率法向圖之間的差異構(gòu)建得到可全局優(yōu)化能 量函數(shù)；
[0011] 構(gòu)造得到重建場(chǎng)景的原始深度圖像，并將所述原始深度圖像的每一個(gè)像素點(diǎn)的法 向與所述高分辨率法向圖對(duì)應(yīng)像素點(diǎn)的法向進(jìn)行匹配得到的可全局優(yōu)化能量函數(shù)；
[0012] (3)求解所述可全局優(yōu)化能量函數(shù)的最小值得到每一個(gè)像素點(diǎn)的深度值，并根據(jù) 所有像素點(diǎn)的深度值進(jìn)行三維重建。
[0013] 超高分辨率三維重構(gòu)需要最小化假如正則項(xiàng)的能量函數(shù)，求解由超高分辨率圖像 產(chǎn)生的能量函數(shù)需要耗費(fèi)巨大的內(nèi)存，同時(shí)需要幾十甚至上百個(gè)小時(shí)，在目前機(jī)器條件下 直接將超高分辨率法向融合到幾何信息中幾乎是不可能的。同時(shí)，由于方法本身的特性，嚴(yán) 格依賴初始值，對(duì)結(jié)果中的異常值非常敏感，當(dāng)進(jìn)行超高分辨率的重構(gòu)時(shí)，經(jīng)常導(dǎo)致結(jié)果錯(cuò) 誤。本發(fā)明的三維重建的關(guān)鍵在于加入一種非局部的正則項(xiàng)形成可全局優(yōu)化能量函數(shù)，將 低分辨率幾何信息作為融合初始值，然后根據(jù)高分辨率法向信息構(gòu)造非局部全變分算子作 為正則項(xiàng)，將原問題轉(zhuǎn)化為具有凸性的對(duì)偶問題，利用并行優(yōu)化技術(shù)，計(jì)算每一點(diǎn)的幾何信 息（即每個(gè)像素點(diǎn)的深度值）。
[0014] 高分辨率和低分辨率具有相對(duì)性，本發(fā)明中設(shè)定二者之間的分辨率差異至少為10 倍。
[0015] 本發(fā)明中所述步驟（1)中通過結(jié)構(gòu)光掃描技術(shù)獲取待重建場(chǎng)景的低分辨率三維 幾何模型，具體如下：
[0016] 利用相移碼結(jié)合格雷碼的編碼方式，將投影設(shè)備編制的編碼條紋按序投影到物體 表面，相機(jī)依次拍攝，將拍得的條紋圖案解碼后獲得物體的三維幾何信息。
[0017] 所述步驟（1)中通過光度立體技術(shù)獲取待重建場(chǎng)景的高分辨率的表面法向信息 形成相應(yīng)的高分辨率表面法向圖，具體實(shí)現(xiàn)方法如下：
[0018] 在相機(jī)周圍布展光源，依次打開光源，并由相機(jī)拍攝下不同光照方向的圖像，標(biāo)定 光源方向，將圖像依次輸入，根據(jù)朗伯反射定律，在光源方向和物體表面亮度已知的情況 下，構(gòu)建超定的線性方程組（Ax = b);當(dāng)從多個(gè)方向（不少于三個(gè)）分別照射物體（待重 建場(chǎng)景）時(shí)，每個(gè)位置在不同光照下會(huì)有不同強(qiáng)度，在得到一組超定的線性方程組后，然后 求解即可得到物體表面的法向信息，進(jìn)而形成相應(yīng)的高分辨率法向圖。
[0019] 本發(fā)明把光度立體技術(shù)和面結(jié)構(gòu)光掃描技術(shù)相結(jié)合，充分發(fā)揮各自的技術(shù)優(yōu)勢(shì)， 優(yōu)化三維數(shù)據(jù)，則可以獲得精度更高，細(xì)節(jié)特征更清楚的物體表面三維數(shù)據(jù)。
[0020] 所述步驟（2)具體如下：
[0021] (2-1)對(duì)低分辨率幾何模型進(jìn)行升采樣使其分辨率與高分辨率法向圖相同構(gòu)建得 到原始深度圖像；
[0022] 對(duì)低分辨率幾何模型進(jìn)行升采樣時(shí)采用最鄰近插值法，使低分辨率幾何模型的分 辨率與高分辨率法向圖的分辨率相同。
[0023] (2-2)以所述的原始深度圖像作為參考圖像，將參考圖像中每一個(gè)像素點(diǎn)的法向 與所述高分辨率法向圖對(duì)應(yīng)像素點(diǎn)的法向進(jìn)行匹配得到該參考圖像對(duì)應(yīng)的可全局優(yōu)化能 量函數(shù)。
[0024] 所述步驟（2-1)還包括將所述的原始深度圖像劃分為若干個(gè)子圖像，所述步驟 (2-2)中分別以每一個(gè)子圖像作為參考圖像構(gòu)建相應(yīng)的可全局優(yōu)化能量函數(shù)。
[0025] 本發(fā)明中將原始深度圖像劃分為若干個(gè)子圖像時(shí)，保證各個(gè)子圖像的形狀和大小 相同，為實(shí)現(xiàn)形狀和大小的可重復(fù)性，子圖像可以為正六邊形或四邊形。
[0026] 將原始深度圖像進(jìn)行等分，針對(duì)每個(gè)子圖像構(gòu)建對(duì)應(yīng)的可全局優(yōu)化能量函數(shù)并求 解。相應(yīng)的，步驟（3)中根據(jù)每個(gè)子圖像對(duì)應(yīng)的求解結(jié)果進(jìn)行三維重建，然后將所有子圖像 進(jìn)行三維重建得到的結(jié)果進(jìn)行無縫拼接，即得到待重建場(chǎng)景的三維重建結(jié)果。
[0027] 為提高處理速度，本發(fā)明中并行對(duì)每個(gè)子圖像進(jìn)行處理（包括構(gòu)建、求解對(duì)應(yīng)的 可全局優(yōu)化能量函數(shù)以及進(jìn)行三維重建），即以每個(gè)子圖像為一個(gè)數(shù)據(jù)包，每個(gè)數(shù)據(jù)包相關(guān) 的運(yùn)算獨(dú)立地在一個(gè)GPU線程完成。采用并行加速技術(shù)，能夠提高計(jì)算效率。
[0028] 所述步驟（2)中構(gòu)造得到參考圖像對(duì)應(yīng)的可全局優(yōu)化能量函數(shù)為：
[0029] E = Edata+Eregular，
[0030] 其中，E為當(dāng)前像素點(diǎn)的能量，EdataS當(dāng)前像素點(diǎn)的，根據(jù)如下公式計(jì)算：
[0032] Ω 1為參考圖像，（X，y)表示參考圖像中的像素點(diǎn)的坐標(biāo)位置，坐標(biāo)系以左下角為 坐標(biāo)原點(diǎn)，X表示水平方向坐標(biāo)索引，y表示垂直方向坐標(biāo)索引；Z表示當(dāng)前像素點(diǎn)的深度 值，P、q分別表不為Z在水平方向和y方向的偏導(dǎo)（p，q)表不每一點(diǎn)的梯度，
[0033] Eragulal^為正則約束項(xiàng)，，根據(jù)如下公式計(jì)算：
[0034] Eregular= I Q2w(xi,yi) |u(xi)-u(yi) |dxidyi,
[0035] Ω 2參考圖像中以當(dāng)前像素點(diǎn)為中心的圖像塊，xi，yi表示為圖像塊中的像素點(diǎn)， u (xi)，u (yi)表示像素點(diǎn)xi和像素點(diǎn)yi的值，可以為深度值或者顏色值，w (xi，yi)表示像 素點(diǎn)xi和像素點(diǎn)yi之間相似度的權(quán)重，權(quán)重越大表示像素點(diǎn)xi和像素點(diǎn)yi越相似。
[0036] 本發(fā)明中可全局優(yōu)化能量函數(shù)適用于參考圖像中的所有像素點(diǎn)，所述步驟（2-2) 中進(jìn)行匹配時(shí)，保證參考圖像中各個(gè)均滿足該可全局優(yōu)化能量函數(shù)。
[0037] 本發(fā)明通過增加全局變分項(xiàng)（即非局部全變分約束項(xiàng)），充分考慮了每個(gè)像素點(diǎn) 在全局中的位置，可以有效的預(yù)防外點(diǎn)對(duì)最后結(jié)果帶來的誤差或錯(cuò)誤，有利于提高三維重 建精度。
[0038] 在求解非局部變分算子（即正則約束項(xiàng)）Eragul"時(shí)，對(duì)于每一個(gè)像素點(diǎn)的權(quán)值，采 用以該像素點(diǎn)為中心的圖像子塊（窗口）與當(dāng)前像素點(diǎn)為中心的圖像子塊之間的高斯加權(quán) 歐氏距離來衡量結(jié)構(gòu)相似的像素點(diǎn)，利用全局信息，在對(duì)每個(gè)點(diǎn)的加權(quán)平滑中考慮了局部 結(jié)構(gòu)的相似性。權(quán)重的取值范圍為〇~5,權(quán)值（權(quán)重）范圍過大會(huì)大大增加計(jì)算量，過小 會(huì)導(dǎo)致計(jì)算誤差增大。
[0039] 窗口（即圖像塊）大小關(guān)系到計(jì)算的速度和最終重建結(jié)果的精度，作為優(yōu)選，所述 Ω 2的大小為ηXη，η的取值為3~9,且為奇數(shù)。
[0040] 本發(fā)明首先將全局變分約束加入到求解問題中，利用全局信息，在對(duì)每個(gè)點(diǎn)的加 權(quán)平滑中考慮了局部結(jié)構(gòu)的相似性，有結(jié)構(gòu)光掃描的幾何信息構(gòu)成原始深度信息，光度立 體重建得到的信息構(gòu)成高分辨率法向信息，超分辨率重構(gòu)過程在這兩幅圖像上進(jìn)行。由于 法向圖本身包含每個(gè)點(diǎn)的法向信息，所以可以精確的在原始深度圖像中進(jìn)行差值計(jì)算。因 本發(fā)明充分考慮了每個(gè)點(diǎn)在全局中的位置，故可以有效的預(yù)防外點(diǎn)對(duì)最后結(jié)果帶來的誤差 或錯(cuò)誤，塊與塊之間的計(jì)算具有獨(dú)立性，故可以充分利用GPU的并行計(jì)算能力。
[0041] 與現(xiàn)有發(fā)明相比，本發(fā)明的收益為：
[0042] (1)本發(fā)明將超分辨率三維重構(gòu)問題中加入有效的正則約束條件，有效的降低了 最終重建結(jié)果對(duì)初始結(jié)果的依賴，大大提高了三維重建精度同時(shí)方法具有可實(shí)施性。
[0043] (2)本發(fā)明采用的方法不同塊之間的計(jì)算具有獨(dú)立性，能夠有效和GPU的多線程 內(nèi)存映射到一起，充分利用GPU的計(jì)算能力。
[0044] (3)本發(fā)明方法可以計(jì)算超高分辨率三維重建模型，模型精度可達(dá)到微米級(jí)別。
【具體實(shí)施方式】
[0045] 下面將結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說明。
[0046] -種基于全局變分技術(shù)的超高分辨率三維重建方法，包括如下步驟：
[0047] (1)獲取待重建場(chǎng)景的低分辨率三維幾何模型和高分辨率表面法向圖；
[0048] 本實(shí)施例中通過結(jié)構(gòu)光掃描技術(shù)獲取待重建場(chǎng)景的低分辨率三維幾何模型，本實(shí) 施例中低分辨率三維幾何模型的分辨率為1024*768。具體如下：