本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，涉及雙目深度相機(jī)系統(tǒng)的建立和深度圖的恢復(fù)工作。

背景技術(shù)：

近幾年，立體顯示和三維立體應(yīng)用在消費(fèi)市場中越來越受歡迎。作為三維應(yīng)用中重要的一部分，高質(zhì)量深度圖像的獲取成為了一個(gè)熱門研究領(lǐng)域。目前，深度圖像的獲取主要分為兩類，其中一種是被動(dòng)獲取，例如立體匹配、2D-3D轉(zhuǎn)換技術(shù)。然而，這些方法都是基于推斷的，是從彩色圖像的結(jié)構(gòu)信息中估計(jì)深度，并不是對深度進(jìn)行直接測量，這種方法往往會產(chǎn)生錯(cuò)誤的深度估計(jì)結(jié)果。另一種是主動(dòng)方式，即：直接獲取深度圖像。2011年，微軟推出了第一代Kinect深度相機(jī)，最近，微軟更新發(fā)布了第二代深度相機(jī)Kinect v2。不同于利用散斑結(jié)構(gòu)光成像原理的第一代Kinect，Kinect v2利用ToF(時(shí)間飛行)技術(shù)，能夠獲取比一代Kinect準(zhǔn)確性更高的深度圖像，但是系統(tǒng)誤差、低分辨率、噪聲和深度缺失等問題依舊存在。

針對直接獲取的深度圖，也存在很多問題，例如：深度缺失、噪聲等?？紤]到深度圖像與其對應(yīng)的彩色圖像在結(jié)構(gòu)上具有一致性，目前有很多基于聯(lián)合濾波的算法用于深度圖像的修復(fù)，例如Guided image filter(導(dǎo)向圖像濾波)，Cross-based local multipoint filtering(基于交叉的局部多點(diǎn)濾波)，這些方法能夠得到較高質(zhì)量的深度圖，但只是針對單一視點(diǎn)深度圖像，對于單視點(diǎn)中大面積深度缺失等問題，以及需要多視點(diǎn)彩色圖像-深度圖像對的立體顯示來說缺乏有效性。

對于多視點(diǎn)成像，葉昕辰等人提出了利用第一代Kinect實(shí)現(xiàn)多視點(diǎn)成像的方法；Zhu等人利用一個(gè)ToF相機(jī)和兩臺彩色相機(jī)搭建了多視點(diǎn)相機(jī)系統(tǒng)來獲取高質(zhì)量深度圖像；Choi等人同樣建立了多視點(diǎn)系統(tǒng)對低分辨率深度圖像進(jìn)行上采樣修復(fù)工作。然而這些方法中并沒有考慮系統(tǒng)內(nèi)各個(gè)視點(diǎn)間的相互關(guān)系，或者只使用了簡單的融合方式對不同視點(diǎn)的圖像進(jìn)行融合。因此進(jìn)一步分析和完善雙目采集系統(tǒng)的特性描述、改進(jìn)融合方式以實(shí)現(xiàn)高質(zhì)量的深度恢復(fù)是很有必要的。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明旨在克服現(xiàn)有技術(shù)的不足，實(shí)現(xiàn)雙視點(diǎn)深度補(bǔ)充信息的充分利用，對低質(zhì)量深度圖進(jìn)行填充以獲得高質(zhì)量深度圖。本發(fā)明采取的技術(shù)方案是，基于雙目Kinect深度相機(jī)系統(tǒng)的深度恢復(fù)方法，步驟是，首先搭建一個(gè)基于雙目深度相機(jī)的采集系統(tǒng)，并基于相機(jī)間相關(guān)關(guān)系和系統(tǒng)誤差特性的分析；通過邊緣導(dǎo)向融合策略和系統(tǒng)誤差補(bǔ)償進(jìn)行視點(diǎn)融合，實(shí)現(xiàn)視點(diǎn)間深度信息的補(bǔ)充，最后利用邊緣導(dǎo)向的濾波形式完成深度圖像的擴(kuò)散填充以得到深度圖像。

構(gòu)建雙目深度相機(jī)系統(tǒng)具體步驟：將兩個(gè)深度相機(jī)放置在水平架子上，相機(jī)間基線距離可調(diào)節(jié)，使用兩臺電腦分別控制兩個(gè)相機(jī)進(jìn)行采集；左側(cè)相機(jī)視為主視點(diǎn)相機(jī)，記為K_L；右側(cè)相機(jī)為輔助視點(diǎn)相機(jī)，記作K_R，K_L、K_R采集到的深度圖像分別扭轉(zhuǎn)到K_L的彩色相機(jī)的坐標(biāo)系中，K_L采集到的深度圖像經(jīng)過圖像配準(zhǔn)得到的散點(diǎn)圖記為D_L，K_R采集到的深度圖像進(jìn)過配準(zhǔn)得到的散點(diǎn)圖記為D_R，從而在主視點(diǎn)位置處，得到具有相同分辨率的高質(zhì)量彩色圖像和兩張深度散點(diǎn)圖像。

系統(tǒng)內(nèi)相機(jī)間關(guān)系和系統(tǒng)誤差分析：從相機(jī)間關(guān)系和誤差分布狀況兩方面對其進(jìn)行分析；

21)相機(jī)間相互影響誤差：用搭建好的雙目系統(tǒng)采集同一靜止場景的深度圖像，第一次只有K_L相機(jī)保持工作狀態(tài)，K_R關(guān)閉；第二次同時(shí)開啟兩臺相機(jī)處于工作狀態(tài)，同樣僅使用K_L采集場景圖，對比兩次得到的場景圖像判斷誤差情況，確定相機(jī)間相互影響狀況；

22)系統(tǒng)誤差分布形式：在同一視點(diǎn)下的兩張深度散點(diǎn)圖中，深度值均存在的像素位置進(jìn)行深度值相減得到誤差散點(diǎn)圖，根據(jù)誤差散點(diǎn)圖，分析其分布形式；

邊緣導(dǎo)向的融合策略：令x表示圖像上的像素位置，D_L(x)為深度圖D_L中x位置處的深度值，D_R(x)為深度圖D_R中x位置處的深度值，D(x)為融合深度圖D中x位置處的深度值，在同一視點(diǎn)下的兩張深度散點(diǎn)圖上，像素位置x上存在以下三種情況：

31)D_L中x位置處的深度值不為0，此時(shí)，不論D_R中x位置處的深度值是否為0，融合圖像D中x位置處的深度值D(x)都等于D_L中的值D_L(x)，即：D(x)＝D_L(x)；

32)D_L中x位置處的深度值為0，D_R中x位置處的深度值也為0，則融合圖像D中x位置處的深度值D(x)置為0，即：D(x)＝0；

33)D_L中x位置處的深度值為0，而D_R中x位置處的深度值不為0。對于這種情況，本發(fā)明提出了一種判別準(zhǔn)則來決定D_R中x位置處的深度值是否可以用于D(x)的估計(jì)，這一判別準(zhǔn)則包含兩部分：彩色連續(xù)性F_c(x)和深度連續(xù)性F_d(x)：

其中，∑·為求和符號；E是由彩色圖像通過Canny算子計(jì)算得到的彩色邊緣圖像，N_e(x)是E中以x為中心的N×N鄰域，y表示鄰域N_e(x)內(nèi)的像素位置，E(y)指E中y位置處的值；|·|為絕對值符號，為D_L中以x為中心的N×N鄰域內(nèi)有效鄰域值(不等于0的深度值)的均值估計(jì)，D_th為深度閾值，將F_c(x)和F_d(x)聯(lián)合，得到最終的判決準(zhǔn)則F(x)：

F(x)＝F_c(x)×F_d(x) (3)

如果F(x)值為1，則認(rèn)為D_R(x)可以用于D(x)的誤差補(bǔ)償估計(jì)；否則，D_R(x)不可用于D(x)的誤差補(bǔ)償估計(jì)，D(x)置為0，即：D(x)＝0。

基于誤差補(bǔ)償?shù)碾p視點(diǎn)融合：

41)對于可以進(jìn)行補(bǔ)償?shù)南袼匚恢?，深度值由誤差補(bǔ)償公式得到：

$D\left(x\right)=D_R\left(x\right)+\frac{\underset{y\∈N\left(x\right)}{\Σ}\left|\right|x-y|{|}_{2}e\left(y\right)}{\underset{y\∈N\left(x\right)}{\Σ}\left|\right|x-y|{|}_2}---\left(4\right)$

其中，x表示深度圖中像素位置，||·||₂為二范數(shù)項(xiàng)，e為誤差散點(diǎn)圖，N(x)為e中以x為中心的N×N鄰域，y表示鄰域N(x)內(nèi)的像素位置，e(y)為e中y位置處的誤差值。

42)得到的擬合值將進(jìn)一步作為誤差的補(bǔ)充填入到誤差散點(diǎn)圖e中。

深度圖像的填充：得到融合后的深度圖后，引入彩色邊緣圖像控制深度擴(kuò)散順序，保證在空洞區(qū)域由外向內(nèi)擴(kuò)散填充。對于深度缺失點(diǎn)，濾波方程為：

其中，w為標(biāo)準(zhǔn)化系數(shù)，I為同一坐標(biāo)系下的高質(zhì)量彩色圖像；為融合深度圖D中像素x鄰域內(nèi)的可行集，由彩色邊緣圖像E決定，y表示可行域內(nèi)的像素位置；D(x)、D(y)、I(x)、I(y)分別表示融合深度圖D、彩色圖I中像素x、y位置處的深度值和彩色值；G(·)表示高斯核，G_λ(x-y)、G_ξ(D(x)-D(y))、G_μ(I(x)-I(y))分別表示歐幾里得空間距離、深度值差異和彩色空間差異，其下標(biāo)λ、ξ、μ為對應(yīng)項(xiàng)方差。

本發(fā)明的技術(shù)特點(diǎn)及效果：

本發(fā)明搭建了一個(gè)新的雙目深度相機(jī)采集系統(tǒng),設(shè)計(jì)了新的深度修復(fù)框架來獲得高質(zhì)量深度圖像，具有以下特點(diǎn)：

1、程序簡單，易于實(shí)現(xiàn)。

2、充分利用了雙目視點(diǎn)的信息，實(shí)現(xiàn)了最優(yōu)深度圖像的恢復(fù)。

3、從相機(jī)間相互影響和誤差分布情況兩方面對雙目深度相機(jī)系統(tǒng)誤差的分析，補(bǔ)充描述了深度相機(jī)系統(tǒng)的誤差特性，對深度圖像融合起指導(dǎo)作用。

4、提出了邊緣導(dǎo)向的融合策略，通過彩色邊緣的引入和約束，避免了在深度不連續(xù)區(qū)域引入錯(cuò)誤深度值，消除過補(bǔ)償?shù)某霈F(xiàn)，保證了深度邊緣的準(zhǔn)確和銳利。

5、提出了基于誤差補(bǔ)償?shù)娜诤戏椒?，避免在正確的補(bǔ)償位置引入錯(cuò)誤的補(bǔ)償值，保證深度恢復(fù)的正確性，從而實(shí)現(xiàn)輔助視點(diǎn)對主視點(diǎn)的深度補(bǔ)償。

6、整個(gè)框架流程中，不僅充分利用了雙目視點(diǎn)的深度補(bǔ)償信息，同時(shí)在深度圖像融合和深度擴(kuò)散填充過程中，充分利用了同一視點(diǎn)下的高質(zhì)量彩色圖像的引導(dǎo)和約束作用，保證了深度融合和擴(kuò)散填充的有效性和準(zhǔn)確性，從而得到了深度圖像的最優(yōu)恢復(fù)結(jié)果。

附圖說明

圖1是本發(fā)明方法的流程圖；

圖2是本發(fā)明中建立的雙目深度相機(jī)系統(tǒng)采集的實(shí)際場景圖，其中展示了進(jìn)行相機(jī)校正和圖像配準(zhǔn)后得到的主視點(diǎn)上的三張圖像：1)彩色圖像；2)主視點(diǎn)相機(jī)(K_L)得到的深度散點(diǎn)圖D_L；3)輔助視點(diǎn)(KR)進(jìn)行圖像配準(zhǔn)后得到的主視點(diǎn)(K_L)坐標(biāo)系下的深度散點(diǎn)圖D_R；

圖3是雙目深度圖像的誤差分布特性示意圖；

圖4是誤差補(bǔ)償對最終效果影響的對比圖：第一行、第二行分別為沒有誤差補(bǔ)償和進(jìn)行誤差補(bǔ)償?shù)纳疃葓D像填充結(jié)果。

圖5是單視點(diǎn)和雙目視點(diǎn)融合結(jié)果對比圖：1)彩色圖像；2)單視點(diǎn)深度散點(diǎn)圖；3)視點(diǎn)融合深度散點(diǎn)圖；4)和5)分別是2)和3)的深度圖像填充結(jié)果。

圖6是深度圖像填充結(jié)果圖：1)彩色圖像；2)本發(fā)明方法的圖像填充結(jié)果。

具體實(shí)施方式

下面結(jié)合實(shí)施例和附圖對本發(fā)明基于雙目深度相機(jī)采集系統(tǒng)的新的深度圖像修復(fù)框架做出詳細(xì)說明。

本發(fā)明基于雙目深度相機(jī)采集系統(tǒng)提出了一種新的深度修復(fù)框架來獲取高質(zhì)量深度圖像。首先利用兩臺Kinect v2相機(jī)搭建雙目深度相機(jī)采集系統(tǒng)；從系統(tǒng)誤差的角度入手分析描述系統(tǒng)特性，提出一種基于系統(tǒng)誤差補(bǔ)償?shù)倪吘墝?dǎo)向深度圖像融合策略，在充分利用雙視點(diǎn)的深度補(bǔ)償信息的基礎(chǔ)上消除系統(tǒng)誤差對融合準(zhǔn)確性的干擾，得到融合深度圖像；最后采用彩色邊緣導(dǎo)向的深度擴(kuò)散方法對融合圖像進(jìn)行填充。具體方法包括以下步驟：

1)構(gòu)建雙目深度相機(jī)系統(tǒng)：兩個(gè)深度相機(jī)放置在水平架子上，相機(jī)距離可調(diào)節(jié)，系統(tǒng)的視場范圍可通過相機(jī)間基線距離調(diào)節(jié)。同時(shí)兩臺電腦分別控制兩個(gè)相機(jī)進(jìn)行采集，以保證實(shí)時(shí)儲存的可靠性。系統(tǒng)采集的同步性由路由器構(gòu)建局部網(wǎng)絡(luò)來實(shí)現(xiàn)，一個(gè)電腦作為服務(wù)器發(fā)送UDP觸發(fā)信號，另一臺電腦作為客戶端接收UDP觸發(fā)信號，從而完成兩臺相機(jī)的同步采集工作。

注：在雙目系統(tǒng)中，左側(cè)相機(jī)視為主視點(diǎn)相機(jī)，記為K_L；右側(cè)相機(jī)為輔助視點(diǎn)相機(jī)，記作K_R。K_L、K_R采集到的深度圖像分別扭轉(zhuǎn)到K_L的彩色相機(jī)的坐標(biāo)系中進(jìn)行圖像配準(zhǔn)，K_L采集到的深度圖像進(jìn)行配準(zhǔn)得到的散點(diǎn)圖記為D_L，K_R采集到的深度圖像進(jìn)過配準(zhǔn)得到的散點(diǎn)圖記為D_R。從而在主視點(diǎn)位置處，得到具有相同分辨率的高質(zhì)量彩色圖像和兩張深度散點(diǎn)圖像。

2)系統(tǒng)內(nèi)相機(jī)間關(guān)系和系統(tǒng)誤差分析：對于主視點(diǎn)位置得到具有相同分辨率的兩張深度散點(diǎn)圖像而言，理論上同一位置處的深度值應(yīng)保持一致，而實(shí)際中存在偏差。對于這種系統(tǒng)誤差，從來源和特質(zhì)兩方面對其進(jìn)行分析對后續(xù)工作至關(guān)重要。

21)相機(jī)間相互影響誤差：相機(jī)間相互影響誤差是指兩臺相機(jī)同時(shí)處于工作狀態(tài)時(shí)，一臺相機(jī)對另一臺相機(jī)產(chǎn)生影響，從而使得兩臺相機(jī)采集到的深度圖像在深度值上存在偏差。用搭建好的雙目系統(tǒng)采集同一靜止場景的深度圖像，第一次只有K_L相機(jī)保持工作狀態(tài)，K_R關(guān)閉，第二次同時(shí)開啟兩臺相機(jī)處于工作狀態(tài)，同樣僅使用K_L采集場景圖。對比兩次得到的場景圖像可以發(fā)現(xiàn)，K_R處于工作狀態(tài)時(shí)，K_L采集到的場景深度圖像噪聲更大，空洞增加，但兩次采集到的圖像在深度值上沒有明顯的差異分布。從而排除了系統(tǒng)內(nèi)相機(jī)間互相干擾引起的系統(tǒng)誤差。

22)系統(tǒng)誤差分布形式：由于深度散點(diǎn)圖由圖像配準(zhǔn)生成，有效深度值所在位置并不是一一對應(yīng)，系統(tǒng)誤差的計(jì)算針對兩張深度散點(diǎn)圖中深度值均存在的像素位置。對深度值均存在的像素位置進(jìn)行深度值相減得到誤差散點(diǎn)圖，從而得到誤差分布情況：誤差分布不是隨機(jī)分布，而呈現(xiàn)一定的與位置相關(guān)的規(guī)律性；圖像中心位置誤差較小，兩個(gè)相機(jī)得到的深度值準(zhǔn)確性較高；隨著與圖像中心位置距離的增加，誤差增加，兩個(gè)相機(jī)得到的深度值準(zhǔn)確性降低。同時(shí)，這種與距離相關(guān)的誤差分布近似二次錐形狀(近高斯分布)。

3)邊緣導(dǎo)向的融合策略：雙目深度系統(tǒng)的優(yōu)勢在于輔助視點(diǎn)中存在主視點(diǎn)中沒有的深度信息，以此可以對主視點(diǎn)信息進(jìn)行補(bǔ)充。即：主視點(diǎn)中由于物體的遮擋等原因存在深度不可測區(qū)域，例如前背景銜接處，而這些位置可能是輔助視點(diǎn)可見區(qū)域，在輔助視點(diǎn)深度散點(diǎn)圖中存在有效深度值，從而可以為主視點(diǎn)提供深度補(bǔ)充信息。邊緣導(dǎo)向融合策略即確定融合點(diǎn)的位置，以確保填充位置的準(zhǔn)確，避免在多余的填充信息，得到準(zhǔn)確的融合深度圖D。

令x表示圖像上的像素位置，D_L(x)為深度圖D_L中x位置處的深度值，D_R(x)為深度圖D_R中x位置處的深度值，D(x)為融合深度圖D中x位置處的深度值。在同一視點(diǎn)下的兩張深度散點(diǎn)圖上，像素位置x存在處以下三種情況：

31)D_L中x位置處的深度值不為0，此時(shí)，不論D_R中x位置處的深度值是否為0，融合圖像D中x位置處的深度值D(x)都置為D_L中的值D_L(x)，即：D(x)＝D_L(x)。這是因?yàn)镈_L由輔助視點(diǎn)深度圖進(jìn)行配準(zhǔn)而得，此過程中由于存在較大的基線距離更容易引入誤差，影響深度值的可靠性，所以當(dāng)D_L中深度值存在時(shí)，融合深度圖的深度值以D_L的深度值為準(zhǔn)。

32)D_L、D_R中x位置處的深度值均為0，則融合圖像D中x位置處的深度值D(x)置為0。即：D(x)＝0。

33)這種情況較為特殊，也是最重要的一種情況。即：D_L中x位置處的深度值為0，而D_R中x位置處的深度值不為0，此時(shí)稱像素位置x為待補(bǔ)償位置。對于這種情況，本發(fā)明提出了一種判別準(zhǔn)則來決定D_R中x位置處的深度值是否可以用于D(x)的估計(jì)。這一判別準(zhǔn)則包含兩部分：彩色連續(xù)性F_c(x)和深度連續(xù)性F_d(x)。

彩色連續(xù)性F_c(x)指待補(bǔ)償位置x不屬于彩色邊緣區(qū)域，即當(dāng)x的鄰域內(nèi)不存在彩色邊界時(shí)，視為該位置處具有彩色連續(xù)性。因?yàn)椴噬吘墔^(qū)域可能存在深度躍變，更容易引入錯(cuò)誤的深度值，彩色連續(xù)性的約束可以從彩色邊緣角度避免錯(cuò)誤深度值得引入。數(shù)學(xué)表達(dá)為：

其中，∑·為求和符號；E是由彩色圖像通過Canny算子計(jì)算得到的彩色邊緣圖像，N_e(x)是E中以x為中心的N×N鄰域，y表示鄰域N_e(x)內(nèi)的像素位置，E(y)指E中y位置處的邊緣標(biāo)識值。

深度連續(xù)性F_d(x)是指D_R中的深度值與D_L中待補(bǔ)償位置的估計(jì)值連續(xù)，即兩者差值在一定范圍以內(nèi)，此時(shí)稱該位置具有深度連續(xù)性。因?yàn)樯疃妊a(bǔ)償要在同一類深度中進(jìn)行，即背景深度補(bǔ)償背景深度、前景深度補(bǔ)償前景深度，而不能用背景深度對前景深度進(jìn)行補(bǔ)償(反之亦然)，所以要對深度連續(xù)性進(jìn)行判斷和約束，以保證補(bǔ)償?shù)臏?zhǔn)確。數(shù)學(xué)表達(dá)為：

其中，|·|為絕對值符號，為D_L中以x為中心的N×N鄰域內(nèi)有效鄰域值(不為0的深度值)的均值估計(jì)；D_th為深度閾值。

將F_c(x)和F_d(x)聯(lián)合，得到最終的判決準(zhǔn)則F(x)：

F(x)＝F_c(x)×F_d(x) (3)

如果F(x)值為1，則認(rèn)為D_R(x)可以用于D(x)的誤差補(bǔ)償估計(jì)；否則，D_R(x)不可用于D(x)的誤差補(bǔ)償估計(jì)，D(x)置為0，即：D(x)＝0。

這一過程中，彩色邊緣圖像的引入保證了深度融合準(zhǔn)確性，以免在錯(cuò)誤的位置引入深度值，避免了過補(bǔ)償?shù)某霈F(xiàn)。

4)基于誤差補(bǔ)償?shù)碾p視點(diǎn)融合：像素x處的誤差補(bǔ)償可以看作是一個(gè)誤差擬合過程，計(jì)算誤差散點(diǎn)圖中的局部有效誤差的加權(quán)平均作為誤差的擬合值，并將其與D_R(x)進(jìn)行補(bǔ)償從而得到最終的融合深度值D(x)。

41)對于可以進(jìn)行補(bǔ)償?shù)南袼匚恢茫疃戎涤烧`差補(bǔ)償公式得到：

$D\left(x\right)=D_R\left(x\right)+\frac{\underset{y\∈N\left(x\right)}{\Σ}\left|\right|x-y|{|}_{2}e\left(y\right)}{\underset{y\∈N\left(x\right)}{\Σ}\left|\right|x-y|{|}_2}---\left(4\right)$

其中，x表示深度圖中像素位置，||·||₂為二范數(shù)項(xiàng)，e為誤差散點(diǎn)圖，N(x)為e中以x為中心的N×N鄰域，y表示鄰域N(x)內(nèi)的像素位置，e(y)為e中y位置處的誤差值。

42)通常情況下，誤差散點(diǎn)圖是稀疏的，信息量較少，所以得到的擬合值將繼續(xù)作為e的補(bǔ)充填入到誤差散點(diǎn)圖中，以此增加誤差散點(diǎn)圖的誤差值，為后續(xù)的深度補(bǔ)償提供更多的信息。

5)深度圖像的填充：得到融合后的深度圖后，使用一種邊緣導(dǎo)向的三遍濾波將稀疏的深度散點(diǎn)圖中有效深度值擴(kuò)散到整個(gè)圖像，以得到高質(zhì)量的深度圖像。圖像擴(kuò)散過程中，彩色邊緣圖像E用于控制擴(kuò)散順序，保證在深度確實(shí)區(qū)域由外向內(nèi)擴(kuò)散，避免在深度不連續(xù)區(qū)域形成偽像，對于深度缺失點(diǎn)，濾波方程為：

其中，w為標(biāo)準(zhǔn)化系數(shù)，I為同一坐標(biāo)系下的高質(zhì)量彩色圖像；為融合深度圖D中像素x鄰域內(nèi)的可行集，由彩色邊緣圖像E決定，y表示可行域內(nèi)的像素位置；D(x)、D(y)、I(x)、I(y)分別表示融合深度圖D、彩色圖I中像素x、y位置處的深度值和彩色值；G(·)表示高斯核，G_λ(x-y)、G_ξ(D(x)-D(y))、G_μ(I(x)-I(y))分別表示歐幾里得空間距離、深度值差異和彩色空間差異，其下標(biāo)λ、ξ、μ為對應(yīng)項(xiàng)方差。

本發(fā)明基于雙目深度相機(jī)采集系統(tǒng)提出了一種新的深度修復(fù)框架來獲取高質(zhì)量深度圖像(如圖1的框架流程所示)，其中提出了邊緣導(dǎo)向的視點(diǎn)融合策略和誤差補(bǔ)償方法，以充分利用雙目系統(tǒng)的深度補(bǔ)充信息。結(jié)合實(shí)施例和附圖詳細(xì)說明如下：

1)構(gòu)建雙目深度相機(jī)系統(tǒng)：兩個(gè)深度相機(jī)放置在水平架子上，相機(jī)距離可調(diào)節(jié)，系統(tǒng)的視場范圍可通過相機(jī)間基線距離調(diào)節(jié)。同時(shí)兩臺電腦分別控制兩個(gè)相機(jī)進(jìn)行采集，以保證實(shí)時(shí)儲存的可靠性。系統(tǒng)采集的同步性由路由器構(gòu)建局部網(wǎng)絡(luò)來實(shí)現(xiàn)，一個(gè)電腦作為服務(wù)器發(fā)送UDP觸發(fā)信號，另一臺電腦作為客戶端接收UDP觸發(fā)信號，從而完成兩臺相機(jī)的同步采集工作。實(shí)驗(yàn)中，系統(tǒng)參數(shù)設(shè)置：彩色圖像分辨率1920×1080；深度圖像分辨率512×424；相機(jī)幀率為30fps。

注：在雙目系統(tǒng)中，左側(cè)相機(jī)視為主視點(diǎn)相機(jī)，記為K_L；右側(cè)相機(jī)為輔助視點(diǎn)相機(jī)，記作K_R。經(jīng)過相機(jī)標(biāo)定和圖像配準(zhǔn)后，K_L、K_R采集到的深度圖像分別扭轉(zhuǎn)到K_L的彩色相機(jī)的坐標(biāo)系中，K_L采集到的深度圖像進(jìn)行配準(zhǔn)得到的散點(diǎn)圖記為D_L，K_R采集到的深度圖像進(jìn)過配準(zhǔn)得到的散點(diǎn)圖記為D_R。

從而在主視點(diǎn)位置得到具有相同分辨率的高質(zhì)量彩色圖像和兩張深度散點(diǎn)圖像(如圖2所示)。從圖中可以看到，D_L圖像在前背景交接處存在大面積空洞，而在D_R對應(yīng)位置存在深度信息，因此，可以將D_R中的深度信息與D_L融合，從而實(shí)現(xiàn)對主視點(diǎn)深度信息的補(bǔ)充。

2)系統(tǒng)內(nèi)相機(jī)間關(guān)系和系統(tǒng)誤差分析：對于主視點(diǎn)位置得到具有相同分辨率的兩張深度散點(diǎn)圖像而言，理論上同一位置處的深度值應(yīng)保持一致，而實(shí)際中存在偏差。對于這種系統(tǒng)誤差，從來源和特質(zhì)兩方面對其進(jìn)行分析對雙視點(diǎn)融合至關(guān)重要。

21)相機(jī)間相互影響誤差：相機(jī)間相互影響誤差是兩臺相機(jī)同時(shí)處于工作狀態(tài)時(shí)，一臺相機(jī)對另一臺相機(jī)產(chǎn)生影響，從而引起兩臺相機(jī)采集到的深度圖像在深度值上存在偏差。用搭建好的雙目系統(tǒng)采集同一靜止場景的深度圖像，第一次只有K_L相機(jī)保持工作狀態(tài)，K_R關(guān)閉，第二次同時(shí)開啟兩臺相機(jī)處于工作狀態(tài)，同樣僅使用K_L采集場景圖。對比兩次得到的場景圖像可以發(fā)現(xiàn)，K_R工作時(shí)，K_L采集到的場景深度圖像噪聲更大，空洞增加，但兩次采集到的圖像在深度值上沒有明顯的差異分布。從而排除了系統(tǒng)內(nèi)相機(jī)間互相干擾引起的系統(tǒng)誤差。

22)系統(tǒng)誤差分布形式：由于深度散點(diǎn)圖由圖像配準(zhǔn)生成，有效深度值坐在位置并不是一一對應(yīng)，系統(tǒng)誤差的計(jì)算針對兩張深度散點(diǎn)圖中深度值均存在的像素位置。對深度值均存在的像素位置進(jìn)行深度相減得到誤差散點(diǎn)圖，從而得到誤差分布情況(如圖3所示)：誤差分布不是隨機(jī)分布，而呈現(xiàn)一定的與位置相關(guān)的規(guī)律性；圖像中心位置誤差較小，兩個(gè)相機(jī)得到的深度值準(zhǔn)確性較高；隨著與圖像中心位置距離的增加，誤差增加，兩個(gè)相機(jī)得到的深度值準(zhǔn)確性降低。同時(shí)，這種與距離相關(guān)的誤差分布近似二次錐形狀(近高斯分布)。

3)邊緣導(dǎo)向的融合策略：雙目深度系統(tǒng)的優(yōu)勢在于輔助視點(diǎn)中存在主視點(diǎn)中沒有的深度信息，以此可以對主視點(diǎn)信息進(jìn)行補(bǔ)充。即：主視點(diǎn)中由于物體的遮擋等原因存在深度不可測區(qū)域，例如前背景銜接處，而這些位置可能是輔助視點(diǎn)可見區(qū)域，在輔助視點(diǎn)深度散點(diǎn)圖中存在有效深度值，從而可以對主視點(diǎn)進(jìn)行深度信息補(bǔ)充。邊緣導(dǎo)向融合策略即確定融合點(diǎn)的位置，以確保填充位置的準(zhǔn)確，避免在多余的填充信息，得到準(zhǔn)確的融合深度圖D。

令x表示圖像上的像素位置，D_L(x)為深度圖D_L中x位置處的深度值，D_R(x)為深度圖D_R中x位置處的深度值，D(x)為融合深度圖D中x位置處的深度值。在同一視點(diǎn)下的兩張深度散點(diǎn)圖上，像素位置x存在處以下三種情況：

31)D_L中x位置處的深度值不為0，此時(shí)，不論D_R中x位置處的深度值是否為0，融合圖像D中x位置處的深度值D(x)都置為D_L中的值D_L(x)，即：D(x)＝D_L(x)。這是因?yàn)镈_L由輔助視點(diǎn)深度圖進(jìn)行配準(zhǔn)而得，此過程中由于存在較大的基線距離更容易引入誤差，影響深度值的可靠性，所以當(dāng)D_L中深度值存在時(shí)，融合深度圖的深度值以D_L的深度值為準(zhǔn)。

32)D_L、D_R中x位置處的深度值均為0，則融合圖像D中x位置處的深度值D(x)置為0。即：D(x)＝0。

33)這種情況較為特殊，也是最重要的一種情況。即：D_L中x位置處的深度值為0，而D_R中x位置處的深度值不為0，此時(shí)稱像素位置x為待補(bǔ)償位置。對于這種情況，本發(fā)明提出了一種判別準(zhǔn)則來決定D_R中x位置處的深度值是否可以用于D(x)的估計(jì)。這一判別準(zhǔn)則包含兩部分：彩色連續(xù)性F_c(x)和深度連續(xù)性F_d(x)。

彩色連續(xù)性F_c(x)指待補(bǔ)償位置x不屬于彩色邊緣區(qū)域，即當(dāng)x的鄰域內(nèi)不存在彩色邊界時(shí)，視為該位置處具有彩色連續(xù)性。因?yàn)椴噬吘墔^(qū)域可能存在深度躍變，更容易引入錯(cuò)誤的深度值，彩色連續(xù)性的約束可以從彩色邊緣角度避免錯(cuò)誤深度值得引入。數(shù)學(xué)表達(dá)為：

其中，∑·為求和符號；E是由彩色圖像通過Canny算子計(jì)算得到的彩色邊緣圖像，N_e(x)是E中以x為中心的21×21鄰域，y表示鄰域N_e(x)內(nèi)的像素位置，E(y)指E中y位置處的邊緣標(biāo)識值。

深度連續(xù)性F_d(x)是指D_R中的深度值與D_L中待補(bǔ)償位置的估計(jì)值連續(xù)，即兩者差值在一定范圍以內(nèi)，此時(shí)稱該位置具有深度連續(xù)性。因?yàn)樯疃妊a(bǔ)償要在同一類深度中進(jìn)行，即背景深度補(bǔ)償背景深度、前景深度補(bǔ)償前景深度，而不能用背景深度對前景深度進(jìn)行補(bǔ)償(反之亦然)，所以要對深度連續(xù)性進(jìn)行判斷和約束，以保證補(bǔ)償?shù)臏?zhǔn)確。數(shù)學(xué)表達(dá)為：

其中，|·|為絕對值符號，N_d(x)為，為D_L中以x為中心的21×21鄰域內(nèi)有效鄰域值(不為0的深度值)的均值估計(jì)；D_th為深度閾值，實(shí)驗(yàn)中D_th＝500。

將F_c(x)和F_d(x)聯(lián)合，得到最終的判決準(zhǔn)則F(x)：

F(x)＝F_c(x)×F_d(x) (3)

如果F(x)值為1，則認(rèn)為D_R(x)可以用于D(x)的誤差補(bǔ)償估計(jì)；否則，D_R(x)不可用于D(x)的誤差補(bǔ)償估計(jì)，D(x)置為0，即：D(x)＝0。

4)基于誤差補(bǔ)償?shù)碾p視點(diǎn)融合：對于可以進(jìn)行補(bǔ)償?shù)南袼匚恢?，深度值由誤差補(bǔ)償公式得到：

$D\left(x\right)=D_R\left(x\right)+\frac{\underset{y\∈N\left(x\right)}{\Σ}\left|\right|x-y|{|}_{2}e\left(y\right)}{\underset{y\∈N\left(x\right)}{\Σ}\left|\right|x-y|{|}_2}---\left(4\right)$

其中，x表示深度圖中像素位置，||·||₂為二范數(shù)項(xiàng)，e為誤差散點(diǎn)圖，N(x)為e中以x為中心的23×23鄰域，y表示鄰域N(x)內(nèi)的像素位置，e(y)為e中y位置處的誤差值。

像素x處的誤差補(bǔ)償可以看作是一個(gè)誤差擬合過程，計(jì)算誤差散點(diǎn)圖中的局部有效誤差的加權(quán)平均作為誤差的擬合值，并將其與D_R(x)進(jìn)行補(bǔ)償從而得到最終的融合深度值D(x)。

通常情況下，誤差散點(diǎn)圖是稀疏的，信息量較少，所以得到的擬合值將繼續(xù)作為e的補(bǔ)充填入到誤差散點(diǎn)圖中，以此增加誤差散點(diǎn)圖的誤差值，為后續(xù)的深度補(bǔ)償提供更多的信息。

雙視點(diǎn)融合結(jié)果對比圖如圖4所示，本發(fā)明提出的融合策略能夠很好避免錯(cuò)誤深度信息的引入，保證融合的準(zhǔn)確性。

5)深度圖像的填充：得到融合后的深度圖后，使用一種邊緣導(dǎo)向的三遍濾波將稀疏的深度散點(diǎn)圖中有效深度值擴(kuò)散到整個(gè)圖像，以得到高質(zhì)量的深度圖像。圖像擴(kuò)散過程中，彩色邊緣圖像E用于控制擴(kuò)散順序，保證在深度確實(shí)區(qū)域由外向內(nèi)擴(kuò)散，避免在深度不連續(xù)區(qū)域出現(xiàn)過濾波、形成偽像，對于深度缺失點(diǎn)，濾波方程為：

其中，w為標(biāo)準(zhǔn)化系數(shù)，I為同一坐標(biāo)系下的高質(zhì)量彩色圖像；為融合深度圖D中像素x鄰域內(nèi)的可行集，由彩色邊緣圖像E決定，y表示可行域內(nèi)的像素位置；D(x)、D(y)、I(x)、I(y)分別表示融合深度圖D、彩色圖I中像素x、y位置處的深度值和彩色值；G(·)表示高斯核，G_λ(x-y)、G_ξ(D(x)-D(y))、G_μ(I(x)-I(y))分別表示歐幾里得空間距離、深度值差異和彩色空間差異，其下標(biāo)λ、ξ、μ為對應(yīng)項(xiàng)方差，取值分別為200、10、6。

實(shí)驗(yàn)最終結(jié)果如圖5，圖6所示。