一種基于紋理的深度邊界修正方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺(jué)與數(shù)字圖像處理領(lǐng)域，特別涉及一種基于紋理的深度邊界 修正方法。
【背景技術(shù)】
[0002] 深度圖像常被用于三維重建、自由視點(diǎn)編碼等諸多領(lǐng)域?，F(xiàn)有的深度信息采集常 ?；谝恍?fù)雜和昂貴的傳感器，如結(jié)構(gòu)光相機(jī)或激光測(cè)距儀等。基于這些設(shè)備采集的深 度圖像，不僅受到各類(lèi)噪聲干擾，過(guò)低的分辨率也大大限制了將深度圖像作為基礎(chǔ)的其他 研究應(yīng)用的發(fā)展。以Kinect為代表的低端深度傳感器，它們的售價(jià)低廉并且作為主動(dòng)式傳 感器，能夠快速獲取場(chǎng)景的深度與紋理信息，因而在研究中被廣泛使用。但是由于低端深度 傳感器主要通過(guò)發(fā)射結(jié)構(gòu)光并接收其反射光線獲取場(chǎng)景深度圖像，因此受到環(huán)境光源與物 體形狀材質(zhì)的嚴(yán)重干擾，致使采集的深度圖像噪聲較大，尤其在物體邊界區(qū)域存在嚴(yán)重抖 動(dòng)準(zhǔn)確性低的問(wèn)題。由于邊界區(qū)域包含了場(chǎng)景中物體的形狀位置等重要信息，并且屬于視 覺(jué)敏感區(qū)域，深度邊界誤差嚴(yán)重影響到基于深度圖像的其他應(yīng)用，例如場(chǎng)景三維重建等。
[0003] 為了提高低端深度傳感器采集深度圖像邊界區(qū)域的質(zhì)量，目前針對(duì)其深度圖像邊 界成像缺陷提出了一系列的改進(jìn)方法。其中具有代表性的方法有兩種:對(duì)深度圖像用雙邊 濾波器預(yù)處理，然后在空域上將深度圖劃分為非邊界區(qū)域與邊界區(qū)域，針對(duì)邊界區(qū)域用特 殊加權(quán)法增強(qiáng)深度信息，該方法降低深度圖像在物體邊界區(qū)域的噪聲，但由于缺乏對(duì)時(shí)域 穩(wěn)定性的限制，相鄰各幀邊界深度值仍存在較大波動(dòng);利用時(shí)域上多幀對(duì)應(yīng)區(qū)域深度信息 的紋理加權(quán)平均值提高深度圖像穩(wěn)定性，對(duì)當(dāng)前幀深度圖從時(shí)域和空域上進(jìn)行聯(lián)合雙邊濾 波的方法使得深度圖像在時(shí)域一致性上獲得很大改善，平滑表面深度值的連續(xù)性顯著提 升，但是由于忽視對(duì)受噪聲影響巨大的物體邊界的處理，邊界區(qū)域的濾波效果不夠理想，邊 界錯(cuò)位有待抑制。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于提供一種基于紋理的深度邊界修正方法，對(duì)邊界區(qū)域進(jìn)行更好 的處理。
[0005] 為此，本發(fā)明提出的一種，其特征在于包括如下步驟:A1、輸入深度傳感器采集的 紋理圖像與對(duì)應(yīng)深度圖像;A2、分別提取紋理圖像邊界與深度圖像邊界，以紋理邊界為基準(zhǔn) 獲取深度邊界錯(cuò)位圖;A3、計(jì)算好點(diǎn)與壞點(diǎn)的像素差值，確定邊界錯(cuò)位區(qū)域;其中好點(diǎn)是指 準(zhǔn)確深度點(diǎn)，壞點(diǎn)是指誤差深度點(diǎn);A4、根據(jù)錯(cuò)位區(qū)域分布特征，自適應(yīng)地確定方形窗口W邊 長(zhǎng)進(jìn)行深度增強(qiáng)處理，修正窗口內(nèi)壞點(diǎn)深度，消除邊界錯(cuò)位區(qū)域;其中步驟A4中保證窗口W 中好點(diǎn)占優(yōu)，即好點(diǎn)個(gè)數(shù)Ngood多過(guò)壞點(diǎn)個(gè)數(shù)Nbad。
[0006] 本發(fā)明的優(yōu)點(diǎn)在于：
[0007] 1)保證邊界錯(cuò)位區(qū)域盡?Ξ F，進(jìn)一步地，通過(guò)算法能完全消除邊界錯(cuò)位區(qū)域Er;
[0008] 2)由于在深度增強(qiáng)處理前，即修正仏^前，始終保證W中好點(diǎn)占優(yōu)，因此提高了窗口 W內(nèi)所有好點(diǎn)的深度加權(quán)均值的可靠性，即保證錯(cuò)位區(qū)完全被窗口包含并且窗口內(nèi)好 點(diǎn)數(shù)量多過(guò)壞點(diǎn)數(shù)量，從而保證了深度增強(qiáng)處理的魯棒性。
【附圖說(shuō)明】
[0009]圖1是本發(fā)明實(shí)施例流程不意圖。
【具體實(shí)施方式】
[0010] 為了獲得物體邊界清晰平滑、形狀完整、位置準(zhǔn)確的高質(zhì)量深度圖像，需要針對(duì)深 度圖像的邊界區(qū)域，綜合各種改進(jìn)深度圖像方法的優(yōu)勢(shì)，取長(zhǎng)補(bǔ)短。本發(fā)明實(shí)施例的思路主 要基于深度圖像邊界區(qū)域存在抖動(dòng)和錯(cuò)位兩個(gè)主要問(wèn)題，借助穩(wěn)定且準(zhǔn)確的對(duì)應(yīng)紋理圖像 邊界，對(duì)邊界區(qū)域進(jìn)行深度增強(qiáng)處理，達(dá)到提升空域準(zhǔn)確性和時(shí)域穩(wěn)定性，全面抑制低端深 度傳感器采集的深度圖像存在的邊界誤差的目的，方便進(jìn)一步將深度信息融入到其他應(yīng)用 中去。
[0011] 本實(shí)施例通過(guò)提取每一幀紋理圖像邊界與對(duì)應(yīng)的深度圖像邊界進(jìn)行比對(duì)，直觀上 獲取深度邊界的錯(cuò)位情況。沿深度邊界逐點(diǎn)計(jì)算法線方向梯度值，得到該點(diǎn)附近誤差深度 代表值與準(zhǔn)確深度代表值，獲取劃定邊界錯(cuò)位區(qū)域準(zhǔn)則，利用該準(zhǔn)則劃分從紋理邊界點(diǎn)出 發(fā)向?qū)?yīng)的深度邊界點(diǎn)方向延伸射線上準(zhǔn)確深度點(diǎn)(好點(diǎn)）與誤差深度點(diǎn)(壞點(diǎn)），壞點(diǎn)構(gòu)成 需要消除的深度邊界錯(cuò)位，每對(duì)相應(yīng)的紋理邊界點(diǎn)與深度邊界點(diǎn)間錯(cuò)位的位置與大小得到 確定。根據(jù)錯(cuò)位區(qū)域的分布情況，自適應(yīng)地確定方形處理窗口邊長(zhǎng)，保證錯(cuò)位區(qū)完全被窗口 包含并且窗口內(nèi)好點(diǎn)數(shù)量多過(guò)壞點(diǎn)數(shù)量，從而提升了消除錯(cuò)位區(qū)域的深度增強(qiáng)處理的可靠 性。該深基于紋理邊界的深度邊界錯(cuò)位區(qū)域修正方法在消除邊界抖動(dòng)的同時(shí)保證了深度圖 像中邊界的準(zhǔn)確清晰，最終有效提高以Kinect為代表的低端傳感器采集的深度圖像質(zhì)量， 將使基于深度信息的各個(gè)研究領(lǐng)域廣泛受益。
[0012] 本實(shí)施例所提出的一種基于紋理邊界的深度邊界錯(cuò)位區(qū)域修正方法如下：
[0013] A1:輸入深度傳感器(如Kinect)采集的紋理圖像與對(duì)應(yīng)深度圖像；
[0014] A2:分別提取紋理圖像邊界與深度圖像邊界，以紋理邊界為基準(zhǔn)獲取深度邊界錯(cuò) 位圖；
[0015] A3:計(jì)算準(zhǔn)確深度點(diǎn)(好點(diǎn))與誤差深度點(diǎn)(壞點(diǎn)）的像素差值，確定邊界錯(cuò)位區(qū)域；
[0016] A4:根據(jù)錯(cuò)位區(qū)域分布特征，自適應(yīng)地確定方形窗口邊長(zhǎng)進(jìn)行深度增強(qiáng)處理，修正 窗口內(nèi)壞點(diǎn)深度，消除邊界錯(cuò)位區(qū)域。
[0017] 在具體的實(shí)施方案中，可按下面方式操作。需注意的是，在下面的實(shí)施過(guò)程中所述 的具體方法(如Sobel算子、加權(quán)均值法等)都僅為列舉說(shuō)明，本發(fā)明所涵蓋的范圍不局限于 所列舉的這些方法。
[0018] A1:輸入的各幀紋理圖像及對(duì)應(yīng)深度圖像分別通過(guò)低端深度傳感器的彩色相機(jī)與 深度相機(jī)采集所得，以Kinect為例，由傳感器采集的同一幀的紋理圖像與深度圖像包含相 同時(shí)刻同一場(chǎng)景的信息，它們具有相同的分辨率，但由于深度相機(jī)鏡頭與彩色相機(jī)鏡頭存 在一定間距，需經(jīng)過(guò)相機(jī)校準(zhǔn)，兩張圖像上相同位置的像素點(diǎn)間才會(huì)存在對(duì)應(yīng)關(guān)系，分別描 述場(chǎng)景中同一點(diǎn)的紋理和深度信息。
[0019] A2:提取A1中輸入的當(dāng)前幀紋理圖像邊界Te與深度圖像邊界De，將提取的紋理邊界 TJ央射到深度圖像上，由于校準(zhǔn)后同一幀的紋理圖像與深度圖像像素點(diǎn)間的對(duì)應(yīng)關(guān)系，因 而位于紋理圖像邊界上的像素能夠快速找到其深度圖像中的對(duì)應(yīng)像素點(diǎn)，獲取以紋理邊界 為基準(zhǔn)的深度邊界錯(cuò)位圖。
[0020]圖像邊界提取具體可采用(但不局限于)Sobel算子、Roberts算子、Prewitt算子等 方法，上述方法的差異在于對(duì)于不同類(lèi)型邊界的提取精度存在差異。
[0021] A3:沿紋理邊界逐點(diǎn)確定與對(duì)應(yīng)深度邊界點(diǎn)間的錯(cuò)位情況。獲取以紋理邊界點(diǎn)PTe 為端點(diǎn)向離其最近深度邊界點(diǎn)PDe方向延伸射線上像素點(diǎn)P屬于好點(diǎn)集Pg?d與壞點(diǎn)集P ba<^ 依據(jù)，需基于射線上各像素點(diǎn)P的深度值Dp劃分，以此確定邊界錯(cuò)位區(qū)域Er。為確定好點(diǎn)深度 值D gcicid與壞點(diǎn)深度值Dbad差異TH2，需沿深度邊界逐點(diǎn)獲取其法線方向PDe 1深度梯度值Grad。 比較射線上各點(diǎn)深度值Dp與端點(diǎn)深度值DPTe間的差異與TH 2的大小關(guān)系劃分好點(diǎn)Pgcicid與壞點(diǎn) Pbad，所有壞點(diǎn)構(gòu)成錯(cuò)位區(qū)Er。劃分準(zhǔn)則和錯(cuò)位區(qū)域形成如下：
[0022] TH2 = GradpDle
[0023]
[0024] PbadeEr
[0025] A4:由A3確定錯(cuò)位區(qū)域Er的大小和位置分布特征，自適應(yīng)地確定窗口W邊長(zhǎng)1^，對(duì) 該窗口W進(jìn)行深度增強(qiáng)處理，修正窗口內(nèi)壞點(diǎn)深度D bad，消除邊界錯(cuò)位區(qū)域Er。如A3所述