一種二值化激光散斑圖像的深度感知方法
【專利摘要】本發(fā)明公開了一種二值化激光散斑圖像的深度感知方法：讀入二值化的輸入散斑圖和參考散斑圖(圖形固定、距離已知)生成輸入散斑窗、參考散斑窗，在輸入散斑窗中提取一定大小的圖像塊在參考散斑窗的匹配搜索窗中搜尋匹配塊，通過塊異或的相似度值計(jì)算方法比較輸出最小相似度值或通過塊相與的方法比較輸出最大相似度值，得到最優(yōu)匹配塊及最優(yōu)偏移量，結(jié)合深度計(jì)算公式計(jì)算得到該圖像塊中心點(diǎn)的深度信息。本
【發(fā)明內(nèi)容】
不僅易于硬件實(shí)現(xiàn)、大幅降低計(jì)算復(fù)雜度，而且可以快速準(zhǔn)確生成高分辨率、高精度的深度圖信息。
【專利說明】一種二值化激光散斑圖像的深度感知方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理、人機(jī)交互和機(jī)器視覺【技術(shù)領(lǐng)域】，具體涉及一種二值化激光散斑圖像的深度感知方法。
【背景技術(shù)】
[0002]視覺是人類觀察與認(rèn)知世界最直接、最主要的途徑。我們生活在一個三維世界中，人類視覺不僅能感知物體表面的亮度、顏色、紋理信息，運(yùn)動情況，而且能判斷其形狀、空間及空間位置(深度、距離)。如何讓機(jī)器視覺能實(shí)時獲得高精度的三維深度信息、提高機(jī)器的智能水平是當(dāng)前機(jī)器視覺系統(tǒng)研究的難點(diǎn)。
[0003]在工業(yè)領(lǐng)域，高分辨率、高精度的三維深度信息在汽車輔助安全駕駛、高速機(jī)床加工、工業(yè)建模、3D打印、醫(yī)療成像、物聯(lián)網(wǎng)3D視覺感知等領(lǐng)域有著廣泛的應(yīng)用需求。在消費(fèi)電子領(lǐng)域，深度感知技術(shù)和裝置有助于提高電子產(chǎn)品的智能水平和交互能力，可為用戶帶來“科幻”般的操控方式和全新的人機(jī)交互體驗(yàn)，在智能電視、智能手機(jī)、家電、平板PC等領(lǐng)域?qū)崿F(xiàn)創(chuàng)新應(yīng)用。
[0004]基于結(jié)構(gòu)光的主動視覺模式可以較為準(zhǔn)確地獲取圖像的深度信息，該模式相比雙目立體攝像頭，具有獲取的深度圖信息更穩(wěn)定可靠、不受環(huán)境光影響、立體匹配過程簡單、算法計(jì)算量小等優(yōu)勢。如微軟的體感交互設(shè)備Kinect就是采用紅外結(jié)構(gòu)光的主動視覺模式，即通過紅外激光投射固定模式的圖像到物體表面,經(jīng)物體表面的漫反射形成散斑點(diǎn)，由圖像傳感器采集獲得散斑圖像，再通過圖像深度傳感器芯片計(jì)算獲得物體的深度信息。

【發(fā)明內(nèi)容】

[0005]鑒于此，本發(fā)明的目的在于提供一種二值化激光散斑圖像的深度感知方法，對輸入激光散斑圖(深度信息未知)與參考激光散斑圖(作為匹配標(biāo)準(zhǔn)的散斑圖，其散斑圖形固定、深度距離信息已知)先進(jìn)行圖像預(yù)處理二值化(每個像素用0、1表示)，從二值化輸入散斑圖提取一定大小的圖像塊用于塊匹配運(yùn)動估計(jì)，以一定的搜索策略和相似度值測量指標(biāo)尋找該圖像塊在以二值化參考散斑圖中對應(yīng)位置為中心的匹配搜索窗內(nèi)尋找最優(yōu)匹配塊，獲得該圖像塊與匹配塊之間的偏移量，即為該圖像塊的運(yùn)動向量，用X、Y軸方向的位移量(ΛΧ，Ay)表示，起點(diǎn)為參考散斑窗中的對應(yīng)輸入散斑圖像塊的中心點(diǎn)，終點(diǎn)為參考散斑窗中的最優(yōu)匹配塊的中心點(diǎn)。X或Y軸方向偏移量結(jié)合參考激光散斑圖的已知距離參數(shù)d、激光投射器與圖像采集裝置之間的基線距離S、圖像采集傳感器焦距f和點(diǎn)距參數(shù)μ，可根據(jù)深度計(jì)算公式計(jì)算得到該圖像塊中心的深度信息d'。
[0006]根據(jù)本發(fā)明的一種二值化激光散斑圖像的深度感知方法，包括以下步驟:
[0007]步驟1、生成輸入散斑窗、參考散斑窗:從二值化輸入散斑圖和二值化參考散斑圖中讀入位置相同的多行散斑數(shù)據(jù)，形成N行大小的輸入散斑窗、參考散斑窗；
[0008]步驟2、在輸入散斑窗中提取一定大小的輸入圖像塊blockmXn，大小為mXn，中心點(diǎn)為ο ;在參考散斑窗中提取跟輸入圖像塊中心點(diǎn)ο點(diǎn)位置對應(yīng)、一定范圍大小的匹配搜索窗MatchMXN,大小為MXN ;在匹配搜索窗MatchMXN中提取所有跟輸入圖像塊一樣大小的匹配塊match,，大小為mXn，匹配塊中心點(diǎn)ok，其中k是整數(shù)，表示匹配塊個數(shù)；
[0009]步驟3、計(jì)算輸入圖像塊Wockmxn與所有k個匹配塊match,之間的相似度值match_valuek,該值作為圖像塊匹配的相似度測量指標(biāo)；
[0010]步驟4、對所有k個相似度值matCh_ValUek進(jìn)行位置標(biāo)記，其中，位置信息指示匹配塊match,中心點(diǎn)Ok與匹配搜索窗中心點(diǎn)ο之間的偏移量；
[0011]步驟5、在所有k個相似度值match_valuek中求最小或最大值,最小或最大值對應(yīng)的匹配塊即為該輸入圖像塊的最優(yōu)匹配塊，最優(yōu)匹配塊對應(yīng)的位置信息即該輸入圖像塊的最優(yōu)偏移量(Λχ，Ay)，即該輸入圖像塊的運(yùn)動向量，其中最優(yōu)偏移量為參考散斑窗中心點(diǎn)坐標(biāo)值(X，y)分別按X、Y軸減去最優(yōu)匹配塊中心點(diǎn)坐標(biāo)值(X'，I')計(jì)算得到；
[0012]步驟6、利用X或Y方向的最優(yōu)偏移量Λπι(ΛΧ或Ay)結(jié)合參考散斑圖的已知距離參數(shù)d、激光投射器與圖像采集裝置之間的基線距離S、圖像傳感器焦距f和圖像傳感器點(diǎn)距參數(shù)μ，根據(jù)深度計(jì)算公式計(jì)算得到輸入散斑圖像塊Wockmxn中心點(diǎn)ο的深度信息cT 。
[0013]本發(fā)明可快速準(zhǔn)確地生成輸入散斑圖每個像素的運(yùn)動向量，并根據(jù)深度計(jì)算公式獲得該像素點(diǎn)的深度距離，易于硬件實(shí)現(xiàn)，大幅度降低了塊匹配計(jì)算的復(fù)雜度、減少了硬件實(shí)現(xiàn)的資源開銷，有助于實(shí)時生成高分辨率、高精度的圖像深度圖信息。采用本發(fā)明技術(shù)方案的有益效果還將通過以下實(shí)施例的闡述而得到具體的體現(xiàn)。
【專利附圖】

【附圖說明】
[0014]圖1是本發(fā)明實(shí)施例的整體流程框圖；
[0015]圖2是本發(fā)明實(shí)施例的二值化輸入散斑或參考散斑示意圖；
[0016]圖3是本發(fā)明實(shí)施例的輸入圖像塊與最優(yōu)匹配塊之間偏移量示意圖；
[0017]圖4是本發(fā)明實(shí)施例的圖像塊深度計(jì)算示意圖。
【具體實(shí)施方式】
[0018]下面結(jié)合附圖對本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)說明。
[0019]圖1示意性圖示了本發(fā)明實(shí)施例二值化激光散斑圖像深度感知的整體流程圖。為了清楚說明，下文中將結(jié)合圖2、圖3、圖4來描述該方法。
[0020]參考散斑圖是由激光投射器投射固定圖形的激光束(紅外、可見光、紫外線、不可見光)與激光投射器的中心軸(Ζ軸)相垂直的、且已知垂直距離為d的平面(該平面可由投影布、平板等構(gòu)成，用于呈現(xiàn)清晰穩(wěn)定的散斑點(diǎn)圖，該平面可稱之為參考基準(zhǔn)平面)上，經(jīng)干涉形成非規(guī)則的激光散斑圖形；后經(jīng)圖像傳感器采集和圖像自適應(yīng)預(yù)處理二值化后，如圖2所示的二值化散斑圖，存儲固化在存儲器中用于深度感知計(jì)算的匹配基準(zhǔn)圖形。
[0021]圖像自適應(yīng)預(yù)處理二值化包括輸入視頻格式轉(zhuǎn)換(如Bayer、ITU601、ITU656、MIPI接口格式轉(zhuǎn)換)、色度空間轉(zhuǎn)換(如RGB轉(zhuǎn)YUV)、灰度圖像自適應(yīng)去噪和增強(qiáng)、灰度圖像二值化(O、I表示，I對應(yīng)散斑點(diǎn))等。其目的是通過激光散斑圖像的預(yù)處理，使散斑圖形更清晰、減少噪聲干擾，并有利于本
【發(fā)明內(nèi)容】
的塊匹配運(yùn)動向量計(jì)算。
[0022]輸入散斑圖序列是激光投射器對目標(biāo)物體所在空間投射與參考散斑相同的散斑圖形進(jìn)行編碼后，由圖像傳感器采集輸入獲得，并經(jīng)過了參考散斑圖相同的圖像自適應(yīng)預(yù)處理二值化模塊，得到如圖2所示的二值化輸入散斑圖。
[0023]步驟1、生成輸入散斑窗、參考散斑窗:從二值化輸入散斑圖和二值化參考散斑圖中讀入位置相同的多行散斑數(shù)據(jù)，形成N行大小的輸入散斑窗、參考散斑窗。其中，每個像素點(diǎn)用O、1表示。
[0024]步驟2、在輸入散斑窗中提取一定大小的輸入圖像塊blockmXn，大小為mXn，中心點(diǎn)為O，其中塊大小參數(shù)m、η是整數(shù)，m、η可以相等或不相等；在參考散斑窗中提取跟輸入圖像塊中心點(diǎn)ο點(diǎn)位置對應(yīng)、一定范圍大小的匹配搜索窗MatchMXN，大小為ΜΧΝ，M、N都是整數(shù)，可以相等或不相等，一般M≥N、M>m、N≥η ;在匹配搜索窗MatchMXN中提取所有跟輸入圖像塊一樣大小的匹配塊match,，大小為mXn，匹配塊中心點(diǎn)ok，k是整數(shù)，表示匹配塊個數(shù)。
[0025]步驟3、計(jì)算輸入圖像塊blockmXn。與所有k個匹配塊match,之間的相似度值match_valuek,該值作為圖像塊匹配的相似度測量指標(biāo)。
[0026]在一個實(shí)施例中，相似度值計(jì)算方法可以采用輸入圖像塊blocLmXn。與匹配塊match,的對應(yīng)像素之間進(jìn)行“異或”計(jì)算，用來表示差異性大小，值越小差異性越小，采用異或結(jié)果作為相似度值，則后續(xù)需要在所有異或結(jié)果值求出最小值，用最小值對應(yīng)的匹配塊作為最相似(最匹配)的匹配塊。在另一實(shí)施例中，相似度計(jì)算方法可以是圖像塊Wockmxn與匹配塊match,之間對應(yīng)像素進(jìn)行“相與”計(jì)算，相似度值表示圖像塊Wockmxn與匹配塊match,之間同為‘I’的個數(shù)，值越大越相似，采用塊相與結(jié)果作為相似度值，則后續(xù)需要在所有值中求出最大值，該最大值對應(yīng)的匹配塊作為最相似(最匹配)的匹配塊。
[0027]步驟4、對所有k個相似度值matCh_Valuek進(jìn)行位置標(biāo)記，其中，位置信息指示匹配塊match,中心點(diǎn)Ok與匹配搜索窗中心點(diǎn)ο之間的偏移量；
[0028]其中，位置標(biāo)記例如采取[位置值，match_valuek值]的數(shù)據(jù)結(jié)構(gòu),位置值可采取一維或二維方式表示,其對應(yīng)該匹配塊matchk中心點(diǎn)Ok與匹配搜索窗blockMXN中心點(diǎn)ο之間的位置距離關(guān)系，二維位置用偏移量(Λχ，Δy)表示，其中ΛΧ，Ay都為整數(shù)，其正負(fù)表示位于匹配搜索窗中心點(diǎn)的左右、上下關(guān)系。
[0029]步驟5、在所有k個相似度值match_valuek中求最小或最大值,最小或最大值對應(yīng)的匹配塊即為該輸入圖像塊的最優(yōu)匹配塊，最優(yōu)匹配塊對應(yīng)的位置信息即該輸入圖像塊的運(yùn)動向量。其中最優(yōu)偏移量為參考散斑窗中心點(diǎn)坐標(biāo)值(x，y)分別按X、Y軸減去最優(yōu)匹配塊中心點(diǎn)坐標(biāo)值(X' ,1')計(jì)算得到。
[0030]其中，如采用異或方法則求最小值min{match_valuek},采用相與方法則求最大值max{match_valuek}。求出相似度值的最小或最大值后,該值對應(yīng)的匹配塊matchk即為圖像塊Wockmxn擬搜尋的最優(yōu)匹配塊，該最小或最大值綁定的位置信息即為圖像塊Wockmxn中心點(diǎn)O的最優(yōu)偏移量(Δχ, Ay),即該輸入圖像塊blockmXn的運(yùn)動向量,偏移量值為參考散斑窗中心點(diǎn)(x，y)坐標(biāo)值分別按X、Y軸減去最優(yōu)匹配塊中心點(diǎn)(X' ,1')坐標(biāo)值計(jì)算得到。
[0031]圖3所示輸入圖像塊為輸入散斑圖灰色表示區(qū)域，最優(yōu)匹配塊為參考散斑圖的匹配搜索窗中斜線表示區(qū)域，其中心點(diǎn)Ok與匹配搜索窗blockMXN中心點(diǎn)ο (該中心點(diǎn)ο與輸入圖像塊中心點(diǎn)O位置對應(yīng))的最優(yōu)偏移量為(ΛΧ，Ay)，分別表示X、Y方向位移，起正負(fù)，正負(fù)對應(yīng)上下、左右坐標(biāo)關(guān)系，在空間上則對應(yīng)與參考散斑圖平面的前后關(guān)系，如最優(yōu)偏移量為正，表示比參考散斑圖距離更近；最優(yōu)偏移量為負(fù)，表示比參考散斑圖距離更遠(yuǎn)；同時偏移量值越大表示該圖像塊中心點(diǎn)O與已知深度距離的參考散斑圖平面之間的垂直距離越遠(yuǎn)，因參考散斑圖平面相對激光投射裝置的距離是固定的，偏移量越大該中心點(diǎn)O相對激光投射裝置的距離則可能越近或越遠(yuǎn)。
[0032]步驟6、利用X或Y方向的最優(yōu)偏移量Λπι(ΛΧ或Ay)結(jié)合參考散斑圖的已知距離參數(shù)d、激光投射器與圖像采集裝置之間的基線距離S、圖像傳感器焦距f和圖像傳感器點(diǎn)距參數(shù)μ，根據(jù)深度計(jì)算公式計(jì)算得到輸入散斑圖像塊Wockmxn中心點(diǎn)ο的深度信息0- ,如圖4所示。
[0033]在本實(shí)施例中，根據(jù)以下深度計(jì)算公式計(jì)算cT:
【權(quán)利要求】
1.一種二值化激光散斑圖像的深度感知方法，包括以下步驟: 步驟1、生成輸入散斑窗、參考散斑窗:從二值化輸入散斑圖和二值化參考散斑圖中讀入位置相同的多行散斑數(shù)據(jù)，形成N行大小的輸入散斑窗、參考散斑窗； 步驟2、在輸入散斑窗中提取一定大小的輸入圖像塊Wocknixn，大小為mXn，中心點(diǎn)為ο ;在參考散斑窗中提取跟輸入圖像塊中心點(diǎn)ο點(diǎn)位置對應(yīng)、一定范圍大小的匹配搜索窗MatchMXN,大小為MXN ;在匹配搜索窗MatchMXN中提取所有跟輸入圖像塊一樣大小的匹配塊match,，大小為mXn，匹配塊中心點(diǎn)ok，其中k是整數(shù)，表示匹配塊個數(shù)； 步驟3、計(jì)算輸入圖像塊blockmXn與所有k個匹配塊matchk之間的相似度值match_valuek,該值作為圖像塊匹配的相似度測量指標(biāo)； 步驟4、對所有k個相似度值matCh_Valuek進(jìn)行位置標(biāo)記，其中，位置信息指示匹配塊match,中心點(diǎn)Ok與匹配搜索窗中心點(diǎn)ο之間的偏移量； 步驟5、在所有k個相似度值match_valuek中求最小或最大值,最小或最大值對應(yīng)的匹配塊即為該輸入圖像塊的最優(yōu)匹配塊，最優(yōu)匹配塊對應(yīng)的位置信息即該輸入圖像塊的最優(yōu)偏移量(ΛΧ，Ay)，即該輸入圖像塊的運(yùn)動向量，其中最優(yōu)偏移量為參考散斑窗中心點(diǎn)坐標(biāo)值(x，y)分別按X、Y軸減去最優(yōu)匹配塊中心點(diǎn)坐標(biāo)值(X' ,1')計(jì)算得到； 步驟6、利用X或Y方向的最優(yōu)偏移量Λπι(Λχ或Ay)結(jié)合參考散斑圖的已知距離參數(shù)d、激光投射器與圖像采集裝置之間的基線距離S、圖像傳感器焦距f和圖像傳感器點(diǎn)距參數(shù)μ，根據(jù)深度計(jì)算公式計(jì)算得到輸入散斑圖像塊Wockmxn中心點(diǎn)ο的深度信息d'。
2.根據(jù)權(quán)利要求1所述 的方法，步驟3中，相似度值計(jì)算方法采用輸入圖像塊Wockmxn與匹配塊match,的對應(yīng)像素之間進(jìn)行“異或”計(jì)算。
3.根據(jù)權(quán)利要求1所述的方法，步驟3中，相似度計(jì)算方法采用輸入圖像塊Wockmxn與匹配塊match,之間對應(yīng)像素進(jìn)行“相與”計(jì)算。
4.根據(jù)權(quán)利要求1所述的方法，步驟4中,位置標(biāo)記采取[位置值，match_valuek相似度值]的數(shù)據(jù)結(jié)構(gòu)。
5.根據(jù)權(quán)利要求2所述的方法,步驟5中，求取所有相似度值match_valuek中的最小值。
6.根據(jù)權(quán)利要求3所述的方法,步驟5中，求取所有相似度值match_valuek中的最大值。
7.根據(jù)權(quán)利要求1所述的方法，步驟6中，優(yōu)選的，根據(jù)以下深度計(jì)算公式計(jì)算d':
AmlUd2 _ β? Cl； — Ct—
JS + AmiLid fS + AmtLid 其中，最優(yōu)偏移量Am等于參考散斑窗中心點(diǎn)X坐標(biāo)值-最優(yōu)匹配塊中心點(diǎn)X'坐標(biāo)值，或參考散斑窗中心點(diǎn)y坐標(biāo)值-最優(yōu)匹配塊中心點(diǎn)I'坐標(biāo)值。
8.根據(jù)權(quán)利要求4所述的方法，其中，位置值采取一維或二維方式表示，其對應(yīng)該匹配塊match,中心點(diǎn)Ok與匹配搜索窗blockMXN中心點(diǎn)ο之間的位置距離關(guān)系，并且二維位置用偏移量(ΛΧ，Ay)表示，其中ΛΧ，Ay都為整數(shù)，其正負(fù)表示位于匹配搜索窗中心點(diǎn)的左右、上下關(guān)系。
9.根據(jù)權(quán)利要求1所述的方法，還包括:步驟7、將輸入散斑圖像塊中心點(diǎn)ο移到同一行的下一個像素點(diǎn)上，重復(fù)步驟2~6，得到下一個像素點(diǎn)對應(yīng)的深度值，如此逐點(diǎn)、逐行計(jì)算得到輸入散斑圖像對應(yīng)的深度圖。
【文檔編號】G06T7/00GK103839258SQ201410049323
【公開日】2014年6月4日 申請日期:2014年2月13日 優(yōu)先權(quán)日:2014年2月13日
【發(fā)明者】葛晨陽, 姚慧敏, 周艷輝 申請人:西安交通大學(xué), 寧波盈芯信息科技有限公司