專(zhuān)利名稱(chēng)：一種激光散斑圖像的運(yùn)動(dòng)向量生成方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理、自然交互技術(shù)領(lǐng)域，具體涉及一種激光散斑圖像的運(yùn)動(dòng)向量生成方法。
背景技術(shù)：
自然和諧的人機(jī)交互方式是人類(lèi)對(duì)操控機(jī)器的理想目標(biāo)，使機(jī)器能讀懂人在自然狀態(tài)所傳遞的命令。利用圖像處理技術(shù)獲取深度信息進(jìn)行三維圖像的實(shí)時(shí)識(shí)別及動(dòng)作捕捉，使人能以表情、手勢(shì)、體感動(dòng)作等自然方式與終端進(jìn)行交互成為可能。通過(guò)高精度的圖像深度信息獲取也是機(jī)器視覺(jué)系統(tǒng)發(fā)展的技術(shù)難點(diǎn)之一。圖像深度信息獲取技術(shù)已逐步從游戲機(jī)外設(shè)拓展到其它智能終端，包括智能電視、智能手機(jī)、PC、平板電腦等，為用戶帶來(lái)“科幻”般的操控方式和全新的人機(jī)交互體驗(yàn)，在游戲娛樂(lè)、消費(fèi)電子、醫(yī)療、教育等領(lǐng)域都有廣泛的應(yīng)用前景。基于結(jié)構(gòu)光的主動(dòng)視覺(jué)模式可以較為準(zhǔn)確地獲取圖像的深度信息，該模式相比雙目立體攝像頭，具有獲取的深度圖信息更穩(wěn)定可靠、不受環(huán)境光影響、立體匹配過(guò)程簡(jiǎn)單、算法計(jì)算量小等優(yōu)勢(shì)。如微軟的體感交互設(shè)備Kinect就是采用紅外結(jié)構(gòu)光的主動(dòng)視覺(jué)模式，即通過(guò)紅外激光投射固定模式的圖像到物體表面,經(jīng)物體表面的漫反射形成散斑點(diǎn)，由圖像傳感器采集獲得散斑圖像，再通過(guò)圖像深度傳感器芯片計(jì)算獲得物體的深度信息。本發(fā)明針對(duì)基于結(jié)構(gòu)光的主動(dòng)視覺(jué)模式，利用圖像傳感器所采集的輸入散斑圖(深度信息未知)與標(biāo)準(zhǔn)散斑圖(深度距離信息已知)進(jìn)行比較，通過(guò)圖像塊的模式匹配獲得輸入散斑圖的運(yùn)動(dòng)向量信息，用于后續(xù)的深度圖計(jì)算?？梢哉f(shuō)本發(fā)明內(nèi)容是快速、準(zhǔn)確地獲取圖像深度信息的關(guān)鍵。

發(fā)明內(nèi)容
本發(fā)明提供了一種激光散斑圖像的運(yùn)動(dòng)向量生成方法，先對(duì)投射到目標(biāo)物體上的輸入散斑圖(深度信息未知)進(jìn)行圖像自適應(yīng)預(yù)處理，再以經(jīng)過(guò)相同圖像自適應(yīng)預(yù)處理的作為基準(zhǔn)的標(biāo)準(zhǔn)散斑圖(深度距離信息已知)為參考，將輸入散斑圖按一定大小的圖像塊進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)，即以一定的搜索策略和相似度測(cè)量指標(biāo)尋找圖像塊在標(biāo)準(zhǔn)散斑圖中對(duì)應(yīng)位置為中心的搜索窗內(nèi)尋找最優(yōu)匹配塊，獲得該圖像塊與匹配塊之間的偏移量，即為該圖像塊的運(yùn)動(dòng)向量。該運(yùn)動(dòng)向量可由X、Y軸方向的位移量(Ar, Ajr)表示，起點(diǎn)為標(biāo)準(zhǔn)散斑圖中的圖像塊，終點(diǎn)為輸入散斑圖的圖像塊，其精度可達(dá)到子像素級(jí)。根據(jù)本發(fā)明的一種激光散斑圖像的運(yùn)動(dòng)向量生成方法，其實(shí)現(xiàn)步驟包括
步驟一、標(biāo)準(zhǔn)散斑圖像和輸入散斑圖像的獲取，其中，將固定散斑圖案投射到與散斑投射裝置的中心軸垂直、且距離所述投射裝置標(biāo)準(zhǔn)距離的平面上，捕捉所述平面上的標(biāo)準(zhǔn)散斑圖像；捕捉投射到目標(biāo)物體區(qū)域而得到的輸入散斑圖像；
步驟二、散斑圖的圖像自適應(yīng)預(yù)處理，其中，標(biāo)準(zhǔn)散斑圖像和輸入散斑圖像經(jīng)同樣方式的圖像自適應(yīng)預(yù)處理后，生成預(yù)處理后的標(biāo)準(zhǔn)散斑圖像和輸入散斑圖像；
步驟三、輸入散斑圖像和標(biāo)準(zhǔn)散斑圖像之間的塊匹配運(yùn)動(dòng)估計(jì)，其中，結(jié)合所述預(yù)處理后的標(biāo)準(zhǔn)散斑圖像和輸入散斑圖像，以塊匹配運(yùn)動(dòng)估計(jì)算法獲取輸入散斑圖像各個(gè)區(qū)域上的運(yùn)動(dòng)向量。采用本發(fā)明技術(shù)方案的有益效果將通過(guò)以下實(shí)施例的闡述而得到具體的體現(xiàn)。


圖1是本發(fā)明實(shí)施例的整體流程框圖；
圖2是本發(fā)明實(shí)施例的圖像自適應(yīng)預(yù)處理的流程框圖3是本發(fā)明實(shí)施例的塊匹配運(yùn)動(dòng)估計(jì)示意圖4是本發(fā)明實(shí)施例的子像素運(yùn)動(dòng)估計(jì)示意圖。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)說(shuō)明。圖1示意性圖示了本發(fā)明實(shí)施例激光散斑圖像運(yùn)動(dòng)向量生成的整體流程圖。為了清楚說(shuō)明，下文中將結(jié)合圖2和圖3來(lái)描述該方法。在生成激光散斑圖像的運(yùn)動(dòng)向量時(shí)，首先進(jìn)行步驟一，獲取標(biāo)準(zhǔn)散斑圖和輸入散斑圖，其中，將固定散斑圖案投射到與散斑投射裝置的中心軸垂直、且距離所述投射裝置標(biāo)準(zhǔn)距離的平面上，捕捉所述平面上的標(biāo)準(zhǔn)散斑圖像；捕捉投射到目標(biāo)物體區(qū)域而得到的輸入散斑圖像。捕捉散斑圖像的系統(tǒng)主要有散斑投射裝置和圖像傳感器。散斑投射裝置可以是相干光源和圖案生成器，相干光通過(guò)圖案生成器投影到物體上形成散斑圖案。散斑投射裝置和圖像傳感器到物體具有基本相等的距離。該系統(tǒng)掃過(guò)的空間是光源光路傳播的視角和圖像傳感器針對(duì)的視角所交叉形成的空間，從而使距圖案生成器的距離大于Rayleign距離的物體能夠成像。標(biāo)準(zhǔn)散斑圖的獲取是將激光束(紅外、可見(jiàn)光、紫外線、不可見(jiàn)光)經(jīng)圖案生成器形成的散斑圖案投射到與激光束發(fā)生裝置的中心軸(Z軸)相垂直的、且已知位置距離為d的平面(該平面可由投影布、平板等構(gòu)成，用于呈現(xiàn)清晰穩(wěn)定的散斑點(diǎn)圖，該平面可稱(chēng)之為標(biāo)準(zhǔn)平面)上，平面上所形成的散斑圖即為標(biāo)準(zhǔn)散斑圖。在上述過(guò)程中，距離d是標(biāo)準(zhǔn)平面與散斑投射裝置的垂直距離。在另一個(gè)較佳的實(shí)施例中，標(biāo)準(zhǔn)平面，即所述平面的位置選取滿足以下約束條件(I)所述平面與投射裝置的中心軸垂直；(2) d值必須在散斑照射有效距離范圍內(nèi)；(3)所述平面上的散斑圖為盡可能涵蓋固定圖案形成的整幅散斑圖像，且所述平面上的散斑圖能夠被捕捉。例如，圖像傳感器能在其視角范圍內(nèi)捕捉所述平面上的散斑圖。輸入散斑圖與標(biāo)準(zhǔn)散斑圖的獲取方法基本一致，由相同的圖像傳感器逐幀輸入，散斑圖中含有要測(cè)量深度信息的目標(biāo)物體，即目標(biāo)物體必須在散斑照射的有效距離范圍內(nèi)。在圖像傳感器裝置捕捉標(biāo)準(zhǔn)散斑圖和輸入散斑圖的之前，需經(jīng)過(guò)濾波裝置，濾波器的功能是只允許相干光源波段內(nèi)或接近光源波段的光波正常通過(guò)(其它波段的均受到抑制)，然后經(jīng)圖像傳感器采集。經(jīng)濾波后采集的標(biāo)準(zhǔn)散斑圖和輸入散斑圖需經(jīng)步驟二圖像自適應(yīng)預(yù)處理，其中，標(biāo)準(zhǔn)散斑圖像和輸入散斑圖像經(jīng)同樣方式的圖像自適應(yīng)預(yù)處理后，生成預(yù)處理后的標(biāo)準(zhǔn)散斑圖像和輸入散斑圖像。如圖2所示圖像自適應(yīng)預(yù)處理包括以下處理中的一種或多種Bayer格式轉(zhuǎn)換(取決于圖像傳感器的輸出視頻格式)、色度空間轉(zhuǎn)換(例如，RGB到Y(jié)UV)、灰度圖像自適應(yīng)去噪和增強(qiáng)等。Bayer格式轉(zhuǎn)換是灰度圖像與彩色圖像格式間的一種轉(zhuǎn)換方法?；叶葓D像自適應(yīng)去噪方法用于噪聲的消除，圖像增強(qiáng)方法包括直方圖增強(qiáng)、灰度線性增強(qiáng)、二值化處理等，但不限于這些傳統(tǒng)的增強(qiáng)方法。通過(guò)去噪和增強(qiáng)使散斑圖能更準(zhǔn)確地進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)。預(yù)處理后的標(biāo)準(zhǔn)散斑圖和輸入散斑圖，進(jìn)入步驟三，進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)，結(jié)合所述預(yù)處理后的標(biāo)準(zhǔn)散斑圖像和輸入散斑圖像，以塊匹配運(yùn)動(dòng)估計(jì)算法獲取輸入散斑圖像各個(gè)區(qū)域上的運(yùn)動(dòng)向量。塊匹配運(yùn)動(dòng)估計(jì)一個(gè)具體實(shí)施例如圖3所示。以標(biāo)準(zhǔn)散斑圖為參考
基準(zhǔn)，在輸入散斑圖中提取一定大小的圖像塊為圖像塊的尺寸大小，可以相等，也可以不相等。在標(biāo)準(zhǔn)散斑圖中，以圖像塊所對(duì)應(yīng)位置為中心的一定范圍的搜索窗SBancA-MKirjfjjjr內(nèi)，以一定的搜索策略和相似度測(cè)量指標(biāo)來(lái)尋找該圖像塊的最優(yōu)匹配塊，獲得該圖像塊與匹配塊之間的偏移I (Ar知)，即為該圖像塊的運(yùn)動(dòng)向量，其中Af、況為搜索窗的尺寸大小，可以相等，也可以不相等。作為示例，搜索策略和相似度測(cè)量指標(biāo)可以采用傳統(tǒng)塊匹配方法中使用的，比如三步搜索法(TSS)和絕對(duì)誤差和(SAD)，但是也可以采用其他各種改進(jìn)的搜索策略和相似度測(cè)量指標(biāo)。對(duì)輸入散斑圖，圖像塊是按相同的大小從左到右，從上到下按一定的步長(zhǎng)提取的。在求取運(yùn)動(dòng)向量的過(guò)程中，假設(shè)圖像塊內(nèi)所有像素的位移量都相同。圖像塊對(duì)應(yīng)搜索窗的選取是以該圖像塊在標(biāo)準(zhǔn)散斑圖中的對(duì)應(yīng)區(qū)域?yàn)橹行?，上下左右分別擴(kuò)展相同的像素半徑J 優(yōu)選地，如果只關(guān)注圖像塊X方向的偏移量Ar，搜索窗的選取可以只擴(kuò)展圖像塊的左右方向，這樣可以減少大量的計(jì)算量，提高運(yùn)行速度。同理圖像塊的Y方向亦然。本發(fā)明獲取輸入散斑圖運(yùn)動(dòng)向量的塊匹配運(yùn)動(dòng)估計(jì)方法不同于傳統(tǒng)的塊匹配算法。在匹配過(guò)程中，傳統(tǒng)的運(yùn)動(dòng)估計(jì)匹配算法其匹配塊的步長(zhǎng)等于匹配塊的大小，本發(fā)明中從輸入散斑圖中提取的圖像塊的步長(zhǎng)也可小于匹配塊的大小。如圖3所示，匹配塊經(jīng)運(yùn)動(dòng)估計(jì)求取的運(yùn)動(dòng)向量只代表了中間以斜線標(biāo)記的陰影區(qū)域內(nèi)像素點(diǎn)的運(yùn)動(dòng)向量，陰影區(qū)域可以由一個(gè)或多個(gè)像素點(diǎn)組成，以此方法取得運(yùn)動(dòng)向量的準(zhǔn)確率和細(xì)小物體運(yùn)動(dòng)向量誤匹配現(xiàn)象的折衷。本發(fā)明中搜索策略是逐個(gè)匹配塊進(jìn)行搜索，因此精度可達(dá)到像素級(jí)，甚至于子像素級(jí)。對(duì)于子像素精度，為了便于硬件實(shí)現(xiàn)，可以采用H. 264編碼器中子像素運(yùn)動(dòng)估計(jì)方法，主要包含兩部分對(duì)像素點(diǎn)進(jìn)行插值運(yùn)算和子像素級(jí)運(yùn)動(dòng)向量的求取。子像素的位置常以l/2n為單位，作為示例，以下結(jié)合圖4說(shuō)明1/4像素精度運(yùn)動(dòng)向量的求取。第一步，1/2像素精度運(yùn)動(dòng)向量的求取。首先對(duì)輸入散斑圖和標(biāo)準(zhǔn)散斑圖進(jìn)行1/2像素點(diǎn)插值，1/2像素點(diǎn)的計(jì)算通過(guò)水平或垂直方向上相鄰的6個(gè)像素點(diǎn)經(jīng)濾波得到，按照與整數(shù)像素點(diǎn)是否相鄰分為兩種情況若1/2像素點(diǎn)位置與整數(shù)像素點(diǎn)相鄰，如圖4中的i像素點(diǎn)，計(jì)算公式如式(I);若1/2像素點(diǎn)位置與整數(shù)像素點(diǎn)不相鄰，如圖4中的j像素點(diǎn)，以水平方向或垂直方向上的6個(gè)1/2像素點(diǎn)計(jì)算得到，計(jì)算公式如式(2)或式(3)。公式中右移5位(>>5)表示除以32后只截取整數(shù)部分計(jì)算。
權(quán)利要求
1.一種激光散斑圖像運(yùn)動(dòng)向量生成方法，包括 步驟一、標(biāo)準(zhǔn)散斑圖像和輸入散斑圖像的獲取，其中，將固定散斑圖案投射到與散斑投射裝置的中心軸垂直、且距離所述投射裝置為標(biāo)準(zhǔn)距離d的平面上，捕捉所述平面上的標(biāo)準(zhǔn)散斑圖像；捕捉投射到目標(biāo)物體區(qū)域而得到的輸入散斑圖像； 步驟二、散斑圖的圖像自適應(yīng)預(yù)處理，其中，標(biāo)準(zhǔn)散斑圖像和輸入散斑圖像經(jīng)同樣方式的圖像自適應(yīng)預(yù)處理后，生成預(yù)處理后的標(biāo)準(zhǔn)散斑圖像和輸入散斑圖像； 步驟三、輸入散斑圖像和標(biāo)準(zhǔn)散斑圖像之間的塊匹配運(yùn)動(dòng)估計(jì)，其中，結(jié)合所述預(yù)處理后的標(biāo)準(zhǔn)散斑圖像和輸入散斑圖像，以塊匹配運(yùn)動(dòng)估計(jì)算法獲取輸入散斑圖像各個(gè)區(qū)域上的運(yùn)動(dòng)向量。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述平面的位置選取滿足以下約束條件(1)所述平面與所述投射裝置的中心軸垂直；(2)標(biāo)注距離d值在散斑照射有效距離范圍內(nèi)；(3)所述平面上的散斑圖為盡可能涵蓋固定圖案形成的整幅散斑圖像，且所述平面上的散斑圖能夠被捕捉。
3.根據(jù)權(quán)利要求1所述的方法，其中，圖像自適應(yīng)預(yù)處理包括以下處理中的一種或多種=Bayer格式轉(zhuǎn)換、色度空間轉(zhuǎn)換、灰度圖像自適應(yīng)去噪和增強(qiáng)。
4.根據(jù)權(quán)利要求1所述的方法，其中所述塊匹配運(yùn)動(dòng)估計(jì)算法包括在輸入散斑圖像中提取一定大小的圖像塊;在標(biāo)準(zhǔn)散斑圖像中，以圖像塊所對(duì)應(yīng)位置為中心的一定范圍的搜索窗imirch_biockMiiX內(nèi)，根據(jù)搜索策略和相似度測(cè)量指標(biāo)來(lái)尋找該圖像塊的最優(yōu)匹配塊，其中，w、B為圖像塊的尺寸大小，M、N為搜索窗的尺寸大小，且M大于等于m、N大于等于n，獲得該圖像塊與所述匹配塊之間的偏移量(Ar,知)，即為該圖像塊的運(yùn)動(dòng)向量。
5.根據(jù)權(quán)利要求4所述的方法，從輸入散斑圖中提取的圖像塊的步長(zhǎng)小于匹配塊的大小。
6.根據(jù)權(quán)利要求4所述的方法，其中，根據(jù)所述塊匹配運(yùn)動(dòng)估計(jì)算法獲取的運(yùn)動(dòng)向量為1/2像素精度或1/4像素精度。
7.根據(jù)權(quán)利要求6所述的方法，其中，計(jì)算1/2像素點(diǎn)時(shí)，按照與整數(shù)像素點(diǎn)是否相鄰分為兩種情況 若待求1/2像素點(diǎn)位置與整數(shù)像素點(diǎn)在水平或垂直方向上相鄰，計(jì)算公式為式(I)； 若待求1/2像素點(diǎn)位置與整數(shù)像素點(diǎn)在水平或垂直方向上不相鄰，則計(jì)算公式為式
8.根據(jù)權(quán)利要求6或7所述的方法，計(jì)算1/4像素點(diǎn)時(shí)，其特征在于 求得1/2像素精度的運(yùn)動(dòng)向量后，1/4像素精度的運(yùn)動(dòng)向量也分為兩種情況 若待求1/4像素點(diǎn)的位置與整數(shù)像素點(diǎn)或1/2像素點(diǎn)在水平或垂直方向上相鄰，計(jì)算公式為式(4)； 若待求1/4像素點(diǎn)的位置與整數(shù)像素點(diǎn)和1/2像素點(diǎn)在水平或垂直方向上均不相鄰，計(jì)算公式為式(5)；
9.根據(jù)權(quán)利要求1至8任意一項(xiàng)中所述的方法，其中，所述步驟一捕捉的輸入散斑圖像包括在所述目標(biāo)物體移動(dòng)過(guò)程中捕捉的一系列測(cè)試圖像，根據(jù)計(jì)算得到的該一系列測(cè)試圖像的運(yùn)動(dòng)向量來(lái)跟蹤該目標(biāo)物體的運(yùn)動(dòng)。
全文摘要
本發(fā)明提供了一種激光散斑圖像的運(yùn)動(dòng)向量生成方法，先對(duì)投射到目標(biāo)物體上的輸入散斑圖進(jìn)行圖像自適應(yīng)預(yù)處理，再以經(jīng)過(guò)相同圖像自適應(yīng)預(yù)處理的作為基準(zhǔn)的標(biāo)準(zhǔn)散斑圖為參考，將輸入散斑圖按一定大小的圖像塊進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)，即以一定的搜索策略和相似度測(cè)量指標(biāo)尋找圖像塊在標(biāo)準(zhǔn)散斑圖中對(duì)應(yīng)位置為中心的搜索窗內(nèi)尋找最優(yōu)匹配塊，獲得該圖像塊與匹配塊之間的偏移量，即為該圖像塊的運(yùn)動(dòng)向量。該運(yùn)動(dòng)向量可由X、Y軸方向的位移量(，)表示，起點(diǎn)為標(biāo)準(zhǔn)散斑圖中的圖像塊，終點(diǎn)為輸入散斑圖的圖像塊，其精度可達(dá)到子像素級(jí)。
文檔編號(hào)G06T7/20GK103020988SQ20121049023
公開(kāi)日2013年4月3日 申請(qǐng)日期2012年11月27日 優(yōu)先權(quán)日2012年11月27日
發(fā)明者姚慧敏, 葛晨陽(yáng), 葛瑞龍, 李倩敏, 朱鳴, 王峰, 李偉, 陳磊 申請(qǐng)人:西安交通大學(xué)