專(zhuān)利名稱(chēng)：一種圖像深度感知裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理、自然交互和集成電路技術(shù)領(lǐng)域，具體涉及圖像深度感知裝置的硬件結(jié)構(gòu)。
背景技術(shù)：
視覺(jué)是人類(lèi)觀察與認(rèn)知世界最直接、最主要的途徑。我們生活在一個(gè)三維世界中，人類(lèi)視覺(jué)不僅能感知物體表面的亮度、顏色、紋理信息，運(yùn)動(dòng)情況，而且能判斷其形狀、空間及空間位置(深度)。圖像高精度深度信息的實(shí)時(shí)獲取是當(dāng)前機(jī)器視覺(jué)系統(tǒng)發(fā)展的一大難點(diǎn)。
自然和諧的人機(jī)交互方式是人類(lèi)對(duì)操控機(jī)器的理想目標(biāo)，使機(jī)器能讀懂人在自然狀態(tài)所傳遞的命令，通過(guò)聽(tīng)覺(jué)與視覺(jué)以語(yǔ)言、表情、手勢(shì)和體勢(shì)等自然方式進(jìn)行交互，進(jìn)一步降低人對(duì)機(jī)器的使用門(mén)檻。利用圖像深度感知芯片及裝置可進(jìn)行三維圖像的實(shí)時(shí)識(shí)別及動(dòng)作捕捉，使人能以表情、手勢(shì)、體勢(shì)等自然方式與終端進(jìn)行交互，使人類(lèi)能以自然交互方式對(duì)機(jī)器進(jìn)行操控的理想目標(biāo)有望實(shí)現(xiàn)。圖像深度感知技術(shù)已逐步從游戲機(jī)外設(shè)拓展到其它智能終端，包括智能電視、智能手機(jī)、PC、平板電腦等，為用戶帶來(lái)“科幻”般的操控方式和全新的人機(jī)交互體驗(yàn)，在游戲娛樂(lè)、消費(fèi)電子、醫(yī)療、教育等領(lǐng)域都有廣泛的應(yīng)用前景?；诮Y(jié)構(gòu)光的主動(dòng)視覺(jué)模式可以較為準(zhǔn)確地獲取圖像的深度信息，該模式相比雙目立體攝像頭，具有獲取的深度圖信息更穩(wěn)定可靠、不受環(huán)境光影響、立體匹配過(guò)程簡(jiǎn)單、算法計(jì)算量小等優(yōu)勢(shì)。如微軟的體感交互設(shè)備Kinect就是采用紅外結(jié)構(gòu)光的主動(dòng)視覺(jué)模式，即通過(guò)紅外激光投射固定模式的圖像到物體表面,經(jīng)物體表面的漫反射形成散斑點(diǎn)，由圖像傳感器采集獲得散斑圖像，再通過(guò)圖像深度感知裝置計(jì)算獲得物體的深度圖信息。本發(fā)明針對(duì)基于結(jié)構(gòu)光的主動(dòng)視覺(jué)模式，實(shí)現(xiàn)了一種高精度圖像深度感知裝置(芯片或IP核)的硬件結(jié)構(gòu)，具有結(jié)構(gòu)簡(jiǎn)單、硬件開(kāi)銷(xiāo)小、可實(shí)時(shí)生成高分辨率的深度圖序列的優(yōu)點(diǎn)，同時(shí)該模塊即可作為獨(dú)立芯片，也可作為嵌入式IP核應(yīng)用。該模塊主要原理輸入散斑圖序列(從外部圖像傳感器采集得到，深度信息未知)與標(biāo)準(zhǔn)散斑圖(深度距離信息已知，作為基準(zhǔn))進(jìn)行比較，通過(guò)圖像塊的模式匹配(相似度計(jì)算)獲得輸入散斑圖的運(yùn)動(dòng)矢量信息，再通過(guò)深度計(jì)算獲得深度圖，最后經(jīng)過(guò)深度圖的后處理輸出最終的高分辨率深度圖序列。

發(fā)明內(nèi)容
本發(fā)明提供了一種圖像深度感知裝置，其特征在于包括圖像自適應(yīng)預(yù)處理子模塊、塊匹配運(yùn)動(dòng)估計(jì)子模塊、深度計(jì)算子模塊以及存儲(chǔ)器；其中
將外部的圖像傳感器采集獲得的輸入散斑圖序列，以數(shù)字視頻格式輸出至所述圖像自適應(yīng)預(yù)處理子模塊；
所述圖像自適應(yīng)預(yù)處理子模塊對(duì)不同亮暗、信噪比、大小特性的輸入散斑圖序列進(jìn)行自適應(yīng)、一致性的預(yù)處理；
所述存儲(chǔ)器中固定存儲(chǔ)有深度距離信息已知的標(biāo)準(zhǔn)散斑圖，該標(biāo)準(zhǔn)散斑圖已進(jìn)行過(guò)預(yù)處理；
所述塊匹配運(yùn)動(dòng)估計(jì)子模塊將預(yù)處理后的輸入散斑圖序列中各輸入散斑圖與標(biāo)準(zhǔn)散斑圖進(jìn)行比對(duì)，求取輸入散斑圖中圖像塊的位移量；
所述深度計(jì)算子模塊根據(jù)輸入散斑圖中圖像塊的位移量來(lái)計(jì)算其深度信息，得到計(jì)算后的深度圖序列。


圖I是本發(fā)明實(shí)施例的圖像深度感知裝置結(jié)構(gòu) 圖2是本發(fā)明實(shí)施例的圖像自適應(yīng)預(yù)處理子模塊的流程框 圖3是本發(fā)明實(shí)施例的塊匹配運(yùn)動(dòng)估計(jì)子模塊的原理示意 圖4是激光三角測(cè)距原理示意圖。
具體實(shí)施例方式下面結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)說(shuō)明。在一個(gè)具體實(shí)施例中，本發(fā)明公開(kāi)了一種圖像深度感知裝置，其特征在于包括圖像自適應(yīng)預(yù)處理子模塊、塊匹配運(yùn)動(dòng)估計(jì)子模塊、深度計(jì)算子模塊以及存儲(chǔ)器；其中
將外部的圖像傳感器采集獲得的輸入散斑圖序列，以數(shù)字視頻格式輸出至所述圖像自適應(yīng)預(yù)處理子模塊；
所述圖像自適應(yīng)預(yù)處理子模塊對(duì)不同亮暗、信噪比、大小特性的輸入散斑圖序列進(jìn)行自適應(yīng)、一致性的預(yù)處理；
所述存儲(chǔ)器中固定存儲(chǔ)有深度距離信息已知的標(biāo)準(zhǔn)散斑圖，該標(biāo)準(zhǔn)散斑圖已進(jìn)行過(guò)預(yù)處理；
所述塊匹配運(yùn)動(dòng)估計(jì)子模塊將預(yù)處理后的輸入散斑圖序列中各輸入散斑圖與標(biāo)準(zhǔn)散斑圖進(jìn)行比對(duì)，求取輸入散斑圖中圖像塊的位移量；
所述深度計(jì)算子模塊根據(jù)輸入散斑圖中圖像塊的位移量來(lái)計(jì)算其深度信息，得到計(jì)算后的深度圖序列。就上述實(shí)施例而言，該裝置的基本功能在于從外部圖像傳感器輸入散斑圖序列(深度信息未知)，經(jīng)圖像自適應(yīng)與固定存儲(chǔ)在存儲(chǔ)芯片(Flash、EEPR0M等)中的標(biāo)準(zhǔn)散斑圖(深度距離信息已知，作為基準(zhǔn))進(jìn)行比較，通過(guò)圖像塊的塊匹配運(yùn)動(dòng)估計(jì)(相似度計(jì)算)獲得輸入散斑圖的運(yùn)動(dòng)矢量信息，再通過(guò)深度計(jì)算獲得深度圖，最后經(jīng)過(guò)深度圖的后處理輸出最終的高分辨率深度圖序列。塊匹配運(yùn)動(dòng)估計(jì)子模塊實(shí)質(zhì)上是用于輸入散斑圖和標(biāo)準(zhǔn)散斑圖之間的相似度計(jì)算。輸入散斑圖中的光斑圖案可認(rèn)為是由標(biāo)準(zhǔn)散斑圖的光斑圖案經(jīng)縮放、平移等操作得到，求取對(duì)應(yīng)光斑塊的運(yùn)動(dòng)向量(即位移量)可用于計(jì)算其深度信息。深度，即該塊所在的、與散斑投射器中心軸Z軸垂直的平面到散斑投射器前端的垂直距離。其中標(biāo)準(zhǔn)散斑圖的獲取可以通過(guò)如下方式實(shí)現(xiàn)，這些方式僅用于說(shuō)明上述實(shí)施例，并非限制上述實(shí)施例，因?yàn)楸绢I(lǐng)域技術(shù)人員也可以采用其他方式獲取標(biāo)準(zhǔn)散斑圖將固定圖案的激光束(紅外、可見(jiàn)光、紫外線、不可見(jiàn)光)投射到與散斑投射器的中心軸(Z軸)相垂直的、且已知位置距離為d的平面(該平面可由投影布、平板等構(gòu)成，用于呈現(xiàn)清晰穩(wěn)定的散斑點(diǎn)圖)上，平面上所形成的散斑圖即為標(biāo)準(zhǔn)散斑圖。輸入散斑圖的獲取也可以采用上述獲取方法，輸入散斑圖中含有要測(cè)量深度信息的目標(biāo)物體，其深度信息為知。容易理解，目標(biāo)物體必須在散斑照射的有效距離范圍內(nèi)。優(yōu)選的，在另一個(gè)實(shí)施例中所述數(shù)字視頻格式為Bayer格式或ITU656/ITU601視頻格式；所述圖像深度感知模塊還包括深度圖后處理子模塊，其采用去噪濾波的方法來(lái)減少噪聲的存在，輸出高分辨率深度圖序列。對(duì)于該實(shí)施例而言，深度圖后處理子模塊用于對(duì)獲得的深度圖進(jìn)一步優(yōu)化。由于在塊匹配運(yùn)動(dòng)估計(jì)過(guò)程中可能存在誤匹配的問(wèn)題、加上激光投射的方法會(huì)形成被遮擋區(qū)域，由此形成深度圖有空洞現(xiàn)象，空洞也可以視為深度圖的噪聲。為了進(jìn)一步提高精度，所述深度圖后處理子模塊采用去噪濾波的方法來(lái)減少噪聲的存在，并使得深度圖中物體的邊緣更光滑、清晰，比如采用中值濾波、均值濾波等方法，但不限于這些傳統(tǒng)的濾波方法，其目的都是為了減少噪聲。經(jīng)優(yōu)化處理后，輸出深度圖序列。 優(yōu)選的，在另一個(gè)實(shí)施例中所述圖像自適應(yīng)預(yù)處理子模塊的預(yù)處理過(guò)程為先將輸入散斑圖序列和標(biāo)準(zhǔn)散斑圖轉(zhuǎn)為RGB格式，再通過(guò)色度空間轉(zhuǎn)換為YUV格式，最后針對(duì)YUV格式的圖像進(jìn)行自適應(yīng)去噪和增強(qiáng)。也就是說(shuō)，本實(shí)施例意在限定圖像自適應(yīng)預(yù)處理子模塊的一種具體處理過(guò)程。優(yōu)選的，在另一個(gè)實(shí)施例中所述塊匹配運(yùn)動(dòng)估計(jì)子模塊的工作過(guò)程為在輸入散斑圖中提取大小為(的圖像塊Wod^111 ;通過(guò)微處理器在標(biāo)準(zhǔn)散斑圖中，以圖像塊MkIsm所對(duì)應(yīng)位置為中心、大小
為(AfxiV)的搜索窗內(nèi)，按搜索策略和相似度測(cè)量指標(biāo)來(lái)尋找該圖像塊的最優(yōu)的匹配塊，其中，Μ、N、n、m都是整數(shù)，且M>m、N>n,從而獲得該圖像塊的位移量(Ar ,Ak )，即運(yùn)動(dòng)向量。對(duì)于該實(shí)施例，意在限定塊匹配運(yùn)動(dòng)估計(jì)子模塊的一種具體處理過(guò)程。優(yōu)選的，在另一個(gè)實(shí)施例中所述去噪濾波方法為中值濾波或均值濾波。優(yōu)選的，在另一個(gè)實(shí)施例中深度計(jì)算子模塊根據(jù)輸入散斑圖與標(biāo)準(zhǔn)散斑圖中進(jìn)行比對(duì)，求取輸入散斑圖中圖像塊的位移量，在已知圖像塊位移量、圖像傳感器焦距、圖像傳感器像素點(diǎn)點(diǎn)距參數(shù)和標(biāo)準(zhǔn)散斑圖參考距離的情況下，利用激光三角測(cè)距原理求取該圖像塊對(duì)應(yīng)的深度值，通過(guò)對(duì)輸入散斑圖所有圖像塊深度值的計(jì)算生成輸入散斑圖對(duì)應(yīng)的深度圖。對(duì)于上述實(shí)施例而言，可以根據(jù)每一圖像塊的位移量，在已知圖像傳感器焦距和傳感器像素點(diǎn)點(diǎn)距參數(shù)的情況下，利用該位移量結(jié)合激光三角測(cè)距方法求取深度的相對(duì)變化值，該相對(duì)變化值加上標(biāo)準(zhǔn)散斑圖的參考距離即可得到該圖像塊對(duì)應(yīng)的深度值，其中當(dāng)該相對(duì)變化值為正值時(shí)，該圖像塊對(duì)應(yīng)的深度值大于標(biāo)準(zhǔn)散斑圖的參考距離；當(dāng)該相對(duì)變化值為負(fù)值時(shí)，該圖像塊對(duì)應(yīng)的深度值小于標(biāo)準(zhǔn)散斑圖的參考距離；當(dāng)該相對(duì)變化值為零時(shí)，該圖像塊對(duì)應(yīng)的深度值等于標(biāo)準(zhǔn)散斑圖的參考距離。優(yōu)選的，在另一個(gè)實(shí)施例中所述深度計(jì)算子模塊利用查找表法求取輸入散斑圖中圖像塊的深度，所述查找表根據(jù)標(biāo)準(zhǔn)散斑圖不同位移量及其對(duì)應(yīng)的深度值建立。
對(duì)于該實(shí)施例而言，本實(shí)施例實(shí)現(xiàn)了查找表方式求取深度今，例如在具體實(shí)
施中，將水平位移量Ae或垂直位移量Ajr作為查找表的輸入值，得到輸出值深度，從而避免了復(fù)雜的深度計(jì)算公式，實(shí)現(xiàn)了硬件結(jié)構(gòu)的簡(jiǎn)化和硬件資源的節(jié)省。進(jìn)一步地，查找表中水平位移量A5c或垂直位移量與深度對(duì)應(yīng)關(guān)系可由以下
方法獲得水平位移量Ar或垂直位移量Af大小與深度不是線性關(guān)系，其映射關(guān)系可由多個(gè)不同標(biāo)準(zhǔn)深度距離rf的標(biāo)準(zhǔn)散斑圖，如札d2:d.3.......,經(jīng)不同標(biāo)準(zhǔn)散斑圖之間兩兩
塊匹配運(yùn)動(dòng)估計(jì)，得到不同標(biāo)準(zhǔn)散斑圖之間的位移量，如水平位移量Δχ1:2，Δ^3;Δχ2:5.......
或垂直位移量,,,,,,,，經(jīng)曲線擬合可得到水平位移量Δ ；或垂直位移量Af與物體深度距離rf的關(guān)系，依據(jù)所述曲線擬合可生成任意水平位移量Ac或任意垂直位移 量知與深度距離rf對(duì)應(yīng)的查找表，根據(jù)該查找表可獲得任意水平位移量Ar或垂直位移量細(xì)所對(duì)應(yīng)的該圖像塊的深度距離d。然后，經(jīng)對(duì)輸入散斑圖所有圖像塊進(jìn)行深度計(jì)算，再對(duì)所有圖像塊的深度值組合得到該輸入散斑圖所對(duì)應(yīng)的深度圖。深度圖用灰度圖來(lái)表示，比如灰度值越大表示越近，即
rfM值約小;灰度值越小表示越遠(yuǎn)、即值越大。也可采用相反方式用灰度圖來(lái)表示深度圖。優(yōu)選的，在另一個(gè)實(shí)施例中所述搜索策略為先按水平方向移動(dòng)塊、再在垂直方向增加行數(shù)，逐個(gè)匹配塊進(jìn)行搜索。最佳的，在另一個(gè)實(shí)施例中所述裝置還包括微處理器，所述微處理器不僅從存儲(chǔ)器中以串口或并口方式讀取標(biāo)準(zhǔn)散斑圖，而且通過(guò)內(nèi)部控制總線或IIC總線方式對(duì)圖像傳感器和上述各個(gè)子模塊進(jìn)行初始化參數(shù)賦值和控制寄存器參數(shù)配置，包括對(duì)圖像傳感器進(jìn)行輸出格式控制，對(duì)圖像自適應(yīng)預(yù)處理子模塊進(jìn)行算法性能配置、閾值設(shè)置和開(kāi)關(guān)控制，對(duì)塊匹配運(yùn)動(dòng)估計(jì)子模塊進(jìn)行圖像塊、搜索窗大小控制，對(duì)深度計(jì)算子模塊的查找表進(jìn)行動(dòng)態(tài)配置，對(duì)深度圖后處理子模塊進(jìn)行濾波方法選擇、閾值設(shè)置和開(kāi)關(guān)控制。對(duì)于上述最佳的實(shí)施例，圖I說(shuō)明了包含微處理器的圖像深度感知裝置結(jié)構(gòu)圖。以該實(shí)施例為例，現(xiàn)具體說(shuō)明如下
圖像自適應(yīng)預(yù)處理子模塊對(duì)輸入散斑圖進(jìn)行預(yù)處理，對(duì)不同特性的輸入散斑圖進(jìn)行自適應(yīng)、一致性的處理，以達(dá)到提高塊匹配運(yùn)動(dòng)估計(jì)的準(zhǔn)確性的目的，例如，當(dāng)輸入散斑圖格式為Bayer格式時(shí)，處理流程見(jiàn)圖2。圖像自適應(yīng)預(yù)處理子模塊先將Bayer格式轉(zhuǎn)換為RGB格式的圖像，再通過(guò)色度空間轉(zhuǎn)換(RGB到Y(jié)UV)轉(zhuǎn)為YUV格式的圖像，再針對(duì)YUV圖像進(jìn)行自適應(yīng)去噪和增強(qiáng)。自適應(yīng)去噪方法包括窗口濾波、高斯濾波等，但不限于這些傳統(tǒng)的圖像去噪方法，目的是提高圖像性噪比。圖像增強(qiáng)方法包括直方圖增強(qiáng)、灰度線性增強(qiáng)、二值化處理等，但不限于這些傳統(tǒng)的圖像增強(qiáng)方法，目的是使輸入散斑圖特征更顯著。最后輸出預(yù)處理后的輸入散斑圖序列。其中，微處理器通過(guò)內(nèi)部控制總線或IIC總線方式對(duì)圖像自適應(yīng)預(yù)處理子模塊、塊匹配運(yùn)動(dòng)估計(jì)子模塊、深度計(jì)算子模塊、深度圖后處理子模塊進(jìn)行寄存器參數(shù)控制，并從存儲(chǔ)器(Flash、EEPROM等其它介質(zhì)存儲(chǔ)器)以串口或并口方式輸入固定儲(chǔ)存在該介質(zhì)上的標(biāo)準(zhǔn)散斑圖，該散斑圖已經(jīng)過(guò)上述的圖像自適應(yīng)預(yù)處理，作為基準(zhǔn)散斑圖固定存在該介質(zhì)中。假設(shè)微處理器通過(guò)內(nèi)部控制器從存儲(chǔ)器讀入標(biāo)準(zhǔn)散斑圖的部分?jǐn)?shù)據(jù)到內(nèi)部數(shù)據(jù)總線，那么，從前文說(shuō)明容易理解，其所讀入的標(biāo)準(zhǔn)散斑圖數(shù)據(jù)內(nèi)容跟輸入散斑圖的當(dāng)前匹配塊位置及設(shè)定的搜索窗大小密切相關(guān)。對(duì)于所述塊匹配運(yùn)動(dòng)估計(jì)子模塊，用于求取輸入散斑圖的運(yùn)動(dòng)向量，見(jiàn)圖3。如前所述，搜索窗內(nèi)匹配塊的搜索策略可以是先按水平方向移動(dòng)塊、再在垂直方向增加行數(shù)，逐個(gè)匹配塊進(jìn)行搜索，其匹配插值精度可達(dá)到子像素級(jí)。特別的，該塊匹配運(yùn)動(dòng)估計(jì)方法不同于傳統(tǒng)的塊匹配算法。在匹配過(guò)程中，傳統(tǒng)的運(yùn)動(dòng)估計(jì)匹配算法其匹配塊的步長(zhǎng)I等于匹配塊的大小，從輸入散斑圖中提取的圖像塊的步長(zhǎng)|也可小于匹配塊的大小，經(jīng)塊匹配求取的運(yùn)動(dòng)向量只代表了運(yùn)動(dòng)塊中心區(qū)域、步長(zhǎng)I范圍內(nèi)像素點(diǎn)(圖3中的陰影區(qū)域)的運(yùn)動(dòng)向量，以此方法可取得運(yùn)動(dòng)向量的準(zhǔn)確率和細(xì)小物體運(yùn)動(dòng)向量誤匹配現(xiàn)象的折衷。 由此，優(yōu)選的，在另一個(gè)實(shí)施例中從輸入散斑圖中提取的圖像塊的步長(zhǎng)小于匹配塊的大小。上述的實(shí)施例既可以作為獨(dú)立芯片使用，也可以作為嵌入式IP核在SoC芯片中應(yīng)用。本發(fā)明不僅支持不同種激光源產(chǎn)生的結(jié)構(gòu)光模式，如紅外、可見(jiàn)光、紫外線、不可見(jiàn)光等，也使用不同圖案的投射方案，如圓點(diǎn)狀、塊狀、十字狀、條紋狀等的散斑圖。因而在不脫離本發(fā)明的精神和范圍內(nèi)的修改和完善，均應(yīng)包含在上述的權(quán)利要求范圍內(nèi)。
權(quán)利要求
1.一種圖像深度感知裝置，其特征在于包括圖像自適應(yīng)預(yù)處理子模塊、塊匹配運(yùn)動(dòng)估計(jì)子模塊、深度計(jì)算子模塊以及存儲(chǔ)器；其中 將外部的圖像傳感器采集獲得的輸入散斑圖序列，以數(shù)字視頻格式輸出至所述圖像自適應(yīng)預(yù)處理子模塊； 所述圖像自適應(yīng)預(yù)處理子模塊對(duì)不同亮暗、信噪比、大小特性的輸入散斑圖序列進(jìn)行自適應(yīng)、一致性的預(yù)處理； 所述存儲(chǔ)器中固定存儲(chǔ)有深度距離信息已知的標(biāo)準(zhǔn)散斑圖，該標(biāo)準(zhǔn)散斑圖已進(jìn)行過(guò)預(yù)處理； 所述塊匹配運(yùn)動(dòng)估計(jì)子模塊將預(yù)處理后的輸入散斑圖序列中各輸入散斑圖與標(biāo)準(zhǔn)散斑圖進(jìn)行比對(duì)，求取輸入散斑圖中圖像塊的位移量； 所述深度計(jì)算子模塊根據(jù)輸入散斑圖中圖像塊的位移量來(lái)計(jì)算其深度信息，得到計(jì)算后的深度圖序列。
2.如權(quán)利要求I所述的裝置，其特征在于所述數(shù)字視頻格式為Bayer格式或ITU656/ITU601視頻格式；所述圖像深度感知模塊還包括深度圖后處理子模塊，其采用去噪濾波的方法來(lái)減少噪聲的存在，輸出高分辨率深度圖序列。
3.如權(quán)利要求I所述的裝置，其特征在于所述圖像自適應(yīng)預(yù)處理子模塊的預(yù)處理過(guò)程為先將輸入散斑圖序列和標(biāo)準(zhǔn)散斑圖轉(zhuǎn)為RGB格式，再通過(guò)色度空間轉(zhuǎn)換為YUV格式，最后針對(duì)YUV格式的圖像進(jìn)行自適應(yīng)去噪和增強(qiáng)。
4.如權(quán)利要求I所述的裝置，其中所述塊匹配運(yùn)動(dòng)估計(jì)子模塊的工作過(guò)程為在輸入散斑圖中提取大小為(《bxh)的圖像塊;通過(guò)微處理器在標(biāo)準(zhǔn)散斑圖中，以圖像塊所對(duì)應(yīng)位置為中心、大小為(Afxif)的搜索窗《aarcfc—Afacfcjftds 內(nèi)，按搜索策略和相似度測(cè)量指標(biāo)來(lái)尋找該圖像塊的最優(yōu)的匹配塊，其中，M、N、n、m都是整數(shù)，且M>m、N>n，從而獲得該圖像塊的位移量(At, % )，即運(yùn)動(dòng)向量。
5.如權(quán)利要求2所述的裝置，其特征在于所述去噪濾波方法為中值濾波或均值濾波。
6.如權(quán)利要求4所述的裝置，其特征在于深度計(jì)算子模塊根據(jù)輸入散斑圖與標(biāo)準(zhǔn)散斑圖中進(jìn)行比對(duì)，求取輸入散斑圖中圖像塊的位移量，在已知圖像塊位移量、圖像傳感器焦距、圖像傳感器像素點(diǎn)點(diǎn)距參數(shù)和標(biāo)準(zhǔn)散斑圖參考距離的情況下，利用激光三角測(cè)距原理求取該圖像塊對(duì)應(yīng)的深度值，通過(guò)對(duì)輸入散斑圖所有圖像塊深度值的計(jì)算生成輸入散斑圖對(duì)應(yīng)的深度圖。
7.如權(quán)利要求4所述的裝置，其特征在于所述深度計(jì)算子模塊利用查找表法求取輸入散斑圖中圖像塊的深度，所述查找表根據(jù)標(biāo)準(zhǔn)散斑圖不同位移量及其對(duì)應(yīng)的深度值建立。
8.如權(quán)利要求4所述的裝置，其中所述搜索策略為先按水平方向移動(dòng)塊、再在垂直方向增加行數(shù)，逐個(gè)匹配塊進(jìn)行搜索。
9.如權(quán)利要求7所述的裝置，其特征在于所述裝置還包括微處理器，所述微處理器不僅從存儲(chǔ)器中以串口或并口方式讀取標(biāo)準(zhǔn)散斑圖，而且通過(guò)內(nèi)部控制總線或IIC總線方式對(duì)圖像傳感器，和上述各個(gè)子模塊進(jìn)行初始化參數(shù)賦值和控制寄存器參數(shù)配置，包括對(duì)圖像傳感器進(jìn)行輸出格式控制，對(duì)圖像自適應(yīng)預(yù)處理子模塊進(jìn)行算法性能配置、閾值設(shè)置和開(kāi)關(guān)控制，對(duì)塊匹配運(yùn)動(dòng)估計(jì)子模塊進(jìn)行圖像塊、搜索窗大小控制，對(duì)深度計(jì)算子模塊的查找表進(jìn)行動(dòng)態(tài)配置，對(duì)深度圖后處理子模塊進(jìn)行濾波方法選擇、閾值設(shè)置和開(kāi)關(guān)控制。
10.如權(quán)利要求8所述的裝置，其特征在于從輸入散斑圖中提取的圖像塊的步長(zhǎng)小于匹配塊的大小。
全文摘要
本發(fā)明針對(duì)基于結(jié)構(gòu)光的主動(dòng)視覺(jué)模式，實(shí)現(xiàn)了一種高精度圖像深度感知裝置(芯片或IP核)的硬件結(jié)構(gòu)，具有結(jié)構(gòu)簡(jiǎn)單、硬件開(kāi)銷(xiāo)小、可實(shí)時(shí)生成高分辨率的深度圖序列的優(yōu)點(diǎn)，同時(shí)該模塊即可作為獨(dú)立芯片，也可作為嵌入式IP核應(yīng)用。該模塊主要原理輸入散斑圖序列(從外部圖像傳感器采集得到，深度信息未知)與標(biāo)準(zhǔn)散斑圖(深度距離信息已知，作為基準(zhǔn))進(jìn)行比較，通過(guò)圖像塊的模式匹配(相似度計(jì)算)獲得輸入散斑圖的運(yùn)動(dòng)矢量信息，再通過(guò)深度計(jì)算獲得深度圖，最后經(jīng)過(guò)深度圖的后處理輸出最終的高分辨率深度圖序列。
文檔編號(hào)G06T7/00GK102970548SQ20121049022
公開(kāi)日2013年3月13日 申請(qǐng)日期2012年11月27日 優(yōu)先權(quán)日2012年11月27日
發(fā)明者葛晨陽(yáng), 葛瑞龍, 王大倫, 李偉, 姚慧敏, 王峰, 朱鳴 申請(qǐng)人:西安交通大學(xué)