一種多攝像頭陣列的深度感知方法
【專利摘要】本發(fā)明提供了一種多攝像頭陣列的深度感知方法，采用激光散斑投射器或其它投影裝置投射出固定圖案，對空間進行結(jié)構(gòu)光編碼，再利用在同一基線上的多個攝像頭獲取所投射的圖案，通過兩種塊匹配運動估計方法計算深度，包括輸入圖像與參考圖案之間的塊匹配計算和輸入圖像兩兩之間的雙目塊匹配計算，再在多個深度圖之間根據(jù)所檢測的距離范圍、投射陰影進行深度圖融合，消除陰影和噪聲的干擾，生成高分辨率、高精度的圖像深度信息。該方法易于采用硬件實現(xiàn)，可提升深度測量的精度、拓展深度測量的范圍。
【專利說明】一種多攝像頭陣列的深度感知方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理、人機交互和機器視覺【技術(shù)領(lǐng)域】，具體涉及一種多攝像頭陣列的深度感知方法。
【背景技術(shù)】
[0002]視覺是人類觀察與認知世界最直接、最主要的途徑。我們生活在一個三維世界中，人類視覺不僅能感知物體表面的亮度、顏色、紋理信息，運動情況，而且能判斷其形狀、空間及空間位置(深度、距離)。如何讓機器視覺能實時獲得高精度的三維深度信息、提高機器的智能水平是當前機器視覺系統(tǒng)研究的難點。
[0003]在工業(yè)領(lǐng)域，高分辨率、高精度的三維深度信息在汽車輔助安全駕駛、高速機床加工、工業(yè)建模、3D打印、醫(yī)療成像、物聯(lián)網(wǎng)3D視覺感知等領(lǐng)域有著廣泛的應(yīng)用需求。在消費電子領(lǐng)域，深度感知技術(shù)和裝置有助于提高電子產(chǎn)品的智能水平和交互能力，可為用戶帶來“科幻”般的操控方式和全新的人機交互體驗，在智能電視、智能手機、家電、平板PC等領(lǐng)域?qū)崿F(xiàn)創(chuàng)新應(yīng)用。
[0004]基于結(jié)構(gòu)光編碼的主動視覺模式可以較為準確地獲取圖像的深度信息，該模式相比雙目立體攝像頭，具有獲取的深度圖信息更穩(wěn)定可靠、不受環(huán)境光影響、立體匹配過程簡單、算法計算量小等優(yōu)勢。如微軟的體感交互設(shè)備Kinect就是采用紅外結(jié)構(gòu)光的主動視覺模式，即通過紅外激光投射固定模式的圖像到物體表面,經(jīng)物體表面的漫反射形成散斑點，由攝像頭采集獲得散斑圖像，再通過圖像深度感知裝置計算獲得物體的深度圖信息。Kinect可實時獲取深度圖(0.8?3.8米范圍，640*480，30f/s)，深度距離測量最優(yōu)處可精確到3毫米，具備3D圖像識別及動作捕捉功能，使得人能夠以手勢、體感動作與智能終端進行交互。2013年美國蘋果公司公布了一項最新申請的發(fā)明專利“Depth Perception Deviceand System，深度感知設(shè)備與系統(tǒng)”，利用激光發(fā)射圖形、攝像頭獲取散斑圖后計算出深度距離，該技術(shù)有可能作為其未來創(chuàng)新產(chǎn)品的虛擬交互和輸入設(shè)備進行應(yīng)用。
[0005]當前微軟、蘋果所開發(fā)的深度感知裝置都采用單一的攝像頭接收模式，且主要適用于消費類電子，在深度圖分辨率、精度、距離和實時性等方面難以滿足無人車輔助駕駛、高速機床加工、工業(yè)三維建模、3D打印等領(lǐng)域的應(yīng)用需求。當前大范圍、高精度的深度感知裝置已成為不同應(yīng)用領(lǐng)域研究的熱點和急需突破的關(guān)鍵設(shè)備。

【發(fā)明內(nèi)容】

[0006]鑒于此，本發(fā)明提供了一種多攝像頭陣列的深度感知方法，該方法采用激光散斑投射器或其它投影裝置投射出固定圖案，對空間進行結(jié)構(gòu)光編碼，再利用在同一基線上的多個攝像頭獲取所投射的圖案，通過各自的深度計算和深度圖融合，生成高分辨率、高精度的圖像深度信息(距離)。
[0007]根據(jù)本發(fā)明的一種多攝像頭陣列的深度感知方法，包括以下步驟:
[0008]步驟1、采用結(jié)構(gòu)光編碼的主動視覺模式，利用投射器投射固定圖案的圖像，對投射空間進行結(jié)構(gòu)光編碼，即主動進行特征標定；
[0009]步驟2、多攝像頭陣列接收一定波長范圍的投射器所投射的圖案；
[0010]步驟3、多攝像頭陣列的K個攝像頭采集輸入圖像I1, I2,…，Ik，經(jīng)各自的預(yù)處理模塊進行預(yù)處理；
[0011]步驟4、將預(yù)處理后的輸入圖像I1, I2,…，Ik送入塊匹配運動估計模塊進行匹配計算，包括各輸入圖像I1, 12，…，Ik與其對應(yīng)的參考圖案R1, R2,…，Rk之間的塊匹配計算以及各輸入圖像I1, I2,…，Ik兩兩之間的雙目塊匹配計算；
[0012]步驟5、進行深度計算:將各攝像頭的輸入圖像I1, 12，…，Ik與對應(yīng)參考圖案R1,R2,…，Rk塊匹配計算得到的X軸方向偏移量Λ X1, Λ X2,…，Λχκ，結(jié)合參考圖案的已知距離參數(shù)d、攝像頭圖像傳感器焦距fk、攝像頭到投射器的基線距離Sk和攝像頭圖像傳感器點距參數(shù)μ，計算各輸入圖像中對應(yīng)同一位置的投射圖像塊Wockmxn中心點O的深度信息dk，k= 1，2...，Κ ;將各輸入圖像11;12，…，Ik兩兩之間雙目匹配得到X軸方向偏移量Ax1,2，Ax2,3…，Λ Xih, κ，結(jié)合攝像頭圖像傳感器焦距fk、S1^k相連兩個攝像頭之間的基線距離S1^k和攝像頭圖像傳感器點距參數(shù)μ，計算得到同一位置的投射圖像塊Wockmxn中心點ο的深度Ih息 k，k = 2，3...，K ；
[0013]步驟6、進行深度融合:利用輸入圖像兩兩之間雙目匹配得到的深度信息Cl1,2，d2,3，…，cVu對輸入圖像與參考圖案匹配得到的深度信息Clpd2,…4進行修正，再根據(jù)修正后的深度信息與參考閾值的比較結(jié)果，選擇某一攝像頭對應(yīng)的深度值作為輸出。
[0014]本發(fā)明突破了當前點激光或線激光掃描儀無法獲取大范圍、長距離、高精度深度信息的局限，改善了激光三角測距方法隨著距離增加、測距精度急劇下降的缺陷。采用本發(fā)明技術(shù)方案的有益效果還將通過以下實施例的闡述而得到具體的體現(xiàn)。
【專利附圖】

【附圖說明】`
[0015]圖1是本發(fā)明實施例的多攝像頭陣列深度感知方法流程圖；
[0016]圖2是本發(fā)明實施例的多攝像頭陣列結(jié)構(gòu)示意圖；
[0017]圖3是激光三角測距方法示意圖；
[0018]圖4是本發(fā)明實施例的多攝像頭深度感知計算模塊結(jié)構(gòu)圖；
[0019]圖5是本發(fā)明實施例的輸入圖像塊在多攝像頭中成像示意圖；
[0020]圖6是本發(fā)明實施例的輸入圖像塊與最優(yōu)匹配塊之間偏移量示意圖；
[0021]圖7是本發(fā)明實施例的輸入圖像兩兩之間進行雙目塊匹配示意圖；
[0022]圖8是本發(fā)明實施例的深度融合示意圖。
【具體實施方式】
[0023]下面結(jié)合具體實施例對本發(fā)明進行進一步的詳細說明。
[0024]總體而言，本發(fā)明實施例的多攝像頭陣列深度感知方法采用激光散斑投射器或其它投影裝置投射出固定圖案，對空間進行結(jié)構(gòu)光編碼，再利用在同一基線上的多個攝像頭獲取所投射的圖案，通過各自的深度計算和深度圖融合，生成高分辨率、高精度的圖像深度信息(距離)，進行三維圖像的目標識別或動作捕捉。
[0025]圖1示意性圖示了本發(fā)明實施例的多攝像頭陣列深度感知方法的整體流程。為了清楚說明，下文中將結(jié)合圖2、圖3、圖4、圖5、圖6、圖7、圖8來描述該方法。
[0026]步驟1、采用結(jié)構(gòu)光編碼的主動視覺模式，利用投射器投射固定圖案的圖像，對投射空間進行結(jié)構(gòu)光編碼，即主動進行特征標定。
[0027]對于采用結(jié)構(gòu)光編碼的主動視覺模式，首先由投射器主動投射出固定圖案對投射空間進行編碼，即對投射空間進行特征標定。其中，投射器可以是激光散斑投射器或投影裝置，其中激光散斑投射器可以投射出的相干激光束(紅外、可見光、紫外線、不可見光)，激光束經(jīng)干涉成像和物體表面的漫反射形成由散斑點組成的散斑圖像，而投影裝置則可以投射出可控的編碼圖案。投射器所投射出的圖案一般是固定的，或采用一定的控制策略與攝像頭接收圖像的圖像傳感器進行同步后改變其投射出的圖案；同一幅圖案在水平或垂直方向的一定范圍特征不重復(fù)或隨機分布。投射器所投射的視場角FoV(包括水平、垂直視場角)一般大于接收攝像頭的視場角FoV。
[0028]步驟2、多攝像頭陣列接收一定波長范圍的投射器所投射的圖案。
[0029]其中，由多攝像頭陣列(K個)接收所投射的圖案。優(yōu)選地，各攝像頭與投射器的光軸平行，且光學(xué)中心點在同一基線上。各攝像頭可以對稱、非對稱方式置于投射器的左側(cè)、右側(cè)、上側(cè)、下側(cè)均不影響本
【發(fā)明內(nèi)容】
的實施。如圖2所示，以K = 3個接收攝像頭為例，攝像頭1、攝像頭2、攝像頭K與投射器之間的基線距離分別為S1、S2、SK，且Sk > S2 > S1 ;其焦距分別為f1;f2，fK，焦距可相等、也可互不相等，一般fK≥f2≥f:;視場角也可以互不相等；各攝像頭的功能定位有所不同，由于視場角和固定焦距測量范圍的限制，攝像頭I適用于捕獲近距離圖像，攝像頭2用于捕獲中間距離的圖像、攝像頭K用于捕獲最遠距離的圖像，由于攝像頭K的基線距離Sk大于其它兩個攝像頭，根據(jù)圖3所示的激光三角測距方法d =fS/Λ x(d為深度距離，f為焦距，S為基線距離，Λ X表示像素位移值)，攝像頭K對遠距離物體的深度測量精度要高于攝像頭2和攝像頭I。但攝像頭K取代不了其它兩個攝像頭，因其視場角和固定焦距的測量范圍所限，對近距離物體無法識別。
[0030]優(yōu)選地，各攝像頭一般通過濾光片只接收一定波長范圍的投射器發(fā)出的圖像，最大程度地消除其它光源或光線的干擾，從而可清晰穩(wěn)定地接收投射器所投射的圖案。
[0031]另外，多攝像頭陣列在投入工作前需先采集、固化各自的參考圖案。所述的參考圖案是利用投射器投射出固定圖案到與該投射器的光學(xué)中心軸(Ζ軸)垂直、且距離投射器為d的平面上(該平面可由投影布、平板等構(gòu)成，用于呈現(xiàn)清晰穩(wěn)定的圖像，該平面可稱之為參考基準平面)，由攝像頭采集得到靜態(tài)圖像，并經(jīng)圖像預(yù)處理后存儲固化在存儲器中用于匹配基準和深度感知計算的標準圖案。其中，激光散斑投射器的參考圖案是由許多散斑點組成、已知距離d的標準散斑圖。參考圖案的獲取可以通過如上方式實現(xiàn)，這些方式僅用于說明上述實施例，并非限制上述實施例，因為本領(lǐng)域技術(shù)人員也可以采用其他方式獲取參考圖案。
[0032]步驟3、多攝像頭陣列的K個攝像頭采集輸入圖像I1, I2,…，Ik，經(jīng)各自的預(yù)處理模塊進行預(yù)處理。
[0033]所述的圖像預(yù)處理是攝像頭采集后對輸入圖像進行處理的重要內(nèi)容，對不同特性的輸入圖像進行自適應(yīng)、一致性的處理，一般包括視頻格式轉(zhuǎn)換(例如Bayer、ITU601、ITU656視頻解碼或MIPI接口格式轉(zhuǎn)換)、色度空間轉(zhuǎn)換(例如RGB轉(zhuǎn)YUV)、灰度圖像自適應(yīng)去噪和增強等，其中增強方法包括直方圖增強、灰度線性增強、二值化處理等，但不限于這些傳統(tǒng)的增強方法。圖像預(yù)處理的目的是通過輸入圖像的預(yù)處理，使圖案更清晰、減少誤匹配和噪聲干擾，并有利于本
【發(fā)明內(nèi)容】
的深度感知計算。參考圖案及后續(xù)攝像頭實時采集的輸入圖像都需經(jīng)過相同的圖像預(yù)處理模塊，但各攝像頭對應(yīng)的預(yù)處理模塊可以不相同，其目的是為了適合不同距離的輸入圖像畫面處理。
[0034]步驟4、將預(yù)處理后的輸入圖像I1, I2,…，Ik送入塊匹配運動估計模塊進行匹配計算，包括各輸入圖像I1, I2,…，Ik與其對應(yīng)的參考圖案之間的塊匹配計算以及各輸入圖像IpI2,…，Ik兩兩之間的雙目塊匹配計算。如圖4所示。
[0035]優(yōu)選地，上述塊匹配運動估計過程中的兩種塊匹配計算可并行進行。
[0036]所述的輸入圖像的獲取也可以采用上述參考圖案的獲取方法，輸入圖像中含有要測量深度信息的目標物體，其深度信息未知，其背景并不限定，但目標物體須在投射器照射的有效距離范圍內(nèi)。
[0037]以圖2所示的K = 3個攝像頭進行深度感知為例，攝像頭1、攝像頭2…攝像頭K的輸入圖像分別為1、V..Ik，其對應(yīng)的參考圖案分別為如圖5所示，投射器投射出的圖像塊A(大小為mXn，其中m、η都是整數(shù)，m與η可以相等或不相等)在參考圖案中的距離為山該距離為已知距離，圖像塊A在參考圖案中的圖案固定，且在水平或垂直方向一定范圍內(nèi)該圖像塊具有相對的唯一性，即特征與其它相同大小的圖像塊特征不同，能與其它相同大小的圖像塊區(qū)分開來。圖像塊A投射到其它距離(更近或更遠)上就變成圖像塊A,，根據(jù)光線是直線傳播的特點，圖像塊A,與圖像塊A在圖形上在一定的距離范圍內(nèi)存在極高的相似性，雖然由于縮放緣故存在大小不同、由于距離不同也存在亮暗不同，甚至由于相干光干涉成像的原因其同一特征點在不同距離形狀、大小、亮暗也不相同，但這些不影響圖像塊A'與圖像塊A在一定的距離范圍內(nèi)的相似性，可以假設(shè)認為圖像塊A'與圖像塊A在一定的范圍內(nèi)圖形是相同的。本發(fā)明塊匹配運動估計模塊的重要內(nèi)容就是將投射圖像塊A'在其參考圖案中快速、準確地找到與之最為匹配(相似度最高)的圖像塊A，找到最優(yōu)匹配塊即得到兩個圖像塊之間的運動向量，可用X、Y軸方向的偏移量(Λχ，ΔΥ)表示。圖5所示，同一投射圖像塊A'與匹配圖像塊A在各攝像頭的圖像傳感器芯片中由于焦距f、基線距離S的不同所呈現(xiàn)的運動向量也不相同，以X軸方向的偏移量ΛΧ表示，攝像頭1、攝像頭2…攝像頭K的X軸偏移量分別為Ax” Axf Δχκ，其中AXk = Xk-Xk'。
[0038]所述的投射圖像塊是指塊匹配運動估計過程中、輸入圖像內(nèi)選取的、用于匹配計算的圖像塊blockmXn,大小為mXn,其中m、η都是整數(shù)，m與η可以相等或不相等。其大小的選取根據(jù)水平或垂直方向一定范圍內(nèi)該圖像塊具有相對的唯一性，即該圖像塊特征與其它相同大小的圖像塊特征不同，能與其它相同大小的圖像塊區(qū)分開來。
[0039]如圖6所示，輸入圖像Ip If Ik分別與其對應(yīng)的參考圖案札、民…Rk之間進行塊匹配運動估計的工作過程為:在輸入圖像中提取一定大小的輸入圖像塊Wockmxn，中心點為ο ;在參考圖案中提取跟輸入圖像塊中心點ο點位置對應(yīng)、一定范圍大小的匹配搜索窗MatchMXN,大小為MXN，M、N都是整數(shù)，可以相等或不相等，一般M≥N、M > m、N≥η ;然后在匹配搜索窗MatchMXN中提取所有跟輸入圖像塊一樣大小的匹配塊matchk，大小為mXn，匹配塊中心點ok，k是整數(shù)，表示匹配塊個數(shù)。接下來分別計算輸入圖像塊A' Wockmxn與k個匹配塊match,之間的相似度值matchjalue,，該值作為圖像塊匹配的相似度測量指標。
[0040]優(yōu)選地 ，本發(fā)明的相似度值計算方法采用輸入圖像塊與匹配塊對應(yīng)像素之間求差絕對之和(SAD)的方法，但不限于這種方法。
[0041]接下來在所有相似度值match_valuek中求最小值，該值對應(yīng)的匹配塊match,即為圖像塊A' blockmXn擬搜尋的最優(yōu)匹配塊A,該最小值對應(yīng)的位置信息即為圖像塊blockmXn中心點ο的偏移量(Δχ, Δ y),即該輸入圖像塊A'的運動向量。如圖6所不輸入圖像塊為輸入散斑圖灰色表示區(qū)域，最優(yōu)匹配塊為參考散斑圖的匹配搜索窗中斜線表示區(qū)域，其中心點Ok與匹配搜索窗blockMXN中心點ο (該中心點ο與輸入圖像塊中心點ο位置對應(yīng))的最優(yōu)偏移量為(Δχ, Ay)，分別表不Χ、Υ軸方向位移，偏移量值為匹配搜索窗中心點ο坐標值(X，Y)分別按X、Y軸減去最優(yōu)匹配塊中心點坐標值U丨，I')計算得到，有正負，正負對應(yīng)上下、左右坐標關(guān)系，在空間上則對應(yīng)與參考圖案平面的前后關(guān)系。如最優(yōu)偏移量為負，表示比參考圖案距離更遠，圖5中Ad值為正；最優(yōu)偏移量為正，表示比參考圖案距離更近，圖5中Ad值為負；同時偏移量值越大表示該圖像塊中心點O與已知深度距離的參考圖案平面之間的垂直距離越遠，即圖5中Ad值越大，因參考圖案平面相對投射器的距離是固定的，偏移量越大該中心點ο相對圖案的距離則可能越近或越遠。
[0042]按上述塊匹配運動估計方法，K個攝像頭的輸入圖像I1, I2,…，Ik與其對應(yīng)的參考圖案RpR2,…，Rk之間通過塊匹配運動估計分別得到X軸方向的最優(yōu)偏移量Λ Xl，Δχ2,…，
Δ Xro
[0043]以圖2所示的K = 3個攝像頭為例，說明輸入圖像兩兩之間雙目塊匹配計算過程。如圖7所示，根據(jù)雙目立體視覺和激光三角測距方法，如攝像頭1、攝像頭2...攝像頭K的焦距f相等，攝像頭1、攝像頭2之間計算輸入圖像塊A'的深度距離(11，2 = €51，2/八矸2((11，2為深度距離，Sli2為兩者之間的基線距離，Ax12表示輸入圖像I1中的投射圖像塊A'在輸入圖像I2中的水平位移值)。 由此可見，雙目塊匹配計算的關(guān)鍵在于攝像頭I和攝像頭2之間圖像塊A'的位移值求取。具體方法為，在攝像頭I的輸入圖像I1中提取圖像塊A'，在攝像頭2的輸入圖像I2中找到與之最為匹配(即相似度最高)的圖像塊，而搜索最優(yōu)塊匹配的方法同上述的輸入圖像與參考圖案的塊匹配運動估計方法。
[0044]按上述輸入圖像兩兩之間雙目塊匹配計算方法，K個攝像頭的輸入圖像I1,12，…，Ik之間通過雙目塊匹配運動估計分別得到X軸方向的最優(yōu)偏移量Δχ12，Λ χ2 3，…，Δχκ_1；κ,其中ΛΧκ_1κ= Ixk-XihU其中，一般在相連的兩個攝像頭獲取的輸入圖像之間進行雙目塊匹配計算。
[0045]步驟5、進行深度計算:將各攝像頭的輸入圖像I1, I2,…，Ik與對應(yīng)參考圖案塊匹配計算得到的X軸方向偏移量ΛΧι，Δχ2,…，Λ Xk結(jié)合參考圖案的已知距離參數(shù)d、攝像頭圖像傳感器焦距fk、攝像頭到投射器的基線距離Sk和攝像頭圖像傳感器點距參數(shù)μ，計算各輸入圖像中對應(yīng)同一位置的投射圖像塊Wocknixn中心點ο的深度信息dk，k = 1,2-,K0
[0046]在本實施例中，按以下深度計算公式計算dk:
[0047]
dk=d——竺一~ = ~~ , k = \,2...,K(I) /A + μ? fk Sk + Α-Χ,μ?
[0048]式中，Axk = Xk-Xk,，Xk為第k個攝像頭的輸入圖像中投射圖像塊中心點O的X軸坐標，xk,為第k個攝像頭的參考圖案中對應(yīng)所述投射圖像塊的最優(yōu)匹配塊中心點的X軸坐標。
[0049]再將各輸入圖像I1, 12，…，1￡兩兩之間雙目匹配得到X軸方向偏移量Ax1,2，Ax2 3…，Λχκ_1κ結(jié)合攝像頭圖像傳感器焦距fpSk+k相連兩個攝像頭之間的基線距離S1^k和攝像頭圖像傳感器點距參數(shù)μ，計算得到同一位置的投射圖像塊Wockmxn中心點O的深度息 dk—l k，k = 2，3...，K0
[0050]在本實施例中，按以下深度計算公式計算dk—u:
【權(quán)利要求】
1.一種多攝像頭陣列的深度感知方法，包括以下步驟: 步驟1、采用結(jié)構(gòu)光編碼的主動視覺模式，利用投射器投射固定圖案的圖像，對投射空間進行結(jié)構(gòu)光編碼，即主動進行特征標定； 步驟2、多攝像頭陣列接收一定波長范圍的投射器所投射的圖案； 步驟3、多攝像頭陣列的K個攝像頭采集輸入圖像I1, I2,…，Ik，經(jīng)各自的預(yù)處理模塊進行預(yù)處理； 步驟4、將預(yù)處理后的輸入圖像I1, I2,…，Ik送入塊匹配運動估計模塊進行匹配計算，包括各輸入圖像I1J2,…，Ik與其對應(yīng)的參考圖案R1, R2,…，Rk之間的塊匹配計算以及各輸入圖像I1, I2,…，Ik兩兩之間的雙目塊匹配計算； 步驟5、進行深度計算:將各攝像頭的輸入圖像11;12，…，Ik與對應(yīng)參考圖案RpR2,…，Rk塊匹配計算得到的X軸方向偏移量Λ Xl，Δχ2,…，Λ χκ，結(jié)合參考圖案的已知距離參數(shù)d、攝像頭圖像傳感器焦距fk、攝像頭到投射器的基線距離Sk和攝像頭圖像傳感器點距參數(shù)μ，計算各輸入圖像中對應(yīng)同一位置的投射圖像塊Wocknixn中心點O的深度信息dk，k = 1，
2...，Κ;將各輸入圖像I1,12，…，Ik兩兩之間雙目匹配得到X軸方向偏移量Λ χ12，Δ X23...,Δ XlH，，κ結(jié)合攝像頭圖像傳感器焦距fpSk+k相連兩個攝像頭之間的基線距離S1^k和攝像頭圖像傳感器點距參數(shù)μ，計算得到同一位置的投射圖像塊Wockmxn中心點ο的深度信息dk-1,k，k = 2, 3..., K ； 步驟6、進行深度融合:利用輸入圖像兩兩之間雙目匹配得到的深度信息Cl1,2，d2,3…，cVu對輸入圖像與參考圖案匹配得到的深度信息屯，4，…4進行修正，再根據(jù)修正后的深度信息與參考閾值的比較結(jié)果，選擇某一攝像頭對應(yīng)的深度值作為輸出。 2.根據(jù)權(quán)利要求1所述的方法，步驟I中，所述投射器為激光散斑投射器或投影裝置，其中激光散斑投射器投射出相干激光束，激光束經(jīng)干涉成像和物體表面的漫反射形成由散斑點組成的散斑圖像，而投影裝置投射出可控的編碼圖案。
3.根據(jù)權(quán)利要求1所述的方法，步驟2中，各攝像頭通過濾光片接收投射器所投射的圖案。
4.根據(jù)權(quán)利要求1所述的方法，步驟2中，各攝像頭與投射器的光軸平行，且光學(xué)中心點在同一基線上。
5.根據(jù)權(quán)利要求1所述的方法，步驟3中，所述預(yù)處理包括視頻格式轉(zhuǎn)換(Bayer、ITU601、ITU656視頻解碼或MIPI接口格式轉(zhuǎn)換)、色度空間轉(zhuǎn)換(RGB轉(zhuǎn)YUV)、灰度圖像自適應(yīng)去噪和增強。
6.根據(jù)權(quán)利要求1所述的方法，步驟4中，兩種塊匹配計算并行進行。
7.根據(jù)權(quán)利要求1所述的方法，步驟4中，在相連的兩個攝像頭獲取的輸入圖像之間進行雙目塊匹配計算。
8.根據(jù)權(quán)利要求1所述的方法，步驟5中，按以下深度計算公式計算dk:
9.根據(jù)權(quán)利要求1所述的方法，步驟6具體為: (1)對于當前深度值dk，k= 2，3，....K，采用模板算子檢測dk是否屬于噪聲點或陰影區(qū)域，如屬于噪聲點或陰影區(qū)域，則用Cl1^k取代dk ;另外，對于Cl1，利用屯，2進行修正； (2)取深度值d = micHcU dk, dk+1}, k = 2,3....Κ-l，也即取修正后 d^、dk、dk+1 的中值，若深度值d ( Thk,則選擇dH輸出；若Thk+1≤d > Thk,則選擇dk輸出；若d > Thk+1, 選擇dk+1輸出； (3)得到最終優(yōu)化后的深度值，該值代表當前投射圖像塊中心點的深度距離。
10.根據(jù)權(quán)利要求1所述的方法，還包括:步驟7、將投射圖像塊的中心點移到同一行的下一個像素點，重復(fù)步驟4-6，計算得到下一個像素點對應(yīng)的深度值，如此按逐行從左向右、從上往下的順序，逐點計算得到整幅圖像深度信息。
【文檔編號】G06T15/10GK103824318SQ201410049469
【公開日】2014年5月28日 申請日期:2014年2月13日 優(yōu)先權(quán)日:2014年2月13日
【發(fā)明者】葛晨陽, 華剛, 鄭南寧, 姚慧敏, 張晨 申請人:西安交通大學(xué)