一種基于雙目視覺系統(tǒng)的深度信息對比方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視覺測量領(lǐng)域，尤其涉及一種基于雙目視覺系統(tǒng)的深度信息對比方法，可用于產(chǎn)品外形檢驗與表面缺陷檢驗。
【背景技術(shù)】
[0002]現(xiàn)代工業(yè)智能化生產(chǎn)和檢測時，經(jīng)常需要獲取工件的三維信息，但是由于工件的復(fù)雜性或者其他因素導(dǎo)致直接進(jìn)行接觸式測量存在極大困難；因此視覺測量成為解決該問題的關(guān)鍵技術(shù)之一，其中雙目視覺技術(shù)以其簡單的構(gòu)造、低廉的成本和優(yōu)越的性能而廣泛應(yīng)用于工業(yè)生產(chǎn)和檢測中的工件外形檢驗與表面缺陷檢驗。
[0003]雙目視覺系統(tǒng)屬于仿真生物視覺系統(tǒng)，其原理是使用攝像機(jī)從不同角度對目標(biāo)物成像，獲得兩幅二維圖像，通過特征匹配獲得同一物點(diǎn)在兩個攝像機(jī)內(nèi)成像的像點(diǎn)，并計算該物點(diǎn)在兩幅圖像中像點(diǎn)的視差信息，進(jìn)而通過雙目視覺系統(tǒng)中視差與深度的反比例關(guān)系獲得物點(diǎn)的深度值，最后計算所有匹配物點(diǎn)的深度值并進(jìn)行點(diǎn)云插值完成目標(biāo)物的三維重建。傳統(tǒng)的雙目視覺技術(shù)通常包括七部分:二維圖像獲取、攝像機(jī)標(biāo)定、特征提取、立體匹配、視差信息計算、反算深度信息和三維重建；其中攝像機(jī)的標(biāo)定至關(guān)重要，其精度將直接嚴(yán)重影響后期根據(jù)視差信息反算物點(diǎn)深度值的精度，最終影響目標(biāo)物深度恢復(fù)和三維重建效果。攝像機(jī)的標(biāo)定其實就是獲得空間中某一物點(diǎn)和該點(diǎn)映射到二維平面上的像點(diǎn)的映射關(guān)系，具體為確定攝像機(jī)的主點(diǎn)坐標(biāo)、鏡頭焦距、橫向畸變函數(shù)以及徑向畸變函數(shù)等內(nèi)部參數(shù)和旋轉(zhuǎn)矩陣以及平移矩陣等外部參數(shù)。由此可見攝像機(jī)的標(biāo)定是復(fù)雜而又精細(xì)的工作，準(zhǔn)確的標(biāo)定攝像機(jī)也成為了雙目視覺技術(shù)的關(guān)鍵。
[0004]針對攝像機(jī)的精確標(biāo)定，中國專利申請?zhí)?01210324572.6的發(fā)明專利“雙目立體視覺系統(tǒng)中場景立體深度與視差的關(guān)系建立方法”中公布了一種場景立體深度與視差關(guān)系的建立方法，其通過使用激光測距儀測定深度信息來準(zhǔn)確標(biāo)定攝像機(jī)，建立場景立體深度與視差的準(zhǔn)確關(guān)系模型，從而實現(xiàn)場景立體深度的準(zhǔn)確反算和三維重建。但是，該方法仍無法擺脫復(fù)雜的攝像機(jī)標(biāo)定工作，雙目視覺系統(tǒng)的標(biāo)定仍然是阻礙其自身發(fā)展和大范圍應(yīng)用于工業(yè)生產(chǎn)與檢測的壁皇。

【發(fā)明內(nèi)容】

[0005]本發(fā)明要解決的技術(shù)問題是:在傳統(tǒng)雙目視覺系統(tǒng)中，攝像機(jī)的標(biāo)定至關(guān)重要且復(fù)雜而精細(xì)，其標(biāo)定精度將直接嚴(yán)重影響后期根據(jù)視差信息反算物點(diǎn)深度值的精度，最終影響目標(biāo)物深度恢復(fù)和三維重建效果。本發(fā)明涉及的方法在完成待測物與參考目標(biāo)物深度對比的同時，擺脫了雙目視覺系統(tǒng)攝像機(jī)的標(biāo)定過程；同時，根據(jù)深度與視差的反比例關(guān)系模型，直接通過視差來判斷待測目標(biāo)的深度信息相比參考目標(biāo)物是否發(fā)生變化，達(dá)到工件外形檢驗與表面缺陷檢驗的目的。
[0006]本發(fā)明要解決其技術(shù)問題所采用的技術(shù)方案是:
[0007]1.一種基于雙目視覺系統(tǒng)的深度信息對比方法，利用雙目視覺系統(tǒng)在省去攝像機(jī)標(biāo)定和三維重建工作的前提下，實現(xiàn)了待測目標(biāo)物與參考目標(biāo)物深度信息的有效對比，包括以下步驟:
[0008](I)使用雙目系統(tǒng)對參考目標(biāo)物成像，得到雙目圖像ApBp
[0009](2)對圖像Ap B1進(jìn)行預(yù)處理，包括去噪、平滑和銳化等，以便特征元提取。
[0010](3)對預(yù)處理后的圖像分別進(jìn)行特征元提取，并根據(jù)約束準(zhǔn)則進(jìn)行特征元配準(zhǔn)，獲取參考目標(biāo)物上物點(diǎn)在圖像Ap B1中的視差信息。
[0011](4)使用雙目系統(tǒng)對待測目標(biāo)物成像，得到雙目圖像A2、B2。
[0012](5)對圖像A2、B2進(jìn)行預(yù)處理，包括去噪、平滑和銳化等，以便特征元提取。
[0013](6)對預(yù)處理后的圖像分別進(jìn)行特征元提取，并根據(jù)匹配準(zhǔn)則進(jìn)行特征元配準(zhǔn)，獲取待測目標(biāo)物上物點(diǎn)在圖像A2、B2中的視差信息。
[0014](7)對比步驟(3)和步驟(6)中獲得的在圖像AjP A 2或者圖像B B 2中所有位置相同的特征元的視差信息是否相同，如果相同則說明待測目標(biāo)物和參考目標(biāo)物的深度一致，如果不相同則說明待測目標(biāo)物和參考目標(biāo)物的深度不一致。
[0015]所述步驟(I)和步驟(4)中所使用雙目視覺系統(tǒng)可以是平行配置雙目視覺系統(tǒng)，即兩個攝像機(jī)的主光軸相互平行；也可以是非平行配置雙目視覺系統(tǒng)，即兩個攝像機(jī)的主光軸形成一定的夾角；也可以是主動式雙目視覺系統(tǒng)，即利用特殊光源投射到目標(biāo)物進(jìn)行圖像采集；還可以是被動式雙目視覺系統(tǒng)，即利用自然光投射目標(biāo)物進(jìn)行圖像采集；但是前后兩次采集過程必須為同一雙目視覺系統(tǒng)。
[0016]所述步驟(2)和步驟(5)中的特征元可分為特征質(zhì)點(diǎn)、特征線條以及特征區(qū)域，具體為:角點(diǎn)、高曲率點(diǎn)、直線段、邊緣、輪廓、閉合區(qū)域、特征結(jié)構(gòu)以及統(tǒng)計特征如幾何矩、重心等。
[0017]所述步驟(3)和步驟(6)中的約束準(zhǔn)則包括極線約束準(zhǔn)則、相似性約束準(zhǔn)則、視差連續(xù)性約束準(zhǔn)則、順序約束準(zhǔn)則、視差約束準(zhǔn)則、互應(yīng)性約束準(zhǔn)則等。
[0018]本發(fā)明的原理是:一種基于雙目視覺系統(tǒng)的深度信息對比方法，該方法依據(jù)深度信息與視差信息的關(guān)系模型，直接對比待測目標(biāo)物與參考目標(biāo)物中匹配物點(diǎn)的視差信息來判斷待測目標(biāo)物與參考目標(biāo)的深度是否一致，從而擺脫了雙目視覺技術(shù)的攝像機(jī)標(biāo)定和三維重建工作。
[0019]本發(fā)明有如下優(yōu)點(diǎn):本發(fā)明涉及的方法在完成待測物與參考目標(biāo)物深度對比的同時，擺脫了雙目視覺系統(tǒng)攝像機(jī)的標(biāo)定過程；同時，根據(jù)深度與視差的反比例關(guān)系模型，直接通過視差來判斷待測目標(biāo)的深度信息相比參考目標(biāo)物是否發(fā)生變化，達(dá)到工件外形檢驗與表面缺陷檢驗的目的。
【附圖說明】
[0020]圖1為本發(fā)明的基本流程圖；
[0021]圖2為本發(fā)明涉及的一種典型的雙目視覺系統(tǒng)工作原理示意圖。
【具體實施方式】
[0022]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，結(jié)合本發(fā)明中涉及的一種典型的雙目視覺系統(tǒng)，對本發(fā)明進(jìn)一步詳細(xì)說明。
[0023]附圖2所示為平行配置雙目視覺系統(tǒng)工作原理示意圖，平行配置雙目視覺系統(tǒng)中兩個攝像機(jī)的主光軸相互平行，是最簡單最典型的一種雙目視覺系統(tǒng)。兩攝像機(jī)光心CjP(:2的連線為基線距b，ojp\分別為左右兩幅圖像的中心位置，在同一時刻空間中某一物點(diǎn)P (Xe, y。，Zc)在左右兩攝像機(jī)圖像平面中所成的投影分別為P1 (X。，yc)和Pi (x。，y。)。基于平行配置雙目視覺系統(tǒng)的深度信息對比方法的具體實施方法如下:
[0024](I)使用雙目系統(tǒng)對參考目標(biāo)物成像，得到雙目圖像ApBp
[0025](2)對圖像A1J1進(jìn)行預(yù)處理，包括去噪、平滑和銳化等，以便特征元提取。
[0026](3)對預(yù)處理后的圖像分別進(jìn)行特征元提取，并根據(jù)約束準(zhǔn)則進(jìn)行特征元配準(zhǔn)，獲取參考目標(biāo)物上物點(diǎn)在圖像Ap B1中的投影；假設(shè)P ^為其中一個配準(zhǔn)的物點(diǎn)，其在圖像Ap
的投影分別為PjPPte的位置坐標(biāo)則記錄著Ptl在兩幅圖像中投影的視差信息。
[0027](4)使用雙目系統(tǒng)對待測目標(biāo)物成像，得到雙目圖像A2、B2。
[0028](5)對圖像A2、B2進(jìn)行預(yù)處理，包括去噪、平滑和銳化等，以便特征元提取。
[0029](6)對預(yù)處理后的圖像分別進(jìn)行特征元提取，并根據(jù)約束準(zhǔn)則進(jìn)行特征元配準(zhǔn)，獲取待測目標(biāo)物上物點(diǎn)在圖像A2、B2中的投影；假設(shè)P為其中一個配準(zhǔn)的物點(diǎn)，其在圖像A 2、B2*的投影分別為P P Pr, PjP P J勺位置坐標(biāo)則記錄著P在兩幅圖像中投影的視差信息。
[0030](7)對比步驟(3)和步驟(6)中獲得的在圖像AjP A 2或者圖像B B 2中位置相同的特征元的視差信息是否相同，如果相同則說明待測目標(biāo)物和參考目標(biāo)物的深度一致，如果不相同則說明待測目標(biāo)物和參考目標(biāo)物的深度不一致；同樣假設(shè)Ptl與P分別在A
A2的位置坐標(biāo)相同即P 01= P P則判斷在圖像BjP B 2中P #與P ^是否相等，如果相等則證明物點(diǎn)Ptl與P視差相等，兩點(diǎn)具有相同的深度值，如果不相等則證明物點(diǎn)P 0與P視差不相等，兩點(diǎn)的深度值不相同；依次判斷所有物點(diǎn)是否具有相同的深度值，達(dá)到檢測待測目標(biāo)物與參考目標(biāo)物深度是否一致的目的。
[0031 ] 以上所述，僅為本發(fā)明中的【具體實施方式】，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)，可理解想到的變換或替換，都應(yīng)涵蓋在本發(fā)明的權(quán)利要求書的保護(hù)范圍之內(nèi)。
【主權(quán)項】
1.一種基于雙目視覺系統(tǒng)的深度信息對比方法，利用雙目視覺系統(tǒng)，在省去攝像機(jī)標(biāo)定和三維重建工作的前提下，實現(xiàn)了待測目標(biāo)物與參考目標(biāo)物深度信息的有效對比，其特征在于，包括以下步驟: (1)使用雙目系統(tǒng)對參考目標(biāo)物成像，得到雙目圖像ApB1; (2)對圖像ApB1進(jìn)行預(yù)處理，包括去噪、平滑和銳化，以便特征元提??； (3)對預(yù)處理后的圖像分別進(jìn)行特征元提取，并根據(jù)約束準(zhǔn)則進(jìn)行特征元配準(zhǔn)，獲取參考目標(biāo)物上物點(diǎn)在圖像A1'B1中的視差彳目息； (4)使用雙目系統(tǒng)對待測目標(biāo)物成像，得到雙目圖像A2、B2; (5)對圖像A2、B2進(jìn)行預(yù)處理，包括去噪、平滑和銳化，以便特征元提取； (6)對預(yù)處理后的圖像分別進(jìn)行特征元提取，并根據(jù)匹配準(zhǔn)則進(jìn)行特征元配準(zhǔn)，獲取待測目標(biāo)物上物點(diǎn)在圖像A2、B2中的視差信息； (7)對比步驟⑶和步驟(6)中獲得的在圖像AJPA2或者圖像BJPB2中所有位置相同的特征元的視差信息是否相同，如果相同則說明待測目標(biāo)物和參考目標(biāo)物的深度一致，如果不相同則說明待測目標(biāo)物和參考目標(biāo)物的深度不一致。
2.根據(jù)權(quán)利要求1所述一種基于雙目視覺系統(tǒng)的深度信息對比方法，其特征在于:步驟(I)和步驟(4)中所使用雙目視覺系統(tǒng)是平行配置雙目視覺系統(tǒng)，即兩個攝像機(jī)的主光軸相互平行；或是非平行配置雙目視覺系統(tǒng)，即兩個攝像機(jī)的主光軸形成一定的夾角；或是主動式雙目視覺系統(tǒng)，即利用特殊光源投射到目標(biāo)物進(jìn)行圖像采集；或是被動式雙目視覺系統(tǒng)，即利用自然光投射目標(biāo)物進(jìn)行圖像采集；但是前后兩次采集過程必須為同一雙目視覺系統(tǒng)。
3.根據(jù)權(quán)利要求1所述一種基于雙目視覺系統(tǒng)的深度信息對比方法，其特征在于:步驟(2)和步驟(5)中的特征元可分為特征質(zhì)點(diǎn)、特征線條以及特征區(qū)域，具體為:角點(diǎn)、高曲率點(diǎn)、直線段、邊緣、輪廓、閉合區(qū)域、特征結(jié)構(gòu)以及統(tǒng)計特征，所述統(tǒng)計特征包括幾何矩或重心。
4.根據(jù)權(quán)利要求1所述一種基于雙目視覺系統(tǒng)的深度信息對比方法，其特征在于:步驟(3)和步驟(6)中的約束準(zhǔn)則包括極線約束準(zhǔn)則、相似性約束準(zhǔn)則、視差連續(xù)性約束準(zhǔn)則、順序約束準(zhǔn)則、視差約束準(zhǔn)則、互應(yīng)性約束準(zhǔn)則。
【專利摘要】本發(fā)明公開了一種基于雙目視覺系統(tǒng)的深度信息對比方法，首先使用雙目視覺系統(tǒng)對參考目標(biāo)物成像，然后在雙目圖像上分別提取并匹配特征元，以此獲取視差信息；再使用雙目系統(tǒng)對待測目標(biāo)物成像，提取并匹配特征元獲取視差信息；最后直接對比前后兩次獲得的相同位置的特征元的視差信息來判斷參考目標(biāo)物和待測目標(biāo)物的深度信息是否一致。本發(fā)明利用雙目視覺系統(tǒng)，在省去攝像機(jī)標(biāo)定和三維重建工作的前提下，實現(xiàn)了待測目標(biāo)物與參考目標(biāo)物深度信息的有效對比，可用于產(chǎn)品外形檢驗與表面缺陷檢驗。
【IPC分類】G06T7-00
【公開號】CN104794717
【申請?zhí)枴緾N201510203161
【發(fā)明人】欒銀森, 高源 , 許冰, 楊平, 何星, 王帥, 董理治
【申請人】中國科學(xué)院光電技術(shù)研究所
【公開日】2015年7月22日
【申請日】2015年4月27日