一種基于全向結(jié)構(gòu)光的大視場深度測量系統(tǒng)及方法
【專利摘要】一種基于全向結(jié)構(gòu)光的大視場深度測量系統(tǒng)及方法，該系統(tǒng)包括攝像機(jī)、雙曲面反射鏡、至少4個(gè)投影儀、三軸移動平臺和計(jì)算機(jī)；投影儀和攝像機(jī)均固定放置在三軸移動平臺上，且投影儀圍繞攝像機(jī)均勻分布布置；三軸移動平臺可以沿x、y、z三個(gè)軸進(jìn)行移動；投影儀投射的編碼結(jié)構(gòu)光照射在被測場景目標(biāo)物上，經(jīng)過雙曲面反射鏡反射后進(jìn)入攝像機(jī)成像；所成圖像由計(jì)算機(jī)進(jìn)行采集并進(jìn)行處理獲得場景深度信息；采用雙曲面鏡反射成像，擴(kuò)大了攝像機(jī)的視場范圍，與結(jié)構(gòu)光視覺測量相結(jié)合，實(shí)現(xiàn)了寬視場的視覺三維感知測量；系統(tǒng)結(jié)構(gòu)簡單，實(shí)用性強(qiáng)，攝像機(jī)與投影儀無需精確對準(zhǔn)即能完成測量任務(wù)；采用平面白板完成攝像機(jī)與投影儀標(biāo)定，操作簡單，標(biāo)定精度較高。
【專利說明】一種基于全向結(jié)構(gòu)光的大視場深度測量系統(tǒng)及方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于測量【技術(shù)領(lǐng)域】，具體涉及一種基于全向結(jié)構(gòu)光的大視場深度測量系統(tǒng) 及方法。

【背景技術(shù)】
[0002] 立體視覺是機(jī)器視覺（robotvision)領(lǐng)域的關(guān)鍵技術(shù)，即由同一場景的兩幅或多 幅觀測圖像出發(fā)獲取目標(biāo)物三維信息的一種方法。立體視覺的目的是根據(jù)所測的圖像信 息，建立被觀測景物的三維模型。心理學(xué)上的視覺感知使我們得知二維圖像本身蘊(yùn)含著豐 富的三維信息，其中最重要的就是深度信息，因此深度感知與測量是立體視覺的研究基礎(chǔ)。 它主要研究如何利用機(jī)器視覺系統(tǒng)模擬、延伸和擴(kuò)展人的視覺感知能力，使機(jī)器人能在視 覺系統(tǒng)引導(dǎo)下有效的與周圍環(huán)境產(chǎn)生作用。
[0003] 傳統(tǒng)的深度測量技術(shù)分為被動式和主動式兩種。被動式深度測量技術(shù)是指視覺系 統(tǒng)接受來自場景發(fā)射或反射的光能量，然后攝像機(jī)捕獲圖像，在這些圖像的基礎(chǔ)上恢復(fù)場 景的深度。而主動式深度測量技術(shù)有專門的光源裝置，由光源裝置向場景發(fā)射能量，然后由 攝像機(jī)捕獲圖像，根據(jù)系統(tǒng)的幾何關(guān)系恢復(fù)場景深度。
[0004] 被動式深度測量技術(shù)中具有代表性的就是雙目立體視覺技術(shù)，其基本原理就是利 用位置不同的兩臺或者一臺攝像機(jī)經(jīng)過移動或旋轉(zhuǎn)拍攝同一副場景，通過計(jì)算空間點(diǎn)在兩 幅圖像中的視差，來獲得該點(diǎn)的深度信息。雙目立體視覺技術(shù)理論基礎(chǔ)強(qiáng)，方法可靠。但是 它需要解決不同攝像機(jī)捕獲的圖像之間像素的匹配難題。
[0005] 為了解決雙目立體視覺技術(shù)對應(yīng)點(diǎn)匹配的難題，結(jié)構(gòu)光技術(shù)被提出。結(jié)構(gòu)光技術(shù) 用一個(gè)光源裝置代替雙目視覺中的一個(gè)攝像機(jī)。用光源裝置向場景中投射已知圖案，用攝 像機(jī)捕獲圖案，根據(jù)系統(tǒng)幾何關(guān)系和三角測量原理獲得待測目標(biāo)物的深度。結(jié)構(gòu)光技術(shù)是 一種主動式深度測量技術(shù)，由于此技術(shù)使用已知圖案對空間待測目標(biāo)物進(jìn)行標(biāo)記，因此很 好的解決了對應(yīng)點(diǎn)匹配的難題。同時(shí)結(jié)構(gòu)光技術(shù)還具有成像系統(tǒng)結(jié)構(gòu)緊湊，深度測量準(zhǔn)確 的優(yōu)點(diǎn)。但是當(dāng)前的結(jié)構(gòu)光技術(shù)普遍所獲視場較小，一次拍攝只能獲得空間中零散的信息， 無法對場景有一個(gè)全面的感知，限制了此技術(shù)的應(yīng)用和發(fā)展。
[0006] 投影儀為一種常見的光源裝置，由于其不是圖像捕捉裝置，其標(biāo)定的難點(diǎn)是獲取 目標(biāo)特征點(diǎn)的圖像坐標(biāo)。根據(jù)獲取坐標(biāo)的方式，投影儀標(biāo)定方法通常有三類：（1)獲得標(biāo)定 物上特征點(diǎn)的世界坐標(biāo)，運(yùn)用相位技術(shù)求出其圖像坐標(biāo)。這類方法需要多次投射正弦光柵， 并且圖像坐標(biāo)的精度依賴于絕對相位展開的精度；（2)同樣先測得標(biāo)定物上特征點(diǎn)的世界 坐標(biāo)，然后將特定的結(jié)構(gòu)光圖案投射到標(biāo)定物上，運(yùn)用交比不變性換算出投影圖案特征點(diǎn) 在圖像坐標(biāo)下的坐標(biāo)。這類方法需要分別將用于相機(jī)標(biāo)定和投影儀標(biāo)定的圖案區(qū)分開來， 還需要做直線擬合和灰度插值；（3)獲得投影圖案特征點(diǎn)的圖像坐標(biāo)，利用已標(biāo)定相機(jī)模 型的參數(shù)，反向投影求解其世界坐標(biāo)。為了達(dá)到將相機(jī)標(biāo)定和投影儀標(biāo)定的圖案區(qū)分開來 的目的，此類方法通常需要特殊設(shè)計(jì)的標(biāo)定板。


【發(fā)明內(nèi)容】
：
[0007] 針對現(xiàn)有技術(shù)中存在的不足，本發(fā)明提出一種基于全向結(jié)構(gòu)光的大視場深度測量 系統(tǒng)及方法，將全向圖和結(jié)構(gòu)光結(jié)合起來，既利用全景成像大視場特點(diǎn)，又利用主動視覺優(yōu) 勢進(jìn)行深度信息提取，在獲得大視場的同時(shí)，還可以獲得周圍場景的深度信息，進(jìn)而實(shí)現(xiàn)三 維重建。
[0008] 本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：
[0009] 1.-種基于全向結(jié)構(gòu)光的大視場深度測量系統(tǒng)，該系統(tǒng)包括全景攝像機(jī)、結(jié)構(gòu)光 投射單元、三軸移動平臺和計(jì)算機(jī)；
[0010] 所述全景攝像機(jī)包括攝像機(jī)和雙曲面反射鏡；所述雙曲面反射鏡倒立放直在攝像 機(jī)的正上方；
[0011] 所述結(jié)構(gòu)光投射單元，包括至少4個(gè)投影儀，即第一投影儀、第二投影儀、第三投 影儀和第四投影儀；
[0012] 所述結(jié)構(gòu)光投射單元和攝像機(jī)均固定放置在三軸移動平臺的臺面上，且第一投影 儀、第二投影儀、第三投影儀和第四投影儀圍繞攝像機(jī)均勻分布布置；
[0013] 所述三軸移動平臺可以沿X、y、Z三個(gè)軸進(jìn)行移動；
[0014] 所述第一投影儀、第二投影儀、第三投影儀和第四投影儀投射的編碼結(jié)構(gòu)光照射 在被測場景目標(biāo)物表面上，被結(jié)構(gòu)光照射的被測場景目標(biāo)物的光線經(jīng)過雙曲面反射鏡反射 后進(jìn)入攝像機(jī)成像；所成圖像由計(jì)算機(jī)進(jìn)行采集，并由計(jì)算機(jī)對采集圖像進(jìn)行處理獲得場 景深度信息。
[0015] 采用所述的基于全向結(jié)構(gòu)光的大視場深度測量系統(tǒng)進(jìn)行場景深度測量的方法，實(shí) 施過程分為標(biāo)定階段和測量階段，進(jìn)行一次標(biāo)定即可連續(xù)測量，包括如下步驟：
[0016]A、標(biāo)定階段：
[0017]A. 1.調(diào)整攝像機(jī)和雙曲面反射鏡的相對位置，使二者的軸心在一條直線上，并盡 量使得攝像機(jī)設(shè)置在雙曲面反射鏡的第二焦點(diǎn)位置上，使全景攝像機(jī)具有單視點(diǎn)特性；調(diào) 整攝像機(jī)鏡頭焦距，保證在雙曲面反射鏡四周的反射光路方向上距離攝像機(jī)50?400cm范 圍內(nèi)的目標(biāo)物所成圖像較為清晰；
[0018]A. 2.標(biāo)定全景攝像機(jī)的參數(shù)，具體步驟如下：
[0019]A. 2. 1:在全景攝像機(jī)的視場范圍內(nèi)，首先利用格子尺寸為30mmX30mm的7X9的 棋盤格標(biāo)定模板，拍攝一幅1024X768像素的圖像；自由移動該棋盤格標(biāo)定模板7次，每移 動一次拍攝一幅1024X768像素的圖像，最終通過全景攝像機(jī)捕捉到8幅不同位置的該標(biāo) 定模板的圖像，這8幅圖像都稱為全景攝像機(jī)的待標(biāo)定圖像；
[0020] A. 2. 2:對全景攝像機(jī)的每幅待標(biāo)定圖像進(jìn)行角點(diǎn)（棋盤格角點(diǎn)）提取；
[0021]A. 2. 3:利用步驟A. 2. 2所提取的所有角點(diǎn)的圖像坐標(biāo)來標(biāo)定全景攝像機(jī)的內(nèi)部 參數(shù)，包括全向圖中心坐標(biāo)Ud、Vc!以及仿射變換參數(shù)kpk2、k3 ;
[0022] A. 2. 4:根據(jù)步驟A. 2. 3的標(biāo)定結(jié)果，確定被測目標(biāo)物表面反射到全景攝像機(jī)的光 線方程；
[0023]A. 3:對投影儀分別進(jìn)行標(biāo)定；
[0024] 采用至少兩個(gè)深度已知的參考面對投影儀進(jìn)行標(biāo)定，進(jìn)行一次標(biāo)定即可連續(xù)測 量，具體方法如下：
[0025] 垂直于世界坐標(biāo)系的X軸，在待標(biāo)定投影儀正前方設(shè)置第一參考面或者第二參考 面，參考面的深度應(yīng)保證結(jié)構(gòu)光投射到攝像機(jī)視場范圍內(nèi)且所成圖像較為清晰；所述參考 面的深度為參考面到攝像機(jī)的距離；
[0026] 假設(shè)投影儀的投射光線為Q，被測目標(biāo)物表面目標(biāo)點(diǎn)為0,與Q對應(yīng)的全景攝像機(jī) 捕捉的被測目標(biāo)物表面目標(biāo)點(diǎn)的光線為Lx，對投影儀的標(biāo)定，就是要計(jì)算出射線Q的方程， 具體步驟如下：
[0027] 1).打開投影儀，使待標(biāo)定投影儀投射出的編碼結(jié)構(gòu)光照射到深度為屯的第一參 考面上，由全景攝像機(jī)捕捉到第一參考面的圖像；假設(shè)第一參考面上的點(diǎn)^反射到全景攝 像機(jī)的反射光線為，根據(jù)全景攝像機(jī)的標(biāo)定結(jié)果所得到的圖像坐標(biāo)得到光線L的方向 向量為（XpypZi)，又根據(jù)、經(jīng)過雙曲面反射鏡第一焦點(diǎn)即世界坐標(biāo)系的原點(diǎn)（0,0,0)，得 出的參數(shù)方程為：

【權(quán)利要求】
1. 一種基于全向結(jié)構(gòu)光的大視場深度測量系統(tǒng)，其特征在于：該系統(tǒng)包括全景攝像機(jī) (1)、結(jié)構(gòu)光投射單元、三軸移動平臺（8)和計(jì)算機(jī)； 所述全景攝像機(jī)包括攝像機(jī)（2)和雙曲面反射鏡（3);所述雙曲面反射鏡（3)倒立放 置在攝像機(jī)（2)的正上方； 所述結(jié)構(gòu)光投射單元，包括至少4個(gè)投影儀，即第一投影儀（4)、第二投影儀（5)、第三 投影儀（6)和第四投影儀（7); 所述結(jié)構(gòu)光投射單元和攝像機(jī)（2)均固定放置在三軸移動平臺（8)的臺面上，且第一 投影儀（4)、第二投影儀（5)、第三投影儀（6)和第四投影儀（7)圍繞攝像機(jī)（2)均勻分布 布置； 所述三軸移動平臺（8)可以沿x、y、z三個(gè)軸進(jìn)行移動； 所述4個(gè)投影儀投射的編碼結(jié)構(gòu)光照射在被測場景目標(biāo)物表面上，被結(jié)構(gòu)光照射的被 測場景目標(biāo)物的光線經(jīng)過雙曲面反射鏡（3)反射后進(jìn)入攝像機(jī)（2)成像；所成圖像由計(jì)算 機(jī)進(jìn)行采集，并由計(jì)算機(jī)對采集圖像進(jìn)行處理獲得場景深度信息。
2. 根據(jù)權(quán)利要求1所述的基于全向結(jié)構(gòu)光的大視場深度測量系統(tǒng)，其特征在于：雙曲 面反射鏡（3)可以把水平方向360度范圍內(nèi)目標(biāo)物的光線反射到攝像機(jī)（2)，從而使得攝像 機(jī)（2)在一次拍攝中獲得遠(yuǎn)大于普通攝像機(jī)視野范圍的圖像，即全向圖。
3. 采用權(quán)利要求1所述的基于全向結(jié)構(gòu)光的大視場深度測量系統(tǒng)進(jìn)行場景深度測量 的方法，實(shí)施過程分為標(biāo)定階段和測量階段，進(jìn)行一次標(biāo)定即可連續(xù)測量，其特征在于：包 括如下步驟： A、標(biāo)定階段： A. 1 :調(diào)整攝像機(jī)（2)和雙曲面反射鏡（3)的相對位置，使二者的軸心在一條直線上，并 盡量使得攝像機(jī)（2)設(shè)置在雙曲面反射鏡（3)的第二焦點(diǎn)位置上；調(diào)整攝像機(jī)鏡頭焦距，保 證在雙曲面反射鏡四周的反射光路方向上距離攝像機(jī)50?400cm范圍內(nèi)的目標(biāo)物所成圖 像較為清晰； A. 2 :標(biāo)定全景攝像機(jī)的參數(shù)； A. 3 :對投影儀進(jìn)行標(biāo)定； 采用至少兩個(gè)深度已知的參考面對投影儀進(jìn)行標(biāo)定，進(jìn)行一次標(biāo)定即可連續(xù)測量，具 體方法如下： 垂直于世界坐標(biāo)系的X軸，在待標(biāo)定投影儀正前方已知深度處設(shè)置第一參考面或者第 二參考面，參考面的深度應(yīng)保證結(jié)構(gòu)光投射到攝像機(jī)視場范圍內(nèi)且所成圖像較為清晰；所 述參考面的深度為參考面到攝像機(jī)的距離； 假設(shè)投影儀的投射光線為k，被測目標(biāo)物表面目標(biāo)點(diǎn)為0,與Q對應(yīng)的全景攝像機(jī)捕捉 的被測目標(biāo)物表面目標(biāo)點(diǎn)的光線為Lx，對投影儀的標(biāo)定，就是要計(jì)算出射線Q的方程，具體 步驟如下： 1).打開投影儀，使待標(biāo)定投影儀投射出的編碼結(jié)構(gòu)光照射到深度為屯的第一參考面 上，由全景攝像機(jī)捕捉到第一參考面的圖像；假設(shè)第一參考面上的點(diǎn)^反射到全景攝像機(jī) 的反射光線為，根據(jù)全景攝像機(jī)的標(biāo)定結(jié)果所得到的圖像坐標(biāo)得到光線L的方向向量 為（Xl，yi，Zl)，又根據(jù)L經(jīng)過雙曲面反射鏡第一焦點(diǎn)即世界坐標(biāo)系的原點(diǎn)（0, 0, 0)，得出L 的參數(shù)方程為：
其中t為任意非零變量； 由第一參考面的平面方程為xidi，可求出巧在世界坐標(biāo)系下的坐標(biāo)為
2) .使待標(biāo)定投影儀投射出的編碼結(jié)構(gòu)光照射到深度為d2的第二參考面上，由全景攝 像機(jī)捕捉到第二參考面的圖像，利用相應(yīng)的結(jié)構(gòu)光解碼方法，分別計(jì)算第一參考面圖像與 第二參考面圖像中各個(gè)編碼圖案的碼值，并根據(jù)單位位置上編碼圖案的唯一性原則確定^ 在第二參考面圖像上的對應(yīng)點(diǎn)r2，假設(shè)點(diǎn)r2反射到全景攝像機(jī)的反射光線為L&，根據(jù)全景 攝像機(jī)的標(biāo)定結(jié)果所得到的圖像坐標(biāo)得到與之對應(yīng)的光線L&的方向向量為（x2,y2,z2)，1。2 的參數(shù)方程為：
由第二參考面的平面方程x=d2,可求出r2在世界坐標(biāo)系下的坐標(biāo)為
3) .根據(jù)特征點(diǎn)^、特征點(diǎn)r2在世界坐標(biāo)系下的坐標(biāo)，計(jì)算得到投影儀射出的投射光線 Q的方程，完成投影儀的標(biāo)定； B.測量階段 B. 1:將權(quán)利要求1所述的基于全向結(jié)構(gòu)光的大視場深度測量系統(tǒng)放置在待測場景中， 打開4個(gè)投影儀（4)、（5)、（6)和（7)，向場景內(nèi)的被測目標(biāo)物投射編碼結(jié)構(gòu)光，全景攝像機(jī) 拍攝一幅圖像，稱為待測圖像；將結(jié)構(gòu)光編碼圖案的特征點(diǎn)所覆蓋的被測目標(biāo)物表面位置 稱為目標(biāo)點(diǎn)； B. 2:計(jì)算被測目標(biāo)物表面目標(biāo)點(diǎn)的深度。
4. 根據(jù)權(quán)利要求3所述的基于全向結(jié)構(gòu)光的大視場深度測量系統(tǒng)進(jìn)行場景深度測量 的方法，其特征在于：所述的步驟A. 2中標(biāo)定全景攝像機(jī)的參數(shù)，包括如下步驟： A. 2. 1:在全景攝像機(jī)的視場范圍內(nèi)，首先利用格子尺寸為30mmX30mm的7X9的棋盤 格標(biāo)定I旲板，拍攝一幅1024X 768像素的圖像；自由移動該棋盤格標(biāo)定|旲板7次，每移動一 次拍攝一幅1024X768像素的圖像，最終通過全景攝像機(jī)捕捉到8幅不同位置的該標(biāo)定模 板的圖像，這8幅圖像都稱為全景攝像機(jī)的待標(biāo)定圖像； A. 2. 2:對全景攝像機(jī)的每幅待標(biāo)定圖像進(jìn)行角點(diǎn)提??； A. 2. 3:利用步驟A. 2. 2所提取的所有角點(diǎn)的圖像坐標(biāo)來標(biāo)定全景攝像機(jī)的內(nèi)部參數(shù)； A. 2. 4:根據(jù)步驟A. 2. 3的標(biāo)定結(jié)果，確定被測目標(biāo)物表面反射到全景攝像機(jī)的光線方 程。
5. 根據(jù)權(quán)利要求3所述的基于全向結(jié)構(gòu)光的大視場深度測量系統(tǒng)進(jìn)行場景深度測量 的方法，其特征在于：所述步驟A. 2. 3中的全景攝像機(jī)的內(nèi)部參數(shù)，包括全向圖中心坐標(biāo) U。、V。以及仿射變換參數(shù)kpk2、k3。
6. 根據(jù)權(quán)利要求3所述的基于全向結(jié)構(gòu)光的大視場深度測量系統(tǒng)進(jìn)行場景深度測量 的方法，其特征在于：所述的步驟B. 2中計(jì)算被測目標(biāo)物表面目標(biāo)點(diǎn)的深度的方法為： B. 2. 1 :計(jì)算待測圖像與結(jié)構(gòu)光編碼圖案的對應(yīng)點(diǎn)； B. 2. 2 :根據(jù)全景攝像機(jī)標(biāo)定結(jié)果，確定被測目標(biāo)物表面目標(biāo)點(diǎn)〇反射到全景攝像機(jī)的 光線Lx方程； B. 2. 3 :根據(jù)異面直線的判定定理判斷投射到被測目標(biāo)物上的光線Q與對應(yīng)的全景攝 像機(jī)捕捉的被測目標(biāo)物表面目標(biāo)點(diǎn)〇的光線Lx是否共面，是，則計(jì)算出這兩條直線交點(diǎn)的 世界坐標(biāo)，從而得到被測目標(biāo)物表面目標(biāo)點(diǎn)的深度，否，則執(zhí)行步驟B. 2. 4 ; B. 2. 4 :平移Q使其與Lx相交于點(diǎn)Si;通過點(diǎn)Si建立Q與Lx形成的平面的垂線，該垂 線與Q交于點(diǎn)S2 ;連接Si與S2得到Q與Lx的公垂線段，計(jì)算該公垂線段的中點(diǎn)M的世界 坐標(biāo)，從而得到被測目標(biāo)物表面目標(biāo)點(diǎn)的深度； B. 2. 5 :利用ICP算法進(jìn)行深度點(diǎn)云匹配，從而獲得更大場景中被測目標(biāo)物的深度信 肩、。
7. 根據(jù)權(quán)利要求3所述的基于全向結(jié)構(gòu)光的大視場深度測量系統(tǒng)進(jìn)行場景深度測量 的方法，其特征在于：所述的步驟B. 2. 1中計(jì)算待測圖像與結(jié)構(gòu)光編碼圖案的對應(yīng)點(diǎn)的方 法為： 根據(jù)所采用結(jié)構(gòu)光的編碼圖案，利用相應(yīng)的編解碼方法，分別計(jì)算待測圖像上結(jié)構(gòu)光 編碼圖案的碼值與投射的結(jié)構(gòu)光編碼圖案的碼值，并根據(jù)單位位置上基元圖案的唯一性原 貝_定待測圖像上目標(biāo)點(diǎn)與結(jié)構(gòu)光編碼圖案上的對應(yīng)點(diǎn)。
8. 根據(jù)權(quán)利要求3所述的基于全向結(jié)構(gòu)光的大視場深度測量系統(tǒng)進(jìn)行場景深度測量 的方法，其特征在于：所述的步驟B. 2. 5中利用ICP算法進(jìn)行深度點(diǎn)云匹配的方法為：通過 控制三軸移動平臺（8)的移動方向與移動距離，預(yù)先確定出ICP算法的初始旋轉(zhuǎn)矩陣和初 始平移向量，從而得到連續(xù)拍攝兩幅圖像的初始對應(yīng)點(diǎn)集；利用ICP算法的迭代計(jì)算得到 匹配后的點(diǎn)云信息，從而獲得更大場景中被測目標(biāo)物的深度信息。
【文檔編號】G06T7/00GK104408732SQ201410753433
【公開日】2015年3月11日 申請日期:2014年12月10日 優(yōu)先權(quán)日:2014年12月10日
【發(fā)明者】賈同, 王炳楠, 高海紅, 孟海秀, 張 浩, 吳景狀 申請人:東北大學(xué)