專利名稱：結(jié)構(gòu)光三維系統(tǒng)相對(duì)參數(shù)的單圖像自定標(biāo)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于三維計(jì)算機(jī)視覺的測(cè)量理論和定標(biāo)方法，尤其是一種結(jié)構(gòu)光三維系統(tǒng)相對(duì)參數(shù)的單圖像自定標(biāo)方法。
背景技術(shù)：
基于計(jì)算機(jī)視覺的三維測(cè)量技術(shù)，典型的應(yīng)用包括制造工業(yè)中的工件檢測(cè)、場(chǎng)景深度感知、物體識(shí)別以及逆向工程、人體測(cè)量、質(zhì)量控制、文物藝術(shù)品制作復(fù)原及保護(hù)等各種領(lǐng)域。
基于計(jì)算機(jī)視覺的三維測(cè)量技術(shù)，由于采用非接觸式光學(xué)掃描，除覆蓋接觸式掃描的適用范圍之外，可以用于對(duì)柔軟、易碎物體的掃描以及難于接觸或不允許接觸掃描的場(chǎng)合，因此在相關(guān)領(lǐng)域?qū)⒈粡V泛應(yīng)用。實(shí)現(xiàn)時(shí)，雙目立體視覺是一種常見的方法，它從二個(gè)或多個(gè)視點(diǎn)來得到場(chǎng)景圖像并建立點(diǎn)對(duì)點(diǎn)匹配關(guān)系從而確定三維位置參數(shù)。如果攝像機(jī)事先已被標(biāo)定，這種三角測(cè)量方法是可行的(雖然有一定的精度和可靠性限制)。然而，當(dāng)考慮極線約束問題時(shí)，這種圖像點(diǎn)之間的正確匹配實(shí)際上有很大的困難。這些問題在很大程度上限制了雙目立體視覺的實(shí)際應(yīng)用范圍。一些單目視覺的方法(如Shape-from-Shading)則精度和可靠性很差，實(shí)際工業(yè)應(yīng)用更加不現(xiàn)實(shí)。另外，一些其它的激光深度感知和三目視覺等方法也有設(shè)備昂貴、工作效率低、結(jié)構(gòu)復(fù)雜等缺點(diǎn)。
如果采用彩色結(jié)構(gòu)光三維視覺系統(tǒng)，則可以達(dá)到較高的測(cè)量速度、測(cè)量精度和較低的設(shè)備成本。其原理是把立體視覺一個(gè)攝像機(jī)用模式投射儀來代替。該投射儀發(fā)出一組可編碼的能量模板并投射到物體表面上，另一個(gè)接受器(攝像機(jī))探測(cè)到經(jīng)物體表面反射的能量后即可利用三角形原理進(jìn)行三維重構(gòu)。簡(jiǎn)單地，用一個(gè)LCD視頻投影機(jī)和一個(gè)CCD攝像機(jī)就可以組成這樣的一個(gè)系統(tǒng)。這兩個(gè)組件可以分別安置在機(jī)器人的兩個(gè)機(jī)械臂上，或者安裝在一個(gè)專用平臺(tái)上，它們的相對(duì)擺放位置可以調(diào)節(jié)以更好地感知不同位置和大小的目標(biāo)。相比雙目立體視覺，由于這個(gè)外部的投射裝置被用來主動(dòng)地發(fā)出某種能量，也就是說它們是以特定的方式來探測(cè)場(chǎng)景而不是被動(dòng)地依靠自然光能，所以其視覺過程基本上不存在匹配歧義問題，可以直接得到物體的外形信息，而且可靠性好精度比較高。
在實(shí)際使用結(jié)構(gòu)光系統(tǒng)進(jìn)行三維測(cè)量之前，系統(tǒng)必須經(jīng)過非常仔細(xì)地定標(biāo)以獲取攝像機(jī)的內(nèi)部參數(shù)(如焦距、比例因子、畸變系數(shù))和外部參數(shù)(兩個(gè)組件的位置和方向)。定標(biāo)任務(wù)以前是人工操作靜態(tài)地完成的。例如，用一個(gè)定標(biāo)物體或者設(shè)備帶有高精度的定標(biāo)固定裝置，這個(gè)裝置可以提供一系列已知的準(zhǔn)確的世界坐標(biāo)點(diǎn)。使用平面定標(biāo)模板時(shí)，需要把目標(biāo)放在視覺傳感器前面幾個(gè)精確已知的不同位置。在用這種傳統(tǒng)方式時(shí)，如果視覺傳感器移動(dòng)了或者攝像機(jī)和投影儀的相對(duì)擺放位置改變了，整個(gè)系統(tǒng)必須重新進(jìn)行定標(biāo)。頻繁的重復(fù)定標(biāo)使這樣的系統(tǒng)使用起來非常費(fèi)力和麻煩。在一些未知環(huán)境中工作時(shí)，比如水下作業(yè)的探測(cè)機(jī)器人，視覺系統(tǒng)位置和配置的變動(dòng)是必需的。
因此，我們希望視覺系統(tǒng)具有自動(dòng)重定標(biāo)的功能，不再需要使用標(biāo)準(zhǔn)定標(biāo)設(shè)備獲取外部的三維數(shù)據(jù)。有了這樣的能力，無論視覺傳感器怎樣移動(dòng)，攝像機(jī)和投影儀的相對(duì)擺放位置怎樣改變，視覺系統(tǒng)都能夠自動(dòng)地進(jìn)行重定標(biāo)，使三維測(cè)量可以不中斷地進(jìn)行下去。
在過去十年里，對(duì)視覺傳感器的自定標(biāo)技術(shù)的研究一直非常積極，但這些可行方法中的多數(shù)是對(duì)被動(dòng)視覺系統(tǒng)定標(biāo)方法如立體視覺和基于運(yùn)動(dòng)的深度感知的發(fā)展。而對(duì)基于結(jié)構(gòu)光的主動(dòng)視覺系統(tǒng)，定標(biāo)方法大多仍然是基于靜態(tài)的人工操作。由于視覺傳感器在定標(biāo)過程中不能通過移動(dòng)捕獲兩個(gè)以上的視圖，現(xiàn)有的攝像機(jī)自定標(biāo)方法不能直接應(yīng)用在結(jié)構(gòu)光系統(tǒng)。
因此，由于種種原因，現(xiàn)有結(jié)構(gòu)光定標(biāo)方法存在技術(shù)偏見大多只能用于靜態(tài)物體的三維重建；且它們不能達(dá)到快速三維重構(gòu)的要求單幅圖像時(shí)間內(nèi)完成光投射、圖像獲取、系統(tǒng)定標(biāo)和三維測(cè)量。

發(fā)明內(nèi)容為了克服已有的結(jié)構(gòu)光三維系統(tǒng)參數(shù)的定標(biāo)方法數(shù)據(jù)獲取速度慢、不能實(shí)現(xiàn)自動(dòng)重定標(biāo)、效率低的不足，本發(fā)明提供一種采用非接觸式光學(xué)掃描，數(shù)據(jù)獲取速度快、能實(shí)現(xiàn)自動(dòng)重定標(biāo)、實(shí)現(xiàn)效率高的結(jié)構(gòu)光三維系統(tǒng)相對(duì)參數(shù)的單圖像自定標(biāo)方法。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是一種結(jié)構(gòu)光三維系統(tǒng)相對(duì)參數(shù)的單圖像自定標(biāo)方法，該方法包括以下步驟(1)、在彩色結(jié)構(gòu)光三維視覺系統(tǒng)中，通過攝像機(jī)獲取一幅圖像，提取定標(biāo)數(shù)據(jù)(xc，yc)和(xp，yp)，建立定標(biāo)數(shù)據(jù)矩陣A；(2)、如果計(jì)算矩陣A的秩不為6，返回到(1)，如果矩陣A的秩為6，進(jìn)入下一步；(3)、對(duì)矩陣A進(jìn)行奇異值分解，獲得其分解后左正交矩陣中與最小特征值對(duì)應(yīng)的三個(gè)向量g1，g2和g3；(4)、建立三維系統(tǒng)參數(shù)通解形式，如式(1)f＝τ1g1+τ2g2+τ3g3， (1)其中τ1，τ2和τ3是實(shí)數(shù)，gi是9維向量，[g1；g2；g3]是矩陣A的基；
(5)、建立三維系統(tǒng)參數(shù)求解方程，如式(2)、(3)令e＝[τ1τ2τ3]T，并設(shè)M＝[g1g2g3]＝[M1T，M2T，M3T]T， (2)其中M1，M2和M3是3×3矩陣，每一個(gè)表示M里的三行。則有FTF=eTMuTMueeTMuTMmeeTMuTMleeTMmTMueeTMmTMmeeTMmTMleeTMlTMueeTMlTMmeeTMlTMle=1-tx2-txty-txtz-txty1-ty2-tytz-txtz-tytz1-tz2---(3);]]>(6)、從方程(3)中，可以得到eTMuTMue+tx2=1eTMmTMme+ty2=1eTMlTMle+tz2=1]]>和eTMuTMme=-txtyeTMuTMle=-txtzeTMmTMle=-tytz---(4)]]>解上式(4)可以得到e的三個(gè)未知量，并且可以確定規(guī)范化相對(duì)平移位置[txtytz]T；(7)、用重投影的方法得到正解，并確定旋轉(zhuǎn)矩陣R和規(guī)范化相對(duì)平移位置[txtytz]T共5個(gè)獨(dú)立相對(duì)參數(shù)，從而完成結(jié)構(gòu)光三維系統(tǒng)相對(duì)參數(shù)的單圖像自定標(biāo)過程。
本發(fā)明的工作原理是結(jié)構(gòu)光視覺系統(tǒng)由一個(gè)把光圖案投射到場(chǎng)景中的投影儀和一臺(tái)檢測(cè)物體表面顏色的攝像機(jī)組成，其系統(tǒng)定標(biāo)的傳統(tǒng)方法和立體視覺里的相似，把具有已知世界坐標(biāo)的目標(biāo)放在若干個(gè)不同的位置，使我們分別定標(biāo)得到攝像機(jī)和投影儀的兩個(gè)透視轉(zhuǎn)換矩陣(PTM)，Pc和Pp。三維重建的方法也和立體視覺中的相似。
具體地，我們可以將系統(tǒng)的全部定標(biāo)過程分為兩部分。第一部分涉及到內(nèi)部參數(shù)的定標(biāo)，稱為靜態(tài)定標(biāo)。第二部分處理相對(duì)擺放位置的外部參數(shù)的定標(biāo)，稱為自動(dòng)重定標(biāo)。靜態(tài)定標(biāo)只需進(jìn)行一次。自動(dòng)定標(biāo)更為重要，也是發(fā)明的內(nèi)容。
只要攝像機(jī)和投影儀相對(duì)于世界坐標(biāo)系的透視投影矩陣從靜態(tài)定標(biāo)中計(jì)算出來，就能得到Pc和Pp。然后，用于計(jì)算物點(diǎn)三維坐標(biāo)的三角測(cè)量只要通過方程計(jì)算。因此，動(dòng)態(tài)自定標(biāo)的任務(wù)就是確定攝像機(jī)和投影儀之間的關(guān)系矩陣，包括一個(gè)旋轉(zhuǎn)矩陣R(3個(gè)未知參數(shù))、一個(gè)平移矩陣S(2個(gè)未知參數(shù))和一個(gè)比例因子s。通常情況下可以設(shè)比例因子為1.0，這樣關(guān)系矩陣中包括5個(gè)未知參數(shù)F＝sRS， (5)其中F是一個(gè)3×3是矩陣。對(duì)物體表面上的一個(gè)點(diǎn)，我們知道它在攝像機(jī)傳感器平面上的坐標(biāo)xc和投影儀源平面上的坐標(biāo)xp通過下面得方程聯(lián)系起來XpTFxc=0,---(6)]]>可以進(jìn)一步改寫為Af=1xc,1yc,1xp,1yp,1xc,1xc,1xc,1yp,1xc,1yc,1yp,11xc,2yc,2xp,2yp,2xc,2xc,2xc,2yp,2xc,2yc,2yp,2………………………1xc,nyc,nxp,nyp,nxc,nxc,nxc,nyp,nxc,nyc,nyp,nf=0,---(7)]]>式中，(xc，yc)是攝像機(jī)傳感器上的坐標(biāo)，(xp，yp)是投影儀上的坐標(biāo)，f向量是F的列排列，A為定標(biāo)數(shù)據(jù)矩陣。
顯然，重定標(biāo)任務(wù)決定于在R和t中的5個(gè)獨(dú)立參數(shù)，本發(fā)明對(duì)其求解采用如下的技術(shù)方法。
本發(fā)明用于結(jié)構(gòu)光視覺系統(tǒng)的具有五個(gè)未知參數(shù)的自定標(biāo)方法。如果攝像機(jī)和投影儀的內(nèi)部參數(shù)已知，我們把這種方法稱為重定標(biāo)，因?yàn)橹恢塾诖_定相對(duì)外部參數(shù)。不過，可以延伸到更一般的情況，只要系統(tǒng)中的未知量總數(shù)不超過五。該方法只需要獲取單幅場(chǎng)景圖像(以往的自定標(biāo)方法都需要獲取多個(gè)不同位置的圖像)，因此可以用于視覺系統(tǒng)動(dòng)態(tài)定標(biāo)或主動(dòng)視覺系統(tǒng)領(lǐng)域，其高速的掃描使得用戶在很短時(shí)間內(nèi)得到所需的三維數(shù)據(jù)。
本發(fā)明的有益效果主要表現(xiàn)在1、由于采用非接觸式光學(xué)掃描，數(shù)據(jù)獲取速度快，可以排除許多物理方面的限制，適用應(yīng)用范圍廣泛；2、只需獲取單幅圖像即可完成系統(tǒng)定標(biāo)和三維測(cè)量，實(shí)現(xiàn)效率高；3、適用于結(jié)構(gòu)光視覺系統(tǒng)具有五個(gè)未知參數(shù)的自定標(biāo)方法，允許系統(tǒng)配置在任意五個(gè)自由度范圍內(nèi)的改變，通常是攝像機(jī)和投影儀的內(nèi)部參數(shù)已知而只著眼于確定相對(duì)外部參數(shù)；4、適用于動(dòng)態(tài)視覺系統(tǒng)或者動(dòng)態(tài)環(huán)境的定標(biāo)；5、本發(fā)明所述的方法其定標(biāo)精度一般在1％以內(nèi)。


圖1是基于編碼結(jié)構(gòu)光的實(shí)現(xiàn)示意圖。
具體實(shí)施方式
下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步描述。
參照?qǐng)D1，一種結(jié)構(gòu)光三維系統(tǒng)相對(duì)參數(shù)的單圖像自定標(biāo)方法，該方法包括以下步驟(1)、在彩色結(jié)構(gòu)光三維視覺系統(tǒng)中，通過攝像機(jī)2獲取一幅圖像，提取定標(biāo)數(shù)據(jù)(xc，yc)和(xp，yp)，建立定標(biāo)數(shù)據(jù)矩陣A；(2)、如果計(jì)算矩陣A的秩不為6，返回到(1)，如果矩陣A的秩為6，進(jìn)入下一步；(3)、對(duì)矩陣A進(jìn)行奇異值分解，獲得其分解后左正交矩陣中與最小特征值對(duì)應(yīng)的三個(gè)向量g1，g2和g3；(4)、建立三維系統(tǒng)相對(duì)參數(shù)向量的通解形式，如式(1)f＝τ1g1+τ2g2+τ3g3， (1)
其中τ1，τ2和τ3是實(shí)數(shù)，gi是9維向量，[g1；g2；g3]是矩陣A的基；(5)、建立三維系統(tǒng)相對(duì)參數(shù)的求解方程，如式(2)、(3)令e＝[τ1τ2τ3]T，并設(shè)M＝[g1g2g3]＝[M1T，M2T，M3T]T，(2)其中M1，M2和M3是3×3矩陣，每一個(gè)表示M里的三行。則有FTF=eTMuTMueeTMuTMmeeTMuTMleeTMmTMueeTMmTMmeeTMmTMleeTMlTMueeTMlTMmeeTMlTMle=1-tx2-txty-txtz-txty1-ty2-tytz-txtz-tytz1-tz2---(3);]]>(6)、從方程(3)中，可以得到eTMuTMue+tx2=1eTMmTMme+ty2=1eTMlTMle+tz2=1]]>和eTMuTMme=-txtyeTMuTMle=-txtzeTMmTMle=-tytz---(4)]]>解上式(4)可以得到e的三個(gè)未知量，并且可以確定規(guī)范化相對(duì)平移位置[txtytz]T；(7)、用重投影的方法得到正解，并確定旋轉(zhuǎn)矩陣R和規(guī)范化相對(duì)平移位置[txtytz]T共5個(gè)獨(dú)立相對(duì)參數(shù)，從而完成結(jié)構(gòu)光三維系統(tǒng)相對(duì)參數(shù)的單圖像自定標(biāo)過程。
本實(shí)施例的工作過程是結(jié)構(gòu)光視覺系統(tǒng)由一個(gè)把光圖案投射到場(chǎng)景中的投影儀1和一臺(tái)檢測(cè)物體3表面顏色的攝像機(jī)2組成，其系統(tǒng)定標(biāo)的傳統(tǒng)方法和立體視覺里的相似，把具有已知世界坐標(biāo)的目標(biāo)放在若干個(gè)不同的位置，使我們分別定標(biāo)得到攝像機(jī)2和投影儀1的兩個(gè)透視轉(zhuǎn)換矩陣(PTM)，Pc和Pp。三維重建的方法也和立體視覺中的相似。
該方法為彩色結(jié)構(gòu)光三維系統(tǒng)參數(shù)通過單幅圖像進(jìn)行自定標(biāo)，包括以下步驟(1)、獲取定標(biāo)數(shù)據(jù)。通過彩色結(jié)構(gòu)光三維視覺系統(tǒng)獲取一幅圖像，提取定標(biāo)數(shù)據(jù)(xc，yc)和(xp，yp)，建立定標(biāo)數(shù)據(jù)矩陣A。如果數(shù)據(jù)來自同一個(gè)平面，則A的秩必為6；如果不是，則需要根據(jù)矩陣退化情況重新處理圖像數(shù)據(jù)。
(2)、三維系統(tǒng)相對(duì)參數(shù)解的形式。由于矩陣A的秩為6。通解形式為f＝τ1g1+τ2g2+τ3g3，(1)其中τ1，τ2和τ3是實(shí)數(shù)，gi是9維向量，[g1；g2；g3]是A的基。
(3)、三維系統(tǒng)相對(duì)參數(shù)求解方程。對(duì)矩陣A進(jìn)行奇異值分解，那么，g1，g2和g3是其分解后左正交矩陣中與最小特征值對(duì)應(yīng)的三個(gè)向量。理論上，如果沒有噪聲，結(jié)果應(yīng)該和上述描述的完全一致，此時(shí)對(duì)角陣中將有三個(gè)零特征值，均方誤差為零，因?yàn)橄蛄縡恰好處在A中元素為零的部分。然而，在實(shí)際系統(tǒng)中，由于數(shù)據(jù)是從真實(shí)測(cè)量得到的，對(duì)角矩陣的特征值可能少于3個(gè)。在這種情況下，仍然可以從正交矩陣中取出三個(gè)列向量作為和對(duì)角中最小值對(duì)應(yīng)的基向量。在一定意義上，這還是最合適的。令e＝[τ1τ2τ3]T，并設(shè)M＝[g1g2g3]＝[M1T，M2T，M3T]T， (2)其中M1，M2和M3是3×3矩陣，每一個(gè)表示M里的三行。則有FTF=eTMuTMueeTMuTMmeeTMuTMleeTMmTMueeTMmTMmeeTMmTMleeTMlTMueeTMlTMmeeTMlTMle=1-tx2-txty-txtz-txty1-ty2-tytz-txtz-tytz1-tz2---(3)]]>(4)、三維系統(tǒng)參數(shù)的解。
從方程(3)中，可以得到
eTMuTMue+tx2=1eTMmTMme+ty2=1eTMlTMle+tz2=1]]>和eTMuTMme=-txtyeTMuTMle=-txtzeTMmTMle=-tytz---(4)]]>解上式(4)可以得到e的三個(gè)未知量，并且可以確定規(guī)范化相對(duì)平移位置[txtytz]T。需要指出，從上式會(huì)得出多個(gè)解。(事實(shí)上，至少會(huì)有四個(gè)對(duì)稱解[±e±t]T。)這些解中只有一個(gè)對(duì)應(yīng)于實(shí)際系統(tǒng)空間設(shè)置是正確的，其它的可以通過重投影的方法來排除。此后，就很容易確定旋轉(zhuǎn)矩陣R。加上已經(jīng)獲得的規(guī)范化相對(duì)平移位置[txtytz]T共有5個(gè)獨(dú)立的系統(tǒng)相對(duì)參數(shù)，從而完成結(jié)構(gòu)光三維系統(tǒng)相對(duì)參數(shù)的單圖像自定標(biāo)過程。
權(quán)利要求
1.一種結(jié)構(gòu)光三維系統(tǒng)相對(duì)參數(shù)的單圖像自定標(biāo)方法，該方法包括以下步驟(1)、在彩色結(jié)構(gòu)光三維視覺系統(tǒng)中，通過攝像機(jī)獲取一幅圖像，提取定標(biāo)數(shù)據(jù)(xc，yc)和(xp，yp)，建立定標(biāo)數(shù)據(jù)矩陣A；(2)、如果計(jì)算矩陣A的秩不為6，返回到(1)，如果矩陣A的秩為6，進(jìn)入下一步；(3)、對(duì)矩陣A進(jìn)行奇異值分解，獲得其分解后左正交矩陣中與最小特征值對(duì)應(yīng)的三個(gè)向量g1，g2和g3；(4)、建立三維系統(tǒng)相對(duì)參數(shù)向量的通解形式，如式(1)f＝τ1g1+τ2g2+τ3g3， (1)其中τ1，τ2和τ3是實(shí)數(shù)，gi是9維向量，[g1；g2；g3]是矩陣A的基；(5)、建立三維系統(tǒng)相對(duì)參數(shù)的求解方程，如式(2)、(3)令e＝[τ1τ2τ3]T，并設(shè)M＝[g1g2g3]＝[M1T，M2T，M3T]T，(2)其中M1，M2和M3是3×3矩陣，每一個(gè)表示M里的三行，則有FTF=eTMuTMueeTMuTMmeeTMuTMleeTMmTMueeTMmTMmeeTMmTMleeTMlTMueeTMlTMmeeTMlTMle=1-tx2-txty-txtz-txty1-ty2-tytz-txtz-tytz1-tz2---(3);]]>(6)、從方程(3)中，可以得到 解上式(4)可以得到e的三個(gè)未知量，并且可以確定規(guī)范化相對(duì)平移位置[txtytz]T；(7)、用重投影的方法得到正解，并確定旋轉(zhuǎn)矩陣R和規(guī)范化相對(duì)平移位置[txtytz]T共5個(gè)獨(dú)立相對(duì)參數(shù)，完成結(jié)構(gòu)光三維系統(tǒng)相對(duì)參數(shù)的單圖像自定標(biāo)。
全文摘要
本發(fā)明公開了一種結(jié)構(gòu)光三維系統(tǒng)相對(duì)參數(shù)的單圖像自定標(biāo)方法。針對(duì)攝像機(jī)和投影儀的內(nèi)部參數(shù)已知而具有五個(gè)未定參數(shù)以描述組件相對(duì)關(guān)系的結(jié)構(gòu)光視覺系統(tǒng)，通過獲取一幅場(chǎng)景圖像，提取定標(biāo)數(shù)據(jù)(x
文檔編號(hào)G01B21/02GK1746615SQ20051006117
公開日2006年3月15日 申請(qǐng)日期2005年10月19日 優(yōu)先權(quán)日2005年10月19日
發(fā)明者陳勝勇, 李友福, 王萬良, 楊旭華, 徐新黎 申請(qǐng)人:浙江工業(yè)大學(xué)