本發(fā)明涉及雙目視覺傳感器現場標定的技術領域，具體涉及一種復雜環(huán)境下雙目視覺傳感器現場標定方法及裝置。

背景技術：

復雜環(huán)境下視覺測量系統(tǒng)正在被廣泛應用，如列車輪對幾何尺寸、受電弓、鍛造件等在線測量系統(tǒng)。通常情況下，這些視覺測量系統(tǒng)，都會在相機鏡頭前方安裝濾光片，以此保證成像質量，提高測量的穩(wěn)定性。然而，這造成多個傳感器在復雜光照環(huán)境下的全局標定變得越來越困難。例如列車輪對幾何尺寸在線動態(tài)測試儀，是由多組結構光視覺傳感器組成，分別安裝在車輪在觸發(fā)位置的不同位置，用于觀測被測車輪的不同部位，同時又通過全局標定參數將多個測量結果拼接到一起，最后用于車輪幾何尺寸的在線計算。其中，由于每個相機鏡頭都配備近紅外濾光片，直接導致傳感器全局標定變的復雜、不方便，嚴重影響標定效率。實際標定中先摘掉濾光片，用發(fā)光靶標，通過帳篷等工具屏蔽現場復雜光線的干擾，或在陰暗的天氣條件下，采用發(fā)光led靶標或棋盤格靶標完成相機全局標定，待標定完再裝上濾光片，這種方法拆卸耗時、費力，嚴重影響現場工作效率。同時，由于濾光片多種多樣，靶標相對固定，當前并沒有一種適合于現場大空間視覺系統(tǒng)標定應用，且不受濾光片干擾的通用型全局標定方法。

當前雙目標定方法按照靶標形式可以分為三維靶標，二維靶標，一維靶標，球，平行線、激光跟蹤儀等。其中，三維靶標(參見文獻([1]tsairy.aversatilecameracalibrationtechniqueforhigh-accuracy3dmachinevisionmetrologyusingoff-the-shelftvcamerasandlenses[m]radiometry.jonesandbartlettpublishers,inc.1992.與[2]j.geometriccameracalibrationusingcircularcontrolpoints[j].ieeetransactionsonpatternanalysis&machineintelligence,2000,22(10):1066-1077.)、二維靶標(參見文獻[3]zhangz.aflexiblenewtechniqueforcameracalibration[j].ieeetransactionsonpatternanalysis&machineintelligence,2000,22(11):1330-1334.)主要應用在工業(yè)現場高精度標定中，但其受空間、機械加工精度的限制；一維靶標(參見文獻[4]liuz,zhangg,weiz,etal.novelcalibrationmethodfornon-overlappingmultiplevisionsensorsbasedon1dtarget[j].optics&lasersinengineering,2011,49(4):570-577.及文獻[5]zhaoy,lix,liw.binocularvisionsystemcalibrationbasedonaone-dimensionaltarget[j].appliedoptics,2012,51(16):3338-3345.以及文獻[6]zhouf.calibratingbinocularvisionsensorwithone-dimensionaltargetofunknownmotion[j].journalofmechanicalengineering,2006,42(6):92-96.)由于其擺放靈活，不受遮擋等優(yōu)點也被應用在雙目標定中。平行線靶標(參見文獻[7]guanj,deboeverief,slembrouckm,etal.extrinsiccalibrationofcameranetworksusingasphere[j].sensors,2015,15(8):18985-19005.及文獻[8]weiz,liux.vanishingfeatureconstraintscalibrationmethodforbinocularvisionsensor[j].opticsexpress,2015,23(15):18897-914.以及文獻[9]dawsondn,birchfieldst.anenergyminimizationapproachtoautomatictrafficcameracalibration[j].ieeetransactionsonintelligenttransportationsystems,2013,14(14):1095-1108.)可以實現非公共視場標定，也被越來越多應用在大空間視覺傳感器標定中，如交通監(jiān)控視覺傳感器標定等；球靶標可實現多視角下全局標定，但由于其輪廓投影容易受噪聲干擾，不能滿足高精度工業(yè)測量需求。以上傳統(tǒng)標定方法，由于其必須采集靶標上特征信息，不適用于現場復雜光照環(huán)境下，即必須拆卸掉濾光片且無雜光、高光干擾的情況下才能標定。近年來，針對復雜光照環(huán)境下視覺測量系統(tǒng)標定問題進行研究的方法不多，多是利用與濾光片波長一致的激光器組合成空間新靶標，實現無需拆卸濾光片，在復雜光照環(huán)境的測量現場即可完成結構光或雙目系統(tǒng)標定。文獻[12](liuz,yiny,lius,etal.extrinsicparametercalibrationofstereovisionsensorsusingspotlaserprojector[j].appliedoptics,2016,55(25):7098.)提出利用平行且具有固定距離的兩平面，配合點激光，經多次圖像積分，完成帶有濾光片的雙目系統(tǒng)標定。缺點是，靶標體積較大，擺放不方便，需要激光光斑多次成像才能進行標定。文獻[13](liuz,yiny,wuq,etal.on-sitecalibrationmethodforoutdoorbinocularstereovisionsensors[j].optics&lasersinengineering,2016,86:75-82.)提出采用雙圓柱，配合線激光，經過至少兩次擺放鋸齒靶標即可完成帶有濾光片相機之間外參標定。缺點是雙圓柱尺寸有限，對于大空間標定，則不適用。因此，本發(fā)明提出一種利用可自由移動的鋸齒靶標配合與相機濾光片波長一致的線激光器完成現場雙目系統(tǒng)的快速標定。

技術實現要素：

本發(fā)明要解決的技術問題為：現場復雜環(huán)境下的視覺測量多為鏡頭配有濾光片，用以提高采集有效數據的信噪比，保證測量的可靠性與精度。其中，以多結構光視覺傳感器為代表的探測技術被廣泛應用在工業(yè)現場的高精度測量，然而其帶有濾光片的多相機全局的標定問題變得困難。尤其是在復雜光照、高震動、惡劣天氣，如霧天、太陽反光、強光等因素影響，導致現場標定變得繁瑣、耗時，嚴重影響標定效率。如何實現簡單、快速的現場傳感器標定是當前復雜環(huán)境下視覺測量首要解決的關鍵問題。

本發(fā)明采用的技術方案為：一種復雜環(huán)境下雙目視覺傳感器現場標定方法，該方法包括如下步驟：

步驟1：在攝像機不帶濾光片的情況下，采用張正友的平面靶標標定方法求解出待標定相機的內部參數矩陣k1、k2及鏡頭徑向畸變系數k1、k2；

步驟2：在攝像機鏡頭前裝好濾光片，調整相機之間線激光器，使其與鋸齒靶標相交，攝像機拍攝帶有光條的鋸齒靶標圖像，提取光條在鋸齒靶折彎處形成的折點，基于交比不變性求解出光條與靶標交點在靶標坐標系下三維坐標，進而得到交點在攝像機坐標系下的三維坐標；

步驟3：將靶標移動兩次以上，依據計算得到的靶標所有位置光條與靶標交點的三維坐標以及靶標在空間中方向向量求解兩相機之間旋轉矩陣，以靶標特征點的已知距離求解出平移向量；

步驟4：考慮圖像噪聲擾動因素，以靶標特征點在相面反投影誤差最小建立目標方程，通過非線性優(yōu)化得到兩相機之間外參數的精確解。

本發(fā)明還提供了一種復雜環(huán)境下雙目視覺傳感器現場標定裝置，激光器安裝在待標定雙目視覺傳感器中軸線上，具有45°發(fā)射扇角，且固定在球臺上，方向靈活可調，保證激光平面覆蓋兩相機公共視場；任意擺放鋸齒靶標，使其與激光平面相交，形成一系列“折形”光條，觸發(fā)兩相機同時采集圖像；利用鋸齒靶標平面加工精度高特性，提取相鄰兩段光條，并擬合直線方程，求解其交點作為特征點精確坐標；鋸齒靶標采取空間平面網格延展特性設計，使得每個鋸齒延長線可構造出一個虛擬平面標靶，方便根據交比不變特性求解每個特征點在靶標坐標系下的坐標；依據攝像機模型、靶標方向矢量與直線無窮遠點關系，以及特征點之間距離，計算出每個特征點在相機坐標系下的三維坐標；以靶標空間方向矢量為約束，首先計算得出兩相機之間旋轉矩陣，再利用特征點之間距離信息，求解平移矢量，最后通過特征點反投影誤差最小化得到相對方位參數精確解。

本發(fā)明的原理在于：雙目立體視覺系統(tǒng)具體標定原理如附圖2。設oc1xc1yc1zc1為攝像機1坐標系，o1x1y1為相機1的圖像坐標系，oc2xc2yc2zc2為攝像機2坐標系，o2x2y2為相機2的圖像坐標系。π為光平面，光平面方程可表示為ax+by+cz+d＝0，其中otxtytzt為靶標坐標系，a、b、c、d、e、f為靶標擺放一次時激光平面與鋸齒靶標相交形成的特征點，a1,b1,c1,d1,e1,f1為靶標特征點在相機1成像點，a2,b2,c2,d2,e2,f2為靶標特征點在相機2相面上成像點。r21，t21分別表示相機2到相機1坐標系的旋轉矩陣與平移向量。

本發(fā)明還提供一種復雜環(huán)境下雙目視覺傳感器現場標定裝置，激光器安裝在待標定雙目視覺傳感器中軸線上，具有45°發(fā)射扇角，且固定在球臺上，方向靈活可調，保證激光平面覆蓋兩相機公共視場。任意擺放鋸齒靶標，使其與激光平面相交，形成一系列“折形”光條，觸發(fā)兩相機同時采集圖像；利用鋸齒靶標平面加工精度高特性，提取相鄰兩段光條，并擬合直線方程，求解其交點作為特征點精確坐標；鋸齒靶標采取空間平面網格延展特性設計，使得每個鋸齒延長線可構造出一個虛擬平面標靶，方便根據交比不變特性求解每個特征點在靶標坐標系下的坐標；依據攝像機模型、靶標方向矢量與直線無窮遠點關系，以及特征點之間距離，計算出每個特征點在相機坐標系下的三維坐標；以靶標空間方向矢量為約束，首先計算得出兩相機之間旋轉矩陣，再利用特征點之間距離信息，求解平移矢量，最后通過特征點反投影誤差最小化得到相對方位參數精確解。

本發(fā)明與現有技術相比的優(yōu)點在于：

(1)本發(fā)明提出一種借助精密加工的鋸齒靶標結合激光器平面共同構造特征點的方式標定雙目視覺傳感器。同時選用激光器波長與相機濾光片波長一致，有效屏蔽掉戶外復雜光照環(huán)境的影響，提高標定效率。常規(guī)標定方法受現場光照環(huán)境影響嚴重，如低亮度條件下特征點提取誤差大，強反光條件下無法提取特征點等不足；

(2)本發(fā)明將激光器安裝在待標定雙目視覺傳感器中軸線上，借助球臺實現方向靈活可調，保證激光平面覆蓋兩相機公共視場。任意擺放鋸齒靶標，使其與激光平面相交，形成一系列“折形”光條，觸發(fā)兩相機同時采集圖像；

(3)本發(fā)明充分利用鋸齒靶標平面加工精度高特性，提取相鄰兩段光條，并擬合直線方程，求解其交點作為特征點精確坐標；

(4)本發(fā)明中鋸齒靶標采取空間平面網格延展特性設計，使得每個鋸齒延長線可構造出一個虛擬平面標靶，方便根據交比不變特性求解每個特征點在靶標坐標系下的坐標。具有特征點構造靈活，不受制與靶標尺寸的優(yōu)點；

(5)本發(fā)明依據攝像機模型、靶標方向矢量與直線無窮遠點關系，以及特征點之間距離，計算出每個特征點在相機坐標系下的三維坐標；

(6)本發(fā)明以靶標空間方向矢量為約束，首先計算得出兩相機之間旋轉矩陣。再利用特征點之間距離信息，求解出平移矢量。最后通過特征點反投影誤差最小化得到相對方位參數精確解。

附圖說明

圖1為基于鋸齒靶標的雙目視覺傳感器標定流程圖；

圖2為雙目標定原理示意圖；

圖3為激光平面與鋸齒靶形成的特征點在相面上的成像；

圖4為通過交比不變性計算出特征點在靶標坐標系下三維坐標；

圖5為計算空間直線在圖像坐標系下的消隱點。

具體實施方式

下面結合附圖以及具體實施方式進一步說明本發(fā)明。

本方法首先利用文獻[3](zhangz.aflexiblenewtechniqueforcameracalibration[j].ieeetransactionsonpatternanalysis&machineintelligence,2000,22(11):1330-1334.)方法標定兩相機內參數，然后分別提取出激光器與鋸齒靶標形成折點的圖像坐標；同時，根據圖像特征點，利用交比不變性求解特征點在靶標坐標系下坐標值；根據空間直線方向與圖像消隱點之間關系，計算出靶標特征點在各個相機坐標系下的三維坐標；進而求解出兩相機相對外參數，包括旋轉矩陣及平移矢量；最后，通過以靶標特征點反投影誤差最小化為目標方程進行非線性優(yōu)化得到兩相機相對方位參數的精確解。

1.靶標特征點提取

激光條照射到鋸齒靶標上時，光線會在彎折處彎曲，形成拐點，文中稱之為靶標特征點。通常情況下光條在彎折處的最高點處會出現亮斑，直接采用常用haar角點提取方法，誤差較大。我們采用先求解折點兩側光條直線方程，再通過求解兩直線段角點的方式獲得靶標圖像點的精確坐標。如附圖3所示，l1、l2分別為拐點兩側激光線段，二者交點為p1。其中光條中心點提取采用steger[11](stegerc.anunbiaseddetectorofcurvilinearstructures[j].ieeetransactionsonpatternanalysis&machineintelligence,2002,20(2):113-125.)算法，將多組離散點通過直線擬合方法得到之前方程aix+biy+ci＝0(i＝1,2)。此處采用ransac[14](machcac.randomsampleconsensus:aparadigmformodelfittingwithapplicationtoimageanalysisandautomatedcartography[c]1981.)直線擬合方法可以有效剔除雜光點的影響，得到激光條與鋸齒靶標相交直線的準確解，依據鋸齒靶標設計的共面，直角等幾何約束信息，可以相對精確的得到鋸齒靶標彎折處的角點，有效提高標定精度。

2.求解靶標特征點

在附圖4中，ocxcyczc為攝像機坐標系，otxtytzt為靶標坐標系。π為光平面。在條形靶標坐標系下光平面與靶標交點坐標依次為a＝[xa，ya,1]^t、b＝[xb，yb,1]^t、c＝[xc，yc,1]^t、d＝[xd，yd,1]^t、e＝[xe，ye,1]^t、f＝[xf，yf,1]^t。a、b、c、d、e、f在攝像機圖像上的成像點分別為a＝[ua,va,1]^t、b＝[ub,vb,1]^t、c＝[uc,vc,1]^t、d＝[ud,vd,1]^t、e＝[ue,ve,1]^t、f＝[uf,vf,1]^t。將鋸齒靶標沿直角邊沿延長，可以構造出多個共面網格點，形成一平面棋盤格靶標，如附圖4所示，每次激光線與鋸齒靶相交形成的特征點，完全分布在虛擬平面靶標中?？梢钥闯?，相交的特征點在靶標坐標系中的局部坐標，某些點橫坐標已知，縱坐標未知，而對于剩余點則橫坐標未知，縱坐標已知，因此可以根據交比不變特性將鋸齒靶與激光線形成的靶標特征點依次求解出。

采用圖像處理方法提取出a、b、c、d、e、f的在攝像機圖像坐標系下圖像坐標，根據交比不變性可知：

條形靶標的結構尺寸如附圖4所示。光條與靶標的交點a、c、e點在條形靶標坐標系下的y方向分量ya、yb、yc已知，x方向分量xa、xb、xc未知；光條與靶標的交點b點在條形靶標坐標系下的x方向分量xb已知，y方向分量yb未知。采用圖像處理方法提取出a、b、c、d、e、f的在攝像機圖像坐標系下圖像坐標。根據式1可得下式：

由于a、b、c、e已經通過圖像處理方法提取出來，故根據式就可以求解b點在靶標坐標系下的y方向分量值yb。因為b點在靶標坐標系下的x方向分量值xb已知，故b點在條形靶標坐標系下的坐標[xb，yb]^t就求解出來了。

根據以上算法依次求解出d、f在靶標坐標系下坐標。同理采用以上方法，根據b、d、f也可以求解出a、c、e點在靶標坐標系下坐標。至此，就可以全部求解出a、b、c、d、e、f在平面靶標坐標系otxtytzt下坐標。

3.計算靶標特征點在相機坐標系下的三維坐標

令交比其中θ為空間點的分量。如附圖5所示，v∞為光條在空間直線的無窮遠點，共線點a、b、c的簡比為sr(a,b,c)＝s，則sr(a,b,v∞)＝1，那么共線點a、b、c和v∞的交比也為s，即cr(a,b；c,v∞)≈s。根據交比不變性，則有cr(ai,bi；ci,v1)＝s，至此可以求解直線消隱點v1。

設光平面與靶標交點在攝像機坐標系下三維坐標依次為

根據攝像機模型，以其中a和b兩點為例，則可得：

其中(k^-1a)k表示向量k^-1a的第k個元素，k＝1,2。

在攝像機坐標系下,a和b兩點的矢量方向dab＝[dx,dy,dz]^t可以表示如下：

其中dab＝k^-1v1/||k^-1v1||，v1是光條空間直線在攝像機圖像中的消隱點。

聯合式(3)和(4)可得：

式中dab表示ab兩點之間距離。通過式5我們可以求解出za、zb，再將za、zb帶入式3可以的得到xa、xb，ya、yb。至此就可以求解出a、b在攝像機坐標系下三維坐標。同理我們可以求解出其余c、d、e、f點在攝像機坐標系下三維坐標。

4.求解相對方位參數

4.1計算旋轉矩陣r21

令d1i表示一維靶標確定的空間直線在i位置在相機1坐標系下的的單位向量，d2i為一維靶標確定的空間直線在i位置在相機2坐標系下的單位向量，此時有：

kk為第k個相機的內參矩陣，通過文獻[3](zhangz.aflexiblenewtechniqueforcameracalibration[j].ieeetransactionsonpatternanalysis&machineintelligence,2000,22(11):1330-1334.)標定得到。對于每個靶標位置，d1i與d2i通過旋轉矩陣r21聯系起來，表示為：

d1i＝r21d2i(7)

而通過上式不能得到r21的唯一解，也就是說靶標擺放一次不能求解旋轉矩陣r21。將靶標擺放兩次，兩組等式可以得到，即表示為：

d2i通過旋轉矩陣r21轉換到d1i，同樣的，d2i×d2j轉換到d1i×d1j通過旋轉矩陣r21。

(d1i×d1j)＝r21(d2i×d2j)(8)

合并上式，可以得到：

[d1id1jd1i×d1j]＝r21[d2id2jd2i×d2j](9)

當兩個一維靶標移動位置不是純平移是，也就是說d2i與d2j不平行，[d2id2jd2i×d2j]是滿秩的。則r21可以被唯一的求解得到：

r21＝[d1id1jd1i×d1j][d2id2jd2i×d2j]^-1(10)

4.2求解平移向量t21

令為靶標點f在i個位置時在相機1坐標系下的三維坐標。qfi與之間關系表示為：

在靶標i位置時，qai與的距離可以表示為：

其中，qafi＝qai-r21qfi，lafi是靶標在i位置時的靶標點a與f之間的距離。

可以選取不同點對，為降低累計誤差，提高計算精度，我們選擇af，be兩對距離較遠的特征點進行計算，通過相減可得到：

其中，qbei＝qbi-r21qei，lbei是靶標在i個位置時靶標特征點b與e的空間距離。t21可以通過至少三對點建立如上式的方程組，最后采用最小二乘法得到t21的線性解。

4.3非線性優(yōu)化

實際使用中，相機內參數已經標定，圖像噪聲，濾光片等都會影響標定精度。為進一步提高雙目視覺系統(tǒng)的標定精度，通過非線性優(yōu)化方法得到兩相機相對方位參數在最大似然準則下的最優(yōu)解。

令為靶標在i位置時靶標上點m在傳感器上1成像的齊次坐標。

其中，α1與α2是非零比例系數。k1，k2是相機內參數矩陣，相機2到相機1轉換矩陣。根據攝像機透視投影中共線性約束，以靶標特征點反投影誤差最小化代數距離誤差建立目標函數。根據上述章節(jié)中求解得到的初值，經非線性優(yōu)化得到其最大似然解。圖像特征點經相機鏡頭畸變校正后，得到靶標特征點反投影特征點代數誤差最小。

其中，a＝(r21，t21)，r21＝(rx，ry，rz)^t，t21＝(tx，ty，tz)^t，表示靶標特征點反投影與圖像特征點提取并去除鏡頭畸變后特征點坐標的距離。m每次靶標形成特征點數量。l表示靶標擺放位置次數。最終采用levenberg-marquardt優(yōu)化方法對上述目標函數進行非線性優(yōu)化，得到兩相機之間相對方位參數的最大似然估計值。