本發(fā)明涉及攝像機標定技術領域，尤其是涉及一種多路魚眼相機標定裝置及方法。

背景技術：

在圖像測量過程以及機器視覺應用中，為確定空間物體表面某點的三維幾何位置與其在圖像中對應點之間的關系，必須建立相機成像的幾何模型，求解這些幾何模型參數(shù)的過程就是相機標定。無論是在圖像測量或者是機器視覺應用中，相機標定都是非常關鍵的一環(huán)，標定精度以及算法的穩(wěn)定性直接影響著后續(xù)相機工作的結果。

相機標定的方法主要有傳統(tǒng)相機標定方法以及相機自標定方法。傳統(tǒng)相機標定方法需要使用尺寸已知的標定物，通過建立標定物上坐標已知點與圖像點之間的對應關系，利用一定的算法獲得相機模型的內外參數(shù)。傳統(tǒng)的標定方法采用的標定物可以是平面的棋盤格或圓孔標定板以及3D立體標定靶，傳統(tǒng)相機標定的方法受標定板的影響很大。

相機自標定算法主要是利用場景中的一些平行或者正交的信息，其中空間平行線在相機圖像平面上的交點稱為消失點。自標定方法靈活性強，可對相機進行在線標定，但是由于他是基于絕對二次曲線或曲面的方法，其算法的魯棒性差，標定的精度不高。

目前基于標定物的相機標定方法對標定的場景有較高要求，標定區(qū)域要求空間比較充裕，一般是以最小標定距離為半徑的圓，并且要求標定場景擁有足夠的特征點。

技術實現(xiàn)要素：

本發(fā)明為克服現(xiàn)有基于標定物的相機標定對標定場景要求較高的技術問題，旨在提供一種對標定場景要求較低的多路魚眼相機標定裝置及方法。

本發(fā)明提供了一種多路魚眼相機標定裝置，包括：全景攝像模塊、第一電機驅動模塊、第一滾輪組、圖像處理模塊、圖像顯示模塊、標定靶、控制模塊；

所述全景攝像模塊包括支架、設置在支架各側面的多個魚眼鏡頭及多個圖像傳感器，每個鏡頭對應一個圖像傳感器，所述多個魚眼鏡頭位于同一豎直高度，所述多個魚眼鏡頭與側面轉動連接；

所述第一滾輪組設置于所述第一電機驅動模塊底部，所述第一電機驅動模塊通過第一驅動軸與所述全景攝像模塊連接，所述圖像處理模塊連接所述全景攝像模塊；所述圖像顯示模塊連接所述圖像處理模塊；

所述標定靶包括：通過連接軸活動連接的第一底板、第二底板，設置于所述第一底板表面并可在其范圍內移動的第一標定板及設置于所述第二底板表面并可在其范圍內移動的第二標定板；與所述連接軸固定連接的第二驅動軸，與所述第二驅動軸連接的第二電機驅動模塊，設置在所述第二電機驅動模塊底部的第二滾輪組；

所述標定靶設置于所述全景攝像模塊兩路相機相鄰區(qū)域，所述控制模塊連接所述第一電機驅動模塊和所述第二電機驅動模塊。

進一步的，所述魚眼鏡頭及圖像傳感器均為4個。

進一步的，所述標定裝置還包括與所述第一標定靶結構相同的第二標定靶，所述第二標定靶設置于全景攝像模塊相對于第一標定靶的另一側。

另外，本發(fā)明還提供了一種多路魚眼相機標定方法，包括如下步驟：

采用全景攝像模塊的每路魚眼相機采集標定靶中不同位置標定板圖像；

選取等距投影畸變模型；

等距投影畸變模型具體表示如下：

r_d＝fθ_d； (1)

公式(1)中，r_d表示魚眼圖像中的點到畸變中心的距離，f表示魚眼相機的焦距，θ_d表示入射光線與魚眼鏡頭光軸之間的夾角，即入射角；

選取徑向畸變模型如下：

θ_d＝θ(1+k₁θ²+k₂θ⁴+k₃θ⁶+k₄θ⁸+…)； (2)

公式(2)中，θ表示無畸變的入射角，K＝(k₁,k₂,k₃,k₄,…)表示畸變參數(shù)；θ_d表示畸變入射角；

通過上述畸變模型，從無畸變圖像中的點計算出魚眼圖像中的畸變點，公式如下：

公式(3)中，(x_s，y_s)是有畸變坐標點，(x_c，y_c)是無畸變坐標點，(c_x，c_y)表示畸變圖像的中心點坐標；

根據(jù)采集到的魚眼鏡頭圖像及成像模型分別計算鏡頭內參數(shù)及每個視場的外參數(shù)；

具體計算方法如下：提取所有標定板在圖像平面內的特征點坐標，計算標定板坐標系下空間點與圖像平面坐標系中特征點之間的單應矩陣Homography，單應矩陣計算方法如下：

公式(4)中，表示圖像平面坐標系中特征點坐標，表示標定板坐標系下空間特征點；s是任意尺度的比例因子；W表示用于定位觀測的物體平面的物理變換，包括與觀測到的圖像平面相關的部分旋轉R和部分平移T的和，W＝[R T]；M是攝像機的內參數(shù)矩陣，其中包括x方向焦距f_x，y方向焦距f_y，圖像中畸變圖像的中心點坐標(c_x，c_y)；

由旋轉矩陣的正交性分解單應矩陣Homography，構成一個包含鏡頭內部參數(shù)和外部參數(shù)的超定方程，通過奇異值分解及一系列變換得到攝像機的內部參數(shù)和外部參數(shù)，內部參數(shù)包括：M,K，外部參數(shù)R_i,T_i；

對獲取的內外參數(shù)進行非線性優(yōu)化從而得到最優(yōu)的鏡頭內外參數(shù)M、K、R、T值；

具體方法如下，根據(jù)求解得到的鏡頭的內外參數(shù)以及選定的畸變模型，采用Levenberg-Marquardt算法對鏡頭的內外參數(shù)進行非線性優(yōu)化，建立以重投影誤差為最小的優(yōu)化目標函數(shù)如下：

公式(5)中，是根據(jù)標定板上的特征點的初始值P_j使用攝像機成像模型投影到圖像坐標系下計算出來的第j個特征點在相機第i幅圖像上的圖像坐標，m_ij是采用角點檢測方法得到的像素坐標點，m表示拍攝標定板圖像的數(shù)目，n表示標定板中特征點的個數(shù)，M表示鏡頭標定的內參數(shù)，K表示鏡頭的畸變系數(shù)，R_i,T_i表示第i幅圖像下標定板坐標系與鏡頭坐標系之間的旋轉矩陣和平移向量。

進一步的，所述采用全景攝像模塊的每路魚眼相機采集標定靶中不同位置標定板圖像步驟中，通過安裝在標定靶下方的第二驅動單元及第二滾輪組驅動標定靶在水平面和垂直面上移動，從而改變標定板在鏡頭視野范圍內的位置。

進一步的，所述采用全景攝像模塊的每路魚眼相機采集標定靶中不同位置標定板圖像步驟中，通過移動第一標定板在第一底板中的位置及第二標定板在第二底板中的位置，從而改變標定板在魚眼鏡頭視野范圍內的位置。

進一步的，所述采用全景攝像模塊的每路魚眼相機采集標定靶中不同位置標定板圖像步驟中，通過調節(jié)連接軸轉動兩個底板張開的角度，從而改變標定板在魚眼鏡頭視野范圍內的位置，角度范圍在[150°，180°]。

進一步的，所述采用全景攝像模塊的每路魚眼相機采集標定靶中不同位置標定板圖像步驟中，通過第一電機驅動模塊及第一滾輪組來旋轉及平移鏡頭所處的位置，從而改變標定板在魚眼鏡頭視野范圍內的位置。

進一步的，所述采用全景攝像模塊的每路魚眼相機采集標定靶中不同位置標定板圖像步驟中，采集圖像15至20張。

進一步的，所述采用全景攝像模塊的每路魚眼相機采集標定靶中不同位置標定板圖像步驟中，四路魚眼相機同時采集標定靶中不同位置標定板圖像。

本發(fā)明公開了一種多路魚眼相機標定裝置及方法，裝置中采用具有特定結構的標定靶，能夠自動調節(jié)標定靶中標定板的位置及角度；還采用了第一電機驅動模塊及第一滾輪組對全景攝像模塊進行移動及旋轉，從而改變每路魚眼相機相對于標定板的位置；通過對標定板的移動、旋轉及全景攝像模塊的移動、旋轉，實現(xiàn)各路魚眼相機采集標定靶中不同位置的標定板。方法中對新的折疊式標定靶中標定板進行標定圖像采集，降低了對標定區(qū)域大小的要求，并且能夠保證找到足夠的特征點，減輕了算法的復雜程度，此外，在標定板圖像采集上更加靈活，可以采集到鏡頭視野范圍內各個區(qū)域的圖像，大大的提高了相機標定的精度。

本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明實施例提供的一種多路魚眼相機標定裝置結構示意圖；

圖2是本發(fā)明實施例提供的一種多路魚眼相機標定裝置標定狀態(tài)結構示意圖；

圖3是本發(fā)明實施例提供的一種多路魚眼相機標定方法流程圖。

具體實施方式

下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領域普通技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

現(xiàn)有基于標定物標定全景相機的方法中，采用的都是單一的平面標定板，對標定區(qū)域要求比較高，一般是以最小標定距離為半徑的圓。而往往實驗室場景有限，從而造成標定不便，需要人工手動不停調整標定板及全景相機，比較浪費人力物力。另外，全景相機至少具有兩個魚眼鏡頭，而采用單一標定板，需要依次采用每個鏡頭對標定板各位置的圖像進行采集，從而造成了標定所需時間較長。

為解決上述問題，本發(fā)明提供了一種多路魚眼相機標定裝置，如圖1所示，該裝置包括：全景攝像模塊9、第一電機驅動模塊14、第一滾輪組15、圖像處理模塊16、圖像顯示模塊17、標定靶1、控制模塊19；

所述全景攝像模塊9包括支架18、設置在支架18各側面181的多個魚眼鏡頭101及多個圖像傳感器(圖中未示出)，每個鏡頭對應一個圖像傳感器，所述多個魚眼鏡頭101位于同一豎直高度，所述多個魚眼鏡頭101與側面181轉動連接；

所述第一滾輪組15設置于所述第一電機驅動模塊14底部，所述第一電機驅動模塊14通過第一驅動軸13與所述全景攝像模塊9連接，所述圖像處理模塊16連接所述全景攝像模塊9；所述圖像顯示模塊17連接所述圖像處理模塊16；

所述標定靶1包括：通過連接軸3活動連接的第一底板11、第二底板12，設置于所述第一底板11表面并可在其范圍內移動的第一標定板21及設置于所述第二底板12表面并可在其范圍內移動的第二標定板(圖中未示出)；與所述連接軸3固定連接的第二驅動軸6，與所述第二驅動軸6連接的第二電機驅動模塊7，設置在所述第二電機驅動模塊7底部的第二滾輪組8；

所述標定靶1設置于所述全景攝像模塊9兩路相機相鄰區(qū)域，所述控制模塊19連接所述第一電機驅動模塊14和所述第二電機驅動模塊7。

作為本發(fā)明實施例，本發(fā)明涉及到的全景相機具有四路魚眼鏡頭，那么魚眼相機標定裝置中具有4個魚眼鏡頭及圖像傳感器。全景攝像模塊的支架設置為立方體形狀，支架各側面為平面，為了保證各鏡頭位于同一豎直高度，則將四個鏡頭設置于立方體支架的各側面的正中心。由于鏡頭可以相對于側面旋轉，將鏡頭光軸與支架側面垂線的夾角設置在小于等于5°。

為了實現(xiàn)四路魚眼相機的同時標定，標定裝置中同時采用兩塊結構相同的標定靶，即標定裝置還包括與所述第一標定靶結構相同的第二標定靶，所述第二標定靶設置于全景攝像模塊相對于第一標定靶的另一側。通過第一電機驅動模塊及第二電機驅動模塊調整標定靶的位置及角度、全景攝像模塊上魚眼鏡頭的位置及角度，從而實現(xiàn)四路魚眼標定板圖像信息采集。

上述裝置中的第一電機驅動模塊可通過第一驅動軸驅動全景攝像模塊在三維空間自由移動，并且可以在立體空間內任意旋轉來調整鏡頭方向，另外，鏡頭還可以相對側面旋轉一定角度；第二電機驅動模塊可通過第二驅動軸驅動標定靶在三維空間自由移動，標定靶中第一底板和第二底板張開角度也可調節(jié)，第一標定板相對于第一底板移動，第二標定板相對于第二底板移動，從而保證在標定時采集鏡頭視野范圍內更多標定板圖像，減小標定所需區(qū)域大小。

標定靶中標定板的圖案設置為黑白相間的棋盤格，使用標定靶，可以保證標定時能夠找到足夠數(shù)量的、分布均勻的足夠精度且基本處于同一深度的特征點，而不受標定所處實際場景的約束。標定靶中標定板的圖案還可以設置成圓孔圖案同樣能夠實現(xiàn)標定結果。

使用標定靶時，如圖2所示，第一底板和第二底板間夾角為150°至180°之間，既能實現(xiàn)單個標定板圖像的采集，又能保證一個鏡頭內不會出項兩塊標定板圖像；不使用標定靶時，可以將其閉合，既能節(jié)省存儲空間，又能避免標定板被污染，影響標定結果。

本發(fā)明公開的多路魚眼相機標定裝置采用一種新的折疊式標定靶，降低了對標定區(qū)域大小的要求，并且保證能夠找到足夠的特征點，減輕了算法的復雜度。此外，在標定板圖像采集上更加靈活，可以采取標定靶移動或者全景攝像模塊移動的方式來采集到鏡頭視野范圍內各個區(qū)域的圖像，大大提高了相機標定的精度。

如圖3所示，本發(fā)明還提供了一種多路魚眼相機標定方法，利用上述標定裝置對魚眼相機進行標定，包括如下步驟：

S1、采用全景攝像模塊的每路魚眼相機采集標定靶中不同位置標定板圖像；

針對上述標定靶，采集每路魚眼鏡頭視野內各個位置下的標定板圖像，一般采集的圖像數(shù)量在15至20張，標定結果的準確度較高，且計算量適中。

在本實施例中，可以采用如下幾種方式采用全景攝像模塊的每路魚眼相機采集標定靶中不同位置標定板圖像:

1、通過安裝在標定靶下方的第二驅動單元及第二滾輪組驅動標定靶在水平面和垂直面上移動，從而改變標定板在鏡頭視野范圍內的位置。

2、通過移動第一標定板在第一底板中的位置及第二標定板在第二底板中的位置，從而改變標定板在魚眼鏡頭視野范圍內的位置。

3、通過調節(jié)連接軸轉動兩個底板張開的角度，從而改變標定板在魚眼鏡頭視野范圍內的位置，角度范圍在[150°，180°]，在保證同一魚眼鏡頭不同時采集到兩個標定板的情況下，兩個標定底板張開的角度在[150°，180°]之間改變，都可以用于標定圖像的采集。使第一標定板位于遠離連接軸的第一底板邊緣的中部，第二標定板位于遠離連接軸的第二標定板邊緣的中部。

4、通過第一電機驅動模塊及第一滾輪組來旋轉及平移鏡頭所處的位置，從而改變標定板在魚眼鏡頭視野范圍內的位置。

還可以選擇上述任何兩種或三種或四種方式來改變標定板在魚眼鏡頭視野范圍內的位置，從而可以快速的完成標定靶中標定板圖像信息的采集，且對標定區(qū)域的空間需求較小。

本發(fā)明公開的多路魚眼相機標定方法采用一種新的折疊式標定靶來實現(xiàn)標定，降低了對標定區(qū)域大小的要求，并且保證能夠找到足夠的特征點，減輕了算法的復雜度。此外，在標定板圖像采集上更加靈活，可以采取標定靶移動或者全景攝像模塊移動的方式來采集到鏡頭視野范圍內各個區(qū)域的圖像，大大提高了相機標定的精度。

S2、選取等距投影畸變模型；

魚眼鏡頭一般是由十幾個不同的透鏡組合而成，在成像過程中，入射光線經過不同程度的折射，折射到尺寸有限的成像平面上。魚眼鏡頭成像遵循的模型是近似為單位球面投影模型，故本發(fā)明中采用等距投影畸變模塊，等距投影畸變模型具體表示如下：

r_d＝fθ_d； (1)

公式(1)中，r_d表示魚眼圖像中的點到畸變中心的距離，f表示魚眼相機的焦距，θ_d表示入射光線與魚眼鏡頭光軸之間的夾角，即入射角；

由于魚眼鏡頭的投影模型為了將盡可能大的場景投影到有限的圖像平面內，因此魚眼鏡頭的畸變非常嚴重。魚眼鏡頭的畸變主要是徑向畸變，選取徑向畸變模型如下：

θ_d＝θ(1+k₁θ²+k₂θ⁴+k₃θ⁶+k₄θ⁸+…)； (2)

公式(2)中，θ表示無畸變的入射角，K＝(k₁,k₂,k₃,k₄,…)表示畸變參數(shù)；θ_d表示入射光線與魚眼鏡頭光軸之間的夾角，即畸變入射角；

通過上述畸變模型，從無畸變圖像中的點計算出魚眼圖像中的畸變點，公式如下：

公式(3)中，(x_s，y_s)是有畸變坐標點，(x_c，y_c)是無畸變坐標點，(c_x，c_y)表示畸變圖像的中心點坐標；

S3、根據(jù)采集到的魚眼鏡頭圖像及成像模型分別計算鏡頭內參數(shù)及每個視場的外參數(shù)；

鏡頭標定涉及到的內參數(shù)有鏡頭中心位置，鏡頭有效焦距以及鏡頭的畸變系數(shù)，涉及到的外參數(shù)有旋轉和平移向量。首先要初始化鏡頭的內外參數(shù)，即將魚眼圖像上的畸變點進行去畸變得到無畸變點，然后計算空間坐標點與無畸變圖像點之間的單應矩陣Homography，具體計算方法如下：提取所有標定板在圖像平面內的特征點坐標，計算標定板坐標系下空間點與圖像平面坐標系中特征點之間的單應矩陣Homography，單應矩陣計算方法如下：

公式(4)中，表示圖像平面坐標系中特征點坐標，表示標定板坐標系下空間特征點；s是任意尺度的比例因子；W表示用于定位觀測的物體平面的物理變換，包括與觀測到的圖像平面相關的部分旋轉R和部分平移T的和，W＝[R T]；M是攝像機的內參數(shù)矩陣，其中包括x方向焦距f_x，y方向焦距f_y，圖像中畸變圖像的中心點坐標(c_x，c_y)；

由旋轉矩陣的正交性分解單應矩陣Homography，構成一個包含鏡頭內部參數(shù)和外部參數(shù)的超定方程，通過奇異值分解及一系列變換得到攝像機的內部參數(shù)和外部參數(shù)，內部參數(shù)包括：M,K，外部參數(shù)R_i,T_i；外部參數(shù)指鏡頭坐標系與所有平面坐標系之間的旋轉和平移關系；

成像模型包括畸變模型,計算魚眼鏡頭內外參數(shù)時,根據(jù)畸變模型,及單應矩陣對內外參數(shù)進行求取。

S4、對獲取的內外參數(shù)進行非線性優(yōu)化從而得到最優(yōu)的鏡頭內外參數(shù)M、K、R、T值；

具體方法如下，根據(jù)步驟S3求解得到的鏡頭的內外參數(shù)以及步驟S2選定的畸變模型，魚眼鏡頭的畸變非常嚴重，通過采用非線性優(yōu)化的方法優(yōu)化上述求解得到的攝像機參數(shù)。具體采用Levenberg-Marquardt算法對鏡頭的內外參數(shù)進行非線性優(yōu)化，建立以重投影誤差為最小的優(yōu)化目標函數(shù)如下：

公式(5)中，是根據(jù)標定板上的特征點的初始值P_j使用攝像機成像模型投影到圖像坐標系下計算出來的第j個特征點在相機第i幅圖像上的圖像坐標，m_ij是采用角點檢測方法得到的像素坐標點，m表示拍攝標定板圖像的數(shù)目，n表示標定板中特征點的個數(shù)，M表示鏡頭標定的內參數(shù)，K表示鏡頭的畸變系數(shù)，R_i,T_i表示第i幅圖像下標定板坐標系與鏡頭坐標系之間的旋轉矩陣和平移向量。

上述多路魚眼相機標定方法中，可以同時實現(xiàn)兩路魚眼鏡頭對標定靶中標定板圖像信息的采集，還可以同時實現(xiàn)多路魚眼鏡頭對標定靶中標定板圖像信息的采集；從而大大提高了標定的速度。

通過本發(fā)明提供的多路魚眼相機標定裝置及方法具體實現(xiàn)標定的過程如下：

全景攝像模塊中的魚眼鏡頭選取焦距為1.45毫米的立鼎F123B0145WR1鏡頭，且圖像的分辨率為1225像素*1225像素，鏡頭的視場角為190°×120°，標定工作距離為1500毫米。兩標定底板張開的角度為175°，每個標定板中特征點個數(shù)為121個，特征點間距為50mm。

根據(jù)上述多路魚眼相機標定方法，對每路魚眼相機內部參數(shù)進行標定及進行非線性優(yōu)化，得到的結果如下表所示：

本發(fā)明公開的多路魚眼相機標定方法采用一種新的折疊式標定靶來實現(xiàn)鏡頭內外參數(shù)的標定，降低了對標定區(qū)域大小的要求，并且保證能夠找到足夠的特征點，減輕了算法的復雜度。此外，在標定板圖像采集上更加靈活，可以采取標定靶移動或者全景攝像模塊移動的方式來采集到鏡頭視野范圍內各個區(qū)域的圖像，大大提高了相機標定的精度。

以上所揭露的僅為本發(fā)明一種較佳實施例而已，當然不能以此來限定本發(fā)明之權利范圍，因此依本發(fā)明權利要求所作的等同變化，仍屬本發(fā)明所涵蓋的范圍。