本發(fā)明涉及360車(chē)載環(huán)視系統(tǒng)標(biāo)定，尤其涉及一種基于地面紋理特征的360車(chē)載環(huán)視相機(jī)標(biāo)定方法和裝置。

背景技術(shù)：

1、隨著圖像技術(shù)的發(fā)展，計(jì)算機(jī)視覺(jué)廣泛應(yīng)用于汽車(chē)領(lǐng)域，在車(chē)輛上安裝環(huán)視攝像頭，通過(guò)多路攝像頭同時(shí)采集車(chē)輛四周的影像，經(jīng)過(guò)圖像處理最終合成一幅車(chē)輛周?chē)娜案┮曂队皥D，呈現(xiàn)出車(chē)輛所處的位置和周邊情況，可以有效減少事故發(fā)生。其中，利用圖像處理技術(shù)進(jìn)行環(huán)視相機(jī)系統(tǒng)的標(biāo)定工作是全景俯視圖拼接的關(guān)鍵支撐技術(shù)。

2、然而，傳統(tǒng)的環(huán)視相機(jī)標(biāo)定需要借助特定標(biāo)定物。前裝場(chǎng)景下，通常是在地面印刷特定形狀的標(biāo)記(棋盤(pán)格、圓點(diǎn)或平行線)搭建出一個(gè)專(zhuān)用標(biāo)定車(chē)間，讓車(chē)輛停在場(chǎng)地中間，通過(guò)識(shí)別地面標(biāo)記和預(yù)先設(shè)定的標(biāo)記圖案尺寸，實(shí)現(xiàn)環(huán)視相機(jī)的標(biāo)定；后裝場(chǎng)景下，需要人工在車(chē)體周?chē)佋O(shè)一定數(shù)量的特定標(biāo)記物，并且需要測(cè)量出這些圖案之間的距離或者圖案自身的尺寸，經(jīng)過(guò)識(shí)別處理后計(jì)算標(biāo)定出攝像頭之間的相對(duì)關(guān)系，以完成最終的環(huán)視設(shè)備標(biāo)定。

3、這種設(shè)計(jì)存在以下缺點(diǎn)：對(duì)于使用特定標(biāo)定物的傳統(tǒng)環(huán)視標(biāo)定方法，標(biāo)定精度很大程度上依賴(lài)于標(biāo)定物尺寸數(shù)據(jù)的測(cè)量精度或者印刷精度；標(biāo)定物來(lái)回搬運(yùn)、印刷圖案反復(fù)碾壓都可能出現(xiàn)缺損或模糊，額外增加了生產(chǎn)、運(yùn)輸和維護(hù)成本；不同廠商方案不同，對(duì)圖案的要求和尺寸不一，無(wú)法兼容復(fù)用。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述問(wèn)題，本發(fā)明提出了一種無(wú)需特定標(biāo)定物輔助的360環(huán)視相機(jī)標(biāo)定方法和裝置。

2、考慮到車(chē)輛行駛道路的地面通常存在一定的紋理特征及各種交通標(biāo)記(如車(chē)道線、斑馬線、箭頭標(biāo)記等)，可以利用這些道路紋理進(jìn)行特征提取，同時(shí)配合車(chē)體運(yùn)動(dòng)的約束條件進(jìn)行相機(jī)標(biāo)定。因此，本發(fā)明提供了一種基于地面紋理特征的車(chē)載環(huán)視相機(jī)標(biāo)定方法，無(wú)需指定標(biāo)定圖案，僅需找一段寬闊平整且有一定紋理的地面即可實(shí)現(xiàn)標(biāo)定，既降低了標(biāo)定物運(yùn)輸維護(hù)的成本，又減少了測(cè)量帶來(lái)的誤差，更為便捷高效。

3、第一方面，為達(dá)到上述技術(shù)目的，本發(fā)明提供了一種基于地面紋理特征的360車(chē)載環(huán)視相機(jī)標(biāo)定方法，包括：

4、1.安裝固定4個(gè)魚(yú)眼相機(jī)，并標(biāo)定好相機(jī)內(nèi)參k和畸變參數(shù)d，測(cè)量各個(gè)相機(jī)在車(chē)體上的安裝位置，包括以車(chē)輛正中心為世界坐標(biāo)系原點(diǎn)中四相機(jī)的三維坐標(biāo)pcam(x?y?z)；

5、2.對(duì)相機(jī)當(dāng)前幀圖像f1與相鄰幀圖像f0進(jìn)行地面特征點(diǎn)檢測(cè)和匹配，對(duì)匹配點(diǎn)集進(jìn)行篩選，獲取兩幀圖像匹配得到的特征點(diǎn)集e；

6、3.基于所述特征點(diǎn)集e，解算相機(jī)坐標(biāo)系下的車(chē)輛行駛的方向向量和地面法向量的坐標(biāo)；

7、4.基于所述車(chē)輛行駛方向向量和地面法向量以及所述前兩向量的叉乘向量歸一化后得到相機(jī)坐標(biāo)系下世界坐標(biāo)系的3個(gè)坐標(biāo)軸向量，解算相機(jī)姿態(tài)矩陣rc2w，所述相機(jī)姿態(tài)矩陣rc2w用于表示所述相機(jī)坐標(biāo)系與世界坐標(biāo)系之間的變換關(guān)系；

8、5.基于相機(jī)內(nèi)參k、畸變參數(shù)d、安裝位置參數(shù)pcam(x?y?z)以及所述相機(jī)姿態(tài)矩陣rc2w，對(duì)環(huán)視系統(tǒng)的四相機(jī)進(jìn)行初始外參標(biāo)定，擬合各個(gè)相機(jī)的外參矩陣；

9、6.基于相機(jī)內(nèi)參k、畸變參數(shù)d以及各個(gè)相機(jī)的外參矩陣，確定各個(gè)相機(jī)的標(biāo)定結(jié)果，通過(guò)像素映射得到各個(gè)相機(jī)的俯視投影圖；

10、7.基于初始標(biāo)定的結(jié)果，在結(jié)果俯視圖中相鄰兩相機(jī)視野重疊區(qū)域內(nèi)對(duì)圖像進(jìn)行灰度化、腐蝕膨脹等形態(tài)學(xué)處理和特征點(diǎn)提取，構(gòu)造誤差評(píng)估算法、點(diǎn)云配準(zhǔn)算法對(duì)初始外參進(jìn)行優(yōu)化，得到4相機(jī)畫(huà)面的俯視圖，基于優(yōu)化后得到的外參結(jié)果，將4個(gè)環(huán)視相機(jī)的俯視投影圖合并到一張圖中，對(duì)4相機(jī)重疊區(qū)域進(jìn)行圖像融合，完成相機(jī)姿態(tài)標(biāo)定，生成360俯視投影圖。

11、其中，步驟s1包括：

12、裝設(shè)4個(gè)魚(yú)眼相機(jī)于車(chē)體上，調(diào)整相機(jī)裝設(shè)角度，確保道路路面占據(jù)了相機(jī)的大部分畫(huà)面，并標(biāo)定好所有相機(jī)的內(nèi)參和畸變參數(shù)；

13、選取平整、紋理較多的路面，駕駛車(chē)輛穩(wěn)定行駛，避免顛簸路況，車(chē)輛行駛速度控制在15km/h以?xún)?nèi)，并盡量保持勻速，避免長(zhǎng)時(shí)間的靜止。

14、其中，步驟s2包括：

15、基于環(huán)視相機(jī)的原始圖像數(shù)據(jù)，確定所述當(dāng)前幀圖像和所述相鄰幀圖像；

16、對(duì)所述當(dāng)前幀圖像和所述相鄰幀圖像依次進(jìn)行圖像處理、特征檢測(cè)和匹配，得到兩幀圖像共有的特征點(diǎn)集；

17、采用特征點(diǎn)集篩選算法，將匹配誤差較大的點(diǎn)對(duì)篩除；

18、其中，步驟s3包括：

19、基于所述特征點(diǎn)集以及相機(jī)的內(nèi)參和畸變參數(shù)，在兩幀圖像之間進(jìn)行特征點(diǎn)匹配，通過(guò)對(duì)極幾何約束，解算所述相機(jī)內(nèi)參對(duì)應(yīng)的基礎(chǔ)矩陣；

20、基于所述基礎(chǔ)矩陣，解算相機(jī)從所述上一幀圖像到當(dāng)前幀圖像之間的相機(jī)位姿變化；

21、通過(guò)相機(jī)在兩幀圖像之間的相機(jī)位姿變化，計(jì)算在世界坐標(biāo)系下，車(chē)輛行駛方向的方向向量；

22、基于當(dāng)前幀圖像中所述特征點(diǎn)集，以及解算出來(lái)的幀間位姿變化，通過(guò)三角測(cè)量原理，還原當(dāng)前幀圖像中特征點(diǎn)的3d坐標(biāo)；

23、基于所述3d坐標(biāo)點(diǎn)集擬合出地面平面方程，確定在相機(jī)坐標(biāo)系下地面平面的法向量。

24、其中，步驟s4包括：

25、使用多幀圖像數(shù)據(jù)，確定多組相機(jī)坐標(biāo)系下的車(chē)輛行駛方向向量和地面法向量，根據(jù)車(chē)輛行駛狀況，對(duì)所述兩向量進(jìn)行篩選，得到較為準(zhǔn)確的結(jié)果；

26、基于所述車(chē)輛行駛方向向量和地面法向量，解算右向量，歸一化后得到相機(jī)坐標(biāo)系下世界坐標(biāo)系三個(gè)坐標(biāo)軸的近似向量，擬合出所述相機(jī)旋轉(zhuǎn)矩陣；

27、使用后續(xù)的多幀圖像數(shù)據(jù)，對(duì)擬合出的相機(jī)姿態(tài)矩陣進(jìn)行優(yōu)化；

28、其中，優(yōu)化是指使用非線性約束包括前進(jìn)方向約束、垂直方向約束、車(chē)輛旋轉(zhuǎn)方向約束對(duì)所述相機(jī)姿態(tài)矩陣進(jìn)行優(yōu)化。

29、其中，步驟s5包括：

30、基于測(cè)量出的相機(jī)安裝位置坐標(biāo)，解算每個(gè)相機(jī)位置與世界坐標(biāo)系的關(guān)系，得到每個(gè)相機(jī)的平移向量；

31、拼接上述旋轉(zhuǎn)矩陣和平移向量，得到每個(gè)相機(jī)的外參矩陣。

32、其中，步驟s6包括：

33、對(duì)每個(gè)相機(jī)的畫(huà)面進(jìn)行內(nèi)外參映射，實(shí)現(xiàn)相機(jī)的去畸變和世界坐標(biāo)系投影，得到每個(gè)相機(jī)的俯視圖；

34、對(duì)每個(gè)相機(jī)的映射關(guān)系增加尺度因子，確定映射后圖像的尺寸，統(tǒng)一4相機(jī)的世界坐標(biāo)系尺度。

35、其中，步驟s7包括：

36、基于上述4相機(jī)的俯視圖，在相機(jī)畫(huà)面重疊區(qū)域進(jìn)行特征點(diǎn)檢測(cè)和匹配，利用匹配的點(diǎn)集進(jìn)行點(diǎn)云配準(zhǔn)，對(duì)4相機(jī)的外參矩陣進(jìn)行進(jìn)一步優(yōu)化；

37、基于得到的4相機(jī)俯視圖以及配準(zhǔn)后的外參，利用圖像融合算法將4相機(jī)的俯視圖投影到同一幅圖像中，并在相機(jī)重疊區(qū)域做好融合過(guò)渡。

38、本發(fā)明的第二個(gè)方面涉及一種車(chē)載環(huán)視相機(jī)標(biāo)定裝置，包括：

39、魚(yú)眼相機(jī)視頻采集模塊，用于對(duì)魚(yú)眼相機(jī)的畫(huà)面進(jìn)行采集，并緩存當(dāng)前幀圖像數(shù)據(jù)和相鄰幀圖像數(shù)據(jù)；

40、地面特征點(diǎn)檢測(cè)模塊，用于對(duì)所述視頻采集模塊采集到的當(dāng)前幀圖像和相鄰幀圖像進(jìn)行地面特征點(diǎn)檢測(cè)和匹配，確定兩幀圖像中匹配到的特征點(diǎn)集；

41、坐標(biāo)向量計(jì)算模塊，用于基于所述的特征點(diǎn)集，確定世界坐標(biāo)系下車(chē)輛的行駛方向向量和地面特征點(diǎn)擬合出的地面平面的法向量；

42、相機(jī)姿態(tài)矩陣計(jì)算模塊，用于基于所述車(chē)輛行駛方向向量和所述地面法向量，得到相機(jī)姿態(tài)矩陣，所述相機(jī)姿態(tài)矩陣用于表示所述相機(jī)坐標(biāo)系與世界坐標(biāo)系之間的變化關(guān)系；

43、相機(jī)姿態(tài)標(biāo)定計(jì)算模塊，用于基于相機(jī)內(nèi)參、安裝位置參數(shù)以及所述相機(jī)姿態(tài)矩陣，確定各個(gè)相機(jī)的位置標(biāo)定結(jié)果。

44、本發(fā)明的第三個(gè)方面提供了一種車(chē)載相機(jī)的標(biāo)定裝置，包括：

45、電源管理模塊，用于對(duì)整個(gè)硬件平臺(tái)供電，確保各個(gè)模塊的穩(wěn)定運(yùn)行；

46、視頻信號(hào)解碼模塊，用于對(duì)裝設(shè)在車(chē)子四周的四路相機(jī)畫(huà)面進(jìn)行視頻采集和數(shù)據(jù)處理，獲得車(chē)輛行駛中攝像頭的圖像數(shù)據(jù)和上一幀車(chē)輛行駛的圖像數(shù)據(jù)；

47、核心處理模塊，處理視頻信號(hào)解碼模塊傳入的圖像數(shù)據(jù)，根據(jù)車(chē)輛行駛過(guò)程中的當(dāng)前幀圖像數(shù)據(jù)和上一幀圖像數(shù)據(jù)，計(jì)算相機(jī)在這兩幀畫(huà)面下的相對(duì)位姿變化，并根據(jù)得到的位姿變化對(duì)地面進(jìn)行標(biāo)定，得到地面的標(biāo)定結(jié)果，并根據(jù)車(chē)輛的運(yùn)動(dòng)方向向量和地面法向量解算并優(yōu)化對(duì)應(yīng)相機(jī)的外參，對(duì)每個(gè)相機(jī)進(jìn)行逐一標(biāo)定，并合成360俯視投影圖；

48、視頻輸出模塊，根據(jù)核心處理模塊得到360俯視投影圖，對(duì)圖像數(shù)據(jù)進(jìn)行輸出，在車(chē)載顯示器上進(jìn)行圖像顯示。

49、本發(fā)明克服了現(xiàn)有技術(shù)中由于需要特定標(biāo)定物輔助進(jìn)行標(biāo)定，導(dǎo)致難以保證標(biāo)定精度的缺陷，提高了相機(jī)標(biāo)定的精度與效率，既降低了標(biāo)定物運(yùn)輸維護(hù)的成本，又減少了測(cè)量誤差帶來(lái)的影響，更為便捷高效。

50、本發(fā)明的優(yōu)點(diǎn)是：無(wú)需標(biāo)定輔助工具，也無(wú)需預(yù)先印制場(chǎng)地，只要一塊平整的有一定紋理的地面即可實(shí)現(xiàn)標(biāo)定，減少了由于人員操作和測(cè)量帶來(lái)失誤的可能性。