本發(fā)明涉及視頻圖像處理領(lǐng)域，具體涉及一種全景泊車輔助系統(tǒng)及其廣角圖像調(diào)試方法和裝置。
背景技術(shù)：
：全景泊車輔助系統(tǒng)，又稱360度全景輔助系統(tǒng)，主要采用安裝在車身前后左右四個(gè)方向的超廣角攝像頭進(jìn)行圖像采集，并通過對攝像頭采集的圖像去畸變及拼接后，展現(xiàn)出效果上相當(dāng)于從車頂俯視車身周邊的全景圖。全景圖的拼接需要兩個(gè)參數(shù)：攝像頭的內(nèi)參和外參。內(nèi)參反映的是攝像頭本身的特性，通過內(nèi)參的調(diào)整能夠去除攝像頭本身的畸變，其主要包括焦距，中心點(diǎn)，以及畸變參數(shù)(包括k1、k2、k3、k4等，通常用于對圖像進(jìn)行建模)；外參反映的是攝像頭在汽車所處三維世界坐標(biāo)的位置關(guān)系，通過攝像頭外參，能夠?qū)⑺膫€(gè)攝像頭中的圖片，拼接成一個(gè)完整的360度全景圖，其主要包括平移向量和旋轉(zhuǎn)向量當(dāng)前市面上針車載魚眼攝像頭的標(biāo)定主流的有兩步法和一步法。兩步法標(biāo)定過程分兩步，分別為內(nèi)參標(biāo)定和外參標(biāo)定，其中內(nèi)參標(biāo)定主要在出廠前完成，而外參標(biāo)定一般在現(xiàn)場裝車后進(jìn)行。兩步法的缺點(diǎn)是，需要對攝像頭進(jìn)行工廠定參，并對攝像頭編號管理和標(biāo)定，標(biāo)定完成后需要對參數(shù)進(jìn)行管理以及拷貝或傳輸，現(xiàn)場安裝時(shí)需要根據(jù)攝像頭編號導(dǎo)入?yún)?shù)。此方法成本高，效率低，且容易出錯(cuò)。一步法主要是安裝后，通過鋪設(shè)特定的調(diào)試布，實(shí)現(xiàn)內(nèi)外參的一次調(diào)試。而當(dāng)前一步調(diào)試由于采用的模板過于簡單，需要使用鍵盤和屏幕交互，并由現(xiàn)場調(diào)試人員完成特征點(diǎn)的標(biāo)定，耗時(shí)較長，不利于自動(dòng)化批量生產(chǎn)。技術(shù)實(shí)現(xiàn)要素：本申請?zhí)峁┮环N全景泊車輔助系統(tǒng)及其廣角圖像調(diào)試方法和裝置，以實(shí)現(xiàn)同時(shí)優(yōu)化調(diào)試廣角圖像內(nèi)、外參數(shù)集。根據(jù)第一方面，一種實(shí)施例中提供一種全景泊車輔助系統(tǒng)的廣角圖像調(diào)試方法，包括：世界坐標(biāo)獲取步驟，獲取調(diào)試模板特征點(diǎn)的世界坐標(biāo)；采集數(shù)據(jù)獲取步驟，獲取廣角采集的調(diào)試模板特征點(diǎn)的圖像數(shù)據(jù)，所述圖像數(shù)據(jù)至少包括調(diào)試模板 特征點(diǎn)在采集圖像中的理論坐標(biāo)值；觀測模型建立步驟，根據(jù)獲取的調(diào)試模板特征點(diǎn)的世界坐標(biāo)建立特征點(diǎn)的圖像觀測值與內(nèi)、外參數(shù)集之間的觀測模型；迭代優(yōu)化步驟，計(jì)算當(dāng)前次特征點(diǎn)的圖像觀測值與理論坐標(biāo)值之間的誤差；并迭代優(yōu)化誤差，得到優(yōu)化后的內(nèi)、外參數(shù)集。根據(jù)第二方面，一種實(shí)施例中提供一種全景泊車輔助系統(tǒng)的廣角圖像調(diào)試裝置，包括：世界坐標(biāo)獲取模塊，用于獲取調(diào)試模板特征點(diǎn)的世界坐標(biāo)；采集數(shù)據(jù)獲取模塊，用于獲取廣角采集的調(diào)試模板特征點(diǎn)的圖像數(shù)據(jù)，所述圖像數(shù)據(jù)至少包括調(diào)試模板特征點(diǎn)在采集圖像中的理論坐標(biāo)值；觀測模型建立模塊，用于根據(jù)獲取的調(diào)試模板特征點(diǎn)的世界坐標(biāo)建立特征點(diǎn)的圖像觀測值與內(nèi)、外參數(shù)集之間的觀測模型；迭代優(yōu)化模塊，用于計(jì)算當(dāng)前次特征點(diǎn)的圖像觀測值與理論坐標(biāo)值之間的誤差；并迭代優(yōu)化誤差，得到優(yōu)化后的內(nèi)、外參數(shù)集。根據(jù)第三方面，一種實(shí)施例中提供一種全景泊車輔助系統(tǒng)，包括：上述廣角圖像調(diào)試裝置。依據(jù)上述實(shí)施例的全景泊車輔助系統(tǒng)的廣角圖像調(diào)試方法，由于采用了內(nèi)、外參數(shù)集建立特征點(diǎn)觀測模型，在優(yōu)化迭代時(shí)，可以同時(shí)對內(nèi)、外參數(shù)進(jìn)行優(yōu)化，從而避免了在調(diào)試過程中，因內(nèi)參輸入錯(cuò)誤而導(dǎo)致的調(diào)試錯(cuò)誤。附圖說明圖1為本實(shí)施例全景泊車輔助系統(tǒng)示意圖；圖2為本實(shí)施例公開的一種廣角圖像調(diào)試裝置示意圖；圖3為一種實(shí)施例的一種觀測模型建立模塊示意圖；圖4為一種實(shí)施例的一種迭代優(yōu)化模塊示意圖；圖5為本實(shí)施例公開的一種廣角圖像調(diào)試方法流程圖；圖6為本實(shí)施例廣角攝像頭采集的調(diào)試模板示意圖；圖7為廣角攝像頭采集圖像畸變原理圖；圖8為本實(shí)施例公開的一種迭代優(yōu)化流程圖；圖9為本實(shí)施例迭代優(yōu)化后的效果示意圖。具體實(shí)施方式請參考圖1，為一種全景泊車輔助系統(tǒng)示意圖，由于全景泊車輔助系統(tǒng)采用的是廣角攝像頭，其采集的圖像會發(fā)生畸變，因此需要對廣角攝像頭采集的圖 像數(shù)據(jù)進(jìn)行調(diào)試，得到校正參數(shù)，以實(shí)現(xiàn)畸變圖像的校正。在對全景泊車輔助系統(tǒng)進(jìn)行調(diào)試過程中，通常會在鋪設(shè)調(diào)試模板，例如圖1所示的在車身四周攝像頭正下方鋪設(shè)調(diào)試模板A(5x7棋盤格)，在攝像頭公共區(qū)域鋪設(shè)調(diào)試模板B(3x3棋盤格)，而后由攝像頭采集調(diào)試模板(包括A和B)的圖像數(shù)據(jù)，調(diào)試系統(tǒng)將調(diào)試模板的世界坐標(biāo)映射到調(diào)試模板的采集圖像中得到調(diào)試模板的觀測值；采集調(diào)試模板的圖像數(shù)據(jù)，得到特征點(diǎn)的實(shí)際坐標(biāo)(即理論坐標(biāo)值)，根據(jù)調(diào)試模板的觀測值與實(shí)際的理論坐標(biāo)值進(jìn)行比對來對調(diào)試校正參數(shù)進(jìn)行優(yōu)化。請參考圖2，為本實(shí)施例公開的一種全景泊車輔助系統(tǒng)的廣角圖像調(diào)試裝置，包括：世界坐標(biāo)獲取模塊1、采集數(shù)據(jù)獲取模塊2、觀測模型建立模塊3和迭代優(yōu)化模塊4，其中，世界坐標(biāo)獲取模塊1用于獲取調(diào)試模板特征點(diǎn)的世界坐標(biāo)；采集數(shù)據(jù)獲取模塊2用于獲取廣角攝像頭采集的調(diào)試模板特征點(diǎn)的圖像數(shù)據(jù)，其中，圖像數(shù)據(jù)至少包括調(diào)試模板特征點(diǎn)在采集圖像中的理論坐標(biāo)值；觀測模型建立模塊3用于根據(jù)獲取的調(diào)試模板特征點(diǎn)的世界坐標(biāo)建立特征點(diǎn)的圖像觀測值與內(nèi)、外參數(shù)集之間的觀測模型；迭代優(yōu)化模塊4用于計(jì)算當(dāng)前次特征點(diǎn)的圖像觀測值與理論坐標(biāo)值之間的誤差；并迭代優(yōu)化誤差，得到優(yōu)化后的內(nèi)、外參數(shù)集。在具體實(shí)施例中，請參考圖3，觀測模型建立模塊3包括：初始化單元31和建立單元32，其中，初始化單元31用于將獲取的調(diào)試模板特征點(diǎn)的圖像數(shù)據(jù)與調(diào)試模板特征點(diǎn)的世界坐標(biāo)進(jìn)行映射得到初始化外參；建立單元32根據(jù)初始化外參和預(yù)設(shè)內(nèi)參建立特征點(diǎn)的圖像觀測值與內(nèi)、外參數(shù)集之間的觀測模型。在具體實(shí)施例中，迭代優(yōu)化模塊4包括：迭代增量計(jì)算單元41和觀測模型更新單元42，其中，迭代增量計(jì)算單元41用于根據(jù)當(dāng)前次特征點(diǎn)的圖像觀測值與理論坐標(biāo)值之間的誤差得到當(dāng)前次內(nèi)、外參的迭代增量；觀測模型更新單元42用于將當(dāng)前次內(nèi)、外參的迭代增量加入當(dāng)前的內(nèi)、外參集更新觀測模型。在一種實(shí)施例中，迭代增量計(jì)算單元41用于根據(jù)如下公式計(jì)算迭代增量：Δxi＝(JTJ)-1JTεi，其中，Δxi為當(dāng)前次內(nèi)、外參的迭代增量，J為當(dāng)前次觀測模型對內(nèi)、外參集的雅可比導(dǎo)數(shù)矩陣，εi為當(dāng)前次特征點(diǎn)的圖像觀測值與理論坐標(biāo)值之間的誤差；在另一種實(shí)施例中，迭代增量計(jì)算單元41用于根據(jù)如下公式計(jì)算迭代增量：Δxi＝(JTJ+μI)-1JTεi，其中，Δxi為當(dāng)前次內(nèi)、外參的迭代增量，J為當(dāng)前次觀測模型對內(nèi)、外參集的雅可比導(dǎo)數(shù)矩陣，μ為阻尼系數(shù)，I為單位對角陣，εi為當(dāng)前次特征點(diǎn)的圖像觀測值與理論坐標(biāo)值之間的誤差。基于上述實(shí)施例公開的全景泊車輔助系統(tǒng)的廣角圖像調(diào)試裝置，本實(shí)施例還公開了一種全景泊車輔助系統(tǒng)的廣角圖像調(diào)試方法，請參考圖5，為本實(shí)施例 全景泊車輔助系統(tǒng)的廣角圖像調(diào)試方法流程圖，具體方法包括如下步驟：步驟100、世界坐標(biāo)獲取。獲取調(diào)試模板特征點(diǎn)的世界坐標(biāo)。請參考圖1，在對全景泊車輔助系統(tǒng)進(jìn)行調(diào)試過程中，需要在車身四周攝像頭正下方鋪設(shè)調(diào)試模板A(5x7棋盤格)，在攝像頭公共區(qū)域鋪設(shè)調(diào)試模板B(3x3棋盤格)，并獲取調(diào)試模板特征點(diǎn)的世界坐標(biāo)。一般而言，調(diào)試模板為黑白間隔的棋盤格，本實(shí)施例中，將黑格(當(dāng)然也可以是黑格的角點(diǎn))作為調(diào)試模板的特征點(diǎn)。在其它實(shí)施例中，也可以是白格或者白格的角點(diǎn)。步驟200、采集數(shù)據(jù)獲取。獲取廣角攝像頭采集的調(diào)試模板特征點(diǎn)的圖像數(shù)據(jù)，其中，圖像數(shù)據(jù)至少包括調(diào)試模板特征點(diǎn)在采集圖像中的理論坐標(biāo)值。請參考圖6，為本實(shí)施例廣角攝像頭采集的調(diào)試模板示意圖，由圖6可知，由于攝像頭采用的是廣角攝像頭，因此，采集到的圖像會發(fā)生畸變。步驟300、觀測模型建立。根據(jù)獲取的調(diào)試模板特征點(diǎn)的世界坐標(biāo)建立特征點(diǎn)的圖像觀測值與內(nèi)、外參數(shù)集之間的觀測模型。在本實(shí)施例中，在步驟100獲取到調(diào)試模板特征點(diǎn)的世界坐標(biāo)后，根據(jù)廣角攝像頭的內(nèi)、外參數(shù)集來建立觀測模型，其中，內(nèi)參為攝像頭自身所引起畸變的參數(shù)，例如：焦距包括橫向焦距Fx和縱向焦距Fy；中心點(diǎn)包括橫向中心點(diǎn)Cx和縱向中心點(diǎn)Cy；以及用于建模的畸變參數(shù)等。外參為世界平面坐標(biāo)系映射到攝像頭采集圖像平面坐標(biāo)系的所需要進(jìn)行的坐標(biāo)轉(zhuǎn)換參數(shù)，轉(zhuǎn)換過程通常包括坐標(biāo)系的平移和旋轉(zhuǎn)，因此，外參包括如齊次坐標(biāo)坐標(biāo)系之間的平移向量和旋轉(zhuǎn)向量在具體實(shí)施例中，可以將獲取的調(diào)試模板特征點(diǎn)的圖像數(shù)據(jù)與調(diào)試模板特征點(diǎn)的世界坐標(biāo)進(jìn)行映射得到初始化外參，如平移向量和旋轉(zhuǎn)向量請參考圖7，調(diào)試模板特征點(diǎn)Pa在經(jīng)透鏡折射至采集平面后，會發(fā)生位置的變更，在采集平面上如P′c所示，調(diào)試模板特征點(diǎn)Pa經(jīng)透鏡折射至采集圖像中的理論位置如P′c所示，該P(yáng)′c的坐標(biāo)值為特征點(diǎn)Pa經(jīng)透鏡折射至采集圖像中的理論坐標(biāo)值；Pc為觀測模型所輸出的特征點(diǎn)，即Pc由世界坐標(biāo)特征點(diǎn)Pa通過觀測模型映射到采集圖像平面坐標(biāo)所得到的，在本實(shí)施例中，Pc的坐標(biāo)值為特征點(diǎn)Pa圖像觀測值；為了將調(diào)試模板特征點(diǎn)Pa映射至采集平面的理論位置P′c，需要對世界坐標(biāo)中調(diào)試模板特征點(diǎn)Pa進(jìn)行相應(yīng)的平移和旋轉(zhuǎn)，由此可以得到各特征點(diǎn)平移和旋轉(zhuǎn)所采用的平移向量和旋轉(zhuǎn)向量根據(jù)初始化外參和預(yù)設(shè)內(nèi)參建立特征點(diǎn)的圖像觀測值與內(nèi)、外參數(shù)集之間的觀測模型。預(yù)設(shè)內(nèi)參可以根據(jù)廣角攝像頭所采用的具體透鏡類型或者經(jīng)驗(yàn)確定，請參考圖7，調(diào)試模板特征點(diǎn)Pa在經(jīng)透鏡折射至采集平面點(diǎn)Pc后，例如可以根據(jù)折射角θd與入射角θ之間的關(guān)系建立觀測模型來得到畸變參數(shù)一種實(shí) 施例中，可以采用如下公式來確定畸變參數(shù)θd＝θ*(1+k1*θ2+k2*θ4+k3*θ6+k4*θ8)其中，其中入射角θ＝arctan(r/d)，r為調(diào)試模板特征點(diǎn)Pa到中心點(diǎn)的水平距離，d為世界平面到透鏡所在平面的距離，k1、k2、k3和k4為畸變參數(shù)在具體實(shí)施例中，畸變參數(shù)可以根據(jù)需要進(jìn)行增減參數(shù)的個(gè)數(shù)。在一種實(shí)施例中，透鏡的內(nèi)參焦距和中心點(diǎn)可以通過系統(tǒng)預(yù)設(shè)。在獲得內(nèi)、外參數(shù)集之后，便可以建立各特征點(diǎn)的圖像觀測模型fi(x)，其中，fi(x)為第i個(gè)特征點(diǎn)的觀測值，x為內(nèi)、外參數(shù)集，包括：畸變參數(shù)如k1、k2、k3和k4；橫向焦距Fx和縱向焦距Fy；橫向中心點(diǎn)Cx和縱向中心點(diǎn)Cy；以及平移向量和旋轉(zhuǎn)向量步驟400、迭代優(yōu)化。計(jì)算當(dāng)前次特征點(diǎn)的圖像觀測值與理論坐標(biāo)值之間的誤差；并迭代優(yōu)化誤差，得到優(yōu)化后的內(nèi)、外參數(shù)集。在經(jīng)步驟300建立圖像觀測模型fi(x)后，根據(jù)圖像觀測模型fi(x)可以得到第i個(gè)特征點(diǎn)映射到采集平面的觀測值，將該觀測值與該特征點(diǎn)在采集平面的理論坐標(biāo)值作差，可以得到該特征點(diǎn)的觀測誤差其中，為第i個(gè)特征點(diǎn)第j次觀測誤差。判斷是否小于預(yù)設(shè)的閾值，當(dāng)小于預(yù)設(shè)閾值時(shí)，則可輸出當(dāng)前次觀測的內(nèi)、外參數(shù)集xj，其中，xj為第j次觀測時(shí)的內(nèi)、外參數(shù)集；當(dāng)大于預(yù)設(shè)閾值時(shí)，則說明觀測的誤差較大，需要對內(nèi)、外參數(shù)集x進(jìn)行迭代優(yōu)化，直到小于預(yù)設(shè)閾值，輸出對應(yīng)的內(nèi)、外參數(shù)集xj，即為優(yōu)化后的內(nèi)、外參數(shù)集。在具體實(shí)施例中，可以使用高斯-牛頓迭代法，迭代優(yōu)化內(nèi)、外參數(shù)集xj，求得所有內(nèi)、外參數(shù)，具體地，請參考圖8，迭代優(yōu)化過程可以包括：步驟410、迭代增量計(jì)算。根據(jù)當(dāng)前次特征點(diǎn)的圖像觀測值與該特征點(diǎn)理論坐標(biāo)值y′c之間的誤差得到當(dāng)前次內(nèi)、外參的迭代增量。請參考圖7，如特征點(diǎn)Pa在映射至采集平面時(shí)，其采集平面的理論坐標(biāo)為y'c，于是可以得到該特征點(diǎn)當(dāng)前次(第j次)觀測誤差各特征點(diǎn)當(dāng)前次觀測誤差集合構(gòu)成了當(dāng)前次各特征點(diǎn)的觀測誤差集合εj。而后，再使用SVD分解和偽逆矩陣的求解法，得出所有內(nèi)外參數(shù)當(dāng)前次的高斯-牛頓法迭代增量Δxj?？梢允紫惹蟮卯?dāng)前次觀測模型對內(nèi)、外參集的雅可比導(dǎo)數(shù)矩陣J，具體地，可以采用如下公式求取雅可比導(dǎo)數(shù)矩陣J：J=∂f1∂x1·······∂f1∂xm......∂fn∂x1······∂fn∂xm---(1)]]>其中，x1……xm為內(nèi)、外參集中的各個(gè)參數(shù)，f1……fn分別為第1至n個(gè)特征點(diǎn)的觀測模型。在利用(1)求得雅可比導(dǎo)數(shù)矩陣J后，可采用如下公式計(jì)算高斯-牛頓法迭代增量Δxj：Δxj＝(JTJ)-1JTεj(2)其中，J為雅可比導(dǎo)數(shù)矩陣J的轉(zhuǎn)置矩陣，Δxj為各內(nèi)、外參集中各參數(shù)第j次迭代后的高斯-牛頓法迭代增量集合。需要說明的是，在優(yōu)選的實(shí)施例中，為了避免在迭代過程中，內(nèi)、外參數(shù)收斂太快出現(xiàn)病態(tài)矩陣，可以在高斯-牛頓下降因子上加入阻尼系數(shù)，一種方法為Levenberg-Marquardt法，簡稱LM法，具體為，在高斯牛頓增量公式(2)上增加阻尼因子μ，得到新的增量公式：Δxj＝(JTJ+μI)-1JTεj，其中，Δxj為當(dāng)前次內(nèi)、外參的迭代增量，J為當(dāng)前次觀測模型對內(nèi)、外參集的雅可比導(dǎo)數(shù)矩陣，μ為阻尼系數(shù)，I為單位對角陣，εj為當(dāng)前次特征點(diǎn)的圖像觀測值與理論坐標(biāo)值之間的誤差，j為迭代次數(shù)。步驟420、觀測模型更新。將當(dāng)前次內(nèi)、外參的迭代增量加入當(dāng)前的內(nèi)、外參集更新觀測模型。將公式(2)求得的高斯-牛頓法迭代增量Δxj與第j次內(nèi)、外參集xj相加，即可得到下一次迭代的輸入內(nèi)、外參集xj+1，于是完成了觀測模型fj+1(x)的更新。步驟430、計(jì)算下一次特征點(diǎn)誤差。根據(jù)更新后的觀測模型計(jì)算下一次(第j+1次)特征點(diǎn)的圖像觀測值與理論坐標(biāo)值之間的觀測誤差εj+1，具體的計(jì)算方式可參見步驟410，在此不再贅述。并判斷觀測誤差εj+1是否小于預(yù)設(shè)閾值c。如果判斷結(jié)果為觀測誤差εj+1小于預(yù)設(shè)閾值c，則說明當(dāng)前的精度達(dá)到要求，于是可以輸出步驟420求得的內(nèi)、外參集xj+1，該參數(shù)集即為優(yōu)化后的內(nèi)、外參數(shù)集；如果判斷結(jié)果為觀測誤差εj+1大于預(yù)設(shè)閾值c，則說明當(dāng)前的精度未達(dá)到要求，需要返回步驟410進(jìn)行再次的迭代優(yōu)化誤差。請參考圖9，為本實(shí)施例迭代優(yōu)化后的效果示意圖，圖9表明，依據(jù)上述實(shí)施例提供的調(diào)試方法，能夠有效地去除廣角攝像頭采集圖像所帶來的畸變，并且也能夠同時(shí)調(diào)試內(nèi)、外參數(shù)。本實(shí)施例的調(diào)試方法，通過在攝像頭照射公共區(qū)域放置調(diào)試模板，并獲取調(diào)試模板的特征點(diǎn)，而后得到觀測模型，可以免除廠家對攝像頭參數(shù)的管理，簡化調(diào)試人員的人機(jī)交互，適應(yīng)性強(qiáng)，現(xiàn)場調(diào)試簡單，并使得360全景完美拼接。此外，采用誤差分析和迭代優(yōu)化算法，易于自動(dòng)化檢測，能夠快速收斂并終止迭代，獲得精確的內(nèi)、外參數(shù)。以上應(yīng)用了具體個(gè)例對本發(fā)明進(jìn)行闡述，只是用于幫助理解本發(fā)明，并不用以限制本發(fā)明。對于本發(fā)明所屬
技術(shù)領(lǐng)域：
的技術(shù)人員，依據(jù)本發(fā)明的思想，還可以做出若干簡單推演、變形或替換。當(dāng)前第1頁1 2 3