環(huán)視圖像穩(wěn)定方法和裝置與流程
本專利說明書涉及輔助駕駛系統(tǒng)，特別是涉及具有一臺或多臺攝像機的數(shù)據(jù)流輸入的輔助駕駛系統(tǒng)。
背景技術(shù)：
高級輔助駕駛系統(tǒng)(adas)指為自動化及增強車輛系統(tǒng)安全性和改善駕駛而研發(fā)的系統(tǒng)。很多輔助駕駛系統(tǒng)利用有關(guān)車輛位置、方向和運動狀態(tài)的信息來以不同方式協(xié)助駕駛者。這類信息更可用作自動駕駛車輛。
其中，視覺里程計可以用作測定車輛的位置。視覺里程計系統(tǒng)利用攝像機記錄輸入圖像，并進行圖像校正。檢測特征，將特征與一系列圖像幀匹配，并且例如通過利用相關(guān)性來確立兩幅圖像間的一致性、利用特征提取及相關(guān)性來構(gòu)建光流場，或利用盧卡斯-卡納德方法構(gòu)建光流場。檢測追蹤誤差，消除相應(yīng)的離群值，例如利用卡爾曼濾波或通過使基于特征幾何性質(zhì)的代價函數(shù)最小化，來從光流中推算攝像機運動。
專利申請us2010/0295948公開了一種攝像機標(biāo)定的裝置和方法。攝像機的參數(shù)，諸如傾角和左右轉(zhuǎn)動角，通過所檢測的平行線和相應(yīng)的滅點(vanishingpoint)而標(biāo)定。
qianghe和chee-hunghenrychu在《國際計算機應(yīng)用雜志》(internationaljournalofcomputerapplications)第65卷第10號，2013年三月，第22–28頁發(fā)表的研究文章“通過歸一化單位球面聚類檢測滅點(vanishingpointdetectionbyclusteringonthenormalizedunitsphere)”中描述利用投影在一歸一化單位球面的方式來檢測滅點。
以下所列參考文獻[1]至[3]涉及本專利說明書的主題，所述參考文獻在此通過引用并入。
[1]filippovella，alfiocastorina，massimomancuso，giuseppemessina，《通過自適應(yīng)塊運動矢量濾波實現(xiàn)數(shù)字圖像穩(wěn)定(digitalimagestabilizationbyadaptiveblockmotionvectorsfiltering)》，ieee消費電子產(chǎn)品匯刊，2002.
[2]josephgeumlek，linghanmeng，《用于視頻穩(wěn)定的相關(guān)點匹配：貝殼素描(contextualpointmatchingforvideostabilization:seashellsketch)》，加州大學(xué)歐文分校，2012.
[3]yanhaozhang，hongxunyao，pengfeixu，rongrongji、，xiaoshuaisun，xianmingliu，《基于顯著性驅(qū)動sift匹配和判別性ransac的視頻穩(wěn)定(videostabilizationbasedonsaliencydrivensiftmatchinganddiscriminativeransac)》，見：第三屆互聯(lián)網(wǎng)多媒體計算與服務(wù)國際會議論文集，2011.
參考文獻[1]中，vella等人描述了一種基于塊運動矢量的運動估算方法。此方法雖然穩(wěn)健但卻可能出現(xiàn)誤差，諸如在最終圖像出現(xiàn)分塊。
參考文獻[2]中，geumlek等人應(yīng)用一種相關(guān)形狀匹配算法。此方法涉及密集計算，但在形狀自相似度高或其外觀在各幀之間顯著改變但整體形狀維持相似的時候，相較其他只考慮局部特征的方法優(yōu)勝。
參考文獻[3]中，zhang等人運用了尺度不變特征轉(zhuǎn)換(sift)匹配及判別性ransac。之后使用卡爾曼濾波器完成運動平滑。
技術(shù)實現(xiàn)要素：
第一方面，本專利說明書公開一種適用于來自汽車上的一個或多個攝像機的圖像序列，特別是環(huán)視或360度視角圖像的圖像穩(wěn)定方法。舉例而言，環(huán)視圖像可以通過前視攝像機、右側(cè)攝像機、左側(cè)攝像機和后視攝像機的合成數(shù)據(jù)而獲得。
汽車四周的圖像可以通過一個或多個安裝于汽車的攝像機而獲得。每一攝像機提供連續(xù)圖像的數(shù)據(jù)流，所述連續(xù)圖像整合至單個連續(xù)圖像序列。對地面的投影通過將各個自上而下的視圖整合成為單個投影圖像而獲得。
把圖像畸變函數(shù)h-1(x”)應(yīng)用至圖像以獲取校正后的圖像。校正后的圖像鏡頭畸變減少，因鏡頭畸變而彎曲、原本應(yīng)對應(yīng)對象/目標(biāo)直線的線條亦會拉直?；冃Ｕ绕溥m用于消除桶形鏡頭畸變，例如魚眼鏡頭所導(dǎo)致的畸變。
在校正后的圖像中在車輛四周檢測至少兩條彼此平行或大致平行的對應(yīng)直線。
計算至少兩條平行線在一單位球面上的滅點位置，并且追蹤該單位球面上該滅點的運動。在一特定實施例中，追蹤滅點的運動依靠預(yù)測濾波器——例如卡爾曼濾波器進行。在另外一個實施例中，預(yù)測濾波器的輸入包括運動傳感器或位置傳感器的數(shù)值。例如，位置傳感器可以是陀螺羅盤、液位傳感器或另外一種顯示關(guān)于豎直方向的傾斜的重力傳感器。
滅點是穩(wěn)健的特征，并可利用單位球面簡單計算求得。每幅圖像的俯視投影皆與一般投影模型相似，因此可輕易獲得雅可比矩陣，并用以為每幅圖像投射卡爾曼濾波。
一個或多個攝像機方向的改變由所追蹤的滅點運動推導(dǎo)而得，根據(jù)一個或多個攝像機的所推導(dǎo)的方向改變而對所記錄的圖像進行比例縮放計算。根據(jù)一實施例，像點被識別為地平面物點/對象點/目標(biāo)點，并以仿射投影的形式投射至地平面。根據(jù)仿射投影和推導(dǎo)的攝像機方向改變，利用到地平面的距離計算縮放系數(shù)。
縮放系數(shù)的計算還可包括利用攝像機的預(yù)設(shè)方向及位置數(shù)據(jù)，例如照相機離地平面的高度及攝像機的方向。舉例而言，攝像機預(yù)設(shè)的方向及位置可以作為攝像機的輸入數(shù)據(jù)、預(yù)先儲存的數(shù)值或利用汽車周圍的預(yù)定設(shè)置進行的攝像機標(biāo)定而獲得。例如，預(yù)定設(shè)置可包括附有測量格網(wǎng)的地面。
在某些特定的實施例中，圖像的畸變校正基于凸透鏡的透鏡模型，例如多項式魚眼模型，或基于霍夫變換。
在一特定實施例中，檢測到的相應(yīng)平行線的滅點通過計算檢測到的線條的像點在單位球面上的投影以及通過計算相應(yīng)大圓的相交而獲得。
在一特定實施例中，圖像縮放包括推導(dǎo)環(huán)視系統(tǒng)攝像機與地面的實際距離，基于所求得的攝像機與地面一物點的實際距離來計算圖像像素的縮放系數(shù)。
在另一實施例中，滅點的追蹤包括利用一預(yù)測濾波器進行追蹤。在一特定實施例中，追蹤濾波器包括卡爾曼濾波器。根據(jù)另一實施例，預(yù)測的輸入數(shù)值進一步包括運動傳感器——例如汽車的加速度傳感器和/或諸如陀螺羅盤、液位傳感器或重力傳感器等方向傳感器——的輸入。
另一方面，本專利說明書公開一種計算機程序產(chǎn)品，例如存放在數(shù)據(jù)載體、持久性或易失性計算機存儲器中可供執(zhí)行所述方法的可執(zhí)行文件。該計算機程序產(chǎn)品尤其涉及一種在適用于汽車電子裝置的硬件部件上的可執(zhí)行文件。
根據(jù)另一方面，本專利說明書涉及一種供機動車輛補償安裝在機動車輛上的一臺或多臺攝像機的方向改變的圖像校正系統(tǒng)。
運算單元包括用以接收圖像數(shù)據(jù)流的輸入連接部。輸入數(shù)據(jù)包括通過至少一攝像機連續(xù)拍攝的連續(xù)攝像機圖像。
運算單元包括輸入連接部和處理器，所述輸入連接部用以接收從汽車上的一臺或多臺攝像機拍攝的汽車周圍的圖像，所述處理器用以應(yīng)用鏡頭畸變校正以取得校正圖像并在校正后的圖像上檢測至少兩條對應(yīng)的直線。
此外，處理器用以推導(dǎo)至少兩條對應(yīng)直線在一單位球面上的滅點位置，追蹤該單位球面上滅點的運動，以及根據(jù)所追蹤的滅點的運動推導(dǎo)一臺或多臺攝像機方向的改變。處理器利用所推導(dǎo)的方向改變和所記錄的攝像機圖像的投影，或從所記錄的圖像獲得的圖像，得出所記錄的圖像相對地平面的比例縮放。
根據(jù)一特定實施例，攝像機安裝在與地平面成直角、與地平面的距離為d的位置，攝像機在水平線以下的視角為β1，攝像機在水平線以上的視角為β2。根據(jù)此特定的幾何排布，攝像機覆蓋的街道延伸的長度為
上述等式可通過三角形正弦定理求解。
類似的計算可得出圖像像素的等效長度，該等效長度是像素與鏡頭光軸的距離、攝像機高度和針孔攝像機的攝像機傾角的函數(shù)。本專利說明書采用一透鏡模型，根據(jù)透鏡模型——尤其是魚眼透鏡模型，推導(dǎo)一局部放大系數(shù)。假設(shè)一個像素對應(yīng)地平面的一個區(qū)域，根據(jù)透鏡模型計算出該像素在世界坐標(biāo)系上的等效長度。
根據(jù)另一方面，本專利說明書公開一種設(shè)有圖像校正系統(tǒng)的機動車輛，例如汽車、客車、小型公共汽車、多用途運載車、輕型卡車、小型客貨車或露營拖車。機動車輛上的一臺或多臺攝像機連接圖像校正系統(tǒng)的運算單元。
在運轉(zhuǎn)期間，攝像機傳送圖像數(shù)據(jù)至運算單元。根據(jù)其他實施例，根據(jù)汽車的運行狀態(tài)，例如根據(jù)所選的檔位，存在不同工作模式。舉例而言，當(dāng)汽車緩慢行駛時，例如在停車模式下，圖像頻率會有所減低，或者攝像機的方向可以根據(jù)車輛的運動狀態(tài)而自動調(diào)節(jié)。
根據(jù)本專利說明書的圖像穩(wěn)定方法涉及一種環(huán)視系統(tǒng)，該系統(tǒng)提供與車輛上方指向地面的虛擬攝像機的視圖相近的透視投影。尤其是，圖像穩(wěn)定方法是一種穩(wěn)定地平面投影的方法，避免因環(huán)視系統(tǒng)的任意一個攝像機的任何運動——例如左右轉(zhuǎn)動和俯仰運動——而導(dǎo)致出現(xiàn)誤差。這樣便可避免在拼接不同區(qū)域時出現(xiàn)可辨差異，使投影保持一致。
根據(jù)另一實施例，將來自汽車上一臺或多臺攝像機的汽車周圍圖像和所記錄的圖像的像點投影至一單位球面，其中投影包括應(yīng)用鏡頭畸變校正。
根據(jù)投影在單位球面上的像點計算出至少一個滅點，并針對一臺或多臺攝像機中的每一臺攝像機追蹤至少一個滅點的運動。所述至少一個滅點的運動用以計算到地平面的校正后的投影。尤其是，追蹤可利用預(yù)測濾波器——例如卡爾曼濾波器進行。
在一實施例中，該方法包括為一臺或多臺攝像機中的每一臺推導(dǎo)像平面位置相對滅點運動的位置偏差，并持續(xù)對位置偏差進行濾波處理。在一實施例中，濾波包括利用卡爾曼濾波進行濾波。
尤其是，該方法可包括例如通過霍夫變換檢測所記錄的圖像的邊緣，以及將所檢測邊緣的像點投影至單位球面上。
根據(jù)一實施例，畸變校正包括應(yīng)用基于多項式魚眼模型的鏡頭畸變校正。
根據(jù)另一實施例，對到地平面的校正后的投影所進行的重新計算包括利用經(jīng)濾波的位置推導(dǎo)所記錄的圖像的縮放比例。
在另一實施例中，該方法包括實施鏡頭畸變校正以獲得校正后圖像，在校正后圖像上檢測至少兩條對應(yīng)的直線，推導(dǎo)所述至少兩條平行線在一單位球面上的滅點位置，以及追蹤該單位球面上該滅點的運動。
滅點亦可通過檢測單位球面上線條交叉點的聚類而測定。一個或多個攝像機方向的改變由所追蹤的滅點運動推導(dǎo)而得，根據(jù)所推導(dǎo)的方向改變而對所記錄的圖像進行比例縮放計算。
根據(jù)又一實施例，該方法包括推導(dǎo)環(huán)視系統(tǒng)攝像機與地面的實際距離，并基于所求得的攝像機與地面的實際距離計算圖像像素的縮放系數(shù)。
根據(jù)又一的實施例，檢測到的平行線的滅點通過將檢測到的線條投影在單位球面上并確定相應(yīng)大圓的相交而獲得。
在一特定實施例中，滅點的追蹤包括利用預(yù)測濾波器——例如卡爾曼濾波器——進行追蹤。在又一實施例中，預(yù)測的輸入數(shù)值進一步包括來自車輛運動傳感器的輸入。
進一步而言，本專利說明書公開一計算機程序產(chǎn)品以供執(zhí)行前述方法。
另外，本專利說明書公開一種為機動車輛而設(shè)的圖像校正系統(tǒng)，該系統(tǒng)包括設(shè)有輸入連接部用以接收一臺或多臺攝像機拍攝的連續(xù)圖像的運算單元。該運算單元包括輸入連接部和處理器，所述輸入連接部用以接收由汽車上一臺或多臺攝像機拍攝的汽車周圍的圖像。
該處理器用以將所記錄的圖像的像點投影于一單位球面上，其中投影包括應(yīng)用鏡頭畸變校正，以針對一臺或多臺攝像機中的每一臺攝像機根據(jù)投影在單位球面上的像點計算滅點，并追蹤各滅點的運動。另外，該處理器用以針對一臺或多臺攝像機中的每一臺攝像機計算像平面位置誤差，以及持續(xù)對位置進行濾波，并利用已經(jīng)進行濾波的位置計算到地平面的校正后投影。
根據(jù)另一實施例，該處理器用以實施鏡頭畸變校正以獲得校正后圖像，在校正后圖像上檢測至少兩條對應(yīng)的直線，推導(dǎo)所述至少兩條相對應(yīng)直線在一單位球面上的滅點位置，以及追蹤在單位球面上滅點的運動。進一步而言，該處理器根據(jù)所追蹤的滅點運動推導(dǎo)一個或多個攝像機方向的改變，并根據(jù)推導(dǎo)的方向改變對所記錄的圖像進行比例縮放計算。
進一步而言，本專利說明書公開一種設(shè)有前述圖像校正系統(tǒng)的機動車輛，其中機動車輛上的一臺或多臺攝像機連接圖像校正系統(tǒng)的運算單元。
附圖說明
現(xiàn)根據(jù)以下附圖對本發(fā)明的應(yīng)用作更詳細(xì)說明，其中
圖1為設(shè)有環(huán)視系統(tǒng)的汽車，
圖2顯示由圖1環(huán)視系統(tǒng)記錄的一像點在地平面上的投影，
圖3更為詳細(xì)地說明圖3的地平面投影，
圖4更為詳細(xì)地說明圖3的地平面投影，
圖5顯示滅點的確定。
圖6更為詳細(xì)地說明滅點的確定。
圖7顯示滅點在球坐標(biāo)系中的運動。
圖8顯示推導(dǎo)校正后的圖像的像點的程序。
圖9顯示根據(jù)本專利說明書實現(xiàn)圖像穩(wěn)定的程序。
具體實施方式
以下說明提供本專利說明書實施例的詳細(xì)資料。所屬領(lǐng)域的技術(shù)人員應(yīng)可清楚理解所述實施例在缺乏此等詳細(xì)資料的情況下依然能夠?qū)嵤?/p>
圖1為設(shè)有環(huán)視系統(tǒng)11的汽車10。環(huán)視系統(tǒng)11包括前視攝像機12、右側(cè)攝像機13、左側(cè)攝像機14和后視攝像機15。攝像機11-14連接至控制器的中央處理器(cpu)，該cpu未在圖1顯示?？刂破鬟B接至另外的傳感器和單元，例如速度傳感器、轉(zhuǎn)向角傳感器、gps單元和加速及方向傳感器。
圖2、3和4顯示于地平面16的投影。圖2顯示一像點于地平面16的投影。相對于豎直線的傾斜角θ可以從右側(cè)攝像機13的圖像傳感器上像點的位置估算。如果像點與道路上某一特征相對應(yīng)，則對應(yīng)物點的位置就是像點在地平面上/相對于地平面/對地平面的投影/映射。
在圖3的例子中，攝像機13距離地平面的高度為h。因此，對應(yīng)的物點位于距離汽車10右側(cè)h*cos(θ)遠(yuǎn)的位置。若一像點對應(yīng)于地平面上的一物點，像點對地平面的投影則表示物點在環(huán)境中的真實位置。入射角θ從攝像機傳感器上的像點的位置求得。然后通過攝像機傳感器距離街道標(biāo)高的高度h計算投影位置y，公式為y＝h*cos(θ)。
圖3顯示圖2的仿射投影的等距視圖。在圖4中，視口平面17(viewportplane)中的一點以p＝(u,v)表示，其在地平面上的對應(yīng)點則以p＝(x,y)表示。視口平面17與投影中心c的距離由字母"f"表示。
圖4顯示圖3的一放大部分，中心像點p0以坐標(biāo)(u0,v0)表示，像點p則以坐標(biāo)(u,v)表示，而像點在地平面上的投影p則以坐標(biāo)(xc,yc,zc)表示。
另一方面，圖4也可以看作是世界坐標(biāo)系點(xc,yc,zc)在像平面上的投影。三維點(xc,yc,zc)的世界坐標(biāo)xc、yc、zc可根據(jù)以下方式映射至像點：
攝像機射線在此定義為法向矢量。因此，到攝像機射線的映射對應(yīng)到單位球面的表面上的點的映射。其可通過歸一化矢量(u,v,1)計算。
圖5顯示滅點的確定。虛擬像平面17(其中攝像機傳感器圖像的線條失真已通過畸變校正進行補償)包括第一豎直線18和第二豎直線19。
當(dāng)利用中心投影(其中投影中心位于單位球面23的中心)將線18和19投影至單位球面23上時，平行線18和19的投影構(gòu)成分別的大圓的弧段20和21。
根據(jù)本專利說明書，用于擴展卡爾曼濾波器的雅可比矩陣，例如狀態(tài)矩陣和預(yù)測矩陣，可通過歸一化投影攝像機模型根據(jù)本專利說明書推導(dǎo)。根據(jù)本專利說明書通過利用半徑約束可使雅可比矩陣更容易計算。
大圓20和21的相交點為平行線18和19的滅點。圖5顯示大圓20及21的兩個相交點中的一個相交點22，相應(yīng)滅線的方向24亦同時予以顯示。
根據(jù)本專利說明書的一個程序，位于單位球面23上的滅點由卡爾曼濾波器長期追蹤。根據(jù)一實踐示例，各(兩個)滅點之間的距離對應(yīng)在單位球面上各滅點之間大圓弧段的長度，基于所述距離計算統(tǒng)計誤差。
所推導(dǎo)的滅點運動對應(yīng)攝像機方向改變。根據(jù)一實施例，攝像機方向改變利用所推導(dǎo)的攝像機方向改變作出補償。一方面，對小振幅側(cè)傾和俯仰這兩項尤其由汽車懸架系統(tǒng)所導(dǎo)致的運動進行追蹤與補償。另一方面，則對橫擺運動這項尤其由轉(zhuǎn)向和汽車輪胎在路面上滑動所導(dǎo)致的運動進行追蹤。
根據(jù)一實踐示例，一滅點的平行線與街道兩側(cè)的邊界對應(yīng)。根據(jù)另一實踐示例，平行線與路面界限對應(yīng)。
圖6顯示線段轉(zhuǎn)換至大圓弧段及確定滅點的進一步例子。圖5及圖6中的像平面17顯示計算機存儲器中的一個虛擬像平面，其中攝像機傳感器原始傳感器數(shù)據(jù)中存在的鏡頭畸變已經(jīng)通過畸變校正變換而還原或消除。
第一線段25，即第一街道邊界的圖像，映射至第一大圓27上的弧段26。第二線段28，即第二街道邊界的圖像，映射至第二大圓30上的弧段29。第一和第二大圓27和30在滅點31相交。相交點可通過計算大圓27和30的相交而確定，或通過延伸線25和28，計算兩者的相交點32并將相交點32映射至滅點31確定。
一般而言，在攝像機圖像中兩條給定的直線是否與平行對象線相對應(yīng)并且具有相同的滅點是不知道的。因此，利用兩條任意的線段計算滅點亦可求得“假滅點”。根據(jù)本專利說明書，假滅點可利用幾種不同方法避免或消除。例如，可以對圖像信息進行分析并把線段識別為街道邊界。進一步而言，在一實施例中，利用所儲存的數(shù)字地圖可以判斷街道邊界是否筆直而且適合用以確定滅點。
避免假滅點的其他方法包括但不限于利用距離測量或立體影像提供的三維信息，基于攝像機圖像的計算機分析來推理對象的方向，和利用計算機在單位球面上確定滅點聚類。
另一實施例對人工神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，使其檢測平行對象線，例如與街道邊界、街道標(biāo)記、護欄、路柱、燈柱、樓宇的橫向或縱向特征或其他筆直對象特征對應(yīng)的線條。
圖7顯示所推導(dǎo)的滅點隨時間推移的軌跡的球坐標(biāo)。選擇球坐標(biāo)旨在使ф對應(yīng)一橫擺角，且θ對應(yīng)一俯仰角。圖7說明當(dāng)固定于汽車上的攝像機圍繞一平衡俯仰角震蕩以及與汽車一同以約90度的橫擺角轉(zhuǎn)向時的情況。
橫擺、俯仰和側(cè)傾角，亦稱為“泰特-布萊恩角”，可利用單位球面上球坐標(biāo)為θ和ф的角度通過變換而求得：
假設(shè)ф在x,y平面上測得，而ф＝0對應(yīng)于(x,y)＝(1,0)。
圖8說明用于利用物點推導(dǎo)像點x”的計算模型，所述模型亦可反向利用像點推導(dǎo)物點。
在第一變換步驟30中，將物點x投影于視口平面。根據(jù)一實踐示例，變換步驟30模型化成對原始物點x進行旋轉(zhuǎn)r及平移c至視口平面。
在第二變換步驟31中，變換h使圖像因成像透鏡屬性而畸變。根據(jù)步驟34進行的逆變換h-1為畸變校正變換。根據(jù)步驟34進行的圖像校正根據(jù)預(yù)設(shè)的鏡頭畸變數(shù)學(xué)模型還原或消除鏡頭畸變。
在一以魚眼鏡頭為模型的實施例中，畸變校正變換包括根據(jù)多項式魚眼模型進行的變換，例子包括但不限于奇次多項式模型、pfet(多項式魚眼變換)或除式模型。其他消除桶形畸變的透鏡模型例子包括但不限于kannala-brandt模型、以及根據(jù)grossberg及nayar和根據(jù)gennery的透鏡模型。
進一步而言，畸變校正變換可以包括霍夫變換。根據(jù)霍夫變換在x-y平面中的每一點都與參數(shù)曲線r(t)＝x*cos(t)+y*sin(t)有關(guān)?；舴蜃儞Q的參數(shù)，例如坐標(biāo)系統(tǒng)的原點和方向，是通過將畸變度量降至最低和/或檢測圖片內(nèi)的線并將線匹配至參數(shù)曲線而測定?；兌攘颗c圖像線的曲率相關(guān)。
根據(jù)一實施例，線的檢測通過使用邊緣檢測器處理圖像以及檢測處理后圖像內(nèi)的線來執(zhí)行。已處理圖像之后變換至霍夫空間，該空間由距離r和角度t構(gòu)成?；舴蚩臻g中的高密度對應(yīng)檢測清晰的線條。
在第三變換步驟32中，施加投影
箭頭33和34分別代表變換32和31的逆變換。在一項現(xiàn)有的實踐中，由于過程可能涉及信息遺失，例如圖像剪輯及數(shù)值誤差，變換31和32只屬接近可逆。
相比之下，按照步驟30進行的投影一般不可逆，重構(gòu)物點x需要作進一步假設(shè)，例如對象的識別、對其方向的假設(shè)和/或其他測量值，例如距離測量值。
為從圖像像素x”的圖像中消除畸變，于步驟33進行逆投影，并在步驟34進行畸變校正。根據(jù)本專利說明書，所得出的二維圖像之后便會用以測定直線及其相應(yīng)的滅點，如圖5所示。
根據(jù)一特定實踐示例，函數(shù)h對透鏡進行建模，用于根據(jù)針孔攝像機模型延展透視投影。針孔攝像機模型在投影或齊次坐標(biāo)系中可表達(dá)為：
sm′＝a[r|c]m′，或
在此，[r|c]代表由旋轉(zhuǎn)矩陣r組成的分塊矩陣，平移矢量c,(x,y,z)為世界坐標(biāo)空間中三維點的坐標(biāo)，(u,v)為以像素單位表示的投影點的坐標(biāo)，a是攝像機矩陣，或內(nèi)參數(shù)矩陣，(cx,cy)為主點，一般位于圖像中心，而fx,fy則為以像素單位表示的焦距。
矩陣a提供前述本征變換
基于z≠0，上述變換以三維方式可表達(dá)為：
u＝fx*x′+cx,v＝fy*y′+cy
在此框架中，鏡頭畸變函數(shù)h可以通過插入變換(x”,y”)＝h(x',y')并將u及v分別當(dāng)成x”及y”的函數(shù)計算來進行整合。
函數(shù)h的示例如下：
其中
在另一實施例中，θ中的多項式還包括θ的偶數(shù)冪和/或一低階或高階近似。
根據(jù)圖8的計算方法，三維世界坐標(biāo)系點xc投影至魚眼透鏡表面，并以多項式函數(shù)h表示。由此，點xs則投射至傳感器平面中的點xm。在傳感器平面上的投影受鏡頭畸變影響，此影響由多項式函數(shù)h建模。
通過利用此攝像機模型，每一像點xm皆可映射至一攝像機射線，即半徑為一的球面上的單位矢量。就計算而言，投影可通過歸一化至單位矢量而實現(xiàn)。
根據(jù)一實施例，邊緣根據(jù)畸變魚眼圖像測定，然后利用實施畸變校正的攝像機模塊把所檢測的邊緣點投影至攝像機射線。每一條線近似映射至單位球面上的大圓或大圓的弧段。滅點通過擬合圓形而求得。因為圓形均為半徑為一的單位球面上的大圓，計算可以簡化。
根據(jù)一實施例，攝像機模型透過生成映射查找表而實踐。單位球面上的點易于追蹤，因為在球面的運動呈圓形。
圖9顯示根據(jù)本專利說明書實現(xiàn)圖像穩(wěn)定的程序。
在步驟40中從攝像機圖像傳感器取得一幅或多幅攝像機圖像。在步驟41中選擇適當(dāng)?shù)膱D像范圍。例如，對應(yīng)天空范圍的圖像部分可以剪去。在步驟42中利用基于透鏡模型的圖像變換消除圖像畸變。
在步驟43中計算分析校正后圖像，并檢測與平行對象線相對應(yīng)的線條。一實施例利用邊緣檢測算法檢測線條。其他實施例則首先利用適當(dāng)?shù)姆e分變換——例如霍夫變換或拉東變換——對數(shù)字化圖像進行變換，直線作為變換后圖像的特征被檢測到。
在步驟44中把線段映射至單位球面的相應(yīng)大圓上，而在步驟45中確定單位圓的一個相交點。在步驟46中測定相交點的運動。根據(jù)本專利說明書，利用濾波器——特別是卡爾曼濾波器來進行內(nèi)插處理并預(yù)測滅點的運動。
如果滅點超過一個且所有這些等滅點均與靜止對象相對應(yīng)，則各滅點的運動會非常相似。在一實施例中，對各滅點的運動求平均以獲得平均運動。所獲得的運動用作攝像機的平均運動。在步驟47中利用所推導(dǎo)的滅點運動來穩(wěn)定攝像機圖像。
圖9的步驟次序以舉例的方式在此提供。在任一實踐中的步驟都可與圖9所述的先后次序有所不同。例如，在另一實施例中，先進行直線檢測，然后把線條映射至相應(yīng)的大圓之后才檢測滅點，舉例而言，如果在一組線之中的每一對平行線的相應(yīng)滅點都聚類在一單位球面上，便可從該一組線歸納出一個滅點。
借此，滅點便可在沒有事前辨識線段作為街道邊界或其他具有已知方向的對象的情況下辨識出來。滅點的聚類在對象具有大量由各類建筑物和人造設(shè)施提供的橫線和豎線時尤其適用。
附圖標(biāo)記列表
11環(huán)視系統(tǒng)
12前視攝像機
13右側(cè)攝像機
14左側(cè)攝像機
15后視攝像機
16地平面
17視口平面
18第一線段
19第二線段
20大圓
21大圓
22相交點
23單位球面
25第一線段
26第一線段投影
27大圓
28第二線段
29第二線段投影
30大圓
31滅點/相交點投影
32滅點(視口平面)
40-47方法步驟
- 還沒有人留言評論。精彩留言會獲得點贊！