一種擴(kuò)展小孔成像模型的魚(yú)眼相機(jī)矯正與標(biāo)定方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明具體設(shè)及一種擴(kuò)展小孔成像模型的魚(yú)眼相機(jī)矯正與標(biāo)定方法，屬于計(jì)算機(jī) 視覺(jué)W及計(jì)算機(jī)圖形學(xué)領(lǐng)域。
【背景技術(shù)】
[0002] 在機(jī)器視覺(jué)、全景攝影、安防監(jiān)控W及虛擬現(xiàn)實(shí)等領(lǐng)域，魚(yú)眼相機(jī)由于其超寬的視 場(chǎng)范圍（一般達(dá)到甚至超過(guò)180° )，得到越來(lái)越廣泛的應(yīng)用。但是，魚(yú)眼相機(jī)存在嚴(yán)重的 桶形崎變，導(dǎo)致其使用受限。如圖1所示，該是一幅用魚(yú)眼相機(jī)拍攝的實(shí)際場(chǎng)景圖，它覆蓋 了半空間的場(chǎng)景，但是，由于崎變的存在，其中空間直線的成像已經(jīng)不再是直線。
[0003] 截止到現(xiàn)在，對(duì)魚(yú)眼相機(jī)矯正與標(biāo)定的研究很多，主要可分為基于硬件測(cè)量和基 于圖像處理算法等兩類方法?；谟布y(cè)量的方法，通過(guò)硬件裝置測(cè)量特定空間點(diǎn)的位置 坐標(biāo)，建立空間點(diǎn)與相應(yīng)圖像點(diǎn)之間的關(guān)系，從而求解魚(yú)眼相機(jī)的模型參數(shù)。此類方法需要 額外的測(cè)量裝置、成本較高，而且對(duì)裝置的測(cè)量精度有較高要求?；趫D像處理算法的方法 又可W分為基于單幅圖像和基于多幅圖像的方法。其中，基于單幅圖像的方法，其理論根據(jù) 是直線的投影仍然是直線，它通過(guò)"把崎變后的直線恢復(fù)為直線"的過(guò)程來(lái)確定崎變參數(shù)， 此類方法雖然靈活，但是實(shí)現(xiàn)復(fù)雜、計(jì)算量大，并且相機(jī)標(biāo)定困難。而基于多幅圖像的方法 是目前的研究熱點(diǎn)，它通過(guò)從不同角度拍攝多幅模板圖像來(lái)求取投影模型參數(shù)，實(shí)現(xiàn)簡(jiǎn)單， 但是當(dāng)投影模型簡(jiǎn)單時(shí)，其矯正與標(biāo)定的精度較差，而當(dāng)投影模型復(fù)雜時(shí)，又會(huì)大大增加模 型參數(shù)求解的難度。
[0004] 小孔成像模型相對(duì)其他投影模型實(shí)現(xiàn)簡(jiǎn)單、易于標(biāo)定，并且符合人眼視覺(jué)效果。本 發(fā)明屬于基于多幅圖像的矯正與標(biāo)定方法的范疇，通過(guò)從不同角度拍攝多幅魚(yú)眼模板圖， 求取小孔成像模型的參數(shù)。但是，由于小孔成像模型適用的視場(chǎng)范圍遠(yuǎn)小于180° (-般適 用于90°左右視場(chǎng)范圍），而魚(yú)眼相機(jī)具有超寬的視場(chǎng)角（一般達(dá)到甚至超過(guò)180° )，不 能夠簡(jiǎn)單的使用小孔成像模型進(jìn)行魚(yú)眼相機(jī)的矯正與標(biāo)定。

【發(fā)明內(nèi)容】

[0005] 為了克服上述技術(shù)的不足，本發(fā)明提出了一種擴(kuò)展小孔成像模型的魚(yú)眼相機(jī)矯正 與標(biāo)定方法。該方法在小孔成像模型矯正的基礎(chǔ)上，結(jié)合直線擬合W及自然鄰點(diǎn)插值算法， 實(shí)現(xiàn)對(duì)整個(gè)魚(yú)眼相機(jī)的矯正與標(biāo)定，并得到符合人眼視覺(jué)效果的矯正結(jié)果圖。具體包括如 下步驟：
[000引步驟1)對(duì)魚(yú)眼相機(jī)進(jìn)行開(kāi)窗處理，設(shè)置窗口的視場(chǎng)范圍；
[0007] 步驟2)使用開(kāi)窗后的相機(jī)，從不同的角度拍攝棋盤(pán)模板圖，得到一序列的模板圖 像；
[000引步驟扣通過(guò)角點(diǎn)檢測(cè)，提取模板圖像中特征點(diǎn)的像素坐標(biāo)，建立空間點(diǎn)和圖像點(diǎn) 之間的關(guān)系；
[0009] 步驟4)在提取到所有的特征點(diǎn)后，通過(guò)LM算法求參數(shù)，實(shí)現(xiàn)對(duì)相機(jī)的矯正與標(biāo) 定；
[0010] 步驟5)根據(jù)已經(jīng)測(cè)量得到的相機(jī)參數(shù)，對(duì)拍攝的實(shí)物圖進(jìn)行崎變的矯正；
[0011] 步驟6)在小孔成像模型矯正的基礎(chǔ)上，結(jié)合直線擬合W及自然鄰點(diǎn)插值算法，擴(kuò) 展矯正的視場(chǎng)范圍。
[0012] 對(duì)含有模板的魚(yú)眼圖像進(jìn)行基于小孔成像模型的矯正，然后對(duì)矯正結(jié)果中同一直 線上的特征點(diǎn)進(jìn)行直線擬合。
[0013] 獲得經(jīng)過(guò)擬合的特征點(diǎn)坐標(biāo)后，使用插值算法，求取圖像上除特征點(diǎn)W外像素的 新的坐標(biāo)位置。
[0014] 擴(kuò)展小孔成像模型適用視場(chǎng)范圍的基本原理是直線的投影仍然是直線，在小孔成 像模型的基礎(chǔ)上，結(jié)合直線擬合W及自然鄰點(diǎn)插值，把矯正的視場(chǎng)范圍擴(kuò)大，包括基于小孔 模型的崎變矯正、特征點(diǎn)直線擬合W及自然鄰點(diǎn)插值。
[0015] 本發(fā)明和現(xiàn)有技術(shù)相比所具有的有益效果：此方法不僅具備易于標(biāo)定、適合人眼 觀看效果等，同時(shí)能夠?qū)崿F(xiàn)魚(yú)相機(jī)超寬視場(chǎng)范圍的矯正與標(biāo)定。測(cè)試結(jié)果表明，此方法擴(kuò)展 了小孔成像模型的應(yīng)用范圍，能夠?qū)崿F(xiàn)魚(yú)眼相機(jī)的矯正與標(biāo)定。并且，單次矯正的視場(chǎng)范圍 達(dá)到130°，通過(guò)移動(dòng)點(diǎn)陣模板的位置，可W得到魚(yú)眼相機(jī)不同區(qū)域的矯正結(jié)果，從而實(shí)現(xiàn) 魚(yú)眼相機(jī)整個(gè)成像區(qū)域的矯正與標(biāo)定。
【附圖說(shuō)明】
[0016] 圖1為魚(yú)眼相機(jī)拍攝的場(chǎng)景圖；
[0017] 圖2為本發(fā)明擴(kuò)展小孔成像模型的魚(yú)眼相機(jī)矯正與標(biāo)定方法流程圖；
[001引圖3-1為魚(yú)眼拍攝的實(shí)物圖；
[0019] 圖3-2為矯正結(jié)果示意圖，視場(chǎng)范圍85° ;
[0020] 圖4-1為魚(yú)眼拍攝的實(shí)物圖；
[0021] 圖4-2矯正結(jié)果示意圖，視場(chǎng)范圍100° ;
[0022] 圖5為使用開(kāi)窗85°的小孔模型對(duì)整個(gè)魚(yú)眼圖像矯正的結(jié)果示意圖；
[0023] 圖6-1為的原始Voronio圖；
[0024] 圖6-2為的插入X后新的Voronio圖；
[00巧]圖7為本的非等間隔點(diǎn)陣模板示意圖；
[0026] 圖8-1為的魚(yú)眼非等間隔點(diǎn)狀模板圖像；
[0027] 圖8-2為圖8-1的小孔矯正結(jié)果示意圖；
[0028] 圖9-1為圓形點(diǎn)模板的特征點(diǎn)檢測(cè)圖；
[0029] 圖9-2為圖9-1特征點(diǎn)檢測(cè)結(jié)果示意圖；
[0030] 圖10為的直線擬合與自然鄰點(diǎn)插值算法矯正結(jié)果圖；
[0031] 圖11為實(shí)際場(chǎng)景矯正結(jié)果圖；
[0032] 圖12-1為的點(diǎn)陣模板處于魚(yú)眼圖下方示意圖；
[0033] 圖12-2為圖12-1的矯正結(jié)果示意圖；
[0034] 圖12-3為圖1的矯正結(jié)果示意圖。
【具體實(shí)施方式】
[0035] 為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，結(jié)合附圖和具體實(shí)施方 式對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。
[0036] 通過(guò)小孔成像模型將空間中的點(diǎn)投影到圖像平面，投影公式可寫(xiě)為
[0037] S?m=A? [R|t] ?M (1)其中，s是一個(gè)比例常數(shù)，M: 〇(，Y，Z)為空間點(diǎn)的 坐標(biāo)（單位：毫米mm)，m:(u，v)為投影在圖像平面上的點(diǎn)的坐標(biāo)（單位：像素pixel)，A為 相機(jī)內(nèi)參（投影）矩陣，[R|t]為相機(jī)旋轉(zhuǎn)-平移矩陣。
[0038] 內(nèi)參數(shù)矩陣A不依賴場(chǎng)景的視圖，對(duì)于某一個(gè)相機(jī)只要焦距固定，就不再改變（要 對(duì)相機(jī)進(jìn)行標(biāo)定，需要求取A;在接下來(lái)的分析中，把相機(jī)的標(biāo)定統(tǒng)一到矯正中）。而旋 轉(zhuǎn)-平移矩陣[R|t]被稱作外參數(shù)矩陣，它用來(lái)描述相機(jī)相對(duì)于一個(gè)固定場(chǎng)景的運(yùn)動(dòng)，即 [R|t]將空間點(diǎn)化Y，幻的坐標(biāo)變換到某個(gè)坐標(biāo)系上，該個(gè)坐標(biāo)系相對(duì)于相機(jī)來(lái)說(shuō)是固定 不變的。該個(gè)坐標(biāo)系為相機(jī)坐標(biāo)系，（x，y，z)為相機(jī)坐標(biāo)系上的點(diǎn)，單位mm。
[003引因此，引入（x，y，z)為中間變量，式（1)中的坐標(biāo)系變換（旋轉(zhuǎn)平移；[R|t])可W寫(xiě)為
[0040] [x，y，z]T=R- D(，Y，Z]T+t 似
[0041] 通過(guò)小孔模型的投影變換，式（2)中的相機(jī)坐標(biāo)經(jīng)過(guò)投影（投影矩陣;A)可W表 示為
[0042]
(3)
[004引其中，（cx，cy)是相機(jī)的基準(zhǔn)點(diǎn)（即光學(xué)中心通常在圖像的中心單位pixeU， (fx,fy)是Wpixel為單位的焦距。
[0044] 對(duì)于魚(yú)眼相機(jī)，存在比較嚴(yán)重的崎變，主要是徑向形變，也會(huì)有輕微的切向形變。 但是，根據(jù)魚(yú)眼鏡頭桶形崎變的特點(diǎn)，在魚(yú)眼圖像的中間區(qū)域崎變較小，可W采用低階的多 項(xiàng)式擬合其崎變參數(shù)。式（3)中引入崎變，得到如下表達(dá)式
[0045]
(4)
[004引其中，（x"，y")為崎變后的相機(jī)坐標(biāo)，r2=x'2+y2，ki和k2是徑向崎變系數(shù)，Pi和P2是切向崎變系數(shù)。
[0047] 在得到了具體的投影方程后，使用最小均方誤差準(zhǔn)則，求解式（5)達(dá)到最小的解。
[004引
巧）
[0049]其中，K為采集的含模板的圖像的張數(shù)，L表示每幅圖像上特征點(diǎn)的個(gè)數(shù)（L=mXn，m、n分別表示模板圖像的一行、一列中含有的特征點(diǎn)個(gè)數(shù)），mu是第i幅圖像的第j 個(gè)特征點(diǎn)的圖像坐標(biāo)，/h(《,，/,.，,4A，/c.^，Pi，P,，M,^.)是根據(jù)相機(jī)投影模型由空間坐標(biāo)My投影 得到的坐標(biāo)。具體求解參數(shù)時(shí)，選擇收斂性強(qiáng)的Levenberg-Marqua化(LM)算法。
[0050] 如圖2所示，一種擴(kuò)展小孔成像模型的魚(yú)眼相機(jī)矯正與標(biāo)定方法包括如下步驟：
[0051] 步驟1)對(duì)魚(yú)眼相機(jī)進(jìn)行開(kāi)窗處理，設(shè)置中屯、85°視場(chǎng)范圍的窗口；
[0052] 步驟2)使用開(kāi)窗后的相機(jī)，從不同的角度拍攝棋盤(pán)模板圖，得到一序列的模板圖 像；
[005引步驟扣通過(guò)角點(diǎn)檢測(cè)，提取模板圖像中特征點(diǎn)的像素坐標(biāo)，建立空間點(diǎn)和圖像點(diǎn) 之間的關(guān)系；
[0054]步驟4)在提取到所有的特征點(diǎn)后，通過(guò)LM算法求取式妨中的參數(shù)，實(shí)現(xiàn)對(duì)相機(jī) 的矯正與標(biāo)定。對(duì)于實(shí)際的一款魚(yú)眼相機(jī)，得到其崎變參數(shù)ki= -0. 2856,k2= 0. 0881;p1 =4.61X1(T4,P2= -5.03X1(T4。可W看出，切向崎變系數(shù)Pi和P2較小，而徑向崎變系數(shù) ki和k2較大，說(shuō)明魚(yú)眼相機(jī)的切向崎變較小，幾乎可W忽略，而徑向崎變是魚(yú)眼相機(jī)的主要 崎變，該與實(shí)際的情況相符合；
[005引步驟W根據(jù)已經(jīng)測(cè)量得到的相機(jī)參數(shù)，對(duì)拍攝的實(shí)物圖進(jìn)行崎變的矯正；矯正結(jié) 果如圖3-2所示，由W上矯正結(jié)果可W看出，圖3-1中由于崎變導(dǎo)致的彎曲，在經(jīng)過(guò)矯正后 得到了很好的修正，符合人眼觀看效果。
[0056] 如圖4-1所示，重復(fù)步驟1)至步驟5)，開(kāi)窗拍攝視場(chǎng)范圍達(dá)到100°的魚(yú)眼圖，求 解此時(shí)小孔模型中的參數(shù)，最后得到圖4-2的矯正結(jié)果。由圖4-2的邊緣部分可W看出，使 用此小孔模型對(duì)超過(guò)90°視場(chǎng)范圍的圖像進(jìn)行矯正時(shí)，其中間部分矯正結(jié)果較好，但是邊 緣部分的直線沒(méi)有被矯正，矯正結(jié)果仍然存在很大殘余誤差。
[0057]接下來(lái)，使用開(kāi)窗85°得到的小孔模型，對(duì)整個(gè)魚(yú)眼圖像進(jìn)行矯正處理，得到如圖 5所示的矯正結(jié)果圖。由圖5可W看出，魚(yú)眼圖像的中屯、區(qū)域巧5°視場(chǎng)范圍內(nèi)）的矯正結(jié) 果較好，邊緣部分沒(méi)有得到很好的矯正。
[0058] 綜合W上矯正結(jié)果，可W看出，此