專利名稱：基于泰勒級數(shù)模型的全向相機(jī)n面透視全景圖展開方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種對由全向相機(jī)得到的環(huán)形像進(jìn)行N面透視全景圖展開的方 法，具體涉及一種基于泰勒級數(shù)模型的全向相機(jī)N面透視全景圖展開方法。
背景技術(shù)：
近年來，得益于全向相機(jī)的寬視角特征，它被應(yīng)用到越來越多的領(lǐng)域中， 如機(jī)器人導(dǎo)航，視頻監(jiān)控等。早期的全景圖像主要通過多攝像機(jī)拼接或單像機(jī) 旋轉(zhuǎn)獲取。但上述方法都需要普通透視圖像之間的校正與配準(zhǔn)，不適合實(shí)時(shí)成 像應(yīng)用場合。與之相比，全向相機(jī)能一次性獲得360。環(huán)境信息，是視覺應(yīng)用的 理想傳感器。全向相機(jī)一般可由普通相機(jī)和凸二次鏡面組成，兩者之間需要合 適對齊放置以滿足單視點(diǎn)約束。由于二次鏡面的旋轉(zhuǎn)對稱性，四周環(huán)境被"壓 縮"成像于普通相機(jī)的一個(gè)環(huán)狀區(qū)域。這種圖像不符合人對環(huán)境的感知與理解， 還給許多經(jīng)典視覺算法的應(yīng)用帶來不便，所以一般需要對它進(jìn)行相關(guān)的重投影 和展開以便進(jìn)一步處理。目前對全向圖像的展開主要基于二種思路 一是基于
極坐標(biāo)系和笛卡兒坐標(biāo)系之間的直接變換。該方法在極坐標(biāo)系下分析環(huán)形圖像， 重投影展開的柱面全景圖則用笛卡兒系表示，環(huán)形圖像中的方位角映射為柱面 全景圖的水平軸，徑向距離則映射為垂直軸。這種變換只是簡單的平面展開， 沒有借助相機(jī)的成像模型，圖像和三維空間的映射關(guān)系被忽略。二是基于精確 成像參數(shù)的重投影展開。這類方法在展開前，必須對全向相機(jī)進(jìn)行成像建模和 相機(jī)參數(shù)的標(biāo)定，在滿足單一視點(diǎn)約束前提下，圖像中的點(diǎn)能夠精確找到三維 世界中的對應(yīng)光線，確定的物像關(guān)系使得基于柱面全景圖的重建成為可能。這 種解析展開方式強(qiáng)烈依賴于相機(jī)模型，使得它對參數(shù)變化非常敏感，當(dāng)鏡面與 相機(jī)之間存在比較大的對齊誤差時(shí)，該方法就會(huì)失效。此外，在很多情況下， 全向系統(tǒng)的精確模型參數(shù)是很難獲得的。由此，本發(fā)明提出了基于泰勒級數(shù)模
型的全向相機(jī)N面透視全景圖展開方法。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于泰勒級數(shù)模型的全向相機(jī)N面透視全景圖 展開方法，展開后的N面體的每個(gè)側(cè)面上的圖像都可以看成是由一個(gè)虛擬透視 相機(jī)產(chǎn)生。全景圖像中每個(gè)像素都與3D空間中的一條光線對應(yīng)，從而使傳統(tǒng)的 透視相機(jī)算法在重投影展開的全景圖上都能得以適用。 本發(fā)明采用的技術(shù)方案的步驟包括
(1) 相機(jī)標(biāo)定利用泰勒級數(shù)模型對全向相機(jī)進(jìn)行標(biāo)定，得到相機(jī)內(nèi)參；
(2) 估計(jì)N面透視全景圖的尺寸；
(3) 重投影并插值得到N面透視全景圖。
所述的展開的N面透視全景圖中的N符合下列條件N》3。 所述的利用泰勒級數(shù)模型的全向相機(jī)標(biāo)定是利用平面上的已知三維點(diǎn)及其它
在圖像上的對應(yīng)點(diǎn)，進(jìn)行兩步最小二乘計(jì)算，先后得到了相機(jī)與平面的旋轉(zhuǎn)和
平移、相機(jī)的內(nèi)參，也就是泰勒級數(shù)的系數(shù)和階次。 所述的估計(jì)N面透視全景圖的尺寸包含下列步驟
(1) 計(jì)算N面透視全景圖的高/f-J (tan《+tan《)，其中R為投影半徑，由折 反射鏡面的最大仰角處距離對稱軸的距離確定，《和《為最大仰角和最大俯角
(2) 確定N面透視全景圖的面數(shù)N，得到相鄰二個(gè)虛擬透視相機(jī)之間的夾角 《=2WiV ;
(3) 確定N面透視全景圖的寬『^iVx丄。，其中Z。^2.i .tan《； 所述的重投影并插值得到N面透視全景圖包含下列步驟
(1) 根據(jù)標(biāo)定參數(shù)，計(jì)算出N面透視全景圖上的點(diǎn)與環(huán)形像之間的映射關(guān)系；
(2) 雙線性插值得到N面透視全景圖上像點(diǎn)的像素值。 本發(fā)明具有的有益效果是
1. 本發(fā)明提出的基于泰勒級數(shù)模型的全向相機(jī)N面透視全景圖展開方法， 可適用于各種全向視覺傳感器，具有適用面廣的特點(diǎn)；
2. 本發(fā)明提出的基于泰勒級數(shù)模型的全向相機(jī)N面透視全景圖展開方法， 可在全向視覺傳感器參數(shù)未知的情況下通過標(biāo)定獲得其參數(shù)，并進(jìn)行有效的全 景圖展開；
3. 本發(fā)明提出的基于泰勒級數(shù)模型的全向相機(jī)N面透視全景圖展開方法， 所生成的N面透視全景圖中的每一面，都與普通透視相機(jī)所成的圖像等效，從 而使原來應(yīng)用于傳統(tǒng)透視相機(jī)的算法能夠繼續(xù)得以應(yīng)用。


圖1是本發(fā)明方法的流程圖。
圖2是基于泰勒級數(shù)的全向成像模型。
圖3是環(huán)形全向圖與w面透視全景圖的第i個(gè)側(cè)面間的投影關(guān)系。 圖4是環(huán)形全向圖與w面透視全景圖水平方向上的投影關(guān)系。 圖5是與w面透視全景圖等效的普通透視相機(jī)網(wǎng)絡(luò)。
具體實(shí)施例方式
下面結(jié)合附圖和具體實(shí)施方式
對本發(fā)明作進(jìn)一步詳細(xì)描述。
圖1給出了依照本發(fā)明進(jìn)行基于泰勒級數(shù)模型的全向相機(jī)N面透視全景圖 展開方法流程圖。
如圖1所示，在步驟101中，對所使用的全向視覺傳感器進(jìn)行標(biāo)定，所采 用的泰勒級數(shù)全向成像模型可用圖2表示。假設(shè)3D世界中的點(diǎn)p^^a，i;，zj在 虛擬鏡面上投影為p^^J^,:^,zj，對應(yīng)傳感器和圖像平面的點(diǎn)分別為p,
和P,[w,，W，所有點(diǎn)都在鏡面坐標(biāo)系A(chǔ)中表示，則完全成像過程為-
A. 0》 ,=義.g(P,) = ;i. g(Ap, +1) = RPW + T = M[Pw， I]1 其中，M^R,T]是投影矩陣；A和t是傳感器平面a和圖像平面Q之間的仿
射變換。函數(shù)g(O為鏡面方程，表示了從點(diǎn)p,到向量O丄的映射
g(P, ) = K, K, /(A = (", , 、 , + "W-lZ1 +…+ ",/ + "o )T
/^=>/^[是圖像點(diǎn)到投影中心的徑向距離。結(jié)合上二式，在求解了一個(gè) 四步線性最小二乘問題后，可以標(biāo)定得到內(nèi)參％, _1..."|，"。和外參1^ =[議，"。這
種基于泰勒級數(shù)的標(biāo)定方法避開了精確求解相機(jī)參數(shù)的問題，得到的反射模型
是一個(gè)虛擬的鏡面。在實(shí)際應(yīng)用中具有以下優(yōu)點(diǎn)在相機(jī)模型參數(shù)未知的情況 下，該方法用泰勒級數(shù)逼近了成像過程，對于折反射相機(jī)來說，該方法對相機(jī) 與鏡面之間的對齊偏差不敏感，任何偏差導(dǎo)致的參數(shù)變化只體現(xiàn)在泰勒級數(shù)的 系數(shù)上。同時(shí)，相機(jī)鏡頭的失真也包含在該內(nèi)參數(shù)中。
關(guān)于泰勒級數(shù)模型的標(biāo)定方法可參考文獻(xiàn)1: D.Scaramuzza， A Toolbox for Easy Calibrating Omnidirectional Cameras, Proceedings of the IEEE International Conference on Intelligent Robots and Systems, Beijing, China, October 2006。
如圖1所示，在步驟102中，估計(jì)N面透視全景圖的尺寸。N面透視全景圖相
對稱軸的距離(實(shí)際上i 相當(dāng)于理想針孔相機(jī)的焦距)，N面體全景圖像的尺寸
可由下列公式得到
圖像高F = i (tan《+t—) 圖像寬『-Wxlo
其中，及為投影半徑，《和《為最大仰角和最大俯角；Z。=2^.tan《，且 <90=2;r/iV。
如圖1所示，在步驟103中，重投影并插值得到N面透視全景圖。如圖3 和圖4所示,對于第/個(gè)側(cè)面上旋轉(zhuǎn)角w和高度A的點(diǎn)P(w， A)，連接原點(diǎn)O和/0 的直線為
臉T^
與鏡面方程聯(lián)立可以求出鏡面上的投影點(diǎn)iUA),/(A)))，對應(yīng)在環(huán)形全向圖像上的 點(diǎn)w禾口v為-
<formula>formula see original document page 6</formula>
v」 Lsin(A .(M) + w) 其中，1) + w為第z'個(gè)側(cè)面上點(diǎn)P(w,/0在環(huán)形圖像上的方位角，、,s為投影 中心在圖像平面的坐標(biāo)。由于點(diǎn)P(^，/0可能為非整數(shù)坐標(biāo)，可由雙線性插值方法
<formula>formula see original document page 6</formula>
當(dāng)A^1,2時(shí)，由于單個(gè)平面不能完全包含360°的圖像信息，所以投影側(cè)面 數(shù)必須滿足3^A^oc。
最后得到的N面透視全景圖等效于7V個(gè)光心重合且無公共視場的透視相機(jī) 組產(chǎn)生的圖像連接，如圖5所示。
權(quán)利要求
1.一種基于泰勒級數(shù)模型的全向相機(jī)N面透視全景圖展開方法，其特征在于，該方法的步驟如下(1)相機(jī)標(biāo)定利用泰勒級數(shù)模型對全向相機(jī)進(jìn)行標(biāo)定，得到相機(jī)內(nèi)參；(2)估計(jì)N面透視全景圖的尺寸；(3)重投影并插值得到N面透視全景圖。
2. 根據(jù)權(quán)利要求1所述的一種基于泰勒級數(shù)模型的全向相機(jī)N面透視全景圖 展開方法，其特征在于所述的展開的N面透視全景圖中的N符合下列條件N》3。
3. 根據(jù)權(quán)利要求1所述的一種基于泰勒級數(shù)模型的全向相機(jī)N面透視全景圖 展開方法，所述的利用泰勒級數(shù)模型的全向相機(jī)標(biāo)定是利用平面上的已知三維 點(diǎn)及其它在圖像上的對應(yīng)點(diǎn)，進(jìn)行兩步最小二乘計(jì)算，先后得到了相機(jī)與平面 的旋轉(zhuǎn)和平移、相機(jī)的內(nèi)參，也就是泰勒級數(shù)的系數(shù)和階次。
4. 根據(jù)權(quán)利要求1所述的一種基于泰勒級數(shù)模型的全向相機(jī)N面透視全景圖 展開方法，其特征在于，所述的估計(jì)N面透視全景圖的尺寸包含下列步驟(1) 計(jì)算N面透視全景圖的高// = i (tar^1+tan《)，其中R為投影半徑，由鏡 面的最大仰角處距離對稱軸的距離確定，《和《為最大仰角和最大俯角；(2) 確定N面透視全景圖的面數(shù)N，得到相鄰二個(gè)虛擬透視相機(jī)之間的夾角 6>0 =2W7V ;(3) 確定N面透視全景圖的寬『=iV"。，其中Z^2ltan《。
5. 根據(jù)權(quán)利要求1所述的一種基于泰勒級數(shù)模型的全向相機(jī)N面透視全景圖 展開方法，其特征在于，所述的重投影并插值得到N面透視全景圖包含下列步(1) 根據(jù)標(biāo)定參數(shù)，計(jì)算出N面透視全景圖上的點(diǎn)與環(huán)形像之間的映射關(guān)系;(2) 雙線性插值得到N面透視全景圖上像點(diǎn)的像素值。
全文摘要
本發(fā)明公開了一種基于泰勒級數(shù)模型的全向相機(jī)N面透視全景圖展開方法。該方法的步驟如下利用泰勒級數(shù)模型對全向相機(jī)進(jìn)行標(biāo)定，得到相機(jī)內(nèi)參；估計(jì)N面透視全景圖的尺寸；重投影并插值得到N面透視全景圖。本發(fā)明適用于各種全向視覺傳感器，具有適用面廣的特點(diǎn)；可在全向視覺傳感器參數(shù)未知的情況下通過標(biāo)定獲得其參數(shù)，并進(jìn)行有效的全景圖展開；所生成的N面透視全景圖中的每一面，都與普通透視相機(jī)所成的圖像等效，從而使原來應(yīng)用于傳統(tǒng)透視相機(jī)的算法能夠繼續(xù)得以應(yīng)用。
文檔編號G06T7/00GK101354790SQ20081012079
公開日2009年1月28日 申請日期2008年9月5日 優(yōu)先權(quán)日2008年9月5日
發(fā)明者劉加海, 劉濟(jì)林, 朱云芳, 歆 杜, 陳建娟, 杰 雷 申請人:浙江大學(xué)