一種融合附加信息的大場(chǎng)景三維重建方法
【專利摘要】一種融合附加信息的大場(chǎng)景三維重建方法，包括：提取所有圖像的SIFT點(diǎn)，進(jìn)行圖像匹配，構(gòu)建外極幾何圖，得到對(duì)應(yīng)于所有三維場(chǎng)景點(diǎn)的軌跡；根據(jù)慣性測(cè)量單元信息或者指南針角度得到每幅圖像的初始攝像頭旋轉(zhuǎn)矩陣，迭代地搜尋外極幾何圖中當(dāng)前可靠的連接邊，并利用這些邊進(jìn)行全局優(yōu)化；初始化攝像頭的中心為對(duì)應(yīng)圖像的GPS，根據(jù)圖像初始焦距信息，旋轉(zhuǎn)矩陣和攝像頭中心位置得到每幅圖像的初始投影矩陣，根據(jù)這些投影矩陣和三維場(chǎng)景點(diǎn)軌跡迭代地三角化和捆綁調(diào)整。本發(fā)明方法計(jì)算迅速，得到的三維場(chǎng)景合理可靠，對(duì)圖像誤匹配敏感度低，泛化性能強(qiáng)，對(duì)有序和無(wú)序圖像集都適用。
【專利說(shuō)明】一種融合附加信息的大場(chǎng)景三維重建方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種計(jì)算機(jī)視覺領(lǐng)域的三維重建方法，尤其是一種融合附加信息的大場(chǎng)景三維重建方法。

【背景技術(shù)】
[0002]融合附加信息輔助三維重建是計(jì)算機(jī)視覺的重要研究方向之一，其在三維地貌生成、古跡遺址數(shù)字文化遺產(chǎn)保存、三維街景城市導(dǎo)航等方面有著廣泛的應(yīng)用。在三維重建的過(guò)程中，如何有效地融合含有噪聲的先驗(yàn)信息對(duì)于是否可以快速魯棒地三維重建具有重要影響，現(xiàn)有方法中尚沒有一套完整思路算法來(lái)充分融合各種先驗(yàn)信息輔助各種場(chǎng)景下的快速魯棒三維重建。
[0003]經(jīng)對(duì)現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn)，Pollefeys等于2008年在《2008Internat1nalJournal of Computer Vis1n》(2008年的《計(jì)算機(jī)視覺》國(guó)際期刊)上發(fā)表的論文“Detailed real-time urban 3 d reconstruct1n from video”(基于視頻的精細(xì)實(shí)時(shí)城市3D重建)提出通過(guò)GPS、慣性測(cè)量單元等附加信息輔助實(shí)時(shí)三維重建。該方法計(jì)算準(zhǔn)確，但是需要很高精度的GPS和慣性測(cè)量單元設(shè)備才能完成，這對(duì)于一般的無(wú)人機(jī)設(shè)備和街景車設(shè)備來(lái)講是不現(xiàn)實(shí)的。David J.Crandall等于2013年在《IEEE Transact1nson Pattern Analysis and Machine Intelligence)) (IEEE:模式分析與機(jī)器智能會(huì)刊)上發(fā)表的論文 “SfM with MRFs:Discrete_Continuous Optimizat1n for Large-ScaleStructure from Mot1n”(基于運(yùn)動(dòng)的大場(chǎng)景離散連續(xù)優(yōu)化)提出利用馬爾科夫隨機(jī)場(chǎng)與GPS附加信息來(lái)首先求解離散朝向和離散攝像頭位置，然后連續(xù)優(yōu)化場(chǎng)景。該方法具有較高的計(jì)算效率，但無(wú)法適用于無(wú)人機(jī)圖像，且該方法魯棒性不夠好，對(duì)誤匹配的三維場(chǎng)景點(diǎn)對(duì)應(yīng)的軌跡過(guò)于敏感。


【發(fā)明內(nèi)容】

[0004]為了克服現(xiàn)有技術(shù)中存在的上述缺陷，本發(fā)明提出了一種融合附加信息的大場(chǎng)景三維重建方法，以實(shí)現(xiàn)大場(chǎng)景的快速魯棒三維重建。
[0005]本發(fā)明的融合附加信息的大場(chǎng)景三維重建方法，包括以下步驟:
[0006]步驟1，提取所有圖像的SIFT點(diǎn)，進(jìn)行圖像匹配，構(gòu)建外極幾何圖，得到對(duì)應(yīng)于所有三維場(chǎng)景點(diǎn)的軌跡；
[0007]步驟2，根據(jù)慣性測(cè)量單元信息或者指南針角度得到每幅圖像初始攝像頭旋轉(zhuǎn)矩陣，迭代地搜尋所述外極幾何圖中可靠的連接邊，并利用所述可靠邊進(jìn)行全局優(yōu)化；
[0008]步驟3，初始化攝像頭的中心為對(duì)應(yīng)圖像的GPS，根據(jù)圖像初始焦距信息，旋轉(zhuǎn)矩陣和攝像頭中心位置得到每幅圖像的初始投影矩陣，根據(jù)這些投影矩陣和三維場(chǎng)景點(diǎn)的軌跡迭代地三角化和捆綁調(diào)整。
[0009]其中，所述附加信息包括拍攝圖像時(shí)與圖像同步存儲(chǔ)的GPS、慣性測(cè)量單元信息、指南針角度以及可交換圖像文件。
[0010]其中，所述步驟I進(jìn)一步包括下列步驟:
[0011 ] 提取所有圖像的SIFT特征點(diǎn)，根據(jù)所述圖像SIFT特征點(diǎn)建立圖像語(yǔ)義樹，得到初始的匹配圖像對(duì)，然后再根據(jù)GPS去除距離較遠(yuǎn)的圖像對(duì)，對(duì)剩余的圖像對(duì)進(jìn)行特征匹配；
[0012]將圖像作為外極幾何圖的頂點(diǎn)，根據(jù)5點(diǎn)法求取兩幅圖像的極幾何關(guān)系，如果他們之間匹配特征點(diǎn)超過(guò)20個(gè)，這兩幅圖像之間有邊連接，以此得到外極幾何圖；
[0013]在由此得到的所述外極幾何圖上，構(gòu)建場(chǎng)景對(duì)應(yīng)的三維場(chǎng)景點(diǎn)軌跡。
[0014]其中，所述步驟2進(jìn)一步包括下列步驟:
[0015]將全局坐標(biāo)系與GPS坐標(biāo)系設(shè)為一致，在這個(gè)全局坐標(biāo)系下定義初始旋轉(zhuǎn)矩陣，根據(jù)步驟I中得到的所述外極幾何圖，每條邊定義一個(gè)殘差:

【權(quán)利要求】
1.一種融合附加信息的大場(chǎng)景三維重建方法，包括以下步驟: 步驟I，提取所有圖像的SIFT點(diǎn)，進(jìn)行圖像匹配，構(gòu)建外極幾何圖，得到對(duì)應(yīng)于所有三維場(chǎng)景點(diǎn)的軌跡； 步驟2，根據(jù)慣性測(cè)量單元信息或者指南針角度得到每幅圖像初始攝像頭旋轉(zhuǎn)矩陣，迭代地搜尋所述外極幾何圖中可靠的連接邊，并利用所述可靠邊進(jìn)行全局優(yōu)化； 步驟3，初始化攝像頭的中心為對(duì)應(yīng)圖像的GPS，根據(jù)圖像初始焦距信息，旋轉(zhuǎn)矩陣和攝像頭中心位置得到每幅圖像的初始投影矩陣，根據(jù)這些投影矩陣和三維場(chǎng)景點(diǎn)的軌跡迭代地三角化和捆綁調(diào)整。
2.根據(jù)權(quán)利要求1所述的融合附加信息的大場(chǎng)景三維重建方法，其中所述附加信息包括拍攝圖像時(shí)與圖像同步存儲(chǔ)的GPS、慣性測(cè)量單元信息、指南針角度以及可交換圖像文件。
3.根據(jù)權(quán)利要求1所述的融合附加信息的大場(chǎng)景三維重建方法，其中所述步驟I進(jìn)一步包括下列步驟: 提取所有圖像的SIFT特征點(diǎn)，根據(jù)所述圖像SIFT特征點(diǎn)建立圖像語(yǔ)義樹，得到初始的匹配圖像對(duì)，然后再根據(jù)GPS去除距離較遠(yuǎn)的圖像對(duì)，對(duì)剩余的圖像對(duì)進(jìn)行特征匹配； 將圖像作為外極幾何圖的頂點(diǎn)，根據(jù)5點(diǎn)法求取兩幅圖像的極幾何關(guān)系，如果他們之間匹配特征點(diǎn)超過(guò)20個(gè)，這兩幅圖像之間有邊連接，以此得到外極幾何圖； 在由此得到的所述外極幾何圖上，構(gòu)建場(chǎng)景對(duì)應(yīng)的三維場(chǎng)景點(diǎn)軌跡。
4.根據(jù)權(quán)利要求1所述的融合附加信息的大場(chǎng)景三維重建方法，其中所述步驟2進(jìn)一步包括下列步驟: 將全局坐標(biāo)系與GPS坐標(biāo)系設(shè)為一致，在這個(gè)全局坐標(biāo)系下定義初始旋轉(zhuǎn)矩陣，根據(jù)步驟I中得到的所述外極幾何圖，每條邊定義一個(gè)殘差:
eij =IlRij — rTRj IIf 其中，Rij表示兩幅圖像i與j之間的相對(duì)旋轉(zhuǎn)矩陣，Ri與&分別表示圖像i與圖像j的絕對(duì)旋轉(zhuǎn)矩陣，I 1*1 If表示矩陣的F范數(shù)，當(dāng)殘差e小于閾值T時(shí)，認(rèn)為該條邊是當(dāng)前可靠邊；其中，T的計(jì)算方法如下:
其中，M表示外極幾何圖中邊的總數(shù)目，N表示圖像的總數(shù)目；ρ表示第P次迭代々是一個(gè)0-1函數(shù)，當(dāng)在第P次迭代，外極幾何圖中的邊ij的殘差e u大于T時(shí)設(shè)為1，否則為O ; α為一個(gè)預(yù)設(shè)的閾值，初始值定為0.9 ； 迭代進(jìn)行上述操作，每次都要重新確定哪些邊是當(dāng)前可靠邊，然后優(yōu)化這些當(dāng)前可靠邊獲取攝像頭旋轉(zhuǎn)矩陣，直到相鄰兩次迭代中當(dāng)前可靠邊不再發(fā)生變化時(shí)迭代收斂。
5.根據(jù)權(quán)利要求4所述的融合附加信息的大場(chǎng)景三維重建方法，其中所述將全局坐標(biāo)系與GPS坐標(biāo)系設(shè)為一致的步驟為將全局坐標(biāo)系與GPS坐標(biāo)系均設(shè)為東-北-上分別表示x-y-z軸方向。
6.根據(jù)權(quán)利要求4所述的融合附加信息的大場(chǎng)景三維重建方法，其中在所述計(jì)算閾值T的步驟中，如果當(dāng)前可靠邊不能覆蓋所有圖像時(shí)，需要增大α來(lái)滿足覆蓋約束。
7.根據(jù)權(quán)利要求1所述的融合附加信息的大場(chǎng)景三維重建方法，其中所述步驟3進(jìn)一步包括下列步驟: 如下計(jì)算任意一幅圖像i的初始投影矩陣Pi:
其中，4表示圖像i的焦距，來(lái)源于圖像的可交換圖像文件信息，Ri是步驟2的結(jié)果，表示第i幅圖像的絕對(duì)旋轉(zhuǎn)矩陣，GPSi表示第i幅圖像的GPS坐標(biāo)；根據(jù)投影矩陣和步驟I得到的三維場(chǎng)景點(diǎn)的軌跡集合，做三角化得到初始的三維點(diǎn)； 當(dāng)三維點(diǎn)的平均重投影誤差大于閾值H時(shí)，認(rèn)為該三維點(diǎn)是當(dāng)前可靠三維點(diǎn)；其中H的計(jì)算方式如下:
其中，K表示三維場(chǎng)景點(diǎn)對(duì)應(yīng)的軌跡總數(shù)目；δ$Ρ)是一個(gè)0-1函數(shù)，當(dāng)在第P次迭代中，第q個(gè)三維點(diǎn)的平均重投影誤差的殘差大于H時(shí)δ$)設(shè)為1，否則為0;β是一個(gè)設(shè)定的閾值，設(shè)為0.8 ; 對(duì)于錯(cuò)誤投影點(diǎn)，采用Huber形式的重投影誤差函數(shù)，考慮到可交換圖像文件中的焦距可靠性，計(jì)算最小化的優(yōu)化函數(shù)如下:
其中:g(P，X)表示Huber函數(shù)形式重投影誤差函數(shù)；Vij表示第j個(gè)三維點(diǎn)是否在第i幅圖像中可見，可見設(shè)為1，不可見設(shè)為O ;N表示圖像的數(shù)目，K表示三維場(chǎng)景點(diǎn)對(duì)應(yīng)的軌跡的數(shù)目表示二維圖像的坐標(biāo)；Y (*)表示重投影函數(shù)，這里重投影時(shí)只考慮徑向畸變參數(shù)的中前兩個(gè)參數(shù)，分別對(duì)應(yīng)二階項(xiàng)和四階項(xiàng)術(shù)丨1)表示在第1次迭代中，第j個(gè)三維點(diǎn)是不是當(dāng)前可靠的三維點(diǎn)，如果是設(shè)為1，如果不是設(shè)為O 表示第1次迭代時(shí)第i幅圖像當(dāng)前焦距，Gxifi表示第i圖像中可交換圖像文件中讀取出的焦距；以及 迭代進(jìn)行上述步驟3:每次都要重新確定哪些三維場(chǎng)景點(diǎn)是當(dāng)前可靠場(chǎng)景點(diǎn)，然后優(yōu)化這些當(dāng)前可靠點(diǎn)獲取新的攝像頭投影矩陣，利用新的投影矩陣做下一次迭代的三角化操作；當(dāng)相鄰兩次迭代中可靠場(chǎng)景點(diǎn)不再發(fā)生變化迭代收斂。
8.根據(jù)權(quán)利要求7所述的融合附加信息的大場(chǎng)景三維重建方法，其中在計(jì)算閾值H的步驟中，當(dāng)所有三維場(chǎng)景點(diǎn)的軌跡的可見圖像所組成的集合不能覆蓋所有圖像時(shí)，增大β來(lái)滿足覆蓋約束。
9.根據(jù)權(quán)利要求7所述的融合附加信息的大場(chǎng)景三維重建方法，其中進(jìn)一步包括下列步驟:將得到的所述數(shù)據(jù)最終三維點(diǎn)云和攝像頭姿態(tài)寫成vrml語(yǔ)言表示的形式。
【文檔編號(hào)】G06T17/00GK104200523SQ201410460622
【公開日】2014年12月10日 申請(qǐng)日期:2014年9月11日 優(yōu)先權(quán)日:2014年9月11日
【發(fā)明者】胡占義, 崔海楠, 申抒含, 高偉 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所