專利名稱：街道級圖像到3d建筑物模型的對準(zhǔn)的制作方法
街道級圖像到3D建筑物模型的對準(zhǔn)背景在許多情況下，車輛的精確位置可以使用全球定位系統(tǒng)(GPQ接收器和慣性測量 裝置(IMU)的組合來確定?？梢允褂糜蒅PS和IMU所提供的定位測量來將使用這些位置系 統(tǒng)從車輛所拍攝的圖像對準(zhǔn)到一位置。然而，市區(qū)峽谷中的信號失真、機械容差、磨損等可導(dǎo)致一個或多個圖像傳感器所 報告的位置以不可預(yù)測的方式不同于傳感器的實際位置。這一失配的示例在

圖1中示出，該圖示出了現(xiàn)有技術(shù)中試圖將建筑物圖像數(shù)據(jù) (例如，照片數(shù)據(jù))50與相同建筑物的現(xiàn)有三維(3D)模型52對齊的結(jié)果。如可以看見的， 缺少圖像源位置到3D模型的地理基準(zhǔn)的準(zhǔn)確對準(zhǔn)，導(dǎo)致了圖像50與模型52之間的未對齊。概述一種系統(tǒng)和方法使用圖像和高分辨率的組合，通過系統(tǒng)地調(diào)整圖像數(shù)據(jù)的原點直 到圖像和建筑物模型發(fā)生最佳匹配來將街道級圖像對齊到3D建筑物模型。通過對圖像集 執(zhí)行原始調(diào)整(例如，相機位置)，它們可以被滿意地對齊。當(dāng)為街道相對側(cè)選擇圖像時，可 以提供進(jìn)一步的準(zhǔn)確度，從而提供更多樣性的數(shù)據(jù)來用于對齊過程。圖像與使用諸如機載激光測距(LIDAR)等另一技術(shù)所生成的建筑物的3D模型對 齊。街道級(即，小于地面上20英尺)圖像可以由用于建筑物特征的標(biāo)識的街道級LIDAR 數(shù)據(jù)來補充。圖像和街道級LIDAR被處理以便提取建筑物邊緣和天際線，隨后針對3D模型對它 們進(jìn)行投影。基于所提取的圖像邊緣和天際線、街道級邊緣和立面深度、以及3D模型的對 應(yīng)特征之間的距離來生成成本或優(yōu)值。隨后關(guān)于所計算的它的位置和所重新計算的成本來 迭代地移動照相機位置。隨后選擇對應(yīng)于所提取特征與所建模的特征之間的最佳匹配的最 低成本，并且可以存儲對應(yīng)的照相機位置。該過程可以合并來自沿著圖像行程的圖像，包括 來自相對側(cè)，例如街道的兩側(cè)的圖像。隨著源位置被移位，所有考慮的圖像的最低總體成本 表示照相機的更準(zhǔn)確的絕對位置。圖2示出圖像M和3D模型56的對齊，作為這一技術(shù)的 結(jié)果。附圖簡述圖1是現(xiàn)有技術(shù)中關(guān)于圖像和模型的對齊的不正確的原始位置信息的結(jié)果的圖 示；圖2是作為準(zhǔn)確原始信息的結(jié)果的圖像和模型數(shù)據(jù)的對齊的圖示；圖3是適用于圖像對準(zhǔn)的通用計算設(shè)備的框圖；圖4是示出在一個圖像行程中一點處的天際線標(biāo)識的框圖；圖5是示出在一個圖像行程中另一點處的天際線標(biāo)識的框圖；圖6是街道級圖像中天際線標(biāo)識的示意圖；圖7是示出使用天際線數(shù)據(jù)進(jìn)行原始位置調(diào)整的框圖；圖8是街道級圖像中天際線匹配的示意圖9是示出LIDAR立面和建筑物邊緣標(biāo)識的框圖；以及圖10是用于圖像對準(zhǔn)的圖像原始調(diào)整的方法的流程圖。詳細(xì)描述盡管下文闡明了眾多不同實施例的詳細(xì)描述，但是應(yīng)當(dāng)理解，該描述的法律范圍 由本發(fā)明所附的權(quán)利要求書的言辭來限定。該詳細(xì)描述應(yīng)被解釋為僅是示例性的，且不描 述每一可能的實施例，因為描述每一可能的實施例即使不是不可能的也是不切實際的?？?使用現(xiàn)有技術(shù)或在本申請?zhí)峤蝗罩箝_發(fā)的技術(shù)來實現(xiàn)眾多替換實施例，而這仍落入權(quán)利 要求書的范圍之內(nèi)。還應(yīng)該理解，在本專利中，除非使用句子“如此處所用，術(shù)語‘_，特此被定義
為意指......”或者類似句子來明確地定義一個術(shù)語，否則不管是明確地還是含蓄地，都沒
有限制該術(shù)語意義超出其平常或普通意義的意圖，并且，這一術(shù)語不應(yīng)該被解釋為被限制 在基于本專利的任何部分中(除了權(quán)利要求書的語言之外)所做的任何陳述的范圍中。就 本專利所附的權(quán)利要求書中所述的任何術(shù)語在本專利中以與單數(shù)意義相一致的方式來引 用而言，這是為簡明起見而如此做的，僅僅是為了不使讀者感到混淆，且這類權(quán)利要求術(shù)語 并不旨在隱含地或以其它方式限于該單數(shù)意義。最后，除非一權(quán)利要求要素是通過敘述單 詞“裝置”和功能而沒有敘述任何結(jié)構(gòu)來定義的，否則任何權(quán)利要求要素的范圍并不旨在基 于35U. S. C. § 12第6段的應(yīng)用來解釋。許多發(fā)明性功能和許多發(fā)明性原理最佳地使用或利用軟件程序或指令以及諸如 專用IC等集成電路(IC)來實現(xiàn)。期望本領(lǐng)域的普通技術(shù)人員雖然可能要進(jìn)行大量的工 作和由例如可用時間、現(xiàn)有技術(shù)以及經(jīng)濟(jì)問題促動的許多設(shè)計選擇，但是當(dāng)受到此處所公 開的概念和原理的指引時仍能夠容易地以最小的實驗來生成這些軟件指令和程序以及IC。 因此，為了簡明以及最小化使根據(jù)本發(fā)明的原理和概念晦澀的任何風(fēng)險，對這些軟件和 IC(如果有的話)的進(jìn)一步討論將限于對于較佳實施例的原理和概念所必需的那些討論。參考圖3，用于實現(xiàn)所要求保護(hù)的方法和裝置的示例性系統(tǒng)包括計算機110形式 的通用計算設(shè)備。虛線輪廓中所示出的組件在技術(shù)上不是計算機110的一部分，而是用于 示出圖3的示例性實施例。計算機110的組件可包括但不限于，處理器120、系統(tǒng)存儲器 130、存儲器/圖形接口 121(也被稱為北橋芯片)以及I/O接口 122(也被稱為南橋芯片)。 系統(tǒng)存儲器130和圖形處理器190可以耦合到存儲器/圖形接口 121。監(jiān)視器191或其他 圖形輸出設(shè)備可以耦合到圖形處理器190。一系列系統(tǒng)總線可以耦合各種系統(tǒng)組件，這些系統(tǒng)總線包括處理器120、存儲器/ 圖形接口 121和I/O接口 122之間的高速系統(tǒng)總線123，存儲器/圖形接口 121和系統(tǒng)存儲 器130之間的前端總線124，以及存儲器/圖形接口 121和圖形處理器190之間的高級圖形 處理(AGP)總線125。系統(tǒng)總線123可以是若干種類型的總線結(jié)構(gòu)中的任一種，包括，作為 示例而非限制，這些體系結(jié)構(gòu)包括工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(ISA)總線、微通道體系結(jié)構(gòu)(MCA)總 線和增強型ISA(EISA)總線。隨著系統(tǒng)體系結(jié)構(gòu)的進(jìn)化，可以使用其他總線體系結(jié)構(gòu)和芯 片組，但通常大致遵循該模式。例如，諸如英特爾和AMD等公司分別支持英特爾中樞體系結(jié) 構(gòu) Gntel Hub Architecture, IHA)和超傳輸 (Hypertransport)體系結(jié)構(gòu)。計算機110通常包括各種計算機可讀介質(zhì)。計算機可讀介質(zhì)可以是能由計算機 110訪問的任何可用介質(zhì)，而且包含易失性和非易失性介質(zhì)、可移動和不可移動介質(zhì)。作為示例而非限制，計算機可讀介質(zhì)可以包括計算機存儲介質(zhì)和通信介質(zhì)。計算機存儲介質(zhì)包 括以用于存儲諸如計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)等信息的任何方法或 技術(shù)實現(xiàn)的易失性和非易失性、可移動和不可移動介質(zhì)。計算機存儲介質(zhì)包括，但不限于， RAM、ROM、EEPR0M、閃存或其它存儲器技術(shù)、CD-ROM、數(shù)字多功能盤(DVD)或其它光盤存儲、 磁帶盒、磁帶、磁盤存儲或其它磁存儲設(shè)備、或能用于存儲所需信息且可以由計算機110訪 問的任何其它介質(zhì)。系統(tǒng)存儲器130包括易失性和/或非易失性存儲器形式的計算機存儲介質(zhì)，如只 讀存儲器(ROM) 131和隨機存取存儲器(RAM) 132。系統(tǒng)ROM 131可包含永久系統(tǒng)數(shù)據(jù)143， 諸如標(biāo)識和制造信息。在某些實施例中，基本輸入/輸出系統(tǒng)(BIOS)也可存儲在系統(tǒng)ROM 131中。RAM 132通常包含處理器120可以立即訪問和/或目前正在其上操作的數(shù)據(jù)和/或 程序模塊。作為示例而非限制，圖3示出了操作系統(tǒng)134、應(yīng)用程序135、其它程序模塊136 和程序數(shù)據(jù)137。1/0接口 122可將系統(tǒng)總線123與將各種內(nèi)部和外部設(shè)備耦合到計算機110的多 個其他總線126、127和1 耦合。串行外圍接口(SPI)總線1 可連接到包含幫助在諸如 啟動期間在計算機110內(nèi)的各元件之間傳遞信息的基本例程的基本輸入/輸出系統(tǒng)(BIOS) 存儲器133。超級輸入/輸出芯片160可用于連接到多個‘傳統(tǒng)’外圍設(shè)備，諸如例如，軟盤152、 鍵盤/鼠標(biāo)162和打印機196。在某些實施例中，超級1/0芯片160可以用諸如低引腳數(shù) (LPC)總線等總線127來連接到1/0接口 122。超級1/0芯片160的各實施例在商業(yè)市場 可廣泛地購買到。在一個實施例中，總線1 可以是外圍部件互連(PCI)總線或其變型，可用于將更 高速的外圍設(shè)備連接到1/0接口 122。PCI總線也可被稱為夾層(Mezzanine)總線。PCI總 線的變型包括快速外圍部件互連(PCI-E)和擴(kuò)展外圍部件互連(PCI-X)總線，前者具有串 行接口而后者是向后兼容的并行接口。在其他實施例中，總線1 可以是串行高級技術(shù)附 件(ATA)總線(SATA)或并行ATA (PATA)形式的ATA總線。計算機110還可以包括其他可移動/不可移動、易失性/非易失性計算機存儲介 質(zhì)。僅作為示例，圖3示出了對不可移動、非易失性磁介質(zhì)進(jìn)行讀寫的硬盤驅(qū)動器140。諸如通用串行總線(USB)存儲器153、火線(IEEE 1394)、或CD/DVD驅(qū)動器156等 可移動介質(zhì)可直接或通過接口 150連接到PCI總線128。存儲介質(zhì)IM可以通過接口 150 來耦合?？梢栽谑纠圆僮鳝h(huán)境中使用的其他可移動/不可移動、易失性/非易失性計算 機存儲介質(zhì)包括但不限于，磁帶盒、閃存卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等等。以上描述的驅(qū)動器及其相關(guān)聯(lián)的計算機存儲介質(zhì)為計算機110提供了對計算機 可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其它數(shù)據(jù)的存儲。例如，在圖3中，硬盤驅(qū)動器140被示為 存儲操作系統(tǒng)144、應(yīng)用程序145、其它程序模塊146和程序數(shù)據(jù)147。注意，這些組件可以與 操作系統(tǒng)134、應(yīng)用程序135、其他程序模塊136和程序數(shù)據(jù)137相同，也可以與它們不同。 操作系統(tǒng)144、應(yīng)用程序145、其他程序模塊146和程序數(shù)據(jù)147在這里被標(biāo)注了不同的標(biāo) 號是為了說明至少它們是不同的副本。用戶可通過諸如鼠標(biāo)/鍵盤162等輸入設(shè)備或其他 輸入設(shè)備組合來將命令和信息輸入計算機20。其他輸入設(shè)備(未示出)可以包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀等。這些和其他輸入設(shè)備通常通過諸如SPI 126、 LPC 127或PCI 1 等I/O接口總線中的一個來連接到處理器120，但可以使用其他總線。 在某些實施例中，其他設(shè)備可經(jīng)由超級I/O芯片160耦合到并行端口、紅外接口、游戲端口 以及諸如此類(未描繪)。計算機110可使用經(jīng)由網(wǎng)絡(luò)接口控制器(NIC) 170至一個或多個遠(yuǎn)程計算機，如 遠(yuǎn)程計算機180的邏輯連接來在聯(lián)網(wǎng)環(huán)境中操作。遠(yuǎn)程計算機180可以是個人計算機、服 務(wù)器、路由器、網(wǎng)絡(luò)PC、對等設(shè)備或其它常見的網(wǎng)絡(luò)節(jié)點，并且通常包括上面相對于計算機 110所述的許多或全部元件。圖3所描繪的NIC 170和遠(yuǎn)程計算機180之間的邏輯連接可 包括局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)或兩者，但還可包括其他網(wǎng)絡(luò)。這樣的聯(lián)網(wǎng)環(huán)境常見于辦 公室、企業(yè)范圍計算機網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)和因特網(wǎng)中。遠(yuǎn)程計算機180還可以表示支持與計算機 110進(jìn)行交互會話的web服務(wù)器。在某些實施例中，網(wǎng)絡(luò)接口可以在寬帶連接不可用或未使用寬帶連接時使用調(diào)制 解調(diào)器(未描繪)?？梢岳斫?，所示的網(wǎng)絡(luò)連接是示例性的，且可以使用在計算機之間建立 通信鏈路的其它手段。圖4-8示出如何基于相同場景的3D模型來解釋圖像數(shù)據(jù)，以便細(xì)化照相機位置在 地理方面的準(zhǔn)確性。在利用這一技術(shù)的一個實施例中，可以在飛機上安裝并使用例如光檢 測和測距(LIDAR)設(shè)備等精度掃描儀來捕捉諸如城市地區(qū)等地理區(qū)域的幾何數(shù)據(jù)。從這些 LIDAR數(shù)據(jù)中，能以10厘米數(shù)量級的經(jīng)度來生成包括建筑物的地區(qū)的三維模型。盡管這樣 的地理模型提供了有價值的資源，但是將生活示意為場景可能需要將色彩和紋理數(shù)據(jù)添加 到3D模型。街道級照片可以提供所需真實性，但是，如圖1所示，當(dāng)照片數(shù)據(jù)與3D模型沒 有適當(dāng)?shù)貙R時，可能導(dǎo)致難以理解的混亂。基于街道的LIDAR數(shù)據(jù)可以將照片數(shù)據(jù)的源 位置放置在相對于照片的對象(例如，建筑物)的一厘米之內(nèi)，但是如3D模型所使用的相 對于地理坐標(biāo)的照相機位置可偏離多達(dá)一米或更多。當(dāng)將照片數(shù)據(jù)投影到幾百米高的建筑 物的3D模型上時，這一源位置的不準(zhǔn)確可容易地導(dǎo)致圖1的失配。為解決照相機的地理位置的不準(zhǔn)確，可以使用更準(zhǔn)確的機載且街道級LIDAR數(shù)據(jù) 來在數(shù)學(xué)上改變照相機位置坐標(biāo)，直到圖像和街道級LIDAR數(shù)據(jù)最佳地擬合相同場景的3D 模型。一旦沿著圖像行程的兩點，尤其是接近該行程的結(jié)尾的亮點，被正確地定位，來自沿 著該行程的其他間隔的圖像就可以使用IMU數(shù)據(jù)來準(zhǔn)確地定位中間點。圖4是示出在一個圖像行程中一點處的天際線標(biāo)識的框圖。街道402以及代表性 建筑物404、406、408被示為表示典型的街道環(huán)境。軌道410示出了用于沿著軌道410捕捉 圖像數(shù)據(jù)的行程路徑?？砂粗芷谛蚤g隔沿著軌道捕捉圖像。接近軌道410開頭的代表性第 一位置412示出了從第一位置412的角度來看的建筑物的天際線416、418和420。一實施例使用基于本領(lǐng)域所知的最優(yōu)路徑算法的天際線檢測算法。該算法取決于 邊緣、梯度大小和方向、以及天空分類邊緣和消失點信息。例如，邊緣和消失點的組合可以 使用將所考慮的像素聯(lián)接到消失點的線上的天空分類的像素的百分比。另一天際線檢測屬 性可以使用基于現(xiàn)有的建筑物模型的經(jīng)先驗估計的天際線，即，3D模型自身可以用于幫助 確定圖像數(shù)據(jù)中的天際線。分別為建筑物404、406、408所提取的天際線數(shù)據(jù)416、418和420可以隨后在作為 與3D模型的對比的一部分的確定源位置時使用。
將第一和第二位置412和414分別描繪為立方體示出了軌道410中那個點處的圖 像的確切源位置是在三維空間中的估計，該估計可能較準(zhǔn)確或較不準(zhǔn)確，取決于GPS接收 的自然環(huán)境和IMU的準(zhǔn)確度。圖5是示出在諸如圖4所示的圖像行程等一個圖像行程中另一點處的天際線標(biāo)識 的框圖。如上，示出了街道502以及建筑物504、506和508。軌道510示出沿著街道的圖像 行程進(jìn)展，其中各圖像沿著軌道510定期拍攝，包括接近開頭的代表性第一位置512以及接 近軌道510結(jié)尾的代表性第二位置514。在一些實施例中，沿著該行程的其他圖像可以在計 算照相機的最佳擬合實際位置時使用。如所示出的，天際線檢測可用于確定從第二位置514的街道級角度來看的每個相 應(yīng)的建筑物504,506,508的天際線516、518、520。這些信息可以隨后與3D模型數(shù)據(jù)相組合來為從中獲得原始街道級圖像的照相機 的地理位置確定校正因子。圖6是描繪若干建筑物及其相關(guān)聯(lián)的天際線的街道級圖像602。所檢測的天際線 604用白線示出。如果照相機實際在它所報告的位置處，則黑線606表示3D模型的所投影 的天際線。圖7示出了具有所檢測的天際線邊緣704的代表性建筑物702。可以定位圖像源 的范圍由立方體706表示。立方體706的中心可以在如GPS和IMU設(shè)備所記錄的照相機的位置。如圖7所描繪的，基于3D模型數(shù)據(jù)的所投影的天際線可以與圖像的所檢測的天際 線相比較。例如，可以從立方體706的左上角定位第一投影708，可以用頂部中間的照相機 位置進(jìn)行第二投影710，并且可以從該立方體的右下角進(jìn)行第三投影712。在操作中，可以 行程在所測量位置周圍3x 3x 3矩陣上的照相機位置。所提取和所投影的天際線之間的距 離可以計算為圖像坐標(biāo)中χ和y維度中絕對距離的e之和(abS(Xl-X2)+abS(yl-y2))。在 一些實施例中，超過100像素的距離可以不被考慮，來解決錯誤地檢測的部分天際線?？梢?選擇并存儲與所檢測和所投影的天際線之間最接近的匹配相關(guān)聯(lián)的投影位置，在這一示例 中，投影710表示最佳匹配。由于沿著給定軌道的行程的IMU數(shù)據(jù)非常準(zhǔn)確，因此使用來自 沿著給定軌道的數(shù)據(jù)來執(zhí)行位置操作可以用于在一次計算中重定向整個軌道。圖8描繪了示出多個所投影的天際線804的街道級圖像802，這些天際線表示用于 生成所投影的天際線804的不同照相機位置。圖9示出了使用街道級LIDAR數(shù)據(jù)來補充天際線數(shù)據(jù)以供圖像匹配?？梢詮恼障?機位置904捕捉圖像數(shù)據(jù)中的建筑物902?？梢栽诓蹲綀D像數(shù)據(jù)的同時記錄邊緣數(shù)據(jù)906 和908、以及立面深度910。如上述所檢測和所投影的天際線一樣，邊緣912、914和立面深 度916信息可以與所投影的邊緣以及從建筑物902的3D模型中所提取的立面信息相比較。 LIDAR深度數(shù)據(jù)可以比所檢測的天際線信息更穩(wěn)健，并且可以在組合關(guān)于實際照相機位置 的所有源信息時給予它更多權(quán)重。對于給定一行程段，LIDAR深度的計算可以首先獲得一個或多個附近建筑物的3D 模型。對于每個建筑物，可以考慮面向行程片段且具有大面積和寬度的建筑物立面。基于 3D建筑物模型來計算每個立面(在局部坐標(biāo)系中)系統(tǒng)的邊緣的開始和停止位置。計算對 應(yīng)于邊緣的開始和停止觸發(fā)事件、以及立面邊緣到行程段上的投影。基于這些信息，可以獲得距行程段的立面深度。將開始和停止觸發(fā)事件傳遞給LIDAR深度檢測模塊。傳回找到的主導(dǎo)平面的深 度。選擇最接近于感興趣立面(在質(zhì)心意義上)的主導(dǎo)平面，并且計算差別。如果基于LIDAR的深度與現(xiàn)有基于建筑物模型立面的深度的差別在給定容差之 內(nèi)，則考慮該差別。這被稱為基于建筑物立面-LIDAR深度的差別。對于該行程段周圍整個 側(cè)面的建筑物立面、所有基于建筑物立面-LIDAR深度的差別的平均值是基于LIDAR深度的 優(yōu)值。LIDAR邊緣計算也可以通過為給定行程段附近的建筑物獲得3D建筑物模型來開 始。對于每個建筑物，可以使用在局部坐標(biāo)系中的建筑物幾何模型來計算邊緣。計算建筑 物的開始和停止位置、以及對應(yīng)于建筑物的觸發(fā)事件。這些開始和停止觸發(fā)事件連同Lidar單元(左或右側(cè)面)被個別地傳送到LIDAR 邊緣檢測模塊。同樣，可以提供在LIDAR深度圖像中建筑物的側(cè)面。LIDAR邊緣檢測模塊檢 測建筑物邊緣周圍的主導(dǎo)平面，并且找出取決于建筑物側(cè)面的邊緣。將LIDAR所檢測的邊緣的質(zhì)心投影回建筑物的從角觀看的圖像。類似地，將對應(yīng) 于來自現(xiàn)有模型中建筑物邊緣的點(使用與照相機相同的高度，對應(yīng)于局部坐標(biāo)系中建筑 物角位置)投影回去。對基于邊緣的成本或優(yōu)值考慮這些投影的列數(shù)量的差別(以像素為 單位)。這是基于圖像幀完全垂直的假設(shè)下的近似成本。這對于示例性地理位置模塊中通 常所使用的分辨力足夠合理。對于行程段周圍所有建筑物的這些差別的平均值被認(rèn)為是基于LIDAR邊緣的成 本或優(yōu)值(以像素為單位)。圖10描繪了用于確定圖像數(shù)據(jù)的源位置的位移值的方法1000。在框1002處，可 以加載源位置的第一位移值。在框1004，從源圖像中所提取的天際線與從對應(yīng)3D模型中所 計算的天際線之間的天際線位移的優(yōu)值?？梢允褂枚鄠€源圖像來為所測試的每個源圖像位 移進(jìn)行天際線優(yōu)值計算。在框1006處，可以通過比較LIDAR數(shù)據(jù)和3D模型數(shù)據(jù)來計算LIDAR邊緣和立面 數(shù)據(jù)的優(yōu)值。在框1008處，可計算天際線和LIDAR的優(yōu)值。在一個實施例中，簡單地將優(yōu)值相 加。在另一實施例中，例如，如果LIDAR數(shù)據(jù)的一個優(yōu)值的關(guān)聯(lián)的數(shù)據(jù)被認(rèn)為是更準(zhǔn)確的， 則該優(yōu)值可以被加權(quán)更多。在框1010處，可以將框1008的結(jié)果與先前存儲的最小值(如果有的話)比較。如 果新優(yōu)值小于先前最小值，則執(zhí)行可跟隨“是”分支到框1012。如果新優(yōu)值等于或大于當(dāng)前 最小值，則執(zhí)行可跟隨“否”分支，如果還有位移值要測試，則執(zhí)行可繼續(xù)到框1002處。如果從框1010采取“是”分支，在框1012處，可存儲優(yōu)值的新低值、以及該新低值 導(dǎo)致的位移值。如果還有位移值需要測試，執(zhí)行可繼續(xù)到框1002處。當(dāng)測試了所有位移值時，可以使用與最低優(yōu)值相關(guān)聯(lián)的位移值來校正行程數(shù)據(jù)。使用所建模的建筑物立面的實際圖像的能力給予3D圖像和地理應(yīng)用程序新一級 的真實性。使用以上描述的技術(shù)使得會是艱巨任務(wù)的大量地理位置數(shù)據(jù)的圖像到模型的匹 配能夠自動化。結(jié)果，臨時用戶、業(yè)務(wù)應(yīng)用程序開發(fā)者、玩家等可以享受大規(guī)模地理建模的 準(zhǔn)確性和真實性。
盡管上文闡明了眾多不同實施例的詳細(xì)描述，但是應(yīng)當(dāng)理解，本專利的法律范圍 由本專利所附的權(quán)利要求書的言辭來限定。該詳細(xì)描述應(yīng)被解釋為僅是示例性的，且不描 述本發(fā)明的每一可能的實施例，因為描述每一可能的實施例即使不是不可能的也是不切實 際的?？墒褂矛F(xiàn)有技術(shù)或在本專利提交日之后開發(fā)的技術(shù)來實現(xiàn)眾多替換實施例，這仍將 落入定義本發(fā)明的權(quán)利要求書的范圍之內(nèi)。由此，可在此處所描述和示出的技術(shù)和結(jié)構(gòu)上作出許多修改和變化而不脫離本發(fā) 明的精神和范圍。因此，應(yīng)當(dāng)理解，此處所描述的方法和裝置僅是說明性的，且不限制本發(fā) 明的范圍。
權(quán)利要求
1.一種校正位置數(shù)據(jù)的方法，其特征在于，包括 將源位置分配給圖像；確定所述圖像中建筑物(504)的建筑物(504)細(xì)節(jié)；從三維掃描中提取對應(yīng)于所述建筑物(504)細(xì)節(jié)的建筑物(504)模型；將來自所述建筑物(504)模型的模型細(xì)節(jié)投影到來自所述圖像的建筑物(504)細(xì)節(jié)上；調(diào)整所述源位置，直到所述建筑物(504)細(xì)節(jié)與所述模型細(xì)節(jié)在限制值內(nèi)匹配； 記錄從調(diào)整源位置產(chǎn)生的經(jīng)調(diào)整的源位置，直到所述建筑物(504)細(xì)節(jié)與所述模型細(xì) 節(jié)在限制值內(nèi)匹配。
2.如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括在將所述圖像應(yīng)用于所述建筑物(504)模型時，使用經(jīng)調(diào)整的源位置。
3.如權(quán)利要求1所述的方法，其特征在于，確定所述圖像中的建筑物(504)細(xì)節(jié)包括 測量從所述源位置到所述建筑物(504)的立面的距離。
4.如權(quán)利要求1所述的方法，其特征在于，確定所述圖像中的建筑物(504)細(xì)節(jié)包括 評估邊緣和梯度大小；評估線上與消失點相關(guān)聯(lián)的像素；以及從所述建筑物(504)模型中估計所述建筑物(504)細(xì)節(jié)。
5.如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括選擇來自一行程段和來自該行 程段的相對側(cè)的對應(yīng)于建筑物G04)的多個圖像。
6.如權(quán)利要求5所述的方法，其特征在于，進(jìn)一步包括在對所述模型細(xì)節(jié)投影(710) 時，組合建筑物(504)深度數(shù)據(jù)和建筑物(504)天際線數(shù)據(jù)016)。
7.如權(quán)利要求1所述的方法，其特征在于，確定所述建筑物(504)細(xì)節(jié)包括確定照片建 筑物(504)天際線(516)。
8.如權(quán)利要求1所述的方法，其特征在于，確定建筑物(504)細(xì)節(jié)包括確定照片建筑物 (504)邊緣(912)。
9.如權(quán)利要求1所述的方法，其特征在于，確定建筑物(504)細(xì)節(jié)包括確定LIDAR天際 線(516)。
10.如權(quán)利要求1所述的方法，其特征在于，確定建筑物(504)細(xì)節(jié)包括確定LIDAR建 筑物(504)邊緣(912)。
11.如權(quán)利要求1所述的方法，其特征在于，調(diào)整源位置包括使用多個圖像在開始點三維范圍上調(diào)整開始點源位置，來將多個模型細(xì)節(jié)投影到來自 每一圖像的對應(yīng)的多個建筑物(504)細(xì)節(jié)上。
12.一種將圖像數(shù)據(jù)對齊到建筑物(504)模型的方法，其特征在于，包括 捕捉街道(40 級建筑物(504)信息；將源位置分配給所述街道(40 級建筑物(504)信息；在所述街道(40 級建筑物(504)信息中確定建筑物(504)天際線(516)、建筑物 (504)邊緣(912)、以及建筑物(504)立面深度(910)；從航空數(shù)據(jù)中提取對應(yīng)于與所述街道(40 級建筑物(504)信息相關(guān)聯(lián)的位置的模型 fn息；將優(yōu)值函數(shù)應(yīng)用于所述街道(402)級建筑物(504)信息和所述航空數(shù)據(jù)的對應(yīng)元素；基于對所述優(yōu)值函數(shù)的輸出的分析來計算位移因子；通過將所述位移因子應(yīng)用于所述源位置來修改所述源位置；以及使用由所述位移因子所修改的源位置來將所述圖像數(shù)據(jù)對齊到所述建筑物(504)模型。
13.如權(quán)利要求12所述的方法，其特征在于，應(yīng)用優(yōu)值函數(shù)包括分析街道(402)級天際 線(516)和航空數(shù)據(jù)天際線(516)。
14.如權(quán)利要求12所述的方法，其特征在于，應(yīng)用優(yōu)值函數(shù)包括分析街道(40 級立面 和航空數(shù)據(jù)立面。
15.如權(quán)利要求12所述的方法，其特征在于，應(yīng)用優(yōu)值函數(shù)包括分析街道(40 級建筑 物(504)邊緣(912)和航空數(shù)據(jù)建筑物(504)邊緣(912)。
16.一種具有用于執(zhí)行一種方法的計算機可執(zhí)行指令的計算機可讀存儲介質(zhì)(140)， 其特征在于，所述方法包括捕捉包括街道(40 場景圖像數(shù)據(jù)的街道(40 級建筑物(504)信息； 將源位置分配給所述街道(40 級建筑物(504)信息；在所述街道(40 級建筑物(504)信息中確定建筑物(504)天際線(516)、建筑物 (504)邊緣(912)、以及建筑物(504)立面深度(910)從航空數(shù)據(jù)中提取對應(yīng)于與所述街道(40 級建筑物(504)信息相關(guān)聯(lián)的位置的建筑 物(504)模型；基于所述航空數(shù)據(jù)將優(yōu)值函數(shù)應(yīng)用于所述街道(402)級建筑物(504)信息和所述建筑 物(504)模型的對應(yīng)元素；基于對所述優(yōu)值函數(shù)的輸出的分析來確定位移因子； 通過將所述位移因子應(yīng)用于所述源位置來修改所述源位置；以及 使用由所述位移因子所修改的源位置來將所述街道(40 場景圖像數(shù)據(jù)對齊到所述 建筑物(504)模型。
17.如權(quán)利要求16所述的計算機可讀存儲介質(zhì)，其特征在于，應(yīng)用優(yōu)值函數(shù)包括將街 道(402)級建筑物(504)的天際線(516)、邊緣(912)以及立面信息與對應(yīng)的航空數(shù)據(jù)建筑 物(504)的天際線(516)、邊緣(912)以及立面信息相比較。
18.如權(quán)利要求16所述的計算機可讀存儲介質(zhì)，其特征在于，捕捉街道(40 級建筑物 (504)信息包括捕捉街道(40 兩側(cè)的街道(40 級建筑物(504)信息。
19.如權(quán)利要求16所述的計算機可讀存儲介質(zhì)，其特征在于，捕捉街道(40 級建筑物 (504)信息包括捕捉二維照片和三維激光測距(LIDAR)數(shù)據(jù)中的至少一個。
20.如權(quán)利要求16所述的計算機可讀存儲介質(zhì)，其特征在于，基于航空數(shù)據(jù)將優(yōu)值函 數(shù)應(yīng)用于所述街道(40 級建筑物(504)信息和所述建筑物(504)模型的對應(yīng)元素包括基 于對應(yīng)于沿著街道(402)場景的多個位置的航空數(shù)據(jù)將優(yōu)值函數(shù)應(yīng)用于所述街道(402)級 建筑物(504)信息和所述建筑物(504)模型的對應(yīng)元素、并且對多個位置中的每一個線性 地組合各自的優(yōu)值。
全文摘要
圖像數(shù)據(jù)的原點信息可能不準(zhǔn)確地與絕對地理位置對準(zhǔn)。將圖像與高度準(zhǔn)確的模型數(shù)據(jù)進(jìn)行對齊的過程通過將圖像中的元素與模型中的對應(yīng)元素進(jìn)行匹配來調(diào)整圖像數(shù)據(jù)的原點。在街道級圖像中，可以提取建筑物的天際線，并且可以將來自建筑物模型的對應(yīng)天際線放置在基于圖像的天際線之上。通過調(diào)整圖像的原點，可以對齊各自的天際線。通過調(diào)整圖像的圖像原點可以類似地對建筑物邊緣和立面深度信息進(jìn)行匹配。經(jīng)調(diào)整的圖像的原點可以隨后用于對長圖像行程自動將圖像放置在模型上。
文檔編號G06T7/00GK102084398SQ200980124704
公開日2011年6月1日 申請日期2009年5月20日 優(yōu)先權(quán)日2008年6月25日
發(fā)明者G·基米馳, K·C·穆克蒂努塔拉帕提, M·D·塔巴, P·納吉, Z·比 申請人:微軟公司