專(zhuān)利名稱(chēng)：用于場(chǎng)景解釋和對(duì)準(zhǔn)性能估計(jì)的2d電光圖像和3d點(diǎn)云數(shù)據(jù)的融合的制作方法
技術(shù)領(lǐng)域：
發(fā)明的裝置涉及二維和三維圖像數(shù)據(jù)的對(duì)準(zhǔn)，并且更具體地說(shuō)，涉及用于2D和3D 圖像數(shù)據(jù)的對(duì)準(zhǔn)性能的視覺(jué)解釋的方法。這種技術(shù)用作確定對(duì)準(zhǔn)成功的度量。
背景技術(shù)：
常規(guī)電光(EO)傳感器已經(jīng)長(zhǎng)期用于這樣的圖像數(shù)據(jù)的收集，并且一般產(chǎn)生二維數(shù)據(jù)。這樣的數(shù)據(jù)一般與圖像到可完全由X和y坐標(biāo)軸定義的平面區(qū)域上的投影相對(duì)應(yīng)。 最近，對(duì)三維成像數(shù)據(jù)的興趣已逐漸增大。例如，LIDAR系統(tǒng)使用高能激光器、光學(xué)探測(cè)器和計(jì)時(shí)電路，以產(chǎn)生三維點(diǎn)云數(shù)據(jù)。在3D點(diǎn)云中的每個(gè)點(diǎn)與由數(shù)字?jǐn)z像機(jī)產(chǎn)生的像素?cái)?shù)據(jù)空間相似，不同之處是，3D點(diǎn)云數(shù)據(jù)按三維排列，使點(diǎn)定義在由x、y和ζ坐標(biāo)系定義的三維空間的各個(gè)位置處。一種主要差別是，激光雷達(dá)(Iidar)是范圍數(shù)據(jù)，而2D EO數(shù)據(jù)具有位置和強(qiáng)度信息。然而，存在其中激光雷達(dá)傳感器可停留因而創(chuàng)建強(qiáng)度‘圖像’的模式。應(yīng)該注意，不需要這種模式來(lái)完成在本專(zhuān)利中描述的兩個(gè)數(shù)據(jù)類(lèi)型的重疊以便確定數(shù)據(jù)對(duì)齊或?qū)?zhǔn)。點(diǎn)云數(shù)據(jù)可能難以解釋?zhuān)驗(yàn)樵谠紨?shù)據(jù)中的對(duì)象或地表特征不容易區(qū)分。代之以，原始點(diǎn)云數(shù)據(jù)在三維坐標(biāo)系上可顯現(xiàn)成幾乎不定形的和沒(méi)有信息的點(diǎn)的集合。彩色地圖已經(jīng)用來(lái)幫助視覺(jué)化點(diǎn)云數(shù)據(jù)。例如，彩色地圖已經(jīng)用來(lái)作為每個(gè)點(diǎn)的高度坐標(biāo)的函數(shù)， 選擇性地改變?cè)?D點(diǎn)云中的每個(gè)點(diǎn)的顏色。在這樣的系統(tǒng)中，顏色的變化用來(lái)表示在地面上不同高度或高程處的點(diǎn)。盡管使用這樣的常規(guī)彩色地圖，但3D點(diǎn)云數(shù)據(jù)仍然難以解釋。便利的是，對(duì)于同一場(chǎng)景組合2D EO成像數(shù)據(jù)與3D點(diǎn)云數(shù)據(jù)。這種過(guò)程有時(shí)叫做數(shù)據(jù)融合(data fusion) 0然而，組合兩種不同的圖像數(shù)據(jù)集必定要求圖像對(duì)準(zhǔn)步驟，以在空間上對(duì)準(zhǔn)點(diǎn)。這樣的圖像對(duì)準(zhǔn)步驟通常借助于與每個(gè)圖像相關(guān)的元數(shù)據(jù)。例如，這樣的元數(shù)據(jù)可包括1)傳感器的方位和姿勢(shì)信息；幻與圖像的角部點(diǎn)相關(guān)的經(jīng)緯坐標(biāo)；及3)在點(diǎn)云數(shù)據(jù)的情況下，用于點(diǎn)云數(shù)據(jù)的原始χ、y和ζ點(diǎn)位置。2D對(duì)3D圖像對(duì)準(zhǔn)步驟可能是困難的和耗時(shí)的，因?yàn)樗笥刹煌瑐鞲衅髟诓煌瑪?shù)據(jù)收集時(shí)間和不同相對(duì)傳感器位置處獲得的EO和LIDAR數(shù)據(jù)的精確對(duì)準(zhǔn)。況且，點(diǎn)云數(shù)據(jù)與EO圖像數(shù)據(jù)相比通常是不同格式，造成更復(fù)雜的對(duì)準(zhǔn)問(wèn)題。為了解決上述對(duì)準(zhǔn)問(wèn)題， 已經(jīng)提出各種對(duì)準(zhǔn)方案。然而，得到的對(duì)準(zhǔn)EO和LIDAR數(shù)據(jù)的視覺(jué)解釋對(duì)于人類(lèi)分析者常常仍然是困難的。這種困難的一個(gè)原因是，即使在兩種類(lèi)型的成像數(shù)據(jù)的對(duì)準(zhǔn)和融合之后， 三維LIDAR點(diǎn)云也將常常顯得浮在代表二維圖像數(shù)據(jù)的平的二維平面上方。這產(chǎn)生兩個(gè)值得注意的問(wèn)題。具體地說(shuō)，它使得人們更難以將由融合的圖像數(shù)據(jù)代表的場(chǎng)景視覺(jué)化。這因?yàn)榭赡茈y以理解如何將點(diǎn)云數(shù)據(jù)擬合到二維圖像中而發(fā)生。相同的效果也使得更難以評(píng)估對(duì)準(zhǔn)過(guò)程工作得多好。關(guān)于顯得浮在平的二維表面上的三維點(diǎn)云數(shù)據(jù)，人類(lèi)難以判斷由點(diǎn)云代表的各種特征(例如，結(jié)構(gòu)、車(chē)輛)與在二維圖像中的對(duì)應(yīng)特征(例如，建筑物輪廓或印跡、和道路)對(duì)準(zhǔn)得多好。與選中的特定對(duì)準(zhǔn)方案無(wú)關(guān)，評(píng)估結(jié)果的性能是有用的。

發(fā)明內(nèi)容
本發(fā)明涉及組合2D圖像與3D點(diǎn)云用于共同場(chǎng)景的改進(jìn)視覺(jué)以及對(duì)準(zhǔn)過(guò)程的成功的解釋的方法和系統(tǒng)。得到的融合的數(shù)據(jù)包含來(lái)自原始3D點(diǎn)云的組合信息和來(lái)自2D圖像的信息。按照彩色地圖標(biāo)記過(guò)程將原始3D點(diǎn)云數(shù)據(jù)顏色編碼。通過(guò)融合來(lái)自不同傳感器的數(shù)據(jù)，得到的場(chǎng)景具有與作戰(zhàn)空間了解、目標(biāo)識(shí)別、在呈現(xiàn)的場(chǎng)景內(nèi)的變化探測(cè)和對(duì)準(zhǔn)成功的確定相關(guān)的幾個(gè)有用屬性。用來(lái)組合2D圖像與3D點(diǎn)云LIDAR的方法包括幾個(gè)步驟。如果圖像還沒(méi)有對(duì)準(zhǔn)， 那么方法可從將2D圖像和3D點(diǎn)云對(duì)準(zhǔn)的對(duì)準(zhǔn)步驟開(kāi)始。此后，方法涉及分析2D圖像，以識(shí)別在共同場(chǎng)景中多個(gè)區(qū)域的基于選中內(nèi)容的特性。例如，基于內(nèi)容的特性可包括城市場(chǎng)景內(nèi)容、自然場(chǎng)景內(nèi)容、水內(nèi)容和人造結(jié)構(gòu)內(nèi)容。此后，將已經(jīng)識(shí)別的多個(gè)區(qū)域的每一個(gè)賦予與區(qū)域的基于內(nèi)容的特性相對(duì)應(yīng)的彩色地圖標(biāo)簽。在使用2D圖像的彩色地圖標(biāo)簽對(duì)準(zhǔn)之后，按照彩色地圖標(biāo)簽將不同彩色地圖賦予3D點(diǎn)云的多個(gè)區(qū)域的每一個(gè)?！秶?，型圖像從2D圖像創(chuàng)建。就是說(shuō)，通過(guò)將Z值賦予 2D圖像中的每個(gè)像素(其中基于對(duì)于在3D LIDAR中的最近點(diǎn)的內(nèi)插而確定每個(gè)Z值)并且呈現(xiàn)該Z值，從2D圖像形成虛擬3D點(diǎn)云。基于在2D圖像中的對(duì)應(yīng)像素的顏色值，賦予用于虛擬3D點(diǎn)云的顏色值。2D圖像顏色信息常常按11或16位值供給，其隨后可被轉(zhuǎn)換成 RGB值。最后，通過(guò)重疊虛擬范圍圖像和3D點(diǎn)云數(shù)據(jù)而創(chuàng)建融合的場(chǎng)景。按這種方式形成的融合的場(chǎng)景對(duì)于評(píng)估對(duì)準(zhǔn)步驟的性能或質(zhì)量特別有用。具體地說(shuō)，可視覺(jué)地檢查融合的場(chǎng)景，以確定在共同區(qū)域中的特征是否適當(dāng)?shù)貙?duì)準(zhǔn)。


圖1是對(duì)于理解本發(fā)明有用的計(jì)算機(jī)系統(tǒng)的方塊圖。圖2是對(duì)于理解本發(fā)明有用的流程圖。圖3是對(duì)于理解如何由不同有利點(diǎn)獲得圖像數(shù)據(jù)有用的圖。圖4是對(duì)于理解如何可將彩色地圖標(biāo)簽賦予2D圖像有用的概念圖。圖5是對(duì)于理解二維圖像數(shù)據(jù)或點(diǎn)云數(shù)據(jù)有用的圖。圖6是對(duì)于理解二維圖像數(shù)據(jù)有用的圖。圖7是對(duì)于理解如何將在圖6中的二維圖像數(shù)據(jù)轉(zhuǎn)換成虛擬三維圖像有用的圖。圖8是二維圖像數(shù)據(jù)的例子，該二維圖像數(shù)據(jù)可用在圖2中描述的過(guò)程中。圖9是融合圖像的例子，在該融合圖像中，將虛擬3D圖像與3D點(diǎn)云數(shù)據(jù)相組合。
具體實(shí)施例方式在本發(fā)明中，2D圖像被修改，并且然后與用于共同場(chǎng)景的3D點(diǎn)云數(shù)據(jù)相融合。過(guò)程促進(jìn)場(chǎng)景的分析，并且允許圖像對(duì)準(zhǔn)過(guò)程的質(zhì)量的改進(jìn)評(píng)估。利用適當(dāng)對(duì)準(zhǔn)過(guò)程來(lái)對(duì)準(zhǔn) 2D圖像和3D點(diǎn)云數(shù)據(jù)。此后，處理3D點(diǎn)云數(shù)據(jù)，以識(shí)別和定義地面表格。地面表格代表在場(chǎng)景中地面的輪廓。地面表格然后用來(lái)將2D圖像變換成包括地面輪廓的虛擬3D圖像。 通過(guò)選擇性修改與2D圖像的像素相關(guān)的Z值，從而它們一般與由地面表格定義的Z值相一致，而創(chuàng)建虛擬3D圖像。按這種方式，將地面的輪廓賦予2D圖像，由此形成虛擬3D圖像。 一旦這個(gè)過(guò)程完成，就將先前對(duì)準(zhǔn)的3D點(diǎn)云數(shù)據(jù)重疊在虛擬3D圖像上。得到的融合的3D圖像提供場(chǎng)景的改進(jìn)視覺(jué)化，并且允許對(duì)準(zhǔn)質(zhì)量的更好評(píng)估?，F(xiàn)在參照附圖在下文將更充分地描述本發(fā)明，在這些附圖中，表示本發(fā)明的說(shuō)明性實(shí)施例。然而，本發(fā)明可以按多種不同形式實(shí)施，并且不應(yīng)該解釋成限于這里敘述的實(shí)施例。例如，本發(fā)明可實(shí)施成方法、數(shù)據(jù)處理系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。相應(yīng)地，本發(fā)明可采取完全硬件實(shí)施、完全軟件實(shí)施、硬件/軟件實(shí)施的形式。本發(fā)明涉及一種用來(lái)評(píng)估對(duì)準(zhǔn)過(guò)程的相關(guān)性能的方法，該對(duì)準(zhǔn)過(guò)程涉及構(gòu)成點(diǎn)云的三維(3D)圖像數(shù)據(jù)和二維OD)圖像數(shù)據(jù)。為了本發(fā)明的目的，2D圖像數(shù)據(jù)和3D點(diǎn)云數(shù)據(jù)將被假定成已經(jīng)借助于某種對(duì)準(zhǔn)過(guò)程對(duì)準(zhǔn)。各種對(duì)準(zhǔn)過(guò)程在本領(lǐng)域中已知。相應(yīng)地，不再詳細(xì)地描述具體對(duì)準(zhǔn)過(guò)程。本發(fā)明可在一個(gè)計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)?？蛇x擇地，本發(fā)明可在幾個(gè)互連的計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)。適于執(zhí)行這里描述的方法的任何種類(lèi)的計(jì)算機(jī)系統(tǒng)或其它設(shè)備是適當(dāng)?shù)?。硬件和軟件的典型組合可能是通用計(jì)算機(jī)系統(tǒng)。通用計(jì)算機(jī)系統(tǒng)可具有計(jì)算機(jī)程序，該計(jì)算機(jī)程序可控制計(jì)算機(jī)系統(tǒng)，從而它執(zhí)行這里描述的方法。本發(fā)明可采取在計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(例如，硬盤(pán)或CD-ROM)上的計(jì)算機(jī)程序產(chǎn)品的形式。計(jì)算機(jī)可用存儲(chǔ)介質(zhì)可具有嵌在介質(zhì)中的計(jì)算機(jī)可用程序代碼。術(shù)語(yǔ)計(jì)算機(jī)程序產(chǎn)品，如這里使用的那樣，是指一種裝置，該裝置包括能夠?qū)崿F(xiàn)這里描述的方法的實(shí)施的所有特征。在本上下文中計(jì)算機(jī)程序、軟件應(yīng)用、計(jì)算機(jī)軟件例程和/或這些術(shù)語(yǔ)的其它變形，是指指令集按任何語(yǔ)言、代碼、或注釋的任何表達(dá)，這些指令打算使具有信息處理能力的系統(tǒng)直接地或在如下的任一個(gè)或兩者之后完成特定功能a)轉(zhuǎn)換成另一種語(yǔ)言、代碼、 或注釋?zhuān)换騜)按不同材料形式再現(xiàn)。計(jì)算機(jī)系統(tǒng)100可包括各種類(lèi)型的計(jì)算系統(tǒng)和裝置，包括服務(wù)器計(jì)算機(jī)、客戶(hù)端用戶(hù)計(jì)算機(jī)、個(gè)人計(jì)算機(jī)(PC)、圖形輸入板PC、筆記本電腦、臺(tái)式計(jì)算機(jī)、控制系統(tǒng)、網(wǎng)絡(luò)路由器、開(kāi)關(guān)或橋、或能夠執(zhí)行規(guī)定將由該裝置采取的行動(dòng)的指令集的任何其它裝置(依次或以其他方式)。要理解，本公開(kāi)的裝置也包括提供音頻、視頻或數(shù)據(jù)通信的任何電子裝置。 而且，盡管表明單個(gè)計(jì)算機(jī)，但短語(yǔ)“計(jì)算機(jī)系統(tǒng)”要理解成，包括個(gè)別或聯(lián)合地執(zhí)行一個(gè)指令集(或多個(gè)指令集)以執(zhí)行這里討論的任一種或多種方法的計(jì)算裝置的任何集合。計(jì)算機(jī)系統(tǒng)100可包括處理器102 (如中央處理單元(CPU)、圖形處理單元(GPU、 或兩者)、主存儲(chǔ)器104及靜態(tài)存儲(chǔ)器106，這些可經(jīng)總線(xiàn)108彼此通信。計(jì)算機(jī)系統(tǒng)100 還可包括顯示單元110，如視頻顯示器(例如，液晶顯示器或IXD)、平面板、固態(tài)顯示器、 或陰極射線(xiàn)管(CRT))。計(jì)算機(jī)系統(tǒng)100可包括輸入裝置112(例如，鍵盤(pán))、光標(biāo)控制裝置 114(例如，鼠標(biāo))、盤(pán)驅(qū)動(dòng)單元116、信號(hào)產(chǎn)生裝置118(例如，揚(yáng)聲器或遙控器)及網(wǎng)絡(luò)接口裝置120。盤(pán)驅(qū)動(dòng)單元116可包括計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)122，在該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)122上存儲(chǔ)一個(gè)或多個(gè)指令集124(例如，軟件代碼)，這些指令集IM配置成實(shí)施這里描述的方法、過(guò)程或功能的一個(gè)或多個(gè)。指令1 也可完全或至少部分地駐留在主存儲(chǔ)器104、靜態(tài)存儲(chǔ)器106內(nèi)，并且/或者在其由計(jì)算機(jī)系統(tǒng)100執(zhí)行期間，駐留在處理器102內(nèi)。主存儲(chǔ)器104和處理器102也可構(gòu)成機(jī)器可讀介質(zhì)。可以同樣構(gòu)造專(zhuān)用硬件實(shí)施以實(shí)施這里描述的方法，這些專(zhuān)用硬件實(shí)施包括但不限于專(zhuān)用集成電路、可編程邏輯陣列和其它硬件裝置。可包括各個(gè)實(shí)施例的設(shè)備和系統(tǒng)的應(yīng)用廣義地包括各種電子系統(tǒng)和計(jì)算機(jī)系統(tǒng)。某些實(shí)施例在兩個(gè)或更多個(gè)特定互連硬件模塊或裝置中實(shí)施功能，其中相關(guān)控制和數(shù)據(jù)信號(hào)在模塊之間和通過(guò)模塊通信，或者作為專(zhuān)用集成電路的部分。因而，示范系統(tǒng)適用于軟件、固件和硬件實(shí)施。按照本發(fā)明的各個(gè)實(shí)施例，下面描述的方法可存儲(chǔ)為在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中的軟件程序，并且可配置成在計(jì)算機(jī)處理器上運(yùn)行。此外，軟件實(shí)施可包括但不限于，分布處理、元件/對(duì)象分布處理、并行處理、虛擬機(jī)處理，這些處理可構(gòu)造成實(shí)施這里描述的方法。在本發(fā)明的各個(gè)實(shí)施例中，包含指令124的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)或者從傳播信號(hào)接收和執(zhí)行指令I(lǐng)M的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)從而連接到網(wǎng)絡(luò)環(huán)境1 上的裝置可發(fā)送或接收音頻和/或視頻數(shù)據(jù)，并且可使用指令124在網(wǎng)絡(luò)1 上通信。指令124還可經(jīng)網(wǎng)絡(luò)接口裝置120在網(wǎng)絡(luò)1 上傳輸或接收。盡管計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)122在示范實(shí)施例中表示成是單個(gè)存儲(chǔ)介質(zhì)，但術(shù)語(yǔ) “計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)”應(yīng)該認(rèn)為包括單個(gè)介質(zhì)或多個(gè)介質(zhì)(例如，集中或分布數(shù)據(jù)庫(kù)、和/ 或相關(guān)高速緩沖存儲(chǔ)器和服務(wù)器)，該單個(gè)介質(zhì)或多個(gè)介質(zhì)存儲(chǔ)一個(gè)或多個(gè)指令集。術(shù)語(yǔ) “計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)”也將認(rèn)為包括能夠存儲(chǔ)、編碼或執(zhí)行用于由機(jī)器執(zhí)行的指令集、并且使機(jī)器執(zhí)行本公開(kāi)的任一個(gè)或多個(gè)方法的任何介質(zhì)。術(shù)語(yǔ)“計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)”將相應(yīng)地認(rèn)為包括但不限于固態(tài)存儲(chǔ)器，如存儲(chǔ)器卡、或容納一個(gè)或多個(gè)只讀(非易失)存儲(chǔ)器、隨機(jī)存取存儲(chǔ)器、或其它可重寫(xiě)(易失)存儲(chǔ)器的其它包裝；磁光或光學(xué)介質(zhì)，如盤(pán)或帶；以及載波信號(hào)，如在傳輸介質(zhì)中實(shí)施計(jì)算機(jī)指令的信號(hào)；及/或?qū)τ陔娮余]件的數(shù)字文件附件、或其它被認(rèn)為是與有形存儲(chǔ)介質(zhì)等效的分布介質(zhì)的自包含信息檔案或檔案集。相應(yīng)地，本公開(kāi)被認(rèn)為包括這里所列出的計(jì)算機(jī)可讀介質(zhì)或分布介質(zhì)的任一種或多種，并且包括識(shí)別的等效和后續(xù)介質(zhì)(其中存儲(chǔ)這里的軟件實(shí)施)。本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，在圖1中表明的計(jì)算機(jī)系統(tǒng)體系結(jié)構(gòu)是計(jì)算機(jī)系統(tǒng)的一個(gè)可能例子。然而，本發(fā)明在這方面不受限制，并且也可沒(méi)有限制地使用任何其它適當(dāng)計(jì)算機(jī)系統(tǒng)體系結(jié)構(gòu)?，F(xiàn)在參照?qǐng)D2，提供流程圖。該流程圖對(duì)于理解用于評(píng)估涉及構(gòu)成點(diǎn)云的三維 (3D)圖像數(shù)據(jù)和二維OD)圖像數(shù)據(jù)的對(duì)準(zhǔn)過(guò)程的相關(guān)性能的過(guò)程是有用的。方法在步驟 202中開(kāi)始，并且在步驟203中以用于共同場(chǎng)景的2D圖像數(shù)據(jù)和3D圖像數(shù)據(jù)的獲得而繼續(xù)。如圖3所示，第一和第二成像傳感器302、304每個(gè)獲得共同場(chǎng)景306的圖像數(shù)據(jù)。 盡管兩個(gè)成像傳感器表示在圖3中，但應(yīng)該理解，本發(fā)明不限于此。代之以，在兩個(gè)不同的時(shí)間可使用共用傳感器。重要地，在圖3中，第一衛(wèi)星302可配置成收集2D圖像數(shù)據(jù)，并且第二傳感器304可配置成收集3D點(diǎn)云圖像數(shù)據(jù)。便利地，獲得的二維圖像數(shù)據(jù)是可按顏色呈現(xiàn)的多光譜像。然而，關(guān)于全色像也可使用本發(fā)明。這里所描述的二維圖像數(shù)據(jù)可由任何適當(dāng)成像傳感器收集，如本領(lǐng)域技術(shù)人員所知。例如，地球軌道衛(wèi)星和空中數(shù)據(jù)收集平臺(tái)通常使用電光(EO)傳感器收集2D圖像數(shù)據(jù)。這里所使用的術(shù)語(yǔ)“電光傳感器”一般指各種各樣的裝置的任一種，在這些裝置中， 在選中樣本時(shí)段內(nèi)，光學(xué)系統(tǒng)用于從場(chǎng)景到成像裝置的圖像檢測(cè)表面上的成像輻射。成像裝置可采取感光區(qū)域的二維陣列的形式。各種基于半導(dǎo)體的成像裝置在現(xiàn)有技術(shù)中是已知的。例如，電荷耦合器件(CCD)和電光二極管陣列常常用于這個(gè)目的，而沒(méi)有限制?？墒牵?應(yīng)該理解，僅僅作為例子識(shí)別上述成像裝置，而本發(fā)明不打算限于任何特定的EO型成像裝置。例如，本發(fā)明也可用于醫(yī)學(xué)圖像的對(duì)準(zhǔn)。各種不同類(lèi)型的成像傳感器可用來(lái)產(chǎn)生3D成像數(shù)據(jù)，并且更具體地說(shuō)，產(chǎn)生3D點(diǎn)云數(shù)據(jù)。本發(fā)明可用于評(píng)估從這些各種類(lèi)型的成像系統(tǒng)的任一種得到的3D點(diǎn)云數(shù)據(jù)的對(duì)準(zhǔn)性能。產(chǎn)生一幀或多幀3D點(diǎn)云數(shù)據(jù)的3D成像系統(tǒng)的一個(gè)例子是常規(guī)LIDAR成像系統(tǒng)。 LIDAR數(shù)據(jù)的每個(gè)幀將包括與多范圍回波相對(duì)應(yīng)的三維中的點(diǎn)的集合(3D點(diǎn)云)。這些點(diǎn)可組織成“體素” (voxel)，這些“體素”代表在三維空間中在規(guī)則網(wǎng)格上的值。在3D成像中使用的體素與在2D成像裝置的上下文中使用的像素相似。這些幀可被處理以重建目標(biāo)的 3D圖像。在這方面，應(yīng)該理解，在3D點(diǎn)云中的每個(gè)點(diǎn)具有各自的x、y及ζ值，按3D代表在場(chǎng)景內(nèi)的實(shí)際表面。

3D數(shù)據(jù)的示范立方體500表示在圖5中，而2D圖像數(shù)據(jù)的幀表示在圖6中。注意，2D圖像數(shù)據(jù)的幀600定義在單個(gè)x、y平面中，而3D圖像數(shù)據(jù)的立方體500包括按三維 (X、1、ζ)定義的點(diǎn)云502。而且，應(yīng)該注意，盡管在圖5中的示范3D圖像數(shù)據(jù)表示成定界為立方體，但本發(fā)明在這方面不受限制。盡管將認(rèn)識(shí)到，立方體可能是用于此目的的方便形狀，但可在任何其它適當(dāng)?shù)膸缀误w積內(nèi)定義3D數(shù)據(jù)。例如，代替立方體，矩形棱柱也可用于定界3D點(diǎn)云數(shù)據(jù)集。雖然有以上描述，但為了方便，將在點(diǎn)云數(shù)據(jù)立方體的上下文中描述本發(fā)明。再參照?qǐng)D3，將認(rèn)識(shí)到，成像傳感器302、304可分別具有不同的位置和方位。本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，傳感器的位置和方位有時(shí)稱(chēng)作這樣的傳感器的姿態(tài)。例如，傳感器 302可被說(shuō)成具有在獲得3D圖像數(shù)據(jù)的時(shí)刻由姿態(tài)參數(shù)定義的姿態(tài)。由上文將理解，由傳感器302、304獲得的2D圖像和3D點(diǎn)數(shù)據(jù)一般將基于以不同傳感器為中心的坐標(biāo)系。因此，將相對(duì)于不同坐標(biāo)系定義2D圖像和3D點(diǎn)數(shù)據(jù)。本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，在來(lái)自?xún)蓚€(gè)或更多個(gè)圖像傳感器的2D圖像和3D點(diǎn)數(shù)據(jù)可適當(dāng)?shù)乇硎驹诠灿米鴺?biāo)系中之前，必須按需要在空間中旋轉(zhuǎn)和平移這些不同的坐標(biāo)系。上述過(guò)程通常稱(chēng)作對(duì)準(zhǔn)。在步驟204中，將包括2D圖像的像素轉(zhuǎn)換成對(duì)于3D點(diǎn)數(shù)據(jù)共用的X、Y格式。如由本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到的那樣，除高度Z坐標(biāo)之外，3D點(diǎn)云數(shù)據(jù)還通常按緯度、經(jīng)度(X、 Y)坐標(biāo)表示。相反，2D圖像像素?cái)?shù)據(jù)將典型地處于不同格式。在步驟204中，將2D圖像轉(zhuǎn)換成X、Y格式，該X、Y格式與和構(gòu)成3D圖像的點(diǎn)云數(shù)據(jù)相關(guān)聯(lián)的格式相一致。在步驟206中，借助于能夠?qū)?zhǔn)2D圖像和3D點(diǎn)云數(shù)據(jù)的某種對(duì)準(zhǔn)過(guò)程，對(duì)準(zhǔn)2D 圖像數(shù)據(jù)和3D點(diǎn)數(shù)據(jù)。任何適當(dāng)算法或?qū)?zhǔn)過(guò)程可用于這個(gè)目的，如本領(lǐng)域技術(shù)人員所知。由于本發(fā)明不直接涉及執(zhí)行對(duì)準(zhǔn)過(guò)程的方法，所以這里將不再詳細(xì)地描述這樣的對(duì)準(zhǔn)過(guò)程。對(duì)準(zhǔn)過(guò)程的結(jié)果將是按照某種對(duì)準(zhǔn)方案大體對(duì)準(zhǔn)的用于共同場(chǎng)景的2D圖像數(shù)據(jù)和 3D點(diǎn)云數(shù)據(jù)。過(guò)程在步驟208中通過(guò)進(jìn)行2D圖像的圖像內(nèi)容分析而繼續(xù)。圖像內(nèi)容分析是統(tǒng)計(jì)分析，該統(tǒng)計(jì)分析被選擇或配置成識(shí)別在2D圖像內(nèi)包含的特定特征或區(qū)域的特性。這種分析可看作特征抽取步驟。例如，使用常規(guī)場(chǎng)景內(nèi)容探測(cè)算法，可將場(chǎng)景分離成城市區(qū)域和自然區(qū)域。如圖4所示，城市區(qū)域404能是在2D圖像中被識(shí)別為包含多個(gè)建筑物和其它人造結(jié)構(gòu)的那些區(qū)域。由于建筑物和其它人造結(jié)構(gòu)通常包括多個(gè)直線(xiàn)邊緣和角部，所以通過(guò)采用各種邊緣和角部探測(cè)算法可容易地識(shí)別這樣的結(jié)構(gòu)，如本領(lǐng)域技術(shù)人員所知。自然區(qū)域402可被識(shí)別為除城市區(qū)域之外的那些區(qū)域。可是，本發(fā)明在這方面不受限制，并且可采用各種其他類(lèi)型的圖像識(shí)別算法，以識(shí)別城市、自然或其它類(lèi)型的區(qū)域。例如，其它類(lèi)型的區(qū)域可包括巖石或沙漠區(qū)域、林木繁茂區(qū)、農(nóng)業(yè)區(qū)、水域、等等?？商鎿Q地、或除僅僅將寬廣地區(qū)或區(qū)域識(shí)別為城市或自然之外，場(chǎng)景內(nèi)容探測(cè)算法還可探測(cè)在場(chǎng)景內(nèi)包含的特定各個(gè)特征。例如，場(chǎng)景內(nèi)容探測(cè)算法可識(shí)別在2D圖像中存在的道路 406。場(chǎng)景內(nèi)容探測(cè)算法也可用來(lái)識(shí)別各個(gè)建筑物408或其它類(lèi)型的結(jié)構(gòu)，而沒(méi)有限制。例如，也可識(shí)別車(chē)輛。用來(lái)完成這些功能的算法在本領(lǐng)域中已知，并因此在這里將不再詳細(xì)地描述。在圖像內(nèi)容探測(cè)分析完成之后，過(guò)程繼續(xù)到步驟212。在步驟212中，對(duì)于2D圖像的選中X、Y坐標(biāo)區(qū)域，賦予不同的彩色地圖標(biāo)簽。對(duì)于已經(jīng)識(shí)別的不同區(qū)域或特征402、 404、406、408，賦予不同的彩色地圖標(biāo)簽。例如，第一類(lèi)型的彩色地圖標(biāo)簽可被賦予識(shí)別為城市的任何區(qū)域404，而第二彩色地圖標(biāo)簽可被賦予指示為自然的任何區(qū)域402。而且，不同彩色地圖標(biāo)簽可與特定特征，如在圖像306內(nèi)識(shí)別的各個(gè)建筑物408或道路406，的X、Y 坐標(biāo)相關(guān)。根據(jù)本發(fā)明的一個(gè)實(shí)施例，每個(gè)個(gè)別的彩色地圖標(biāo)簽與特定彩色地圖相關(guān)。況且， 每張彩色地圖容易地被選擇為幫助使與特定類(lèi)型的場(chǎng)景或場(chǎng)景內(nèi)容相關(guān)的特征視覺(jué)化。例如，一種這樣的彩色地圖在Minear等共同擁有的美國(guó)專(zhuān)利申請(qǐng)No. 12/046, 880中描述，該申請(qǐng)的內(nèi)容通過(guò)參考明示包括在這里。如其中更詳細(xì)描述的那樣，彩色地圖可被設(shè)計(jì)成通過(guò)選擇性地挑選色調(diào)、飽和度和強(qiáng)度以高亮在不同高度處的特征，來(lái)增強(qiáng)場(chǎng)景中一定類(lèi)型的主題。在這個(gè)HSI空間中創(chuàng)建的這些彩色地圖能是非線(xiàn)性的，允許在感興趣區(qū)域中的強(qiáng)度高亮，如在樹(shù)冠下方以及在樹(shù)木線(xiàn)上方。更具體地說(shuō)，彩色地圖可被選擇，從而對(duì)于顏色飽和度和強(qiáng)度限定的值在一個(gè)或多個(gè)預(yù)定高度處具有峰值。例如，可在近似對(duì)應(yīng)于預(yù)定特征高度范圍的高度上限的高度處提供峰值。也可選擇模仿通常與特定類(lèi)型的場(chǎng)景內(nèi)容(建筑物、植物、或道路)相關(guān)的顏色的彩色地圖。在步驟214中，使用3D點(diǎn)云創(chuàng)建地面表格。地面表格可看作在3D點(diǎn)云中包含的場(chǎng)景的地面輪廓的表示(按表格形式)。它基于3D點(diǎn)云的均勻網(wǎng)格，并且相對(duì)于X、Y和Z 坐標(biāo)軸被定義。地面表格定義代表用于場(chǎng)景的每個(gè)網(wǎng)格區(qū)域的近似高度的Z值。為了理解如何創(chuàng)建地面表格，有用的是首先考慮3D點(diǎn)云數(shù)據(jù)的性質(zhì)。用來(lái)獲得3D 點(diǎn)云數(shù)據(jù)的系統(tǒng)(例如，LIDAR) 一般配置成測(cè)量“最后返回”數(shù)據(jù)點(diǎn)。這樣的“最后返回” 數(shù)據(jù)點(diǎn)常常是與地面數(shù)據(jù)噪聲相關(guān)的反射能量的結(jié)果。因而，代之以代表底層地形的真實(shí)地圖，與原始3D點(diǎn)云數(shù)據(jù)中的每個(gè)X、Y點(diǎn)相關(guān)的Z值也將與各種其它對(duì)象(如與植被、車(chē)輛和結(jié)構(gòu))相對(duì)應(yīng)。為了確定與地形或地面相對(duì)應(yīng)的點(diǎn)集，通常要求至少一些后處理，以排除實(shí)際上不與地形輪廓相對(duì)應(yīng)的外來(lái)特征，如車(chē)輛、結(jié)構(gòu)及植被。在本領(lǐng)域中，已知用來(lái)基于3D點(diǎn)云數(shù)據(jù)抽取或估計(jì)這樣的地面高度的各種算法。任何這樣的算法可用來(lái)產(chǎn)生地面表格。一旦在步驟214中已經(jīng)產(chǎn)生地面表格，過(guò)程就繼續(xù)到步驟216。在步驟216中，從原始3D點(diǎn)云中選擇性地刪除數(shù)據(jù)點(diǎn)。實(shí)際上，通過(guò)去除與地面或地形相關(guān)的點(diǎn)，減少3D點(diǎn)云數(shù)據(jù)。根據(jù)本發(fā)明的實(shí)施例，對(duì)于在3D激光雷達(dá)數(shù)據(jù)中的每個(gè)子區(qū)域，這可通過(guò)刪除在該子區(qū)域內(nèi)不超過(guò)Z值(加上很小ΔΖ)的任何點(diǎn)而完成，該Z值在地面表格中對(duì)于該子區(qū)域而規(guī)定。例如，用于特定子區(qū)域的Z值可能是一米。在該情況下，對(duì)位于該子區(qū)域內(nèi)的原始點(diǎn)云數(shù)據(jù)中的每個(gè)點(diǎn)，可確定原始數(shù)據(jù)點(diǎn)的高度或Z值是否小于1米加上高度的很小Δ。 如果是，那么刪除該點(diǎn)；否則保持該點(diǎn)。可是，應(yīng)該理解，任何其它技術(shù)可用來(lái)從原始點(diǎn)云數(shù)據(jù)中選擇性地刪除地面數(shù)據(jù)點(diǎn)。與應(yīng)用的技術(shù)無(wú)關(guān)，這個(gè)步驟的目標(biāo)是消除在點(diǎn)云數(shù)據(jù)內(nèi)在剛好在地平線(xiàn)以上的某一 Z值以下的所有點(diǎn)。這樣做以消除地面噪聲，該地面噪聲對(duì)于評(píng)估圖像對(duì)準(zhǔn)過(guò)程的性能的目的一般是無(wú)用的。

在步驟216之后，方法繼續(xù)到步驟218。盡管在步驟212中對(duì)于在2D圖像中包含的一定Χ、Υ區(qū)域賦予彩色地圖標(biāo)簽，但彩色地圖實(shí)際上不用來(lái)將顏色賦予與2D圖像相關(guān)的像素。代之以，在步驟218中使用彩色地圖，以便將顏色賦予在3D點(diǎn)云數(shù)據(jù)的對(duì)應(yīng)X、Y區(qū)域中的點(diǎn)。由于2D圖像和3D點(diǎn)云數(shù)據(jù)被對(duì)準(zhǔn)，在特定場(chǎng)景中的區(qū)域和特征在每個(gè)圖像數(shù)據(jù)集中將具有近似相同的Χ、Υ坐標(biāo)區(qū)域。例如，在2D場(chǎng)景中具有定義的Χ、Υ坐標(biāo)區(qū)域的特定城市區(qū)域?qū)⑴c在3D點(diǎn)云數(shù)據(jù)中的近似相同X、Y坐標(biāo)區(qū)域相對(duì)應(yīng)。對(duì)于場(chǎng)景中的各種其它特征，如各個(gè)建筑物和道路，情況也是如此。然后實(shí)際上，使用2D圖像識(shí)別用于場(chǎng)景的不同部分的適當(dāng)彩色地圖，并且彩色地圖在步驟218中被應(yīng)用于在3D點(diǎn)云的對(duì)應(yīng)區(qū)域中包含的數(shù)據(jù)點(diǎn)。在步驟220中，賦予的彩色地圖用來(lái)計(jì)算或以其他方式確定用于在3D點(diǎn)云中的每個(gè)數(shù)據(jù)點(diǎn)的RGB顏色值。彩色地圖是Z坐標(biāo)的函數(shù)，從而在3D點(diǎn)云中的每個(gè)點(diǎn)的實(shí)際顏色將基于⑴賦予3D圖像的X、Y區(qū)域的特定彩色地圖；和(2)基于特定點(diǎn)的Z值或相對(duì)高度。相對(duì)高度可相對(duì)于地面測(cè)量。本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，這里稱(chēng)作表格、圖表或數(shù)學(xué)公式的彩色地圖可用來(lái)確定那些特定RGB值應(yīng)該賦予具有特定Z值的點(diǎn)。任何適當(dāng)?shù)牟噬貓D可用于這個(gè)目的。然而，可能有利的是挑選對(duì)于觀(guān)察者具有某種視覺(jué)化好處的彩色地圖。例如，可能有利的是使用被設(shè)計(jì)成通過(guò)選擇性地挑選色調(diào)和強(qiáng)度以高亮在不同高度處的特征來(lái)增強(qiáng)場(chǎng)景中的特定定類(lèi)型的主題的彩色地圖。也可能有利的是挑選使用通常理解為與特定場(chǎng)景相對(duì)應(yīng)的特定色調(diào)的彩色地圖。例如，棕色、棕黃色及綠色可以用于自然區(qū)域，因?yàn)樗鼈冏匀坏貙?duì)應(yīng)于植被的顏色。相反，各種灰色調(diào)可能與人類(lèi)用戶(hù)對(duì)城市區(qū)域的理解更一致。在步驟222中，在步驟214中從3D圖像數(shù)據(jù)導(dǎo)出的地面表格用來(lái)將Z值賦予2D圖像數(shù)據(jù)的每個(gè)像素。通過(guò)在地面表格的區(qū)域中內(nèi)插Z值而確定Z值。一旦從地面表格已經(jīng)計(jì)算適當(dāng)Z值，就賦予該Z值，作為用于在2D圖像中的像素的Z值。結(jié)果是基于2D圖像像素的虛擬3D點(diǎn)云。這在概念上表明在圖7中，示出在來(lái)自地面表格的Z值已被賦予2D圖像數(shù)據(jù)之后虛擬3D圖像的輪廓702。在圖7中，2D EO圖像已經(jīng)轉(zhuǎn)換成虛擬3D范圍圖像。方法在步驟224中通過(guò)計(jì)算用于在步驟222中得到的虛擬3D范圍圖像中的每個(gè)點(diǎn)的RGB顏色值而繼續(xù)。用于虛擬3D圖像的RGB顏色值基于任何適當(dāng)?shù)牟噬貓D。對(duì)于虛擬3D范圍圖像彩色地圖的一種良好選擇是具有最小色調(diào)變化的選擇，從而不擾亂最終融合的產(chǎn)品。更具體地說(shuō)，每個(gè)虛擬3D點(diǎn)現(xiàn)在將具有X、Y和Z坐標(biāo)以及顏色值。在步驟226中，方法以將3D點(diǎn)云數(shù)據(jù)與從2D EO圖像創(chuàng)建的虛擬3D圖像相融合的步驟繼續(xù)。融合過(guò)程組合來(lái)自原始3D點(diǎn)云和虛擬3D點(diǎn)云的相關(guān)信息。這是真實(shí)的融合，因?yàn)樗婕皩⒉煌男畔⒃唇M合成一個(gè)場(chǎng)景，以獲得用于視覺(jué)解釋和場(chǎng)景了解的關(guān)于該環(huán)境的另外信息。 在步驟226之后得到的融合的場(chǎng)景將是3D場(chǎng)景，該3D場(chǎng)景包含來(lái)自原始LIDAR 點(diǎn)云數(shù)據(jù)的組合信息和來(lái)自2D圖像的信息。原始3D點(diǎn)云數(shù)據(jù)將按照彩色地圖標(biāo)記過(guò)程被顏色編碼。得到的3D場(chǎng)景具有與作戰(zhàn)空間了解、目標(biāo)識(shí)別、呈現(xiàn)的場(chǎng)景內(nèi)的變化探測(cè)和對(duì)準(zhǔn)成功的確定相關(guān)的幾個(gè)有用屬性。下文將更詳細(xì)地討論這些特征的每一個(gè)?，F(xiàn)在參照?qǐng)D8，表示有可用來(lái)形成與在圖7中表明的虛擬3D圖像相似的虛擬3D圖像的2D圖像的例子。圖9表示融合圖像，其中在圖8中的2D圖像已經(jīng)如在圖7中那樣首先轉(zhuǎn)換成虛擬3D圖像，然后按照在圖2中敘述的各個(gè)步驟與3D點(diǎn)云數(shù)據(jù)相融合。圖9中的圖像可在計(jì)算機(jī)屏幕上旋轉(zhuǎn)、放大及按三維觀(guān)看，以幫助用戶(hù)視覺(jué)化場(chǎng)景和評(píng)估對(duì)準(zhǔn)過(guò)程的性能。在諸如作戰(zhàn)空間了解之類(lèi)的場(chǎng)景解釋領(lǐng)域中，在圖9中的融合場(chǎng)景使視覺(jué)對(duì)于人類(lèi)眼睛更清楚和更自然。點(diǎn)云數(shù)據(jù)不再顯得浮在平的二維圖像上方。代之以，將2D圖像變換成與場(chǎng)景的實(shí)際地面輪廓相對(duì)應(yīng)的虛擬3D圖像。在得到的融合的圖像中，地面輪廓將向 3D點(diǎn)云數(shù)據(jù)提供改進(jìn)的上下文和意義。被定義并然后映像到3D點(diǎn)上的顏色模型有利地被選擇，從而它們與對(duì)應(yīng)區(qū)域和特征的真實(shí)世界顏色密切相關(guān)。當(dāng)視覺(jué)化數(shù)據(jù)時(shí)，這給用戶(hù)熟悉性。在目標(biāo)識(shí)別領(lǐng)域中，在融合圖像內(nèi)的目標(biāo)可被抽取并且與已知目標(biāo)的數(shù)據(jù)庫(kù)相關(guān)。在變化探測(cè)領(lǐng)域中，按時(shí)間分離的融合場(chǎng)景可被重疊和比較用于對(duì)象差別和車(chē)輛運(yùn)動(dòng)。另外，得到的融合的場(chǎng)景對(duì)于確定對(duì)準(zhǔn)過(guò)程是否已經(jīng)成功更有用。當(dāng)試圖將3D點(diǎn)云數(shù)據(jù)與2D圖像數(shù)據(jù)對(duì)準(zhǔn)時(shí)遇到的挑戰(zhàn)之一是，確定對(duì)準(zhǔn)過(guò)程是否正確地對(duì)準(zhǔn)了兩個(gè)數(shù)據(jù)集。參照?qǐng)D1-7描述的過(guò)程允許人員視覺(jué)地評(píng)估對(duì)準(zhǔn)的質(zhì)量。在得到的融合的圖像中， 與實(shí)際3D點(diǎn)云數(shù)據(jù)并列的虛擬3D圖像的地面輪廓將向3D點(diǎn)云數(shù)據(jù)提供改進(jìn)的上下文和意義。這為人類(lèi)評(píng)估對(duì)準(zhǔn)過(guò)程是否已經(jīng)產(chǎn)生了其中由3D點(diǎn)云數(shù)據(jù)代表的對(duì)象看起來(lái)相對(duì)于2D數(shù)據(jù)適當(dāng)?shù)囟ㄎ坏娜诤蠄D像提供了較好機(jī)會(huì)。而且，通過(guò)將在3D點(diǎn)云中的點(diǎn)顏色編碼，使得能夠?qū)?chǎng)景中的特征的適當(dāng)對(duì)準(zhǔn)進(jìn)行清楚的視覺(jué)解釋。例如，可關(guān)于建筑物角部、 車(chē)輛、道路等的對(duì)準(zhǔn)進(jìn)行視覺(jué)評(píng)估。這個(gè)視覺(jué)評(píng)估過(guò)程在沒(méi)有這樣的顏色編碼的情況下將顯著地更困難或不可能。
權(quán)利要求
1.一種組合2D圖像與3D圖像用于共同場(chǎng)景的改進(jìn)可視化的方法，包括分析所述2D圖像，以識(shí)別在所述共同場(chǎng)景中多個(gè)區(qū)域的基于選中內(nèi)容的特性；選擇性地將與所述區(qū)域的基于內(nèi)容的特性相對(duì)應(yīng)的彩色地圖標(biāo)簽賦予所述多個(gè)區(qū)域的每一個(gè)；按照所述彩色地圖標(biāo)簽，選擇性地將不同的彩色地圖賦予所述3D圖像的多個(gè)區(qū)域的每一個(gè)；通過(guò)基于所述3D圖像中的地面輪廓將Z值賦予所述2D圖像中的像素，從所述2D圖像形成虛擬3D圖像；基于所需彩色地圖，確定用于在虛擬3D圖像中的點(diǎn)的顏色值；及通過(guò)重疊所述3D圖像和所述虛擬3D圖像，創(chuàng)建融合的圖像。
2.根據(jù)權(quán)利要求1所述的方法，還包括通過(guò)視覺(jué)地檢查所述融合的圖像以確定所述共同場(chǎng)景中的特征是否適當(dāng)?shù)貙?duì)準(zhǔn)，來(lái)評(píng)估所述對(duì)準(zhǔn)步驟的性能或質(zhì)量。
3.根據(jù)權(quán)利要求1所述的方法，其中，所述基于內(nèi)容的特性選自包括城市內(nèi)容、自然內(nèi)容、水內(nèi)容和人造結(jié)構(gòu)內(nèi)容的組。
4.根據(jù)權(quán)利要求3所述的方法，其中，所述人造結(jié)構(gòu)內(nèi)容選自包括建筑物、房屋、道路和車(chē)輛的組。
5.根據(jù)權(quán)利要求1所述的方法，其中，所述3D圖像包括構(gòu)成3D點(diǎn)云的多個(gè)點(diǎn)，其中，每個(gè)點(diǎn)按照Χ、γ和ζ坐標(biāo)軸值定義，并且所述2D圖像包括具有按照由所述X和Y軸定義的值專(zhuān)門(mén)定義的位置的多個(gè)像素。
6.根據(jù)權(quán)利要求5所述的方法，還包括基于賦予在所述2D圖像中識(shí)別的所述多個(gè)區(qū)域的對(duì)應(yīng)Χ、Υ坐標(biāo)值的所述彩色地圖標(biāo)簽，將每個(gè)所述彩色地圖賦予在所述3D圖像中的區(qū)域內(nèi)具有X、Y和Z坐標(biāo)值的一個(gè)或多個(gè)點(diǎn)。
7.根據(jù)權(quán)利要求1所述的方法，還包括在所述融合步驟之前去除所述3D圖像的構(gòu)成地面數(shù)據(jù)的部分。
8.根據(jù)權(quán)利要求5所述的方法，其中，賦予所述Z值的所述步驟還包括對(duì)于具有所述X、Y坐標(biāo)值的每個(gè)2D像素，賦予來(lái)自所述3D圖像的地面輪廓的具有相同X、Y坐標(biāo)值的Z值；和如果在所述3D圖像中沒(méi)有與特定2D像素具有相同X、Y坐標(biāo)值的數(shù)據(jù)點(diǎn)，則內(nèi)插或估計(jì)Z值。
9.根據(jù)權(quán)利要求1所述的方法，其中，選擇多個(gè)所述彩色地圖，以模仿通常與對(duì)其使用彩色地圖的區(qū)域的所述基于內(nèi)容的特性共同相關(guān)的顏色或色調(diào)。
10.根據(jù)權(quán)利要求1所述的方法，還包括對(duì)準(zhǔn)所述2D圖像和所述3D圖像。
11.一種組合2D圖像與3D圖像用于共同場(chǎng)景的改進(jìn)可視化的系統(tǒng)，包括用指令集編程的計(jì)算機(jī)，該指令集用來(lái)分析所述2D圖像，以識(shí)別在所述共同場(chǎng)景中多個(gè)區(qū)域的基于選中內(nèi)容的特性；選擇性地將與所述區(qū)域的基于內(nèi)容的特性相對(duì)應(yīng)的彩色地圖標(biāo)簽賦予所述多個(gè)區(qū)域的每一個(gè)；按照所述彩色地圖標(biāo)簽，選擇性地將不同的彩色地圖賦予所述3D圖像的多個(gè)區(qū)域的每一個(gè)；通過(guò)將Z值賦予所述2D圖像中的像素，從所述2D圖像形成虛擬3D圖像，每個(gè)所述Z 值基于所述3D圖像中的地面輪廓而確定；基于關(guān)于所述2D圖像中的對(duì)應(yīng)像素的顏色值的所需彩色地圖，確定用于虛擬3D圖像中的點(diǎn)的顏色值；及通過(guò)重疊所述3D圖像和所述虛擬3D圖像，創(chuàng)建融合的圖像。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，還包括通過(guò)視覺(jué)地檢查所述融合的圖像以確定所述共同場(chǎng)景中的特征是否適當(dāng)?shù)貙?duì)準(zhǔn)，來(lái)評(píng)估所述對(duì)準(zhǔn)步驟的性能或質(zhì)量。
13.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，所述基于內(nèi)容的特性選自包括城市內(nèi)容、自然內(nèi)容、水內(nèi)容和人造結(jié)構(gòu)內(nèi)容的組
14.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中，所述人造結(jié)構(gòu)內(nèi)容選自包括建筑物、房屋、道路和車(chē)輛的組。
15.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述3D圖像包括構(gòu)成3D點(diǎn)云的多個(gè)點(diǎn)，其中， 每個(gè)點(diǎn)按照X、Y和Z坐標(biāo)軸值而定義，并且所述2D圖像包括具有按照由所述X和Y軸定義的值專(zhuān)門(mén)定義的位置的多個(gè)像素。
16.根據(jù)權(quán)利要求15所述的系統(tǒng)，其中，所述計(jì)算機(jī)被編程為基于賦予在所述2D圖像中識(shí)別的所述多個(gè)區(qū)域的對(duì)應(yīng)X、Y坐標(biāo)值的所述彩色地圖標(biāo)簽，將每個(gè)所述彩色地圖賦予在所述3D圖像中的區(qū)域內(nèi)具有X、Y和Z坐標(biāo)值的一個(gè)或多個(gè)點(diǎn)。
17.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，所述計(jì)算機(jī)被編程為在所述融合步驟之前去除所述3D圖像的構(gòu)成地面數(shù)據(jù)的部分。
18.根據(jù)權(quán)利要求15所述的系統(tǒng)，其中，賦予所述Z值的所述步驟還包括對(duì)于具有所述X、Y坐標(biāo)值的每個(gè)2D像素，賦予來(lái)自所述3D圖像的地面輪廓的具有相同X、Y坐標(biāo)值的Z值；和如果在所述3D圖像中沒(méi)有與特定2D像素具有相同X、Y坐標(biāo)值的數(shù)據(jù)點(diǎn)，則內(nèi)插或估計(jì)Z值。
19.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，多個(gè)所述彩色地圖模仿通常與對(duì)其使用彩色地圖的區(qū)域的所述基于內(nèi)容的特性共同相關(guān)的顏色或色調(diào)。
20.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，所述計(jì)算機(jī)被編程為對(duì)準(zhǔn)所述2D圖像和所述 3D圖像。全文摘要
用于組合2D圖像與3D點(diǎn)云以進(jìn)行共同場(chǎng)景的改進(jìn)視覺(jué)化和對(duì)準(zhǔn)過(guò)程的成功的解釋的方法和系統(tǒng)。得到的融合數(shù)據(jù)包含來(lái)自原始3D點(diǎn)云的組合信息和來(lái)自2D圖像的信息。按照彩色地圖標(biāo)記過(guò)程將原始3D點(diǎn)云數(shù)據(jù)顏色編碼。通過(guò)融合來(lái)自不同傳感器的數(shù)據(jù)，得到的場(chǎng)景具有與作戰(zhàn)空間了解、目標(biāo)識(shí)別、在呈現(xiàn)的場(chǎng)景內(nèi)的變化探測(cè)和對(duì)準(zhǔn)成功的確定相關(guān)的幾個(gè)有用屬性。
文檔編號(hào)G06T7/00GK102317973SQ201080007485
公開(kāi)日2012年1月11日 申請(qǐng)日期2010年2月10日 優(yōu)先權(quán)日2009年2月13日
發(fā)明者A·O·史密斯, D·普利, K·米尼爾 申請(qǐng)人:哈里公司