專利名稱：視頻和遙測(cè)數(shù)據(jù)的數(shù)據(jù)搜索、解析和同步的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在時(shí)間上定位結(jié)構(gòu)化文件或者結(jié)構(gòu)化數(shù)據(jù)流內(nèi)的數(shù)據(jù)，并且更具體地涉及定位編碼視頻序列內(nèi)與幀的時(shí)間關(guān)聯(lián)的幀。另外，本發(fā)明涉及用于同步遙測(cè)數(shù)據(jù)與對(duì)應(yīng)的編碼視頻數(shù)據(jù)的系統(tǒng)和方法以及用于解析數(shù)據(jù)的方法。
背景技術(shù)：
現(xiàn)有技術(shù)中已知的是MPEG編碼視頻，例如MPEG-2編碼視頻。為了提供某種搜索 機(jī)制，DVD視頻將編碼視頻序列劃分為章。DVD系統(tǒng)的用戶能夠在視頻節(jié)目的章之間移動(dòng)并且能夠按章來(lái)進(jìn)行搜索，但是用戶不能夠訪問(wèn)節(jié)目?jī)?nèi)特定時(shí)間的特定幀。通常，為了找到MPEG傳輸流內(nèi)的特定幀，將需要解碼整個(gè)MPEG傳輸流并且然后能夠定位與特定回放時(shí)間關(guān)聯(lián)的幀。因此，將需要對(duì)視頻進(jìn)行完全的渲染。在現(xiàn)有技術(shù)中，已知的是，獲取遙測(cè)數(shù)據(jù)并且執(zhí)行同時(shí)的航空照相/攝像。為了可用于基于地圖的渲染，需要使遙測(cè)數(shù)據(jù)和視頻圖像同歩。在通常的視頻獲取系統(tǒng)中，使用MPEG視頻協(xié)議和其它視頻壓縮協(xié)議。因?yàn)閹瑪?shù)據(jù)被壓縮并且沒(méi)有按照時(shí)間編制索引，因此不能夠如上所述地直接獲取用于每個(gè)視頻幀的準(zhǔn)確的時(shí)間位置。因此，對(duì)于可用的實(shí)時(shí)和基本上實(shí)時(shí)的系統(tǒng)來(lái)說(shuō)，需要下述方法，該方法用于快速地定位壓縮視頻序列內(nèi)與特定媒體回放時(shí)間關(guān)聯(lián)的視頻幀，從而視頻幀能夠與獲取的遙測(cè)數(shù)據(jù)同步，從而在地圖上渲染獲取的視頻幀。數(shù)據(jù)解析是已知的技木。解析通常要求創(chuàng)建解析樹(shù)，其中標(biāo)志，即預(yù)定義的數(shù)據(jù)單詞被識(shí)別且放置在解析樹(shù)中。然后能夠?qū)馕鰳?shù)進(jìn)行回溯以確定識(shí)別出的單詞的語(yǔ)法。在其中存在需要解析并且還需要同步的大量流形式的數(shù)據(jù)的實(shí)時(shí)應(yīng)用中，傳統(tǒng)的解析算法不是有效的。

發(fā)明內(nèi)容
在本發(fā)明的第一實(shí)施方式中，提供了一種系統(tǒng)，該系統(tǒng)能夠解析遙測(cè)數(shù)據(jù)和對(duì)應(yīng)的視頻數(shù)據(jù)，其中基于諸如時(shí)間戳的時(shí)間信息同步遙測(cè)和視頻數(shù)據(jù)。遙測(cè)數(shù)據(jù)和視頻數(shù)據(jù)最初是未同步的并且其數(shù)據(jù)是通過(guò)單獨(dú)的裝置分別獲取的。獲取裝置可以位于航空器內(nèi)或者附接到航空器。系統(tǒng)接收遙測(cè)數(shù)據(jù)流或者文件以及視頻數(shù)據(jù)流或文件并且輸出一系列同步的視頻圖像和遙測(cè)數(shù)據(jù)。因此，存在與每個(gè)視頻圖像關(guān)聯(lián)的遙測(cè)信息?？梢砸耘c視頻數(shù)據(jù)不同的速率獲取遙測(cè)數(shù)據(jù)。結(jié)果，可以對(duì)遙測(cè)數(shù)據(jù)進(jìn)行插值或外推以創(chuàng)建對(duì)應(yīng)于每個(gè)視頻圖像的遙測(cè)數(shù)據(jù)。本系統(tǒng)實(shí)時(shí)地進(jìn)行操作，從而從航空器獲取的數(shù)據(jù)能夠顯示在地圖上。這樣的系統(tǒng)能夠在戰(zhàn)地條件下使用，以提供關(guān)于部隊(duì)移動(dòng)的實(shí)時(shí)可視信息。另外，可以捕獲來(lái)自航空器的流形式的視頻和遙測(cè)數(shù)據(jù)并且將其作為文件存儲(chǔ)到存儲(chǔ)器。遙測(cè)數(shù)據(jù)和視頻數(shù)據(jù)然后能夠在以后的時(shí)間被取回、解析和同步，并且對(duì)視頻數(shù)據(jù)進(jìn)行空間轉(zhuǎn)換以在顯示裝置上進(jìn)行渲染。系統(tǒng)能夠允許用戶選擇用于顯示的時(shí)間段。例如，航空器可能在飛行期間獲取了幾百英里的圖像，并且用戶可能僅對(duì)選擇的區(qū)域感興趣。因此，用戶能夠選擇期望航空器經(jīng)過(guò)感興趣的區(qū)域的時(shí)間段并且該圖像信息將會(huì)顯示在地圖上，并且沒(méi)有顯示視頻文件中其它獲取的信息。遙測(cè)數(shù)據(jù)解析器從獲取裝置或者從存儲(chǔ)器中存儲(chǔ)的文件獲取KVL(關(guān)鍵字值長(zhǎng)度)格式的數(shù)據(jù)。解析器不要求逐位地進(jìn)行分析并且將跳過(guò)無(wú)效數(shù)據(jù)而無(wú)需回溯分級(jí)語(yǔ)法樹(shù)。相反地，對(duì)字節(jié)信息進(jìn)行分析以找到已知的關(guān)鍵字序列。關(guān)鍵字值指定符合關(guān)鍵字的數(shù)據(jù)的類型。解析器定位用于遙測(cè)數(shù)據(jù)的時(shí)間戳，并且如果遙測(cè)數(shù)據(jù)處于指定的時(shí)間段內(nèi)，則保存該數(shù)據(jù)并且將其存儲(chǔ)到存儲(chǔ)器?；谶b測(cè)文件或流內(nèi)的關(guān)鍵字值，能夠識(shí)別對(duì)于特 定時(shí)間段要求的遙測(cè)數(shù)據(jù)并且將其存儲(chǔ)到已知的數(shù)據(jù)庫(kù)結(jié)構(gòu)中。如果用于遙測(cè)數(shù)據(jù)的時(shí)間戳沒(méi)有處于要求的時(shí)間段內(nèi)，則該數(shù)據(jù)被丟棄并且解析器繼續(xù)而沒(méi)有將該數(shù)據(jù)添加到解析 樹(shù)。因此，解析器是串行的而不是分級(jí)解析器。解析器通過(guò)將關(guān)鍵字與已知的關(guān)鍵字值進(jìn)行比較來(lái)驗(yàn)證關(guān)鍵字并且基于校驗(yàn)和驗(yàn)證遙測(cè)數(shù)據(jù)。如果數(shù)據(jù)是無(wú)效的，則解析器將移動(dòng)到下一字節(jié)的信息，丟棄無(wú)效數(shù)據(jù)，并且將開(kāi)始搜索下一關(guān)鍵字值。這與現(xiàn)有技術(shù)的將執(zhí)行逐位的分析并且如果遇到無(wú)效數(shù)據(jù)則需要回溯分級(jí)解析樹(shù)的解析器相反。結(jié)果，解析器能夠?qū)崟r(shí)地進(jìn)行操作，同時(shí)對(duì)具有數(shù)萬(wàn)或數(shù)十萬(wàn)分組的流或文件進(jìn)行操作，其中每個(gè)分組對(duì)應(yīng)于關(guān)鍵字長(zhǎng)度值組合。在需要實(shí)時(shí)解析的情況下，遙測(cè)數(shù)據(jù)解析器可以利用一系列關(guān)鍵字解析具有關(guān)聯(lián)格式的遙測(cè)數(shù)據(jù)或其它數(shù)據(jù)。遙測(cè)數(shù)據(jù)解析器可以實(shí)施為計(jì)算機(jī)可讀介質(zhì)上的用于在計(jì)算機(jī)上操作的計(jì)算機(jī)程序，實(shí)施為諸如專用集成電路(ASIC)或者場(chǎng)可編程門(mén)陣列(FPGA)的電子裝置，或者可以包括電子器件和計(jì)算機(jī)代碼的組合。被壓縮的視頻數(shù)據(jù)的數(shù)據(jù)搜索模塊使用過(guò)濾器來(lái)定位壓縮數(shù)據(jù)的大致時(shí)間戳。數(shù)據(jù)搜索模塊也可以被稱為視頻幀提取模塊。如果壓縮數(shù)據(jù)為包括展現(xiàn)時(shí)間戳(PTS)的MPEG,H. 264或者其它格式，則過(guò)濾器定位PTS頭并且提取表示回放的近似開(kāi)始媒體時(shí)間的時(shí)間戳。過(guò)濾器將丟棄不具有接近或處于要求的時(shí)間段內(nèi)的時(shí)間戳的任何PTS頭的壓縮數(shù)據(jù)。當(dāng)過(guò)濾器定位接近或者處于要求的時(shí)間段內(nèi)的時(shí)間戳?xí)r，壓縮數(shù)據(jù)被傳輸?shù)浇獯a關(guān)聯(lián)數(shù)據(jù)的解碼器。使用每個(gè)幀的時(shí)間戳或者基于回放速率與PTS時(shí)間計(jì)算與幀關(guān)聯(lián)的時(shí)間來(lái)定位并且存儲(chǔ)處于要求的時(shí)間段內(nèi)的幀。數(shù)據(jù)搜索模塊采用的方法可以與其它編碼視頻數(shù)據(jù)系統(tǒng)一起使用，并且不限于與通過(guò)航空器捕獲的視頻一起使用的上述實(shí)施方式。另外，數(shù)據(jù)搜索模塊可以實(shí)施為與計(jì)算機(jī)處理器一起使用的計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)代碼或者 可以實(shí)施為諸如專用集成電路(ASIC)或者場(chǎng)可編程門(mén)陣列(FPGA)的電子裝置。另外，數(shù)據(jù)搜索模塊可以被構(gòu)造為硬件和軟件的組合。系統(tǒng)對(duì)位于要求的時(shí)間段內(nèi)的遙測(cè)數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行同步。遙測(cè)數(shù)據(jù)可以被外推或插值以提供用于來(lái)自視頻流的每個(gè)圖像的遙測(cè)數(shù)據(jù)。要求的時(shí)間段內(nèi)的遙測(cè)數(shù)據(jù)和同步視頻數(shù)據(jù)被傳輸?shù)戒秩疽?。渲染引擎將使用遙測(cè)數(shù)據(jù)來(lái)將視頻幀數(shù)據(jù)輸出到顯示器。渲染引擎還將對(duì)每個(gè)視頻圖像進(jìn)行必要的空間變換，以獲得觀察平面。在一些實(shí)施方式中，可以對(duì)視頻幀數(shù)據(jù)進(jìn)行變換以將其格式化為適于在地圖上進(jìn)行顯示。系統(tǒng)、方法和對(duì)應(yīng)的計(jì)算機(jī)程序產(chǎn)品可以對(duì)多個(gè)數(shù)據(jù)流進(jìn)行實(shí)時(shí)的操作以實(shí)時(shí)地渲染多個(gè)視頻流。這樣，可以同時(shí)地在地圖上渲染來(lái)自多個(gè)航空器的視頻。在一些實(shí)施方式中，公開(kāi)了ー種系統(tǒng)，該系統(tǒng)用于同步未同步的編碼航空視頻數(shù)據(jù)和單獨(dú)獲取的遙測(cè)數(shù)據(jù)以產(chǎn)生包含航空視頻數(shù)據(jù)的地圖。系統(tǒng)包括遙測(cè)解析器，用于接收用戶定義的獲取時(shí)間段和遙測(cè)數(shù)據(jù)流并且對(duì)遙測(cè)數(shù)據(jù)流進(jìn)行解析以定位在時(shí)間上接近或位于用戶定義的獲取時(shí)間段內(nèi)的遙測(cè)數(shù)據(jù)，其中遙測(cè)數(shù)據(jù)流包括以某ー采樣速率獲取的具有關(guān)聯(lián)獲取時(shí)間的遙測(cè)數(shù)據(jù)。另外，系統(tǒng)包括視頻幀提取模塊，用于獲取編碼航空視頻數(shù)據(jù)流和將編碼航空視頻數(shù)據(jù)流解碼為具有關(guān)聯(lián)視頻幀數(shù)據(jù)時(shí)間的視頻幀，其中視頻幀在時(shí)間上接近或位于用戶定義的時(shí)間段內(nèi)。一旦遙測(cè)解析器和視頻幀提取模塊識(shí)別出用于對(duì)應(yīng)的視頻和遙測(cè)數(shù)據(jù)的適合的時(shí)間戳(例如，獲取時(shí)間和視頻幀數(shù)據(jù)時(shí)間)，則同步模塊基于獲取時(shí)間和視頻幀數(shù)據(jù)時(shí)間對(duì)用于要求的獲取時(shí)間段的視頻幀數(shù)據(jù)和遙測(cè)數(shù)據(jù)進(jìn)行同歩。系統(tǒng)還可以包括過(guò)濾器，用于產(chǎn)生額外的遙測(cè)數(shù)據(jù)，從而在要求的獲取時(shí)間段內(nèi)存在對(duì)應(yīng)于每個(gè)視頻幀的遙測(cè)數(shù)據(jù)。在本發(fā)明的各種實(shí)施方式中，系統(tǒng)可以進(jìn)ー步包括圖形用戶界面，該圖形用戶界面輸出要求的獲取時(shí)間段的視頻數(shù)據(jù)以進(jìn)行顯示。在本發(fā)明的實(shí)施方式中，對(duì)編碼航空視頻數(shù)據(jù)流進(jìn)行解析以基于用于在時(shí)間上接近或位于要求的時(shí)間段內(nèi)的ー組視頻幀的展現(xiàn)時(shí)間戳定位數(shù)據(jù)。遙測(cè)數(shù)據(jù)可以是以長(zhǎng)于視頻幀數(shù)據(jù)的采樣速率的速率采樣的數(shù)據(jù)。系統(tǒng)可以進(jìn)ー步包括或者附接到用于產(chǎn)生地圖的渲染模塊，其中視頻幀數(shù)據(jù)被從航空獲取平面空間變換到地圖平面并且基干與視頻幀數(shù)據(jù)關(guān)聯(lián)的遙測(cè)數(shù)據(jù)將變換后的視頻幀數(shù)據(jù)插入到地圖中。系統(tǒng)還能夠包括存儲(chǔ)器，該存儲(chǔ)器用于將遙測(cè)數(shù)據(jù)流存儲(chǔ)到遙測(cè)文件中并且用于將編碼航空視頻數(shù)據(jù)流存儲(chǔ)到航空視頻文件中。圖形用戶界面可以允許用戶選擇兩個(gè)或更多視頻數(shù)據(jù)文件同時(shí)顯示在顯示裝置上的地圖上。遙測(cè)數(shù)據(jù)可以存儲(chǔ)為關(guān)鍵字長(zhǎng)度值格式。當(dāng)遙測(cè)數(shù)據(jù)被存儲(chǔ)為關(guān)鍵字長(zhǎng)度值格式時(shí)，遙測(cè)解析器可以解析第一已知的關(guān)鍵字字節(jié)大小的數(shù)據(jù)并且將該數(shù)據(jù)的第一和第二部分置于至少第一和第二緩沖器中。遙測(cè)解析器針對(duì)第一部分關(guān)鍵字值檢查第一緩沖器內(nèi)的遙測(cè)數(shù)據(jù)，并且如果該遙測(cè)數(shù)據(jù)表示有效部分關(guān)鍵字，則解析器針對(duì)第二部分關(guān)鍵字值檢查第二緩沖器中的遙測(cè)數(shù)據(jù)。視頻幀提取模塊可以被構(gòu)造為該模塊將丟棄與沒(méi)有處于要求的時(shí)間范圍內(nèi)的展現(xiàn)時(shí)間戳關(guān)聯(lián)的任何MPEG編碼數(shù)據(jù)。遙測(cè)解析器可以以下述方式進(jìn)行操作。遙測(cè)解析器接收遙測(cè)數(shù)據(jù)文件的第一部分，其中遙測(cè)數(shù)據(jù)文件可以包括以關(guān)鍵字長(zhǎng)度值格式存儲(chǔ)的遙測(cè)數(shù)據(jù)。遙測(cè)數(shù)據(jù)解析器比較遙測(cè)數(shù)據(jù)文件的第一部分與識(shí)別出的關(guān)鍵字。如果遙測(cè)數(shù)據(jù)文件的第一部分匹配識(shí)別出的關(guān)鍵字，則遙測(cè)解析器識(shí)別與要求的關(guān)鍵字關(guān)聯(lián)的長(zhǎng)度。遙測(cè)解析器然后比較遙測(cè)數(shù)據(jù)內(nèi)的識(shí)別出的時(shí)間戳與要求的時(shí)間段。如果時(shí)間戳在時(shí)間上接近或處于該時(shí)間段內(nèi)，則遙測(cè)解析器基于識(shí)別出的關(guān)鍵字將長(zhǎng)度等于識(shí)別出的長(zhǎng)度的數(shù)據(jù)保存到數(shù)據(jù)庫(kù)結(jié)構(gòu)。如果時(shí)間戳在時(shí)間上沒(méi)有接近或處于時(shí)間段內(nèi)，則遙測(cè)解析器丟棄與該關(guān)鍵字關(guān)聯(lián)的遙測(cè)數(shù)據(jù)并且從遞增到來(lái)自遙測(cè)數(shù)據(jù)文件的下一字節(jié)的數(shù)據(jù)。遙測(cè)數(shù)據(jù)可以包括很多不同的數(shù)據(jù)類型，這些數(shù)據(jù)類型包括指示地面位置的標(biāo)記，該標(biāo)記包括附接到航空器的相機(jī)正在拍攝的地面位置的經(jīng)度和緯度位置。
視頻幀提取模塊解析編碼視頻數(shù)據(jù)以定位具有要求的時(shí)間段的一個(gè)或多個(gè)視頻幀。視頻幀提取模塊接收編碼視頻數(shù)據(jù)并且定位用于一組視頻幀的近似時(shí)間戳。視頻幀提取模塊比較近似時(shí)間戳與要求的時(shí)間段。如果近似時(shí)間戳接近或處于要求的時(shí)間段內(nèi)，則視頻幀提取模塊解碼該組視頻幀并且識(shí)別用于每個(gè)解碼的視頻幀的幀時(shí)間戳。如果幀時(shí)間戳處于要求的時(shí)間段內(nèi)，則視頻幀提取模塊將關(guān)聯(lián)的幀和對(duì)應(yīng)的幀時(shí)間戳存儲(chǔ)到存儲(chǔ)器以便于以后的取回。在一些實(shí)施方式中，編碼視頻數(shù)據(jù)被編碼為MPEG格式。近似時(shí)間戳可以是展現(xiàn)時(shí)間戳，該展現(xiàn)時(shí)間戳是回放時(shí)間的估計(jì)并且與可識(shí)別的時(shí)間范圍相關(guān)聯(lián)。一旦視頻幀提取模塊和遙測(cè)解析器已經(jīng)解析了視頻數(shù)據(jù)和遙測(cè)數(shù)據(jù)并且已經(jīng)定位了用戶定義的時(shí)間段的數(shù)據(jù)。同步模塊同步用戶定義的時(shí)間段的解碼的視頻幀和遙測(cè)數(shù)據(jù)。同步的遙測(cè)數(shù)據(jù)和對(duì)應(yīng)的解碼的視頻幀被存儲(chǔ)到存儲(chǔ)器。遙測(cè)數(shù)據(jù)可以存儲(chǔ)在文件結(jié)構(gòu)中，例如，存儲(chǔ)在由相關(guān)數(shù)據(jù)庫(kù)系統(tǒng)使用的文件結(jié)構(gòu)中。然后基于對(duì)應(yīng)的遙測(cè)數(shù)據(jù)對(duì)解碼的視頻幀進(jìn)行觀察坐標(biāo)系變換，從而視頻數(shù)據(jù)能夠顯示在顯示裝置上。一旦對(duì)視頻數(shù)據(jù)進(jìn)行了觀察坐標(biāo)系變換，在顯示器上對(duì)編碼的視頻幀進(jìn)行渲染。視頻幀可以疊加在地圖上并且可以實(shí)時(shí)地(即，順序地)顯示在顯示裝置上。可以基于地圖上的位置的選擇來(lái)確定要求的時(shí)間范圍(即，用戶定義的時(shí)間段)。在這樣的實(shí)施方式中，通過(guò)圖形用戶界面來(lái)確定要求的時(shí)間段，并且圖形用戶界面將要求的時(shí)間范圍通過(guò)控制模塊傳輸給遙測(cè)分析器和視頻幀提取模塊。圖形用戶界面接收地圖位置作為輸入并且通過(guò)訪問(wèn)關(guān)聯(lián)的飛行時(shí)間和編碼的視頻數(shù)據(jù)文件的數(shù)據(jù)庫(kù)來(lái)識(shí)別要求的時(shí)間段?；陉P(guān)聯(lián)的飛行時(shí)間，圖形用戶界面基于用于航空器的飛行路徑選擇編碼的視頻數(shù)據(jù)文件，獲取編碼的視頻數(shù)據(jù)文件。圖形用戶界面然后能夠基于飛行路徑、飛行開(kāi)始時(shí)間以及航空器的速度來(lái)估計(jì)近似的要求的時(shí)間段。


結(jié)合附圖，本發(fā)明的前述特征將通過(guò)參考下面的詳細(xì)描述而變得更易于理解，其中圖I示出了分別獲取遙測(cè)和壓縮視頻數(shù)據(jù)，其中對(duì)數(shù)據(jù)進(jìn)行處理以定位時(shí)間X處的視頻幀并且定位時(shí)間X處的遙測(cè)數(shù)據(jù)；圖IA示出了包括內(nèi)部模塊之間的通信路徑的系統(tǒng)的實(shí)施方式；圖2示出了包括具有關(guān)聯(lián)的圖形用戶界面的處理器的系統(tǒng)，該圖形用戶界面用于觀看實(shí)時(shí)航空視頻數(shù)據(jù)并且具有基于獲取的遙測(cè)數(shù)據(jù)變換的視頻數(shù)據(jù)以顯示在視頻顯示器上的地圖上；圖3是數(shù)據(jù)流水線處理器的一部分，該部分用于定位存儲(chǔ)在壓縮視頻文件中的與要求的時(shí)間或時(shí)間段關(guān)聯(lián)的視頻幀；圖3A是通過(guò)圖片組過(guò)濾器執(zhí)行的步驟的流程圖；圖3B是通過(guò)用于找到壓縮視頻文件內(nèi)的特定視頻幀的搜索模塊執(zhí)行的步驟的流程圖；圖4是數(shù)據(jù)流水線處理器的第二部分，其示出了遙測(cè)數(shù)據(jù)解析器、遙測(cè)同步模塊、和外推過(guò)濾器，其中在來(lái)自要求的時(shí)間段的視頻幀被傳輸給包括觀察坐標(biāo)系變換的渲染引擎之前使其與對(duì)應(yīng)的遙測(cè)數(shù)據(jù)同步；
圖5是用于遙測(cè)解析器的概括性流程圖；圖6是圖形用戶界面和疊加有用于單個(gè)航空器的視頻數(shù)據(jù)的地圖的視圖；以及圖7是圖形用戶界面和疊加有用于兩個(gè)航空器的視頻數(shù)據(jù)的地圖的視圖。
具體實(shí)施例方式這里使用的術(shù)語(yǔ)“模塊”應(yīng)表示軟件組件(例如，對(duì)象、程序塊、単獨(dú)的獨(dú)立程序等等)、硬件組件(諸如ASIC或FGPA的電路)或者軟件和硬件組件組合。模塊可以位于単獨(dú)的位置或者可以分布在不同的位置。包括飛機(jī)、直升機(jī)和無(wú)人駕駛飛機(jī)的航空勘察器可以配備有視頻記錄設(shè)備，以記錄包括地形、建筑物、人和車輛的地球表面的圖像。另外，航空勘察器可以包括遙測(cè)獲取裝置，用于在一系列預(yù)定的時(shí)間記錄遙測(cè)信息。遙測(cè)數(shù)據(jù)可以包括諸如航空勘察器關(guān)于地面 的位置的信息。ー些航空勘察器配備有現(xiàn)成的遙測(cè)獲取裝置以及現(xiàn)成的視頻記錄設(shè)備。在這樣的勘察器中，遙測(cè)獲取裝置和記錄設(shè)備獨(dú)立地操作并且沒(méi)有同歩。遙測(cè)獲取設(shè)備和視頻記錄設(shè)備產(chǎn)生其中以采樣/獲取速率產(chǎn)生數(shù)據(jù)的輸出數(shù)據(jù)流。視頻記錄設(shè)備可以記錄壓縮格式的視頻數(shù)據(jù)，例如MPEG-2編碼數(shù)據(jù)。視頻數(shù)據(jù)被從航空器發(fā)送到中央接收站以進(jìn)行進(jìn)一歩的處理。類似地，遙測(cè)數(shù)據(jù)也可以從航空器發(fā)送到中央接收站以進(jìn)行進(jìn)一歩的處理。這可以實(shí)時(shí)地進(jìn)行。在一些實(shí)施方式中，視頻數(shù)據(jù)和遙測(cè)數(shù)據(jù)可以一起編碼在單個(gè)MPEG-2傳輸流中，以從航空器發(fā)送到中央接收位置。例如，飛行器或其它空中機(jī)可以獲取地球的表面的視頻并且以MPEG格式記錄這些圖像同時(shí)獲取對(duì)應(yīng)于視頻的遙測(cè)信息。處理器可以接收遙測(cè)數(shù)據(jù)流和視頻數(shù)據(jù)流并且將遙測(cè)數(shù)據(jù)流格式化為MPEG基礎(chǔ)流。MPEG視頻基礎(chǔ)流與遙測(cè)基礎(chǔ)流能夠然后作為單個(gè)MPEG傳輸流被無(wú)線地發(fā)送到中央接收站。當(dāng)在中央接收位置接收到遙測(cè)數(shù)據(jù)和MPEG視頻時(shí)，該遙測(cè)數(shù)據(jù)和MPEG視頻被解復(fù)用以進(jìn)行處理和顯示在顯示裝置上。在這樣的系統(tǒng)中，視頻和遙測(cè)獲取系統(tǒng)沒(méi)有同步并且獨(dú)立地獲取來(lái)自視頻和遙測(cè)獲取系統(tǒng)的信息。另外，視頻和遙測(cè)系統(tǒng)可以以不同的速率獲取數(shù)據(jù)(例如，以每O. 5秒獲取遙測(cè)數(shù)據(jù)并且以1/30秒獲取視頻圖像)。甚至在視頻和遙測(cè)數(shù)據(jù)被包含在同一 MPEG傳輸流內(nèi)時(shí)也可以是這樣。因此，如圖I中所示，存在兩個(gè)獨(dú)立的數(shù)據(jù)文件遙測(cè)數(shù)據(jù)文件100和視頻數(shù)據(jù)文件110。由于飛行器的速度，使得每個(gè)圖像/幀可以表示不同地面位置(即，經(jīng)度和緯度位置)的航空視圖。在一些情況下，每個(gè)圖像可以是地面的50碼或更多的圖片(取決于飛行器的速度、海抜、相機(jī)鏡頭、視場(chǎng)等等)。視頻數(shù)據(jù)的每幀能夠與不同的遙測(cè)數(shù)據(jù)關(guān)聯(lián)并且依賴于采樣速率，可以在遙測(cè)采樣之間存在多個(gè)視頻幀。因此，需要使用在數(shù)據(jù)的獲取期間獲取的時(shí)刻信息對(duì)遙測(cè)數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行同步。遙測(cè)數(shù)據(jù)可以是相對(duì)于遙測(cè)系統(tǒng)的內(nèi)部時(shí)鐘或者與外部時(shí)鐘關(guān)聯(lián)的時(shí)間戳。類似地，壓縮MPEG視頻數(shù)據(jù)包含用于每個(gè)視頻幀的時(shí)間戳，然而，這些時(shí)間戳并不是可訪問(wèn)的，除非MPEG視頻數(shù)據(jù)被解壓縮。如圖I中所示，視頻數(shù)據(jù)110被接收為壓縮MPEG數(shù)據(jù)(傳輸流)并且最終的結(jié)果是指定的媒體回放時(shí)間X處的解碼的MPEG幀130與時(shí)間X的對(duì)應(yīng)的遙測(cè)數(shù)據(jù)160之間的同步。如所示的，因?yàn)閹@取速率比遙測(cè)獲取速率快，因此需要對(duì)遙測(cè)數(shù)據(jù)進(jìn)行插值(遙測(cè)數(shù)據(jù)140和150之間的插值)。圖IA示出了用于創(chuàng)建用于顯示裝置上的顯示的圖形地圖的示例性系統(tǒng)，其中圖形地圖包括疊加的視頻圖像。遙測(cè)數(shù)據(jù)和視頻數(shù)據(jù)通過(guò)遙測(cè)數(shù)據(jù)輸入170和視頻數(shù)據(jù)輸入171輸入到系統(tǒng)。最初，遙測(cè)數(shù)據(jù)和視頻數(shù)據(jù)可以在MPEG傳輸流中以流的形式輸入到系統(tǒng)，其中遙測(cè)數(shù)據(jù)將是第一基礎(chǔ)流的部分并且視頻數(shù)據(jù)將是第二基礎(chǔ)流的部分。在這樣的實(shí)施方式中，數(shù)據(jù)將被解復(fù)用并且各流將通過(guò)各自的輸入到達(dá)存儲(chǔ)器172。如果選擇了實(shí)時(shí)顯示，則存儲(chǔ)器172可以是用于緩沖遙測(cè)數(shù)據(jù)流和視頻數(shù)據(jù)流的緩沖器，或者存儲(chǔ)器可以存儲(chǔ)遙測(cè)數(shù)據(jù)和視頻數(shù)據(jù)用于以后的取回和顯示。用戶與圖形用戶界面173交互。用戶能夠使用顯示在顯示裝置173上的圖形用戶界面173指示接收從有人或無(wú)人航空器取回的實(shí)時(shí)信息或保存的信息，在顯示裝置173上，生成了圖形地圖并且視頻的各幀被以適合的經(jīng)度和緯度坐標(biāo)布置在地圖上。在實(shí)時(shí)實(shí)施方式中，圖形用戶界面173與控制模塊174通信?？刂颇K174監(jiān)督具有航空視頻幀數(shù)據(jù)的地圖的創(chuàng)建與遙測(cè)和航空視頻幀數(shù)據(jù)的同步?？刂颇K174分別指示遙測(cè)解析器175和視頻幀提取模塊176從存儲(chǔ)器172取回遙測(cè)數(shù)據(jù)和視頻數(shù)據(jù)?？刂颇K174還將時(shí)刻信號(hào)提供到每個(gè)模塊(遙測(cè)解析器175、視頻 幀提取模塊176、同步模塊177和外推/插值模塊178)，從而能夠在模塊之間移動(dòng)數(shù)據(jù)并且最終在顯示器上呈現(xiàn)數(shù)據(jù)。在控制模塊之上的層是應(yīng)用層181。應(yīng)用層181與圖形用戶界面173形成接口并且確定需要的控制模塊的數(shù)目。如果多個(gè)視頻要被顯示和同步在一起，則將需要多個(gè)視頻控制模塊。例如，如果用戶通過(guò)圖形用戶界面指示他希望觀看每個(gè)顯示在公共地圖上的多個(gè)航空器的視頻。在某些實(shí)施方式中，主時(shí)鐘180用于同步。主時(shí)鐘能夠用于將遙測(cè)和視頻數(shù)據(jù)同步到公共時(shí)鐘并且還能夠用于同步正在由控制模塊控制的多個(gè)視頻流以同時(shí)顯示。遙測(cè)解析器175解析從存儲(chǔ)器取回的遙測(cè)數(shù)據(jù)流。對(duì)數(shù)據(jù)進(jìn)行解析以定位在指定時(shí)間采樣的遙測(cè)信息。遙測(cè)數(shù)據(jù)與指定時(shí)間被傳輸?shù)酵侥K177并且被緩沖。遙測(cè)解析器175將指定時(shí)間傳輸?shù)揭曨l幀提取模塊176。視頻幀提取模塊176從存儲(chǔ)器取回MPEG或H. 264視頻流以對(duì)流進(jìn)行解析以定位每個(gè)展現(xiàn)時(shí)間戳(PTS)頭。對(duì)與PTS關(guān)聯(lián)的時(shí)間戳進(jìn)行識(shí)別并且將其與來(lái)自遙測(cè)解析器的指定時(shí)間進(jìn)行比較。如果PTS的時(shí)間戳處于指定時(shí)間的預(yù)置時(shí)間范圍內(nèi)(例如，PTS時(shí)間戳位于指定時(shí)間之前)，則對(duì)PTS進(jìn)行解碼。如果PTS沒(méi)有處于預(yù)置時(shí)間范圍內(nèi)，則丟棄該P(yáng)TS頭信息和編碼數(shù)據(jù)。對(duì)于處于預(yù)置時(shí)間范圍內(nèi)的PTS，視頻幀提取模塊176解碼PTS，從而PTS能夠顯示在顯示裝置173上。在解碼處理期間，視頻幀提取模塊176識(shí)別與每個(gè)幀關(guān)聯(lián)的時(shí)間戳。視頻幀提取模塊176將解碼的視頻幀與它們的時(shí)間戳一起傳輸?shù)揭曨l渲染器。同步模塊177可以緩沖在不同時(shí)間采樣的多組遙測(cè)數(shù)據(jù)。同步模塊177然后使遙測(cè)數(shù)據(jù)排隊(duì)等候直到其時(shí)間戳在指定容差內(nèi)對(duì)應(yīng)于視頻流時(shí)間。視頻流時(shí)間是視頻顯示或渲染時(shí)間。因此，接下來(lái)顯示的視頻幀將與正在從隊(duì)列釋放的遙測(cè)數(shù)據(jù)關(guān)聯(lián)。應(yīng)了解的是，可以以與視頻數(shù)據(jù)不同的速率獲取遙測(cè)數(shù)據(jù)。通常，將以比視頻數(shù)據(jù)小的速率對(duì)遙測(cè)數(shù)據(jù)進(jìn)行采樣。結(jié)果，每組遙測(cè)數(shù)據(jù)能夠與視頻數(shù)據(jù)的一個(gè)或多個(gè)幀相關(guān)聯(lián)。一旦遙測(cè)數(shù)據(jù)時(shí)間戳處于流時(shí)間容差內(nèi)，則該數(shù)據(jù)被傳輸?shù)酵馔?插值模塊178。外推/插值模塊將在兩組遙測(cè)數(shù)據(jù)之間插值遙測(cè)數(shù)據(jù)，從而對(duì)于每個(gè)視頻幀來(lái)說(shuō)，存在關(guān)聯(lián)的一組遙測(cè)數(shù)據(jù)，或者外推/插值模塊將從一個(gè)或多個(gè)之前接收的遙測(cè)數(shù)據(jù)采樣外推遙測(cè)數(shù)據(jù)。換言之，對(duì)于視頻幀的每個(gè)采樣時(shí)段，存在與采樣時(shí)段關(guān)聯(lián)的對(duì)應(yīng)的遙測(cè)數(shù)據(jù)(例如，對(duì)于時(shí)間段X，捕獲了視頻幀I并且存在對(duì)應(yīng)的遙測(cè)數(shù)據(jù)A)。插值/外推模塊178然后將遙測(cè)數(shù)據(jù)傳輸?shù)降貓D渲染模塊179以與當(dāng)前的視頻幀關(guān)聯(lián)。地圖渲染模塊179對(duì)視頻幀圖像數(shù)據(jù)進(jìn)行變換，從而數(shù)據(jù)可以顯示在顯示裝置173上的地圖上。因此，數(shù)據(jù)被從獲取平面扭曲(warp)到觀察平面。用于視頻幀數(shù)據(jù)的關(guān)聯(lián)的遙測(cè)數(shù)據(jù)表示允許在地圖上呈現(xiàn)圖像的視頻幀的精度和緯度。在另外的實(shí)施方式中，系統(tǒng)可以利用存儲(chǔ)在存儲(chǔ)器172中的文件中的預(yù)先記錄的數(shù)據(jù)來(lái)工作。在這樣的實(shí)施方式中，用戶可以與圖形用戶界面173交互以選擇與特定數(shù)據(jù)和時(shí)間關(guān)聯(lián)的視頻文件或者用戶可以選擇地圖上的位置以顯示任何對(duì)應(yīng)的視頻。用戶還可以通過(guò)指定回放的開(kāi)始時(shí)間或時(shí)間段(開(kāi)始時(shí)間和結(jié)束時(shí)間)來(lái)選擇特定文件的子集。當(dāng)用戶直接或間接地指示開(kāi)始時(shí)間和/或開(kāi)始/停止時(shí)間時(shí)，視頻幀提取模塊176將解析展現(xiàn)時(shí)間戳頭并且基于開(kāi)始時(shí)間戳確定是否應(yīng)該數(shù)據(jù)進(jìn)行解碼。如果PTS時(shí)間戳處于時(shí)間范圍之外，則將丟棄該視頻并且不進(jìn)行解碼。類似地，遙測(cè)解析器175將從存儲(chǔ)的文件解析遙測(cè)數(shù)據(jù)，但是將僅將相關(guān)的遙測(cè)數(shù)據(jù)(具有開(kāi)始/停止時(shí)間段內(nèi)的時(shí)間戳的遙測(cè)數(shù)據(jù))保 存和存儲(chǔ)到存儲(chǔ)器，以傳輸?shù)酵侥K177。本領(lǐng)域技術(shù)人員應(yīng)了解的是，各種模塊和解析器(174-179)與圖形用戶界面可以在ー個(gè)或多個(gè)處理器上運(yùn)行。模塊和解析器也可以形成在ー個(gè)或多個(gè)集成電路芯片上。例如，同步模塊和外推/插值模塊可以位于同一片娃上。在實(shí)時(shí)獲取和顯示系統(tǒng)中，其中在從航空器接收到視頻時(shí)將視頻顯示給用戶，用戶可以通過(guò)用戶界面200指示用戶希望放置在地圖上的視頻數(shù)據(jù)，如圖2中所示。因此，經(jīng)由圖形用戶界面，系統(tǒng)確定能夠用于選擇適合的遙測(cè)數(shù)據(jù)220并且還用于定位對(duì)應(yīng)的視頻數(shù)據(jù)230的開(kāi)始和結(jié)束時(shí)間戳210。能夠基于給出航空器的飛行路徑的期望的航空器的位置來(lái)確定開(kāi)始和結(jié)束時(shí)間戳(即，用戶選擇的時(shí)間段)。例如，如果航空器正在飛行并且實(shí)時(shí)地發(fā)送編碼視頻和遙測(cè)數(shù)據(jù)，則系統(tǒng)的用戶可能僅想觀看航空器捕獲的視頻的一部分。因此，基于飛行路徑，能夠使用本領(lǐng)域技術(shù)人員公知的技術(shù)來(lái)計(jì)算航空器將捕獲要求的地面位置的圖像的時(shí)間的估計(jì)。該用戶選擇的時(shí)間段然后能夠由系統(tǒng)使用來(lái)解析遙測(cè)數(shù)據(jù)流和視頻數(shù)據(jù)流以定位對(duì)應(yīng)于用戶選擇的時(shí)間段的視頻數(shù)據(jù)和遙測(cè)數(shù)據(jù)。如果使用預(yù)先記錄的遙測(cè)和視頻數(shù)據(jù)文件，則能夠采用類似的技木。用戶可以通過(guò)圖形用戶界面訪問(wèn)包含可能的預(yù)先記錄的航空和遙測(cè)數(shù)據(jù)文件的列表的數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)可以包括關(guān)于航空器的飛行路徑的信息并且甚至可以包括航空器記錄的感興趣的位置的列表。根據(jù)該列表，用戶能夠選擇將要顯示的要求的文件并且能夠在地圖上圖形地或者通過(guò)坐標(biāo)或者通過(guò)位置(城市、街道、地址)的輸入來(lái)指示用戶希望觀看的視頻數(shù)據(jù)。系統(tǒng)然后能夠?qū)⑦x擇的已知位置翻譯為用戶定義的時(shí)間段。在該實(shí)時(shí)系統(tǒng)中，遙測(cè)和視頻數(shù)據(jù)被存儲(chǔ)到文件或者存儲(chǔ)到存儲(chǔ)器，一旦基于時(shí)間戳對(duì)遙測(cè)和視頻數(shù)據(jù)文件進(jìn)行了解析，則基于遙測(cè)數(shù)據(jù)在觀察坐標(biāo)系變換引擎235中對(duì)視頻信息進(jìn)行變換。變換后的視頻幀然后能夠被渲染并且顯示在地圖240上。能夠在流水線處理器中并行地提取遙測(cè)數(shù)據(jù)和視頻數(shù)據(jù)或者能夠串行地提取數(shù)據(jù)(參見(jiàn)圖3和4中的流水線處理器的示意圖)。遙測(cè)和視頻數(shù)據(jù)的處理可以開(kāi)始于MPEG傳輸流或其它流的接收，其中遙測(cè)數(shù)據(jù)和視頻數(shù)據(jù)存儲(chǔ)在一個(gè)或多個(gè)基礎(chǔ)流中并且使用已知的解復(fù)用技術(shù)和/或解復(fù)用器對(duì)遙測(cè)和視頻數(shù)據(jù)進(jìn)行解復(fù)用。在另外的實(shí)施方式中，可以在單獨(dú)的流中以流形式分別傳輸遙測(cè)數(shù)據(jù)和視頻數(shù)據(jù)。在另外的實(shí)施方式中，視頻數(shù)據(jù)和遙測(cè)數(shù)據(jù)可以是之前獲取的并且分別存儲(chǔ)在單獨(dú)的文件中。本領(lǐng)域技術(shù)人員應(yīng)了解的是，術(shù)語(yǔ)“獲取時(shí)間”對(duì)應(yīng)于地面上的空間位置。因此，通過(guò)定位視頻序列內(nèi)的指定的獲取時(shí)間，系統(tǒng)定位用于特定位置(經(jīng)度和緯度)的視頻。為了獲取與要求的時(shí)間或時(shí)間段關(guān)聯(lián)的視頻幀，要求用于以近似的精度從壓縮視頻文件中提取幀的顯示時(shí)段的時(shí)間信息的方法。在一些實(shí)施方式中，使用不包括時(shí)間幀索引的諸如MPEG-2、MPEG-4、H. 264的協(xié)議對(duì)視頻幀進(jìn)行編碼，因此如果要求實(shí)時(shí)或基本上實(shí)時(shí)的性能，則必須間接地確定該信息。識(shí)別的協(xié)議中的每一個(gè)具有分級(jí)結(jié)構(gòu)，每級(jí)的頭包括下述提供關(guān)于該級(jí)的信息的頭文件(例如，傳輸流)的頭、流(例如，基礎(chǔ)流)的頭、圖片組的頭、各個(gè)圖片(例如幀)的頭以及圖片的一部分(例如宏塊)的頭。在MPEG協(xié)議中，展現(xiàn)時(shí)間戳是基于系統(tǒng)時(shí)鐘的指示應(yīng)該展示數(shù)據(jù)的時(shí)間的元數(shù)據(jù)。系統(tǒng)使用包括PTS過(guò)濾的MPEG-2傳輸流源過(guò)濾器310。MPEG-2傳輸流源過(guò)濾器解析傳輸流以定位第一 PTS頭并且提取用于該P(yáng)TS的時(shí)間。MPEG-2傳輸流源過(guò)濾器將繼續(xù)解析視頻文件直到PTS過(guò)濾找到了接近系統(tǒng)的用戶選擇的 要求的開(kāi)始時(shí)間的開(kāi)始時(shí)間。在圖3A的流程圖中提供了 PTS過(guò)濾器內(nèi)采用的方法的更具體的實(shí)施方式。在圖3A中，視頻數(shù)據(jù)被接收到PTS過(guò)濾器中。在圖3A中，視頻數(shù)據(jù)被以流的形式接收到PTS過(guò)濾器中作為MPEG基礎(chǔ)流(300A)。MPEG-2傳輸流源過(guò)濾器解析MPEG流以識(shí)別展現(xiàn)時(shí)間戳。MPEG-2傳輸流源過(guò)濾器識(shí)別包含PTS的分組(310A)。PTS過(guò)濾器300然后獲取近似開(kāi)始時(shí)間的PTS時(shí)間戳以用于展示。如果這是第一 PTS (320A)，則保存該時(shí)間戳作為第一時(shí)間戳和當(dāng)前的時(shí)間戳(321A)。PTS過(guò)濾器300然后進(jìn)行檢查以確認(rèn)是否設(shè)置了開(kāi)始和停止時(shí)間(330A)。開(kāi)始和停止時(shí)間是用戶希望觀看視頻數(shù)據(jù)的請(qǐng)求的時(shí)間。PTS過(guò)濾器然后執(zhí)行下面的表達(dá)式((當(dāng)前時(shí)間戳-第一時(shí)間戳)>=請(qǐng)求的開(kāi)始時(shí)間&&<=停止時(shí)間)(335A)并且如果視頻數(shù)據(jù)落入該時(shí)間段內(nèi)，則將用于該圖片組的視頻數(shù)據(jù)傳輸?shù)浇獯a器(340A)。如果信息沒(méi)有處于定義的時(shí)間段內(nèi)，則與該圖片組關(guān)聯(lián)的視頻數(shù)據(jù)沒(méi)有被傳輸?shù)浇獯a器(345A)。已經(jīng)被傳輸?shù)浇獯a器的數(shù)據(jù)然后被解碼到空間域(350A)。處理能夠?qū)γ總€(gè)MPEG基礎(chǔ)流內(nèi)的每個(gè)PTS進(jìn)行操作或者處理可以在定位到適當(dāng)?shù)腜TS時(shí)終止。返回圖3，一旦定位了包含要求的幀的適當(dāng)?shù)腜TS，則能夠在MPEG解碼器320中解碼用于該P(yáng)TS的MPEG編碼數(shù)據(jù)。來(lái)自MPEG傳輸流/文件的其它頭信息和MPEG數(shù)據(jù)能夠被丟棄，并且因此，僅解碼包含要求的幀的MPEG數(shù)據(jù)。應(yīng)了解的是，用戶或系統(tǒng)可以指示顯示的開(kāi)始和結(jié)束時(shí)間并且因此由于開(kāi)始和停止時(shí)間可以位于多組圖片內(nèi)，因此可以解碼超過(guò)一個(gè)圖片組。一旦解碼了要求的幀，則能夠在搜索模塊330中定位對(duì)應(yīng)于要求的時(shí)間位置的提取幀。能夠基于用于每幀的媒體采樣時(shí)間戳確定與特定時(shí)間位置關(guān)聯(lián)的幀。通過(guò)使用PTS信息，不需要解碼整個(gè)編碼視頻序列以定位具有對(duì)應(yīng)于與要求的位置(經(jīng)度和緯度)關(guān)聯(lián)的時(shí)間的媒體采樣時(shí)間戳的幀。在圖3B的流程圖中提供了由搜索模塊采用的方法的更具體的實(shí)施方式。圖3B是搜索模塊可以采用的方法的流程圖。搜索模塊首先從解碼器接收解碼的視頻幀(360B)。搜索模塊從解碼的視頻幀識(shí)別媒體采樣時(shí)間戳(365B)。搜索模塊然后進(jìn)行檢查來(lái)確認(rèn)用于第一圖像的媒體采樣時(shí)間戳是否大于或等于請(qǐng)求的開(kāi)始時(shí)間(370B)。這是由于PTS沒(méi)有提供精確的媒體幀時(shí)間。因此，可以存在需要用于識(shí)別要求的幀和精確時(shí)間以進(jìn)行顯示的額外的數(shù)據(jù)。例如，PTS可以指示第一幀將在1:04回放；然而，第一幀可能實(shí)際上處于1:03. 90。因此，第一時(shí)間戳和當(dāng)前的時(shí)間戳需要被設(shè)置在1:03. 90 (375B)。搜索模塊進(jìn)行檢查以確認(rèn)是否已經(jīng)提供了請(qǐng)求的開(kāi)始和停止時(shí)間(380B)。請(qǐng)求的開(kāi)始和停止時(shí)間對(duì)應(yīng)于用戶希望觀看的視頻。捜索模塊將時(shí)間戳與請(qǐng)求的開(kāi)始和停止時(shí)間進(jìn)行比較，以確認(rèn)幀的時(shí)間戳是否處于請(qǐng)求的時(shí)間段內(nèi)(385B)。如果是，則對(duì)視頻數(shù)據(jù)利用相對(duì)時(shí)間戳進(jìn)行時(shí)間標(biāo)記(390B)。因此，相對(duì)時(shí)間戳將使得系統(tǒng)立即開(kāi)始回放處于請(qǐng)求的時(shí)間幀內(nèi)的視頻幀(395B)。在上述示例中，假設(shè)用戶輸入了請(qǐng)求的開(kāi)始和停止時(shí)間并且根據(jù)該信息定位特定幀。可以在上述系統(tǒng)中使用其它用戶定義的輸入。例如，在其中遙測(cè)數(shù)據(jù)已經(jīng)存儲(chǔ)在數(shù)據(jù)庫(kù)中的一些實(shí)施方式中，用戶可以定義用戶希望觀看的特定經(jīng)度和緯度。從該數(shù)據(jù)庫(kù)，能夠定位經(jīng)度和緯度，并且能夠找到包含獲取時(shí)間的關(guān)聯(lián)的數(shù)據(jù)文件。一旦確定了獲取時(shí)間，則可以采用上述方法，其中可以對(duì)MPEG編碼數(shù)據(jù)執(zhí)行快速捜索而無(wú)需解碼每個(gè)幀。此外，應(yīng)理解的是，可以在其它行業(yè)中使用該快速捜索方法，以快速地定位壓縮視頻流內(nèi)在特定時(shí)間出現(xiàn)的特定視頻幀。例如，該技術(shù)可以應(yīng)用于視頻取證、視頻監(jiān)控系統(tǒng)和視頻編輯。圖4示出了包括遙測(cè)解析器(解析器)、同步模塊(遙測(cè)同歩)、外推過(guò)濾器(外推/插值模塊)和地圖渲染模塊(觀察坐標(biāo)系變換)的圖IA的模塊的后一半。該圖示例了遙測(cè)數(shù)據(jù)和視頻幀數(shù)據(jù)之間的同歩。視頻幀數(shù)據(jù)被解碼并且與用于每幀的時(shí)刻信息(時(shí)間戳)一起存儲(chǔ)在緩沖器中。遙測(cè)數(shù)據(jù)被傳輸?shù)浇馕銎?10。遙測(cè)數(shù)據(jù)可以被編碼為關(guān)鍵字長(zhǎng)度值(KLV)格式。解析器對(duì)數(shù)據(jù)分組進(jìn)行操作并且將頭兩個(gè)64位單詞與已知的關(guān)鍵字值進(jìn)行比較。當(dāng)識(shí)別出關(guān)鍵字時(shí)，解析器繼續(xù)解析數(shù)據(jù)直到解析器確定獲取時(shí)間的遙測(cè)數(shù)據(jù)的末端。一旦確定了遙測(cè)數(shù)據(jù)的末端，則為遙測(cè)數(shù)據(jù)定位時(shí)間戳。如果識(shí)別出的時(shí)間戳接近或處于要求的時(shí)間戳(開(kāi)始和結(jié)束時(shí)間)內(nèi)，則遙測(cè)數(shù)據(jù)被存儲(chǔ)到存儲(chǔ)器，否則跳過(guò)/丟棄遙測(cè)數(shù)據(jù)。一旦已經(jīng)建立了分組(即，所有與獲取時(shí)間關(guān)聯(lián)的遙測(cè)數(shù)據(jù))并且分組處于要求的時(shí)間段內(nèi)，則包含遙測(cè)數(shù)據(jù)的分組傳輸?shù)竭b測(cè)同步模塊420。遙測(cè)同步模塊420請(qǐng)求遙測(cè)數(shù)據(jù)，直到其時(shí)間戳與當(dāng)前視頻展示時(shí)間大致相同。遙測(cè)同步模塊對(duì)視頻媒體時(shí)間進(jìn)行排隊(duì)并且當(dāng)遙測(cè)數(shù)據(jù)和視頻數(shù)據(jù)425的時(shí)間戳大致相同時(shí)釋放遙測(cè)數(shù)據(jù)。在某些實(shí)施方式中，來(lái)自視頻數(shù)據(jù)425的時(shí)間戳可以表示與獲取時(shí)間相對(duì)的展示時(shí)間。結(jié)果，系統(tǒng)將補(bǔ)償獲取時(shí)間和展示時(shí)間之間的差異，從而遙測(cè)數(shù)據(jù)時(shí)間戳表示展示時(shí)間。遙測(cè)同步模塊比較時(shí)間戳和用于視頻數(shù)據(jù)的展示的當(dāng)前流時(shí)間以確定應(yīng)釋放遙測(cè)數(shù)據(jù)用于進(jìn)ー步處理的時(shí)間。因此，不僅同步數(shù)據(jù)，而且適當(dāng)?shù)卮_定展示的時(shí)間。在一些實(shí)施方式中，遙測(cè)同步模塊將存儲(chǔ)多個(gè)遙測(cè)數(shù)據(jù)分組(即，在不同時(shí)間獲取的遙測(cè)數(shù)據(jù))。遙測(cè)同步模塊提供了用于以結(jié)構(gòu)化格式存儲(chǔ)相關(guān)遙測(cè)數(shù)據(jù)的緩沖器。緩沖器保持可以具有處于視頻數(shù)據(jù)的要求的開(kāi)始和停止時(shí)間之前或之后的關(guān)聯(lián)的獲取時(shí)間，這是因?yàn)榭梢砸圆煌谝曨l數(shù)據(jù)的速率采樣/獲取遙測(cè)數(shù)據(jù)。然后將遙測(cè)數(shù)據(jù)傳輸?shù)酵馔七^(guò)濾器430。如果遙測(cè)數(shù)據(jù)的時(shí)間戳不匹配要求的時(shí) 間戳，則外推過(guò)濾器將對(duì)遙測(cè)數(shù)據(jù)進(jìn)行外推或插值。在一個(gè)實(shí)施方式中，由于以比視頻數(shù)據(jù)慢的采樣速率采樣遙測(cè)數(shù)據(jù)，因此處于要求的時(shí)間之前的遙測(cè)數(shù)據(jù)和在要求的時(shí)間之后獲取的遙測(cè)數(shù)據(jù)用于對(duì)要求的時(shí)間的遙測(cè)數(shù)據(jù)進(jìn)行插值。因此，外推過(guò)濾器產(chǎn)生每個(gè)要求的視頻幀和遙測(cè)數(shù)據(jù)之間的一一對(duì)應(yīng)關(guān)系。在優(yōu)選實(shí)施方式中，對(duì)從初始文件解析的遙測(cè)數(shù)據(jù)進(jìn)行分組，從而與特定位置關(guān)聯(lián)的所有信息被保持在一起。一旦對(duì)于要求的時(shí)間，通過(guò)外推過(guò)濾器確定了遙測(cè)數(shù)據(jù)，則將遙測(cè)數(shù)據(jù)傳輸?shù)接^察坐標(biāo)系變換模塊440。觀察坐標(biāo)系變換模塊基于遙測(cè)數(shù)據(jù)(例如，飛行器海拔、經(jīng)度、緯度、視場(chǎng)、焦距等等)執(zhí)行視頻數(shù)據(jù)425到地圖上的投影。獲得的變換后的視頻幀數(shù)據(jù)被展示在地圖上并且數(shù)據(jù)顯示到顯示裝置。可以使用各種已知的技術(shù)來(lái)執(zhí)行空間變換和用于顯示的數(shù)字?jǐn)?shù)據(jù)的渲染?，F(xiàn)在提供關(guān)于解析器、遙測(cè)同步模塊和外推過(guò)濾器的詳細(xì)討論。為了協(xié)調(diào)視頻和遙測(cè)數(shù)據(jù)，必須對(duì)流形式的或者存儲(chǔ)的遙測(cè)數(shù)據(jù)文件進(jìn)行解析，如圖5的流程圖中所示。圖5的流程圖示出了用于解析遙測(cè)數(shù)據(jù)的簡(jiǎn)化流程圖。圖5沒(méi)有包括復(fù)雜性高的嵌套關(guān)鍵字，并且僅示出了用于高級(jí)別關(guān)鍵字的處理，然而，下面解釋嵌套關(guān)鍵字。遙測(cè)數(shù)據(jù)文件的尺寸可以很大并且文件可以包括很多兆數(shù)據(jù)。遙測(cè)數(shù)據(jù)文件可以存儲(chǔ)為諸如由運(yùn)動(dòng)圖像標(biāo)準(zhǔn)協(xié)會(huì)(MISB)標(biāo)準(zhǔn)0601. 3、0104. 5定義的格式的格式或者其它類似的格式。對(duì)于獲取的每個(gè)遙測(cè)位置，遙測(cè)數(shù)據(jù)可以包括諸如經(jīng)度和緯度以及獲取數(shù)據(jù)時(shí)的飛機(jī)的海拔的信息。此外，可以存在時(shí)間戳。另外，遙測(cè)數(shù)據(jù)可以包括飛機(jī)的歐拉角(翻滾(roll)、俯仰(pitch)、和偏航(yaw))以及相機(jī)的歐拉角(由于相機(jī)和飛行器之間的安裝導(dǎo)致的差異)。遙測(cè)數(shù)據(jù)可以進(jìn)一步包括相機(jī)所位于的地面上的點(diǎn)的經(jīng)度和緯度、相機(jī)的視場(chǎng)并且甚至可以包括期望的圖像的四角中的每一個(gè)的位置(即，經(jīng)度和緯度)。額外的數(shù)據(jù)也可以包括在遙測(cè)數(shù)據(jù)中。因此，包括在遙測(cè)數(shù)據(jù)內(nèi)的變量的該列表不應(yīng)被理解為是排他性的，將數(shù)據(jù)視為遙測(cè)數(shù)據(jù)所要求的每個(gè)變量也是如此。遙測(cè)數(shù)據(jù)被存儲(chǔ)為類似于電影與電視工程師學(xué)會(huì)文件交換格式的格式。其由以關(guān)鍵字長(zhǎng)度值(KLV)格式編碼的數(shù)據(jù)分組構(gòu)成。分組由符合SMPTE和MISB的16字節(jié)關(guān)鍵字 構(gòu)成。SMPTE和MISB提供了 KLV字典，其提供了各種關(guān)鍵字的定義。關(guān)鍵字后面是單字節(jié)，其允許確定遙測(cè)數(shù)據(jù)的長(zhǎng)度。如果沒(méi)有設(shè)置該字節(jié)的符號(hào)位或者最高有效位，則該字節(jié)是之后的數(shù)據(jù)(值)的長(zhǎng)度。如果設(shè)置了長(zhǎng)度的最高有效位或符號(hào)位，則該字節(jié)中的信息的剩余七個(gè)位表示以字節(jié)為單位的后面的大小。這些長(zhǎng)度字節(jié)然后能夠表示值的長(zhǎng)度。通過(guò)注冊(cè)的關(guān)鍵字的定義來(lái)確定值中的數(shù)據(jù)的格式。其可以是浮點(diǎn)、整數(shù)、字符或其它數(shù)據(jù)類型。解析器將解析遙測(cè)數(shù)據(jù)文件以定位用于每個(gè)數(shù)據(jù)獲取點(diǎn)的遙測(cè)數(shù)據(jù)。解析器接收數(shù)據(jù)分組并且通過(guò)一次搜索16字節(jié)的二進(jìn)制數(shù)據(jù)來(lái)開(kāi)始對(duì)其進(jìn)行解析(500)。這是通過(guò)將兩個(gè)64位指針?lè)峙浣o數(shù)據(jù)來(lái)實(shí)現(xiàn)的。如果數(shù)據(jù)的頭一半是有效的部分關(guān)鍵字，則檢查該數(shù)據(jù)的后一半以確定其是否是定義的關(guān)鍵字的有效部分(501)。為了提供遙測(cè)數(shù)據(jù)的快速解析，在本發(fā)明的某些實(shí)施方式中對(duì)關(guān)鍵字進(jìn)行硬編碼。在另外的實(shí)施方式中，解析器在字典中執(zhí)行數(shù)據(jù)(關(guān)鍵字)的查找。如果數(shù)據(jù)不是有效關(guān)鍵字，則指針遞增到下一字節(jié)并且處理繼續(xù)直到找到有效關(guān)鍵字或者到達(dá)緩沖器的末端(502)。如果找到了有效關(guān)鍵字，則確定數(shù)據(jù)的長(zhǎng)度(503)。數(shù)據(jù)被取回到對(duì)于該關(guān)鍵字預(yù)先定義的數(shù)據(jù)結(jié)構(gòu)中并且指針移動(dòng)到該數(shù)據(jù)之外的第一字節(jié)。如果關(guān)鍵字是嵌套關(guān)鍵字，則確定最高嵌套關(guān)鍵字的長(zhǎng)度并且將其保持為一組數(shù)據(jù)或分組?？梢酝ㄟ^(guò)讀取分組的末端的分組校驗(yàn)和并且將該校驗(yàn)和與計(jì)算的直到校驗(yàn)和的值的校驗(yàn)和進(jìn)行比較來(lái)驗(yàn)證嵌套分組或數(shù)據(jù)的長(zhǎng)度。如果校驗(yàn)和不是有效的，則該關(guān)鍵字被認(rèn)為是無(wú)效的，并且搜索指針遞增一個(gè)字節(jié)，從而搜索下一個(gè)有效關(guān)鍵字。如果嵌套容器關(guān)鍵字分組是有效的，則對(duì)該關(guān)鍵字內(nèi)的數(shù)據(jù)進(jìn)行解析并且將該數(shù)據(jù)加載到預(yù)定結(jié)構(gòu)中(504)。如果在分組內(nèi)找到了無(wú)效數(shù)據(jù)結(jié)構(gòu)或關(guān)鍵字，則該搜索繼續(xù)以通過(guò)遞增捜索指針來(lái)找到下一個(gè)有效關(guān)鍵字(502)。捜索繼續(xù)直到到達(dá)了分組的末端，或者緩沖器的末端。如果到達(dá)了緩沖器的末端，則剩余的未解析的數(shù)據(jù)被前置到下ー個(gè)數(shù)據(jù)緩沖器，并且掃描繼續(xù)。當(dāng)?shù)竭_(dá)了高級(jí)別的容器分組的末端時(shí)，發(fā)送到輸出處理例程并且掃描指針移動(dòng)到就在容器分組之外的數(shù)據(jù)(502)。如果數(shù)據(jù)沒(méi)有處于嵌套的容器分組中，則考慮每個(gè)單獨(dú)的關(guān)鍵字，并且當(dāng)找到第一重復(fù)關(guān)鍵字時(shí)，將分組發(fā)送到輸出處理例程。如果發(fā)現(xiàn)嵌套關(guān)鍵字，則就像任何其它關(guān)鍵字一祥對(duì)其進(jìn)行處理，但是不進(jìn)行輸出直到輸出了最高級(jí)別的關(guān)鍵字。如果找到了本地?cái)?shù)據(jù)組(LDS)，則計(jì)算其校驗(yàn)和并且針對(duì)分組校驗(yàn)和進(jìn)行檢查。LDS由代替關(guān)鍵字的多組單字節(jié)標(biāo)簽以及其后的長(zhǎng)度和值構(gòu)成(TLV)。由于標(biāo)簽是單字節(jié)，因此不能夠像唯一 16字節(jié)關(guān)鍵字那樣對(duì)其進(jìn)行掃描。相反的是，必須始終對(duì)校驗(yàn)和進(jìn)行檢查以驗(yàn)證嵌套LDS的有效性。如果嵌套LDS是無(wú)效的，則掃描向前移動(dòng)ー個(gè)字節(jié)進(jìn)入嵌套LDS，并且恢復(fù)對(duì)于有效16字節(jié)關(guān)鍵字的搜索。如果校驗(yàn)和是有效的，則以一次讀取ー個(gè)TLV數(shù)據(jù)組的串行方式對(duì)LDS進(jìn)行處理。如果發(fā)現(xiàn)了未定義的標(biāo)簽，或者發(fā)現(xiàn)了無(wú)效長(zhǎng)度，則丟棄整個(gè)LDS。如果LDS被丟棄，則掃描移動(dòng)ー個(gè)字節(jié)進(jìn)入LDS關(guān)鍵字，并且恢復(fù)對(duì)于下一個(gè)關(guān)鍵字的掃描。掃描繼續(xù)直到到達(dá)了所有分組的末端或者流的末端(EOS)。一旦完全的遙測(cè)數(shù)據(jù)的分組被解析并且轉(zhuǎn)換為標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)結(jié)構(gòu)，則定位該分組的時(shí)間戳(505)，并且驗(yàn)證該時(shí)間戳以確定其是否處于要求的時(shí)間范圍內(nèi)(506)。在SMPTE和MISB KLV格式中，時(shí)間戳作為第一數(shù)據(jù)值出現(xiàn)。如果遙測(cè)時(shí)間戳處于要求的時(shí)間范圍之外，則丟棄所有遙測(cè)數(shù)據(jù)(507)。如果其處于要求的范圍內(nèi)，則將其發(fā)送到遙測(cè)同步模塊508。在將遙測(cè)數(shù)據(jù)發(fā)送到遙測(cè)同步模塊之前，遙測(cè)數(shù)據(jù)被分配有媒體時(shí)間?；谝訩LV捕獲的數(shù)據(jù)計(jì)算用于采樣的媒體時(shí)間。KLV時(shí)間戳保持遙測(cè)數(shù)據(jù)的時(shí)間。該時(shí)間戳被轉(zhuǎn)換為相對(duì)媒體時(shí)間，從而視頻和KLV通過(guò)公共時(shí)間關(guān)聯(lián)。另外，由于遙測(cè)獲取系統(tǒng)和視頻數(shù)據(jù)獲取系統(tǒng)之間的時(shí)鐘差使得遙測(cè)時(shí)間戳可能沒(méi)有直接與視頻數(shù)據(jù)的時(shí)間戳同歩。如果確定或已知時(shí)鐘沒(méi)有同步，則從時(shí)間戳減去或添加偏移。也可以施加任何時(shí)間校正并且將其存儲(chǔ)在數(shù)據(jù)分組中作為開(kāi)始時(shí)間。接下來(lái)的分組時(shí)間戳與開(kāi)始時(shí)間進(jìn)行比較以確定它們與遙測(cè)數(shù)據(jù)對(duì)應(yīng)的視頻流的相對(duì)偏移。在對(duì)時(shí)間戳進(jìn)行了必要的校正之后，如果數(shù)據(jù)的時(shí)間戳現(xiàn)在處于要求的時(shí)間的范圍之外，則丟棄來(lái)自該遙測(cè)分組的數(shù)據(jù)。輸出例程驗(yàn)證分組的時(shí)間戳以確認(rèn)其不是零并且具有合理值。如果其是第一分組，則保存該時(shí)間戳作為第一遙測(cè)分組的開(kāi)始時(shí)間(以KLV格式)。處理繼續(xù)以定位與要求的時(shí)間段內(nèi)的遙測(cè)數(shù)據(jù)關(guān)聯(lián)的相關(guān)關(guān)鍵字，直到到達(dá)遙測(cè)文件的末端或者到達(dá)最后分組的 分組末端(509)。結(jié)構(gòu)中的一些數(shù)據(jù)可以是冗余的或者能夠從其它值計(jì)算得到。例如，地角點(diǎn)可以從歐拉角、傳感器(即，相機(jī))的位置、視場(chǎng)以及地球模型計(jì)算得到。作為另ー示例，豎直或水平視場(chǎng)可以從視頻幀的寬高比和豎直或水平視場(chǎng)計(jì)算得到。結(jié)果，ー些數(shù)據(jù)可以在接收的數(shù)據(jù)分組中不出現(xiàn)。因此，對(duì)能夠從提供的信息獲得的值和數(shù)據(jù)進(jìn)行有效性檢查。遙測(cè)同步模塊按媒體時(shí)間(即，將在顯示裝置上進(jìn)行顯示的時(shí)間)緩沖遙測(cè)數(shù)據(jù)分組并且將遙測(cè)數(shù)據(jù)分組釋放到外推/插值過(guò)濾器。在本發(fā)明的一些實(shí)施方式中，遙測(cè)解析器將丟棄處于所請(qǐng)求的獲取時(shí)間之外的任何遙測(cè)分組數(shù)據(jù)。在另外的實(shí)施方式中，遙測(cè)數(shù)據(jù)被傳輸?shù)竭b測(cè)同步模塊并且遙測(cè)同步模塊將丟棄處于所請(qǐng)求的獲取時(shí)間之外的任何遙測(cè)數(shù)據(jù)分組。在該實(shí)施方式中，所請(qǐng)求的獲取時(shí)間內(nèi)的遙測(cè)數(shù)據(jù)分組被存儲(chǔ)在按時(shí)間編制索引的鏈接列表中。隨著分組變舊并且離開(kāi)要求的媒體時(shí)間范圍的范圍外，從列表去除這些分組。然后將新分組添加到該列表。因此，即使丟失了視頻/遙測(cè)數(shù)據(jù)或者視頻/遙測(cè)數(shù)據(jù)通過(guò)流水線處理器花費(fèi)了太長(zhǎng)時(shí)間，系統(tǒng)也能夠繼續(xù)提供地圖上的視頻數(shù)據(jù)的實(shí)時(shí)顯不O遙測(cè)同步模塊嘗試發(fā)出略微先于安排的媒體時(shí)間(媒體時(shí)間表示視頻時(shí)間)的分組，從而將兩個(gè)遙測(cè)分組提供到橫跨所請(qǐng)求的獲取時(shí)間的外推過(guò)濾器。外推/插值模塊的目的在于計(jì)算用戶請(qǐng)求的請(qǐng)求的獲取時(shí)間的數(shù)據(jù)值。外推過(guò)濾 器可以使用簡(jiǎn)單的斜率截距公式(y = m*x+b)來(lái)計(jì)算要求的數(shù)據(jù)值?？梢允褂闷渌逯捣椒ǎ@些方法包括其它已知的線性和非線性技術(shù)。如果計(jì)算的數(shù)據(jù)的值處于數(shù)據(jù)的允許值的范圍之外，則適當(dāng)?shù)剡M(jìn)行校正。例如，O到360度的角度值可能導(dǎo)致370度的計(jì)算值。其將被調(diào)整到10度。遙測(cè)同步模塊與插值過(guò)濾器之間的協(xié)調(diào)和調(diào)度通常導(dǎo)致所請(qǐng)求的時(shí)間處于從遙測(cè)同步模塊接收的兩個(gè)存儲(chǔ)的數(shù)據(jù)分組的兩個(gè)時(shí)間戳之間。這通常是因?yàn)橛捎诮鈮嚎s算法的大小和復(fù)雜性使得KLV數(shù)據(jù)的處理速度能夠是視頻數(shù)據(jù)的處理速度的幾百倍。因此，夕卜推過(guò)濾器用作插值器。如果請(qǐng)求的時(shí)間處于兩個(gè)存儲(chǔ)值之前或之后，則計(jì)算的值是外推。例如，在視頻數(shù)據(jù)文件的末端，可能的是，僅存在處于視頻數(shù)據(jù)幀的時(shí)間戳之前的單個(gè)對(duì)應(yīng)的遙測(cè)數(shù)據(jù)時(shí)間戳，并且因此，將需要外推而不是插值。例如，最后的視頻幀的時(shí)間戳可以處于30分9秒。最終的遙測(cè)數(shù)據(jù)時(shí)間戳可以處于30分5秒。結(jié)果，時(shí)間30分9秒的遙測(cè)值將需要從在時(shí)間上更早的遙測(cè)數(shù)據(jù)獲取進(jìn)行外推?？梢允褂帽绢I(lǐng)域技術(shù)人員已知的線性和非線性外推技術(shù)執(zhí)行外推。還應(yīng)了解的是，視頻數(shù)據(jù)和遙測(cè)數(shù)據(jù)的處理是異步處理。結(jié)果，遙測(cè)數(shù)據(jù)會(huì)遠(yuǎn)落后于或者先于視頻數(shù)據(jù)。結(jié)果，為了提供實(shí)時(shí)顯示，能夠發(fā)生其中存在能夠用于插值的遙測(cè)數(shù)據(jù)但是由于處理限制而需要進(jìn)行外推的情況。作為示例，在KLV遙測(cè)數(shù)據(jù)流內(nèi)，存在20分O秒的時(shí)間戳的遙測(cè)數(shù)據(jù)和20分10秒的遙測(cè)數(shù)據(jù)。具有20分5秒的時(shí)間戳的視頻數(shù)據(jù)被安排為進(jìn)行顯示，然而僅存在20分O秒的遙測(cè)數(shù)據(jù)并且還沒(méi)有對(duì)20分10秒的遙測(cè)數(shù)據(jù)進(jìn)行解析。結(jié)果，外推/插值模塊將至少基于20分O秒的遙測(cè)數(shù)據(jù)對(duì)20分5秒的遙測(cè)數(shù)據(jù)進(jìn)行插值。在外推/插值模塊之后，對(duì)應(yīng)的遙測(cè)數(shù)據(jù)和視頻數(shù)據(jù)被提供給地圖渲染模塊。地圖渲染模塊從遙測(cè)數(shù)據(jù)獲取坐標(biāo)并且計(jì)算用于顯示的對(duì)應(yīng)的屏幕坐標(biāo)，對(duì)視頻數(shù)據(jù)執(zhí)行觀察坐標(biāo)系變換。觀察坐標(biāo)系變換將每個(gè)視頻圖像的角匹配到地圖網(wǎng)格上的對(duì)應(yīng)的經(jīng)度和緯度坐標(biāo)。為此，必須提供傳感器的位置。必須提供歐拉角或者從相關(guān)的傳感器信息獲取歐拉角。使用地球的數(shù)學(xué)模型或者海拔模型來(lái)確定傳感器的視錐與地球的交叉。變換后的視頻數(shù)據(jù)然后被輸出到顯示裝置并且與地圖疊加，如圖6中所示。在圖6的左側(cè)示出了正在顯示為疊加的具有捕獲的視頻圖像610的地圖。在該構(gòu)造中，可以從航空飛行器基本上實(shí)時(shí)地疊加視頻數(shù)據(jù)，其中圖像將隨著時(shí)間流逝而疊加在地圖上。在圖6的右側(cè)示出了實(shí)時(shí)地顯示實(shí)際的航空視頻數(shù)據(jù)的圖形用戶界面620。在該圖中，示出了時(shí)間線630，其中正在顯示的視頻圖像處于視頻中的大約31秒處。因此，左手圖像示出了來(lái)自航空器的捕獲的圖像的頭31秒。圖7示出了正疊加在地圖上的視頻數(shù)據(jù)的另ー顯示。然而，對(duì)于圖7來(lái)說(shuō)，來(lái)自兩個(gè)航空器的視頻710、711同時(shí)疊加在地圖上，而不是如圖6中所示的那樣僅有來(lái)自ー個(gè)航空器的視頻疊加在地圖上。分別通過(guò)如圖IA中所示的視頻控制模塊174處理每個(gè)地圖顯示。視頻控制之上的應(yīng)用層確定視頻控制的數(shù)目，開(kāi)始時(shí)間、停止時(shí)間以及其回放速率。地圖渲染模塊允許經(jīng)由已知的表示協(xié)議(例如經(jīng)由DirectX表面)繪制多個(gè)視頻。視頻控制模塊能夠被實(shí)施為多線程應(yīng)用，其中每個(gè)控制處于單獨(dú)的線程。線程(即視頻控制模塊)與圖IA中所示的主時(shí)鐘180同歩?？刂颇K控制來(lái)自地圖渲染模塊的數(shù)據(jù)的顯示，而且信令給渲染模塊何時(shí)丟棄幀。例如，如果視頻與來(lái)自第二航空器的視頻不同步時(shí)，控制模塊可以信令從來(lái)自第一航空器的視頻丟棄幀。控制模塊174控制添加多個(gè)視頻以進(jìn)行顯示的能カ并且負(fù)責(zé)開(kāi)始用于該視頻的每個(gè)視頻控制。
圖的右側(cè)示出了圖形用戶界面720、721與用于每個(gè)航空器的時(shí)間線730、731。用于上面的航空器的視頻圖像740發(fā)生于大約41秒。應(yīng)理解的是，雖然時(shí)間線示出了已經(jīng)顯示了大約41秒的數(shù)據(jù)，但是這可以是已經(jīng)由航空器捕獲的全部視頻的一部分。正在顯示的視頻數(shù)據(jù)可以是來(lái)自保存的遙測(cè)和視頻文件組合，并且因此，顯示的信息可以僅是該視頻文件的一部分。在另外的實(shí)施方式中，正在疊加的視頻可以從航空器獲取該數(shù)據(jù)時(shí)開(kāi)始基本上實(shí)時(shí)地展示。因此，系統(tǒng)實(shí)時(shí)地接收來(lái)自航空器的發(fā)送流并且對(duì)信息進(jìn)行處理以便于同步和疊加在地圖上。兩個(gè)航空器視頻數(shù)據(jù)流740、741可以都來(lái)自實(shí)時(shí)獲取，都來(lái)自保存的文件，或者ー個(gè)來(lái)自實(shí)時(shí)獲取并且ー個(gè)來(lái)自之前獲取的文件。ー開(kāi)始，將對(duì)視頻數(shù)據(jù)進(jìn)行處理并且將其實(shí)時(shí)地顯示在地圖上，從而視頻數(shù)據(jù)的幀將被順序地添加并且疊加在地圖上。一旦視頻和遙測(cè)數(shù)據(jù)文件進(jìn)行了同步，則在時(shí)間段內(nèi)捕獲的視頻數(shù)據(jù)能夠被直接并且立即地顯示在地圖上而無(wú)需等待等于捕獲該視頻的時(shí)間的時(shí)間段。例如，如果右上的視頻是之前捕獲的并且與遙測(cè)數(shù)據(jù)進(jìn)行了同步，則所有視頻幀能夠幾乎實(shí)時(shí)地(這是由于執(zhí)行觀察坐標(biāo)系變換(如果進(jìn)行了觀察坐標(biāo)系變換的視頻數(shù)據(jù)之前沒(méi)有被保存到存儲(chǔ)器)需要時(shí)間)布置在地圖上。此外，多個(gè)文件可以同時(shí)地并且與正在實(shí)時(shí)地從ー個(gè)或多個(gè)航空器接收的視頻數(shù)據(jù)組合地布置在地圖上。另外，當(dāng)視頻圖像被布置在地圖上吋，圖像可以混在一起以形成馬賽克。因此，圖像留在顯示器上并且提供示出了航空器的飛行路徑的軌跡。能夠創(chuàng)建飛行路徑的復(fù)合圖像并且將其保存到存儲(chǔ)器。通過(guò)對(duì)其中圖像疊加的圖像取平均來(lái)實(shí)現(xiàn)該混合。當(dāng)圖像通過(guò)取平均而混合在一起時(shí)，地面上的移動(dòng)對(duì)象通常被平均到圖像之外。然而，獲得的地面圖像具有明顯高于僅簡(jiǎn)單地在顯示上疊加最新的信息時(shí)的分辨率的分辨率。將理解的是，上述方法和系統(tǒng)的不同部分和組件也能夠彼此獨(dú)立地實(shí)施和以不同的形式進(jìn)行組合。此外，上述實(shí)施方式將僅被視為示例性實(shí)施方式。本領(lǐng)域技術(shù)人員將理解的是，前述方法可以在計(jì)算機(jī)處理系統(tǒng)中執(zhí)行，并且計(jì)算機(jī)處理系統(tǒng)可以包括用于處理表示前述方法的計(jì)算機(jī)代碼的ー個(gè)或多個(gè)處理器。計(jì)算機(jī)代碼可以在有形計(jì)算機(jī)可讀介質(zhì)上實(shí)施(即，計(jì)算機(jī)程序產(chǎn)品)。
本發(fā)明可以以很多不同的形式來(lái)實(shí)施，這些形式包括但不限于用于與處理器(例如微處理器、微控制器、數(shù)字信號(hào)處理器或者通用計(jì)算機(jī))一起使用的計(jì)算機(jī)程序邏輯、用于與可編程邏輯器件(例如，場(chǎng)可編程門(mén)陣列(FPGA)或其它PLD) —起使用的可編程邏輯、分立組件、集成電路(例如，專用集成電路(ASIC))或者包括上述的任何組合的任何其它裝置。在本發(fā)明的實(shí)施方式中，所有重新排序的邏輯主要可以實(shí)施為被轉(zhuǎn)換為計(jì)算機(jī)可執(zhí)行形式的一組計(jì)算機(jī)程序指令，存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中，并且由在操作系統(tǒng)的控制下的陣列內(nèi)的微處理器執(zhí)行。實(shí)施前述的所有功能或部分功能的計(jì)算機(jī)程序邏輯可以以各種形式實(shí)施，這些形式包括但不限于源代碼形式、計(jì)算機(jī)可執(zhí)行形成以及各種中間形式(例如，通過(guò)組譯器、編譯器、網(wǎng)絡(luò)器(networker)或定位器產(chǎn)生的形式)。源代碼可以包括用于與各種操作系統(tǒng)或操作環(huán)境一起使用的一系列以各種編程語(yǔ)言(例如，對(duì)象代碼、匯編語(yǔ)言或者諸如Fortran、C、C++、JAVA或HTML的高級(jí)語(yǔ)言)實(shí)施的計(jì)算機(jī)程序指令。源代碼可以定義并且使用各種數(shù)據(jù)結(jié)構(gòu)和通信消息。源代碼可以是計(jì)算機(jī)可執(zhí)行形式(例如，經(jīng)由解釋器)，或者源代碼可以(例如，經(jīng)由翻譯器、組譯器或編譯器)被轉(zhuǎn)換為計(jì)算可執(zhí)行形式。
計(jì)算機(jī)程序可以永久地或者暫時(shí)地以任何形式(例如，源代碼形式、計(jì)算機(jī)可執(zhí)行形式或者中間形式)固定在有形存儲(chǔ)介質(zhì)中，其中有形存儲(chǔ)介質(zhì)包括半導(dǎo)體存儲(chǔ)器件(例如，RAM、ROM、PROM、EEPROM或者閃式可編程RAM)、磁性存儲(chǔ)器件(例如，磁盤(pán)或硬盤(pán))、光學(xué)存儲(chǔ)器件(例如，CD-ROM)、PC卡(例如PCMIA卡)或者其它存儲(chǔ)器件。計(jì)算機(jī)程序可以以任何形式固定在可使用各種通信技術(shù)發(fā)送到計(jì)算機(jī)的信號(hào)中，所述通信技術(shù)包括但不限于模擬技術(shù)、數(shù)字技術(shù)、光學(xué)技術(shù)、無(wú)線技術(shù)、網(wǎng)絡(luò)技術(shù)以及互聯(lián)網(wǎng)技術(shù)。計(jì)算機(jī)程序可以以任何形式作為可移除存儲(chǔ)介質(zhì)與印刷的或電子文檔一起分發(fā)(例如，現(xiàn)成軟件或磁帶)，利用計(jì)算機(jī)系統(tǒng)預(yù)先加載(例如，在系統(tǒng)ROM或者硬盤(pán)上)，或者從服務(wù)器或電子公告板通過(guò)通信系統(tǒng)(例如互聯(lián)網(wǎng)或者萬(wàn)維網(wǎng))分發(fā)。可以使用傳統(tǒng)的手動(dòng)方法來(lái)設(shè)計(jì)實(shí)施前述所有功能或部分功能的硬件邏輯(包括用于與可編程邏輯器件一起使用的可編程邏輯)，或者可以使用各種工具來(lái)進(jìn)行電子設(shè)計(jì)、捕獲、模擬或者做成文檔，所述工具包括計(jì)算機(jī)輔助設(shè)計(jì)(CAD)、硬件描述語(yǔ)言(例如，VHDL 或 AHDL)或 PLD 編程語(yǔ)言(例如，PALASM、ABEL 或 CUPL)。
權(quán)利要求
1.一種系統(tǒng)，所述系統(tǒng)用于同步未同步的編碼航空視頻數(shù)據(jù)與單獨(dú)地獲取的遙測(cè)數(shù)據(jù)以產(chǎn)生包含所述航空視頻數(shù)據(jù)的地圖，所述系統(tǒng)包括 遙測(cè)解析器，所述遙測(cè)解析器用于接收用戶定義的獲取時(shí)間段和遙測(cè)數(shù)據(jù)流，并且解析所述遙測(cè)數(shù)據(jù)流以定位在時(shí)間上接近或者位于所述用戶定義的獲取時(shí)間段內(nèi)的遙測(cè)數(shù)據(jù)，其中所述遙測(cè)數(shù)據(jù)流包括以某一采樣速率獲取的具有關(guān)聯(lián)的獲取時(shí)間的遙測(cè)數(shù)據(jù)； 視頻幀提取模塊，所述視頻幀提取模塊用于存取編碼航空視頻數(shù)據(jù)流，并且將所述編碼航空視頻數(shù)據(jù)流的一部分解碼為具有關(guān)聯(lián)的視頻幀數(shù)據(jù)時(shí)間的視頻幀，其中所述視頻幀在時(shí)間上接近或處于所述用戶定義的時(shí)間段內(nèi)； 同步模塊，所述同步模塊用于基于所述獲取時(shí)間和視頻幀數(shù)據(jù)時(shí)間同步所述要求的獲取時(shí)間段的所述視頻幀數(shù)據(jù)和所述遙測(cè)數(shù)據(jù)；以及 過(guò)濾器，所述過(guò)濾器用于產(chǎn)生額外的遙測(cè)數(shù)據(jù)，使得在所述要求的獲取時(shí)間段內(nèi)存在對(duì)應(yīng)于每個(gè)視頻幀的遙測(cè)數(shù)據(jù)。
2.如權(quán)利要求I所述的系統(tǒng)，所述系統(tǒng)進(jìn)一步包括 圖形用戶界面，所述圖形用戶界面輸出要求的獲取時(shí)間段的視頻數(shù)據(jù)以進(jìn)行顯示。
3.如權(quán)利要求I所述的系統(tǒng)，其中，解析所述編碼航空視頻數(shù)據(jù)流以基于一組在時(shí)間上接近或處于所述要求的時(shí)間段內(nèi)的視頻幀的展現(xiàn)時(shí)間戳來(lái)定位數(shù)據(jù)。
4.如權(quán)利要求I所述的系統(tǒng)，其中，以比用于所述視頻幀數(shù)據(jù)的采樣速率長(zhǎng)的速率對(duì)所述遙測(cè)數(shù)據(jù)進(jìn)行采樣。
5.如權(quán)利要求I所述的系統(tǒng)，所述系統(tǒng)進(jìn)一步包括 渲染模塊，所述渲染模塊用于產(chǎn)生地圖，其中所述視頻幀數(shù)據(jù)被從航空獲取平面空間變換到地圖平面，并且變換后的視頻幀數(shù)據(jù)被基于與所述視頻幀數(shù)據(jù)關(guān)聯(lián)的所述遙測(cè)數(shù)據(jù)插入到所述地圖中。
6.如權(quán)利要求I所述的系統(tǒng)，所述系統(tǒng)進(jìn)一步包括 存儲(chǔ)器，所述存儲(chǔ)器用于將所述遙測(cè)數(shù)據(jù)流存儲(chǔ)到遙測(cè)文件中，并且用于將所述編碼航空視頻數(shù)據(jù)流存儲(chǔ)到航空視頻文件中。
7.如權(quán)利要求I所述的系統(tǒng)，其中，所述遙測(cè)數(shù)據(jù)被編碼為關(guān)鍵字長(zhǎng)度值格式。
8.如權(quán)利要求I所述的系統(tǒng)，其中，所述遙測(cè)解析器解析第一已知關(guān)鍵字字節(jié)大小的數(shù)據(jù)并且將所述數(shù)據(jù)的第一部分和第二部分置于至少第一緩沖器和第二緩沖器中，所述遙測(cè)解析器針對(duì)第一部分關(guān)鍵字值檢查所述第一緩沖器內(nèi)的遙測(cè)數(shù)據(jù)，并且如果所述遙測(cè)數(shù)據(jù)表示有效部分關(guān)鍵字，則所述解析器針對(duì)第二部分關(guān)鍵字值檢查所述第二緩沖器中的所述遙測(cè)數(shù)據(jù)。
9.如權(quán)利要求I所述的系統(tǒng)，其中，所述視頻幀提取模塊將丟棄與沒(méi)有處于要求的時(shí)間范圍內(nèi)的展現(xiàn)時(shí)間戳關(guān)聯(lián)的任何MPEG編碼數(shù)據(jù)。
10.一種方法，所述方法用于基于要求的時(shí)間段解析來(lái)自存儲(chǔ)為關(guān)鍵字長(zhǎng)度值格式的遙測(cè)數(shù)據(jù)文件的遙測(cè)數(shù)據(jù)，所述方法包括 接收所述遙測(cè)數(shù)據(jù)文件的第一部分； 將所述遙測(cè)數(shù)據(jù)文件的所述第一部分與識(shí)別出的關(guān)鍵字進(jìn)行比較； 如果所述遙測(cè)數(shù)據(jù)文件的所述第一部分匹配所述識(shí)別出的關(guān)鍵字，則 識(shí)別與要求的關(guān)鍵字關(guān)聯(lián)的長(zhǎng)度；將所述遙測(cè)數(shù)據(jù)內(nèi)的時(shí)間戳與所述要求的時(shí)間段進(jìn)行比較； 如果所述時(shí)間戳在時(shí)間上接近或處于所述時(shí)間段內(nèi)，則基于識(shí)別出的關(guān)鍵字將長(zhǎng)度等于識(shí)別出的長(zhǎng)度的數(shù)據(jù)保存到數(shù)據(jù)庫(kù)結(jié)構(gòu)； 如果所述時(shí)間戳在時(shí)間上沒(méi)有接近或處于所述時(shí)間段內(nèi)，則丟棄與所述關(guān)鍵字關(guān)聯(lián)的所述遙測(cè)數(shù)據(jù)并且遞增到所述遙測(cè)數(shù)據(jù)文件的下一個(gè)字節(jié)的數(shù)據(jù)。
11.如權(quán)利要求10所述的方法，其中，用于保存為長(zhǎng)度等于所述識(shí)別出的長(zhǎng)度的數(shù)據(jù)的所述數(shù)據(jù)庫(kù)結(jié)構(gòu)包括地面位置的標(biāo)識(shí)。
12.如權(quán)利要求10所述的方法，其中，用于保存為長(zhǎng)度等于所述識(shí)別出的長(zhǎng)度的數(shù)據(jù)的所述數(shù)據(jù)庫(kù)結(jié)構(gòu)包括用于地面位置的經(jīng)度和緯度的識(shí)別符。
13.一種方法，所述方法用于同步遙測(cè)數(shù)據(jù)文件和單獨(dú)地獲取的編碼視頻文件，所述方法包括 將遙測(cè)數(shù)據(jù)文件的數(shù)據(jù)段接收到處理器中； 將所述遙測(cè)數(shù)據(jù)文件的所述數(shù)據(jù)段與識(shí)別出的關(guān)鍵字進(jìn)行比較； 如果所述遙測(cè)數(shù)據(jù)文件的所述數(shù)據(jù)段不匹配所述識(shí)別出的關(guān)鍵字，則 遞增到下一字節(jié)的數(shù)據(jù)并且重復(fù)接收和比較的步驟； 如果所述遙測(cè)數(shù)據(jù)文件的所述第一部分匹配所述識(shí)別出的關(guān)鍵字，則 識(shí)別與要求的關(guān)鍵字關(guān)聯(lián)的長(zhǎng)度識(shí)別符； 識(shí)別所述遙測(cè)數(shù)據(jù)內(nèi)的遙測(cè)時(shí)間戳； 如果所述遙測(cè)時(shí)間戳在時(shí)間上接近或處于用戶定義的時(shí)間段內(nèi)，則基于所述識(shí)別出的關(guān)鍵字將來(lái)自所述遙測(cè)數(shù)據(jù)文件的長(zhǎng)度等于識(shí)別出的長(zhǎng)度的數(shù)據(jù)保存到存儲(chǔ)器中的數(shù)據(jù)庫(kù)結(jié)構(gòu)； 如果所述遙測(cè)時(shí)間戳在時(shí)間上沒(méi)有接近或處于所述用戶定義的時(shí)間段內(nèi)，則丟棄與所述關(guān)鍵字關(guān)聯(lián)的所述遙測(cè)數(shù)據(jù)并且遞增到所述遙測(cè)數(shù)據(jù)文件的下一字節(jié)的數(shù)據(jù)，并且重復(fù)接收、比較、識(shí)別和保存的步驟； 接收編碼視頻文件的數(shù)據(jù)段； 對(duì)于所述編碼視頻數(shù)據(jù)文件的所述數(shù)據(jù)段內(nèi)識(shí)別出的每個(gè)展示時(shí)間戳，確定展示時(shí)間是否接近或處于所述用戶定義的時(shí)間段內(nèi)； 如果所述展現(xiàn)時(shí)間戳接近或處于所述用戶定義的時(shí)間段內(nèi)，則解碼視頻數(shù)據(jù)并且識(shí)別每個(gè)視頻幀的幀時(shí)間戳，并且將所述用戶定義的時(shí)間段內(nèi)的所述視頻幀保存到存儲(chǔ)器；基于所述用戶定義的時(shí)間段同步存儲(chǔ)在存儲(chǔ)器中的所述遙測(cè)數(shù)據(jù)與存儲(chǔ)在存儲(chǔ)器中的所述視頻幀；以及 將同步的遙測(cè)數(shù)據(jù)和對(duì)應(yīng)的視頻幀存儲(chǔ)到存儲(chǔ)器。
14.如權(quán)利要求13所述的方法，所述方法進(jìn)一步包括 基于所述同步的遙測(cè)數(shù)據(jù)對(duì)存儲(chǔ)在存儲(chǔ)器中的所述視頻幀進(jìn)行觀察坐標(biāo)系變換；以及 在顯示器上渲染進(jìn)行了觀察坐標(biāo)系變換的視頻幀和地圖。
15.一種方法，所述方法用于解析編碼視頻數(shù)據(jù)以定位具有要求的時(shí)間段的一個(gè)或多個(gè)視頻幀，所述方法包括 將編碼視頻數(shù)據(jù)接收到處理器中； 定位與展現(xiàn)時(shí)間戳關(guān)聯(lián)的近似時(shí)間戳；將所述近似時(shí)間戳與所述要求的時(shí)間段進(jìn)行比較 如果所述近似時(shí)間戳接近或處于所述要求的時(shí)間段內(nèi)，則解碼一組編碼視頻幀并且識(shí)別用于每個(gè)解碼的視頻幀的幀時(shí)間戳； 如果所述幀時(shí)間戳處于所述要求的時(shí)間段內(nèi)，則將關(guān)聯(lián)的幀和對(duì)應(yīng)的幀時(shí)間戳存儲(chǔ)到存儲(chǔ)器以供以后取回。
16.如權(quán)利要求15所述的方法，其中，所述編碼視頻數(shù)據(jù)被編碼為MPEG格式。
17.如權(quán)利要求15所述的方法，其中，所述近似時(shí)間戳是回放時(shí)間的估計(jì)并且與可識(shí)別范圍相關(guān)聯(lián)。
18.如權(quán)利要求15所述的方法，所述方法進(jìn)一步包括 從查找模塊接收所述要求的時(shí)間段，其中所述查找模塊接收地圖位置作為輸入，并且基于用于航空器的飛行路徑識(shí)別編碼視頻數(shù)據(jù)文件的所述要求的時(shí)間段，獲取所述編碼視頻數(shù)據(jù)文件。
19.如權(quán)利要求15所述的方法，其中，所述編碼視頻文件被編碼為MPEG-2格式。
全文摘要
提供了一種系統(tǒng)，該系統(tǒng)能解析遙測(cè)數(shù)據(jù)和對(duì)應(yīng)的編碼視頻數(shù)據(jù)，其中基于諸如時(shí)間戳的時(shí)間信息對(duì)遙測(cè)數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行同步。遙測(cè)數(shù)據(jù)和視頻數(shù)據(jù)最初是未同步的并且其數(shù)據(jù)是通過(guò)單獨(dú)的裝置分別獲取的。獲取裝置可以位于航空器內(nèi)或者附接到航空器。系統(tǒng)接收遙測(cè)數(shù)據(jù)流或文件和編碼視頻數(shù)據(jù)流或文件并且輸出一系列同步的視頻圖像和遙測(cè)數(shù)據(jù)。因此，存在與每個(gè)視頻圖像關(guān)聯(lián)的遙測(cè)信息?？梢砸圆煌谝曨l數(shù)據(jù)的速率獲取遙測(cè)數(shù)據(jù)。結(jié)果，可以對(duì)遙測(cè)數(shù)據(jù)進(jìn)行插值或外推以產(chǎn)生對(duì)應(yīng)于每個(gè)視頻圖像的遙測(cè)數(shù)據(jù)。本系統(tǒng)實(shí)時(shí)地進(jìn)行操作，從而能夠在地圖上顯示從航空器獲取的數(shù)據(jù)。
文檔編號(hào)H04N5/04GK102668534SQ201080044575
公開(kāi)日2012年9月12日 申請(qǐng)日期2010年10月15日 優(yōu)先權(quán)日2009年10月19日
發(fā)明者G·A·格林德斯塔夫, R·K·謝爾頓, S·G·惠特克, W·D·霍維爾 申請(qǐng)人:圖形科技公司