專利名稱：在地圖上可視化照相機饋入的制作方法
在地圖上可視化照相機饋入背景交通照相機饋入通過因特網(wǎng)將視頻圖像傳遞給用戶。這些饋入對于因特網(wǎng)用戶而 言正變得豐富和熟悉。在一實現(xiàn)中，向用戶呈現(xiàn)感興趣的地理區(qū)域的可用照相機饋入的陣列。每一饋入 可被表示為縮略圖像從而使得多個饋入可同時被查看。為了易于查看，用戶可選擇并放大 縮略圖像。在另一實現(xiàn)中，顯示較常規(guī)的地圖(例如，街道地圖)，其中街道和公路被表示為 線。該地圖還包括示出交通照相機的位置的圖標。用戶可點擊圖標中的一個來選擇交通照 相機并顯示其饋入。上述格式在有限程度上是有用的，但是它們還具有阻止其最大潛力被實現(xiàn)的缺 點。例如，要理解照相機正面對哪個方向或照相機正在記錄哪條街道對于觀察者而言可能 是困難的。使該問題復(fù)雜化的是照相機的方向可在一天期間動態(tài)地改變。同樣，可在不同 時間捕捉來自不同照相機的饋入，這使得要徹底了解來自饋入中的每一個的信息對于觀察 者而言是困難的。這些問題隨著交通照相機的數(shù)量的增加變的更加棘手。例如，在某些城 市中，使用數(shù)千個照相機來監(jiān)視街道。概述來自照相機的饋入通過將基于該饋入的圖像疊加到基于二維或三維虛擬地圖的 地圖上來更好地可視化。提供本概述是為了以簡化的形式介紹將在以下詳細描述中進一步描述的一些概 念。本概述并不旨在標識所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確 定所要求保護的主題的范圍。附圖簡述合并在本說明書中并形成其一部分的附圖示出了各實施例，并且與說明書一起用 于解釋各實施例的原理

圖1是視頻可視化系統(tǒng)的一個實施例的框圖。圖2示出被覆蓋到虛擬世界地圖上的視頻饋入。圖3示出被覆蓋到虛擬世界地圖上的告示牌。圖4A、4B和4C示出從視頻饋入中提取某些對象。圖5是用于可視化視頻饋入的方法的一個實施例的流程圖。圖6是用于校準攝像機的方法的一個實施例的流程圖。詳細描述以下本詳細描述的某些部分按照過程、邏輯塊、處理、和對計算機存儲器中的數(shù)據(jù) 位的操作的其它符號表示來呈現(xiàn)。這些描述和表示是數(shù)據(jù)處理領(lǐng)域的技術(shù)人員用來將其工 作的實質(zhì)最有效地傳達給本領(lǐng)域的其他技術(shù)人員的手段。在本申請中，過程、邏輯塊、處理 等被認為是導(dǎo)致所需結(jié)果的自相容的步驟或指令的序列。步驟是需要對物理量的物理操縱 的那些步驟。盡管并非必需，但這些物理量通常采用能夠在計算機系統(tǒng)中被存儲、傳輸、組合、比較、或以其它方式操縱的電或磁信號的形式。然而，應(yīng)當記住，所有這些和類似術(shù)語都應(yīng)與適當?shù)奈锢砹肯嚓P(guān)聯(lián)并且僅僅是應(yīng) 用于這些物理量的方便的標簽。如從以下討論中清楚的，除非具體地另外指明，否則可以理 解，貫穿本申請，利用諸如“訪問”、“疊加”、“呈現(xiàn)”、“對準”、“預(yù)測”、“關(guān)聯(lián)”、“覆蓋”、“模擬”、 “校準”、“顯示”、“接收”等術(shù)語的討論涉及計算機系統(tǒng)或類似的電子計算設(shè)備的動作和處 理，其操縱計算機系統(tǒng)的寄存器和存儲器中被表示為物理(電子)量的數(shù)據(jù)并將其變換成 計算機系統(tǒng)存儲器或寄存器或其他這樣的信息存儲、傳輸或顯示設(shè)備中類似地被表示為物 理量的其他數(shù)據(jù)。此處所描述的實施例可以在由一個或多個計算機或其它設(shè)備執(zhí)行的諸如程序模 塊等計算機可執(zhí)行指令的通用上下文中描述。一般而言，程序模塊包括執(zhí)行特定任務(wù)或?qū)?現(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)等。程序模塊的功能可按需在各實 施例中組合或分布。作為示例而非限制，計算機可用介質(zhì)可以包括計算機存儲介質(zhì)和通信介質(zhì)。計算 機存儲介質(zhì)包括以用于存儲諸如計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊之類的信息或其他 數(shù)據(jù)的任何方法或技術(shù)實現(xiàn)的易失性和非易失性、可移動和不可移動介質(zhì)。計算機存儲介 質(zhì)包括但不限于，隨機存取存儲器(RAM)、只讀存儲器(ROM)、電可擦可編程ROM(EEPROM)、 閃存或其它存儲器技術(shù)；壓縮盤ROM (CD-ROM)、數(shù)字多功能盤(DVD)或其它光盤存儲器；磁 帶盒、磁帶、磁盤存儲或其它磁性存儲設(shè)備；或能用于存儲所需信息的任何其它介質(zhì)。通信介質(zhì)能以諸如載波或其它傳輸機制等已調(diào)制數(shù)據(jù)信號來體現(xiàn)計算機可讀指 令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)，且包含任何信息傳遞介質(zhì)。術(shù)語“已調(diào)制數(shù)據(jù)信號” 指的是其一個或多個特征以在信號中編碼信息的方式被設(shè)定或更改的信號。作為示例而 非限制，通信介質(zhì)包括有線介質(zhì)，如有線網(wǎng)絡(luò)或直接連線連接，以及無線介質(zhì)，如聲學、射頻 (RF)、紅外線和其它無線介質(zhì)。上述的任意組合也應(yīng)包含在計算機可讀介質(zhì)的范圍內(nèi)。根據(jù)此處所描述的實施例，諸如交通照相機饋入等的一個或多個照相機饋入可在 單個地圖視圖中被可視化。照相機饋入可包括靜止或視頻圖像。在某種意義上，視頻包含 一系列靜止圖像。因此，盡管以下討論主要集中于視頻饋入，但該討論可被容易地擴展到包 括涉及一個或多個靜止圖像的情況。地圖可以是此處被稱為“虛擬地球”或“虛擬世界地圖”，或最一般地被稱為“虛擬 地圖”的二維(2D)或三維(3D)地圖。虛擬世界地圖可包括諸如道路和大樓等的人為特征 以及自然特征。虛擬世界地圖的示例是微軟 公司提供的Virtual Earth 3D 。一般而言， 虛擬世界地圖是地球的3D軟件模型或表示。即，3D模型擁有關(guān)于自然地形和任何人為特征 的3D數(shù)據(jù)。虛擬世界地圖可結(jié)合數(shù)字高程地圖(DEM)。還可為諸如房間和大樓內(nèi)部等的較 小規(guī)模的結(jié)構(gòu)產(chǎn)生虛擬地圖。盡管顯示屏幕是二維表面，但以3D呈現(xiàn)的地圖允許觀察者改變觀看視角和位置 而只有有限的失真。以下討論主要集中于3D地圖。2D呈現(xiàn)僅僅是3D呈現(xiàn)的特殊實例，并 且因此該討論可被容易地擴展至2D地圖。以下討論使用交通照相機饋入作為主要示例_如將要描述的，交通照相機饋入可 被集成到虛擬地圖中從而使得汽車等的移動相對于虛擬地圖的背景幕被可視化。然而，此 處所描述的實施例不限于此并且可被用于除監(jiān)視交通之外的其他應(yīng)用。例如，以下討論可被容易地擴展至可視化沿著人行道或大樓內(nèi)的行人的移動，或者可視化在工廠的生產(chǎn)樓層 上的物體和人的移動。在虛擬地圖上可視化照相機饋入需要將該饋入與地圖的特征對準。例如，為了在 地圖上可視化來自交通照相機的饋入，將交通與地圖的街道布局對準。在虛擬地圖上可視 化照相機饋入提供關(guān)于該照相機正指向哪里以及該照相機正覆蓋什么道路的上下文。在同 時可視化多個饋入時，還可在時間上對準這些饋入。在單個視圖中呈現(xiàn)饋入允許用戶更快 地理解每一照相機饋入所提供的覆蓋面。用戶還可理解各照相機饋入之間的關(guān)系，這允許 用戶推斷起因和影響并且內(nèi)插關(guān)于相鄰照相機未覆蓋的區(qū)域的信息。例如，如果一照相機 示出交通事故并且相鄰照相機示出交通擁堵，則用戶能夠推斷該擁堵是由該事故引起的， 并且照相機之間的路段也是擁堵的。圖1是實現(xiàn)以上的視頻可視化系統(tǒng)100的一個實施例的框圖。系統(tǒng)100的各方面 可被實現(xiàn)為存儲在計算機可讀介質(zhì)上的計算機可執(zhí)行組件。在圖1的示例中，系統(tǒng)100包括視頻捕捉組件110、視頻成像組件120、虛擬地圖建 模組件130、以及視頻可視化組件140。盡管這些組件被表示為獨立元件，但它們可以不按 照這樣來實現(xiàn)。一般而言，系統(tǒng)100提供要描述的功能，并且該功能可在單個設(shè)備上或計算 機系統(tǒng)上或分布在多個設(shè)備/計算機系統(tǒng)上使用單個功能元件或多個功能元件來實現(xiàn)。視頻捕捉組件110接收并處理來自一個或多個攝像機(未示出)的饋入。例如， 視頻捕捉組件110可數(shù)字化和/或編碼(壓縮)攝像機所捕捉的視頻圖像。視頻捕捉組件 110可在攝像機中的每一個上實現(xiàn)。在圖1的示例中，視頻成像組件120接收并處理(例如，解碼)來自視頻捕捉組件 110的饋入。視頻成像組件120可執(zhí)行其他類型的處理；參考以下討論，諸如圖4A-4C的討 論，可找到可被執(zhí)行的某些其他類型的處理的示例。繼續(xù)參考圖1，虛擬地圖建模組件130生成2D或3D虛擬地圖。視頻可視化組件 140組合視頻成像組件120的輸出和虛擬地圖建模組件130并呈現(xiàn)該結(jié)果。一般而言，視頻 可視化組件140將來自一個或多個照相機的饋入與基于虛擬地圖的2D或3D地圖相集成， 并呈現(xiàn)所得的集成饋入/地圖。換言之，視頻可視化組件140將視頻幀剪切粘貼到從3D虛 擬地圖中導(dǎo)出的地圖中。為了在地圖上正確地可視化每一饋入，每一照相機與地圖對準。照相機可以通過 將其視頻饋入中的特征與地圖中的對應(yīng)特征對準來對準到地圖。例如，交通照相機饋入一 般包括在道路上移動的車輛；為了對準交通照相機和地圖，該視頻中的道路被映射到地圖 中的對應(yīng)道路并與其對準。因此，包含在該視頻中的車輛也被正確地在地圖內(nèi)放置并定向。照相機和地圖的對準可以是手動的、自動的、或其兩者的組合。全手動對準涉及在 視頻和地圖中指定各對應(yīng)點。指定的點越多，對準越好。該對應(yīng)關(guān)系使得能夠計算將視頻 的幀映射到地圖的正確部分的扭曲函數(shù)。全自動對準可通過將視頻中的特征匹配到地圖中 的特征并隨后對準這些特征來實現(xiàn)。手動和自動對準技術(shù)的組合可用于實現(xiàn)兩種類型的技術(shù)的優(yōu)點同時避免其某些 缺點。第一，各對應(yīng)點可手動地來指定以校準照相機的內(nèi)部參數(shù)(例如，焦距、主點、和歪 斜)以及照相機的初始位置和方向。第二，視頻中的特征可使用低級視覺技術(shù)來計算并且 隨后用于按需自動重新對準照相機。結(jié)合圖6提供附加信息。手動和自動技術(shù)的組合避免與全手動技術(shù)相關(guān)聯(lián)的某些乏味工作以及人為錯誤；相反，手動動作被限于初始對準，因為 后續(xù)對準被自動地執(zhí)行。技術(shù)的組合也比全自動技術(shù)更穩(wěn)健。例如，如果正依賴于視頻中 的特定特征來對準，但是地圖上缺少該特征，則對準的嘗試在沒有人為干預(yù)的情況下很有 可能失敗。在照相機的初始對準之后，該照相機可被有意地或因為諸如風等的影響而移動。 如果照相機移動，則可再次手動地指定視頻中的點和地圖中的點之間的對應(yīng)關(guān)系以進行彌 補?；蛘撸撜障鄼C可如上所述地被自動重新對準。圖2示出被覆蓋到虛擬世界地圖200的區(qū)域220上的圖像(例如，視頻)幀210。 盡管對象(例如，車輛、樹、大樓和道路)以卡通狀的形式在圖2中示出，但在實際實踐中這 些對象被更真實地呈現(xiàn)。在實際實踐中，視頻的質(zhì)量決定幀210內(nèi)的對象的質(zhì)量，而幀210 以外的對象一般具有照片質(zhì)量，例如在Virtual Earth 3D 中。利用諸如系統(tǒng)100 (圖1)等的視頻可視化系統(tǒng)，幀210被照相機(例如，交通照相 機)捕捉并被集成到地圖200中。幀210表示在特定時間點上照相機的視野內(nèi)的區(qū)域的圖 像。如圖2的示例所示，幀210本質(zhì)上被嵌入(覆蓋或疊加)到地圖200中。S卩，幀210被 粘貼到地圖200的區(qū)域220中，而地圖200的剩余部分用于填充圍繞區(qū)域220的區(qū)域。如 上所述，照相機和地圖200可被校準從而使得每一幀在地圖顯示中被正確地放置和正確地 定向。連續(xù)(視頻)幀可按照類似的方式被覆蓋到地圖200上從而使得觀察者將看見例 如，在區(qū)域220內(nèi)交通的移動。本質(zhì)上，動態(tài)信息(視頻饋入)被集成到構(gòu)成地圖200的靜 態(tài)圖像中。從而向觀察者提供例如實際交通狀況的精確表示。此外，如果有多個覆蓋地圖200的顯示部分所涵蓋的地理區(qū)域的照相機，則來自 這些照相機的幀可類似地被覆蓋到地圖的對應(yīng)區(qū)域上。照相機中的每一個可與地圖200校 準從而使得其各自的視頻在地圖顯示中被正確地放置和正確地定向。如果任何照相機的位置從其初始位置改變，則該照相機如上所述地被重新校準 (重新對準)。因此，其饋入將在地圖200中的不同點處被可視化，從而使得重新定位的照 相機所捕捉的視頻將仍舊正確地與地圖的其他特征對準。換言之，區(qū)域220與特定照相機 相關(guān)聯(lián)；如果該照相機被移動，則區(qū)域220也將被移動以進行匹配。照相機饋入可按照與剛才所描述的不同方式來可視化。另一種可視化照相機饋入 的方式是將視頻呈現(xiàn)為被疊加到虛擬世界地圖上的“告示牌”上的帶動畫的紋理。圖3示 出被覆蓋到地圖300上的告示牌310。如上所述，對象以卡通狀的形式在圖3中示出，但在 實際實踐中這些對象被更真實地呈現(xiàn)。告示牌310是平面和矩形的(盡管在透視地查看時其表現(xiàn)為非矩形)并且按照上 述方式被對準到地圖300的特征(例如，道路)。動畫中的每一紋理播放來自視頻的一幀從 而使得效果是例如交通表現(xiàn)為沿著告示牌310移動。如圖2的示例所示，告示牌310與地 圖300的對準是相對直接的，并且向觀察者提供例如實際交通狀況的準確表示。對以上方案的替換是使用包括道路布局的數(shù)字高程地圖(DEM)來提供原本使用 告示牌可能不明顯的3D效果。在某種意義上，照相機可被認為是將其“幻燈片”(幀)投影 到DEM上的幻燈片投影儀，從而創(chuàng)建了視頻中的對象(例如，交通)正沿著DEM的輪廓行進 的效果。所得顯示將與圖2所示的類似。使用DEM的另一個優(yōu)點是如果照相機改變方向，則視頻饋入仍然可被可視化而只有有限的失真。來自攝像機的饋入包括用戶可能具有有限興趣的信息。例如，當觀察者只對道路 上的交通量感興趣時，交通照相機可捕捉道路周圍環(huán)境的細節(jié)。為解決這一問題，背景可從 視頻饋入中被移除從而使得例如只留下交通。實現(xiàn)這個的一種方式是只提取視頻中正在移 動的那些對象。為此，確定在一段時間內(nèi)視頻中的每一像素的中值。隨后，從視頻的每一幀 中的對應(yīng)像素值中減去每一每像素中值來產(chǎn)生只示出移動對象的阿爾法遮片。圖4A、4B和4C示出從視頻饋入中提取某些對象。如上示例所述，對象以卡通狀的 形式示出，但在實際實踐中這些對象被更真實地呈現(xiàn)。圖4A示出中值圖像400。圖4B示出 典型幀410。圖4C示出阿爾法遮片圖像420的一幀。阿爾法遮片圖像420隨后可按照與上 述類似的方式被疊加到虛擬世界地圖或DEM上。所得顯示將與圖2所示的類似。可使用其他方法來從視頻饋入中提取對象。例如，可訓(xùn)練分類器來識別汽車和其 他類型的交通。分類器的使用可提高計算復(fù)雜度，但它還允許識別非移動對象(例如，停止 在交通中的汽車)并從視頻饋入中提取非移動對象。對剛才所描述的方法的擴展是用所提取的對象的抽象或模擬來替代該對象。例 如，可在地圖上顯示模擬的來自交通饋入的車輛而非呈現(xiàn)如結(jié)合圖4A-4C所描述的該車輛 的實際圖像。本質(zhì)上，阿爾法遮片顯示420中的車輛被車輛的合成表示替代。更具體地， 阿爾法遮片顯示420中的對象中的每一個的位置和速度可被逐幀跟蹤以計算每一對象相 對于時間的位置。只需要將每一對象的位置從視頻成像組件120發(fā)送到視頻可視化組件 140 (圖1)，這降低了帶寬要求。所得顯示將與圖2或圖3所示的類似，但現(xiàn)在在區(qū)域220 或告示牌310內(nèi)的對象將可能是卡通狀的，盡管可使用更詳細的模擬。除降低帶寬要求之外，模擬對象的使用具有多個其他優(yōu)點。跟蹤每一對象相對于 時間的位置允許該對象的位置被外插到照相機的視野之外的區(qū)域。同樣，對象的呈現(xiàn)被標 準化(模擬)，并且因此獨立于照相機分辨率、光照條件、物體離照相機的距離、以及其他影 響。此外，照相機饋入的可視化較能容忍照相機的未對準導(dǎo)致的噪聲。包括視頻饋入的地圖可以是更大的顯示的一部分。例如，地圖/饋入可視化可伴 有提供諸如統(tǒng)計數(shù)據(jù)、交通概述、天氣狀況、到其他網(wǎng)站的鏈接等附加信息的文本，包括符 號、數(shù)字和其他圖像。此外，這些信息可被疊加到地圖上。同樣，這些信息可在被疊加到地 圖上之前被添加到視頻饋入中。一般而言，可在地圖邊界的或地圖本身內(nèi)部的顯示區(qū)域中 呈現(xiàn)附加信息。圖5是總結(jié)用于可視化視頻饋入的方法的一個實施例的流程圖500。圖6是用于 將攝像機校準到虛擬地圖的方法的一個實施例的流程圖600。雖然在流程圖500和600中 公開了各具體步驟，但這些步驟是示例性的。即，可執(zhí)行各種其他步驟或在流程圖500和 600中列舉的各步驟的變型。流程圖500和600中的步驟可按照與所呈現(xiàn)的不同的次序來 執(zhí)行。此外，流程圖500和600所描述的各實施例的特征可單獨使用或彼此結(jié)合使用。在 一實施例中，流程圖500和600可被實現(xiàn)為存儲在計算機可讀介質(zhì)上的計算機可執(zhí)行指令。首先參考圖5，在框502中，向用戶呈現(xiàn)可用照相機饋入的陣列。在框504中，用戶 選擇照相機饋入中的一個或多個。在框506中，例如由圖1的視頻可視化組件140訪問并 接收所選饋入。在框508中，視頻可視化組件140還訪問虛擬地圖。在框510中，將所選視 頻饋入疊加到虛擬地圖上并且顯示該結(jié)果。更具體地，取決于用戶的選擇，一個或多個饋入可相對于2D或3D背景同時被可視化。提供在以上圖2、3和4A-4C的討論中的附加信息?，F(xiàn)在參考圖6，在框602中，將來自照相機的視頻饋入手動地與地圖的3D幾何結(jié)構(gòu) 對準。確定照相機的內(nèi)部參數(shù)(諸如其焦距、主點、以及歪斜)以及其他參數(shù)(諸如照相機 的定向)。例如，用戶(不一定是最終用戶，但可能是諸如系統(tǒng)管理員等的用戶)可交互地 將來自饋入的圖像(例如，幀)校準(“地理定位”)到與地圖相關(guān)聯(lián)的已知3D幾何結(jié)構(gòu)。 本質(zhì)上，照相機的實際(真實世界)位置被映射到3D地圖模型中的位置。在框604中，使用校準和低級視覺技術(shù)來自動地更新照相機的參數(shù)，這些參數(shù)可 由于例如風影響或照相機的排定旋轉(zhuǎn)而改變。對于交通照相機饋入，使用低級視覺技術(shù)來 確定饋入中示出的交通流的大致方向(“交通向量”)。與3D地圖模型相關(guān)聯(lián)的是標識例 如照相機正觀察的道路的方向(“道路向量”)的元數(shù)據(jù)。照相機饋入最初可通過對準交通 向量和道路向量來與地圖中的道路對準。隨著照相機移動，可計算將道路和交通向量對準 的照相機位置的增量變換，從而使得饋入中的交通流與地圖中的道路對準。例如，照相機可每10分鐘旋轉(zhuǎn)10度以產(chǎn)生道路的全景，對于該全景，有3D道路向 量數(shù)據(jù)可用。照相機可相對于給定時刻的一幀被校準。隨著照相機旋轉(zhuǎn)，未知的一點是其旋 轉(zhuǎn)角度。通過計算圖像中的光流(交通向量)，還可確定圖像中的道路的方向(圖像中的道 路的方向?qū)?yīng)于交通向量)。當3D道路向量數(shù)據(jù)被投影到圖像上時，檢測預(yù)測道路向量和 光流之間的由上述旋轉(zhuǎn)引起的未對準。隨后可確定最佳地或至少滿意地將預(yù)測道路向量與 所測量的光流對準的照相機旋轉(zhuǎn)量。在照相機具有已知位置但未知定向時，找到將預(yù)測道 路向量與所測量的光流對準的照相機旋轉(zhuǎn)量的這一技術(shù)可用于自動地找到照相機的定向。例如，如果在圖像中有多于兩條道路，尤其是如果這些道路形成匯合處，則有助于 照相機校準。同樣，除道路之外的地標可用于執(zhí)行校準。一般而言，已知3D幾何結(jié)構(gòu)對應(yīng) 于已知2D特征(例如，圖像中交通的光流)以自動地更新(重新對準)照相機的位置?？傊?，來自照相機的饋入通過將基于該饋入的圖像疊加到基于3D虛擬地圖的2D 或3D地圖上被更好地可視化。因此，饋入保留其地理上下文，這使得用戶更容易理解照相 機正指向哪個方向以及它們正在記錄哪些物體(例如，街道)。此外，用戶可更快地理解一 照相機饋入與另一照相機饋入的關(guān)系。在上述說明書中，已參考在各實現(xiàn)之間變化的眾多具體細節(jié)描述了各實施例。由 此，關(guān)于本發(fā)明是什么以及申請人打算將什么內(nèi)容作為本發(fā)明的單獨且排他的指示符是從 本申請中提出的一組權(quán)利要求，該組權(quán)利要求采用提出這些權(quán)利要求的特定形式并包括任 何后續(xù)修改。因此，未在權(quán)利要求書中明確陳述的限制、元素、特性、特征、優(yōu)點或?qū)傩远疾?應(yīng)以任何方式來限制這一權(quán)利要求書的范圍。從而，說明書和附圖應(yīng)在說明性而非限制的 意義上來看待。
權(quán)利要求
一種具有計算機可執(zhí)行組件的計算機可讀介質(zhì)(100)，包括虛擬地圖模型(130)；耦合到所述虛擬地圖模型的視頻圖像生成器(120)，所述視頻圖像生成器用于基于從第一照相機接收的第一視頻饋入來生成第一圖像；以及耦合到所述虛擬地圖模型和所述視頻圖像生成器的可視化模型(140)，其中所述可視化模型用于將所述第一圖像覆蓋到從所述虛擬地圖模型生成的地圖上。
2.如權(quán)利要求1所述的計算機可讀介質(zhì)，其特征在于，所述第一視頻饋入包括行進在 道路上的車輛的圖像，并且所述地圖包括至少所述道路的圖像，其中所述可視化模型用于 將所述車輛的圖像與所述道路的所述圖像對準。
3.如權(quán)利要求1所述的計算機可讀介質(zhì)，其特征在于，所述視頻圖像生成器還用于基 于從第二照相機接收的第二視頻饋入來生成第二圖像，其中所述可視化模型還用于將所述 第二圖像覆蓋到所述地圖上，其中所述第一圖像和所述第二圖像在時間上對準。
4.如權(quán)利要求1所述的計算機可讀介質(zhì)，其特征在于，所述第一圖像被呈現(xiàn)為被疊加 到所述地圖上的告示牌上的帶動畫的紋理。
5.如權(quán)利要求1所述的計算機可讀介質(zhì)，其特征在于，所述地圖包括數(shù)字高程地圖 (DEM)并且所述第一視頻饋入被投影到所述DEM上。
6.如權(quán)利要求1所述的計算機可讀介質(zhì)，其特征在于，只有來自所述第一視頻饋入的 移動對象被覆蓋到所述地圖上。
7.如權(quán)利要求1所述的計算機可讀介質(zhì)，其特征在于，所述第一圖像包括在所述第一 視頻饋入中的對象的模擬，所述模擬用于替代所述對象的實際圖像。
8.如權(quán)利要求1所述的計算機可讀介質(zhì)，其特征在于，所述計算機可執(zhí)行組件還包括 用于使用與所述地圖相關(guān)聯(lián)的元數(shù)據(jù)和基于所述第一視頻饋入的信息來校準所述第一照 相機的校準模型。
9.一種在計算機系統(tǒng)中的可視化視頻饋入的方法(500)，所述計算機系統(tǒng)具有包括顯 示器和用戶選擇設(shè)備的圖形用戶界面，所述方法包括(502)顯示標識多個攝像機饋入的信息，所述多個攝像機饋入包括來自在第一位置處 的第一攝像機的第一攝像機饋入；(504)接收標識所述第一攝像機饋入的選擇；以及(510)顯示基于所述第一攝像機饋入的第一圖像，其中所述第一圖像被疊加到涵蓋所 述第一位置的虛擬地圖上。
10.如權(quán)利要求9所述的方法，其特征在于，所述第一攝像機饋入包括行進在道路上的 車輛的圖像，并且所述虛擬地圖包括所述道路的圖像，其中所述方法還包括將所述車輛的 圖像與所述道路的所述圖像對準。
11.如權(quán)利要求9所述的方法，其特征在于，還包括接收標識來自在第二位置處的第二攝像機的第二攝像機饋入的選擇；以及顯示基于所述第二攝像機饋入的第二圖像，其中所述第二圖像被疊加到所述虛擬地圖 上，所述第一圖像與所述第二圖像相對于時間對準。
12.如權(quán)利要求9所述的方法，其特征在于，還包括與所述顯示所述第一圖像同時顯示 基于文本的信息。
13.如權(quán)利要求9所述的方法，其特征在于，所述地圖顯示包括數(shù)字高程地圖(DEM)，并 且所述方法還包括將所述第一饋入投影到所述DEM上。
14.如權(quán)利要求9所述的方法，其特征在于，還包括只將來自所述第一饋入的移動對象 呈現(xiàn)到所述地圖顯示上。
15.如權(quán)利要求9所述的方法，其特征在于，所述第一圖像包括在所述第一饋入中的對 象的模擬，所述模擬用于替代所述第一照相機所拍攝的所述對象的實際圖片。
全文摘要
來自照相機的饋入通過將基于該饋入的圖像疊加到基于二維或三維虛擬地圖的地圖上來更好地可視化。例如，交通照相機饋入可與包括在地圖中的道路對準。多個視頻可與地圖中的多條道路對準并且還可在時間上對準。
文檔編號G06T17/00GK101978394SQ200980110106
公開日2011年2月16日 申請日期2009年2月16日 優(yōu)先權(quán)日2008年3月19日
發(fā)明者B·陳, E·奧費克 申請人:微軟公司