專利名稱：用于交通攝影機的具有額外的視點和增強的分辨率的仿真視頻的制作方法
用于交通攝影機的具有額外的視點和增強的分辨率的仿真視頻
背景技術：
隨著數(shù)據(jù)網(wǎng)絡的增加的部署和使用，用于各種目的的視頻饋送已經(jīng)成為許多人的日常體驗的一個常見方面。視頻饋送的其中一項應用包括交通攝影機。在許多城市和其他場所中，來自交通攝影機的視頻可供個人通過因特網(wǎng)或其他聯(lián)網(wǎng)手段來觀看。出行者可以在離家或下班之前通過檢查交通攝影機來察看交通狀況，并且相應地計劃其路線。隨著車載計算機系統(tǒng)變得更加普遍，甚至駕駛員(在安全的情況下)可以通過攝影機檢查前方的交通情況并且在必要時更改其路線。典型的交通攝影機是沿著道路設置的，并且指向一個方向。此外，出于實用的原因，大多數(shù)交通攝影機是低分辨率攝影機，其無法顯示出攝影機遠處的背景或汽車的細節(jié)。因此，觀看者通過察看交通攝影機的視頻饋送所能獲得的信息有限。舉例來說，遠處的汽車是模糊的，并且他們只能看到駛向攝影機或駛離攝影機的汽車而無法對于同一條車道同時 看到駛向及駛離攝影機的汽車等等。

發(fā)明內容
提供本發(fā)明內容是為了以簡化形式介紹將在后面的詳細描述部分中進一步描述的概念的選擇。本發(fā)明內容不旨在排他性地標識出所要求保護的主題的關鍵特征或必要特征，也不旨在幫助確定所要求保護的主題的范圍。實施例是針對利用來自低幀率、低分辨率、單方向交通攝影機的視頻輸入提供仿真的高幀率、高分辨率、多視圖的交通視頻圖像。根據(jù)一些實施例，可以把所接收到的視頻與來自預先捕獲的圖像的數(shù)據(jù)庫和/或時間上偏移的視頻的補片進行融合從而創(chuàng)建更高質量的視頻以及對應于相同攝影機的多個視點。根據(jù)其他實施例，可以對于諸如保安攝影機、監(jiān)測攝影機以及類似的攝影機之類的其他類型的攝影機應用視頻分辨率增強和多視點創(chuàng)建。通過閱讀下面的詳細描述以及查閱相關聯(lián)的附圖，這些和其他特征和優(yōu)點將變得顯然。應當理解的是，前面的一般性描述和后面的詳細描述都是示例性的，而不限制所要求保護的各個方面。


圖I是示出具有交通攝影機的道路的概念圖，其中可以采用根據(jù)實施例的視頻分辨率增強和多視點創(chuàng)建；
圖2示出了具有用于根據(jù)實施例的交通攝影機的增強的分辨率和多個視點的另一條道路；
圖3示出了用于創(chuàng)建具有多個視點的仿真交通視頻的系統(tǒng)的框 圖4示出了用于創(chuàng)建具有多個視點的仿真交通視頻的系統(tǒng)的框 圖5是可以在其中實施根據(jù)實施例的系統(tǒng)的聯(lián)網(wǎng)環(huán)境；圖6是可以在其中實施實施例的示例性計算操作環(huán)境的框圖；以及圖7示出了根據(jù)實施例的基于來自低分辨率、單方向交通攝影機的輸入提供增強分辨率和多視點視頻的過程的邏輯流程圖。
具體實施例方式正如前面簡要地描述的那樣，可以基于來自低分辨率、單方向交通攝影機的視頻饋送創(chuàng)建仿真的高分辨率、多視圖的交通視頻圖像。可以把所接收到的視頻與來自預先捕獲的圖像的數(shù)據(jù)庫和/或時間上偏移的視頻的補片(patch)進行融合，從而創(chuàng)建更高質量的視頻以及對應于相同攝影機的多個視點。在下面的詳細描述中將參照構成本說明書的一部分的附圖，其中通過說明的方式示出了具體的實施例或實例。在不背離本公開的精神或范圍的情況下，可以組合這些方面，可以利用其他方面并且可以進行結構上的改變。因此不應按照限制的意義來理解下面的詳細描述，并且本發(fā)明的范圍由所附權利要求書及其等價物限定。
雖然將在結合運行于個人計算機上的操作系統(tǒng)上的應用程序執(zhí)行的程序模塊的一般情境中描述實施例，但是本領域技術人員將認識到還可以與其他程序模塊相組合來實施各個方面。一般來說，程序模塊包括施行特定任務或者實施特定抽象數(shù)據(jù)類型的例程、程序、組件、數(shù)據(jù)結構和其他類型的結構。此外，本領域技術人員將領會，可以利用其他計算機系統(tǒng)配置來實踐實施例，其中包括手持式設備、多處理器系統(tǒng)、基于微處理器的或者可編程消費電子裝置、小型計算機、大型計算機以及類似的計算設備。還可以在分布式計算環(huán)境中實踐實施例，其中由通過通信網(wǎng)絡鏈接的遠程處理器設備施行各項任務。在分布式計算環(huán)境中，可以把程序模塊同時放置在本地和遠程存儲器存儲設備中?？梢园褜嵤├龑嵤橛嬎銠C實施的過程(方法)、計算系統(tǒng)或制造品，比如計算機程序產品或計算機可讀介質。計算機程序產品可以是可由計算機系統(tǒng)讀取并且編碼計算機程序的計算機存儲介質，所述計算機程序包括用于使得計算機或計算系統(tǒng)施行(多個)示例性過程的指令。計算機可讀存儲介質可以例如通過以下各項當中的一項或更多項來實施易失性計算機存儲器、非易失性存儲器件、硬盤驅動器、閃存驅動器、軟盤或緊致盤以及類似的介質。在本說明書中，術語“平臺”可以是用于管理視頻捕獲、處理和傳輸操作的軟件與硬件組件的組合。平臺的例子包括(但不限于)在多個服務器上執(zhí)行的托管服務、在單個服務器上執(zhí)行的應用以及類似的系統(tǒng)。術語“服務器”通常指的是典型地在聯(lián)網(wǎng)環(huán)境中執(zhí)行一個或更多軟件程序的計算設備。但是服務器還可以被實施為在一個或更多計算設備(其在網(wǎng)絡上被視為服務器)上執(zhí)行的虛擬服務器(軟件程序)。術語“低分辨率”和“高分辨率或增強的分辨率”被使用來區(qū)分傳統(tǒng)攝影機系統(tǒng)的所捕獲視頻質量與根據(jù)這里的實施例生成的仿真視頻。作為一個具體例子，視頻分辨率的范圍可以處于大約480*640像素到4800*6400像素之間，并且傳統(tǒng)的交通攝影機可能能夠捕獲朝向所述范圍的低端的分辨率，而根據(jù)實施例的仿真視頻則可以朝向所述范圍的更高端增強分辨率。但是在不背離所公開的主題的精神和范圍的情況下可以使用其他分辨率。圖I包括示出了具有交通攝影機的道路的概念圖100，其中可以采用根據(jù)實施例的視頻分辨率增強和多視點創(chuàng)建。如圖100中所示，處于道路102上的固定位置處的交通攝影機110是捕獲駛近攝影機的汽車106和112的視頻的單方向攝影機。駛離攝影機的汽車108不再處于攝影機的視點中。實際上可能根本無法看到經(jīng)過攝影機的任何汽車。此外，常見的交通攝影機典型地是低分辨率攝影機(這典型地是為了減少將要通過把攝影機連接到視頻處理系統(tǒng)的網(wǎng)絡所輸送的視頻數(shù)據(jù)的量)。因此，當汽車112處于攝影機附近時可以捕獲其細節(jié)，但是汽車106在所捕獲的視頻中可能看起來是模糊的?？梢栽诶缃徊媛房?104之類的特定位置設立多個攝影機。但是處在道路的筆直部分上的攝影機的數(shù)目和覆蓋范圍典型地受到限制。即使在具有多個攝影機的交叉路口處，攝影機也不會覆蓋所有角度，并且由于攝影機的分辨率的緣故，仍然會發(fā)生圖像質量隨著距離降低。根據(jù)實施例的一種系統(tǒng)被配置成在交通饋送中通過合成方式創(chuàng)建汽車的高分辨率視圖以及/或者從不同視點觀看這些汽車。前者可以通過利用攝影機饋送的不同時間下的像素建立圖像模擬來實現(xiàn)，后者可以通過預先捕獲的影像數(shù)據(jù)庫來實現(xiàn)。對于所述數(shù)據(jù) 庫，可以收集包含汽車的前方、后方和/或其他視圖在內的影像?？梢酝ㄟ^跨越多個交通攝影機跟蹤汽車、從制造商數(shù)據(jù)庫接收圖像以及類似的方法來獲得圖像。輸入攝影機饋送不是單個圖像而是在足夠高的頻率下捕獲的一系列圖像，以便在沿著道路的多個實例處(例如在遠、中和近之類的預定義距離范圍下)觀察相同的汽車。此外，觀看體驗不需要是實時的。觀看者可以察看緩沖的或者延遲的(例如幾秒鐘)視頻。所述延遲可以被用來處理視頻以供視覺化(例如從“未來”的幀借用像素)。為了從不同的視點顯示來自某一交通攝影機的輸入，可以使用來自不同角度的各個汽車的圖像來創(chuàng)建對應于不同視點的仿真汽車圖像。可以通過在正投影地圖上疊加或者從人類尺度泡泡顯示數(shù)據(jù)，從而從不同的視點看向道路。當把交通視頻投影在幾何結構上時，隨著觀看者看向攝影機的更遠處可以看到汽車的視頻質量的降低(其在圖100中由汽車106的模糊圖像表示)。但是在攝影機遠處顯示的每一輛車當其更靠近攝影機時被顯示在更高細節(jié)下(對于正在駛離攝影機的汽車)，或者在幾秒鐘內當其將要更接進攝影機時被顯示在更高細節(jié)下(對于正在駛近攝影機的汽車)。圖2示出了具有根據(jù)實施例的交通攝影機的增強的分辨率和多個視點的另一條道路。為了在比所捕獲的分辨率更高的分辨率下再現(xiàn)模糊的(遠距離)汽車，根據(jù)一些實施例可以使用相同汽車的早前更接近攝影機時捕獲的或者隨著其駛近攝影機而將被捕獲的更高分辨率圖像。換句話說，可以從附近的汽車圖像“借用”像素并且傳送到在時間上處于過去或將來的遠距離汽車圖像。對于看“向未來”，可以把視頻延遲一個預定義時間段，以便借用附近汽車的像素從而仿真遠距離汽車的更高分辨率。在圖200中，遠處汽車的增強分辨率由正在駛近的汽車222、224和226的清晰圖像表示。汽車226已經(jīng)處于攝影機210附近，并且可能不需要其圖像增強。汽車224處于攝影機的中距離處，并且可能需要通過使用來自時間偏移的(未來)幀的像素來略微增強其圖像。汽車222處于遠距離處。與汽車224相比可能需要更多地增強其圖像?？梢詮奶幱跀z影機附近時的(多輛)汽車的一幀或更多幀選擇像素，隨后將其與實際圖像融合以便創(chuàng)建遠距離汽車的更高分辨率圖像。正如前面所討論的那樣，傳統(tǒng)的交通攝影機的另一處限制在于其被固定到一個位置和一個方向。這就使得不可能通過單個攝影機從另一個方向或另一個視點觀看交通。根據(jù)其他實施例的一種系統(tǒng)利用交通的對稱性來仿真相反方向上的交通視圖。換句話說，在一個點處觀看的交通在相反視點處必然是在相反方向上行進。再現(xiàn)這樣的視圖的挑戰(zhàn)包括在相反視點處可見的汽車的隱藏部分(例如汽車228的后方)。為了在不同于攝影機方向模型的其他方向上再現(xiàn)汽車的仿真圖像，可以使用汽車的模型而不是視頻來對其進行再現(xiàn)。雖然這種方法可能有其優(yōu)點，比如再現(xiàn)可見截錐體之外的汽車以及多方向觀看，但是所再現(xiàn)的視頻看起來一定是人為的。為了生成對于仿真交通視頻的基于逼真圖像的再現(xiàn)，可以基于來自所收集的圖像數(shù)據(jù)庫的真實圖像使用汽車的其他角度。舉例來說，可以確定即將到來的汽車的類型和顏色并且從所收集的影像數(shù)據(jù)庫獲取相同汽車的其他視圖(例如后方)。隨后可以利用即將到來的汽車的速度作為參考，使用所獲取的(多幅)圖像一起融合成相反方向上的仿真視頻流。在圖200中，在不同于攝影機方向的其他方向上生成仿真視頻由交通攝影機210的虛擬旋轉230表示。實際上，來自各個角度(例如前方、側面、后方)的汽車視圖可以被使用來生成多個仿真視頻，并且可以允許用戶“虛擬地”旋轉攝影機從而在不同角度下觀看交·通流。攝影機210可以是通過有線或無線(例如射頻“RF”、光學或類似物)通信裝置連接到處理系統(tǒng)的任何視頻捕獲設備。圖3示出了用于創(chuàng)建具有增強的分辨率的仿真交通視頻的系統(tǒng)的框圖300。如前所討論，從交通攝影機視頻饋送生成仿真視頻的一個方面涉及視頻的增強的分辨率，從而使得以類似的質量觀看不同距離下的汽車。在根據(jù)實施例的系統(tǒng)中，原始交通視頻332可以被使用來生成車輛視頻補片334的流。假設時間t處的汽車在幀緩沖器內的圖像中將處在遠距離處，則可以把幀t+n處的汽車匹配到時間t處的汽車?？梢圆捎镁哂袣w一化互相關的移動窗口或者類似方法來施行方框336處的匹配。隨后可以把各個補片融合在一起(338)以便生成平滑的交通視頻340，其中將用來自時間t+n的附近汽車的補片替換時間t處的遠距離模糊汽車。隨后可以通過客戶端機器處的再現(xiàn)應用或者通過web服務來再現(xiàn)視頻。根據(jù)其他實施例，可以減少與遠距離處的汽車相關聯(lián)的噪聲，增強和/或銳化其對比度。舉例來說，在霧天里，遠距離處的汽車可能看起來既模糊又晦暗。所述模糊性和晦暗性是由于大氣光散射進入到觀看方向上并且汽車顏色向外散射到霧中而發(fā)生的。通過使用汽車的附近圖像，可以通過降低其模糊性和晦暗性而增強這些遠距離處的汽車的視圖。此外，所生成的視頻不需要具有與輸入視頻相同的時間分辨率(例如幀率)。還可以利用類似的匹配過程創(chuàng)建“中間”幀。圖4示出了用于創(chuàng)建具有多個視點的仿真交通視頻的系統(tǒng)的框圖。從交通攝影機視頻饋送生成仿真視頻的另一個方面涉及從單方向攝影機生成多個視點。類似于圖3中描述的該系統(tǒng)，用于生成多個視點的所述系統(tǒng)開始于原始交通視頻442，從中生成車輛視頻補片444的流。在原始交通視頻442中，只有車輛的前方(駛近交通)或后方(駛離攝影機的車輛)可以是可見的。用于所捕獲車輛的缺失圖像(例如其前方可見的汽車的后方、側面等等)可以在匹配過程446處從相似視頻補片452的數(shù)據(jù)庫獲取。相似視頻補片452的數(shù)據(jù)庫可以包含各種樣式、型號、顏色等等的車輛的預先捕獲和/或通過合成方式生成的圖像。可以從交通攝影機捕獲的視頻、制造商數(shù)據(jù)源、銷售商數(shù)據(jù)源以及用于車輛的圖像數(shù)據(jù)的任何其他源獲得所存儲的圖像。舉例來說，可以在某一位置處設立指向不同方向的多個攝影機達預定時間段，以便在各種角度下捕獲汽車的圖像，并且對這些圖像進行索引及存儲，從而在后來可以結合其他攝影機對其進行使用。匹配過程446可以首先把汽車的所捕獲視圖(例如前方)與數(shù)據(jù)庫中的圖像相匹配，隨后找到相應的后方視像(以及其他視像)。在融合過程448處，可以利用附加信息把所選圖像的各個補片融合到視頻中，所述附加信息比如道路和/或背景圖像、汽車的路徑、汽車的速度以及甚至音頻(根據(jù)Doppler偏移的變化的背景聲音可以為用戶提供甚至更加真實的體驗)。所述音頻可以是所記錄和/或生成的音頻?？梢园凑涨懊嬗懻摰哪菢釉佻F(xiàn)從融合過程得到的仿真視頻450。在圖3和4中討論的諸如生成視頻補片的流、匹配視頻補片以及融合之類的不同過程可以在不同的硬件模塊、軟件模塊或者硬件與軟件的組合中施行。此外，這樣的模塊可以按照集成方式施行這些過程的兩個或更多個。已經(jīng)利用生成仿真視頻的組件、過程和方法描述了圖3和4中的示例系統(tǒng)。實施·例不限于根據(jù)這些示例配置的系統(tǒng)。可以在采用更少或附加組件并且施行其他任務的配置中實施提供具有多個視點和增強的分辨率的仿真交通視頻的平臺。此外，實施例不僅限于交通攝影機?？梢栽谑褂眠@里所描述的原理的不同類型的監(jiān)控攝影機系統(tǒng)、保安系統(tǒng)以及類似系統(tǒng)中實施仿真視頻的生成。此外，可以把實施例的視頻方面與諸如音頻、顏色等之類的其他效果相組合以便增強用戶體驗。圖5是示例性的聯(lián)網(wǎng)環(huán)境，其中可以實施實施例?？梢酝ㄟ^執(zhí)行在一個或更多服務器514 (比如托管服務)之上的軟件來實施用于創(chuàng)建具有增強的分辨率和多個視點的仿真視頻的平臺。所述平臺可以通過(多個)網(wǎng)絡510與各個計算設備上的客戶端應用進行通信，所述計算設備比如有智能電話513、膝上型計算機512或者臺式計算機511 (“客戶端設備”)。執(zhí)行在客戶端設備511 - 513當中的任一個之上的客戶端應用可以通過在服務器514上或者在單獨的服務器516上的瀏覽應用與web應用進行交互。web應用可以接收來自單方向攝影機520的低分辨率視頻，并且如前所述地創(chuàng)建高分辨率、多視點視頻?？商娲?，可以由與web應用分開的圖像處理應用施行仿真視頻的生成，并且web應用可以在用戶的客戶端設備上為用戶再現(xiàn)仿真視頻?？梢灾苯拥鼗蛘咄ㄟ^數(shù)據(jù)庫服務器518在/從(多個)數(shù)據(jù)存儲庫519處存儲和/或獲取相關數(shù)據(jù)，比如車輛的預先捕獲的圖像或者時間偏移的視頻。(多個)網(wǎng)絡510可以包括服務器、客戶端、因特網(wǎng)服務提供商以及通信介質的任何拓撲。根據(jù)實施例的一種系統(tǒng)可以具有靜態(tài)或動態(tài)拓撲。(多個)網(wǎng)絡510可以包括諸如企業(yè)網(wǎng)絡之類的安全網(wǎng)絡、諸如無線開放網(wǎng)絡之類的不安全網(wǎng)絡或者因特網(wǎng)。(多個)網(wǎng)絡510還可以協(xié)調通過其他網(wǎng)絡的通信，比如公共交換電話網(wǎng)(PSTN)或蜂窩網(wǎng)絡。此外，(多個)網(wǎng)絡510可以包括諸如Bluetooth或類似網(wǎng)絡之類的短距離無線網(wǎng)絡。(多個)網(wǎng)絡510提供這里所描述的在各個節(jié)點之間的通信。作為舉例而非限制，(多個)網(wǎng)絡510可以包括無線介質，比如聲學、RF、紅外以及其他無線介質。可以采用計算設備、應用、數(shù)據(jù)源以及數(shù)據(jù)分發(fā)系統(tǒng)的許多其他配置來實施基于低分辨率、單方向攝影機輸入提供仿真的高分辨率、多視圖視頻的平臺。此外，圖5中討論的聯(lián)網(wǎng)環(huán)境僅僅用于說明的目的。本發(fā)明的實施例不限于所述示例應用、模塊或過程。圖6和相關聯(lián)的討論旨在提供關于可以在其中實施實施例的適當計算環(huán)境的簡要的、一般性描述。參照圖6，示出了用于根據(jù)實施例的應用的示例計算操作環(huán)境的框圖，比如計算設備600。在一種基本配置中，計算設備600可以是執(zhí)行能夠生成根據(jù)實施例的仿真的高分辨率、多視點視頻的視頻處理應用的服務器并且包括至少一個處理單元602和系統(tǒng)存儲器604。計算設備600還可以包括在執(zhí)行程序方面合作的多個處理單元。取決于計算設備的確切配置和類型，系統(tǒng)存儲器604可以是易失性的(比如RAM)、非易失性的(t匕如ROM、閃存等等)或者二者的某種組合。系統(tǒng)存儲器604典型地包括適于控制所述平臺的操作的操作系統(tǒng)605，比如來自華盛頓州雷蒙德的微軟公司的WINDOWS 操作系統(tǒng)。系統(tǒng)存儲器604還可以包括一個或多個軟件應用，比如程序模塊606、視頻應用622以及融合模塊624。視頻應用622可以從低分辨率、單方向攝影機接收視頻饋送，并且如前所討論地創(chuàng)建高分辨率、多視點視頻。融合模塊624可以將原始視頻與預先捕獲的車輛圖像和/或時間偏移的視頻流的補片融合，從而生成多個視點并且增強仿真視頻的分辨率。視頻應用 622和融合模塊624可以是分開的應用或者是托管服務的集成組件。在圖6中通過虛線608內的那些組件示出了這一基本配置。計算設備600可以具有附加的特征或功能。舉例來說，計算設備600還可以包括附加的數(shù)據(jù)存儲設備(可移除的和/或不可移除的)，比如磁盤、光盤或磁帶。在圖6中通過可移除存儲裝置609和不可移除存儲裝置610示出了這樣的附加存儲裝置。計算機可讀存儲介質可以包括按照任何方法或技術實施的用于存儲諸如計算機可讀指令、數(shù)據(jù)結構、程序模塊或其他數(shù)據(jù)之類信息的易失性和非易失性、可移除和不可移除介質。系統(tǒng)存儲器604、可移除存儲裝置609和不可移除存儲裝置610全都是計算機可讀存儲介質的例子。計算機可讀存儲介質包括但不限于RAM、R0M、EEPR0M、閃存或其他存儲器技術、CD-ROM、數(shù)字通用盤(DVD)或其他光學存儲裝置、磁帶、磁盤存儲裝置或其他磁性存儲設備或者可以被用來存儲所期望的信息并且可以由計算設備600訪問的任何其他介質。任何這樣的計算機可讀存儲介質都可以是計算設備600的一部分。計算設備600還可以具有(多個)輸入設備612，比如鍵盤、鼠標、筆、語音輸入設備、觸摸輸入設備以及類似的輸入設備。還可以包括(多個)輸出設備614，比如顯示器、揚聲器、打印機以及其他類型的輸出設備。這些設備是本領域內所公知的，這里不需要詳細討論。計算設備600還可以包含通信連接616，其允許設備比如通過分布式計算環(huán)境中的有線或無線網(wǎng)絡、衛(wèi)星鏈接、蜂窩鏈接、短距離網(wǎng)絡以及類似的機制與其他設備618進行通信。其他設備618可以包括執(zhí)行通信應用的(多個)計算機設備、其他服務器以及類似的設備。(多個)通信連接616是通信介質的一個例子。通信介質在其中可以包括計算機可讀指令、數(shù)據(jù)結構、程序模塊或其他數(shù)據(jù)。作為舉例而非限制，通信介質包括諸如有線網(wǎng)絡或直接布線連接之類的有線介質以及諸如聲學、RF、紅外和其他無線介質之類的無線介質。示例實施例還包括方法。可以按照任意數(shù)量方式來實施這些方法，其中包括在本文獻中所描述的結構。一種這樣的方式是通過本文獻中所描述的類型的設備的機器操作。另一種可選的方式是，針對所述方法的各個的操作中的一項或更多項，結合施行一些操作的一個或更多操作人員來施行。這些操作人員不需要彼此位于一處，而是每一個操作人員可以僅僅與具有施行程序的一部分的機器在一起。圖7示出了用于根據(jù)實施例的基于來自低分辨率、單方向交通攝影機的輸入而提供增強的分辨率和多視點視頻的過程700的邏輯流程圖。過程700可以被實施為在服務器上執(zhí)行的web應用的一部分。過程700開始于操作710，其中接收來自低分辨率、單方向視頻攝影機的原始視頻?？梢詫λ邮盏降囊曨l進行預處理。舉例來說，可以修改所接收到的視頻的格式、可以對視頻進行濾波等等。在操作720中，生成視頻補片流，從而可以隨后施行匹配和融合。所述補片可以是對應于車輛在預定義距離下(例如遠、中、近)的移動的相繼視頻幀。在操作730中，將補片流與來自不同方向的攝影機的補片和/或時間偏移的幀的補片(例如當車輛更接近攝影機時)進行比較。第一個匹配允許生成附加的視點(例如顯示出正在駛離的車輛的原始攝影機的視點的相反方向)，而后者匹配則增強視頻流的分辨率。來自不同方向的補片可以包括來自不同角度的不同類型的車輛的預先捕獲的圖像(紅色客車的后視圖、綠色卡車的側視圖、汽車的具體品牌等等)。 在操作740中，可以把原始流與所匹配的補片融合在一起，從而得到可以在操作750中呈現(xiàn)給用戶(例如通過用戶的瀏覽應用再現(xiàn))的仿真視頻。在融合之前，還可以調節(jié)圖像的尺寸。包括在過程700中的操作僅僅用于說明的目的?？梢酝ㄟ^具有更少或附加步驟的類似過程實施生成增強分辨率、多視點仿真視頻，并且可以利用這里所描述的原理按照不同操作順序來實施。前面的說明、實例和數(shù)據(jù)提供了對于實施例的組成的制造和使用的全面描述。雖然已經(jīng)以特定于結構特征和/或方法動作的語言描述了主題，但是應當理解的是，在所附權利要求書中限定的主題不一定受限于前面所描述的具體特征或動作。相反，前面描述的特征和動作是作為實施權利要求和實施例的示例形式而被公開的。
權利要求
1.一種將至少部分地在計算設備中執(zhí)行以便從攝影機饋送生成增強的仿真視頻的方法，所述方法包括 從單方向攝影機接收原始視頻輸入； 生成車輛視頻補片的流； 將車輛視頻補片中的車輛與相應的所存儲的車輛圖像相匹配； 獲取對應于所存儲的車輛圖像的不同角度的圖像； 將所獲取的圖像融合成顯示在另一個方向上移動的所述車輛的仿真視頻；以及 再現(xiàn)仿真視頻。
2.權利要求I的方法，其中，所獲取的圖像是車輛的后方圖像，并且仿真視頻表示攝影機方向的相反方向上的交通流。
3.權利要求I的方法，還包括 采用來自由以下各項構成的集合中的至少一項來增強仿真視頻道路圖像、背景圖像、每一輛車的路徑、每一輛車的速度、所記錄的音頻以及所生成的音頻。
4.權利要求I的方法，還包括 緩沖預定義數(shù)目的幀； 在其中車輛出現(xiàn)于攝影機附近的幀中捕獲車輛的圖像； 調節(jié)所捕獲的圖像的尺寸； 把經(jīng)過調節(jié)的圖像疊加在其中相同的車輛遠離攝影機出現(xiàn)的幀上；以及 把經(jīng)過疊加的幀融合成所述仿真視頻。
5.權利要求4的方法,其中,對于未來的巾貞施行所述緩沖。
6.權利要求5的方法，其中，采用歸一化互相關來匹配所緩沖的幀中的車輛。
7.權利要求5的方法，其中，基于車輛與攝影機的預定義距離范圍來確定要被緩沖的幀的數(shù)目。
8.一種用于從攝影機饋送生成增強的仿真視頻的系統(tǒng)，所述系統(tǒng)包括 至少一個單方向攝影機； 耦合到所述至少一個單方向攝影機的服務器，所述服務器執(zhí)行視頻處理應用，其中所述視頻處理應用被配置成 從單方向攝影機接收原始視頻輸入； 生成車輛視頻補片的流； 緩沖預定數(shù)目的視頻幀； 在其中車輛出現(xiàn)于攝影機附近的幀中捕獲第一車輛集合的圖像； 將所述圖像疊加在其中第一組車輛遠離攝影機出現(xiàn)的幀上； 將車輛視頻補片中的第二組車輛匹配到相應的所存儲的車輛圖像； 獲取對應于所存儲的車輛圖像的不同角度的圖像； 把經(jīng)過疊加的圖像融合成具有增強的分辨率的第一仿真視頻； 把所獲取的圖像融合成顯示出在另一個方向上移動的第二組車輛的仿真的第二視頻；以及 再現(xiàn)仿真視頻。
9.權利要求8的系統(tǒng)，其中，第一和第二視頻是相同的視頻流。
10.權利要求8的系統(tǒng)，其中，所述視頻處理應用還被配置成使得用戶能夠選擇觀看角度，這是通過基于用戶輸入選擇不同角度的圖像從而為用戶提供攝影機的虛擬旋轉而實現(xiàn)的。
11.權利要求9的系統(tǒng)，其中，所存儲的圖像包括下述至少一項預先捕獲的圖像和通過合成方式生成的圖像。
12.權利要求9的系統(tǒng)，其中，通過將所獲取的圖像融合在正投影地圖上而生成第二視頻。
13.一種其上存儲有用于從攝影機饋送生成增強的仿真視頻的指令的計算機可讀存儲介質，所述指令包括 從單方向攝影機接收原始視頻輸入； 生成車輛視頻補片的流； 緩沖預定義數(shù)目的幀； 采用歸一化互相關匹配所緩沖的幀，從而增強攝影機遠處的車輛的圖像；以及 把所匹配的幀融到仿真視頻中。
14.權利要求13的計算機可讀介質，其中，所述指令還包括 把車輛視頻補片中的車輛匹配到相應的所存儲的車輛圖像； 獲取對應于所存儲的車輛圖像的不同角度的圖像；以及 把所獲取的圖像融合成顯示出在另一個方向上移動的車輛的仿真視頻。
15.權利要求13的計算機可讀介質，其中，通過來自包括以下各項的集合當中的至少一項來分別施行生成視頻補片的流、緩沖幀以及匹配幀硬件模塊、軟件模塊以及硬件與軟件模塊的組合。
全文摘要
提供基于來自低分辨率、單方向攝影機的視頻輸入的仿真的高分辨率、多視圖視頻。把接收自交通攝影機、保安攝影機、監(jiān)控攝影機和類似攝影機的視頻與來自預先捕獲的圖像的數(shù)據(jù)庫和/或時間上偏移的視頻的補片融合，從而創(chuàng)建更高質量的視頻以及對應于相同攝影機的多個視點。
文檔編號H04N7/18GK102907091SQ201180027386
公開日2013年1月30日 申請日期2011年5月23日 優(yōu)先權日2010年6月3日
發(fā)明者B.陳, E.奧菲克 申請人:微軟公司