專利名稱：實現(xiàn)三維全景視頻的定位與播放的方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機(jī)應(yīng)用技術(shù)領(lǐng)域，尤其涉及一種基于web與GPS定位實現(xiàn)三維全景視頻的定位與播放的方法及系統(tǒng)。
背景技術(shù)：
視頻，泛指將一系列的靜態(tài)影像以電信號方式加以捕捉、紀(jì)錄、處理、儲存、傳送與重現(xiàn)的各種技術(shù)。連續(xù)的圖像變化達(dá)到一定的頻率時，根據(jù)視覺暫留原理，人眼無法辨別單幅靜態(tài)畫面，看上去是平滑的視覺效果。而視頻信息在日常生活中對信息的傳輸與表達(dá)起著十分重要的作用，特別是隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，視頻技術(shù)越來越多的涉及我們的日常生活，如視頻會議，視頻監(jiān)控等。隨著技術(shù)的發(fā)展，人們對視頻的要求也越來越高，不僅僅從視頻的質(zhì)量，更多的是從視頻的覆蓋范圍等提出了新的要求。而三維全景圖的出現(xiàn)，解決了視角無法改變的問題。全景圖就是把當(dāng)前位置所有的離散的圖像信息完全在一副圖像上顯示，這就克服了視角的限制。全景圖的表示模式主要有柱面全景圖，立方體全景圖和球面全景圖。采用柱面全景圖來表示場景，雖然比較容易處理，但是其缺點是沒有頂面和底面的信息，對視域有一定的限制；立方體全景圖雖然能夠體現(xiàn)全部的信息，但是從圖像的獲取來看，要求比較高，不易獲??；球面全景圖是一種符合人體視覺特性的圖像，而且能方便的從不同的視角觀看。因此球面映射是一種較好的選擇。全景視頻，就是一種每一幀都是一幅全景圖的視頻。它與普通視頻的區(qū)別就是該視頻包括了更多的信息，從而彌補了普通視頻拍攝盲區(qū)較大的缺點。國內(nèi)外有許多單位及個人都在對全景視頻進(jìn)行研究，但是其采用的基本上都是通過多視角的視頻流拼接融合而成。這種方法采集過程及拼接算法都比較復(fù)雜，在一定程度上增加了制作的成本及應(yīng)用的難度。全球定位系統(tǒng)(GlcAal Positioning System，GPS)，是20世紀(jì)70年代由美國陸?？杖娐?lián)合研制的新一代空間衛(wèi)星導(dǎo)航定位系統(tǒng)，其主要目的是為陸、海、空三大領(lǐng)域提供實時、全天候和全球性的導(dǎo)航服務(wù)。GPS為我們?nèi)粘Ｉ顜砹撕芏嗟谋憷ㄜ囕v導(dǎo)航、 工程測量、市政規(guī)劃等，它具有高精度、高效率等特點。特別是在互聯(lián)網(wǎng)高速發(fā)展的今天，各種各樣的地圖相繼出現(xiàn)，對GPS的應(yīng)用也越來越多，人們可以通過GPS來定位自己要找的位直fe息。為了提供全景視頻在網(wǎng)絡(luò)上的播放與定位所急需的技術(shù)和方法，本發(fā)明為用戶提供一種簡單、明確、有效的全景視頻的播放及對應(yīng)的位置同步顯示的基數(shù)，從而使用戶在交互欣賞三維全景的同時，能夠看到當(dāng)前視頻圖像信息所在的具體地理位置信息。

發(fā)明內(nèi)容
(一)要解決的技術(shù)問題有鑒于此，本發(fā)明的主要目的在于提供一種基于web與GPS定位來實現(xiàn)三維全景視頻的定位與播放的方法及系統(tǒng)。( 二 )技術(shù)方案為達(dá)到上述目的，本發(fā)明提供了一種實現(xiàn)三維全景視頻的定位與播放的方法，包括采集全景視頻信息和GPS數(shù)據(jù)信息；將采集的全景視頻信息與GPS數(shù)據(jù)信息進(jìn)行綁定； 將采集的全景視頻信息轉(zhuǎn)換為適合全景播放的flv格式的三維全景視頻；將與全景視頻信息對應(yīng)的GPS數(shù)據(jù)信息轉(zhuǎn)換為web形式的位置地圖或者kml文件；將該flv格式的三維全景視頻在網(wǎng)頁中進(jìn)行播放，并同步定位該三維全景視頻的位置。為達(dá)到上述目的，本發(fā)明還提供了一種實現(xiàn)三維全景視頻的定位與播放的系統(tǒng)， 其特征在于，該系統(tǒng)包括全景視頻采集子系統(tǒng)，用于采集全景視頻信息，并保存該全景視頻信息；GPS信息采集與處理子系統(tǒng)，用于采集GPS數(shù)據(jù)信息，并從采集到的GPS數(shù)據(jù)中提取經(jīng)度、緯度和海拔信息；視頻生成與處理子系統(tǒng)，用于將采集的全景視頻信息轉(zhuǎn)換為適合全景播放的flv格式的三維全景視頻；地圖位置生成子系統(tǒng)，用于將與全景視頻信息對應(yīng)的GPS數(shù)據(jù)信息轉(zhuǎn)換為web形式的位置地圖或者kml文件；視頻的定位與播放子系統(tǒng)，用于將該flv格式的三維全景視頻在網(wǎng)頁中進(jìn)行播放，并同步定位該三維全景視頻的位置。(三)有益效果從上述技術(shù)方案可以看出，本發(fā)明具有以下有益效果1、本發(fā)明提供的這種基于web與GPS定位來實現(xiàn)三維全景視頻的定位與播放的方法及系統(tǒng)，通過基于web的三維全景視頻播放，滿足用戶交互欣賞的需求，通過控制視頻的清晰程度來滿足不同網(wǎng)絡(luò)帶寬的需求，flaSh3D技術(shù)的運用便于在普通電腦的通過網(wǎng)頁來播放全景視頻。2、本發(fā)明提供的這種基于web與GPS定位來實現(xiàn)三維全景視頻的定位與播放的方法及系統(tǒng)，通過實時的添加GPS信息于數(shù)據(jù)流中，再通過同步處理視頻流與GPS信息，來同步的顯示當(dāng)前位置及該位置的全景視頻。


圖1為依照本發(fā)明實施例的基于web與GPS定位來實現(xiàn)三維全景視頻的定位與播放的方法的流程圖。圖2為依照本發(fā)明實施例的基于web與GPS定位來實現(xiàn)三維全景視頻的定位與播放的應(yīng)用流程圖。圖3為依照本發(fā)明實施例的基于web與GPS定位來實現(xiàn)三維全景視頻的定位與播放的系統(tǒng)的架構(gòu)圖。圖4為依照本發(fā)明實施例的基于web與GPS定位來實現(xiàn)三維全景視頻的定位與播放的方法的球面坐標(biāo)原理圖。圖5為依照本發(fā)明實施例的基于web與GPS定位來實現(xiàn)三維全景視頻的定位與播放的方法的紋理映射原理圖。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參照附圖，對本發(fā)明進(jìn)一步詳細(xì)說明。
隨著三維全景技術(shù)的發(fā)展，特別是網(wǎng)絡(luò)技術(shù)的成熟，通過網(wǎng)絡(luò)來展示某城市或地方的街景，或某企業(yè)、旅游景點宣傳等已經(jīng)成為一種全新的方式。人們往往在觀看三維街景的同時，也希望看到當(dāng)前街景所示的位圖位置，及視點運動的方向等，而本發(fā)明正是同時解決了這兩個問題。本發(fā)明提供的這種基于web與GPS定位來實現(xiàn)三維全景視頻的定位與播放的方法及系統(tǒng)，通過全景相機(jī)采集全景視頻信息，通過GPS模塊來采集GPS數(shù)據(jù)信息，并進(jìn)行全景視頻信息與GPS數(shù)據(jù)信息的綁定；然后通過一系列的處理，導(dǎo)出全景視頻，并導(dǎo)出地圖與位置；最后運用圖形學(xué)知識逐幀將全景視頻映射成三維空間的flash視景，便實現(xiàn)了三維全景視頻的播放，同時將地圖與之同步對應(yīng)，整個過程完成。本發(fā)明提供的方案主要是將全景視頻的播放與GPS信息的綁定，通過實時的添加 GPS信息于數(shù)據(jù)流中，再通過同步處理視頻流與GPS信息，來同步的顯示當(dāng)前位置及該位置的全景視頻。如圖1所示，圖1為依照本發(fā)明實施例的基于web與GPS定位來實現(xiàn)三維全景視頻的定位與播放的方法的流程圖，主要步驟包括步驟101，采集全景視頻信息本實施例是采用六通道的全景相機(jī)來采集全景視頻信息，將該六通道的全景相機(jī)采集而來的原始數(shù)據(jù)用一種自定義的數(shù)據(jù)結(jié)構(gòu)進(jìn)行保存。 該數(shù)據(jù)結(jié)構(gòu)包括視頻頭結(jié)構(gòu)(stream header structure)與視頻體結(jié)構(gòu)(stream body structure)。其中視頻頭結(jié)構(gòu)依次定義該視頻的幀率G個字節(jié))、分辨率G個字節(jié))、圖片數(shù)G個字節(jié))、GPS數(shù)據(jù)大小G個字節(jié))及GPS數(shù)據(jù)偏移量G個字節(jié))，視頻體結(jié)構(gòu)定義了具體的視頻數(shù)據(jù)，而一幀該視頻數(shù)據(jù)由包含6幅圖像數(shù)據(jù)及三個浮點類型的GPS數(shù)據(jù) (分別為緯度、經(jīng)度和海拔)的幀結(jié)構(gòu)體構(gòu)成，而視頻體結(jié)構(gòu)正是由連續(xù)的幀結(jié)構(gòu)體組成。步驟102，采集GPS數(shù)據(jù)信息；本實施例是采用支持NMEA 0183協(xié)議的GPS終端， 將采集到的GPS數(shù)據(jù)進(jìn)行處理，提取其中相關(guān)信息。具體采集方法為GPS采集模塊通過串行端口與外部計算機(jī)進(jìn)行通信，GPS終端能提供ASCII和二進(jìn)制兩種格式，本實施例采用NMEA 0183格式的ASCII碼。一條完整的NMEA 0183語句是從起始符“$GPGGA”到終止符"<CRXLF>” 為止的一段字符串，如 $GPGGA，050901，3931. 4449，N, 11643. 5123，E，1，07， 1. 4，76. 2，Μ, -7. 0，Μ, *65<CRXLF>，從ΝΜΕΑ0183協(xié)議標(biāo)準(zhǔn)可知在這些數(shù)據(jù)中，050901表示定位UTC時間，3931. 4449表示緯度值，N表示北緯，11643. 5123表示經(jīng)度值，E表示東經(jīng)。 具體數(shù)據(jù)處理方法為從采集的每條NMEA0183語句中提取所需的數(shù)據(jù)段，本實例提取的是經(jīng)度、緯度和海拔數(shù)據(jù)段，然后根據(jù)標(biāo)準(zhǔn)進(jìn)行處理，如上述所示緯度值3931. 4449及N，處理成北緯39度31. 4449分，同理經(jīng)度為116度43. 5123分。步驟103，將采集的全景視頻信息與GPS數(shù)據(jù)信息進(jìn)行綁定；本實施例是通過步驟 101所述的數(shù)據(jù)結(jié)構(gòu)，每一幀的完整數(shù)據(jù)除了包括該幀的全景視頻信息外，還添加了對應(yīng)點的GPS數(shù)據(jù)信息。由于全景視頻信息采集的頻率與GPS數(shù)據(jù)信息的采集頻率要快，全景視頻信息采集的頻率約在10Hz，而GPS數(shù)據(jù)信息采集的頻率大約為2Hz，為保持視頻采集點的視頻數(shù)據(jù)與GPS信息同步，采用線性插值的方法使得每一幀的全景視頻信息都能對應(yīng)一個 GPS數(shù)據(jù)信息。步驟104，將采集的全景視頻信息轉(zhuǎn)換為適合全景播放的flv格式的三維全景視頻；本實施例是從完整的數(shù)據(jù)中抽取視頻數(shù)據(jù)，通過圖像拼接等處理方式可以將視頻數(shù)據(jù)轉(zhuǎn)換成便于播放的全景視頻。步驟105，將與全景視頻信息對應(yīng)的GPS數(shù)據(jù)信息轉(zhuǎn)換為web形式的位置地圖或者kml文件；生成地圖或Keyhole標(biāo)記語言(Keyhole Markup Language, kml)格式文件， Keyhole是谷歌旗下公司名稱，通過對完整數(shù)據(jù)中抽取每一幀全景視頻信息所對應(yīng)GPS數(shù)據(jù)，來生成所需的地圖，通過GPS信息中的經(jīng)緯度信息來產(chǎn)生以該經(jīng)緯度為中心的一塊大小適中的正方式google地圖，產(chǎn)生方式是以網(wǎng)頁形式，通過javascript來實現(xiàn)，并通過時間變化來與視頻的播放保持一至。還可以通過GPS信息來生成kml文件，該kml文件通過 google地球來播放。步驟106，將該flv格式的三維全景視頻在網(wǎng)頁中進(jìn)行播放，并同步定位該三維全景視頻的位置；本實施例是實現(xiàn)基于web的全景視頻與對應(yīng)地圖位置的同步播放。地圖位置的顯示是通過步驟105的方式，而三維全景視頻的播放則是運用flaSh3D技術(shù)，通過網(wǎng)頁中嵌入交互式flash來實現(xiàn)flv視頻的播放。并能方便的進(jìn)行俯仰及環(huán)視操作，并通過對 FOV (field of view)的控制來模擬遠(yuǎn)觀與近看效果。本實施例提供的基于web與GPS定位來實現(xiàn)三維全景視頻的定位與播放的方法， 由于步驟101所采用的數(shù)據(jù)結(jié)構(gòu)是分別保存每一幀的6幅圖像數(shù)據(jù)而沒有進(jìn)行拼接和壓縮處理，數(shù)據(jù)量較大，所以采集的原始數(shù)據(jù)均可保存下來，包括六幅不同方位的圖像數(shù)據(jù)，由于最佳狀態(tài)數(shù)據(jù)1/0大約在70M/s，采用固態(tài)硬盤來存儲原始數(shù)據(jù)。本實施例提供的基于web與GPS定位來實現(xiàn)三維全景視頻的定位與播放的方法， 由于每一幀的視頻流信息中保存有GPS數(shù)據(jù)信息，解析出的GPS信息序列通過javascript 生成實時的Google地圖，或者將經(jīng)緯度信息序列生成kml格式的文件，通過Google地球來演示其變化過程。本實施例提供的基于web與GPS定位來實現(xiàn)三維全景視頻的定位與播放的方法， 由于視頻數(shù)據(jù)轉(zhuǎn)化成了文件小且加載速度快的flv格式，而且全景播放器是基于flash3D 的swf格式文件，所以非常適合在網(wǎng)頁中播放。如圖2所示，圖2為依照本發(fā)明實施例的基于web與GPS定位來實現(xiàn)三維全景視頻的定位與播放的應(yīng)用流程圖，主要步驟包括步驟201，采集全景視頻信息與GPS數(shù)據(jù)信息；本實施例是采用六通道的全景相機(jī)采集全景視頻信息，將采集的全景視頻信息通過步驟101所定義的數(shù)據(jù)結(jié)構(gòu)進(jìn)行保存；與此同時，通過GPS模塊采集GPS數(shù)據(jù)信息，并通過插值的方法將采集的GPS數(shù)據(jù)信息與每一幀的全景視頻信息關(guān)聯(lián)并保存。在此過程中，一方面對采集全景視頻信息的質(zhì)量進(jìn)行判斷， 判斷方法是通過相機(jī)本身自帶的圖像預(yù)覽窗口對當(dāng)前圖像的亮度、飽和度等直觀的屬性進(jìn)行判斷，然后根據(jù)觀察結(jié)果調(diào)整相機(jī)本身的參數(shù)，調(diào)整方法是通過相機(jī)本身的參數(shù)設(shè)置功能來調(diào)節(jié)。步驟202，對采集的全景視頻信息進(jìn)行處理；該處理過程是提取步驟101所定義的完整數(shù)據(jù)中的視頻數(shù)據(jù)，可以將該全景視頻信息導(dǎo)出為所需分辨率的全景視頻信息，該所需分辨率的全景視頻信息的視頻長寬比為2 1。該全景視頻信息的導(dǎo)出是逐幀執(zhí)行的，每一幀的六幅原始圖像按順利進(jìn)行圖像拼接合成，并進(jìn)行邊緣平滑處理等操作后達(dá)到我們要求的全景圖像，其拼接方法是現(xiàn)有通用的方法，即多幅不同角度的魚眼相機(jī)采集的圖像進(jìn)行拼接，這里不再贅述。然后按照原始的時序組合成flv格式視頻，形成所需分辨率的全景視頻信息。步驟203，對采集的GPS數(shù)據(jù)信息進(jìn)行處理；該處理過程是每一幀所對應(yīng)的GPS 數(shù)據(jù)信息已經(jīng)在步驟201中進(jìn)行了計算并與幀序進(jìn)行關(guān)聯(lián)，這里要做的是從完整數(shù)據(jù)中逐幀提取對應(yīng)的GPS數(shù)據(jù)信息，然后取出其中的經(jīng)緯度信息。此時進(jìn)行需求判斷，如果想生成 web形式的位置地圖，則通過基于網(wǎng)頁的javascript腳本語言來調(diào)用Google地圖，如果不想生成web形式的位置地圖，則生成一個kml文件。步驟204，flash3D紋理映射；本實施例是用flash來做全景視頻播放器，由于 flash3D的發(fā)展使得flash做三維全景變得簡單而且便捷。根據(jù)全景圖像的采集及生成方法，從圖形學(xué)角度，得知全景圖像恰好與一張球面紋理相對應(yīng)。首先，參照圖4，球面的參數(shù)方程可以定義如下空間中建立了直角坐標(biāo)系之后， 對空間中任一點Μ (χ，y，z)，設(shè)|OM| = R則Μ在以ο為中心，以R為半徑的球面上，從而存在Φ，θ，使
χ = 7 cos 於 sin 汐<j 少=7 sin 於 sin 汐 (1)
Z = RcosO其次，對于二維紋理映射，本實施例使用二維坐標(biāo)uv來表示。為了把(u，ν) e
2的圖像映射到球體上，由公式⑴容易求出
θ = arccos
(2)
V尺
φ = arctan2(j,x)其中 arctan2(a，b)返回 a/b 的反正切。因為(θ，φ) G
X [-Ji，Ji ]，我們便可以得到如下對應(yīng)關(guān)系 ‘ Φ
u =-
2π (3) π-θ ν =-
π參照圖5，可以看到圖4中的M點的展開后對應(yīng)于圖5中的P點，再通過公式3便可以計算出紋理映射關(guān)系。有紋理映射關(guān)系后，便可以利用3D圖形學(xué)方法建立球面，并且以球心所有位置為視點固定不變，運用上述變換將全景圖帖轉(zhuǎn)換為三維球面坐標(biāo)。運用這種方法，在播放全景視頻時按照時序，將全景視頻數(shù)據(jù)的每一幀，通過坐標(biāo)的映射轉(zhuǎn)換到三維空間上，便實現(xiàn)了全景視頻的播放。全景視頻的交互，在上述基礎(chǔ)上，保持視點的位置不變，上下左右旋轉(zhuǎn)視角，便可實現(xiàn)場景俯仰與環(huán)視操作，通過對FOV(field of view)的控制來模擬遠(yuǎn)觀與近看效果， 這里要特別注意的是保持視點的位置在球心不變，這樣才可以保證所看到的視景幾乎不失
直
ο步驟205，三維全景視頻的定位與播放；本實施例將步驟203和步驟204所生成的定位地圖和交互視頻播放進(jìn)行關(guān)聯(lián)，關(guān)聯(lián)方式是通過時間軸同步，具體的做法是在通過flash獲取全景視頻的時間軸信息，包括視頻總長度和當(dāng)前播放進(jìn)度，然后通過 javascript將該時間軸信息傳給當(dāng)前網(wǎng)頁，通過網(wǎng)頁對地圖上的位置進(jìn)行更新。
顯示三維全景視頻在地圖上對應(yīng)的完整路線，通過步驟203所保存的GPS數(shù)據(jù)信息及時序關(guān)系來實現(xiàn)，可以沿路線拖動地圖上的當(dāng)前位置圖標(biāo)，通過javascript將新的參數(shù)傳遞給網(wǎng)頁，然后網(wǎng)頁可以通過javascript將其變化傳遞給flash播放器，flash播放器對全景視頻的播放位置進(jìn)行相應(yīng)的更新。圖3為依照本發(fā)明實施例的基于web與GPS定位來實現(xiàn)三維全景視頻的定位與播放的系統(tǒng)的架構(gòu)圖，該系統(tǒng)包括全景視頻采集子系統(tǒng)、GPS信息采集與處理子系統(tǒng)、視頻生成與處理子系統(tǒng)、地圖位置生成子系統(tǒng)及視頻的定位與播放子系統(tǒng)。其中，全景視頻采集子系統(tǒng)，用于采集全景視頻數(shù)據(jù)；GPS信息采集與處理子系統(tǒng)，用于采集GPS信息數(shù)據(jù)并提取所需數(shù)據(jù)進(jìn)行處理轉(zhuǎn)化；視頻生成與處理子系統(tǒng)，用于將采集的全景視頻數(shù)據(jù)生成為適合全景播放的flv格式視頻；地圖位置生成子系統(tǒng)，用于將全景視頻所對應(yīng)的GPS信息數(shù)據(jù)生成為web形式的位置地圖或者kml文件；視頻的定位與播放子系統(tǒng)，用于將全景視頻在網(wǎng)頁中進(jìn)行播放，并且同步定位視頻位置。本實施例提供的基于web與GPS定位來實現(xiàn)三維全景視頻的定位與播放的系統(tǒng)， 由于采用六通道全景相機(jī)，相機(jī)本身參數(shù)可以調(diào)控，并可以通過相機(jī)本身的軟件系統(tǒng)觀察預(yù)覽圖像，所以可控制采集視頻的頻率與質(zhì)量，包括相機(jī)的參數(shù)設(shè)置等，通過步驟101所述的數(shù)據(jù)結(jié)構(gòu)進(jìn)行保存。本實施例提供的基于web與GPS定位來實現(xiàn)三維全景視頻的定位與播放的系統(tǒng)， 由于GPS采集模塊都配有一個串行端口以便與外部串行設(shè)備之間進(jìn)行通信，并且使用了通信驅(qū)動程序Comm. drv,以便使用標(biāo)準(zhǔn)的Windows API函數(shù)發(fā)送和接收數(shù)據(jù)。在實際采集中， 模擬了一個COM串口，設(shè)置Comm控件的屬性，通過Timer觸發(fā)OnComm接收GPS信號的事件， 實現(xiàn)GPS信號的實時接收，并可以通過設(shè)置Timer的時間周期來控制其接收頻率。所以能夠?qū)崟r獲取NMEA 0183數(shù)據(jù)流，通過計算生成經(jīng)緯度及高度數(shù)據(jù)。本實施例提供的基于web與GPS定位來實現(xiàn)三維全景視頻的定位與播放的系統(tǒng)， 由于六通道全景相機(jī)本身的軟件系統(tǒng)能夠某一時刻將采集的六幅圖像拼接成一幅全景圖像，可以球面紋理映射原理，把全景圖像矯正成寬高比2 1的圖像，也可以根據(jù)自己的需求選擇不同的紋理映射方式，矯正成不同形式的全景圖像。然后將連續(xù)的多幀圖像壓縮轉(zhuǎn)化成flv格式的視頻，通過調(diào)整轉(zhuǎn)化時的flv視頻的比特率來控制視頻質(zhì)量，一般在 4000-200001cbpS，值越大質(zhì)量越高。所以可支持多種全景映射方式的視頻生成，支持多種格式視頻的生成，支持多種清晰度的視頻的生成。本實施例提供的基于web與GPS定位來實現(xiàn)三維全景視頻的定位與播放的系統(tǒng)， 由于google map API的免費開放，使得對地圖的應(yīng)用較為簡單，能夠通過javascript來調(diào)用google map在網(wǎng)頁中顯示，而KML文件本身是google earth上用來保存地標(biāo)的文件，能夠通過KML文件來表達(dá)一段路徑，并控制其播放，所以可以生成在線的基于web的Google 地圖，可隨視頻播放來更新當(dāng)前位置；可生成基于Google earth的kml文件，可實時顯示一種對應(yīng)的路線。本實施例提供的基于web與GPS定位來實現(xiàn)三維全景視頻的定位與播放的系統(tǒng)， 由于全景視頻采集子系統(tǒng)與GPS信息采集與處理子系統(tǒng)是同步進(jìn)行，全景視頻時序與GPS 信息數(shù)據(jù)時序保持同步，Google map中可以通過腳本控制當(dāng)前位置移動速度，所以全景視頻的播放與視頻所示位置在地圖上的顯示保持同步。
綜上所述，本發(fā)明通過全景相機(jī)采集全景視頻信息，通過GPS模塊來采集GPS數(shù)據(jù)信息，并進(jìn)行全景視頻信息與GPS數(shù)據(jù)信息的綁定；然后通過一系列的處理，導(dǎo)出全景視頻，并導(dǎo)出地圖與位置；最后運用圖形學(xué)知識逐幀將全景視頻映射成三維空間的flash視景，便實現(xiàn)了三維全景視頻的播放，同時將地圖與之同步對應(yīng)，整個過程完成。用戶在使用本發(fā)明進(jìn)行全景視頻播放時，比如觀看三維街景時，不但可以在視頻播放的過程中進(jìn)行不同視角的觀看，包括俯仰、環(huán)視和遠(yuǎn)近，而且可以通過定位地圖觀看當(dāng)前街景所在地圖的位置信息，包括隨著視頻播放位置的實時更新變化。這樣給用戶提供了一種全新的視覺效果。以上所述的具體實施例，對本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種實現(xiàn)三維全景視頻的定位與播放的方法，其特征在于，包括采集全景視頻信息和GPS數(shù)據(jù)信息；將采集的全景視頻信息與GPS數(shù)據(jù)信息進(jìn)行綁定；將采集的全景視頻信息轉(zhuǎn)換為適合全景播放的flv格式的三維全景視頻；將與全景視頻信息對應(yīng)的GPS數(shù)據(jù)信息轉(zhuǎn)換為web形式的位置地圖或者kml文件；將該flv格式的三維全景視頻在網(wǎng)頁中進(jìn)行播放，并同步定位該三維全景視頻的位置。
2.根據(jù)權(quán)利要求1所述的實現(xiàn)三維全景視頻的定位與播放的方法，其特征在于，所述采集全景視頻信息和GPS數(shù)據(jù)信息的步驟中，采集全景視頻信息是采用六通道的全景相機(jī)進(jìn)行的。
3.根據(jù)權(quán)利要求2所述的實現(xiàn)三維全景視頻的定位與播放的方法，其特征在于，所述采集全景視頻信息之后還包括將該六通道的全景相機(jī)采集而來的原始視頻數(shù)據(jù)用一種自定義的數(shù)據(jù)結(jié)構(gòu)進(jìn)行保存， 該自定義的數(shù)據(jù)結(jié)構(gòu)包括視頻頭結(jié)構(gòu)和視頻體結(jié)構(gòu)，其中視頻頭結(jié)構(gòu)依次定義該視頻的幀率、分辨率、圖片數(shù)、GPS數(shù)據(jù)大小和GPS數(shù)據(jù)偏移量；視頻體結(jié)構(gòu)定義了具體的視頻數(shù)據(jù)， 而一幀該視頻數(shù)據(jù)由包含6幅圖像數(shù)據(jù)及三個浮點類型的GPS數(shù)據(jù)的幀結(jié)構(gòu)體構(gòu)成，而視頻體結(jié)構(gòu)正是由連續(xù)的幀結(jié)構(gòu)體組成。
4.根據(jù)權(quán)利要求3所述的實現(xiàn)三維全景視頻的定位與播放的方法，其特征在于，該視頻的幀率、分辨率、圖片數(shù)、GPS數(shù)據(jù)大小和GPS數(shù)據(jù)偏移量均為4個字節(jié)；該三個浮點類型的GPS數(shù)據(jù)包含的浮點類型分別為緯度、經(jīng)度和海拔。
5.根據(jù)權(quán)利要求1所述的實現(xiàn)三維全景視頻的定位與播放的方法，其特征在于，所述采集全景視頻信息和GPS數(shù)據(jù)信息的步驟中，采集GPS數(shù)據(jù)信息是采用支持NMEA 0183協(xié)議的GPS終端，從采集到的GPS數(shù)據(jù)中提取經(jīng)度、緯度和海拔信息。
6.根據(jù)權(quán)利要求5所述的實現(xiàn)三維全景視頻的定位與播放的方法，其特征在于，該GPS 終端通過串行端口與外部計算機(jī)進(jìn)行通信，該GPS終端提供ASCII和二進(jìn)制兩種格式；所述從采集到的GPS數(shù)據(jù)中提取經(jīng)度、緯度和海拔信息包括GPS終端采用NMEA 0183格式的ASCII碼，一條完整的NMEA 0183語句是從起始符“$GPGGA”到終止符“<CRXLF>”為止的一段字符串，對于字符串 $GPGGA，050901，3931. 4449，N, 11643. 5123，Ε, 1,07,1. 4，76. 2， Μ, -7. 0，M，*65<CRXLF>，從NMEAO183協(xié)議標(biāo)準(zhǔn)可知在這些數(shù)據(jù)中，050901表示定位UTC時間，3931. 4449表示緯度值，N表示北緯，11643. 5123表示經(jīng)度值，E表示東經(jīng)；GPS終端從采集的每條NMEA0183語句中提取經(jīng)度、緯度和海拔數(shù)據(jù)段，然后將所述緯度值3931. 4449及 N，處理成北緯39度31. 4449分，同理經(jīng)度為116度43. 5123分。
7.根據(jù)權(quán)利要求1所述的實現(xiàn)三維全景視頻的定位與播放的方法，其特征在于，所述將采集的全景視頻信息與GPS數(shù)據(jù)信息進(jìn)行綁定是采用線性插值的方法使得每一幀的全景視頻信息都對應(yīng)一個GPS數(shù)據(jù)信息。
8.根據(jù)權(quán)利要求1所述的實現(xiàn)三維全景視頻的定位與播放的方法，其特征在于，所述將采集的全景視頻信息轉(zhuǎn)換為適合全景播放的flv格式的三維全景視頻，是從完整的數(shù)據(jù)中抽取全景視頻數(shù)據(jù)，通過圖像拼接的處理方式將全景視頻數(shù)據(jù)轉(zhuǎn)換成適合全景播放的 flv格式的三維全景視頻。
9.根據(jù)權(quán)利要求1所述的實現(xiàn)三維全景視頻的定位與播放的方法，其特征在于，所述將與全景視頻信息對應(yīng)的GPS數(shù)據(jù)信息轉(zhuǎn)換為web形式的位置地圖，是通過對完整數(shù)據(jù)中抽取每一幀全景視頻信息所對應(yīng)GPS數(shù)據(jù)來生成所需的web形式的位置地圖，通過GPS信息中的經(jīng)緯度信息來產(chǎn)生以該經(jīng)緯度為中心的一塊正方google地圖，產(chǎn)生方式是以網(wǎng)頁形式，通過javascript來實現(xiàn)，并通過時間變化來與視頻的播放保持一至。
10.根據(jù)權(quán)利要求1所述的實現(xiàn)三維全景視頻的定位與播放的方法，其特征在于，所述將與全景視頻信息對應(yīng)的GPS數(shù)據(jù)信息轉(zhuǎn)換為kml文件，是通過GPS信息來生成kml文件， 該kml文件通過google地球來播放。
11.根據(jù)權(quán)利要求1所述的實現(xiàn)三維全景視頻的定位與播放的方法，其特征在于，所述將該flv格式的三維全景視頻在網(wǎng)頁中進(jìn)行播放，并同步定位該三維全景視頻的位置，是實現(xiàn)基于web的全景視頻與對應(yīng)地圖位置的同步播放，地圖位置的顯示是是以網(wǎng)頁形式， 通過javascript來實現(xiàn)，并通過時間變化來與視頻的播放保持一至；而三維全景視頻的播放則是運用flaSh3D技術(shù)，通過網(wǎng)頁中嵌入交互式flash來實現(xiàn)fIv視頻的播放，在播放時能進(jìn)行俯仰及環(huán)視操作，并通過對FOV的控制來模擬遠(yuǎn)觀與近看效果。
12.一種實現(xiàn)三維全景視頻的定位與播放的系統(tǒng)，其特征在于，該系統(tǒng)包括全景視頻采集子系統(tǒng)，用于采集全景視頻信息，并保存該全景視頻信息；GPS信息采集與處理子系統(tǒng)，用于采集GPS數(shù)據(jù)信息，并從采集到的GPS數(shù)據(jù)中提取經(jīng)度、緯度和海拔信息；視頻生成與處理子系統(tǒng)，用于將采集的全景視頻信息轉(zhuǎn)換為適合全景播放的flv格式的三維全景視頻；地圖位置生成子系統(tǒng)，用于將與全景視頻信息對應(yīng)的GPS數(shù)據(jù)信息轉(zhuǎn)換為web形式的位置地圖或者kml文件；視頻的定位與播放子系統(tǒng)，用于將該flv格式的三維全景視頻在網(wǎng)頁中進(jìn)行播放，并同步定位該三維全景視頻的位置。
13.根據(jù)權(quán)利要求12所述的實現(xiàn)三維全景視頻的定位與播放的系統(tǒng)，其特征在于，所述全景視頻采集子系統(tǒng)采集全景視頻信息，是采用六通道的全景相機(jī)進(jìn)行的。
14.根據(jù)權(quán)利要求13所述的實現(xiàn)三維全景視頻的定位與播放的系統(tǒng)，其特征在于，所述全景視頻采集子系統(tǒng)采用六通道的全景相機(jī)采集全景視頻信息之后，保存該全景視頻信息，具體包括全景視頻采集子系統(tǒng)將該六通道的全景相機(jī)采集而來的原始視頻數(shù)據(jù)用一種自定義的數(shù)據(jù)結(jié)構(gòu)進(jìn)行保存，該自定義的數(shù)據(jù)結(jié)構(gòu)包括視頻頭結(jié)構(gòu)和視頻體結(jié)構(gòu)，其中視頻頭結(jié)構(gòu)依次定義該視頻的幀率、分辨率、圖片數(shù)、GPS數(shù)據(jù)大小和GPS數(shù)據(jù)偏移量；視頻體結(jié)構(gòu)定義了具體的視頻數(shù)據(jù)，而一幀該視頻數(shù)據(jù)由包含6幅圖像數(shù)據(jù)及三個浮點類型的GPS數(shù)據(jù)的幀結(jié)構(gòu)體構(gòu)成，而視頻體結(jié)構(gòu)正是由連續(xù)的幀結(jié)構(gòu)體組成。
15.根據(jù)權(quán)利要求14所述的實現(xiàn)三維全景視頻的定位與播放的系統(tǒng)，其特征在于，該視頻的幀率、分辨率、圖片數(shù)、GPS數(shù)據(jù)大小和GPS數(shù)據(jù)偏移量均為4個字節(jié)；該三個浮點類型的GPS數(shù)據(jù)包含的浮點類型分別為緯度、經(jīng)度和海拔。
16.根據(jù)權(quán)利要求12所述的實現(xiàn)三維全景視頻的定位與播放的系統(tǒng)，其特征在于，所述GPS信息采集與處理子系統(tǒng)采集GPS數(shù)據(jù)信息，是采用支持NMEA0183協(xié)議的GPS終端。
17.根據(jù)權(quán)利要求16所述的實現(xiàn)三維全景視頻的定位與播放的系統(tǒng)，其特征在于，該 GPS終端通過串行端口與外部計算機(jī)進(jìn)行通信，該GPS終端提供ASCII和二進(jìn)制兩種格式。
18.根據(jù)權(quán)利要求12所述的實現(xiàn)三維全景視頻的定位與播放的系統(tǒng)，其特征在于，所述視頻生成與處理子系統(tǒng)將采集的全景視頻信息轉(zhuǎn)換為適合全景播放的flv格式的三維全景視頻，是從完整的數(shù)據(jù)中抽取全景視頻數(shù)據(jù)，通過圖像拼接的處理方式將全景視頻數(shù)據(jù)轉(zhuǎn)換成適合全景播放的flv格式的三維全景視頻。
19.根據(jù)權(quán)利要求12所述的實現(xiàn)三維全景視頻的定位與播放的系統(tǒng)，其特征在于，所述地圖位置生成子系統(tǒng)將與全景視頻信息對應(yīng)的GPS數(shù)據(jù)信息轉(zhuǎn)換為web形式的位置地圖，是通過對完整數(shù)據(jù)中抽取每一幀全景視頻信息所對應(yīng)GPS數(shù)據(jù)來生成所需的web形式的位置地圖，通過GPS信息中的經(jīng)緯度信息來產(chǎn)生以該經(jīng)緯度為中心的一塊正方google地圖，產(chǎn)生方式是以網(wǎng)頁形式，通過javascript來實現(xiàn)，并通過時間變化來與視頻的播放保持一至。
20.根據(jù)權(quán)利要求12所述的實現(xiàn)三維全景視頻的定位與播放的系統(tǒng)，其特征在于，所述地圖位置生成子系統(tǒng)將與全景視頻信息對應(yīng)的GPS數(shù)據(jù)信息轉(zhuǎn)換為kml文件，是通過GPS 信息來生成kml文件，該kml文件通過google地球來播放。
21.根據(jù)權(quán)利要求12所述的實現(xiàn)三維全景視頻的定位與播放的系統(tǒng)，其特征在于，所述視頻的定位與播放子系統(tǒng)將該flv格式的三維全景視頻在網(wǎng)頁中進(jìn)行播放，并同步定位該三維全景視頻的位置，是實現(xiàn)基于web的全景視頻與對應(yīng)地圖位置的同步播放，地圖位置的顯示是是以網(wǎng)頁形式，通過javascript來實現(xiàn)，并通過時間變化來與視頻的播放保持一至；而三維全景視頻的播放則是運用flash3D技術(shù)，通過網(wǎng)頁中嵌入交互式flash來實現(xiàn) flv視頻的播放，在播放時能進(jìn)行俯仰及環(huán)視操作，并通過對FOV的控制來模擬遠(yuǎn)觀與近看效果。
22.根據(jù)權(quán)利要求12所述的實現(xiàn)三維全景視頻的定位與播放的系統(tǒng)，其特征在于，所述全景視頻采集子系統(tǒng)與所述GPS信息采集與處理子系統(tǒng)同步運行，全景視頻時序與GPS 信息數(shù)據(jù)時序保持同步，Google map中通過腳本控制當(dāng)前位置移動速度，使三維全景視頻的播放與該三維全景視頻的位置在地圖上顯示時是保持同步的。
全文摘要
本發(fā)明公開了一種實現(xiàn)三維全景視頻的定位與播放的方法及系統(tǒng)。該方法包括采集全景視頻信息和GPS數(shù)據(jù)信息；將采集的全景視頻信息與GPS數(shù)據(jù)信息進(jìn)行綁定；將采集的全景視頻信息轉(zhuǎn)換為適合全景播放的flv格式的三維全景視頻；將與全景視頻信息對應(yīng)的GPS數(shù)據(jù)信息轉(zhuǎn)換為web形式的位置地圖或者kml文件；將該flv格式的三維全景視頻在網(wǎng)頁中進(jìn)行播放，并同步定位該三維全景視頻的位置。利用本發(fā)明，可以生成不同清晰度的全景視頻，運用flash3D技術(shù)實現(xiàn)基于web的播放，能方便的進(jìn)行俯仰及環(huán)視操作，并通過對FOV的控制來模擬遠(yuǎn)觀與近看效果。
文檔編號H04N13/00GK102256154SQ20111021361
公開日2011年11月23日 申請日期2011年7月28日 優(yōu)先權(quán)日2011年7月28日
發(fā)明者秦樹鑫, 蔣永實 申請人:中國科學(xué)院自動化研究所