本發(fā)明涉及計(jì)算機(jī)圖形技術(shù)和虛擬現(xiàn)實(shí)技術(shù)，特別涉及一種虛擬場(chǎng)景體驗(yàn)系統(tǒng)的設(shè)計(jì)方法。

背景技術(shù)：

虛擬現(xiàn)實(shí)(Virtual Reality，簡(jiǎn)稱VR)技術(shù)由計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)仿真技術(shù)、人機(jī)交互技術(shù)、傳感技術(shù)、人工智能、多媒體技術(shù)等學(xué)科綜合而成，可生成視覺、聽覺、觸覺一體化的特定范圍的三維虛擬環(huán)境，使參與者獲得感知行為上的逼真體驗(yàn)。

目前，互聯(lián)網(wǎng)上的視頻網(wǎng)站以播放普通視頻為主，無法360度全方位的展示場(chǎng)景信息，這樣的2D視頻相對(duì)死板，難以給觀看者帶來豐富的視覺體驗(yàn)。

全景視頻(也稱全景影像)是指通過全景攝像機(jī)拍攝的全景視頻。該攝像機(jī)拍攝范圍覆蓋水平360度的區(qū)域，可以提供豐富的場(chǎng)景信息。全景視頻可使觀看者處于接近于真實(shí)的環(huán)境之中，獲得全新的感受。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)上述問題，本發(fā)明的目的在于提供一種虛擬場(chǎng)景體驗(yàn)系統(tǒng)的設(shè)計(jì)方法，該虛擬場(chǎng)景體驗(yàn)系統(tǒng)可給參與者帶來逼真的視覺體驗(yàn)。

本發(fā)明提供一種虛擬場(chǎng)景體驗(yàn)系統(tǒng)的設(shè)計(jì)方法，其包括如下步驟：

a通過全景攝像機(jī)采集全景影像；

b通過計(jì)算機(jī)圖形學(xué)以及三維建模方法建立三維虛擬模型；

c將所述全景影像中的物理影像信息融入到所述三維虛擬模型實(shí)現(xiàn)虛實(shí)融合而得到虛擬融合場(chǎng)景；

d建立用戶與所述虛擬融合場(chǎng)景之間的交互方式，搭建虛擬場(chǎng)景體驗(yàn)界面； 以及

e通過一沉浸式顯示裝置對(duì)所述虛擬場(chǎng)景體驗(yàn)界面進(jìn)行體驗(yàn)。

其中，步驟a具體為通過多點(diǎn)分布的固定式全景攝像機(jī)拍攝獲取固定式的全景影像，或者通過車載或/和裝于航空器的全景攝像機(jī)拍攝獲取移動(dòng)式的全景影像。

其中，步驟b中所述三維建模方法為基于圖形渲染和圖像的混合建模技術(shù)，具體為：根據(jù)不同圖像之間共享的圖像內(nèi)容來實(shí)現(xiàn)立體匹配從而獲得具有深度信息的環(huán)境圖像來作為輸入，并通過圖像處理技術(shù)對(duì)該圖像進(jìn)行反投影和插值運(yùn)算來繪制虛擬環(huán)境場(chǎng)景，以及利用計(jì)算機(jī)圖形學(xué)和圖像渲染技術(shù)對(duì)虛擬環(huán)境場(chǎng)景進(jìn)行建模和渲染。

其中，步驟b中所述三維虛擬模型為三維建筑模型、三維地圖模型和三維路線模型中的至少一種。

其中，步驟c中所述融入方法為首先通過全景影像注冊(cè)技術(shù)在底層提取全景圖像與三維模型之間的映射關(guān)系，然后在三維模型和全景圖像之間建立多分辨率、多映射方式的融合過程，最后根據(jù)用戶的交互和觀測(cè)視點(diǎn)選擇融合方式。

其中，步驟c具體為當(dāng)所述三維虛擬模型為三維建筑模型和/或三維地圖模型時(shí)，在三維虛擬模型中特定位置插入所述全景影像中的物理影像信息得到虛擬融合場(chǎng)景。

其中，步驟d建立用戶與所述虛擬融合場(chǎng)景之間的交互方式具體為通過語音識(shí)別和/或手勢(shì)識(shí)別實(shí)現(xiàn)互動(dòng)。

其中，步驟c具體為當(dāng)所述三維虛擬模型為三維路線模型時(shí)，對(duì)所述三維路線模型進(jìn)行精確定位，在當(dāng)前場(chǎng)景視點(diǎn)移動(dòng)的同時(shí)融入移動(dòng)式的全景影像得到虛擬融合場(chǎng)景。

其中，步驟d建立用戶與所述虛擬融合場(chǎng)景之間的交互方式具體為通過語音識(shí)別、手勢(shì)識(shí)別、鼠標(biāo)和鍵盤中的至少一種方式實(shí)現(xiàn)互動(dòng)。

其中，在步驟c之后步驟d之前還包括一在所述虛擬融合場(chǎng)景中增加定位信息、場(chǎng)景介紹、語音提示、可供用戶操控的場(chǎng)景切換列表及移動(dòng)路線圖的步驟。

相較于現(xiàn)有技術(shù)，本設(shè)計(jì)方法具有以下優(yōu)點(diǎn)：第一，由于將全景影像中的物理影像信息融入到所述三維虛擬模型實(shí)現(xiàn)虛實(shí)融合，因而得到的虛擬場(chǎng)景體 驗(yàn)界面具有高度的仿真性和逼真感，有效的實(shí)現(xiàn)了視頻從2D到3D的轉(zhuǎn)變，為消費(fèi)者提供了更加真實(shí)的視覺體驗(yàn)；第二，相比較于傳統(tǒng)的3D影視技術(shù)，本方法不再是單一的對(duì)有限視場(chǎng)角的影像進(jìn)行立體化，用戶可通過沉浸式顯示裝置對(duì)所述虛擬場(chǎng)景體驗(yàn)界面進(jìn)行體驗(yàn)，使真實(shí)的全景影像中的物理場(chǎng)景信息在虛擬的三維世界中得以呈現(xiàn)，還通過相應(yīng)的人機(jī)交互獲得逼真性強(qiáng)的影像體驗(yàn)效果；第三，該方法可結(jié)合互聯(lián)網(wǎng)，將不同現(xiàn)實(shí)環(huán)境的全景影像通過網(wǎng)絡(luò)連接起來，并疊加到三維虛擬模型中，達(dá)到穿越式的影像體驗(yàn)效果。

附圖說明

圖1是本發(fā)明所述虛擬場(chǎng)景體驗(yàn)系統(tǒng)的設(shè)計(jì)方法的流程圖。

圖2為本發(fā)明第一實(shí)施例所述虛擬場(chǎng)景體驗(yàn)界面的示意圖。

圖3為本發(fā)明第二實(shí)施例所述虛擬場(chǎng)景體驗(yàn)界面的示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施方式中的附圖，對(duì)本發(fā)明實(shí)施方式中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施方式僅僅是本發(fā)明一部分實(shí)施方式，而不是全部的實(shí)施方式?；诒景l(fā)明中的實(shí)施方式，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施方式，都屬于本發(fā)明保護(hù)的范圍。

請(qǐng)參閱圖1，本發(fā)明提供了一種虛擬場(chǎng)景體驗(yàn)系統(tǒng)的設(shè)計(jì)方法，其包括如下步驟：

a通過全景攝像機(jī)采集全景影像；

b通過計(jì)算機(jī)圖形學(xué)以及三維建模方法建立三維虛擬模型；

c將所述全景影像中的物理影像信息融入到所述三維虛擬模型實(shí)現(xiàn)虛實(shí)融合而得到虛擬融合場(chǎng)景；

d建立用戶與所述虛擬融合場(chǎng)景之間的交互方式，搭建虛擬場(chǎng)景體驗(yàn)界面；以及

e通過一沉浸式顯示裝置對(duì)所述虛擬場(chǎng)景體驗(yàn)界面進(jìn)行體驗(yàn)。

在步驟a中，可通過多點(diǎn)分布的固定式全景攝像機(jī)拍攝獲取固定式的全景影像，或者通過車載或/和裝于航空器的全景攝像機(jī)拍攝獲取移動(dòng)式的全景影像。 具體的，

固定式全景影像：通過多點(diǎn)分布的固定式全景攝像機(jī)拍攝，以覆蓋一定的區(qū)域面積，從而利用視頻平滑過渡技術(shù)來獲取具有場(chǎng)景切換效果的全景影像。

移動(dòng)式全景影像：通過車載全景和航空全景來記錄復(fù)雜或特殊路線的全景影像信息，并且通過穩(wěn)像技術(shù)來獲取移動(dòng)式的全景影像。

所述全景攝像機(jī)可為魚眼全景攝像機(jī)或多鏡頭拼接全景攝像機(jī)，優(yōu)選為多鏡頭拼接全景攝像機(jī)。該多鏡頭拼接全景攝像機(jī)是指將多路低像素的傳感器，以視場(chǎng)角為45度～60度的獨(dú)立短焦鏡頭封裝在統(tǒng)一的外殼中，將多路畫面按用戶需求拼接集成為360度高清全景畫面的攝像機(jī)。多鏡頭拼接全景攝像機(jī)的優(yōu)勢(shì)為在一定程度上擺脫了焦距的限制，在相同的條件下可看清楚更遠(yuǎn)的距離。

在步驟b中，通過計(jì)算機(jī)圖形學(xué)以及三維建模方法建立三維虛擬模型，來對(duì)真實(shí)的物理環(huán)境進(jìn)行精確建模，為后續(xù)的虛實(shí)融合做精確的定位支持。所述三維建模方法為主要基于圖形渲染和圖像的混合建模技術(shù)。該三維建模方法既有圖形渲染建模的交互型好、模型來源范圍廣的優(yōu)點(diǎn)，又有圖像建模的繪制速度快，逼真度高的優(yōu)點(diǎn)。具體為：

實(shí)物虛化：運(yùn)用基于圖像的建模技術(shù)將現(xiàn)實(shí)世界的真實(shí)三維環(huán)境(現(xiàn)實(shí)物體對(duì)象的集合)轉(zhuǎn)變?yōu)橛?jì)算機(jī)中的虛擬世界的三維環(huán)境的過程。圖像以其較高的分辨率和豐富的顏色和紋理細(xì)節(jié)成為三維虛擬建模中重要的數(shù)據(jù)來源。所述圖像的來源主要有兩類：一類是通過車載和機(jī)載等全景采集設(shè)備獲取具有較豐富的細(xì)節(jié)和紋理的周邊環(huán)境影像數(shù)據(jù)；另一類是通過Kinect等深度傳感器獲得周邊環(huán)境的深度數(shù)據(jù)。根據(jù)不同圖像之間共享的圖像內(nèi)容來實(shí)現(xiàn)立體匹配從而獲得具有深度信息的環(huán)境圖像來作為輸入，并通過圖像處理技術(shù)對(duì)該圖像進(jìn)行反投影、插值等運(yùn)算來繪制虛擬環(huán)境場(chǎng)景。

虛物實(shí)化：運(yùn)用基于圖形渲染的建模技術(shù)把人頭腦中的主觀意義的概念對(duì)象轉(zhuǎn)變?yōu)橛?jì)算機(jī)虛擬世界中可感知和可操作的對(duì)象的過程。利用計(jì)算機(jī)圖形學(xué)、圖像渲染技術(shù)對(duì)虛擬環(huán)境場(chǎng)景進(jìn)行建模和渲染，渲染后的虛擬環(huán)境更加逼近自然狀態(tài)下的景物，在視覺上看上去更加自然。在這一方法中，首先要利用三角形或其他多邊形分解整個(gè)虛擬環(huán)境中的景物，然后在特定的視角下，由計(jì)算機(jī)處理這些細(xì)化的多邊形，最后通過著色、消隱、光照以及投影等一系列繪制過程，產(chǎn)生虛擬場(chǎng)景。虛擬環(huán)境中，三維物體一般由多邊形造型來表現(xiàn)，在處理 上采用多邊形頂點(diǎn)的信息進(jìn)行描述和存儲(chǔ)。通過幾何建模技術(shù)可對(duì)虛擬環(huán)境中的建筑進(jìn)行立體化建模，同時(shí)增加虛擬環(huán)境中的景物信息，而產(chǎn)生更加逼真的效果。另外，還需要添加照明信息，常用的照明模型為Phong模型。

所述三維虛擬模型為三維建筑模型、三維地圖模型和三維路線模型中的至少一種。具體的，

三維建筑模型：對(duì)三維的物理建筑(如：社區(qū)、公司、醫(yī)院等)進(jìn)行精確建模，方便室內(nèi)錄制的固定式全景影像插入。

三維地圖模型：對(duì)特定面積區(qū)域的地形(如：旅游風(fēng)景區(qū)、熱帶森林、游樂場(chǎng)等)實(shí)景區(qū)域進(jìn)行精確建模，方便室外錄制的固定式全景影像插入。

三維路線模型：對(duì)行車或飛機(jī)路線進(jìn)行精確建模，方便移動(dòng)式全景影像融入。

在步驟c中，將真實(shí)世界中的物理影像信息疊加到三維虛擬模型中。根據(jù)所述全景視頻以及三維虛擬模型的不同具體如下：

在三維建筑模型和三維地圖模型中的特定位置插入固定式全景影像中的物理影像信息，以便在三維虛擬模型演示的同時(shí)，在特殊位置切入對(duì)應(yīng)實(shí)際位置的全景影像中的物理影像信息，增強(qiáng)三維模型的真實(shí)感和表達(dá)能力。

對(duì)三維路線模型進(jìn)行精確定位，在當(dāng)前場(chǎng)景視點(diǎn)移動(dòng)的同時(shí)融入移動(dòng)式全景影像中的物理影像信息，實(shí)現(xiàn)虛實(shí)一體化表達(dá)。

具體融入方法如下：

首先通過全景影像注冊(cè)技術(shù)在底層提取全景圖像與三維模型之間的映射關(guān)系，使得全景圖像能夠完美融合到三維模型中，并為隨后的融合表達(dá)模型提供重要的基礎(chǔ)。圖形和圖像簡(jiǎn)單融合表達(dá)模型對(duì)整個(gè)系統(tǒng)的渲染效率和可視化效果起著決定性作用。然后在全景影像注冊(cè)、匹配的基礎(chǔ)上，表達(dá)模型會(huì)在三維模型和全景圖像之間建立多分辨率、多映射方式的融合過程，最后根據(jù)用戶的交互和觀測(cè)視點(diǎn)合理選擇最佳的融合方式，使得虛擬融合場(chǎng)景的建立、渲染更加高效。

具體融入步驟如下：

⑴全景影像在三維場(chǎng)景中的位置匹配：通過360度全景影像獲得相對(duì)豐富的空間信息，提供足夠多的特征匹配點(diǎn)，易于全景影像與三維空間模型之間建立更多的特征匹配點(diǎn)。利用全景影像提供的豐富的空間場(chǎng)景細(xì)節(jié)信息，能夠?qū)? 現(xiàn)全景影像與三維虛擬空間場(chǎng)景的準(zhǔn)確投影。此外，通過提取全景影像中的特征信息，與三維虛擬模型進(jìn)行匹配可獲得全景影像在三維虛擬場(chǎng)景中的位置點(diǎn)。

⑵基于圖形圖像融合的虛擬融合場(chǎng)景：為快速渲染對(duì)象，并使顯示效果符合人類的視覺特性，采用視點(diǎn)與物體的距離做參考標(biāo)準(zhǔn)，當(dāng)距離較近時(shí)，對(duì)景物劃分更多更細(xì)的三角形，描繪豐富的細(xì)節(jié)；當(dāng)距離較遠(yuǎn)時(shí)，選擇較粗略的模型。同時(shí)在不同視角下，自動(dòng)選擇合適視點(diǎn)信息并自適應(yīng)調(diào)節(jié)景物細(xì)化模型。虛擬場(chǎng)景中的全景影像應(yīng)隨著視角的變化而顯示其對(duì)應(yīng)角度下的圖像，避免由于幾何位置關(guān)系的圖像切換的錯(cuò)位感，還根據(jù)用戶視角的變化，通過圖像配準(zhǔn)技術(shù)自動(dòng)顯示該視角下的全景影像，并且能夠根據(jù)用戶視角變換自動(dòng)切換，自適應(yīng)滿足用戶觀察視點(diǎn)變化需求。

在步驟c之后步驟d之前還包括一在所述虛擬融合場(chǎng)景中增加增添額外的數(shù)據(jù)信息的步驟，以實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)感的效果。該額外的數(shù)據(jù)信息可包括定位信息、場(chǎng)景介紹、語音提示、可供用戶操控的場(chǎng)景切換列表及移動(dòng)路線圖等。

在步驟d中，對(duì)虛擬融合場(chǎng)景添加多通道交互技術(shù)，并在虛擬現(xiàn)實(shí)頭盔中進(jìn)行場(chǎng)景繪制，帶給用戶沉浸式的體驗(yàn)。多通道交互(Multi-Modal Interaction，MMI)是一種使用多種通道與計(jì)算機(jī)通信的人機(jī)交互方式。它既適應(yīng)了“以人為中心”的自然交互準(zhǔn)則，也推動(dòng)了互聯(lián)網(wǎng)時(shí)代信息產(chǎn)業(yè)快速發(fā)展。通道涵蓋了用戶表達(dá)意圖、執(zhí)行動(dòng)作或感知反饋信息的各種通信方法，如言語、眼神、臉部表情、唇動(dòng)、手動(dòng)、手勢(shì)、頭動(dòng)、肢體姿勢(shì)、觸覺、嗅覺或味覺等。所述虛擬場(chǎng)景體驗(yàn)界面具有的人工交互手段主要有：

⑴手勢(shì)交互：利用具有統(tǒng)一操作規(guī)范和標(biāo)準(zhǔn)的手勢(shì)規(guī)則，通過使用不同數(shù)目的手指對(duì)其進(jìn)行敲擊或者滑動(dòng)等手段來實(shí)現(xiàn)虛擬場(chǎng)景中設(shè)計(jì)的不同功能。通過上述不同的觸摸方式，不僅可實(shí)現(xiàn)平臺(tái)的基本操作，而且還能夠與全景影像信息進(jìn)行多種形式的互動(dòng)，實(shí)現(xiàn)場(chǎng)景視角切換，場(chǎng)景切換等功能。

⑵語音交互：通過加入類似于SIRI的語音助理系統(tǒng)，利用該語音助理系統(tǒng)中的自然語言處理技術(shù)，可與虛擬空間進(jìn)行直接語言交流來進(jìn)一步強(qiáng)化用戶體驗(yàn)感，降低操作難度，使得用戶與虛擬場(chǎng)景之間的交流更為便捷。還可利用最新的中文/英文語音識(shí)別技術(shù)來對(duì)用戶的語言表達(dá)進(jìn)行理解并完成系統(tǒng)中的諸如與虛擬語音助手之間的問答環(huán)節(jié)。

可以理解，還可依靠鍵盤、鼠標(biāo)及其他的交互方式來實(shí)現(xiàn)用戶和虛擬融合 場(chǎng)景中全景影像的互動(dòng)。具體的，對(duì)由固定式的全景影像建立的靜態(tài)虛擬融合場(chǎng)景，可通過語音識(shí)別和/或手勢(shì)識(shí)別實(shí)現(xiàn)場(chǎng)景互動(dòng)。對(duì)由移動(dòng)式的全景影像建立的動(dòng)態(tài)虛擬融合場(chǎng)景，除了運(yùn)用語音識(shí)別和/或手勢(shì)識(shí)別交互方式外，還可通過鼠標(biāo)和/或鍵盤實(shí)現(xiàn)場(chǎng)景互動(dòng)。

在步驟e中，所述沉浸式顯示裝置可為可穿戴式虛擬頭盔。該可穿戴式虛擬頭盔可通過計(jì)算機(jī)軟件以及數(shù)據(jù)交互、云端交互來實(shí)現(xiàn)虛擬現(xiàn)實(shí)功能，如Oculus Rift頭戴式顯示器。該可穿戴式虛擬頭盔可以通過DVI、HDMI、micro USB接口連接電腦或游戲機(jī)給用戶帶來沉浸式體驗(yàn)，其視場(chǎng)角大于普通顯示設(shè)備，并且可以通過陀螺儀來控制視角，戴上后能帶來身臨其境的三維場(chǎng)景體驗(yàn)。

相較于現(xiàn)有技術(shù)，本設(shè)計(jì)方法具有以下優(yōu)點(diǎn)：第一，由于將全景影像中的物理影像信息融入到所述三維虛擬模型實(shí)現(xiàn)虛實(shí)融合，因而得到的虛擬場(chǎng)景體驗(yàn)界面具有高度的仿真性和逼真感，有效的實(shí)現(xiàn)了視頻從2D到3D的轉(zhuǎn)變，為消費(fèi)者提供了更加真實(shí)的視覺體驗(yàn)；第二，相比較于傳統(tǒng)的3D影視技術(shù)，本方法不再是單一的對(duì)有限視場(chǎng)角的影像進(jìn)行立體化，用戶可通過沉浸式顯示裝置對(duì)所述虛擬場(chǎng)景體驗(yàn)界面進(jìn)行體驗(yàn)，使真實(shí)的全景影像中的物理場(chǎng)景信息在虛擬的三維世界中得以呈現(xiàn)，還通過相應(yīng)的人機(jī)交互獲得逼真性強(qiáng)的影像體驗(yàn)效果；第三，該方法可結(jié)合互聯(lián)網(wǎng)，將不同現(xiàn)實(shí)環(huán)境的全景影像通過網(wǎng)絡(luò)連接起來，并疊加到三維虛擬模型中，達(dá)到穿越式的影像體驗(yàn)效果。

下面結(jié)合具體實(shí)施例對(duì)本發(fā)明的虛擬場(chǎng)景體驗(yàn)系統(tǒng)的設(shè)計(jì)方法進(jìn)行說明：

第一實(shí)施例

所述虛擬場(chǎng)景體驗(yàn)系統(tǒng)的設(shè)計(jì)方法為獲得靜態(tài)虛擬場(chǎng)景體驗(yàn)界面體驗(yàn)而設(shè)計(jì)，具體以旅游景點(diǎn)為例。該方法包括如下步驟：

a通過多點(diǎn)分布的固定式全景攝像機(jī)采集全景影像；

b通過計(jì)算機(jī)圖形學(xué)以及三維建模方法建立三維虛擬模型；

c將所述全景影像中的物理影像信息融入到所述三維虛擬模型實(shí)現(xiàn)虛實(shí)融合而得到靜態(tài)虛擬融合場(chǎng)景；

d建立用戶與所述靜態(tài)虛擬融合場(chǎng)景之間的交互方式，搭建靜態(tài)虛擬場(chǎng)景體驗(yàn)界面；以及

e通過一沉浸式顯示裝置對(duì)所述靜態(tài)虛擬場(chǎng)景體驗(yàn)界面進(jìn)行體驗(yàn)。

在步驟a中，在旅游景區(qū)的熱門景點(diǎn)處，成立全景攝像機(jī)的錄制點(diǎn)，安裝所述全景攝像機(jī)來拍攝360度全景視頻，提供多點(diǎn)固定式的全景影像信息來源。

步驟c具體為：

對(duì)實(shí)際的旅游景區(qū)進(jìn)行精確建模，并對(duì)熱門景點(diǎn)處進(jìn)行位置標(biāo)注，標(biāo)注處嵌入實(shí)際拍攝點(diǎn)的全景影像的信息；以及

對(duì)嵌入三維虛擬模型中的影像信息進(jìn)行進(jìn)一步的編輯，增添其他豐富的數(shù)據(jù)信息(如：語音解說，字幕介紹等)，以實(shí)現(xiàn)虛擬導(dǎo)游的作用。

步驟d及e具體為：將搭建的靜態(tài)虛擬場(chǎng)景體驗(yàn)界面通過虛擬頭盔進(jìn)行沉浸式的場(chǎng)景體驗(yàn)以及人工交互。用戶佩戴上虛擬頭盔后眼前展現(xiàn)的如圖2所示的虛擬場(chǎng)景界面。虛擬頭盔上的傳感器數(shù)據(jù)可對(duì)當(dāng)前的三維視頻空間進(jìn)行實(shí)時(shí)操控，當(dāng)佩戴者旋轉(zhuǎn)一定角度時(shí)，陀螺儀可提供角度數(shù)據(jù)來調(diào)整360度全景影像信息的當(dāng)前視角。用戶可通過語音交互技術(shù)來切換當(dāng)前場(chǎng)景，通過手勢(shì)識(shí)別技術(shù)來對(duì)當(dāng)前的全景影像信息進(jìn)行放大縮小。

第二實(shí)施例

所述虛擬場(chǎng)景體驗(yàn)系統(tǒng)的設(shè)計(jì)方法為獲得動(dòng)態(tài)虛擬場(chǎng)景體驗(yàn)界面體驗(yàn)而設(shè)計(jì)。該方法包括如下步驟：

a通過移動(dòng)式全景攝像機(jī)采集全景影像；

b通過計(jì)算機(jī)圖形學(xué)以及三維建模方法建立三維虛擬模型；

c將所述全景影像中的物理影像信息融入到所述三維虛擬模型實(shí)現(xiàn)虛實(shí)融合而得到動(dòng)態(tài)虛擬融合場(chǎng)景；

d建立用戶與所述動(dòng)態(tài)虛擬融合場(chǎng)景之間的交互方式，搭建動(dòng)態(tài)虛擬場(chǎng)景體驗(yàn)界面；以及

e通過一沉浸式顯示裝置對(duì)所述動(dòng)態(tài)虛擬場(chǎng)景體驗(yàn)界面進(jìn)行體驗(yàn)。

在步驟a中，通過車載全景和航空全景來記錄復(fù)雜或特殊路線的全景影像，并且通過穩(wěn)像技術(shù)來獲取具有防抖效果的移動(dòng)式全景畫面。

步驟c具體為：

對(duì)實(shí)際的車載全景拍攝路線或航空全景拍攝路線進(jìn)行精確建模，并對(duì)當(dāng)前的場(chǎng)景視點(diǎn)進(jìn)行精確定位，在當(dāng)前場(chǎng)景視點(diǎn)移動(dòng)的同時(shí)融入移動(dòng)式影像，實(shí)現(xiàn)虛實(shí)一體化表達(dá)；以及

對(duì)嵌入三維虛擬模型中的影像信息進(jìn)行進(jìn)一步的編輯，增添其他豐富的數(shù) 據(jù)信息(如：語音解說，字幕提示，區(qū)域路線圖等)，實(shí)現(xiàn)虛擬導(dǎo)航的作用。

步驟d及e具體為：將搭建的動(dòng)態(tài)虛擬場(chǎng)景體驗(yàn)界面通過虛擬頭盔進(jìn)行沉浸式的場(chǎng)景體驗(yàn)以及人工交互。用戶佩戴上虛擬頭盔后眼前展現(xiàn)的如圖3所示的虛擬場(chǎng)景界面。虛擬頭盔上的傳感器數(shù)據(jù)可對(duì)當(dāng)前的三維視頻空間進(jìn)行實(shí)時(shí)操控，當(dāng)佩戴者旋轉(zhuǎn)一定角度時(shí)，陀螺儀可提供角度數(shù)據(jù)來調(diào)整360度全景影像信息的當(dāng)前視角。同時(shí)，用戶可通過人工交互技術(shù)來對(duì)當(dāng)前三維空間進(jìn)行信息交換，如：可通過鼠標(biāo)點(diǎn)擊界面上的區(qū)域定位圖來定位當(dāng)前的場(chǎng)景視點(diǎn)、可通過鍵盤上的方向鍵來控制視點(diǎn)移動(dòng)方向、同時(shí)可通過語音交互技術(shù)來選擇所需加載的移動(dòng)路線圖。

以上所述是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也視為本發(fā)明的保護(hù)范圍。