本發(fā)明涉及多媒體領(lǐng)域，具體涉及一種混合現(xiàn)實(shí)實(shí)境演示方法。

背景技術(shù)：

增強(qiáng)現(xiàn)實(shí)（AR），是一種實(shí)時(shí)地計(jì)算攝影機(jī)影像的位置及角度并加上相應(yīng)圖像的技術(shù)，這種技術(shù)的目標(biāo)是在屏幕上把虛擬世界套在現(xiàn)實(shí)世界并進(jìn)行互動，達(dá)到真實(shí)的環(huán)境和虛擬的物體實(shí)時(shí)地疊加到了同一個畫面或空間的目的。

虛擬現(xiàn)實(shí)（VR），是指采用以計(jì)算機(jī)為核心的現(xiàn)代高科技手段生成的逼真的視覺，聽覺，觸覺，嗅覺，味覺等一體化的虛擬環(huán)境，用戶借助一些特殊的輸入，輸出設(shè)備，采用自然的方式與虛擬世界的物體進(jìn)行交互，相互影響，從而產(chǎn)生親臨真實(shí)環(huán)境的感覺和體驗(yàn)。現(xiàn)有的VR技術(shù)，主要是通過兩個方向來實(shí)現(xiàn)的。第一種是通過硬件設(shè)備處理好圖像，用戶佩戴VR眼鏡，VR眼鏡僅提供顯示功能；第二種是對手機(jī)、平板等移動設(shè)備進(jìn)行分為左右雙屏并同時(shí)顯示的處理，用戶佩戴上VR眼鏡，透過VR眼鏡觀看移動設(shè)備的方式實(shí)現(xiàn)虛擬現(xiàn)實(shí)的功能的。

混合現(xiàn)實(shí)（MR），是虛擬現(xiàn)實(shí)技術(shù)的進(jìn)一步發(fā)展，該技術(shù)通過在虛擬環(huán)境中引入現(xiàn)實(shí)場景信息，在虛擬世界、現(xiàn)實(shí)世界和用戶之間搭起一個交互反饋的信息回路，以增強(qiáng)用戶體驗(yàn)的真實(shí)感。

這三種技術(shù)的目的都是為了給用戶帶來與現(xiàn)實(shí)世界不同的體驗(yàn)。增強(qiáng)現(xiàn)實(shí)而言，是在現(xiàn)實(shí)世界的基礎(chǔ)上加載虛擬的物體；虛擬現(xiàn)實(shí)，是讓用戶置身在一個完全虛擬的世界；混合現(xiàn)實(shí)，是完全模糊虛擬世界和現(xiàn)實(shí)世界的界限，以增強(qiáng)用戶體驗(yàn)的真實(shí)感。

例如，Curiscope公司的一種名為“Virtuali-Tee”的智能服裝，在各大眾籌平臺都擁有不錯的成績。這種T恤看上去更像是一種增強(qiáng)現(xiàn)實(shí)配件，即用戶可以通過專用智能手機(jī)軟件，來掃描T恤上的圖形并觀看到增強(qiáng)現(xiàn)實(shí)內(nèi)容，如內(nèi)臟等，面向教育領(lǐng)域，通過這種形式更形象地實(shí)現(xiàn)教學(xué)。

這樣的方式存在，用戶的沉浸感不強(qiáng)（由于虛擬的圖案是顯示在智能手機(jī)上的，只有當(dāng)智能手機(jī)完全遮擋住T恤時(shí)，用戶才能獲得較好的觀看體驗(yàn)），而且需要特定的T恤作為配件,由此導(dǎo)致用戶的體驗(yàn)單一的缺點(diǎn)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是針對用戶在使用現(xiàn)有設(shè)備時(shí)，沉浸感不強(qiáng)的技術(shù)問題，提供了一種混合現(xiàn)實(shí)實(shí)境演示方法。

本方案提供的基礎(chǔ)方案為：混合現(xiàn)實(shí)實(shí)境演示方法，主要用于使智能設(shè)備擁有混合現(xiàn)實(shí)的功能，包括如下步驟：

預(yù)設(shè)步驟，選取自帶有顯示模塊、拍攝模塊和處理模塊的智能設(shè)備，向該智能設(shè)備中添加識別特征庫和3D模型庫，識別特征庫內(nèi)的特征信息均有對應(yīng)編碼，識別特征庫內(nèi)的特征信息和3D模型庫內(nèi)的3D模型相關(guān)聯(lián)；

識別步驟，智能設(shè)備在將拍攝到的實(shí)景畫面與識別特征庫內(nèi)的特征信息進(jìn)行匹配，當(dāng)拍攝模塊拍攝到的實(shí)景畫面中的某一部分與識別特征庫內(nèi)的特征信息匹配程度超過預(yù)設(shè)閾值時(shí)，智能設(shè)備會記錄特征信息的編碼，智能設(shè)備根據(jù)編碼提取3D模型庫內(nèi)與特征信息相關(guān)聯(lián)的3D模型，實(shí)景畫面中能與識別特征庫內(nèi)的特征信息匹配的部分定義為標(biāo)識；

匹配步驟，處理模塊在識別區(qū)域根據(jù)標(biāo)識的姿態(tài)及大小構(gòu)建三維的跟蹤坐標(biāo)系，智能設(shè)備在跟蹤坐標(biāo)系中加載被智能設(shè)備提取的3D模型，顯示模塊顯示實(shí)景畫面與3D模型相交互的畫面，定義此時(shí)智能設(shè)備顯示的畫面為交互畫面；

分雙屏步驟，處理模塊將交互畫面進(jìn)行為分左右雙屏處理，左右屏顯示可通過VR眼鏡實(shí)現(xiàn)3D效果的畫面，顯示模塊顯示分左右雙屏后的畫面；

觀看步驟，將智能設(shè)備置于VR眼鏡中，用戶佩戴VR眼鏡對智能設(shè)備進(jìn)行觀看。

本方案的工作原理：首先，選取帶有顯示模塊、拍攝模塊和處理模塊的智能設(shè)備，并向智能設(shè)備中添加識別特征庫和3D模型庫。識別特征庫內(nèi)的特征信息和3D模型庫內(nèi)的3D模型相關(guān)聯(lián)。即一條特征信息與一個3D模型對應(yīng)，特性信息包括圖像信息。即在匹配步驟中，處理模塊可根據(jù)特征信息構(gòu)建一個平面，然后再構(gòu)建一條與該平面垂直的Z軸，平面內(nèi)根據(jù)特征信息的姿態(tài)構(gòu)建一個平面坐標(biāo)系，平面坐標(biāo)系與Z軸共同組成一個三維的跟蹤坐標(biāo)系。

用戶在佩戴上安裝有智能設(shè)備的VR眼鏡后，用戶可通過VR眼鏡看到智能設(shè)備拍攝到的實(shí)景畫面，此時(shí)的實(shí)景畫面是經(jīng)過分雙屏處理之后的畫面。

雖然正常的3D視屏的構(gòu)建是需要兩臺攝影機(jī)，拍攝人的雙眼在兩個視角觀看到的畫面，本發(fā)明中的智能設(shè)備在僅有一個攝像頭的情況下，將一個攝像頭拍攝到的畫面，先均分成兩個相同的視角，然后在將左半屏的畫面略微向右移動，右半屏的畫面略微向左移動，這樣兩個半屏的畫面在顯示時(shí)，略微角度的差異達(dá)到在用戶的觀看角度實(shí)現(xiàn)3D立體的效果。

當(dāng)智能設(shè)備在拍攝到實(shí)景畫面中的某一部分與識別特征庫內(nèi)的圖像匹配程度超過預(yù)設(shè)閾值時(shí)，智能設(shè)備將3D模型加載到實(shí)景畫面中，此時(shí)，智能設(shè)備的顯示模塊顯示實(shí)景畫面和虛擬動畫交互的畫面，此時(shí)顯示模塊顯示的畫面定義為交互畫面。

用戶頭部在移動的過程中，由于智能設(shè)備方位的改變，會讓智能設(shè)備與跟蹤坐標(biāo)系的相對位置發(fā)生改變，3D模型是加載在跟蹤坐標(biāo)系上的，跟蹤坐標(biāo)系的單位長度是根據(jù)標(biāo)識的大小確定的，因此在用戶在移動過程中，3D模型的大小也會隨著標(biāo)識的大小改變。模擬出用戶靠近會遠(yuǎn)離3D模型的效果，讓用戶感覺到3D模型被“固定”在標(biāo)識上。

交互畫面經(jīng)過處理模塊處理，進(jìn)行分雙屏步驟。此時(shí)智能設(shè)備是通過VR眼鏡佩戴在用戶頭上的，用戶通過VR眼鏡看到虛擬動畫具有立體感，實(shí)景畫面本身也具有立體感，用戶此時(shí)能夠得到沉浸式的體驗(yàn)。

優(yōu)選方案一：作為基礎(chǔ)方案的優(yōu)選方案，預(yù)設(shè)步驟中，向該智能設(shè)備添加的3D模型庫內(nèi)的3D模型是經(jīng)過分雙屏步驟處理后的3D模型，在識別步驟前，智能設(shè)備將拍攝到的實(shí)景畫面進(jìn)行分左右雙屏處理，顯示模塊顯示分左右雙屏后的實(shí)景畫面，然后再進(jìn)行識別步驟、匹配步驟、觀看步驟。3D模型庫內(nèi)的動畫先經(jīng)過分雙屏處理，在匹配步驟之后直接調(diào)用，能夠減輕處理模塊的負(fù)擔(dān)以及智能設(shè)備的相應(yīng)時(shí)間。

優(yōu)選方案二：作為優(yōu)選方案一的優(yōu)選方案：還包括識別步驟前的預(yù)處理步驟，智能設(shè)備會將拍攝到的實(shí)景畫面進(jìn)行灰度化、二值化處理。預(yù)處理步驟能夠提高識別步驟的識別效率。

優(yōu)選方案三：作為優(yōu)選方案二的優(yōu)選方案：識別步驟和匹配步驟的刷新速率為每秒30-120次。在實(shí)際應(yīng)用過程中，人眼的識別為每秒24幀，識別步驟和匹配步驟的刷新速率為每秒30-120次，能夠流暢的顯示3D模型庫內(nèi)的動畫，為用戶提供更好的沉浸式體驗(yàn)。

優(yōu)選方案四：作為方案三的優(yōu)選方案：預(yù)設(shè)步驟中選取的智能設(shè)備還具有姿態(tài)感應(yīng)模塊，預(yù)設(shè)步驟還包括向智能設(shè)備的顯示模塊中添加功能按鍵。姿態(tài)感應(yīng)模塊包括加速計(jì)、陀螺儀，姿態(tài)感應(yīng)模塊能夠判斷智能設(shè)備在空間中所處的姿態(tài)，用戶能夠通過擺動頭部，選中顯示模塊中的功能按鍵，達(dá)到不需要取下VR眼鏡，也能對智能設(shè)備進(jìn)行操作的目的，更加方便用戶使用。

優(yōu)選方案五：作為優(yōu)選方案四的優(yōu)選方案：分雙屏步驟是根據(jù)智能設(shè)備的顯示模塊的分辨率均分為左右雙屏。根據(jù)顯示模塊的分辨率分雙屏，能夠更好的將顯示模塊均分為兩塊分別顯示，用戶在使用時(shí)能夠獲得更好的觀看體驗(yàn)。

優(yōu)選方案六：作為優(yōu)選方案五的優(yōu)選方案：匹配步驟中，智能設(shè)備根據(jù)識別區(qū)域的尺寸調(diào)整播放區(qū)域的尺寸。智能識別拍攝到的某一部分的尺寸與該部分與智能設(shè)備的距離相關(guān)，用戶在使過程中，如果用戶與該部分的相對距離發(fā)生變化，播放區(qū)域的尺寸也發(fā)生變化，用戶在使用時(shí)能夠獲得跟更好的沉浸式體驗(yàn)。

附圖說明

圖1是本發(fā)明混合現(xiàn)實(shí)實(shí)境演示方法實(shí)施例使用示意圖；

圖2是本發(fā)明未識別到特定圖像時(shí)的示意圖；

圖3是本發(fā)明識別到特定圖像時(shí)的示意圖。

具體實(shí)施方式

下面通過具體實(shí)施方式對本發(fā)明作進(jìn)一步詳細(xì)的說明：

說明書附圖中的附圖標(biāo)記包括：智能手機(jī)1、暴風(fēng)魔鏡2、實(shí)景畫面3、展品31、虛擬畫面32、功能按鍵4。

實(shí)施例1

用戶在參觀博物館或者名勝古跡前，向用戶的智能手機(jī)1（還可以是平板電腦等可移動式智能設(shè)備，由于智能手機(jī)1的普及性，本實(shí)施例選用智能手機(jī)1）中添加識別特征庫和3D模型庫，添加識別特征庫和3D模型庫的步驟，可通過用戶下載手機(jī)APP的方式添加的用戶的智能手機(jī)1中。識別特征庫內(nèi)的圖像均有對應(yīng)的編碼，將一些特定物體圖像和與特定圖像相關(guān)的動畫添加手機(jī)中。如參觀故宮博物館時(shí)，將故宮博物館內(nèi)的展品31的圖像添加到識別特征庫內(nèi)，與該展品31關(guān)聯(lián)的動畫說明添加到3D模型庫內(nèi)。

用戶在使用時(shí)，佩戴上VR眼鏡，市面上關(guān)于VR眼鏡的產(chǎn)品非常多，從普通的紙盒組裝到包裝精美的暴風(fēng)魔鏡2，本實(shí)施例中選用的是暴風(fēng)魔鏡2。然后將智能手機(jī)1放置在暴風(fēng)魔鏡2中（如圖1所示）。

在未拍攝到特定的識別圖像時(shí)，智能手機(jī)1分雙屏顯示拍攝到的實(shí)景畫面3，用戶此時(shí)通過暴風(fēng)魔鏡2觀看到的是手機(jī)里顯示的實(shí)景畫面3（如圖2所示）。此時(shí)，不影響用戶的正常行走。智能手機(jī)1會將拍攝到的實(shí)景畫面3進(jìn)行灰度化、二值化處理。

當(dāng)用戶需要觀看展品31時(shí)，用戶實(shí)質(zhì)上是在通過智能手機(jī)1在觀看展品31，智能手機(jī)1會通過將灰度化、二值化的圖像與識別特征庫內(nèi)的圖像進(jìn)行對比，對比速率為每秒60次，當(dāng)拍攝到的畫面中的某一部分與識別特征庫內(nèi)的圖像匹配程度超過預(yù)設(shè)閾值時(shí)，智能手機(jī)1會記錄識別特征庫內(nèi)該圖像的編碼，并在識別出該展品31后播放與該展品31相關(guān)聯(lián)的動畫，此時(shí)智能手機(jī)1是分雙屏顯示實(shí)景畫面3與虛擬畫面32相交互的景象（如圖3所示）。

3D模型的大小可根據(jù)標(biāo)識的大小而調(diào)節(jié)。虛擬畫面32會隨著用戶的移動而發(fā)生變化，增強(qiáng)了用戶的沉浸式體驗(yàn)。

使用過程中，用戶的眼睛接收到的畫面均是智能手機(jī)1的屏幕通過暴風(fēng)魔鏡2展示給用戶的，無論是實(shí)景畫面3還是實(shí)景畫面3與虛擬畫面32相交互的景象都是同樣的路徑傳遞到用戶眼睛里，并且借用VR眼鏡，這樣可使得用戶獲得更好的沉浸式體驗(yàn)，將實(shí)景畫面3與虛擬畫面32的界限更加模糊化。

實(shí)施例2

與實(shí)施1相比，不同之處在于，還包括在手機(jī)APP中添加功能按鍵4。利用智能手機(jī)1電子羅盤的功能，用戶可通過擺動頭部選取功能按鍵4。如在手機(jī)APP中添加詳細(xì)說明的功能按鍵4，用戶在觀看展品31時(shí)，可駐足在展品31前，然后擺動頭部，智能手機(jī)1的電子羅盤感應(yīng)到手機(jī)的姿態(tài)發(fā)生改變，然后，用戶選取到功能按鍵4，智能手機(jī)1開始顯示該展品31的詳細(xì)說明。

實(shí)施例3

與實(shí)施例1、2相比，不同之處在于，本發(fā)明應(yīng)用在機(jī)械設(shè)計(jì)討論會議中，用戶通過在智能手機(jī)中1中下載APP的方式完成添加識別特征庫和3D模型庫，本實(shí)施例中的標(biāo)識是機(jī)械設(shè)計(jì)中的平面圖紙，3D模型是該平面圖紙的3D模型。

用戶圍坐在會議桌上，平面圖紙放置在會議桌上，用戶可通過佩戴好VR眼鏡之后，可觀看到機(jī)械設(shè)計(jì)的3D模型，但是不影響正常會議，并且用戶還能正常的手寫記錄會議內(nèi)容。

在智能手機(jī)丟失標(biāo)識后，即智能手機(jī)的攝像頭未拍攝到標(biāo)識，智能手機(jī)此時(shí)現(xiàn)實(shí)的是實(shí)景畫面，當(dāng)再次拍攝到標(biāo)識時(shí)，該標(biāo)識對應(yīng)的3D模型會重新加載，此時(shí)3D模型的姿態(tài)會根據(jù)標(biāo)識的姿態(tài)加載。

實(shí)施例4

與實(shí)施例1-3相比，不同之處在于，在本實(shí)施例中，還包括一種調(diào)整瞳距的方法，因每個人的瞳距均有細(xì)微的差異，在使用本發(fā)明的方法體驗(yàn)混合現(xiàn)實(shí)時(shí)，容易出現(xiàn)因瞳距不匹配而頭暈、惡心的情況。因此在本實(shí)施例中公開一種調(diào)整瞳距的方法。

用戶獲得最佳觀看體驗(yàn)的情況是，用戶的瞳孔、鏡片和畫面的中心三點(diǎn)一線，鏡片的調(diào)節(jié)可直接通過物理方式調(diào)節(jié)。兩塊鏡片分別嵌入兩個弧形的滑槽內(nèi)，兩個弧形滑槽呈“八”字形分布，在兩塊鏡片的一側(cè)上分別設(shè)有連桿，兩根連桿之間鉸接，兩根連桿的長度之和大于兩塊鏡片的間距，兩根連桿的鉸接點(diǎn)處設(shè)有調(diào)節(jié)螺栓，調(diào)節(jié)螺栓與兩根連桿形成一個倒置的“Y”型。調(diào)節(jié)鏡片的間距時(shí)，僅需要擰動調(diào)節(jié)螺栓，就能調(diào)節(jié)兩塊鏡片的距離，更好的適應(yīng)用戶的瞳距。

還包括一種調(diào)節(jié)手機(jī)顯示瞳距的方法，第一步，在手機(jī)分雙屏之后，分別在兩塊屏幕的中心顯示紅點(diǎn)；第二步，調(diào)節(jié)手機(jī)屏幕的大小，使得紅點(diǎn)之間的間距與兩塊鏡片之間的間距相等。即用戶調(diào)節(jié)到觀看紅點(diǎn)時(shí)，兩個紅點(diǎn)不會產(chǎn)生重影。這樣讓用戶能夠根據(jù)自身情況，先調(diào)節(jié)手機(jī)畫面的間距，然后調(diào)節(jié)鏡片，這樣就保證了用戶不會因瞳距不適應(yīng)而出現(xiàn)頭暈的情況。

當(dāng)然滑動鏡片的調(diào)節(jié)方式可能在使用時(shí)，用戶操作較為復(fù)雜，還提供一種簡易的調(diào)節(jié)瞳距的VR眼鏡，包括兩塊鏡片、外殼以及調(diào)節(jié)架，調(diào)節(jié)架包括左鏡框和右鏡框，左鏡框和右鏡框鉸接，兩塊鏡片分別固定在左鏡框和右鏡框上，外殼上設(shè)有滑槽，滑槽內(nèi)設(shè)有與滑槽滑動方向垂直的第一橫條紋，左鏡框和右鏡框的鉸接點(diǎn)處設(shè)有連接桿，滑槽處設(shè)有供連接桿穿過的條形孔，滑槽內(nèi)設(shè)有滑塊，滑塊上設(shè)有與第二橫條紋，連接桿與滑塊固定連接。兩塊鏡片是采用的紅藍(lán)鏡片，本發(fā)明分雙屏的步驟后，還對兩個屏幕中間的畫面做了分別剔除紅藍(lán)色并自動還原的步驟。通過調(diào)節(jié)兩塊鏡片相互之間的傾斜角度，達(dá)到調(diào)節(jié)瞳距的目的，最重要的是還不會影響觀看的畫質(zhì)體驗(yàn)。

實(shí)施例5

本發(fā)明應(yīng)用在戶外社交游戲中，將各類標(biāo)識分布在城市的各個角落，或者直接利用街景、商家的LOGO作為標(biāo)識，本實(shí)施例中的智能設(shè)備為市面上的智能手機(jī)1（如iPhone5），用戶通過下載APP的方式，向智能手機(jī)1中添加識別特征庫和3D模型庫，并且向智能手機(jī)1添加各個標(biāo)識在GPS定位系統(tǒng)中的位置。當(dāng)用戶拿智能手機(jī)1接近這些標(biāo)識時(shí)，智能手機(jī)1通過GPS定位系統(tǒng)確定手機(jī)與標(biāo)識之間的距離，并提醒用戶。

用戶帶上暴風(fēng)魔鏡，通過智能手機(jī)的顯示觀看不同的標(biāo)識的實(shí)景畫面3時(shí)，會在智能手機(jī)中調(diào)用與該標(biāo)識對應(yīng)的虛擬畫面32，并一起顯示給用戶。用戶之間還可基于GPS定位系統(tǒng)查看各自的位置，方便用戶在線下進(jìn)行交流。

以上所述的僅是本發(fā)明的實(shí)施例，方案中公知的具體結(jié)構(gòu)及特性等常識在此未作過多描述。應(yīng)當(dāng)指出，對于本領(lǐng)域的技術(shù)人員來說，在不脫離本發(fā)明結(jié)構(gòu)的前提下，還可以作出若干變形和改進(jìn)，這些也應(yīng)該視為本發(fā)明的保護(hù)范圍，這些都不會影響本發(fā)明實(shí)施的效果和專利的實(shí)用性。本申請要求的保護(hù)范圍應(yīng)當(dāng)以其權(quán)利要求的內(nèi)容為準(zhǔn)，說明書中的具體實(shí)施方式等記載可以用于解釋權(quán)利要求的內(nèi)容。