混合現(xiàn)實(shí)全息對(duì)象開發(fā)的制作方法
【專利摘要】提供一種用于呈現(xiàn)自適應(yīng)于混合現(xiàn)實(shí)環(huán)境的全息對(duì)象的系統(tǒng)和相關(guān)方法。在一個(gè)示例中，全息對(duì)象呈現(xiàn)程序從目標(biāo)物理環(huán)境捕捉物理環(huán)境數(shù)據(jù)并創(chuàng)建包括具有相關(guān)聯(lián)的特性的物理對(duì)象的該環(huán)境的模型。該程序標(biāo)識(shí)用于在顯示設(shè)備的顯示器上顯示的全息對(duì)象，該全息對(duì)象包括一個(gè)或多個(gè)規(guī)則，該規(guī)則將檢測(cè)到的環(huán)境條件和／或物理對(duì)象的特性與全息對(duì)象的顯示模式相鏈接。該程序基于檢測(cè)到的環(huán)境條件和／或物理對(duì)象的特性，應(yīng)用一個(gè)或多個(gè)規(guī)則來選擇全息、對(duì)象的顯示模式。
【專利說明】混合現(xiàn)實(shí)全息對(duì)象開發(fā)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及全息對(duì)象，尤其涉及自適應(yīng)混合現(xiàn)實(shí)全息對(duì)象。
【背景技術(shù)】
[0002]增強(qiáng)或混合現(xiàn)實(shí)設(shè)備可以在各種現(xiàn)實(shí)世界環(huán)境和場合中使用，以提供由全息對(duì)象和其他虛擬現(xiàn)實(shí)信息增強(qiáng)的現(xiàn)實(shí)世界視圖。取決于使用混合現(xiàn)實(shí)設(shè)備的現(xiàn)實(shí)世界環(huán)境和場合，給定全息對(duì)象或其他虛擬現(xiàn)實(shí)信息可能適于或可能不適于這種環(huán)境和/或場合。例如，混合現(xiàn)實(shí)保齡球視頻游戲可以利用與實(shí)物大小一樣的全息保齡球球道和球瓶。這種全息對(duì)象可能適于在其中裝得下保齡球球道的寬敞空間進(jìn)行的游戲，而不適于在較狹小的空間進(jìn)行的游戲，例如較小的起居室。
[0003]準(zhǔn)確預(yù)測(cè)將使用應(yīng)用程序或?qū)ο蟮默F(xiàn)實(shí)世界環(huán)境和場合會(huì)向混合現(xiàn)實(shí)應(yīng)用程序和/或全息對(duì)象的開發(fā)者提出挑戰(zhàn)。因此，對(duì)于這些開發(fā)者來說，難以創(chuàng)建適于各種最終使用環(huán)境和場合的全息對(duì)象。

【發(fā)明內(nèi)容】

[0004]為了解決上述一個(gè)或多個(gè)問題，提供一種自適應(yīng)全息對(duì)象呈現(xiàn)系統(tǒng)和相關(guān)方法，該系統(tǒng)用于呈現(xiàn)自適應(yīng)于混合現(xiàn)實(shí)環(huán)境的全息對(duì)象。在一個(gè)示例中，自適應(yīng)全息呈現(xiàn)系統(tǒng)可包括顯示設(shè)備和由該顯示設(shè)備的處理器執(zhí)行的全息對(duì)象呈現(xiàn)程序。該全息對(duì)象呈現(xiàn)程序可配置為從目標(biāo)物理環(huán)境捕捉物理環(huán)境數(shù)據(jù)。該全息對(duì)象呈現(xiàn)程序可基于捕捉到的物理環(huán)境數(shù)據(jù)創(chuàng)建目標(biāo)物理環(huán)境的模型，該模型包括具有相關(guān)聯(lián)的物理對(duì)象特性的所標(biāo)識(shí)出的物理對(duì)象。
[0005]該全息對(duì)象呈現(xiàn)程序可標(biāo)識(shí)用于在該顯示設(shè)備的顯示器上顯示的全息對(duì)象，該全息、對(duì)象包括一個(gè)或多個(gè)規(guī)則，該規(guī)則將檢測(cè)到的環(huán)境條件和/或所標(biāo)識(shí)的物理對(duì)象的物理對(duì)象特性與該全息對(duì)象的顯示模式進(jìn)行鏈接。然后，該全息對(duì)象呈現(xiàn)程序可基于檢測(cè)到的環(huán)境條件和/或所標(biāo)識(shí)的物理對(duì)象的物理對(duì)象特性，應(yīng)用該一個(gè)或多個(gè)規(guī)則來選擇該全息對(duì)象的顯示模式。
[0006]在另一個(gè)示例中，提供一種用于開發(fā)自適應(yīng)于混合現(xiàn)實(shí)環(huán)境的全息對(duì)象的方法。該方法可包括確定包括物理對(duì)象特性和相關(guān)聯(lián)的值范圍的物理環(huán)境數(shù)據(jù)模式。多個(gè)可能的目標(biāo)物理環(huán)境中的每一個(gè)可由用這些物理對(duì)象特性中的每一個(gè)的特定物理數(shù)據(jù)值填充的物理環(huán)境數(shù)據(jù)模式的實(shí)例來表示。該方法還可確定包括虛擬環(huán)境特征和相關(guān)聯(lián)的值范圍的虛擬環(huán)境數(shù)據(jù)模式。多個(gè)可能的虛擬環(huán)境中的每一個(gè)可由用這些虛擬環(huán)境特征中的每一個(gè)的特定虛擬數(shù)據(jù)值填充的虛擬環(huán)境數(shù)據(jù)模式的實(shí)例來表示。
[0007]該方法可在顯示器上顯示全息對(duì)象創(chuàng)建界面，該全息對(duì)象創(chuàng)建界面配置為顯示用于接收對(duì)應(yīng)于該全息對(duì)象的顯示模式的用戶輸入的至少一個(gè)選擇器，該全息對(duì)象的顯示模式基于物理環(huán)境數(shù)據(jù)模式的一個(gè)或多個(gè)物理對(duì)象特性和/或基于虛擬環(huán)境數(shù)據(jù)模式的一個(gè)或多個(gè)虛擬環(huán)境特征。該方法可經(jīng)由該選擇器接收對(duì)應(yīng)于顯示模式的用戶輸入，并可生成包括該顯示模式的全息對(duì)象來作為輸出。所生成的全息對(duì)象可配置為由全息對(duì)象呈現(xiàn)程序根據(jù)該顯示模式在顯示設(shè)備上呈現(xiàn)，其中目標(biāo)物理環(huán)境可通過顯示設(shè)備來查看。
[0008]該
【發(fā)明內(nèi)容】
用于以簡化的形式介紹概念的選集，其將在下面的【具體實(shí)施方式】中進(jìn)一步描述。該
【發(fā)明內(nèi)容】
并不打算標(biāo)識(shí)所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不打算用于限制所要求保護(hù)主題的范圍。而且，所要求保護(hù)的主題不限于本說明書任何部分記載的克服任一或所有缺陷的實(shí)施方案。
【專利附圖】

【附圖說明】
[0009]圖1是根據(jù)本公開內(nèi)容的一實(shí)施例的自適應(yīng)全息對(duì)象呈現(xiàn)系統(tǒng)的示意圖。
[0010]圖2是圖1的計(jì)算設(shè)備的更詳細(xì)的示意圖。
[0011]圖3示出根據(jù)本公開內(nèi)容的一實(shí)施例的示例性頭戴式顯示設(shè)備。
[0012]圖4是物理環(huán)境的示意圖，其示出由圖1的自適應(yīng)全息對(duì)象呈現(xiàn)系統(tǒng)生成的全息對(duì)象和戴著頭戴式顯示設(shè)備的用戶。
[0013]圖5A和5B是根據(jù)本公開內(nèi)容的一實(shí)施例的用于呈現(xiàn)自適應(yīng)于混合現(xiàn)實(shí)環(huán)境的全息對(duì)象的方法的流程圖。
[0014]圖6是根據(jù)本公開內(nèi)容的另一實(shí)施例的自適應(yīng)全息對(duì)象開發(fā)系統(tǒng)的示意圖。
[0015]圖7是根據(jù)本公開內(nèi)容的一實(shí)施例的用于開發(fā)自適應(yīng)于混合現(xiàn)實(shí)環(huán)境的全息對(duì)象的方法的流程圖。
[0016]圖8是計(jì)算設(shè)備的一實(shí)施例的簡化示意圖。
【具體實(shí)施方式】
[0017]圖1示出用于呈現(xiàn)自適應(yīng)于混合現(xiàn)實(shí)環(huán)境12的全息對(duì)象的自適應(yīng)全，息對(duì)象呈現(xiàn)系統(tǒng)10的一個(gè)實(shí)施例的示意圖。再參照?qǐng)D2，自適應(yīng)全息對(duì)象呈現(xiàn)系統(tǒng)10包括在計(jì)算設(shè)備22的大容量存儲(chǔ)18中存儲(chǔ)的全息對(duì)象呈現(xiàn)程序14。全息對(duì)象呈現(xiàn)程序14可以加載到存儲(chǔ)器26中，并且由計(jì)算設(shè)備22的處理器30執(zhí)行，以執(zhí)行在下文中更詳細(xì)描述的一個(gè)或多個(gè)方法和過程。
[0018]在一個(gè)示例中，全息對(duì)象呈現(xiàn)程序14可生成用于在諸如頭戴式顯示(HMD)設(shè)備38等顯示設(shè)備上顯示的虛擬環(huán)境34設(shè)備。將理解，全息對(duì)象呈現(xiàn)程序14可以利用其他類型的顯示設(shè)備，包括但不限于透明顯示器、手持式顯示器、使用背景相機(jī)覆蓋的顯示器和任何其他適當(dāng)類型的顯示器。如下文中更詳細(xì)地解釋的，虛擬環(huán)境34可包括包含一個(gè)或多個(gè)顯示模式的一個(gè)或多個(gè)全息對(duì)象78。在其他示例中，虛擬環(huán)境34可由經(jīng)由網(wǎng)絡(luò)42由計(jì)算設(shè)備22訪問的分開的虛擬環(huán)境生成程序(未示出)生成。將理解，虛擬環(huán)境34可以提供交互式視頻游戲、動(dòng)畫體驗(yàn)、或其他適當(dāng)?shù)碾娮佑螒蚧蝮w驗(yàn)的形式的增強(qiáng)現(xiàn)實(shí)體驗(yàn)。
[0019]HMD設(shè)備38包括透明顯示器58，通過該透明顯示器用戶可以觀看目標(biāo)物理環(huán)境50。HMD設(shè)備38還可從目標(biāo)物理環(huán)境50捕捉物理環(huán)境數(shù)據(jù)46。目標(biāo)物理環(huán)境50可包括一個(gè)或多個(gè)物理對(duì)象，諸如第一物理對(duì)象52和第二物理對(duì)象54。通過使用這種物理環(huán)境數(shù)據(jù)46，全息對(duì)象呈現(xiàn)程序14可創(chuàng)建目標(biāo)物理環(huán)境50的模型56。如下文中更詳細(xì)的解釋，模型56可包括從目標(biāo)物理環(huán)境50中標(biāo)識(shí)的一個(gè)或多個(gè)物理對(duì)象，每一個(gè)物理對(duì)象具有相關(guān)聯(lián)的物理對(duì)象特性。[0020]計(jì)算設(shè)備22可使用有線連接與HMD設(shè)備38可操作地連接，或可采用經(jīng)由WiF1、藍(lán)牙或任何其他適當(dāng)?shù)臒o線通信協(xié)議的無線連接。另外，在圖1中示出的示例示出了計(jì)算設(shè)備22作為HMD設(shè)備38中的集成組件。將理解，在其他示例中，計(jì)算設(shè)備22可以是與HMD設(shè)備38分離的組件。在這些示例中，計(jì)算設(shè)備22可采取臺(tái)式計(jì)算設(shè)備、移動(dòng)計(jì)算設(shè)備(諸如智能電話，膝上型、筆記本或平板計(jì)算機(jī))、網(wǎng)絡(luò)計(jì)算機(jī)、家庭娛樂計(jì)算機(jī)、交互式電視、游戲系統(tǒng)或其他適當(dāng)類型的計(jì)算設(shè)備的形式。與計(jì)算設(shè)備22的組件和計(jì)算方面相關(guān)的其他細(xì)節(jié)，將在下文中參照?qǐng)D8更詳細(xì)地描述。
[0021]計(jì)算設(shè)備22也可以經(jīng)由網(wǎng)絡(luò)42與一個(gè)或多個(gè)附加設(shè)備可操作地連接。在一個(gè)示例中，計(jì)算設(shè)備22可與服務(wù)器40通信。網(wǎng)絡(luò)42可以采取局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、有線網(wǎng)絡(luò)、無線網(wǎng)絡(luò)、個(gè)域網(wǎng)、或它們的組合的形式，并且可以包括因特網(wǎng)。
[0022]圖3示出HMD設(shè)備38的一個(gè)示例采取一副可佩戴眼鏡200的形式，該可佩戴眼鏡200包括透明顯示器202。將理解，圖1所示的HMD設(shè)備38可以采取在下文中更詳細(xì)地描述的可佩戴眼鏡200或任何其他適當(dāng)?shù)腍MD設(shè)備的形式。例如，HMD設(shè)備38可以采取透明、半透明或不透明顯示器被支撐在觀看者一只或兩只眼睛前面的其他形式。還將理解，也可以使用許多其他類型和結(jié)構(gòu)的顯示設(shè)備，這些顯示設(shè)備具有各種形狀因子。例如，也可以使用提供增強(qiáng)現(xiàn)實(shí)體驗(yàn)的手持式顯示設(shè)備。
[0023]參照?qǐng)D1-3，在這個(gè)示例中，可佩戴眼鏡200包括透明顯示器202，其能夠?qū)D像遞送到佩戴該眼鏡的用戶的眼睛。透明顯示器202可配置為對(duì)于通過該透明顯示器觀看物理環(huán)境的用戶，從視覺上增強(qiáng)該物理環(huán)境(諸如目標(biāo)物理環(huán)境50)的外觀。例如，物理環(huán)境50的外觀可被經(jīng)由透明顯示器202呈現(xiàn)的圖形內(nèi)容(例如，每個(gè)具有對(duì)應(yīng)顏色和亮度的一個(gè)或多個(gè)像素)增強(qiáng)。
[0024]透明顯示器202還可配置為使用戶能夠透過正在顯示虛擬對(duì)象表示的一個(gè)或多個(gè)部分透明的像素觀看物理環(huán)境50中的現(xiàn)實(shí)世界對(duì)象。在一個(gè)示例中，透明顯示器202可以包括位于透鏡204內(nèi)的圖像產(chǎn)生元件(例如，透視有機(jī)發(fā)光二級(jí)管(OLED)顯示器)。作為另一示例，透明顯示器202可以包括在透鏡204邊緣的光調(diào)制器。在這個(gè)示例中，透鏡204可作為光導(dǎo)，用于將光從該光調(diào)制器遞送到用戶的眼睛。
[0025]在其他示例中，透明顯示器202可支持在從物理環(huán)境50接收的光到達(dá)佩戴眼鏡200的用戶的眼睛之前，選擇性過濾這些光。這種過濾可逐個(gè)像素地或在像素組的基礎(chǔ)上進(jìn)行。在一個(gè)示例中，透明顯示器202可包括第一顯示層和第二顯示層，第一顯示層以一個(gè)或多個(gè)被照明的像素的形式增強(qiáng)光，第二顯示層過濾從物理環(huán)境接收的環(huán)境光。這些層可具有不同的顯示分辨率、像素密度和/或顯示能力。
[0026]可佩戴眼鏡200還可包括各種系統(tǒng)和傳感器。例如，還是參照?qǐng)D1中的HMD設(shè)備38，眼鏡200可包括眼睛跟蹤系統(tǒng)60，其利用至少一個(gè)面向內(nèi)的傳感器208。該面向內(nèi)的傳感器208可以是圖像傳感器，其配置為從用戶的眼睛獲取眼睛跟蹤信息的形式的圖像數(shù)據(jù)。假如用戶同意獲取并使用該信息，眼睛跟蹤系統(tǒng)60可使用該信息來跟蹤用戶眼睛的位置和/或移動(dòng)。然后，眼睛跟蹤系統(tǒng)60可確定用戶正凝視何處和/或什么現(xiàn)實(shí)世界或虛擬對(duì)象。
[0027]可佩戴眼鏡200還可包括光學(xué)傳感器系統(tǒng)62，其利用至少一個(gè)面向外的傳感器212，諸如光學(xué)傳感器。面向外的傳感器212可檢測(cè)視野內(nèi)的移動(dòng)，諸如由視野內(nèi)的用戶或人進(jìn)行的基于姿勢(shì)的輸入或其他移動(dòng)。面向外的傳感器212還可從物理環(huán)境和該環(huán)境內(nèi)的現(xiàn)實(shí)世界對(duì)象捕捉圖像信息和深度信息。例如，面向外的傳感器212可包括深度相機(jī)、可見光相機(jī)、紅外光相機(jī)和/或位置跟蹤相機(jī)。在一些不例中，面向外的傳感器212可包括一個(gè)或多個(gè)光學(xué)傳感器，用于感測(cè)來自物理環(huán)境中現(xiàn)實(shí)世界光照條件的可見光譜和/或紅外光。例如，這種傳感器可包括電荷耦合器件圖像傳感器。
[0028]如上所述，一個(gè)或多個(gè)深度相機(jī)可使可佩戴眼鏡200能夠提供深度感測(cè)。例如，每個(gè)深度相機(jī)可包括立體視覺系統(tǒng)的左相機(jī)和右相機(jī)。來自這些深度相機(jī)中的一個(gè)或多個(gè)的時(shí)間解析的圖像可以相互配準(zhǔn)和/或與來自另一光學(xué)傳感器(諸如可見光相機(jī))的圖像配準(zhǔn)，并且可以組合以產(chǎn)生深度解析的視頻。
[0029]在一些示例中，深度相機(jī)可采取結(jié)構(gòu)化光深度相機(jī)的形式，其配置為投射包括多個(gè)離散特征(例如，線或點(diǎn))的結(jié)構(gòu)化紅外照明光。該深度相機(jī)可配置為對(duì)從該結(jié)構(gòu)化照明投射到的場景反射的結(jié)構(gòu)照明光進(jìn)行成像?？梢曰诒怀上駡鼍暗母鱾€(gè)區(qū)域中的相鄰特征之間的間隔來構(gòu)造該場景的深度圖。
[0030]在其他示例中，深度相機(jī)可以采取飛行時(shí)間深度相機(jī)的形式，其配置為將脈沖紅外照明光投射到場景。該深度相機(jī)可配置為檢測(cè)從該場景反射的脈沖照明。這些深度相機(jī)中的兩個(gè)或更多個(gè)可包括與該脈沖照明同步的電子快門。該兩個(gè)或更多個(gè)深度相機(jī)的積分時(shí)間可以不同，使得脈沖照明的像素解析的飛行時(shí)間(從源到該場景并且接著到這些深度相機(jī))可依據(jù)這兩個(gè)深度相機(jī)的相應(yīng)像素中接收到的光的相對(duì)量來辨別。可佩戴眼鏡200還可包括紅外投影器，以輔助結(jié)構(gòu)化光和/或飛行時(shí)間深度分析。
[0031]還將理解，深度信息可以從其他信息和/或解決方案生成，包括但不限于運(yùn)動(dòng)立體聲和超聲信息。
[0032]在其他示例中，來自物理環(huán)境中的用戶和/或人的基于姿勢(shì)的和其他運(yùn)動(dòng)輸入也可以由一個(gè)或多個(gè)深度相機(jī)檢測(cè)。例如，面向外的傳感器212可包括兩個(gè)或更多個(gè)光學(xué)傳感器，它們具有已知相對(duì)位置以用于創(chuàng)建深度圖像。通過使用來自具有已知相對(duì)位置的這些光學(xué)傳感器的運(yùn)動(dòng)結(jié)果，這些深度圖像可隨著時(shí)間演化。
[0033]面向外的傳感器212可以捕捉用戶所處的物理環(huán)境50的圖像。如下文中更詳細(xì)的描述，這些圖像可以是可由眼鏡200接收的物理環(huán)境數(shù)據(jù)46的一部分。如上所述，全息對(duì)象呈現(xiàn)程序14可包括3D建模系統(tǒng)，其使用這種物理環(huán)境數(shù)據(jù)46來生成目標(biāo)物理環(huán)境50的模型56。
[0034]可佩戴眼鏡200還可包括位置傳感器系統(tǒng)64，其利用一個(gè)或多個(gè)運(yùn)動(dòng)傳感器216來啟用該眼鏡的位置跟蹤和/或定向感測(cè)，并且確定該眼鏡在物理環(huán)境中的位置。作為一個(gè)示例，位置傳感器系統(tǒng)64可包括慣性測(cè)量單元，其配置為六軸或六自由度位置傳感器系統(tǒng)。這種位置傳感器系統(tǒng)可包括例如三個(gè)加速度計(jì)和三個(gè)陀螺儀，以指示或測(cè)量眼鏡200在三維空間內(nèi)沿三個(gè)正交軸(例如，x，y，z)的位置的變化和該眼鏡繞這三個(gè)正交軸的定向的變化(例如，橫滾、俯仰、偏轉(zhuǎn))。
[0035]位置傳感器系統(tǒng)64可支持其他適當(dāng)?shù)亩ㄎ患夹g(shù)，諸如GPS或其他全球?qū)Ш较到y(tǒng)。例如，位置傳感器系統(tǒng)64可包括無線接收機(jī)(例如，GPS接收機(jī)或蜂窩接收機(jī))，以接收從衛(wèi)星和/或陸地基站播送的無線信號(hào)。這些無線信號(hào)可用于標(biāo)識(shí)眼鏡200的地理位置。
[0036]從眼鏡200接收的無線信號(hào)獲得的定位信息可以與從運(yùn)動(dòng)傳感器216獲得的定位信息組合，以提供眼鏡200的位置和/或定向的指示。盡管已經(jīng)描述了位置傳感器系統(tǒng)的特定示例，但將理解，可以使用其他適當(dāng)?shù)奈恢脗鞲衅飨到y(tǒng)。運(yùn)動(dòng)傳感器216的其他示例包括加速度計(jì)、陀螺儀、指南針和定向傳感器，可以包括它們的任何組合或子組合。位置信息還可以與來自面向外的傳感器212的數(shù)據(jù)一起使用，以幫助生成3D表面重構(gòu)信息。
[0037]眼鏡200還可包括一個(gè)或多個(gè)話筒220。在一些示例中，如下文更詳細(xì)的描述，話筒220可從用戶接收音頻輸入和/或從用戶周圍的物理環(huán)境接收音頻輸入。作為補(bǔ)充或替換，與眼鏡200分離的一個(gè)或多個(gè)話筒可用于接收音頻輸入。在一些示例中，音頻輸入(諸如來自用戶的語音輸入)可以與自然用戶界面一起使用，以控制如下所述的自適應(yīng)全息對(duì)象呈現(xiàn)系統(tǒng)10的一個(gè)或多個(gè)特征。眼鏡200還可包括音頻輸出組件，諸如揚(yáng)聲器或耳機(jī)，以允許來自全息對(duì)象的聲音被遞送給該用戶。這些聲音還可以使用數(shù)字信號(hào)處理來處理，以創(chuàng)建用戶對(duì)來自特定全息對(duì)緣和/或該場景內(nèi)3D位置的聲音的感知。
[0038]如上所述，眼鏡200還可包括計(jì)算設(shè)備22，其具有邏輯子系統(tǒng)和數(shù)據(jù)保存子系統(tǒng)，如下文參照?qǐng)D8更詳細(xì)的描述，這些子系統(tǒng)與該眼鏡的各種輸入和輸出設(shè)備通信。簡要地說，數(shù)據(jù)保存子系統(tǒng)可包括可由邏輯子系統(tǒng)執(zhí)行的指令，例如以接收和處理來自這些傳感器的輸入并經(jīng)由透明顯示器202將圖像呈現(xiàn)給用戶。
[0039]將理解，只是通過舉例的方式提供了上面描述和圖1-3中所示的可佩戴眼鏡200以及相關(guān)傳感器和其他組件。這些示例并不打算以任何方式進(jìn)行限制，因?yàn)榭梢岳萌魏纹渌m當(dāng)?shù)膫鞲衅?、組件和/或傳感器和組件的組合。因此，可以理解，可佩戴眼鏡200可包括附加的和/或另選的傳感器、相機(jī)、話筒、輸入設(shè)備、輸出設(shè)備等，而不背離本公開內(nèi)容的范圍。而且，可佩戴眼鏡200及其各種傳感器和子組件的物理配置可以采取各種不同的形式，而不背離本公開內(nèi)容的范圍。
[0040]現(xiàn)在還是參照?qǐng)D4，現(xiàn)在將提供利用自適應(yīng)全息對(duì)象呈現(xiàn)系統(tǒng)10的示例性實(shí)施例和使用場合的描述。圖4提供了房間300形式的目標(biāo)物理環(huán)境50的示意圖，戴著可佩戴眼鏡200的用戶304位于房間300內(nèi)。房間300包括現(xiàn)實(shí)世界物理對(duì)象，諸如墻壁308、桌子312和書架316。在這個(gè)示例中，用戶304可經(jīng)由可佩戴眼鏡200觀看3D電影體驗(yàn)。
[0041]還參照?qǐng)D2，圖4示出了全息男巫320、全息燃燒的小行星324、全息游戲板328、和全息坦克332形式的全息對(duì)象78，這些東西被用戶304感覺為處于房間300內(nèi)。全息對(duì)象78通過被顯示在用戶戴著的可佩戴眼鏡200的透明顯示器202上而被呈現(xiàn)給用戶304。將理解，全息對(duì)象78的呈現(xiàn)還可與由全息對(duì)象呈現(xiàn)程序14生成的房間300的模型56相協(xié)調(diào)。
[0042]房間300的模型56可以基于由可佩戴眼鏡200的一個(gè)或多個(gè)傳感器捕捉的物理環(huán)境數(shù)據(jù)46。參照?qǐng)D1和2，模型56可包括對(duì)應(yīng)于第一物理對(duì)象52的第一所標(biāo)識(shí)的物理對(duì)象52’和對(duì)應(yīng)于第二物理對(duì)象54的第二所標(biāo)識(shí)的物理對(duì)象54’。第一所標(biāo)識(shí)的物理對(duì)象52’可具有相關(guān)聯(lián)的物理對(duì)象特性(諸如第一特性70和第二特性72)。同樣地，第二所標(biāo)識(shí)的物理對(duì)象54’可具有相關(guān)聯(lián)的物理對(duì)象特性(諸如第三特性74和第四特性76)。
[0043]在一些示例中，房間300也可以具有與虛擬對(duì)象和它在房間中的位置相關(guān)聯(lián)的一個(gè)或多個(gè)標(biāo)簽。眼鏡200可在當(dāng)時(shí)或事先標(biāo)識(shí)該一個(gè)或多個(gè)標(biāo)簽。標(biāo)簽的示例可包括類似撲克牌、特定海報(bào)和/或?qū)ο笊系臉?biāo)記的元素。動(dòng)態(tài)標(biāo)簽也可被用于表示例如特定衣服和手持對(duì)象諸(如劍或光劍的劍柄)之間的關(guān)系。這種標(biāo)簽隨后可被用作要覆蓋在房間300內(nèi)的全息對(duì)象的3D坐標(biāo)。[0044]全息對(duì)象呈現(xiàn)程序14可基于由可佩戴眼鏡200捕捉的物理環(huán)境數(shù)據(jù)46創(chuàng)建房間300的模型56。這種物理環(huán)境數(shù)據(jù)46可包括，例如與墻壁308、桌子312和書架316相關(guān)的數(shù)據(jù)。在創(chuàng)建模型56的一個(gè)示例中，全息對(duì)象呈現(xiàn)程序14可利用表面重構(gòu)階段來標(biāo)識(shí)和重構(gòu)墻面336和桌子312的多個(gè)表面，諸如面向用戶的表面338、340和342，以及頂面344。在對(duì)象標(biāo)識(shí)階段中，全息對(duì)象呈現(xiàn)程序14可接著將所標(biāo)識(shí)的表面編組成所標(biāo)識(shí)的物理對(duì)象。以此方式，墻面336可以被標(biāo)識(shí)為墻壁308，并且面對(duì)的表面338、340和342以及頂面344可以被編組成桌子312。
[0045]墻壁308和桌子312可具有物理對(duì)象特性，這些特性是針對(duì)每個(gè)對(duì)象預(yù)存儲(chǔ)的或者通過所捕捉的物理環(huán)境數(shù)據(jù)46來標(biāo)識(shí)的。例如，可佩戴眼鏡200的面向外的傳感器212中的光學(xué)傳感器可將墻面336標(biāo)識(shí)為水平延伸4.5米和垂直延伸2.5米的平面?；诖艘约盎蛟S其他物理環(huán)境數(shù)據(jù)46，表面336可被標(biāo)識(shí)為墻壁308。
[0046]在一個(gè)示例中，墻壁308可具有被預(yù)存儲(chǔ)在大容量存儲(chǔ)18中的相關(guān)聯(lián)物理對(duì)象特性。例如，墻壁308可具有對(duì)應(yīng)于該墻面的特定硬度的預(yù)存儲(chǔ)的表面硬度特性。該表面硬度特性可將墻壁308標(biāo)識(shí)為具有處于與墻壁或類似隔離物的各種材料和/或施工技術(shù)相對(duì)應(yīng)的硬度值范圍內(nèi)的硬度。在一個(gè)示例中，該硬度值可包括對(duì)應(yīng)于各種材料(諸如混凝土、木材、干壘墻材料、橡膠和織物/窗簾材料)的值。因此，當(dāng)全息對(duì)象78與墻壁308交互時(shí)，該墻壁的表面硬度特性的硬度值可能影響該全息對(duì)象的對(duì)應(yīng)行為。
[0047]在另一示例中，墻壁308可具有通過所捕捉的物理環(huán)境數(shù)據(jù)46來標(biāo)識(shí)的相關(guān)聯(lián)的物理對(duì)象特性。例如，可佩戴眼鏡200的面向外的傳感器212中的光學(xué)傳感器可以將墻面336標(biāo)識(shí)為白色。在一個(gè)示例中，墻面336的白色可以用于確定或調(diào)整在墻壁308前面顯示的全息對(duì)象的顏色。
[0048]在另一示例中，桌子312可具有通過由可佩戴眼鏡200所捕捉的圖像數(shù)據(jù)來標(biāo)識(shí)的定向特性。例如，該定向特性可包括桌子312的頂面344相對(duì)房間300的地板350的角度。該角度可用于影響與該桌子交互的全息對(duì)象78的對(duì)應(yīng)行為。例如，在確定頂面344的定向相對(duì)地板350成一角度的情況下，放在該頂面上的全息球會(huì)滾出桌子312。
[0049]全息對(duì)象呈現(xiàn)程序14可標(biāo)識(shí)用于顯示在可佩戴眼鏡200上的一個(gè)或多個(gè)全息對(duì)象78。例如，可以標(biāo)識(shí)全息男巫320、全息小行星324、全息游戲板328和全息坦克332。全息對(duì)象78中的每一個(gè)還可以包括在規(guī)則數(shù)據(jù)模式80中包含的一個(gè)或多個(gè)規(guī)則。在一個(gè)示例中，規(guī)則數(shù)據(jù)模式80可包括第一規(guī)則82和第二規(guī)則84。該一個(gè)或多個(gè)規(guī)則可將與所標(biāo)識(shí)的物理對(duì)象的物理對(duì)象特性和/或檢測(cè)到的環(huán)境條件與全息對(duì)象78的顯示模式相鏈接。在一些示例中，例如，該一個(gè)或多個(gè)規(guī)則還可隨著時(shí)間自適應(yīng)，以適應(yīng)物理對(duì)象特性的變化、檢測(cè)到的環(huán)境條件的變化和/或混合現(xiàn)實(shí)環(huán)境12中的其他變化。而且如下文中更詳細(xì)的描述，全息對(duì)象78的顯示模式可包括影響該全息對(duì)象的渲染和/或呈現(xiàn)的一個(gè)或多個(gè)因子。
[0050]在一個(gè)示例中，全息、對(duì)象78的第一顯示模式86可包括比例因子88，其指示該全息對(duì)象將相對(duì)于目標(biāo)物理環(huán)境50呈現(xiàn)的比例。同時(shí)參照?qǐng)D4，全息對(duì)象78是全息男巫320的情況下，第一規(guī)則82可將房間300的幾何特性鏈接到男巫320的第一顯示模式86。例如，該幾何特性可包括墻壁308的高度。第一顯示模式86的比例因子88可指示男巫320將相對(duì)于墻壁308呈現(xiàn)的比例。例如，比例因子88可以規(guī)定男巫320將以高度為墻壁308的高度的I / 3進(jìn)行呈現(xiàn)。
[0051 ] 在另一示例中，全息對(duì)象78的第一顯示模式86可包括逼真因子90，其指示該全息對(duì)象將被顯示的真實(shí)性水平。在全息對(duì)象78是燃燒的小行星324的一個(gè)示例中，第一規(guī)則82可將房間300中的現(xiàn)實(shí)世界移動(dòng)量鏈接到該小行星的第一顯示模式86。參照?qǐng)D4，在該示例中，用戶304被動(dòng)地坐在室內(nèi)房間中，其中沒有其他現(xiàn)實(shí)世界的移動(dòng)或活動(dòng)發(fā)生。在這種情況下，第一規(guī)則82可將燃燒的小行星324的逼真因子90調(diào)整到高水平，使得該小行星以高度現(xiàn)實(shí)的方式出現(xiàn)并運(yùn)行。
[0052]在用戶304正在很多其他行人中沿著擁擠的城市人行道步行的另一示例中，第一規(guī)則82可以將燃燒的小行星324的逼真因子90調(diào)整到低水平，使得該小行星明顯不是現(xiàn)實(shí)的。例如，該小行星可以用高透明度來呈現(xiàn)。這樣，用戶304不太可能將全息小行星324誤認(rèn)為真實(shí)小行星，并且可以將她的注意力集中到當(dāng)前沿人行道的活動(dòng)。
[0053]將理解，全息對(duì)象的各種不同的真實(shí)性水平可以用各種方式來描繪。例如，可以調(diào)整該對(duì)象的透明性或不透明性，以提高或降低它的真實(shí)性。例如，還可以調(diào)整該全息對(duì)象與其周圍環(huán)境的交互，諸如該對(duì)象遵守物理規(guī)律。例如，漂浮的棒球?qū)⒈纫宰匀环绞匠孛娼德涞陌羟蝻@得更不真實(shí)。同樣地，觸碰時(shí)以一陣煙霧消失的棒球?qū)⒈扔|碰時(shí)滾動(dòng)的棒球顯得更不真實(shí)。
[0054]在另一示例中，全息對(duì)象78的第一顯示模式86可包括自動(dòng)適合因子92，其指示該全息對(duì)象將自動(dòng)調(diào)整大小以適合到目標(biāo)物理環(huán)境50中。在全息對(duì)象78是游戲板328的一個(gè)示例中，第一規(guī)則82可將桌子312的頂面344的表面積鏈接到游戲板328的第一顯示模式86。第一顯示模式86的自動(dòng)適合因子92可自動(dòng)調(diào)整游戲板328的大小，以適合在桌子312的頂面344上。在另一示例中，在用戶正坐在具有位于該用戶膝部上方的小座位托盤的航空座位上的情況下，自動(dòng)適合因子92可自動(dòng)調(diào)整游戲板328的大小，以適合在該座位托盤的頂面上。同樣地，坦克332可以被調(diào)整大小，以適合在游戲板328上。
[0055]在另一示例中，全息對(duì)象78的第一顯示模式86可包括用戶交互因子94，其指示該全息對(duì)象的用戶交互模式。在全息對(duì)象78是坦克332中一個(gè)的一個(gè)示例中，第一規(guī)則82可將該坦克的顯示分辨率鏈接到該坦克的第一顯示模式86。在該坦克的顯示分辨率高于閾值分辨率的情況下，用戶交互因子94可對(duì)應(yīng)于允許用戶304拿起坦克332并將坦克332移動(dòng)到不同位置的用戶交互模式。在該顯示分辨率低于該閾值分辨率的另一示例中，有限的分辨率可使得用戶304和坦克332之間的這種直接交互不可行或不切實(shí)際。因此，在這種情況下，用戶交互因子94可對(duì)應(yīng)于使用戶304能夠與坦克332間接交互的用戶交互模式。在一個(gè)示例中，用戶304可將她的手移到坦克332上方并向下輕拍，以選擇該坦克。然后，用戶304可移動(dòng)她的手，以用對(duì)應(yīng)的方式移動(dòng)坦克332。
[0056]如上所述，在其他示例中，規(guī)則數(shù)據(jù)模式80中的一個(gè)或多個(gè)規(guī)則可將檢測(cè)到的環(huán)境條件與該全息對(duì)象的顯示模式相鏈接。在一個(gè)示例中，所檢測(cè)到的環(huán)境條件可包括目標(biāo)物理環(huán)境50的溫度。在全息對(duì)象78是男巫320的情況下，規(guī)則數(shù)據(jù)模式80的第二規(guī)則84可將該溫度鏈接到男巫320的第二顯示模式96。例如，第二顯示模式96可包括呼吸因子，其指示基于所檢測(cè)的溫度該男巫的呼氣將是否可見。在用戶304位于室外并且該溫度為O攝氏度的情況下，該呼吸因子可以確定該男巫的呼氣如蒸汽可見。在所檢測(cè)的溫度為25攝氏度的另一示例中，該呼吸因子可以確定該男巫的呼氣看不見。將理解，可以提供環(huán)境條件、相關(guān)規(guī)則、顯示模式和因子的許多其他示例。
[0057]在其他示例中，顯示模式可包括呈現(xiàn)與全息對(duì)象78相關(guān)的非可見信息。例如，這種非可見信息可包括與全息對(duì)象78相關(guān)的音頻信息，無論全息對(duì)象78目前是否位于該用戶的視野中。
[0058]在其他示例中，全息對(duì)象78可被改編，以適應(yīng)目標(biāo)物理環(huán)境50中物理對(duì)象的移動(dòng)。參照?qǐng)D4，在一個(gè)示例中，大狗可以進(jìn)入房間300并且在用戶304和桌子312面向用戶的表面338之間走動(dòng)。當(dāng)該狗移動(dòng)到桌子312前面并且在用戶304與用戶感知的全息男巫320、游戲板328和坦克332的位置之間時(shí)，全息對(duì)象呈現(xiàn)程序56可通過從該用戶的角度遮擋每個(gè)全息圖的全部或部分來改編這些全息圖。根據(jù)該狗相對(duì)于用戶感知的這些全息圖的位置的位置，可以應(yīng)用這種遮擋。
[0059]在另一示例中，全息旗幟可以呈現(xiàn)在車道中正被用戶驅(qū)動(dòng)的物理遙控車的頂部。當(dāng)該車加速、轉(zhuǎn)彎并移動(dòng)通過該場景時(shí)，全息對(duì)象呈現(xiàn)程序56可連續(xù)地改編該全息旗幟以出現(xiàn)在移動(dòng)中車頂部的固定位置，并且可以將該旗幟呈現(xiàn)為與物理車的移動(dòng)相一致的波動(dòng)的、飄動(dòng)的和/或變化的形狀。
[0060]圖5A和5B示出根據(jù)本公開內(nèi)容的一實(shí)施例的用于呈現(xiàn)自適應(yīng)于混合現(xiàn)實(shí)環(huán)境的全息對(duì)象的方法500的流程圖。下面所述的方法500參照如上所述以及圖1和圖2所示的自適應(yīng)全息對(duì)象呈現(xiàn)系統(tǒng)10的軟件和硬件組件來提供。應(yīng)該理解，方法500也可以在使用其他適當(dāng)?shù)挠布蛙浖M件的其他環(huán)境下進(jìn)行。
[0061]參照?qǐng)D5A,在504處,方法500可包括使用HMD設(shè)備38的一個(gè)或多個(gè)傳感器從目標(biāo)物理環(huán)境50捕捉物理環(huán)境數(shù)據(jù)46。在一個(gè)示例中，在508處，這些傳感器可以從眼睛跟蹤傳感器、光學(xué)傳感器和位置傳感器構(gòu)成的組中選擇。
[0062]在512處，方法500可包括基于所捕捉的物理環(huán)境數(shù)據(jù)46來創(chuàng)建目標(biāo)物理環(huán)境的模型56，其中該模型包括在目標(biāo)物理環(huán)境中所標(biāo)識(shí)的具有相關(guān)聯(lián)的物理對(duì)象特性的物理對(duì)象。在一個(gè)示例中，在516處，創(chuàng)建模型56可包括在表面重構(gòu)階段標(biāo)識(shí)和重構(gòu)表面。在520處，創(chuàng)建模型56可包括在對(duì)象標(biāo)識(shí)階段將所標(biāo)識(shí)的表編組成所標(biāo)識(shí)的物理對(duì)象，其中所標(biāo)識(shí)的物理對(duì)象的物理對(duì)象特性是預(yù)存儲(chǔ)的或者是通過該物理環(huán)境數(shù)據(jù)來標(biāo)識(shí)的。
[0063]在524處,方法500可包括標(biāo)識(shí)用于顯不在HMD設(shè)備38的顯不器58上的全息對(duì)象78，其中該全息對(duì)象包括一個(gè)或多個(gè)規(guī)則，該規(guī)則將檢測(cè)到的環(huán)境條件和/或所標(biāo)識(shí)的物理對(duì)象的物理對(duì)象特性與該全息對(duì)象的顯示模式相鏈接。在一個(gè)示例中，在528處，方法500可包括經(jīng)由計(jì)算機(jī)網(wǎng)絡(luò)42從全息對(duì)象的庫79下載全息對(duì)象78。在532處，該一個(gè)或多個(gè)規(guī)則可包含在全息對(duì)象78的規(guī)則數(shù)據(jù)模式80中。536處，該一個(gè)或多個(gè)規(guī)則可以由開發(fā)者指定或由用戶指定。
[0064]參照?qǐng)D5B，在540處，方法500可包括應(yīng)用該一個(gè)或多個(gè)規(guī)則以基于所檢測(cè)的環(huán)境條件和/或在目標(biāo)物理環(huán)境50中標(biāo)識(shí)的物理對(duì)象的物理對(duì)象特性來選擇全息對(duì)象78的顯示模式。在544處，全息對(duì)象78的顯示模式可包括比例因子88，其表示該全息對(duì)象將相對(duì)于目標(biāo)物理環(huán)境50呈現(xiàn)的比例。在548處，全息對(duì)象78的顯示模式可包括指示全息對(duì)象78將被顯示的真實(shí)性水平的逼真因子。
[0065]在552處，全息對(duì)象78的顯示模式可包括自動(dòng)適合因子，其指示該全息對(duì)象將自動(dòng)調(diào)整大小以適合在目標(biāo)物理環(huán)境中。在556處，全息目標(biāo)78的顯示模式可包括用戶交互因子，其指示該全息對(duì)象的用戶交互模式。在560處，方法500可包括根據(jù)該顯示模式在HMD設(shè)備38的顯示器58上顯示全息對(duì)象78。在一些示例中，全息對(duì)象78還可以按造成對(duì)全息對(duì)象的隨時(shí)間變化的方式與物理環(huán)境50和/或虛擬環(huán)境34交互。例如，全息坦克332可能掉下桌子312并且因與地板350接觸而遭到損壞。掉下之后，反映全息坦克332損壞的臨時(shí)信息可與該坦克的全息對(duì)象78 —起保留。
[0066]在另一示例中，參照?qǐng)D6和7，可提供一種自適應(yīng)全息對(duì)象開發(fā)系統(tǒng)600，用于開發(fā)自適應(yīng)于混合現(xiàn)實(shí)環(huán)境的全息對(duì)象。如下文中更詳細(xì)的解釋，在一個(gè)示例中，全息對(duì)象的開發(fā)者可使用自適應(yīng)全息對(duì)象開發(fā)系統(tǒng)600來開發(fā)和在不同的模擬混合現(xiàn)實(shí)環(huán)境中預(yù)覽全息對(duì)象。
[0067]自適應(yīng)全息對(duì)象開發(fā)系統(tǒng)600包括存儲(chǔ)在計(jì)算設(shè)備616的大容量存儲(chǔ)612中的全息對(duì)象創(chuàng)建程序608。全息對(duì)象創(chuàng)建程序608可以加載到存儲(chǔ)器620中并且由計(jì)算設(shè)備616的處理器624執(zhí)行，以執(zhí)行在下文中更詳細(xì)描述的一種或多種方法和過程。
[0068]物理環(huán)境數(shù)據(jù)模式630可以被確定并存儲(chǔ)在大容量存儲(chǔ)612中。物理環(huán)境數(shù)據(jù)模式630可包括與目標(biāo)物理環(huán)境中的物理對(duì)緣相對(duì)應(yīng)的一個(gè)或多個(gè)物理對(duì)象特性和相關(guān)聯(lián)的值范圍。在圖6所示的示例中，物理環(huán)境數(shù)據(jù)模式630包括物理對(duì)象特性A632和物理對(duì)象特性B634。通過用每個(gè)物理對(duì)象特性的特定物理數(shù)據(jù)值填充物理環(huán)境數(shù)據(jù)模式630的一實(shí)例，可以表示可能的目標(biāo)物理環(huán)境。將理解，通過用每個(gè)物理對(duì)象特性的各特定物理數(shù)據(jù)值填充物理環(huán)境數(shù)據(jù)模式的各實(shí)例，可表示多個(gè)可能的目標(biāo)物理環(huán)境。還將理解，不同的可能的目標(biāo)物理環(huán)境可對(duì)應(yīng)于全息對(duì)象的不同顯示模式。
[0069]虛擬環(huán)境數(shù)據(jù)模式636也可以被確定并存儲(chǔ)在大容量存儲(chǔ)612中。虛擬環(huán)境數(shù)據(jù)模式636可包括與可能的虛擬環(huán)境相關(guān)聯(lián)的一個(gè)或多個(gè)虛擬環(huán)境特征和相關(guān)聯(lián)的值范圍。在圖6所示的示例中，虛擬環(huán)境數(shù)據(jù)模式636包括虛擬環(huán)境特征J638和虛擬環(huán)境特征K640。通過用每個(gè)虛擬環(huán)境特征的特定虛擬數(shù)據(jù)值填充虛擬環(huán)境數(shù)據(jù)模式636的一實(shí)例，可以表示可能的虛擬環(huán)境。將理解，通過用每個(gè)虛擬環(huán)境特征的各特定虛擬數(shù)據(jù)值填充虛擬環(huán)境數(shù)據(jù)模式的各實(shí)例，可表示多個(gè)可能的虛擬環(huán)境。還將理解，不同的可能的虛擬環(huán)境可對(duì)應(yīng)于全息對(duì)象的不同顯示模式。
[0070]全息對(duì)象創(chuàng)建程序608可生成全息對(duì)象創(chuàng)建圖形用戶界面(⑶I) 642，用于在可操作地連接于計(jì)算設(shè)備616的顯示設(shè)備644上顯示。全息對(duì)象創(chuàng)建⑶1642包括全息對(duì)象創(chuàng)建界面648，其使計(jì)算設(shè)備616的用戶(諸如開發(fā)者)能夠選擇用于開發(fā)的全息對(duì)象。全息對(duì)象創(chuàng)建界面648進(jìn)一步使開發(fā)者能夠選擇與全息對(duì)象的顯示模式相對(duì)應(yīng)的物理環(huán)境數(shù)據(jù)模式630的一個(gè)或多個(gè)物理對(duì)象特性和/或虛擬環(huán)境數(shù)據(jù)模式636的虛擬環(huán)境特征。
[0071]在圖6所示的示例中，全息對(duì)象創(chuàng)建界面648配置為顯示第一用戶可調(diào)整的選擇器652，其用于接收用戶輸入以選擇全息對(duì)象。第一用戶可調(diào)整的選擇器652可采取圖示的各個(gè)單選按鈕的形式。將理解，也可以使用滑塊元素、下拉菜單或任何其他適當(dāng)?shù)妮斎霗C(jī)制。在該示例中，開發(fā)者選擇男巫320。
[0072]全息對(duì)象創(chuàng)建界面648還配置為顯示第二用戶可調(diào)整的選擇器656，其用于接收有關(guān)物理對(duì)象特性的用戶輸入。在這個(gè)示例中，第二用戶可調(diào)整的選擇器656可采取滑塊元素660的形式。將理解，也可以使用各個(gè)單選按鈕、下拉菜單或任何其他適當(dāng)?shù)妮斎霗C(jī)制。還是參照?qǐng)D4，該物理對(duì)象特性可對(duì)應(yīng)于物理對(duì)象特性A632并且可表示墻壁308的表面336的表面硬度。
[0073]第二用戶可調(diào)整的選擇器656配置為經(jīng)由滑塊元素660接收指示墻壁308的表面硬度值的用戶輸入。在一個(gè)示例中，墻壁308的表面硬度值可在從表示軟窗簾的Hl增加到表示混凝土表面的H5的硬度范圍內(nèi)變化。當(dāng)開發(fā)者在Hl和H5之間調(diào)整滑塊元素660時(shí)，顯示對(duì)應(yīng)于滑塊元素660當(dāng)前位置的表面硬度634a(在圖6配置中H3表示干壘墻材料)。
[0074]第三用戶可調(diào)整的選擇器664配置為經(jīng)由通過各個(gè)單選按鈕668a和668b接收指示虛擬環(huán)境特征的值的用戶輸入。在一個(gè)示例中，該虛擬環(huán)境特征可對(duì)應(yīng)于虛擬環(huán)境特征J638并且可以表示其中將顯示所選擇的全息對(duì)象(在這個(gè)示例中是男巫320)的公共或私有虛擬環(huán)境。
[0075]通過使用可能的墻壁表面硬度值之一和可能的虛擬環(huán)境特征之一的用戶選擇的組合，全息對(duì)象創(chuàng)建程序608可顯示預(yù)覽界面672。在這個(gè)示例中，預(yù)覽界面672配置為在與墻壁表面硬度值和虛擬環(huán)境特征的用戶選擇的組合相對(duì)應(yīng)的模擬混合現(xiàn)實(shí)環(huán)境中顯示全息男巫320。如上所討論，可以按與用戶選擇的墻壁表面硬度值和虛擬環(huán)境特征相對(duì)應(yīng)的顯示模式來顯示男巫320。以此方式，開發(fā)者可在由可能的虛擬環(huán)境之一和可能的目標(biāo)物理環(huán)境之一的開發(fā)者選擇的組合形成的各種不同的模擬混合現(xiàn)實(shí)環(huán)境中對(duì)全息男巫320進(jìn)行預(yù)覽。
[0076]在另一示例中，全息對(duì)象創(chuàng)建界面648可進(jìn)一步配置為使開發(fā)者能夠?qū)⑷?duì)象78分類為一個(gè)或多個(gè)類別。每個(gè)類別可包含可影響該全息對(duì)象的渲染和/或呈現(xiàn)的一個(gè)或多個(gè)全息因子或特征。例如，將全息男巫320分類為“人物”類別的情況下，該男巫顯示出與運(yùn)動(dòng)、力量、與物理和虛擬對(duì)象交互等相關(guān)的某些特征。作為另一示例，全息小行星324可分類為“武器”，并且因而顯示出以與“武器”類別中其他對(duì)象相同的方式與物理和虛擬對(duì)象交互的能力。有利地是，以這種方式對(duì)全息對(duì)象分類可提高開發(fā)者在為多個(gè)全息對(duì)象創(chuàng)建大批的因子和特征時(shí)的效率。
[0077]在顯示男巫320以供預(yù)覽之后，全息對(duì)象創(chuàng)建程序608可生成包括該顯示模式的男巫來作為輸出。還是參照?qǐng)D1和圖2，男巫320可配置為由HMD設(shè)備38上的全息對(duì)象呈現(xiàn)程序14根據(jù)該顯示模式(諸如第一顯示模式86)來渲染，其中目標(biāo)物理環(huán)境50可透過該HMD設(shè)備觀看。
[0078]圖7示出根據(jù)本公開內(nèi)容的一實(shí)施例的用于開發(fā)自適應(yīng)于混合現(xiàn)實(shí)環(huán)境的全息對(duì)象的方法700的流程圖。下面描述的方法700參照上面所述和圖6所示的自適應(yīng)全息對(duì)象開發(fā)系統(tǒng)600的軟件和硬件組件來提供。將理解，方法700也可以使用其他適當(dāng)?shù)能浖陀布M件的其他環(huán)境下實(shí)施。
[0079]在704處，方法700可包括確定物理環(huán)境數(shù)據(jù)模式，其包括物理對(duì)象特性和相關(guān)聯(lián)的值范圍。物理對(duì)象特性可與目標(biāo)物理環(huán)境中的物理對(duì)象相關(guān)聯(lián)，使得多個(gè)可能的目標(biāo)物理環(huán)境中的每一個(gè)可由用每個(gè)物理對(duì)象特性的特定物理數(shù)據(jù)值填充的物理環(huán)境數(shù)據(jù)模式的實(shí)例來表示。
[0080]在708處，方法700可包括確定虛擬環(huán)境數(shù)據(jù)模式，其包括虛擬環(huán)境特征和相關(guān)聯(lián)的值范圍。多個(gè)可能的虛擬環(huán)境中的每一個(gè)可由用每個(gè)虛擬環(huán)境特征的特定虛擬數(shù)據(jù)值填充的虛擬環(huán)境數(shù)據(jù)模式的實(shí)例來表示。在712處，方法700可包括在顯示器上顯示全息對(duì)象創(chuàng)建界面。該全息對(duì)象創(chuàng)建界面配置為顯示用于接收對(duì)應(yīng)于該全息對(duì)象的顯示模式的用戶輸入的至少一個(gè)選擇器，其中該顯示模式基于物理環(huán)境數(shù)據(jù)模式的物理對(duì)象特性中的一個(gè)或多個(gè)和/或虛擬環(huán)境數(shù)據(jù)模式的虛擬環(huán)境特征中的一個(gè)或多個(gè)。
[0081]在716處，方法700可包括經(jīng)由該選擇器接收對(duì)應(yīng)于該顯示模式的用戶輸入。在720處，該方法可包括顯示預(yù)覽界面，其配置為顯示在由用戶選擇的可能的虛擬環(huán)境之一和可能的目標(biāo)物理環(huán)境之一的用戶選擇的組合所形成的不同的模擬混合現(xiàn)實(shí)環(huán)境中顯示具有該顯示模式的該全息對(duì)象。在724處，方法700可包括生成將包括該顯示模式的該全息對(duì)象生成作為輸出，其中，該全息對(duì)象配置為根據(jù)該顯示模式由HMD設(shè)備上的全息對(duì)象呈現(xiàn)程序根據(jù)該顯示模式來渲染，該其中目標(biāo)物理環(huán)境可通透過該HMD設(shè)備觀看。
[0082]圖8示意性示出了可以執(zhí)行上述方法和過程之中的一個(gè)或更多個(gè)的計(jì)算設(shè)備800的非限制性實(shí)施例。以簡化形式示出了計(jì)算設(shè)備800。應(yīng)當(dāng)理解，可使用基本上任何計(jì)算機(jī)架構(gòu)而不背離本公開的范圍。在不同的實(shí)施例中，計(jì)算設(shè)備800可以采取大型計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、家庭娛樂計(jì)算機(jī)、網(wǎng)絡(luò)計(jì)算設(shè)備、移動(dòng)計(jì)算設(shè)備、移動(dòng)通信設(shè)備、游戲設(shè)備等等的形式。
[0083]如圖8所示，計(jì)算設(shè)備800包括邏輯子系統(tǒng)804、數(shù)據(jù)保持子系統(tǒng)808、顯示子系統(tǒng)812、通信子系統(tǒng)816以及傳感器子系統(tǒng)820。計(jì)算設(shè)備800可任選地包括圖8中未示出的其他子系統(tǒng)和組件。計(jì)算設(shè)備800還可以任選地包括其他用戶輸入設(shè)備，諸如例如鍵盤、鼠標(biāo)、游戲控制器、和/或觸摸屏。此外，在某些實(shí)施例中，此處所述的方法和過程可被實(shí)現(xiàn)為計(jì)算機(jī)應(yīng)用、計(jì)算機(jī)服務(wù)、計(jì)算機(jī)AP1、計(jì)算機(jī)庫、和/或包括一個(gè)或多個(gè)計(jì)算機(jī)的計(jì)算系統(tǒng)中的其他計(jì)算機(jī)程序產(chǎn)品。
[0084]邏輯子系統(tǒng)804可包括被配置為執(zhí)行一個(gè)或多個(gè)指令的一個(gè)或多個(gè)物理設(shè)備。例如，邏輯子系統(tǒng)可被配置為執(zhí)行一個(gè)或多個(gè)指令，該一個(gè)或多個(gè)指令是一個(gè)或多個(gè)應(yīng)用、月艮務(wù)、程序、例程、庫、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)、或其他邏輯構(gòu)造的部分?？蓪?shí)現(xiàn)這樣的指令以執(zhí)行任務(wù)、實(shí)現(xiàn)數(shù)據(jù)類型、變換一個(gè)或多個(gè)設(shè)備的狀態(tài)、或以其他方式得到所希望的結(jié)果。
[0085]邏輯子系統(tǒng)804可包括被配置成執(zhí)行軟件指令的一個(gè)或多個(gè)處理器。附加地或可替代地，邏輯子系統(tǒng)可以包括被配置為執(zhí)行硬件或固件指令的一個(gè)或多個(gè)硬件或固件邏輯機(jī)器。邏輯子系統(tǒng)的處理器可以是單核或多核，且在其上執(zhí)行的程序可被配置為并行或分布式處理。邏輯子系統(tǒng)可以任選地包括遍布兩個(gè)或更多設(shè)備的獨(dú)立組件，所述設(shè)備可遠(yuǎn)程放置和/或被配置為進(jìn)行協(xié)同處理。該邏輯子系統(tǒng)的一個(gè)或多個(gè)方面可被虛擬化并由以云計(jì)算配置進(jìn)行配置的可遠(yuǎn)程訪問的聯(lián)網(wǎng)計(jì)算設(shè)備執(zhí)行。
[0086]數(shù)據(jù)保持子系統(tǒng)808可包括一個(gè)或多個(gè)物理的、非瞬時(shí)的設(shè)備，這些設(shè)備被配置成保持?jǐn)?shù)據(jù)和/或可由邏輯子系統(tǒng)804執(zhí)行的指令，以實(shí)現(xiàn)此處描述的方法和過程。在實(shí)現(xiàn)這樣的方法和過程時(shí)，可以變換數(shù)據(jù)保持子系統(tǒng)808的狀態(tài)(例如，以保持不同的數(shù)據(jù))。
[0087]數(shù)據(jù)保持子系統(tǒng)808可包括可移動(dòng)介質(zhì)和/或內(nèi)置設(shè)備。數(shù)據(jù)保持子系統(tǒng)808尤其可以包括光學(xué)存儲(chǔ)器設(shè)備(例如，⑶、DVD、HD-DVD、藍(lán)光盤等)、半導(dǎo)體存儲(chǔ)器設(shè)備(例如，RAM、EPROM、EEPROM等)和/或磁存儲(chǔ)器設(shè)備(例如，硬盤驅(qū)動(dòng)器、軟盤驅(qū)動(dòng)器、磁帶驅(qū)動(dòng)器、MRAM等)。數(shù)據(jù)保持子系統(tǒng)808可包括具有以下特性中的一個(gè)或多個(gè)特性的設(shè)備:易失性、非易失性、動(dòng)態(tài)、靜態(tài)、讀/寫、只讀、隨機(jī)存取、順序存取、位置可尋址、文件可尋址、以及內(nèi)容可尋址。在某些實(shí)施例中，可以將邏輯子系統(tǒng)804和數(shù)據(jù)保持子系統(tǒng)808集成到一個(gè)或更多個(gè)常見設(shè)備中，如專用集成電路或片上系統(tǒng)。[0088]圖8還示出可移動(dòng)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)824形式的數(shù)據(jù)保持子系統(tǒng)808的一方面，該可移動(dòng)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可用于存儲(chǔ)和/或傳輸可執(zhí)行以實(shí)現(xiàn)此處所述的方法和過程的數(shù)據(jù)和/或指令?？梢苿?dòng)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)824尤其是可以采取CD、DVD、HD-DVD、藍(lán)光盤、EEPROM和/或軟盤的形式。
[0089]可以明白，數(shù)據(jù)保持子系統(tǒng)808包括一個(gè)或多個(gè)物理的、非瞬時(shí)的設(shè)備。相反，在一些實(shí)施例中，本文描述的指令的各方面可以按暫態(tài)方式通過不由物理設(shè)備在至少有限持續(xù)時(shí)間期間保持的純信號(hào)(例如電磁信號(hào)、光信號(hào)等)傳播。此外，與本公開有關(guān)的數(shù)據(jù)和/或其他形式的信息可以通過純信號(hào)來傳播。
[0090]顯示子系統(tǒng)812可用于呈現(xiàn)由數(shù)據(jù)保持子系統(tǒng)808所保持的數(shù)據(jù)的可視表示。顯示子系統(tǒng)812可包括例如HMD設(shè)備38的透明顯示器58。由于上述方法和過程改變由數(shù)據(jù)保持子系統(tǒng)808保持的數(shù)據(jù)，并由此變換數(shù)據(jù)保持子系統(tǒng)的狀態(tài)，因此同樣可以變換顯示子系統(tǒng)812的狀態(tài)以在視覺上表示底層數(shù)據(jù)的改變。顯示子系統(tǒng)812可包括利用幾乎任何類型的技術(shù)的一個(gè)或多個(gè)顯示設(shè)備。可將此類顯示設(shè)備與邏輯子系統(tǒng)804和/或數(shù)據(jù)保存子系統(tǒng)808 —起組合在共享封裝中，或此類顯示設(shè)備可以是外圍顯示設(shè)備。
[0091]通信子系統(tǒng)816可以被配置成將計(jì)算設(shè)備800與一個(gè)或多個(gè)網(wǎng)絡(luò)(如網(wǎng)絡(luò)42)和/或一個(gè)或多個(gè)其他計(jì)算設(shè)備可通信地耦合。通信子系統(tǒng)816可包括與一個(gè)或多個(gè)不同的通信協(xié)議兼容的有線和/或無線通信設(shè)備。作為非限制性示例，該通信子系統(tǒng)816可以被配置成經(jīng)由無線電話網(wǎng)、無線局域網(wǎng)、有線局域網(wǎng)、無線廣域網(wǎng)、有線廣域網(wǎng)等進(jìn)行通信。在某些實(shí)施例中，通信子系統(tǒng)可允許計(jì)算設(shè)備800經(jīng)由網(wǎng)絡(luò)(比如因特網(wǎng))向其他設(shè)備發(fā)送消息和/或從其他設(shè)備接收消息。
[0092]傳感器子系統(tǒng)820可包括被配置成感測(cè)不同的物理現(xiàn)象(例如，可見光、紅外光、聲音、加速度、定向、位置、溫度等)的一個(gè)或多個(gè)傳感器，如上所述。例如，傳感器子系統(tǒng)820可以包括一個(gè)或多個(gè)眼睛跟蹤傳感器、圖像傳感器、話筒、諸如加速度計(jì)之類的運(yùn)動(dòng)傳感器、溫度計(jì)、觸摸板、觸摸屏和/或任何其他合適的傳感器。傳感器子系統(tǒng)820例如可以被配置為向邏輯子系統(tǒng)804提供觀測(cè)信息。如上所述，諸如眼睛跟蹤信息、圖像信息、音頻信息、環(huán)境光信息、深度信息、位置信息、運(yùn)動(dòng)信息、和/或任何其他合適的傳感器數(shù)據(jù)等觀測(cè)信息可被用來執(zhí)行上述方法和過程。
[0093]術(shù)語“程序”可被用來描述自適應(yīng)全息對(duì)象呈現(xiàn)系統(tǒng)10和/或自適應(yīng)全息對(duì)象開發(fā)系統(tǒng)600的被實(shí)現(xiàn)成執(zhí)行一個(gè)或多個(gè)特定功能的一方面。在某些情況下，可通過邏輯子系統(tǒng)804執(zhí)行由數(shù)據(jù)保持子系統(tǒng)808所保持的指令來實(shí)例化這一程序。要理解，可以從同一應(yīng)用、服務(wù)、代碼塊、對(duì)象、庫、例程、AP1、函數(shù)等來實(shí)例化不同程序。類似地，可以由不同的應(yīng)用、服務(wù)、代碼塊、對(duì)象、例程、AP1、函數(shù)等來實(shí)例化同一程序。術(shù)語“程序”意在涵蓋單個(gè)或成組的可執(zhí)行文件、數(shù)據(jù)文件、庫、驅(qū)動(dòng)程序、腳本、數(shù)據(jù)庫記錄等。
[0094]應(yīng)該理解，此處所述的配置和/或方法在本質(zhì)上是示例性的，并且這些具體實(shí)施例或示例不應(yīng)被認(rèn)為是局限性的，因?yàn)槎鄠€(gè)變體是可能的。此處所述的具體例程或方法可表示任何數(shù)量的處理策略中的一個(gè)或多個(gè)。由此，所示出的各個(gè)動(dòng)作可以按所示次序執(zhí)行、按其他次序執(zhí)行、并行地執(zhí)行、或者在某些情況下被省略。同樣，可以改變上述過程的次序。
[0095]本公開的主題包括各種過程、系統(tǒng)和配置、此處所公開的其他特征、功能、動(dòng)作、和/或特性、以及其任何和全部等效物的所有新穎和非顯而易見的組合和子組合。
【權(quán)利要求】
1.一種用于呈現(xiàn)自適應(yīng)于混合現(xiàn)實(shí)環(huán)境(12)的全息對(duì)象(78)的自適應(yīng)全息對(duì)象呈現(xiàn)系統(tǒng)(10)，所述混合現(xiàn)實(shí)環(huán)境(12)包括目標(biāo)物理環(huán)境(50)和虛擬環(huán)境(34)，所述自適應(yīng)全息對(duì)象呈現(xiàn)系統(tǒng)(10)包括: 顯示設(shè)備(38)，它包括相關(guān)聯(lián)的處理器(30)和存儲(chǔ)器(26)； 全息對(duì)象呈現(xiàn)程序(14)，它由所述處理器(30)使用所述存儲(chǔ)器(26)的各部分來執(zhí)行，所述全息對(duì)象呈現(xiàn)程序(14)配置為: 使用一個(gè)或多個(gè)傳感器(212，216)從所述目標(biāo)物理環(huán)境(50)捕捉物理環(huán)境數(shù)據(jù)(46)； 基于所捕捉的物理環(huán)境數(shù)據(jù)(46)來創(chuàng)建所述目標(biāo)物理環(huán)境的模型(56)，所述模型包括在所述目標(biāo)物理環(huán)境(46)中的具有相關(guān)聯(lián)的物理對(duì)象特性(70，72，74，76)的所標(biāo)識(shí)的物理對(duì)象(52’，54’)；以及 標(biāo)識(shí)用于在所述顯示設(shè)備(38)上顯示的全息對(duì)象(78)，其中所述全息對(duì)象(78)包括一個(gè)或多個(gè)規(guī)則(82，84)，所述規(guī)則將檢測(cè)到的環(huán)境條件和/或所標(biāo)識(shí)的物理對(duì)象(52’，54’ )的物理對(duì)象特性(70，72，74，76)與所述全息對(duì)象(78)的顯示模式(86)相鏈接。
2.如權(quán)利要求1所述的自適應(yīng)全息對(duì)象呈現(xiàn)系統(tǒng)，其特征在于，所述全息對(duì)象呈現(xiàn)程序進(jìn)一步配置為: 應(yīng)用所述一個(gè)或多個(gè)規(guī)則以基于檢測(cè)到的環(huán)境條件和/或所述目標(biāo)物理環(huán)境中所標(biāo)識(shí)的物理對(duì)象的物理對(duì)象特性來選擇所述全息對(duì)象的顯示模式；以及 根據(jù)所述顯示模式在所述顯示設(shè)備上顯示所述全息對(duì)象。
3.如權(quán)利要求1所述 的自適應(yīng)全息對(duì)象呈現(xiàn)系統(tǒng)，其特征在于，所述全息對(duì)象的顯示模式包括比例因子，所述比例因子指示所述全息對(duì)象將相對(duì)于所述目標(biāo)物理環(huán)境呈現(xiàn)的比例。
4.如權(quán)利要求1所述的自適應(yīng)全息對(duì)象呈現(xiàn)系統(tǒng)，其特征在于，所述全息對(duì)象的顯示模式包括逼真因子，所述逼真因子指示所述全息對(duì)象將被顯示的真實(shí)性水平。
5.如權(quán)利要求1所述的自適應(yīng)全息對(duì)象呈現(xiàn)系統(tǒng)，其特征在于，所述全息對(duì)象的顯示模式包括自動(dòng)適合因子，所述自動(dòng)適合因子指示所述全息對(duì)象將自動(dòng)調(diào)整大小以適合在所述目標(biāo)物理環(huán)境中。
6.一種用于呈現(xiàn)自適應(yīng)于混合現(xiàn)實(shí)環(huán)境(12)的全息對(duì)象(78)的方法(500)，所述混合現(xiàn)實(shí)環(huán)境(12)包括目標(biāo)物理環(huán)境(50)和虛擬環(huán)境(34)，所述方法包括: 使用顯示設(shè)備(38)的一個(gè)或多個(gè)傳感器(212，216)從所述目標(biāo)物理環(huán)境(50)捕捉(504)物理環(huán)境數(shù)據(jù)(46)； 基于所捕捉的所述物理環(huán)境數(shù)據(jù)(46)創(chuàng)建(512)所述目標(biāo)物理環(huán)境(50)的模型(56)，所述模型(56)包括所述目標(biāo)物理環(huán)境(50)中的具有相關(guān)聯(lián)的物理對(duì)象特性(70，72，74，76)的所標(biāo)識(shí)的物理對(duì)象(52’，54’)； 標(biāo)識(shí)(524)用于在所述顯示設(shè)備(38)上顯示的全息對(duì)象(78)，其中所述全息對(duì)象(78)包括一個(gè)或多個(gè)規(guī)則(82，84)，所述規(guī)則將檢測(cè)到的環(huán)境條件和/或所標(biāo)識(shí)的物理對(duì)象(52’，54’)的物理對(duì)象特性(70，72，74，76)與所述全息對(duì)象(78)的顯示模式(86)相鏈接； 應(yīng)用(540)所述一個(gè)或多個(gè)規(guī)則(82，84)以基于檢測(cè)到的所述環(huán)境條件和所述目標(biāo)物理環(huán)境(50)中的所標(biāo)識(shí)的物理對(duì)象(52’，54’)的物理對(duì)象特性(70，72，74，76)來選擇所述全息對(duì)象(78)的顯示模式(86)。
7.如權(quán)利要求6所述的方法，其特征在于，所述全息對(duì)象的顯示模式包括比例因子，所述比例因子指示所述全息對(duì)象將相對(duì)于所述目標(biāo)物理環(huán)境呈現(xiàn)的比例。
8.如權(quán)利要求6所述的方法，其特征在于，所述全息對(duì)象的顯示模式包括逼真因子，所述逼真因子指示所述全息對(duì)象將被顯示的真實(shí)性水平。
9.如權(quán)利要求6所述的方法，其特征在于，所述顯示模式包括用戶交互因子，所述用戶交互因子指示所述全息對(duì)象的用戶交互模式。
10.如權(quán)利要求6所述的方法，其特征在于，進(jìn)一步包括根據(jù)所述顯示模式，在所述顯示設(shè)備的顯示器上顯示所述 全息對(duì)象。
【文檔編號(hào)】G06F9/44GK103761085SQ201310757230
【公開日】2014年4月30日 申請(qǐng)日期:2013年12月18日 優(yōu)先權(quán)日:2013年12月18日
【發(fā)明者】R·G·弗萊克, N·卡木達(dá), S·拉塔, P·T·金那布魯 申請(qǐng)人:微軟公司