背景

顯示技術(shù)可允許用戶體驗(yàn)沉浸式虛擬環(huán)境和/或現(xiàn)實(shí)和虛擬環(huán)境的混合。例如，一些計(jì)算設(shè)備可以包括透視顯示器，該透視顯示器允許通過將虛擬對(duì)象顯示為疊加在現(xiàn)實(shí)世界環(huán)境上來實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)圖像的呈現(xiàn)。

概述

公開了涉及以避免諸如列表遮擋并導(dǎo)致用戶輸入錯(cuò)誤的方式在增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)顯示設(shè)備上顯示列表的各示例。一個(gè)公開的示例提供了包括圖像傳感器、顯示設(shè)備、被配置為執(zhí)行指令的邏輯設(shè)備以及包含可由邏輯設(shè)備執(zhí)行的指令的存儲(chǔ)設(shè)備的計(jì)算設(shè)備。所述指令可被執(zhí)行以生成列表的表示，將該列表的表示與通過顯示設(shè)備可查看的三維環(huán)境的拓?fù)溥M(jìn)行比較以確定該列表的表示是否與拓?fù)淅锏娜魏螌?duì)象相交，并且如果該列表的表示與三維環(huán)境的拓?fù)淅锏膶?duì)象相交，那么調(diào)整該列表的一個(gè)或多個(gè)項(xiàng)中的每個(gè)項(xiàng)的位置和定向中的一個(gè)或多個(gè)以適配拓?fù)渲械脑搶?duì)象。

提供本概述以便以簡(jiǎn)化的形式介紹以下在詳細(xì)描述中進(jìn)一步描述的一些概念。本概述并不旨在標(biāo)識(shí)所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。此外，所要求保護(hù)的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點(diǎn)的實(shí)現(xiàn)。

附圖簡(jiǎn)述

圖1示出了在示例使用環(huán)境中的示例增強(qiáng)現(xiàn)實(shí)顯示設(shè)備。

圖2示出在圖1的使用環(huán)境中的示例動(dòng)態(tài)自適應(yīng)虛擬列表。

圖3a和3b示出了與示例動(dòng)態(tài)自適應(yīng)虛擬列表的示例用戶交互。

圖4a和4b示出了與示例動(dòng)態(tài)自適應(yīng)虛擬列表的另一示例用戶交互。

圖5示出適配于對(duì)象的動(dòng)態(tài)自適應(yīng)虛擬列表的各示例。

圖6示出解說顯示動(dòng)態(tài)自適應(yīng)虛擬列表的示例方法的流程圖。

圖7示出示例增強(qiáng)現(xiàn)實(shí)顯示系統(tǒng)的框圖。

詳細(xì)描述

如上所述，顯示設(shè)備技術(shù)可以實(shí)現(xiàn)虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)三維(3d)環(huán)境的呈現(xiàn)。各種類型的虛擬對(duì)象可以被顯示在這樣的環(huán)境中，包括但不局限于交互式用戶界面元素，例如交互式列表。

然而，以3d設(shè)置顯示虛擬列表可能引起各種挑戰(zhàn)。例如，被顯示為平面二維對(duì)象的列表可以遠(yuǎn)離觀看者的位置收斂，這可能使得用戶難以讀取列表并與之交互。另一方面，被顯示為虛擬或增強(qiáng)現(xiàn)實(shí)環(huán)境內(nèi)的三維對(duì)象的列表可以占據(jù)大量虛擬空間，并且這樣可能侵占3d世界中的其它現(xiàn)實(shí)或所顯示的對(duì)象或與之重疊。這可以導(dǎo)致列表的各部分被環(huán)境中的其它對(duì)象遮擋。

相應(yīng)地，本文公開了涉及顯示適配于3d虛擬和/或增強(qiáng)現(xiàn)實(shí)環(huán)境的拓?fù)涞膭?dòng)態(tài)自適應(yīng)虛擬列表的各示例。這樣的列表可以被顯示在適配于其它虛擬和/或現(xiàn)實(shí)世界元素的各種表格和空間布局中，并且由此可以提供較逼真且沉浸式的增強(qiáng)和/或虛擬現(xiàn)實(shí)體驗(yàn)。

圖1示出其中示例顯示設(shè)備102被用戶104穿戴的示例使用環(huán)境100。顯示設(shè)備102被描繪為用于3d增強(qiáng)現(xiàn)實(shí)體驗(yàn)的呈現(xiàn)的頭戴式顯示設(shè)備。周圍環(huán)境可通過顯示設(shè)備102查看，如通過視野106示意性地指示的。3d環(huán)境可以包括可與現(xiàn)實(shí)世界表面和對(duì)象一起顯示的各種虛擬對(duì)象，在此被示為虛擬對(duì)象108、110和現(xiàn)實(shí)世界對(duì)象112、114。雖然在圖1中示出為增強(qiáng)現(xiàn)實(shí)頭戴式顯示設(shè)備，但將理解根據(jù)本公開的顯示設(shè)備可以采取任何合適的形式，包括但不限于其它類型的可穿戴顯示設(shè)備、非可穿戴顯示設(shè)備、移動(dòng)顯示設(shè)備、全息投影儀、具有或被配置為連接到一個(gè)或多個(gè)顯示器的設(shè)備和/或被配置為將3d虛擬內(nèi)容顯示給觀看者的任何其它設(shè)備。這樣的顯示設(shè)備可以包括或可以不包括透視顯示器，并且可以被配置為將完全虛擬的環(huán)境顯示給用戶104。

圖2示出通過環(huán)境100內(nèi)的顯示設(shè)備102顯示的動(dòng)態(tài)自適應(yīng)虛擬列表202、204、206和208的各示例。首先，列表202被顯示為垂直展開，與現(xiàn)實(shí)世界的墻、現(xiàn)實(shí)世界的對(duì)象112和現(xiàn)實(shí)世界的地板的拓?fù)湎喾?。展開列表可以被顯示為遵守物理定律(例如移動(dòng)、重力定律等)，這樣，其通過被顯示為覆蓋或以其他方式漂浮在現(xiàn)實(shí)世界對(duì)象112上而適配于現(xiàn)實(shí)世界對(duì)象112。

接著，列表204被示為水平展開，并且與側(cè)墻和后墻相符，并且通過折疊或以其他方式在虛擬對(duì)象108處壓縮而適配于所述虛擬對(duì)象108。另外，列表206被顯示為適配于虛擬對(duì)象108和110兩者。列表208被示為與后墻相符并適配于現(xiàn)實(shí)世界對(duì)象114。然而，取代漂浮或覆蓋在現(xiàn)實(shí)世界對(duì)象114上，列表208的一部分當(dāng)其靠近現(xiàn)實(shí)世界對(duì)象114時(shí)被折疊或以其它方式被壓縮。

當(dāng)列表的顯示被觸發(fā)時(shí)，動(dòng)態(tài)自適應(yīng)虛擬列表可以通過動(dòng)畫被顯示為從原點(diǎn)(例如默認(rèn)位置或由用戶104所指示的位置)展開。最初，隨著列表展開，該列表中的所有項(xiàng)可被顯露。隨后，如果隨著列表展開，該列表與環(huán)境中的虛擬或現(xiàn)實(shí)對(duì)象沖突，則該列表可以適配于對(duì)象，如上所述。在其它實(shí)現(xiàn)中，取代從原點(diǎn)展開，列表可最初被顯示在完全展開且在拓?fù)渖线m配的表格中，而不是通過動(dòng)畫化的展開來顯示。

在在3d虛擬或增強(qiáng)現(xiàn)實(shí)環(huán)境中顯示動(dòng)態(tài)自適應(yīng)虛擬列表之前，顯示設(shè)備102可以創(chuàng)建或以其它方式獲得環(huán)境的3d地圖。例如，顯示設(shè)備102可以利用板載傳感器(例如一個(gè)或多個(gè)深度傳感器、二維圖像傳感器、全球定位系統(tǒng)傳感器、運(yùn)動(dòng)傳感器和其它傳感器)來通過隨著用戶在現(xiàn)實(shí)世界環(huán)境內(nèi)移動(dòng)而同時(shí)定位和地圖構(gòu)建(slam)來構(gòu)造該環(huán)境的拓?fù)涞貓D。作為這種實(shí)時(shí)地圖構(gòu)建的替代或補(bǔ)充，顯示設(shè)備102可以從計(jì)算機(jī)可讀存儲(chǔ)器中檢索該現(xiàn)實(shí)世界環(huán)境的先前構(gòu)造的拓?fù)涞貓D。任一情況下，拓?fù)涞貓D可以采用網(wǎng)格(例如“表面重構(gòu)”(sr)網(wǎng)格)的形式或可以采用任何其它合適的形式。隨后，動(dòng)態(tài)自適應(yīng)虛擬列表的3d表示可以被顯示為適配于地圖的拓?fù)湟约八@示的虛擬內(nèi)容。

各種動(dòng)作可以改變所顯示的列表和環(huán)境內(nèi)的現(xiàn)實(shí)和/或虛擬對(duì)象之間的位置關(guān)系。示例包括但不局限于改變顯示設(shè)備的位置和/或定向、改變3d環(huán)境(例如通過移動(dòng)環(huán)境中的現(xiàn)實(shí)對(duì)象)、與列表交互(例如通過滾動(dòng)或選擇列表中的項(xiàng))和/或任何其它影響列表呈現(xiàn)的事件。在這樣的情形中，所顯示的列表的表示可以以在此所述的方式適配于經(jīng)改變的位置關(guān)系。

圖3a和3b示出了響應(yīng)于示例用戶交互對(duì)列表的適配的一個(gè)示例。首先參考圖3a，用戶104做出請(qǐng)求動(dòng)態(tài)虛擬列表302的位置方面的改變的用戶輸入。用戶輸入被示為手勢(shì)，但將理解任何其它合適的用戶輸入機(jī)制都可被使用，包括但不局限于語音命令、眼睛注視跟蹤、身體姿勢(shì)跟蹤(例如頭部姿勢(shì))以及手動(dòng)硬件輸入設(shè)備(例如按鍵、操縱桿、方向墊、觸摸傳感器等)。

在圖3a中，列表302的一部分被示為在該列表與3d環(huán)境中的桌子沖突的位置處被折疊。圖3b示出在動(dòng)態(tài)虛擬列表302已經(jīng)沿后墻被移動(dòng)到該列表不再與桌子沖突的位置處之后的該列表。在該位置中，列表的先前折疊的部分變成展開，但仍然考慮到環(huán)境的拓?fù)洹＠?，在?dòng)態(tài)虛擬列表302的底部附近碰到地板的項(xiàng)被顯示為被布局到地板上。而且，列表中的最初被折疊的那些項(xiàng)被顯露以供查看和交互。

圖4a和4b示出了與虛擬列表的另一示例用戶交互。在圖4a中，虛擬列表400與對(duì)象402沖突，并且作為響應(yīng)虛擬列表400中的項(xiàng)被顯示折疊在對(duì)象402上。虛擬列表400的折疊部分的外觀可以被配置為表示該列表中在該列表的該部分中的項(xiàng)的數(shù)目。圖4a還示出例如通過手勢(shì)與折疊部分的用戶交互。響應(yīng)于該用戶交互，在虛擬列表400中的先前折疊的項(xiàng)變成展開，而在列表中的其它項(xiàng)被折疊以適應(yīng)由對(duì)象402所施加的空間約束，如圖4b所示。將理解，列表的通過在圖4a中折疊所隱藏的項(xiàng)可以以任何其它合適的方式被顯露。例如，列表的折疊部分可以通過覆蓋(drapingover)在對(duì)象402上并繼續(xù)向下(未示出)而變?yōu)檎归_。

在圖4a-4b的示例中，虛擬列表400以折疊、類似褶皺的形式壓縮，但在其它示例中可以不同地壓縮或適配。而且，虛擬列表適配的形式可以基于現(xiàn)實(shí)世界材料的物理屬性，虛擬列表看上去是由該材料制成。圖5示出虛擬列表的各種形式以及它們可以如何適配于對(duì)象500的各示例。第一示例列表502被示為以與圖4的示例列表的樣式相似的褶皺樣式進(jìn)行折疊。因此，虛擬列表502的物理外觀可以對(duì)應(yīng)于可以類似地折疊的材料、木板、金屬板或其它剛性材料的外觀。作為另一個(gè)示例，列表504可以具有軟或類似衣料的外觀。這樣的列表504可以看上去如同衣料一樣對(duì)象500上起皺或折疊。作為又另一個(gè)示例，虛擬列表506可以在對(duì)象500處上滾或上卷，如同它是卷軸。在其它示例中，列表項(xiàng)可以被顯示為藤蔓上的葉片或采用其它組織形態(tài)。基于文本的列表可以具有任何合適的外觀。

而且，在一些實(shí)現(xiàn)中，列表可以基于與列表中的項(xiàng)相關(guān)聯(lián)的物理屬性適配于其與之沖突的虛擬和現(xiàn)實(shí)對(duì)象。例如，在列表中的項(xiàng)表示現(xiàn)實(shí)世界對(duì)象(例如文檔頁、照片冊(cè)中的圖像、書籍堆、唱片集、衣服商品、食品購物列表中的食品項(xiàng)等)時(shí)，列表項(xiàng)的表示可在物理上出現(xiàn)并類似于相似現(xiàn)實(shí)世界對(duì)象那樣布置。例如，油漆樣本的虛擬列表可以沿墻展開，就如同該列表是油漆樣本片的物理堆疊，和/或地板磚的虛擬列表可以跨地板展開，就如同列表是磚的物理堆疊。

在一些示例中，除了環(huán)境的3d拓?fù)渲?，?dòng)態(tài)自適應(yīng)虛擬列表的顯示可以進(jìn)一步考慮在現(xiàn)實(shí)世界環(huán)境中的對(duì)象的物理屬性。例如，顯示設(shè)備可以被配置為獲取現(xiàn)實(shí)世界的二維圖像數(shù)據(jù)，并確定在圖像數(shù)據(jù)中被檢測(cè)到的現(xiàn)實(shí)世界對(duì)象的表面屬性，例如顏色、亮度、表面紋理、材料、形態(tài)(例如固態(tài)或液態(tài))等。可以基于與3d環(huán)境的地圖相比較的所標(biāo)識(shí)的表面的位置來將所標(biāo)識(shí)的表面與環(huán)境的拓?fù)渲械膶?duì)象匹配，并且動(dòng)態(tài)自適應(yīng)的虛擬列表可以以基于所檢測(cè)到的物理屬性的方式被顯示。作為一個(gè)示例，橫越過固體工作臺(tái)面、充滿水的水槽以及另一固體工作臺(tái)面的列表可以被顯示為使得虛擬列表的橫越過水槽的部分看上去進(jìn)入(bobin)水中。作為另一個(gè)示例，虛擬列表可以被顯示為與在平滑或光滑的表面上展開相比在粗糙或粘滯的表面上更緩慢地展開(例如展開)。還可以考慮環(huán)境中的其它物理因子。作為示例非限制性示例，如果虛擬列表接近或覆蓋在揚(yáng)聲器上，則該列表可以被顯示為響應(yīng)于(例如通過一個(gè)或多個(gè)話筒檢測(cè)到的)音樂而振動(dòng)，或者如果(例如根據(jù)由話筒檢測(cè)到的風(fēng)聲中、根據(jù)捕捉適配于風(fēng)的其它對(duì)象的圖像數(shù)據(jù)等)檢測(cè)到風(fēng)速的增加則該列表在微風(fēng)中吹動(dòng)。

圖6示出描繪用于在3d環(huán)境中顯示動(dòng)態(tài)虛擬列表的示例方法600的流程圖。方法600包括，在602處，檢測(cè)列表顯示的觸發(fā)，并且作為響應(yīng)，在604處，生成該列表的表示。觸發(fā)可以包括任何合適的輸入或事件，包括但不局限于用戶輸入、環(huán)境傳感器輸入和應(yīng)用觸發(fā)的事件。

列表可以按任何合適的方式被生成。例如，生成列表的表示可以包括將列表的表示與3d環(huán)境的拓?fù)溥M(jìn)行比較以確定是否列表表示的任何部分與拓?fù)渲械娜魏翁摂M或現(xiàn)實(shí)對(duì)象相交，如在606處所示。如果列表的表示的一個(gè)或多個(gè)項(xiàng)與3d環(huán)境的拓?fù)渲械膶?duì)象相交，那么方法600包括，在608處，基于拓?fù)湔{(diào)整列表的表示。調(diào)整列表的表示可以包括，在610處，調(diào)整列表的表示的一個(gè)或多個(gè)項(xiàng)的每個(gè)項(xiàng)的位置和定向中的一個(gè)或多個(gè)以適配于拓?fù)?。作為非限制性示例，列表可以在列表與虛擬或現(xiàn)實(shí)對(duì)象沖突的位置處壓縮(折疊、彎曲、起皺等)，可以改變位置和/或定向以遵循對(duì)象的輪廓，和/或可以以任何其它合適的方式適配。基于拓?fù)湔{(diào)整列表還可以包括，在612處，基于如根據(jù)圖像數(shù)據(jù)確定的現(xiàn)實(shí)世界對(duì)象的一個(gè)或多個(gè)物理屬性調(diào)整列表，如在612處所指示的。這樣的屬性可以包括但不局限于顏色、亮度、表面紋理和現(xiàn)實(shí)世界表面和/或?qū)ο蟮奈镔|(zhì)形態(tài)。

方法600進(jìn)一步包括，在614處，顯示列表的表示。列表的表示可以以任何適當(dāng)?shù)姆绞奖伙@示。例如，顯示列表的表示可以包括，在616，(例如通過動(dòng)畫化該列表從原點(diǎn)開始張開)從原點(diǎn)向?qū)ο笳归_列表的表示，隨后當(dāng)列表的表示與3d環(huán)境中的對(duì)象沖突時(shí)適配于所述對(duì)象。在這樣的示例中，在列表的表示中的所有項(xiàng)可以在列表的展開的至少一部分期間被顯示，這可以有助于提供關(guān)于列表的大小和內(nèi)容的信息。在其它示例中，列表初始就被完全顯示，而不是從原點(diǎn)展開。

一旦與對(duì)象沖突，列表可以被顯示為壓縮在對(duì)象上。將列表顯示為壓縮在對(duì)象上可以包括例如以如在618處所示的折疊、成束、卷曲的表示或以任何其他合適的壓縮狀態(tài)顯示列表的一個(gè)或多個(gè)項(xiàng)。列表的經(jīng)壓縮部分可以具有指示經(jīng)壓縮部分內(nèi)包含的列表項(xiàng)的數(shù)目的大小。作為壓縮在對(duì)象上的替換或補(bǔ)充，一個(gè)或多個(gè)列表項(xiàng)可以被顯示為改變方向和/或定向以與對(duì)象的表面拓?fù)湎喾?，如?20處所示。以此方式，可以避免列表被對(duì)象遮蔽，這可以有助于減少與列表的用戶交互的差錯(cuò)率。

如上所述，有時(shí)，可以發(fā)生從用戶的視角將列表的位置改變到經(jīng)調(diào)整的位置的各種動(dòng)作，如在622處所示。當(dāng)這樣的改變發(fā)生，方法600可以返回到604以基于列表和3d環(huán)境中的對(duì)象之間的經(jīng)改變的關(guān)系來生成列表的表示。以此方式，列表動(dòng)態(tài)地適配于在其中顯示該列表的3d環(huán)境，直到列表的顯示被停止。將理解可以響應(yīng)于任何合適的觸發(fā)來調(diào)整列表的表示的位置、定向和/或外觀，所述觸發(fā)包括但不局限于與列表進(jìn)行交互的用戶輸入(例如移動(dòng)列表、滾動(dòng)遍歷列表等)、顯示設(shè)備的位置和/或定向方面的改變、3d環(huán)境方面的改變、編程化的觸發(fā)等。

圖7示出示例增強(qiáng)現(xiàn)實(shí)顯示系統(tǒng)700的框圖。顯示系統(tǒng)700包括形成透視顯示子系統(tǒng)704的一部分的一個(gè)或多個(gè)透鏡702，以便圖像可以通過透鏡702(例如，通過投影到透鏡702上、并入透鏡702中的波導(dǎo)系統(tǒng)和/或以任何其他合適的方式)來顯示。顯示系統(tǒng)700進(jìn)一步包括被配置成獲取正在被用戶查看的現(xiàn)實(shí)世界環(huán)境的圖像的一個(gè)或多個(gè)面向外的圖像傳感器706，并可包括被配置成檢測(cè)聲音(諸如來自用戶的語音命令或環(huán)境聲音)的一個(gè)或多個(gè)話筒708。面向外的圖像傳感器706可包括一個(gè)或多個(gè)深度傳感器和/或一個(gè)或多個(gè)二維圖像傳感器(例如rgb圖像傳感器)。在其他示例中，增強(qiáng)現(xiàn)實(shí)顯示系統(tǒng)700可以通過面向外的圖像傳感器的取景器模式來顯示增強(qiáng)現(xiàn)實(shí)圖像，而不是通過透視顯示子系統(tǒng)。

例如當(dāng)顯示系統(tǒng)700被實(shí)現(xiàn)為頭戴式顯示系統(tǒng)(如上所述)時(shí)，顯示系統(tǒng)700可進(jìn)一步包括被配置為檢測(cè)用戶注視以檢測(cè)與所顯示的虛擬列表和對(duì)象進(jìn)行交互的用戶輸入的注視檢測(cè)子系統(tǒng)710。注視檢測(cè)子系統(tǒng)710可以配置來以任何合適方式確定用戶每只眼睛的注視方向。例如，在所描繪的實(shí)施例中，注視檢測(cè)子系統(tǒng)310包括被配置成導(dǎo)致光的閃爍從用戶的每一眼球反射的一個(gè)或多個(gè)閃光源712(諸如紅外光源)，以及被配置成捕捉用戶的每一眼球的圖像的一個(gè)或多個(gè)圖像傳感器714(諸如面向內(nèi)的傳感器)。根據(jù)經(jīng)由(諸)圖像傳感器714收集的圖像數(shù)據(jù)所確定的用戶眼球的閃爍變化和/或用戶瞳孔的位置可以用于確定凝視方向。此外，從用戶眼睛投射的凝視線與外部顯示器交叉的位置可以用于確定用戶凝視的對(duì)象(例如，所顯示的虛擬對(duì)象和/或真實(shí)的背景對(duì)象)。注視檢測(cè)子系統(tǒng)710可以具有任何合適數(shù)量和布置的光源以及圖像傳感器。在其他示例中，可以省略注視檢測(cè)子系統(tǒng)710。

顯示系統(tǒng)700還可以包括附加傳感器，如上所述。例如，顯示系統(tǒng)700可以包括非成像傳感器716，其示例可以包括但不局限于加速度計(jì)、陀螺儀傳感器、全球定位系統(tǒng)(gps)傳感器和慣性測(cè)量單元(imu)。這樣的傳感器可以有助于確定顯示設(shè)備在環(huán)境內(nèi)的定位、位置和/或定向，其可以有助于提供現(xiàn)實(shí)世界環(huán)境的精確3d映射以供用于以增強(qiáng)現(xiàn)實(shí)設(shè)置來合適地顯示列表。

運(yùn)動(dòng)傳感器以及話筒708和注視檢測(cè)子系統(tǒng)710，還可以被用作用戶輸入設(shè)備，以便用戶可以通過眼睛、頸部和/或頭部的姿勢(shì)，以及通過語音命令，與顯示系統(tǒng)700進(jìn)行交互?？梢岳斫?，圖7所描繪的傳感器是出于示例的目的而示出的，且不旨在以任何方式進(jìn)行限制，因?yàn)榭梢允褂萌魏纹渌线m的傳感器和/或傳感器的組合。

顯示系統(tǒng)700進(jìn)一步包括一個(gè)或多個(gè)揚(yáng)聲器718，例如以向用戶提供音頻輸出來進(jìn)行用戶交互。顯示系統(tǒng)700進(jìn)一步包括與傳感器、注視檢測(cè)子系統(tǒng)710、顯示子系統(tǒng)704，和/或其他組件進(jìn)行通信的具有邏輯子系統(tǒng)722和存儲(chǔ)子系統(tǒng)724的控制器720。存儲(chǔ)子系統(tǒng)724包括存儲(chǔ)在其上的指令，這些指令可由邏輯子系統(tǒng)722執(zhí)行，以接收和解釋來自傳感器的輸入，標(biāo)識(shí)用戶的位置及移動(dòng)，標(biāo)識(shí)在增強(qiáng)現(xiàn)實(shí)視野中的真實(shí)對(duì)象，并因此呈現(xiàn)增強(qiáng)現(xiàn)實(shí)圖像，檢測(cè)位于用戶的視野之外的對(duì)象，呈現(xiàn)與位于用戶的視野之外的對(duì)象相關(guān)聯(lián)的位置信息的指示，以及其他任務(wù)。

邏輯子系統(tǒng)722包括被配置成執(zhí)行指令的一個(gè)或多個(gè)物理設(shè)備。例如，邏輯子系統(tǒng)可以被配置為執(zhí)行作為一個(gè)或多個(gè)應(yīng)用、服務(wù)、程序、例程、庫、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)或其它邏輯構(gòu)造的一部分的指令。這種指令可被實(shí)現(xiàn)以執(zhí)行任務(wù)、實(shí)現(xiàn)數(shù)據(jù)類型、轉(zhuǎn)換一個(gè)或多個(gè)組件的狀態(tài)、實(shí)現(xiàn)技術(shù)效果、或以其他方式得到期望結(jié)果。

邏輯子系統(tǒng)可包括被配置成執(zhí)行軟件指令的一個(gè)或多個(gè)處理器。附加地或可替換地，邏輯子系統(tǒng)可以包括被配置為執(zhí)行硬件或固件指令的一個(gè)或多個(gè)硬件或固件邏輯子系統(tǒng)。邏輯子系統(tǒng)的處理器可以是單核的或多核的，其上執(zhí)行的指令可以被配置用于串行、并行和/或分布式處理。邏輯子系統(tǒng)的個(gè)體組件可任選地分布在兩個(gè)或更多個(gè)分開的設(shè)備之間，所述設(shè)備可以位于遠(yuǎn)程以及/或者被配置用于協(xié)同處理。邏輯子系統(tǒng)的各方面可由以云計(jì)算配置進(jìn)行配置的可遠(yuǎn)程訪問的聯(lián)網(wǎng)計(jì)算設(shè)備來虛擬化和執(zhí)行。

存儲(chǔ)子系統(tǒng)724包括被配置成保持可由邏輯子系統(tǒng)執(zhí)行的指令以實(shí)現(xiàn)本文描述的方法和過程的一個(gè)或多個(gè)物理設(shè)備。當(dāng)實(shí)現(xiàn)這樣的方法和過程時(shí)，存儲(chǔ)子系統(tǒng)724的狀態(tài)可以被變換，例如以保持不同的數(shù)據(jù)。

存儲(chǔ)子系統(tǒng)724可以包括可移動(dòng)和/或內(nèi)置設(shè)備。存儲(chǔ)子系統(tǒng)724可以包括光學(xué)存儲(chǔ)器(例如，cd、dvd、hd-dvd、藍(lán)光碟等)、半導(dǎo)體存儲(chǔ)器(例如，ram、eprom、eeprom等)和/或磁性存儲(chǔ)器(例如，硬盤驅(qū)動(dòng)器、軟盤驅(qū)動(dòng)器、磁帶驅(qū)動(dòng)器、mram等)、等等。存儲(chǔ)子系統(tǒng)724可包括易失性、非易失性、動(dòng)態(tài)、靜態(tài)、讀/寫、只讀、隨機(jī)存取、順序存取、位置可尋址、文件可尋址和/或內(nèi)容可尋址設(shè)備。

可以理解，存儲(chǔ)子系統(tǒng)724包括一個(gè)或多個(gè)物理設(shè)備。然而，本文描述的指令的各方面可另選地通過不由物理設(shè)備在有限時(shí)長(zhǎng)內(nèi)持有的通信介質(zhì)(例如，電磁信號(hào)、光信號(hào)等)來傳播。

邏輯子系統(tǒng)722和存儲(chǔ)子系統(tǒng)724的各方面可以被一起集成到一個(gè)或多個(gè)硬件邏輯組件中。這些硬件邏輯組件可包括例如現(xiàn)場(chǎng)可編程門陣列(fpga)、程序和應(yīng)用專用的集成電路(pasic/asic)、程序和應(yīng)用專用的標(biāo)準(zhǔn)產(chǎn)品(pssp/assp)、片上系統(tǒng)(soc)以及復(fù)雜可編程邏輯器件(cpld)。

顯示子系統(tǒng)704可用于呈現(xiàn)由存儲(chǔ)子系統(tǒng)724保存的數(shù)據(jù)的視覺表示。此視覺表示可采取圖形用戶界面(gui)的形式，所述圖形用戶界面包括列表和/或其它圖形用戶界面元素。由于此處所描述的方法和過程改變了由存儲(chǔ)子系統(tǒng)保持的數(shù)據(jù)，并由此變換存儲(chǔ)子系統(tǒng)的狀態(tài)，因此同樣可以變換透視顯示子系統(tǒng)704的狀態(tài)以可視地表示底層數(shù)據(jù)的改變。透視顯示子系統(tǒng)704可包括利用幾乎任何類型的技術(shù)的一個(gè)或多個(gè)顯示設(shè)備。這樣的顯示設(shè)備可與邏輯子系統(tǒng)722和/或存儲(chǔ)子系統(tǒng)724一起組合在共享封裝中，或者這樣的顯示設(shè)備可以是外圍顯示設(shè)備。

通信子系統(tǒng)726可以被配置成將顯示系統(tǒng)700與一個(gè)或多個(gè)其他計(jì)算設(shè)備通信地耦合。通信子系統(tǒng)726可以包括與一個(gè)或多個(gè)不同通信協(xié)議兼容的有線和/或無線通信設(shè)備。作為非限制性示例，通信子系統(tǒng)726可被配置成用于經(jīng)由無線電話網(wǎng)絡(luò)或者有線或無線局域網(wǎng)或廣域網(wǎng)來進(jìn)行通信。在一些實(shí)施例中，通信子系統(tǒng)726可允許顯示系統(tǒng)700經(jīng)由網(wǎng)絡(luò)(比如因特網(wǎng))向其他設(shè)備發(fā)送信息和/或從其他設(shè)備接收信息。

將理解，出于示例的目的描述所述的顯示系統(tǒng)700，并且因此不意味著進(jìn)行限制。進(jìn)一步理解，顯示系統(tǒng)可包括除所示出的那些之外的額外的和/或替代的傳感器、相機(jī)、話筒、輸入設(shè)備、輸出設(shè)備等等，而不會(huì)背離本公開的范圍。例如，顯示系統(tǒng)700可以被實(shí)現(xiàn)為虛擬現(xiàn)實(shí)顯示器系統(tǒng)，而不是增強(qiáng)現(xiàn)實(shí)系統(tǒng)。另外，顯示設(shè)備及其各種傳感器和子組件的物理配置可以采取各種不同的形式，而不會(huì)背離本發(fā)明的范圍。而且，將理解，在此所述的方法和過程可被實(shí)現(xiàn)為計(jì)算機(jī)應(yīng)用程序或服務(wù)、應(yīng)用編程接口(api)、庫和/或其他計(jì)算機(jī)程序產(chǎn)品。這樣的計(jì)算機(jī)程序產(chǎn)品可以在顯示系統(tǒng)700或其它合適的顯示系統(tǒng)上本地執(zhí)行，或可以在與顯示系統(tǒng)700通信的計(jì)算系統(tǒng)上遠(yuǎn)程執(zhí)行。

將會(huì)理解，本文描述的配置和/或方式本質(zhì)是示例性的，這些具體實(shí)施例或本文示例不應(yīng)被視為限制性的，因?yàn)樵S多變體是可能的。本文描述的具體例程或方法可以表示任何數(shù)量的處理策略中的一個(gè)或多個(gè)。如此，所示和/或所述的各種動(dòng)作可以以所示和/或所述順序、以其他順序、并行地執(zhí)行，或者被省略。同樣，上述過程的次序可以改變。

另一個(gè)示例提供了一種計(jì)算設(shè)備，包括被配置為獲取圖像數(shù)據(jù)的圖像傳感器、顯示設(shè)備、被配置為執(zhí)行指令的邏輯設(shè)備以及包括可由邏輯設(shè)備執(zhí)行以進(jìn)行以下操作的指令的存儲(chǔ)設(shè)備：檢測(cè)用于列表的顯示的觸發(fā)，響應(yīng)于所述觸發(fā)生成所述列表的表示，將所述列表的表示與可通過所述顯示設(shè)備查看的三維環(huán)境的拓?fù)溥M(jìn)行比較以確定所述列表的表示是否與所述拓?fù)渲械娜魏螌?duì)象相交，如果所述列表的表示與所述三維環(huán)境的所述拓?fù)渲械膶?duì)象相交，則調(diào)整所述列表的一個(gè)或多個(gè)項(xiàng)的每個(gè)項(xiàng)的位置和定向中的一個(gè)或多個(gè)以適配于所述拓?fù)渲械乃鰧?duì)象，并且通過所述顯示器顯示所述列表的表示。在該示例中，三維環(huán)境的拓?fù)渲械膶?duì)象可以附加地或替換地包括虛擬對(duì)象和現(xiàn)實(shí)世界對(duì)象中的一個(gè)或多個(gè)。所述指令可以附加地或替換地由邏輯設(shè)備執(zhí)行以通過將所述列表的表示顯示為朝著所述對(duì)象展開，隨后將所述列表的一個(gè)或多個(gè)項(xiàng)的表示顯示為壓縮在對(duì)象上來將所述列表的表示顯示為適配于所述對(duì)象。所述指令可以附加地或替換地執(zhí)行以通過以折疊表示、成束的表示和卷曲的表示中的一個(gè)或多個(gè)顯示所述列表的一個(gè)或多個(gè)項(xiàng)的表示來將所述列表的一個(gè)或多個(gè)項(xiàng)的表示顯示為壓縮在所述對(duì)象上。所述指令可以附加地或替換地執(zhí)行以通過顯示所述列表的壓縮部分來將所述列表的一個(gè)或多個(gè)項(xiàng)的表示顯示為壓縮在所述對(duì)象上，所述列表的壓縮部分具有表示所述列表的壓縮部分中的項(xiàng)的數(shù)目的外觀。所述指令可以附加地或替換地執(zhí)行以通過調(diào)整所述列表的表示以遵循所述對(duì)象的表面輪廓來將所述列表的表示顯示為適配于所述對(duì)象。所述圖像傳感器可以另外地或替換地包括二維相機(jī)，并且其中所述指令可執(zhí)行以獲取3d環(huán)境的二維圖像數(shù)據(jù)并標(biāo)識(shí)與3d環(huán)境的拓?fù)渲械默F(xiàn)實(shí)世界對(duì)象相對(duì)應(yīng)的現(xiàn)實(shí)世界表面的屬性。所述指令可以另外地或替換地執(zhí)行以基于所述現(xiàn)實(shí)世界表面的屬性調(diào)整所述列表的表示。計(jì)算設(shè)備可以另外地或替換的包括輸入設(shè)備，并且其中所述指令可進(jìn)一步執(zhí)行以接收將顯示器上的列表移動(dòng)到經(jīng)調(diào)整位置的用戶輸入，并作為響應(yīng)，基于在經(jīng)調(diào)整位置處的列表與拓?fù)涞南嘟徽{(diào)整所述列表的一個(gè)或多個(gè)項(xiàng)的表示的位置和定向的一個(gè)或多個(gè)。

另一個(gè)示例在計(jì)算設(shè)備上提供了一種顯示用戶界面的方法，所述方法包括檢測(cè)用于列表顯示的觸發(fā)，響應(yīng)于所述觸發(fā)生成列表的表示，將所述列表的表示與三維環(huán)境的拓?fù)溥M(jìn)行比較以確定所述列表的表示的一個(gè)或多個(gè)項(xiàng)是否與拓?fù)渲械娜魏螌?duì)象相交，如果所述列表的表示的一個(gè)或多個(gè)項(xiàng)與三維環(huán)境的拓?fù)渲械膶?duì)象相交，那么調(diào)整所述列表的表示的一個(gè)或多個(gè)項(xiàng)中的每個(gè)項(xiàng)的位置和定向中的一個(gè)或多個(gè)以適配于拓?fù)渲械膶?duì)象，并且顯示所述列表的表示。在該示例中，三維環(huán)境的拓?fù)渲械膶?duì)象可以附加地或替換地包括虛擬對(duì)象和現(xiàn)實(shí)世界對(duì)象中的一個(gè)或多個(gè)。所述方法還附加地或替換地包括通過將所述列表的表示顯示為從原點(diǎn)朝向?qū)ο笳归_，隨后壓縮在對(duì)象上來顯示所述列表的表示。所述方法可以附加地或替換地包括：通過將一個(gè)或多個(gè)項(xiàng)中的每個(gè)項(xiàng)以折疊表示、成束的表示和卷曲的表示中的一個(gè)或多個(gè)形式顯示來將所述列表的表示顯示為針對(duì)所述對(duì)象壓縮。所述方法可以附加地或替換地包括以通過顯示列表的具有表示在列表的壓縮部分中的項(xiàng)的數(shù)目的外觀的壓縮部分來將所述列表的的表示顯示為針對(duì)所述對(duì)象壓縮。所述方法還附加地或替換地包括通過將所述列表的表示的一個(gè)或多個(gè)項(xiàng)顯示為遵循所述對(duì)象的表面輪廓來顯示所述列表的表示。所述方法可以另外地或替換地包括獲取3d環(huán)境的二維圖像數(shù)據(jù)并標(biāo)識(shí)與3d環(huán)境的拓?fù)渲械默F(xiàn)實(shí)世界對(duì)象相對(duì)應(yīng)的現(xiàn)實(shí)世界表面的屬性。所述方法可以另外地或替換地包括基于所述現(xiàn)實(shí)世界表面的屬性調(diào)整所述列表的表示。在該示例中，屬性可以附加地或替換地包括現(xiàn)實(shí)世界表面的紋理和物質(zhì)形態(tài)中的一個(gè)或多個(gè)。所述方法可以附加地或替換地包括接收將顯示器上的列表移動(dòng)到經(jīng)調(diào)整的位置的用戶輸入，并作為響應(yīng)基于所述列表與拓?fù)湓诮?jīng)調(diào)整位置處的相交調(diào)整所述列表的一個(gè)或多個(gè)項(xiàng)的表示的位置和定向中的一個(gè)或多個(gè)。

另一個(gè)示例提供了一種可穿戴增強(qiáng)現(xiàn)實(shí)計(jì)算設(shè)備，包括被配置為獲取現(xiàn)實(shí)世界環(huán)境的圖像數(shù)據(jù)的圖像傳感器、通過其可查看所述現(xiàn)實(shí)世界環(huán)境的至少一部分的透視顯示設(shè)備、被配置為執(zhí)行指令的邏輯設(shè)備、以及包括可由邏輯設(shè)備執(zhí)行以進(jìn)行以下操作的指令的存儲(chǔ)設(shè)備：檢測(cè)用于列表的顯示的觸發(fā)，響應(yīng)于所述觸發(fā)生成所述列表的表示，將所述列表的表示與表示通過所述透視顯示設(shè)備顯示的現(xiàn)實(shí)世界環(huán)境和虛擬對(duì)象的拓?fù)溥M(jìn)行比較以確定所述列表的表示是否與所述拓?fù)渲械娜魏螌?duì)象相交，如果所述列表的表示與所述拓?fù)渲械膶?duì)象相交，則調(diào)整所述列表的一個(gè)或多個(gè)項(xiàng)的每個(gè)項(xiàng)的位置和定向中的一個(gè)或多個(gè)以適配于所述拓?fù)渲械乃鰧?duì)象，并且通過所述透視顯示器設(shè)備顯示所述列表的表示。

本公開的主題包括各種過程、系統(tǒng)和配置以及此處公開的其它特征、功能、動(dòng)作和/或?qū)傩?、以及它們的任一和全部等價(jià)物的所有新穎且非顯而易見的組合和子組合。