果在佩戴者視野的區(qū)域中發(fā)生輸入深度數(shù)據(jù)中的快速變化，則應(yīng)用可高亮這一區(qū)域 以將用戶的注意力吸引到此。在1124,針對(duì)可標(biāo)識(shí)對(duì)象對(duì)圖像數(shù)據(jù)進(jìn)行分析。在1126,對(duì) 于以自我為中心的空間中的每一個(gè)靠近用戶的對(duì)象，如果針對(duì)該對(duì)象存在用戶應(yīng)當(dāng)在1128 處回避該對(duì)象的行為基元，則該對(duì)象可在1130被高亮在回避用戶界面中。在圖11中示出 的示例中，汽車(chē)可能不會(huì)是全局對(duì)象，但當(dāng)汽車(chē)接近佩戴者時(shí)，可或者由步驟1122或者由 步驟1128標(biāo)識(shí)。然而，街道很可能是全局對(duì)象，并且很可能具有與其相關(guān)聯(lián)的與"小心"有 關(guān)的彳丁為。
[0124] 圖12示出了導(dǎo)航應(yīng)用的示例性應(yīng)用過(guò)程。在1312,確定用戶位置，并且在1314， 確定用戶目的地。在1315,對(duì)于每個(gè)位置，確定接近該位置的所有全局對(duì)象并且確定考慮了 全局對(duì)象的行為基元的初始路徑指引。例如，街道可具有指示它是"可穿越的"的基元，而 建筑物可能具有"回避"行為基元。
[0125] 在1318,隨著用戶移動(dòng)，對(duì)于佩戴者的每個(gè)位置，并且在1319,對(duì)于該位置處的每 個(gè)全局對(duì)象，在1320作出針對(duì)用戶是否靠近該全局對(duì)象的判斷，并且在1322,判斷與該全 局對(duì)象相關(guān)聯(lián)的基元行為是否調(diào)整目的地與當(dāng)前位置之間的用戶路徑。如果是，則在1324 確定以上對(duì)象中的每一個(gè)附近的最近路徑，并且在1326,鏈接待回避的對(duì)象附近的路徑。隨 后，在1328,在用戶界面中提供路徑指引。在1330,方法循環(huán)到下一位置。
[0126] 類(lèi)似地，在1332,對(duì)于以自我為中心的對(duì)象（在1318,對(duì)于每個(gè)位置），隨著用戶移 動(dòng)，在1332,應(yīng)用獲得核心輸入數(shù)據(jù)和經(jīng)標(biāo)識(shí)的以自我為中心的對(duì)象。對(duì)于經(jīng)標(biāo)識(shí)的每一個(gè) 以自我為中心的對(duì)象，在1334,作出針對(duì)與對(duì)象相關(guān)聯(lián)的基元行為是否要求用戶路徑的改 變的判斷。如果是，則在1336,改變路徑，并且針對(duì)有關(guān)該對(duì)象的導(dǎo)航進(jìn)行測(cè)試。一旦確定 了新的路線，在1340,路徑被改變以適應(yīng)對(duì)象相對(duì)于佩戴者位置的改變，并且提供在用戶界 面中提供的路徑指引的改變。
[0127] 圖13解說(shuō)了用戶看來(lái)可能像是路徑指引的結(jié)果的用戶界面。在圖13中，向用戶 1420示出了通過(guò)箭頭1300指示的、繞過(guò)椅子1416和桌子1418的路徑。椅子1416和桌子 1418的行為定義指示用戶應(yīng)當(dāng)回避它們，而門(mén)1430的行為定義指示用戶可在其通往其下 一目的地的途中通過(guò)該門(mén)。雖然椅子、桌子和門(mén)可能是以自我為中心的對(duì)象，但是可為以全 局為中心的對(duì)象提供相同的指示和行為基元。
[0128] 圖14是可以在本技術(shù)的各實(shí)施例中操作的示例性移動(dòng)設(shè)備的框圖（例如，處理單 元4)。描繪了典型移動(dòng)電話的示例性電子電路系統(tǒng)。設(shè)備2000包括一個(gè)或多個(gè)微處理器 2012,以及存儲(chǔ)由控制處理器2010的一個(gè)或多個(gè)處理器執(zhí)行來(lái)實(shí)現(xiàn)此處所述的功能的處 理器可讀代碼的存儲(chǔ)器2012 (例如，諸如ROM等非易失性存儲(chǔ)器和諸如RAM等易失性存儲(chǔ) 器）。
[0129] 移動(dòng)設(shè)備2000可包括例如處理器2012、包括應(yīng)用和非易失性存儲(chǔ)的存儲(chǔ)器2050。 處理器2012可實(shí)現(xiàn)通信以及任何數(shù)量的應(yīng)用，包括本文中所描述的交互應(yīng)用。存儲(chǔ)器2050 可以是任何種類(lèi)的存儲(chǔ)器存儲(chǔ)介質(zhì)類(lèi)型，包括非易失性和易失性存儲(chǔ)器。設(shè)備操作系統(tǒng)來(lái) 處理移動(dòng)設(shè)備2000的不同操作，并可包含用于操作的佩戴者界面，如撥打和接聽(tīng)電話呼 口H、文本消息收發(fā)、檢查語(yǔ)音郵件等。應(yīng)用2030可以是任何種類(lèi)的程序，如用于照片和/或 視頻的相機(jī)應(yīng)用、地址簿、日歷應(yīng)用、媒體播放器、因特網(wǎng)瀏覽器、游戲、其他多媒體應(yīng)用、鬧 鐘應(yīng)用、其他第三方應(yīng)用、本文中討論的交互應(yīng)用等。存儲(chǔ)器2010中的非易失性存儲(chǔ)組件 2040包含諸如web高速緩存、音樂(lè)、照片、聯(lián)系人數(shù)據(jù)、時(shí)間安排數(shù)據(jù)、以及其他文件等數(shù) 據(jù)。
[0130] 處理器2012還與RF發(fā)射/接收電路系統(tǒng)2006進(jìn)行通信，該電路系統(tǒng)2002進(jìn)而 耦合到天線2008,它還與紅外發(fā)射器/接收器2008、與像Wi-Fi或藍(lán)牙等任何附加通信信 道2060以及與諸如加速度計(jì)等移動(dòng)/定向傳感器2014通信。加速計(jì)被包括到移動(dòng)設(shè)備中， 以啟用諸如讓佩戴者通過(guò)姿勢(shì)輸入命令的智能佩戴者界面之類(lèi)的應(yīng)用，在與GPS衛(wèi)星斷開(kāi) 聯(lián)系之后計(jì)算設(shè)備的移動(dòng)和方向的室內(nèi)GPS功能，并檢測(cè)設(shè)備的定向，并且，當(dāng)旋轉(zhuǎn)電話時(shí) 自動(dòng)地將顯示從縱向變?yōu)闄M向?？梢?，例如，通過(guò)微機(jī)電系統(tǒng)（MEMS)來(lái)提供加速度計(jì)，該微 機(jī)電系統(tǒng)是構(gòu)建在半導(dǎo)體芯片上的微小機(jī)械器件（微米尺寸）。可以感測(cè)加速度方向、以及 定向、振動(dòng)和震動(dòng)。處理器2012還與響鈴器/振動(dòng)器2016、佩戴者界面鍵區(qū)/屏幕、生物 測(cè)定傳感器系統(tǒng)2018、揚(yáng)聲器2020、話筒2022、相機(jī)2024、光傳感器2026以及溫度傳感器 2028進(jìn)彳丁通{目。
[0131] 處理器2012控制無(wú)線信號(hào)的發(fā)射和接收。在發(fā)射模式期間，處理器2012向RF發(fā) 射/接收電路系統(tǒng)2006提供來(lái)自話筒2022的語(yǔ)音信號(hào)或其他數(shù)據(jù)信號(hào)。發(fā)射/接收電 路系統(tǒng)2006將該信號(hào)發(fā)射到遠(yuǎn)程站（例如固定站、運(yùn)營(yíng)商、其他蜂窩電話等）來(lái)通過(guò)天線 2002進(jìn)行通信。響鈴器/振動(dòng)器2016被用于向佩戴者發(fā)傳入呼叫、文本消息、日歷提醒、鬧 鐘提醒或其它通知等信號(hào)。在接收模式期間，發(fā)射/接收電路系統(tǒng)2006通過(guò)天線2002接 收來(lái)自遠(yuǎn)程站的語(yǔ)音或其他數(shù)據(jù)信號(hào)。所接收到的語(yǔ)音信號(hào)被提供給揚(yáng)聲器2020,同時(shí)所 接收到的其它數(shù)據(jù)信號(hào)也被適當(dāng)?shù)靥幚怼?br>[0132] 另外，物理連接器2088可被用來(lái)將移動(dòng)設(shè)備2000連接到外部電源，如AC適配器 或加電對(duì)接底座。物理連接器2088還可被用作到計(jì)算設(shè)備的數(shù)據(jù)連接。該數(shù)據(jù)連接允許 諸如將移動(dòng)設(shè)備數(shù)據(jù)與另一設(shè)備上的計(jì)算數(shù)據(jù)進(jìn)行同步等操作。
[0133] 為這樣的服務(wù)啟用使用基于衛(wèi)星的無(wú)線電導(dǎo)航來(lái)中繼佩戴者應(yīng)用的位置的GPS 收發(fā)機(jī)2065。
[0134] 圖15是描繪可用于實(shí)現(xiàn)網(wǎng)絡(luò)可訪問(wèn)計(jì)算系統(tǒng)或伴隨處理模塊的計(jì)算系統(tǒng)一個(gè)實(shí) 施例的框圖。圖21是計(jì)算系統(tǒng)的一個(gè)實(shí)施例的框圖，該計(jì)算系統(tǒng)可用于實(shí)現(xiàn)一個(gè)或多個(gè)網(wǎng) 絡(luò)可訪問(wèn)的計(jì)算系統(tǒng)12或處理單元4,所述處理單元4可以主控計(jì)算環(huán)境中的至少一些軟 件組件或者圖12中所描繪的其他元件。參考圖16,示例性系統(tǒng)包括計(jì)算設(shè)備，諸如計(jì)算設(shè) 備2100。在大多數(shù)基本配置中，計(jì)算設(shè)備2100通常包括一個(gè)或多個(gè)處理單元2102,包括 一個(gè)或多個(gè)中央處理單元（CPU)和一個(gè)或多個(gè)圖形處理單元（GPU)。計(jì)算設(shè)備2100還包 括存儲(chǔ)器2104。取決于計(jì)算設(shè)備的確切配置和類(lèi)型，存儲(chǔ)器2104可以包括易失性存儲(chǔ)器 2105(如RAM)、非易失性存儲(chǔ)器2107(如R0M、閃存等）或是兩者的某種組合。該最基本配 置在圖21中由虛線2106來(lái)例示出。另外，設(shè)備2100還可具有附加特征/功能。例如，設(shè) 備2100還可包含附加存儲(chǔ)（可移動(dòng)和/或不可移動(dòng)），包括但不限于磁盤(pán)、光盤(pán)或磁帶。這 樣的附加存儲(chǔ)在圖16中由可移動(dòng)存儲(chǔ)2108和不可移動(dòng)存儲(chǔ)2110示出。
[0135] 設(shè)備2100還可包含允許該設(shè)備與其他設(shè)備通信的通信連接2112,如一個(gè)或多個(gè) 網(wǎng)絡(luò)接口和收發(fā)機(jī)。設(shè)備2100還可以具有諸如鍵盤(pán)、鼠標(biāo)、筆、語(yǔ)音輸入設(shè)備、觸摸輸入設(shè) 備等（諸）輸入設(shè)備2114。還可以包括諸如顯示器、揚(yáng)聲器、打印機(jī)等（諸）輸出設(shè)備2116。 所有這些設(shè)備在本領(lǐng)域是眾知的并且不必在此詳細(xì)討論。
[0136] 附圖中示出的示例計(jì)算機(jī)系統(tǒng)包括計(jì)算機(jī)可讀存儲(chǔ)設(shè)備的示例。計(jì)算機(jī)可讀存儲(chǔ) 設(shè)備也是處理器可讀存儲(chǔ)設(shè)備。這樣的設(shè)備包括以用于存儲(chǔ)諸如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié) 構(gòu)、程序模塊或其他數(shù)據(jù)等信息的任意方法或技術(shù)來(lái)實(shí)現(xiàn)的易失性和非易失性、可移動(dòng)和 不可移動(dòng)存儲(chǔ)器設(shè)備。處理器或計(jì)算機(jī)可讀存儲(chǔ)設(shè)備的一些是RAM、ROM、EEPR0M、高速緩 存、閃存或其他存儲(chǔ)器技術(shù)、CD-ROM、數(shù)字多功能盤(pán)（DVD)或其他光盤(pán)存儲(chǔ)、記憶棒或卡、磁 帶盒、磁帶、媒體驅(qū)動(dòng)器、硬盤(pán)、磁盤(pán)存儲(chǔ)或其他磁性存儲(chǔ)設(shè)備、或能用于存儲(chǔ)信息且可以由 計(jì)算機(jī)訪問(wèn)的任何其他設(shè)備。
[0137] 盡管用結(jié)構(gòu)特征和/或方法動(dòng)作專(zhuān)用的語(yǔ)言描述了本主題，但可以理解，所附權(quán) 利要求書(shū)中定義的主題不必限于上述具體特征或動(dòng)作。相反，上述具體特征和動(dòng)作是作為 實(shí)現(xiàn)權(quán)利要求的示例形式公開(kāi)的。
【主權(quán)項(xiàng)】
1. 一種透視顯示裝置，包括： 透視、頭戴式顯示器； 多個(gè)傳感器，所述多個(gè)傳感器與所述顯示器協(xié)作以檢測(cè)所述裝置的視野中的聲音和視 覺(jué)數(shù)據(jù)； 與顯示器和所述傳感器通信的一個(gè)或多個(gè)處理設(shè)備，所述一個(gè)或多個(gè)處理設(shè)備自動(dòng) 地： 創(chuàng)建相對(duì)于所述裝置的多個(gè)行為區(qū)域； 確定靠近所述裝置的至少一個(gè)真實(shí)對(duì)象，所述至少一個(gè)真實(shí)對(duì)象與所述多個(gè)行為區(qū)域 中的一個(gè)相關(guān)聯(lián)； 基于所述關(guān)聯(lián)為所述真實(shí)對(duì)象指派一個(gè)或多個(gè)行為；以及 將所述一個(gè)或多個(gè)行為以及所述對(duì)象提供給所述裝置的反饋應(yīng)用。2. 如權(quán)利要求1所述的裝置，其特征在于，所述一個(gè)或多個(gè)處理設(shè)備創(chuàng)建至少一個(gè)全 局行為區(qū)域和一個(gè)以自我為中心的行為區(qū)域。3. 如權(quán)利要求2所述的裝置，其特征在于，所述一個(gè)或多個(gè)處理設(shè)備基于來(lái)自所述多 個(gè)傳感器的輸入數(shù)據(jù)來(lái)確定所述以自我為中心的行為區(qū)域。4. 如權(quán)利要求2所述的裝置，其特征在于，所述全局行為區(qū)域包括映射到真實(shí)對(duì)象的 地理位置數(shù)據(jù)的真實(shí)對(duì)象數(shù)據(jù)。5. 如權(quán)利要求1所述的裝置，其特征在于，每個(gè)行為包括針對(duì)真實(shí)對(duì)象的相對(duì)于所述 裝置的佩戴者的交互規(guī)則。6. 如權(quán)利要求1所述的裝置，其特征在于，每個(gè)行為區(qū)域包括與所述行為區(qū)域相關(guān)聯(lián) 的一個(gè)或多個(gè)唯一的行為。7. 如權(quán)利要求1所述的裝置，其特征在于，所述一個(gè)或多個(gè)處理設(shè)備基于來(lái)自所述應(yīng) 用的指令來(lái)在所述顯示器中渲染所述反饋。8. -種定義相對(duì)于處理設(shè)備的多個(gè)真實(shí)對(duì)象的計(jì)算機(jī)實(shí)現(xiàn)的方法，所述處理設(shè)備包括 顯示器，所述方法包括： 定義全局行為區(qū)域的多個(gè)行為； 定義以自我為中心的行為區(qū)域的多個(gè)行為； 標(biāo)識(shí)全局行為區(qū)域中和以自我為中心的行為區(qū)域中的多個(gè)真實(shí)對(duì)象； 將所述全局行為區(qū)域的多個(gè)行為中的一個(gè)或多個(gè)行為指派給所述全局行為區(qū)域中標(biāo) 識(shí)的每一個(gè)真實(shí)對(duì)象； 確定靠近所述處理設(shè)備的位置的真實(shí)對(duì)象； 將所述以自我為中心的行為區(qū)域的多個(gè)行為中的一個(gè)或多個(gè)行為指派給被確定為處 于所述以自我為中心的行為區(qū)域中的每一個(gè)真實(shí)對(duì)象；以及 將所述行為和所述真實(shí)對(duì)象提供給反饋應(yīng)用。9. 如權(quán)利要求8所述的方法，其特征在于，標(biāo)識(shí)所述全局行為區(qū)域中的真實(shí)對(duì)象的數(shù) 據(jù)定義是真實(shí)對(duì)象的地理位置數(shù)據(jù)。10. 如權(quán)利要求9所述的方法，其特征在于，所述以自我為中心的區(qū)域包括與真實(shí)對(duì)象 的交互式行為。
【專(zhuān)利摘要】透視顯示器裝置包括透視頭戴式顯示器以及該顯示器上的傳感器，該傳感器檢測(cè)所述裝置的視野中的聲音和視覺(jué)數(shù)據(jù)。處理器與所述顯示器協(xié)作以使用基于行為的真實(shí)對(duì)象映射系統(tǒng)向所述設(shè)備的佩戴者提供信息。至少創(chuàng)建相對(duì)于所述裝置的全局和以自我為中心的行為區(qū)域，并且真實(shí)對(duì)象被指派映射到該對(duì)象所占據(jù)的各個(gè)區(qū)域的行為。被指派給對(duì)象的行為可由向佩戴者提供服務(wù)的應(yīng)用所使用，該應(yīng)用使用該行為作為對(duì)要在裝置中提供的反饋的類(lèi)型的評(píng)估的基礎(chǔ)。
【IPC分類(lèi)】G06F3/01, G02B27/01, G01C23/00
【公開(kāi)號(hào)】CN104919398
【申請(qǐng)?zhí)枴緾N201480004704
【發(fā)明人】M·J·蘭姆, A·A-A·基普曼
【申請(qǐng)人】微軟公司
【公開(kāi)日】2015年9月16日
【申請(qǐng)日】2014年1月11日
【公告號(hào)】EP2943857A1, US20140198017, WO2014110469A1