背景技術(shù)：

用戶可以依靠各種常規(guī)機(jī)構(gòu)來(lái)生成和執(zhí)行旅行計(jì)劃和/或以更自發(fā)和無(wú)約束的方式探索他或她的環(huán)境。例如，用戶可以使用路線選擇應(yīng)用來(lái)生成用于在兩個(gè)位置之間行進(jìn)的路線。然后，當(dāng)用戶通過(guò)一系列提示在路線上行進(jìn)時(shí)，該相同的應(yīng)用可以引導(dǎo)用戶。提示可以對(duì)應(yīng)于有聲和/或顯示的消息，例如，口頭指示用戶在規(guī)定距離內(nèi)進(jìn)行轉(zhuǎn)彎的消息。然而，在這些常規(guī)機(jī)構(gòu)中仍然存在相當(dāng)大的改進(jìn)空間。

技術(shù)實(shí)現(xiàn)要素：

本文中描述了用于輔助用戶與物理和/或虛擬空間交互的各種工具。這樣的輔助例如可以促進(jìn)用戶在物理和/或虛擬空間內(nèi)的導(dǎo)航。如本文中所使用的，導(dǎo)航是指用戶根據(jù)預(yù)定計(jì)劃通過(guò)空間的有目的的移動(dòng)、和/或可以反映不一定符合任何預(yù)定計(jì)劃的自發(fā)決定的移動(dòng)。工具還可以在任何給定時(shí)刻輔助用戶在空間內(nèi)的探索(例如，對(duì)應(yīng)于用戶在空間中將他或她自己定向的過(guò)程)。

作為一般原理，工具被設(shè)計(jì)為以用戶友好的方式向用戶提供高度信息化和及時(shí)的輔助，從而在沒有從與空間交互的實(shí)際任務(wù)不適當(dāng)?shù)胤稚⒂脩舻淖⒁饬Φ那闆r下，豐富用戶對(duì)用戶移動(dòng)所經(jīng)過(guò)的物理和虛擬空間的體驗(yàn)。考慮到這些特性，甚至對(duì)于具有視覺障礙和/或其他障礙的用戶也可以成功地使用這些工具。然而，工具本質(zhì)上是通用的，并且因此可以向任何用戶提供用戶友好的且不顯眼的引導(dǎo)，以執(zhí)行用戶在他或她的環(huán)境內(nèi)進(jìn)行交互的任何任務(wù)。

工具具有有助于上述總結(jié)的性能的各個(gè)方面。根據(jù)一方面，本文中描述了空間交互(si)模塊，si模塊包括基于信標(biāo)的引導(dǎo)模塊，基于信標(biāo)的引導(dǎo)模塊輔助用戶在環(huán)境內(nèi)的期望路線上導(dǎo)航，或者更一般地，在環(huán)境內(nèi)移動(dòng)和探索環(huán)境。環(huán)境又填充有多個(gè)信標(biāo)，在一個(gè)示例性實(shí)現(xiàn)中，多個(gè)信標(biāo)具有相應(yīng)的非重疊范圍。期望路線遍歷與多個(gè)信標(biāo)中的路線特定的信標(biāo)集合相關(guān)聯(lián)的范圍。

在一個(gè)方法中，基于信標(biāo)的引導(dǎo)模塊被配置為：確定用戶是否在路線特定的信標(biāo)中的一個(gè)的范圍內(nèi)，以提供當(dāng)前位置信息(當(dāng)用戶在范圍內(nèi)時(shí))；基于預(yù)定旅程信息，確定用戶期望到達(dá)的下一航點(diǎn)，以提供下一航點(diǎn)信息；基于當(dāng)前位置信息和下一航點(diǎn)信息確定方向信息；并且基于方向信息生成音頻信息。音頻信息在被遞送給用戶時(shí)，輔助用戶到達(dá)下一航點(diǎn)。在一種情況下，音頻信息可以至少部分地表示為三維(例如，有向)聲音。

上述特征有助于上述目標(biāo)：特別是在其中用戶不能依賴于確定他或她的位置的其他模式(例如，基于使用基于衛(wèi)星的導(dǎo)航系統(tǒng))的這些情況下，允許用戶安全和有效地移動(dòng)通過(guò)他或她的環(huán)境。另外，根據(jù)一個(gè)示例性實(shí)現(xiàn)，使用非重疊的信標(biāo)范圍提供了用于消除用戶位置歧義的有效機(jī)構(gòu)，因?yàn)橛脩舨荒芡瑫r(shí)存在于兩個(gè)或更多信標(biāo)的范圍內(nèi)。

上述方法可以在各種類型的系統(tǒng)、設(shè)備、部件、方法、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、數(shù)據(jù)結(jié)構(gòu)、圖形用戶界面演示、制品等中實(shí)施。

提供本發(fā)明內(nèi)容來(lái)以簡(jiǎn)化的形式介紹概念的選擇；這些概念在下面的詳細(xì)描述中進(jìn)一步描述。本發(fā)明內(nèi)容不旨在標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)的主題的范圍。

附圖說(shuō)明

圖1示出了用于輔助用戶與物理和/或虛擬空間交互的系統(tǒng)的概述。

圖2示出了用戶使用圖1的系統(tǒng)來(lái)進(jìn)行由多個(gè)航點(diǎn)定義的行程的示例。在其他情況下，用戶可以使用系統(tǒng)來(lái)以更開放和自發(fā)的方式與環(huán)境進(jìn)行交互。

圖3示出了可以用于實(shí)現(xiàn)圖1的系統(tǒng)的計(jì)算功能的概述。

圖4示出了空間交互模塊的一個(gè)實(shí)現(xiàn)，其是圖3的計(jì)算功能的部件。

圖5示出了應(yīng)用接口模塊的一個(gè)實(shí)現(xiàn)，其是圖4的空間交互模塊的部件。

圖6示出了耳機(jī)、手持用戶計(jì)算設(shè)備(為了簡(jiǎn)明起見，稱為“用戶設(shè)備”)和另一用戶計(jì)算設(shè)備的示例；這些設(shè)備可以實(shí)現(xiàn)圖1的系統(tǒng)的一個(gè)或多個(gè)方面。

圖7示出了實(shí)現(xiàn)圖6的耳機(jī)和用戶設(shè)備的一個(gè)方式。

圖8示出了實(shí)現(xiàn)圖6的耳機(jī)和(可選的)用戶設(shè)備的另一方式。

圖9示出了用戶在車輛內(nèi)與圖6的用戶設(shè)備交互的場(chǎng)景。

圖10是示出圖6所示的設(shè)備的一個(gè)操作方式的流程圖。

圖11示出了例如在由用戶設(shè)備的顯示輸出機(jī)構(gòu)提供的用戶界面演示中，可以由圖4和圖5的應(yīng)用接口模塊呈現(xiàn)的不同工作空間。

圖12示出了可以被用于從第一工作空間轉(zhuǎn)換到第二工作空間的手勢(shì)。

圖13示出了根據(jù)一個(gè)實(shí)現(xiàn)的可以在主頁(yè)工作空間中呈現(xiàn)的默認(rèn)中樞菜單。

圖14-圖16示出了可以在主頁(yè)工作空間中呈現(xiàn)的相應(yīng)境況菜單。

圖17示出了標(biāo)識(shí)可以被調(diào)用的多個(gè)功能的菜單；該菜單可以呈現(xiàn)在主頁(yè)工作空間中。

圖18示出了用戶可以用來(lái)設(shè)置各種參數(shù)的菜單；該菜單可以呈現(xiàn)在設(shè)置工作空間中。

圖19示出了當(dāng)他或她進(jìn)行旅行或以其他方式與環(huán)境交互時(shí)，用戶可以用來(lái)訪問與用戶相關(guān)的信息的菜單；該菜單可以呈現(xiàn)在信息工作空間中。

圖20示出了用戶可以用來(lái)訪問關(guān)于附近的感興趣項(xiàng)(ioi)的信息的菜單；該菜單可以呈現(xiàn)在“我附近”工作空間中。

圖21示出了可以在主頁(yè)工作空間中呈現(xiàn)的暫時(shí)性菜單的示例。

圖22示出了在該特定情況下在設(shè)置工作空間中呈現(xiàn)的覆蓋菜單的示例。

圖23示出了用戶可以用來(lái)獲得關(guān)于他或她的當(dāng)前境況的音頻信息的手勢(shì)。

圖24示出了用戶可以用來(lái)激活任何工作空間中的任何菜單的手勢(shì)。

圖25示出了用戶可以用來(lái)在任何菜單中導(dǎo)航通過(guò)菜單項(xiàng)集合的手勢(shì)。

圖26示出了用戶可以用來(lái)從當(dāng)前菜單導(dǎo)航到某個(gè)其他在前菜單的后退手勢(shì)。

圖27示出了與圖11的實(shí)現(xiàn)相比的工作空間的備選組織。

圖28示出了圖27的主頁(yè)工作空間中對(duì)應(yīng)于用戶尚未創(chuàng)建任何標(biāo)簽的狀態(tài)的標(biāo)簽信息。

圖29示出了圖27的主頁(yè)工作空間中對(duì)應(yīng)于用戶現(xiàn)在已經(jīng)創(chuàng)建標(biāo)簽集合的狀態(tài)的標(biāo)簽菜單。

圖30示出了與圖25的實(shí)現(xiàn)相比，組織菜單內(nèi)的菜單項(xiàng)的備選方式。

圖31和圖32示出了與圖25的實(shí)現(xiàn)相比，滾動(dòng)菜單內(nèi)的菜單項(xiàng)并且然后選擇菜單項(xiàng)的備選方式。

圖33示出了在菜單的周邊處執(zhí)行的后退手勢(shì)以及響應(yīng)于該手勢(shì)而執(zhí)行的動(dòng)作。

圖34示出了通過(guò)在菜單上繪制圓形形狀所執(zhí)行的手勢(shì)，以及響應(yīng)于該手勢(shì)而執(zhí)行的后退動(dòng)作。

圖35示出了通過(guò)在菜單上繪制半圓而執(zhí)行的手勢(shì)，以及響應(yīng)于手勢(shì)而執(zhí)行的后退動(dòng)作。

圖36和圖37示出了可以用于分別增加和減少由圖1的系統(tǒng)提供的詳細(xì)級(jí)別以及由系統(tǒng)提供的境況信息的級(jí)別的不同手勢(shì)。

圖38是概述圖4和圖5的應(yīng)用接口模塊的一個(gè)操作方式的流程圖。

圖39示出了使用三維音頻信息來(lái)創(chuàng)建從空間內(nèi)的特定位置發(fā)出的聲音的感知。

圖40示出了使用三維音頻信息來(lái)創(chuàng)建跨越空間內(nèi)的一系列位置移動(dòng)的聲音的感知。

圖41示出了路徑引導(dǎo)模塊可以使用三維聲音(例如，周期性節(jié)拍聲)來(lái)以期望的方向引導(dǎo)用戶的方式。

圖42示出了其中探索模塊可以使用三維聲音來(lái)標(biāo)識(shí)與用戶感興趣的當(dāng)前焦點(diǎn)相關(guān)聯(lián)的ioi的位置的方式。

圖43示出了其中定向模塊可以使用三維聲音來(lái)標(biāo)識(shí)與用戶周圍的整個(gè)空間相關(guān)聯(lián)的ioi的方式。

圖44是描述使用三維聲音來(lái)輔助用戶與空間交互的流程圖。

圖45是描述(圖4和圖41的)路徑引導(dǎo)模塊可以使用三維聲音來(lái)沿期望路線引導(dǎo)用戶的一個(gè)方式的流程圖。

圖46是描述例如在自動(dòng)模式下(例如，當(dāng)用戶遍歷路線或以其他方式在空間中移動(dòng)時(shí))、在探索模式下、或在定向模式下，空間交互模塊可以使用三維聲音來(lái)標(biāo)識(shí)ioi的一個(gè)方式的流程圖。

圖47示出了具有多個(gè)信標(biāo)的環(huán)境。在一個(gè)示例性實(shí)現(xiàn)中，信標(biāo)產(chǎn)生非重疊范圍，其中其相應(yīng)信號(hào)可以由跨越環(huán)境移動(dòng)或以其他方式與環(huán)境交互的用戶來(lái)檢測(cè)。

圖48-圖50示出了與圖47的示例相比，每個(gè)環(huán)境具有更多數(shù)目的信標(biāo)的其他環(huán)境。

圖51是示出在圖47-圖50的環(huán)境類型的境況中，基于信標(biāo)的引導(dǎo)模塊的一個(gè)操作方式的流程圖。

圖52是提供關(guān)于基于信標(biāo)的引導(dǎo)模塊可以確定用戶在環(huán)境內(nèi)的當(dāng)前位置的一個(gè)方式的進(jìn)一步細(xì)節(jié)的流程圖。

圖53示出了可以用于實(shí)現(xiàn)前述附圖中所示特征的任何方面的示例性計(jì)算功能。

在整個(gè)公開和附圖中使用相同的附圖標(biāo)記來(lái)指代相同的部件和特征。系列100數(shù)字指的是最初在圖1中找到的特征，系列200數(shù)字指的是最初在圖2中找到的特征，系列300數(shù)字指的是最初在圖3中找到的特征，等。

具體實(shí)施方式

本公開組織如下。部分a提供了用于輔助用戶與真實(shí)和/或虛擬空間交互的系統(tǒng)的概述。部分b描述了可以在部分a的系統(tǒng)中使用的不同類型的耳機(jī)和手持用戶計(jì)算設(shè)備。部分c描述了可以由部分a的系統(tǒng)提供的示例性用戶界面體驗(yàn)。部分d描述了用于生成和使用三維聲音和其他(非三維)類型的聲音的功能。部分e描述了用于輔助用戶導(dǎo)航通過(guò)填充有信標(biāo)的環(huán)境的、基于信標(biāo)的引導(dǎo)功能，在一個(gè)示例性實(shí)現(xiàn)中，信標(biāo)具有不重疊的范圍。以及部分f描述了可以用于實(shí)現(xiàn)先前部分中描述的特征的任何方面的示例性計(jì)算功能。

作為初步事項(xiàng)，一些附圖在一個(gè)或多個(gè)結(jié)構(gòu)部件(各自被稱為功能、模塊、特征、元件等)的上下文中描述概念。附圖中所示的各個(gè)部件可以通過(guò)任何物理和有形的機(jī)構(gòu)(例如，通過(guò)在計(jì)算機(jī)設(shè)備上運(yùn)行的軟件、硬件(例如，芯片實(shí)現(xiàn)的邏輯功能)等、和/或其任何組合)以任何方式來(lái)實(shí)現(xiàn)。在一種情況下，圖中所示的各個(gè)部件分離成不同的單元可以反映在實(shí)際實(shí)現(xiàn)中相應(yīng)的不同物理和有形部件的使用。備選地或附加地，圖中所示的任何單個(gè)部件可以由多個(gè)實(shí)際物理部件實(shí)現(xiàn)。備選地或附加地，圖中的任何兩個(gè)或更多個(gè)分離部件的描繪可以反映由單個(gè)實(shí)際物理部件執(zhí)行的不同功能。將依次描述的圖53提供關(guān)于圖中所示的功能的一個(gè)示例性物理實(shí)現(xiàn)的附加細(xì)節(jié)。

其他附圖以流程圖形式描述概念。在這種形式中，某些操作被描述為構(gòu)成以特定順序執(zhí)行的不同框。這樣的實(shí)現(xiàn)是示例性的而非限制性的。本文中所描述的某些框可以被分組在一起并且在單個(gè)操作中執(zhí)行，某些框可以被分解成多個(gè)組成框，并且某些框可以以與本文中所示的順序(包括執(zhí)行框的并行方式)不同的順序執(zhí)行。流程圖中所示的框可以通過(guò)任何物理和有形機(jī)構(gòu)(例如，通過(guò)在計(jì)算機(jī)設(shè)備上運(yùn)行的軟件、硬件(例如，芯片實(shí)現(xiàn)的邏輯功能)等、和/或其任何組合)以任何方式實(shí)現(xiàn)。

關(guān)于術(shù)語(yǔ)，短語(yǔ)“被配置為”涵蓋可以構(gòu)造任何種類的物理和有形功能以執(zhí)行所標(biāo)識(shí)的操作的任何方式。該功能可以被配置為使用例如在計(jì)算機(jī)設(shè)備上運(yùn)行的軟件、硬件(例如，芯片實(shí)現(xiàn)的邏輯功能)等、和/或其任何組合來(lái)執(zhí)行操作。

術(shù)語(yǔ)“邏輯”涵蓋用于執(zhí)行任務(wù)的任何物理和有形功能。例如，流程圖中所示的每個(gè)操作對(duì)應(yīng)于用于執(zhí)行該操作的邏輯部件?？梢允褂美缭谟?jì)算機(jī)設(shè)備上運(yùn)行的軟件、硬件(例如，芯片實(shí)現(xiàn)的邏輯功能)等、和/或其任何組合來(lái)執(zhí)行操作。當(dāng)由計(jì)算設(shè)備實(shí)現(xiàn)時(shí)，邏輯部件表示電氣部件，電氣部件是計(jì)算系統(tǒng)的、被實(shí)現(xiàn)的物理部分。

以下解釋可以將一個(gè)或多個(gè)特征標(biāo)識(shí)為“可選的”。這種類型的語(yǔ)句不應(yīng)被解釋為可以被認(rèn)為是可選的特征的詳盡指示；即，雖然在文本中沒有明確地標(biāo)識(shí)，其他特征可以被認(rèn)為是可選的。此外，單個(gè)實(shí)體的任何描述并不旨在排除使用多個(gè)這樣的實(shí)體；類似地，多個(gè)實(shí)體的描述并不旨在排除使用單個(gè)實(shí)體。此外，雖然描述可以將某些特征解釋為執(zhí)行所標(biāo)識(shí)的功能或?qū)崿F(xiàn)所標(biāo)識(shí)的機(jī)構(gòu)的備選方式，但是特征也可以以任何組合方式組合在一起。最后，術(shù)語(yǔ)“示例性”或“例示性”是指潛在的很多實(shí)現(xiàn)中的一個(gè)實(shí)現(xiàn)。

a.系統(tǒng)概述

圖1示出了用于輔助用戶104與物理和/或虛擬空間交互的系統(tǒng)102的概述。物理空間可以對(duì)應(yīng)于例如由一個(gè)或多個(gè)建筑物的內(nèi)部限定的室內(nèi)空間，或者對(duì)應(yīng)于存在于建筑物內(nèi)部之外的外部空間，或者對(duì)應(yīng)于室內(nèi)和室外空間的某種組合。虛擬空間可以例如對(duì)應(yīng)于填充有任何類型(一個(gè)或多個(gè))的虛擬對(duì)象的域。在一些情況下，虛擬空間可以被覆蓋在用戶可以物理移動(dòng)通過(guò)其的物理空間上。在這些情況下，虛擬空間中的一些虛擬對(duì)象可以被分配物理空間中的對(duì)應(yīng)真實(shí)位置(將在下面闡明)。

圖1廣泛地介紹了可以在系統(tǒng)102中使用的示例性部件。在系統(tǒng)102的特定實(shí)現(xiàn)可以省略一個(gè)或多個(gè)所示部件的意義上，這些部件是可選的。附加地或備選地，系統(tǒng)102的特定實(shí)現(xiàn)可以包括圖1中未示出的附加部件。

在他或她對(duì)空間(一個(gè)或多個(gè))的探索期間，用戶104可以經(jīng)由任何類型的用戶計(jì)算設(shè)備106(為了簡(jiǎn)潔，在下文中簡(jiǎn)稱為“用戶設(shè)備”)和耳機(jī)108或僅單獨(dú)經(jīng)由耳機(jī)108與系統(tǒng)102交互。用戶設(shè)備106可以對(duì)應(yīng)于具有任何形狀因子的任何類型的便攜式計(jì)算設(shè)備。例如，用戶設(shè)備106可以對(duì)應(yīng)于智能電話、平板型計(jì)算設(shè)備、膝上型計(jì)算設(shè)備、上網(wǎng)本型計(jì)算設(shè)備、媒體消費(fèi)設(shè)備(例如，書閱讀器型計(jì)算設(shè)備或音樂-播放計(jì)算設(shè)備)、便攜式游戲設(shè)備、可穿戴計(jì)算設(shè)備(例如，眼鏡、護(hù)目鏡等)等。在其他情況下(未示出)，用戶104可以攜帶和利用兩個(gè)或更多個(gè)用戶計(jì)算設(shè)備(例如，與平板型計(jì)算設(shè)備組合的智能電話)。

耳機(jī)108可以類似地對(duì)應(yīng)于用于向用戶104遞送音頻信息的任何類型的設(shè)備。在一種情況下，例如，耳機(jī)108可以使用位于用戶104一個(gè)或多個(gè)耳朵之上或附近的傳統(tǒng)揚(yáng)聲器遞送音頻信息。在另一種情況下，耳機(jī)108可以使用骨傳導(dǎo)技術(shù)遞送音頻信息。在骨傳導(dǎo)技術(shù)中，耳機(jī)108經(jīng)由施加到用戶頭部的骨骼的振動(dòng)將信息傳送到用戶的鼓膜。使用骨傳導(dǎo)的耳機(jī)可以不阻擋用戶104的耳道，并且因此允許用戶104聽到由他或她導(dǎo)航通過(guò)的空間產(chǎn)生的其他(外部)聲音；在一些情況下，特別是對(duì)于視力受損的用戶的情況和不熟悉其環(huán)境的用戶的情況，這種結(jié)果可能是期望的，以增加用戶與其物理環(huán)境交互的安全性。

根據(jù)一個(gè)一般的使用方式，用戶104可以與用戶設(shè)備106交互，以接收關(guān)于他或她主要以視覺形式與空間的交互的信息。附加地或備選地，用戶設(shè)備106可以例如通過(guò)產(chǎn)生觸覺反饋提示(例如，基于振動(dòng)的提示)以非視覺形式遞送信息。用戶104可以主要與耳機(jī)108交互，以接收關(guān)于他或她與空間的交互的音頻信息。該音頻信息可以包括有聲信息、其他聲音等。系統(tǒng)102還可以從用戶設(shè)備106或耳機(jī)108或兩者接收指令。

用戶104還可以可選地經(jīng)由一個(gè)或多個(gè)傳統(tǒng)上固定的計(jì)算設(shè)備110(例如，臺(tái)式計(jì)算設(shè)備、游戲控制臺(tái)設(shè)備、機(jī)頂盒設(shè)備等)與系統(tǒng)102交互。例如，用戶104可以在創(chuàng)建定義經(jīng)過(guò)空間的特定路線的行程信息的行程之前，使用其他用戶計(jì)算設(shè)備110與系統(tǒng)102交互。用戶104然后可以在用戶設(shè)備106和/或耳機(jī)108上加載該行程信息。在行程之后，用戶104可以再次經(jīng)由其他用戶計(jì)算設(shè)備110與系統(tǒng)102交互。例如，系統(tǒng)102可以將關(guān)于完成的行程的信息下載到其他用戶計(jì)算設(shè)備110，允許用戶104為了任何目的在任何時(shí)間查看關(guān)于該行程的信息。

在一種情況下，通過(guò)處理由上述標(biāo)識(shí)的部件(即，用戶設(shè)備106、耳機(jī)108和其他用戶計(jì)算設(shè)備110)提供的功能來(lái)執(zhí)行與系統(tǒng)102相關(guān)聯(lián)的所有功能。在另一種情況下，一個(gè)或多個(gè)遠(yuǎn)程處理資源112可以實(shí)現(xiàn)由系統(tǒng)102執(zhí)行的處理的至少一些方面，例如，本質(zhì)上是特別計(jì)算密集的那些方面。例如，遠(yuǎn)程處理資源112可以包括用于創(chuàng)建新行程、修改現(xiàn)有行程、解釋用戶的口頭指令等的功能。在一種情況下，遠(yuǎn)程處理資源112可以對(duì)應(yīng)于一個(gè)或多個(gè)服務(wù)器計(jì)算設(shè)備、一個(gè)或多個(gè)數(shù)據(jù)存儲(chǔ)庫(kù)等。

系統(tǒng)102可以使用通信管道114的任何組合來(lái)將上述部件耦合在一起。例如，用戶設(shè)備106可以經(jīng)由任何無(wú)線通信機(jī)構(gòu)(例如，使用藍(lán)牙通信)和/或任何硬連線通信機(jī)構(gòu)(例如，經(jīng)由usb連接等)與耳機(jī)108交互。用戶設(shè)備106和耳機(jī)108可以經(jīng)由蜂窩連接、wi-fi連接、硬連線連接等或其任何組合與系統(tǒng)102的遠(yuǎn)程部件通信。

此外，雖然未示出，但是為了確定用戶設(shè)備106的位置，用戶設(shè)備106可以與任何遠(yuǎn)程位置確定系統(tǒng)交互。耳機(jī)108可以執(zhí)行相同的功能。遠(yuǎn)程位置確定機(jī)構(gòu)可以對(duì)應(yīng)于任何基于衛(wèi)星的位置確定系統(tǒng)(例如，gps系統(tǒng))、地面通信塔等。此外，用戶設(shè)備106和/或耳機(jī)108還可以通過(guò)任何通信機(jī)構(gòu)(例如，經(jīng)由藍(lán)牙通信、wi-fi通信等)與本地信標(biāo)交互。

本部分(部分a)的其余部分提供了由系統(tǒng)102提供的功能的概述。后面的部分提供關(guān)于系統(tǒng)的各個(gè)部件的附加細(xì)節(jié)。

通常地，用戶可以使用系統(tǒng)102作為在用戶移動(dòng)通過(guò)熟悉或不熟悉的任何類型的空間時(shí)，豐富用戶體驗(yàn)的方式。在一種情況下，例如，用戶可以根據(jù)期望的時(shí)間表，使用系統(tǒng)102作為進(jìn)行從源位置到目標(biāo)位置的計(jì)劃旅程的引導(dǎo)。在其他情況下，用戶可以例如在沒有預(yù)先計(jì)劃的旅程和/或時(shí)間表的情況下，使用系統(tǒng)102來(lái)以更開放和自發(fā)的方式提供探索空間時(shí)的輔助。例如，用戶可以在他或她漫游通過(guò)不熟悉的城市或者蜿蜒穿過(guò)展覽會(huì)或博物館的展覽時(shí)，使用系統(tǒng)102來(lái)提供輔助；用戶可以在沒有固定旅程的情況下參與該活動(dòng)，并且可以以自由形式和自發(fā)的方式改變他或她的行程的過(guò)程和目標(biāo)。在另一種情況下，用戶可以使用系統(tǒng)102作為激活通過(guò)熟悉環(huán)境的熟悉路線的方式，等。在另一種情況下，用戶可以以混合操作方式使用系統(tǒng)，例如，其中用戶的交互的一些方面符合準(zhǔn)備的計(jì)劃，并且其他方面在本質(zhì)上是更開放的和自發(fā)的。

進(jìn)行到圖2，該圖示出了用戶使用圖1的系統(tǒng)102進(jìn)行預(yù)先計(jì)劃的行程的一個(gè)示例。下面將描述用戶在進(jìn)行該行程時(shí)的示例性體驗(yàn)，作為將讀者介紹到系統(tǒng)102可以執(zhí)行的功能類型的方式。注意，該示例體驗(yàn)是以示例的精神而不是限制的方式呈現(xiàn)的；如上所述，系統(tǒng)102可以應(yīng)用于其中用戶出于任何目的而與他或她的環(huán)境進(jìn)行交互的各種其他境況中。

在圖2的非限制性情況下，假定用戶(名為john的人)在開始旅行之前創(chuàng)建了行程(但是，不一定是這種情況)。例如，假定用戶已創(chuàng)建了將他從他在倫敦的住所帶到醫(yī)生在城市的另一部分中的約會(huì)的路線。因?yàn)樗皇煜に眯械某鞘械牟糠?，用戶可能已?jīng)為這個(gè)任務(wù)創(chuàng)建了行程。或者，用戶可能具有呈現(xiàn)各種移動(dòng)性相關(guān)挑戰(zhàn)的一個(gè)或多個(gè)障礙。例如，用戶可能具有任何形式(和程度)的視力損傷。在這種情況下，即使他可能熟悉路線，用戶也可能已經(jīng)創(chuàng)建了行程以輔助他導(dǎo)航路線。在另一種情況下，除了用戶之外的一些實(shí)體可能已經(jīng)代表用戶創(chuàng)建了行程。在這些情況下，計(jì)劃的行程由描述行程的所有方面的行程信息定義。

圖2具體地以實(shí)線表示所計(jì)劃的行程路線202。在一些情況下，用戶可以使用系統(tǒng)102來(lái)大致堅(jiān)持所計(jì)劃的路線202。在其他情況下，用戶可能出于任何原因而偏離所計(jì)劃的路線202，例如，因?yàn)樗厮?jì)劃的路線202遇到障礙物，或者他出于任何原因作出自發(fā)決定來(lái)改變他的旅行過(guò)程。例如，在這種僅是示例性的情況下，為了在途中訪問商店204以購(gòu)買一些物品(例如，三明治等)，用戶已經(jīng)脫離所計(jì)劃的路線202。圖2以虛線表示用戶的實(shí)際路線206。

在圖2所示的情況下的所計(jì)劃的路線202由一系列過(guò)渡點(diǎn)(w1、w2、w3、w4和w5)或站點(diǎn)來(lái)定義(這里稱為航點(diǎn))。例如，航點(diǎn)w1可以對(duì)應(yīng)于用戶行程的起點(diǎn)，而航點(diǎn)w5可以對(duì)應(yīng)于用戶行程的目的地。航點(diǎn)w2和w3可以對(duì)應(yīng)于兩個(gè)交叉點(diǎn)；在每個(gè)這樣的交叉點(diǎn)處，用戶從第一道路轉(zhuǎn)換到第二道路。航點(diǎn)w4可以對(duì)應(yīng)于用戶可以改變其交通模式的任何站點(diǎn)。例如，用戶可以徒步行進(jìn)到航點(diǎn)w4。航點(diǎn)w4可以對(duì)應(yīng)于擺渡車(shuttle)站，在擺渡車站處，用戶等待擺渡車208的到達(dá)，擺渡車208根據(jù)預(yù)定的時(shí)間表到達(dá)。然后，用戶可以在擺渡車208上繼續(xù)到航點(diǎn)w5。在其他情況下，交通模式可以對(duì)應(yīng)于火車、地鐵、有軌電車或任何私人交通模式(例如，私人汽車、自行車等)。

因此，所計(jì)劃的路線可以被概念化為具有一系列分段(s1、s2、s3和s4)。圖2的示例是簡(jiǎn)化情況。在其他情況下，行程可以包括更多的航點(diǎn)和相關(guān)聯(lián)的分段。并且該行程可以包括交通模式的任何組合。在其他情況下，行程可能沒有圖2所示的行程復(fù)雜，例如，僅包括開始和結(jié)束航點(diǎn)。注意，在其他情況下，行程可以不提前定義。

如本文中所使用的術(shù)語(yǔ)“境況”通常是指在進(jìn)行行程或以其他方式與環(huán)境交互時(shí)，在任何給定時(shí)間用戶面對(duì)的情況。該情況又至少受用戶可能希望與之交互的環(huán)境的特征、一天中的當(dāng)前時(shí)間(一周中的星期幾)等以及在當(dāng)前時(shí)間用戶面對(duì)的目標(biāo)等支配。例如，在時(shí)間t1，用戶在嘗試從航點(diǎn)w1行進(jìn)到航點(diǎn)w2時(shí)，遍歷分段s1。因此，用戶的行程的境況c1至少部分地由用戶沿所計(jì)劃的行程的當(dāng)前位置以及用戶在所計(jì)劃的分段s2上到達(dá)航點(diǎn)w2的努力來(lái)定義。用戶在其他時(shí)間的境況將根據(jù)用戶在當(dāng)時(shí)所面對(duì)的環(huán)境以及當(dāng)時(shí)用戶相應(yīng)的局部目標(biāo)而有所不同。

利用所計(jì)劃的路線202和實(shí)際路線206的上述初步描述，現(xiàn)在考慮當(dāng)用戶從航點(diǎn)w1行進(jìn)到航點(diǎn)w5時(shí)的示例性用戶體驗(yàn)。在一個(gè)示例中，假定用戶至少攜帶用戶設(shè)備106，并且佩戴耳機(jī)108(圖1所示)。用戶設(shè)備106在下面被稱為智能手機(jī)以簡(jiǎn)化對(duì)該設(shè)備的引用，但是用戶設(shè)備106可以包括上面參考圖1所述的任何類型的設(shè)備。在其他情況下，用戶可以僅使用耳機(jī)108進(jìn)行導(dǎo)航(即，通過(guò)去除對(duì)智能電話的使用)。

作為一般原則，當(dāng)用戶進(jìn)行其行程或以其他方式與空間交互時(shí)，系統(tǒng)102在沿用戶路徑的適當(dāng)接合點(diǎn)(juncture)將用戶暴露于相關(guān)信息?？梢砸月犛X、視覺和/或觸覺的形式自動(dòng)呈現(xiàn)給用戶的信息的實(shí)例在本文中被稱為感興趣項(xiàng)(ioi)。為了執(zhí)行該功能，系統(tǒng)102在每個(gè)時(shí)刻確定用戶的當(dāng)前境況。例如，系統(tǒng)102在每個(gè)特定時(shí)間感測(cè)用戶的位置和定向(以及可選地，運(yùn)動(dòng))。系統(tǒng)102可以使用任何技術(shù)或技術(shù)的組合來(lái)執(zhí)行該任務(wù)，技術(shù)或技術(shù)組合的示例在下文圖3的描述的上下文中提供。然后，系統(tǒng)102標(biāo)識(shí)與用戶的當(dāng)前境況相關(guān)的ioi。在一些情況下，例如，系統(tǒng)102可以確定ioi與用戶的當(dāng)前境況相關(guān)，因?yàn)橛脩粼谂cioi相關(guān)聯(lián)的物理對(duì)象(或區(qū)域)的規(guī)定距離內(nèi)，其中該距離預(yù)先被定義并且存儲(chǔ)。然后，系統(tǒng)102將關(guān)于那些ioi的信息遞送給用戶。如下面將更詳細(xì)地描述的，用戶還可以在行程中的稍后時(shí)間手動(dòng)探索其將(或可能)面對(duì)的未來(lái)境況，從而允許用戶為這些情況做準(zhǔn)備。

系統(tǒng)102可以基于從各個(gè)源提取的信息來(lái)提供ioi。例如，系統(tǒng)102可以從公開可用的地圖信息(例如，由華盛頓州雷德蒙德的microsoft公司提供的bing地圖服務(wù)提供的地圖信息)確定道路、自然特征等的位置。系統(tǒng)102可以從任何公布的目錄信息確定公共和私有實(shí)體(例如，商店、政府建筑物等)的位置。系統(tǒng)102可以從各個(gè)公布的源(例如，公共交通時(shí)間表信息、公共安全信息)確定相關(guān)事件的發(fā)生。系統(tǒng)102可以從各個(gè)服務(wù)(例如，一個(gè)或多個(gè)在線社交網(wǎng)絡(luò)應(yīng)用、一個(gè)或多個(gè)日歷應(yīng)用等)確定用戶相關(guān)的信息，等。

每個(gè)ioi涉及特定主題或經(jīng)驗(yàn)焦點(diǎn)。ioi可以按照不同的解釋性維度以不同的方式分類。例如，第一類ioi直接映射到用戶正在移動(dòng)或以其他方式交互的空間中的物理對(duì)象或物理事件。例如，該類型的ioi可以對(duì)應(yīng)于位于用戶附近的商店、或者位于用戶前面的開放檢修孔、或者用戶在規(guī)定的到達(dá)距離內(nèi)的下一航點(diǎn)等。第二類ioi中的ioi在環(huán)境中不一定具有直接的物理對(duì)應(yīng)物。例如，該類型的ioi可以對(duì)應(yīng)于當(dāng)用戶接近公共汽車站時(shí)播放的廣告。廣告可以與公共汽車站周圍的空間相關(guān)聯(lián)，但是，不是對(duì)公共汽車站本身的描述。

另一“虛擬類型”ioi可以對(duì)應(yīng)于當(dāng)他接近咖啡臺(tái)時(shí)，引起用戶注意的新聞標(biāo)題。系統(tǒng)102可以基于用戶可能希望在喝一杯咖啡的同時(shí)消費(fèi)該ioi的前提，向用戶呈現(xiàn)關(guān)于該ioi的信息。另一虛擬類型ioi可以對(duì)應(yīng)于當(dāng)用戶離開地鐵站時(shí)，遞送給用戶的天氣報(bào)告。系統(tǒng)102可以基于用戶可能希望為他在離開站點(diǎn)時(shí)將要面對(duì)的天氣做準(zhǔn)備的前提，向用戶呈現(xiàn)關(guān)于該ioi的信息。另一虛擬類型的ioi可以對(duì)應(yīng)于當(dāng)用戶接近他或她的個(gè)人住宅時(shí)，從社交網(wǎng)絡(luò)應(yīng)用檢索的消息。系統(tǒng)102可以基于用戶可能希望在進(jìn)入他的家之前，趕上家庭成員或朋友發(fā)送的任何消息的前提，向用戶呈現(xiàn)關(guān)于該ioi的信息。設(shè)想很多其他場(chǎng)景，其中用戶接收與用戶當(dāng)前情況密切相關(guān)的某個(gè)類型的信息(和/或與功能交互的機(jī)會(huì))，但可能不用于描述用戶緊鄰附近的實(shí)際對(duì)象或事件。

還可以基于其在空間探索中所起的作用，對(duì)不同的ioi(上述第一“真實(shí)”類或第二“虛擬”類)進(jìn)行分類。例如，可以沿該維度將ioi分類為警告ioi、行程ioi、境況ioi和可用信息ioi等(但是嚴(yán)格來(lái)說(shuō)這些類別可能不是相互排斥的)。系統(tǒng)102發(fā)送關(guān)于警告ioi的信息，以向用戶提醒可能在行程期間影響用戶安全的事件(例如，在用戶前面存在開放檢修孔的指示)。警告消息是尖銳的和中肯的。系統(tǒng)102發(fā)送關(guān)于行程ioi的信息，以向用戶提醒可能影響用戶行程的進(jìn)展的事件(例如，下一航點(diǎn)接近的指示、或公共汽車將遲到的指示)。系統(tǒng)102向用戶發(fā)送關(guān)于境況ioi的信息，以向用戶提醒用戶可能感興趣的、用戶附近(無(wú)論是真實(shí)的還是虛擬的)的對(duì)象和事件(例如，咖啡店在其行程的前方的指示)。系統(tǒng)102提醒用戶存在可用信息ioi，而不自動(dòng)地遞送信息。然后，用戶可以選擇以按需方式接收該信息，或者忽略它。例如，用戶可以通過(guò)點(diǎn)擊耳機(jī)108上的適當(dāng)功能按鈕或通過(guò)用戶設(shè)備106提供的信息菜單或使用等效語(yǔ)音命令來(lái)訪問可用信息。

系統(tǒng)可以以任何方式遞送關(guān)于每個(gè)ioi的信息。例如，對(duì)于至少一些ioi，系統(tǒng)可以通過(guò)發(fā)送指示聲音然后發(fā)送有聲消息來(lái)遞送ioi。初步聲音使得用戶能夠“收聽”來(lái)聽到有聲通知(即，通過(guò)將注意力引導(dǎo)向有聲通知)。該聲音還提醒用戶關(guān)于要遵循的信息的類型，使得用戶能夠更好地決定他或她是否會(huì)注意信息。例如，用戶可以選擇對(duì)行程信息給予高度關(guān)注，但是對(duì)于境況信息(例如，關(guān)于用戶附近的商店或者關(guān)于用戶的當(dāng)前情況的促銷供應(yīng))不太注意。

在行程中的任何點(diǎn)處，用戶可以做出聽到關(guān)于最近大聲讀出的一個(gè)或多個(gè)行程ioi(和/或其他類型的ioi)的信息的請(qǐng)求。該請(qǐng)求可以以下面描述的各種方式進(jìn)行。如果在最近30秒內(nèi)已經(jīng)大聲讀出了警告，則系統(tǒng)102將通過(guò)也重復(fù)警告隨后重復(fù)旅程信息來(lái)響應(yīng)用戶的動(dòng)作。在一些情況下，用戶可以請(qǐng)求系統(tǒng)102重復(fù)信息，但是該信息不再可用。系統(tǒng)102可以播放適當(dāng)?shù)穆曇?，隨后通過(guò)有聲消息、“此時(shí)信息不可用”等，向用戶提醒這種情況。

作為另一一般特征，系統(tǒng)102可以在用戶不期望被來(lái)自環(huán)境的其他感知信息淹沒的時(shí)間自動(dòng)地呈現(xiàn)關(guān)于一些ioi的信息。例如，系統(tǒng)102可以制止向用戶發(fā)送關(guān)于所計(jì)劃的路線202的消息，直到用戶沿所計(jì)劃的路線到達(dá)規(guī)定的“安靜區(qū)”，在安靜區(qū)處，用戶可以安全且愉快地消費(fèi)信息。系統(tǒng)102可以預(yù)先存儲(chǔ)被認(rèn)為是“安靜區(qū)”的區(qū)域的位置。

現(xiàn)在更加仔細(xì)地考慮在圖2所示的空間上導(dǎo)航時(shí)，用戶的特定體驗(yàn)。假定在時(shí)間t1，用戶正試圖到達(dá)第二航點(diǎn)w2。在感測(cè)用戶的位置(和前進(jìn)方向)之后，系統(tǒng)102可以向用戶發(fā)送輔助用戶到達(dá)第二航點(diǎn)w2的方向(以視覺和/或聽覺的形式)。此外，當(dāng)用戶在距第二航點(diǎn)w2的規(guī)定距離內(nèi)時(shí)，系統(tǒng)102可以向用戶發(fā)送關(guān)于第二航點(diǎn)w2本身的信息。這將使得用戶能夠?qū)Φ诙近c(diǎn)w2可能需要的進(jìn)程的任何變化做出適當(dāng)?shù)臏?zhǔn)備。上述信息可以主要被形成為行程ioi。

在某些情況下，例如相對(duì)于實(shí)際采取的路線和/或用戶遍歷空間的定時(shí)，用戶的實(shí)際行程可能偏離所計(jì)劃的行程。為了解決這些情況，系統(tǒng)102可以自動(dòng)地(或以按需方式)確定用戶的當(dāng)前情況是否將影響用戶行程的任何剩余部分。例如，系統(tǒng)102可以更新用戶到達(dá)公共汽車站的估計(jì)時(shí)間，然后確定用戶是否將繼續(xù)以及時(shí)到達(dá)來(lái)趕上先前標(biāo)識(shí)的公共汽車或擺渡車。如果用戶的當(dāng)前情況以這種方式影響用戶的行程，則系統(tǒng)102可以自動(dòng)地重新生成用于輔助用戶在空間內(nèi)導(dǎo)航的信息。該信息可以被表示為ioi的新的集合。例如，系統(tǒng)102可以建議用戶乘坐較晚的公共汽車或擺渡車(并且可以自動(dòng)進(jìn)行適當(dāng)?shù)念A(yù)訂，發(fā)送適當(dāng)?shù)耐ㄖ?或作出其他安排)。此外，如上所述，用戶可以以任何方式(例如，通過(guò)明確請(qǐng)求關(guān)于將來(lái)遇到的航點(diǎn)的信息等)探索更新后的信息。

圖2通常還指示在時(shí)間t1，系統(tǒng)102自動(dòng)通知用戶存在境況性質(zhì)的各種感興趣項(xiàng)(ioi)(即，上文闡述的術(shù)語(yǔ)中的“境況ioi”)。例如，示例性境況ioi可以對(duì)應(yīng)于商店、餐館、政府辦公室、自然地標(biāo)等。在一種情況下，系統(tǒng)102可以僅在境況ioi在用戶的當(dāng)前時(shí)間的規(guī)定距離內(nèi)并且用戶尚未通過(guò)的情況下，呈現(xiàn)用于用戶考慮的境況ioi。

用戶可以以任何方式(關(guān)于境況ioi和/或任何其他類型的ioi)定制系統(tǒng)102的行為。例如，用戶可以規(guī)定他希望沿他的路線接收的提示的類型(例如，通過(guò)指示他想要接收關(guān)于第一類型的商店但不是第二類型的商店的信息)。用戶還可以規(guī)定他想要接收信息的定時(shí)。例如，用戶可以規(guī)定當(dāng)通知他存在境況ioi時(shí)，應(yīng)當(dāng)考慮的最大距離(距他的當(dāng)前位置)。用戶可以在開始行程之前進(jìn)行這些設(shè)置。此外，用戶可以動(dòng)態(tài)地改變由系統(tǒng)在行程中遞送的信息的類型和數(shù)量(例如，通過(guò)回?fù)苡上到y(tǒng)自動(dòng)提供的信息量)。因?yàn)橛脩舭l(fā)現(xiàn)信息在沿行程的特定接合點(diǎn)不必要或分散注意力，用戶可以選擇減少信息量。

系統(tǒng)102可以以任何應(yīng)用特定的方式呈現(xiàn)關(guān)于境況ioi的信息。例如，在一種情況下，系統(tǒng)102可以按照境況ioi在用戶前面從左到右或從右到左(例如，通過(guò)基本上形成角掃描，其中用戶位于掃描原點(diǎn))、或者從前到后(根據(jù)與用戶的距離)、或者從后到前等出現(xiàn)的順序來(lái)宣布一些境況ioi。如上所述，在一個(gè)實(shí)現(xiàn)中，系統(tǒng)102可以在每個(gè)通知之前具有指示聲音，該指示聲音提醒用戶關(guān)于境況ioi的信息即將要遵循。系統(tǒng)102然后可以例如通過(guò)提供宣布“jane的咖啡店，150英尺”的音頻信息來(lái)描述境況ioi。系統(tǒng)102可以例如通過(guò)為餐廳提供第一類型的初步聲音，以及為公共汽車站等提供第二類型的聲音等備選地提供與不同類型的場(chǎng)所相關(guān)聯(lián)的不同的初步聲音。

在一些情況下，在當(dāng)前時(shí)間，用戶的附近內(nèi)可能存在大量的境況ioi。為了縮減賦予用戶的信息量，系統(tǒng)102可以例如通過(guò)宣布“通常在100英尺的餐館”將該信息合并成一個(gè)或多個(gè)概要消息。這對(duì)于任何類型的ioi成立。一般來(lái)說(shuō)，系統(tǒng)102可以確定要在給定時(shí)間遞送給用戶的一組單獨(dú)ioi是否具有至少一個(gè)共同特性。系統(tǒng)102然后可以提供將該組ioi作為塊或集合而不是單獨(dú)地宣布的概要消息。在上述特定示例中，系統(tǒng)102確定一組境況ioi位于用戶附近，并且這些ioi涉及相同類型的場(chǎng)所。在另一示例中，系統(tǒng)102可以提供概要警告ioi“在接下來(lái)的100碼處有許多凹坑”。

系統(tǒng)102可以使用其他規(guī)則，來(lái)以智能方式提供通知。例如，一些ioi僅在用戶接近這些ioi時(shí)才是相關(guān)的。例如，僅當(dāng)用戶在該對(duì)象的幾英尺內(nèi)時(shí)，用戶才可以對(duì)公園長(zhǎng)椅感興趣。因此，系統(tǒng)102可以僅在用戶相對(duì)接近這些對(duì)象時(shí)，才宣布這類型的對(duì)象的存在。但是在這里，用戶可以在這方面定制系統(tǒng)的行為。

根據(jù)另一示例性特征，系統(tǒng)102可以使用三維聲音來(lái)宣布某些類型的ioi(例如，一些類型的境況ioi)的存在。三維聲音是指用戶感知為從物理空間內(nèi)的特定位置(一個(gè)或多個(gè))發(fā)出的聲音。然而，實(shí)際上，音頻信息經(jīng)由耳機(jī)108呈現(xiàn)給用戶，并且在環(huán)境內(nèi)沒有物理起源。如下面將在部分d中描述的，系統(tǒng)102可以通過(guò)使用頭部相關(guān)的傳遞函數(shù)(hrtf)結(jié)合不同類型的寬帶音頻聲音來(lái)實(shí)現(xiàn)上述結(jié)果。在其他實(shí)現(xiàn)中，系統(tǒng)102可以使用其他技術(shù)和科技(例如，環(huán)境立體聲(ambiophonics)、高保真度立體聲響復(fù)制、波場(chǎng)合成等)來(lái)創(chuàng)建三維音頻效果(而不是hrtf或除了hrtf之外)。

例如，在境況c1(在時(shí)間t1)，系統(tǒng)102可以向用戶發(fā)送標(biāo)識(shí)至少三個(gè)境況ioi(ioi1、ioi2和ioi3)的一系列的方向通知。系統(tǒng)102例如可以通過(guò)向用戶發(fā)送初步聲音來(lái)宣布境況ioi1的存在，用戶感知初步聲音是從與境況ioi相關(guān)聯(lián)的實(shí)體物理定位的空間中的特定位置發(fā)出的。即，如果境況ioi對(duì)應(yīng)于jane的咖啡店，則該消息將用戶的注意力引導(dǎo)到j(luò)ane的咖啡店的實(shí)際位置。系統(tǒng)102還可以使用三維聲音(例如，通過(guò)以定向方式(即，使用三維有聲信息)宣布“jane的咖啡店，150英尺”)來(lái)提供對(duì)該場(chǎng)所的描述。

附加地或備選地，系統(tǒng)102可以向用戶發(fā)送關(guān)于一個(gè)或多個(gè)信息可用的ioi的信息。如上所述，在不立即宣布該信息的特定內(nèi)容的情況下，系統(tǒng)102可以通過(guò)發(fā)送通常向用戶提醒可能存在與用戶的當(dāng)前境況相關(guān)的信息的消息來(lái)執(zhí)行該操作。然后，用戶可以例如通過(guò)做出“更多信息”的指令來(lái)手動(dòng)請(qǐng)求系統(tǒng)102接收信息。或者用戶可以忽略該信息。

所有上述信息遞送特征有助于在用戶遍歷空間時(shí)向用戶展現(xiàn)有用信息的目標(biāo)，而不會(huì)使用戶被太多信息壓倒。

作為另一特征，在沿用戶的路徑的任何接合點(diǎn)，系統(tǒng)102可以將用戶的實(shí)際行進(jìn)方向與期望的行進(jìn)方向進(jìn)行比較。系統(tǒng)102可以使用下面結(jié)合圖3描述的任何機(jī)構(gòu)來(lái)確定用戶的實(shí)際行進(jìn)方向。系統(tǒng)102可以通過(guò)確定用戶在當(dāng)前時(shí)間期望朝向哪里來(lái)確定期望的方向。系統(tǒng)102然后可以確定偏離信息，該偏離信息確定用戶的實(shí)際方向偏離期望方向的程度。然后，系統(tǒng)102可以向用戶發(fā)送嘗試沿期望路徑引導(dǎo)用戶的信息。

例如，在時(shí)間t2考慮用戶。在這個(gè)接合點(diǎn)，用戶正試圖到達(dá)航點(diǎn)w3。假定用戶的實(shí)際方向由箭頭210表示，并且用戶的期望方向由箭頭212表示。系統(tǒng)102將向用戶發(fā)送嘗試朝向期望方向?qū)⒂脩粢龑?dǎo)離開他的當(dāng)前錯(cuò)誤方向的指令。

在一個(gè)實(shí)現(xiàn)中，系統(tǒng)102使用三維節(jié)拍聲或其他類型的周期性聲音來(lái)實(shí)現(xiàn)上述目標(biāo)。三維節(jié)拍聲是由用戶感知為源自物理空間中的特定位置(一個(gè)或多個(gè))的任何類型的重復(fù)聲音(例如，點(diǎn)擊聲)。在圖2的情況下，在時(shí)間t2，系統(tǒng)102將遞送似乎起源于用戶沿其行進(jìn)方向的左側(cè)的三維節(jié)拍聲。這將向用戶建議以下事實(shí)：(a)他走向非最佳方向；和(b)他應(yīng)當(dāng)稍微向左轉(zhuǎn)，以實(shí)現(xiàn)更期望的軌跡。

系統(tǒng)102可以調(diào)節(jié)節(jié)拍聲以實(shí)現(xiàn)其他效果。例如，系統(tǒng)102可以根據(jù)用戶當(dāng)前在非最佳方向上前進(jìn)的程度來(lái)改變節(jié)拍聲的音調(diào)和/或周期性和/或音量(和/或一些其他方面)。用戶將節(jié)拍聲解釋為其在錯(cuò)誤方向上前進(jìn)的程度的指示。

到目前為止，該描述大多強(qiáng)調(diào)了系統(tǒng)102在沿用戶路徑的適當(dāng)接合點(diǎn)向用戶自動(dòng)遞送信息的能力。在這種操作模式下，用戶與環(huán)境的相遇(encounter)可以構(gòu)成觸發(fā)例如以上述不同類型的ioi的形式遞送信息的事件。另外，在任何時(shí)間，用戶可以手動(dòng)地與智能手機(jī)或耳機(jī)108交互，以手動(dòng)地探索其環(huán)境并且獲得關(guān)于上述任何ioi的信息。例如，在第一交互方式中，用戶可以在沿行程的任何給定時(shí)間在智能手機(jī)的觸敏表面上點(diǎn)擊。響應(yīng)于單個(gè)點(diǎn)擊，系統(tǒng)102將宣布關(guān)于用戶當(dāng)前境況的頂級(jí)信息。例如，在時(shí)間t1，系統(tǒng)可以通過(guò)宣布用戶前往航點(diǎn)w2(這可以被視為行程ioi)來(lái)響應(yīng)于單個(gè)點(diǎn)擊。響應(yīng)于雙個(gè)點(diǎn)擊，系統(tǒng)102將提供關(guān)于當(dāng)前境況的更詳細(xì)的信息。響應(yīng)于三次點(diǎn)擊，系統(tǒng)102將提供允許用戶與智能手機(jī)交互(例如，為了獲得關(guān)于境況的附加信息的目的)并且調(diào)用與當(dāng)前境況有關(guān)的各種功能的指令。

作為另一特征，在任何接合點(diǎn)，用戶可以在給定時(shí)間與智能手機(jī)交互，以激活與用戶相關(guān)的一個(gè)或多個(gè)菜單。例如，在時(shí)間t1，用戶可以在智能手機(jī)的表面上執(zhí)行點(diǎn)擊并保持(tap-and-hold)的手勢(shì)。作為響應(yīng)，系統(tǒng)102可以激活與用戶的當(dāng)前境況相關(guān)聯(lián)的菜單。然后，用戶可以與智能手機(jī)交互，以探索立即呈現(xiàn)的菜單，或者導(dǎo)航到任何其他菜單。

更具體地，如將在下面的部分c中詳細(xì)解釋的，系統(tǒng)102可以表示通過(guò)工作空間集合可訪問的菜單的集合。每個(gè)工作空間相對(duì)于彼此的工作空間具有固定的位置關(guān)系。用戶可以通過(guò)導(dǎo)航到適當(dāng)?shù)墓ぷ骺臻g和相關(guān)聯(lián)的菜單來(lái)訪問期望的信息和/或功能。

根據(jù)一個(gè)特征，用戶可以使用單個(gè)手(例如，使用握持智能手機(jī)的手的拇指)執(zhí)行所有上述屏幕交互任務(wù)。當(dāng)用戶與智能手機(jī)的觸敏表面交互時(shí)，系統(tǒng)102還可以提供聽覺和/或觸覺反饋提示?？偟膩?lái)說(shuō)，所有這些特征減小到用戶在與系統(tǒng)102交互時(shí)需要將其注意力從環(huán)境轉(zhuǎn)移的程度。例如，用戶可以在與智能手機(jī)交互時(shí)，將其眼睛保持在其正在行進(jìn)的道路上。由于上面概括的非視覺特性，視力受損的人也可以成功地與系統(tǒng)102交互。

如將在子部分c.3中描述的，用戶還可以經(jīng)由語(yǔ)音指令手動(dòng)地與系統(tǒng)102交互。附加地或備選地，用戶可以經(jīng)由由耳機(jī)108提供的輸入機(jī)構(gòu)與系統(tǒng)102手動(dòng)交互(如部分b中所描述)。系統(tǒng)102可以提供用戶可以通過(guò)其手動(dòng)地與系統(tǒng)102交互的其他機(jī)構(gòu)。

用戶還可以調(diào)用特殊模式，以用于探索其直接環(huán)境(immediateenvironment)。例如，響應(yīng)于激活探索模式，系統(tǒng)102可以確定用戶的當(dāng)前注意焦點(diǎn)(其可以對(duì)應(yīng)于用戶被推測(cè)為當(dāng)前時(shí)間正在注視的方向)(其進(jìn)而可以基于一個(gè)或多個(gè)定向確定機(jī)構(gòu)來(lái)確定)。然后，系統(tǒng)102可以確定由圍繞用戶的注意方向形成的子空間包圍(或以其他方式與其相關(guān)聯(lián))的境況ioi。然后，系統(tǒng)102可以通過(guò)使用三維聲音宣布這些境況ioi、和/或通過(guò)發(fā)送用于在用戶的智能手機(jī)上呈現(xiàn)的視覺消息等來(lái)讀取這些境況ioi。

這些境況ioi中的一些可以屬于子空間內(nèi)具有相應(yīng)真實(shí)位置的環(huán)境中的真實(shí)對(duì)象。這些ioi主要用于在物理空間中標(biāo)識(shí)或標(biāo)記這些物理實(shí)體的位置。其他境況ioi本質(zhì)上可以是虛擬的(因?yàn)樗鼈儗儆谧涌臻g(給定用戶的當(dāng)前境況))，但是可以不直接描述該子空間中的對(duì)象。換言之，除了標(biāo)識(shí)物理實(shí)體的位置之外，這些其他境況ioi傳達(dá)與用戶的當(dāng)前境況相關(guān)的信息和/或體驗(yàn)。

舉一個(gè)示例，“虛擬”種類的境況ioi可以對(duì)應(yīng)于當(dāng)用戶接近軍營(yíng)時(shí)的消息“記住我們倒下的士兵”。該消息與軍營(yíng)有關(guān)，但不能準(zhǔn)確地說(shuō)，只是標(biāo)記軍營(yíng)的位置。該消息的目的是創(chuàng)建精神關(guān)聯(lián)，以在其接近軍營(yíng)時(shí)豐富用戶的體驗(yàn)。備選地，在那種情況下的境況ioi可以對(duì)應(yīng)于來(lái)自對(duì)用戶具有特定意義的激勵(lì)語(yǔ)音或個(gè)人消息(如先前由用戶指定并且加載到系統(tǒng)102中)的歌曲或摘錄。

對(duì)于其他類型的ioi(除了境況ioi)也是如此。即，一些ioi主要用作標(biāo)記標(biāo)簽，而其他ioi旨在刺激認(rèn)知關(guān)聯(lián)、記憶、情緒等。后一組ioi在本文中被稱為“虛擬的”，因?yàn)樗鼈兩婕安皇黔h(huán)境中事件和對(duì)象的表面級(jí)轉(zhuǎn)錄的關(guān)聯(lián)、經(jīng)驗(yàn)、意義等的領(lǐng)域。這樣的ioi可以備選地被稱為推理、暗示、關(guān)系等ioi。

根據(jù)另一特征，響應(yīng)于激活定向模式，系統(tǒng)102可以圍繞用戶執(zhí)行完整的360掃描，以標(biāo)識(shí)與距用戶的規(guī)定距離相關(guān)聯(lián)的所有感興趣項(xiàng)。系統(tǒng)102還可以對(duì)垂直維度中的連續(xù)級(jí)執(zhí)行這樣的360度掃描，例如以確定在商場(chǎng)綜合樓等的不同級(jí)上提供的商店。例如通過(guò)改變所標(biāo)識(shí)的ioi的類型、搜索ioi的存在的空間的維度等，用戶可以以上述任何方式定制探索模式和定向模式的行為。另外，用戶可以與系統(tǒng)102交互，以管理系統(tǒng)102讀出ioi的方式。

現(xiàn)在假定在時(shí)間t3，用戶自發(fā)地決定偏離所計(jì)劃的路線202，以訪問商店204例如來(lái)購(gòu)買三明治。當(dāng)在商店中時(shí)，此時(shí)用戶的境況(c3)屬于商店環(huán)境。因此，系統(tǒng)102可以執(zhí)行與上述相同的功能(但是現(xiàn)在在商店的室內(nèi)環(huán)境的境況中)。例如，系統(tǒng)102可以在用戶遍歷商店204的區(qū)(isle)時(shí)，自動(dòng)確定境況ioi，并且向用戶宣布這些境況ioi。例如，在接近商店204的乳制品部分時(shí)，用戶可以接收到讀取“前方20英尺，牛奶、奶酪和酸奶”的消息。系統(tǒng)102可以在用戶靠近可能感興趣的產(chǎn)品時(shí)逐漸發(fā)送更詳細(xì)的信息。再次，一些境況ioi可以具有與商店中的物理對(duì)象的較不直接的對(duì)應(yīng)，例如在湯的部分中遞送的消息中，其提醒用戶很多湯中存在高鈉。

用戶還可以以任何方式在商店環(huán)境內(nèi)手動(dòng)地與系統(tǒng)102交互。例如，用戶可以手動(dòng)地探索與不同產(chǎn)品相關(guān)聯(lián)的不同菜單。用戶還可以使用智能電話，以在商店環(huán)境中執(zhí)行各種交易(例如，購(gòu)買物品、搜索物品等)。

在一些實(shí)現(xiàn)中，系統(tǒng)102可以通過(guò)確定用戶是否在信標(biāo)集合中的一個(gè)信標(biāo)的范圍內(nèi)來(lái)確定用戶在商店204內(nèi)的位置，信標(biāo)已經(jīng)被放置(預(yù)先)在商店204內(nèi)的不同的位置處。如將在部分e中描述的，信標(biāo)可以具有不重疊的范圍。

在離開商店204時(shí)，系統(tǒng)102可以重新計(jì)算用戶的行程，以引導(dǎo)用戶回到所計(jì)劃的路線202。例如，系統(tǒng)102可以向用戶提供允許用戶到達(dá)與擺渡車站相關(guān)聯(lián)的航點(diǎn)w4的指令。在到達(dá)該航點(diǎn)時(shí)，系統(tǒng)102然后可以在該接合點(diǎn)處例如通過(guò)宣布用戶的擺渡車208的預(yù)期到達(dá)時(shí)間遞送與用戶相關(guān)的信息。該信息可以作為一個(gè)或多個(gè)行程ioi被遞送。

當(dāng)用戶在擺渡車208上行進(jìn)時(shí)，系統(tǒng)102可以繼續(xù)向用戶提供服務(wù)。例如，系統(tǒng)102可以通知用戶到達(dá)最終目的地(即，航點(diǎn)w5(用戶醫(yī)生的辦公室))的預(yù)期時(shí)間。取決于用戶正在其上行進(jìn)的公共(或私人)交通工具的性質(zhì)，系統(tǒng)102還可以提供可能對(duì)用戶有用的其他消息。例如，當(dāng)乘坐公共汽車并接近最終目的地時(shí)，系統(tǒng)102可以提醒用戶其在退出公共汽車時(shí)預(yù)期會(huì)遇到的高的路緣的存在。此外，系統(tǒng)102可以在用戶的允許下提醒公共汽車的駕駛員需要輔助的人將在即將到來(lái)的公共汽車站下車。

總之，在整個(gè)用戶的行程中，用戶可以接收聽覺形式(例如，有聲消息、其他聲音(三維聲音和非三維聲音)等的形式)的大量信息。系統(tǒng)102可以使用各種技術(shù)來(lái)管理該信息的呈現(xiàn)，其中一些技術(shù)已經(jīng)在上面已經(jīng)提到(例如，對(duì)被遞送的信息量進(jìn)行回?fù)芑驌艽虻哪芰?。該特征允許用戶及時(shí)接收最相關(guān)的信息，而不會(huì)使用戶被太多信息壓倒。

例如，系統(tǒng)102可以在受到不同規(guī)則的行程期間回放聲音，以解決一個(gè)聲音的遞送潛在地干擾另一聲音的遞送的情況。根據(jù)一個(gè)示例性規(guī)則，系統(tǒng)102將在連續(xù)循環(huán)中播放節(jié)拍聲，以在所需方向(例如，在步行時(shí))操縱用戶。然而，當(dāng)正在播放任何其他聲音時(shí)，系統(tǒng)102可以暫時(shí)禁止該聲音(或者與該聲音的正常狀態(tài)相比，減小該聲音的音量)。這使得用戶能夠聽到其他聲音，而不受到被認(rèn)為是低優(yōu)先級(jí)聲音的節(jié)拍聲的干擾。

根據(jù)另一示例性規(guī)則，系統(tǒng)102可以無(wú)條件地播放表示界面相關(guān)事件的聲音，例如改變向用戶呈現(xiàn)哪個(gè)菜單或上下文的輕彈手勢(shì)。為了避免用戶被太多的音頻信息過(guò)載，這些類型的聲音可以被設(shè)計(jì)為短而明顯。用戶可以通過(guò)暫時(shí)地暫停他或她與系統(tǒng)102的交互來(lái)至少在一些程度上控制這些類型的線索的回放(因?yàn)槿绻脩魶]有主動(dòng)地與系統(tǒng)102交互，則不會(huì)產(chǎn)生交互線索)。

根據(jù)附加的示例性規(guī)則，系統(tǒng)102可以通過(guò)以下方式來(lái)對(duì)導(dǎo)航聲音進(jìn)行優(yōu)先級(jí)排序：將最高優(yōu)先級(jí)分配給警告聲音(例如，用于警告ioi)，將下一最高優(yōu)先級(jí)分配給行程信息(例如，用于行程ioi)，并且將再下一最高優(yōu)先級(jí)分配給境況信息(例如，用于任何類型的境況ioi)。在一些情況下，例如因?yàn)檎诨胤鸥P(guān)鍵的信息，系統(tǒng)102將延遲信息的遞送。此外，在一些情況下，所延遲的消息在系統(tǒng)102能夠呈現(xiàn)它的時(shí)間將不再相關(guān)(例如，因?yàn)橛脩粢岩苿?dòng)到其中信息不再相關(guān)的新境況)；如果是，則系統(tǒng)102可以避免呈現(xiàn)該信息。

總之，上述場(chǎng)景在強(qiáng)調(diào)系統(tǒng)102的一些有利的技術(shù)效果時(shí)也是有用的。通常，系統(tǒng)102允許任何用戶接收服務(wù)于不同但相關(guān)目標(biāo)的引導(dǎo)。首先，系統(tǒng)102嘗試在他或她的行程的任何給定時(shí)間向用戶暴露最有用的信息，從而使用戶能夠在他或她的環(huán)境中更有效地導(dǎo)航，或者實(shí)現(xiàn)其他目的。第二，除了提供導(dǎo)航輔助之外，系統(tǒng)102豐富了用戶的環(huán)境體驗(yàn)，允許用戶學(xué)習(xí)關(guān)于環(huán)境的新信息，在不使用系統(tǒng)102的情況下，該信息可能不會(huì)立即向用戶顯現(xiàn)；在這方面，系統(tǒng)102允許用戶在環(huán)境的表面之下隱喻地探究，以理解與環(huán)境102有關(guān)的先前隱藏的方面和連接。第三，系統(tǒng)102嘗試以最小化對(duì)用戶的干擾的方式向用戶提供這個(gè)有用的信息。例如，通過(guò)允許用戶保持主要關(guān)注他或她與“真實(shí)世界”的交互而不是他或她正在使用以與真實(shí)世界交互的工具，第三目標(biāo)對(duì)于向用戶提供更愉快和有用的體驗(yàn)是有用的。相反，第三目標(biāo)嘗試通過(guò)要求用戶與麻煩和復(fù)雜的工具交互來(lái)減少可能發(fā)生的焦慮，用戶將被期望向該工具投入相當(dāng)大的注意力。第三目標(biāo)還允許用戶以安全的方式有效且快速地訪問期望的信息，而不會(huì)在任何給定時(shí)間被太多信息壓倒。

很多技術(shù)特征有助于上述目標(biāo)(特別是關(guān)于第三目標(biāo))。這些特征包括但不限于：a)使用單手交互體驗(yàn)；b)使用用戶友好的菜單結(jié)構(gòu)，該菜單結(jié)構(gòu)適應(yīng)可以以位置不可知方式在觸敏表面上執(zhí)行的手勢(shì)(將在下面描述)；c)使用用戶友好且易于學(xué)習(xí)的工作空間結(jié)構(gòu)，該工作空間結(jié)構(gòu)提供對(duì)“安全”主頁(yè)工作空間的訪問(將在下面描述)；d)使用多個(gè)機(jī)構(gòu)來(lái)輸入命令(例如，經(jīng)由耳機(jī)108、用戶設(shè)備106、語(yǔ)音識(shí)別等)；e)在不會(huì)不適當(dāng)?shù)財(cái)_亂用戶對(duì)行程的關(guān)注的情況下，使用音頻信息和/或觸覺提示來(lái)傳送信息；f)在沒有用復(fù)雜的指令淹沒用戶的情況下，使用三維和非三維聲音輔助以期望的方向引導(dǎo)用戶或者提醒用戶ioi的位置等。

上述優(yōu)點(diǎn)適用于系統(tǒng)102的任何用戶。系統(tǒng)102還可以被具有損害他們進(jìn)行行程的能力的任何類型的條件的人成功地使用。這些用戶可以包括具有部分或全部視力喪失的用戶、具有認(rèn)知或其他心理?yè)p傷的用戶、具有移動(dòng)性相關(guān)障礙的用戶等。對(duì)于這些用戶，不論此刻用戶的目標(biāo)是什么，系統(tǒng)102充當(dāng)虛擬引導(dǎo)狗，以安全的方式在他們行程的每個(gè)階段中輔助用戶，或以其他方式輔助用戶與其環(huán)境交互。對(duì)于這些用戶，除了上面總結(jié)的總體益處之外，系統(tǒng)102還允許用戶訪問對(duì)用戶將不可用的信息和引導(dǎo)，因此潛在地改善這些用戶的移動(dòng)性、置信度和一般生活質(zhì)量。

現(xiàn)在前進(jìn)到圖3，該圖示出了可以用于實(shí)現(xiàn)圖1的系統(tǒng)102的計(jì)算功能的高級(jí)概述。圖3的功能以設(shè)備不可知的方式示出。在實(shí)際實(shí)現(xiàn)中，可以將功能分配給例如圖1中介紹的任何部件、或這些部件的任何組合。例如，圖3示出了該功能包括空間交互(si)模塊302。si模塊302執(zhí)行關(guān)于圖2的場(chǎng)景描述的所有(或大多數(shù))功能。si模塊302的一些部分可以由用戶設(shè)備106實(shí)現(xiàn)，而si模塊302的其他部分可以由位于耳機(jī)108上的處理部件來(lái)實(shí)現(xiàn)。附加地或者備選地，si模塊302的一些部分可以由遠(yuǎn)程處理資源112執(zhí)行。

si模塊302可以從輸入機(jī)構(gòu)304的任何組合接收輸入信息，并且可以提供其輸出信息以用于在任何輸出機(jī)構(gòu)306上呈現(xiàn)。例如，輸入機(jī)構(gòu)304可以包括一個(gè)或多個(gè)定向確定機(jī)構(gòu)308、和/或一個(gè)或多個(gè)運(yùn)動(dòng)確定機(jī)構(gòu)310、和/或一個(gè)或多個(gè)位置確定機(jī)構(gòu)312等。

定向確定機(jī)構(gòu)(一個(gè)或多個(gè))308確定并入這些機(jī)構(gòu)(一個(gè)或多個(gè))308的設(shè)備的定向。例如，如果由用戶設(shè)備106容納，則定向確定機(jī)構(gòu)308確定該用戶設(shè)備106的三維定向。如果由耳機(jī)108容納，則定向確定機(jī)構(gòu)(一個(gè)或多個(gè))確定耳機(jī)108的三維定向。更一般地說(shuō)，定向確定機(jī)構(gòu)(一個(gè)或多個(gè))308可以確定用戶指向其智能手機(jī)或轉(zhuǎn)動(dòng)他或她的頭部(其上放置耳機(jī)108)的方向。運(yùn)動(dòng)確定機(jī)構(gòu)(一個(gè)或多個(gè))310確定并入這些機(jī)構(gòu)(一個(gè)或多個(gè))310的設(shè)備的運(yùn)動(dòng)性質(zhì)和運(yùn)動(dòng)程度。位置確定機(jī)構(gòu)(一個(gè)或多個(gè))312確定并入這些機(jī)構(gòu)(一個(gè)或多個(gè))312的設(shè)備的絕對(duì)和/或相對(duì)位置。

機(jī)構(gòu)(308、310、312)可以使用傳感器的任何組合來(lái)實(shí)現(xiàn)，傳感器包括但不限于：磁力計(jì)、加速度計(jì)、陀螺儀傳感器、基于重力的傳感器、扭矩傳感器、應(yīng)變計(jì)、彎曲傳感器、光學(xué)編碼器機(jī)構(gòu)等。另外，一些機(jī)構(gòu)(308、310、312)可以從外部系統(tǒng)或源接收信號(hào)。例如，機(jī)構(gòu)(308、310、312)可以包括用于基于從基于衛(wèi)星的導(dǎo)航系統(tǒng)(例如，全球定位系統(tǒng)(gps)系統(tǒng))接收的信號(hào)來(lái)確定設(shè)備的位置的傳感器。附加地或備選地，機(jī)構(gòu)(308、310、312)可以包括用于通過(guò)基于從多個(gè)外部源接收的信號(hào)(例如，從多個(gè)無(wú)線電塔和/或局部定向天線等接收的信號(hào))執(zhí)行三角測(cè)量和/或其他處理來(lái)確定設(shè)備的位置的功能。附加地或備選地，機(jī)構(gòu)(308、310、312)可以包括用于使用航位推算技術(shù)確定設(shè)備的位置的功能。附加地或備選地，機(jī)構(gòu)(308、310、312)可以包括用于通過(guò)處理來(lái)自本地信標(biāo)(例如，wi-fi和/或藍(lán)牙信標(biāo)等)的信息等來(lái)確定設(shè)備的位置的功能。

輸入機(jī)構(gòu)304還可以包括手動(dòng)輸入機(jī)構(gòu)314的任何組合。這些機(jī)構(gòu)可以包括以下中的任一個(gè)：鍵輸入機(jī)構(gòu)、觸敏輸入機(jī)構(gòu)(例如，觸敏屏314')、操縱桿、麥克風(fēng)(例如，用于接收語(yǔ)音指令)、攝像機(jī)和/或深度相機(jī)(例如，用于接收自由空間手勢(shì))等。例如，在圖1的情況下，用戶設(shè)備106可以使用觸敏顯示屏作為與用戶交互的主要方式。例如而非限制，該觸敏顯示屏可以并入確定用戶何時(shí)觸摸和/或懸停在屏幕上方的電容性觸摸屏機(jī)構(gòu)。用戶設(shè)備106還可以包括相機(jī)、麥克風(fēng)等。耳機(jī)108可以包括麥克風(fēng)(用于接收語(yǔ)音指令)連同一個(gè)或多個(gè)專用輸入機(jī)構(gòu)(例如，實(shí)現(xiàn)為在耳機(jī)108的側(cè)面上的按鈕(將在下一部分中更詳細(xì)地描述))。

輸出機(jī)構(gòu)306可以并入一個(gè)或多個(gè)音頻輸出機(jī)構(gòu)316、一個(gè)或多個(gè)顯示輸出機(jī)構(gòu)318、一個(gè)或多個(gè)觸覺輸出機(jī)構(gòu)320等。例如，音頻輸出機(jī)構(gòu)(一個(gè)或多個(gè))316可以對(duì)應(yīng)于任何類型的常規(guī)揚(yáng)聲器。附加地或備選地，音頻輸出機(jī)構(gòu)(一個(gè)或多個(gè))316可以并入骨傳導(dǎo)音頻設(shè)備(例如，由耳機(jī)108提供)，例如由紐約州syracuse的aftershokz有限公司生產(chǎn)的骨傳導(dǎo)換能器。顯示輸出機(jī)構(gòu)(一個(gè)或多個(gè))318可以對(duì)應(yīng)于例如lcd類型的顯示器(例如，如由用戶設(shè)備106提供)。觸覺輸出機(jī)構(gòu)(一個(gè)或多個(gè))320可以對(duì)應(yīng)于例如振動(dòng)產(chǎn)生機(jī)構(gòu)(例如，如由用戶設(shè)備106和/或耳機(jī)108等提供的)。振動(dòng)產(chǎn)生機(jī)構(gòu)可以使用旋轉(zhuǎn)失衡重量和/或通過(guò)一些其他機(jī)構(gòu)來(lái)實(shí)現(xiàn)振動(dòng)效果。

si模塊302還可以與被認(rèn)為在si模塊302本身外部的遠(yuǎn)程功能322交互。例如，si模塊302可以與搜索引擎324交互，以進(jìn)行搜索。例如，搜索引擎324可以對(duì)應(yīng)于由華盛頓州雷德蒙德的微軟公司提供的bing搜索引擎。附加地或備選地，si模塊302可以與行程計(jì)算引擎326交互，以用于生成新行程和/或修改現(xiàn)有行程。附加地或備選地，si模塊302可以與語(yǔ)音處理引擎328交互，以解釋由用戶做出的口頭指令。例如，語(yǔ)音處理引擎328可以對(duì)應(yīng)于由華盛頓州雷德蒙德的微軟公司提供的cortana系統(tǒng)。在其他情況下，遠(yuǎn)程功能322的一個(gè)或多個(gè)方面可以作為本地資源被并入si模塊302中。

另外，si模塊302可以與一個(gè)或多個(gè)數(shù)據(jù)存儲(chǔ)庫(kù)330中提供的任何外部信息交互。例如，外部信息可以提供公共可訪問的地圖信息、運(yùn)輸調(diào)度信息、警報(bào)信息、商業(yè)和個(gè)人目錄信息、社交網(wǎng)絡(luò)信息、日歷信息等。在一些情況下，si模塊302可以使用由外部源提供的應(yīng)用編程接口(api)與那些外部源(例如，外部網(wǎng)站)交互。

現(xiàn)在參考圖4，該圖示出了上面介紹的si模塊302的一個(gè)實(shí)現(xiàn)。從高級(jí)別的觀點(diǎn)來(lái)看，si模塊302可以包括(或者可以被概念化為包括)執(zhí)行不同的相應(yīng)功能的多個(gè)子部件。此外，一些子部件可以依賴于由其他子部件生成的結(jié)果。應(yīng)用接口模塊(aim)402允許用戶與任何子部件交互。例如，應(yīng)用接口模塊402可以提供暴露由子部件提供的各種功能的菜單功能。

通常從頂部到底部參考子部件，si模塊302可以包括用于存儲(chǔ)可以由si模塊302在執(zhí)行其功能時(shí)使用的信息的各種數(shù)據(jù)存儲(chǔ)庫(kù)。例如，數(shù)據(jù)存儲(chǔ)庫(kù)404可以存儲(chǔ)定義一個(gè)或多個(gè)行程的信息。例如，行程信息可以描述行程中的航點(diǎn)、和/或關(guān)于行程的任何其他信息。數(shù)據(jù)存儲(chǔ)庫(kù)406可以存儲(chǔ)由搜索引擎提供的搜索結(jié)果；這些結(jié)果可以在用戶的引導(dǎo)下，在行程的過(guò)程中或用戶與空間的更一般的交互中產(chǎn)生。數(shù)據(jù)存儲(chǔ)庫(kù)408可以存儲(chǔ)由用戶在與si模塊302的交互過(guò)程中創(chuàng)建的標(biāo)簽的歷史。標(biāo)簽通常對(duì)應(yīng)于菜單的書簽或其他信息和/或功能項(xiàng)和/或選項(xiàng)。用戶可以在他或她訪問該菜單或其他項(xiàng)或信息和/或功能和/或選項(xiàng)時(shí)創(chuàng)建標(biāo)簽；在一個(gè)實(shí)現(xiàn)中，當(dāng)用戶開始行程并且還沒有開始與系統(tǒng)102交互時(shí)，數(shù)據(jù)存儲(chǔ)庫(kù)408最初不包含標(biāo)簽。系統(tǒng)102可以使用表示標(biāo)簽集合的任何方式，例如，作為標(biāo)簽列表、標(biāo)簽的徑向菜單等。

si模塊302還可以提供執(zhí)行任何類型的支持服務(wù)的各種支持模塊410。例如，設(shè)置模塊可以允許用戶向影響系統(tǒng)102的操作的任何參數(shù)分配值。數(shù)據(jù)存儲(chǔ)庫(kù)412可以存儲(chǔ)所有這樣的設(shè)置。支持模塊410還可以包括用于與外部搜索引擎交互以提供搜索結(jié)果的門戶?；蛘咧С帜K410可以包括本地提供的搜索引擎。

聲音生成模塊414執(zhí)行與聲音的生成相關(guān)的各種操作。例如，當(dāng)遇到各種觸發(fā)情況時(shí)，聲音生成模塊414可以播放特定的聲音。一些觸發(fā)情況對(duì)應(yīng)于用戶在與應(yīng)用接口模塊402交互時(shí)做出的動(dòng)作。其他觸發(fā)情況對(duì)應(yīng)于不是由用戶與系統(tǒng)102的交互直接引起的系統(tǒng)102的狀態(tài)的變化。其他觸發(fā)情況對(duì)應(yīng)于在行程過(guò)程中發(fā)生的事件(或更一般地，用戶與空間的交互)等。數(shù)據(jù)存儲(chǔ)庫(kù)416可以存儲(chǔ)當(dāng)回放時(shí)產(chǎn)生期望聲音的文件。子部分c.2(下文)提供了關(guān)于可能生成的不同類型的聲音以及播放這些聲音的情況的附加信息。

一些聲音本質(zhì)上是非三維或非空間的。此外，聲音生成模塊414可以產(chǎn)生三維音頻信息。如上所述，在用戶感知該信息為從三維物理或虛擬環(huán)境內(nèi)的一個(gè)或多個(gè)位置發(fā)出的意義上，音頻信息是三維的。聲音生成模塊414可以通過(guò)使用一個(gè)或多個(gè)頭部相關(guān)的傳遞函數(shù)(hrtf)轉(zhuǎn)換原始聲音信息來(lái)創(chuàng)建這些聲音。

類似地，觸覺提示生成模塊418可以在不同的觸發(fā)情況中產(chǎn)生不同類型的觸覺反饋體驗(yàn)。在一種情況下，觸覺提示生成模塊418產(chǎn)生信號(hào)，該信號(hào)例如在被遞送到用戶設(shè)備106、耳機(jī)108和/或一些其他設(shè)備時(shí)產(chǎn)生振動(dòng)提示。

路徑引導(dǎo)模塊420使用聲音生成模塊414來(lái)生成上述三維周期性(例如，節(jié)拍)聲音。這種周期性聲音的目的是在特定方向上引導(dǎo)用戶。路徑引導(dǎo)模塊420通過(guò)確定用戶的當(dāng)前實(shí)際航向、期望航向以及實(shí)際航向和期望航向之間的差(對(duì)應(yīng)于偏離信息)來(lái)產(chǎn)生這種效果。然后，路徑引導(dǎo)模塊420利用聲音生成模塊414產(chǎn)生被用戶感知為源自特定方向的適當(dāng)?shù)难h(huán)聲音。即，聲音生成模塊414基于由路徑引導(dǎo)模塊420饋送給它的偏離信息產(chǎn)生循環(huán)聲音。用戶可以通過(guò)在期望方向上移動(dòng)來(lái)響應(yīng)該聲音。在另一種情況下，節(jié)拍聲可以被感知為跨越物理空間中的一系列位置行進(jìn)。用戶可以將該體驗(yàn)解釋為在行進(jìn)聲音的方向上移動(dòng)的指令。

基于信標(biāo)的引導(dǎo)模塊422通過(guò)檢測(cè)從信標(biāo)集合發(fā)射的信號(hào)來(lái)在室內(nèi)和/或輸出空間內(nèi)進(jìn)行導(dǎo)航時(shí)向用戶提供輔助，在一個(gè)示例性實(shí)現(xiàn)中，信標(biāo)具有相應(yīng)的非重疊范圍。部分e提供關(guān)于基于信標(biāo)的引導(dǎo)模塊422的操作的附加信息。基于信標(biāo)的引導(dǎo)模塊422可以查閱在數(shù)據(jù)存儲(chǔ)庫(kù)424中提供的信標(biāo)信息。信標(biāo)信息可以描述與已經(jīng)放置在環(huán)境中的信標(biāo)及其在環(huán)境內(nèi)的相應(yīng)位置相關(guān)聯(lián)的代碼。

相關(guān)信息確定(rid)模塊426執(zhí)行確定相關(guān)信息以在任何給定時(shí)間呈現(xiàn)給用戶的一般功能。在圖2的描述的上下文中，rid模塊426確定與用戶的當(dāng)前境況有關(guān)的不同類型的信息項(xiàng)(ioi)。為了執(zhí)行該任務(wù)，rid模塊426接收定義當(dāng)前時(shí)刻用戶的境況的各種境況輸入。這些境況輸入可以描述用戶的當(dāng)前位置、用戶的當(dāng)前航向、用戶的當(dāng)前目標(biāo)等。境況輸入還可以描述環(huán)境本身，例如，與物理和虛擬環(huán)境相關(guān)聯(lián)的對(duì)象和事件。任何這樣的輸入可以從地圖信息、目錄信息、社交網(wǎng)絡(luò)信息、日歷信息等中挖掘。境況輸入還可以描述影響用戶與空間的交互的環(huán)境因素，例如，如從任何源(一個(gè)或多個(gè))獲得的公共交通信息、天氣信息等。

rid模塊426通過(guò)基于當(dāng)前時(shí)間的境況輸入以及基于各種規(guī)則(在數(shù)據(jù)存儲(chǔ)庫(kù)428中提供)確定在給定時(shí)間是否適于通知用戶任何信息來(lái)操作。rid模塊426的行為還可以由用戶設(shè)置并存儲(chǔ)在數(shù)據(jù)存儲(chǔ)庫(kù)412中的一個(gè)或多個(gè)參數(shù)來(lái)定義。例如，基于由用戶定義的深度范圍，rid模塊426可以確定當(dāng)前時(shí)間在用戶附近是否存在任何境況ioi。如果存在這樣的境況ioi，則rid模塊426可以與聲音生成模塊414和/或由應(yīng)用接口模塊402提供的菜單功能交互，以向用戶通知這些境況ioi。

探索模塊430和定向模塊432執(zhí)行可以由用戶以按需方式調(diào)用的相應(yīng)服務(wù)。如參考圖2的場(chǎng)景所描述的，探索模塊430確定與位于用戶前面的子空間相關(guān)聯(lián)的任何境況ioi(其又可以由用戶頭部的位置、連同定義探測(cè)深度的設(shè)置參數(shù)、和描述搜索空間的跨度的設(shè)置參數(shù)確定)。為了執(zhí)行該任務(wù)，探索模塊430利用rid模塊426的服務(wù)。探索模塊430然后使用三維聲音、顯示的消息等向用戶通知境況ioi。定向模塊432執(zhí)行類似于探索模塊430的任務(wù)。但是定向模塊432不是探測(cè)與用戶前面突出的子空間相關(guān)聯(lián)的ioi，而是可以掃描當(dāng)前時(shí)間存在于用戶周圍的整個(gè)三維空間。

圖5示出了應(yīng)用接口模塊(aim)402的一個(gè)實(shí)現(xiàn)。如上所述，應(yīng)用接口模塊402通常提供允許用戶與以上參考圖4描述的各種子部件交互的接口。

應(yīng)用接口模塊402可以包括解釋用戶的輸入的各種部件，例如，以確定用戶正在進(jìn)行的指令的性質(zhì)。例如，手勢(shì)解釋模塊502可以確定用戶通過(guò)與用戶設(shè)備106的觸敏屏交互做出的手勢(shì)或者自由空間手勢(shì)等。手勢(shì)解釋模塊502可以通過(guò)將用戶做出的標(biāo)記或觸摸或懸停(或其他行為)與數(shù)據(jù)存儲(chǔ)庫(kù)(標(biāo)識(shí)與已知手勢(shì)相關(guān)聯(lián)的模式)進(jìn)行比較來(lái)執(zhí)行該任務(wù)。如果用戶的行為使得與特定手勢(shì)相關(guān)聯(lián)的模式與所確定的匹配置信度相匹配，則手勢(shì)解釋模塊502可以推斷用戶已做出該手勢(shì)。

語(yǔ)音解釋模塊504可以解釋用戶的語(yǔ)音指令(例如，其可以經(jīng)由用戶設(shè)備106和/或耳機(jī)108上的麥克風(fēng)接收)。在一種情況下，語(yǔ)音解釋模塊504可以對(duì)應(yīng)于到遠(yuǎn)程語(yǔ)音處理引擎328(例如，cortana系統(tǒng))的門戶。在另一種情況下，語(yǔ)音解釋模塊504可以對(duì)應(yīng)于用于解釋說(shuō)出的話語(yǔ)的任何類型的本地功能。在任何情況下，執(zhí)行語(yǔ)音識(shí)別的代理可以使用任何技術(shù)來(lái)執(zhí)行該任務(wù)，例如，基于隱馬爾可夫模型的技術(shù)、基于神經(jīng)網(wǎng)絡(luò)的技術(shù)等。

耳機(jī)按鈕解釋模塊506解釋用戶與耳機(jī)108的輸入機(jī)構(gòu)交互的方式(將在下面描述)。例如，在一些情況下，按鈕集合可以根據(jù)用戶與其交互的方式(例如，根據(jù)用戶是否是觸摸按鈕但是不按下按鈕、或者基于用戶是否觸摸并且釋放按鈕一次或多次，或者基于用戶是否按下并保持按鈕等)來(lái)執(zhí)行不同的功能。耳機(jī)按鈕解釋模塊506將用戶的行為映射到特定指令。

動(dòng)作采取模塊508可以基于由上述解釋模塊(502、504、506)提供的解釋來(lái)調(diào)用動(dòng)作。例如，響應(yīng)于解釋，動(dòng)作采取模塊508可以：調(diào)用菜單；關(guān)閉菜單；在工作空間之間轉(zhuǎn)換(將在下面描述)；執(zhí)行功能；保存設(shè)置；呈現(xiàn)信息項(xiàng)等。

b.用于促進(jìn)用戶與其環(huán)境之間的交互的耳機(jī)和用戶設(shè)備選項(xiàng)

圖6示出了在圖1的上下文中，關(guān)于上面介紹的耳機(jī)108、用戶設(shè)備106和其他用戶計(jì)算設(shè)備110的附加細(xì)節(jié)。這些設(shè)備的特征在本文中以示例的精神而不是限制的方式呈現(xiàn)。

首先參考耳機(jī)108，該設(shè)備可以提供由塑料和/或金屬和/或任何其他材料制成的框架602?？蚣?02可以是柔性的，并且可以經(jīng)由框架中的張力和/或通過(guò)一些其他固定機(jī)構(gòu)固定到用戶的頭部，框架中的張力朝著用戶的頭部橫向向內(nèi)推動(dòng)。耳機(jī)108包括將振動(dòng)傳送到用戶頭部的骨骼的換能器(604、606)；用戶頭部的骨骼然后將這些振動(dòng)傳遞到用戶的鼓膜，在那里它們被感知為音頻信息。骨傳導(dǎo)型耳機(jī)的使用防止耳機(jī)108阻塞用戶的耳道，從而允許用戶安全地響應(yīng)環(huán)境中的其他聲音。然而，備選地，耳機(jī)108可以包括放置在用戶耳朵之上或附近的常規(guī)揚(yáng)聲器。

耳機(jī)108還可以可選地在其框架上的任何地方包括輸入機(jī)構(gòu)608的集合。用戶可以使用他或她的手610(或兩只手)的一個(gè)或多個(gè)手指與輸入機(jī)構(gòu)608交互。備選地，分離設(shè)備(未示出)可以提供輸入機(jī)構(gòu)608，并且該分離設(shè)備可以經(jīng)由無(wú)線通信(例如，藍(lán)牙通信)和/或有線通信與耳機(jī)108通信。圖6示出了輸入機(jī)構(gòu)608包括三個(gè)按鈕，但是更一般地，輸入機(jī)構(gòu)608可以包括任何數(shù)目的機(jī)構(gòu)，并且這些輸入機(jī)構(gòu)可以以任何方式放置在框架上。此外，輸入機(jī)構(gòu)608可以包括除了按鈕之外的其他類型的輸入機(jī)構(gòu)，例如輪或旋鈕機(jī)構(gòu)、滑塊機(jī)構(gòu)等。備選地或附加地，耳機(jī)108可以并入一個(gè)或多個(gè)觸敏表面。例如，耳機(jī)108的不同區(qū)域可以并入不同的觸敏機(jī)構(gòu)，并且這些區(qū)域可以與不同的相應(yīng)功能相關(guān)聯(lián)。

耳機(jī)108可以包括執(zhí)行各種任務(wù)的處理機(jī)構(gòu)(下面將描述)。耳機(jī)108可以包括容納那些處理機(jī)構(gòu)的隔室612。例如，在一種情況下，隔室612位于耳機(jī)108的后部。然而，處理機(jī)構(gòu)可以物理地位于耳機(jī)108上的任何位置(一個(gè)或多個(gè))處。處理機(jī)構(gòu)本身可以包括任何類型的一個(gè)或多個(gè)處理設(shè)備、存儲(chǔ)器等、和/或?qū)Ｓ眠壿嫴考?例如，一個(gè)或多個(gè)專用集成電路(asic))等。

輸入機(jī)構(gòu)608可以在被激活時(shí)發(fā)起任何操作。例如而非限制，用戶可以使用輸入機(jī)構(gòu)608來(lái)指示si模塊302調(diào)用探索模式或定向模式(如上所述)。附加地或備選地，在聽到某一主題的概要(例如，境況ioi的名稱)之后，用戶可以使用輸入機(jī)構(gòu)608來(lái)指示si模塊302提供關(guān)于所標(biāo)識(shí)的主題的附加信息；該指令可以被稱為“更多信息”指令。

附加地或備選地，用戶可以使用輸入機(jī)構(gòu)608來(lái)指令si模塊302激活收聽模式或停止收聽模式。在收聽模式下，語(yǔ)音解釋模塊504處理用戶的語(yǔ)音以確定用戶是否已經(jīng)說(shuō)出指令。

附加地或備選地，用戶可以使用輸入機(jī)構(gòu)608來(lái)指示si模塊302重復(fù)其已經(jīng)提供的最近的音頻消息。附加地或備選地，用戶可以使用輸入機(jī)構(gòu)608來(lái)請(qǐng)求si模塊302重復(fù)(例如諸如，針對(duì)預(yù)定數(shù)量的在先消息，通過(guò)從最近的消息開始并且在時(shí)間上逐消息回退)先前遞送的音頻消息的集合。這樣的指令可以被稱為“倒回”指令。

備選地或附加地，用戶可以使用輸入機(jī)構(gòu)608來(lái)打開或關(guān)閉三維節(jié)拍聲等。其他實(shí)現(xiàn)可以使用輸入機(jī)構(gòu)608來(lái)發(fā)出其他指令，和/或省略上面闡述的一個(gè)或多個(gè)指令。

上述功能或其某一子集可以以任何方式映射到任何數(shù)目的相應(yīng)按鈕和/或其他輸入機(jī)構(gòu)。此外，在一些實(shí)現(xiàn)中，系統(tǒng)102可以包括定制模塊，定制模塊允許用戶定義輸入機(jī)構(gòu)和機(jī)構(gòu)調(diào)用的操作之間的映射。此外，如上所述，相同的按鈕還可以根據(jù)用戶與其交互的方式來(lái)執(zhí)行兩個(gè)或更多個(gè)功能。在一個(gè)實(shí)現(xiàn)中，si模塊302可以在用戶觸摸按鈕但不按下按鈕時(shí)宣布由按鈕執(zhí)行的功能。

根據(jù)另一特征，用戶可以通過(guò)按下用于激活它的相同按鈕來(lái)停用當(dāng)前處于活動(dòng)狀態(tài)的功能。例如，用戶可以通過(guò)按下用于請(qǐng)求si模塊302遞送該信息的相同按鈕來(lái)停止si模塊302宣布信息，等。備選地或附加地，耳機(jī)108可以并入停止當(dāng)前正在被執(zhí)行的功能的專用按鈕。

用戶設(shè)備106可以對(duì)應(yīng)于上述任何類型的便攜式設(shè)備，例如，智能電話或平板型計(jì)算設(shè)備。如上所述，用戶可以使用單個(gè)手614(和/或可選地用兩只手)與用戶設(shè)備106交互。其他用戶計(jì)算設(shè)備110可以對(duì)應(yīng)于任何類型的傳統(tǒng)上固定的計(jì)算設(shè)備，例如，工作站計(jì)算設(shè)備、游戲控制臺(tái)、機(jī)頂盒設(shè)備等。

一個(gè)或多個(gè)通信路徑616可以將用戶設(shè)備106與耳機(jī)108耦合。這樣的通信路徑例如可以對(duì)應(yīng)于藍(lán)牙通信路徑、硬連線通信路徑(例如，usb通信路徑)等。一個(gè)或多個(gè)通信路徑618可以將其他用戶計(jì)算設(shè)備110耦合到用戶設(shè)備106和/或耳機(jī)108。如上所述，用戶可能希望在其他用戶計(jì)算設(shè)備110和用戶設(shè)備106和/或耳機(jī)108之間建立連接的一個(gè)原因是將信息上傳到這些設(shè)備。通信路徑618可以以任何方式(例如，經(jīng)由上述任何類型的無(wú)線和/或有線通信路徑)實(shí)現(xiàn)。

例如與圖6所示的特定類型的耳機(jī)108相比，系統(tǒng)102的其他實(shí)現(xiàn)可以使用不同類型的耳機(jī)。例如，在另一實(shí)現(xiàn)中，耳機(jī)可以并入任何上述標(biāo)識(shí)的特征(包括輸入機(jī)構(gòu)608)連同任何類型的頭戴式顯示(hmd)設(shè)備(例如，物理地實(shí)現(xiàn)為眼鏡(例如，護(hù)目鏡)、頭盔等)。系統(tǒng)102可以使用頭戴式顯示設(shè)備顯示任何類型的信息。例如，系統(tǒng)102可以經(jīng)由頭戴式顯示設(shè)備或其某個(gè)子集來(lái)顯示在下一部分(部分c)中描述的菜單和其他信息中的任一個(gè)。在另一種情況下，系統(tǒng)102可以顯示與信息(與用戶與之交互的現(xiàn)實(shí)世界相關(guān)聯(lián))混合的計(jì)算機(jī)生成的信息，從而提供增強(qiáng)現(xiàn)實(shí)體驗(yàn)。例如，系統(tǒng)102可以在與用戶視場(chǎng)內(nèi)的相關(guān)聯(lián)的對(duì)象和事件位置接近的位置顯示描述性標(biāo)簽。在另一種情況下，系統(tǒng)102可以顯示輔助用戶在推薦方向上移動(dòng)的方向提示等。此外，系統(tǒng)102可以修改顯示的信息的類型(例如，通過(guò)為具有視力損傷的用戶顯示簡(jiǎn)化和放大的信息)，以適應(yīng)可能影響特定用戶的任何視覺障礙。

系統(tǒng)102可以使用任何技術(shù)(例如，通過(guò)使用光學(xué)混合器，其顯示計(jì)算機(jī)生成的信息“超過(guò)”用戶對(duì)實(shí)際環(huán)境的直接視覺感知(例如，使用部分反射鏡等))來(lái)實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)體驗(yàn)。在另一實(shí)現(xiàn)中，系統(tǒng)102可以使用捕獲實(shí)際環(huán)境的視頻相機(jī)、以及將來(lái)自視頻相機(jī)的視頻信息與計(jì)算機(jī)生成的信息混合的光學(xué)混合器。在任一情況下，系統(tǒng)102可以使用檢測(cè)用戶在環(huán)境內(nèi)的位置的一個(gè)或多個(gè)設(shè)備、檢測(cè)用戶頭部的位置和定向的一個(gè)或多個(gè)設(shè)備、和/或檢測(cè)用戶注視的方向的一個(gè)或多個(gè)設(shè)備等來(lái)確定用戶的假定視場(chǎng)。

在另一種情況下，除了耳機(jī)之外，另一類型的可穿戴設(shè)備可以執(zhí)行上述任何功能。例如，可穿戴設(shè)備可以對(duì)應(yīng)于腕戴式設(shè)備、服裝物品等。

為了簡(jiǎn)化說(shuō)明，以下描述將假定用戶與圖6所示的基本類型的耳機(jī)108交互，然而，注意，耳機(jī)108可以并入任何數(shù)目的上述補(bǔ)充特征(例如，頭戴式顯示器)。此外，代替耳機(jī)，或者除耳機(jī)之外，可以使用另一類型的可穿戴設(shè)備。

圖7示出了實(shí)現(xiàn)圖1的系統(tǒng)102的一種方式。在該實(shí)現(xiàn)中，系統(tǒng)102利用用戶計(jì)算設(shè)備702(為了簡(jiǎn)潔起見，稱為“用戶設(shè)備”)和耳機(jī)704。更具體地，根據(jù)功能的一個(gè)分配，用戶設(shè)備702實(shí)現(xiàn)系統(tǒng)102的大多數(shù)功能。即，用戶設(shè)備702包括si模塊302和輸入/輸出機(jī)構(gòu)706的集合(包括任何定向、運(yùn)動(dòng)和/或位置確定機(jī)構(gòu)708、任何觸敏輸入機(jī)構(gòu)710、任何觸覺輸出機(jī)構(gòu)712、任何顯示輸出機(jī)構(gòu)714等)。上面結(jié)合圖3的描述提供了這些機(jī)構(gòu)的示例。用戶設(shè)備702還包括電源716(例如，電池)以及用于與耳機(jī)704通信的一個(gè)或多個(gè)通信機(jī)構(gòu)718。

另一方面，耳機(jī)704包括一個(gè)或多個(gè)音頻輸出機(jī)構(gòu)720(例如，骨傳導(dǎo)音頻機(jī)構(gòu))、電源722(例如，電池)、以及用于與用戶設(shè)備702通信的一個(gè)或多個(gè)通信機(jī)構(gòu)724。此外，耳機(jī)704可以包括上面參考圖6描述的任何類型的輸入機(jī)構(gòu)726(例如，對(duì)應(yīng)于圖6的輸入機(jī)構(gòu)608)。通信機(jī)構(gòu)724可以將由輸入機(jī)構(gòu)726調(diào)用的指令傳輸給用戶設(shè)備702。用戶設(shè)備702進(jìn)而可以向耳機(jī)704發(fā)送音頻信息，以用于由音頻輸出機(jī)構(gòu)(一個(gè)或多個(gè))720呈現(xiàn)。

圖8示出了實(shí)現(xiàn)系統(tǒng)102的另一種方式。這里，系統(tǒng)102包括與圖7的耳機(jī)704相比具有更多處理能力的耳機(jī)802。實(shí)際上，在一個(gè)實(shí)現(xiàn)中，在不使用任何分離的用戶設(shè)備106的情況下，耳機(jī)802可以執(zhí)行系統(tǒng)102的所有與空間交互相關(guān)的方面。在另一實(shí)現(xiàn)中，耳機(jī)802仍然可以與分離的用戶設(shè)備106(圖8中未示出)交互。該分離的用戶設(shè)備106可以包括圖7的用戶設(shè)備702的所有部件或其任何子集。

更具體地，在圖8的情況下的耳機(jī)802可以包括執(zhí)行上面參考圖4描述的功能的任何子集的耳機(jī)側(cè)si模塊804。另外，耳機(jī)802可以包括任何定向、運(yùn)動(dòng)和/或位置確定機(jī)構(gòu)806。這些機(jī)構(gòu)在下文中通常被稱為頭部感測(cè)機(jī)構(gòu)，因?yàn)樗鼈兇_定用戶頭部的身體姿勢(shì)或運(yùn)動(dòng)(其可以進(jìn)而反映用戶的注意焦點(diǎn)的方向)。另外，耳機(jī)802可以包括以上參考圖6描述的任何類型的輸入機(jī)構(gòu)808。另外，耳機(jī)802可以包括電源810和用于與用戶設(shè)備106交互的一個(gè)或多個(gè)通信機(jī)構(gòu)812(如果系統(tǒng)102在該實(shí)現(xiàn)中使用這樣的用戶設(shè)備106，則不需要)。此外，耳機(jī)802包括上述任何類型的音頻輸出機(jī)構(gòu)814。

在一種操作模式下，當(dāng)耳機(jī)802被提供并且工作正常時(shí)，圖8的系統(tǒng)102可以利用提供在耳機(jī)802上的頭部感測(cè)機(jī)構(gòu)。由耳機(jī)802提供的頭部感測(cè)機(jī)構(gòu)可以優(yōu)于由用戶設(shè)備106提供的相應(yīng)感測(cè)機(jī)構(gòu)，因?yàn)轭^部感測(cè)機(jī)構(gòu)可以更準(zhǔn)確地反映用戶的定向、移動(dòng)和/或位置。此外，頭部感測(cè)機(jī)構(gòu)的使用消除了用戶與用戶設(shè)備106交互以寄存他或她的定向、移動(dòng)和/或位置的需要。

在一些情況下，耳機(jī)108可以可選地將由頭部感測(cè)機(jī)構(gòu)生成的信息轉(zhuǎn)發(fā)給用戶設(shè)備106。用戶設(shè)備106可以使用該信息來(lái)執(zhí)行處理，然后將其處理的結(jié)果轉(zhuǎn)發(fā)回到耳機(jī)802。耳機(jī)802然后可以經(jīng)由傳送結(jié)果的骨傳導(dǎo)技術(shù)將聲音傳輸?shù)接脩舻亩洹Ｔ诹硪环N情況下，在不需要將由頭部感測(cè)機(jī)構(gòu)提供的信息轉(zhuǎn)發(fā)給用戶設(shè)備106的情況下，耳機(jī)側(cè)si模塊804可以執(zhí)行該處理。在另一種情況下，耳機(jī)側(cè)si模塊804可以本地執(zhí)行一些操作，并且依靠用戶設(shè)備106來(lái)執(zhí)行其他操作。例如，耳機(jī)側(cè)si模塊804可以依靠用戶設(shè)備106來(lái)執(zhí)行計(jì)算密集的操作(例如，三維聲音的計(jì)算等)，因?yàn)榕c耳機(jī)108相比，這些操作可以在用戶設(shè)備106上被更有效地執(zhí)行。

在另一種情況下，當(dāng)相應(yīng)部件不能在耳機(jī)802上正常工作時(shí)，系統(tǒng)102可以利用由用戶設(shè)備106提供的定向確定機(jī)構(gòu)(一個(gè)或多個(gè))、運(yùn)動(dòng)確定機(jī)構(gòu)(一個(gè)或多個(gè))和/或位置確定機(jī)構(gòu)(一個(gè)或多個(gè))。

在另一種情況下，系統(tǒng)102可以利用由耳機(jī)802和用戶設(shè)備106提供的傳感器讀數(shù)，例如通過(guò)使用一個(gè)設(shè)備的傳感器讀數(shù)來(lái)標(biāo)識(shí)另一設(shè)備的傳感器讀數(shù)中的明顯錯(cuò)誤，和/或形成傳感器讀數(shù)的兩個(gè)不同版本的平均值，等。

在圖7和圖8的任一實(shí)現(xiàn)中，由耳機(jī)(例如，704、802)和/或用戶設(shè)備(例如，702、106)執(zhí)行的功能中的至少一些可以備選地或者附加地由圖1的遠(yuǎn)程處理資源112(例如，對(duì)應(yīng)于云計(jì)算資源)來(lái)執(zhí)行。

圖9示出了用戶902與車輛內(nèi)的用戶設(shè)備904交互的場(chǎng)景。盡管在圖9中未具體示出，但是用戶902還可以利用將音頻信息中繼到用戶而不遮擋用戶的耳朵的骨傳導(dǎo)耳機(jī)。更一般地，與上述情況相比，圖9是以上描述的功能可以應(yīng)用于附加使用場(chǎng)景的更一般的示例。

在圖9的情況下，用戶902已經(jīng)使用安裝件906將用戶設(shè)備904安裝到車輛的儀表板區(qū)域上。用戶902可以是車輛的駕駛員(如圖9所示)或乘客。電源線908可以從由車輛提供的電源插座向用戶設(shè)備904輸送電力。

圖10示出了描述圖6所示的設(shè)備的一種操作方式的過(guò)程1004。在框1004中，作為用戶致動(dòng)至少一個(gè)耳機(jī)輸入機(jī)構(gòu)的結(jié)果(例如，基于用戶對(duì)圖6所示的耳機(jī)輸入機(jī)構(gòu)608中的一個(gè)的致動(dòng))，系統(tǒng)102接收指令。在框1006中，系統(tǒng)102基于框1004中提供的指令來(lái)執(zhí)行功能，以提供輸出結(jié)果。框1006可以由耳機(jī)108和/或用戶設(shè)備106執(zhí)行。在框1008中，耳機(jī)108應(yīng)用輸出結(jié)果來(lái)遞送音頻信息，這有助于用戶在路線上、在空間內(nèi)導(dǎo)航，或者更多一般來(lái)說(shuō)與空間交互。

總之，上述特征有助于允許用戶安全和有效地移動(dòng)通過(guò)他或她的環(huán)境的上述目標(biāo)。例如，這些特征提供了方便的方式，通過(guò)該方式用戶可以在不在用戶移動(dòng)通過(guò)環(huán)境時(shí)過(guò)度地分散用戶的注意力的情況下(例如，在不需要用戶訪問分離的用戶設(shè)備以及與分離的用戶設(shè)備交互的情況下)激活(例如，通過(guò)與耳機(jī)108的用戶輸入機(jī)構(gòu)608交互)各種操作模式。

c.用于促進(jìn)用戶及其環(huán)境之間的交互的示例性用戶接口功能

本部分提供關(guān)于圖4和圖5的應(yīng)用接口模塊402的一種操作方式的示例性細(xì)節(jié)。注意，應(yīng)用接口模塊402允許用戶與si模塊302的各種部件交互。為了便于對(duì)應(yīng)用接口模塊402的重復(fù)引用，該部分將以縮寫形式將該部件引用為aim402。aim402可以指代分立部件、或在系統(tǒng)102的實(shí)際實(shí)現(xiàn)中由兩個(gè)或更多個(gè)部件執(zhí)行的功能的聚合。

用戶接口體驗(yàn)又具有不同的部件或方面。以下子部分c.1提供關(guān)于aim402允許用戶經(jīng)由例如由用戶設(shè)備106提供的可視用戶界面演示與si模塊302交互的一種示例性方式的細(xì)節(jié)。子部分c.2提供關(guān)于aim402可以向用戶提供各種聲音和觸覺反饋提示的一種示例性方式的細(xì)節(jié)。子部分c.3提供關(guān)于aim402允許用戶經(jīng)由語(yǔ)音指令與si模塊302交互的一種示例性方式的細(xì)節(jié)。

通常，注意，例如，如圖2的示例中，以下解釋在由用戶通過(guò)空間拍攝的行程的上下文中描述aim402。但是，在用戶與空間交互的其他場(chǎng)景中(包括沒有準(zhǔn)備的路線的情況下，用戶為了以自組織方式探索空間的目的而漫游通過(guò)空間)，aim402提供類似的服務(wù)。還注意，下面描述的用戶接口特征本質(zhì)上也是通用的，并且因此可以應(yīng)用于不一定和用戶與空間的交互相關(guān)的其他上下文中。

作為另一優(yōu)選注釋，該描述闡述了由aim402通過(guò)描述由用戶執(zhí)行的姿勢(shì)相關(guān)動(dòng)作以及由aim402響應(yīng)于姿勢(shì)相關(guān)動(dòng)作而進(jìn)行的相應(yīng)操作來(lái)解釋的很多姿勢(shì)。如上面參考圖5更全面地描述的，aim402在每種情況下通過(guò)以下方式來(lái)執(zhí)行該任務(wù)：(a)例如，當(dāng)用戶做出指示輕彈手勢(shì)等時(shí)，檢測(cè)描述由用戶執(zhí)行的手勢(shì)的輸入信息；(b)將輸入信息與所存儲(chǔ)的與已知手勢(shì)相關(guān)聯(lián)的模式進(jìn)行比較，以確定用戶已經(jīng)調(diào)用的特定手勢(shì)；和(c)執(zhí)行與所檢測(cè)的手勢(shì)相關(guān)聯(lián)的操作。為了簡(jiǎn)潔起見，在下面的很多情況中省略了對(duì)這些單獨(dú)操作的顯式描述。

c.1.視覺體驗(yàn)：與工作空間和菜單交互

在一個(gè)方法中，aim402將主工作空間組織成較小工作空間的集合。工作空間相對(duì)于彼此具有位置關(guān)系。這種結(jié)構(gòu)是有益的，因?yàn)樗试S用戶開發(fā)應(yīng)用程序的組織的心理圖像，就像他或她將通過(guò)與其區(qū)域的重復(fù)遇到而變得熟悉物理空間的區(qū)域。這個(gè)功能反過(guò)來(lái)又允許用戶有效地訪問所尋求的信息和/或功能。

例如，圖11示出了aim402將主工作空間組織成五個(gè)較小的工作空間的一個(gè)示例。在進(jìn)行行程時(shí)，主頁(yè)工作空間1102用作用戶交互中的中心焦點(diǎn)。例如，如下面將描述的，主頁(yè)工作空間1102呈現(xiàn)關(guān)于用戶在行程中的每個(gè)特定點(diǎn)處的當(dāng)前境況、或與空間的任何其他交互的信息。如果用戶還沒有開始行程，則主頁(yè)工作空間1002可以呈現(xiàn)默認(rèn)中樞頁(yè)面。

主要工作空間1104位于主頁(yè)工作空間1102的左邊，并且“我附近”工作空間1106位于主頁(yè)工作空間1102的右邊。信息工作空間1108位于主頁(yè)工作空間1102的頂部，而設(shè)置工作空間1110位于主頁(yè)工作空間1102的底部。這些工作空間的相應(yīng)角色將在下面更詳細(xì)地描述。

上述每個(gè)工作空間的位置在示例而不是限制的精神內(nèi)闡述。其他實(shí)現(xiàn)可以提供工作空間的其他放置。此外，其他實(shí)現(xiàn)可以改變由aim402提供的工作空間的數(shù)目。例如，另一實(shí)現(xiàn)可以通過(guò)提供相對(duì)于主頁(yè)工作空間1102對(duì)角定位的工作空間來(lái)提供另外四個(gè)工作空間。

圖12示出了用戶可以通過(guò)其從主頁(yè)工作空間1102導(dǎo)航到主要工作空間1104的一種方式。在該非限制性情況下，用戶在主頁(yè)工作空間1102上執(zhí)行向右輕彈手勢(shì)以導(dǎo)航到主要工作空間1104。雖然未示出，但是用戶可以執(zhí)行向左輕彈手勢(shì)(或另一向右輕彈手勢(shì))以從主要工作空間1104移動(dòng)回到主頁(yè)工作空間1102。

以類似的方式，用戶可以在主頁(yè)工作空間1102上執(zhí)行向左輕彈手勢(shì)以導(dǎo)航到“我附近”工作空間1106。用戶可以在主頁(yè)工作空間1102上執(zhí)行向下輕彈手勢(shì)以導(dǎo)航到信息工作空間1108和在主頁(yè)工作空間1102上執(zhí)行向上輕彈手勢(shì)以導(dǎo)航到設(shè)置工作空間1110。用戶可以例如使用握持用戶設(shè)備的手的拇指，例如通過(guò)將拇指放置在用戶設(shè)備106的觸敏表面上并且在期望的方向上輕彈它來(lái)執(zhí)行這些手勢(shì)中的任何一個(gè)。在輕彈移動(dòng)中，用戶使用一個(gè)或多個(gè)手指接觸觸敏表面，使手指(一個(gè)或多個(gè))跨越表面移動(dòng)一段距離，然后從表面移除手指(一個(gè)或多個(gè))，所有這些都是相對(duì)快速的連續(xù)(好像在平坦表面上輕彈物理對(duì)象)。

在一個(gè)實(shí)現(xiàn)中，為了導(dǎo)航到任何外圍區(qū)域，期望用戶首先導(dǎo)航到主頁(yè)工作空間1102。然而，在另一實(shí)現(xiàn)中，在不首先移動(dòng)回到主頁(yè)工作空間1102的情況下，aim402可以允許用戶從一個(gè)外圍區(qū)域?qū)Ш降搅硪煌鈬鷧^(qū)域。

更一般地，在本部分中的所有示例中，顯示器表面上的虛線圓表示用戶用手指接觸表面的點(diǎn)。在一些情況下，顯示器的表面將顯示不同尺寸的兩個(gè)虛線圓。兩個(gè)圓中較大的一個(gè)表示用戶應(yīng)用他或她的手指的位置，而兩個(gè)圓中較小的一個(gè)表示用戶移除他或她的手指的位置。在其他情況下(未示出)，用戶可以執(zhí)行涉及同時(shí)在兩個(gè)或更多個(gè)位置觸摸觸敏表面的至少一個(gè)手勢(shì)(例如，以執(zhí)行捏縮類型手勢(shì))。在其他情況下(未示出)，用戶可以通過(guò)懸停在設(shè)備的表面上而不實(shí)際觸摸它來(lái)執(zhí)行至少一個(gè)手勢(shì)。在其他情況下(未示出)，用戶可以執(zhí)行自由空間手勢(shì)，自由空間手勢(shì)可以由攝像機(jī)和/或深度相機(jī)等檢測(cè)。

作為最后的介紹，本部分描述了具體的手勢(shì)、菜單結(jié)構(gòu)和菜單項(xiàng)，所有這些都在精神和示例性的意義上而非限制性的。其他實(shí)現(xiàn)可以改變這些用戶接口特征的任何方面。例如，在另一實(shí)現(xiàn)(未示出)中，aim402可以允許用戶使用敲擊類型手勢(shì)或通過(guò)在顯示器的表面上繪制特定形狀等在工作空間之間轉(zhuǎn)換

圖13-圖16示出了可以在主頁(yè)工作空間1102中呈現(xiàn)的信息類型。如上所述，當(dāng)主頁(yè)工作空間1102在路線上導(dǎo)航或以其他方式與空間交互時(shí)，其用作用戶注意力的主焦點(diǎn)。在默認(rèn)狀態(tài)下，如圖13所示，主頁(yè)工作空間1102可以呈現(xiàn)中樞頁(yè)面。下面將描述菜單結(jié)構(gòu)的特定性質(zhì)以及該結(jié)構(gòu)內(nèi)的菜單項(xiàng)。

在用戶行程的過(guò)程中，主頁(yè)工作空間1102可以呈現(xiàn)關(guān)于用戶的當(dāng)前境況的信息(但是在行程期間，根據(jù)用戶的請(qǐng)求，其他信息也可以在主頁(yè)工作空間1102中呈現(xiàn))。例如，在圖14的情況下，假定用戶當(dāng)前正在乘坐火車。主頁(yè)工作空間1102可以呈現(xiàn)集中于用戶在火車中的體驗(yàn)的菜單。在圖15的情況下，假定用戶現(xiàn)在正沿特定街道行走。作為默認(rèn)，主頁(yè)工作空間1102現(xiàn)在將呈現(xiàn)關(guān)于用戶在街道上的體驗(yàn)的信息。例如，主頁(yè)工作空間1102可以呈現(xiàn)示出用戶在街道上的當(dāng)前位置1502的地圖。備選地，用戶可以與aim402交互，以產(chǎn)生圖14所示的菜單類型，但是其中該菜單現(xiàn)在將包含與在街道上行走時(shí)的用戶體驗(yàn)有關(guān)的菜單項(xiàng)。憑借上述行為，aim402在他或她的環(huán)境中的當(dāng)前境況中顯示與用戶最相關(guān)的信息，并且在主頁(yè)工作空間1102內(nèi)呈現(xiàn)該信息；在不必“尋找”最相關(guān)的信息的情況下(例如，在無(wú)需導(dǎo)航通過(guò)繁瑣的菜單結(jié)構(gòu)的情況下)，用戶因此可以容易地找到并且消費(fèi)最相關(guān)的信息。這樣的特征還減少了對(duì)用戶的干擾，并且因此有助于系統(tǒng)102的安全性。

然而，用戶可以與aim402交互，以激活與用戶的直接周圍環(huán)境無(wú)關(guān)的信息，用于在主頁(yè)工作空間1102中呈現(xiàn)。例如，用戶可以例如通過(guò)激活標(biāo)簽菜單選項(xiàng)來(lái)激活將在下面描述的標(biāo)簽菜單。作為響應(yīng)，aim402將呈現(xiàn)圖16所示的標(biāo)簽菜單。標(biāo)簽菜單顯示對(duì)應(yīng)于先前打開的菜單的打開的標(biāo)簽的集合。這些標(biāo)簽式菜單中的一些可以對(duì)應(yīng)于關(guān)于用戶已經(jīng)完成的先前行程分段的信息。用戶可以激活任何這樣的標(biāo)簽相關(guān)的菜單項(xiàng)。作為響應(yīng)，aim402可以例如以菜單或某種其他格式的形式表示關(guān)于主頁(yè)工作空間1102中的先前行程步驟的信息。菜單結(jié)構(gòu)還可以允許用戶在用戶請(qǐng)求時(shí)檢查未在行程中遇到的未來(lái)行程步驟。

此外，即使在已經(jīng)開始行程之后，用戶可以指示aim402返回到圖13所示的中樞菜單，例如使得用戶可以訪問在該默認(rèn)中樞菜單中指定的信息和/或功能。

作為進(jìn)一步的澄清，在上面的示例中，當(dāng)前境況涉及用戶的整個(gè)行程中的物理位置或分段。在其他情況下，主頁(yè)工作空間1102可以呈現(xiàn)關(guān)于用戶對(duì)虛擬空間的探索的境況信息。例如，用戶可以在由商店提供的產(chǎn)品的層級(jí)內(nèi)導(dǎo)航。在該情況下，主頁(yè)工作空間1102可以呈現(xiàn)關(guān)于一組產(chǎn)品、單個(gè)產(chǎn)品等的菜單。

一般來(lái)說(shuō)，圖13-圖16所示的上述類型的菜單對(duì)應(yīng)于主菜單。aim402在主頁(yè)工作空間1102中顯示這些類型的菜單。相反，aim402在位于主頁(yè)工作空間1102的外圍的其他工作空間中呈現(xiàn)次級(jí)菜單。圖17-圖20示出了可以在這些外圍工作空間中呈現(xiàn)的示例性次級(jí)菜單。

例如，圖17示出了用于在主要工作空間1104中呈現(xiàn)的主要菜單。主要菜單標(biāo)識(shí)當(dāng)與si模塊302的不同方面交互時(shí)通常使用的動(dòng)作。圖18示出了用于在設(shè)置工作空間1110中呈現(xiàn)的設(shè)置菜單。設(shè)置菜單允許用戶改變影響si模塊302的操作的各種參數(shù)。圖19示出了用于在信息工作空間1108中呈現(xiàn)的信息菜單。信息菜單呈現(xiàn)對(duì)諸如剩余電池壽命、信號(hào)強(qiáng)度等系統(tǒng)信息的方便訪問。信息菜單還提供了到通知和其他有用的警告信息和行程信息(例如，公共交通服務(wù)的實(shí)時(shí)更新)的方便門戶。

圖20提供用于在“我附近”工作空間1106中呈現(xiàn)的“我附近”菜單?！拔腋浇辈藛纬尸F(xiàn)關(guān)于當(dāng)前時(shí)間在用戶的近距離內(nèi)的(或以其他方式與用戶的當(dāng)前境況相關(guān)聯(lián)的)、如圖4的rid模塊426所標(biāo)識(shí)的感興趣的境況項(xiàng)(ioi)的信息。用戶可以使用設(shè)置菜單來(lái)指定最大距離，最大距離確定什么構(gòu)成“附近”境況ioi。每個(gè)境況ioi在“我附近”菜單中通過(guò)其名稱、其類別(例如，“食物和飲料”類別)以及其與用戶的距離被標(biāo)識(shí)。用戶可以激活該菜單中的項(xiàng)，使得si模塊302提供關(guān)于該境況ioi的音頻信息。該音頻信息可以被公式化為三維聲音信息，使得在遞送時(shí)，其似乎起源于在物理空間中可以找到與境況ioi相關(guān)聯(lián)的實(shí)體的相同方向。

圖21示出了可以在主頁(yè)工作空間1102中呈現(xiàn)的暫時(shí)性菜單的示例。例如，用戶可以通過(guò)首先導(dǎo)航到圖19所示的、在信息工作空間1108中呈現(xiàn)的信息菜單來(lái)激活該暫時(shí)性菜單。然后，用戶可以激活菜單中的“通知”菜單項(xiàng)。作為響應(yīng)，aim402可以呈現(xiàn)圖21所示的暫時(shí)性菜單。

相反，圖22示出了覆蓋菜單的示例。在該特定示例中，用戶可以通過(guò)首先前進(jìn)到圖18所示的、如設(shè)置工作空間1110中所呈現(xiàn)的設(shè)置菜單來(lái)激活覆蓋菜單。然后，用戶可以激活該菜單中的“境況意識(shí)”菜單項(xiàng)。aim402通過(guò)呈現(xiàn)圖22所示的覆蓋菜單來(lái)響應(yīng)用戶的動(dòng)作。與圖21所示的暫時(shí)性菜單不同，圖22所示的覆蓋菜單在設(shè)置工作空間1110中被呈現(xiàn)在圖18所示的設(shè)置菜單“之上”，而非在主頁(yè)工作空間1102中。如在下面將描述的，覆蓋菜單和暫時(shí)性菜單也可以響應(yīng)于“返回”命令的執(zhí)行而展現(xiàn)不同的行為。

在圖22的特定情況下，覆蓋菜單允許用戶改變由si模塊302提供的境況意識(shí)的水平。例如，通過(guò)該菜單，用戶可以設(shè)置確定轉(zhuǎn)發(fā)給用戶的信息的數(shù)量的參數(shù)值。在一種情況下，用戶可以選擇接收與他或她的當(dāng)前境況潛在相關(guān)的所有信息。在另一種情況下，用戶可以選擇僅接收被認(rèn)為具有高重要性的警告和其他信息項(xiàng)。

圖23示出了用戶可以在用戶的行程中的任何接合點(diǎn)處指示si模塊302呈現(xiàn)關(guān)于他或她的當(dāng)前境況的信息的一種方式。根據(jù)一個(gè)非限制性情況，用戶可以使用手指(例如，拇指)，以在用戶設(shè)備106的觸敏表面上(在表面上的任何位置處)進(jìn)行單個(gè)點(diǎn)擊手勢(shì)。響應(yīng)于檢測(cè)到該手勢(shì)，si模塊302可以呈現(xiàn)關(guān)于用戶的當(dāng)前境況的高級(jí)信息作為有聲消息。例如，si模塊302可以宣布將適合于該境況的境況菜單的標(biāo)題。例如，在圖14的示例中，si模塊302可以宣布“客車e：倫敦帕丁頓”。

備選地，用戶可以做出雙個(gè)點(diǎn)擊手勢(shì)。響應(yīng)于檢測(cè)到該手勢(shì)，si模塊302可以再次呈現(xiàn)關(guān)于用戶的當(dāng)前境況的更詳細(xì)的信息作為有聲消息。例如，在雙個(gè)點(diǎn)擊時(shí)，si模塊302可以宣布圖14所示的菜單中的菜單項(xiàng)。

接下來(lái)假定用戶執(zhí)行三個(gè)點(diǎn)擊手勢(shì)。響應(yīng)于檢測(cè)到該手勢(shì)，si模塊302可以宣布以下指令：如果該菜單實(shí)際上關(guān)于用戶的當(dāng)前境況，則該指令通知用戶如何與圖14所示的菜單類型交互。例如，指令可以通知用戶如何激活菜單、如何在菜單內(nèi)導(dǎo)航、如何選擇菜單內(nèi)的菜單項(xiàng)等。

前進(jìn)到圖24，該圖示出了用戶如何激活菜單，以及用戶隨后如何與菜單交互。在一個(gè)非限制性情況下，通過(guò)在用戶設(shè)備106的觸敏顯示表面的表面上的任何地方進(jìn)行點(diǎn)擊并保持手勢(shì)，用戶可以激活圖24所示的菜單。例如，如圖24所示，虛線圓2402指示用戶已點(diǎn)擊并將他或她的拇指保持在觸敏表面的表面上的位置。

響應(yīng)于檢測(cè)到該手勢(shì)，aim402呈現(xiàn)菜單2404。菜單以用戶觸摸表面(對(duì)應(yīng)于觸摸位置)的表面上的點(diǎn)(對(duì)應(yīng)于顯示位置)為中心。用戶可以發(fā)現(xiàn)這個(gè)特征是有用的，因?yàn)樗藶榱思せ畈藛?404而在用戶界面演示中尋找特定元素的需要。相反，用戶可以在表面上的任何地方執(zhí)行點(diǎn)擊并保持手勢(shì)。該特征反過(guò)來(lái)減少了在使用系統(tǒng)102時(shí)對(duì)用戶的干擾。但是不是所有的位置都將導(dǎo)致菜單2404的成功激活。例如，如果用戶點(diǎn)擊太靠近表面的頂部或底部，則aim402可以可選地向用戶呈現(xiàn)錯(cuò)誤消息(例如，作為有聲消息)，要求用戶更接近表面中間重復(fù)他或她的點(diǎn)擊并保持手勢(shì)。

到目前為止示出的菜單具有特定的統(tǒng)一菜單結(jié)構(gòu)。圖24所示的菜單2404具有相同的結(jié)構(gòu)，該結(jié)構(gòu)現(xiàn)在將在下面描述，同時(shí)注意，該結(jié)構(gòu)以示例而非限制的精神闡述。其他實(shí)現(xiàn)可以采用其他菜單結(jié)構(gòu)和行為。例如，該子部分將以采用不同菜單結(jié)構(gòu)(與圖24的菜單2404相比)、展現(xiàn)不同菜單行為的實(shí)現(xiàn)的示例來(lái)結(jié)束。此外，本文中所描述的菜單以線性列表的形式呈現(xiàn)其菜單項(xiàng)；但是可以使用以其他方式呈現(xiàn)其菜單項(xiàng)的其他菜單(例如，徑向菜單或餅形菜單等)。

圖24所示的菜單結(jié)構(gòu)具有由標(biāo)記項(xiàng)2406分隔的兩個(gè)菜單項(xiàng)分組。更具體地，菜單項(xiàng)的第一分組2408呈現(xiàn)特別與用戶當(dāng)前境況或手頭任務(wù)相關(guān)的菜單項(xiàng)。菜單項(xiàng)的第二分組2410呈現(xiàn)與可以在不同工作空間中呈現(xiàn)的多個(gè)類型的菜單相關(guān)的菜單項(xiàng)，因此可被稱為全局或通用菜單項(xiàng)。例如，作為第二分組2410中的菜單項(xiàng)的“停止收聽”命令跨越不同的菜單和工作空間相關(guān)，而作為第一分組2408中的菜單項(xiàng)的菜單項(xiàng)“項(xiàng)a”可以被選擇，因?yàn)槠渑c用戶試圖通過(guò)與菜單2404交互來(lái)完成的任何任務(wù)特別相關(guān)。

然而，第二分組2410可以省略針對(duì)特定菜單不相關(guān)的某些全局選擇。例如，如果用戶已經(jīng)在觀看“標(biāo)簽”菜單，則與該菜單相關(guān)聯(lián)的第二分組可以省略允許用戶訪問標(biāo)簽菜單的菜單選項(xiàng)(因?yàn)橛脩粢呀?jīng)在觀看該菜單)。

不同的菜單項(xiàng)(在第一分組2408或第二分組2410中)在被選擇時(shí)調(diào)用不同的操作。例如，第一類型的菜單項(xiàng)可以在被選擇時(shí)調(diào)用動(dòng)作。例如，菜單項(xiàng)“開始收聽”在被調(diào)用時(shí)，指示si模塊302開始收聽用戶的語(yǔ)音命令。第二類型的菜單項(xiàng)可以在被調(diào)用時(shí)呈現(xiàn)信息(例如，電池狀態(tài)信息等)。第三類型的菜單項(xiàng)可以在該菜單項(xiàng)被調(diào)用時(shí)為用戶呈現(xiàn)改變屬性值的機(jī)會(huì)。例如，在一些情況下，用戶激活這種類型的菜單項(xiàng)可以激活覆蓋菜單。然后，用戶可以與覆蓋菜單交互，以改變所考慮的屬性值。在另一種情況下，用戶激活這種類型的菜單項(xiàng)可以直接改變屬性值(例如，通過(guò)將設(shè)置從“開”狀態(tài)切換到“關(guān)”狀態(tài)或反之亦然)。也可以是其他類型的菜單項(xiàng)和相關(guān)聯(lián)的調(diào)用行為。

標(biāo)記項(xiàng)2406顯示消息“釋放以解除”。該消息通知用戶他或她可以從觸摸敏感表面的表面釋放他們的手指而不選擇任何菜單項(xiàng)，假定，即，當(dāng)手指放置在標(biāo)記項(xiàng)2406上、而不是某個(gè)其他菜單項(xiàng)時(shí)，用戶釋放他或她的手指。響應(yīng)于這樣的手勢(shì)，aim402可以將菜單2412顯示在其初始的未激活狀態(tài)。該菜單2412中的標(biāo)記項(xiàng)2414承載消息“點(diǎn)擊并保持”，其邀請(qǐng)用戶執(zhí)行點(diǎn)擊并保持手勢(shì)，以重新激活處于其活動(dòng)狀態(tài)的菜單2404。

前進(jìn)到圖25，假定用戶不是停用菜單2404，而是決定向上滾動(dòng)通過(guò)第一分組2408中的項(xiàng)。用戶可以通過(guò)在向上方向上移動(dòng)他或她的手指、同時(shí)將他或她的手指保持在觸敏表面上來(lái)執(zhí)行這個(gè)動(dòng)作。作為響應(yīng)，aim402可以產(chǎn)生圖25所示的菜單狀態(tài)2502。具體地，aim402響應(yīng)于用戶的手勢(shì)可以沿向下方向移動(dòng)菜單項(xiàng)，這使得第一菜單項(xiàng)2504(而不是標(biāo)記項(xiàng)2406)變?yōu)橥怀鲲@示。為了選擇該菜單項(xiàng)2504，用戶可以從菜單項(xiàng)2504釋放他或她的手指。備選地，用戶可以通過(guò)移動(dòng)回到標(biāo)記項(xiàng)2406然后在被定位在該項(xiàng)處時(shí)釋放他或她的手指來(lái)停用菜單?；蛘哂脩艨梢栽谂c菜單項(xiàng)的第二分組2410相對(duì)的方向上向下滾動(dòng)。用戶可以在手指位于第二分組2410中的菜單項(xiàng)之一時(shí)釋放他或她的手指，以選擇該菜單項(xiàng)。用戶可以發(fā)現(xiàn)上述用戶界面行為是有益的，因?yàn)樗蛩梢杂靡恢皇忠詿o(wú)縫和流暢的方式與用戶設(shè)備106交互，在他或她移動(dòng)通過(guò)環(huán)境時(shí)對(duì)用戶的干擾最小。例如，在該實(shí)現(xiàn)中，用戶不需要尋找并選擇一系列命令按鈕或菜單項(xiàng)；這樣做將需要用戶特別注意用戶設(shè)備106。

在圖25的具體示例中，假定用戶向上滾動(dòng)到項(xiàng)的第一分組2408的頂部以選擇“更多項(xiàng)”的菜單項(xiàng)2506，然后在該菜單項(xiàng)2506上釋放他或她的手指。作為響應(yīng)，aim402呈現(xiàn)圖26所示的菜單2602。該菜單提供菜單項(xiàng)中表示在先前菜單中示出的第一分組2408的繼續(xù)的另一第一分組2604；即，雖然圖25中的第一分組2408呈現(xiàn)菜單項(xiàng)1、2和3，但是圖26的第一分組2604呈現(xiàn)菜單項(xiàng)4、5和6。更一般地，菜單結(jié)構(gòu)可以將菜單項(xiàng)的完整列表表示為一系列鏈接的較小列表。在圖25和圖26的示例中示出了兩個(gè)鏈接的列表，但是可以通過(guò)任何數(shù)目的鏈接列表形成完整列表。

用戶可以通過(guò)向上滾動(dòng)到“先前頁(yè)”菜單項(xiàng)2606并且然后從該項(xiàng)釋放他的或手指來(lái)返回到圖25所示的菜單狀態(tài)2502。備選地，為了執(zhí)行該返回指令，如圖26所示，用戶可以將他或她的手指移動(dòng)到觸敏表面的周邊(例如，如虛線圓2608所示)，然后向內(nèi)朝向表面的中心輕彈。用戶可以通過(guò)從表面的相對(duì)邊緣向內(nèi)輕彈來(lái)執(zhí)行相同的操作。

雖然在圖26中未示出，但是菜單2606還可以給予用戶(經(jīng)由適當(dāng)?shù)牟藛雾?xiàng))返回到一系列級(jí)聯(lián)菜單列表中的第一頁(yè)的選項(xiàng)，例如，而不是通過(guò)發(fā)出一系列返回指令借助鏈接的列表來(lái)連續(xù)地移動(dòng)返回。此外，雖然在附圖中也未示出，但是每個(gè)分組可以包括列表末端標(biāo)記項(xiàng)，其指定分組的末端。用戶可以通過(guò)移動(dòng)到該項(xiàng)并在被放置在該項(xiàng)上時(shí)移除他或她的手指來(lái)停用菜單。

更一般地，用戶可以在不同類型的菜單上執(zhí)行圖26所示的后退手勢(shì)的類型，這可以產(chǎn)生不同類型的動(dòng)作。例如，在用戶確認(rèn)這是他或她打算做的事情之后，在主頁(yè)工作空間1102中呈現(xiàn)的根(主)菜單上的返回動(dòng)作可以使得用戶退出與si模塊302相關(guān)聯(lián)的應(yīng)用。在主頁(yè)工作空間1102中呈現(xiàn)的暫時(shí)性菜單上的返回動(dòng)作可以使得aim402呈現(xiàn)主頁(yè)工作空間1102中最后呈現(xiàn)的任何上下文菜單。在覆蓋菜單上的返回動(dòng)作有時(shí)可以導(dǎo)致呈現(xiàn)次級(jí)工作空間中的“下層”次級(jí)菜單。例如，特定設(shè)置相關(guān)的覆蓋菜單(例如，如圖22所示)上的后退動(dòng)作可以導(dǎo)致顯示設(shè)置工作空間1110中的下層設(shè)置菜單(例如，如圖18所示)。

圖27示出了工作空間與圖11的實(shí)現(xiàn)相比的、對(duì)應(yīng)于由aim402提供的菜單功能的第二實(shí)現(xiàn)的備選組織。以概述的方式，圖27的工作空間結(jié)構(gòu)包括具有與圖11所示的功能相同的基本功能的五個(gè)工作空間(2702、2704、2706、2708、2710)。例如，在整個(gè)行程中，主頁(yè)工作空間2702繼續(xù)用作用戶注意力的中心焦點(diǎn)。主頁(yè)工作空間2702還繼續(xù)顯示與用戶行程中遇到的當(dāng)前境況(或與空間的其他類型的交互)相關(guān)聯(lián)的菜單和其他信息。但是主頁(yè)工作空間2702不再將中樞菜單呈現(xiàn)為默認(rèn)值。相反，主頁(yè)工作空間用于將標(biāo)簽相關(guān)的信息示出為默認(rèn)值。

更具體地，主頁(yè)工作空間2702示出了在不存在活動(dòng)標(biāo)簽時(shí)，圖28所示的默認(rèn)標(biāo)簽信息。默認(rèn)標(biāo)簽信息可以提供關(guān)于用戶如何開始創(chuàng)建標(biāo)簽的引導(dǎo)。相反，主頁(yè)工作空間2702可以顯示當(dāng)存在活動(dòng)標(biāo)簽時(shí)，圖29所示的標(biāo)簽菜單。默認(rèn)地，在列表中具有第一位置(即，標(biāo)簽號(hào)1)的標(biāo)簽菜單項(xiàng)對(duì)應(yīng)于當(dāng)前境況。

圖29還示出了與迄今為止描述的菜單結(jié)構(gòu)相比，第二實(shí)現(xiàn)提供了不同的菜單結(jié)構(gòu)。例如，第二實(shí)現(xiàn)不再將菜單組織成由菜單標(biāo)記分隔的兩組菜單項(xiàng)。相反，第二實(shí)現(xiàn)呈現(xiàn)被確定為與用戶的當(dāng)前感興趣焦點(diǎn)相關(guān)的菜單項(xiàng)的單個(gè)列表。如果用戶希望訪問先前在第二分組中呈現(xiàn)的全局菜單項(xiàng)的類型，則用戶可以導(dǎo)航到主要工作空間2704以訪問那些項(xiàng)。

圖30呈現(xiàn)關(guān)于菜單項(xiàng)列表中的菜單項(xiàng)的一個(gè)可能組織的附加信息。這里，菜單項(xiàng)表示響應(yīng)于對(duì)用戶附近的商店進(jìn)行搜索而產(chǎn)生的搜索結(jié)果項(xiàng)。通過(guò)執(zhí)行上面關(guān)于第一實(shí)現(xiàn)(并且如圖23和圖24所示)描述的點(diǎn)擊并保持手勢(shì)，用戶可以激活任何菜單(例如，圖30所示的菜單)。

在激活菜單時(shí)，在第二實(shí)現(xiàn)中，aim402在用戶設(shè)備的顯示表面的中間附近呈現(xiàn)列表中第一條目。然后，用戶可以通過(guò)在向上方向上進(jìn)行一個(gè)或多個(gè)平移手勢(shì)來(lái)向上移動(dòng)列表，或者通過(guò)在向下方向上進(jìn)行一個(gè)或多個(gè)平移手勢(shì)來(lái)向下移動(dòng)列表。當(dāng)用戶在任一方向上到達(dá)列表的末端時(shí)，列表重復(fù)。即，當(dāng)用戶前進(jìn)經(jīng)過(guò)列表中的最后項(xiàng)時(shí)，用戶將遇到作為下一條目的第一項(xiàng)。當(dāng)用戶前進(jìn)經(jīng)過(guò)列表中的第一項(xiàng)時(shí)，用戶將遇到最后項(xiàng)。由于這種菜單呈現(xiàn)策略，第二實(shí)現(xiàn)可以省去使用如第一實(shí)現(xiàn)中所使用的多頁(yè)列表。即，用戶使用一個(gè)或多個(gè)平移手勢(shì)來(lái)導(dǎo)航通過(guò)單個(gè)主列表。用戶通過(guò)將一個(gè)或多個(gè)手指放置與觸敏表面接觸并沿期望的平移方向拖動(dòng)這些手指來(lái)做出平移手勢(shì)；這里的移動(dòng)與輕彈手勢(shì)相比較慢。

圖31提供關(guān)于上述行為的附加信息。這里，用戶通過(guò)沿向下方向拖動(dòng)所顯示的菜單來(lái)進(jìn)行平移手勢(shì)。但是與第一實(shí)現(xiàn)的情況不同，當(dāng)導(dǎo)航通過(guò)列表時(shí)，用戶不需要將他或她的手指保持在表面上。例如，用戶可以進(jìn)行多個(gè)平移手勢(shì)；在每個(gè)平移手勢(shì)之間，用戶可以從表面移除他或她的手指。第二實(shí)現(xiàn)不將用戶的手指從表面的移除解釋為在該時(shí)間選擇被突出顯示的任何菜單項(xiàng)的指令。在由用戶規(guī)定的不活動(dòng)時(shí)間量之后，或者當(dāng)用戶做出后退手勢(shì)時(shí)，第二實(shí)現(xiàn)可以停用菜單。

如圖32所示，用戶可以通過(guò)朝向表面的周邊進(jìn)行短觸摸和拖動(dòng)手勢(shì)來(lái)選擇列表中突出顯示的項(xiàng)。當(dāng)aim402將用戶的手勢(shì)解釋為選擇突出顯示的項(xiàng)的請(qǐng)求時(shí)，aim402將提供聽覺和/或觸覺反饋。然后，當(dāng)用戶從用戶設(shè)備106的表面移除他或她的手指時(shí)，aim402將選擇該項(xiàng)。備選地，代替移除他或她的手指，用戶可以以相對(duì)方向拖動(dòng)他或她的手指后退，以取消aim402將再次確認(rèn)(例如，通過(guò)提供適當(dāng)?shù)囊粋€(gè)或多個(gè)提示)的選擇操作。

圖33示出了在菜單的周圍執(zhí)行的后退手勢(shì)以及對(duì)該手勢(shì)的響應(yīng)。更具體地，用戶現(xiàn)在可以通過(guò)從相應(yīng)邊緣向左或向右拉動(dòng)短距離直到aim402指示其已經(jīng)理解用戶的手勢(shì)(例如，通過(guò)提供適當(dāng)?shù)囊粋€(gè)或多個(gè)提示)來(lái)執(zhí)行后退手勢(shì)。此時(shí)，用戶可以釋放他或她的手指以執(zhí)行后退動(dòng)作?；蛘哂脩艨梢栽谙鄬?duì)方向上移動(dòng)他或者手指，直到aim402將用戶的動(dòng)作解釋為撤銷后退動(dòng)作的請(qǐng)求。在圖33的示例中，后退動(dòng)作使得aim402從搜索結(jié)果菜單轉(zhuǎn)換到標(biāo)簽菜單。

圖34示出了用戶可以通過(guò)在菜單上繪制圓形3402(例如，通過(guò)在主頁(yè)工作空間2702中呈現(xiàn)的搜索結(jié)果菜單(例如)上繪出圓)來(lái)執(zhí)行的手勢(shì)。響應(yīng)于該手勢(shì)，aim402將返回到標(biāo)簽菜單。盡管未示出，但是用戶可以隨后在標(biāo)簽菜單上執(zhí)行相同的圓手勢(shì)。作為響應(yīng)，aim402將返回到搜索結(jié)果菜單(或用戶發(fā)起的任何頁(yè)面—即，用戶繪制原始圓的任何頁(yè)面)。

圖35示出了用戶可以通過(guò)在菜單上繪制半圓3502(例如，通過(guò)在主頁(yè)工作空間2702中呈現(xiàn)的搜索結(jié)果菜單(例如)上畫出半圓)來(lái)執(zhí)行的手勢(shì)。作為響應(yīng)，aim402將焦點(diǎn)返回到當(dāng)前境況中呈現(xiàn)的任何內(nèi)容。在圖35的示例中，aim402返回到與行程中的當(dāng)前步驟相關(guān)聯(lián)的信息(如圖35的右側(cè)所示)。如果用戶當(dāng)前沒有進(jìn)行行程，則當(dāng)前境況可以對(duì)應(yīng)于最后打開的任何菜單。用戶可以通過(guò)在圖35的右側(cè)所示的頁(yè)面上繪制半圓來(lái)將該轉(zhuǎn)換反向。

圖36和圖37示出了可以用于分別增加和降低由圖1的系統(tǒng)提供的詳細(xì)級(jí)別以及由系統(tǒng)提供的境況信息的級(jí)別的不同手勢(shì)。例如，如圖36所示，用戶可以在任何菜單(這里，標(biāo)簽菜單)上繪制右箭頭形狀3602來(lái)增加si模塊302的詳細(xì)級(jí)別。如圖37所示，用戶可以在任何菜單上繪制左箭頭形狀3702來(lái)降低si模塊302的詳細(xì)級(jí)別。詳細(xì)級(jí)別指的是si模塊302遞送其例如從簡(jiǎn)潔到詳細(xì)的音頻信息的簡(jiǎn)潔性。

也如圖37所示，用戶可以在任何菜單上繪制向上箭頭形狀3704或向下箭頭形狀3706，以分別增加或降低提供給用戶的信息的級(jí)別。例如，用戶可以通過(guò)避免發(fā)送關(guān)于一個(gè)或多個(gè)最不關(guān)鍵的信息項(xiàng)類別的用戶信息(例如，通過(guò)省略境況信息、但是發(fā)送警告信息和行程信息)來(lái)縮小境況信息的數(shù)量。

盡管在附圖中未具體示出，但是(與第一實(shí)現(xiàn)相比)第二實(shí)現(xiàn)方式還可以執(zhí)行其他新手勢(shì)。例如，用戶可以在第一菜單上執(zhí)行點(diǎn)擊并保持手勢(shì)，以從該菜單轉(zhuǎn)換到動(dòng)作菜單(其中動(dòng)作涉及與上下文相關(guān)的動(dòng)作，上下文與第一菜單相關(guān)聯(lián))。用戶可以在動(dòng)作菜單上執(zhí)行相同的手勢(shì)以返回到原始(第一)菜單。在這種情況下，與通常用于激活任何菜單的點(diǎn)擊并保持手勢(shì)相比，點(diǎn)擊并保持手勢(shì)涉及更長(zhǎng)的保持動(dòng)作。

作為另一新手勢(shì)，用戶可在菜單的菜單項(xiàng)上執(zhí)行豎直輕彈手勢(shì)。aim402將根據(jù)輕彈的方向?qū)⒃搫?dòng)作解釋為在上或下方向上快速前進(jìn)通過(guò)菜單項(xiàng)的請(qǐng)求。作為另一新手勢(shì)，用戶可對(duì)菜單中的菜單項(xiàng)執(zhí)行水平輕彈手勢(shì)，以前進(jìn)到列表中的下一菜單項(xiàng)。用戶可以做出多個(gè)這樣的水平輕彈特征，以連續(xù)地前進(jìn)通過(guò)列表，每次通過(guò)一個(gè)菜單項(xiàng)。

在第一或第二實(shí)現(xiàn)(對(duì)應(yīng)于圖11和圖27)中，用戶可以執(zhí)行手勢(shì)以將用戶設(shè)備106置于口袋模式。當(dāng)用戶設(shè)備106檢測(cè)到該手勢(shì)時(shí)，除了具有取消口袋模式的效果的手勢(shì)之外，其將忽略用戶可以做出的任何后續(xù)手勢(shì)。如名稱所暗示的，口袋模式在用戶希望將用戶設(shè)備106收藏在口袋或一些其他隔室(例如，錢包，包等)中的情況下是有用的。當(dāng)激活時(shí)，口袋模式防止用戶意外觸摸接觸和/或移動(dòng)被(不正確地)解釋為有意義的手勢(shì)。用于調(diào)用和撤銷模式的手勢(shì)可以對(duì)應(yīng)于例如指示滑動(dòng)手勢(shì)等。

c.2.聲音和觸覺提示

aim402可以通過(guò)利用聲音生成模塊414的使用來(lái)呈現(xiàn)各種聲音。aim402還可以使用觸覺提示生成模塊418來(lái)呈現(xiàn)各種觸覺反饋體驗(yàn)(例如，振動(dòng)提示)。aim402可以響應(yīng)于不同類型的觸發(fā)事件產(chǎn)生這樣的聲音和振動(dòng)提示。例如，響應(yīng)于狀態(tài)的某些改變、響應(yīng)于用戶采取的某些界面動(dòng)作(例如，菜單項(xiàng)之間的導(dǎo)航)、響應(yīng)于行程中的某些事件等，aim402可以呈現(xiàn)這些聲音和觸覺提示。

以下列表描述代表性聲音(和相關(guān)聯(lián)的觸覺提示)、以及調(diào)用它們的示例性情況。

加載/忙。當(dāng)si模塊302處于用戶不能與其交互的狀態(tài)時(shí)，aim402可以重復(fù)地播放加載/忙的聲音。該聲音向用戶確保si模塊302正在工作，但是它當(dāng)前正忙于執(zhí)行動(dòng)作。例如，該聲音可能類似于乒乓球上下彈起；反彈的頻率可以隨著處理接近完成而增加，并且可以以嘹亮的聲音結(jié)束。

到區(qū)域菜單的轉(zhuǎn)換。該聲音指示在專用次級(jí)工作空間區(qū)域之一中呈現(xiàn)的次級(jí)菜單(而不是在主頁(yè)工作空間中的當(dāng)前上下文菜單)已經(jīng)移動(dòng)到焦點(diǎn)，并且現(xiàn)在正在呈現(xiàn)。該聲音還可以傳達(dá)用戶已經(jīng)執(zhí)行相應(yīng)手勢(shì)的方向。例如，聲音可以類似于嗖嗖聲(swoosh)，如在相應(yīng)方向上的陣風(fēng)。此外，在一種情況下，aim402可以將該聲音表達(dá)為三維聲音。

從區(qū)域菜單的轉(zhuǎn)換。該聲音指示當(dāng)前上下文菜單(而不是在專用工作空間區(qū)域之一中呈現(xiàn)的次級(jí)菜單)已經(jīng)移回焦點(diǎn)并且現(xiàn)在正被呈現(xiàn)。該聲音還可以傳達(dá)用戶已經(jīng)執(zhí)行相應(yīng)手勢(shì)的方向。例如，聲音可能類似于“到區(qū)域菜單的轉(zhuǎn)換”的嗖嗖聲，但是以與“到區(qū)域菜單的轉(zhuǎn)換”的聲音相對(duì)的方向移動(dòng)。同樣，aim402可以可選地將該聲音表達(dá)為三維聲音。

菜單激活。該聲音表示菜單現(xiàn)在處于活動(dòng)狀態(tài)，并且可以被操縱。該聲音可以被描述為漸現(xiàn)(fade-in)聲音，淡入聲音以咬合型(snap-in-type)聲音終止。另外，aim402可以呈現(xiàn)短的振動(dòng)提示，短的振動(dòng)提示確認(rèn)用戶產(chǎn)生狀態(tài)變化的意圖。此外，aim402可以調(diào)用宣布例如“菜單釋放以解除(dismiss)”的語(yǔ)言提示。該提示通知用戶菜單是活動(dòng)的，并且用戶可以通過(guò)將他或她的手指從標(biāo)記項(xiàng)釋放來(lái)停用菜單。

菜單停用。該聲音表示菜單已經(jīng)被停用，因此在不重新激活菜單的情況下，菜單不再可以被操縱。該聲音可以被描述為逐漸消失型(fade-away-type)聲音。

不支持手勢(shì)。aim402可以播放指示手勢(shì)被識(shí)別但是手勢(shì)無(wú)效(例如，因?yàn)樗?dāng)前不被支持)的該短的聲音。該聲音可能類似于重?fù)袈?thud)，然后是溫和的雙調(diào)拒絕訪問型通知。aim402可以播放更具體的“不可以后退(cannotgoback)”的聲音，以指示已經(jīng)執(zhí)行了后退手勢(shì)，但是例如由于不可能進(jìn)一步向后，所以后退手勢(shì)不能被執(zhí)行。

菜單項(xiàng)改變選擇。該聲音表示用戶已經(jīng)移動(dòng)到菜單中的菜單項(xiàng)。該聲音的音調(diào)取決于菜單中菜單項(xiàng)的位置，例如，其中音調(diào)可以隨著用戶向上移動(dòng)列表而增加，并且隨著用戶向下移動(dòng)列表而減小。此外，在一個(gè)實(shí)現(xiàn)中，與菜單項(xiàng)的第二分組(與全局項(xiàng)相關(guān)聯(lián))相比，aim402可以在遍歷菜單項(xiàng)的第一分組(與上下文特定項(xiàng)相關(guān)聯(lián))時(shí)呈現(xiàn)不同的比例。在這兩種情況下，用戶可以感知類似于在鋼琴的鍵上運(yùn)行手產(chǎn)生的聲音；但是在這種情況下每個(gè)聲音可以比鋼琴音調(diào)更短，并且類似于氣泡的破裂。

此外，aim402可以在遍歷每個(gè)菜單項(xiàng)時(shí)呈現(xiàn)振動(dòng)提示。用戶可以體驗(yàn)類似于在高低不平的表面上運(yùn)行手的振動(dòng)提示，每個(gè)隆起表示不同的菜單項(xiàng)。用戶可以有意識(shí)地或潛意識(shí)地對(duì)隆起計(jì)數(shù)，以快速獲得他或她在列表中的位置的一般概念。此外，aim402可以在前進(jìn)到菜單項(xiàng)時(shí)呈現(xiàn)音頻消息，音頻消息通知用戶菜單項(xiàng)處于焦點(diǎn)中并且在用戶釋放手指時(shí)被選擇。例如，aim402可以通過(guò)在列表中給出其號(hào)碼并且然后宣布該項(xiàng)的描述來(lái)宣布菜單項(xiàng)。

確認(rèn)菜單選擇。該短聲音指示動(dòng)作何時(shí)導(dǎo)致狀態(tài)的改變。它可以被實(shí)現(xiàn)為短而精確的、末端具有嘹亮的樂段的聲音。例如，聲音可能類似于嗶嗶聲，隨后是朝向其末端漸弱的移動(dòng)摩擦聲音。aim402還可以執(zhí)行確認(rèn)選擇動(dòng)作的短振動(dòng)提示。此外，aim402可以播放確認(rèn)該項(xiàng)已經(jīng)被選擇的語(yǔ)言提示。

示出對(duì)話框菜單。該短聲音表示覆蓋菜單現(xiàn)在正在其他內(nèi)容的頂部呈現(xiàn)。該聲音可以類似于漸現(xiàn)的上升型聲音。aim402還可以提供進(jìn)一步確認(rèn)狀態(tài)的改變已經(jīng)發(fā)生的、伴隨的短振動(dòng)提示。此外，aim402可以播放說(shuō)明現(xiàn)在正在呈現(xiàn)覆蓋菜單的語(yǔ)言提示。

關(guān)閉對(duì)話框菜單。該短聲音指示對(duì)話框(例如，覆蓋菜單)已經(jīng)被關(guān)閉并且焦點(diǎn)已經(jīng)返回到先前的上下文。該聲音可以類似于漸弱的下降型聲音。

上下文切換。該短而明顯的聲音指示例如因?yàn)橛脩粢呀?jīng)前進(jìn)到新的行程步驟等，當(dāng)前上下文菜單的狀態(tài)已經(jīng)被轉(zhuǎn)換，以呈現(xiàn)新內(nèi)容。該聲音可以類似于嗶嗶聲，隨后是微妙的十字轉(zhuǎn)門噪聲。

上述聲音是代表性的，并且不是aim402可以提供的全套聲音的窮舉。例如，在用戶與aim402交互的同時(shí)，以下附加的聲音可以在用戶執(zhí)行某些動(dòng)作時(shí)被觸發(fā)：a)“去往動(dòng)作(to-actions)”的聲音，其指示動(dòng)作菜單基于對(duì)在先前菜單中的菜單項(xiàng)的選擇被呈現(xiàn)；b)“來(lái)自動(dòng)作(from-actions)”的聲音，其指示活動(dòng)菜單響應(yīng)于從動(dòng)作菜單的返回而被呈現(xiàn)；c)“動(dòng)作不可用”聲音，其指示已經(jīng)識(shí)別針對(duì)特定菜單呈現(xiàn)動(dòng)作的指令，但是不存在與特定菜單相關(guān)聯(lián)的動(dòng)作；d)“項(xiàng)可選擇”聲音，其指示在釋放用戶的手指時(shí)，已經(jīng)成功地標(biāo)記菜單項(xiàng)以供選擇；e)“項(xiàng)不可選擇”的聲音，其指示先前被標(biāo)記用于釋放時(shí)選擇的項(xiàng)現(xiàn)在已經(jīng)被成功地未選擇，并且因此將在用戶的手指釋放時(shí)不再被選擇；f)“項(xiàng)不可選擇”的聲音，其指示用于標(biāo)記用來(lái)選擇的項(xiàng)的手勢(shì)已經(jīng)被識(shí)別，但是手勢(shì)不適用于所考慮的項(xiàng)；g)“選擇但不改變”聲音，其指示已經(jīng)進(jìn)行了選擇，但是焦點(diǎn)沒有改變是適當(dāng)?shù)?；h)“后退成功”聲音，其指示后退手勢(shì)已被識(shí)別并且后退動(dòng)作已被調(diào)用；i)“到標(biāo)簽的切換”的聲音，其指示“到標(biāo)簽的切換”手勢(shì)已經(jīng)被成功地識(shí)別并且標(biāo)簽菜單現(xiàn)在被呈現(xiàn)；j)“來(lái)自標(biāo)簽的切換”的聲音，以指示“來(lái)自標(biāo)簽的切換”的聲音已經(jīng)被識(shí)別，并且已經(jīng)恢復(fù)在切換到標(biāo)簽菜單之前呈現(xiàn)的先前菜單；k)“開始收聽”聲音，其指示si模塊302正在收聽用戶的語(yǔ)音命令；l)“取消收聽”聲音，其指示語(yǔ)音識(shí)別模式現(xiàn)在已經(jīng)被取消；m)“完成處理”聲音，其指示應(yīng)用程序已經(jīng)完成了對(duì)語(yǔ)音輸入的接收和處理；n)“動(dòng)作采取”聲音，其指示已經(jīng)采取動(dòng)作作為基于語(yǔ)音的輸入的結(jié)果，等。此外，aim402還可以呈現(xiàn)將伴隨上述任何聲音的任何類型的觸覺提示。

可以在用戶與耳機(jī)108交互的過(guò)程中發(fā)生的某些事件上觸發(fā)以下示例性聲音：a)“按鈕點(diǎn)擊”聲音(在執(zhí)行動(dòng)作之前播放)，以指示在耳機(jī)按鈕上點(diǎn)擊手勢(shì)已被識(shí)別；b)“按鈕按壓”聲音(在執(zhí)行任何動(dòng)作之前播放)，以指示在耳機(jī)按鈕上已識(shí)別了按壓手勢(shì)；c)“按鈕保持”的聲音(在執(zhí)行動(dòng)作之前播放)，其指示在耳機(jī)按鈕上已識(shí)別保持手勢(shì)；d)“取消動(dòng)作”聲音，其指示從耳機(jī)按鈕調(diào)用的任何先前動(dòng)作已被取消(例如，針對(duì)停止宣布作為定向動(dòng)作的一部分的境況ioi的請(qǐng)求等)。此外，aim402還可以呈現(xiàn)將伴隨上述任何聲音的任何類型的觸覺提示。

在行程過(guò)程期間，以下示例性聲音可以在發(fā)生某些事件時(shí)被觸發(fā)：a)“開始行程”聲音，以指示行程已經(jīng)開始并且導(dǎo)航正在進(jìn)行中；b)“模式切換”聲音，其指示用戶已經(jīng)切換他或她的交通模式(例如，從步行到火車等)；c)“節(jié)拍”聲音，以有向地指示用戶嘗試獲得作為導(dǎo)航的一部分的、沿行程的下一點(diǎn)而；d)“警告”聲音，以指示警告信息將要被大聲的讀出、播放，以提高用戶的意識(shí)并給予用戶調(diào)入該信息的時(shí)間；e)“航點(diǎn)到達(dá)”聲音，以指示用戶已經(jīng)到達(dá)行程航點(diǎn)并且導(dǎo)航信息將要被大聲讀出、播放，以提高用戶的意識(shí)并給予用戶調(diào)入該信息的時(shí)間；f)“接近航點(diǎn)”聲音，以指示用戶正在接近航點(diǎn)并且導(dǎo)航信息將要被讀出、播放，以提高用戶的意識(shí)并給予用戶調(diào)入該信息的時(shí)間；g)“行程更新”聲音，其被播放以指示關(guān)于當(dāng)前行程的改變的信息將被大聲讀出、播放，以提高用戶的意識(shí)并給予用戶調(diào)入該信息的時(shí)間；h)“境況信息”聲音，其指示境況信息將要被讀出；i)“進(jìn)一步信息”聲音，其指示附加信息將要被大聲讀出，等。此外，aim402還可以呈現(xiàn)將伴隨上述任何聲音的任何類型的觸覺提示。

一般來(lái)說(shuō)，上述聲音和觸覺提示進(jìn)一步促進(jìn)當(dāng)用戶與他或她的環(huán)境交互時(shí)向用戶提供有用信息的目標(biāo)，而不會(huì)不適當(dāng)?shù)胤稚⒂脩舻淖⒁饬?。例如，用戶在?dǎo)航菜單時(shí)聽到的聲音和觸覺提示允許用戶在不將他或她的注意力從環(huán)境轉(zhuǎn)移的情況下，與菜單交互。

c.3.語(yǔ)音識(shí)別模式

系統(tǒng)102支持語(yǔ)音識(shí)別模式，其中用戶可以例如除了與耳機(jī)108和/或用戶設(shè)備106手動(dòng)交互之外，還經(jīng)由口頭指令向系統(tǒng)102發(fā)出命令。或者，系統(tǒng)102可以使用語(yǔ)音識(shí)別模式作為用戶與系統(tǒng)102交互的唯一模式。為了執(zhí)行用戶語(yǔ)音命令的識(shí)別，系統(tǒng)102可以依賴于預(yù)先存在的語(yǔ)音識(shí)別技術(shù)(例如，由microsoft公司提供的cortana系統(tǒng))、和/或本地語(yǔ)音識(shí)別技術(shù)。圖3示出了作為語(yǔ)音處理引擎328的語(yǔ)音識(shí)別技術(shù)。

如上所述，用戶可以經(jīng)由適當(dāng)?shù)拿顏?lái)調(diào)用語(yǔ)音識(shí)別模式，適當(dāng)?shù)拿钔ㄟ^(guò)耳機(jī)108和/或用戶設(shè)備106的菜單發(fā)出。在其他情況下，用戶設(shè)備106可能已經(jīng)與作為其默認(rèn)操作方式的一部分(而不是在執(zhí)行導(dǎo)航的上下文中)的語(yǔ)音識(shí)別系統(tǒng)(例如，cortana)交互。這里，用戶可以在語(yǔ)音識(shí)別模式下通過(guò)在導(dǎo)航應(yīng)用的名稱之后發(fā)出口頭命令(例如，通過(guò)說(shuō)出命令“soundscape，開始探索模式”)來(lái)與si模塊302交互。如果用戶已經(jīng)在導(dǎo)航應(yīng)用的上下文中激活了語(yǔ)音識(shí)別模式，則用戶可以僅僅說(shuō)“開始探索模式”等。

以下列表標(biāo)識(shí)可以在語(yǔ)音模式下發(fā)起的示例性操作：a)用戶可以打開現(xiàn)有的(保存的)行程；b)用戶可以激活或重新激活定向模式；c)用戶可以激活或停用探索模式；d)用戶可以請(qǐng)求關(guān)于特定主題的更多信息；e)用戶可以請(qǐng)求停止所有(或一些)有聲消息；f)用戶可以進(jìn)行各種參數(shù)設(shè)置；g)用戶可以保存旅行信息，等。

示例性命令可以對(duì)應(yīng)于：a)“創(chuàng)建到目的地[x]的路線，在時(shí)間[y]處離開，僅使用公共交通[z]”；“找到最近的咖啡店”；c)“將我?guī)У交疖囌尽?；d)“什么時(shí)間？e)“增大音量”；f)“從感興趣項(xiàng)中刪除餐館”等。

語(yǔ)音處理引擎328有時(shí)可能遇到其理解用戶的命令、但其確定命令省略一個(gè)或多個(gè)必要信息項(xiàng)的情況。作為響應(yīng)，語(yǔ)音處理引擎328可以請(qǐng)求用戶提供缺失的信息項(xiàng)。

在其他情況下，語(yǔ)音處理引擎328可能遇到其不理解用戶的命令的情況。在這些情況下，語(yǔ)音處理引擎328可以要求用戶重述該命令。如果不成功，則語(yǔ)音處理引擎328可以向用戶呈現(xiàn)對(duì)用戶的話語(yǔ)所提出的解釋(例如，基于對(duì)用戶命令中的關(guān)鍵字的檢測(cè))，然后詢問用戶解釋中的任一個(gè)是否正確。如果不成功，則語(yǔ)音處理引擎328可以邀請(qǐng)用戶經(jīng)由耳機(jī)108和/或用戶設(shè)備106輸入等效命令。

圖38示出了總結(jié)圖4和圖5的aim402的一種操作方式的過(guò)程3802。在框3804中，aim402檢測(cè)由用戶執(zhí)行的、與激活相關(guān)聯(lián)的工作空間中的菜單的指令相對(duì)應(yīng)的第一手勢(shì)。相關(guān)聯(lián)的工作空間對(duì)應(yīng)于多個(gè)工作空間中的一個(gè)，并且相關(guān)聯(lián)的工作空間具有相對(duì)于多個(gè)工作空間中的其他工作空間的確定的空間關(guān)系。例如，第一手勢(shì)可以對(duì)應(yīng)于參考圖24描述的上述點(diǎn)擊并保持手勢(shì)。在框3206中，aim402響應(yīng)于第一手勢(shì)激活菜單。

在框3808中，aim402在菜單中的菜單項(xiàng)集合之間檢測(cè)由用戶執(zhí)行的、對(duì)應(yīng)于前進(jìn)到特定菜單項(xiàng)的指令的第二手勢(shì)。例如，第二手勢(shì)可以對(duì)應(yīng)于上述(例如，參考圖25和圖31)任何類型的滾動(dòng)或平移手勢(shì)。在框3810中，aim402響應(yīng)于第二手勢(shì)前進(jìn)到特定菜單項(xiàng)。

在框3812中，aim402檢測(cè)由用戶執(zhí)行的、與選擇特定菜單項(xiàng)的指令相對(duì)應(yīng)的第三手勢(shì)。例如，第三手勢(shì)可以對(duì)應(yīng)于圖25所示的釋放手勢(shì)的類型或者圖32所示的“拉到側(cè)面”手勢(shì)的類型。在框3814中，aim402響應(yīng)于第三手勢(shì)執(zhí)行操作。操作可以對(duì)應(yīng)于動(dòng)作的調(diào)用、參數(shù)的設(shè)置、信息的呈現(xiàn)等。

總之，上述特征允許用戶安全和有效地移動(dòng)通過(guò)他或她的環(huán)境。例如，當(dāng)用戶在環(huán)境中移動(dòng)時(shí)，工作空間提供用戶友好的方式來(lái)向用戶展現(xiàn)最相關(guān)的信息。此外，一些特征允許用戶與用戶界面演示交互，而不將視覺注意力引導(dǎo)到該演示，和/或不必執(zhí)行將用戶的注意力從與環(huán)境交互的物理任務(wù)轉(zhuǎn)移的麻煩和復(fù)雜的手勢(shì)。例如，在不查看用戶界面演示的情況下，用戶可以使用單個(gè)手執(zhí)行一些手勢(shì)。d.使用聲音促進(jìn)用戶與其環(huán)境之間的交互

如在開端部分a中所描述的，(圖4的)聲音生成模塊414可以生成非三維(非空間)聲音和三維(空間)聲音。三維聲音是即使其在物理空間中沒有實(shí)際起源，但是用戶感知為從物理空間中的至少一個(gè)位置發(fā)出的聲音。具體地，圖39示出了使用三維音頻信息來(lái)創(chuàng)建對(duì)從空間內(nèi)的特定位置發(fā)出的聲音的感知。圖40示出了使用三維音頻信息來(lái)創(chuàng)建對(duì)跨越空間內(nèi)的一系列位置移動(dòng)的聲音的感知。

在一個(gè)實(shí)現(xiàn)中，聲音生成模塊414可以使用例如在數(shù)據(jù)存儲(chǔ)庫(kù)416中提供的頭部相關(guān)的傳遞函數(shù)(hrtf)的庫(kù)來(lái)產(chǎn)生三維聲音。hrtf對(duì)人臉的解剖特征進(jìn)行建模，人臉的解剖特征具有與人在其環(huán)境中感知聲源的方式有關(guān)的個(gè)人特征。為了產(chǎn)生三維聲音，聲音生成模塊414可以選擇適合于特定人以及空間中的特定聲音位置(相對(duì)于人的位置)的hrtf。然后，聲音生成模塊414可以應(yīng)用該hrtf來(lái)修改非三維聲音(例如，平坦的或非空間聲音)，以例如通過(guò)將非空間聲音與所選擇的hrtf進(jìn)行卷積來(lái)產(chǎn)生三維聲音。

更具體地，在一種情況下，聲音生成模塊414可以接收輸入信息，該輸入信息描述：(a)待播放的非三維聲音；(b)空間中聲音被感知為源自其的位置；以及(c)(可選地)用戶的身份。輸入信息可以通過(guò)提供標(biāo)識(shí)數(shù)據(jù)存儲(chǔ)庫(kù)416中的音頻信息和/或可以提供音頻信息本身的參考信息來(lái)描述非三維聲音。例如，非三維聲音可以對(duì)應(yīng)于指示音和/或有聲消息。然后，對(duì)于用戶的每個(gè)耳朵，聲音生成模塊414可以：(a)針對(duì)考慮中的特定用戶，標(biāo)識(shí)與位置相關(guān)聯(lián)的hrtf；和(b)將hrtf應(yīng)用于非三維聲音，以產(chǎn)生三維聲音。提供給聲音生成模塊414的輸入信息可以源自下面描述的si模塊302的其他模塊中的一個(gè)或多個(gè)(例如，對(duì)應(yīng)于路徑引導(dǎo)模塊420、相關(guān)信息確定(rid)模塊426、探索模塊430、定向模塊432等)。

聲音生成模塊414關(guān)于在數(shù)據(jù)存儲(chǔ)庫(kù)416中提供的hrtf庫(kù)來(lái)執(zhí)行上述功能。在一個(gè)實(shí)現(xiàn)中，si模塊302可以在數(shù)據(jù)存儲(chǔ)庫(kù)416中存儲(chǔ)已經(jīng)為特定個(gè)體準(zhǔn)備的(并因此考慮這些人的特定解剖特征的)hrtf。例如，針對(duì)每個(gè)人，可以通過(guò)測(cè)量每個(gè)人的面部物理特征來(lái)獲得hrtf。該任務(wù)又可以以手動(dòng)方式(例如，通過(guò)使用物理距離測(cè)量工具)、通過(guò)使用深度相機(jī)(例如，通過(guò)使用由華盛頓州雷德蒙德的微軟公司提供的kinect系統(tǒng))等來(lái)執(zhí)行。更具體地，針對(duì)特定人生成的hrtf集合包括針對(duì)空間中的聲音的每個(gè)位置(相對(duì)于用戶的頭部的位置)以及針對(duì)用戶的兩只耳朵中的每一個(gè)的hrtf。不同的實(shí)現(xiàn)可以委托不同的個(gè)人(例如，聲學(xué)工程師、系統(tǒng)管理員、最終用戶等)來(lái)創(chuàng)建這些hrtf。

在第二實(shí)現(xiàn)中，聲音生成模塊414可以存儲(chǔ)hrtf針對(duì)不同的相應(yīng)人群執(zhí)行良好的單獨(dú)的組。系統(tǒng)102然后可以邀請(qǐng)最終用戶選擇被感知為產(chǎn)生最真實(shí)的三維聲音的hrtf的集合。例如，用戶可以通過(guò)請(qǐng)求系統(tǒng)102使用不同的hrtf產(chǎn)生相同的三維聲音(一個(gè)或多個(gè))來(lái)在設(shè)置階段做出該選擇；用戶可以選擇產(chǎn)生最期望的結(jié)果的聲音(一個(gè)或多個(gè))(和對(duì)應(yīng)的hrtf)。在第三實(shí)現(xiàn)中，聲音生成模塊414可以存儲(chǔ)已經(jīng)被證明適合于大量用戶的hrtf的單個(gè)集合，即使這些hrtf沒有針對(duì)任何特定的人或人群定制。還可以使用其他技術(shù)來(lái)生成和/或選擇合適的hrtf。

在一個(gè)實(shí)現(xiàn)中，聲音生成模塊414生成傳達(dá)寬帶音頻信息的三維聲音。寬帶音頻信息是包括廣泛分布的音頻頻率(例如，在一個(gè)實(shí)現(xiàn)中，在300hz到3.4khz的范圍中)的音頻信息。此外，各個(gè)三維聲音本質(zhì)上是表達(dá)性的，以進(jìn)一步強(qiáng)調(diào)它們的方向性。例如，一個(gè)這樣的三維聲音可以類似于從左到右或從左到右吹來(lái)的陣風(fēng)。音頻信息的其他屬性(除了其基于hrtf的方向性之外)(例如，通過(guò)提供音量、音調(diào)、混響、循環(huán)頻率(用于重復(fù)聲音)等的變化等)可以有助于其表現(xiàn)性。所有這些因素有助于對(duì)聲音源自物理空間中的特定位置(一個(gè)或多個(gè))的真實(shí)感知。

還如部分a中所述，不同的模塊可以利用三維聲音來(lái)用于不同的目的和不同的操作模式。這些模塊包括路徑引導(dǎo)模塊420、rid模塊426、探索模塊420、定向模塊432等。為了簡(jiǎn)化描述，每個(gè)這樣的模塊有時(shí)被描述為產(chǎn)生三維聲音。實(shí)際上，每個(gè)模塊通過(guò)生成上述輸入信息來(lái)產(chǎn)生聲音，并將輸入信息饋送給聲音生成模塊414；聲音生成模塊414然后使用輸入信息來(lái)產(chǎn)生實(shí)際的三維聲音。

參考圖41，首先考慮路徑引導(dǎo)模塊420的操作。如已經(jīng)描述的，路徑引導(dǎo)模塊420確定用戶前進(jìn)的當(dāng)前方向。路徑引導(dǎo)模塊420可以基于由系統(tǒng)的定向確定機(jī)構(gòu)(一個(gè)或多個(gè))、運(yùn)動(dòng)確定機(jī)構(gòu)(一個(gè)或多個(gè))、位置確定機(jī)構(gòu)(一個(gè)或多個(gè))等提供的任何信息進(jìn)行該評(píng)估。在一種情況下，例如，路徑引導(dǎo)模塊420可以確定用戶的頭部被指向的方向(例如，基于耳機(jī)108中的定向確定機(jī)構(gòu))，然后使用該信息作為用戶被推定為前進(jìn)的方向的代理(proxy)。備選地或附加地，路徑引導(dǎo)模塊420可以確定用戶最近經(jīng)過(guò)的一系列位置。路徑引導(dǎo)模塊420可以使用該信息來(lái)計(jì)劃用戶看起來(lái)前進(jìn)的方向。備選地或附加地，路徑引導(dǎo)模塊420可以確定用戶有意指向他或她的用戶設(shè)備106的方向。

路徑引導(dǎo)模塊420還可以確定用戶的期望方向。路徑引導(dǎo)模塊420可以至少基于用戶的當(dāng)前位置和下一航點(diǎn)的位置來(lái)確定期望的方向。路徑引導(dǎo)模塊420還可以在確定期望方向時(shí)考慮地圖信息。例如，地圖信息可以以各種方式(例如，通過(guò)道路的線路、任何類型的障礙物等)顯示用戶的路徑被限制。路徑引導(dǎo)模塊420可以使用所有這些信息來(lái)確定用戶應(yīng)當(dāng)前進(jìn)的方向，以最終將用戶放置到可能以最有效的方式達(dá)到下一個(gè)航點(diǎn)的線路上。

基于實(shí)際方向和期望方向，路徑引導(dǎo)模塊420然后可以確定用戶可能偏離期望方向的程度，例如以提供偏離信息。路徑引導(dǎo)模塊420然后可以使用偏離信息(例如，通過(guò)將偏離信息作為輸入信息的一部分饋送到聲音生成模塊414)來(lái)生成三維聲音，該三維聲音將具有將用戶轉(zhuǎn)向期望方向的效果。

為了闡明以上描述，考慮圖41的圖示。這里，用戶位于當(dāng)前位置4102處。下一航點(diǎn)(w)位于目標(biāo)位置4104處。用戶的當(dāng)前(實(shí)際)方向被表示為方向4106。用戶期望的方向4108對(duì)應(yīng)于將用戶的當(dāng)前位置4102與目標(biāo)位置4104連接的向量，但是如上所述，這不需要在所有情況(例如，由于阻塞從當(dāng)前位置4102到目標(biāo)位置4104的直接路線的障礙)下都是這種情況。偏離信息可以對(duì)應(yīng)于當(dāng)前方向4106和期望方向4108之間的角度差。

響應(yīng)于上述確定，路徑引導(dǎo)模塊420可以(使用聲音生成模塊414)產(chǎn)生看起來(lái)源自位置4110的三維聲音。換言之，用戶當(dāng)前朝向期望方向4108的左側(cè)。用戶將聽到向右發(fā)出的方向提示。用戶將該提示感知為促使用戶向右移動(dòng)以校正他或她的路徑的方向。如果用戶開始以離期望方向4108的右側(cè)太遠(yuǎn)的方向移動(dòng)，則路徑引導(dǎo)模塊420可以在用戶左側(cè)產(chǎn)生(使用聲音生成模塊414)三維聲音。用戶可以繼續(xù)，以基本上跟隨或追求感知的三維聲音的方向。當(dāng)用戶朝正確的方向前進(jìn)時(shí)，三維聲音將被感知為直接在用戶前方發(fā)出；用戶然后直接朝向該聲音。

如上所述，路徑引導(dǎo)模塊420可以使用聲音生成模塊414來(lái)創(chuàng)建本質(zhì)上周期性的三維聲音，例如，對(duì)應(yīng)于節(jié)拍聲。例如，節(jié)拍聲可以對(duì)應(yīng)于重復(fù)的單音調(diào)或雙音調(diào)或n音調(diào)剪輯聲音等。附加地或備選地，三維聲音可以看起來(lái)為以用戶被促使移動(dòng)的方向(例如，從左到右或從右到左等)移動(dòng)。

此外，路徑引導(dǎo)模塊420可以向聲音生成模塊414提供輸入信息，聲音生成模塊414具有根據(jù)用戶的實(shí)際當(dāng)前方向4106偏離期望方向4108的程度來(lái)改變節(jié)拍聲音的一個(gè)或多個(gè)音頻特性的效果。例如，路徑引導(dǎo)模塊420(結(jié)合聲音生成模塊414)可以在用戶與理想路徑的當(dāng)前偏離在第一閾值內(nèi)時(shí)，產(chǎn)生具有第一音調(diào)和/或第一循環(huán)頻率的節(jié)拍聲。當(dāng)用戶的當(dāng)前偏離在第一閾值之外但在第二閾值內(nèi)時(shí)，路徑引導(dǎo)模塊420(結(jié)合聲音生成模塊414)可以產(chǎn)生具有第二音調(diào)和/或第二循環(huán)頻率的節(jié)拍聲，等。路徑引導(dǎo)模塊420可以將用戶的偏離分類為任何數(shù)目的這樣的偏離類別，每個(gè)偏離類別與特定節(jié)拍聲音相關(guān)聯(lián)。

在圖41的特定示例中，路徑引導(dǎo)模塊420限定了與期望方向4108的偏離的第一范圍4112和與期望方向4108的偏離的第二范圍4114，第二范圍4114大于第一范圍4112。當(dāng)前方向4106落入第二范圍4114內(nèi)，因此路徑引導(dǎo)模塊420(結(jié)合聲音生成模塊414)將生成適合于該范圍4114的節(jié)拍聲。

在實(shí)際實(shí)踐中，路徑引導(dǎo)模塊420在很多情況下是有用的，但是在兩種情況下可以被認(rèn)為是最有用的。在第一種情況下，在可用選項(xiàng)的固定集合中，用戶可以到達(dá)他或她預(yù)期在特定方向上轉(zhuǎn)向的交叉點(diǎn)?；蛘哂脩艨梢缘竭_(dá)道路中其期望選擇可能路徑之一的分叉。路徑引導(dǎo)模塊420(結(jié)合聲音生成模塊414)可以通過(guò)播放用戶感知為解決他或她的導(dǎo)航選擇的三維節(jié)拍聲音來(lái)向用戶提供明確的引導(dǎo)。例如，當(dāng)站在交叉點(diǎn)時(shí)，用戶將聽到引導(dǎo)他或她向左或向右(例如)的節(jié)拍聲音。當(dāng)站在路上的分叉處時(shí)，用戶將感知將他或她沿道路中的正確分叉引導(dǎo)的節(jié)拍聲音。

在第二種情景中，用戶正在跨越更多的開放空間移動(dòng)，在該空間中，他或她被給予更大的活動(dòng)范圍以逐漸偏離線路(與用戶沿明確限定的道路或路徑行走的情況相比)。這里，路徑引導(dǎo)模塊420可以以圖41所示的方式給予用戶增量的微移，以使用戶保持正確的航向。

在另一使用場(chǎng)景中，相關(guān)信息確定(rid)模塊426可以在沿用戶路徑的每個(gè)點(diǎn)處以及針對(duì)每個(gè)對(duì)應(yīng)的當(dāng)前境況，確定相關(guān)感興趣項(xiàng)(ioi)(例如，境況ioi)的位置。然后，rid模塊426可以使用聲音生成模塊414來(lái)為每個(gè)ioi生成三維聲音。用戶將感知到該聲音源自物理空間中對(duì)應(yīng)物理實(shí)體的實(shí)際位置，即，假定ioi對(duì)應(yīng)于空間中具有離散物理位置的物理實(shí)體。例如，rid模塊426(結(jié)合聲音生成模塊414)可以為在用戶附近具有對(duì)應(yīng)物理實(shí)體的特定ioi生成以下音頻信息：[3d聲音]，“jane的咖啡店，餐館，向前30英尺”。換言之，在這種情況下，音頻信息包括三維聲音，之后緊接著是有聲消息。用戶將三維初步聲音感知為從jane的咖啡店的物理位置發(fā)出。有聲消息也可以呈現(xiàn)為三維聲音(但不一定是)?？蛇x地，有聲消息可以備選地包括附加(或更少)的信息字段，或者可以完全省略。

在其他情況下，ioi可以在空間中具有一般來(lái)源，而不是精確位置。例如，ioi可以對(duì)應(yīng)于與一般區(qū)域相關(guān)聯(lián)的廣告，該一般區(qū)域又對(duì)應(yīng)于公共汽車站。rid模塊426(結(jié)合聲音生成模塊414)可以針對(duì)該ioi生成用戶感知為從公共汽車站的一般區(qū)域或從該區(qū)域的中心等發(fā)出的聲音。該類型的ioi可以被認(rèn)為是虛擬的，因?yàn)槠洳恢荚诿枋龉财囌荆亲鳛楣财囌镜囊纛l屬性操作。

在另一實(shí)現(xiàn)中，音頻信息還可以包括規(guī)定ioi相對(duì)于用戶的方向位置的語(yǔ)言提示。該方向提示可以被概況地表示(例如，通過(guò)規(guī)定jane的咖啡店在用戶前方且向右)，或者更詳細(xì)地表示(例如，通過(guò)規(guī)定jane的咖啡店相對(duì)于用戶的當(dāng)前方向位于10點(diǎn)鐘)。附加地或備選地，rid模塊426(結(jié)合聲音生成模塊414)可以例如通過(guò)針對(duì)餐館播放第一類型的聲音和針對(duì)洗手間設(shè)施播放第二類型的聲音等為不同的相應(yīng)ioi類別提供不同的三維聲音。

例如，在探索模式和定向模式下，探索模塊430和定向模塊432分別利用rid模塊426的上述行為。如部分a中所述，用戶可以例如經(jīng)由與耳機(jī)108和/或用戶設(shè)備106的手動(dòng)交互和/或經(jīng)由語(yǔ)音指令來(lái)輸入明確地激活和停用這些模式的命令。

更具體地，圖42示出了以探索模式操作的探索模塊430的示例性行為。在該模式下，一旦探索模式被用戶激活，則探索模塊430確定用戶的當(dāng)前位置和用戶的當(dāng)前感興趣焦點(diǎn)。例如，探索模塊430可以使用耳機(jī)108和/或用戶設(shè)備106上的任何位置確定機(jī)構(gòu)(一個(gè)或多個(gè))來(lái)確定(例如，使用gps傳感器等)用戶在當(dāng)前時(shí)間的位置。探索模塊430可以使用耳機(jī)108和/或用戶設(shè)備106上的任何定向機(jī)構(gòu)(一個(gè)或多個(gè))來(lái)確定用戶看起來(lái)將其身體定向的方向。例如，耳機(jī)108上的定向機(jī)構(gòu)(一個(gè)或多個(gè))可以確定用戶頭部指向的方向，用戶頭部指向的方向可以用作用戶感興趣的焦點(diǎn)的代理指示。備選地或附加地，系統(tǒng)102可以指示用戶將用戶設(shè)備106指向與他或她的感興趣焦點(diǎn)匹配的方向；在這種情況下，用戶設(shè)備106的定向機(jī)構(gòu)(一個(gè)或多個(gè))將正確地反映用戶期望的感興趣的焦點(diǎn)。還可以使用其他技術(shù)來(lái)評(píng)估用戶的推定的感興趣焦點(diǎn)。

接下來(lái)，探索模塊430定義感興趣的搜索空間。在一種情況下，探索模塊430可以將搜索空間定義為以用戶的推定的感興趣焦點(diǎn)為中心的任何形狀的體積。例如，體積可以對(duì)應(yīng)于源自用戶的當(dāng)前位置的并且被用戶的假定的感興趣焦點(diǎn)二等分的楔形體積。系統(tǒng)定義和/或用戶定義的參數(shù)設(shè)置可以規(guī)定體積的深度、體積的角度跨度、體積的寬度等。

接下來(lái)，探索模塊430可以使用rid模塊416來(lái)針對(duì)感興趣的ioi(例如但不限于境況ioi)的存在搜索該體積。rid模塊416可以通過(guò)咨詢提供關(guān)于ioi的信息的一個(gè)或多個(gè)數(shù)據(jù)存儲(chǔ)庫(kù)連同定義用戶的特定興趣的任何參數(shù)設(shè)置來(lái)執(zhí)行該任務(wù)(例如，用戶可能已經(jīng)通過(guò)排除咖啡店信息來(lái)指示他或她默認(rèn)地對(duì)餐廳信息感興趣)。在一些情況下，ioi可以與搜索空間相關(guān)聯(lián)，因?yàn)閕oi具有物理上位于搜索空間中的對(duì)應(yīng)的物理實(shí)體。在其他情況下，由于以任何其他方式建立的某種其他關(guān)系，ioi可以與搜索空間相關(guān)聯(lián)。例如，管理員(或最終用戶自己)可以預(yù)先手動(dòng)地規(guī)定地鐵站的出口附近的區(qū)域?qū)⑴c天氣報(bào)告ioi相關(guān)聯(lián)，等。

最后，探索模塊430可以生成宣布已經(jīng)標(biāo)識(shí)的ioi的存在的三維音頻消息。探索模塊430可以通過(guò)利用聲音生成模塊414以上述任何方式生成這些消息。例如，如上所述，音頻信息可以對(duì)應(yīng)于簡(jiǎn)介性聲音，隨后是宣布ioi的有聲消息。探索模塊430(結(jié)合聲音生成模塊414)可以按順序(例如，以跨越體積的順時(shí)針順序或逆時(shí)針順序，和/或通過(guò)增加或減小相對(duì)于用戶的位置的距離等)讀取這些ioi。

圖42闡明了上述操作的方式。這里，用戶當(dāng)前位于當(dāng)前位置4202處。用戶的當(dāng)前注意力方向由虛線4204指示。搜索體積由輪廓4206限定，輪廓4206被用戶的注意力方向二等分。該搜索體積限定角度寬度(angularswath)，并且還可具有規(guī)定的高度(未示出)(例如，30英尺)?？傮w來(lái)說(shuō)，搜索體積類似于楔形。探索模塊430使用rid模塊426來(lái)在搜索體積中找到三個(gè)境況ioi。探索模塊430(結(jié)合聲音生成模塊414)通過(guò)看起來(lái)源自與境況ioi相關(guān)聯(lián)的物理實(shí)體的位置的三維聲音來(lái)宣布這些境況ioi。

總的來(lái)說(shuō)，用戶可以通過(guò)旋轉(zhuǎn)其注意力方向(圍繞其當(dāng)前位置旋轉(zhuǎn))分階段地與探索模塊430交互。在每個(gè)階段，在移動(dòng)到新的注意力焦點(diǎn)之前，用戶可以等待聽到ioi，該ioi位于由用戶當(dāng)前推定的注意力焦點(diǎn)限定的搜索體積內(nèi)(或者以其他方式與該搜索體積相關(guān)聯(lián))。例如，在一種情況下，由用戶的感興趣的方向包圍的寬度(swath)是45度。用戶可以通過(guò)向東北、東南、西南和西北轉(zhuǎn)向，連續(xù)地對(duì)其周圍的ioi進(jìn)行完整的盤點(diǎn)。在每個(gè)定向處，用戶將聽到包圍在感興趣的象限中的ioi。

根據(jù)另一示例性特征，用戶可以在聽到其宣布之后以任何方式選擇ioi。例如，用戶可以在聽到關(guān)于jane的咖啡店之后發(fā)出語(yǔ)音指令“帶我去”或“更多信息”。或者，用戶可以通過(guò)將他或她的注意力焦點(diǎn)轉(zhuǎn)向ioi的感知位置(例如，基于宣布該ioi的、感知到的三維聲音的位置)來(lái)選擇ioi。用戶可以例如通過(guò)將他的頭部或身體或用戶設(shè)備106直接轉(zhuǎn)向ioi的感知位置來(lái)執(zhí)行該任務(wù)?；蛘?，用戶可以通過(guò)由用戶設(shè)備106提供的適當(dāng)菜單來(lái)選擇ioi?；蛘?，用戶可以在聽到ioi被宣布之后，經(jīng)由耳機(jī)按鈕做出適當(dāng)?shù)倪x擇，等。響應(yīng)于以任何方式作出的ioi的選擇，si模塊302可以呈現(xiàn)關(guān)于ioi的附加信息，或提供關(guān)于如何到達(dá)ioi的指令，等。si模塊302還可以通過(guò)增加宣布所選擇的ioi的存在的三維聲音的音量或者通過(guò)以其他方式使該聲音在用戶體驗(yàn)中更突出來(lái)確認(rèn)用戶的選擇。

最后，定向模塊432通過(guò)以上述方式確定用戶的當(dāng)前位置來(lái)操作。然后它定義用戶周圍的三維體積。例如，三維體積可以對(duì)應(yīng)于圓柱體或球體或者盒體或矩形(例如)，其中用戶位于體積的中心。定向模塊432然后使用rid模塊426來(lái)標(biāo)識(shí)存在于體積內(nèi)的ioi集合(如果存在)。定向模塊432然后使用聲音生成模塊414以任何順序讀出ioi。

例如，在圖43中，定向模塊432限定具有圓柱體形狀的三維體積，用戶位于其當(dāng)前位置4302的中心處。定向模塊432使用rid模塊426來(lái)標(biāo)識(shí)位于圓柱體內(nèi)的、或者以其他方式與由圓柱體限定的空間相關(guān)聯(lián)的ioi。然后，定向模塊432以任何順序讀出ioi。例如，考慮訪問具有三層樓的商場(chǎng)的用戶。假定用戶站在商場(chǎng)一樓的露天中庭。定向模塊432可以讀取它在逐層(例如，樓層z1、樓層z2、然后樓層z3)的基礎(chǔ)上找到的ioi。定向模塊432可以以任何順序(例如，順時(shí)針順序、逆時(shí)針順序等)宣布每個(gè)樓層上的ioi。然后，用戶可以可選地以上述任何方式選擇任何ioi。

作為結(jié)束評(píng)論，上述解釋闡述了使用三維聲音來(lái)宣布諸如餐館等的境況ioi的存在。但是si模塊302可以使用三維聲音來(lái)宣布存在任何類型的ioi，例如，警告ioi和行程ioi。例如，si模塊302可以生成關(guān)于道路中坑洼的警告，坑洼看起來(lái)源于坑洼的位置。作為另一闡明，si模塊302還可以以平面或非空間方式遞送很多類型的ioi。例如，si模塊302可以產(chǎn)生不具有方向性的另一警告ioi，以整體地通知用戶其當(dāng)前正在行進(jìn)的道路由于下雨而打滑。

此外，以上描述基于使用用戶感知為源自物理空間中的位置的聲音。附加地或備選地，觸覺提示生成模塊418可以生成傳送方向信息的振動(dòng)提示。例如，耳機(jī)108可以包括兩個(gè)或更多個(gè)振動(dòng)機(jī)構(gòu)，例如在其框架602的左側(cè)上的第一振動(dòng)機(jī)構(gòu)和在其框架602的右側(cè)上的第二振動(dòng)機(jī)構(gòu)。觸覺提示生成模塊418可以激活第一或第二振動(dòng)機(jī)構(gòu)，以分別向用戶提供左轉(zhuǎn)或右轉(zhuǎn)的指令。這種類型的指令可以通過(guò)包括附加的振動(dòng)機(jī)構(gòu)而包括附加的分級(jí)。通過(guò)激活用戶設(shè)備106上的不同振動(dòng)機(jī)構(gòu)(例如，通過(guò)激活左側(cè)振動(dòng)機(jī)構(gòu)來(lái)提供左轉(zhuǎn)的提示，并且通過(guò)激活右側(cè)振動(dòng)機(jī)構(gòu)來(lái)提供右轉(zhuǎn)的提示)，可以實(shí)現(xiàn)相同的效果。振動(dòng)機(jī)構(gòu)可以被耦合到用戶身體的其他設(shè)備或部分。

圖44示出了描述使用三維聲音來(lái)引導(dǎo)用戶沿期望路線導(dǎo)航的過(guò)程4402。在框4404中，si模塊302確定在空間內(nèi)沿路線的用戶的當(dāng)前位置。在框4406中，si模塊302生成三維聲音。三維聲音創(chuàng)建由用戶感知為三維聲音從空間內(nèi)的至少一個(gè)特定位置發(fā)出的感知。在框4408中，si模塊302將三維聲音遞送給用戶。三維聲音輔助用戶沿路線導(dǎo)航。

圖45示出了描述以下一個(gè)方式的過(guò)程4502：路徑引導(dǎo)模塊420可以使用三維聲音來(lái)沿期望路線引導(dǎo)用戶。在框4504中，路徑引導(dǎo)模塊420確定用戶朝向的當(dāng)前方向。在框4506中，路徑引導(dǎo)模塊420標(biāo)識(shí)期望用戶朝向的期望方向。在框4508中，路徑引導(dǎo)模塊420確定當(dāng)前方向和期望方向之間的差，以提供偏離信息。在框4510中，路徑引導(dǎo)模塊420使用聲音生成模塊414來(lái)基于偏離信息生成周期性三維聲音(例如，節(jié)拍聲音)。該三維聲音將用戶朝著期望的方向指導(dǎo)。三維聲音可以具有取決于用戶偏離期望方向的程度的一個(gè)或多個(gè)屬性(例如，音調(diào))。

圖46示出了描述其中si模塊302可以使用三維聲音來(lái)標(biāo)識(shí)和宣布ioi的一個(gè)方式的過(guò)程4602。在框4604中，si模塊302確定感興趣項(xiàng)(ioi)的集合，每個(gè)感興趣項(xiàng)對(duì)應(yīng)于在當(dāng)前境況中與用戶相關(guān)的實(shí)體或事件或信息片段。在框4606中，si模塊302為每個(gè)感興趣項(xiàng)生成三維聲音。用戶將聲音感知為源自與感興趣項(xiàng)相關(guān)聯(lián)的相同物理位置(一個(gè)或多個(gè))(例如，通過(guò)將與商店相關(guān)聯(lián)的聲音感知為從商店的位置發(fā)出)。

在一種情況下，當(dāng)用戶遍歷路線時(shí)，si模塊302可以將過(guò)程4602應(yīng)用為后臺(tái)服務(wù)。例如，如由任何基于距離的參數(shù)設(shè)置所管理的，當(dāng)用戶充分接近與這些ioi相關(guān)聯(lián)的位置時(shí)，rid模塊426可以提醒用戶ioi的存在。

在另一場(chǎng)景中，如框4608所示，探索模塊430可以通過(guò)使用rid模塊426來(lái)應(yīng)用上述一般過(guò)程4602，以標(biāo)識(shí)與用戶的注意力當(dāng)前被指向或者推測(cè)為當(dāng)前被指向的子空間相關(guān)聯(lián)的ioi集合。在另一場(chǎng)景中，如方框4610所示，定向模塊432可以通過(guò)使用rid模塊416來(lái)應(yīng)用上述一般過(guò)程4602，以標(biāo)識(shí)與當(dāng)前時(shí)間用戶周圍的整個(gè)空間相關(guān)聯(lián)的ioi集合，而不需要參考用戶的當(dāng)前感興趣焦點(diǎn)(因?yàn)橛脩衄F(xiàn)在對(duì)他或她周圍的空間的完整體積感興趣)。用戶可以通過(guò)例如經(jīng)由耳機(jī)108或用戶設(shè)備106發(fā)出適當(dāng)?shù)闹噶顏?lái)調(diào)用和暫停探索模塊430或定向模塊432的讀出。

作為最后一個(gè)話題，上述示例基于如下簡(jiǎn)化的假定：虛擬聲音產(chǎn)生實(shí)體(例如，虛擬聲源)在空間中的位置相對(duì)于收聽者的位置至少在遞送三維聲音的過(guò)程中是穩(wěn)定的。在很多情況下，這可能是一個(gè)有效的假定，但它可能不適用于所有情況。

例如，考慮以下場(chǎng)景。在第一種情況下，當(dāng)用戶在任何類型的交通工具中(例如，在火車上)通過(guò)實(shí)體時(shí)，用戶可以收聽描述(或以其他方式涉及)固定位置實(shí)體的三維聲音。例如，當(dāng)用戶作為乘客在汽車中行進(jìn)時(shí)，在相對(duì)于spaceneedle的任何方向上，用戶可以收聽描述西雅圖spaceneedle塔的消息。在第二種情況下，當(dāng)用戶靜止不動(dòng)但是仍然移動(dòng)他或她的頭部，使得用戶的左耳和右耳相對(duì)于固定位置實(shí)體的位置改變時(shí)，可以收聽描述(或以其他方式涉及)固定位置實(shí)體的三維聲音。在第三種情況下，用戶可以收聽描述(或以其他方式涉及)相對(duì)于收聽者的固定位置處于運(yùn)動(dòng)中的實(shí)體的三維聲音。例如，當(dāng)用戶保持在機(jī)場(chǎng)航站樓中的固定位置時(shí)，用戶可以收聽宣布正沿跑道移動(dòng)的飛機(jī)到達(dá)的消息。在第四種情況下，ioi和用戶的位置均可能在音頻信息的遞送期間處于運(yùn)動(dòng)中。

另外注意，ioi不需要總是對(duì)應(yīng)于物理實(shí)體(例如，spaceneedle塔或移動(dòng)的飛機(jī))。例如，移動(dòng)的“虛擬”ioi可以對(duì)應(yīng)于虛擬廣告牌，該虛擬廣告牌遞送用戶感知為沿街道朝夜總會(huì)的入口移動(dòng)的空間消息，誘使用戶進(jìn)入該場(chǎng)所。此外，本文中關(guān)于與ioi相關(guān)聯(lián)的聲音闡述的一切同樣適用于其他聲音(例如，周期性節(jié)拍聲)。

為了解決上述任何情況，si模塊302可以動(dòng)態(tài)地更新其在其遞送過(guò)程中產(chǎn)生的三維音頻信息，以在每個(gè)時(shí)刻反映用戶的頭部和ioi之間的相對(duì)位置(例如，在上面引用的示例中的spaceneedle或移動(dòng)的飛機(jī)的位置)。si模塊302可以以不同的方式執(zhí)行該任務(wù)。在一個(gè)非限制性方法中，si模塊302可以在音頻信息遞送上的迭代過(guò)程中執(zhí)行以下操作：(a)確定用戶的頭部相對(duì)于ioi的位置，以提供相對(duì)位置信息；(b)基于相對(duì)位置信息選擇hrtf(每個(gè)耳朵)；(c)對(duì)由所選擇的hrtf在當(dāng)前時(shí)間要遞送的任何音頻信息進(jìn)行卷積，以基于相對(duì)位置信息產(chǎn)生適合的三維聲音。

舉一個(gè)具體示例，考慮需要五秒來(lái)遞送給用戶的消息。針對(duì)該遞送的每秒，si模塊302可以確定用戶的頭部和ioi之間的相對(duì)位置。si模塊302可以使用該信息來(lái)針對(duì)消息遞送的每一秒產(chǎn)生基于在該時(shí)刻用戶頭部和ioi之間的相對(duì)位置的三維聲音。

更一般地，可以以不同的更新速率執(zhí)行上述迭代處理。更新速率可以取決于收聽者和ioi之間的相對(duì)位置變化的速率。即，si模塊302可以針對(duì)相對(duì)位置信息的大的相對(duì)變化以相對(duì)快的速率更新hrtf，并且針對(duì)較慢的變化以較慢的速率來(lái)更新hrtf。更新速率還可以考慮在系統(tǒng)102中可用以更新三維聲音信息的處理資源的量。

si模塊302還可以應(yīng)用被設(shè)計(jì)為加速上述動(dòng)態(tài)處理(其可以表示對(duì)其資源的大處理負(fù)擔(dān))的各種技術(shù)。例如，在一些情況下，由于：(a)收聽者在空間中的移動(dòng)；或(b)ioi在空間中的移動(dòng)；或(c)收聽者和ioi的移動(dòng)，系統(tǒng)102可以針對(duì)至少一個(gè)預(yù)測(cè)軌跡預(yù)先計(jì)算動(dòng)態(tài)聲音；每個(gè)這樣的軌跡定義了收聽者和ioi之間的某種類型的預(yù)期相對(duì)運(yùn)動(dòng)。例如，假定火車每天以大致相同的速度經(jīng)過(guò)ioi。在這種情況下，可以預(yù)先計(jì)算基于動(dòng)態(tài)變化的hrtf的三維聲音(每個(gè)耳朵)。當(dāng)列車沿軌道移動(dòng)時(shí)，該三維聲音考慮了用戶頭部的假定的進(jìn)展，并且可以基于當(dāng)用戶沿軌道移動(dòng)時(shí)，用戶的頭部具有預(yù)定的固定定向的簡(jiǎn)化假定。si模塊302可以在其檢測(cè)到收聽者的位置相對(duì)于ioi到達(dá)預(yù)定觸發(fā)位置(例如，沿軌道、距ioi預(yù)定距離的位置)時(shí)，啟動(dòng)該三維聲音。

可以擴(kuò)展上述操作方式以解釋不同的場(chǎng)景。例如，系統(tǒng)102可以預(yù)先計(jì)算不同的動(dòng)態(tài)三維聲音，以考慮不同的列車速度、不同的固定頭部定向(例如，指示用戶在消息的遞送期間是否正向前看，或者是否正在看向窗戶外面等)等。

上述情況還可以擴(kuò)展到更一般的設(shè)置，其中用戶和ioi之間的移動(dòng)可以被分解成多種可能性，從而允許針對(duì)這些可能性預(yù)先計(jì)算相應(yīng)的動(dòng)態(tài)三維聲音。si模塊302然后可以在確定用戶的當(dāng)前境況匹配預(yù)定可能性中的一個(gè)時(shí)發(fā)出任何預(yù)先計(jì)算的聲音。

在另一種情況下，si模塊302可以動(dòng)態(tài)地執(zhí)行處理，以例如基于用戶的當(dāng)前航向來(lái)預(yù)測(cè)用戶相對(duì)于ioi的位置的移動(dòng)。si模塊302然后可以基于用戶相對(duì)于ioi的計(jì)劃軌跡來(lái)動(dòng)態(tài)地預(yù)先計(jì)算三維聲音。

還可以使用其他技術(shù)來(lái)加速動(dòng)態(tài)變化的三維聲音的計(jì)算。在一些實(shí)現(xiàn)中，例如，si模塊302可以利用遠(yuǎn)程處理資源112的增強(qiáng)的處理能力(例如，通過(guò)利用由這些資源112執(zhí)行的并行處理)。

總之，上述特征有助于允許用戶有效地、安全地和愉快地移動(dòng)通過(guò)他或她的環(huán)境的上述目標(biāo)。例如，當(dāng)用戶穿過(guò)環(huán)境時(shí)，使用不同的演示模式，特征向用戶提供不同類別的信息。該功能以用戶友好的方式將該信息呈現(xiàn)給用戶，從而避免在任何給定時(shí)間使用戶被太多信息壓倒。使用三維聲音還增強(qiáng)了用戶理解所提供的信息與環(huán)境中的對(duì)象、區(qū)域和事件之間的聯(lián)系的能力。

e.使用信標(biāo)來(lái)輔助用戶與其環(huán)境交互

以下部分提供關(guān)于基于信標(biāo)的引導(dǎo)模塊422的操作的附加信息。注意，基于信標(biāo)的引導(dǎo)模塊422提供用于通過(guò)利用信標(biāo)來(lái)引導(dǎo)用戶通過(guò)空間的策略，信標(biāo)具有限定的相應(yīng)范圍?？臻g可以對(duì)應(yīng)于室內(nèi)空間，例如由一個(gè)或多個(gè)建筑物或任何類型的結(jié)構(gòu)的內(nèi)部限定的空間。備選地或附加地，空間可對(duì)應(yīng)于戶外空間。

信標(biāo)可以發(fā)射任何類型的電磁輻射，例如無(wú)線電波、紅外波等。在其他情況下，信標(biāo)可以發(fā)射聲波(例如，在超聲波范圍內(nèi))。此外，在一些情況下，信標(biāo)可以根據(jù)任何協(xié)議(例如，藍(lán)牙協(xié)議、wi-fi協(xié)議等)或協(xié)議組合生成信號(hào)。例如而非限制，信標(biāo)可以對(duì)應(yīng)于藍(lán)牙低能量(ble)信標(biāo)。此外，信標(biāo)可以具有任何期望深度的范圍，以最佳地適應(yīng)其被部署的目標(biāo)環(huán)境。在一些室內(nèi)設(shè)置中，例如，選擇具有相對(duì)較短范圍(例如，一個(gè)或多個(gè)米的范圍)的信標(biāo)。在一些情況下，信標(biāo)的規(guī)定范圍可以基于其信號(hào)要由特定類型的用戶設(shè)備(例如，特定智能電話)或特定類別的用戶設(shè)備(例如，特定類型的智能手機(jī))檢測(cè)的隱含或明確陳述的假定，用戶設(shè)備具有已知和穩(wěn)定的信號(hào)接收特性。

在另一種情況下，每個(gè)信標(biāo)是無(wú)源設(shè)備(例如，無(wú)源rfid)，當(dāng)該設(shè)備在距信標(biāo)的規(guī)定距離內(nèi)時(shí)，無(wú)源設(shè)備可以由用戶設(shè)備106(或一些其他詢問設(shè)備)詢問。該規(guī)定距離對(duì)應(yīng)于設(shè)備的范圍。然而，為了便于解釋，剩余的描述將假定每個(gè)信標(biāo)主動(dòng)地發(fā)射信號(hào)。

在一個(gè)實(shí)現(xiàn)中，每個(gè)信標(biāo)擁有定義其身份的代碼。信標(biāo)可以持續(xù)地或周期性地(或以按需方式)發(fā)出宣告其代碼(和/或任何其他應(yīng)用特定的信息)的信號(hào)，該信號(hào)可以由信標(biāo)的范圍內(nèi)的接收設(shè)備檢測(cè)。例如，考慮具有大約一米的范圍的ble信標(biāo)。位于該范圍內(nèi)的接收設(shè)備可以檢測(cè)信標(biāo)的信號(hào)并讀取其特定代碼。

在圖47的示例中，室內(nèi)(和/或室外)環(huán)境的特征在于走廊和障礙物(例如，障礙物1、障礙物2和障礙物3)的集合。該場(chǎng)景涉及例如通過(guò)將信標(biāo)放置在兩個(gè)或更多個(gè)走廊的每個(gè)交叉點(diǎn)處來(lái)使用信標(biāo)的集合(例如，信標(biāo)b1、b2、...b7)預(yù)先填充環(huán)境。圍繞每個(gè)信標(biāo)的最外的虛線圓表示信標(biāo)的范圍。如上所述，位于信標(biāo)的范圍內(nèi)的接收設(shè)備可以成功地檢測(cè)信標(biāo)；否則，接收設(shè)備將不知道信標(biāo)。注意，在一個(gè)示例性實(shí)現(xiàn)中，信標(biāo)的范圍不重疊。該特征是有利的，因?yàn)樗嗽谌魏谓o定時(shí)間，用戶的位置的任何模糊性。換言之，用戶的設(shè)備不能同時(shí)檢測(cè)兩個(gè)或更多個(gè)信標(biāo)，因?yàn)檫@些信標(biāo)的范圍不重疊，并且用戶不能同時(shí)存在于兩個(gè)地方。在一些環(huán)境中，還可以通過(guò)考慮將接收從信標(biāo)發(fā)射的信號(hào)的用戶設(shè)備(或設(shè)備類別)的性質(zhì)來(lái)確保信標(biāo)范圍的非重疊性質(zhì)。

作為第一初步步驟，所有信標(biāo)在圖47的環(huán)境中的位置可以被加載到數(shù)據(jù)存儲(chǔ)庫(kù)424中。數(shù)據(jù)存儲(chǔ)庫(kù)424還可以存儲(chǔ)與這些信標(biāo)相關(guān)聯(lián)的代碼。

作為第二初步步驟，系統(tǒng)102可以使用任何路線規(guī)劃工具來(lái)生成通過(guò)圖47的環(huán)境的路線。路線規(guī)劃工具可以應(yīng)用任何算法來(lái)執(zhí)行此任務(wù)。例如，路線規(guī)劃工具可以將由走廊和障礙物限定的搜索空間表達(dá)為具有多個(gè)節(jié)點(diǎn)和鏈路的圖表。即，鏈路表示走廊，節(jié)點(diǎn)表示走廊的交叉點(diǎn)。路線規(guī)劃工具然后可以使用任何算法(例如，公知的dijkstra算法)來(lái)找到通過(guò)圖表的最有效的路徑。一旦定義了路線，基于信標(biāo)的引導(dǎo)模塊422就可以標(biāo)識(shí)將由用戶在路線中行進(jìn)時(shí)遍歷的信標(biāo)子集(在本文中被稱為路線特定的信標(biāo))，并且存儲(chǔ)這些信標(biāo)的身份。在圖47的情況下，用戶預(yù)期會(huì)遇到所有的信標(biāo)，但通常不是這種情況(下文將闡明)。

現(xiàn)在假定用戶使用上述系統(tǒng)102作為引導(dǎo)來(lái)開始路線。系統(tǒng)102可以經(jīng)由耳機(jī)108和/或用戶設(shè)備106來(lái)以上述方式向用戶提供實(shí)時(shí)引導(dǎo)。然而，在這種情況下，與上述技術(shù)相比，系統(tǒng)102使用不同的技術(shù)來(lái)確定用戶在每個(gè)時(shí)間的當(dāng)前位置。

更具體地，基于信標(biāo)的引導(dǎo)模塊422持續(xù)地掃描環(huán)境，以確定用戶是否在任何信標(biāo)的范圍內(nèi)。如果是，則基于信標(biāo)的引導(dǎo)模塊422將用戶的當(dāng)前位置標(biāo)識(shí)為已經(jīng)檢測(cè)到的信標(biāo)的當(dāng)前位置。換言之，基于信標(biāo)的引導(dǎo)模塊422先驗(yàn)地知道與檢測(cè)到的信標(biāo)及其在環(huán)境中的位置相關(guān)聯(lián)的代碼。如果用戶的耳機(jī)108或用戶設(shè)備106檢測(cè)到該信標(biāo)的存在(基于由所檢測(cè)的信號(hào)傳送的代碼)，則基于信標(biāo)的引導(dǎo)模塊422可以假定用戶具有與所檢測(cè)的信標(biāo)相同的位置。

在該接合點(diǎn)處，基于信標(biāo)的引導(dǎo)模塊422可以利用路徑引導(dǎo)模塊420的服務(wù)，以使用三維聲音和/或基于其他引導(dǎo)信息(例如，非三維聲音、顯示的指令等)以期望方向引導(dǎo)用戶。例如，假定用戶的用戶設(shè)備106檢測(cè)到它在信標(biāo)b4的范圍中。路徑引導(dǎo)模塊420將基于預(yù)定旅程信息確定沿用戶行程的下一航點(diǎn)對(duì)應(yīng)于信標(biāo)b5。路徑引導(dǎo)模塊420然后可以生成用戶將感知為源自用戶的右側(cè)的三維聲音，三維聲音用于將用戶引向下一航點(diǎn)(例如，信標(biāo)b5)。用戶將該提示解釋為他或她應(yīng)該向右轉(zhuǎn)向的指令。用戶將以該方向繼續(xù)，直到他或她遇到另一信標(biāo)(例如，信標(biāo)b5)，此時(shí)可以更新用戶的方向。

在一些情況下，用戶可能以非預(yù)期的方式偏離所計(jì)劃的路徑，使得他或她落在他或她預(yù)期下一次遇到信標(biāo)的范圍之外。圖48表示解決這種情況的一個(gè)方式。這里的策略是增加沿用戶所計(jì)劃路線的信標(biāo)的數(shù)目，這具有增加評(píng)估用戶的當(dāng)前位置的頻率的效果，并且因此降低用戶可能離開路線的可能性(例如，他或她落在他或她預(yù)期遇到的信標(biāo)的范圍之外的程度)。注意，圖48僅示出了用戶期望在所計(jì)劃的路線上遍歷的那些信標(biāo)。但是環(huán)境可以包括用戶不期望遍歷的附加信標(biāo)(未示出)。

用戶明顯迷路的機(jī)會(huì)在圖47和圖48中并不大，例如，因?yàn)橛脩舻倪x擇被障礙物顯著地限制。然而，用戶可能變得困惑并且錯(cuò)誤地轉(zhuǎn)彎，使得他離開所計(jì)劃的路線?；蛘哂脩艨赡苡幸獾貨Q定偏離所計(jì)劃的路徑。例如，在與圖48中的信標(biāo)b9相關(guān)聯(lián)的交叉點(diǎn)處，用戶可以采取左轉(zhuǎn)而不是右轉(zhuǎn)。因此，用戶可能最終遇到其不期望遇到的路徑外的信標(biāo)(未示出)。

基于信標(biāo)的引導(dǎo)模塊422可以以不同的方式解決這種情況。在一種情況下，基于信標(biāo)的引導(dǎo)模塊422可以通知用戶不再可以向用戶提供引導(dǎo)，因?yàn)橛脩羲坪跻呀?jīng)離開軌道，并且不再可以確定用戶的航向和意圖?；谛艠?biāo)的引導(dǎo)模塊422還可以向用戶詢問他或她是否打算追隨通過(guò)環(huán)境的原始定義的路徑。

在另一情況下，如果可以獲得關(guān)于用戶的當(dāng)前位置、航向和意圖的足夠信息，則基于信標(biāo)的引導(dǎo)模塊422可以將用戶引導(dǎo)回到所計(jì)劃的路線上。例如，基于信標(biāo)的引導(dǎo)模塊422可以通過(guò)基于用戶的最近已知位置的集合形成軌跡來(lái)確定用戶看起來(lái)當(dāng)前前進(jìn)的方向(盡管它看起來(lái)是錯(cuò)誤的)?；谛艠?biāo)的引導(dǎo)模塊422然后可以使用該航向信息連同關(guān)于用戶的當(dāng)前位置(如果已知)的信息來(lái)將用戶引導(dǎo)回到所計(jì)劃的路線上?；蛘呋谛艠?biāo)的引導(dǎo)模塊422可以詢問用戶以確定他或她是打算仍然追隨所計(jì)劃的路線，還是選擇另一路線。

在任何場(chǎng)景中，當(dāng)該信息可用時(shí)，基于信標(biāo)的引導(dǎo)模塊422還可以依賴于用戶的當(dāng)前位置和航向的其他證據(jù)(除了由ble信標(biāo)提供的信息之外)。例如，基于信標(biāo)的引導(dǎo)模塊422可以從gps傳感器源、航位推算技術(shù)等收集該信息。在其他情況下，假定這些附加源中的至少一些不可用或不可靠。

圖49描述了另一種情況，其中用戶遍歷的空間比圖47和圖48的示例更加開放。該空間預(yù)先填充有短距離信標(biāo)的集合。例如，如果空間的物理特性允許，則可以用這種信標(biāo)的規(guī)則矩陣來(lái)填充該空間。信標(biāo)具有彼此不重疊的范圍。

再次，路線規(guī)劃工具可以基于任何輸入目標(biāo)、并且使用為此目的使用任何路線規(guī)劃算法來(lái)生成通過(guò)空間的路線4902。然后，基于信標(biāo)的引導(dǎo)模塊422確定用戶在他或她行進(jìn)所計(jì)劃的路線4902時(shí)，預(yù)期要遍歷的信標(biāo)。這些信標(biāo)被表示為實(shí)心黑色信標(biāo)符號(hào)。

在路線4902的實(shí)際遍歷期間，基于信標(biāo)的引導(dǎo)模塊422執(zhí)行與上述相同的功能。即，當(dāng)基于信標(biāo)的引導(dǎo)模塊422確定用戶已經(jīng)沿預(yù)期路徑進(jìn)入信標(biāo)(例如，信標(biāo)b22)的范圍時(shí)，則其接受該信標(biāo)的位置作為用戶的當(dāng)前位置。然后，其重新計(jì)算用戶的航向并更新三維節(jié)拍聲(和/或其他引導(dǎo)信息)，以將用戶朝向下一信標(biāo)(例如，信標(biāo)b33)引導(dǎo)。

在圖49的情況下，因?yàn)殄e(cuò)誤地給予用戶更多的自由度，用戶將偏離軌道的風(fēng)險(xiǎn)大于圖48的情況。圖50描述了解決這種情況的一種方式。這里，基于信標(biāo)的引導(dǎo)模塊422定義用戶可以以更一般的方式(例如，通過(guò)也包括位于最優(yōu)路線5002的任一側(cè)的相鄰信標(biāo))沿所計(jì)劃的路線5002遇到的信標(biāo)(表示為實(shí)心黑色信標(biāo)符號(hào))。在假定用戶仍然試圖遵守所計(jì)劃的路線5002，但已經(jīng)略微偏離了路線的情況下，如果他或她漫步進(jìn)入這些相鄰信標(biāo)的范圍內(nèi)，則基于信標(biāo)的引導(dǎo)模塊422可以繼續(xù)向用戶提供引導(dǎo)?；谛艠?biāo)的引導(dǎo)模塊422可以僅當(dāng)用戶漫游超過(guò)與最外相鄰信標(biāo)相關(guān)聯(lián)的邊界時(shí)生成錯(cuò)誤條件。

在另一實(shí)現(xiàn)中，基于信標(biāo)的引導(dǎo)模塊422可以基于用戶沿他或她的路徑到目前為止已經(jīng)遇到的信標(biāo)，形成關(guān)于用戶的期望目的地的假設(shè)。例如，基于信標(biāo)的引導(dǎo)模塊422可以基于到目前為止遇到的信標(biāo)的位置來(lái)形成軌跡。然后，基于信標(biāo)的引導(dǎo)模塊422可以例如通過(guò)沿其當(dāng)前方向延伸軌跡來(lái)確定軌跡所指向的可能的中間點(diǎn)或最終目的地?；谛艠?biāo)的引導(dǎo)模塊422然后可以詢問用戶他或她是否希望追隨朝向假定目的地的路徑。如果是，則基于信標(biāo)的引導(dǎo)模塊422此后可以提供上述的輔助用戶到達(dá)所標(biāo)識(shí)的目的地的相同類型的導(dǎo)航輔助。

在本文所述的任何情況下，基于信標(biāo)的引導(dǎo)模塊422還可以考慮關(guān)于用戶的先前旅行習(xí)慣的歷史信息和/或關(guān)于其他人的旅行習(xí)慣的歷史信息(相對(duì)于特定環(huán)境)。該信息在可用時(shí)可以提供用戶到達(dá)期望目的地的意圖的進(jìn)一步證據(jù)。

圖51示出了描述例如在圖47-圖50的環(huán)境類型的上下文中，基于信標(biāo)的引導(dǎo)模塊422的一個(gè)操作方式的過(guò)程5102。在框5104中，基于信標(biāo)的引導(dǎo)模塊422從在環(huán)境內(nèi)的當(dāng)前位置操作的計(jì)算設(shè)備的傳感器(一個(gè)或多個(gè))接收特定信標(biāo)信號(hào)。計(jì)算設(shè)備可以對(duì)應(yīng)于用戶設(shè)備108或耳機(jī)108等。如上所述，在一個(gè)示例性實(shí)現(xiàn)中，環(huán)境填充有具有相應(yīng)的非重疊范圍的多個(gè)信標(biāo)。此外，作為預(yù)備步驟，路線規(guī)劃模塊可以定義由行程信息描述的期望路線。或者，當(dāng)用戶遍歷環(huán)境時(shí)，可以基于針對(duì)用戶的意圖中間點(diǎn)或最終目的地做出的假定，以動(dòng)態(tài)方式生成期望路線。在任何情況下，該期望路線遍歷與路線特定的信標(biāo)集合(來(lái)自環(huán)境中的信標(biāo)的總集合)相關(guān)聯(lián)的范圍。

在框5106中，基于信標(biāo)的引導(dǎo)模塊422基于特定信標(biāo)信號(hào)確定用戶是否在路線特定的信標(biāo)中的一個(gè)信標(biāo)的范圍內(nèi)；當(dāng)用戶在該范圍內(nèi)時(shí)，該操作產(chǎn)生當(dāng)前位置信息。在框5108中，基于信標(biāo)的引導(dǎo)模塊422基于預(yù)定行程信息確定用戶期望到達(dá)的下一航點(diǎn)，以提供下一航點(diǎn)信息。在一些情況下，該下一航點(diǎn)可以對(duì)應(yīng)于沿用戶的預(yù)定行程的下一信標(biāo)。在框5110中，基于信標(biāo)的引導(dǎo)模塊422接下來(lái)基于當(dāng)前位置信息和下一航點(diǎn)信息來(lái)確定方向信息。方向信息反映了建議用戶旅行以到達(dá)下一航點(diǎn)的方向。在框5112中，基于信標(biāo)的引導(dǎo)模塊422基于方向信息生成音頻信息(和/或其他引導(dǎo)信息)。在框5114中，基于信標(biāo)的引導(dǎo)模塊422將音頻信息遞送給用戶，例如作為三維節(jié)拍聲。音頻信息輔助用戶到達(dá)下一航點(diǎn)?；谛艠?biāo)的引導(dǎo)模塊422可以在路徑引導(dǎo)模塊420和聲音生成模塊414的輔助下執(zhí)行上述功能。

圖52示出了提供關(guān)于基于信標(biāo)的引導(dǎo)模塊422可以確定用戶在環(huán)境內(nèi)的當(dāng)前位置的一種方式的進(jìn)一步細(xì)節(jié)的過(guò)程5202。在框5204中，基于信標(biāo)的引導(dǎo)模塊422標(biāo)識(shí)與已接收的特定信標(biāo)信號(hào)相關(guān)聯(lián)的特定信標(biāo)代碼。在框5206中，基于信標(biāo)的引導(dǎo)模塊422基于特定信標(biāo)代碼標(biāo)識(shí)與特定信標(biāo)代碼相關(guān)聯(lián)的特定信標(biāo)。在框5208中，基于信標(biāo)的引導(dǎo)模塊422基于(在數(shù)據(jù)存儲(chǔ)庫(kù)424中)所存儲(chǔ)的信息來(lái)標(biāo)識(shí)特定信標(biāo)的位置，所存儲(chǔ)的信息標(biāo)識(shí)信標(biāo)代碼以及環(huán)境內(nèi)信標(biāo)的相應(yīng)位置。

總之，上述特征有助于上述目標(biāo)，即特別是在用戶不能依賴于確定他或她的位置的其他模式(例如，基于使用基于衛(wèi)星的導(dǎo)航系統(tǒng))的那些情況下，允許用戶安全和有效地移動(dòng)通過(guò)他或她的環(huán)境。此外，因?yàn)橛脩舨荒芡瑫r(shí)存在于兩個(gè)或更多個(gè)信標(biāo)的范圍內(nèi)，使用非重疊的信標(biāo)范圍(根據(jù)一個(gè)示例性實(shí)現(xiàn))提供了用于消除用戶的位置歧義的有效機(jī)構(gòu)。

在第一實(shí)現(xiàn)的以上描述中，假定用戶設(shè)備106(和/或耳機(jī)108)在任何給定時(shí)間接收由零個(gè)信標(biāo)或單個(gè)信標(biāo)但不是多個(gè)信標(biāo)發(fā)射的信號(hào)。在其他實(shí)現(xiàn)中，可以以不同的方式放款上述特性。

例如，在第二實(shí)現(xiàn)中，如果基于信標(biāo)的引導(dǎo)模塊422接收來(lái)自該信標(biāo)的、具有高于規(guī)定閾值的信號(hào)強(qiáng)度的信號(hào)，則基于信標(biāo)的引導(dǎo)模塊422將斷定用戶設(shè)備106和/或耳機(jī)108在特定信標(biāo)的范圍內(nèi)。但是與第一實(shí)現(xiàn)不同，基于信標(biāo)的引導(dǎo)模塊422還可以同時(shí)從環(huán)境中的一個(gè)或多個(gè)其他信標(biāo)接收較弱的信號(hào)，其中這些信號(hào)中的每個(gè)的強(qiáng)度低于規(guī)定的閾值。在該場(chǎng)景中，使用具有位置的信標(biāo)來(lái)填充環(huán)境，使得在任何給定時(shí)間，基于信標(biāo)的引導(dǎo)模塊422將接收：(1)不具有高于閾值的信號(hào)強(qiáng)度的信號(hào)；或(2)僅一個(gè)具有高于閾值的信號(hào)強(qiáng)度的信號(hào)。在實(shí)踐中，第二實(shí)現(xiàn)以與第一實(shí)現(xiàn)相同的方式運(yùn)行，并且提供相同的益處(例如，通過(guò)假定用戶在信標(biāo)中的一個(gè)信標(biāo)的范圍內(nèi)，提供用于在任何給定時(shí)間消除用戶位置歧義的二元機(jī)構(gòu))。因此，由于上述行為，第二實(shí)現(xiàn)中的信標(biāo)可以被認(rèn)為是功能上或有效地非重疊的。并且因此，如本文中所使用的對(duì)“非重疊”的任何引用應(yīng)理解為涵蓋信標(biāo)具有字面上不重疊的范圍的情況，以及因?yàn)橛脩粼O(shè)備106和/或耳機(jī)108最多可以從具有高于規(guī)定閾值的信號(hào)強(qiáng)度的一個(gè)信標(biāo)接收信號(hào)而可以認(rèn)為范圍不重疊的情況。

在第三實(shí)現(xiàn)中，基于信標(biāo)的引導(dǎo)模塊422可以在任何給定時(shí)間接收來(lái)自具有任意信號(hào)強(qiáng)度的任何數(shù)目的信標(biāo)的信號(hào)。特定位置處的信號(hào)(和強(qiáng)度)集合定義了針對(duì)該位置的信號(hào)配置信息(profileinformation)。在初步操作中，基于信標(biāo)的引導(dǎo)模塊422可以存儲(chǔ)針對(duì)環(huán)境中每個(gè)可導(dǎo)航位置的信號(hào)配置信息，例如，構(gòu)成關(guān)于信號(hào)及其在該位置處的相應(yīng)強(qiáng)度的信息。總的來(lái)說(shuō)，所存儲(chǔ)的信息構(gòu)成環(huán)境的剖面圖(profilemap)。在導(dǎo)航期間，基于信標(biāo)的引導(dǎo)模塊422可以確定其在給定時(shí)間在給定位置處正在接收的信號(hào)，以提供當(dāng)前信號(hào)配置信息。然后，基于信標(biāo)的引導(dǎo)模塊422可以使用當(dāng)前信號(hào)配置信息作為密鑰來(lái)找到具有最接近的匹配信號(hào)配置信息的位置。該位置定義了在給定時(shí)間用戶的可能位置。在一些環(huán)境中，由于各種環(huán)境特定的原因，由信標(biāo)發(fā)射的信號(hào)的強(qiáng)度和/或檢測(cè)這些信號(hào)的能力可以隨時(shí)間變化?；谛艠?biāo)的引導(dǎo)模塊422可以通過(guò)比較信號(hào)配置信息的標(biāo)準(zhǔn)化版本來(lái)解決這個(gè)問題。注意，第三實(shí)現(xiàn)中的信標(biāo)的位置不需要滿足與上述第一或第二實(shí)現(xiàn)相關(guān)聯(lián)的非重疊約束。

f.代表性計(jì)算功能

圖53示出了可以用于實(shí)現(xiàn)上述系統(tǒng)102的任何方面的計(jì)算功能5302。例如，圖53所示的計(jì)算功能5302的類型可以用于實(shí)現(xiàn)任何用戶設(shè)備106、任何遠(yuǎn)程處理資源112中、由耳機(jī)108使用的處理設(shè)備、單獨(dú)的用戶計(jì)算設(shè)備110等。在所有情況下，計(jì)算功能5302表示一個(gè)或多個(gè)物理和有形處理機(jī)構(gòu)。

計(jì)算功能5302可以包括一個(gè)或多個(gè)處理設(shè)備5304(例如，一個(gè)或多個(gè)中央處理單元(cpu)、和/或一個(gè)或多個(gè)圖形處理單元(gpu)等)。

計(jì)算功能5302還可以包括用于存儲(chǔ)諸如代碼、設(shè)置、數(shù)據(jù)等的任何種類的信息的任何存儲(chǔ)資源5306。例如而非限制，存儲(chǔ)資源5306可以包括以下中的任一個(gè)：任何類型(一個(gè)或多個(gè))的ram、任何類型(一個(gè)或多個(gè))的rom、閃存設(shè)備、硬盤、光盤等。更一般地，任何存儲(chǔ)資源可以使用用于存儲(chǔ)信息的任何技術(shù)。此外，任何存儲(chǔ)資源可以提供信息的易失性或非易失性保留。此外，任何存儲(chǔ)資源可以表示計(jì)算功能5302的固定或可移除部件。當(dāng)處理設(shè)備5304執(zhí)行存儲(chǔ)在任何存儲(chǔ)資源或存儲(chǔ)資源組合中的指令時(shí)，計(jì)算功能5302可以執(zhí)行上述功能中的任何功能。

關(guān)于術(shù)語(yǔ)，任何存儲(chǔ)資源5306或存儲(chǔ)資源5306的任何組合可以被視為計(jì)算機(jī)可讀介質(zhì)。在很多情況下，計(jì)算機(jī)可讀介質(zhì)表示某種形式的物理和有形實(shí)體。術(shù)語(yǔ)計(jì)算機(jī)可讀介質(zhì)還包括例如經(jīng)由物理導(dǎo)管和/或空氣或其他無(wú)線介質(zhì)等發(fā)送或接收的傳播信號(hào)。然而，特定術(shù)語(yǔ)“計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)”和“計(jì)算機(jī)可讀介質(zhì)設(shè)備”明確地排除傳播信號(hào)本身，同時(shí)包括所有其他形式的計(jì)算機(jī)可讀介質(zhì)。

計(jì)算功能5302還包括用于與任何存儲(chǔ)資源交互的一個(gè)或多個(gè)驅(qū)動(dòng)機(jī)構(gòu)5308(例如，硬盤驅(qū)動(dòng)機(jī)構(gòu)、光盤驅(qū)動(dòng)機(jī)構(gòu)等)。

計(jì)算功能5302還包括用于接收各種輸入(經(jīng)由輸入設(shè)備5312)以及用于提供各種輸出(經(jīng)由輸出設(shè)備5314)的輸入/輸出模塊5310。示例性輸入設(shè)備包括鍵盤設(shè)備、鼠標(biāo)輸入設(shè)備、觸敏輸入設(shè)備、數(shù)字化墊、一個(gè)或多個(gè)攝像機(jī)、一個(gè)或多個(gè)深度相機(jī)、自由空間手勢(shì)識(shí)別機(jī)構(gòu)、一個(gè)或多個(gè)麥克風(fēng)、語(yǔ)音識(shí)別機(jī)構(gòu)、任何運(yùn)動(dòng)檢測(cè)機(jī)構(gòu)(例如，加速度計(jì)、陀螺儀等)等。一個(gè)特定輸出機(jī)構(gòu)可以包括演示設(shè)備5316和相關(guān)聯(lián)的圖形用戶界面(gui)5318。其他輸出設(shè)備包括打印機(jī)、模型生成機(jī)構(gòu)、觸覺輸出機(jī)構(gòu)、存檔機(jī)構(gòu)(用于存儲(chǔ)輸出信息)等。計(jì)算功能5302還可以包括用于經(jīng)由一個(gè)或多個(gè)通信管道5322與其他設(shè)備交換數(shù)據(jù)的一個(gè)或多個(gè)網(wǎng)絡(luò)接口5320。一個(gè)或多個(gè)通信總線5324將上述部件通信地耦合在一起。

通信管道(一個(gè)或多個(gè))5322可以以任何方式(例如，通過(guò)局域網(wǎng)、廣域網(wǎng)(例如，因特網(wǎng))、點(diǎn)對(duì)點(diǎn)連接等或其任何組合)實(shí)現(xiàn)。通信管道(一個(gè)或多個(gè))5322可以包括由任何協(xié)議或協(xié)議組合管理的硬連線鏈路、無(wú)線鏈路、路由器、網(wǎng)關(guān)功能、名稱服務(wù)器等的任何組合。

備選地或附加地，可以至少部分地通過(guò)一個(gè)或多個(gè)硬件邏輯部件來(lái)執(zhí)行前面部分中描述的任何功能。例如而非限制，計(jì)算功能5302可以使用以下中的一個(gè)或多個(gè)來(lái)實(shí)現(xiàn)：現(xiàn)場(chǎng)可編程門陣列(fpga)；專用集成電路(asic)；應(yīng)用特定標(biāo)準(zhǔn)產(chǎn)品(assp)；片上系統(tǒng)(soc)；復(fù)雜可編程邏輯器件(cpld)等。

最后，以下陳述總結(jié)了上述系統(tǒng)102的相應(yīng)方面。

根據(jù)第一方面，描述了一種用于輔助用戶與空間交互的計(jì)算設(shè)備。計(jì)算設(shè)備包括用于執(zhí)行輔助用戶在環(huán)境內(nèi)的期望路線上移動(dòng)的功能的空間交互模塊。環(huán)境填充有多個(gè)信標(biāo)，多個(gè)信標(biāo)具有相應(yīng)的非重疊范圍，并且期望路線遍歷與多個(gè)信標(biāo)中路線特定的信標(biāo)集合相關(guān)聯(lián)的范圍?？臻g交互模塊包括基于信標(biāo)的引導(dǎo)模塊，基于信標(biāo)的引導(dǎo)模塊被配置為：確定用戶是否在路線特定的信標(biāo)中的一個(gè)信標(biāo)的范圍內(nèi)，以在用戶處于范圍內(nèi)時(shí)提供當(dāng)前位置信息；基于預(yù)定行程信息，確定用戶期望到達(dá)的下一航點(diǎn)，以提供下一航點(diǎn)信息；基于當(dāng)前位置信息和下一航點(diǎn)信息，確定方向信息；并且基于方向信息生成引導(dǎo)信息。引導(dǎo)信息在遞送給用戶時(shí)輔助用戶到達(dá)下一航點(diǎn)。

根據(jù)第二方面，環(huán)境至少部分對(duì)應(yīng)于由至少一個(gè)建筑物的內(nèi)部提供的室內(nèi)環(huán)境。

根據(jù)第三方面，環(huán)境至少部分對(duì)應(yīng)于室外環(huán)境。

根據(jù)第四方面，引導(dǎo)信息是音頻信息，音頻信息沿適當(dāng)?shù)姆较蛞龑?dǎo)用戶以到達(dá)下一航點(diǎn)。

根據(jù)第五方面，計(jì)算設(shè)備經(jīng)由耳機(jī)將音頻信息遞送給用戶。

根據(jù)第六方面，空間交互模塊訪問所存儲(chǔ)的信息，所存儲(chǔ)的信息標(biāo)識(shí)多個(gè)相應(yīng)信標(biāo)的位置。每個(gè)這樣的信標(biāo)發(fā)射具有信標(biāo)代碼的信標(biāo)信號(hào)，該信標(biāo)代碼標(biāo)識(shí)已經(jīng)發(fā)射信標(biāo)信號(hào)的信標(biāo)?；谛艠?biāo)的引導(dǎo)模塊被配置為通過(guò)以下方式來(lái)確定標(biāo)識(shí)用戶的當(dāng)前位置的當(dāng)前位置信息：確定與由計(jì)算設(shè)備已接收的特定信標(biāo)信號(hào)相關(guān)聯(lián)的特定信標(biāo)代碼，然后確定與特定信標(biāo)代碼相關(guān)聯(lián)的特定信標(biāo)和該特定信標(biāo)的位置。

根據(jù)第七方面，基于信標(biāo)的引導(dǎo)模塊被配置為忽略從不是路線特定的信標(biāo)集合的成員的信標(biāo)發(fā)射的任何信標(biāo)信號(hào)。

根據(jù)第八方面，路線特定的信標(biāo)集合僅涵蓋位于期望路線上的信標(biāo)。

根據(jù)第九方面，路線特定的信標(biāo)集合涵蓋位于期望路線上的信標(biāo)以及位于期望路線附近的一個(gè)或多個(gè)相鄰信標(biāo)。

根據(jù)第十方面，描述了一種用于輔助用戶在空間內(nèi)導(dǎo)航的方法。該方法包括由計(jì)算設(shè)備接收特定信標(biāo)信號(hào)，該計(jì)算設(shè)備在環(huán)境內(nèi)的當(dāng)前位置處操作。環(huán)境填充有多個(gè)信標(biāo)，多個(gè)信標(biāo)具有相應(yīng)的非重疊范圍，并且期望路線遍歷與多個(gè)信標(biāo)中路線特定的信標(biāo)集合相關(guān)聯(lián)的范圍。該方法還包括：基于特定信標(biāo)信號(hào)，確定用戶是否在路線特定信標(biāo)中的一個(gè)信標(biāo)的范圍內(nèi)，以在用戶在范圍內(nèi)時(shí)提供當(dāng)前位置信息；基于預(yù)定行程信息，確定用戶期望到達(dá)的下一航點(diǎn)，以提供下一航點(diǎn)信息；基于當(dāng)前位置信息和下一航點(diǎn)信息，確定方向信息；基于方向信息生成引導(dǎo)信息；以及將引導(dǎo)信息遞送給用戶。引導(dǎo)信息輔助用戶到達(dá)下一航點(diǎn)。

根據(jù)第十一方面，第十方面中提到的環(huán)境至少部分地對(duì)應(yīng)于由至少一個(gè)建筑物的內(nèi)部提供的室內(nèi)環(huán)境。

根據(jù)第十二方面，第十方面中提到的環(huán)境至少部分地對(duì)應(yīng)于室外環(huán)境。

根據(jù)第十三方面，計(jì)算設(shè)備經(jīng)由耳機(jī)將引導(dǎo)信息遞送給用戶。

根據(jù)第十四方面，信標(biāo)位于環(huán)境內(nèi)的路徑的交叉點(diǎn)處。

根據(jù)第十五方面，信標(biāo)還位于環(huán)境中沿至少一個(gè)路徑的中間位置處。

根據(jù)第十六方面，信標(biāo)在環(huán)境中的位置形成網(wǎng)格圖案。

根據(jù)第十七方面，上述方法(在第十方面中)通過(guò)以下操作來(lái)確定當(dāng)前位置信息：標(biāo)識(shí)與特定信標(biāo)信號(hào)相關(guān)聯(lián)的特定信標(biāo)代碼；基于特定信標(biāo)代碼，標(biāo)識(shí)與特定信標(biāo)代碼相關(guān)聯(lián)的特定信標(biāo)；以及基于所存儲(chǔ)的信息，標(biāo)識(shí)特定信標(biāo)的位置，所存儲(chǔ)的信息標(biāo)識(shí)信標(biāo)代碼和環(huán)境內(nèi)信標(biāo)的相應(yīng)位置。

根據(jù)第十八方面，(根據(jù)第十方面)的方法還包括以下操作：忽略從不是路線特定的信標(biāo)集合的成員的信標(biāo)發(fā)射的任何信標(biāo)信號(hào)。

根據(jù)第十九方面，描述了一種用于存儲(chǔ)計(jì)算機(jī)可讀指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。當(dāng)計(jì)算機(jī)可讀指令由一個(gè)或多個(gè)處理設(shè)備執(zhí)行時(shí)，計(jì)算機(jī)可讀指令實(shí)現(xiàn)基于信標(biāo)的引導(dǎo)模塊。計(jì)算機(jī)可讀指令包括被配置為由用戶使用在環(huán)境內(nèi)的當(dāng)前位置處操作的計(jì)算設(shè)備來(lái)接收特定信標(biāo)信號(hào)的邏輯。環(huán)境填充有多個(gè)信標(biāo)，多個(gè)信標(biāo)具有相應(yīng)的非重疊范圍。此外，期望路線遍歷與多個(gè)信標(biāo)中路線特定的信標(biāo)集合相關(guān)聯(lián)的范圍。計(jì)算機(jī)可讀指令還包括：被配置為標(biāo)識(shí)與特定信標(biāo)信號(hào)相關(guān)聯(lián)的特定信標(biāo)代碼的邏輯；被配置為基于特定信標(biāo)代碼，標(biāo)識(shí)與特定信標(biāo)代碼相關(guān)聯(lián)的特定信標(biāo)的邏輯；被配置為基于所存儲(chǔ)的信息，標(biāo)識(shí)特定信標(biāo)的位置以提供當(dāng)前位置信息的邏輯，所存儲(chǔ)的信息標(biāo)識(shí)信標(biāo)代碼和特定信標(biāo)在環(huán)境內(nèi)的相應(yīng)位置；被配置為基于預(yù)定行程信息，確定用戶期望到達(dá)的下一航點(diǎn)以提供下一航點(diǎn)信息的邏輯；被配置為基于當(dāng)前位置信息和下一航點(diǎn)信息，確定方向信息的邏輯；以及被配置為基于方向信息，生成引導(dǎo)信息的邏輯，引導(dǎo)信息輔助用戶到達(dá)下一航點(diǎn)。

根據(jù)第二十方面，計(jì)算機(jī)可讀指令還包括被配置為忽略從不是路線特定的信標(biāo)集合的成員的信標(biāo)發(fā)射的任何信標(biāo)信號(hào)的邏輯。

第二十一方面對(duì)應(yīng)于上述第一到第二十方面的任何組合(例如，任何置換或子集)。

根據(jù)第二十二方面，提供了用于實(shí)現(xiàn)第一至第二十一方面中任一方面的一個(gè)或多個(gè)計(jì)算設(shè)備(和/或一個(gè)或多個(gè)耳機(jī))。

根據(jù)第二十三方面，提供了一種用于實(shí)現(xiàn)第一至第二十一方面中任一方面的系統(tǒng)。

根據(jù)第二十四方面，提供一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括被配置為實(shí)現(xiàn)第一至第二十一方面中任一方面的邏輯。

根據(jù)第二十五方面，提供用于實(shí)現(xiàn)第一至第二十一方面中任一方面的一個(gè)或多個(gè)裝置。

此外，在結(jié)束時(shí)，本文中所描述的功能可以采用各種機(jī)構(gòu)來(lái)確保以符合適用的法律、社會(huì)規(guī)范以及個(gè)體用戶的期望和偏好的方式來(lái)處理任何用戶數(shù)據(jù)。例如，功能可以允許用戶明確地選擇(并且然后明確地選擇退出)功能的規(guī)定。功能還可以提供合適的安全機(jī)構(gòu)(例如，數(shù)據(jù)清理機(jī)構(gòu)、加密機(jī)構(gòu)、密碼保護(hù)機(jī)構(gòu)等)，以確保用戶數(shù)據(jù)的隱私。

此外，盡管以結(jié)構(gòu)特征和/或方法動(dòng)作專用的語(yǔ)言描述了主題，但是應(yīng)當(dāng)理解，所附權(quán)利要求中定義的主題不一定限于上述具體特征或動(dòng)作。相反，上面描述的具體特征和動(dòng)作被公開作為實(shí)現(xiàn)權(quán)利要求的示例形式。