可佩戴的基于行為的視覺系統(tǒng)的制作方法
【專利說明】可佩戴的基于行為的視覺系統(tǒng)
[0001] 背景
[0002] 混合現(xiàn)實(shí)是一種允許在顯示器中將虛擬影像與現(xiàn)實(shí)世界物理環(huán)境相混合的技術(shù)。 用于混合現(xiàn)實(shí)的系統(tǒng)可包括例如透視的頭戴式顯示器或內(nèi)置相機(jī)的智能手機(jī)。這樣的系統(tǒng) 通常包括在一個或多個應(yīng)用的控制下提供圖像的處理單元。
[0003] 基于行為的分析已被用于機(jī)器人技術(shù)中，作為用于對控制系統(tǒng)的動作進(jìn)行編程的 框架。行為機(jī)器人技術(shù)中的一些行為模型使用針對對象的分層規(guī)則集，其中諸如避免碰撞 之類的基本層行為是最基本的。行為是從演員或機(jī)器人的角度來聚集的，并且基礎(chǔ)行為被 用于生成高級控制系統(tǒng)。
[0004] 在基于行為的系統(tǒng)中，機(jī)器人控制器被組織為模塊（被稱為行為）集合，模塊接收 來自傳感器和/或其他行為的輸入、處理該輸入、以及將輸出發(fā)送給致動器和/或其他行 為。每個行為一般用于某個獨(dú)立功能，諸如避免障礙物或回到目標(biāo)位置?？刂破髦械乃?行為被并行執(zhí)行，同時地接收輸入以及生成輸出。

【發(fā)明內(nèi)容】

[0005] 描述了用于提供透視頭戴式顯示設(shè)備中的基于行為的視覺系統(tǒng)的技術(shù)。透視顯示 器裝置包括透視頭戴式顯示器以及該顯示器上的傳感器，該傳感器檢測所述裝置的視野中 的聲音和視覺數(shù)據(jù)。處理器與所述顯示器協(xié)作以使用基于行為的真實(shí)對象映射系統(tǒng)向所述 設(shè)備的佩戴者提供信息。至少創(chuàng)建相對于所述裝置的全局和以自我為中心的行為區(qū)域，并 且真實(shí)對象被指派映射到該對象所占據(jù)的各個區(qū)域的行為。被指派給對象的行為可由向佩 戴者提供服務(wù)的應(yīng)用所使用，該應(yīng)用使用該行為作為對要在裝置中提供的反饋的類型的評 估的基礎(chǔ)。
[0006] 提供概述以便以簡化形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念的選 集。本
【發(fā)明內(nèi)容】
并不旨在標(biāo)識出所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于 幫助確定所要求保護(hù)的主題的作用域。
[0007] 附圖簡述
[0008] 圖IA是描繪一系統(tǒng)環(huán)境中的具有可調(diào)整iro的透視、混合現(xiàn)實(shí)顯示設(shè)備的一個實(shí) 施例的示例組件的框圖，其中該設(shè)備可以在該系統(tǒng)環(huán)境中操作。
[0009] 圖IB是描繪具有可調(diào)整iro的透視、混合現(xiàn)實(shí)顯示設(shè)備的另一實(shí)施例的示例組件 的框圖。
[0010] 圖2A是示出延伸到一定距離處的注視點(diǎn)并朝對準(zhǔn)遠(yuǎn)IPD的方向延伸的注視向量 的示例的俯視圖。
[0011] 圖2B是示出延伸到一定距離處的注視點(diǎn)并朝對準(zhǔn)近IPD的方向延伸的注視向量 的示例的俯視圖。
[0012] 圖3是混合現(xiàn)實(shí)顯示設(shè)備的眼鏡實(shí)施例中提供對硬件和軟件組件的支持的眼鏡 腿的側(cè)視圖。
[0013] 圖4是混合現(xiàn)實(shí)顯示設(shè)備的實(shí)施例中提供對硬件和軟件組件的支持和對微顯示 器部件的三維調(diào)整的眼鏡腿的側(cè)視圖。
[0014] 圖5A是透視、近眼、混合現(xiàn)實(shí)設(shè)備的可活動的顯示光學(xué)系統(tǒng)14的實(shí)施例的俯視 圖。
[0015] 圖5B是透視、近眼、混合現(xiàn)實(shí)設(shè)備的包括注視檢測元件的安排的可活動顯示光學(xué) 系統(tǒng)的另一實(shí)施例的俯視圖。
[0016] 圖5C是透視、近眼、混合現(xiàn)實(shí)設(shè)備的包括注視檢測元件的安排的可活動顯示光學(xué) 系統(tǒng)的第三實(shí)施例的俯視圖。
[0017] 圖是透視、近眼、混合現(xiàn)實(shí)設(shè)備的包括注視檢測元件的安排的可活動顯示光學(xué) 系統(tǒng)的第四實(shí)施例的俯視圖。
[0018] 圖6A是與透視、頭戴式顯示設(shè)備相關(guān)聯(lián)的處理單元的硬件和軟件組件的一個實(shí) 施例的框圖。
[0019] 圖6B是描述處理單元4的各組件的框圖。
[0020] 圖7描繪了用戶的觸摸區(qū)域、自我為中心的區(qū)域以及全局區(qū)域。
[0021] 圖8描繪了包括具有基于行為的視覺系統(tǒng)的處理環(huán)境和支持的計(jì)算服務(wù)的系統(tǒng) 的各功能組件。
[0022] 圖9是解說用于提供基于行為的視覺系統(tǒng)的過程的流程圖。
[0023] 圖10是解說基于行為的視覺系統(tǒng)中的用戶警告應(yīng)用的流程圖。
[0024] 圖11解說了基于行為的視覺系統(tǒng)中的用戶警告應(yīng)用所提供的用戶界面。
[0025] 圖12是解說基于行為的視覺系統(tǒng)中的用戶導(dǎo)航應(yīng)用的流程圖。
[0026] 圖13解說了基于行為的視覺系統(tǒng)中的用戶導(dǎo)航應(yīng)用所提供的用戶界面。
[0027] 圖14是第一示例性處理設(shè)備的框圖。
[0028] 圖15是另一示例性處理設(shè)備的框圖。
【具體實(shí)施方式】
[0029] 此處所描述的技術(shù)包括透視頭戴式顯示器設(shè)備，該設(shè)備為佩戴者提供基于行為的 視覺系統(tǒng)，其中系統(tǒng)可相對于一個或多個用戶或全局區(qū)域評估真實(shí)對象。行為是佩戴者與 真實(shí)對象的交互的核心級行為動作。對象可被映射到一個或多個區(qū)域，并且根據(jù)相對于地 理位置或設(shè)備場景映射的位置來標(biāo)識。具有映射的行為的對象可被系統(tǒng)應(yīng)用用于為佩戴者 提供環(huán)境反饋。
[0030] 基于行為的系統(tǒng)提供了允許應(yīng)用開發(fā)者基于真實(shí)對象定義來創(chuàng)建各種類型的應(yīng) 用來向客戶端提供服務(wù)的框架。本技術(shù)可被實(shí)現(xiàn)在能夠向用戶提供反饋的各種類型的視覺 系統(tǒng)中，但是在本公開中，本技術(shù)是結(jié)合在透視、混合顯示顯示器設(shè)備中的使用來討論的。
[0031] 圖1-6解說了適用于實(shí)現(xiàn)本系統(tǒng)的示例性透視、混合現(xiàn)實(shí)顯示設(shè)備。
[0032] 圖IA是描繪一系統(tǒng)環(huán)境中的透視、混合現(xiàn)實(shí)顯示設(shè)備的一個實(shí)施例的示例組件 的框圖，其中該設(shè)備可以在該系統(tǒng)環(huán)境中操作。在一個實(shí)施例中，該技術(shù)實(shí)現(xiàn)透視、近眼顯 示設(shè)備。在其他實(shí)施例中，可使用不同類型的透視顯示設(shè)備。系統(tǒng)10包括作為通過線6與 處理單元4進(jìn)行通信的近眼、頭戴式顯示設(shè)備2的透視顯示設(shè)備。在其他實(shí)施例中，頭戴式 顯示設(shè)備2通過無線通信來與處理單元4進(jìn)行通信。處理單元4可以采取各種實(shí)施例。在 一些實(shí)施例中，處理單元4是可以佩戴在佩戴者的身體（例如，在所示示例中的腕）上或置 于口袋中的分開的單元，并且包括用于操作近眼顯示設(shè)備2的計(jì)算能力中的大部分能力。 處理單元4可以與一個或多個計(jì)算系統(tǒng)、熱點(diǎn)、蜂窩數(shù)據(jù)網(wǎng)絡(luò)等無線地（例如，WiFi、藍(lán)牙、 紅外、或其他無線通信手段）通信。在其它實(shí)施例中，處理單元4的功能可被集成在顯示設(shè) 備2的軟件和硬件組件中。
[0033] 透視頭戴式顯示設(shè)備2(在一個實(shí)施例中它是帶鏡架115的眼鏡的形狀）被佩戴 在佩戴者的頭上，使得佩戴者可以透視顯示器（在該示例中該顯示器被實(shí)現(xiàn)為用于每一只 眼睛的顯示光學(xué)系統(tǒng)14)，并且從而具有對該佩戴者前方的空間的實(shí)際直接視圖。使用術(shù)語 "實(shí)際直接視圖"來指直接用人眼看到真實(shí)世界對象，而非看到所創(chuàng)建的對象的圖像表示的 能力。例如，透過眼鏡看房間將允許佩戴者得到該房間的實(shí)際直接視圖，而在電視機(jī)上查看 房間的視頻不是該房間的實(shí)際直接視圖?；趫?zhí)行軟件（例如，游戲應(yīng)用）的上下文，該系 統(tǒng)可以將虛擬對象的圖像（有時稱為虛擬圖像或全息圖）投影在可由佩戴該透視顯示設(shè)備 的人觀看的顯示器上，同時該人還透過該顯示器觀看現(xiàn)實(shí)世界對象。
[0034] 框架115提供用于將該系統(tǒng)的各元件保持在原位的支承體以及用于電連接的管 道。在該實(shí)施例中，鏡架115提供了便利的眼鏡架作為下面進(jìn)一步討論的系統(tǒng)的各元件的 支撐體。在其他實(shí)施例中，可以使用其他支承結(jié)構(gòu)。這樣的結(jié)構(gòu)的示例是遮罩、帽子、頭盔 或護(hù)目鏡。鏡架115包括用于擱置在佩戴者的每一耳部的鏡腿或側(cè)臂。鏡腿102代表右鏡 腿的實(shí)施例，并且包括顯示設(shè)備2的控制電路136。鏡架的鼻梁104包括用于記錄聲音并向 處理單元4傳送音頻數(shù)據(jù)的話筒110。
[0035] 圖IB是描繪透視、混合現(xiàn)實(shí)顯示設(shè)備的另一實(shí)施例的示例組件的框圖。在一些實(shí) 施例中，處理單元4是可佩戴在佩戴者的身體（例如手腕）上的單獨(dú)單元，或者可以是諸如 移動設(shè)備（例如，智能電話）等單獨(dú)設(shè)備。處理單元4可通過通信網(wǎng)絡(luò)50與無論位于附近 還是位于遠(yuǎn)程位置的一個或多個計(jì)算系統(tǒng)12有線地或無線地通信（例如，WiFi、藍(lán)牙、紅 外、RFID傳輸、無線通用串行總線（USB)、蜂窩、3G、4G或其它無線通信裝置）。在其他實(shí)施 例中，處理單元4的功能可被集成在顯示設(shè)備2的軟件和硬件組件中。
[0036] 可以充分利用一個或多個遠(yuǎn)程的、網(wǎng)絡(luò)可訪問的計(jì)算機(jī)系統(tǒng)12來作為處理能力 和遠(yuǎn)程數(shù)據(jù)訪問。圖16示出了計(jì)算系統(tǒng)12的硬件組件的示例。應(yīng)用可以在計(jì)算機(jī)系統(tǒng)12 上執(zhí)行，其與在透視、增強(qiáng)現(xiàn)實(shí)顯示系統(tǒng)10中的一個或多個處理器上執(zhí)行的應(yīng)用進(jìn)行交互 或?yàn)槠鋱?zhí)行處理。例如，3D地圖繪制應(yīng)用可以在所述一個或多個計(jì)算機(jī)系統(tǒng)12和佩戴者的 顯示系統(tǒng)10上執(zhí)行。
[0037] 另外，在一些實(shí)施例中，在相同環(huán)境中或相互通信的其他透視、頭戴式顯示系統(tǒng)10 上執(zhí)行的應(yīng)用在各設(shè)備間的對等配置中實(shí)時地共享數(shù)據(jù)更新（例如，對象標(biāo)識和真實(shí)對象 的遮擋體之類的遮擋數(shù)據(jù)）或?qū)?shù)據(jù)更新到在一個或多個網(wǎng)絡(luò)可訪問的計(jì)算系統(tǒng)中執(zhí)行 的對象管理服務(wù)。
[0038] 在一些示例中共享的數(shù)據(jù)可相對于設(shè)備2可訪問的一個或多個參照坐標(biāo)系來被 參考。在其他示例中，一個頭戴式顯示（HMD)設(shè)備可以從另一個HMD設(shè)備接收數(shù)據(jù)，包括圖 像數(shù)據(jù)或從圖像數(shù)據(jù)導(dǎo)出的數(shù)據(jù)、發(fā)送HMD的位置數(shù)據(jù)（例如給出相對位置的GPS或IR數(shù) 據(jù)）、及朝向數(shù)據(jù)。在HMD間共享的數(shù)據(jù)的示例是深度圖數(shù)據(jù)，該深度圖數(shù)據(jù)包括由其面向 前的相機(jī)113捕捉到的圖像數(shù)據(jù)和深度數(shù)據(jù)、對象標(biāo)識數(shù)據(jù)以及深度圖中各真實(shí)對象的遮 擋體。真實(shí)對象可能仍是未被標(biāo)識的，或者已被HMD設(shè)備上執(zhí)行的軟件或者支持計(jì)算機(jī)系 統(tǒng)（例如，12或另一顯示系統(tǒng)10)識別。
[0039] 環(huán)境的一個示例是佩戴者所在的現(xiàn)實(shí)場所的360度可視部分。佩戴者可能在看其 環(huán)境中作為其視野的子集。例如，房間是一環(huán)境。一人可能在家里，并且在廚房正看著冰箱 的頂架。冰箱的頂架在他的顯示器視野內(nèi)，廚房是他的環(huán)境，但是他樓上的臥室并不是他當(dāng) 前環(huán)境的一部分，因?yàn)閴Ρ诤吞旎ò遄钃趿怂榭礃巧系呐P室。當(dāng)然，隨著他移動，他的環(huán) 境改變。環(huán)境的一些其他示例可以是球場、街道場所、商店的一部分、咖啡店的顧客區(qū)域等。 場所可以包括多個環(huán)境，例如家可以是一個場所。佩戴者及其朋友可能正佩戴著他們的顯 示設(shè)備系統(tǒng)玩游戲，這在家里的任何地方發(fā)生。隨著每一玩家在家中到處移動，其環(huán)境改變 了。類似地，圍繞若干街區(qū)的周界可以是場所，并且在不同的十字路口進(jìn)入視圖時，不同的 交叉路口提供不同的環(huán)境來查看。在一些實(shí)例中，場所還可以是取決于場所跟蹤傳感器或 數(shù)據(jù)的精度的環(huán)境。
[0040] 圖2A是示出延伸到一定距離處的注視點(diǎn)并朝對準(zhǔn)遠(yuǎn)瞳孔間距（IPD)的方向延伸 的注視向量的示例的俯視圖。圖2A示出在注視點(diǎn)處相交的注視向量的示例，其中佩戴者的 眼睛有效地聚焦在無限遠(yuǎn)處（例如五（5)英尺以外），或換言之，示出了在佩戴者正看向正 前方時的注視向量的示例?；贕ullstrand示意眼模型示出了每只眼睛的眼球1601、160r 的模型。對于每只眼睛，眼球160被建模成具有旋轉(zhuǎn)中心166的球，并且包括也被建模成球 且具有中心164的角膜168。角膜隨著眼球旋轉(zhuǎn)，并且眼球的旋轉(zhuǎn)中心166可被當(dāng)作固定 點(diǎn)。角膜覆蓋虹膜170,瞳孔162處于虹膜170的中心。在這個示例中，在各個角膜的表面 172上是閃光174和176。
[0041] 在圖2A所示的實(shí)施例中，傳感器檢測區(qū)域139(1391和139r)與眼鏡架115內(nèi)的 每一顯示光學(xué)系統(tǒng)14的光軸相對準(zhǔn)。在該示例中，與該檢測區(qū)域相關(guān)聯(lián)的傳感器是能夠捕 捉表示分別由鏡架115左側(cè)的照明器153a和153b生成的閃光1741和1761的圖像數(shù)據(jù)以 及表示分別由