專利名稱：具有虹膜掃描剖析的頭戴式顯示器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及頭戴式顯示器。
背景技術(shù)：
頭戴式顯示器和雙目鏡是其中存在用于供用戶雙眼各自查看場景的光學(xué)系統(tǒng)的雙眼查看系統(tǒng)的示例。增強現(xiàn)實(AR)涉及提供經(jīng)增強的真實世界環(huán)境，其中用計算機生成的虛擬數(shù)據(jù)來增強或修改對真實世界環(huán)境(或表示真實世界環(huán)境的數(shù)據(jù))的感知。例如，可使用諸如相機或話筒等傳感輸入設(shè)備實時地捕捉表示真實世界環(huán)境的數(shù)據(jù)，并用包括虛擬圖像和虛擬聲音的計算機生成的虛擬數(shù)據(jù)來增強該數(shù)據(jù)。虛擬數(shù)據(jù)還可包括與真實世界環(huán)境有關(guān)的信息，諸如與真實世界環(huán)境中的真實世界物體相關(guān)聯(lián)的文本描述。AR環(huán)境可用于增強包括視頻游戲、繪圖、導(dǎo)航以及移動設(shè)備應(yīng)用等多種應(yīng)用。
一些AR環(huán)境啟用對真實物體(S卩，存在于特定的真實世界環(huán)境中的物體)與虛擬物體(即，不存在于特定的真實世界環(huán)境中的物體)之間的實時交互的感知。正確地對準頭戴式顯示器改善AR系統(tǒng)使用該顯示器以將虛擬物體逼真地集成到該顯示器的AR環(huán)境中的能力。發(fā)明內(nèi)容
提供啟用具有眼睛成像技術(shù)的透視頭戴式顯示器以通過自動地參考用戶簡檔來優(yōu)化該顯示器性能的技術(shù)。通過執(zhí)行對用戶的虹膜掃描和識別來確定用戶的身份，使得用戶簡檔信息能夠被檢索并用于增強用戶佩戴透視頭戴式顯示器的體驗。用戶簡檔可包含用戶偏好以及顯示調(diào)整信息，該用戶偏好是關(guān)于向透視頭戴式顯示器提供增強現(xiàn)實圖像的服務(wù)的，該顯示調(diào)整信息優(yōu)化透視頭戴式顯示器中的顯示元件的位置。
一方面，一種控制透視頭戴式顯示設(shè)備的方法包括用透視、近眼、混合現(xiàn)實顯示器來提供對用戶的至少一只眼睛進行成像的圖像。該顯示器包括用于每只眼睛的光學(xué)系統(tǒng)和顯示器，該光學(xué)系統(tǒng)包括生成眼睛的圖像數(shù)據(jù)的至少一個傳感器。該方法確定至少一只眼睛的虹膜圖像中的圖案，并基于該圖案將用戶簡檔信息與該用戶相關(guān)聯(lián)以標識該用戶。隨后基于用戶簡檔中的用戶偏好來操作該設(shè)備，以在顯示光學(xué)系統(tǒng)中向用戶提供增強現(xiàn)實圖像。
提供本發(fā)明內(nèi)容以便以簡化形式介紹將在以下詳細描述中進一步描述的一些概念。本發(fā)明內(nèi)容并非旨在標識所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。


圖1A是佩戴透視HMD的用戶所看到的視野的一個實施例。
圖1B是描繪透視、混合現(xiàn)實顯示設(shè)備的另一實施例的示例組件的框圖。
圖2是示出根據(jù)本發(fā)明技術(shù)的方法的流程圖。
圖3A是示出虹膜掃描過程的流程圖。
圖3B示出了眼睛的虹膜圖像。
圖3C是描繪虹膜掃描識別過程的流程圖。
圖4是示出創(chuàng)建用戶簡檔過程的流程圖。
圖5A是示出基于虹膜掃描來設(shè)置用戶配置并用用戶簡檔設(shè)置來操作設(shè)備的方法 的流程圖。
圖5B是示出確定用于用戶瞳孔間距的用戶設(shè)備偏好設(shè)置的方法的流程圖。
圖6A是基于所捕捉的數(shù)據(jù)自動地確定用戶IPD的方法的流程圖。
圖6B示出了用于基于每只眼睛的瞳孔的圖像格式的圖像數(shù)據(jù)來將透視、近眼、混 合現(xiàn)實顯示設(shè)備與用戶iro對準的方法。
圖6C是確定至少一個調(diào)整值的過程的流程圖。
圖7A和7B是描繪具有可調(diào)整IPD的透視、混合現(xiàn)實顯示設(shè)備的實施例的示例組 件的框圖。
圖8A示出被實現(xiàn)為具有包括注視檢測元件的活動顯示光學(xué)系統(tǒng)的眼鏡的透視頭 戴式顯示器的示例性安排。
圖SB示出被實現(xiàn)為具有包括注視檢測元件的活動顯示光學(xué)系統(tǒng)的眼鏡的透視頭 戴式顯示器的另一個示例性安排。
圖SC示出被實現(xiàn)為具有包括注視檢測元件的活動顯示光學(xué)系統(tǒng)的眼鏡的透視頭 戴式顯不器的又一個不例性安排。
圖9A是混合現(xiàn)實顯示設(shè)備的實施例中的提供對硬件和軟件組件的支持的眼鏡腿 的側(cè)視圖。
圖9B是混合現(xiàn)實顯示設(shè)備的實施例中的提供對硬件和軟件組件的支持和對微顯 示器部件的三維調(diào)整的眼鏡腿的側(cè)視圖。
圖1OA是透視、近眼、混合現(xiàn)實設(shè)備的包括注視檢測元件的安排的活動顯示光學(xué) 系統(tǒng)的實施例的俯視圖。
圖1OB是透視、近眼、混合現(xiàn)實設(shè)備的包括注視檢測元件的安排的活動顯示光學(xué) 系統(tǒng)的另一實施例的俯視圖。
圖1OC是透視、近眼、混合現(xiàn)實設(shè)備的包括注視檢測元件的安排的活動顯示光學(xué) 系統(tǒng)的第三實施例的俯視圖。
圖1OD是透視、近眼、混合現(xiàn)實設(shè)備的包括注視檢測元件的安排的活動顯示光學(xué) 系統(tǒng)的第四實施例的俯視圖。
圖11是可與一個或多個實施例一同使用的透視、近眼顯示單元的硬件和軟件組 件的一個實施例的框圖。
圖13是可以在本發(fā)明技術(shù)的各實施例中操作的示例性移動設(shè)備的框圖。
圖14是描繪可用于實現(xiàn)中樞計算系統(tǒng)的計算系統(tǒng)的一個實施例的框圖。
具體實施方式
呈現(xiàn)本技術(shù)以利用其上使用相機技術(shù)的透視頭戴式顯示器來執(zhí)行對用戶的虹膜 掃描和識別以使得用戶簡檔信息能夠被檢索并增強用戶佩戴透視頭戴式顯示器的體驗。用戶簡檔可包含用戶偏好以及顯示調(diào)整信息，該用戶偏好是關(guān)于向透視頭戴式顯示器提供增 強現(xiàn)實圖像的服務(wù)的，該顯示調(diào)整信息優(yōu)化透視頭戴式顯示器中的顯示元件的位置。
圖1A描繪了佩戴參考圖1B、7A和7B示出和描述的透視頭戴式設(shè)備150的用戶所 看到的視野的一個實施例。用戶在視野內(nèi)既可看到真實物體也可看到虛擬物體。真實物體 可包括椅子16和中樞計算系統(tǒng)10和顯示器。虛擬物體可包括虛擬怪物17。由于通過HMD 的透視透鏡所感知的虛擬怪物17被顯示或覆蓋在真實世界環(huán)境中，因此用戶可感覺到虛 擬怪物17存在于真實世界環(huán)境內(nèi)。
該環(huán)境包括兩個頭戴式顯示設(shè)備150 (I)和150 (2)。中樞計算系統(tǒng)10可包括計 算環(huán)境12、一個或多個捕捉設(shè)備21、和顯示器11，它們彼此通信。計算環(huán)境12可以包括一 個或多個處理器。捕捉設(shè)備21可以包括顏色或深度傳感相機，該相機可以用于在視覺上監(jiān) 控包括特定環(huán)境內(nèi)的人以及一個或多個其他物體的一個或多個目標。在一個示例中，捕捉 設(shè)備21可以包括RGB或深度相機，并且計算環(huán)境12可以包括機頂盒或游戲控制臺。中樞 計算系統(tǒng)10可支持多個頭戴式顯示器。
如圖1A所示，用戶28佩戴透視頭戴式顯示器18150 (1)，并且用戶29佩戴透視 頭戴式顯示器19150 (2)。所佩戴的透視頭戴式顯示器150 (I)和150 (2)可從此處描述 的多個處理設(shè)備(包括中樞計算系統(tǒng)10)中的任一個接收虛擬數(shù)據(jù)，使得虛擬物體如通過相 應(yīng)的移動設(shè)備所顯示的那樣被感覺存在于視野內(nèi)。例如，如用戶28通過透視頭戴式顯示器(I)所看到的，虛擬物體被顯示為虛擬怪物17的背面(未示出)。如用戶29通過透視頭戴式 顯示器150 (I)所看到的，虛擬物體被顯示為出現(xiàn)在椅子16背面上方的虛擬怪物17的正 面。
圖1B示出了用于實現(xiàn)本技術(shù)的透視頭戴式顯示器150和系統(tǒng)的實施例的框圖。頭 戴式顯示設(shè)備150將被耦合到處理單元20，該處理單元可包括此處所公開的處理設(shè)備中的 任一個，包括但不限于下面所討論的處理單元4、移動設(shè)備5、或中樞計算系統(tǒng)12。顯示處理 器可包括網(wǎng)絡(luò)接口 25、處理器26和存儲器27，其中存儲器27包括一個或多個應(yīng)用30并存 儲用戶簡檔信息280。應(yīng)用30可存在于顯示處理器的存儲器27內(nèi)，并向用戶提供覆蓋在透 視頭戴式設(shè)備的顯示器中的信息。如下所述，顯示處理器將通過多個各種手段中的任一個 被耦合到頭戴式顯示設(shè)備150。處理單元20與諸如因特網(wǎng)等網(wǎng)絡(luò)80交互，使用網(wǎng)絡(luò)接口 25 來將頭戴式顯示設(shè)備150與例如提供用于顯示應(yīng)用30的數(shù)據(jù)的增強現(xiàn)實服務(wù)90相耦合。
增強現(xiàn)實服務(wù)90可提供一個或多個服務(wù)器92，該服務(wù)器92提供圖像數(shù)據(jù)、備選的 信息顯示應(yīng)用35、用戶定位服務(wù)34以供顯示應(yīng)用30使用。補充信息提供者本身可創(chuàng)建并 提供補充事件數(shù)據(jù)或提供服務(wù)，該服務(wù)將事件數(shù)據(jù)從第三方事件數(shù)據(jù)提供者傳輸?shù)接脩舻?透視頭戴式顯示器。多個補充信息提供者和第三方事件數(shù)據(jù)提供者可與本技術(shù)一同使用。
處理器26可執(zhí)行程序指令以實現(xiàn)應(yīng)用30和此處描述的其他服務(wù)。處理單元20 可包括此處描述的處理設(shè)備的示例中的任一個。
圖1B示出了示例性用戶簡檔280。如圖1B所示，用戶簡檔280可被存儲在與顯示 設(shè)備150相關(guān)聯(lián)的處理單元20上，或由增強現(xiàn)實服務(wù)90來存儲。簡檔280可包括增強現(xiàn) 實服務(wù)90所提供的服務(wù)中任一個的登錄信息、服務(wù)偏好信息、信息過濾器信息、用戶設(shè)備 物理設(shè)置、和用戶設(shè)備操作設(shè)置。
增強現(xiàn)實服務(wù)90可提供利用透視頭戴式顯示設(shè)備150的多個服務(wù)中的任一個。這些服務(wù)的示例包括基于事件的實時信息服務(wù)(如美國專利申請序列號13/112，919、題 為 “EVENT AUGMENTATION WITH REAL-TIMEINFORMATION (具有實時信息的事件增強)”中 描述的示例)、生活雷達跟蹤服務(wù)(如美國專利申請序列號12/818，106、題為“CONTEXTUAL BASEDINFORMATION AGGREGATION SYSTEM (基于上下文的信息聚集系統(tǒng))”中描述的示例)、 和生活流傳輸服務(wù)(如美國專利申請序列號13/031，033、題為“LIFE STREAMING (生活流傳 輸)”中描述的示例)，這些服務(wù)通過引用專門包含于此。對于每個服務(wù)，可向用戶要求登錄 信息以保護用戶的安全和隱私，以及向服務(wù)標識用戶。服務(wù)偏好信息可包括所提供的服務(wù) 專用的用戶指定的服務(wù)性能偏好。信息過濾器信息可包括對用戶希望在透視頭戴式顯示器 中顯示的信息類型的限制。設(shè)備物理設(shè)置可包括下面進一步描述的定位信息，以相對于用 戶的注視來正確地對準透視頭戴式顯示設(shè)備，來向用戶正確地顯示虛擬物體。設(shè)備操作設(shè) 置可包括用戶在佩戴設(shè)備時所偏好的亮度、對比度和其他設(shè)置。
每個用戶簡檔可包括前面提到的類型的信息的全部或子集。例如當有限數(shù)量的常 規(guī)用戶一貫地使用設(shè)備150時，用戶簡檔可被存儲在處理單元20上。簡檔280可與服務(wù)90 一同存儲以向任一潛在的透視頭戴式顯示器150標識用戶，該透視頭戴式顯示器150可訪 問服務(wù)90，從而允許用戶與可訪問服務(wù)90的任一設(shè)備150交互以獲得跨各種不同設(shè)備的相 同用戶體驗。
根據(jù)本技術(shù)，透視頭戴式顯示器150的系統(tǒng)允許將用戶身份與用戶簡檔一同存 儲，使得通過佩戴透視頭戴式顯示器150可以自動地確定用戶的身份，檢索用戶的簡檔并 根據(jù)用戶簡檔來調(diào)整用戶體驗。各個示例在下文中引用。一方面，自動地訪問用于與一個 或多個增強現(xiàn)實服務(wù)交互的用戶偏好信息。另一方面，自動地作出用戶的各個物理設(shè)備調(diào)難iF. O
用戶身份信息37可被存儲在處理單元20上，或與增強現(xiàn)實應(yīng)用服務(wù)90 —同存 儲，或二者皆有。當用戶佩戴透視頭戴式顯示器150時，可使用此處公開的透視頭戴式顯示 器150的眼睛捕捉技術(shù)來執(zhí)行用戶識別，以執(zhí)行對用戶的虹膜掃描從而確立用戶的身份。 一方面，該系統(tǒng)可使用用戶身份根據(jù)用戶已存儲的偏好來自動地調(diào)整透視頭戴式顯示器和 增強現(xiàn)實服務(wù)。一方面，用戶簡檔可用于自動地調(diào)整透視頭戴式顯示器150的顯示元件的 瞳孔間距。瞳孔間距(Iro)通常指的是用戶的瞳孔之間的水平距離。本技術(shù)規(guī)定iro可包 括垂直或高度維度。此外，還可在iro數(shù)據(jù)中存儲從顯示光學(xué)系統(tǒng)到相應(yīng)眼睛的深度距離。 可監(jiān)視該深度距離以檢測顯示設(shè)備相對于用戶眼睛的移動，并觸發(fā)iro對準檢查。在一個 實施例中，用戶簡檔數(shù)據(jù)280可僅被存儲在諸如顯示處理器20等本地設(shè)備上。作為對簡檔 數(shù)據(jù)的本地設(shè)備存儲的替換或結(jié)合對簡檔數(shù)據(jù)的本地設(shè)備存儲，身份和簡檔信息280可與 備選的現(xiàn)實服務(wù)90 —同存儲。在一個實施例中，不提供服務(wù)并且在本地存儲全部信息。
用戶簡檔信息可包括iro數(shù)據(jù)集。所存儲的iro數(shù)據(jù)集至少可被用作用來開始IPD 對準檢查的顯示設(shè)備的初始設(shè)置。在一些實施例中，一個或多個處理器將每一光軸的位置 存儲在Iro數(shù)據(jù)集中。用戶的iro可以是非對稱的。每一顯示光學(xué)系統(tǒng)的顯示調(diào)整機構(gòu)的 始自初始位置的調(diào)整值可被保存在iro數(shù)據(jù)集中。顯示調(diào)整機構(gòu)的初始位置可以具有相對 于不動的鏡架部分的固定位置。另外，可基于到鼻梁上的點的固定位置以及調(diào)整值來為每 只眼睛估計相應(yīng)瞳孔到用戶鼻子的位置向量。每一眼睛的這兩個位置向量至少提供水平距 離分量，并且也可包括垂直距離分量。一個或多個方向上的瞳孔間距iro可以從這些距離分量中導(dǎo)出。另外，iro數(shù)據(jù)集可包括用于眼睛跟蹤的任意個人校準(例如，估計角膜半徑、 視軸距離光軸的偏移等)的結(jié)果，以避免用戶必須校準不止一次。
透視頭戴式顯示器包括具有光軸、被定位以由用戶每只眼睛透視的顯示光學(xué)系 統(tǒng)。在每一顯示光學(xué)系統(tǒng)的光軸與相應(yīng)瞳孔對準時，最近的顯示設(shè)備與用戶的iro對準。 通過使具有檢測區(qū)域的至少一個傳感器被定位成沿著光軸接收從眼睛反射的光，可根據(jù) 在預(yù)定的距離和方向處顯示虛擬物體(通過光軸以供測量IPD)期間所捕捉的反射光數(shù)據(jù) 來確定每一顯示光學(xué)系統(tǒng)的光軸與每一相應(yīng)瞳孔的對準。虛擬物體可看起來像真實的物 體，如圖像中的蘋果或朋友。雖然蘋果或朋友可能看起來位于你面前的三維空間中并位 于實際上在你面前的真實世界物體上，但蘋果或朋友實際上并不在你真實世界的視野中。 如果每一瞳孔沒有在一準則內(nèi)與光軸對準，則相應(yīng)顯示光學(xué)系統(tǒng)被調(diào)整，直至對準滿足一 準則為止。準則的示例是距離，例如lmm。以下各項中公開了能夠檢測注視、IB)和自動 調(diào)整的示例性透視頭戴式顯示器轉(zhuǎn)讓給本申請的受讓人并于2011年8月30日提交的 (代理人檔案號是01466)、共同待審申請序列號為、題為“GAZE DETECTION IN A NEAR-EYE DISPLAY (近眼顯示器中的注視檢測)”、發(fā)明人是John R. Lewis, Yichen Wei, Robert L. Crocco, Benjaminl. Vaught, Alex Aben-Athar Kipman 和 Kathryn Stone Perez ;轉(zhuǎn)讓給 本申請的受讓人并于2011年8月30日提交的(代理人檔案號是01467)、共同待審申請序 列號為、題為 “ADJUSTMENT OF A MIXED REALITY DISPLAY FORINTER-PUPILLARY DISTANCE ALIGNMENT (調(diào)整混合現(xiàn)實顯示器以供瞳孔間距對準)”、發(fā)明人是John R. Lewis, Kathryn Stone Perez, Robert L. Crocco 和 Alex Aben-Athar Kipman ;轉(zhuǎn)讓給本申請的受讓人 并于2011年8月30日提交的(代理人檔案號是01469)、共同待審申請序列號為、題為 “ALIGNINGINTER-PUPILLARY DISTANCE IN A NEAR-EYE DISPLAY SYSTEM (在近眼顯示器 系統(tǒng)中對準瞳孔間距)”、發(fā)明人是 John R. Lewis, Yichen Wei, Robert L. Crocco, Benjamin1. Vaught, Kathryn Stone Perez, Alex Aben-Athar Kipman,全部文件通過引用包含于此。
在下面描述的實施例中，每一顯示光學(xué)系統(tǒng)被定位在支撐結(jié)構(gòu)內(nèi)，該支撐結(jié)構(gòu)在 位置上可由顯示調(diào)整機構(gòu)來調(diào)整。在很多示例中，該調(diào)整在處理器的控制下自動地執(zhí)行。例 如，一個以上方向上的調(diào)整可由一組馬達來執(zhí)行，馬達可垂直地、水平地或在深度方向上移 動顯示光學(xué)系統(tǒng)。在其他實施例中，顯示調(diào)整機構(gòu)是用戶啟動以根據(jù)所顯示的指令或音頻 指令來定位顯示光學(xué)系統(tǒng)的機械顯示調(diào)整機構(gòu)。在下面示出的某些示例中，對機械顯示調(diào) 整機構(gòu)的控制被校準，使得每次啟動對應(yīng)于要將顯示光學(xué)系統(tǒng)在特定的方向上移動的距離 單位。
由于用戶身份信息37可包括面臨一個或多個隱私條款和考慮的信息，因此可作 出努力來以加密格式存儲虹膜信息。例如，可將對用戶身份數(shù)據(jù)的每次掃描作為與用戶簡 檔信息280相關(guān)聯(lián)的加密散列來存儲，并且丟棄虹膜掃描的圖像數(shù)據(jù)。這將確保用戶實際 的虹膜數(shù)據(jù)不被存儲，但簡檔信息可在接下來的掃描期間被檢索。
圖2是示出依照本技術(shù)的標識用戶過程的流程圖。在202，該過程通過多個各種手 段中任一個來初始化。用戶可佩戴透視頭戴式顯示器并且該過程可自動開始，該過程可在 STHMD 一檢測到虹膜圖像時或當用戶選擇輸入方法(諸如，點擊物理按鈕以啟動該過程)時 開始。在204，執(zhí)行用戶虹膜掃描。下面討論虹膜掃描過程。
在206，將虹膜掃描的結(jié)果與用戶簡檔數(shù)據(jù)存儲進行比較，以確定所掃描的虹膜圖案與同用戶簡檔相關(guān)聯(lián)的所存儲的虹膜圖案之間是否存在匹配。在一個實施例中，206處的 比較可相對于在顯示處理器存儲器27中本地存儲的簡檔數(shù)據(jù)而發(fā)生。如果未在本地處理 設(shè)備上發(fā)現(xiàn)簡檔信息，則在服務(wù)90中檢查身份和簡檔信息。在一個實施例中，不提供服務(wù) 并且在本地存儲全部信息。如果在208發(fā)現(xiàn)了簡檔，則用戶簡檔配置設(shè)置被用于基于用戶 簡檔來配置透視頭戴式顯示器。如果在208未發(fā)現(xiàn)簡檔，則可在212創(chuàng)建簡檔并在214存 儲該簡檔。存儲可包括將簡檔存儲在處理單元20上，或與增強現(xiàn)實服務(wù)提供者90 —同存 儲。注意，對用戶簡檔的創(chuàng)建和存儲對用戶來說是可任選的。即，不要求用戶存儲用戶簡檔 就能使用增強現(xiàn)實服務(wù)90。
圖3A是示出掃描用戶的眼睛以確立用戶身份的過程204的流程圖?？扇芜x地在 步驟302，可以指導(dǎo)用戶(通過屏幕顯示或其他手段，如音頻信號)將他們的眼睛定位在特定 的位置，并睜大他們的眼睛以允許透視頭戴式顯示器的相機獲得虹膜的清晰視圖。在304， 使用透視頭戴式顯示器相機得到用戶眼睛的一個或多個圖像。在306，執(zhí)行虹膜識別處理。 在圖3A中示出示例性方法。在308，圖案確定算法用于確定用戶虹膜中的達到系統(tǒng)所要求 的準確程度的圖案。在一個實施例中，檢測基本圖案以便允許該系統(tǒng)在小數(shù)量的用戶之間 進行區(qū)分。在一個替換實施例中，利用更詳細的準確度水平來在較大數(shù)量的用戶之間進行 進一步區(qū)分。在310，圖案被輸出到圖案匹配引擎，以允許將該圖案與用戶簡檔進行匹配。
圖3B是對用戶虹膜的描繪。虹膜掃描使用對各個眼睛圖像的圖案識別技術(shù)。在 本技術(shù)中，下面討論的透視頭戴式顯示器實施例的虹膜識別相機系統(tǒng)和照明源創(chuàng)建虹膜圖 像。這些圖像可被轉(zhuǎn)換成虹膜的帶圖案的表示，以標識用戶?？墒褂每梢姽饣蚣t外線成像 技術(shù)。
圖3C是描繪虹膜識別過程的流程圖。在380，進行圖像增強處理。此處討論的透 視頭戴式顯示器中的圖像捕捉設(shè)備可獲得用戶眼睛的圖像。該圖像隨后可被處理以增強對 比度，減少噪聲，并從圖像中移除對識別來說不必要的元素。在382處，隔離虹膜區(qū)域。一 般而言，用于定位虹膜系統(tǒng)的方法利用圖像強度的一階導(dǎo)數(shù)來標出對應(yīng)于虹膜邊界的邊緣 位置。一般而言，多個虹膜識別算法中任一個可用于標識眼睛照片中虹膜與瞳孔的近似同 心圓的外邊界。一般而言，構(gòu)成瞳孔的虹膜內(nèi)邊界可通過利用瞳孔邊界實質(zhì)上是圓形邊緣 的事實來確定。瞳孔一般是深色的，而虹膜則較淺，帶有不同的著色。用于檢測瞳孔邊緣的 方法檢查尋找沿圓圈求和時亮度上的陡變和突變。在一個實施例中，計算瞳孔內(nèi)橢圓形的 輪廓積分，并計算該橢圓形軸向上的積分導(dǎo)數(shù)以增加軸的長度。同一方法可用于檢測眼瞼 邊界。
僅覆蓋虹膜的像素集隨后被變換成保留如下信息的圖案該信息對于在統(tǒng)計學(xué)上 有意義地比較兩個虹膜圖像是必要的。為了經(jīng)由標識(一對多模板匹配)或驗證(一對一模 板匹配)進行認證，將通過對虹膜成像所創(chuàng)建的模板與數(shù)據(jù)庫中所存儲的值模板進行比較。
在384，使用一個或多個算法來計算匹配的圖案。圖案匹配包括使新獲得的虹膜圖 案與候選數(shù)據(jù)庫條目在空間上對準，選擇使其區(qū)別圖案明顯的經(jīng)對準的虹膜圖案的表示， 評估候選項與數(shù)據(jù)庫表示之間的匹配的良好性，并決定匹配的成功性。存在許多用于發(fā)現(xiàn) 并跟蹤面部特征(諸如，眼睛)的替換方法。在以下文件中描述了虹膜識別的各種技術(shù)美國 專利號為7, 336，806、美國專利號為6，641，349、和美國專利號為5，291，560，以及Daugman 的 “How Iris Recognition Works (虹膜識別如何進行)”，發(fā)表在 IEEE TRANSACTIONS ONCIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY、2004年 I 月第 I 期第 14卷上，將其通過引 用全部并專門包含于本說明書中。
圖6是示出對用戶簡檔280的創(chuàng)建和更新的流程圖。應(yīng)當理解，創(chuàng)建用戶簡檔可 允許存儲服務(wù)提供者希望允許配置的任意數(shù)量的參數(shù)。圖6中示出的每一步驟可被單獨地 或異步地執(zhí)行以創(chuàng)建用戶簡檔。即，可執(zhí)行每個步驟來創(chuàng)建或添加到現(xiàn)有的用戶簡檔。在 602，如果用戶已經(jīng)指定了用于增強現(xiàn)實服務(wù)中的一個或多個的服務(wù)偏好，則可以存儲用戶 服務(wù)偏好。例如，如果用戶訂閱如共同待審申請序列號(MSFT 1425)中所公開的基于事件 的信息系統(tǒng)的透視頭戴式顯示器的信息饋源，則該用戶可能希望限制在服務(wù)饋源中呈現(xiàn)的 信息類型。在602，關(guān)于服務(wù)的用戶偏好被存儲在用戶的用戶簡檔280中。在604，當用戶 提供允許該用戶登錄到多個服務(wù)之一的憑證時，該登錄憑證可與用戶簡檔280 —同存儲， 并基于對用戶身份的判定被自動地檢索。在606，在用戶簡檔280中存儲用戶指定的與由增 強現(xiàn)實服務(wù)提供者90提供的信息有關(guān)的信息過濾器。信息過濾器限制可在透視頭戴式顯 示器中向用戶呈現(xiàn)的信息的量和類型并且可在向用戶提供信息時由用戶定義。例如，當增 強現(xiàn)實服務(wù)顯示特定類型的信息時，用戶可指示該服務(wù)將來不應(yīng)顯示這種類型的信息。一 種類型的信息可包括交通警報或與特定類型的產(chǎn)品有關(guān)的廣告。一旦用戶作出了該種類型 的信息不應(yīng)被顯示的指示，過濾器被創(chuàng)建并且簡檔280可存儲該過濾器。
可在608設(shè)置設(shè)備設(shè)置偏好。如上所述，該系統(tǒng)可使用用戶身份根據(jù)用戶已存儲 的偏好來自動地調(diào)整透視頭戴式顯示器和增強現(xiàn)實服務(wù)。一方面，用戶簡檔可用于自動地 調(diào)整透視頭戴式顯示器150的顯示元件的瞳孔間距。透視頭戴式顯示器允許對IPD自動調(diào) 整并可包括垂直和/或高度維度、和/或從顯示光學(xué)系統(tǒng)到相應(yīng)眼睛的深度距離。
圖5A是示出在210處基于用戶簡檔來設(shè)置配置的方法的流程圖，其中該配置用于 調(diào)整透視、近眼、混合現(xiàn)實顯示設(shè)備以便與一個或多個用戶的瞳孔間距(IPD)對準，并此后 在214操作該設(shè)備。在步驟542，作出關(guān)于顯示器是否與在用戶簡檔中定義的用戶IB)對 準的初始判定。在步驟542，控制電路136的一個或多個處理器(例如下文圖7A中的處理 器210，處理單元6、5，中樞計算系統(tǒng)12，或這些的組合)根據(jù)對準準則來自動地確定透視、 近眼、混合真實顯示設(shè)備是否與用戶的iro對準。如果確定透視、近眼、混合現(xiàn)實顯示設(shè)備 與用戶Iro對準，則該方法移至步驟546并監(jiān)視對準中的改變。
如果顯示器未對準，則在步驟544，從所標識的用戶的用戶簡檔中選擇IPD。
顯示設(shè)備2 (圖7A、7B)具有用于每只眼睛的顯示光學(xué)系統(tǒng)，并且在一些實施例中， 一個或多個處理器將iro作為在滿足對準準則的位置處各顯示光學(xué)系統(tǒng)的光軸之間的距 離來存儲。在一些實施例中，一個或多個處理器將每一光軸的位置存儲在用戶簡檔中的iro 數(shù)據(jù)集中。用戶的iro可以例如相對于用戶的鼻子是不對稱的。例如，左眼比右眼更靠近 鼻子。在一個示例中，每一顯示光學(xué)系統(tǒng)的顯示調(diào)整機構(gòu)的始自初始位置的調(diào)整值可被保 存在用戶簡檔中的iro數(shù)據(jù)集中。顯示調(diào)整機構(gòu)的初始位置可以具有相對于不動的鏡架部 分的固定位置，例如鼻梁104上的點?；谙鄬τ诓粍拥溺R架部分的這一固定位置以及用 于一個或多個移動方向上的調(diào)整值，每一光軸相對于不動的鏡架部分的位置可以作為每一 顯示光學(xué)系統(tǒng)的瞳孔對準位置來存儲。另外，在不動的鏡架部分是鼻梁上的點的情況下，可 以基于該固定位置到鼻梁上的該點以及調(diào)整值來為每一只眼睛估計該相應(yīng)瞳孔到用戶的 鼻子的位置向量。每一眼睛的這兩個位置向量至少提供水平距離分量，并且也可包括垂直距離分量。一個或多個方向上的瞳孔間距iro可以從這些距離分量中導(dǎo)出。
在步驟545，從IB)數(shù)據(jù)集中檢索為至少一個顯示調(diào)整機構(gòu)所確定的用于滿足至 少一個顯示光學(xué)系統(tǒng)的對準準則的一個或多個調(diào)整值。在步驟546，處理單元20使顯示調(diào) 整機構(gòu)(諸如參考圖8A-8C討論的機構(gòu)803)自動地調(diào)整每只眼睛的顯示光學(xué)系統(tǒng)814，以在 步驟546中與所選擇的iro對準?；蛘?，可以就要對透視頭戴式顯示器手動地作出的調(diào)整 方面來對用戶做出指導(dǎo)。
在547，從用戶簡檔檢索附加的用戶偏好，諸如服務(wù)偏好、服務(wù)的登錄信息、和信息 過濾器。
在步驟548，根據(jù)用戶偏好來操作該設(shè)備。在548，處理單元20可檢測指示與所選 IPD的對準不再滿足對準準則的變化，這觸發(fā)處理器在步驟550自動地重新調(diào)整顯示光學(xué) 系統(tǒng)中的至少一個以滿足該對準準則。對準準則可以是幾毫米的距離，例如3_。被持續(xù)完 成以跟蹤用戶的焦點的注視確定方法可以檢測該變化。
圖5B是示出創(chuàng)建用戶簡檔條目以用于用戶設(shè)置的方法608的一個實施例的流程 圖，該方法隨后可在操作用于透視、近眼、混合現(xiàn)實顯示器的一個或多個用戶的設(shè)備214時 自動地提供可調(diào)整IPD的對準。在步驟518，處理單元20基于所捕捉的來自每只眼睛的反 射光的數(shù)據(jù)來自動地確定用戶的ipd，并在步驟520將與用戶相關(guān)聯(lián)的iro數(shù)據(jù)存儲到用戶 簡檔中。在546，透視頭戴式顯示器基于所確定的iro來自動地調(diào)整顯示器的用于每只眼睛 的顯示光學(xué)系統(tǒng)。在519，相對于用戶的iro和特定的特性確定一個或多個調(diào)整值。因為由 于人類頭骨的限制，Iro數(shù)據(jù)和調(diào)整對成人而言通常是固定的，所以在520iro數(shù)據(jù)可以被 確定一次并被存儲。一旦在546調(diào)整了顯示器，則該方法完成存儲iro數(shù)據(jù)集和用戶偏好 的步驟410，并且圖2的方法完成步驟214和216。
共同待審申請序列號1467中公開了用于確定和存儲IB)的各種方法。在用戶簡檔 存儲近Iro和遠IPD的替換的實施例中，處理單元20基于注視數(shù)據(jù)來確定注視點的距離， 并基于該注視點的距離來選擇近Iro或遠iro作為IPD。
圖6A-6C示出用于將透視、近眼、混合現(xiàn)實顯示器與IPD對準的方法。
圖6A是用于將透視、近眼、混合現(xiàn)實顯示器與IB)對準的方法實施例600的流程 圖。步驟602到606示出用于根據(jù)對準準則自動確定透視、近眼、混合現(xiàn)實顯示設(shè)備是否與 用戶的Iro對準的步驟542的示例的更多細節(jié)。步驟607到608示出步驟548中的用于調(diào) 整顯示設(shè)備以使該設(shè)備與用戶Iro對準的示例的更詳細步驟。如針對圖3C所討論的，該調(diào) 整可由處理器自動地執(zhí)行或通過電子地提供給用戶的指令來供機械調(diào)整。
參考圖6A和下面圖8A-10D所公開的實施例，在步驟602，透視、近眼、混合現(xiàn)實系 統(tǒng)的處于處理單元4、移動設(shè)備5、或中樞計算系統(tǒng)12中的一個或多個處理器(如控制電路 的處理器210)單獨地或相組合地標識用戶視野中一定距離處以及一定方向上的對象以用 于確定IPD。對于遠IPD，距離在有效無限遠處(例如超過5英尺)，方向是相對于每一顯示 光學(xué)系統(tǒng)的光軸的正前方。換言之，距離和方向是這樣的當每一瞳孔與每一光軸對準時， 用戶正在看向正前方。在步驟603，一個或多個處理器執(zhí)行處理以將用戶的焦點吸引到該對 象。在一個示例中，一個或多個處理器電子地提供指令來請求用戶查看所標識的真實對象。 在一些情況下，可簡單地請求用戶看向正前方。
在步驟604，相應(yīng)顯示光學(xué)系統(tǒng)的注視檢測元件的安排中的諸如傳感器134r或光電檢測器152或這兩者等至少一個傳感器捕捉每一只眼睛在對該對象的觀察時間段期間 的數(shù)據(jù)。在一個示例中，所捕捉的數(shù)據(jù)可以是IR圖像數(shù)據(jù)以及由IR相機捕捉的從每一只 眼睛反射的閃光。在其他示例中，至少一個傳感器是像位置敏感檢測器等IR傳感器。該至 少一個傳感器也可以是IR光電檢測器。在一些示例中，該至少一個傳感器可以是可見光相 機。
在步驟606，一個或多個處理器基于所捕捉的數(shù)據(jù)和注視檢測元件的安排來根據(jù) 對準準則確定每一瞳孔是否與它相應(yīng)的顯示光學(xué)系統(tǒng)的光軸對準。對準準則可以是距光軸 的距離，例如2毫米(mm)。如果是，則顯示設(shè)備2已經(jīng)與每一瞳孔對準，并且因此與IPD對 準，并且在步驟609，一個或多個處理器將每一光軸的位置存儲在iro數(shù)據(jù)集中。
如果不滿足對準準則，則在步驟607，一個或多個處理器自動確定至少一個顯示調(diào) 整機構(gòu)的用于滿足至少一個顯示光學(xué)系統(tǒng)的對準準則的一個或多個調(diào)整值?！白詣哟_定”意 味著一個或多個處理器在無需用戶通過機械操縱來標識調(diào)整值的情況下確定這些值。在許 多實施例中，基于所存儲的設(shè)備配置數(shù)據(jù)，跟蹤光軸相對于支撐結(jié)構(gòu)的固定點的當前位置。 在步驟608，處理器基于一個或多個調(diào)整值來造成對至少一個相應(yīng)顯示光學(xué)系統(tǒng)的調(diào)整。在 自動調(diào)整中，一個或多個處理器經(jīng)由一個或多個顯示調(diào)整機構(gòu)驅(qū)動器245來控制至少一個 顯示調(diào)整機構(gòu)203，以基于一個或多個調(diào)整值來移動至少一個相應(yīng)的顯示光學(xué)系統(tǒng)。在機械 調(diào)整方法中，處理器向用戶電子地提供指令，以供經(jīng)由機械控制器將一個或多個調(diào)整值應(yīng) 用到至少一個顯示調(diào)整機構(gòu)。該方法實施例的各步驟可以重復(fù)預(yù)定次數(shù)或直至滿足對準準 則為止。
圖6B是基于每一只眼睛的瞳孔的圖像格式的圖像數(shù)據(jù)來將透視、近眼、混合現(xiàn)實 顯示設(shè)備與用戶的iro對準的實現(xiàn)示例的方法實施例610的流程圖。圖像格式具有預(yù)定大 小和形狀，例如可以由圖像傳感器大小和形狀來設(shè)置。圖像格式的示例是圖像幀。該格式 將要提供用于跟蹤圖像數(shù)據(jù)內(nèi)的位置的坐標系，例如中心作為原點。在例如IR相機(或在 需要時，可見光相機)等圖像傳感器的檢測區(qū)域以顯示光學(xué)系統(tǒng)14的光軸142為中心時，該 圖像格式的圖像數(shù)據(jù)以光軸142為中心。瞳孔中心距圖像中心有多遠是用于確定瞳孔是否 令人滿意地與光軸對準的基礎(chǔ)。
在步驟612，標識用戶視野中一定距離和一定方向上的真實物體來確定IPD，并且 在步驟613，一個或多個處理器執(zhí)行處理來將用戶的焦點吸引到該真實物體。在步驟614， 在對該真實物體的觀察時間段期間，由與相應(yīng)顯示光學(xué)系統(tǒng)的光軸對準的至少一個傳感器 以圖像數(shù)據(jù)來捕捉每一只眼睛的圖像數(shù)據(jù)。在步驟615，根據(jù)圖像數(shù)據(jù)確定相對于相應(yīng)光軸 的相應(yīng)瞳孔位置。圖像數(shù)據(jù)中的瞳孔區(qū)域可以通過對強度值設(shè)置閾值來標識?？梢詰?yīng)用橢 圓擬合算法來對瞳孔的大小和形狀進行近似，并且所得橢圓的中心可被選作瞳孔的中心。 理想地，瞳孔的中心與顯示光學(xué)系統(tǒng)的光軸對準。在步驟616，一個或多個處理器基于圖像 格式(例如，圖像幀)的瞳孔位置來根據(jù)對準準則確定每一瞳孔是否與相應(yīng)光軸對準。在其 中檢測區(qū)域139以光軸142為中心的情況下，一個或多個處理器根據(jù)對準準則來確定瞳孔 位置是否是圖像格式的中心(例如，圖像幀的中心)?？梢栽谒胶痛怪狈较蛏洗_定每一只 眼睛相對于光軸的瞳孔位置。
如果滿足對準準則，則在步驟609，一個或多個處理器將每一光軸的位置存儲在 Iro數(shù)據(jù)集中。如果否，在步驟617，一個或多個處理器基于不滿足對準準則的每一顯示光學(xué)系統(tǒng)的至少一個傳感器的映射準則來確定相應(yīng)顯示調(diào)整機構(gòu)的至少一個調(diào)整值。在步驟 618，一個或多個處理器控制相應(yīng)顯示調(diào)整機構(gòu)基于至少一個調(diào)整值來移動相應(yīng)顯示光學(xué) 系統(tǒng)。該方法實施例的各步驟可以重復(fù)預(yù)定次數(shù)或直至滿足對準準則為止。
圖6C是可被用于實現(xiàn)確定至少一個調(diào)整值的步驟617的方法實施例的流程圖。在 步驟642，基于至少一個傳感器的映射準則，一個或多個處理器確定水平瞳孔位置差向量。 像素到距離映射準則可被用于對其提供調(diào)整的每一方向上。取決于圖像傳感器的檢測區(qū)域 的形狀，對于垂直和水平而言，映射準則可以是不同的。在步驟644，基于至少一個傳感器的 映射準則，也確定垂直瞳孔位置差向量。在步驟646，一個或多個處理器將水平瞳孔位置差 向量與水平調(diào)整值進行相關(guān)，并且在步驟648，將垂直瞳孔位置差向量與垂直調(diào)整值進行相 關(guān)。
因為水平Iro可能具有25-30mm之間的范圍，所以顯示調(diào)整機構(gòu)可具有在任何方 向上移動顯示光學(xué)系統(tǒng)的距離范圍限制。深度調(diào)整可幫助將水平或垂直方向上的范圍外調(diào) 整值帶到范圍內(nèi)?？梢詧?zhí)行可任選步驟651和653。在可任選步驟651，一個或多個處理器 確定水平或垂直調(diào)整值中的任一個是否處于范圍外。如果否，則顯示光學(xué)系統(tǒng)的對準可以 通過在二維平面上的移動來實現(xiàn)，并且可以執(zhí)行步驟618。如果至少一個調(diào)整值在范圍外， 則在可任選步驟653，一個或多個處理器確定用于將范圍外的任何水平或垂直調(diào)整值帶到 距范圍限制更近或帶到范圍限制內(nèi)的深度調(diào)整值，并且可以執(zhí)行步驟618來調(diào)整顯示光學(xué) 系統(tǒng)。
作為說明性示例，如果光軸距右側(cè)12mm并且顯示調(diào)整機構(gòu)只可將顯示光學(xué)系統(tǒng) 向左移動6_，則通過增加顯示光學(xué)系統(tǒng)和瞳孔之間的深度，在看向正前方時從瞳孔到光軸 的位置之間的角度減小，因此深度增加結(jié)合向左側(cè)的6_調(diào)整使得光軸根據(jù)對準準則更接 近于與瞳孔對準。深度變化對垂直維度的影響也可被考慮，使得垂直調(diào)整也是必要的或修 改深度調(diào)整值
當閃光彼此之間有幾何關(guān)系并且傳感器具有分立傳感器(如像素)的表面時，圖6B 和6C的實施例也可被應(yīng)用于來自每一只眼睛的閃光數(shù)據(jù)。例如，由照明器生成的一只眼睛 的閃光通過照明器的位置形成與該眼睛的相應(yīng)顯示光學(xué)系統(tǒng)的光軸對準的框或其他幾何 形狀。如果傳感器是用于檢測閃光的位置敏感檢測器(PSD)，則傳感器上的位置和檢測到的 從固定照明器生成的閃光的強度值被用來映射瞳孔的位置。來自IR相機(或甚至可見光相 機)的圖像數(shù)據(jù)提供用于瞳孔位置確定的更大準確度，但閃光數(shù)據(jù)方法處理更少數(shù)據(jù)并且 因此在計算上較不密集。
其他實施例可采用基于注視數(shù)據(jù)來將透視、近眼、混合現(xiàn)實顯示器與iro對準的 實現(xiàn)。在這些實施例中，一個或多個處理器基于相應(yīng)顯不光學(xué)系統(tǒng)的注視檢測兀件的安排 來確定每一只眼睛對真實物體的穿過該顯示光學(xué)系統(tǒng)的光軸的基準注視向量。注視確定方 法的實施例在申請序列號1467中討論。
當閃光數(shù)據(jù)用于確定注視時，可使用前面提到的方法。在一個實施例中，閃光反射 可基于為閃光所檢測的若干強度值的數(shù)據(jù)點來估計注視，而不是處理大很多的眼睛圖像數(shù) 據(jù)集。近眼顯示設(shè)備的眼鏡架115或其他支撐結(jié)構(gòu)上的照明器153的位置可以是固定的， 使得由一個或多個傳感器所檢測的閃光位置在傳感器檢測區(qū)域中是固定的。
圖7A是描繪一系統(tǒng)環(huán)境中的具有可調(diào)整iro的透視、混合現(xiàn)實顯示設(shè)備的一個實施例的示例組件的框圖，其中該設(shè)備可以在該系統(tǒng)環(huán)境中操作。系統(tǒng)10包括作為通過線6 與處理單元4進行通信的近眼、頭戴式顯示設(shè)備2的透視顯示設(shè)備。在其他實施例中，頭戴 式顯示設(shè)備150通過無線通信來與處理單元4進行通信。頭戴式顯示設(shè)備150 (在一個實 施例中它是帶框115眼鏡的形狀)被佩戴在用戶的頭上，使得用戶可以透視顯示器(在該示 例中該顯示器被體現(xiàn)為每一只眼睛的顯示光學(xué)系統(tǒng)14)，并且從而具有該用戶前方的空間 的實際直接視圖。
使用術(shù)語“實際直接視圖”來指直接用人眼看到真實世界物體的能力，而非看到所 創(chuàng)建的物體的圖像表示。例如，在房間中透過眼鏡進行查看將允許用戶具有該房間的實際 直接視圖，而在電視上查看房間的視頻不是房間的實際直接視圖?；趫?zhí)行軟件(例如，游 戲應(yīng)用)的上下文，該系統(tǒng)可以將虛擬對象的圖像(有時稱為虛擬圖像)投影在可由佩戴該 透視顯示設(shè)備的人觀看的顯示器上，同時該人還透過該顯示器觀看真實世界物體。
鏡架115提供用于將該系統(tǒng)的各元件保持在原位的支承體以及用于電連接的管 道。在該實施例中，鏡架115提供了便利的眼鏡架作為下面進一步討論的系統(tǒng)的各元件的 支承體。在其他實施例中，可以使用其他支承結(jié)構(gòu)。這樣的結(jié)構(gòu)的示例是帽舌或護目鏡。鏡 架115包括用于擱在用戶的每一只耳朵上的鏡腿或側(cè)臂。鏡腿102表示右鏡腿的實施例， 并且包括顯示設(shè)備150的控制電路136。鏡架的鼻梁104包括用于記錄聲音并向處理單元 4傳送音頻數(shù)據(jù)的話筒110。
在一個實施例中，處理單元4被佩戴在用戶的手腕上，并且包括用于操作透視頭 戴式顯示器150的計算能力中的許多計算能力。處理單元4可以與一個或多個中樞計算系 統(tǒng)12無線地(例如，WiF1、藍牙、紅外、或其他無線通信手段)通信。
中樞計算系統(tǒng)10可以是計算機、游戲系統(tǒng)或控制臺等等。根據(jù)一示例性實施例， 中樞計算系統(tǒng)10可以包括硬件組件和/或軟件組件，使得中樞計算系統(tǒng)10可以用于執(zhí)行 諸如游戲應(yīng)用、非游戲應(yīng)用等等之類的應(yīng)用。在一個實施例中，中樞計算系統(tǒng)10可以包括 諸如標準化處理器、專用處理器、微處理器等等之類的處理器，這些處理器可以執(zhí)行存儲在 處理器可讀存儲設(shè)備上的指令以用于執(zhí)行在此所述的過程。
中樞計算系統(tǒng)10還包括一個或多個捕捉設(shè)備，如捕捉設(shè)備21A和21B。在其他實 施例中，可使用多于或少于兩個捕捉設(shè)備來捕捉房間或用戶的其他物理環(huán)境。
捕捉設(shè)備21A和21B可以是例如相機，該相機在視覺上監(jiān)視一個或多個用戶和周 圍空間從而可以捕捉、分析并跟蹤該一個或多個用戶所執(zhí)行的姿勢和/或移動以及周圍空 間的結(jié)構(gòu)，以在應(yīng)用中執(zhí)行一個或多個控制或動作和/或使化身或屏上角色動畫化。應(yīng)用 可以在中樞計算系統(tǒng)10、顯示設(shè)備150上執(zhí)行、如下所述地在移動設(shè)備5上執(zhí)行、或在這些 設(shè)備的組合上執(zhí)行。
中樞計算環(huán)境10可以連接到諸如電視機、監(jiān)視器、高清電視機(HDTV)等可提供游 戲或應(yīng)用視覺的視聽設(shè)備11。例如，中樞計算系統(tǒng)10可包括諸如圖形卡等視頻適配器和 /或諸如聲卡等音頻適配器，這些適配器可提供與游戲應(yīng)用、非游戲應(yīng)用等相關(guān)聯(lián)的視聽信 號。視聽設(shè)備11可從中樞計算系統(tǒng)10接收視聽信號，并且然后可以輸出與視聽信號相關(guān) 聯(lián)的游戲或應(yīng)用視覺和/或音頻。根據(jù)一個實施例，視聽設(shè)備11可經(jīng)由例如，S-視頻電纜、 同軸電纜、HDMI電纜、DVI電纜、VGA電纜、分量視頻電纜、RCA電纜等連接至中樞計算系統(tǒng) 10。在一個示例中，視聽設(shè)備11包括內(nèi)置揚聲器。在其他實施例中，視聽設(shè)備11、單獨的立體聲系統(tǒng)或中樞計算設(shè)備10連接到外部揚聲器22。
圖7B是描繪具有可調(diào)整IB)的透視、混合現(xiàn)實顯示設(shè)備的另一實施例的示例組件 的框圖。在該實施例中，透視頭戴式顯示器150與作為處理單元4的示例實施例的移動計 算設(shè)備5進行通信。在所示示例中，移動設(shè)備5經(jīng)由線6進行通信，但在其他示例中通信也 可以是無線的。
此外，如在中樞計算系統(tǒng)10中一樣，游戲和非游戲應(yīng)用可以在移動設(shè)備5的處理 器上執(zhí)行，其中用戶動作控制或用戶動作動畫化被顯示在設(shè)備5的顯示器7上的化身。移 動設(shè)備5還提供用于通過因特網(wǎng)或經(jīng)由另一通信網(wǎng)絡(luò)通過有線或無線通信介質(zhì)來與像中 樞計算系統(tǒng)10等的其他計算設(shè)備進行通信的網(wǎng)絡(luò)接口。例如，用戶可與其他移動設(shè)備用戶 以及在像中樞計算系統(tǒng)10等更強大系統(tǒng)上玩的那些用戶一同參與在線游戲會話。移動設(shè) 備5的硬件和軟件組件(諸如包含在智能電話或平板計算設(shè)備中)的示例在圖20中描述。 移動設(shè)備5的一些其他示例是膝上型計算機或筆記本計算機以及上網(wǎng)本計算機。
圖8A示出被實現(xiàn)為具有包括注視檢測元件的活動顯示光學(xué)系統(tǒng)的眼鏡的透視、 近眼、混合現(xiàn)實顯示器的示例性安排。表現(xiàn)為每個眼睛的透鏡的是每個眼睛的顯示光學(xué)系 統(tǒng)14，例如14r和141。顯示光學(xué)系統(tǒng)包括透視透鏡，例如圖7A、7B、9A_9B和10AU0B中的 116和118，如一副普通眼鏡一樣，但還包含用于將虛擬內(nèi)容與透過透鏡116、116看到的實 際直接真實世界視圖無縫地融合的光學(xué)元件(例如，反射鏡、濾光器)。顯示光學(xué)系統(tǒng)14具 有一般處于透視透鏡116、118的中心的光軸，其中光一般被校準來提供無失真視圖。例如， 在眼睛護理專業(yè)人員使一副普通眼鏡適合用戶的臉部時，目標是該眼鏡在每一瞳孔與相應(yīng) 透鏡的光軸或中心相對準的位置處落在用戶的鼻子上，從而通常使得校準光到達用戶的眼 睛以得到清晰或無失真的視圖。
在圖8A的示例中，至少一個傳感器的檢測區(qū)域139r、1391與其相應(yīng)顯示光學(xué)系統(tǒng) 14r、141的光軸相對準，使得檢測區(qū)域139r、1391的中心捕捉沿著光軸的光。如果顯示光學(xué) 系統(tǒng)14與用戶的瞳孔對準，則相應(yīng)傳感器134的每一檢測區(qū)域139與用戶的瞳孔相對準。 經(jīng)由一個或多個光學(xué)元件將檢測區(qū)域139的反射光傳送到相機的實際圖像傳感器134。
在一個示例中，通常被稱為RGB相機的可見光相機可以是傳感器，并且光學(xué)元件 或光定向元件的示例是部分透射且部分反射的可見光反射鏡。在一些示例中，相機可以是 小型的，例如2毫米(mm)乘2mm。在其他示例中，至少一個傳感器134是IR輻射可被定向 到的IR相機或位置敏感檢測器(PSD)。例如，熱反射表面可以透射可見光但反射IR輻射。 在一些示例中，傳感器134可以是RGB和IR相機的組合，并且光定向元件可包括可見光反 射或轉(zhuǎn)向元件和IR福射反射或轉(zhuǎn)向元件。
在圖8A的示例中，有四組照明器153，照明器153與光電檢測器152配對并由屏障 154分開以避免照明器153所生成的入射光與在光電檢測器152處接收到的反射光之間的 干擾。為了在附圖中避免不必要的混亂，相對于代表性的一對示出了附圖標記。每一照明 器可以是生成預(yù)定波長的窄光束的紅外(IR)照明器。光電檢測器中的每一個可被選擇來 捕捉預(yù)定波長的光。紅外還可包括近紅外。
如下所述，在作為確定注視向量的一部分來計算角膜中心的一些實施例中，兩個 閃光(并且因此兩個照明器)將是足夠的。然而，在確定瞳孔位置并且因此確定注視向量時， 其他實施例可以使用附加閃光。因為閃光和眼睛數(shù)據(jù)是重復(fù)地捕捉的，例如以每秒30幀或更大的幀率，所以一個閃光的數(shù)據(jù)可被眼瞼或甚至被睫毛遮擋，但數(shù)據(jù)可由另一照明器所生成的閃光來收集。
在圖8A中，每一顯示光學(xué)系統(tǒng)14以及它面向每一眼睛的注視檢測元件的安排(如相機134及其檢測區(qū)域139)、光學(xué)對準元件(在該附圖中未示出；參見以下圖6A-6D)、照明器153、以及光電檢測器152位于活動的內(nèi)部鏡架部分1711、171ι■上。在該示例中，顯示調(diào)整機構(gòu)包括具有附連到一物體的傳動軸205的一個或多個馬達203，該傳動軸205用于在三個維度中的至少一個維度上推拉該物體。在該示例中，該物體是在鏡架115內(nèi)在由馬達 203驅(qū)動的傳動軸205的引導(dǎo)和力量下從左向右滑動或反向滑動的內(nèi)部鏡架部分117。在其他實施例中，一個馬達203可以驅(qū)動兩個內(nèi)部鏡架。如參考圖9A和9B所討論的，顯示設(shè)備 150的控制電路136的處理器能夠經(jīng)由鏡架115內(nèi)的電連接來連接到一個或多個馬達203， 以由馬達203控制傳動軸205在不同方向上的調(diào)整。此外，馬達203也經(jīng)由鏡架115的電連接來接入電源。
圖SB示出被實現(xiàn)為具有包括注視檢測元件的活動顯示光學(xué)系統(tǒng)的眼鏡的透視、 近眼、混合現(xiàn)實顯示器的另一個示例性安排。在該實施例中，每一顯示光學(xué)系統(tǒng)14被封閉在獨立的鏡架部分1151和115r中，例如獨立的眼鏡架部分，它可由馬達203單獨地移動。 在一些實施例中，在任何維度上的移動范圍小于10毫米。在一些實施例中，取決于針對產(chǎn)品提供的鏡架大小的范圍，移動范圍小于6毫米。對于水平方向，將每一鏡架向左或右移動幾毫米將不會顯著影響眼鏡腿(例如102)之間的寬度，其中眼鏡腿將顯示光學(xué)系統(tǒng)14附連到用戶的頭部。
圖SC示出被實現(xiàn)為具有包括注視檢測元件的活動顯示光學(xué)系統(tǒng)的眼鏡的透視頭戴式顯示器的另一個示例性安排。在該示例中，傳感器134r、1341本身在其相應(yīng)顯示光學(xué)系統(tǒng)14r、141的中心處與光軸成一直線或?qū)剩阽R架115上位于系統(tǒng)14下方。另外，在一些實施例中，相機134可以是深度相機或包括深度相機。在該示例中，有兩組照明器153 和光電檢測器152。
瞳孔間距可以描述用戶的瞳孔之間在水平方向上的距離，但也可以確定垂直差異。另外，在眼睛和顯示設(shè)備150之間在深度方向上移動顯示光學(xué)系統(tǒng)也可幫助將光軸與用戶的瞳孔對準。用戶的眼球在頭骨中實際上可能具有不同的深度。顯示設(shè)備在深度方向上相對于頭部移動也可引入顯示光學(xué)系統(tǒng)14的光軸與其相應(yīng)瞳孔之間的不對準。
在該示例中，馬達形成用于在三個維度上移動每一顯示光學(xué)系統(tǒng)14的XYZ機構(gòu)的示例。在該示例中，馬達203位于外部鏡架115上，并且它們的傳動軸205被附連到相應(yīng)內(nèi)部鏡架部分117的頂部和底部。馬達203的操作由控制電路136處理器210來針對它們的傳動軸移動進行同步。另外，因為這是混合現(xiàn)實設(shè)備，用于生成虛擬物體的圖像或虛擬圖像以供在相應(yīng)顯示光學(xué)系統(tǒng)14中顯示的每個微顯示器部件173由馬達和傳動軸來移動，以維持與顯示光學(xué)系統(tǒng)的光學(xué)對準。微顯示器部件173的示例在下文進一步描述。在該示例中， 馬達203是三軸馬達或可以在三個維度上移動它們的傳動軸。例如，可以在一個方向軸上沿十字準線導(dǎo)桿的中心對傳動軸進行推拉，并且該傳動軸在該十字準線導(dǎo)桿的垂直開口內(nèi)在同一平面中的兩個垂直方向中的每一個方向上移動。
圖9A 是透視混合現(xiàn)實顯示設(shè)備的實施例中的鏡架115的提供對硬件和軟件組件的支持的眼鏡腿102的側(cè)視圖。在鏡架115的前方是可捕捉視頻和靜止圖像的面向物理環(huán)境的視頻相機113。具體而言，在其中顯示設(shè)備150沒有結(jié)合像中樞系統(tǒng)12的捕捉設(shè)備21a 和21b等深度相機操作的實施例中，面向物理環(huán)境的相機113是深度相機以及對可見光敏 感的相機。例如，該深度相機可包括IR照明器發(fā)射器和像處于可見圖像傳感器前方的熱鏡 等熱反射表面，該熱反射表面使得可見光透過并將處于照明器所發(fā)射的波長范圍內(nèi)的所反 射的IR輻射定向到CCD或其他類型的深度傳感器。來自傳感器的數(shù)據(jù)可被發(fā)送到控制電 路136的處理器210，或處理單元6、5，或者這兩者，它們可以處理該數(shù)據(jù)但單元6、5也可發(fā) 送到網(wǎng)絡(luò)上的計算機系統(tǒng)或中樞計算系統(tǒng)12以供處理。該處理通過圖像分割和邊緣檢測 技術(shù)來標識對象，并將深度映射到用戶的真實世界視野中的物體。另外，面向物理環(huán)境的相 機113還可包括用于測量環(huán)境光的曝光計。
控制電路136提供支持頭戴式顯示設(shè)備150的其他組件的各種電子裝置?？刂齐?路136的更多細節(jié)在下文參照圖7提供。處于鏡腿102內(nèi)部或安裝在鏡腿102處的有耳機 130、慣性傳感器132、GPS收發(fā)機、以及溫度傳感器138。在一個實施例中，慣性傳感器132 包括三軸磁力計132A、三軸陀螺儀132B、以及三軸加速度計132C (參見圖7)。慣性傳感器 用于感測頭戴式顯示設(shè)備150的位置、定向、以及突然加速。從這些移動中，也可以確定頭 部位置。
顯示設(shè)備150提供可生成一個或多個虛擬物體的圖像的一種類型的顯示元件。在 一些實施例中，微顯示器可被用作顯示元件。在該示例中，微顯示器部件173包括光處理元 件和可變焦點調(diào)整器135。光處理元件的示例是微顯示器單元120。其他示例包括諸如透 鏡系統(tǒng)122的一個或多個透鏡之類的一個或多個光學(xué)元件、以及諸如圖1OA到IOD中的面 124、124a和124b之類的一個或多個反射元件。透鏡系統(tǒng)122可包括單個透鏡或多個透鏡。
微顯示器單元120安裝在鏡腿102上或處于鏡腿102內(nèi)部，它包括圖像源并生成 虛擬對象的圖像。微顯示器單元120在光學(xué)上與透鏡系統(tǒng)122和反射面124或以下附圖中 示出的反射面124a和124b對準。光學(xué)對準可以沿著光軸133或包括一個或多個光軸的光 路133。微顯示器單元120透過透鏡系統(tǒng)122來對虛擬物體的圖像進行投影，這可將圖像光 定向到反射元件124上，反射元件124將該光定向到圖6C和6D中的光導(dǎo)光學(xué)元件112中 或定向到部分反射元件124b或反射面124a (例如,鏡面或其他表面)上,反射面124a將虛 擬圖像的光定向到部分反射元件124b，部分反射元件124b將沿著路徑133的虛擬圖像視圖 與沿著圖6A-6D中的光軸142的自然或?qū)嶋H直接視圖進行組合。各視圖的組合被定向到用 戶的眼睛。
可變焦調(diào)整器135改變微顯示器部件的光路中的一個或多個光處理元件之間的 位移或微顯示器部件中的元件的光功率(optical power)。透鏡的光功率被定義成其焦距 的倒數(shù)，例如I/焦距，因而一個中的改變影響另一個。該改變造成視野的區(qū)域的改變，例如 特定距離處的區(qū)域，該區(qū)域?qū)τ谟晌@示器部件173生成的圖像而言是焦點對準的。
在微顯示器部件173作出位移改變的一個示例中，在電樞137內(nèi)對位移改變進行 引導(dǎo)，電樞137支承諸如該示例中的透鏡系統(tǒng)122和微顯示器120之類的至少一個光處理 元件。電樞137幫助在各元件的物理移動期間穩(wěn)定沿光路133的對準，以達到所選位移或光 功率。在一些不例中，調(diào)整器135可以移動一個或多個光學(xué)兀件,如電樞137內(nèi)的透鏡系統(tǒng) 122中的透鏡。在其他示例中，電樞可在光處理元件周圍的區(qū)域中具有槽或空間，使得它在 不移動光處理元件的情況下在該元件(例如微顯示器120)上滑動。電樞中的另一元件(如透鏡系統(tǒng)122)被附連，使得系統(tǒng)122或其內(nèi)的透鏡與移動的電樞137 —起滑動或移動。位移范圍通常是幾毫米(mm)的量級。在一個示例中，這一范圍是1-2_。在其他示例中，電樞 137可以向透鏡系統(tǒng)122提供對涉及除位移之外的其他物理參數(shù)的調(diào)整的焦點調(diào)整技術(shù)的支持。
在一個示例中，調(diào)整器135可以是諸如壓電馬達之類的執(zhí)行器。也可使用用于執(zhí)行器的其他技術(shù)，并且這樣的技術(shù)的一些示例是由線圈和永久磁鐵、磁致伸縮元件、以及電致伸縮元件形成的音圈。
存在著可用于實現(xiàn)微顯示器120的不同的圖像生成技術(shù)。例如，微顯示器120可以使用透射投影技術(shù)來實現(xiàn)，其中光源由光學(xué)活性材料來調(diào)制，用白光從背后照亮。這些技術(shù)通常是使用具有強大背光和高光能量密度的LCD類型的顯示器來實現(xiàn)的。微顯示器120 還可使用反射技術(shù)來實現(xiàn)，其中外部光被光學(xué)活性材料反射并調(diào)制。取決于該技術(shù)，照明是由白光源或RGB源來向前點亮的。數(shù)字光處理(DLP)、硅上液晶(LC0S)、以及來自Qualcomm 有限公司的Mkasoi 顯示技術(shù)都是高效的反射技術(shù)的示例，因為大多數(shù)能量從已調(diào)制結(jié)構(gòu)反射并且可用于本文描述的系統(tǒng)中。附加地，微顯示器120可以使用發(fā)射技術(shù)來實現(xiàn)，其中光由該顯示器生成。例如，來自Microvision有限公司的PicoPTM引擎使用微型鏡面舵來將激光信號發(fā)射到擔(dān)當透射元件的小型屏幕上或直接將光束(例如，激光)發(fā)射到眼睛。
如上所述，微顯示器部件173的光處理元件的配置創(chuàng)建焦距或虛擬對象出現(xiàn)在圖像中的聚焦區(qū)。改變該配置會改變虛擬物體圖像的聚焦區(qū)。由光處理元件確定的聚焦區(qū)可以基于等式l/Sl+l/S2=l/f來確定和改變。
符號f表示透鏡的焦距，如微顯示器部件173中的透鏡系統(tǒng)122。透鏡系統(tǒng)122具有前節(jié)點和后節(jié)點。如果光線以相對于光軸的給定角度被向前引導(dǎo)到兩個節(jié)點任一，則光線將以相對于光軸的相等角度從另一節(jié)點出射。在一個示例中，透鏡系統(tǒng)122的后節(jié)點將處于它自己與微顯示器120之間。從后節(jié)點到微顯示器120的距離可被表示成S2。前節(jié)點通常處于透鏡系統(tǒng)122的幾毫米內(nèi)。目標位置是要由微顯示器120在三維物理空間中生成的虛擬對象圖像的位置。從前節(jié)點到虛擬圖像的目標位置的距離可被表示成SI。因為圖像是與微顯示器120出現(xiàn)在透鏡的相同側(cè)的虛擬圖像，所以符號規(guī)約示出SI具有負值。
如果透鏡的焦距是固定的，則改變SI和S2來將虛擬對象聚焦在不同的深度處。例如，初始位置可使SI設(shè)置成無限遠處，并且使S2等于透鏡系統(tǒng)122的焦距。假定透鏡系統(tǒng) 122具有IOmm的焦距，考慮虛擬對象要被置于用戶視野中大約I英尺(S卩，300mm)的示例。 SI現(xiàn)在大約是-300mm，f是IOmm并且S2當前被設(shè)置在焦距的初始位置10mm，從而意味著透鏡系統(tǒng)122的后節(jié)點與微顯示器122相距10mm?；贗/(-300)+1/S2=1/10 (所有項的單位均為毫米)來確定透鏡122與微顯示器120之間的新距離或新位移。其結(jié)果是S2大約為 9. 67mm。
在一個示例中，處理單元4可以在讓焦距f固定的情況下計算SI和S2的位移值， 并且致使控制電路136使可變調(diào)整器驅(qū)動器237 (參見圖6)發(fā) 送驅(qū)動信號以讓可變虛焦點調(diào)整器135例如沿著光路133移動透鏡系統(tǒng)122。在其他實施例中，作為移動透鏡系統(tǒng)122 的替換或補充，可以移動微顯示器單元120。在其他實施例中，作為沿光路133的位移改變的替換或補充，也可以改變透鏡系統(tǒng)122中的至少一個透鏡的焦距。
圖9B是混合現(xiàn)實顯示設(shè)備的另一實施例中的提供對硬件和軟件組件的支持和微顯示器部件的三維調(diào)整的眼鏡腿的側(cè)視圖。以上在圖5A中示出的附圖標記中的一些被移除以避免附圖中的混亂。在顯示光學(xué)系統(tǒng)14在三個維度中的任一個維度上移動的實施例中，由反射面124表示的光學(xué)元件和微顯示器部件173的其他元件(例如，120、122)也可以移動以維持虛擬圖像的光到該顯示光學(xué)系統(tǒng)的光路133。在該示例中，由馬達框203和傳動軸205所表示的在控制電路136的處理器210的控制之下的一個或多個馬達構(gòu)成的XYZ 機構(gòu)控制微顯示器部件173的各元件的移動?？梢允褂玫鸟R達的示例是壓電馬達。在所示示例中，一個馬達被附連到電樞137并且也移動可變焦點調(diào)整器135，并且另一代表性馬達 203控制反射元件124的移動。
圖1OA是透視、近眼、混合現(xiàn)實設(shè)備2的包括注視檢測元件的安排的活動顯示光學(xué)系統(tǒng)14的實施例的俯視圖。透視頭戴式顯示器150的鏡架115的一部分將包圍顯示光學(xué)系統(tǒng)14并且為微顯示器部件173的實施例的各元件提供支持，如圖所示包括微顯示器120 以及其附隨元件。為了示出顯示系統(tǒng)14 (在該情況下是右眼系統(tǒng)14r)的各個組件，在顯示光學(xué)系統(tǒng)周圍的鏡架115的頂部部分未被描繪。另外，鼻梁104中的話筒110在該視圖中未示出，以便將注意力集中于顯示調(diào)整機構(gòu)203的操作。如在圖6C的示例中,在該實施例中，通過移動內(nèi)部鏡架117r來移動顯示光學(xué)系統(tǒng)14，內(nèi)部鏡架117r在該示例中也包圍微顯示器部件173。在該實施例中，顯示調(diào)整機構(gòu)被實現(xiàn)為三軸馬達203，這些馬達將它們的傳動軸205附連到內(nèi)部鏡架117r以在三個維度中的任一個維度上將顯示光學(xué)系統(tǒng)14進行平移(如指示移動的三(3)個軸的符號144所示)，在該實施例中顯示光學(xué)系統(tǒng)14包括微顯示器部件173。
在該實施例中，顯示光學(xué)系統(tǒng)14具有光軸142并包括允許用戶對真實世界的實際直接查看的透視透鏡118。在該示例中，透視透鏡118是眼鏡中使用的標準透鏡，并且可根據(jù)任何處方(包括不根據(jù)處方)來制作。在另一實施例中，用可變處方透鏡來替換透視透鏡 118。在一些實施例中，透視頭戴式顯示器150將包括附加透鏡。
顯不光學(xué)系統(tǒng)14還包括代表性的部分反射面124b。在該實施例中，來自微顯不器 120的光沿光路133經(jīng)由被嵌入在透鏡118中的部分反射元件124b被定向，部分反射元件 124b將沿光路133行進的虛擬圖像視圖與沿光軸142的自然或?qū)嶋H直接視圖進行組合，使得經(jīng)組合的視圖在光軸的具有用于最清晰視圖的最多準直光的位置處被定向到用戶的眼睛。
光傳感器的檢測區(qū)域1391■也是顯示光學(xué)系統(tǒng)14r的一部分。光學(xué)元件125通過捕捉來自用戶的眼睛的沿光軸142接收到的反射光來實現(xiàn)檢測區(qū)域139r，并將捕捉到的光定向到傳感器134r，在該示例中傳感器134r位于內(nèi)部鏡架117r內(nèi)的透鏡118中。在一個示例中，傳感器134r是可見光相機或RGB/IR相機的組合，并且光學(xué)元件125包括對反射自用戶的眼睛的可見光進行反射的光學(xué)元件，例如部分反射鏡面。在其他實施例中，傳感器134r 是諸如IR相機等IR敏感設(shè)備，并且元件125包括令可見光穿過它并將IR輻射反射到傳感器134r的熱反射表面。IR傳感器的另一個示例是位置敏感設(shè)備(PSD)。
在圖10A-10D中描繪的反射元件125、124、124a、以及124b是它們的功能的表示。 這些表面可以采取任何數(shù)量的形式，并且可以用一個或多個光學(xué)組件按用于將光定向到到其預(yù)期目的地(如相機傳感器或用戶的眼睛)的一個或多個安排來實現(xiàn)。如圖所示，這一安排允許傳感器的檢測區(qū)域139使其中心與顯示光學(xué)系統(tǒng)14的中心對準。圖像傳感器134r捕捉檢測區(qū)域139，使得在該圖像傳感器處捕捉到的圖像以光軸為中心，因為檢測區(qū)域139 的中心是光軸。
在用戶看向正前方并且在檢測區(qū)域139或圖像傳感器134r實際上以顯示器的光軸為中心時用戶的瞳孔的中心是所捕捉的用戶的眼睛的圖像的中心的情況下，顯示光學(xué)系統(tǒng)14r與瞳孔對準。在兩個顯光學(xué)系統(tǒng)14都與它們相應(yīng)的瞳孔對準時,光學(xué)中心之間的距離與用戶的瞳孔間距相匹配或?qū)?。在圖6A的示例中，瞳孔間距可以在三個維度上與顯不光學(xué)系統(tǒng)14對準。
在一個實施例中，如果傳感器134捕捉到的數(shù)據(jù)指示瞳孔未與光軸對準，則處理單元20或控制電路136或這兩者中的一個或多個處理器使用將距離或長度測量單元與圖像的像素或其他分立單元或圖像區(qū)域進行相關(guān)的映射準則來確定瞳孔的圖像距光軸142 有多遠?；谒_定的距離，一個或多個處理器確定要將顯示光學(xué)系統(tǒng)14r調(diào)整多少距離以及在哪一方向上移動來使光軸142與瞳孔對準?？刂菩盘栍梢粋€或多個顯不調(diào)整機構(gòu)驅(qū)動器245應(yīng)用到組成一個或多個顯示調(diào)整機構(gòu)203的各組件之一，例如馬達203。在該示例中在馬達的情況下，馬達移動它們的傳動軸205來在由控制信號指示的至少一個方向上移動內(nèi)部鏡架117r。鏡架115的可變形部分處于內(nèi)部鏡架117r的鏡腿一側(cè)，它們的一端附連到內(nèi)部鏡架117r并且當顯不光學(xué)系統(tǒng)14在三個方向中的任一方向上移動以相對于相應(yīng)瞳孔來改變寬度、高度或深度時它們在鏡腿架115內(nèi)部的槽217a和217b內(nèi)滑動以將內(nèi)部鏡架117錨定到鏡架115。
除傳感器之外，顯示光學(xué)系統(tǒng)14包括其他注視檢測元件。在這一實施例中，至少兩個(2)(但可以更多)紅外(IR)照明設(shè)備153在透鏡118的側(cè)面附連到鏡架117r，它們將處于特定波長范圍內(nèi)的窄紅外光束定向到用戶的眼睛以各自在用戶角膜的表面上生成相應(yīng)閃光。在其他實施例中，照明器和任何光電二極管可以處于透鏡上，例如在角上或在邊上。在這一實施例中，除至少2個紅外(IR)照明設(shè)備153之外，還有IR光電檢測器152。每一光電檢測器152對它對應(yīng)的IR照明器153的通過透鏡118的特定波長范圍內(nèi)的IR輻射敏感，并且被定位來檢測相應(yīng)閃光。如在圖6A-4C中所示，照明器和光電檢測器由屏障154 分開，使得來自照明器153的入射IR光不干擾在光電檢測器152處接收到的反射IR光。在其中傳感器是IR傳感器的情況下，可能不需要光電檢測器152或可以是附加捕捉源。使用可見光相機，光電檢測器152捕捉來自閃光的光,并且生成閃光強度值。
在一些實施例中，傳感器134r可以是IR相機，該IR相機不僅可以捕捉閃光，還可以捕捉用戶的眼睛(包括瞳孔)的紅外或近紅外圖像。在其他實施例中，傳感器設(shè)備1341■是位置敏感設(shè)備(PSD)，有時被稱為光學(xué)位置傳感器。檢測到的光在傳感器的表面上的位置被標識?？梢赃x擇對閃光的IR照明器的波長范圍敏感的PSD。當在該設(shè)備的傳感器或光敏部件上檢測到處于位置敏感設(shè)備的波長范圍內(nèi)的光時，生成標識檢測器的表面上的位置的電子信號。在一些實施例中，PSD的表面被分成可從中確定光的位置的各分立傳感器(像像素一樣)。在其他示例中，可以使用PSD各向同性傳感器，其中表面上的局部阻抗的變化可被用來標識光點在PSD上的位置。也可使用PSD的其他實施例。通過以預(yù)定順序來操作照明器153，可以標識在PSD上的閃光反射位置并且因此將該閃光反射位置與角膜表面上的位置進行相關(guān)。
在圖10A-10 D中，例如檢測區(qū)域139和照明器153和光電檢測器152等注視檢測元件的位置相對于顯示光學(xué)系統(tǒng)14的光軸是固定的。這些元件與顯示光學(xué)系統(tǒng)14在內(nèi)部 鏡架上一起移動，并且因此與顯不光學(xué)系統(tǒng)14的光軸一起移動，但它們與光軸142的空間 關(guān)系不變。
圖1OB是透視、近眼、混合現(xiàn)實設(shè)備的包括注視檢測元件的安排的活動顯示光學(xué) 系統(tǒng)的另一實施例的俯視圖。在這一實施例中，光傳感器134r可被實現(xiàn)成可見光相機(有 時稱為RGB相機)，或它可被實現(xiàn)成IR相機或能夠處理可見光和IR范圍內(nèi)的光的相機，如 深度相機。在這一示例中，圖像傳感器134r是檢測區(qū)域139r。相機的圖像傳感器134r垂 直地位于顯不光學(xué)系統(tǒng)的光軸142上。在一些不例中，相機可以在鏡架115上位于透視透 鏡118上方或下方，或嵌入在透鏡118中。在一些實施例中，照明器153向相機提供光，而 在其他實施例中，相機使用環(huán)境光來捕捉圖像。捕捉到的圖像數(shù)據(jù)可被用來確定瞳孔與光 軸的對準?；谧⒁暀z測元件的幾何形狀，可以使用基于圖像數(shù)據(jù)、閃光數(shù)據(jù)或這兩者的注 視確定技術(shù)。
在這一示例中，鼻梁104中的馬達203相對于用戶的眼睛在水平方向上移動顯示 光學(xué)系統(tǒng)14r，如方向符號144所示。在系統(tǒng)14被移動時，可變形的鏡架部件215a和215b 在槽217a和217b內(nèi)滑動。在這一示例中，微顯示器部件173實施例的反射元件124a是 固定的。因為IB)通常只確定一次并被存儲，所以可能做出的對微顯示器120與反射元件 124a之間的焦距的任何調(diào)整可由微顯示器部件來實現(xiàn)，例如經(jīng)由在電樞137內(nèi)對微顯示器 元件的調(diào)整。
圖1OC是透視、近眼、混合現(xiàn)實設(shè)備的包括注視檢測元件的安排的活動顯示光學(xué) 系統(tǒng)的第三實施例的俯視圖。顯示光學(xué)系統(tǒng)14具有注視檢測元件的類似安排，包括IR照 明器153和光電檢測器152、以及位于鏡架115上或位于透鏡118上處于光軸142上方或下 方的光傳感器134r。在該示例中，顯示光學(xué)系統(tǒng)14包括作為用于將虛擬圖像定向到用戶的 眼睛的反射元件并且被置于附加的透視透鏡116和透視透鏡118之間的光導(dǎo)光學(xué)元件112。 反射元件124處于光導(dǎo)光學(xué)元件內(nèi)并且與元件112 —起移動,在該示例中在鏡腿102上,微 顯示器部件173的實施例被附連到顯示光學(xué)系統(tǒng)14的顯示調(diào)整機構(gòu)203，該顯示調(diào)整機構(gòu) 203被實現(xiàn)為一組具有傳動軸205的三軸馬達203，包括用于移動微顯示器部件的至少一個 馬達。鼻梁104上的一個或多個馬達203表示提供三軸移動144的顯示調(diào)整機構(gòu)203的其 他組件。在另一實施例中，馬達可用于只經(jīng)由它們的附連傳動軸205來在水平方向上移動 該設(shè)備。微顯示器部件173的馬達203還將垂直地移動它以維持從微顯示器120出射的光 與反射元件124之間的對準。控制電路的處理器210 (參見圖7)對它們的移動進行協(xié)調(diào)。
光導(dǎo)光學(xué)元件112將來自微顯示器120的光傳送到佩戴頭戴式顯示設(shè)備150的用 戶的眼睛。光導(dǎo)光學(xué)元件112還允許來自頭戴式顯示設(shè)備150的前方的光透過光導(dǎo)光學(xué)元 件112傳送到用戶的眼睛，從而除接收來自微顯示器120的虛擬圖像之外還允許用戶具有 頭戴式顯示設(shè)備150的前方的空間的實際直接視圖。因此，光導(dǎo)光學(xué)元件112的壁是透視 的。光導(dǎo)光學(xué)兀件112包括第一反射面124 (例如,鏡面或其他表面)。來自微顯不器120 的光穿過透鏡122并入射在反射面124上。反射面124反射來自微顯示器120的入射光， 使得光通過內(nèi)反射而被捕獲在包括光導(dǎo)光學(xué)元件112的平面襯底內(nèi)。
在襯底的表面上進行若干反射之后，所捕獲的光波到達選擇性反射面126的陣 列。注意，五個表面中只有一個表面被標記為126以防止附圖太過擁擠。反射面126將從襯底出射并入射在這些反射面上的光波耦合到用戶的眼睛。由于不同光線將以不同角度傳播并彈離襯底的內(nèi)部，因此這些不同的光線將以不同角度擊中各個反射面126。因此，不同光線將被所述反射面中的不同反射面從襯底中反射出。關(guān)于哪些光線將被哪個表面126從襯底反射出的選擇是通過選擇表面126的合適角度來設(shè)計的。光導(dǎo)光學(xué)元件的更多細節(jié)可以在于2008年11月20日公布的美國專利申請公開號2008/0285140、序列號 12/214，366 “Substrate-Guided Optical Devices (襯底導(dǎo)向的光學(xué)設(shè)備)”中找到，其整體通過引用結(jié)合于此。在一個實施例中，每只眼睛將具有其自己的光導(dǎo)光學(xué)元件112。當頭戴式顯示設(shè)備具有兩個光導(dǎo)光學(xué)元件時，每只眼睛都可以具有其自己的微顯示器120，該微顯示器120可以在兩只眼睛中顯示相同圖像或者在兩只眼睛中顯示不同圖像。在另一實施例中，可以存在將光反射到兩只眼睛的一個光導(dǎo)光學(xué)元件。
圖1OD是透視、近眼、混合現(xiàn)實設(shè)備的包括注視檢測元件的安排的活動顯示光學(xué)系統(tǒng)的第四實施例的俯視圖。該實施例類似于圖6C的實施例，包括光導(dǎo)光學(xué)元件112。然而，光檢測器僅有IR光電檢測器152，因此這一實施例僅依賴于閃光檢測來用作注視檢測， 如在以下示例中討論的。
在以上實施例中，所示出的具體數(shù)量的透鏡只是示例?？梢允褂闷渌麛?shù)目和配置的根據(jù)相同原理操作的透鏡。另外，在以上示例中，只示出了透視、近眼顯示器2的右偵彳。作為示例，全近眼、混合現(xiàn)實顯示設(shè)備將包括另一組透鏡116和/或118、用于圖6C和6D的實施例的另一光導(dǎo)光學(xué)兀件112、另一微顯不器120、另一透鏡系統(tǒng)122、可能包括另一面向房間的相機113、用于圖6A到6D的實施例的另一眼睛跟蹤相機134、耳機130、以及溫度傳感器 138。
圖11是可與一個或多個實施例一同使用的透視、近眼顯示單元2的硬件和軟件組件的一個實施例的框圖。圖12是描述處理單元20的各組件的框圖。在這一實施例中，透視頭戴式顯示器150接收來自處理單元20的關(guān)于虛擬圖像的指令并向處理單元20提供傳感器信息。可被實現(xiàn)在處理單元20中的軟件和硬件組件將從顯示設(shè)備150接收傳感器信息并且還可從中樞計算設(shè)備12接收傳感器信息。基于這一信息，處理單元20將確定在何處以及在何時向用戶提供虛擬圖像并相應(yīng)地將指令發(fā)送給顯示設(shè)備150的控制電路136。
注意，圖11的各組件中的一些(例如，面向物理環(huán)境的相機113、眼睛相機134、 可變虛擬焦距調(diào)整器135、光電檢測器接口 139、微顯示器120、照明設(shè)備153或照明器、耳機130、溫度傳感器138、顯示調(diào)整機構(gòu)203)以陰影示出，以指示這些設(shè)備中的每一個有兩個——頭戴式顯示設(shè)備150的左側(cè)一個以及右側(cè)一個。圖6示出與電源管理電路202通信的控制電路200?？刂齐娐?00包括處理器210、與存儲器214 (例如D-RAM)進行通信的存儲器控制器212、相機接口 216、相機緩沖區(qū)218、顯示驅(qū)動器220、顯示格式化器222、定時生成器226、顯示輸出接口 228、以及顯示輸入接口 230。在一個實施例中，控制電路220的所有組件經(jīng)由一個或多個總線的專用線路彼此進行通信。在另一實施例中，控制電路200的每個組件都與處理器210通信。
相機接口 216提供到兩個面向物理環(huán)境的相機113和每一眼睛相機134的接口， 并且將從相機113、134接收到的相應(yīng)圖像存儲在相機緩沖區(qū)218中。顯示驅(qū)動器220將驅(qū)動微顯示器120。顯示格式化器222可以向執(zhí)行該擴充的真實系統(tǒng)的處理的一個或多個計算機系統(tǒng)(例如20、12、210)的一個或多個處理器提供與被顯示在微顯示器120上的虛擬圖像有關(guān)的信息。定時生成器226被用于向該系統(tǒng)提供定時數(shù)據(jù)。顯示輸出228是用于將來 自面向物理環(huán)境的相機113和眼睛相機134的圖像提供給處理單元4的緩沖區(qū)。顯示輸入 230是用于接收諸如要在微顯示器120上顯示的虛擬圖像之類的圖像的緩沖區(qū)。顯示輸出 228和顯示輸入230與作為到處理單元4的接口的帶接口 232進行通信。
電源管理電路202包括電壓調(diào)節(jié)器234、眼睛跟蹤照明驅(qū)動器236、可變調(diào)整器驅(qū) 動器237、光電檢測器接口 239、音頻DAC以及放大器238、話筒預(yù)放大器和音頻ADC 240、溫 度傳感器接口 242、顯示調(diào)整機構(gòu)驅(qū)動器245、以及時鐘生成器244。電壓調(diào)節(jié)器234通過帶 接口 232從處理單元4接收電能，并將該電能提供給頭戴式顯示設(shè)備150的其他組件。照明 驅(qū)動器236如上面所述的那樣為照明設(shè)備153提供IR光源。音頻DAC和放大器238從耳 機130接收音頻信息。話筒預(yù)放大器和音頻ADC 240提供話筒110的接口。溫度傳感器接 口 242是用于溫度傳感器138的接口。一個或多個顯示調(diào)整驅(qū)動器245向組成每個顯示調(diào) 整機構(gòu)203的一個或多個馬達或其他設(shè)備提供控制信號，這些控制信號指示三個方向中的 至少一個方向上的移動調(diào)整量。電源管理單元202還向三軸磁力計132A、三軸陀螺儀132B 以及三軸加速度計132C提供電能并從其接收回數(shù)據(jù)。
可變調(diào)整器驅(qū)動器237向調(diào)整器135提供例如驅(qū)動電流或驅(qū)動電壓之類的控制信 號以移動微顯示器部件173的一個或多個元件來達到針對由在處理單元4或中樞計算機12 或二者中執(zhí)行的軟件所計算出的聚焦區(qū)的位移。在掃過一定范圍的位移并且因此掃過一定 范圍的聚焦區(qū)域的實施例中，可變調(diào)整器驅(qū)動器237從定時生成器226、或者可替代地從時 鐘生成器244接收定時信號，以便以所編程的速率或頻率來操作。
光電檢測器接口 239接收執(zhí)行來自每一光電檢測器的電壓或電流讀數(shù)所需的任 何模數(shù)轉(zhuǎn)換，經(jīng)由存儲器控制器212以處理器可讀的格式來將該讀數(shù)存儲在存儲器中，并 且監(jiān)視光電檢測器152的操作參數(shù)，如溫度和波長準確度。
圖12是與透視、近眼顯示單元相關(guān)聯(lián)的處理單元4的硬件和軟件組件的一個實施 例的框圖。移動設(shè)備5可包括硬件和軟件組件的這一實施例以及執(zhí)行類似功能的類似組 件。圖8示出與電源管理電路306通信的控制電路304?？刂齐娐?04包括中央處理單 元(CPU)320 ;圖形處理單元(GPU)322 ;高速緩存324 ；RAM 326 ;與存儲器330 (例如D-RAM) 進行通信的存儲器控制器328 ;與閃存334 (或其他類型的非易失性存儲)進行通信的閃存 控制器332 ;通過帶接口 302和帶接口 232與透視頭戴式顯示設(shè)備150進行通信的顯示輸 出緩沖區(qū)336 ;經(jīng)由帶接口 302和帶接口 232與透視頭戴式顯示設(shè)備150進行通信的顯示 輸入緩沖區(qū)338 ;與用于連接到話筒的外部話筒連接器342進行通信的話筒接口 340，用于 連接到無線通信設(shè)備346的PCI express接口 ；以及USB端口 348。
在一個實施例中，無線通信組件346可包括啟用W1-Fi的通信設(shè)備、藍牙通信設(shè) 備、紅外通信設(shè)備等。USB端口可以用于將處理單元4對接到中樞計算設(shè)備12，以便將數(shù) 據(jù)或軟件加載到處理單元20上以及對處理單元4進行充電。在一個實施例中，CPU 320和 GPU 322是用于確定在何處、何時以及如何向用戶的視野內(nèi)插入虛擬圖像的主負荷設(shè)備。
電源管理電路306包括時鐘生成器360，模數(shù)轉(zhuǎn)換器362，電池充電器364，電壓調(diào) 節(jié)器366，透視、近眼顯示器電源376，以及與溫度傳感器374進行通信的溫度傳感器接口 372 (位于處理單元4的腕帶上)。交流電到直流電轉(zhuǎn)換器362被連接到充電插座370來接 收AC電源并為該系統(tǒng)產(chǎn)生DC電源。電壓調(diào)節(jié)器366與用于向該系統(tǒng)提供電能的電池368進行通信。電池充電器364被用來在從充電插座370接收到電能后對電池368進行充電(經(jīng) 由電壓調(diào)節(jié)器366)。設(shè)備電源接口 376向顯示設(shè)備150提供電能。
以上附圖提供顯示光學(xué)系統(tǒng)的各元件的幾何結(jié)構(gòu)的示例，它們提供在以下附圖中 討論的確定iro的不同方法的基礎(chǔ)。這些方法實施例可引用以上系統(tǒng)的各元件和結(jié)構(gòu)作為 說明性上下文；然而，這些方法實施例可以在與上述系統(tǒng)和結(jié)構(gòu)不同的系統(tǒng)或結(jié)構(gòu)實施例 中操作。
圖16是可以在本發(fā)明技術(shù)的各實施例中操作的示例性移動設(shè)備的框圖。描繪了 典型移動電話的示例性電子電路。電話900包括一個或多個微處理器912，以及存儲由控制 處理器912的一個或多個處理器執(zhí)行來實現(xiàn)此處所述的功能的處理器可讀代碼的存儲器 1010 (例如，諸如ROM等非易失性存儲器和諸如RAM等易失性存儲器)。
移動設(shè)備900可包括例如處理器912、包括應(yīng)用和非易失性存儲的存儲器1010。處 理器912可實現(xiàn)通信以及任何數(shù)量的應(yīng)用，包括本文中所描述的交互應(yīng)用。存儲器1010可 以是任何種類的存儲器存儲介質(zhì)類型，包括非易失性和易失性存儲器。設(shè)備操作系統(tǒng)處理 移動設(shè)備900的不同操作，并可包含用于操作的用戶界面，如撥打和接聽電話呼叫、文本消 息收發(fā)、檢查語音郵件等。應(yīng)用1030可以是任何種類的程序，如用于照片和/或視頻的相 機應(yīng)用、地址簿、日歷應(yīng)用、媒體播放器、因特網(wǎng)瀏覽器、游戲、其他多媒體應(yīng)用、鬧鐘應(yīng)用、 其他第三方應(yīng)用、本文中討論的交互應(yīng)用等。存儲器1010中的非易失性存儲組件1040包 含諸如web高速緩存、音樂、照片、聯(lián)系人數(shù)據(jù)、日程安排數(shù)據(jù)、以及其他文件等數(shù)據(jù)。
處理器912還與RF發(fā)射/接收電路906進行通信，該電路906進而耦合到天線 902，它還與紅外發(fā)射器/接收器908、與像W1-Fi或藍牙等任何附加通信信道1060、以及與 像加速度計等移動/定向傳感器914通信。加速度計被包括到移動設(shè)備中，以啟用諸如讓 用戶通過姿勢輸入命令的智能用戶界面之類的應(yīng)用，在與GPS衛(wèi)星斷開聯(lián)系之后計算設(shè)備 的移動和方向的室內(nèi)GPS功能，并檢測設(shè)備的定向，并且，當旋轉(zhuǎn)電話時自動地將顯示從縱 向變?yōu)闄M向。可以，例如，通過微機電系統(tǒng)(MEMS)來提供加速度計，該微機電系統(tǒng)是構(gòu)建在 半導(dǎo)體芯片上的微小機械設(shè)備(微米尺寸)。可以感應(yīng)加速方向、以及定向、振動和震動。處 理器912還與響鈴器/振動器916、用戶界面鍵區(qū)/屏幕、生物測定傳感器系統(tǒng)918、揚聲器 1020、話筒922、相機924、光傳感器926以及溫度傳感器928進行通信。
處理器912控制無線信號的發(fā)射和接收。在發(fā)射模式期間，處理器912向RF發(fā)射 /接收電路906提供來自話筒922的語音信號或其他數(shù)據(jù)信號。發(fā)射/接收電路906將該 信號發(fā)射到遠程站(例如固定站、運營商、其他蜂窩電話等)來通過天線902進行通信。響鈴 器/振動器916被用于向用戶發(fā)傳入呼叫、文本消息、日歷提醒、鬧鐘提醒或其他通知等信 號。在接收模式期間，發(fā)射/接收電路906通過天線902接收來自遠程站的語音或其他數(shù) 據(jù)信號。所接收到的語音信號被提供給揚聲器1020，同時所接收到的其它數(shù)據(jù)信號也被適 當?shù)靥幚怼?br> 另外，物理連接器988可被用來將移動設(shè)備900連接到外部電源，如AC適配器或 加電對接底座。物理連接器988還可被用作到計算設(shè)備的數(shù)據(jù)連接。該數(shù)據(jù)連接允許諸如 將移動數(shù)據(jù)與另一設(shè)備上的計算數(shù)據(jù)進行同步等操作。
為這種服務(wù)啟用使用基于衛(wèi)星的無線電導(dǎo)航來中繼用戶應(yīng)用的位置的GPS接收 機 965。
附圖中示出的示例計算機系統(tǒng)包括計算機可讀存儲介質(zhì)的示例。計算機可讀存儲 介質(zhì)也是處理器可讀存儲介質(zhì)。這樣的介質(zhì)可包括以用于存儲諸如計算機可讀指令、數(shù)據(jù) 結(jié)構(gòu)、程序模塊、或其他數(shù)據(jù)等信息的任何方法或技術(shù)實現(xiàn)的易失性和非易失性、可移動和 不可移動介質(zhì)。計算機存儲介質(zhì)包括，但不限于，RAM、ROM、EEPR0M、高速緩存、閃存或其他 存儲器技術(shù)、CD-ROM、數(shù)字多功能盤(DVD)或其他光盤存儲、記憶棒或卡、磁帶盒、磁帶、媒體 驅(qū)動器、硬盤、磁盤存儲或其他磁性存儲設(shè)備、或能用于存儲所需信息且可以由計算機訪問 的任何其他介質(zhì)。
圖13示出了諸如個人計算機等合適的計算系統(tǒng)環(huán)境700的示例。
參考圖13，用于實現(xiàn)本技術(shù)的一個示例性系統(tǒng)包括計算機710形式的通用計算設(shè) 備。計算機710的組件可包括，但不限于，處理單元720、系統(tǒng)存儲器730、以及將包括系統(tǒng) 存儲器的各種系統(tǒng)組件耦合到處理單元720的系統(tǒng)總線721。系統(tǒng)總線721可以是若干類 型的總線結(jié)構(gòu)中的任一種，包括使用各種總線體系結(jié)構(gòu)中的任一種的存儲器總線或存儲器 控制器、外圍總線、以及局部總線。作為示例而非限制，這樣的體系結(jié)構(gòu)包括工業(yè)標準體系 結(jié)構(gòu)(ISA)總線、微通道體系結(jié)構(gòu)(MCA)總線、增強型ISA (EISA)總線、視頻電子標準協(xié)會 (VESA)局部總線，以及也稱為夾層(Mezzanine)總線的外圍部件互連(PCI)總線。
計算機710通常包括各種計算機可讀介質(zhì)。計算機可讀介質(zhì)可以是能被計算機 710訪問的任何可用介質(zhì)，而且包含易失性和非易失性介質(zhì)、可移動和不可移動介質(zhì)。作 為示例而非限制，計算機可讀介質(zhì)可包括計算機存儲介質(zhì)和通信介質(zhì)。計算機存儲介質(zhì)包 括以用于存儲諸如計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)等信息的任何方法或 技術(shù)實現(xiàn)的易失性和非易失性、可移動和不可移動介質(zhì)。計算機存儲介質(zhì)包括，但不限于， RAM、ROM、EEPR0M、閃存或其他存儲器技術(shù)，CD-ROM、數(shù)字多功能盤(DVD)或其他光盤存儲設(shè) 備，磁帶盒、磁帶、磁盤存儲設(shè)備或其他磁存儲設(shè)備，或者能用于存儲所需信息且可以由計 算機710訪問的任何其他介質(zhì)。通信介質(zhì)通常以諸如載波或其他傳輸機制等已調(diào)制數(shù)據(jù)信 號來體現(xiàn)計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)，并包括任意信息傳送介質(zhì)。術(shù) 語“已調(diào)制數(shù)據(jù)信號”是指具有以在信號中編碼信息的方式被設(shè)定或改變其一個或多個特 征的信號。作為示例而非限制，通信介質(zhì)包括諸如有線網(wǎng)絡(luò)或直接線連接之類的有線介質(zhì)， 以及諸如聲學(xué)、RF、紅外及其他無線介質(zhì)之類的無線介質(zhì)。上述中任一組合也應(yīng)包括在計算 機可讀介質(zhì)的范圍之內(nèi)。
系統(tǒng)存儲器730包括易失性和/或非易失性存儲器形式的計算機存儲介質(zhì)，如只 讀存儲器(ROM) 731和隨機存取存儲器(RAM) 732。包含諸如在啟動期間幫助在計算機710 內(nèi)的元件之間傳輸信息的基本例程的基本輸入/輸出系統(tǒng)733 (BIOS)通常儲存儲在ROM 731中。RAM 732通常包含處理單元720可立即訪問和/或當前正在操作的數(shù)據(jù)和/或程 序模塊。作為示例而非限制，圖7示出了操作系統(tǒng)734、應(yīng)用程序735、其它程序模塊736和 程序數(shù)據(jù)737。
計算機710也可以包括其他可移動/不可移動、易失性/非易失性計算機存儲介 質(zhì)。僅作為示例，圖13示出了從不可移動、非易失性磁介質(zhì)中讀取或向其寫入的硬盤驅(qū)動 器740，從可移動、非易失性磁盤752中讀取或向其寫入的磁盤驅(qū)動器751，以及從諸如⑶ ROM或其它光學(xué)介質(zhì)等可移動、非易失性光盤756中讀取或向其寫入的光盤驅(qū)動器755?？?在示例性操作環(huán)境中使用的其他可移動/不可移動、易失性/非易失性計算機存儲介質(zhì)包括但不限于，磁帶盒、閃存卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等。硬盤驅(qū)動 器741通常由例如接口 740等不可移動存儲器接口連接至系統(tǒng)總線721，而磁盤驅(qū)動器751 和光盤驅(qū)動器755通常由例如接口 750等可移動存儲器接口連接至系統(tǒng)總線721。
上文討論并在圖13中示出的驅(qū)動器及其相關(guān)聯(lián)的計算機存儲介質(zhì)為計算機710 提供了對計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其他數(shù)據(jù)的存儲。例如，在圖13中，硬盤 驅(qū)動器741被示為存儲操作系統(tǒng)744、應(yīng)用程序745、其它程序模塊746和程序數(shù)據(jù)747。注 意，這些組件可與操作系統(tǒng)734、應(yīng)用程序735、其他程序模塊736和程序數(shù)據(jù)737相同，也 可與它們不同。在此操作系統(tǒng)744、應(yīng)用程序745、其他程序模塊746以及程序數(shù)據(jù)747被 給予了不同的編號，以說明至少它們是不同的副本。用戶可以通過輸入設(shè)備，例如鍵盤762 和定點設(shè)備761——通常是指鼠標、跟蹤球或觸摸墊——向計算機20輸入命令和信息。其 他輸入設(shè)備(未示出)可包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀等。這些以及 其他輸入設(shè)備通常通過耦合到系統(tǒng)總線的用戶輸入接口 760連接到處理單元720，但也可 通過諸如并行端口、游戲端口或通用串行總線(USB)之類的其他接口和總線結(jié)構(gòu)來連接。監(jiān) 視器791或其他類型的顯示設(shè)備也通過諸如視頻接口 790之類的接口連接至系統(tǒng)總線721。 除監(jiān)視器之外，計算機還可以包括可以通過輸出外圍接口 790連接的諸如揚聲器797和打 印機796之類的其他外圍輸出設(shè)備。
計算機710可使用到一個或多個遠程計算機(諸如，遠程計算機780)的邏輯連接 而在聯(lián)網(wǎng)環(huán)境中操作。遠程計算機780可以是個人計算機、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對等設(shè) 備或其它常見網(wǎng)絡(luò)節(jié)點，且通常包括上文相對于計算機710描述的許多或所有元件，但在 圖7中只示出存儲器存儲設(shè)備781。圖7中所示的邏輯連接包括局域網(wǎng)(LAN) 771和廣域 網(wǎng)(WAN)773，但也可以包括其它網(wǎng)絡(luò)。此類聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍的計算機網(wǎng)絡(luò)、內(nèi) 聯(lián)網(wǎng)和因特網(wǎng)中是常見的。
當在LAN聯(lián)網(wǎng)環(huán)境中使用時，計算機710通過網(wǎng)絡(luò)接口或適配器770連接到LAN 771。當在WAN聯(lián)網(wǎng)環(huán)境中使用時，計算機710通常包括調(diào)制解調(diào)器772或用于通過諸如因 特網(wǎng)等WAN 773建立通信的其他手段。調(diào)制解調(diào)器772可以是內(nèi)置的或外置的，可經(jīng)由用 戶輸入接口 760或其他適當?shù)臋C制連接到系統(tǒng)總線721。在聯(lián)網(wǎng)環(huán)境中，相對于計算機710 所示的程序模塊或其部分可被存儲在遠程存儲器存儲設(shè)備中。作為示例而非限制，圖13示 出了遠程應(yīng)用程序785駐留在存儲器設(shè)備781上。應(yīng)當理解，所示的網(wǎng)絡(luò)連接是示例性的， 并且可使用在計算機之間建立通信鏈路的其他手段。
計算系統(tǒng)環(huán)境700只是合適計算環(huán)境的一個示例，而非意在暗示對本技術(shù)的使用 范圍或功能有任何限制。也不應(yīng)該將計算環(huán)境700解釋為對示例性操作環(huán)境700中示出的 任一組件或其組合有任何依賴性或要求。
本技術(shù)可用各種其它通用或?qū)Ｓ糜嬎阆到y(tǒng)環(huán)境或配置來操作。適合在該技術(shù)中使 用的公知的計算系統(tǒng)、環(huán)境和/或配置的示例包括，但不限于，個人計算機、服務(wù)器計算機、 手持或膝上型設(shè)備、多處理器系統(tǒng)、基于微處理器的系統(tǒng)、機頂盒、可編程消費者電子產(chǎn)品、 網(wǎng)絡(luò)PC、小型機、大型機、包含上述系統(tǒng)或設(shè)備中的任一個的分布式計算機環(huán)境等。
本技術(shù)可在諸如程序模塊等由計算機執(zhí)行的計算機可執(zhí)行指令的通用上下文中 描述。一般而言，程序模塊包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、對象、 組件、數(shù)據(jù)結(jié)構(gòu)等。本技術(shù)也可以在任務(wù)由通過通信網(wǎng)絡(luò)鏈接的遠程處理設(shè)備執(zhí)行的分布式計算環(huán)境中實現(xiàn)。在分布式計算環(huán)境中，程序模塊可以位于包括存儲器存儲設(shè)備在內(nèi)的本地和遠程計算機存儲介質(zhì)中。
盡管用結(jié)構(gòu)特征和/或方法動作專用的語言描述了本主題，但可以理解，所附權(quán)利要求書中定義的主題不必限于上述具體特征或動作。更確切而言，上述具體特征和動作是作為實現(xiàn)權(quán)利要求的示例形式公開的。
權(quán)利要求
1.一種用于控制透視頭戴式顯示設(shè)備的方法，包括 用透視、近眼、混合現(xiàn)實顯示器來創(chuàng)建用戶至少一只眼睛的圖像(204)，所述顯示器包括用于每只眼睛的顯示光學(xué)系統(tǒng)，所述顯示光學(xué)系統(tǒng)包括生成所述眼睛的圖像數(shù)據(jù)以提供虹膜圖像的至少一個傳感器； 確定所述至少一只眼睛的虹膜的圖像中的圖案(206)； 基于所述圖案將包含用戶偏好的用戶簡檔(208)信息與所述用戶相關(guān)聯(lián)，以標識所述用戶；以及 基于所述用戶簡檔中的所述用戶偏好來操作所述透視、近眼、混合現(xiàn)實顯示器(216)，以在所述顯示光學(xué)系統(tǒng)中向所述用戶提供增強現(xiàn)實圖像。
2.如權(quán)利要求1所述的方法，其特征在于，確定圖案包括在所述虹膜圖像中檢測瞳孔，在所述虹膜圖像中檢測虹膜周圍的虹膜環(huán)，并從所述虹膜圖像中移除噪聲，以及使用至少一個用戶虹膜來生成圖案。
3.如權(quán)利要求1所述的方法，其特征在于，所述用戶簡檔包含iro調(diào)整數(shù)據(jù)，并且其中所述操作步驟包括操縱所述顯示光學(xué)系統(tǒng)以將每只用戶眼睛的光軸與所述顯示光學(xué)系統(tǒng)中的顯示設(shè)備對準。
4.如權(quán)利要求3所述的方法，其特征在于，所述iro調(diào)整數(shù)據(jù)包括在三個維度上定位所述顯示光學(xué)系統(tǒng)的數(shù)據(jù)。
5.如權(quán)利要求1所述的方法，其特征在于，還包括以下步驟 確定是否存在用戶的用戶簡檔，并且如果用戶簡檔不存在，則生成用戶簡檔，以及其中生成用戶簡檔的步驟包括以下步驟 確定在所捕捉數(shù)據(jù)中標識的瞳孔位置與相應(yīng)光軸位置之間在水平方向和垂直方向上的瞳孔位置差； 基于所述瞳孔位置差來自動地確定至少一個顯示調(diào)整機構(gòu)的至少一個調(diào)整值；以及 將所述調(diào)整值存儲到所述用戶簡檔中。
6.一種包括透視、近眼、混合現(xiàn)實顯示器的系統(tǒng)，包括 包括用于每只眼睛的顯示光學(xué)系統(tǒng)的透視、近眼、混合現(xiàn)實顯示系統(tǒng)(150)，每個顯示光學(xué)系統(tǒng)具有光軸并被定位成由相應(yīng)的眼睛來透視，并包括用于支撐每個顯示光學(xué)系統(tǒng)的一個或多個光學(xué)元件的相應(yīng)的活動支撐結(jié)構(gòu)(115)； 所述顯示光學(xué)系統(tǒng)包括至少一個傳感器(134)，所述至少一個傳感器在所述顯示光學(xué)系統(tǒng)在一定距離和方向處顯示圖像時生成從相應(yīng)的眼睛所捕捉的反射光的眼睛數(shù)據(jù)，以便測量Iro ； 包括代碼的處理器(4)，所述代碼指示所述處理器基于對所述用戶至少一只眼睛的圖像數(shù)據(jù)的評估來確定用戶身份，對基于用戶虹膜的虹膜識別圖案與同用戶簡檔(280)相關(guān)聯(lián)的用戶虹膜識別圖案數(shù)據(jù)庫(37)進行比較，并確定所述用戶身份與已存儲的用戶簡檔之間是否存在匹配；以及 至少一個顯示調(diào)整機構(gòu)(203、205)，所述至少一個顯示調(diào)整機構(gòu)被連接到所述相應(yīng)的活動支撐結(jié)構(gòu)以根據(jù)一個或多個位置調(diào)整值來移動至少一個活動支撐結(jié)構(gòu)。
7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括指示所述處理器執(zhí)行以下操作的代碼從所述用戶簡檔檢索用于所述活動支撐結(jié)構(gòu)的所述至少一個或多個位置調(diào)整值；以及 依照定義所述用戶的瞳孔間距的預(yù)定特性，根據(jù)所述顯示光學(xué)系統(tǒng)的所述一個或多個元件來移動所述至少一個活動支撐結(jié)構(gòu)。
8.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述至少一個或多個位置調(diào)整值包括在三個維度上定位所述顯示光學(xué)系統(tǒng)的數(shù)據(jù)。
9.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括指示所述處理器執(zhí)行以下操作的代碼確定是否存在用戶的用戶簡檔，并且如果不存在用戶簡檔，則生成用戶簡檔。
10.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括指示所述處理器執(zhí)行以下操作的代碼確定在所捕捉數(shù)據(jù)中標識的瞳孔位置與相應(yīng)眼睛光軸位置之間在水平方向和垂直方向上的瞳孔位置差； 基于所述瞳孔位置差來自動地確定至少一個顯示調(diào)整機構(gòu)的至少一個調(diào)整值；以及將所述調(diào)整值存儲到所述用戶簡檔中。
11.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述用戶簡檔包括以下各項中的一個或多個增強現(xiàn)實服務(wù)用戶偏好；用戶iro調(diào)整數(shù)據(jù)；增強現(xiàn)實信息過濾器。
全文摘要
本發(fā)明涉及具有虹膜掃描剖析的頭戴式顯示器。透視頭戴式顯示器以及用于操作該顯示器以通過自動地參考用戶簡檔來優(yōu)化顯示器性能的方法。通過執(zhí)行對用戶的虹膜掃描和識別來確定用戶的身份，從而使得用戶簡檔信息能夠被檢索并用于增強用戶佩戴透視頭戴式顯示器的體驗。用戶簡檔可包含用戶偏好以及顯示調(diào)整信息，該用戶偏好是關(guān)于向透視頭戴式顯示器提供增強現(xiàn)實圖像的服務(wù)的，該顯示調(diào)整信息優(yōu)化透視頭戴式顯示器中的顯示元件的位置。
文檔編號G02B27/01GK103033936SQ20121031355
公開日2013年4月10日 申請日期2012年8月29日 優(yōu)先權(quán)日2011年8月30日
發(fā)明者K·S·佩雷茲, B·小克羅科, J·R·劉易斯, B·沃特, A·A-A·基普曼 申請人:微軟公司