背景技術(shù)：

在需要聚焦的光學(xué)系統(tǒng)中，聚焦機構(gòu)的定位直接導(dǎo)致傳輸?shù)膱D像的聚焦變化。在手動聚焦的系統(tǒng)中，用戶調(diào)整聚焦元件，直到圖像的聚焦達到想要的狀態(tài)。自動聚焦系統(tǒng)通過使用測距儀或者通過測量圖像的聚焦程度來達成類似的目標(biāo)。

在聚焦光學(xué)系統(tǒng)中仍然存在問題。

概述

本技術(shù)的各實施例涉及用于對相機進行聚焦的系統(tǒng)和方法。在一個實施例中，相機是包括顯示單元和眼睛位置和追蹤組件的頭戴式顯示設(shè)備。顯示單元將圖像顯示到左眼和右眼上的光學(xué)元件。眼睛位置和追蹤組件可包括一個或多個光源和一個或多個相機。公開了用于對hmd中的一個或多個相機進行聚焦的技術(shù)。本技術(shù)不限于對hmd中的相機進行聚焦。

在一個實施例中，與顯示器和相機進行通信的處理邏輯接收與相機相關(guān)聯(lián)的數(shù)據(jù)并基于該數(shù)據(jù)確定相機焦點對準(zhǔn)的程度。處理邏輯生成具有一定程度的模糊的代理圖像(proxyimage)，并且將代理圖像顯示在顯示器上，模糊的程度與相機焦點對準(zhǔn)的程度負相關(guān)。用戶被指示調(diào)整相機聚焦機構(gòu)以對代理圖像更好地聚焦。

替代實施例包括以下內(nèi)容。接收與相機相關(guān)聯(lián)的數(shù)據(jù)。相機焦點對準(zhǔn)的程度基于所接收的數(shù)據(jù)來確定。生成具有一定程度的模糊的代理圖像，模糊的程度與相機焦點對準(zhǔn)的程度負相關(guān)。代理圖像被顯示在顯示屏上。重復(fù)以上步驟，包括接收與相機相關(guān)聯(lián)的更新的數(shù)據(jù)，確定相機焦點對準(zhǔn)的新的程度，以及修改代理圖像的模糊程度以與相機的新的聚焦程度負相關(guān)。

另一示例包括頭戴式顯示器(hmd)，包括近眼透視顯示器、紅外(ir)相機、以及與紅外相機和近眼透視顯示器通信的處理器。處理器接收來自ir相機的紅外圖像，并且確定紅外圖像失焦的程度。處理器對基準(zhǔn)圖像進行模糊以創(chuàng)建代理圖像，代理圖像具有一定程度的模糊，該模糊程度與紅外圖像失焦的程度相關(guān)。所述處理器在所述近眼、透視顯示器上顯示代理圖像。在顯示代理圖像之后，處理器接收來自ir相機的新的紅外圖像，并且確定紅外圖像失焦的程度。處理器修改代理圖像的模糊程度以與紅外圖像失焦的新程度相關(guān)。處理器基于經(jīng)修改的模糊程度顯示經(jīng)更新的代理圖像。

提供本概述以便以簡化的形式介紹以下在詳細描述中進一步描述的一些概念。本概述并非旨在標(biāo)識出要求保護的主題的關(guān)鍵特征或必要特征，亦非旨在用作輔助確定要求保護的主題的范圍。

附圖簡述

圖1是用于向一個或多個用戶呈現(xiàn)混和現(xiàn)實環(huán)境的系統(tǒng)的一個實施例的示例組件的圖示。

圖2是頭戴式顯示單元的一個實施例的立體圖。

圖3a是頭戴式顯示單元的一個實施例的一部分的側(cè)視圖。

圖3b、3c和3d示出在配備在一副眼鏡上的hmd中的、相應(yīng)注視檢測元件的集合的位置的示例性安排。

圖4是頭戴式顯示單元的組件的一個實施例的框圖。

圖5是與頭戴式顯示單元相關(guān)聯(lián)的處理單元的組件的一個實施例的框圖。

圖6是用于對相機進行聚焦的系統(tǒng)的一個實施例的示圖。

圖7涉及對相機進行聚焦的過程的一個實施例。

圖8是用于生成代理圖像的過程的一個實施例的流程圖。

圖9a示出可被用于圖8的過程中的示例基準(zhǔn)圖像。

圖9b示出可在圖8的過程中被生成的示例代理圖像。

圖9c描繪了表示代理圖像的模糊程度與相機的聚焦程度負相關(guān)的圖。

圖10a是用于對相機聚焦的系統(tǒng)的一個實施例的示圖。

圖10b是用于對相機聚焦的系統(tǒng)的另一實施例的示圖。

圖11是可用于實現(xiàn)本文描述的計算系統(tǒng)的計算系統(tǒng)的一個實施例的框圖。

詳細描述

現(xiàn)在將描述本技術(shù)的各實施例，這些實施例總的涉及用于對相機進行聚焦的系統(tǒng)和方法。在一個實施例中，系統(tǒng)生成代理圖像，該代理圖像被一定程度的模糊，該一定程度與相機失焦的程度相關(guān)。用戶可被要求調(diào)整聚焦機構(gòu)以嘗試將代理圖像變得焦點對準(zhǔn)。這使得相機能夠在無需用戶需要看到來自相機的圖像的情況下被聚焦。這可被例如用于對紅外相機進行聚焦。紅外相機可以是設(shè)備(諸如頭戴式顯示設(shè)備)中的追蹤相機。

頭戴式顯示設(shè)備可包括顯示元件。該顯示元件在一定程度上透明，使得用戶可透過該顯示元件看到該用戶的視野(fov)內(nèi)的現(xiàn)實世界物體。該顯示元件還提供將虛擬圖像投影到該用戶的fov中以使得所述虛擬圖像也可出現(xiàn)在現(xiàn)實世界物體旁邊的能力。該系統(tǒng)自動地追蹤用戶所看之處，從而該系統(tǒng)可確定將虛擬圖像插入到該用戶的fov中的何處。一旦該系統(tǒng)知曉要將該虛擬圖像投影至何處，就使用該顯示元件投影該圖像。

頭戴式顯示設(shè)備可被用于實現(xiàn)包括現(xiàn)實和虛擬物體的混合現(xiàn)實環(huán)境?；旌犀F(xiàn)實是一種允許將全息或虛擬圖像與現(xiàn)實世界物理環(huán)境相混合的技術(shù)。用戶可佩戴透視、頭戴式、混合現(xiàn)實顯示設(shè)備來觀看用戶的視野中所顯示的現(xiàn)實物體和虛擬物體的混合圖像。為了便于形成三維深度的幻象，虛擬物體的圖像由頭戴式顯示設(shè)備獨立地顯示給左眼和右眼，其中在圖像之間存在微小的雙眼差異。這一雙眼差異被大腦理解為指示虛擬物體在混合現(xiàn)實環(huán)境中的深度。

圖1示出用于通過將虛擬物體21與用戶fov內(nèi)的現(xiàn)實內(nèi)容融合來提供混合現(xiàn)實體驗的系統(tǒng)10。圖1示出多個用戶18a、18b、18c，每個用戶佩戴頭戴式顯示設(shè)備2，用于從自身視角觀看虛擬物體，諸如虛擬物體21。在又一些示例中，可以存在比三個更多或更少的用戶。如在圖2和3中看到的，頭戴式顯示設(shè)備2可包括集成處理單元4。在其他實施例中，處理單元4可以與頭戴式顯示設(shè)備2分開，且可經(jīng)由有線或無線通信來與頭戴式顯示設(shè)備2通信。

在一個實施例中為眼鏡形狀的頭戴式顯示設(shè)備2被佩戴在用戶的頭上，使得用戶可以透過顯示器進行觀看，并且從而具有該用戶前方的空間的實際直接視圖。使用術(shù)語“實際直接視圖”來指代直接用人眼看見現(xiàn)實世界物體的能力，而不是看見物體的被創(chuàng)建的圖像表示。例如，透過房間的玻璃看允許用戶得到該房間的實際直接視圖，而觀看電視機上的房間的視頻并不是該房間的實際直接視圖。下面提供頭戴式顯示設(shè)備2的更多細節(jié)。

處理單元4可包括用于操作頭戴式顯示設(shè)備2的計算能力中的許多能力。在一些實施例中，處理單元4與一個或多個中樞計算系統(tǒng)12無線地(例如，wifi、藍牙、紅外、或其他無線通信手段)通信。如此后解釋的，中樞計算系統(tǒng)12可以在處理單元4的遠程提供，使得中樞計算系統(tǒng)12和處理單元4經(jīng)由諸如lan或wan等無線網(wǎng)絡(luò)來通信。在進一步實施例中，中樞計算系統(tǒng)12可被省略以使用頭戴式顯示設(shè)備2和處理單元4來提供移動混合現(xiàn)實體驗。

頭戴式顯示設(shè)備2(既可以自身也可以與中樞計算系統(tǒng)12一起)可提供混合現(xiàn)實環(huán)境，其中一個或多個虛擬圖像(諸如圖1中的虛擬物體21)可與場景中的現(xiàn)實世界物體混合在一起。圖1示出植物23或者用戶的手23的示例，作為出現(xiàn)在用戶的fov內(nèi)的現(xiàn)實世界物體。

圖2和3a示出了頭戴式顯示設(shè)備2的立體圖和側(cè)視圖。圖3a示出了頭戴式顯示設(shè)備2的右側(cè)，包括該設(shè)備的具有鏡腿102和鼻梁104的一部分。在鼻梁104中置入了話筒110用于記錄聲音以及將音頻數(shù)據(jù)傳送給處理單元4，如下所述。在頭戴式顯示設(shè)備2的前方是朝向房間的視頻相機112，該視頻相機112可以捕捉視頻和靜止圖像。那些圖像被傳送至處理單元4，如下所述。

頭戴式顯示設(shè)備2的鏡架的一部分將圍繞顯示器(顯示器包括一個或多個透鏡)。為了示出頭戴式顯示設(shè)備2的組件，未描繪圍繞顯示器的鏡架部分。該顯示器包括光導(dǎo)光學(xué)元件115、不透明濾光器114、透視透鏡116和透視透鏡118。在一個實施例中，不透明度濾光器114處于透視透鏡116之后并與其對齊，光導(dǎo)光學(xué)元件115處于不透明度濾光器114之后并與其對齊，而透視透鏡118處于光導(dǎo)光學(xué)元件115之后并與其對齊。透視透鏡116和118是眼鏡中使用的標(biāo)準(zhǔn)鏡片，并且可根據(jù)任何驗光單(包括無驗光單)來制作。光導(dǎo)光學(xué)元件115將人造光引導(dǎo)到眼睛。

控制電路136提供支持頭戴式顯示設(shè)備2的其他組件的各種電子裝置。控制電路136的更多細節(jié)在下文參照圖4提供。處于鏡腿102內(nèi)部或安裝到鏡腿102的是耳機130、慣性測量單元132、以及溫度傳感器138。在圖4中所示的一個實施例中，慣性測量單元132(或imu132)包括慣性傳感器，諸如三軸磁力計132a、三軸陀螺儀132b以及三軸加速度計132c。慣性測量單元132感測頭戴式顯示設(shè)備2的位置、定向和突然加速度(俯仰、滾轉(zhuǎn)和偏航)。除了磁力計132a、陀螺儀132b和加速度計132c之外或者取代磁力計132a、陀螺儀132b和加速度計132c，imu132還可包括其他慣性傳感器。

微顯示器120通過透鏡122來投影圖像。存在著可被用于實現(xiàn)微顯示器120的不同的圖像生成技術(shù)。例如，微顯示器120可以使用透射投影技術(shù)來實現(xiàn)，其中光源由光學(xué)活性材料來調(diào)制，用白光從背后照亮。這些技術(shù)通常使用具有強大背光和高光能量密度的lcd型顯示器來實現(xiàn)。微顯示器120還可使用反射技術(shù)來實現(xiàn)，其中外部光被光學(xué)活性材料反射并調(diào)制。取決于該技術(shù)，照明是由白光源或rgb源來向前點亮的。數(shù)字光處理(dlp)、硅上液晶(lcos)、以及來自高通公司的顯示技術(shù)都是高效的反射技術(shù)的示例(因為大多數(shù)能量從已調(diào)制結(jié)構(gòu)反射離開)并且可被用在本系統(tǒng)中。附加地，微顯示器120可以使用發(fā)射技術(shù)來實現(xiàn)，其中光由該顯示器生成。例如，來自microvision有限公司的picop^tm顯示引擎使用微型鏡面舵來將激光信號發(fā)射到擔(dān)當(dāng)透射元件的小型屏幕上或直接將光束(例如，激光)發(fā)射到眼睛。

光導(dǎo)光學(xué)元件115將來自微顯示器120的光傳送到佩戴頭戴式顯示設(shè)備2的用戶的眼睛140。光導(dǎo)光學(xué)元件115還允許如箭頭142所描繪的那樣將光從頭戴式顯示設(shè)備2的前方通過光導(dǎo)光學(xué)元件115傳送到眼睛140，從而除了接收來自微顯示器120的虛擬圖像之外還允許用戶具有頭戴式顯示設(shè)備2的前方的空間的實際直接視圖。從而，光導(dǎo)光學(xué)元件115的壁是透視的。光導(dǎo)光學(xué)元件115包括第一反射表面124(例如鏡面或其他表面)。來自微顯示器120的光穿過透鏡122并入射在反射表面124上。反射表面124反射來自微顯示器120的入射光，使得光通過內(nèi)反射被陷在包括光導(dǎo)光學(xué)元件115的平面基底內(nèi)。在基底的表面上進行若干次反射之后，被陷的光波到達選擇性反射表面126的陣列。注意，五個表面中的一個表面被標(biāo)記為126以防止附圖太過擁擠。反射表面126將從基底出射并入射在這些反射表面上的光波耦合進用戶的眼睛140。

根據(jù)本技術(shù)的各方面，頭戴式顯示設(shè)備2還可包括用于定位并追蹤用戶眼睛的位置的系統(tǒng)。該系統(tǒng)包括眼睛位置和追蹤組件134(圖3a)，其具有眼睛追蹤照明設(shè)備134a和眼睛追蹤傳感器134b(圖4)。在一個實施例中，眼睛追蹤照明設(shè)備134a包括一個或多個紅外(ir)發(fā)射器，這些紅外發(fā)射器向眼睛發(fā)射ir光。在一個實施例中，眼睛追蹤傳感器134b包括一個或多個感測反射的ir光的相機。替代地，眼睛追蹤傳感器134b可以是rgb或深度傳感器。在各實施例中，可以存在多個傳感器134b。

通過檢測角膜的反射的已知成像技術(shù)，可以標(biāo)識出用戶眼睛的位置、以及眼睛內(nèi)的瞳孔。此類技術(shù)可以定位眼睛的中心相對于追蹤傳感器134b的位置。在各實施例中，針對左眼和右眼中的每一個，可存在一個單獨的眼睛位置和追蹤組件134，使得可確定用戶的ipd。在進一步實施例中，可以存在標(biāo)識左眼或右眼中的每一個的中心的單個眼睛位置和追蹤組件134。

在一個實施例中，該系統(tǒng)將使用以矩形布置的4個irled和4個ir光電檢測器，使得在頭戴式顯示設(shè)備2的透鏡的每個角處存在一個irled和ir光電檢測器。來自led的光從眼睛反射離開。在4個ir光電檢測器的每一個處檢測到的紅外光的量確定了眼睛相對于傳感器134b的位置以及瞳孔方向。具體而言，眼睛中眼白相對于眼黑的量將確定對于該特定光電檢測器而言從眼睛反射離開的光量。因此，光電檢測器將具有對眼睛中的眼白或眼黑的量的度量。從這4個采樣中，該系統(tǒng)可確定眼睛的方向。

另一替代方案是如上面所討論的那樣使用4個紅外led，但是在頭戴式顯示設(shè)備2的透鏡的一側(cè)上使用一個紅外ccd。ccd將使用小鏡子和/或透鏡(魚眼)，以使得ccd可對來自眼鏡框的可見眼睛的多達75％成像。然后，該ccd將感測圖像并且使用計算機視覺來找出該圖像，就像上文所討論的那樣。因此，盡管圖3示出了具有一個ir發(fā)射器的一個部件，但是圖3的結(jié)構(gòu)可以被調(diào)整為具有4個ir發(fā)射器和/或4個ir傳感器。也可以使用多于或少于4個的ir發(fā)射器和/或多于或少于4個的ir傳感器。

用于追蹤眼睛的方向的另一實施例基于電荷追蹤。此概念基于以下觀察：視網(wǎng)膜攜帶可測量的正電荷而角膜具有負電荷。傳感器被安裝在用戶的耳朵旁(靠近耳機130)以檢測眼睛在轉(zhuǎn)動時的電勢并且高效地實時讀出眼睛正在干什么。這既提供了用戶的眼睛相對于頭戴式顯示設(shè)備的位置，也提供了用戶的瞳孔的位置。也可使用用于確定用戶的眼睛相對于頭戴式顯示設(shè)備的位置的其他實施例。

使用以上描述的實施例中的任意一個，眼睛位置和追蹤組件134能夠確定左眼和右眼相對于眼睛位置和追蹤組件134的位置的位置。使用系統(tǒng)134相對于光學(xué)元件115的已知的位置和幾何結(jié)構(gòu)，也知曉了光學(xué)元件115相對于左眼和右眼的位置。這一位置包括眼睛和光學(xué)元件沿x軸的相對位置(例如，水平定位)。這一位置包括眼睛和光學(xué)元件沿y軸的相對位置(例如，豎直定位)。并且，這一位置包括眼睛和光學(xué)元件沿z軸的相對位置(例如，眼睛和光學(xué)元件之間的距離)。

除了位置，確定光學(xué)元件115相對于左眼和右眼的角度朝向(傾斜、偏轉(zhuǎn)和翻滾)也是有利的。為此目的，眼睛位置和追蹤組件134還確定每一只眼睛的中心、以及從眼睛的中心筆直射出的眼睛矢量。

可用多種方式來確定眼睛中心。在傳感器134b捕捉到眼睛的圖像(或者作為顏色圖像和/或作為深度圖像)的情況下，圖像可被分析以確定眼睛中心。例如，圖像傳感器可檢查角膜表面，并以此確定主軸和角膜中心。在進一步實施例中，圖像傳感器可檢查眼睛的其他特征，包括瞳孔、鞏膜(眼白部分)和/或眼睫毛。臉部的其他特征(諸如眉毛、鼻子和鼻梁)可進一步被成像和用于確定左眼和右眼的中心。

包括ir發(fā)射機/接收機的示例還可確定眼睛的中心以及從該中心筆直射出的眼睛矢量。例如，在存在多個(諸如4個)ir發(fā)射機/接收機的情況下，這些組件中的每一個可測量它們檢測到的眼睛中鞏膜的量。這四個獨立的值可被確定和比較。當(dāng)每一個組件測量出眼睛中鞏膜的相同的量時，眼睛位于中心(筆直向前看)，并且眼睛矢量可被取為從瞳孔垂直地筆直向外。這一位置既可在每一個ir發(fā)射機/接收機測得眼睛中鞏膜的相同的量時找出，也可從其中四個發(fā)射機/接收機配對測得眼睛中鞏膜的不同的值的測量中推測出。

如上文提到的，每一只眼睛可具有其自身的位置和追蹤組件134，并且可為每一只眼睛確定獨立的眼睛矢量。替代地，可以假設(shè)眼睛是對稱的并且一起移動，因而可為兩只眼睛確定和使用單個眼睛矢量。

圖3a示出了頭戴式顯示設(shè)備2的一半。完整的頭戴式顯示設(shè)備將包括另一組透視透鏡、另一不透明濾光器、另一光導(dǎo)光學(xué)元件、另一微顯示器120、另一透鏡122、面向房間的相機112、眼睛位置和追蹤組件134、微顯示器、耳機、和溫度傳感器。

在一個實施例中，顯示器和不透明度濾光器被同時渲染，并且被校準(zhǔn)到用戶在空間中的精確位置以補償角度偏移問題。眼睛追蹤(例如，使用眼睛追蹤相機134)可用于計算視野的末端處的正確的圖像偏移。眼睛追蹤還可用于提供用于使面向前方的相機113或另一相機聚焦的數(shù)據(jù)。在一個實施例中，眼睛追蹤相機134以及用于計算眼睛向量的其它邏輯被認(rèn)為是眼睛追蹤系統(tǒng)。

圖3b示出在配備在一副眼鏡上的hmd2中的、相應(yīng)注視檢測元件的集合的位置的示例性安排。表現(xiàn)為每個眼睛的鏡片的是每個眼睛的顯示光學(xué)系統(tǒng)14，例如14r和14l。顯示光學(xué)系統(tǒng)包括透視透鏡，如普通眼鏡一樣，但還包含用于將虛擬內(nèi)容與透過透鏡6看到的實際且直接的現(xiàn)實世界視圖無縫地融合的光學(xué)元件(例如，反射鏡、濾光器)。顯示光學(xué)系統(tǒng)14具有一般處于透視透鏡中心的光軸，其中光一般被校準(zhǔn)來提供無失真視圖。例如，在眼睛護理專業(yè)人員使一副普通眼鏡適合于用戶的臉部時，目標(biāo)是該眼鏡在每一瞳孔與相應(yīng)鏡片的中心或光軸相對準(zhǔn)的位置處落在用戶的鼻子上，從而通常使得校準(zhǔn)光到達用戶的眼睛以得到清晰或無失真的視圖。

在圖3b的示例中，至少一個傳感器的檢測區(qū)域139r、139l與其相應(yīng)顯示光學(xué)系統(tǒng)14r、14l的光軸相對準(zhǔn)，使得檢測區(qū)域139r、139l的中心捕捉沿著光軸的光。如果顯示光學(xué)系統(tǒng)14與用戶的瞳孔對準(zhǔn)，則相應(yīng)傳感器134的每一檢測區(qū)域139與用戶的瞳孔相對準(zhǔn)。檢測區(qū)域139的反射光經(jīng)由一個或多個光學(xué)元件傳送到相機的實際圖像傳感器134，在該示例中傳感器134由處于鏡架115內(nèi)部的虛線示出。

在一個示例中，通常也被稱為rgb相機的可見光相機可以是所述傳感器，并且光學(xué)元件或光引導(dǎo)元件的示例是部分透射且部分反射的可見光反射鏡?？梢姽庀鄼C提供用戶的眼睛的瞳孔的圖像數(shù)據(jù)，而ir光電探測器162捕捉閃光，閃光是頻譜的ir部分中的反射。如果使用可見光相機，則虛擬圖像的反射可以出現(xiàn)在該相機所捕捉的眼睛數(shù)據(jù)中。圖像過濾技術(shù)可被用于按需移除虛擬圖像反射。ir相機對眼睛上的虛擬圖像反射是不敏感的。

在一個實施例中，所述至少一個傳感器134是ir輻射可被定向到的ir相機或位置敏感檢測器(psd)。例如，熱反射表面可傳遞可見光，但反射ir輻射。從眼睛反射的ir輻射可以來自照明器153、其他ir照明器(未示出)的入射輻射或者來自從眼睛反射的環(huán)境ir輻射。在一些示例中，傳感器134可以是rgb和ir相機的組合，并且光學(xué)引導(dǎo)元件可包括可見光反射或轉(zhuǎn)向元件和ir輻射反射或轉(zhuǎn)向元件。在一些示例中，相機可以是小型的，例如2毫米(mm)乘2mm。這樣的相機傳感器的示例是omnivisionov7727。在其他示例中，相機可以足夠小(例如omnivisionov7727)，例如使得圖像傳感器或相機134能以顯示光學(xué)系統(tǒng)14的光軸或其他位置為中心。例如，相機134可被嵌入在系統(tǒng)14的鏡片中。另外，可以應(yīng)用圖像過濾技術(shù)來將相機混合到用戶視野中以減輕對用戶的任何干擾。

在圖3b的示例中，有四組照明器163，照明器162與光電檢測器163配對并由屏障164分開以避免照明器162所生成的入射光與在光電檢測器152處接收到的反射光之間的干擾。為了在附圖中避免不必要的混亂，附圖標(biāo)記就被示出了代表性的一對。每一照明器可以是生成大約預(yù)定波長的窄光束的紅外(ir)照明器。光電檢測器中的每一個可被選擇來捕捉大約該預(yù)定波長的光。紅外還可以包括近紅外。因為照明器或光電檢測器可能存在波長漂移或者關(guān)于波長的微小范圍是可接受的，所以照明器和光電檢測器可以具有與要生成或檢測的波長有關(guān)的容限范圍。在傳感器是ir相機或ir位置敏感檢測器(psd)的實施例中，光電檢測器可包括附加數(shù)據(jù)捕捉設(shè)備并且也可被用來監(jiān)視照明器的操作，例如波長漂移、波束寬度改變等。該光電檢測器還用作為傳感器134的可見光相機來提供閃光數(shù)據(jù)。

如上所述，在作為確定注視向量的一部分來計算角膜中心的一些實施例中，兩個閃光(并且因此兩個照明器)將是足夠的。然而，其他實施例可在確定瞳孔位置并進而確定注視向量中使用附加的閃光。因為表示閃光的眼睛數(shù)據(jù)是重復(fù)地捕捉的，例如以每秒30幀或更大的幀率，所以一個閃光的數(shù)據(jù)可被眼瞼或甚至被睫毛遮擋，但數(shù)據(jù)可由另一照明器所生成的閃光來收集。

圖3c示出一副眼鏡中相應(yīng)注視檢測元件的集合的位置的另一示例性安排。在該實施例中，兩組照明器163和光電檢測器162對位于顯示光學(xué)系統(tǒng)14周圍的每一鏡架部分115的頂部附近，并且另兩組照明器和光電檢測器對位于每一鏡架部分115的底部附近，以示出照明器之間的幾何關(guān)系并因此示出它們生成的閃光之間的幾何關(guān)系的另一示例。閃光的這一安排可以提供與垂直方向上的瞳孔位置有關(guān)的更多信息。

圖3d示出相應(yīng)注視檢測元件的集合的位置的又一示例性安排。在該示例中，傳感器134r、134l與其相應(yīng)顯示光學(xué)系統(tǒng)14r、14l的光軸成一直線或與其對準(zhǔn)，但在鏡架115上位于系統(tǒng)14下方。另外，在一些實施例中，相機134可以是深度相機或包括深度傳感器。深度相機可被用于在3d中追蹤眼睛。在該示例中，存在照明器153和光檢測器152的兩個集合。

圖4是描繪了頭戴式顯示設(shè)備2的各個組件的框圖。圖5是描述處理單元4的各種組件的框圖。頭戴式顯示設(shè)備2(其組件在圖4中被描繪)被用于通過將一個或多個虛擬圖像與用戶對現(xiàn)實世界的視圖的無縫融合來向用戶提供混合現(xiàn)實體驗。另外，圖4的頭戴式顯示設(shè)備組件包括追蹤各種狀況的許多傳感器。頭戴式顯示設(shè)備2將從處理單元4接收關(guān)于虛擬圖像的指令，并且將把傳感器信息提供回給處理單元4。處理單元4(其組件在圖4中描繪)將接收來自頭戴式顯示設(shè)備2的傳感器信息。

使用該信息和可能的來自中樞計算系統(tǒng)12的信息，處理單元4可確定在何處以及在何時向用戶提供虛擬圖像并相應(yīng)地將指令發(fā)送給圖4的頭戴式顯示設(shè)備。如以下闡述的，使用來自眼睛位置和追蹤組件134的信息，處理單元4可額外地確定眼睛位置和追蹤組件134中相機被聚焦的程度。這一信息可被用于生成被呈現(xiàn)在微顯示器120上(并因此在顯示光學(xué)系統(tǒng)14或各種元件124、115、126等上)的代理圖像。用戶可被指示通過調(diào)整相機聚焦機構(gòu)來聚焦該代理圖像。以此方式，相機可被聚焦。

圖4的組件中的一些(例如朝向房間的相機112、眼睛追蹤傳感器134b、微顯示器120、不透明濾光器114、眼睛追蹤照明134a、耳機130和溫度傳感器138)是以陰影示出的，以指示這些設(shè)備中的每個都存在兩個，其中一個用于頭戴式顯示設(shè)備2的左側(cè)，而一個用于頭戴式顯示設(shè)備2的右側(cè)。圖4示出與電源管理電路202通信的控制電路200?？刂齐娐?00包括處理器210、與存儲器214(例如d-ram)進行通信的存儲器控制器212、相機接口216、相機緩沖器218、顯示驅(qū)動器220、顯示格式化器222、定時生成器226、顯示輸出接口228、以及顯示輸入接口230。

在一個實施例中，控制電路200的所有組件都通過專用線路或一個或多個總線彼此進行通信。在另一實施例中，控制電路200的每個組件都與處理器210通信。相機接口216提供到兩個朝向房間的相機112的接口，并且將從朝向房間的相機所接收到的圖像存儲在相機緩沖器218中。顯示驅(qū)動器220將驅(qū)動微顯示器120。顯示格式化器222向控制不透明濾光器114的不透明度控制電路224提供關(guān)于微顯示器120上所正顯示的虛擬圖像的信息。定時生成器226被用來為該系統(tǒng)提供定時數(shù)據(jù)。顯示輸出接口228是用于將圖像從朝向房間的相機112提供給處理單元4的緩沖器。顯示輸入接口230是用于接收諸如要在微顯示器120上顯示的虛擬圖像之類的圖像的緩沖器。顯示輸出接口228和顯示輸入接口230與作為到處理單元4的接口的帶接口232通信。

電源管理電路202包括電壓調(diào)節(jié)器234、眼睛追蹤照明驅(qū)動器236、音頻dac和放大器238、話筒前置放大器和音頻adc240、溫度傳感器接口242、以及時鐘發(fā)生器244。電壓調(diào)節(jié)器234通過帶接口232從處理單元4接收電力，并將該電力提供給頭戴式顯示設(shè)備2的其他組件。每個眼睛追蹤照明驅(qū)動器236都如上面所述的那樣為眼睛追蹤照明134a提供ir光源。音頻dac和放大器238向耳機130輸出音頻信息。話筒前置放大器和音頻adc240提供用于話筒110的接口。溫度傳感器接口242是用于溫度傳感器138的接口。電源管理電路202還向三軸磁力計132a、三軸陀螺儀132b以及三軸加速度計132c提供電能并從其接收回數(shù)據(jù)。

圖5是描述處理單元4的各種組件的框圖。圖5示出與電源管理電路306通信的控制電路304?？刂齐娐?04包括：中央處理單元(cpu)320、圖形處理單元(gpu)322、高速緩存324、ram326、與存儲器330(例如d-ram)進行通信的存儲器控制器328、與閃存334(或其他類型的非易失性存儲)進行通信的閃存控制器332、通過帶接口302和帶接口232與頭戴式顯示設(shè)備2進行通信的顯示輸出緩沖器336、通過帶接口302和帶接口232與頭戴式顯示設(shè)備2進行通信的顯示輸入緩沖器338、與用于連接到話筒的外部話筒連接器342進行通信的話筒接口340、用于連接到無線通信設(shè)備346的pciexpress接口、以及(一個或多個)usb端口348。在一個實施例中，無線通信設(shè)備346可包括啟用wi-fi的通信設(shè)備、藍牙通信設(shè)備、紅外通信設(shè)備等。usb端口可被用于將處理單元4對接到中樞計算系統(tǒng)12，以便將數(shù)據(jù)或軟件裝載到處理單元4以及對處理單元4充電。在一個實施例中，cpu320和gpu322是用于確定在何處、何時以及如何向用戶的視野內(nèi)插入虛擬三維物體的主要力量。以下提供更多的細節(jié)。

電源管理電路306包括時鐘發(fā)生器360、模數(shù)轉(zhuǎn)換器362、電池充電器364、電壓調(diào)節(jié)器366、頭戴式顯示器電源376、以及與溫度傳感器374進行通信的溫度傳感器接口372(其可能位于處理單元4的腕帶上)。模數(shù)轉(zhuǎn)換器362被用于監(jiān)視電池電壓、溫度傳感器，以及控制電池充電功能。電壓調(diào)節(jié)器366與用于向該系統(tǒng)提供電力的電池368進行通信。電池充電器364被用來在從充電插孔370接收到電力時(通過電壓調(diào)節(jié)器366)對電池368進行充電。hmd電源376向頭戴式顯示設(shè)備2提供電力。

圖6是用于對相機604聚焦的系統(tǒng)600的一個實施例的示圖。系統(tǒng)600包括處理邏輯602、相機604、以及顯示器606。在一個實施例中，系統(tǒng)600是hmd2的一部分。相機604可以是本文描述的相機中的任意一個。在一個實施例中，相機604是ir相機。相機604可以是眼睛位置和追蹤組件134的一部分。例如，相機604可以是眼睛追蹤相機134b。相機604還可以是朝向房間的相機112。待聚焦的相機不限于這些示例。

在一個實施例中，顯示器606包括本文描述的hmd2的一個或多個元件。例如，顯示器606可包括微顯示器120。另外，諸如反射表面124、光導(dǎo)光學(xué)元件115、選擇性反射表面126之類的元件的組合可被視為顯示器606。參考圖3b－3d，顯示器606可包括顯示光學(xué)系統(tǒng)14。需要注意，顯示器606可包括用于右眼的顯示器和用于左眼的顯示器。然而，存在用于每一個眼睛的單獨的顯示器并不是必需的。

處理邏輯602具有用于檢測相機604被聚焦的程度的聚焦檢測612。聚焦檢測612輸入與相機604相關(guān)聯(lián)并且可被用于確定相機604被聚焦的程度的數(shù)據(jù)。這一數(shù)據(jù)可以是來自相機604的圖像數(shù)據(jù)。這可以是除了圖像數(shù)據(jù)以外的數(shù)據(jù)，諸如指示相機604距離相機604正聚焦于其上的物體有多遠的數(shù)據(jù)。聚焦檢測612輸出指示相機604被聚焦的程度(或者相機被“清晰對焦”的程度)的信號。

渲染614輸入來自聚焦檢測612的信號并生成具有與相機604清晰對焦的程度負相關(guān)的模糊程度的圖像(例如，“代理圖像”)。需要注意，這可以是一種負相關(guān)，即當(dāng)相機被越焦點對準(zhǔn)時，代理圖像中可能越少模糊。換言之，當(dāng)相機被越模糊聚焦時，代理圖像中可能越多模糊。該“模糊的”圖像被呈現(xiàn)在顯示器606上。在一個實施例中，渲染是在圖形處理單元(gpu)上實現(xiàn)。

相機聚焦機構(gòu)605允許相機604被聚焦。例如，用戶能夠手動調(diào)整相機聚焦機構(gòu)605。作為一個示例，相機604可具有聚焦透鏡(除了相機的物鏡之外)，該聚焦透鏡被移動已對相機604進行聚焦。然而，可使用許多其他類型的相機聚焦機構(gòu)605。對于hmd2，用戶可調(diào)整他們眼睛和相機604之間的距離以對相機604聚焦。在這一示例中，相機聚焦機構(gòu)605可以是hmd上的一種結(jié)構(gòu)，該結(jié)構(gòu)允許在用戶佩戴hmd2時將相機的位置相對于用戶的眼睛進行移動。

圖像處理610輸入來自相機604的圖像數(shù)據(jù)并且執(zhí)行某種類型的對圖像數(shù)據(jù)的處理。眼睛追蹤是一個示例，但處理可以是任何處理。處理邏輯602、聚焦檢測612、渲染614、以及圖像處理610可各自以軟件、硬件、或軟件和硬件的某種組合來實現(xiàn)。圖4和5中的各元件可被使用。例如，渲染614可由gpu(圖5，322)執(zhí)行，而圖像處理610和聚焦檢測612可由cpu(圖5，320)執(zhí)行。處理器(圖4，210)還可被用于圖像處理610、渲染614和/或聚焦檢測612。用于在各個處理器210、320、322上執(zhí)行的指令可被存儲在存儲器(例如，存儲器244、330、334，高速緩存324、ram326)中。這些僅僅是示例，但并不旨在是限制性的。另外，并不要求處理邏輯602、渲染614和/或聚焦檢測612由處理器上執(zhí)行的指令來實現(xiàn)。例如，可使用專用集成電路(asic)。

圖7涉及對相機進行聚焦的過程的一個實施例。這一過程可被用于圖6的系統(tǒng)600中。將參考圖6中的各元件，但是該過程不限于該系統(tǒng)600。該過程可被用于hmd2，但不是必需的。在一個實施例中，該過程被用于對紅外相機進行聚焦。該過程可以許多方式來啟動。一個可能性是用于系統(tǒng)(例如，hmd)來確定相機需要被聚焦，并響應(yīng)于此來啟動該過程。

這一過程包含呈現(xiàn)代理圖像給用戶。在步驟702，系統(tǒng)600指示用戶他們將在該過程期間嘗試對代理圖像進行聚焦。需要注意，當(dāng)這一指示被提供時，系統(tǒng)600可以或可以不呈現(xiàn)代理圖像。系統(tǒng)600還可提供用于對代理圖像進行聚焦的的指示。這一指示可以供用戶來調(diào)整相機聚焦機構(gòu)以嘗試將代理圖像變得更聚焦。

在步驟704，系統(tǒng)600接收與相機604相關(guān)聯(lián)的數(shù)據(jù)。在一個實施例中，該數(shù)據(jù)是來自相機604的圖像數(shù)據(jù)。例如，該數(shù)據(jù)可以是ir圖像。這一數(shù)據(jù)是來自相機的圖像數(shù)據(jù)并不是必需的。在一個實施例中，這一數(shù)據(jù)指示相機604和相機604待聚焦于其上的物體之間的距離。

在步驟706，系統(tǒng)600確定相機604被聚焦的程度。在一個實施例中，系統(tǒng)600確定來自相機604的圖像被聚焦的程度。然而，系統(tǒng)600可將這一判斷基于除了圖像之外的信息。例如，這一判斷可基于指示相機604和相機604待聚焦于其上的物體之間的距離的數(shù)據(jù)。

在步驟708，系統(tǒng)600生成具有一定程度的模糊的代理圖像，模糊的程度與相機604被聚焦的程度負相關(guān)。如上文提到的，這可以使是相關(guān)。換言之，代理圖像中模糊的程度與相機604失焦的程度相關(guān)。下文描述了進一步細節(jié)。

在步驟710，系統(tǒng)600將代理圖像顯示在顯示器606上。在一個實施例中，代理圖像被顯示在hmd上。如上文提到的，顯示器606可包括顯示光學(xué)系統(tǒng)14、微顯示器120、反射表面124、光導(dǎo)光學(xué)元件115、選擇性反射表面126。

在步驟712，用戶調(diào)整相機聚焦機構(gòu)。用戶嘗試將代理圖像變得焦點對準(zhǔn)。下文描述了進一步細節(jié)。

在步驟714，系統(tǒng)600確定相機604是否被令人滿意地聚焦。如果是，過程完成。否則，過程返回步驟704以接收與相機604相關(guān)聯(lián)的更多數(shù)據(jù)。假設(shè)用戶已對相機聚焦機構(gòu)進行了調(diào)整，系統(tǒng)600將確定相機聚焦的程度已改變(在步驟706中)。因此，步驟708中生成的代理圖像將具有其更新的模糊程度，使得該模糊程度與新的相機聚焦程度負相關(guān)。

圖8是用于生成代理圖像的過程的一個實施例的流程圖。該過程是圖7的步驟708的一個實施例。再次，將參考圖6中的各元件，但是可以理解該過程不限于該系統(tǒng)600。在步驟802，系統(tǒng)600訪問來自處理器可讀存儲的基準(zhǔn)圖像。該基準(zhǔn)圖像通常是位于可見光譜中的圖像。該基準(zhǔn)圖像的內(nèi)容是無關(guān)緊要的。由于該基準(zhǔn)圖像將要被顯示給用戶，因此這一圖像可基于具有良好屬性來被選擇以使得用戶能夠?qū)λM行聚焦。需要注意，可直接從ir相機圖像中生成的圖像可能不適合用戶來進行聚焦。例如，如果ir圖像將在波長上偏移使其可見，則其可能對用戶而言不易對該圖像進行聚焦。出于討論的目的，圖9a示出具有花盆中的植物的示例基準(zhǔn)圖像910。需要注意，這一基準(zhǔn)圖像910不是來自相機604的圖像。

在步驟804，系統(tǒng)600對基準(zhǔn)圖像910進行模糊以形成代理圖像。出于討論的目的，圖9b示出作為基準(zhǔn)圖像910的經(jīng)模糊的版本的示例代理圖像920。在一個實施例中，這一模糊通過使用數(shù)學(xué)函數(shù)來執(zhí)行。例如，可使用點分布函數(shù)(psf)。psf可被應(yīng)用于基準(zhǔn)圖像910中的每一個像素，其可用于將每一個相應(yīng)像素的光強度分布到相鄰像素。隨后，結(jié)果被累加以產(chǎn)生代理圖像920。psf的寬度可被設(shè)置以得到需要的模糊程度。在一個實施例中，步驟804在gpu上執(zhí)行。

如之前所討論的，代理圖像920的模糊程度與相機的聚焦程度負相關(guān)。例如，相機604越焦點對準(zhǔn)，代理圖像920就越不模糊。因此，這可被稱為負相關(guān)。替代地，可以稱為相機604越失焦，代理圖像920就越模糊。

圖9c描繪了具有曲線950的圖，曲線950表示代理圖像920的模糊程度與相機604的聚焦程度負相關(guān)。系統(tǒng)600可確定表示相機聚焦程度的值，其可通過x軸來表示。系統(tǒng)600可確定代理圖像的合適的模糊程度，使得產(chǎn)生想要的負相關(guān)。

圖10a是用于對相機聚焦的系統(tǒng)的一個實施例的示圖。這是圖6的系統(tǒng)600的變形，其中聚焦檢測612a輸入圖像數(shù)據(jù)以確定相機604焦點對準(zhǔn)的程度。在一個實施例中，圖像數(shù)據(jù)是ir圖像數(shù)據(jù)。例如，相機604捕捉紅外波長中的圖像。圖10a的系統(tǒng)可以是hmd2。不是所有的元件都被描繪，以避免使示圖模糊。

在一個實施例中，聚焦檢測612a使用圖像處理技術(shù)來確定相機圖像焦點對準(zhǔn)的程度。存在本領(lǐng)域普通技術(shù)人員已知的用于確定來自相機604的圖像焦點對準(zhǔn)的程度的技術(shù)。任何方便的技術(shù)可被使用。例如，可使用對比度檢測。對比度檢測測量相機圖像內(nèi)的對比度。相鄰像素之間的強度差應(yīng)當(dāng)隨正確的圖像聚焦而增加。光學(xué)系統(tǒng)可由此被調(diào)整，直到檢測到最大對比度?？墒褂梅治鱿鄼C圖像的其他技術(shù)來確定相機圖像焦點對準(zhǔn)的程度。

基準(zhǔn)圖像910被示出作為對渲染614的輸入，渲染614輸出代理圖像920。代理圖像920被呈現(xiàn)在顯示器606上。用戶(用眼睛140表示)能夠手動調(diào)整相機聚焦機構(gòu)605。例如，用戶可通過沿相機聚焦機構(gòu)605移動相機604(如雙箭頭所指示的)來調(diào)整他們的眼睛和相機604之間的距離。作為一個示例，相機聚焦機構(gòu)605可以是允許調(diào)整相機604到眼睛140的距離被調(diào)整的任何結(jié)構(gòu)。相機聚焦機構(gòu)605可以是在hmd2的機架上的結(jié)構(gòu)，其允許相對于眼睛移動相機位置?？墒褂闷渌夹g(shù)來調(diào)整相機604的聚焦。

在圖10a的示例中，處理邏輯602具有眼睛追蹤1010，其輸入相機圖像數(shù)據(jù)。這是來自圖6的圖像處理610的一個示例。

聚焦檢測612使用圖像分析并不是必需的。圖10b是其中聚焦檢測612b距離數(shù)據(jù)以確定相機604焦點對準(zhǔn)的程度的一個實施例的示圖。在一個實施例中，該距離數(shù)據(jù)指示相機604距離正被聚焦的物體有多遠。在一個實施例中，該距離數(shù)據(jù)指示相機604距離用戶的眼睛140有多遠。圖10a的系統(tǒng)可以是hmd2。不是所有的元件都被描繪，以避免使示圖模糊。

聚焦檢測612a可具有相機604應(yīng)處于的目標(biāo)距離。作為一個示例，聚焦檢測612a可訪問具有將聚焦程度與每一個距離相關(guān)聯(lián)的各個值的表。作為另一示例，聚焦檢測612b可采用算術(shù)方程來基于輸入距離和相機604的已知屬性(諸如焦距等)來確定聚焦程度。

距離數(shù)據(jù)可由相機604自己來提供。例如，相機604可具有能夠確定其自身與要聚焦于其上的物體之間的距離的測距儀。距離數(shù)據(jù)可由除了正被進行聚焦的相機604以外的元件來提供。例如，在hmd上可以存在可被用于確定距離的另一相機。替代地，(hmd上的相機的)距離數(shù)據(jù)可由不在hmd上的設(shè)備(諸如附近的另一相機)來確定。

圖11示出可被用于實現(xiàn)中樞計算系統(tǒng)12或本文公開的其他處理器的計算系統(tǒng)的示例實施例。如圖11中所示，計算系統(tǒng)500具有含有一級高速緩存502、二級高速緩存504和閃存rom(只讀存儲器)506的中央處理單元(cpu)501。一級高速緩存502和二級高速緩存504臨時存儲數(shù)據(jù)，并且因此減少存儲器訪問周期的數(shù)量，由此改進處理速度和吞吐量。cpu501可被配備為具有一個以上的內(nèi)核，并且由此具有附加的一級和二級高速緩存502和504。閃存rom506可存儲在計算設(shè)備500通電時在引導(dǎo)過程的初始化階段加載的可執(zhí)行代碼。

圖形處理單元(gpu)508和視頻編碼器/視頻編解碼器(編碼器/解碼器)514形成用于高速和高分辨率圖形處理的視頻處理流水線。經(jīng)由總線從圖形處理單元508向視頻編碼器/視頻編解碼器514運送數(shù)據(jù)。視頻處理流水線向a/v(音頻/視頻)端口540輸出數(shù)據(jù)，用于傳輸至電視或其他顯示器。存儲器控制器510連接到gpu508以方便處理器訪問各種類型的存儲器512，諸如但不局限于ram(隨機存取存儲器)。

計算設(shè)備500包括優(yōu)選地在模塊518上實現(xiàn)的i/o控制器520、系統(tǒng)管理控制器522、音頻處理單元523、網(wǎng)絡(luò)接口524、第一usb主控制器526、第二usb控制器528以及前面板i/o子部件530。usb控制器526和528用作外圍控制器542(1)-542(2)、無線適配器548、以及外置存儲器設(shè)備546(例如，閃存、外置cd/dvdrom驅(qū)動器、可移動介質(zhì)等)的主機。網(wǎng)絡(luò)接口524和/或無線適配器548提供對網(wǎng)絡(luò)(例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等)的訪問，并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍牙模塊、電纜調(diào)制解調(diào)器等的各種不同的有線或無線適配器組件中的任何一種。

系統(tǒng)存儲器543被提供來存儲在引導(dǎo)過程期間被加載的應(yīng)用數(shù)據(jù)。提供媒體驅(qū)動器544，且其可包括dvd/cd驅(qū)動器、藍光驅(qū)動器、硬盤驅(qū)動器、或其他可移動媒體驅(qū)動器等。媒體驅(qū)動器544可位于計算設(shè)備500的內(nèi)部或外部。應(yīng)用數(shù)據(jù)可經(jīng)由媒體驅(qū)動器544來訪問，以供計算設(shè)備500執(zhí)行、回放等。媒體驅(qū)動器544經(jīng)由諸如串行ata總線或其他高速連接(例如ieee1394)之類的總線被連接到i/o控制器520。

系統(tǒng)管理控制器522提供與確保計算設(shè)備500的可用性相關(guān)的各種服務(wù)功能。音頻處理單元523和音頻編解碼器532形成具有高保真度和立體聲處理的相應(yīng)音頻處理流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元523與音頻編解碼器532之間傳輸。音頻處理流水線將數(shù)據(jù)輸出到a/v端口540，以供外置音頻用戶或具有音頻能力的設(shè)備再現(xiàn)。

前面板i/o子部件530支持暴露在計算設(shè)備500的外表面上的電源按鈕550和彈出按鈕552以及任何led(發(fā)光二極管)或其他指示器的功能。系統(tǒng)供電模塊536向計算設(shè)備500的組件供電。風(fēng)扇538冷卻計算設(shè)備500內(nèi)的電路。

cpu501、gpu508、存儲器控制器510、和計算設(shè)備500內(nèi)的各個其它組件經(jīng)由一條或多條總線互連，包括串行和并行總線、存儲器總線、外圍總線、和使用各種總線架構(gòu)中任一種的處理器或局部總線。作為示例，這樣的架構(gòu)可包括外圍部件互連(pci)總線、pci-express總線等。

當(dāng)計算設(shè)備500通電時，應(yīng)用數(shù)據(jù)可從系統(tǒng)存儲器543被加載到存儲器512和/或高速緩存502、504中并在cpu501上執(zhí)行。應(yīng)用可在導(dǎo)航到計算設(shè)備500上可用的不同媒體類型時呈現(xiàn)提供一致用戶體驗的圖形用戶界面。在操作中，媒體驅(qū)動器544中所包含的應(yīng)用和/或其他媒體可從媒體驅(qū)動器544啟動或播放，以將附加功能提供給計算設(shè)備500。

技術(shù)設(shè)備500可通過將系統(tǒng)簡單地連接到電視機或其它顯示器而作為獨立系統(tǒng)來操作。在該獨立模式中，計算設(shè)備500允許一個或多個用戶與該系統(tǒng)交互、看電影，或聽音樂。然而，在集成了可通過網(wǎng)絡(luò)接口524或無線適配器548而變得可用的寬帶連接的情況下，計算設(shè)備500還可作為較大網(wǎng)絡(luò)社區(qū)中的參與者來操作。另外，計算設(shè)備500可以通過無線適配器548與處理單元4通信。

可選的輸入設(shè)備(例如，控制器542(1)和542(2))由游戲應(yīng)用和系統(tǒng)應(yīng)用共享。輸入設(shè)備不是保留的資源，而是要在系統(tǒng)應(yīng)用和游戲應(yīng)用之間被切換以使其各自將具有設(shè)備的焦點。應(yīng)用管理器較佳地控制輸入流的切換，而無需知曉游戲應(yīng)用的知識，而驅(qū)動程序維護有關(guān)焦點切換的狀態(tài)信息。捕捉設(shè)備20可經(jīng)由usb控制器526或其他接口來定義設(shè)備500的附加輸入設(shè)備。在其他實施例中，中樞計算系統(tǒng)12可以使用其他硬件架構(gòu)來實現(xiàn)。沒有一個硬件架構(gòu)是必需的。

盡管用結(jié)構(gòu)特征和/或方法動作專用的語言描述了本發(fā)明主題，但可以理解，所附權(quán)利要求書中定義的主題不必限于上述具體特征或動作。更確切而言，上述具體特征和動作是作為實現(xiàn)權(quán)利要求的示例形式公開的。本發(fā)明的范圍由所附的權(quán)利要求進行定義。