背景

觸摸屏技術(shù)將顯示和輸入功能組合在一個統(tǒng)一的、直觀的用戶界面(ui)中。觸摸屏以許多尺寸和形狀因子可用，并且利用了各種傳感器技術(shù)，其已經(jīng)變成一種普遍存在的ui模態(tài)。然而，觸摸屏技術(shù)具有固有的局限。例如，盡管觸摸屏顯示器可以是從很遠(yuǎn)距離可視的，但僅當(dāng)用戶在附近時它才能接收輸入。而且，經(jīng)受正常使用的觸摸屏很快就會被來自用戶的手的油和其它污染物弄臟。弄臟使得顯示質(zhì)量下降并且需要頻繁清潔。

概述

在本公開的一個實施例中，計算系統(tǒng)從機器視覺系統(tǒng)接收對用戶的頭和指示器成像的視頻?；谠撘曨l，計算系統(tǒng)計算用戶的通過指示器的幾何視線并標(biāo)識沿幾何視線放置的定向到的對象(targetedobject)。

提供本概述以便以簡化的形式介紹以下在詳細(xì)描述中進(jìn)一步描述的一些概念。本概述并不旨在標(biāo)識所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。此外，所要求保護(hù)的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點的實現(xiàn)。

附圖簡述

圖1示出其中通過眼睛跟蹤以及姿勢識別來定向?qū)ο蟮氖纠h(huán)境。

圖2示出被配置為支持定向?qū)ο蟮氖纠嬎阆到y(tǒng)的各方面。

圖3示出了在姿勢識別中使用的示例虛擬骨架的各方面。

圖4示出示例虛擬骨架的手部分的各方面。

圖5在一個示例實施例中示出眼睛跟蹤的各方面。

圖6示出做出姿勢以選擇定向到的對象的用戶。

圖7、8和9示出包括定向到的對象在內(nèi)的一組顯示對象。

圖10示出做出姿勢以向前移動目標(biāo)對象的用戶。

圖11示出做出姿勢以減小目標(biāo)對象的尺寸的用戶。

圖12示出被配置為基于所組合的眼睛跟蹤與姿勢識別來支持對象定向的示例可穿戴電子設(shè)備。

圖13示出圖12的可穿戴電子設(shè)備的各附加方面。

圖14示出基于所組合的眼睛跟蹤與姿勢識別來標(biāo)識定向到的對象的示例方法。

圖15示出基于所組合的眼睛跟蹤與姿勢識別來在顯示屏上形成對象的示例方法。

詳細(xì)描述

在一個或多個實施例中基本相同的組件、過程步驟和其他元素被協(xié)調(diào)地標(biāo)識并且以重復(fù)最小的方式描述。然而，將注意，同等地標(biāo)識的各元素也可在一定程度上不同。將進(jìn)一步注意到，上面列出的附圖是示意性的并且通常未按照比例繪制。當(dāng)然，附圖中所示的各種繪圖比例、縱橫比、以及組件的數(shù)量可故意地失真，以更容易看到某些特征或關(guān)系。

圖1示出在其中用戶12站立在大尺寸、平面顯示屏14前面的環(huán)境10。顯示器14在一些實施例中可以是立體3d顯示器，或者在其它實施例中是傳統(tǒng)的2d顯示器。計算系統(tǒng)16操作上耦合至該顯示器以及其它組件，例如音頻-視頻(a/v)接收機18和揚聲器20。在一個實施例中，計算系統(tǒng)可以是游戲控制臺。在另一個實施例中，計算系統(tǒng)可以是多用途個人計算機或工作站。以下描述計算系統(tǒng)的附加方面。

在一些實施例中，用戶12可以通過傳統(tǒng)的輸入設(shè)備—例如鍵盤、觸摸屏、鼠標(biāo)、游戲系統(tǒng)控制器和/或無線遙控器與計算系統(tǒng)16和相關(guān)聯(lián)的組件交互。作為替換或補充，計算系統(tǒng)可以對“自然用戶輸入”(nui)進(jìn)行響應(yīng)，其中用戶語音、手勢和/或眼睛移動被感測、解釋并被用于控制計算系統(tǒng)。

為此，在圖1中的計算系統(tǒng)16操作上被耦合到機器視覺系統(tǒng)22。所示的機器視覺系統(tǒng)包括紅外(ir)或近紅外(nir)照明源24、深度相機26以及平面圖像相機28。機器視覺系統(tǒng)還可以包括用于接收來自用戶12的語音或其它可聽輸入的話筒30(在圖1中未示出)。

深度相機26可被配置來獲取用戶12的時間分辨深度圖序列和環(huán)境10的其它方面。如在此所使用的，術(shù)語“深度圖”指與成像場景的對應(yīng)區(qū)域(xi,yi)配準(zhǔn)(register)的像素陣列，其中深度值zi指示針對每個像素的對應(yīng)區(qū)域的深度。“深度”被定義為與深度相機的光軸平行的坐標(biāo)，該坐標(biāo)隨著距深度相機的距離的增加而增加。操作上，深度相機可被配置成獲取2d圖像數(shù)據(jù)，根據(jù)這些2d圖像數(shù)據(jù)經(jīng)由下游處理獲得深度圖。

一般來說，深度相機26的性質(zhì)在本公開的各種實施例中可以是不同的。在一實施例中，來自深度相機中的兩個實立體鏡地(stereoscopically)定向的成像陣列的亮度或顏色數(shù)據(jù)可被共同配準(zhǔn)并用于構(gòu)造深度圖。在其它實施例中，照明源24可被配置成將包括多個離散特征(例如，線或點)的結(jié)構(gòu)化照明圖案投影到主體上。該深度相機中的成像陣列可被配置成對從主體反射回的結(jié)構(gòu)化照明進(jìn)行成像?；谒上竦闹黧w的各個區(qū)域中毗鄰特征之間的間隔，可構(gòu)造該主體的深度圖。在又一其它實施例中，照明源可以將脈沖ir或nir照明投向主體。深度相機中的一對成像陣列可被配置成對從主體反射回的脈沖照明進(jìn)行檢測。這兩個陣列均可包括與脈沖照明同步的電子快門，但用于這兩個陣列的集成時間可不同，使得脈沖照明的從照明源到主體再接著到這兩個陣列的像素解析的飛行時間可基于在兩個陣列的相應(yīng)的元素中接收到的相對光的量來區(qū)別開來。

通過合適的物鏡系統(tǒng)，平面圖像相機28跨一范圍的視場角度檢測光，將這樣的角度映射到矩形像素陣列的對應(yīng)的像素。在一個實施例中，平面圖像相機可以檢測處于多個波長通道—例如，紅、綠、藍(lán)等的光，每個波長通道與陣列像素的一個子集相關(guān)聯(lián)?？商鎿Q地，單色平面圖像相機可被使用，其以灰度范圍成像可見、ir、nir和/或紫外(uv)光。平面圖像相機中曝光的所有像素的顏色或亮度值共同構(gòu)成數(shù)字圖像。在一些實施例中，深度相機26和平面圖像相機28被安排成具有以相同方向定向的平行光軸。

如在圖2中所示，來自機器視覺系統(tǒng)22的感測數(shù)據(jù)由計算系統(tǒng)16的一個或多個nui引擎處理以揭示可操作的用戶輸入。這樣的輸入可以由操作系統(tǒng)(os)38或由應(yīng)用級代碼來解析，由此控制計算系統(tǒng)的操作。在圖2的實施例中，計算系統(tǒng)16包括語音識別引擎32、姿勢識別引擎34以及眼睛跟蹤引擎36。

語音識別引擎32被配置來處理來自話筒30的音頻數(shù)據(jù)、識別用戶的語音中的某些單詞或詞組、并生成對應(yīng)的到os38或應(yīng)用40的可操作輸入。姿勢識別引擎34被配置為通過有線或無線硬件接口至少接收來自機器視覺系統(tǒng)22的深度視頻。姿勢識別引擎還被配置來：至少處理來自機器-機器視覺系統(tǒng)22的深度視頻(即時間分辨深度圖序列)，標(biāo)識深度視頻中的一個或多個人類主體，計算所標(biāo)識的主體的各種幾何(例如，骨架)特征，以及從幾何特征收集要被用作nui的各種姿勢或手勢信息。

在一個非限制性實施例中，姿勢識別引擎34標(biāo)識深度視頻中的一個或多個人類主體的至少一部分。通過合適的深度圖像處理，深度圖的給定位點可被識別為屬于人類主體。在更特定實施例中，屬于人類主體的像素可(例如通過分割出深度圖的在合適的時間標(biāo)度內(nèi)展示出高于閾值的運動的部分)被標(biāo)識，并且人類的通用幾何模型可從這些像素中推導(dǎo)出。

在一個實施例中，深度圖的每一像素可被分配將該像素標(biāo)識為屬于特定人類主體或非人類元素的人物索引。作為示例，與第一人類主體相對應(yīng)的像素可被分配等于一的人物索引，與第二人類主體相對應(yīng)的像素可被分配等于二的人物索引，而不與人類主體相對應(yīng)的像素可被分配等于零的人物索引。人物索引可用任何適當(dāng)?shù)姆绞絹泶_定、分配和保存。

姿勢識別引擎34還可以做出關(guān)于哪個(或哪些)人類主體將向計算系統(tǒng)16提供用戶輸入(即哪些將被標(biāo)識為用戶)的確定。在某些實施例中，人類主體可基于到顯示器14或深度相機26的鄰近度和/或在深度相機的視野中的位置被選為用戶。更具體地，所選的用戶可以是最接近深度相機或最接近深度相機的視野的中心的人類主體。

姿勢識別引擎34還可以處理來自用戶的姿勢信息。所述姿勢信息是通過計算從深度視頻中推導(dǎo)出的。在一些實施例中，附加的感測輸入—例如，來自平面圖像相機28的圖像數(shù)據(jù)或來自話筒30的音頻數(shù)據(jù)—可與姿勢信息一起被處理。

在某些實施例中，姿勢識別引擎34可被配置來分析深度圖的對應(yīng)于用戶的像素，以確定每個像素對應(yīng)于用戶身體的什么部位。至此，各種不同身體部位分配技術(shù)可被使用。在一個示例中，深度圖中的具有適當(dāng)?shù)娜宋锼饕?見上文)的每一個像素可被分配身體部位索引。身體部位索引可包括離散標(biāo)識符、置信度值和/或指示像素可能對應(yīng)的一個或多個身體部位的身體部位概率分布。

在一些示例中，機器學(xué)習(xí)可被用于向每一像素分配身體部位索引和/或身體部位概率分布。機器學(xué)習(xí)方法參考從先前訓(xùn)練的已知姿態(tài)集合中學(xué)習(xí)到的信息來分析用戶。在受監(jiān)督訓(xùn)練階段期間，例如，各種人類主體被觀察到處于各種姿態(tài)，訓(xùn)練器在觀察到的數(shù)據(jù)中提供標(biāo)記不同的機器學(xué)習(xí)分類器的地面實況注釋。所觀察到的數(shù)據(jù)和注釋接著被用于生成將輸入(例如，深度視頻)映射到所需輸出(例如，相關(guān)像素的身體部位索引)的一個或多個機器學(xué)習(xí)算法。

此后，虛擬骨架被適配到深度視頻的對應(yīng)于用戶的像素。圖3示出示例虛擬骨架42。該虛擬骨架包括樞轉(zhuǎn)地耦合在多個關(guān)節(jié)46處的多個骨骼部分44。在一些實施例中，身體部位指定可被分配給每個骨骼部分和/或每個關(guān)節(jié)。在圖3中，每個骨骼部分44的身體部位指定由所附字母表示：a針對頭部、b針對鎖骨、c針對上臂、d針對前臂、e針對手、f針對軀干、g針對骨盆、h針對大腿、j針對小腿、而k針對腳。類似地，每個關(guān)節(jié)46的身體部位指定由所附字母表示：a針對頸部，b針對肩膀，c針對肘，d針對手腕，e針對下背，f針對髖關(guān)節(jié)，g針對膝蓋以及h針對踝。自然地，圖3中示出的骨骼部分和關(guān)節(jié)的安排不是為了以任何方式進(jìn)行限制。符合本公開的虛擬骨架可包括實質(zhì)上任何類型和數(shù)量的骨骼部分和關(guān)節(jié)。

在更具體的實施例中，對應(yīng)于用戶的手的點云(深度圖的各部分)可以被進(jìn)一步處理以揭示手的骨骼子結(jié)構(gòu)。圖4示出用戶虛擬骨架42的示例手部分48。手部分包括腕關(guān)節(jié)50、指關(guān)節(jié)52以及毗鄰的指節(jié)54。

通過任何合適的最小化方式，骨骼部分的長度和關(guān)節(jié)的位置和旋轉(zhuǎn)角可被調(diào)整以符合深度圖的各個輪廓。以此方式，每個關(guān)節(jié)被分配各種參數(shù)－例如，指定關(guān)節(jié)位置的笛卡爾坐標(biāo)、指定關(guān)節(jié)旋轉(zhuǎn)的角、以及指定對應(yīng)的身體部位的形態(tài)(手打開、手閉合等)的附加參數(shù)。該虛擬骨架可采取數(shù)據(jù)結(jié)構(gòu)的形式，該數(shù)據(jù)結(jié)構(gòu)包括針對每個關(guān)節(jié)的這些參數(shù)中的任一個、一些或全部。該過程可以限定所成像的人類主體的位置和姿態(tài)。一些骨架擬合算法可以使用深度數(shù)據(jù)結(jié)合其他信息，諸如彩色圖像數(shù)據(jù)和/或指示一個像素軌跡如何相對于另一個來移動的運動數(shù)據(jù)。在上述方式中，虛擬骨架可被適配到深度視頻的幀序列中的每一幀中。通過分析各個骨架關(guān)節(jié)和/或分段的位置變化，所成像的用戶的對應(yīng)移動—例如，姿勢或動作—可被確定。

上述描述不應(yīng)當(dāng)被理解為限制可用于構(gòu)造虛擬骨架42的方法的范圍，因為可以用任何合適的方式從深度圖中導(dǎo)出虛擬骨架而不背離本公開的范圍。此外，盡管使用虛擬骨架來建模用戶12有優(yōu)點，但這個方面并不是必需的。代替虛擬骨架，原始點云數(shù)據(jù)可被直接用來提供合適的姿勢信息。

在圖2中繼續(xù)，眼睛跟蹤引擎36被配置為通過有線或無線硬件接口至少接收來自平面圖像相機28的視頻。眼睛跟蹤引擎被進(jìn)一步配置成處理來自平面圖像相機28的圖像數(shù)據(jù)以定位用戶12的一個或多個視覺特征。這樣的特征可以包括瞳孔或從角膜反射的一個或多個閃光?；谠趫D像數(shù)據(jù)中的視覺特征的大小和位置，眼睛跟蹤引擎計算在真實世界、3d坐標(biāo)中每個瞳孔的中心點以及可選的來自每個眼睛的注視向量v。在其中針對右眼和左眼兩者來同時確定注視向量的各示例中，右和左注視向量的交點可被用于在三個維度中定義用戶的聚焦點。

圖5在一個實施例中示出眼睛跟蹤的附加方面。在所示示例中，機器視覺系統(tǒng)22的照明源包括軸上燈56和離軸燈58。每個燈可以例如包括發(fā)光二極管(led)或二極管激光器，其發(fā)射平面圖像相機28的處于高靈敏度波長段中的ir或nir照明。在某些實施例中，平面圖像相機可包括阻擋照明源的發(fā)射波段之外的傳輸以改善強環(huán)境光存在時的亮瞳對比的波長過濾器。

術(shù)語“軸上”和“離軸”指眼睛的照明相對于平面圖像相機28的光軸a的方向。相對于眼睛跟蹤而言，軸上和離軸照明可以服務(wù)于不同的目的。如圖5所示，離軸照明可創(chuàng)建從用戶的眼睛的角膜62反射的鏡面閃光60。離軸照明也可被用于照亮眼睛以用于“暗瞳”效果，其中瞳孔64顯得比周圍的虹膜66更暗。相反，來自ir或nir源的軸上照明可被用于創(chuàng)建“亮瞳”效果，其中瞳孔顯得比周圍的虹膜更亮。更具體地，來自軸上燈56的ir或nir照明可照亮眼睛的視網(wǎng)膜68的回射組織，該回射組織將照明通過瞳孔反射回去，形成如由平面圖像相機28所成像的瞳孔的亮圖像70。雖然圖5將軸上和離軸燈示意性示出為點源，但將理解這些燈可以采用任何合適的形式。例如，在一些示例中，軸上燈56可以被配置為圍繞平面圖像相機28的光圈的“l(fā)ed環(huán)”的形式。

現(xiàn)在返回到圖1和2，各種圖形顯示對象72可以被呈現(xiàn)在顯示器14上。這樣的對象可以例如包括窗口、照片、文本框、圖標(biāo)和ui控件元素。每個對象在顯示器上的坐標(biāo)被存儲在位置數(shù)據(jù)74中(參考圖2)，該位置數(shù)據(jù)對os38可訪問。位置數(shù)據(jù)可以包括每個對象相對于顯示器的可視區(qū)域的給定拐角相對的拐角的x,y偏移76。在顯示器14是立體或3d顯示器的實施例中，深度偏差z也可以被指定。位置數(shù)據(jù)74還包括針對顯示器14的配準(zhǔn)數(shù)據(jù)78。配準(zhǔn)數(shù)據(jù)可以包括定義顯示器的可視區(qū)域的物理尺寸、位置和方向的坐標(biāo)—例如針對有效顯示面積的每個拐角的x、y和z。

在圖1所示的場景中，用戶12正注視著特定定向到的對象72’的方向。定向到的對象例如可以是用戶例如打算移動、重新調(diào)整大小、選擇或激活的對象?；趤碜匝劬Ω櫼?6的注視向量v并參考配準(zhǔn)數(shù)據(jù)78，用戶注視在顯示器14上的目標(biāo)坐標(biāo)可以被估計。在一些條件下，所述估計可準(zhǔn)確到足以通過進(jìn)一步參考偏移76揭示各對象中哪個對象已被定向到。這種方式是否可能取決于眼睛跟蹤引擎36的準(zhǔn)確性以及其它因素(例如對象在顯示器上的大小和布局以及用戶相對于顯示器的行蹤)。下面描述的是一種使用直觀的指示器姿勢以及注視來定向?qū)ο蟮母臃€(wěn)健的模式。在該方案中，即使在用戶位于離開顯示器相對遠(yuǎn)的地方時，計算系統(tǒng)16也能夠準(zhǔn)確地在緊密間隔的對象之間進(jìn)行區(qū)分以確定哪個對象已被定向到。

在本公開的上下文中，“指示器”可以是用戶的手指或手。它也可以是棒或指示筆、手指的組合、手套的一部分或任何其它合適的對象。在圖1的示例中，指示器80是用戶的手指之一。在注視著目標(biāo)對象72’時，所述用戶將指示器定位成部分遮擋定向到的對象(從用戶自己的視角來看)。在其它變形中，用戶可以將指示器定位成緊鄰目標(biāo)對象—即在指示器看上去觸碰到定向到的對象的位置中。

再次參考圖2，指示器投影引擎82從姿勢識別引擎34接收姿勢信息，所述姿勢信息包括指示器80的3d坐標(biāo)。指示器投影引擎還可以從眼睛跟蹤引擎36接收瞳孔位置數(shù)據(jù)。指示器投影引擎實際上被配置為構(gòu)建在瞳孔和指示器的尖端之間通過的直線視線l。該線被用于標(biāo)識在顯示器14上的定向到的對象。參考配準(zhǔn)數(shù)據(jù)78，指示器投影引擎定位了l與顯示器14的可視平面相交的點。該交點被用于相對于顯示器的拐角計算指示器投影坐標(biāo)(xpp，ypp)，其被提供給os38。在那里，每個對象在顯示器上的偏移76被與指示器投影坐標(biāo)相比較以確定哪個對象已被定向到。

盡管指示器投影和獨立的注視跟蹤兩者依據(jù)兩個測得的點定義了視線，但每個點均經(jīng)受測量誤差，指示器投影比獨立的注視跟蹤更穩(wěn)健。在注視跟蹤中，測得的點是(a)眼睛的中心和(b)瞳孔的中心。這些點隔開略超過1厘米。在指示器投影方案中，測得的點是(a)瞳孔的中心和(b)指示器的尖端，它這些點可隔開大約十或二十厘米。當(dāng)一個對象被定向到時，由測得的點定義的視線被一直外推到顯示屏，其可離開用戶數(shù)米。目標(biāo)坐標(biāo)方面的不確定性與外推距離成比例，并且與測得的點之間的距離成反比。因此，指示器投影可以使注視跟蹤的定向誤差減少到十分之一或更多，假設(shè)這些測量誤差與這兩種方法的測量誤差類似。

由于外推距離減小了，因此在一些場景中，容忍瞳孔和/或指示器位置方面的相對大的不確定性是可接受的。因此，具有完全解析的手部分的虛擬骨架42并不是在每個實施例中都被需要。相反，可以基于虛擬骨架的單個手關(guān)節(jié)的位置以及來自姿勢識別引擎34的關(guān)于手是張開還是握緊的指示一起確定指示器位置。類似地，眼睛跟蹤引擎36無需在每個實施例中都解析瞳孔，而是在一些示例中可以通過近似將瞳孔置于眼睛的中心。在又一個實施例中，可以單獨基于來自虛擬骨架的頭部關(guān)節(jié)的位置估計瞳孔位置。因此，在此使用的術(shù)語“眼睛跟蹤”包括基于瞳孔位置的粗略近似以及如上所述的瞳孔的精確成像的方法。

一旦對象被定向到，用戶12可發(fā)信號表示要對該對象采取的進(jìn)一步行動。計算系統(tǒng)16的一個或多個nui引擎可以被配置為檢測用戶要對定向到的對象采取行動的意圖。例如，在對象被定向到后，用戶可發(fā)信號表示選擇該對象的意圖—例如通過將指示器80懸停在對象前面或通過移動指示器以圍繞該對象。姿勢識別引擎34可以被配置成檢測選擇姿勢。

在一些實施例和場景中，可選地在用戶作出的選擇之后可以激活定向到的對象。激活可以包括執(zhí)行與定向到的對象相關(guān)聯(lián)的os或應(yīng)用級代碼。例如，如果定向到的對象是文檔，激活可以包括加載文字處理器，其自動打開文檔以供編輯。如果定向到的對象是幻燈片，激活可以包括在顯示器上呈現(xiàn)所述幻燈片。用戶可以通過做出指示器的遞增前向移動—例如推姿勢來發(fā)信號表示激活該對象的意圖。推姿勢由圖6中的示例示出。姿勢識別引擎34可以被配置成檢測這種類型的激活姿勢。在其它示例中，用戶要選擇或激活定向到的對象的意圖可以通過由語音識別引擎32所檢測到的說出的單詞或短語來發(fā)信號表示。

在一些情形中，用戶可能想要將定向到的(可選地是所選)對象移動至顯示器14上的不同位置。用戶可以通過維持對定向到的對象的注視同時向上、下或側(cè)面移動指示器來發(fā)信號表示這種意圖。指示器投影引擎82識別指示器坐標(biāo)xpp,ypp方面的改變并指示os將定向到的對象移動至經(jīng)改變的坐標(biāo)。

通過允許用戶直觀地定向、選擇、激活和移動顯示器14上的對象，計算系統(tǒng)16賦予顯示器類似觸摸屏的特征，同時克服了傳統(tǒng)的觸摸屏技術(shù)的一些缺陷。例如，用戶能夠在不弄臟顯示器的情況下操控對象，并且即使在顯示器不可觸及的情況下也能這么做。

在一些實施例中，在顯示器14上呈現(xiàn)的對象可以是三維的或至少配準(zhǔn)到3d空間。3d空間可以具有精細(xì)解析的深度坐標(biāo)z，或僅是彼此平行堆疊的幾個層。因此，用戶12可能想要將定向到的或所選的對象移動至不同的深度坐標(biāo)或?qū)印＿@個場景在圖7和8中被示出，其中在圖7中的定向到的對象72’在圖8中已經(jīng)被前移。用戶可以通過維持對對象的注視同時移動指示器離開或更靠近他的臉部來發(fā)信號表示改變定向到的對象的深度的意圖。如圖10所示，朝向臉部的指示器運動可發(fā)信號表示減小對象的深度的意圖，而離開臉部的指示器運動可發(fā)信號表示增加該深度的意圖。指示器投影引擎82識別所維持的指示器坐標(biāo)，而姿勢識別引擎34識別指示器運動的方向和范圍。來自這些引擎的經(jīng)組合的指令指引系統(tǒng)將對象移動至新的深度值。取決于用于3d渲染的相機模型，顯示對象的深度改變也可以影響放大/縮小特征。

在某些情況下，用戶可能想要重新調(diào)整定向到的或所選的對象的大小。這個場景在圖7和9中被示出，其中在圖7中的定向到的對象72’在圖9中已經(jīng)被減小了大小。用戶可以通過在維持對對象的注視同時改變指示器的張開程度來發(fā)信號表示重新調(diào)整定向到的對象的大小的意圖。用于這種示例的典型指示器是用戶的拇指和食指的組合?；蛘撸甘酒骺梢杂捎脩舻恼麄€手組成。如圖11所示，拇指和食指之間的減小的間隔或手的握緊可以發(fā)信號表示減小對象的大小，而手的增加的間隔或張開可以發(fā)信號表示放大。指示器投影引擎82識別所維持的指示器坐標(biāo)，而姿勢識別引擎34識別指示器的張開和握緊。來自這些引擎的經(jīng)組合的指令指引os38重新調(diào)整對象的大小。讀者將注意到用于向前或向后移動定向到的對象的姿勢優(yōu)選地與用于重新調(diào)整對象大小的姿勢不同，這與在其中過載的姿勢被用于兩種操作的ui模態(tài)是相反的。

如上所述，指示器投影引擎82訪問配準(zhǔn)數(shù)據(jù)78以便計算指示器投影坐標(biāo)xpp,ypp。提供配準(zhǔn)數(shù)據(jù)的過程在此被稱為顯示器14的“配準(zhǔn)”。配準(zhǔn)可以通過任何合適形式的用戶輸入來執(zhí)行；每次顯示器14和機器視覺系統(tǒng)22相對彼此移動時，配準(zhǔn)都要被重復(fù)。

在一些實施例中利用指示器投影引擎82和上游部件的功能來執(zhí)行顯示器14的配準(zhǔn)是方便的。在一個示例中，可請求設(shè)立環(huán)境10的用戶按以上述方式通過組合的注視和指示器位置連續(xù)地定向顯示器14的可視區(qū)域的每個拐角。根據(jù)一個瞳孔位置來定向每個拐角不唯一地確定拐角的坐標(biāo)，而是為每個拐角定義通過該拐角的線。隨后，用戶可以被請求移動至不同的位置并重復(fù)所述過程。這將為顯示器的每個拐角定義那個拐角被定位在其上的第二線。每對對應(yīng)的線的交點唯一地定義了拐角的位置。技術(shù)人員將理解關(guān)于這種配準(zhǔn)方案的許多變形是可能的，并在此被構(gòu)思。

在一些實施例中，多個顯示器14可以在操作上被耦合到計算系統(tǒng)16。因此，指示器投影引擎82的操作可以被擴展成為與視線l相交的每個顯示器i計算指示器投影坐標(biāo)xppi,yppi。os38可以被配置為使用指示器投影坐標(biāo)來標(biāo)識每個顯示器上的定向到的對象。這要求每個顯示器的尺寸、位置和方向與在其上顯示的每個對象的偏移一起被包括在位置數(shù)據(jù)74中。

在多個顯示器14在操作上被耦合到計算系統(tǒng)16的情況下，用戶12可能想要將對象從一個顯示器移動或復(fù)制到另一個顯示器。這個動作可如上所述通過視線移動經(jīng)過并離開第一顯示器的可視區(qū)域，在各顯示器之間通過，隨后移至并經(jīng)過第二顯示器的可視區(qū)域一直到期望的最終坐標(biāo)來發(fā)信號表示。

以上概述的用于處理多個操作上耦合的顯示器14的方案容易地被擴展到涉及多個不同的計算系統(tǒng)16的場景，每個計算系統(tǒng)具有一個或多個顯示器。如果這些計算系統(tǒng)彼此通信地耦合，詳細(xì)記載了每個顯示器的尺寸、位置和取向以及顯示對象的安排的位置數(shù)據(jù)可以與指示器投影引擎82共享，以用于跨系統(tǒng)操作。

在上述描述中，術(shù)語“對象”主要被用于指代顯示對象—在相關(guān)聯(lián)的顯示器上呈現(xiàn)的計算系統(tǒng)的構(gòu)造。然而，本公開還符合該術(shù)語的更廣泛的使用。具體而言，指示器投影引擎82可以被用于標(biāo)識環(huán)境10中的任何定向到的真實世界對象。定向到的對象可以包括遠(yuǎn)程可控設(shè)備，諸如有線機頂盒、a/v接收機、打印機或環(huán)境控件。通過指示器投影引擎82定向和選擇這樣的對象的動作可以具有在顯示器14上呈現(xiàn)那個設(shè)備的控制界面、使得用戶能夠通過nui控制設(shè)備的效果。

在其他示例中，對象可以包括例如照片、便利貼或畫在紙上或白板上的圖例。計算系統(tǒng)16可以被配置為當(dāng)這樣的一個對象被定向到、選擇和/或激活時以特定的方式作出響應(yīng)。在圖1所示的場景中，例如，環(huán)境10包括大型畫板84。定向到和/或激活畫板可以觸發(fā)通過輔助相機86對該畫板進(jìn)行拍照，并將其圖像插入到計算系統(tǒng)16上打開的文檔中。在其它示例中，定向到和/或激活畫板可引起所畫的結(jié)構(gòu)的數(shù)據(jù)被檢索到。

定向到任何現(xiàn)實世界對象要求配準(zhǔn)那個對象，這可以如以上在顯示器配準(zhǔn)的上下文中概述的那樣發(fā)生。在其它環(huán)境中，現(xiàn)實世界對象或顯示器可以是自配準(zhǔn)的。自配準(zhǔn)對象可以包括具有內(nèi)建的位置和方向跟蹤(通過gps和/或慣性傳感器)的設(shè)備以及物理上被耦合到無線位置尋找器的對象。這些對象在環(huán)境10內(nèi)的位置和方向可以被本地地計算并傳遞給計算系統(tǒng)16以實現(xiàn)配準(zhǔn)。這個特征的另一個優(yōu)點在于自配準(zhǔn)的對象即使在該環(huán)境中被移動時還保持被配準(zhǔn)。這樣，在圖1所示的場景中(其中用戶一個手上拿著平板計算機88，同時用另一個手向計算系統(tǒng)16做出手勢)，通過指示器投影引擎82，定向到的顯示對象可以在平板的顯示器14和顯示器屏幕之間被移動。

圖12和13示出另一個實施例的各方面，在其中機器視覺系統(tǒng)和顯示器被安置在可穿戴電子設(shè)備90上。所示的設(shè)備包括靠近佩戴者眼睛被定位的立體透視顯示器部件；其可被用于增強現(xiàn)實(ar)應(yīng)用，其中現(xiàn)實世界圖像與虛擬顯示圖像混合。

可穿戴電子設(shè)備90包括慣性測量單元(imu)92，包括一套運動傳感器。這樣的傳感器可以包括加速度計、陀螺儀和磁力計。加速度計和陀螺儀可提供沿三條正交軸的慣性數(shù)據(jù)以及繞三條軸的旋轉(zhuǎn)數(shù)據(jù)，作為組合的六個自由度。來自加速度計和陀螺儀的數(shù)據(jù)可與來自磁力計的地磁數(shù)據(jù)結(jié)合以按照地理方位進(jìn)一步定義慣性和旋轉(zhuǎn)數(shù)據(jù)。

圖2的可穿戴電子設(shè)備90包括分開的右和左顯示器面板94r和94l。計算系統(tǒng)16’被操作地耦合到顯示面板和其它顯示系統(tǒng)部件。圖13在一個非限制性實施例中示出了右或左顯示面板94(94r、94l)的各方面。顯示面板包括背光96和液晶顯示器(lcd)矩陣98。背光可包括led的整體——例如，白led或紅、綠和藍(lán)led的某種分布。可放置背光以便引導(dǎo)其發(fā)射光穿過lcd矩陣，該lcd矩陣基于來自計算系統(tǒng)的控制信號形成顯示圖像。lcd矩陣可包括布置于矩形網(wǎng)格或其它幾何形狀上的眾多可單獨尋址的像素。在一些實施例中，發(fā)射紅光的像素可在矩陣中與發(fā)射綠和藍(lán)光的像素并置，使得lcd矩陣形成彩色圖像。在其它實施例中，反射硅上液晶(lcos)矩陣或數(shù)字微鏡陣列可被用于代替圖13的lcd矩陣。替換地，有源led矩陣或合適的掃描束技術(shù)可被用于形成右和左顯示圖像。盡管圖示出了分開的右和左顯示面板，跨雙眼延伸的單個顯示面板可被替代使用。

可穿戴電子設(shè)備90包括機器-機器視覺系統(tǒng)22’，其在操作上也被耦合到計算系統(tǒng)16’。在所示的實施例中，機器視覺系統(tǒng)包括眼睛成像相機28’、軸上燈56和離軸燈58。顯示面板94的光束轉(zhuǎn)向光學(xué)器件100允許眼睛成像相機和軸上燈共享公共光軸a，而不管它們在顯示面板的外圍上的安排。機器-機器視覺系統(tǒng)22’還包括被配置為對佩戴者的視野的至少一部分(包括指示器80)進(jìn)行成像的面向前方的深度相機26’。來自眼睛成像相機28’和面向前方的深度相機26’的數(shù)字圖像數(shù)據(jù)可被傳送給計算系統(tǒng)16’中的或可通過網(wǎng)絡(luò)訪問的遠(yuǎn)程計算機系統(tǒng)中的相關(guān)聯(lián)的邏輯。

圖1和12的實施例各自提供了特定的益處。例如，圖1的固定機器視覺方案不要求用戶戴上專門的頭飾或眼鏡。它對同一視野中的用戶的頭和指示器成像，確保頭和指示器的圖像被準(zhǔn)確地彼此配準(zhǔn)。此外，外部對象的配準(zhǔn)在該實施例中是更加容易的，因為機器視覺系統(tǒng)具有固定的視野。作為對比，圖12的實施例非常適合于虛擬或增強現(xiàn)實顯示系統(tǒng)。在此，機器視覺系統(tǒng)包括分開的面向前和面向后的相機；面向前的深度相機自動跟蹤用戶的視野，而面向后的相機理想地被放置成觀察瞳孔。然而，頭戴式實施例的一些益處可能由于來自前方和后方相機的共同配準(zhǔn)的圖像數(shù)據(jù)中的誤差而被抵銷，特別是當(dāng)裝備是柔性的且可在用戶的臉部上移動時。雖然機器-機器視覺系統(tǒng)22’傾向于隨著佩戴者移動或轉(zhuǎn)動他的頭部而移動，但通過利用imu92在六個自由度上對可穿戴電子設(shè)備90的自跟蹤使得外部對象的配準(zhǔn)成為可能。

盡管本公開的結(jié)構(gòu)化方面是通過示例配置的方式來描述的，但本公開也包括了示例配置的部件部分的每個有用的子組合。例如，符合本公開的一些機器視覺系統(tǒng)可以包括安置在可穿戴電子設(shè)備中的眼睛跟蹤相機以及用于姿勢識別的外部深度相機。在另一個示例中，外部相機可代替imu92被用于建立可穿戴電子設(shè)備90在環(huán)境10中的位置和方向。通過閱讀本公開，其它有用的子組合對于本領(lǐng)域的技術(shù)人員來說是顯而易見的。

圖14示出要在操作地耦合到機器視覺系統(tǒng)的計算系統(tǒng)中執(zhí)行的示例方法102。所述方法基于所組合的眼睛跟蹤與姿勢識別來標(biāo)識定向到的對象。

在方法102的104處，一個或多個對象被呈現(xiàn)在操作上耦合到計算系統(tǒng)的顯示器上。在一個實施例中，位置數(shù)據(jù)可以針對呈現(xiàn)在顯示器上的每個對象來積累。除了如上所述的顯示器自身的配準(zhǔn)數(shù)據(jù)之外，所述位置數(shù)據(jù)還可以包括每個對象相對于顯示器的拐角的偏移。以此方式，空間坐標(biāo)可以被分配給所呈現(xiàn)的一個或多個對象中的每個對象，空間坐標(biāo)定義了機器視覺系統(tǒng)的視野內(nèi)的每一對象的位置。

在106，從機器視覺系統(tǒng)檢索對用戶的頭和指示器進(jìn)行成像的視頻。該視頻可以包括來自深度相機的一系列時間分辨深度圖像和/或來自平面圖像相機的一系列時間分辨圖像。如上所述，指示器可以包括例如用戶的手指或手、協(xié)力移動的多個手指或指示筆。在一個實施例中，視頻可以對同一視野內(nèi)(—即沿同一光軸、從同一有利位置或通過同一相機光圈)的頭和指示器成像。

在108，基于該視頻計算用戶的幾何視線，所述視線被指示器部分遮擋。在一個實施例中，計算幾何視線的動作包括根據(jù)該視頻(—例如根據(jù)骨骼跟蹤)計算頭的空間坐標(biāo)。在另一個實施例中，計算幾何視線可以包括根據(jù)該視頻計算用戶的眼睛或瞳孔的空間坐標(biāo)。在此，來自機器視覺系統(tǒng)的平面圖像相機的圖像數(shù)據(jù)可以被使用。所計算的坐標(biāo)可以包括一個或兩個眼睛、一個或兩個瞳孔等的坐標(biāo)。在這些和其它實施例中，計算幾何視線可以包括根據(jù)該視頻計算指示器的空間坐標(biāo)。如上所述，幾何視線可以是通過指示器的終點并通過用戶的頭、眼睛或瞳孔的直線l。

在110，參考一個或多個對象的位置數(shù)據(jù)，沿幾何視線放置的定向到的對象被標(biāo)識。標(biāo)識定向到的對象的動作可以包括確定定向到的對象是沿著幾何視線還是靠近幾何視線被放置的。

在112，任何可用形式的到計算系統(tǒng)的輸入—語音輸入、姿勢輸入等—被處理以確定用戶是否已通過選擇命令發(fā)信號表示對定向到的對象的選擇。如果選擇命令已經(jīng)被接收，那么在114，定向到的對象被選擇。在一些實施例中，定向到的對象的外觀可以作為一種形式的對用戶的視覺反饋在選擇時被改變。所述對象可以被突出顯示、加亮、重新著色、輪廓化、變得閃爍等。

在116，視頻可以被處理以標(biāo)識指示器沿著幾何視線的遞增前向移動—例如用戶的手的推移動。如果遞增前向移動被檢測到，那么在118，與定向到的對象相關(guān)聯(lián)的處理被執(zhí)行。在此執(zhí)行的處理可以是針對該對象的激活過程。

在120，視頻可以被處理以標(biāo)識指示器沿視線朝向或離開用戶的臉部的移動。如果這樣的移動被檢測到，那么在122，定向到的對象的深度坐標(biāo)被移位。具體而言，指示器離開用戶的臉部的移動，深度坐標(biāo)可以被增加，而對于指示器朝向用戶的臉部的移動，深度坐標(biāo)可以被減小。在一些實施例中，對象的深度坐標(biāo)的移位可以將對象從顯示器的一個深度層移至另一個深度層。

在124，視頻被處理以標(biāo)識指示器在基本上平行于顯示器或基本上垂直于視線的平面中的移動。如果這樣的移動被檢測到，那么在126，定向到的對象的x、y坐標(biāo)被移位。以此方式，對象可以在顯示器上被上移、下移、左移和/或右移。在一些實施例中，這種動作可以將對象移離一個顯示器并移至另一個顯示器上，如上所述。

在128，視頻被處理以標(biāo)識手的部分張開或閉合，而手保持在視線內(nèi)。如果該姿勢被檢測到，那么在130，定向到的對象被縮放—即依據(jù)手的部分張開或閉合的程度在尺寸上被放大或縮小，而手保持在視線內(nèi)。

圖15示出要在操作地耦合到機器視覺系統(tǒng)和顯示器的計算系統(tǒng)中執(zhí)行的示例方法138。該方法使用眼睛跟蹤和姿勢識別來標(biāo)識定向到的對象，并隨后在顯示器上形成表示該對象的圖像。

在方法138的140處，接收一個或多個對象的位置數(shù)據(jù)。在定向到的對象是呈現(xiàn)的供計算系統(tǒng)顯示的虛擬顯示對象或在計算系統(tǒng)中配準(zhǔn)的真實對象的情況下，該位置數(shù)據(jù)的源可在計算系統(tǒng)本地。在其它實施例中，位置數(shù)據(jù)可從另一個、通信上耦合的計算系統(tǒng)中檢索。

在106，從機器視覺系統(tǒng)檢索對用戶的頭和指示器進(jìn)行成像的視頻。在108a，基于視頻計算用戶的初始視線，該視線被指示器部分遮擋。在110，參考一個或多個對象的位置數(shù)據(jù)，沿初始視線放置的所定向的對象被標(biāo)識。定向到的對象可以是執(zhí)行方法138的計算系統(tǒng)的虛擬顯示對象、配準(zhǔn)到計算系統(tǒng)的真實對象或另一個計算系統(tǒng)的虛擬顯示對象。在114，響應(yīng)于來自用戶的選擇命令—選擇姿勢、口述的命令等，選擇定向到的對象。在108b，基于該視頻計算用戶的后續(xù)視線，該視線被指示器部分遮擋。隨后，在136，在顯示器上形成沿后續(xù)視線的圖像以表示定向到的對象。

從前述描述中顯而易見，本文所描述的方法和過程可被綁定到一個或多個計算機器的計算系統(tǒng)。這樣的方法和過程可被實現(xiàn)為計算機應(yīng)用程序或服務(wù)、應(yīng)用編程接口(api)、庫和/或其它計算機程序產(chǎn)品。讀者再次參考圖2，該圖以簡化形式示于執(zhí)行在此所述的方法和過程的計算系統(tǒng)16的一個非限制性示例。該計算系統(tǒng)包括邏輯機138和數(shù)據(jù)存儲機140。計算系統(tǒng)還包括顯示器14、通信機器142和在附圖中未示出的各種組件。

邏輯機138包括被配置成執(zhí)行指令的一個或多個物理邏輯設(shè)備。邏輯機可被配置成執(zhí)行作為以下各項的一部分的指令：一個或多個應(yīng)用、服務(wù)、程序、例程、庫、對象、組件、數(shù)據(jù)結(jié)構(gòu)、或其它邏輯構(gòu)造。這種指令可被實現(xiàn)以執(zhí)行任務(wù)、實現(xiàn)數(shù)據(jù)類型、轉(zhuǎn)換一個或多個組件的狀態(tài)、實現(xiàn)技術(shù)效果、或以其他方式得到期望結(jié)果。

邏輯機138可包括被配置成執(zhí)行軟件指令的一個或多個處理器。作為補充或替換，邏輯機可包括被配置成執(zhí)行硬件或固件指令的一個或多個硬件或固件邏輯機。邏輯機的處理器可以是單核或多核，且在其上執(zhí)行的指令可被配置用于串行、并行和/或分布式處理。邏輯機的各個組件可任選地分布在兩個或更多單獨設(shè)備上，這些設(shè)備可以位于遠(yuǎn)程和/或被配置用于進(jìn)行協(xié)同處理。邏輯機的各方面可由以云計算配置進(jìn)行配置的可遠(yuǎn)程訪問的聯(lián)網(wǎng)計算設(shè)備來虛擬化和執(zhí)行。

數(shù)據(jù)存儲機140包括被配置成保持可由相關(guān)聯(lián)的邏輯機138執(zhí)行以實現(xiàn)此處描述的方法和過程的指令的一個或多個物理計算機存儲器設(shè)備。在實現(xiàn)此類方法和過程時，可變換數(shù)據(jù)存儲機的狀態(tài)(例如，保存不同數(shù)據(jù))。數(shù)據(jù)存儲機可包括可移動的和/或內(nèi)置設(shè)備；它可包括光學(xué)存儲器(例如，cd、dvd、hd-dvd、藍(lán)光碟等)、半導(dǎo)體存儲器(例如，ram、eprom、eeprom等)、和/或磁性存儲器(例如，硬盤驅(qū)動器、軟盤驅(qū)動器、磁帶驅(qū)動器、mram等)、以及其他。數(shù)據(jù)存儲機可以包括易失性的、非易失性的、動態(tài)的、靜態(tài)的、讀/寫的、只讀的、隨機存取的、順序存取的、位置可定址的、文件可定址的、和/或內(nèi)容可定址的設(shè)備。

將理解，數(shù)據(jù)存儲機140包括一個或多個物理設(shè)備。然而，本文所述的指令的各方面替代地可由通信介質(zhì)(如電磁信號、光學(xué)信號等)來傳播，而不是經(jīng)由存儲介質(zhì)進(jìn)行存儲。

邏輯機138和數(shù)據(jù)存儲機140的各方面可以被一起集成到一個或多個硬件邏輯組件中。這些硬件邏輯組件可包括例如現(xiàn)場可編程門陣列(fpga)、程序和應(yīng)用專用的集成電路(pasic/asic)、程序和應(yīng)用專用的標(biāo)準(zhǔn)產(chǎn)品(pssp/assp)、片上系統(tǒng)(soc)以及復(fù)雜可編程邏輯器件(cpld)。

術(shù)語“模塊”、“程序”和“引擎”可用于描述被實現(xiàn)為執(zhí)行一特定功能的計算機系統(tǒng)的一方面。在某些情況下，可經(jīng)由執(zhí)行由數(shù)據(jù)存儲機所保持的指令的邏輯機來實例化模塊、程序或引擎。將理解，可以從同一應(yīng)用、服務(wù)、代碼塊、對象、庫、例程、api、函數(shù)等實例化不同的模塊、程序和引擎。同樣，可以由不同的應(yīng)用程序、服務(wù)、代碼塊、對象、例程、api、函數(shù)等來實例化同一模塊、程序和引擎。模塊、程序或引擎可涵蓋單個或成組的可執(zhí)行文件、數(shù)據(jù)文件、庫、驅(qū)動程序、腳本、數(shù)據(jù)庫記錄等。

顯示器14可用于呈現(xiàn)由數(shù)據(jù)存儲機140所保持的數(shù)據(jù)的視覺表示。此視覺表示可采取圖形用戶界面(gui)的形式。由于本文所描述的方法和過程改變了由數(shù)據(jù)存儲機保持的數(shù)據(jù)，并由此變換了數(shù)據(jù)存儲機的狀態(tài)，因此同樣可以轉(zhuǎn)變顯示器14的狀態(tài)以視覺地表示底層數(shù)據(jù)的改變。顯示器14可以包括使用實際上任何類型的技術(shù)的一個或多個顯示設(shè)備。可將此類顯示設(shè)備與邏輯機138和/或數(shù)據(jù)存儲機140組合在共享封裝中，或者此類顯示設(shè)備可以是外圍顯示設(shè)備。

通信機器142可被配置為將計算系統(tǒng)通信地耦合到一個或多個其它機器，包括服務(wù)器計算機系統(tǒng)。通信機器可以包括與一個或多個不同通信協(xié)議兼容的有線和/或無線通信設(shè)備。作為非限制性示例，通信機器可被配置成用于經(jīng)由無線電話網(wǎng)絡(luò)或者有線或無線局域網(wǎng)或廣域網(wǎng)來進(jìn)行通信。在一些示例中，通信機器可允許計算機器經(jīng)由諸如因特網(wǎng)這樣的網(wǎng)絡(luò)將消息發(fā)送至其他設(shè)備以及/或者從其它設(shè)備接收消息。

將會理解，此處描述的配置和/或方法本質(zhì)是示例性的，這些具體的一個或多個示例不應(yīng)被視為限制性的，因為許多變體是可能的。本文描述的具體例程或方法可以表示任何數(shù)量的處理策略中的一個或多個。如此，所示和/或所述的各種動作可以以所示和/或所述順序、以其他順序、并行地執(zhí)行，或者被省略。同樣，上述過程的次序可以改變。

本公開的主題包括各種過程、系統(tǒng)和配置以及此處公開的其他特征、功能、動作和/或?qū)傩?、以及它們的任一和全部等價物的所有新穎且非顯而易見的組合和子組合。

本公開的一個方面是在操作地耦合到機器視覺系統(tǒng)的計算系統(tǒng)中執(zhí)行的方法。該方法包括下述動作：從機器視覺系統(tǒng)接收對在同一視野中的用戶的頭和指示器進(jìn)行成像的視頻；基于所述視頻計算所述用戶的幾何視線，所述視線被指示器部分遮擋；參考一個或多個對象的位置數(shù)據(jù)，標(biāo)識沿所述幾何視線放置的定向到的對象；處理所述視頻以標(biāo)識所述指示器沿所述幾何視線的遞增前向移動；以及響應(yīng)于所述遞增前向移動執(zhí)行與所述定向到的對象相關(guān)聯(lián)的處理。

在一些實現(xiàn)中，上述方法包括在操作上耦合到計算系統(tǒng)的顯示器上呈現(xiàn)一個或多個對象。在這些和其它實現(xiàn)中，計算幾何視線可以包括根據(jù)該視頻中計算頭的空間坐標(biāo)和/或計算幾何視線可以包括根據(jù)該視頻計算用戶的眼睛或瞳孔的空間坐標(biāo)和/或根據(jù)該視頻計算所述指示器的空間坐標(biāo)。在這些和其它實現(xiàn)中，幾何視線可以是通過指示器并通過用戶的眼睛的直線。

在一些實現(xiàn)中，在上述方法中的標(biāo)識定向到的對象包括確定定向到的對象是否是沿著幾何視線放置的。在這些和其它實現(xiàn)中，指示器可以包括用戶的手指；機器視覺系統(tǒng)可以包括深度相機，而所述視頻可以包括來自深度相機的一系列時間分辨深度圖像。而且，機器視覺系統(tǒng)可以包括平面圖像相機，而視頻可以包括來自平面圖像相機的一系列時間分辨圖像。

在一些實現(xiàn)中，機器視覺系統(tǒng)的深度和平面圖像相機可具有以相同方向取向的平行的光軸。上述方法還可以包括響應(yīng)于由用戶口述的選擇命令將定向到的對象在視覺上表示為所選對象和/或通過將空間坐標(biāo)分配給所述一個或多個對象的每個對象來積累位置數(shù)據(jù)，其中所述空間坐標(biāo)定義了每個對象在所述機器視覺系統(tǒng)的視野內(nèi)的位置。

在一些實現(xiàn)中，聚集位置數(shù)據(jù)可以包括接收定義空間坐標(biāo)的用戶輸入。在這些和其它實現(xiàn)中，定向到的對象可以是在操作上耦合到計算系統(tǒng)的顯示器上呈現(xiàn)的虛擬顯示對象；積累位置數(shù)據(jù)可以包括接收定義顯示器的觀看區(qū)域的空間坐標(biāo)的用戶輸入。在這些和其它實現(xiàn)中，積累位置數(shù)據(jù)可以包括以下動作：從機器視覺系統(tǒng)接收在同一視野中的用戶的頭和指示器進(jìn)行成像的先前的視頻；基于所述視頻計算被指示器部分遮擋的用戶的先前的視線；并且存儲沿先前的視線的空間坐標(biāo)。

本公開的另一方面提供了一種計算設(shè)備，該計算設(shè)備包括邏輯機和數(shù)據(jù)存儲機；數(shù)據(jù)存儲機存儲可由邏輯機執(zhí)行以進(jìn)行以下操作的指令：經(jīng)由硬件接口從機器視覺系統(tǒng)接收對用戶的頭和指示器進(jìn)行成像的視頻；基于所述視頻計算被指示器部分遮擋的用戶的初始視線；參考一個或多個經(jīng)配準(zhǔn)的對象的位置數(shù)據(jù)，標(biāo)識沿所述初始視線放置的定向到的對象；基于視頻計算被指示器部分遮擋的用戶的后續(xù)視線；以及沿所述后續(xù)視線在顯示器上形成圖像以表示定向到的對象。

在一些實現(xiàn)中，上述指令可進(jìn)一步執(zhí)行以響應(yīng)于來自用戶的選擇命令選擇所標(biāo)識的定向到的對象。所述指令可進(jìn)一步執(zhí)行以從另一個計算系統(tǒng)接收一個或多個對象的位置數(shù)據(jù)。在這些和其它實現(xiàn)中，機器視覺系統(tǒng)和/或顯示器可以被集成在用戶可佩戴的頭戴式設(shè)備中。

本公開的另一個方面提供了一種在操作地耦合到機器視覺系統(tǒng)和顯示器的計算系統(tǒng)中執(zhí)行的方法。該方法包括下述動作：從機器視覺系統(tǒng)接收對用戶的頭和手進(jìn)行成像的視頻；基于該視頻計算被手部分遮擋的用戶的初始視線；參考一個或多個對象的位置數(shù)據(jù)標(biāo)識沿初始視線放置的定向到的對象；處理該視頻以標(biāo)識手沿視線離開用戶的移動；響應(yīng)于手沿視線離開用戶的移動，移位圖像的深度坐標(biāo)；處理所述視頻以標(biāo)識手的閉合，其中手仍然在所述視線中；以及響應(yīng)于所述手的閉合減小圖像的尺寸，其中所述手維持在所述視線中。