眼睛注視跟蹤可以被用作與圖形用戶界面交互的一種機(jī)制。例如，被確定為與圖形用戶界面相交的注視位置可被用作圖形用戶界面的定位信號，類似于由計(jì)算機(jī)鼠標(biāo)或類似物控制的傳統(tǒng)光標(biāo)所提供的。

概述

公開了涉及基于眼睛注視檢測來對在圖形用戶界面上顯示的用戶界面對象進(jìn)行選擇的各個(gè)實(shí)施例。例如，一個(gè)公開的實(shí)施例提供了一種方法，該方法包括：在計(jì)算設(shè)備上接收選擇輸入，并且響應(yīng)于該選擇輸入來評估在一時(shí)間窗口內(nèi)的不同時(shí)間的多個(gè)眼睛注視樣本，其中該時(shí)間窗口可基于選擇輸入被檢測到的時(shí)間來選擇。該方法進(jìn)一步包括基于多個(gè)眼睛注視樣本來選擇用戶界面對象。

提供本概述以便以簡化的形式介紹以下在詳細(xì)描述中進(jìn)一步描述的一些概念。本概述并不旨在標(biāo)識所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。而且，所要求保護(hù)的主題不限于解決該公開的任一部分中所注的任何或全部缺點(diǎn)的實(shí)現(xiàn)方式。

附圖簡述

圖1示出根據(jù)本公開的一實(shí)施例的頭戴式顯示設(shè)備的示例。

圖2-3示出了根據(jù)本公開的各實(shí)施例的示例眼睛注視樣本評估的圖形描繪。

圖4-6示出了根據(jù)本公開的一實(shí)施例的基于眼睛注視評估可以在圖形用戶界面上呈現(xiàn)的反饋的示例。

圖7A-7B示出了根據(jù)本公開的一實(shí)施例的用于基于眼睛注視評估選擇在圖形用戶界面上顯示的用戶界面對象的示例方法。

圖8示意性地示出根據(jù)本公開的一實(shí)施例的計(jì)算系統(tǒng)的示例。

詳細(xì)描述

用于使用眼睛注視跟蹤來選擇用戶界面對象的一些辦法可基于在接收到選擇輸入(例如，按鈕致動、身體部位姿勢等)的時(shí)間的眼睛注視位置來確定要選擇的圖形用戶界面對象。然而，這種辦法可能導(dǎo)致對要選擇哪個(gè)圖形用戶界面對象的不準(zhǔn)確判斷。例如，當(dāng)在用戶界面(UI)對象之間快速移動時(shí)，諸如當(dāng)使用眼睛注視跟蹤來在虛擬鍵盤上打字時(shí)，用戶可能在用戶的眼睛注視已經(jīng)穩(wěn)定在預(yù)期UI對象位置處之前執(zhí)行選擇輸入。同樣地，用戶的眼睛注視可穩(wěn)定于預(yù)期UI對象并且接著在執(zhí)行選擇輸入之前被移開。因而，基于執(zhí)行選擇輸入時(shí)注視的位置來選擇用戶界面對象可能導(dǎo)致用戶界面行為不匹配用戶意圖。系統(tǒng)等待時(shí)間也可能對此類不確定性作出貢獻(xiàn)。例如，與確定眼睛注視位置相比，可能花費(fèi)更長的時(shí)間量來處理對選擇輸入的接收，或者相反。由此，在眼睛注視檢測與選擇檢測之間可能產(chǎn)生獨(dú)立于任何用戶行為的滯后。

相應(yīng)地，本文公開了涉及通過評估多個(gè)眼睛注視樣本來控制對圖形用戶界面對象的選擇的各實(shí)施例。例如，在一些實(shí)施例中，眼睛注視定位測量可以被周期性地采樣并且被存儲達(dá)一時(shí)間量。在接收到被配置成選擇UI對象的輸入之際，一時(shí)間窗口內(nèi)的多個(gè)眼睛注視樣本可以被評估以確定用戶期望選擇哪個(gè)UI對象。通過評估在檢測到選擇輸入時(shí)間附近的多個(gè)眼睛注視樣本，在確定預(yù)期UI對象時(shí)與只考慮單個(gè)樣本相比可以將更多輸入納入考慮。這可以有助于即便在預(yù)期眼睛注視位置不與選擇輸入同步的情況下確定預(yù)期UI元素。

本文所描述的各實(shí)施例可以與任何合適的注視跟蹤系統(tǒng)聯(lián)用。例如，在一些實(shí)施例中，眼睛注視跟蹤可被用于控制在頭戴式顯示(HMD)設(shè)備上顯示的圖形用戶界面。圖1示出具有透明顯示器102的一副可佩戴眼鏡形式的HMD設(shè)備100的非限制性示例。將明白，HMD設(shè)備可以采取任何其他合適的形式，其中透明、半透明和/或不透明顯示器被支撐在查看者的一只或兩只眼睛前方。此外，本文所描述的各實(shí)施例可以與任何其它合適的眼睛跟蹤系統(tǒng)聯(lián)用，包括但不限于，用于移動計(jì)算設(shè)備、膝上型計(jì)算機(jī)、臺式計(jì)算機(jī)、平板計(jì)算機(jī)、其它可穿戴計(jì)算機(jī)等的眼睛跟蹤系統(tǒng)。

HMD設(shè)備100包括透視顯示器102和控制器104。透視顯示器102可以使得圖像(諸如全息對象)被遞送到HMD設(shè)備佩戴者的眼睛。透視顯示器102可被配置成向通過該透明顯示器查看物理環(huán)境的佩戴者在視覺上增強(qiáng)現(xiàn)實(shí)世界物理環(huán)境的外觀。例如，物理環(huán)境的外觀可以由經(jīng)由透明顯示器102來呈現(xiàn)以創(chuàng)建混合現(xiàn)實(shí)環(huán)境的圖形內(nèi)容來增強(qiáng)。在一個(gè)示例中，該顯示器可被配置成在圖形用戶界面上顯示一個(gè)或多個(gè)UI對象。在一些實(shí)施例中，在圖形用戶界面上呈現(xiàn)的UI對象可以是覆蓋在現(xiàn)實(shí)世界環(huán)境前方的虛擬對象。同樣地，在一些實(shí)施例中，在圖形用戶界面上呈現(xiàn)的UI對象可以納入通過透明顯示器102被看到的現(xiàn)實(shí)世界環(huán)境的現(xiàn)實(shí)世界對象的元素。在任一情形中，UI對象可以經(jīng)由眼睛注視跟蹤來選擇。

任何合適的機(jī)制可被用于經(jīng)由透明顯示器102來顯示圖像。例如，透明顯示器102可包括位于透鏡106內(nèi)的圖像生成元件(諸如例如透視有機(jī)發(fā)光二極管(OLED)顯示器)。作為另一示例，透明顯示器102可包括位于HMD設(shè)備100框架內(nèi)的光調(diào)制器。在這一示例中，透鏡106可以擔(dān)當(dāng)用于將光從光調(diào)制器遞送到佩戴者的眼睛的光導(dǎo)。這樣的光導(dǎo)可使得佩戴者能夠感知位于物理環(huán)境內(nèi)的佩戴者正在查看的3D全息圖像，同時(shí)還允許佩戴者查看物理環(huán)境中的物理對象，由此創(chuàng)建混合現(xiàn)實(shí)環(huán)境。

HMD設(shè)備100還可包括用于向控制器104提供信息的各種傳感器和相關(guān)系統(tǒng)。此類傳感器可包括但不限于，一個(gè)或多個(gè)面向內(nèi)的圖像傳感器108、一個(gè)或多個(gè)面向外的圖像傳感器110、以及慣性測量單元(IMU)112。一個(gè)或多個(gè)面向內(nèi)的圖像傳感器108可被配置成獲取來自佩戴者眼睛的注視跟蹤數(shù)據(jù)形式的圖像數(shù)據(jù)。HMD設(shè)備可被配置成基于接收自圖像傳感器108的信息用任何合適的方式來確定佩戴者眼睛中的每一只眼睛的注視方向。例如，一個(gè)或多個(gè)光源114(諸如紅外光源)被配置成使得從佩戴者的每一只眼睛的角膜反射閃光。一個(gè)或多個(gè)圖像傳感器108然后可被配置成捕捉佩戴者眼睛的圖像。如從收集自圖像傳感器108的圖像數(shù)據(jù)確定的閃爍和瞳孔的圖像可被控制器104用于確定每一只眼睛的光軸。使用這一信息，控制器104可被配置成確定佩戴者的注視方向?？刂破?04可被配置成附加地或替換地確定佩戴者注視什么物理或虛擬對象。

一個(gè)或多個(gè)面向外的圖像傳感器110可被配置成接收來自HMD設(shè)備100位于的物理環(huán)境的物理環(huán)境數(shù)據(jù)。例如，面向外的傳感器110可被配置成檢測顯示器102視野內(nèi)的移動，諸如視野內(nèi)的佩戴者或人或物理對象所執(zhí)行的基于姿勢的輸入或其他移動。在一個(gè)示例中，面向外的傳感器110可以檢測由HMD設(shè)備的佩戴者執(zhí)行的指示對在顯示設(shè)備上顯示的UI對象的選擇的選擇輸入，諸如姿勢(例如，捏合手指、閉緊拳頭等)。面向外的傳感器還可從物理環(huán)境和該環(huán)境內(nèi)的物理對象捕捉2D圖像信息和深度信息?？刂破?04可被配置成使用此類環(huán)境信息來確定方向/位置和取向數(shù)據(jù)，該方向/位置和取向數(shù)據(jù)實(shí)現(xiàn)HMD設(shè)備100在現(xiàn)實(shí)世界環(huán)境中的定位/運(yùn)動跟蹤。

IMU 112可被配置成將HMD設(shè)備100的定位和/或取向數(shù)據(jù)提供給控制器104。在一個(gè)實(shí)施例中，IMU 112可被配置為三軸或三自由度定位傳感器系統(tǒng)。這一示例定位傳感器系統(tǒng)可以例如包括用于指示或測量HMD設(shè)備100在3D空間內(nèi)繞三個(gè)正交軸(例如，x、y、z)(例如，滾轉(zhuǎn)、俯仰、偏航)的定向變化的三個(gè)陀螺儀。從IMU的傳感器信號導(dǎo)出的取向可被用于經(jīng)由透視顯示器用三自由度來顯示一個(gè)或多個(gè)虛擬UI對象。

在另一示例中，IMU 112可被配置為六軸或六自由度定位傳感器系統(tǒng)。這一配置可以包括三個(gè)加速度計(jì)和三個(gè)陀螺儀以指示或測量HMD設(shè)備100沿三個(gè)正交軸的位置變化和繞該三個(gè)正交軸的設(shè)備取向變化。在一些實(shí)施例中，來自圖像傳感器110和IMU 112的定位和取向數(shù)據(jù)可以被結(jié)合使用以確定HMD設(shè)備100的定位和取向。

HMD設(shè)備100還可以支持其他合適的定位技術(shù)，諸如GPS或其他全球?qū)Ш较到y(tǒng)。此外，盡管描述了位置傳感器系統(tǒng)的具體示例，但將明白，可以使用任何其他合適的位置傳感器系統(tǒng)。例如，頭部姿態(tài)和/或移動數(shù)據(jù)可以基于來自安裝者佩戴者上和/或佩戴者外部的傳感器的任何組合的傳感器信息來確定，包括但不限于任何數(shù)量的陀螺儀、加速度計(jì)、慣性測量單元、GPS設(shè)備、氣壓計(jì)、磁力計(jì)、相機(jī)(例如，可見光相機(jī)、紅外光相機(jī)、飛行時(shí)間深度相機(jī)、結(jié)構(gòu)化光深度相機(jī)，等等)、通信設(shè)備(例如，WIFI天線/接口)，等等。

繼續(xù)圖1，控制器104可被配置成基于由一個(gè)或多個(gè)面向內(nèi)的圖像傳感器108檢測到的信息記錄隨著時(shí)間的多個(gè)眼睛注視樣本。對于每一眼睛注視樣本，眼睛跟蹤信息以及在一些實(shí)施例中的頭部跟蹤信息(來自圖像傳感器110和/或IMU 112)可被用于估計(jì)該眼睛注視樣本的原點(diǎn)和方向向量以產(chǎn)生眼睛注視與透視顯示器相交的估計(jì)位置。用于確定眼睛注視樣本的眼睛跟蹤信息和頭部跟蹤信息的非限制性示例可包括眼睛注視方向、頭部取向、眼睛注視速度、眼睛注視加速度、眼睛注視方向角改變、以及任何其它合適的跟蹤信息。在一些實(shí)施例中，眼睛注視跟蹤可以獨(dú)立于HMD設(shè)備100佩戴者的兩只眼睛來記錄。

此外，在一些實(shí)施例中，控制器104可被配置成與穩(wěn)定性度量相比來評估眼睛注視樣本。例如，穩(wěn)定性度量可考慮各種參數(shù)，包括速度、加速度、以及其它眼睛注視跟蹤信息。樣本穩(wěn)定性可以例如基于一時(shí)間窗口內(nèi)樣本的眼睛注視方向的統(tǒng)計(jì)方差來評估。時(shí)間窗口可以基于選擇輸入被檢測到的時(shí)間來選擇。不滿足穩(wěn)定性度量的樣本可具有提供眼睛注視位置的不準(zhǔn)確表示的更高可能，并且因而可以從用于UI對象選擇的眼睛注視樣本的評估中被排除。例如，具有高速度和/或加速度的眼睛注視樣本可指示眼睛注視是不穩(wěn)定的或者未穩(wěn)定于特定位置，并且因而該樣本在選擇UI對象的評估中可以不被考慮。

附加地，在一些實(shí)施例中，可以指示用戶意圖的上下文信息可以在穩(wěn)定性試探法的計(jì)算中被考慮。例如，在選擇虛擬鍵盤上的字符時(shí)，過去選擇的字符可以被考慮以獲得有效單詞前綴。在另一示例中，編輯功能可以被認(rèn)為是上下文信息。例如，如果虛擬鍵盤上的字符被選擇并且接著被刪除，則下一選擇事件可以不考慮該字符。

將理解，時(shí)間窗口可以被設(shè)置于相對于選擇輸入時(shí)間的任何合適的位置，并且可具有任何合適的歷時(shí)，而不背離本公開的范圍。例如，在一些實(shí)施例中，時(shí)間窗口可具有相對有限的歷時(shí)，并且包括選擇輸入時(shí)間周圍的有限數(shù)目的眼睛注視樣本。在其它實(shí)施例中，時(shí)間窗口可包括HMD設(shè)備被打開并且收集眼睛注視樣本的整個(gè)時(shí)間歷時(shí)。例如，這一時(shí)間窗口中的眼睛注視樣本可以根據(jù)指數(shù)平滑化辦法來評估。

多個(gè)眼睛注視樣本可以用任何合適的方式來評估以確定旨在選擇的UI對象。例如，在一些實(shí)施例中，眼睛注視樣本評估可遵循迭代試探法，該迭代試探法開始于最接近檢測到選擇輸入的時(shí)間的眼睛注視樣本。各個(gè)樣本可以被迭代地評估，并且在時(shí)間上從檢測到選擇輸入的時(shí)間既向前又向后地向外移動。在一個(gè)示例中，如果正被評估的樣本與時(shí)間窗口中的注視樣本的平均方向不同超過一閾值，諸如特定百分比差異，則在該時(shí)間方向上的樣本評估可以被停止。在另一示例中，如果一個(gè)方向上的多個(gè)連貫樣本變化達(dá)顯著的量，則在該時(shí)間方向上的樣本評估可以被停止。此類方差可指示離散用戶動作之間的邊界。

選擇輸入可包括由HMD設(shè)備100佩帶者執(zhí)行的用于指示對在透視顯示器102上顯示的UI對象的選擇的任何合適的動作。例如，在一些實(shí)施例中，選擇輸入可以經(jīng)由除了眼睛注視之外的輸入模式來作出。作為更具體的示例，選擇輸入可以經(jīng)由位于HMD設(shè)備100上的選擇輸入按鈕118來作出。在另一示例中，選擇輸入按鈕可位于另一設(shè)備上，諸如與HMD設(shè)備100處于通信的遠(yuǎn)程控制器。在又一示例中，選擇輸入可以經(jīng)由由HMD設(shè)備佩戴者執(zhí)行的姿勢來作出，其中該姿勢可經(jīng)由光學(xué)傳感器系統(tǒng)、頭部跟蹤系統(tǒng)、和/或任何其它合適的一個(gè)或多個(gè)傳感器來檢測。例如，姿勢可包括并攏一個(gè)手上的手指以作出拳頭。作為另一示例，姿勢可包括頭部移動的突然改變。具體地，HMD設(shè)備佩戴者可以在一個(gè)方向上移動他/她的頭，并且接著突然停止或改變方向。該停止和/或方向改變可以被識別為選擇輸入。在又一示例中，選擇輸入可以經(jīng)由眼睛移動或眼睛眨眼來作出。在又一示例中，選擇輸入可以經(jīng)由語音來作出。將理解，選擇輸入可包括任何合適的動作，并且可以用任何合適的方式來檢測而不背離本公開的范圍。

HMD設(shè)備100還可包括捕捉語音數(shù)據(jù)的一個(gè)或多個(gè)話筒，諸如話筒120。此外，音頻輸出可以經(jīng)由一個(gè)或多個(gè)揚(yáng)聲器(諸如揚(yáng)聲器122)被呈現(xiàn)給佩戴者。在一些實(shí)施例中，話筒系統(tǒng)可被配置成提供指示對在透視顯示器上顯示的圖形用戶界面上呈現(xiàn)的UI對象的選擇的音頻反饋。

控制器104可包括可與HMD設(shè)備的各個(gè)傳感器和顯示器處于通信的邏輯機(jī)和存儲機(jī)，如下文參考圖8更詳細(xì)地討論的。在一個(gè)示例中，存儲機(jī)可包括可由邏輯機(jī)執(zhí)行以執(zhí)行以下操作的指令：接收選擇輸入、評估在基于檢測到選擇輸入的時(shí)間選擇的一時(shí)間窗口內(nèi)的不同時(shí)間的多個(gè)眼睛注視樣本、以及基于多個(gè)眼睛注視樣本來選擇在透視顯示器上顯示的UI對象。

如上所討論的，當(dāng)用戶提供指示選擇UI對象的意圖的選擇輸入時(shí)，所選時(shí)間窗口內(nèi)的多個(gè)眼睛注視樣本可以被評估以確定用戶期望選擇哪個(gè)UI對象。該時(shí)間窗口可以例如基于選擇輸入被接收到的時(shí)間來選擇。

圖2-3示出了評估時(shí)間窗口內(nèi)的眼睛注視樣本的示例方法的圖形表示。眼睛注視樣本可以表示用于跟蹤眼睛注視的任何合適的信息，包括但不限于注視方向數(shù)據(jù)。首先參考圖2，當(dāng)選擇事件202被檢測到時(shí)，時(shí)間窗口204基于選擇輸入被檢測到的時(shí)間來定義。在這一示例中，時(shí)間窗口包括在選擇輸入202被檢測到的時(shí)間之前和之后獲得的眼睛注視樣本，但將理解，時(shí)間窗口可包括任何合適的時(shí)間范圍。

在一些實(shí)施例中，時(shí)間窗口204的中心206可以被設(shè)置為接收到選擇輸入202之前的時(shí)間。在圖2中，這一偏移在208處被解說。例如，偏移208可基于用戶開始選擇輸入(例如，發(fā)起姿勢、推動按鈕等)的時(shí)間與選擇輸入被系統(tǒng)接收到的時(shí)間之間的所確定的時(shí)間量(例如，來自歷史數(shù)據(jù))或所估計(jì)的時(shí)間量來調(diào)整。在偏移經(jīng)由歷史數(shù)據(jù)被確定的情況下，該偏移可以隨著時(shí)間例如隨著用戶變得越來越有技巧而被調(diào)整。在其它實(shí)施例中，時(shí)間窗口的中心可以被設(shè)置為在接收到選擇輸入的時(shí)間。

在檢測到選擇輸入202之際，可以執(zhí)行對多個(gè)眼睛注視樣本的第一評估210以確定最有可能是選擇輸入的目標(biāo)的UI對象。第一評估210可利用具有在時(shí)間窗口中心206之前的時(shí)間的多個(gè)眼睛注視樣本。多個(gè)眼睛注視樣本可以被評估以例如確定多個(gè)眼睛注視樣本與圖形用戶界面相交的組合位置。術(shù)語“組合位置”可指示利用多個(gè)眼睛注視樣本經(jīng)由任何合適的計(jì)算所確定的位置。在一個(gè)非限制性示例中，組合位置可以是多個(gè)眼睛注視樣本與圖形用戶界面相交的平均位置。

基于第一評估，圖形用戶界面上的UI對象可以基于例如由HMD設(shè)備所應(yīng)用的一個(gè)或多個(gè)選擇規(guī)則而被選擇。作為一個(gè)示例，選擇規(guī)則可以將權(quán)重應(yīng)用于每一UI對象，并且具有最高權(quán)重的UI對象可以被選擇。作為更具體的示例，作為同多個(gè)眼睛注視樣本與圖形用戶界面相交的組合位置最接近的UI對象的UI對象可具有最高權(quán)重并且因此可以被選擇。換言之，加權(quán)可以基于從UI對象到眼睛注視樣本的組合位置的距離。

作為另一示例，加權(quán)可基于從UI對象到眼睛注視樣本的組合位置的距離乘以UI元素大小的對數(shù)。此類選擇規(guī)則可以提供朝向可增加選擇準(zhǔn)確性的較小UI對象的偏向。作為另一示例，加權(quán)可基于從UI對象到眼睛注視樣本的組合位置的距離除以語音識別置信等級。例如，可以將語音輸入與多個(gè)候選UI對象作比較以產(chǎn)生語音識別置信等級。作為又一示例，選擇規(guī)則可包括佩戴者最近與其交互的UI對象的權(quán)重分量。由此，受歡迎的UI對象可以被賦予更多的權(quán)重。

在一些實(shí)施例中，選擇規(guī)則可包括當(dāng)多個(gè)UI具有相同權(quán)重時(shí)的打破平局供應(yīng)。例如，上述示例中的任一者可以被用作選擇規(guī)則中的次要考量或打破平局者考量。

在一些實(shí)施例中，每一UI對象可具有動態(tài)改變的“命中目標(biāo)”——出于確定選擇的目的而與UI對象相關(guān)聯(lián)的圖形用戶界面的面積。命中目標(biāo)的面積可取決于UI對象的預(yù)期選擇而動態(tài)地改變。例如，預(yù)期選擇可基于應(yīng)用的上下文被確定。在其中UI對象是虛擬鍵盤的按鍵的一個(gè)示例中，預(yù)期選擇可基于要完成單詞的估計(jì)字母或其它基于語法或拼寫的估計(jì)。

通過評估導(dǎo)致檢測到選擇輸入的多個(gè)眼睛注視樣本，對UI對象的準(zhǔn)確選擇可以達(dá)成，即便是在提供選擇輸入之前用戶眼睛注視離開預(yù)期UI對象的情形中。

在檢測到選擇輸入之后的一個(gè)時(shí)間可以執(zhí)行對不同的多個(gè)眼睛注視樣本的第二評估212。第二評估可包括在檢測到選擇輸入的時(shí)間之后獲得的眼睛注視樣本。第二評估可以被執(zhí)行以確認(rèn)對第一評估的選擇，或者基于在檢測到選擇輸入之后取得的附加眼睛注視樣本對來自第一評估的選擇解除選擇并且選擇另一UI對象。具體地，在檢測到選擇輸入之后取得的眼睛注視樣本可有助于標(biāo)識其中眼睛注視不穩(wěn)定于預(yù)期UI對象直到執(zhí)行選擇輸入之后的情景。相應(yīng)地，對UI對象的準(zhǔn)確選擇可以達(dá)成，即便在用戶的眼睛注視不穩(wěn)定于預(yù)期UI對象直到提供選擇輸入之后的情形中。

在一些實(shí)施例中，第二評估的不同的多個(gè)眼睛注視樣本可包括在檢測到選擇輸入之前和之后取得的眼睛注視樣本。在一個(gè)示例中，第二評估可包括該時(shí)間窗口內(nèi)的所有樣本。換言之，第一窗口中的眼睛注視樣本在同一評估事件的第二窗口中可以被再次考慮。在其它實(shí)施例中，第二評估可排除第一窗口中的一些或全部時(shí)間樣本。

第二評估可確認(rèn)由第一評估確定的初始選擇，或者撤銷該初始選擇并得到對不同UI對象的選擇。例如，如果一不同的UI對象最接近不同的多個(gè)眼睛注視樣本與圖形用戶界面相交的組合位置，則對UI對象的初始選擇可以被撤銷并且該不同UI對象可以被選擇。

在一些實(shí)施例中，在完成第二評估之際，第一評估和第二評估所評估的所有眼睛注視樣本都可能沒有資格進(jìn)行眼睛注視樣本的將來評估。這可以避免當(dāng)在時(shí)間上靠近在一起提供選擇輸入時(shí)對相同UI對象的意外重復(fù)選擇。在其它實(shí)施例中，眼睛注視樣本可以在多個(gè)評估事件中被考慮。

在一些實(shí)施例中，第一評估可以評估以第一時(shí)間為中心的第一時(shí)間窗口中的眼睛注視樣本，而第二評估可以評估以晚于第一時(shí)間的一個(gè)時(shí)間為中心的第二時(shí)間窗口中的眼睛注視樣本。第二窗口可包括與第一窗口不同的多個(gè)眼睛注視樣本。

在一些實(shí)例中，選擇輸入可以在針對先前選擇輸入的評估完成之前被接收到。圖3示出了其中在第一選擇輸入202的第二評估要執(zhí)行的時(shí)間216之前接收到第二選擇輸入214的情景。在這一情景中，第一選擇輸入202的第一評估210按照上述相同的方式來進(jìn)行。然而，因?yàn)榈诙x擇輸入212在第一選擇輸入202之后并且在第一選擇輸入202的第二評估之前被檢測到，所以第一選擇輸入202的第二評估212的時(shí)間窗口被調(diào)整為在第二選擇輸入214被接收到的時(shí)間之前結(jié)束。例如，第一時(shí)間窗口204的中心206與第二選擇輸入214之間的歷時(shí)可以被減小(例如，減半或減少其它合適的量)。以此方式，第二評估的時(shí)間窗口被縮短。

在縮短第一選擇事件的第二評估之際，第二選擇輸入212的第一評估220可以利用來自第二窗口218的眼睛注視樣本來執(zhí)行。具體地，眼睛注視樣本可以從起始于中點(diǎn)(或其它合適的點(diǎn))并且結(jié)束于檢測到第二選擇輸入214的時(shí)間的時(shí)間窗口中取得。第二選擇輸入214的第二評估222可包括由虛線所指示的第二窗口218中的眼睛注視樣本。第二評估220可以如上所述地被執(zhí)行，除非在執(zhí)行第二評估222之前檢測到另一選擇輸入。

當(dāng)用戶經(jīng)由眼睛注視與用戶界面交互時(shí)，任何合適的反饋可以被提供給用戶。圖4-6示出了根據(jù)本文公開的實(shí)施例當(dāng)用戶經(jīng)由眼睛注視選擇UI對象時(shí)經(jīng)由圖形用戶界面400提供給用戶的反饋的非限制性示例。圖形用戶界面400被描繪為包括多個(gè)UI對象(例如，虛擬鍵盤的按鍵)。圖4-6中示出的反饋是視覺上的，但將理解，用戶反饋也可以用其它形式來提供(例如，音頻、觸覺等)。

首先，在圖4中，基于對與多個(gè)眼睛注視樣本的第一評估選擇虛擬‘Q’鍵用戶界面對象，該多個(gè)眼睛注視樣本具有與圖形用戶界面相交的最接近‘Q’鍵的組合位置402。響應(yīng)于該選擇，‘Q’鍵在視覺上與其它用戶界面對象相區(qū)分，諸如通過突出顯示、使其更亮或更暗、使其更大或更小等。在圖4中，這一視覺區(qū)分被示為交叉影線。要理解，對選擇的任何合適的視覺反饋可以被提供而不背離本公開的范圍。

此外，對星號的選擇的音頻反饋以播放陳述“Q被選擇”的音頻剪輯的形式來提供。要理解，對選擇的任何合適的音頻反饋可以被提供而不背離本公開的范圍。

圖5-6示出了對星號UI對象的選擇的示例二次評估的結(jié)果。在圖5中，第二評估確認(rèn)了對‘Q’鍵的選擇，因?yàn)樵谶x擇輸入之后取得的眼睛注視樣本確認(rèn)眼睛注視樣本的組合位置402最接近‘Q’鍵。響應(yīng)于對選擇的確認(rèn)，對‘Q’鍵的選擇的確認(rèn)的視覺反饋以從對角線影線轉(zhuǎn)變成交叉影線的形式來提供，但將理解任何合適的視覺反饋可以被提供。此外，音頻、觸覺、和/或其它反饋可以被提供以向用戶通知對選擇的確認(rèn)。

作為對比，圖6示出了當(dāng)?shù)诙u估得到對‘Q’鍵的解除選擇以及對‘W’鍵的選擇時(shí)提供的反饋，因?yàn)樵谶x擇輸入之后取得的眼睛注視樣本指示眼睛注視樣本的組合位置402移動到了‘W’鍵。響應(yīng)于對‘W’鍵的選擇，對‘Q’鍵的選擇被撤銷并且突出顯示從‘Q’鍵移除并且被置于‘W’鍵上。由于第二評估完成了選擇事件，所以‘W’鍵被交叉影線以指示最終選擇。

圖7A-7B示出了根據(jù)本公開的一實(shí)施例的用于基于眼睛注視評估選擇在圖形用戶界面上顯示的UI對象的示例方法700。方法700可以例如由圖1中示出的HMD設(shè)備100或者由包括眼睛跟蹤系統(tǒng)的任何其它合適的計(jì)算設(shè)備來執(zhí)行。

在702，方法700包括接收選擇輸入。在一些實(shí)施例中，選擇輸入可以經(jīng)由除了眼睛注視之外的輸入模式來被接收。各示例包括但不限于，對物理按鈕或其它用戶界面設(shè)備的致動、由來自圖像傳感器和/或其它運(yùn)動傳感器的數(shù)據(jù)檢測到的用戶姿勢、音頻數(shù)據(jù)(例如，語音數(shù)據(jù))等。

在704，方法700包括評估在基于檢測到選擇輸入的時(shí)間而選擇的一時(shí)間窗口內(nèi)的不同時(shí)間的多個(gè)眼睛注視樣本。在一些實(shí)施例中，如在706指示的，方法700可包括將時(shí)間窗口的中心設(shè)置為檢測到選擇輸入之前的時(shí)間。例如，時(shí)間窗口的中心可以被設(shè)置成補(bǔ)償眼睛注視和選擇輸入之間的定時(shí)差異以及系統(tǒng)等待時(shí)間。此外，在一些實(shí)施例中，如在708指示的，方法700可包括相比于穩(wěn)定性度量來評估多個(gè)眼睛注視樣本。不滿足穩(wěn)定性度量的任何眼睛注視樣本可以不被包括在多個(gè)眼睛注視樣本的評估中。

在710，方法700包括選擇作為離多個(gè)眼睛注視樣本與圖形用戶界面相交的組合位置最接近的UI對象的UI對象。在一些實(shí)施例中，組合位置是多個(gè)眼睛注視樣本與圖形用戶界面相交的平均位置。在其它實(shí)施例中，組合位置可以用任何其它合適的方式來確定。

在選擇對象之際，可以提供用戶反饋。例如，在712，方法700可包括提供對UI對象的選擇的視覺反饋。此外，在714，方法700可包括提供對UI對象的選擇的音頻反饋。將理解，這些類型的反饋是出于示例的目的而呈現(xiàn)的，且不旨在以任何方式進(jìn)行限制。

在716，方法700可包括確定是否接收到第二選擇輸入。如果接收到第二選擇輸入，則方法700移動到718。否則，方法700移至720。在718，方法700包括將包括要在選擇輸入的第二評估中被評估的不同的多個(gè)眼睛注視樣本的第二時(shí)間窗口縮短。第二時(shí)間窗口可以被縮短以允許不與第二評估的時(shí)間窗口交疊的用于第二選擇輸入的評估的眼睛注視樣本的時(shí)間窗口。在720，方法700可包括評估在以晚于第一時(shí)間窗口為中心的第二時(shí)間窗口中的不同的多個(gè)眼睛注視樣本。如果接收到第二輸入選擇，則該第二時(shí)間窗口被縮短(例如，短于第一時(shí)間窗口)。如果未接收到第二輸入選擇，則第二時(shí)間窗口不被縮短。該第二評估可包括在檢測到選擇輸入的時(shí)間之前和之后的眼睛注視樣本。

在722，方法700可包括確定一不同的UI對象是否最接近不同的多個(gè)眼睛注視樣本與用戶界面相交的位置。如果一不同的UI對象最接近不同的多個(gè)眼睛注視樣本與用戶界面相交的位置，則方法700移動到724，其中最初被選擇的UI對象被解除選擇，并且一不同的UI對象被選擇，并且接著移動到726。否則，方法700移動到726而不執(zhí)行724處的過程。

在726，方法700可包括將第一窗口和第二窗口中的所有經(jīng)評估的眼睛注視樣本移除以免于用于眼睛注視樣本的將來評估。

通過評估在檢測到選擇輸入時(shí)間附近的多個(gè)眼睛注視樣本，在確定預(yù)期UI對象時(shí)與只考慮單個(gè)樣本相比可以將更多輸入納入考慮。這可以有助于即便在預(yù)期眼睛注視位置不與選擇輸入同步的情況下確定預(yù)期UI對象。例如，上述方法可以準(zhǔn)確地檢測對UI對象的選擇，即便在眼睛注視在執(zhí)行選擇輸入之后才穩(wěn)定于預(yù)期UI對象上的情況下。此外，上述方法可以準(zhǔn)確地檢測對UI對象的選擇，即便在眼睛注視在執(zhí)行選擇輸入之前離開預(yù)期UI對象的情況下。

在一些實(shí)施例中，在此描述的方法和過程可以與一個(gè)或多個(gè)計(jì)算設(shè)備的計(jì)算系統(tǒng)綁定。尤其地，這樣的方法和過程可被實(shí)現(xiàn)為計(jì)算機(jī)應(yīng)用程序或服務(wù)、應(yīng)用編程接口(API)、庫和/或其他計(jì)算機(jī)程序產(chǎn)品。

圖8示意性地示出可以執(zhí)行上述方法和過程中的一個(gè)或多個(gè)的計(jì)算系統(tǒng)800的非限制性實(shí)施例。以簡化形式示出了計(jì)算系統(tǒng)800。計(jì)算系統(tǒng)800可以采用以下形式：一個(gè)或多個(gè)頭戴式顯示設(shè)備、與頭戴式顯示設(shè)備協(xié)作的一個(gè)或多個(gè)設(shè)備、和/或采用眼睛跟蹤作為用戶輸入機(jī)制的任何其它合適的計(jì)算設(shè)備。各示例包括但不限于：個(gè)人計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、平板計(jì)算機(jī)、家庭娛樂計(jì)算機(jī)、網(wǎng)絡(luò)計(jì)算設(shè)備、游戲設(shè)備、移動計(jì)算設(shè)備、移動通信設(shè)備(例如，智能電話)和/或其他計(jì)算設(shè)備。

計(jì)算系統(tǒng)800包括邏輯機(jī)802和存儲機(jī)804。計(jì)算系統(tǒng)800可任選地包括顯示子系統(tǒng)806、輸入子系統(tǒng)808、通信子系統(tǒng)810和/或在圖8中未示出的其他組件。

邏輯機(jī)802包括被配置成執(zhí)行指令的一個(gè)或多個(gè)物理設(shè)備。例如，邏輯機(jī)可被配置成執(zhí)行作為以下各項(xiàng)的一部分的指令：一個(gè)或多個(gè)應(yīng)用、服務(wù)、程序、例程、庫、對象、組件、數(shù)據(jù)結(jié)構(gòu)、或其它邏輯構(gòu)造。這種指令可被實(shí)現(xiàn)以執(zhí)行任務(wù)、實(shí)現(xiàn)數(shù)據(jù)類型、轉(zhuǎn)換一個(gè)或多個(gè)部件的狀態(tài)、實(shí)現(xiàn)技術(shù)效果、或以其它方式得到期望結(jié)果。

邏輯機(jī)可包括被配置成執(zhí)行軟件指令的一個(gè)或多個(gè)處理器。作為補(bǔ)充或替換，邏輯機(jī)可包括被配置成執(zhí)行硬件或固件指令的一個(gè)或多個(gè)硬件或固件邏輯機(jī)。邏輯機(jī)的處理器可以是單核或多核，且在其上執(zhí)行的指令可被配置為串行、并行和/或分布式處理。邏輯機(jī)的各個(gè)組件可任選地分布在兩個(gè)或更多單獨(dú)設(shè)備上，這些設(shè)備可以位于遠(yuǎn)程和/或被配置成進(jìn)行協(xié)同處理。邏輯機(jī)的各方面可由以云計(jì)算配置進(jìn)行配置的可遠(yuǎn)程訪問的聯(lián)網(wǎng)計(jì)算設(shè)備來虛擬化和執(zhí)行。

存儲機(jī)804包括被配置成保存可由邏輯機(jī)執(zhí)行以實(shí)現(xiàn)此處所述的方法和過程的機(jī)器可讀指令的一個(gè)或多個(gè)物理設(shè)備。在實(shí)現(xiàn)這些方法和過程時(shí)，可以變換存儲機(jī)804的狀態(tài)(例如，保存不同的數(shù)據(jù))。

存儲機(jī)804可以包括可移動和/或內(nèi)置設(shè)備。存儲機(jī)804可包括光學(xué)存儲器(例如，CD、DVD、HD-DVD、藍(lán)光盤等)、半導(dǎo)體存儲器(例如，RAM、EPROM、EEPROM等)和/或磁存儲器(例如，硬盤驅(qū)動器、軟盤驅(qū)動器、磁帶驅(qū)動器、MRAM等)等等。存儲機(jī)804可包括易失性、非易失性、動態(tài)、靜態(tài)、讀/寫、只讀、隨機(jī)存取、順序存取、位置可尋址、文件可尋址和/或內(nèi)容可尋址設(shè)備。

可以理解，存儲機(jī)804包括一個(gè)或多個(gè)物理設(shè)備。然而，本文所述的指令的各方面替代地可由通信介質(zhì)(如電磁信號、光學(xué)信號等)來傳播，而不是存儲在存儲設(shè)備上。

邏輯機(jī)802和存儲機(jī)804的各方面可被一起集成到一個(gè)或多個(gè)硬件邏輯組件中。這些硬件邏輯組件可包括例如現(xiàn)場可編程門陣列(FPGA)、程序和應(yīng)用專用的集成電路(PASIC/ASIC)、程序和應(yīng)用專用的標(biāo)準(zhǔn)產(chǎn)品(PSSP/ASSP)、片上系統(tǒng)(SOC)以及復(fù)雜可編程邏輯器件(CPLD)。

在被包括時(shí)，顯示子系統(tǒng)806可用于呈現(xiàn)由存儲機(jī)804保存的數(shù)據(jù)的視覺表示。該視覺表示可采用圖形用戶界面(GUI)的形式。由于此處所描述的方法和過程改變了由存儲機(jī)保持的數(shù)據(jù)，并由此變換了存儲機(jī)的狀態(tài)，因此同樣可以轉(zhuǎn)變顯示子系統(tǒng)806的狀態(tài)以視覺地表示底層數(shù)據(jù)的改變。顯示子系統(tǒng)806可包括實(shí)際上利用任何類型的技術(shù)的一個(gè)或多個(gè)顯示設(shè)備，諸如圖1中所示的HMD設(shè)備100的顯示器102?？蓪⒋祟愶@示設(shè)備與邏輯機(jī)802和/或存儲機(jī)804組合在共享封裝中，或者此類顯示設(shè)備可以是外圍顯示設(shè)備。

在包括輸入子系統(tǒng)808時(shí)，輸入子系統(tǒng)808可以包括諸如鍵盤、鼠標(biāo)、觸摸屏或游戲控制器之類的一個(gè)或多個(gè)用戶輸入設(shè)備或者與其對接。在一些實(shí)施例中，輸入子系統(tǒng)可以包括所選擇的自然用戶輸入(NUI)部件或與其對接。這種元件部分可以是集成的或外圍的，輸入動作的轉(zhuǎn)導(dǎo)和/或處理可以在板上或板外被處理。示例NUI部件可包括用于語言和/或語音識別的話筒；用于機(jī)器視覺和/或姿勢識別的紅外、色彩、立體顯示和/或深度相機(jī)；用于運(yùn)動檢測和/或意圖識別的頭部跟蹤器、眼睛跟蹤器、加速計(jì)和/或陀螺儀；以及用于評估腦部活動和/或身體運(yùn)動的電場感測部件；以上參考圖1的眼睛注視跟蹤系統(tǒng)108和頭部跟蹤系統(tǒng)110描述的傳感器中的任一者；和/或任何其他合適的傳感器。

當(dāng)包括通信子系統(tǒng)810時(shí)，通信子系統(tǒng)810可以被配置成將計(jì)算系統(tǒng)800與一個(gè)或多個(gè)其它計(jì)算設(shè)備可通信地耦合。通信子系統(tǒng)810可以包括與一個(gè)或多個(gè)不同通信協(xié)議兼容的有線和/或無線通信設(shè)備。作為非限制性示例，通信子系統(tǒng)可被配置成用于經(jīng)由無線電話網(wǎng)絡(luò)或者有線或無線局域網(wǎng)或廣域網(wǎng)來進(jìn)行通信。在一些實(shí)施例中，通信子系統(tǒng)可允許計(jì)算系統(tǒng)800經(jīng)由諸如因特網(wǎng)這樣的網(wǎng)絡(luò)將消息發(fā)送至其他設(shè)備以及/或者從其它設(shè)備接收消息。

將會理解，此處描述的配置和/或方法本質(zhì)是示例性的，這些具體實(shí)施例或示例不應(yīng)被視為限制性的，因?yàn)樵S多變體是可能的。此處描述的具體例程或方法可以表示任何數(shù)量的處理策略中的一個(gè)或多個(gè)。如此，所示和/或所述的各種動作可以以所示和/或所述順序、以其它順序、并行地執(zhí)行，或者被省略。同樣，上述過程的次序可以改變。

本公開的主題包括各種過程、系統(tǒng)和配置以及此處公開的其他特征、功能、動作和/或?qū)傩浴⒁约八鼈兊娜我缓腿康葍r(jià)物的所有新穎且非顯而易見的組合和子組合。