與計(jì)算設(shè)備的多距離、多模態(tài)自然用戶交互的制作方法
【技術(shù)領(lǐng)域】
[0001]實(shí)施例一般涉及與計(jì)算設(shè)備的基于用戶的交互。更具體地，實(shí)施例涉及與計(jì)算設(shè)備的多距離、多模態(tài)自然用戶交互(NUI)。
【背景技術(shù)】
[0002]眼動追蹤可以被用于增強(qiáng)與計(jì)算設(shè)備和顯示器的基于用戶的交互。然而，常規(guī)的眼動追蹤解決方案可能受限于相對短的交互距離(例如，追蹤傳感器/顯示器與主體之間的30cm到90cm距離)。而且，諸如眼皮和/或睫毛遮擋之類的生物學(xué)考慮可能指示:應(yīng)將追蹤傳感器定位為靠近主體正在與之交互的顯示器的底部。這樣的定位可能最終增加計(jì)算設(shè)備的總體成本。
【附圖說明】
[0003]通過閱讀以下說明書和隨附權(quán)利要求并且通過參考以下附圖，實(shí)施例的各種優(yōu)點(diǎn)將變得對本領(lǐng)域技術(shù)人員而言顯而易見，在附圖中:
圖1是根據(jù)實(shí)施例的多距離顯示器布置的示例的圖示；
圖2是根據(jù)實(shí)施例的用戶與多距離顯示器布置交互的示例的圖示；
圖3是根據(jù)實(shí)施例的促進(jìn)與多距離顯示器布置的基于用戶的交互的方法的示例的流程圖；
圖4是根據(jù)實(shí)施例的塢接站(docking stat1n)的示例的透視圖；
圖5是根據(jù)實(shí)施例的計(jì)算設(shè)備的示例的框圖；
圖6是根據(jù)實(shí)施例的處理器核的示例的框圖；以及圖7是根據(jù)實(shí)施例的系統(tǒng)的示例的框圖。
【具體實(shí)施方式】
[0004]現(xiàn)在轉(zhuǎn)向圖1和2，示出了多顯示器布置，其中用戶10與計(jì)算設(shè)備16(例如臺式計(jì)算機(jī)、筆記本計(jì)算機(jī)、智能平板、可轉(zhuǎn)換平板、移動因特網(wǎng)設(shè)備/MID、智能電話或任何其它移動設(shè)備)的短程顯示器14 (例如，觸摸屏/面板)以及長程顯示器12 (例如，物理監(jiān)視器、電視/TV、投影式顯示器)交互。因此，長程顯示器12可能被安裝在例如從用戶10跨房間的墻壁上(例如在用戶的物理到達(dá)范圍之外)，而短程顯示器14可以處于用戶10的到達(dá)范圍內(nèi)的桌子上或者由用戶10握持。在所圖示的示例中，傳感器18與短程顯示器14并置(例如耦合到短程顯示器14、安裝在短程顯示器14上、與短程顯示器14集成等)，其中傳感器18被配置成基于用戶10與多顯示器布置之間的交互來生成短程信號。在生成信號的傳感器18處于距用戶10的相對較近的接近區(qū)域內(nèi)的意義上，由傳感器18生成的信號可以被視為是“短程”的。
[0005]例如，用戶交互可以包括眼睛注視、手部姿勢、面部姿勢、頭部位置、語音命令等或者其任何組合。因此，傳感器18可以包括諸如相機(jī)(例如三維/3D、二維/2D)之類的光學(xué)傳感器、麥克風(fēng)、生物測量傳感器(例如心率、指紋)等或其任何組合。如將更加詳細(xì)地討論的，經(jīng)由傳感器18檢測的用戶交互可以用于控制長程顯示器12的顯示響應(yīng)以及短程顯示器14的顯示響應(yīng)。長程顯示器12的響應(yīng)可以是經(jīng)由例如計(jì)算設(shè)備16內(nèi)的內(nèi)部連接(例如對于投影式顯示器)、長程顯示器12與計(jì)算設(shè)備16之間的有線連接(例如通用串行總線/USB、高清多媒體接口 /HDMI)、長程顯示器12與計(jì)算設(shè)備16之間的無線連接(例如無線保真/W1-Fi)等等來控制的。
[0006]因此，如果傳感器18追蹤用戶眼睛的注視，則所圖示的方法可以使得用戶10能夠通過僅僅看向長程顯示器12、短程顯示器14中的任一個來在與短程顯示器14交互和與長程顯示器12交互之間切換。而且，用戶10可以使用基于注視的交互以及諸如手部姿勢、面部姿勢、頭部移動、語音命令等之類的其它交互來施行其它更復(fù)雜的操作，諸如拖放操作、高亮操作、點(diǎn)擊操作、打字操作等等。諸如手部姿勢、面部姿勢和頭部移動之類的交互可以是通過將對象識別過程應(yīng)用于從傳感器18獲取的短程信號來檢測的。類似地，諸如語音命令之類的交互可以是通過將話音識別過程應(yīng)用于從傳感器18獲取的短程信號來檢測的(例如，如果傳感器包括麥克風(fēng)的話)。
[0007]用戶10可以因此使用例如眼睛注視、手部/面部姿勢和話音命令來與長程顯示器12交互。此外，用戶10可以使用例如手部觸摸、鍵盤錄入、鼠標(biāo)移動/點(diǎn)擊、手部/面部姿勢和眼睛注視來與短程顯示器14交互。因此，所圖示的解決方案可以實(shí)現(xiàn)多顯示器、多模態(tài)環(huán)境中的更加自然的用戶交互。
[0008]在一個實(shí)施例中，所圖示的傳感器18被定位在短程顯示器14的頂部處。因此，傳感器18出于關(guān)于長程顯示器12的眼動追蹤目的可以是有效的而不擔(dān)心眼皮和/或睫毛遮擋。此外，傳感器18的所圖示的放置可以通過使得傳感器18能夠還用于除用戶交互檢測外的目的(例如標(biāo)準(zhǔn)相機(jī)操作等)來降低計(jì)算系統(tǒng)16的成本。簡言之，所圖示的方法可以消除對于單獨(dú)的相機(jī)和眼動追蹤硬件的需要，同時促進(jìn)自然用戶交互。
[0009]圖3示出促進(jìn)基于用戶的交互的方法20。方法20可以在計(jì)算設(shè)備中被實(shí)現(xiàn)為存儲在諸如例如可編程邏輯陣列(PLA)、現(xiàn)場可編程門陣列(FPGA)、復(fù)雜可編程邏輯器件(CPLD)之類的可配置邏輯中、使用諸如例如專用集成電路(ASIC)、互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)或晶體管-晶體管邏輯(TTL)技術(shù)或其任何組合之類的電路技術(shù)的固定功能性邏輯硬件中的諸如隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、可編程ROM (PR0M)、閃速存儲器等之類的機(jī)器或計(jì)算機(jī)可讀存儲介質(zhì)中的邏輯指令集和/或固件。例如，實(shí)施在方法20中所示的操作的計(jì)算機(jī)程序代碼可以以一種或多種編程語言的任何組合編寫，包括諸如C++等之類的面向?qū)ο蟮木幊陶Z言和諸如“C”編程語言或類似編程語言之類的常規(guī)過程編程語言。而且，方法20可以是使用任何前述電路技術(shù)實(shí)現(xiàn)的。
[0010]所圖示的處理塊22提供:可選地校準(zhǔn)與短程和/或長程顯示器的一個或多個用戶交互。如已經(jīng)指出的，用戶交互可能包括眼睛注視、手部姿勢、面部姿勢、頭部位置、語音命令等或其任何組合。此外，用戶交互可以指示:用戶正在從與短程顯示器交互切換到與長程顯示器交互(并且反之亦然)、拖放操作、高亮操作、點(diǎn)擊操作、打字操作等等。校準(zhǔn)過程可以因此涉及提示用戶進(jìn)行已知的用戶交互并且確定一個或多個參數(shù)以促進(jìn)那些用戶交互的后續(xù)識別。參數(shù)可以特定于與短程顯示器并置的傳感器。塊24可以從與短程顯示器并置的傳感器接收實(shí)時短程信號。短程信號可以是從例如鄰近于短程顯示器(例如在其頂部或底部處)定位的相機(jī)、鄰近于短程顯示器定位的麥克風(fēng)等等接收的。
[0011]所圖示的塊26使用短程信號來檢測用戶交互，其中塊28可以基于用戶交互來控制關(guān)于長程顯示器的顯示響應(yīng)。塊28可以因此涉及在短程顯示器與長程顯示器之間進(jìn)行切換、相對于長程顯示器的拖放操作、高亮操作、點(diǎn)擊操作、打字操作等等。方法20還可以提供:進(jìn)行關(guān)于短程顯示器的類似操作。
[0012]圖4示出可與本文所描述的多顯示器、多模態(tài)布置結(jié)合使用的塢接站30。所圖示的塢接站30具有深度(例如3D)相機(jī)32、眼動追蹤傳感器34、投影儀36和被配置成在對于用戶而言舒適的觀看角度處支撐計(jì)算設(shè)備40的顯示器42(例如短程顯示器)的機(jī)架38。投影儀36可以因此生成長程顯示以補(bǔ)充(例如在擴(kuò)展模式、復(fù)制模式等中)計(jì)算設(shè)備40的短程顯示器42，其中相機(jī)32和眼動追蹤傳感器34可以生成短程信號。如已經(jīng)指出的，短程信號可以被用于檢測用戶交互，用戶交互進(jìn)而可以被用于控制由投影儀36提供的長程顯示和/或計(jì)算設(shè)備40的短程顯示器42的顯示響應(yīng)。
[0013]如果計(jì)算設(shè)備40缺少眼動追蹤、深度成像和/或投影技術(shù)，則所圖示的配置可以特別有用。還可以使用其它站傳感器配置。例如，深度相機(jī)32和眼動追蹤傳感器34可以經(jīng)由相同的硬件而實(shí)現(xiàn)以降低成本。而且，諸如麥克風(fēng)、生物測量傳感器等之類的其它傳感器可以用于檢測用戶交互。
[0014]現(xiàn)在轉(zhuǎn)向圖5，示出了計(jì)算設(shè)備44 (44a-d)o所圖示的計(jì)算設(shè)備44包括從與短程顯示器并置的一個或多個傳感器接收短程信號的傳感器接口 44a和使用短程信號檢測用