自2014年7月起,世界上存在將近二十億臺智能電話。世界上還存在將近五億臺平板計算機。用戶越來越多地在其自己的移動設(shè)備上攜帶其自己的內(nèi)容或者通過其移動設(shè)備訪問其內(nèi)容。例如,智能電話用戶和平板用戶可以在其移動設(shè)備上存儲或訪問電影、書籍、視頻游戲和其它內(nèi)容。移動設(shè)備的用戶還越來越多地在其智能電話、平板、平板手機或其它移動設(shè)備上攜帶或訪問生產(chǎn)力應(yīng)用、演示應(yīng)用和其它應(yīng)用。用戶還越來越多地在其手持移動設(shè)備上執(zhí)行用于在較大的設(shè)備(例如,膝上型計算機、桌上型計算機)上執(zhí)行的任務(wù)。例如,用戶瀏覽互聯(lián)網(wǎng)、與社交媒體交互、以及在其手持移動設(shè)備上玩游戲。
考慮坐在其起居室中的夫妻,其中在墻壁上掛有其大屏幕電視??赡艿?,大屏幕電視是具有復(fù)雜輸入設(shè)備(例如,鍵盤、遙控、鼠標)的智能電視?,F(xiàn)在想象夫妻想要擁有共享瀏覽體驗以安排傍晚出去。常規(guī)地,兩個人可以在沙發(fā)上挪到一起并且兩人均試圖觀看手持移動設(shè)備上的小屏幕或者可以前后遞送設(shè)備。已經(jīng)做出一些常規(guī)嘗試以使用大屏幕電視作為用于較小的手持設(shè)備的顯示器。然而,這些常規(guī)嘗試已經(jīng)是麻煩的或者已經(jīng)提供“低頭”體驗,其中手持移動設(shè)備的用戶必須不斷地從大顯示器向小顯示器轉(zhuǎn)移其注意力。附加地,簡單鏡像可能沒有利用在電視或其它監(jiān)視器上可獲得的整個屏幕。
還考慮科學(xué)工作者前去參加會議??茖W(xué)工作者可以將她的幻燈片演示存儲在其智能電話上。盡管移動設(shè)備可能擅長在個人規(guī)模上存儲或訪問內(nèi)容和應(yīng)用,但是顯示屏幕典型地意圖用于單獨觀看。因而,已經(jīng)做出嘗試以促進在較大的顯示器上顯示從移動設(shè)備輸出的內(nèi)容或應(yīng)用。較大的顯示器可以例如由電視、智能電視、計算機、監(jiān)控器、投影儀或其它設(shè)備提供。在這些常規(guī)方案中,兩個應(yīng)用可能已經(jīng)通信以促進顯示內(nèi)容或應(yīng)用輸出并且促進提供用戶接口以用于控制內(nèi)容或應(yīng)用輸出的顯示。
常規(guī)地,可能已經(jīng)困難的是(如果甚至可能的話)提供用于協(xié)同操作的設(shè)備的無縫體驗。例如,在移動設(shè)備上運行的第一應(yīng)用可能已經(jīng)向在外部設(shè)備(例如,計算機、智能電視)上運行的第二應(yīng)用提供內(nèi)容并且第二應(yīng)用可能已經(jīng)顯示內(nèi)容。移動設(shè)備具有其用戶接口并且外部設(shè)備具有其用戶接口。附加地,移動設(shè)備具有其輸入范型(例如,觸摸屏)并且外部設(shè)備具有其輸入范型(例如,遙控、鍵盤、鼠標)。盡管外部設(shè)備可能已經(jīng)提供較大的屏幕以提供不同的觀看體驗,但是外部設(shè)備還提供用戶可能已經(jīng)必須遵照的附加用戶接口和不同輸入范型,其在用戶試圖調(diào)和來自多個機器的接口和輸入范型時,典型地使設(shè)備之間的交互麻煩并且復(fù)雜。盡管多個輸入設(shè)備以及輸入設(shè)備和系統(tǒng)之間的混合和匹配呈現(xiàn)一種類型的問題,但是當與一些設(shè)備交互時可能出現(xiàn)另一種類型的問題。例如,與投影儀交互的用戶可能不具有能夠與投影儀交互的任何輸入設(shè)備。
技術(shù)實現(xiàn)要素:
提供該發(fā)明內(nèi)容以便以簡化形式提供對以下在具體實施方式中進一步描述的概念的選擇。該發(fā)明內(nèi)容不意圖標識所要求保護的主題的關(guān)鍵特征或必要特征,也不意圖用于限制所要求保護的主題的范圍。
示例裝置和方法通過為與外部顯示器交互的移動設(shè)備的用戶提供更無縫的“抬頭”體驗而在常規(guī)方案之上進行改進。示例裝置和方法提供單個用戶接口和輸入范型,而不是試圖在兩個設(shè)備之間一起修補不便的合作,其常規(guī)地要求在兩個用戶接口和兩個輸入范型之間劃分注意力。例如,“鼠標墊”類體驗可以通過使用用戶的移動設(shè)備(例如,智能電話、平板、平板手機)的觸摸或懸停能力作為用于與第二設(shè)備相關(guān)聯(lián)的輔助顯示器的控制器來提供。與常規(guī)系統(tǒng)不同,用戶的移動設(shè)備控制在其顯示器和輔助顯示器二者上顯示什么。用戶在較大的輔助顯示器上顯示來自其移動設(shè)備的信息并且使用用戶在其移動設(shè)備上所熟悉的相同用戶接口和輸入范型來與輔助顯示器上的內(nèi)容進行交互。
考慮坐在沙發(fā)上的夫妻。他們可以計劃傍晚出去。一個人可以使用其平板計算機來針對附近的餐館而瀏覽互聯(lián)網(wǎng)。來自瀏覽會話的信息可以顯示在大屏幕電視上。該人可以使其平板處于其膝蓋上并且可以通過在平板上前后刷動其手指而在大屏幕電視上在周圍移動光標。附加地,該人可能能夠通過在平板上敲擊來“點擊”所顯示的瀏覽器上的用戶接口控件。夫妻可以挑選餐館,并且然后可以試圖得到從其公寓的步行指示。因而,該人可以打開地圖應(yīng)用。該人可以使用捏緊和展開手勢(觸摸或懸停)在其膝蓋上的平板上放大和縮小。一直以來,兩個人能夠?qū)⑵渥⒁饬Ρ3衷诖笃聊浑娨暽喜⑶也槐叵蛳氯タ雌桨濉K麄兊墓蚕頌g覽會話已經(jīng)變?yōu)樘ь^共享社交會話,其中其注意力可以是在瀏覽上并且在彼此上,而不是在用于進行瀏覽的設(shè)備上。使手持移動設(shè)備進入其中其控制在輔助設(shè)備上顯示什么而同時提供與輔助設(shè)備交互的能力的控制器模式促進了這種改進的體驗。
附圖說明
附圖圖示了本文描述的各種示例裝置、方法和其它實施例。將領(lǐng)會到,在圖中所圖示的元件邊界(例如,方框、方框群組或其它形狀)表示邊界的一個示例。在一些示例中,一個元件可以設(shè)計為多個元件或者多個元件可以設(shè)計為一個元件。在一些示例中,被示為另一個元件的內(nèi)部組件的元件可以實現(xiàn)為外部組件并且反之亦然。此外,元件可能沒有按照比例繪制。
圖1圖示了與輔助顯示器交互并且控制輔助顯示器的示例移動設(shè)備。
圖2圖示了與輔助顯示器交互并且控制輔助顯示器的示例移動設(shè)備。
圖3圖示了由提供單個顯示器的單個移動設(shè)備控制的輔助顯示器。
圖4圖示了由提供兩個顯示器的兩個移動設(shè)備控制的輔助顯示器。
圖5圖示了與充當用于輔助顯示器的輸入控制器的移動設(shè)備相關(guān)聯(lián)的示例方法。
圖6圖示了與充當用于輔助顯示器的輸入控制器的移動設(shè)備相關(guān)聯(lián)的示例方法。
圖7圖示了其中移動設(shè)備可以充當用于輔助顯示器的輸入控制器的示例云操作環(huán)境。
圖8是描繪了可以充當用于輔助顯示器的輸入控制器的示例性移動通信設(shè)備的系統(tǒng)圖。
圖9圖示了提供輔助顯示器的觸摸和懸停敏感控制的示例裝置。
具體實施方式
隨著像電話和平板這樣的設(shè)備變得甚至更加無處不在,用戶關(guān)于理應(yīng)由其“電話”執(zhí)行的功能的體驗已經(jīng)顯著地提升。然而,已經(jīng)被用作用于輔助顯示器的控制器的移動設(shè)備典型地已經(jīng)產(chǎn)生低頭體驗,其中已經(jīng)困難的是(如果甚至根本可能的話)以在輔助顯示器上顯示的事物無縫地工作。低頭體驗源自于必須向下去看電話或平板以確保用戶觸摸“正確”位置?!罢_”位置典型地已經(jīng)由提供輔助顯示器的輔助設(shè)備(例如,計算機、電視)限定或控制。示例裝置和方法檢測在用戶的移動設(shè)備(例如,電話、平板)上的i/o接口處執(zhí)行的動作(例如,觸摸動作、懸停動作)并且在“抬頭”體驗中控制與輔助顯示器的交互和顯示,其中第一設(shè)備控制在兩個設(shè)備上顯示什么。
示例裝置和方法可以在輔助顯示器上顯示用戶接口元件(例如,光標、對話框、滾動條、虛擬鍵盤)。和緊密地耦合用戶的移動設(shè)備上的用戶接口元件與輔助顯示器上的用戶接口元件的常規(guī)系統(tǒng)不同,示例裝置和方法可以解耦合或者至少較不緊密地耦合用戶接口元件以產(chǎn)生抬頭體驗??梢躁P(guān)于與用戶的觸摸或懸停敏感設(shè)備(例如,電話、平板)相關(guān)聯(lián)的觸摸或懸??臻g中的指頭(例如,拇指)而建立觸摸或懸停點(參考點)。參考點可以用于控制顯示在輔助顯示器上的光標的存在、位置、外觀或功能。例如,當用戶在觸摸或懸??臻g中在x、y或z方向上移動其拇指時,光標可以在輔助顯示器上在周圍移動。在一個實施例中,用戶的設(shè)備的表面可以映射到輔助顯示器的表面。但是在另一個實施例中,用戶的設(shè)備的表面可以不映射到輔助顯示器的表面,并且觸摸或懸停運動可以對光標進行定位而獨立于參考點在觸摸或懸停空間中位于哪里。觸摸或懸停運動可以引起與將由鼠標墊提供的那些類似的輸入。盡管使用術(shù)語“光標”來指呈現(xiàn)在輔助顯示器上的項目,但是更一般地,可以在輔助顯示器上呈現(xiàn)觸摸或懸停點或其它視覺指示以指示該點在輔助顯示器上由觸摸或懸停點控制。
用戶可能熟悉用于他們自己電視、其自己DVD(數(shù)字多用盤)、其自己游戲操控臺以及他們與其規(guī)律地交互的其它設(shè)備的遙控。這些遙控往往具有映射到預(yù)限定的控制動作的固定物理按鈕。例如,電視遙控上的開/關(guān)按鈕可能總是處于相同位置并且可能總是執(zhí)行相同功能。類似地,游戲控制器上的“左觸發(fā)”和“右觸發(fā)”按鈕可能總是處于相同位置并且可能總是映射到用于應(yīng)用(例如,游戲)的相同控制動作。常規(guī)設(shè)備控制器(例如,游戲控制器、鍵盤、游戲控件)已經(jīng)具有物理按鈕,其為用戶提供幫助用戶做出期望的輸入而不必向下去看其自己的控制器的物理觸摸點。使用這些常規(guī)控制器可能變?yōu)槠渌姓叩牡诙煨?,但是除其所有者之外,這些相同的控制器可能與任何人完全不合(alien)。許多人熟悉的是試圖查明如何在其他人的家里打開電視的困惑且受挫的體驗。
觸摸敏感設(shè)備(例如,智能電話、平板)的盛行向用戶已經(jīng)密集的日常生活已經(jīng)添加了又一個電子設(shè)備片段。已經(jīng)做出嘗試以利用觸摸敏感設(shè)備更換常規(guī)、專用、按鈕為中心的控制器。然而,智能電話、平板和其它觸摸或懸停敏感設(shè)備不具有熟悉位置處的熟悉按鈕并且因此尚未得出可接受的結(jié)果。使用具有其自己的顯示器的觸摸或懸停敏感設(shè)備的常規(guī)嘗試已經(jīng)遵循以下模型:其中用于輔助設(shè)備的控件顯示在觸摸或懸停敏感設(shè)備上。例如,對于DVD播放器控件,電話可以在電話上顯示DVD控件。這導(dǎo)致“低頭”操作,其中用戶的聚焦點被引導(dǎo)朝向手持觸摸或懸停敏感設(shè)備而不是輔助顯示器。甚至在對應(yīng)控件顯示于輔助顯示器和觸摸或懸停敏感設(shè)備二者上時,對應(yīng)控件往往在手持設(shè)備和輔助顯示器之間緊密耦合并且因而用戶往往將其聚焦點切換到手持設(shè)備以確保他們按壓期望按鈕。甚至在做出手持設(shè)備和外部顯示器之間的可用配對時,用戶可能仍舊必須導(dǎo)航外部設(shè)備本機的用戶接口。例如,不同智能TV可以具有不同輸入接口、設(shè)備或范型。這些用戶接口或設(shè)備可能對于用戶而言不熟悉,并且可能對于用戶以其移動設(shè)備所遇到的每一個外部設(shè)備而言不同。用戶仍舊必須了解本機控制器的接口,而不只是使用其自己的設(shè)備。
通過不直接地將用戶的設(shè)備上的位置映射到輔助顯示器,示例裝置和方法可以允許用戶的設(shè)備更像控制器而較不像輔助顯示器的小型版本那樣起作用。在一個實施例中,光標可以最初定位在輔助顯示器的中心,而不管在移動設(shè)備上哪里建立參考點。由于用戶知曉光標將出現(xiàn)在輔助顯示器的中間,而無論它們在其移動設(shè)備上哪里建立參考點,所以不存在鼓勵用戶去看其設(shè)備。在另一個實施例中,光標可以定位在輔助顯示器上的最有可能使用的控件之上,而不管在用戶設(shè)備上哪里建立參考點。再次,由于用戶知曉光標將出現(xiàn)于與在用戶設(shè)備上哪里建立參考點獨立的預(yù)限定的位置中,所以不存在鼓勵向下去看他們的設(shè)備,其推動了抬頭體驗。在一個實施例中,光標可以最初基于參考點的所映射的位置來放置。當用戶在與其移動設(shè)備相關(guān)聯(lián)的觸摸或懸??臻g中在周圍移動其拇指時,光標可以在輔助顯示器上移動。最終地,用戶可能決定通過在將光標定位于按鈕之上之后敲擊他們的設(shè)備來“按壓”輔助顯示器上的按鈕??赡懿]有關(guān)系的是用戶在他們的設(shè)備上敲擊哪里,可能僅有關(guān)系的是用戶敲擊設(shè)備而同時其向輔助顯示器提供光標和內(nèi)容。
考慮其中用戶具有電話的情景,該電話具有向輔助屏幕“屏播”屏幕的能力。例如,電話可能能夠向輔助屏幕進行多播(Miracast)。輔助屏幕可能已經(jīng)由其電話或者由另一個設(shè)備或過程所啟動。示例裝置和方法為電話提供使用由其電話提供的觸摸或懸停功能性在輔助屏幕上控制輸出(例如,內(nèi)容、光標)的能力。觸摸或懸停功能性可以允許用戶在他們的電話上運行游戲,在輔助顯示器上顯示游戲,并且使用電話作為用于游戲的控制器。由電話提供的控制可以允許游戲控件或系統(tǒng)級控件顯示在輔助顯示器上的游戲上。還可以顯示、控制其它應(yīng)用(例如,瀏覽器)以及與其交互。
示例裝置和方法通過使移動設(shè)備控制在其顯示器和外部設(shè)備的顯示器二者上示出什么來提供這種改進的無縫體驗。例如,當用戶的設(shè)備與由示例裝置和方法所支持的外部顯示器交互時,用戶的設(shè)備可以提供用于外部顯示器的用戶接口和內(nèi)容二者。用戶接口可以包括兩個控件(例如,按鈕、滾動條、菜單)和可移動光標以用于與控件或內(nèi)容交互。內(nèi)容可以例如為幻燈片、電影、照片、視頻游戲或者來自另一個應(yīng)用的輸出。與常規(guī)系統(tǒng)不同,移動設(shè)備控制在兩個設(shè)備上示出什么。
一旦在外部設(shè)備上顯示來自用戶設(shè)備的內(nèi)容,用戶就可能想要具有“抬頭”體驗,其中他們可以使其聚焦點保持在外部設(shè)備上的顯示器上。示例裝置和方法因此使用移動設(shè)備本機的用戶接口和輸入范型而促進使用移動設(shè)備作為用于外部顯示器的輸入設(shè)備。例如,在移動設(shè)備處做出的觸摸或手勢可以控制(例如,重新定位)外部設(shè)備上的光標。類似地,在移動設(shè)備處做出的觸摸或手勢(例如,滾動、點擊、放大、縮?。┛梢钥刂仆獠吭O(shè)備上的內(nèi)容的顯示。
再次考慮夫妻在他們的大屏幕智能電視前方在其沙發(fā)中具有共享瀏覽體驗。平板可以用于為夫妻提供鼠標墊類體驗。他們可能能夠重新定位光標、滾動通過圖像、拉下菜單以及做出選擇、錄入文本、或者通過平板執(zhí)行其它用戶輸入動作而同時維持其聚焦于大屏幕電視上。例如,當對他們選擇的餐館進行預(yù)約時,對話框可以出現(xiàn)在瀏覽器中。對話框可能尋找用于預(yù)約的姓名。在該示例中,夫妻的平板可以在輔助顯示器上顯示虛擬鍵盤以允許使用平板計算機鍵入姓名。虛擬鍵盤可以由平板提供和處置。在錄入姓名之后,預(yù)約可以要求錄入時間??梢猿尸F(xiàn)下拉列表輸入,其讓用戶轉(zhuǎn)動轉(zhuǎn)盤以得到預(yù)約時間的小時和分鐘。用戶可能能夠使用平板上的滾動或刷動手勢轉(zhuǎn)動轉(zhuǎn)盤,并且然后可以通過敲擊控制器而點擊提交按鈕。下拉列表可以由平板提供。夫妻可能甚至能夠在他們共享瀏覽體驗期間前后遞送平板。
再次考慮在會議中顯示她的幻燈片的科研工作者。她可以將其智能電話放置在她前方的平板上,并且使用它作為關(guān)于所顯示的幻燈片的鼠標墊類輸入設(shè)備??蒲泄ぷ髡呖梢允褂盟龑⒁灾悄茈娫捤褂玫南嗤|摸或手勢,來操控外部顯示器上的光標或內(nèi)容。通過使智能電話控制在兩個設(shè)備上顯示什么而實現(xiàn)抬頭體驗,甚至是在外部設(shè)備具有其自己的處理器、存儲器或其它資源時。當智能電話與外部顯示器交互時,智能電話可以決定不再在其自己的顯示器上顯示幻燈片。
一些實施例可以包括對于觸摸和懸停動作二者敏感的電容輸入/輸出(i/o)接口。電容i/o接口可以檢測觸摸屏幕的對象(例如,手指、拇指、觸筆)。電容i/o接口還可以檢測沒有觸摸屏幕但是位于與屏幕相關(guān)聯(lián)的三維體積(例如,懸停空間)中的對象9(例如,手指、拇指、觸筆)。電容i/o接口可能能夠同時檢測觸摸動作和懸停動作。電容i/o接口可能能夠檢測多個同時的觸摸動作和多個同時的懸停動作。第一設(shè)備(例如,電話)可以建立第一設(shè)備將以其與輔助設(shè)備(例如,電視、計算機監(jiān)控器、游戲監(jiān)控器)交互的上下文。第一設(shè)備可以進入控制器模式,其中第一設(shè)備變得負責在兩個設(shè)備上顯示什么。第一設(shè)備可以提供懸停接口,其促進在輔助設(shè)備上移動光標。第一設(shè)備可以控制在第一設(shè)備和第二設(shè)備二者上顯示什么。
盡管目前已經(jīng)描述了具有單個電話的單個用戶,但是示例裝置和方法可以針對共享單個輔助顯示器或甚至輔助顯示器上的多個呈現(xiàn)的多個用戶或多個電話而提供輔助顯示器上的懸?;蛴|摸點。例如,在玩足球游戲的兩個用戶可以各自提供有光標,其可以用于控制顯示在輔助顯示器上的玩家?;蛘?,在面向團隊的視頻游戲中合作的多個用戶可以各自具有顯示在公共輔助顯示器上的光標,以促進與虛擬控件并且與彼此的交互。返回到我們在沙發(fā)上的夫妻,兩個人可以具有其平板。一個平板可以變?yōu)椤爸饕笨刂破鞑⑶铱梢岳缭诖笃聊浑娨暽铣尸F(xiàn)瀏覽器。該平板的持有者可以呈現(xiàn)有瀏覽器上的第一光標。另一個平板可以變?yōu)椤拜o助”控制器并且可以為第二平板的持有者呈現(xiàn)瀏覽器上的第二光標。因而,兩個用戶可能能夠同時地在大屏幕電視上進行導(dǎo)航。
在一個實施例中,大屏幕電視上的不動(real estate)部分可以分配給第一用戶并且大屏幕電視上的不動不同部分可以分配給第二用戶。在該實施例中,第一用戶的平板可以控制在大屏幕的第一部分上顯示什么并且第二用戶的平板可以控制在大屏幕的第二部分上顯示什么。例如,第一用戶可以具有打開的瀏覽器會話,其中夫妻在定位餐館。第二用戶可以具有打開的社交媒體應(yīng)用,其中夫妻使用該應(yīng)用與朋友協(xié)調(diào)餐館就餐。第一用戶的移動設(shè)備可以提供用于瀏覽器的光標和其它用戶接口功能性,而第二用戶的移動設(shè)備可以提供用于社交媒體應(yīng)用的不同光標和其它用戶接口功能性。在該實施例中,夫妻享受在常規(guī)系統(tǒng)中不可獲得的雙抬頭共享瀏覽體驗。
圖1圖示了可以是觸摸敏感和懸停敏感二者的示例設(shè)備100。設(shè)備100包括輸入/輸出(i/o)接口110。I/O接口110可以為觸摸敏感和懸停敏感二者。示例設(shè)備100控制在示例設(shè)備100和輔助顯示器170二者上顯示什么。設(shè)備100可以包括檢測對象(例如,指頭、具有電容尖端的筆狀觸筆)何時觸摸i/o接口110的觸摸檢測器。觸摸檢測器可以就觸摸i/o接口110的對象的位置(x、y)、輔助顯示器170上的光標的位置、在輔助顯示器170上激活的用戶接口元件或者其它信息進行報告。觸摸檢測器還可以就對象在其中移動的方向,對象以其移動的速度,對象是否執(zhí)行敲擊、還是雙擊、三擊或其它敲擊動作,對象是否執(zhí)行可識別手勢、或者其它信息進行報告。
設(shè)備100還可以包括接近檢測器,其檢測對象(例如,指頭、筆、具有電容尖端的觸筆)何時接近但沒有觸摸i/o接口110。接近檢測器可以標識三維懸??臻g150中的對象160的位置(x、y、z),其中x和y彼此正交并且處于與接口110的表面平行的平面中并且z垂直于接口110的表面。接近檢測器還可以標識對象160的其它屬性,包括例如對象160以其在懸??臻g150中移動的速度、對象160關(guān)于懸??臻g150的取向(例如,傾斜、滾動、偏航)、對象160以其關(guān)于懸??臻g150或設(shè)備100移動的方向、由對象160做出的手勢、或者對象160的其它屬性。盡管圖示了單個對象160,但是接近檢測器可以檢測懸??臻g150中的多于一個對象。
在不同示例中,觸摸檢測器可以使用有源或無源系統(tǒng)。類似地,在不同示例中,接近檢測器可以使用有源或無源系統(tǒng)。在一個實施例中,單個裝置可以執(zhí)行觸摸檢測器和接近檢測器功能二者。組合式檢測器可以使用感測技術(shù),包括但不限于,電容、電場、電感、霍爾效應(yīng)、Reed效應(yīng)、渦流效應(yīng)、磁阻式、光學(xué)陰影、光學(xué)視覺光、光學(xué)紅外(IR)、光學(xué)顏色識別、超聲、聲波發(fā)射、雷達、熱量、聲吶、傳導(dǎo)和電阻技術(shù)。除其它系統(tǒng)之外,有源系統(tǒng)可以包括紅外或超聲系統(tǒng)。除其它系統(tǒng)之外,無源系統(tǒng)可以包括電容或光學(xué)陰影系統(tǒng)。在一個實施例中,當組合式檢測器使用電容技術(shù)時,檢測器可以包括電容感測節(jié)點的集合以檢測懸停空間150中或者i/o接口110上的電容改變。電容改變可以例如由觸摸電容感測節(jié)點或者進入電容感測節(jié)點的檢測范圍內(nèi)的(多個)指頭(例如,手指、拇指)或(多個)其它對象(例如,筆、電容觸筆)而引起。
圖2圖示了與輔助顯示器210(例如,電視)交互的觸摸或懸停敏感設(shè)備200(例如,電話、平板)。設(shè)備200可以建立與輔助顯示器210的通信鏈接。一旦已經(jīng)建立通信并且設(shè)備200進入控制器模式,則設(shè)備200控制在設(shè)備200和輔助顯示器210二者上顯示什么。例如,控件220的集合可以顯示在輔助顯示器210上并且虛線圓212可以顯示在輔助顯示器210上作為光標或者作為用戶指頭的位置的表示。在一個實施例中,控件220的集合還可以顯示在設(shè)備200上。顯示哪些控件220可以取決于在向顯示器210提供內(nèi)容230(例如,電影、文檔、游戲)的設(shè)備200上運行的應(yīng)用。光標212的大小、形狀、外觀或其它屬性也可以取決于該應(yīng)用。用戶然后可以移動觸摸或懸停點202以重新定位光標212。如果用戶將光標212定位在控件220的成員并且然后與設(shè)備200交互,則可能看起來的是,控件220的成員被按壓并且與控件220的成員相關(guān)聯(lián)的對應(yīng)動作可以生成。例如,按壓暫停按鈕可以暫停內(nèi)容230的呈現(xiàn)。動作可以控制向顯示器210提供內(nèi)容的應(yīng)用。在常規(guī)系統(tǒng)中,顯示在輔助顯示器210上的控件由輔助設(shè)備提供并且因而用戶可能需要使其動作遵照輔助設(shè)備。示例裝置可以使顯示在輔助顯示器210上的控件由裝置200提供,并且因而用戶可以使用他們熟悉的動作與裝置200和輔助顯示器210交互。
圖3圖示了通過在輔助顯示器300上提供單個顯示器320的單個移動設(shè)備310控制的輔助顯示器300。單個顯示器320可以例如為在移動設(shè)備310上運行的瀏覽器。移動設(shè)備310可以提供顯示器320和光標322二者。光標322可以通過在移動設(shè)備310上執(zhí)行的用戶動作(例如,敲擊、滾動、手勢)來控制。
圖4圖示了通過提供兩個顯示器的兩個移動設(shè)備控制的輔助顯示器400。在一個實施例中,兩個移動設(shè)備可以共享相同大顯示器。第一移動設(shè)備410可以提供第一顯示器420和第一光標422。第一光標422可以通過在移動設(shè)備410上執(zhí)行的動作(例如,觸摸、懸停手勢)控制。第二移動設(shè)備415可以提供第二顯示器430和第二光標432。第二光標432可以通過在移動設(shè)備415上執(zhí)行的動作(例如,觸摸、懸停手勢)控制。返回到以上描述的夫妻,第一個人可以持有設(shè)備410(例如,智能電話)并且瀏覽互聯(lián)網(wǎng),并且第二個人可以持有設(shè)備415(例如,平板)并且可以與社交媒體應(yīng)用交互。
盡管將兩個移動設(shè)備圖示為提供兩個顯示器和兩個光標,但是不同數(shù)目和組合的移動設(shè)備可以提供不同數(shù)目和組合的顯示器和光標。
結(jié)合圖3和4描述的功能性可以由系統(tǒng)提供。在一個實施例中,系統(tǒng)可以包括運行第一應(yīng)用的第一移動設(shè)備、第二移動設(shè)備、以及具有在第一移動設(shè)備和第二移動設(shè)備外部并且從其分離的顯示器的裝置。在該實施例中,第一移動設(shè)備控制顯示在第一移動設(shè)備和顯示器上的圖像。圖像與第一應(yīng)用相關(guān)聯(lián)。例如,應(yīng)用可以是瀏覽器并且圖像可以是由瀏覽器產(chǎn)生的屏幕。
在該實施例中,第一移動設(shè)備還提供光標。例如,第一移動設(shè)備可以提供用于第一移動設(shè)備的第一可移動光標以及用于第二移動設(shè)備的第二可移動光標。第一可移動光標響應(yīng)于在第一可移動設(shè)備處執(zhí)行的動作而在顯示器上可移動。例如,當用戶在第一設(shè)備上周圍移動其手指時第一光標也可以周圍移動。類似地,第二可移動光標響應(yīng)于在第二可移動設(shè)備處執(zhí)行的動作而在顯示器上可移動。在該實施例中,第一移動設(shè)備可以執(zhí)行所有控制。因而,第一移動設(shè)備可以處置涉及第一光標的第一移動設(shè)備處的用戶輸入,并且第一應(yīng)用也可以處置涉及第二光標和第一應(yīng)用的第二移動設(shè)備處的用戶輸入。
在另一個實施例中,第二設(shè)備還可以運行應(yīng)用。在該實施例中,第一移動設(shè)備可以仍舊行使系統(tǒng)中的幾乎所有控制。例如,第一移動設(shè)備可以控制顯示在顯示器上的圖像,其中圖像與第一應(yīng)用或第二應(yīng)用相關(guān)聯(lián)。附加地,第一移動設(shè)備可以處置涉及第一光標、第一應(yīng)用的第一移動設(shè)備處的用戶輸入,并且第一應(yīng)用還可以處置涉及第二光標的第二應(yīng)用的第二移動設(shè)備處的用戶輸入。
在另一個實施例中,控制可以更為分布。例如,第二移動設(shè)備可以運行第二應(yīng)用。在該實施例中,第一移動設(shè)備可以控制呈現(xiàn)在顯示器上、與第一應(yīng)用相關(guān)聯(lián)的圖像,但是第二移動設(shè)備可以控制呈現(xiàn)在顯示器上、與第二應(yīng)用相關(guān)聯(lián)的圖像。繼續(xù)分布式控制的方案,第一移動設(shè)備可以處置涉及第一光標的第一應(yīng)用的第一移動設(shè)備處的用戶輸入,并且第二移動設(shè)備可以處置涉及第二光標和第二應(yīng)用的第二移動設(shè)備處的用戶輸入。
在存儲器內(nèi)的數(shù)據(jù)位上的操作的算法和符號表示方面,呈現(xiàn)接下來的詳細描述的一些部分。這些算法描述和表示由本領(lǐng)域技術(shù)人員使用,以向其他人傳達其工作的實質(zhì)。算法被視為產(chǎn)生結(jié)果的操作的序列。操作可以包括創(chuàng)建和操控物理量,其采取電子值的形式。創(chuàng)建或操控以電子值的形式的物理量產(chǎn)生具體、有形、有用、真實世界的結(jié)果。
已經(jīng)證實方便的是,有時候,原則上出于共同使用的原因,將這些信號稱為位、值、元件、符號、字符、項、編號和其它術(shù)語。然而,應(yīng)當謹記的是,這些和類似術(shù)語將與適當?shù)奈锢砹肯嚓P(guān)聯(lián)并且僅僅是應(yīng)用于這些量的方便標記。除非特別地以其它方式陳述,否則要領(lǐng)會到,在整個描述中,包括處理、計算和確定的術(shù)語是指計算機系統(tǒng)、邏輯、處理器、或者操控和變換表示為物理量(例如,電子值)的數(shù)據(jù)的類似電子設(shè)備的動作和過程。
示例方法可以參照流程圖更好地領(lǐng)會。為了簡單起見,所圖示的方法被示出和描述為一系列框。然而,方法可以不受框的次序所限制,因為在一些實施例中,框可以以與所示出和描述的不同次序而發(fā)生。然而,可能要求比所圖示的所有框更少的框以實現(xiàn)示例方法。各框可以組合或分離成多個組件。此外,附加或可替換方法可以采用附加的、沒有圖示的框。
圖5圖示了與充當用于輔助顯示器的控制器的移動設(shè)備相關(guān)聯(lián)的示例方法500。方法500可以運行在具有懸停敏感或觸摸敏感接口和顯示器的第一設(shè)備(例如,電話、平板、計算機)上。方法500可以控制第一設(shè)備以向第二設(shè)備上的顯示器提供內(nèi)容、光標、控件或其它信息。因而,方法500包括在510處檢測具有第二顯示器的第二設(shè)備。第二設(shè)備可以例如是電視、監(jiān)控器、計算機、投影儀、可以插入輸出設(shè)備中的電子狗或其它設(shè)備。
方法500包括在520處建立第一設(shè)備與第二設(shè)備之間的通信鏈接。建立通信鏈接可以包括例如建立有線鏈接或無線鏈接。有線鏈接可以使用例如HDMI(高清晰度多媒體接口)接口、USB(通用串行總線)接口或其它接口來建立。無線鏈接可以使用例如Miracast接口、藍牙接口、NFC(近場通信)接口或其它接口來建立。Miracast接口促進了使用WiFi直接連接建立點對點無線屏播連接。藍牙接口促進了使用ISM(產(chǎn)業(yè)、科研、醫(yī)用)頻帶中的短波微波傳送在短距離上交換數(shù)據(jù)。
方法500還包括在530處進入控制器模式。進入控制器模式可以是針對第一設(shè)備和第二設(shè)備之間的交互建立上下文的部分。在“控制器”模式中,第一設(shè)備將控制在第一設(shè)備和第二顯示器二者上顯示什么。在一個實施例中,建立上下文包括標識將產(chǎn)生要在第二顯示器上顯示的內(nèi)容的應(yīng)用。應(yīng)用可以例如是瀏覽器、社交媒體應(yīng)用、電影呈現(xiàn)應(yīng)用、電視呈現(xiàn)應(yīng)用、視頻游戲、生產(chǎn)力應(yīng)用、幻燈片應(yīng)用、或者產(chǎn)生可以觀看的內(nèi)容的其它應(yīng)用。應(yīng)用將在第一設(shè)備上運行或者將由第一設(shè)備促進。
建立上下文還可以包括標識可以由第一設(shè)備顯示在第二顯示器上的用戶接口元件。某些用戶接口元件對于某些應(yīng)用有意義。例如,DVD類控件對于電視或電影呈現(xiàn)應(yīng)用有意義,但是對于視頻游戲可能沒有意義。促進在虛擬世界周圍移動角色的用戶接口元件可能更適合用于視頻游戲。當針對共享瀏覽體驗而呈現(xiàn)瀏覽器時,可能需要最初顯示的僅有用戶接口元件是光標。在一個實施例中,所呈現(xiàn)的用戶接口元件可以包括“瀏覽器chrome”,包括例如地址欄、返回按鈕、前進按鈕、刷新按鈕或其它元件。在一個實施例中,當在使用多個第一設(shè)備時,可以針對一個移動手持設(shè)備(例如,用戶的智能電話)提供一個光標,并且可以針對另一個移動手持設(shè)備(例如,用戶的平板)提供另一個光標。
建立上下文還可以包括標識可以由第一設(shè)備顯示在第二顯示器上的光標。不同光標對于不同應(yīng)用可能是適當?shù)?。例如,十字準線對于其中牽涉到瞄準的應(yīng)用可能是適當?shù)模且粚舻痘蚱崴τ谒囆g(shù)和手藝應(yīng)用可能是適當?shù)?。當在使用多個第一設(shè)備時,用戶的縮寫或化身可以被用作光標。
在一個實施例中,建立上下文還可以包括標識光標位置或移動是否將獨立于觸摸或懸停點的位置。與將觸摸敏感設(shè)備上的位置直接映射到輔助顯示器上的位置并且將顯示在第一設(shè)備上的控件映射到顯示在輔助顯示器上的控件的常規(guī)應(yīng)用不同,方法500可以解耦合一對一對應(yīng)關(guān)系以允許觸摸或懸停敏感設(shè)備產(chǎn)生運動,該運動不依賴于用戶的移動設(shè)備之上的位置而是依賴于移動設(shè)備之上的運動。用戶熟悉鼠標墊類運動或者追蹤球類運動,以及其中例如鼠標從左向右移動、抬起和從后向左移動、放下和再次從左向右移動等等的運動。這些類型的運動已經(jīng)典型地為困難的,如果甚至根本不可能的話,以利用在常規(guī)低頭方案中使用的移動設(shè)備進行捕獲或建模,其中移動設(shè)備屏幕位置直接映射到對應(yīng)于由輔助顯示器提供的控件的輔助顯示器位置。
方法500還包括在540處在第一顯示器上選擇性顯示與運行在第一設(shè)備上的應(yīng)用相關(guān)聯(lián)的第一輸出。應(yīng)用可以例如是web瀏覽器。輸出可以例如是web瀏覽器。在一個實施例中,為了提升抬頭體驗,一旦第一設(shè)備進入控制器模式,方法500就可以使第一顯示器變暗,或者僅顯示對于移動光標有用的信息。
方法500還包括在550處提供要在第二顯示器上顯示的第二輸出。第二輸出可以與應(yīng)用(例如,瀏覽器)或者來自與第一設(shè)備相關(guān)聯(lián)的應(yīng)用的內(nèi)容(例如,電影)相關(guān)聯(lián)。例如,對于電影應(yīng)用,第二輸出是電影(例如,場景流),而對于視頻游戲,第二輸出是游戲屏幕,并且對于文字處理應(yīng)用,第二輸出是進行文字處理的文檔。對于瀏覽器,第二輸出可以是瀏覽器。在一個實施例中,應(yīng)用可以在第一設(shè)備上運行。在另一個實施例中,應(yīng)用可以在第三設(shè)備上或者在云中運行,并且內(nèi)容可以通過第一設(shè)備流傳送。第二輸出可以與第一輸出相同。
方法500還包括在560處使用觸摸或懸停接口與第二輸出交互。在一個實施例中,使用觸摸或懸停接口與第二輸出交互包括選擇性控制應(yīng)用、第一輸出或第二輸出??刂瓶梢灾辽俨糠值鼗谝杂|摸或懸停接口執(zhí)行的觸摸或懸停動作。例如,如果觸摸動作是顯示在瀏覽器中的鏈接上的敲擊,則可以跟隨的是鏈接。由于第一設(shè)備在第二設(shè)備上顯示內(nèi)容,所以觸摸或懸停動作可以涉及顯示在第二顯示器上的第二輸出。例如,如果觸摸動作是展開手勢,則第二輸出可以是縮小。觸摸或懸停動作可以例如是敲擊或雙擊。觸摸或懸停動作還可以例如是手勢(例如,捏緊、展開、遲疑、拋擲)。
圖6圖示了方法500的另一個實施例。該實施例還包括附加動作。例如,該實施例包括在570處提供要顯示在第二顯示器上的第三輸出。第三輸出可以包括配置為促進與第二輸出進行交互的用戶接口元件。第三輸出可以例如為光標。第三輸出可以與對應(yīng)用的控制相關(guān)聯(lián)。第三輸出可以響應(yīng)于以觸摸或懸停接口執(zhí)行的觸摸或懸停動作而在第二顯示器上可移動。例如,當用戶在其智能電話上從左向右滾動其手指時,顯示在大屏幕電視上的光標也可以從左向右移動。
方法500的該實施例還包括在580處至少部分地基于以觸摸或懸停接口執(zhí)行的觸摸或懸停動作而選擇性控制應(yīng)用、第一輸出、第二輸出或第三輸出,其中觸摸或懸停動作涉及第二輸出。觸摸或懸停動作可以通過光標的位置而涉及第二輸出。對應(yīng)用的控制可以包括向應(yīng)用提供控制事件。例如,當光標定位在按鈕上時在第一設(shè)備上的敲擊可以使得按鈕點擊事件提供給應(yīng)用。對第二輸出的控制可以例如包括響應(yīng)于例如捏緊或展開手勢而放大或縮小。對第三輸出的控制可以包括例如將光標從與非活躍光標相關(guān)聯(lián)的圖標改變成與活躍光標相關(guān)聯(lián)的圖標。
在一個實施例中,第三輸出可以是上下文敏感的。例如,第三輸出可以包括DVD類控件和光標,其可以定位在DVD類控件中的一個之上或附近。第三輸出的特性可以至少部分地基于上下文以及與懸停點相關(guān)聯(lián)的懸停動作。例如,第二輸出的大小、形狀、顏色或其它外觀可以基于什么應(yīng)用在運行以及發(fā)生什么類型的懸停動作。在其中首先建立懸停點的懸停進入事件中,可以在輔助顯示器上建立大的黯淡光標。在將懸停點帶得更接近懸停敏感設(shè)備的懸停移動事件中,較小、更明亮的光標可以呈現(xiàn)在輔助顯示器上。因而,方法500可以包括基于懸停點的z距離(例如,生成懸停事件的對象距懸停敏感接口的距離)來控制光標的外觀(例如,大小、形狀、顏色)?;貞浧鸬诙敵隹梢允莵碜詰?yīng)用的內(nèi)容(例如,電影、游戲屏幕、正編輯的文檔)或者可以是應(yīng)用(例如,瀏覽器)的表示并且第三輸出不是來自應(yīng)用的內(nèi)容。第三輸出可以促進與應(yīng)用或者第二輸出進行工作或者對其進行操控。
方法500的該實施例還可以包括在552處確定光標的屬性是否將獨立于與觸摸或懸停接口相關(guān)聯(lián)的觸摸或懸停點的位置。屬性可以例如是光標的位置、光標的外觀、光標將如何移動或者其它屬性。如果552處的確定為是,則方法500繼續(xù)在556處確定獨立于觸摸或懸停點位置的屬性。例如,初始位置可以處于輔助顯示器的中心、最有可能使用的控件上或附近、兩個控件之間等距、定心在控件的群組中、或者不依賴于懸停點的位置的另一個位置中。當光標的位置不依賴于觸摸或懸停點的位置時,不存在向下去看觸摸或懸停敏感設(shè)備的理由,其促進了抬頭操作。如果552處的確定為否,則方法500繼續(xù)在554處基于觸摸或懸停點來確定光標的屬性。
盡管圖5和6圖示了串行發(fā)生的各種動作,但是要領(lǐng)會到,在圖5和6中圖示的各種動作可以基本上并行地發(fā)生。作為圖示,第一過程可以控制要顯示的內(nèi)容,第二過程可以控制要顯示的光標和控件,并且第三過程可以生成或處置控制事件。盡管描述了三個過程,但是要領(lǐng)會到,可以采用更大或更小數(shù)目的過程并且可以采用輕量過程、規(guī)律過程、線程和其它方案。
在一個示例中,方法可以實現(xiàn)為計算機可執(zhí)行指令。因而,在一個示例中,計算機可讀存儲介質(zhì)可以存儲計算機可執(zhí)行指令,其如果由機器(例如,計算機、電話、平板)執(zhí)行則使機器實施本文描述或要求保護的方法,包括方法500或600。盡管與所列出的方法相關(guān)聯(lián)的可執(zhí)行指令被描述為存儲在計算機可讀存儲介質(zhì)上,但是要領(lǐng)會到,與本文描述或要求保護的其它示例方法相關(guān)聯(lián)的可執(zhí)行指令也可以存儲在計算機可讀存儲介質(zhì)上。在不同實施例中,本文描述的示例方法可以以不同方式觸發(fā)。在一個實施例中,方法可以由用戶手動觸發(fā)。在另一個示例中,方法可以自動觸發(fā)。
圖7圖示了示例云操作環(huán)境700。云操作環(huán)境700支持遞送計算、處理、存儲、數(shù)據(jù)管理、應(yīng)用以及作為抽象服務(wù)而不是獨立式產(chǎn)品的其它功能性。服務(wù)可以通過可以實現(xiàn)為一個或多個計算設(shè)備上的一個或多個過程的虛擬服務(wù)器來提供。在一些實施例中,過程可以在服務(wù)器之間遷移而不打斷云服務(wù)。在云中,共享資源(例如,計算、存儲)可以在網(wǎng)絡(luò)之上提供給計算機,包括服務(wù)器、客戶端和移動設(shè)備。不同網(wǎng)絡(luò)(例如,以太網(wǎng)、Wi-Fi、802.x、蜂窩)可以用于訪問云服務(wù)。與云交互的用戶可以不需要知曉實際提供服務(wù)(例如,計算、存儲)的設(shè)備的細節(jié)(例如,位置、名稱、服務(wù)器、數(shù)據(jù)庫)。用戶可以經(jīng)由例如web瀏覽器、簡約客戶端、移動應(yīng)用或者以其它方式來訪問云服務(wù)。
圖7圖示了駐留在云700中的示例控制器服務(wù)760??刂破鞣?wù)760可以依賴于服務(wù)器702或服務(wù)704來執(zhí)行處理,并且可以依賴于數(shù)據(jù)倉庫706或數(shù)據(jù)庫708來存儲數(shù)據(jù)。盡管圖示了單個服務(wù)器702、單個服務(wù)704、單個數(shù)據(jù)倉庫706和單個數(shù)據(jù)庫708,但是服務(wù)器、服務(wù)、數(shù)據(jù)倉庫和數(shù)據(jù)庫的多個實例可以駐留在云700中并且因此可以由控制器服務(wù)760使用。
圖7圖示了訪問云700中的控制器服務(wù)760的各種設(shè)備。設(shè)備包括計算機710、平板720、膝上型計算機730、桌上型監(jiān)控器770、電視760、個人數(shù)字助手740和移動設(shè)備(例如,蜂窩電話、衛(wèi)星電話)750??赡艿氖?,使用不同設(shè)備的不同位置處的不同用戶可以通過不同網(wǎng)絡(luò)或接口訪問控制器服務(wù)760。在一個示例中,控制器服務(wù)760可以由移動設(shè)備750訪問。在另一個示例中,控制器服務(wù)760的部分可以駐留在移動設(shè)備750上??刂破鞣?wù)760可以執(zhí)行動作,包括例如在輔助顯示器上呈現(xiàn)內(nèi)容、在輔助顯示器上呈現(xiàn)應(yīng)用(例如,瀏覽器)、在輔助顯示器上呈現(xiàn)光標、在輔助顯示器上呈現(xiàn)控件、響應(yīng)于移動設(shè)備750上的交互而生成控制事件或者其它服務(wù)。在一個實施例中,控制器服務(wù)760可以執(zhí)行本文描述的方法(例如,方法500、方法600)的部分。
圖8是描繪了示例性移動設(shè)備800的系統(tǒng)圖,其包括一般地在802處示出的各種可選的硬件和軟件組件。移動設(shè)備800中的組件802可以與其它組件通信,盡管為了圖示方便而沒有示出所有連接。移動設(shè)備800可以是各種計算設(shè)備(例如,手機、智能電話、平板、平板手機、手持計算機、個人數(shù)字助手(PDA)等)并且可以允許與一個或多個移動通信網(wǎng)絡(luò)804(諸如蜂窩或衛(wèi)星網(wǎng)絡(luò))的無線雙向通信。
移動設(shè)備800可以包括控制器或處理器810(例如,信號處理器、微處理器、專用集成電路(ASIC)或其它控制和處理邏輯電路)以用于執(zhí)行任務(wù),包括觸摸檢測、懸停檢測、輔助顯示器上的懸停點控制、輔助顯示器上的觸摸點控制、輔助顯示器上的用戶接口顯示控制、信號編碼、數(shù)據(jù)處理、輸入/輸出處理、功率控制或者其它功能。操作系統(tǒng)812可以控制組件802的分配和使用并且支持應(yīng)用程序814。應(yīng)用程序814可以包括移動計算應(yīng)用(例如,電子郵件應(yīng)用、日程表、聯(lián)系人管理器、web瀏覽器、消息應(yīng)用)、視頻游戲、電影播放器、電視播放器、生產(chǎn)力應(yīng)用或者其它應(yīng)用。
移動設(shè)備800可以包括存儲器820。存儲器820可以包括不可移除存儲器822或可移除存儲器824。不可移除存儲器822可以包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、閃速存儲器、硬盤或者其它存儲器存儲技術(shù)。可移除存儲器824可以包括閃速存儲器或訂戶身份模塊(SIM)卡,其在GSM通信系統(tǒng)中已知,或者其它存儲器存儲技術(shù),諸如“智能卡”。存儲器820可以用于存儲數(shù)據(jù)或代碼以用于運行操作系統(tǒng)812和應(yīng)用814。示例數(shù)據(jù)可以包括觸摸動作數(shù)據(jù)、懸停動作數(shù)據(jù)、組合觸摸和懸停動作數(shù)據(jù)、用戶接口元件狀態(tài)、光標數(shù)據(jù)、懸??刂茢?shù)據(jù)、懸停動作數(shù)據(jù)、控制事件數(shù)據(jù)、網(wǎng)頁、文本、圖像、聲音文件、視頻數(shù)據(jù)、或者要經(jīng)由一個或多個有線或無線網(wǎng)絡(luò)發(fā)送給一個或多個網(wǎng)絡(luò)服務(wù)器或其它設(shè)備或者從其接收的其它數(shù)據(jù)集。存儲器820可以存儲訂戶標識符,諸如國際移動訂戶身份(IMSI),以及設(shè)備標識符,諸如國際移動設(shè)備標識符(IMEI)。標識符可以傳送給網(wǎng)絡(luò)服務(wù)器以標識用戶或設(shè)備。
移動設(shè)備800可以支持一個或多個輸入設(shè)備830,包括但不限于,觸摸敏感并且懸停敏感的屏幕832、麥克風(fēng)834、相機836、物理鍵盤838或追蹤球840。移動設(shè)備800還可以支持輸出設(shè)備850,包括但不限于,揚聲器852和顯示器854。顯示器854可以并入觸摸敏感且懸停敏感的i/o接口中。其它可能的輸入設(shè)備(未示出)包括加速度計(例如,一維、二維、三維)。其它可能的輸出設(shè)備(未示出)可以包括壓電或其它觸覺輸出設(shè)備。一些設(shè)備可以服務(wù)多于一個輸入/輸出功能。輸入設(shè)備830可以包括自然用戶界面(NUI)。NUI是使得用戶能夠以“自然”方式在免受由諸如鼠標、鍵盤、遙控等等輸入設(shè)備強加的人為約束的情況下與設(shè)備交互的接口技術(shù)。NUI方法的示例包括依賴于語音識別、觸摸和觸筆識別、手勢識別(在屏幕上和屏幕附近二者)、空中手勢、頭部和眼睛追蹤、話語和語音、視力、觸摸、手勢和機器智能的那些。NUI的其它示例包括使用加速度計/陀螺儀的運動手勢檢測、面部識別、三維(3D)顯示器、頭部、眼睛和凝視追蹤、沉浸式增強現(xiàn)實和虛擬現(xiàn)實系統(tǒng),其全部提供更為自然的接口,以及用于使用電場感測電極感測腦部活動的技術(shù)(腦電波(EEG)和相關(guān)方法)。因而,在一個具體示例中,操作系統(tǒng)812或應(yīng)用814可以作為話語用戶接口的部分而包括語音識別軟件,其允許用戶經(jīng)由話語命令來操作設(shè)備800。另外,設(shè)備800可以包括允許經(jīng)由用戶的空間手勢的用戶交互的輸入設(shè)備和軟件,諸如對與控制輔助顯示器上的輸出動作相關(guān)聯(lián)的觸摸和懸停手勢進行檢測和解譯。
無線調(diào)制解調(diào)器860可以耦合到天線891。在一些示例中,使用射頻(RF)濾波器并且處理器810不需要選擇用于所選頻帶的天線配置。無線調(diào)制解調(diào)器860可以支持處理器810和外部設(shè)備之間的雙向通信,該外部設(shè)備具有其內(nèi)容或控制元件可以至少部分地由控制器邏輯899控制的輔助顯示器。調(diào)制解調(diào)器860一般地示出并且可以包括用于與移動通信網(wǎng)絡(luò)804通信的蜂窩調(diào)制解調(diào)器和/或其它基于無線電的調(diào)制解調(diào)器(例如,藍牙864或Wi-Fi 862)。無線調(diào)制解調(diào)器860可以配置用于與一個或多個蜂窩網(wǎng)絡(luò)的通信,諸如用于單個蜂窩網(wǎng)絡(luò)內(nèi)、蜂窩網(wǎng)絡(luò)之間或者移動設(shè)備和公共切換電話網(wǎng)絡(luò)(PSTN)之間的數(shù)據(jù)和語音通信的全球移動通信(GSM)網(wǎng)絡(luò)。移動設(shè)備800還可以使用例如近場通信(NFC)元件892本地通信。
移動設(shè)備800可以包括至少一個輸入/輸出端口880、電源882、諸如全球定位系統(tǒng)(GPS)接收器之類的衛(wèi)星導(dǎo)航系統(tǒng)接收器884、加速度計886或者物理連接器890,其可以是通用串行總線(USB)端口、IEEE 1394(火線)端口、RS-232端口或其它端口。所圖示的組件802不是所要求或窮舉式的,因為可以刪除或添加其它組件。
移動設(shè)備800可以包括控制器邏輯899,其提供用于移動設(shè)備800以及用于控制移動設(shè)備800與其交互的輔助顯示器上所顯示的內(nèi)容或控件的功能性。例如,控制器邏輯899可以提供用于與服務(wù)(例如,服務(wù)760,圖7)交互的客戶端。本文描述的示例方法的部分可以由控制器邏輯899執(zhí)行。類似地,控制器邏輯899可以實現(xiàn)本文描述的裝置的部分。
圖9圖示了控制自己和輔助顯示器二者的裝置900。在一個示例中,裝置900包括物理接口940,其連接處理器910、存儲器920、邏輯集930、接近檢測器960、觸摸檢測器965以及觸摸敏感或懸停敏感的i/o接口950。邏輯集930可以控制在裝置900上顯示什么并且可以控制在與另一個裝置相關(guān)聯(lián)的輔助顯示器上顯示什么。在一個實施例中,接近檢測器960和觸摸檢測器965可以共享電容感測節(jié)點的集合,其提供用于輸入/輸出接口的觸摸敏感性和懸停敏感性二者。裝置900的元件可以配置為彼此通信,但是出于圖示的清楚起見而沒有示出所有連接。
觸摸檢測器965可以檢測對象975何時觸摸i/o接口950。接近檢測器960可以檢測與裝置900相關(guān)聯(lián)的懸??臻g970中的對象980。懸停空間970可以例如是設(shè)置在i/o接口950的接近中以及接近檢測器960可訪問的區(qū)域中的三維體積。懸??臻g970具有有限界線。
在一個實施例中,裝置900可以提供用于輔助顯示器的兩個或更多觀看者的共享瀏覽體驗。共享瀏覽體驗可以包括提供可共享的光標或者每一觀看者的光標,其可以是響應(yīng)于在與兩個或更多觀看者相關(guān)聯(lián)的移動設(shè)備處執(zhí)行的用戶接口動作。例如,如果第一觀看者具有智能電話,則裝置900可以提供輔助顯示器上的光標,其可以通過第一觀看者與其智能電話進行交互來控制。附加地,如果第二觀看者具有平板,則裝置900可以提供輔助顯示器上的另一個光標,其可以通過第二觀看者與其平板進行交互來控制。第一觀看者或者第二觀看者可以在使用裝置900。
處置來自用戶設(shè)備(例如,智能電話、平板)的用戶輸入促進了裝置900通過協(xié)調(diào)在用戶的設(shè)備上顯示什么以及在輔助顯示器上顯示什么而提升用于用戶的抬頭體驗。輸出可以經(jīng)協(xié)調(diào)以促進建立和維持輔助顯示器上的視覺聚焦。
裝置900可以包括第一邏輯932,其提供要在輔助顯示器上顯示的內(nèi)容。內(nèi)容可以由至少部分地在裝置900上運行的應(yīng)用來產(chǎn)生。內(nèi)容可以例如是由運行在裝置900上的應(yīng)用(例如,瀏覽器)產(chǎn)生的輸出。應(yīng)用可以例如是電影呈現(xiàn)應(yīng)用、電視呈現(xiàn)應(yīng)用、生產(chǎn)力應(yīng)用(例如,文字處理器、工作表)、視頻游戲、或者具有要觀看的內(nèi)容的其它應(yīng)用。應(yīng)用可以部分地或者完全地在裝置900上運行。當例如一些處理在另一個裝置上或者在云中執(zhí)行時,應(yīng)用可以部分地在裝置900上運行。
裝置900可以包括第二邏輯934,其提供要在輔助顯示器上顯示的控制元件。在一個實施例中,控制元件不是由應(yīng)用產(chǎn)生,而是由第二邏輯934產(chǎn)生。在一個實施例中,控制元件是光標。當控制元件是光標時,第二邏輯934響應(yīng)于與輸入/輸出接口950的觸摸或懸停交互而控制光標的位置、移動或外觀。在一個實施例中,第二邏輯934確定用于光標的初始位置。初始位置可以獨立于與輸入/輸出接口950相關(guān)聯(lián)的觸摸或懸停點的位置。光標的其它屬性還可以由第二邏輯934確定。
存在由第一邏輯932和第二邏輯934提供的內(nèi)容之間的區(qū)分。由第二邏輯934提供的附加素材不是由應(yīng)用產(chǎn)生的內(nèi)容或者應(yīng)用??紤]瀏覽器。第一邏輯932在輔助顯示器上顯示瀏覽器。第二邏輯934可以提供用于導(dǎo)航瀏覽器的光標?,F(xiàn)在考慮視頻游戲。由第一邏輯932提供的“內(nèi)容”可以是游戲圖、化身、武器、爆炸以及與游戲相關(guān)聯(lián)的其它圖像。由第二邏輯934提供的附加素材可以例如是控制按鈕、導(dǎo)航工具、用于與控制按鈕交互的光標、或者不是游戲的部分的其它圖像,盡管它們可以在游戲玩耍中涉及。
當觸摸或懸停點建立時,第二邏輯934可以就最初將光標定位于哪里做出確定。第二邏輯934可以試圖通過例如最小化用戶可能必須移動光標以實現(xiàn)效果的距離來優(yōu)化用戶體驗,而不是如常規(guī)系統(tǒng)所進行的那樣,將光標放置在對應(yīng)于觸摸或懸停點的位置處。因而,初始位置可以獨立于關(guān)于輸入/輸出接口950的觸摸或懸停點的位置。因此,在一個實施例中,第二邏輯934可以例如基于用戶接口元件的位置,來確定用于位置指示符的初始位置。初始位置可以例如處于輔助顯示器的中心、在最有可能使用的控件之上或附近、在兩個控件之間等距、或者在由上下文而不是懸??臻g970中的觸摸或懸停點的位置確定的其它位置中。
裝置900可以包括第三邏輯936,其選擇性控制顯示在輔助顯示器上的內(nèi)容的外觀或者應(yīng)用。控制可以至少部分地基于以輸入/輸出接口950執(zhí)行的用戶接口動作。用戶接口動作不是在真空中執(zhí)行,而是至少部分地基于在輔助顯示器上顯示什么來執(zhí)行。因而,響應(yīng)于用戶接口動作而推行的控制至少部分地依賴于顯示在輔助顯示器上的控制元件和顯示在輔助顯示器上的內(nèi)容之間的關(guān)系。例如,如果用戶敲擊他們的智能電話而同時光標顯示在按鈕之上,則可以針對按鈕生成鼠標點擊事件。
裝置900可以包括存儲器920。存儲器920可以包括不可移除存儲器或可移除存儲器。不可移除存儲器可以包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、閃速存儲器、硬盤或者其它存儲器存儲技術(shù)??梢瞥鎯ζ骺梢园ㄩW速存儲器、或者其它存儲器存儲技術(shù),諸如“智能卡”。存儲器920可以配置為存儲用戶接口狀態(tài)信息、表征數(shù)據(jù)、對象數(shù)據(jù)或者其它數(shù)據(jù)。
裝置900可以包括處理器910。處理器910可以例如是信號處理器、微處理器、專用集成電路(ASIC)、或者用于執(zhí)行任務(wù)的其它控制和處理邏輯電路,該任務(wù)包括信號編碼、數(shù)據(jù)處理、輸入/輸出處理、功率控制或其它功能。處理器910可以配置為與提供觸摸或懸停點控制處理的邏輯930交互。
在一個實施例中,裝置900可以是通用計算機,其已經(jīng)通過包括邏輯930的集合而變換成專用計算機。邏輯930的集合可以控制在輔助顯示器和裝置900二者上顯示什么。裝置900可以通過例如計算機網(wǎng)絡(luò)與其它裝置、過程和服務(wù)交互。
某些實施例的方面
在一個實施例中,在具有觸摸或懸停接口并且具有第一顯示器的第一設(shè)備中執(zhí)行方法。方法包括檢測具有第二顯示器的第二設(shè)備,建立與第二設(shè)備的通信鏈接,進入控制器模式,在第一顯示器上選擇性顯示與運行在第一設(shè)備上的應(yīng)用相關(guān)聯(lián)的第一輸出,提供要在第二顯示器上顯示的第二輸出,其中第二輸出與應(yīng)用相關(guān)聯(lián),以及使用觸摸或懸停接口與顯示在第二顯示器上的第二輸出進行交互。在一個實施例中,使用觸摸或懸停接口與第二輸出進行交互包括至少部分地基于以觸摸或懸停接口執(zhí)行的觸摸或懸停動作來選擇性控制應(yīng)用、第一輸出或第二輸出,其中觸摸或懸停動作涉及第二輸出。方法還可以包括提供要在第二顯示器上顯示的第三輸出,其中第三輸出與控制應(yīng)用相關(guān)聯(lián),并且其中第三輸出響應(yīng)于以觸摸或懸停接口執(zhí)行的觸摸或懸停動作而在第二顯示器上可移動,以及至少部分地基于以觸摸或懸停接口執(zhí)行的觸摸或懸停動作來選擇性控制應(yīng)用、第一輸出、第二輸出或第三輸出,其中觸摸或懸停動作涉及第二輸出和第三輸出。
在另一個實施例中,裝置包括處理器,存儲器,觸摸敏感或懸停敏感的輸入/輸出接口,控制在裝置上顯示什么并且控制在與另一個裝置相關(guān)聯(lián)的輔助顯示器上顯示什么的邏輯集合,以及連接處理器、存儲器、輸入/輸出接口和邏輯集合的物理接口。邏輯集合包括第一邏輯,其提供要在輔助顯示器上顯示的內(nèi)容,其中內(nèi)容由至少部分地在裝置上運行的應(yīng)用產(chǎn)生。邏輯集合還包括第二邏輯,其提供要在輔助顯示器上顯示的控制元件,其中控制元件不由應(yīng)用產(chǎn)生。邏輯集合還包括第三邏輯,其至少部分地基于以輸入/輸出接口執(zhí)行的用戶接口動作來選擇性控制顯示在輔助顯示器上的內(nèi)容的外觀或應(yīng)用,其中用戶接口動作至少部分地依賴于顯示在輔助顯示器上的控制元件與顯示在輔助顯示器上的內(nèi)容之間的關(guān)系。
在另一個實施例中,系統(tǒng)包括運行第一應(yīng)用的第一移動設(shè)備、第二移動設(shè)備、以及具有在第一移動設(shè)備和第二移動設(shè)備外部并且從其分離的顯示器的裝置。第一移動設(shè)備控制顯示在第一移動設(shè)備和顯示器上的圖像,其中圖像與第一應(yīng)用相關(guān)聯(lián)。第一移動設(shè)備提供用于第一移動設(shè)備的第一可移動光標以及用于第二移動設(shè)備的第二可移動光標,其中第一可移動光標響應(yīng)于在第一可移動設(shè)備處執(zhí)行的動作而在顯示器上可移動,并且其中第二可移動光標響應(yīng)于在第二可移動設(shè)備處執(zhí)行的動作而在顯示器上可移動。第一移動設(shè)備處置涉及第一光標和第一應(yīng)用的第一移動設(shè)備處的用戶輸入。第一移動設(shè)備處置涉及第二光標和第一應(yīng)用的第二移動設(shè)備處的用戶輸入。
定義
下文包括本文采用的所選術(shù)語的定義。定義包括落入可以用于實現(xiàn)的術(shù)語的范圍內(nèi)的組件的各種示例或形式。示例不意圖為限制性的。單數(shù)和復(fù)數(shù)形式的術(shù)語均可以處于定義內(nèi)。
對“一個實施例”、“實施例”、“一個示例”和“示例”的引用指示如此描述的(多個)實施例或(多個)示例可以包括特定特征、結(jié)構(gòu)、特性、屬性、元件或限制,但是并非每一個實施例或示例都必然地包括該特定特征、結(jié)構(gòu)、特性、屬性、元件或限制。此外,短語“在一個實施例中”的重復(fù)使用未必是指相同實施例,盡管可以如此。
如本文中使用的“計算機可讀存儲介質(zhì)”是指存儲指令或數(shù)據(jù)的介質(zhì)。“計算機可讀存儲介質(zhì)”不是指傳播信號。計算機可讀存儲介質(zhì)可以采取各形式,包括但不限于非易失性介質(zhì)和易失性介質(zhì)。非易失性介質(zhì)可以包括例如光盤、磁盤、磁帶和其它介質(zhì)。易失性介質(zhì)可以包括例如半導(dǎo)體存儲器、動態(tài)存儲器和其它介質(zhì)。常見形式的計算機可讀存儲介質(zhì)可以包括但不限于軟盤、柔性盤、硬盤、磁帶、其它磁性介質(zhì)、專用集成電路(ASIC)、壓縮盤(CD)、隨機存取存儲器(RAM)、只讀存儲器(ROM)、存儲器芯片或卡、存儲器棒、以及計算機、處理器或其它電子設(shè)備可以從其讀取的其它介質(zhì)。
如本文中使用的“數(shù)據(jù)倉庫”是指可以存儲數(shù)據(jù)的物理或邏輯實體。數(shù)據(jù)倉庫可以例如是數(shù)據(jù)庫、表格、文件、列表、隊列、堆內(nèi)存、存儲器、寄存器和其它物理貯存器。在不同示例中,數(shù)據(jù)倉庫可以駐留在一個邏輯或物理實體中或者可以分布在兩個或更多邏輯或物理實體之間。
如本文中使用的“邏輯”包括但不限于硬件、固件、在機器上執(zhí)行中的軟件、或者每一個的組合,以執(zhí)行(多個)功能或(多個)動作、或以引起來自另一個邏輯、方法或系統(tǒng)的功能或動作。邏輯可以包括軟件控制的微處理器、離散邏輯(例如,ASIC)、模擬電路、數(shù)字電路、編程邏輯器件、存儲指令的存儲器設(shè)備以及其它物理設(shè)備。邏輯可以包括一個或多個門、門的組合或者其它電路組件。在描述多個邏輯性邏輯的情況下,可以可能的是,將多個邏輯性邏輯并入物理邏輯中。類似地,在描述單個邏輯性邏輯的情況下,可以可能的是,在多個物理邏輯之間分布該單個邏輯性邏輯。
就術(shù)語“包括”或“包含”在詳細描述或權(quán)利要求中采用的程度而言,意圖的是以類似于術(shù)語“含有”的方式為包容性的,如該術(shù)語在權(quán)利要求中用作過渡性詞語時所解釋的那樣。
就術(shù)語“或”在詳細描述或權(quán)利要求中采用的程度而言(例如,A或B),意圖的是意指“A或B或二者”。當申請人意圖指示“僅A或B而不是二者”時,則將采用術(shù)語“僅A或B而不是二者”。因而,術(shù)語“或”在本文中的使用是包容性的,并且不是排他性的使用。參照Bryan A. Garner, A Dictionary of Modern Legal Usage 624 (1995年第二版)。
盡管已經(jīng)以具體到結(jié)構(gòu)特征或方法動作的語言描述了主題,但是要理解到,在隨附權(quán)利要求中限定的主題未必限于以上描述的具體特征或動作。相反,以上描述的具體特征和動作被公開為實現(xiàn)權(quán)利要求的示例形式。