專利名稱：針對支持多點觸摸的設備提供局部坐標系用戶界面的方法和裝置的制作方法
針對支持多點觸摸的設備提供局部坐標系用戶界面的方法和裝置
背景技術：
作為諸如按鈕和滑動條之類的傳統(tǒng)的用戶界面(UI)元素的替代，通常在支持多點觸摸的設備中使用手勢以用于調(diào)取動作。例如，可以使用掃動手勢(在ー個位置放下手指并且跨設備地掃動)替代用于執(zhí)行一些動作(例如翻頁)的按鈕。另ー示例可以是同時放下兩個手指，并且使用兩個手指之間的距離以應用縮放(更被熟知為“放縮(pinch)”手勢)。這些手勢以及其他一些常規(guī)的手勢具有某些共同點。例如，常規(guī)地，手勢并不知曉使用哪個手指或哪些手指以執(zhí)行手勢。此外，支持多點觸摸的設備本身并不知曉使用哪個手指或哪些手指用于手勢，并且無法檢測使用哪個手指或哪些手指。這些設備并不能將ー個手指的按壓與另一手指的按壓進行區(qū)別。此外，常規(guī)上，通常使用手勢以執(zhí)行單個動作
發(fā)明內(nèi)容
描述了針對支持多點觸摸的設備提供局部坐標系(coordinate frame)用戶界面的方法和裝置的各種實施方式。一些實施方式可以在多點觸摸顯示設備上提供用戶界面，該用戶界面根據(jù)在人類手部周圍構(gòu)建的局部坐標系而顯示。在一些實施方式中，用戶可以使用自然的手勢將所有五個手指(稱為食指、中指、無名指和小拇指的四個手指以及大拇指)的指尖放置在多點觸摸用戶界面上，以提供五個輸入點；該方法檢測哪個輸入點對應于哪個手指，并且基于輸入點構(gòu)建針對手部的局部坐標系。可以稱為化身(avatar)的用戶界面元素(例如控制)可以繼而被指派給每個手指并且在多點觸摸顯示器上顯示。用戶可以繼而根據(jù)期望經(jīng)由與特定控制相關聯(lián)的ー個或多個手勢來選擇性地操縱ー個或多個顯示控制。在局部坐標系用戶界面的操作方法中，可以檢測在支持多點觸摸的設備上的多指觸摸手勢(例如四指或五指觸摸手勢)。支持多點觸摸的設備可以是提供多點觸摸手勢輸入機制的任何計算設備。可以根據(jù)所檢測的多指輸入構(gòu)建針對手部的局部坐標系。顯示兩個或多個用戶界面元素(稱為化身)，每個化身被指派給手指中的特定手指并且每個代表與其中實現(xiàn)界面的應用相關的動作或調(diào)整?？梢詸z測選擇所顯示的用戶界面元素中的特定元素的事件。選擇與特定手指相關聯(lián)的特定化身的事件例如可以是抬升其他手指。例如，為了選擇與大拇指相關聯(lián)的化身，用戶可以抬升除大拇指外的所有的手指。在至少ー些實施方式中，可以在用戶從支持多點觸摸的設備抬升所有手指時維持所顯示的化身；用戶可以繼而通過觸摸靠近期望化身的屏幕或在期望化身上的屏幕來選擇特定化身。用戶可以繼而根據(jù)與所選用戶界面元素(化身)相關的觸摸或多點觸摸來應用ー個或多個動作或調(diào)整。


圖I是根據(jù)至少ー些實施方式的局部坐標系用戶界面的操作方法的高層流程圖。圖2A是根據(jù)至少ー些實施方式的支持多點觸摸設備的圖形表示，并且示出了用于構(gòu)建針對手部的局部坐標系的啟發(fā)式技術，該手部用于應用五指觸摸手勢以調(diào)取局部坐標系用戶界面。圖2B顯示了根據(jù)至少一些實施方式的值的示例陣列或表，該值可以在如圖2A和圖3中示出的啟發(fā)式技術中使用。圖3是根據(jù)至少ー些實施方式的用于構(gòu)建局部坐標系的啟發(fā)式技術的流程圖。圖4A示出了根據(jù)至少一些實施方式的示例局部坐標系用戶界面，其中關于用戶左手的、用于執(zhí)行五指觸摸手勢的五個手指中的每個手指顯示單獨的控制或化身。圖4B示出了用戶可以移動或旋轉(zhuǎn)他們的手部，并且根據(jù)觸摸點的經(jīng)更新的定位以及針對手部的之前確定的局部坐標系來調(diào)整所顯示的用戶界面元素。圖4C示出了根據(jù)至少一些實施方式使用右手執(zhí)行五指觸摸手勢。圖5A圖形示出了根據(jù)至少一些實施方式的用戶抬升除ー個手指外的所有手指， 在該示例中抬升除了食指外的所有手指。圖5B和圖5C示出了根據(jù)至少一些實施方式與在所有其他手指提升時留下與多點觸敏屏接觸的手指對應的控制操縱。圖6示出了根據(jù)至少一些實施方式的示例，其中，大拇指可以用于基于多個不同手勢執(zhí)行各種動作，該手勢可以在其他四個手指已被提升時由大拇指做出。圖7示出了根據(jù)至少一些實施方式的ー個示例，其中根據(jù)針對手部的向上矢量來定向與手指相關聯(lián)的所有控制。圖8A示出了根據(jù)至少一些實施方式的圖示，其中用戶已從圖7中示出的顯示器移開所有五個手指以調(diào)取局部坐標系用戶界面的持續(xù)模式。圖SB示出了根據(jù)至少一些實施方式的圖示，其中用戶已選擇并且正在操縱與特定手指相關聯(lián)的局部坐標系用戶界面的特定控制。圖SC示出了根據(jù)至少一些實施方式的用戶已選擇并且正在操縱局部坐標系用戶界面的另ー控制。圖8D示出了根據(jù)至少一些實施方式的用戶已選擇并且正在操縱局部坐標系用戶界面的大拇指控制。圖9示出了根據(jù)至少一些實施方式的使用具有諸如繪圖工具之類的其他用戶界面工具的局部坐標系用戶界面。圖10示出了一個示例藝術應用中的局部坐標系用戶界面(UI)模塊，該模塊實現(xiàn)如圖I至圖9中描述的局部坐標系用戶界面技木。圖11示出了根據(jù)至少一些實施方式的圖示，其中示出了在實現(xiàn)如圖10所示的應用的、支持多點觸摸的便攜式設備上創(chuàng)建輸出并且將輸出發(fā)送給另一更強大設備960以用于附加處理。圖12示出了可以在ー些實施方式中使用的示例計算機系統(tǒng)。雖然本文針對若干實施方式和說明性附圖通過示例描述了本發(fā)明，但是本領域技術人員將認識到本發(fā)明并不限于所述的實施方式或附圖。應該理解，本發(fā)明的附圖和具體描述并不g在將本發(fā)明限制到所公開的特定形式，而是相反地，本發(fā)明g在覆蓋落入本發(fā)明的精神和范圍內(nèi)的所有修改、等同物和備選物。本文所用的標題僅用于組織性目的并且無意于限制描述的范圍。如本申請全文中所使用的那樣，詞語“可以”在允許性的意義上使用(即意指有可能)而在非強制性的意義上使用(即意指必須)。類似地，詞語“包括”和“包含”意指包括而非限制。
具體實施例方式在下面的具體描述中，闡述了眾多具體細節(jié)以提供對權(quán)利要求主題的完整理解。然而，本領域技術人員將理解可以在不具有這些具體細節(jié)的情形下實踐權(quán)利要求的主題。在其他一些實例中，為了不混淆權(quán)利要求的主題，沒有詳細描述本領域技術人員將知曉的方法、裝置或系統(tǒng)。下面詳細描述的ー些部分以關于存儲在特定裝置或特定用途的計算設備或平臺的存儲器內(nèi)的ニ進制數(shù)字信號的操作的算法或字符表示來呈現(xiàn)。在該特定說明書的上下文中，術語特定裝置等包括一般用途的計算機，一旦該計算機被編程則根據(jù)來自程序軟件的指令執(zhí)行特定功能。算法描述或字符表示是信號處理或相關領域中技術人員所使用的、用于將他們工作的實質(zhì)傳達給該領域中其他技術人員的技術示例。此處的算法一般被認為是導致期望的結(jié)果的操作或類似信號處理的自治序列。在該上下文中，操作或處理涉及對物理量的物理操縱。典型地，雖然并非必然地，這類量可以采取能夠被存儲、傳送、組合、t匕 較或以其他方式被操縱的電信號或磁信號的形式。已經(jīng)表明，有時主要出于通常使用的目的，便于將這類信號指代為比特、數(shù)據(jù)、值、元素、符號、字符、項、號碼、數(shù)字等。然而應該理解，所有這些項或類似項與適當?shù)奈锢砹肯嚓P聯(lián)并且僅為方便的標記。除非另有明確表述，否則如下面論述所顯而易見的那樣，可以理解在本說明書全文中利用諸如“處理”、“計算”、“確定”等的術語的論述指代具體裝置的動作或處理，該具體裝置諸如特殊用途計算機或類似的特殊用戶電子計算設備。因此在本說明書的上下文中，特殊用途計算機或類似特殊用途電子計算設備能夠操縱或轉(zhuǎn)換特殊用途計算機或類似特殊用途電子計算設備的存儲器、寄存器或其他信息存儲設備、傳輸設備或顯示設備內(nèi)的通常表示為物理電學或磁性量的信號。描述了用于為支持多點觸摸的設備提供局部坐標系用戶界面的方法和裝置的各種實施方式。一些實施方式可以提供在多點觸摸顯示設備上根據(jù)圍繞人類手部構(gòu)建的局部坐標系顯示的用戶界面。在一些實施方式中，用戶可以使用自然的手勢將所有的五個手指(本文稱為食指、中指、無名指和小拇指的四個手指以及大拇指)的指尖放置在多點觸摸用戶界面上以提供五個輸入點；該方法檢測哪個輸入點對應于哪個手指，并且基于輸入點構(gòu)建針對手部的局部坐標系?？梢苑Q為化身的用戶界面元素(例如控制)可以繼而被指派給每個手指，并且在多點觸摸顯示器上顯示。用戶可以繼而根據(jù)期望經(jīng)由與特定控制相關聯(lián)的一個或多個手勢選擇性地操縱ー個或多個所顯示的控制。啟發(fā)式技術被描述為可以在ー些實施方式中用于從五個輸入點計算局部坐標系?？梢砸韵鄬τ谑种覆o特定順序來接收五個輸入點。關于輸入點對于啟發(fā)式技術的順序或值不存在隱含性假設?？梢韵鄬τ谡麄€手部和/或相對于每個單獨的手指來計算局部坐標系。啟發(fā)式技術并不知曉設備的定向和針對那只手(左手或右手)來使用。因此，用戶可以使用左手或右手以調(diào)取局部坐標系用戶界面，并且可以以相對于設備本身的不同定向來進行。此外，該技術可以基本上連續(xù)地檢測手指在多點觸摸設備上的動作，并且響應于該動作更新相對于該設備的局部坐標系；因此，用戶可以移動或旋轉(zhuǎn)他們的手部，并且所顯示的用戶界面相應地更新以相對于設備調(diào)整手部的新位置。此外，啟發(fā)式技術可以從手指輸入點推斷手部的手掌的相對位置，從而允許用戶界面顯示各種用戶界面元素，其中元素很有可能可見，而不是被用戶的手部遮擋，或者相反地有目的地顯示用戶界面元素，其中該元素將被手掌遮擋直至用戶移開他們的手部。一些實施方式可以檢測如下事件，該事件選擇與特定手指相關聯(lián)的所顯示的化身。選擇與特定手指相關聯(lián)的特定化身的事件例如可以是其他四個手指的抬升。例如，為了選擇與食指相關聯(lián)的化身，用戶可以抬升所有其他手指和大拇指。在至少ー些實施方式中，當用戶從支持多點觸摸的設備抬升所有的五個手指時，可以維持所顯示的化身；繼而用戶可以通過觸摸靠近化身的屏幕或化身上的屏幕來選擇特定化身。描述了用于多點觸摸設備的應用中的局部坐標系用戶界面的示例使用情形。使用情形包括如下示例，在該示例中局部坐標系用戶界面可以與用于多點觸摸的設備的應用中的例如手寫輸入之類的其他輸入組合使用。局部坐標系用戶界面的一些實施方式可以在支持多點觸摸輸入的設備上多點觸摸輸入的任何應用中實現(xiàn)，以顯示相對于特定手指的ー個或多個界面元素。其中可以實現(xiàn)實施方式的應用的示例分類是數(shù)字照片調(diào)整、藝術、圖形設計以及圖像處理應用，或更具體而言為其中用戶可以經(jīng)由支持多點觸摸的用于藝術或其他目的的應用，與支持多點觸摸的設備進行交互的應用。局部坐標系用戶界面的一些實施方式例如可以實現(xiàn)為應用的模塊，其作為包括但不限于藝術、圖形設計以及圖像處理應用的應用的插件，和/或作為可以被包括但不限于藝術、圖形設計和圖像處理應用的其他ー些應用調(diào)用的庫函數(shù)或函數(shù)。其中可以實現(xiàn)實施方式的應用或技術的具體示例包括但不限于Adobe Photoshop '
技術、Adobe Flash 技術、Adobe Illustrator 技術以及 Adobe After Effects 技術?！癆dobe，，、“Photoshop，，、“Flash，，、“Illustrator” 和“AfterEffects”是在美國和/或其他國家組成公司的奧多比(Adobe)系統(tǒng)的注冊商標或商標。在申請?zhí)枮?3/029，O36、名稱為 “Methods and Apparatus for Simulation OfFluid Motion Using Procedural Shape Growth”的美國專利申請中，描述了其中可以實現(xiàn)局部坐標系用戶界面的實施方式的示例藝術應用，該申請通過引用整體并入本文?？梢酝ㄟ^存儲在計算機可讀存儲介質(zhì)中并且可由一個或多個處理器(例如ー個或多個CPU和/或GPU)執(zhí)行的程序指令所實現(xiàn)的一個模塊或多個模塊來實現(xiàn)或?qū)嵤┙?jīng)由用戶界面提供的、手指專用化身支持的局部坐標系用戶界面和動作或調(diào)整的實施方式。在一些實施方式中，由經(jīng)由用戶界面提供的手指專用化身支持的局部坐標系用戶界面和動作或者調(diào)整中的至少ー些組件可以在ー個或者多個圖形處理單元(GPU)上實現(xiàn)。在圖10中示出了如本文所述的可以實現(xiàn)一些實施方式的示例模塊和可以實現(xiàn)該模塊的示例應用。在圖12中示出了可以在其上實現(xiàn)實施方式的示例計算機系統(tǒng)。雖然局部坐標系用戶界面的一些實施方式總體描述為響應于五指手勢而被調(diào)取，但是在至少ー些實施方式中，可以使用其他手勢輸入來調(diào)取界面，例如使用四指手勢或使用跨越支持多點觸摸的設備進行掃動。這些其他手勢輸入例如可以允許手部缺乏靈巧性或手部缺失ー個或多個手指的用戶調(diào)取界面。局部坐標系用戶界面的高層操作 圖I是根據(jù)至少ー些實施方式的局部坐標系用戶界面的操作方法的高層流程圖。如10處所示，可以在支持多點觸摸的設備上檢測多指觸摸手勢(例如四指或五指、觸摸手勢)。支持多點觸摸的設備例如可以是臺式計算機、筆記本或膝上型計算機、諸如Apple iPad 之類的支持多點觸摸的便攜式設備或類似設備、或是一般的可以提供支持多點觸摸輸入機制的任何計算設備。如20處所示，可以通過經(jīng)檢測的多指輸入構(gòu)建針對手部的局部坐標系。如30處所示，顯示了兩個或更多個用戶界面元素(稱為化身)，每個化身被指派給特定手指，并且每個化身表示與其中實現(xiàn)界面的應用相關的動作或者調(diào)整。如40處所示，可以檢測選擇所顯示的用戶界面元素中的特定元素的事件。選擇與特定手指相關聯(lián)的特定化身的事件例如可以是抬升其他手指。例如，為了選擇與大拇指相關聯(lián)的化身，用戶可以抬升除了大拇指之外的所有手指。在至少ー些實施方式中，當用戶從支持多點觸摸的設備抬升所有的手指時，可以維持所顯示的化身。繼而用戶可以通過觸摸靠近期望化身的屏幕或期望化身上的屏幕來選擇特定化身。如在50處所示，繼而用戶可以根據(jù)相對于所選的用戶界面元素(化身)的觸摸或多點觸摸來應用ー個或多個動作或調(diào)整。構(gòu)律局部坐標系 圖2A至圖2B和圖3示出了根據(jù)至少一些實施方式的用于構(gòu)建局部坐標系的啟發(fā)式技木。圖3是根據(jù)至少ー些實施方式的用于構(gòu)建局部坐標系的啟發(fā)式技術的流程圖。如在200處所示，該方法可以檢測在支持多點觸摸的設備上的五指觸摸手勢。圖2A是包括多點觸敏屏102的支持多點觸摸的設備100的圖形表示。如圖所示，用戶可以向多點觸敏屏102應用五指的自然手勢。在設備100上實現(xiàn)的局部坐標系用戶界面模塊(未示出)可以檢測或接收五指觸摸手勢的指示。局部坐標系用戶界面模塊可以確定或獲得對應于五指手勢輸入的五個觸摸點104。五個觸摸點104可以表示為相對于屏幕102上的某個點的笛卡爾坐標((x，y)坐標，如圖2B的第一欄所示)，通常是相對于屏幕102的角落之一。如圖3的202處所示，可以使用觸摸點的笛卡爾坐標來計算每個觸摸點104之間的歐幾里得距離。參見圖2A，局部坐標系用戶界面模塊可以確定每個觸摸點104之間的歐幾里得距離106，并且可以構(gòu)建記錄五個觸摸點和從觸摸點104中每個到每個其他觸摸點104的歐幾里得距離106的表或陣列。在圖2B中示出了這樣的表或陣列的示例。在圖2B中，“d(a，b)”條目表示至另ー觸摸點104的歐幾里得距離106的值。條目表示從觸摸點從接觸點到其自身的距離為空或零。注意，此時五個接觸點104(1至5)并未與任何特定手指相關聯(lián)。如圖3的204處所示，該方法可以計算陣列中每個觸摸點的均值距離(meandistance)。例如，觸摸點I的均值距離是從觸摸點I到觸摸點2至5中每ー個的距離之和除以4。在圖2B中，經(jīng)計算的均值顯示為“M (a) ”條目。如206處所示,該方法可以指派具有最大均值距離的觸摸點作為大拇指觸摸距離。對于大多數(shù)用戶而言，在假設如圖2A所示的自然、放松的觸摸手勢的情形下，從大拇指到其他四個手指的均值距離將大于從任何其他手指到其他四個手指的均值距離。在指派大拇指觸摸點之后，繼而啟發(fā)式方法可以指派觸摸點給四個手指中的每ー個。如208處所示，該方法可以繼而選擇具有到指派給大拇指的觸摸點的最小歐幾里得距離的觸摸點作為食指觸摸點(或簡單稱為食指)。如210處所示，該方法繼而可以選擇具有到食指觸摸點(并非大拇指觸摸點)的最小歐幾里得距離的觸摸點為中指觸摸點(或簡單稱為中指)。如212處所示，該方法繼而可以選擇具有至中指觸摸點(并非大拇指觸摸點或食指觸摸點)的最小歐幾里得距離的觸摸點為無名指觸摸點(或簡單稱為無名指)。如214處所示，該方法可以繼而選擇剩余的觸摸點作為小拇指觸摸點(或簡單稱為小拇指)。如216處所示，該方法可以通過所確定的手指觸摸點估算手掌定位。在至少ー些實施方式中，如圖2A所示，為了確定手掌定位，該方法可以采用小拇指觸摸點和大拇指觸摸點之間的中點作為對手掌定位的近似。對于大多數(shù)用戶而言，在假設如圖2A所示的自然手勢的情形下，這將是對手掌的定位的良好近似。然而可以使用其他ー些方法根據(jù)所確定的手指觸摸點來確定手掌定位。例如，在一些實施方式中，可以通過計算全部五個觸摸點的圖心來確定手掌的定位。如218處所示，該方法可以確定是否使用左手或右手執(zhí)行五指觸摸手指，以及如圖2A所示的針對手部的“向上”方向或向上矢量。在至少ー些實施方式中，可以通過采用來自兩個手指至另一手指的単位矢量并且使用這些矢量的方向，確定向上方向來做出該決定。例如，在一些實施方式中，該方法可以采用來自食指觸摸點至大拇指觸摸點的単位矢量以及從中指觸摸點至大拇指觸摸點的単位矢量，并且使用這些矢量所指向的方向來推斷向上方向或矢量。
使用中指作為示例，該方法可以采用中指觸摸點和食指觸摸點之間的矢量以及無名指觸摸點和中指觸摸點之間的矢量，計算矢量的正交量，并且采用正交量的平均作為向上矢量。該方法提供了對于中指而言哪個方向是向上方向的良好近似，這繼而可以用于用作針對作為整體的手部的向上矢量。然而，顯示設備的坐標系統(tǒng)是相對于在顯示器上某個位置處的原點。對于大多數(shù)這類設備而言，原點位于左上角。因此，所確定的向上矢量可以對于ー個手部是負向，但是對于另一手部是正向。為了對此進行調(diào)整，可以對負向情形中的矢量進行反向。在至少ー些實施方式中，為了執(zhí)行該調(diào)整，該方法可以確定針對手指的矢量(例如針對中指或食指)，并且采用該矢量與從大拇指至另一手指(例如無名指)的矢量的點積。如果這兩個矢量的點積為負，則反向或翻轉(zhuǎn)向上矢量。使用該技術，針對所有手指的向上矢量可以指向正確的向上方向，無論手部是左手或是右手。圖3描述了用于確定針對執(zhí)行五指觸摸手勢的手部的局部坐標系的啟發(fā)式方法。該方法并不可知使用哪個手部，確定哪個接觸點對應于哪個手指與使用左手或是右手提供輸入無關。此外，該方法并不可知手部相對于支持多點觸摸設備100的定向。然而注意，在一些實施方式中可以運用其他方法或技術將五個輸入觸摸點映射至特定手指，并且執(zhí)行確定局部坐標系方面的其他任務。五個觸摸點的笛卡爾坐標、指派給每個觸摸點的特定手指、手掌的經(jīng)估算的定位、左手或右手確定以及所確定的向上矢量共同提供了針對執(zhí)行五指觸摸手勢的手部的局部坐標系。一旦該方法確定了局部坐標系，則可以通過在顯示屏102上追蹤五個手指的定位來更新局部坐標系，而無需將觸摸點重新映射至特定手指、確定手掌定位、向上方向等。顯示局部坐標系用戶界面在例如使用圖3中所示的方法確定了針對手部的局部坐標系之后，局部坐標系用戶界面模塊可以相對于經(jīng)確定的局部坐標系顯示一個或多個用戶界面元素。圖4A示出了ー個示例，在該示例中相對于用戶左手的用于執(zhí)行五指觸摸手勢的五個手指中的每個手指而顯示了單獨控制或化身。該示例顯示了用戶界面元素為大拇指控制110、食指控制112、中指控制114、無名指控制116和小姆指控制118。雖然圖4A不出了針對五個手指中甸個手指顯示的用戶界面元素或化身，但是在一些實施方式中用戶界面元素或化身可以針對手指中的僅ー些而顯示，例如針對大拇指和食指和中指。在圖4A中所示的示例中，例如，大拇指控制110代表用于挑選針對工具或所選對象的顔色的顏色選取器控制，食指控制112代表用于調(diào)整工具或所選對象的不透明度的不透明度控制，并且中指114代表用于調(diào)整工具或所選對象的尺寸的尺寸控制，而無名指控制116和小拇指控制118未被定義。在至少ー些實施方式中，所顯示的控制可以是未激活的，直至通過用戶選擇特定控制執(zhí)行動作。為了顯示針對每個手指的用戶界面元素或控制，該方法可以確定針對該手指的局部坐標系。在至少ー些實施方式中，針對手指的局部坐標系可以簡潔地表示為ニ維向上矢量。圖4A中帶箭頭的虛線表示了針對5個手指的示例向上矢量,還示出了代表針對手部的總體局部坐標系的向上矢量?？梢允褂妙愃频遣煌募夹g來構(gòu)建針對每個単獨手指的局部坐標系(向上矢量)。下面描述了可以在至少ー些實施方式中使用的用于計算對應于每個手指的向上矢量的示例技木。為了確定針對大拇指的向上矢量，可以使用如下技術，該技術采用從大拇指觸摸點至食指觸摸點的矢量，并且計算與其正交的矢量。該矢量繼而被用作針對大拇指的向上 矢量。為了確定針對食指的向上矢量，可以使用如下技木，該技術采用從食指觸摸點至大拇指觸摸點的矢量和從食指觸摸點至中指觸摸點的矢量。這兩個矢量可以被平均，而經(jīng)平均的矢量的正交量可以被用作針對食指的向上矢量。為了確定針對中指的向上矢量，可以使用如下技木，該技術采用從中指觸摸點至大拇指觸摸點的矢量和從中指觸摸點至無名指觸摸點的矢量。這兩個矢量可以被平均，而經(jīng)平均的矢量的正交量可以被用作針對中指的向上矢量。為了確定針對無名指的向上矢量，可以使用如下技術，該技術采用從無名指觸摸點至小拇指觸摸點的矢量和從無名指觸摸點至中指觸摸點的矢量。這兩個矢量可以被平均，而經(jīng)平均的矢量的正交量可以被用作針對無名指的向上矢量。對于小拇指而言，該方法可以使用從小拇指接觸點至無名指觸摸點的矢量的正交量作為向上矢量。針對手部的總體局部坐標系還可以簡潔地表示為ニ維向上矢量。在至少ー些實施方式中，為了計算針對手部的總體局部坐標系，該技術可以使用針對食指和中指的向上矢量的平均作為針對手部的向上矢量?？梢允褂闷渌恍┘夹g來確定和/或表示針對手指的局部坐標系和針對手部的總體局部坐標系。在圖4A中，可以假設用戶的五個手指仍與多點觸敏屏102接觸。然而，在至少ー些實施方式中，可以繼續(xù)顯示相對于針對手部的局部坐標系的用戶界面元素，并且根據(jù)需要更新該用戶界面元素，只要至少兩個手指保持與多點觸敏屏102接觸。圖4B示出了用戶可以移動或旋轉(zhuǎn)他們的手部，以及根據(jù)之前確定的針對手部的局部坐標系和觸點的已更新定位來調(diào)整所顯示的用戶界面元素。在至少ー些實施方式中，只要多于ー個手指保持與多點觸敏屏102接觸，則在被顯示和更新時對應于手指的所有控制可以保持未激活，從而使得用戶手部的動作并不導致應用對應的動作或調(diào)整。雖然圖4A和圖4B示出了執(zhí)行五指多點觸摸手勢的左手，但是圖4C示出了根據(jù)至少ー些實施方式的使用右手執(zhí)行手勢。在圖4C中，針對右手正確確定局部坐標系，并且用戶界面元素或化身被顯示為對應于正確的手指。因此，例如，針對左手的食指控制112對應于針對右手的食指控制112，在該示例中這兩者均為不透明度控制。激活和使用控制圖5A根據(jù)至少一些實施方式示意地示出了用戶抬升除了ー個手指外的所有手指，在該示例中抬升除了食指外的所有手指。一旦用戶抬升四個手指(僅留下ー個手指仍與多點觸敏屏102接觸)，則該方法可以計算或使用之前針對剩余手指計算的局部坐標系，并且激活根據(jù)該系對應的用戶界面元素或化身。可以移除和/或禁用對應于已抬升的手指的其他用戶界面元素或化身。就這一點而言，用戶執(zhí)行的任何動作或手勢可以應用至對應于與該手指相關聯(lián)的用戶界面元素或化身的具體動作或調(diào)整。在圖4A中所示的示例中，用戶抬升除了食指之外的所有手指，并且因而顯示和激活食指控制112(在該示例中為不透明度控制)。
圖5B和圖5C示出了根據(jù)至少一些實施方式的對應于如下手指的控制操縱，該手指在所有的其他手指被提升時保持與多點觸敏屏102接觸。使用針對食指的局部坐標系，可以以如下方式使用手指執(zhí)行調(diào)整或動作，該方式對于相應手指的定向是自然的。例如，如圖5B所示，通過執(zhí)行其中食指相對于食指的局部坐標系向下移動的手勢130A，可以增加與食指控制112相關聯(lián)的參數(shù)值。如圖5C所示，通過執(zhí)行其中食指相對于食指的局部坐標系向下移動的手勢130B，可以降低與食指控制112相關聯(lián)的參數(shù)值。通過具有針對每個手指的不同的局部坐標系，可以以對于手部而言是自然的方式而不是以取決于設備定向的方式，分別執(zhí)行關于每個手指的移動。如圖5B和5C所示，在至少ー些實施方式中，對于至少ー些控制而言，可以響應于操縱當前活躍的控制的手勢而顯示指示器120，該指示器120提供相關反饋給用戶。在圖5B和圖5C中示出的示例中，指示器120可視地示出了使用食指控制112調(diào)高和調(diào)低不透明度的結(jié)果。為了顯示指示器120，該方法可以確定屏幕的區(qū)域，在該區(qū)域中根據(jù)針對手部的局部坐標系信息(之前已被計算出并且可以隨著用戶移動他們的手部而被調(diào)整)來顯示不太可能被用戶手部遮擋的指示器。其他手勢和控制的一せ示例雖然圖5B和圖5C示出了使用與控制(例如食指控制112)有關的向上和向下手勢來上調(diào)或下調(diào)對應于該控制的參數(shù)值，可以在局部坐標系用戶界面中支持其他類型的控制和其他手勢，以執(zhí)行各種動作或調(diào)整。圖6示出了根據(jù)至少一些實施方式的示例，在該示例中，一旦其他四個手指已被提升，則可以基于使用大拇指作出的多個不同的手勢，來作出各種動作。在該示例中，可以確定從大拇指接觸點至食指接觸點的矢量，或者備選地確定從大拇指接觸點至手掌定位或一些其他手指的接觸點的矢量。使用大拇指在多點觸敏屏102上的在該方向上的掃動手勢可以發(fā)起第一動作(例如撤銷操作)。相反方向的掃動手勢可以發(fā)起第二操作(例如重做操作)。與該方向垂直的掃動(與從大拇指觸摸點至食指觸摸點或一些其他點的矢量正交)可以發(fā)起第三操作(例如清除屏幕操作)。雖然圖6示出了正由右手執(zhí)行的該技術，但是可以使用左手執(zhí)行相同技術，但是其中從大拇指觸摸點至食指觸摸點的矢量的定向被反向。作為另ー示例，局部坐標系用戶界面可以顯示諸如顏色輪盤之類的用戶界面元素，當從多點觸敏屏移開除了ー個手指之外的所有手指或所有手指時，可以顯示和激活該用戶界面元素。用戶可以繼而應用選擇手勢至用戶界面元素(諸如觸摸該元素并沿環(huán)狀運動或以其他方式運動來移動手指)以從該輪盤選擇ー些值(例如顔色)。圖8C示出了顔色輪盤用戶界面元素的示例。作為另ー示例，用戶可以抬升除ー個手指之外的所有手指，例如除食指之外的所有手指。使用另ー手指輕擊多點觸敏屏102或使用一個或多個其他手指的其他動作(諸如放縮動作)可以繼而被解讀為用于執(zhí)行特定動作或調(diào)整的特定手勢。以上內(nèi)容均通過示例給出，而并非g在限制。一些實施方式可以適配為顯示各種用戶界面控制以及接收和解讀各種手勢以初始對應于這些控制的動作?？刂频亩ㄏ蛟趫D4A至圖4C中所示的示例中，根據(jù)相應索引的局部坐標系或向上矢量對各個控制或化身定向。在至少ー些實施方式中，作為根據(jù)相應索引的向上矢量對控制或化身定向的替代，可以均根據(jù)相同向上矢量(例如根據(jù)針對手部的整體局部坐標系)對控制進行定向。如前所述，整體局部坐標系可以簡潔地表示為針對手部的ニ維向上矢量。圖7和圖8A至圖8D示出了ー個示例，其中根據(jù)圖7中所示的針對手部的向上矢量定位所有控制(大拇指控制110、食指控制112、中指控制114、無名指控制116和小拇指控制118)。在至少ー些實施方式中，為了計算該向上矢量，可以使用如下技術，該技術采用針對食指和中指的向上矢量的平均作為針對手部的向上矢量。在一些實施方式中，局部坐標系用戶界面可以提供用戶可選的選項，用戶可以經(jīng)由該選項指定這些定向模式中的哪個模式是用戶希望運用的。持續(xù)樽式和瞬杰樽式在一些實施方式中，局部坐標系用戶界面可以提供持續(xù)模式或瞬態(tài)模式中的ー種或兩種。在瞬態(tài)模式中，當用戶從多點觸敏屏102抬升所有的五個手指時，所顯示的用戶界面元素可以在僅數(shù)秒之后淡出或可以立即消失。僅至少一個控制或化身可見，只要用戶讓至少ー個手指與多點觸敏屏102接觸。在持續(xù)模式中，當用戶從多點觸敏屏102抬升所有的五個手指時，所顯示的用戶界面元素可以持續(xù)至少一段時間(若干秒)，并且用戶界面可以繼而允許用戶選擇和操縱所顯示的控制中的ー個。在圖4A至圖4C和圖5A至圖5C中表示瞬態(tài)模式中的局部坐標系用戶界面的操作。圖7和圖8A至圖8D示出了持續(xù)模式中的局部坐標系用戶界面。在圖7中，用戶使用左手應用五指觸摸手勢至多點觸敏屏102。顯示對應于各個索引的控制(大拇指控制110、食指控制112、中指控制114、無名指控制116以及小拇指控制118)。在該示例中，控制根據(jù)共同的向上矢量而定向，但是瞬態(tài)模式也可以與其他定向模式一起工作。此外，在多點觸敏屏120的已被確定為不太可能被用戶手部遮擋的區(qū)域中顯示所示出的指示器120。在圖8A中，用戶已移開所有五個手指與多點觸敏屏102的接觸。注意，在該示例中，在之前至少部分地被用戶手部遮擋的區(qū)域中顯示另ー控制122。該控制122可能之前已顯示過，或者備選地可能僅響應于用戶從多點觸敏屏102移開至少ー些手指而顯示。作為另ー備選，控制122可能僅在用戶選擇與特定手指相關聯(lián)的控制之一(例如與食指相關聯(lián)的顏色控制)時顯示。、
在圖8B中，用戶已使用手指(在該示例中，右手的食指)選擇中指控制114。選擇控制或化身可以激活控制或化身。用戶可以繼而執(zhí)行與選定控制相關聯(lián)的一個或多個手勢以發(fā)起與選定控制相關聯(lián)的動作或調(diào)整?？梢愿轮甘酒?20以提供對控制的反饋。在圖C中，用戶使用手指(在該示例中，左手的食指)操縱控制122。例如，控制122可以是顏色輪盤，并且用戶可以在該顏色輪盤上移動手指以選擇特定顔色。雖然未示出，但是還可以顯示ー個或多個色卡用戶界面元素，并且用戶可以執(zhí)行手勢(例如輕擊)以指派在顔色輪盤上選擇的顏色給特定色卡用戶界面元素。在圖8D中，用戶正使用手指(在該示例中，右手的食指)以操縱大拇指控制110。注意，未顯示控制122。在該示例中，使用手指在從大拇指觸摸點至手掌的相應矢量的特定方向上的掃動可以調(diào)取不同的動作，例如撤銷、重做、以及擦除之前描述的所有動作。在圖8B至圖8D中，任何一只手部上的任何手指(或者用于要求多于ー個手指的手勢的手指組合)可以用于選擇和操縱控制。當處于持續(xù)模式中，用戶無需使用激活局部坐標系用戶界面的同一手部操縱控制。雖然在這些附圖中未示出，但是當選擇和激活特定 控制時，可以隱藏、改變或移動局部坐標系用戶界面的一個或多個其他控制或化身。此外，當選擇特定控制時，可以顯示和激活ー個或多個其他控制。一個示例是顏色輪盤或其他顏色選擇控制，這可以在用戶選擇與特定手指相關聯(lián)的顏色控制化身時顯示。對工具或?qū)ο蟮目刂茟迷谏厦媸纠械目刂频母鞣N控制可以通過實現(xiàn)局部坐標系用戶界面的應用被應用于在多點觸敏屏102上顯示的對象，和/或被應用于實現(xiàn)局部坐標系用戶界面的應用的工具。例如，可以提供控制以調(diào)整用戶之前已在屏幕102上繪畫的藝術對象的不透明度、顏色或一些其他特性。作為另ー示例，可以提供控制以調(diào)整可以用于在屏幕102上繪畫對象的工具(例如筆刷)的不透明度、顔色、尺寸或一些其他屬性。作為又ー示例，可以提供控制以使用工具撤銷之前對屏幕的輸入操作、重做被撤銷的操作和/或擦除或清除屏幕102?？刂频钠渌护皇纠怂峁┑氖纠獾钠渌恍╊愋偷目刂苹蛴脩艚缑嬖乜梢耘c特定手指相關聯(lián)。例如，“設置”控制可以與手指相關聯(lián)，例如小拇指，從而用戶可以針對實現(xiàn)局部坐標系用戶界面的應用調(diào)取各種設置的顯示。用戶可以繼而根據(jù)需要或期望使用手勢或其他輸入方法以調(diào)整用于應用的ー個或多個設置。與其他應用工具結(jié)合地使用局部坐標系用戶界面在至少ー些實施方式中，局部坐標系用戶界面可以與由實現(xiàn)界面的應用所提供的其他ー些工具結(jié)合地使用。例如，在繪畫、數(shù)字圖片編輯、3D建?；蚱渌麍D形輸入和編輯應用中，用戶可以使用利用筆刷或其他工具應用的筆觸來繪制或修改圖形對象、繪畫或執(zhí)行其他圖形輸入和編輯操作，并且使用可以是鋼筆或用戶手指中的ー個手指的觸端在多點觸敏屏102上執(zhí)行其他輸入和編輯操作，或可以執(zhí)行應用的其他觸摸或多點觸摸操作。備選地，用戶可以使用光標執(zhí)行應用的操作，使用諸如鼠標之類的光標控制設備操縱該光標。在使用一個手部執(zhí)行這些各種操作以創(chuàng)建或編輯圖形藝術品時，用戶可以使用另一手部調(diào)取和操縱局部坐標系用戶界面。如圖9所示，可以如所述地使用ー個手部調(diào)取局部坐標系用戶界面150，同時用戶使用另一手部執(zhí)行其他操作，例如使用所選的筆刷工具向屏幕102應用繪筆刷觸。圖9顯示用戶使用左手調(diào)取局部坐標系用戶界面150，同時使用右手繪畫。在該示例中，用戶可以調(diào)整筆刷尺寸、不透明度、或顔色，可以執(zhí)行撤銷、重做、或清除操作，或者可以在使用ー個手部應用筆觸之前、期間或之后使用另一手部經(jīng)由界面150改變設置。使用這種組合的圖形輸入和編輯方法，用戶可以使用ー個手部經(jīng)由局部坐標系用戶界面150快速地調(diào)整所選エ具和/或繪制的對象的各種屬性(顔色、尺寸、不透明度等等)、切換繪制工具或者模式并且執(zhí)行各種其他調(diào)整和動作，同時使用另一手部執(zhí)行其他動作(例如繪制或者繪畫)。此外，用戶可以使用局部坐標系用戶界面150(例如使用允許用戶以相對于定向矢量不同的方向掃動從而執(zhí)行如圖6所示的各種動作的大拇指控制)快速地撤銷或重做之前的操作，或可以執(zhí)行其他調(diào)整或動作。用于調(diào)取局部坐標系用戶界面的其他方法一些用戶可能難于做出五指觸摸手勢以調(diào)取局部坐標系用戶界面，或者可能根本無法做出手勢。例如，手部缺失手指或欠缺熟練度的用戶可能難于做出手勢，或者可能根本無法做出手勢。因此在至少ー些實施方式中，例如如圖4A和圖8A所示，可以提供ー種或多種方法以調(diào)取顯示多個用戶界面元素的局部坐標系用戶界面，每個元素與特定手指相關聯(lián)。如上所述，可以以持續(xù)模式顯示如此調(diào)取的局部坐標系用戶界面。例如在至少ー些實 施方式中，除了五指觸摸手勢之外的手勢可以被用于調(diào)取持續(xù)模式的用戶界面?？梢允褂玫氖纠謩菘梢匀Q于設備的定向。假設用戶慣用右手，并且使用左手持握設備，從屏幕的右上部向屏幕中間的掃動可以調(diào)取右手模式中的持續(xù)用戶界面。在相反情形中，從左上部向中間的掃動可以調(diào)取左手模式中的持續(xù)用戶界面。然而注意，可以使用其他手勢或其他技術以調(diào)取持續(xù)用戶界面。作為可以用于調(diào)取儲蓄用戶界面的另一手勢的示例，對于裝配有加速器的設備而言，用戶可以搖動設備以調(diào)取界面。示例件實現(xiàn)方式一些實施方式可以包括用于顯示和操縱顯示多個用戶界面元素的局部坐標系用戶界面的裝置，其中每個元素與特定手指相關聯(lián)。例如，局部坐標系用戶界面模塊可以接收指示五指觸摸手勢的多點觸摸輸入，并且可以構(gòu)建局部坐標系并顯示多個用戶界面元素，每個元素如本文所述地根據(jù)局部坐標系與特定手指相關聯(lián)。局部坐標系用戶界面模塊在一些實施方式中可以通過計算裝置的非暫態(tài)、計算機可讀存儲介質(zhì)和ー個或多個處理器(例如CPU和/或GPU)來實現(xiàn)。計算機可讀存儲介質(zhì)可以存儲由一個或多個處理器可執(zhí)行的程序指令，從而使得計算裝置執(zhí)行接收指示五指觸摸手勢的多點觸摸輸入、構(gòu)建局部坐標系以及顯示多個用戶界面元素，每個元素如本文所述地根據(jù)局部坐標系與特定手指相關聯(lián)。模塊的其他一些實施方式可以至少部分地由硬件電路和/或例如存儲在非易失性存儲器中的固件實現(xiàn)。圖10示出了局部坐標系用戶界面(UI)模塊，該模塊實現(xiàn)如圖I至圖9中所述的在示例藝術應用中實現(xiàn)的局部坐標系用戶界面技術。圖12示出了在其上可以實現(xiàn)應用900的實施方式的示例計算機系統(tǒng)，該應用900包括局部坐標系UI模塊920。應用900可以是基于多點觸摸手勢的應用，例如其中用戶經(jīng)由ー個或多個工具(例如畫筆工具)通過多點觸摸界面904和實現(xiàn)繪畫和其他應用操作的ー個或多個其他模塊906，向工作畫布902應用顏料的繪畫或圖像編輯應用。工作畫布902可以作為輸入圖像910接收，或者可以在應用900內(nèi)生成。模塊910經(jīng)由接ロ 904接收作為初始輸入912的五指觸摸手勢、或調(diào)取Π的一些其他手勢。模塊920確定局部坐標系、顯示對應于ー個或多個手指的Π化身922、響應于手部的移動調(diào)整所顯示的Π等等。模塊920可以經(jīng)由接ロ 904接收用戶輸入912，從而選擇或激活化身之一，例如瞬態(tài)模式中除ー個手指之外的所有手指的抬升、或持續(xù)模式中所有五個手指的抬升以及選擇化身之一。用戶可以激活不同的化身以執(zhí)行一些其他的動作或調(diào)整。用戶可以經(jīng)由多點觸摸界面904和其他模塊906，利用經(jīng)由化身922應用至其他應用動作中至少ー些的調(diào)整和動作，來執(zhí)行其他應用動作(例如繪畫動作)，例如調(diào)整工作或?qū)ο蟮念喩⒊叽?、或不透明度，或者進行諸如撤銷和重做操作之類的其他操作。應用900生成作為輸出的ー個或多個輸入圖像930。輸出圖像930例如可以存儲至存儲介質(zhì)940和/或可以在設備的顯示器950上顯示，存儲介質(zhì)940諸如系統(tǒng)存儲器、硬盤、DVD、⑶等，應用900在該設備上執(zhí)行。如圖10所示，在一些實施方式中，輸出930可以被發(fā)送至用于進ー步處理的ー些其他設備960。圖11示出了在支持多點觸摸的便攜式設備100上創(chuàng)建輸出930，并且發(fā)送輸出930給另一更強大的設備960以用于附加的處理，該設備100實現(xiàn)如圖10所示的應用900。例如，如圖10所述的應用900可以是專用于便攜式、相對小的、支持多點觸摸的設 備(諸如Apple iPad 或類似設備)的應用。這些設備可以具有相對有限的分辨率和用于創(chuàng)建和編輯的圖形圖像的其他資源。因此，應用900可以以相對較低分辨率的格式創(chuàng)建和編輯藝術品，以ー種格式生成輸出930 (其可以被具有較為有限資源的另ー設備960上另ー應用讀出，該資源包括分辨率能力)，并且將輸出930傳送給其他設備960上的其他應用。其他應用可以繼而根據(jù)接收自應用900的輸入生成較高分辨率圖像。示例系統(tǒng)局部坐標系用戶界面(UI)模塊和/或?qū)崿F(xiàn)局部坐標系UI模塊或如本文所述的技術的應用的實施方式可以在ー個或多個計算機系統(tǒng)上執(zhí)行，該計算機系統(tǒng)可以與各種其他設備交互。圖12示出了一種這類計算機系統(tǒng)。在不同的實施方式中，計算機系統(tǒng)1000可以是各種類型設備中的任ー種，該設備包括但不限于支持多點觸摸的便攜式設備、個人計算機系統(tǒng)、臺式計算機、膝上型計算機、筆記本、或筆記本計算機、大型計算機系統(tǒng)、手持式計算機、工作站、網(wǎng)絡計算機、照相機、機頂盒、移動設備、消費電子設備、視頻游戲控制器、手持式視頻游戲設備、應用服務器、存儲設備、諸如交換機、調(diào)制解調(diào)器、路由器之類的外圍設備、或一般的任何類型計算或電子設備。在示出的實施方式中，計算機系統(tǒng)1000包括經(jīng)由輸入/輸出(I/O)接ロ 1030耦合至系統(tǒng)存儲器1020的一個或多個處理器1010。計算機系統(tǒng)1000可以還包括耦合至I/O接ロ 1030的有線和/或無線網(wǎng)絡接ロ 1040，并且可以包括ー個或多個輸入/輸出設備1050，諸如光標控制設備1060、鍵盤1070、顯示器1080和諸如支持多點觸摸的屏幕之類的多點觸摸界面1090。在一些實施方式中，構(gòu)思了可以使用單個實例的計算機系統(tǒng)1000實現(xiàn)的實施方式，而在其他一些實施方式中，構(gòu)成計算機系統(tǒng)1000的多個這類系統(tǒng)或多個節(jié)點可以被配置成主控實施方式的不同部分或?qū)嵗?。例如，在一個實施方式中，可以經(jīng)由計算機系統(tǒng)1000的ー個或多個節(jié)點實現(xiàn)ー些元素，該ー個或多個節(jié)點與實現(xiàn)其他元素的節(jié)點不同。在各種實施方式，計算機系統(tǒng)1000可以是包括一個處理器1010的單處理器系統(tǒng)，或是包括若干個處理器1010(例如兩個、四個、八個或另一合適數(shù)目)的多處理器系統(tǒng)。處理器1010可以是能夠執(zhí)行指令的任何合適的處理器。例如，在各種實施方式中，處理器1010可以是實現(xiàn)多種指令集架構(gòu)(ISA)中任ー種的通用或嵌入式處理器，該ISA諸如X86、PowerPC、SPARC或MIPS ISA、任何其他合適的ISA。在多處理器系統(tǒng)中，各個處理器1010可以通常但并不必然地實現(xiàn)同一 ISA。在一些實施方式中，至少ー個處理器1010可以是圖形處理單元。圖形處理單元或GPU可以被認為是用于個人計算機、工作站、游戲控制器或其他計算或電子設備的專用圖形渲染設備?，F(xiàn)代GPU在操縱和顯示計算機圖形方面可以非常高效，并且它們的高度并行結(jié)構(gòu)可以使得它們在復雜圖形算法領域中比常規(guī)CPU更為有效。例如，圖形處理器可以以如下方式實現(xiàn)多個圖形圖元操作，該方式使得相比于使用主控中央處理單元(CPU)在屏幕上直接繪制，執(zhí)行該圖形圖元操作更加快速。在各種實施方式中，本文公開的方法和技術可以至少部分地由配置用于在兩個或多個這類GPU之ー上執(zhí)行、或在兩個或多個這類GPU上并行執(zhí)行的程序指令實現(xiàn)。GPU可以實現(xiàn)允許程序員調(diào)取GPU功能性的一個或多個應用程序員接ロ(API)。合適的GPU可以在商業(yè)上購自諸如NVIDIA Corporation、ATITechnologies (AMD)等之類的賣主。
系統(tǒng)存儲器1020可以配置成存儲可由處理器1010訪問的程序指令和/或數(shù)據(jù)。在各種實施方式中，可以使用任何合適的存儲器技術(諸如靜態(tài)隨機存取存儲器(SRAM)、同步動態(tài)RAM(SDRAM)、非易失性/閃速類型存儲器或任何其他類型的存儲器)實現(xiàn)系統(tǒng)存儲器1020。在示出的實施方式中，實現(xiàn)期望功能的程序指令和數(shù)據(jù)(諸如上文針對局部坐標系UI模塊和/或?qū)崿F(xiàn)局部坐標系UI模塊或技術的實施方式描述的那些指令和數(shù)據(jù))被示出為在系統(tǒng)存儲器1020內(nèi)分別作為程序指令1025和數(shù)據(jù)存儲器1035存儲。在其他一些實施方式中，可以接收、發(fā)送程序，或者可以在不同類型的計算機可訪問介質(zhì)或與系統(tǒng)存儲器1020或計算機系統(tǒng)1000分離的類似介質(zhì)上存儲該指令和/或數(shù)據(jù)。一般而言，計算機可訪問介質(zhì)可以包括經(jīng)由1/0接ロ 1020耦合至計算機系統(tǒng)1000的存儲介質(zhì)或存儲器介質(zhì)，諸如磁介質(zhì)或光介質(zhì)，例如盤或CD/DVD-R0M。經(jīng)由計算機可訪問介質(zhì)存儲的程序指令和數(shù)據(jù)可以通過諸如電信號、電磁信號或數(shù)字信號之類的傳輸介質(zhì)或信號傳輸，該信號可以經(jīng)由諸如網(wǎng)絡和/或無線鏈路之類的通信介質(zhì)傳送，諸如可以經(jīng)由網(wǎng)絡接ロ 1040實現(xiàn)。在一個實施方式中，1/0接ロ 1030可以配置成協(xié)調(diào)在處理器1010、系統(tǒng)存儲器1020以及該設備中包括的任何外圍接ロ(包括網(wǎng)絡接ロ 1040或者其他外圍接ロ，諸如輸入/輸出設備1050)之間的1/0業(yè)務。在一些實施方式中，1/0接ロ 1030可以執(zhí)行任何必須的協(xié)議、定時或用于將來自ー個部件(例如系統(tǒng)存儲器1020)的數(shù)據(jù)信號轉(zhuǎn)換成適于供另一部件(例如處理器1010)使用的格式的其他數(shù)據(jù)變換。在一些實施方式中，1/0接ロ1030可以包括對于通過各種類型外圍總線(諸如例如外圍部件互連(PCI)總線標準或通用串行總線(USB)標準的變體)附接的設備的支持。在一些實施方式中，1/0接ロ 1030的功能可以劃分成兩個或更多個単獨部件，諸如例如北橋和南橋。此外，在一些實施方式中，I/O接ロ 1030的功能性的ー些或所有(諸如對系統(tǒng)存儲器1020的接ロ)可以直接并入處理器 1010。網(wǎng)絡接ロ 1040可以配置成允許數(shù)據(jù)在計算機系統(tǒng)1000和附接至網(wǎng)絡的其他設備(諸如其他計算機系統(tǒng))之間交換，或在計算機系統(tǒng)1000的節(jié)點之間交換。在各種實施方式中，網(wǎng)絡接ロ 1040可以支持經(jīng)由有線或無線通用數(shù)據(jù)數(shù)據(jù)網(wǎng)絡(諸如例如任何合適類型的以太網(wǎng))、經(jīng)由電信/電話網(wǎng)絡(諸如模擬語音網(wǎng)絡或數(shù)字光纖通信網(wǎng)絡)、經(jīng)由光纖通道SAN之類的存儲區(qū)域網(wǎng)絡或經(jīng)由任何其他合適類型網(wǎng)絡和/或協(xié)議的通信。在一些實施方式中，輸入/輸出設備1050可以包括一個或多個顯不終端、鍵盤、小鍵盤、觸摸板、掃描設備、語音或光學識別設備、或適于由一個或多個計算機系統(tǒng)1000錄入或檢索數(shù)據(jù)的任何其他設備。多輸入/輸出設備1050可以存在于計算機系統(tǒng)1000，或可以在計算機系統(tǒng)的各種節(jié)點上分布。在一些實施方式中，類似的輸入/輸出設備可以與計算機系統(tǒng)1000分離，并且可以通過諸如網(wǎng)絡接ロ 1040之類的有線或無線連接與計算機系統(tǒng)1000的一個或多個節(jié)點交互。如圖12所示，存儲器1020可以包括程序指令1025和數(shù)據(jù)存儲1035，程序指令1025配置成實現(xiàn)局部坐標系UI模塊和/或?qū)崿F(xiàn)如本文所述的局部坐標系UI模塊或技術的應用的實施方式，數(shù)據(jù)存儲1035包括可由程序指令1025訪問的各種數(shù)據(jù)。在一個實施方 式中，程序指令1025可以包括局部坐標系UI模塊和/或?qū)崿F(xiàn)如上圖所示的局部坐標系UI模塊或技術的應用的實施方式的軟件元件。數(shù)據(jù)存儲1035可以包括可以在ー些實施方式中使用的數(shù)據(jù)。在其他一些實施方式2中，可以包括其他或不同軟件元件和數(shù)據(jù)。本領域技術人員將理解，計算機系統(tǒng)1000僅是說明性的，而非g在限制局部坐標系UI模塊和/或?qū)崿F(xiàn)如本文所述的局部坐標系Π模塊或技術的應用的范圍。具體而言，計算機系統(tǒng)和設備可以包括可以執(zhí)行所示功能的硬件或軟件的任何組合，其包括計算機、個人計算機系統(tǒng)、臺式計算機、膝上型計算機、筆記本或筆記本計算機、大型計算機系統(tǒng)、手持式計算機、工作站、網(wǎng)絡計算機、照相機、機頂盒、移動設備、網(wǎng)絡設備、因特網(wǎng)轉(zhuǎn)換器、PDA、無線手機、尋呼機、消費設備、視頻游戲控制器、手持式視頻游戲設備、應用服務器、存儲設備、外圍設備(諸如交換機、調(diào)制解調(diào)器、路由器)或一般的任何類型的計算或電子設備。計算機系統(tǒng)1000還可以連接至其他未示出的設備，或取代地可以作為單機系統(tǒng)操作。此外，在一些實施方式中，由示出的部件提供的功能性可以組合成更少的部件或在附件的部件中分布。類似地，在一些實施方式中，可能并不提供示出的部件的一些的功能性和/或其他附加的功能性可能可用。本領域技術人員還將理解，雖然各種項示出為存儲在存儲器中或存儲在正被使用的存儲上，但是出于存儲器管理和數(shù)據(jù)完整性的目的，它們的這些項或部分可以在存儲器和其他存儲設備之間傳輸。備選地，在其他一些實施方式中，軟件部件中的ー些或全部可以在另ー設備上的存儲器中執(zhí)行，并且經(jīng)由計算機間通信與示出的計算機系統(tǒng)通信。系統(tǒng)部件或數(shù)據(jù)結(jié)構(gòu)中的ー些或全部還可以被存儲(例如作為指令或結(jié)構(gòu)化的數(shù)據(jù))在計算機可訪問的介質(zhì)上或便攜物品上以供適當驅(qū)動讀取，已在上文中描述了各種示例。在一些實施方式中，存儲在與計算機系統(tǒng)1000分離的計算機可訪問的介質(zhì)上的指令可以經(jīng)由傳輸介質(zhì)或信號(諸如經(jīng)由諸如網(wǎng)絡和/或無線鏈路之類的通信介質(zhì)傳送的電、電磁或數(shù)字信號)被傳輸給計算機系統(tǒng)1000。各種實施方式還可以包括接收、發(fā)送或在計算機可訪問介質(zhì)上存儲根據(jù)前面的描述實現(xiàn)的指令和/或數(shù)據(jù)。相應地，可以使用其他計算機系統(tǒng)配置實踐本發(fā)明。Mrk各種實施方式可以還包括接收、發(fā)送或在計算機可訪問介質(zhì)上存儲根據(jù)前面的描述實現(xiàn)的指令和/或數(shù)據(jù)。一般而言，計算機可訪問的介質(zhì)可以包括存儲介質(zhì)或存儲器介質(zhì)(諸如磁介質(zhì)或光介質(zhì)，例如盤或DVD/CD-R0M、易失性或非易失性介質(zhì)，諸如RAM(例如SDRAM、DDR、RDRAM、SRAM等)、ROM等)以及傳輸介質(zhì)或信號(諸如經(jīng)由通信介質(zhì)(諸如網(wǎng)絡和/或無線鏈路)傳送的電、電磁或數(shù)字信號)。在附圖中示出和在本文中描述的各種方法表示了方法的示例實施方式。方法可以在軟件、硬件或其組合中實現(xiàn)。方法的順序可以改變，并且可以添加、重新排序、組合、省略、修改各種元素等。對于從本公開獲利的本領域技術人員顯然的是可以做出各種修改和改變。本發(fā)明旨在涵蓋所有這類修改和改變，并且上面的描述因此被認為是說明性而非限制性的。權(quán)利要求
1.一種支持多點觸摸的設備，包括 至少一個處理器； 多點觸敏屏；以及 包括程序指令的存儲器，其中所述程序指令由所述至少處理器可執(zhí)行以 接收指示人類手部的多個手指與所述多點觸敏屏的接觸的多點觸摸手勢輸入； 根據(jù)所述多點觸摸手勢輸入構(gòu)建針對所述手部的局部坐標系；以及 顯示兩個或更多個用戶界面元素，每個用戶界面元素對應于特定手指，其中根據(jù)針對所述手部的所述局部坐標系顯示所述用戶界面元素。
2.根據(jù)權(quán)利要求I所述的支持多點觸摸的設備，其中所述多點觸摸手勢輸入指示四個或五個手指與所述多點觸敏屏的接觸。
3.根據(jù)權(quán)利要求I所述的支持多點觸摸的設備，其中所述程序指令可以由所述至少一個處理器進一步可執(zhí)行以 檢測選擇所述兩個或更多個用戶界面元素中的特定用戶界面元素的事件；以及 在所述支持多點觸摸設備上接收手勢輸入，所述手勢輸入操縱所選擇的用戶界面元素以對應于所選擇的用戶界面元素而執(zhí)行動作或應用調(diào)整。
4.根據(jù)權(quán)利要求3所述的支持多點觸摸的設備，其中選擇所述用戶界面元素的事件是，從所述設備的所述多點觸敏屏移開除了對應于所選擇的用戶界面元素的手指之外的所有手指。
5.根據(jù)權(quán)利要求3所述的支持多點觸摸的設備，其中選擇所述用戶界面元素的事件是，在手指與所述多點觸敏屏的接觸靠近所選擇的用戶界面元素之后，從所述設備的所述多點觸敏屏移開所有手指。
6.根據(jù)權(quán)利要求I所述的支持多點觸摸的設備，其中根據(jù)針對所述手部的所述局部坐標系顯示所述用戶界面元素，從而使得所述用戶界面元素不被執(zhí)行所述多點觸摸手勢輸入的所述手部遮擋。
7.根據(jù)權(quán)利要求I所述的支持多點觸摸的設備，其中所述兩個或更多個用戶界面元素中的每個是用于調(diào)整在所述支持多點觸摸的設備上實現(xiàn)的應用的特定參數(shù)的控制，或者是用于執(zhí)行所述應用的動作的控制。
8.根據(jù)權(quán)利要求I所述的支持多點觸摸的設備，其中根據(jù)所述手部的向上矢量對所顯示的所述兩個或更多個用戶界面元素中的每個進行定向，其中根據(jù)針對所述手部的所述局部坐標系確定所述向上矢量。
9.根據(jù)權(quán)利要求I所述的支持多點觸摸的設備，其中根據(jù)對應于所述用戶界面元素的特定手指的向上矢量對所顯示的所述兩個或更多個用戶界面元素中的每個進行定向，其中根據(jù)針對所述手部的所述局部坐標系確定針對每個手指的向上矢量。
10.根據(jù)權(quán)利要求I所述的支持多點觸摸的設備，其中所述程序指令由所述至少一個處理器進一步可執(zhí)行以 在所述支持多點觸摸的設備上接收輸入，所述輸入指示所述多個手指在所述設備上的所述多點觸敏屏上的移動；以及 根據(jù)所指示的移動調(diào)整所顯示的兩個或更多個用戶界面元素。
11.根據(jù)權(quán)利要求I所述的支持多點觸摸的設備，其中所述手部是左手或是右手，并且其中根據(jù)使用哪個手部來定向所述局部坐標系，從而使得根據(jù)所述左手或所述右手適當?shù)仫@示所述用戶界面元素。
12.根據(jù)權(quán)利要求I所述的支持多點觸摸的設備，其中所述程序指令由所述至少一個處理器進一步可執(zhí)行以 根據(jù)所述局部坐標系確定所述支持多點觸摸的設備的未被手部遮擋的區(qū)域；以及 在所述支持多點觸摸的設備上顯示一個或多個其他用戶界面元素，其中所述一個或多個其他用戶界面元素中的至少一個被顯示在未被遮擋的區(qū)域中。
13.—種方法,包括 在支持多點觸摸的設備上接收多點觸摸手勢輸入，所述多點觸摸手勢輸入指示人類手部的多個手指與所述設備的多點觸敏屏的接觸； 根據(jù)所述多點觸摸手勢輸入構(gòu)建針對所述手部的局部坐標系；以及 在所述支持多點觸摸的設備上顯示兩個或更多個用戶界面元素，每個用戶界面元素對應于特定手指，其中根據(jù)用于所述手部的所述局部坐標系顯示所述用戶界面元素。
14.根據(jù)權(quán)利要求13所述的方法，還包括 檢測選擇所述兩個或更多個用戶界面元素的特定元素的事件；以及 在所述支持多點觸摸的設備上接收手勢輸入，所述手勢輸入操縱所選擇的用戶界面元素對應于所選擇的用戶界面元素而執(zhí)行動作或應用調(diào)整。
15.—種系統(tǒng),包括 用于在支持多點觸摸的設備上接收多點觸摸手勢輸入的裝置，所述多點觸摸手勢輸入指示人類手部的多個手指與所述設備的多點觸敏屏的接觸； 用于根據(jù)所述多點觸摸手勢輸入構(gòu)建針對手部的局部坐標系的裝置；以及 用于在所述設備上顯示兩個或更多個用戶界面元素的裝置，每個用戶界面元素對應于特定手指，其中根據(jù)用于所述手部的所述局部坐標系顯示所述用戶界面元素。
全文摘要
公開了針對支持多點觸摸的設備提供局部坐標系用戶界面的方法和裝置?？梢栽诙帱c觸摸顯示器設備上提供用戶界面，該用戶界面根據(jù)在人類手部周圍構(gòu)建的局部坐標系而顯示。用戶可以使用自然的手勢將所有的五個手指的指尖放置多點觸摸用戶界面上以提供五個輸入點；該方法檢測哪個輸入點對應于哪個手指，并且基于輸入點構(gòu)建針對手部的局部坐標系。用戶界面元素(例如控制)可以繼而被指派給每個手指并且在多點觸摸顯示器上顯示。用戶可以繼而根據(jù)需要經(jīng)由與特定控制相關聯(lián)的一個或多個手勢來選擇性地操縱一個或多個所顯示的控制。
文檔編號G06F3/048GK102736845SQ20121008380
公開日2012年10月17日 申請日期2012年3月22日 優(yōu)先權(quán)日2011年3月22日
發(fā)明者A·克里希納斯瓦米, D·K·馬科利納 申請人:奧多比公司