在計(jì)算機(jī)視覺應(yīng)用中擴(kuò)展交互半徑的手勢控制型技術(shù)的制作方法
【專利摘要】本發(fā)明描述一種用于在計(jì)算機(jī)視覺應(yīng)用中擴(kuò)展與裝置的顯示單元的視野內(nèi)的真實(shí)世界的交互半徑的方法和設(shè)備。在例如相機(jī)的輸入感覺單元前面使用手勢來擴(kuò)展所述交互半徑，所述手勢給手持式裝置發(fā)信號以允許用戶能夠進(jìn)一步延伸到真實(shí)和增強(qiáng)的世界中且以較細(xì)粒度進(jìn)行交互。在一個(gè)實(shí)施例中，手持式裝置以電子方式檢測由耦合到裝置的相機(jī)獲得的由用戶肢端產(chǎn)生的至少一個(gè)預(yù)定義手勢。響應(yīng)于檢測到所述至少一個(gè)預(yù)定義手勢，所述手持式裝置在耦合到所述裝置的顯示單元上改變視覺提示的形狀，且響應(yīng)于檢測到所述用戶肢端的移動(dòng)而更新所述顯示單元上顯示的所述視覺提示。
【專利說明】在計(jì)算機(jī)視覺應(yīng)用中擴(kuò)展交互半徑的手勢控制型技術(shù)
[0001]相關(guān)申請案的交叉引用
[0002]本申請案主張2012年4月27日申請的標(biāo)題為“在計(jì)算機(jī)視覺應(yīng)用中擴(kuò)展交互半徑的手勢控制型技術(shù)(Gesture-Controlled Technique to Expand Interaction Radiusin Computer Vision Applications) ”的第13 / 457，840號美國專利申請案的優(yōu)先權(quán),所述申請案主張2011年6月21日申請的標(biāo)題為“在計(jì)算機(jī)視覺應(yīng)用中擴(kuò)展交互半徑的手勢控制型技術(shù)(Gesture-Controlled Technique to Expand Interaction Radius in ComputerVision Applications)”的第61 / 499，645號美國臨時(shí)申請案的優(yōu)先權(quán)并且以引用方式特此并入。
【技術(shù)領(lǐng)域】【背景技術(shù)】
[0003]計(jì)算機(jī)視覺允許裝置感知裝置附近的環(huán)境。計(jì)算機(jī)視覺通過允許顯示裝置增強(qiáng)用戶周圍環(huán)境的現(xiàn)實(shí)而實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)中的應(yīng)用。現(xiàn)代的手持式裝置，像平板計(jì)算機(jī)、智能電話、視頻游戲控制臺、個(gè)人數(shù)字助理、傻瓜相機(jī)和移動(dòng)裝置，可以通過使相機(jī)捕獲感覺輸入來實(shí)現(xiàn)少許形式的計(jì)算機(jī)視覺。在這些手持式裝置中，用戶與裝置的可用交互區(qū)域受用戶手臂的長度所限制。用戶與真實(shí)世界的交互的這個(gè)幾何限制必然會限制用戶與通過手持式裝置促進(jìn)的真實(shí)和增強(qiáng)的世界中的物體進(jìn)行交互的能力。因此，用戶被限于在手持式裝置的屏幕上進(jìn)行交互或者被限于受用戶手臂的長度所限制的小區(qū)域。
[0004]用戶與裝置之間的交互的空間限制在增強(qiáng)現(xiàn)實(shí)中被加劇，其中需要用一只手將手持式裝置定位在用戶的視野內(nèi)。另一只空出來的手可用于與裝置或與真實(shí)世界進(jìn)行交互。用戶交互空間的幾何限制被限于拿著手持式裝置的用戶的手臂長度以及用戶與手持式裝置之間的能讓用戶舒服地觀看顯示單元的最大距離。
[0005]手持式裝置存在的另一問題是使用手指與裝置上的觸摸屏進(jìn)行交互而實(shí)現(xiàn)的控制粒度方面的限制。此外，隨著技術(shù)的進(jìn)步，屏幕分辨率快速提高，從而允許裝置顯示越來越多的信息。屏幕分辨率的提高導(dǎo)致用戶以較細(xì)粒度與裝置進(jìn)行準(zhǔn)確交互的能力降低。為了幫助減輕所述問題，一些裝置制造商提供了允許用戶進(jìn)行較細(xì)粒度的控制的棒。然而，用于操作手持式裝置的又一物品的攜帶、防護(hù)和取出已經(jīng)在這些棒的市場接受度方面豎起了很大的障礙。

【發(fā)明內(nèi)容】

[0006]提供了用于在相機(jī)前面使用手勢以允許用戶能夠進(jìn)一步延伸到真實(shí)和增強(qiáng)的世界中且以較細(xì)粒度進(jìn)行交互而擴(kuò)展與相機(jī)的視野內(nèi)的真實(shí)世界的活動(dòng)半徑的技術(shù)。
[0007]舉例來說，通過在相機(jī)的視野中執(zhí)行的手或手指的手勢來觸發(fā)真實(shí)世界的活動(dòng)半徑的擴(kuò)展。此手勢被辨識出且導(dǎo)致手或手指在視覺上更遠(yuǎn)地延伸到裝置的顯示單元所呈現(xiàn)的視野中。可接著使用延伸的肢端來與真實(shí)和增強(qiáng)的世界中的更多不同的物體進(jìn)行交互。[0008]一種涉及用戶的至少一個(gè)預(yù)定義手勢的用于增強(qiáng)計(jì)算機(jī)視覺應(yīng)用的方法的實(shí)例可包含:以電子方式檢測由耦合到裝置的相機(jī)獲得的由用戶肢端產(chǎn)生的至少一個(gè)預(yù)定義手勢；響應(yīng)于檢測到所述至少一個(gè)預(yù)定義手勢，在耦合到所述裝置的顯示單元上改變視覺提示的形狀；以及響應(yīng)于檢測到所述用戶肢端的移動(dòng)而更新所述顯示單元上顯示的所述視覺提示。所述裝置可為以下各項(xiàng)中的一者:手持式裝置、視頻游戲控制臺、平板計(jì)算機(jī)、智能電話、傻瓜相機(jī)、個(gè)人數(shù)字助理和移動(dòng)裝置。在一個(gè)方面中，所述視覺提示包括所述用戶肢端的表示，且改變所述視覺提示的所述形狀包含使所述顯示單元上的所述視覺提示進(jìn)一步延伸到所述顯示單元所呈現(xiàn)的視野中。在另一方面中，改變所述視覺提示的所述形狀包括使所述顯示單元呈現(xiàn)的所述用戶肢端的所述表示的尖端變窄。
[0009]在一個(gè)實(shí)例設(shè)置中，所述裝置在后置相機(jī)的視野中檢測由用戶肢端產(chǎn)生的預(yù)定義手勢。在另一實(shí)例設(shè)置中，所述裝置在前置相機(jī)的視野中檢測由用戶肢端產(chǎn)生的預(yù)定義手勢。
[0010]在一些實(shí)施方案中，所述至少一個(gè)預(yù)定義手勢包括第一手勢和第二手勢，其中在檢測到所述第一手勢之后，所述裝置即激活允許改變所述視覺提示的所述形狀的模式，且在檢測到所述第二手勢之后，所述裝置即改變所述顯示單元上顯示的所述視覺提示的所述形狀。在一個(gè)實(shí)施例中，所述視覺提示可包括稱合到所述裝置的所述顯示單元上顯示的所述用戶肢端的延伸的表示。在另一實(shí)施例中，所述視覺提示可包括由所述至少一個(gè)預(yù)定義手勢選擇且在稱合到所述裝置的所述顯示單元上顯示的虛擬物體。延伸所述顯示單元上的所述視覺提示可包括追蹤所述用戶肢端的所述移動(dòng)以及移動(dòng)方向，以及在所述用戶肢端的所述移動(dòng)方向上延伸所述顯示單元上的所述視覺提示，其中所述裝置的所述顯示單元上表示的所述視覺提示在特定方向上的延伸與所述用戶肢端在所述方向上的移動(dòng)成正比。
[0011]一種用于實(shí)施系統(tǒng)的實(shí)例裝置可包含:處理器；耦合到所述處理器的輸入感覺單元；耦合到所述處理器的顯示單元；以及耦合到所述處理器的非暫時(shí)性計(jì)算機(jī)可讀存儲媒體，其中所述非暫時(shí)性計(jì)算機(jī)可讀存儲媒體可包括可由所述處理器執(zhí)行以用于實(shí)施一種方法的代碼，所述方法包括:以電子方式檢測由耦合到裝置的相機(jī)獲得的由用戶肢端產(chǎn)生的至少一個(gè)預(yù)定義手勢；響應(yīng)于檢測到所述至少一個(gè)預(yù)定義手勢，在耦合到所述裝置的顯示單元上改變視覺提示的形狀；以及響應(yīng)于檢測到所述用戶肢端的移動(dòng)而更新所述顯示單元上顯示的所述視覺提示。
[0012]所述裝置可為以下各項(xiàng)中的一者:手持式裝置、視頻游戲控制臺、平板計(jì)算機(jī)、智能電話、傻瓜相機(jī)、個(gè)人數(shù)字助理和移動(dòng)裝置。在一個(gè)方面中，所述視覺提示包括所述用戶肢端的表示，且改變所述視覺提示的所述形狀包含使所述顯示單元上的所述視覺提示進(jìn)一步延伸到所述顯示單元所呈現(xiàn)的視野中。在另一方面中，改變所述視覺提示的所述形狀包括使所述顯示單元呈現(xiàn)的所述用戶肢端的所述表示的尖端變窄。
[0013]在一個(gè)實(shí)例設(shè)置中，所述裝置在后置相機(jī)的視野中檢測由用戶肢端產(chǎn)生的預(yù)定義手勢。在另一實(shí)例設(shè)置中，所述裝置在前置相機(jī)的視野中檢測由用戶肢端產(chǎn)生的預(yù)定義手勢。在一些實(shí)施方案中，所述至少一個(gè)預(yù)定義手勢包括第一手勢和第二手勢，其中在檢測到所述第一手勢之后，所述裝置即激活允許改變所述視覺提示的所述形狀的模式，且在檢測到所述第二手勢之后，所述裝置即改變所述顯示單元上顯示的所述視覺提示的所述形狀。
[0014]此種裝置的實(shí)施方案可包含以下特征中的一者或一者以上。在一個(gè)實(shí)施例中，所述視覺提示可包括耦合到所述裝置的所述顯示單元上顯示的所述用戶肢端的延伸的表示。在另一實(shí)施例中，所述視覺提示可包括由所述至少一個(gè)預(yù)定義手勢選擇且在耦合到所述裝置的所述顯示單元上顯示的虛擬物體。延伸所述顯示單元上的所述視覺提示可包括追蹤所述用戶肢端的所述移動(dòng)以及移動(dòng)方向，以及在所述用戶肢端的所述移動(dòng)方向上延伸所述顯示單元上的所述視覺提示,其中所述裝置的所述顯示單元上表示的所述視覺提示在特定方向上的延伸與所述用戶肢端在所述方向上的移動(dòng)成正比。
[0015]一種耦合到處理器的實(shí)例非暫時(shí)性計(jì)算機(jī)可讀存儲媒體，其中所述非暫時(shí)性計(jì)算機(jī)可讀存儲媒體包括可由所述處理器執(zhí)行以用于實(shí)施一種方法的計(jì)算機(jī)程序，所述方法包括:以電子方式檢測由耦合到裝置的相機(jī)獲得的由用戶肢端產(chǎn)生的至少一個(gè)預(yù)定義手勢；響應(yīng)于檢測到所述至少一個(gè)預(yù)定義手勢，在耦合到所述裝置的顯示單元上改變視覺提示的形狀；以及響應(yīng)于檢測到所述用戶肢端的移動(dòng)而更新所述顯示單元上顯示的所述視覺提
/Jn ο
[0016]所述裝置可為以下各項(xiàng)中的一者:手持式裝置、視頻游戲控制臺、平板計(jì)算機(jī)、智能電話、傻瓜相機(jī)、個(gè)人數(shù)字助理和移動(dòng)裝置。在一個(gè)方面中，所述視覺提示包括所述用戶肢端的表示，且改變所述視覺提示的所述形狀包含使所述顯示單元上的所述視覺提示進(jìn)一步延伸到所述顯示單元所呈現(xiàn)的視野中。在另一方面中，改變所述視覺提示的所述形狀包括使所述顯示單元呈現(xiàn)的所述用戶肢端的所述表示的尖端變窄。
[0017]在一個(gè)實(shí)例設(shè)置中，所述裝置在后置相機(jī)的視野中檢測由用戶肢端產(chǎn)生的預(yù)定義手勢。在另一實(shí)例設(shè)置中，所述裝置在前置相機(jī)的視野中檢測由用戶肢端產(chǎn)生的預(yù)定義手勢。在一些實(shí)施方案中，所述至少一個(gè)預(yù)定義手勢包括第一手勢和第二手勢，其中在檢測到所述第一手勢之后，所述裝置即激活允許改變所述視覺提示的所述形狀的模式，且在檢測到所述第二手勢之后，所述裝置即改變所述顯示單元上顯示的所述視覺提示的所述形狀。
[0018]此種非暫時(shí)性計(jì)算機(jī)可讀存儲產(chǎn)品的實(shí)施方案可包含以下特征中的一者或一者以上。在一個(gè)實(shí)施例中，所述視覺提示可包括稱合到所述裝置的所述顯示單元上顯示的所述用戶肢端的延伸的表示。在另一實(shí)施例中，所述視覺提示可包括由所述至少一個(gè)預(yù)定義手勢選擇且在稱合到所述裝置的所述顯示單元上顯示的虛擬物體。延伸所述顯示單元上的所述視覺提示可包括追蹤所述用戶肢端的所述移動(dòng)以及移動(dòng)方向，以及在所述用戶肢端的所述移動(dòng)方向上延伸所述顯示單元上的所述視覺提示，其中所述裝置的所述顯示單元上表示的所述視覺提示在特定方向上的延伸與所述用戶肢端在所述方向上的移動(dòng)成正比。
[0019]一種用于執(zhí)行增強(qiáng)計(jì)算機(jī)視覺應(yīng)用的方法的實(shí)例設(shè)備，所述方法包括:用于以電子方式檢測由耦合到裝置的相機(jī)獲得的由用戶肢端產(chǎn)生的至少一個(gè)預(yù)定義手勢的裝置；響應(yīng)于檢測到所述至少一個(gè)預(yù)定義手勢，用于在耦合到所述裝置的顯示單元上改變視覺提示的形狀的裝置；以及用于響應(yīng)于檢測到所述用戶肢端的移動(dòng)而更新所述顯示單元上顯示的所述視覺提示的裝置。
[0020]所述裝置可為以下各項(xiàng)中的一者:手持式裝置、視頻游戲控制臺、平板計(jì)算機(jī)、智能電話、傻瓜相機(jī)、個(gè)人數(shù)字助理和移動(dòng)裝置。在一個(gè)方面中，所述視覺提示包括用于表示用戶肢端的裝置，且用于改變所述視覺提示的所述形狀的裝置包含用于使所述顯示單元上的所述視覺提示進(jìn)一步延伸到所述顯示單元所呈現(xiàn)的視野中的裝置。在另一方面中，改變所述視覺提示的所述形狀包括用于使所述顯示單元呈現(xiàn)的所述用戶肢端的所述表示的尖端變窄的裝置。
[0021]在一個(gè)實(shí)例設(shè)置中，所述裝置在后置相機(jī)的視野中檢測由用戶肢端產(chǎn)生的預(yù)定義手勢。在另一實(shí)例設(shè)置中，所述裝置在前置相機(jī)的視野中檢測由用戶肢端產(chǎn)生的預(yù)定義手勢。在一些實(shí)施方案中，所述至少一個(gè)預(yù)定義手勢包括第一手勢和第二手勢，其中在檢測到所述第一手勢之后，所述裝置即具有用于激活允許用于改變所述視覺提示的所述形狀的裝置的模式的裝置，且在檢測到所述第二手勢之后，所述裝置即改變所述顯示單元上顯示的所述視覺提示的所述形狀。
[0022]系統(tǒng)中用于執(zhí)行所述方法的所述設(shè)備的實(shí)例設(shè)置可包含以下各項(xiàng)中的一者或一者以上。在一個(gè)實(shí)施例中，所述視覺提示可包括用于表示耦合到所述裝置的所述顯示單元上顯示的所述用戶肢端的延伸的裝置。在另一實(shí)施例中，所述視覺提示可包括由所述至少一個(gè)預(yù)定義手勢選擇且在耦合到所述裝置的所述顯示單元上顯示的虛擬物體。延伸所述顯示單元上的所述視覺提示可包括用于追蹤所述用戶肢端的所述移動(dòng)以及移動(dòng)方向以及在所述用戶肢端的所述移動(dòng)方向上延伸所述顯示單元上的所述視覺提示的裝置，其中所述裝置的所述顯示單元上表示的所述視覺提示在特定方向上的延伸與所述用戶肢端在所述方向上的移動(dòng)成正比。
[0023]前述內(nèi)容已相當(dāng)廣泛地概述了根據(jù)本發(fā)明的實(shí)例的特征和技術(shù)優(yōu)點(diǎn)，以便可更好地理解以下詳細(xì)說明。下文中將描述額外的特征和優(yōu)點(diǎn)。所揭示的概念和具體實(shí)例可容易地用作用于修改或設(shè)計(jì)用于實(shí)現(xiàn)本發(fā)明的相同目的的其它結(jié)構(gòu)的基礎(chǔ)。此些等效構(gòu)造并不脫離所附權(quán)利要求書的精神和范圍。當(dāng)結(jié)合附圖進(jìn)行考慮時(shí)，從以下描述中將能更好地理解被認(rèn)為是本文所揭示概念特有的特征(關(guān)于其組織和操作方法)以及相關(guān)聯(lián)優(yōu)點(diǎn)。諸圖中的每一者只被提供用來進(jìn)行說明和描述，而非界定權(quán)利要求書的限制。
【專利附圖】

【附圖說明】
[0024]參考圖式提供以下描述，其中相同的參考數(shù)字通篇用以指代相同的元件。雖然本文中描述了一種或一種以上技術(shù)的各種細(xì)節(jié)，但是其它技術(shù)也是可能的。在一些情況中，以框圖形式展示眾所周知的結(jié)構(gòu)和裝置，以便于描述各種技術(shù)。
[0025]通過參考本說明書的其余部分以及圖式，可進(jìn)一步理解本發(fā)明所提供的實(shí)例的性質(zhì)和優(yōu)點(diǎn)，其中在若干圖式中使用相同的參考數(shù)字指代類似的組件。在一些情況中，將子標(biāo)號與參考數(shù)字相關(guān)聯(lián)以表示多個(gè)類似組件中的一者。當(dāng)提到參考數(shù)字但并沒有指明現(xiàn)有子標(biāo)號時(shí)，所述參考數(shù)字指代所有此些類似組件。
[0026]圖1說明了用于在手持式裝置上使用本發(fā)明的實(shí)施例的示范性用戶配置設(shè)置。
[0027]圖2說明了用于在手持式裝置上使用本發(fā)明的實(shí)施例的另一示范性用戶配置設(shè)置。
[0028]圖3說明了用于在手持式裝置上使用本發(fā)明的實(shí)施例的又一示范性用戶配置設(shè)置。
[0029]圖4說明了用戶用來實(shí)踐本發(fā)明的實(shí)施例的預(yù)定義手勢的實(shí)例。
[0030]圖5是說明了用于在計(jì)算機(jī)視覺應(yīng)用中擴(kuò)展與手持式裝置的交互半徑的方法500的簡化流程圖。
[0031]圖6是說明了用于在計(jì)算機(jī)視覺應(yīng)用中擴(kuò)展與手持式裝置的交互半徑的方法600的另一簡化流程圖。
[0032]圖7是說明了用于在計(jì)算機(jī)視覺應(yīng)用中擴(kuò)展與手持式裝置的交互半徑的方法700的另一簡化流程圖。
[0033]圖8是說明了用于在計(jì)算機(jī)視覺應(yīng)用中擴(kuò)展與手持式裝置的交互半徑的方法800的又一簡化流程圖。
[0034]圖9說明了并入了用于實(shí)踐本發(fā)明的實(shí)施例的裝置的部分的示范性計(jì)算機(jī)系統(tǒng)。【具體實(shí)施方式】
[0035]本發(fā)明的實(shí)施例包含用于使用預(yù)定義手勢擴(kuò)展與相機(jī)的視野內(nèi)的真實(shí)世界的交互半徑的技術(shù)。用戶在耦合到裝置的相機(jī)前面做出的預(yù)定義手勢允許用戶以較細(xì)粒度將用戶的觸及范圍延伸到真實(shí)和增強(qiáng)的世界中。
[0036]參考圖1的實(shí)例，用戶102通過用一只手握持手持式裝置且用空出來的手與手持式裝置進(jìn)行交互來與手持式裝置104進(jìn)行交互。用戶102與手持式裝置104進(jìn)行交互的最大半徑由用戶伸出他們握持手持式裝置104的手臂108所能觸及到的范圍決定。用戶與手持式裝置104進(jìn)行交互的最大半徑還受到在不明顯有損用戶觀看手持式裝置104的顯示單元的能力的情況下用戶102可將手持式裝置伸出去的距離所限制。手持式裝置104可為具有輸入感覺單元的任何計(jì)算裝置，所述輸入感覺單元例如耦合到所述計(jì)算裝置的相機(jī)和顯示單元。手持式裝置的實(shí)例包含但不限于視頻游戲控制臺、平板計(jì)算機(jī)、智能電話、個(gè)人數(shù)字助理、傻瓜相機(jī)和移動(dòng)裝置。在一個(gè)實(shí)施例中，手持式裝置可具有前置相機(jī)和后置相機(jī)。在一些實(shí)施方案中，前置相機(jī)與顯示單元放置于手持式裝置的同一側(cè)上，使得在用戶與手持式裝置的顯示單元進(jìn)行交互時(shí)，前置相機(jī)正面向用戶。在許多情況中，后置相機(jī)可位于手持式裝置的相對側(cè)上。在使用時(shí)，耦合到手持式裝置的后置相機(jī)可面向遠(yuǎn)離用戶的方向。在上述配置設(shè)置中，用戶102有一只手臂110和一只手112空出來且閑著以在手持式裝置104的視野中進(jìn)行交互。手持式裝置的視野是在任何給定時(shí)刻在輸入感覺單元處感測到的可觀察的真實(shí)世界的范圍。在此配置中，用戶102與手持式裝置104的有用交互區(qū)域被限于手持式裝置104與用戶102之間的區(qū)域。在一些實(shí)施例中，在顯示單元也是觸摸屏的情況下，用戶可通過觸摸屏顯示單元來與所述裝置進(jìn)行交互。關(guān)于真實(shí)世界中用戶102可與之進(jìn)行交互的空間的空間限制必然會限制用戶與通過手持式裝置促進(jìn)的真實(shí)和增強(qiáng)的世界中的物體進(jìn)行交互的能力。因此，用戶102被限于在裝置的屏幕上進(jìn)行交互或者被限于用戶102與手持式裝置104之間的小區(qū)域。
[0037]本發(fā)明的實(shí)施例允許用戶通過增加與手持式裝置104的交互半徑且因此增加與真實(shí)和增強(qiáng)的世界的交互半徑來克服在參考圖1的實(shí)例時(shí)描述的空間限制。參考圖2的實(shí)例，在一個(gè)實(shí)施例中，用戶202正直望著204手持式裝置206的顯示單元。手持式裝置206具有輸入感覺單元208。在一個(gè)實(shí)施例中，所述輸入感覺單元是在手持式裝置的背對用戶那側(cè)上的后置相機(jī)。相機(jī)的視野216遠(yuǎn)離用戶朝向真實(shí)世界延伸。用戶閑著的手臂212和閑著的手210可在相機(jī)的視野216中與真實(shí)和增強(qiáng)的世界進(jìn)行交互。圖2中描述的配置允許用戶將交互半徑增加到相機(jī)之外。并且，用戶202可將手持式裝置206拿到更近處，使得用戶在相機(jī)的視野內(nèi)進(jìn)行交互時(shí)能清楚看到手持式裝置206的顯示單元上顯示的細(xì)節(jié)。
[0038]在本發(fā)明的一個(gè)實(shí)施例中，手持式裝置在后置相機(jī)的視野216中檢測用戶使用他/她的肢端做出的預(yù)定義手勢以進(jìn)一步擴(kuò)展與手持式裝置206的交互半徑。所述手勢可以是手指的松開(如圖4所示)或任何其它不同的標(biāo)記，手持式裝置206可將所述標(biāo)記檢測為用戶202可能想要擴(kuò)展增強(qiáng)世界中的深度和交互半徑的暗示。在一些實(shí)施例中，手持式裝置在檢測到預(yù)定義手勢之后即激活允許用戶實(shí)踐本發(fā)明的實(shí)施例的模式。手持式裝置206可經(jīng)預(yù)編程以辨識預(yù)定義手勢。在另一實(shí)施例中，手持式裝置206可學(xué)習(xí)新的手勢或者更新已知手勢的定義。另外，手持式裝置可促進(jìn)允許手持式裝置206學(xué)習(xí)用戶所教的新手勢的訓(xùn)練模式。
[0039]在檢測到預(yù)定義手勢之后，手持式裝置206即可進(jìn)入允許視覺提示延伸到如顯示單元上呈現(xiàn)的真實(shí)和增強(qiáng)的世界中的模式。手持式裝置206通過允許視覺提示進(jìn)一步延伸到顯示單元所呈現(xiàn)的視野216中來實(shí)現(xiàn)交互半徑的延伸。在一些實(shí)施例中，視覺提示可以是人類肢端。人類肢端的實(shí)例可包含手指、手、手臂或腿。手持式裝置206可通過改變視覺提示的形狀使視覺提示在顯示單元所呈現(xiàn)的視野中延伸。舉例來說，如果視覺提示是手指，那么如在顯示單元上向用戶呈現(xiàn)的，手指可進(jìn)一步拉長。在另一實(shí)施方案中，手指可變窄且變尖以形成拉長手指的視覺效果。在又一實(shí)施例中，手指可由顯示單元呈現(xiàn)為拉長的且變窄的。還可通過使圖像放大和縮小來調(diào)整顯示單元上顯示的視野，以進(jìn)一步增加視覺提示的觸及范圍。
[0040]手持式裝置206允許延伸的用戶肢端以更長的觸及范圍且以更細(xì)的粒度與真實(shí)和增強(qiáng)的世界中的更多不同的物體進(jìn)行交互且操縱所述物體。舉例來說，本發(fā)明的實(shí)施例可用于在增強(qiáng)現(xiàn)實(shí)中精確地操縱2米之外的小立方體。特定移動(dòng)的速度和方向可用于確定人類肢端延伸到真實(shí)或增強(qiáng)的世界中多遠(yuǎn)。在另一實(shí)例中，所述裝置可允許用戶選擇遠(yuǎn)處公告牌上的外國文字，以便由手持式裝置206進(jìn)行翻譯。嵌入于手持式裝置中的本發(fā)明的實(shí)施例可允許用戶使用視覺提示觸及公告牌且選擇要翻譯的外文文字。延伸的人類肢端與物體的交互類型可包含但不限于在真實(shí)和增強(qiáng)的世界中指向、移動(dòng)、轉(zhuǎn)動(dòng)、推動(dòng)、抓住、旋轉(zhuǎn)和夾住物體。
[0041]來自延伸的用戶肢端的視覺提示還替代了對用于與手持式裝置進(jìn)行交互的棒的需要。所述棒允許用戶以較細(xì)粒度與觸摸屏的顯示單元上顯示的物體進(jìn)行交互。然而，用戶需要攜帶所述棒且在每次用戶想要使用所述棒與手持式裝置進(jìn)行交互時(shí)將其取出。并且，所述棒的粒度不可調(diào)整。由延伸的用戶肢端產(chǎn)生的視覺提示還提供了棒所具有的較細(xì)粒度的益處。如手持式裝置206的顯示單元上顯示的用戶肢端的變窄和變尖允許用戶以更細(xì)的粒度選擇或操縱物體。手持式裝置206的顯示單元上顯示的視覺提示的使用還允許用戶在顯示單元對元素的傳統(tǒng)顯示中選擇并操縱物體。舉例來說，視覺提示可允許用戶對需要較細(xì)粒度的控制且是功能豐富的應(yīng)用程序(像Photoshop?)起作用，或者從圖片中簡單地選出一群人中的一個(gè)人。類似地，在增強(qiáng)現(xiàn)實(shí)設(shè)置中，以細(xì)粒度即時(shí)存取視覺提示將允許用戶從一群人中更容易地選出一個(gè)人，所述一群人處于相機(jī)的視野中且顯示于手持式裝置206的顯示單元上。
[0042]返回參考圖1的實(shí)例，手持式裝置還可執(zhí)行在參考圖2時(shí)描述的本發(fā)明的實(shí)施例。在圖1中，與手持式裝置104的交互區(qū)域主要被限于用戶102與手持式裝置104之間的空間。就具有面向用戶102的前置相機(jī)的手持式裝置來說，用戶102可使用他/她的手或手指來與所述手持式裝置進(jìn)行交互。用戶102做出的預(yù)定義手勢可暗示相機(jī)在顯示單元上顯示視覺提示。所述視覺提示可為用戶的手指或手的表示。在用戶102向前移動(dòng)他/她的手指時(shí)，所述手指的表示可變窄且變尖，從而允許與裝置進(jìn)行較細(xì)粒度的交互。如果手持式裝置104在裝置的兩側(cè)都具有相機(jī)，那么用戶也可在圖1的配置中在增強(qiáng)現(xiàn)實(shí)中與物體進(jìn)行交互。在一個(gè)實(shí)施方案中，在面向用戶102那側(cè)上的相機(jī)所檢測到的手指或手的表示疊加在顯示在背對用戶那側(cè)上的相機(jī)可見的視野的顯示單元上。
[0043]參考圖3，作為用于實(shí)踐本發(fā)明的實(shí)施例的另一實(shí)例配置設(shè)置，用戶302可將他們的左臂304伸出到他們身體的前面或伸向他們身體的左邊，只要左手306處于手持式裝置310的輸入感覺單元316的視野內(nèi)便可。用戶302將手持式裝置310拿在他們的右手312中。所述裝置具有輸入感覺單元316，所述輸入感覺單元為處于面朝用戶那側(cè)上的前置相機(jī)。用戶的手、用戶的眼睛以及所述裝置可形成三角形308，從而允許用戶在與裝置的交互中增加靈活性。此配置類似于關(guān)于圖1所論述的配置。然而，此配置可使得用戶302與手持式裝置310的交互半徑變大。如上文關(guān)于圖1和圖2所論述，可由手持式裝置310實(shí)踐本發(fā)明的實(shí)施例。
[0044]圖4說明由手持式裝置檢測以操作本發(fā)明的實(shí)施例的由用戶做出的實(shí)例手勢。手持式裝置可將手指的松開檢測為將手指的觸及范圍延伸到顯示單元所呈現(xiàn)的視野中的暗示。在此實(shí)施例中，用戶用握緊的手開始與增強(qiáng)世界的交互(框402)。裝置經(jīng)預(yù)編程或經(jīng)訓(xùn)練以將手指的松開檢測為與增強(qiáng)世界的有效交互。在手持式裝置檢測到用戶松開手指(框404到406)時(shí)，手持式裝置進(jìn)入允許用戶的交互半徑延伸到真實(shí)或增強(qiáng)的世界中的模式。在用戶以預(yù)定速度(速率)或更快地移動(dòng)手指時(shí)，手持式裝置檢測到與增強(qiáng)世界的交互且可開始將手指延伸(框408)到由顯示單元顯示且由用戶感知的視野中。在用戶的手繼續(xù)在用戶正指向的方向上移動(dòng)時(shí)，手持式裝置顯示手指正變長且更尖(框410)。手持式裝置還可響應(yīng)于手指的加速度(特定方向上的速度改變)而延伸手指。在手持式裝置檢測到手指正變長且更尖時(shí)，手持式裝置允許用戶將手指的觸及范圍進(jìn)一步延伸到真實(shí)和增強(qiáng)的現(xiàn)實(shí)中且在真實(shí)和增強(qiáng)的世界中施加較細(xì)粒度的操縱。類似地，手持式裝置檢測到手指的縮回會使手指的指尖變短且變寬，直到在顯示單元上回到手和手指的原始大小。
[0045]在另一實(shí)施例中，手持式裝置辨識由用戶做出的允許用戶激活虛擬物體的手勢。虛擬物體的選擇還可取決于手持式裝置辨識手勢時(shí)正運(yùn)行的應(yīng)用程序。舉例來說，當(dāng)在手持式裝置的前臺中運(yùn)行的應(yīng)用程序是高爾夫游戲應(yīng)用程序時(shí)，手持式裝置可選擇高爾夫俱樂部。類似地，如果前臺運(yùn)行的應(yīng)用程序是相片編輯工具，那么所選的虛擬物體可為畫圖刷或者改為畫筆。虛擬物體的實(shí)例可為虛擬棒、虛擬高爾夫俱樂部或虛擬手?？晒┻x擇的虛擬物體還可在顯示單元上顯示為菜單欄。在一個(gè)實(shí)施方案中，重復(fù)的或不同的手勢可從所述菜單欄選擇不同的虛擬物體。類似地，如上所述，在虛擬物體為活動(dòng)時(shí)用戶用他們的肢端進(jìn)行的移動(dòng)的速度和方向可使虛擬物體成比例地延伸或縮回到真實(shí)或增強(qiáng)的世界中。
[0046]手持式裝置檢測到不同的手勢可同時(shí)激活不同的延伸模式和虛擬物體。舉例來說，裝置可激活由用戶觸發(fā)的延伸模式，所述延伸模式允許用戶通過移動(dòng)他們的手臂來延伸手臂的觸及范圍，之后通過松開他們的手指來延伸手指的觸及范圍。
[0047]圖5是說明用于在計(jì)算機(jī)視覺應(yīng)用中擴(kuò)展交互半徑的方法500的簡化流程圖。方法500由處理邏輯執(zhí)行，所述處理邏輯包括硬件(電路、專用邏輯等)、軟件(例如在通用計(jì)算系統(tǒng)或?qū)Ｓ脵C(jī)器上運(yùn)行)、固件(嵌入式軟件)或其任何組合。在一個(gè)實(shí)施例中，方法500由圖9的裝置900執(zhí)行。方法500可在圖1、圖2和圖3中所述的配置設(shè)置中執(zhí)行。
[0048]參考圖5中的實(shí)例流程，在框502處，用戶在手持式裝置的輸入感覺裝置的視野中產(chǎn)生預(yù)定義手勢。所述裝置的輸入感覺單元以電子方式檢測所述預(yù)定義手勢。在一個(gè)實(shí)施例中，所述輸入感覺單元是相機(jī)。所述手持式裝置可具有前置相機(jī)和/或后置相機(jī)。在一些實(shí)施方案中，前置相機(jī)與顯示單元放置于手持式裝置的同一側(cè)上，使得在用戶與手持式裝置的顯示單元進(jìn)行交互時(shí)，前置相機(jī)正面向用戶。在許多情況中，后置相機(jī)可位于手持式裝置的相對側(cè)上。在使用時(shí)，耦合到所述裝置的后置相機(jī)可面向遠(yuǎn)離用戶的方向。響應(yīng)于預(yù)定義手勢，在框504處，可在手持式裝置的顯示單元向用戶呈現(xiàn)的視野中改變視覺提示的形狀。在框506處，手持式裝置使用延伸的視覺提示來與顯示單元所呈現(xiàn)的視野中的物體進(jìn)行交互。
[0049]在框504處，視覺提示的形狀改變允許用戶在真實(shí)世界與增強(qiáng)世界之間搭起橋梁。用戶的手臂、手和手指的大小和特性不適合于與增強(qiáng)世界中的物體進(jìn)行交互。手持式裝置通過改變肢端或任何其它視覺提示的形狀來允許用戶操縱手持式裝置的顯示單元上顯示的物體。在一些實(shí)施例中，由顯示單元顯示的視野還可通過手持式裝置進(jìn)行更改，以便感知視覺提示的形狀改變。在實(shí)例設(shè)置中，手持式裝置的顯示單元可顯示有門的房間。使用當(dāng)前技術(shù)，難以用與用戶在真實(shí)世界中將使用的移動(dòng)精度相同的移動(dòng)精度來模擬用戶對門鈕的轉(zhuǎn)動(dòng)。即使現(xiàn)有技術(shù)的手持式裝置可捕獲用戶移動(dòng)的細(xì)節(jié)，但是現(xiàn)有技術(shù)的手持式裝置無法以一種能使用戶精確地操縱門鈕的有意義的方式來向用戶突出門以及用戶與門的交互的細(xì)節(jié)。由手持式裝置執(zhí)行的本發(fā)明的實(shí)施例可(例如)通過大幅縮小手臂和手的大小(呈現(xiàn)于相機(jī)的視野中)來改變視覺提示的形狀，這樣可允許用戶精確地與門鈕進(jìn)行交互。
[0050]應(yīng)了解，根據(jù)本發(fā)明的實(shí)施例，圖5中所說明的具體步驟提供了在操作模式之間進(jìn)行切換的特定方法。在替代實(shí)施例中也可相應(yīng)地執(zhí)行其它步驟序列。舉例來說，本發(fā)明的替代實(shí)施例可按照不同的次序執(zhí)行上文概述的步驟。為了進(jìn)行說明，用戶可選擇從第三操作模式改變到第一操作模式、從第四模式改變到第二模式，或者其間的任何組合。此外，圖5中所說明的個(gè)別步驟可包含多個(gè)子步驟，在對所述個(gè)別步驟而言為適當(dāng)時(shí)，可以按照各種順序來執(zhí)行所述子步驟。此外，取決于特定應(yīng)用，可添加或移除額外步驟。所屬領(lǐng)域的一般技術(shù)人員將認(rèn)識和了解到方法500的許多變型、修改和替代。
[0051]圖6是說明用于在計(jì)算機(jī)視覺應(yīng)用中擴(kuò)展交互半徑的方法600的另一簡化流程圖。方法600由處理邏輯執(zhí)行，所述處理邏輯包括硬件(電路、專用邏輯等)、軟件(例如在通用計(jì)算系統(tǒng)或?qū)Ｓ脵C(jī)器上運(yùn)行)、固件(嵌入式軟件)或其任何組合。在一個(gè)實(shí)施例中，方法600由圖9的裝置900執(zhí)行。方法600可在圖1、圖2和圖3中所述的配置中執(zhí)行。
[0052]參考圖6中的實(shí)例流程，在框602處，用戶在手持式裝置的輸入感覺裝置的視野中產(chǎn)生預(yù)定義手勢。手持式裝置使用手持式裝置的輸入感覺單元以電子方式檢測所述預(yù)定義手勢。在一個(gè)實(shí)施例中，所述輸入感覺單元是相機(jī)。所述手持式裝置可具有前置相機(jī)和/或后置相機(jī)。在一些實(shí)施方案中，前置相機(jī)與顯示單元放置于手持式裝置的同一側(cè)上，使得在用戶與手持式裝置的顯示單元進(jìn)行交互時(shí)，前置相機(jī)正面向用戶。在許多情況中，后置相機(jī)可位于手持式裝置的相對側(cè)上。在使用時(shí)，耦合到所述裝置的后置相機(jī)可面向遠(yuǎn)離用戶的方向。響應(yīng)于所述手勢，在框604處，手持式裝置使視覺提示進(jìn)一步延伸到顯示單元所呈現(xiàn)的視野中。在框606處，手持式裝置采用延伸的視覺提示來與顯示單元所呈現(xiàn)的視野中的如由用戶操縱的物體進(jìn)行交互。
[0053]在框604處，手持式裝置檢測用戶肢端的觸及范圍的延伸，且通過使視覺提示進(jìn)一步延伸到手持式裝置的顯示單元中呈現(xiàn)的視野中而允許用戶延伸其肢端的觸及范圍。手持式裝置可用多種方式來產(chǎn)生對延伸了視覺提示的觸及范圍的感知。在一個(gè)實(shí)施方案中，手持式裝置可使肢端的表示在顯示單元上變長。舉例來說，如果視覺提示是手指，那么如顯示單元上向用戶呈現(xiàn)的，手持式裝置可進(jìn)一步拉長所述手指。在另一實(shí)施方案中，手持式裝置可在手持式裝置上使肢端的表示變窄且變尖，以使用戶感知到肢端在顯示單元所顯示的視野中正伸向遠(yuǎn)距離。還可通過使圖像放大和縮小來調(diào)整顯示單元上顯示的視野，以進(jìn)一步增加視覺提示的觸及范圍。所描述的示范性實(shí)施方案是非限制性的，且通過延伸視覺提示的觸及范圍對伸向遠(yuǎn)距離的感知可通過組合本文所述的技術(shù)或通過使用其它技術(shù)來產(chǎn)生，所述其它技術(shù)給出如顯示單元上顯示的延伸視覺提示的觸及范圍的相同視覺效果。在框606處，延伸的視覺提示允許用戶與顯示單元上顯示的視野中更遠(yuǎn)的物體進(jìn)行交互。舉例來說，用戶可使用延伸的觸及范圍伸入到一片野花叢中且摘下用戶感興趣的花朵。
[0054]應(yīng)了解，根據(jù)本發(fā)明的實(shí)施例，圖6中所說明的具體步驟提供了在操作模式之間進(jìn)行切換的特定方法。在替代實(shí)施例中也可相應(yīng)地執(zhí)行其它步驟序列。舉例來說，本發(fā)明的替代實(shí)施例可按照不同的次序執(zhí)行上文概述的步驟。為了進(jìn)行說明，用戶可選擇從第三操作模式改變到第一操作模式、從第四模式改變到第二模式，或者其間的任何組合。此外，圖6中所說明的個(gè)別步驟可包含多個(gè)子步驟，在對所述個(gè)別步驟而言為適當(dāng)時(shí)，可以按照各種順序來執(zhí)行所述子步驟。此外，取決于特定應(yīng)用，可添加或移除額外步驟。所屬領(lǐng)域的一般技術(shù)人員將認(rèn)識和了解到方法600的許多變型、修改和替代。
[0055]圖7是說明用于在計(jì)算機(jī)視覺應(yīng)用中擴(kuò)展交互半徑的方法700的另一簡化流程圖。方法700由處理邏輯執(zhí)行，所述處理邏輯包括硬件(電路、專用邏輯等)、軟件(例如在通用計(jì)算系統(tǒng)或?qū)Ｓ脵C(jī)器上運(yùn)行)、固件(嵌入式軟件)或其任何組合。在一個(gè)實(shí)施例中，方法700由圖9的裝置900執(zhí)行。方法700可在圖1、圖2和圖3中所述的配置設(shè)置中執(zhí)行。
[0056]參考圖7中的實(shí)例流程，在框702處，手持式裝置在手持式裝置的輸入感覺單元的視野中檢測用戶所產(chǎn)生的預(yù)定義手勢。所述裝置的輸入感覺單元以電子方式檢測所述預(yù)定義手勢。在一個(gè)實(shí)施例中，所述輸入感覺單元是相機(jī)。所述手持式裝置可具有前置相機(jī)和/或后置相機(jī)。在一些實(shí)施方案中，前置相機(jī)與顯示單元放置于手持式裝置的同一側(cè)上，使得在用戶與手持式裝置的顯示單元進(jìn)行交互時(shí)，前置相機(jī)正面向用戶。在許多情況中，后置相機(jī)可位于手持式裝置的相對側(cè)上。在使用時(shí)，耦合到所述裝置的后置相機(jī)可面向遠(yuǎn)離用戶的方向。響應(yīng)于預(yù)定義手勢，在框704處，如由手持式裝置的顯示單元所呈現(xiàn)的，使視覺提示的形狀變窄和/或變尖。在框706處，手持式裝置采用延伸的視覺提示來與顯示單元所呈現(xiàn)的視野中的如由用戶操縱的物體進(jìn)行交互。
[0057]在框704處，如由手持式裝置的顯示單元所呈現(xiàn)的，使視覺提示的形狀變窄和/或變尖。顯示單元上顯示的較窄且較尖的視覺提示允許用戶使用視覺提示作為指向裝置或棒。視覺提示可為用戶的肢端。人類肢端的實(shí)例可包含手指、手、手臂或腿。在一個(gè)實(shí)施例中，在用戶將肢端進(jìn)一步向遠(yuǎn)處移動(dòng)時(shí)，視覺提示會變窄且變尖。在手持式裝置檢測到用戶將肢端移動(dòng)回到其原始位置時(shí)，手持式裝置可使肢端的寬度和形狀返回到正常。因此，用戶通過前后移動(dòng)肢端可易于調(diào)整視覺提示的寬度和形狀，如顯示單元所顯示。由手持式裝置產(chǎn)生且在顯示單元上顯示的使用用戶肢端的視覺提示還提供了棒所具有的較細(xì)粒度的益處。如顯示單元上顯示的用戶肢端的變窄和變尖允許用戶以更細(xì)的粒度選擇或操縱物體。視覺提示的使用還允許用戶在顯示單元對物體的傳統(tǒng)顯示中選擇并操縱物體。舉例來說，視覺提示可允許用戶對需要較細(xì)粒度且是功能豐富的應(yīng)用程序(像Photoshop? )起作用，或者從顯示一群人的圖片中簡單地選出一個(gè)人。類似地，在增強(qiáng)現(xiàn)實(shí)設(shè)置中，以細(xì)粒度即時(shí)存取視覺提示將允許用戶從一群人中更容易地選出一個(gè)人，所述一群人處于后置相機(jī)的視野中且顯示于手持式裝置的顯示單元上。
[0058]應(yīng)了解，根據(jù)本發(fā)明的實(shí)施例，圖7中所說明的具體步驟提供了在操作模式之間進(jìn)行切換的特定方法。在替代實(shí)施例中也可相應(yīng)地執(zhí)行其它步驟序列。舉例來說，本發(fā)明的替代實(shí)施例可按照不同的次序執(zhí)行上文概述的步驟。為了進(jìn)行說明，用戶可選擇從第三操作模式改變到第一操作模式、從第四模式改變到第二模式，或者其間的任何組合。此外，圖7中所說明的個(gè)別步驟可包含多個(gè)子步驟，在對所述個(gè)別步驟而言為適當(dāng)時(shí)，可以按照各種順序來執(zhí)行所述子步驟。此外，取決于特定應(yīng)用，可添加或移除額外步驟。所屬領(lǐng)域的一般技術(shù)人員將認(rèn)識和了解到方法700的許多變型、修改和替代。
[0059]圖8是說明用于在計(jì)算機(jī)視覺應(yīng)用中擴(kuò)展交互半徑的方法800的又一簡化流程圖。方法800由處理邏輯執(zhí)行，所述處理邏輯包括硬件(電路、專用邏輯等)、軟件(例如在通用計(jì)算系統(tǒng)或?qū)Ｓ脵C(jī)器上運(yùn)行)、固件(嵌入式軟件)或其任何組合。在一個(gè)實(shí)施例中，方法800由圖9的裝置900執(zhí)行。方法800可在圖1、圖2和圖3中所述的配置設(shè)置中執(zhí)行。
[0060]參考圖8，在框802處，用戶在手持式裝置的輸入感覺裝置的視野中產(chǎn)生預(yù)定義手勢。所述裝置的輸入感覺單元以電子方式檢測所述預(yù)定義手勢。在一個(gè)實(shí)施例中，所述輸入感覺單元是相機(jī)。所述手持式裝置可具有前置相機(jī)和/或后置相機(jī)。在一些實(shí)施方案中，前置相機(jī)與顯示單元放置于手持式裝置的同一側(cè)上，使得在用戶與手持式裝置的顯示單元進(jìn)行交互時(shí)，前置相機(jī)正面向用戶。在許多情況中，后置相機(jī)可位于手持式裝置的相對側(cè)上。在使用時(shí)，耦合到所述裝置的后置相機(jī)可面向遠(yuǎn)離用戶的方向。
[0061]響應(yīng)于所述手勢，在框804處，手持式裝置開始追蹤用戶肢端的運(yùn)動(dòng)和運(yùn)動(dòng)方向。在一個(gè)實(shí)施例中，手持式裝置響應(yīng)于在框802處檢測到預(yù)定義手勢而激活特殊模式。當(dāng)手持式裝置處于此特殊模式中時(shí)，可在手持式裝置處于所述特殊模式的持續(xù)時(shí)間內(nèi)追蹤與某些肢端相關(guān)聯(lián)的運(yùn)動(dòng)。手持式裝置可在預(yù)定方向上或針對預(yù)定速度或更快來追蹤所述運(yùn)動(dòng)。在框806處,響應(yīng)于肢端遠(yuǎn)離相機(jī)進(jìn)一步移動(dòng),視覺提示進(jìn)一步延伸到顯示單元所呈現(xiàn)的視野中。類似地，如果用戶肢端朝相機(jī)縮回，那么視覺提示也可在顯示單元上呈現(xiàn)的視野中縮回。在框808處，所述裝置采用延伸的視覺提示來與顯示單元所呈現(xiàn)的視野中的如由用戶操縱的物體進(jìn)行交互。
[0062]應(yīng)了解，根據(jù)本發(fā)明的實(shí)施例，圖8中所說明的具體步驟提供了在操作模式之間進(jìn)行切換的特定方法。在替代實(shí)施例中也可相應(yīng)地執(zhí)行其它步驟序列。舉例來說，本發(fā)明的替代實(shí)施例可按照不同次序執(zhí)行上文概述的步驟。為了進(jìn)行說明，用戶可選擇從第三操作模式改變到第一操作模式、從第四模式改變到第二模式，或者其間的任何組合。此外，圖8中所說明的個(gè)別步驟可包含多個(gè)子步驟，在對所述個(gè)別步驟而言為適當(dāng)時(shí)，可以按照各種順序來執(zhí)行所述子步驟。此外，取決于特定應(yīng)用，可添加或移除額外步驟。所屬領(lǐng)域的一般技術(shù)人員將認(rèn)識和了解到方法800的許多變型、修改和替代。
[0063]圖9中所說明的計(jì)算機(jī)系統(tǒng)可作為先前描述的計(jì)算機(jī)化裝置的一部分并入。舉例來說，裝置900可表示手持式裝置的組件中的一些。手持式裝置可為具有輸入感覺單元(像相機(jī)和顯示單元)的任何計(jì)算裝置。手持式裝置的實(shí)例包含但不限于視頻游戲控制臺、平板計(jì)算機(jī)、智能電話、傻瓜相機(jī)、個(gè)人數(shù)字助理和移動(dòng)裝置。圖9提供了裝置900的一個(gè)實(shí)施例的示意說明，所述裝置900可執(zhí)行由各種其它實(shí)施例提供的方法(如本文中所描述)，且/或可充當(dāng)主計(jì)算機(jī)系統(tǒng)、遠(yuǎn)程信息亭/終端、銷售點(diǎn)裝置、移動(dòng)裝置、機(jī)頂盒和/或計(jì)算機(jī)系統(tǒng)。圖9僅意在提供各種組件的概括說明，所述組件中的任一者或全部可視情況地使用。因此，圖9廣泛地說明了個(gè)別系統(tǒng)元件可以如何以相對分離或相對更加集成化的方式來實(shí)施。
[0064]裝置900被展示為包括可經(jīng)由總線905電耦合的(或者可進(jìn)行通信的，視情況而定)硬件元件。所述硬件元件可包含:一個(gè)或一個(gè)以上處理器910，所述處理器包含但不限于一個(gè)或一個(gè)以上通用處理器和/或一個(gè)或一個(gè)以上專用處理器(例如，數(shù)字信號處理芯片、圖形加速處理器，和/或類似物)；一個(gè)或一個(gè)以上輸入裝置915，所述輸入裝置可包含但不限于相機(jī)、鼠標(biāo)、鍵盤，和/或類似物；以及一個(gè)或一個(gè)以上輸出裝置920，所述輸出裝置可包含但不限于顯示單元、印刷機(jī)和/或類似物。
[0065]裝置900可進(jìn)一步包含(和/或與之通信)一個(gè)或一個(gè)以上非暫時(shí)性存儲裝置925，所述存儲裝置可包括但不限于本地和/或網(wǎng)絡(luò)可存取存儲裝置，且/或可包含但不限于磁盤驅(qū)動(dòng)器、驅(qū)動(dòng)陣列、光學(xué)存儲裝置、固態(tài)存儲裝置，例如，隨機(jī)存取存儲器(“RAM”)和/或只讀存儲器(“ROM”)，所述存儲裝置可以是可編程的、可快速更新的和/或類似物。此類存儲裝置可經(jīng)配置以實(shí)施任何適當(dāng)?shù)臄?shù)據(jù)存儲，包含但不限于各種文件系統(tǒng)、數(shù)據(jù)庫結(jié)構(gòu)和/或類似物。
[0066]裝置900還可包含通信子系統(tǒng)930，所述通信子系統(tǒng)可包含但不限于調(diào)制解調(diào)器、網(wǎng)卡(無線或有線的)、紅外通信裝置、無線通信裝置和/或芯片組(例如，Bluetooth?裝置、802.11裝置、WiFi裝置、WiMax裝置、蜂窩通信設(shè)施等)，和/或類似物。通信子系統(tǒng)930可準(zhǔn)許與網(wǎng)絡(luò)(例如下文所描述的網(wǎng)絡(luò)，僅列舉了一個(gè)實(shí)例)、其它計(jì)算機(jī)系統(tǒng)，和/或本文中描述的任何其它裝置進(jìn)行數(shù)據(jù)交換。在許多實(shí)施例中，裝置900將進(jìn)一步包括非暫時(shí)性工作存儲器935，所述存儲器可包含RAM或ROM裝置，如上文所描述。
[0067]裝置900還可包括軟件元件，所述軟件元件被展示為當(dāng)前位于工作存儲器935內(nèi)，包含操作系統(tǒng)940、裝置驅(qū)動(dòng)器、可執(zhí)行庫，和/或其它代碼，例如，一個(gè)或一個(gè)以上應(yīng)用程序945，所述應(yīng)用程序可包括由各種實(shí)施例提供的計(jì)算機(jī)程序，且/或可經(jīng)設(shè)計(jì)以實(shí)施由其它實(shí)施例提供的方法且/或?qū)τ善渌鼘?shí)施例提供的系統(tǒng)進(jìn)行配置，如本文中所描述。僅僅通過舉例，關(guān)于上文所論述的方法描述的一個(gè)或一個(gè)以上程序可以實(shí)施為可由計(jì)算機(jī)(和/或計(jì)算機(jī)內(nèi)的處理器)執(zhí)行的代碼和/或指令；在一方面中，隨后，此類代碼和/或指令可用于配置和/或調(diào)適通用計(jì)算機(jī)(或其它裝置)以根據(jù)所描述的方法來執(zhí)行一個(gè)或一個(gè)以上操作。
[0068]一組這些指令和/或代碼可存儲在計(jì)算機(jī)可讀存儲媒體中，例如，上文所描述的存儲裝置925。在一些情況中，所述存儲媒體可并入計(jì)算機(jī)系統(tǒng)內(nèi)，例如裝置900。在其它實(shí)施例中，所述存儲媒體可與計(jì)算機(jī)系統(tǒng)分離(例如，可卸除媒體，例如壓縮光盤)，且/或提供在安裝包中，使得通過存儲在其上的指令/代碼，所述存儲媒體可用于對通用計(jì)算機(jī)進(jìn)行編程、配置和/或調(diào)適。這些指令可采取可由裝置900執(zhí)行的可執(zhí)行代碼的形式，且/或可采取源代碼和/或可安裝代碼的形式，所述源代碼和/或可安裝代碼在裝置900上進(jìn)行編譯和/或安裝之后(例如，使用各種一般可用的編譯器、安裝程序、壓縮/解壓縮實(shí)用程序等中的任一者)隨后采取可執(zhí)行代碼的形式。
[0069]可根據(jù)特定要求做出實(shí)質(zhì)的改變。舉例來說，也可使用定制的硬件，且/或可用硬件、軟件(包含可移植軟件，例如小型應(yīng)用程序等)或這兩者來實(shí)施特定元件。另外，可采用到其它計(jì)算裝置(例如，網(wǎng)絡(luò)輸入/輸出裝置)的連接。
[0070]一些實(shí)施例可采用計(jì)算機(jī)系統(tǒng)或裝置(例如，裝置900)來執(zhí)行根據(jù)本發(fā)明的方法。舉例來說，所述方法的一些或所有程序可由裝置900響應(yīng)于處理器910執(zhí)行包含在工作存儲器935中的一個(gè)或一個(gè)以上指令(其可并入到操作系統(tǒng)940和/或其它代碼中，例如應(yīng)用程序945)的一個(gè)或一個(gè)以上序列來執(zhí)行。此類指令可從另一計(jì)算機(jī)可讀媒體(例如，存儲裝置925中的一者或一者以上)讀入到工作存儲器935中。僅僅通過舉例，包含在工作存儲器935中的指令的序列的執(zhí)行可能致使處理器910執(zhí)行本文中描述的方法的一個(gè)或一個(gè)以上程序。
[0071]如本文中所使用，術(shù)語“機(jī)器可讀媒體”和“計(jì)算機(jī)可讀媒體”指代參與提供數(shù)據(jù)的任何媒體，所述數(shù)據(jù)致使機(jī)器以特定方式進(jìn)行操作。在使用裝置900實(shí)施的實(shí)施例中，各種計(jì)算機(jī)可讀媒體可參與到將指令/代碼提供給處理器910以供執(zhí)行且/或可用于存儲和/或載運(yùn)此類指令/代碼(例如，作為信號)。在許多實(shí)施方案中，計(jì)算機(jī)可讀媒體是物理和/或有形存儲媒體。此類媒體可采取任何形式，包含但不限于非易失性媒體、易失性媒體以及傳輸媒體。非易失性媒體(例如)包含光盤和/或磁盤，例如存儲裝置925。易失性媒體包含但不限于動(dòng)態(tài)存儲器，例如工作存儲器935。傳輸媒體包含但不限于同軸電纜、銅線和光纖，包含包括總線905以及通信子系統(tǒng)930的各種組件(和/或通信子系統(tǒng)930借以提供與其它裝置的通信的媒體)的線。因此，傳輸媒體也可采取波的形式(包含但不限于無線電波、聲波和/或光波，例如在無線電波和紅外數(shù)據(jù)通信期間產(chǎn)生的那些波)。
[0072]物理和/或有形計(jì)算機(jī)可讀媒體的一般形式包含，例如，軟盤、軟磁盤、硬盤、磁帶，或者任何其它磁性媒體、CD-ROM、任何其它光學(xué)媒體、穿孔卡、紙帶、具有孔圖案的任何其它物理媒體、RAM、PROM、EPROM、快閃EPROM、任何其它存儲器芯片或盒、如下文描述的載波，或者計(jì)算機(jī)可從中讀取指令和/或代碼的任何其它媒體。
[0073]各種形式的計(jì)算機(jī)可讀媒體可參與到將一個(gè)或一個(gè)以上指令的一個(gè)或一個(gè)以上序列載運(yùn)到處理器910以供執(zhí)行。僅僅通過舉例，所述指令最初可載運(yùn)在遠(yuǎn)程計(jì)算機(jī)的磁盤和/或光盤上。遠(yuǎn)程計(jì)算機(jī)可將指令加載到其動(dòng)態(tài)存儲器中且將指令作為信號在傳輸媒體上發(fā)送以由裝置900接收和/或執(zhí)行。根據(jù)本發(fā)明的各種實(shí)施例，這些信號(可能采取電磁信號、聲信號、光信號和/或其類似物的形式)皆為指令可編碼在其上的載波的實(shí)例。
[0074]通信子系統(tǒng)930(和/或其組件)通常將接收信號，且隨后總線905可將信號(和/或由信號載運(yùn)的數(shù)據(jù)、指令等)載運(yùn)到工作存儲器935，處理器910從所述工作存儲器檢索并執(zhí)行指令。由工作存儲器935接收的指令在由處理器910執(zhí)行之前或之后可以任選地存儲在非暫時(shí)性存儲裝置925上。
[0075]上文所論述的方法、系統(tǒng)和裝置是實(shí)例。視情況地，各種實(shí)施例可省略、替換、或添加各種程序或組件。舉例來說，在替代配置中，所述方法可按照不同于所描述的次序來執(zhí)行，且/或可添加、省去，和/或組合各個(gè)階段。并且，關(guān)于某些實(shí)施例所描述的特征可組合在各種其它實(shí)施例中。實(shí)施例的不同的方面和元件可以按照類似的方式進(jìn)行組合。并且，技術(shù)會發(fā)展，且因此許多元件是實(shí)例，并不會將本發(fā)明的范圍限于那些特定實(shí)例。
[0076]在說明書中給出了具體細(xì)節(jié)以提供對實(shí)施例的徹底理解。然而，可在無這些具體細(xì)節(jié)的情況下實(shí)踐實(shí)施例。舉例來說，已經(jīng)展示了眾所周知的電路、過程、算法、結(jié)構(gòu)和技術(shù)而沒有提供不必要的細(xì)節(jié)，以免模糊了實(shí)施例。本說明書僅僅提供了實(shí)例實(shí)施例，且不意欲限制本發(fā)明的范圍、適用性或配置。而是，上文對實(shí)施例的描述將向所屬領(lǐng)域的技術(shù)人員提供可使得能夠?qū)嵤┍景l(fā)明的實(shí)施例的描述?？稍诓幻撾x本發(fā)明的精神和范圍的情況下對元件的功能和布置進(jìn)行各種改變。
[0077]并且，一些實(shí)施例被描述為過程，所述過程被描繪為流程圖或框圖。雖然各自可將操作描述為順序過程，但是許多操作可并行或同時(shí)地執(zhí)行。另外，可以對操作的次序進(jìn)行重新排列。過程可具有未包含在圖中的額外步驟。此外，所述方法的實(shí)施例可以由硬件、軟件、固件、中間件、微碼、硬件描述語言，或其任何組合來實(shí)施。當(dāng)以軟件、固件、中間件或微碼來實(shí)施時(shí)，用于執(zhí)行相關(guān)聯(lián)任務(wù)的程序代碼或代碼段可存儲在計(jì)算機(jī)可讀媒體中，例如，存儲媒體。處理器可執(zhí)行所述相關(guān)聯(lián)任務(wù)。
[0078]已描述了若干實(shí)施例，可在不脫離本發(fā)明的精神的情況下使用各種修改、替代構(gòu)造，以及等效物。舉例來說，上述元件可以僅是大型系統(tǒng)的組件，其中其它規(guī)則可能是優(yōu)先的或者對本發(fā)明的應(yīng)用進(jìn)行修改。并且，在考慮上述元件之前、期間或者之后可以實(shí)施多個(gè)步驟。因此，上文的描述并未限制本發(fā)明的范圍。
【權(quán)利要求】
1.一種用于增強(qiáng)計(jì)算機(jī)視覺應(yīng)用的方法，所述方法包括: 以電子方式檢測由耦合到裝置的相機(jī)獲得的由用戶肢端產(chǎn)生的至少一個(gè)預(yù)定義手勢； 響應(yīng)于檢測到所述至少一個(gè)預(yù)定義手勢，在耦合到所述裝置的顯示單元上改變視覺提示的形狀；以及 響應(yīng)于檢測到所述用戶肢端的移動(dòng)而更新所述顯示單元上顯示的所述視覺提示。
2.根據(jù)權(quán)利要求1所述的方法，其中改變所述視覺提示的所述形狀包括使所述顯示單元上的所述視覺提示進(jìn)一步延伸到所述顯示單元所呈現(xiàn)的視野中。
3.根據(jù)權(quán)利要求1所述的方法，其中所述視覺提示包括所述用戶肢端的表示，且其中改變所述視覺提示的所述形狀包括使所述顯示單元呈現(xiàn)的所述用戶肢端的所述表示的尖端變窄。
4.根據(jù)權(quán)利要求1所述的方法，其中所述裝置在所述相機(jī)的視野中檢測由用戶肢端產(chǎn)生的所述預(yù)定義手勢，且其中所述相機(jī)是后置相機(jī)。
5.根據(jù)權(quán)利要求1所述的方法，其中所述裝置在所述相機(jī)的視野中檢測由用戶肢端產(chǎn)生的所述預(yù)定義手勢，且其中所述相機(jī)是前置相機(jī)。
6.根據(jù)權(quán)利要求1所述的方法，其中所述至少一個(gè)預(yù)定義手勢包括第一手勢和第二手勢，其中在檢測到所述第一 手勢之后，所述裝置即激活允許改變所述視覺提示的所述形狀的模式，且在檢測到所述第二手勢之后，所述裝置即改變所述顯示單元上顯示的所述視覺提示的所述形狀。
7.根據(jù)權(quán)利要求1所述的方法，其中所述視覺提示包括耦合到所述裝置的所述顯示單元上顯示的所述用戶肢端的延伸的表示。
8.根據(jù)權(quán)利要求1所述的方法，其中所述視覺提示包括由所述至少一個(gè)預(yù)定義手勢選擇且在耦合到所述裝置的所述顯示單元上顯示的虛擬物體。
9.根據(jù)權(quán)利要求2所述的方法，其中延伸所述顯示單元上的所述視覺提示包括: 追蹤所述用戶肢端的所述移動(dòng)以及所述移動(dòng)的方向；以及 在所述用戶肢端的所述移動(dòng)的所述方向上延伸所述顯示單元上的所述視覺提示，其中所述裝置的所述顯示單元上表示的所述視覺提示在特定方向上的延伸與所述用戶肢端在所述方向上的移動(dòng)成正比。
10.根據(jù)權(quán)利要求1所述的方法，其中所述裝置是以下各項(xiàng)中的一者:手持式裝置、視頻游戲控制臺、平板計(jì)算機(jī)、智能電話、傻瓜相機(jī)、個(gè)人數(shù)字助理和移動(dòng)裝置。
11.一種裝置，其包括: 處理器； 耦合到所述處理器的相機(jī)； 耦合到所述處理器的顯示單元；以及 耦合到所述處理器的非暫時(shí)性計(jì)算機(jī)可讀存儲媒體，其中所述非暫時(shí)性計(jì)算機(jī)可讀存儲媒體包括可由所述處理器執(zhí)行以用于實(shí)施一種方法的代碼，所述方法包括: 以電子方式檢測由耦合到所述裝置的所述相機(jī)獲得的由用戶肢端產(chǎn)生的至少一個(gè)預(yù)定義手勢； 響應(yīng)于檢測到所述至少一個(gè)預(yù)定義手勢，在耦合到所述裝置的顯示單元上改變視覺提示的形狀；以及 響應(yīng)于檢測到所述用戶肢端的移動(dòng)而更新所述顯示單元上顯示的所述視覺提示。
12.根據(jù)權(quán)利要求11所述的裝置，其中改變所述視覺提示的所述形狀包括使所述顯示單元上的所述視覺提示進(jìn)一步延伸到所述顯示單元所呈現(xiàn)的視野中。
13.根據(jù)權(quán)利要求11所述的裝置，其中所述視覺提示包括所述用戶肢端的表示，且其中改變所述視覺提示的所述形狀包括使所述顯示單元呈現(xiàn)的所述用戶肢端的所述表示的尖端變窄。
14.根據(jù)權(quán)利要求11所述的裝置，其中所述至少一個(gè)預(yù)定義手勢包括第一手勢和第二手勢，其中在檢測到所述第一手勢之后，所述裝置即激活允許改變所述視覺提示的所述形狀的模式，且在檢測到所述第二手勢之后，所述裝置即改變所述顯示單元上顯示的所述視覺提示的所述形狀。
15.根據(jù)權(quán)利要求11所述的裝置，其中所述視覺提示包括耦合到所述裝置的所述顯示單元上顯示的所述用戶肢端的延伸的表示。
16.根據(jù)權(quán)利要求11所述的裝置，其中所述視覺提示包括由所述至少一個(gè)預(yù)定義手勢選擇且在耦合到所述裝置的所述顯示單元上顯示的虛擬物體。
17.根據(jù)權(quán)利要求12所述的裝置，其中延伸所述顯示單元上的所述視覺提示包括: 追蹤所述用戶肢端的所述移動(dòng)以及所述移動(dòng)的方向；以及 在所述用戶肢端的所述移動(dòng)的所述方向上延伸所述顯示單元上的所述視覺提示，其中所述裝置的所述顯示單元上表示的所述視覺提示在特定方向上的延伸與所述用戶肢端在所述方向上的移動(dòng)成正比。
18.一種耦合到處理器的非暫時(shí)性計(jì)算機(jī)可讀存儲媒體，其中所述非暫時(shí)性計(jì)算機(jī)可讀存儲媒體包括可由所述處理器執(zhí)行以用于實(shí)施一種方法的計(jì)算機(jī)程序，所述方法包括: 以電子方式檢測由耦合到裝置的相機(jī)獲得的由用戶肢端產(chǎn)生的至少一個(gè)預(yù)定義手勢； 響應(yīng)于檢測到所述至少一個(gè)預(yù)定義手勢，在耦合到所述裝置的顯示單元上改變視覺提示的形狀；以及 響應(yīng)于檢測到所述用戶肢端的移動(dòng)而更新所述顯示單元上顯示的所述視覺提示。
19.根據(jù)權(quán)利要求18所述的非暫時(shí)性計(jì)算機(jī)可讀存儲裝置，其中改變所述視覺提示的所述形狀包括使所述顯示單元上的所述視覺提示進(jìn)一步延伸到所述顯示單元所呈現(xiàn)的視野中。
20.根據(jù)權(quán)利要求18所述的非暫時(shí)性計(jì)算機(jī)可讀存儲裝置，其中所述視覺提示包括所述用戶肢端的表示，且其中改變所述視覺提示的所述形狀包括使所述顯示單元呈現(xiàn)的所述用戶肢端的所述表示的尖端變窄。
21.根據(jù)權(quán)利要求18所述的非暫時(shí)性計(jì)算機(jī)可讀存儲裝置，其中所述至少一個(gè)預(yù)定義手勢包括第一手勢和第二手勢，其中在檢測到所述第一手勢之后，所述裝置即激活允許改變所述視覺提示的所述形狀的模式，且在檢測到所述第二手勢之后，所述裝置即改變所述顯示單元上顯示的所述視覺提示的所述形狀。
22.根據(jù)權(quán)利要求18所述的非暫時(shí)性計(jì)算機(jī)可讀存儲裝置，其中所述視覺提示包括耦合到所述裝置的所述顯示單元上顯示的所述用戶肢端的延伸的表示。
23.根據(jù)權(quán)利要求18所述的非暫時(shí)性計(jì)算機(jī)可讀存儲裝置，其中所述視覺提示包括由所述至少一個(gè)預(yù)定義手勢選擇且在耦合到所述裝置的所述顯示單元上顯示的虛擬物體。
24.根據(jù)權(quán)利要求19所述的非暫時(shí)性計(jì)算機(jī)可讀存儲裝置，其中延伸所述顯示單元上的所述視覺提示包括: 追蹤所述用戶肢端的所述移動(dòng)以及所述移動(dòng)的方向；以及 在所述用戶肢端的所述移動(dòng)的所述方向上延伸所述顯示單元上的所述視覺提示，其中所述裝置的所述顯示單元上表示的所述視覺提示在特定方向上的延伸與所述用戶肢端在所述方向上的移動(dòng)成正比。
25.一種執(zhí)行用于增強(qiáng)計(jì)算機(jī)視覺的方法的設(shè)備，所述方法包括: 用于以電子方式檢測由耦合到裝置的相機(jī)獲得的由用戶肢端產(chǎn)生的至少一個(gè)預(yù)定義手勢的裝置； 響應(yīng)于檢測到所述至少一個(gè)預(yù)定義手勢，用于在耦合到所述裝置的顯示單元上改變視覺提示的形狀的裝置；以及 用于響應(yīng)于檢測到所述用戶肢端的移動(dòng)而更新所述顯示單元上顯示的所述視覺提示的裝置。
26.根據(jù)權(quán)利要求25所述的設(shè)備，其中改變所述視覺提示的所述形狀包括用于使所述顯示單元上的所述視覺提示進(jìn)一步延伸到所述顯示單元所呈現(xiàn)的視野中的裝置。
27.根據(jù)權(quán)利要求25所述的設(shè)備，其中所述視覺提示包括所述用戶肢端的表示，且其中改變所述視覺提示的所述形狀包括使所述顯示單元呈現(xiàn)的所述用戶肢端的所述表示的尖端變窄。
28.根據(jù)權(quán)利要求25所述的設(shè)備，其中所述至少一個(gè)預(yù)定義手勢包括第一手勢和第二手勢，其中在檢測到所述第一手勢之后，所述裝置即提供用于激活允許改變所述視覺提示的所述形狀的模式的裝置，且在檢測到所述第二手勢之后，所述裝置即提供用于改變所述顯示單元上顯示的所述視覺提示的所述形狀的裝置。
29.根據(jù)權(quán)利要求25所述的設(shè)備，其中所述視覺提示包括耦合到所述裝置的所述顯示單元上顯示的所述用戶肢端的延伸的表示。
30.根據(jù)權(quán)利要求25所述的設(shè)備，其中所述視覺提示包括由所述至少一個(gè)預(yù)定義手勢選擇且在耦合到所述裝置的所述顯示單元上顯示的虛擬物體。
31.根據(jù)權(quán)利要求26所述的設(shè)備，其中延伸所述顯示單元上的所述視覺提示包括: 用于追蹤所述用戶肢端的所述移動(dòng)以及所述移動(dòng)的方向的裝置；以及 用于在所述用戶肢端的所述移動(dòng)的所述方向上延伸所述顯示單元上的所述視覺提示的裝置，其中所述裝置的所述顯示單元上表示的所述視覺提示在特定方向上的延伸與所述用戶肢端在所述方向上的移動(dòng)成正比。
【文檔編號】G06F3/03GK103620526SQ201280030367
【公開日】2014年3月5日 申請日期:2012年4月30日 優(yōu)先權(quán)日:2011年6月21日
【發(fā)明者】彼得·漢斯·羅貝爾 申請人:高通股份有限公司