手勢結(jié)合擴增實境的圖標控制方法
【專利摘要】一種手勢結(jié)合擴增實境的圖標控制方法，利用一便攜式電子設(shè)備實施，包括：一影像攝取單元攝取得到連續(xù)的多數(shù)實境影像，每幅實境影像中包括一手部及一作為該手部背景的景點環(huán)境，且一顯示單元實時顯示該等實境影像；依據(jù)其中一實境影像辨識出景點，進而從該存儲單元中篩選出對應的景點信息；提供至少一與該景點信息相關(guān)的圖標，并使該圖標疊加于該實境影像上；及針對該等實境影像中的手部連同實境影像上疊加的圖標進行辨識，依據(jù)辨識結(jié)果產(chǎn)生一預設(shè)的有關(guān)于對該圖標的操作的輸入指令。
【專利說明】手勢結(jié)合擴增實境的圖標控制方法
【技朮領(lǐng)域】
[0001]本發(fā)明是有關(guān)于一種輸入方法，特別是指一種利用手勢結(jié)合擴增實境的圖標控制方法。
【背景技朮】
[0002]擴增實境(Augmented Reality,簡稱AR),是一種實時計算攝影機所攝取的影像中物件的位置及角度并在熒幕中顯示該影像的技術(shù)，將熒幕上的虛擬世界與現(xiàn)實世界結(jié)合。
[0003]目前已發(fā)展的擴增實境的應用，例如臺灣公開第201123934號專利揭露一種實時擴增實境裝置，與一導航裝置及一影像攝取裝置搭配使用。該案中，實時擴增實境裝置預存“物件的實際長度及實際寬度”，并根據(jù)影像攝取裝置攝取的實時影像中的“物件的虛擬長度及虛擬寬度”，計算出影像攝取方向的仰角、偏角，然后依據(jù)導航裝置預存的導航信息產(chǎn)生一指引信息，合成于實時影像中。從而讓實時影像作為導航影像，減少對地圖的使用。 [0004]然而前述擴增實境裝置僅單純用來輔助使導航影像真實而易于辨識，使用者仍通過該導航裝置的觸控面板或?qū)嶓w按鈕進行輸入操作。
【
【發(fā)明內(nèi)容】
】
[0005]本發(fā)明的目的，在于提供一種利用一便攜式電子設(shè)備的手勢結(jié)合擴增實境的圖標控制方法。
[0006]于是，本發(fā)明手勢結(jié)合擴增實境的圖標控制方法，利用該便攜式電子裝置執(zhí)行。該便攜式電子裝置包括一顯示單元、一影像攝取單元、一儲存有多數(shù)景點信息及一有關(guān)該方法的程序碼的存儲單元，及一與前述元件電連接的控制器；該控制器讀取該程序碼執(zhí)行該圖標控制方法的以下步驟:
[0007](A)使該影像攝取單元攝取得到序列的多數(shù)實境影像，并且使該顯示單元實時顯示該等實境影像，各該實境影像中包括一手部及一作為該手部背景的景點環(huán)境；
[0008](B)依據(jù)其中一實境影像辨識出有關(guān)該影像攝取單元所對準的景點，進而從該存儲單元中篩選出對應的景點信息；
[0009](C)提供至少一與該景點信息相關(guān)的圖標，并使該圖標疊加于該實境影像上；
[0010](D)針對該等實境影像中的手部連同實境影像上疊加的圖標進行辨識，依據(jù)辨識結(jié)果產(chǎn)生一預設(shè)的可由該控制器讀取且執(zhí)行的輸入指令，該輸入指令是有關(guān)于對該圖標的操作。
[0011]本發(fā)明的目的還可采用以下技術(shù)進一步實現(xiàn):
[0012]所述便攜式電子裝置還包括一與該控制器連接且接收一衛(wèi)星定位信號的衛(wèi)星定位模塊；該步驟(B)是依據(jù)該衛(wèi)星定位模塊接收的衛(wèi)星定位信號得知該便攜式電子裝置所在的經(jīng)緯度坐標，并且在該存儲單元中篩選在該經(jīng)緯度坐標通?？梢暦秶鷥?nèi)的景點信息，再依據(jù)從該實境影像中辨識的結(jié)果推斷該實境影像中的景點，接著篩選出該景點信息。
[0013]另外，該步驟(D)是針對該等實境影像中的手部連同所疊加的圖標進行平面坐標位置辨識，當辨識該手部鄰近該圖標，產(chǎn)生該輸入指令。
[0014]或者，該步驟(D)是針對該等實境影像中的手部連同所疊加的圖標進行平面坐標位置辨識及手勢辨識，得到一代表一對該圖標進行操作動作的手勢信息且產(chǎn)生對應該手勢信息的該輸入指令。
[0015]在該步驟(D)中，當辨識該手部的其中一手指呈直線形，得到的手勢信息為指，并辨識出指尖以及該圖標在其中一實境影像中的平面坐標位置，當辨識出該指尖接近該圖標平面坐標位置，依據(jù)該手勢信息連同最接近該呈直線形的手指指尖的圖標產(chǎn)生選取該圖標的輸入指令。在產(chǎn)生該選取該圖標的輸入指令之后，當辨識該手部的復數(shù)手指呈現(xiàn)封閉形狀，得到的手勢信息為捏持，連同該被選取的圖標產(chǎn)生拖曳該圖標的輸入指令，拖曳路徑即該手部移動路徑。在產(chǎn)生該拖曳該圖標的輸入指令之后，當辨識該手部的復數(shù)手指呈現(xiàn)開放弧形，得到的手勢信息為放開，產(chǎn)生終止輸入的輸入指令。
[0016]該步驟(A)還令該顯示單元顯示一占有一定面積且被特別標示的執(zhí)行區(qū)塊，當該步驟(D)先產(chǎn)生了拖曳該圖標至該執(zhí)行區(qū)塊內(nèi)的輸入指令，接著產(chǎn)生了終止輸入的輸入指令，則產(chǎn)生執(zhí)行或開啟該圖標所對應的一應用程序或一資料夾或一資料的輸入指令。
[0017]或者，采用以下技術(shù)進一步實現(xiàn):
[0018]該步驟(A)還令該顯示單元顯示一占有一定面積且被特別標示的執(zhí)行區(qū)塊，在該步驟(D)中是針對該等實境影像中的手部連同所疊加的圖標進行平面坐標位置辨識及手勢辨識，當辨識該手部位在該執(zhí)行區(qū)塊內(nèi)且其中復數(shù)手指從封閉形狀變化呈開放弧形，則產(chǎn)生執(zhí)行或開啟最接近該手指指尖的圖標所對應的一應用程序或一資料夾或一資料的輸入指令。
[0019]前述各技術(shù)方案中，該步驟(C)可以是依據(jù)該景點信息中的一景點經(jīng)緯度坐標，使該圖標疊合于該實境影像中對應該坐標的位置。
[0020]前述各技術(shù)方案中，本發(fā)明`方法可以是藉由以下機制啟動:該控制器依據(jù)該影像攝取單元所攝取的多張連續(xù)的實境影像鎖定一符合一預設(shè)的手部條件的物體即啟動該方法，該手部條件以下其中之一者，一掌狀樣板、指頭狀樣板，以及是占據(jù)特定影像范圍的淺景物。
[0021]本發(fā)明的功效在于提供新穎的圖標控制方式，讓使用者以其手部伸到便攜式電子裝置前，對擴增實境影像中的圖標進行虛擬操作，便攜式電子裝置即能執(zhí)行預設(shè)的對應的輸入指令。
【【專利附圖】

【附圖說明】】
[0022]圖1是一系統(tǒng)方塊圖，說明本發(fā)明便攜式電子裝置的系統(tǒng)架構(gòu)；
[0023]圖2是一流程圖，說明本發(fā)明手勢結(jié)合擴增實境的圖標控制方法的執(zhí)行步驟；
[0024]圖3至圖6分別是一實境影像圖，說明本發(fā)明第一較佳實施例的操作畫面；及
[0025]圖7至圖15分別是一實境影像圖，說明本發(fā)明第二較佳實施例的操作畫面。
【【具體實施方式】】
[0026]有關(guān)本發(fā)明的前述及其他技術(shù)內(nèi)容、特點與功效，在以下配合參考圖示的二個較佳實施例的詳細說明中，可以清楚的呈現(xiàn)。[0027]參閱圖1與圖2，本發(fā)明手勢結(jié)合擴增實境的圖標控制方法的第一較佳實施例，利用一便攜式電子裝置100執(zhí)行。該便攜式電子裝置100包括一使用時朝向一使用者而供該使用者觀看的顯示單元1、一朝前而與該使用者同向的影像攝取單元2、一存儲單元3、一接收一衛(wèi)星定位信號的衛(wèi)星定位(GPS)模塊4，及一與前述元件電連接的控制器5。存儲單元3儲存有多數(shù)筆景點信息及一有關(guān)該手勢結(jié)合擴增實境的圖標控制方法的程序碼。景點信息例如經(jīng)緯度坐標、景點地址、地圖、建議行程，及景點介紹等。
[0028]一開始，該影像攝取單元2連續(xù)攝取實境影像，并由該顯示單元I顯示。當一使用者以其手部伸到便攜式電子裝置100的影像攝取單元2前方，該控制器5依據(jù)多張連續(xù)的實境影像鎖定一符合一預設(shè)的手部條件的物體，該便攜式電子裝置100即啟動本發(fā)明的方法。該手部條件例如是一掌狀樣板(pattern)、指頭狀樣板，或者是占據(jù)特定影像范圍的淺景物。
[0029]當本發(fā)明的方法啟動，該控制器5讀取該程序碼而執(zhí)行的步驟如下:
[0030]步驟11:令該影像攝取單元2不改變方位地繼續(xù)攝取影像，得到序列的多數(shù)張例如圖3所示的實境影像P1，各該實境影像Pl中包括會隨著時間變動的該手部，及一作為該手部的背景且原則上短時間內(nèi)不會隨著時間變動的景點環(huán)境。
[0031]步驟12:令該顯示單元I繼續(xù)實時地顯示該等實境影像Pl。
[0032]步驟13:控制器5另一方面依據(jù)GPS模塊4接收的衛(wèi)星定位信號，得知該便攜式電子裝置100所在的經(jīng)緯度坐標，并且在該存儲單元3中篩選在該經(jīng)緯度坐標通?？梢暦秶鷥?nèi)的景點信息，再依據(jù)其中一實境影像Pl辨識后推斷該實境影像Pl中的景點(例如建筑物)，接著篩選出有關(guān)該影像攝取單元2所對準的景點的景點信息。
[0033]須說明的是，本發(fā)明有關(guān)“找出該影像攝取單元2所對準的景點的景點信息”的方式，不以此處揭露的技術(shù)為限。也可以不利用衛(wèi)星定位信號而在未知該便攜式電子裝置100所在的經(jīng)緯度的狀態(tài)下，直接依據(jù)實境影像Pl辨識景點后比對篩選出存儲單元3中的景點信息。
[0034]步驟14:提供一或多個圖標并使該圖標疊加于該實境影像Pl上，供使用者以手勢對其進行虛擬操控。各該圖標代表一種操作功能，例如“首頁”或“返回上一頁”，或者代表與其中一筆景點信息相關(guān)的應用程序，例如“播放影片”，或者代表與其中一筆景點信息相關(guān)的資料夾或文件、網(wǎng)頁等任何形式資料，例如“臺北101大樓”、“地圖”、“建議行程”、“景點介紹”等。
[0035]步驟15:針對接下來的多數(shù)張實境影像Pl中的手部連同所疊加的圖標進行辨識，在本實施例是辨識手勢，得到一代表一對該圖標進行操作動作的手勢信息且產(chǎn)生一輸入指令。但本發(fā)明不以辨識手勢為限，也可以簡化-例如，該控制器5依據(jù)該等實境影像Pl連同所疊加的圖標計算手部與圖標位置，當手部位置與圖標位置距離小于一預設(shè)臨界值即產(chǎn)生預設(shè)的輸入指令。
[0036]步驟16:執(zhí)行該輸入指令。
[0037]以下以圖3至圖6舉例說明上述方法中，步驟14至16的具體執(zhí)行流程。
[0038]如圖3所示，控制器5(圖1)在步驟14是提供一個代表“首頁”的圖標II。當使用者以手勢執(zhí)行點選該圖標Il的動作，控制器5在步驟15中，辨識該手部的其中一手指呈直線形，得到一手勢信息為“指”，并辨識出指尖以及該圖標Il在其中一實境影像Pl中的平面坐標位置。當辨識出該指尖接近該圖標Ii平面坐標位置，依據(jù)該手勢信息(“指”)連同指尖所對應的圖標II，產(chǎn)生一預設(shè)的對該圖標Il進行操作的輸入指令，在本實施例是“開
Zn ο
[0039]但是本發(fā)明在本步驟的處理方式不以前述為限，對應于代表不同意義的圖標，手勢信息所產(chǎn)生對該圖標Ii的預設(shè)的輸入指令也不同。此外，本步驟也可以簡化而不進行手勢辨識，例如，當辨識該手部鄰近該圖標II，即執(zhí)行該預設(shè)的輸入指令。
[0040]控制器5執(zhí)行步驟16，也就是開啟首頁之后，控制器5提供如圖4所示的圖標12至14，例如分別代表景點介紹、建議行程、地圖。當使用者以手勢執(zhí)行點選其中的圖標12的動作而讓控制器5再次執(zhí)行后續(xù)步驟15 (辨識手勢)及16 (執(zhí)行輸入指令)后，返回步驟
14。此時控制器5提供如圖5所示的與步驟13篩選出的景點信息相關(guān)的圖標15、16，例如分別代表“臺北101大樓”、“美麗華摩天輪”。該圖標15、16分別是依據(jù)“臺北101大樓”、“美麗華摩天輪”的景點信息中的景點坐標疊加于該實境影像Pl上對應該坐標的位置。當使用者點選其中的圖標15而讓控制器5再次執(zhí)行后續(xù)的步驟15 (辨識手勢)及16(執(zhí)行輸入指令)后，返回步驟14。此時控制器5則提供如圖6所示的內(nèi)容為臺北101大樓景點介紹的頁面。上述圖標Il至16及頁面皆疊加于該實境影像Pl上。
[0041]由于本實施例步驟13已依據(jù)衛(wèi)星定位信號得知該便攜式電子裝置100所在的經(jīng)緯度坐標，又已經(jīng)篩選出景點信息(含經(jīng)緯度坐標)，因此該便攜式電子裝置100可利用其導航模塊(圖未示)進行該景點的導航。該便攜式電子裝置100可包含有軟件程序，以及對應該軟件程序的圖標或列表等，讓使用者得以啟動上述導航功能。
[0042]參閱圖1、圖2及圖9，本發(fā)明手勢結(jié)合擴增實境的圖標控制方法的第二較佳實施例與第一較佳實施例的差異主要在于步驟15的執(zhí)行細節(jié)，以及步驟12還令該顯示單元I顯示一占有一定面積且被特別標示的執(zhí)行區(qū)塊10。
[0043]在本實施例中，存儲單元3儲存的有關(guān)該手勢結(jié)合擴增實境的圖標控制方法的程序碼規(guī)劃有較多樣的手勢辨識條件，或者存儲單元3儲存有手勢辨識條件的列表。該步驟15中，若控制器5辨識該手部的其中一手指如圖7所示呈直線形，得到的手勢信息為“指”，連同最接近該呈直線形的手指指尖的圖標Il產(chǎn)生“選取該圖標”的輸入指令。若控制器5辨識該手部的復數(shù)手指如圖8所示呈現(xiàn)封閉形狀，得到的手勢信息為“捏持”，連同該被選取的圖標Il產(chǎn)生“拖曳該圖標”的輸入指令，拖曳路徑即該手部移動路徑。
[0044]當使用者將圖標Il拖曳至如圖9所示的位置，也就是該執(zhí)行區(qū)塊10內(nèi)，若該控制器5辨識該手部的復數(shù)手指如圖10所示呈現(xiàn)開放弧形，得到的手勢信息為“放開”，產(chǎn)生“終止輸入”的輸入指令。此時，自動產(chǎn)生“執(zhí)行”或“開啟”該圖標Il所對應的應用程序或一資料夾或一資料的輸入指令。該控制器5在步驟16中執(zhí)行后出現(xiàn)圖11所示的實境影像。
[0045]當使用者依照上述規(guī)則，以先“指”后“捏持”的方式將圖11中的圖標12拖曳至如圖12所示的位置，也就是執(zhí)行區(qū)塊10內(nèi)，再如圖13所示放開后，控制器5辨識而產(chǎn)生開啟該圖標12所對應資料夾的輸入指令。接著，控制器5提供如圖13所示的圖標15、16，圖標
15、16疊加于該實境影像Pl上對應該坐標的位置，分別代表“臺北101大樓”的景點介紹、“美麗華摩天輪”的景點介紹。
[0046]當使用者依照上述規(guī)則，以先“指”后“捏持”的方式將圖13中的圖標15拖曳至如圖14所示的位置，也就是執(zhí)行區(qū)塊10內(nèi)，再放開后，控制器5辨識而產(chǎn)生開啟該圖標15所對應內(nèi)容的輸入指令。經(jīng)步驟16執(zhí)行該輸入指令后，呈現(xiàn)如圖15所示影像。
[0047]需要說明的是，本實施例的步驟15也可簡化，該控制器5依據(jù)該等實境影像Pl連同所疊加的圖標計算手部、執(zhí)行區(qū)塊10與圖標位置并產(chǎn)生輸入指令。當手部位置與圖標位置距離小于一預設(shè)臨界值即產(chǎn)生“選取及可拖曳”的輸入指令，當手部位置連同圖標進入該執(zhí)行區(qū)塊10，即產(chǎn)生“執(zhí)行”或“開啟”的輸入指令。
[0048]綜上所述，本發(fā)明提供新穎的圖標控制方式，讓使用者以其手部伸到便攜式電子裝置100前，對擴增實境影像中的圖標進行虛擬操作，便攜式電子裝置100即能執(zhí)行預設(shè)的對應的輸入指令，能達成本發(fā)明的目的。
[0049]以上所述，僅為本發(fā)明的【具體實施方式】，但本發(fā)明的保護范圍并不局限于此，任何熟悉本【技術(shù)領(lǐng)域】的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應以權(quán)利要求的保護范圍為準。
【權(quán)利要求】
1.一種手勢結(jié)合擴增實境的圖標控制方法，利用一便攜式電子裝置執(zhí)行，該便攜式電子裝置包括一顯示單元、一影像攝取單元、一儲存有多數(shù)景點信息及一有關(guān)該方法的程序碼的存儲單元，及一與前述元件電性連接的控制器；該控制器讀取該程序碼執(zhí)行該圖標控制方法的以下步驟: (A)令該影像攝取單元攝取得到序列的多數(shù)實境影像，并且令該顯示單元實時顯示該等實境影像，各該實境影像中包括一手部及一作為該手部的背景的景點環(huán)境； (B)依據(jù)其中一實境影像辨識出有關(guān)該影像攝取單元所對準的景點，進而從該存儲單元中篩選出對應的景點信息； (C)提供至少一個與該景點信息相關(guān)的圖標，并使該圖標疊加于該實境影像上；及 (D)針對該等實境影像中的手部連同實境影像上疊加的圖標進行辨識，依據(jù)辨識結(jié)果產(chǎn)生一預設(shè)的可由該控制器讀取且執(zhí)行的輸入指令，該輸入指令是有關(guān)于對該圖標的操作。
2.根據(jù)權(quán)利要求1所述的手勢結(jié)合擴增實境的圖標控制方法，其特征在于:所述便攜式電子裝置還包括一與該控制器連接且接收一衛(wèi)星定位信號的衛(wèi)星定位模塊；該步驟(B)是依據(jù)該衛(wèi)星定位模塊接收的衛(wèi)星定位信號得知該便攜式電子裝置所在的經(jīng)緯度坐標，并且在該存儲單元中篩選在該經(jīng)緯度坐標通?？梢暦秶鷥?nèi)的景點信息，再依據(jù)從該實境影像中辨識的結(jié)果推斷該實境影像中的景點，接著篩選出該景點信息。
3.根據(jù)權(quán)利要求1所述的手勢結(jié)合擴增實境的圖標控制方法，其特征在于:該步驟(D)是針對該等實境影像中的手 部連同所疊加的圖標進行平面坐標位置辨識，當辨識該手部鄰近該圖標，產(chǎn)生該輸入指令。
4.根據(jù)權(quán)利要求1所述的手勢結(jié)合擴增實境的圖標控制方法，其特征在于:該步驟(D)是針對該等實境影像中的手 部連同所疊加的圖標進行平面坐標位置辨識及手勢辨識，得到一代表一對該圖標進行操作動作的手勢信息且產(chǎn)生對應該手勢信息的該輸入指令。
5.根據(jù)權(quán)利要求4所述的手勢結(jié)合擴增實境的圖標控制方法，其特征在于:在該步驟(D)中，當辨識該手部的其中一手指呈直線形，得到的手勢信息為指，并辨識出指尖以及該圖標在其中一實境影像中的平面坐標位置，當辨識出該指尖接近該圖標平面坐標位置，依據(jù)該手勢信息連同最接近該呈直線形手指的指尖的圖標產(chǎn)生選取該圖標的輸入指令。
6.根據(jù)權(quán)利要求5所述的手勢結(jié)合擴增實境的圖標控制方法，其特征在于:在該步驟(D)中，在產(chǎn)生該選取該圖標的輸入指令之后，當辨識該手部的復數(shù)手指呈現(xiàn)封閉形狀，得到的手勢信息為捏持，連同該被選取的圖標產(chǎn)生拖曳該圖標的輸入指令，拖曳路徑即該手部移動路徑。
7.根據(jù)權(quán)利要求6所述的手勢結(jié)合擴增實境的圖標控制方法，其特征在于:在該步驟(D)中，在產(chǎn)生該拖曳該圖標的輸入指令之后，當辨識該手部的復數(shù)手指呈現(xiàn)開放弧形，得到的手勢信息為放開，產(chǎn)生終止輸入的輸入指令。
8.根據(jù)權(quán)利要求7所述的手勢結(jié)合擴增實境的圖標控制方法，其特征在于:該步驟(A)還令該顯示單元顯示一占有一定面積且被特別標示的執(zhí)行區(qū)塊；當該步驟(D)先產(chǎn)生了拖曳該圖標至該執(zhí)行區(qū)塊內(nèi)的輸入指令，接著產(chǎn)生了終止輸入的輸入指令，則產(chǎn)生執(zhí)行或開啟該圖標所對應的一應用程序或一資料夾或一資料的輸入指令。
9.根據(jù)權(quán)利要求1所述的手勢結(jié)合擴增實境的圖標控制方法，其特征在于:該步驟(A)還令該顯示單元顯示一占有一定面積且被特別標示的執(zhí)行區(qū)塊，在該步驟(D)中是針對該等實境影像中的手部連同所疊加的圖標進行平面坐標位置辨識及手勢辨識，當辨識該手部位在該執(zhí)行區(qū)塊內(nèi)且其中復數(shù)手指從封閉形狀變化呈開放弧形，則產(chǎn)生執(zhí)行或開啟最接近該手指指尖的圖標所對應的一應用程序或一資料夾或一資料的輸入指令。
10.根據(jù)權(quán)利要求1至9所述的手勢結(jié)合擴增實境的圖標控制方法，其特征在于:該步驟(C)是依據(jù)該景點信息中的一景點經(jīng)緯度坐標，使該圖標疊合于該實境影像中對應該坐標的位置。
11.根據(jù)權(quán)利要求1至9所述的手勢結(jié)合擴增實境的圖標控制方法，其特征在于:由以下機制啟動:該控制器依據(jù)該影像攝取單元所攝取的多張連續(xù)的實境影像鎖定一符合一預設(shè)的手部條件的物體即啟動該方法，該手部條件以下其中之一者，一掌狀樣板、指頭狀樣板，以及是占據(jù)特定影像 范圍的淺景物。
【文檔編號】G06F3/0481GK103677229SQ201210337048
【公開日】2014年3月26日 申請日期:2012年9月13日 優(yōu)先權(quán)日:2012年9月13日
【發(fā)明者】葉耀宗 申請人:昆達電腦科技(昆山)有限公司, 神達電腦股份有限公司