本發(fā)明屬于計算機處理領(lǐng)域，尤其涉及一種基于指尖定位的投影交互方法、系統(tǒng)及計算設(shè)備。

背景技術(shù)：
隨著科技的發(fā)展，相機和投影逐漸走入了平常百姓的生活，投影目前應用于各個方面，如教學、各種會議等。通過投影和相機來進行手勢的自動識別成為目前的研究熱點，通過手勢的自動識別，達到了更好的人機交互，使得投影的使用更加方便。雖然綜合運用視覺、聽覺、觸覺、嗅覺、味覺等多通道人機交互技術(shù)越來越多地得到應用，然而，雙手作為虛擬現(xiàn)實系統(tǒng)中重要的動作與感知關(guān)系模型，其在虛擬現(xiàn)實系統(tǒng)依然起著不可代替的作用。目前，觸摸屏作為一種最新的電腦輸入設(shè)備，它是目前最簡單、方便、自然的一種人機交互方式。它賦予了多媒體以嶄新的面貌，是極富吸引力的全新多媒體交互設(shè)備。隨著科技的進步，投影儀的使用也越來越廣泛，培訓會議，課堂教學，電影院等等。投影儀的使用簡便，它可以將任意一個平面變成一個顯示屏。在中國國家知識產(chǎn)權(quán)局專利檢索網(wǎng)站上檢索發(fā)現(xiàn)目前基于視覺的投影交互系統(tǒng)基本都是基于輔助光定位的。專利200910190517.0公開了一種基于手指的投影交互方法，該發(fā)明通過手的顏色和形狀等信息在視頻文件中提取出手指的輪廓，并記錄手指的運動軌跡，然后將手指的運動軌跡和預先定義好的指令庫中的指令對比，來判斷所屬操作軌跡屬于何種操作指令，達到人機交互的目的。專利200910197516.9公開了一種用于交互式演示系統(tǒng)中的手指識別方法，用于與攝像機投影的交互式演示系統(tǒng)中通過手指的識別確定用戶的操作行為。為了對圖像中的手勢進行識別，首先要進行的是目標的分割，由于背景的復雜性與應用環(huán)境的多樣性，手臂的目標分割一直是一個難點。在投影交互系統(tǒng)中，由于投影儀光線的照射，人的手臂可能會呈現(xiàn)出不同的顏色，投影畫面中也有可能包含人手，這都給分割手臂帶來了困難，現(xiàn)在的技術(shù)方案在遇到以上問題時都會發(fā)生錯誤檢測。另外，現(xiàn)有技術(shù)方案都沒有給出手指是否接觸屏幕的判斷。利用手指的運動軌跡進行交互，不可避免的會有一定時間的延時，限制了它的應用。

技術(shù)實現(xiàn)要素：
本發(fā)明的目的在于提供一種基于指尖定位的投影交互方法、系統(tǒng)及計算設(shè)備，旨在解決現(xiàn)有技術(shù)中存在的在投影交互系統(tǒng)中，由于投影儀光線的照射，人的手臂可能會呈現(xiàn)出不同的顏色，投影畫面中也有可能包含人手，這都給分割手臂帶來了困難，都會發(fā)生錯誤檢測；另外，現(xiàn)有技術(shù)方案都沒有給出手指是否接觸屏幕的判斷，利用手指的運動軌跡進行交互，不可避免的會有一定時間的延時，限制了它的應用的問題。本發(fā)明是這樣實現(xiàn)的，一種基于指尖定位的投影交互方法，所述方法包括以下步驟：計算設(shè)備接收攝像機捕捉的投影屏幕上面的圖像；通過計算機視覺的方法分析所述圖像上面是否有人手；如果分析出有人手，則進一步利用三角測量的方法計算所述人手的指尖在圖像上的三維位置；根據(jù)所述指尖在圖像上的三維位置，計算指尖到投影屏幕的距離；根據(jù)計算出的距離來判斷手指是否接觸投影屏幕；如果判斷出接觸投影屏幕，則根據(jù)計算出的指尖位置定位鼠標位置，模擬觸摸屏的輸入。本發(fā)明的另一目的在于提供一種基于指尖定位的投影交互系統(tǒng)，所述系統(tǒng)包括：接收模塊，用于接收攝像機捕捉的投影屏幕上面的圖像；人手分析模塊，用于通過計算機視覺的方法分析所述圖像上面是否有人手；位置計算模塊，用于如果分析出有人手，則進一步利用三角測量的方法計算所述人手的指尖在圖像上的三維位置；距離計算模塊，用于根據(jù)所述指尖在圖像上的三維位置，計算指尖到投影屏幕的距離；判斷模塊，用于根據(jù)計算出的距離來判斷手指是否接觸投影屏幕；模擬模塊，用于如果判斷出接觸投影屏幕，則根據(jù)計算出的指尖位置定位鼠標位置，模擬觸摸屏的輸入。本發(fā)明的另一目的在于提供一種包括上面所述的基于指尖定位的投影交互系統(tǒng)的計算設(shè)備。在本發(fā)明中，投影儀作為輸出設(shè)備將計算機中的圖像投射到投影屏幕上，然后通過攝像機捕捉投影屏幕上面的畫面，通過計算機視覺的方法分析圖像上面是否有人手，然后從圖像上分離出人手，然后找出指尖在圖像中的位置，之后計算指尖到屏幕的距離來判斷手指是否接觸屏幕，然后根據(jù)計算出的指尖位置定位鼠標位置，模擬觸摸屏的輸入，實現(xiàn)人機交互的目的。解決了現(xiàn)有技術(shù)中存在的在投影交互系統(tǒng)中，由于投影儀光線的照射，人的手臂可能會呈現(xiàn)出不同的顏色，投影畫面中也有可能包含人手，這都給分割手臂帶來了困難，都會發(fā)生錯誤檢測；另外，現(xiàn)有技術(shù)方案都沒有給出手指是否接觸屏幕的判斷，利用手指的運動軌跡進行交互，不可避免的會有一定時間的延時，限制了它的應用的問題，本發(fā)明滿足了交互過程中實時性的要求。附圖說明圖1是本發(fā)明實施例提供的基于指尖定位的投影交互方法的實現(xiàn)流程示意圖。圖2是本發(fā)明實施例提供的投影儀圖像與攝像機圖像的對應關(guān)系的示意圖。圖3是本發(fā)明實施例提供的通過尋找棋盤格角點建立對應關(guān)系的示意圖。圖4是本發(fā)明實施例提供的三角測量的示意圖。圖5是本發(fā)明實施例提供的基于指尖定位的投影交互系統(tǒng)的結(jié)構(gòu)示意圖。具體實施方式為了使本發(fā)明的目的、技術(shù)方案及有益效果更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。在本發(fā)明實施例中，采用“估計圖像”的方法進行手臂的提取，然后利用投影儀與攝像機構(gòu)成的主動視覺系統(tǒng)，利用三角測量的原理計算手指到屏幕的距離，判斷手指是否接觸屏幕，并將鼠標光標定位到指尖的位置，實現(xiàn)觸摸屏的功能。本發(fā)明實施例克服了投影光線照射對目標分割的影響。具體實現(xiàn)為：主要包括攝像機、投影儀、計算設(shè)備以及投影屏幕(可以是墻壁，白板或者其他平面)。投影儀作為輸出設(shè)備將計算機中的圖像投射到投影屏幕上，然后通過攝像機捕捉投影屏幕上面的畫面，通過計算機視覺的方法分析圖像上面是否有人手，然后從圖像上分離出人手，然后找出指尖在圖像中的位置，之后計算指尖到屏幕的距離來判斷手指是否接觸屏幕，然后根據(jù)計算出的指尖位置定位鼠標位置，模擬觸摸屏的輸入，實現(xiàn)人機交互的目的。請參閱圖1，為本發(fā)明實施例提供的基于指尖定位的投影交互方法的實現(xiàn)流程，其主要包括以下步驟：在步驟S101中，計算設(shè)備接收攝像機捕捉的投影屏幕上面的圖像；在步驟S102中，通過計算機視覺的方法分析所述圖像上面是否有人手；在本發(fā)明實施例中，所述步驟S102具體為：在步驟S1021中，獲取投影儀輸出的投射在投影屏幕上面的圖像；在步驟S1022中，將所述投影儀輸出的投射在投影屏幕上面的圖像與攝像機捕捉的投影屏幕上面的圖像進行對比；在步驟S1023中，如果對比出存在差異，則結(jié)合人手特征信息來判斷攝像機捕捉的投影屏幕上面的圖像上是否有人手。在本發(fā)明實施例中，使用計算機視覺的方法尋找檢測人手有很多種方法，最常見的是利用手部的顏色和形狀進行檢測，然而在投影交互系統(tǒng)中利用膚色進行檢測有兩大弊端：一是投影儀發(fā)出的光線照射在手臂上時會改變手臂的顏色，給檢測帶來困難；二是當投影畫面本身包含人手時，會造成錯誤檢測。在投影儀和攝像機組成的系統(tǒng)中，有一個非常重要的信息可以利用：計算機可以獲取投影投射出的畫面，因此，計算機可以對攝像機讀取的圖像進行一個估計。如果投影畫面上沒有手臂遮擋，那么攝像機讀取的圖像應該和計算機估計出的圖像很相近，如果投影畫面的某個位置被手臂遮擋，則攝像機實際讀取的圖像和計算機估計出的圖像在手臂遮擋的部位會有較大的不同，根據(jù)這個信息，可以不受投影儀畫面干擾，準確的找到手臂的位置。本發(fā)明實施例的關(guān)鍵在于要準確的估計出攝像機讀取的圖像，這需要下面的兩個步驟：幾何位置的標定為了估計攝像機讀取的圖像，需要在投影圖像和攝像機之間建立一種對應關(guān)系。從一個平面到另一個平面的映射關(guān)系可以通過一個3×3矩陣H表示。如圖2所示，投影畫面平面的abc三點分別對應攝像機圖像平面內(nèi)的a'b'c'三點。為了計算轉(zhuǎn)移矩陣H，需要在投影儀圖像和攝像機圖像上找出若干對應點。本發(fā)明實施例采用以下步驟：1、控制投影儀投射出一個棋盤格圖像。2、通過攝像機捕捉投影圖像，并分別檢測投影儀輸出的圖像與攝像機捕捉到的圖像的角點。3、通過對應的角點，計算轉(zhuǎn)移矩陣H。如圖3所示，分別檢測出投影儀輸出的圖像的角點與攝像機捕捉到的圖像的角點，然后計算矩陣H。假設(shè)P為投影儀輸出的圖像上的任意一點，P’為攝像機圖像上的對應點，則P'＝H*P。顏色的標定對于投影儀輸出的圖像上的一點P，通過上面計算出的轉(zhuǎn)移矩陣，可以知道它在攝像機圖像上對應的位置，為了達到估計圖像的目的，還需要知道這一點在攝像機圖像上的像素值是多少。因為投影儀投射出的光線不是均勻光線，即使純色的圖像經(jīng)過投影儀成像也會表現(xiàn)出不同的像素值，即便投影儀投射出的是均勻光線，因為攝像機鏡頭采光不均勻的原因，攝像機讀取圖像的像素值在圖像的不同位置也是不同的，所以顏色的標定不僅與像素值有關(guān)還應該與位置有關(guān)。本發(fā)明實施例使用如下步驟進行顏色標定：10、將圖像的0-255的RGB像素值量化到10×10×10＝1000種顏色的空間；20、將每一個量化過的顏色投影在屏幕上，同時用攝像機進行捕捉；30、將投影屏幕劃分為64×48＝3072個小塊，分別計算每幅圖像的RGB通道像素值在每一個小塊內(nèi)的均值和方差V。這樣就為這1000種顏色在3072個小塊上建立了一個表格，這樣就可以通過如下步驟進行圖像的估計：A、計算機獲取當前投影儀圖像，按照同樣的方法將其量化到10×10×10的顏色空間；B、根據(jù)每個像素點的位置和像素值查表找到對應的小塊的均值作為像素值。通過上面的步驟，就可以通過投影儀輸出的圖像來預先估計出攝像機讀取的圖像，然后通過分析估計圖像與實際讀取圖像的差異來檢測手臂。手臂提取通過上面的步驟，獲得了估計圖像與實際讀取圖像，接下來的任務就是要分析這兩幅圖像找出手臂在攝像機讀取圖像中的位置。假設(shè)計算機圖像中有一點(x，y)，經(jīng)過投影儀成像后亮度變?yōu)镻，攝像機的顏色轉(zhuǎn)移關(guān)系用C表示，屏幕的反射率用A表示，在攝像機成像的圖像上的像素值用I表示，則有如下關(guān)系成立：I＝C×A×P(1)；人手的反射率用A'表示，攝像機實際讀取的像素值用I'表示，則有I'＝C×A'×P。用a＝A'/A表示反射率的變化。通過下面的(2)式來計算每個像素點(x，y)的RGB三個顏色通道在不同位置的反射率的變化。a[x,y,c]=A′A=I′[x,y,c]I[x,y,c]---(2)]]>假設(shè)反射率A的噪聲服從一個均值為零，方差為V/I的高斯分布，我們使用如下的決策規(guī)則來判斷一個像素點(x，y)在手臂區(qū)域。1-a[x,y,R]+a[x,y,G]+a[x,y,B]3>V[x,y,R]+V[x,y,G]+V[x,y,B]I[x,y,R]+I[x,y,G]+I[x,y,B]---(3)]]>采用以上方式即使投影圖像上本來包含人手，也可以避免投影圖像中人手的干擾，此方法不僅可以用于靜態(tài)背景，還可以應用于動態(tài)背景，如投影儀正在播放視頻時，也可以正常進行手臂檢測。在步驟S103中，如果分析出有人手，則進一步利用三角測量的方法計算所述人手的指尖在圖像上的三維位置；在本發(fā)明實施例中，在所述計算所述人手的指尖在圖像上的三維位置的步驟之前，還包括：定位指尖位置。在本發(fā)明實施例中，提取出手臂之后，下面的任務是要找到指尖在圖像中的位置，尋找指尖的方法有很多種，如通過計算輪廓的近似K曲率,根據(jù)指尖點處K曲率取極值求出指尖位置。本發(fā)明實施例通過以下步驟尋找指尖：步驟S1031、找出最大輪廓并填充此輪廓，這樣就得到了沒有噪聲的手臂前景圖像；步驟S1032、計算輪廓的凸包；步驟S1033、計算手臂重心位置，在凸包上找出曲率最大的幾個候選點；步驟S1034、把距離重心位置最遠的候選點作為指尖。在步驟S104中，根據(jù)所述指尖在圖像上的三維位置，計算指尖到投影屏幕的距離；在步驟S105中，根據(jù)計算出的距離來判斷手指是否接觸投影屏幕；在步驟S106中，如果判斷出接觸投影屏幕，則根據(jù)計算出的指尖位置定位鼠標位置，模擬觸摸屏的輸入。在本發(fā)明實施例中，在找到指尖位置之后，我們下一步要做的工作是，計算出指尖的空間三維坐標點，從而判斷是否有鼠標點擊事件。根據(jù)立體幾何原理，我們首先要做的工作是進行投影儀和攝像機的標定。準確而簡單的標定過程是投影儀與攝像機構(gòu)成主動視覺系統(tǒng)進行三維測量的關(guān)鍵所在，標定攝像機方法已經(jīng)很成熟，本發(fā)明實施例使用張正友的標定方法。標定攝像機只需要使用一個平面棋盤格。下面的研究重點是如何標定投影儀。投影儀的成像和攝像機一樣也可以用針孔模型描述，所以也可以用內(nèi)部參數(shù)和外部參數(shù)的方法表示。我們把投影儀成像過程看成是攝像機成像的逆過程，就可以用標定攝像機的方法來標定投影儀。只要找到投影圖像三維坐標點與投影圖像的二維點之間的對應關(guān)系就可以求解出投影儀的內(nèi)部參數(shù)與外部參數(shù)。采用如下步驟來標定投影儀：1)標定攝像機2)準備一個白板，白板上貼有一個紙質(zhì)棋盤格3)控制投影儀投射出一個棋盤格照射在白板上4)分別提取兩個棋盤格的角點5)根據(jù)紙質(zhì)棋盤格角點計算出白板所在平面6)使用標定好的攝像機計算出投影棋盤格角點的三維坐標7)結(jié)合角點三維坐標點和投影儀的投射的原始圖像計算投影儀內(nèi)部參數(shù)與外部參數(shù)在求解得到投影儀和攝像機的參數(shù)之后，我們可以利用三角測量的方法計算指尖的三維位置，如圖4所示，是三角測量的示意圖。利用相似三角形可以很容易推導出Z值。如圖可知：T-(xl-xr)Z-f=TZ=>Z=fTxl-xr---(4)]]>利用三角測量的原理，我們還可以輕松的計算出攝像機距離投影屏幕的距離，從而可以推算出手指距離屏幕的距離，如果手指距離屏幕的距離小于某一特定閾值，就認為有點擊事件發(fā)生。通過指尖在屏幕中的位置，以及之前的幾何標定，我們可以將鼠標光標定位至指尖處，并模擬鼠標點擊事件。實現(xiàn)人機交互，這樣就達到了將任意一個投影平面變?yōu)橐粋€觸摸屏的目的。請參閱圖5，為本發(fā)明實施例提供的基于指尖定位的投影交互系統(tǒng)的結(jié)構(gòu)。為了便于說明，僅示出了與本發(fā)明實施例相關(guān)的部分。所述基于指尖定位的投影交互系統(tǒng)包括：接收模塊101、人手分析模塊102、位置計算模塊103、距離計算模塊104、判斷模塊105、以及模擬模塊106。所述基于指尖定位的投影交互系統(tǒng)可以是內(nèi)置于計算設(shè)備中的軟件單元、硬件單元或者是軟硬件結(jié)合的單元。接收模塊101，用于接收攝像機捕捉的投影屏幕上面的圖像；人手分析模塊102，用于通過計算機視覺的方法分析所述圖像上面是否有人手；位置計算模塊103，用于如果分析出有人手，則進一步利用三角測量的方法計算所述人手的指尖在圖像上的三維位置；距離計算模塊104，用于根據(jù)所述指尖在圖像上的三維位置，計算指尖到投影屏幕的距離；判斷模塊105，用于根據(jù)計算出的距離來判斷手指是否接觸投影屏幕；模擬模塊106，用于如果判斷出接觸投影屏幕，則根據(jù)計算出的指尖位置定位鼠標位置，模擬觸摸屏的輸入。作為本發(fā)明一優(yōu)選實施例，人手分析模塊102具體包括：獲取模塊、對比模塊、人手判斷模塊。獲取模塊，用于獲取投影儀輸出的投射在投影屏幕上面的圖像；對比模塊，用于將所述投影儀輸出的投射在投影屏幕上面的圖像與攝像機捕捉的投影屏幕上面的圖像進行對比；人手判斷模塊，如果對比出存在差異，則結(jié)合人手特征信息來判斷攝像機捕捉的投影屏幕上面的圖像上是否有人手。作為本發(fā)明另一優(yōu)選實施例，所述系統(tǒng)還包括：定位模塊。定位模塊，用于定位指尖位置。作為本發(fā)明另一優(yōu)選實施例，所述系統(tǒng)還包括：填充模塊、凸包計算模塊，候選點確定模塊、以及指尖定位模塊。填充模塊，用于找出最大輪廓并填充此輪廓；凸包計算模塊，用于計算輪廓的凸包；候選點確定模塊，用于計算手臂重心位置，在凸包上找出曲率最大的幾個候選點；指尖定位模塊，用于把距離重心位置最遠的候選點作為指尖。綜上所述，本發(fā)明實施例首先從復雜背景中提取出人手。從復雜背景中提取人手就是從整幅圖像中將對應的人手部分提取出來，它涉及到圖像的分割和對人手區(qū)域判別兩個問題。分割圖像一般屬于是低層次的特征提取，主要利用了人手的幾何信息、顏色信息和運動信息。其中，幾何信息包括人手的形狀、輪廓等等；運動信息指的是人手的運動軌跡。人手區(qū)域的提取為后面精確的定位指尖位置奠定了基礎(chǔ)，通?？梢圆捎没叶乳撝捣?、邊緣檢測算子法、差分法等方法來實現(xiàn)。本發(fā)明實施例中，為了去除投影光線照射的影響，在手臂提取時使用預測圖像的方法來分離前景與背景。計算機知道投影儀正在投射畫面的內(nèi)容，通過建立幾何位置的對應關(guān)系與色彩空間的對應關(guān)系，計算機可以估計出攝像機讀取畫面的內(nèi)容，通過分析預測圖像與實際讀取圖像進行對比，分析差別，再通過手的形狀、輪廓、顏色等信息進一步找出人手的位置。之后，在得到的手部前景圖像中精確定位指尖位置。尋找指尖的方法有很多，都是在分離出的手部前景的圖像上進行的。如輪廓分析、圓Hough變化、特殊標記方法等，本發(fā)明實施例使用曲率的方法定位指尖。最后，計算手指的深度信息，判斷是否與投影屏幕接觸，產(chǎn)生點擊按鈕事件。在本發(fā)明實施例中，使用主動視覺的原理，分別計算手指和屏幕的深度信息，通過這兩個值的比較可以計算出手指是否接觸屏幕，從而判斷是否有點擊事件。本發(fā)明實施例解決了現(xiàn)有技術(shù)中存在的在投影交互系統(tǒng)中，由于投影儀光線的照射，人的手臂可能會呈現(xiàn)出不同的顏色，投影畫面中也有可能包含人手，這都給分割手臂帶來了困難，都會發(fā)生錯誤檢測；另外，現(xiàn)有技術(shù)方案都沒有給出手指是否接觸屏幕的判斷，利用手指的運動軌跡進行交互，不可避免的會有一定時間的延時，限制了它的應用的問題，本發(fā)明滿足了交互過程中實時性的要求。本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述實施例方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成，所述的程序可以存儲于一計算機可讀取存儲介質(zhì)中，所述的存儲介質(zhì)，如ROM/RAM、磁盤、光盤等。以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。