專利名稱：一種非接觸式界面操作方法及系統(tǒng)的制作方法
一種非接觸式界面操作方法及系統(tǒng)
技術(shù)領(lǐng)域
本發(fā)明屬于電子設(shè)備操作控制技術(shù)及人機(jī)交互技術(shù)領(lǐng)域，尤其涉及一種非接觸式界面操作方法及系統(tǒng)。
背景技術(shù)：
觸摸屏作為一種新的電腦輸入設(shè)備，是簡單、方便、自然的一種人機(jī)交互方式，用戶只要用手指碰到觸摸屏的圖符或文字，就可實現(xiàn)對主機(jī)的操作。針對現(xiàn)有的觸摸屏操作系統(tǒng)，必須通過手接觸屏幕表面才能實現(xiàn)觸摸控制，因此手在操作時只有點擊、滑動等二維平面動作，同時針對目前公共場所用到的ATM、取號機(jī)等都用到觸摸屏操作，大家都去接觸同一屏幕，會造成公眾的交叉感染，產(chǎn)生安全隱患。發(fā)明內(nèi)容
有鑒于此，本發(fā)明所要解決的技術(shù)問題是提供一種非接觸式界面操作方法及系統(tǒng)。為了對披露的實施例的一些方面有一個基本的理解，下面給出了簡單的概括。該概括部分不是泛泛評述，也不是要確定關(guān)鍵/重要組成元素或描繪這些實施例的保護(hù)范圍。其唯一目的是用簡單的形式呈現(xiàn)一些概念，以此作為后面的詳細(xì)說明的序言。
本發(fā)明公開了一種非接觸式界面操作方法，包括記錄3D顯示的操作界面中操作點的第一坐標(biāo)；識別并記錄人手的第二坐標(biāo)；判斷所述第一坐標(biāo)與第二坐標(biāo)是否對應(yīng)，以使操作界面進(jìn)行響應(yīng)。
在一些可選的實施例中，所述的記錄第一坐標(biāo)包括通過3D方式顯示操作界面；以顯示器一角為坐標(biāo)原點確定第一坐標(biāo)系，確定操作界面中操作點在第一坐標(biāo)系中的坐標(biāo)。
在一些可選的實施例中，所述的記錄人手的第二坐標(biāo)包括通過兩個攝像頭采集人手的手勢及位置信息；以其中任一攝像頭為坐標(biāo)原點確定第二坐標(biāo)系，確定人手在第二坐標(biāo)系中的坐標(biāo)。
在一些可選的實施例中，所述的判斷是否對應(yīng)包括以顯示器一角為坐標(biāo)原點確定第一坐標(biāo)系，將所述第二坐標(biāo)轉(zhuǎn)換至所述第一坐標(biāo)系中；比較轉(zhuǎn)換后的第二坐標(biāo)與所述第一坐標(biāo)，若相同，則確定為對應(yīng)。
本發(fā)明的另一方面是提出了一種非接觸式界面操作系統(tǒng)，其特征在于，包括第一單元記錄3D顯示的操作界面中操作點的第一坐標(biāo)；第二單元識別并記錄人手的第二坐標(biāo)；判斷單元判斷所述第一坐標(biāo)與第二坐標(biāo)是否對應(yīng)，以使操作界面進(jìn)行響應(yīng)。
在一些可選的實施例中，所述的第一單元包括顯示模塊通過3D方式顯示操作界面；第一模塊以顯不器一角為坐標(biāo)原點確定第一坐標(biāo)系，確定操作界面中操作點在第一坐標(biāo)系中的坐標(biāo)。
在一些可選的實施例中，所述的第二單元包括采集模塊通過兩個攝像頭采集人手的手勢及位置信息；第二模塊以其中任一攝像頭為坐標(biāo)原點確定第二坐標(biāo)系，確定人手在第二坐標(biāo)系中的坐標(biāo)。
在一些可選的實施例中，所述的判斷單元包括轉(zhuǎn)換模塊以顯示器一角為坐標(biāo)原點確定第一坐標(biāo)系，將所述第二坐標(biāo)轉(zhuǎn)換至所述第一坐標(biāo)系中；比較模塊比較轉(zhuǎn)換后的第二坐標(biāo)與所述第一坐標(biāo)，若相同，則確定為對應(yīng)。
為了上述以及相關(guān)的目的，一個或多個實施例包括后面將詳細(xì)說明并在權(quán)利要求中特別指出的特征。下面的說明以及附圖詳細(xì)說明某些示例性方面，并且其指示的僅僅是各個實施例的原則可以利用的各種方式中的一些方式。其它的益處和新穎性特征將隨著下面的詳細(xì)說明結(jié)合附圖考慮而變得明顯，所公開的實施例是要包括所有這些方面以及它們的等同。
本發(fā)明在3D空間中，通過肢體動作對3D顯示的系統(tǒng)進(jìn)行操作，在操作時人可以在空間中做多種三維動作，實現(xiàn)系統(tǒng)的多種操作，并且它不需要不接觸任何設(shè)備，避免公共場所的交叉感染。實現(xiàn)了不通過任何輸入設(shè)備，也不需要觸摸到主機(jī)，就可對3D顯示的操作系統(tǒng)進(jìn) 行操作，更加靈活的實現(xiàn)了人機(jī)交互。它適用于公共場所中的各種對外開放設(shè)備， 如銀行ATM、取號機(jī)、通訊商的話費繳納機(jī)，火車站和地鐵內(nèi)的自動售票機(jī)等。
說明書附I是本發(fā)明的方法示意圖；圖2是本發(fā)明的方法流程圖；圖3是本發(fā)明的系統(tǒng)示意圖；圖4是3D顯不原理圖；圖5是雙目攝像頭采集肢體位置示意圖；圖6是雙目攝像頭采集肢體位置示意圖；圖7是本發(fā)明兩種坐標(biāo)系空間不意圖；圖8是本發(fā)明操作系統(tǒng)效果圖；圖9是本發(fā)明實施例一效果圖；

圖10是本發(fā)明實施例一效果圖。
具體實施方式
以下描述和附圖充分地示出本發(fā)明的具體實施方案，以使本領(lǐng)域的技術(shù)人員能夠?qū)嵺`它們。其他實施方案可以包括結(jié)構(gòu)的、邏輯的、電氣的、過程的以及其他的改變。實施例僅代表可能的變化。除非明確要求，否則單獨的組件和功能是可選的，并且操作的順序可以變化。一些實施方案的部分和特征可以被包括在或替換其他實施方案的部分和特征。本發(fā)明的實施方案的范圍包括權(quán)利要求書的整個范圍，以及權(quán)利要求書的所有可獲得的等同物。在本文中，本發(fā)明的這些實施方案可以被單獨地或總地用術(shù)語“發(fā)明”來表示，這僅僅是為了方便，并且如果事實上公開了超過一個的發(fā)明，不是要自動地限制該應(yīng)用的范圍為任何單個發(fā)明或發(fā)明構(gòu)思。
本發(fā)明基于目前的3D顯示技術(shù)和機(jī)器視覺技術(shù)，將3D顯示的立體圖像和人的肢體在空間中對應(yīng)，如圖I所示；在視覺上形成肢體觸碰到空間中圖像的感覺，從而實現(xiàn)真實的隔空操作，即實現(xiàn)非接觸式操作。使人機(jī)交互更加靈活，并且不需要接觸任何設(shè)備，避免公共場所設(shè)備的交叉感染。
本發(fā)明提出的一種非接觸式界面操作方法，如圖2，具體流程如下步驟201 :記錄3D顯示的操作界面中操作點的第一坐標(biāo)；首先，對于系統(tǒng)操作界面，利用3D顯示技術(shù)，將系統(tǒng)操作界面在三維空間中顯示。3D顯示技術(shù)就是利用一系列的光學(xué)方法，使人的左右眼產(chǎn)生視差從而接收不同的畫面，在大腦形成3D立體效果。人雙眼能同時看同一方向，但是眼間距離越65mm，因此不能瞄上同一直線，在一定范圍內(nèi)雙眼看到的圖像有差異。
如圖4所示，左右眼分別看到左眼圖和右眼圖，那么視線在中間會有一個交點，在這個交叉處，視覺上會形成兩圖合成的立體圖像，這樣大腦將兩幅圖合成為一個在交點處立體圖。通過3D顯示原理，以顯示器的左上角為空間原點O,顯示器面為XY平面，垂直顯示器方向為Z軸，我們可以得到系統(tǒng)操作界面中操作點在三維空間中的坐標(biāo)W。
步驟202 :識別并記錄人手的第二坐標(biāo)；人看到三維顯示的立體操作界面，并通過肢體動作對看到的界面進(jìn)行操作。用雙目攝像頭采集的肢體動作。并對它進(jìn)行動作識別，同時計算出肢體在運(yùn)動中的3D坐標(biāo)。
如圖5和圖6所示，兩臺焦距為/的攝像機(jī)平行放置，光軸之間的距離為八圖5中的兩個矩形分辨表示左右攝像機(jī)的成像平面，O1和Or為左右攝像機(jī)的焦點，對于場景中的任意一點八在左右攝像機(jī)成像平面上的成像點分別為A和&，它們在成像平面上的成像坐標(biāo)(圖像坐標(biāo))為夕和7，則視差定義為= y - X r ;如6所示。
以圖5中的左攝像機(jī)焦點O1為原點，O1Or所在直線為Z軸，左攝像機(jī)光軸為Z軸， 垂直于^軸的為Y軸，則P點在O1坐標(biāo)系中的坐標(biāo)可以按照公式(I)計算d d d 步驟203 :判斷所述第一坐標(biāo)與第二坐標(biāo)是否對應(yīng)，以使操作界面進(jìn)行響應(yīng)。
通過步驟201和步驟202，我們計算出了操作點j, Z)的坐標(biāo)和人做動作時的肢體坐標(biāo)W，由于兩個坐標(biāo)不是在同一坐標(biāo)系下，根據(jù)左攝像頭和顯示器的位置關(guān)系，將/7點轉(zhuǎn)換到和j點相同的坐標(biāo)系下，得到在同一坐標(biāo)系下的J, W。具體坐標(biāo)轉(zhuǎn)換方式如下由于攝像頭放在顯示器的上方，此處設(shè)左攝像頭與原點O的距離為7，即在以0為原點的空間坐標(biāo)系的X軸上，其光軸與X軸垂直，與XY平面夾角為〃，如圖7所示。
由步驟202中計算肢體坐標(biāo)時，以左攝像頭光軸為Z軸，那么設(shè)肢體坐標(biāo)點為P(x,y,z),則將/^轉(zhuǎn)換到以0為原點的空間坐標(biāo)系下的/，如下式所示疒 IX = X+I< y = ^jy2 +Z2 cos Θ(2)z = -Jy2 + Z2 sin Θ最后，利用識別技術(shù)判斷出人的肢體動作，此動作需要觸碰到在三維空間某一位置的操作點，若D和Zy兩點重合，說明此動作在空間中觸碰到視覺上三維顯示的操作點，但并非觸到顯示器本身，此時操作系統(tǒng)進(jìn)行動作響應(yīng)，否則不響應(yīng)。
如圖8所示，人在顯示器前看到3D顯示的系統(tǒng)操作界面，然后在三維空間中用肢體動作去操作，利用兩個攝像頭采集下人的動作，利用識別跟蹤技術(shù)，確定肢體運(yùn)動形式并記錄運(yùn)動過程中的3D坐標(biāo)，根據(jù)運(yùn)動形式以及肢體坐標(biāo)與界面操作點的坐標(biāo)對應(yīng)，來判斷系統(tǒng)是否響應(yīng)當(dāng)前操作。在上述這一過程中，在大腦視覺上人的肢體接觸到了系統(tǒng)操作界面，而在真實空間中，人體任何部分始終不用接觸顯示器，也不用借助其它的傳感裝置，僅僅在空間中系統(tǒng)界面顯示區(qū)域進(jìn)行運(yùn)動，就可實現(xiàn)對系統(tǒng)的操作，因此實現(xiàn)了非接觸式操作。
具體實施例一本實施例模擬銀行辦理業(yè)務(wù)需要拿號排隊，取號機(jī)為非接觸式操作系統(tǒng)。
I.客戶站在取號機(jī)前，利用3D眼鏡或者其它技術(shù)看到在空間顯示的操作界面。界面示意圖如圖9所示；其中界面前面三個業(yè)務(wù)操作塊即客戶看到的3D顯示的界面，把取號機(jī)顯示器左上角當(dāng)作空間坐標(biāo)原點0，根據(jù)3D顯示原理計算出3D顯示的操作塊坐標(biāo)隊
2.客戶需要操作個人業(yè)務(wù)，伸手點擊顯示在空間的個人業(yè)務(wù)塊，處于顯示器處的兩個攝像機(jī)對手運(yùn)動進(jìn)行采集，判斷是手指點擊動作后，通過式(I)計算出手指的3D坐標(biāo) P,如圖10所示。
3.根據(jù)攝像頭A與0之間的位置關(guān)系，將手指坐標(biāo)產(chǎn)轉(zhuǎn)換到以0為原點的空間坐標(biāo)系下為廣，計算式(2)。若經(jīng)過轉(zhuǎn)換后的手指坐標(biāo)^與個人業(yè)務(wù)塊坐標(biāo)D相同，即在視覺上已經(jīng)點擊到界面中操作塊，此時操作系統(tǒng)給予響應(yīng)，打印出個人業(yè)務(wù)的排號紙條。
下面介紹本發(fā)明提出的非接觸式操作系統(tǒng)圖3為本發(fā)明的非接觸式操作系統(tǒng)結(jié)構(gòu)示意圖，該系統(tǒng)包括第一單元301、第二單元 302和判斷單元303。
上述第一單元301 :記錄3D顯示的操作界面中操作點的第一坐標(biāo)；上述第二單元302 :識別并記錄人手的第二坐標(biāo)；上述判斷單元303 :判斷所述第一坐標(biāo)與第二坐標(biāo)是否對應(yīng)，以使操作界面進(jìn)行響應(yīng)。
進(jìn)一步上述第一單元中301包括顯示模塊3011和第一模塊3012。
上述顯示模塊3011 :通過3D方式顯示操作界面；上述第一模塊3012:以顯示器一角為坐標(biāo)原點確定第一坐標(biāo)系，確定操作界面中操作點在第一坐標(biāo)系中的坐標(biāo)。
進(jìn)一步上述第二單元302包括采集模塊3021和第二模塊3022。
上述采集模塊3021 :通過兩個攝像頭采集人手的手勢及位置信息；上述第二模塊3022 :以其中任一攝像頭為坐標(biāo)原點確定第二坐標(biāo)系，確定人手在第二坐標(biāo)系中的坐標(biāo)。
進(jìn)一步上述判斷單元303包括轉(zhuǎn)換模塊3031和比較模塊3032。
上述轉(zhuǎn)換模塊3031 :以顯示器一角為坐標(biāo)原點確定第一坐標(biāo)系，將所述第二坐標(biāo)轉(zhuǎn)換至所述第一坐標(biāo)系中；上述比較模塊3032 :比較轉(zhuǎn)換后的第二坐標(biāo)與所述第一坐標(biāo)，若相同，則確定為對應(yīng)。
在上述的詳細(xì)描述中，各種特征一起組合在單個的實施方案中，以簡化本公開。不應(yīng)該將這種公開方法解釋為反映了這樣的意圖，即，所要求保護(hù)的主題的實施方案需要比清楚地在每個權(quán)利要求中所陳述的特征更多的特征。相反，如所附的權(quán)利要求書所反映的那樣， 本發(fā)明處于比所公開的單個實施方案的全部特征少的狀態(tài)。因此，所附的權(quán)利要求書特此清楚地被并入詳細(xì)描述中，其中每項權(quán)利要求獨自作為本發(fā)明單獨的優(yōu)選實施方案。
本領(lǐng)域技術(shù)人員還應(yīng)當(dāng)理解，結(jié)合本文的實施例描述的各種說明性的邏輯框、模塊、電路和算法步驟均可以實現(xiàn)成電子硬件、計算機(jī)軟件或其組合。為了清楚地說明硬件和軟件之間的可交換性，上面對各種說明性的部件、框、模塊、電路和步驟均圍繞其功能進(jìn)行了一般地描述。至于這種功能是實現(xiàn)成硬件還是實現(xiàn)成軟件，取決于特定的應(yīng)用和對整個系統(tǒng)所施加的設(shè)計約束條件。熟練的技術(shù)人員可以針對每個特定應(yīng)用，以變通的方式實現(xiàn)所描述的功能，但是，這種實現(xiàn)決策不應(yīng)解釋為背離本公開的保護(hù)范圍。
上文的描述包括一個或多個實施例的舉例。當(dāng)然，為了描述上述實施例而描述部件或方法的所有可能的結(jié)合是不可能的，但是本領(lǐng)域普通技術(shù)人員應(yīng)該認(rèn)識到，各個實施例可以做進(jìn)一步的組合和排列。因此，本文中描述的實施例旨在涵蓋落入所附權(quán)利要求書的保護(hù)范圍內(nèi)的所有這樣的改變、修改和變型。此外，就說明書或權(quán)利要求書中使用的術(shù)語 “包含”，該詞的涵蓋方式類似于術(shù)語“包括”，就如同“包括，·”在權(quán)利要求中用作銜接詞所解釋的那樣。此外，使用在權(quán)利要求書的說明書中的任何一個術(shù)語“或者”是要表示“非排它性的或者”。
權(quán)利要求
1.一種非接觸式界面操作方法，其特征在于，包括記錄3D顯示的操作界面中操作點的第一坐標(biāo)；識別并記錄人手的第二坐標(biāo)；判斷所述第一坐標(biāo)與第二坐標(biāo)是否對應(yīng)，以使操作界面進(jìn)行響應(yīng)。
2.如權(quán)利要求I所述的方法，其特征在于，所述的記錄第一坐標(biāo)包括通過3D方式顯示操作界面；以顯示器一角為坐標(biāo)原點確定第一坐標(biāo)系，確定操作界面中操作點在第一坐標(biāo)系中的坐標(biāo)。
3.如權(quán)利要求I所述的方法，其特征在于，所述的記錄人手的第二坐標(biāo)包括通過兩個攝像頭采集人手的手勢及位置信息；以其中任一攝像頭為坐標(biāo)原點確定第二坐標(biāo)系，確定人手在第二坐標(biāo)系中的坐標(biāo)。
4.如權(quán)利要求I所述的方法，其特征在于，所述的判斷是否對應(yīng)包括以顯示器一角為坐標(biāo)原點確定第一坐標(biāo)系，將所述第二坐標(biāo)轉(zhuǎn)換至所述第一坐標(biāo)系中；比較轉(zhuǎn)換后的第二坐標(biāo)與所述第一坐標(biāo)，若相同，則確定為對應(yīng)。
5.一種非接觸式界面操作系統(tǒng)，其特征在于，包括第一單元記錄3D顯示的操作界面中操作點的第一坐標(biāo)；第二單元識別并記錄人手的第二坐標(biāo)；判斷單元判斷所述第一坐標(biāo)與第二坐標(biāo)是否對應(yīng)，以使操作界面進(jìn)行響應(yīng)。
6.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述的第一單元包括顯示模塊通過3D方式顯示操作界面；第一模塊以顯不器一角為坐標(biāo)原點確定第一坐標(biāo)系，確定操作界面中操作點在第一坐標(biāo)系中的坐標(biāo)。
7.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述的第二單元包括采集模塊通過兩個攝像頭采集人手的手勢及位置信息；第二模塊以其中任一攝像頭為坐標(biāo)原點確定第二坐標(biāo)系，確定人手在第二坐標(biāo)系中的坐標(biāo)。
8.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述的判斷單元包括轉(zhuǎn)換模塊以顯示器一角為坐標(biāo)原點確定第一坐標(biāo)系，將所述第二坐標(biāo)轉(zhuǎn)換至所述第一坐標(biāo)系中；比較模塊比較轉(zhuǎn)換后的第二坐標(biāo)與所述第一坐標(biāo)，若相同，則確定為對應(yīng)。
全文摘要
本發(fā)明公開了一種非接觸式界面操作方法及系統(tǒng)，包括記錄3D顯示的操作界面中操作點的第一坐標(biāo)；識別并記錄人手的第二坐標(biāo)；判斷所述第一坐標(biāo)與第二坐標(biāo)是否對應(yīng)，以使操作界面進(jìn)行響應(yīng)；本發(fā)明在3D空間中，通過肢體動作對3D顯示的系統(tǒng)進(jìn)行操作，在操作時人可以在三維空間中做多種動作，實現(xiàn)系統(tǒng)的多種操作，使人機(jī)交互更加靈活，并且它不需要接觸任何設(shè)備，避免公共場所設(shè)備的交叉感染。
文檔編號G06F3/042GK102880352SQ201110193258
公開日2013年1月16日 申請日期2011年7月11日 優(yōu)先權(quán)日2011年7月11日
發(fā)明者程懿遠(yuǎn), 胡洪磊, 王嘉, 鮑東山 申請人:北京新岸線移動多媒體技術(shù)有限公司