一種通用的手勢命令發(fā)射和操作裝置及方法
【技術(shù)領域】
[0001] 本發(fā)明屬于電器控制領域，具體涉及一種通用的手勢命令發(fā)射和操作裝置及方 法。
【背景技術(shù)】
[0002] 目前，控制家電的主要方法及其存在的問題為：⑴用遙控器操控。存在的問題是 通用性差，操作比較復雜，交互的自然性差。（2)語音操控。存在的主要問題是容易受到環(huán) 境干擾，識別率難以保證。（3)手勢鼠標。把手勢軌跡轉(zhuǎn)化為鼠標位置，以WIMP(Windows， Icon，Menu，Pointer device)范式與設備進行交互。存在的主要問題是只能與顯示設備進 行交互，且遠距離下的手勢識別難度非常大。（4)手勢體感操控。存在的主要問題是"Midas Touch問題"（即"點石成金"問題，用戶所有的手勢動作都會被傳感器捕獲當作命令執(zhí)行而 導致系統(tǒng)狀態(tài)紊亂，極大地加重認知用戶負荷和操作負荷）難以解決。另外，在用手勢操控 不同設備時往往有不同的設備和方法，給用戶帶來很大的認知負荷。提供一種統(tǒng)一的、通用 的手勢命令發(fā)射和操作裝置具有重要應用價值。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的在于解決上述現(xiàn)有技術(shù)中存在的難題，提供一種通用的手勢命令發(fā) 射和操作裝置及方法。
[0004] 本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：
[0005] -種通用的手勢命令發(fā)射和操作裝置，包括計算機、攝像頭、卡片母版、卡片、無線 發(fā)射器和無線接收器；
[0006] 所述卡片是有語義或操作功能的圖形、圖像或符號、標識；與卡片對應的虛擬界面 具有特定的功能分布；
[0007] 所述卡片母版是一個物理平面，上面設置有一個或多個不同卡片，代表不同操控 對象或操控功能的圖像或圖形；
[0008] 所述攝像頭獲取卡片母版上的圖像數(shù)據(jù)，并將其傳給計算機，所述計算機通過對 各個卡片進行分割，并對卡片進行識別；
[0009] 所述計算機通過圖像的卡片進行識別，自動確定卡片對應的功能；通過識別操作 者的手勢移動范圍，隱式感知操作者的操控對象，通過對操作者進行手勢識別，感知操作者 的交互意圖；
[0010] 手勢命令通過無線發(fā)射器傳遞到無線接收器上，無線接收器再把手勢指令傳給被 操縱對象的執(zhí)行機構(gòu)?？ㄆc被操控設備之間具有對應關系，各個被操控設備上布置有無 線接收器，無線發(fā)射器可以由計算機集中控制。因此，計算機識別出卡片后，檢索出被操控 設備，無線發(fā)射器按照該設備對應的頻率與該設備上的無線接收器建立聯(lián)系，再通過這種 聯(lián)系把手勢命令或命令參數(shù)傳遞給被操控設備。這樣，通過一個攝像頭就可以控制分布在 不同位置的設備。 toon] 所述虛擬界面是具有特定結(jié)構(gòu)和功能的操作者手勢操作區(qū)域，其是這樣形成的： 通過分析操作者的手勢操作行為，所述計算機形成位于操作者前面的手勢交互感應區(qū)，該 區(qū)域為二維或三維，其能夠隨著操作者的身體位置或體態(tài)的變化亦步亦趨地變化，此區(qū)域 即為虛擬界面；
[0012] 顯示屏幕為物理界面，操作者與物理界面之間的空間為物理空間；物理空間分為 虛擬界面和非虛擬界面，只有從虛擬界面內(nèi)發(fā)出的手勢命令才被計算機感知和識別，在虛 擬界面外的手勢或體感命令對于計算機都是無效的；
[0013] 所述操控對象包括電視機、空調(diào)、電熱水器、自動窗簾盒等智能家電設備。
[0014] 利用所述通用的手勢命令發(fā)射和操作裝置實現(xiàn)的操縱方法，包括：
[0015] (1)生成虛擬界面群，得到虛擬界面群{Vi|i = 1，2…}，其中，i是虛擬界面的個 數(shù)；
[0016] (2)跟蹤操作者的指尖，實時獲取指尖位置FP ;
[0017] (3)如果指尖在某虛擬界面j的正上方（即指尖位置在卡片上的垂直投影位于該 卡片的中心位置），則調(diào)出虛擬界面Vj (P，N，f，F(xiàn));
[0018] (4)在虛擬界面Vj內(nèi)識別操作者的基本手勢軌跡g，若g在Vj區(qū)域之外，計算機 忽略g所代表的手勢命令；
[0019] (5)通過自定義手勢與命令之間的映射關系，把手勢轉(zhuǎn)化為操作指令，完成對物理 界面或操控對象的操縱；
[0020] (6)轉(zhuǎn)步驟（1)。
[0021] 所述步驟（1)中的生成虛擬界面群是這樣實現(xiàn)的：
[0022] (21)識別下一個卡片C ;
[0023] (22)計算卡片所在平面的法線方向向量N(與Z軸的夾角小于90° )以及卡片邊 界角點的空間位置向量P ;
[0024] (23)從卡片數(shù)據(jù)庫中檢索出卡片對應的功能F ;
[0025] 卡片數(shù)據(jù)庫中的每條記錄包括以下字段：卡片名稱，卡片編號，卡片圖像識別特 征，卡片的功能；
[0026] (24)以卡片邊界的空間位置P為基礎，沿方向N生成空間體V (V的大小在操作者 容易操縱的范圍之內(nèi)）；
[0027] (25)求出該空間體的范圍f( 一般用V的邊界輪廓位置進行描述），則空間體V (P， N，f，F(xiàn))就是虛擬界面；
[0028] (26)判斷卡片母版上是否還有未識別卡片，如果還有，則轉(zhuǎn)步驟（21);如果沒有， 則進入步驟（27);
[0029] (27)返回虛擬界面群{Vi|i = 1，2···Μ}，其中，M是虛擬界面的個數(shù)。
[0030] 所述步驟（21)是這樣實現(xiàn)的：
[0031] (211)，標準化卡片圖像：對卡片圖像進行標準化處理，即把分割后的卡片圖像的 尺寸統(tǒng)一規(guī)定到特定的像素圖像內(nèi)；
[0032] (212)，獲取卡片主方向：卡片主方向是指從卡片重心點到卡片最遠點的一個方向 向量，它表征了卡片主軸的方向，即指尖的總體朝向；
[0033] (213)，空間卡片坐標點分布特征：基于卡片主方向提取卡片特征，并用空間卡片 坐標點分布特征來描述卡片的特征信息；
[0034] (214)，獲取類-Hausdorff距離：Hausdorff距離反映兩組點集之間最大不匹配程 度，它的值越大，這兩組點集越不相似；
[0035] (215)，進行卡片識別：結(jié)合HCDF和類-HausdorfT距離進行卡片識別。
[0036] 所述（211)中對卡片圖像進行標準化處理是這樣實現(xiàn)的：
[0037] StepL輸入分割后的卡片圖像，求出卡片圖像的最小外接正方形；
[0038] Step2.把最小外接正方形內(nèi)卡片圖像的像素點按照縮放公式（1)縮放到標準化 圖像中：
[0039] ⑴
[0040] 式中，（X ^，太）為標準化圖像中像素點的坐標值，（X，y)為源圖像中像素點的坐 標值，zoom = Newwide/Wide ;zoom為縮放比率，Newwide為標準化圖像的邊長，Wide為源圖 像的邊長；
[0041] Step3.輸出標準化后的卡片圖像。
[0042] 所述步驟（212)是這樣實現(xiàn)的：
[0043] 首先，按照公式（2)求出標準化卡片圖像中卡片的重心點^然后，再求出離 卡片重心點O(W)最遠的卡片像素點M(x m，ym);最后，規(guī)定向量;^作為卡片的主方向；
? ] (τ ν：Ν) ?ζ:[0045] 式中，R表示卡片圖像中卡片像素的區(qū)域。
[0044] :⑵：
[0046] 所述步驟（213)通過下面的方程組來描述卡片的特征信息；
[0047] (3)
[0048] 式中，HCDF表示卡片的特征向量，其中第一個特征瓦?表示卡片的主方向；第二個 特征r表示把卡片圖像劃分為8個子圖像區(qū)域后，每個子圖像區(qū)域內(nèi)目標像素點的相對密 度；第三個特征P表示在二維卡片直角坐標系內(nèi)，每個子圖像區(qū)域中目標像素點的點集。
[0049] 所述公式（3)中每個特征的求解步驟如下：
[0050] StepL輸入標準化卡片圖像，按公式（2)計算標準化圖像中卡片的主方向
[0051] Step2.建立二維卡片直角坐標系；在標準化卡片圖像中，以卡片重心點〇<Λ\.ν)為 坐標原點，卡片主方向5?為Y軸正方向，沿Y軸正方向順時針旋轉(zhuǎn)90度作為X軸正方向， 建立二維卡片直角坐標系；
[0052] Step3.沿卡片主方向?順時針把卡片圖像等分為8個子圖像區(qū)域；
[0053] St印4.統(tǒng)計每個子圖像區(qū)域內(nèi)目標像素點的總數(shù)S1Q = 1，…，8)，并找出 最大值S_= Max (S J，然后按照公式（3)中的第3個式子，計算HCDF的第2個特征r ;
[0054] Step6.把每個子圖像區(qū)域內(nèi)目標像素點的坐標值存放在HCDF的第3個特征p中， 如公式（3)中第4個式子所示，其中R 1表示第i個子圖像區(qū)域內(nèi)的目標像素區(qū)域；
[0055] St印7.輸出HCDF的三個特征。
[0056] 所述步驟（214)是利用公式⑷獲得的：
[0057] HL (A，B) = hi (A，B) +hi