雙通道操作感知虛擬假手訓(xùn)練系統(tǒng)及方法
【專利摘要】雙通道操作感知虛擬假手訓(xùn)練系統(tǒng)及方法，涉及一種肌電假手訓(xùn)練領(lǐng)域。它是為了解決殘疾人使用肌電假手初期難以或無(wú)法完成抓取任務(wù)的問(wèn)題。它包括肌電電極、數(shù)據(jù)采集板卡、虛擬現(xiàn)實(shí)模塊和電刺激器。肌電電極用于對(duì)人體肌電信號(hào)的濾波和放大，數(shù)據(jù)采集板卡用于肌電電極輸出信號(hào)的A/D轉(zhuǎn)換，虛擬現(xiàn)實(shí)模塊包括了虛擬場(chǎng)景顯示、人手控制關(guān)節(jié)轉(zhuǎn)角、關(guān)節(jié)轉(zhuǎn)角位置測(cè)量顯示、抓取場(chǎng)景選擇和指示、肌電信號(hào)分類和解碼控制、關(guān)節(jié)電機(jī)力矩大小控制、抓取過(guò)程中虛擬假手和抓取物碰撞檢測(cè)功能、抓取關(guān)節(jié)力矩測(cè)量顯示，電刺激器則根據(jù)假手接觸物體的虛擬力矩值進(jìn)行相應(yīng)電刺激信號(hào)的輸出。本發(fā)明適用于殘疾人剛開始使用肌電假手時(shí)操作訓(xùn)練。
【專利說(shuō)明】雙通道操作感知虛擬假手訓(xùn)練系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種肌電假手訓(xùn)練領(lǐng)域，尤其是一種結(jié)合虛擬現(xiàn)實(shí)的肌電假手訓(xùn)練裝置及方法。
【背景技術(shù)】
[0002]虛擬現(xiàn)實(shí)(Virtual Reality)是一種能夠建立和體驗(yàn)虛擬世界的計(jì)算機(jī)技術(shù),它可通過(guò)計(jì)算機(jī)技術(shù)生成一個(gè)逼真的、可基于計(jì)算信息的沉浸式交互環(huán)境，從而被廣泛應(yīng)用于機(jī)械制造、生物醫(yī)療、城市規(guī)劃、軍事模擬和航空航天等多個(gè)領(lǐng)域，并創(chuàng)造出巨大的經(jīng)濟(jì)效益和社會(huì)效益。當(dāng)前基于虛擬現(xiàn)實(shí)的訓(xùn)練系統(tǒng)大多集中在中風(fēng)、腦損傷、帕金森和外科手術(shù)后的康復(fù)性訓(xùn)練上。Francesca Cordelia使用kinect作為人手的動(dòng)作捕捉裝置來(lái)進(jìn)行人手在抓取過(guò)程中運(yùn)動(dòng)軌跡的記錄，將患者和健康人手完成相同動(dòng)作的關(guān)節(jié)軌跡對(duì)比進(jìn)行康復(fù)評(píng)估，并利用虛擬現(xiàn)實(shí)環(huán)境進(jìn)行相應(yīng)的康復(fù)訓(xùn)練。
[0003]肌電假手是一種利用人體前臂的肌肉電信號(hào)(Electromyography, EMG)作為信息源，通過(guò)一定的信息解碼策略，將人的控制意圖轉(zhuǎn)化為運(yùn)動(dòng)控制信息完成多種抓取任務(wù)的康復(fù)裝備，例如 OttoBock 公司的 Sensorhandspeed, Michelangelo Hand 等。
[0004]對(duì)于前臂缺失或者腕離斷殘疾人來(lái)說(shuō)，殘臂肌肉在截肢手術(shù)后往往會(huì)出現(xiàn)萎縮、壞死等癥狀，且隨著用戶對(duì)于假手性能要求的逐漸提高，假手的自由度也越多，因此伴隨的控制難度也會(huì)增加，這些都導(dǎo)致殘疾人剛開始使用肌電假手時(shí)較為困難，出現(xiàn)操作不熟練，或者根本無(wú)法完成抓取任務(wù)的情況。因此假手訓(xùn)練就顯得尤為重要，但基于真實(shí)假手的訓(xùn)練具有復(fù)雜程度高、維護(hù)費(fèi)用高、動(dòng)作演示示范性差以及統(tǒng)計(jì)訓(xùn)練結(jié)果困難等諸多缺點(diǎn)。為了提高訓(xùn)練的效率、降低成本，一種可以幫助患者完成模式訓(xùn)練的虛擬現(xiàn)實(shí)系統(tǒng)顯得十分必要。

【發(fā)明內(nèi)容】

[0005]本發(fā)明是為了解決殘疾人使用肌電假手初期難以或無(wú)法完成抓取任務(wù)的問(wèn)題，從而提供一種雙通道操作感知虛擬假手訓(xùn)練系統(tǒng)及方法。
[0006]雙通道操作感知虛擬假手訓(xùn)練系統(tǒng)，它包括肌電電極、數(shù)據(jù)采集板卡、PC機(jī)和電刺激器；PC機(jī)內(nèi)部嵌入虛擬現(xiàn)實(shí)模塊；
[0007]肌電電極用于采集人體的肌電信號(hào)，并將采集到的肌電信號(hào)進(jìn)行濾波和放大，并將濾波和放大后的信號(hào)發(fā)送給數(shù)據(jù)采集板卡；
[0008]數(shù)據(jù)采集板卡用于將經(jīng)過(guò)肌電電極濾波和放大后的肌電信號(hào)進(jìn)行模數(shù)轉(zhuǎn)換，并將信號(hào)發(fā)送給PC機(jī)中的虛擬現(xiàn)實(shí)模塊；
[0009]電刺激器用于接收PC機(jī)中的虛擬現(xiàn)實(shí)模塊發(fā)出的電刺激控制指令，并產(chǎn)生電刺
激信號(hào)；
[0010]虛擬現(xiàn)實(shí)模塊包括虛擬場(chǎng)景顯示模塊、人手控制模塊、虛擬位置傳感器模塊、抓取場(chǎng)景選擇和指示模塊、肌電解碼和自動(dòng)控制模塊、電機(jī)力矩輸出控制模塊、碰撞檢測(cè)模塊和虛擬力矩傳感器模塊；
[0011]虛擬場(chǎng)景顯示模塊用于提供不同抓取物體的調(diào)用和替換，進(jìn)行虛擬假手和對(duì)應(yīng)物體的抓取模擬；
[0012]人手控制模塊用于提供虛擬假手關(guān)節(jié)位置手動(dòng)控制信號(hào)、抓取物體替換控制信號(hào)、肌電信號(hào)采集訓(xùn)練啟動(dòng)信號(hào)和人手肌電控制信號(hào)編碼自動(dòng)控制啟動(dòng)信號(hào)；
[0013]虛擬位置傳感器模塊用于對(duì)虛擬假手的關(guān)節(jié)轉(zhuǎn)角進(jìn)行檢測(cè)；
[0014]抓取場(chǎng)景選擇和指示模塊用于對(duì)虛擬假手的抓取場(chǎng)景進(jìn)行選擇和指示；
[0015]肌電解碼和自動(dòng)控制模塊用于對(duì)數(shù)據(jù)采集板卡發(fā)送的肌電信號(hào)運(yùn)用分類器將肌電控制信號(hào)進(jìn)行分類，并針對(duì)產(chǎn)生的編碼信號(hào)進(jìn)行解碼，根據(jù)當(dāng)前手動(dòng)輸入的關(guān)節(jié)力矩，采用手指動(dòng)力學(xué)方程關(guān)節(jié)轉(zhuǎn)角數(shù)值解數(shù)組方式實(shí)時(shí)控制虛擬假手關(guān)節(jié)動(dòng)作；
[0016]電機(jī)力矩輸出控制模塊用于向虛擬假手的控制電機(jī)輸出力矩控制信號(hào)，以及假手動(dòng)力學(xué)數(shù)值解求解賦值；
[0017]碰撞檢測(cè)模塊用于對(duì)于虛擬假手進(jìn)行不同物體抓取的碰撞檢測(cè)；
[0018]虛擬力矩傳感器模塊用于在檢測(cè)到碰撞后，根據(jù)抓取力學(xué)分析或者假手現(xiàn)實(shí)抓取碰撞發(fā)生后產(chǎn)生的值獲得相應(yīng)力矩傳感器值。
[0019]雙通道操作感知虛擬假手訓(xùn)練方法，它包括以下步驟:
[0020]采用肌電電極用于采集人體的肌電信號(hào)，并將采集到的肌電信號(hào)進(jìn)行濾波和放大，并將濾波和放大后的信號(hào)發(fā)送給數(shù)據(jù)采集板卡的步驟；
[0021]采用數(shù)據(jù)采集板卡用于將經(jīng)`過(guò)肌電電極濾波和放大后的肌電信號(hào)進(jìn)行模數(shù)轉(zhuǎn)換，并將信號(hào)發(fā)送給PC機(jī)中的虛擬現(xiàn)實(shí)模塊的步驟；
[0022]采用電刺激器用于接收PC機(jī)中的虛擬現(xiàn)實(shí)模塊發(fā)出的電刺激控制指令，并產(chǎn)生電刺激信號(hào)的步驟；
[0023]虛擬現(xiàn)實(shí)模塊的信號(hào)處理方法包括:
[0024]用于提供不同抓取物體的調(diào)用和替換，進(jìn)行虛擬假手和對(duì)應(yīng)物體的抓取模擬的虛擬場(chǎng)景顯示步驟；
[0025]用于提供虛擬假手關(guān)節(jié)位置手動(dòng)控制信號(hào)、抓取物體替換控制信號(hào)、肌電信號(hào)采集訓(xùn)練啟動(dòng)信號(hào)和人手肌電控制信號(hào)編碼自動(dòng)控制啟動(dòng)信號(hào)的人手控制步驟；
[0026]用于對(duì)虛擬假手的關(guān)節(jié)轉(zhuǎn)角進(jìn)行檢測(cè)的步驟；
[0027]用于對(duì)虛擬假手的抓取場(chǎng)景進(jìn)行動(dòng)作選擇和指示的步驟:
[0028]用于對(duì)數(shù)據(jù)采集板卡發(fā)送的肌電信號(hào)運(yùn)用分類器將肌電控制信號(hào)進(jìn)行分類，并針對(duì)產(chǎn)生的編碼信號(hào)進(jìn)行解碼，根據(jù)當(dāng)前手動(dòng)輸入的關(guān)節(jié)力矩，采用手指動(dòng)力學(xué)方程關(guān)節(jié)轉(zhuǎn)角數(shù)值解數(shù)組方式實(shí)時(shí)控制虛擬假手關(guān)節(jié)動(dòng)作的肌電解碼和自動(dòng)控制步驟；
[0029]用于向虛擬假手的控制電機(jī)輸出力矩控制信號(hào)的電機(jī)力矩輸出控制，以及假手動(dòng)力學(xué)數(shù)值解求解賦值步驟；
[0030]用于對(duì)于虛擬假手進(jìn)行不同物體抓取的碰撞檢測(cè)的碰撞檢測(cè)步驟；
[0031]用于在檢測(cè)到碰撞后，根據(jù)抓取力學(xué)分析或者假手現(xiàn)實(shí)抓取碰撞發(fā)生后產(chǎn)生的值獲得相應(yīng)力矩傳感器值的獲得步驟。
[0032]肌電解碼和自動(dòng)控制模塊的信號(hào)處理過(guò)程為:肌電解碼和自動(dòng)控制模塊首先將人手彎、放松、伸的肌電信號(hào)進(jìn)行分類，再根據(jù)肌電信號(hào)持續(xù)的時(shí)間對(duì)肌電信號(hào)進(jìn)行細(xì)分，按照持續(xù)時(shí)間的長(zhǎng)短和肌肉的種類，將肌電信號(hào)分為短伸信號(hào)、短屈信號(hào)、長(zhǎng)伸信號(hào)和長(zhǎng)屈信號(hào)；最后對(duì)肌肉動(dòng)作序列的編碼信號(hào)進(jìn)行解碼，使用6種不同的肌肉動(dòng)作序列組合對(duì)應(yīng)6種不同的抓取動(dòng)作。
[0033]人手控制模塊包括手動(dòng)控制虛擬假手動(dòng)作模塊、虛擬抓取場(chǎng)景切換選擇模塊、采集訓(xùn)練和自動(dòng)控制開始控制按鈕；
[0034]手動(dòng)控制虛擬假手動(dòng)作模塊包括啟動(dòng)手動(dòng)控制按鈕和對(duì)應(yīng)關(guān)節(jié)轉(zhuǎn)角的輸入控件；
[0035]虛擬抓取場(chǎng)景切換選擇模塊包括不同典型抓取對(duì)應(yīng)物體導(dǎo)入按鍵；采集訓(xùn)練和自動(dòng)控制開始控制按鈕包括采集訓(xùn)練和自動(dòng)控制開始按鈕；
[0036]虛擬假手電機(jī)力矩調(diào)節(jié)模塊包括虛擬假手電機(jī)力矩人手輸入控件和假手動(dòng)力學(xué)數(shù)值解求解賦值模塊；
[0037]虛擬假手電機(jī)力矩輸入控件包括虛擬假手關(guān)節(jié)電機(jī)力矩的輸入控件；
[0038]假手動(dòng)力學(xué)數(shù)值解求解賦值模塊通過(guò)假手動(dòng)力學(xué)分析，建立假手電機(jī)力矩和關(guān)節(jié)轉(zhuǎn)角、角速度、角加速度的關(guān)系，并求得關(guān)節(jié)轉(zhuǎn)角的數(shù)值解數(shù)組，根據(jù)關(guān)節(jié)轉(zhuǎn)角數(shù)值解數(shù)組進(jìn)行抓取中關(guān)節(jié)轉(zhuǎn)角的賦值，在虛擬場(chǎng)景中顯示對(duì)應(yīng)關(guān)節(jié)電機(jī)力矩的動(dòng)態(tài)抓取過(guò)程。
[0039]碰撞檢測(cè)模塊用于對(duì)于虛擬假手進(jìn)行不同物體抓取的碰撞檢測(cè)的過(guò)程具體為:
[0040]建立DualSce neCollide類的步驟:用于調(diào)用碰撞檢測(cè)類以及實(shí)例化碰撞檢測(cè)對(duì)；
[0041]調(diào)用SoPath類定義被抓物體為靜態(tài)搜索路徑，然后分別定義11個(gè)指節(jié)為11條動(dòng)態(tài)搜索路徑，并分別與靜態(tài)搜索路徑建立起碰撞檢測(cè)對(duì)的步驟；
[0042]調(diào)用Open Inventor中SoMaterial類定義五種不同顏色的碰撞點(diǎn)標(biāo)記五個(gè)不同的手指的碰撞檢測(cè)，再調(diào)用Open Inventor自帶的SoDualSceneCollider類中的checkCoIlision函數(shù)對(duì)每對(duì)碰撞檢測(cè)對(duì)進(jìn)行碰撞檢測(cè)，并返回碰撞發(fā)生點(diǎn)的坐標(biāo)值的步驟。
[0043]電刺激器的刺激頻率與虛擬力矩傳感器模塊獲得的力矩值成正比。
[0044]虛擬場(chǎng)景顯示模塊是沉浸式虛擬現(xiàn)實(shí)抓取場(chǎng)景模塊，用于進(jìn)行虛擬假手場(chǎng)景、典型性抓取物體場(chǎng)景的切換，以及虛擬物體紋理顏色和光照的設(shè)置。
[0045]本發(fā)明雙通道操作感知虛擬假手訓(xùn)練系統(tǒng)通過(guò)對(duì)人體EMG控制信號(hào)的采集、分類，自動(dòng)識(shí)別人體EMG編碼控制意圖進(jìn)行相應(yīng)類型物體的抓取，并融合了虛擬關(guān)節(jié)位置和力矩傳感器，同時(shí)能夠進(jìn)行關(guān)節(jié)驅(qū)動(dòng)力矩控制和碰撞檢測(cè)，增加了假手訓(xùn)練系統(tǒng)的真實(shí)感，使訓(xùn)練者能夠沉浸其中進(jìn)行假手產(chǎn)品的訓(xùn)練，提高了假手訓(xùn)練的效率，對(duì)于提高假手訓(xùn)練者的肌電信號(hào)和控制熟練程度有很好的幫助，同時(shí)還可以提高訓(xùn)練者的自信心。成功解決了殘疾人使用肌電假手初期難以或無(wú)法完成抓取任務(wù)的問(wèn)題。
【專利附圖】

【附圖說(shuō)明】
[0046]圖1是本發(fā)明的結(jié)構(gòu)原理框圖；
[0047]圖2為本發(fā)明雙向人機(jī)交互示意圖。
【具體實(shí)施方式】
[0048]【具體實(shí)施方式】一、結(jié)合圖1說(shuō)明本【具體實(shí)施方式】，雙通道操作感知虛擬假手訓(xùn)練系統(tǒng)，它包括肌電電極、數(shù)據(jù)采集板卡、PC機(jī)和電刺激器；PC機(jī)內(nèi)部嵌入虛擬現(xiàn)實(shí)模塊；
[0049]肌電電極用于采集人體的肌電信號(hào)，并將采集到的肌電信號(hào)進(jìn)行濾波和放大，并將濾波和放大后的信號(hào)發(fā)送給數(shù)據(jù)采集板卡；
[0050]數(shù)據(jù)采集板卡用于將經(jīng)過(guò)肌電電極濾波和放大后的肌電信號(hào)進(jìn)行模數(shù)轉(zhuǎn)換，并將信號(hào)發(fā)送給PC機(jī)中的虛擬現(xiàn)實(shí)模塊；
[0051]電刺激器用于接收PC機(jī)中的虛擬現(xiàn)實(shí)模塊發(fā)出的電刺激控制指令，并產(chǎn)生電刺
激信號(hào)；
[0052]虛擬現(xiàn)實(shí)模塊包括虛擬場(chǎng)景顯示模塊、人手控制模塊、虛擬位置傳感器模塊、抓取場(chǎng)景選擇和指示模塊、肌電解碼和自動(dòng)控制模塊、電機(jī)力矩輸出控制模塊、碰撞檢測(cè)模塊和虛擬力矩傳感器模塊；
[0053]虛擬場(chǎng)景顯示模塊用于提供不同抓取物體的調(diào)用和替換，進(jìn)行虛擬假手和對(duì)應(yīng)物體的抓取模擬；
[0054]人手控制模塊用于提供虛擬假手關(guān)節(jié)位置手動(dòng)控制信號(hào)、抓取物體替換控制信號(hào)、肌電信號(hào)采集訓(xùn)練啟動(dòng)信號(hào)和人手肌電控制信號(hào)編碼自動(dòng)控制啟動(dòng)信號(hào)；
[0055]虛擬位置傳感器模塊用于對(duì)虛擬假手的關(guān)節(jié)轉(zhuǎn)角進(jìn)行檢測(cè)；
[0056]抓取場(chǎng)景選擇和指示模塊用于對(duì)虛擬假手的抓取場(chǎng)景進(jìn)行選擇和指示；
[0057]肌電解碼和自動(dòng)控制模塊用于對(duì)數(shù)據(jù)采集板卡發(fā)送的肌電信號(hào)運(yùn)用分類器將肌電控制信號(hào)進(jìn)行分類，并針對(duì)產(chǎn)生的編碼信號(hào)進(jìn)行解碼，根據(jù)當(dāng)前手動(dòng)輸入的關(guān)節(jié)力矩，采用手指動(dòng)力學(xué)方程關(guān)節(jié)轉(zhuǎn)角數(shù)值解數(shù)組方式實(shí)時(shí)控制虛擬假手關(guān)節(jié)動(dòng)作；
[0058]電機(jī)力矩輸出控制模塊用于向虛擬假手的控制電機(jī)輸出力矩控制信號(hào)，以及假手動(dòng)力學(xué)數(shù)值解求解賦值；
[0059]碰撞檢測(cè)模塊用于對(duì)于虛擬假手進(jìn)行不同物體抓取的碰撞檢測(cè)；
[0060]虛擬力矩傳感器模塊用于在檢測(cè)到碰撞后，根據(jù)抓取力學(xué)分析或者假手現(xiàn)實(shí)抓取碰撞發(fā)生后產(chǎn)生的值獲得相應(yīng)力矩傳感器值。
[0061]【具體實(shí)施方式】二、雙通道操作感知虛擬假手訓(xùn)練方法，它包括以下步驟:
[0062]采用肌電電極用于采集人體的肌電信號(hào)，并將采集到的肌電信號(hào)進(jìn)行濾波和放大，并將濾波和放大后的信號(hào)發(fā)送給數(shù)據(jù)采集板卡的步驟；
[0063]采用數(shù)據(jù)采集板卡用于將經(jīng)過(guò)肌電電極濾波和放大后的肌電信號(hào)進(jìn)行模數(shù)轉(zhuǎn)換，并將信號(hào)發(fā)送給PC機(jī)中的虛擬現(xiàn)實(shí)模塊的步驟；
[0064]采用電刺激器用于接收PC機(jī)中的虛擬現(xiàn)實(shí)模塊發(fā)出的電刺激控制指令，并產(chǎn)生電刺激信號(hào)的步驟；
[0065]虛擬現(xiàn)實(shí)模塊的動(dòng)作執(zhí)行方法包括:
[0066]用于提供不同抓取物體的調(diào)用和替換，進(jìn)行虛擬假手和對(duì)應(yīng)物體的抓取模擬的虛擬場(chǎng)景顯示步驟；
[0067]用于提供虛 擬假手關(guān)節(jié)位置手動(dòng)控制信號(hào)、抓取物體替換控制信號(hào)、肌電信號(hào)采集訓(xùn)練啟動(dòng)信號(hào)和人手肌電控制信號(hào)編碼自動(dòng)控制啟動(dòng)信號(hào)的人手控制步驟；
[0068]用于對(duì)虛擬假手的關(guān)節(jié)轉(zhuǎn)角進(jìn)行檢測(cè)的步驟；
[0069]用于對(duì)虛擬假手的進(jìn)行動(dòng)作選擇和指示的步驟:
[0070]用于對(duì)數(shù)據(jù)采集板卡發(fā)送的肌電信號(hào)運(yùn)用分類器將肌電控制信號(hào)進(jìn)行分類，并針對(duì)產(chǎn)生的編碼信號(hào)進(jìn)行解碼，根據(jù)當(dāng)前手動(dòng)輸入的關(guān)節(jié)力矩，采用手指動(dòng)力學(xué)方程關(guān)節(jié)轉(zhuǎn)角數(shù)值解數(shù)組方式實(shí)時(shí)控制虛擬假手關(guān)節(jié)動(dòng)作的肌電解碼和自動(dòng)控制步驟；
[0071]用于向虛擬假手的控制電機(jī)輸出力矩控制信號(hào)的電機(jī)力矩輸出控制，以及假手動(dòng)力學(xué)數(shù)值解求解賦值步驟；
[0072]用于對(duì)于虛擬假手進(jìn)行不同物體抓取的碰撞檢測(cè)的碰撞檢測(cè)步驟；
[0073]用于在檢測(cè)到碰撞后，根據(jù)抓取力學(xué)分析或者假手現(xiàn)實(shí)抓取碰撞發(fā)生后產(chǎn)生的值獲得相應(yīng)力矩傳感器值的獲得步驟。
[0074]肌電解碼和自動(dòng)控制模塊的信號(hào)處理過(guò)程為:肌電解碼和自動(dòng)控制模塊依據(jù)肌電信號(hào)持續(xù)的時(shí)間對(duì)肌電信號(hào)進(jìn)行細(xì)分，按照持續(xù)時(shí)間的長(zhǎng)短和肌肉的種類，將肌電信號(hào)分為短伸信號(hào)、短屈信號(hào)、長(zhǎng)伸信號(hào)和長(zhǎng)屈信號(hào)；最后對(duì)肌肉動(dòng)作序列進(jìn)行編碼，使用6種不同的肌肉動(dòng)作序列組合對(duì)應(yīng)6種不同的抓取動(dòng)作。
[0075]人手控制模塊包括手動(dòng)控制虛擬假手動(dòng)作模塊、虛擬抓取場(chǎng)景選擇模塊、采集訓(xùn)練和自動(dòng)控制開始控制按鈕；
[0076]手動(dòng)控制虛擬假手動(dòng)作模塊包括啟動(dòng)手動(dòng)控制按鈕和對(duì)應(yīng)關(guān)節(jié)轉(zhuǎn)角的輸入控件；
[0077]虛擬抓取場(chǎng)景切換選擇模塊包括不同典型抓取對(duì)應(yīng)物體導(dǎo)入按鍵；采集訓(xùn)練和自動(dòng)控制開始控制按鈕包括采集訓(xùn)練和自動(dòng)控制開始按鈕；
[0078]虛擬假 手電機(jī)力矩調(diào)節(jié)模塊包括虛擬假手電機(jī)力矩人手輸入控件和假手動(dòng)力學(xué)數(shù)值解求解賦值模塊；
[0079]虛擬假手電機(jī)力矩輸入控件包括虛擬假手關(guān)節(jié)電機(jī)力矩的輸入控件；
[0080]假手動(dòng)力學(xué)數(shù)值解求解賦值模塊通過(guò)假手動(dòng)力學(xué)分析，建立假手電機(jī)力矩和關(guān)節(jié)轉(zhuǎn)角、角速度、角加速度的關(guān)系，并求得關(guān)節(jié)轉(zhuǎn)角的數(shù)值解數(shù)組，根據(jù)關(guān)節(jié)轉(zhuǎn)角數(shù)值解數(shù)組進(jìn)行抓取中關(guān)節(jié)轉(zhuǎn)角的賦值，在虛擬場(chǎng)景中顯示對(duì)應(yīng)關(guān)節(jié)電機(jī)力矩的動(dòng)態(tài)抓取過(guò)程。
[0081]碰撞檢測(cè)模塊用于對(duì)于虛擬假手進(jìn)行不同物體抓取的碰撞檢測(cè)的過(guò)程具體為:
[0082]建立DualSceneCollide類的步驟:用于調(diào)用碰撞檢測(cè)類以及實(shí)例化碰撞檢測(cè)對(duì)；
[0083]調(diào)用SoPath類定義被抓物體為靜態(tài)搜索路徑，然后分別定義11個(gè)指節(jié)為11條動(dòng)態(tài)搜索路徑，并分別與靜態(tài)搜索路徑建立起碰撞檢測(cè)對(duì)的步驟；
[0084]調(diào)用Open Inventor中SoMaterial類定義五種不同顏色的碰撞點(diǎn)標(biāo)記五個(gè)不同的手指的碰撞檢測(cè)，再調(diào)用Open Inventor自帶的SoDualSceneCollider類中的checkCoIlision函數(shù)對(duì)每對(duì)碰撞檢測(cè)對(duì)進(jìn)行碰撞檢測(cè)，并返回碰撞發(fā)生點(diǎn)的坐標(biāo)值的步驟。
[0085]電刺激器的刺激頻率與虛擬力矩傳感器模塊獲得的力矩值成正比。
[0086]虛擬場(chǎng)景顯示模塊是沉浸式虛擬現(xiàn)實(shí)抓取場(chǎng)景模塊，用于進(jìn)行虛擬假手場(chǎng)景、典型性抓取物體場(chǎng)景的切換，以及虛擬物體紋理顏色和光照的設(shè)置。
[0087]工作原理:肌電電極用于將肌電信號(hào)濾波放大，發(fā)送到數(shù)據(jù)采集板卡；
[0088]數(shù)據(jù)采集板卡將接收到的肌電信號(hào)進(jìn)行A/D轉(zhuǎn)換，并將轉(zhuǎn)換后的肌電信號(hào)傳給PC機(jī)；
[0089]PC機(jī)在虛擬現(xiàn)實(shí)操作面板點(diǎn)選采樣訓(xùn)練的前提下，接受人手彎、放松、伸的肌電信號(hào)，并通過(guò)分類器將3種模式的肌電信號(hào)進(jìn)行分類，然后依據(jù)肌電信號(hào)持續(xù)的時(shí)間對(duì)肌電信號(hào)進(jìn)行細(xì)分，按照持續(xù)時(shí)間的長(zhǎng)短和種類，肌電信號(hào)分為短伸信號(hào)、短屈信號(hào)、長(zhǎng)伸信號(hào)和長(zhǎng)屈信號(hào)。點(diǎn)選要做的抓取模式和操作界面的自動(dòng)控制按鈕，人手根據(jù)提前設(shè)定好的6種不同的抓取動(dòng)作進(jìn)行屈、伸動(dòng)作的編碼，PC機(jī)根據(jù)此時(shí)人手動(dòng)作的編碼指令及前期采集訓(xùn)練的分類結(jié)果，進(jìn)行控制指令的分類和解碼，最終自動(dòng)的實(shí)現(xiàn)對(duì)應(yīng)指令的抓取任務(wù)，抓取過(guò)程中關(guān)節(jié)轉(zhuǎn)角根據(jù)虛擬假手手指動(dòng)力學(xué)方程的數(shù)值解數(shù)組進(jìn)行實(shí)時(shí)賦值，以產(chǎn)生逼真的動(dòng)力學(xué)運(yùn)動(dòng)效果；
[0090]同時(shí)在動(dòng)作過(guò)程中進(jìn)行實(shí)時(shí)碰撞檢測(cè)，碰撞檢測(cè)的過(guò)程為:(I)建立DualSceneCoIlide類,用于調(diào)用碰撞檢測(cè)類以及實(shí)例化碰撞檢測(cè)對(duì)。
[0091](2)調(diào)用SoPath類定義被抓物體為靜態(tài)搜索路徑，然后分別定義11個(gè)指節(jié)為11條動(dòng)態(tài)搜索路徑，并分別與靜態(tài)搜索路徑建立起碰撞檢測(cè)對(duì)。
[0092](3)由于新一代假手為耦合手指設(shè)計(jì)，因此通常狀態(tài)下每個(gè)手指和虛擬物體的接觸點(diǎn)只有一個(gè)，因此每個(gè)手指的碰撞對(duì)中同時(shí)僅能有一個(gè)碰撞對(duì)發(fā)生碰撞。調(diào)用OpenInventor中SoMaterial類定義五種不同顏色的碰撞點(diǎn)標(biāo)記五個(gè)不同的手指的碰撞檢測(cè)，再調(diào)用Open Inventor自帶的SoDualSceneCollider類中的checkCollision函數(shù)對(duì)每對(duì)碰撞檢測(cè)對(duì)進(jìn)行碰撞檢測(cè)，并返回碰撞發(fā)生點(diǎn)的坐標(biāo)值。在此過(guò)程中，將當(dāng)前假手動(dòng)力學(xué)計(jì)算存儲(chǔ)的轉(zhuǎn)角數(shù)值解數(shù)組對(duì)應(yīng)的元素值賦值給虛擬位置傳感器，并實(shí)時(shí)顯示，當(dāng)碰撞發(fā)生后，記錄碰撞發(fā)生后的前一個(gè)時(shí)間點(diǎn)的角度值，此外，對(duì)應(yīng)的肌電電極采集的肌電信號(hào)數(shù)值、采用編碼控制的人手編碼控制指令、分類器信息也可實(shí)時(shí)顯示，當(dāng)碰撞發(fā)生后手指的各個(gè)關(guān)節(jié)停止動(dòng)作，此時(shí)虛擬力矩傳感器根據(jù)抓取力學(xué)分析或者假手現(xiàn)實(shí)抓取碰撞發(fā)生后產(chǎn)生的值得出相應(yīng)力矩傳感器值，并進(jìn)行實(shí)時(shí)顯示，如附圖2所示，電刺激器根據(jù)虛擬力矩傳感器的值進(jìn)行電刺激信號(hào)的調(diào)整。
[0093]當(dāng)選擇虛擬現(xiàn)實(shí)界面的手動(dòng)控制按鈕，此時(shí)通過(guò)手動(dòng)給定虛擬假手對(duì)應(yīng)的關(guān)節(jié)轉(zhuǎn)角值進(jìn)行當(dāng)前假手關(guān)節(jié)轉(zhuǎn)角的控制，并把手動(dòng)給定的虛擬假手關(guān)節(jié)轉(zhuǎn)角值賦值給虛擬位置傳感器，進(jìn)行實(shí)時(shí)顯示，6`種抓取場(chǎng)景的切換按鈕用于提供不同的抓取模擬場(chǎng)景轉(zhuǎn)換，同時(shí)每種場(chǎng)景選定后對(duì)應(yīng)的虛擬LED燈會(huì)被點(diǎn)亮，指示抓取場(chǎng)景切換成功。采集訓(xùn)練和自動(dòng)控制模式的開啟，均需要在控制面板點(diǎn)選對(duì)應(yīng)的開啟按鈕才可，采集訓(xùn)練的LED燈用于指示人手對(duì)應(yīng)編碼指令樣本采集完成。電機(jī)的力矩可以進(jìn)行人工設(shè)置，并根據(jù)人手設(shè)置值進(jìn)行對(duì)應(yīng)關(guān)節(jié)力矩值的動(dòng)力學(xué)方程求解計(jì)算和控制，對(duì)應(yīng)的關(guān)節(jié)力矩值還可實(shí)時(shí)顯示。
[0094]虛擬現(xiàn)實(shí)場(chǎng)景顯示模塊選擇點(diǎn)光源作為虛擬訓(xùn)練系統(tǒng)的環(huán)境光源，這樣在帶來(lái)較逼真的顯示效果的同時(shí)又不會(huì)對(duì)碰撞檢測(cè)的標(biāo)記點(diǎn)產(chǎn)生干擾。使用Open Inventor中SoTeXture2節(jié)點(diǎn)來(lái)完成紋理的導(dǎo)入，增強(qiáng)了虛擬現(xiàn)實(shí)系統(tǒng)的真實(shí)性和沉浸感。
【權(quán)利要求】
1.雙通道操作感知虛擬假手訓(xùn)練系統(tǒng)，其特征是:它包括肌電電極、數(shù)據(jù)采集板卡、PC機(jī)和電刺激器；PC機(jī)內(nèi)部嵌入虛擬現(xiàn)實(shí)模塊； 肌電電極用于采集人體的肌電信號(hào)，并將采集到的肌電信號(hào)進(jìn)行濾波和放大，并將濾波和放大后的信號(hào)發(fā)送給數(shù)據(jù)采集板卡； 數(shù)據(jù)采集板卡用于將經(jīng)過(guò)肌電電極濾波和放大后的肌電信號(hào)進(jìn)行模數(shù)轉(zhuǎn)換，并將信號(hào)發(fā)送給PC機(jī)中的虛擬現(xiàn)實(shí)模塊； 電刺激器用于接收PC機(jī)中的虛擬現(xiàn)實(shí)模塊發(fā)出的電刺激控制指令，并產(chǎn)生電刺激信號(hào); 虛擬現(xiàn)實(shí)模塊包括虛擬場(chǎng)景顯示模塊、人手控制模塊、虛擬位置傳感器模塊、抓取場(chǎng)景選擇和指示模塊、肌電解碼和自動(dòng)控制模塊、電機(jī)力矩輸出控制模塊、碰撞檢測(cè)模塊和虛擬力矩傳感器模塊； 虛擬場(chǎng)景顯示模塊用于提供不同抓取物體的調(diào)用和替換，進(jìn)行虛擬假手和對(duì)應(yīng)物體的抓取模擬； 人手控制模塊用于提供虛擬假手關(guān)節(jié)位置手動(dòng)控制信號(hào)、抓取物體替換控制信號(hào)、肌電信號(hào)采集訓(xùn)練啟動(dòng)信號(hào)和人手肌電控制信號(hào)編碼自動(dòng)控制啟動(dòng)信號(hào)； 虛擬位置傳感器模塊用于對(duì)虛擬假手的關(guān)節(jié)轉(zhuǎn)角進(jìn)行檢測(cè)； 抓取場(chǎng)景選擇和指示 模塊用于對(duì)虛擬假手的抓取場(chǎng)景進(jìn)行選擇和指示； 肌電解碼和自動(dòng)控制模塊用于對(duì)數(shù)據(jù)采集板卡發(fā)送的肌電信號(hào)運(yùn)用分類器將肌電控制信號(hào)進(jìn)行分類，并針對(duì)產(chǎn)生的編碼信號(hào)進(jìn)行解碼，根據(jù)當(dāng)前手動(dòng)輸入的關(guān)節(jié)力矩，采用手指動(dòng)力學(xué)方程關(guān)節(jié)轉(zhuǎn)角數(shù)值解數(shù)組方式實(shí)時(shí)控制虛擬假手關(guān)節(jié)動(dòng)作； 電機(jī)力矩輸出控制模塊用于向虛擬假手的控制電機(jī)輸出力矩控制信號(hào)，以及假手動(dòng)力學(xué)數(shù)值解求解賦值； 碰撞檢測(cè)模塊用于對(duì)于虛擬假手進(jìn)行不同物體抓取的碰撞檢測(cè)； 虛擬力矩傳感器模塊用于在檢測(cè)到碰撞后，根據(jù)抓取力學(xué)分析或者假手現(xiàn)實(shí)抓取碰撞發(fā)生后產(chǎn)生的值獲得相應(yīng)力矩傳感器值。
2.雙通道操作感知虛擬假手訓(xùn)練方法，其特征是:它包括以下步驟: 采用肌電電極用于采集人體的肌電信號(hào)，并將采集到的肌電信號(hào)進(jìn)行濾波和放大，并將濾波和放大后的信號(hào)發(fā)送給數(shù)據(jù)采集板卡的步驟； 采用數(shù)據(jù)采集板卡用于將經(jīng)過(guò)肌電電極濾波和放大后的肌電信號(hào)進(jìn)行模數(shù)轉(zhuǎn)換，并將信號(hào)發(fā)送給PC機(jī)中的虛擬現(xiàn)實(shí)模塊的步驟； 采用電刺激器用于接收PC機(jī)中的虛擬現(xiàn)實(shí)模塊發(fā)出的電刺激控制指令，并產(chǎn)生電刺激信號(hào)的步驟； 虛擬現(xiàn)實(shí)模塊的信號(hào)處理方法包括: 用于提供不同抓取物體的調(diào)用和替換，進(jìn)行虛擬假手和對(duì)應(yīng)物體的抓取模擬的虛擬場(chǎng)景顯示步驟； 用于提供虛擬假手關(guān)節(jié)位置手動(dòng)控制信號(hào)、抓取物體替換控制信號(hào)、肌電信號(hào)采集訓(xùn)練啟動(dòng)信號(hào)和人手肌電控制信號(hào)編碼自動(dòng)控制啟動(dòng)信號(hào)的人手控制步驟； 用于對(duì)虛擬假手的關(guān)節(jié)轉(zhuǎn)角進(jìn)行檢測(cè)的步驟； 用于對(duì)虛擬假手的抓取場(chǎng)景進(jìn)行抓取場(chǎng)景選擇和指示的步驟:用于對(duì)數(shù)據(jù)采集板卡發(fā)送的肌電信號(hào)運(yùn)用分類器將肌電控制信號(hào)進(jìn)行分類，并針對(duì)產(chǎn)生的編碼信號(hào)進(jìn)行解碼，根據(jù)當(dāng)前手動(dòng)輸入的關(guān)節(jié)力矩，采用手指動(dòng)力學(xué)方程關(guān)節(jié)轉(zhuǎn)角數(shù)值解數(shù)組方式實(shí)時(shí)控制虛擬假手關(guān)節(jié)動(dòng)作的肌電解碼和自動(dòng)控制步驟； 用于向虛擬假手的控制電機(jī)輸出力矩控制信號(hào)的電機(jī)力矩輸出控制，以及假手動(dòng)力學(xué)數(shù)值解求解賦值步驟； 用于對(duì)于虛擬假手進(jìn)行不同物體抓取的碰撞檢測(cè)的碰撞檢測(cè)步驟； 用于在檢測(cè)到碰撞后，根據(jù)抓取力學(xué)分析或者假手現(xiàn)實(shí)抓取碰撞發(fā)生后產(chǎn)生的值獲得相應(yīng)力矩傳感器值的獲得步驟。
3.根據(jù)權(quán)利要求2所述的雙通道操作感知虛擬假手訓(xùn)練方法，其特征在于肌電解碼和自動(dòng)控制模塊的信號(hào)處理過(guò)程為:肌電解碼和自動(dòng)控制模塊首先將人手彎、放松、伸的肌電信號(hào)進(jìn)行分類，再根據(jù)肌電信號(hào)持續(xù)的時(shí)間對(duì)肌電信號(hào)進(jìn)行細(xì)分，按照持續(xù)時(shí)間的長(zhǎng)短和肌肉的種類，將肌電信號(hào)分為短伸信號(hào)、短屈信號(hào)、長(zhǎng)伸信號(hào)和長(zhǎng)屈信號(hào)；最后對(duì)肌肉動(dòng)作序列的編碼信號(hào)進(jìn)行解碼，使用6種不同的肌肉動(dòng)作序列組合對(duì)應(yīng)6種不同的抓取動(dòng)作。
4.根據(jù)權(quán)利要求2所述的雙通道操作感知虛擬假手訓(xùn)練方法，其特征在于人手控制模塊包括手動(dòng)控制虛擬假手動(dòng)作模塊、虛擬抓取場(chǎng)景切換選擇模塊、采集訓(xùn)練和自動(dòng)控制開始控制按鈕； 手動(dòng)控制虛擬假手動(dòng)作模塊包括啟動(dòng)手動(dòng)控制按鈕和對(duì)應(yīng)關(guān)節(jié)轉(zhuǎn)角的輸入控件； 虛擬抓取場(chǎng)景切換選擇模塊包括不同典型抓取對(duì)應(yīng)物體導(dǎo)入按鍵；采集訓(xùn)練和自動(dòng)控制開始控制按鈕包括采集訓(xùn)練和自動(dòng)控制開始按鈕。
5.根據(jù)權(quán)利要求2所述的雙通道操作感知虛擬假手訓(xùn)練方法，其特征在于虛擬假手電機(jī)力矩調(diào)節(jié)模塊包括虛 擬假手電機(jī)力矩人手輸入控件和假手動(dòng)力學(xué)數(shù)值解求解賦值模塊； 虛擬假手電機(jī)力矩輸入控件包括虛擬假手關(guān)節(jié)電機(jī)力矩的輸入控件； 假手動(dòng)力學(xué)數(shù)值解求解賦值模塊，通過(guò)假手動(dòng)力學(xué)分析，建立假手電機(jī)力矩和關(guān)節(jié)轉(zhuǎn)角、角速度、角加速度的關(guān)系，并求得關(guān)節(jié)轉(zhuǎn)角的數(shù)值解數(shù)組，根據(jù)關(guān)節(jié)轉(zhuǎn)角數(shù)值解數(shù)組進(jìn)行抓取中關(guān)節(jié)轉(zhuǎn)角的賦值，在虛擬場(chǎng)景中顯示對(duì)應(yīng)關(guān)節(jié)電機(jī)力矩的動(dòng)態(tài)抓取過(guò)程。
6.根據(jù)權(quán)利要求2所述的雙通道操作感知虛擬假手訓(xùn)練方法，其特征在于碰撞檢測(cè)模塊用于對(duì)于虛擬假手進(jìn)行不同物體抓取的碰撞檢測(cè)的過(guò)程具體為: 建立DualSceneCollide類的步驟:用于調(diào)用碰撞檢測(cè)類以及實(shí)例化碰撞檢測(cè)對(duì)； 調(diào)用SoPath類定義被抓物體為靜態(tài)搜索路徑，然后分別定義11個(gè)指節(jié)為11條動(dòng)態(tài)搜索路徑，并分別與靜態(tài)搜索路徑建立起碰撞檢測(cè)對(duì)的步驟； 調(diào)用Open Inventor中SoMaterial類定義五種不同顏色的碰撞點(diǎn)標(biāo)記五個(gè)不同的手指的碰撞檢測(cè)，再調(diào)用Open Inventor自帶的SoDualSceneCollider類中的checkCo11 i sion函數(shù)對(duì)每對(duì)碰撞檢測(cè)對(duì)進(jìn)行碰撞檢測(cè)，并返回碰撞發(fā)生點(diǎn)的坐標(biāo)值的步驟。
7.根據(jù)權(quán)利要求2所述的雙通道操作感知虛擬假手訓(xùn)練方法，其特征在于電刺激器的刺激頻率與虛擬力矩傳感器模塊獲得的力矩值成正比。
8.根據(jù)權(quán)利要求2所述的雙通道操作感知虛擬假手訓(xùn)練方法，其特征在于虛擬場(chǎng)景顯示模塊是沉浸式虛擬現(xiàn)實(shí)抓取場(chǎng)景模塊，用于進(jìn)行虛擬假手場(chǎng)景、典型性抓取物體場(chǎng)景的切換，以及虛擬物體紋理顏色和光照的設(shè)置。
【文檔編號(hào)】A61F2/54GK103815991SQ201410079225
【公開日】2014年5月28日 申請(qǐng)日期:2014年3月6日 優(yōu)先權(quán)日:2014年3月6日
【發(fā)明者】姜力, 劉源, 楊大鵬, 陳川, 劉宏 申請(qǐng)人:哈爾濱工業(yè)大學(xué)