專利名稱：仿人形義肢的腦電-語音控制系統(tǒng)及工作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及仿生機器人的控制技術(shù)領(lǐng)域，尤其是一種仿人形多自由度義肢(上 肢)的控制系統(tǒng)及控制方法。
背景技術(shù)：
目前，仿人形義肢(上肢)在市場上已有產(chǎn)品出售，縱觀這些國內(nèi)外產(chǎn)品，對用于 “肩離斷”肢體殘疾人的義肢來說，多數(shù)只是起到彌補肢體殘缺的裝飾作用，沒有肢體動作 的功能。雖然現(xiàn)在有很少的可操控的少自由度義肢，但是對它們的控制大都是通過人體某 部位的肌電信號進行控制。在采用肌電控制義肢的場合，往往不可避免地要采用串行作業(yè) 控制方式，即一個關(guān)節(jié)動過以后，另外一個關(guān)節(jié)才能動作。這樣的控制方式完全不符合人 們正常的操作習慣，這樣控制的自由度數(shù)量越多，串行作業(yè)花費的時間越冗長，控制困難也 越大。串行作業(yè)方法對多自由度義肢的控制顯得力不從心，最終被佩戴試用者所擯棄，無推 廣應(yīng)用價值。目前尚沒有用腦電-語音混合控制方式、借助機器人控制的原理來進行仿人形義 肢(上肢)控制方法的先例。

發(fā)明內(nèi)容
本發(fā)明的目的是克服仿人形義肢(上肢)用肌電信號控制的不足，發(fā)明一種仿人 形義肢腦電_語音控制系統(tǒng)及工作方法。一、一種仿人形義肢腦電-語音控制系統(tǒng)，它由腦電信號采集與識別裝置、語音信 號采集與識別裝置、隨機目標實時定位裝置和控制裝置四部分組成；所述的腦電信號采集與識別裝置由腦電信號采集部分和腦電信號處理部分組成； 該裝置由多個傳感器探頭構(gòu)成的電極帽、放大濾波電路、模數(shù)轉(zhuǎn)換電路、存儲單元、通信接 口、信息分析模塊等組成。電極帽佩戴在使用者頭部，采集大腦皮層腦電信號，信息分析模 塊接受通信接口傳來的腦電信號經(jīng)過分析與處理，輸出義肢系統(tǒng)執(zhí)行不同任務(wù)的腦電操作 指令；所述的語音信號采集與識別裝置由拾音器、濾波放大電路、模數(shù)轉(zhuǎn)換電路、存儲單 元、通信接口、信息分析模塊及單片機等組成。用于采集、處理人的語音信號，輸出義肢系統(tǒng) 執(zhí)行不同任務(wù)的語音操作指令；所述的隨機目標實時定位裝置由安裝在佩戴者頭部和義肢上的兩個三維姿態(tài)傳 感器、激光測距傳感器和規(guī)劃機組成。在規(guī)劃機中包含目標定位計算程序模塊、義肢關(guān)節(jié)空 間參數(shù)求解程序模塊和一個軌跡規(guī)劃程序模塊，用于對佩戴者頭部的空間姿態(tài)相對于義肢 基礎(chǔ)姿態(tài)的變化情況進行檢測，對隨機目標進行距離檢測，給控制裝置指定目標位置，求解 義肢關(guān)節(jié)空間參數(shù)并提供義肢空間路徑規(guī)劃信息。所述的控制裝置由MCU系統(tǒng)單元、數(shù)據(jù)存儲單元、控制信號放大輸出驅(qū)動單元和 關(guān)節(jié)反饋信號采集單元構(gòu)成，用于采集按鍵信號、腦電信號、語音信號，并根據(jù)不同的控制指令模式，確定是否與隨機目標實時定位裝置進行通訊，實現(xiàn)相應(yīng)的控制任務(wù)。二、上述仿人形義肢腦電-語音控制系統(tǒng)的工作方法是第一、腦電信號的采集與處理腦電信號的采集與處理工作主要由腦電信號采集與識別裝置來實現(xiàn)。腦電信號采集時，電極帽上的多個傳感器探頭分別從大腦的不同區(qū)域獲得大腦皮 層的腦電信號，經(jīng)過放大濾波處理后輸入到單片機的模數(shù)轉(zhuǎn)換口，經(jīng)過模數(shù)轉(zhuǎn)換后存儲到 存儲單元中，并通過通信接口發(fā)送到腦電信號處理部分；腦電信號的參考電位可選擇頭頂、耳垂或額頭等處的信號，同時，為了消除眨眼動 作造成的眼部周圍肌電信號的影響，使用雙極導聯(lián)法采集水平眼電與垂直眼電信號。腦電信號處理時，采集腦電信號的單片機基于計算機的軟件平臺，通過對腦電信 號采集裝置發(fā)送過來的數(shù)據(jù)采用滑動窗口技術(shù)對每次任務(wù)劃分為多段進行分析，對窗口內(nèi) 數(shù)據(jù)首先進行拉普拉斯濾波和8-30HZ帶通濾波，再利用小波分解和共同空間模式相結(jié)合 的時空特征提取方法和徑向基神經(jīng)網(wǎng)絡(luò)分別進行模式識別，得到各中間分類結(jié)果，將各中 間分類結(jié)果進行加權(quán)平均，得到佩戴者所發(fā)出指令的最終識別模式，對仿人形義肢執(zhí)行不 同任務(wù)的控制模式編號，和腦電信號指令的輸出。第二、語音信號的采集與處理對語音信號的采集與處理工作主要由語音信號采集與識別裝置來實現(xiàn)。采集分兩個階段，在訓練階段，拾音器采集人的語音信號并傳送到語音處理芯片， 語音信號經(jīng)反混疊濾波和預加重處理及AD轉(zhuǎn)換后送到MPU，MPU將語音信號加窗分幀后通 過雙門限端點檢測方法計算出語音信號的端點，并從端點處開始通過提取梅爾倒譜系數(shù)， 從而獲得其特征參數(shù)矢量并保存為樣本模板；按照此方法，對一條指令進行多次訓練，獲得 一個樣本集合；通過對多自由度義肢(上肢)的多條不同語音指令信號的特征參數(shù)矢量進 行提取構(gòu)成一個樣本模板庫；在工作階段，同樣通過上述語音指令信號特征提取方法計算 得到待識別語音的特征參數(shù)矢量；在處理階段，MPU處理器將語音采集部分計算得到的待識別語音的特征參數(shù)矢量， 通過動態(tài)時間規(guī)整的模式匹配方法將其與模板庫中各語音指令的特征參數(shù)矢量進行比較， 并計算出待識別語音特征參數(shù)矢量與模板庫中各特征參數(shù)矢量之間的歐式距離，其中歐式 距離較小者即為識別出的指令模式，對仿人形義肢執(zhí)行不同任務(wù)的控制模式編號，輸出該 指令模式。第三、隨機目標的實時定位對隨機目標的實時定位功能主要由隨機目標實時定位裝置來實現(xiàn)。安裝在佩戴者頭部和義肢上的兩個三維姿態(tài)傳感器，對佩戴者頭部的空間姿態(tài)相 對于義肢基礎(chǔ)姿態(tài)的變化情況進行檢測，并利用激光測距傳感器對隨機目標進行距離檢 測，再通過該裝置的目標定位計算程序模塊實現(xiàn)不同坐標系中連續(xù)坐標變換推演，并計算 出隨機操作目標相對于多自由度義肢(上肢)操作空間的三維定位值；多自由度義肢關(guān)節(jié)空間參數(shù)求解模型，利用人工神經(jīng)網(wǎng)絡(luò)對不完整信息獨特的參 數(shù)映射能力、快速并行信息處理能力和多輸入多輸出的非線性特性，經(jīng)過“有監(jiān)督訓練法” 訓練而得到的一種人工神經(jīng)網(wǎng)絡(luò)模型；每當獲得隨機工作目標在操作空間的三維定位值 時，將三維定位值和某種欠定義的代償姿態(tài)描述作為該人工神經(jīng)網(wǎng)絡(luò)模型的輸入，得到網(wǎng)絡(luò)輸出的各關(guān)節(jié)的求解值；軌跡規(guī)劃模塊，根據(jù)任務(wù)的不同，對不同的“示敎再現(xiàn)”任務(wù)或“隨機目標”操作任 務(wù)進行軌跡規(guī)劃，并將完成的軌跡規(guī)劃信息通過通訊接口發(fā)送給控制裝置，在控制裝置的 輸出控制作用下，義肢手部按所規(guī)劃好的空間路徑與時間，達到指定的目標位置。第四、對義肢動作的控制控制裝置負責接收到腦電信號采集與識別裝置、語音信號采集與識別裝置或手動 按鍵的任務(wù)指令并執(zhí)行之。這些任務(wù)包括工停止運動、對義肢進行單關(guān)節(jié)控制、示教再現(xiàn)控 制以及對隨機目標操作控制等。其中在單關(guān)節(jié)控制模式下，“控制裝置”可以根據(jù)“語音命令”或手動按鍵方式來實現(xiàn)對 義肢相應(yīng)關(guān)節(jié)的單獨控制；在示教再現(xiàn)控制模式下，“控制裝置”可以根據(jù)“腦電命令”、“語音命令”或手動按 鍵方式控制義肢以要求的速度與姿態(tài)到達指定的各目標點，在這個過程中，控制裝置根據(jù) 已經(jīng)保存的目標點信息，通過與“隨機目標實時定位裝置”通訊，采用軌跡規(guī)劃算法獲得示 教軌跡的路徑規(guī)劃信息，控制各關(guān)節(jié)實現(xiàn)合成運動，在設(shè)計的時間內(nèi)穩(wěn)定可靠地移動義肢， 再現(xiàn)示教結(jié)果；在對隨機目標操作控制模式下，控制裝置根據(jù)腦電命令、語音命令或手動按鍵方 式來實現(xiàn)對義肢的操作控制，首先通過隨機目標實時定位裝置獲得隨機目標相對義肢基礎(chǔ) 坐標系的三維空間位置，求解義肢關(guān)節(jié)空間參數(shù)，并對其作出軌跡規(guī)劃；控制裝置接收到來 自隨機目標實時定位裝置的控制信息來執(zhí)行輸出控制，同時將實時采集到的各關(guān)節(jié)位置、 速度等反饋信號發(fā)送給隨機目標實時定位裝置，以達到隨時檢測并控制義肢手部運動位置 與速度的目的。本發(fā)明的積極效果是，在多自由度義肢(上肢)控制上引入了機器人控制的原理， 通過腦電信號、語音信號或手動按鍵多種方式來控制多自由度仿人形義肢(上肢)。這樣， 佩戴者就可以通過腦電、語言或按鍵方式發(fā)出任務(wù)指令，方便地使義肢執(zhí)行不同的工作任務(wù)。


圖1為本發(fā)明的一種整體結(jié)構(gòu)工作原理圖；圖2為“腦電信號采集與識別裝置”的工作流程圖；圖3為“語音信號采集與識別裝置”的工作流程圖；圖4為“隨機目標實時定位裝置”的工作流程圖。
具體實施例方式一種仿人形義肢腦電_語音控制系統(tǒng)，如圖1中虛線框中的框圖所示。它由腦電 信號采集與識別裝置、語音信號采集與識別裝置、隨機目標實時定位裝置、控制裝置四部分 組成。本控制系統(tǒng)的工作有以下內(nèi)容(1)控制系統(tǒng)可任意選擇采用腦電、語音或按鍵工作模式實現(xiàn)對義肢發(fā)出“指令”。(2)對義肢的任務(wù)指令劃分四類，第一類是停止運動指令，第二類為目標位置確定的示教再現(xiàn)動作指令，第三類為單關(guān)節(jié)動作指令，第四類為對隨機目標的操作指令。(3)對四類各種指令，我們可分別以不同的“控制模式編號”與之對應(yīng)。一種情況可如表1所示表1:指令與編號
權(quán)利要求
一種仿人形義肢腦電 語音控制系統(tǒng)，其特征在于，它由腦電信號采集與識別裝置、語音信號采集與識別裝置、隨機目標實時定位裝置和控制裝置四部分組成；其中所述的腦電信號采集與識別裝置由腦電信號采集部分和腦電信號處理部分組成；該裝置由多個傳感器探頭構(gòu)成的電極帽、放大濾波電路、模數(shù)轉(zhuǎn)換電路、存儲單元、通信接口和信息分析模塊組成；電極帽佩戴在使用者頭部，采集大腦皮層腦電信號，信息分析模塊接受通信接口傳來的腦電信號經(jīng)過分析與處理，輸出義肢系統(tǒng)執(zhí)行不同任務(wù)的腦電操作指令；所述的語音信號采集與識別裝置由拾音器、濾波放大電路、模數(shù)轉(zhuǎn)換電路、存儲單元、通信接口、信息分析模塊及單片機組成，用于采集、處理人的語音信號，輸出義肢系統(tǒng)執(zhí)行不同任務(wù)的語音操作指令；所述的隨機目標實時定位裝置由安裝在佩戴者頭部和義肢上的兩個三維姿態(tài)傳感器、激光測距傳感器和規(guī)劃機組成；在規(guī)劃機中包含目標定位計算程序模塊、義肢關(guān)節(jié)空間參數(shù)求解程序模塊和一個軌跡規(guī)劃程序模塊，用于對佩戴者頭部的空間姿態(tài)相對于義肢基礎(chǔ)姿態(tài)的變化情況進行檢測，對隨機目標進行距離檢測，給控制裝置指定目標位置，求解義肢關(guān)節(jié)空間參數(shù)并提供義肢空間路徑規(guī)劃信息；所述的控制裝置由MCU系統(tǒng)單元、數(shù)據(jù)存儲單元、控制信號放大輸出驅(qū)動單元和關(guān)節(jié)反饋信號采集單元構(gòu)成，用于采集按鍵信號、腦電信號、語音信號，并根據(jù)不同的控制指令模式，確定是否與隨機目標實時定位裝置進行通訊，實現(xiàn)相應(yīng)的控制任務(wù)。
2.如權(quán)利要求1所述的仿人形義肢腦電-語音控制系統(tǒng)的工作方法，其特征在于，它包 括以下工作步驟第一、腦電信號的采集與處理腦電信號的采集與處理工作主要由腦電信號采集與識別裝置來實現(xiàn)； 腦電信號采集時，電極帽上的多個傳感器探頭分別從大腦的不同區(qū)域獲得大腦皮層的 腦電信號，經(jīng)過放大濾波處理后輸入到單片機的模數(shù)轉(zhuǎn)換口，經(jīng)過模數(shù)轉(zhuǎn)換后存儲到存儲 單元中，并通過通信接口發(fā)送到腦電信號處理部分；腦電信號的參考電位可選擇頭頂、耳垂或額頭處的信號，同時，為了消除眨眼動作造成 的眼部周圍肌電信號的影響，使用雙極導聯(lián)法采集水平眼電與垂直眼電信號；腦電信號處理時，采集腦電信號的單片機基于計算機的軟件平臺，通過對腦電信號采 集裝置發(fā)送過來的數(shù)據(jù)采用滑動窗口技術(shù)對每次任務(wù)劃分為多段進行分析，對窗口內(nèi)數(shù)據(jù) 首先進行拉普拉斯濾波和8-30HZ帶通濾波，再利用小波分解和共同空間模式相結(jié)合的時 空特征提取方法和徑向基神經(jīng)網(wǎng)絡(luò)分別進行模式識別，得到各中間分類結(jié)果，將各中間分 類結(jié)果進行加權(quán)平均，得到佩戴者所發(fā)出指令的最終識別模式，對仿人形義肢執(zhí)行不同任 務(wù)的控制模式編號，和腦電信號指令的輸出； 第二、語音信號的采集與處理對語音信號的采集與處理工作主要由語音信號采集與識別裝置來實現(xiàn)； 采集分兩個階段，在訓練階段，拾音器采集人的語音信號并傳送到語音處理芯片，語音 信號經(jīng)反混疊濾波和預加重處理及AD轉(zhuǎn)換后送到MPU，MPU將語音信號加窗分幀后通過雙 門限端點檢測方法計算出語音信號的端點，并從端點處開始通過提取梅爾倒譜系數(shù)，從而 獲得其特征參數(shù)矢量并保存為樣本模板；按照此方法，對一條指令進行多次訓練，獲得一個 樣本集合；通過對多自由度義肢上肢的多條不同語音指令信號的特征參數(shù)矢量進行提取構(gòu)成一個樣本模板庫；在工作階段，同樣通過上述語音指令信號特征提取方法計算得到待識 別語音的特征參數(shù)矢量；在處理階段，MPU處理器將語音采集部分計算得到的待識別語音的特征參數(shù)矢量，通過 動態(tài)時間規(guī)整的模式匹配方法將其與模板庫中各語音指令的特征參數(shù)矢量進行比較，并計 算出待識別語音特征參數(shù)矢量與模板庫中各特征參數(shù)矢量之間的歐式距離，其中歐式距離 較小者即為識別出的指令模式，對仿人形義肢執(zhí)行不同任務(wù)的控制模式編號，輸出該指令 模式；第三、隨機目標的實時定位對隨機目標的實時定位功能主要由隨機目標實時定位裝置來實現(xiàn)； 安裝在佩戴者頭部和義肢上的兩個三維姿態(tài)傳感器，對佩戴者頭部的空間姿態(tài)相對于 義肢基礎(chǔ)姿態(tài)的變化情況進行檢測，并利用激光測距傳感器對隨機目標進行距離檢測，再 通過該裝置的目標定位計算程序模塊實現(xiàn)不同坐標系中連續(xù)坐標變換推演，并計算出隨機 操作目標相對于多自由度義肢上肢操作空間的三維定位值；多自由度義肢關(guān)節(jié)空間參數(shù)求解模型，利用人工神經(jīng)網(wǎng)絡(luò)對不完整信息獨特的參數(shù)映 射能力、快速并行信息處理能力和多輸入多輸出的非線性特性，經(jīng)過有監(jiān)督訓練法訓練而 得到的一種人工神經(jīng)網(wǎng)絡(luò)模型；每當獲得隨機工作目標在操作空間的三維定位值時，將三 維定位值和某種欠定義的代償姿態(tài)描述作為該人工神經(jīng)網(wǎng)絡(luò)模型的輸入，得到網(wǎng)絡(luò)輸出的 各關(guān)節(jié)的求解值；軌跡規(guī)劃模塊，根據(jù)任務(wù)的不同，對不同的示教再現(xiàn)任務(wù)或隨機目標操作任務(wù)進行軌 跡規(guī)劃，并將完成的軌跡規(guī)劃信息通過通訊接口發(fā)送給控制裝置，在控制裝置的輸出控制 作用下，義肢手部按所規(guī)劃好的空間路徑與時間，達到指定的目標位置； 第四、對義肢動作的控制控制裝置負責接收到腦電信號采集與識別裝置、語音信號采集與識別裝置或手動按鍵 的任務(wù)指令并執(zhí)行之。這些任務(wù)包括工停止運動、對義肢進行單關(guān)節(jié)控制、示教再現(xiàn)控制以 及對隨機目標操作控制等；其中在單關(guān)節(jié)控制模式下，控制裝置根據(jù)語音命令或手動按鍵方式來實現(xiàn)對義肢相應(yīng)關(guān)節(jié) 的單獨控制；在示教再現(xiàn)控制模式下，控制裝置根據(jù)腦電命令、語音命令或手動按鍵方式控制義肢 以要求的速度與姿態(tài)到達指定的各目標點，在這個過程中，控制裝置根據(jù)已經(jīng)保存的目標 點信息，通過與隨機目標實時定位裝置通訊，采用軌跡規(guī)劃算法獲得示教軌跡的路徑規(guī)劃 信息，控制各關(guān)節(jié)實現(xiàn)合成運動，在設(shè)計的時間內(nèi)穩(wěn)定可靠地移動義肢，再現(xiàn)示教結(jié)果；在對隨機目標操作控制模式下，控制裝置根據(jù)腦電命令、語音命令或手動按鍵方式來 實現(xiàn)對義肢的操作控制，首先通過隨機目標實時定位裝置獲得隨機目標相對義肢基礎(chǔ)坐標 系的三維空間位置，求解義肢關(guān)節(jié)空間參數(shù)，并對其作出軌跡規(guī)劃；控制裝置接收到來自隨 機目標實時定位裝置的控制信息來執(zhí)行輸出控制，同時將實時采集到的各關(guān)節(jié)位置、速度 等反饋信號發(fā)送給隨機目標實時定位裝置，以達到隨時檢測并控制義肢手部運動位置與速 度的目的。
全文摘要
本發(fā)明公開了一種仿人形義肢的腦電-語音控制系統(tǒng)及工作方法，它由腦電信號采集與識別裝置、語音信號采集與識別裝置、隨機目標實時定位裝置和控制裝置四部分組成。由腦電信號采集與識別裝置來實現(xiàn)腦電信號的采集與處理；由語音信號采集與識別裝置來實現(xiàn)對語音信號的采集與處理；由隨機目標實時定位裝置來實現(xiàn)對隨機目標的實時定位；由控制裝置負責接收到腦電信號采集與識別裝置、語音信號采集與識別裝置或手動按鍵的任務(wù)指令并執(zhí)行之。本發(fā)明在仿人形義肢上引入了機器人控制原理，通過腦電信號、語音信號或手動按鍵多種方式來控制多自由度仿人形義肢。這樣，佩戴者就可通過腦電、語言或按鍵方式發(fā)出任務(wù)指令，方便地使義肢執(zhí)行不同的工作任務(wù)。
文檔編號A61F2/72GK101947152SQ201010280510
公開日2011年1月19日 申請日期2010年9月11日 優(yōu)先權(quán)日2010年9月11日
發(fā)明者孫愛芹, 張志獻, 徐文尚, 李可永, 楊婷, 樊炳輝, 江浩, 王傳江, 賈朝川 申請人:山東科技大學