專利名稱：基于多模式融合的腦機接口控制系統(tǒng)及方法
技術領域：
本發(fā)明屬于人工智能領域，涉及ー種基于多模式融合的腦機接ロ控制系統(tǒng)及方法。
背景技術：
腦機接ロ(Brain Computer Interface, BCI)是一種新型人機交互方式，它通過高級機器學習與模式識別算法對不同思維活動下的大腦的神經(jīng)活動信號進行識別，并翻譯成控制命令來直接控制外部設備，從而建立人腦與外部設備之間的直接通訊。腦機接ロ的研究正成為人工智能、康復工程的ー個熱點，受到越來越廣泛的關注?，F(xiàn)有的BCI系統(tǒng)都是基于單ー模式的腦電信號，主要可歸納為3類 第一類，基于運動想象的事件相關去同步與同步(Event Related Desynchronization/ Synchronization,ERD/ERS)的BCI 系統(tǒng)；第二類，基于穩(wěn)態(tài)誘發(fā)電位(Steady State EvokedPotential，SSEP)的BCI系統(tǒng)；第三類，基于誘發(fā)電位P300的BCI系統(tǒng)。事件相關電位P300最早由Sutton等人發(fā)現(xiàn)，可在Oddball試驗模式下出現(xiàn)。P300是ー個主要與心理因素相關的內(nèi)源性成分，在小概率事件后的250-450ms之間產(chǎn)生。P300腦機接ロ的優(yōu)點是使用者需要的訓練很少，因此應用非常廣泛，如鼠標控制，機器人控制等。但是因為誘發(fā)腦電P300的強度和自發(fā)腦電比較起來相當微弱，為保證系統(tǒng)的可靠性，通常需要重復實驗的方法來實現(xiàn)對P300的準確檢測，因此P300產(chǎn)生的神經(jīng)生理學機理和特性限制了其系統(tǒng)信息傳輸率的進一步提尚。大腦的功能之ー是參與運動的計劃和運動的控制，想象肢體的運動會引起大腦運動皮層相關節(jié)律的事件相關去同步化/同步化(ERD/ERS)現(xiàn)象，即特定頻段信號幅度降低、頻帶能量減少/特定頻段信號幅度升高、頻帶能量増加。不同的肢體運動想象所引起的ERD的空間分布特性符合大腦運動皮層的軀體對應分布，并建立了基于運動想象的實時EEG識別系統(tǒng)。由于運動想象的產(chǎn)生不需要依賴外界刺激裝鉻，被試者只要按照提示進行一定時間的運動想象即可實現(xiàn)基于事件的BCI系統(tǒng)，故是ー種完全獨立的BCI系統(tǒng)，因此，基于運動想象ERD/ERS的BCI —直是研究的焦點。但是，由于EEG信號的空間分辨率低，四種不同身體部位的ERD/ERS的空間分布有重疊，要通過加入更多不同身體部位運動想象來擴展BCI系統(tǒng)的命令種類，提高信息傳輸率是非常困難的。盡管近年來，已有研究人員嘗試通過對同一肢體執(zhí)行不同類型運動的想象的方法，如不同的運動速度、運動方向等，來増加BCI系統(tǒng)中的任務種類，但是一直還未取得理想的分類結果，這使得此類BCI系統(tǒng)的信息傳輸率受到制約。基于視覺的穩(wěn)態(tài)視覺誘發(fā)電位SSVEP由外界固定頻率閃爍的視覺刺激誘發(fā)產(chǎn)生，其強度與受試者對視覺刺激空間位鉻的注視和注意有夫。利用SSVEP攜帯的頻率信息來判斷使用者注視的方向，從而確定出受試者注視的目標——是基于SSVEP的BCI中最常用的方案。由于上述方案一般無需訓練便可達到較高的數(shù)據(jù)傳輸率，因而被應用在腦控電話撥號、假肢控制等方面。但是SSVEP的產(chǎn)生需要穩(wěn)定頻率的閃爍刺激，容易引起視覺疲勞，不適合長時間使用。目前，將單ー模式的腦機接ロ系統(tǒng)用于輪椅控制上面臨很多挑戰(zhàn)，主要有I)信息傳輸率(帶寬)低、自動化程度低。理論上，對運動功能嚴重失常的病人，BCI系統(tǒng)應該由他完全控制，然而事實上現(xiàn)有的BCI系統(tǒng)都需要照顧者的參與，如系統(tǒng)的安裝、啟動、初始化、關閉等。即使可以由病人自己關閉，但重新啟動存在困難。2)環(huán)境適應性差，控制本身對于用戶注意力、環(huán)境安全因素要求多?？傮w來說，最大的問題是可靠性差，信息傳輸率還遠不能滿足實際的復雜通訊的要求。此外，研究發(fā)現(xiàn)，對于各種模式的腦機接ロ系統(tǒng)，都存在有15% — 30%左右的使用者由于不能有效的產(chǎn)生相應模式的腦電特征，從而不能夠有效控制。為了提高BCI的實用性，必須考慮用戶的接受程度與訓練方法，減少電極的數(shù)量，縮短訓練時間，進ー步提高系統(tǒng)的可靠性，減少分類誤差，提高BCI的信息傳輸率。

發(fā)明內(nèi)容
鑒于以上所述現(xiàn)有技術的缺點，本發(fā)明的目的在于提供一種基于多模式融合的腦機接ロ控制系統(tǒng)及方法，用于提高BCI的實用性。為實現(xiàn)上述目的及其他相關目的，本發(fā)明提供一種基于多模式融合的腦機接ロ控制系統(tǒng)及方法。一種基于多模式融合的腦機接ロ控制系統(tǒng)，包括用以誘發(fā)SSVEP穩(wěn)態(tài)視覺和誘導MI運動想象的腦電刺激與反饋模塊；用以采集EEG腦電信號的腦電信號采集模塊；與所述腦電信號采集模塊相連，用以提取并識別分類所述EEG腦電信號中的SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征的腦電信號處理模塊；所述腦電信號處理模塊還與所述腦電刺激與反饋模塊相連，用以將所述SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征分別對應的分類結果反饋回所述腦電刺激與反饋模塊；與所述腦電信號處理模塊相連，用以執(zhí)行所述分類結果的執(zhí)行模塊。優(yōu)選地，所述基于多模式融合的腦機接ロ控制系統(tǒng)還包括與所述腦電信號處理模塊相連，用以對所述腦電刺激與反饋模塊、腦電信號采集模塊、腦電信號處理模塊進行調(diào)整控制的輸入控制模塊；與所述腦電信號處理模塊無線通信相連，用以對所述腦電刺激與反饋模塊、腦電信號采集模塊、腦電信號處理模塊進行分別調(diào)整控制的遠程控制模塊。優(yōu)選地，所述腦電刺激與反饋模塊包括用以誘發(fā)SSVEP穩(wěn)態(tài)視覺的SSVEP刺激單元和用以誘導MI運動想象的聽覺反饋單元。優(yōu)選地，所述SSVEP刺激単元包括發(fā)光器和用以控制所述發(fā)光器的發(fā)光頻率的控制器；所述控制器與所述發(fā)光器相連。優(yōu)選地，所述腦電信號采集模塊包括用以戴在頭部的腦電帽；設置在腦電帽上且用以采集EEG腦電信號的電極；與所述電極相連，用以放大EEG腦電信號的放大器。優(yōu)選地，所述腦電信號處理模塊包括與所述放大器相連，用以在預設的單位時間內(nèi)截取放大后的EEG腦電信號得到腦電數(shù)據(jù)的數(shù)據(jù)獲取単元；與所述數(shù)據(jù)獲取單元相連，用以對所述腦電數(shù)據(jù)進行濾波的預處理単元；與所述預處理單元相連，用以對濾波后的腦電數(shù)據(jù)進行CCA處理獲得SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征的CCA単元；與所述預處理單元相連，用以對濾波后的腦電數(shù)據(jù)進行CSP處理獲得MI運動想象腦電特征的CSP単元；分別與所述CCA単元和CSP単元相連，用以獲得SSVEP分類識別結果以及MI運動想象的分類識別結果的SVM分類器。一種基于多模式融合的腦機接ロ控制方法，包括以下步驟SI，腦電刺激與反饋模塊刺激誘發(fā)人腦的SSVEP穩(wěn)態(tài)視覺和MI運動想象；S2，腦電信號采集模塊采集人腦的EEG腦電信號；S3，腦電信號處理模塊提取并識別分類所述EEG腦電信號中的SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征；S4，執(zhí)行模塊執(zhí)行所述SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征分別對應的分類結果。 優(yōu)選地，所述控制方法還包括一訓練步驟S0，所述訓練步驟SO在步驟SI前執(zhí)行，所述訓練步驟SO包括S01，腦電刺激與反饋模塊中的聽覺反饋單元發(fā)出聲音刺激誘導受試者進行MI運動想象；同時，腦電刺激與反饋模塊中的SSVEP刺激單元發(fā)出視覺刺激誘發(fā)受試者的SSVEP穩(wěn)態(tài)視覺；S02，腦電信號采集模塊采集人腦的EEG腦電信號；S03，腦電信號處理模塊提取并識別分類所述EEG腦電信號中的SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征；S04,所述腦電刺激與反饋模塊判斷所述SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征分別對應的分類結果是否達到所述聲音刺激和視覺刺激預期的要求，若沒達至|J，則重新調(diào)整所述聽覺反饋單元發(fā)出的聲音刺激和所述SSVEP刺激單元發(fā)出的視覺刺激，返回步驟SOl ;否則執(zhí)行步驟SI。優(yōu)選地，所述步驟S2的具體實現(xiàn)過程為將腦電帽戴在頭部；設置在腦電帽上的電極采集EEG腦電信號；放大器將所述EEG腦電信號放大輸出。優(yōu)選地，所述步驟S3的具體實現(xiàn)過程為腦電信號處理模塊中的數(shù)據(jù)獲取単元采用預設時間的滑動窗ロ對放大后的EEG腦電信號進行異步截取，得到単位時間內(nèi)的腦電數(shù)據(jù)；腦電信號處理模塊中的預處理單元對所述腦電數(shù)據(jù)進行濾波；腦電信號處理模塊中的CCA単元對濾波后的腦電數(shù)據(jù)進行CCA處理獲得SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征；腦電信號處理模塊中的CSP単元對濾波后的腦電數(shù)據(jù)進行CSP處理獲得MI運動想象腦電特征；腦電信號處理模塊中的SVM分類器分別對所述SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征進行分類，獲得SSVEP分類識別結果以及MI運動想象的分類識別結果。優(yōu)選地，所述SVM分類器將MI運動想象腦電特征分為左手、右手、腳的運動想象三類；所述SVM分類器將SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征分為6Hz、7Hz、8Hz、9Hz、10Hz五類；且腦電處理模塊根據(jù)各種單模式的空閑狀態(tài)以并行方式融合，可獲取十五類控制命令，即十五種分類結果。
如上所述，本發(fā)明所述的基于多模式融合的腦機接ロ控制系統(tǒng)及方法，具有以下有益效果本發(fā)明將多種腦電活動模式的腦機接ロ進行結合，構建多模式融合的腦機接ロ，將運動想象引起的ERS模式和SSVEP模式融合在一起，提高了控制系統(tǒng)的信息傳輸率和可靠性，以及靈活性，有效減少了單模式腦機接口下的低信息傳輸率，同時也有效的減少了單SSVEP任務下的視覺負擔，同時提高了基于腦機接ロ的控制系統(tǒng)的適應人群。


圖I顯示為本發(fā)明所述的基于多模式融合的腦機接ロ控制系統(tǒng)的結構示意圖。圖2顯示為本發(fā)明所述的SSVEP刺激単元的ー種電路原理圖。圖3顯示為本發(fā)明所述的放大器的界面設置示意圖。圖4顯示為本發(fā)明所述的基于多模式融合的腦機接ロ控制方法的流程示意圖。圖5顯示為本發(fā)明所述的運動想象訓練中放大器的界面設置示意圖。圖6顯示為本發(fā)明所述的無反饋訓練界面示意圖。圖7顯示為本發(fā)明所述的有反饋訓練界面示意圖。圖8顯示為本發(fā)明所述的SSVEP訓練導聯(lián)和濾波設置界面示意圖。圖9顯示為本發(fā)明所述的多模式任務的配置界面示意圖。圖10顯示為本發(fā)明實施例三所述的輪椅的操作控制流程示意圖。圖11顯示為本發(fā)明所述的輪椅控制參數(shù)界面設置示意圖。圖12顯示為本發(fā)明所述的滑動時間窗ロ的數(shù)據(jù)獲取示意圖。
具體實施例方式以下通過特定的具體實例說明本發(fā)明的實施方式，本領域技術人員可由本說明書所揭露的內(nèi)容輕易地了解本發(fā)明的其他優(yōu)點與功效。本發(fā)明還可以通過另外不同的具體實施方式
加以實施或應用，本說明書中的各項細節(jié)也可以基于不同觀點與應用，在沒有背離本發(fā)明的精神下進行各種修飾或改變。請參閱附圖。需要說明的是，本實施例中所提供的圖示僅以示意方式說明本發(fā)明的基本構想，遂圖式中僅顯示與本發(fā)明中有關的組件而非按照實際實施時的組件數(shù)目、形狀及尺寸繪制，其實際實施時各組件的型態(tài)、數(shù)量及比例可為ー種隨意的改變，且其組件布局型態(tài)也可能更為復雜。下面結合實施例和附圖對本發(fā)明進行詳細說明。實施例一本實施例提供一種基于多模式融合的腦機接ロ控制系統(tǒng)，如圖I所示，包括腦電刺激與反饋模塊、腦電信號采集模塊、腦電信號處理模塊、執(zhí)行模塊、輸入控制模塊、遠程控制模塊；腦電信號處理模塊分別與所述腦電信號采集模塊和腦電刺激與反饋模塊相連，執(zhí)行模塊與所述腦電信號處理模塊相連，輸入控制模塊與所述腦電信號處理模塊相連，遠程控制模塊與所述腦電信號處理模塊無線通信相連。
其中，所述腦電刺激與反饋模塊用以誘發(fā)SSVEP穩(wěn)態(tài)視覺和誘導MI運動想象；所述腦電信號采集模塊用以采集EEG腦電信號；所述腦電信號處理模塊用以提取并識別分類所述EEG腦電信號中的SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征；所述腦電信號處理模塊還與所述腦電刺激與反饋模塊相連，用以將所述SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征分別對應的分類結果反饋回所述腦電刺激與反饋模塊；所述執(zhí)行模塊用以執(zhí)行所述SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征分別對應的分類結果；所述輸入控制模塊用以對所述腦電刺激與反饋模塊、腦電信號采集模塊、腦電信號處理模塊進行調(diào)整控制；所述遠程控制模塊用以對所述腦電刺激與反饋模塊、腦電信號采集模塊、腦電信號處理模塊進行分別調(diào)整控制。腦電刺激與反饋模塊所述腦電刺激與反饋模塊包括SSVEP刺激単元和視覺聽覺反饋単元。所述SSVEP刺激単元用以誘發(fā)SSVEP穩(wěn)態(tài)視覺；所述聽覺反饋單元用以誘導MI運動想象。所述SSVEP刺激単元包括發(fā)光器和控制器；所述控制器用以控制所述發(fā)光器。所述控制器與所述發(fā)光器相連。·
SSVEP刺激単元中可采用LED發(fā)光器件作為視覺誘發(fā)的刺激。該單元還可采用ST89C52單片機作為控制器來控制LED發(fā)光器件的頻率；LED發(fā)光器件可選用直徑約為
I.5cm的圓形發(fā)光體，此規(guī)格能較好地保證視覺誘發(fā)的效果，不會給人眼帯來過大的刺激，并且保證了設備小巧便捷的性能。具體的單元設計電路圖如圖2所示。本發(fā)明所述的SSVEP刺激單元結構簡單，輕便靈活，適于安裝于任何裝置上。腦電信號采集模塊所述腦電信號采集模塊包括腦電帽、電極、放大器；所述電極設置在腦電帽上，放大器與所述電極相連；所述腦電帽用以戴在頭部；所述電極用以采集EEG腦電信號；所述放大器用以放大EEG腦電信號的放大器。其中所述放大器可采用16導便攜腦電信號放大器。該腦電信號采集模塊可實時采集EEG腦電信號，并通過設置界面對放大器濾波和放大信號設置，如圖3所示，最終將信號傳輸?shù)侥X電信號處理模塊(PC機)上。腦電信號處理模塊所述腦電信號處理模塊包括數(shù)據(jù)獲取単元、預處理単元、CCA単元、CSP単元、SVM分類器；數(shù)據(jù)獲取単元與所述放大器相連，用以在預設的單位時間內(nèi)截取放大后的EEG腦電信號得到腦電數(shù)據(jù)；預處理單元與所述數(shù)據(jù)獲取單元相連，用以對所述腦電數(shù)據(jù)進行濾波；CCA単元與所述預處理單元相連，用以對濾波后的腦電數(shù)據(jù)進行CCA處理獲得SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征；CSP単元與所述預處理單元相連，用以對濾波后的腦電數(shù)據(jù)進行CSP處理獲得MI運動想象腦電特征；SVM分類器分別與所述CCA單元和CSP單元相連，用以獲得SSVEP分類識別結果以及MI運動想象的分類識別結果的。下面以實際情況為例簡述腦電信號處理模塊的工作過程，該過程包括以下步驟I)數(shù)據(jù)獲取単元以用戶自己設定的単位時間截取腦電數(shù)據(jù)。2)預處理単元將采集后的腦電數(shù)據(jù)進行濾波預處理。由于運動想象和SSVEP兩種腦電模式主要體現(xiàn)在5Hz到30Hz的節(jié)律能量上，故首先進行5-30HZ的帶通濾波。3) SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征提取與識別當用戶凝視SSVEP刺激模板上某一頻率的LED燈閃爍時，利用頻率檢測的方法能夠從這幾個導聯(lián)的數(shù)據(jù)中判斷出用戶關注的是哪ー個頻率。而頻率檢測的核心方法是典型相關分析(Canonical CorrelationAnalysis，CCA)。CCA単元(即CCA算法単元)為兩組時間序列尋找投影權向量，使得序列相關系數(shù)P達到最大值。通過CCA単元尋找到最為匹配的固定頻率函數(shù)，得到SSVEP的分類識別結果。所述SVM分類器可以將SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征分為6Hz、7Hz、8Hz、9Hz、IOHz五類；并可判斷出各種單模式的空閑狀態(tài)。4) MI運動想象腦電特征提取與識別首先，利用左右手運動想象數(shù)據(jù)的空間域特征性，選取CSP (Common Spatial Pattern)單元(即CSP算法單元)提取單位時間腦電數(shù)據(jù)的空間特征，再將其放入SVM(Support Vector Machine)分類器進行分類識別,最終獲得運動想象的分類識別結果。所述SVM分類器可以將MI運動想象腦電特征分為左手、右手、腳的運動想象三類。因此，最多可以獲取十五類控制命令，從而高了控制系統(tǒng)的信息傳輸率、可靠性和靈活性。本發(fā)明將多種腦電活動模式的腦機接ロ進行結合，構建多模式融合的腦機接ロ“Hybrid BCI ”的思想，將運動想象引起的ERS模式和SSVEP模式融合在一起，建立多模式融合的腦機接ロ控制系統(tǒng)。該系統(tǒng)可以以并行方式融合兩種模式的腦機接ロ，具有兼低假正率和高任務識別率的特點。該系統(tǒng)在同一時刻進行兩種模式的思維任務檢測，也可以同時 進行兩種模式腦電信號的特征提?。辉撓到y(tǒng)的并行融合方式也可以提供更多的控制模式，提高控制系統(tǒng)的信息傳輸率和可靠性，以及靈活性，有效減少了單模式腦機接口下的低信息傳輸率，同時也有效的減少了單SSVEP任務下的視覺負擔。并且，由于靈活以及融合的控制策略的建立，提高了基于腦機接ロ的控制系統(tǒng)的適應人群。實施例ニ本實施例提供一種基于多模式融合的腦機接ロ控制方法，如圖4所示，包括訓練步驟SO和控制步驟SI至S4，所述訓練步驟SO在步驟SI前執(zhí)行；所述訓練步驟SO包括S01，腦電刺激與反饋模塊中的聽覺反饋單元發(fā)出聲音刺激誘導受試者進行MI運動想象；同時，腦電刺激與反饋模塊中的SSVEP刺激單元發(fā)出視覺刺激誘發(fā)受試者的SSVEP穩(wěn)態(tài)視覺；S02，腦電信號采集模塊采集人腦的EEG腦電信號；S03，腦電信號處理模塊提取并識別分類所述EEG腦電信號中的SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征；S04,所述腦電刺激與反饋模塊判斷所述SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征分別對應的分類結果是否達到所述聲音刺激和視覺刺激預期的要求，若沒達至|J，則重新調(diào)整所述聽覺反饋單元發(fā)出的聲音刺激和所述SSVEP刺激單元發(fā)出的視覺刺激，返回步驟SOl ;否則執(zhí)行步驟SI。所述控制步驟包括SI，腦電刺激與反饋模塊發(fā)出刺激誘發(fā)人腦的SSVEP穩(wěn)態(tài)視覺和誘導MI運動想象。S2，腦電信號采集模塊采集人腦的EEG腦電信號。所述步驟S2的具體實現(xiàn)過程為將腦電帽戴在頭部；設置在腦電帽上的電極采集EEG腦電信號；放大器將所述EEG腦電信號放大輸出。S3，腦電信號處理模塊提取并識別分類所述EEG腦電信號中的SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征。所述步驟S3的具體實現(xiàn)過程為腦電信號處理模塊中的數(shù)據(jù)獲取單元采用預設時間的滑動窗ロ對放大后的EEG腦電信號進行異步截取，得到単位時間內(nèi)的腦電數(shù)據(jù)；腦電信號處理模塊中的預處理單元對所述腦電數(shù)據(jù)進行濾波；腦電信號處理模塊中的CCA單元對濾波后的腦電數(shù)據(jù)進行CCA處理獲得SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征；腦電信號處理模塊中的CSP単元對濾波后的腦電數(shù)據(jù)進行CSP處理獲得MI運動想象腦電特征；腦電信號處理模塊中的SVM分類器分別對所述SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征進行分類，獲得SSVEP分類識別結果以及MI運動想象的分類識別結果。S4，執(zhí)行模塊執(zhí)行所述SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征分別對應的分類結果。
所述SVM分類器將MI運動想象腦電特征分為左轉、右轉、前進三類；所述SVM分類器將SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征分為增速、減速、保持不變、運動/停止四類。本實施例所述的基于多模式融合的腦機接ロ控制方法可以由實施例一所述的系統(tǒng)實現(xiàn)，但不限于實施例一所述的ー種實現(xiàn)系統(tǒng)。實施例三本實施例將所述基于多模式融合的腦機接ロ控制系統(tǒng)及方法應用到輪椅中(即所述執(zhí)行模塊為輪椅)，實現(xiàn)了ー種人工智能輪椅，該人工智能輪椅的開發(fā)環(huán)境可以采用PC機Windows操作系統(tǒng)下的matlab2009版本及以上軟件環(huán)境，需要串ロ通信硬件設備支持。該人工智能輪椅主要由用戶訓練和輪椅實時控制兩部分組成。用戶需要經(jīng)過視覺和聽覺協(xié)同感知的虛擬現(xiàn)實交互訓練，在腦電模式的分類準確率得到保證及相關參數(shù)設置確認后，即可進行輪椅的實際控制操作。用戶訓練測試I、MI運動想象訓練運動想象分類識別是根據(jù)想象肢體運動時對應的皮層腦電信號在空間域的特征進行不同類別的區(qū)分。在使用運動想象腦電模式前，需要對用戶進行適應性訓練，以獲得最適合于用戶的分類器模型。所述分類器模型的具體獲得過程為I)首先，利用先驗知識將電極安置在運動區(qū)皮層的FC3、FC4、C5、C3、Cl、Cz、C2、C4、C6、CP3、CP4位置，如圖5所示。在放大器設置界面選取對應導聯(lián)，井根據(jù)運動想象所需節(jié)律范圍將放大器濾波設置為5Hz到30Hz。2)受試者進行無反饋左右手運動想象訓練，測試界面如圖6所示。用戶根據(jù)箭頭指示方向(左/右)，分別進行左上肢和右上肢想象運動，直至完成ー組訓練。每組左右手想象個數(shù)相同，可進行多組訓練，由用戶自行設置。3)將無反饋訓練采集數(shù)據(jù)放入SVM分類器訓練，獲得對應的SVM分類模型。4)用戶利用得到的SVM模型進行有反饋左右手運動想象訓練。一組訓練的參數(shù)設置同無反饋時相同，在想象運動時，屏幕上會出現(xiàn)如圖7所示的滑動條，以指示各運動想象類別的實時強弱分布，利于用戶自我調(diào)節(jié)。同時，有反饋數(shù)據(jù)可與無反饋數(shù)據(jù)均可進行挑選反復進行SVM分類模型訓練，最終達到要求的分類精度即可，保存好此模型。2,SSVEP訓練=SSVEP訓練主要是針對頻率和導聯(lián)的優(yōu)化選取。其目的是從6個頻率中選擇出N (N < 6)個最易提取特征的刺激頻率，這里可以將頻率設為[789101112]Hz。從視覺皮層區(qū)的13個導聯(lián)中選擇出Q (Q< 13)個最易提取特征的電極位置，這里可以根據(jù) SSVEP 對應視覺皮層選取 P3、PI、Pz、P2、P4、P05、P03、POz、P04、P06、01、Oz、02 區(qū)。根
據(jù)所需頻率，將放大器濾波設置為5-30HZ。圖8展示了導聯(lián)和濾波設置。訓練時用戶依次凝視頻率刺激各半分鐘，設備布局應與正式的實驗情況相一致，即各LED燈同時閃動，但彼此間需要有一定間隔，用戶一段時間內(nèi)只看一個頻率的刺激。記錄下所有13個導聯(lián)的數(shù)據(jù)。接下來的解析過程，分別計算代表各頻率的數(shù)據(jù)集內(nèi)，各導聯(lián)的腦電數(shù)據(jù)與該頻率模擬正余弦信號(Y)的Canonical Correlation Coefficient P,選出P最大的N個頻率。系數(shù)越大的頻率在后面的試驗中越有可能被成功檢測到。將這N列系數(shù)分離出來，橫向求各導聯(lián)對應的平均系數(shù)，選出P最大的Q個導聯(lián)，即為這些最佳頻率的優(yōu)勢導聯(lián)。一般N取Γ5個最為合適。少于3個通道的信號線性組合在一起不能達到空域濾波的效果，而大于5個通道不能進ー步提高有效信息量，甚至會引入更多噪聲。實踐證明，頻率和導聯(lián)的選擇先后對篩選結果的影響極小，都能獲得令人滿意的控制效果。3、視聽覺誘導與反饋的多模式融合訓練
首先建立視聽覺協(xié)同感知的虛擬現(xiàn)實交互訓練環(huán)境，這樣可以對腦電數(shù)據(jù)在各個模態(tài)上的特征進行多角度可視化，掲示和理解特定思維任務時的EEG信號模式動態(tài)變化特征；同時根據(jù)系統(tǒng)的反饋，可以從多個角度感知各個模式任務執(zhí)行情況，形成神經(jīng)反饋閉環(huán)訓練。在神經(jīng)反饋閉環(huán)訓練的過程中，可以學習協(xié)調(diào)實施多模式相關的思維任務，從而提高使用者的控制能力。多模式任務的配置界面如圖9所示，其中，SSVEP視覺刺激可以由顯示器中央的數(shù)字給出，數(shù)字分別對應于刺激模塊上的數(shù)字；運動想象提示誘導可以由聲音給出，提示“左”表示想象左手運動，提示“右”表示想象右手運動，并通過訓練結果對實驗范式的刺激和反饋的形式進行調(diào)整，以確保使用者可以有效的協(xié)調(diào)注意力，實施多模式相關的思維任務。令使用者進行2-3次融合實驗，每次受試將完成4類SSVEP測試、2類運動想象測試以及2類任務同時誘發(fā)測試共8類腦電刺激測試任務，每類測試任務進行2輪，各類任務先后順序隨機排列。上述的交互訓練測試可以有效提高使用者對輪椅的控制能力，這種方式提高了基于腦機接ロ的控制系統(tǒng)的適應人群，滿足實際需求，同時也提高了本發(fā)明所述控制系統(tǒng)的實用性。輪椅控制操作在受試者經(jīng)過訓練達到要求之后，即可進行輪椅的控制操作，控制操作的主要流程如圖10所示，包括腦電信號處理模塊中的數(shù)據(jù)獲取単元(即圖10中的EEG Signal模塊)采用預設時間的滑動窗ロ對放大后的EEG腦電信號進行異步截取，得到単位時間內(nèi)的腦電數(shù)據(jù)；腦電信號處理模塊中的預處理単元(即圖10中的Filter模塊)對所述腦電數(shù)據(jù)進行濾波；腦電信號處理模塊中的CCA単元(即圖10中的CCA模塊)對濾波后的腦電數(shù)據(jù)進行CCA處理獲得SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征；腦電信號處理模塊中的CSP単元(即圖10中的CSP模塊)對濾波后的腦電數(shù)據(jù)進行CSP處理獲得MI運動想象腦電特征；腦電信號處理模塊中的SVM分類器(即圖10中的SVM模塊)分別對所述SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征進行分類，獲得SSVEP分類識別結果以及MI運動想象的分類識別結果(即圖10中的Classification模塊)。受試者的導聯(lián)位置由運動想象訓練和SSVEP訓練分別給出。輪椅控制設置界面如圖11所示，包括遠程控制連接設置、運動想象類別選擇及分類算法設置、SSVEP類別選擇及分類識別算法設置、單位采集時間及滑動窗ロ時間等模塊。首先，采用可自定義時間的滑動窗ロ異步截取単位時間腦電數(shù)據(jù)，保證輪椅控制的連貫性，如圖12所示。數(shù)據(jù)獲得后分別進行SSVEP和運動想象腦電分類識別。運動想象工作態(tài)類別可用于控制輪椅左轉、右轉；同時利用工作態(tài)分類概率是否達到閾值來劃分エ作態(tài)與靜息態(tài)，則利用靜息態(tài)異步表征前進；這樣，運動想象最多可得到左轉、右轉、前進三類控制命令。SSVEP工作態(tài)則用于表征速度増大(轉速或前行速)、速度減小及程序的開關閉合共三類指令；同理，SSVEP的靜息態(tài)可用于異步表征保持原速率不變；這樣，SSVEP最多可得到速度増大、減小、保持不變和控制程序是否打開四類控制命令。實際使用時，利用運動想象某一類別與SSVEP某一類別組合作為程序開關，使其具有更高的穩(wěn)定性與可靠性。所述輪椅為電動站立輪椅，雙輪驅動。輪椅的PC機遠程控制模塊由上海英集斯自動化技術有限公司改裝完成，采用串ロ無線藍牙技術進行通信，波特率9600，數(shù)據(jù)位8，停止位1，無校驗和?？刂浦噶畈捎氓诉M制代碼發(fā)送，一次可發(fā)送一條輪椅控制指令。輪椅控制操作的過程可總結如下首先設置輪椅的遠程通信部分，待連通后再設置腦電模式控制策略設置，詳細參數(shù)設置可參見表I至6。設置完成后，點Start按鈕，用戶即可使用運動想象和SSVEP腦電模式來控制輪椅。運動想象為自發(fā)腦電，只需要用戶根據(jù)實際需要自我想象運動即可；SSVEP需要用戶根據(jù)實際凝視如圖12所示的刺激面板，各LED等代表不同的頻率，每ー種頻率表示輪椅控制的一個類別，在先前設置面板已經(jīng)匹配。表I :輪椅無線通信設置
權利要求
1.一種基于多模式融合的腦機接ロ控制系統(tǒng)，其特征在于，所述基于多模式融合的腦機接ロ控制系統(tǒng)包括 用以誘發(fā)SSVEP穩(wěn)態(tài)視覺和誘導MI運動想象的腦電刺激與反饋模塊； 用以采集EEG腦電信號的腦電信號采集模塊； 與所述腦電信號采集模塊相連，用以提取并識別分類所述EEG腦電信號中的SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征的腦電信號處理模塊； 所述腦電信號處理模塊還與所述腦電刺激與反饋模塊相連，用以將所述SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征分別對應的分類結果反饋回所述腦電刺激與反饋模塊； 與所述腦電信號處理模塊相連，用以執(zhí)行所述分類結果的執(zhí)行模塊。
2.根據(jù)權利要求I所述的基于多模式融合的腦機接ロ控制系統(tǒng)，其特征在于，所述基于多模式融合的腦機接ロ控制系統(tǒng)還包括 與所述腦電信號處理模塊相連，用以對所述腦電刺激與反饋模塊、腦電信號采集模塊、腦電信號處理模塊進行調(diào)整控制的輸入控制模塊； 與所述腦電信號處理模塊無線通信相連，用以對所述腦電刺激與反饋模塊、腦電信號采集模塊、腦電信號處理模塊進行分別調(diào)整控制的遠程控制模塊。
3.根據(jù)權利要求I所述的基于多模式融合的腦機接ロ控制系統(tǒng)，其特征在于，所述腦電刺激與反饋模塊包括 用以誘發(fā)SSVEP穩(wěn)態(tài)視覺的SSVEP刺激單元； 用以誘導MI運動想象的聽覺反饋單元。
4.根據(jù)權利要求3所述的基于多模式融合的腦機接ロ控制系統(tǒng)，其特征在于所述SSVEP刺激単元包括發(fā)光器和用以控制所述發(fā)光器的發(fā)光頻率的控制器；所述控制器與所述發(fā)光器相連。
5.根據(jù)權利要求I所述的基于多模式融合的腦機接ロ控制系統(tǒng)，其特征在于所述腦電信號采集模塊包括 用以戴在頭部的腦電帽； 設置在腦電帽上且用以采集EEG腦電信號的電極； 與所述電極相連，用以放大EEG腦電信號的放大器。
6.根據(jù)權利要求5所述的基于多模式融合的腦機接ロ控制系統(tǒng)，其特征在于所述腦電信號處理模塊包括 與所述放大器相連，用以在預設的單位時間內(nèi)截取放大后的EEG腦電信號得到腦電數(shù)據(jù)的數(shù)據(jù)獲取単元； 與所述數(shù)據(jù)獲取單元相連，用以對所述腦電數(shù)據(jù)進行濾波的預處理単元； 與所述預處理單元相連，用以對濾波后的腦電數(shù)據(jù)進行CCA處理獲得SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征的CCA單元； 與所述預處理單元相連，用以對濾波后的腦電數(shù)據(jù)進行CSP處理獲得MI運動想象腦電特征的CSP單元； 分別與所述CCA単元和CSP単元相連，用以獲得SSVEP分類識別結果以及MI運動想象的分類識別結果的SVM分類器。
7.一種基于多模式融合的腦機接ロ控制方法，其特征在于，包括以下步驟 SI，腦電刺激與反饋模塊刺激誘發(fā)人腦的SSVEP穩(wěn)態(tài)視覺和誘導MI運動想象； S2，腦電信號采集模塊采集人腦的EEG腦電信號； S3，腦電信號處理模塊提取并識別分類所述EEG腦電信號中的SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征； S4,執(zhí)行模塊執(zhí)行所述SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征分別對應的分類結果。
8.根據(jù)權利要求7所述的基于多模式融合的腦機接ロ控制方法，其特征在于所述控制方法還包括一訓練步驟S0，所述訓練步驟SO在步驟SI前執(zhí)行，所述訓練步驟SO包括 S01，腦電刺激與反饋模塊中的聽覺反饋單元發(fā)出聲音刺激誘導受試者進行MI運動想象；同時，腦電刺激與反饋模塊中的SSVEP刺激單元發(fā)出視覺刺激誘發(fā)受試者的SSVEP穩(wěn)態(tài)視覺； S02，腦電信號采集模塊采集人腦的EEG腦電信號； S03，腦電信號處理模塊提取并識別分類所述EEG腦電信號中的SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征； S04，所述腦電刺激與反饋模塊判斷所述SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征分別對應的分類結果是否達到所述聲音刺激和視覺刺激預期的要求，若沒達到，則重新調(diào)整所述聽覺反饋單元發(fā)出的聲音刺激和所述SSVEP刺激單元發(fā)出的視覺刺激，返回步驟SOl ;否則執(zhí)行步驟SI。
9.根據(jù)權利要求7所述的基于多模式融合的腦機接ロ控制方法，其特征在于，所述步驟S2的具體實現(xiàn)過程為 將腦電帽戴在頭部； 設置在腦電帽上的電極采集EEG腦電信號； 放大器將所述EEG腦電信號放大輸出。
10.根據(jù)權利要求9所述的基于多模式融合的腦機接ロ控制方法，其特征在于所述步驟S3的具體實現(xiàn)過程為 腦電信號處理模塊中的數(shù)據(jù)獲取単元采用預設時間的滑動窗ロ對放大后的EEG腦電信號進行異步截取，得到単位時間內(nèi)的腦電數(shù)據(jù)； 腦電信號處理模塊中的預處理單元對所述腦電數(shù)據(jù)進行濾波； 腦電信號處理模塊中的CCA単元對濾波后的腦電數(shù)據(jù)進行CCA處理獲得SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征； 腦電信號處理模塊中的CSP単元對濾波后的腦電數(shù)據(jù)進行CSP處理獲得MI運動想象腦電特征； 腦電信號處理模塊中的SVM分類器分別對所述SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征進行分類，獲得SSVEP分類識別結果以及MI運動想象的分類識別結果。
11.根據(jù)權利要求10所述的基于多模式融合的腦機接ロ控制方法，其特征在于所述SVM分類器將MI運動想象腦電特征分為左手、右手、腳的運動想象三類；所述SVM分類器將SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征分為6Hz、7Hz、8Hz、9Hz、10Hz五類；且腦電處理模塊根據(jù)各種單模式的空閑狀態(tài)以并行方式融合，可獲取十五類控制命令，即十五種分類結果。
全文摘要
本發(fā)明提供一種基于多模式融合的腦機接口控制系統(tǒng)及方法，該系統(tǒng)包括用以誘發(fā)SSVEP穩(wěn)態(tài)視覺和誘導MI運動想象的腦電刺激與反饋模塊；用以采集EEG腦電信號的腦電信號采集模塊；用以提取并識別分類EEG腦電信號中的SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征的腦電信號處理模塊；腦電信號處理模塊還將SSVEP穩(wěn)態(tài)視覺誘發(fā)電位特征和MI運動想象腦電特征分別對應的分類結果反饋回腦電刺激與反饋模塊；用以執(zhí)行分類結果的執(zhí)行模塊。本發(fā)明構建了多模式融合的腦機接口，提高了控制系統(tǒng)的信息傳輸率、可靠性和靈活性，減少了單運動想象模式腦機接口下的低信息傳輸率，同時也減少了單SSVEP任務下的視覺負擔，提高了基于腦機接口的控制系統(tǒng)的適應人群。
文檔編號G06F3/01GK102866775SQ20121032458
公開日2013年1月9日 申請日期2012年9月4日 優(yōu)先權日2012年9月4日
發(fā)明者蔣昌俊, 李潔, 孫杳如, 季洪飛, 何良華, 曹磊, 徐卓, 沈劍銘, 王大明 申請人:同濟大學