本發(fā)明涉及腦機接口應用研究領域，具體涉及一種基于腦機接口的機械臂自主輔助系統(tǒng)及方法。

背景技術：

世界上有許多嚴重癱瘓的病人，他們只能通過他人的幫助來完成一些日常生活所必需的活動，如喝水等。隨著人工智能和機器人技術的不斷發(fā)展，越來越多的研究成果被應用于輔助此類人群，以便改善他們的生活質量，其中，腦機接口(Brain Computer Interface，BCI)領域作為神經工程領域的一個分支，其發(fā)展迅速，前景廣泛，激起了人們對腦機接口領域研究熱潮。

腦機接口(BCI)是一種全新的人-機交互技術，它能夠不通過常規(guī)大腦輸出通路(外周神經和肌肉組織)而直接實現(xiàn)人腦與計算機之間的通信，為癱瘓病人提供了一種與外界進行信息交流和控制的新途徑，BCI系統(tǒng)可分為侵入式和非侵入式，侵入式系統(tǒng)將會把電極植入到腦殼內，非侵入式系統(tǒng)則只采集頭皮腦電信號。由于非侵入式腦機接口無需做手術，相比于侵入式更加安全簡單，而且隨著信號處理方法和技術的不斷進步，對頭皮腦電(electroencephalogram，EEG)的處理已經能夠達到一定的水平，使腦機接口進入實際生活應用成為可能，本發(fā)明所采用的是非侵入式腦機接口技術。

目前，也有部分已有研究試圖將腦機接口技術和機器人技術相結合，公開號為CN102198660A，發(fā)明名稱為《基于腦-機接口的機械手臂控制系統(tǒng)及動作命令控制方案》的中國專利申請，基于運動想象的腦機接口實現(xiàn)了機械臂上、下、左、右、前、后和手指的抓與放等八個指令的控制；公開號為CN102309365A，發(fā)明名稱為《一種可穿戴的腦控智能假肢》的中國專利申請，實現(xiàn)了腦電檢測識別的穿戴式檢測與計算，并結合智能感知技術對假肢實現(xiàn)了精密自適應的智能控制，提高了假肢動作的效率與精度，較理想的實現(xiàn)人手功能；公開號為CN105425963A，發(fā)明名稱為《一種腦電波控制機械臂的系統(tǒng)》的中國發(fā)明專利利用腦電波信號獲取注意力及放松度參數(shù)，來完成預設的機械臂動作。

以上所述發(fā)明專利，都只通過腦電信號完成一些簡單的甚至是預設的機械臂動作控制，沒有充分地發(fā)揮出腦機接口與機械臂自主控制技術相結合的特點及優(yōu)勢，基于腦機接口的機械臂自主輔助系統(tǒng)及方法，能夠綜合腦機接口與機械臂兩者的優(yōu)勢，更好的利用腦機接口改善癱瘓病人的生活質量，提高他們自主生活的能力。

技術實現(xiàn)要素：

本發(fā)明的目的是針對上述現(xiàn)有技術的不足，提供了一種基于腦機接口的機械臂自主輔助系統(tǒng)。

本發(fā)明的另一目的在于提供一種基于腦機接口的機械臂自主輔助方法。

本發(fā)明的目的可以通過如下技術方案實現(xiàn)：

一種基于腦機接口的機械臂自主輔助系統(tǒng)，該系統(tǒng)按照感知層、決策層、執(zhí)行層三層結構來搭建，感知層包括腦電采集與檢測模塊和視覺識別與定位模塊，所述腦電采集與檢測模塊用于采集腦電信號，分析識別出用戶意圖，所述視覺識別與定位模塊用于根據(jù)用戶意圖，識別與定位出相應的杯子及用戶嘴部的位置；執(zhí)行層包括機械臂控制模塊，所述機械臂控制模塊為在實際中對人進行輔助操作的載體，根據(jù)從決策模塊接收來的執(zhí)行指令，對機械臂進行軌跡規(guī)劃及控制；決策層包括決策模塊，所述決策模塊用于連接腦電采集與檢測模塊、視覺識別與定位模塊和機械臂控制模塊，實現(xiàn)腦電信號、定位位置及機械臂狀態(tài)等數(shù)據(jù)的采集和傳輸，機械臂執(zhí)行指令的發(fā)送。

優(yōu)選的，所述腦電采集與檢測模塊包括腦電采集的電極帽、腦電采集儀和第一計算機，其中使用電極帽中的“A1”、“T5”、“P3”、“PZ”、“P4”、“T6”、“O1”、“Oz”、“O2”、“A2”十個通道，放置的位置遵循國際標準10-20系統(tǒng)；所述第一計算機用來實現(xiàn)P300信號的檢測和屏幕中功能鍵閃爍的視覺刺激，所述閃爍的視覺刺激的功能鍵按2*2行列形式規(guī)則分布于計算機屏幕中，包括“cup1”、“cup2”、“cup3”以及“back”功能鍵，并以200ms的時間間隔進行隨機順序的黑、綠兩種顏色變化閃爍。

優(yōu)選的，所述視覺識別與定位模塊包括兩個Microsoft Kinect視覺傳感器和第二計算機，所述兩個Microsoft Kinect視覺傳感器分別放置在所需抓取的杯子前和用戶面前，用于識別、定位所需抓取的杯子和用戶的嘴部；所述第二計算機用于實現(xiàn)杯子輪廓檢測算法、杯子定位算法、模板匹配識別算法以及嘴部識別定位算法。

優(yōu)選的，所述決策模塊是基于TCP通信協(xié)議，通過定義統(tǒng)一的傳輸數(shù)據(jù)變量，包括用戶的腦電意圖、杯子及嘴部的位置信息，架設客戶端與服務端服務代碼框架，實現(xiàn)腦電意圖、定位位置及機械臂狀態(tài)數(shù)據(jù)的采集和傳輸，機械臂執(zhí)行指令的發(fā)送。

優(yōu)選的，所述機械臂控制模塊采用一個多自由度機械臂作為執(zhí)行機構。

本發(fā)明的另一目的可以通過如下技術方案實現(xiàn)：

一種基于腦機接口的機械臂自主輔助方法，所述方法包括以下步驟：

1)用戶坐在第一計算機屏幕前，調整好位置，佩戴好腦電采集的電極帽，打開腦電采集儀和第一計算機，確認信號采集狀態(tài)良好；

2)啟動基于腦機接口的機械臂自主輔助系統(tǒng)，確認識別、定位用戶嘴部的Microsoft Kinect視覺傳感器能夠正確捕捉到用戶的嘴部，確認所要抓取的三個預設的杯子被正確放在用于識別、定位所需抓取的杯子的Microsoft Kinect視覺傳感器的視野內；

3)第一計算機屏幕進入閃爍的視覺刺激的功能鍵界面，該功能鍵界面包括“cup1”，“cup2”，“cup3”以及“back”四個功能鍵；

4)用戶注視“cup1”，“cup2”或者“cup3”三個功能鍵的其中一個，即選擇出三個預設的杯子中的其中一個，一旦功能鍵被選定，將得出用戶關于杯子選擇的腦電意圖，并發(fā)送到視覺識別與定位模塊和決策模塊；

5)視覺識別與定位模塊根據(jù)步驟4)中的腦電意圖，識別與定位出相應杯子的位置與用戶的嘴部的位置，并利用TCP通信協(xié)議，將用戶所選杯子及用戶嘴部的位置信息，發(fā)送到決策模塊；

6)決策模塊根據(jù)步驟5)中獲得的杯子及用戶嘴部的位置信息和步驟4)中獲得的腦電意圖，生成相應的機械臂執(zhí)行指令并發(fā)送給機械臂控制模塊；

7)機械臂控制模塊根據(jù)機械臂執(zhí)行指令，進行軌跡規(guī)劃，并按照所規(guī)劃的軌跡，控制機械臂抓取用戶所選杯子及將杯子傳送到用戶的嘴邊；

8)喝水結束后，用戶注視“back”功能鍵，一旦功能鍵被選定，將得出用戶關于送返杯子的腦電意圖并發(fā)送到決策模塊；

9)決策模塊，根據(jù)步驟8)中獲得的送返杯子的腦電意圖，生成相應的機械臂執(zhí)行指令并發(fā)送給機械臂控制模塊；

10)機械臂控制模塊根據(jù)機械臂執(zhí)行指令，進行軌跡規(guī)劃，并按照所規(guī)劃的軌跡，控制機械臂將用戶所選杯子放回原來位置并恢復到機械臂初始位置狀態(tài)，實現(xiàn)機械臂自主輔助用戶喝水功能。

優(yōu)選的，所述步驟4)和步驟8)中功能鍵的選定具體通過以下過程實現(xiàn)：用戶注視第一計算機的功能鍵界面中的某個功能鍵，腦電信號通過電極帽和腦電采集儀進行采集、放大、濾波、模數(shù)轉換處理后，再將數(shù)據(jù)傳輸給第一計算機進行P300信號檢測，然后實現(xiàn)某個功能鍵的選定，所述P300信號檢測具體通過以下步驟實現(xiàn)：

(一)、將EEG信號經過0.1～20Hz的帶通濾波去噪處理；

(二)、以EEG信號幅值作為特征，截取P300功能鍵閃爍后的600ms時間窗的數(shù)據(jù)，并采用貝葉斯模型進行狀態(tài)分類，從而實現(xiàn)P300信號檢測。

優(yōu)選的，步驟5)中，所述識別與定位相應杯子的位置具體通過以下步驟實現(xiàn)：

(1)、通過區(qū)域生長算法，在Microsoft Kinect視覺傳感器的三維點云中，提取出杯子所擺放在的水平面；

(2)、去除步驟(1)提取的水平面，對剩下的三維點云進行物體的提取和分割；

(3)、選用模板匹配算法，將步驟(2)中獲得的各物體點云集合對應的彩色圖像與庫中預設圖像分別進行匹配，識別出用戶所選杯子對應的點云集合；

(4)、將步驟(3)中獲得的所選杯子對應的點云集合進行均值計算，實現(xiàn)杯子在Microsoft Kinect視覺傳感器坐標系中的定位，并轉換到機械臂坐標系上。

優(yōu)選的，步驟5)中，所述識別與定位用戶的嘴部的位置，具體通過以下步驟實現(xiàn)：運用Microsoft Kinect視覺傳感器本身所提供的軟件開發(fā)工具包進行人體檢測，獲取用戶嘴部在Microsoft Kinect視覺傳感器坐標系中的坐標位置，并轉換到機械臂坐標系上。

優(yōu)選的，步驟7)和步驟10)中，所述機械臂軌跡規(guī)劃及控制，具體通過以下過程實現(xiàn)：將預設的關鍵軌跡點與用戶嘴部及所選杯子在機械臂坐標系上的坐標點相結合，規(guī)劃出機械臂運行軌跡，通過調用機械臂相應的API，控制機械臂按所規(guī)劃軌跡運行，實現(xiàn)機械臂自主輔助用戶喝水功能。

本發(fā)明與現(xiàn)有技術相比，具有如下優(yōu)點和有益效果：

1、本發(fā)明基于P300的腦機接口技術與自主控制決策功能的機械臂輔助技術相結合，只需用戶提供腦電意圖，剩下的機械臂動作控制為系統(tǒng)自動規(guī)劃控制完成，對用戶產生的負擔較小，便于應用。

2、本發(fā)明將視覺識別與定位技術、腦機接口和機械臂相結合，實現(xiàn)用戶所選飲料可以在一定范圍內任意放置的效果。

3、本發(fā)明將視覺識別與定位技術、腦機接口和機械臂相結合，綜合發(fā)揮三者的優(yōu)勢；用戶可以通過使用本發(fā)明系統(tǒng)中的腦機接口，對所喝飲料進行自主選擇；再通過發(fā)明系統(tǒng)中的機械臂與視覺識別與定位技術，對用戶所選飲料進行定位識別及抓取并送到用戶嘴邊，為癱瘓病人提供自主喝水的便利，改善癱瘓病人的生活質量，提高他們自主生活的能力。

附圖說明

圖1為本發(fā)明的基于腦機接口的機械臂自主輔助系統(tǒng)的結構框圖。

圖2為本發(fā)明的基于腦機接口的機械臂自主輔助系統(tǒng)的流程圖。

圖3為本發(fā)明的識別與定位相應杯子位置的流程圖。

圖4為本發(fā)明的機械臂軌跡規(guī)劃及控制的示意圖。

具體實施方式

下面結合實施例及附圖對本發(fā)明作進一步詳細的描述，但本發(fā)明的實施方式不限于此。

實施例1：

如圖1所示，本實施例提供了一種基于腦機接口的機械臂自主輔助系統(tǒng)，該系統(tǒng)按照感知層、決策層、執(zhí)行層三層結構來搭建，感知層包括腦電采集與檢測模塊和視覺識別與定位模塊，所述腦電采集與檢測模塊用于采集腦電信號，分析識別出用戶意圖，所述視覺識別與定位模塊用于根據(jù)用戶意圖，識別與定位出相應的杯子及用戶嘴部的位置；執(zhí)行層包括機械臂控制模塊，所述機械臂控制模塊為在實際中對人進行輔助操作的載體，根據(jù)從決策模塊接收來的執(zhí)行指令，對機械臂進行軌跡規(guī)劃及控制；決策層包括決策模塊，所述決策模塊用于連接腦電采集與檢測模塊、視覺識別與定位模塊和機械臂控制模塊，實現(xiàn)腦電信號、定位位置及機械臂狀態(tài)等數(shù)據(jù)的采集和傳輸，機械臂執(zhí)行指令的發(fā)送。

其中，所述腦電采集與檢測模塊包括腦電采集的電極帽、腦電采集儀和第一計算機，其中使用電極帽中的“A1”、“T5”、“P3”、“PZ”、“P4”、“T6”、“O1”、“Oz”、“O2”、“A2”十個通道，放置的位置遵循國際標準10-20系統(tǒng)；所述第一計算機用來實現(xiàn)P300信號的檢測和屏幕中功能鍵閃爍的視覺刺激，所述閃爍的視覺刺激的功能鍵按2*2行列形式規(guī)則分布于計算機屏幕中，包括“cup1”、“cup2”、“cup3”以及“back”功能鍵，并以200ms的時間間隔進行隨機順序的黑、綠兩種顏色變化閃爍。

其中，所述視覺識別與定位模塊包括兩個Microsoft Kinect視覺傳感器和第二計算機，所述兩個Microsoft Kinect視覺傳感器分別放置在所需抓取的杯子前和用戶面前，用于識別、定位所需抓取的杯子和用戶的嘴部；所述第二計算機用于實現(xiàn)杯子輪廓檢測算法、杯子定位算法、模板匹配識別算法以及嘴部識別定位算法。

其中，所述決策模塊是基于TCP通信協(xié)議，通過定義統(tǒng)一的傳輸數(shù)據(jù)變量，包括用戶的腦電意圖、杯子及嘴部的位置信息，架設客戶端與服務端服務代碼框架，實現(xiàn)腦電意圖、定位位置及機械臂狀態(tài)數(shù)據(jù)的采集和傳輸，機械臂執(zhí)行指令的發(fā)送。

其中，所述機械臂控制模塊采用一個多自由度機械臂作為執(zhí)行機構。

實施例2：

本實施例提供了一種基于腦機接口的機械臂自主輔助方法，如圖2所示，該方法包括以下步驟：

1)用戶坐在第一計算機屏幕前，調整好位置，佩戴好腦電采集的電極帽，打開腦電采集儀和第一計算機，確認信號采集狀態(tài)良好；

2)啟動基于腦機接口的機械臂自主輔助系統(tǒng)，確認識別、定位用戶嘴部的Microsoft Kinect視覺傳感器能夠正確捕捉到用戶的嘴部，確認所要抓取的三個預設的杯子被正確放在用于識別、定位所需抓取的杯子的Microsoft Kinect視覺傳感器的視野內；

3)第一計算機屏幕進入閃爍的視覺刺激的功能鍵界面，該功能鍵界面包括“cup1”，“cup2”，“cup3”以及“back”四個功能鍵；

4)用戶注視“cup1”，“cup2”或者“cup3”三個功能鍵的其中一個，即選擇出三個預設的杯子中的其中一個，一旦功能鍵被選定，將得出用戶關于杯子選擇的腦電意圖，并發(fā)送到視覺識別與定位模塊和決策模塊；

5)視覺識別與定位模塊根據(jù)步驟4)中的腦電意圖，識別與定位出相應杯子的位置與用戶的嘴部的位置，并利用TCP通信協(xié)議，將用戶所選杯子及用戶嘴部的位置信息，發(fā)送到決策模塊；

6)決策模塊根據(jù)步驟5)中獲得的杯子及用戶嘴部的位置信息和步驟4)中獲得的腦電意圖，生成相應的機械臂執(zhí)行指令并發(fā)送給機械臂控制模塊；

7)機械臂控制模塊根據(jù)機械臂執(zhí)行指令，進行軌跡規(guī)劃，并按照所規(guī)劃的軌跡，控制機械臂抓取用戶所選杯子及將杯子傳送到用戶的嘴邊；

8)喝水結束后，用戶注視“back”功能鍵，一旦功能鍵被選定，將得出用戶關于送返杯子的腦電意圖并發(fā)送到決策模塊；

9)決策模塊，根據(jù)步驟8)中獲得的送返杯子的腦電意圖，生成相應的機械臂執(zhí)行指令并發(fā)送給機械臂控制模塊；

10)機械臂控制模塊根據(jù)機械臂執(zhí)行指令，進行軌跡規(guī)劃，并按照所規(guī)劃的軌跡，控制機械臂將用戶所選杯子放回原來位置并恢復到機械臂初始位置狀態(tài)，實現(xiàn)機械臂自主輔助用戶喝水功能。

其中，所述步驟4)和步驟8)中功能鍵的選定具體通過以下過程實現(xiàn)：用戶注視第一計算機的功能鍵界面中的某個功能鍵，腦電信號通過電極帽和腦電采集儀進行采集、放大、濾波、模數(shù)轉換處理后，再將數(shù)據(jù)傳輸給第一計算機進行P300信號檢測，然后實現(xiàn)某個功能鍵的選定，所述P300信號檢測具體通過以下步驟實現(xiàn)：

(一)、將EEG信號經過0.1～20Hz的帶通濾波去噪處理；

(二)、以EEG信號幅值作為特征，截取P300功能鍵閃爍后的600ms時間窗的數(shù)據(jù)，并采用貝葉斯模型進行狀態(tài)分類，從而實現(xiàn)P300信號檢測。

其中，步驟5)中，如圖3所示，所述識別與定位相應杯子的位置具體通過以下步驟實現(xiàn)：

(1)、通過區(qū)域生長算法，在Microsoft Kinect視覺傳感器的三維點云中，提取出杯子所擺放在的水平面；

(2)、去除步驟(1)提取的水平面，對剩下的三維點云進行物體的提取和分割；

(3)、選用模板匹配算法，將步驟(2)中獲得的各物體點云集合對應的彩色圖像與庫中預設圖像分別進行匹配，識別出用戶所選杯子對應的點云集合；

(4)、將步驟(3)中獲得的所選杯子對應的點云集合進行均值計算，實現(xiàn)杯子在Microsoft Kinect視覺傳感器坐標系中的定位，并轉換到機械臂坐標系上。

其中，步驟5)中，所述識別與定位用戶的嘴部的位置，具體通過以下步驟實現(xiàn)：運用Microsoft Kinect視覺傳感器本身所提供的軟件開發(fā)工具包進行人體檢測，獲取用戶嘴部在Microsoft Kinect視覺傳感器坐標系中的坐標位置，并轉換到機械臂坐標系上。

其中，步驟7)和步驟10)中，如圖4所示，所述機械臂軌跡規(guī)劃及控制，具體通過以下過程實現(xiàn)：將預設的關鍵軌跡點與用戶嘴部及所選杯子在機械臂坐標系上的坐標點相結合，規(guī)劃出機械臂運行軌跡，通過調用機械臂相應的API，控制機械臂按所規(guī)劃軌跡運行，實現(xiàn)機械臂自主輔助用戶喝水功能。

以上所述，僅為本發(fā)明專利較佳的實施例，但本發(fā)明專利的保護范圍并不局限于此，任何熟悉本技術領域的技術人員在本發(fā)明專利所公開的范圍內，根據(jù)本發(fā)明專利的技術方案及其發(fā)明專利構思加以等同替換或改變，都屬于本發(fā)明專利的保護范圍。