欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

一種基于腦機(jī)接口的機(jī)械臂自主輔助系統(tǒng)及方法與流程

文檔序號(hào):11880062閱讀:來(lái)源:國(guó)知局

技術(shù)特征:

1.一種基于腦機(jī)接口的機(jī)械臂自主輔助系統(tǒng),其特征在于:所述系統(tǒng)按照感知層、決策層、執(zhí)行層三層結(jié)構(gòu)來(lái)搭建,感知層包括腦電采集與檢測(cè)模塊和視覺(jué)識(shí)別與定位模塊,所述腦電采集與檢測(cè)模塊用于采集腦電信號(hào),分析識(shí)別出用戶意圖,所述視覺(jué)識(shí)別與定位模塊用于根據(jù)用戶意圖,識(shí)別與定位出相應(yīng)的杯子及用戶嘴部的位置;執(zhí)行層包括機(jī)械臂控制模塊,所述機(jī)械臂控制模塊為在實(shí)際中對(duì)人進(jìn)行輔助操作的載體,根據(jù)從決策模塊接收來(lái)的執(zhí)行指令,對(duì)機(jī)械臂進(jìn)行軌跡規(guī)劃及控制;決策層包括決策模塊,所述決策模塊用于連接腦電采集與檢測(cè)模塊、視覺(jué)識(shí)別與定位模塊和機(jī)械臂控制模塊,實(shí)現(xiàn)腦電信號(hào)、定位位置及機(jī)械臂狀態(tài)數(shù)據(jù)的采集和傳輸,機(jī)械臂執(zhí)行指令的發(fā)送。

2.根據(jù)權(quán)利要求1所述的一種基于腦機(jī)接口的機(jī)械臂自主輔助系統(tǒng),其特征在于:所述腦電采集與檢測(cè)模塊包括腦電采集的電極帽、腦電采集儀和第一計(jì)算機(jī),其中使用電極帽中的“A1”、“T5”、“P3”、“PZ”、“P4”、“T6”、“O1”、“Oz”、“O2”、“A2”十個(gè)通道,放置的位置遵循國(guó)際標(biāo)準(zhǔn)10-20系統(tǒng);所述第一計(jì)算機(jī)用來(lái)實(shí)現(xiàn)P300信號(hào)的檢測(cè)和屏幕中功能鍵閃爍的視覺(jué)刺激,所述閃爍的視覺(jué)刺激的功能鍵按2*2行列形式規(guī)則分布于計(jì)算機(jī)屏幕中,包括“cup1”、“cup2”、“cup3”以及“back”功能鍵,并以200ms的時(shí)間間隔進(jìn)行隨機(jī)順序的黑、綠兩種顏色變化閃爍。

3.根據(jù)權(quán)利要求1所述的一種基于腦機(jī)接口的機(jī)械臂自主輔助系統(tǒng),其特征在于:所述視覺(jué)識(shí)別與定位模塊包括兩個(gè)Microsoft Kinect視覺(jué)傳感器和第二計(jì)算機(jī),所述兩個(gè)Microsoft Kinect視覺(jué)傳感器分別放置在所需抓取的杯子前和用戶面前,用于識(shí)別、定位所需抓取的杯子和用戶的嘴部;所述第二計(jì)算機(jī)用于實(shí)現(xiàn)杯子輪廓檢測(cè)算法、杯子定位算法、模板匹配識(shí)別算法以及嘴部識(shí)別定位算法。

4.根據(jù)權(quán)利要求1所述的一種基于腦機(jī)接口的機(jī)械臂自主輔助系統(tǒng),其特征在于:所述決策模塊是基于TCP通信協(xié)議,通過(guò)定義統(tǒng)一的傳輸數(shù)據(jù)變量,包括用戶的腦電意圖、杯子及嘴部的位置信息,架設(shè)客戶端與服務(wù)端服務(wù)代碼框架,實(shí)現(xiàn)腦電意圖、定位位置及機(jī)械臂狀態(tài)數(shù)據(jù)的采集和傳輸,機(jī)械臂執(zhí)行指令的發(fā)送。

5.根據(jù)權(quán)利要求1所述的一種基于腦機(jī)接口的機(jī)械臂自主輔助系統(tǒng),其特征在于:所述機(jī)械臂控制模塊,采用一個(gè)多自由度機(jī)械臂作為執(zhí)行機(jī)構(gòu)。

6.一種基于腦機(jī)接口的機(jī)械臂自主輔助方法,其特征在于:所述方法包括以下步驟:

1)用戶坐在第一計(jì)算機(jī)屏幕前,調(diào)整好位置,佩戴好腦電采集的電極帽,打開(kāi)腦電采集儀和第一計(jì)算機(jī),確認(rèn)信號(hào)采集狀態(tài)良好;

2)啟動(dòng)基于腦機(jī)接口的機(jī)械臂自主輔助系統(tǒng),確認(rèn)識(shí)別、定位用戶嘴部的MicrosoftKinect視覺(jué)傳感器能夠正確捕捉到用戶的嘴部,確認(rèn)所要抓取的三個(gè)預(yù)設(shè)的杯子被正確放在用于識(shí)別、定位所需抓取的杯子的Microsoft Kinect視覺(jué)傳感器的視野內(nèi);

3)第一計(jì)算機(jī)屏幕進(jìn)入閃爍的視覺(jué)刺激的功能鍵界面,該功能鍵界面包括“cup1”,“cup2”,“cup3”以及“back”四個(gè)功能鍵;

4)用戶注視“cup1”,“cup2”或者“cup3”三個(gè)功能鍵的其中一個(gè),即選擇出三個(gè)預(yù)設(shè)的杯子中的其中一個(gè),一旦功能鍵被選定,將得出用戶關(guān)于杯子選擇的腦電意圖,并發(fā)送到視覺(jué)識(shí)別與定位模塊和決策模塊;

5)視覺(jué)識(shí)別與定位模塊根據(jù)步驟4)中的腦電意圖,識(shí)別與定位出相應(yīng)杯子的位置與用戶的嘴部的位置,并利用TCP通信協(xié)議,將用戶所選杯子及用戶嘴部的位置信息,發(fā)送到?jīng)Q策模塊;

6)決策模塊根據(jù)步驟5)中獲得的杯子及用戶嘴部的位置信息和步驟4)中獲得的腦電意圖,生成相應(yīng)的機(jī)械臂執(zhí)行指令并發(fā)送給機(jī)械臂控制模塊;

7)機(jī)械臂控制模塊根據(jù)機(jī)械臂執(zhí)行指令,進(jìn)行軌跡規(guī)劃,并按照所規(guī)劃的軌跡,控制機(jī)械臂抓取用戶所選杯子及將杯子傳送到用戶的嘴邊;

8)喝水結(jié)束后,用戶注視“back”功能鍵,一旦功能鍵被選定,將得出用戶關(guān)于送返杯子的腦電意圖并發(fā)送到?jīng)Q策模塊;

9)決策模塊,根據(jù)步驟8)中獲得的送返杯子的腦電意圖,生成相應(yīng)的機(jī)械臂執(zhí)行指令并發(fā)送給機(jī)械臂控制模塊;

10)機(jī)械臂控制模塊根據(jù)機(jī)械臂執(zhí)行指令,進(jìn)行軌跡規(guī)劃,并按照所規(guī)劃的軌跡,控制機(jī)械臂將用戶所選杯子放回原來(lái)位置并恢復(fù)到機(jī)械臂初始位置狀態(tài),實(shí)現(xiàn)機(jī)械臂自主輔助用戶喝水功能。

7.根據(jù)權(quán)利要求6所述的一種基于腦機(jī)接口的機(jī)械臂自主輔助方法,其特征在于:所述步驟4)和步驟8)中功能鍵的選定具體通過(guò)以下過(guò)程實(shí)現(xiàn):用戶注視第一計(jì)算機(jī)的功能鍵界面中的某個(gè)功能鍵,腦電信號(hào)通過(guò)電極帽和腦電采集儀進(jìn)行采集、放大、濾波、模數(shù)轉(zhuǎn)換處理后,再將數(shù)據(jù)傳輸給第一計(jì)算機(jī)進(jìn)行P300信號(hào)檢測(cè),然后實(shí)現(xiàn)某個(gè)功能鍵的選定,所述P300信號(hào)檢測(cè)具體通過(guò)以下步驟實(shí)現(xiàn):

(一)、將EEG信號(hào)經(jīng)過(guò)0.1~20Hz的帶通濾波去噪處理;

(二)、以EEG信號(hào)幅值作為特征,截取P300功能鍵閃爍后的600ms時(shí)間窗的數(shù)據(jù),并采用貝葉斯模型進(jìn)行狀態(tài)分類(lèi),從而實(shí)現(xiàn)P300信號(hào)檢測(cè)。

8.根據(jù)權(quán)利要求6所述的一種基于腦機(jī)接口的機(jī)械臂自主輔助方法,其特征在于:步驟5)中,所述識(shí)別與定位相應(yīng)杯子的位置具體通過(guò)以下步驟實(shí)現(xiàn):

(1)、通過(guò)區(qū)域生長(zhǎng)算法,在Microsoft Kinect視覺(jué)傳感器的三維點(diǎn)云中,提取出杯子所擺放在的水平面;

(2)、去除步驟(1)提取的水平面,對(duì)剩下的三維點(diǎn)云進(jìn)行物體的提取和分割;

(3)、選用模板匹配算法,將步驟(2)中獲得的各物體點(diǎn)云集合對(duì)應(yīng)的彩色圖像與庫(kù)中預(yù)設(shè)圖像分別進(jìn)行匹配,識(shí)別出用戶所選杯子對(duì)應(yīng)的點(diǎn)云集合;

(4)、將步驟(3)中獲得的所選杯子對(duì)應(yīng)的點(diǎn)云集合進(jìn)行均值計(jì)算,實(shí)現(xiàn)杯子在Microsoft Kinect視覺(jué)傳感器坐標(biāo)系中的定位,并轉(zhuǎn)換到機(jī)械臂坐標(biāo)系上。

9.根據(jù)權(quán)利要求6所述的一種基于腦機(jī)接口的機(jī)械臂自主輔助方法,其特征在于:步驟5)中,所述識(shí)別與定位用戶的嘴部的位置,具體通過(guò)以下步驟實(shí)現(xiàn):運(yùn)用Microsoft Kinect視覺(jué)傳感器本身所提供的軟件開(kāi)發(fā)工具包進(jìn)行人體檢測(cè),獲取用戶嘴部在Microsoft Kinect視覺(jué)傳感器坐標(biāo)系中的坐標(biāo)位置,并轉(zhuǎn)換到機(jī)械臂坐標(biāo)系上。

10.根據(jù)權(quán)利要求6所述的一種基于腦機(jī)接口的機(jī)械臂自主輔助方法,其特征在于:步驟7)和步驟10)中,所述機(jī)械臂軌跡規(guī)劃及控制,具體通過(guò)以下過(guò)程實(shí)現(xiàn):將預(yù)設(shè)的關(guān)鍵軌跡點(diǎn)與用戶嘴部及所選杯子在機(jī)械臂坐標(biāo)系上的坐標(biāo)點(diǎn)相結(jié)合,規(guī)劃出機(jī)械臂運(yùn)行軌跡,通過(guò)調(diào)用機(jī)械臂相應(yīng)的API,控制機(jī)械臂按所規(guī)劃軌跡運(yùn)行,實(shí)現(xiàn)機(jī)械臂自主輔助用戶喝水功能。

當(dāng)前第2頁(yè)1 2 3 
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
长乐市| 佛冈县| 股票| 乐山市| 海丰县| 商都县| 婺源县| 广西| 淮安市| 阳春市| 舞阳县| 浮山县| 洮南市| 福建省| 子洲县| 库伦旗| 仁寿县| 宁津县| 绥芬河市| 北票市| 巴青县| 灌南县| 新建县| 弥渡县| 孟连| 行唐县| 察哈| 手游| 哈密市| 荆州市| 滕州市| 绥中县| 青州市| 勐海县| 石门县| 昂仁县| 修武县| 万荣县| 曲周县| 东莞市| 乌苏市|