本發(fā)明屬于腦機接口與眼控相結(jié)合的應用，具體涉及一種腦眼混合驅(qū)動的家電控制方法。

背景技術：

腦機接口(braincomputerinterface，bci)的目的是建立一種能夠不依賴于人體肌肉的交流和控制通路，通過這一通路可以達到利用人腦控制外部環(huán)境的目的。盡管腦機接口技術在不斷地發(fā)展，但是腦機接口在信息傳輸率和識別準確率方面，還存在較為嚴峻的問題；在此情況下，為了擴展它的適用性，我們有必要引入其他的接口來實現(xiàn)復雜的控制命令。另一方面，基于眼動跟蹤的控制接口已經(jīng)取得較為良好的發(fā)展；眼動的輸入要求不需要經(jīng)過強化訓練，且操作迅速。然而，大多眼動控制在選擇操作時依賴于注視點的停滯時間，出于各種任務的復雜性，我們很難設置最優(yōu)停滯時間。結(jié)合腦機接口和眼動控制可以更為有效地完成搜索與選擇結(jié)合的復雜任務。

技術實現(xiàn)要素：

本發(fā)明的目的在于提供一種腦眼混合驅(qū)動的家電控制方法，該方法實現(xiàn)了用戶通過系統(tǒng)對腦電和眼動信號的檢測選擇所需電器并對其進行相應控制。

為實現(xiàn)上述目的，本發(fā)明的技術方案是，一種腦眼混合驅(qū)動的家電控制方法，包括如下步驟：

s1：實現(xiàn)腦眼混合驅(qū)動家電控制方法的系統(tǒng)與腦電和眼動裝置相連接，初始時處于啟動狀態(tài)，初始時處于啟動狀態(tài)，系統(tǒng)的屏幕上顯示注視焦點與提示；用戶集中注意力注視屏幕上的注視焦點；所述系統(tǒng)獲取眼動裝置傳來的注視位置，通過腦電裝置采集腦電信號，并通過腦電信號判斷用戶是否集中注意力；若用戶注視位置處于注視焦點范圍內(nèi)并且用戶處于集中注意力的狀態(tài)，則所述系統(tǒng)的狀態(tài)切換為電器選擇狀態(tài)，進入步驟s2；

s2：所述系統(tǒng)處于電器選擇狀態(tài)，屏幕上顯示可選的電器；用戶若需控制電器，可集中注意力注視該電器；所述系統(tǒng)獲取眼動裝置傳來的注視位置，并通過腦電信號判斷用戶是否集中注意力；若用戶正處于集中注意力的狀態(tài)并且注視位置在某個電器范圍內(nèi)，則系統(tǒng)的狀態(tài)切換到按鍵選擇狀態(tài)，屏幕顯示該電器的各個功能鍵，進入步驟s3；若在預設時間段內(nèi)沒有檢測到用戶集中注意力，所述系統(tǒng)的狀態(tài)切換為啟動狀態(tài)，返回步驟s1；

s3：所述系統(tǒng)處于按鍵選擇狀態(tài)，屏幕顯示“回退鍵”和其他電器功能按鍵；用戶若需控制該電器或回退到電器選擇狀態(tài)重新選擇電器，可集中注意力注視相應的鍵；所述系統(tǒng)獲取眼動裝置傳來的注視位置，并通過腦電信號判斷用戶是否集中注意力；若用戶正處于集中注意力的狀態(tài)并且注視位置在“回退鍵”的范圍內(nèi)，則系統(tǒng)的狀態(tài)切換為電器選擇狀態(tài)，進入步驟s2；若用戶正處于集中注意力的狀態(tài)并且注視位置在在其中一個功能鍵的范圍內(nèi)，則所述系統(tǒng)向該電器發(fā)出相應的控制命令，所述系統(tǒng)的狀態(tài)保持不變，繼續(xù)執(zhí)行步驟s3；若在預設時間段內(nèi)沒有檢測到用戶集中注意力，則所述系統(tǒng)狀態(tài)切換為啟動狀態(tài)，返回步驟s1。

在本發(fā)明一實施例中，所述注意力檢測的方法，包括以下步驟：

s21：令y＝px，其中，x∈r^n×t表示時間長度為t的n個導聯(lián)上的腦電信號，p∈r^m×n為一變換矩陣，其作用是把腦電信號映射到一個空間上，y∈r^m×t保存腦電信號變換后的結(jié)果；

s22：令其中表示將矩陣轉(zhuǎn)化為一個特征向量；

s23：令r＝f(y)，其中f為分類函數(shù)，對y進行計算，輸出+1或-1給r；當r為+1時，認定當前處于集中注意力的狀態(tài)，否則，認定當前的注意力并不集中。

在本發(fā)明一實施例中，所述變換矩陣p的求取方法，包括以下步驟：

把每個時刻在不同導聯(lián)上的腦電采樣數(shù)據(jù)視為一個向量，把實驗采集到腦電信號分成注意力集中和不集中兩組向量，分別求這兩組向量的協(xié)方差矩陣，將兩個協(xié)方差矩陣相加得到合成協(xié)方差矩陣，對該合成協(xié)方差矩陣進行特征值分解得到它的所有特征向量，由合成協(xié)方差矩陣的所有特征向量構(gòu)成白化矩陣，兩個協(xié)方差矩陣經(jīng)白化變換后擁有相同的特征向量，這些特征向量構(gòu)成的矩陣與白化矩陣相乘得到p。

在本發(fā)明一實施例中，所述包括以下步驟：

將矩陣y的每一行視為一個自回歸隨機過程，運用burg算法求取該自回歸隨機過程的各個參數(shù)，進一步運用自回歸功率譜密度的方法計算8-20hz范圍內(nèi)若干頻點的能量，各頻點的能量拼接為一個向量；y的每一行對應一個這樣的向量，將各向量拼接為向量y。

在本發(fā)明一實施例中，所述的r＝f(y)，求取f的方法包括以下步驟：

在用戶使用實現(xiàn)該方法系統(tǒng)之前，讓用戶參加控制注意力狀態(tài)的訓練；在用戶適應之后，分別采集用戶處于集中注意力狀態(tài)和注意力不集中狀態(tài)的腦電數(shù)據(jù)，每個數(shù)據(jù)都是一個矩陣x∈r^n×t；經(jīng)步驟s21和s22的處理后，每個數(shù)據(jù)對應一個向量y；依據(jù)集中注意力和注意力不集中兩種狀態(tài)，把向量分別標記為正例和負例構(gòu)成訓練集；采用支持向量機的方法訓練分類器得到f。

在本發(fā)明一實施例中，所述x∈r^n×t和p∈r^m×n中的n,t,m的確定方法，包括以下步驟：

n由腦電裝置的導聯(lián)數(shù)確定，通常為16、32或64；t代表的時間長度為1秒，采樣點數(shù)由采樣率確定，通常采樣率為250hz，t為250；m在求取矩陣p的過程中確定，m＜n是m的取值范圍；

在本發(fā)明一實施例中，所述計算8-20hz范圍內(nèi)若干頻點的能量中，若干頻點的確定方法包括以下步驟：

在8-20hz范圍內(nèi)每隔1hz取一個頻點，在每個頻點上從用戶的訓練集中計算出對應著注意力集中和不集中兩種狀態(tài)的兩組數(shù)據(jù)，用統(tǒng)計檢驗的方法判別兩組數(shù)據(jù)是否存在顯著差異；對于存在顯著差異的頻點，用均值差異進行排序，選取均值差異較大的頻點。

相較于現(xiàn)有技術，本發(fā)明具有以下有益效果：本發(fā)明提供的方法使得用戶能夠直接利用大腦和眼睛實現(xiàn)對家電設備的控制。

附圖說明

圖1為本發(fā)明方法的狀態(tài)圖。

圖2為本發(fā)明實施例在啟動狀態(tài)下的示意圖。

圖3為本發(fā)明實施例在電器選擇狀態(tài)下的示意圖。

圖4為本發(fā)明實施例在按鍵選擇狀態(tài)下(空調(diào))的示意圖。

具體實施方式

下面結(jié)合附圖，對本發(fā)明的技術方案進行具體說明。

本發(fā)明的一種腦眼混合驅(qū)動的家電控制方法，包括如下步驟，

s1：實現(xiàn)腦眼混合驅(qū)動家電控制方法的系統(tǒng)與腦電和眼動裝置相連接，初始時處于啟動狀態(tài)，初始時系統(tǒng)處于啟動狀態(tài)，系統(tǒng)的屏幕上顯示注視焦點與提示；用戶集中注意力注視屏幕上的注視焦點；所述系統(tǒng)獲取眼動裝置傳來的注視位置，通過腦電裝置采集腦電信號，并通過腦電信號判斷用戶是否集中注意力；若用戶注視位置處于注視焦點范圍內(nèi)并且用戶處于集中注意力的狀態(tài)，則所述系統(tǒng)的狀態(tài)切換為電器選擇狀態(tài)，進入步驟s2；

s2：所述系統(tǒng)處于電器選擇狀態(tài)，屏幕上顯示可選的電器；用戶若需控制電器，可集中注意力注視該電器；所述系統(tǒng)獲取眼動裝置傳來的注視位置，并通過腦電信號判斷用戶是否集中注意力；若用戶正處于集中注意力的狀態(tài)并且注視位置在某個電器范圍內(nèi)，則所述系統(tǒng)的狀態(tài)切換到按鍵選擇狀態(tài)，屏幕顯示該電器的各個功能鍵，進入步驟s3；若在預設時間段內(nèi)沒有檢測到用戶集中注意力，所述系統(tǒng)的狀態(tài)切換為啟動狀態(tài)，返回步驟s1；

s3：所述系統(tǒng)處于按鍵選擇狀態(tài)，屏幕顯示“回退鍵”和其他電器功能按鍵；用戶若需控制該電器或回退到電器選擇狀態(tài)重新選擇電器，可集中注意力注視相應的鍵；所述系統(tǒng)獲取眼動裝置傳來的注視位置，并通過腦電信號判斷用戶是否集中注意力；若用戶正處于集中注意力的狀態(tài)并且注視位置在“回退鍵”的范圍內(nèi)，則所述系統(tǒng)的狀態(tài)切換為電器選擇狀態(tài)，進入步驟s2；若用戶正處于集中注意力的狀態(tài)并且注視位置在在其中一個功能鍵的范圍內(nèi)，則所述系統(tǒng)向該電器發(fā)出相應的控制命令，所述系統(tǒng)的狀態(tài)保持不變，繼續(xù)執(zhí)行步驟s3；若在預設時間段內(nèi)沒有檢測到用戶集中注意力，則所述系統(tǒng)狀態(tài)切換為啟動狀態(tài)，返回步驟s1。

本發(fā)明中，所述注意力檢測的方法，包括以下步驟：

s21：令y＝px，其中，x∈r^n×t表示時間長度為t的n個導聯(lián)上的腦電信號，p∈r^m×n為一變換矩陣，其作用是把腦電信號映射到一個空間上，y∈r^m×t保存腦電信號變換后的結(jié)果；

s22：令其中表示將矩陣轉(zhuǎn)化為一個特征向量；

s23：令r＝f(y)，其中f為分類函數(shù)，對y進行計算，輸出+1或-1給r；當r為+1時，認定當前處于集中注意力的狀態(tài)，否則，認定當前的注意力并不集中。

本發(fā)明中，所述變換矩陣p的求取方法，包括以下步驟：

把每個時刻在不同導聯(lián)上的腦電采樣數(shù)據(jù)視為一個向量，把實驗采集到腦電信號分成注意力集中和不集中兩組向量，分別求這兩組向量的協(xié)方差矩陣，將兩個協(xié)方差矩陣相加得到合成協(xié)方差矩陣，對該合成協(xié)方差矩陣進行特征值分解得到它的所有特征向量，由合成協(xié)方差矩陣的所有特征向量構(gòu)成白化矩陣，兩個協(xié)方差矩陣經(jīng)白化變換后擁有相同的特征向量，這些特征向量構(gòu)成的矩陣與白化矩陣相乘得到p。

本發(fā)明中，所述包括以下步驟：

將矩陣y的每一行視為一個自回歸隨機過程，運用burg算法求取該自回歸隨機過程的各個參數(shù)，進一步運用自回歸功率譜密度的方法計算8-20hz范圍內(nèi)若干頻點的能量，各頻點的能量拼接為一個向量；y的每一行對應一個這樣的向量，將各向量拼接為向量y。

本發(fā)明中，所述的r＝f(y)，求取f的方法包括以下步驟：

在用戶使用實現(xiàn)該方法的系統(tǒng)之前，讓用戶參加控制注意力狀態(tài)的訓練；在用戶適應之后，分別采集用戶處于集中注意力狀態(tài)和注意力不集中狀態(tài)的腦電數(shù)據(jù)，每個數(shù)據(jù)都是一個矩陣x∈r^n×t；經(jīng)步驟s21和s22的處理后，每個數(shù)據(jù)對應一個向量y；依據(jù)集中注意力和注意力不集中兩種狀態(tài)，把向量分別標記為正例和負例構(gòu)成訓練集；采用支持向量機的方法訓練分類器得到f。

本發(fā)明中，所述x∈r^n×t和p∈r^m×n中的n,t,m的確定方法包括以下步驟：

n由腦電裝置的導聯(lián)數(shù)確定，通常為16、32或64；t代表的時間長度為1秒，采樣點數(shù)由采樣率確定，通常采樣率為250hz，t為250；m在求取矩陣p的過程中確定，m＜n是m的取值范圍。

本發(fā)明中，所述計算8-20hz范圍內(nèi)若干頻點的能量中，若干頻點的確定方法包括以下步驟：

在8-20hz范圍內(nèi)每隔1hz取一個頻點，在每個頻點上從用戶的訓練集中計算出對應著注意力集中和不集中兩種狀態(tài)的兩組數(shù)據(jù)，用統(tǒng)計檢驗的方法判別兩組數(shù)據(jù)是否存在顯著差異；對于存在顯著差異的頻點，用均值差異進行排序，選取均值差異較大的頻點。

以下為本發(fā)明的具體實施例。

本實施例提供一種腦眼混合驅(qū)動的家電控制方法，如圖1所示，包括以下步驟：

步驟s1：用戶帶上neuroscan腦電帽，所述腦電采集裝置連接至電腦；開啟眼控設備；hub連接到路由器，smartapps、設備處理程序、hub和家電設備都通過smartthings平臺提供的ide添加或聲明，hub與設備之間通過無線識別；在電腦上運行實現(xiàn)本方法的系統(tǒng)，進入到啟動狀態(tài)；如圖2所示，在啟動狀態(tài)下，系統(tǒng)的屏幕上顯示注視焦點與提示；用戶集中注意力注視屏幕上的注視焦點；所述系統(tǒng)獲取眼動裝置傳來的注視位置，并通過腦電信號判斷用戶是否集中注意力；若用戶注視位置處于注視焦點范圍內(nèi)并且用戶處于集中注意力的狀態(tài)，則所述系統(tǒng)的狀態(tài)切換為電器選擇狀態(tài)，進入步驟s2；

步驟s2：在電器選擇狀態(tài)下，如圖3所示，電腦界面顯示有“空調(diào)”、“電視”和“電燈”三種電器，分別位于界面的中上、左下、右下位置；用戶若需控制電器，可集中注意力注視該電器；所述系統(tǒng)獲取眼動裝置傳來的注視位置，并通過腦電信號判斷用戶是否集中注意力；若用戶正處于集中注意力的狀態(tài)并且注視位置在某個電器范圍內(nèi)，則所述系統(tǒng)狀態(tài)切換為按鍵選擇狀態(tài)，進入步驟s3；若在預設時間段內(nèi)沒有檢測到用戶集中注意力，則所述系統(tǒng)狀態(tài)切換為啟動狀態(tài)，返回步驟s1；

步驟s3：所述系統(tǒng)處于按鍵選擇狀態(tài)，如圖4所示，屏幕顯示“回退”鍵和其他電器功能按鍵；用戶若需控制該電器或回退到電器選擇狀態(tài)重新選擇電器，可集中注意力注視相應的鍵；所述系統(tǒng)獲取眼動裝置傳來的注視位置，并通過腦電信號判斷用戶是否集中注意力；若用戶正處于集中注意力的狀態(tài)并且注視位置在“回退”鍵的范圍內(nèi)，則所述系統(tǒng)的狀態(tài)切換為電器選擇狀態(tài)，進入步驟s2；若用戶正處于集中注意力的狀態(tài)并且注視位置在某一功能鍵的范圍內(nèi)，所述系統(tǒng)向?qū)碾娖靼l(fā)出相應的控制命令，命令以web請求形式對smartapps進行api調(diào)用，控制相應設備，所述系統(tǒng)的狀態(tài)保持不變，繼續(xù)執(zhí)行步驟s3；若在預設時間段內(nèi)沒有檢測到用戶集中注意力，則所述系統(tǒng)狀態(tài)切換為啟動狀態(tài)，返回步驟s1。

進一步的，所述步驟s3具體包括以下步驟：

步驟s31：在電燈按鍵選擇狀態(tài)下，電腦界面顯示有“電燈1”、“電燈2”、“電燈3”、“電燈4”、“電燈5”和“回退”按鍵；用戶根據(jù)需求向?qū)碾姛舭l(fā)出開啟或關閉的控制命令，命令以web請求形式對smartapps進行api調(diào)用，控制相應電燈，所述系統(tǒng)的狀態(tài)保持不變；如果用戶選擇了“回退”按鍵，則所述系統(tǒng)退回電器選擇狀態(tài)；若在預設時間段內(nèi)沒有檢測到眼睛注視和注意力集中，則所述系統(tǒng)狀態(tài)切換為啟動狀態(tài)，返回步驟s1；

步驟s32：在電視機按鍵選擇狀態(tài)下，電腦界面顯示有“開/關”、“頻道+”、“頻道-”、“音量+”、“音量-”和“回退”按鍵；用戶根據(jù)需求向電視發(fā)出對應的控制命令，命令以web請求形式對smartapps進行api調(diào)用，控制相應電視功能，所述系統(tǒng)的狀態(tài)保持不變；若用戶選擇了“回退”按鍵，則所述系統(tǒng)退回電器選擇狀態(tài)；若在預設時間段內(nèi)沒有檢測到用戶集中注意力，則所述系統(tǒng)狀態(tài)切換為啟動狀態(tài)，返回步驟s1；

步驟s33：在空調(diào)按鍵選擇狀態(tài)下，電腦界面顯示有“開/關”、“制冷”、“制熱”、“溫度+”、“溫度-”、和“回退”按鍵；用戶根據(jù)需求向空調(diào)發(fā)出控制命令，命令以web請求形式對smartapps進行api調(diào)用，控制相應空調(diào)功能，所述系統(tǒng)的狀態(tài)保持不變；若用戶選擇了“回退”按鍵，則所述系統(tǒng)退回電器選擇狀態(tài)；若在預設時間段內(nèi)沒有檢測到用戶集中注意力，則所述系統(tǒng)狀態(tài)切換為啟動狀態(tài)，返回步驟s1。

以上是本發(fā)明的較佳實施例，凡依本發(fā)明技術方案所作的改變，所產(chǎn)生的功能作用未超出本發(fā)明技術方案的范圍時，均屬于本發(fā)明的保護范圍。