本發(fā)明屬于機(jī)器視覺(jué)技術(shù)領(lǐng)域，具體涉及一種界面操作的方法和系統(tǒng)。

背景技術(shù)：

目前，眼動(dòng)跟蹤技術(shù)被廣泛應(yīng)用于新型人機(jī)交互(用眼睛打字、玩游戲、操作電腦)、醫(yī)學(xué)診斷、用戶(hù)體驗(yàn)研究、心理與認(rèn)知研究、教育輔助等領(lǐng)域。

眼動(dòng)跟蹤技術(shù)是指：利用眼動(dòng)測(cè)量設(shè)備，以毫秒級(jí)捕捉使用者眼睛圖像，通過(guò)分析瞳孔輪廓、虹膜輪廓、瞳孔中心、虹膜中心及外界光源在角膜上的反射點(diǎn)等特征的相對(duì)位置，估計(jì)視線(xiàn)方向或者視線(xiàn)落點(diǎn)。

眼動(dòng)跟蹤技術(shù)可應(yīng)用于圖形界面操作，從而實(shí)現(xiàn)智能人機(jī)交互。例如，通過(guò)眼動(dòng)跟蹤技術(shù)最快定位到用戶(hù)欲操作的界面控件，然后對(duì)定位到的界面控件進(jìn)行操作，從而替代傳輸?shù)逆I盤(pán)鼠標(biāo)操控方式，提高用戶(hù)的交互體驗(yàn)。

然而，在實(shí)現(xiàn)本發(fā)明的過(guò)程中，發(fā)明人發(fā)現(xiàn)，現(xiàn)有技術(shù)至少存在以下不足：

在基于眼動(dòng)跟蹤技術(shù)實(shí)現(xiàn)圖形界面操作時(shí)，有時(shí)候，用戶(hù)僅僅是持續(xù)注視某個(gè)界面控件，而并非想對(duì)注視的界面控件進(jìn)行操作，而現(xiàn)有的眼控模型只要識(shí)別出用戶(hù)持續(xù)注視某個(gè)界面控件，都統(tǒng)一判定為用戶(hù)欲對(duì)該界面控件進(jìn)行操作，難免會(huì)發(fā)出誤操作的問(wèn)題，從而降低用戶(hù)體驗(yàn)。

為解決上述問(wèn)題，目前普遍的方案是增加觸發(fā)操作所需的延時(shí)，但是，這種方案會(huì)降低交互效率，同時(shí)也難以徹底杜絕誤操作。

另外，現(xiàn)有技術(shù)中也出現(xiàn)了眼動(dòng)結(jié)合手勢(shì)或語(yǔ)音進(jìn)行操作的方法，從而提高操作的準(zhǔn)確性，但是，將眼動(dòng)與手勢(shì)或語(yǔ)音結(jié)合，其使用場(chǎng)景受到一定的限制：(1)將眼動(dòng)與手勢(shì)結(jié)合時(shí)，一般需要添加觸摸板，操控桿等硬件設(shè)備，如果采用攝像頭采集手勢(shì)圖像，可見(jiàn)范圍的限制要求用戶(hù)距離攝像頭保持一段距離，而一般人們使用電腦時(shí)，手都在桌面以下，使用手機(jī)時(shí)，手被占用，如果有意暴露手勢(shì)給攝像頭又會(huì)遮擋眼部，導(dǎo)致眼動(dòng)跟蹤失??；可見(jiàn)，將眼動(dòng)與手勢(shì)結(jié)合時(shí)，具有用戶(hù)體驗(yàn)度差的問(wèn)題。(2)將眼動(dòng)與語(yǔ)音結(jié)合時(shí)，由于語(yǔ)音識(shí)別要求環(huán)境較安靜，當(dāng)環(huán)境噪音較高時(shí)，會(huì)降低語(yǔ)音識(shí)別的準(zhǔn)確率，因此，使用場(chǎng)景受限；此外，當(dāng)用戶(hù)進(jìn)行語(yǔ)音時(shí)，語(yǔ)音也會(huì)導(dǎo)致周?chē)h(huán)境比較吵鬧，又不適宜在圖書(shū)館等安靜環(huán)境使用，使用場(chǎng)景仍然受限；此外，大多數(shù)用戶(hù)并不習(xí)慣操作電腦時(shí)一直進(jìn)行語(yǔ)音說(shuō)話(huà)，因此，仍然具有用戶(hù)體驗(yàn)度差的問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)存在的缺陷，本發(fā)明提供一種界面操作的方法和系統(tǒng)，可有效解決上述問(wèn)題。

本發(fā)明采用的技術(shù)方案如下：

本發(fā)明提供一種界面操作的方法，包括以下步驟：

信息獲取步驟，實(shí)時(shí)獲取眼部圖像信息和頭部運(yùn)動(dòng)信息；

頭部動(dòng)作獲取步驟，對(duì)某一時(shí)間段T1內(nèi)的頭部運(yùn)動(dòng)信息進(jìn)行分析，獲取頭部動(dòng)作；

操作目標(biāo)獲取步驟，對(duì)某一時(shí)間段T2內(nèi)的某一時(shí)刻t或某一時(shí)間段T2內(nèi)的眼部圖像信息進(jìn)行分析，得到所述時(shí)間段T2內(nèi)的時(shí)刻t或所述時(shí)間段T2內(nèi)的注視點(diǎn)位置，根據(jù)所得到的注視點(diǎn)位置獲取操作目標(biāo)；

執(zhí)行步驟，根據(jù)頭部動(dòng)作、操作目標(biāo)與操作指令的對(duì)應(yīng)關(guān)系，獲取操作指令，并將所述操作指令作用于所述操作目標(biāo)，對(duì)所述操作目標(biāo)進(jìn)行操作。

優(yōu)選的，所述信息獲取步驟具體為：

所述眼部圖像信息通過(guò)以下方法獲得：

通過(guò)圖像采集裝置實(shí)時(shí)采集得到眼部圖像信息；

所述頭部運(yùn)動(dòng)信息通過(guò)以下方法獲得：

通過(guò)頭部運(yùn)動(dòng)信息采集裝置實(shí)時(shí)采集得到頭部運(yùn)動(dòng)信息。

優(yōu)選的，所述頭部運(yùn)動(dòng)信息采集裝置為圖像采集裝置；

所述頭部運(yùn)動(dòng)信息通過(guò)以下方法獲得：

頭部圖像信息采集步驟，通過(guò)所述圖像采集設(shè)備實(shí)時(shí)采集得到頭部圖像信息；

頭部運(yùn)動(dòng)信息獲取步驟，對(duì)所述頭部圖像信息進(jìn)行分析后，得到頭部運(yùn)動(dòng)信息。

優(yōu)選的，所述頭部運(yùn)動(dòng)信息采集裝置為頭部動(dòng)作傳感器；

所述頭部運(yùn)動(dòng)信息通過(guò)以下方法獲得：通過(guò)所述頭部動(dòng)作傳感器實(shí)時(shí)采集得到頭部運(yùn)動(dòng)信息。

優(yōu)選的，所述頭部動(dòng)作傳感器為頭部附帶陀螺儀和/或頭部體感貼片和/或紅外激光雷達(dá)基站和/或超聲波定位器和/或激光定位器和/或電磁跟蹤器。

優(yōu)選的，對(duì)某一時(shí)間段T1內(nèi)的頭部運(yùn)動(dòng)信息進(jìn)行分析，具體包括：

頭部特征提取步驟，對(duì)采集得到的某一時(shí)間段T1內(nèi)的頭部運(yùn)動(dòng)信息進(jìn)行特征提取，提取到某一時(shí)間段T1內(nèi)的頭部特征信息；

頭部特征分析步驟，對(duì)提取到的時(shí)間段T1內(nèi)的頭部特征信息進(jìn)行分析。

優(yōu)選的，所述頭部動(dòng)作獲取步驟中，還包括有效頭部動(dòng)作判斷步驟，具體為：

判斷所述頭部動(dòng)作是否為有效頭部動(dòng)作；如果是，則執(zhí)行操作目標(biāo)獲取步驟或執(zhí)行步驟。

優(yōu)選的，所述操作目標(biāo)獲取步驟中，對(duì)某一時(shí)間段T2內(nèi)的某一時(shí)刻t或某一時(shí)間段T2內(nèi)的眼部圖像信息進(jìn)行分析，包括如下步驟：

眼部特征提取步驟，對(duì)某一時(shí)間段T2內(nèi)的某一時(shí)刻t或某一時(shí)間段T2內(nèi)的眼部圖像信息進(jìn)行特征提取，提取到眼部特征信息；

眼部特征分析步驟，對(duì)提取到的眼部特征信息進(jìn)行分析。

優(yōu)選的，所述時(shí)間段TI與所述時(shí)間段T2滿(mǎn)足預(yù)設(shè)關(guān)系，具體為：

(1)預(yù)定義時(shí)間段TI的起始時(shí)刻為t10，結(jié)束時(shí)刻為t11；

預(yù)定義時(shí)間段T2的起始時(shí)刻為t20，結(jié)束時(shí)刻為t21；

(2)若t20＝t11+T_i或t10＝t21+T_i，則視為T(mén)I與T2為固定的時(shí)間間隔T_i；其中，T_i為預(yù)定義值，或滿(mǎn)足預(yù)設(shè)規(guī)則條件；

(3)若t11＝t20或t10＝t21，則視為T(mén)I與T2是連續(xù)的；

(4)若t10≤t20≤t11或t20≤t10≤t21，則視為T(mén)I與T2是有重合。

優(yōu)選的，所述頭部動(dòng)作獲取步驟，具體為：

(1)預(yù)定義縱向位移：在預(yù)定義的時(shí)間段T_Y內(nèi)，頭部位置縱向變化區(qū)間為[Y₁—Y₂]；

預(yù)定義橫向位移：在預(yù)定義的時(shí)間段T_x內(nèi)，頭部位置橫向變化區(qū)間為[X₁—X₂]；

(2)若在T1時(shí)間段內(nèi)，首先發(fā)生一次向下或向上的縱向位移，則視為發(fā)生一次下或上位移；然后，在預(yù)定義的間隔時(shí)間T_i內(nèi)，又發(fā)生一次上或下位移，則視為發(fā)生一次點(diǎn)頭的頭部動(dòng)作；其中，T_i小于T1；

(3)若在T1時(shí)間段內(nèi)，首先發(fā)生一次向左或向右的橫向位移，則視為發(fā)生一次左或右位移；然后，在預(yù)定義的間隔時(shí)間T_i內(nèi)，又發(fā)生一次右或左位移。則視為發(fā)生一次左搖頭或右搖頭的頭部動(dòng)作；其中，T_i小于T1。

優(yōu)選的，執(zhí)行步驟中，頭部動(dòng)作、操作目標(biāo)與操作指令的對(duì)應(yīng)關(guān)系具體包括：

當(dāng)操作目標(biāo)為屏幕右/左/下/上側(cè)邊緣，頭部動(dòng)作為左/右/上/下位移時(shí)，所對(duì)應(yīng)的操作指令為：屏幕向左/右/上/下滾動(dòng)操作；

當(dāng)操作目標(biāo)為屏幕非邊緣的某個(gè)位置時(shí)，視為選中某個(gè)操控控件；則：

點(diǎn)頭一次對(duì)應(yīng)的操作指令為：?jiǎn)螕舨僮鳎?/p>

點(diǎn)頭兩次對(duì)應(yīng)的操作指令為：雙擊操作；

左/右搖頭一次對(duì)應(yīng)的操作指令為：取消操作；

右位移一次對(duì)應(yīng)的操作指令為：右擊操作；

點(diǎn)頭一次后，左/右/上/下位移一次，再點(diǎn)頭一次對(duì)應(yīng)的操作指令為：向左/右/上/下拖拽操作，所述左/右/上/下位移與操作目標(biāo)位移一致。

優(yōu)選的，操作目標(biāo)獲取步驟之前，還包括：提醒步驟；

提醒步驟，在所述頭部動(dòng)作獲取步驟完成時(shí)，通過(guò)圖片、文字、語(yǔ)音或視頻輸出操作，提醒用戶(hù)進(jìn)行操作目標(biāo)獲取步驟。

本發(fā)明還提供一種界面操作的系統(tǒng)，包括：

信息獲取模塊，用于實(shí)時(shí)獲取眼部圖像信息和頭部運(yùn)動(dòng)信息；

頭部動(dòng)作獲取模塊，用于對(duì)某一時(shí)間段T1內(nèi)的頭部運(yùn)動(dòng)信息進(jìn)行分析，獲取頭部動(dòng)作；

操作目標(biāo)獲取模塊，用于對(duì)某一時(shí)間段T2內(nèi)的某一時(shí)刻t或某一時(shí)間段T2內(nèi)的眼部圖像信息進(jìn)行分析，得到所述時(shí)間段T2內(nèi)的時(shí)刻t或所述時(shí)間段T2內(nèi)的注視點(diǎn)位置，根據(jù)所得到的注視點(diǎn)位置獲取操作目標(biāo)；

執(zhí)行模塊，用于根據(jù)頭部動(dòng)作、操作目標(biāo)與操作指令的對(duì)應(yīng)關(guān)系，獲取操作指令，并將所述操作指令作用于所述操作目標(biāo)，對(duì)所述操作目標(biāo)進(jìn)行操作。

優(yōu)選的，所述信息獲取模塊包括：眼部圖像信息獲取子模塊和頭部運(yùn)動(dòng)信息獲取子模塊；

所述眼部圖像信息獲取子模塊用于實(shí)時(shí)采集得到眼部圖像信息；

所述頭部運(yùn)動(dòng)信息獲取子模塊用于實(shí)時(shí)采集得到頭部運(yùn)動(dòng)信息。

優(yōu)選的，所述頭部運(yùn)動(dòng)信息獲取子模塊為圖像采集裝置；

所述頭部運(yùn)動(dòng)信息獲取子模塊具體用于：通過(guò)所述圖像采集設(shè)備實(shí)時(shí)采集得到頭部圖像信息；然后，對(duì)所述頭部圖像信息進(jìn)行分析后，得到頭部運(yùn)動(dòng)信息。

優(yōu)選的，所述頭部運(yùn)動(dòng)信息獲取子模塊為頭部動(dòng)作傳感器；

所述頭部運(yùn)動(dòng)信息獲取子模塊具體用于：通過(guò)所述頭部動(dòng)作傳感器實(shí)時(shí)采集得到頭部運(yùn)動(dòng)信息。

優(yōu)選的，所述頭部動(dòng)作傳感器為頭部附帶陀螺儀和/或頭部體感貼片和/或紅外激光雷達(dá)基站和/或超聲波定位器和/或激光定位器和/或電磁跟蹤器。

優(yōu)選的，所述頭部動(dòng)作獲取模塊包括：

頭部特征提取子模塊，用于對(duì)采集得到的某一時(shí)間段T1內(nèi)的頭部運(yùn)動(dòng)信息進(jìn)行特征提取，提取到某一時(shí)間段T1內(nèi)的頭部特征信息；

頭部特征分析子模塊，用于對(duì)提取到的時(shí)間段T1內(nèi)的頭部特征信息進(jìn)行分析。

優(yōu)選的，還包括有效頭部動(dòng)作判斷模塊；

所述有效頭部動(dòng)作判斷模塊，用于判斷所述頭部動(dòng)作是否為有效頭部動(dòng)作；如果是，則向所述操作目標(biāo)獲取模塊和所述執(zhí)行模塊發(fā)送通知消息。

優(yōu)選的，所述操作目標(biāo)獲取模塊包括：

眼部特征提取子模塊，用于對(duì)某一時(shí)間段T2內(nèi)的某一時(shí)刻t或某一時(shí)間段T2內(nèi)的眼部圖像信息進(jìn)行特征提取，提取到眼部特征信息；

眼部特征分析子模塊，用于對(duì)提取到的眼部特征信息進(jìn)行分析。

優(yōu)選的，所述時(shí)間段TI與所述時(shí)間段T2滿(mǎn)足預(yù)設(shè)關(guān)系，具體為：

(1)預(yù)定義時(shí)間段TI的起始時(shí)刻為t10，結(jié)束時(shí)刻為t11；

預(yù)定義時(shí)間段T2的起始時(shí)刻為t20，結(jié)束時(shí)刻為t21；

(2)若t20＝t11+T_i或t10＝t21+T_i，則視為T(mén)I與T2為固定的時(shí)間間隔T_i；其中，T_i為預(yù)定義值，或滿(mǎn)足預(yù)設(shè)規(guī)則條件；

(3)若t11＝t20或t10＝t21，則視為T(mén)I與T2是連續(xù)的；

(4)若t10≤t20≤t11或t20≤t10≤t21，則視為T(mén)I與T2是有重合。

優(yōu)選的，所述頭部動(dòng)作獲取模塊具體用于：

(1)預(yù)定義縱向位移：在預(yù)定義的時(shí)間段T_Y內(nèi)，頭部位置縱向變化區(qū)間為[Y₁—Y₂]；

預(yù)定義橫向位移：在預(yù)定義的時(shí)間段T_x內(nèi)，頭部位置橫向變化區(qū)間為[X₁—X₂]；

(2)若在T1時(shí)間段內(nèi)，首先發(fā)生一次向下或向上的縱向位移，則視為發(fā)生一次下或上位移；然后，在預(yù)定義的間隔時(shí)間T_i內(nèi)，又發(fā)生一次上或下位移，則視為發(fā)生一次點(diǎn)頭的頭部動(dòng)作；其中，T_i小于T1；

(3)若在T1時(shí)間段內(nèi)，首先發(fā)生一次向左或向右的橫向位移，則視為發(fā)生一次左或右位移；然后，在預(yù)定義的間隔時(shí)間T_i內(nèi)，又發(fā)生一次右或左位移。則視為發(fā)生一次左搖頭或右搖頭的頭部動(dòng)作；其中，T_i小于T1。

優(yōu)選的，所述執(zhí)行模塊在執(zhí)行過(guò)程時(shí)，頭部動(dòng)作、操作目標(biāo)與操作指令的對(duì)應(yīng)關(guān)系具體包括：

當(dāng)操作目標(biāo)為屏幕右/左/下/上側(cè)邊緣，頭部動(dòng)作為左/右/上/下位移時(shí)，所對(duì)應(yīng)的操作指令為：屏幕向左/右/上/下滾動(dòng)操作；

當(dāng)操作目標(biāo)為屏幕非邊緣的某個(gè)位置時(shí)，視為選中某個(gè)操控控件；則：

點(diǎn)頭一次對(duì)應(yīng)的操作指令為：?jiǎn)螕舨僮鳎?/p>

點(diǎn)頭兩次對(duì)應(yīng)的操作指令為：雙擊操作；

左/右搖頭一次對(duì)應(yīng)的操作指令為：取消操作；

右位移一次對(duì)應(yīng)的操作指令為：右擊操作；

點(diǎn)頭一次后，左/右/上/下位移一次，再點(diǎn)頭一次對(duì)應(yīng)的操作指令為：向左/右/上/下拖拽操作，所述左/右/上/下位移與操作目標(biāo)位移一致。

優(yōu)選的，還包括提醒模塊；

所述提醒模塊用于：在所述頭部動(dòng)作獲取模塊執(zhí)行完成時(shí)，通過(guò)圖片、文字、語(yǔ)音或視頻輸出操作，提醒用戶(hù)進(jìn)行操作目標(biāo)獲取步驟。

本發(fā)明提供的界面操作的方法和系統(tǒng)具有以下優(yōu)點(diǎn)：

采用注視點(diǎn)定位用戶(hù)欲操作的目標(biāo)，具有直觀迅速，持續(xù)注視配合頭部姿勢(shì)能大大杜絕誤操作情況，提高操作的準(zhǔn)確識(shí)別率。

附圖說(shuō)明

圖1為本發(fā)明提供的界面操作的方法的流程示意圖；

圖2為本發(fā)明提供的界面操作的系統(tǒng)的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了使本發(fā)明所解決的技術(shù)問(wèn)題、技術(shù)方案及有益效果更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

本發(fā)明提供的界面操作的方法和系統(tǒng)，為基于機(jī)器視覺(jué)領(lǐng)域的眼動(dòng)跟蹤技術(shù)與姿態(tài)識(shí)別領(lǐng)域的頭部動(dòng)作識(shí)別技術(shù)的綜合應(yīng)用，應(yīng)用于新型人機(jī)交互場(chǎng)景，如PC機(jī)、手機(jī)、虛擬現(xiàn)實(shí)眼鏡內(nèi)的菜單操作、游戲動(dòng)作觸發(fā)等。具有精確、快捷的識(shí)別用戶(hù)的操作意愿，達(dá)到智能人機(jī)交互的效果。

實(shí)施例一：

結(jié)合圖1，本發(fā)明提供一種界面操作的方法，包括以下步驟：

(一)信息獲取步驟，實(shí)時(shí)獲取眼部圖像信息和頭部運(yùn)動(dòng)信息；

本步驟根據(jù)眼部圖像信息和頭部運(yùn)動(dòng)信息的來(lái)源不同，具體區(qū)分以下兩種情況：

情況一：未配置頭部動(dòng)作傳感器、僅配置圖像采集裝置

本種情況中，眼部圖像信息和頭部運(yùn)動(dòng)信息均通過(guò)圖像采集裝置獲得。圖像采集裝置可以為紅外攝像機(jī)，紅外攝像機(jī)配置有紅外燈和相關(guān)的控制電路，用于以毫秒級(jí)采集用戶(hù)眼部圖像和頭部運(yùn)動(dòng)信息。

其中，眼部圖像信息通過(guò)以下方法獲得：通過(guò)圖像采集裝置實(shí)時(shí)采集得到眼部圖像信息；

頭部運(yùn)動(dòng)信息通過(guò)以下方法獲得：通過(guò)頭部運(yùn)動(dòng)信息采集裝置實(shí)時(shí)采集得到頭部運(yùn)動(dòng)信息。其中，頭部運(yùn)動(dòng)信息采集裝置即為圖像采集裝置。具體的，頭部運(yùn)動(dòng)信息通過(guò)以下方法獲得：

頭部圖像信息采集步驟，通過(guò)所述圖像采集設(shè)備實(shí)時(shí)采集得到頭部圖像信息；

頭部運(yùn)動(dòng)信息獲取步驟，對(duì)所述頭部圖像信息進(jìn)行分析后，得到頭部運(yùn)動(dòng)信息。

情況二：同時(shí)配置頭部動(dòng)作傳感器和圖像采集裝置

眼部圖像信息仍然通過(guò)圖像采集裝置實(shí)時(shí)采集得到；

所述頭部運(yùn)動(dòng)信息通過(guò)以下方法獲得：通過(guò)所述頭部動(dòng)作傳感器實(shí)時(shí)采集得到頭部運(yùn)動(dòng)信息。其中，頭部動(dòng)作傳感器為頭部附帶陀螺儀和/或頭部體感貼片和/或紅外激光雷達(dá)基站和/或超聲波定位器和/或激光定位器和/或電磁跟蹤器。

(二)頭部動(dòng)作獲取步驟，對(duì)某一時(shí)間段T1內(nèi)的頭部運(yùn)動(dòng)信息進(jìn)行分析，獲取頭部動(dòng)作；

本步驟具體包括：

頭部特征提取步驟，對(duì)采集得到的某一時(shí)間段T1內(nèi)的頭部運(yùn)動(dòng)信息進(jìn)行特征提取，提取到某一時(shí)間段T1內(nèi)的頭部特征信息；

頭部特征分析步驟，對(duì)提取到的時(shí)間段T1內(nèi)的頭部特征信息進(jìn)行分析。

為提高界面操作的準(zhǔn)確性，防止誤操作，頭部動(dòng)作獲取步驟中，還包括有效頭部動(dòng)作判斷步驟，具體為：

判斷所述頭部動(dòng)作是否為有效頭部動(dòng)作；如果是，則執(zhí)行操作目標(biāo)獲取步驟或執(zhí)行步驟。其中，通過(guò)以下方法判斷是否為有效頭部動(dòng)作：

(1)預(yù)定義縱向位移：在預(yù)定義的時(shí)間段T_Y內(nèi)，頭部位置縱向變化區(qū)間為[Y₁—Y₂]；

預(yù)定義橫向位移：在預(yù)定義的時(shí)間段T_x內(nèi)，頭部位置橫向變化區(qū)間為[X₁—X₂]；

(2)若在T1時(shí)間段內(nèi)，首先發(fā)生一次向下或向上的縱向位移，則視為發(fā)生一次下或上位移；然后，在預(yù)定義的間隔時(shí)間T_i內(nèi)，又發(fā)生一次上或下位移，則視為發(fā)生一次點(diǎn)頭的頭部動(dòng)作；其中，T_i小于T1；

(3)若在T1時(shí)間段內(nèi)，首先發(fā)生一次向左或向右的橫向位移，則視為發(fā)生一次左或右位移；然后，在預(yù)定義的間隔時(shí)間T_i內(nèi)，又發(fā)生一次右或左位移。則視為發(fā)生一次左搖頭或右搖頭的頭部動(dòng)作；其中，T_i小于T1。

(三)操作目標(biāo)獲取步驟，對(duì)某一時(shí)間段T2內(nèi)的某一時(shí)刻t或某一時(shí)間段T2內(nèi)的眼部圖像信息進(jìn)行分析，得到所述時(shí)間段T2內(nèi)的時(shí)刻t或所述時(shí)間段T2內(nèi)的注視點(diǎn)位置，根據(jù)所得到的注視點(diǎn)位置獲取操作目標(biāo)；

其中，操作目標(biāo)獲取步驟中的時(shí)間段T2與頭部動(dòng)作獲取步驟中的時(shí)間段T1滿(mǎn)足預(yù)設(shè)關(guān)系，具體為：

(1)預(yù)定義時(shí)間段TI的起始時(shí)刻為t10，結(jié)束時(shí)刻為t11；

預(yù)定義時(shí)間段T2的起始時(shí)刻為t20，結(jié)束時(shí)刻為t21；

(2)若t20＝t11+T_i或t10＝t21+T_i，則視為T(mén)I與T2為固定的時(shí)間間隔T_i；其中，T_i為預(yù)定義值，或滿(mǎn)足預(yù)設(shè)規(guī)則條件；

(3)若t11＝t20或t10＝t21，則視為T(mén)I與T2是連續(xù)的；

(4)若t10≤t20≤t11或t20≤t10≤t21，則視為T(mén)I與T2是有重合。

本步驟中，對(duì)某一時(shí)間段T2內(nèi)的某一時(shí)刻t或某一時(shí)間段T2內(nèi)的眼部圖像信息進(jìn)行分析，包括如下步驟：

眼部特征提取步驟，對(duì)某一時(shí)間段T2內(nèi)的某一時(shí)刻t或某一時(shí)間段T2內(nèi)的眼部圖像信息進(jìn)行特征提取，提取到眼部特征信息；眼動(dòng)特征信息包括但不限于用戶(hù)瞳孔位置、瞳孔半徑和、普爾欽斑等特征，

眼部特征分析步驟，對(duì)提取到的眼部特征信息進(jìn)行分析。

(四)執(zhí)行步驟，根據(jù)頭部動(dòng)作、操作目標(biāo)與操作指令的對(duì)應(yīng)關(guān)系，獲取操作指令，并將所述操作指令作用于所述操作目標(biāo)，對(duì)所述操作目標(biāo)進(jìn)行操作。例如，彈出菜單、打開(kāi)鏈接、翻到下一頁(yè)、右擊或左擊某個(gè)界面控制等等。

頭部動(dòng)作、操作目標(biāo)與操作指令的對(duì)應(yīng)關(guān)系具體包括：

當(dāng)操作目標(biāo)為屏幕右/左/下/上側(cè)邊緣，頭部動(dòng)作為左/右/上/下位移時(shí)，所對(duì)應(yīng)的操作指令為：屏幕向左/右/上/下滾動(dòng)操作；

當(dāng)操作目標(biāo)為屏幕非邊緣的某個(gè)位置時(shí)，視為選中某個(gè)操控控件；則：

點(diǎn)頭一次對(duì)應(yīng)的操作指令為：?jiǎn)螕舨僮鳎?/p>

點(diǎn)頭兩次對(duì)應(yīng)的操作指令為：雙擊操作；

左/右搖頭一次對(duì)應(yīng)的操作指令為：取消操作；

右位移一次對(duì)應(yīng)的操作指令為：右擊操作；

點(diǎn)頭一次后，左/右/上/下位移一次，再點(diǎn)頭一次對(duì)應(yīng)的操作指令為：向左/右/上/下拖拽操作，所述左/右/上/下位移與操作目標(biāo)位移一致。

實(shí)際應(yīng)用中，根據(jù)實(shí)際需求，操作目標(biāo)獲取步驟之前，還可以包括：提醒步驟；

提醒步驟，在所述頭部動(dòng)作獲取步驟完成時(shí)，通過(guò)圖片、文字、語(yǔ)音或視頻輸出操作，提醒用戶(hù)進(jìn)行操作目標(biāo)獲取步驟。

需要強(qiáng)調(diào)的是，本發(fā)明中，頭部動(dòng)作獲取步驟和操作目標(biāo)獲取步驟的先后次序關(guān)系是可互換或同時(shí)進(jìn)行的。

實(shí)施例二：

本實(shí)施例提供一種結(jié)合注視點(diǎn)與頭部動(dòng)作進(jìn)行界面操作的方法，應(yīng)用于頭戴式顯示設(shè)備中，結(jié)合注視點(diǎn)與頭部點(diǎn)頭動(dòng)作，達(dá)到操作注視目標(biāo)的效果；通過(guò)搖頭一次，達(dá)到撤銷(xiāo)(與返回)的效果。

具體方法如下：

(1)頭戴式顯示設(shè)備上的硬件改造

主流的頭戴式顯示設(shè)備都配備有頭部動(dòng)作傳感器，因此，頭部動(dòng)作是可以采用頭戴式顯示設(shè)備原有裝備，即頭部動(dòng)作傳感器直接識(shí)別。其中，頭部動(dòng)作傳感器可以為頭部附帶陀螺儀和/或頭部體感貼片和/或紅外激光雷達(dá)基站和/或超聲波定位器和/或激光定位器和/或電磁跟蹤器等。在頭戴式顯示設(shè)備中，實(shí)現(xiàn)注視點(diǎn)識(shí)別需要添加眼部攝像機(jī)、控制電路和/或紅外光源。

(2)實(shí)時(shí)計(jì)算用戶(hù)注視點(diǎn)

眼部攝像機(jī)以毫秒級(jí)采集用戶(hù)的眼部圖像，并從眼部圖像中實(shí)時(shí)提取其眼動(dòng)特征信息，包括用戶(hù)瞳孔位置、瞳孔半徑和、普爾欽斑等特征，根據(jù)提取的眼動(dòng)特征信息實(shí)時(shí)計(jì)算屏幕注視點(diǎn)位置。

(3)實(shí)時(shí)監(jiān)控用戶(hù)頭部姿勢(shì)，并判斷是否發(fā)生頭部動(dòng)作

實(shí)時(shí)監(jiān)控用戶(hù)頭部姿勢(shì)，對(duì)T1時(shí)間段內(nèi)的頭部特征信息進(jìn)行分析，獲取頭部姿態(tài)變化信息；判斷所述頭部姿態(tài)變化信息是否為頭部動(dòng)作，其中，頭部動(dòng)作包括：點(diǎn)頭的頭部動(dòng)作、左搖頭或右搖頭的頭部動(dòng)作。判斷方法為：

1)預(yù)定義縱向位移：在預(yù)定義的時(shí)間段T_Y內(nèi)，頭部位置縱向變化區(qū)間為[Y₁—Y₂]；

預(yù)定義橫向位移：在預(yù)定義的時(shí)間段T_x內(nèi)，頭部位置橫向變化區(qū)間為[X₁—X₂]；

2)若在T1時(shí)間段內(nèi)，首先發(fā)生一次向下或向上的縱向位移，則視為發(fā)生一次下或上位移；然后，在預(yù)定義的間隔時(shí)間T_i內(nèi)，又發(fā)生一次上或下位移，則視為發(fā)生一次點(diǎn)頭的頭部動(dòng)作；其中，T_i小于T1；

3)若在T1時(shí)間段內(nèi)，首先發(fā)生一次向左或向右的橫向位移，則視為發(fā)生一次左或右位移；然后，在預(yù)定義的間隔時(shí)間T_i內(nèi)，又發(fā)生一次右或左位移。則視為發(fā)生一次左搖頭或右搖頭的頭部動(dòng)作；其中，T_i小于T1。

(4)頭部姿勢(shì)與注視點(diǎn)聯(lián)合判斷

當(dāng)用戶(hù)在T1時(shí)間段內(nèi)發(fā)生一次頭部動(dòng)作時(shí)，判斷在用戶(hù)完成頭部動(dòng)作過(guò)程中，用戶(hù)是否在時(shí)間段T2內(nèi)的時(shí)刻t或時(shí)間段T2內(nèi)持續(xù)注視某一可操作的圖形用戶(hù)界面目標(biāo)。如果是，則視為一次執(zhí)行操作。即：點(diǎn)頭解析為操作注視目標(biāo)；搖頭解析為撤銷(xiāo)操作。

其中，所述時(shí)間段TI與所述時(shí)間段T2滿(mǎn)足預(yù)設(shè)關(guān)系，具體為：

(1)預(yù)定義時(shí)間段TI的起始時(shí)刻為t10，結(jié)束時(shí)刻為t11；

預(yù)定義時(shí)間段T2的起始時(shí)刻為t20，結(jié)束時(shí)刻為t21。

(2)若t20＝t11+T_i或t10＝t21+T_i，則視為T(mén)I與T2為固定的時(shí)間間隔T_i；其中，T_i為預(yù)定義值，或滿(mǎn)足預(yù)設(shè)規(guī)則條件。

即：當(dāng)用戶(hù)在T1時(shí)間段內(nèi)完成頭部動(dòng)作完成之后，判斷經(jīng)過(guò)時(shí)間間隔T_i后，用戶(hù)是否在時(shí)間段T2內(nèi)持續(xù)注視或在時(shí)間段T2內(nèi)的時(shí)刻t注視某一可操作的圖形用戶(hù)界面目標(biāo)，如果是，執(zhí)行相應(yīng)的界面操作。

(3)若t11＝t20或t10＝t21，則視為T(mén)I與T2是連續(xù)的。

(4)若t10≤t20≤t11或t20≤t10≤t21，則視為T(mén)I與T2是有重合。

本實(shí)施例利用頭戴式顯示設(shè)備中的頭部動(dòng)作傳感器，例如陀螺儀，并增設(shè)眼動(dòng)跟蹤設(shè)備，實(shí)現(xiàn)在頭戴式顯示設(shè)備中結(jié)合注視點(diǎn)與頭動(dòng)對(duì)目標(biāo)進(jìn)行操作的目的。利用眼動(dòng)跟蹤技術(shù)快捷性、高帶寬的同時(shí)，采用主動(dòng)的頭部動(dòng)作，可有效杜絕誤操作。

需要強(qiáng)調(diào)的是，本實(shí)施例僅為一種具體示例，方法上略為變更即可實(shí)施到其他應(yīng)用場(chǎng)景，例如，如果用在PC機(jī)中，則需要采用圖像處理算法代替陀螺儀實(shí)現(xiàn)頭部動(dòng)作識(shí)別，但對(duì)頭部動(dòng)作與注視點(diǎn)結(jié)合實(shí)現(xiàn)操作的基本方法大體一致。

實(shí)施例三：

本實(shí)施例為在PC機(jī)使用中，結(jié)合注視點(diǎn)與頭部動(dòng)作，達(dá)到操作界面的效果。

(1)PC機(jī)使用本系統(tǒng)需增加的硬件

需要眼動(dòng)跟蹤儀器設(shè)備，眼動(dòng)跟蹤儀器主要由攝像機(jī)、控制電路和/或紅外光源組成，可通過(guò)USB、無(wú)線(xiàn)等方式與電腦連接。

(2)實(shí)時(shí)計(jì)算用戶(hù)視點(diǎn)

與實(shí)施例二的步驟(2)基本一致。

(3)實(shí)時(shí)監(jiān)控用戶(hù)頭部姿勢(shì)，并判斷是否發(fā)生頭部動(dòng)作

實(shí)時(shí)監(jiān)控用戶(hù)頭部姿勢(shì)，對(duì)T1時(shí)間段內(nèi)的頭部特征信息進(jìn)行分析，獲取頭部姿態(tài)變化信息；判斷所述頭部姿態(tài)變化信息是否為頭部動(dòng)作，其中，頭部動(dòng)作包括：點(diǎn)頭的頭部動(dòng)作、左搖頭或右搖頭的頭部動(dòng)作。判斷方法為：

1)預(yù)定義縱向位移：在預(yù)定義的時(shí)間段T_Y內(nèi)，頭部位置縱向變化區(qū)間為[Y₁—Y₂]；

預(yù)定義橫向位移：在預(yù)定義的時(shí)間段T_x內(nèi)，頭部位置橫向變化區(qū)間為[X₁—X₂]；

2)若在T1時(shí)間段內(nèi)，首先發(fā)生一次向下或向上的縱向位移，則視為發(fā)生一次下或上位移；然后，在預(yù)定義的間隔時(shí)間T_i內(nèi)，又發(fā)生一次上或下位移，則視為發(fā)生一次點(diǎn)頭的頭部動(dòng)作；其中，T_i小于T1；

3)若在T1時(shí)間段內(nèi)，首先發(fā)生一次向左或向右的橫向位移，則視為發(fā)生一次左或右位移；然后，在預(yù)定義的間隔時(shí)間T_i內(nèi)，又發(fā)生一次右或左位移。則視為發(fā)生一次左搖頭或右搖頭的頭部動(dòng)作；其中，T_i小于T1。

(4)頭部姿勢(shì)與注視點(diǎn)聯(lián)合判斷

當(dāng)用戶(hù)在T1時(shí)間段內(nèi)發(fā)生一次頭部動(dòng)作時(shí)，判斷在用戶(hù)完成頭部動(dòng)作過(guò)程中，用戶(hù)在時(shí)間段T2內(nèi)的時(shí)刻t或時(shí)間段T2內(nèi)是否持續(xù)注視某一可操作的圖形用戶(hù)界面目標(biāo)。如果是，則視為一次執(zhí)行操作。

例如：當(dāng)操作目標(biāo)為屏幕右/左/下/上側(cè)邊緣，有效頭部動(dòng)作為有效左/右/上/下位移時(shí)，所對(duì)應(yīng)的操作指令為：屏幕向左/右/上/下滾動(dòng)操作；

當(dāng)操作目標(biāo)為屏幕非邊緣的某個(gè)位置時(shí)，視為選中某個(gè)操控控件；則：

持續(xù)注視目標(biāo)并點(diǎn)頭一次對(duì)應(yīng)的操作指令為：?jiǎn)螕舨僮鳎?/p>

持續(xù)注視目標(biāo)并點(diǎn)頭兩次對(duì)應(yīng)的操作指令為：雙擊操作；

持續(xù)注視目標(biāo)并左/右搖頭一次對(duì)應(yīng)的操作指令為：取消操作；

持續(xù)注視目標(biāo)并右位移一次對(duì)應(yīng)的操作指令為：右擊操作；

持續(xù)注視目標(biāo)并點(diǎn)頭一次后，左/右/上/下位移一次，再點(diǎn)頭一次對(duì)應(yīng)的操作指令為：向左/右/上/下拖拽操作，所述有效左/右/上/下位移與操作目標(biāo)位移一致。

本實(shí)施例利用眼動(dòng)儀，實(shí)現(xiàn)在PC中結(jié)合注視點(diǎn)與頭動(dòng)對(duì)目標(biāo)進(jìn)行操作的目的。利用眼動(dòng)跟蹤技術(shù)快捷性、高帶寬的同時(shí)，采用主動(dòng)的頭部動(dòng)作杜絕“邁達(dá)斯接觸”，即誤操作。

本實(shí)施例只為舉例用，方法上略為變更即可實(shí)施到其他應(yīng)用場(chǎng)景。

實(shí)施例四：

結(jié)合圖2，本發(fā)明還提供一種界面操作的系統(tǒng)，包括：

(1)信息獲取模塊，用于實(shí)時(shí)獲取眼部圖像信息和頭部運(yùn)動(dòng)信息；

信息獲取模塊包括：眼部圖像信息獲取子模塊和頭部運(yùn)動(dòng)信息獲取子模塊；其中，所述眼部圖像信息獲取子模塊用于實(shí)時(shí)采集得到眼部圖像信息；

所述頭部運(yùn)動(dòng)信息獲取子模塊用于實(shí)時(shí)采集得到頭部運(yùn)動(dòng)信息。

當(dāng)部運(yùn)動(dòng)信息獲取子模塊為圖像采集裝置時(shí)，頭部運(yùn)動(dòng)信息獲取子模塊具體用于：通過(guò)所述圖像采集設(shè)備實(shí)時(shí)采集得到頭部圖像信息；然后，對(duì)所述頭部圖像信息進(jìn)行分析后，得到頭部運(yùn)動(dòng)信息。

當(dāng)頭部運(yùn)動(dòng)信息獲取子模塊為頭部動(dòng)作傳感器時(shí)，例如，頭部附帶陀螺儀和/或頭部體感貼片和/或紅外激光雷達(dá)基站和/或超聲波定位器和/或激光定位器和/或電磁跟蹤器，頭部運(yùn)動(dòng)信息獲取子模塊具體用于：通過(guò)所述頭部動(dòng)作傳感器實(shí)時(shí)采集得到頭部運(yùn)動(dòng)信息。

(2)頭部動(dòng)作獲取模塊，用于對(duì)某一時(shí)間段T1內(nèi)的頭部運(yùn)動(dòng)信息進(jìn)行分析，獲取頭部動(dòng)作；

頭部動(dòng)作獲取模塊包括：

頭部特征提取子模塊，用于對(duì)采集得到的某一時(shí)間段T1內(nèi)的頭部運(yùn)動(dòng)信息進(jìn)行特征提取，提取到某一時(shí)間段T1內(nèi)的頭部特征信息；

頭部特征分析子模塊，用于對(duì)提取到的時(shí)間段T1內(nèi)的頭部特征信息進(jìn)行分析。

頭部動(dòng)作獲取模塊通過(guò)以下方法判斷頭部動(dòng)作的種類(lèi)：

1)預(yù)定義縱向位移：在預(yù)定義的時(shí)間段T_Y內(nèi)，頭部位置縱向變化區(qū)間為[Y₁—Y₂]；

預(yù)定義橫向位移：在預(yù)定義的時(shí)間段T_x內(nèi)，頭部位置橫向變化區(qū)間為[X₁—X₂]；

2)若在T1時(shí)間段內(nèi)，首先發(fā)生一次向下或向上的縱向位移，則視為發(fā)生一次下或上位移；然后，在預(yù)定義的間隔時(shí)間T_i內(nèi)，又發(fā)生一次上或下位移，則視為發(fā)生一次點(diǎn)頭的頭部動(dòng)作；其中，T_i小于T1；

3)若在T1時(shí)間段內(nèi)，首先發(fā)生一次向左或向右的橫向位移，則視為發(fā)生一次左或右位移；然后，在預(yù)定義的間隔時(shí)間T_i內(nèi)，又發(fā)生一次右或左位移。則視為發(fā)生一次左搖頭或右搖頭的頭部動(dòng)作；其中，T_i小于T1。

(3)操作目標(biāo)獲取模塊，用于對(duì)某一時(shí)間段T2內(nèi)的某一時(shí)刻t或某一時(shí)間段T2內(nèi)的眼部圖像信息進(jìn)行分析，得到所述時(shí)間段T2內(nèi)的時(shí)刻t或所述時(shí)間段T2內(nèi)的注視點(diǎn)位置，根據(jù)所得到的注視點(diǎn)位置獲取操作目標(biāo)；

時(shí)間段TI與所述時(shí)間段T2滿(mǎn)足預(yù)設(shè)關(guān)系，具體為：

1)預(yù)定義時(shí)間段TI的起始時(shí)刻為t10，結(jié)束時(shí)刻為t11；

預(yù)定義時(shí)間段T2的起始時(shí)刻為t20，結(jié)束時(shí)刻為t21；

2)若t20＝t11+T_i或t10＝t21+T_i，則視為T(mén)I與T2為固定的時(shí)間間隔T_i；其中，T_i為預(yù)定義值，或滿(mǎn)足預(yù)設(shè)規(guī)則條件；

3)若t11＝t20或t10＝t21，則視為T(mén)I與T2是連續(xù)的；

4)若t10≤t20≤t11或t20≤t10≤t21，則視為T(mén)I與T2是有重合。

操作目標(biāo)獲取模塊包括：

眼部特征提取子模塊，用于對(duì)某一時(shí)間段T2內(nèi)的某一時(shí)刻t或某一時(shí)間段T2內(nèi)的眼部圖像信息進(jìn)行特征提取，提取到眼部特征信息；

眼部特征分析子模塊，用于對(duì)提取到的眼部特征信息進(jìn)行分析。

(4)執(zhí)行模塊，用于根據(jù)頭部動(dòng)作、操作目標(biāo)與操作指令的對(duì)應(yīng)關(guān)系，獲取操作指令，并將所述操作指令作用于所述操作目標(biāo)，對(duì)所述操作目標(biāo)進(jìn)行操作。

所述執(zhí)行模塊在執(zhí)行過(guò)程時(shí)，頭部動(dòng)作、操作目標(biāo)與操作指令的對(duì)應(yīng)關(guān)系具體包括：

當(dāng)操作目標(biāo)為屏幕右/左/下/上側(cè)邊緣，頭部動(dòng)作為左/右/上/下位移時(shí)，所對(duì)應(yīng)的操作指令為：屏幕向左/右/上/下滾動(dòng)操作；

當(dāng)操作目標(biāo)為屏幕非邊緣的某個(gè)位置時(shí)，視為選中某個(gè)操控控件；則：

點(diǎn)頭一次對(duì)應(yīng)的操作指令為：?jiǎn)螕舨僮鳎?/p>

點(diǎn)頭兩次對(duì)應(yīng)的操作指令為：雙擊操作；

左/右搖頭一次對(duì)應(yīng)的操作指令為：取消操作；

右位移一次對(duì)應(yīng)的操作指令為：右擊操作；

點(diǎn)頭一次后，左/右/上/下位移一次，再點(diǎn)頭一次對(duì)應(yīng)的操作指令為：向左/右/上/下拖拽操作，所述左/右/上/下位移與操作目標(biāo)位移一致。

另外，本發(fā)明還包括有效頭部動(dòng)作判斷模塊；所述有效頭部動(dòng)作判斷模塊，用于判斷所述頭部動(dòng)作是否為有效頭部動(dòng)作；如果是，則向所述操作目標(biāo)獲取模塊和所述執(zhí)行模塊發(fā)送通知消息。

本發(fā)明根據(jù)實(shí)際需求，還可設(shè)置提醒模塊；提醒模塊用于：在所述頭部動(dòng)作獲取模塊執(zhí)行完成時(shí)，通過(guò)圖片、文字、語(yǔ)音或視頻輸出操作，提醒用戶(hù)進(jìn)行操作目標(biāo)獲取步驟。

本發(fā)明提供的界面操作的方法和系統(tǒng)，采集到用戶(hù)發(fā)生有效頭部動(dòng)作后再結(jié)合用戶(hù)注視點(diǎn)，確定用戶(hù)對(duì)圖形界面的操作意愿。優(yōu)點(diǎn)如下：

(1)采用注視點(diǎn)定位用戶(hù)欲操作的目標(biāo)，具有直觀迅速，持續(xù)注視配合頭部姿勢(shì)能大大杜絕誤操作情況，提高操作的準(zhǔn)確識(shí)別率；

(2)可用于注視點(diǎn)識(shí)別的攝像頭與處理器完全可以達(dá)到頭部動(dòng)作識(shí)別的需要，不需要添加額外硬件，只需添加頭部動(dòng)作識(shí)別算法，具有易實(shí)現(xiàn)的優(yōu)點(diǎn)；

(3)只要能追蹤到注視點(diǎn)的場(chǎng)景，則一般也可以方便的追蹤頭部動(dòng)作，不需要用戶(hù)調(diào)整使用距離，不需重新定義使用場(chǎng)景，具有用戶(hù)體驗(yàn)好的優(yōu)點(diǎn)；

(4)諸如點(diǎn)頭、搖頭等動(dòng)作符合一般人的操作心理映射，用戶(hù)學(xué)習(xí)成本低，適合廣泛推廣使用。

以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視本發(fā)明的保護(hù)范圍。