本發(fā)明涉及一種基于眼動(dòng)追蹤的人機(jī)交互系統(tǒng)及其方法，屬于人機(jī)交互。

背景技術(shù)：

1、眼動(dòng)追蹤eyetribe是當(dāng)人類的眼球移動(dòng)時(shí)，可以對(duì)其進(jìn)行跟蹤，了解它的移動(dòng)軌跡，眼球追蹤就是感知眼部細(xì)微變化的一種技術(shù)，根據(jù)我們觀測的方向不同，眼部則會(huì)產(chǎn)生相應(yīng)的特征，通過這些特征的比對(duì)，從而對(duì)眼睛變化形成一套可以考量的參考，進(jìn)而實(shí)現(xiàn)針對(duì)眼睛變化的控制功能，這就是所謂的眼動(dòng)追蹤技術(shù)。

2、根據(jù)公開號(hào)cn107656613a公開了一種基于眼動(dòng)追蹤的人機(jī)交互系統(tǒng)及其工作方法，其中該系統(tǒng)包括處理器，其與ar/vr頭顯裝置和視頻采集裝置分別相連；ar/vr頭顯裝置上設(shè)置有眼動(dòng)追蹤傳感器和角運(yùn)動(dòng)傳感器，眼動(dòng)追蹤傳感器和角運(yùn)動(dòng)傳感器分別用于實(shí)時(shí)捕捉眼部活動(dòng)信息和實(shí)時(shí)采集ar/vr頭顯裝置的當(dāng)前運(yùn)動(dòng)狀態(tài)且均傳送至處理器；視頻采集裝置用于采集眼部視線范圍內(nèi)的場景圖像并傳送至處理器。

3、上述專利提高了基于眼動(dòng)追蹤的人機(jī)交互系統(tǒng)的功能可見性，讓用戶能夠很容易發(fā)現(xiàn)并使用，可見性通過這種方式自然而然地引導(dǎo)人們正確地完成任務(wù)。

4、但是部分現(xiàn)有的眼動(dòng)追蹤交互系統(tǒng)在使用的時(shí)候，針對(duì)模擬環(huán)境下的眼動(dòng)追蹤分析，在許多模擬訓(xùn)練系統(tǒng)中，單一地對(duì)采集的數(shù)據(jù)進(jìn)行識(shí)別，如何精確地評(píng)估模擬人員的行為表現(xiàn)與操作效果，成為了提升訓(xùn)練質(zhì)量的關(guān)鍵問題，其次在傳統(tǒng)的模擬訓(xùn)練評(píng)估中，主要依賴于一些直接的操作反饋數(shù)據(jù)，如操作完成時(shí)間、操作結(jié)果的準(zhǔn)確性等較為宏觀的指標(biāo)。然而，這些方法往往無法深入到模擬人員的視覺信息處理過程中，而視覺信息處理是人類認(rèn)知和操作行為的重要組成部分。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于眼動(dòng)追蹤的人機(jī)交互系統(tǒng)及其方法，解決了不能深入到模擬人員的視覺信息處理，進(jìn)一步地不能精準(zhǔn)地評(píng)估模擬人員的行為表現(xiàn)與操作的問題。

2、為實(shí)現(xiàn)以上目的，本發(fā)明通過以下技術(shù)方案予以實(shí)現(xiàn)：一種基于眼動(dòng)追蹤的人機(jī)交互系統(tǒng)，包括：

3、眼動(dòng)數(shù)據(jù)采集模塊，用于對(duì)模擬環(huán)境下的模擬人員的眼動(dòng)數(shù)據(jù)進(jìn)行采集，同時(shí)將采集的眼動(dòng)數(shù)據(jù)傳輸?shù)阶⒁朁c(diǎn)分布識(shí)別模塊和眼動(dòng)掃視識(shí)別模塊；

4、注視點(diǎn)分布識(shí)別模塊，用于根據(jù)眼動(dòng)數(shù)據(jù)采集模塊傳輸?shù)难蹌?dòng)數(shù)據(jù)對(duì)模擬人員的注視點(diǎn)分布情況進(jìn)行分析，得到關(guān)鍵區(qū)域和非關(guān)鍵區(qū)域，同時(shí)對(duì)關(guān)鍵區(qū)域?qū)?yīng)的注視點(diǎn)平均持續(xù)時(shí)間進(jìn)行計(jì)算，進(jìn)一步地對(duì)關(guān)鍵區(qū)域的不同關(guān)注程度進(jìn)行分析，并生成關(guān)注度信息，同時(shí)將關(guān)注度信息傳輸?shù)阶R(shí)別信息輸出模塊；

5、眼動(dòng)掃視識(shí)別模塊，用于根據(jù)獲取的眼動(dòng)數(shù)據(jù)進(jìn)行掃視分析，對(duì)模擬人員的掃視軌跡進(jìn)行分析，并對(duì)掃視區(qū)域進(jìn)行劃分得到分割區(qū)域，同時(shí)基于分割區(qū)域的掃視速度進(jìn)行分類得到預(yù)超區(qū)域和慢標(biāo)區(qū)域，分別對(duì)預(yù)超區(qū)域和慢標(biāo)區(qū)域的掃視點(diǎn)對(duì)應(yīng)的掃視距離進(jìn)行計(jì)算，并對(duì)掃視點(diǎn)篩選得到有效掃視點(diǎn)，同時(shí)根據(jù)有效掃視點(diǎn)計(jì)算對(duì)應(yīng)區(qū)域的調(diào)節(jié)掃視速度，接著對(duì)掃視速度進(jìn)行調(diào)節(jié)生成掃視調(diào)節(jié)信息，并將掃視調(diào)節(jié)信息傳輸?shù)阶R(shí)別信息輸出模塊；

6、效果評(píng)估分析模塊，用于根據(jù)獲取的掃視調(diào)節(jié)信息和關(guān)注度信息來進(jìn)行對(duì)應(yīng)的模擬效果評(píng)估，同時(shí)生成評(píng)估識(shí)別信息，并將評(píng)估識(shí)別信息傳輸?shù)阶R(shí)別信息輸出模塊。

7、識(shí)別信息輸出模塊，該模塊用于將得到的評(píng)估識(shí)別信息傳輸至對(duì)應(yīng)的模擬器終端。

8、作為本發(fā)明的進(jìn)一步方案：所述注視點(diǎn)分布識(shí)別模塊得到關(guān)鍵區(qū)域和非關(guān)鍵區(qū)域的具體方式為：

9、獲取模擬人員的眼動(dòng)數(shù)據(jù)，同時(shí)對(duì)模擬人員對(duì)應(yīng)的注視點(diǎn)位置和持續(xù)時(shí)間進(jìn)行可視化展示，并根據(jù)不同區(qū)域顏色和注視點(diǎn)數(shù)量來進(jìn)行聚類分析，且具體的聚類分析方式為：將顏色越鮮艷、停留時(shí)間越長的區(qū)域標(biāo)記為關(guān)鍵區(qū)域，將顏色越暗淡、停留時(shí)間短的區(qū)域標(biāo)記為非關(guān)鍵區(qū)域。

10、作為本發(fā)明的進(jìn)一步方案：所述注視點(diǎn)分布識(shí)別模塊生成關(guān)注度信息的具體方式為：

11、對(duì)關(guān)鍵區(qū)域進(jìn)行標(biāo)號(hào)記作i，且i=1、2、…、j，其中j表示關(guān)鍵區(qū)域的數(shù)量，同時(shí)對(duì)關(guān)鍵區(qū)域中的注視點(diǎn)進(jìn)行獲取，并獲取注視點(diǎn)對(duì)應(yīng)的持續(xù)時(shí)間，接著計(jì)算關(guān)鍵區(qū)域所有注視點(diǎn)的平均持續(xù)時(shí)間記作ti，以此類推對(duì)所有關(guān)鍵區(qū)域的平均持續(xù)時(shí)間進(jìn)行計(jì)算；

12、同時(shí)將根據(jù)計(jì)算得到的關(guān)鍵區(qū)域平均持續(xù)時(shí)間對(duì)關(guān)鍵區(qū)域進(jìn)行分類處理，將所有關(guān)鍵區(qū)域平均持續(xù)時(shí)間進(jìn)行均值計(jì)算得到均標(biāo)值，接著將關(guān)鍵區(qū)域平均持續(xù)時(shí)間與均標(biāo)值比較；

13、將平均持續(xù)時(shí)間大于均標(biāo)值的關(guān)鍵區(qū)域分類為復(fù)雜性區(qū)域，將平均持續(xù)時(shí)間小于均標(biāo)值的關(guān)鍵區(qū)域分類為簡單性區(qū)域，同時(shí)生成關(guān)注度信息，并將關(guān)注度信息傳輸?shù)叫Чu(píng)估分析模塊。

14、作為本發(fā)明的進(jìn)一步方案：所述眼動(dòng)掃視識(shí)別模塊對(duì)掃視區(qū)域進(jìn)行劃分得到分割區(qū)域的具體方式為：

15、接著按照模擬人員的掃視軌跡對(duì)相應(yīng)的掃視區(qū)域進(jìn)行劃分，以掃視軌跡的轉(zhuǎn)折點(diǎn)為分界點(diǎn)對(duì)掃視區(qū)域進(jìn)行劃分得到分割區(qū)域，同時(shí)對(duì)分割區(qū)域進(jìn)行標(biāo)號(hào)記作a，且a=1、2、…、b，其中b表示分割區(qū)域的數(shù)量。

16、作為本發(fā)明的進(jìn)一步方案：所述眼動(dòng)掃視識(shí)別模塊基于分割區(qū)域的掃視速度進(jìn)行分類得到預(yù)超區(qū)域和慢標(biāo)區(qū)域的具體方式為：

17、對(duì)分割區(qū)域a對(duì)應(yīng)的掃視軌跡進(jìn)行獲取，同時(shí)獲取掃視軌跡對(duì)應(yīng)的掃視速度，并獲取分割區(qū)域a對(duì)應(yīng)的標(biāo)準(zhǔn)數(shù)值，接著將分割區(qū)域的掃視速度與標(biāo)準(zhǔn)數(shù)值進(jìn)行比較；

18、若分割區(qū)域的掃視速度大于標(biāo)準(zhǔn)數(shù)值，則將對(duì)應(yīng)的分割區(qū)域標(biāo)記為預(yù)超區(qū)域，反之若分割區(qū)域的掃視速度小于標(biāo)準(zhǔn)數(shù)值，則將對(duì)應(yīng)的分割區(qū)域標(biāo)記為慢標(biāo)區(qū)域，且對(duì)預(yù)超區(qū)域和慢標(biāo)區(qū)域進(jìn)行分析處理。

19、作為本發(fā)明的進(jìn)一步方案：所述眼動(dòng)掃視識(shí)別模塊對(duì)預(yù)超區(qū)域和慢標(biāo)區(qū)域進(jìn)行分析處理的具體方式為：

20、以預(yù)超區(qū)域?yàn)槔M(jìn)行分析，獲取預(yù)超區(qū)域中所有的掃視點(diǎn)并記作o，且o=1、2、…、p，其中p表示掃視點(diǎn)的數(shù)量，接著以預(yù)超區(qū)域的中心點(diǎn)為原點(diǎn)建立對(duì)應(yīng)的二維平面坐標(biāo)系，同時(shí)對(duì)掃視點(diǎn)o的起始點(diǎn)和結(jié)束點(diǎn)的坐標(biāo)進(jìn)行獲取記作（xo1，yo1）和（xo2，yo2），并根據(jù)歐幾里得距離公式計(jì)算掃視點(diǎn)o對(duì)應(yīng)的掃視距離；

21、以此類推計(jì)算得到所有的掃視點(diǎn)距離，同時(shí)對(duì)預(yù)超區(qū)域內(nèi)的標(biāo)準(zhǔn)量進(jìn)行獲取，并根據(jù)標(biāo)準(zhǔn)量對(duì)預(yù)超區(qū)域內(nèi)掃視點(diǎn)進(jìn)行分類得到有效掃視點(diǎn)和無效掃視點(diǎn)，將掃視點(diǎn)o對(duì)應(yīng)的起始點(diǎn)坐標(biāo)和結(jié)束點(diǎn)坐標(biāo)分別與標(biāo)準(zhǔn)量進(jìn)行比較，若掃視點(diǎn)o中存在任一組坐標(biāo)不滿足標(biāo)準(zhǔn)量，則將對(duì)應(yīng)的掃視點(diǎn)分類為無效掃視點(diǎn)，反之若掃視點(diǎn)o的兩組坐標(biāo)均滿足標(biāo)準(zhǔn)量，則將對(duì)應(yīng)的掃視點(diǎn)分類為有效掃視點(diǎn)，以此類推對(duì)慢標(biāo)區(qū)域進(jìn)行分析；

22、根據(jù)有效掃視點(diǎn)計(jì)算預(yù)超區(qū)域?qū)?yīng)的標(biāo)準(zhǔn)掃視距離，且具體的計(jì)算方式為，其中u為有效掃視點(diǎn)的數(shù)量，并將標(biāo)準(zhǔn)掃視距離dz與標(biāo)準(zhǔn)數(shù)值中的掃視距離進(jìn)行比值計(jì)算得到調(diào)節(jié)占比，同時(shí)以調(diào)節(jié)占比為標(biāo)準(zhǔn)對(duì)預(yù)超區(qū)域的掃視速度進(jìn)行調(diào)節(jié)，并生成對(duì)應(yīng)的掃視調(diào)節(jié)信息。

23、作為本發(fā)明的進(jìn)一步方案：所述效果評(píng)估分析模塊生成評(píng)估識(shí)別信息的具體方式為：

24、根據(jù)得到的掃視調(diào)節(jié)信息和關(guān)注度信息進(jìn)行相同的模擬操作，同時(shí)對(duì)模擬操作進(jìn)行評(píng)估分析，并將模擬操作與標(biāo)準(zhǔn)評(píng)估信息進(jìn)行比較分析，同時(shí)生成評(píng)估識(shí)別信息。

25、作為本發(fā)明的進(jìn)一步方案：一種基于眼動(dòng)追蹤的人機(jī)交互方法，該方法具體包括以下步驟：

26、s101：對(duì)模擬環(huán)境下模擬人員的眼動(dòng)數(shù)據(jù)進(jìn)行采集，并進(jìn)行后續(xù)的注視點(diǎn)分布識(shí)別和眼動(dòng)掃視識(shí)別；

27、s102，根據(jù)眼動(dòng)數(shù)據(jù)對(duì)注視點(diǎn)位置和持續(xù)時(shí)間進(jìn)行可視化展示，并對(duì)模擬區(qū)域進(jìn)行分類得到關(guān)鍵區(qū)域和非關(guān)鍵區(qū)域，同時(shí)根據(jù)關(guān)鍵區(qū)域的平均持續(xù)數(shù)據(jù)進(jìn)行分類得到復(fù)雜性區(qū)域和簡單性區(qū)域，并生成關(guān)注度信息；

28、s103，對(duì)模擬人員的掃視軌跡進(jìn)行分析，并對(duì)掃視區(qū)域進(jìn)行劃分得到分割區(qū)域，同時(shí)基于分割區(qū)域的掃視速度進(jìn)行分類得到預(yù)超區(qū)域和慢標(biāo)區(qū)域；

29、s104，分別對(duì)預(yù)超區(qū)域和慢標(biāo)區(qū)域的掃視點(diǎn)對(duì)應(yīng)的掃視距離進(jìn)行計(jì)算，并對(duì)掃視點(diǎn)篩選得到有效掃視點(diǎn)，同時(shí)根據(jù)有效掃視點(diǎn)計(jì)算對(duì)應(yīng)區(qū)域的調(diào)節(jié)掃視速度，接著對(duì)掃視速度進(jìn)行調(diào)節(jié)生成掃視調(diào)節(jié)信息；

30、s105，根據(jù)關(guān)注度信息和掃視調(diào)節(jié)信息進(jìn)行模擬效果評(píng)估并生成評(píng)估識(shí)別信息，同時(shí)將評(píng)估識(shí)別信息傳輸至對(duì)應(yīng)的模擬器終端。

31、本發(fā)明提供了一種基于眼動(dòng)追蹤的人機(jī)交互系統(tǒng)及其方法。與現(xiàn)有技術(shù)相比具備以下有益效果：

32、本發(fā)明通過在特定的模擬環(huán)境下對(duì)模擬人員的眼動(dòng)數(shù)據(jù)進(jìn)行采集，并對(duì)眼動(dòng)數(shù)據(jù)進(jìn)行分析，在分析的過程中通過分析注視點(diǎn)分布，可以了解模擬人員在模擬環(huán)境中對(duì)不同區(qū)域的關(guān)注程度，不同的關(guān)注程度反映了該區(qū)域?qū)τ谀M人員操作和認(rèn)知的重要性，其次掃視軌跡的分析能夠揭示模擬人員的視覺搜索模式，這對(duì)于評(píng)估他們在復(fù)雜模擬環(huán)境中的信息獲取效率至關(guān)重要，基于這些認(rèn)識(shí)，研究人員開始探索如何將眼動(dòng)追蹤技術(shù)與模擬訓(xùn)練系統(tǒng)相結(jié)合，構(gòu)建出更為精確和有效的人機(jī)交互評(píng)估系統(tǒng)。