本發(fā)明涉及人機(jī)交互、視覺認(rèn)知、社會計(jì)算等領(lǐng)域，具體涉及一種基于回憶與標(biāo)注的眼動跟蹤方法和系統(tǒng)。

背景技術(shù)：

目前許多科學(xué)研究和商業(yè)應(yīng)用中，例如心理學(xué)、廣告設(shè)計(jì)、人類工效學(xué)等方面，人們需要研究用戶在觀察事物時(shí)的眼動行為，例如注視點(diǎn)位置與運(yùn)動軌跡，用以進(jìn)一步分析視覺注意力的時(shí)空分布情況。

現(xiàn)有方法主要采用光學(xué)式眼動跟蹤方法來獲取注視點(diǎn)等眼動數(shù)據(jù)，其主要過程是使用攝像裝置拍攝人眼圖像，運(yùn)用圖像處理的方法提取眼部圖像相關(guān)特征，進(jìn)而建立眼部圖像特征與眼動行為之間的映射關(guān)系，最終通過計(jì)算得到注視點(diǎn)坐標(biāo)等具體數(shù)據(jù)。例如專利CN201010033780.1公開了一種使用單個(gè)攝像頭、單光源獲取用戶注視點(diǎn)數(shù)據(jù)的方法和系統(tǒng)。

但是這類方法主要存在以下缺陷：第一，眼動跟蹤系統(tǒng)結(jié)構(gòu)復(fù)雜、軟硬件成本高，難以推廣。第二，眼動跟蹤系統(tǒng)使用過程復(fù)雜，用戶必須在專業(yè)技術(shù)人員的指導(dǎo)下進(jìn)行，并且在采集數(shù)據(jù)前，用戶需要執(zhí)行數(shù)據(jù)標(biāo)定過程，而在數(shù)據(jù)采集過程中，用戶還需要盡量減少頭部運(yùn)動。第三，眼動跟蹤系統(tǒng)的數(shù)據(jù)采集效率低，一個(gè)眼動跟蹤系統(tǒng)每次同時(shí)只能采集一位用戶的眼動數(shù)據(jù)，在加上使用過程復(fù)雜，無法在較短時(shí)間內(nèi)采集到大量、有效的眼動數(shù)據(jù)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供了一種基于回憶和標(biāo)注的眼動跟蹤方法和系統(tǒng)，通過引導(dǎo)用戶回憶、標(biāo)注眼動行為，有效記錄注視點(diǎn)坐標(biāo)等眼動數(shù)據(jù)，克服了傳統(tǒng)眼動跟蹤方法的不足，具有成本低、使用方便、數(shù)據(jù)采集效率高等特點(diǎn)。

一種基于回憶和標(biāo)注的眼動跟蹤方法，包括如下步驟：

(1)定義用戶進(jìn)行回憶和標(biāo)注的方式，設(shè)置相應(yīng)的任務(wù)。所述回憶和標(biāo)注的方式有三種。方式一，用戶觀察圖像刺激源，然后隱藏圖像刺激源，用戶回憶在觀察前述圖像刺激源時(shí)產(chǎn)生的第一個(gè)注視點(diǎn)的位置，并通過單擊鼠標(biāo)左鍵在顯示屏上將其位置標(biāo)注出來；方式二，用戶觀察圖像刺激源，然后隱藏圖像刺激源，用戶回憶在觀察前述圖像刺激源時(shí)產(chǎn)生的最后一個(gè)注視點(diǎn)的位置，然后通過單擊鼠標(biāo)左鍵在顯示屏上將其位置標(biāo)注出來；方式三，用戶觀察圖像刺激源，然后隱藏圖像刺激源，用戶回憶在觀察前述圖像刺激源時(shí)產(chǎn)生的多個(gè)注視點(diǎn)位置及其先后順序，然后通過單擊鼠標(biāo)左鍵，在顯示屏上將其位置依次標(biāo)注出來。所述任務(wù)包括三種，分別對應(yīng)于前述的三種方式，即任務(wù)一、任務(wù)二和任務(wù)三。

(2)在顯示屏上呈現(xiàn)任務(wù)說明，向用戶發(fā)布任務(wù)。通過文字和配圖方式，向用戶描述任務(wù)的具體執(zhí)行過程。

(3)在顯示屏上呈現(xiàn)圖像刺激源。

(4)用戶根據(jù)任務(wù)要求，觀察顯示屏上的圖像刺激源。結(jié)束顯示后，隱藏圖像刺激源。

(5)用戶根據(jù)任務(wù)要求，回憶任務(wù)執(zhí)行過程中所產(chǎn)生的注視點(diǎn)，在顯示屏上標(biāo)注注視點(diǎn)的坐標(biāo)位置及先后順序。如果進(jìn)入訓(xùn)練模式，轉(zhuǎn)到步驟(6)；如果進(jìn)入正式模式，則轉(zhuǎn)到步驟(8)。

(6)用戶進(jìn)入訓(xùn)練模式時(shí)，目的是熟悉任務(wù)執(zhí)行過程，提高回憶與標(biāo)注的完成效率、質(zhì)量。此時(shí)，用戶標(biāo)注的數(shù)據(jù)被暫時(shí)記錄，但不作為最終數(shù)據(jù)加以記錄和保存。訓(xùn)練模式呈現(xiàn)給用戶的圖像刺激源，在正式模式中不會再呈現(xiàn)給用戶。

(7)評價(jià)用戶的訓(xùn)練績效。用戶通過訓(xùn)練之后，評價(jià)訓(xùn)練績效。如果用戶可以不在實(shí)驗(yàn)人員協(xié)助下，獨(dú)立執(zhí)行各種任務(wù)，在任務(wù)執(zhí)行過程中不存在較大的停頓時(shí)間，且能準(zhǔn)確的回憶和標(biāo)注注視點(diǎn)及其先后順序，則認(rèn)為用戶已經(jīng)具有較好的績效。重復(fù)步驟(1)-(7)，直到用戶具有前述的較好績效。

(8)用戶進(jìn)入正式測試模式時(shí)，記錄和保存用戶標(biāo)注的注視點(diǎn)位置及其先后順序數(shù)據(jù)。

本發(fā)明還提供了一種使用本發(fā)明方法的系統(tǒng)，包括以下模塊：

任務(wù)設(shè)置模塊，用于添加、修改、刪除任務(wù)實(shí)例；所述任務(wù)實(shí)例是指每一個(gè)可供用戶執(zhí)行的任務(wù)過程。

任務(wù)執(zhí)行模塊，用于顯示任務(wù)說明、顯示和隱藏圖像刺激源，引導(dǎo)用戶完成回憶和標(biāo)注操作。

數(shù)據(jù)記錄模塊，用于記錄用戶標(biāo)注的注視點(diǎn)位置及其先后順序數(shù)據(jù)。

數(shù)據(jù)管理模塊，用于保存、查看、刪除、輸出上述眼動數(shù)據(jù)。

本發(fā)明的優(yōu)點(diǎn)是：(1)不需要依靠其他設(shè)備，例如攝像設(shè)備，就能采集眼動數(shù)據(jù)；(2)不同于傳統(tǒng)的眼動跟蹤設(shè)備需要進(jìn)行復(fù)雜的標(biāo)定操作，本發(fā)明中，用戶操作簡單，只需要簡單的鼠標(biāo)點(diǎn)擊操作；(3)不同于傳統(tǒng)的眼動跟蹤設(shè)備，要求用戶與計(jì)算機(jī)屏幕保持一定的距離，頭部保持靜止，眼睛正視計(jì)算機(jī)屏幕，本發(fā)明不要求用戶保持特定的姿勢，用戶舒適程度高；(4)眼動數(shù)據(jù)采集效率高；(5)眼動數(shù)據(jù)采集精度高；(6)經(jīng)濟(jì)成本低。

附圖說明

圖1為本發(fā)明方法的基本流程示意圖；

圖2為本發(fā)明中過渡型圖像刺激源和測試型圖像刺激源的設(shè)置示意圖；

圖3為本發(fā)明中計(jì)算測試型圖像刺激源中視覺顯著對象與網(wǎng)格圖像上標(biāo)注的注視點(diǎn)距離計(jì)算示意圖；

圖4為本發(fā)明基于回憶和標(biāo)注的眼動跟蹤系統(tǒng)的基本邏輯結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合附圖，對本發(fā)明一種基于回憶和標(biāo)注的眼動跟蹤方法和系統(tǒng)進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

請參閱圖1，本發(fā)明實(shí)施例提供的一種基于回憶和標(biāo)注的眼動跟蹤方法基本流程示意圖，主要包括步驟：

(1)定義用戶進(jìn)行回憶和標(biāo)注的方式，設(shè)置相應(yīng)的任務(wù)。所述回憶和標(biāo)注的方式有三種。方式一，用戶觀察圖像刺激源，然后隱藏圖像刺激源，用戶回憶在觀察前述圖像刺激源時(shí)產(chǎn)生的第一個(gè)注視點(diǎn)的位置，并通過單擊鼠標(biāo)左鍵在顯示屏上將其位置標(biāo)注出來；方式二，用戶觀察圖像刺激源，然后隱藏圖像刺激源，用戶回憶在觀察前述圖像刺激源時(shí)產(chǎn)生的最后一個(gè)注視點(diǎn)的位置，然后通過單擊鼠標(biāo)左鍵在顯示屏上將其位置標(biāo)注出來；方式三，用戶觀察圖像刺激源，然后隱藏圖像刺激源，用戶回憶在觀察前述圖像刺激源時(shí)產(chǎn)生的多個(gè)注視點(diǎn)位置及其先后順序，然后通過單擊鼠標(biāo)左鍵，在顯示屏上將其位置依次標(biāo)注出來。所述任務(wù)包括三種，分別對應(yīng)于前述的三種方式，即任務(wù)一、任務(wù)二和任務(wù)三。

(2)在顯示屏上呈現(xiàn)任務(wù)說明，向用戶發(fā)布任務(wù)。通過文字和配圖方式，向用戶描述任務(wù)的具體要求、需要執(zhí)行的操作步驟、過程與注意事項(xiàng)等。

(3)在顯示屏上顯示圖像刺激源。圖像刺激源分為兩類，包括過渡型圖像刺激源和測試型圖像刺激源。這兩類圖像刺激源將依次在顯示屏上顯示。具體的，如圖2所示，過渡型圖像刺激源是灰色填充的圖像，其大小將覆蓋整個(gè)顯示屏，并且在該圖像的頂點(diǎn)位置顯示一個(gè)黑色實(shí)心圓，該實(shí)心圓將隨機(jī)出現(xiàn)在該圖像四個(gè)頂點(diǎn)中的某個(gè)頂點(diǎn)上。當(dāng)前一個(gè)測試型圖像刺激源顯示結(jié)束后，由于視覺暫留現(xiàn)象導(dǎo)致用戶的注視點(diǎn)位置還停留在屏幕上與之前測試型圖像刺激源相對應(yīng)的某個(gè)位置，所以該位置就可能成為用戶在觀察下一個(gè)測試型圖像刺激源的注視點(diǎn)起始位置。因此，為了消除該影響，利用過渡型圖像刺激源將用戶在結(jié)束觀察前一個(gè)測試型圖像刺激源后的注視點(diǎn)吸引到上述黑色實(shí)心圓位置附近，而由于該黑色實(shí)心圓位置隨機(jī)出現(xiàn)在屏幕四個(gè)頂點(diǎn)位置之一，在測試型圖像刺激源顯示區(qū)域之外，所以不會對用戶觀察下一個(gè)測試型圖像刺激源時(shí)產(chǎn)生影響。此外，定義過渡型圖像刺激源的顯示時(shí)長為TT(可以設(shè)定，例如為1秒)。然后，顯示屏上隱藏過渡型圖像刺激源，開始顯示測試型圖像刺激源。測試型圖像刺激源是事先選取的，用于獲取用戶在這些圖像上眼動數(shù)據(jù)的圖像。測試型圖像刺激源的面積小于過渡型圖像刺激源面積，而且這兩者的幾何中心重合。定義測試型圖像刺激源的顯示時(shí)長為TA(可以設(shè)定，例如為1秒)。

(4)用戶根據(jù)任務(wù)要求，觀察顯示屏上的圖像刺激源。過渡型圖像刺激源和測試型圖像刺激源分別在TT、TA時(shí)間后結(jié)束顯示，在顯示屏上隱藏。

(5)用戶根據(jù)任務(wù)要求，回憶任務(wù)執(zhí)行過程中所產(chǎn)生的注視點(diǎn)。此時(shí)顯示屏上顯示一個(gè)網(wǎng)格圖像，共有M×N個(gè)方格(可以設(shè)定，例如M＝N＝10)，每個(gè)方格的大小為g×g像素(可以設(shè)定，例如g＝15像素)。該網(wǎng)格圖像的面積與測試型圖像刺激源的面積相等。網(wǎng)格為用戶提供視覺線索，使其能準(zhǔn)確的回憶和標(biāo)注注視點(diǎn)位置。根據(jù)回憶，用戶用鼠標(biāo)在網(wǎng)格圖像上相應(yīng)網(wǎng)格中單擊鼠標(biāo)左鍵，標(biāo)注所回憶的注視點(diǎn)位置。如果需要回憶多個(gè)注視點(diǎn)，則用戶根據(jù)回憶的順序，依次用鼠標(biāo)在網(wǎng)格圖像上相應(yīng)網(wǎng)格中單擊鼠標(biāo)左鍵，標(biāo)注多個(gè)注視點(diǎn)。如果進(jìn)入訓(xùn)練模式，執(zhí)行下一步驟(7)；如果進(jìn)入正式測試模式，則轉(zhuǎn)到步驟(8)。

(6)用戶進(jìn)入訓(xùn)練模式。訓(xùn)練的目的是熟悉任務(wù)執(zhí)行過程，提高回憶和標(biāo)注的完成效率和準(zhǔn)確性。此時(shí)，用戶標(biāo)注的數(shù)據(jù)被暫時(shí)記錄，但不作為最終數(shù)據(jù)加以記錄和保存。訓(xùn)練模式呈現(xiàn)給用戶的測試型圖像刺激源，在正式測試模式中不會再呈現(xiàn)給用戶觀察。

(7)評價(jià)用戶的訓(xùn)練績效。用戶完成訓(xùn)練之后，評價(jià)訓(xùn)練績效。如果用戶可以不在實(shí)驗(yàn)人員協(xié)助下，獨(dú)立執(zhí)行各種任務(wù)，進(jìn)行注視點(diǎn)回憶和標(biāo)注所需的時(shí)長不存在明顯超時(shí)；同時(shí)，能準(zhǔn)確的回憶和標(biāo)注注視點(diǎn)位置及其先后順序，則認(rèn)為用戶已經(jīng)具有較好的績效。具體的，如圖3所示，將步驟(3)中測試型圖像刺激源中預(yù)先設(shè)置的視覺顯著對象的幾何中心點(diǎn)定義為MO；用戶在步驟(5)中針對該測試型圖像刺激源進(jìn)行注視點(diǎn)回憶后，將用戶用鼠標(biāo)點(diǎn)擊網(wǎng)格圖像中相應(yīng)網(wǎng)格的幾何中心點(diǎn)定義為點(diǎn)MP，計(jì)算點(diǎn)MO和點(diǎn)MP的幾何距離，設(shè)為D。如果D小于設(shè)定的閾值Kd(可以設(shè)定，例如Kd＝50像素)，則認(rèn)為用戶能準(zhǔn)確的回憶和標(biāo)注注視點(diǎn)。此外，記錄從顯示屏顯示網(wǎng)格圖像，到用戶對單個(gè)測試型圖像刺激源完成所有注視點(diǎn)標(biāo)注的時(shí)間，定義為TM。如果TM小于設(shè)定的閾值Kt(可以設(shè)定，例如Kt＝30秒)，則認(rèn)為用戶能順利的完成回憶與標(biāo)注任務(wù)，不存在明顯超時(shí)。當(dāng)用戶在訓(xùn)練模式下，針對具體的任務(wù)要求，對觀察的測試型圖像刺激源進(jìn)行注視點(diǎn)回憶和標(biāo)注時(shí)，能同時(shí)滿足D<Kd和TM<Kt，則認(rèn)為用戶在訓(xùn)練模式下已經(jīng)具有較好的績效，可以進(jìn)入下一步驟(8)開始正式測試。否則，繼續(xù)執(zhí)行步驟(7)，直到用戶的績效滿足前述要求。

(8)用戶進(jìn)入正式測試模式。記錄和保存用戶標(biāo)注的注視點(diǎn)位置及其先后順序數(shù)據(jù)。具體的，當(dāng)用戶執(zhí)行步驟(1)的任務(wù)一和任務(wù)二時(shí)，用戶只回憶和標(biāo)注一個(gè)注視點(diǎn)，此時(shí)記錄用戶用鼠標(biāo)點(diǎn)擊網(wǎng)格圖像中相應(yīng)網(wǎng)格的幾何中心點(diǎn)C，定義其坐標(biāo)為(x,y)。當(dāng)用戶執(zhí)行(1)中的任務(wù)三時(shí)，用戶需要回憶和標(biāo)注多個(gè)注視點(diǎn)，此時(shí)需要記錄用戶使用鼠標(biāo)在顯示屏上點(diǎn)擊的每一個(gè)點(diǎn)C_i(i＝1,2,…,n)的坐標(biāo)(x_i,y_i)，具體的，用戶在T_i時(shí)刻點(diǎn)擊的點(diǎn)記為C_i,在T_i+1時(shí)刻點(diǎn)擊的點(diǎn)記為C_i+1，此時(shí)滿足T_i+1>T_i。

如圖4所示，用于本發(fā)明方法的系統(tǒng)的實(shí)施例提供的一種基于回憶和標(biāo)注的眼動跟蹤系統(tǒng)基本邏輯結(jié)構(gòu)示意圖。為了便于說明，僅僅示出了與本發(fā)明實(shí)施例相關(guān)的部分。該系統(tǒng)中功能模塊/單元可以是硬件模塊/單元、軟件模塊/，包括:

任務(wù)設(shè)置模塊，用于添加、修改、刪除任務(wù)實(shí)例；所述任務(wù)實(shí)例是指每一個(gè)可供用戶執(zhí)行的任務(wù)過程。具體的，在添加一個(gè)任務(wù)實(shí)例時(shí)，可以添加任務(wù)說明、過渡型圖像刺激源和測試型圖像刺激源、網(wǎng)格圖像，并對單個(gè)過渡型圖像刺激源和測試型圖像刺激源的顯示時(shí)長進(jìn)行設(shè)置。類似的，可以對一個(gè)任務(wù)實(shí)例進(jìn)行修改，即修改任務(wù)說明、過渡型圖像刺激源和測試型圖像刺激源、網(wǎng)格圖像，單個(gè)過渡型圖像刺激源和測試型圖像刺激源的顯示時(shí)長進(jìn)行修改。可以對一個(gè)任務(wù)實(shí)例進(jìn)行刪除，使其不在系統(tǒng)中存在。

任務(wù)執(zhí)行模塊，用于顯示任務(wù)說明、單個(gè)過渡型圖像刺激源和測試型圖像刺激源、網(wǎng)格圖像，引導(dǎo)、支持用戶完成回憶和標(biāo)注操作。具體的，當(dāng)一個(gè)任務(wù)實(shí)例執(zhí)行時(shí)，顯示屏上依次顯示任務(wù)說明、過渡型圖像刺激源和測試型圖像刺激源，最后顯示網(wǎng)格圖像，引導(dǎo)用戶完成注視點(diǎn)的回憶和標(biāo)注。如存在多個(gè)任務(wù)實(shí)例，則任務(wù)執(zhí)行模塊將循環(huán)前述工作，直到所有任務(wù)實(shí)例執(zhí)行完畢。

數(shù)據(jù)記錄模塊，用于記錄用戶回憶和標(biāo)注的眼動數(shù)據(jù)。具體的，在訓(xùn)練模式，每個(gè)任務(wù)實(shí)例中的用戶標(biāo)注的眼動數(shù)據(jù)被臨時(shí)存儲單元暫時(shí)保存，然后用于步驟(7)中評價(jià)用戶的訓(xùn)練績效，待訓(xùn)練績效評價(jià)完成后，數(shù)據(jù)被存儲單元刪除。在正式測試模式，每個(gè)任務(wù)實(shí)例中用戶標(biāo)注的眼動數(shù)據(jù)被臨時(shí)存儲單元暫時(shí)保存，直到所有任務(wù)實(shí)例執(zhí)行結(jié)束以后，數(shù)據(jù)才保存到長期存儲單元(例如數(shù)據(jù)庫)保存。

數(shù)據(jù)管理模塊，用于查看、刪除、輸出眼動數(shù)據(jù)。具體的，可以根據(jù)任務(wù)實(shí)例執(zhí)行的不同用戶、任務(wù)執(zhí)行的啟始時(shí)刻來索引眼動數(shù)據(jù)，顯示于顯示屏上供用戶查看?？梢赃x擇刪除不同用戶、不同任務(wù)實(shí)例的眼動數(shù)據(jù)進(jìn)行刪除，刪除后，眼動數(shù)據(jù)不再保存于前述的長期存儲單元中?？梢詫⒀蹌訑?shù)據(jù)從前述的長期存儲單元中輸出到外部文件、外部存儲器中做進(jìn)一步處理。

本發(fā)明實(shí)施例中各個(gè)模塊可以集成于一體，也可以分離部署,或進(jìn)一步拆分成多個(gè)子模塊。各個(gè)模塊可以按照實(shí)施例描述分布于實(shí)施例的系統(tǒng)中，也可以進(jìn)行相應(yīng)變化位于不同于本發(fā)明實(shí)施例的一個(gè)或多個(gè)系統(tǒng)中。

本領(lǐng)域的技術(shù)人員應(yīng)該明白，本發(fā)明實(shí)施例可提供成為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。

本發(fā)明實(shí)施例的各模塊或各步驟可以用通用的計(jì)算裝置來實(shí)現(xiàn)，可選地，它們可以用計(jì)算裝置可執(zhí)行的程序代碼來實(shí)現(xiàn)，從而可以將它們存儲在存儲裝置中由計(jì)算裝置來執(zhí)行，或者將它們分別制作成各個(gè)集成電路模塊，或者將它們中的多個(gè)模塊或步驟制作成單個(gè)集成電路模塊來實(shí)現(xiàn)。因此，本發(fā)明實(shí)施例不限制于任何特定的硬件和軟件結(jié)合。

以上公開的僅為本發(fā)明的具體實(shí)施例，但是本發(fā)明并非局限于此，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進(jìn)行各種改動和變型而不脫離本發(fā)明的精神和范圍。顯然這些改動和變型均應(yīng)屬于本發(fā)明要求的保護(hù)范圍保護(hù)內(nèi)。