基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)自動獲取方法
【專利摘要】本發(fā)明公布一種基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)自動獲取方法，該方法將眼動模式數(shù)據(jù)獲取過程分為學(xué)習(xí)階段和測試階段，在學(xué)習(xí)階段得到受試者注視模型，在測試階段得到受試者眼動特征；具體地，通過受試者注視計(jì)算機(jī)屏幕；由操作者對受試者作初步判斷確定程序運(yùn)行參數(shù)并輸入到計(jì)算機(jī)中；在學(xué)習(xí)階段獲得受試者單眼的注視模型，建立分類器h；在測試階段，得到受試者在每一特定頻率的光柵刺激時的眼動特征作為受試者的測試樣本集；利用分類器h對測試樣本集進(jìn)行SVM分類預(yù)測得到預(yù)測值，進(jìn)行對比得到受試者的眼動模式數(shù)據(jù)。該方法能降低獲取眼動模式數(shù)據(jù)的成本，提高數(shù)據(jù)獲取效率和準(zhǔn)確率。
【專利說明】基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)自動獲取方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，涉及一種自動的人臉人眼位置識別和眼動特征數(shù)據(jù)獲取方法，尤其涉及一種基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)自動獲取方法。

【背景技術(shù)】
[0002]眼動(眼睛運(yùn)動)模式能夠?yàn)橐曈X加工提供大量信息。在實(shí)際應(yīng)用中，例如，針對不具備完整語言表達(dá)和肢體表達(dá)能力、智力及識別力發(fā)育水平低而注意力不能較長時間保持集中的人群如嬰幼兒進(jìn)行視力篩查時，需要獲得其眼動模式數(shù)據(jù)。目前，針對這種情況，眼動模式數(shù)據(jù)的獲取通常采用優(yōu)先注視法，該方法需要檢查者向受試者展示光柵紙板，通過紙板中的小孔觀察受試者眼睛或頭的轉(zhuǎn)動方向，來判斷其與紙板上的光柵圖案正確與否，從而得到受試者的眼動模式數(shù)據(jù)，該過程是人工進(jìn)行的，不能通過計(jì)算機(jī)方法來自動的進(jìn)行判斷，因此十分費(fèi)時費(fèi)力。其他的方法還包括視動性眼震、視覺誘發(fā)電位等方法，但因大部分檢查方法操作更加困難繁瑣，一直難以普及。因此，現(xiàn)行的眼動模式數(shù)據(jù)獲取方法不能實(shí)現(xiàn)自動化，數(shù)據(jù)獲取效率低下，獲取數(shù)據(jù)的準(zhǔn)確率不高，難以做到合理、快捷地得到眼動模式數(shù)據(jù)結(jié)果。


【發(fā)明內(nèi)容】

[0003]為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)自動獲取方法，該方法利用計(jì)算機(jī)視覺知識，通過機(jī)器學(xué)習(xí)建立受試者的注視模型，再對受試者在測試階段的眼動特征進(jìn)行預(yù)測，從而自動獲得受試者的眼動模式數(shù)據(jù)。該方法能夠降低獲取眼動模式數(shù)據(jù)的成本，提高數(shù)據(jù)獲取效率，保證獲得數(shù)據(jù)的準(zhǔn)確率。
[0004]本發(fā)明提供的技術(shù)方案是:
[0005]一種基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)自動獲取方法，該方法將眼動模式數(shù)據(jù)獲取過程分為學(xué)習(xí)階段和測試階段，通過在學(xué)習(xí)階段得到的受試者注視模型對在測試階段得到的受試者眼動特征進(jìn)行預(yù)測，獲取受試者的眼動模式數(shù)據(jù)，包括如下步驟:
[0006]I)布置眼動模式數(shù)據(jù)獲取環(huán)境，保證在整個眼動模式數(shù)據(jù)獲取過程中，受試者只能注視計(jì)算機(jī)屏幕；
[0007]2)由操作者對受試者作初步判斷確定程序運(yùn)行參數(shù)并將程序運(yùn)行參數(shù)輸入到計(jì)算機(jī)中；程序運(yùn)行參數(shù)包括眼動模式數(shù)據(jù)獲取過程中所呈現(xiàn)光柵刺激的光柵順序模式、所測試的單眼類型和采集圖像的時間間隔；呈現(xiàn)光柵刺激的光柵順序模式為多種，每種光柵順序模式包括多個特定頻率的光柵刺激；所測試的單眼類型包括左眼或右眼；
[0008]3)在學(xué)習(xí)階段，計(jì)算機(jī)根據(jù)程序運(yùn)行參數(shù)呈現(xiàn)圖片，同時標(biāo)定圖片呈現(xiàn)的位置為左或右，依次通過識別受試者的人臉人眼位置、進(jìn)行特征提取和SVM(Support VectorMachine支持向量機(jī))學(xué)習(xí)得到受試者單眼的注視模型，建立分類器h ;
[0009]4)在測試階段，計(jì)算機(jī)根據(jù)程序運(yùn)行參數(shù)呈現(xiàn)光柵刺激，同時標(biāo)定得到每一特定頻率的光柵刺激的位置作為真實(shí)值，通過人眼人臉位置識別得到受試者在每一特定頻率的光柵刺激的注視時段的人臉人眼位置，再通過進(jìn)行特征提取得到受試者在每一特定頻率的光柵刺激時的眼動特征，作為受試者的測試樣本集；
[0010]5)利用步驟3)建立的分類器h對步驟4)中的測試樣本集進(jìn)行SVM分類預(yù)測得到預(yù)測值，將此預(yù)測值與步驟4)中的真實(shí)值進(jìn)行對比，得到受試者注意到的光柵順序模式中光柵刺激的最高頻率，作為受試者的眼動模式數(shù)據(jù)。
[0011]上述基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)自動獲取方法，在步驟5)得到受試者眼動模式數(shù)據(jù)之后，操作者根據(jù)得到數(shù)據(jù)的情況，可以重新進(jìn)行步驟2)?步驟5)的過程，此過程中步驟2)采用的程序運(yùn)行參數(shù)可以與上一過程的步驟2)中的程序運(yùn)行參數(shù)相同；也可以選擇比上一過程的步驟2)中光柵頻率更高的一組程序運(yùn)行參數(shù)進(jìn)行，即此過程采用的程序運(yùn)行參數(shù)中呈現(xiàn)光柵刺激的光柵順序模式為比上一過程中的光柵頻率更高的光柵順序模式；或者采用的程序運(yùn)行參數(shù)中所測試的單眼類型與上一過程中所測試的單眼類型不同。
[0012]上述基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)獲取方法中，進(jìn)一步地，
[0013]步驟I)所述運(yùn)行環(huán)境應(yīng)為安靜、黑暗的環(huán)境，受試者的眼睛與屏幕中心保持水平。在本發(fā)明實(shí)施例中，受試者為嬰幼兒，由家長抱著坐在計(jì)算機(jī)屏幕前，使得受試者的眼睛與屏幕中心水平。
[0014]步驟2)中的程序運(yùn)行參數(shù)還包括受試者圖像數(shù)據(jù)的文件名、測試開始的光柵序號、測試結(jié)束的光柵序號、每一個光柵呈現(xiàn)過程中的初始幀序號、每一個光柵呈現(xiàn)過程中的結(jié)束幀序號和PCA (Principal Component Analysis，主成分分析)降維后的維數(shù)。
[0015]步驟2)所述的呈現(xiàn)光柵刺激的光柵順序模式包括多種模式，每種模式對應(yīng)不同年齡和不同視力情況的受試者，均分為10個頻率段；頻率段對應(yīng)包括的特定頻率為逐漸增加，每一特定頻率的光柵刺激都有回溯，以保證眼動模式數(shù)據(jù)獲取的準(zhǔn)確率。在本發(fā)明實(shí)施例中，所呈現(xiàn)光柵刺激的光柵順序模式為三種，光柵刺激的頻率逐漸增加，每一特定頻率的光柵刺激都有回溯，以保證眼動模式數(shù)據(jù)獲取的準(zhǔn)確率，其中:模式I的10個特定頻率對應(yīng)的頻率(周期 / 厘米)依次為:0.32，0.32，0.64，0.64，1.29，1.29，2.28，2.28，5.14，5.14，適合O?2歲或2歲以上視力明顯有障礙的嬰幼兒；模式2的10個特定頻率對應(yīng)的頻率(周期 / 厘米)依次為:0.43，0.43，0.86，0.86，1.58，1.58，3.43，3.43，6.85，6.85，適合 I ?3歲或3歲以上視力明顯有障礙的嬰幼兒；模式3的10個特定頻率對應(yīng)的頻率(周期/厘米)依次為:2.28，2.28，5.14，5.14，10.28，10.28，13.71，13.71，20.56，20.56，適合 2 歲以上的嬰幼兒。采用不同的光柵順序模式便于簡化數(shù)據(jù)獲取過程，由于操作者可以通過年齡等因素對嬰幼兒受試者的視覺大體狀況做出預(yù)估，通過選用合適的光柵順序模式就能迅速的得到嬰幼兒受試者的眼動模式數(shù)據(jù)。
[0016]步驟3)根據(jù)程序運(yùn)行參數(shù)呈現(xiàn)動畫圖片，具體是按先左后右的順序呈現(xiàn)多次，相鄰兩次圖片呈現(xiàn)之間留有時間間隔，圖片呈現(xiàn)時伴有聲音提示；同時標(biāo)定圖片呈現(xiàn)的位置為左或右。步驟3)中的分類器h具體是根據(jù)標(biāo)定圖片的位置和受試者的單眼注視模型，通過SVM學(xué)習(xí)訓(xùn)練得到，包括受試者單眼向左看和向右看的注視模型。
[0017]步驟4)中根據(jù)程序運(yùn)行參數(shù)呈現(xiàn)光柵刺激具體是左右隨機(jī)出現(xiàn)，兩次光柵刺激呈現(xiàn)之間留有時間間隔；即將要呈現(xiàn)光柵刺激時，播放一段聲音，用于吸引受試者的注意。
[0018]步驟3)學(xué)習(xí)階段和步驟4)測試階段中識別受試者的人臉人眼位置具體都是采用基于haar特征的分類器，對圖像的指定區(qū)域進(jìn)行人臉和人眼檢測，未檢測到則補(bǔ)全或報(bào)告錯誤。
[0019]步驟3)學(xué)習(xí)階段和步驟4)測試階段中的特征提取都包括灰度直方圖計(jì)算和PCA降維；其中，灰度直方圖計(jì)算通過分區(qū)塊的灰度直方圖算法，在利用顏色信息的同時描述眼睛虹膜的位置信息，該分區(qū)塊的灰度直方圖計(jì)算方法包括如下步驟:
[0020]A.首先，得到眼睛檢測框，將其按橫坐標(biāo)等分分割成m個區(qū)塊；
[0021]B.其次，針對分割得到的m個區(qū)塊中的每個區(qū)塊，統(tǒng)計(jì)計(jì)算出該區(qū)塊的直方圖特征向量；
[0022]C.最后，將所有m個區(qū)塊的直方圖特征向量按順序合并得到最終向量。
[0023]其中，m為整數(shù)，取值為17?30。優(yōu)選地，m取值為20。
[0024]眼動模式數(shù)據(jù)獲取方法在學(xué)習(xí)階段和測試階段進(jìn)行特征提取采用時序軌跡，用一段時間上的特征序列來判斷和分類受試者的視覺朝向，通過這種方法得到的特征向量維度非常大，所含的冗余信息也很多，需要通過PCA降維后得到受試者在每一特定頻率的光柵刺激時的眼動特征。因此，步驟3)學(xué)習(xí)階段和步驟4)測試階段中的特征提取還包括對得到的每個區(qū)塊的灰度直方圖特征向量進(jìn)行PCA降維，用于去除通過分區(qū)塊的灰度直方圖計(jì)算方法得到的各區(qū)塊灰度直方圖特征向量所含的冗余信息。
[0025]上述步驟4)測試階段中得到受試者在每一特定頻率注視時段的眼動特征的方法具體包括如下步驟:
[0026]a)通過攝像頭得到的呈現(xiàn)每一特定頻率的光柵刺激時受試者的注視畫面圖片，檢測得到受試者的臉部和眼部區(qū)域位置；
[0027]b)根據(jù)眼部位置提取灰度直方圖特征向量；
[0028]c)對得到的每一特定頻率注視階段的所有圖片的灰度直方圖特征向量進(jìn)行PCA降維，得到每一特定頻率注視時段受試者的眼動模式。
[0029]步驟5)中進(jìn)行對比得到的數(shù)據(jù)包括受試者單眼注意到的光柵刺激頻率和沒有注意到的光柵刺激頻率；當(dāng)受試者有多次沒有注意到某一光柵順序模式中的光柵刺激時，依照其注意到的光柵順序模式中的光柵刺激的最高頻率作為受試者的眼動模式數(shù)據(jù)結(jié)果；當(dāng)受試者全部注意到了某一光柵順序模式中的光柵刺激，則依照該光柵順序模式中的光柵刺激的最高頻率作為受試者的眼動模式數(shù)據(jù)結(jié)果。
[0030]本發(fā)明的原理是:將眼動模式數(shù)據(jù)獲取過程分為學(xué)習(xí)階段和測試階段兩個階段。將學(xué)習(xí)階段計(jì)算機(jī)攝像頭實(shí)時采集的受試者眼動圖像作為學(xué)習(xí)樣本集，利用學(xué)習(xí)樣本集通過SVM分類方法訓(xùn)練得到該受試者的注視模型(眼動模式)，建立分類器；再將測試階段計(jì)算機(jī)攝像頭實(shí)時采集的受試者眼動圖像作為測試樣本集，分類器根據(jù)測試階段得到的每一特定頻率注視時段受試者的眼動特征，對受試者在每個特定頻率的光柵呈現(xiàn)時段的眼動圖像進(jìn)行分類預(yù)測，得到每一時段受試者的眼動模式的預(yù)測值(即向左看或向右看)，而計(jì)算機(jī)程序運(yùn)行時會記錄下每一特定頻率注視階段光柵圖像呈現(xiàn)的真實(shí)值(即出現(xiàn)在左或右)，將預(yù)測值與真實(shí)值進(jìn)行比較，判斷受試者是否正確地注意到屏幕上的光柵圖，即可得到受試者在哪些時段沒有注意到光柵刺激，或者是全都注意到了光柵刺激，從而獲得受試者單眼注視或沒有注視到哪一個頻率的光柵圖的眼動模式數(shù)據(jù)。
[0031]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是:
[0032]相比現(xiàn)有的人工獲取眼動模式數(shù)據(jù)的方法，本發(fā)明提供的基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)自動獲取方法能夠自動得到眼動模式數(shù)據(jù)，節(jié)省了在眼動模式數(shù)據(jù)獲取上耗費(fèi)大量的人工勞力，提高了眼動模式數(shù)據(jù)獲得的效率，既解決了人工獲取眼動模式數(shù)據(jù)的效率低下問題，降低人工獲得眼動模式數(shù)據(jù)的成本，又節(jié)約了獲取眼動模式數(shù)據(jù)的時間，還有效地保證了獲取眼動模式數(shù)據(jù)的準(zhǔn)確率。

【專利附圖】

【附圖說明】
[0033]圖1是本發(fā)明實(shí)施例中的嬰幼兒受試者眼動模式數(shù)據(jù)獲取方法的流程框圖。
[0034]圖2是本發(fā)明實(shí)施例中計(jì)算機(jī)屏幕顯示的光柵刺激樣例。
[0035]圖3是本發(fā)明實(shí)施例中嬰幼兒眼動模式數(shù)據(jù)獲取方法眼部檢測框架的示意圖，
[0036]其中，(a)為檢測到的眼部區(qū)域；(b)為分割為m塊的眼部區(qū)域；(C)為分別計(jì)算得出m塊眼部區(qū)域的灰度直方圖。

【具體實(shí)施方式】
[0037]下面結(jié)合附圖，通過實(shí)施例進(jìn)一步描述本發(fā)明，但不以任何方式限制本發(fā)明的范圍。
[0038]本實(shí)施例中，受試者為由家長抱著的嬰幼兒，操作者為實(shí)施本發(fā)明提供的基于計(jì)算機(jī)視覺的嬰幼兒眼動模式數(shù)據(jù)獲取的測試者，圖1是本實(shí)施例中的嬰幼兒受試者眼動模式數(shù)據(jù)獲取方法的流程框圖，具體包括以下步驟:
[0039]I)布置環(huán)境:將計(jì)算機(jī)置于桌面上，屏幕中心高度為100?150厘米，桌前放置好座位，讓家長抱著受試者正面朝計(jì)算機(jī)屏幕坐下，調(diào)節(jié)座位高度，使受試者的眼睛與屏幕中心成水平對齊，距離為55厘米。周圍保持安靜、黑暗，沒有多余的引起受試者注意的物品，使受試者只能注意到計(jì)算機(jī)屏幕。整個過程中保證家長不要對受試者做出任何的指示。
[0040]2)由操作者對受試者進(jìn)行初步判斷，輸入程序運(yùn)行參數(shù)，包括:受試者圖像數(shù)據(jù)的文件名、測試開始的光柵序號、測試結(jié)束的光柵序號、每一個光柵呈現(xiàn)時間中的初始幀序號、每一個光柵呈現(xiàn)時間中的結(jié)束幀序號、PCA降維后的維數(shù)、測試眼睛類型(左眼或右眼)以及呈現(xiàn)光柵圖的順序模式。呈現(xiàn)光柵圖的順序模式有3種，模式1、2和3，光柵刺激的頻率逐漸增加，每一特定頻率的光柵刺激都有回溯，以保證數(shù)據(jù)獲取的準(zhǔn)確率，不同模式對應(yīng)不同年齡以及不同視力情況的嬰幼兒，選擇哪一種模式由操作者事先確定，其中:模式I分為10個頻率階段，對應(yīng)的頻率(周期/厘米)為:0.32，0.32，0.64，0.64，1.29，1.29，2.28，2.28，5.14，5.14，適合O?2歲或2歲以上視力明顯有障礙的嬰幼兒；模式2分為10個頻率階段，對應(yīng)的頻率(周期 / 厘米)為:0.43，0.43，0.86，0.86，1.58，1.58，3.43，3.43，6.85，6.85，適合I?3歲或3歲以上視力明顯有障礙的嬰幼兒；模式3分為10個頻率階段，對應(yīng)的頻率(周期 / 厘米)為:2.28，2.28，5.14，5.14，10.28，10.28，13.71，13.71，20.56，20.56，適合2歲以上的嬰幼兒。
[0041]3)在學(xué)習(xí)階段，計(jì)算機(jī)程序根據(jù)輸入?yún)?shù)，識別受試者的人臉人眼位置，進(jìn)行特征提取，通過SVM(Support Vector Machine支持向量機(jī))學(xué)習(xí)得到受試者單眼的眼動模式，建立分類器h，具體過程為:
[0042]A.在屏幕上呈現(xiàn)能吸引受試者的動畫圖片，按先左后右的順序出現(xiàn)多次，同時標(biāo)定圖片的左右位置；相鄰兩次圖片出現(xiàn)之間留有時間間隔，圖片出現(xiàn)時伴有聲音提示；
[0043]B.通過特征提取得到受試者的眼動模式；特征提取包括灰度直方圖計(jì)算和PCA降維；
[0044]C.由上述標(biāo)定的圖片的左右位置和對應(yīng)的受試者的眼動模式通過SVM學(xué)習(xí)訓(xùn)練出分類器h，該分類器h包括受試者向左看和向右看的眼動模式；
[0045]4)在測試階段，根據(jù)輸入?yún)?shù)呈現(xiàn)光柵刺激，同時標(biāo)定得到光柵的左右位置作為真實(shí)值，得到受試者的測試樣本集:
[0046]A.在計(jì)算機(jī)屏幕上呈現(xiàn)如圖2所示的光柵刺激，左右隨機(jī)出現(xiàn)，兩次刺激出現(xiàn)之間留有時間間隔；
[0047]B.即將要出現(xiàn)光柵刺激時，播放一段聲音，吸引受試者的注意；
[0048]C.光柵刺激的頻率逐漸增加，每一特定頻率的光柵刺激都會有回溯，保證眼動模式數(shù)據(jù)獲取的準(zhǔn)確率；
[0049]D.根據(jù)攝像頭得到的呈現(xiàn)每一特定頻率的光柵刺激時受試者的注視畫面，通過計(jì)算得到受試者在每一特定頻率的光柵刺激時的眼動特征，作為測試樣本集，具體過程主要包括人眼人臉位置識別、特征提取(包括灰度直方圖計(jì)算和PCA降維)以及SVM分類；
[0050]5)利用學(xué)習(xí)階段建立的分類器h對包括受試者在每一特定頻率的光柵刺激時的眼動特征的測試樣本集進(jìn)行預(yù)測得到預(yù)測值，將預(yù)測值與光柵的左右位置真實(shí)值進(jìn)行對比，得到受試者單眼注視或沒有注視到哪一個頻率的光柵圖，作為受試者單眼的眼動模式數(shù)據(jù)結(jié)果。
[0051]上述基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)獲取方法中，學(xué)習(xí)階段和測試階段識別受試者的人臉人眼位置具體是采用基于Harr特征的分類器，對圖象的指定區(qū)域進(jìn)行人臉和人眼位置識別。學(xué)習(xí)階段和測試階段的特征提取都包括灰度直方圖計(jì)算和PCA降維；圖3是受試者眼動模式數(shù)據(jù)獲取方法中眼部檢測框架示意圖，其中，(a)為檢測到的眼部區(qū)域；(b)為分割為m塊的眼部區(qū)域；(c)為分別計(jì)算得出m塊眼部區(qū)域的灰度直方圖，如圖3所示，采用分區(qū)塊的灰度直方圖算法，在利用顏色信息的同時很好地描述眼睛虹膜的位置信息，該分區(qū)塊的灰度直方圖計(jì)算方法包括如下步驟:
[0052]A.首先，得到眼睛檢測框，將其按橫坐標(biāo)等分分割成m個區(qū)塊；
[0053]B.其次，針對分割得到的m個區(qū)塊中的每個區(qū)塊，統(tǒng)計(jì)計(jì)算出該區(qū)塊的直方圖特征向量；
[0054]C.最后，將所有m個區(qū)塊的直方圖特征向量按順序合并得到最終向量。
[0055]其中，m取值為20。
[0056]基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)獲取方法在學(xué)習(xí)階段和測試階段進(jìn)行特征提取采用時序軌跡，用一段時間上的特征序列來判斷和分類受試者的視覺朝向，通過這種方法得到的特征向量維度非常大，所含的冗余信息也很多，需要通過PCA降維后得到受試者在每一特定頻率的光柵刺激時的眼動特征。本發(fā)明提供的基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)獲取方法在完成上述步驟之后，視結(jié)果的不同情況，操作者可以進(jìn)行進(jìn)一步的測試:包括再次重復(fù)此次測試、選擇高頻率的光柵刺激的模式進(jìn)行測試，或者進(jìn)行另一只眼睛的測試，以此來得到更全面的眼動模式數(shù)據(jù)結(jié)果。
[0057]根據(jù)本發(fā)明提供方法進(jìn)行基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)獲取方法，得到的數(shù)據(jù)可以報(bào)告受試者在哪些階段沒有注意到光柵刺激，或者是全都注意到了光柵刺激，當(dāng)受試者有多次沒有注意到光柵刺激時，應(yīng)該依照其注意到的最高頻率的光柵刺激作為受試者的眼動模式數(shù)據(jù)；當(dāng)受試者全部注意到了光柵刺激，則應(yīng)該依照此模式中的最高頻率的光柵刺激作為受試者的眼動模式數(shù)據(jù)。
【權(quán)利要求】
1.一種基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)自動獲取方法，所述方法將眼動模式數(shù)據(jù)獲取過程分為學(xué)習(xí)階段和測試階段，通過在學(xué)習(xí)階段得到的受試者注視模型對在測試階段得到的受試者眼動特征進(jìn)行預(yù)測，獲取受試者的眼動模式數(shù)據(jù)，包括如下步驟: 1)布置眼動模式數(shù)據(jù)獲取環(huán)境，保證在整個眼動模式數(shù)據(jù)獲取過程中，受試者只能注視計(jì)算機(jī)屏幕； 2)由操作者針對受試者情況確定程序運(yùn)行參數(shù)，將程序運(yùn)行參數(shù)輸入到計(jì)算機(jī)中；所述程序運(yùn)行參數(shù)包括呈現(xiàn)光柵刺激的光柵順序模式、所測試的單眼類型和采集圖像的時間間隔；所述呈現(xiàn)光柵刺激的光柵順序模式為多種，每種光柵順序模式包括多個特定頻率的光柵刺激；所測試的單眼類型包括左眼或右眼； 3)在學(xué)習(xí)階段，計(jì)算機(jī)根據(jù)程序運(yùn)行參數(shù)呈現(xiàn)圖片，同時標(biāo)定圖片呈現(xiàn)的位置為左或右，依次通過識別受試者的人臉人眼位置、進(jìn)行特征提取和3穩(wěn)學(xué)習(xí)得到受試者單眼的注視模型，建立分類器匕； 4)在測試階段，計(jì)算機(jī)根據(jù)程序運(yùn)行參數(shù)呈現(xiàn)光柵刺激，同時標(biāo)定每一特定頻率的光柵刺激的位置作為真實(shí)值，通過人眼人臉位置識別得到受試者在每一特定頻率光柵刺激的注視時段的人臉人眼位置，再通過進(jìn)行特征提取得到受試者在每一特定頻率的光柵刺激時的眼動特征，作為受試者的測試樣本集； 5)利用步驟3)建立的分類器11對步驟4)中的測試樣本集進(jìn)行VI分類預(yù)測得到預(yù)測值，將此預(yù)測值與步驟4)中的真實(shí)值進(jìn)行對比，得到受試者注意到的光柵順序模式中光柵刺激的最高頻率，作為受試者的眼動模式數(shù)據(jù)。
2.如權(quán)利要求1所述基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)自動獲取方法，其特征是，在步驟5)得到受試者眼動模式數(shù)據(jù)之后，采用相同或不同的程序運(yùn)行參數(shù)重新進(jìn)行步驟2)?步驟5)；所述不同程序運(yùn)行參數(shù)包括呈現(xiàn)光柵刺激的光柵順序模式為光柵頻率更高的光柵順序模式或所測試的單眼類型為不同的單眼類型。
3.如權(quán)利要求1所述基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)自動獲取方法，其特征是，步驟2)所述程序運(yùn)行參數(shù)還包括受試者圖像數(shù)據(jù)的文件名、測試開始的光柵序號、測試結(jié)束的光柵序號、每一個光柵呈現(xiàn)過程中的初始幀序號、每一個光柵呈現(xiàn)過程中的結(jié)束幀序號和 降維后的維數(shù)。
4.如權(quán)利要求1所述基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)自動獲取方法，其特征是，所述受試者為嬰幼兒；步驟2)所述呈現(xiàn)光柵刺激的光柵順序模式為三種，分別對應(yīng)不同年齡和不同視力情況的嬰幼兒受試者，每種光柵順序模式包括十個特定頻率的光柵刺激。
5.如權(quán)利要求4所述基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)自動獲取方法，其特征是，所述呈現(xiàn)光柵刺激的光柵順序模式為模式1、模式2和模式3，所包括光柵刺激的特定頻率均為逐漸增加，且每一特定頻率的光柵刺激都有回溯。
6.如權(quán)利要求5所述基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)自動獲取方法，其特征是，所述模式 1 的 10 個特定頻率依次為:0.32,0.32,0.64,0.64,1.29,1.29,2.28,2.28,5.14 和5.14周期/厘米，適合0?2歲或2歲以上視力明顯有障礙的嬰幼兒；所述模式2的10個特定頻率依次為:0.43,0.43,0.86,0.86,1.58,1.58,3.43,3.43,6.85 和 6.85 周期丨厘米，適合1?3歲或3歲以上視力明顯有障礙的嬰幼兒；所述模式3的10個特定頻率依次為:2.28,2.28,5.14,5.14,10.28,10.28,13.71,13.71,20.56 和 20.56 周期 / 厘米，適合 2 歲以上的嬰幼兒。
7.如權(quán)利要求1所述基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)自動獲取方法，其特征是，步驟3)所述根據(jù)程序運(yùn)行參數(shù)呈現(xiàn)的圖片為動畫圖片；所述呈現(xiàn)方法具體是按先左后右的順序呈現(xiàn)多次，相鄰兩次圖片呈現(xiàn)之間留有時間間隔，在圖片呈現(xiàn)時伴有聲音提示；所述受試者單眼的注視模型包括受試者向左看和向右看的注視模型。
8.如權(quán)利要求1所述基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)自動獲取方法，其特征是，步驟4)所述根據(jù)程序運(yùn)行參數(shù)呈現(xiàn)光柵刺激具體是左右隨機(jī)出現(xiàn)的，兩次光柵刺激呈現(xiàn)之間留有時間間隔；在即將要呈現(xiàn)光柵刺激時播放一段聲音，用于吸引受試者的注意。
9.如權(quán)利要求1所述基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)自動獲取方法，其特征是，步驟3)學(xué)習(xí)階段和步驟4)測試階段所述特征提取均包括灰度直方圖計(jì)算；所述灰度直方圖計(jì)算通過分區(qū)塊的灰度直方圖算法，在利用顏色信息的同時描述眼睛虹膜的位置信息，所述分區(qū)塊的灰度直方圖計(jì)算方法包括如下步驟: 八.首先，得到眼睛檢測框，按橫坐標(biāo)等分分割成III個區(qū)塊，III取值為17?30的整數(shù)； 8.其次，針對分割得到的III個區(qū)塊中的每個區(qū)塊，通過統(tǒng)計(jì)計(jì)算得到該區(qū)塊的灰度直方圖特征向量； 0.最后，將所有砠個區(qū)塊的直方圖特征向量按順序合并，得到最終向量。
10.如權(quán)利要求9所述基于計(jì)算機(jī)視覺的眼動模式數(shù)據(jù)自動獲取方法，其特征是，所述特征提取還包括對得到的每個區(qū)塊的灰度直方圖特征向量進(jìn)行降維，用于去除通過分區(qū)塊的灰度直方圖計(jì)算方法得到的各區(qū)塊灰度直方圖特征向量所含的冗余信息。
【文檔編號】G06K9/46GK104463216SQ201410775791
【公開日】2015年3月25日 申請日期:2014年12月15日 優(yōu)先權(quán)日:2014年12月15日
【發(fā)明者】楊必琨, 王澤亮, 崔錦實(shí), 李曉清, 査紅彬, 王莉 申請人:北京大學(xué)