一種視線(xiàn)估計(jì)的方法和裝置制造方法
【專(zhuān)利摘要】本發(fā)明實(shí)施例公開(kāi)了一種視線(xiàn)估計(jì)的方法和裝置，應(yīng)用于至少包含雙亮斑的場(chǎng)景，涉及計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域，用以提高對(duì)頭部運(yùn)動(dòng)的適應(yīng)性，提高視線(xiàn)估計(jì)的精確度和穩(wěn)定性。本發(fā)明實(shí)施例提供的方法包括：獲取基于雙亮斑的眼睛外觀(guān)描述子和瞳孔中心角膜反射PCCR描述子；對(duì)眼睛外觀(guān)描述子和PCCR描述子進(jìn)行特征融合，得到混合視線(xiàn)特征描述子，混合視線(xiàn)特征描述子包括訓(xùn)練樣本的混合視線(xiàn)特征描述子和測(cè)試樣本的混合視線(xiàn)特征描述子；根據(jù)訓(xùn)練樣本的混合視線(xiàn)特征描述子對(duì)測(cè)試樣本進(jìn)行視點(diǎn)估計(jì)，得到測(cè)試樣本的視點(diǎn)坐標(biāo)。
【專(zhuān)利說(shuō)明】一種視線(xiàn)估計(jì)的方法和裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域，尤其涉及一種視線(xiàn)估計(jì)的方法和裝置。

【背景技術(shù)】
[0002]視線(xiàn)估計(jì)用于確定視線(xiàn)方向(Gaze direct1n)或具體的視點(diǎn)(Point of regard,簡(jiǎn)稱(chēng)PoR)，在心理學(xué)、市場(chǎng)分析、廣告分析、醫(yī)學(xué)研究、人機(jī)交互等多個(gè)領(lǐng)域都有很大的應(yīng)用價(jià)值。
[0003]目前常用的視線(xiàn)估計(jì)方法有基于外觀(guān)(Appearance-based)的方法與基于特征(Feature-based)的方法?；谕庥^(guān)的方法具體為:定位眼睛區(qū)域；建立眼睛圖像與屏幕中視點(diǎn)坐標(biāo)的映射關(guān)系；通過(guò)映射函數(shù)完成視線(xiàn)估計(jì)?；谔卣鞯姆椒ㄖ凶畛Ｓ玫氖腔谕字行慕悄し瓷?Pupil Center-Cornea Ref lect1n,簡(jiǎn)稱(chēng)PCCR)技術(shù)的視線(xiàn)估計(jì)方法,具體為:提取瞳孔中心的位置信息、亮斑(glint，也叫角膜反射點(diǎn)，是光源在眼睛角膜上的反射點(diǎn))的位置信息；通過(guò)多個(gè)點(diǎn)(通常為9個(gè)點(diǎn))的標(biāo)定過(guò)程，建立瞳孔中心亮斑中心向量與屏幕中視點(diǎn)的映射關(guān)系；通過(guò)映射函數(shù)完成視線(xiàn)估計(jì)。
[0004]針對(duì)上述視線(xiàn)估計(jì)方法，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問(wèn)題:基于外觀(guān)的視線(xiàn)估計(jì)方法提取整個(gè)眼睛的外觀(guān)特征，因此對(duì)頭部運(yùn)動(dòng)適應(yīng)性差；基于PCCR技術(shù)的視線(xiàn)估計(jì)方法只提取瞳孔中心和亮斑的位置信息，導(dǎo)致視線(xiàn)估計(jì)的精確度低、穩(wěn)定性差。


【發(fā)明內(nèi)容】

[0005]本發(fā)明的實(shí)施例提供一種視線(xiàn)估計(jì)的方法和裝置，用以提高對(duì)頭部運(yùn)動(dòng)的適應(yīng)性，提聞視線(xiàn)估計(jì)的精確度和穩(wěn)定性。
[0006]為達(dá)到上述目的，本發(fā)明的實(shí)施例采用如下技術(shù)方案:
[0007]第一方面，提供一種視線(xiàn)估計(jì)的方法，應(yīng)用于至少包含雙亮斑的場(chǎng)景，包括:
[0008]獲取基于雙亮斑的眼睛外觀(guān)描述子和瞳孔中心角膜反射PCCR描述子；
[0009]對(duì)所述眼睛外觀(guān)描述子和所述PCCR描述子進(jìn)行特征融合，得到混合視線(xiàn)特征描述子，所述混合視線(xiàn)特征描述子包括訓(xùn)練樣本的混合視線(xiàn)特征描述子和測(cè)試樣本的混合視線(xiàn)特征描述子；
[0010]根據(jù)所述訓(xùn)練樣本的混合視線(xiàn)特征描述子對(duì)測(cè)試樣本進(jìn)行視點(diǎn)估計(jì)，得到所述測(cè)試樣本的視點(diǎn)坐標(biāo)。
[0011]結(jié)合第一方面，在第一種可能的實(shí)現(xiàn)方式中，所述獲取基于雙亮斑的眼睛外觀(guān)描述子和瞳孔中心角膜反射PCCR描述子，包括:
[0012]獲取當(dāng)前圖像中的眼睛區(qū)域以及該眼睛區(qū)域內(nèi)所述雙亮斑的位置信息、瞳孔中心的位置信息；
[0013]根據(jù)所述雙亮斑的位置信息對(duì)所述雙亮斑進(jìn)行歸一化運(yùn)算，得到基于雙亮斑的眼睛外觀(guān)描述子；
[0014]至少根據(jù)所述雙亮斑的位置信息、所述瞳孔中心的位置信息，獲得瞳孔中心角膜反射PCCR描述子。
[0015]結(jié)合第一方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，所述獲取該眼睛區(qū)域內(nèi)所述雙亮斑的位置信息、所述瞳孔中心的位置信息，包括:
[0016]在所述眼睛區(qū)域內(nèi)獲取所述雙亮斑的位置信息；
[0017]根據(jù)所述雙亮斑的位置信息獲取瞳孔區(qū)域；
[0018]在所述瞳孔區(qū)域內(nèi)獲取所述瞳孔中心的位置信息。
[0019]結(jié)合第一方面的第一種可能的實(shí)現(xiàn)方式或者第一方面的第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述雙亮斑的位置信息對(duì)所述雙亮斑進(jìn)行歸一化運(yùn)算，得到基于雙亮斑的眼睛外觀(guān)描述子，包括:
[0020]根據(jù)所述雙亮斑的位置信息確定第一區(qū)域；所述第一區(qū)域包含所述雙亮斑、瞳孔區(qū)域和虹膜區(qū)域；
[0021]將所述第一區(qū)域劃分為至少兩個(gè)子區(qū)域；
[0022]根據(jù)所述至少兩個(gè)子區(qū)域內(nèi)的像素值獲得基于雙亮斑的眼睛外觀(guān)描述子。
[0023]結(jié)合第一方面的第三種可能的實(shí)現(xiàn)方式，在第四種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述至少兩個(gè)子區(qū)域內(nèi)的像素值獲得基于雙亮斑的眼睛外觀(guān)描述子還包括:
[0024]對(duì)所述基于雙亮斑的眼睛外觀(guān)描述子進(jìn)行特征降維處理。
[0025]結(jié)合第一方面或者第一方面的第四種可能的實(shí)現(xiàn)方式，在第五種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述訓(xùn)練樣本的混合視線(xiàn)特征描述子對(duì)測(cè)試樣本進(jìn)行視點(diǎn)估計(jì)，得到所述測(cè)試樣本的視點(diǎn)坐標(biāo)，包括:
[0026]根據(jù)所述訓(xùn)練樣本的混合視線(xiàn)特征描述子、測(cè)試樣本的混合視線(xiàn)特征描述子、預(yù)設(shè)的訓(xùn)練樣本的視點(diǎn)坐標(biāo)、預(yù)設(shè)的回歸算法，得到所述測(cè)試樣本的視點(diǎn)坐標(biāo)。
[0027]第二方面，提供一種視線(xiàn)估計(jì)的裝置，應(yīng)用于至少包含雙亮斑的場(chǎng)景，包括:
[0028]第一獲取單元，用于獲取基于雙亮斑的眼睛外觀(guān)描述子和瞳孔中心角膜反射PCCR描述子；
[0029]第二獲取單元，用于對(duì)所述眼睛外觀(guān)描述子和所述PCCR描述子進(jìn)行特征融合，得到混合視線(xiàn)特征描述子，所述混合視線(xiàn)特征描述子包括訓(xùn)練樣本的混合視線(xiàn)特征描述子和測(cè)試樣本的混合視線(xiàn)特征描述子；
[0030]第三獲取單元503，根據(jù)所述訓(xùn)練樣本的混合視線(xiàn)特征描述子對(duì)測(cè)試樣本進(jìn)行視點(diǎn)估計(jì)，得到所述測(cè)試樣本的視點(diǎn)坐標(biāo)。
[0031]結(jié)合第二方面，在第一種可能的實(shí)現(xiàn)方式中，所述第一獲取單元，包括:
[0032]第一獲取模塊，用于獲取當(dāng)前圖像中的眼睛區(qū)域以及該眼睛區(qū)域內(nèi)所述雙亮斑的位置信息、瞳孔中心的位置信息；
[0033]第二獲取模塊，用于根據(jù)所述雙亮斑的位置信息對(duì)所述雙亮斑進(jìn)行歸一化運(yùn)算，得到基于雙亮斑的眼睛外觀(guān)描述子；
[0034]第三獲取模塊，用于至少根據(jù)所述雙亮斑的位置信息、所述瞳孔中心的位置信息，獲得瞳孔中心角膜反射PCCR描述子。
[0035]結(jié)合第二方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，所述第一獲取模塊具體用于，
[0036]在所述眼睛區(qū)域內(nèi)獲取所述雙亮斑的位置信息；
[0037]根據(jù)所述雙亮斑的位置信息獲取瞳孔區(qū)域；
[0038]在所述瞳孔區(qū)域內(nèi)獲取所述瞳孔中心的位置信息。
[0039]結(jié)合第二方面的第一種可能的實(shí)現(xiàn)方式或者第二方面的第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，所述第二獲取模塊具體用于，
[0040]根據(jù)所述雙亮斑的位置信息確定第一區(qū)域；所述第一區(qū)域包含所述雙亮斑、瞳孔區(qū)域和虹膜區(qū)域；
[0041]將所述第一區(qū)域劃分為至少兩個(gè)子區(qū)域；
[0042]根據(jù)所述至少兩個(gè)子區(qū)域內(nèi)的像素值獲得基于雙亮斑的眼睛外觀(guān)描述子。
[0043]結(jié)合第二方面的第三種可能的實(shí)現(xiàn)方式，在第四種可能的實(shí)現(xiàn)方式中，所述第二獲取模塊還用于，對(duì)所述基于雙亮斑的眼睛外觀(guān)描述子進(jìn)行特征降維處理
[0044]結(jié)合第二方面或者第二方面的第四種可能的實(shí)現(xiàn)方式，在第五種可能的實(shí)現(xiàn)方式中，所述第三獲取單元具體用于，
[0045]根據(jù)所述訓(xùn)練樣本的混合視線(xiàn)特征描述子、測(cè)試樣本的混合視線(xiàn)特征描述子、預(yù)設(shè)的訓(xùn)練樣本的視點(diǎn)坐標(biāo)、預(yù)設(shè)的回歸算法，得到所述測(cè)試樣本的視點(diǎn)坐標(biāo)。
[0046]本發(fā)明實(shí)施例提供的視線(xiàn)估計(jì)的方法和裝置，應(yīng)用于至少包含雙亮斑的場(chǎng)景，通過(guò)將獲取的基于雙亮斑的眼睛外觀(guān)描述子和PCCR描述子進(jìn)行特征融合，得到混合視線(xiàn)特征描述子，并根據(jù)訓(xùn)練樣本的混合視線(xiàn)特征描述子對(duì)測(cè)試樣本進(jìn)行視點(diǎn)估計(jì)，得到測(cè)試樣本的視點(diǎn)坐標(biāo)。提取了基于雙亮斑的眼睛外觀(guān)描述子，從而提高了對(duì)頭部運(yùn)動(dòng)適應(yīng)性，解決了現(xiàn)有技術(shù)的基于外觀(guān)的視線(xiàn)估計(jì)方法因使用整個(gè)眼睛的外觀(guān)特征提取眼睛外觀(guān)描述子，導(dǎo)致的對(duì)頭部運(yùn)動(dòng)適應(yīng)性差的問(wèn)題；提取了眼睛的紋理，輪廓等信息，從而提高了視線(xiàn)估計(jì)的精確度和穩(wěn)定性，解決了現(xiàn)有技術(shù)的基于PCCR技術(shù)的方案中，只提取瞳孔中心的位置信息和亮斑中心的位置信息，導(dǎo)致的視線(xiàn)估計(jì)的精確度低、穩(wěn)定性差的問(wèn)題。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0047]圖1為本發(fā)明實(shí)施例提供的一種視線(xiàn)估計(jì)的方法的流程圖；
[0048]圖2為本發(fā)明實(shí)施例提供的一種定位雙売斑和瞳孔的方法的不意圖；
[0049]圖3為本發(fā)明實(shí)施例提供的另一種視線(xiàn)估計(jì)的方法的流程圖；
[0050]圖4為本發(fā)明實(shí)施例提供的一種獲取基于雙亮斑的眼睛外觀(guān)描述子的方法的流程不意圖；
[0051]圖5為本發(fā)明實(shí)施例提供的一種視線(xiàn)估計(jì)的裝置的結(jié)構(gòu)示意圖；
[0052]圖6為本發(fā)明實(shí)施例提供的另一種視線(xiàn)估計(jì)的裝置的結(jié)構(gòu)示意圖；
[0053]圖7為本發(fā)明實(shí)施例提供的另一種視線(xiàn)估計(jì)的裝置的結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0054]下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例提供的視線(xiàn)估計(jì)的方法和裝置進(jìn)行示例性描述。
[0055]本發(fā)明實(shí)施例提供的視線(xiàn)估計(jì)的方法可以應(yīng)用于具有雙光源或者多光源的場(chǎng)景，需要說(shuō)明的是，一般情況下，獲得訓(xùn)練樣本與測(cè)試樣本的場(chǎng)景相同，例如，當(dāng)訓(xùn)練樣本為包含雙光源的場(chǎng)景，則測(cè)試樣本也為包含雙光源的場(chǎng)景等。由于在多光源場(chǎng)景下具體實(shí)現(xiàn)方式基于雙光源場(chǎng)景下的實(shí)現(xiàn)方式，因此以下實(shí)施例中均以該視線(xiàn)估計(jì)的方法應(yīng)用于具有雙光源的場(chǎng)景進(jìn)行說(shuō)明。
[0056]參見(jiàn)圖1，為本發(fā)明實(shí)施例提供的一種視線(xiàn)估計(jì)的方法，應(yīng)用于至少包含雙光源的場(chǎng)景，該方法包括:
[0057]101:獲取基于雙亮斑的眼睛外觀(guān)描述子和瞳孔中心角膜反射PCCR描述子；
[0058]示例性的，雙光源在眼睛角膜上的反射點(diǎn)形成雙亮斑，訓(xùn)練樣本和測(cè)試樣本可以為通過(guò)攝像頭等采集到的圖片，該訓(xùn)練樣本和測(cè)試樣本包含眼睛圖像(下文中稱(chēng)“眼睛”)，具體包含雙亮斑、瞳孔圖像(下文中稱(chēng)“瞳孔”)以及虹膜圖像(下文中稱(chēng)“虹膜”)等。
[0059]基于雙亮斑的眼睛外觀(guān)描述子表示以雙亮斑為中心的眼睛外觀(guān)描述子(Glints-centered descriptor)。
[0060]進(jìn)一步地,步驟101可以包括:
[0061]I)獲取當(dāng)前圖像中的眼睛區(qū)域；
[0062]示例性的，當(dāng)前圖像(訓(xùn)練樣本或者測(cè)試樣本)中可能包含眼睛之外的其他圖像，參見(jiàn)圖2 (a)，而視點(diǎn)坐標(biāo)與眼睛之外的其他圖像無(wú)關(guān)，因此，可以通過(guò)選擇當(dāng)前圖像中有用的局部區(qū)域(眼睛區(qū)域)來(lái)縮小研究范圍，進(jìn)而在該局部區(qū)域中獲得雙亮斑的位置坐標(biāo)和瞳孔中心的位置坐標(biāo)，這樣可以提高獲取的雙亮斑的位置坐標(biāo)和瞳孔中心的位置坐標(biāo)的精確度。
[0063]本發(fā)明實(shí)施例對(duì)步驟I)中獲取當(dāng)前圖像中的眼睛區(qū)域的方法不進(jìn)行限定，例如，可以基于支持向量機(jī)SVM訓(xùn)練的方法在測(cè)試樣本中獲取眼睛區(qū)域，參見(jiàn)圖2(b)
[0064]2)獲取該眼睛區(qū)域內(nèi)所述雙亮斑的位置信息、瞳孔中心的位置信息；
[0065]示例性的，該步驟2)也可以稱(chēng)作定位雙亮斑和瞳孔，假設(shè)測(cè)試圖片顯示在屏幕上，則雙亮斑的位置信息、瞳孔中心的位置信息可以均為相對(duì)于屏幕的坐標(biāo)，也可以均為相對(duì)于當(dāng)前圖像的坐標(biāo)。本發(fā)明實(shí)施例對(duì)獲取所述雙亮斑的位置信息、瞳孔中心的位置信息的方法不進(jìn)行限定，可選的，通過(guò)以下步驟獲取:
[0066]i)在所述眼睛區(qū)域內(nèi)獲取所述雙亮斑的位置信息；
[0067]ii)根據(jù)所述雙亮斑的位置信息獲取瞳孔區(qū)域；
[0068]iii)在所述瞳孔區(qū)域內(nèi)獲取所述瞳孔中心的位置信息。
[0069]示例性的，本發(fā)明實(shí)施例對(duì)上述i)、ii)、iii)的具體實(shí)現(xiàn)方式不進(jìn)行限定，例如:i)中可以通過(guò)鏡像對(duì)稱(chēng)變換算法獲取雙亮斑的位置信息；ii)中可以基于雙亮斑粗略劃分出瞳孔區(qū)域，參見(jiàn)圖2(c) ；iii)由于瞳孔近似為橢圓，可以通過(guò)星狀散射算法獲取瞳孔的位置信息。
[0070]在具體的實(shí)施過(guò)程中，可選的，獲得雙亮斑相對(duì)于眼睛區(qū)域的位置坐標(biāo)1，將該位置坐標(biāo)I映射到當(dāng)前圖像中，從而獲得雙亮斑相對(duì)于當(dāng)前圖像的位置坐標(biāo)(即雙亮斑的位置坐標(biāo))；獲得瞳孔中心相對(duì)于瞳孔區(qū)域的位置坐標(biāo)2，將該位置坐標(biāo)2映射到當(dāng)前圖像中，從而獲得瞳孔中心相對(duì)于當(dāng)前圖像的位置坐標(biāo)(即瞳孔的位置坐標(biāo))。
[0071]另外，可選的，獲得雙亮斑和瞳孔相對(duì)于眼睛區(qū)域的位置坐標(biāo)1、2，將位置坐標(biāo)1、2映射到當(dāng)前圖像中，從而獲得雙亮斑的位置坐標(biāo)、瞳孔的位置坐標(biāo)。
[0072]2)根據(jù)所述雙亮斑的位置信息對(duì)所述雙亮斑進(jìn)行歸一化運(yùn)算，得到基于雙亮斑的眼睛外觀(guān)描述子；
[0073]進(jìn)一步地,步驟2)具體包括:
[0074]i)、根據(jù)所述雙亮斑的位置信息確定第一區(qū)域；所述第一區(qū)域包含所述雙亮斑、瞳孔區(qū)域和虹膜區(qū)域；
[0075]ii)、將所述第一區(qū)域劃分為至少兩個(gè)子區(qū)域；
[0076]iii)、根據(jù)所述至少兩個(gè)子區(qū)域內(nèi)的像素值獲得基于雙亮斑的眼睛外觀(guān)描述子。
[0077]示例性的，該方法也是以局部區(qū)域?yàn)檠芯繉?duì)象，第一區(qū)域中包含雙亮斑、大部分瞳孔區(qū)域(或者全部瞳孔區(qū)域)和部分虹膜區(qū)域。ii)中可以通過(guò)對(duì)第一區(qū)域內(nèi)的像素值進(jìn)行歸一化，從而獲得基于雙亮斑的眼睛外觀(guān)描述子。將第一區(qū)域劃分為若干個(gè)子區(qū)域，子區(qū)域越多，獲得的基于雙亮斑的眼睛外觀(guān)描述子越精確，進(jìn)而使得獲得的測(cè)試樣本的視點(diǎn)坐標(biāo)越精確。
[0078]進(jìn)一步地，為了避免復(fù)雜的標(biāo)定過(guò)程，步驟iii)還可以包括:對(duì)所述基于雙亮斑的眼睛外觀(guān)描述子進(jìn)行特征降維處理。
[0079]示例性的,特征降維處理的方法可以包括:偏最小二乘(Partial Least Squares,簡(jiǎn)稱(chēng)PLS)等。
[0080]3)至少根據(jù)所述雙亮斑的位置信息、所述瞳孔中心的位置信息，獲得瞳孔中心角膜反射PCCR描述子。
[0081]示例性的，本發(fā)明實(shí)施例對(duì)獲得測(cè)試樣本的瞳孔中心角膜反射PCCR描述子的方法不進(jìn)行限定。
[0082]需要說(shuō)明的是，該步驟101具體包括:獲取訓(xùn)練樣本的基于雙亮斑的眼睛外觀(guān)描述子、訓(xùn)練樣本的PCCR描述子、測(cè)試樣本的基于雙亮斑的眼睛外觀(guān)描述子和測(cè)試樣本的PCCR描述子。
[0083]102:對(duì)所述眼睛外觀(guān)描述子和所述PCCR描述子進(jìn)行特征融合，得到混合視線(xiàn)特征描述子，所述混合視線(xiàn)特征描述子包括訓(xùn)練樣本的混合視線(xiàn)特征描述子和測(cè)試樣本的混合視線(xiàn)特征描述子；
[0084]示例性的，本發(fā)明實(shí)施例對(duì)特征融合的方法不進(jìn)行限定，例如，可以使用經(jīng)典方法:多核學(xué)習(xí)方法(Multiple Kernel Learning), Boosting方法和子空間學(xué)習(xí)方法等。
[0085]需要說(shuō)明的是，該步驟102具體包括:將訓(xùn)練樣本的基于雙亮斑的眼睛外觀(guān)描述子和訓(xùn)練樣本的PCCR描述子進(jìn)行特征融合，得到訓(xùn)練樣本的混合視線(xiàn)特征描述子；將測(cè)試樣本的基于雙亮斑的眼睛外觀(guān)描述子和測(cè)試樣本的PCCR描述子進(jìn)行特征融合，得到測(cè)試樣本的混合視線(xiàn)特征描述子。
[0086]103:根據(jù)所述訓(xùn)練樣本的混合視線(xiàn)特征描述子對(duì)測(cè)試樣本進(jìn)行視點(diǎn)估計(jì)，得到所述測(cè)試樣本的視點(diǎn)坐標(biāo)。
[0087]具體的，步驟103可以包括:根據(jù)所述訓(xùn)練樣本的混合視線(xiàn)特征描述子、測(cè)試樣本的混合視線(xiàn)特征描述子、預(yù)設(shè)的訓(xùn)練樣本的視點(diǎn)坐標(biāo)、預(yù)設(shè)的回歸算法，得到所述測(cè)試樣本的視點(diǎn)坐標(biāo)。
[0088]示例性的，本發(fā)明實(shí)施例對(duì)預(yù)設(shè)的回歸算法不進(jìn)行限定，例如，可以為:最小二乘回歸算法、嶺回歸算法、支持向量回歸算法等。另外，可選的，預(yù)設(shè)的回歸算法可以為稀疏表達(dá)算法，具體可以參見(jiàn)下述實(shí)施例部分。
[0089]本發(fā)明實(shí)施例提供的視線(xiàn)估計(jì)的方法，應(yīng)用于至少包含雙亮斑的場(chǎng)景，通過(guò)將獲取的基于雙亮斑的眼睛外觀(guān)描述子和PCCR描述子進(jìn)行特征融合，得到混合視線(xiàn)特征描述子，并根據(jù)訓(xùn)練樣本的混合視線(xiàn)特征描述子對(duì)測(cè)試樣本進(jìn)行視點(diǎn)估計(jì)，得到測(cè)試樣本的視點(diǎn)坐標(biāo)。提取了基于雙亮斑的眼睛外觀(guān)描述子，從而提高了對(duì)頭部運(yùn)動(dòng)適應(yīng)性，解決了現(xiàn)有技術(shù)的基于外觀(guān)的視線(xiàn)估計(jì)方法因使用整個(gè)眼睛的外觀(guān)特征提取眼睛外觀(guān)描述子，導(dǎo)致的對(duì)頭部運(yùn)動(dòng)適應(yīng)性差的問(wèn)題；提取了眼睛的紋理，輪廓等信息，從而提高了視線(xiàn)估計(jì)的精確度和穩(wěn)定性，解決了現(xiàn)有技術(shù)的基于PCCR技術(shù)的方案中，只提取瞳孔中心的位置信息和亮斑中心的位置信息，導(dǎo)致的視線(xiàn)估計(jì)的精確度低、穩(wěn)定性差的問(wèn)題。
[0090]下面通過(guò)一個(gè)具體的實(shí)施例對(duì)上述視線(xiàn)估計(jì)的方法進(jìn)行示例性說(shuō)明:
[0091]參見(jiàn)圖3，包括:
[0092]301:采集訓(xùn)練樣本；
[0093]示例性的，假設(shè)采集的訓(xùn)練樣本的個(gè)數(shù)為η。
[0094]302:獲取訓(xùn)練樣本的混合特征描述子F和訓(xùn)練樣本的視點(diǎn)坐標(biāo)S ；
[0095]示例性的，步驟302中獲取訓(xùn)練樣本的混合特征描述子F的方法參見(jiàn)下述獲取測(cè)試樣本的混合特征描述子的方法(步驟304-313)，此處不再贅述。訓(xùn)練樣本的視點(diǎn)坐標(biāo)S為已知量。
[0096]F= (!E^f2,...,fp...為一個(gè)訓(xùn)練樣本的混合特征描述子，i =e [l,m],m為針對(duì)該訓(xùn)練樣本的第一區(qū)域中子區(qū)域的個(gè)數(shù)與PCCR多項(xiàng)式的維數(shù)之和，本實(shí)施例中采用的第一區(qū)域中子區(qū)域的個(gè)數(shù)為pXq,PCCR多項(xiàng)式的維數(shù)為6，由此可知，F(xiàn)為一個(gè)mXn維的矩陣。由于該訓(xùn)練樣本的視點(diǎn)坐標(biāo)為一個(gè)2維的列向量，因此S為一個(gè)2Xn維的矩陣。
[0097]303:輸入一個(gè)測(cè)試樣本；
[0098]示例性的，該測(cè)試樣本包含眼睛，具體包含雙亮斑(第一亮斑、第二亮斑)、瞳孔坐寸ο
[0099]304:獲取該測(cè)試樣本的眼睛區(qū)域；
[0100]305:在該眼睛區(qū)域內(nèi)獲取第一亮斑的位置坐標(biāo)R1、第二亮斑的位置坐標(biāo)R2 ；
[0101]306:根據(jù)Rp R2獲取第一區(qū)域；
[0102]示例性的，根據(jù)RpR2之間的歐式距離D(D = I R1-R2 |2)獲取第一區(qū)域，參見(jiàn)圖4中的(b)為所獲取的第一區(qū)域，該第一區(qū)域的特征包括:R1距離第一區(qū)域左邊界的長(zhǎng)度為a D像素，R2距離第一區(qū)域右邊界的長(zhǎng)度也為a D像素，R1距離第一區(qū)域上下邊界的長(zhǎng)度為3D像素；同時(shí)，為了保證第一區(qū)域包含大部分瞳孔區(qū)域(或者全部瞳孔區(qū)域)與部分虹膜區(qū)域，α與β可以為滿(mǎn)足如下關(guān)系:2X (1+2 α ) = 3X2 β。
[0103]307:將第一區(qū)域劃分為pXq個(gè)子區(qū)域；
[0104]示例性的，參見(jiàn)圖4中的(C)，可以將第一區(qū)域均分為P行q列，其中，I彡P(guān)彡CIh，I ^ q ^ CIw, CIh、CIw分別表示第一區(qū)域(圖4(b))的高度與寬度。
[0105]308:根據(jù)pXq個(gè)子區(qū)域的像素值獲得測(cè)樣樣本的基于雙亮斑的眼睛外觀(guān)描述子;
[0106]示例性的，將測(cè)樣樣本的基于雙亮斑的眼睛外觀(guān)描述子表示為AFtl，一個(gè)子區(qū)域內(nèi)的像素值的和表示為:Ψ，則可以根據(jù)如下公式計(jì)算AFtl:
[0107]^F0 =-T-...:...；■^
[0108]其中，(Ψ1; Ψ2，...，￥pXq)為pXq個(gè)子區(qū)域內(nèi)的像素值的和構(gòu)成的pXq維的列向量，(ψ17 Ψ2，...，ΨρΧ(1)Τ為(Ψ1; Ψ2,..., ￥pXq)的轉(zhuǎn)秩，￥j為第j個(gè)子區(qū)域內(nèi)的像素值的和I ( j ^pXq0
[0109]309:對(duì)測(cè)樣樣本的基于雙亮斑的眼睛外觀(guān)描述子進(jìn)行特征降維處理；
[0110]示例性的，將AFtl進(jìn)行特征降維后的結(jié)果表示為:AF。
[0111]參見(jiàn)圖4中的(d)為一種基于雙亮斑的眼睛外觀(guān)描述子，其中，橫坐標(biāo)表示子區(qū)域的個(gè)數(shù)，縱坐標(biāo)表示每個(gè)子區(qū)域?qū)?yīng)的特征值。眼睛外觀(guān)描述子為多個(gè)子區(qū)域?qū)?yīng)的特征值的集合。
[0112]310:根據(jù)RpR2獲取瞳孔區(qū)域；
[0113]311:在該瞳孔區(qū)域內(nèi)獲取瞳孔中心的位置坐標(biāo)P。
[0114]示例性的，參見(jiàn)圖4中的(a)中獲取的HP。
[0115]312:根據(jù)H P獲取測(cè)試樣本的PCCR描述子；
[0116]示例性的，獲取測(cè)試樣本的PCCR的過(guò)程可以包括:
[0117]I)記瞳孔中心亮斑之間的向量為V，計(jì)算方式如下:

【權(quán)利要求】
1.一種視線(xiàn)估計(jì)的方法，應(yīng)用于至少包含雙亮斑的場(chǎng)景，其特征在于，包括: 獲取基于雙亮斑的眼睛外觀(guān)描述子和瞳孔中心角膜反射PCCR描述子； 對(duì)所述眼睛外觀(guān)描述子和所述PCCR描述子進(jìn)行特征融合，得到混合視線(xiàn)特征描述子，所述混合視線(xiàn)特征描述子包括訓(xùn)練樣本的混合視線(xiàn)特征描述子和測(cè)試樣本的混合視線(xiàn)特征描述子； 根據(jù)所述訓(xùn)練樣本的混合視線(xiàn)特征描述子對(duì)測(cè)試樣本進(jìn)行視點(diǎn)估計(jì)，得到所述測(cè)試樣本的視點(diǎn)坐標(biāo)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取基于雙亮斑的眼睛外觀(guān)描述子和瞳孔中心角膜反射PCCR描述子，包括: 獲取當(dāng)前圖像中的眼睛區(qū)域以及該眼睛區(qū)域內(nèi)所述雙亮斑的位置信息、瞳孔中心的位置信息； 根據(jù)所述雙亮斑的位置信息對(duì)所述雙亮斑進(jìn)行歸一化運(yùn)算，得到基于雙亮斑的眼睛外觀(guān)描述子； 至少根據(jù)所述雙亮斑的位置信息、所述瞳孔中心的位置信息，獲得瞳孔中心角膜反射PCCR描述子。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述獲取該眼睛區(qū)域內(nèi)所述雙亮斑的位置信息、所述瞳孔中心的位置信息，包括: 在所述眼睛區(qū)域內(nèi)獲取所述雙亮斑的位置信息； 根據(jù)所述雙亮斑的位置信息獲取瞳孔區(qū)域； 在所述瞳孔區(qū)域內(nèi)獲取所述瞳孔中心的位置信息。
4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，所述根據(jù)所述雙亮斑的位置信息對(duì)所述雙亮斑進(jìn)行歸一化運(yùn)算，得到基于雙亮斑的眼睛外觀(guān)描述子，包括: 根據(jù)所述雙亮斑的位置信息確定第一區(qū)域；所述第一區(qū)域包含所述雙亮斑、瞳孔區(qū)域和虹膜區(qū)域； 將所述第一區(qū)域劃分為至少兩個(gè)子區(qū)域； 根據(jù)所述至少兩個(gè)子區(qū)域內(nèi)的像素值獲得基于雙亮斑的眼睛外觀(guān)描述子。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述至少兩個(gè)子區(qū)域內(nèi)的像素值獲得基于雙亮斑的眼睛外觀(guān)描述子還包括: 對(duì)所述基于雙亮斑的眼睛外觀(guān)描述子進(jìn)行特征降維處理。
6.根據(jù)權(quán)利要求1或5所述的方法，其特征在于，所述根據(jù)所述訓(xùn)練樣本的混合視線(xiàn)特征描述子對(duì)測(cè)試樣本進(jìn)行視點(diǎn)估計(jì)，得到所述測(cè)試樣本的視點(diǎn)坐標(biāo)，包括: 根據(jù)所述訓(xùn)練樣本的混合視線(xiàn)特征描述子、測(cè)試樣本的混合視線(xiàn)特征描述子、預(yù)設(shè)的訓(xùn)練樣本的視點(diǎn)坐標(biāo)、預(yù)設(shè)的回歸算法，得到所述測(cè)試樣本的視點(diǎn)坐標(biāo)。
7.—種視線(xiàn)估計(jì)的裝置，應(yīng)用于至少包含雙亮斑的場(chǎng)景，其特征在于，包括: 第一獲取單元，用于獲取基于雙亮斑的眼睛外觀(guān)描述子和瞳孔中心角膜反射PCCR描述子； 第二獲取單元，用于對(duì)所述眼睛外觀(guān)描述子和所述PCCR描述子進(jìn)行特征融合，得到混合視線(xiàn)特征描述子，所述混合視線(xiàn)特征描述子包括訓(xùn)練樣本的混合視線(xiàn)特征描述子和測(cè)試樣本的混合視線(xiàn)特征描述子； 第三獲取單元，根據(jù)所述訓(xùn)練樣本的混合視線(xiàn)特征描述子對(duì)測(cè)試樣本進(jìn)行視點(diǎn)估計(jì)，得到所述測(cè)試樣本的視點(diǎn)坐標(biāo)。
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述第一獲取單元，包括: 第一獲取模塊，用于獲取當(dāng)前圖像中的眼睛區(qū)域以及該眼睛區(qū)域內(nèi)所述雙亮斑的位置信息、瞳孔中心的位置信息； 第二獲取模塊，用于根據(jù)所述雙亮斑的位置信息對(duì)所述雙亮斑進(jìn)行歸一化運(yùn)算，得到基于雙亮斑的眼睛外觀(guān)描述子； 第三獲取模塊，用于至少根據(jù)所述雙亮斑的位置信息、所述瞳孔中心的位置信息，獲得瞳孔中心角膜反射PCCR描述子。
9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述第一獲取模塊具體用于， 在所述眼睛區(qū)域內(nèi)獲取所述雙亮斑的位置信息； 根據(jù)所述雙亮斑的位置信息獲取瞳孔區(qū)域； 在所述瞳孔區(qū)域內(nèi)獲取所述瞳孔中心的位置信息。
10.根據(jù)權(quán)利要求8或9所述的裝置，其特征在于，所述第二獲取模塊具體用于， 根據(jù)所述雙亮斑的位置信息確定第一區(qū)域；所述第一區(qū)域包含所述雙亮斑、瞳孔區(qū)域和虹膜區(qū)域； 將所述第一區(qū)域劃分為至少兩個(gè)子區(qū)域； 根據(jù)所述至少兩個(gè)子區(qū)域內(nèi)的像素值獲得基于雙亮斑的眼睛外觀(guān)描述子。
11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述第二獲取模塊還用于，對(duì)所述基于雙亮斑的眼睛外觀(guān)描述子進(jìn)行特征降維處理。
12.根據(jù)權(quán)利要求7或11所述的裝置，其特征在于，所述第三獲取單元具體用于， 根據(jù)所述訓(xùn)練樣本的混合視線(xiàn)特征描述子、測(cè)試樣本的混合視線(xiàn)特征描述子、預(yù)設(shè)的訓(xùn)練樣本的視點(diǎn)坐標(biāo)、預(yù)設(shè)的回歸算法，得到所述測(cè)試樣本的視點(diǎn)坐標(biāo)。
【文檔編號(hào)】G06K9/62GK104182723SQ201310197025
【公開(kāi)日】2014年12月3日 申請(qǐng)日期:2013年5月24日 優(yōu)先權(quán)日:2013年5月24日
【發(fā)明者】黃磊, 熊春水 申請(qǐng)人:漢王科技股份有限公司