本發(fā)明涉及計(jì)算機(jī)視覺處理技術(shù)領(lǐng)域，尤其涉及一種基于三維球面泰勒展開的人眼視線跟蹤方法和裝置。

背景技術(shù)：

人眼視線跟蹤是計(jì)算機(jī)視覺與計(jì)算機(jī)圖像學(xué)領(lǐng)域中一個(gè)重要且基礎(chǔ)的問題，它在人機(jī)交互、虛擬現(xiàn)實(shí)及增強(qiáng)現(xiàn)實(shí)等領(lǐng)域也有非常廣泛的應(yīng)用。例如，在計(jì)算機(jī)視覺中，人眼在屏幕上的注視點(diǎn)可用于完成各種人機(jī)交互功能，其中，在增強(qiáng)現(xiàn)實(shí)感方面，視線方向可用于調(diào)整顯示的內(nèi)容以產(chǎn)生更佳的真實(shí)感。由此，正是由于眼睛能夠表達(dá)人類豐富的情感，人眼視線跟蹤的研究具有極高的科研和應(yīng)用價(jià)值。因此，生成生動(dòng)真實(shí)的人臉模型動(dòng)畫一直是一個(gè)重要且具有挑戰(zhàn)性的問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的旨在至少在一定程度上解決上述的技術(shù)問題之一。

為此，本發(fā)明的第一個(gè)目的在于提出一種基于三維球面泰勒展開的人眼視線跟蹤方法，該方法能夠結(jié)合三維眼球模型實(shí)現(xiàn)實(shí)時(shí)人眼視線的準(zhǔn)確跟蹤，并且，可直接將三維眼球模型轉(zhuǎn)動(dòng)的結(jié)果添加到人臉的跟蹤結(jié)果中，增加人臉模型動(dòng)畫的真實(shí)感。

本發(fā)明的第二個(gè)目的在于提出一種基于三維球面泰勒展開的人眼視線跟蹤裝置。

為了實(shí)現(xiàn)上述目的，本發(fā)明第一方面實(shí)施例提出的一種基于三維球面泰勒展開的人眼視線跟蹤方法，包括以下步驟：確定三維眼球模型的頂點(diǎn)與二維像素的對(duì)應(yīng)關(guān)系；計(jì)算所述三維眼球模型的頂點(diǎn)的灰度值和與所述三維眼球模型的頂點(diǎn)對(duì)應(yīng)的二維像素的灰度值；根據(jù)所述三維眼球模型的頂點(diǎn)的灰度值獲取所述三維眼球模型的頂點(diǎn)的球面灰度梯度；利用差異函數(shù)與所述差異函數(shù)的三維泰勒展開形式對(duì)所述二維像素的灰度值和所述三維眼球模型的頂點(diǎn)的灰度梯度進(jìn)行計(jì)算，獲取所述三維眼球模型的旋轉(zhuǎn)變化量，以使所述三維眼球模型根據(jù)所述旋轉(zhuǎn)變化量轉(zhuǎn)動(dòng)。

本發(fā)明實(shí)施例的基于三維球面泰勒展開的人眼視線跟蹤方法，利用三維眼球模型的旋轉(zhuǎn)擬合人眼的二維圖像，使三維眼球模型表面的灰度值與將其投影到二維圖像上對(duì)應(yīng)二維像素的灰度值相匹配以得到視線方向。在進(jìn)行匹配降低差異時(shí)，該方法計(jì)算三維眼球模型頂點(diǎn)的灰度梯度，并對(duì)差異函數(shù)進(jìn)行三維球面的泰勒展開求解最小值。由此，結(jié)合三維眼球模型實(shí)現(xiàn)實(shí)時(shí)人眼視線的準(zhǔn)確跟蹤，并且，可直接將三維眼球模型轉(zhuǎn)動(dòng)的結(jié)果添加到人臉的跟蹤結(jié)果中，增加人臉模型動(dòng)畫的真實(shí)感。

為了實(shí)現(xiàn)上述目的，本發(fā)明第二方面實(shí)施例提出的一種基于三維球面泰勒展開的人眼視線跟蹤裝置，包括：確定模塊，用于確定三維眼球模型的頂點(diǎn)與二維像素的對(duì)應(yīng)關(guān)系；第一計(jì)算模塊，用于計(jì)算所述三維眼球模型的頂點(diǎn)的灰度值和與所述三維眼球模型的頂點(diǎn)對(duì)應(yīng)的二維像素的灰度值；獲取模塊，用于根據(jù)所述三維眼球模型的頂點(diǎn)的灰度值獲取所述三維眼球模型的頂點(diǎn)的球面灰度梯度；第二計(jì)算模塊，用于利用差異函數(shù)與所述差異函數(shù)的三維泰勒展開形式對(duì)所述二維像素的灰度值和所述三維眼球模型的頂點(diǎn)的灰度梯度進(jìn)行計(jì)算，獲取所述三維眼球模型的旋轉(zhuǎn)變化量，以使所述三維眼球模型根據(jù)所述旋轉(zhuǎn)變化量轉(zhuǎn)動(dòng)。

本發(fā)明實(shí)施例的基于三維球面泰勒展開的人眼視線跟蹤裝置，利用三維眼球模型的旋轉(zhuǎn)擬合人眼的二維圖像，使三維眼球模型表面的灰度值與將其投影到二維圖像上對(duì)應(yīng)二維像素的灰度值相匹配以得到視線方向。在進(jìn)行匹配降低差異時(shí)，該方法計(jì)算三維眼球模型頂點(diǎn)的灰度梯度，并對(duì)差異函數(shù)進(jìn)行三維球面的泰勒展開求解最小值。由此，結(jié)合三維眼球模型實(shí)現(xiàn)實(shí)時(shí)人眼視線的準(zhǔn)確跟蹤，并且，可直接將三維眼球模型轉(zhuǎn)動(dòng)的結(jié)果添加到人臉的跟蹤結(jié)果中，增加人臉模型動(dòng)畫的真實(shí)感。

本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。

附圖說明

本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中：

圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于三維球面泰勒展開的人眼視線跟蹤方法的流程圖；

圖2是根據(jù)本發(fā)明一個(gè)具體實(shí)施例的基于三維球面泰勒展開的人眼視線跟蹤方法的流程圖；

圖3(a)是根據(jù)本發(fā)明一個(gè)實(shí)施例的一幀二維圖像的視線追蹤結(jié)果示意圖；

圖3(b)是根據(jù)本發(fā)明一個(gè)實(shí)施例的另一幀二維圖像的視線追蹤結(jié)果示意圖；

圖4是根據(jù)本發(fā)明第一個(gè)實(shí)施例的基于三維球面泰勒展開的人眼視線跟蹤裝置的結(jié)構(gòu)示意圖；

圖5是根據(jù)本發(fā)明第二個(gè)實(shí)施例的基于三維球面泰勒展開的人眼視線跟蹤裝置的結(jié)構(gòu)示意圖；以及

圖6是根據(jù)本發(fā)明第三個(gè)實(shí)施例的基于三維球面泰勒展開的人眼視線跟蹤裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，旨在用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。

下面參考附圖描述本發(fā)明實(shí)施例的基于三維球面泰勒展開的人眼視線跟蹤方法和裝置。

具體而言，為了解決現(xiàn)有技術(shù)中，不能實(shí)現(xiàn)對(duì)人眼視線進(jìn)行追蹤，從而生成的人臉模型動(dòng)畫中，因?yàn)橐暰€與真實(shí)人眼視線的差異性，而導(dǎo)致人臉模型的真實(shí)感方面的欠缺的技術(shù)問題，本發(fā)明提出的基于三維球面泰勒展開的人眼視線跟蹤方法中，能夠利用三維眼球模型與眼睛二維圖像的對(duì)應(yīng)關(guān)系跟蹤視線方向，視線追蹤的結(jié)果，即眼球模型跟隨視線方向的轉(zhuǎn)動(dòng)結(jié)果，可直接添加到人臉模型中，以增加人臉模型動(dòng)畫的真實(shí)感。

下面結(jié)合具體的實(shí)施例對(duì)本發(fā)明的基于三維球面泰勒展開的人眼視線跟蹤方法進(jìn)行詳細(xì)說明。

圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于三維球面泰勒展開的人眼視線跟蹤方法的流程圖。

如圖1所示，該基于三維球面泰勒展開的人眼視線跟蹤方法包括：

s101，確定三維眼球模型的頂點(diǎn)與二維像素的對(duì)應(yīng)關(guān)系。

具體而言，三維圖像作為一種二維圖像對(duì)應(yīng)物體的立體圖像，能夠更加真實(shí)的反應(yīng)物體，具有和二位圖像的對(duì)應(yīng)性，因而，三維眼球模型的頂點(diǎn)與二維像素具有對(duì)應(yīng)關(guān)系。

其中，獲取的相關(guān)物體的二維圖像的方式，在不同的應(yīng)用場景下可不同，比如，可以是輸入的一段視頻幀序列，從而將每一幀視頻作為對(duì)應(yīng)物體的二維圖像。又比如，可以為一系列記錄人眼活動(dòng)的照片，從而將每一張照片作為對(duì)應(yīng)的物體的二維圖像。

需要說明的是，根據(jù)具體應(yīng)用需求的不同，可采用不同的方式確定三維眼球模型的頂點(diǎn)與二維像素的對(duì)應(yīng)關(guān)系，下面舉例說明：

作為一種可能的實(shí)現(xiàn)的方式，將通過輪廓識(shí)別技術(shù)定位二維圖像中的人臉和人眼的輪廓的位置，從而根據(jù)二維圖像的輪廓位置，確定三維眼球模型的頂點(diǎn)與二維像素的對(duì)應(yīng)關(guān)系。

作為另一種可能的實(shí)現(xiàn)方式，根據(jù)相機(jī)投影矩陣將三維眼球模型的頂點(diǎn)投影到二維圖像平面上，所得的像素坐標(biāo)即為對(duì)應(yīng)的二維像素。

在本實(shí)施例中，由于人眼球與人臉的相對(duì)位置固定，因此當(dāng)人臉跟蹤的結(jié)果確定后，三維眼球模型在世界坐標(biāo)系中的位置可隨三維人臉模型的位置確定。從而，每一個(gè)三維眼球模型上的頂點(diǎn)可根據(jù)相機(jī)參數(shù)矩陣投影到相機(jī)投影平面上，其投影到的位置即為所對(duì)應(yīng)的二維像素。

具體而言，三維眼球模型頂點(diǎn)的坐標(biāo)(xv，yv，zv)^t和與其對(duì)應(yīng)的二維像素坐標(biāo)(xp，yp)^t間的投影變換關(guān)系為下公式(1)所示：

其中，在上述公式(1)中，k為3×3的相機(jī)內(nèi)參矩陣，p為3×4的相機(jī)外參矩陣。

s102，計(jì)算三維眼球模型的頂點(diǎn)的灰度值和與三維眼球模型的頂點(diǎn)對(duì)應(yīng)的二維像素的灰度值。

具體地，在獲取三維眼球模型的頂點(diǎn)與二維像素的對(duì)應(yīng)關(guān)系后，計(jì)算三維眼球模型的頂點(diǎn)與對(duì)應(yīng)二維像素的灰度值。

由于本方法使用三維眼球模型擬合二維眼球圖像從而跟蹤真實(shí)眼球的轉(zhuǎn)動(dòng)，其中使用的三維眼球模型的表面灰度特征應(yīng)與真實(shí)人眼相符。在真實(shí)人眼中占表面積較大的部分為鞏膜，通?；叶戎递^高，占表面積較小的部分為虹膜與其中包含的瞳孔，通?；叶戎递^低。

因而，在實(shí)際執(zhí)行過程中，如果三維眼球模型的第一球面坐標(biāo)中天頂角的值小于預(yù)設(shè)閾值，則確定第一球面坐標(biāo)的灰度值為0，如果三維眼球模型的第二球面坐標(biāo)中天頂角的值不小于預(yù)設(shè)閾值，則確定第二球面坐標(biāo)的灰度值為1。其中，上述預(yù)設(shè)閾值根據(jù)大量實(shí)驗(yàn)標(biāo)定，可準(zhǔn)確界定眼球的鞏膜和其他部分。

舉例而言，若用θ和表示球面坐標(biāo)系的方位角和天頂角，用[0,1]表示灰度區(qū)間，對(duì)于本方法中使用的三維眼球模型，其表面的蓋狀區(qū)域內(nèi)灰度值為0，表示虹膜和瞳孔，其余部分灰度值為1，表示鞏膜。從而，三維眼球模型頂點(diǎn)的灰度值可根據(jù)其球面坐標(biāo)確定。二維像素的灰度值可直接由輸入圖像的灰度值決定。

s103，根據(jù)三維眼球模型的頂點(diǎn)的灰度值獲取三維眼球模型的頂點(diǎn)的球面灰度梯度。

需要說明的是，根據(jù)具體應(yīng)用場景的不同，可采用多種方式根據(jù)三維眼球的頂點(diǎn)的灰度值獲取三維眼球的頂點(diǎn)的球面灰度梯度。

作為一種可能的實(shí)現(xiàn)方式，根據(jù)三維眼球模型的頂點(diǎn)的灰度值，確定三維眼球模型的球面灰度值，進(jìn)而，根據(jù)三維眼球模型的球面灰度值，確定三維眼球模型的頂點(diǎn)的球面灰度梯度，以確定在當(dāng)前轉(zhuǎn)動(dòng)位置三維眼球模型的可見區(qū)域與二維圖像的差異和優(yōu)化的方向。

在本示例中，將在三維眼球模型的球面的方位角方向兩側(cè)位置的球面灰度值之差確定為三維眼球模型的頂點(diǎn)沿方位角的灰度梯度，將在三維眼球模型的球面的天頂角方向兩側(cè)位置的球面灰度值之差確定為三維眼球模型的頂點(diǎn)沿天頂角的灰度梯度。

舉例而言，根據(jù)三維眼球模型的球面灰度值，本方法繼而求得每個(gè)頂點(diǎn)沿經(jīng)度和緯度兩個(gè)方向的灰度梯度。以經(jīng)度方向?yàn)槔菏紫却_定如下的局部坐標(biāo)系，以三維眼球模型中心為坐標(biāo)原點(diǎn)，且三個(gè)坐標(biāo)軸的方向與世界坐標(biāo)系中的三個(gè)坐標(biāo)軸平行，然后，計(jì)算頂點(diǎn)在此坐標(biāo)系中的球面坐標(biāo)并計(jì)算與兩球面位置的灰度值g^-與g⁺，最后計(jì)算g⁺-g^-作為該頂點(diǎn)沿經(jīng)度方向的球面灰度梯度。緯度方向同理。

s104，利用差異函數(shù)與差異函數(shù)的三維泰勒展開形式對(duì)二維像素的灰度值和三維眼球模型的頂點(diǎn)的灰度梯度進(jìn)行計(jì)算，獲取三維眼球模型的旋轉(zhuǎn)變化量，以使三維眼球模型根據(jù)旋轉(zhuǎn)變化量轉(zhuǎn)動(dòng)。

可以理解，預(yù)先定義確定三維眼球模型與二維圖像的差異的差異函數(shù)，并對(duì)差異函數(shù)進(jìn)行泰勒展開。

進(jìn)而，利用差異函數(shù)與差異函數(shù)的三維泰勒展開形式對(duì)二維像素的灰度值和眼球模型的頂點(diǎn)的灰度梯度進(jìn)行計(jì)算，獲取三維眼球模型的旋轉(zhuǎn)變化量，將三維眼球模型投影到二維圖像上，計(jì)算眼球模型最優(yōu)的旋轉(zhuǎn)位置從而使投影結(jié)果與二維圖像相符。

在本發(fā)明的一個(gè)實(shí)施例中，所優(yōu)化的差異函數(shù)如下公式(2)所示：

其中，公式(2)中的t為三維眼球模型表面所有的可見頂點(diǎn)，即其對(duì)應(yīng)二維像素屬于眼睛區(qū)域的所有頂點(diǎn)。ck為頂點(diǎn)k的球面灰度，為眼球轉(zhuǎn)動(dòng)方向的極坐標(biāo)，ik為頂點(diǎn)k對(duì)應(yīng)的二維像素的灰度。

通過優(yōu)化這樣的差異函數(shù)，可使屬于鞏膜或虹膜的三維頂點(diǎn)與二維像素分別對(duì)應(yīng)，從而使在相機(jī)視角下的三維眼球模型的渲染效果與二維眼睛圖像取得一致。在確定差異函數(shù)后，本方法在每次迭代中計(jì)算使上述差異值減小的眼球模型轉(zhuǎn)動(dòng)方向，因此對(duì)上式中的球面灰度ck做三維球面泰勒展開，如下公式(3)所示：

其中為眼球模型當(dāng)前的轉(zhuǎn)動(dòng)位置，當(dāng)前迭代中的可見頂點(diǎn)便由其決定，與為頂點(diǎn)k的球面灰度梯度。

之后，可再通過下示公式(4)求得當(dāng)前迭代中使差異函數(shù)取最小值的

進(jìn)而，將眼球模型的轉(zhuǎn)動(dòng)位置由更新為

為了更加清楚的描述本發(fā)明實(shí)施例的基于三維球面泰勒展開的人眼視線跟蹤方法，下面結(jié)合具體的示例進(jìn)行說明。

在本示例中，包含一段視頻幀序列，實(shí)施例中的每一幀均使用一個(gè)已重建好的三維人臉模型作為輸入，并要求三維人臉模型在世界坐標(biāo)系中的位置和旋轉(zhuǎn)準(zhǔn)確。

圖2是根據(jù)本發(fā)明一個(gè)具體實(shí)施例的基于三維球面泰勒展開的人眼視線跟蹤方法的流程圖。如圖2所示，該方法包括：

s201，重建三維人臉模型，并獲取二維圖像。

其中，二維圖像是根據(jù)輸入的視頻幀的一幀視頻確定的。

s202，獲取三維眼球模型的頂點(diǎn)和二維像素的對(duì)應(yīng)關(guān)系。

其中，根據(jù)三維人臉模型的位置及三維眼球模型在人臉模型中的相對(duì)位置，可計(jì)算得三維眼球模型中各個(gè)頂點(diǎn)的世界坐標(biāo)，然后使用相機(jī)投影矩陣可計(jì)算得到每個(gè)模型頂點(diǎn)對(duì)應(yīng)的二維像素坐標(biāo)。

s203，計(jì)算三維眼球頂點(diǎn)與對(duì)應(yīng)的二維像素的灰度值。

s204，計(jì)算三維眼球模型的頂點(diǎn)的灰度梯度。

具體地，在計(jì)算三維眼球模型頂點(diǎn)的灰度值之前，應(yīng)首先確定眼球模型表面的灰度值。本實(shí)施例中將眼球近似看作球體，并使用和表示頂點(diǎn)球面坐標(biāo)系的方位角和天頂角(均以弧度表示)，則定義三維眼球模型表面灰度值為公式(5)所示：

其中，ψ＝0.33，是三維眼球模型表面灰度值。

由此，三維眼球模型頂點(diǎn)的灰度值可由其球面坐標(biāo)的天頂角和上述定義求得。二維像素的灰度值i可直接由輸入圖像的灰度值決定。

進(jìn)一步地，根據(jù)上述眼球模型表面灰度值繼而求得三維眼球模型頂點(diǎn)的灰度梯度。首先本實(shí)施例定義基于世界坐標(biāo)系的球面坐標(biāo)系p，即其坐標(biāo)原點(diǎn)位于三維眼球模型中心，三個(gè)坐標(biāo)軸與世界坐標(biāo)系的三個(gè)坐標(biāo)軸分別平行，并用θ和表示該坐標(biāo)系中的方位角和天頂角。則眼球模型表面沿θ和方向的灰度梯度可分別定義為下述公式(6)和(7)所示：

其中為眼球模型表面在c坐標(biāo)系中的灰度值，可由及眼球模型在世界坐標(biāo)系中的旋轉(zhuǎn)矩陣r求得，即如以下公式(8)所示：

因此，模型頂點(diǎn)沿θ和方向的球面灰度梯度可由其在c坐標(biāo)系中的球面坐標(biāo)和上述定義求得。

s205，計(jì)算三維眼球模型旋轉(zhuǎn)的轉(zhuǎn)動(dòng)變量。

具體而言，在對(duì)視頻幀的每一幀進(jìn)行處理時(shí)，都要進(jìn)行多次的迭代處理，每一次迭代處理都會(huì)獲得一個(gè)微小的三維眼球模型旋轉(zhuǎn)的轉(zhuǎn)動(dòng)變量

為了更加清楚的說明該迭代過程，下面結(jié)合其中一次迭代處理進(jìn)行說明如下：

將上述步驟中求得的三維眼球模型頂點(diǎn)的灰度、梯度及對(duì)應(yīng)的二維像素灰度帶入差異函數(shù)的三維球面泰勒展開形式中，即繼續(xù)參照公式(3)：

再通過以下公式(4)求得當(dāng)前迭代中使差異函數(shù)取最小值的

最終將三維眼球模型的轉(zhuǎn)動(dòng)位置由更新為便完成了本次迭代。

s206，判斷迭代是否達(dá)到終止條件。

其中，終止條件可以包括迭代處理的次數(shù)等。

如果沒有達(dá)到終止條件，則進(jìn)入上述的步驟s202，繼續(xù)對(duì)該幀視頻進(jìn)行迭代處理，如果達(dá)到終止條件，則進(jìn)入步驟s207。

s207，獲取視線方向。

具體而言，在對(duì)一幀視頻的每次迭代處理后，獲得一個(gè)微小的三維眼球模型旋轉(zhuǎn)的轉(zhuǎn)動(dòng)變量，最終在到達(dá)終止條件后，將多次迭代處理后的轉(zhuǎn)動(dòng)變量累加得到該幀的旋轉(zhuǎn)變化量，進(jìn)而

使得三維眼球模型根據(jù)旋轉(zhuǎn)變化量轉(zhuǎn)動(dòng)，以模擬出真實(shí)人眼的視線方向。

需要強(qiáng)調(diào)的是，為了描述的方便，上述實(shí)施例中基于三維球面泰勒展開的人眼視線跟蹤方法，步驟s202到步驟s206僅僅示出了針對(duì)一幀視頻的一次迭代處理流程，在實(shí)際應(yīng)用中，針對(duì)每一幀圖像要進(jìn)行多次迭代處理，進(jìn)而根據(jù)多次迭代處理后獲得的微小的轉(zhuǎn)動(dòng)變量的疊加，獲取該幀視頻的三維眼球模型的旋轉(zhuǎn)變化量，并以此旋轉(zhuǎn)變化量控制三維眼球模型中的眼球的旋轉(zhuǎn)，從而本發(fā)明實(shí)施例的基于三維球面泰勒展開的人眼視線跟蹤方法，可以準(zhǔn)確的對(duì)人眼實(shí)現(xiàn)進(jìn)行準(zhǔn)確的跟蹤，為實(shí)現(xiàn)人臉模型動(dòng)畫的真實(shí)性具有重要意義。

舉例而言，當(dāng)通過t＝10次迭代求得一幀視頻中的視線方向時(shí)，如圖3(a)和圖3(b)所示的其中兩幀的輸入和視線跟蹤結(jié)果可知，將生成的視線跟蹤結(jié)果，即三維眼球模型的旋轉(zhuǎn)方向，直接添加到人臉的跟蹤結(jié)果中，可生成更完整的真實(shí)感更強(qiáng)的人臉模型動(dòng)畫。其中，圖3(a)的左側(cè)為一幀二維圖像，右側(cè)為添加了實(shí)現(xiàn)跟蹤結(jié)果的人臉模型動(dòng)畫。圖3(b)的左側(cè)為另一幀二維圖像，右側(cè)為添加了實(shí)現(xiàn)跟蹤結(jié)果的人臉模型動(dòng)畫。

綜上所述，本發(fā)明實(shí)施例的基于三維球面泰勒展開的人眼視線跟蹤方法，利用三維眼球模型的旋轉(zhuǎn)擬合人眼的二維圖像，使三維眼球模型表面的灰度值與將其投影到二維圖像上對(duì)應(yīng)二維像素的灰度值相匹配以得到視線方向。在進(jìn)行匹配降低差異時(shí)，該方法計(jì)算三維眼球模型頂點(diǎn)的灰度梯度，并對(duì)差異函數(shù)進(jìn)行三維球面的泰勒展開求解最小值。由此，結(jié)合三維眼球模型實(shí)現(xiàn)實(shí)時(shí)人眼視線的準(zhǔn)確跟蹤，并且，可直接將三維眼球模型轉(zhuǎn)動(dòng)的結(jié)果添加到人臉的跟蹤結(jié)果中，增加人臉模型動(dòng)畫的真實(shí)感。

為實(shí)現(xiàn)上述目的，本發(fā)明還提出一種基于三維球面泰勒展開的人眼視線跟蹤裝置。

圖4是根據(jù)本發(fā)明第一個(gè)實(shí)施例的基于三維球面泰勒展開的人眼視線跟蹤裝置的結(jié)構(gòu)示意圖。

如圖4所示，該基于三維球面泰勒展開的人眼視線跟蹤裝置包括：

確定模塊10、第一計(jì)算模塊20、獲取模塊30和第二計(jì)算模塊40。其中，確定模塊10，用于確定三維眼球模型的頂點(diǎn)與二維像素的對(duì)應(yīng)關(guān)系。

在本發(fā)明的一個(gè)實(shí)施例中，確定模塊10根據(jù)相機(jī)投影矩陣將所述三維眼球模型的頂點(diǎn)投影到二維圖像平面上，所得的像素坐標(biāo)即為對(duì)應(yīng)的所述二維像素。

第一計(jì)算模塊20，用于計(jì)算三維眼球模型的頂點(diǎn)的灰度值和與三維眼球模型的頂點(diǎn)對(duì)應(yīng)的二維像素的灰度值。

獲取模塊30，用于根據(jù)三維眼球模型的頂點(diǎn)的灰度值獲取三維眼球模型的頂點(diǎn)的球面灰度梯度。

圖5是根據(jù)本發(fā)明第二個(gè)實(shí)施例的基于三維球面泰勒展開的人眼視線跟蹤裝置的結(jié)構(gòu)示意圖。如圖5所示，獲取模塊30包括第一確定單元31和第二確定單元32。

其中，第一確定單元31，用于根據(jù)三維眼球模型的頂點(diǎn)的灰度值，確定三維眼球模型的球面灰度值。

在本發(fā)明的一個(gè)實(shí)施例中，第一確定單元31用于：在三維眼球模型的第一球面坐標(biāo)中天頂角的值小于預(yù)設(shè)閾值時(shí)，確定第一球面坐標(biāo)的灰度值為0。

在本發(fā)明的一個(gè)實(shí)施例中，第一確定單元31在三維眼球模型的第二球面坐標(biāo)中天頂角的值不小于預(yù)設(shè)閾值時(shí)，確定第二球面坐標(biāo)的灰度值為1。

第二確定單元32，用于根據(jù)三維眼球模型的球面灰度值，確定三維眼球模型的頂點(diǎn)的球面灰度梯度。

在本發(fā)明的一個(gè)實(shí)施例中，第二確定單元32用于將在三維眼球模型的球面的方位角方向兩側(cè)位置的球面灰度值之差確定為三維眼球模型的頂點(diǎn)沿方位角的灰度梯度；

在本發(fā)明的一個(gè)實(shí)施例中，第二確定單元32用于將在三維眼球模型的球面的天頂角方向兩側(cè)位置的球面灰度值之差確定為三維眼球模型的頂點(diǎn)沿天頂角的灰度梯度。

第二計(jì)算模塊40，用于利用差異函數(shù)與差異函數(shù)的三維泰勒展開形式對(duì)二維像素的灰度值和三維眼球模型的頂點(diǎn)的灰度梯度進(jìn)行計(jì)算，獲取三維眼球模型的旋轉(zhuǎn)變化量，以使三維眼球模型根據(jù)旋轉(zhuǎn)變化量轉(zhuǎn)動(dòng)。

圖6是根據(jù)本發(fā)明第三個(gè)實(shí)施例的基于三維球面泰勒展開的人眼視線跟蹤裝置的結(jié)構(gòu)示意圖。如圖6所示，該基于三維球面泰勒展開的人眼視線跟蹤裝置還包括預(yù)處理模塊50。

其中，預(yù)處理模塊50，用于定義差異函數(shù)，并對(duì)差異函數(shù)進(jìn)行三維泰勒展開。

需要說明的是，本發(fā)明中對(duì)基于三維球面泰勒展開的人眼視線跟蹤裝置的描述，參照上述對(duì)基于三維球面泰勒展開的人眼視線跟蹤方法實(shí)施例的描述，在此不再贅述。

綜上所述，本發(fā)明實(shí)施例的基于三維球面泰勒展開的人眼視線跟蹤裝置，利用三維眼球模型的旋轉(zhuǎn)擬合人眼的二維圖像，使三維眼球模型表面的灰度值與將其投影到二維圖像上對(duì)應(yīng)二維像素的灰度值相匹配以得到視線方向。在進(jìn)行匹配降低差異時(shí)，該方法計(jì)算三維眼球模型頂點(diǎn)的灰度梯度，并對(duì)差異函數(shù)進(jìn)行三維球面的泰勒展開求解最小值。由此，結(jié)合三維眼球模型實(shí)現(xiàn)實(shí)時(shí)人眼視線的準(zhǔn)確跟蹤，并且，可直接將三維眼球模型轉(zhuǎn)動(dòng)的結(jié)果添加到人臉的跟蹤結(jié)果中，增加人臉模型動(dòng)畫的真實(shí)感。

在本說明書的描述中，參考術(shù)語“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說明書中，對(duì)上述術(shù)語的示意性表述不必須針對(duì)的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。此外，在不相互矛盾的情況下，本領(lǐng)域的技術(shù)人員可以將本說明書中描述的不同實(shí)施例或示例以及不同實(shí)施例或示例的特征進(jìn)行結(jié)合和組合。

盡管上面已經(jīng)示出和描述了本發(fā)明的實(shí)施例，可以理解的是，上述實(shí)施例是示例性的，不能理解為對(duì)本發(fā)明的限制，本領(lǐng)域的普通技術(shù)人員在本發(fā)明的范圍內(nèi)可以對(duì)上述實(shí)施例進(jìn)行變化、修改、替換和變型。