專(zhuān)利名稱：一種判別視線方向的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于模式識(shí)別領(lǐng)域，具體而言，涉及一種判別視線方向的方法和裝置。
背景技術(shù)：
現(xiàn)在，通過(guò)顯示終端進(jìn)行的操作基本上是利用操作者的手和諸如鼠標(biāo)、鍵盤(pán)、觸敏屏之類(lèi)的輸入裝置來(lái)實(shí)現(xiàn)的。進(jìn)行操作時(shí)，通常需要用手移動(dòng)鼠標(biāo)或者用手接觸觸摸屏等，因此在公共場(chǎng)合很容易傳播病菌。此外，對(duì)不方便利用手動(dòng)方式進(jìn)行操作的殘疾人來(lái)說(shuō)，進(jìn)行這種操作是有障礙的。
佳能公司曾發(fā)明過(guò)一種新的“人-機(jī)”攝影控制方式，其原理主要是眼球經(jīng)紅外光束照射時(shí)會(huì)在眼角膜上反射出紅外光斑，而這個(gè)紅外光斑會(huì)與瞳孔中心形成橫豎兩個(gè)方向的角度差，該角度差的值會(huì)隨著眼球的轉(zhuǎn)動(dòng)(即視線的改變)而變化。通過(guò)微型檢測(cè)裝置就可以讀取到這個(gè)差值的大小，將其與預(yù)先儲(chǔ)存的眼控對(duì)焦點(diǎn)的間隔角度基準(zhǔn)值進(jìn)行對(duì)比，從而計(jì)算出拍攝者的視線是通過(guò)哪一個(gè)自動(dòng)對(duì)焦點(diǎn)注視到主體的，進(jìn)而可以完成相應(yīng)的自動(dòng)對(duì)焦。
在上面所公開(kāi)的方案中，要求人眼貼近相機(jī)的取景器，實(shí)際上也屬于接觸式方式。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種判別視線方向的方法和裝置，以便于對(duì)顯示終端進(jìn)行非接觸式操作。
根據(jù)本發(fā)明的一方面，提供了一種判別視線方向的方法，以確定操作者的視線相對(duì)于顯示屏幕的顯示區(qū)域的位置，包括(a)提供分別對(duì)應(yīng)于所述顯示區(qū)域的多個(gè)位置的多組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值；(b)獲取操作者頭部正面的圖像；(c)根據(jù)所獲取的圖像計(jì)算操作者的頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的當(dāng)前值；和(d)基于所計(jì)算的當(dāng)前值和所述多組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值確定操作者的視線相對(duì)于所述顯示區(qū)域的位置。
優(yōu)選地，步驟(a)包括對(duì)于所述多個(gè)位置中的每一個(gè)位置，(a1)在該位置顯示注視對(duì)象，并在操作者注視所述注視對(duì)象時(shí)捕捉操作者頭部正面的圖像；和(a2)根據(jù)所捕捉的圖像計(jì)算對(duì)應(yīng)于該位置的一組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值，并提供所述基準(zhǔn)值。
根據(jù)本發(fā)明的另一方面，提供了一種判別視線方向的裝置，以確定操作者的視線相對(duì)于顯示終端的顯示區(qū)域的位置，其中所述顯示終端連接到該裝置，該裝置包括存儲(chǔ)裝置，用于存儲(chǔ)分別對(duì)應(yīng)于所述顯示區(qū)域的多個(gè)位置的多組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值；圖像獲取裝置，用于獲取操作者頭部正面的圖像；圖像分析裝置，用于根據(jù)所獲取的圖像計(jì)算操作者的頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的當(dāng)前值；和視線方向判別裝置，基于所計(jì)算的當(dāng)前值和所述多組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值確定操作者的視線相對(duì)于所述顯示區(qū)域的位置。
優(yōu)選地，該裝置還包括用于在所述多個(gè)位置上顯示注視對(duì)象的注視對(duì)象驅(qū)動(dòng)裝置。
進(jìn)一步優(yōu)選地，對(duì)于所述多個(gè)位置中的每一個(gè)位置所述注視對(duì)象驅(qū)動(dòng)裝置在該位置顯示注視對(duì)象，并且所述圖像獲取裝置在操作者注視所述注視對(duì)象時(shí)捕捉操作者頭部正面的圖像；和所述圖像分析裝置根據(jù)所捕捉的圖像計(jì)算對(duì)應(yīng)于該位置的一組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值，并且將所計(jì)算的基準(zhǔn)值提供給所述存儲(chǔ)裝置。
利用本發(fā)明，可以通過(guò)注視期望操作的對(duì)象來(lái)完成對(duì)操作對(duì)象的選擇或操作，也就是說(shuō)，利用本發(fā)明可以實(shí)現(xiàn)非接觸式操作。因此本發(fā)明帶來(lái)的有益效果是有助于防止使用公用設(shè)施時(shí)傳播病菌；和為不方便利用手動(dòng)方式進(jìn)行操作的殘疾人提供了便利。本發(fā)明的附加優(yōu)點(diǎn)是避免了因經(jīng)常接觸使用而可能對(duì)操作設(shè)備造成的人為磨損。
附圖簡(jiǎn)述參照附圖，結(jié)合對(duì)具體實(shí)施方式
的詳細(xì)描述將能夠更加清楚地了解本發(fā)明，其中

圖1是根據(jù)本發(fā)明的裝置的一個(gè)實(shí)施例的框圖；圖2是所檢測(cè)到的操作者臉部及雙眼的示意圖；圖3是所檢測(cè)到的操作者眼睛和瞳孔的示意圖；和圖4示出了兩個(gè)相關(guān)聯(lián)的姿態(tài)參數(shù)的值的分布情況。
具體實(shí)施例方式
詳述圖1示出了根據(jù)本發(fā)明的裝置10，包括圖像獲取裝置12、連接到圖像獲取裝置的圖像分析裝置14、連接到圖像分析裝置的存儲(chǔ)裝置16和視線方向判別裝置18，其中存儲(chǔ)裝置還連接到視線方向判別裝置，裝置10還包括注視對(duì)象驅(qū)動(dòng)裝置(未示出)。使用時(shí)，裝置10連接到一個(gè)顯示終端，以確定操作者的視線相對(duì)于所述顯示終端的顯示區(qū)域的位置。裝置10可以用來(lái)實(shí)施根據(jù)本發(fā)明的判別視線方向的方法，下面將結(jié)合裝置10來(lái)說(shuō)明該方法。
根據(jù)本發(fā)明的方法包括訓(xùn)練過(guò)程和實(shí)際判別過(guò)程。
在訓(xùn)練過(guò)程中，提供分別對(duì)應(yīng)于顯示終端的顯示區(qū)域的多個(gè)位置的多組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值，供實(shí)際判別過(guò)程使用。
頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值根據(jù)操作者頭部正面的圖像來(lái)計(jì)算得到。在一個(gè)特定優(yōu)選實(shí)施例中，頭部姿態(tài)參數(shù)包括與頭部的俯仰姿勢(shì)有關(guān)的頭部俯仰參數(shù)和與頭部的水平轉(zhuǎn)動(dòng)角度有關(guān)的頭部水平轉(zhuǎn)動(dòng)參數(shù)，眼睛姿態(tài)參數(shù)包括與視線在水平方向上的注視方向有關(guān)的水平注視參數(shù)和與視線在豎直方向上的注視方向有關(guān)的豎直注視參數(shù)。這些參數(shù)的值可以根據(jù)操作者臉部和雙眼的大小、雙眼相對(duì)于臉部的位置以及瞳孔的位置來(lái)計(jì)算。鑒于下文將會(huì)涉及對(duì)這些參數(shù)的值的應(yīng)用，有必要先說(shuō)明這些參數(shù)的計(jì)算過(guò)程，具體如下。
對(duì)于操作者頭部正面的圖像，圖像分析裝置14首先檢測(cè)圖像中操作者臉部的位置及大小，這可以利用公知的人臉檢測(cè)技術(shù)或其它已知技術(shù)來(lái)完成；繼而在操作者臉部上檢測(cè)出操作者雙眼的位置及大小，這可以通過(guò)公知的模板匹配算法或其它已知方法來(lái)實(shí)現(xiàn)；進(jìn)而在雙眼上分別確定瞳孔的位置及中心坐標(biāo)，例如，用公知的直方圖的方法來(lái)確定。現(xiàn)在參照?qǐng)D2和圖3進(jìn)行詳細(xì)描述。
圖2是所檢測(cè)到的操作者臉部及雙眼的示意圖，其示出了檢測(cè)出的操作者臉部高度H和臉部寬度W。根據(jù)雙眼的位置可以求出眉心的位置，根據(jù)操作者臉部的位置及大小、雙眼的位置及大小和眉心的位置可以求出操作者雙眼距下頜的高度Y1和眉心距臉部左側(cè)邊緣的距離X1，也分別在圖2中示出。
因此，可以計(jì)算頭部俯仰參數(shù)(下文用a1表示)的值，即比值a1＝Y(jié)1/H，其大小與操作者頭部的俯仰姿勢(shì)有關(guān)，俯仰角在±10度的范圍內(nèi)時(shí)，操作者越向上仰，該比值越大；反之越小。也可以計(jì)算頭部水平轉(zhuǎn)動(dòng)參數(shù)(下文用a2表示)的值，即比值a2＝X1/W，其大小與操作者頭部的水平轉(zhuǎn)動(dòng)角度有關(guān)，水平轉(zhuǎn)動(dòng)角度在±30度的范圍內(nèi)時(shí)，操作者越向右轉(zhuǎn)，該比值越小；越向左轉(zhuǎn)，該比值越大。
圖3是操作者眼睛和瞳孔的示意圖，其示出了操作者眼睛的寬度W2和眼簾的張開(kāi)尺度Y2。根據(jù)眼睛的位置和大小及瞳孔的中心坐標(biāo)可以求出操作者瞳孔中心到眼睛外側(cè)的距離X2，也在圖3中示出。
因此，可以計(jì)算水平注視參數(shù)(下文用a3表示)的值，即比值a3＝X2/W2，其大小與操作者視線在水平方向上的注視方向有關(guān)。也可以計(jì)算豎直注視參數(shù)(下文用a4表示)的值，即比值a4＝Y(jié)2/W2，其大小與操作者視線在豎直方向上的注視方向有關(guān)，操作者越向上方注視，Y2就越大，因而比值也越大。
接下來(lái)將舉例說(shuō)明如何獲得分別對(duì)應(yīng)于顯示區(qū)域的多個(gè)位置的多組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值。
在一種實(shí)施方案中，注視對(duì)象驅(qū)動(dòng)裝置被設(shè)置在顯示區(qū)域的多個(gè)不同位置顯示一個(gè)注視對(duì)象，例如，一個(gè)直徑為20個(gè)像素的紅色小球。就矩形顯示區(qū)域而言，所述多個(gè)位置可以包括顯示區(qū)域的左上角、左下角、右上角、右下角、中心和上下左右四個(gè)邊各自的中點(diǎn)等。當(dāng)小球顯示在每個(gè)位置上的時(shí)候，操作者用目光注視小球足夠長(zhǎng)的時(shí)間，例如3秒以上，在此期間，諸如攝像頭之類(lèi)的圖像獲取裝置12捕捉并以一定的幀率，如每秒30幀，記錄操作者頭部正面的圖像。將所記錄的圖像保存在合適的媒介上，待獲得對(duì)應(yīng)于上述各個(gè)期望位置的圖像之后由圖像分析裝置14分別進(jìn)行處理。現(xiàn)在以計(jì)算對(duì)應(yīng)于左上角的頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值為例，說(shuō)明具體的處理方式。
對(duì)在顯示區(qū)域左上角獲得的每幀圖像，按照前面所描述的計(jì)算過(guò)程利用圖像分析裝置14分別計(jì)算出操作者的頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的值，則可得到若干組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的值。對(duì)這若干組中的對(duì)應(yīng)參數(shù)值分別取平均，例如，就a1而言，根據(jù)上面的描述可以得到若干個(gè)關(guān)于a1的參數(shù)值，通過(guò)計(jì)算這若干個(gè)參數(shù)值的平均值及均方差可以確定對(duì)應(yīng)于該位置的a1的基準(zhǔn)值。用同樣的方法，可以得到對(duì)應(yīng)于該位置的a2、a3和a4的基準(zhǔn)值。這樣就得到了對(duì)應(yīng)于顯示區(qū)域左上角的頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值。
對(duì)在其它位置上獲得的圖像進(jìn)行類(lèi)似的處理，就得到了對(duì)應(yīng)于顯示區(qū)域的多個(gè)位置的多組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值。
在一種供選擇的方案中，注視對(duì)象驅(qū)動(dòng)裝置被設(shè)置在顯示區(qū)域上顯示一個(gè)移動(dòng)的注視對(duì)象，使得所述注視對(duì)象按照一定的或隨機(jī)的路線運(yùn)動(dòng)并在期望的多個(gè)位置停留足夠長(zhǎng)的時(shí)間，如3秒以上。在該過(guò)程中，操作者的視線跟隨注視對(duì)象移動(dòng)，同時(shí)圖像獲取裝置12記錄整個(gè)過(guò)程中操作者頭部正面的圖像。將該注視對(duì)象處于各個(gè)期望位置時(shí)所記錄的圖像與各個(gè)期望位置分別對(duì)應(yīng)起來(lái)，并按照上述處理方式利用圖像分析裝置14對(duì)各個(gè)期望位置所對(duì)應(yīng)的圖像分別進(jìn)行處理，從而獲得對(duì)應(yīng)于顯示區(qū)域的多個(gè)位置的多組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值。
將所述基準(zhǔn)值存儲(chǔ)在存儲(chǔ)裝置16中，供在后續(xù)的實(shí)際判別過(guò)程中使用。
在實(shí)際判別過(guò)程中，通過(guò)攝像頭之類(lèi)的圖像獲取裝置12獲取操作者頭部正面的圖像。基于所獲取的圖像，按照前述計(jì)算過(guò)程利用圖像分析裝置14計(jì)算出操作者的頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的當(dāng)前值，例如a1、a2、a3和a4的值。視線方向判別裝置18根據(jù)所計(jì)算的當(dāng)前值和存儲(chǔ)裝置16中存儲(chǔ)的多組基準(zhǔn)值確定操作者的視線相對(duì)于顯示屏幕的顯示區(qū)域的位置。優(yōu)選地，視線方向分析裝置通過(guò)將所計(jì)算的當(dāng)前值與所述多組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值進(jìn)行匹配和利用插值的方法來(lái)進(jìn)行確定。舉例來(lái)說(shuō)，假設(shè)已知分別對(duì)應(yīng)于顯示區(qū)域的多個(gè)位置的多組a1、a2、a3和a4的基準(zhǔn)值，則將所計(jì)算的a1、a2、a3和a4值與所述多組a1、a2、a3和a4的基準(zhǔn)值進(jìn)行匹配，并通過(guò)插值方法得到更精細(xì)的結(jié)果。a1與a4是存在關(guān)聯(lián)關(guān)系的。例如，同樣將視線向下移動(dòng)，操作者可能保持眼球不動(dòng)，將頭向下低一點(diǎn)(即減小a1)；也可能保持頭部不動(dòng)，將眼睛向下轉(zhuǎn)動(dòng)(即減小a4)；也可能通過(guò)共同調(diào)整兩者來(lái)完成。這一關(guān)聯(lián)關(guān)系可以通過(guò)統(tǒng)計(jì)來(lái)得出。a2與a3是存在關(guān)聯(lián)關(guān)系的，這一關(guān)聯(lián)關(guān)系也可以通過(guò)統(tǒng)計(jì)來(lái)得出。為了方便敘述，現(xiàn)在假設(shè)在操作者頭部保持不動(dòng)的情況下(即根據(jù)a3、a4的值)來(lái)確定視線位置。根據(jù)a3的值確定視線在左右方向上的大致位置。例如，假設(shè)顯示區(qū)域上的左邊中間位置所對(duì)應(yīng)的a3的基準(zhǔn)值為0.2，中心位置所對(duì)應(yīng)的a3的基準(zhǔn)值為0.5。假設(shè)計(jì)算得到的a3值為0.35，如果利用線性插值方法則可以推出此時(shí)視線在左右方向上大致處于中心偏左1/4的位置。需要說(shuō)明的是，插值方法的選擇根據(jù)具體情況而定，在精確度要求不是很高的應(yīng)用場(chǎng)合可以進(jìn)行線性插值，如果對(duì)精確度要求較高，可以采用更高階的插值方法，如二階或三階等。這些插值方法對(duì)本領(lǐng)域的技術(shù)人員來(lái)說(shuō)是熟知的。同樣，可以根據(jù)a4的值確定視線在豎直方向上的大致位置。這樣，操作者視線在屏幕顯示區(qū)域上的方位就基本確定了。在頭部參數(shù)的值也發(fā)生變化的情況下，用類(lèi)似的方法，根據(jù)a1、a2、a3、a4的值并結(jié)合a2與a3以及a1與a4的關(guān)聯(lián)關(guān)系確定操作者視線在顯示區(qū)域上的具體位置。
現(xiàn)在參照?qǐng)D4舉例說(shuō)明根據(jù)a1、a4確定操作者視線在屏幕顯示區(qū)域豎直方向上的位置的一種方法。該圖中描述了對(duì)應(yīng)于屏幕顯示區(qū)域上、下邊緣的a1和a4值的分布情況，圖中的黑點(diǎn)表示在訓(xùn)練過(guò)程中得到的各組a1、a4的基準(zhǔn)值。可以看出，對(duì)屏幕顯示區(qū)域豎直方向上的某個(gè)位置，如上邊緣或下邊緣，a1和a4的分布是有規(guī)律的，這種規(guī)律性可以近似地用高斯分布(Gaussian Distribution)來(lái)描述。而且對(duì)于屏幕顯示區(qū)域豎直方向上的不同位置，該分布是比較容易區(qū)分的，并具有各自的高斯分布中心點(diǎn)。這樣，對(duì)于一組新的(a1，a4)的值，我們可以求出它到各個(gè)高斯分布中心點(diǎn)的馬哈拉諾比斯距離(Mahalanobis distance)。根據(jù)各個(gè)馬哈拉諾比斯距離的大小，我們可以判斷出這組新的(a1，a4)的值所對(duì)應(yīng)的屏幕顯示區(qū)域豎直方向上的某個(gè)位置。類(lèi)似地，可以根據(jù)a2、a3確定操作者視線在屏幕顯示區(qū)域水平方向上的位置，從而可以確定操作者視線在屏幕顯示區(qū)域上的具體位置。需要說(shuō)明的是，這里所描述的方法是特定的，根據(jù)具體情況還可以通過(guò)其他已知方法來(lái)進(jìn)行確定。
圖象分析裝置14、視線方向判別裝置18和注視對(duì)象驅(qū)動(dòng)裝置可以是在CPU上運(yùn)行的計(jì)算機(jī)程序模塊或在CPU外部單獨(dú)實(shí)現(xiàn)的硬件模塊。
事實(shí)上，在實(shí)際應(yīng)用時(shí)，操作者的視線可能離開(kāi)顯示區(qū)域。為了對(duì)這種情況進(jìn)行判斷，需要獲得對(duì)應(yīng)于顯示區(qū)域的某些邊界點(diǎn)的基準(zhǔn)值，供確定操作者視線相對(duì)于顯示區(qū)域的位置時(shí)使用。相應(yīng)地，在訓(xùn)練過(guò)程中，需要在多個(gè)邊界點(diǎn)上顯示注視對(duì)象以按照上述方式獲得對(duì)應(yīng)于這多個(gè)邊界點(diǎn)的基準(zhǔn)值。例如，通過(guò)使注視對(duì)象的移動(dòng)路線至少遍歷顯示區(qū)域的邊界、捕捉對(duì)應(yīng)于多個(gè)邊界點(diǎn)的圖像并根據(jù)圖像計(jì)算相應(yīng)的基準(zhǔn)值來(lái)實(shí)現(xiàn)。在這種情況下，以上面提到的矩形顯示區(qū)域?yàn)槔?，移?dòng)路線可以經(jīng)過(guò)顯示區(qū)域的四條邊和某些中間區(qū)域，邊界點(diǎn)可以包括顯示區(qū)域的左上角、左下角、右上角、右下角和上下左右四個(gè)邊各自的中點(diǎn)等，另外，通常還需要關(guān)于顯示位置的某些中間點(diǎn)，如顯示區(qū)域的中心，計(jì)算基準(zhǔn)值供確定操作者視線相對(duì)于顯示區(qū)域的位置時(shí)使用。邊界點(diǎn)和中間點(diǎn)的選擇根據(jù)具體情況而定。
前面的描述意圖僅是說(shuō)明性的，而不是為了限制本發(fā)明。本領(lǐng)域的普通技術(shù)人員可以對(duì)在這里公開(kāi)的實(shí)施例的形式和細(xì)節(jié)進(jìn)行許多變化，而不脫離本發(fā)明的精神和實(shí)質(zhì)。本發(fā)明的范圍由附加的權(quán)利要求限定。
權(quán)利要求
1.一種判別視線方向的方法，以確定操作者的視線相對(duì)于顯示屏幕的顯示區(qū)域的位置，包括(a)提供分別對(duì)應(yīng)于所述顯示區(qū)域的多個(gè)位置的多組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值；(b)獲取操作者頭部正面的圖像；(c)根據(jù)所獲取的圖像計(jì)算操作者的頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的當(dāng)前值；和(d)基于所計(jì)算的當(dāng)前值和所述多組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值確定操作者的視線相對(duì)于所述顯示區(qū)域的位置。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟(a)包括對(duì)于所述多個(gè)位置中的每一個(gè)位置，(a1)在該位置顯示注視對(duì)象，并在操作者注視所述注視對(duì)象時(shí)捕捉操作者頭部正面的圖像；和(a2)根據(jù)所捕捉的圖像計(jì)算對(duì)應(yīng)于該位置的一組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值，并提供所述基準(zhǔn)值。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟(d)通過(guò)將所計(jì)算的當(dāng)前值與所述多組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值進(jìn)行匹配和利用插值的方法確定操作者的視線相對(duì)于所述顯示區(qū)域的位置。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述多個(gè)位置位于預(yù)定路線上，所述預(yù)定路線至少遍歷所述顯示區(qū)域的邊界。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述操作者的視線相對(duì)于顯示屏幕的顯示區(qū)域的位置包括操作者的視線在所述顯示區(qū)域上的位置和操作者的視線已離開(kāi)所述顯示區(qū)域。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述顯示區(qū)域是矩形的，所述預(yù)定路線遍歷所述顯示區(qū)域的中心和四條邊。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述多個(gè)位置包括所述顯示區(qū)域的左上角、左下角、右上角、右下角、中心和/或四條邊各自的中點(diǎn)。
8.根據(jù)權(quán)利要求1-7中任一權(quán)利要求所述的方法，其特征在于，所述頭部姿態(tài)參數(shù)包括與頭部的俯仰姿勢(shì)有關(guān)的頭部俯仰參數(shù)和與頭部的水平轉(zhuǎn)動(dòng)角度有關(guān)的頭部水平轉(zhuǎn)動(dòng)參數(shù)，所述眼睛姿態(tài)參數(shù)包括與視線在水平方向上的注視方向有關(guān)的水平注視參數(shù)和與視線在豎直方向上的注視方向有關(guān)的豎直注視參數(shù)。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，步驟(c)包括(c1)檢測(cè)所獲取的圖像中操作者臉部的位置及大??；(c2)在所述操作者臉部上檢測(cè)操作者雙眼的位置及大小；(c3)在所述雙眼上分別確定瞳孔的位置；和(c4)基于所檢測(cè)到的操作者臉部和眼睛的信息計(jì)算頭部俯仰參數(shù)和頭部水平轉(zhuǎn)動(dòng)參數(shù)的值，基于所檢測(cè)到的操作者眼睛的信息和所確定的瞳孔的位置計(jì)算水平注視參數(shù)和豎直注視參數(shù)的值。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，步驟(c1)所述的檢測(cè)是利用人臉檢測(cè)技術(shù)進(jìn)行檢測(cè)的，步驟(c2)所述的檢測(cè)是利用模板匹配算法進(jìn)行檢測(cè)的，步驟(c3)所述的確定是利用直方圖的方法進(jìn)行確定的。
11.一種判別視線方向的裝置，以確定操作者的視線相對(duì)于顯示終端的顯示區(qū)域的位置，其中所述顯示終端連接到該裝置，該裝置包括存儲(chǔ)裝置，用于存儲(chǔ)分別對(duì)應(yīng)于所述顯示區(qū)域的多個(gè)位置的多組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值；圖像獲取裝置，用于獲取操作者頭部正面的圖像；圖像分析裝置，用于根據(jù)所獲取的圖像計(jì)算操作者的頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的當(dāng)前值；和視線方向判別裝置，基于所計(jì)算的當(dāng)前值和所述多組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值確定操作者的視線相對(duì)于所述顯示區(qū)域的位置。
12.根據(jù)權(quán)利要求11所述的裝置，其特征在于，還包括用于在所述多個(gè)位置上顯示注視對(duì)象的注視對(duì)象驅(qū)動(dòng)裝置，對(duì)于所述多個(gè)位置中的每一個(gè)位置所述注視對(duì)象驅(qū)動(dòng)裝置在該位置顯示注視對(duì)象，并且所述圖像獲取裝置在操作者注視所述注視對(duì)象時(shí)捕捉操作者頭部正面的圖像；和所述圖像分析裝置根據(jù)所捕捉的圖像計(jì)算對(duì)應(yīng)于該位置的一組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值，并且將所計(jì)算的基準(zhǔn)值提供給所述存儲(chǔ)裝置。
13.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述視線方向判別裝置通過(guò)將所計(jì)算的當(dāng)前值與所述多組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值進(jìn)行匹配和利用插值的方法確定操作者的視線相對(duì)于所述顯示區(qū)域的位置。
14.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述多個(gè)位置位于預(yù)定路線上，所述預(yù)定路線至少遍歷所述顯示區(qū)域的邊界。
15.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述操作者的視線相對(duì)于顯示終端的顯示區(qū)域的位置包括操作者的視線在所述顯示區(qū)域上的位置和操作者的視線已離開(kāi)所述顯示區(qū)域。
16.根據(jù)權(quán)利要求14所述的裝置，其特征在于，所述顯示區(qū)域是矩形的，所述預(yù)定路線遍歷所述顯示區(qū)域的中心和四條邊。
17.根據(jù)權(quán)利要求16所述的裝置，其特征在于，所述多個(gè)位置包括所述顯示區(qū)域的左上角、左下角、右上角、右下角、中心和/或四條邊各自的中點(diǎn)。
18.根據(jù)權(quán)利要求11-17中任一權(quán)利要求所述的裝置，其特征在于，所述頭部姿態(tài)參數(shù)包括與頭部的俯仰姿勢(shì)有關(guān)的頭部俯仰參數(shù)和與頭部的水平轉(zhuǎn)動(dòng)角度有關(guān)的頭部水平轉(zhuǎn)動(dòng)參數(shù)，所述眼睛姿態(tài)參數(shù)包括與視線在水平方向上的注視方向有關(guān)的水平注視參數(shù)和與視線在豎直方向上的注視方向有關(guān)的豎直注視參數(shù)。
19.根據(jù)權(quán)利要求18所述的裝置，其特征在于，所述圖像分析裝置用于檢測(cè)操作者頭部正面的圖像中操作者臉部的位置及大??；在所述操作者臉部上檢測(cè)操作者雙眼的位置及大??；在所述雙眼上分別確定瞳孔的位置；和基于所檢測(cè)到的操作者臉部和眼睛的信息計(jì)算頭部俯仰參數(shù)和頭部水平轉(zhuǎn)動(dòng)參數(shù)的值，基于所檢測(cè)到的操作者眼睛的信息和所確定的瞳孔的位置計(jì)算水平注視參數(shù)和豎直注視參數(shù)的值。
20.根據(jù)權(quán)利要求19所述的裝置，其特征在于，所述圖像分析裝置利用人臉檢測(cè)技術(shù)檢測(cè)操作者臉部的位置及大小，利用模板匹配算法檢測(cè)操作者雙眼的位置及大小，利用直方圖的方法確定瞳孔的位置。
全文摘要
一種判別視線方向的方法，以確定操作者的視線相對(duì)于顯示屏幕的顯示區(qū)域的位置，該方法包括(a)提供分別對(duì)應(yīng)于所述顯示區(qū)域的多個(gè)位置的多組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值；(b)獲取操作者頭部正面的圖像；(c)根據(jù)所述圖像計(jì)算操作者的頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的當(dāng)前值；和(d)基于所述當(dāng)前值和所述多組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值確定操作者的視線相對(duì)于所述顯示區(qū)域的位置。對(duì)應(yīng)于上述方法的一種判別視線方向的裝置，包括用于存儲(chǔ)分別對(duì)應(yīng)于所述顯示區(qū)域的多個(gè)位置的多組頭部姿態(tài)參數(shù)和眼睛姿態(tài)參數(shù)的基準(zhǔn)值的存儲(chǔ)裝置；圖像獲取裝置；圖像分析裝置；和視線方向判別裝置。
文檔編號(hào)G06K9/00GK1700242SQ20051007704
公開(kāi)日2005年11月23日 申請(qǐng)日期2005年6月15日 優(yōu)先權(quán)日2005年6月15日
發(fā)明者王浩, 黃英, 夏煜 申請(qǐng)人:北京中星微電子有限公司