專利名稱：：視線方向判定裝置及視線方向判定方法
技術領域：
：本發(fā)明涉及判定被拍攝者的視線方向為規(guī)定方向的視線方向判定裝置及視線方向判定方法。
背景技術：
：在判定人物的視線方向的視線方向判定裝置中，需要以外界的坐標系表示檢測出的方向。在專利文獻1中，公開了事先檢測觀看特定方向時的眼球的狀態(tài)，從其結(jié)果判定是否正在觀看特定方向的視線檢測裝置。專利文獻1記載的裝置注視取景器內(nèi)的指標，并補償此時的視軸與眼球軸之間的偏差。在專利文獻2中，公開了在較長時間觀測駕駛中的視線方向，從其分布規(guī)定視線的基準方向的駕駛狀態(tài)檢測裝置。專利文獻2記載的裝置從時間序列數(shù)據(jù)估計視線的基準位置。這樣，在現(xiàn)有技術的視線方向判定中存在兩種系統(tǒng)的方法。一種是指示或檢測注視對象，并檢測注視狀態(tài)(例如，專利文獻1記載的裝置例子)；另一種從較長時間的視線的分布規(guī)定視線方向的中心(例如，專利文獻2記載的裝置例子)。現(xiàn)有技術文獻專利文獻專利文獻1日本專利申請?zhí)亻_平4力似630號公報專利文獻2日本專利申請?zhí)亻_2005-66023號公報
發(fā)明內(nèi)容發(fā)明要解決的問題然而，這種現(xiàn)有技術的視線方向判定裝置中存在如下問題。(1)在專利文獻1記載的裝置中，需要指示注視對象而成為繁瑣的工作。在自動判定中，難以判定是否真的正在觀看?？傊枰孪鹊臏y量工作，因而無法提高方便性。(2)在專利文獻2記載的裝置中，無法保證較長時間測量時的視線分布真的是正面方向。另外，若非較長時間測量后，則無法補償。除需要較長時間的觀測外，還存在以下的課題無法保證測量出的統(tǒng)計結(jié)果恒定而不存在個人差別，所以難以在剛開始測量后進行判定，以及難以保證精度。本發(fā)明是鑒于上述問題點而完成的。本發(fā)明的目的在于提供無需注視對象的指示和事先的調(diào)整作業(yè)而從剛開始測量就能夠進行判定，能夠高精度且準確地判定視線方向的視線方向判定裝置及視線方向判定方法。解決問題的方案本發(fā)明的視線方向判定裝置所采用的結(jié)構(gòu)包括攝像單元，拍攝包含兩眼的臉圖像；照射單元，通過光源照射所述兩眼的角膜；瞳孔檢測單元，從所述臉圖像檢測作為所述兩眼中的一側(cè)的眼的瞳孔的中心坐標的第1坐標，以及作為另一側(cè)的眼的瞳孔的中心坐標的第2坐標；角膜反射圖像檢測單元，從所述臉圖像檢測所述一側(cè)的眼的角膜中的作為所述光源的角膜反射圖像的中心坐標的第3坐標，以及所述另一側(cè)的眼的角膜中的作為所述光源的角膜反射圖像的中心坐標的第4坐標；線對稱位置計算單元，計算連結(jié)所述第1坐標和所述第2坐標的第1線段的垂直二等分線，并計算作為對于所述垂直二等分線和所述第3坐標線對稱的位置坐標的線對稱位置坐標；以及視線方向判定單元，計算所述第4坐標和所述線對稱位置坐標之間的坐標距離，并基于所述坐標距離與規(guī)定的閾值的比較，判定所述兩眼的視線方向。本發(fā)明的視線方向判定方法包括以下步驟拍攝包含兩眼的臉圖像；通過光源照射所述兩眼的角膜；從所述臉圖像檢測作為所述兩眼中的一側(cè)的眼的瞳孔的中心坐標的第1坐標，以及作為另一側(cè)的眼的瞳孔的中心坐標的第2坐標；從所述臉圖像檢測所述一側(cè)的眼的角膜中的作為所述光源的角膜反射圖像的中心坐標的第3坐標，以及所述另一側(cè)的眼的角膜中的作為所述光源的角膜反射圖像的中心坐標的第4坐標；計算連結(jié)所述第1坐標和所述第2坐標的第1線段的垂直二等分線，并計算作為對于所述垂直二等分線和所述第3坐標線對稱的位置坐標的線對稱位置坐標；以及計算所述第4坐標和所述線對稱位置坐標之間的坐標距離，并基于所述坐標距離與規(guī)定的閾值的比較，判定所述兩眼的視線方向。發(fā)明的效果根據(jù)本發(fā)明，判定上述左眼或右眼的角膜反射圖像對于左右眼的瞳孔的中心線處于線對稱的位置，從該判定結(jié)果判定特定位置的視線方向，從而能夠在視線方向判定時不需要注視對象的指示和事先的調(diào)整作業(yè)，提高方便性。另外，由于利用人的共有的特征，所以能夠?qū)崿F(xiàn)判定結(jié)果的可靠性高、與進行統(tǒng)計處理的方法等相比更高精度的視線方向的判定?；谕瑯拥睦碛?，能夠保證判定出的視線方向為準確的視線方向，所以不需要像現(xiàn)有技術例子那樣進行較長時間測定。進而，能夠從拍攝圖像直接進行判定，所以能夠在測量開始后，立即進行判定。除以上的效果外，還具有以下的效果。即使不看特定的注視對象，也能夠自動地校正檢測出的視線方向的偏差。另外，由于不需要注視，所以能夠簡化處理，能夠防止錯誤判定。這使得能夠進行補償?shù)臋C會增多。進而，只要觀看照相機方向即便一幀即可，所以具有能夠以高可靠性進行補償?shù)男ЧD1是表示本發(fā)明的實施方式1的視線方向判定裝置的結(jié)構(gòu)的方框圖。圖2A、圖2B是說明上述實施方式1的視線方向判定裝置的視線方向判定方法的圖。圖3是說明上述實施方式1的視線方向判定裝置的視線方向判定方法的圖。圖4A、圖4B是說明上述實施方式1的視線方向判定裝置的視線方向判定方法的圖。圖5A、圖5B是說明上述實施方式1的視線方向判定裝置的視線方向判定算法的圖。圖6是表示上述實施方式1的視線方向判定裝置的視線方向判定處理的流程圖。圖7是表示輸入到上述實施方式1的視線方向判定裝置的輸入圖像的例子的圖。圖8A、圖8B是表示在上述實施方式1的視線方向判定裝置中使用的圖像特征的例子的圖。圖9是表示本發(fā)明的實施方式2的視線方向判定裝置的結(jié)構(gòu)的方框圖。圖10是表示上述實施方式2的視線方向判定裝置的視線方向判定處理的流程圖。圖11是表示本發(fā)明的實施方式3的帶自動校正功能的視線方向判定裝置的結(jié)構(gòu)的方框圖。圖12是表示上述實施方式3的帶自動校正功能的視線方向檢測裝置的動作的流程圖。圖13A、圖1是說明上述實施方式3的帶自動校正功能的視線方向判定裝置能夠自動地補償視線方向的偏移的圖。圖14是表示本發(fā)明的實施方式4的視線方向判定裝置的結(jié)構(gòu)的方框圖。圖15A、圖15B、圖15C是表示上述實施方式4的視線方向判定裝置的照射單元與攝像單元的位置關系的圖。圖16A、圖16B是表示上述實施方式4的視線方向判定裝置的角膜反射圖像與角膜投影圖像的位置關系的圖。圖17是上述實施方式4的具有警報裝置單元的視線方向判定裝置的結(jié)構(gòu)方框圖。標號說明100、500、1400、1700視線方向判定裝置110圖像輸入單元111攝像單元112照射單元113同步單元120臉檢測單元130臉器官檢測單元140圖像特征檢測單元141瞳孔檢測單元142角膜反射圖像檢測單元150線對稱位置計算單元160評價值計算單元170視線方向判定單元501臉方向計算單元502臉視線方向判定單元600帶自動校正功能的視線方向檢測裝置610視線方向計算單元620視線檢測校正單元630校正參數(shù)存儲單元640輸出單元1400視線方向判定裝置1401攝像單元1402瞳孔檢測單元1403角膜反射圖像檢測單元1404線對稱位置計算單元1405視線方向判定單元1501右眼的瞳孔1502左眼的瞳孔1503右眼的眼球1504左眼的眼球1505連結(jié)右眼的瞳孔的中心與左眼的瞳孔的中心的線段1506平面1507垂線1508垂線1509垂直二等分線1510垂線的垂足1511垂線的垂足1600臉圖像1601右眼1602左眼1603右眼的角膜1604左眼的角膜1605右眼的瞳孔1606左眼的瞳孔1607右眼的角膜反射圖像1608左眼的角膜反射圖像1609線段1610垂直二等分線1611角膜投影圖像1700視線方向判定裝置1701警報裝置單元具體實施例方式以下，參照附圖詳細說明本發(fā)明的實施方式。(實施方式1)本發(fā)明涉及以下的視線方向判定裝置，即從由具有照明單元的攝像裝置獲得到的臉圖像，檢測瞳或瞳孔的中心、以及照明的角膜反射圖像，從它們的線對稱性判定受驗者的視線方向。這里，所謂視線方向判定，表示判定受驗者的視線是否朝向特定的方向。但是，特定方向并非必須是一個，也可以是多個方向。本發(fā)明的實施方式1中記載以下的視線方向判定裝置，S卩從由具有照明單元的7攝像裝置獲得到的臉圖像，檢測瞳或瞳孔的中心、以及照明的角膜反射圖像，從它們的線對稱性判定受驗者的視線方向。圖1是表示本發(fā)明的實施方式1的視線方向判定裝置的結(jié)構(gòu)的方框圖。本實施方式是對于以下的警報裝置適用了本發(fā)明的視線方向判定裝置的例子，即其設置在汽車的車廂內(nèi)，檢測駕駛者的視線方向，并在較長時間未朝向正面時進行警告。如圖1所示，視線方向判定裝置100例如能適用于汽車導航系統(tǒng)(CarNavigationSystem)、電視、揚聲器等信息提示設備；駕駛者支援照相機、監(jiān)視照相機等安全狀態(tài)監(jiān)視設備；靜態(tài)照相機、攝像機等視頻記錄設備；機器人(Robot)等生活輔助設備等這些需要掌握操作者、被拍攝者正在觀看哪里的信息的設備。視線方向判定裝置100具有圖像輸入單元110、臉檢測單元120、臉器官檢測單元130、圖像特征檢測單元140、線對稱位置計算單元150、評價值計算單元160、以及視線方向判定單元170。圖像輸入單元110將由攝像單元111拍攝的圖像輸出到后述的臉檢測單元120。圖像輸入單元110具有設置在車的方向盤的上方或儀表盤上等駕駛席的正面，且設置在能夠拍攝駕駛者的位置的攝像單元111；照射駕駛者的臉的照射單元112；以及使攝像單元111與照射單元112取得同步的同步單元113。攝像單元111具有CCD(ChargeCoupledDevices,電荷耦合器)、CMOS(ComplementaryMetalOxidekmiconductor，互補性金屬氧化物半導體)等圖像傳感器，根據(jù)從同步單元113輸入的同步信號，取得圖像。另外，以下，以圖像橫方向為X軸，圖像縱方向為Y軸，1像素為1坐標點，說明所拍攝的臉圖像。照射單元112具有不可視而在攝像單元111中具有感光度的近紅外線LED，根據(jù)來自同步單元113的同步信號進行發(fā)光。同步單元113在相當于從攝像單元111的曝光開始到結(jié)束為止的期間，將同步信號輸出到攝像單元111和照射單元112。臉檢測單元120從由圖像輸入單元110輸入的圖像檢測作為人物的臉的圖像的臉圖像，并將臉圖像輸出到臉器官檢測單元130。臉器官檢測單元130從由臉檢測單元120輸入的臉圖像，檢測外眼角、內(nèi)眼角、瞳中心、鼻孔、嘴角、眉的兩端等臉器官，并將形成各個臉器官的輪廓的多個點的坐標輸出到圖像特征檢測單元140。圖像特征檢測單元140具有從臉圖像檢測瞳孔的瞳孔檢測單元141；以及從臉圖像檢測角膜上的照射單元112的反射圖像的角膜反射圖像檢測單元142。所謂角膜反射圖像表示被稱為普爾欽圖像(Purkinjeimage)的、角膜表面的反射圖像。瞳孔檢測單元141從由圖像輸入單元110輸入的臉圖像以及從臉器官檢測單元130輸入的臉器官坐標檢測左右眼的瞳孔，將左右瞳孔的中心坐標輸出到線對稱位置計算單元150。角膜反射圖像檢測單元142從由圖像輸入單元110輸入的臉圖像以及由臉器官檢測單元130輸入的臉器官坐標，檢測左右眼的、照射單元112的角膜反射圖像，將左右角膜反射圖像的中心坐標輸出到線對稱位置計算單元150。線對稱位置計算單元150從由圖像特征檢測單元140輸入的左右眼的瞳孔中心坐標以及角膜反射圖像中心坐標，計算左右眼中一側(cè)的眼的角膜反射圖像中心的線對稱位置，將線對稱位置坐標和另一側(cè)的眼的角膜反射圖像坐標分別輸出到評價值計算單元160。所謂線對稱是指對于以左右瞳孔中心為端點的線段的垂直二等分線呈線對稱。評價值計算單元160從由線對稱位置計算單元150輸入的投影坐標以及由圖像特征檢測單元140輸入的角膜反射圖像中心坐標和線對稱位置坐標，計算評價角膜反射圖像的線對稱性的線對稱性評價值，并將其輸出到視線方向判定單元170。視線方向判定單元170從由評價值計算單元160輸入的線對稱性評價值，判斷左右角膜反射圖像的線對稱性，在具有線對稱性時，判定為受驗者的視線方向正朝向照相機方向；而在不具有線對稱性時，判定為未朝向照相機方向，并將判定結(jié)果輸出到未圖示的警報裝置。未圖示的警報裝置根據(jù)判定結(jié)果，在較長時間未朝向照相機方向時，發(fā)出警報。該警報為包含警告消息(message)的顯示、由語音合成LSI產(chǎn)生的語音消息、LED發(fā)光、由揚聲器等的發(fā)聲、或它們的組合。上述各個單元的功能，由微計算機執(zhí)行控制程序而實現(xiàn)。也就是說，視線方向判定裝置100具有作為控制單元的CPU、記錄了控制程序的ROM及執(zhí)行程序用的RAM等、作為攝像裝置的照相機、作為顯示和警報裝置的顯示單元，該控制單元控制視線方向判定裝置100的各個單元的動作。圖1的各個單元明確表示為進行控制單元所執(zhí)行的視線方向判定處理的功能塊。以下，說明如上構(gòu)成的視線方向判定裝置100的動作。首先，說明本視線方向判定方法的基本想法。圖2至圖4是說明視線方向判定裝置100的視線方向判定方法的圖。如圖2A所示，投光器(projector)201(在圖1中為照射單元112)照射臉202的眼球203。照相機206(在圖1中為攝像單元111)獲取反射到眼球203的角膜203a上的角膜反射圖像205。如圖2B所示，通過來自投光器201的光照射，在眼球203的角膜203a上顯現(xiàn)角膜反射圖像205。視線方向判定裝置100利用臉的左右對稱性，檢測左右眼的角膜反射圖像205。也就是說，計算左右眼的角膜反射圖像205的位置，判定獲得的角膜反射圖像位置在左右眼中是否處于線對稱的位置。如圖3所示，在用左右眼獲取投光器201的角膜反射圖像205，從對于瞳孔204的反射圖像位置205的對稱性，檢測正在觀看投光器201方向的時候。另外，通過驗證投光器201的角膜反射圖像位置的左右對稱性，判定是否正在觀看照相機206方向。具體而言，如圖4A所示，正在觀看照相機206、投光器201方向時，角膜反射圖像205的位置為左右對稱。另外，如圖4B所示，在未觀看照相機206、投光器201方向時，角膜反射圖像205的位置為左右非對稱。接著，說明視線方向判定方法的細節(jié)。[算法]1.檢測瞳孔和角膜反射圖像2.將一方的反射圖像投影到對于左右瞳孔的垂直二等分線對稱的位置3.檢測投影反射圖像與另一方反射圖像的偏差4.若偏差量在閾值以下，則將此時的視線方向判定為照相機方向圖5是說明視線方向判定算法的圖，圖5A表示臉圖像，圖5B表示臉圖像以及連結(jié)了基于臉圖像計算出的兩眼的瞳孔的線段的垂直二等分線。如圖5A所示，從臉圖像202檢測眼球203，并檢測兩眼的瞳孔204和兩眼的角膜反射圖像205。如圖5B所示，本算法將單側(cè)的反射圖像投影到對于左右瞳孔的垂直二等分線211對稱的位置。將投影到一側(cè)的眼球203(參照投影線212)的、另一側(cè)的眼的角膜反射圖像205稱為角膜投影圖像215。這里，右眼的角膜反射圖像205被投影到左眼，在左眼上，左眼的角膜反射圖像205與所投影的角膜投影圖像215接近排列。本算法計算左眼的角膜反射圖像205與所投影的角膜投影圖像215之間的偏差。若該偏差量在閾值以下，則將此時的視線方向判定為照相機方向。再者，在后面通過圖6的視線方向判定處理流程敘述本算法的實現(xiàn)方法。這樣，通過驗證兩眼的角膜反射圖像的坐標位置對于垂直二等分線211是否為線對稱，能夠判定視線方向。圖6是表示視線方向判定裝置100的視線方向判定處理的流程圖。圖7是表示輸入到視線方向判定裝置100的臉圖像的圖。在圖6中，通過開始本程序，圖像輸入單元110開始拍攝作業(yè)。開始拍攝作業(yè)，即可以通過人工進行，也可以以外部的某種信號為觸發(fā)器而由視線方向判定裝置100進行。在步驟Sl中，圖像輸入單元110從每一定期間由同步單元113取得了與照射單元112的同步的攝像單元111，獲取圖7的臉圖像300，并將該臉圖像300輸出到臉檢測單元120。例如，圖像輸入單元110假設是由具有CMOS圖像傳感器和透鏡的數(shù)碼相機以及具有近紅外線LED的投光器構(gòu)成的傳感器，由此與投光器取得同步地拍攝的PPM(PortablePixMapfileformat；便攜式像素圖文件格式)格式的圖像等被臨時存儲到存在于圖像輸入單元110中的圖像存儲單元中(例如，個人計算機的存儲器空間)。然后，該臨時存儲的圖像以PPM格式輸入到臉檢測單元120。此時，照射單元112是與攝像單元111的曝光時間取得同步而點亮的、同步脈沖驅(qū)動近紅外線LED投光器。在能夠獲得為拍攝充足的光量的情況下，也可以不是同步脈沖驅(qū)動而是經(jīng)常點亮。在步驟S2中，臉檢測單元120從由圖像輸入單元110輸入的臉圖像300，進行臉區(qū)域301的檢測處理。就臉區(qū)域檢測來說，例如從輸入圖像提取構(gòu)成特征的圖像，比較提取出的構(gòu)成特征的圖像與預先準備的表示臉區(qū)域的特征圖像，對于進行了比較的圖像檢測相似度較高的圖像。就相似度來說，例如對比預先獲得到的平均臉的加博爾特征量(Gaborfeature)和掃描輸入圖像而提取出的加博爾特征量，使用該差的絕對值的倒數(shù)。此時，作為臉區(qū)域，與預先準備的模板比較，在圖7的臉區(qū)域301中，從圖像中搜索相關最高的區(qū)域。另外，也可以通過從圖像中或進行膚色區(qū)域檢測，或進行橢圓檢測，或使用統(tǒng)計式10模式識別方法來檢測臉區(qū)域301。除此之外，只要是能夠進行上述臉檢測的技術，可以是任何方法。在步驟S3中，臉器官檢測單元130以由臉檢測單元120輸入的臉圖像300的臉區(qū)域301為搜索區(qū)域，進行嘴角、外眼角、內(nèi)眼角等臉器官組302的檢測處理。臉器官檢測例如使用分離度濾波器，檢測嘴角、外眼角、內(nèi)眼角等臉器官的端點或鼻孔等的二維坐標。另外，既可以使學習器預先學習多個臉圖像與對應于臉圖像的臉器官的位置的關系，在將臉圖像300輸入到學習器時，將似然度最高之處檢測為臉器官，也可以使用標準的臉器官的模板從臉圖像300內(nèi)搜索臉器官。在步驟S4中，瞳孔檢測單元141從在上述的步驟S3中通過臉器官組檢測而檢測出的眼區(qū)域中，檢測圖3的瞳孔303的中心坐標。在臉圖像中，瞳孔的中心坐標例如對于在上述的步驟S3中通過臉器官組檢測而檢測出的包含外眼角、內(nèi)眼角的眼區(qū)域，適用圓形分離度濾波器，將亮度的分離度最高的圓的中心的坐標提取為瞳孔的中心坐標。此時，考慮通過使用了索貝爾(Sobel)濾波器的邊緣檢測、使用了大津的閾值確定方法等的亮度的二值化等檢測出的眼臉，僅將夾在上下眼瞼中的區(qū)域內(nèi)作為檢測對象范圍。另外，也可以在包含外眼角、內(nèi)眼角的區(qū)域中，在水平、垂直方向取亮度和，將在垂直方向得到的亮度和在水平方向得到的亮度和為最小的點作為瞳孔中心。另外，檢測對象也可以不是瞳孔而是虹膜的中心、角膜的中心。除此之外，只要是能檢測上述瞳孔的中心坐標的技術，可以采用任何檢測方法。在步驟S5中，角膜反射圖像檢測單元142從在上述的步驟S3中通過臉器官組檢測所檢測出的眼區(qū)域中，檢測圖的角膜反射圖像304的中心坐標。就角膜反射圖像的中心坐標來說，例如對于在上述的步驟S4中檢測出的瞳孔的中心的周圍區(qū)域，計算亮度直方圖(brightnesshistogram)，將最大亮度像素的坐標的重心檢測為角膜反射圖像的中心坐標。另外，也可以獲取直方圖的高位數(shù)％(例如1%)的像素的重心。此時，在最大亮度小于預先確定的閾值時，視為不存在角膜反射圖像，中止判定處理，并返回到上述的步驟Si。另外，在最大亮度的像素數(shù)大于預先確定的閾值時，視為在角膜反射圖像中包含照射單元112之外的物體的反射，中止處理，并返回到上述的步驟Si。在步驟S6中，線對稱位置計算單元150計算連結(jié)了從圖像特征檢測單元140輸入的瞳孔303的中心坐標與角膜反射圖像304的中心坐標的線段的垂直二等分線，計算對于計算出的垂直二等分線的左右一側(cè)的角膜反射圖像的線對稱位置的中心坐標。圖8是表示在視線方向判定裝置100中使用的圖像特征的例子的圖，圖8A表示視線朝向照相機206的方向時的圖像410，圖8B表示視線未朝向照相機206的方向時的圖像420。在圖8A中，瞳孔411與圖7中的瞳孔303相同，角膜反射圖像412與圖7中的角膜反射圖像304相同。在圖8中，線對稱位置計算單元150根據(jù)下式(1)計算連結(jié)兩眼的瞳孔411的中心坐標的線段的垂直二等分線414。權(quán)利要求1.視線方向判定裝置，包括攝像單元，拍攝包含兩眼的臉圖像；照射單元，通過光源照射所述兩眼的角膜；瞳孔檢測單元，從所述臉圖像，檢測作為所述兩眼中的一側(cè)的眼的瞳孔的中心坐標的第1坐標、以及作為另一側(cè)的眼的瞳孔的中心坐標的第2坐標；角膜反射圖像檢測單元，從所述臉圖像，檢測所述一側(cè)的眼的角膜中的作為所述光源的角膜反射圖像的中心坐標的第3坐標、以及所述另一側(cè)的眼的角膜中的作為所述光源的角膜反射圖像的中心坐標的第4坐標；線對稱位置計算單元，計算連結(jié)所述第1坐標和所述第2坐標的第1線段的垂直二等分線，并計算作為對于所述垂直二等分線和所述第3坐標線對稱的位置坐標的線對稱位置坐標；以及視線方向判定單元，計算所述第4坐標和所述線對稱位置坐標之間的坐標距離，并基于所述坐標距離與規(guī)定的閾值的比較，判定所述兩眼的視線方向。2.如權(quán)利要求1所述的視線方向判定裝置，連結(jié)從所述攝像單元到包含所述第1線段的平面的垂線的垂足和從所述照射單元到所述平面的垂線的垂足的第2線段與所述第1線段正交。3.如權(quán)利要求1所述的視線方向判定裝置，還包括警報裝置，所述警報裝置接受所述視線方向判定單元的判定結(jié)果，對接受了所述視線方向不是特定的方向的判定結(jié)果的次數(shù)進行計數(shù)，在所述計數(shù)的數(shù)超過規(guī)定的次數(shù)時發(fā)出警告。4.如權(quán)利要求3所述的視線方向判定裝置，所述警報裝置在接受到所述視線方向是所述特定的方向的判定結(jié)果時，使所述計數(shù)的數(shù)為零。5.如權(quán)利要求1所述的視線方向判定裝置，還包括臉方向計算單元，基于所述臉圖像判定臉方向；以及臉視線方向判定單元，在由所述臉方向計算單元判定為所述臉方向是所述特定的方向時，基于所述坐標距離和所述規(guī)定的閾值，判定視線方向，所述視線方向判定單元以臉的方向為參數(shù)，判定視線方向。6.如權(quán)利要求1所述的視線方向判定裝置，還包括視線方向計算單元，從由所述攝像單元獲取的所述臉圖像計算視線方向信息；以及校正單元，基于所述視線方向判定單元的判定結(jié)果以及所述視線方向計算信息，計算所述視線方向的偏差值，并基于所述偏差值校正視線方向。7.視線方向判定方法，包括拍攝包含兩眼的臉圖像；通過光源照射所述兩眼的角膜；從所述臉圖像，檢測作為所述兩眼中的一側(cè)的眼的瞳孔的中心坐標的第1坐標、以及作為另一側(cè)的眼的瞳孔的中心坐標的第2坐標；從所述臉圖像，檢測所述一側(cè)的眼的角膜中的作為所述光源的角膜反射圖像的中心坐標的第3坐標、以及所述另一側(cè)的眼的角膜中的作為所述光源的角膜反射圖像的中心坐標的第4坐標；計算連結(jié)所述第1坐標和所述第2坐標的第1線段的垂直二等分線，并計算作為對于所述垂直二等分線和所述第3坐標線對稱的位置坐標的線對稱位置坐標；以及計算所述第4坐標與所述線對稱位置坐標之間的坐標距離，并基于所述坐標距離與規(guī)定的閾值的比較，判定所述兩眼的視線方向。全文摘要公開了能夠無需注視對象的指示和事先的調(diào)整作業(yè)而從剛開始測量就進行判定，能夠高精度并準確地判定視線方向的視線方向判定裝置及視線方向判定方法。視線方向判定裝置(100)包括對于左右眼的瞳孔的中心線，判定左眼或右眼的角膜反射圖像處于線對稱的位置的線對稱位置判定單元(150)；以及從線對稱位置判定結(jié)果判定包含攝像單元(111)或大致相同位置的照射單元(112)的設置位置的特定位置的視線方向的視線方向判定單元(170)，視線方向判定裝置判定角膜反射圖像的線對稱性，從該線對稱性判定特定的視線方向。文檔編號G06T1/00GK102149325SQ20098013546公開日2011年8月10日申請日期2009年9月25日優(yōu)先權(quán)日2008年9月26日發(fā)明者丸谷健介,築澤宗太郎申請人:松下電器產(chǎn)業(yè)株式會社