專利名稱：面部表情識別裝置及方法和攝像裝置的制作方法
技術領域：
本發(fā)明涉及一種基于描繪人物的圖像信息來識別面部表情的面部表情識別裝置及方法和攝像裝置。
背景技術：
存在多種傳統技術用來識別面部表情。在日本特許第02840816號公報(在下文中稱為"專利文獻1")所記載的面部表情識別中，預先設置要在面部表情識別中使用的無表情的參照圖像。然后，對輸入圖像和預先設置的無表情的參照圖像進行小波變換以針對各個頻帶計算頻率信號的平均功率。然后通過計算各個平均功率之間的差來確定面部表情。
另外，在日本特開2005-56388號公報(下文中稱為專利文獻2)記載
的面部表情識別中，在從面部表情識別所使用的無表情的參照圖像中預先提取了規(guī)定的特征點之后，計算特征點之間的距離等。然后通過類似地計算輸入圖像中的特征點之間的距離并計算各個距離之間的差值，來確定面部表情。
此外，日本特開2005-266984號公報(下文中稱為專利文獻3)記載了一種不使用無表情的參照圖像的面部表情識別技術。在專利文獻3所記載的面部表情識別中，在檢測到圖像中的嘴角(comer)以及左眼角和右
眼角之后，基于由這四個點生成的矩形中長邊與短邊的比率確定面部表情。此外，在日本特許第2573126號公報(專利文獻4)中，記載了一種
方法，其中，從各特征位置獲得眉毛動作和其他面部表情元素及面部表情元素信息，并基于面部表情元素信息計算面部表情元素碼，然后在規(guī)定的變換公式中使用面部表情元素碼來計算情緒值。
然而，由于在上述專利文獻1和專利文獻2中所記載的面部表情識別捕捉相對于無表情狀態(tài)的變化，因此，與專利文獻3中記載的不使用無表情的參照圖像的面部表情識別技術相比，它們具有以下顯著優(yōu)勢(1)它 們能夠適應諸如眼、嘴等的面部器官的位置的個人差異；(2)它們能夠以 相對高的檢測精確度捕捉面部表情的細微變化。但是，另一方面，這些處 理具有以下問題(1)為了預先登記無表情的圖像，需要時間和人力；(2)
僅能夠對所登記的人識別面部表情；(3)由于進行登記的圖像的數量等依 賴于進行面部表情識別的人的數量，因此需要較大的存儲區(qū)；(4)當登記 期間的攝像環(huán)境與面部表情識別期間的攝像環(huán)境不同時，有時由于攝像環(huán) 境之間的差異而不能精確地識別面部表情；(5)在登記無表情的圖像的用 戶中術語"無表情的圖像"的定義的變化很大地影響到面部表情識別的精 確度。上述五個問題由用戶預先手動地登記無表情的圖像的操作引起。
此外，在專利文獻3和4中，不能適應面部的特征點位置等方面的個 人差異，并且由于使用通用標準來確定各個人的面部表情，因此難以提髙 精確度。

發(fā)明內容
考慮解決上述問題而做出本發(fā)明，本發(fā)明提供了一種面部表情識別裝 置及方法，其中，在典型實施例中，不需要預先登記特定面部表情的圖像， 并且基于各個人的面部特征的使用，能夠進行面部表情的確定。
根據本發(fā)明的一個方面，提供了一種面部表情識別裝置，該面部表情 識別裝置包括
圖像輸入單元，用于順次輸入圖像；
面部檢測單元，用于檢測由所述圖像輸入單元獲得的圖像中的面部； 開始確定單元，用于基于由所述面部檢測單元檢測到的面部圖像信息
確定是否開始面部表情確定；
獲取單元，用于在所述開始確定單元確定應當開始面部表情確定時，
基于由所述面部檢測單元檢測到的所述面部圖像信息獲取參照特征信息；
以及
面部表情確定單元，用于在所述開始確定單元確定開始所述面部表情 確定時從由所述面部檢測單元檢測到的所述面部圖像信息提取特征信息，并基于所提取的特征信息和所述參照特征信息確定所述檢測到的面部的面 部表情。
根據本發(fā)明的另一方面，提供了一種攝像裝置，該攝像裝置包括 上述面部表情識別裝置；
供應單元，用于使用攝像單元以時間先后順序獲取圖像并將所獲取的 圖像供應給所述圖像輸入單元；以及
記錄單元，用于在所述面部表情確定單元確定面部表情是規(guī)定面部表 情時，將所述圖像記錄為拍攝圖像。
根據本發(fā)明的一個方面，提供了一種面部表情識別裝置，該面部表情 識別裝置包括
圖像輸入單元，用于順次輸入圖像；
面部檢測單元，用于檢測由所述圖像輸入單元獲得的所述圖像中的面
部；
特征提取單元，用于從由所述面部檢測單元檢測到的面部中提取特征；
存儲單元，用于在由所述特征提取單元提取的所述特征的可靠性不小
于閾值時，將所述特征存儲在存儲器中；以及
面部表情確定單元，用于基于由所述存儲單元存儲在所述存儲器中的 所述特征的變化確定所述面部的面部表情。
根據本發(fā)明的另一方面，提供了一種面部表情識別裝置，該面部表情 識別裝置包括
檢測單元，用于從順次輸入的圖像中檢測面部；
狀態(tài)確定單元，用于確定由所述檢測單元檢測到的所述面部的特征的 狀態(tài)；
獲取單元，用于在所述狀態(tài)確定單元確定了所述面部的所述特征處于 預定狀態(tài)時，基于所述面部的圖像信息獲取參照特征信息；以及
面部表情確定單元，用于基于由所述檢測單元新檢測到的面部和所述 參照特征信息確定所述新檢測到的面部的面部表情。
根據本發(fā)明的另一方面，提供了一種面部表情識別方法，該面部表情 識別方法包括以下步驟圖像輸入步驟，其涉及順次輸入圖像；
面部檢測步驟，其涉及檢測在所述圖像輸入步驟中獲得的圖像中的面
部；
開始確定步驟，其涉及基于在所述面部檢測步驟中檢測到的面部圖像 信息確定是否幵始面部表情確定；
獲取步驟，其涉及在所述開始確定步驟確定應當開始面部表情確定時， 基于在所述面部檢測步驟中檢測到的所述面部圖像信息獲取參照特征信 息；以及
面部表情確定步驟，其涉及在所述開始確定步驟中確定開始所述面部 表情確定時從在所述面部檢測步驟中檢測到的所述面部圖像信息提取特征 信息，并基于所提取的特征信息和所述參照特征信息確定所檢測到的面部 的面部表情。
根據本發(fā)明的一個方面，提供了一種基于信息處理器的面部表情識別 方法，該方法包括以下步驟
圖像輸入，其涉及順次輸入圖像；
面部檢測，其涉及檢測在所述圖像輸入歩驟中獲得的所述圖像中的面
部；
特征提取，其涉及從在所述面部檢測步驟中檢測到的面部中提取特征；
存儲，其涉及在所述特征提取步驟中提取的所述特征的可靠性不小于 閾值時，將所述特征存儲在存儲器中；以及
面部表情確定，其涉及基于在所述存儲步驟中存儲在所述存儲器中的 所述特征的變化確定所述面部的面部表情。
根據本發(fā)明的一個方面，提供了一種面部表情識別方法，該面部表情 識別方法包括以下步驟
從順次輸入的圖像中檢測面部；
確定在所述檢測步驟中檢測到的所述面部的特征的狀態(tài)； 在所述狀態(tài)確定單元確定了所述面部的所述特征處于預定狀態(tài)時，基 于所述面部的圖像信息獲取參照特征信息；以及
基于在所述檢測步驟中新檢測到的面部和所述參照特征信息確定所述新檢測到的面部的面部表情。
通過下面參照附圖對示例性實施例的描述，本發(fā)明的其它特征將變得 清楚。


圖1示出了根據本實施例的攝像裝置的硬件配置。
圖2是例示根據第一實施例的攝像裝置的整體操作的流程圖。
圖3是例示根據第一實施例的參照特征設置處理(步驟S213)的詳情 的流程圖。
圖4是例示示例性的檢測到的左眼和右眼的圖。
圖5是例示示例性的檢測到的特征點的圖。
圖6是例示為檢測特征點500和502所設定的示例性區(qū)域的圖。
圖7是例示為檢測特征點503所設定的示例性區(qū)域的圖。
圖8是例示為檢測特征點506和509所設定的示例性區(qū)域的圖。
圖9是例示為檢測特征點507和508所設定的示例性區(qū)域的圖。
圖10是例示為檢測特征點514和517所設定的示例性區(qū)域的圖。
圖11是例示為檢測特征點515和516所設定的示例性區(qū)域的圖。
圖12是示出特征點514和517的y坐標相對于面部檢測位置的變化的圖。
圖13是例示用于確定作為示例性面部表情的微笑面部表情的示例性 特征的圖。
圖14是例示用于確定作為示例性面部表情的微笑面部表情的示例性 特征的圖。
圖15是例示根據第一實施例的面部表情確定處理(步驟S215)的詳 情的流程圖。
圖16是例示根據第二實施例的攝像裝置的整體操作的流程圖。 圖17是例示采用直方圖來確定用于無表情狀態(tài)確定的閾值的示例性 方法的圖。
圖18是例示采用直方圖來確定用于無表情狀態(tài)確定的閾值的另一示例性方法的圖。
圖19是例示根據第三實施例的參照特征設置處理的詳情的流程圖。 圖20是例示根據第三實施例的用于濾波的處理區(qū)域的圖。 圖21是例示通過濾波獲得的示例性結果的圖。
圖22A和圖22B是例示針對圖21中的狀態(tài)A和狀態(tài)E的垂直邊緣濾
波器輸出和直方圖的圖。
圖23是例示根據第三實施例的面部表情確定處理的詳情的流程圖。
圖24是用于說明用來確定面部表情的神經網絡的圖。
圖25是例示根據第四實施例的攝像裝置的整體操作的流程圖。
圖26是用于說明用來更新參照特征的確定處理方法的圖。
圖27是例示根據第五實施例的攝像裝置的整體操作的流程圖。
圖28是例示根據第五實施例的面部表情確定處理(步驟S1513)的詳
情的流程圖。
圖29是說明特征點可靠性計算的方法的圖。
圖30A、圖30B以及圖30C是例示各種特征變化模式的圖。
具體實施例方式
現在，將參照附圖詳細描述本發(fā)明的示例性實施例。 (第一實施例)
圖1是例示根據本實施例的攝像裝置100的配置的框圖。在本實施例 中，使用電子靜態(tài)照相機作為攝像裝置100的示例。在下文中，也將攝像 裝置100稱為"電子照相機"。
在圖1中，標記101表示攝像鏡頭組。標記102表示包括光圈設備和 快門設備的光量調整設備。標記103是將穿過攝像鏡頭組101并代表被攝 體像的光束(luminous flux)轉換為電信號的攝像元件。攝像元件103由 例如CCD或CMOS等構成。標記104是使攝像元件103的模擬信號輸出 經歷箝位和增益處理的模擬信號處理電路。標記105表示將模擬信號處理 電路104的輸出轉換為數字信號的模擬-數字(以下記作A/D)轉換器。
標記107表示對從A/D轉換器105獲得的數據或者從存儲控制電路106獲得的數據執(zhí)行規(guī)定的像素插值處理或顏色變換處理等的數字信號處
理電路。此外，數字信號處理電路107對所拍攝的圖像數據執(zhí)行規(guī)定的運算。
標記112是基于數字信號處理電路107執(zhí)行的運算的結果對曝光控制 電路113和聚焦控制電路114實行控制的系統控制電路。結果，執(zhí)行TTL (穿過鏡頭)型AF (自動對焦)處理、AE (自動曝光)處理以及EF (閃 光燈預閃)處理。此外，數字信號處理電路107對所拍攝的圖像數據執(zhí)行 規(guī)定的算術運算，并基于獲得的算術運算結果執(zhí)行TTL型AWB (自動白 平衡)處理。此外，其檢測所拍攝的圖像數據中的特定被攝體，并針對該 特定被攝體執(zhí)行面部表情識別。
存儲控制電路106控制模擬信號處理電路104、 A/D轉換器105、數字 信號處理電路107、存儲器108以及數字-模擬(以下記作D/A)轉換器109。 經由數字信號處理電路107和存儲控制電路106將通過A/D轉換器105中 的A/D轉換獲得的數據寫入存儲器108;或者，直接經由存儲控制電路106 將通過A/D轉換器105中的A/D轉換獲得的數據寫入存儲器108。
存儲器108存儲在顯示設備110上顯示的數據。存儲器108中記錄的 數據經由D/A轉換器109被輸出并顯示到諸如TFT、 LCD等的顯示設備 110上。此外，存儲所拍攝的靜止圖像和運動圖像的存儲器108設置有存 儲規(guī)定數量的靜止圖像和規(guī)定持續(xù)時間的運動圖像的充足的存儲空間。這 使得即使在以連續(xù)的方式拍攝多個靜止圖像的全景攝像和突發(fā)攝像的情況 下，也能夠向存儲器108高速地寫入大量的圖像。此外，存儲器108還可 以用作系統控制電路112的工作空間。應當指出，可以將裝置配置為利用 接口 111將所拍攝的靜止圖像和運動圖像寫入CD-ROM、 floppy (軟) 盤、硬盤、磁帶、磁光盤、非易失性存儲卡或者其他存儲介質。
所拍攝的圖像數據在顯示設備110上的連續(xù)顯示使得可以實現電子取 景器功能。此外，顯示設備110可以根據來自系統控制電路112的指令在 任意時間開啟和關閉顯示，并且在關閉顯示時，與開啟狀態(tài)相比，可以顯 著降低攝像裝置100所消耗的電能。此外，響應于程序的執(zhí)行，系統控制 電路112使用字符、圖像等在顯示設備110上顯示操作狀態(tài)、消息等。
12標記111表示將存儲卡、硬盤以及其他存儲介質連接到攝像裝置100 的接口。此外，可以使用接口 111在裝置和其他計算機之間傳輸圖像數據 和附屬于圖像數據的管理信息，也可以在裝置和諸如打印機等的外圍設備 之間傳輸圖像數據和附屬于圖像數據的管理信息。將接口 11配置為適合用
于符合諸如PCMCIA卡和CF (compact flash ,壓縮閃存)的規(guī)格的介質， 使得能夠基于連接各種通信卡來進行裝置與外部設備之間的信息傳輸。所 述的各種通信卡包括，例如LAN卡和調制解調器卡、USB卡、正EE1394 卡、P1284卡、SCSI卡、PHS以及其他通信卡。
系統控制電路112控制攝像裝置110的整體操作。設置在系統控制電 路112中的存儲器(未示出)存儲系統控制電路112的操作中使用的程序 或用于識別特定被攝體的面部表情或面部的常量、變量以及程序等。應當 指出，可以使用CD-ROM、軟盤、硬盤、磁帶、磁光盤、非易失性存儲卡 等更改系統控制電路112的存儲器中存儲的這些常量、變量以及程序等。 此外，替代將它們存儲到存儲器中，可以從上述存儲介質等中讀取用于系 統控制電路112的操作、或用于識別特定被攝體的面部表情或面部的數據 和程序，然后執(zhí)行。但是，本發(fā)明不限于上述方法。
曝光控制電路113控制光量調整設備102的光圈設備和快門設備。聚 焦控制電路114控制攝像鏡頭組101的聚焦和變焦。使用TTL方法控制曝 光控制電路113和聚焦控制電路114。即，系統控制電路112基于數字信 號處理電路107對所拍攝的圖像數據執(zhí)行的運算的結果實行對曝光控制電 路113和聚焦控制電路114的控制。
以下參照圖2的流程圖來說明根據本實施例的攝像裝置100 (電子照 相機)的整體操作。應當指出，用于執(zhí)行圖2所示的處理的程序存儲在系 統控制電路112的存儲器(未示出)中，并且該處理在系統控制電路112 的控制之下執(zhí)行。
當在接通電源而開始該處理時，首先，在步驟S200中，系統控制電 路112初始化內部存儲器中的各種標志以及控制變量。在步驟S201中， 系統控制電路112檢測攝像裝置100的模式設置狀態(tài)，并在設置為自動攝 像模式時使處理進入到步驟S203而在設置為其他模式時使處理進入到步驟S202。應當指出，在自動攝像模式中，在被攝體面部的面部表情與規(guī)定
的面部表情(本實施例中為微笑的面部)匹配的瞬間執(zhí)行攝像(拍攝圖像
記錄操作)。在步驟S202中，系統控制電路112執(zhí)行與所選擇的模式對應 的處理，然后在處理結束時返回到步驟S201。
另一方面，如果設置為自動攝像模式，則在步驟S203中，系統控制 電路112確定剩余的電源容量或操作情況是否會使攝像裝置100的操作產 生問題。如果系統控制電路112確定會產生問題，則在步驟S204中，其 使用顯示設備110利用圖像和聲音發(fā)出規(guī)定的警告消息，然后使處理返回 到步驟S201。
如果在步驟S203中確定不存在與電源相關的問題，則處理進入步驟 S205。在步驟S205中，系統控制電路112確定存儲介質的操作狀態(tài)是否 會使攝像裝置100的操作產生問題，特別是，是否會使到存儲介質的圖像 數據記錄操作以及從存儲介質的圖像數據再現操作產生問題。如果確定會 產生問題，則處理進入上述步驟S204。在步驟S204中，系統控制電路112 使用顯示設備110利用圖像和聲音發(fā)出規(guī)定的警告消息，然后使處理返回 到步驟S201。
如果在步驟S205中確定不存在與存儲介質相關的問題，則處理進入 步驟S206。在步驟S206中，系統控制電路112使用圖像和聲音呈現顯示 有攝像裝置100的各種設置狀態(tài)的用戶界面(下文中稱為UI)。應當指出， 如果開啟了顯示設備110的圖像顯示，則顯示設備110可以使用圖像和聲 音來顯示顯示有攝像裝置100的各種設置狀態(tài)的UI。以該方式設置各種用 戶定義的設置。
接下來，在步驟S207中，系統控制電路112將顯示設備110的圖像顯 示設置為開啟狀態(tài)。此外，在步驟S208中，系統控制電路112將其設置 為實時查看顯示狀態(tài)以連續(xù)顯示所拍攝的圖像數據。應當指出，在本實施 例中，將攝像元件103獲得的圖像順次存儲在存儲器108中。系統控制電 路112具有以時間先后順序順次接受圖像的圖像輸入功能。在該實時查看 顯示狀態(tài)中，顯示設備110連續(xù)顯示連續(xù)寫入存儲器108的圖像數據，由 此實現電子取景器功能。在步驟S209中，系統控制電路112確認用戶(即攝像者)是否按下 了快門開關(未示出)。如果未按下快門開關，則處理返回到步驟S201。 如果按下了快門開關，則不立即進行攝像，而在步驟S210中由系統控制 電路112執(zhí)行面部檢測處理。接著，在步驟S211中，系統控制電路112 基于步驟S210的面部檢測處理的結果實現規(guī)定的AE/AF控制。此外，響 應于規(guī)定的操作指令在自動攝像模式中以下述步驟S212至S219的順序執(zhí) 行攝像處理(自動檢測規(guī)定的面部表情并執(zhí)行攝像的處理)。
面部檢測處理采用以例如神經網絡和支持向量機為代表的基于訓練 的方法。此外，它還采用基于模板匹配(template matching)來從圖像區(qū)域 中提取諸如眼睛、鼻子等具有物理形狀的特征的位置的方法。此外，還有 諸如P. Viola and M. Jones等人的Rapid Object Detection Using a Boosted Cascade of Simple Features, in Proc. of CVPR， vol.1, pp.511-518， December, 2001中描述的技術。此外，還有諸如日本特開平10-232934號公報以及特 開2000-48184號公報中記載的技術，在該技術中，使用統計方法檢測并分 析皮膚的顏色、眼睛的形狀以及其他圖像特征。本實施例使用如下方法 通過基于面部圖像和非面部圖像訓練神經網絡來構建面部分類器。此外， 應當指出，當使用通過訓練神經網絡而得到的面部分類器時，使存在面部 的位置鄰近的神經元進入"點火(firing)"狀態(tài)。鑒于此，除了面部檢測 位置，可以基于神經元點火的強度和數量來計算面部檢測可靠性等。術語 "面部檢測可靠性"指的是表示檢測到的面部檢測位置等可以被信賴的程 度的值。面部檢測可靠性的值越高，存在面部的概率越大。例如，存在如 下方法使用具有最大輸出值的神經元的位置作為面部檢測位置，并且為 了確定面部檢測可靠性，通過使用規(guī)定的函數將最大輸出值正規(guī)化為規(guī)定 的值(例如0-l)，并將根據最大輸出值獲得的值(例如0-l)"按原樣"用 作面部檢測可靠性。應當指出，將面部檢測位置以及面部檢測位置周圍的 區(qū)域稱為面部區(qū)域。
應當指出，就面部檢測可靠性來說，存在如下的方法如果等于或超 過固定閾值的神經元的數量不小于規(guī)定數量Nl，則將面部檢測可靠性設置為"1"。此外，如果其不小于規(guī)定數量N2，則將面部檢測可靠性設置為
0.6，而在所有其他情況下將面部檢測可靠性設置為"0"。此外，可以使用
如下方法通過對等于或超過固定閾值的神經元數量應用規(guī)定的函數來計 算面部檢測可靠性。另外，可以使用不同的技術來確定面部位置檢測位置 以及面部檢測可靠性，例如如下方法對最接近最大神經元值的前N3。/。中 的神經元輸出值的總和應用規(guī)定的函數來計算面部檢測可靠性。
返回參照圖2，對從攝像元件103按時間順序輸入的圖像順次執(zhí)行步 驟S212至S213或步驟S214至S219的處理。在步驟S212至S213中，根 據基于面部狀態(tài)信息的定時自動提取規(guī)定特征作為參照特征，在步驟S214 至S219中，使用提取的參照特征執(zhí)行面部表情確定。換句話說，步驟S213 中的參照特征設置處理用來確定步驟S215中的面部表情確定處理的開始。 首先，在步驟S212中，系統控制電路112使用實時査看顯示來顯示拍攝 的圖像數據。然后，在步驟S213中，執(zhí)行自動提取并設置面部表情識別 中使用的最佳參照特征的處理，同時確定是否成功地設置了參照特征。下 面說明用于自動提取參照特征的方法。
圖3是例示一處理的流程圖，在該處理期間，自動提取并設置被認為 是用于面部表情識別的最佳參照的參照特征。應當指出，盡管在以下實施 例中，使用下文中說明的在無表情狀態(tài)中提取的各特征作為最佳參照特征， 但是還可以使用從除了無表情狀態(tài)以外的特定面部表情狀態(tài)下獲得的各特 征作為參照特征。
在步驟S300中，使用上述面部檢測處理，系統控制電路112再次執(zhí) 行面部位置檢測和如上所述的面部檢測可靠性計算。這是由于被攝體面部 的位置可能已經與在AE/AF期間所占的位置不同。此外，在此，使用在檢 測到的面部位置周圍應用的典型眼模板和嘴模板來檢測左眼和右眼的位置 以及嘴的位置。在步驟S301中，系統控制電路112使用面部檢測可靠性 來檢查是否檢測到了面部。如果面部檢測可靠性不小于規(guī)定值，換句話說， 如果確認檢測到了面部，則處理進入步驟S302。如果面部檢測可靠性小于 規(guī)定值，換句話說，如果確認沒有檢測到面部，則該處理終止。在步驟S302中，系統控制電路112使用在步驟S300中檢測到的左眼和右眼的位置計
算面部的大小。如果所計算的面部的大小在規(guī)定大小以內，則處理進入步
驟S303。
例如，系統控制電路112基于圖4所示的所檢測到的左眼和右眼的位 置400、 401計算兩眼間的距離。然后，如果在步驟S302中確定計算出的 大小超出了規(guī)定大小，則該處理終止。在步驟S303中，系統控制電路112 使用在步驟S300中檢測到的左眼和右眼的位置400、401計算面部的朝向。 在步驟S303中，根據例如圖4所示的連接兩個眼睛的位置的直線的方向 計算面部的朝向(平面內的旋轉量)。如果計算結果顯示面部的朝向在規(guī)定 方向之內，則處理進入步驟S304。如果在步驟S303中確定面部的朝向在 規(guī)定方向的范圍之外，則處理終止。在步驟S304中，系統控制電路112 使用圖4中所檢測到的兩個眼睛的位置400、401執(zhí)行基于仿射變換的正規(guī) 化處理，由此將兩眼間的距離改變?yōu)橐?guī)定距離，將面部的朝向改變?yōu)橐?guī)定 方向。如上所述，在步驟S301至S303中，基于檢測到的面部大小、朝向 和可靠性確定檢測到的面部的有效性，如果確定為有效，則執(zhí)行下面的處 理(無表情狀態(tài)確定)。
在步驟S305中，系統控制電路112執(zhí)行圖5所示的面部特征點500 至517的提取。盡管存在用于特征點提取的各種技術，但是在本實施例中， 提取的方法在于設定用于提取各特征點的規(guī)定范圍以及使用用來在所設定 的各范圍內檢測特征點的神經網絡。使用以與面部檢測類似的方法針對特 征點圖像數據預先訓練的神經網絡作為上述神經網絡。
以下述方式使用兩個眼睛的檢測位置400與401、面部檢測位置402 (鼻子位置)以及嘴檢測位置403(參照圖6)來設置各特征點的檢測范圍。 例如，使用圖6所示的兩眼間距離a和左眼檢測位置400來在特征點500、 502的檢測范圍內設置范圍600和601。此外，類似地使用兩眼間距離a 和右眼檢測位置401來設置特征點503、 505的檢測范圍。此外，如圖7 中作為示例所示，在特征點501的檢測范圍中設置范圍602，還以同樣的 方式設置特征點504的檢測范圍。如圖8中作為示例所示，將范圍603、 604設置為特征點506、 509的檢測范圍，還以同樣的方式設置特征點510、
17513的檢測范圍。如圖9中作為示例所示，在特征點507、 508的檢測范圍 中設置范圍605、 606，還以同樣的方式設置特征點511、 512的檢測范圍。 如圖10中作為示例所示，將范圍607、 608設置為特征點514、 517的檢測 范圍。此外，如圖ll作為示例所示，將范圍609、 610設置為特征點515, 516的檢測范圍。
應當指出，在使用神經網絡時，在各個特征點的正確位置的鄰近，有 多個神經元點火(fire)。因此，本實施例使用如下方法通過計算超過規(guī) 定閾值的神經元值的質心來執(zhí)行嘴的特征點位置的提取。應當指出，位置 計算方法以及設置的范圍不限于本實施例。
返回參照圖3，在步驟S306中，確認是否檢測到了所有的規(guī)定特征點。 如果檢測到了所有的特征點，換句話說，如果檢測到了圖5的所有特征點 500-517，則處理進入步驟S307。如果還不能檢測到所有特征點，則該處 理終止。在步驟S307中，系統控制電路112基于圖5中的特征點500-517 中的嘴特征點514-517中的動態(tài)變化量確定面部表情狀態(tài)是否是無表情。 下面說明無表情狀態(tài)確定的方法。
圖12是例示在無表情狀態(tài)改變?yōu)槲⑿γ娌勘砬榈那闆r下，嘴特征點 514和517的y坐標相對于圖6的面部檢測位置402的變化的圖。應當指 出，在圖12中，pl和p2對應于與無表情狀態(tài)相關的幀，而p2和p3對應 于與微笑面部狀態(tài)相關的幀。從圖12可以看出，在pl與p2之間的無表情 狀態(tài)中，嘴特征點514和517相對于面部檢測位置的y坐標變化限于在規(guī) 定振幅范圍Ll之內的微小振動。與之相對，在p2與p3之間的微笑面部 表情狀態(tài)中，由于隨著頰肌上提使嘴特征點514和517的y坐標靠近面部 檢測位置402，因此以面部檢測位置402為基準的y坐標變化改變很大。 盡管圖中沒有例示，這同樣適用于嘴特征點515和516，在無表情狀態(tài)中， 以面部檢測位置402為基準的嘴特征點515和516的y坐標變化限于規(guī)定 振幅范圍(指定為L2)之內的微小振動。因此，如果以面部檢測位置402 為基準的嘴特征點的y坐標的變化(波動量)連續(xù)處于規(guī)定振幅Ll、 L2 之內達規(guī)定幀數(預定數量的連續(xù)圖像)次，則確定該狀態(tài)為無表情。通 過分析大量的無表情的表情數據預先獲得規(guī)定振幅L1、L2。在本實施例中，嘴特征點的y坐標變化構成確定參照特征提取的定時的面部信息。
應當指出，在無表情狀態(tài)中發(fā)生微小振動的原因是由于圖像噪聲等的 影響而導致的嘴特征點檢測位置從原始正確位置的輕微移位。因此，只要 沒有由于隱藏嘴區(qū)域的物體等的影響而引起的嘴特征點位置的錯誤檢測，
則無表情狀態(tài)中以面部檢測位置402為基準的嘴特征點位置的y坐標變化
實際上包含在相對于原始正確嘴特征點位置的規(guī)定離差中。在步驟S307
中，以此種方式基于規(guī)定特征點的動態(tài)幀間變化量來進行關于該狀態(tài)是否
是無表情的確定。即，基于以所檢測到的面部位置(面部檢測位置402)
為基準的、構成面部器官的特征點(在本實施例中為嘴特征點)的坐標值
而進行關于是否開始面部表情確定的確定。很明顯，可以使用指定面部位 置與構成面部器官的特征之間的距離作為另一可供選擇的對象。
應當指出，替代設置用于以上述方式提取參照特征的各規(guī)定振幅，可 以設置不提取參照特征的各規(guī)定振幅。換句話說，如上所述，在從無表情 狀態(tài)提取參照特征的情況下，在變化連續(xù)處于規(guī)定振幅之內達規(guī)定的幀數 次時，提取參照特征。然而，在從其他面部表情狀態(tài)提取參照特征的情況 下，可以不在變化處于規(guī)定振幅之內時而在變化連續(xù)保持大于規(guī)定振幅達 規(guī)定的幀數次時，提取參照特征。此外，無表情狀態(tài)確定的方法不限于上 述確定條件，也就是說，可以使用x坐標和y坐標兩個坐標，也可以使用 除了嘴特征點以外的特征點。另外，還可以使用眼睛的張開/閉合狀態(tài)作為 面部信息，以使用特征點507 (511)與特征點508 (512)之間的距離和距 離的變化并根據張開眼睛狀態(tài)的定時提取參照特征。此外，以與特征點提 取相同的方式，可以使用瞳孔圖像來訓練神經網絡，并且可以根據超過固 定閾值的瞳孔神經元的數量確定眼睛的張開/閉合狀態(tài)。例如，該裝置可以 適合于在檢測到的瞳孔區(qū)域像素的數量不小于規(guī)定值時，確定應當執(zhí)行參 照特征設置(應當開始面部表情確定處理)。此外，可以將條件制定為"連 續(xù)達規(guī)定時段"來替代"連續(xù)達規(guī)定的幀數次"。
返回參照圖3，如果在步驟S307中，基于規(guī)定特征點，確定該狀態(tài)是 無表情狀態(tài)，則處理進入步驟S308。如果在步驟S307中，基于規(guī)定特征 點，確定該狀態(tài)不是無表情的，則處理終止。在步驟S308中，系統控制
19電路U2提取并設置用于面部表情確定的參照特征。以這種方式，在本實 施例中，基于檢測到的面部圖像信息(描繪圍繞所檢測到的面部位置的區(qū)
域的圖像)，確定是否開始步驟S214之后的面部表情確定。然后，如果確 定應當開始面部表情確定，則針對該面部表情確定，基于所檢測到的面部 圖像信息獲取用作參照特征信息的參照特征。下面，提供關于作為要確定 的面部表情的示例的微笑面部表情的參照特征的說明。 [參照特征]
Facial Action Coding System (面部動作編碼系統)(P. Ekmanand， W. V. Friesen, Facial Action Coding System (FACS) Manual, Palo Alto Consulting Psychologists Press, 1978)提出了下面的微笑面部表情的定義。
頰上提，嘴角回縮。
在本實施例中，如圖13所示，使用特征點506與特征點514的y坐標 之間的距離(特征710)、特征點513與特征點517的y坐標之間的距離(特 征711)以及特征點514與特征點517之間x方向上的距離(特征712)中 的各個變化量來確定微笑面部表情。因此，在本實施例中，在確定微笑面 部表情時使用的"參照特征"是從無表情狀態(tài)中的面部圖像獲得的上述距 離710、 711和712;在下文中也將它們稱為"特征"。在步驟S308中，提 取這些特征作為參照特征。就關注用于確定其他面部表情的特征而言，可 以確定與在上文提到的FACS中的各個面部表情的定義相對應的特征，并 使用所確定的各特征確定面部表情。
應當指出，在計算這些距離時，如圖14所示，可以以規(guī)定位置(例如 面部檢測位置402)為基準計算y方向上的距離713、 714 (下文中還稱為 特征713、 714)。此外，使用的特征不限于在本實施例中記載的特征。
如果在步驟S213中確定設置了所有的規(guī)定參照特征，則處理進入步 驟S214。另一方面，如果在步驟S213中確定沒有設置所有的規(guī)定參照特 征，則處理返回到步驟S212，系統控制電路112提供下一幀圖像的實時査 看顯示。在步驟S214中，系統控制電路112將所設置的參照特征提供給 幀圖像的下一幀圖像的實時查看顯示。在步驟S215中，系統控制電路H2使用代表與在步驟S214中使用實時查看顯示所顯示的幀圖像一樣的場景、 但是具有不同的分辨率的圖像執(zhí)行面部表情識別，并進行關于這是否是規(guī)
定面部表情的確定。即，在步驟S215中，從所檢測到的關于在步驟S213 中確定應當開始面部表情識別之后(設置了參照特征之后)輸入的圖像的 面部圖像信息提取特征信息。然后，基于所提取的特征信息和參照特征信 息確定面部表情。下面說明面部表情確定處理。 [面部表情確定處理]
圖15是面部表情確定處理的流程圖。步驟S800至S806中執(zhí)行的處
理與圖3中的步驟S300至S306中執(zhí)行的處理相同。因此，在面部表情確
定處理期間，基于檢測到的面部的大小、朝向以及可靠性確定檢測到的面
部的有效性(S801至S803)。然后，如果確定為有效，則執(zhí)行下面的處理
(面部表情確定)。在步驟S807中，系統控制電路112首先從當前的幀圖
像中提取特征(與圖13中的參照特征710、 711和712相同類型的特征)。
接下來，通過計算從無表情面部圖像提取的參照特征與從當前幀的面部圖
像提取的特征之間的特征差或比率，來計算各特征的變化特性vl、 v2和
v3。隨后，在步驟S808中，系統控制電路112使用下面的等式根據各特
征的權重和變化vl、v2和v3計算微笑面部表情的程度，并且如果SumScore
不小于規(guī)定分數則確定表情是微笑面部表情，另一方面，如果其小于規(guī)定
分數則確定表情不是微笑面部表情。
&w"=g(W;v, )iV:特征編號W:特征權重
^附&w^-Z&w^,g:力、數i十算函數
在用戶通過操作照相機僅僅確定特定場景，即特定面部表情時，上述 基于規(guī)定分數的確定是合適的。然而，在一系列面部表情中確定單個規(guī)定
面部表情的情況下，存在下述方法針對各個面部表情計算分數，將具有 最高計算分數的面部表情確定為該規(guī)定面部表情。此外，存在基于利用針
對各面部表情的最終層的神經網絡的方法，或者如日本特許第02962549 號公報所述的使用隱馬爾可夫模型(HMM， Hidden Markov Model)確定
面部表情的方法。返回參照圖2，如果在步驟S215中確定這是拍攝對象的面部表情(規(guī) 定面部表情)，則處理進入步驟S216。另一方面，如果在步驟S215中未確 定這是拍攝對象的面部表情，則處理進入步驟S219。在步驟S216中，系 統控制電路112執(zhí)行攝像操作，在此期間將所拍攝的圖像數據寫入存儲器 108。當步驟S216的攝像操作結束時，在步驟S217中，系統控制電路112 通過顯示在步驟S216中所拍攝的圖像執(zhí)行快速預覽顯示操作。當在步驟 S218中讀出寫入到存儲器108中的圖像數據并執(zhí)行圖像壓縮處理之后，系 統控制電路112接著執(zhí)行記錄處理，在該記錄處理中，將壓縮圖像數據寫 入存儲介質。應當指出，如有必要，可以在記錄處理之前執(zhí)行諸如將高亮 度或低亮度顏色繪制得不太明顯的消色處理的圖像處理操作。如果在步驟 S219中檢測到自動攝像結束，例如，如果存在又一快門開關按下等，則系 統控制電路112使處理返回到步驟S201，并終止該自動攝像。另一方面， 如果沒有指示表示自動攝像結束，則處理返回到步驟S214，繼續(xù)該自動攝 像。
應當指出，關于上述特征點位置、距離特征等，可以使用預定數量的 幀的平均值來替代各個幀的值。
在上述方法中，基于規(guī)定特征點的動態(tài)變化，在設置了面部表情識別 期間所需的參照特征之后識別面部表情。
應當指出，雖然第一實施例中進行的說明涉及電子靜態(tài)照相機，但是 理所當然地，本實施例同樣適用于視頻照相機等。
如上所述，第一實施例能夠消除背景技術中的顯著影響面部表情識別 的精確度的以下問題(1)為了預先登記無表情圖像所需的時間和人力； (2)僅能針對登記的人識別面部表情；(3)由于必須登記的圖像的數量依 賴于進行面部表情識別的人的數量而需要較大的存儲區(qū)；(4)當登記期間 的攝像環(huán)境與面部表情識別期間的攝像環(huán)境不同時，有時由于攝像環(huán)境之 間的差異而不能精確地識別面部表情；(5)術語"無表情的圖像"的定義 在登記無表情圖像的用戶中差別很大。
<第二實施例>
接下來將說明第二實施例。圖16是例示第二實施例的整體操作的流程圖。參照圖16的流程圖提供下面的說明。從步驟S900直到步驟S910 執(zhí)行的處理與第一實施例中的(步驟S200至S210)相同。另外，步驟S915 至S920中執(zhí)行的處理也與第一實施例中的(步驟S214至S219)相同。
在步驟S911中，系統控制電路112對在步驟S910中檢測到的各面部 執(zhí)行個人標識認證。個人標識認證的技術是基于，例如，日本特開 2000-30065號公報中記載的利用相互子空間技術的方法，或者日本特開 2003-323622號公報中記載的將面部區(qū)域劃分為多個子區(qū)域、然后針對各 個子區(qū)域執(zhí)行比較的方法。在本實施例中，我們采用日本特開2003-323622 號公報中記載的方法，將面部區(qū)域劃分為多個子區(qū)域。應當指出，可以正 好在攝像之前登記用于認證的圖像，而不是預先登記。在步驟S912中， 系統控制電路112對在步驟S911中認證的人執(zhí)行AE/AF。在步驟S913中， 系統控制電路112以與第一實施例中相同的方式提供實時査看顯示。在步 驟S914中，系統控制電路112進行關于無表情狀態(tài)的確定，并執(zhí)行參照 特征提取。盡管在步驟S914中可以使用與第一實施例中相同的技術來提 取參照特征，但是在第二實施例中，使用與第一實施例不同的技術來提取 參照特征。下面，參照圖3的流程圖來說明第二實施例的參照特征提取的 方法。
從圖3的步驟S300直到步驟S306，該處理與第一實施例相同。在步 驟S307中，如果圖14的特征712、 713和714在規(guī)定范圍之內，則確定 狀態(tài)為無表情狀態(tài)。建議使用下面的方法作為用于確定規(guī)定范圍的方法。 預先準備關于無表情的表情的大量數據，并且為圖14的特征712生成諸如 圖17中的直方圖的直方圖1，并以類似的方式為特征713和714生成直方 圖2和直方圖3 (未示出)。接下來，根據圖17的以使得包含全部的特征 712的方式的直方圖1來確定閾值a和閾值b。以相似的方式，根據使得包 含全部的特征713的直方圖2來確定閾值c和d (未示出)，并根據使得包 含全部的特征714的直方圖3來確定閾值e和f (未示出)。如果全部的特 征落在閾值之間，則確定面部表情為無表情。應當指出，對于閾值a和閾 值b，可以使用計算特征的平均p和離散cj、使用與平均p距離預定離散
23n*a (。離散，n:常數)的值作為閾值a'和b'的方法，還可以使用其他 技術確定閾值。此處使用的特征當然不限于第二實施例中使用的特征。 此處執(zhí)行的從步驟S308開始的處理以及圖16的步驟S915至S920中
的/yk理 1=:絡——<^琉^11±]的士1=1曰
如上所述，在第二實施例中，通過多個面部圖像中的特征的統計處理 來保持標準，并且在從檢測到的面部圖像信息獲得的特征處于根據標準的 預定范圍之內時開始面部表情確定。鑒于此，第二實施例使得能夠使用從 單個幀圖像獲得的預定特征來確定無表情狀態(tài)，而不是如第一實施例中一 樣根據幾個幀之間的特征點的變化來確定無表情狀態(tài)。
應當指出，盡管第二實施例中進行的說明涉及電子靜態(tài)照相機，但是 理所當然地本實施例同樣可以應用于視頻照相機等。此外，代替攝像裝置， 其適合于從包含大量圖像的數據庫提取特定人的無表情狀態(tài)圖像以及隨后 提取特定人的具有規(guī)定面部表情的圖像。
<第三實施例>
接下來將說明第三實施例。描述本實施例的整體操作的流程圖與第二
實施例中使用的流程圖(圖16) —樣。
圖19是呈現圖16的步驟S914，即第三實施例的參照特征設置處理的 流程圖。從圖19中的步驟S1000直到步驟S1004，處理與第一實施例和第 二實施例(即步驟S300至S304)相同。
在步驟S1005中，系統控制電路112首先設置用于空間濾波的區(qū)域。 例如，空間濾波區(qū)域是圖20中的區(qū)域1100、 1101以及1102。參照眼睛檢 測位置400和401、面部檢測位置402以及嘴檢測位置403確定這些區(qū)域。 接下來，為了確定這是否是無表情狀態(tài)，在圖20的區(qū)域1102中執(zhí)行空間 濾波。所使用的空間濾波器可以是，例如用于水平和垂直邊緣檢測的Sobd (索貝爾)濾波器，但是其不限于Sobel濾波器。
在步驟S1006中，系統控制電路112使用步驟S1005中的空間濾波器 的輸出確定這是否是無表情狀態(tài)。圖21例示了通過執(zhí)行Sobel濾波在圖 20的區(qū)域1100和區(qū)域1102中檢測水平和垂直邊緣而獲得的結果。狀態(tài)A 至C代表通過區(qū)域1102的Sobd濾波獲得的結果，而狀態(tài)D和E代表通過區(qū)域1100中的Sobd濾波獲得的結果。狀態(tài)A是嘴閉合的無表情狀態(tài)，狀態(tài)B是嘴縱向張開的非無表情狀態(tài)，而狀態(tài)C是嘴橫向張開的非無表情狀態(tài)。另外，狀態(tài)D是眼睛張開的無表情狀態(tài)，而狀態(tài)E是眼睛閉合的非
工主A主化-ir
首先，狀態(tài)A、狀態(tài)B和狀態(tài)C之間的比較示出了在狀態(tài)A的嘴閉合的無表情狀態(tài)中，水平和垂直邊緣濾波器輸出值總體上低。與之相對地，在狀態(tài)B或狀態(tài)C的嘴張開的非無表情狀態(tài)中，特別地，水平邊緣濾波器的輸出值總體上高。此外，以類似的方式比較圖21的狀態(tài)D和狀態(tài)E，我們可以看到，眼睛張開的無表情狀態(tài)D具有垂直邊緣濾波器的輸出值高的部分，而在眼睛閉合的狀態(tài)E中，垂直邊緣濾波器的輸出值總體上低。
根據上述結果，可以看到，如果從區(qū)域1100獲得的垂直邊緣濾波器輸出值的和不小于規(guī)定值且從區(qū)域1102獲得的水平濾波器輸出值不高于規(guī)定值，則無表情狀態(tài)的可能性高。為了實際確定這是否是無表情狀態(tài)，使用下面的函數計算無表情狀態(tài)值。
無表情度=Z/;(y /^—
"N"是用于無表情狀態(tài)確定的特征數量，"filter—output"是空間濾波器輸出值的和，"fi"是用于根據第i個特征計算無表情度的函數。在本實施例中，如上面所提到的，N=2。應當指出，對各個函數fi進行加權，使得例如，從區(qū)域1102獲得的水平濾波器輸出值的和在進行無表情狀態(tài)確定期間具有比從區(qū)域1100獲得的垂直邊緣濾波器輸出值的和更大的權重。更具體地說，如果最大無表情值是l，則將根據從區(qū)域1100獲得的垂直邊緣濾波器輸出值的和獲得的最大無表情值設置為0.4，而將根據從區(qū)域1102獲得的水平濾波器輸出值的和獲得的最大無表情值設置為0.6。關于用于計算無表情度的函數，使大量的無表情狀態(tài)圖像經歷水平和垂直邊緣檢測，并且根據關于各個濾波器輸出值的和的統計數據來計算該無表情度。例如，盡管如圖22A和圖22B所示，使用根據無表情狀態(tài)圖像獲得的直方圖來確定用于計算無表情度的函數，但是不限于此類方法。此外，用于確定這是否是無表情狀態(tài)的區(qū)域不僅僅限于嘴和眼睛區(qū)域，還可以使用許多其他區(qū)域。
應當指出，作為無表情狀態(tài)確定的替代方法，除了邊緣濾波器輸出值， 還可以在圖20的區(qū)域1102中提取作為牙齒的顏色的白色的區(qū)域，并使用 白色區(qū)域的面積(像素計數)確定這是否是無表情狀態(tài)。
返回參照圖19，在步驟S1006中，使用上述方法來確定這是否是無表 情狀態(tài)。然后，如果確定該狀態(tài)是無表情的，則處理進入步驟S1007。如 果確定其不是無表情的，則處理終止。在步驟S1007中，提取用于面部表 情確定的參照特征。關于在第三實施例中使用的參照特征，由于在圖20 的區(qū)域1100、 1101和1102中對水平邊緣和垂直邊緣兩者都進行了檢測， 因此使用總共六個Sobd濾波器輸出值數據項作為用于提取的參照特征。
接下來，提供關于在第三實施例中用來使用上面提到的參照特征在圖 16的步驟S916中確定面部表情的處理的說明。圖23是例示步驟S916中 第三實施例的面部表情確定處理的流程圖。從步驟S1200直到S1204所執(zhí) 行的處理與第一實施例和第二實施例中(S800至S804)相同。
在步驟S1205中，系統控制電路112執(zhí)行與圖19的步驟S1005中相 同的處理，以獲得檢測水平和垂直邊緣的總共六個Sobel濾波器輸出值。 在步驟S1206中，系統控制電路112基于在圖19的步驟S1007中提取的 六個Sobel濾波器輸出值和在圖23的步驟S1205中檢測到的六個濾波器輸 出值之間的差獲得各個濾波器差分輸出值。在步驟S1207中，系統控制電 路112使用在步驟S1206中獲得的六個空間濾波器差分輸出值來確定面部 表情。
在本實施例中，用來確定面部表情的方法在于使用神經網絡，在該神 經網絡中，如圖24所示，在輸入層中使用分別與六個空間濾波器差分輸出 值相對應的神經元，而在輸出層中使用與要確定的各個面部表情相對應的 神經元。用于該神經網絡的訓練方法在于，例如累積大量的無表情狀態(tài)圖 像數據以及針對要確定的各個面部表情的圖像數據，并基于這些圖像數據 計算六個濾波器差分輸出值。存在一種方法，在該方法中，執(zhí)行訓練使得 在將各個面部表情的這六個濾波器差分輸出值輸入到輸入層時，與輸出層 中的面部表情相對應的神經元輸出值是1，與其他面部表情相對應的神經元輸出值是0。將在步驟S1206中獲得的六個濾波器差分輸出值輸入到這
種神經網絡的輸入層的結果是，檢測面部表情確定層(即輸出層)的規(guī)定 面部表情種類的神經元點火最強烈。因此，可以通過參照面部表情確定層 的各神經元值來確定面部表情。應當指出，根據要確定的面部表情的數量 為對攝像進行控制的后續(xù)階段確定輸出層中的神經元數量。例如，如果對
微笑面部表情執(zhí)行攝像，則提供分別對應于微笑面部表情和其他面部表情 的兩個神經元。在上面的情況中，可以利用基于是否檢測到微笑面部表情
而輸出l或O的單個神經元。此外，可以利用多個神經元確定微笑面部表
情、閉合眼睛的面部表情、哭的面部表情等，并且在檢測到閉合眼睛的面 部表情、哭的面部表情等時禁止攝像，以及在檢測到微笑面部表情時執(zhí)行 攝像。此外，可以使用其他分類器替代神經網絡來進行面部表情確定。
上述第三實施例中提供的說明描述了如下方法在基于空間濾波器輸 出值提取在面部表情識別期間所需要的參照特征之后識別面部表情。
應當指出，盡管在第三實施例中提供的說明涉及其適用于電子靜態(tài)照 相機的情況，但是理所應當地，本實施例同樣適用于視頻照相機等。此外， 替代攝像裝置，可以從存儲大量圖像的數據庫中提取特定人的無表情狀態(tài) 圖像，并且之后提取特定人的具有規(guī)定面部表情的圖像。
<第四實施例>
接下來將說明第四實施例。圖25是例示第四實施例的整體操作的流程 圖。從步驟S1300直到S1320所執(zhí)行的處理與第二實施例中(圖16的步 驟S900至S920)相同。如果在步驟S1316中確定這不是規(guī)定面部表情， 則處理進入步驟S1321。在步驟S1321中，系統控制電路112如在步驟S1314 中一樣，除了進行無表情狀態(tài)確定，還進行關于是否更新參照特征的確定。 換句話說，在第四實施例中， 一直到在步驟S1316中確定表情為規(guī)定面部 表情的時刻，如果再次確定狀態(tài)為無表情狀態(tài)且要如下面所述來更新參照 特征，則更新參照特征。下面，將詳細說明步驟S1321的處理。
在步驟S1321中，如上所述，首先通過在第二實施例中說明的方法進 行關于狀態(tài)是否是無表情狀態(tài)的確定。接下來，如圖26中所示來呈現從預 先準備的大量無表情圖像獲得的圖13的特征710(或711、 712)的直方圖。將在步驟s1314中提取的(即最初提取的)特征710用作特征1400，而將 在步驟s1321中提取的特征710用作特征1401。在第四實施例中，如果用 于無表情狀態(tài)確定的特征更接近于預先準備的直方圖的平均|i，則更新參 照特征。在圖26的情況下，在步驟s1321中提取的特征1401位于比最初 提取的特征1400 (步驟s1314中提取的特征)更接近平均m的位置。因此， 在步驟s1321中確定更新參照特征。如果在步驟s1321中確定應當更新參 照特征，則處理進入步驟s1322。在步驟s1322中，系統控制電路112更 新參照特征。另一方面，如果在步驟s1321中確定不應當更新參照特征， 則處理跳過步驟s1322而進入步驟s1320。應當指出，有關更新參照特征 的確定不限于上述方法，并且預先準備的大量的無表情圖像可以限于特定 人。
以這種方式，第四實施例使得能夠通過在檢測到更適合于面部表情識 別的無表情圖像時更新參照特征來提高面部表情識別的精確度。 <第五實施例>
接下來將說明第五實施例。圖27是例示根據第五實施例的攝像裝置 100的整體操作的流程圖。從步驟s1500直到s1512所執(zhí)行的處理與第一 實施例中(步驟s200至s212)相同。在步驟s1513中執(zhí)行面部表情識別。 下面，將詳細說明步驟s1513。圖28是詳細例示步驟s1513的處理的流程 圖。
從步驟s1600直到步驟s1606所執(zhí)行的處理與第一實施例的面部表情 確定(步驟s800至s806)相同。在步驟s1607中，系統控制電路112確 定是否所有的規(guī)定特征點的可靠性都不小于規(guī)定閾值。如果所有規(guī)定特征 點的可靠性都不小于規(guī)定閾值，則處理進入步驟s1608。另一方面，如果 在步驟s1607中確定規(guī)定特征點的可靠性不總是等于或大于規(guī)定閾值，則 處理終止。
下面，將提供關于特征點的可靠性的說明。特征點的可靠性是表示能 夠將所檢測到的特征點信任為特征點檢測結果的程度。建議使用下面的方 法作為特征點可靠性計算方法。例如，在本實施例中，使用仿射變換對面 部圖像進行正規(guī)化。因此，例如，存在一種利用眼睛檢測位置和特征點位
28置之間的空間位置關系的方法，例如，圖5的特征點509位于圖7中的左 眼檢測位置400的右邊。此外，如在第一實施例中所說明的，如果使用神 經網絡進行特征點檢測，則存在利用神經元輸出值的方法。在第五實施例 中，使用上面提到的特征點的空間位置關系。例如，基于從大容量數據庫 獲得的各種面部表情統計地計算特征點相對于規(guī)定位置的相對坐標值或相 對距離。例如，如圖29所示計算從圖6中的左眼檢測位置400到圖5中的 特征點509的相對x坐標。然后如圖29所示基于計算出的統計值建立可靠 性計算函數h，使用該可靠性計算函數h來計算可靠性。
針對其他特征點以類似的方法建立可靠性計算函數。應當指出，計算 可靠性的方法不限于在本實施例中所記載的方法。
在步驟S1608中，從根據經過檢測的面部表情所選擇的特征點中提取 必要特征，然后將所述特征存儲。例如，當識別微笑面部表情(此處用其 作為面部表情的示例)時，提取圖14的特征712、 713和714并將它們存 儲在存儲器中。作為由于步驟S1517的自動攝像的繼續(xù)(步驟S1512-S1516 的重復)的結果，存儲器包含當前幀，所述當前幀之間插入有利用多個幀 預先拍攝的特征712、 713和714。
在步驟S1609中，系統控制電路112根據特征差計算特征變化。艮口， 計算從幀t'提取的特征712、 713以及714與從存儲的幀t的圖像獲得的特 征712、 713以及714之間的差。應當指出，特征變化可以是多個幀的平均。 作為示例，圖30A示出了圖14的特征713的變化模式，圖30B示出了圖 14的特征714的變化模式，而圖30C示出了圖14的特征712的變化模式。 此外，圖30A至圖30C的幀tl和t2代表橫向張開嘴的動作，而幀t3和t4
表示嘴角上提的微笑的動作。
在步驟S1610中，基于相對于步驟S1609中獲得的幀t的特征的幀t' 的特征的變化量，例如基于圖30A至圖30C的幀t3和t4的特征1、特征2 以及特征3的變化來確定面部表情。例如，使用隱馬爾可夫模型基于上述 變化來確定面部表情，例如日本特許第02962549號和日本特許第02840816 號公報的說明書中所記載的。結果，基于特征的變化模式確定面部表情。 應當指出，還可以使用除了隱馬爾可夫模型以外的方法。返回參照圖27，如果在步驟S1513中識別出規(guī)定面部表情，則處理進 入步驟S1514。另一方面，如果沒有識別出規(guī)定面部表情，則處理從步驟 S1513進入步驟S1517。步驟S1514至S1517中執(zhí)行的處理與第一實施例 中(步驟S216至S219)相同。
如上所述，提取滿足規(guī)定條件的特征信息，并且基于特征信息的變化 模式確定面部表情，這使得能夠以較高的精確度來執(zhí)行面部表情識別。
如上所述，在上述實施例中，替代預先提取參照特征，(1)基于面部 表情確定期間的規(guī)定信息按照規(guī)定定時來自動提取參照特征；(2)基于所 提取的參照特征和各特征的變化模式確定面部表情。
鑒于此，上述實施例使得能夠執(zhí)行消除了下列問題的的面部表情識別 O)必須預先登記無表情圖像；(2)僅能針對登記的人識別面部表情；(3) (3)由于必須進行登記的圖像的數量等依賴于進行面部表情識別的人的數 量，因此需要較大的存儲區(qū)；(4)當登記期間的攝像環(huán)境與面部表情識別 期間的攝像環(huán)境不同時，有時由于攝像環(huán)境之間的差異而不能精確地識別 面部表情。
盡管上文詳細描述了一些實施例，但是本發(fā)明能夠考慮諸如系統、設 備、方法、程序或存儲介質等的實施例。具體地說，其可以應用于由多個 設備構成的系統，還可以應用于由單個設備構成的裝置。換句話說，盡管 上述實施例適合于使用攝像裝置實施面部表情確定，但是上述面部表情確 定處理可以由信息處理設備來執(zhí)行。
因此，本發(fā)明包括下面的情況通過直接或遠程地將軟件程序提供給 系統或裝置并且指示系統或裝置的計算機讀取并執(zhí)行所提供的程序代碼。 在這種情況下，所提供的程序是與在實施例的附圖中描繪的流程圖相對應 的計算機程序。
因此，為了在計算機上實施本發(fā)明的功能性處理而安裝在該計算機上 的程序代碼本身是本發(fā)明的實施。換句話說，本發(fā)明包括用于實現本發(fā)明 的功能性處理的計算機程序。
在這種情況下，只要擁有必要的程序功能，可以采取各種形式，例如 目標代碼、解釋器執(zhí)行的程序、提供給OS的腳本數據等。建議使用下面的介質作為用于提供計算機程序的計算機可讀存儲介 質。例如，其可以是floppy ( )(軟)盤、硬盤、光盤、磁光盤、MO、
CD-ROM、 CD-R、 CD-RW、磁帶、非易失性存儲卡、ROM或DVD (DVD國ROM， DVD-R)等。
另外，建議使用客戶端計算機上的瀏覽器連接到因特網主頁并將本發(fā) 明的計算機程序從該主頁下載到硬盤或其他存儲介質上來作為提供程序的 方法。在該情況下，所下載的程序可能是具備自動壓縮功能的壓縮文件。 此外，其還可以通過將構成本發(fā)明的程序的程序代碼分割成多個文件并從 不同的主頁下載各個文件來實施。換句話說，允許多個用戶將用于實施本
發(fā)明的功能性處理的程序文件下載到計算機上的www服務器也包含在
本發(fā)明內。
此外，可以采取如下的形式將本發(fā)明的程序加密、將其存儲在
CD-ROM或其他存儲介質中并在用戶中傳播。在這種情況下，可以允許滿 足特定標準的用戶通過因特網從主頁下載用于對加密進行解密的密鑰信 息，并使用該密鑰信息執(zhí)行加密程序并在計算機上安裝該程序。
此外，除了基于計算機對讀出程序的執(zhí)行來實現實施例的上述功能， 還可以基于與運行在計算機上的OS等協作的程序的指令來實現實施例的 功能。在這種情況下，OS等執(zhí)行部分或全部的實際處理，并且基于此類 處理實現實施例的上述功能。
此外，可以通過將從存儲介質讀取的程序寫入連接到計算機的擴展單 元或插入到計算機的擴展板中配備的存儲器中來實現實施例的上述功能的 部分或全部。在這種情況下，在將程序寫入到擴展板或擴展單元之后，擴 展板或擴展單元中配備的CPU等基于程序的指令執(zhí)行部分或全部的實際 處理。
本發(fā)明使得能夠基于個人的面部特征精確地確定面部表情，同時使得 不必預先登記特定面部表情的圖像。
雖然參照示例性實施例對本發(fā)明進行了描述，但是應當理解，本發(fā)明 并不局限于所公開的示例性實施例。應當對所附權利要求的范圍給予最寬 的解釋，以使其涵蓋所有這種變型、等同結構和功能。
本申請要求2007年6月18日提交的日本專利申請第2007-160680號 的優(yōu)先權，該申請的全部內容通過引用包含于此。
權利要求
1.一種面部表情識別裝置，該面部表情識別裝置包括圖像輸入單元，用于順次輸入圖像；面部檢測單元，用于檢測由所述圖像輸入單元獲得的圖像中的面部；開始確定單元，用于基于由所述面部檢測單元檢測到的面部圖像信息確定是否開始面部表情確定；獲取單元，用于在所述開始確定單元確定應當開始面部表情確定時，基于由所述面部檢測單元檢測到的所述面部圖像信息獲取參照特征信息；以及面部表情確定單元，用于在所述開始確定單元確定開始所述面部表情確定時從由所述面部檢測單元檢測到的所述面部圖像信息提取特征信息，并基于所提取的特征信息和所述參照特征信息確定所檢測到的面部的面部表情。
2. 根據權利要求1所述的面部表情識別裝置，其中，所述面部表情確定單元基于所提取的特征信息與所述參照特征信息之間的差或比率確定面部表情。
3. 根據權利要求1或2所述的面部表情識別裝置，該面部表情識別裝置還包括有效性確定單元，用于檢測由所述面部檢測單元檢測到的面部的面部大小、面部朝向以及檢測可靠性中的至少一個，并基于所述檢測結果確定所檢測到的面部的有效性，其中，所述開始確定單元和所述面部表情確定單元對關于由所述有效性確定單元確定為有效的面部的圖像信息執(zhí)行確定。
4. 根據權利要求1至3中的任一項所述的面部表情識別裝置，其中，所述開始確定單元基于構成面部器官的特征點相對于所述面部上的特定位置的坐標值確定是否開始面部表情確定。
5. 根據權利要求1至3中的任一項所述的面部表情識別裝置，其中，所述開始確定單元基于所檢測到的面部上的特定位置與構成面部器官的特征點之間的距離確定是否開始面部表情確定。
6. 根據權利要求1至3中的任一項所述的面部表情識別裝置，其中，所述開始確定單元基于通過對所檢測到的面部執(zhí)行空間濾波獲得的輸出值確定是否開始面部表情確定。
7. 根據權利要求1至3中的任一項所述的面部表情識別裝置，其中，所述開始確定單元在根據在經過預定的幀數次或預定時間的一系列圖像中檢測到的面部圖像信息獲得的特征的變化在規(guī)定范圍之內時，確定應當開始面部表情確定。
8. 根據權利要求1至3中的任一項所述的面部表情識別裝置，其中，所述開始確定單元保持通過對從多個面部圖像獲得的特征進行統計預處理而設置的標準，并在根據所檢測到的面部圖像信息獲得的特征位于根據所述標準的規(guī)定范圍之內時確定應當開始面部表情確定。
9. 根據權利要求1至3中的任一項所述的面部表情識別裝置，其中，所述開始確定單元在所檢測到的面部圖像中的特定區(qū)域的像素計數滿足規(guī)定條件時，確定應當開始面部表情確定。
10. 根據權利要求9所述的面部表情識別裝置，其中，當瞳孔區(qū)域的像素計數不小于規(guī)定值時，所述特定區(qū)域的像素計數滿足所述規(guī)定條件。
11. 根據權利要求9所述的面部表情識別裝置，其中，當牙齒顏色的區(qū)域的像素計數不超過規(guī)定值時，所述特定區(qū)域的像素計數滿足所述規(guī)定條件。
12. 根據權利要求1至11中的任一項所述的面部表情識別裝置，其中，當所述開始確定單元再次確定應當開始面部表情確定一直到所述面部表情確定單元確定所述面部上的面部表情為止時，在再次進行的開始確定之后，使用由所述獲取單元獲取的參照特征信息來更新所述參照特征信息。
13. 根據權利要求1至12中的任一項所述的面部表情識別裝置，其中，所述面部表情確定單元對所述參照特征信息中包含的特征以及所提取的特征信息中包含的特征的變化進行加權，以便基于所加權的變化來確定所檢測到的面部的面部表情。
14. 根據權利要求1至13中的任一項所述的面部表情識別裝置，該面部表情識別裝置還包括個人標識認證單元，用于基于由所述面部檢測單元檢測到的面部圖像執(zhí)行個人標識認證。
15. —種攝像裝置，該攝像裝置包括-根據權利要求1至14中任一項所述的面部表情識別裝置；供應單元，用于使用攝像單元以時間先后順序獲取圖像并將所獲取的圖像供應給所述圖像輸入單元；以及記錄單元，用于在所述面部表情確定單元確定面部表情是規(guī)定面部表情時，將所述圖像記錄為拍攝圖像。
16. —種面部表情識別裝置，該面部表情識別裝置包括圖像輸入單元，用于順次輸入圖像；面部檢測單元，用于檢測由所述圖像輸入單元獲得的所述圖像中的面部；特征提取單元，用于從由所述面部檢測單元檢測到的面部中提取特征；存儲單元，用于在由所述特征提取單元提取的所述特征的可靠性不小于閾值時，將所述特征存儲在存儲器中；以及面部表情確定單元，用于基于由所述存儲單元存儲在所述存儲器中的所述特征的變化確定所述面部的面部表情。
17. —種面部表情識別裝置，該面部表情識別裝置包括檢測單元，用于從順次輸入的圖像中檢測面部；狀態(tài)確定單元，用于確定由所述檢測單元檢測到的所述面部的特征的狀態(tài)；獲取單元，用于在所述狀態(tài)確定單元確定了所述面部的所述特征處于預定狀態(tài)時，基于所述面部的圖像信息獲取參照特征信息；以及面部表情確定單元，用于基于由所述檢測單元新檢測到的面部和所述參照特征信息確定所述新檢測到的面部的面部表情。
18. —種面部表情識別方法，該面部表情識別方法包括以下步驟圖像輸入步驟，其涉及順次輸入圖像；面部檢測步驟，其涉及檢測在所述圖像輸入步驟中獲得的圖像中的面部；開始確定步驟，其涉及基于在所述面部檢測步驟中檢測到的面部圖像信息確定是否開始面部表情確定；獲取步驟，其涉及在所述開始確定步驟確定應當開始面部表情確定時，基于在所述面部檢測步驟中檢測到的所述面部圖像信息獲取參照特征信息；以及面部表情確定步驟，其涉及在所述開始確定步驟中確定開始所述面部表情確定時從在所述面部檢測步驟中檢測到的所述面部圖像信息提取特征信息，并基于所提取的特征信息和所述參照特征信息確定所檢測到的面部的面部表情。
19. 一種基于信息處理器的面部表情識別方法，該方法包括以下步驟圖像輸入步驟，其涉及順次輸入圖像；面部檢測步驟，其涉及檢測在所述圖像輸入步驟中獲得的所述圖像中的面部；特征提取步驟，其涉及從在所述面部檢測步驟中檢測到的面部中提取特征；存儲步驟，其涉及在所述特征提取步驟中提取的所述特征的可靠性不小于閾值時，將所述特征存儲在存儲器中；以及面部表情確定步驟，其涉及基于在所述存儲步驟中存儲在所述存儲器中的所述特征的變化確定所述面部的面部表情。
20. —種面部表情識別方法，該面部表情識別方法包括以下步驟從順次輸入的圖像中檢測面部；確定在所述檢測步驟中檢測到的所述面部的特征的狀態(tài)；在所述狀態(tài)確定單元確定了所述面部的所述特征處于預定狀態(tài)時，基于所述面部的圖像信息獲取參照特征信息；以及基于在所述檢測步驟中新檢測到的面部和所述參照特征信息確定所述新檢測到的面部的面部表情。
21. —種計算機程序，其用于使計算機執(zhí)行根據權利要求18至20中的任一項所述的面部表情識別方法。
22. —種計算機可讀存儲介質，其存儲用于使計算機執(zhí)行根據權利要求18至20中的任一項所述的面部表情識別方法的計算機程序。
全文摘要
本發(fā)明涉及一種面部表情識別裝置及方法和攝像裝置。所述面部表情識別裝置順次接受輸入的圖像，并基于在所輸入的圖像中檢測到的面部圖像信息確定是否開始面部表情確定。當確定應當開始面部表情確定時，所述面部表情識別裝置響應于所述確定而基于在所述圖像中檢測到的所述面部圖像信息獲取參照特征信息。然后，在關于所述開始面部表情確定的確定之后，所述面部表情識別裝置從在所述輸入的圖像中檢測到的所述面部圖像信息提取特征信息，并基于所提取的特征信息以及所獲取的參照特征信息確定所檢測到的面部的面部表情。
文檔編號G06T7/20GK101689303SQ200880020349
公開日2010年3月31日 申請日期2008年6月17日 優(yōu)先權日2007年6月18日
發(fā)明者真繼優(yōu)和, 金田雄司 申請人:佳能株式會社