專利名稱：面部識別方法、面部提取方法及攝像裝置的制作方法
技術領域：
本發(fā)明涉及對包含在圖像中的人物面部進行識別的面部識別方法、將識別出的面部提取的面部提取方法以及進行被攝體的攝影，得到攝影圖像，并識別該攝影圖像中所包含的人物面部的攝像裝置。
背景技術：
以往，伴隨數碼相機的普及，廣泛地進行將攝影圖像數碼化操作。例如，存儲于膠片中的攝影圖像在保管上體積增大，在洗印攝影圖像時，通常必須依靠洗印店，由此帶來不便。與此相對，被數碼化的攝影圖像，其優(yōu)點是可以多個攝影圖像集中存儲在FD等中，故體積不增大，并且使用個人電腦和打印機，無論何時都可以打印攝影圖像。再有，作為數碼化攝影圖像的優(yōu)點，例如，可以使用個人電腦對攝影圖像實施所希望的圖像處理，修正攝影圖像的不良情況等。作為上述的圖像處理，例如有對閃光攝影時的閃光在視網膜的深處反射后將眼睛拍攝為紅色或金色的紅眼或金眼進行修正的處理、對因閃光而閉合眼睛的閉眼進行修正的處理、將天空的顏色或肌膚的顏色修正為外觀上好看的顏色的處理、以及灰度修正處理等，通過對被數碼化的攝影圖像施行這些圖像處理，可以得到更佳的圖像(例如，參照專利文獻1及專利文獻2)。
另外，近年來，也開始對集體照相用的攝影圖像數據施行規(guī)定的圖像處理，從攝影圖像中提取每個人的面部，生成表示面部圖像的圖像數據，根據該圖像數據，做成個人相片。
特開平10-233929號公報[專利文獻2]特開平11-127371號公報為了從由集體相片的攝影圖像數據中生成個人相片的圖像數據，首先，檢測出攝影圖像中所包含的成為記號的面部器官(以下稱之為記號器官)，根據該記號器官識別攝影圖像中的面部，生成代表從攝影圖像中提取面部的面部圖像的圖像數據。
在這里，當從攝影圖像中提取多個面部時，例如，假如記號器官為眼睛，如果攝影圖像中產生了紅眼或閉眼等，記號器官的偏差大，則檢測出記號器官是困難的。其結果是，存在不能正確地檢測出記號器官，混淆可以識別的面部與不能識別的面部的可能性。再有，最近的照相機在向小型化發(fā)展，由于照相機的閃光發(fā)光裝置與鏡頭之間的距離不能充分長，故增加了紅眼或金眼的產生，存在正確地檢測出攝影圖像中的眼睛更加困難的問題。

發(fā)明內容
本發(fā)明鑒于上述問題，其目的在于提供一種可以高精度識別圖像中所包含面部的面部識別方法，提取識別出面部的面部提取方法，以及進行被攝體的拍攝，得到攝影圖像，可以高精度識別該攝影圖像中包含的人物面部的攝像裝置。
達到上述目的的本發(fā)明的面部識別方法，根據表示圖像的圖像數據，識別圖像中面部，具有根據圖像數據，檢測出在圖像中生成規(guī)定變色的眼睛部分的檢測過程；和根據在檢測過程中檢測出的眼睛部分，識別圖像中的面部的識別過程。
以往，公知檢測出攝影圖像中的眼睛，根據檢測出的眼睛來識別攝影圖像中所包含面部的面部識別方法。在檢測攝影圖像中的眼睛時，雖然檢測攝影圖像中是一般的眼睛顏色(黑或藍等)與眼睛形狀(圓)的圖像部分，但例如在攝影圖像中產生紅眼或金眼時，正確地檢測出攝影圖像中所包含的全部眼睛是困難的。其結果是，在攝影圖像中有可能出現可識別的面部與不能識別的面部。
然而，近年來，照相機的小型化在發(fā)展，由于照相機的閃光發(fā)光裝置與鏡頭之間的距離不能長，故紅眼或金眼的產生率上升。另外，伴隨眼睛變色的產生率的上升，基于上述攝影圖像中眼睛的面部識別率逐漸下降。與此相對，本發(fā)明的識別方法，著眼于產生在檢測過程中檢測出的變色的眼睛部分，根據該變色了的眼睛部分，在識別過程中識別面部。雖然避免眼睛變色的產生是困難的，但故意使眼睛變色卻是容易的，故根據本發(fā)明的面部識別方法，使用故意使眼睛變色發(fā)生的攝影圖像，可以高精度且容易識別出面部。
另外，在本發(fā)明的面部識別方法中，優(yōu)選上述檢測過程是檢測圖像中的紅眼部分的過程。
若拍攝被攝體的照相機的閃光發(fā)光裝置與鏡頭的位置極近，則特別可以提高紅眼的產生率。另外，檢測攝影圖像中的紅眼的處理，由于以往已廣泛使用，技術的積蓄豐富，使用這些技竅可以高精度檢測出紅眼。因此，通過使用容易引起該紅眼設計的照相機拍攝被攝體，檢測出攝影圖像中的紅眼，識別面部，可以更準確且有效地識別面部。
另外，達成上述目的的本發(fā)明的面部提取方法，根據表示圖像的圖像數據，提取圖像中的面部以生成面部圖像，具有根據圖像數據檢測圖像中的紅眼部分的檢測過程；根據在檢測過程中檢測到的紅眼部分，識別圖像中的面部的識別過程；修正在檢測過程中檢測出的紅眼部分的修正過程；和從圖像中提取已在識別過程中識別出且在修正過程中紅眼部分已被修正的面部，以生成面部圖像的面部圖像生成過程。
以往，進行從集體照用的攝影圖像中識別每個人的面部，提取面部，來生成個人相片。此時，通過適用如上述的面部識別方法，根據攝影圖像中的紅眼部分來識別面部的方法，識別面部，提取識別出的面部，生成面部圖像，可以準確且有效地生成面部圖像。
另外，本發(fā)明的面部提取方法，也可以是一種根據代表圖像的圖像數據，提取圖像中的面部以生成面部圖像的面部提取方法，具備根據圖像數據在圖像中檢測的產生規(guī)定變色的檢測過程；根據在檢測過程中檢測到的眼睛部分，識別圖像中的面部的識別過程；修正在檢測過程中檢測出的眼睛部分的變色的修正過程；和從圖像中提取已在識別過程中識別出且在修正過程中變色已被修正的面部，以生成面部圖像的面部圖像生成過程。
本發(fā)明的提取方法，并未限定于紅眼，例如也可以是根據金眼等的眼睛變色來識別面部，提取識別出的面部以生成面部圖像的方法。由于故意使紅眼發(fā)生比使其他的眼睛變色發(fā)生還容易，故通過根據紅眼來識別面部，可以精度更高地識別面部，從而可以正確地生成面部圖像。
再有，為了達成上述目的，本發(fā)明的面部識別裝置，是一種根據表示圖像的圖像數據，識別圖像中面部的面部識別裝置，具有根據圖像數據，檢測出在圖像中生成規(guī)定的變色的眼睛部分的檢測部；和根據在檢測部中檢測出的眼睛部分，識別圖像中的面部的識別部。
使用本發(fā)明的面部識別裝置，例如在閃光發(fā)光裝置與鏡頭的位置極近，容易產生紅眼或金眼等的照相機中，可以更準確地識別出拍攝的圖像中所包含的面部。
還有，為了達成上述目的，本發(fā)明的攝像裝置，是一種對被攝體進行攝影，生成表示攝影圖像的攝影圖像數據的攝像裝置，具備根據攝影圖像數據，在攝影圖像中檢測生成規(guī)定的變色的眼睛部分的檢測部；根據由檢測部檢測出的眼睛部分，識別攝影圖像中的面部的識別部；修正在檢測部檢測出的眼睛部分的變色的修正部；和從攝影圖像中提取已在識別部中識別出且在修正部中變色已被修正的面部，以生成面部圖像的面部圖像生成部。
本發(fā)明的攝像裝置，設計為閃光發(fā)光裝置與鏡頭的位置極近等，通過提高眼睛變色的發(fā)生率，檢測出攝影圖像中的眼睛的變色部分，提取根據該眼睛的變色部分而識別出的面部，可以更準確地生成面部圖像。
再有，在本發(fā)明的攝像裝置中，優(yōu)選上述檢測部檢測圖像中的紅眼部分，修正部修正由檢測部檢測出的紅眼部分。
根據本發(fā)明，可以提供一種可以高精度識別在圖像中所包含面部的面部識別方法，提取識別出面部的面部提取方法，以及進行被攝體的拍攝，得到攝影圖像，可以高精度識別在該攝影圖像中包含的人物面部的攝像裝置。


圖1是表示本發(fā)明的一實施方式的數碼相機的外觀圖。
圖2是數碼相機的框圖。
圖3是圖像處理器內的面部識別處理及面部提取處理相關部分的功能框圖。
圖4是表示取得攝影圖像，將該攝影圖像存儲在圖2所示的圖像存儲器時，在圖像處理器中進行的一系列處理的流程圖。
圖5是表示代表輸入到檢測功能的攝影圖像數據的攝影圖像的圖。
圖6是表示檢測出攝影圖像中所包含的紅眼的檢測結果的圖。
圖7是表示根據紅眼的檢測結果，識別出攝影圖像中所包含的人物面部的結果的圖。
圖8是表示根據紅眼的檢測結果，修正了攝影圖像中所包含的紅眼的修正后攝影圖像的圖。
圖9是表示從修正后攝影圖像中提取了基于面部識別結果的面部圖像部分的面部圖像的圖。
圖10是表示第2實施方式的數碼相機中進行的一系列攝影處理的流程圖。
圖11是適用本發(fā)明的第3實施方式的個人識別系統(tǒng)的功能框圖。
圖12是表示根據用攝像裝置拍攝的攝影圖像，識別攝影圖像中的人物的一系列處理的流程圖。
圖中100-數碼相機，110-取景器，120-快門按鈕，130-攝影鏡頭，140-閃光發(fā)光裝置，150-調光傳感器，200-圖像處理器，201-檢測功能，202-識別功能，203-修正功能，204-面部圖像生成功能，210-時序發(fā)生器，211-CCD，220-AD轉換器，230-圖像顯示LCD，240-高速運算用存儲器，250-圖像存儲器，300-控制用微型計算機，310-曝光控制部，311-快門，320-聚焦控制部，330-變焦控制部，340-閃光發(fā)光部，350-電源控制部，360-開關組，370-狀態(tài)LCD，400-電源，500-外部裝置，600-攝影圖像，601-人物，610-紅眼的檢測結果，611-眼睛，620-面部的識別結果，621-面部，630-修正后攝影圖像，631-人物，640-面部圖像，700-個人識別系統(tǒng)，710-攝像裝置，720-個人電腦，721-紅眼檢測部，722-面部識別部，723-個人識別部，724-存儲部，725-圖像顯示部。
具體實施例方式
以下，說明本發(fā)明的實施方式。
圖1是表示本發(fā)明的一實施方式的數碼相機的外觀圖。
在數碼相機100的正面上，外觀上具備攝影時被按下的快門按鈕120、與快門按鈕120的按下同步發(fā)光的閃光發(fā)光裝置140、測量從閃光發(fā)光裝置140發(fā)出的光量的調光傳感器150、攝影者為了確定被攝體的位置而進行觀察的取景器110以及由將焦點聚集在被攝體上的聚焦透鏡或切換攝影視角的變焦透鏡等構成的攝影鏡頭130?？扉T按鈕120可以分為半按下及全按下的2個階段，若半按下快門按鈕120，則沿光軸延伸的方向驅動安裝在攝影鏡頭130內的聚焦透鏡上的電機，使焦點聚焦在攝影視角的中央區(qū)域上，設定將聚焦透鏡的位置一直維持到被攝體像的讀出(曝光)的聚焦鎖定，若全按下快門按鈕120，則快門動作，進行實際的攝影。另外，閃光發(fā)光裝置140設置于距攝影鏡頭130極近的位置上，成為故意使紅眼發(fā)生的設計。
在這里，對數碼相機100的內部結構進行說明。
圖2是數碼相機的框圖。
該數碼相機100，具備圖像處理器200、時序發(fā)生器、CCD(ChargeCouple Device電荷耦合器件)211、AD(Analog-Degital)轉換器220、圖像顯示LCD(Liquid Crystal Display)230、高速運算用存儲器240、圖像存儲器250、控制用微型計算機300、曝光控制部310、快門311、聚焦控制部320、變焦控制部330、閃光發(fā)光部340、電源控制部350、開關組360、狀態(tài)LCD370及圖1中也示出的攝影鏡頭130，可以與個人電腦等外部裝置500連接。
首先，對開關組360進行說明。
在開關組360中，雖然未圖示，但具備伴隨圖1的快門按鈕120的按下而入切的快門開關；啟動攝影鏡頭130內的變焦透鏡，在望遠攝影·廣角攝影中切換攝影視角的變焦開關；將存儲模式切換為存儲攝影圖像的通常存儲模式與存儲提取攝影圖像中所包含的人物面部的面部圖像的面部圖像存儲模式的任意一種的模式切換開關；將攝影圖像顯示在圖像顯示LCD230上的圖像顯示開關；以及將數碼相機100的狀態(tài)顯示在狀態(tài)LCD370上的狀態(tài)開關?？扉T開關是可以設定為2個階段的開關，若快門按鈕120被半按下，則接通第1階段的開關，設定聚焦鎖定，若快門按鈕120被全按下，則接通第2階段的開關，快門311動作。
接著，對開關組360以外的各部分進行說明。
圖像處理器200，對已拍攝被攝體的攝影圖像施行圖像處理，對到被攝體的距離進行測定(測距)及進行光亮度測定(測光)。另外，圖像處理器200，在攝影圖像上施行所謂的灰度修正或白平衡修正等規(guī)定的圖像修正處理的同時，檢測攝影圖像中的紅眼，根據上述存儲模式，進行修正攝影圖像中紅眼的紅眼修正處理；根據紅眼識別攝影圖像中包含面部的面部識別處理；和從紅眼修正后的攝影圖像中提取面部的面部提取處理。對這些紅眼修正處理、面部識別處理及面部提取處理將在后面敘述。
CCD211，接收被攝體光，將該被攝體光變換為屬于模擬信號的被攝體信號。已被變換的被攝體信號，按照在時序發(fā)生器中生成的時序，從CCD211傳送至AD轉換器220。AD轉換器220將從CCD211取得的被攝體信號變換為屬于數字數據的攝影圖像數據。
圖像顯示LCD230是顯示基于從圖像處理器200傳送來的圖像數據的圖像的液晶監(jiān)視器。另外，高速運算用存儲器240，是在圖像處理器200中使用的暫時存儲器，圖像存儲器250是存儲從圖像處理器200送來的圖像數據的存儲器。
控制用微型計算機300，在進行攝影張數的監(jiān)視、電池余量的監(jiān)視等的同時，取得圖像處理器200的測距信息及光亮度信息等，確定使焦點對準位于攝影視角內的中央區(qū)域的被攝體時的聚焦透鏡的位置、遵從開關組360所包含的變焦開關的設定的變焦透鏡位置、調節(jié)進入攝影鏡頭130的光量的光圈量及調節(jié)在CCD211接收光時間的快門速度等。另外，根據從開關組360傳送的各開關的設定狀況，向圖2的各部分傳送上述各鏡頭位置等的各信息及動作指示。
若曝光控制部310從控制用微型計算機300取得光圈量及快門速度的信息后，則驅動安裝在快門311上的電機，調節(jié)光圈量，同時按照所指示的快門速度讓快門動作，控制由CCD211接收被攝體光時的曝光。
聚焦控制部320從控制用微型計算機300取得聚焦透鏡位置的信息后，則驅動安裝攝影鏡頭130包含的聚焦透鏡中的電機，使聚焦透鏡向被指示的聚焦透鏡位置移動。
若變焦控制部330從控制用微型計算機300取得變焦透鏡位置的信息，則驅動安裝在攝影鏡頭130包含的變焦透鏡中的電機，使變焦透鏡向被指示的變焦透鏡位置移動。
若閃光發(fā)光部340從控制用微型計算機300取得閃光的合適發(fā)光量的信息，則從圖1所示的閃光發(fā)光裝置140發(fā)出閃光。此時發(fā)出的閃光發(fā)光量由調光傳感器150測量，若發(fā)光量達到合適發(fā)光量，則停止發(fā)光。
電源控制部350，控制從電源400供給的電力。狀態(tài)LCD370是從控制用微型計算機300取得攝影張數或電池余量等信息，并顯示這些信息的液晶監(jiān)視器。
本實施方式的數碼相機100，基本上如上述構成。在這里，在數碼相機100中，作為本發(fā)明的一實施方式的特征是由圖像處理器200進行的紅眼修正處理、面部識別處理及面部提取處理，以下對這些處理進行詳細的說明。
圖3是圖像處理器的紅眼修正處理、面部識別處理及面部提取處理相關功能的功能框圖。
圖像處理器200具有檢測功能201、識別功能202、修正功能203、及面部圖像生成功能204等功能。
檢測功能201，從圖2的AD轉換器220中取得已被數字化的攝影圖像。再有，檢測功能201，探測攝影圖像中顏色為紅色且圓形狀的圖像部分，檢測出攝影圖像所包含的紅眼，生成表示已被檢測出的紅眼位置的紅眼位置信息。紅眼相當于本發(fā)明所說的紅眼的一例，同時相當于產生規(guī)定變色的眼睛部分的一例。該檢測功能201，相當于本發(fā)明的攝像裝置及面部識別裝置中檢測部功能的一例。
識別功能202，根據檢測功能201中生成的紅眼位置信息，識別攝影圖像所包含的人物面部，生成表示識別出的面部位置的面部位置信息。該識別功能202，相當于本發(fā)明的攝像裝置及面部識別裝置中的識別部的功能的一例。
修正功能203，根據攝影圖像及檢測功能201中生成的紅眼位置信息，將攝影圖像中紅眼的圖像部分的色度調整為規(guī)定的值，將紅眼的圖像部分修正為作為相片優(yōu)選的與一般的人物眼睛的顏色及亮度相等的顏色及亮度，生成修正后攝影圖像。修正功能203，相當于本發(fā)明的攝像裝置中的修正部的功能的一例。
面部圖像生成功能204，取得修正功能203中生成的修正后攝影圖像及識別功能202中生成的面部位置信息，生成從修正后攝影圖像提取人物面部圖像的面部圖像。該面部圖像生成功能204相當于本發(fā)明的攝像裝置中的面部圖像生成部的功能的一例。
圖像處理器200，作為與面部識別處理及面部提取處理相關的功能，基本上具有以上所述的功能。
在這里，以下，對攝影者拍攝被攝體，存儲攝影圖像的一系列流程進行說明。
首先，攝影者作為存儲模式選擇面部圖像存儲模式，存儲攝影圖像的例子進行說明。
攝影者，采用圖中未示出的存儲模式切換按鈕，作為存儲模式選擇面部圖像存儲模式。
若由攝影者選擇面部圖像存儲模式，則在數碼相機100的內部，用圖2的開關組360所包含的模式切換開關設定面部圖像存儲模式，將被設定后的存儲模式傳送至控制用微型計算機300?？刂朴梦⑿陀嬎銠C300，在接收到存儲模式后，則將該存儲模式送至圖像處理器200。
再有，攝影者觀察圖1的取景器110，以使所希望的被攝體配置于攝影視角內的中央區(qū)域的方式移動數碼相機100，半按下快門按鈕120。
若由攝影者半按下圖1的快門按鈕120，則在數碼相機100內部，接通圖2的開關組360所包含的快門開關的第1階段，向控制用微型計算機300傳送已接通快門開關的第1階段的信息。
此時，在圖像處理器200中，取得應用于測距等處理的分辨率低的攝影圖像數據。即，用CCD211粗略地讀取被攝體光，生成低分辨率的被攝體信號，向AD轉換器220傳送低分辨率的被攝體信號。低分辨率的被攝體信號，在AD轉換器220變換為屬于數字信號的攝影圖像數據，該低分辨率的攝影圖像數據被送至圖像處理器200。
圖像處理器200，使用低分辨率的攝影圖像數據，計算攝影視角內的光亮度(測光)，同時，測定相當于低分辨率圖像數據的中央區(qū)域的部分的對比度，計算到被攝體的距離(測距)。作為計算結果的光亮度信息及測距信息被送到控制用微型計算機300。
控制用微型計算機300，根據從圖像處理器200取得的光亮度信息確定快門速度及光圈量，由測距信息確定用于將焦點對準被攝體的聚焦透鏡位置。另外，控制用微型計算機300向聚焦控制部320傳送聚焦透鏡位置的信息，保持快門速度及光圈量，直到由攝影者將圖1的快門按鈕120全按下。
聚焦控制部320，從控制用微型計算機300取得聚焦透鏡位置的信息，驅動安裝在攝影鏡頭130包含的聚焦透鏡中的電機，使聚焦透鏡向被指示的聚焦透鏡位置移動。
若上述的正式攝影用的一系列準備處理(以下將該一系列的準備處理稱為預攝影處理)完成，則開始以下所說明的正式攝影處理。
攝影者將圖1的快門按鈕120全按下。
若快門按鈕120被全按下，則接通圖2所示的開關組360所包含的快門開關的第2階段，并將已接通快門開關的第2階段的信息送至控制用微型計算機300。
控制用微型計算機300，若被傳送已接通快門開關的第2階段的信息，則向曝光控制部310傳送快門速度及光圈量的信息。曝光控制部310若從控制用微型計算機300取得快門速度及光圈量的信息，則根據指示的快門速度及光圈量，調節(jié)光圈，讓快門311動作。
若快門311動作，則由CCD211接收的被攝體光被變換為分辨率高的被攝體信號，送至AD轉換器220，該被攝體信號在AD轉換器220中被變換為分辨率高的攝影圖像信號。接著，攝影圖像信號被送至圖像處理器200。
圖4是表示攝影圖像被送至圖像處理器，該攝影圖像存儲于圖2所示的圖像存儲器時在圖像處理器中進行的一系列處理的流程圖。以下，使用該圖4的流程圖，對從攝影圖像被送至圖像處理器200到該攝影圖像被存儲的一系列處理的流程進行說明。再有，參照圖4的同時，也參照圖5到圖9的各圖進行說明。
在圖3所示的圖像處理器200的檢測功能201中，從圖2的控制用微型計算機300傳送作為存儲模式設定為面部圖像存儲模式的情況，從AD轉換器220傳送攝影圖像數據(圖4的步驟S1)。
如上所述，進行正式攝影處理，取得攝影圖像。
圖5是表示輸入給檢測功能的攝影圖像數據所表示的攝影圖像的圖。攝影圖像600是包含多個人物601的集體照用的攝影圖像。數碼相機100是故意產生紅眼的相機，使攝影圖像600所包含的全部人物601的眼睛產生紅眼。紅眼，是在發(fā)出閃光拍攝人物時，在眼睛的瞳孔打開的狀態(tài)下閃光的強光由眼底的毛細血管反射，結果攝影圖像所拍攝的人物的眼睛顏色成為紅色的現象。該紅眼由于是在相機的鏡頭與閃光發(fā)光裝置近的情況下容易發(fā)生，本實施方式的數碼相機100，如圖1所示，攝影鏡頭130與閃光發(fā)光裝置140被配置在極近的位置上。
圖3的檢測功能201，探測圖5的攝影圖像600中顏色為紅色且形狀為圓形的圖像部分，檢測出攝影圖像600所包含的紅眼(圖4的步驟S2)。
圖6是表示檢測出攝影圖像所包含的紅眼的檢測結果的圖。在圖5的攝影圖像600中所包含的人物601的眼睛中，由于全部發(fā)生紅眼，故在紅眼的檢測結果610中，包含攝影圖像600中的全部人物的眼睛611。
圖3的檢測功能201，生成表示檢測出紅眼的位置的紅眼位置信息，向修正功能203傳送攝影圖像數據、紅眼的位置信息及作為存儲模式的面部圖像存儲模式。再有，檢測功能201，也向識別功能202傳送攝影圖像數據及紅眼的位置信息。在檢測功能201中進行的步驟S2的處理，相當于本發(fā)明的面部識別方法及面部提取方法中的檢測過程的一例。
在圖4的流程圖中，由于在這里作為存儲模式選擇的是面部圖像存儲模式，故從步驟S3進入步驟S5。
圖3的識別功能202，在從檢測功能傳來紅眼的位置信息及攝影圖像數據后，則根據該紅眼的位置信息，識別出攝影圖像數據所代表的攝影圖像中的人物(圖4的步驟S5)。
圖7是表示根據圖6的紅眼檢測結果，識別出圖5的攝影圖像中所包含的人物的面部的結果的圖。在面部的識別結果620中，圖5的攝影圖像600中由圖6的紅眼檢測結果610表示的眼睛611的周邊部作為面部621被識別。
圖3的識別功能202，生成表示識別出的面部位置的面部位置信息，并將該面部的位置信息向修正功能203傳送。在識別功能202中進行的步驟S5的處理，相當于本發(fā)明的面部識別方法與面部提取方法中的識別過程的一例。
修正功能203，根據從檢測功能201傳送的攝影圖像數據及紅眼的位置信息，降低攝影圖像數據所代表的攝影圖像中的表示紅眼位置信息的位置的圖像部分色度，修正攝影圖像中所包含的紅眼(圖4的步驟S6)。
圖8是表示根據圖6的紅眼檢測結果修正了圖5的攝影圖像中所包含的紅眼的修正后攝影圖像的圖。圖5的攝影圖像600所包含的人物601的眼睛產生的紅眼被修正為，修正后攝影圖像630所包含的人物631的眼睛。
圖3的修正功能203向面部圖像生成功能204傳送代表修正后攝影圖像630的修正后攝影圖像數據及從識別功能202被傳送的面部位置信息。在修正功能203中進行的步驟S5的處理相當于本發(fā)明的面部提取方法中的修正過程的一例。
面部圖像生成功能204，若從修正功能203傳送修正后攝影圖像數據及面部的位置信息，則從修正后攝影圖像數據所代表的修正后攝影圖像提取表示面部位置信息的圖像部分，生成面部圖像。(圖4的步驟S6)。
圖9是表示從圖8的修正后攝影圖像提取了基于圖7的面部識別結果的面部的圖像部分的面部圖像的圖。如圖9所示，面部圖像640中所包含的人物的眼睛，紅眼被修正，且生成圖5所示的攝影圖像600所包含的人物601全員的面部圖像640。
面部圖像生成功能204將基于面部圖像的面部圖像數據送至圖2所示的圖像存儲器250。在該面部圖像生成功能204中進行的步驟S6的處理，相當于本發(fā)明的面部提取方法中的面部圖像生成過程的一例。
面部圖像數據被傳送到圖像存儲器250，被存儲在圖像存儲器250中。(圖4的步驟S8)。
上述各處理反復進行直到攝影結束(圖4的步驟S9)。
這樣，若利用本實施方式的數碼相機100，則可以可靠地使紅眼發(fā)生，根據該紅眼精度優(yōu)良地識別面部，準確地提取面部。
以上，對作為存儲模式選擇面部圖像存儲模式，來存儲攝影圖像的示例進行的說明結束，接下來說明作為存儲模式選擇通常存儲模式來存儲攝影圖像的示例。
攝影者用圖中未示出的存儲模式切換按鈕，作為存儲模式選擇通常存儲模式。
若由攝影者選擇通常存儲模式，則在數碼相機100的內部，由圖2的開關組360所包含的模式切換開關設定為通常存儲模式，向控制用微型計算機300傳送已被設定的存儲模式。與上述面部圖像存儲模式時同樣，控制用微型計算機300將存儲模式送至圖像處理器200。
再有，攝影者與面部圖像存儲模式選擇時同樣，觀察圖1的取景器110，半按下快門按鈕120，設定聚焦鎖定。
若由攝影者將圖1的快門按鈕120半按下，則在數碼相機100內部，與上述面部圖像存儲模式時同樣，進行一系列的預攝影處理。
在這里，攝影者全按下圖1的快門按鈕120。
若快門按鈕120被全按下，則進行與上述面部圖像存儲模式同樣的正式攝影處理，將代表攝影圖像的攝影圖像數據輸入圖2所示的圖像處理器200。
以下，與作為存儲模式選擇的是面部圖像存儲模式時的上述說明同樣，使用圖4的流程圖進行說明。
圖3所示的圖像處理器200的檢測功能201，傳送攝影圖像數據的同時，從圖2的控制用微型計算機300傳來作為存儲模式設定的是通常存儲模式的情況(圖4的步驟S1)。檢測功能201，雖然與上述面部圖像存儲模式時同樣，檢測紅眼并生成紅眼的位置信息(圖4的步驟S2)，但在本例中不進行面部的提取(圖4的步驟S3)，不向識別功能202傳送攝影圖像及紅眼的位置信息，只向修正功能203傳送攝影圖像、紅眼的位置信息及作為存儲模式的通常存儲模式。在圖4的流程圖中從步驟S3進入步驟S4。
在修正功能203中，根據從檢測功能201送來的攝影圖像數據及紅眼的位置信息，進行與上述面部圖像存儲模式同樣的攝影圖像中的紅眼的修正處理(圖4的步驟S4)。另外，在本例中，修正功能203，不向面部圖像生成功能204傳送代表修正了攝影圖像中的紅眼的修正后攝影圖像的修正后攝影圖像數據，而是直接送至圖2所示的圖像存儲器250中。
修正后攝影圖像數據，被傳送至圖像存儲器250，和面部圖像數據同樣在圖像存儲器250中存儲(圖4的步驟S8)，上述那樣的處理直到攝影結束之前反復進行(圖4的步驟S9)。
這樣，若利用本實施方式的數碼相機，即使在選擇了通常存儲模式的情況下，也可以存儲修正了紅眼的看上去好看的圖像。
以上，對本發(fā)明的第1實施方式的說明結束，接著說明本發(fā)明的第2實施方式。本實施方式的數碼相機雖然具有與第1實施方式的數碼相機100同樣的構成要素，但與第1實施方式不同的是進行紅眼檢測的時序。以下，第1實施方式的說明中使用的圖1及圖2在這里也使用，主要說明與第1實施方式的不同方面。
圖10是用表示本實施方式的數碼相機進行的一系列攝影處理的流程圖。
首先，攝影者朝向所希望的被攝體移動圖1的數碼相機100，半按下快門按鈕120。
若圖1的快門按鈕120被半按下，則在數碼相機100的內部，接通圖2的開關組360所包含的快門開關的第1階段。此時，從控制用微型計算機300向閃光發(fā)光部340提供發(fā)光量的指示，閃光發(fā)光部340，從圖1所示的閃光發(fā)光裝置140發(fā)出所指示的發(fā)光量的閃光(圖10的步驟S21)。
若發(fā)出閃光，則與第1實施方式相同，由CCD211粗略地讀取被攝體光，生成分辨率低的攝影圖像數據(圖10的步驟S22)。該低分辨率的攝影圖像數據所代表的圖像，成為與圖5所示的攝影圖像600同樣，但畫質粗糙的圖像。
圖像處理器200，根據與圖4的步驟S2同樣的處理，檢測出低分辨率的攝影圖像數據代表的圖像中所包含的紅眼(圖10的步驟S23)。
在檢測出紅眼的情況下，從圖10的步驟S24進入步驟S25。圖像處理器200，進行與圖4的步驟S5同樣的處理，檢測出低分辨率的攝影圖像數據所代表的圖像中人物的面部(圖10的步驟S25)，生成表示檢測出面部位置的位置信息。
圖像處理器200進一步根據低分辨率的攝影圖像數據，計算出面部位置信息所代表的位置(以下將該面部位置信息所代表的位置稱為被攝體位置)中的測距信息及被攝體位置中的光亮度信息，并將這些信息傳送至控制用微型計算機300。
控制用微型計算機300，由從圖像處理器200取得的光亮度信息確定快門速度及光圈量，由測距信息確定用于讓焦點對準被攝體的聚焦透鏡位置。根據這樣確定的快門速度或光圈量、聚焦透鏡位置，調整圖2所示的各構成要素(圖10的步驟S26)。
若從圖10的步驟S21到步驟S26中的一系列預攝影處理完成，則由攝影者將圖1的快門按鈕120全按下，進行與在圖4的步驟S1中說明的第1實施方式中的正式攝影處理同樣的正式攝影處理(圖10的步驟S27)。
在這里，由圖像處理器200計算出的測距信息或光亮度信息，是根據攝影圖像數據代表的攝影圖像所包含的紅眼，檢測出人物的面部，與該人物的位置配合而計算出的信息。因此，通過根據該測距信息或光亮度信息，進行AF(聚焦調整)、AE(曝光調整)、AWB(白平衡修正)等，高精度讓焦點與被檢測出的人物對準，從而可以以最佳的曝光進行攝影。另外，用可以拍攝動畫的數碼相機，在上述的預攝影處理中預先檢測出人物，例如通過追蹤該被檢測出的人物的顏色連續(xù)攝影，使焦點始終與該檢測出的人物對準，可以得到畫質好的動畫。
另外，在圖10的步驟S24中，在低分辨率的攝影圖像數據代表的攝影圖像中未檢測出紅眼的情況下，表示該攝影圖像中不包含人物。在這種情況下，從步驟S24進入步驟S27，根據規(guī)定的快門速度、光圈量或聚焦透鏡位置進行正式攝影。
以上，對本發(fā)明的第2實施方式的說明結束，接下來說明本發(fā)明的第3實施方式。本實施方式具備有與第1實施方式的數碼相機100同樣構成的攝像裝置，是對用該攝像裝置拍攝的攝影圖像中的人物進行個人識別的系統(tǒng)。
圖11是適用于本發(fā)明的第3實施方式的個人識別系統(tǒng)的功能框圖。
個人識別系統(tǒng)700，由具有與圖2所示的第1實施方式的數碼相機100同樣構成的攝像裝置710和與攝像裝置710連接的個人電腦720構成。在個人電腦720中，具備分別作為紅眼檢測部721、面部識別部722、個人識別部723、存儲部724及圖像顯示部725的功能。該紅眼檢測部721，相當于本發(fā)明的檢測部的一例，面部檢測部722相當于本發(fā)明的面部識別部的一例。存儲部724中預先將人物的面部圖像與有關該人物的信息相關聯后進行保存。
圖12是表示根據用攝像裝置拍攝的攝影圖像來識別攝影圖像中的人物的一系列處理的流程圖。
在攝像裝置710中，進行與第1實施方式的數碼相機100中的一系列攝影處理(圖4的步驟S1)同樣的一系列攝影處理，生成代表攝影圖像的攝影圖像數據(圖12的步驟S31)。在該攝像裝置710中，與圖1所示的數碼相機100同樣，具有閃光裝置與鏡頭被配置于非常接近的位置上，使攝影圖像容易產生紅眼的特征。在該攝像裝置710中生成的攝影圖像數據被送至紅眼檢測部721。
在紅眼檢測部721中，根據與圖4的步驟S2或圖10的步驟S23同樣的處理，檢測出被送來的攝影圖像數據所代表的攝影圖像中的紅眼(圖12的步驟S32)。
由紅眼檢測部721在攝影圖像中檢測出紅眼的情況下，從步驟S33進入步驟S34，將攝影圖像數據與紅眼位置信息送至面部識別部722，開始面部識別處理。在面部識別部722中，進行與圖4的步驟S4或圖10的步驟S25同樣的處理，檢測出攝影圖像中的人物的面部(圖12的步驟S34)。代表在面部識別部722中檢測出面部的面部圖像被送至個人識別部723。
個人識別部723在存儲于存儲部724中的面部圖像中，檢索與具有從面部識別部722送來的面部圖像的容貌的人物相同的人物面部圖像。識別該個人的處理，是以往廣泛進行的處理，在本說明書中省略其詳細說明。再有，個人識別部723取得與檢索到的面部圖像對應的人物的相關信息(圖12的步驟S35)。將取得的人物相關信息與人物的面部圖像送至圖像顯示部725，這些與人物相關的信息與人物的面部圖像被顯示在顯示畫面(圖中未示出)上。
另外，在圖12的步驟S33中，在攝影圖像中沒有檢測出紅眼的情況下，省略步驟S34及步驟S35，不進行個人識別處理。這種情況下，將攝影圖像從圖11的紅眼檢測部721送至圖像顯示部725，在顯示畫面(圖中未示出)上顯示攝影圖像與“不能識別個人”的信息。
在以往廣泛應用的根據攝影人物而得到的攝影圖像進行個人識別的個人識別系統(tǒng)中，例如，若將人物的相片或面具配置于照相機前，則根據拍攝這些相片或面具的攝影圖像就可以進行人物的識別，有可能騙過個人識別系統(tǒng)。若根據本實施方式的個人識別系統(tǒng)，則只對產生所謂的紅眼等眼睛變色的攝影圖像中的人物進行個人識別，對拍攝相片或面具但未產生紅眼的攝影圖像中的人物不進行個人識別，輸出錯誤信息。因此，例如，若將本實施方式的個人識別系統(tǒng)適用于安全系統(tǒng)中，則可以構成堅固的安全系統(tǒng)。
在這里，上述雖然對檢測攝影圖像中的紅眼來識別面部的數碼相機、面部識別方法及面部提取方法進行了說明，但本發(fā)明的攝像裝置、面部識別方法及面部提取方法也可以是在圖像中檢測出產生規(guī)定變色的眼睛部分來識別面部的裝置及方法，例如也可以是檢測出攝影圖像中的金眼來識別面部的裝置及方法。
另外，在上述中，作為攝像裝置雖然說明的是使用了數碼相機的示例，但本發(fā)明的攝像裝置，例如可以是裝載于移動電話上的小型照相機等。
再有，在上述中，雖然對由閃光發(fā)光裝置發(fā)出可見光，檢測出以該可見光進行攝影的攝影圖像中的眼睛的示例，但本發(fā)明的攝像裝置、面部識別方法及面部提取方法也可以是從閃光發(fā)光裝置發(fā)出紅外線等可見光以外的光，檢測出用該光攝影的攝影圖像中的眼睛的裝置及方法。通過用可見光以外的光拍攝被攝體，可以更容易檢測攝影圖像中的眼睛。
權利要求
1.一種面部識別方法，根據表示圖像的圖像數據，識別圖像中的面部，其特征在于，具有根據所述圖像數據，檢測出在圖像中生成規(guī)定變色的眼睛部分的檢測過程；和根據在所述檢測過程中檢測出的眼睛部分，識別所述圖像中的面部的識別過程。
2.根據權利要求1所述的面部識別方法，其特征在于，所述檢測過程是檢測圖像中的紅眼部分的過程。
3.一種面部提取方法，根據表示圖像的圖像數據，提取圖像中的面部以生成面部圖像，其特征在于，具有根據圖像數據檢測圖像中的紅眼部分的檢測過程；根據在所述檢測過程中檢測到的紅眼部分，識別所述圖像中的面部的識別過程；修正在所述檢測過程中檢測出的紅眼部分的修正過程；和從圖像中提取已在所述識別過程中識別出且在所述修正過程中紅眼部分已被修正的面部，以生成面部圖像的面部圖像生成過程。
4.一種攝像裝置，是對被攝體進行攝影，生成表示攝影圖像的攝影圖像數據的攝像裝置，其特征在于，具有根據所述攝影圖像數據，在攝影圖像中檢測生成規(guī)定變色的眼睛部分的檢測部；根據由所述檢測部檢測出的眼睛部分，識別所述攝影圖像中的面部的識別部；修正在所述檢測部檢測出的眼睛部分的變色的修正部；和從攝影圖像中提取已在所述識別部中識別出且在所述修正部中變色已被修正的面部，以生成面部圖像的面部圖像生成部。
5.根據權利要求4所述的攝像裝置，其特征在于，所述檢測部檢測圖像中的紅眼部分，所述修正部修正由所述檢測部檢測出的紅眼部分。
全文摘要
本發(fā)明的目的在于提供一種可以更準確地識別圖像中所包含面部的面部識別方法、提取已識別的面部的面部提取方法及攝像裝置。使用讓閃光裝置與鏡頭的距離極近且故意使眼睛變色成紅眼等提高了不良情況出現率的相機，拍攝被攝體。檢測出攝影圖像中所包含的眼睛變色部分，根據該眼睛的變色部分識別攝影圖像中所包含人物的面部。修正攝影圖像中的眼睛變色部分，通過從不良情況修正后的攝影圖像中提取識別出的面部，可以更準確地生成修正了不良情況的面部圖像。
文檔編號G03B7/00GK1520161SQ200310120419
公開日2004年8月11日 申請日期2003年12月11日 優(yōu)先權日2002年12月12日
發(fā)明者加來俊彥 申請人:富士膠片株式會社