專利名稱：面部圖像獲取裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明通常涉及用于獲取駕駛員的面部圖像的面部圖像獲取裝置。
背景技術(shù)：
已知駕駛員監(jiān)視裝置使用感應(yīng)模塊來獲得駕駛員的面部圖像，以檢測 駕駛員在駕駛操作期間的不利狀態(tài)，例如瞌睡和不專心的駕駛。需要以上 駕駛員監(jiān)視裝置來在任何時間，例如白天或者夜間，可靠地獲取面部圖像。 從而，通常，將包括近紅外線的光做為參考光從照明器施加到駕駛員的面 部，以便建立用于獲取面部圖像的可靠情形。然后，通過圖像處理對在以 上情形下所獲取的面部圖像進(jìn)行處理，以便檢測到駕駛員的面部并且檢測 到面部。
然而，事實上，由于日光的不利影響、建筑物的反射光和駕駛員的眼 鏡所反射的照明器反射光，難以充分地執(zhí)行圖像處理并且不利的是還不能 實現(xiàn)以上檢測。
為了解決以上劣勢，對應(yīng)于US 6952498的JP-A-2002-352220中所描述 了一種技術(shù)，該技術(shù)用于在當(dāng)來自兩個方向的照明施加于駕駛員時，獲取 駕駛員的面部部分的圖像，并且從所獲取到的圖像中去除反射的圖像，以 檢測視網(wǎng)膜反射的圖像。在以上中，獲取的圖像之一中的反射圖像所位于 的位置與另一個獲取的圖像中的反射圖像的位置不同，并且將以上的反射 圖像確定為與眼鏡的平滑反射平面相對應(yīng)的圖像。
以上JP-A-2002-352229中所描述的技術(shù)中，可以獲得沒有平滑反射平
面所反射的反射圖像的圖像，然而，可能無法去除諸如日光的環(huán)境光的影 響。

發(fā)明內(nèi)容
鑒于以上劣勢做出本發(fā)明。從而，本發(fā)明的目的是為了解決至少一個以上劣勢。
根據(jù)本發(fā)明的一個方面，提供了一種面部圖像獲取裝置，其包括照相 機(jī)、同軸照明器、離軸照明器，照明控制設(shè)備，圖像獲取控制設(shè)備和亮度 計算處理設(shè)備。照相機(jī)重復(fù)地獲取車輛乘坐者的面部的圖像。將同軸照明 器排列得大體上相對于照相機(jī)的光軸同軸。將離軸照明器排列得相對于照 相機(jī)的光軸非同軸。照明控制設(shè)備被配置為通過控制同軸照明器所發(fā)射的 光的光量和離軸照明器所發(fā)射的光的光量，來調(diào)整施加到乘坐者的面部的
光的照明條件。圖像獲取控制設(shè)備被配置為控制照相機(jī)IO在圖像獲取定時
獲取面部的圖像，其中該圖像獲取定時與通過照明控制設(shè)備來調(diào)整照明條 件的定時同步。亮度計算處理設(shè)備被配置為對以下面部圖像中的每一個執(zhí) 行亮度計算處理。照相機(jī)在第一照明條件下獲取亮瞳孔面部圖像，在該條 件中主要通過同軸照明器將光施加到面部。照相機(jī)在第二照明條件下獲取 暗瞳孔面部圖像，在該條件中主要通過離軸照明器將光施加到面部。照相 機(jī)在第三照明條件下獲取環(huán)境光面部圖像，在該條件中主要將乘坐者周圍 的環(huán)境光施加到面部。
根據(jù)本發(fā)明的另一個方面，還提供了用于車輛的面部圖像獲取裝置， 該裝置包括照相機(jī)、同軸照明器、離軸照明器、照明控制設(shè)備、圖像獲取 控制設(shè)備和亮度計算處理設(shè)備。照相機(jī)重復(fù)地獲取車輛乘坐者的面部的圖 像。將同軸照明器大體排列在照相機(jī)的光軸上。將離軸照明器大體排列在 照相機(jī)的光軸外。照明控制設(shè)備被配置為控制同軸照明器和離軸照明器， 用于調(diào)整施加到乘坐者的面部的光的照明條件。圖像獲取控制設(shè)備被配置
為控制照相機(jī)IO在圖像獲取定時獲取面部的圖像，其中該圖像獲取定時與
用于調(diào)整照明條件的照明控制設(shè)備的定時同步。亮度計算處理設(shè)備被配置 為使用亮瞳孔面部圖像、暗瞳孔面部圖像和環(huán)境光面部圖像來生成乘坐者 的面部的至少一個不同圖像。照相機(jī)在第一照明條件下獲取亮瞳孔面部圖 像，在該條件中面部接收主要由同軸照明器所發(fā)射的光。照相機(jī)在第二照 明條件下獲取暗瞳孔面部圖像，在該條件中面部接收主要由離軸照明器所 發(fā)射的光。照相機(jī)在第三照明條件下獲取環(huán)境光面部圖像，在該條件中面 部主要接收乘坐者周圍的環(huán)境光。


將從以下描述、附帶的權(quán)利要求書和附圖最好地理解本發(fā)明，以及其 中額外的目的、特征和優(yōu)勢，其中
圖1是示出了本發(fā)明的一個實施例的面部圖像獲取裝置的通用結(jié)構(gòu)的 方框圖2是示出了在車輛的乘客艙中的照相機(jī)和同軸照明器的排列的圖3是示出了將同軸照明器排列得大體上相對于照相機(jī)的光軸同軸， 以及將離軸照明器排列得大體上相對于照相機(jī)的光軸非同軸的狀態(tài)的圖4是示出了照相機(jī)獲取圖像的定時、開啟同軸照明器和非同軸照明 器的定時和輸出照相機(jī)所獲取的面部圖像的定時的定時圖表；
圖5A是示出了當(dāng)駕駛員不戴眼鏡時所獲取到的亮瞳孔面部圖像的圖； 圖5B是示出了當(dāng)駕駛員不戴眼鏡時所獲取到的暗瞳孔面部圖像的圖； 圖5C是示出了當(dāng)駕駛員不戴眼鏡時所獲取到的環(huán)境光面部圖像的圖； 圖6A是示出了當(dāng)駕駛員不戴眼鏡時的部分檢測圖像的圖； 圖6B是示出了當(dāng)駕駛員不戴眼鏡時的瞳孔圖像的圖； 圖7是示出了部分檢測圖像和瞳孔圖像的復(fù)合圖像的圖； 圖8是示出了當(dāng)用于獲取環(huán)境光面部圖像的圖像獲取時間被設(shè)定為大 概60psec時，照相機(jī)圖像獲取定時的定時圖表；
圖9A是示出了當(dāng)駕駛員戴著眼鏡時所獲取的亮瞳孔面部圖像的圖； 圖9B是示出了當(dāng)駕駛員戴著眼鏡時所獲取的暗瞳孔面部圖像的圖； 圖9C是示出了當(dāng)駕駛員戴著眼鏡時的所獲取的環(huán)境光面部圖像的圖； 圖10A是示出了沒有眼鏡反射的亮瞳孔面部圖像的圖； 圖10B是示出了沒有眼鏡反射的暗瞳孔面部圖像的圖； 圖10C是示出了沒有眼鏡反射和環(huán)境光的部分檢測圖像的圖； 圖IOD是示出了沒有眼鏡反射和環(huán)境光的瞳孔圖像的圖；以及 圖11是用于解釋面部圖像獲取裝置的操作的流程圖。
具體實施例方式
參考附圖描述了本發(fā)明的一個實施例。注意，本發(fā)明實施例描述了使 用本發(fā)明的面部圖像獲取裝置來獲取車輛的駕駛員的面部圖像。如圖l中所顯示，面部圖像獲取裝置包括照相機(jī)10、照相機(jī)設(shè)備20、 圖像ECU30、照明器控制電路40和60、同軸照明器50、離軸照明器70。 以上照相機(jī)設(shè)備20與照相機(jī)10是做為整體來提供的。
如圖2中所示的照相機(jī)IO用于獲取駕駛員或者車輛的乘坐者的面部圖 像，并且將該照相機(jī)提供在車輛的乘客艙之內(nèi)的儀器面板附近。照相機(jī)10 使用被配置為用于執(zhí)行高速成像的成像器，以便照相機(jī)10能夠基于大概 300jisec的圖像獲取時間或者用于獲取圖像的曝光時間，以及基于圖像的獲 取之間的大概30psec的圖像獲取時間間隔來獲取圖像。
圖1中顯示的照相機(jī)設(shè)備20包括圖像存儲器21和信號處理電路22。 圖像存儲器存儲照相機(jī)10所獲取的圖像的圖像信息。信號處理電路22讀 取存儲在圖像存儲器21中的圖像信息并且執(zhí)行稍后所述的亮度計算處理。 然后，信號處理電路22將亮度計算處理所生成的圖像信息輸出到圖像ECU 30。
圖像ECU30包括圖像處理電路31和圖像獲取控制電路32。圖像處理 電路31接收從照相機(jī)設(shè)備20輸出的圖像消息，并且執(zhí)行圖像處理，例如 用于基于以上圖像信息來檢測與駕駛員的面部相對應(yīng)的部分的處理以及用 于檢測駕駛員的注視的處理。圖像獲取控制電路32控制用于獲取照相機(jī)10 的圖像的獲取定時與照明器控制電路40、 60的照明條件的調(diào)整同步。換句 話說，圖像獲取控制電路32控制照相機(jī)10在與例如照明器控制電路40、 60用于調(diào)整照明條件的定時同步的定時獲取圖像。此外，圖像獲取控制電 路32控制照相機(jī)10的曝光時間和輸出增益。
照明器控制電路40控制同軸照明器50的開啟和關(guān)閉的定時，并且當(dāng) 同軸照明器50開啟時照明器控制電路40調(diào)整同軸照明器50所發(fā)射的光的 數(shù)量或者光強(qiáng)度。例如圖2、圖3中所顯示，將同軸照明器50排列得大體 上相對于透鏡光軸或者照相機(jī)10的光軸同軸。換句話說，將同軸照明器50 大體排列或者部署在照相機(jī)10的光軸上，從而同軸照明器50的照明軸大 體上在照相機(jī)10的光軸上。此外，照明器控制電路60控制離軸照明器70 的開啟和關(guān)閉定時，并且當(dāng)離軸照明器70開啟時調(diào)整離軸照明器70所發(fā) 射的光的光量。如圖3中所顯示，將離軸照明器70排列得相對于照相機(jī)10 的光軸非同軸，并且與照相機(jī)10的光軸相隔一定距離。換句話說，將離軸照明器70排列或者部署在照相機(jī)10的光軸之外，從而離軸照明器70的照 明軸大體上在照相機(jī)10的光軸之外。照明器控制電路40、 60對施加到駕 駛員的面部的光的照明條件進(jìn)行調(diào)整，同時該調(diào)整與照相機(jī)IO用于獲取圖 像的圖像獲取定時同步。
如圖3中所顯示，同軸照明器50和離軸照明器70配備有多個光源， 其中每個光源都能夠施加紅外線光或者具有中心波長范圍從850到950nm 的近紅外線光。例如，多個光源中的每一個可以是發(fā)光二極管(LED)，并 且照明器50和70中的每一個可以是具有多個LED的LED陣列。將多個光 源排列在乘坐者或者駕駛員的面部的縱向上，從而多個光源將光施加到駕 駛員的面部。換句話說，將多個光源排列在垂直的方向上，從而多個光源 被排列得大體上與駕駛員面部的縱向平行。
接著，描述了面部圖像獲取裝置的操作。圖4是照相機(jī)10的圖像獲取 定時、同軸照明器50的照明定時、離軸照明器70的照明定時和照相機(jī)10 用于輸出所獲取的面部圖像的輸出定時的定時表。面部圖像獲取裝置 首先致使照相機(jī)10在第一照明條件下獲取亮瞳孔面部圖像px，在該條件中 駕駛員的面部主要接收同軸照明器50所施加的光(見圖5A)。在實踐中， 駕駛員的面部可以接收除了同軸照明器50所發(fā)射的光之外其它的光，例如 駕駛員周圍的環(huán)境光(如日光)。此外，可以調(diào)整離軸照明器70以便離軸 照明器70在以上條件中同時發(fā)射具有極少光量的光。注意，將用于獲取亮 瞳孔面部圖像px的圖像獲取時間設(shè)置為大概30(Hisec (微秒)。當(dāng)亮瞳孔面 部圖像px的獲取結(jié)束時，將所獲取的圖像信息臨時存儲在圖像存儲器21 中。
在亮瞳孔面部圖像px的獲取結(jié)束大概30pec之后，致使照相機(jī)10在 第二照明條件下獲取暗瞳孔面部圖像py，在該條件中駕駛員的面部主要接
收離軸照明器70所發(fā)射的光(見圖5B)。在實踐中，駕駛員的面部可以接 收除了離軸照明器70所發(fā)射的光之外其它的光，例如駕駛員周圍的環(huán)境光。 注意，可以可替換地調(diào)整同軸照明器50以便致使同軸照明器50同時施加 極少光量的光。將用于獲取暗瞳孔面部圖像的圖像獲取時間設(shè)置為大概 300^isec，類似于亮瞳孔面部圖像px的圖像獲取時間。當(dāng)暗瞳孔面部圖像 py的獲取結(jié)束時，將暗瞳孔面部圖像py的所獲取到圖像信息臨時存儲到圖像存儲器21中。
然后，在暗瞳孔面部圖像py的獲取結(jié)束大概30pisec之后，致使照相機(jī) 10在第三照明條件下獲取環(huán)境光面部圖像pz，在該條件中駕駛員的面部主 要接收駕駛員周圍的環(huán)境光(見圖5C)。在以上條件中，可以調(diào)整同軸照 明器50和離軸照明器70以便照明器50、 70同時施加極少光量的光。將用 于獲取環(huán)境光面部圖像pz的圖像獲取時間設(shè)置為大概300pisec，類似于以 上亮瞳孔面部圖像px和暗瞳孔面部圖像py的圖像獲取時間。當(dāng)環(huán)境光面 部圖像pz的獲取結(jié)束時，將環(huán)境光面部圖像pz的圖像信息臨時存儲在圖像 存儲器21中。
注意，照相機(jī)10使用能夠執(zhí)行高速成像的成像器。從而，即便當(dāng)如上 時分地獲取面部圖像時，時分獲取期間面部圖像之中所獲取的駕駛員面部 的位置的差異是可忽略的。以上駕駛員的位置差異可以是由駕駛員的自發(fā) 運動和由于車輛的振動引起的駕駛員的運動所致使的。此外，因為用于獲 取以上面部圖像px、 py、 pz的圖像獲取定時之間的時滯非常少，所以環(huán)境 光隨著時間的改變也可忽略的，其中該改變影響亮瞳孔面部圖像px、暗瞳 孔面部圖像py和環(huán)境光面部圖像pz。如上，因為面部圖像px， py， pz是 在相對短的時間間隔內(nèi)獲取的，所以假設(shè)面部圖像px， py， pz是同時獲取 的。因此，用于獲取面部圖像px， py， pz的圖像獲取定時的順序并不限于 圖4中所示的示例性順序，并且必要時可以對該順序進(jìn)行修改。
當(dāng)如上獲取亮瞳孔面部圖像px、暗瞳孔面部圖像py和環(huán)境光面部圖像 pz時，信號處理電路22執(zhí)行計算處理或者亮度計算處理，用于使用臨時存 儲在以上面部圖像px、 py、 pz中的每一個的圖像存儲器21中的圖像信息 來計算亮瞳孔面部圖像px、暗瞳孔面部圖像py和環(huán)境光面部圖像pz中的 每一個的亮度。
執(zhí)行亮度計算處理以生成部分檢測圖像，部分檢測圖像是用于檢測與 圖像中的駕駛員的面部相對應(yīng)的部分的面部圖像。此外，執(zhí)行亮度計算處 理以生成瞳孔圖像，瞳孔圖像是用于檢測駕駛員的瞳孔的位置的面部圖像。 取決于駕駛員是否佩戴護(hù)目鏡，例如眼鏡，太陽鏡來執(zhí)行不同的處理。
在以上中，描述了使用亮瞳孔面部圖像px、暗瞳孔面部圖像py和環(huán)境 光面部圖像pz的亮度計算處理來生成部分檢測圖像。首先，如上，亮瞳孔面部圖像px是當(dāng)駕駛員的面部接收光時所獲取的面部圖像，其中該光的主 要成分是同軸照明器50所施加的光。從而，通過致使照相機(jī)10獲得在駕 駛員眼球的視網(wǎng)膜上反射的光的反射，在所獲得的圖像中特別明亮地顯示 眼球的瞳孔部分，或者獲取了 "紅眼效果"的圖像。此外，暗瞳孔面部圖 像py也是當(dāng)駕駛員的面部接收光時^f獲取的面部圖像，其中該光的主要成 分是離軸照明器70所施加的光。從而，照相機(jī)IO不能獲得在駕駛員的眼 球的視網(wǎng)膜上反射的光的反射，相對于亮瞳孔面部圖像px的情況沒有明亮 地顯示圖像中眼球的瞳孔部分。在上文中，將離軸照明器70的照明軸放置 在遠(yuǎn)離照相機(jī)10的透鏡光軸的位置，以便離軸照明器70不引起紅眼現(xiàn)象。 結(jié)果，亮瞳孔面部圖像px中的眼球的瞳孔部分的亮度大大地不同于暗瞳孔 面部圖像py中的瞳孔部分的亮度。此外，除了面部圖像px中的瞳孔部分 之外的其它部分的亮度通常等同于面部圖像py中的其它部分的亮度。
此外，環(huán)境光面部圖像pz也是當(dāng)駕駛員的面部接收光時所獲取的一種 面部圖像，其中該光的主要成分是環(huán)境光。從而，與亮瞳孔面部圖像px的 亮度和暗瞳孔面部圖像py的亮度相比，環(huán)境光面部圖像pz中的駕駛員的 面部部分的亮度相對較低。此外，在面部圖像pz中的面部周圍的背景的亮 度通常等同于面部圖像px、 py中的背景的亮度。
如上，三個面部圖像的每一個，例如亮瞳孔面部圖像px、暗瞳孔面部 圖像py和環(huán)境光面部圖像pz，包括亮度差異部分，其亮度不同于其它面部 圖像中的相應(yīng)的部分的亮度。結(jié)果，當(dāng)對亮瞳孔面部圖像px、暗瞳孔面部 圖像py和環(huán)境光面部圖像pz執(zhí)行面部圖像亮度計算處理時，生成了提取 的面部圖像。在上文中，通過從面部圖像僅僅提取亮度差異部分來產(chǎn)生提 取的面部圖像。由于以上，生成了沒有受到環(huán)境光(如日光)影響的部分 檢測圖像和瞳孔圖像。換句話說，從部分檢測圖像和瞳孔圖像去除或者限 制面部圖像上的環(huán)境光的不利影響。
圖6A是示出了部分檢測圖像的圖。在該部分檢測圖像中，去除了環(huán)境 光的影響，并且該圖像僅僅對應(yīng)于同軸照明器50和離軸照明器70所反射 的光。為了生成部分檢測圖像，首先將亮瞳孔面部圖像px的亮度與暗瞳孔 面部圖像py的亮度相加，，以生成加法面部圖像(px+py)。然后，通過將 環(huán)境光面部圖像pz的亮度翻倍來產(chǎn)生雙倍的面部圖像(2Xpz)。然后，從加法面部圖像(px+py)減去雙倍面部圖像(2Xpz)以生成部分檢測圖像 (px+py-2Xpz)。將面部圖像中每個像素的亮度相對于其它面部圖像中相應(yīng)
的像素的亮度，執(zhí)行亮度計算處理中的亮度的計算，例如加法和減法。例 如，在本實施例的亮度的以上計算處理中，生成了差異圖像。注意，由于 將亮瞳孔面部圖像px的亮度加到暗瞳孔面部圖像py的亮度而導(dǎo)致加法面 部圖像(px+py)中的環(huán)境光的亮度翻倍，所以環(huán)境光面部圖像pz的亮度 翻倍。
圖6B是示出了瞳孔圖像的圖。通過去除環(huán)境光的影響以及去除來自同 軸照明器50和離軸照明器70的反射的光的影響，產(chǎn)生瞳孔圖像。從而， 瞳孔圖像是與駕駛員的眼球的視網(wǎng)膜上反射的光的反射相對應(yīng)的圖像。通 過從亮瞳孔面部圖像的亮度px減去暗瞳孔面部圖像的亮度而生成瞳孔圖像 (px-py)。
當(dāng)如上生成部分檢測圖像和瞳孔圖像時，信號處理電路22每隔33msec (微秒)將部分檢測圖像的圖像信息和瞳孔圖像的圖像信息輸出到圖像 ECU 30。在以上時間中，例如，如圖7中所顯示，合成了減少的瞳孔圖像 并將其置于部分檢測圖像中的區(qū)域中，在該區(qū)域中沒有顯示駕駛員的面部， 從而合成了將要輸出到圖像ECU30的單個圖像信息。從而，減少了將要輸
出的圖像信息的數(shù)量。
通常，圖6B中所檢測的瞳孔部分在圖像中顯示為黑色和白色。然而， 在圖7中顯示的復(fù)合圖像中，可以對與圖6B中所檢測的瞳孔相對應(yīng)的部分 進(jìn)行上色(例如，上紅色)。由于以上，因為圖像ECU30使用具有彩色的 瞳孔的復(fù)合圖像來執(zhí)行圖像處理，所以檢測駕駛員的瞳孔變得更容易。
此外，如上，將用于獲取環(huán)境光面部圖像pz的圖像獲取時間，換句話 說，用于獲取環(huán)境光面部圖像pz的曝光時間設(shè)置為大概30(Hisec，類似于 用于獲取亮瞳孔面部圖像px和暗瞳孔面部圖像py的每一個的圖像獲取時 間。然而，可以可替換地將用于環(huán)境光面部圖像pz的圖像獲取時間設(shè)置為 大概60(Vsec (見圖8)。結(jié)果，當(dāng)生成部分檢測圖像時，因為如上用于面部 圖像pz的圖像獲取時間翻倍了，所以環(huán)境光面部圖像pz的亮度不需要翻倍。
描述了當(dāng)駕駛員戴著平滑反射平面，例如眼鏡，太陽鏡時對亮瞳孔面 部圖像px、暗瞳孔面部圖像py和環(huán)境光面部圖像pz執(zhí)行的另一個亮度計算處理。該亮度計算處理通過使用面部圖像px、 py、 pz中的每一個的圖像 信息來生成部分檢測圖像和瞳孔圖像，它們不受環(huán)境光和平滑反射平面所 反射的反射光的影響。
圖9A到圖9C是分別示出了當(dāng)駕駛員戴著眼鏡時所獲取到的亮瞳孔面 部圖像px、暗瞳孔面部圖像py和環(huán)境光面部圖像pz的圖。如圖9A、 9B 中所顯示，當(dāng)駕駛員戴著眼鏡時，亮瞳孔面部圖像px和暗瞳孔面部圖像py 顯示眼鏡所反射的反射光。結(jié)果，如果處將具有其中的反射光的亮瞳孔面 部圖像px和暗瞳孔面部圖像py用于以上亮度計算處理，那么反射光的不 利影響將發(fā)生到部分檢測圖像和瞳孔圖像上。從而，該部分的檢測和瞳孔 的位置的檢測可以變得難以執(zhí)行。
鑒于以上，當(dāng)駕駛員戴著眼鏡時，首先，生成亮瞳孔面部圖像pxpy和 暗瞳孔面部圖像pypx，它們不受眼鏡所反射的反射光的不利影響。換句話 說，從所獲取的面部圖像去除反射光的影響，以生成亮瞳孔面部圖像pxpy 和暗瞳孔面部圖像pypx。然后，使用以上亮瞳孔面部圖像pxpy、以上暗瞳 孔面部圖像pypx和環(huán)境光面部圖像pz來執(zhí)行亮度計算處理。
圖10A是示出了沒有眼鏡反射的亮瞳孔面部圖像pxpy的圖。圖10B 是沒有眼鏡反射的暗瞳孔面部圖像pypx的圖。為了生成亮瞳孔面部圖像 pxpy和暗瞳孔面部圖像pypx，首先，從圖9A中顯示的亮瞳孔面部圖像px 的亮度減去圖9B中顯示的暗瞳孔面部圖像py的亮度。然后，將減去的亮 度的值轉(zhuǎn)換為絕對值以生成絕對值面部圖像(lpx-pyl)。將絕對值面部圖像 (|px-py|)的亮度與亮瞳孔面部圖像px和暗瞳孔面部圖像py中的每一個亮 度相比，就指定了這樣一個范圍(反射范圍)，其相應(yīng)地顯示了眼鏡反射。
然后，用暗瞳孔面部圖像py中的部分的其它亮度來取代亮瞳孔面部圖 像px中的指定的反射范圍的亮度，其中該部分對應(yīng)于亮瞳孔面部圖像px 中的指定的反射范圍。通過用其它亮度取代該亮度，生成了圖10A中所顯 示的不受眼鏡的影響的亮瞳孔面部圖像pxpy。此外，用亮瞳孔面部圖像px 中的部分的進(jìn)一步其它亮度取代暗瞳孔面部圖像py中的指定反射范圍的亮 度，其中該部分對應(yīng)于暗瞳孔面部圖像py中的指定的反射范圍。通過用進(jìn) 一步其它亮度取代該亮度，生成了圖10B中所顯示的不受眼鏡的影響的暗 瞳孔面部圖像pypx。以上之后，將亮瞳孔面部圖像pxpy的亮度加到暗瞳孔面部圖像pypx 的亮度上，以生成加法面部圖像(pxpy+pypx)。將環(huán)境光面部圖像pz的亮 度翻倍，以生成雙倍的面部圖像(2Xpz)。從加法面部圖像(pxpy+pypx) 減去雙倍的面部圖像(2Xpz),以生成圖10C中所顯示的部分檢測圖像 (Pxpy+pypx-2Xpz)，其中該檢測圖像不受眼鏡反射以及環(huán)境光的影響。
圖IOD是示出了沒有眼鏡反射和環(huán)境光的瞳孔圖像的圖。從以上亮瞳 孔面部圖像pxpy的亮度減去以上暗瞳孔面部圖像pypx的亮度，以生成瞳 孔圖像(pxpy-pypy)。當(dāng)如上生成沒有眼鏡反射和環(huán)境光的部分檢測圖像和 瞳孔圖像時，信號處理電路22每隔33msec將部分檢測圖像的圖像信息和 瞳孔圖像的圖像信息輸出到ECU 30。
通常，因為車輛的乘客艙中相對比較暗，所以為了獲取車輛的乘坐者 的面部圖像，需要多個光源提供足夠多的照明器的光量。如果將光源排列 在乘坐者的面部的橫向上，眼鏡的平滑反射平面的反射可以在圖像中的橫 向中延伸。結(jié)果，亮瞳孔面部圖像px中的眼鏡反射可以與暗瞳孔面部圖像 py中的眼鏡反射重疊。如果一個面部圖像的眼鏡反射與另一個面部圖像的 眼鏡反射重疊，那么從面部圖像去除眼鏡反射會變得困難。在本實施例中， 將同軸照明器50的多個光源和離軸照明器70的多個光源排列在乘坐者的 面部的縱向上。從而，限制了面部圖像中的眼鏡反射在面部圖像的橫向中 的延伸，并且因此限制了亮瞳孔面部圖像px中的眼鏡反射與在暗瞳孔面部 圖像py中的眼鏡反射重疊。從而，從本實施例中的面部圖像去除眼鏡反射 變得更容易。在以上描述中， 一個面部圖像中的眼鏡反射與另一個面部圖 像中的眼鏡反射的重疊指示了例如，眼鏡反射在一個面部圖像中的所位于 的位置與眼鏡反射在另一個面部圖像中的位置相同。注意，即使當(dāng)光源被 排列在面部的縱向時，在一個面部圖像中眼鏡所反射的光源的反射圖像也 可以與另一個面部圖像中的眼鏡所反射的反射圖像重疊。然而，當(dāng)光源被 排列在以上縱向時，與該情況相比，不會導(dǎo)致在面部圖像上生成多個反射 圖像，其中光源被排列在面部的橫向上。結(jié)果，其優(yōu)勢是在面部圖像中發(fā) 射圖像更不易于彼此重疊。
接著，參考圖11中所顯示的流程表，描述包括亮度計算處理的面部圖 像獲取裝置的操作。首先，在步驟S1，激活圖像獲取控制電路32。在步驟S2，獲取亮瞳孔面部圖像px，并且將獲取到的面部圖像px的圖像信息存儲 在存儲器21中。在歩驟S3，獲取暗瞳孔面部圖像py，并且將獲取到的面 部圖像py的圖像信息存儲在存儲器21中。在步驟S4，獲取環(huán)境光面部圖 像pz，并且將獲取到的面部圖像pz的圖像信息存儲在存儲器21中。
在步驟S5，確定駕駛員是否戴著具有平滑反射平面的反射物體，例如 眼鏡、太陽鏡。例如，通過使用操作輸入模塊(未顯示)，預(yù)先致使駕駛員 輸入用于指示駕駛員是否戴著眼鏡的信號，并且在步驟S5中參考該輸入的 信號，以便做出確定。當(dāng)步驟S5做出肯定的確定時或者當(dāng)駕駛員戴著眼鏡 時，控制前進(jìn)到步驟S7。相反，當(dāng)做出否定的確定時或者當(dāng)駕駛員沒有戴 著眼鏡時，控制前進(jìn)到步驟S6。步驟S6到步驟S8對應(yīng)于亮度計算處理。
在步驟S6，生成圖6A、 6B中所顯示的部分檢測圖像和瞳孔圖像。在 步驟S7，生成圖IOA、 10B中所顯示的亮瞳孔面部圖像pxpy和暗瞳孔面部 圖像pypx。在步驟S8，使用亮瞳孔面部圖像pxpy、暗瞳孔面部圖像pypx 和環(huán)境光面部圖像pz來生成沒有眼鏡反射和環(huán)境光的部分檢測圖像和瞳孔 圖像。
在步驟S9，通過將在步驟S6或者S8生成的部分檢測圖像和瞳孔圖像 進(jìn)行組合，以合成或者生成單個復(fù)合圖像，并且將復(fù)合圖像輸出到圖像ECU 30。在步驟SIO，重設(shè)或者刪除臨時存儲在圖像存儲器21中的圖像信息， 并且控制前進(jìn)到步驟S1以重復(fù)以上處理。
如上，本實施例中描述的圖像獲取裝置執(zhí)行計算處理，用于計算三個 面部圖像中的每一個的亮度。如上，該三個面部圖像是亮瞳孔面部圖像px、 暗瞳孔面部圖像py和環(huán)境光面部圖像pz，它們具有彼此亮度不同的部分。 從而，通過使用三個面部圖像中的每一個的亮度，能夠獲得沒有眼鏡反射 和環(huán)境光(例如，日光)的部分檢測S像和瞳孔圖像。
如上已經(jīng)描述了本發(fā)明的一種實施例。然而，本發(fā)明不限于以上的實 施例?？梢栽诓幻撾x本發(fā)明的原理的前提下以各種方式修改本發(fā)明。
例如，可以使從同軸照明器50和離軸照明器70的光源所施加的光的 波長可變，以便當(dāng)波長改變時將該光施加到駕駛員的面部。在以上結(jié)構(gòu)中， 因為對于駕駛員的皮膚的不同顏色檢測到不同的亮度，所以可以在某種程 度上指定人的種族。如果人的種族指定了，那么更容易提取對應(yīng)于面部的部分。在以上的情況中，可以基于不同的波長的面部圖像，找到適用于可 靠地檢測與面部相對應(yīng)的部分的波長。此外，為了找到適合的波長，可以 參照亮度的邊緣硬度。此外，在本實施例中，將曝光時間設(shè)置為大概300^isec，并且將圖像獲 取時間間隔設(shè)置為大概3C^isec。然而，以上曝光時間和以上圖像獲取時間 間隔不限于以上值并且可以根據(jù)需要而改變。此外，在安裝在車輛上的應(yīng)用程序不需要駕駛員的瞳孔位置的情況下， 沒有必要每次獲取亮瞳孔面部圖像px、暗瞳孔面部圖像py和環(huán)境光面部圖 像pz。在其它可替換的情況中，響應(yīng)于來自其它應(yīng)用程序的命令信號，可 以省略或者停止成像。在以上實施例中，分別通過對應(yīng)的控制設(shè)備40和60來控制照明器50 和70中的每一個。然而，可替換地，可以通過單個公共控制設(shè)備來控制照 明器50和70兩者。本領(lǐng)域的技術(shù)人員很容易想到額外的優(yōu)勢和修改。因此本發(fā)明從廣義 上來說不限于所示和所述的具體的細(xì)節(jié)、代表性的裝置和說明性的實例。
權(quán)利要求
1、一種面部圖像獲取裝置，包括照相機(jī)(10)，其重復(fù)地獲取車輛乘坐者的面部的圖像；同軸照明器(50)，其被排列得大體上相對于所述照相機(jī)(10)的光軸同軸；離軸照明器(70)，其被排列得相對于所述照相機(jī)(10)的所述光軸非同軸；照明控制設(shè)備(40、60)，其被配置為通過控制所述同軸照明器(50)發(fā)射的光的光量和所述離軸照明器(70)發(fā)射的光的光量，來調(diào)整施加到所述乘坐者的所述面部的光的照明條件；圖像獲取控制設(shè)備(32)，其被配置為控制所述照相機(jī)(10)在圖像獲取定時獲取所述面部的所述圖像，所述定時與用于通過所述照明控制設(shè)備(40、60)來調(diào)整所述照明條件的定時同步；以及亮度計算處理設(shè)備(22)，其被配置為通過使用以下面部圖像來執(zhí)行亮度計算處理所述照相機(jī)(10)在第一照明條件下獲取的亮瞳孔面部圖像(px)，在所述第一照明條件下主要通過所述同軸照明器(50)將光施加到所述面部；所述照相機(jī)(10)在第二照明條件下獲取的暗瞳孔面部圖像(py)，在所述第二照明條件下主要通過所述離軸照明器(70)將光施加到所述面部；以及所述照相機(jī)(10)在第三照明條件下獲取的環(huán)境光面部圖像(pz)，在所述第三照明條件下主要將所述乘坐者周圍的環(huán)境光施加到所述面部。
2、 如權(quán)利要求1所述的面部圖像獲取裝置，進(jìn)一步包括 反射物體確定模塊(S5)，用于確定在所述照相機(jī)(10)的成像領(lǐng)域中是否存反射物體，所述反射物體具有平滑反射平面，其中所述亮度計算處理設(shè)備(22)執(zhí)行亮度減法處理，用于當(dāng)所述反射物體確定模塊(S5)確定所述反射物體存在時，從所述亮瞳孔面部圖像(px) 和所述暗瞳孔面部圖像(py)中的一個的亮度減去所述亮瞳孔面部圖像(px) 和所述暗瞳孔面部圖像(py)中的另一個的亮度；所述亮度計算處理設(shè)備(22)包括反射范圍指定模塊，用于基于所述 亮度減法處理的結(jié)果，指定所述亮瞳孔面部圖像(px)中的所述反射物體 的第一反射范圍，并且指定所述暗瞳孔面部圖像(py)中的所述反射物體 的第二反射范圍；以及所述亮度計算處理設(shè)備(22)執(zhí)行所述亮度計算處理，其中用所述暗瞳孔面部圖像(py)中與所述第一反射范圍相對應(yīng)的部分的亮度取代所述亮瞳孔面部圖像(px)中的所述第一反射范圍的亮度；以及用所述亮瞳孔面部圖像(px )中與所述第二反射范圍相對應(yīng)的部分的亮度取代所述暗瞳孔面部圖像(py)中的所述第二反射范圍的亮度。
3、 如權(quán)利要求1或者2所述的面部圖像獲取裝置，其中-所述同軸照明器(50)和所述離軸照明器(70)中的每一個都包括多個光源；以及將所述多個光源中的每一個排列在大體上垂直的方向上。
4、 如權(quán)利要求l所述的面部圖像獲取裝置，其中 所述亮度計算處理設(shè)備(22)執(zhí)行圖像生成處理，其中-基于經(jīng)過了所述亮度計算處理的所述面部圖像，生成部分檢測圖 像和瞳孔圖像，使用所述部分檢測圖像來檢測與所述乘坐者的所述面 部相對應(yīng)的部分，使用所述瞳孔圖像來檢測所述乘坐者的瞳孔的位置； 以及對所述部分檢測圖像和所述瞳孔圖像進(jìn)行組合以生成復(fù)合圖像；以及所述亮度計算處理設(shè)備(22)輸出所述圖像生成處理中生成的所述復(fù) 合圖像的圖像信息。
5、 如權(quán)利要求4所述的面部圖像獲取裝置，其中當(dāng)所述亮度計算處理 設(shè)備(22)生成所述復(fù)合圖像時，所述亮度計算處理設(shè)備(22)對所述瞳 孔圖像中與所述瞳孔相對應(yīng)的部分上色。
6、 如權(quán)利要求1或者2所述的面部圖像獲取裝置，其中 所述同軸照明器(50)和所述離軸照明器(70)中的每一個都包括多個光源；所述同軸照明器(50)和所述離軸照明器(70)大體上在水平方向上 彼此間隔開；以及將所述同軸照明器(50)的所述多個光源以及所述離軸照明器(70) 的所述多個光源排列在大體上與水平方向垂直的方向上。
7、 一種用于車輛的面部圖像獲取裝置，包括照相機(jī)(10)，其重復(fù)地獲取所述車輛的乘坐者的面部的圖像； 同軸照明器(50)，其被排列得大體在所述照相機(jī)(10)的光軸上； 離軸照明器(70)，其被排列得大體在所述照相機(jī)(10)的所述光軸外； 照明控制設(shè)備(40、 60)，其被配置為控制所述同軸照明器(50)和所述離軸照明器(70)，以便調(diào)整施加到所述乘坐者的所述面部的光的照明條件；圖像獲取控制設(shè)備(32)，其被配置為控制所述照相機(jī)10在圖像獲取 定時獲取所述面部的所述圖像，所述定時與所述照明控制設(shè)備(40、 60) 用于調(diào)整所述照明條件的定時同步；以及亮度計算處理設(shè)備(22)，其被配置為使用亮瞳孔面部圖像(px)、暗 瞳孔面部圖像(py)和環(huán)境光面部圖像(pz)來生成所述乘坐者的所述面 部的至少一個不同圖像，所述照相機(jī)(10)在第一照明條件下獲取所述亮 瞳孔面部圖像(px)，在所述第一照明條件下所述面部對主要通過所述同軸 照明器(50)所發(fā)射的光進(jìn)行接收，所述照相機(jī)(10)在第二照明條件下 獲取所述暗瞳孔面部圖像(py)，在所述第二照明條件下所述面部對主要通 過所述離軸照明器(70)所發(fā)射的光進(jìn)行接收，所述照相機(jī)(10)在第三照明條件下獲取所述環(huán)境光面部圖像(pz)，在所述在第三照明條件下所述面部主要對所述乘坐者周圍的環(huán)境光進(jìn)行接收。
8、 如權(quán)利要求7所述的面部圖像獲取裝置，其中所述同軸照明器(50)和所述離軸照明器(70)中的每一個都包括多 個光源所述同軸照明器(50)和所述離軸照明器(70)在水平方向上彼此間 隔開以及將所述同軸照明器(50)的所述多個光源以及所述離軸照明器(70) 的所述多個光源排列在與水平方向垂直的方向上。
9、 如權(quán)利要求7所述的面部圖像獲取裝置，其中 所述至少一個不同圖像包括部分檢測圖像和瞳孔圖像，所述部分檢測圖像用于檢測與所述乘坐者的所述面部相對應(yīng)的部分，所述瞳孔圖像用于 檢測所述乘坐者瞳孔的位置；以及將所述部分檢測圖像和所述瞳孔圖像進(jìn)行組合，以生成復(fù)合圖像。
全文摘要
面部圖像獲取裝置包括照相機(jī)(10)、同軸照明器(50)、離軸照明器(70)、照明控制設(shè)備(40、60)、圖像獲取控制設(shè)備(32)和亮度計算處理設(shè)備(22)。照相機(jī)(10)重復(fù)地獲取車輛的乘坐者的面部的圖像。照明控制設(shè)備(40、60)被配置為對施加到乘坐者的面部的光的照明條件進(jìn)行調(diào)整。圖像獲取控制設(shè)備(32)被配置為控制照相機(jī)10在圖像獲取的定時獲取面部的圖像，其中該定時與用于調(diào)整照明條件的定時同步。亮度計算處理設(shè)備(22)被配置為通過使用亮瞳孔面部圖像(px)、暗瞳孔面部圖像(py)和環(huán)境光面部圖像(pz)來執(zhí)行亮度計算處理。
文檔編號G06K9/20GK101295355SQ20081009571
公開日2008年10月29日 申請日期2008年4月24日 優(yōu)先權(quán)日2007年4月25日
發(fā)明者大見拓寬 申請人:株式會社電裝