用于確定駕駛員警覺性的系統(tǒng)和方法
【專利摘要】駕駛員警覺性檢測(cè)系統(tǒng)包括：配置成對(duì)車廂中的駕駛員的頭部所位于的區(qū)域進(jìn)行成像的成像單元；配置成從成像單元接收?qǐng)D像并確定駕駛員的頭部和眼睛的位置的圖像處理單元；以及配置成基于如圖像處理單元所輸出的駕駛員的頭部和眼睛的所確定的位置來確定駕駛員是處于警覺狀態(tài)還是處于非警覺狀態(tài)中并在駕駛員被確定為處于非警覺狀態(tài)中時(shí)向駕駛員輸出警告的警告單元。
【專利說明】用于確定駕駛員警覺性的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)要求通過引用被全部并入本文的于2011年3月25日提交的臨時(shí)申請(qǐng)61/467849的優(yōu)先權(quán)。本公開通常涉及駕駛員監(jiān)視系統(tǒng)的領(lǐng)域。更具體地，本公開涉及用于使用圖像處理來評(píng)估駕駛員的頭部位置和眼睛矢量以確定駕駛員的警覺性的系統(tǒng)和方法。
【背景技術(shù)】
[0002]駕駛員監(jiān)視系統(tǒng)變得越來越流行地被包括在車輛中，以便當(dāng)駕駛員被檢測(cè)到在非警覺狀態(tài)中時(shí)警告駕駛員。

【發(fā)明內(nèi)容】

[0003]根據(jù)一個(gè)示例性實(shí)施例，一種駕駛員警覺性檢測(cè)系統(tǒng)包括:配置成對(duì)車廂中的駕駛員的頭部所位于的區(qū)域進(jìn)行成像的成像單元；配置成從成像單元接收?qǐng)D像并確定駕駛員的頭部和眼睛的位置的圖像處理單元；以及配置成基于如圖像處理單元所輸出的駕駛員的頭部和眼睛的所確定的位置來確定駕駛員是在警覺狀態(tài)還是在非警覺狀態(tài)中并在駕駛員被確定為在非警覺狀態(tài)中時(shí)向駕駛員輸出警告的警告單元。
[0004]根據(jù)另一示例性實(shí)施例，一種檢測(cè)駕駛員警覺性的方法包括:對(duì)車廂中的駕駛員的頭部所位于的區(qū)域進(jìn)行成像，以獲得成像數(shù)據(jù)；基于成像數(shù)據(jù)確定駕駛員的頭部和眼睛的位置；基于駕駛員的頭部和眼睛的所確定的位置來確定駕駛員是在警覺狀態(tài)還是在非警覺狀態(tài)中；以及當(dāng)駕駛員被確定為在非警覺狀態(tài)中時(shí)向駕駛員輸出警告。
[0005]根據(jù)又一示例性實(shí)施例，一種存儲(chǔ)計(jì)算機(jī)程序代碼的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，當(dāng)該計(jì)算機(jī)程序代碼被計(jì)算機(jī)執(zhí)行時(shí)使計(jì)算機(jī)執(zhí)行下列功能:對(duì)車廂中的駕駛員的頭部所位于的區(qū)域進(jìn)行成像，以獲得成像數(shù)據(jù)；基于成像數(shù)據(jù)確定駕駛員的頭部和眼睛的位置；基于駕駛員的頭部和眼睛的所確定的位置來確定駕駛員是在警覺狀態(tài)還是在非警覺狀態(tài)中；以及當(dāng)駕駛員被確定為在非警覺狀態(tài)中時(shí)向駕駛員輸出警告。
【專利附圖】

【附圖說明】
[0006]根據(jù)下面的描述和在下面簡(jiǎn)要描述的附圖中所示的附隨的示例性實(shí)施例中，本發(fā)明的這些和其它特征、方面和優(yōu)點(diǎn)將變得清楚。
[0007]圖1是根據(jù)示例性實(shí)施例的駕駛員警覺性系統(tǒng)的攝像機(jī)放置和覆蓋范圍的示意圖。
[0008]圖2是根據(jù)示例性實(shí)施例的駕駛員警覺性系統(tǒng)的攝像機(jī)放置和覆蓋的示意圖。
[0009]圖3是根據(jù)示例性實(shí)施例的由駕駛員警覺性系統(tǒng)的攝像機(jī)捕捉的平面二維強(qiáng)度圖像和相應(yīng)的2.5維偽深度圖像。
[0010]圖4是根據(jù)示例性實(shí)施例的示出各種頭部運(yùn)動(dòng)的駕駛員的一系列圖像。
[0011]圖5是根據(jù)示例性實(shí)施例的多個(gè)駕駛員的頭部運(yùn)動(dòng)的圖像的合成。
[0012]圖6是根據(jù)示例性實(shí)施例的從圖5的合成圖像確定的高占有率感興趣區(qū)。[0013]圖7A是根據(jù)示例性實(shí)施例的示出攝像機(jī)坐標(biāo)系和面部特征檢測(cè)點(diǎn)的為駕駛員警覺性系統(tǒng)捕捉的圖像。
[0014]圖7B是示出主軸旋轉(zhuǎn)角的在圖7A的圖像中的駕駛員的頭部部的所檢測(cè)的輪廓。
[0015]圖7C是在被旋轉(zhuǎn)以使圖7B中的主軸與攝像機(jī)坐標(biāo)系對(duì)齊之后圖7A的圖像。
[0016]圖7D是在與攝像機(jī)坐標(biāo)網(wǎng)格對(duì)齊之后的圖7A的所捕捉的圖像的檢測(cè)到的面部區(qū)域。
[0017]圖8A-8C是根據(jù)示例性實(shí)施例的示出在各種頭部和眼睛運(yùn)動(dòng)下的面部結(jié)構(gòu)之間的幾何關(guān)系和用于在看車輛內(nèi)的預(yù)定點(diǎn)時(shí)記錄駕駛員注意力的校準(zhǔn)步驟的一系列圖像。
[0018]圖9是根據(jù)示例性實(shí)施例的駕駛員警覺性系統(tǒng)的圖形用戶界面的圖像。
[0019]圖10是根據(jù)示例性實(shí)施例的駕駛員警覺性系統(tǒng)的算法的流程圖。
[0020]圖11是根據(jù)示例性實(shí)施例的駕駛員警覺性系統(tǒng)。
【具體實(shí)施方式】
[0021]由于從日益復(fù)雜的通信和娛樂設(shè)備引起的駕駛員分心，單車輛和多車輛事故的發(fā)生率持續(xù)增加。駕駛員越來越多地被可起到各種設(shè)備(例如即時(shí)信使、攝像機(jī)、GPS導(dǎo)航系統(tǒng)、互聯(lián)網(wǎng)web瀏覽器、電影播放器和電子數(shù)據(jù)表分析工具)的作用的手機(jī)分心。這些應(yīng)用的誘惑引誘新手和有經(jīng)驗(yàn)的駕駛員不能有效地領(lǐng)會(huì)他們的車道位置、與其它車輛的距離、交通信號(hào)和道路邊界。
[0022]根據(jù)示例性實(shí)施例，一種駕駛員警覺性系統(tǒng)被提供來監(jiān)視駕駛員的警覺性，且如果確定駕駛員持續(xù)一段足夠的時(shí)間是分心的則發(fā)出警告。參考圖1和圖2，駕駛員警覺性系統(tǒng)使用安裝在儀器面板中或方向盤中的單目攝像機(jī)來計(jì)算駕駛員的頭部的位置和眼睛矢量。儀器面板安裝提供對(duì)乘客廂的較寬覆蓋，使駕駛員離開視場(chǎng)變得不可能。方向盤安裝強(qiáng)調(diào)駕駛員的面部特征，但可容易被手覆蓋。方向盤的旋轉(zhuǎn)被認(rèn)為是有意的操縱，表明駕駛員處于高度警覺。因此，駕駛員警覺性算法被禁用，直到返回到中央位置(例如，偏離垂直線+/-15 度)。
[0023]駕駛員的頭部和眼睛矢量的瞬時(shí)位置報(bào)告在短持續(xù)時(shí)間內(nèi)被聚集，并被用于使用駕駛員警覺性算法來確定駕駛員的注意力集中在哪里。如果駕駛員的注意力沒有足夠集中在已校準(zhǔn)的向前看的區(qū)域上，警告信號(hào)將被給予駕駛員。警告信號(hào)是不管駕駛員的注意力在哪里都能夠被傳送到駕駛員的信號(hào)。可發(fā)出各種各樣的音頻警告信號(hào)、視覺警告信號(hào)或觸覺警告信號(hào)，包括內(nèi)置式蜂鳴器或利用在座椅板上工作的機(jī)動(dòng)化凸輪通過駕駛員的座椅發(fā)送的振動(dòng)。
[0024]根據(jù)示例性實(shí)施例，駕駛員警覺性算法包括對(duì)圖像數(shù)據(jù)(例如752列x480行的10位強(qiáng)度圖像)進(jìn)行操作的兩個(gè)獨(dú)立的檢測(cè)模塊。第一檢測(cè)模塊區(qū)分開背景結(jié)構(gòu)與駕駛員的輪廓，并計(jì)算頭部旋轉(zhuǎn)(向左或向右轉(zhuǎn))和傾斜/搖擺(使耳朵接觸肩部)。第二檢測(cè)模塊識(shí)另IJ頭部俯仰、離可辨別的面部結(jié)構(gòu)(眼睛、鼻孔和嘴唇)的控制點(diǎn)以及點(diǎn)間度量的矩陣。這兩個(gè)模塊都使用高洛德明暗處理(Gouraud shading)模型或其它適當(dāng)?shù)拿靼堤幚砟Ｐ蛷膱D像強(qiáng)度梯度得到偽深度大小。參考圖3，這種技術(shù)將平面二維強(qiáng)度圖像轉(zhuǎn)換成2.5維偽深度圖像。到偽深度圖像的轉(zhuǎn)換便于隔離面部特征并丟棄不想要的背景雜波。2.5維偽深度圖像轉(zhuǎn)換是用于恢復(fù)相對(duì)于攝像機(jī)的焦平面陣列的景深的技術(shù)。[0025]參考圖4，在軀干保持基本上靜止的情況下，頭部的運(yùn)動(dòng)可通過旋轉(zhuǎn)軸來分類。繞著垂直軸的旋轉(zhuǎn)使頭部向左和向右轉(zhuǎn)。繞著從前到后定向的水平軸的旋轉(zhuǎn)使頭部?jī)A斜或搖擺到左邊或右邊。繞著從左到右定向的水平軸的旋轉(zhuǎn)使頭部向前和向后俯仰。
[0026]參考圖5和圖6，可通過形成多個(gè)駕駛員的頭部運(yùn)動(dòng)(例如，圖4所示的運(yùn)動(dòng))的合成來構(gòu)造高占有率感興趣區(qū)。根據(jù)一個(gè)示例性實(shí)施例，從在駕駛時(shí)間的組合的30分鐘期間對(duì)八個(gè)不同的駕駛員的研究來構(gòu)造高占有率感興趣區(qū)。高占有率感興趣區(qū)提供駕駛員的頭部位置的2維可能性并顯示被認(rèn)為是雜波的低概率區(qū)?？衫梅辞?sigmoidal)濾波器或其它適當(dāng)?shù)臑V波器來增強(qiáng)在高概率區(qū)內(nèi)的對(duì)比，允許優(yōu)化的強(qiáng)度梯度和在高度動(dòng)態(tài)照明條件下的魯棒的檢測(cè)結(jié)果。
[0027]參考圖7A-7D，主軸轉(zhuǎn)換用于使駕駛員的輪廓和面部控制點(diǎn)與攝像機(jī)的坐標(biāo)網(wǎng)格對(duì)齊。從與攝像機(jī)的坐標(biāo)網(wǎng)格對(duì)齊的檢測(cè)到的輪廓、面部控制點(diǎn)和點(diǎn)間度量(在檢測(cè)到的控制點(diǎn)之間的幾何關(guān)系)得到駕駛員的注意力狀態(tài)的分類。駕駛員的臉的圖像由攝像機(jī)(見圖7A和圖7C)捕捉。駕駛員的輪廓被檢測(cè)到，且相對(duì)于坐標(biāo)網(wǎng)格的傾斜被確定(見圖7B)。駕駛員注意力算法接著將所捕捉的圖像的檢測(cè)到的面部區(qū)旋轉(zhuǎn)成與攝像機(jī)的坐標(biāo)網(wǎng)格對(duì)齊(見圖7D)，而具有眼睛和嘴唇的對(duì)稱性。
[0028]使用主軸轉(zhuǎn)換進(jìn)行的與坐標(biāo)網(wǎng)格對(duì)齊使面部幾何結(jié)構(gòu)標(biāo)準(zhǔn)化并簡(jiǎn)化對(duì)有關(guān)面部特征的搜索。駕駛員的眼睛、鼻孔和嘴唇上的控制點(diǎn)被旋轉(zhuǎn)成共線的，減小了系統(tǒng)混淆眼睛與鼻孔的可能性。在沒有主軸轉(zhuǎn)換的情況下，點(diǎn)間度量的矩陣可能包含來自失配的面部控制點(diǎn)的不可靠的測(cè)量結(jié)果。
[0029]參考圖8A-8C，示出在面部結(jié)構(gòu)之間的幾何關(guān)系和用于記錄駕駛員看車輛內(nèi)的預(yù)定點(diǎn)時(shí)的注意力的校準(zhǔn)步驟的例子。分類訓(xùn)練過程用于配準(zhǔn)在特定的車輛內(nèi)的幾個(gè)預(yù)定的點(diǎn)(例如，A立柱、儀器面板、外部反射鏡、后視鏡、風(fēng)擋、乘客地板、中央控制臺(tái)、防滑輪胎和空調(diào)控制器)處的駕駛員的頭部位置和眼睛矢量。點(diǎn)間度量的矩陣被保存并用于駕駛員的注意力狀態(tài)的查找表分類。圖8A是示出處于完全警覺狀態(tài)中的駕駛員的圖像，圖SB是示出處于注意力部分轉(zhuǎn)移的狀態(tài)中的駕駛員的圖像，而圖8C示出處于注意力完全轉(zhuǎn)移的狀態(tài)中的駕駛員的圖像?；跈z測(cè)到的狀態(tài)，將適當(dāng)?shù)木嫣峁┙o駕駛員。例如，如果檢測(cè)到駕駛員在注意力部分轉(zhuǎn)移的狀態(tài)中，則例如通過第一聲音水平的可聽警告將輕微的警告提供給駕駛員，且當(dāng)檢測(cè)到駕駛員在注意力完全轉(zhuǎn)移的狀態(tài)中時(shí)，例如通過在強(qiáng)度上比第一聲音水平大(例如，在聲音水平上更大20dB)的第二聲音水平的可聽警告將大聲的警告提供給駕駛員，由此，在這兩種情況下，也可將蜂鳴器或其它類型的觸覺警告提供給駕駛員(針對(duì)注意力完全轉(zhuǎn)移的狀態(tài)，振動(dòng)較大)。
[0030]參考圖9，示出了示例性界面和警告尺度。駕駛員注意力狀態(tài)的瞬時(shí)分類被積累在I秒持續(xù)時(shí)間的移動(dòng)平均濾波器中。與向前看的位置的角偏差和該角偏差的持續(xù)時(shí)間決定了是否向駕駛員發(fā)出警告。這個(gè)警告的敏感度被調(diào)節(jié)以避免過多的錯(cuò)誤積極性，過多的錯(cuò)誤積極性可能減少駕駛員的敏感度和使駕駛員惱怒并減小駕駛員警覺性系統(tǒng)的有效性。
[0031]參考圖10，根據(jù)示例性實(shí)施例示出了駕駛員警覺性算法的流程圖。在步驟101中由圖像幀預(yù)處理器捕捉圖像。接著在步驟1020中使用預(yù)先校準(zhǔn)的高占有率感興趣區(qū)來處理圖像。在步驟1030中利用背景濾波器處理在高占有率感興趣外部的圖像的部分。在步驟1040中利用前景濾波器處理在高占有率感興趣內(nèi)部的圖像的部分。在被濾波之后，圖像接著被處理以檢測(cè)頭部位置和面部控制點(diǎn)的位置。
[0032]在步驟1045中該算法檢測(cè)頭部并描畫頭部的邊界的輪廓。接著在步驟1050中繞著主軸旋轉(zhuǎn)頭部以使它與攝像機(jī)的坐標(biāo)系對(duì)齊，由此旋轉(zhuǎn)矩陣1052被創(chuàng)建。在步驟1055中接著分析頭部對(duì)稱性以確定駕駛員的頭部相對(duì)于面向前面方位的方位。
[0033]在步驟1060中該算法還從所捕捉的圖像檢測(cè)面部控制點(diǎn)。接著在步驟1065中旋轉(zhuǎn)面部控制點(diǎn)以匹配頭部繞著主軸的旋轉(zhuǎn)(使用旋轉(zhuǎn)矩陣1052)。接著在步驟1070中使用點(diǎn)間度量來分析面部控制點(diǎn)以確定駕駛員的臉相對(duì)于面向前面方位的方位。點(diǎn)間度量，或控制點(diǎn)之間的關(guān)系，可包括連接控制點(diǎn)的一組矢量(例如，在瞳孔、鼻孔、嘴角或其它適當(dāng)?shù)目刂泣c(diǎn)的任何組合之間的矢量)。
[0034]在步驟1055和步驟1070中，可將幀間度量用于確定頭部的位置隨著時(shí)間(即，在圖像幀之間)的變化。當(dāng)駕駛員的頭部移動(dòng)時(shí)，控制點(diǎn)改變位置。相應(yīng)地，在控制點(diǎn)之間的矢量偏移(見例如圖8A-8C)。為了跟蹤所捕捉的圖像幀之間的運(yùn)動(dòng)，可測(cè)量在矢量之間的角。例如，可分析在控制點(diǎn)之間的矢量的內(nèi)角的變化以跟蹤變化的頭部位置。
[0035]在步驟1075中，使用頭部和面部控制點(diǎn)的位置，該算法對(duì)駕駛員的注意力狀態(tài)進(jìn)行分類。接著在步驟1080中基于持續(xù)時(shí)間和駕駛員與面向前面方向的偏差的大小來分配警告狀態(tài)。警告狀態(tài)可用于激活向駕駛員的視覺、音頻或觸覺警告信號(hào)。警告狀態(tài)和所捕捉的圖像也可被輸出到圖形用戶界面。
[0036]駕駛員警覺性算法基于駕駛員特性(頭部位置和眼睛矢量)而不是車輛相對(duì)于道路車道標(biāo)志正做什么(車道偏離警告系統(tǒng))來確定駕駛員的注意力狀態(tài)。駕駛員警覺性算法具有在他的車輛從道路邊界偏離之前警告不注意的駕駛員的優(yōu)點(diǎn)。駕駛員警覺性算法使用在夜間和高動(dòng)態(tài)范圍狀態(tài)(正通過具有迎面而來的車輛頭部燈的隧道)期間比外部感測(cè)更魯棒的內(nèi)部視覺感測(cè)。
[0037]參考圖11，根據(jù)示例性實(shí)施例示出了駕駛員警覺性系統(tǒng)的流程圖。成像單元1110對(duì)車廂中的駕駛員的頭部所位于的區(qū)域進(jìn)行成像。成像單元1110可包括例如安裝在車輛的儀器面板中或方向盤中的單目攝像機(jī)。圖像處理單元1120從成像單元1110接收?qǐng)D像并確定駕駛員的頭部和眼睛的位置。圖像處理單元1120可包括如上所述的兩個(gè)檢測(cè)模塊。警告單元1130基于如圖像處理單元1120所輸出的駕駛員的頭部和眼睛的所確定的位置來確定駕駛員是在警覺狀態(tài)還是在非警覺狀態(tài)中。當(dāng)駕駛員被確定為在非警覺狀態(tài)中時(shí)，警告單元1130向駕駛員輸出警告。還提供了禁用單元1140，其當(dāng)駕駛員警覺性信號(hào)被接收到時(shí)可暫時(shí)禁用駕駛員警覺性檢測(cè)系統(tǒng)。駕駛員警覺性信號(hào)由方向盤的旋轉(zhuǎn)位置觸發(fā)。如果方向盤已經(jīng)從中央位置旋轉(zhuǎn)了至少預(yù)定的量，則駕駛員警覺性信號(hào)將被發(fā)送到禁用單元1140。禁用單元1140將接著防止警告單元1130向駕駛員輸出警告(因?yàn)榉较虮P的旋轉(zhuǎn)被認(rèn)為是表明高度警覺的有意操縱)。另一方面，當(dāng)方向盤返回到基本上中央的位置時(shí)，駕駛員警覺性信號(hào)將停止。如果基于如圖像處理單元1120所輸出的駕駛員的頭部和眼睛的位置來確定駕駛員在非警覺狀態(tài)中，警告單元1130將接著發(fā)出警告。禁用單元1140可在任何適當(dāng)?shù)臅r(shí)間干擾如圖11所示的任何其它單元的輸出。
[0038]已參考示例性實(shí)施例描述了本公開，然而，本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，可在形式和細(xì)節(jié)上作出改變而不偏離所公開的主題的精神和范圍。例如，雖然不同的示例性實(shí)施例可被描述為包括提供一個(gè)或多個(gè)益處的一個(gè)或多個(gè)特征，但是設(shè)想到，在所述示例性實(shí)施例中或在其它可選的實(shí)施例中所述特征可彼此交換或可替代地彼此組合。因?yàn)楸竟_的技術(shù)相對(duì)復(fù)雜，不是該技術(shù)中的所有變化都是可預(yù)見到的。參考示例性實(shí)施例描述的本公開明顯被預(yù)期盡可能寬。例如，除非另外特別提到，列舉單個(gè)特定的元件的示例性實(shí)施例也包括多個(gè)這樣的特定元件。
[0039]示例性實(shí)施例可包括程序產(chǎn)品，該程序產(chǎn)品包括用于承載或具有存儲(chǔ)在其上的機(jī)器可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)的計(jì)算機(jī)或機(jī)器可讀介質(zhì)。例如，駕駛員監(jiān)視系統(tǒng)可以是計(jì)算機(jī)驅(qū)動(dòng)的。在附圖的方法中示出的示例性實(shí)施例可由包括用于承載或具有存儲(chǔ)在其上的機(jī)器可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)的計(jì)算機(jī)或機(jī)器可讀介質(zhì)的程序產(chǎn)品控制。這樣的計(jì)算機(jī)或機(jī)器可讀介質(zhì)可以是可由通用或?qū)Ｓ糜?jì)算機(jī)或具有處理器的其它機(jī)器訪問的任何可用的介質(zhì)。作為例子，這樣的計(jì)算機(jī)或機(jī)器可讀介質(zhì)可包括RAM、ROM、EPR0M、EEPR0M、CD-ROM或其它光盤存儲(chǔ)器、磁盤存儲(chǔ)器或其它磁性存儲(chǔ)設(shè)備或可用于承載或存儲(chǔ)以機(jī)器可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)的形式的期望程序代碼并可由通用或?qū)Ｓ糜?jì)算機(jī)或具有處理器的其它機(jī)器訪問的任何其它介質(zhì)。上述介質(zhì)的組合也被包括在計(jì)算機(jī)或機(jī)器可讀介質(zhì)的范圍內(nèi)。計(jì)算機(jī)或機(jī)器可執(zhí)行指令包括例如使通用計(jì)算機(jī)、專用計(jì)算機(jī)或?qū)Ｓ锰幚頇C(jī)器執(zhí)行某個(gè)功能或某組功能的指令和數(shù)據(jù)。本發(fā)明的軟件實(shí)現(xiàn)可使用標(biāo)準(zhǔn)編程技術(shù)以用于完成各種連接步驟、處理步驟、比較步驟和判定步驟的基于規(guī)則的邏輯和其它邏輯來實(shí)現(xiàn)。
[0040]還重要的是注意到，如在優(yōu)選和其它示例性實(shí)施例中示出的系統(tǒng)的元件的結(jié)構(gòu)和布置僅僅是例證性的。雖然在本公開中僅詳細(xì)描述了某個(gè)數(shù)量的實(shí)施例，審核本公開的本領(lǐng)域技術(shù)人員將容易認(rèn)識(shí)到，很多修改是可能的(例如，各種元件的尺寸、大小、結(jié)構(gòu)、形狀和比例、參數(shù)的值、安裝布置、材料的使用、顏色、方位等中的變化)，而實(shí)質(zhì)上不偏離所述主題的新穎教導(dǎo)和優(yōu)點(diǎn)。例如，被示為整體地形成的元件可由多個(gè)零件構(gòu)成，或被示為多個(gè)零件的元件可整體地形成，組件的操作可反轉(zhuǎn)或以另外方式變化，系統(tǒng)的結(jié)構(gòu)和/或構(gòu)件或連接器或其它元件的長(zhǎng)度或?qū)挾瓤筛淖?，在元件之間提供的調(diào)節(jié)或附著位置的性質(zhì)或數(shù)量可改變。應(yīng)注意，系統(tǒng)的元件和/或組件可由提供足夠的強(qiáng)度或耐久性的各種材料中的任一種構(gòu)造。相應(yīng)地，所有這樣的修改被預(yù)期包括在本公開的范圍內(nèi)。任何過程或方法步驟的順序或次序可改變或根據(jù)可替代的實(shí)施例重新排序?？稍趦?yōu)選和其它示例性實(shí)施例的設(shè)計(jì)、操作條件和布置中做出其它替換、修改、改變和省略，而不偏離本主題的精神。
【權(quán)利要求】
1.一種駕駛員警覺性檢測(cè)系統(tǒng)，包括: 成像單元，其被配置成對(duì)車廂中的駕駛員的頭部所位于的區(qū)域進(jìn)行成像； 圖像處理單元，其被配置成從所述成像單元接收?qǐng)D像并確定所述駕駛員的頭部和眼睛的位置；以及 警告單元，其被配置成基于所述圖像處理單元所輸出的所述駕駛員的頭部和眼睛的所確定的位置來確定所述駕駛員是處于警覺狀態(tài)還是處于非警覺狀態(tài)中，并在所述駕駛員被確定為處于所述非警覺狀態(tài)中時(shí)向所述駕駛員輸出警告。
2.根據(jù)權(quán)利要求1所述的駕駛員警覺性檢測(cè)系統(tǒng)，還包括: 禁用單元，其被配置成當(dāng)駕駛員警覺性信號(hào)被接收到時(shí)暫時(shí)禁用所述駕駛員警覺性檢測(cè)系統(tǒng)。
3.根據(jù)權(quán)利要求2所述的駕駛員警覺性檢測(cè)系統(tǒng)，其中，在車輛的方向盤旋轉(zhuǎn)了至少預(yù)定的旋轉(zhuǎn)量時(shí)，輸出所述駕駛員警覺性信號(hào)。
4.根據(jù)權(quán)利要求3所述的駕駛員警覺性檢測(cè)系統(tǒng)，其中，所述預(yù)定的旋轉(zhuǎn)量對(duì)應(yīng)于偏離所述方向盤的中心位置+/-15度。
5.根據(jù)權(quán)利要求3所述的駕駛員警覺性檢測(cè)系統(tǒng)，其中，當(dāng)所述駕駛員警覺性信號(hào)正被輸出時(shí)，所述駕駛員警覺性信號(hào)在所述車輛的所述方向盤返回到基本上中心位置時(shí)被停止輸出。
6.根據(jù)權(quán)利要求1所述的駕駛員警覺性檢測(cè)系統(tǒng)，其中，所述成像單元包括安裝在車輛的儀器面板和所述車輛的方向盤中的至少一個(gè)中的單目攝像機(jī)。
7.根據(jù)權(quán)利要求1所述的駕駛員警覺性檢測(cè)系統(tǒng)，其中，當(dāng)所述駕駛員的頭部的所確定的位置被確定為不在所述車廂內(nèi)的預(yù)定的駕駛員頭部區(qū)域內(nèi)時(shí)或當(dāng)確定所述駕駛員的眼睛的轉(zhuǎn)向角度到達(dá)一定程度以致未觀察車輛的前方的區(qū)域時(shí)，所述圖像處理單元確定所述駕駛員處于所述非警覺狀態(tài)中。
8.根據(jù)權(quán)利要求1所述的駕駛員警覺性檢測(cè)系統(tǒng)，其中，當(dāng)所述圖像處理單元所輸出的所述駕駛員的頭部的所確定的位置持續(xù)至少第一預(yù)定時(shí)間量不在預(yù)定的頭部位置區(qū)內(nèi)時(shí)或當(dāng)所述駕駛員的眼睛的所確定的位置持續(xù)至少第二預(yù)定時(shí)間量不在所述車廂內(nèi)的預(yù)定的眼睛位置區(qū)內(nèi)時(shí)，所述警告單元確定所述駕駛員處于所述非警覺狀態(tài)中。
9.根據(jù)權(quán)利要求1所述的駕駛員警覺性檢測(cè)系統(tǒng)，其中，所述警告單元輸出的警告對(duì)應(yīng)于內(nèi)置式蜂鳴器或通過所述駕駛員的座椅發(fā)送的振動(dòng)中的一個(gè)。
10.根據(jù)權(quán)利要求1所述的駕駛員警覺性檢測(cè)系統(tǒng)，其中，所述圖像處理單元包括: 第一檢測(cè)模塊，其將背景結(jié)構(gòu)與所述駕駛員的輪廓區(qū)分開，并計(jì)算所述駕駛員的頭部的旋轉(zhuǎn)和所述駕駛員的頭部的傾斜/搖擺；以及 第二檢測(cè)模塊，其區(qū)分所述駕駛員的頭部的俯仰，根據(jù)所述駕駛員的頭部的可辨別的面部結(jié)構(gòu)來計(jì)算控制點(diǎn)，并計(jì)算關(guān)于所述駕駛員的頭部的點(diǎn)間度量的矩陣。
11.根據(jù)權(quán)利要求10所述的駕駛員警覺性檢測(cè)系統(tǒng)，其中，所述可辨別的面部結(jié)構(gòu)包括眼睛、鼻孔和嘴唇中的至少一個(gè)。
12.根據(jù)權(quán)利要求10所述的駕駛員警覺性檢測(cè)系統(tǒng)，其中，所述第一檢測(cè)模塊和所述第二檢測(cè)模塊利用高洛德明暗處理模型來區(qū)分開所述駕駛員的頭部的運(yùn)動(dòng)和位置。
13.—種檢測(cè)駕駛員警覺性的方法，包括:對(duì)車廂中的駕駛員的頭部所位于的區(qū)域進(jìn)行成像，以獲得成像數(shù)據(jù)； 基于所述成像數(shù)據(jù)來確定所述駕駛員的頭部和眼睛的位置； 基于所述駕駛員的頭部和眼睛的所確定的位置來確定所述駕駛員是處于警覺狀態(tài)還是處于非警覺狀態(tài)中；以及 當(dāng)所述駕駛員被確定為處于所述非警覺狀態(tài)中時(shí)向所述駕駛員輸出警告。
14.根據(jù)權(quán)利要求13所述的方法，還包括: 當(dāng)駕駛員警覺性信號(hào)被接收到時(shí)暫時(shí)禁止警告的輸出。
15.根據(jù)權(quán)利要求14所述的方法，還包括: 檢測(cè)車輛的方向盤的旋轉(zhuǎn)， 其中，在所述車輛的方向盤旋轉(zhuǎn)了至少預(yù)定的旋轉(zhuǎn)量時(shí)，輸出所述駕駛員警覺性信號(hào)。
16.根據(jù)權(quán)利要求15所述的方法，其中，所述預(yù)定的旋轉(zhuǎn)量對(duì)應(yīng)于偏離所述方向盤的中心位置+/-15度。
17.根據(jù)權(quán)利要求15所述的方法，其中，當(dāng)所述駕駛員警覺性信號(hào)正被輸出時(shí)，在所述車輛的所述方向盤返回到基本上中心位置時(shí)停止輸出所述駕駛員警覺性信號(hào)。
18.根據(jù)權(quán)利要求1·3所述的方法，其中，由安裝在車輛的儀器面板和所述車輛的方向盤中的至少一個(gè)中的單目攝像機(jī)獲得所述成像數(shù)據(jù)。
19.根據(jù)權(quán)利要求13所述的方法，其中，當(dāng)所述駕駛員的頭部的所確定的位置被確定為不在所述車廂內(nèi)的預(yù)定的駕駛員頭部區(qū)域內(nèi)時(shí)或當(dāng)確定所述駕駛員的眼睛的轉(zhuǎn)向角度到達(dá)一定程度以致未觀察車輛的前方的區(qū)域時(shí)，確定所述駕駛員處于所述非警覺狀態(tài)中。
20.根據(jù)權(quán)利要求13所述的方法，其中，當(dāng)圖像處理單元所輸出的所述駕駛員的頭部的所確定的位置持續(xù)至少第一預(yù)定時(shí)間量不在預(yù)定的頭部位置區(qū)內(nèi)時(shí)或當(dāng)所述駕駛員的眼睛的所確定的位置持續(xù)至少第二預(yù)定時(shí)間量不在所述車廂內(nèi)的預(yù)定的眼部位置區(qū)內(nèi)時(shí)，確定所述駕駛員處于所述非警覺狀態(tài)中。
21.根據(jù)權(quán)利要求13所述的方法，其中，所述警告對(duì)應(yīng)于內(nèi)置式蜂鳴器或通過所述駕駛員的座椅發(fā)送的振動(dòng)中的一個(gè)。
22.根據(jù)權(quán)利要求13所述的方法，其中，確定所述駕駛員的頭部的位置包括: 將背景結(jié)構(gòu)與所述駕駛員的輪廓區(qū)分開，并計(jì)算所述駕駛員的頭部的旋轉(zhuǎn)和所述駕駛員的頭部的傾斜/搖擺；以及 區(qū)分所述駕駛員的頭部的俯仰，根據(jù)所述駕駛員的頭部的可辨別的面部結(jié)構(gòu)來計(jì)算控制點(diǎn)，并計(jì)算關(guān)于所述駕駛員的頭部的點(diǎn)間度量的矩陣。
23.根據(jù)權(quán)利要求22所述的方法，其中，所述可辨別的面部結(jié)構(gòu)包括眼睛、鼻孔和嘴唇中的至少一個(gè)。
24.一種存儲(chǔ)計(jì)算機(jī)程序代碼的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，當(dāng)所述計(jì)算機(jī)程序代碼被計(jì)算機(jī)執(zhí)行時(shí)使所述計(jì)算機(jī)執(zhí)行下列功能: 對(duì)車廂中的駕駛員的頭部所位于的區(qū)域進(jìn)行成像，以獲得成像數(shù)據(jù)； 基于所述成像數(shù)據(jù)來確定所述駕駛員的頭部和眼睛的位置； 基于所述駕駛員的頭部和眼睛的所確定的位置來確定所述駕駛員是處于警覺狀態(tài)還是處于非警覺狀態(tài)中；以及 當(dāng)所述駕駛員被確定為處于所述非警覺狀態(tài)中時(shí)向所述駕駛員輸出警告。
25.根據(jù)權(quán)利要求24所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，還使所述計(jì)算機(jī)執(zhí)行下列功能: 當(dāng)駕駛員警覺性信號(hào)被接收到時(shí)暫時(shí)禁止警告的輸出。
26.根據(jù)權(quán)利要求24所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，還使所述計(jì)算機(jī)執(zhí)行下列功能: 檢測(cè)車輛的方向盤的旋轉(zhuǎn)， 其中，在所述車輛的方向盤旋轉(zhuǎn)了至少預(yù)定的旋轉(zhuǎn)量時(shí)，輸出所述駕駛員警覺性信號(hào)。
27.根據(jù)權(quán)利要求26所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其中，所述預(yù)定的旋轉(zhuǎn)量對(duì)應(yīng)于偏離所述方向盤的中心位置+ /-15度。
【文檔編號(hào)】B60K28/06GK103442925SQ201280015051
【公開日】2013年12月11日 申請(qǐng)日期:2012年3月23日 優(yōu)先權(quán)日:2011年3月25日
【發(fā)明者】G·G·尚普 申請(qǐng)人:Tk控股公司