專利名稱:使駕駛員與環(huán)境感測結(jié)合的車輛安全性系統(tǒng)的制作方法
技術領域:
本發(fā)明涉及用于改進車輛安全性的設備和方法。
背景技術:
車輛安全性是受極大關注和重要的領域。因此,改進車輛安全性的方法和設備將有極大價值。
發(fā)明內(nèi)容
車輛安全性,能夠通過改進操作員的車輛環(huán)境內(nèi)危險意識(awareness)而增加。然而,嘗試把所有可能的危險向車輛操作員報警,將導致過量的報警,引起該系統(tǒng)變得極易使自身不知所措,更有可能被忽視或不用。如果危險警告涉及車輛操作員意識到之外的危險,則該警告的有用性被增強。作為例子的車輛安全性系統(tǒng),包括環(huán)境傳感器系統(tǒng)、車輛操作員監(jiān)視器(如,駕駛員監(jiān)視器)、注意力評估模塊和警告系統(tǒng)。該注意力評估模塊比較該環(huán)境內(nèi)的危險(由環(huán)境傳感器系統(tǒng)檢測)與駕駛員意識,該駕駛員意識可以用凝視蹤跡估計,以確定哪些危險駕駛員已覺察。通過有選擇地提供駕駛員沒有看到的、或者已知是沒意識到的危險的危險警告,危險報警的數(shù)量能夠被極大地降低。通過降低報警的數(shù)量,設備的有用性極大地被增強。沒有不需要的報警使發(fā)出的報警對駕駛員更有用,并使駕駛員較小可能不用或忽視該系統(tǒng)。因此,改進的意外防止系統(tǒng),能夠用監(jiān)測駕駛員的面向內(nèi)傳感器和監(jiān)測車輛環(huán)境的面向外傳感器的結(jié)合而被提供。在本文中,面向內(nèi)傳感器可以被指向駕駛員,而面向外傳感器被指向車輛的外部環(huán)境。車輛操作員可以是陸地車輛諸如小汽車的駕駛員,并為簡單起見,用語“駕駛員”在下面的例子中被使用。但是,本發(fā)明的例子也包含用于其他交通エ具,諸如船、航空器如此等等的車輛安全性系統(tǒng)。作為例子的用于輔助車輛的安全操作的設備,包含檢測車輛環(huán)境內(nèi)危險的環(huán)境傳感器系統(tǒng);監(jiān)測駕駛員并提供駕駛員意識數(shù)據(jù)(諸如有關注意力焦點的數(shù)據(jù))的駕駛員監(jiān)視器;以及注意力評估模塊,它通過比較危險數(shù)據(jù)與駕駛員意識數(shù)據(jù),識別被覺察(如,看見的)危險和未被覺察危險。該被覺察危險,是那些駕駛員意識到的,或能夠根據(jù)駕駛員意識數(shù)據(jù)被合理地假設或推定駕駛員意識到的危險。危險數(shù)據(jù)可以包含作為時間函數(shù)的具體危險的危險位置,諸如有時間標記的(time-stamped)危險位置數(shù)據(jù)。對危險預測的位置數(shù)據(jù)也能夠被使用。駕駛員意識數(shù)據(jù)包含有關駕駛員意識焦點方向的數(shù)據(jù),諸如凝視蹤跡。尤其是,凝視蹤跡的確定,允許被覺察和未被覺察危險的推斷或識別(即,充分地和不充分地被觀察到的危險)。凝視蹤跡數(shù)據(jù)可以包含駕駛員的凝視蹤跡,并可以包含眼睛注視數(shù)據(jù),后者可以包含駕駛員眼睛注視的方向和持續(xù)時間。任選的危險警報器能夠被用于向駕駛員提供報警,優(yōu)先權給予未被覺察危險,該未被覺察危險可以是未被觀察到和/或被遮擋的危險。危險可以被分類為兩類“充分地被感測的”或“不充分地被感測的”,或者如“充分地被觀察到的”或“不充分地被觀察到的”。在一些例子中,危險可以被分類為兩類或更多類,諸如“被覺察的”(凝視在危險上或凝視矢量指向危險),和“未被覺察的”(沒有凝視在危險上或沒有凝視矢量指向危險)。任選的附加分類是“不充分被覺察”危險。不充分被覺察危險包含被遮擋的危險,在該危險中,凝視矢量被指向危險,但遮擋物阻止整個危險被覺察。ー個例子是從停泊車輛的后面接近道路的行人,該停泊車輛遮擋行人的清楚視線。該分類“不充分被覺察”也可以包含如下情形,凝視主要地注視某物,但相對于車輛傳感器已經(jīng)捕獲的東西,可能不允許充分準確的思維模型被形成。例如,人可以瞥見另ー車輛,但不夠長以致不能覺察該車輛的相対速度。環(huán)境感測、駕駛員監(jiān)測、以及來自這些系統(tǒng)數(shù)據(jù)的新穎組合,允許關于駕駛員不大可能意識到該危害的潛在危害情況的信息被給出。優(yōu)點包含不必要的警告的降低,而增強被發(fā)出警告的有用性。例如,如果駕駛員監(jiān)視器檢測到駕駛員已經(jīng)看到接近的車輛或其他危險,與該接近的車輛或其他危險有關的附加警告,無需發(fā)出,除非該危險的行為有變化而駕駛員尚未觀察到。 環(huán)境傳感器系統(tǒng)能夠被配置成感測和檢測該環(huán)境內(nèi)的物體,諸如其他車輛、交通控制信號、行人如此等等。在一些例子中,所有被檢測物體可以被考慮為危險。在一些例子中,危險是所有被檢測物體的子集,例如,具有由諸如大小、相對于車輛位置、相對于被投影的車輛行走路徑的位置(如,道路)、速度、加速度等因素,和/或其他因素確定的車輛威脅姿態(tài)的那些物體。環(huán)境傳感器系統(tǒng)可以包括一個或多個傳感器,例如雷達、激光測距器、視頻傳感器如此等等。環(huán)境傳感器系統(tǒng)還可以包含處理模塊,用于接收傳感器信號和檢測環(huán)境內(nèi)ー種或多種危險。駕駛員監(jiān)視器可以包括一個或多個傳感器,向內(nèi)指向車輛駕駛室,并可以包含傳感器,諸如攝像機、3D飛行時間傳感器(3D time of flight sensor)如此等等,這些傳感器能夠被配置成用于凝視跟蹤。關于駕駛員的其他信息還能夠允許估計駕駛員狀態(tài)和對環(huán)境的認識,諸如頭和身體姿勢。關于姿勢,估計不但能夠從攝像機弓I出,而且從傳感器弓I出,諸如指示駕駛員重量和加力分布的壓カ傳感器(座位上、方向盤或駕駛員可能與之接觸的其他地方);駕駛員可能安置他們自己在其附近的超聲的、電容的、光學的或其他接近感測系統(tǒng);能夠檢測由身體發(fā)出的水汽或化學組分(例如,緊張時發(fā)汗,或如果駕駛員已經(jīng)喝酒時的酒精)的化學傳感器,或其他傳感器。傳感器可以監(jiān)測姿勢、藥物或其他生理條件、情緒條件、或駕駛員的其他條件。環(huán)境傳感器可以包含也用于其他功能的傳感器,諸如自適應巡游控制傳感器。這些傳感器可以包含雷達傳感器。例如,雷達傳感器可以用于識別相對于該車輛有變化的相對速度的車輛。該車輛速度可以被調(diào)整以免碰撞,或向駕駛員提供報警。駕駛員監(jiān)視器能夠使用一個或多個傳感器,例如使用基于計算機視覺算法的駕駛員監(jiān)測。這樣的傳感器系統(tǒng)還可以被用于檢測駕駛員問題,諸如疲勞或缺乏注意力。駕駛員監(jiān)視器可以被用于使用常用的計算機視覺算法,跟蹤頭和眼睛運動。例如,人的凝視蹤跡可以被要求在危險上面通過或靠近危險(例如,在某個閾值內(nèi),諸如離危險的角度和/或距離間距)。例如,未被覺察危險可以在離凝視蹤跡預定角度間距之外,該預定角度間距在I。-10。范圍。駕駛員監(jiān)視器可以包含至少ー個圖像傳感器,諸如提供圖像數(shù)據(jù)的視頻攝像機,以及駕駛員監(jiān)視器模塊,可操作以便從該圖像數(shù)據(jù)確定凝視方向。例如,頭的取向和/或眼睛取向可以被檢測并用于確定凝視蹤跡。駕駛員意識數(shù)據(jù)還可以包含關于凝視蹤跡內(nèi)凝視注視的眼睛注視時間數(shù)據(jù)。在一些例子中,該凝視可以被要求注視達到某個閾值時間。例如,至少ー些危險可以要求明顯的眼睛注視時間以便作為被覺察危險而被識別。這些危險可以包含嚴重危險、呈現(xiàn)對車輛的極大危害的姿態(tài)、以及看來不可能自行采取行動避免該危險條件。例如,嚴重危險可以包含停車標志、紅色交通信號、交通車道中停止的車輛、動物、行車車 道內(nèi)的行人等等。如果凝視蹤跡在危險上面通過(或例如靠近離危險閾值角度間距內(nèi)),該危險可以被識別為駕駛員意識到的“被覺察危險”。未被覺察危險可以有在離凝視蹤跡預定距離之外的危險位置。在下面各個不同例子中,被覺察和未被覺察危險被討論,但駕駛員監(jiān)視器可以再或另外跟蹤駕駛員意識的其他測量。在一些例子中,凝視注視不要求眼睛運動的完全停止。凝視注視可以作為跳閱間的(intersaccadic)間隔被確定,該跳閱間的間隔可以被眼睛跟蹤器檢測。凝視可以從物體到物體或位置到位置跳躍(稱為“跳閱”),或保持在一物體或位置(稱為注視)。但是,即使在注視中,凝視可以保持在ー個物體上,即使物體正在運動,只要它以一定速率運動,以致眼睛能夠合理良好地跟蹤它,不必需作大的快速跳躍。凝視注視出在兩個跳閱之間的周期期間,即,在跳閱間的間隔期間。當凝視停留在相對于觀察者運動的物體上時,眼睛用平滑追隨運動緊緊跟隨物體運動,該平滑追隨運動能夠既被稱為跟蹤物體(以強調(diào)物體的運動,同時凝視被保持在它上面),也被稱為注視運動的物體。對運動物體來說,用語注視不要求眼睛運動全部停止。相反,這是單個目標的選擇,哪怕該目標可以按眼睛可跟蹤的相対速度運動,它運用大腦的平滑追隨系統(tǒng)跟蹤運動的物體。因此,在跳閱之間的跳閱間的時間間隔,當靜態(tài)或準靜態(tài)圖像在跳閱之間被觀察時,還可以被稱為注視周期。被覺察危險在駕駛員的凝視在該危險上面通過例如諸如1-10秒預定時間之后,可以仍然被分類為“被覺察”。如果環(huán)境傳感器系統(tǒng)確定,被覺察危險的行為按不可預測方式表現(xiàn),則該被覺察危險可以被再分類為“未被覺察”。物體的不可預測行為可以包含在最后凝視位置期間從構(gòu)成的模型改變它的行為,或以與最后凝視位置無關的不可預測方式的行為。不可預測行為可以作為危險加速、減速、或與最后觀察期間的危險狀態(tài)相比改變了方向的結(jié)果而發(fā)生。被覺察危險在駕駛員最后注意該危險且經(jīng)過預定時間之后,還可以被重新分類為未被覺察。另外,也可以對已有物體的新出現(xiàn)行為(未預測行為)提供警報。這些行為能夠正好是有危害的和重要的情況,其中預測行為的總能力是有限的或其中物體是新的。例如,另ー車輛可以以對根據(jù)駕駛員監(jiān)測的駕駛員不可預測的方式加速、減速、改變方向,而報警可以被發(fā)出。此外,被覺察危險可以未能按可預測方式改變它的行為,即使它周圍的環(huán)境按要求行為改變的方式改變(例如,未能減速到停止,不管環(huán)境中停車標志或停車信號的存在;或未能開始轉(zhuǎn)彎,盡管該路拐彎),另外,如果駕駛員沒有重新核驗該危險以評估它的狀態(tài),并更新危險行為的駕駛員模型,則使意識狀態(tài)從被覺察危險移至未被覺察危險狀態(tài)。
注意力評估處理模塊,使來自環(huán)境傳感器與駕駛員監(jiān)視器傳感器的數(shù)據(jù)結(jié)合,并評估駕駛員是否對每ー潛在危險已經(jīng)給予足夠注意。該輸出可以包括關于潛在危險的警報的集合,按照駕駛員是否可能意識到的每ー危險而選擇這些警報。例如,關于危害狀態(tài)的報警能夠通過人機接ロ向駕駛員發(fā)出。報警可以包含關于ー個或多個危險參數(shù)的信息。危險參數(shù)可以包含距離、相対速度、方向(如,對參考方向諸如行駛方向的角度)、大小、危險個性或其他信息。例如,指向危險的方向可以用發(fā)自可聽報警的視在方向指示,或視覺可辨別箭頭指示。在一些例子中,車輛控制模塊可以被用于響應危險,例如用剎車、引擎速度控制、方向盤或其他車輛控制信號調(diào)整車輛軌道。注意力評估模塊可以是電子電路,諸如計算機、可操作以便比較被環(huán)境傳感器系統(tǒng)檢測的環(huán)境內(nèi)危險與駕駛員的環(huán)境意識。駕駛員意識可以作為駕駛員的凝視已經(jīng)從旁通過或在上面通過的環(huán)境內(nèi)的危險被確定。在一些例子中,駕駛員能夠被假定對他們已經(jīng)注意的,例如由凝視蹤跡確定的危險,是意識到的。然而,可以有駕駛員已經(jīng)注意的物體,但因為駕駛員似乎沒有適當預測該物體的目前運動和/或狀態(tài),所以關于該物體,駕駛員需要額外的警報。注意力評估模塊,允許對駕駛員監(jiān)視器確定駕駛員沒有被覺察的、沒有充分良好地被覺察的、或因為物體開始改變它的行為而沒有被覺察的環(huán)境內(nèi)危險,有選擇地發(fā)出
敬生目ロ。設備還能夠當潛在有危害的駕駛情況被識別時,提供警告信號(諸如可聽的、可視的和/或觸覺報警)。這些潛在有危害的情況,可以包含危險存在、被面向外傳感器檢測、而被面向內(nèi)傳感器確定駕駛員沒有意識到的情況。警告能夠潛在地被用在,或者向駕駛員發(fā)出諸如報警的附加安全信息的人機接口中,或者車輛自動地響應以避免危險且全部警告同時地而非自主地出現(xiàn)的保護系統(tǒng)中。在后面的例子或與之類似的其他例子中,來自注意力評估模塊的信號能夠被發(fā)送到車輛控制模塊,該車輛控制模塊可以被用于,例如通過剎車的啟動、加速或駕駛調(diào)整來調(diào)整車輛的操作。作為例子的用于輔助駕駛員安全操作車輛的方法,包含用車輛支持的環(huán)境傳感器監(jiān)測車輛環(huán)境以獲得危險數(shù)據(jù),監(jiān)測駕駛員以獲得駕駛員意識數(shù)據(jù),駕駛員意識數(shù)據(jù)包含凝視方向數(shù)據(jù)、比較危險數(shù)據(jù)與駕駛員意識數(shù)據(jù)以識別被覺察危險和未被覺察危險,以及向駕駛員提供關于未被覺察危險的報警。凝視方向數(shù)據(jù)包含在預定時間周期上的凝視蹤跡,該凝視蹤跡在該預定時間周期期間不在上面通過或足夠靠近未被覺察危險。
圖I是駕駛員意識車輛安全性系統(tǒng)的示意圖;圖2是簡化圖,畫出圍繞車輛的傳感器的可能布置;圖3畫出含有多種危險的環(huán)境,一些危險沒有被駕駛員看見;圖4畫出基于認知系統(tǒng)的駕駛員輔助系統(tǒng)的示意圖;圖5A-5C對駕駛員支持系統(tǒng)例子示出更多示意圖;圖6A-6C畫出凝視蹤跡的例子。
具體實施方式
在本發(fā)明的例子中,環(huán)境的模型能夠用ー個或多個傳感器產(chǎn)生,諸如與車輛有關的井向外(相對于駕駛員)指向車輛環(huán)境的傳感器。處理模塊能夠被用于跟蹤環(huán)境內(nèi)被用環(huán)境傳感器(可以包含雷達傳感器、激光傳感器如此等等)檢測到的物體。駕駛員的凝視被監(jiān)測,而凝視蹤跡被與環(huán)境中已識別的物體,例如,在該環(huán)境模型內(nèi)被跟蹤的物體相關。例如,駕駛員在作車道變化動作之前向左看,然后開始進行該動作。左車道內(nèi)可以有另ー車輛。系統(tǒng)可以首先根據(jù)位置和相対速度,確定該第二車輛是否危險。凝視跟蹤能夠被用于確定,是否駕駛員意識到該第二車輛,和如果駕駛員已警覺到該危險,沒有報警被發(fā)出。然而,在一些例子中,凝視跟蹤可以指示,駕駛員沒意識到危險,諸如第二車輛,于是警告可以有用地發(fā)出。在一些例子中,被分類為被覺察危險的危險,可以被重新分類為未被覺察危險,例、如,如果它的行為在以前的觀察之后,處于不可預測或未被預測的方式,例如改變方向、t匕它的先前行動或狀態(tài)慢下來或加速。按照本發(fā)明例子的途徑,允許消除不必要的警告并在適合時接管控制系統(tǒng)。作為例子的設備,包括一個或多個傳感器、可操作以便產(chǎn)生危險列表的環(huán)境傳感器處理模塊、一個或多個駕駛員監(jiān)視器傳感器、以及估計人員注意力焦點的位置的駕駛員監(jiān)視器傳感器處理模塊。該位置能夠被記以時間標記。然后,注意力評估信息處理模塊比較來自環(huán)境監(jiān)測系統(tǒng)與駕駛員監(jiān)視器的數(shù)據(jù),并被配置成評估該人員是否對每ー潛在危險給予充分的注意力。圖I是舉例的駕駛員意識車輛安全性系統(tǒng)的示意圖。該設備包括多個環(huán)境傳感器10,諸如傳感器12。環(huán)境傳感器數(shù)據(jù)被傳送至第一處理模塊14,可操作以便檢測車輛環(huán)境中的危險。駕駛員監(jiān)視器包括多個駕駛員監(jiān)視器傳感器20,諸如傳感器22。可以有ー個或多個傳感器,而多個傳感器可以是相同或不同的,且可以攜帯同樣的或彼此不同的信息。來自駕駛員監(jiān)視器傳感器的傳感器數(shù)據(jù),被發(fā)送至第二處理模塊16。注意力評估模塊18比較第一與第二處理模塊的輸出,以便確定環(huán)境內(nèi)已被傳感器系統(tǒng)10檢測的什么危險,還沒有被駕駛員識別。從注意力評估模塊18的輸出,可以被傳送至駕駛員警告系統(tǒng)24和/或車輛控制安全性系統(tǒng)26。在該例子中,環(huán)境傳感器系統(tǒng)包含多個環(huán)境傳感器和第一處理模塊,而該駕駛員監(jiān)視器包含多個駕駛員監(jiān)視器傳感器和第二處理模塊。但是,傳感器處理和注意力評估模塊的比較,可以由單個電子電路,諸如包含處理器、存儲器、時鐘和其他常用部件的計算機進行。圖2畫出有駕駛員42的車輛40。一個或多個面向內(nèi)傳感器44監(jiān)測駕駛員的頭部位置、眼睛位置或其他有關駕駛員物理姿勢元素,以便評估作為時間函數(shù)的駕駛員注意力的焦點。這樣,凝視蹤跡能夠被確定。多個面向外傳感器(諸如46、48、50和52)被用于感測車輛的外部環(huán)境。作為例子的傳感器,可以包含VelodyneTM激光雷達傳感器(VelodyneLidar Inc. , Morgan Hill, CA)和 SickTM激光測距器(Sick AG,Waldkirch, Germany)。例如,該環(huán)境傳感器可以包含雷達傳感器、激光傳感器、光學成像傳感器、其他傳感器或它們的任何組合。面向內(nèi)傳感器可以是視頻傳感器、飛行時間傳感器(time of flight sensor)、提供有關駕駛員信息的其他傳感器。該圖還畫出計算模塊54,它接收傳感器數(shù)據(jù)或來自與環(huán)境及駕駛員監(jiān)測有關的處理模塊的數(shù)據(jù)。處理模塊和注意力評估模塊的功能,可以由ー個或多個部件,諸如ー個或多個諸如計算模塊的電子電路提供,并可以被組合成単一裝置,諸如計算機。圖2還畫出揚聲器56,它能夠被用于向駕駛員提供語音或其他可聽報警,例如使用立體聲或四聲道立體聲效應提供關于危險的方向性信息。視覺報警,諸如箭頭,閃光燈之類也可以通過在該組成部分上的視覺元件,或通過其他顯示類型,范圍從本機模塊到頭戴顯示器而被提供。圖3畫出代表性車輛環(huán)境內(nèi)的車輛80,該車輛環(huán)境包括其他車輛82、84、86和88 ;行人90和92 ;以及停車標識94。按車輛安全性系統(tǒng)形式的設備,與車輛80關聯(lián),包括環(huán)境監(jiān)測系統(tǒng)、駕駛員監(jiān)視器和注意力評估模塊(例如,如圖I所示)。車輛80的環(huán)境 監(jiān)測系統(tǒng),包括傳感器,諸如傳感器96,能夠在相對短的時間尺度中識別多種危險,并標記這樣的危險以便動態(tài)跟蹤。該傳感器可以比圖示的指向更多方向,以提供車輛外更大的視場。另外,環(huán)境監(jiān)測系統(tǒng)快速響應環(huán)境內(nèi)的動態(tài)變化,諸如被識別物體的速度、方向、和/或加速度變化。相反,車輛駕駛員不可能如此快速地識別環(huán)境內(nèi)的變化。例如,車輛的環(huán)境傳感器系統(tǒng)能檢測和跟蹤所有被標記危險,以及環(huán)境內(nèi)其他物體。靜態(tài)物體,諸如樹98,可以,但非必需作為危險被識別,除非在該車輛的預測路徑中。使用駕駛員監(jiān)視器獲得的凝視蹤跡,注意力評估模塊可以識別沒有被駕駛員看到的危險(不可見危險),以指出哪些危險的狀態(tài)和位置是駕駛員不大可能最近意識到的,這些危險可以包含駕駛員沒有在最近對之更新他們的認識或信息的危險。例如,通過監(jiān)測駕駛員的注意力,可以檢測到停車標志94沒有被駕駛員注意到。在這種情形下,專門指向停車標志94存在的報警可以被發(fā)出。另外,諸如88的車輛,可以ー開始被隱蔽,然后突然出現(xiàn)在車輛環(huán)境中。車輛傳感器(環(huán)境監(jiān)視器系統(tǒng))可以幾乎立刻,例如在小于O. I秒中檢測到該新危險。警告可以立刻被發(fā)出,或在一些例子中,駕駛員可以在警告被發(fā)出之前,允許有預定的時間周期看見新近出現(xiàn)的車輛。圖4是作為例子的駕駛員輔助系統(tǒng)的進一歩示意圖,在該系統(tǒng)中,把基于實時環(huán)境感測的世面(world)模型與基于駕駛員觀察的監(jiān)測和任選的駕駛員存儲器模型的駕駛員意識估計進行比較。該設備包括環(huán)境傳感器100、環(huán)境模型102、世面狀態(tài)(world state)估計系統(tǒng)104、區(qū)別機(differencing machine) 106、駕駛員認識估計系統(tǒng)108、和駕駛員傳感器110的模型及環(huán)境的思維表示112的模型。對于駕駛員意識的估計,能夠用被檢測物體114、被檢測運動116和存儲器118做成環(huán)境模型。該環(huán)境模型102可以含有關于環(huán)境的信息,該信息來自各種不同源,包含地圖、過去記錄的經(jīng)驗和交流的信息。被估計的駕駛員對環(huán)境的思維模型(112),可以包含自身意識的估計、物體意識(如果該物體是危險的,包含對危險意識)、以及駕駛員的例如來自表觀視覺流結(jié)果和表觀連貫(coherent)運動的物體相對運動的意識的估計。被估計的駕駛員的思維模型,可以包含長期存儲器模型118,例如,駕駛員如何描繪環(huán)境,以及用于保存物體類型及其行動的存儲器模型。例如,某人可以感覺到環(huán)境內(nèi)的危險正在以恒定速度運動。駕駛員意識估計系統(tǒng)可以根據(jù)以前觀察,估計該人意識到該危險的運動。但是,如果危險是諸如另ー車輛以不同于目前預測的方式開始表現(xiàn)其行為,例如通過改變方向或在不同于預測時的時間加速,環(huán)境模型104將不同于被模型化的意識,除非駕駛員進ー步觀察該危險。在這樣的例子中,實際環(huán)境模型104和駕駛員意識的估計108之間的差別能夠被確定,并用于向駕駛員提供報
Sfc
目ο在圖4的例子中,注意力評估模塊的功能,由區(qū)別機106提供,該區(qū)別機106比較環(huán)境及駕駛員意識的估計(分別是104與108)。用于傳感器系統(tǒng)的處理模塊為說明簡化起見沒有示出,但這種功能可以被包含在有關的估計系統(tǒng)內(nèi),或與傳感器關聯(lián)。該區(qū)別機可以包含一個或多個比較器功能,諸如符號、數(shù)學、或狀態(tài)進展區(qū)別機。 在一些例子中,利用物體的檢測、運動的意識、以及本人關于空間關系及有關環(huán)境的可能事實與行動的存儲器,駕駛員的意識可以本身被模型化。圖5A畫出駕駛員支持的基于凝視的認知系統(tǒng)的示意圖。該圖畫出被車輛外攝像機系統(tǒng)144檢測的環(huán)境140。在142,附加的傳感器可以被提供。車輛傳感器數(shù)據(jù)被傳送通過傳感器融合系統(tǒng)148并被傳送到3D環(huán)境重構(gòu)152。該重構(gòu)152還可以從外部數(shù)據(jù)庫,諸如計算機視覺數(shù)據(jù)庫154,接收數(shù)據(jù)。在160,環(huán)境重構(gòu)的輸出被用于形成駕駛相關環(huán)境組成部分的表示。這些組成部分可以更簡單地稱作危險,即使這些組成部分不一定是危險的。在146上的眼睛跟蹤系統(tǒng)跟蹤車輛操作員的凝視方向。在156,眼睛跟蹤系統(tǒng)的輸出被用于提供在環(huán)境內(nèi)被檢查的物體的估計,例如作為凝視蹤跡數(shù)據(jù)。在150,具有在該環(huán)境中的位置的凝視的記錄被提供。在158,駕駛員存儲器的模型任選地被使用。工作存儲器模型158從156接收物體估計,并在164使用該物體估計提供駕駛員認識估計。在比較器162上,該被估計的駕駛員認識與來自160的危險表示被比較。沒有被駕駛員看到的任何危險可以在該比較中被檢測,而通過駕駛員交互模塊166適當?shù)膱缶惶峁┗蛐袆颖徊扇?。圖5B畫出駕駛員模型更多的細節(jié),其中處理模塊170記錄并使駕駛員考察的物體優(yōu)先化。用于存儲用戶經(jīng)驗的存儲器在172示出,在174允許局部地圖估計。地圖估計174的輸出被提供給在164上來自存儲器的估計的駕駛員認識的具體例子。在該圖中,組成部分156、158、164和162是圖5A所示的那些組成部分。圖5C畫出稍為更復雜的駕駛員和環(huán)境模型。152上的環(huán)境重構(gòu)被與180上的車輛和駕駛員行為模型結(jié)合。該模型可以被個性化到駕駛員和/或特定車輛。另外,用干物體行為的估計模型在182提供。來自180的自我行為模型與來自182的物體行為模型的組合,在任務估計器184被結(jié)合,以給出駕駛員當前從事的任務的估計。這樣在186允許被執(zhí)行的任務的認知模型被提供。這些模型能夠被用于改進160上危險的表示。在該圖中,組成部分152、160和162是圖5A所示的那些組成部分。駕駛和環(huán)境經(jīng)驗能夠影響駕駛員的環(huán)境意識。圖6A畫出在熟悉環(huán)境內(nèi)的熟練駕駛員,有檢測大多數(shù)危險的充分的環(huán)境視覺掃描。該圖畫出通過環(huán)境200的凝視蹤跡202,有諸如204所示的那些視覺注視點。凝視跟蹤系統(tǒng)可以跟隨凝視蹤跡,并檢測和用數(shù)量表示注視時間。每ー注視的周期大小(circle size)被與注視時間相關,該注視時間能夠由駕駛員監(jiān)視器系統(tǒng)確定。在一些例子中,對意識到危險的人可以要求大于預定閾值的注視時間。圖6B畫出在熟悉環(huán)境內(nèi)的新手水平駕駛員,表明向有良好識別的有關空間的駕駛提示偏移。位置認識引導注視(沒有駕駛偏移的)。圖6C在欠熟悉環(huán)境中的新手水平駕駛員。在該例子中,駕駛員的凝視按有些時候隨機方式在環(huán)境周圍運動,且凝視可以注視在點上,不大可能被與車輛的危險被相關。例如,駕駛員可以根據(jù)自然反差、彩色之類觀看物體。注視被熟悉的和新的位置偏移。對車輛的危害可以在缺乏經(jīng)驗的駕駛員情形下,或在不熟悉環(huán)境內(nèi)的有經(jīng)驗駕駛員情形下被增強。系統(tǒng)可以被編程,以從環(huán)境的視覺觀察圖形檢測駕駛員的經(jīng)驗。系統(tǒng)還可以被配置成例如從諸如GPS數(shù)據(jù)的位置數(shù)據(jù)確定該車輛是否在不熟悉的環(huán)境中。在這樣的更危險的情況中,警告的數(shù)量可以被增加。駕駛員的世面的估計,就環(huán)境內(nèi)感測的危險而言,能夠從近期凝視蹤跡確定。該凝視蹤跡能夠被用于估計駕駛員的目前觀察和環(huán)境的狀態(tài)的認識。在一些例子中,駕駛員的凝視蹤跡可以與熟練駕駛員的凝視蹤跡比較,以評估駕駛員技巧,并還有利于漏掉的危險的檢測。這可以是改進的駕駛員評估、授予證書或訓練的一部分。例如,有經(jīng)驗的駕駛員可以駕車通過環(huán)境和有經(jīng)驗的駕駛員的凝視被跟蹤。蹤跡 和注視點能夠被存儲在數(shù)據(jù)庫中。通過同一環(huán)境的第二車輛,可以從該數(shù)據(jù)庫檢索數(shù)據(jù)以有利于危險的檢測。算法算法能夠被用于確定是否有駕駛員沒意識到的在車輛外的潛在危害情況。環(huán)境傳感器被用于檢測過去一段時間間隔內(nèi)車輛外的潛在危害情況。然后確定第二時間間隔內(nèi)駕駛員焦點的位置。對環(huán)境傳感器檢測的過去一段時間間隔內(nèi)、不在駕駛員焦點位置的集合內(nèi)的危險,能夠發(fā)出警告。由環(huán)境傳感器確定的車輛環(huán)境,可以按十分迅速的步調(diào)動態(tài)地更新。例如,更新可以按I秒或更小的時間間隔發(fā)生。駕駛員的存儲器能夠被模型化或另行估計,這樣,人被假定在第ニ時間間隔內(nèi)記住危險的存在。駕駛員意識到的地區(qū),能夠被估計作為凝視蹤跡的一定距離內(nèi)的環(huán)境內(nèi)的地區(qū)。使用的距離函數(shù)可以是EucIid距離、角度間距或其他距離函數(shù),該距離函數(shù)對使用的傳感器形態(tài)是有用的。在一些例子中,在危險的傳感器檢測時,報警不是立刻發(fā)出??梢越o予駕駛員一定時間周期,例如I和3秒之間的周期,以在視覺上意識到該危險。系統(tǒng)可以給予駕駛員機會,通過從目前模型允許相關時間周期延伸進將來,以便識別潛在危險。作為例子的系統(tǒng),包括環(huán)境傳感器系統(tǒng),諸如ー個或多個面向外傳感器和對外傳感器處理模塊,該對外傳感器處理模塊產(chǎn)生車輛外危險的集合,有近似的位置和時間標記。該系統(tǒng)還包括駕駛員監(jiān)視器,諸如多個面向內(nèi)傳感器和對內(nèi)傳感器處理模塊,該對內(nèi)傳感器處理模塊估計人注意力焦點的有時間標記的位置,以及注意力評估模塊,該注意力評估模塊使來自對外和對內(nèi)處理模塊的數(shù)據(jù)結(jié)合,可操作以便評估人類操作員(如,駕駛員)是否已經(jīng)給予每ー危害情況(危險)充分的注意力。該注意力評估模塊可以使用下面的算法,以便決定車輛外是否有人員尚未意識到的潛在危害情況I.輸入該過去時間間隔tD內(nèi)車輛外潛在危害情況的集合D。2.輸入該過去時間間隔tF內(nèi)駕駛員焦點位置的集合F。3. For D中姆一情況d完成
4.令L (d)為d的近似位置和令T (d)為d的時間,并設Warn (d)=真5. For F中焦點f的每一區(qū)域完成6.令L(f)為f的近似位置和令T (f)為f的時間7.如果距離 D (L(d),L (f) )〈Cutoff D 和時間差 E (T (d),T (f))〈Cutoff T,設Warn (d)=假8.結(jié)束 For9.結(jié)束 For10.對姆ー Warn (d) =真的d,把d作為未被覺察危害情況返回 在上面的算法例子中,距離函數(shù)D可以是Euclid距離、角度距離(如,視場內(nèi)的角度間距)或其他距離的函數(shù),該距離函數(shù)對使用的傳感器形態(tài)是有用的。使用的時間差函數(shù)E可以取任何形式,如,它可以簡單地是絕對值,但可以被選擇用于増加的功能,例如,如果T(d)〈T(f)或如果T(d)>T(f)時,返回不同值。截止值(cutoff value)可以被允許與危害情況的潛在嚴重性一起變化。時間間隔tD和tF不一定終止于當前時間。例如,該系統(tǒng)可以給予車輛操作員機會,例如,通過設tD經(jīng)過相對于當前時間測量的[_5,+1]秒,以在產(chǎn)生報警前識別某種威脅。任何預定時間周期可以按照條件變化,例如,與車輛速度和/或到可能的危險實現(xiàn)(諸如碰撞)時間相反地相關。例如,危險位置數(shù)據(jù)可以包含第一預定時間周期上的危險位置,駕駛員意識數(shù)據(jù)可以對應于第二預定時間周期上駕駛員意識,而第一和第二預定時間周期可以各有約O. 01秒和約10秒之間的持續(xù)時間。30Hz的平均視覺閃爍融合(最初景象的視覺綜合速率,按該速率兩次被觀察的閃光模糊成單個延長的閃光)對應于03秒的時間窗ロ,所以O. 01秒的窗ロ支持甚至不平常的良好視覺的時間鑒別,足有100Hz。環(huán)境傳感器系統(tǒng)用于確定車輛的外環(huán)境的環(huán)境傳感器,可以包含視頻攝像機、諸如激光雷達的激光傳感器、雷達、其他基于圖像的傳感器、聲納、如此等等。環(huán)境傳感器系統(tǒng)可以可操作以便建立車輛環(huán)境的詳細表示。例如,多個雷達傳感器可以包圍車輛。在一些例子中,車輛可以接收來自近處車輛的例如速度的數(shù)據(jù),以及來自同一或相鄰車道的鄰近車輛的駛向(heading)數(shù)據(jù)。環(huán)境傳感器能夠被配置成檢測環(huán)境內(nèi)物體,包含其他車輛和路旁物體,諸如行人、標志如此等等。環(huán)境傳感器系統(tǒng)還可以包括處理模塊,諸如計算機或其他電子電路,用于分析傳感器信號和確定環(huán)境內(nèi)物體的位置。該處理模塊還可以根據(jù)本車輛行為、物體相對于本車輛的位置、以及物體行為(諸如相対速度、方向、加速度如此等等),識別潛在的危險性物體。環(huán)境可以按三維,或作為兩維表示被模型化。該兩維表示可以提供計算的簡單性。在一些例子中,預定數(shù)據(jù),諸如包含地圖數(shù)據(jù)的網(wǎng)絡數(shù)據(jù),能夠被傳遞到該車輛。在該例子中,數(shù)據(jù)接收機構(gòu)對應于環(huán)境傳感器功能,因為它們接收有關車輛環(huán)境的數(shù)據(jù)。例如,先前已經(jīng)收集的街道視圖,能夠被用于固定危險,諸如交通控制信號的檢測。環(huán)境傳感器系統(tǒng)可以包含傳感器處理模塊,以接收傳感器信號和檢測環(huán)境內(nèi)的物體。被識別的物體中的全部或某些可以被識別為危險。該處理模塊的輸出可以包含環(huán)境內(nèi)危險位置的集合,例如在第一時間周期內(nèi)檢測到的危險。該第一時間周期可以從過去的開始時間(諸如在當前時間之前的1-10秒)延伸到當前時間,或在一些例子中,不包含最近的時間間隔。駕駛員監(jiān)視器駕駛員監(jiān)視器可以包括一個或多個駕駛員監(jiān)視器傳感器和可以包含視頻傳感器(如,CMOS傳感器)、諸如超聲或激光傳感器的飛行時間傳感器。駕駛員的IR或其他照明,能夠被用于增強駕駛員監(jiān)視器的靈敏度。該駕駛員監(jiān)視器輸出駕駛員意識數(shù)據(jù),這些數(shù)據(jù)可以是預定時間周期上駕駛員意識焦點(如,凝視方向)的確定。因此,駕駛員意識數(shù)據(jù)可以包含駕駛員的凝視蹤跡數(shù)據(jù)。在一些例子中,計算機視覺系統(tǒng)能夠被用于監(jiān)測駕駛員的頭的取向。通過記錄投影的凝視方向與被感測環(huán)境,能夠估計哪些危險是駕駛員意識到的被覺察危險,以及哪些危險是在駕駛員意識之外。 凝視跟蹤能夠用ー對眼鏡狀裝備精確地確定,該裝備有面向外朝向環(huán)境的攝像機和指向眼睛的更多圖像傳感器。這樣的裝備對常規(guī)使用是麻煩的,但可以用于計算機視覺系統(tǒng)或其他基于圖像的駕駛員監(jiān)測系統(tǒng)的校準。另外的凝視跟蹤系統(tǒng),可以代替地使用面向駕駛員安裝的一個或多個攝像機,并相對于觀察外部環(huán)境的感測系統(tǒng)記錄,車輛是在該外部環(huán)境中被發(fā)現(xiàn)?;蛘?,凝視跟蹤系統(tǒng)可以用凝視和頭部取向檢測的附加模式,諸如有坐落在產(chǎn)生RF發(fā)射的框架中的浸潰線圈的接觸透鏡,或其他這樣的系統(tǒng),如可以被合理地用于確定頭和眼睛或雙眼相對于車輛或環(huán)境參考框架的取向的系統(tǒng)。許多類型的取向系統(tǒng)作為標準眼睛跟蹤技術是眾所周知的,且這里提供的凝視跟蹤器的描述,沒有ー個可以認為是對跟蹤器選擇的限制,在本發(fā)明的例子中描述的被選擇的跟蹤器,在有更大安全性的系統(tǒng)中發(fā)揮凝視檢測功能。在一些例子中,被安裝在車輛儀表盤上的面向外的攝像機,可以被用于估計如駕駛員看見的車輛環(huán)境。該圖像可以與用外部車輛傳感器建立的環(huán)境模型比較。標準坐標變換能夠被用于記錄駕駛員的視點與車輛傳感器建立的環(huán)境模型。環(huán)境模型內(nèi)凝視跟蹤的精度,可以在15度內(nèi),在一些例子中是在10度內(nèi),且在ー些例子中是在5度內(nèi)。凝視蹤跡數(shù)據(jù)越精確,對駕駛員的意識的估計越可靠。在一些例子中,車輛操作員對儀表計(instrument gauge)的注意力也能夠被監(jiān)測,而如果車輛操作員未能看到顯示在儀表計的警告,則附加的警告被發(fā)出。在一些例子中,車輛的儀表盤上的攝像機,能夠被用作凝視蹤跡的粗略近似。注意力評估模塊舉例的注意力評估模塊,被配置成接收關于環(huán)境內(nèi)危險的危險數(shù)據(jù),以及關于駕駛員的意識的駕駛員意識數(shù)據(jù)。該注意力評估模塊比較檢測的危險與駕駛員意識數(shù)據(jù),以確定被覺察危險(在駕駛員意識之內(nèi))和未被覺察危險(在駕駛員意識之外)。然后,該舉例的注意力評估模塊可以產(chǎn)生只與未被覺察危險有關而與被覺察危險無關的報警信號。在一些例子中,報警信號還可以包含被覺察危險,例如,如果危險危害過大吋。因此,注意力評估模塊可以識別多種類型的危險,例如被覺察和未被覺察危險,以及任選地不充分地被覺察的危險。例如,注視時間可以在第一閾值之上(如,按要求估計的對危險存在的意識的時間),但在要求完全覺察的第二閾值以下(如,小于按要求估計的完全意識到危險的時間)。不充分地被覺察的危險可以被看見,但危險參數(shù),諸如相対速度,可以不被覺察。
因此,危險分類可以是ニ值的被覺察對未被覺察分類,或者可以包含中間類別,以及可以包含按覺察程度的連續(xù)分類。檢測度,如果已被確定,那么可以是分成兩個狀態(tài)的閾值,諸如“充分地被覺察”和“不充分地被覺察”,然后按相同方式被用作被覺察和未被覺察。危險類別可以作為中間狀態(tài)存在于完全被覺察和完全未被覺察之間。危險還可以存在于模糊狀態(tài),這樣當凝視矢量指向模糊危險時,另ー個物體處于駕駛員和危險之間。模糊危險可以被分類為被覺察、未被覺察、或處于例如不充分地被覺察的中間類別,取決于模糊的程度、危險行為和潛在危險的程度。不充分地被覺察危險,可以有不充分觀察持續(xù)時間狀態(tài),其中凝視落在物體上或靠近物體的某個地方,但在觀察到足夠空間特征以識別該物體(靜止的“危險個性”識別)之前移動,或在抽取足夠時間特征以恰當?shù)仡A測物體行為模式(動態(tài)的“運動模型”構(gòu)造/識別)之前移動。 注意力評估模塊可以由電子電路,諸如包括處理器、存儲器、時鐘和輸入輸出部件的計算機提供。相同電子電路能夠被用于提供傳感器數(shù)據(jù)處理。報警和車輛響應在一些例子中,設備能夠被用于向?qū)︸{駛員是驚奇的情況,諸如未被覺察的危險中的駕駛員提供警告。例如,這些警告可以包含涉及新近出現(xiàn)的車輛、或不可從以前的觀察預測的車輛行為的報警。設備可以包括危險警報器,有選擇地把關于未被覺察危險向駕駛員報警。在危險的檢測之后,可聽報警,諸如嗶嗶聲可以向駕駛員提供。在一些例子中,車輛意向例如通過路徑規(guī)劃被預定,而自動控制可以取代人類輸入以避免危害條件。例如,車輛可以按類似于自動漫游控制系統(tǒng)使用的方式變慢或加速。在一些例子中,用于這種自動系統(tǒng)的傳感器,可以被用于確定本發(fā)明的例子的環(huán)境模型。本發(fā)明的例子的優(yōu)點包含報警的減少,由此避免用不必要的報警淹沒駕駛員。如果已知駕駛員意識到外部危險,沒有必要發(fā)出警告(除非,在一些例子中,該危險特別嚴重)。警告只當系統(tǒng)確定警告將真正有用時發(fā)出,例如當駕駛員沒有往危險方向看時,或例如有危險新近出現(xiàn)在環(huán)境中,或環(huán)境中最近的變化已建立尚未被觀察的潛在危險情況。在一些例子中,該系統(tǒng)可以監(jiān)測駕駛員對報警的意識,報警是由車輛系統(tǒng)諸如儀表發(fā)出的。例如,該系統(tǒng)可以確定駕駛員是否已看到速度計,而如果車輛速度超過本地速度極限時發(fā)出報警。但是,如果已知駕駛員意識到目前速度并已經(jīng)選擇忽略該信息,沒有必要發(fā)出報警。在一些例子中,例如,如果車輛傳感器系統(tǒng)檢測到新近浮現(xiàn)的車輛或其他極端地危險的情況,而駕駛員監(jiān)測指示出該駕駛員沒有意識到該危害情況,緊急剎車或規(guī)避性控制動作可以被輸入車輛控制。駕駛員存儲器模型可供選擇地,駕駛員存儲器的模型可以被用于確定駕駛員的意識。例如,駕駛員存儲器模型可以包含關于凝視模式、要求意識的最短注視時間、存儲器保存時間、存儲器容量(例如,包含參數(shù),諸如駕駛員在短期存儲器中能夠同時保留的危險的最大數(shù)量)、以及其他合適的參數(shù)的情況意識的模型。在一些例子中,駕駛員存儲器的模型和其他參數(shù),諸如計算機視覺系統(tǒng)內(nèi)的凝視跟蹤參數(shù),可以從對應于ー個或多個駕駛員的存儲的數(shù)據(jù)的集合中選取。例如,系統(tǒng)可以識別駕駛員的身份,或駕駛員可以進入該身份信息,及從數(shù)據(jù)庫檢索的對應數(shù)據(jù)。本發(fā)明的例子包含,例如通過分析駕駛員是否看見危險,諸如臨近的障礙,跟蹤駕駛員的認識狀態(tài)的設備和方法。例如,因為精神分散(諸如移動電話使用、與其他乘客交談、或車輛附近吸引注意力的景象)、無カ(諸如疲勞)、一些其他未能集中注意力的毛病、或在一些情形中因為瞬間大意,駕駛員可以沒意識到ー個或多個危險。本發(fā)明的例子能夠提供有用的警告,不管缺乏意識的源頭。車輛的環(huán)境傳感器能夠檢測其他車輛、行人、或其他危險,井比較被感測的外部世界與駕駛員已經(jīng)看到的東西的近來歷史,如被諸如車輛內(nèi)傳感器的駕駛員監(jiān)視器所測量。例如,如果系統(tǒng)確定,駕駛員沒意識到危險,則該系統(tǒng)能夠通過 向駕駛員報警做出響應,和/或?qū)崟r規(guī)劃并執(zhí)行安全行車路徑(trajectory)。這樣的響應不一定是預定的響應,但當駕駛員的缺乏意識被推定時,可以被迅速計算(如50ms下)。本發(fā)明的例子可以有附加的功能,諸如從凝視蹤跡參數(shù)、其他駕駛員行為或駕駛員對被觀察的危險的響應,檢測疲勞或醉酒駕駛員。無論如何,不像常用的檢測疲勞或醉酒駕駛員的方案,本發(fā)明的例子能夠提供有用的警告,即使當駕駛員十分能干,但由于疏忽大意或不可避免的情況(例如,從先前對駕駛員隱蔽的位置進入車輛環(huán)境的車輛)而沒意識到危險。即使當駕駛員不疲勞或不醉酒,而是當駕駛員沒意識到他們的環(huán)境中某些事物時,危險能夠出現(xiàn),而本發(fā)明的例子能夠在這些情形中發(fā)出適當?shù)木?。本發(fā)明的例子使駕駛員意識監(jiān)測與外部車輛環(huán)境感測結(jié)合,以便向駕駛員提供改進的警告,并任選地車輛控制輸入,以避免碰撞。本發(fā)明的例子比常用盲點檢測器是極大的改進,因為未被覺察危險可以被定位在車輛環(huán)境中任何地方。無論如何,依賴于駕駛員的狀態(tài)(如,常用的姿態(tài)和全部的意識,打移動電話,或彎下身夠某些東西),駕駛員的真正盲點可以與被車頂支承導致的通常盲點配置不同。外部傳感器能夠跟蹤環(huán)境中許多、大多數(shù)、或所有物體,確定哪些物體是危險,井根據(jù)駕駛員的凝視蹤跡和物體的行為,動態(tài)地跟蹤駕駛員是否意識到或沒意識到每一危險。本發(fā)明不限于上面描述的示意性例子。所描述的例子不企圖限制本發(fā)明的范圍。本發(fā)明的范圍由權利要求書的范圍定義。
權利要求
1.ー種用于輔助車輛安全操作的設備,該車輛有車輛環(huán)境,該設備包括 環(huán)境傳感器系統(tǒng),可操作以便檢測車輛環(huán)境內(nèi)的危險并提供危險數(shù)據(jù); 駕駛員監(jiān)視器,可操作以便提供駕駛員意識數(shù)據(jù),該駕駛員意識數(shù)據(jù)包含凝視蹤跡;和 注意力評估模塊,通過比較危險數(shù)據(jù)和凝視蹤跡,識別被覺察危險和未被覺察危險, 該注意力評估模塊提供關于該未被覺察危險的報警信號。
2.權利要求I的設備,還包括在收到報警信號時提供報警的危險警報器。
3.權利要求I的設備,該危險數(shù)據(jù)包含危險位置數(shù)據(jù),未覺察危險具有在離凝視蹤跡預定距離之外的危險位置。
4.權利要求3的設備,其中該預定距離是離凝視蹤跡的預定角度距離。
5.權利要求3的設備,該危險位置數(shù)據(jù)對應于第一預定時間周期中的危險位置, 該駕駛員意識數(shù)據(jù)對應于第二預定時間周期中的駕駛員意識, 該第一和第二預定時間周期,各有約O. Ol秒和約10秒之間的持續(xù)時間。
6.權利要求I的設備,該駕駛員意識數(shù)據(jù)還包含眼睛注視時間數(shù)據(jù), 至少某些危險要求明顯的眼睛注視時間,以便被識別為被覺察危險。
7.權利要求I的設備,該環(huán)境傳感器系統(tǒng)包含雷達傳感器。
8.權利要求I的設備,該危險包含車輛環(huán)境中的其他車輛。
9.權利要求I的設備,該駕駛員監(jiān)視器包含 至少ー個圖像傳感器,提供圖像數(shù)據(jù); 處理模塊,可操作以便從該圖像數(shù)據(jù)確定凝視方向。
10.權利要求I的設備,還包括車輛控制模塊,可操作以便響應于未覺察危險,調(diào)整車輛的操作。
11.權利要求I的設備,該注意力評估模塊包含具有處理器的電子電路, 該處理器可操作以便執(zhí)行比較危險位置數(shù)據(jù)與凝視蹤跡的算法, 該電子電路進一歩可操作以便使用駕駛員存儲器的模型估算駕駛員意識。
12.—種用于輔助車輛安全操作的設備,該車輛有車輛環(huán)境,該設備包括 環(huán)境傳感器系統(tǒng),可操作以便檢測車輛環(huán)境內(nèi)的危險并提供危險數(shù)據(jù); 危險數(shù)據(jù),包含危險位置數(shù)據(jù); 該危險包含在車輛環(huán)境中的其他車輛; 駕駛員監(jiān)視器,該駕駛員監(jiān)視器包含凝視追蹤器并提供包含凝視蹤跡的凝視蹤跡數(shù)據(jù); 注意力評估模塊,可操作以便接收危險數(shù)據(jù)和凝視蹤跡數(shù)據(jù),并通過比較危險位置和凝視蹤跡,識別未被覺察危險;和 危險警報器,向駕駛員提供關于未被覺察危險的報警。
13.權利要求12的設備, 該環(huán)境傳感器系統(tǒng)包含被該車輛支持的雷達傳感器, 該駕駛員監(jiān)視器包含計算機視覺系統(tǒng),可操作以便從關于駕駛員的圖像數(shù)據(jù)確定凝視蹤跡, 該車輛是陸地車輛。
14.權利要求12的設備,該注意力評估模塊,通過比較第一預定時間周期中的危險位置與凝視蹤跡,識別被覺察危險和未被覺察危險, 被覺察危險是在該預定時間周期期間離凝視蹤跡的預定距離內(nèi), 該預定距離是預定角度間距。
15.權利要求12的設備,該凝視蹤跡數(shù)據(jù)包含關于駕駛員的眼睛注視數(shù)據(jù), 該注意力評估模塊,可操作以便通過比較危險位置與眼睛注視數(shù)據(jù),識別未被覺察危險。
16.ー種用于輔助駕駛員車輛安全操作的方法,該方法包括 使用被車輛支持的環(huán)境傳感器監(jiān)測車輛環(huán)境,以便獲得危險數(shù)據(jù); 監(jiān)測駕駛員,以便獲得駕駛員意識數(shù)據(jù),該駕駛員意識數(shù)據(jù)包含凝視方向數(shù)據(jù); 比較危險數(shù)據(jù)與駕駛員意識數(shù)據(jù),以便識別未覺察危險;和 向駕駛員提供關于未覺察危險的報警。
17.權利要求16的方法,其中該凝視方向數(shù)據(jù)包含在預定時間周期中的凝視蹤跡, 該凝視蹤跡在該預定時間周期期間注視該被覺察危險。
18.權利要求16的方法,其中該凝視方向數(shù)據(jù)包含注視數(shù)據(jù), 該方法包含比較該危險位置數(shù)據(jù)與注視數(shù)據(jù),以識別未被覺察危險。
全文摘要
使駕駛員與環(huán)境感測結(jié)合的車輛安全性系統(tǒng)。一種用于輔助車輛安全操作的設備,包含檢測車輛環(huán)境內(nèi)的危險的環(huán)境傳感器系統(tǒng)、提供駕駛員意識數(shù)據(jù)(諸如凝視蹤跡)的駕駛員監(jiān)視器、以及注意力評估模塊,通過比較危險數(shù)據(jù)與凝視蹤跡,識別被駕駛員充分地或不充分地感覺的危險。關于未被覺察危險的報警信號能夠被提供。
文檔編號G08G1/16GK102712317SQ201180005970
公開日2012年10月3日 申請日期2011年1月14日 優(yōu)先權日2010年1月14日
發(fā)明者M·E·桑普爾斯, M·R·詹姆斯, S·F·卡利克 申請人:豐田自動車工程及制造北美公司