專利名稱：駕駛員訓(xùn)練系統(tǒng)的制作方法
背景本發(fā)明總體涉及用于訓(xùn)練和評價諸如轎車、貨車、飛機、火車、輪船等運載工具的駕駛員的系統(tǒng)。
目前可以用模擬器訓(xùn)練運載工具駕駛員。例如，大家知道，飛行訓(xùn)練模擬器就是把駕駛員置于各種不同的條件下并評價駕駛員對這些條件的反應(yīng)。此外，在自動駕駛測試中，可以向駕駛員詢問一系列問題，然后將駕駛員的回答與計算機數(shù)據(jù)庫中的正確答案對照。所有這些方法都是為了適應(yīng)以較低的成本更好地訓(xùn)練和評價運載工具駕駛員這個需要。希望這能提高這些駕駛員的水平并且降低它們的訓(xùn)練成本。
優(yōu)秀駕駛員的有些特點可能是難以評估的。教練員可以觀察駕駛員的某些特征，如察看后視鏡以及察看儀表等等。然而，對駕駛員是否掌握了正確操作運載工具所必需的技能，可能難以獲得客觀的評價結(jié)果。例如，要定量地比較一個駕駛員的技能與其它駕駛員的技能，可能就很困難。
因此，不斷需要有用于訓(xùn)練和評價運載工具駕駛員的更好的技術(shù)。
發(fā)明概述按照一個實施例的運載工具駕駛員訓(xùn)練系統(tǒng)可包括一個適于檢測駕駛員在看什么的傳感器?？刂破鬟m于記錄關(guān)于駕駛員在看什么的信息。


圖1是由駕駛員的角度所見的駕駛室的正面圖；圖2是用于檢測駕駛員在駕駛運載工具的過程中在看什么的裝置的框圖；圖3是用于確定駕駛員在駕駛運載工具的過程中在看什么的流程圖；圖4表示按照本發(fā)明一個實施例評價駕駛員的流程圖；圖5是用于實現(xiàn)前述各圖中所示的系統(tǒng)的基于處理器的系統(tǒng)的一個實施例的示意圖；
圖6是按照本發(fā)明一個實施例顯示駕駛員的操作水平的模擬回放顯示的屏幕顯示。
發(fā)明詳述參看圖1，運載工具駕駛員可坐在駕駛室10中，駕駛室可以是個模擬器，也可以是實際的運載工具，例如轎車、貨車、飛機、火車、輪船等。駕駛室10中可包含檔風(fēng)玻璃12、儀表板14、方向盤16、后視鏡18和側(cè)視鏡20。駕駛室中還可包括注視攝象機26和眼睛攝象機28。
注視攝象機26可以通過擺動/傾斜單元22連接到發(fā)射紅外光的二極管(LEDs)24。攝象機26和28為確定駕駛員在駕駛運載工具的過程中在看什么而提供輸入信息。這可被用來評價駕駛員是否在正確地利用各種信息源來有效地駕駛運載工具。
例如，在轎車應(yīng)用中，系統(tǒng)可以確定駕駛員是否看前檔風(fēng)玻璃12以外，駕駛員是否掃視前檔風(fēng)玻璃，駕駛員是否察看側(cè)視鏡20和后視鏡18，以及駕駛員是否察看儀表板上配置的各種儀表。
眼睛攝象機28可以有較短的焦距，可用來測量眼睛的三維位置。注視攝象機26可用來確定注視功能(gaze function)。注視攝象機可以有較長的焦距，可以擺動和傾斜，以便在駕駛員頭部移動是跟蹤眼睛?？梢詫⒓t外LED陣列安裝在偏離注視攝象機光軸一小段距離的位置上，以照亮眼睛和在眼睛上產(chǎn)生發(fā)射光，用于跟蹤眼睛的移動。
本文描述一種用眼睛和注視跟蹤、主要部件分析和紅外LED陣列來確定使用者正在看什么的系統(tǒng)。然而，本發(fā)明決不僅限于這個技術(shù)。相反，對本技術(shù)的描述，僅僅是為了說明一種用于確定駕駛員在駕駛運載工具的過程中正在看什么的技術(shù)。其它用來確定某人看什么的已知技術(shù)包括使用帶在頭上的攝象機。例如，可以順序地觸發(fā)一格一格的LEDs。然后可以處理攝象機圖象以檢測閃光。另一個系統(tǒng)用許多攝像機來協(xié)調(diào)好的同時的圖象，以跟蹤目標(biāo)。
所示的系統(tǒng)在“Determination of the Point of Fixation in aHead-fixed Coordinate System”有進一步的解釋，該論文是Jin Liu在第14屆國際模式識別大會(ICPR’98)(1998年8月17-20日，澳大利亞Brisbane)上發(fā)表的。關(guān)于該系統(tǒng)的其它信息還可以參看KayTalmi與Jin Liu所著的文章“Eye and Gaze Tracking for VisuallyControlled Interactive Stereoscopic Displays”，該文可在因特網(wǎng)上找到，網(wǎng)址是http//www.hhi.de/ˉblick/papers/eyegaze97/eye-gaze.html。
參看圖2，眼睛跟蹤器34和注視跟蹤器38接收來自攝像機26和28的輸入，就是說，如圖象32所示的那樣，眼睛跟蹤器從攝像機26接收對應(yīng)于駕駛員的面部鏡頭的數(shù)字圖象。同時，注視跟蹤器38接收駕駛員的一個眼睛或雙眼的圖象。眼睛跟蹤器分析眼睛攝像機28的視頻圖象，檢測并跟蹤眼睛的三維位置。此外，可以對一個或兩個瞳孔進行檢測和跟蹤，以便能計算眼睛的三維位置。
眼睛跟蹤器34可以用擺動/傾斜單元40使眼睛攝象機28擺動和傾斜，以隨著駕駛員頭部的運動跟蹤眼睛的位置?？梢匀绶娇?2中所示的那樣提供運動補償(motion compensation)，以便補償駕駛員頭部的運動。
起初可接收一個靜止的頭部攝象機圖象用于分析。為了便于隨后的分析，可以確定并消除被稱作峽谷的黑暗區(qū)域。
可以用主要部件分析(PCA)來確定駕駛員眼睛的位置。在訓(xùn)練階段，可以用PCA將人類眼睛的特點記錄下來用于確定眼睛的位置。可以將這些特點存儲起來，作為被稱作本征面貌(eigenface)的基準(zhǔn)眼睛模式。然后可以對攝象機26的圖象進行分析并與所存儲的眼睛模式比較，以確定眼睛的位置。在一個實施例中，可以在另一個立體攝象機圖象(如果使用另外的攝象機的話)中搜索這些被確定的眼睛位置。通過立體匹配，就能確定雙眼的三維位置。該信息然后就能被用來控制眼睛攝象機26的擺動和傾斜單元22。
可以用一種角膜反射方法來確定注視方向?？梢詫⒌凸β实募t外LEDs24安裝在攝象機26的一側(cè)的擺動傾斜單元22上，按常規(guī)使陣列表面與攝象機26的光軸平行。LEDs24可以照亮眼睛，在角膜上產(chǎn)生亮點。角膜反射算法可以確定一個或兩個瞳孔的中心和角膜表面反射的中心。這兩個中心的距離和它們的方位，可以被用來確定注視方向。注視方向因頭部運動的變化，可以通過采用關(guān)于頭部的三維位置的信息而作補償。
PCA用較少的維數(shù)來表示人類眼睛的一般特征。PCA將眼睛的亮度描述變換成一個不同的坐標(biāo)系。這個坐標(biāo)系使得因截除坐標(biāo)系的基本向量而引起的均方差被減少。
現(xiàn)在參看圖3，可以用來自攝象機28的輸入來顯現(xiàn)如圖2中的32所示的頭像，如圖3中的方框46所指示的那樣。在方框48所示的預(yù)處理期間，系統(tǒng)可以減除面部的一些初始特征。例如，可以將黑暗的區(qū)域去除，因為它們在確定指示眼睛位置的面部特點是可能沒有用。在方框54，可以要么用一個攝象機要么用一對立體攝象機來確定眼睛的三維位置。然后，如方框58中所示的那樣，可以用模式識別和/或角膜反射方法，利用來自攝象機26的輸入，檢測如圖2中36所示的瞳孔的位置。
如方框60中所指出的那樣，可以檢測因LED在角膜上的反射所產(chǎn)生的亮點，然后如方框62中所指出的那樣，確定位移因數(shù)。位移因數(shù)用來自另一個攝象機28的輸入校正頭部的運動。最后，用PCA分析來確定注視方向(方框64)，如方框66所指示的那樣。
在本發(fā)明的一個實施例中，可以將多個攝象機分布在駕駛室的四周，以便在駕駛員轉(zhuǎn)身時確定臉部位置。例如，當(dāng)駕駛員轉(zhuǎn)過頭來觀察后面的車輛時，攝象機26、28會拍不到駕駛員的臉部。可以用在駕駛室中四處分布的攝象機來檢測駕駛員臉部的位置。該信息可被用來分析確定駕駛員的動作是否適當(dāng)。
注視方向可被用來評價或訓(xùn)練駕駛員。參看圖4，軟件66開始時接收眼睛運動信息，如方框68中所指出的那樣。在一個實施例中，這可以是關(guān)于眼睛在任何時刻實際正在看什么的信息。然后可以將該信息解析成注視坐標(biāo)，如方框70中所指出的那樣。
注視坐標(biāo)可能對應(yīng)于諸如側(cè)視鏡或后視鏡這樣的目標(biāo)。在一個實施例中，注視坐標(biāo)可包括關(guān)于眼睛在任何時刻實際正在看什么的信息。例如，可以將注視坐標(biāo)信息解析成被注視的目標(biāo)，如方框70中所指出的那樣。如果知道駕駛員的注視坐標(biāo)和注視目標(biāo)的坐標(biāo)，就能確定正在被觀看的特定對象。被注視的目標(biāo)對應(yīng)的目標(biāo)，諸如是小汽車中的側(cè)視鏡或后視鏡、儀表板和前檔風(fēng)玻璃。可以將這些物象的每個的坐標(biāo)與給定的注視方向比較，當(dāng)由系統(tǒng)30所測出的注視方向總體上與給定目標(biāo)的坐標(biāo)相關(guān)時，就能解析出該注視信息，確定駕駛員注視的方向是已知的注視目標(biāo)中的其中之一。
下一步，如方框72中所指出的那樣，通過確定駕駛員看過給定注視目標(biāo)或?qū)ο蠖嗌俅?，可以確定目標(biāo)注視頻率。這樣，系統(tǒng)就能確定在預(yù)定的駕駛過程中駕駛員有多少次看過給定的對象。
所以，在一個實施例中，駕駛員可以操縱運載工具經(jīng)歷一個模擬的過程，可以知道在該過程中駕駛員應(yīng)察看的每個目標(biāo)的次數(shù)?；蛘?，駕駛員也可以操縱運載工具經(jīng)歷一個已知的過程，其中期望駕駛員應(yīng)合理地察看各種注視目標(biāo)的次數(shù)是已知的?；蛘撸梢詫⒛繕?biāo)注視頻率與標(biāo)準(zhǔn)的注視頻率范圍相聯(lián)系并加以比較。例如，可以確定駕駛員平均來說應(yīng)當(dāng)每小時察看后視鏡X次。知道了預(yù)定的頻率，就能進行分析，以確定駕駛員的操作水平是否符合確定的標(biāo)準(zhǔn)。
在棱形框74，檢查確定是否應(yīng)當(dāng)提示駕駛員改變其注視頻率。系統(tǒng)不單是評價駕駛員，還可以訓(xùn)練駕駛員增加或減少其察看特定信息源的頻率。例如，如果判定駕駛員察看后視鏡的次數(shù)不夠頻繁，就可以如方框76中所指出的那樣提示駕駛員更多地察看后視鏡。
如方框78中所指出的那樣，系統(tǒng)也可以接收其它信息，包括運載工具的速度?？梢詫⑺俣葰v史記錄下來，與給定訓(xùn)練課程的已知限速或已知建議速度作比較。然后，如方框82中所指出的那樣，系統(tǒng)可以接收控制信息。系統(tǒng)可以記錄駕駛員使用制動器或其它控制器的時機和方式以及駕駛員使用轉(zhuǎn)向指示燈或其它指示燈的頻率。如前面的一樣，可以將該信息與預(yù)定訓(xùn)練課程中預(yù)期的指標(biāo)或者與其它情況中的標(biāo)準(zhǔn)指標(biāo)加以比較。
如方框83中所指出的那樣，系統(tǒng)也可以接收運載工具位置信息?？梢杂弥T如全球定位系統(tǒng)(GPS)接收機的運載工具定位裝置來確定運載工具的位置，并可以將該信息與注視目標(biāo)信息建立聯(lián)系。系統(tǒng)然后就能評價駕駛員例如在預(yù)定的訓(xùn)練或評價課程中的給定的位置是否在看應(yīng)當(dāng)要看的目標(biāo)。
參看方框84，可以評估駕駛員的注視頻率、速度和控制/指示器操作水平。評估的方法是將駕駛員的操作水平與一個標(biāo)準(zhǔn)值數(shù)據(jù)庫作比較，標(biāo)準(zhǔn)值的范圍較寬，涵蓋不同課程和條件下不同駕駛員的情況?；蛘撸部梢酝ㄟ^將駕駛員在已知的課程中的操作水平與期望的操作水平作比較而得出評價結(jié)果。然后可以向駕駛員提供關(guān)于其駕駛技能與所期望的相比如何的信息。這可以在駕駛員測試中用來評估駕駛員，或者向駕駛員反饋關(guān)于如何提高其操作水平的信息。
圖5中所示的用于實現(xiàn)本發(fā)明的一個實施例的基于處理器的系統(tǒng)100包括處理器102。在一個實施例中，可以將處理器耦接到用于實現(xiàn)加速圖形端口實施例的加速圖形端口(AGP)(參看加速圖形端口規(guī)范1.0版-由位于美國加州Santa Clara的因特爾公司1996年7月31日發(fā)布)芯片集104。芯片集104可以與AGP端口105和圖形加速器106通信。顯示器110可以耦接到圖形加速器106的視頻輸出端。同時也可以將芯片集耦接到系統(tǒng)存儲器108和總線112。
總線112也耦接到運動補償器42。它可以接收來自攝象機26和28的輸入信號并向擺動/傾斜單元22和陣列24提供輸出信號。總線112也可以耦接到與硬盤驅(qū)動器118耦接的橋接器116?？梢詫④浖?6與本征面貌信息116和標(biāo)準(zhǔn)數(shù)據(jù)庫(calibration database)114一起存儲在硬盤驅(qū)動器118中。橋接器116也可以耦接到另一個總線132。總線132可以接收來自控制接口136、指示器接口138和速度接口140的串行輸入-這些接口每個被連接得能從運載工具和定位系統(tǒng)144接收信息。與總線132耦接的還有基本輸入/輸出系統(tǒng)(BIOS)142。
按照本發(fā)明的一個實施例，可以進行對運載工具駕駛課程(session)的基于處理器的回放，以提供操作水平評價或者向給定駕駛員提供反饋。參看圖6，顯示屏110可以顯示一個畫面，里面包括儀表板86、方向盤88和模擬的駕駛員90。駕駛員的視線由虛線92表示。
根據(jù)從運動補償器42接收的信息，可以以諸如圖6中所示的虛線92的圖形用戶界面的形式再現(xiàn)不同時間以及在特定位置時的駕駛員的視線。這樣，受訓(xùn)者和教練員就能看到在給定的時刻和給定的情況下，駕駛員正在看什么。例如，顯示部分94可以提供關(guān)于每個時刻時的狀態(tài)的信息。在一個實施例中，可以在顯示畫面上指出一個全球定位系統(tǒng)陸標(biāo)，以提供關(guān)于當(dāng)駕駛員正在了望給定的注視方向時運載工具在哪里的信息。
如94所示，屏幕上顯示的信息可包括每個時刻的課程條件、氣象指示、速度指示、表示制動器使用情況的制動系數(shù)、表示駕駛員監(jiān)測盲點的有效程度的盲點系數(shù)。這樣，受訓(xùn)者就可以以一定的時間間隔觀看回放的其操作水平，或者繼續(xù)給定的課程?；胤乓部梢灾赋霎?dāng)駕駛員作出一定方式的反應(yīng)時運載工具所在的位置。
系統(tǒng)30也可以提供可以由系統(tǒng)觸發(fā)的外部事件，目的是評價駕駛員的操作水平或者提供訓(xùn)練練習(xí)?？梢詫⑼獠渴录纳膳c全球定位系統(tǒng)接收機所提供的運載工具的位置同步。例如，當(dāng)運載工具接近給定位置時，可以使另一個運載工具進入該運載工具的行駛線路。駕駛員對該事件的反應(yīng)，包括駕駛員的視線是如何發(fā)現(xiàn)該事件的以及駕駛員是如何作出響應(yīng)的，可以由基于處理器的系統(tǒng)作出評估。
外部事件可以以設(shè)定的、由運載工具的全球定位坐標(biāo)觸發(fā)的腳本為基礎(chǔ)，以測試駕駛員在給定條件下的操作水平。也可以確定駕駛員對給定事件的響應(yīng)時間。
例如，如果駕駛員持續(xù)地不看給定的方向或給定的物體，系統(tǒng)就可以針對性地生成要求觀看該區(qū)域的事件。這樣就能讓駕駛員看到不能保持視野開闊的后果，訓(xùn)練駕駛員克服不良習(xí)慣。
通過確定運載工具的全球定位坐標(biāo)，就可以判斷駕駛員對具有特定路標(biāo)的條件的響應(yīng)。例如，如果已知GPS坐標(biāo)對應(yīng)的是行車道，就能根據(jù)全球定位系統(tǒng)坐標(biāo)確定駕駛員是保持在其行車道的中央還是偏向左邊或右邊。
系統(tǒng)也可以接收氣象輸入和時刻輸入，作為評價駕駛員操作水平時的參考因素。一路上的氣象、交通狀況和其它信息，可以從因特網(wǎng)提取，或者由傳感器測出。該信息可用來評價駕駛員在現(xiàn)有條件下的操作水平。
在有些實施例中，可能需要用攝象機來記錄檔風(fēng)玻璃外的景象。然后可以在回放方式下，回放實際記錄的檔風(fēng)玻璃外的景象，使回放的效果更加逼真?？梢詫⒁暰€指示器疊加在所記錄的圖象上。此外，視頻回放還能提供關(guān)于相對于駕駛員的視線或駕駛員的其它反應(yīng)正在發(fā)生什么情況的更加詳細(xì)的反饋。
盡管結(jié)合數(shù)量有限的實施例說明了本發(fā)明，本領(lǐng)域的熟練人員顯然知道據(jù)此有許多修改和變體。后附的權(quán)利要求旨在包括這些符合本發(fā)明的真正精神和范圍的修改和變體。
權(quán)利要求
1.運載工具駕駛員訓(xùn)練系統(tǒng)，包含適合于監(jiān)測駕駛員在看什么的傳感器；適合于編制駕駛員在駕駛員訓(xùn)練課程中在看什么的記錄并將該記錄與預(yù)定的信息進行比較的控制器。
2.權(quán)利要求1的系統(tǒng)，其中，傳感器包括攝象機。
3.權(quán)利要求2的系統(tǒng)，其中，所述攝象機是數(shù)字?jǐn)z象機。
4.權(quán)利要求3的系統(tǒng)，包括確定頭部位置的第一攝象機和確定眼睛位置的第二攝象機。
5.權(quán)利要求1的系統(tǒng)，包括定位裝置。
6.權(quán)利要求2的系統(tǒng)，其中，所述定位裝置是全球定位系統(tǒng)接收機。
7.權(quán)利要求1的系統(tǒng)，包括適合于從運載工具控制器接收信息的接口。
8.權(quán)利要求1的系統(tǒng)，包括適合于接收運載工具速度信息的接口。
9.權(quán)利要求1的系統(tǒng)，包括適合于接收關(guān)于運載工具指示器的使用情況信息的接口。
10.一種評價運載工具駕駛員的方法，包含自動監(jiān)測駕駛員在看什么；編制駕駛員在駕駛員訓(xùn)練課程中在看什么的記錄；將該記錄與預(yù)定的信息比較。
11.權(quán)利要求10的方法，包括接收關(guān)于運載工具的當(dāng)前位置的信息。
12.權(quán)利要求10的方法，包括接收關(guān)于對運載工具控制器的操作的信息。
13.權(quán)利要求10的方法，包括將駕駛員的操作水平與預(yù)定的標(biāo)準(zhǔn)作比較。
14.權(quán)利要求10的方法，包括確定駕駛員看給定對象的頻率。
15.權(quán)利要求10的方法，包括記錄關(guān)于運載工具速度的信息。
16.權(quán)利要求10的方法，包括提示駕駛員提高看一個或多個對象的頻率。
17.權(quán)利要求16的方法，包括在駕駛員看對象時將駕駛員所看的與運載工具的位置相關(guān)聯(lián)。
18.一種包含存儲使基于處理器的系統(tǒng)執(zhí)行下列操作的指令的媒體的產(chǎn)品接收關(guān)于駕駛員在看什么的信息；記錄駕駛員在駕駛員評價的訓(xùn)練課程中在看什么；將該記錄與預(yù)定的信息比較。
19.權(quán)利要求18的產(chǎn)品，存儲使基于處理器的系統(tǒng)提示駕駛員提高看一個或多個對象的頻率的指令。
20.權(quán)利要求18的產(chǎn)品，存儲使基于處理器的系統(tǒng)在駕駛員看對象時將駕駛員所看的與運載工具的位置相關(guān)聯(lián)的指令。
全文摘要
用于駕駛員訓(xùn)練和評估的系統(tǒng)(10)可以記錄關(guān)于駕駛員所采取的操作的信息。例如，系統(tǒng)可以記錄(70)駕駛員在駕駛運載工具的過程中在看什么的信息，以確定是否駕駛員正在看的就是駕駛員此時應(yīng)當(dāng)察看的。此外，系統(tǒng)可以提供關(guān)于駕駛員操作水平的其它方面的信息(80、82)，包括速度和控制器及指示器的使用情況?？梢詫⒃撔畔㈥P(guān)聯(lián)起來，提供在評估表中。或者，也可以在駕駛運載工具的課程中提示駕駛員(76)，更正駕駛員的操作，以提高駕駛員的技能。
文檔編號G09B9/04GK1470044SQ00804318
公開日2004年1月21日 申請日期2000年1月12日 優(yōu)先權(quán)日1999年2月26日
發(fā)明者E·O·克拉珀, E O 克拉珀 申請人:英特爾公司