專利名稱：基于計算機視覺的誤將油門當(dāng)剎車錯誤操作防止裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種車輛安全駕駛裝置，屬于嵌入式系統(tǒng)、計算機視覺、傳感器技術(shù)、 車輛剎車和油門驅(qū)動裝置在車輛安全駕駛方面的應(yīng)用，主要用于防止駕駛員將油門當(dāng)剎車 等誤操作。
背景技術(shù)：
在解決駕駛員將油門當(dāng)剎車誤操作問題方面，從駕駛周圍環(huán)境以及車輛的當(dāng)前狀 態(tài)分析駕駛員的狀態(tài)與駕駛意圖，從車輛、環(huán)境、駕駛員三者關(guān)系的角度解決油門當(dāng)剎車誤 操作問題，保證車輛不因駕駛員誤踩油門而引發(fā)的交通事故。計算機視覺將成為智能車輛環(huán)境感知系統(tǒng)中最重要的組成部分，計算機視覺能夠 提供幾乎全部駕駛員所需要的駕駛信息，對智能車輛具有十分重要的意義。通過前向攝像 裝置進行圖像分析可以檢測車輛對車道線的偏離、車輛前方的行人、自車輛與前方車輛的 間距，當(dāng)圖像分析檢測出異常狀況時，如偏離車道線、突然出現(xiàn)行人、前方車輛距離過于接 近，應(yīng)及時發(fā)出聲音提醒駕駛員采取措施，尤其是要有效地防止駕駛員誤踩油門事件的發(fā) 生。目前在防止駕駛員將油門當(dāng)剎車誤操作方面已有很多專利公開和授權(quán)，歸納起 來，這些專利技術(shù)主要是從剎車踏板和油門踏板的作用時間(包括加速度)、作用力的大小 等來區(qū)分是剎車操作還是油門操作，這些技術(shù)都嘗試用駕駛操作動作來推斷駕駛意圖；有 些專利技術(shù)通過剎車踏板和油門踏板的連鎖機構(gòu)以達到在誤踩油門時仍能進行剎車；這些 技術(shù)雖然能克服一些將油門當(dāng)剎車誤操作，但是在駕駛過程中駕駛員真正猛踩油門的情況 并非不會發(fā)生，如果將需要猛踩油門時當(dāng)作誤踩油門的情況那么也是一種非常大的駕駛危 險，顯然這些技術(shù)都存在著不能有效區(qū)分駕駛意圖和駕駛動作的問題；由于這些檢測需要 剎車等駕駛意圖的手段不直接，可能會對正常的駕駛帶來一些風(fēng)險，如可能會造成變道失 敗、超車失敗、變道+剎車、超車+剎車等問題所帶來的一種新的駕駛風(fēng)險；上述的這些發(fā)明 中由于沒有考慮道路環(huán)境因素，而是從簡單的剎車踏板和油門踏板動作時間和動作力的大 小的關(guān)系來識別將油門當(dāng)剎車誤操作的行為必定會產(chǎn)生新的問題，這是因為在剎車踏板和 油門踏板動作時間和動作力的大小的關(guān)系中也包含著正常駕駛操作行為。綜上所述，目前 的將油門當(dāng)剎車誤操作的檢測技術(shù)還不能有效的解決駕駛意圖和駕駛行為一致性問題，而 且還會帶來其他一些駕駛風(fēng)險。從根本上來說，油門當(dāng)剎車誤操作是駕駛員的駕駛意圖和駕駛行為出現(xiàn)了不一 致；因此要根本解決油門當(dāng)剎車誤操作問題必須從車輛、環(huán)境、駕駛員三者關(guān)系著手，至少 必須考慮車輛運行情況與道路環(huán)境之間的關(guān)系，從中識別出哪些是正常的駕駛操作行為， 哪些是誤操作行為，保證駕駛意圖和駕駛行為的一致性；其關(guān)鍵是要準(zhǔn)確地檢測出車輛前 方的障礙物對象和該對象與車輛的距離，在檢測道路上的行人或者周圍車輛等障礙物方 面，目前主要有雷達、激光和超聲波等檢測方式；但是這些檢測方式只能檢測出在某一特定 方向上存在者障礙物對象，不能識別道路的形狀以及道路與障礙物對象之間的位置關(guān)系，因此采用上述檢測方式由于對象物體的信息不充分會導(dǎo)致檢測失效或者誤檢測?；谝曨l的車輛安全駕駛輔助系統(tǒng)由于概念清晰、技術(shù)先進、費用較低、無需對原 有車輛內(nèi)部結(jié)構(gòu)進行任何改動，具有很好的應(yīng)用前景；尤其是隨著攝像機和嵌入式計算機 制造成本的下降，智能車輛環(huán)境感知技術(shù)將擔(dān)負起“監(jiān)視”駕駛員、監(jiān)控路況等重要職責(zé)；其 關(guān)鍵技術(shù)為視頻障礙物檢測技術(shù)和車道線識別技術(shù)。如何實現(xiàn)高效準(zhǔn)確地從車輛的運行狀態(tài)和道路環(huán)境中把握駕駛員的駕駛意圖是 本發(fā)明的關(guān)鍵點，發(fā)現(xiàn)駕駛行為與駕駛意圖不一致時能有效制止和糾正錯誤駕駛行為；但 是駕駛員的駕駛意圖非常難以直接檢測獲得，通過車輛狀態(tài)和道路環(huán)境狀態(tài)來推斷檢測駕 駛員的駕駛意圖是一種有效可靠手段，它不僅可以比較客觀地推斷出駕駛員的駕駛意圖， 同時也可以有效地防止駕駛員錯誤的駕駛意圖以及由于駕駛員未察覺車輛駕駛風(fēng)險而未 采取任何預(yù)防措施的駕駛行為；對于檢測油門當(dāng)剎車誤操作這種駕駛行為與駕駛意圖不一 致情況，需要從道路環(huán)境狀態(tài)和車輛的運行狀態(tài)來進行判斷，隨著攝像裝置、嵌入式系統(tǒng)、 計算機視覺等技術(shù)的發(fā)展，為誤將油門當(dāng)剎車等錯誤操作防止方法奠定了堅實的技術(shù)基 石出。

發(fā)明內(nèi)容
為了克服已有在檢測油門當(dāng)剎車誤操作這種駕駛行為與駕駛意圖不一致情況時 不能準(zhǔn)確區(qū)分、控制效果差的不足，本發(fā)明提供一種高效準(zhǔn)確地從車輛的運行狀態(tài)和道路 環(huán)境中把握駕駛員的駕駛意圖的、有效地防止駕駛員錯誤的駕駛意圖以及由于駕駛員未察 覺車輛駕駛風(fēng)險而未采取任何預(yù)防措施的駕駛行為的基于計算機視覺的誤將油門當(dāng)剎車 錯誤操作防止裝置。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是一種基于計算機視覺的誤將油門當(dāng)剎車錯誤操作防止裝置，所述防止裝置包括外 殼、視覺傳感器、嵌入式系統(tǒng)、車輛測速單元、車輛駕駛轉(zhuǎn)角測量單元、測距單元、聲音報警 單元、油門控制單元、剎車控制單元和供電單元；用于捕獲車輛前方道路的視頻圖像的視覺 傳感器固定在車輛的駕駛座位的右上方，所述的嵌入式系統(tǒng)、聲音報警單元和供電單元分 別固定在外殼內(nèi)，所述視覺傳感器、車輛測速單元、車輛駕駛轉(zhuǎn)角測量單元、測距單元、油門 控制單元、剎車控制單元均與所述嵌入式系統(tǒng)連接，所述的嵌入式系統(tǒng)用于讀取車輛的行 駛速度、車輛方向盤轉(zhuǎn)角和車輛前方道路的視頻信息，用于估算前方道路上的障礙物距離， 并根據(jù)障礙物距離、車輛方向盤轉(zhuǎn)角以及車輛的速度計算駕駛風(fēng)險系數(shù)和駕駛風(fēng)險變化趨 勢量，根據(jù)駕駛風(fēng)險系數(shù)和駕駛風(fēng)險變化趨勢量作出相應(yīng)的駕駛決策，根據(jù)所述的駕駛決 策控制所述的聲音報警單元發(fā)出駕駛警告聲，根據(jù)所述的駕駛決策控制所述的油門控制單 元允許駕駛員踩踏油門的動作有效性，根據(jù)所述的駕駛決策控制所述的剎車控制單元控制 車輛的自動剎車。作為優(yōu)選的一種方案所述的車輛測速單元用于獲得車輛的行駛速度，所述的車 輛駕駛轉(zhuǎn)角測量單元用于獲得車輛方向盤的轉(zhuǎn)角，所述的剎車控制單元用于自動控制剎車 踏板動作，所述的油門控制單元用于禁止油門踏板動作，所述的測距單元用于檢測車輛前 方道路上的障礙物與車輛之間的距離，采用超聲波測距模塊；所述的視覺傳感器裝在車輛前部上方，負責(zé)拍攝車輛行駛前方的道路環(huán)境，通過USB接口與嵌入式系統(tǒng)連接，將采集的視頻圖像傳至給所述的圖像處理與識別模塊；所述 的車速傳感器用于采集行駛過程中的車輛速度數(shù)據(jù)，通過A/D接口與嵌入式系統(tǒng)連接，經(jīng) 過處理后傳送給所述的判斷分析模塊；所述的超聲波測距單元用于檢測車輛前方道路上 的障礙物距離，采用市售的MSP430超聲波測距模塊，通過串行口與嵌入式系統(tǒng)連接；所述 的方向盤轉(zhuǎn)動傳感器用于檢測駕駛員的駕駛方向盤的動作，通過A/D接口與嵌入式系統(tǒng)連 接。進一步，所述的嵌入式系統(tǒng)包括嵌入式系統(tǒng)硬件和嵌入式系統(tǒng)軟件；所述的嵌入式系統(tǒng)硬件包括微處理器、GPIO接口、A/D接口、USB接口、串行接口、 SDRAM、NAND FLASH 禾口 電源；所述的嵌入式系統(tǒng)軟件包括環(huán)境信息采集模塊、圖像處理與識別模塊和判斷分析 模塊；所述的圖像處理與識別模塊，用于接收環(huán)境信息采集模塊送來的視頻圖像，通過去除噪聲、圖像分割、邊緣檢測圖像處理方法，去掉不相關(guān)背景，得到道路邊緣、前方車輛邊 緣輪廓和障礙物邊緣輪廓等圖像信息；通過模式識別方式對道路及道路標(biāo)線進行識別，確 定道路標(biāo)線在整幅圖像中的位置坐標(biāo)及本車在道路中的位置；對前方車輛輪廓進行識別， 確定前車輪廓尺寸及其在平面圖像中的位置；對前方障礙物邊緣輪廓進行識別，確認(rèn)該障 礙物輪廓尺寸及其在平面圖像中的位置，然后將處理結(jié)果傳送給所述的判斷分析模塊；所述的判斷分析模塊，用于根據(jù)所述的視覺傳感器在車輛上安裝的空間位置建立 模型，將道路標(biāo)線在平面圖像中的位置坐標(biāo)轉(zhuǎn)換為實際空間中與本車的相對位置以檢查車 輛是否在車道中正常行駛、車輛是否違章越線行駛、前方車輛的距離和前方障礙物的距離； 利用系列圖像的道路標(biāo)線計算車輛相對于道路標(biāo)線的運動軌跡；根據(jù)車輛運動軌跡分析駕 駛員是否處于正常行駛狀態(tài)，利用系列圖像中前車輪廓大小的變化以及本車的車速與超聲 波測距相結(jié)合分析計算本車與前車的距離，判定是否有追尾碰撞的危險傾向；分析計算本 車與前方障礙物的距離，判定是否有駕駛風(fēng)險；誤將油門當(dāng)剎車錯誤操作的判斷過程對于誤將油門當(dāng)剎車錯誤操作，駕駛風(fēng)險 系數(shù)δ根據(jù)車輛的最短剎車距離Sb和障礙物距離Stj的比來進行判斷的；當(dāng)障礙物距離Stj 等于車輛的最短剎車距離Sb時，需要采取剎車措施；車輛的最短剎車距離Sb取決于輪胎與 地面之間的摩擦力，摩擦力的大小取決于摩擦系數(shù)，假設(shè)摩擦系數(shù)為μ，車輛的最短剎車距 離Sb由公式⑴進行計算；Sb = V2/2g μ (1)式(1)中，Sb為車輛的最短剎車距離，V為車輛的速度，g為重力加速度，μ為輪 胎與地面之間的摩擦系數(shù)；車輛的速度V是通過讀取所述的車速傳感器的車輛速度數(shù)據(jù)獲 得的；所述的駕駛風(fēng)險系數(shù)δ (t)由公式⑵進行計算；δ (t) = SB/S0 (2)式(2)中，Sb為在某一速度情況下的車輛最短剎車距離，S0為車輛前端與障礙物 的距離，S (t)為t時刻的駕駛風(fēng)險系數(shù)；δ (t) = 1為駕駛風(fēng)險閾值點，δ (t) < 1為駕駛 風(fēng)險可控區(qū)域，δ (t) > 1為駕駛風(fēng)險不可控區(qū)域；車輛前端與障礙物的距離Stj是通過在 所述的圖像處理與識別模塊中估算得到的障礙物對象距離以及所述的超聲波測距單元所獲得的障礙物距離數(shù)據(jù)來得到。再進一步，所述的判斷分析模塊中，設(shè)定反應(yīng)駕駛風(fēng)險變化趨勢量I描述駕駛的 危險程度；在相同駕駛風(fēng)險系數(shù)S (t)情況下，如果駕駛風(fēng)險變化趨勢量I (t)增大，其駕 駛危險程度在增大；反之，駕駛危險程度在減?。凰龅鸟{駛風(fēng)險變化趨勢量I (t)由公式 (3)進行計算；ξ(t) = 8 (t)-8 (t-1) (3)式(3)中，S⑴為t時刻的駕駛風(fēng)險系數(shù)，8 (t-1)為t-1時刻的駕駛風(fēng)險系數(shù)， € (t)為t時刻的駕駛風(fēng)險變化趨勢量；I (t) > 0表示駕駛風(fēng)險在增大，€ (t) < 0表示 駕駛風(fēng)險在減小。更進一步，采用駕駛風(fēng)險系數(shù)8 (t)和駕駛風(fēng)險變化趨勢量I (t)兩個指標(biāo)來綜 合判斷駕駛風(fēng)險和得到相關(guān)的駕駛決策，所述的駕駛決策為駕駛員的正確駕駛意圖；用判 斷的駕駛決策來檢驗駕駛員的駕駛意圖是否正確以及駕駛行為是否正確，用表1來歸納在 沒有駕駛盤轉(zhuǎn)動情況下的駕駛決策； 表 1油門當(dāng)剎車誤操作情況往往發(fā)生在表1中的V、VI、VII類中，在該三類情況中第 VI類情況最危險，正確的駕駛決策是減速、剎車；如果駕駛員的駕駛意圖是減速、剎車，駕 駛動作是踩剎車踏板，那么駕駛意圖和駕駛動作是一致的；如果駕駛員的駕駛意圖是減速、 剎車，而駕駛動作是踩油門踏板，那么駕駛意圖和駕駛動作是不一致的；對于第VI類情況， 基于計算機視覺的誤將油門當(dāng)剎車錯誤操作防止裝置就作出禁止油門踏板和自動剎車的 判斷和動作，使得駕駛員踩油門踏板無效同時對車輛自動進行剎車。所述的嵌入式系統(tǒng)軟件還包括存儲和預(yù)警模塊，用于存儲違章行駛圖像，用判斷的駕駛決策的結(jié)果向駕駛員進行語音警示，同時駕駛決策作出后的前方道路視頻圖像存于 存儲器中。所述的嵌入式系統(tǒng)軟件還包括自動控制動作模塊，用于在車輛處于極度危險情況 下，自動控制車輛的油門踏板和剎車踏板，控制油門踏板和剎車踏板規(guī)則由表1所示，所述 的自動控制動作模塊有兩個輸出，一個輸出是車輛的油門踏板控制，另一個輸出是車輛的 剎車踏板控制。在油門踏板的連桿上增添一個鎖緊機構(gòu)，當(dāng)所述的判斷分析模塊作出禁止油門踏 板的決策后，銷釘彈出頂入油門連桿的孔內(nèi)，即使駕駛員踩踏油門踏板，由于銷釘限制了油 門連桿回繞著轉(zhuǎn)軸的運動，油門的電子位移感應(yīng)器不會動作，從而油門也不能打開，銷釘彈 出控制是通過控制繼電器得電使得電磁鐵銜鐵動作來實現(xiàn)的。車輛的剎車機構(gòu)上增添一個自動剎車控制機構(gòu)，當(dāng)所述的判斷分析模塊作出自動 剎車的決策后，控制繼電器得電閉合使得電磁回路導(dǎo)通，電磁鐵線圈得電產(chǎn)生磁場，裝在剎 車的踏板連桿上的電磁鐵銜鐵動作拉動剎車機構(gòu)緊急剎車。所述的障礙物距離SO的檢測由雷達、激光或超聲波技術(shù)實現(xiàn)，將雷達、激光或者 超聲波障礙物距離檢測設(shè)備安置在車輛的正前方，以獲得在車輛行駛方向上的各種障礙物 距離SO。本發(fā)明的有益效果主要表現(xiàn)在(1)解決了駕駛意圖與駕駛動作的不一致問題， 能有效防止誤將油門當(dāng)剎車等錯誤操作；(2)對于在危險情況下，當(dāng)駕駛員的沒有及時反 映判斷、誤判斷時，裝置能自動糾正駕駛員的錯誤，避免重大交通事故的發(fā)生；(3)在判斷 分析駕駛風(fēng)險中，采用多級量化的評判方式，根據(jù)不同的風(fēng)險度作出相對應(yīng)的駕駛決策； (4)不改變車輛的原有的結(jié)構(gòu)和駕駛習(xí)慣，只是在原車輛的基礎(chǔ)上增加一些新的功能，具有 實施方便；(5)對于車輛處于危險情況下的自動錄像功能，使得車輛具有了黑匣子的功能， 為事故調(diào)查以及保險理賠提供了有效數(shù)據(jù)；(6)為今后的無人駕駛提供了技術(shù)基礎(chǔ)。


圖1為車輛行駛過程中前方道路視頻圖像。圖2為車輛的頂視圖以及視覺傳感器的視覺范圍。圖3為車輛、行人之間距離關(guān)系的側(cè)視圖以及視覺傳感器的視覺范圍。圖4為嵌入式系統(tǒng)的構(gòu)成框圖。圖5為車輛的剎車踏板機構(gòu)的示意圖。圖6為車輛的油門踏板機構(gòu)的示意圖。
具體實施例方式下面結(jié)合附圖對本發(fā)明作進一步描述。實施例1參照圖1 圖6，一種基于計算機視覺的誤將油門當(dāng)剎車錯誤操作防止裝置，包 括視覺傳感器、嵌入式系統(tǒng)、車輛測速單元、車輛駕駛轉(zhuǎn)角測量單元、測距單元、聲音報警單 元、油門控制單元、剎車控制單元和供電單元；所述的視覺傳感器固定在車輛的駕駛座位的 右上方，用于捕獲車輛前方道路的視頻圖像，如附圖2所示；所述的嵌入式系統(tǒng)、聲音報警單元和供電單元分別固定在基于計算機視覺的誤將油門當(dāng)剎車等錯誤操作防止裝置的外 殼內(nèi)，所述的嵌入式系統(tǒng)用于讀取車輛的行駛速度、車輛方向盤轉(zhuǎn)角和車輛前方道路的視 頻信息，用于估算前方道路上的障礙物距離，并根據(jù)障礙物距離、車輛方向盤轉(zhuǎn)角以及車輛 的速度計算駕駛風(fēng)險系數(shù)和駕駛風(fēng)險變化趨勢量，根據(jù)駕駛風(fēng)險系數(shù)和駕駛風(fēng)險變化趨勢 量作出相應(yīng)的駕駛決策，根據(jù)所述的駕駛決策控制所述的聲音報警單元發(fā)出駕駛警告聲， 根據(jù)所述的駕駛決策控制所述的油門控制單元允許駕駛員踩踏油門的動作有效性，根據(jù)所 述的駕駛決策控制所述的剎車控制單元控制車輛的自動剎車；所述的車輛測速單元用于獲 得車輛的行駛速度，是利用車輛中已有的速度傳感器；所述的車輛駕駛轉(zhuǎn)角測量單元用于 獲得車輛方向盤的轉(zhuǎn)角，是利用車輛中已有的轉(zhuǎn)角傳感器；所述的剎車控制單元用于自動 控制剎車踏板動作；所述的油門控制單元用于禁止油門踏板動作；所述的測距單元用于檢 測車輛前方道路上的障礙物與車輛之間的距離，采用超聲波測距模塊；所述的嵌入式系統(tǒng)包括嵌入式系統(tǒng)硬件和嵌入式系統(tǒng)軟件；所述的嵌入式系統(tǒng)硬件包括微處理器、GPI0接口、A/D接口、USB接口、串行接口、 SDRAM、NAND FLASH、電源等；本發(fā)明采用的SBC-2410X嵌入式系統(tǒng)是基于ARM9的嵌入式開 發(fā)平臺，內(nèi)部帶有全性能的MMU (內(nèi)存處理單元)，處理能力強，主頻最高可達266M ；具有32 位的數(shù)據(jù)總線，存儲容量大，包括1M容量的Nor Flash、64M容量的Nand Flash以及64M的 SDRAM。接口和資源豐富，包括一個10M的以太網(wǎng)RJ-45接口，一個串行口，USB接口，JTAG 接口，36針腳的GPI0接口等，如附圖4所示；所述的嵌入式系統(tǒng)軟件包括環(huán)境信息采集模塊、圖像處理與識別模塊、判斷分析 模塊、存儲和預(yù)警模塊和自動控制動作模塊；車輛、道路環(huán)境和駕駛員的操作動作等信息是由所述的視覺傳感器、所述的車輛 測速單元、所述的車輛駕駛轉(zhuǎn)角測量單元和所述的測距單元獲得的，所述的視覺傳感器裝 在車輛前部上方，負責(zé)拍攝車輛行駛前方的道路環(huán)境，通過USB接口與嵌入式系統(tǒng)連接，將 采集的視頻圖像傳至給所述的圖像處理與識別模塊；所述的車速傳感器用于采集行駛過程 中的車輛速度數(shù)據(jù)，通過A/D接口與嵌入式系統(tǒng)連接，經(jīng)過處理后傳送給所述的判斷分析 模塊；所述的超聲波測距單元用于檢測車輛前方道路上的障礙物距離，采用市售的MSP430 超聲波測距模塊，通過串行口與嵌入式系統(tǒng)連接；所述的方向盤轉(zhuǎn)動傳感器用于檢測駕駛 員的駕駛方向盤的動作，通過A/D接口與嵌入式系統(tǒng)連接；所述的圖像處理與識別模塊用于接收環(huán)境信息采集模塊送來的視頻圖像，通過去 除噪聲、圖像分割、邊緣檢測等圖像處理方法，去掉不相關(guān)背景，得到道路邊緣、前方車輛邊 緣輪廓和障礙物邊緣輪廓等圖像信息；通過模式識別方式對道路及道路標(biāo)線進行識別，確 定道路標(biāo)線在整幅圖像中的位置坐標(biāo)及本車在道路中的位置；對前方車輛輪廓進行識別， 確定前車輪廓尺寸及其在平面圖像中的位置；對前方障礙物邊緣輪廓進行識別，確認(rèn)該障 礙物輪廓尺寸及其在平面圖像中的位置，然后將這些處理結(jié)果傳送給所述的判斷分析模 塊；所述的判斷分析模塊根據(jù)所述的視覺傳感器在車輛上安裝的空間位置建立模型， 將道路標(biāo)線在平面圖像中的位置坐標(biāo)轉(zhuǎn)換為實際空間中與本車的相對位置以檢查車輛是 否在車道中正常行駛、車輛是否違章越線行駛、前方車輛的距離和前方障礙物的距離；利用 系列圖像的道路標(biāo)線計算車輛相對于道路標(biāo)線的運動軌跡；根據(jù)車輛運動軌跡分析駕駛員是否處于正常行駛狀態(tài)，利用系列圖像中前車輪廓大小的變化以及本車的車速與超聲波測 距相結(jié)合分析計算本車與前車的距離，判定是否有追尾碰撞的危險傾向；分析計算本車與 前方障礙物的距離，判定是否有駕駛風(fēng)險；本發(fā)明中，在所述的判斷分析模塊最核心的判斷分析是誤將油門當(dāng)剎車等錯誤操 作的判斷；對于誤將油門當(dāng)剎車等錯誤操作，駕駛風(fēng)險系數(shù)S主要根據(jù)車輛的最短剎車距 離SB和障礙物距離&的比來進行判斷的，如附圖3所示；一股來說當(dāng)障礙物距離&接近或 等于車輛的最短剎車距離SB時，就需要采取剎車措施；車輛的最短剎車距離SB主要取決于 輪胎與地面之間的摩擦力，摩擦力的大小取決于摩擦系數(shù)，假設(shè)摩擦系數(shù)為P，道路的摩擦 系數(shù)一股0. 8左右，車輛的最短剎車距離SB由公式(1)進行計算；SB = V2/2g U (1)式(1)中，SB為車輛的最短剎車距離，V為車輛的速度，g為重力加速度，P為輪 胎與地面之間的摩擦系數(shù)；所述的駕駛風(fēng)險系數(shù)8 (t)由公式(2)進行計算；6 (t) = SB/S。 (2)式(2)中，SB為在某一速度情況下的車輛最短剎車距離，S0為車輛前端與障礙物 的距離，S (t)為t時刻的駕駛風(fēng)險系數(shù)；S (t) = 1為駕駛風(fēng)險閾值點，S (t) < 1為駕駛 風(fēng)險可控區(qū)域，S (t) > 1為駕駛風(fēng)險不可控區(qū)域；由于駕駛過程中，道路狀態(tài)和車輛狀態(tài)都在不斷的變化，駕駛危險情況也是在動 態(tài)變化的；因此，僅僅用駕駛風(fēng)險系數(shù)8 (t)這樣一個量來描述駕駛的危險程度還不夠充 分，還需要引入一個能反應(yīng)駕駛風(fēng)險變化趨勢量I來更客觀的描述駕駛的危險程度；一股 來說，在相同駕駛風(fēng)險系數(shù)S (t)情況下，如果駕駛風(fēng)險變化趨勢量I (t)增大，其駕駛危 險程度在增大；反之，駕駛危險程度在減?。凰龅鸟{駛風(fēng)險變化趨勢量I (t)由公式(3) 進行計算；^ (t) = 8 (t)-8 (t-1) (3)式(3)中，S⑴為t時刻的駕駛風(fēng)險系數(shù)，8 (t-1)為t-1時刻的駕駛風(fēng)險系數(shù)， € (t)為t時刻的駕駛風(fēng)險變化趨勢量；I (t) > 0表示駕駛風(fēng)險在增大，€ (t) < 0表示 駕駛風(fēng)險在減小；本發(fā)明中，采用駕駛風(fēng)險系數(shù)8 (t)和駕駛風(fēng)險變化趨勢量I (t)這兩個指標(biāo)來 綜合判斷駕駛風(fēng)險和得到相關(guān)的駕駛決策，所述的駕駛決策類似于駕駛員的正確駕駛意 圖；本發(fā)明用“判斷的駕駛決策與駕駛行為是否一致”檢測問題來替代“駕駛意圖與與駕駛 行為是否一致”檢測問題，以解決油門當(dāng)剎車誤操作的檢測問題；同時用判斷的駕駛決策來 檢驗駕駛員的駕駛意圖是否正確以及駕駛行為是否正確，用表1來歸納在沒有駕駛盤轉(zhuǎn)動 情況下的駕駛決策； 表 1油門當(dāng)剎車誤操作情況往往發(fā)生在表1中的V、VI、VII類中，在這三類情況中第 VI類情況最危險，正確的駕駛決策是減速、剎車；如果駕駛員的駕駛意圖是減速、剎車，駕 駛動作是踩剎車踏板，那么駕駛意圖和駕駛動作是一致的；如果駕駛員的駕駛意圖是減速、 剎車，而駕駛動作是踩油門踏板，那么駕駛意圖和駕駛動作是不一致的；對于第VI類情況， 基于計算機視覺的誤將油門當(dāng)剎車等錯誤操作防止裝置就作出禁止油門踏板和自動剎車 的判斷和動作，使得駕駛員踩油門踏板無效同時對車輛自動進行剎車；所述的障礙物距離Stj的檢測可以由雷達、激光和超聲波等技術(shù)實現(xiàn)，將雷達、激 光和超聲波等檢測設(shè)備安置在車輛的正前方，以獲得在車輛行駛方向上的各種障礙物距離 Stj，本發(fā)明中采用超聲波測距方式來實現(xiàn)的；另一種檢測障礙物距離Stj的手段是通過計算機視覺的方式來實現(xiàn)，即通過視覺傳 感器所獲得的車輛前方道路圖像的圖像處理分析手段得到的，首先要從圖像中分析得到障 礙物對象，然后根據(jù)標(biāo)定估算該障礙物對象物體離車輛的距離；由于一股的視覺傳感器只 能獲取平面視頻圖像，即難以直接獲得障礙物的深度信息；解決方式有兩種，其一是采用雙 目視覺，即通過雙目視覺差來得到障礙物的深度信息；其二是采用視覺傳感器與超聲波測 距相結(jié)合的方式，本發(fā)明中采用第二種方式進行估算障礙物距離，附圖1為通過圖像處理 分析手段所獲得的車輛前方障礙物視頻圖像；所述的圖像處理分析手段，主要是通過邊緣檢測算法來實現(xiàn)的，障礙物對象的邊 界是描述障礙物特征的一類非常重要的描述子，這些邊界可能在成像過程中產(chǎn)生邊緣信 息。邊緣是指在其周圍像素灰度有明顯變化的那些像素的組合。邊緣是具有幅值和方向的 矢量，其在圖像中表現(xiàn)為灰度的突變。邊緣檢測就是要檢測出圖像中這種灰度的非連續(xù)性。目前對邊緣檢測有幾種方法可以選擇，由于在本專利中期望得到的是障礙物對象 的邊緣，而對邊緣輪轂的完整性以及光滑性要求不高，因此在本發(fā)明中采用其中的計算簡單、運算速度快的經(jīng)典邊緣檢測方法_微分算子法，該方法依靠對圖像進行微分運算求得 梯度來進行邊緣檢測，主要從邊緣點往往對應(yīng)于一階微分幅值大的點，同時也對應(yīng)于二階 微分的零交叉點出發(fā)，設(shè)計一些一階或二階微分算子，求得其梯度或二階導(dǎo)數(shù)過零點，再選 擇一定的閾值提取邊界。所述的邊緣檢測方法大致上可以分為以下四個步驟①濾波邊緣檢測算法主要是基于圖像強度的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)，但導(dǎo)數(shù)的計 算對噪聲很敏感，因此必須使用濾波器來改善與噪聲有關(guān)的邊緣檢測方法的性能。需要指 出，大多數(shù)濾波器在降低噪聲的同時也導(dǎo)致了邊緣強度的損失。因此邊緣增強和降低圖像 噪聲之間需要取得一種平衡。②增強增強邊緣的基礎(chǔ)是確定圖像中各點鄰域強度的變化值。增強算法可以突 出鄰域強度值有顯著變化的點。邊緣增強一股是通過計算梯度幅值來完成的。③檢測在圖像中有許多點的梯度幅值比較大，而這些點在特定的情況下并不一 定都是邊緣，所以應(yīng)該用某種方法來確定那些點是邊緣點。最簡單的邊緣檢測判據(jù)是梯度 幅值A(chǔ)值判據(jù)。④定位確定邊緣所在的像素，如果要更精確的確定邊緣位置，也可以在子像素分 辨率上來估計邊緣位置，邊緣的方向也可以被估計出來。在本發(fā)明中采用索貝爾(Sobel)算子作為邊緣檢測算法，Sobel算子采用3*3大 小的模板，這樣就避免了在像素之間的內(nèi)插點上計算梯度。Sobel算子用下式計算偏導(dǎo)數(shù)Sx = (a2+ca3+a4) - (a0+ca7+a6) (4)Sy = (a0+ca1+a2) _ (a6+ca5+a4)公式中常數(shù)c為2，Sobel算子可用以下卷積模板來實現(xiàn)
(5)有了障礙物對象的邊界的像素坐標(biāo)，通過在整幅圖像中的位置坐標(biāo)與實際物理坐 標(biāo)的標(biāo)定結(jié)果，對前方障礙物對象輪廓進行距離估算，得到該障礙物離車輛前端的距離和 方位，然后通過超聲波距離測量單元進行進一步確認(rèn)；所述的存儲和預(yù)警模塊用于存儲違章行駛圖像，用判斷的駕駛決策的結(jié)果向駕駛 員進行語音警示，同時駕駛決策作出后的前方道路視頻圖像存于存儲器中，該功能相當(dāng)于 汽車黑匣子，一旦出現(xiàn)交通事故時供管理部門和交通事故裁決部門調(diào)用；所述的自動控制動作模塊用于在車輛處于極度危險情況下，為了防止駕駛員的沒 有及時反映判斷、誤判斷和誤動作，基于計算機視覺的誤將油門當(dāng)剎車等錯誤操作防止裝 置自動控制車輛的油門踏板和剎車踏板，控制油門踏板和剎車踏板規(guī)則由表1所示，所述 的自動控制動作模塊有兩個輸出，一個輸出是車輛的油門踏板控制，另一個輸出是車輛的 剎車踏板控制；所述的車輛的油門踏板控制用于制止駕駛員踩踏油門踏板，具體做法是在油門踏 板的連桿上增添一個鎖緊機構(gòu)，如附圖6所示，當(dāng)所述的判斷分析模塊作出禁止油門踏板 的決策后，銷釘9彈出頂入油門連桿7的孔內(nèi)，這時即使駕駛員踩踏油門踏板6，由于銷釘9 限制了油門連桿7回繞著轉(zhuǎn)軸8的運動，油門的電子位移感應(yīng)器10不會動作，從而油門也不能打開，銷釘9彈出控制是通過控制繼電器得電使得電磁鐵銜鐵動作來實現(xiàn)的，電磁鐵 采用12V或者24V電磁鐵；所述的車輛的剎車踏板控制用于在緊急情況下車輛自動剎車，具體做法是在車輛 的剎車機構(gòu)上增添一個自動剎車控制機構(gòu)，如附圖5所示，當(dāng)所述的判斷分析模塊作出自 動剎車的決策后，控制繼電器4得電閉合使得電磁回路1導(dǎo)通，這時電磁鐵線圈2得電產(chǎn)生 磁場，裝在剎車的踏板連桿5上的電磁鐵銜鐵3動作拉動剎車機構(gòu)緊急剎車，電磁鐵采用 12V或者24V電磁鐵。實施例2參照圖1 圖6，本實施例中對前方障礙物的檢測的僅僅采用雷達、激光和超聲波 等檢測方式中的一種檢測手段，本實施例的其他結(jié)構(gòu)和工作過程均與實施例1相同。實施例3參照圖1 圖6，本實施例中對公式(1)中的摩擦系數(shù)P根據(jù)路面情況進行修正， 對于沙石路面的摩擦系數(shù)P取值為0.65;對于雨天的路面的摩擦系數(shù)y取值為0.7;對于 結(jié)冰的路面的摩擦系數(shù)P取值為0. 45，本實施例的其他結(jié)構(gòu)和工作過程均與實施例1相 同。
權(quán)利要求
一種基于計算機視覺的誤將油門當(dāng)剎車錯誤操作防止裝置，其特征在于所述防止裝置包括外殼、視覺傳感器、嵌入式系統(tǒng)、車輛測速單元、車輛駕駛轉(zhuǎn)角測量單元、測距單元、聲音報警單元、油門控制單元、剎車控制單元和供電單元；用于捕獲車輛前方道路的視頻圖像的視覺傳感器固定在車輛的駕駛座位的右上方，所述的嵌入式系統(tǒng)、聲音報警單元和供電單元分別固定在外殼內(nèi)，所述視覺傳感器、車輛測速單元、車輛駕駛轉(zhuǎn)角測量單元、測距單元、油門控制單元、剎車控制單元均與所述嵌入式系統(tǒng)連接，所述的嵌入式系統(tǒng)用于讀取車輛的行駛速度、車輛方向盤轉(zhuǎn)角和車輛前方道路的視頻信息，用于估算前方道路上的障礙物距離，并根據(jù)障礙物距離、車輛方向盤轉(zhuǎn)角以及車輛的速度計算駕駛風(fēng)險系數(shù)和駕駛風(fēng)險變化趨勢量，根據(jù)駕駛風(fēng)險系數(shù)和駕駛風(fēng)險變化趨勢量作出相應(yīng)的駕駛決策，根據(jù)所述的駕駛決策控制所述的聲音報警單元發(fā)出駕駛警告聲，根據(jù)所述的駕駛決策控制所述的油門控制單元允許駕駛員踩踏油門的動作有效性，根據(jù)所述的駕駛決策控制所述的剎車控制單元控制車輛的自動剎車。
2.如權(quán)利要求1所述的基于計算機視覺的誤將油門當(dāng)剎車錯誤操作防止裝置，其特征 在于所述的車輛測速單元用于獲得車輛的行駛速度，所述的車輛駕駛轉(zhuǎn)角測量單元用于 獲得車輛方向盤的轉(zhuǎn)角，所述的剎車控制單元用于自動控制剎車踏板動作，所述的油門控 制單元用于禁止油門踏板動作，所述的測距單元用于檢測車輛前方道路上的障礙物與車輛 之間的距離，采用超聲波測距模塊；所述的視覺傳感器裝在車輛前部上方，負責(zé)拍攝車輛行駛前方的道路環(huán)境，通過USB 接口與嵌入式系統(tǒng)連接，將采集的視頻圖像傳至給所述的圖像處理與識別模塊；所述的車 速傳感器用于采集行駛過程中的車輛速度數(shù)據(jù)，通過A/D接口與嵌入式系統(tǒng)連接，經(jīng)過處 理后傳送給所述的判斷分析模塊；所述的超聲波測距單元用于檢測車輛前方道路上的障礙 物距離，采用市售的MSP430超聲波測距模塊，通過串行口與嵌入式系統(tǒng)連接；所述的方向 盤轉(zhuǎn)動傳感器用于檢測駕駛員的駕駛方向盤的動作，通過A/D接口與嵌入式系統(tǒng)連接。
3.如權(quán)利要求1或2所述的基于計算機視覺的誤將油門當(dāng)剎車錯誤操作防止裝置，其 特征在于所述的嵌入式系統(tǒng)包括嵌入式系統(tǒng)硬件和嵌入式系統(tǒng)軟件；所述的嵌入式系統(tǒng)硬件包括微處理器、GPIO接口、A/D接口、USB接口、串行接口、 SDRAM、NAND FLASH 禾口 電源；所述的嵌入式系統(tǒng)軟件包括環(huán)境信息采集模塊、圖像處理與識別模塊和判斷分析模塊；所述的圖像處理與識別模塊，用于接收環(huán)境信息采集模塊送來的視頻圖像，通過去除 噪聲、圖像分割、邊緣檢測圖像處理方法，去掉不相關(guān)背景，得到道路邊緣、前方車輛邊緣輪 廓和障礙物邊緣輪廓等圖像信息；通過模式識別方式對道路及道路標(biāo)線進行識別，確定道 路標(biāo)線在整幅圖像中的位置坐標(biāo)及本車在道路中的位置；對前方車輛輪廓進行識別，確定 前車輪廓尺寸及其在平面圖像中的位置；對前方障礙物邊緣輪廓進行識別，確認(rèn)該障礙物 輪廓尺寸及其在平面圖像中的位置，然后將處理結(jié)果傳送給所述的判斷分析模塊；所述的判斷分析模塊，用于根據(jù)所述的視覺傳感器在車輛上安裝的空間位置建立模 型，將道路標(biāo)線在平面圖像中的位置坐標(biāo)轉(zhuǎn)換為實際空間中與本車的相對位置以檢查車輛 是否在車道中正常行駛、車輛是否違章越線行駛、前方車輛的距離和前方障礙物的距離；利 用系列圖像的道路標(biāo)線計算車輛相對于道路標(biāo)線的運動軌跡；根據(jù)車輛運動軌跡分析駕駛員是否處于正常行駛狀態(tài)，利用系列圖像中前車輪廓大小的變化以及本車的車速與超聲波 測距相結(jié)合分析計算本車與前車的距離，判定是否有追尾碰撞的危險傾向；分析計算本車 與前方障礙物的距離，判定是否有駕駛風(fēng)險；誤將油門當(dāng)剎車錯誤操作的判斷過程對于誤將油門當(dāng)剎車錯誤操作，駕駛風(fēng)險系數(shù) 6根據(jù)車輛的最短剎車距離SB和障礙物距離&的比來進行判斷的；當(dāng)障礙物距離&等于 車輛的最短剎車距離SB時，需要采取剎車措施；車輛的最短剎車距離SB取決于輪胎與地面 之間的摩擦力，摩擦力的大小取決于摩擦系數(shù)，假設(shè)摩擦系數(shù)為P，車輛的最短剎車距離SB 由公式(1)進行計算； (1)式(1)中，SB為車輛的最短剎車距離，V為車輛的速度，g為重力加速度，y為輪胎與地 面之間的摩擦系數(shù)；車輛的速度V是通過讀取所述的車速傳感器的車輛速度數(shù)據(jù)獲得的；所述的駕駛風(fēng)險系數(shù)S (t)由公式(2)進行計算； 式(2)中，&為在某一速度情況下的車輛最短剎車距離，&為車輛前端與障礙物的距 離，5⑴為t時刻的駕駛風(fēng)險系數(shù)；S (t) = 1為駕駛風(fēng)險閾值點，S (t) < 1為駕駛風(fēng)險 可控區(qū)域，S (t) > 1為駕駛風(fēng)險不可控區(qū)域；車輛前端與障礙物的距離&是通過在所述 的圖像處理與識別模塊中估算得到的障礙物對象距離以及所述的超聲波測距單元所獲得 的障礙物距離數(shù)據(jù)來得到。
4.如權(quán)利要求3所述的基于計算機視覺的誤將油門當(dāng)剎車錯誤操作防止裝置，其特征 在于所述的判斷分析模塊中，設(shè)定反應(yīng)駕駛風(fēng)險變化趨勢量I描述駕駛的危險程度；在 相同駕駛風(fēng)險系數(shù)S (t)情況下，如果駕駛風(fēng)險變化趨勢量I (t)增大，其駕駛危險程度 在增大；反之，駕駛危險程度在減?。凰龅鸟{駛風(fēng)險變化趨勢量I (t)由公式(3)進行計 算； 式(3)中，S (t)為t時刻的駕駛風(fēng)險系數(shù)，6 (t-1)為t-1時刻的駕駛風(fēng)險系數(shù)，I (t) 為t時刻的駕駛風(fēng)險變化趨勢量；I (t) > 0表示駕駛風(fēng)險在增大，I (t) < 0表示駕駛風(fēng) 險在減小。
5.如權(quán)利要求4所述的基于計算機視覺的誤將油門當(dāng)剎車錯誤操作防止裝置，其特征 在于采用駕駛風(fēng)險系數(shù)S (t)和駕駛風(fēng)險變化趨勢量I (t)兩個指標(biāo)來綜合判斷駕駛風(fēng) 險和得到相關(guān)的駕駛決策，所述的駕駛決策為駕駛員的正確駕駛意圖；用判斷的駕駛決策 來檢驗駕駛員的駕駛意圖是否正確以及駕駛行為是否正確，用表1來歸納在沒有駕駛盤轉(zhuǎn)動情況下的駕駛決策； 表1油門當(dāng)剎車誤操作情況往往發(fā)生在表1中的V、VI、VII類中，在該三類情況中第VI類 情況最危險，正確的駕駛決策是減速、剎車；如果駕駛員的駕駛意圖是減速、剎車，駕駛動作 是踩剎車踏板，那么駕駛意圖和駕駛動作是一致的；如果駕駛員的駕駛意圖是減速、剎車， 而駕駛動作是踩油門踏板，那么駕駛意圖和駕駛動作是不一致的；對于第VI類情況，基于 計算機視覺的誤將油門當(dāng)剎車錯誤操作防止裝置就作出禁止油門踏板和自動剎車的判斷 和動作，使得駕駛員踩油門踏板無效同時對車輛自動進行剎車。
6.如權(quán)利要求3所述的基于計算機視覺的誤將油門當(dāng)剎車錯誤操作防止裝置，其特征 在于所述的嵌入式系統(tǒng)軟件還包括存儲和預(yù)警模塊，用于存儲違章行駛圖像，用判斷的駕 駛決策的結(jié)果向駕駛員進行語音警示，同時駕駛決策作出后的前方道路視頻圖像存于存儲 器中。
7.如權(quán)利要求5所述的基于計算機視覺的誤將油門當(dāng)剎車錯誤操作防止裝置，其特征 在于所述的嵌入式系統(tǒng)軟件還包括自動控制動作模塊，用于在車輛處于極度危險情況下， 自動控制車輛的油門踏板和剎車踏板，控制油門踏板和剎車踏板規(guī)則由表1所示，所述的 自動控制動作模塊有兩個輸出，一個輸出是車輛的油門踏板控制，另一個輸出是車輛的剎 車踏板控制。
8.如權(quán)利要求5所述的基于計算機視覺的誤將油門當(dāng)剎車等錯誤操作防止方法，其特 征在于在油門踏板的連桿上增添一個鎖緊機構(gòu)，當(dāng)所述的判斷分析模塊作出禁止油門踏 板的決策后，銷釘彈出頂入油門連桿的孔內(nèi)，即使駕駛員踩踏油門踏板，由于銷釘限制了油 門連桿回繞著轉(zhuǎn)軸的運動，油門的電子位移感應(yīng)器不會動作，從而油門也不能打開，銷釘彈 出控制是通過控制繼電器得電使得電磁鐵銜鐵動作來實現(xiàn)的。
9.如權(quán)利要求5所述的基于計算機視覺的誤將油門當(dāng)剎車等錯誤操作防止方法，其特 征在于車輛的剎車機構(gòu)上增添一個自動剎車控制機構(gòu)，當(dāng)所述的判斷分析模塊作出自動 剎車的決策后，控制繼電器得電閉合使得電磁回路導(dǎo)通，電磁鐵線圈得電產(chǎn)生磁場，裝在剎 車的踏板連桿上的電磁鐵銜鐵動作拉動剎車機構(gòu)緊急剎車。
10.如權(quán)利要求1所述的基于計算機視覺的誤將油門當(dāng)剎車等錯誤操作防止方法，其 特征在于所述的障礙物距離Stj的檢測由雷達、激光或超聲波技術(shù)實現(xiàn)，將雷達、激光或者 超聲波障礙物距離檢測設(shè)備安置在車輛的正前方，以獲得在車輛行駛方向上的各種障礙物 距罔S0O
全文摘要
一種基于計算機視覺的誤將油門當(dāng)剎車錯誤操作防止裝置，包括視覺傳感器、嵌入式系統(tǒng)、車輛測速單元、車輛駕駛轉(zhuǎn)角測量單元、測距單元、聲音報警單元、油門控制單元、剎車控制單元和供電單元；嵌入式系統(tǒng)用于讀取車輛的行駛速度、車輛方向盤轉(zhuǎn)角和車輛前方道路的視頻圖像等信息，用于估算前方道路上的障礙物距離，并根據(jù)障礙物距離、車輛方向盤轉(zhuǎn)角以及車輛的速度計算駕駛風(fēng)險系數(shù)和駕駛風(fēng)險變化趨勢量。本發(fā)明根據(jù)駕駛風(fēng)險系數(shù)和駕駛風(fēng)險變化趨勢量作出相應(yīng)的駕駛決策，根據(jù)駕駛決策控制所述的聲音報警單元發(fā)出駕駛警告聲、控制油門控制單元允許駕駛員踩踏油門的動作有效性、控制剎車控制單元控制車輛的自動剎車。
文檔編號G01C11/36GK101875348SQ20101021511
公開日2010年11月3日 申請日期2010年7月1日 優(yōu)先權(quán)日2010年7月1日
發(fā)明者俞立, 姚明海, 姜軍, 湯一平, 田旭園 申請人:浙江工業(yè)大學(xué)