本發(fā)明涉及駕駛輔助系統(tǒng)領域,具體而言,涉及一種前車起步的處理方法、裝置和系統(tǒng)。
背景技術:
在交通路口,在交通信號燈由紅燈亮轉為綠燈亮,或交通信號燈由紅色轉為綠色時,前面的車輛已經(jīng)駛出,而由于各種原因后面的車輛未及時跟隨,可能會造成交通擁堵,嚴重的可能造成交通事故?,F(xiàn)有技術中,一般通過基于前車和當前車輛的行駛狀態(tài)來判斷當前車輛是否需要起步,但是現(xiàn)有技術中通過重力傳感器、CAN總線或者GPS確定當前車輛的行駛狀態(tài)的結果誤差較大,且現(xiàn)有技術通過分析前車車尾影像的尺寸變化同時輔以聲波、激光等技術手段判斷前車是否運動,該判斷前車是否起步的技術手段需要的參數(shù)多、數(shù)據(jù)處理復雜、處理結果不準確。由上述分析可知,現(xiàn)有技術中無法準確判斷當前車輛和前車的行駛狀態(tài),從而無法準確地進行前車起步提醒。
針對現(xiàn)有技術在行車過程中無法準確進行前車起步提醒的問題,目前尚未提出有效的解決方案。
技術實現(xiàn)要素:
本發(fā)明實施例提供了一種前車起步的處理方法、裝置和系統(tǒng),以至少解決現(xiàn)有技術在行車過程中無法準確進行前車起步提醒的技術問題。
根據(jù)本發(fā)明實施例的一個方面,提供了一種前車起步的處理方法,應用于前車起步的處理系統(tǒng),處理系統(tǒng)包括:視頻傳感器和重力傳感器,該處理方法包括:通過視頻傳感器采集當前車輛的車頭前方圖像,以及通過重力傳感器采集當前車輛的加速度信息;基于車頭前方圖像的圖像特征和/或加速度信息確定當前車輛的行駛狀態(tài);在當前車輛的行駛狀態(tài)為靜止狀態(tài)時,獲取車頭前方圖像中目標對象的運動軌跡;根據(jù)目標對象的運動軌跡判斷是否生成用于提醒當前車輛啟動的提醒信息。
根據(jù)本發(fā)明實施例的另一方面,還提供了一種前車起步的處理裝置,應用于前車 起步的處理系統(tǒng),處理系統(tǒng)包括:視頻傳感器和重力傳感器,該處理裝置包括:采集單元,通過視頻傳感器采集當前車輛的車頭前方圖像,以及通過重力傳感器采集當前車輛的加速度信息;確定單元,用于基于車頭前方圖像的圖像特征和/或加速度信息確定當前車輛的行駛狀態(tài);獲取單元,用于在當前車輛的行駛狀態(tài)為靜止狀態(tài)時,獲取車頭前方圖像中目標對象的運動軌跡;生成單元,用于根據(jù)目標對象的運動軌跡判斷是否生成用于提醒當前車輛啟動的提醒信息。
根據(jù)本發(fā)明實施例的另一方面,又提供了一種前車起步的處理系統(tǒng),該處理系統(tǒng)包括:視頻傳感器,安裝在當前車輛的前擋風玻璃上,視頻傳感器與當前車輛的后視鏡位于同一水平線,用于采集當前車輛的車頭前方圖像;重力傳感器,用于采集當前車輛的加速度信息;處理器,與攝像機和重力傳感器連接,用于基于車頭前方圖像的圖像特征和/或加速度信息確定當前車輛的行駛狀態(tài),在當前車輛的行駛狀態(tài)為靜止狀態(tài)時,獲取車頭前方圖像中目標對象的運動軌跡,并根據(jù)目標對象的運動軌跡判斷是否生成用于提醒當前車輛啟動的提醒信息。
在本發(fā)明實施例中,基于通過視頻傳感器采集的車頭前方圖像的圖像特征和/或通過重力傳感器采集的加速度信息確定當前車輛的行駛狀態(tài),在當前車輛的行駛狀態(tài)為靜止狀態(tài)時,獲取車頭前方圖像中目標對象(包括前車)的運動軌跡,根據(jù)目標對象的運動軌跡判斷是否生成用于提醒當前車輛啟動的提醒信息。通過上述實施例,采用車頭前方圖像信息和加速度信息的結合準確判斷當前車輛的行駛狀態(tài)。在當前車輛的行駛狀態(tài)為靜止狀態(tài)時,基于車頭前方圖像中的目標對象的運動軌跡判斷當前車輛的前車是否啟動,以判斷是否需要生成提醒信息。該方案在處理過程中使用的參數(shù)少,處理結果準確,解決了現(xiàn)有技術在行車過程中無法準確進行前車起步提醒的技術問題,使得在當前車輛的前一車輛駛出時,可以及時提醒,以使當前車輛及時動作。
附圖說明
此處所說明的附圖用來提供對本發(fā)明的進一步理解,構成本申請的一部分,本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明,并不構成對本發(fā)明的不當限定。在附圖中:
圖1是根據(jù)本發(fā)明實施例的一種前車起步的處理方法的流程圖;
圖2是根據(jù)本發(fā)明實施例的一種可選的前車起步的處理方法的流程圖;
圖3是根據(jù)本發(fā)明實施例的另一種可選的前車起步的處理方法的流程圖;
圖4是根據(jù)本發(fā)明實施例的第三種可選的前車起步的處理方法的流程圖;
圖5是根據(jù)本發(fā)明實施例的第四種可選的前車起步的處理方法的流程圖;
圖6是根據(jù)本發(fā)明實施例的一種前車起步的處理裝置的示意圖;
圖7是根據(jù)本發(fā)明實施例的一種前車起步的處理系統(tǒng)的示意圖;
圖8是根據(jù)本發(fā)明實施例的一種可選的前車起步的處理系統(tǒng)的示意圖;
圖9是根據(jù)本發(fā)明實施例的另一種可選的前車起步的處理系統(tǒng)的示意圖。
具體實施方式
首先,在對本發(fā)明實施例進行描述的過程中出現(xiàn)的部分名詞或術語適用于如下解釋:
高級輔助駕駛系統(tǒng)(Advanced Driver Assistant System,ADAS):利用安裝于車上的多類傳感器,實時收集車內(nèi)外環(huán)境數(shù)據(jù),進行靜、動態(tài)物體的辨識、偵測與追蹤,從而讓駕駛者在最快時間內(nèi)察覺可能發(fā)生的危險,以提高行車安全。
單目視覺(Monocular Vision):用一臺攝像機獲取場景信息并進行智能分析。
線段檢測器(Line Segment Detector):在線性時間內(nèi)得到亞像素級準確度的直線段檢測算法。
卡爾曼濾波(Kalman filter):利用線性系統(tǒng)狀態(tài)方程,通過系統(tǒng)觀測數(shù)據(jù),對系統(tǒng)狀態(tài)進行最優(yōu)估計。
重力傳感器(G-sensor):能夠感知到加速度變化的傳感器。
CAN總線:控制器局域網(wǎng)絡(Controller Area Network,CAN)的簡稱,ISO國際標準化的串行通信協(xié)議,是國際上應用最廣泛的現(xiàn)場總線之一。
車尾(Vehicle Tail):在圖像中被檢測算法和跟蹤算法確認的車尾,用矩形框表示,在本文中與車輛、目標為同一個概念。
前車(Preceding Vehicle):在圖像中被確認的位于當前車輛車頭前方的唯一車輛,在本文中與前一車輛為同一個概念。
方向梯度直方圖(Histogram of Oriented Gradient):一種在計算機視覺和圖像處理中用來進行物體檢測的特征描述子,通過計算和統(tǒng)計圖像局部區(qū)域的梯度方向直方圖來構成特征。
Adaboost:一種迭代算法,核心思想是針對同一個訓練集訓練不同的弱分類器,然后把這些弱分類器集合起來,構成一個強分類器。
為了使本技術領域的人員更好地理解本發(fā)明方案,下面將結合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發(fā)明一部分的實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都應當屬于本發(fā)明保護的范圍。
需要說明的是,本發(fā)明的說明書和權利要求書及上述附圖中的術語“第一”、“第二”等是用于區(qū)別類似的對象,而不必用于描述特定的順序或先后次序。應該理解這樣使用的數(shù)據(jù)在適當情況下可以互換,以便這里描述的本發(fā)明的實施例能夠以除了在這里圖示或描述的那些以外的順序實施。此外,術語“包括”和“具有”以及他們的任何變形,意圖在于覆蓋不排他的包含,例如,包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設備不必限于清楚地列出的那些步驟或單元,而是可包括沒有清楚地列出的或對于這些過程、方法、產(chǎn)品或設備固有的其它步驟或單元。
實施例1
根據(jù)本發(fā)明實施例,提供了一種前車起步的處理方法的方法實施例,需要說明的是,在附圖的流程圖示出的步驟可以在諸如一組計算機可執(zhí)行指令的計算機系統(tǒng)中執(zhí)行,并且,雖然在流程圖中示出了邏輯順序,但是在某些情況下,可以以不同于此處的順序執(zhí)行所示出或描述的步驟。
圖1是根據(jù)本發(fā)明實施例的一種前車起步的處理方法的流程圖,如圖1所示,該前車起步的處理方法應用于前車起步的處理系統(tǒng),處理系統(tǒng)包括:視頻傳感器和重力傳感器,該處理方法可以包括如下步驟:
步驟S102,通過視頻傳感器采集當前車輛的車頭前方圖像,以及通過重力傳感器采集當前車輛的加速度信息。
步驟S104,基于車頭前方圖像的圖像特征和/或加速度信息確定當前車輛的行駛狀態(tài)。
其中,當前車輛的行駛狀態(tài)可以為靜止狀態(tài)或者運動狀態(tài),靜止狀態(tài)是指當前車輛相對路面靜止,比如等待紅綠燈或堵車時;運動狀態(tài)是指當前車輛相對路面運動,包括加速、減速、勻速運動。
步驟S106,在當前車輛的行駛狀態(tài)為靜止狀態(tài)時,獲取車頭前方圖像中目標對象的運動軌跡。
其中,車頭前方圖像中目標對象可以為一個或者多個。
步驟S108,根據(jù)目標對象的運動軌跡判斷是否生成用于提醒當前車輛啟動的提醒信息。
采用本發(fā)明實施例,基于通過視頻傳感器采集的車頭前方圖像的圖像特征和/或通過重力傳感器采集的加速度信息確定當前車輛的行駛狀態(tài),在當前車輛的行駛狀態(tài)為靜止狀態(tài)時,獲取車頭前方圖像中目標對象(包括前車)的運動軌跡,根據(jù)目標對象的運動軌跡判斷是否生成用于提醒當前車輛啟動的提醒信息。通過上述實施例,采用車頭前方圖像信息和加速度信息的結合準確判斷當前車輛的行駛狀態(tài)。在當前車輛的行駛狀態(tài)為靜止狀態(tài)時,基于車頭前方圖像中的目標對象的運動軌跡判斷當前車輛的前車是否啟動,以判斷是否需要生成提醒信息。該方案在處理過程中使用的參數(shù)少,處理結果準確,解決了現(xiàn)有技術在行車過程中無法準確進行前車起步提醒的問題,使得在當前車輛的前一車輛駛出時,可以及時提醒,以使當前車輛及時動作。
上述實施例中,可以通過安裝在當前車輛后視鏡后方擋風玻璃上的攝像機實時捕獲當前車輛的車頭前方的連續(xù)畫面,以獲取當前車輛的車頭前方圖像。重力傳感器實時獲取當前車輛的加速度信息,該加速度信息包括當前車輛在世界坐標系三個不同方向的加速度值,其中,上述的三個不同方向分別為車輛運行方向、垂直于車輛運行方向且與路面平行方向、垂直于路面方向。
通過獲取車頭前方圖像和加速度信息,無需修改車輛線路,比只使用重力傳感器確定車輛的行駛狀態(tài)的方案也更加準確。
可選地,上述實施例中的攝像機可以為一臺,通過一臺攝像機實時捕獲當前車輛的車頭前方的連續(xù)畫面得到獲取當前車輛的車頭前方圖像,重力傳感器獲取當前車輛的加速度信息。基于該車頭前方圖像的圖像特征和/或加速度信息確定當前車輛的行駛狀態(tài),若確定的當前車輛的行駛狀態(tài)為靜止狀態(tài)時,獲取車頭前方圖像中一個或多個目標對象的運動軌跡,基于該一個或多個目標對象的運動軌跡判斷當前車輛的前車是否已經(jīng)駛出,若當前車輛的前車已經(jīng)駛出,且該車仍處于靜止狀態(tài),則生成提醒信息。
下面以當前車輛行駛在交通路口為應用場景詳細說明本發(fā)明實施例:
當前行駛車輛的后視鏡后方的擋風玻璃上安裝有攝像機,若該當前車輛行駛到交通路口時,該交通路口的交通燈為紅色,則當前車輛停車,并啟動該處理方法。在啟動該算法之后,通過攝像機捕獲當前車輛的前方場景的連續(xù)多幀畫面,并通過重力傳感器獲取當前車輛在三個不同方向上的加速度信息,通過該車頭前方圖像的圖像特征和/或加速度信息的加速度值確定當前車輛的行駛狀態(tài)為靜止狀態(tài),跟蹤車頭前方圖像中目標對象的運動軌跡,若通過目標對象的運動軌跡判斷出當前車輛的前一車輛駛出, 則生成用于提醒當前車輛啟動的提醒信息,并通過提示裝置輸出該提醒信息,以提醒當前車輛及時啟動。
通過上述實施例,在交通信號燈轉換顏色時,可以實現(xiàn)當前車輛的前一車輛駛出后,當前車輛能夠自動、準確識別并起步跟隨的效果。
根據(jù)本發(fā)明的上述實施例,基于車頭前方圖像的圖像特征和/或加速度信息確定當前車輛的行駛狀態(tài)包括:在當前車輛的行駛狀態(tài)為初始狀態(tài)時,基于連續(xù)N幀車頭前方圖像的幀差前景比例和/或當前車輛的加速度信息確定當前車輛的行駛狀態(tài)為靜止狀態(tài)或運動狀態(tài);在當前車輛的行駛狀態(tài)不為初始狀態(tài)時,基于連續(xù)N幀車頭前方圖像的幀差前景比例和/或幀差前景離散度以及當前車輛的加速度信息確定當前車輛的行駛狀態(tài)為靜止狀態(tài)或運動狀態(tài),其中,車頭前方圖像的圖像特征包括幀差前景比例和幀差前景離散度。
其中,車頭前方圖像的圖像特征包括幀差前景比例和幀差前景離散度,幀差前景比例是指幀差前景點個數(shù)與圖像像素點個數(shù)比例;幀差前景離散度是指前景塊面積與圖像像素點個數(shù)比例,用來衡量前景的離散程度。其中的前景塊是對幀差前景點進行腐蝕、膨脹、連通域處理得到的矩形塊。
上述實施例中的重力傳感器獲取的加速度信息包括加速度值,能準確反映當前車輛是否處于加減速狀態(tài),在當前車輛啟動或停止時,加速度值較大,在當期車輛勻速運動或靜止時,加速度值較小。
在上述實施例中,在確定當前車輛的行駛狀態(tài)時使用了車前場景的幀差前景離散度特征,可以去除旁道車輛對判斷當前車輛行駛狀態(tài)的干擾。
通過上述實施例,基于當前車輛的車頭前方圖像的圖像特征和/或加速度信息確定當前車輛的行駛狀態(tài),從而實現(xiàn)對當前車輛行駛狀態(tài)的準確確定。
具體地,在當前車輛的行駛狀態(tài)為初始狀態(tài)時,基于連續(xù)N幀車頭前方圖像的幀差前景比例和/或當前車輛的加速度信息確定當前車輛的行駛狀態(tài)為靜止狀態(tài)或運動狀態(tài)包括:若連續(xù)N幀車頭前方圖像的幀差前景比例大于預設比例閾值、或連續(xù)N幀車頭前方圖像中每幀車頭前方圖像對應的當前車輛的加速度值大于預設加速度閾值,則確定當前車輛的行駛狀態(tài)為運動狀態(tài),其中,加速度信息包括加速度值;若連續(xù)N幀車頭前方圖像的幀差前景比例不大于預設比例閾值、且連續(xù)N幀車頭前方圖像中每幀車頭前方圖像對應的當前車輛的加速度值不大于預設加速度閾值,則確定當前車輛的行駛狀態(tài)為靜止狀態(tài)。
其中,加速度值為通過重力傳感器采集的加速度信息。
進一步地,在當前車輛的行駛狀態(tài)不為初始狀態(tài)時,基于連續(xù)N幀車頭前方圖像的幀差前景比例和/或幀差前景離散度以及當前車輛的加速度信息確定當前車輛的行駛狀態(tài)為靜止狀態(tài)或運動狀態(tài)包括:在當前車輛的行駛狀態(tài)為運動狀態(tài)的情況下,若連續(xù)N幀車頭前方圖像中每幀車頭前方圖像對應的當前車輛的加速度值不大于預設加速度閾值、且連續(xù)N幀車頭前方圖像的幀差前景比例不大于預設比例閾值,則確定當前車輛的行駛狀態(tài)變更為靜止狀態(tài);或,若連續(xù)N幀車頭前方圖像中每幀車頭前方圖像對應的當前車輛的加速度值不大于預設加速度閾值、且連續(xù)N幀車頭前方圖像的幀差前景離散度不大于預設離散度閾值,則確定當前車輛的行駛狀態(tài)變更為靜止狀態(tài);否則,確定當前車輛的行駛狀態(tài)為運動狀態(tài)。在當前車輛的行駛狀態(tài)為靜止狀態(tài)的情況下,若連續(xù)N幀車頭前方圖像中每幀車頭前方圖像對應的當前車輛的加速度值大于預設加速度閾值,則確定當前車輛的行駛狀態(tài)變更為運動狀態(tài),否則,確定當前車輛的行駛狀態(tài)為靜止狀態(tài)。
可選地,預設加速度閾值可以用Tg表示,預設比例閾值可以用Tf表示,預設離散度閾值可以用Ts表示。
可選地,該實施例通過視頻傳感器(如上述的攝像機)實時獲取當前車輛的車頭前方的連續(xù)多幀畫面,得到當前車輛的車頭前方的圖像信息,重力傳感器獲取當前車輛的加速度信息,基于該車頭前方的圖像信息和加速度信息確定當前車輛的行駛狀態(tài)。
在該實施例中,可以通過狀態(tài)機模型確定當前車輛的行駛狀態(tài),具體地,狀態(tài)機模型包括三個狀態(tài):初始狀態(tài)、運動狀態(tài)和靜止狀態(tài)。初始狀態(tài)是在系統(tǒng)啟動時,由于采集的車頭前方圖像的幀數(shù)未達到系統(tǒng)設定的最小幀數(shù)閾值,則系統(tǒng)無法判斷出當前車輛的行駛狀態(tài),此時將當前車輛的行駛狀態(tài)設置為初始狀態(tài)。運動狀態(tài)是指當前車輛相對路面的運動速度的狀態(tài),包括加速運動、減速運動以及勻速運動。靜止狀態(tài)是指當前車輛相對路面靜止,比如等待紅綠燈或堵車時。
上述的系統(tǒng)是指用于實現(xiàn)前車起步的處理方法的系統(tǒng)。
可選地,狀態(tài)機模型如圖2所示,該狀態(tài)機模型的三個狀態(tài)之間的切換可以利用當前車輛的車頭前方圖像的圖像特征和重力傳感器獲取的加速度信息來實現(xiàn)。
在系統(tǒng)剛啟動時,當前車輛的行駛狀態(tài)為初始狀態(tài),基于當前車輛的連續(xù)N幀車頭前方圖像的幀差前景比例和/或當前車輛的加速度信息確定當前車輛的行駛狀態(tài)為靜止狀態(tài)或運動狀態(tài)(即圖2中通過規(guī)則1或規(guī)則2確定當前車輛的行駛狀態(tài))。
具體地,如果在N幀當前車輛車頭前方圖像內(nèi),每幀車頭前方圖像對應的當前車 輛的加速度值都超過預設加速度閾值Tg或每幀車頭前方圖像對應的當前車輛的幀差前景比例都大于預設比例閾值Tf,那么確定當前車輛的行駛狀態(tài)為運動狀態(tài),即圖2中的規(guī)則1。
如果在N幀當前車輛車頭前方圖像內(nèi),每幀車頭前方圖像對應的當前車輛的加速度值都小于預設加速度閾值Tg,且每幀車頭前方圖像對應的當前車輛的幀差前景比例都小于預設比例閾值Tf,那么確定當前車輛的行駛狀態(tài)為靜止狀態(tài),即圖2中的規(guī)則2。
在確定當前車輛的行駛狀態(tài)為靜止狀態(tài)或運動狀態(tài)的情況下,可以按照圖2所示的規(guī)則3和規(guī)則4對當前車輛的當前的行駛狀態(tài)進行判斷,具體地:
規(guī)則3:在當前車輛的行駛狀態(tài)為運動狀態(tài)的情況下,如果連續(xù)N幀車頭前方圖像中每幀車頭前方圖像對應的當前車輛的加速度值小于預設加速度閾值Tg、且連續(xù)N幀車頭前方圖像的幀差前景比例小于預設比例閾值Tf;或,如果連續(xù)N幀車頭前方圖像中每幀車頭前方圖像對應的當前車輛的加速度值小于預設加速度閾值Tg,且連續(xù)N幀車頭前方圖像的幀差前景離散度小于預設離散度閾值Ts,那么當前車輛的行駛狀態(tài)切換到靜止狀態(tài);否則,當前車輛維持運動狀態(tài)。
規(guī)則4:在當前車輛的行駛狀態(tài)為靜止狀態(tài)的情況下,如果連續(xù)N幀車頭前方圖像中每幀車頭前方圖像對應的當前車輛的加速度值大于預設加速度閾值Tg,那么當前車輛的行駛狀態(tài)切換至運動狀態(tài);否則當前車輛維持靜止狀態(tài)。
通過上述實施例,采用狀態(tài)機模型可以準確判斷當前車輛的行駛狀態(tài)。
根據(jù)本發(fā)明的上述實施例,在當前車輛的行駛狀態(tài)為靜止狀態(tài)時,獲取車頭前方圖像中目標對象的運動軌跡包括:對車頭前方圖像進行車尾檢測,得到車頭前方圖像中的一個或多個目標對象;對檢測到的各個目標對象進行目標跟蹤,得到各個目標對象的運動軌跡。
具體地,對車頭前方圖像進行車尾檢測包括:在不同的檢測時間段采用不同的車尾檢測模型對車頭前方圖像進行車尾檢測。
可選地,根據(jù)目標對象的運動軌跡判斷是否生成用于提醒當前車輛啟動的提醒信 息包括:基于各個目標對象的運動軌跡判斷當前車輛的前一車輛是否發(fā)生運動;若當前車輛的前一車輛發(fā)生運動,則生成用于提醒當前車輛啟動的提醒信息,其中,前一車輛為與當前車輛行駛在同一車道且在當前車輛車頭前方的車輛。
在上述實施例中,在當前車輛的行駛狀態(tài)為靜止狀態(tài)時,通過車尾檢測和目標跟蹤得到一個或多個目標對象的運動軌跡,基于該一個或多個目標對象的運動軌跡判斷當前車輛的前車是否已經(jīng)駛出,若當前車輛的前車已經(jīng)駛出,且該當前車輛仍處于靜止狀態(tài),則生成提醒信息,以提醒當前車輛及時動作。
下面結合圖3詳述本發(fā)明上述實施例,如圖3所示,該實施例可以通過如下步驟實現(xiàn):
步驟S301:通過視頻傳感器采集當前車輛的車頭前方圖像。
步驟S302:通過重力傳感器采集當前車輛的加速度信息。
具體地,可以通過一臺攝像機實時捕獲當前車輛的車頭前方的連續(xù)畫面得到獲取當前車輛的車頭前方圖像,重力傳感器實時獲取當前車輛在三個不同方向上的加速度信息。
步驟S303:基于車頭前方圖像的圖像特征和/或加速度信息確定當前車輛的行駛狀態(tài)是否為靜止狀態(tài)。
若確定當前車輛的行駛狀態(tài)為靜止狀態(tài),則執(zhí)行步驟S304;若確定當前車輛的行駛狀態(tài)不為靜止狀態(tài),則結束提醒算法。
步驟S304:對車頭前方圖像進行車尾檢測,得到車頭前方圖像中的一個或多個目標對象。
可選地,在當前車輛行駛狀態(tài)為靜止狀態(tài)時,對通過一臺攝像機采集的當前車輛的當前幀的車頭前方圖像進行車尾檢測,在當前車輛行駛狀態(tài)為運動狀態(tài)時,關閉車尾檢測。
在該實施例中,車尾檢測采用離線學習方式,分別訓練兩個檢測時間段(如白天和晚上兩個檢測時間段)的兩個車尾模型,車尾模型通過提取車尾樣本HOG特征,用Adaboost算法訓練得到。在進行車尾檢測時,白天采用訓練得到的白天車尾模型,到了夜間,自適應切換為夜間車尾模型,可以實現(xiàn)在不同時間段調(diào)用不同模型,保證了前車起步的處理方法在夜間的可用性。
可選地,在進行車尾檢測時,以特定尺度因子對車頭前方圖像進行降采樣,得到 降采樣圖像(可選地,該降采樣圖樣生成對應圖像的縮略圖,提高系統(tǒng)處理速度),對每個降采樣圖像通過滑動窗口方式掃描,計算各滑動窗口圖像與訓練得到的車尾模型的匹配度,匹配度較高的窗口作為目標對象輸出,得到車頭前方圖像中一個或多個目標對象,并對得到的一個或多個目標對象進行目標跟蹤。其中,特定尺度因子可以預先設置。
步驟S305:對檢測到的各個目標對象進行目標跟蹤,得到各個目標對象的運動軌跡。
其中,目標跟蹤采用基于顏色的目標跟蹤算法ColorCSK,可對多個目標對象同時進行跟蹤。ColorCSK算法以顏色為圖像特征,利用頻率域實現(xiàn)快速相關匹配,該算法包括建模和匹配跟蹤兩部分:建模時,將目標對象的車尾位置作為訓練樣本,根據(jù)期望響應在頻率域中更新目標模型參數(shù);匹配跟蹤時,利用已有的車尾模型對目標對象進行相關匹配,找到響應值最高位置作為當前幀圖像的目標對象的軌跡位置輸出。
可選地,在目標跟蹤過程中,由于同一目標對象與當前車輛的距離不同在圖像中形成的像的大小也會不同,ColorCSK算法具有尺度自適應性,可維持不同尺寸多個跟蹤模型,以實現(xiàn)對同一目標對象(如,車)的持續(xù)穩(wěn)定跟蹤,得到各個目標對象的跟蹤軌跡。
在當前車輛行駛狀態(tài)為運動狀態(tài)時,停止目標跟蹤。
步驟S306:檢測車頭前方圖像中的車道線。
通過檢測是否有車道線以及車道線在圖像中的位置。
步驟S307:基于車道線的檢測結果和目標對象的運動軌跡判斷當前車輛的前一車輛是否發(fā)生運動。
基于目標對象與車道線的相對位置判斷目標對象是否為旁道目標,去除旁道車輛起步造成的對當前車輛的誤提醒。
若當前車輛的前一車輛發(fā)生運動,則執(zhí)行步驟S308;若當前車輛的前一車輛未發(fā)生運動,則結束提醒流程。
步驟S308:生成用于提醒當前車輛啟動的提醒信息。
根據(jù)本發(fā)明的上述實施例,基于各個目標對象的運動軌跡判斷當前車輛的前一車輛是否發(fā)生運動可以包括:基于各個目標對象的運動軌跡確定各個目標對象的運行方向;利用目標對象的運行方向和運動軌跡的長度判斷目標對象是否為正在運動的候選 目標,得到候選目標隊列;判斷候選目標隊列中的各個候選目標是否為旁道目標,其中,旁道目標為與當前車輛行駛在不同車道的目標;若候選目標為旁道目標,則從候選目標隊列中刪除旁道目標,得到更新后的候選目標隊列;判斷更新后的候選目標隊列中的候選目標是否為當前車輛的前一車輛;若更新后的候選目標隊列中的候選目標為當前車輛的前一車輛,則判斷出當前車輛的前一車輛發(fā)生運動。
具體地,在當前車輛的行駛狀態(tài)為靜止狀態(tài)時,通過車尾檢測和目標跟蹤得到一個或多個目標對象的運動軌跡,基于各個目標對象的運動軌跡確定各個目標對象的運行方向(轉彎或直行),并利用目標對象的運動軌跡和與運行方向對應的預設判斷條件確定目標對象是否為正在運動的候選目標,得到候選目標隊列。判斷候選目標隊列中的各個候選目標是否與當前車輛行駛在同一車道,若候選目標與當前車輛行駛在不同車道,則該候選目標為旁道目標,從候選目標隊列中刪除該候選目標,得到更新后的候選目標隊列,并判斷更新后的候選目標隊列中的候選目標是否為當前車輛的前一車輛,前一車輛是指與當前車輛行駛在同一車道且在當前車輛車頭前方的車輛,若為當前車輛的前一車輛,判斷出當前車輛的前一車輛發(fā)生運動,則生成用于提醒當前車輛啟動的提醒信息。
通過上述實施例,基于各個目標對象的運動軌跡判斷當前車輛的前一車輛是否發(fā)生運動,若當前車輛的前一車輛發(fā)生運動,則生成用于提醒當前車輛啟動的提醒信息,以提醒當前車輛及時動作。
具體地,基于各個目標對象的運動軌跡確定各個目標對象的運行方向包括:若目標對象的運動軌跡的擬合曲線曲率大于預設曲率閾值,則確定目標對象的運行方向為轉彎;若目標對象的運動軌跡的擬合曲線曲率不大于預設曲率閾值,則確定目標對象的運行方向為直行。
根據(jù)本發(fā)明的上述實施例,利用目標對象的運行方向和運動軌跡的長度判斷目標對象是否為正在運動的候選目標包括:若目標對象的運行方向為轉彎,且目標對象的運行軌跡的長度大于第一預設長度閾值,則確定目標對象為正在運動的候選目標;若目標對象的運行方向為直行,且目標對象的運行軌跡的長度大于第二預設長度閾值,則確定目標對象為正在運動的候選目標。
可選地,預設曲率閾值可以用T表示,第一預設長度閾值可以用L1表示,第二預設長度閾值可以用L2表示。
可選地,對于通過基于對每一幀圖像進行車尾檢測和目標跟蹤得到的一個或多個目標對象的檢測跟蹤結果更新,更新運動軌跡。首先通過各個目標對象的運動軌跡確 定各個目標對象的運行方向(直行或轉彎)。如果目標對象的運動軌跡擬合曲線曲率大于預設曲率閾值T,則確定該目標對象的運行方向為轉彎;如果目標對象的運動軌跡擬合曲線曲率小于T,則確定該目標對象的運行方向為直行。對于運動方向為轉彎的目標對象,如果對應的運動軌跡長度大于第一預設長度閾值L1(單位為像素),則確定該目標對象為正在運動的候選目標,將該目標對象加入候選目標隊列;對于運動方向為直行的目標對象,如果對應的運動軌跡長度大于第二預設長度閾值L2(單位為像素),則確定該目標對象為正在運動的候選目標,將該目標對象加入候選目標隊列。如果軌跡較短,沒有滿足條件的候選目標,則直接跳出,進入下一幀運動軌跡的更新。
通過上述實施例,可以準確判斷出當前車輛的前一車輛是否發(fā)生運動,并在前一車輛發(fā)生運動的情況下,生成用于提醒當前車輛啟動的提醒信息,以提醒當前車輛及時動作。
下面結合圖4詳述本發(fā)明上述實施例,如圖4所示該實施例可以通過如下步驟實現(xiàn):
步驟S401:獲取目標對象的運動軌跡。
步驟S402:基于各個目標對象的運動軌跡確定各個目標對象的運行方向。
若目標對象的運行方向為轉彎,則執(zhí)行步驟S403;若目標對象的運行方向為直行,則執(zhí)行步驟S404。
具體地,若目標對象的運動軌跡的擬合曲線曲率大于預設曲率閾值,則確定目標對象的運行方向為轉彎;若目標對象的運動軌跡的擬合曲線曲率不大于預設曲率閾值,則確定目標對象的運行方向為直行。
步驟S403:判斷目標對象的運行軌跡的長度是否大于第一預設長度閾值。
若目標對象的運行軌跡的長度大于第一預設長度閾值,則確定目標對象為正在運動的候選目標。
步驟S404:判斷目標對象的運行軌跡的長度是否大于第二預設長度閾值。
若目標對象的運行軌跡的長度大于第二預設長度閾值,則確定目標對象為正在運動的候選目標。
步驟S405:將目標對象加入候選目標隊列。
具體地,將確定為正在運動的候選目標的目標對象加入候選目標隊列。
步驟S406:判斷候選目標隊列中的候選目標是否為旁道目標。
其中,旁道目標為與當前車輛行駛在不同車道的目標。
若候選目標為旁道目標,則執(zhí)行步驟S409:從候選目標隊列中刪除旁道目標,得到更新后的候選目標隊列;若候選目標不為旁道目標,執(zhí)行步驟S407。
步驟S407:判斷候選目標是否為當前車輛的前一車輛。
判斷更新后的候選目標隊列中的候選目標是否為前車,若更新后的候選目標隊列中的候選目標為當前車輛的前一車輛,則判斷出當前車輛的前一車輛發(fā)生運動,則執(zhí)行步驟S408。
步驟S408:報警。
根據(jù)本發(fā)明的上述實施例,判斷候選目標隊列中的各個候選目標是否為旁道目標包括:檢測車頭前方圖像中的車道線;若檢測到車道線,則判斷候選目標是否與當前車輛行駛在同一車道內(nèi),若候選目標與當前車輛行駛在同一車道內(nèi),則候選目標不是旁道目標;若未檢測到車道線,基于候選目標在車頭前方圖像中的位置和候選目標的運動軌跡判斷候選目標是否滿足旁道車輛行駛軌跡,若候選目標滿足旁道車輛行駛軌跡,則確定候選目標為旁道目標;若候選目標不滿足旁道車輛行駛軌跡,則確定候選目標不是旁道目標。
可選地,采用車道線檢測判斷候選目標是否與當前車輛在同一車道內(nèi),以過濾旁道車輛起步造成的誤觸發(fā),車道線檢測模塊包括線段檢測、線段合并、車道線篩選和車道線跟蹤四個步驟,其中線段檢測采用LSD算法。
通過上述實施例,檢測車頭前方圖像中的車道線,并在檢測到有效車道線和未檢測到有效車道線兩種情況下,判斷候選目標隊列中的各個候選目標是否為旁道目標,從候選目標隊列中刪除旁道目標,得到更新后的候選目標隊列,以過濾旁道車輛起步時造成對當前車輛的誤提醒。
下面結合圖5詳述本發(fā)明上述實施例的旁道車輛的判斷流程,如圖5所示旁道車輛的判斷流程通過如下步驟實現(xiàn):
步驟S501:檢測車頭前方圖像中的車道線是否有效。
若檢測到有效車道線,則執(zhí)行步驟S502;若未檢測到有效車道線,則執(zhí)行步驟S503。
步驟S502:判斷候選目標是否在有效車道線內(nèi)。
具體地,判斷候選目標是否與當前車輛行駛在同一車道內(nèi)。若候選目標與當前車輛行駛在同一車道內(nèi),則候選目標不是旁道目標,則執(zhí)行步驟S504:確定候選目標為 本車道車輛;若候選目標與當前車輛行駛不在同一車道內(nèi),則執(zhí)行步驟S505:確定候選目標為旁道車輛。
其中,本車道車輛是指與當前車輛在同一車道內(nèi)的候選目標,旁道車輛是指與當前車輛不在同一車道內(nèi)的候選目標。
步驟S503:判斷候選目標是否滿足旁道車輛運動軌跡。
具體地,基于候選目標在車頭前方圖像中的位置和候選目標的運動軌跡判斷候選目標是否滿足旁道車輛運動軌跡。
若候選目標滿足旁道車輛運動軌跡,則執(zhí)行步驟S505;若候選目標不滿足旁道車輛運動軌跡,則執(zhí)行步驟S504。
根據(jù)本發(fā)明的上述實施例,判斷更新后的候選目標隊列中的候選目標是否為當前車輛的前一車輛包括:通過更新后的候選目標隊列中的所有候選目標的初始位置和各個候選目標之間的相對位置判斷候選目標是否為前一車輛。
具體地,通過更新后的候選目標隊列中的所有候選目標的初始位置和各個候選目標之間的相對位置判斷候選目標是否為前一車輛可以包括:通過更新后的候選目標隊列中的所有候選目標的初始位置和各個候選目標之間的相對位置,確定距離車頭前方圖像的下邊緣中點最短的候選目標為前一車輛。
具體地,在得到更新后的候選目標隊列之后,獲取更新后的候選目標隊列中的所有候選目標的初始位置和各個候選目標之間的相對位置,并通過分析確定距離車頭前方圖像的下邊緣中點最短的候選目標,該候選目標為當前車輛的前一車輛,則判斷出當前車輛的前一車輛發(fā)生動作,生成用于提醒當前車輛啟動的提醒信息,以提醒當前車輛及時動作。若通過分析未得到有效候選目標,則候選目標隊列中不存在發(fā)生運動的前一車輛,則進入下一幀運動軌跡的更新。
可選地,可以通過報警裝置輸出語音或圖像提醒當前車輛的駕駛員和/或通過光線的變化提醒駕駛員,例如夜間變化車內(nèi)的氛圍燈等。
通過上述實施例,可以準確判斷出更新后的候選目標隊列中的候選目標是否為當前車輛的前一車輛,并在存在候選目標為當前車輛的前一車輛時,判斷出當前車輛的前一車輛發(fā)生動作,生成用于提醒當前車輛啟動的提醒信息,以提醒當前車輛及時動作。
具體地,本發(fā)明實施例是基于重力傳感器和單目視覺的前車起步的處理方法,其中的單目視覺是指可以通過一臺攝像機獲取當前車輛的車頭前方場景信息并進行智能 分析?;谕ㄟ^一臺攝像機獲取的當前車輛的車頭前方圖像的圖像特征和重力傳感器獲取的加速度信息,采用狀態(tài)機模型,通過多特征融合可以準確判斷當前車輛的行駛狀態(tài)。在判斷出當前車輛的行駛狀態(tài)為靜止狀態(tài)時,在不同的檢測時間段采用不同的車尾檢測模型對每一幀車頭前方圖像進行車尾檢測,得到車頭前方圖像中的一個或多個目標對象,并跟蹤各個目標對象得到各個目標對象的運動軌跡。通過車道線檢測的檢測結果去除目標對象中的旁道車輛,以過濾旁道車輛起步對當前車輛造成的誤提醒,在去除旁道車輛之后,判斷剩余的目標對象中是否存在當前車輛的前一車輛,若判斷出存在當前車輛的前一車輛,則生成提醒信息,以提醒當前車輛及時動作。
在上述的車道線檢測中,若檢測不到有效車道線,則基于候選目標在車頭前方圖像中的位置和候選目標的運動軌跡判斷候選目標是否滿足旁道車輛運動軌跡,若候選目標滿足旁道車輛運動軌跡,則確定該候選目標為旁道車輛,刪除該候選目標。
通過上述實施例,采用車頭前方圖像信息和加速度信息的結合準確判斷當前車輛的行駛狀態(tài),在當前車輛的行駛狀態(tài)為靜止狀態(tài)時,基于車頭前方圖像中的目標對象的運動軌跡判斷當前車輛的前車是否啟動,以判斷是否生成提醒信息。該方案在處理過程中使用的參數(shù)少,處理結果準確,解決了現(xiàn)有技術在行車過程中無法準確進行前車起步提醒的問題,使得在當前車輛的前一車輛駛出時,可以及時提醒,以使當前車輛及時動作。
需要說明的是,對于前述的各方法實施例,為了簡單描述,故將其都表述為一系列的動作組合,但是本領域技術人員應該知悉,本發(fā)明并不受所描述的動作順序的限制,因為依據(jù)本發(fā)明,某些步驟可以采用其他順序或者同時進行。其次,本領域技術人員也應該知悉,說明書中所描述的實施例均屬于優(yōu)選實施例,所涉及的動作和模塊并不一定是本發(fā)明所必須的。
通過以上的實施方式的描述,本領域的技術人員可以清楚地了解到根據(jù)上述實施例的方法可借助軟件加必需的通用硬件平臺的方式來實現(xiàn),當然也可以通過硬件,但很多情況下前者是更佳的實施方式?;谶@樣的理解,本發(fā)明的技術方案本質上或者說對現(xiàn)有技術做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計算機軟件產(chǎn)品存儲在一個存儲介質(如ROM/RAM、磁碟、光盤)中,包括若干指令用以使得一臺終端設備(可以是手機,計算機,服務器,或者網(wǎng)絡設備等)執(zhí)行本發(fā)明各個實施例所述的方法。
實施例2
根據(jù)本發(fā)明實施例,還提供了一種用于前車起步的處理方法的處理裝置,應用于前車起步的處理系統(tǒng),處理系統(tǒng)包括:視頻傳感器和重力傳感器,如圖6所示,該裝置包括:采集模塊20、確定模塊40、獲取模塊60以及生成模塊80。
其中,采集單元20,用于通過視頻傳感器采集當前車輛的車頭前方圖像,以及通過重力傳感器采集當前車輛的加速度信息。
確定單元40,用于基于車頭前方圖像的圖像特征和/或加速度信息確定當前車輛的行駛狀態(tài)。
其中,當前車輛的行駛狀態(tài)可以為靜止狀態(tài)或者運動狀態(tài),靜止狀態(tài)是指當前車輛相對路面靜止,比如等待紅綠燈或堵車時;運動狀態(tài)是指當前車輛相對路面運動,包括加速、減速、勻速運動。
獲取單元60,用于在當前車輛的行駛狀態(tài)為靜止狀態(tài)時,獲取車頭前方圖像中目標對象的運動軌跡。
其中,車頭前方圖像中目標對象可以為一個或者多個。
生成單元80,用于根據(jù)目標對象的運動軌跡判斷是否生成用于提醒當前車輛啟動的提醒信息。
采用本發(fā)明實施例,基于通過視頻傳感器采集的車頭前方圖像的圖像特征和/或通過重力傳感器采集的加速度信息確定當前車輛的行駛狀態(tài),在當前車輛的行駛狀態(tài)為靜止狀態(tài)時,獲取車頭前方圖像中目標對象(包括前車)的運動軌跡,根據(jù)目標對象的運動軌跡判斷是否生成用于提醒當前車輛啟動的提醒信息。通過上述實施例,采用車頭前方圖像信息和加速度信息的結合準確判斷當前車輛的行駛狀態(tài),在當前車輛的行駛狀態(tài)為靜止狀態(tài)時,基于車頭前方圖像中的目標對象的運動軌跡判斷當前車輛的前車是否啟動,以判斷是否需要生成提醒信息。該方案在處理過程中使用的參數(shù)少,處理結果準確,解決了現(xiàn)有技術在行車過程中無法準確進行前車起步提醒的問題,使得在當前車輛的前一車輛駛出時,可以及時提醒,以使當前車輛及時動作。
上述實施例中,可以通過安裝在當前車輛后視鏡后方擋風玻璃上的攝像機實時捕獲當前車輛的車頭前方的連續(xù)畫面,以獲取當前車輛的車頭前方圖像,重力傳感器實時獲取當前車輛的加速度信息,該加速度信息包括當前車輛在世界坐標系三個不同方向的加速度值。所述的三個不同方向分別為車輛運行方向、垂直于車輛運行方向且與路面平行方向、垂直于路面方向。
通過獲取車頭前方圖像和加速度信息,無需修改車輛線路,比只使用重力傳感器確定車輛的行駛狀態(tài)的方案也更加準確。
可選地,上述實施例中的攝像機可以為一臺,通過一臺攝像機實時捕獲當前車輛的車頭前方的連續(xù)多幀畫面得到獲取當前車輛的車頭前方圖像,重力傳感器獲取當前車輛的加速度信息,基于該車頭前方圖像的圖像特征和/或加速度信息確定當前車輛的行駛狀態(tài),若確定的當前車輛的行駛狀態(tài)為靜止狀態(tài)時,獲取車頭前方圖像中一個或多個目標對象的運動軌跡,基于該一個或多個目標對象的運動軌跡判斷當前車輛的前車是否已經(jīng)駛出,若當前車輛的前車已經(jīng)駛出,且該車仍處于靜止狀態(tài),則生成提醒信息。
根據(jù)本發(fā)明的上述實施例,確定單元包括:第一確定模塊,用于在當前車輛的行駛狀態(tài)為初始狀態(tài)時,基于連續(xù)N幀車頭前方圖像的幀差前景比例和/或當前車輛的加速度信息確定當前車輛的行駛狀態(tài)為靜止狀態(tài)或運動狀態(tài);第二確定模塊,用于在當前車輛的行駛狀態(tài)不為初始狀態(tài)時,基于連續(xù)N幀車頭前方圖像的幀差前景比例和/或幀差前景離散度以及當前車輛的加速度信息確定當前車輛的行駛狀態(tài)為靜止狀態(tài)或運動狀態(tài),
其中,車頭前方圖像的圖像特征包括幀差前景比例和幀差前景離散度,幀差前景比例是指幀差前景點個數(shù)與圖像像素點個數(shù)比例;幀差前景離散度是指前景塊面積與圖像像素點個數(shù)比例,用來衡量前景的離散程度。其中的前景塊是對幀差前景點進行腐蝕、膨脹、連通域處理得到的矩形塊。
上述實施例中的重力傳感器獲取的加速度信息包括加速度值,能準確反映當前車輛是否處于加減速狀態(tài),在當前車輛啟動或停止時,加速度值較大,在當期車輛勻速運動或靜止時,加速度值較小。
在上述實施例中,在確定當前車輛的行駛狀態(tài)時使用了車前場景的幀差前景離散度的參數(shù),可以去除旁道車輛對判斷當前車輛行駛狀態(tài)的干擾。
通過上述實施例,基于當前車輛的車頭前方圖像的圖像特征和/或加速度信息確定當前車輛的行駛狀態(tài),從而實現(xiàn)對當前車輛行駛狀態(tài)的準確確定。
具體地,在當前車輛的行駛狀態(tài)為初始狀態(tài)時,基于連續(xù)N幀車頭前方圖像的幀差前景比例和/或當前車輛的加速度信息確定當前車輛的行駛狀態(tài)為靜止狀態(tài)或運動狀態(tài)包括:若連續(xù)N幀車頭前方圖像的幀差前景比例大于預設比例閾值、或連續(xù)N幀車頭前方圖像中每幀車頭前方圖像對應的當前車輛的加速度值大于預設加速度閾值,則確定當前車輛的行駛狀態(tài)為運動狀態(tài),其中,加速度信息包括加速度值;若連續(xù)N 幀車頭前方圖像的幀差前景比例不大于預設比例閾值、且連續(xù)N幀車頭前方圖像中每幀車頭前方圖像對應的當前車輛的加速度值不大于預設加速度閾值,則確定當前車輛的行駛狀態(tài)為靜止狀態(tài)。
其中,加速度值為通過重力傳感器采集的加速度信息。
進一步地,在當前車輛的行駛狀態(tài)不為初始狀態(tài)時,基于連續(xù)N幀車頭前方圖像的幀差前景比例和/或幀差前景離散度以及當前車輛的加速度信息確定當前車輛的行駛狀態(tài)為靜止狀態(tài)或運動狀態(tài)包括:在當前車輛的行駛狀態(tài)為運動狀態(tài)的情況下,若連續(xù)N幀車頭前方圖像中每幀車頭前方圖像對應的當前車輛的加速度值不大于預設加速度閾值、且連續(xù)N幀車頭前方圖像的幀差前景比例不大于預設比例閾值,則確定當前車輛的行駛狀態(tài)變更為靜止狀態(tài);或,若連續(xù)N幀車頭前方圖像中每幀車頭前方圖像對應的當前車輛的加速度值不大于預設加速度閾值、且連續(xù)N幀車頭前方圖像的幀差前景離散度不大于預設離散度閾值,則確定當前車輛的行駛狀態(tài)變更為靜止狀態(tài);否則,確定當前車輛的行駛狀態(tài)為運動狀態(tài)。在當前車輛的行駛狀態(tài)為靜止狀態(tài)的情況下,若連續(xù)N幀車頭前方圖像中每幀車頭前方圖像對應的當前車輛的加速度值大于預設加速度閾值,則確定當前車輛的行駛狀態(tài)變更為運動狀態(tài),否則,確定當前車輛的行駛狀態(tài)為靜止狀態(tài)。
根據(jù)本發(fā)明的上述實施例,獲取單元包括:車尾檢測模塊,用于對車頭前方圖像進行車尾檢測,得到車頭前方圖像中的一個或多個目標對象;目標跟蹤模塊,用于對檢測到的各個目標對象進行目標跟蹤,得到各個目標對象的運動軌跡。
具體地,對車頭前方圖像進行車尾檢測包括:在不同的檢測時間段采用不同的車尾檢測模型對車頭前方圖像進行車尾檢測。
可選地,在當前車輛行駛狀態(tài)為靜止狀態(tài)時,對通過一臺攝像機采集的當前車輛的當前幀的車頭前方圖像進行車尾檢測,在當前車輛行駛狀態(tài)為運動狀態(tài)時,關閉車尾檢測。
在該實施例中,車尾檢測模塊采用離線學習方式,分別訓練兩個檢測時間段(如白天和晚上兩個檢測時間段)的兩個車尾模型,車尾模型通過提取車尾樣本HOG特征,用Adaboost算法訓練得到。在進行車尾檢測時,白天采用訓練得到的白天車尾模型,到了夜間,自適應切換為夜間車尾模型,可以實現(xiàn)在不同時間段調(diào)用不同模型,保證了前車起步的處理方法在夜間的可用性。
可選地,車尾檢測模塊以特定尺度因子對車頭前方圖像進行降采樣,得到降采樣圖像(可選地,該降采樣圖樣生成對應圖像的縮略圖,提高系統(tǒng)處理速度),對每個降 采樣圖像通過滑動窗口方式掃描,計算各滑動窗口圖像與訓練得到的車尾模型的匹配度,匹配度較高的窗口作為目標對象輸出,得到車頭前方圖像中一個或多個目標對象,并對得到的一個或多個目標對象進行目標跟蹤。其中,特定尺度因子可以預先設置的值。
目標跟蹤模塊采用基于顏色的目標跟蹤算法ColorCSK,可對多個目標對象同時進行跟蹤。ColorCSK算法以顏色為圖像特征,利用頻率域實現(xiàn)快速相關匹配,該算法包括建模和匹配跟蹤兩部分:建模時,將目標對象的車尾位置作為訓練樣本,根據(jù)期望響應在頻率域中更新目標模型參數(shù);匹配跟蹤時,利用已有的車尾模型對目標對象進行相關匹配,找到響應值最高位置作為當前幀圖像的目標對象的軌跡位置輸出。
可選地,在目標跟蹤過程中,由于同一目標對象與當前車輛的距離不同在圖像中形成的像的大小也會不同,ColorCSK算法具有尺度自適應性,可維持不同尺寸多個跟蹤模型,以實現(xiàn)對同一目標對象(如,車)的持續(xù)穩(wěn)定跟蹤,得到各個目標對象的跟蹤軌跡。
在當前車輛行駛狀態(tài)為運動狀態(tài)時,停止目標跟蹤。
根據(jù)本發(fā)明的上述實施例,生成單元包括:判斷模塊,用于基于各個目標對象的運動軌跡判斷當前車輛的前一車輛是否發(fā)生運動;生成模塊,用于若當前車輛的前一車輛發(fā)生運動,則生成用于提醒當前車輛啟動的提醒信息,其中,前一車輛為與當前車輛行駛在同一車道且在當前車輛車頭前方的車輛。
具體地,判斷模塊包括:確定子模塊,用于基于各個目標對象的運動軌跡確定各個目標對象的運行方向;第一判斷子模塊,用于利用目標對象的運行方向和運動軌跡的長度判斷目標對象是否為正在運動的候選目標,得到候選目標隊列;第二判斷子模塊,用于判斷候選目標隊列中的各個候選目標是否為旁道目標,其中,旁道目標為與當前車輛行駛在不同車道的目標;刪除子模塊,用于若候選目標為旁道目標,則從候選目標隊列中刪除旁道目標,得到更新后的候選目標隊列;第三判斷子模塊,用于判斷更新后的候選目標隊列中的候選目標是否為當前車輛的前一車輛;第四判斷子模塊,用于若更新后的候選目標隊列中的候選目標為當前車輛的前一車輛,則判斷出當前車輛的前一車輛發(fā)生運動。
具體地,在當前車輛的行駛狀態(tài)為靜止狀態(tài)時,通過車尾檢測和目標跟蹤得到一個或多個目標對象的運動軌跡,基于各個目標對象的運動軌跡確定各個目標對象的運行方向(轉彎或直行),并利用目標對象的運動軌跡和與運行方向對應的預設判斷條件確定目標對象是否為正在運動的候選目標,得到候選目標隊列。判斷候選目標隊列中 的各個候選目標是否與當前車輛行駛在同一車道,若候選目標與當前車輛行駛在不同車道,則該候選目標為旁道目標,從候選目標隊列中刪除該候選目標,得到更新后的候選目標隊列,并判斷更新后的候選目標隊列中的候選目標是否為當前車輛的前一車輛,前一車輛是指與當前車輛行駛在同一車道且在當前車輛車頭前方的車輛,若為當前車輛的前一車輛,判斷出當前車輛的前一車輛發(fā)生運動,則生成用于提醒當前車輛啟動的提醒信息。
通過上述實施例,基于各個目標對象的運動軌跡判斷當前車輛的前一車輛是否發(fā)生運動,若當前車輛的前一車輛發(fā)生運動,則生成用于提醒當前車輛啟動的提醒信息,以提醒當前車輛及時動作。
第一確定子模塊包括:若目標對象的運動軌跡的擬合曲線曲率大于預設曲率閾值,則確定目標對象的運行方向為轉彎;若目標對象的運動軌跡的擬合曲線曲率不大于預設曲率閾值,則確定目標對象的運行方向為直行。
第一判斷子模塊包括:若目標對象的運行方向為轉彎,且目標對象的運行軌跡的長度大于第一預設長度閾值,則確定目標對象為正在運動的候選目標;若目標對象的運行方向為直行,且目標對象的運行軌跡的長度大于第二預設長度閾值,則確定目標對象為正在運動的候選目標。
第二判斷子模塊包括:檢測車頭前方圖像中的車道線;若檢測到車道線,則判斷候選目標是否與當前車輛行駛在同一車道內(nèi),若候選目標與當前車輛行駛在同一車道內(nèi),則候選目標不是旁道目標;若未檢測到車道線,基于候選目標在車頭前方圖像中的位置和候選目標的運動軌跡判斷候選目標是否滿足旁道車輛行駛軌跡,若候選目標滿足旁道車輛行駛軌跡,則確定候選目標為旁道目標;若候選目標不滿足旁道車輛行駛軌跡,則確定候選目標不是旁道目標。
第三判斷子模塊包括:通過更新后的候選目標隊列中的所有候選目標的初始位置和各個候選目標之間的相對位置判斷候選目標是否為前一車輛。具體地,第三判斷子模塊通過更新后的候選目標隊列中的所有候選目標的初始位置和各個候選目標之間的相對位置確定距離車頭前方圖像的下邊緣中點最短的候選目標為前一車輛。
具體地,本發(fā)明實施例是基于重力傳感器和單目視覺的前車起步的處理方法,其中的單目視覺是指可以通過一臺攝像機獲取當前車輛的車頭前方場景信息并進行智能分析。基于通過一臺攝像機獲取的當前車輛的車頭前方圖像的圖像特征和重力傳感器獲取的加速度信息,采用狀態(tài)機模型,通過多特征融合可以準確判斷當前車輛的行駛狀態(tài)。在判斷出當前車輛的行駛狀態(tài)為靜止狀態(tài)時,在不同的檢測時間段采用不同的 車尾檢測模型對每一幀車頭前方圖像進行車尾檢測,得到車頭前方圖像中的一個或多個目標對象,并跟蹤各個目標對象得到各個目標對象的運動軌跡。通過車道線檢測的檢測結果去除目標對象中的旁道車輛,以過濾旁道車輛起步對當前車輛造成的誤提醒,在去除旁道車輛之后,判斷剩余的目標對象中是否存在當前車輛的前一車輛,若判斷出存在當前車輛的前一車輛,則生成提醒信息,以提醒當前車輛及時動作。
在上述的車道線檢測中,若檢測不到有效車道線,則基于候選目標在車頭前方圖像中的位置和候選目標的運動軌跡判斷候選目標是否滿足旁道車輛運動軌跡,若候選目標滿足旁道車輛運動軌跡,則確定該候選目標為旁道車輛,刪除該候選目標。
通過上述實施例,采用車頭前方圖像信息和加速度信息的結合準確判斷當前車輛的行駛狀態(tài),在當前車輛的行駛狀態(tài)為靜止狀態(tài)時,基于車頭前方圖像中的目標對象的運動軌跡判斷當前車輛的前車是否啟動,以判斷是否生成提醒信息。該方案在處理過程中使用的參數(shù)少,處理結果準確,解決了現(xiàn)有技術在行車過程中無法準確進行前車起步提醒的問題,使得在當前車輛的前一車輛駛出時,可以及時提醒,以使當前車輛及時動作。
本實施例中所提供的各個模塊與方法實施例對應步驟所提供的使用方法相同、應用場景也可以相同。當然,需要注意的是,上述模塊涉及的方案可以不限于上述實施例中的內(nèi)容和場景,且上述模塊可以運行在計算機終端或移動終端,可以通過軟件或硬件實現(xiàn)。
實施例3
根據(jù)本申請實施例,又提供了一種前車起步的處理系統(tǒng),如圖7所示,該處理系統(tǒng)可以包括:視頻傳感器71、重力傳感器73以及處理器75。
其中,視頻傳感器71,安裝在當前車輛的前擋風玻璃上,攝像機與當前車輛的后視鏡位于同一水平線,用于采集當前車輛的車頭前方圖像。
重力傳感器73,用于采集當前車輛的加速度信息。
處理器75,與視頻傳感器71和重力傳感器73連接,用于基于車頭前方圖像的圖像特征和/或加速度信息確定當前車輛的行駛狀態(tài),在當前車輛的行駛狀態(tài)為靜止狀態(tài)時,獲取車頭前方圖像中目標對象的運動軌跡,并根據(jù)目標對象的運動軌跡判斷是否生成用于提醒當前車輛啟動的提醒信息。
采用本發(fā)明實施例,安裝在當前車輛的前擋風玻璃上的視頻傳感器采集當前車輛的車頭前方圖像,重力傳感器采集當前車輛的加速度信息,基于采集的車頭前方圖像 的圖像特征和/或加速度信息的加速度值,確定當前車輛的行駛狀態(tài),在當前車輛的行駛狀態(tài)為靜止狀態(tài)時,獲取車頭前方圖像中目標對象的運動軌跡,根據(jù)目標對象的運動軌跡判斷是否生成用于提醒當前車輛啟動的提醒信息。
在上述實施例中,可以使用一個視覺傳感器獲取當前車輛的車頭前方場景的圖像信息,在該方案中基于重力傳感器和單目視覺實現(xiàn)前車起步提醒,增加了提醒的準確性。
如圖8所示根據(jù)本發(fā)明的上述實施例,處理系統(tǒng)還可以包括:提醒單元87,用于將提醒信息以聲音和/或圖像方式輸出。
本申請上述實施例中的視頻傳感器的功能可以通過攝像機實現(xiàn),上述的提醒單元可以為報警單元。
在本發(fā)明實施例中,攝像機81采集當前車輛的車頭前方圖像,重力傳感器83采集當前車輛的加速度信息,處理單元85基于采集的車頭前方圖像的圖像特征和/或加速度信息的加速度值,確定當前車輛的行駛狀態(tài),在當前車輛的行駛狀態(tài)為靜止狀態(tài)時,獲取車頭前方圖像中目標對象的運動軌跡,根據(jù)目標對象的運動軌跡判斷是否生成用于提醒當前車輛啟動的提醒信息,若生成提醒信息,則可以通過提醒單元87(如報警單元)輸出語音或圖像提醒當前車輛的駕駛員以及/或通過光線的變化提醒駕駛員。
可選地,前車起步的提醒系統(tǒng)(包括視頻傳感器、重力傳感器、處理器以及提醒單元),該提醒系統(tǒng)安裝在當前車輛后視鏡后方擋風玻璃上,其中的視頻傳感器(如攝像機)保持水平,該攝像機可以與當前車輛的后視鏡位于同一水平線,安裝示意圖如圖9所示。
通過上述實施例,采用當前車輛的車頭前方圖像信息和加速度信息的結合準確判斷當前車輛的行駛狀態(tài),在當前車輛的行駛狀態(tài)為靜止狀態(tài)時,基于車頭前方圖像中的目標對象的運動軌跡判斷當前車輛的前車是否啟動,以判斷是否需要生成提醒信息。該方案在處理過程中使用的參數(shù)少,處理結果準確,解決了現(xiàn)有技術在行車過程中無法準確進行前車起步提醒的問題,使得在當前車輛的前一車輛駛出時,可以及時提醒,以使當前車輛及時動作。
上述本發(fā)明實施例序號僅僅為了描述,不代表實施例的優(yōu)劣。
在本發(fā)明的上述實施例中,對各個實施例的描述都各有側重,某個實施例中沒有詳述的部分,可以參見其他實施例的相關描述。
在本申請所提供的幾個實施例中,應該理解到,所揭露的技術內(nèi)容,可通過其它 的方式實現(xiàn)。其中,以上所描述的裝置實施例僅僅是示意性的,例如所述單元的劃分,可以為一種邏輯功能劃分,實際實現(xiàn)時可以有另外的劃分方式,例如多個單元或組件可以結合或者可以集成到另一個系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,單元或模塊的間接耦合或通信連接,可以是電性或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個地方,或者也可以分布到多個單元上。可以根據(jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。
另外,在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn),也可以采用軟件功能單元的形式實現(xiàn)。
所述集成的單元如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時,可以存儲在一個計算機可讀取存儲介質中?;谶@樣的理解,本發(fā)明的技術方案本質上或者說對現(xiàn)有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計算機軟件產(chǎn)品存儲在一個存儲介質中,包括若干指令用以使得一臺計算機設備(可為個人計算機、服務器或者網(wǎng)絡設備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括:U盤、只讀存儲器(ROM,Read-Only Memory)、隨機存取存儲器(RAM,Random Access Memory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質。
以上所述僅是本發(fā)明的優(yōu)選實施方式,應當指出,對于本技術領域的普通技術人員來說,在不脫離本發(fā)明原理的前提下,還可以做出若干改進和潤飾,這些改進和潤飾也應視為本發(fā)明的保護范圍。