專利名稱：一種檢測(cè)和跟蹤夜間行駛車輛的方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理領(lǐng)域和計(jì)算機(jī)視覺領(lǐng)域的技術(shù)，涉及一種檢測(cè)和跟蹤夜間行駛車輛的方法。
背景技術(shù)：
夜間車輛檢測(cè)不像白天，白天車輛清晰可見，對(duì)比度明顯，現(xiàn)有圖像處理和視覺算法能有效檢測(cè)出車輛。夜間情況大不相同，在不同的照明條件下，車輛的車體可見度不一樣，在路面照明不足的情況下這種算法不能檢測(cè)車體，而車體上的各種車燈及其路面反射光線非常明顯，這種算法需要排除大面積的路面反射光的影響，而又要檢測(cè)出相鄰車輛的車燈，這是夜間車輛檢測(cè)的難點(diǎn)。在夜間車輛檢測(cè)中，由于明亮的車燈的顯著特征，無論道路上有沒有路燈照明，無論天氣情況如何，車輛前燈特征是相對(duì)穩(wěn)定的。所以現(xiàn)在有的夜間車輛檢測(cè)算法都一般都是以明亮的車燈作為特征來檢測(cè)的。艾特銳視(Iteris)、皮克(Peek)等系統(tǒng)在夜間就是采用檢測(cè)車輛前燈的方法檢測(cè)。研究者R. Taktak和Rita Cucchiara也提出了基于車輛前燈的車輛檢測(cè)。R. Taktak使用灰值形態(tài)學(xué)變換提取明亮的車燈，計(jì)算車燈的周長(zhǎng)、面積、圓形度等形狀特征，以及車燈之間的距離、形狀特征比等參數(shù)，用這些參數(shù)作為屬性，用樣本訓(xùn)練決策樹，用來尋找成對(duì)車燈，從而檢測(cè)車輛[1]。Rita Cucchiara采用閾值法提取明亮車燈，利用動(dòng)態(tài)信息排除靜止光源，使用車燈形狀特征初步配對(duì)車燈，然后比較車燈對(duì)對(duì)稱軸方向與車流方向來排除一些錯(cuò)誤配對(duì)，從而檢測(cè)車輛[2]。在夜晚這樣的特殊的場(chǎng)景下，由于光照的不穩(wěn)定，環(huán)境的復(fù)雜性，現(xiàn)有的前景檢測(cè)算法都失效，并不能實(shí)現(xiàn)在夜晚的場(chǎng)景下車輛的檢測(cè)。上述引用的參考文獻(xiàn)R. Taktak, M. Dufaut, R. Husson. "Vehicle Detection at Night using Image Processing and Pattern Recognition, ，， In: International Conference on Image Processing, Austin, Texas, USA, Nov. 1994, pp:296-300.Cucchiara, R. , Piccardi, M. "Vehicle Detection under Day and Night Illumination,，，Proc. of ISCS-IIA99, Special Session on Vehicle Traffic and Surveillance, 1999，pp:789-794。

發(fā)明內(nèi)容
本發(fā)明的目的在于，針對(duì)上述問題，一種檢測(cè)和跟蹤夜間行駛車輛的方法，為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是具體按照以下步驟實(shí)施
步驟1 前景檢測(cè)，選取車燈亮度進(jìn)行前景檢測(cè)，
在檢測(cè)之前把輸入視頻幀進(jìn)行灰度化，再通過公式的運(yùn)算，得到一個(gè)二值化的圖像，通過檢測(cè)視頻流中每一幀的像素點(diǎn)的亮度是否大于設(shè)定的閾值來檢測(cè)出車燈區(qū)域； 步驟2:噪點(diǎn)消除，通過對(duì)步驟1得到的二值化圖像進(jìn)行形態(tài)學(xué)的開運(yùn)算操作去掉大部的噪點(diǎn)，再通過基于車燈的形狀消除掉一部分車燈在路面的投影，較準(zhǔn)確地得到前景目標(biāo)，根據(jù)先驗(yàn)知識(shí)，車燈一般都是圓形的，如果不是步驟1所述的二值化圖像，聯(lián)通區(qū)域不是圓形的，將此目標(biāo)濾除掉，較準(zhǔn)確地得到前景目標(biāo)；
步驟3 車燈匹配，對(duì)車燈對(duì)的匹配應(yīng)同時(shí)滿足以下四條規(guī)則
(1)兩車燈之間的路面坐標(biāo)距離小于最大車燈對(duì)寬度；
(2)正常行駛的車輛其車燈對(duì)連線應(yīng)近似垂直于車道方向，變道車輛的車燈對(duì)連線斜率小于車燈對(duì)最大斜率；
(3)兩車燈形狀相似；
(4)一個(gè)車燈最多只能屬于一個(gè)配對(duì)，當(dāng)一個(gè)車燈與其他兩個(gè)或兩個(gè)以上的車燈都相似配對(duì)時(shí)，只取相似度最大的配對(duì)，而排除其他配對(duì)；
根據(jù)同一輛車的車燈的形狀相近、運(yùn)動(dòng)特征相同這兩個(gè)特點(diǎn)，首先求取各車燈的運(yùn)動(dòng)特征值，在運(yùn)動(dòng)特征值相同的一組車燈中求取每?jī)蓚€(gè)車燈的相似度值，根據(jù)相似度最大的原則進(jìn)行兩車燈配對(duì)，把屬于同一輛車的大小前燈、裝飾燈、車頂燈及它們的倒影歸為一組，并找出其中的大前燈對(duì)，以大前燈對(duì)代表該車輛；
步驟4:車燈對(duì)跟蹤按照上述的步驟完成車燈的配對(duì)后，再對(duì)車燈進(jìn)行跟蹤，從而實(shí)現(xiàn)對(duì)車輛的跟蹤，按照以下的方法實(shí)現(xiàn)
首先分析幀間車燈對(duì)的相對(duì)位置，然后根據(jù)以下的幀間車燈對(duì)關(guān)聯(lián)的規(guī)則跟蹤車燈， 第一，幀間車燈對(duì)位置預(yù)測(cè)規(guī)則
根據(jù)以下的步驟，采用卡爾曼濾波來預(yù)測(cè)車燈對(duì)的下一幀的位置，
(1)定義目標(biāo)觀測(cè)值，將目標(biāo)初始化；
(2)通過預(yù)測(cè)下一時(shí)刻目標(biāo)的目標(biāo)位置預(yù)測(cè)目標(biāo)的可能出現(xiàn)區(qū)域，然后在一定區(qū)域內(nèi)搜索目標(biāo)的最佳匹配圖像，得到觀測(cè)值；
(3)根據(jù)上一步的觀測(cè)值采用更新公式更新目標(biāo)狀態(tài)的估計(jì)，得到最終的一個(gè)濾波結(jié)
果；
(4)根據(jù)步驟(3)得到的目標(biāo)狀態(tài)的估計(jì)值再轉(zhuǎn)到步驟O)進(jìn)行下一個(gè)時(shí)刻的濾波估計(jì)，最終得到一個(gè)表示目標(biāo)狀態(tài)的估計(jì)觀測(cè)值的序列即卡爾曼濾波結(jié)果；
第二，幀間車燈對(duì)匹配規(guī)則
(1)車燈對(duì)在下一幀可能出現(xiàn)的位置在當(dāng)前幀的位置范圍；
(2)根據(jù)前后幀車燈的特征向量值來匹配車燈；
(3)建立當(dāng)前幀的車燈對(duì)，從下一幀圖像提取的車燈對(duì)中尋找可以與當(dāng)前幀車燈對(duì)關(guān)聯(lián)的兩車燈，而不是從下一幀圖像提取的大前燈對(duì)中選擇；
第三，車燈對(duì)的分組規(guī)則
將屬于同一輛車的車燈對(duì)歸為一組，按照以下規(guī)則找出其中的大前燈對(duì)(1)這些車燈對(duì)分布在一定范圍內(nèi)；(2)大前燈對(duì)面積最大， 步驟5:再次跟蹤目標(biāo)后進(jìn)行車燈對(duì)匹配
為了彌補(bǔ)前面的方法的中匹配失敗的車燈檢測(cè)，按照以下的步驟完成對(duì)車輛的跟蹤
第一，按下述的步驟跟蹤車燈，
(1)計(jì)算當(dāng)前幀中各目標(biāo)的特征向量；(2)將當(dāng)前幀中的各目標(biāo)向量與目標(biāo)鏈中的各目標(biāo)的向量進(jìn)行匹配；
(3)更新目標(biāo)鏈；
第二，按下述的步驟跟蹤車輛
完成對(duì)車燈的檢測(cè)跟蹤后，將屬于同一輛車的車燈歸類，結(jié)合先驗(yàn)知識(shí)和車燈的運(yùn)動(dòng)信息，來減少車輛的誤檢和漏檢測(cè)，通過以下方法實(shí)現(xiàn)對(duì)車輛的檢測(cè)和跟蹤
(1)計(jì)算當(dāng)前目標(biāo)鏈中各個(gè)目標(biāo)之間的距離，將滿足一定條件的目標(biāo)歸為同一類；
(2)計(jì)算同一類目標(biāo)中各個(gè)目標(biāo)之間的運(yùn)動(dòng)差分向量，將滿足一定條件的目標(biāo)歸為同
一輛車；
當(dāng)目標(biāo)鏈中的目標(biāo)全部合并完成以后，定義一個(gè)集合表示被檢測(cè)的車輛，通過對(duì)集合中任一元素的跟蹤對(duì)車輛進(jìn)行跟蹤，通過集合中所有元素的運(yùn)動(dòng)信息的均值來提取車輛的運(yùn)動(dòng)信息，最后得到需要檢測(cè)的車輛。 進(jìn)一步的，所述步驟1中的檢測(cè)視頻流中每一幀的像素點(diǎn)的亮度是否大于設(shè)定的閾值來檢測(cè)前景的檢測(cè)的公式為
權(quán)利要求
1. 一種檢測(cè)和跟蹤夜間行駛車輛的方法，通過車燈的檢測(cè)來檢測(cè)和跟蹤車輛，其特征在于，具體按照以下步驟實(shí)施步驟1 前景檢測(cè)，選取車燈亮度進(jìn)行前景檢測(cè)，在檢測(cè)之前把輸入視頻幀進(jìn)行灰度化，再通過公式的運(yùn)算，得到一個(gè)二值化的圖像，通過檢測(cè)視頻流中每一幀的像素點(diǎn)的亮度是否大于設(shè)定的閾值來檢測(cè)出車燈區(qū)域；步驟2:噪點(diǎn)消除，通過對(duì)步驟1得到的二值化圖像進(jìn)行形態(tài)學(xué)的開運(yùn)算操作去掉大部的噪點(diǎn)，再通過基于車燈的形狀消除掉一部分車燈在路面的投影，較準(zhǔn)確地得到前景目標(biāo)，根據(jù)先驗(yàn)知識(shí)，車燈一般都是圓形的，如果不是步驟1所述的二值化圖像，聯(lián)通區(qū)域不是圓形的，將此目標(biāo)濾除掉，較準(zhǔn)確地得到前景目標(biāo)；步驟3 車燈匹配，對(duì)車燈對(duì)的匹配應(yīng)同時(shí)滿足以下四條規(guī)則(1)兩車燈之間的路面坐標(biāo)距離小于最大車燈對(duì)寬度；(2)正常行駛的車輛其車燈對(duì)連線應(yīng)近似垂直于車道方向，變道車輛的車燈對(duì)連線斜率小于車燈對(duì)最大斜率；(3)兩車燈形狀相似；(4)一個(gè)車燈最多只能屬于一個(gè)配對(duì)，當(dāng)一個(gè)車燈與其他兩個(gè)或兩個(gè)以上的車燈都相似配對(duì)時(shí)，只取相似度最大的配對(duì)，而排除其他配對(duì)；根據(jù)同一輛車的車燈的形狀相近、運(yùn)動(dòng)特征相同這兩個(gè)特點(diǎn)，首先求取各車燈的運(yùn)動(dòng)特征值，在運(yùn)動(dòng)特征值相同的一組車燈中求取每?jī)蓚€(gè)車燈的相似度值，根據(jù)相似度最大的原則進(jìn)行兩車燈配對(duì)，把屬于同一輛車的大小前燈、裝飾燈、車頂燈及它們的倒影歸為一組，并找出其中的大前燈對(duì)，以大前燈對(duì)代表該車輛；步驟4:車燈對(duì)跟蹤按照上述的步驟完成車燈的配對(duì)后，再對(duì)車燈進(jìn)行跟蹤，從而實(shí)現(xiàn)對(duì)車輛的跟蹤，按照以下的方法實(shí)現(xiàn)首先分析幀間車燈對(duì)的相對(duì)位置，然后根據(jù)以下的幀間車燈對(duì)關(guān)聯(lián)的規(guī)則跟蹤車燈，第一，幀間車燈對(duì)位置預(yù)測(cè)規(guī)則根據(jù)以下的步驟，采用卡爾曼濾波來預(yù)測(cè)車燈對(duì)的下一幀的位置，(1)定義目標(biāo)觀測(cè)值，將目標(biāo)初始化；(2)通過預(yù)測(cè)下一時(shí)刻目標(biāo)的目標(biāo)位置預(yù)測(cè)目標(biāo)的可能出現(xiàn)區(qū)域，然后在一定區(qū)域內(nèi)搜索目標(biāo)的最佳匹配圖像，得到觀測(cè)值；(3)根據(jù)上一步的觀測(cè)值采用更新公式更新目標(biāo)狀態(tài)的估計(jì)，得到最終的一個(gè)濾波結(jié)果；(4)根據(jù)步驟(3)得到的目標(biāo)狀態(tài)的估計(jì)值再轉(zhuǎn)到步驟O)進(jìn)行下一個(gè)時(shí)刻的濾波估計(jì)，最終得到一個(gè)表示目標(biāo)狀態(tài)的估計(jì)觀測(cè)值的序列即卡爾曼濾波結(jié)果；第二，幀間車燈對(duì)匹配規(guī)則(1)車燈對(duì)在下一幀可能出現(xiàn)的位置在當(dāng)前幀的位置范圍；(2)根據(jù)前后幀車燈的特征向量值來匹配車燈；(3)建立當(dāng)前幀的車燈對(duì)，從下一幀圖像提取的車燈對(duì)中尋找可以與當(dāng)前幀車燈對(duì)關(guān)聯(lián)的兩車燈，而不是從下一幀圖像提取的大前燈對(duì)中選擇；第三，車燈對(duì)的分組規(guī)則將屬于同一輛車的車燈對(duì)歸為一組，按照以下規(guī)則找出其中的大前燈對(duì)(1)這些車燈對(duì)分布在一定范圍內(nèi)；(2)大前燈對(duì)面積最大，步驟5:再次跟蹤目標(biāo)后進(jìn)行車燈對(duì)匹配為了彌補(bǔ)前面的方法的中匹配失敗的車燈檢測(cè)，按照以下的步驟完成對(duì)車輛的跟蹤第一，按下述的步驟跟蹤車燈，(1)計(jì)算當(dāng)前幀中各目標(biāo)的特征向量；(2)將當(dāng)前幀中的各目標(biāo)向量與目標(biāo)鏈中的各目標(biāo)的向量進(jìn)行匹配；(3)更新目標(biāo)鏈；第二，按下述的步驟跟蹤車輛完成對(duì)車燈的檢測(cè)跟蹤后，將屬于同一輛車的車燈歸類，結(jié)合先驗(yàn)知識(shí)和車燈的運(yùn)動(dòng)信息，來減少車輛的誤檢和漏檢測(cè)，通過以下方法實(shí)現(xiàn)對(duì)車輛的檢測(cè)和跟蹤(1 )計(jì)算當(dāng)前目標(biāo)鏈中各個(gè)目標(biāo)之間的距離，將滿足一定條件的目標(biāo)歸為同一類；(2)計(jì)算同一類目標(biāo)中各個(gè)目標(biāo)之間的運(yùn)動(dòng)差分向量，將滿足一定條件的目標(biāo)歸為同一輛車；當(dāng)目標(biāo)鏈中的目標(biāo)全部合并完成以后，定義一個(gè)集合表示被檢測(cè)的車輛，通過對(duì)集合中任一元素的跟蹤對(duì)車輛進(jìn)行跟蹤，通過集合中所有元素的運(yùn)動(dòng)信息的均值來提取車輛的運(yùn)動(dòng)信息，最后得到需要檢測(cè)的車輛。
2.根據(jù)權(quán)利要求1所述的檢測(cè)和跟蹤夜間行駛車輛的方法，其特征在于，所述步驟1 中的檢測(cè)視頻流中每一幀的像素點(diǎn)的亮度是否大于設(shè)定的閾值來檢測(cè)前景的檢測(cè)的公式為JX if p(x,y) >T1 叫0,其他其中P(x，y)表示圖像像素點(diǎn)(χ，y)的像素值，Tl表示一個(gè)預(yù)設(shè)的閾值，F(xiàn)(x，y)表示一個(gè)二值化的圖像，其中為1的點(diǎn)表示可能為車燈區(qū)域。
3.根據(jù)權(quán)利要求2所述的檢測(cè)和跟蹤夜間行駛車輛的方法，其特征在于，所述步驟2中的判斷一個(gè)聯(lián)通區(qū)域是否接近圓形的判定標(biāo)采用如下公式cr =-=-P2其中，A表示聯(lián)通區(qū)域的面積，P表示周長(zhǎng)，若聯(lián)通區(qū)域接近圓形，公式(2)的cr值就越接近于1。
4.根據(jù)權(quán)利要求3所述的檢測(cè)和跟蹤夜間行駛車輛的方法，其特征在于，所述步驟4中第一個(gè)規(guī)則中的第(2)步采用如下的公式預(yù)測(cè)目標(biāo)的可能出現(xiàn)區(qū)域，x-(i)=A*x(i-l)+w(t)其中，t表示時(shí)間，w表示過程激勵(lì)噪聲，A表示聯(lián)通區(qū)域的面積，F(xiàn) 表示目標(biāo)狀態(tài)先驗(yàn)估計(jì)值，$￠- 表示上一時(shí)刻目標(biāo)狀態(tài)后驗(yàn)估計(jì)值，則可預(yù)測(cè)出下一時(shí)刻目標(biāo)的目標(biāo)位置為，然后在一定區(qū)域內(nèi)搜索目標(biāo)的最佳匹配圖像，得到觀測(cè)值Z(t)，所述第一個(gè)規(guī)則中的第(3)步中更新公式為 ￠) = ?！? + (1 - α)*Z￠)其中，α為根據(jù)經(jīng)驗(yàn)設(shè)定的一個(gè)濾波系數(shù)，表示更新后目標(biāo)狀態(tài)位置。
5.根據(jù)權(quán)利要求4所述的檢測(cè)和跟蹤夜間行駛車輛的方法，其特征在于，所述步驟5中第一小步中的第(2)步將當(dāng)前幀中的各目標(biāo)向量與目標(biāo)鏈中的各目標(biāo)的向量進(jìn)行匹配，匹配的判據(jù)為歐拉距離
全文摘要
本發(fā)明公開了一種檢測(cè)和跟蹤夜間行駛車輛的方法，按照以下步驟實(shí)施步驟1:前景檢測(cè)，選取車燈亮度進(jìn)行前景檢測(cè)，通過檢測(cè)視頻流中每一幀的像素點(diǎn)的亮度是否大于設(shè)定的閾值來檢測(cè)出車燈區(qū)域；步驟2:噪點(diǎn)消除，對(duì)步驟1得到的二值化圖像去掉大部的噪點(diǎn)，較準(zhǔn)確地得到前景目標(biāo)；步驟3車燈匹配根據(jù)相應(yīng)的原則進(jìn)行兩車燈配對(duì)，并找出其中的大前燈對(duì)，以大前燈對(duì)代表該車輛；步驟4:車燈對(duì)跟蹤按照上述的步驟完成車燈的配對(duì)后，再對(duì)車燈進(jìn)行跟蹤，從而實(shí)現(xiàn)對(duì)車輛的跟蹤；步驟5:再次跟蹤目標(biāo)后進(jìn)行車燈對(duì)匹配，最后得到需要檢測(cè)的車輛。本發(fā)明的有益效果是使用車燈這一特征對(duì)檢測(cè)夜間車輛，本方法中的算法特征提取簡(jiǎn)單，車輛檢測(cè)效果穩(wěn)定。
文檔編號(hào)G06K9/00GK102567705SQ20101060224
公開日2012年7月11日 申請(qǐng)日期2010年12月23日 優(yōu)先權(quán)日2010年12月23日
發(fā)明者吳晶, 明安龍, 馬華東 申請(qǐng)人:北京郵電大學(xué)