圖像融合方法、基于圖像融合方法的白線檢測方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供了一種自適應(yīng)圖像融合方法和基于該方法的白線檢測方法和使用該方法系統(tǒng)。所述自適應(yīng)圖像融合方法包括：獲取同一場景的灰度圖像和偏光圖像；基于訓(xùn)練集圖像生成場景分布圖模型，并基于該場景分布圖模型計(jì)算灰度圖像和偏光圖像的場景權(quán)重；基于所計(jì)算的場景權(quán)重融合所述灰度圖像和偏光圖像。
【專利說明】圖像融合方法、基于圖像融合方法的白線檢測方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像融合方法、基于圖像融合方法的白線檢測方法及系統(tǒng)，具體而言涉及一種在對通過場景進(jìn)行分類獲得的偏光圖像與灰度圖像進(jìn)行融合所獲得融合圖像中檢測白線的方法和系統(tǒng)。
【背景技術(shù)】
[0002]隨著汽車的普及，日常交通運(yùn)輸越來越繁忙，交通安全日益成為人們所關(guān)注的焦點(diǎn)。因此，人們希望參與交通的車輛能夠具備更多的智能特點(diǎn)，從而替代駕駛?cè)藛T判斷一部分安全事宜。交通安全一個方面涉及車輛本身構(gòu)成元件是否安全，另一個方面涉及車輛行進(jìn)的環(huán)境是否安全。對于后者，主要通過駕駛員了解路面的情況來進(jìn)行判斷。然而，在駕駛員處于疲勞或注意不到的情況下，往往會發(fā)生危險(xiǎn)。因此，人們需要一種方法和系統(tǒng)能夠在駕駛員未能作出判斷的情況下代替駕駛員進(jìn)行一些道路安全情況的判斷，以規(guī)避危險(xiǎn)。
[0003]美國專利US7636098B2提供了一種用于車輛上的車輛所處場景的圖像的處理方式。在該美國專利所記載方法中，將多通道圖像融合成一幅圖像。融合操作是通過重要性權(quán)重梯度完成。對于每一個通道的灰度圖像上的一個像素點(diǎn)P，基于局部對比特征計(jì)算它的歸一化權(quán)重。P點(diǎn)處多通道圖像的權(quán)重組成一個向量，計(jì)算它的協(xié)方差矩陣，并分解。得到的最大特征值和特征向量，就組成了重要性權(quán)重梯度，用它來融合多通道圖像。該專利需要多通道的圖像作為輸入，只采用了對比度這一個變量來描述圖像的局部特征。
[0004]另一個美國專利US 7199366B2提出來一種融合視覺圖像和紅外圖像來可視化行駛車輛的前方環(huán)境的方法。其主要針對黑暗環(huán)境。融合的權(quán)重依賴于環(huán)境狀況。在黑暗環(huán)境中，因?yàn)榧t外圖像不受光線的影響，視覺圖像不清晰，因此紅外圖像的權(quán)重增加，視覺圖像的權(quán)重減小。在有霧的環(huán)境中，紅外圖像受霧氣影響較大，因此減小紅外圖像的權(quán)重，增加視覺圖像的權(quán)重。
[0005]日本專利申請JP2000088954A披露了一種檢測路面白線的系統(tǒng)，該系統(tǒng):采用一個發(fā)射器，一個接收器，兩個偏光器來檢測白線。白線反射波的模式和數(shù)目不同于路面、前行車輛反射波的模式和數(shù)目。該專利利用波在通過兩個連續(xù)偏光器時(shí)的反射性質(zhì)來檢測白線，只利用偏光的光學(xué)特性來得到白線。
[0006]很顯然，上面所列舉的現(xiàn)有技術(shù)不能處理現(xiàn)實(shí)生活中多種情形的場景。具體而言，要么需要融合的圖像種類太多，要么對場景的分類不合理，要么對白線的檢測只能基于光學(xué)特性來進(jìn)行。因此現(xiàn)有技術(shù)在面對各種復(fù)雜場景時(shí)，往往不能進(jìn)行正確的判斷。

【發(fā)明內(nèi)容】

[0007]本專利提供了一種方法，基于場景分類來融合不同種類的圖像，從而用于進(jìn)行白線檢測。該方法可以被用到車載攝像機(jī)的多種應(yīng)用中。
[0008]在雨天或者陰天的情況下，由于周圍環(huán)境光的影響，車載攝像機(jī)很難得到清晰的灰度圖像。通常，偏光圖像受周圍環(huán)境光的影響很小，適用于惡劣的天氣。但是，在陽光比較強(qiáng)的情況下，當(dāng)駕駛員迎著太陽行駛時(shí)，由于逆光的影響，得到的偏光圖像往往不好。因此，上述專利描述的現(xiàn)有技術(shù)并不能有效地提供一種適用于各種外界環(huán)境下的進(jìn)行白線檢測的圖像融合方法。對各種圖像采用固定權(quán)重進(jìn)行融合在不同天氣狀況下并不適用。單一變量也不能完全描述圖像的特征。以上專利中，有的考慮了環(huán)境的因素進(jìn)行圖像融合，但這種融合僅由各變量的值確定融合權(quán)重，并沒有考慮整個圖像所反映出的場景類別信息。因此，現(xiàn)有技術(shù)無論是采用偏光圖像還是采用灰度圖像的白線檢測，在這種場景中都不能獲得較好的檢測效果。
[0009]為此，為了在不同天氣狀況下都能得到好的融合圖像，以用于白線檢測，本發(fā)明提供了一種自適應(yīng)圖像融合方法，包括:獲取同一場景的灰度圖像和偏光圖像；基于訓(xùn)練集圖像生成場景分布圖模型，并基于該場景分布圖模型計(jì)算灰度圖像和偏光圖像的場景權(quán)重；以及基于所計(jì)算的場景權(quán)重融合所述灰度圖像和偏光圖像。
[0010]根據(jù)本發(fā)明的自適應(yīng)圖像融合方法，所述基于訓(xùn)練集圖像生成場景分布圖模型，并基于該場景分布圖模型計(jì)算灰度圖像和偏光圖像的場景權(quán)重包括:基于圖像的特性選擇能夠描述圖像場景特征的變量，從而組成一個多維向量；利用訓(xùn)練集圖像的特征向量進(jìn)行聚類和分類以建立場景分布圖模型；以及計(jì)算每對待融合圖像的場景權(quán)重。
[0011]根據(jù)本發(fā)明的自適應(yīng)圖像融合方法，所述利用訓(xùn)練集圖像的特征向量進(jìn)行聚類和分類以建立場景分布圖模型步驟包括:將特征向量投影到對場景辨別有區(qū)分度的低維空間；對投影到低維空間中的特征點(diǎn)進(jìn)行聚類；以及利用場景標(biāo)簽和聚類結(jié)果建立場景分布圖。
[0012]根據(jù)本發(fā)明的另一個方面，還提供了一種白線檢測方法，包括:利用上述的自適應(yīng)圖像融合方法獲得融合圖像；去除融合圖像中的噪聲；生成去除噪聲后的融合圖像的邊緣圖像；對邊緣圖像執(zhí)行二值化處理，得到圖像的一個像素寬度的邊緣圖像；消除與其他物體相關(guān)的邊緣點(diǎn)，只留下待檢測白線上的像素點(diǎn)；以及基于霍夫變換定位白線的位置。
[0013]根據(jù)本發(fā)明的白線檢測方法，其中所述消除與其他物體相關(guān)的邊緣點(diǎn)，只留下待檢測白線上的像素點(diǎn)包括:在選擇邊緣點(diǎn)的時(shí)候，從圖像的中間開始，向左向右逐行掃描圖像，保留遇到的第一個滿足條件的非零點(diǎn)，作為白線邊緣點(diǎn)，移除本行本方向上其他剩余的點(diǎn)。
[0014]根據(jù)本發(fā)明的另一個方面，還提供了一種自適應(yīng)圖像融合系統(tǒng)，包括:圖像捕獲單元，獲取同一場景的灰度圖像和偏光圖像；場景權(quán)重計(jì)算單元，基于訓(xùn)練集圖像生成場景分布圖模型，并基于該場景分布圖模型計(jì)算灰度圖像和偏光圖像的場景權(quán)重；圖像融合單元，基于所計(jì)算的場景權(quán)重融合所述灰度圖像和偏光圖像。
[0015]根據(jù)本發(fā)明的另一個方面，還提供了一種白線檢測系統(tǒng)，包括:前述的自適應(yīng)圖像融合系統(tǒng)；噪聲去除模塊，去除融合圖像中的噪聲；邊緣生成模塊，生成去除噪聲后的融合圖像的邊緣圖像；二值化模塊，對邊緣圖像執(zhí)行二值化處理，得到圖像的一個像素寬度的邊緣圖像；邊緣選擇模塊，消除與其他物體相關(guān)的邊緣點(diǎn)，只留下待檢測白線上的像素點(diǎn)；以及白線定位模塊，基于霍夫變換定位白線的位置。
【專利附圖】

【附圖說明】
[0016]通過閱讀結(jié)合附圖考慮的以下本發(fā)明的優(yōu)選實(shí)施例的詳細(xì)描述，將更好地理解本發(fā)明的以上和其他目標(biāo)、特征、優(yōu)點(diǎn)和技術(shù)及工業(yè)重要性。
[0017]圖1所示的利用了根據(jù)本發(fā)明的方法和系統(tǒng)的圖像處理系統(tǒng)的示意圖。
[0018]圖2所示的是根據(jù)本發(fā)明的方法和系統(tǒng)的圖像處理系統(tǒng)的結(jié)構(gòu)示意圖。
[0019]圖3所示的是根據(jù)本發(fā)明的方法和系統(tǒng)的圖像處理系統(tǒng)的功能模塊示意圖。
[0020]圖4所示的是根據(jù)本發(fā)明的方法和系統(tǒng)中進(jìn)行數(shù)據(jù)處理的數(shù)據(jù)流向圖。
[0021]圖5所示的是根據(jù)本發(fā)明的方法和圖像處理流程圖。
[0022]圖6所示的根據(jù)本發(fā)明的圖像處理方法中基于場景分類的融合權(quán)重計(jì)算方法的示意圖。
[0023]圖7所示的是場景分布圖建模模塊的具體結(jié)構(gòu)示意圖。
[0024]圖8所示的是將多維特征空間中的點(diǎn)投影到對不同場景有區(qū)分能力的低維空間的示意圖。
[0025]圖9顯示了場景選擇后的場景分布圖模型示意圖。
[0026]圖10所示的是本發(fā)明所采用的白線檢測步驟的流程圖
[0027]圖11A-11D示意了白線檢測過程的每一步結(jié)果
[0028]圖12固定權(quán)重和自適應(yīng)場景權(quán)重融合圖像上的白線檢測結(jié)果示意圖。
【具體實(shí)施方式】
[0029]下面結(jié)合附圖描述本發(fā)明實(shí)施例。
[0030]圖1所示的利用了根據(jù)本發(fā)明的方法和系統(tǒng)的圖像處理系統(tǒng)的示意圖。圖像處理系統(tǒng)安裝在車輛100之上。該系統(tǒng)包括雙目攝像頭101或兩個單獨(dú)攝像頭，以及圖像處理模塊102。攝像頭101安裝在靠近車輛后視鏡的位置，用于捕獲車輛前方的場景。所捕獲的車輛前方場景的圖像將作為圖像處理模塊102的輸入。圖像處理模塊102分析輸入的圖像信號，計(jì)算它們的場景類別，基于類別賦予不同的權(quán)重來融合兩幅圖像，并所獲得融合圖像檢測路面白線。車輛控制模塊103接收由圖像處理模塊102輸出的信號，根據(jù)檢測得到的當(dāng)前白線，生成控制信號來控制車輛100的行駛方向和行駛速度。
[0031]圖2所示的是根據(jù)本發(fā)明的方法和系統(tǒng)的圖像處理系統(tǒng)的結(jié)構(gòu)示意圖。攝像頭101包括圖像傳感器201和攝像頭數(shù)字信號處理器(digital signal processing, DSP)202。圖像傳感器201將光信號轉(zhuǎn)換為電子信號，將捕獲的當(dāng)前車輛100前方的圖像轉(zhuǎn)換為模擬圖像信號，再將結(jié)果傳入攝像頭DSP202。如果需要，攝像頭101還可以進(jìn)一步包括鏡頭，濾鏡，等等。盡管在本發(fā)明的實(shí)施例中僅僅給出了兩個攝像頭，但是本發(fā)明的實(shí)施方式可以包含多個攝像頭101，這些攝像頭配準(zhǔn)后可以同時(shí)捕獲多幅圖像。
[0032]攝像頭DSP202將模擬圖像信號轉(zhuǎn)換為數(shù)字圖像信號，并發(fā)送到圖像處理模塊102。圖像輸入接口 203按規(guī)定的時(shí)間間隔取得圖像。然后數(shù)字圖像信號被寫入內(nèi)存205，由程序206進(jìn)行分析和處理。此處的圖像處理包括多種操作，諸如場景分類、權(quán)值計(jì)算等等，這將在后面進(jìn)行詳細(xì)描述。在ROM中的程序206執(zhí)行一系列的后面將進(jìn)行詳細(xì)描述的操作來融合圖像和檢測白線。在此過程中，CPU 204負(fù)責(zé)控制操作及運(yùn)算操作，例如由接口獲得數(shù)據(jù)，執(zhí)行圖像處理等。
[0033]圖3所示的是根據(jù)本發(fā)明的方法和系統(tǒng)的圖像處理系統(tǒng)的功能模塊示意圖。首先，圖像處理系統(tǒng)中的變量描述單元Fl接收來自攝像頭捕獲的一對同一場景的灰度圖像和偏光圖像，并分別提取它們的特征，進(jìn)行計(jì)算以得到特征向量。特征的選取主要基于灰度圖像的特性和偏光圖像的特性，選擇在場景空間中有區(qū)分度的特征，來區(qū)分不同的場景，如雨天、陰天、晴天等。每幅圖像的特征都表示為一個向量。訓(xùn)練集中每幅圖像都有一個已標(biāo)好的場景標(biāo)簽。場景分布圖(SDM, scene distribution map)建模單元F2用訓(xùn)練集中所有圖像的特征向量結(jié)合場景標(biāo)簽來建立場景分布圖。至于如何用訓(xùn)練集中所有圖像的特征向量結(jié)合場景標(biāo)簽來建立場景分布圖，是本專利的主要內(nèi)容，將在后面詳細(xì)敘述。。場景權(quán)重計(jì)算單元F3用訓(xùn)練好的場景分布圖模型來計(jì)算待融合圖像的場景權(quán)重。圖像融合單元F4用計(jì)算出來的場景權(quán)重來融合兩幅圖像。白線檢測單元F5在融合后的圖像上，用改進(jìn)的霍夫變換加上其他策略，檢測白線。最終，得到用兩個端點(diǎn)表示的白線位置。
[0034]圖4所示的是根據(jù)本發(fā)明的方法和系統(tǒng)進(jìn)行數(shù)據(jù)處理的數(shù)據(jù)流向圖。訓(xùn)練集圖像SI的特征向量S3先用選定的特征計(jì)算出來。然后結(jié)合場景標(biāo)簽S5和訓(xùn)練圖像SI的特征向量S3，建立起場景分布圖模型S4。對于一對待融合的圖像S2，它們的特征向量S3也用選定的特征計(jì)算出來。然后基于S2的特征向量在場景分布圖模型S4中的位置，就可以計(jì)算出這對圖像的場景權(quán)重S6?；趫鼍皺?quán)重S6融合圖像S2，就得到融合后的圖像S7。在融合圖像S7上檢測白線，就得到最終的白線檢測結(jié)果S8。
[0035]圖5所示的是根據(jù)本發(fā)明的方法和圖像處理流程圖。首先，在步驟21處，進(jìn)行場景分類，具體而言，就是選擇合適的特征變量建立場景分布圖模型，并計(jì)算待融合圖像的特征向量，然后利用兩者之間的關(guān)系得到待融合圖像的場景權(quán)重。這部分將在后面詳細(xì)敘述。
[0036]在步驟22處，融合同步的灰度圖像和偏光圖像。本發(fā)明所進(jìn)行的融合是基于場景權(quán)重的逐像素的融合。一對灰度圖像和偏光圖像的場景權(quán)重分別記作和Wfmhr ? Wp&Mr ^ Wp&hr這里Π是灰度圖像上場景權(quán)重的個數(shù)，W丨(K/.S?)由在灰度圖像上有
，H1
區(qū)分度的一種場景及其特征得到。同理，111是偏光圖像上場景權(quán)重的個數(shù)，<#(1、/<?)由在偏光圖像上有區(qū)分度的一種場景及其特征得到。具體的計(jì)算過程將在后面詳細(xì)敘述。都?xì)w一化到[0，I]范圍。融合公式如下:
【權(quán)利要求】
1.一種自適應(yīng)圖像融合方法，包括: 獲取同一場景的灰度圖像和偏光圖像； 基于訓(xùn)練集圖像生成場景分布圖模型，并基于該場景分布圖模型計(jì)算灰度圖像和偏光圖像的場景權(quán)重； 基于所計(jì)算的場景權(quán)重融合所述灰度圖像和偏光圖像。
2.如權(quán)利要求1所述的自適應(yīng)圖像融合方法，所述基于訓(xùn)練集圖像生成場景分布圖模型，并基于該場景分布圖模型計(jì)算灰度圖像和偏光圖像的場景權(quán)重包括: 基于圖像的特性選擇能夠描述圖像場景特征的變量，從而組成一個多維向量； 利用訓(xùn)練集圖像的特征向量進(jìn)行聚類和分類以建立場景分布圖模型；以及 計(jì)算每對待融合圖像的場景權(quán)重。
3.如權(quán)利要求2所述的自適應(yīng)圖像融合方法，所述利用訓(xùn)練集圖像的特征向量進(jìn)行聚類和分類以建立場景分布圖模型步驟包括: 將特征向量投影到對場景辨別有區(qū)分度的低維空間； 對投影到低維空間中的特征點(diǎn)進(jìn)行聚類；以及 利用場景標(biāo)簽和聚類結(jié)果建立場景分布圖。
4.一種白線檢測方法,包括: 利用權(quán)利要求1所述的自適應(yīng)圖像融合方法獲得融合圖像； 去除融合圖像中的噪聲； 生成去除噪聲后的融合圖像的邊緣圖像； 對邊緣圖像執(zhí)行二值化處理，得到圖像的一個像素寬度的邊緣圖像； 消除與其他物體相關(guān)的邊緣點(diǎn)，只留下待檢測白線上的像素點(diǎn)；以及 基于霍夫變換定位白線的位置。
5.如權(quán)利要求4所述的白線檢測方法，其中所述消除與其他物體相關(guān)的邊緣點(diǎn)，只留下待檢測白線上的像素點(diǎn)包括: 在選擇邊緣點(diǎn)的時(shí)候，從圖像的中間開始，向左向右逐行掃描圖像，保留遇到的第一個滿足條件的非零點(diǎn)，作為白線邊緣點(diǎn)，移除本行本方向上其他剩余的點(diǎn)。
6.一種自適應(yīng)圖像融合系統(tǒng)，包括: 圖像捕獲單元，獲取同一場景的灰度圖像和偏光圖像； 場景權(quán)重計(jì)算單元，基于訓(xùn)練集圖像生成場景分布圖模型，并基于該場景分布圖模型計(jì)算灰度圖像和偏光圖像的場景權(quán)重； 圖像融合單元，基于所計(jì)算的場景權(quán)重融合所述灰度圖像和偏光圖像。
7.一種白線檢測系統(tǒng)，包括: 如權(quán)利要求6所述的自適應(yīng)圖像融合系統(tǒng)； 噪聲去除模塊，去除融合圖像中的噪聲； 邊緣生成模塊，生成去除噪聲后的融合圖像的邊緣圖像； 二值化模塊，對邊緣圖像執(zhí)行二值化處理，得到圖像的一個像素寬度的邊緣圖像； 邊緣選擇模塊，消除與其他物體相關(guān)的邊緣點(diǎn)，只留下待檢測白線上的像素點(diǎn)；以及 白線定位模塊，基于霍夫變換定位白線的位置。
【文檔編號】G06T5/50GK103578090SQ201210258400
【公開日】2014年2月12日 申請日期:2012年7月24日 優(yōu)先權(quán)日:2012年7月24日
【發(fā)明者】胡平, 師忠超, 劉媛, 魯耀杰, 劉麗艷 申請人:株式會社理光