專利名稱：使用最優(yōu)定向線性軸線去除由基于車輛的相機(jī)捕獲的圖像中的陰影的制作方法
技術(shù)領(lǐng)域：
實(shí)施例總地涉及基于視覺的目標(biāo)檢測(cè)系統(tǒng)。
背景技術(shù)：
光照情形如陰影會(huì)引起基于視覺的目標(biāo)檢測(cè)系統(tǒng)的誤差。陰影會(huì)扭曲被捕獲對(duì)象的顏色，導(dǎo)致(1)由于陰影生產(chǎn)的邊緣與(2)不同實(shí)體(例如道路與風(fēng)景)間的邊緣之間的模糊不清。已經(jīng)使用一些應(yīng)用來過濾掉陰影，但是現(xiàn)有技術(shù)的系統(tǒng)假定使用具有高質(zhì)量成像器的相機(jī)。具有高質(zhì)量成像器的相機(jī)昂貴且包裝尺寸大，因此，特別是在基于批量生產(chǎn)的車輛的視覺系統(tǒng)中并不實(shí)用。使用高質(zhì)量成像器，相機(jī)傳感器被假定為窄頻帶并且如同狄拉克δ函數(shù)那樣工作，因?yàn)樗鼈儍H在一個(gè)波長(zhǎng)具有非空響應(yīng)。然而，通常用在基于車輛視覺的目標(biāo)檢測(cè)系統(tǒng)內(nèi)的低成本成像器與窄頻帶傳感器假定并不相符。因此，用于去除陰影的現(xiàn)有技術(shù)不適于使用低成本生產(chǎn)的成像器。傳統(tǒng)的用于陰影去除的方法，例如《國(guó)際計(jì)算機(jī)視覺雜志》(hternational Journal of Computer Vision, IJVC)中公開的題為"Entropy Minimization for Shadow Removal”描述了使用恒定成像去除陰影。其概念是選擇最小化熵的光照方向。最小化熵試圖最小化不同色調(diào)變化的分散的混亂無序；然而，當(dāng)熵被最小化時(shí)，各顏色集內(nèi)的所有或部分顏色值可能會(huì)試圖投射到單一的組合或族上。結(jié)果，IJCV中描述的技術(shù)僅最小化了一個(gè)顏色集或多個(gè)顏色集中的變化。在該描述的方法下，特別是當(dāng)使用多個(gè)顏色集時(shí)，最大化顏色集之間的集間變化不是行得通的結(jié)果。在IJVC公開中，僅使用三個(gè)不同的顏色集。如果使用超過所示三個(gè)顏色集，更具體地，顏色集具有類似的顏色變化，那么顏色集之間的差別可能很小，最終阻止識(shí)別恒定圖像中的陰影邊緣。

發(fā)明內(nèi)容
實(shí)施例的優(yōu)點(diǎn)在于從將要被車用視覺感測(cè)系統(tǒng)分析的、由圖像捕獲裝置捕獲的圖像減少陰影。該陰影減少技術(shù)最優(yōu)化了線性軸線的斜率，使得最小化了顏色值中的內(nèi)部變化，并且最大化了顏色集之間的集間變化，從而區(qū)分和維持了各顏色集的色度，同時(shí)去除施加在相應(yīng)顏色集上的所有光照影響。實(shí)施例設(shè)想了一種用于去除捕獲圖像中光照產(chǎn)生的陰影的方法。通過圖像捕獲裝置捕獲場(chǎng)景的輸入圖像。將所捕獲輸入圖像的每個(gè)像素都繪在兩維對(duì)數(shù)圖上。每個(gè)像素為所述對(duì)數(shù)圖中多個(gè)顏色集之一的色調(diào)變化。確定對(duì)于所述多個(gè)顏色集的一線性軸線。所述線性軸線基本上正交于各相應(yīng)顏色集的相應(yīng)光照方向。將各所繪像素的色度對(duì)數(shù)值投射在所述軸線上。所述線性軸線上的各所繪像素表示所述輸入圖像的相應(yīng)像素映射到光照恒定圖像域的顏色值。所述線性軸線的定向選擇成最小化所述圖像中的光照效應(yīng)，并在投射到所述線性軸線上的各相應(yīng)顏色集之間提供最佳分隔。識(shí)別所述輸入圖像中的邊緣。識(shí)別所述光照恒定圖像域中的邊緣。將所述輸入圖像的識(shí)別的邊緣與所述光照恒定圖像域中的識(shí)別的邊緣作比較。響應(yīng)于所述輸入圖像中識(shí)別的邊緣而所述光照恒定圖像域中相關(guān)邊緣的不存在，確定是否存在陰影邊緣。產(chǎn)生減少了陰影的圖像，用于基于車輛視覺的系統(tǒng)的場(chǎng)景分析。本發(fā)明提供了如下技術(shù)方案
方案1. 一種用于去除捕獲圖像中光照產(chǎn)生的陰影的方法，所述方法包括如下步驟
(a)通過圖像捕獲裝置捕獲場(chǎng)景的輸入圖像；
(b)將所捕獲輸入圖像的每個(gè)像素都繪在兩維對(duì)數(shù)圖上，每個(gè)像素為所述對(duì)數(shù)圖中多個(gè)顏色集之一的色調(diào)變化；
(c)確定所述多個(gè)顏色集的線性軸線，所述線性軸線基本上正交于各相應(yīng)顏色集的相應(yīng)光照方向；
(e)將各所繪像素的色度對(duì)數(shù)值投射在所述軸線上，其中所述線性軸線上的各所繪像素表示所述輸入圖像的相應(yīng)像素映射到光照恒定圖像域的顏色值，其中所述線性軸線的定向選擇成最小化所述圖像中的光照效應(yīng)，并在投射到所述線性軸線上的各相應(yīng)顏色集之間提供最佳分隔；
(f)識(shí)別所述輸入圖像中的邊緣；
(g)識(shí)別所述光照恒定圖像域中的邊緣；
(h)將所述輸入圖像的識(shí)別邊緣與所述光照恒定圖像域中的識(shí)別邊緣作比較；
(i)響應(yīng)于所述輸入圖像中識(shí)別的邊緣及所述光照恒定圖像域中相關(guān)邊緣的不存在， 確定是否存在陰影邊緣；以及
(j)產(chǎn)生減少了陰影的圖像，用于基于車輛視覺的系統(tǒng)的場(chǎng)景分析。方案2.如方案1的方法，其中選擇所述線性軸線的定向以在各相應(yīng)顏色集之間提供最佳分隔包括，定位所述線性軸線，直到在各顏色集之間獲得最大分隔距離為止。方案3.如方案2的方法，其中選擇所述線性軸線的定向以提供最佳分隔包括，維持各顏色集內(nèi)的色調(diào)變化的分隔。方案4.如方案1的方法，其中選擇所述線性軸線的定向以提供最佳分隔包括，最小化顏色集的內(nèi)部變化，同時(shí)最大化顏色集之間的集間變化。方案5.如方案1的方法，其中選擇所述線性軸線的定向以提供最佳分隔是利用機(jī)器學(xué)習(xí)技術(shù)來獲得。方案6.如方案5的方法，其中所述機(jī)器學(xué)習(xí)技術(shù)包括多類別線性判別分析。方案7.如方案6的方法，其中所述多類別線性判別分析包括至少兩個(gè)顏色集，其中最大化所述顏色集之間的平方和，并最小化顏色集內(nèi)的和。方案8.如方案1的方法，其中所述對(duì)數(shù)圖包括對(duì)數(shù)型藍(lán)-綠軸和對(duì)數(shù)型紅-綠軸ο方案9.如方案1的方法，其中識(shí)別所述輸入圖像和所述光照恒定圖像域中的邊緣還包括如下步驟
確定所述輸入圖像的方向梯度； 確定所述光照恒定圖像域的方向梯度；
將所述輸入圖像的方向梯度和所述光照恒定圖像域的方向梯度與至少一個(gè)閾值作比較，以確定是否存在陰影邊緣。
方案10.如方案9的方法，其中將所述輸入圖像的方向梯度和所述光照恒定圖像域的方向梯度與至少一個(gè)閾值作比較還包括
確定所述輸入圖像的方向梯度是否大于第一閾值；以及確定所述光照恒定圖像域的方向梯度是否小于第二閾值。方案11.如方案9的方法，其中將所述輸入圖像的方向梯度和所述光照恒定圖像域的方向梯度與至少一個(gè)閾值作比較還包括
計(jì)算所述輸入圖像的方向梯度與所述光照恒定圖像域的方向梯度之間的梯度差； 將所述梯度差與所述至少一個(gè)閾值作比較。方案12.如方案11的方法，其中計(jì)算梯度差包括下列步驟 確定所述輸入圖像的梯度范數(shù)；
確定所述光照恒定圖像域的梯度范數(shù)；以及
通過從所述輸入圖像的梯度范數(shù)減去所述光照恒定圖像域的梯度范數(shù)來計(jì)算所述梯度差。


圖1為捕獲道路圖像的基于車輛的相機(jī)的平面圖。圖2為由車輛內(nèi)圖像捕獲裝置捕獲的圖像。圖3為陰影減少過程的框圖。圖4為示出線性光照恒定軸線的光照恒定線圖的圖表。圖5為使用熵最小化的示例性光照恒定線圖。圖6為利用線性光照恒定軸線最優(yōu)化技術(shù)的光照恒定線圖的圖表。圖7為用于從捕獲的圖像減少陰影的方法的流程圖。
具體實(shí)施例方式圖1中示出了沿著道路12行駛的車輛10。基于視覺的成像裝置14捕獲車輛10 前方的道路的圖像，用以檢測(cè)行駛可行區(qū)域(下文稱暢通路徑)內(nèi)的圖像?；谝曈X的成像裝置14用于檢測(cè)目標(biāo)。在優(yōu)選實(shí)施例中，基于視覺的成像裝置14用于為系統(tǒng)(例如，但不限于，車道偏離警告系統(tǒng))識(shí)別暢通路徑或道路中的車道標(biāo)記?；谝曈X的成像裝置14優(yōu)選安裝在車輛的內(nèi)部，恰在擋風(fēng)玻璃的后方，用于捕獲車輛外面和前方發(fā)生的事件。盡管基于視覺的成像裝置14可用于多種功用(例如，增強(qiáng)駕駛員夜視)，但是本文所述的主要目的是用于需要識(shí)別道路標(biāo)記、車道標(biāo)記、道路標(biāo)志或其它道路目標(biāo)的系統(tǒng)。這種系統(tǒng)的例子包括，但不限于，必要要求系統(tǒng)能夠識(shí)別車輛處于道路中何處的車道偏離警告系統(tǒng)，用以警告駕駛員無意識(shí)的車道變化。圖2示出了由車輛上基于視覺的成像裝置捕獲的圖像。依賴于光源的亮度和角度，可能會(huì)在車輛行駛路徑中的物體上投射陰影，從而增加了系統(tǒng)區(qū)分道路上的物體與投射在道路上的陰影的難度。如圖2中所示，行駛在被駕駛車輛前方的車輛16以及路燈18 和20可在車行道中投射陰影22J4和沈，使得難以識(shí)別道路上的車道標(biāo)記觀。圖3中示出了用于去除陰影的示例性圖形化流程方法。在框30中，含有陰影的圖像被圖像捕獲裝置捕獲。陰影為操作圖像捕集裝置的人的自己的陰影。
在框31中，執(zhí)行后面描述的光照恒定分析，以檢測(cè)圖像中的所有陰影。在框32中， 在光照恒定圖像域中表現(xiàn)輸入圖像。為圖形目的在光照恒定圖像域中示出的圖像為灰度圖像，其中顏色集是復(fù)現(xiàn)的，不管輸入圖像中存在的光照條件或陰影。應(yīng)當(dāng)理解，為在車輛中實(shí)施該技術(shù)的目的，不需要產(chǎn)生實(shí)際恒定圖像；而是，可使用數(shù)學(xué)分析、建模或其它表現(xiàn)方式來模擬光照恒定圖像域中的圖像。如圖所示，作為光照恒定分析的結(jié)果，從光照恒定圖像域中去除了陰影。在框33中，比較輸入圖像和光照恒定圖像域，用于確定原始輸入圖像中哪兒存在陰影以構(gòu)造減少了陰影的圖像。在框34中，作為原始輸入圖像的梯度與光照恒定圖像域的梯度之間的比較的結(jié)果，從捕獲的輸入圖像去除了陰影。圖4描述了去除陰影的數(shù)學(xué)方法，如下所述。在用于路上車輛的目標(biāo)檢測(cè)和分類中，捕獲圖像的背景和前景是不斷變化的。對(duì)于單一的RGB (紅、綠、藍(lán))圖像，可基于光照恒定分析去除投射的陰影。如果照明大致為三S函數(shù)型傳感器成像的具有朗伯面的普朗克源，那么可形成色度波段比(例如，3波段RGB彩色圖像的R/G、B/G)。另外，對(duì)于在不同照明條件下的任意顏色集，對(duì)于兩維{log(R/G)，log(B/G) }值的對(duì)數(shù)圖形成直線。此外，各不同顏色集的每條這種線具有相同的斜率。因此，可使用該物理概念得到光照恒定圖像域，其中不管照明條件如何(即，是否存在陰影)，一個(gè)顏色集的顏色值都映射至光照恒定圖像中的相同值。另外，圖像中形成的物體邊緣對(duì)應(yīng)于材料反射率的變化。陰影邊緣為在原始圖像中有但是恒定圖像中沒有的邊緣。在圖像的梯度表示上定義閾值處理操作，以確定陰影邊緣。由于閾值陰影邊緣是噪聲，所以應(yīng)用形態(tài)學(xué)運(yùn)算，以擴(kuò)展邊緣并填充陰影邊緣中的一些空隙。此外，識(shí)別的陰影邊緣被設(shè)定為零，用以去除光照變化的影響。各處理通道的梯度圖像的積分步驟用于放棄乘法常數(shù)而恢復(fù)減少了陰影的圖像，然后估計(jì)乘法常數(shù)，以便獲得最終減少了陰影的彩色圖像。這里描述減少了陰影的恒定圖像的構(gòu)造。利用了使用灰度成像的圖形表示。該技術(shù)使用標(biāo)準(zhǔn)彩色圖像作為輸入，而輸入為圖像的光照恒定表示。光照恒定圖像域通過將其色度對(duì)數(shù)值投影在光照恒定方向上來獲得。為執(zhí)行該投影，使用朗伯模型用于圖像形成。假定，如果表面外觀相同，并且獨(dú)立于取景方向(即，理想漫反射面)，那么照射在該表面上并入射在相機(jī)傳感器上的具有光譜功率分布(SPD) :Ε(λ)的光源導(dǎo)致如下響應(yīng)
其中表示表面反射率，其定義為在每波長(zhǎng)基礎(chǔ)上反射的入射光的分?jǐn)?shù),iCA)(發(fā)光體的SPD)將發(fā)光體發(fā)出的功率定義為波長(zhǎng)的函數(shù),A(I)為成像裝置的PM專感器(其中 )的光譜靈敏度，明確指明了傳感器在各波長(zhǎng)處吸收的光的比例。如果上面的各項(xiàng)相乘并在μ〔傳感器具有非零響應(yīng)的波長(zhǎng)范圍)上積分，那么它給出Rk，圖像中各像素處的色值。 為了簡(jiǎn)化公式(1)和導(dǎo)出恒定表示，除朗伯表面假定之外，還利用其它兩個(gè)假定。 第一，假定光照源遵守普朗克黑體輻射體定律。普朗克黑體輻射體定律指出，當(dāng)在溫度T加熱時(shí)的理想球形輻射體以特定的波長(zhǎng)發(fā)出電磁輻射(例如，發(fā)光、閃光)。普朗克光源的例子包括太陽(yáng)和天空，其為在我們的目標(biāo)檢測(cè)和分類應(yīng)用中最感興趣的光照源。這樣，該光照可通過其色溫T參數(shù)化為
權(quán)利要求
1.一種用于去除捕獲圖像中光照產(chǎn)生的陰影的方法，所述方法包括如下步驟(a)通過圖像捕獲裝置捕獲場(chǎng)景的輸入圖像；(b)將所捕獲輸入圖像的每個(gè)像素都繪在兩維對(duì)數(shù)圖上，每個(gè)像素為所述對(duì)數(shù)圖中多個(gè)顏色集之一的色調(diào)變化；(c)確定所述多個(gè)顏色集的線性軸線，所述線性軸線基本上正交于各相應(yīng)顏色集的相應(yīng)光照方向；(e)將各所繪像素的色度對(duì)數(shù)值投射在所述軸線上，其中所述線性軸線上的各所繪像素表示所述輸入圖像的相應(yīng)像素映射到光照恒定圖像域的顏色值，其中所述線性軸線的定向選擇成最小化所述圖像中的光照效應(yīng)，并在投射到所述線性軸線上的各相應(yīng)顏色集之間提供最佳分隔；(f)識(shí)別所述輸入圖像中的邊緣；(g)識(shí)別所述光照恒定圖像域中的邊緣；(h)將所述輸入圖像的識(shí)別邊緣與所述光照恒定圖像域中的識(shí)別邊緣作比較；(i)響應(yīng)于所述輸入圖像中識(shí)別的邊緣及所述光照恒定圖像域中相關(guān)邊緣的不存在， 確定是否存在陰影邊緣；以及(j)產(chǎn)生減少了陰影的圖像，用于基于車輛視覺的系統(tǒng)的場(chǎng)景分析。
2.如權(quán)利要求1的方法，其中選擇所述線性軸線的定向以在各相應(yīng)顏色集之間提供最佳分隔包括，定位所述線性軸線，直到在各顏色集之間獲得最大分隔距離為止。
3.如權(quán)利要求2的方法，其中選擇所述線性軸線的定向以提供最佳分隔包括，維持各顏色集內(nèi)的色調(diào)變化的分隔。
4.如權(quán)利要求1的方法，其中選擇所述線性軸線的定向以提供最佳分隔包括，最小化顏色集的內(nèi)部變化，同時(shí)最大化顏色集之間的集間變化。
5.如權(quán)利要求1的方法，其中選擇所述線性軸線的定向以提供最佳分隔是利用機(jī)器學(xué)習(xí)技術(shù)來獲得。
6.如權(quán)利要求1的方法，其中所述對(duì)數(shù)圖包括對(duì)數(shù)型藍(lán)-綠軸和對(duì)數(shù)型紅-綠軸。
7.如權(quán)利要求1的方法，其中識(shí)別所述輸入圖像和所述光照恒定圖像域中的邊緣還包括如下步驟確定所述輸入圖像的方向梯度；確定所述光照恒定圖像域的方向梯度；將所述輸入圖像的方向梯度和所述光照恒定圖像域的方向梯度與至少一個(gè)閾值作比較，以確定是否存在陰影邊緣。
8.如權(quán)利要求7的方法，其中將所述輸入圖像的方向梯度和所述光照恒定圖像域的方向梯度與至少一個(gè)閾值作比較還包括確定所述輸入圖像的方向梯度是否大于第一閾值；以及確定所述光照恒定圖像域的方向梯度是否小于第二閾值。
9.如權(quán)利要求7的方法，其中將所述輸入圖像的方向梯度和所述光照恒定圖像域的方向梯度與至少一個(gè)閾值作比較還包括計(jì)算所述輸入圖像的方向梯度與所述光照恒定圖像域的方向梯度之間的梯度差；將所述梯度差與所述至少一個(gè)閾值作比較。
10.如權(quán)利要求9的方法，其中計(jì)算梯度差包括下列步驟 確定所述輸入圖像的梯度范數(shù)； 確定所述光照恒定圖像域的梯度范數(shù)；以及通過從所述輸入圖像的梯度范數(shù)減去所述光照恒定圖像域的梯度范數(shù)來計(jì)算所述梯度差。
全文摘要
本發(fā)明涉及使用最優(yōu)定向線性軸線去除由基于車輛的相機(jī)捕獲的圖像中的陰影。提供了一種用于去除捕獲圖像中光照產(chǎn)生的陰影的方法。通過圖像捕獲裝置捕獲圖像。將所捕獲輸入圖像的每個(gè)像素都繪在兩維對(duì)數(shù)圖上。確定對(duì)于所述多個(gè)顏色集的一個(gè)線性軸線，所述線性軸線基本上正交于各相應(yīng)顏色集的相應(yīng)光照方向。將各所繪像素的色度對(duì)數(shù)值投射在所述軸線上。所述線性軸線的定向選擇成最小化光照效應(yīng)，并在投射到所述線性軸線上的各相應(yīng)顏色集之間提供最佳分隔。識(shí)別所述輸入圖像和所述光照恒定圖像域中的邊緣。將所述輸入圖像的識(shí)別邊緣與所述光照恒定圖像域的識(shí)別邊緣作比較。響應(yīng)于所述比較確定是否存在陰影邊緣。產(chǎn)生減少了陰影的圖像，用于車輛的基于視覺的系統(tǒng)的場(chǎng)景分析。
文檔編號(hào)G06K9/40GK102314602SQ20111018808
公開日2012年1月11日 申請(qǐng)日期2011年7月6日 優(yōu)先權(quán)日2010年7月6日
發(fā)明者吳 Q., 巴加瓦圖拉 V., 張 W. 申請(qǐng)人:通用汽車環(huán)球科技運(yùn)作有限責(zé)任公司