彩色霧霾圖像去霧與光照補(bǔ)償?shù)膹?fù)原方法
【專利摘要】本發(fā)明公開一種彩色霧霾圖像去霧與光照補(bǔ)償?shù)膹?fù)原方法，主要解決現(xiàn)有技術(shù)存在復(fù)原結(jié)果顏色失真、光暈偽影和偏暗的問題。其實(shí)現(xiàn)步驟是：用霧霾圖像I(x,y)的暗通道圖像D(x,y)初步估計(jì)大氣幕圖像；對(duì)暗通道圖像作灰度開運(yùn)算，得到大氣幕圖像粗估計(jì)圖像D′(x,y)；以暗通道圖像為引導(dǎo)圖像，對(duì)大氣幕圖像粗估計(jì)圖像進(jìn)行引導(dǎo)濾波，得到大氣幕圖像V(x,y)；將霧霾圖像與大氣幕圖像做差，得到殘差圖像E(x,y)；對(duì)殘差圖像的亮通道圖像B(x,y)進(jìn)行灰度閉運(yùn)算，得到光照分量圖像粗估計(jì)圖像B′(x,y)；以亮通道圖像為引導(dǎo)圖像，對(duì)光照分量圖像粗估計(jì)圖像進(jìn)行引導(dǎo)濾波，得到光照分量圖像L(x,y)；將光照分量圖像代入光照-反射成像模型中，求解得到復(fù)原結(jié)果。本發(fā)明無需計(jì)算環(huán)境光、透射率，可穩(wěn)定復(fù)原出清晰圖像。
【專利說明】彩色霧霾圖像去霧與光照補(bǔ)償?shù)膹?fù)原方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理領(lǐng)域，特別涉及圖像的復(fù)原方法，可廣泛用于圖像目標(biāo)檢測(cè)、識(shí)別、跟蹤的預(yù)處理。
【背景技術(shù)】
[0002]在霧霾天氣條件下，大氣中氣溶膠等微粒的散射作用，導(dǎo)致采集到的圖像對(duì)比度降低，顏色失真；同時(shí)，在霧霾條件下，光源變化、物體陰影覆蓋、曝光不足等因素會(huì)使場(chǎng)景光照不足，進(jìn)一步導(dǎo)致采集到的圖像整體或局部偏暗，視見度下降，細(xì)節(jié)模糊?？傊?，嚴(yán)重降質(zhì)的霧霾圖像干擾了圖像信息的辨識(shí)及后續(xù)的圖像分析。近年來，霧霾圖像的復(fù)原問題受到學(xué)術(shù)界的廣泛關(guān)注。
[0003]在霧疆圖像復(fù)原方法研究方面，Tan(Tan K, Oakley P J.Physics-based approachto color image enhancement in poor visibility conditions[J].0ptical Societyof America, 2001, 18(10):2460-2467.)對(duì)霧霾圖像的局部對(duì)比度進(jìn)行最大化，但其復(fù)原結(jié)果存在顏色失真與光暈偽影。Fattal (Fattal R.Single image dehazing [J].ACM Transactions on Graphics, 2008, 27 (3): 1-9.)采用 ICA 方法和 MRF 模型來復(fù)原圖像，該方法無法處理灰度圖像與霧霾嚴(yán)重的圖像。何愷明(He KaiMing, Sun Jian, TangXiaoou.Single image haze removal using dark channel prior[C].In:Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition Miam1.USA:1EEE, 2009.1956-1963.)通過暗影通道估計(jì)場(chǎng)景物體的深度信息，但在場(chǎng)景存在大面積白色區(qū)域或沒有顏色鮮艷物體的情況下，該方法就會(huì)失效。Tarel (Tarel JP, Hautiere N.Fast visibility restoration from a single color or gray levelimage[C].In:Proceedings of thel2th IEEE International Conference on ComputerVision Kyot0.Japan:1EEE, 2009.2201-2208.)方法將最小值濾波與中值濾波相結(jié)合，對(duì)顏色鮮艷的圖像有較好復(fù)原效果，但不恰當(dāng)?shù)膮?shù)易引起光暈偽影，同時(shí)伴有顏色的失真° Jobson 等人(Jobson, Daniel J.，Zia-ur Rahman, and Glenn A.Woodel1.multiscale retinex for bridging the gap between color images and the humanobservation of scenes.^Image Processing, IEEE Transactions on6.7 (1997):965-976.Rahman, Zia-ur, Daniel J.Jobson, and Glenn A.Woodell."Retinex processing forautomatic image enhancement.^Journal of Electronic Imagingl3.1(2004):100-110.)提出單尺度、多尺度和多尺度顏色恢復(fù)三種基于Retinex理論的方法。單尺度Retinex (SSR, Single Scale Retinex)方法的效果易受尺度常數(shù)大小影響,顏色易失真；多尺度Retinex (MSR, Mult1-Scale Retinex)方法可能會(huì)導(dǎo)致光暈偽影且運(yùn)算量大；多尺度Retinex顏色恢復(fù)方法(MSRCR, Multi Scale Retinex with Color Rendetion)方法對(duì)違反灰度世界假設(shè)的 圖像進(jìn)行了顏色恢復(fù)，但顏色修正效果并不明顯。Kimmel (Kimmel, Ron, etal.〃A variational framework for retinex."International Journal of ComputerVision52.1 (2003):7-23.)將已有的多種Retinex方法規(guī)范成統(tǒng)一的變分形式，雖然運(yùn)算復(fù)雜度減小，但易使陰影邊界模糊，產(chǎn)生光暈偽影。
[0004]以上霧霾圖像復(fù)原方法雖然對(duì)霧霾降質(zhì)圖像有一定的復(fù)原效果，但普遍存在顏色失真、光暈偽影、圖像偏暗等缺點(diǎn)，導(dǎo)致后續(xù)的目標(biāo)檢測(cè)、識(shí)別、跟蹤等處理無法正常進(jìn)行。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于針對(duì)上述已有技術(shù)的不足，對(duì)霧霾圖像的復(fù)原原理深入剖析，并嚴(yán)格推導(dǎo)出光學(xué)模型中各個(gè)參量的求解方法，提出一種彩色霧霾圖像去霧與光照補(bǔ)償?shù)膹?fù)原方法，以減小顏色失真，避免光暈偽影，提高霧霾圖像的清晰度。
[0006]實(shí)現(xiàn)本發(fā)明目的的技術(shù)思路是:基于大氣散射物理模型和光照-反射成像模型等光學(xué)模型，無需求解環(huán)境光與透射率，通過簡單的方法有效地獲取大氣幕、光照分量等信息，進(jìn)一步求解場(chǎng)景物體的反射分量，去除霧霾和光照對(duì)成像過程的影響。其具體步驟包括如下:
[0007](I)從霧霾圖像庫或通過數(shù)字成像設(shè)備拍攝獲得由大氣散射所形成的單幅霧霾圖像 I(x，y):1(x，y)=IQ(x，y)t(x，y)+A(l-t(x，y)),其中(x, y)是霧霾圖像中任一像素的坐標(biāo)，10 (x, Y)是無霧霾的圖像，t(x, y)是透射率圖像，A是環(huán)境光，10 (x, y)t(x, y)為殘差圖像，用E(x，y)表示，它代表場(chǎng)景中物體被動(dòng)成像的特性，A(l-t(x, y))為大氣幕圖像，用V(x, y)表示，它代表環(huán)境光對(duì)場(chǎng)景物體被動(dòng)成像的影響；
[0008](2)求取霧霾圖像I (X，y)每個(gè)像素在紅綠藍(lán)RGB顏色空間下的RGB三通道灰度最小值，獲得暗通道圖像D (x, y)，并將暗通道圖像作為大氣幕圖像的初步估計(jì)圖像；
[0009](3)對(duì)暗通道圖像D(x，y)進(jìn)行灰度開運(yùn)算，得到大氣幕圖像的粗估計(jì)圖像Di (x, y)；
[0010](4)用暗通道圖像D(x，y)作為引導(dǎo)濾波器的引導(dǎo)圖像，通過引導(dǎo)濾波器對(duì)大氣幕圖像的粗估計(jì)圖像D' (x, y)進(jìn)行保邊平滑濾波，得到大氣幕圖像V(X，y)；
[0011](5)將霧霾圖像I(x，y)與大氣幕圖像v(x，y)相減,去除環(huán)境光對(duì)場(chǎng)景中物體被動(dòng)成像的干擾，得到殘差圖像E(x，y)；
[0012](6)根據(jù)殘差圖像E(x，y)表示場(chǎng)景中物體被動(dòng)成像的特性，將其用光照_反射成像模型表示:E(x, y)=L(x, y)R(x, y),其中L(x, y)是光照分量圖像，R(x，y)是反射分量圖像；
[0013](7)求取殘差圖像E(x，y)每個(gè)像素在紅綠藍(lán)RGB顏色空間下的RGB三通道灰度最大值，獲得亮通道圖像B (X，y)，并將亮通道圖像作為光照分量圖像L(x，y)的初步估計(jì)圖像；
[0014](8)對(duì)亮通道圖像B(x，y)進(jìn)行灰度閉運(yùn)算，得到光照分量圖像L(x，y)的粗估計(jì)圖像 B' (X，y)；
[0015](9)用亮通道圖像B(x，y)作為引導(dǎo)濾波器的引導(dǎo)圖像，通過引導(dǎo)濾波器對(duì)光照分量圖像的粗估計(jì)圖像B' (x, y)進(jìn)行保邊平滑濾波，得到光照分量圖像L(x，y)；
[0016](10)將光照分量圖像L(x，y)代入光照-反射成像模型，求解殘差圖像E(x，y)在紅綠藍(lán)RGB顏色空間中RGB各通道的反射分量圖像Re (X，y)，將反射分量圖像Re(x，y)中每一個(gè)像素的灰度值擴(kuò)展至區(qū)間[0，255]，得到的彩色圖像即最終復(fù)原結(jié)果，其中c G {R, G, B} ο[0017]本發(fā)明具有如下優(yōu)點(diǎn):
[0018]1.由于本發(fā)明將光照-反射成像模型與大氣散射模型相結(jié)合，將霧霾去除與光照補(bǔ)償統(tǒng)一至一個(gè)框架內(nèi)，所以更加全面地描述了霧霾圖像的物理成因；
[0019]2.由于本發(fā)明不需要求解環(huán)境光，避免了不準(zhǔn)確的環(huán)境光對(duì)復(fù)原結(jié)果的影響，能夠穩(wěn)定地再現(xiàn)霧霾圖像的色彩與細(xì)節(jié)；
[0020]3.由于本發(fā)明利用引導(dǎo)濾波器準(zhǔn)確地對(duì)大氣幕圖像與光照分量圖像等模型參量進(jìn)行求解，故有效避免現(xiàn)有方法中的光暈偽影；
[0021]4.由于本發(fā)明求解的殘差圖像去除了環(huán)境光對(duì)場(chǎng)景物體被動(dòng)成像的干擾，并且通過計(jì)算殘差圖像的反射分量來獲得清晰的場(chǎng)景圖像，即在去霧的同時(shí)也對(duì)場(chǎng)景光照進(jìn)行了補(bǔ)償，所以復(fù)原結(jié)果的顏色自然真實(shí)。
【專利附圖】

【附圖說明】
[0022]圖1是本發(fā)明的實(shí)現(xiàn)流程圖；
[0023]圖2是現(xiàn)有大氣散射模型示意圖；
[0024]圖3是現(xiàn)有光照-反射成像模型示意圖；
[0025]圖4是用本發(fā)明對(duì)train圖像進(jìn)行復(fù)原過程中的相關(guān)結(jié)果圖像；
[0026]圖5是用本發(fā)明和現(xiàn)有的Jobson、何丨豈明、Fattal方法對(duì)grass和fireworks霧霾圖像的復(fù)原結(jié)果對(duì)比圖；
[0027]圖6是用本發(fā)明和現(xiàn)有的Fattal、Tan、Koef、Tarel、何愷明、A.K方法對(duì)yl6霧霾圖像的復(fù)原結(jié)果對(duì)比圖；
[0028]圖7是用本發(fā)明和現(xiàn)有的Fattal、Tan、Koef、Tarel、何愷明、A.K方法對(duì)y01霧霾圖像的復(fù)原結(jié)果對(duì)比圖；
[0029]圖8是用本發(fā)明和現(xiàn)有的Fattal、Tan、Koef, Tarel、何愷明、A.K方法對(duì)nyl7霧霾圖像的復(fù)原結(jié)果對(duì)比圖。
【具體實(shí)施方式】
[0030]以下參照附圖對(duì)本發(fā)明做進(jìn)一步地詳細(xì)描述。
[0031]參照?qǐng)D1，本發(fā)明的實(shí)現(xiàn)步驟如下:
[0032]步驟一,獲得單幅霧霾圖像I (X，y)。
[0033]從霧霾圖像庫或通過數(shù)字成像設(shè)備拍攝獲得一幅如圖4(a)所示的霧霾圖像I (X，y)，利用大氣散射模型將該霧霾圖像I (X，y)表示為:
[0034]I (x, y) =10 (x, y) t (x, y) +A (l~t (x, y)) 〈I〉
[0035]其中(x，y)是霧霾圖像I(x，y)中任一像素的坐標(biāo)；I。(x，y)是無霧霾的圖像；t (x, y)是透射率圖像，且0〈t (x, y)〈I ；A是環(huán)境光，其包括陽光、地面反射光和天空漫反射光；10(1，7)1(1，7)為殘差圖像，用E(x，y)表示，它代表場(chǎng)景中物體被動(dòng)成像的特性；A(l-t(x, y))為大氣幕圖像，用V (x，y)表示，它代表環(huán)境光對(duì)場(chǎng)景物體被動(dòng)成像的影響；大氣散射模型的示意圖，
[0036]如圖2所示。
[0037]霧霾圖像I (X，y)具有對(duì)比度低、顏色失真、細(xì)節(jié)模糊不清、光照不足等特點(diǎn)。[0038]步驟二，求取霧霾圖像I (X，y)每個(gè)像素在紅綠藍(lán)RGB顏色空間下的RGB三通道灰度最小值，獲得暗通道圖像D (X，y)，并將其作為大氣幕圖像V(X，y)的初步估計(jì)圖像。
[0039]2.1)遍歷霧霾圖像I (X，y)的每一個(gè)像素，對(duì)其在紅綠藍(lán)RGB顏色空間下的RGB
三通道灰度值做最小值運(yùn)算，最終結(jié)果用
【權(quán)利要求】
1.一種彩色霧霾圖像去霧與光照補(bǔ)償?shù)膹?fù)原方法，包括如下步驟: (1)從霧霾圖像庫或通過數(shù)字成像設(shè)備拍攝獲得由大氣散射所形成的單幅霧霾圖像I (x, y):1 (X，y)=IQ(x, y)t(x, y)+A(l-t(x, y)),其中(x, y)是霧霾圖像中任一像素的坐標(biāo)，10 (χ> y)是無霧霾的圖像，t (x, y)是透射率圖像，A是環(huán)境光，10 (x, y) t (x, y)為殘差圖像，用E(x，y)表示，它代表場(chǎng)景中物體被動(dòng)成像的特性，A(l_t(x，y))為大氣幕圖像，用V(x，y)表示，它代表環(huán)境光對(duì)場(chǎng)景物體被動(dòng)成像的影響； (2)求取霧霾圖像I(X，y)每個(gè)像素在紅綠藍(lán)RGB顏色空間下的RGB三通道灰度最小值，獲得暗通道圖像D (x, y)，并將暗通道圖像作為大氣幕圖像的初步估計(jì)圖像； (3)對(duì)暗通道圖像D(x，y)進(jìn)行灰度開運(yùn)算，得到大氣幕圖像的粗估計(jì)圖像D'(x, y)； (4)用暗通道圖像D(x，y)作為引導(dǎo)濾波器的引導(dǎo)圖像，通過引導(dǎo)濾波器對(duì)大氣幕圖像的粗估計(jì)圖像D' (x，y)進(jìn)行保邊平滑濾波，得到大氣幕圖像V(x，y)； (5)將霧霾圖像I(x，y)與大氣幕圖像V(x，y)相減，去除環(huán)境光對(duì)場(chǎng)景中物體被動(dòng)成像的干擾，得到殘差圖像E(x，y)； (6)根據(jù)殘差圖像E(x，y)表示場(chǎng)景中物體被動(dòng)成像的特性，將其用光照-反射成像模型表示:E(x, y)=L(x, y)R(x, y),其中L(x, y)是光照分量圖像，R(x, y)是反射分量圖像； (7)求取殘差圖像E(x，y)每個(gè)像素在紅綠藍(lán)RGB顏色空間下的RGB三通道灰度最大值，獲得亮通道圖像B (x，y)，并將亮通道圖像作為光照分量圖像L(x，y)的初步估計(jì)圖像； (8)對(duì)亮通道圖像B(x，y)進(jìn)行灰度閉運(yùn)算，得到光照分量圖像L(x，y)的粗估計(jì)圖像B' (x, y)； (9)用亮通道圖像B(x，y)作為引導(dǎo)濾波器的引導(dǎo)圖像，通過引導(dǎo)濾波器對(duì)光照分量圖像的粗估計(jì)圖像B' (x，y)進(jìn)行保邊平滑濾波，得到光照分量圖像L(x，y)； (10)將光照分量圖像L(x，y)代入光照-反射成像模型，求解殘差圖像E(x，y)在紅綠藍(lán)RGB顏色空間中RGB各通道的反射分量圖像Re(X，y)，將反射分量圖像Re(x，y)中每一個(gè)像素的灰度值擴(kuò)展至區(qū)間[0，255]，得到的彩色圖像即最終復(fù)原結(jié)果，其中c e {R，G，B}。
2.根據(jù)權(quán)利要求1所述的彩色霧霾圖像去霧與光照補(bǔ)償?shù)膹?fù)原方法，其中步驟(4)所述的將暗通道圖像D(x，y)作為引導(dǎo)濾波器的引導(dǎo)圖像，通過引導(dǎo)濾波器對(duì)大氣幕的粗估計(jì)圖像D' (x, y)進(jìn)行保邊平滑濾波，得到大氣幕圖像V(x，y)，按如下步驟進(jìn)行: 2a)選取半徑固定的方形掩膜，使該掩膜的中心分別在暗通道圖像D (x，y)與大氣幕粗估計(jì)圖像D' (x, y)內(nèi)逐像素滑動(dòng)，每滑動(dòng)一次掩膜，分別計(jì)算暗通道圖像D(x，y)與掩膜重合的局部區(qū)域的平均值mk和方差vk，大氣幕粗估計(jì)圖像D' (x, y)與掩膜重合的局部區(qū)域的平均值m' k，以及暗通道圖像D(x，y)與大氣幕粗估計(jì)圖像D' (x，y)序號(hào)相同的局部區(qū)域的協(xié)方差ck，其中，k是局部區(qū)域的序號(hào)，方形掩膜半徑選20個(gè)像素； 2b)依次將暗通道圖像B(x，y)的每個(gè)局部區(qū)域的平均值mk、方差vk與大氣幕圖像V(x，y)的粗估計(jì)圖像B' (x，y)中有相同序號(hào)的局部區(qū)域的平均值m' k、協(xié)方差ck代入如下公式，求解大氣幕圖像的粗估計(jì)圖像中每個(gè)局部區(qū)域的兩個(gè)線性系數(shù)，即第一線性系數(shù)ak和第二線性系數(shù)bk:
ak=ck/ (vk+ ε )
bk=m' k-akmk 式中，ε是調(diào)節(jié)參數(shù)，取值為0.01 ;2c)遍歷大氣幕圖像的粗估計(jì)圖像D' (x，y)的每一個(gè)像素，分別計(jì)算D' (x，y)中所有包含該像素的局部區(qū)域的所述兩個(gè)線性系數(shù)ak和bk的平均值J(.v,.r)和，其中(X，y)是像素坐標(biāo)； 2d)將所述的兩個(gè)線性系數(shù)平均值.V)與[(.V..V)作為引導(dǎo)濾波器的線性系數(shù)，對(duì)暗通道圖像D(x，y)中的每個(gè)像素的灰度值進(jìn)行如下線性變換:
V (.Y, ?.) = ?/(.y, v)D(.v, v) + ?)(χ, ν) 式中的V(x，y)就是引導(dǎo)濾波器的輸出結(jié)果，即保邊平滑后的大氣幕圖像。
3.根據(jù)權(quán)利要求1所述的彩色霧霾圖像去霧與光照補(bǔ)償?shù)膹?fù)原方法，其特征在于:步驟(8)所述的將亮通道圖像B(x，y)作為引導(dǎo)濾波器的引導(dǎo)圖像，通過引導(dǎo)濾波器對(duì)光照分量圖像的粗估計(jì)圖像B' (x, y)進(jìn)行保邊平滑濾波，得到光照分量圖像L(x，y)，按如下步驟進(jìn)行: 3a)選取半徑固定的方形掩膜，使該掩膜的中心分別在亮通道圖像B (X，y)與光照分量粗估計(jì)圖像B' (x, y)內(nèi)逐像素滑動(dòng)，每滑動(dòng)一次掩膜，分別計(jì)算亮通道圖像B(x，y)與掩膜重合的局部區(qū)域平均值局部區(qū)域方差ok，光照分量粗估計(jì)圖像B' (x, y)與掩膜重合的局部區(qū)域平均值μ / k，以及亮通道圖像B(x，y)與光照分量粗估計(jì)圖像B' (x, y)在相同局部區(qū)域內(nèi)的協(xié)方差nk，其中，k是局部區(qū)域的序號(hào)，方形掩膜半徑取20個(gè)像素； 3b)依次將亮通道圖像的每個(gè)局部區(qū)域的平均值Uk、方差。，與光照分量圖像!^^》的粗估計(jì)圖像B' (x，y)中有相同序號(hào)的局部區(qū)域的平均值μ ' k、協(xié)方差Hk等代入如下公式，求解光照分量圖像的粗估計(jì)圖像中每個(gè)局部區(qū)域的兩個(gè)線性系數(shù)，即第I線性系數(shù)Cik和第2線性系數(shù) ak=nk/(ok+5)
' k-akuk 式中，S是調(diào)節(jié)參數(shù)，取值為0.01有良好效果； 3c)遍歷光照分量圖像的粗估計(jì)圖像B' (x，y)的每一個(gè)像素，分別計(jì)算B' (x，y)中所有包含該像素的局部區(qū)域的所述兩個(gè)線性系數(shù)a k和β k的平均值忑(λ.，.ν.)和萬(τ,.ν)，其中(X，Y)是像素坐標(biāo)； 3d)將所述的兩個(gè)線性系數(shù)平均值G(.v.>0與萬(.r..V)作為引導(dǎo)濾波器的線性系數(shù)，對(duì)亮通道圖像B(x，y)中的每個(gè)像素的灰度值進(jìn)行如下線性變換:
L(x,.ν) = a(x,ν) + β(χ, ν) 式中的L(x，y)就是引導(dǎo)濾波器的輸出結(jié)果，即保邊平滑后的光照分量圖像。
4.根據(jù)權(quán)利要求1所述的彩色霧霾圖像去霧與光照補(bǔ)償?shù)膹?fù)原方法，其中所述步驟(10)中求解殘差圖像E(x，y)在紅綠藍(lán)RGB顏色空間中各通道的反射分量圖像r(X，y)，通過以下公式計(jì)算:
5. 根據(jù)權(quán)利要求1所述的彩色霧霾圖像去霧與光照補(bǔ)償?shù)膹?fù)原方法，其中所述步驟(10)中將ReUy)中每一個(gè)像素的灰度值擴(kuò)展至區(qū)間[0，255]，得到最終復(fù)原結(jié)果，是將紅綠藍(lán)RGB顏色空間中各通道的反射分量圖像Re(X，y)中每個(gè)像素的灰度值乘以255，取整并截?cái)嘀羺^(qū)間[0，255]，得到的彩色圖像即為最終復(fù)原結(jié)果。
【文檔編號(hào)】G06T5/50GK103914813SQ201410142950
【公開日】2014年7月9日 申請(qǐng)日期:2014年4月10日 優(yōu)先權(quán)日:2014年4月10日
【發(fā)明者】孫偉, 韓龍, 郭寶龍, 陳龍 申請(qǐng)人:西安電子科技大學(xué)