一種視頻幀圖像去霧方法及裝置制造方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種視頻幀圖像去霧方法及裝置，主要內(nèi)容包括：確定當(dāng)前幀圖像相對(duì)于設(shè)定的參考幀圖像的靜止區(qū)域及其暗原色圖像，在暗原色圖像的靜止區(qū)域中提取亮度值大于設(shè)定亮度值的像素點(diǎn)，將在當(dāng)前幀圖像的處于與提取的像素點(diǎn)的位置相同的像素點(diǎn)中選擇的亮度值最大的像素點(diǎn)的亮度值作為大氣亮度值，利用大氣亮度值和確定的當(dāng)前幀圖像的傳播圖對(duì)當(dāng)前幀圖像進(jìn)行去霧。在本發(fā)明方案中，因利用了視頻幀之間的關(guān)聯(lián)性，確定當(dāng)前幀圖像中的靜止區(qū)域，并利用靜止區(qū)域?qū)Υ髿饬炼戎颠M(jìn)行估計(jì)，排除了當(dāng)前幀圖像場(chǎng)景中過(guò)亮的運(yùn)動(dòng)目標(biāo)對(duì)大氣亮度值的估計(jì)造成的干擾，故獲得的大氣亮度值較現(xiàn)有技術(shù)中的大氣亮度值準(zhǔn)確，進(jìn)而在去霧時(shí)，能取得較好的去霧效果。
【專(zhuān)利說(shuō)明】一種視頻幀圖像去霧方法及裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)字圖像處理【技術(shù)領(lǐng)域】，尤其涉及一種視頻幀圖像去霧方法及裝置。

【背景技術(shù)】
[0002]戶(hù)外景物的光學(xué)圖像往往會(huì)由于有霧天氣的影響而呈現(xiàn)出對(duì)比度降低及顏色偏灰白色等降質(zhì)現(xiàn)象，這將直接限制和影響了室外目標(biāo)識(shí)別和室外視覺(jué)監(jiān)控等各種視覺(jué)系統(tǒng)效用的發(fā)揮。
[0003]目前，對(duì)圖像去霧的研究可以主要分為兩類(lèi):基于圖像增強(qiáng)的去霧方法和基于圖像退化物理模型的去霧方法。前者主要是主觀的處理，而后者主要是通過(guò)使用退化的先驗(yàn)知識(shí)來(lái)試圖重建一副因天氣而退化的圖像?；趫D像增強(qiáng)的去霧方法通常計(jì)算量大、可靠性不穩(wěn)定；基于退化的物理模型的去霧方法中，在取景對(duì)象在較大范圍內(nèi)不與天空接近或沒(méi)有陰影覆蓋的情況下去霧效果較好的是何凱明在2009年提出的一種基于暗原色的單幀圖像去霧算法，該算法建立在麥卡特尼(McCartney)提出的大氣散射物理模型基礎(chǔ)上:在天氣狀況不良的情況下，由于大氣中存在灰塵顆粒或者雨滴等懸浮物，場(chǎng)景中反射到相機(jī)的光線(xiàn)在其傳播路徑上經(jīng)過(guò)顆粒的吸收和散射，到達(dá)相機(jī)時(shí)已經(jīng)退化，造成了成像后的圖片對(duì)比度低、色彩失真及圖像霧化。大氣顆粒的光散射模型如圖1所示，由此建立的帶霧圖像的數(shù)學(xué)模型為:

【權(quán)利要求】
1.一種視頻幀圖像去霧方法，其特征在于，包括: 確定當(dāng)前幀圖像相對(duì)于設(shè)定的參考幀圖像的運(yùn)動(dòng)區(qū)域和靜止區(qū)域以及當(dāng)前幀圖像的暗原色圖像，所述當(dāng)前幀圖像為視頻幀圖像中的除第一幀圖像外的圖像； 在所述暗原色圖像的靜止區(qū)域中提取亮度值大于設(shè)定亮度值的像素點(diǎn)，在當(dāng)前幀圖像的處于與提取的像素點(diǎn)的位置相同的像素點(diǎn)中選擇亮度值最大的像素點(diǎn)，并將選擇的像素點(diǎn)的亮度值作為大氣亮度值，其中，構(gòu)成當(dāng)前幀圖像的暗原色圖像的靜止區(qū)域的像素點(diǎn)的位置與構(gòu)成該當(dāng)前幀圖像的靜止區(qū)域的像素點(diǎn)的位置相同； 根據(jù)所述大氣亮度值和當(dāng)前幀圖像，確定當(dāng)前幀圖像的傳播圖； 根據(jù)帶霧圖像的數(shù)學(xué)模型，利用所述大氣亮度值和確定的當(dāng)前幀圖像的傳播圖，對(duì)當(dāng)前幀圖像進(jìn)行去霧，獲得去霧后的當(dāng)前幀圖像。
2.如權(quán)利要求1所述的方法，其特征在于，在確定當(dāng)前幀圖像的傳播圖之后，所述方法還包括: 對(duì)當(dāng)前幀圖像的傳播圖進(jìn)行濾波處理； 對(duì)濾波處理后的當(dāng)前幀圖像的傳播圖和與當(dāng)前幀圖像相鄰的前一幀圖像的傳播圖進(jìn)行加權(quán)求和，得到優(yōu)化的當(dāng)前幀圖像的傳播圖； 所述根據(jù)帶霧圖像的數(shù)學(xué)模型，利用所述大氣亮度值和確定的當(dāng)前幀圖像的傳播圖，對(duì)當(dāng)前幀圖像進(jìn)行去 霧，獲得去霧后的當(dāng)前幀圖像，具體為: 根據(jù)帶霧圖像的數(shù)學(xué)模型，利用所述大氣亮度值和優(yōu)化的當(dāng)前幀圖像的傳播圖，對(duì)當(dāng)前幀圖像進(jìn)行去霧，獲得去霧后的當(dāng)前幀圖像。
3.如權(quán)利要求2所述的方法，其特征在于，利用以下公式對(duì)當(dāng)前幀圖像的傳播圖進(jìn)行濾波處理:
其中，X代表當(dāng)前幀圖像的傳播圖，g代表當(dāng)前幀圖像的灰度相關(guān)圖，Wk表示以像素點(diǎn)k為中心的窗口，μ,表示以像素點(diǎn)k為中心的窗口內(nèi)的像素點(diǎn)的亮度值的均值，σ〗表示以像素點(diǎn)k為中心的窗口內(nèi)的像素點(diǎn)的亮度值的方差，ω為歸一化系數(shù)，δ為調(diào)節(jié)參數(shù)，i表示像素點(diǎn)，j表示像素點(diǎn)i鄰域內(nèi)的像素點(diǎn)，Oi表示濾波處理后的當(dāng)前幀圖像的傳播圖，當(dāng)前幀圖像的灰度相關(guān)圖為當(dāng)前幀圖像的灰度圖或當(dāng)前幀圖像的紅、綠、藍(lán)分量圖中的任一分量圖。
4.如權(quán)利要求1所述的方法，其特征在于，在確定當(dāng)前幀圖像相對(duì)于設(shè)定的參考幀圖像的運(yùn)動(dòng)區(qū)域和靜止區(qū)域以及當(dāng)前幀圖像的暗原色圖像之前，所述方法還包括: 確定當(dāng)前幀圖像的對(duì)比度和亮度比，所述亮度比是指當(dāng)前幀圖像中像素的亮度值在設(shè)定范圍內(nèi)的像素個(gè)數(shù)占當(dāng)前幀圖像中包含的全部像素個(gè)數(shù)的百分比； 判斷當(dāng)前幀圖像是否滿(mǎn)足去霧條件，所述去霧條件為:第一條件或第二條件，所述第一條件為:當(dāng)前霧的濃度值大于設(shè)定霧濃度值，其中，在當(dāng)前幀圖像為第一幀圖像時(shí)，所述當(dāng)前霧的濃度值為設(shè)定的初始霧濃度值；所述第二條件為:當(dāng)前幀圖像的對(duì)比度小于設(shè)定對(duì)比度且當(dāng)前幀圖像的亮度值大于設(shè)定亮度比；所述確定當(dāng)前幀圖像相對(duì)于設(shè)定的參考幀圖像的運(yùn)動(dòng)區(qū)域和靜止區(qū)域以及當(dāng)前幀圖像的暗原色圖像具體為: 在當(dāng)前幀圖像滿(mǎn)足去霧條件時(shí)，確定當(dāng)前幀圖像相對(duì)于設(shè)定的參考幀圖像的運(yùn)動(dòng)區(qū)域和靜止區(qū)域以及當(dāng)前幀圖像的暗原色圖像。
5.如權(quán)利要求4所述的方法，其特征在于，在當(dāng)前幀圖像不滿(mǎn)足去霧條件時(shí)，利用該當(dāng)前幀圖像更新所述設(shè)定的參考幀圖像，并將該當(dāng)前幀圖像的下一幀圖像作為當(dāng)前幀圖像，執(zhí)行確定當(dāng)前幀圖像相對(duì)于設(shè)定的參考幀圖像的運(yùn)動(dòng)區(qū)域和靜止區(qū)域以及當(dāng)前幀圖像的暗原色圖像的操作。
6.如權(quán)利要求1所述的方法，其特征在于，在確定當(dāng)前幀圖像相對(duì)于設(shè)定的參考幀圖像的運(yùn)動(dòng)區(qū)域和靜止區(qū)域以及確定當(dāng)前幀圖像的暗原色圖像之前，所述方法還包括: 對(duì)當(dāng)前 幀圖像進(jìn)行去噪處理。
7.如權(quán)利要求1所述的方法，其特征在于，在獲得去霧后的當(dāng)前幀圖像之后，所述方法還包括: 分別確定去霧后的當(dāng)前幀圖像的直方圖和當(dāng)前幀圖像的直方圖，并根據(jù)確定的去霧后的當(dāng)前幀圖像的直方圖和當(dāng)前幀圖像的直方圖確定當(dāng)前霧的參考濃度值； 根據(jù)確定的當(dāng)前霧的參考濃度值和當(dāng)前霧的濃度值加權(quán)和對(duì)當(dāng)前霧的濃度值進(jìn)行更新，其中，在當(dāng)前幀圖像為第一幀圖像時(shí)，所述當(dāng)前霧的濃度值為設(shè)定的初始霧濃度值； 將當(dāng)前幀圖像的下一幀圖像作為當(dāng)前幀圖像，執(zhí)行確定當(dāng)前幀圖像相對(duì)于設(shè)定的參考幀圖像的運(yùn)動(dòng)區(qū)域和靜止區(qū)域以及當(dāng)前幀圖像的暗原色圖像的操作。
8.如權(quán)利要求7所述的方法，其特征在于，利用以下公式根據(jù)確定的去霧后的當(dāng)前幀圖像的直方圖和去霧前的當(dāng)前幀圖像的直方圖確定當(dāng)前霧的參考濃度值:
其中，P ^為當(dāng)前霧的參考濃度值，Htl為去霧前的當(dāng)前幀圖像的直方圖的向量表示，H1為去霧后的當(dāng)前幀圖像的直方圖的向量表示； 利用以下公式根據(jù)確定的當(dāng)前霧的參考濃度值和當(dāng)前霧的濃度值加權(quán)和對(duì)當(dāng)前霧的濃度值進(jìn)行更新:
P c = α P ρ+(1-α ) P r 其中，P。為更新后的當(dāng)前霧的濃度值，Pp為當(dāng)前霧的濃度值，α為設(shè)定的更新率。
9.如權(quán)利要求4所述的方法，其特征在于，利用以下公式根據(jù)帶霧圖像的數(shù)學(xué)模型，利用所述大氣亮度值和確定的當(dāng)前幀圖像的傳播圖，對(duì)當(dāng)前幀圖像進(jìn)行去霧:..、 Ii(x) - E,
其中，J (X)為去霧后的當(dāng)前幀圖像，E(x)為當(dāng)前幀圖像，E 為確定的大氣亮度值，t(x)為確定的當(dāng)前幀圖像的傳播圖，tf^XPp+0.1，其中，β為設(shè)定的相關(guān)性系數(shù)，Pp為當(dāng)前霧的濃度值。
10.一種視頻幀圖像去霧裝置，其特征在于，所述視頻幀圖像去霧裝置包括: 運(yùn)動(dòng)檢測(cè)模塊，用于確定當(dāng)前幀圖像相對(duì)于設(shè)定的參考幀圖像的運(yùn)動(dòng)區(qū)域和靜止區(qū)域，所述當(dāng)前幀圖像為視頻幀圖像中的除第一幀圖像外的圖像；暗原色圖像確定模塊，用于確定當(dāng)前幀圖像的暗原色圖像； 大氣亮度值確定模塊，用于在所述暗原色圖像的靜止區(qū)域中提取亮度值大于設(shè)定亮度值的像素點(diǎn)，在當(dāng)前幀圖像的處于與提取的像素點(diǎn)的位置相同的像素點(diǎn)中選擇亮度值最大的像素點(diǎn)，并將選擇的像素點(diǎn)的亮度值作為大氣亮度值，其中，構(gòu)成當(dāng)前幀圖像的暗原色圖像的靜止區(qū)域的像素點(diǎn)的位置與構(gòu)成該當(dāng)前幀圖像的靜止區(qū)域的像素點(diǎn)的位置相同； 傳播圖確定模塊，用于據(jù)所述大氣亮度值和當(dāng)前幀圖像，確定當(dāng)前幀圖像的傳播圖； 去霧模塊，用于根據(jù)帶霧圖像的數(shù)學(xué)模型，利用所述大氣亮度值和確定的當(dāng)前幀圖像的傳播圖，對(duì)當(dāng)前幀圖像進(jìn)行去霧，獲得去霧后的當(dāng)前幀圖像。
11.如權(quán)利要求10所述的裝置，其特征在于，所述裝置還包括: 濾波模塊，用于對(duì)當(dāng)前幀圖像的傳播圖進(jìn)行濾波處理； 傳播圖優(yōu)化模塊，用于對(duì)濾波處理后的當(dāng)前幀圖像的傳播圖和與當(dāng)前幀圖像相鄰的前一幀圖像的傳播圖進(jìn)行加權(quán)求和，得到優(yōu)化的當(dāng)前幀圖像的傳播圖； 所述去霧模塊，具體用于根據(jù)帶霧圖像的數(shù)學(xué)模型，利用所述大氣亮度值和優(yōu)化的當(dāng)前幀圖像的傳播圖，對(duì)當(dāng)前幀圖像進(jìn)行去霧，獲得去霧后的當(dāng)前幀圖像。
12.如權(quán)利要求11所述的裝置，其特征在于，濾波模塊，具體用于利用以下公式對(duì)當(dāng)前幀圖像的傳播圖進(jìn)行濾波處理:
其中，X代表當(dāng)前幀圖像的傳播圖，g代表當(dāng)前幀圖像的灰度相關(guān)圖，Wk表示以像素點(diǎn)k為中心的窗口，μ k表示以像素點(diǎn)k為中心的窗口內(nèi)的像素點(diǎn)的亮度值的均值，σ)表示以像素點(diǎn)k為中心的窗口內(nèi)的像素點(diǎn)的亮度值的方差，ω為歸一化系數(shù)，δ為調(diào)節(jié)參數(shù)，i表示像素點(diǎn)，j表示像素點(diǎn)i鄰域內(nèi)的像素點(diǎn)，Oi表示濾波處理后的當(dāng)前幀圖像的傳播圖，當(dāng)前幀圖像的灰度相關(guān)圖為當(dāng)前幀圖像的灰度圖或當(dāng)前幀圖像的紅、綠、藍(lán)分量圖中的任一分量圖。
13.如權(quán)利要求10所述的裝置，其特征在于，所述裝置還包括: 亮度及對(duì)比度確定模塊，用于在確定當(dāng)前幀圖像相對(duì)于設(shè)定的參考幀圖像的運(yùn)動(dòng)區(qū)域和靜止區(qū)域以及當(dāng)前幀圖像的暗原色圖像之前，確定當(dāng)前幀圖像的對(duì)比度和亮度比，所述亮度比是指當(dāng)前幀圖像中像素的亮度值在設(shè)定范圍內(nèi)的像素個(gè)數(shù)占當(dāng)前幀圖像中包含的全部像素個(gè)數(shù)的百分比； 判斷模塊，用于判斷當(dāng)前幀圖像是否滿(mǎn)足去霧條件，所述去霧條件為:第一條件或第二條件，所述第一條件為:當(dāng)前霧的濃度值大于設(shè)定霧濃度值，其中，在當(dāng)前幀圖像為第一幀圖像時(shí)，所述當(dāng)前霧的濃度值為設(shè)定的初始霧濃度值；所述第二條件為:當(dāng)前幀圖像的對(duì)比度小于設(shè)定對(duì)比度且當(dāng)前幀圖像的亮度值大于設(shè)定亮度比； 運(yùn)動(dòng)檢測(cè)模塊，具體用于在當(dāng)前幀圖像滿(mǎn)足去霧條件時(shí)，確定當(dāng)前幀圖像相對(duì)于設(shè)定的參考幀圖像的運(yùn)動(dòng)區(qū)域和靜止區(qū)域，所述當(dāng)前幀圖像為視頻幀圖像中的除第一幀圖像外的圖像； 暗原色圖像確定模塊，具體用于在當(dāng)前幀圖像滿(mǎn)足去霧條件時(shí)，確定當(dāng)前幀圖像的暗原色圖像。
14.如權(quán)利要求13所述的裝置，其特征在于，所述裝置還包括:參考幀圖像更新模塊，用于在當(dāng)前幀圖像不滿(mǎn)足去霧條件時(shí)，利用該當(dāng)前幀圖像更新所述設(shè)定的參考幀圖像； 跳轉(zhuǎn)模塊，用于將參考幀圖像更新模塊中用于更新設(shè)定的參考幀圖像的當(dāng)前幀圖像的下一幀圖像作為當(dāng)前幀圖像，并觸發(fā)運(yùn)動(dòng)檢測(cè)模塊。
15.如權(quán)利要求10所述的裝置，其特征在于，所述裝置還包括: 去噪模塊，用于確定當(dāng)前幀圖像相對(duì)于設(shè)定的參考幀圖像的運(yùn)動(dòng)區(qū)域和靜止區(qū)域以及確定當(dāng)前幀圖像的暗原色圖像之前對(duì)當(dāng)前幀圖像進(jìn)行去噪處理。
16.如權(quán)利要求10所述的裝置，其特征在于，所述裝置還包括: 當(dāng)前霧的參考濃度值確定模塊，用于在獲得去霧后的當(dāng)前幀圖像之后，分別確定去霧后的當(dāng)前幀圖像的直方圖和當(dāng)前幀圖像的直方圖，并根據(jù)確定的去霧后的當(dāng)前幀圖像的直方圖和當(dāng)前幀圖像的直方圖確定當(dāng)前霧的參考濃度值； 當(dāng)前霧的濃度值更新模塊，用于利用確定的當(dāng)前霧的參考濃度值和當(dāng)前霧的濃度值加權(quán)和對(duì)當(dāng)前霧的濃度值進(jìn)行更新，其中，在當(dāng)前幀圖像為第一幀圖像時(shí)，所述當(dāng)前霧的濃度值為設(shè)定的初始霧濃度值； 跳轉(zhuǎn)模塊，用于將當(dāng)前幀圖像的下一幀圖像作為當(dāng)前幀圖像，并觸發(fā)運(yùn)動(dòng)檢測(cè)模塊。
17.如權(quán)利要求16 所述的裝置，其特征在于，當(dāng)前霧的參考濃度值確定模塊，具體利用以下公式根據(jù)確定的去霧后的當(dāng)前幀圖像的直方圖和去霧前的當(dāng)前幀圖像的直方圖確定當(dāng)前霧的參考濃度值:
其中，P ^為當(dāng)前霧的參考濃度值，Htl為去霧前的當(dāng)前幀圖像的直方圖的向量表示，H1為去霧后的當(dāng)前幀圖像的直方圖的向量表示； 當(dāng)前霧的濃度值更新模塊，具體用于利用以下公式根據(jù)確定的當(dāng)前霧的參考濃度值和當(dāng)前霧的濃度值加權(quán)和對(duì)當(dāng)前霧的濃度值進(jìn)行更新:
P c = α P ρ+(1-α ) P r 其中，P。為更新后的當(dāng)前霧的濃度值，Pp為當(dāng)前霧的濃度值，α為設(shè)定的更新率。
18.如權(quán)利要求13所述的裝置，其特征在于，去霧模塊，具體用于利用以下公式根據(jù)帶霧圖像的數(shù)學(xué)模型，利用所述大氣亮度值和確定的當(dāng)前幀圖像的傳播圖，對(duì)當(dāng)前幀圖像進(jìn)行去霧:
其中，J (X)為去霧后的當(dāng)前幀圖像，E(X)為當(dāng)前幀圖像，E 為確定的大氣亮度值，t(x)為確定的當(dāng)前幀圖像的傳播圖，tf^XPp+0.1，其中，β為設(shè)定的相關(guān)性系數(shù)，Pp為當(dāng)前霧的濃度值。
【文檔編號(hào)】H04N5/21GK104168402SQ201310189056
【公開(kāi)日】2014年11月26日 申請(qǐng)日期:2013年5月17日 優(yōu)先權(quán)日:2013年5月17日
【發(fā)明者】劉敏, 潘石柱, 樊斐佳, 倪寒竹, 張興明, 傅利泉, 朱江明, 吳軍, 吳堅(jiān) 申請(qǐng)人:浙江大華技術(shù)股份有限公司