本發(fā)明涉及數(shù)字圖像處理技術(shù),尤其涉及一種基于先驗約束和離群值抑制的圖像去模糊方法。
背景技術(shù):
去模糊技術(shù)是圖像和視頻處理領(lǐng)域被廣泛研究的主題。基于相機抖動造成的模糊在一定意義上嚴(yán)重影響圖像的成像質(zhì)量和視覺觀感。作為圖像預(yù)處理領(lǐng)域一個極其重要的分支,去模糊技術(shù)的提升直接影響其他計算機視覺算法的性能,如前景分割、物體檢測、行為分析等;同時它也影響著圖像的編碼性能。因此,開發(fā)高性能的去模糊算法具有重要作用。
通常情況下可用卷積模型來解釋模糊成因,相機抖動的過程可以映射為模糊核軌跡psf(pointspreadfunction)。在模糊核未知的情況下還原清晰圖像,這一問題屬于不適定(ill-posed)問題,所以,通常意義上需要先估計模糊核,再利用評估的模糊核進行返卷積操作得到復(fù)原圖像。目前,常用算法包括基于map的em算法;原始的mapx,k(其中x表示清晰圖像,k表示模糊核)算法很多情況下會將模糊圖像作為非模糊解釋(no-blurexplanation),這使得評估圖像和模糊核依次迭代過程的失敗;之后的mapk(k表示模糊核)算法是mapx,k的改進,它解決了非模糊解釋的問題,這一算法首先估計出模糊核,之后再利用非盲返卷積(non-blinddeconvolution)進行圖像的復(fù)原。然而,以上算法都存在先驗約束不足或不合適的問題,同時,評估的模糊核存在離群值這一問題也沒有得到很好的解決,這一細微的差別很可能會造成去模糊過程的失敗。
綜上所述,現(xiàn)有的去模糊算法存在的缺點包括:(一)先驗假設(shè)不準(zhǔn)確;(二)先驗約束不合適;(三)模糊核中存在的離群值未得到很好的抑制,這是由于相機抖動的過程是連續(xù)的,這就決定了模糊核軌跡的連續(xù)性,因此,模糊核中存在的離群值一定會造成返卷積過程的失敗。
技術(shù)實現(xiàn)要素:
為了克服上述現(xiàn)有技術(shù)的不足,本發(fā)明提出了一種基于先驗約束和離群值抑制的圖像去模糊方法,解決現(xiàn)有算法中存在的先驗假設(shè)不準(zhǔn)確、先驗約束不合適,以及模糊核中存在離群值的問題,通過解決以上這些問題,本發(fā)明能夠明顯提高模糊圖像的復(fù)原水平。
本發(fā)明的原理是:提出一種基于先驗信息約束和離群值抑制的去模糊算法,旨在解決現(xiàn)有算法中存在的先驗假設(shè)不準(zhǔn)確、先驗約束不合適,以及模糊核中存在離群值的問題。具體是在mapk算法思想的基礎(chǔ)上,基于先驗約束和離群值抑制,實現(xiàn)圖像去模糊;首先,利用l0范數(shù)約束以及重尾先驗信息獲得模糊圖像中的顯著性結(jié)構(gòu);其次,在顯著性結(jié)構(gòu)的基礎(chǔ)上,采用l0范數(shù)約束對模糊核進行評估;然后,對評估的模糊核進行離群值抑制;最后,采用非盲反卷積算法得到最終的復(fù)原圖像。本發(fā)明方法通過解決現(xiàn)有算法中存在的先驗假設(shè)不準(zhǔn)確、先驗約束不合適,以及模糊核中存在離群值的問題,能夠有效地提高模糊圖像的復(fù)原。
本發(fā)明提供的技術(shù)方案是:
一種基于先驗約束和離群值抑制的圖像去模糊方法,采用卷積模型來擬合清晰圖像的模糊過程,包括模糊圖像顯著性結(jié)構(gòu)評估、模糊核估計及其離群值抑制、非忙反卷積模糊圖像復(fù)原過程;
1)模糊圖像顯著結(jié)構(gòu)評估過程,具體包括如下步驟:
11)采用式1的卷積模型來擬合清晰圖像的模糊過程:
其中,i表示模糊圖像,k表示模糊核,η表示噪聲(我們假設(shè)其分布為高斯噪聲);
采用重尾效應(yīng)的先驗約束作為模糊圖像顯著型結(jié)構(gòu)梯度的分布情況,見式2:
其中,s為模糊圖像的顯著性結(jié)構(gòu)(并不是待還原的圖像),用來輔助評估模糊核k;式2的第一項可以看成是損失函數(shù)(雖然這樣會造成式2值變大,但本發(fā)明要評估的是使優(yōu)化方程達到最小的值s,所以不影響優(yōu)化過程);式2的第二項是用超拉普拉斯來模擬重尾效應(yīng);
12)評估模糊圖像顯著性結(jié)構(gòu):
引入l0范數(shù)對模糊圖像的顯著性結(jié)構(gòu)s的紋理進行約束,同時利用l2范數(shù)限制s中平滑區(qū)域的噪聲,更新后的公式如式3:
其中,m是對模糊圖像顯著性結(jié)構(gòu)s中紋理的二值標(biāo)定,(1-m)是對s中平滑區(qū)域的二值標(biāo)定;式3的后兩項(即第三項和最后一項)用來進行紋理約束,其中第三項對大尺寸細節(jié)進的約束,最后一項是對平滑的約束;
我們用式4和式5對m進行定義:
m=h(r-τr)(式5)
式4中,x表示像素點的位置,y表示以像素點為中心,窗口大小為nh范圍內(nèi)的像素點,r(x)表示位置x處的像素點屬于紋理部分的程度;利用式4可以對s中的紋理做初步的劃分,r(x)的取值在(0,1),r(x)越大,表示x屬于紋理部分的可能行越大;同時式4又限制了突變紋理的出現(xiàn)(因為當(dāng)模糊核尺寸大于模糊圖像細節(jié)尺寸時,圖像復(fù)原失敗,因此需要限制突變紋理)。式5中m用heaviside階躍函數(shù)來求取,其中τr表示像素點屬于紋理部分的程度r(x)的閾值,它用來區(qū)分顯著性結(jié)構(gòu)s中的紋理區(qū)域和平滑區(qū)域,本發(fā)明中我們采用直方圖均衡的方法來獲取τr。
13)求解模糊圖像顯著性結(jié)構(gòu),具體如下:
為求解式3,引入兩個替代變量u和w來選擇性替代
我們用交替更新的方法獲得每一次迭代s,u和w的解;
變量u的求解:
變量w的求解:
我們采用相對全偏差rtv(relativetotalvariation)的方法來求解式9;
模糊圖像顯著性結(jié)構(gòu)變量s的求解如下:
基于帕斯瓦爾定理,將式10經(jīng)過傅里葉變換之后求得s:
其中,
2)模糊核估計及其離群值抑制過程,具體如下:
本發(fā)明采用梯度信息和顯著性結(jié)構(gòu)來估計模糊核,利用式14和15迭代更新得到模糊核軌跡,如圖6所示和圖8右圖和圖9(c)所示。
具體地,本發(fā)明利用評估的模糊圖像顯著性結(jié)構(gòu)s來進行模糊核的估計,我們采用l0范數(shù)對模糊核中的離群值進行限制,優(yōu)化方程如下:
s.t.k≥0,||k||1=1(式12)
類似地,我們引入替換變量v進行迭代更新,式12的變種如下:
對于以上兩個變量(v和k)求解如下:
3)模糊圖像復(fù)原過程,具體如下:
利用估計出的模糊核,采用非盲反卷積技術(shù)對模糊圖像進行復(fù)原操作。
非盲反卷積可采用任何現(xiàn)有的非盲反卷積算法,本發(fā)明實施方案中采用文獻1(perrone,daniele,andpaolofavaro."totalvariationblinddeconvolution:thedevilisinthedetails."proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition.2014)中記載的非盲反卷積方法。
與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果是:
本發(fā)明提出了一種基于先驗約束和離群值抑制的圖像去模糊方法,利用l0范數(shù)約束以及重尾先驗信息獲得模糊圖像中的顯著性結(jié)構(gòu);在顯著性結(jié)構(gòu)的基礎(chǔ)上,采用l0范數(shù)約束對模糊核進行評估;對評估的模糊核進行離群值抑制;采用非盲反卷積算法得到最終的復(fù)原圖像。本發(fā)明能夠解決現(xiàn)有算法中存在的先驗假設(shè)不準(zhǔn)確、先驗約束不合適,以及模糊核中存在離群值的問題,通過解決以上這些問題,本發(fā)明能夠明顯提高模糊圖像的復(fù)原水平。
附圖說明
圖1是本發(fā)明具體實施的流程示意圖;
圖2是本發(fā)明方法的流程框圖;
其中,kn表示最小尺寸圖像評估得到的模糊核,k0表示最終得到的評估模糊核。
圖3是本發(fā)明實施例中模糊圖像顯著性結(jié)構(gòu)的紋理圖;
其中,(a)為原始模糊圖像;(b)為原始模糊圖像梯度分布情況;(c)為梯度直方圖分布;(d)是用顏色信息表示的r值能量圖、即原始圖像r(x)的取值分布圖。
圖4是本發(fā)明實施例中模糊圖像的顯著性結(jié)構(gòu)示例圖。
圖5是本發(fā)明實施例中不同尺寸下模糊圖像的顯著性結(jié)構(gòu);
其中,(a)~(d)為不同尺寸下模糊圖像。
圖6是本發(fā)明實施例迭代更新得到的模糊核。
圖7是本發(fā)明實施例模糊圖像復(fù)原后的圖像。
圖8是本發(fā)明實施例中模糊圖像及其復(fù)原圖像放大的對比圖。
圖9是本發(fā)明實施例中模糊圖像、顯著性結(jié)構(gòu)、復(fù)原圖的對比;
其中,圖(a)為原始模糊圖像;圖(b)為顯著性結(jié)構(gòu);圖(c)為模糊復(fù)原圖像。
具體實施方式
下面結(jié)合附圖,通過實施例進一步描述本發(fā)明,但不以任何方式限制本發(fā)明的范圍。
本發(fā)明提出的基于先驗約束和離群值抑制的去模糊方法流程圖如圖2所示,圖中,kn表示最小尺寸圖像評估得到的模糊核,k0表示最終得到的評估模糊核。本發(fā)明方法利用多次采樣的方式不斷迭代更新模糊核,并利用非忙反卷積算法獲得最終的復(fù)原圖象。
本發(fā)明方法具體步驟如下:
表1是以下步驟中采用的參數(shù)名稱及其相應(yīng)參數(shù)含義說明
表1參數(shù)列表
步驟1.模糊模型選擇:本發(fā)明采用式1模型,并假設(shè)噪聲服從高斯分布,得到如式2的優(yōu)化方程;
本發(fā)明采用卷積模型來擬合清晰圖像的模糊過程,如式1:
其中,i表示模糊圖像,k表示模糊核,η表示噪聲(我們假設(shè)其分布為高斯噪聲)。
采用重尾效應(yīng)的先驗約束作為模糊圖像顯著型結(jié)構(gòu)梯度的分布情況,見式2:
其中,s為模糊圖像的顯著性結(jié)構(gòu);
步驟2.模糊圖像顯著性結(jié)構(gòu)評估:
首先,利用式4和式5得到顯著性結(jié)構(gòu)的紋理標(biāo)定,如圖3(d)所示;圖3是實施例中模糊圖像顯著性結(jié)構(gòu)的紋理圖;其中,(a)為原始模糊圖像;(b)為原始模糊圖像梯度分布情況;(c)為梯度直方圖分布;(d)為原始圖像r(x)的取值分布。利用式4和式5得到顯著性結(jié)構(gòu)的紋理標(biāo)定具體如下:
我們引入l0范數(shù)對模糊圖像的顯著性結(jié)構(gòu)s的紋理進行約束,同時利用l2范數(shù)限制s中平滑區(qū)域的噪聲,更新后的公式如式3:
其中,m是對模糊圖像顯著性結(jié)構(gòu)s中紋理的二值標(biāo)定,(1-m)是對s中平滑區(qū)域的二值標(biāo)定;我們用式4和式5對m進行定義:
m=h(r-τr)(式5)
式4中,x表示像素點的位置,y表示以像素點為中心,窗口大小為nh范圍內(nèi)的像素點,r(x)表示位置x處的像素點屬于紋理部分的程度;利用式4可以對s中的紋理做初步的劃分,r(x)的取值在(0,1),r(x)越大,表示x屬于紋理部分的可能行越大;同時式4又限制了突變紋理的出現(xiàn)(因為當(dāng)模糊核尺寸大于模糊圖像細節(jié)尺寸時,圖像復(fù)原失敗,因此需要限制突變紋理)。式5中m用heaviside階躍函數(shù)來求取,其中τr表示r的閾值,它用來區(qū)分顯著性結(jié)構(gòu)s中的紋理區(qū)域和平滑區(qū)域,本發(fā)明中我們采用直方圖均衡的方法來獲取τr。
其次,利用式8,9,11迭代更新得到模糊圖像顯著性結(jié)構(gòu),如圖4所示;圖5為不同尺寸下估計得到的顯著性結(jié)構(gòu);具體如下:
為求解式3,我們引入兩個替代變量u和w來選擇性替代
我們用交替更新的方法獲得每一次迭代s,u和w的解;
變量u的求解:
變量w的求解:
我們采用相對全偏差rtv(relativetotalvariation)的方法來求解式9;
變量s的求解:
基于帕斯瓦爾定理,我們將式10經(jīng)過傅里葉變換之后求得s:
其中,
步驟3.模糊核估計,具體如下:
本發(fā)明采用梯度信息和顯著性結(jié)構(gòu)來估計模糊核,利用式14和15迭代更新得到模糊核軌跡,如圖6所示和圖8右圖和圖9(c)所示。
具體地,本發(fā)明利用評估的模糊圖像顯著性結(jié)構(gòu)s來進行模糊和的估計,我們采用l0范數(shù)對模糊核中的離群值進行限制,優(yōu)化方程如下:
s.t.k≥0,||k||1=1(式12)
類似地,我們引入替換變量v進行迭代更新,式12的變種如下:
對于以上兩個變量求解如下:
步驟4.非盲反卷積,具體如下:
此處可采用任何現(xiàn)有的非盲反卷積算法。
以上步驟可表示為如下算法流程:
本發(fā)明實施方案中,非盲反卷積具體采用文獻1(perrone,daniele,andpaolofavaro."totalvariationblinddeconvolution:thedevilisinthedetails."proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition.2014)中提出的算法,如圖7所示,其為圖3中模糊圖像的復(fù)原圖像;另以圖8為例,左圖為模糊圖像及其放大區(qū)域,右圖為復(fù)原效果及對應(yīng)的放大區(qū)域。其中模糊核以能量圖的形式表示在右圖左上角。
需要注意的是,公布實施例的目的在于幫助進一步理解本發(fā)明,但是本領(lǐng)域的技術(shù)人員可以理解:在不脫離本發(fā)明及所附權(quán)利要求的精神和范圍內(nèi),各種替換和修改都是可能的。因此,本發(fā)明不應(yīng)局限于實施例所公開的內(nèi)容,本發(fā)明要求保護的范圍以權(quán)利要求書界定的范圍為準(zhǔn)。