欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

一種基于非子采樣輪廓波變換的圖像融合方法

文檔序號:6573053閱讀:575來源:國知局
專利名稱:一種基于非子采樣輪廓波變換的圖像融合方法
技術(shù)領(lǐng)域
本發(fā)明涉及圖像融合領(lǐng)域,特別涉及一種基于非子采樣輪廓波變換NSCT(Nonsubsampled Contourlet Transform)的圖像融合方法。
背景技術(shù)
所謂圖像融合是指綜合兩個或多個源圖像的信息,以獲取對同一場景的更為精確、更為全面、更為可靠的圖像描述。圖像融合充分利用了多個待融合圖像中包含的冗余信息和互補(bǔ)信息。該融合圖像應(yīng)更符合人或機(jī)器的視覺特性,以利于對圖像的進(jìn)一步分析、目標(biāo)的檢測、識別或跟蹤。
圖像融合由低到高也分為三個層次像素級融合、特征級融合和決策級融合。像素級融合是在圖像嚴(yán)格配準(zhǔn)的條件下,直接進(jìn)行像素關(guān)聯(lián)融合處理。特征級融合是在像素級融合的基礎(chǔ)上,使用模式相關(guān)、統(tǒng)計分析的方法進(jìn)行目標(biāo)識別、特征提取,并得到融合結(jié)果。決策級融合則是在上述兩種處理的基礎(chǔ)上,采用大型數(shù)據(jù)庫和專家決策系統(tǒng),模擬人的分析、推理過程,以增加判決的智能化和可靠性。從上面可以看出,像素級的圖像融合,無論作為直接觀察,還是作為進(jìn)一步處理的輸入,都是最基本的處理手段。因此,在圖像融合研究中像素級圖像融合是最活躍,同時研究成果也是最豐富的。本發(fā)明屬于像素級圖像融合,下面的討論也圍繞像素級圖像融合展開。
常用的像素平均法和像素加權(quán)平均法等單尺度像素級融合算法,具有實現(xiàn)簡單、計算量小的優(yōu)點(diǎn),但存在融合后圖像對比度下降顯著,細(xì)節(jié)模糊,信息損失大等缺點(diǎn),不利于應(yīng)用到目標(biāo)識別中?;诙喑叨确纸獾膱D像融合方法由于其融合過程是在不同尺度、不同空間分辨率、不同分解層上分別進(jìn)行的,因此,與單尺度圖像融合方法相比,基于多尺度分解的多分辨率圖像融合方法可以獲得明顯改善的融合效果。
基于多尺度分解的融合方法主要從尺度分解方法和融合規(guī)則兩方面開展研究。
(1)在多尺度分解方面,從拉普拉斯金字塔(參考Burt P.J.,Andelson E.H.The Laplacian pyramid as a compact image code.IEEE Trans.OnCommunication,Vol.31(4)532-540,1983.),比率低通金字塔(參考Toet A.,Image fusion by a ratio of low-pass pyramid,Pattern Recognition Letters,Vol.9,No.4,pp.245-253,1989)等發(fā)展到得已廣泛應(yīng)用的小波變換法(參考I.Daubechies,Ten Lectures on Wavelets.CBMSNSF Series in AppliedMathematics,SIAM Publications,Philadelphia,1992.)。小波變換雖然可以較好捕獲邊緣中的不連續(xù)點(diǎn),卻對輪廓上的平滑區(qū)域提取不理想,同時小波變換僅能提取有限的方向信息,無法應(yīng)對多方向的邊緣提取,小波重構(gòu)時產(chǎn)生的吉伯斯現(xiàn)象也影響融合質(zhì)量。最近提出的輪廓波變換ContourletTransform(參考文獻(xiàn)Minh N.Do,Martin Vetterli.The Contourlet TransformAn Efficient Directional Multi-resolution Image Representation.IEEETransactions On Image Processing 2004)因其方向濾波器可以準(zhǔn)確得到任意方向的邊緣信息,而被引入到圖像融合中,取得了優(yōu)于小波融合法的結(jié)果。
(2)在融合規(guī)則方面,目前的方法大多是直接對像素進(jìn)行處理,包括對單個像素或者窗口鄰域內(nèi)的像素。此類方法具有結(jié)構(gòu)簡單,易實現(xiàn)等特點(diǎn),但是對于目標(biāo)的描述往往不是單個像素或者單個窗口領(lǐng)域內(nèi)的像素所能達(dá)到的,所以基于像素的融合方法對于突出目標(biāo)具有一定的局限性。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于非子采樣輪廓波變換的圖像融合方法,使融合結(jié)果既能保留原圖像明顯邊緣特征,又能增大目標(biāo)與背景的對比度,從而大大提高融合后的圖像質(zhì)量。
本發(fā)明按照以下步驟完成(1)將源圖像A和B分別進(jìn)行非子采樣輪廓波變換,得到低頻子圖像Y0A,Y0B和一系列高頻子圖像YkB,YkB,k=1,2,...,N,N為高頻子圖像的個數(shù),由非子采樣輪廓波變換中金字塔分解的級數(shù)和方向濾波分解的方向數(shù)決定;(2)對一系列高頻子圖像YkA,YkB,k=1,2,...,N和低頻子圖像Y0A,Y0B進(jìn)行融合(a)按照以下步驟對一系列高頻子圖像YkA,YkB,k=1,2,...,N進(jìn)行融合(a1)將Y1A和Y1B對應(yīng),在Y1A選取一個窗口Ai,在Y1B選取一個窗口Bi,Ai與Bi表示大小相同的同一區(qū)域;(a2)計算并比較Ai和Bi對應(yīng)區(qū)域的圖像平均梯度大小,選擇平均梯度大的窗口對應(yīng)區(qū)域圖像作為融合后該區(qū)域的圖像;(a3)Ai和Bi采用單像素的移動速度,按照步驟(a2)的方式,逐行逐列遍歷Y1A和Y1B,得到Y(jié)1A和Y1B的融合結(jié)果Y1F;(a4)按照步驟(a1)-(a3)的方式,對Y2A和Y2B,Y3A和Y3B,...,YNA和YNB進(jìn)行融合,得到系列高頻子圖像融合結(jié)果Y2F,Y3F,...,YNF;(b)按照以下步驟對低頻子圖像進(jìn)行融合在T0A選取一個窗口Aj,在Y0B選取一個窗口Bj,Aj與Bj表示大小相同的同一區(qū)域,(b1)將Aj對應(yīng)的區(qū)域圖像ej,Bj對應(yīng)的區(qū)域圖像fj的方差和梯度分別與預(yù)定的臨界方差和臨界梯度做比較,判斷ej,fj是否滿足可分割條件;(b2)根據(jù)步驟(b1)的判斷結(jié)果對ej與fj進(jìn)行融合(I)若ej和fj均滿足可分割條件將ej和fj分別分割為兩個區(qū)域,將分割后的ej和fj關(guān)聯(lián)得到cj,cj包括四個區(qū)域,依照cj的區(qū)域劃分方式分別將ej和fj劃分為相同的四個區(qū)域,分別用00、01、10、11表示,將ej和fj的區(qū)域?qū)?yīng),根據(jù)區(qū)域類型,選擇像素灰度值大或者小的像素點(diǎn)作為融合后相應(yīng)區(qū)域的相應(yīng)像素點(diǎn);(II)若ej和fj中的一個滿足可分割條件設(shè)ej滿足可分割條件,fj不滿足可分割條件,將ej分割為兩個區(qū)域,fj作為一個區(qū)域,將分割后的ej與fj關(guān)聯(lián),得到關(guān)聯(lián)圖像cj,cj包含兩個區(qū)域,依照cj的區(qū)域劃分方式分別將ej和fj劃分為兩個區(qū)域,將ej和fj的區(qū)域?qū)?yīng),比較對應(yīng)區(qū)域內(nèi)對應(yīng)像素點(diǎn)的像素灰度值大小,根據(jù)區(qū)域類型,選擇像素灰度值大或者小的像素點(diǎn)作為融合后相應(yīng)區(qū)域的相應(yīng)像素點(diǎn);
(III)若ej和fj均不滿足將Y0A與T0B分別分割為兩個區(qū)域,將分割后的Y0A與Y0B關(guān)聯(lián)得到G,G包括四個區(qū)域,計算ej,fj的平均像素灰度值,將其分別與Y0A和Y0B的分割閾值比較,確定ej,fj屬于G的哪一個區(qū)域類型,比較ej,fj對應(yīng)像素點(diǎn)的像素灰度值大小,根據(jù)ej,fj的區(qū)域類型,選擇像素灰度值大或者小的像素點(diǎn)作為融合后相應(yīng)區(qū)域的相應(yīng)像素點(diǎn);(b3)Aj和Bj采用單像素的移動速度,按照步驟(b2)的方式,逐行逐列遍歷Y0A和Y0B,得到低頻子圖像融合結(jié)果Y0F。
(3)對Y1F,Y2F,Y3F,...,YNF與Y0F進(jìn)行非子采樣輪廓波逆變換,得到最終融合結(jié)果F。
所述步驟(b1)和(b2)具體如下(b1)判斷ej和fj是否滿足可分割條件將ej的方差Deva和梯度Grada分別與預(yù)定的臨界方差Dev0和臨界梯度Grad0做比較,若Deva>Dev0且Grada>Grad0,ej滿足可分割條件,否則,不滿足;fj的判斷方式同ej;(b2)根據(jù)步驟(b1)的判斷結(jié)果對ej和fj進(jìn)行融合a)若ej和fj均滿足可分割條件將ej和fj分別分割為兩個區(qū)域,將分割后的ej和fj關(guān)聯(lián)得到cj,cj包括四個區(qū)域,依照cj的區(qū)域劃分方式分別將ej和fj劃分為相同的四個區(qū)域,分別用00、01、10、11表示,將ej和fj的區(qū)域?qū)?yīng),比較對應(yīng)區(qū)域內(nèi)對應(yīng)像素點(diǎn)的像素灰度值大小(I)對于00區(qū)域,采取像素灰度值選小規(guī)則;(II)對于01、10和11區(qū)域,采取像素灰度值選大規(guī)則;b)若ej和fj中的一個滿足可分割條件設(shè)ej滿足可分割條件,fj不滿足可分割條件,將ej分割為兩個區(qū)域,fj作為一個區(qū)域,將分割后的ej與fj關(guān)聯(lián),得到關(guān)聯(lián)圖像cj,cj包含兩個區(qū)域,依照cj的區(qū)域劃分方式分別將ej和fj劃分為兩個區(qū)域,分別用00,11表示,將ej和fj的區(qū)域?qū)?yīng),比較對應(yīng)區(qū)域內(nèi)對應(yīng)像素點(diǎn)的像素灰度值大小(I)對于00區(qū)域,采取像素灰度值選小規(guī)則;(II)對于11區(qū)域,采取像素灰度值選大規(guī)則;c)若ej和fj均不滿足對Y0A與Y0B進(jìn)行四區(qū)域關(guān)聯(lián),得到包含四個區(qū)域的關(guān)聯(lián)圖像G,計算ej與fj的平均像素灰度值M(ej),M(fj),將其分別與Y0A與Y0B的分割閾值thresh(A)、thresh(B)比較(I)如果M(ej)<thresh(A),M(fj)<thresh(B),則ej,fj屬于G的00區(qū)域類型,比較Aj,Bj對應(yīng)像素點(diǎn)的像素灰度值大小,采取像素灰度值選小規(guī)則;(II)如果M(ej)<thresh(A),M(fj)>thresh(B),則ej,fj屬于G的01區(qū)域類型,比較Aj,Bj對應(yīng)像素點(diǎn)的像素灰度值大小,采取像素灰度值選大規(guī)則;(III)如果M(ej)>thresh(A),M(fj)<thresh(B),則ej,fj屬于G的10區(qū)域類型,比較Aj,Bj對應(yīng)像素點(diǎn)的像素灰度值大小,采取像素灰度值選大規(guī)則;(IV)如果M(ej)>thresh(A),M(fj)>thresh(B),則ej,fj屬于G的11區(qū)域類型,比較ej,fj對應(yīng)像素點(diǎn)的像素灰度值大小,采取像素灰度值選大規(guī)則。
本發(fā)明的有益效果在多尺度分解方面,本發(fā)明采用非子采樣輪廓波變換NSCT對圖像進(jìn)行多尺度分解;在融合規(guī)則方面,高頻子圖像部分基于清晰度的融合方法,有效提取特征明顯的邊緣,低頻子圖像部分采取基于局部區(qū)域分割的融合方法,有效突出目標(biāo)與背景的對比度。兩種方法的疊加可以得到邊緣信息與目標(biāo)光譜信息俱佳的融合結(jié)果。


圖1為本發(fā)明的流程示意圖;圖2為非子采樣輪廓波變換圖像分解的一個例子,其中,圖2(a)為原圖像,圖2(b)為低頻子圖像,圖2(c)-圖2(q)為系列高頻子圖像;圖3為高頻子圖像基于清晰度的融合方法示意圖;圖4為低頻子圖像基于區(qū)域?qū)Ρ榷仍鰪?qiáng)的融合方法示意圖;圖5為圖像分割四區(qū)域關(guān)聯(lián)示意圖;圖6為圖像分割二區(qū)域關(guān)聯(lián)示意圖;圖7為本發(fā)明圖像融合的兩個例子,其中,圖7(a)為可見光圖像,圖7(b)為紅外圖像,圖7(c)為采用本發(fā)明的融合結(jié)果,圖7(d)為采用像素平均融合法的融合結(jié)果,圖7(e)為采用塔形變換融合法的融合結(jié)果,圖7(f)為采用小波融合法的結(jié)果;
圖8為非子采樣輪廓波變換(NSCT)的結(jié)構(gòu)示意圖,其中,圖8(a)為非子采樣濾波器組,圖8(b)為圖像頻率分割結(jié)果;圖9為非子采樣金字塔(NSP)分解圖像示意圖,其中圖9(a)為金字塔分解結(jié)構(gòu),圖9(b)為圖像頻率分割結(jié)果;圖10為非子采樣金字塔分解圖像的一個例子,其中,圖10(a)為原圖,圖10(b)為低頻子圖像,圖10(c)為高頻子圖像;圖11為非子采樣方向濾波器(NSDFB)分解圖像示意圖,其中,圖11(a)為方向濾波器結(jié)構(gòu),圖11(b)為圖像頻率分割結(jié)果;圖12為非子采樣方向濾波器(NSDFB)分解圖像的一個例子,其中,圖12(a)為原圖,圖12(b)為方向濾波結(jié)果;具體實施方式
本發(fā)明使用非子采樣輪廓波變換NSCT(Nonsubsampled ContourletTransform)對圖像進(jìn)行多尺度分解,然后在不同的頻段上進(jìn)行不同的融合操作,處理流程如圖1所示(1)源圖像A,B分別經(jīng)非子采樣輪廓波變換,分解為低頻子圖像Y0A,Y0B和一系列高頻子圖像YkA,YkB,k=1,2,...,N,其中,N為高頻子圖像的個數(shù)。
高頻部分代表圖像的細(xì)節(jié)分量,包含源圖像的邊緣細(xì)節(jié)信息,高頻子圖像的個數(shù)N,由非子采樣輪廓波變換中金字塔分解的級數(shù)和方向濾波分解的方向數(shù)決定;低頻部分代表圖像的近似分量,包含源圖像的光譜信息。非子采樣輪廓波變換(NSCT)在結(jié)構(gòu)上分為非子采樣金字塔NSP(Nonsubsampled Pyramid)和非子采樣方向濾波器NSDFB(NonsubsampledDirectional Filter Bank)兩部分,我們在稍后詳細(xì)介紹。本發(fā)明中,金字塔分解層數(shù)可設(shè)為3到6層,對應(yīng)于第i層的方向濾波個數(shù)為2i-1。例如,金字塔分解層數(shù)設(shè)為4層,第一層到第四層的方向濾波個數(shù)依次為1、2、4、8。綜合考慮效果和效率,層數(shù)設(shè)為4層最佳。圖2為本發(fā)明分解層數(shù)為4時使用非子采樣輪廓波變換(NSCT)分解圖像的一個例子。
(2)對高頻子圖像YkA,YkB,k=1,2,...,N,提出一種基于清晰度選擇的融合方法,示意圖見圖3。清晰度,即平均梯度 反映了圖像的清晰程度,同時還反映出圖像中的細(xì)節(jié)反差和紋理變換特征,表達(dá)式如下▿G‾=1NΣΣ(Δxf(i,j)2+Δyf(i,j)2)12]]>其中N為總像素個數(shù),Δxf(i,j),Δyf(i,j)分別在橫坐標(biāo),縱坐標(biāo)方向上的一階差分,(i,j)為第i行,第j列的像素點(diǎn)。
將Y1A和Y1B一一對應(yīng),在Y1A選取一個窗口Ai,在Y1B選取一個窗口Bi,Ai與Bi表示大小相同的同一區(qū)域。計算Ai與Bi對應(yīng)區(qū)域圖像的平均梯度 選擇平均梯度大的窗口圖像區(qū)域作為融合后相應(yīng)圖像區(qū)域,用Fi表示 Ai與Bi在原圖像上逐行逐列遍歷Y1A與Y1B,按照基于清晰度選擇的融合方法,得到高頻子圖像融合結(jié)果Y1F。需要注意的是,為了避免使融合結(jié)果產(chǎn)生明顯的分塊效果,窗口在原圖像上采取單像素的平移速度;高頻部分中的系數(shù)有正有負(fù),所以在計算中取絕對值。
按照Y1A與Y1B融合的方式,對Y2A和Y2B,Y3A和Y3B,...,YNA和YNB進(jìn)行融合,得到高頻子圖像融合結(jié)果Y2F,Y3F,...,YNF;本發(fā)明中,窗口大小一般為5*5-10*10,具體依圖像大小而定。
(3)圖像的低頻部分Y0A、Y0B可以看作源圖像降低分辨率的結(jié)果,包含源圖像的灰度光譜信息。要增強(qiáng)目標(biāo)背景對比度使之有利于進(jìn)一步分析,低頻圖像的融合至關(guān)重要。原有的基于單個像素的融合方法難以達(dá)到要求,本文提出一種基于區(qū)域?qū)Ρ榷仍鰪?qiáng)的融合方法,示意圖見圖4。圖像經(jīng)過分割可以將目標(biāo)與背景分離,在目標(biāo)區(qū)域與背景區(qū)域內(nèi)部再實施不同的融合操作可以增大目標(biāo)背景對比度,使得目標(biāo)更加明顯。
考慮對應(yīng)低頻圖像中表示同一區(qū)域的兩個等大的窗口,提出相關(guān)概念如下(A)可分割條件 窗口內(nèi)圖像內(nèi)只有目標(biāo)與背景間有明顯界限才可以分割,否則認(rèn)為圖像是目標(biāo)或者背景的內(nèi)部區(qū)域不可分割。這里提出臨界方差Dev0和臨界梯度Grad0的指標(biāo),對于窗口圖像a來說
(B)四區(qū)域關(guān)聯(lián) 如果兩個窗口圖像a、b均滿足可分割條件,將其分別分割,a,b分別被分割為兩個區(qū)域,分別用0,1表示。然后將分割后的a,b關(guān)聯(lián)得到c,c包括四個區(qū)域,分別用00、01、10、11表示。如圖5所示,其中黑色區(qū)域為00,白色區(qū)域為11,灰色區(qū)域為01和10。
(C)二區(qū)域關(guān)聯(lián)如果兩個窗口圖像a和b之間的一個滿足可分割條件,另一個不滿足,假設(shè)a滿足而b不滿足,將a分割為兩個區(qū)域,分別用0,1表示,而b不分割,則關(guān)聯(lián)圖像c與圖像a分割后結(jié)果相同,如圖6所示,圖中黑色區(qū)域為00,白色區(qū)域為11,與四區(qū)域關(guān)聯(lián)相比沒有灰色區(qū)域。
本發(fā)明中的分割方法,使用文獻(xiàn)N.Otsu.A Threshold Selection Methodfrom Gray-Level Histograms[J].IEEE Transactions on Systems,Man,andCybemetics,Vol.9,No.1,1979,pp.62-66.中的大津灰度閾值分割法。這并不是說明該分割方法效果最好,也可以采用其它的二值分割方法。
設(shè)兩幅低頻子圖像Y0A與Y0B的融合結(jié)果為Y0F,在Y0A選取一個窗口Aj,在Y0B選取一個窗口Bj,Aj與Bj表示大小相同的同一區(qū)域。將Aj對應(yīng)的區(qū)域圖像ej,Bj對應(yīng)的區(qū)域圖像fj的方差和梯度分別與預(yù)定的臨界方差和臨界梯度做比較,判斷ej,fj是否滿足可分割條件。臨界方差Dev0和臨界梯度Grad0取值范圍一般為10-30,具體視圖像而定。
按照以下步驟對低頻子圖像進(jìn)行融合。
(3.1)判斷ej,fj是否滿足可分割條件。
將ej的方差Deva和梯度Grada分別與預(yù)定的臨界方差Dev0和臨界梯度Grad0做比較,若Deva>Dev0且Grada>Grad0,認(rèn)為ej滿足可分割條件,否則不滿足;fj的方差Devb和梯度Gradb分別與Dev0和Grad0做比較,若Devb>Dev0且Gradb>Grad0,認(rèn)為fj滿足可分割條件,否則不滿足。
(3.2)根據(jù)步驟(3.1)的判斷結(jié)果對ej與fj進(jìn)行融合。
a)若ej與fj均滿足可分割條件對ej與fj采用四區(qū)域關(guān)聯(lián),得到包含四個區(qū)域的關(guān)聯(lián)圖像cj,依照cj的區(qū)域劃分方式分別將ej和fj劃分為四個區(qū)域,分別用00、01、10、11表示,將ej和fj的區(qū)域?qū)?yīng),比較區(qū)域內(nèi)對應(yīng)像素點(diǎn)的像素灰度值大小(I)對于00區(qū)域,采取像素灰度值選大規(guī)則;(II)對于11區(qū)域,采取像素灰度值選大規(guī)則;(III)對于01和10區(qū)域,采取像素灰度值選大規(guī)則;b)若ej和fj中的一個滿足可分割條件對ej和fj采用二區(qū)域關(guān)聯(lián),得到包含兩個區(qū)域的關(guān)聯(lián)圖像cj,分別用00,11表示,依照cj的區(qū)域劃分方式分別將ej和fj劃分為兩個區(qū)域,將ej和fj的區(qū)域?qū)?yīng),比較區(qū)域內(nèi)對應(yīng)像素點(diǎn)的像素灰度值大小(I)對于00區(qū)域,采取像素灰度值選小規(guī)則;(II)對于11區(qū)域,采取像素灰度值選大規(guī)則;c)若ej和fj均不滿足可分割條件對Y0A與Y0B進(jìn)行四區(qū)域關(guān)聯(lián),得到包含四個區(qū)域的關(guān)聯(lián)圖像G,計算ej和fj的平均像素灰度值M(ej),M(fj),將其分別與Y0A與Y0B的分割閾值thresh(A)、thresh(B)比較(I)如果M(ej)<thresh(A),M(fj)<thresh(B),則ej和fj在G的00區(qū)域,比較ej和fj對應(yīng)像素點(diǎn)的像素灰度值大小,采取像素灰度值選小規(guī)則;(II)如果M(ej)<thresh(A),M(fj)>thresh(B),則ej和fj在G的01區(qū)域,比較ej和fj對應(yīng)像素點(diǎn)的像素灰度值大小,采取像素灰度值選大規(guī)則;(III)如果M(ej)>thresh(A),M(fj)<thresh(B),則ej和fj在G的10區(qū)域,比較ej和fj對應(yīng)像素點(diǎn)的像素灰度值大小,采取像素灰度值選大規(guī)則;(IV)如果M(ej)>thresh(A),M(fj)>thresh(B),則ej和fj在G的11區(qū)域,比較ej和fj對應(yīng)像素點(diǎn)的像素灰度值大小,采取像素灰度值選大規(guī)則。
上述采取像素灰度值選小規(guī)則,是指選擇像素灰度值小的像素點(diǎn)作為融合后相應(yīng)區(qū)域的相應(yīng)像素點(diǎn);采取像素灰度值選大規(guī)則,是指選擇像素灰度值大的像素點(diǎn)作為融合后相應(yīng)區(qū)域的相應(yīng)像素點(diǎn);(3.3)ej和fj采用單像素的移動速度,按照步驟(3.2)的方式,逐行逐列遍歷Y0A和Y0B,得到低頻子圖像融合結(jié)果Y0F。
本融合方法對于兩幅圖像中均較暗的區(qū)域采取像素灰度值選小,這有利于突出目標(biāo)與背景的對比度;對于其他區(qū)域采取像素灰度值選大,有利于使融合圖像綜合所有的亮區(qū)域目標(biāo)。
(4)對系列高頻子圖像的融合結(jié)果Y1F,Y2F,Y3F,...,YNF與低頻子圖像的融合結(jié)果Y0F,采用非子采樣輪廓波逆變換,得到最終的融合結(jié)果。
圖7給出本方法融合的一個例子。源圖像是同一場景的可見光與紅外圖像,可以發(fā)現(xiàn)可見光圖像具有豐富的細(xì)節(jié)信息如樹木,柵欄,房屋邊緣等,道路和植被間及房子和植被間的對比明顯;紅外圖像中光譜信息豐富,具有明顯的人形目標(biāo),卻缺少前者的細(xì)節(jié)。觀察結(jié)果發(fā)現(xiàn),融合圖像既保留了源圖像中的細(xì)節(jié)信息,又突出了人形目標(biāo)等與背景的對比度。選擇像素平均融合法,塔形變換融合法和小波變換融合法作為對比。其中塔形變換融合法和小波融合法的融合步驟如下首先對圖像進(jìn)行變換,然后在高頻子圖像融合采取像素絕對值選大規(guī)則,在低頻子圖像融合采取像素灰度值平均規(guī)則,最后應(yīng)用逆變換得到融合結(jié)果。塔形變換采用拉普拉斯塔形變換,分解層數(shù)為4層;小波變換采用哈爾(Haar)小波,小波分解層數(shù)為3層。
表1給出了圖7的評價指標(biāo)對比,選取熵衡量圖像信息量,平均梯度衡量圖像細(xì)節(jié)信息,標(biāo)準(zhǔn)方差衡量圖像對比度。觀察發(fā)現(xiàn)融合結(jié)果的熵、平均梯度和標(biāo)準(zhǔn)方差與其他的融合結(jié)果相比都有較大提高,所以本融合法可以有效提取源圖像的邊緣信息并提高圖像的對比度,突出目標(biāo)。
表1(黑體表示本行最佳)

本發(fā)明所依據(jù)的非子采樣輪廓波變換原理如下非子采樣輪廓波變換將多分辨分析與多方向分析分開進(jìn)行,在結(jié)構(gòu)上可以分為非子采樣金字塔分解和非子采樣方向濾波兩部分。圖8顯示了變換的結(jié)構(gòu)示意圖。圖像首先經(jīng)過非子采樣金字塔濾波器分解為一個高頻圖像金字塔序列和一幅低頻圖像,然后對金字塔序列的各個高頻圖像分別采用非子采樣方向濾波,得到多組方向濾波圖像序列。
(1)非子采樣金字塔NSP(Nonsubsampled Pyramid)NSP類似于拉氏金字塔,對圖像進(jìn)行多級分解。圖像經(jīng)過第一級濾波得到一幅低頻圖像和一幅高頻圖像,以后的多級濾波在低頻圖像上迭代進(jìn)行。下一級頻率分解的濾波器由上一級濾波器升采樣得到,這就在完成多級分解的同時避免了新濾波器的設(shè)計。NSP可以看成拉氏金字塔去掉降采樣和升采樣過程,并將相應(yīng)的濾波器升采樣處理得到。非子采樣保證了NSP的平移不變性。圖9為3級分解的NSP結(jié)構(gòu)示意圖,其中H0(z)為低通濾波器,H1(z)為高通濾波器。圖10為NSP分解的一個例子。
(2)非子采樣方向濾波器NSDFB(Nonsubsampled Directional FilterBank)文獻(xiàn)R.H.Bamberger,M.J.Smith,A filter bank for the directionaldecomposition of imagesTeory and design,IEEE Trans.Signal Process.Vol.40,No.4,Apr.1992中提出的方向濾波器組DFB(Directional Filter Bank)由雙通道扇形濾波器組和重采樣操作構(gòu)成,濾波結(jié)果為將不同方向性的邊緣分解到各層中。類似非子采樣金字塔NSP的構(gòu)造,非子采樣方向濾波器NSDFB通過去除方向濾波器組DFB的降采樣和升采樣,并將相應(yīng)的方向濾波器升采樣得到。非子采樣同樣保證了NSDFB的平移不變性。圖11是一個方向濾波器結(jié)構(gòu)示意圖,其中整個非子采樣方向濾波器組的樹型結(jié)構(gòu)是由基本的扇形濾波器U0(z)升采樣得到的,U0(zQ)為U0(z)升采樣得到。圖12為方向濾波器分解的一個例子。
金字塔濾波器和方向濾波器的非子采樣保證了非子采樣輪廓波NSCT變換的平移不變性。與小波變換相比,NSCT具有任意角度的方向性,更能“捕捉”圖像中“沿”邊緣信息,比小波對圖像幾何特征的表達(dá)能力更強(qiáng)。
權(quán)利要求
1.一種基于非子采樣輪廓波變換的圖像融合方法,包括以下步驟(1)將源圖像A和B分別進(jìn)行非子采樣輪廓波變換,得到低頻子圖像Y0A,Y0B和一系列高頻子圖像YkA,YkB,k=1,2,…,N,N為高頻子圖像的個數(shù),由非子采樣輪廓波變換中金字塔分解的級數(shù)和方向濾波分解的方向數(shù)決定;(2)對一系列高頻子圖像YkA,YkB,k=1,2,…,N和低頻子圖像Y0A,Y0B進(jìn)行融合(a)按照以下步驟對一系列高頻子圖像YkA,YkB,k=1,2,…,N進(jìn)行融合(a1)將Y1A和Y1B對應(yīng),在Y1A選取一個窗口Ai,在Y1B選取一個窗口Bi,Ai與Bi表示大小相同的同一區(qū)域;(a2)計算并比較Ai和Bi對應(yīng)區(qū)域的圖像平均梯度大小,選擇平均梯度大的窗口對應(yīng)區(qū)域圖像作為融合后該區(qū)域的圖像;(a3)Ai和Bi采用單像素的移動速度,按照步驟(a2)的方式,逐行逐列遍歷Y1A和Y1B,得到Y(jié)1A和Y1B的融合結(jié)果Y1F;(a4)按照步驟(a1)-(a3)的方式,對Y2A和Y2B,Y3A和Y3B,…,YNA和YNB進(jìn)行融合,得到系列高頻子圖像融合結(jié)果Y2F,Y3F,…,YNF;(b)按照以下步驟對低頻子圖像進(jìn)行融合在Y0A選取一個窗口Aj,在Y0B選取一個窗口Bj,Aj與Bj表示大小相同的同一區(qū)域,(b1)設(shè)Aj對應(yīng)的區(qū)域圖像為ej,Bj對應(yīng)的區(qū)域圖像為fj,將ej和fj的方差與梯度分別與預(yù)定的臨界方差和臨界梯度做比較,判斷ej,fj是否滿足可分割條件;(b2)根據(jù)步驟(b1)的判斷結(jié)果對ej與fj進(jìn)行融合(I)若ej和fj均滿足可分割條件將ej和fj分別分割為兩個區(qū)域,將分割后的ej和fj關(guān)聯(lián)得到cj,cj包括四個區(qū)域,依照cj的區(qū)域劃分方式分別將ej和fj劃分為相同的四個區(qū)域,分別用00、01、10、11表示,將ej和fj的區(qū)域?qū)?yīng),根據(jù)區(qū)域類型,選擇像素灰度值大或者小的像素點(diǎn)作為融合后相應(yīng)區(qū)域的相應(yīng)像素點(diǎn);(II)若ej和fj中的一個滿足可分割條件設(shè)ej滿足可分割條件,fj不滿足可分割條件,將ej分割為兩個區(qū)域,fj作為一個區(qū)域,將分割后的ej與fj關(guān)聯(lián),得到關(guān)聯(lián)圖像cj,cj包含兩個區(qū)域,依照cj的區(qū)域劃分方式分別將ej和fj劃分為兩個區(qū)域,將ej和fj的區(qū)域?qū)?yīng),比較對應(yīng)區(qū)域內(nèi)對應(yīng)像素點(diǎn)的像素灰度值大小,根據(jù)區(qū)域類型,選擇像素灰度值大或者小的像素點(diǎn)作為融合后相應(yīng)區(qū)域的相應(yīng)像素點(diǎn);(III)若ej和fj均不滿足將Y0A與Y0B分別分割為兩個區(qū)域,將分割后的Y0A與Y0B關(guān)聯(lián)得到G,G包括四個區(qū)域,計算ej,fj的平均像素灰度值,將其分別與Y0A和Y0B的分割閾值比較,確定ej,fj屬于G的哪一個區(qū)域類型,比較ej,fj對應(yīng)像素點(diǎn)的像素灰度值大小,根據(jù)ej,fj的區(qū)域類型,選擇像素灰度值大或者小的像素點(diǎn)作為融合后相應(yīng)區(qū)域的相應(yīng)像素點(diǎn);(b3)Aj和Bj采用單像素的移動速度,按照步驟(b2)的方式,逐行逐列遍歷Y0A和Y0B,得到低頻子圖像融合結(jié)果Y0F;(3)對Y1F,Y2F,Y3F,…,YNF與Y0F進(jìn)行非子采樣輪廓波逆變換,得到最終融合結(jié)果F。
2.根據(jù)權(quán)利要求1所述的一種基于非子采樣輪廓波變換的圖像融合方法,其特征在于,所述步驟(b1)和(b2)具體如下(b1)判斷ej和fj是否滿足可分割條件將ej的方差Deva和梯度Grada分別與預(yù)定的臨界方差Dev0和臨界梯度Grad0做比較,若Deva>Dev0且Grada>Grad0,ej滿足可分割條件,否則,不滿足;fj的判斷方式同ej;(b2)根據(jù)步驟(b1)的判斷結(jié)果對ej和fj進(jìn)行融合a)若ej和fj均滿足可分割條件將ej和fj分別分割為兩個區(qū)域,將分割后的ej和fj關(guān)聯(lián)得到cj,cj包括四個區(qū)域,依照cj的區(qū)域劃分方式分別將ej和fj劃分為相同的四個區(qū)域,分別用00、01、10、11表示,將ej和fj的區(qū)域?qū)?yīng),比較對應(yīng)區(qū)域內(nèi)對應(yīng)像素點(diǎn)的像素灰度值大小(I)對于00區(qū)域,采取像素灰度值選小規(guī)則;(II)對于01、10和11區(qū)域,采取像素灰度值選大規(guī)則;b)若ej和fj中的一個滿足可分割條件設(shè)ej滿足可分割條件,fj不滿足可分割條件,將ej分割為兩個區(qū)域,fj作為一個區(qū)域,將分割后的ej與fj關(guān)聯(lián),得到關(guān)聯(lián)圖像cj,cj包含兩個區(qū)域,依照cj的區(qū)域劃分方式分別將ej和fj劃分為兩個區(qū)域,分別用00,11表示,將ej和fj的區(qū)域?qū)?yīng),比較對應(yīng)區(qū)域內(nèi)對應(yīng)像素點(diǎn)的像素灰度值大小(I)對于00區(qū)域,采取像素灰度值選小規(guī)則;(II)對于11區(qū)域,采取像素灰度值選大規(guī)則;c)若ej和fj均不滿足對Y0A與T0B進(jìn)行四區(qū)域關(guān)聯(lián),得到包含四個區(qū)域的關(guān)聯(lián)圖像G,計算ej與fj的平均像素灰度值M(ej),M(fj),將其分別與Y0A與Y0B的分割閾值thresh(A)、thresh(B)比較(I)如果M(ej)<thresh(A),M(fj)<thresh(B),則ej,fj屬于G的00區(qū)域類型,比較Aj,Bj對應(yīng)像素點(diǎn)的像素灰度值大小,采取像素灰度值選小規(guī)則;(II)如果M(ej)<thresh(A),M(fj)>thresh(B),則ej,fj屬于G的01區(qū)域類型,比較Aj,Bj對應(yīng)像素點(diǎn)的像素灰度值大小,采取像素灰度值選大規(guī)則;(III)如果M(ej)>thresh(A),M(fj)<thresh(B),則ej,fj屬于G的10區(qū)域類型,比較Aj,Bj對應(yīng)像素點(diǎn)的像素灰度值大小,采取像素灰度值選大規(guī)則;(IV)如果M(ej)>thresh(A),M(fj)>thresh(B),則ej,fj屬于G的11區(qū)域類型,比較ej,fj對應(yīng)像素點(diǎn)的像素灰度值大小,采取像素灰度值選大規(guī)則。
全文摘要
本發(fā)明提出一種基于非子采樣輪廓波變換的圖像融合方法,包括以下步驟①使用非子采樣輪廓波變換對圖像進(jìn)行多尺度分解,得到高頻子圖像系列和低頻子圖像;②對高頻子圖像,采用基于清晰度選擇的融合方法進(jìn)行融合;③對低頻子圖像,用可分割條件進(jìn)行判斷,根據(jù)判斷結(jié)果選擇采用四區(qū)域關(guān)聯(lián)或者二區(qū)域關(guān)聯(lián)方法對低頻子圖像分割,分割后的區(qū)域采用相應(yīng)像素灰度值選擇規(guī)則進(jìn)行融合;④對高頻子圖像的融合結(jié)果與低頻子圖像的融合結(jié)果采用非子采樣輪廓波逆變換,得到最終的融合結(jié)果。本發(fā)明可以有效保留源圖像中的邊緣信息,增大目標(biāo)背景對比度,突出圖像目標(biāo)特征,融合結(jié)果適合進(jìn)行視覺分析和目標(biāo)檢測等進(jìn)一步的處理。
文檔編號G06T5/00GK101093580SQ20071005249
公開日2007年12月26日 申請日期2007年8月29日 優(yōu)先權(quán)日2007年8月29日
發(fā)明者曹治國, 王凱, 肖陽, 徐正翔, 鄒臘梅, 馬明剛, 譚穎 申請人:華中科技大學(xué)
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點(diǎn)贊!
1
色达县| 上栗县| 高唐县| 漳平市| 探索| 理塘县| 阿坝| 萝北县| 农安县| 奎屯市| 白河县| 自治县| 鄂伦春自治旗| 科尔| 张家界市| 洛宁县| 大宁县| 扶沟县| 睢宁县| 临沧市| 平遥县| 安溪县| 寿光市| 垫江县| 梁山县| 广昌县| 巴林右旗| 青龙| 长沙市| 樟树市| 黄骅市| 吉木萨尔县| 清远市| 山西省| 巧家县| 乐都县| 华阴市| 循化| 和平区| 阿鲁科尔沁旗| 江山市|