專利名稱：一種基于二維經(jīng)驗模態(tài)分解的顯微圖像融合方法
技術領域：
本發(fā)明涉及圖像融合的技術，特別涉及一種基于二維經(jīng)驗模態(tài)分解的顯微圖像融 合方法，用以融合顯微成像過程中聚焦位置不同的多幅圖像，由局部清晰的序列圖像提取 得到整幅清晰的圖像，特別適合紅外光源條件下的顯微成像。
背景技術：
圖像融合是以圖像為主要研究內容的信息融合技術，是將兩幅或多幅圖像合成為 一幅圖像，以獲取對同一場景的更為精確、更為全面、更為可靠的圖像描述。圖像融合技術 通過有效地利用多幅圖像間的冗余性和互補性，使融合后的圖像更適合人的視覺感受，適 合計算機的理解、分析及后續(xù)處理的需要，如圖像分割、目標識別等。至今為止，人們已研究出了多種方法用于融合多聚焦圖像，可主要分為空域融合 方法和多分辨分析方法兩大類。各類空域融合方法計算速度快，但在處理離焦程度較大的顯微圖像時，容易產生 塊效應，效果不理想。以小波變換為代表的多分辨分析方法具有良好的平滑性能，目前得到廣泛的應用 和認可，但這種方法有兩個問題一是所抽取的特征只能反映圖像在單一函數(shù)經(jīng)過平移和 伸縮所構成函數(shù)上的能量；二是需要對小波基和一些參數(shù)進行選取。1998年美國學者Norden E. Huang等人提出了一種用于分析非線性非平穩(wěn)數(shù) 據(jù)的經(jīng)驗模態(tài)分解(Empirical Mode Decomposition，EMD)方法，它是基于數(shù)據(jù)時域 局部特征、自適應的時頻分析工具。二維經(jīng)驗模態(tài)分解(Bidimensional Empirical ModeDecomposition, BEMD)是一維EMD分解思想與方法在二維平面上的推廣，可用于圖像 數(shù)據(jù)的分析和處理，通過將原始圖像自適應地分解為有限數(shù)量的子圖像，可以將圖像從高 頻到低頻的局部窄帶的各個細節(jié)清晰地分解出來，殘差表示圖像趨勢。提取來的各級固有 模態(tài)函數(shù)(Intrinsic Mode Function, IMF)都具有當前圖像中局部最高的空間振蕩頻率， 也就是當前圖像的紋理特征。這種新的圖像多尺度分析方法，其與傳統(tǒng)多尺度分析技術區(qū) 別主要在于首先，極值點距離被引入進行局部尺度的確定從而使分解具有自適應和完全 數(shù)據(jù)驅動的特性；其次，每一成分的提取都使用迭代計算方法，并使用某種準則確定迭代的 終止。由于這些原因，BEMD在自適應的提取圖像符合視覺感知的成分上有其獨特的優(yōu)勢。 但作為一種新興的技術，BEMD方法在理論上還不盡完善，其應用更處于起步階段，且很少有 關于圖像融合的討論和具體應用的嘗試，需深入研究探索。主成分分析(PCA)是統(tǒng)計學中分析數(shù)據(jù)的一種有效的方法，其主要目的是降維， 并且在降維后保存了原數(shù)據(jù)中的主要信息，從而使數(shù)據(jù)更易于處理。但是，在非多尺度分解 的框架下，基于PCA分解確定加權系數(shù)的圖像融合方法對顯微圖像聚焦細節(jié)信息的提取能 力有限。但若能將該方法融入多尺度分解算法，必將取得更好的融合圖像，值得在這方面繼 續(xù)加以研究。綜上，目前的現(xiàn)有融合技術應用于序列顯微圖像融合，特別是紅外光源條件下的顯微圖像的融合時，還存在一些不足各類空域融合方法存在塊效應問題；小波變換方法 只提取水平、垂直和對角線三個方向細節(jié)信息且需要對小波基等參數(shù)進行選擇，并且參數(shù) 選擇的好壞對融合結果有很大的影響。

發(fā)明內容
本發(fā)明的目的在于，針對現(xiàn)有技術的不足，本發(fā)明立足提出一種顯微圖像融合方 法，以期達到既不產生塊效應現(xiàn)象，又無需人為進行參數(shù)的選擇，并且能夠更好地提取顯微 圖像的聚焦信息的目標，實現(xiàn)全二維的自適應顯微圖像融合，從而提供一種基于二維經(jīng)驗 模態(tài)分解的顯微圖像融合方法，其基于全新的多尺度分解結構，具有完全數(shù)據(jù)驅動的自適 應性，具有更強的細節(jié)獲取能力，并且反映顯微圖像獨特的視覺意義，運用主成分分析方法 和局部顯著性準則進行分解后各成分的處理，使得融合后圖像的質量得到提高。對于普通顯微鏡，本發(fā)明可以有效擴大顯微鏡的景深，特別地，可以應用于使用紅 外光源的顯微觀察領域，如對具有趨光性的微小生物體的顯微鏡觀察，還可以用于生物學、 病理學、藥物化學、材料檢測等領域。因為很多需要顯微鏡觀察的微小生物體具有趨光性，此時顯微鏡的可見光光源就 會對實驗產生無法預料的影響而得不到預期的結果。使用紅外光源代替普通光源，可以有 效的避免光源對實驗結果的影響。植物、細胞生長普遍具有趨光性，很多植物、細胞和微生 物等的生長實驗必須在避光的條件下進行，采用可見光進行實時觀察，會對植物、細胞和微 生物等的行為和效應產生影響，從而影響實驗結果。大量的文獻報道生命體對紅外波段的 敏感性低，采用紅外光源進行觀察，對植物、細胞和微生物等的行為和效應產生的影響非常 小，是一種適宜進行生命實驗的觀測手段。但是，使用紅外光源代替普通光源，由于光信號 較弱，照度較低，顯微成像的圖像質量受到一定程度的影響，亮度、對比度較低，需要更好的 顯微圖像融合方法。在顯微光學成像過程中，顯微鏡物鏡放大倍數(shù)越高，景深越小，只有那些在聚焦平 面或其附近的結構才是可見的。而生物醫(yī)學的發(fā)展要求顯微鏡成像既要有更高的分辨率又 要有足夠的景深，這是傳統(tǒng)光學硬件的矛盾。解決上述問題的一個有效方法就是采集覆蓋 顯微樣本全部縱向信息的序列圖像，利用數(shù)字圖像處理技術，通過一定的融合規(guī)則對序列 圖像進行合成，從而重建出一幅每一景深部位均十分清晰的圖像。為實現(xiàn)上述發(fā)明的目的，本發(fā)明提供了一種基于二維經(jīng)驗模態(tài)分解的顯微圖像融 合方法，該方法采用二維經(jīng)驗模態(tài)分解方法對采集的序列顯微源圖像進行多尺度分解，獲 得源圖像的多級尺度的高頻分量，按照局部顯著性準則進行融合處理，并對源圖像的低頻 分量采用主成分分析方法進行融合處理，最后反向重構獲取融合圖像，該方法包括如下步 驟(1)對采集的序列顯微源圖像X1, &，...，Xn分別進行二維經(jīng)驗模態(tài)分解處理，二 維經(jīng)驗模態(tài)分解BEMD的過程反映了提取局部最高頻、次高頻的過程，得到每幅源圖像的η 級固有模態(tài)函數(shù)分量IMF和一個殘差分量；(2)對不同源圖像對應的各級固有模態(tài)函數(shù)分量IMF中的像素，采用基于區(qū)域極 大值的局部顯著性選擇準則進行融合處理，使得將融合后的固有模態(tài)函數(shù)分量具備所有源 圖像的清晰聚焦的細節(jié)信息；
(3)利用主成分分析PCA方法，分別計算出不同源圖像對應的殘差分量的自適應 融合權重，按權重進行殘差分量的融合處理；(4)將融合后的各級固有模態(tài)函數(shù)分量和殘差分量反向重構獲取融合圖像。作為上述技術方案的一種改進，所述的步驟(1)中對每一幅源圖像進行圖像高頻 到低頻的自然尺度分離，首先，分解出來的第1級固有模態(tài)函數(shù)IMF1是圖像所含有的最高 頻率分量，該分量的各處頻率都對應著圖像在各處的局部最高頻，源圖像減去第1級固有 模態(tài)函數(shù)得到第1級殘差分量；對第1級殘差分量再進行分解，得到第2級固有模態(tài)函數(shù)和 第2級殘差分量；依此類推，得到η級固有模態(tài)函數(shù)和第η級殘差；所述的二維經(jīng)驗模態(tài)分解BEMD的處理過程包括如下步驟(1-1)為了避免二維經(jīng)驗模態(tài)分解產生邊界效應，采用局部鏡像延拓對原始圖像 進行四周邊界處理1原圖=F鏡像(I原圖)；(1-2):初始化I = I原圖，I殘差=I，j = 0，j表示IMF的分解級數(shù)；(1-3)對所處理的殘差圖像曲面15^求取曲面局部極值點，包括所有局部極大值 和極小值，初始時，1 就是源圖像曲面Isb ；(1-4)對各極大值點和各極小值點分別進行曲面擬合，經(jīng)插值后得到極大值點對 應的上包絡曲面和極小值點對應的下包絡曲面& ；(1-5)將兩曲面數(shù)據(jù)求平均得到均值包絡曲面數(shù)據(jù)^11 =Effl = (EjE1)/2 ；(1-6)計算篩分終止條件標準偏差SD
max| 五 J SD = ^
max|/殘差丨(1-7)提取細節(jié)，用殘差圖像曲面減去均值包絡曲面求得差值1殘差=Iaa-Effl ；(1-8)重復上述步驟(1-3) 步驟(1-7)，直到滿足給定的終止條件(a) IMF的 極值點和過零點數(shù)目必須相等或至多只相差一點；(b)在每一像素點，由極大值點定義的 上包絡線和由極小值點定義的下包絡線的平均值為零；(1-9)計算殘差，用圖像I減去第j層固有模態(tài)函數(shù)(即I·)得到第j層殘差 分量并賦值給1:1 = I-Iaa;(1-10)對殘差分量I重復步驟(1-3) 步驟(1-9)，直到滿足殘差不含IMF分量 或已達到所需要的運算級數(shù)，依次得到圖像的η級固有模態(tài)函數(shù)和第η級殘差分量。作為上述技術方案進一步的改進，所述的步驟(1- 中，圖像的局部極大值點為 灰度值比周圍3X3區(qū)域8個相鄰像素點灰度值都高的點，圖像的極小值點為灰度值比周圍 8個相鄰像素點灰度值都低的點。作為上述技術方案進一步的改進，所述的步驟(1-4)基于Delaimay三角剖分的插 值方法對各極大值點和各極小值點分別進行曲面擬合；計算上包絡曲面時，將各極大值 點分割成若干簡單的小三角形區(qū)域，三角形的頂點即是圖像的局部極大值點，在每個小三 角形中立方插值構造插值曲面，再進一步把這些曲面片拼接起來，構造出一張大的插值曲 面，即上包絡曲面；同樣，用此方法再構造出極小值點對應的下包絡曲面&。作為上述技術方案進一步的改進，所述的步驟(1-8)采用簡化的終止條件當步 驟(1-6)中計算得到的SD小于0. 3時，就認為滿足了收斂條件，令j = j+1，此時得到的IΛ即為第j層二維固有模態(tài)函數(shù)IMFj
殘· S 作為上述技術方案的另一種改進，所述的步驟( 包括
(2-1)首先，對于顯微源圖像&，為其各級IMF系數(shù)定義一個衡量其顯著性的變量
權利要求
1.一種基于二維經(jīng)驗模態(tài)分解的顯微圖像融合方法，該方法采用二維經(jīng)驗模態(tài)分解方 法對采集的序列顯微源圖像進行多尺度分解，獲得源圖像的多級尺度的高頻分量，按照局 部顯著性準則進行融合處理，并對源圖像的低頻分量采用主成分分析方法進行融合處理， 最后反向重構獲取融合圖像，該方法包括如下步驟(1)對采集的序列顯微源圖像&，&，...，Xn分別進行二維經(jīng)驗模態(tài)分解處理，二維經(jīng) 驗模態(tài)分解BEMD的過程反映了提取局部最高頻、次高頻的過程，得到每幅源圖像的η級固 有模態(tài)函數(shù)分量IMF和一個殘差分量；(2)對不同源圖像對應的各級固有模態(tài)函數(shù)分量IMF中的像素，采用基于區(qū)域極大值 的局部顯著性選擇準則進行融合處理，使得將融合后的固有模態(tài)函數(shù)分量具備所有源圖像 的清晰聚焦的細節(jié)信息；(3)利用主成分分析PCA方法，分別計算出不同源圖像對應的殘差分量的自適應融合 權重，按權重進行殘差分量的融合處理；(4)將融合后的各級固有模態(tài)函數(shù)分量和殘差分量反向重構獲取融合圖像。
2.根據(jù)權利要求1所述的基于二維經(jīng)驗模態(tài)分解的顯微圖像融合方法，其特征在于， 所述的步驟(1)中對每一幅源圖像進行圖像高頻到低頻的自然尺度分離，首先，分解出來 的第1級固有模態(tài)函數(shù)IMF1是圖像所含有的最高頻率分量，該分量的各處頻率都對應著圖 像在各處的局部最高頻，源圖像減去第1級固有模態(tài)函數(shù)得到第1級殘差分量；對第1級殘 差分量再進行分解，得到第2級固有模態(tài)函數(shù)和第2級殘差分量；依此類推，得到η級固有 模態(tài)函數(shù)和第η級殘差；所述的二維經(jīng)驗模態(tài)分解BEMD的處理過程包括如下步驟(1-1)為了避免二維經(jīng)驗模態(tài)分解產生邊界效應，采用局部鏡像延拓對原始圖像進行四周邊界處理1原圖=F鏡像(I原圖)；(1-2):初始化I = I原圖，I殘差=I，j = 0，j表示IMF的分解級數(shù)； (1-3)對所處理的殘差圖像曲面1 求取曲面局部極值點，包括所有局部極大值和極 小值，初始時，I殘差就是源圖像曲面I原圖；(1-4)對各極大值點和各極小值點分別進行曲面擬合，經(jīng)插值后得到極大值點對應的 上包絡曲面Fu和極小值點對應的下包絡曲面& ；(1-5)將兩曲面數(shù)據(jù)求平均得到均值包絡曲面數(shù)據(jù)^11 : = (E^E1)/2 ； (1-6)計算篩分終止條件標準偏差SD max|/殘差I(1-7)提取細節(jié)，用殘差圖像曲面減去均值包絡曲面求得差值=Ismi= Iaa-Effl; (1-8)重復上述步驟(1-3) 步驟(1-7)，直到滿足給定的終止條件(a) IMF的極值 點和過零點數(shù)目必須相等或至多只相差一點；(b)在每一像素點，由極大值點定義的上包 絡線和由極小值點定義的下包絡線的平均值為零；(1-9)計算殘差，用圖像I減去第j層固有模態(tài)函數(shù)(即Ismi)得到第j層殘差分量 并賦值給I :I = I-I殘差；(1-10)對殘差分量I重復步驟(1- 步驟(1-9)，直到滿足殘差不含IMF分量或已達到所需要的運算級數(shù)，依次得到圖像的η級固有模態(tài)函數(shù)和第η級殘差分量。
3.根據(jù)權利要求2所述的基于二維經(jīng)驗模態(tài)分解的顯微圖像融合方法，其特征在于， 所述的步驟(1- 中，圖像的局部極大值點為灰度值比周圍3X3區(qū)域8個相鄰像素點灰度 值都高的點，圖像的極小值點為灰度值比周圍8個相鄰像素點灰度值都低的點。
4.根據(jù)權利要求2所述的基于二維經(jīng)驗模態(tài)分解的顯微圖像融合方法，其特征在于， 所述的步驟(1-4)基于Delaimay三角剖分的插值方法對各極大值點和各極小值點分別進 行曲面擬合；計算上包絡曲面時，將各極大值點分割成若干簡單的小三角形區(qū)域，三角形 的頂點即是圖像的局部極大值點，在每個小三角形中立方插值構造插值曲面，再進一步把 這些曲面片拼接起來，構造出一張大的插值曲面，即上包絡曲面；同樣，用此方法再構造 出極小值點對應的下包絡曲面&。
5.根據(jù)權利要求2所述的基于二維經(jīng)驗模態(tài)分解的顯微圖像融合方法，其特征在于， 所述的步驟(1-8)采用簡化的終止條件當步驟(1-6)中計算得到的SD小于0. 3時，就認 為滿足了收斂條件，令j = j+1，此時得到的1 即為第j層二維固有模態(tài)函數(shù)IMF,
6.根據(jù)權利要求1所述的基于二維經(jīng)驗模態(tài)分解的顯微圖像融合方法，其特征在于， 所述的步驟⑵包括(2-1)首先，對于顯微源圖像&，為其各級IMF系數(shù)定義一個衡量其顯著性的變量S ^.(X15jP) = Inax訴QYllMFj(X^q)、柙Q其中，j表示IMF系數(shù)的級數(shù)，j = 1表示該分量為第--級IMF分量，反映顯微圖像X1‘、.-的局部最高頻信息，j = 2表示該分量為第二級IMF分量，反映顯微圖像&的局部次高頻> 息，以此類推；P = (m,n)表示IMF系數(shù)的空間位置；Q表示以ρ為中心的一個3X3的方形 窗口，q為窗口內的任意一點；IMFj表示圖像&位于q點位置的第j級IMF系數(shù)值； 對于圖像\中對應的IMF系數(shù)同樣定義1汰，ρ)；(2-2)然后，在不同源圖像的各級IMF系數(shù)中選擇對應的顯著性變量S值較大的IMF系 數(shù)作為合成圖像中對應位置的IMF系數(shù)；如果用C/(Xi, ρ)表示圖像&相應位置上的決策 表的值，則可表示為 對得到的決策表進行基于多數(shù)表決原則的一致性驗證，令修正后決策表的值為CjGi, P)，則
7.根據(jù)權利要求1所述的基于二維經(jīng)驗模態(tài)分解的顯微圖像融合方法，其特征在于， 所述的步驟C3)對η幅顯微源圖像，把每幅圖像看作一維向量記做Xi，i = 1,2, . . .，n，殘 差分量的融合處理包括(3-1)由源圖像構造數(shù)據(jù)矩陣X :X= (X1, x2,…，xn)T ； (3-2)計算數(shù)據(jù)矩陣X的協(xié)方差矩陣C σ UJ2為圖像的方差，
8.根據(jù)權利要求1所述的基于二維經(jīng)驗模態(tài)分解的顯微圖像融合方法，其特征在于， 所述的步驟⑷反向重構獲取融合圖像I8^gs
全文摘要
本發(fā)明涉及一種基于二維經(jīng)驗模態(tài)分解的顯微圖像融合方法，該方法采用二維經(jīng)驗模態(tài)分解方法對采集的序列顯微源圖像進行多尺度分解，獲得源圖像的多級尺度的高頻分量，按照局部顯著性準則進行融合處理，并對源圖像的低頻分量采用主成分分析方法進行融合處理，最后反向重構獲取融合圖像。本發(fā)明采用二維經(jīng)驗模態(tài)分解方法對采集的序列顯微圖像進行多尺度分解，分解過程是自適應的；按照基于區(qū)域極大值的局部顯著性準則進行高頻融合處理，考慮了相鄰系數(shù)的相關性，可以提取出各幅源圖像的聚焦清晰的細節(jié)信息；采用主成分分析方法進行低頻融合處理，能夠很好的利用源圖像像素的相關信息，提高融合圖像的目視解譯效果，使得融合后圖像的質量得到提高。
文檔編號G06T5/50GK102129676SQ20101003442
公開日2011年7月20日 申請日期2010年1月19日 優(yōu)先權日2010年1月19日
發(fā)明者孫志斌, 李維寧, 王超, 王迪, 翟光杰, 蔣遠大, 陳穎 申請人:中國科學院空間科學與應用研究中心