基于多尺度各向異性分解和低秩分析的多模態(tài)醫(yī)學(xué)圖像融合方法
【專利摘要】本發(fā)明提供一種基于多尺度各向異性分解和低秩分析的多模態(tài)醫(yī)學(xué)圖像融合方法。該方法包含以下步驟：1)對輸入圖像構(gòu)建圖像金字塔，對每層圖像進(jìn)行網(wǎng)格化，構(gòu)建數(shù)據(jù)相關(guān)的各向異性熱核，實(shí)現(xiàn)圖像的多尺度表示；2)將不同尺度下的圖像分組，并對每個(gè)分組構(gòu)建低秩分析，提取其低秩部分，同時(shí)有效的濾除噪聲，由所提取的顯著信息構(gòu)建多尺度空間；3)在圖像金字塔的每一層內(nèi)，低頻信息采用S型函數(shù)進(jìn)行融合，高頻信息使用最大選擇策略融合，金字塔層間采樣權(quán)重融合。本發(fā)明所提出的多模態(tài)醫(yī)學(xué)圖像融合方法對噪聲圖像的融合具有較好的魯棒性。
【專利說明】基于多尺度各向異性分解和低秩分析的多模態(tài)醫(yī)學(xué)圖像融 合方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于多尺度各向異性分解和低秩分析的多模態(tài)醫(yī)學(xué)圖像融合方 法。

【背景技術(shù)】
[0002] 在臨床醫(yī)學(xué)中，通常單一模態(tài)的醫(yī)學(xué)影響無法滿足醫(yī)護(hù)人員的邊隨著醫(yī)學(xué)影像技 術(shù)的不斷發(fā)展，出現(xiàn)了許多先進(jìn)的成像設(shè)備來反映人體臟器和病變組織的各種信息，也為 臨床的醫(yī)療診斷提供了多種模態(tài)的醫(yī)學(xué)圖像，這些圖像可分為解剖結(jié)構(gòu)圖像（例如：B超、 CT、MRI)和功能圖像（例如：PET、SPECT)兩大類，由于成像原理的差異，不同種類的圖像也 具有各自的優(yōu)缺點(diǎn)。例如CT圖像具有較高的空間分辨率和幾何特性，能夠非常清晰地呈現(xiàn) 人體骨骼，便于提供良好的病灶定位，但對人體軟組織的檢測效果較差，而人體組織在MRI 圖像中成像效果較好，有利于病灶范圍的確定，但易受到電磁干擾產(chǎn)生幾何失真；SPECT、 PET可反映人體組織器官的代謝水平和血流狀況，能有效的檢測腫瘤病變，但其具有較低的 空間分辨率，難以得到精確的解剖結(jié)構(gòu)，不利于分辨組織、器官的邊界。由此可知不同的成 像原理提供了互補(bǔ)的信息。因此多模態(tài)醫(yī)學(xué)圖像的融合可以為臨床診斷提供更加豐富的病 變組織或器官的信息，便于醫(yī)護(hù)人員做出更加準(zhǔn)確的診斷和制定更加合適的治療方案。
[0003] 常用的方法可分為兩種，一種是基于變換策略來實(shí)現(xiàn)圖像的多尺度表示；另外一 種方法是利用幾何多尺度分析工具實(shí)現(xiàn)圖像的多尺度表示，然后利用融合規(guī)則將不同尺度 下的信息進(jìn)行融合。變換策略圖像融合法通常包括基于IHS(Intensity-Hue-Saturation) 和PCA(Principal Component Analysis)的兩種方法，但由于采用了隨意的融合規(guī)則，基 于IHS框架的融合算法通常造成圖像失真和譜扭曲?；谛〔ǖ娜诤系牡湫痛碛谢?Curvelets、Contourlets、NSCT和Shearlets等，其成功的重點(diǎn)在于主要利用了小波良好的 高低頻分離特性，對不同的子帶采用馬爾科夫鏈等方法來計(jì)算數(shù)據(jù)相關(guān)的融合權(quán)重，實(shí)現(xiàn) 不同模態(tài)的圖像融合。該類方法的主要缺點(diǎn)在于所使用的小波核函數(shù)與所處理的數(shù)據(jù)無 關(guān)，無法有效的提取不同方向的細(xì)節(jié)信息，因此存在融合圖像缺乏細(xì)節(jié)的缺點(diǎn)。
[0004] 目前多模態(tài)醫(yī)學(xué)圖像融合的關(guān)鍵技術(shù)在于如何實(shí)現(xiàn)結(jié)構(gòu)意識(shí)的多尺度圖像表示， 如何從不同模態(tài)的醫(yī)學(xué)圖像中分離出互補(bǔ)性的顯著信息，如何保證互補(bǔ)性的信息能有效的 融合到最終的圖像中等。
[0005] 為了解決上述問題，本發(fā)明基于多尺度各向異性分解和低秩分析的多模態(tài)醫(yī)學(xué)圖 像融合方法，該方法通過構(gòu)建數(shù)據(jù)相關(guān)的熱核，實(shí)現(xiàn)結(jié)構(gòu)保護(hù)的圖像多尺度分解，并同構(gòu)圖 像金字塔和分塊策略實(shí)現(xiàn)了大尺度和小尺度結(jié)構(gòu)信息的有效保護(hù)，同時(shí)利用CUDA計(jì)算提 高了算法的計(jì)算速度；基于所獲得的多尺度圖像，分組構(gòu)建低秩分析，提取小尺度范圍內(nèi)固 有的顯著信息，有效的濾除噪聲，提高了算法的抗噪性，并構(gòu)建基于顯著信息的多尺度融合 空間，利用尺度意識(shí)的S型權(quán)重函數(shù)實(shí)現(xiàn)不同尺度下的信息融合，有效解決了互補(bǔ)信息融 合問題。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明要解決的技術(shù)問題是：克服了現(xiàn)有濾波器的數(shù)據(jù)無關(guān)性以及結(jié)構(gòu)意識(shí)的不 足，提供了一種基于熱核金字塔的各向異性圖像處理多尺度表示方法。并通過使用基于分 塊策略和CUDA技術(shù)，提高了所發(fā)明的算法的實(shí)際可行性?？朔送ǔＨ诤纤惴▽π〕叨燃?xì) 節(jié)信息融合的不足，提出了一種基于低秩分析的顯著信息尺度空間構(gòu)建方法；克服了均值 最大化融合策略存在的對比度問題，提出了尺度意識(shí)的S型權(quán)重融合方法。
[0007] 本發(fā)明采用的技術(shù)方案為：一種基于多尺度各向異性分解和低秩分析的多模態(tài)醫(yī) 學(xué)圖像融合方法，包括以下幾部分：
[0008] 步驟（1)、基于熱核的多尺度圖像表示：將輸入的多模態(tài)圖像轉(zhuǎn)換到IHS顏色空 間，對圖像的I顏色空間構(gòu)建圖像金字塔，將每一層圖像分為重疊的塊，并利用Delaunay三 角化方法對其網(wǎng)格化，基于所構(gòu)建的網(wǎng)格，利用cotangent方法建立相對應(yīng)的拉普拉斯矩 陣，所構(gòu)建的拉普拉斯矩陣固有的潛入了圖像的結(jié)構(gòu)信息，通過求解廣義特征問題獲取最 小的N個(gè)特征值和所對應(yīng)的特征向量，構(gòu)造數(shù)據(jù)相關(guān)的熱核，因此熱核具有數(shù)據(jù)相關(guān)性、結(jié) 構(gòu)意識(shí)和各向異性性，通過所夠構(gòu)建的熱核與圖像進(jìn)行卷積獲得不同尺度下的圖像表示。 同時(shí)為了減少拉普拉斯矩陣構(gòu)建和多尺度卷積的時(shí)間，該步驟采用了 CUDA實(shí)現(xiàn)技術(shù)；
[0009] 步驟（2)、基于低秩分析的顯著信息尺度空間構(gòu)建：：通過步驟（1)所獲得的多尺 度表示，將金字塔每層圖像的多尺度表示進(jìn)行分組，每組分別做為低秩分析的初始化輸入 矩陣，利用GoDec方法進(jìn)行低秩分析，獲取每組的低秩部分，該低秩部分包含了小尺度范圍 內(nèi)的顯著信息，且有效的濾除輸入圖像內(nèi)包含的噪聲，將每個(gè)分組所提取低秩部分進(jìn)行二 次重組，進(jìn)而構(gòu)建為基于顯著信息的多尺度表示；
[0010] 步驟（3)、基于S型函數(shù)的尺度相關(guān)融合：通過步驟⑵中構(gòu)建的顯著信息多尺 度空間，主模態(tài)基層權(quán)重設(shè)置為2,輔助模態(tài)基層的融合權(quán)重系數(shù)由S型函數(shù)計(jì)算，利用權(quán) 重平均獲得金字塔每層的基層融合效果，而細(xì)節(jié)層采用最大化選擇方法獲得細(xì)節(jié)層融合效 果，每層的融合效果通過多個(gè)細(xì)節(jié)層和基層累加獲得。而金字塔層間融合通過上采樣低分 辨率融合效果后與相鄰下層融合效果進(jìn)行權(quán)重合并，最終得到和輸入圖像相同分辨率的灰 度層融合效果，利用GIHS方法得到最終的多模態(tài)醫(yī)學(xué)圖像融合效果圖。
[0011] 進(jìn)一步的，步驟（1)中所述的多尺度圖像表示方法是各向異性的，同時(shí)是高效的， 而且還內(nèi)建了數(shù)據(jù)相關(guān)和結(jié)構(gòu)意識(shí)的特性。
[0012] 進(jìn)一步的，步驟（2)中所述的顯著信息多尺度空間構(gòu)建方法，將局部小范圍尺度 內(nèi)的顯著信息提取的同時(shí)濾除了潛在的噪聲，具有良好的抗噪性。
[0013] 進(jìn)一步的，步驟（3)中所述的S型函數(shù)融合方法，避免了輔助模態(tài)影響黑色背景的 影響，使得融合圖像整體具有良好的對比度。
[0014] 本發(fā)明的原理在于：
[0015] (1)本發(fā)明所提出的多尺度圖像表示方法主要側(cè)重于結(jié)構(gòu)意識(shí)和各向異性，該發(fā) 明基于像素灰度值和空間坐標(biāo)將圖像的結(jié)構(gòu)信息有效的編碼到拉普拉斯矩陣中，使得所形 成的熱核具有各向異性性；同時(shí)該方法采用金字塔結(jié)構(gòu)和圖像分塊策略，使得該方法將全 局大尺度結(jié)構(gòu)信息和局部小尺度細(xì)節(jié)信息相結(jié)合，并采用了 CUDA技術(shù)提高了算法的計(jì)算 效率。
[0016] (2)本發(fā)明所提出的基于低秩分析的顯著信息多尺度空間構(gòu)建方法，通過對不同 尺度的圖像進(jìn)行分組，每組圖像構(gòu)建低秩分析提取不同模態(tài)影像中的顯著信息，同時(shí)濾去 了噪聲，最終構(gòu)建為顯著信息的多尺度空間，使得所提出的方法具有抗噪性。
[0017] (3)常用的平均最大化融合算法通常造成融合結(jié)果缺乏細(xì)節(jié)和具有較低的對比 度，為此本發(fā)明提出尺度意識(shí)的S型權(quán)重融合策略，有效的減少輔助模態(tài)圖像中黑色背景 的影響，增加融合圖像內(nèi)細(xì)節(jié)信息量，進(jìn)一步改進(jìn)了融合圖像的視覺對比度。
[0018] 本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于：
[0019] 1、本發(fā)明提出的基于熱核金子塔的多尺度圖像表示方法，一方面使得熱核的構(gòu)建 是數(shù)據(jù)相關(guān)的，提高了算法結(jié)構(gòu)意識(shí)能力，另一方面采用了分塊策略和CUDA技術(shù)使得所提 出的小波具有較低的運(yùn)行時(shí)間。
[0020] 2、對比已有基于多尺度的算法，本發(fā)明提出的基于低秩分析的顯著信息尺度空間 構(gòu)造方法，具有更好的信息保護(hù)和提取能力，同時(shí)具有更強(qiáng)的抗噪性能。
[0021] 3、本發(fā)明提出的尺度意識(shí)S型融合策略，避免了輔助模態(tài)醫(yī)學(xué)影響內(nèi)黑色背景的 影響，提高了算法的信息融合能力，使得融合圖像具有較好的對比度。

【專利附圖】

【附圖說明】
[0022] 圖1為基于熱尺度各向異性分解和低秩分析的多模態(tài)醫(yī)學(xué)圖像融合方法流程圖；
[0023] 圖2為基于熱核金子塔的多尺度圖像表示方法流程圖；
[0024] 圖3為基于低秩分析的顯著信息尺度空間構(gòu)造方法流程圖；
[0025] 圖4為基于金子塔的分塊策略示意圖；其中，（a):小尺度t平滑效果圖；(b):大尺 度t平滑效果圖；（c):金字塔大尺度t平滑效果圖；
[0026] 圖5為圖像分塊策略下基于CUDA的拉普拉斯矩陣計(jì)算示意圖；
[0027] 圖6為多尺度圖像平滑方法計(jì)算量及內(nèi)存需求量對比；其中，（a):先構(gòu)建熱核再 獲取多尺度圖像平滑效果方法；(b):本發(fā)明采用的改進(jìn)方法；FL0表示浮點(diǎn)計(jì)算量，Memory 表示計(jì)算過程所需要的存儲(chǔ)空間；
[0028] 圖7為無噪多模態(tài)醫(yī)學(xué)圖像融合效果對比示意圖；其中，（a) :MRI和SPECT醫(yī)學(xué)圖 像融合效果對比圖；(b) :MRI和PET醫(yī)學(xué)圖像融合效果對比圖；（c):六種算法在五種評(píng)定 指標(biāo)下的直方圖對比；
[0029] 圖8為高斯噪聲擾動(dòng)下多模態(tài)醫(yī)學(xué)圖像融合效果對比示意圖；其中，（a) :5dB高斯 白噪聲條件下MRI和SPECT醫(yī)學(xué)圖像融合效果對比圖；(b) :25dB高斯白噪聲條件下MRI和 SPECT醫(yī)學(xué)圖像融合效果對比圖；（c):六種算法在五種評(píng)定指標(biāo)下的直方圖對比；
[0030] 圖9為本發(fā)明算法在不同分貝高斯噪聲擾動(dòng)條件下的處理效果；
[0031] 圖10為ldB到40dB白高斯噪聲擾動(dòng)下，六種算法在五種評(píng)定指標(biāo)下平均統(tǒng)計(jì)對 比圖對比示意圖；其中，（a) :PSNR;(b) :MI ;(c) :MSSM;(d) :FSM;(e) :FSMC;橫坐標(biāo)表 示噪聲分貝量；
[0032] 圖11為椒鹽噪聲擾動(dòng)下多模態(tài)醫(yī)學(xué)圖像融合效果對比示意圖；其中，（a) :6%椒 鹽噪聲條件下醫(yī)學(xué)圖像融合效果對比圖；(b) :10%椒鹽噪聲條件下醫(yī)學(xué)圖像融合效果對 比圖；（c):六種算法在五種評(píng)定指標(biāo)下的直方圖對比；
[0033] 圖12為不同百分比椒鹽噪聲含量下，六種算法在五種評(píng)定指標(biāo)下平均統(tǒng)計(jì)對比 圖對比示意圖；其中，（a) :PSNR;(b) :MI ;(c) :MSSM;(d) :FSM;(e) :FSMC;橫坐標(biāo)表示 椒鹽噪聲百分比含量；
[0034] 圖13為不同類型噪聲擾動(dòng)下多模態(tài)醫(yī)學(xué)圖像融合效果對比示意圖；其中，（a): MRI含6 %的椒鹽噪聲，SPECT含30dB的高斯白噪聲；（b) :MRI含30dB的高斯白噪聲，SPECT 含6 %的椒鹽噪聲；（c):六種算法在五種評(píng)定指標(biāo)下的直方圖對比。
[0035] 圖14為本發(fā)明使用的S型權(quán)重融合算法改進(jìn)能力示意圖；其中，（a):輸入圖像； (b):平均最大值選擇融合策略；（c):本發(fā)明所使用的S型區(qū)中融合策略；MI給出了不同策 略下的互信息值。

【具體實(shí)施方式】
[0036] 下面結(jié)合附圖及【具體實(shí)施方式】進(jìn)一步說明本發(fā)明。
[0037] 圖1給出了基于多尺度各向異性分解和低秩分析的多模態(tài)醫(yī)學(xué)圖像融合方法的 總體處理流程。圖2和圖3分別給出了基于熱核金子塔的多尺度圖像表示方法和基于低秩 分析的顯著信息尺度空間構(gòu)造方法的詳細(xì)步驟。
[0038] 本發(fā)明提供一種基于多尺度各向異性分解和低秩分析的多模態(tài)醫(yī)學(xué)圖像融合方 法，其主要步驟介紹如下：
[0039] 1、基于熱核金子塔的多尺度圖像表示
[0040] 為了有效的提取輸入圖像的固有結(jié)構(gòu)信息，并將其編碼到所使用的熱核中去，本 發(fā)明提出將輸入圖像進(jìn)行下采樣，構(gòu)建輸入圖像金字塔。對于金字塔的每一層，首先將圖像 有RGB顏色空間轉(zhuǎn)換到IHS顏色空間，并將圖像分塊重疊塊，每個(gè)圖像塊分別利用Delaunay 三角化方法對其網(wǎng)格化，網(wǎng)格的每個(gè)頂點(diǎn)對應(yīng)圖像中的一個(gè)像素，由（x，y，I(x，y))表示， 其中（x，y)表示了相關(guān)像素i的空間坐標(biāo)，I(x，y)表示像素i的灰度值，為了能夠更好維 護(hù)圖像的潛在結(jié)構(gòu)信息，本發(fā)明取代頂點(diǎn)表示的第三維為β *1 (X，y)，以此來控制所構(gòu)建熱 核的各向異性性和結(jié)構(gòu)敏感性?；谒鶚?gòu)建的網(wǎng)格和頂點(diǎn)表示方法，圖像塊所對應(yīng)的拉普 拉斯矩陣由P = A<M定義，其中質(zhì)量矩陣A為對角陣，其中每一項(xiàng)表示了共享像素i的所有 三角形的面積，剛度矩陣Μ的每一項(xiàng)編碼了圖像塊的局部結(jié)構(gòu)，定義如下：
[0041]

【權(quán)利要求】
1. 一種基于多尺度各向異性分解和低秩分析的多模態(tài)醫(yī)學(xué)圖像融合方法，其特征在于 包括以下步驟： 步驟（1)、基于熱核的多尺度圖像表示：將輸入的多模態(tài)圖像轉(zhuǎn)換到IHS顏色空間，對 圖像的I顏色空間構(gòu)建圖像金字塔，將每一層圖像分為重疊的塊，并利用Delaunay三角化 方法對其網(wǎng)格化，基于所構(gòu)建的網(wǎng)格，利用cotangent方法建立相對應(yīng)的拉普拉斯矩陣，所 構(gòu)建的拉普拉斯矩陣固有的潛入了圖像的結(jié)構(gòu)信息，通過求解廣義特征問題獲取最小的N 個(gè)特征值和所對應(yīng)的特征向量，構(gòu)造數(shù)據(jù)相關(guān)的熱核，因此熱核具有數(shù)據(jù)相關(guān)性、結(jié)構(gòu)意識(shí) 和各向異性性，通過所夠構(gòu)建的熱核與圖像進(jìn)行卷積獲得不同尺度下的圖像表示；同時(shí)為 了減少拉普拉斯矩陣構(gòu)建和多尺度卷積的時(shí)間，該步驟采用了 CUDA并行技術(shù)實(shí)現(xiàn)； 步驟（2)、基于低秩分析的顯著信息尺度空間構(gòu)建：通過步驟（1)所獲得的多尺度表 示，將金字塔每層圖像的多尺度表示進(jìn)行分組，每組分別做為低秩分析的初始化輸入矩陣， 利用GoDec方法進(jìn)行低秩分析，獲取每組的低秩部分，該低秩部分包含了小尺度范圍內(nèi)的 顯著信息，且有效的濾除輸入圖像內(nèi)包含的噪聲，將每個(gè)分組所提取低秩部分進(jìn)行二次重 組，進(jìn)而構(gòu)建為基于顯著信息的多尺度表示； 步驟（3)、基于S型函數(shù)的尺度相關(guān)融合：通過步驟（2)中構(gòu)建的顯著信息多尺度空 間，主模態(tài)基層權(quán)重設(shè)置為2,輔助模態(tài)基層的融合權(quán)重系數(shù)由S型函數(shù)計(jì)算，利用權(quán)重平 均獲得金字塔每層的基層融合效果，而細(xì)節(jié)層采用最大化選擇方法獲得細(xì)節(jié)層融合效果， 每層的融合效果通過多個(gè)細(xì)節(jié)層和基層累加獲得；而金字塔層間融合通過上采樣低分辨率 融合效果后與相鄰下層融合效果進(jìn)行權(quán)重合并，最終得到和輸入圖像相同分辨率的灰度層 融合效果，利用GIHS方法得到最終的多模態(tài)醫(yī)學(xué)圖像融合效果圖。
2. 根據(jù)權(quán)利要求1所述的一種基于多尺度各向異性分解和低秩分析的多模態(tài)醫(yī)學(xué)圖 像融合方法，其特征在于：步驟（1)中所述的基于熱核的多尺度圖像表示是數(shù)據(jù)相關(guān)的、各 向異性的，同時(shí)整個(gè)步驟采用了 CUDA技術(shù)，為圖像塊中的每個(gè)像素點(diǎn)調(diào)用一個(gè)線程來實(shí)現(xiàn) 質(zhì)量矩陣和剛度矩陣的計(jì)算，在此基礎(chǔ)上構(gòu)建拉普拉斯矩陣，并通過特征分解獲取最下的η 個(gè)特征值及特征向量，此后以圖像塊為基礎(chǔ)，為每個(gè)時(shí)間參數(shù)t調(diào)用一個(gè)線程來并行的實(shí) 現(xiàn)圖像多的多尺度平滑，該實(shí)現(xiàn)方法設(shè)計(jì)了合理的數(shù)據(jù)結(jié)構(gòu)，具有較低的計(jì)算負(fù)擔(dān)和較低 的運(yùn)行時(shí)間。
3. 根據(jù)權(quán)利要求1所述的一種基于多尺度各向異性分解和低秩分析的多模態(tài)醫(yī)學(xué)圖 像融合方法，其特征在于：步驟（2)中所述的基于低秩分析的顯著信息尺度空間構(gòu)建方法， 首先將步驟（1)所構(gòu)建的多尺度圖像進(jìn)行分組，每個(gè)組內(nèi)包含d個(gè)平滑圖像和一個(gè)輸入圖 像，將每個(gè)圖像由一個(gè)列向量來表示，并構(gòu)建為低秩分析的輸入矩陣，進(jìn)行低秩分解，得到 其低秩部分，并提起第一個(gè)列向量做為該組數(shù)據(jù)的最終顯著信息表示部分，濾除了噪聲，構(gòu) 建一個(gè)基于顯著信息的多尺度圖像融合空間，因此對噪聲具有良好的魯棒性，提高了對固 有重要信息的有效獲取能力，通過對多個(gè)分組分別構(gòu)建以上的低秩分析和顯著信息提取， 來構(gòu)建一個(gè)基于顯著性信息的多尺度空間。
4. 根據(jù)權(quán)利要求1所述的一種基于多尺度各向異性分解和低秩分析的多模態(tài)醫(yī)學(xué)圖 像融合方法，其特征在于：步驟（3)中所述的基于S型函數(shù)的尺度相關(guān)融合方法，金字塔層 內(nèi)主模態(tài)基層權(quán)重設(shè)置為2,輔助模態(tài)基層的融合權(quán)重系數(shù)由S型函數(shù)將灰度值映射為權(quán) 重系數(shù)，細(xì)節(jié)層通過最大值選擇方法來獲取，層間采用權(quán)重融合，該方法避免了非主要信息 對融合圖像對比度的影響，增強(qiáng)了所提出算法的數(shù)據(jù)自適應(yīng)性和顯著信息在融合圖像中的 可閱讀性。
【文檔編號(hào)】G06T3/40GK104299216SQ201410570967
【公開日】2015年1月21日 申請日期:2014年10月22日 優(yōu)先權(quán)日:2014年10月22日
【發(fā)明者】郝愛民, 王青正, 李帥, 秦洪 申請人:北京航空航天大學(xué)