本發(fā)明涉及圖像處理領域,尤其涉及一種多層次流形學習醫(yī)學圖像顏色感知方法。
背景技術:
現(xiàn)有的醫(yī)學影像數(shù)據(jù),大部分都是以灰度圖像呈現(xiàn)。即使現(xiàn)有的彩色醫(yī)學圖像,也需要病患付出昂貴的經(jīng)濟代價。然而,人眼對彩色變化的敏感程度是遠遠高于灰度變化程度的,單純的黑白圖像由于失去顏色信息而缺少畫面表現(xiàn)力。比較于灰度圖像,彩色圖像擁有更強的表現(xiàn)力和更生動的可視化效果。如果以計算機高速運算為依托,予以灰度醫(yī)學圖像顏色感知,不僅可以改善醫(yī)學圖像的視覺效果,提高分辨能力還可以突出醫(yī)學圖像特征,顯示出隱藏的病變部分??梢栽谀承﹫鼍跋绿峁└喔S富的臨床信息。
根據(jù)醫(yī)學圖像的原始數(shù)據(jù)特征和數(shù)據(jù)結構進行顏色感知,不同于傳統(tǒng)的“手工著色”或者顏色遷移方法。該方法依賴于計算機的高效運算不僅可以大大提高醫(yī)學圖像顏色感知的效率;同時不需要參考顏色模板,僅僅根據(jù)圖像本身的數(shù)據(jù)結構,可以有效避免出現(xiàn)顏色不匹配或者顏色不合適的情況。進而,簡便而高效的顏色感知技術在醫(yī)學和工業(yè)都存在重大應用。
技術實現(xiàn)要素:
本發(fā)明的主要目的是提供一種多層次流形學習醫(yī)學圖像顏色感知方法,用以解決現(xiàn)有技術中效率低下、區(qū)域結構不明顯和色彩不匹配的問題。
為了實現(xiàn)上述目的本發(fā)明采用如下技術方案:一種多層次流形學習醫(yī)學圖像顏色感知方法,包括以下步驟:
1)根據(jù)黑白醫(yī)學圖像,利用sobel算子獲得0°、45°、90°和135°四個方向的梯度特征圖像。
2)對步驟1)中所述梯度特征圖像,根據(jù)底層所有像素之間的相似性選擇該層中各區(qū)域的代表點,并將該代表點作為下一層的候選點,進入下一層的代表點選擇,以此類推構建由底至頂?shù)亩鄬哟谓Y構,該多層次結構用相似矩陣表示,并在各層間傳遞代表點的相似性。
3)對頂層代表點用經(jīng)典流形學習方法進行降維處理,并保留代表點之間的幾何結構,得到頂層代表點的3維坐標。
4)對頂層代表點的3維坐標進行插值計算返回到底層的所有像素點,得到所有像素點的3維坐標。
5)根據(jù)步驟4)中所述所有像素點的3維坐標通過旋轉映射到RGB顏色空間,得到有顏色感知的醫(yī)學圖像。
上述黑白醫(yī)學圖像包括由核磁共振(MRI)、計算機斷層掃描(CT)、正電子發(fā)射計算機斷層顯像(PET)和單光子放射計算機斷層顯像(SPECT)獲得的醫(yī)學圖像。
以上方案中sobel算子為:
,,,分別表示水平梯度模板、45°梯度模板、垂直梯度模板以及135°梯度模板。
將,,和作為核分別與黑白醫(yī)學圖像中的每一個像素做卷積運算,得到四個方向的梯度特征圖像。
步驟2)所述多層次結構的構建過程為:
a)采用高斯核函數(shù)計算底層所有像素之間的相似性;
b)任意兩個像素之間的相似性和其中一個像素與其余所有像素的最大相似性的比值大于預設閾值,,認定這兩個像素是強連接的;
c)選擇代表點時,代表點與非代表點之間滿足所述強連接;
d)選擇出來的代表點作為下一層的候選點,計算所有候選點之間的相似性,選擇代表點,以此構建多層次結構,直到選擇出的代表點的平均聚合程度大于預設閾值,在此過程中,利用跨層次插值矩陣傳遞代表點之間的相似性。
上述方案中,所述跨層次插值矩陣的構造原則為:對每一層選擇出的代表點,如果任意兩個代表點之間的相似性在下一層存在,只需要保留它們之間的相似性;如果兩個代表點之間的相似性在下一層不存在,這兩個代表點之間的相似性由它們之間所有可達路徑的平均值決定。平均聚合程度是相似矩陣正則化后前三個最大特征值之和與該層代表點個數(shù)的比值。
在上述方案中,所述對頂層代表點的3維坐標進行插值計算過程中利用的是跨層次插值矩陣。
具體地,所述對頂層代表點用經(jīng)典流形學習方法進行降維處理流程如下:
a)計算頂層所有代表點之間相互的距離;
b)將代表點之間的距離平方雙中心化;
c)將雙中心化后的距離奇異值分解,得到分解后最大的3個特征值以及與該3個特征值對應的特征向量,則代表點的3維坐標表示為:。
具體地,步驟5)所述得到有顏色感知的醫(yī)學圖像的具體過程為:首先給定3個不同像素的RGB顏色空間信息,找到旋轉尺度,使得3個像素的顏色信息以及與他們對應的3維坐標之間盡可能的接近,其余所有像素的3維坐標向這個旋轉尺度旋轉,即得到所有像素點的顏色感知。
具體地,所述將代表點之間的距離雙中心化的計算方法是:將代表點之間的距離左乘和右乘一個中心化矩陣,,其中表示單位陣,表示一個全1的行向量,表示代表點的個數(shù)。
具體地,所述旋轉尺度計的算方法是:首先奇異值分解給定顏色空間信息和對應坐標的協(xié)方差,其中為將協(xié)方差進行奇異值分解得到的左右特征向量,且滿足,為對角陣,表示單位陣,表示協(xié)方差,當協(xié)方差矩陣的行列式大于等于0時,對角陣為單位陣,即所有像素3維坐標與已知顏色信息旋轉方向相同;否則,對角陣為,即3維坐標向相反的方向旋轉。
綜上,本發(fā)明采用以上技術方案可以具有以下的創(chuàng)新和優(yōu)勢:
本發(fā)明提出的一種多層次流形學習醫(yī)學圖像顏色感知方法,計算效率高,方法穩(wěn)定性強。
本發(fā)明提出的一種多層次流形學習醫(yī)學圖像顏色感知方法,流程清晰,分工明確,獨立性強。所得結果顏色鮮艷,圖像區(qū)域結構明顯。
本發(fā)明提出的一種多層次流形學習醫(yī)學圖像顏色感知方法,人工參與少,尊重原始數(shù)據(jù)的流形結構,有助于提高顏色感知效率以及避免引入錯誤的人為信息。
附圖說明
圖1為本發(fā)明具體實施方式的流程圖;
圖2為本發(fā)明具體實施方式的選擇代表點過程示意圖。
具體實施方式
本發(fā)明提出的一種多層次流形學習醫(yī)學圖像顏色感知方法是基于提高顏色感知效率、突出圖像區(qū)域結構以及解決色彩不匹配等問題提出的。通過比較底層所有像素點之間的相似性,選擇最具有區(qū)域代表性的像素點作為代表點建立多層次結構;對代表點用流形學習方法降維并盡可能保持代表點之間的幾何結構;將代表點通過插值返回得到所有像素點的3維坐標;最后采用顏色傳遞方法完成圖像的顏色感知使得相似的像素在感知上有相似的顏色。顏色傳遞的通常過程是對一些像素點提供顏色線索,其余像素根據(jù)這些已知顏色信息像素的相似性進行顏色傳遞,擴大顏色的色域和體積,使得整幅圖像有顏色信息。
結合圖1和圖2,下面詳細說明本發(fā)明的技術方案。
步驟一、獲取多方向的梯度特征圖像
由醫(yī)學設備采集來的黑白圖像數(shù)據(jù),獲得4個方向、、、的梯度,這里采用sobel算子計算:
使用sobel算子時,把檢測模板作為核與圖像中的每一個像素做卷積運算,得到多方向梯度特征圖像。
步驟二、圖像預處理
為了減小不必要的計算,將黑白圖像數(shù)據(jù)以及4個方向的梯度圖像去除背景點,只留下目標區(qū)域。并利用高斯核函數(shù)求解底層像素與之間的相似性,具體公式為:
其中和表示像素 與 的K近鄰集合,為核函數(shù)參數(shù)。
步驟三、構建自底到頂多層次結構
本步驟是為了減小計算量,突出醫(yī)學圖像的區(qū)域結構
1、本發(fā)明的在相似區(qū)域選擇代表點,主要依據(jù)像素點之間的強連接性。而像素之間滿足強連接性是由以下公式?jīng)Q定:。其中表示兩個像素與之間通過高斯函數(shù)計算的相似性;為0到1之間一個小數(shù),表示最大相似性的比例系數(shù);即任意兩個像素強連接滿足條件是兩個像素之間的相似性要大于等于其中一個像素與其他所有像素相似性最大值一個比例。如果任意兩個像素滿足強連接性,其中一個像素作為這一層的代表點,另一個像素作為相似像素直接被忽略。
2、根據(jù)每一層選擇出來的代表點,計算跨層次插值矩陣??鐚哟尾逯稻仃嚨谋举|(zhì)是針對那些未被選中的點,計算的方法是對每一層選擇出的代表點,如果任意兩個代表點之間的相似性在下一層存在,只需要保留它們之間的相似性;如果兩個代表點之間的相似性在下一層不存在,這兩個代表點之間的相似性由它們之間所有可達路徑的平均值決定。
3、本發(fā)明的各層代表點相似性的傳遞,根據(jù)構建的跨層次插值矩陣,即可得到各層之間的相似性,其中表示選擇出的代表點之間的相似性,表示該層的跨層次插值矩陣,表示上一層所有的代表點之間的相似性。
4、本發(fā)明中,當代表點的平均聚合程度大于閾值T,就停止構建層次結構。平均聚合程度的度量方法是相似矩陣正則化后前三個最大特征值之和與該層代表點個數(shù)的比值。
步驟四、頂層代表點維數(shù)約簡
本發(fā)明中,像素的維度是大于感知的維度,考慮到像素之間的流形結構以及后續(xù)的顏色感知,對頂層代表點用經(jīng)典流形學習方法MDS[1]降維,降維后盡可能保留像素之間的距離以及幾何結構。降維的主要流程如下:
a)計算頂層所有代表點之間相互的距離;
b)將代表點之間的距離平方雙中心化;
c)將雙中心化后的距離奇異值分解,得到分解后最大的3個特征值以及對應的特征向量,代表點3維表示為:。
使用MDS計算代表點之間相互距離時,通過逐層傳遞所有代表點之間相似性,只需要反向?qū)?shù)求解代表點之間的相似性即可近似得到代表點之間的距離,即,其中表示頂層代表點之間的相似性。
步驟五、返回所有像素點低維坐標
得到頂層代表點的低維坐標后,通過同樣的跨層次插值矩陣,頂層代表點插值返回到底層的所有像素點,得到底層所有像素點的低維坐標。這樣可以大大地減少計算時間,降低計算量。
步驟六、顏色感知
本發(fā)明的顏色感知是通過將所有像素的維度降到可以感知到的維度內(nèi)時,所有像素的低維坐標通過旋轉映射到RGB顏色空間,擴大顏色的色域和體積,得到有顏色感知的醫(yī)學圖像。首先需要給定三個不同像素的RGB顏色空間信息,找到旋轉尺度使得顏色信息和對用像素的低維坐標之間的相關性最大。其余像素的低維坐標向這個旋轉尺度旋轉,使得相似的像素之間有著相似的顏色,不同的像素之間有不相似的顏色。
旋轉尺度的計算方法是為使部分像素給定的RGB顏色空間信息盡可能接近對應的低維坐標,首先奇異值分解給定顏色信息和對應坐標的協(xié)方差,其中為將協(xié)方差進行奇異值分解得到的左右特征向量,且滿足,為對角陣。當協(xié)方差矩陣的行列式大于等于0時,對角陣為單位陣,即所有像素3為坐標與已知顏色信息旋轉方向相同;否則,對角陣為,即3維坐標向相反的方向旋轉。
顯然,以上所述為本發(fā)明的較佳實例,并不用于限定本發(fā)明的保護范圍。凡在本發(fā)明的原則之內(nèi),任何熟悉本領域的技術人員作出的修改、同等替換和改進,都應視為包含在本發(fā)明的保護范圍內(nèi)。
[1] J.B. Kruskal, Multidimensional scaling by optimizing goodness of fit to a nonmetric hypothesis, Psychometrika. 29 (1) (1964): 1-27。