圖像處理的改進(jìn)或與圖像處理相關(guān)的改進(jìn)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理或與圖像處理相關(guān)的改進(jìn)，特別地，但不排他地，涉及一種用于配準(zhǔn)視網(wǎng)膜圖像等血管系統(tǒng)圖像對或圖像序列的方法和裝置。
【背景技術(shù)】
[0002]成像系統(tǒng)，例如激光掃描眼底鏡(SLO)，是公知的使用一個或多個數(shù)字圖像傳感器來捕獲視網(wǎng)膜圖像數(shù)據(jù)的系統(tǒng)。用于SLO的數(shù)字圖像傳感器通常是單個傳感器，其中的光強度信號與掃描位置信號同步以便生成可以同步到2D圖像的單個數(shù)據(jù)流。數(shù)字圖像傳感器可選地可以包括光敏感像元(像素)陣列，通過SLO或眼底照相機(jī)等其它視網(wǎng)膜成像設(shè)備生成的視網(wǎng)膜圖像典型地為二維像素陣列并被稱為數(shù)字視網(wǎng)膜圖像。
[0003]源于像素陣列的強度值集合被稱為圖像數(shù)據(jù)。由像素陣列輸出的“原始”圖像數(shù)據(jù)可以經(jīng)過各種后處理技術(shù)以便再現(xiàn)或用于由人觀看或用于由機(jī)器處理的圖像。視網(wǎng)膜圖像的后處理技術(shù)包括用于圖像分析和視網(wǎng)膜圖像對或圖像序列配準(zhǔn)的各種統(tǒng)計方法。
[0004]視網(wǎng)膜圖像對或圖像序列配準(zhǔn)通常關(guān)注一個或多個圖像的縮放、旋轉(zhuǎn)和相對于基本圖像的平移以便對齊(“配準(zhǔn)”)該圖像與基本圖像。配準(zhǔn)的視網(wǎng)膜圖像典型地疊加有基本視網(wǎng)膜圖像，以方便圖像之間的比較。
[0005]實現(xiàn)視網(wǎng)膜圖像對或圖像序列仿射配準(zhǔn)的算法是已知的。這種算法可以涉及“血管系統(tǒng)跟蹤”，其中涉及迭代搜索和決策樹以映射和提取血管系統(tǒng)。特別是，這種方法通常搜索血管系統(tǒng)分支結(jié)點等特定的特性特征。盡管這種算法提供合理程度的配準(zhǔn)精度，但是它們在計算上效率低下，即花費大量計算。此外，這種已知的算法只允許配準(zhǔn)從普通成像模式獲得的圖像。也就是說，這種已知的算法不允許配準(zhǔn)從不同的成像模式，例如反射模式或自發(fā)熒光模式獲得的圖像。
[0006]這種已知算法的實例可以在下列出版物中找到:US 2012/0195481A ；Can等人“用于配準(zhǔn)彎曲的人類視網(wǎng)膜圖像對的基于特征的魯棒分層算法(A featurebased, Robust, Hierarchical Algorithm for Registering Pairs of Images of theCurved Human Retina) ”，IEEE模式分析與機(jī)器智能學(xué)報，第24卷，第3期(2002年3月)；Zana和Klein，“使用容器檢測和霍夫變換的眼底圖像多模態(tài)配準(zhǔn)算法(A MultimodalRegistrat1n Algorithm of Eye Fundus Images Using Vessels Detect1n and HoughTransform)”，IEEE醫(yī)學(xué)成像學(xué)報，第18卷，第5期(1999年5月);和Hu等人“來自頻域光學(xué)相干斷層掃描和眼底攝影的多模態(tài)視網(wǎng)膜血管分割(Multimodal Retinal VesselSegmentat1n From Spectral-Domain Optical Coherence Tomography and FundusPhotography) ”，IEEE醫(yī)學(xué)成像學(xué)報，第31卷，第10期(2012年10月)。
[0007]EP 2064988 A(興和株氏會社)提出了一種用于通過在匹配概率得分的基礎(chǔ)上疊加兩個或多于兩個眼底圖像來創(chuàng)建視網(wǎng)膜眼底“成像圖”的設(shè)備和方法。匹配是在血管提取圖像中識別的角點圖像數(shù)據(jù)的基礎(chǔ)上進(jìn)行的。然而，發(fā)明人相信，EP' 988中提出的技術(shù)將無法在典型的視網(wǎng)膜圖像中的血管系統(tǒng)中找到足夠的角點特征以實現(xiàn)可靠的圖像匹配和配準(zhǔn)，特別是實現(xiàn)在不同的成像模式得到的圖像之間的圖像匹配和配準(zhǔn)。視網(wǎng)膜圖像承受非常多變的光照，并且在通過現(xiàn)代SLO生成的高分辨率視網(wǎng)膜圖像中，血管的特征都是相對平滑邊的特征。因此角點提取將不會產(chǎn)生用于匹配的大量候選點，如果不是這樣的話，那就是被各種類型的噪聲嚴(yán)重影響了。

【發(fā)明內(nèi)容】

[0008]根據(jù)本發(fā)明的第一方面，提供一種數(shù)字血管圖像的處理方法，包括以下步驟:
[0009]提供第一和第二數(shù)字血管圖像數(shù)據(jù)；
[0010]采用二維方向濾波器處理所述第一和第二圖像數(shù)據(jù)以達(dá)到生成正交相鄰圖像數(shù)據(jù)點簇的效果，其中，每個正交相鄰圖像數(shù)據(jù)點之間的強度梯度的幅值小于預(yù)定值；
[0011]識別第一和第二圖像數(shù)據(jù)中的每個圖像數(shù)據(jù)中的簇，其中一個或多個相鄰的簇之間的強度梯度的幅值大于預(yù)定值；
[0012]識別第一和第二圖像數(shù)據(jù)之間的共有簇，其中一個或多個相鄰的簇之間的強度梯度的幅值大于預(yù)定值；且
[0013]配準(zhǔn)所述第一和第二圖像數(shù)據(jù)之間的所述共有簇。
[0014]數(shù)字血管圖像可以是視網(wǎng)膜圖像。數(shù)字血管圖像可以包括視網(wǎng)膜的血管系統(tǒng)的細(xì)節(jié)。視網(wǎng)膜的血管系統(tǒng)包括視網(wǎng)膜中的血管、動脈和靜脈。視網(wǎng)膜的血管系統(tǒng)包括視網(wǎng)膜的循環(huán)系統(tǒng)。
[0015]數(shù)字血管圖像可以是人或動物的器官或身體部位的血管圖像。數(shù)字血管圖像可以包括器官或身體部位的血管系統(tǒng)的細(xì)節(jié)。器官或身體部位的血管系統(tǒng)包括器官或身體部位中的血管、動脈和靜脈。器官或身體部位的血管系統(tǒng)包括器官或身體部位的循環(huán)系統(tǒng)。
[0016]所述第一和第二數(shù)字血管圖像數(shù)據(jù)可以包括用于生成圖像數(shù)據(jù)的一個或多個像素的入射照明強度。所述第一和第二圖像可以通過不同的成像模式獲得。
[0017]濾波器可以是匹配濾波器。濾波器可以具有與血管圖像數(shù)據(jù)中的血管特征的形式或形狀相匹配的形式或形狀。
[0018]濾波器可以是高斯濾波器。濾波器可以是伽柏濾波器。
[0019]一個或多個濾波器可以是相同的濾波器或不同的濾波器。在不同的方向使用不同的二維濾波器核函數(shù)在血管系統(tǒng)對方向具有某種形狀靈敏度的情況下可能有用。
[0020]核函數(shù)可以是匹配的核函數(shù)。核函數(shù)可以具有與血管圖像數(shù)據(jù)的形式或形狀相匹配的形式或形狀。
[0021]正交相鄰圖像的數(shù)據(jù)點簇可以包括任何數(shù)目或配置的正交相鄰圖像數(shù)據(jù)，其中每個正交相鄰圖像數(shù)據(jù)點之間的強度梯度小于預(yù)定值。
[0022]識別在所述第一和第二圖像數(shù)據(jù)中的每個圖像數(shù)據(jù)中的簇且其中一個或多個相鄰的簇之間的強度梯度的幅值高于預(yù)定值的步驟可以包括角點檢測算法的使用。角點檢測算法可以用于識別所述第一和第二圖像數(shù)據(jù)中的每個圖像數(shù)據(jù)中的簇且其中一個或多個相鄰的簇之間的強度梯度的幅值高于預(yù)定值。角點檢測算法可以用于識別所述第一和第二圖像數(shù)據(jù)中的每個圖像數(shù)據(jù)中的簇且其中在兩個正交方向上的一個或多個相鄰的簇之間的強度梯度的幅值同時高于預(yù)定值。即，角點檢測算法可以尋找在兩個正交方向上同時出現(xiàn)高于預(yù)定閾值的強度梯度上的變化。該預(yù)定值可以是，例如介于可能的最大梯度值的10%和50%之間。
[0023]角點檢測算法可以是哈里斯角點檢測算法。角點檢測算法可以是莫拉維克角點檢測算法或Sh1-Thomas角點檢測算法。
[0024]識別其中一個或多個相鄰簇之間的強度梯度的幅值高于預(yù)定值的第一和第二圖像數(shù)據(jù)之間的共有簇的步驟可以包括互相關(guān)卷積后的所述第一和第二圖像數(shù)據(jù)。
[0025]識別其中一個或多個相鄰簇之間的強度梯度的幅值高于預(yù)定值的所述第一和第二圖像數(shù)據(jù)之間的共有簇的步驟可以包括互相關(guān)在所述第一和第二圖像數(shù)據(jù)中識別的簇。
[0026]識別其中一個或多個相鄰簇之間的強度梯度的幅值高于預(yù)定值的所述第一和第二圖像數(shù)據(jù)之間的共有簇的步驟可以包括卷積后的第一和第二圖像數(shù)據(jù)的多個互相關(guān)。對于卷積后的所述第一和第二圖像數(shù)據(jù)的多個互相關(guān)，每個相繼的互相關(guān)可以根據(jù)上一個互相關(guān)遞增旋轉(zhuǎn)。多個互相關(guān)可以通過約40度或大于40度旋轉(zhuǎn)。多個互相關(guān)可以以大約20度或大于20度的步長通過圍繞實質(zhì)上位于視網(wǎng)膜視盤點周圍的樞轉(zhuǎn)點旋轉(zhuǎn)。
[0027]互相關(guān)卷積后的所述第一和第二圖像數(shù)據(jù)的步驟可以包括確定在所述第一和第二圖像數(shù)據(jù)中的每個圖像數(shù)據(jù)中識別的共有簇之間在位置上的差異的另外的步驟。簇的位置可以包括簇的角度位置和/或其平移位置。所述第一和第二圖像數(shù)據(jù)中的每個圖像數(shù)據(jù)中識別的共有簇之間在位置上的差異可以被稱為平移參數(shù)。
[0028]配準(zhǔn)所述第一和第二圖像數(shù)據(jù)之間的共有簇的步驟使用所確定的平移參數(shù)來對齊所述第一和第二圖像數(shù)據(jù)。所述第二圖像數(shù)據(jù)可以被配準(zhǔn)到所述第一圖像數(shù)據(jù)或所述第一圖像數(shù)據(jù)可以被配準(zhǔn)到所述第二圖像數(shù)據(jù)。配準(zhǔn)的圖像數(shù)據(jù)可以疊加。
[0029]該方法可以包括減小第一和/或第二數(shù)字血管圖像數(shù)據(jù)的大小的附加的初始步驟。這可以包括刪除圖像數(shù)據(jù)的一個或多個部分。減少所述第一和/或第二數(shù)字血管圖像數(shù)據(jù)的大小的步驟可以包括對圖像數(shù)據(jù)進(jìn)行濾波、平滑、采樣或子采樣的步驟。對圖像數(shù)據(jù)進(jìn)行濾波、平滑、采樣或子采樣的步驟可以重復(fù)任意次。
[0030]該方法可包括下采樣所述第一和/或第二數(shù)字血管圖像數(shù)據(jù)的附加的初始步驟。下采樣所述第一和/或第二數(shù)字血管圖像數(shù)據(jù)的步驟可以包括一個或多個圖像數(shù)據(jù)的縮放計算。下采樣所述第一和/或第二數(shù)字血管圖像數(shù)據(jù)的步驟可以包括一個或多個圖像數(shù)據(jù)的金字塔縮放計算。
[0031]該方法可以包括增加所述第一和/或第二數(shù)字血管圖像數(shù)據(jù)的血管系統(tǒng)和背景之間的對比度的附加的初始步驟。該方法可以包括優(yōu)化所述第一和/或第二數(shù)字血管圖像數(shù)據(jù)的血管系統(tǒng)和背景之間的對比度的附加的初始步驟。優(yōu)化所述第一和/或第二數(shù)字血管圖像數(shù)據(jù)的血管系統(tǒng)和背