本發(fā)明屬于醫(yī)學(xué)圖像處理技術(shù)領(lǐng)域,特別是一種圖像的配準(zhǔn)方法,可用于心臟手術(shù)中對(duì)術(shù)前ct圖像和術(shù)中超聲圖像的實(shí)時(shí)配準(zhǔn)。
背景技術(shù):
隨著現(xiàn)代社會(huì)生活節(jié)奏的不斷加快、生活壓力的不斷增大,心血管疾病的發(fā)病率逐年攀升。據(jù)世界衛(wèi)生組織的調(diào)查數(shù)據(jù)顯示,每年心血管疾病的死亡人數(shù)占全球死亡總數(shù)的30%。預(yù)計(jì)到2030年,死于心血管疾病的人數(shù)將增加至2330萬,心血管疾病將繼續(xù)成為威脅人類健康的頭號(hào)死因。因此對(duì)心血管疾病的診斷研究受到廣泛關(guān)注,更加準(zhǔn)確、高效的醫(yī)療診斷成為一種迫切的需要。
目前,對(duì)于心臟的診療和評(píng)估高度依賴于ct、超聲和核磁共振等成像技術(shù)。其中,心臟超聲成像由于成本相對(duì)較低、能夠?qū)崟r(shí)成像和操作方便等原因,被廣泛應(yīng)用于微創(chuàng)手術(shù)中。它可以幫助醫(yī)生在手術(shù)過程中定位病理區(qū)域,并為手術(shù)工具提供引導(dǎo)。而超聲圖像固有的斑點(diǎn)噪聲、偽影、分辨率差、信噪比較低等局限,使得它難以清晰的顯示器官、血管和腫瘤的解剖結(jié)構(gòu)和病理信息。ct圖像雖然成像精度和信噪比高,但由于成本高、靈活性差、不能實(shí)時(shí)成像等缺點(diǎn),無法反映手術(shù)中組織的移位和變形。
將術(shù)前ct圖像與術(shù)中超聲圖像兩種模態(tài)圖像信息相結(jié)合,利用術(shù)前圖像的信息來引導(dǎo)術(shù)中圖像,提高手術(shù)的精度和準(zhǔn)確率,是當(dāng)前研究的熱點(diǎn)。其中術(shù)前ct圖像和術(shù)中超聲圖像配準(zhǔn)技術(shù)是圖像引導(dǎo)手術(shù)中的關(guān)鍵技術(shù)。
超聲圖像與ct圖像的配準(zhǔn)方法,目前主要包括基于灰度的方法和基于幾何或解剖特征的方法?;诨叶鹊呐錅?zhǔn)方法直接利用整幅圖像的灰度信息,建立兩幅圖像之間的相似性度量,然后使用搜索方法尋找使相似性度量值最大或最小的變化模型的參數(shù)值。然而,由于超聲圖像質(zhì)量較差、與ct圖像灰度差異大,單一的基于灰度的配準(zhǔn)精度并不理想且耗時(shí)長,不能滿足圖像引導(dǎo)手術(shù)對(duì)圖像配準(zhǔn)精度和速度的要求?;谔卣鞯呐錅?zhǔn)方法將對(duì)整個(gè)圖像的分析轉(zhuǎn)換為對(duì)圖像特征的分析,所說大大減少了圖像處理過程中的計(jì)算量,具有較好的實(shí)時(shí)性,但配準(zhǔn)精度的高低主要取決于幾何或解剖特征的選擇和提取,特征提取的準(zhǔn)確程度將對(duì)整個(gè)配準(zhǔn)過程產(chǎn)生很大的影響,由于常用的特征提取主要依賴于人工選取,速度慢且會(huì)引入人為偏差,使提取的不同模態(tài)下圖像特征差異較大。因此迫切需要準(zhǔn)確可靠、全自動(dòng)的特征提取方法以確保圖像配準(zhǔn)的精度和速度,滿足手術(shù)要求。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于針對(duì)目前已有配準(zhǔn)技術(shù)的不足,提出一種基于顯著區(qū)域面積匹配的心臟ct圖像與超聲圖像配準(zhǔn)方法,以實(shí)現(xiàn)ct圖像對(duì)超聲圖像的精確引導(dǎo),提高手術(shù)的精度和成功率。
為實(shí)現(xiàn)上述目的,本發(fā)明包括如下步驟:
(1)輸入待配準(zhǔn)心臟ct圖像及食道超聲心動(dòng)圖tee,采用雙線性插值方法調(diào)整ct圖像,使其與tee圖像每個(gè)像素對(duì)應(yīng)的物理分辨率大小一致;
(2)對(duì)ct圖像和tee圖像分別進(jìn)行非局部均值濾波處理,并將濾波后的ct圖像作為參考圖像r,將濾波后的tee圖像作為浮動(dòng)圖像f;
(3)分別建立參考圖像r的灰度特征金字塔模型ai、鄰域均差特征金字塔模型am和浮動(dòng)圖像f的灰度特征金字塔模型bi、鄰域均差特征金字塔模型bm;
(4)根據(jù)參考圖像r的灰度特征金字塔模型ai和鄰域均差特征金字塔模型am生成參考圖像的顯著圖sr,根據(jù)浮動(dòng)圖像f的灰度特征金字塔模型bi和鄰域均差特征金字塔模型bm生成浮動(dòng)圖像的顯著圖sf;
(5)設(shè)置灰度閾值t1=85,利用灰度閾值t1分別對(duì)參考圖像的顯著圖sr和浮動(dòng)圖像的顯著圖sf進(jìn)行二值化分割,得到參考圖像顯著圖的分割結(jié)果br和浮動(dòng)圖像顯著圖的分割結(jié)果bf;
(6)分別統(tǒng)計(jì)參考圖像顯著圖的分割結(jié)果br和浮動(dòng)圖像顯著圖的分割結(jié)果bf中每個(gè)非連通區(qū)域的面積,根據(jù)非連通區(qū)域的面積特征提取參考圖像的感興趣區(qū)域輪廓點(diǎn)集pr和浮動(dòng)圖像的感興趣區(qū)域輪廓點(diǎn)集pf;
(7)分別提取參考圖像r中感興趣區(qū)域的質(zhì)心(xr,yr)和浮動(dòng)圖像f中感興趣區(qū)域的質(zhì)心(xf,yf),計(jì)算兩區(qū)域質(zhì)心間的距離(δx,δy),并將浮動(dòng)圖像f和其感興趣區(qū)域輪廓點(diǎn)集pf分別橫向平移δx個(gè)像素,縱向平移δy個(gè)像素,得到粗配準(zhǔn)結(jié)果圖f'和粗配準(zhǔn)結(jié)果圖f'的感興趣區(qū)域輪廓點(diǎn)集p'f;
(8)以參考圖像r的感興趣區(qū)域輪廓點(diǎn)集pr和粗配準(zhǔn)結(jié)果圖f'的感興趣區(qū)域輪廓點(diǎn)集p'f作為輸入,使用迭代最近點(diǎn)icp算法進(jìn)行精配準(zhǔn),得到兩點(diǎn)集之間的旋轉(zhuǎn)矩陣tr和平移矩陣tt;
(9)將粗配準(zhǔn)結(jié)果圖f'按旋轉(zhuǎn)矩陣tr和平移矩陣tt依次進(jìn)行旋轉(zhuǎn)和平移操作,得到最終配準(zhǔn)結(jié)果q,輸出配準(zhǔn)圖像q。
本發(fā)明與現(xiàn)有技術(shù)相比具有以下優(yōu)點(diǎn):
1、本發(fā)明通過分別建立參考圖像和浮動(dòng)圖像的灰度特征金字塔模型和鄰域均差特征金字塔模型以提取其顯著圖,并根據(jù)區(qū)域面積特征精確地提取了參考圖像和浮動(dòng)圖像的感興趣區(qū)域,為后續(xù)參考圖像和浮動(dòng)圖像的高精度配準(zhǔn)奠定了基礎(chǔ)。
2、本發(fā)明對(duì)參考圖像和浮動(dòng)圖像進(jìn)行了基于參考圖像和浮動(dòng)圖像感興趣區(qū)域質(zhì)心距離的粗配準(zhǔn)和基于迭代最近點(diǎn)icp算法的精配準(zhǔn),具有更高的準(zhǔn)確性。
3、本發(fā)明在整個(gè)配準(zhǔn)過程中實(shí)現(xiàn)了全自動(dòng)化,無需人機(jī)交互,避免了人為因素的干擾,配準(zhǔn)效率高,滿足圖像引導(dǎo)手術(shù)對(duì)配準(zhǔn)速度和配準(zhǔn)精度的要求。
附圖說明
圖1是本發(fā)明的實(shí)現(xiàn)流程圖;
圖2是從某醫(yī)院獲取的心臟ct圖像和心臟食道超聲tee圖像;
圖3是用本發(fā)明提取ct圖像和tee圖像的顯著圖;
圖4是用本發(fā)明對(duì)ct圖像和tee圖像的顯著圖進(jìn)行二值化后的結(jié)果圖;
圖5是用本發(fā)明對(duì)ct圖像和tee圖像感興趣區(qū)域的分割結(jié)果圖;
圖6是以ct圖為參考圖像,tee圖為浮動(dòng)圖像,采用本發(fā)明進(jìn)行配準(zhǔn)的結(jié)果圖;
圖7是本發(fā)明所使用的同一個(gè)人的心臟ct圖像和超聲tee圖像;
圖8是用本發(fā)明對(duì)圖7中ct圖像和超聲tee圖像進(jìn)行配準(zhǔn)的結(jié)果圖。
具體實(shí)施方法
以下結(jié)合附圖對(duì)本發(fā)明的實(shí)施例和效果作詳細(xì)描述。
參照?qǐng)D1,本發(fā)明的實(shí)現(xiàn)步驟如下:
步驟1.輸入心臟ct圖像和食道超聲tee圖像,調(diào)整圖像像素大小。
心臟ct圖像和食道超聲圖像是從某醫(yī)院獲取的,如圖2所示,其中圖2(a)是心臟ct圖像,圖2(b)是食道超聲tee圖像,心臟ct圖像的大小是512×512,像素分辨率是0.24×0.24mm,食道超聲tee圖像的大小是600×800,像素分辨率是0.17×0.17mm;
采用雙線性插值方法調(diào)整ct圖像,使其與tee圖像像素分辨率大小一致。
步驟2.對(duì)待配準(zhǔn)圖像進(jìn)行預(yù)處理。
將心臟ct圖像進(jìn)行非局部均值濾波,使圖像更平滑、清晰,并用濾波后的圖像作為參考圖像r;
將食道超聲tee圖像進(jìn)行非局部均值濾波,以去除其固有的斑點(diǎn)、偽影這些噪聲,使圖像更平滑、清晰,并用該濾波后的圖像作為浮動(dòng)圖像f。
步驟3.分別建立參考圖像r和浮動(dòng)圖像f的灰度特征金字塔模型和鄰域均差特征金字塔模型。
(3a)提取參考圖像r的灰度特征圖ir和鄰域均差特征圖mr:
mr(i,j)=|r(i,j)-f(i,j)|
式中ir(i,j)是參考圖像r的灰度特征圖ir在坐標(biāo)(i,j)處的值,r(i,j)是參考圖像r在坐標(biāo)(i,j)處的灰度值,max()為提取矩陣最大灰度值,min()為提取矩陣最小灰度值,mr是鄰域均差特征圖,mr(i,j)是mr在坐標(biāo)(i,j)處的值,f(i,j)是參考圖像r在坐標(biāo)(i,j)處的3×3鄰域均值;
(3b)以參考圖像r的灰度特征圖ir為第一層,在其基礎(chǔ)上進(jìn)行下采樣,得到大小為第一層圖像1/2的第二層灰度特征圖,再在第二層灰度特征圖上進(jìn)行相同下采樣,得到大小為第二層灰度特征圖1/2的第三層灰度特征圖,并將第一層灰度特征圖放置在最下層,第二層灰度特征圖置于第一層之上,再將第三層灰度特征圖置于第二層之上,構(gòu)成參考圖像r的灰度特征金字塔模型ai;
(3c)以參考圖像r的鄰域均差特征圖mr為第一層,在其基礎(chǔ)上進(jìn)行下采樣,得到大小為第一層圖像1/2的鄰域均差特征圖,再在第二層鄰域均差特征圖上進(jìn)行相同下采樣,得到大小為第二層鄰域均差特征圖1/2的第三層鄰域均差特征圖,并將第一層鄰域均差特征圖放置在最下層,第二層鄰域均差特征圖置于第一層之上,再將第三層鄰域均差特征圖置于第二層之上,構(gòu)成參考圖像r的鄰域均差特征金字塔模型am;
(3d)按(3a)相同操作提取浮動(dòng)圖像f的灰度特征圖if和鄰域均差特征圖mf;
(3e)以浮動(dòng)圖像f的灰度特征圖if為第一層,在其基礎(chǔ)上進(jìn)行下采樣,得到大小為第一層圖像1/2的第二層灰度特征圖,再在第二層灰度特征圖上進(jìn)行相同下采樣,得到大小為第二層灰度特征圖1/2的第三層灰度特征圖,并將第一層灰度特征圖放置在最下層,第二層灰度特征圖置于第一層之上,再將第三層灰度特征圖置于第二層之上,構(gòu)成浮動(dòng)圖像f的灰度特征金字塔模型bi;
(3f)以浮動(dòng)圖像f的鄰域均差特征圖mf為第一層,在其基礎(chǔ)上進(jìn)行下采樣,得到大小為第一層圖像1/2的第二層鄰域均差特征圖,再在第二層鄰域均差特征圖上進(jìn)行相同下采樣,得到大小為第二層鄰域均差特征圖1/2的第三層鄰域均差特征圖,并將第一層鄰域均差特征圖放置在最下層,第二層鄰域均差特征圖置于第一層之上,再將第三層鄰域均差特征圖置于第二層之上,構(gòu)成浮動(dòng)圖像f的鄰域均差特征金字塔模型bm。
步驟4.生成參考圖像和浮動(dòng)圖形的顯著圖。
目前生成顯著圖的方法比較成熟,常用的有:基于空間頻域分析的ft算法、基于圖論的gbvs算法和基于分塊的c-a算法。本發(fā)明采用但不限于下述方法生成參考圖像的顯著圖sr和浮動(dòng)圖像的顯著圖sf,其步驟如下:
(4a)將參考圖像灰度特征金字塔模型ai中的第一層圖像分別與δ1=32和δ2=64的兩個(gè)高斯核進(jìn)行二維卷積,用該層圖像減去卷積后圖像,再對(duì)兩個(gè)差分結(jié)果圖求和并歸一化得到第一層圖像顯著圖;
(4b)將參考圖像灰度特征金字塔模型ai中的第二、第三層圖像分別與δ1=32和δ2=64的兩個(gè)高斯核進(jìn)行二維卷積,用該層圖像減去卷積后圖像,再對(duì)兩個(gè)差分結(jié)果圖求和并歸一化得到第二、第三層圖像顯著圖;
(4c)對(duì)參考圖像灰度特征金字塔模型ai中三層顯著圖求平均,得到參考圖像r的灰度特征顯著圖sri;
(4d)對(duì)參考圖像r鄰域均差特征金字塔模型am采用(4a)-(4c)相同操作,得到參考圖像r的鄰域均差特征顯著圖srm;
(4e)對(duì)參考圖像r的灰度特征顯著圖sri和鄰域均差特征顯著圖srm求和,得到參考圖像r的最終顯著圖sr;
(4f)對(duì)浮動(dòng)圖像f的灰度特征金字塔模型bi和鄰域均差特征金字塔模型bm采用(4a)-(4e)相同操作,得到浮動(dòng)圖像f的最終顯著圖sf,如圖3所示,其中圖3(a)是提取ct圖像的顯著圖,圖3(b)是提取tee圖像的顯著圖。
步驟5.對(duì)參考圖像的顯著圖sr和浮動(dòng)圖像的顯著圖sf進(jìn)行二值化。
設(shè)置灰度閾值t1=85,利用灰度閾值t1分別對(duì)參考圖像的顯著圖sr和浮動(dòng)圖像的顯著圖sf進(jìn)行二值化分割:若圖像像素點(diǎn)灰度值大于灰度閾值t1,則將該像素點(diǎn)灰度值賦值為1,否則賦值為0,得到參考圖像顯著圖的分割結(jié)果br和浮動(dòng)圖像顯著圖的分割結(jié)果bf,如圖4所示,其中圖4(a)是對(duì)ct圖像的二值化結(jié)果,圖4(b)是對(duì)tee圖像的二值化結(jié)果。
步驟6.提取參考圖像r和浮動(dòng)圖像f感興趣區(qū)域輪廓點(diǎn)集pr和pf。
(6a)統(tǒng)計(jì)參考圖像最終顯著圖的分割結(jié)果br中各個(gè)非連通區(qū)域的面積,根據(jù)面積大小對(duì)各連通區(qū)域按降序排序;
(6b)按(6a)中排序順序,從第二個(gè)非連通區(qū)域開始計(jì)算各區(qū)域與其前一區(qū)域面積的比值,并將該比值與設(shè)置的面積比閾值t2=0.25進(jìn)行比較:若該比值大于t2,則標(biāo)記該區(qū)域?qū)儆诟信d趣區(qū)域,并繼續(xù)判斷下一區(qū)域是否屬于感興趣區(qū)域,否則,提取所有在迭代過程中標(biāo)記為感興趣區(qū)域的區(qū)域輪廓點(diǎn),作為參考圖像r的感興趣區(qū)域的輪廓點(diǎn)集pr;
(6c)統(tǒng)計(jì)浮動(dòng)圖像最終顯著圖的分割結(jié)果bf中各非連通區(qū)域的面積,根據(jù)面積大小對(duì)各連通區(qū)域按降序排序;
(6d)按(6c)中排序順序,從第二個(gè)非連通區(qū)域開始計(jì)算各區(qū)域與其前一區(qū)域面積的比值,并將該比值與設(shè)置的面積比閾值t2=0.25進(jìn)行比較:若該比值大于t2,則標(biāo)記該區(qū)域?qū)儆诟信d趣區(qū)域,并繼續(xù)判斷下一區(qū)域是否屬于感興趣區(qū)域,否則,提取所有在迭代過程中標(biāo)記為感興趣區(qū)域的區(qū)域輪廓點(diǎn),作為浮動(dòng)圖像f的感興趣區(qū)域的輪廓點(diǎn)集pf,如圖5所示,其中圖5(a)表示提取的參考圖像感興趣區(qū)域,圖5(b)表示提取的浮動(dòng)圖像感興趣區(qū)域。
步驟7.根據(jù)參考圖像感興趣區(qū)域和浮動(dòng)圖像感興趣區(qū)域質(zhì)心間的距離對(duì)參考圖像和浮動(dòng)圖像進(jìn)行粗配準(zhǔn)。
分別提取參考圖像r中感興趣區(qū)域的質(zhì)心(xr,yr)和浮動(dòng)圖像f中感興趣區(qū)域的質(zhì)心(xf,yf),計(jì)算兩區(qū)域質(zhì)心間的距離(δx,δy),并將浮動(dòng)圖像f和其感興趣區(qū)域輪廓點(diǎn)集f分別橫向平移δx個(gè)像素,縱向平移δy個(gè)像素,得到粗配準(zhǔn)結(jié)果圖f'和粗配準(zhǔn)結(jié)果圖的感興趣區(qū)域輪廓點(diǎn)集p'f。
步驟8.采用迭代最近點(diǎn)icp算法進(jìn)行精配準(zhǔn),得到配準(zhǔn)參數(shù)。
以參考圖像r的感興趣區(qū)域輪廓點(diǎn)集pr和粗配準(zhǔn)結(jié)果圖f'的感興趣區(qū)域輪廓點(diǎn)集p'f作為輸入,使用迭代最近點(diǎn)icp算法進(jìn)行精配準(zhǔn),得到兩點(diǎn)集之間的旋轉(zhuǎn)矩陣tr和平移矩陣tt。
步驟9.根據(jù)配準(zhǔn)參數(shù)得到最終配準(zhǔn)結(jié)果。
將粗配準(zhǔn)結(jié)果圖f'按旋轉(zhuǎn)矩陣tr和平移矩陣tt依次進(jìn)行旋轉(zhuǎn)和平移操作,得到最終配準(zhǔn)結(jié)果q,完成配準(zhǔn)工作,最終配準(zhǔn)結(jié)果圖如圖6所示。
本發(fā)明的效果可通過以下仿真實(shí)驗(yàn)進(jìn)一步說明:
實(shí)驗(yàn)內(nèi)容:
為了說明本發(fā)明的精確性和高效性,實(shí)驗(yàn)所使用的輸入圖像為來自同一個(gè)人的心臟ct圖像和超聲tee圖像,如圖7所示,其中圖7(a)是ct圖像,圖7(b)是tee圖像。
以7(a)所示的ct圖像為參考圖像,以圖7(b)所示的tee圖像為浮動(dòng)圖像,采用本發(fā)明對(duì)其進(jìn)行配準(zhǔn),配準(zhǔn)結(jié)果如圖8所示,從圖8可以看出,本發(fā)明對(duì)ct圖像和超聲圖像配準(zhǔn)的精確度高。
對(duì)圖像配準(zhǔn)前后目標(biāo)配準(zhǔn)誤差和配準(zhǔn)時(shí)間進(jìn)行統(tǒng)計(jì),結(jié)果如表一。
表一評(píng)價(jià)指標(biāo)
由表一可以看出,采用本發(fā)明進(jìn)行配準(zhǔn)的目標(biāo)配準(zhǔn)誤差與配準(zhǔn)前相比有大幅提高,而且運(yùn)行時(shí)間短,滿足圖像引導(dǎo)手術(shù)對(duì)配準(zhǔn)精度和配準(zhǔn)時(shí)間的要求。