視野可切換的雙光路分子影像導(dǎo)航系統(tǒng)及成像方法
【專(zhuān)利摘要】本發(fā)明公布了一種視野可切換的雙光路分子影像導(dǎo)航系統(tǒng)及成像方法，其中包括：相機(jī)模塊，進(jìn)行彩色成像及熒光成像；成像系統(tǒng)轉(zhuǎn)換模塊，根據(jù)成像需求來(lái)轉(zhuǎn)換開(kāi)放式成像方式或者內(nèi)窺式成像方式；開(kāi)放式成像模塊，進(jìn)行大視野觀測(cè)成像；內(nèi)窺式成像模塊，進(jìn)行深視野探測(cè)成像；數(shù)據(jù)處理模塊，提供相機(jī)控制軟件及圖像采集、處理、顯示方法；系統(tǒng)支撐模塊，為導(dǎo)航設(shè)備提供支撐和連接。
【專(zhuān)利說(shuō)明】視野可切換的雙光路分子影像導(dǎo)航系統(tǒng)及成像方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于光學(xué)分子影像【技術(shù)領(lǐng)域】，涉及的內(nèi)容包括激發(fā)熒光成像方法，圖像處理方法，內(nèi)窺式光學(xué)分子影像導(dǎo)航方法，開(kāi)放式光學(xué)分子影像導(dǎo)航方法。

【背景技術(shù)】
[0002]分子影像是指在細(xì)胞和分子水平上對(duì)生物體進(jìn)行無(wú)損的探測(cè)并進(jìn)行成像，如核磁共振、PET、超聲以及光學(xué)分子成像。作為其中重要的一種成像模態(tài)，光學(xué)分子影像憑借低成本、高通量、非侵入、非接觸、非電離輻射、高靈敏度、高特異性等優(yōu)勢(shì)已經(jīng)成為了研究熱點(diǎn)。激發(fā)熒光分子成像技術(shù)是光學(xué)分子影像的一個(gè)重要的分支，它使用外部光源激發(fā)生物體內(nèi)的熒光標(biāo)記物，得到激發(fā)后的熒光標(biāo)記物發(fā)射出近紅外波段的熒光，使用高靈敏度的探測(cè)器接受熒光信息并形成熒光圖像。
[0003]但是近紅外波段的光人肉眼是不可見(jiàn)的，需要借助一定的設(shè)備來(lái)觀測(cè)，光學(xué)分子影像導(dǎo)航設(shè)備就是用來(lái)輔助我們獲知熒光信息。傳統(tǒng)與光學(xué)分子影像技術(shù)相結(jié)合的導(dǎo)航設(shè)備受到成像深度的限制，而內(nèi)窺式光學(xué)分子影像導(dǎo)航系統(tǒng)可以深入成像區(qū)域內(nèi)部，解決了成像深度的問(wèn)題。但是內(nèi)窺式光學(xué)分子影像導(dǎo)航系統(tǒng)成像視野小，適用范圍有限。


【發(fā)明內(nèi)容】

[0004]為了解決現(xiàn)有光學(xué)分子影像導(dǎo)航系統(tǒng)中成像深度與成像廣度的問(wèn)題，本發(fā)明提供了一種視野可切換的雙光路分子影像導(dǎo)航系統(tǒng)及成像方法，既可以探測(cè)較深的成像區(qū)域，也可觀測(cè)大視野的成像區(qū)域。
[0005]本發(fā)明提出的一種視野可切換的雙光路分子影像導(dǎo)航系統(tǒng)，包括相機(jī)模塊10、成像系統(tǒng)轉(zhuǎn)換模塊20、開(kāi)放式成像模塊30、內(nèi)窺式成像模塊40、數(shù)據(jù)處理模塊50、系統(tǒng)支撐模塊60 ；
[0006]相機(jī)模塊10，用于對(duì)送入成像系統(tǒng)轉(zhuǎn)換模塊20的光信號(hào)同時(shí)進(jìn)行彩色成像及熒光成像，并向數(shù)據(jù)處理模塊50輸入相應(yīng)的彩色圖像和熒光圖像；
[0007]成像系統(tǒng)轉(zhuǎn)換模塊20，用于對(duì)開(kāi)放式成像模塊30和內(nèi)窺式成像模塊40進(jìn)行選擇性切換，并與選擇到的模塊建立光信號(hào)的連接；
[0008]開(kāi)放式成像模塊30，用于大視野觀測(cè)成像；
[0009]內(nèi)窺式成像模塊40，用于深視野探測(cè)成像；
[0010]數(shù)據(jù)處理模塊50，用于控制相機(jī)模塊10，并對(duì)控制相機(jī)模塊10采集的圖像進(jìn)行處理、存儲(chǔ)并顯示；
[0011]系統(tǒng)支撐模塊60，用于支撐和連接各部件。
[0012]優(yōu)選的，所述的相機(jī)模塊10包括用于彩色成像的彩色CXD相機(jī)11和用于熒光成像的熒光C⑶相機(jī)12。
[0013]優(yōu)選的，所述的成像系統(tǒng)轉(zhuǎn)換模塊20包括分光棱鏡21、濾光片一 22、濾光片二 23、相機(jī)接口一 24、相機(jī)接口二 25、鏡頭轉(zhuǎn)換器26 ；
[0014]分光棱鏡21,用于將由鏡頭轉(zhuǎn)換器26傳輸過(guò)來(lái)的光線(xiàn)一分為二,分別送入彩色CXD相機(jī)11和熒光CXD相機(jī)12中；
[0015]濾光片一 22，用于過(guò)濾分光棱鏡21傳輸來(lái)的光線(xiàn)，將波長(zhǎng)在400nm?650nm之間的光線(xiàn)通過(guò)相機(jī)接口一 24送入彩色(XD相機(jī)11中；
[0016]濾光片二 23,用于過(guò)濾分光棱鏡21傳輸來(lái)的光線(xiàn),將波長(zhǎng)在810nm?870nm之間的光線(xiàn)通過(guò)相機(jī)接口二 25送入熒光CXD相機(jī)12中；
[0017]鏡頭轉(zhuǎn)換器26，用于選擇性連接開(kāi)放式成像模塊30和內(nèi)窺式成像模塊40。
[0018]優(yōu)選的，所述的開(kāi)放式成像模塊30包括廣角鏡頭31、白光光源一 32、近紅外光源一 33、光纖34、成像區(qū)域35 ；
[0019]在使用過(guò)程中，白光光源一 32、近紅外光源一 33通過(guò)光纖34對(duì)成像區(qū)域35進(jìn)行照射，廣角鏡頭31采集成像區(qū)域35的光信號(hào)并送入成像系統(tǒng)轉(zhuǎn)換模塊20中。
[0020]優(yōu)選的，所述的內(nèi)窺式成像模塊40包括內(nèi)窺鏡鏡頭41、白光光源二 42、近紅外光源二 43、內(nèi)窺鏡光纖44、探測(cè)區(qū)域45 ；
[0021]白光光源二 42、近紅外光源二 43直接耦合進(jìn)內(nèi)窺鏡光纖44中，在使用過(guò)程中，將內(nèi)窺鏡光纖44送入到探測(cè)區(qū)域45，將采集到的光信號(hào)通過(guò)內(nèi)窺鏡光纖44送入到內(nèi)窺鏡鏡頭41中，并進(jìn)一步送入成像系統(tǒng)轉(zhuǎn)換模塊20中。
[0022]優(yōu)選的，所述的成像系統(tǒng)轉(zhuǎn)換模塊20還包括轉(zhuǎn)軸71，將成像系統(tǒng)轉(zhuǎn)換模塊20分為固定部分和轉(zhuǎn)動(dòng)部分，固定部分由分光棱鏡21、濾光片一 22、濾光片二 23、相機(jī)接口一 24、相機(jī)接口二 25、轉(zhuǎn)軸71構(gòu)成，轉(zhuǎn)動(dòng)部分由鏡頭轉(zhuǎn)換器26構(gòu)成，轉(zhuǎn)動(dòng)部分通過(guò)轉(zhuǎn)軸71與固定部分轉(zhuǎn)動(dòng)連接，鏡頭轉(zhuǎn)換器26上開(kāi)設(shè)有兩個(gè)通孔，分別用于裝設(shè)開(kāi)放式成像模塊30和內(nèi)窺式成像模塊40，在使用過(guò)程中旋轉(zhuǎn)鏡頭轉(zhuǎn)換器26使廣角鏡頭31或內(nèi)窺鏡鏡頭41的光軸與成像系統(tǒng)轉(zhuǎn)換模塊20的固定部分的光軸成一條直線(xiàn)。
[0023]優(yōu)選的，所述的數(shù)據(jù)處理模塊50包括相機(jī)控制模塊51、圖像處理模塊52、圖像存儲(chǔ)模塊53、圖像顯示模塊54;
[0024]相機(jī)控制模塊51，用于調(diào)節(jié)彩色CXD相機(jī)11和熒光CXD相機(jī)12的參數(shù)；
[0025]圖像處理模塊52，用于將彩色CXD相機(jī)11和熒光CXD相機(jī)12采集到的熒光圖像進(jìn)行去噪、加偽彩處理，并利用圖像融合算法將彩色圖像和熒光圖像融合；
[0026]圖像存儲(chǔ)模塊53，用于存儲(chǔ)彩色CXD相機(jī)11和熒光CXD相機(jī)12采集到的彩色圖像、熒光圖像以及圖像處理模塊52融合的圖像；
[0027]圖像顯示模塊54，用于將彩色圖像、熒光圖像及融合圖像實(shí)時(shí)的顯示在屏幕中。
[0028]優(yōu)選的，所述的系統(tǒng)支撐模塊60包括相機(jī)支架61、光源支架62、成像系統(tǒng)轉(zhuǎn)換模塊支架63、計(jì)算機(jī)支架64、顯示器支架65、系統(tǒng)支架66 ；
[0029]相機(jī)支架61，用于支撐彩色CXD相機(jī)11和熒光CXD相機(jī)12 ；
[0030]光源支架62，用于支撐光源；
[0031]成像系統(tǒng)轉(zhuǎn)換模塊支架63，用于支撐成像系統(tǒng)轉(zhuǎn)換模塊20 ；
[0032]計(jì)算機(jī)支架64，用于支撐計(jì)算機(jī)；
[0033]顯示器支架65，用于支撐顯示器；
[0034]系統(tǒng)支架66，用于連接和支撐系統(tǒng)支撐模塊60中各支架。
[0035]本發(fā)明還提出了一種視野可切換的雙光路分子影像導(dǎo)航系統(tǒng)的成像方法，該方法包含以下步驟:
[0036]步驟S1:通過(guò)對(duì)探測(cè)區(qū)域的判斷選擇開(kāi)放式成像模塊30或內(nèi)窺式成像模塊40與成像系統(tǒng)轉(zhuǎn)換模塊20相連接；
[0037]步驟S2:當(dāng)選擇開(kāi)放式成像模塊30與成像系統(tǒng)轉(zhuǎn)換模塊20相連接時(shí)，使用白光光源一 32及近紅外光源一 33照射成像區(qū)域35，調(diào)節(jié)廣角鏡頭31光圈并使鏡頭對(duì)焦，然后同時(shí)通過(guò)熒光CCD相機(jī)12和彩色CCD相機(jī)11分別采集熒光圖像和彩色圖像；當(dāng)選擇內(nèi)窺式成像模塊40與成像系統(tǒng)轉(zhuǎn)換模塊20相連接時(shí)，調(diào)節(jié)內(nèi)窺鏡鏡頭41使其對(duì)焦，通過(guò)相機(jī)控制模塊51增加熒光C⑶相機(jī)12的曝光時(shí)間以及增益倍數(shù)，接著打開(kāi)白光光源二 42、近紅外光源二 43，將內(nèi)窺鏡光纖44深入到探測(cè)區(qū)域45內(nèi)，通過(guò)移動(dòng)內(nèi)窺鏡光纖44來(lái)尋找?guī)晒鈽?biāo)記的部位，并同時(shí)通過(guò)熒光CXD相機(jī)12和彩色CXD相機(jī)11分別采集熒光圖像和彩色圖像；
[0038]步驟S3:若探測(cè)區(qū)域有較大的變化，則重新執(zhí)行步驟S1、步驟S2 ；
[0039]步驟S4:利用圖像處理模塊52將熒光圖像與彩色圖像進(jìn)行融合處理，得到融合圖像，并通過(guò)圖像顯示模塊54顯示在計(jì)算機(jī)顯示屏上。
[0040]優(yōu)選的，所述的熒光圖像與彩色圖像的融合處理包括以下步驟:
[0041]步驟S41:檢測(cè)彩色圖像和熒光圖像中的SIFT特征點(diǎn)；
[0042]步驟S42:在彩色圖像和熒光圖像上建立k_d樹(shù)；
[0043]步驟S43:熒光圖像中每個(gè)特征點(diǎn)與彩色圖像相匹配；
[0044]步驟S44:隨機(jī)選4對(duì)匹配點(diǎn)構(gòu)成8個(gè)線(xiàn)性方程組計(jì)算彩色圖像向熒光圖像變換的單應(yīng)矩陣H ；
[0045]步驟S45:計(jì)算H的一致集；
[0046]步驟S46:重復(fù)執(zhí)行步驟S44、步驟S45不少于500次，得到最大一致集；
[0047]步驟S47:最大一致集中的所有匹配點(diǎn)構(gòu)成超定線(xiàn)性方程組，利用線(xiàn)性最小二乘法求解H ；
[0048]步驟S48:通過(guò)H，將彩色圖像轉(zhuǎn)換到熒光圖像的坐標(biāo)系中，進(jìn)行坐標(biāo)變換；
[0049]步驟S49:給熒光圖像添加偽彩，將處于同一坐標(biāo)系下的彩色圖像和添加偽彩后的熒光圖像進(jìn)行融合，得到融合圖像。
[0050]本發(fā)明通過(guò)鏡頭轉(zhuǎn)換器實(shí)現(xiàn)開(kāi)放式成像模塊或內(nèi)窺式成像模塊的選擇，并通過(guò)成像系統(tǒng)轉(zhuǎn)換模塊中的分光器實(shí)現(xiàn)熒光圖像和彩色圖像的同時(shí)采集，采用一臺(tái)設(shè)備既可有效的根據(jù)觀測(cè)區(qū)域選擇合適的觀測(cè)模式，實(shí)現(xiàn)了成像深度與廣度的有效兼容，拓寬了了分子影像導(dǎo)航系統(tǒng)的有效工作范圍，具有廣泛的應(yīng)用場(chǎng)景。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0051]圖1是依照本發(fā)明實(shí)施的視野可切換的雙光路分子影像導(dǎo)航系統(tǒng)的架構(gòu)圖；
[0052]圖2是依照本發(fā)明實(shí)施的視野可切換的雙光路分子影像導(dǎo)航系統(tǒng)的開(kāi)放式成像豐旲塊不意圖；
[0053]圖3是依照本發(fā)明實(shí)施的視野可切換的雙光路分子影像導(dǎo)航系統(tǒng)的內(nèi)窺式成像豐旲塊不意圖；
[0054]圖4是依照本發(fā)明實(shí)施的基于分光棱鏡的光學(xué)分子影像導(dǎo)航系統(tǒng)的成像系統(tǒng)轉(zhuǎn)換示意圖。

【具體實(shí)施方式】
[0055]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下面結(jié)合附圖和實(shí)施例子進(jìn)一步說(shuō)明。
[0056]根據(jù)圖1所示，視野可切換的雙光路分子影像導(dǎo)航系統(tǒng)包括:相機(jī)模塊10、成像系統(tǒng)轉(zhuǎn)換模塊20、開(kāi)放式成像模塊30、內(nèi)窺式成像模塊40、數(shù)據(jù)處理模塊50、系統(tǒng)支撐模塊60。
[0057]其中相機(jī)模塊10，包括用于彩色成像的彩色CXD相機(jī)11和用于熒光成像的熒光CCD相機(jī)12，用于對(duì)送入成像系統(tǒng)轉(zhuǎn)換模塊20的光信號(hào)同時(shí)進(jìn)行彩色成像及熒光成像，并向數(shù)據(jù)處理模塊50輸入相應(yīng)的彩色圖像和熒光圖像。
[0058]成像系統(tǒng)轉(zhuǎn)換模塊20包括分光棱鏡21、濾光片一 22、濾光片二 23、相機(jī)接口一24、相機(jī)接口二 25、鏡頭轉(zhuǎn)換器26,用于對(duì)開(kāi)放式成像模塊30和內(nèi)窺式成像模塊40進(jìn)行選擇性切換，并與選擇到的模塊建立光信號(hào)的連接。分光棱鏡21，用于將由鏡頭轉(zhuǎn)換器26傳輸過(guò)來(lái)的光線(xiàn)一分為二，分別送入彩色(XD相機(jī)11和突光(XD相機(jī)12中；濾光片一 22,用于過(guò)濾分光棱鏡21傳輸來(lái)的光線(xiàn)，將波長(zhǎng)在400nm?650nm之間的光線(xiàn)通過(guò)相機(jī)接口一24送入彩色CCD相機(jī)11中；濾光片二 23,用于過(guò)濾分光棱鏡21傳輸來(lái)的光線(xiàn),將波長(zhǎng)在810nm?870nm之間的光線(xiàn)通過(guò)相機(jī)接口二 25送入熒光C⑶相機(jī)12中；鏡頭轉(zhuǎn)換器26，用于選擇性連接開(kāi)放式成像模塊30和內(nèi)窺式成像模塊40。
[0059]將成像系統(tǒng)轉(zhuǎn)換模塊20分為固定部分和轉(zhuǎn)動(dòng)部分，固定部分由分光棱鏡21、濾光片一 22、濾光片二 23、相機(jī)接口一 24、相機(jī)接口二 25、轉(zhuǎn)軸71構(gòu)成，轉(zhuǎn)動(dòng)部分由鏡頭轉(zhuǎn)換器26構(gòu)成，轉(zhuǎn)動(dòng)部分通過(guò)轉(zhuǎn)軸71與固定部分轉(zhuǎn)動(dòng)連接，鏡頭轉(zhuǎn)換器26上開(kāi)設(shè)有兩個(gè)通孔，分別用于裝設(shè)開(kāi)放式成像模塊30和內(nèi)窺式成像模塊40，在使用過(guò)程中旋轉(zhuǎn)鏡頭轉(zhuǎn)換器26使廣角鏡頭31或內(nèi)窺鏡鏡頭41的光軸與成像系統(tǒng)轉(zhuǎn)換模塊20的固定部分的光軸成一條直線(xiàn)。
[0060]開(kāi)放式成像模塊30包括廣角鏡頭31、白光光源一 32、近紅外光源一 33、光纖34、成像區(qū)域35，用于大視野觀測(cè)成像。在使用過(guò)程中，白光光源一 32、近紅外光源一 33通過(guò)光纖34對(duì)成像區(qū)域35進(jìn)行照射，廣角鏡頭31采集成像區(qū)域35的光信號(hào)并送入成像系統(tǒng)轉(zhuǎn)換模塊20中。
[0061]內(nèi)窺式成像模塊40包括內(nèi)窺鏡鏡頭41、白光光源二 42、近紅外光源二 43、內(nèi)窺鏡光纖44、探測(cè)區(qū)域45，用于深視野探測(cè)成像。白光光源二 42、近紅外光源二 43直接耦合進(jìn)內(nèi)窺鏡光纖44中，在使用過(guò)程中，將內(nèi)窺鏡光纖44送入到探測(cè)區(qū)域45，將采集到的光信號(hào)通過(guò)內(nèi)窺鏡光纖44送入到內(nèi)窺鏡鏡頭41中，并進(jìn)一步送入成像系統(tǒng)轉(zhuǎn)換模塊20中。
[0062]數(shù)據(jù)處理模塊50包括相機(jī)控制模塊51、圖像處理模塊52、圖像存儲(chǔ)模塊53、圖像顯示模塊54，用于控制相機(jī)模塊10，并對(duì)控制相機(jī)模塊10采集的圖像進(jìn)行處理、存儲(chǔ)并顯示。相機(jī)控制模塊51，用于調(diào)節(jié)彩色CCD相機(jī)11和熒光CCD相機(jī)12的參數(shù)；圖像處理模塊52，用于將彩色CXD相機(jī)11和熒光CXD相機(jī)12采集到的熒光圖像進(jìn)行去噪、加偽彩處理，并利用圖像融合算法將彩色圖像和熒光圖像融合；圖像存儲(chǔ)模塊53，用于存儲(chǔ)彩色CCD相機(jī)11和熒光CCD相機(jī)12采集到的彩色圖像、熒光圖像以及圖像處理模塊52融合的圖像；圖像顯示模塊54，用于將彩色圖像、熒光圖像及融合圖像實(shí)時(shí)的顯示在屏幕中。
[0063]系統(tǒng)支撐模塊60包括相機(jī)支架61、光源支架62、成像系統(tǒng)轉(zhuǎn)換模塊支架63、計(jì)算機(jī)支架64、顯示器支架65、系統(tǒng)支架66，用于支撐和連接各部件。相機(jī)支架61，用于支撐彩色CCD相機(jī)11和熒光CCD相機(jī)12 ;光源支架62，用于支撐光源；成像系統(tǒng)轉(zhuǎn)換模塊支架63，用于支撐成像系統(tǒng)轉(zhuǎn)換模塊20 ;計(jì)算機(jī)支架64，用于支撐計(jì)算機(jī)；顯示器支架65，用于支撐顯示器；系統(tǒng)支架66，用于連接和支撐系統(tǒng)支撐模塊60中各支架。
[0064]相機(jī)模塊10中的彩色CXD相機(jī)11和熒光CXD相機(jī)12分別通過(guò)相機(jī)接口一 24、相機(jī)接口二 25與成像系統(tǒng)轉(zhuǎn)換模塊20相連接；開(kāi)放式成像模塊30的廣角鏡頭31或內(nèi)窺式成像模塊40的內(nèi)窺鏡鏡頭41通過(guò)鏡頭轉(zhuǎn)換器26與成像系統(tǒng)轉(zhuǎn)換模塊20相連接；數(shù)據(jù)處理模塊50中的相機(jī)控制模塊51通過(guò)相機(jī)數(shù)據(jù)線(xiàn)與相機(jī)模塊10中的彩色CCD相機(jī)11和突光CCD相機(jī)12進(jìn)行數(shù)據(jù)傳輸；系統(tǒng)支撐模塊60中的相機(jī)支架61用于支撐彩色CCD相機(jī)
11和突光(XD相機(jī)12,光源支架62用于支撐開(kāi)放式成像模塊30的白光光源一 32、近紅外光源一 33以及內(nèi)窺式成像模塊40的白光光源二 42、近紅外光源二 43,成像系統(tǒng)轉(zhuǎn)換模塊支架63用于支撐整個(gè)成像系統(tǒng)轉(zhuǎn)換模塊20，計(jì)算機(jī)支架64用于支撐數(shù)據(jù)處理模塊50中用到的計(jì)算機(jī)，顯示器支架65用于支撐數(shù)據(jù)處理模塊50中用到的顯示器，系統(tǒng)支架66用于各個(gè)模塊之間的連接和支撐。
[0065]根據(jù)圖2所示，本實(shí)施例開(kāi)放式成像模塊工作狀態(tài)下:相機(jī)模塊10，進(jìn)行彩色成像及熒光成像；成像系統(tǒng)轉(zhuǎn)換模塊20，連接開(kāi)放式成像模塊30，并將開(kāi)放式成像模塊30采集到的光信號(hào)一分為二送入相機(jī)模塊10中；開(kāi)放式成像模塊30，提供開(kāi)放式成像方法；數(shù)據(jù)處理模塊50，提供相機(jī)控制軟件及圖像采集、處理、顯示方法。
[0066]開(kāi)放式成像模塊成像方式如下:使用白光光源一 32及近紅外光源一 33照射成像區(qū)域35 ;光線(xiàn)由成像系統(tǒng)轉(zhuǎn)換模塊20將廣角鏡頭31采集到的光信號(hào)一分為二經(jīng)濾光片一22和濾光片二 23過(guò)濾后分別送入彩色CXD相機(jī)11和熒光CXD相機(jī)12中；打開(kāi)數(shù)據(jù)處理模塊50中的相機(jī)控制模塊51，開(kāi)啟圖像采集模式，調(diào)整彩色CCD相機(jī)11和熒光CCD相機(jī)12的成像參數(shù)，以及圖像存儲(chǔ)模塊53確定圖像的存儲(chǔ)位置；通過(guò)得到的采集圖像，來(lái)調(diào)節(jié)廣角鏡頭31光圈改變進(jìn)光量，調(diào)節(jié)鏡頭對(duì)焦旋鈕使鏡頭對(duì)焦；使用圖像處理模塊52將熒光CCD相機(jī)12采集到的熒光圖像進(jìn)行去噪、亮度調(diào)節(jié)、添加偽彩等處理，并與彩色圖像進(jìn)行匹配、融合處理，用圖像顯示模塊54實(shí)時(shí)動(dòng)態(tài)的顯示在計(jì)算機(jī)顯示屏上。
[0067]根據(jù)圖3所示，本實(shí)施例內(nèi)窺式成像模塊工作狀態(tài)下:相機(jī)模塊10，進(jìn)行彩色成像及熒光成像；成像系統(tǒng)轉(zhuǎn)換模塊20，連接內(nèi)窺式成像模塊40，并將內(nèi)窺式成像模塊40采集到的光信號(hào)一分為二送入相機(jī)模塊10中；內(nèi)窺式成像模塊40,提供內(nèi)窺式成像方法；數(shù)據(jù)處理模塊50，提供相機(jī)控制軟件及圖像采集、處理、顯示方法。
[0068]內(nèi)窺式成像模塊成像方式如下:將成像系統(tǒng)轉(zhuǎn)換模塊20的鏡頭轉(zhuǎn)換器26與內(nèi)窺式成像模塊40的內(nèi)窺鏡鏡頭41相連接；將白光光源二 42及近紅外光源二 43與內(nèi)窺鏡光纖44相連接，并打開(kāi)白光光源二 42及近紅外光源二 43的電源開(kāi)關(guān)；將內(nèi)窺鏡光纖44探入探測(cè)區(qū)域45中，光線(xiàn)由成像系統(tǒng)轉(zhuǎn)換模塊20將內(nèi)窺鏡鏡頭41采集到的光信號(hào)一分為二經(jīng)濾光片一 22和濾光片二 23過(guò)濾后分別送入彩色CXD相機(jī)11和熒光CXD相機(jī)12中；打開(kāi)數(shù)據(jù)處理模塊50中的相機(jī)控制模塊51，開(kāi)啟圖像采集模式，調(diào)整彩色CCD相機(jī)11和熒光CCD相機(jī)12的成像參數(shù)，以及圖像存儲(chǔ)模塊53確定圖像的存儲(chǔ)位置；通過(guò)得到的采集圖像，來(lái)調(diào)節(jié)內(nèi)窺鏡鏡頭41光圈改變進(jìn)光量，調(diào)節(jié)鏡頭對(duì)焦旋鈕使鏡頭對(duì)焦；使用圖像處理模塊52將熒光CCD相機(jī)12采集到的熒光圖像進(jìn)行去噪、亮度調(diào)節(jié)、添加偽彩等處理，并與彩色圖像進(jìn)行匹配、融合處理，用圖像顯示模塊54實(shí)時(shí)動(dòng)態(tài)的顯示在計(jì)算機(jī)顯示屏上。
[0069]根據(jù)圖4所示，鏡頭轉(zhuǎn)換器26通過(guò)轉(zhuǎn)軸71與系統(tǒng)轉(zhuǎn)換模塊20的固定部分連接，并通過(guò)特設(shè)在轉(zhuǎn)軸71上的彈簧及轉(zhuǎn)動(dòng)定位結(jié)構(gòu)實(shí)現(xiàn)鏡頭轉(zhuǎn)換器26的轉(zhuǎn)動(dòng)定位，方便的實(shí)現(xiàn)了工作模式下開(kāi)放式成像模塊30或內(nèi)窺式成像模塊的切換。本實(shí)施例中鏡頭轉(zhuǎn)換器上開(kāi)設(shè)有兩個(gè)通孔，分別用于裝設(shè)開(kāi)放式成像模塊30和內(nèi)窺式成像模塊40，在使用過(guò)程中旋轉(zhuǎn)鏡頭轉(zhuǎn)換器26使廣角鏡頭31或內(nèi)窺鏡鏡頭41的光軸與成像系統(tǒng)轉(zhuǎn)換模塊20的固定部分的光軸成一條直線(xiàn)。
[0070]本實(shí)施例的成像方法包含以下步驟:
[0071]步驟S1:通過(guò)對(duì)探測(cè)區(qū)域的判斷選擇開(kāi)放式成像模塊30或內(nèi)窺式成像模塊40與成像系統(tǒng)轉(zhuǎn)換模塊20相連接；
[0072]步驟S2:當(dāng)選擇開(kāi)放式成像模塊30與成像系統(tǒng)轉(zhuǎn)換模塊20相連接時(shí)，使用白光光源一 32及近紅外光源一 33照射成像區(qū)域35，調(diào)節(jié)廣角鏡頭31光圈并使鏡頭對(duì)焦，然后同時(shí)通過(guò)熒光CCD相機(jī)12和彩色CCD相機(jī)11分別采集熒光圖像和彩色圖像；當(dāng)選擇內(nèi)窺式成像模塊40與成像系統(tǒng)轉(zhuǎn)換模塊20相連接時(shí)，調(diào)節(jié)內(nèi)窺鏡鏡頭41使其對(duì)焦，通過(guò)相機(jī)控制模塊51增加熒光C⑶相機(jī)12的曝光時(shí)間以及增益倍數(shù)，接著打開(kāi)白光光源二 42、近紅外光源二 43，將內(nèi)窺鏡光纖44深入到探測(cè)區(qū)域45內(nèi)，通過(guò)移動(dòng)內(nèi)窺鏡光纖44來(lái)尋找?guī)晒鈽?biāo)記的部位，并同時(shí)通過(guò)熒光CXD相機(jī)12和彩色CXD相機(jī)11分別采集熒光圖像和彩色圖像；
[0073]步驟S3:若觀測(cè)區(qū)域有較大的變化，則重新執(zhí)行步驟S1、步驟S2 ；
[0074]步驟S4:利用圖像處理模塊52將熒光圖像與彩色圖像進(jìn)行融合處理，得到融合圖像，并通過(guò)圖像顯示模塊54顯示在計(jì)算機(jī)顯示屏上。
[0075]本實(shí)施例在步驟S4中采用的圖像融合處理方法的步驟如下:
[0076]步驟S41:檢測(cè)彩色圖像和熒光圖像中的SIFT特征點(diǎn)；
[0077]步驟S42:在彩色圖像和熒光圖像上建立k-d樹(shù)；
[0078]步驟S43:熒光圖像中每個(gè)特征點(diǎn)與彩色圖像相匹配；
[0079]步驟S44:隨機(jī)選4對(duì)匹配點(diǎn)構(gòu)成8個(gè)線(xiàn)性方程組計(jì)算彩色圖像向熒光圖像變換的單應(yīng)矩陣H ；
[0080]步驟S45:計(jì)算H的一致集；
[0081]步驟S46:重復(fù)執(zhí)行步驟S44、步驟S45不少于500次，得到最大一致集；
[0082]步驟S47:最大一致集中的所有匹配點(diǎn)構(gòu)成超定線(xiàn)性方程組，利用線(xiàn)性最小二乘法求解H ；
[0083]步驟S48:通過(guò)H，將彩色圖像轉(zhuǎn)換到熒光圖像的坐標(biāo)系中，進(jìn)行坐標(biāo)變換；
[0084]步驟S49:給熒光圖像添加偽彩，將處于同一坐標(biāo)系下的彩色圖像和添加偽彩后的熒光圖像進(jìn)行融合，得到融合圖像。
[0085]本實(shí)施例結(jié)合了開(kāi)放式成像方法成像視野廣和內(nèi)窺式成像方法探測(cè)視野深的優(yōu)點(diǎn)，通過(guò)成像系統(tǒng)轉(zhuǎn)換模塊可以根據(jù)視野需求自由轉(zhuǎn)換成像視野。同時(shí)該成像系統(tǒng)轉(zhuǎn)換模塊是雙光路結(jié)構(gòu)，可將鏡頭采集到的光線(xiàn)一分為二，用兩臺(tái)CCD相機(jī)實(shí)現(xiàn)熒光圖像和彩色圖像的同時(shí)采集采用一臺(tái)設(shè)備既可有效的根據(jù)觀測(cè)區(qū)域選擇合適的觀測(cè)模式，實(shí)現(xiàn)了成像深度與廣度的有效兼容，拓寬了了分子影像導(dǎo)航系統(tǒng)的有效工作范圍，具有廣泛的應(yīng)用場(chǎng)旦
-5^ O
[0086]在操作人員實(shí)際使用過(guò)程中，可以根據(jù)成像需求切換到合適的成像模式中。
[0087]以上所述的【具體實(shí)施方式】，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說(shuō)明，但是以上所述僅為本發(fā)明的【具體實(shí)施方式】本發(fā)明的保護(hù)范圍并不僅限于此，凡在本發(fā)明的思想和規(guī)則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種視野可切換的雙光路分子影像導(dǎo)航系統(tǒng)，其特征在于，該系統(tǒng)包括相機(jī)模塊(10)、成像系統(tǒng)轉(zhuǎn)換模塊(20)、開(kāi)放式成像模塊(30)、內(nèi)窺式成像模塊(40)、數(shù)據(jù)處理模塊(50)、系統(tǒng)支撐模塊(60)； 相機(jī)模塊(10)，用于對(duì)送入成像系統(tǒng)轉(zhuǎn)換模塊(20)的光信號(hào)同時(shí)進(jìn)行彩色成像及熒光成像，并向數(shù)據(jù)處理模塊(50)輸入相應(yīng)的彩色圖像和熒光圖像； 成像系統(tǒng)轉(zhuǎn)換模塊(20)，用于對(duì)開(kāi)放式成像模塊(30)和內(nèi)窺式成像模塊(40)進(jìn)行選擇性切換，并與選擇到的模塊建立光信號(hào)的連接； 開(kāi)放式成像模塊(30)，用于大視野觀測(cè)成像； 內(nèi)窺式成像模塊(40)，用于深視野探測(cè)成像； 數(shù)據(jù)處理模塊(50)，用于控制相機(jī)模塊(10)，并對(duì)控制相機(jī)模塊(10)采集的圖像進(jìn)行處理、存儲(chǔ)并顯示； 系統(tǒng)支撐模塊(60)，用于支撐和連接各部件。
2.根據(jù)權(quán)利要求1所述的視野可切換的雙光路分子影像導(dǎo)航系統(tǒng)，其特征在于，所述的相機(jī)模塊(10)包括用于彩色成像的彩色CCD相機(jī)(11)和用于熒光成像的熒光CCD相機(jī)(12)。
3.根據(jù)權(quán)利要求2所述的視野可切換的雙光路分子影像導(dǎo)航系統(tǒng)，其特征在于，所述的成像系統(tǒng)轉(zhuǎn)換模塊(20)包括分光棱鏡(21)、濾光片一(22)、濾光片二(23)、相機(jī)接口一(24)、相機(jī)接口二(25)、鏡頭轉(zhuǎn)換器(26)； 分光棱鏡(21),用于將由鏡頭轉(zhuǎn)換器(26)傳輸過(guò)來(lái)的光線(xiàn)一分為二,分別送入彩色CCD相機(jī)(11)和熒光CCD相機(jī)(12)中； 濾光片一(22)，用于過(guò)濾分光棱鏡(21)傳輸來(lái)的光線(xiàn)，將波長(zhǎng)在400nm?650nm之間的光線(xiàn)通過(guò)相機(jī)接口一(24)送入彩色(XD相機(jī)(11)中； 濾光片二(23),用于過(guò)濾分光棱鏡(21)傳輸來(lái)的光線(xiàn),將波長(zhǎng)在810nm?870nm之間的光線(xiàn)通過(guò)相機(jī)接口二(25)送入熒光C⑶相機(jī)(12)中； 鏡頭轉(zhuǎn)換器(26)，用于選擇性連接開(kāi)放式成像模塊(30)和內(nèi)窺式成像模塊(40)。
4.根據(jù)權(quán)利要求2或3所述的視野可切換的雙光路分子影像導(dǎo)航系統(tǒng)，其特征在于，所述的開(kāi)放式成像模塊(30)包括廣角鏡頭(31)、白光光源一(32)、近紅外光源一(33)、光纖(34)、成像區(qū)域(35)； 在使用過(guò)程中，白光光源一(32)、近紅外光源一(33)通過(guò)光纖(34)對(duì)成像區(qū)域(35)進(jìn)行照射，廣角鏡頭(31)采集成像區(qū)域(35)的光信號(hào)并送入成像系統(tǒng)轉(zhuǎn)換模塊(20)中。
5.根據(jù)權(quán)利要求4所述的視野可切換的雙光路分子影像導(dǎo)航系統(tǒng)，其特征在于，所述的內(nèi)窺式成像模塊(40)包括內(nèi)窺鏡鏡頭(41)、白光光源二(42)、近紅外光源二(43)、內(nèi)窺鏡光纖(44)、探測(cè)區(qū)域(45)； 白光光源二(42)、近紅外光源二(43)直接耦合進(jìn)內(nèi)窺鏡光纖(44)中，在使用過(guò)程中，將內(nèi)窺鏡光纖(44)送入到探測(cè)區(qū)域(45)，將采集到的光信號(hào)通過(guò)內(nèi)窺鏡光纖(44)送入到內(nèi)窺鏡鏡頭(41)中，并進(jìn)一步送入成像系統(tǒng)轉(zhuǎn)換模塊(20)中。
6.根據(jù)權(quán)利要求5所述的視野可切換的雙光路分子影像導(dǎo)航系統(tǒng)，其特征在于，所述的所述的成像系統(tǒng)轉(zhuǎn)換模塊(20)還包括轉(zhuǎn)軸(71)，將成像系統(tǒng)轉(zhuǎn)換模塊(20)分為固定部分和轉(zhuǎn)動(dòng)部分，固定部分由分光棱鏡(21)、濾光片一(22)、濾光片二(23)、相機(jī)接口一(24)、相機(jī)接口二(25)、轉(zhuǎn)軸(71)構(gòu)成，轉(zhuǎn)動(dòng)部分由鏡頭轉(zhuǎn)換器(26)構(gòu)成，轉(zhuǎn)動(dòng)部分通過(guò)轉(zhuǎn)軸(71)與固定部分轉(zhuǎn)動(dòng)連接，鏡頭轉(zhuǎn)換器(26)上開(kāi)設(shè)有兩個(gè)通孔，分別用于裝設(shè)開(kāi)放式成像模塊(30)和內(nèi)窺式成像模塊(40)，在使用過(guò)程中旋轉(zhuǎn)鏡頭轉(zhuǎn)換器(26)使廣角鏡頭(31)或內(nèi)窺鏡鏡頭(41)的光軸與成像系統(tǒng)轉(zhuǎn)換模塊(20)的固定部分的光軸成一條直線(xiàn)。
7.根據(jù)權(quán)利要求6所述的視野可切換的雙光路分子影像導(dǎo)航系統(tǒng)，其特征在于，所述的數(shù)據(jù)處理模塊(50)包括相機(jī)控制模塊(51)、圖像處理模塊(52)、圖像存儲(chǔ)模塊(53)、圖像顯示模塊(54)； 相機(jī)控制模塊(51)，用于調(diào)節(jié)彩色CCD相機(jī)(11)和熒光CCD相機(jī)(12)的參數(shù)；圖像處理模塊(52)，用于將彩色CCD相機(jī)(11)和熒光CCD相機(jī)(12)采集到的熒光圖像進(jìn)行去噪、加偽彩處理，并利用圖像融合算法將彩色圖像和熒光圖像融合； 圖像存儲(chǔ)模塊(53)，用于存儲(chǔ)彩色CCD相機(jī)(11)和熒光CCD相機(jī)(12)采集到的彩色圖像、熒光圖像以及圖像處理模塊(52)融合的圖像； 圖像顯示模塊(54)，用于將彩色圖像、熒光圖像及融合圖像實(shí)時(shí)的顯示在屏幕中。
8.根據(jù)權(quán)利要求7所述的視野可切換的雙光路分子影像導(dǎo)航系統(tǒng)，其特征在于，所述的系統(tǒng)支撐模塊￠0)包括相機(jī)支架(61)、光源支架(62)、成像系統(tǒng)轉(zhuǎn)換模塊支架(63)、計(jì)算機(jī)支架(64)、顯不器支架(65)、系統(tǒng)支架(66)； 相機(jī)支架(61)，用于支撐彩色CCD相機(jī)(11)和熒光CCD相機(jī)(12)； 光源支架(62)，用于支撐光源； 成像系統(tǒng)轉(zhuǎn)換模塊支架(63)，用于支撐成像系統(tǒng)轉(zhuǎn)換模塊(20)； 計(jì)算機(jī)支架(64)，用于支撐計(jì)算機(jī)； 顯示器支架(65)，用于支撐顯示器； 系統(tǒng)支架(66)，用于連接和支撐系統(tǒng)支撐模塊(60)中各支架。
9.一種視野可切換的雙光路分子影像導(dǎo)航系統(tǒng)的成像方法，其特征在于，該方法包含以下步驟: 步驟S1:通過(guò)對(duì)探測(cè)區(qū)域的判斷選擇開(kāi)放式成像模塊(30)或內(nèi)窺式成像模塊(40)與成像系統(tǒng)轉(zhuǎn)換模塊(20)相連接； 步驟S2:當(dāng)選擇開(kāi)放式成像模塊(30)與成像系統(tǒng)轉(zhuǎn)換模塊(20)相連接時(shí)，使用白光光源一(32)及近紅外光源一(33)照射成像區(qū)域(35)，調(diào)節(jié)廣角鏡頭(31)光圈并使鏡頭對(duì)焦，然后同時(shí)通過(guò)熒光CCD相機(jī)(12)和彩色CCD相機(jī)(11)分別采集熒光圖像和彩色圖像；當(dāng)選擇內(nèi)窺式成像模塊(40)與成像系統(tǒng)轉(zhuǎn)換模塊(20)相連接時(shí)，調(diào)節(jié)內(nèi)窺鏡鏡頭(41)使其對(duì)焦，通過(guò)相機(jī)控制模塊(51)增加熒光C⑶相機(jī)(12)的曝光時(shí)間以及增益倍數(shù)，接著打開(kāi)白光光源二(42)、近紅外光源二(43)，將內(nèi)窺鏡光纖(44)深入到探測(cè)區(qū)域(45)內(nèi)，通過(guò)移動(dòng)內(nèi)窺鏡光纖(44)來(lái)尋找?guī)晒鈽?biāo)記的部位，并同時(shí)通過(guò)熒光C⑶相機(jī)(12)和彩色CXD相機(jī)(11)分別采集熒光圖像和彩色圖像； 步驟S3:若觀測(cè)區(qū)域有較大的變化，則重新執(zhí)行步驟S1、步驟S2 ； 步驟S4:利用圖像處理模塊(52)將熒光圖像與彩色圖像進(jìn)行融合處理，得到融合圖像，并通過(guò)圖像顯示模塊(54)顯示在計(jì)算機(jī)顯示屏上。
10.根據(jù)權(quán)利要求9所述的成像方法，其特征在于，所述的熒光圖像與彩色圖像的融合處理包括以下步驟: 步驟S41:檢測(cè)彩色圖像和熒光圖像中的SIFT特征點(diǎn)； 步驟S42:在彩色圖像和熒光圖像上建立k-d樹(shù)； 步驟S43:熒光圖像中每個(gè)特征點(diǎn)與彩色圖像相匹配； 步驟S44:隨機(jī)選4對(duì)匹配點(diǎn)構(gòu)成8個(gè)線(xiàn)性方程組計(jì)算彩色圖像向熒光圖像變換的單應(yīng)矩陣H ； 步驟S45:計(jì)算H的一致集； 步驟S46:重復(fù)執(zhí)行步驟S44、步驟S45不少于500次，得到最大一致集； 步驟S47:最大一致集中的所有匹配點(diǎn)構(gòu)成超定線(xiàn)性方程組，利用線(xiàn)性最小二乘法求解H; 步驟S48:通過(guò)H，將彩色圖像轉(zhuǎn)換到熒光圖像的坐標(biāo)系中，進(jìn)行坐標(biāo)變換； 步驟S49:給熒光圖像添加偽彩，將處于同一坐標(biāo)系下的彩色圖像和添加偽彩后的熒光圖像進(jìn)行融合，得到融合圖像。
【文檔編號(hào)】A61B5/00GK104367380SQ201410754357
【公開(kāi)日】2015年2月25日 申請(qǐng)日期:2014年12月10日 優(yōu)先權(quán)日:2014年12月10日
【發(fā)明者】田捷, 毛亞敏, 遲崇巍, 楊鑫 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所