本發(fā)明屬于光學顯微鏡,尤其涉及一種多光譜與信息融合的超景深顯微圖像獲取系統(tǒng)。
背景技術(shù):
1、目前,增加景深的途徑主要有:縮小孔徑法、光學切趾法、波前編碼法及變焦透鏡技術(shù)??s小孔徑法指的是縮小孔徑光闌的通光口徑;光學切趾方法指的是對孔徑光闌的透光率和相位進行調(diào)制,來增加系統(tǒng)的景深;在公開號為cn?118329852a的中國專利中,公開了一種基于波前編碼的大像面熒光顯微成像系統(tǒng),該專利針對熒光顯微成像系統(tǒng)在對dpcr熒光基因芯片檢測時視場不足的問題,研制了一套景深延拓裝置,研制過程是通過算法優(yōu)選出位相板參數(shù),根據(jù)優(yōu)選參數(shù)制作相位板,dpcr熒光基因芯片檢測的成像系統(tǒng)包括依次位于同一光軸上的接收圖像的接收裝置、對樣品芯片進行成像的顯微成像系統(tǒng)、用于分開激發(fā)光和熒光的濾波裝置和樣品,垂直光軸方向濾波裝置下方用于激發(fā)熒光的照明裝置、以及顯微成像系統(tǒng)中放置的拓展景深的延拓裝置。所述延拓裝置,可對±200μm范圍內(nèi)滿足離焦不變性,生成一致的中間模糊像,該像經(jīng)后續(xù)算法處理可以生成清晰的像。在公開號為cn?118433552?a的中國專利中,公開了一種采集物品圖像的方法和系統(tǒng),該專利基于已有的液體透鏡,依據(jù)最小步長,對液體透鏡逐次變焦,依次采集圖像,并對采集到的圖像逐一進行分區(qū)、提取感興趣區(qū)域、計算梯度等步驟,最終得到一張大景深圖像。
2、景深與入射光的波長成正比,然而顯微鏡的分辨率卻與入射光的波長成反比,傳統(tǒng)的顯微鏡一般會在景深和空間分辨率做權(quán)衡,顯微鏡追求高分辨率的同時會對景深造成一定損失,而景深的減小則會造成圖像中只有部分區(qū)域清晰,而圖像的其它區(qū)域模糊。在增大景深的方法中,縮小孔徑法以犧牲分辨率為代價,無法兼顧高分辨率與大景深;光學切趾法一般會損失一定的光通量,而且可能導致成像系統(tǒng)中的圖像亮度分布不均勻;波前編碼法中的位相板等研制額外的光學元件,研制需經(jīng)過復雜算法及參數(shù)優(yōu)選過程,且研制出的相位板適用場景有限,且對于采集到的圖像還需要再次進行數(shù)據(jù)處理;基于連續(xù)變焦技術(shù)擴大景深的方法步驟較多,且拍攝圖像的過程耗時較長。
3、因此,發(fā)明一種通用的、簡便的、在不犧牲分辨率的情況下,獲取超景深圖像的顯微系統(tǒng)與方法,是顯微光學技術(shù)領(lǐng)域亟需解決的一個問題。
技術(shù)實現(xiàn)思路
1、為解決上述問題,本發(fā)明提供一種多光譜與信息融合的超景深顯微圖像獲取系統(tǒng),能夠?qū)崿F(xiàn)對多光譜照明系統(tǒng)的分光以及僅通過一次成像即可獲得所有波段的樣品圖像,操作簡便,避免了繁瑣的采集圖像的步驟。
2、一種多光譜與信息融合的超景深顯微圖像獲取系統(tǒng),包括圖像接收與顯微成像組件2和計算組件3;
3、使用該系統(tǒng)進行樣品表面形貌拍攝時,所述圖像接收與顯微成像組件2用于拍攝表面有高度差的樣品1的多光譜圖像,并將多光譜圖像發(fā)送給計算裝置3;
4、所述計算裝置3用于對多光譜圖像進行圖像處理,得到樣品1的超景深顯微圖像。
5、進一步地,所述圖像接收與顯微成像組件2包括用于放置樣本1的樣品臺6、顯微物鏡7、棱鏡組8、與棱鏡組8位于同一水平面的多光譜照明系統(tǒng)9、管鏡10、多光譜分光成像裝置11;其中,顯微物鏡7布置于樣品臺6的上方;棱鏡組8布置于顯微物鏡7的上方;管鏡10布置于棱鏡組8的上方;多光譜分光成像裝置11位于管鏡10的上方;
6、所述多光譜照明系統(tǒng)9發(fā)出波長為400~1000nm的多光譜光源,所述多光譜光源經(jīng)由棱鏡組8反射至顯微物鏡7,并通過顯微物鏡7入射至樣本1的表面;樣本1的反射光依次經(jīng)過顯微物鏡7、棱鏡組8、管鏡10后再入射至多光譜分光成像裝置11;多光譜分光成像裝置11用于根據(jù)承載樣本1表面信息的反射光生成多光譜光源中各單色光對應的圖像。
7、進一步地,所述多光譜分光成像裝置11包括n個成像元件、n個過濾波段不同的濾波片、分光模塊;其中,n為在多光譜光源中選取的感興趣波段數(shù),且每個成像元件前均布置有一個濾波片;
8、所述分光模塊用于將反射光分成n路子波束,并將n路子波束分別入射至n個濾波片,各濾波片按照自身的過濾波段生成不同波段的單色光;n路不同波段的單色光分別入射至一個成像元件,由成像元件生成各單色光對應的圖像。
9、進一步地,當n為奇數(shù)時,所述分光模塊由n-1個半反半透鏡組成;其中,每兩個半反半透鏡為一組進行左右排布,各組半反半透鏡按照交錯一個半反半透鏡的位置進行上下排布,形成階梯型排布;同時,按照從左到右從上到下的順序依次編號為各半反半透鏡編號,且位于階梯型排布中間的半反半透鏡與管鏡10同軸;n組成像元件和濾波片分別布置于階梯型排布中的左側(cè)邊半反半透鏡的左側(cè)、上側(cè)邊半反半透鏡的上側(cè)、右側(cè)邊半反半透鏡的右側(cè)。
10、進一步地,當n=5時,且所述分光模塊由四個半反半透鏡組成;其中,每兩個半反半透鏡為一組進行左右排布,兩組半反半透鏡按照交錯一個半反半透鏡的位置進行上下排布;同時,按照從左到右從上到下的順序?qū)⑺膫€半反半透鏡依次編號為半反半透鏡ⅰ、半反半透鏡ⅱ、半反半透鏡ⅲ、半反半透鏡ⅳ,則半反半透鏡ⅱ、半反半透鏡ⅲ與管鏡10同軸;五組成像元件和濾波片分別布置于半反半透鏡ⅰ的左側(cè)和上側(cè)、半反半透鏡ⅱ的上側(cè)、半反半透鏡ⅳ的上側(cè)和右側(cè)。
11、進一步地,所述分光模塊為旋轉(zhuǎn)的微型振鏡;其中,微型振鏡的每個旋轉(zhuǎn)角度都對應一組成像元件和濾波片,n組成像元件和濾波片分別以微型振鏡為中心布置于微型振鏡的周圍,則管鏡10出射的反射光經(jīng)由旋轉(zhuǎn)到n個不同角度的微型振鏡分為n路后,再分別入射至n組濾波片和成像元件。
12、進一步地,當n=5時,且所述分光模塊為旋轉(zhuǎn)的微型振鏡;其中,微型振鏡的每個旋轉(zhuǎn)角度都對應一組成像元件和濾波片,五組成像元件和濾波片分別以微型振鏡為中心布置于微型振鏡的周圍,則管鏡10出射的反射光經(jīng)由旋轉(zhuǎn)到五個不同角度的微型振鏡分為5路后,再分別入射至五組濾波片和成像元件。
13、進一步地,所述計算裝置3包括圖像分割模塊、決策生成模塊、數(shù)據(jù)融合模塊和圖像提升模塊;
14、所述圖像分割模塊基于特征梯度法分別對多光譜圖像中的各張單色光圖像中的清晰區(qū)域與模糊區(qū)域進行分割,并獲取分割后圖像的每個像素點的活躍水平;
15、所述決策生成模塊用于根據(jù)各張單色光圖像上活躍水平獲取各張單色光圖像對應的決策圖:
16、
17、其中,di(x,y)為第i個波段對應的單色光圖像對應的決策圖,n表示單色光圖像的波段數(shù),sfi(x,y)表示第i個波段對應的單色光圖像的活躍水平,sfj(x,y)表示第j個波段對應的活躍水平;其中,如果sfi(x,y)均不小于sfj(x,y),則di(x,y)=1,如果sfi(x,y)小于任意一個sfj(x,y),則di(x,y)=0;
18、所述數(shù)據(jù)融合模塊用于將各決策圖以及各決策圖對應的單色光圖像進行像素級加權(quán)融合,得到一張融合圖像;
19、所述圖像提升模塊用于采用亮度提升法、對比度提升法、銳度提升法對融合圖像進行視覺提升,得到最終的超景深顯微圖像。
20、進一步地,任意一張分割后圖像逐像素點計算的活躍水平sf(x,y)為:
21、
22、其中,cf(x,y)為位置為(x,y)的像素點在列方向上的梯度,rff(x,y)為位置為(x,y)的像素點在行方向上的梯度,r為計算位置為(x,y)的像素點的活躍水平時所選定的感興趣范圍的半徑,f(x+a,y+b)為基于特征梯度法的圖像分割神經(jīng)網(wǎng)絡輸出的分割后圖像上的以位置為(x,y)的像素點為中心的(x+a,y+b)的區(qū)域,f(x+a-1,y+b)為基于特征梯度法的圖像分割神經(jīng)網(wǎng)絡輸出的分割后圖像上的以位置為(x,y)的像素點為中心的(x+a-1,y+b)的區(qū)域。
23、進一步地,融合圖像m(x,y)的獲取方法為:
24、
25、其中,di(x,y)為第i個波段對應的單色光圖像對應的決策圖,imgi(x,y)為第i個波段對應的單色光圖像。
26、有益效果:
27、1、本發(fā)明提供一種多光譜與信息融合的超景深顯微圖像獲取系統(tǒng),在傳統(tǒng)的顯微鏡系統(tǒng)的基礎(chǔ)上,利用不同波段的光照射物體經(jīng)過透鏡時,聚焦層面位置不同的原理,采用可自由調(diào)節(jié)的多光譜照明系統(tǒng)(400-1000nm)照明,發(fā)展了由多個半反半透鏡/振鏡、濾波片及成像元件構(gòu)成的多光譜分光成像裝置,實現(xiàn)了對多光譜照明系統(tǒng)的分光以及僅通過一次成像即可獲得所有波段的樣品圖像,操作簡便,避免了繁瑣的采集圖像的步驟。
28、2、本發(fā)明提供一種多光譜與信息融合的超景深顯微圖像獲取系統(tǒng),通過對所獲得各個波段的圖像使用基于人工智能的深度學習算法的各個模塊進行處理,最終得到超景深高分辨的圖像,避免了優(yōu)選參數(shù)額外設(shè)計元件的過程,采用人工智能算法即可實現(xiàn)在不犧牲圖像分辨率的情況下獲取超景深圖像的效果,利用本發(fā)明景深可提高5倍左右;利用本發(fā)明超景深的特點,可實現(xiàn)對具有一定弧度的曲面清晰呈現(xiàn),亦可實現(xiàn)有輕微振幅的動態(tài)樣品的圖像獲取,拓寬了傳統(tǒng)顯微鏡的使用范圍。