本發(fā)明涉及顯微光學技術(shù)領(lǐng)域,具體涉及一種顯微圖像的顯示方法、顯示裝置及包含該顯示裝置的成像系統(tǒng)。
背景技術(shù):
三維顯微鏡相較于傳統(tǒng)顯微鏡可以獲取樣本的三維信息,因此在醫(yī)學、生物學、精密工業(yè)檢測和神經(jīng)科學等領(lǐng)域發(fā)揮著重要作用。三維顯微鏡的圖像采集方式主要包括侵入式圖像采集方式和非侵入式圖像采集方式。其中,侵入式圖像采集方式,如掃描式圖像采集方式,雖然可以獲得較高的圖像分辨率,但是難以獲取樣本的實時動態(tài)信息,而且強光照射還會對樣本產(chǎn)生漂白。非侵入式圖像采集方式,如基于光場理論技術(shù)的光場顯微鏡技術(shù),通過采集樣本的空間-角度數(shù)據(jù),并采用三維重構(gòu)算法對樣本數(shù)據(jù)進行計算,實現(xiàn)樣本的三維重建,并不會影響樣本的原本形態(tài),同時還可以獲得樣本的實時動態(tài)信息。
光場顯微鏡(lightfieldmicroscopy,lfm),基于光場顯微鏡技術(shù),在傳統(tǒng)顯微鏡的中間像平面處設(shè)置微透鏡陣列,能夠一次曝光得到多個視角的平面圖像,從而得到大景深的顯微圖像,并可進行三維重建。但是,光場顯微鏡lfm所獲得的各視角子圖像的空間分辨率受微透鏡陣列中透鏡個數(shù)的限制,如果采用小尺寸的微透鏡陣列提高各視角子圖像的空間分辨率,又會降低光場顯微鏡lfm的景深值,進而影響樣本的顯示效果。
技術(shù)實現(xiàn)要素:
為了解決現(xiàn)有技術(shù)中的上述問題,即為了解決光場顯微鏡難以顯示高空間分辨率圖像的技術(shù)問題,本發(fā)明提供了一種顯微圖像的顯示方法、顯示裝置及包含該裝置的成像系統(tǒng)。
第一方面,本發(fā)明中顯微圖像的顯示方法的技術(shù)方案是:
采集經(jīng)顯微鏡對樣本曝光得到的多個不同視角的低分辨率樣本圖像;
依據(jù)所述各低分辨率樣本圖像的視差偏移量,依次將所述各低分辨率樣本圖像映射到與各自的視差偏移量對應(yīng)的高分辨率網(wǎng)格圖上,進而得到所述的多個不同視角的高分辨率樣本圖像;
對所述各高分辨率樣本圖像進行三維重構(gòu),得到所述樣本的三維面型。
進一步地,本發(fā)明提供的一個優(yōu)選技術(shù)方案為:所述將各低分辨率樣本圖像映射到與各自的視差偏移量對應(yīng)的高分辨率網(wǎng)格圖上,具體包括:
獲取各非參考圖像中與參考圖像的參考點像素對應(yīng)的各對應(yīng)點像素;
計算所述參考點像素與各對應(yīng)點像素的rgb值偏差,并按照所述rgb值偏差由小到大的順序,選取映射到高分辨率網(wǎng)格圖上的n-1個對應(yīng)點像素;
將所述參考點像素和所述的n-1個對應(yīng)點像素映射到所述參考圖像的高分辨率網(wǎng)格圖上;
其中,所述參考圖像為所述低分辨率樣本圖像中進行映射的目標圖像,非參考圖像為所述低分辨率樣本圖像中參考圖像以外的圖像;所述參考點像素為所述參考圖像中進行映射的目標像素;所述n為高分辨率網(wǎng)格圖的像素數(shù)量相對于低分辨率樣本圖像的像素數(shù)量的倍數(shù),n<n,n為所述非參考圖像的總數(shù)。
進一步地,本發(fā)明提供的一個優(yōu)選技術(shù)方案為:
所述將各低分辨率樣本圖像映射到與各自的視差偏移量對應(yīng)的高分辨率網(wǎng)格圖上之前包括:采用光流法獲取所述低分辨率樣本圖像的視差偏移量;
所述對各高分辨率樣本圖像進行三維重構(gòu)之前包括:對所述高分辨率樣本圖像進行濾波。
第二方面,本發(fā)明中顯微圖像的顯示裝置的技術(shù)方案是:
所述裝置包括:
圖像采集模塊,用于采集經(jīng)顯微鏡對樣本曝光得到的多個不同視角的低分辨率樣本圖像;
映射模塊,用于依據(jù)所述各低分辨率樣本圖像的視差偏移量,依次將所述各低分辨率樣本圖像映射到與各自的視差偏移量對應(yīng)的高分辨率網(wǎng)格圖上,進而得到所述的多個不同視角的高分辨率樣本圖像;
三維重構(gòu)模塊,用于對所述各高分辨率樣本圖像進行三維重構(gòu),得到所述樣本的三維面型。
進一步地,本發(fā)明提供的一個優(yōu)選技術(shù)方案為:所述映射模塊包括采集單元、計算單元和映射單元;
所述采集單元,用于獲取各非參考圖像中與參考圖像的參考點像素對應(yīng)的各對應(yīng)點像素;
所述計算單元,用于計算所述參考點像素與各對應(yīng)點像素的rgb值偏差,并按照所述rgb值偏差由小到大的順序,選取映射到高分辨率網(wǎng)格圖上的n-1個對應(yīng)點像素;
所述映射單元,用于將所述參考點像素和所述的n-1個對應(yīng)點像素映射到所述參考圖像的高分辨率網(wǎng)格圖上;
其中,所述參考圖像為所述低分辨率樣本圖像中進行映射的目標圖像,非參考圖像為所述低分辨率樣本圖像中參考圖以外的圖像;所述n為高分辨率網(wǎng)格圖的像素數(shù)量相對于低分辨率樣本圖像的像素數(shù)量的倍數(shù)n,n<n,n為所述非參考圖像的總數(shù)。
進一步地,本發(fā)明提供的一個優(yōu)選技術(shù)方案為:
所述映射模塊包括視差計算單元;所述視差計算單元,用于采用光流法獲取所述低分辨率樣本圖像的視差偏移量;
所述三維重構(gòu)模塊包括濾波單元;所述濾波單元,用于對所述高分辨率樣本圖像進行濾波。
第三方面,本發(fā)明中成像系統(tǒng)的技術(shù)方案是:
所述成像系統(tǒng)包括上述技術(shù)方案所述的顯微圖像的顯示裝置;進一步地,所述成像系統(tǒng)還包括顯微鏡、光闌放大模塊和透鏡陣列模塊;其中,所述顯微鏡的光軸、光闌放大模塊的光軸和透鏡陣列模塊的中心處于同一光軸上;
所述光闌放大模塊設(shè)置在經(jīng)所述顯微鏡得到的樣本的中間成像面處,用于對所述顯微鏡的物鏡光闌產(chǎn)生的共軛像進行放大,形成共軛光闌面;
所述透鏡陣列模塊設(shè)置在所述共軛光闌面處,用于獲取多個不同視角的低分辨率樣本圖像。
進一步地,本發(fā)明提供的一個優(yōu)選技術(shù)方案為:
所述透鏡陣列模塊包括按照蜂窩狀排布的多個透鏡,且所述透鏡的數(shù)量至少為7;或者,
所述透鏡陣列模塊包括按照nm×nm陣列式排布的多個透鏡,且所述nm≥3。
進一步地,本發(fā)明提供的一個優(yōu)選技術(shù)方案為:
所述成像系統(tǒng)還包括用于確定所述nm×nm陣列式的數(shù)值nm的確定模塊;所述確定模塊包括如下式所示的確定模型:
其中,所述p為所述顯示裝置中圖像采集模塊采集到的低分辨率樣本圖像的單個像素值;所述m為所述顯微鏡的放大倍數(shù);所述naobjective為所述顯微鏡中物鏡的數(shù)值孔徑;所述λ為光波長。
進一步地,本發(fā)明提供的一個優(yōu)選技術(shù)方案為:
所述成像系統(tǒng)中透鏡陣列模塊的透鏡包括膠合透鏡;
所述成像系統(tǒng)中光闌放大模塊包括膠合透鏡。
與現(xiàn)有技術(shù)相比,上述技術(shù)方案至少具有以下有益效果:
1、本發(fā)明提供的一種顯微圖像的顯示方法,通過將經(jīng)顯微鏡曝光得到的不同視角的低分辨率樣本圖像,映射到高分辨率網(wǎng)格圖上,然后對不同視角的高分辨率樣本圖像進行三維重構(gòu)得到高分辨率的樣本三維面型,可以獲得樣本的瞬時圖像,同時樣本顯示圖像的分辨率直接由低分辨率樣本圖像的圖像采集裝置的分辨率決定,不需要對顯微鏡進行較大的結(jié)構(gòu)改動即可獲得高分辨率的樣本顯示圖像;
2、本發(fā)明提供的一種顯微圖像的顯示裝置,其圖像采集模塊可以采集將經(jīng)顯微鏡曝光得到的不同視角的低分辨率樣本圖像,映射模塊可以將低分辨率樣本圖像映射到高分辨率網(wǎng)格圖上,三維重構(gòu)模塊可以對不同視角的高分辨率樣本圖像進行三維重構(gòu)得到高分辨率的樣本三維面型;該顯示裝置可以獲得樣本的瞬時圖像,同時樣本顯示圖像的分辨率直接由圖像采集模塊的分辨率決定,不需要對顯微鏡進行較大的結(jié)構(gòu)改動即可獲得高分辨率的樣本顯示圖像。
3、本發(fā)明提供的一種成像系統(tǒng),其包括上述技術(shù)方案所述的顯示裝置,使得該成像系統(tǒng)兼具高空間分辨率和大景深,從而實現(xiàn)了對樣本進行高分辨率圖像顯示。
附圖說明
圖1是本發(fā)明實施例中一種顯微圖像的顯示方法實施流程圖;
圖2是本發(fā)明實施例中一種成像系統(tǒng)結(jié)構(gòu)示意圖;
圖3是本發(fā)明實施例中成像系統(tǒng)的光路仿真示意圖;
圖4是本發(fā)明實施例中透鏡陣列模塊結(jié)構(gòu)示意圖;
圖5是本發(fā)明實施例中一種中心視點的像方mtf曲線示意圖;
圖6是本發(fā)明實施例中一種分視點的像方mtf曲線示意圖;
圖7是本發(fā)明實施例中一種中心視點的像方點陣示意圖;
圖8是本發(fā)明實施例中一種分視點的像方點陣示意圖;
圖9是本發(fā)明實施例中一種成像系統(tǒng)采集美標usaf1951分辨板的結(jié)果示意圖;
圖10是本發(fā)明實施例中常規(guī)顯微鏡采集美標usaf1951分辨率板的結(jié)果示意圖;
圖11是本發(fā)明實施例中一種成像系統(tǒng)與常規(guī)顯微鏡采集美標usaf1951分辨率板的歸一化對比示意圖;
圖12是本發(fā)明實施例中一種美標usaf1951分辨率板的顯示圖像和原始圖像示意圖;
圖13是本發(fā)明實施例中一種美標usaf1951分辨率板的顯示圖像和原始圖的橫向分辨率對比示意圖;
圖14是本發(fā)明實施例中另一種中心視點的像方mtf曲線示意圖;
圖15是本發(fā)明實施例中另一種分視點的像方mtf曲線示意圖;
圖16是本發(fā)明實施例中另一種中心視點的像方點陣示意圖;
圖17是本發(fā)明實施例中另一種分視點的像方點陣示意圖;
圖18是本發(fā)明實施例中7個視點的低分辨率蝴蝶翅膀圖像;
圖19是本發(fā)明實施例中1個視點的低分辨率蝴蝶翅膀圖像和高分辨率蝴蝶翅膀圖像;
圖20是本發(fā)明實施例中重聚焦后的蝴蝶翅膀圖像;
圖21是本發(fā)明實施例中重聚焦后的蝴蝶翅膀圖像的深度圖;
圖22是本發(fā)明實施例中三維重構(gòu)后的蝴蝶翅膀圖像;
圖23是本發(fā)明實施例中7個視點的低分辨率微型電容圖像;
圖24是本發(fā)明實施例中三維重構(gòu)后的微型電容圖像;
圖25是本發(fā)明實施例中一種成像系統(tǒng)采集400國標分辨率板的結(jié)果示意圖;
圖26是本發(fā)明實施例中7個視點的低分辨率蝴蝶觸角圖像;
圖27是本發(fā)明實施例中中心視點的低分辨率蝴蝶觸角圖像;
圖28是本發(fā)明實施例中中心視點的低分辨率蝴蝶觸角圖像和高分辨率蝴蝶觸角圖像;
圖29是本發(fā)明實施例中三維重構(gòu)后的蝴蝶觸角圖像;
其中,10:顯微鏡平臺;101:樣本;102:物鏡;103:中繼鏡;20:光闌放大模塊;30:透鏡陣列模塊;31:3×3陣列式透鏡陣列模塊;32:蜂窩狀透鏡陣列模塊;33:中間成像面;40:圖像傳感器;50:圖像處理器;60:衍射極限;61:ts=(0.0000,0.0000mm)時的mtf曲線;62:ts=(0.0000,0.2750mm)時的mtf曲線;63:ts=(0.0000,0.4000mm)時的mtf曲線;64:ts=(0.0000,0.4700mm)時的mtf曲線;65:ts=(0.0000,0.5500mm)時的mtf曲線;66:ts=(0.0000,-0.2750mm)時的mtf曲線;67:ts=(0.0000,-0.4000mm)時的mtf曲線;68:ts=(0.0000,-0.4700mm)時的mtf曲線;69:ts=(0.0000,-0.5500mm)時的mtf曲線;70:衍射極限;71:ts=(0.0000,0.0000mm)時的mtf曲線;72:ts=(0.0000,0.2750mm)時的mtf曲線;73:ts=(0.0000,0.4000mm)時的mtf曲線;74:ts=(0.0000,0.4700mm)時的mtf曲線;75:ts=(0.0000,0.5500mm)時的mtf曲線;76:ts=(0.0000,-0.2750mm)時的mtf曲線;77:ts=(0.0000,-0.4000mm)時的mtf曲線;78:ts=(0.0000,-0.4700mm)時的mtf曲線;79:ts=(0.0000,-0.5500mm)時的mtf曲線;80:視場(obj=0.0000,0.0000mm;ima=0.000,0.000mm)的點陣;81:視場(obj=0.0000,0.2750mm;ima=0.000,1.157mm)的點陣;82:視場(obj=0.0000,0.4000mm;ima=0.000,1.688mm)的點陣;83:視場(obj=0.0000,0.4700mm;ima=0.000,1.988mm)的點陣;84:視場(obj=0.0000,0.5500mm;ima=0.000,2.333mm)的點陣;85:視場(obj=0.0000,-0.2750mm;ima=0.000,-1.157mm)的點陣;86:視場(obj=0.0000,-0.4000mm;ima=0.000,-1.688mm)的點陣;87:視場(obj=0.0000,-0.4700mm;ima=0.000,-1.988mm)的點陣;88:視場(obj=0.0000,-5500mm;ima=0.000,-2.333mm)的點陣;90:視場(obj=0.0000,0.0000mm;ima=0.000,4.829mm)的點陣;91:視場(obj=0.0000,0.2750mm;ima=0.000,5.987mm)的點陣;92:視場(obj=0.0000,0.4000mm;ima=0.000,6.518mm)的點陣;93:視場(obj=0.0000,0.4700mm;ima=0.000,6.818mm)的點陣;94:視場(obj=0.0000,0.5500mm;ima=0.000,7.164mm)的點陣;95:視場(obj=0.0000,-0.2750mm;ima=0.000,3.671mm)的點陣;96:視場(obj=0.0000,-0.4000mm;ima=0.000,3.140mm)的點陣;97:視場(obj=0.0000,-0.4700mm;ima=0.000,2.840mm)的點陣;98:視場(obj=0.0000,-5500mm;ima=0.000,2.493mm)的點陣;110:衍射極限;111:ts=(0.0000,0.0000mm)時的mtf曲線;112:ts=(0.0000,-0.1500mm)時的mtf曲線;113:ts=(0.0000,-0.2500mm)時的mtf曲線;114:ts=(0.0000,0.1500mm)時的mtf曲線;115:ts=(0.0000,0.2500mm)時的mtf曲線;116:ts=(0.2500,0.0000mm)時的mtf曲線;117:ts=(-0.2500,0.0000mm)時的mtf曲線;118:ts=(0.1500,0.0000mm)時的mtf曲線;119:ts=(-0.1500,0.0000mm)時的mtf曲線;120:衍射極限;121:ts=(0.0000,0.0000mm)時的mtf曲線;122:ts=(0.0000,-0.1500mm)時的mtf曲線;123:ts=(0.0000,-0.2500mm)時的mtf曲線;124:ts=(0.0000,0.1500mm)時的mtf曲線;125:ts=(0.0000,0.2500mm)時的mtf曲線;126:ts=(0.2500,0.0000mm)時的mtf曲線;127:ts=(-0.2500,0.0000mm)時的mtf曲線;128:ts=(0.1500,0.0000mm)時的mtf曲線;129:ts=(-0.1500,0.0000mm)時的mtf曲線;130:視場(obj=0.0000,0.0000mm;ima=0.000,0.000mm)的點陣;131:視場(obj=0.0000,-0.1500mm;ima=0.000,-0.823mm)的點陣;132:視場(obj=0.0000,-0.2500mm;ima=0.000,-1.383mm)的點陣;133:視場(obj=0.0000,0.1500mm;ima=0.000,0.823mm)的點陣;134:視場(obj=0.0000,0.2500mm;ima=0.000,1.383mm)的點陣;135:視場(obj=0.2500,0.0000mm;ima=1.383,0.000mm)的點陣;136:視場(obj=-0.2500,0.0000mm;ima=-1.383,0.00mm)的點陣;137:視場(obj=0.1500,0.0000mm;ima=0.823,0.000mm)的點陣;138:視場(obj=-0.1500,0.0000mm;ima=-0.823,0.000mm)的點陣;140:視場(obj=0.0000,0.0000mm;ima=0.000,4.532mm)的點陣;141:視場(obj=0.0000,-0.1500mm;ima=0.000,3.710mm)的點陣;142:視場(obj=0.0000,-0.2500mm;ima=0.000,3.150mm)的點陣;143:視場(obj=0.0000,0.1500mm;ima=0.000,5.354mm)的點陣;144:視場(obj=0.0000,0.2500mm;ima=0.000,5.914mm)的點陣;145:視場(obj=0.2500,0.0000mm;ima=1.383,4.532mm)的點陣;146:視場(obj=-0.2500,0.0000mm;ima=-1.383,4.532mm)的點陣;147:視場(obj=0.1500,0.0000mm;ima=0.823,4.532mm)的點陣;148:視場(obj=-0.1500,0.0000mm;ima=-0.823,4.532mm)的點陣。
具體實施方式
下面參照附圖來描述本發(fā)明的優(yōu)選實施方式。本領(lǐng)域技術(shù)人員應(yīng)當理解的是,這些實施方式僅僅用于解釋本發(fā)明的技術(shù)原理,并非旨在限制本發(fā)明的保護范圍。
光場顯微鏡lfm采用微透鏡陣列可以得到的不同視角的子圖像,但這些子圖像的空間分辨率受到微透鏡陣列中微透鏡單元的個數(shù)限制,不能得到兼具高空間分辨率和大景深的顯微圖像。本發(fā)明利用高分辨率的圖像采集裝置,如圖像傳感器,采集不同視角的子圖像,然后將這些子圖像分別映射為高分辨率的子圖像,最后對高分辨率的子圖像進行三維重構(gòu),得到高分辨率的的顯微圖像。為了方便描述,本發(fā)明實施例中將通過顯微鏡對樣本曝光得到的圖像描述為顯微圖像。
下面結(jié)合附圖,對本發(fā)明實施例提供的顯微圖像的顯示方法進行說明。
圖1示例性示出了本實施例中顯微圖像的顯示方法設(shè)施流程,如圖所示,本實施例中可以按照下述步驟對顯微圖像進行顯示,具體可以包括:
步驟s101:采集經(jīng)顯微鏡對樣本曝光得到的多個不同視角的低分辨率樣本圖像。本實施例中可以采用圖像采集裝置,如圖像傳感器,采集顯微鏡對樣本曝光得到的多個不同視角的圖像,這些圖像為低分辨率樣本圖像。
步驟s102:依據(jù)各低分辨率樣本圖像的視差偏移量,依次將各低分辨率樣本圖像映射到與各自的視差偏移量對應(yīng)的高分辨率網(wǎng)格圖上,進而得到多個不同視角的高分辨率樣本圖像。
其中,視差偏移量指的是在多個低分辨率樣本圖像中,以一個低分辨率樣本圖像為參照圖,其余各低分辨率樣本圖像的視差與參照圖的視差的偏移量。本實施例中可以按照下述步驟計算低分辨率樣本圖像的視差偏移量,具體可以包括:首先對低分辨率樣本圖像進行預處理,可以包括:對多個不同視角的低分辨率樣本圖像進行圖像分割,得到各個單獨的低分辨率樣本圖像。然后對各個單獨的低分辨率樣本圖像進行反畸變和去燥等處理。最后采用光流法對低分辨率樣本圖像進行運動估計,計算低分辨率樣本圖像的偏移量。
進一步地,本實施例中可以按照下述步驟將低分辨率樣本圖像映射到高分辨率網(wǎng)格圖上,具體可以包括:
1、將所有低分辨率樣本圖像中進行映射的目標圖像設(shè)定為參考圖像,參考圖像中進行映射的目標像素設(shè)定為參考點像素,參考圖像以外的低分辨率樣本圖像,即不進行映射的低分辨率樣本圖像,設(shè)定為非參考圖像。
2、獲取各非參考圖像中與參考圖像的參考點像素對應(yīng)的各對應(yīng)點像素。
3、采用局部最優(yōu)法獲取非參考圖中映射到參考圖對應(yīng)的高分辨率網(wǎng)格圖上的像素,具體方法為:
(1)計算參考點像素與各對應(yīng)點像素的rgb值偏差,并按照所述rgb值偏差由小到大的順序,選取映射到高分辨率網(wǎng)格圖上的n-1個對應(yīng)點像素。其中,n為高分辨率網(wǎng)格圖的像素數(shù)量相對于低分辨率樣本圖像的像素數(shù)量的倍數(shù),其中n<n,n為非參考圖像的總數(shù)。
(2)將參考點像素和上述n-1個對應(yīng)點像素映射到參考圖像的高分辨率網(wǎng)格圖上。本實施例中可以根據(jù)高分辨率網(wǎng)格圖的像素數(shù)量與低分辨率樣本圖像的像素數(shù)量之間的倍數(shù)確定,例如,上述步驟s101得到7幅低分辨率樣本圖像,步驟s102設(shè)定1幅幅低分辨率樣本圖像為參考圖像,其余6幅幅低分辨率樣本圖像為非參考圖像,高分辨率網(wǎng)格圖的像素數(shù)量是低分辨率樣本圖像的像素數(shù)量的4倍,則將參考點像素和對應(yīng)點像素序列中第1~3個對應(yīng)點像素映射到參考圖像的高分辨率網(wǎng)格圖上。同時,假設(shè)7幅低分辨率樣本圖像為具有20萬像素的圖像,則可以得到具有80萬像素的高分辨樣本圖像。
(3)重復執(zhí)行步驟(1)和(2),將參考圖像的所有像素均映射到高分辨率網(wǎng)格圖像,即可得到該參考圖像的高分辨率樣本圖像。
4、重復執(zhí)行上述步驟1~4,得到所有低分辨率圖像的高分辨率網(wǎng)格圖上,最后得到所有不同視角的低分辨率樣本圖像的高分辨率樣本圖像。
步驟s103:對各高分辨率樣本圖像進行三維重構(gòu),得到樣本的三維面型。本實施例中可以采用常規(guī)的三維面型重構(gòu)算法對高分辨率樣本圖像進行三維重構(gòu)。
本實施例中該顯微圖像的顯示方法得到的樣本圖像像素由采集低分辨率樣本圖像的采集裝置的分辨率和低分辨率樣本圖像的光路分辨率決定,進而能夠得到具有高空間分辨率的樣本圖像。
上述實施例中雖然將各個步驟按照上述先后次序的方式進行了描述,但是本領(lǐng)域技術(shù)人員可以理解,為了實現(xiàn)本實施例的效果,不同的步驟之間不必按照這樣的次序執(zhí)行,其可以同時(并行)執(zhí)行或以顛倒的次序執(zhí)行,這些簡單的變化都在本發(fā)明的保護范圍之內(nèi)。
基于與方法實施例相同的技術(shù)構(gòu)思,本發(fā)明實施例還提供一種顯微圖像的顯示裝置。下面結(jié)合附圖對該顯微圖像的顯示裝置進行具體說明。
本實施例中顯微圖像的顯示裝置可以包括圖像采集模塊、映射模塊和三維重構(gòu)模塊。其中,圖像采集模塊可以用于采集經(jīng)顯微鏡對樣本曝光得到的多個不同視角的低分辨率樣本圖像;映射模塊可以用于依據(jù)各低分辨率樣本圖像的視差偏移量,依次將各低分辨率樣本圖像映射到與各自的視差偏移量對應(yīng)的高分辨率網(wǎng)格圖上,進而得到多個不同視角的高分辨率樣本圖像;三維重構(gòu)模塊可以用于對各高分辨率樣本圖像進行三維重構(gòu),得到樣本的三維面型。
進一步地,本實施例中映射模塊還可以包括采集單元、計算單元和映射單元。其中,采集單元可以用于獲取各非參考圖像中與參考圖像的參考點像素對應(yīng)的各對應(yīng)點像素;計算單元可以用于計算參考點像素與各對應(yīng)點像素的rgb值偏差,并按照rgb值偏差由小到大的順序,選取映射到高分辨率網(wǎng)格圖上的n-1個對應(yīng)點像素;映射單元可以用于將參考點像素和上述n-1個對應(yīng)點像素映射到所述參考圖像的高分辨率網(wǎng)格圖上。其中,參考圖像為低分辨率樣本圖像中進行映射的目標圖像,非參考圖像為低分辨率樣本圖像中參考圖以外的圖像;參考點像素為所述參考圖像中進行映射的目標像素;n為高分辨率網(wǎng)格圖的像素數(shù)量相對于低分辨率樣本圖像的像素數(shù)量的倍數(shù)n,n<n,n為非參考圖像的總數(shù)。
上述顯微圖像的顯示裝置實施例可以用于執(zhí)行上述顯微圖像的顯示方法實施例,其技術(shù)原理、所解決的技術(shù)問題及產(chǎn)生的技術(shù)效果相似,所屬技術(shù)領(lǐng)域的技術(shù)人員可以清楚地了解到,為描述的方便和簡潔,上述描述的顯微圖像的顯示的具體工作過程及有關(guān)說明,可以參考前述顯微圖像的顯示方法實施例中的對應(yīng)過程,在此不再贅述。
本領(lǐng)域技術(shù)人員可以理解,上述圖像篡改取證裝置還包括一些其他公知結(jié)構(gòu),例如處理器、控制器、存儲器等,其中,存儲器包括但不限于隨機存儲器、閃存、只讀存儲器、可編程只讀存儲器、易失性存儲器、非易失性存儲器、串行存儲器、并行存儲器或寄存器等,處理器包括但不限于cpld/fpga、dsp、arm處理器、mips處理器等。
本領(lǐng)域技術(shù)人員可以理解,可以對實施例中的設(shè)備中的模塊進行自適應(yīng)性地改變并且把它們設(shè)置在與該實施例不同的一個或多個設(shè)備中??梢园褜嵤├械哪K或單元或組件組合成一個模塊或單元或組件,以及此外可以把它們分成多個子模塊或子單元或子組件。除了這樣的特征和/或過程或者單元中的至少一些是相互排斥之外,可以采用任何組合對本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的所有特征以及如此公開的任何方法或者設(shè)備的所有過程或單元進行組合。除非另外明確陳述,本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的每個特征可以由提供相同、等同或相似目的的替代特征來代替。
基于上述顯微圖像的顯示方法和顯示裝置,本發(fā)明實施例還提供了一種成像系統(tǒng),該成像系統(tǒng)可以包括常規(guī)顯微鏡,如常規(guī)的光學顯微鏡,透鏡陣列以及上述顯微圖像的顯示裝置。透鏡陣列可以包括按照預設(shè)排布方式排列的多個透鏡,從而可以對常規(guī)顯微鏡對樣本曝光后的圖像進行分割得到多個不同視角的低分辨率樣本圖像,最后通過上述顯微圖像的顯示裝置對低分辨率樣本圖像進行采集、映射和三維重構(gòu),得到高分辨率的樣本三維面型。
下面結(jié)合附圖,對本實施例中包括上述顯示裝置的成像系統(tǒng)進行具體說明。
圖2示例性示出了本實施例中成像系統(tǒng)的結(jié)構(gòu),如圖所示,本實施例中成像系統(tǒng)可以包括顯微鏡10、光闌放大模塊20和透鏡陣列模塊30。其中,顯微鏡10的光軸、光闌放大模塊20的光軸和透鏡陣列模塊30的中心處于同一光軸上。本實施例中圖像傳感器40和圖像處理器50構(gòu)成上述顯微圖像的顯示裝置技術(shù)方案中所述的顯示裝置。
其中,光闌放大模塊20可以設(shè)置在經(jīng)顯微鏡10得到的樣本的中間成像面處,用于對10顯微鏡的物鏡光闌產(chǎn)生的共軛像進行放大,形成共軛光闌面。透鏡陣列模塊30可以設(shè)置在共軛光闌面處,共軛光闌面經(jīng)透鏡陣列模塊30的多個透鏡,形成多個子孔徑,從而可以獲取多個不同視角的低分辨率樣本圖像。本實施例中光闌放大模塊20形成的共軛光闌面應(yīng)當能夠覆蓋整個透鏡陣列模塊30。
圖3示例性示出了本實施例中成像系統(tǒng)的光路,如圖所示,本實施例中光源對樣本101照射后的光波依次經(jīng)過物鏡102、中繼鏡103、光闌放大模塊20和透鏡陣列模塊30,最后達到圖像處理傳感器40。
其中,透鏡陣列模塊30包括多個透鏡,這些透鏡可以按照多種不同的排布方式排布,經(jīng)過各透鏡形成的低分辨率樣本圖像的分辨率不會因透鏡陣列排布方式而改變。同時,當改變透鏡陣列模塊30中透鏡的光焦度后,可以轉(zhuǎn)換顯微鏡10的物鏡102,以保證成像系統(tǒng)可以對樣本進行高分辨圖像顯示。
本實施例中透鏡陣列模塊30可以包括按照蜂窩狀態(tài)排布的多個透鏡,也可以包括按照nm×nm陣列式排布的多個透鏡,其中,透鏡陣列模塊30包含的透鏡數(shù)量不少于7個,因此nm≥3。
圖4示例性示出了本實施例中透鏡陣列模塊30的結(jié)構(gòu),如圖所示,透鏡陣列模塊設(shè)置在中間成像面33處,其中,3×3陣列式透鏡陣列模塊包括9個按照3×3排布的透鏡,蜂窩狀透鏡陣列模塊32包括7個按照蜂窩狀排布的透鏡。
進一步地,本實施例中成像系統(tǒng)還可以包括下述結(jié)構(gòu),具體為:本實施例中透鏡陣列模塊30包括按照nm×nm陣列式排布的多個透鏡時,透鏡數(shù)量越多則低分辨率樣本圖像的分辨越大,相反的低分辨率樣本圖像的橫向分辨率會越低。因此,本實施例中成像系統(tǒng)還可以包括一個用于確定nm×nm陣列式的數(shù)值nm的確定模塊,依據(jù)該確定模塊計算結(jié)果的最大值確定數(shù)值nm的取值。
其中,確定模塊包括如下式(1)所示的確定模型:
其中,p為顯示裝置中圖像采集模塊采集到的低分辨率樣本圖像的單個像素值,即本實施例中圖像傳感器40采集到的低分辨率樣本圖像的單個像素值;m為顯微鏡10的放大倍數(shù);naobjective為顯微鏡10中物鏡102的數(shù)值孔徑;λ為光波長。
進一步地,本實施例中透鏡陣列模30和光闌放大模塊20可以采用膠合透鏡,用于矯正成像系統(tǒng)的軸向色差。其中,膠合透鏡可以包括雙膠合透鏡或三膠合透鏡。
本實施例中成像系統(tǒng)的空間分辨率直接由經(jīng)過透鏡陣列模塊30形成的低分辨率樣本圖像的分辨率決定,圖像傳感器40的分辨率越高則采集到低分辨率樣本圖像的分辨率越高,進而可以得到更高的高分辨率樣本圖像。同時,采用高分辨率的圖像傳感器40采集低分辨率樣本圖像,也使得成像系統(tǒng)具有較高的容差,例如,光闌放大模塊20可以設(shè)置在經(jīng)顯微鏡10得到的樣本的中間成像面前后2mm的范圍內(nèi)。
上述圖像傳感器40和圖像處理器50構(gòu)成上述技術(shù)方案所述的顯微圖像的顯示裝置,可以用于執(zhí)行上述顯微圖像的顯示方法實施例,其技術(shù)原理、所解決的技術(shù)問題及產(chǎn)生的技術(shù)效果相似,所屬技術(shù)領(lǐng)域的技術(shù)人員可以清楚地了解到,為描述的方便和簡潔,上述描述的成像系統(tǒng)進行顯微圖像顯示的具體工作過程及有關(guān)說明,可以參考前述顯微圖像的顯示方法和裝置實施例中的對應(yīng)過程,在此不再贅述。
優(yōu)選的,本發(fā)明提供了一種成像系統(tǒng)的優(yōu)選實施方案,下面結(jié)合附圖對其進行具體說明。
本實施例中成像系統(tǒng)結(jié)構(gòu)如圖1所示,其中,顯微鏡10的物鏡102為20倍物鏡,數(shù)值孔徑為naobjective=0.4,光闌放大模塊20包括7個按照蜂窩狀排布的透鏡,各透鏡采用焦距為175mm的膠合透鏡。圖像傳感器40的像素尺寸為9μm×9μm,該像素尺寸對應(yīng)的空間分辨率為56lp/mm。對成像系統(tǒng)進行光路校準后,在zemax光學軟件中對成像系統(tǒng)進行仿真和像質(zhì)分析,同時,在經(jīng)光闌放大模塊20得到的7個光路中,除了中間光路外,其余6個光路由于是對稱排布的,因此各成像質(zhì)量也是相似的。本實施例中為了簡潔描述,將中間光路所在的視場描述為中心視點,其余6個光路所在的視場描述為分視點,同時為了簡潔描述像質(zhì)分析的過程,僅對中心視點和一個分視點進行像質(zhì)分析,具體包括:
1、像方曲線分析
圖5示例性示出了本實施例中一種中心視點的像方mtf曲線,如圖所示,本實施例中成像系統(tǒng)的截止頻率為84lp/mm,該截止頻率可以反映該成像系統(tǒng)在衍射極限下的橫向分辨能力。其中,曲線60為衍射極限曲線,曲線61指的是視場條件為ts=(0.0000,0.0000mm)時的mtf曲線,曲線62指的是視場條件為ts=(0.0000,0.2750mm)時的mtf曲線,曲線63指的是視場條件為ts=(0.0000,0.4000mm)時的mtf曲線,曲線64指的是視場條件為ts=(0.0000,0.4700mm)時的mtf曲線,曲線65指的是視場條件為ts=(0.0000,0.5500mm)時的mtf曲線,曲線66指的是視場條件為ts=(0.0000,-0.2750mm)時的mtf曲線,曲線67指的是視場條件為ts=(0.0000,-0.4000mm)時的mtf曲線,曲線68指的是視場條件為ts=(0.0000,-0.4700mm)時的mtf曲線,曲線69指的是視場條件為ts=(0.0000,-0.5500mm)時的mtf曲線。依據(jù)圖5可以確定,本實施例中成像系統(tǒng)的中心視點在上述9種視場條件下,其mtf值均接近衍射極限,說明該成像系統(tǒng)具有較高的橫向分辨率。
圖6示例性示出了本實施例中一種分視點的像方mtf曲線,如圖所示,本實施例中成像系統(tǒng)的截止頻率為84lp/mm,該截止頻率可以反映該成像系統(tǒng)在衍射極限下的橫向分辨能力。其中,曲線70為衍射極限,曲線71指的是視場條件為:s=(0.0000,0.0000mm)時的mtf曲線,曲線72指的是視場條件為ts=(0.0000,0.2750mm)時的mtf曲線,曲線73指的是視場條件為ts=(0.0000,0.4000mm)時的mtf曲線,曲線74指的是視場條件為ts=(0.0000,0.4700mm)時的mtf曲線,曲線75指的是視場條件為ts=(0.0000,0.5500mm)時的mtf曲線,曲線76指的是視場條件為ts=(0.0000,-0.2750mm)時的mtf曲線,曲線77指的是視場條件為ts=(0.0000,-0.4000mm)時的mtf曲線,曲線78指的是視場條件為ts=(0.0000,-0.4700mm)時的mtf曲線,曲線79指的是視場條件為ts=(0.0000,-0.5500mm)時的mtf曲線。依據(jù)圖6可以確定,本實施例中成像系統(tǒng)的中心視點在上述9種視場條件下,其mtf值均接近衍射極限,說明該成像系統(tǒng)具有較高的橫向分辨率。
由前述可知,本實施例中成像系統(tǒng)的空間分辨率直接由圖像傳感器40的分辨率決定,而圖像傳感器40的空間分辨率為56lp/mm,通過圖4和5可以得到,中心點和分視點在空間分辨率為56lp/mm時的模量均大于0.1,非常接近衍射極限,因此可以確定該成像系統(tǒng)得到的高分辨率樣本圖像的所有像差都得到了較好的矯正。
2、點陣圖分析
圖7示例性示出了本實施例中一種中心視點的像方點陣,如圖所示,本實施例中在9個不同視場條件下中心視點的rms半徑均不大于5.82μm,而圖像傳感器40的像素尺寸為9μm×9μm,中心視點的成像點尺寸小于圖像傳感器40的像素尺寸。其中,點陣80指的是視場條件為(obj=0.0000,0.0000mm;ima=0.000,0.000mm)時中心視點的點陣,點陣81指的是視場條件為(obj=0.0000,0.2750mm;ima=0.000,1.157mm)時中心視點的點陣,點陣82指的是視場條件為(obj=0.0000,0.4000mm;ima=0.000,1.688mm)時中心視點的點陣,點陣83指的是視場條件為(obj=0.0000,0.4700mm;ima=0.000,1.988mm)時中心視點的點陣,點陣84為視場條件為(obj=0.0000,0.5500mm;ima=0.000,2.333mm)時中心視點的點陣,點陣85指的是視場條件為(obj=0.0000,-0.2750mm;ima=0.000,-1.157mm)時中心視點的點陣,點陣86指的是視場條件為(obj=0.0000,-0.4000mm;ima=0.000,-1.688mm)時中心視點的點陣,點陣87指的是視場條件為(obj=0.0000,-0.4700mm;ima=0.000,-1.988mm)時中心視點的點陣,點陣88指的是視場條件為(obj=0.0000,-5500mm;ima=0.000,-2.333mm)時中心視點的點陣。
圖8示例性示出了本實施例中一種分視點的像方點陣,如圖所示,本實施例中在9個不同視場條件下分視點的rms半徑均不大于6.11μm,而圖像傳感器40的像素尺寸為9μm×9μm,中心視點的成像點尺寸小于圖像傳感器40的像素尺寸。其中,點陣90指的是視場條件為(obj=0.0000,0.0000mm;ima=0.000,4.829mm)時分視點的點陣,點陣91指的是視場條件為(obj=0.0000,0.2750mm;ima=0.000,5.987mm)時分視點的點陣,點陣92指的是視場條件為(obj=0.0000,0.4000mm;ima=0.000,6.518mm)時分視點的點陣,點陣93指的是視場條件為(obj=0.0000,0.4700mm;ima=0.000,6.818mm)時分視點的點陣,點陣94指的是視場條件為(obj=0.0000,0.5500mm;ima=0.000,7.164mm)時分視點的點陣;點陣95指的是視場條件為(obj=0.0000,-0.2750mm;ima=0.000,3.671mm)時分視點的點陣,點陣96指的是視場條件為(obj=0.0000,-0.4000mm;ima=0.000,3.140mm)時分視點的點陣,點陣97指的是視場條件為(obj=0.0000,-0.4700mm;ima=0.000,2.840mm)時分視點的點陣,點陣98指的是視場條件為(obj=0.0000,-5500mm;ima=0.000,2.493mm)時分視點的點陣。
3、分辨率分析
本實施例中分辨率分析可以包括成像系統(tǒng)的光學分辨能力、橫向分辨率和軸向分辨率,具體包括:
本實施例中可以按照下式(2)計算成像系統(tǒng)的光學分辨能力rlimit,具體為:
其中,λ為光波長,naobjective為顯微鏡10中物鏡102的數(shù)值孔徑,na=naobjective/nm為成像系統(tǒng)中經(jīng)透鏡陣列模塊30的多個透鏡形成的多個視點的數(shù)值孔徑。本實施例中設(shè)定na=naobjective/3,λ=555nm,則可以計算得到成像系統(tǒng)的光學分辨能力rlimit≈2.54μm。
本實施例中可以按照下式(3)計算成像系統(tǒng)的橫向分辨率rf,具體為:
其中,m為本實施例中成像系統(tǒng)的放大倍數(shù),可以通過采集微米尺的圖像測量得到,本實施例中采集微米尺的圖像測量得到的放大倍數(shù)m=4.3,測量得到圖像傳感器40的單個像素p=9μm在該成像系統(tǒng)最終得到的顯示圖像的物平面的可分辨尺寸為2.09μm,因此可以計算得到該成像系統(tǒng)的橫向分辨率rf=4.18μm。同時,依據(jù)公式(1)還可以計算得到該成像系統(tǒng)中透鏡陣列模塊30包含的透鏡數(shù)量最大值為5,即本實施例中透鏡陣列模塊30可以包括按照3×3陣列式排布的9個透鏡,或者按照4×4陣列式排布的16個透鏡,或者按照5×5陣列式排布的25個透鏡。
本實施例中以重聚焦的最小步長表示軸向分辨率,可以按照下式(4)計算成像系統(tǒng)的軸向分辨率δz,具體為:
其中,δx為圖像傳感器40采集的圖像的單個像素值,即δx=9μm,可以計算得到該成像系統(tǒng)的軸向分辨率δz=4.8μm。
進一步地,對成像系統(tǒng)進行光路校準后,對該成像系統(tǒng)和常規(guī)顯微鏡進行對比試驗,具體包括:
1、采用成像系統(tǒng)和常規(guī)顯微鏡分別對美標分辨率板usaf1951進行圖像顯示。本實施例中以步長為10μm來逐步地提高對焦面的位置,采集分辨率板在每個位置處的光場圖像。
圖9示例性示出了本實施例中成像系統(tǒng)采集美標usaf1951分辨率板的結(jié)果,如圖所示,圖9分別示出了步長為0μm、20μm、40μm、60μm、80μm和100μm時分辨率板的顯示圖像;圖10示例性示出了本實施例中常規(guī)顯微鏡采集美標usaf1951的結(jié)果,如圖所示,圖10分別示出了步長為0μm、20μm、40μm、60μm、80μm和100μm時分辨率板的顯示圖像;圖11示例性示出了本實施例中成像系統(tǒng)與常規(guī)顯微鏡采集美標usaf1951的歸一化對比示意圖。如圖9所示,本實施例中成像系統(tǒng)可分辨率最小線寬為美標usaf1951分辨率板的第6.6組條帶。圖11中上側(cè)的曲線為成像系統(tǒng)的歸一化曲線,下側(cè)的曲線為常規(guī)顯微鏡的歸一化曲線,如圖11所示,本實施例中成像系統(tǒng)的景深值相對于常規(guī)顯微鏡的景深值有很大的提高。其中,成像系統(tǒng)的景深值約為100μm×2=200μm。
2、采用成像系統(tǒng)對美標分辨率板usaf1951進行圖像顯示后,分別對美標分辨率板usaf1951的顯示圖像和原始圖像進行分辨率分析。
圖12示例性示出了本實施例中美標usaf1951分辨率板的顯示圖像及其原始圖像示意圖,如圖所示,左側(cè)圖像為美標usaf1951分辨率板的原始圖像,右側(cè)圖像為美標usaf1951分辨率板的顯示圖像。
圖13示例性示出了本實施例中美標usaf1951分辨率板的顯示圖像及其原始圖的橫向分辨率對比示意圖,如圖所示,相較于美標usaf1951分辨率板的原始圖像,顯示圖像的第7.5組條帶的平均對比度值達到了0.2以上,表明實施例的成像系統(tǒng)的顯示圖象的橫向分辨率可達2.46μm。
3、采用成像系統(tǒng)對蝴蝶翅膀進行圖像顯示。
圖18示例性示出了本實施例中7個視點的低分辨率蝴蝶翅膀圖像,其中左側(cè)圖像為1個視點的低分辨率蝴蝶翅膀圖像;圖19示例性示出了圖18左側(cè)圖像中1個視點的低分辨率蝴蝶翅膀圖像上虛線框所包圍部分高分辨率蝴蝶翅膀圖像和低分辨率蝴蝶翅膀圖像,其中左側(cè)圖像為高分辨率圖像,右側(cè)圖像為低分辨率圖像;圖20示例性示出了對圖18左側(cè)圖像進行重聚焦后得到的蝴蝶翅膀圖像,聚焦在蝴蝶翅膀右邊溝壑所在的平面,其上下組織變的模糊;圖21示例性示出了圖20所示蝴蝶翅膀圖像的深度圖像;圖22示例性示出了三維重構(gòu)后得到的蝴蝶翅膀圖像。本實施例中經(jīng)透鏡陣列模塊30得到的7個低分辨率蝴蝶翅膀圖像的空間分辨率為520×520,經(jīng)圖像處理器50得到的高分辨率蝴蝶翅膀圖像的像素為1040×1040,可見采用該成像系統(tǒng)得到的蝴蝶翅膀圖像清晰度更高。
4、采用成像系統(tǒng)對微型電容進行圖像顯示,并依據(jù)圖像處理器50得到微型處理器的三維面型對其進行尺寸標定。
圖23示例性示出了本實施例中7個視點的低分辨率微型電容圖像,圖24示例性示出了本實施例中三維重構(gòu)后的微型電容圖像,本實施例中微型電容的原封裝尺寸(長×寬×高)為400μm×200μm×200μm,對三維面型進行測量得到其尺寸(長×寬×高)為415μm×205μm×100μm,可見本實施例中成像系統(tǒng)可以高分辨率、清晰的進行三維圖像顯示。
優(yōu)選的,本發(fā)明提供了另一種成像系統(tǒng)的優(yōu)選實施方案,下面結(jié)合附圖對其進行具體說明。
本實施例中成像系統(tǒng)結(jié)構(gòu)如圖1所示,其中,顯微鏡10的物鏡102為40倍物鏡,數(shù)值孔徑為naobjective=0.65,光闌放大模塊20包括7個按照蜂窩狀排布的透鏡,各透鏡采用焦距為200mm的膠合透鏡。圖像傳感器40的像素尺寸為9μm×9μm,該像素尺寸對應(yīng)的空間分辨率為56lp/mm。對成像系統(tǒng)進行光路校準后,在zemax光學軟件中對成像系統(tǒng)進行仿真和像質(zhì)分析,同時,在經(jīng)光闌放大模塊20得到的7個光路中,除了中間光路外,其余6個光路由于是對稱排布的,因此各成像質(zhì)量也是相似的。本實施例中為了簡潔描述,將中間光路所在的視場描述為中心視點,其余6個光路所在的視場描述為分視點,同時為了簡潔描述像質(zhì)分析的過程,僅對中心視點和一個分視點進行像質(zhì)分析,具體包括:
1、像方曲線分析
圖14示例性示出了本實施例中一種中心視點的像方mtf曲線,如圖所示,本實施例中成像系統(tǒng)的截止頻率為90lp/mm,該截止頻率可以反映該成像系統(tǒng)在衍射極限下的橫向分辨能力。其中,曲線110指的是衍射極限,曲線111指的是視場條件為ts=(0.0000,0.0000mm)時的mtf曲線,曲線112指的是視場條件為ts=(0.0000,-0.1500mm)時的mtf曲線,曲線113指的是視場條件為ts=(0.0000,-0.2500mm)時的mtf曲線,曲線114指的是視場條件為ts=(0.0000,0.1500mm)時的mtf曲線,曲線115指的是視場條件為ts=(0.0000,0.2500mm)時的mtf曲線,曲線116指的是視場條件為ts=(0.2500,0.0000mm)時的mtf曲線,曲線117指的是視場條件為ts=(-0.2500,0.0000mm)時的mtf曲線,曲線118指的是視場條件為ts=(0.1500,0.0000mm)時的mtf曲線,曲線119指的是視場條件為ts=(-0.1500,0.0000mm)時的mtf曲線。依據(jù)圖14可以確定,本實施例中成像系統(tǒng)的中心視點在上述9種視場條件下,其mtf值均接近衍射極限,說明該成像系統(tǒng)具有較高的橫向分辨率。
圖15示例性示出了本實施例中另一種分視點的像方mtf曲線,如圖所示,本實施例中本實施例中成像系統(tǒng)的截止頻率為90lp/mm,該截止頻率可以反映該成像系統(tǒng)在衍射極限下的橫向分辨能力。其中,曲線120為衍射極限,曲線121指的是視場條件為ts=(0.0000,0.0000mm)時的mtf曲線,曲線122指的是視場條件為ts=(0.0000,-0.1500mm)時的mtf曲線,曲線123指的是視場條件為ts=(0.0000,-0.2500mm)時的mtf曲線,曲線124指的是視場條件為ts=(0.0000,0.1500mm)時的mtf曲線,曲線125指的是視場條件為ts=(0.0000,0.2500mm)時的mtf曲線,曲線126指的是視場條件為ts=(0.2500,0.0000mm)時的mtf曲線,曲線127指的是視場條件為ts=(-0.2500,0.0000mm)時的mtf曲線,曲線128指的是視場條件為ts=(0.1500,0.0000mm)時的mtf曲線,曲線129指的是視場條件為ts=(-0.1500,0.0000mm)時的mtf曲線。依據(jù)圖15可以確定,本實施例中成像系統(tǒng)的中心視點在上述9種視場條件下,其mtf值均接近衍射極限,說明該成像系統(tǒng)具有較高的橫向分辨率。
由前述可知,本實施例中成像系統(tǒng)的空間分辨率直接由圖像傳感器40的分辨率決定,而圖像傳感器40的空間分辨率為56lp/mm,通過圖14和15可以得到,中心點和分視點在空間分辨率為56lp/mm時的模量均大于0.1,非常接近衍射極限,因此可以確定該成像系統(tǒng)得到的高分辨率樣本圖像的所有像差都得到了較好的矯正。
2、點陣圖分析
圖16示例性示出了本實施例中另一種中心視點的像方點陣,如圖所示,本實施例中在9個不同視場條件下中心視點的rms半徑均不大于9.3μm,而圖像傳感器40的像素尺寸為9μm×9μm,中心視點的成像點尺寸小于圖像傳感器40的像素尺寸。其中,點陣130指的是視場條件為(obj=0.0000,0.0000mm;ima=0.000,0.000mm)時中心視點的點陣,點陣131指的是視場條件為(obj=0.0000,-0.1500mm;ima=0.000,-0.823mm)時中心視點的點陣,點陣132指的是視場條件為(obj=0.0000,-0.2500mm;ima=0.000,-1.383mm)時中心視點的點陣,點陣133指的是視場條件為(obj=0.0000,0.1500mm;ima=0.000,0.823mm)時中心視點的點陣,點陣134指的是視場條件為(obj=0.0000,0.2500mm;ima=0.000,1.383mm)時中心視點的點陣,點陣135指的是視場條件為(obj=0.2500,0.0000mm;ima=1.383,0.000mm)時中心視點的點陣,點陣136指的是視場條件為(obj=-0.2500,0.0000mm;ima=-1.383,0.00mm)時中心視點的點陣,點陣137指的是視場條件為(obj=0.1500,0.0000mm;ima=0.823,0.000mm)時中心視點的點陣,點陣138指的是視場條件為(obj=-0.1500,0.0000mm;ima=-0.823,0.000mm)時中心視點的點陣。
圖17示例性示出了本實施例中另一種分視點的像方點陣,如圖所示,本實施例中在9個不同視場條件下中心視點的rms半徑均不大于9.61μm,而圖像傳感器40的像素尺寸為9μm×9μm,中心視點的成像點尺寸小于圖像傳感器40的像素尺寸。其中,點陣140指的是視場條件為(obj=0.0000,0.0000mm;ima=0.000,4.532mm)時分視點的點陣,點陣141指的是視場條件為(obj=0.0000,-0.1500mm;ima=0.000,3.710mm)時分視點的點陣,點陣142指的是視場條件為(obj=0.0000,-0.2500mm;ima=0.000,3.150mm)時分視點的點陣,點陣143指的是視場條件為(obj=0.0000,0.1500mm;ima=0.000,5.354mm)時分視點的點陣,點陣144指的是視場條件為(obj=0.0000,0.2500mm;ima=0.000,5.914mm)時分視點的點陣,點陣145指的是視場條件為(obj=0.2500,0.0000mm;ima=1.383,4.532mm)時分視點的點陣,點陣146指的是視場條件為(obj=-0.2500,0.0000mm;ima=-1.383,4.532mm)時分視點的點陣,點陣147指的是視場條件為(obj=0.1500,0.0000mm;ima=0.823,4.532mm)時分視點的點陣,點陣148指的是視場條件為(obj=-0.1500,0.0000mm;ima=-0.823,4.532mm)時分視點的點陣。
3、分辨率分析
本實施例中依據(jù)公式(2)可以計算得到該成像系統(tǒng)的光學分辨能力rlimit≈1.56μm。采集微米尺的圖像測量得到的放大倍數(shù)m=6.5,測量得到圖像傳感器40的單個像素p=9μm對應(yīng)在該成像系統(tǒng)最終得到的顯示圖像的物平面的可分辨尺寸為1.49μm,因此依據(jù)公式(3)可以計算得到該成像系統(tǒng)的橫向分辨率rf=2.78μm。依據(jù)公式(4)可以計算得到該成像系統(tǒng)的軸向分辨率δz=1.63μm。
4、采用成像系統(tǒng)對400國標分辨率板進行圖像顯示。
本實施例中并以4μm為步長逐步提高對焦面的位置,采集分辨率板在每個位置處的光場圖像。
圖25示例性示出了本實施例中400國標分辨率板a型的結(jié)果,如圖所示,圖25分別示出了步長為0μm、8μm、16μm和24μm時分辨率板的顯示圖像,本實施例中成像系統(tǒng)可分辨率最小線寬為400國標分辨率板a型的第17組條帶,即1.98μm。同時,可以得到成像系統(tǒng)的景深值約為50μm。
5、采用成像系統(tǒng)對蝴蝶觸角進行圖像顯示。
圖26示例性示出了本實施例中7個視點的低分辨率蝴蝶觸角圖像;圖27示例性示出了本實施例中中心視點的低分辨率蝴蝶觸角圖像;圖28示例性示出了本實施例中中心視點的低分辨率蝴蝶觸角圖像和高分辨率蝴蝶觸角圖像,其中上側(cè)的圖像為高分辨率圖像,下側(cè)圖像為低分辨率圖像;圖29示例性示出了本實施例中三維重構(gòu)后的蝴蝶觸角圖像。本實施例中經(jīng)透鏡陣列模塊30得到的7個低分辨率蝴蝶觸角圖像的空間分辨率為520×520,經(jīng)圖像處理器50得到的高分辨率蝴蝶觸角圖像的像素為1040×1040,可見采用該成像系統(tǒng)得到的蝴蝶觸角圖像清晰度更高。
綜上所述,本實施例提供的成像系統(tǒng)能夠?qū)颖具M行非侵入式的圖像采集得到樣本的瞬時圖像,并可以得到兼具高空間分辨率和大景深的顯示圖像。
此外,本領(lǐng)域的技術(shù)人員能夠理解,盡管在此所述的一些實施例包括其它實施例中所包括的某些特征而不是其它特征,但是不同實施例的特征的組合意味著處于本發(fā)明的范圍之內(nèi)并且形成不同的實施例。例如,在下面的權(quán)利要求書中,所要求保護的實施例的任意之一都可以以任意的組合方式來使用。
本發(fā)明的各個部件實施例可以以硬件實現(xiàn),或者以在一個或者多個處理器上運行的軟件模塊實現(xiàn),或者以它們的組合實現(xiàn)。本領(lǐng)域的技術(shù)人員應(yīng)當理解,可以在實踐中使用微處理器或者數(shù)字信號處理器(dsp)來實現(xiàn)根據(jù)本發(fā)明實施例的服務(wù)器、客戶端中的一些或者全部部件的一些或者全部功能。本發(fā)明還可以實現(xiàn)為用于執(zhí)行這里所描述的方法的一部分或者全部的設(shè)備或者裝置程序(例如,pc程序和pc程序產(chǎn)品)。這樣的實現(xiàn)本發(fā)明的程序可以存儲在pc可讀介質(zhì)上,或者可以具有一個或者多個信號的形式。這樣的信號可以從因特網(wǎng)網(wǎng)站上下載得到,或者在載體信號上提供,或者以任何其他形式提供。
應(yīng)該注意的是上述實施例對本發(fā)明進行說明而不是對本發(fā)明進行限制,并且本領(lǐng)域技術(shù)人員在不脫離所附權(quán)利要求的范圍的情況下可設(shè)計出替換實施例。在權(quán)利要求中,不應(yīng)將位于括號之間的任何參考符號構(gòu)造成對權(quán)利要求的限制。單詞“包含”不排除存在未列在權(quán)利要求中的元件或步驟。位于元件之前的單詞“一”或“一個”不排除存在多個這樣的元件。本發(fā)明可以借助于包括有若干不同元件的硬件以及借助于適當編程的pc來實現(xiàn)。在列舉了若干裝置的單元權(quán)利要求中,這些裝置中的若干個可以是通過同一個硬件項來具體體現(xiàn)。單詞第一、第二、以及第三等的使用不表示任何順序。可將這些單詞解釋為名稱。
至此,已經(jīng)結(jié)合附圖所示的優(yōu)選實施方式描述了本發(fā)明的技術(shù)方案,但是,本領(lǐng)域技術(shù)人員容易理解的是,本發(fā)明的保護范圍顯然不局限于這些具體實施方式。在不偏離本發(fā)明的原理的前提下,本領(lǐng)域技術(shù)人員可以對相關(guān)技術(shù)特征作出等同的更改或替換,這些更改或替換之后的技術(shù)方案都將落入本發(fā)明的保護范圍之內(nèi)。