專利名稱：顯微視覺(jué)下多焦面物體成像的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺(jué)及圖像處理領(lǐng)域，尤其涉及一種顯微視覺(jué)下多焦面物體成像的方法。
背景技術(shù)：
在對(duì)微小物體進(jìn)行視覺(jué)檢測(cè)時(shí)，由于微小物體的深度遠(yuǎn)遠(yuǎn)大于顯微相機(jī)的景深，從而導(dǎo)致通過(guò)顯微相機(jī)的一次聚焦無(wú)法得到整個(gè)物體的清晰圖像。現(xiàn)有的多焦面圖像融合方法大多是采用小波變換的方法。該方法在多焦面圖像融合上有著較好的效果，但是沒(méi)有給出獲取物體在三維空間的深度信息的方法。

發(fā)明內(nèi)容
(一 )要解決的技術(shù)問(wèn)題為解決上述的一個(gè)或多個(gè)問(wèn)題，本發(fā)明提供了一種顯微視覺(jué)下多焦面物體成像的方法，以得到物體在三維空間的深度信息。( 二 )技術(shù)方案根據(jù)本發(fā)明的一個(gè)方面，提供了一種顯微視覺(jué)下多焦面物體成像的方法，包括將相機(jī)沿著主光軸方向移動(dòng)，采集若干幅多焦面物體的圖像，構(gòu)成圖像序列，該若干幅圖像記錄多焦面物體成像由模糊至清晰、再至模糊的過(guò)程；對(duì)圖像序列中的各圖像進(jìn)行校準(zhǔn)，使各圖像對(duì)應(yīng)的多焦面物體所在表面的區(qū)域相同；對(duì)圖像序列中的每一幅圖像，將其劃分為m行η列的子區(qū)域，并對(duì)每一子區(qū)域圖像進(jìn)行清晰度評(píng)價(jià)，得到每一子區(qū)域圖像的清晰度評(píng)價(jià)函數(shù)值；對(duì)于每一子區(qū)域，找出其清晰度評(píng)價(jià)函數(shù)值最大時(shí)對(duì)應(yīng)的圖像序號(hào)，得到此時(shí)相機(jī)相對(duì)物體的位置，通過(guò)相機(jī)相對(duì)物體的位置信息得到該子區(qū)域在三維空間的深度信息。(三)有益效果從上述技術(shù)方案可以看出，本發(fā)明顯微視覺(jué)下多焦面物體成像的方法具有以下有益效果(I)利用圖像序列在垂直方向上進(jìn)行相同子區(qū)域比較，能夠快速定位物體該區(qū)域的深度信息；(2)采用Sobel算子對(duì)圖像進(jìn)行清晰度評(píng)價(jià)，相比快速傅里葉變換的方法有效提高了計(jì)算速度；(3)通過(guò)物體的多焦面圖像進(jìn)行重新組合得到物體的二維圖像，圖像清晰度高，效
果顯著。


圖I為本發(fā)明實(shí)施例顯微視覺(jué)下多焦面物體成像方法的流程圖；圖2為本發(fā)明實(shí)施例顯微視覺(jué)下多焦面物體成像方法中顯微相機(jī)采集圖像過(guò)程的不意圖3為本發(fā)明實(shí)施例顯微視覺(jué)下多焦面物體成像方法中圖像校準(zhǔn)過(guò)程的示意圖；圖4為本發(fā)明實(shí)施例顯微視覺(jué)下多焦面物體成像方法中圖像劃分為m行η列子區(qū)域的不意圖；圖5Α-圖5Τ顯微相機(jī)在從初始位置開(kāi)始，采集的20幅經(jīng)過(guò)校準(zhǔn)后的圖像；圖6經(jīng)過(guò)本發(fā)明實(shí)施例顯微視覺(jué)下多焦面物體成像方法處理的物體表面的三維圖像；圖7經(jīng)過(guò)本發(fā)明實(shí)施例顯微視覺(jué)下多焦面物體成像方法處理后的二維清晰圖像；圖8經(jīng)過(guò)本發(fā)明實(shí)施例顯微視覺(jué)下多焦面物體成像方法得到的最終二維圖像。
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。需要說(shuō)明的是，在附圖或說(shuō)明書描述中，相似或相同的部分都使用相同的圖號(hào)。附圖中未繪示或描述的實(shí)現(xiàn)方式，為所屬技術(shù)領(lǐng)域中普通技術(shù)人員所知的形式。另外，雖然本文可提供包含特定值的參數(shù)的示范，但應(yīng)了解，參數(shù)無(wú)需確切等于相應(yīng)的值，而是可在可接受的誤差容限或設(shè)計(jì)約束內(nèi)近似于相應(yīng)的值。此外，以下實(shí)施例中提到的方向用語(yǔ)，例如“上”、“下”、“前”、“后”、“左”、“右”等，僅是參考附圖的方向。因此，使用的方向用語(yǔ)是用來(lái)說(shuō)明并非用來(lái)限制本發(fā)明。為了得到微小物體在三維空間的深度信息和完整清晰圖像，本發(fā)明提出一種顯微視覺(jué)下多焦面物體成像的方法。該方法利用顯微相機(jī)拍攝微小物體表面在不同焦面上的圖像，然后通過(guò)對(duì)相機(jī)與物體的位置信息及拍攝的圖像序列進(jìn)行綜合處理，獲得物體在三維空間上的深度信息及物體清晰的二維圖像。圖I為根據(jù)本發(fā)明實(shí)施例顯微視覺(jué)下多焦面物體成像方法的流程圖。如圖I所示，本實(shí)施例顯微視覺(jué)下多焦面物體成像方法包括下述步驟步驟Α，如圖2所示，將顯微相機(jī)的鏡頭與放置微小物體的載物臺(tái)平行放置。然后調(diào)節(jié)相機(jī)的位置，使相機(jī)遠(yuǎn)離物體，當(dāng)相機(jī)所成物體的像的各個(gè)區(qū)域均較模糊的時(shí)候，停止移動(dòng)相機(jī)，將此位置作為相機(jī)的初始位置。采集相機(jī)初始位置時(shí)物體的圖像。然后將相機(jī)沿著主光軸方向靠近物體，并且每次移動(dòng)的距離相同。每移動(dòng)一次便用相機(jī)采集一次物體的圖像。直到相機(jī)所成物體的像的各個(gè)區(qū)域又變得較模糊時(shí)，停止移動(dòng)相機(jī)。這樣就會(huì)得到圖像序列。圖像序列的序號(hào)分別對(duì)應(yīng)相機(jī)相對(duì)物體不同的位置；相機(jī)采集圖像過(guò)程需注意(I)微相機(jī)的鏡頭需與放置物體的載物臺(tái)平行放置；(2)盡量保證物體成像于圖像的中間部位；(3)相機(jī)在起始位置時(shí)，物體的像的各個(gè)區(qū)域均較模糊；(4)相機(jī)沿著主光軸方向靠近物體，并且每次移動(dòng)的距離相同，每次移動(dòng)的距離盡量等于相機(jī)景深的距離。步驟B，對(duì)圖像序列進(jìn)行校準(zhǔn)，校準(zhǔn)的目的是為了使序號(hào)不同的圖像中的相同區(qū)域成的像對(duì)應(yīng)相同。通過(guò)以圖像的中心為中心做矩形，圖像的中心即為矩形的中心。獲得矩形區(qū)域的圖像。在相機(jī)初始位置對(duì)應(yīng)的圖像選取的矩形要盡量包含整個(gè)物體，并且保證矩形的邊離圖像的邊有一定的距離。在相機(jī)逐漸靠近物體時(shí)，我們?cè)趫D像上選取的矩形區(qū)域中心不變，但是長(zhǎng)寬要按一定的規(guī)律增加。圖像序列中相鄰兩圖像，矩形區(qū)域長(zhǎng)寬的增加量可以用公式Ad = d2hnAz/ -(^η Δ z) ^ d2hn Δ z/d/近似計(jì)算。其中d2代表像距,(I1代表相機(jī)在起始位置時(shí)的物距，η代表相機(jī)移動(dòng)的次數(shù)，h代表物體上的點(diǎn)到光軸的垂直距離，Λ ζ代表相機(jī)每次移動(dòng)的距離。在上述參數(shù)未知或無(wú)法準(zhǔn)確測(cè)定時(shí)，長(zhǎng)寬的增加量可以采用相鄰兩幅圖像中相同圖像點(diǎn)在各自圖像中的位置坐標(biāo)來(lái)近似確定。寬的增加量可以用兩位置的橫坐標(biāo)差的絕對(duì)值的2倍近似，高的增加量可以用兩位置的縱坐標(biāo)差的絕對(duì)值的2倍近似。下面結(jié)合圖3具體說(shuō)明步驟 步驟BI，確定相機(jī)初始位置矩形區(qū)域的圖像，該矩形區(qū)域的圖像要包含整個(gè)物體，并且保證矩形的邊離原圖像的邊有一定的距離。步驟Β2，圖3中最外層的虛線框?yàn)橄鄼C(jī)采集的原圖像，最內(nèi)層的黑點(diǎn)為圖像的中心，矩形框R1為在相機(jī)初始位置拍攝的圖像上選取的矩形區(qū)域的圖像，R2為在相機(jī)沿著主光軸方向移動(dòng)一次后拍攝的圖像上選取的矩形區(qū)域，R2的長(zhǎng)寬較R1的長(zhǎng)寬都有所增加，長(zhǎng)寬的增加量可以采用相鄰兩幅圖像中相同像點(diǎn)在各自圖像中的位置不同來(lái)近似確定。例如圖3中pointl點(diǎn)在平面I (即相機(jī)位于初始位置時(shí)拍攝的圖像平面)中的位置坐標(biāo)為(x，y)，對(duì)應(yīng)在平面2 (即相機(jī)沿著靠近物體的方向移動(dòng)一次后拍攝的圖像平面)中的坐標(biāo)為, I')，則平面2中選取的矩形區(qū)域要比在平面I選取的矩形區(qū)域的寬長(zhǎng)2i =2(x' -x)個(gè)像素，平面2中選取的矩形區(qū)域要比在平面I選取的矩形區(qū)域的高長(zhǎng)2j =2(y' _y)個(gè)像素。其他圖像序列的中矩形區(qū)域采取相同的方法選取。步驟B3，將序列矩形區(qū)域的圖像按雙線性插值的方法變換成與初始位置圖像對(duì)應(yīng)的矩形區(qū)域的圖像大小相同。步驟C，將校準(zhǔn)后的每幅圖像劃分為m行η列的子區(qū)域。校準(zhǔn)后的圖像的劃分一般采用子區(qū)域面積相等的方式，也可根據(jù)物體表面情況，采用子區(qū)域面積不等的方式劃分。下面采用的是等面積劃分方法。劃分方法如圖4所示。圖4中PiQu]表示相機(jī)沿著主光軸方向移動(dòng)i-Ι次后對(duì)應(yīng)的圖像面(校準(zhǔn)后的圖像面)的第k行j列子區(qū)域。計(jì)算所有圖像平面的所有子區(qū)域的清晰度評(píng)價(jià)函數(shù)值。其中，清晰度評(píng)價(jià)函數(shù)的定義方式為I)選擇Sobel算子，其X方向圖像差分對(duì)應(yīng)的濾波器系數(shù)為[_101 ；-202 ;_101]，其I方向圖像差分對(duì)應(yīng)的濾波器系數(shù)為[-1-2-1 ；000 ；121]。2)對(duì)圖像進(jìn)行X方向圖像差分獲得差分后圖像，即用X方向圖像差分對(duì)應(yīng)的濾波器與圖像進(jìn)行卷積。3)對(duì)圖像進(jìn)行y方向圖像差分獲得差分后圖像，即用y方向圖像差分對(duì)應(yīng)的濾波器與圖像進(jìn)行卷積。4)計(jì)算差分后的兩圖像相同位置的兩像素值的平方根，得到新的圖像。5)計(jì)算新圖像中大于指定閾值的像素值的總和，將總和作為清晰度評(píng)價(jià)函數(shù)值。步驟D，相機(jī)的景深Λ L = 2Fu δ f (u-f) / [f4-F2 δ 2 (u-f)2]，u為對(duì)焦距離、f為鏡頭焦距、S為彌散圓直徑、D為光圈直徑、V為像距。由上式可知，當(dāng)相機(jī)的鏡頭焦距f、彌散圓直徑S、光圈直徑D、及景深Λ L為定值時(shí)，則對(duì)焦距離u為定值。因此我們可以通過(guò)圖像表面不同子區(qū)域的清晰度來(lái)判斷該子區(qū)域是否在此時(shí)相機(jī)的對(duì)焦平面上。下面結(jié)合圖4具體說(shuō)明物體表面不同子區(qū)域深度值的獲取過(guò)程。步驟D1，通過(guò)比較校準(zhǔn)后的圖像序列相同子區(qū)域的清晰度評(píng)價(jià)函數(shù)值，找出子區(qū)域的清晰度評(píng)價(jià)函數(shù)值最大時(shí)對(duì)應(yīng)的圖像的序號(hào)。即比較區(qū)域Pi[lu]中k，j相同而i不同時(shí)對(duì)應(yīng)的清晰度評(píng)價(jià)函數(shù)值。步驟D2，找出清晰度評(píng)價(jià)函數(shù)值最大時(shí)，對(duì)應(yīng)的i。通過(guò)圖像子區(qū)域?qū)?yīng)清晰度評(píng)價(jià)函數(shù)值最大的圖像序列的圖像序號(hào)，以及相機(jī)每移動(dòng)一次的距離，可以獲得在三維空間中物體圖像不同子區(qū)域高度相差的實(shí)際距離。例如，若區(qū)域Pm，2]清晰度評(píng)價(jià)函數(shù)值最大時(shí)，對(duì)應(yīng)的i = 15，Pi[1；9]清晰度評(píng)價(jià)函數(shù)值最大時(shí)，對(duì)應(yīng)的i = 8，則圖像中第一行第二列子區(qū)域與第一行第九列子區(qū)域在對(duì)應(yīng)到實(shí)際物體上的深度差為7 Λ z，其中Λ ζ為相機(jī)每次運(yùn)動(dòng)的實(shí)際距離。 步驟Ε，將圖像序列的清晰度評(píng)價(jià)函數(shù)值最大的子區(qū)域拼接成一幅完整圖像。步驟F，由于拼接后的圖像會(huì)產(chǎn)生子區(qū)域與子區(qū)域之間的交界處非均勻銜接問(wèn)題，因此我們對(duì)拼接后的圖像進(jìn)行均值濾波，濾波算子選為[1/9 1/9 1/9； 1/9 1/9 1/9 ； 1/91/9 1/9]，由于均值濾波會(huì)對(duì)圖像產(chǎn)生模糊效應(yīng)，因此采用直方圖均衡化的方法對(duì)均值濾波后的圖像進(jìn)行圖像增強(qiáng)處理。這樣獲得最終的清晰二維圖像。基于本發(fā)明所提供的算法，我們用橡皮擦作為測(cè)試物體。我們把橡皮擦切割成包含上下兩平面，橡皮擦兩平面之間的距離為約為3毫米，由于人工切割的原因，使得兩平面并非非常平整，會(huì)有起伏，兩平面表面貼有印有文字紋理的紙片。用顯微相機(jī)拍攝橡皮擦的圖像序列，進(jìn)行圖像融合及立體分層。下面說(shuō)明一下實(shí)施步驟第一步將橡皮擦放在載物臺(tái)，使有文字紋理的一側(cè)，正對(duì)相機(jī)。使相機(jī)遠(yuǎn)離物體，當(dāng)相機(jī)所成的物體的像的各個(gè)區(qū)域均較模糊的時(shí)候，停止移動(dòng)相機(jī)，將此位置作為相機(jī)的初始位置。采集相機(jī)初始位置時(shí)物體的圖像。然后將相機(jī)沿著主光軸方向靠近物體，每次移動(dòng)的距離為500um。每移動(dòng)一次便用相機(jī)采集一次物體的圖像。直到相機(jī)所成的物體的像的各個(gè)區(qū)域又變的較模糊時(shí)，停止移動(dòng)相機(jī)。采集的圖像經(jīng)校準(zhǔn)之后如圖5A-圖5T所示。其中圖5A為相機(jī)在初始位置時(shí)采集的圖像對(duì)應(yīng)的校準(zhǔn)圖像，圖5T為相機(jī)在終止位置時(shí)采集的圖像對(duì)應(yīng)的校準(zhǔn)圖像。第二步將校準(zhǔn)后的每幅圖像劃分為12行16列的子區(qū)域。計(jì)算所有圖像平面的所有子區(qū)域的清晰度評(píng)價(jià)函數(shù)值。第三步比較圖像序列相同子區(qū)域的清晰度評(píng)價(jià)函數(shù)值，找出子區(qū)域的清晰度評(píng)價(jià)函數(shù)值最大時(shí)對(duì)應(yīng)的圖像的序號(hào)。表I所示為各個(gè)子區(qū)域?qū)?yīng)的圖像的序列數(shù)，序號(hào)為O的圖像是相機(jī)位于初始位置時(shí)拍攝的圖像，序號(hào)為I的圖像是相機(jī)移動(dòng)一次后拍攝的圖像。
權(quán)利要求
1.一種顯微視覺(jué)下多焦面物體成像的方法，其特征在于，包括 步驟A，將相機(jī)沿著主光軸方向移動(dòng)，采集若干幅所述多焦面物體的圖像，構(gòu)成圖像序列，該若干幅圖像記錄所述多焦面物體成像由模糊至清晰、再至模糊的過(guò)程； 步驟B，對(duì)所述圖像序列中的各圖像進(jìn)行校準(zhǔn)，使各圖像對(duì)應(yīng)的多焦面物體所在表面的區(qū)域相同； 步驟C，對(duì)所述圖像序列中的每一幅圖像，將其劃分為m行η列的子區(qū)域，并對(duì)每一子區(qū)域圖像進(jìn)行清晰度評(píng)價(jià)，得到每一子區(qū)域圖像的清晰度評(píng)價(jià)函數(shù)值； 步驟D，對(duì)于每一子區(qū)域，找出其清晰度評(píng)價(jià)函數(shù)值最大時(shí)對(duì)應(yīng)的圖像序號(hào)，得到此時(shí)相機(jī)相對(duì)物體的位置，通過(guò)相機(jī)相對(duì)物體的位置信息得到該子區(qū)域在三維空間的深度信息
2.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述步驟A中，將相機(jī)以等步長(zhǎng)的方式由遠(yuǎn)及近沿主光軸方向移動(dòng)。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步長(zhǎng)等于所述相機(jī)的景深。
4.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述步驟B包括 步驟BI，以相機(jī)遠(yuǎn)離所述多焦面物體的位置為初始位置，在該初始位置對(duì)應(yīng)的圖像上選取矩形區(qū)域的初始圖像； 步驟Β2，矩形區(qū)域中心不變，以計(jì)算長(zhǎng)寬增加量的方式，對(duì)于除該初始位置外的其他位置的圖像進(jìn)行校準(zhǔn)，校準(zhǔn)后的圖像與所述初始圖像對(duì)應(yīng)的多焦面物體所在表面的區(qū)域相同。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述步驟Β2中，長(zhǎng)寬的增加量采用以下方式確定 獲取該兩相同圖像點(diǎn)在待校準(zhǔn)圖像和初始圖像上的坐標(biāo)值U丨,1')和(X，y)； 所述待校準(zhǔn)圖像相對(duì)初始圖像的寬增加值為2(x' -x)個(gè)像素；所述待校準(zhǔn)圖像相對(duì)初始圖像的高增加值為2 (y' _y)個(gè)像素。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述步驟B2之后還包括 步驟B3，將矩形區(qū)域的圖像序列按雙線性插值的方法變換成與初始位置圖像對(duì)應(yīng)的矩形區(qū)域的圖像大小相同。
7.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述步驟C中，對(duì)子區(qū)域圖像進(jìn)行清晰度評(píng)價(jià)，得到該子區(qū)域圖像的清晰度評(píng)價(jià)函數(shù)值包括 步驟Cl，選擇Sobel算子，其X方向圖像差分對(duì)應(yīng)的濾波器系數(shù)為[-101 ；-202 ;_101]，其y方向圖像差分對(duì)應(yīng)的濾波器系數(shù)為[-1-2-1 ；000 ；121]； 步驟C2，對(duì)該子區(qū)域圖像進(jìn)行X方向圖像差分獲得差分后圖像，即用X方向圖像差分對(duì)應(yīng)的濾波器與圖像進(jìn)行卷積； 步驟C3，對(duì)該子區(qū)域圖像進(jìn)行y方向圖像差分獲得差分后圖像，即用y方向圖像差分對(duì)應(yīng)的濾波器與圖像進(jìn)行卷積； 步驟C4，計(jì)算差分后的兩該子區(qū)域圖像相同位置的兩像素值的平方根，得到新的圖像； 步驟C5，計(jì)算新圖像中大于指定閾值的像素值的總和，將總和作為該子區(qū)域的清晰度評(píng)價(jià)函數(shù)值。
8.根據(jù)權(quán)利要求I所述的方法，其特征在于， 在步驟C中，以PifcJ表示相機(jī)沿著主光軸方向移動(dòng)i-Ι次后對(duì)應(yīng)的圖像面的第k行j列子區(qū)域； 在步驟D中，對(duì)于清晰度評(píng)價(jià)函數(shù)值最大時(shí)對(duì)應(yīng)的圖像序號(hào)分別為I1和i2的兩子區(qū)域，其深度差為Δ z,其中Λ ζ為相機(jī)每次運(yùn)動(dòng)的距離。
9.根據(jù)權(quán)利要求I至8中任一項(xiàng)所述的方法，其特征在于，所述步驟D之后還包括 步驟Ε，將圖像序列中清晰度評(píng)價(jià)函數(shù)值最大的子區(qū)域，拼接成一幅完整圖像。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述步驟E之后還包括 步驟F，對(duì)拼接的完整圖像進(jìn)行均值濾波和圖像增強(qiáng)處理，獲得最終的二維圖像。
全文摘要
本發(fā)明提供了一種顯微視覺(jué)下多焦面物體成像的方法，包括將相機(jī)沿著主光軸方向移動(dòng)，采集若干幅多焦面物體的圖像，構(gòu)成圖像序列，該若干幅圖像記錄多焦面物體成像由模糊至清晰、再至模糊的過(guò)程；對(duì)圖像序列中的各圖像進(jìn)行校準(zhǔn)，使各圖像對(duì)應(yīng)的多焦面物體所在表面的區(qū)域相同；對(duì)圖像序列中的每一幅圖像，將其劃分為m行n列的子區(qū)域，并對(duì)每一子區(qū)域圖像進(jìn)行清晰度評(píng)價(jià)，得到每一子區(qū)域圖像的清晰度評(píng)價(jià)函數(shù)值；對(duì)于每一子區(qū)域，找出其清晰度評(píng)價(jià)函數(shù)值最大時(shí)對(duì)應(yīng)的圖像序號(hào)，得到此時(shí)相機(jī)相對(duì)物體的位置，通過(guò)相機(jī)相對(duì)物體的位置信息得到該子區(qū)域在三維空間的深度信息。本發(fā)明能夠快速定位物體該區(qū)域的深度信息。
文檔編號(hào)G06T5/50GK102968792SQ20121042238
公開(kāi)日2013年3月13日 申請(qǐng)日期2012年10月29日 優(yōu)先權(quán)日2012年10月29日
發(fā)明者王欣剛, 徐德, 張正濤, 尹英杰, 白明然 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所