本發(fā)明涉及高清高精度顯微成像檢測技術(shù)領(lǐng)域，尤其涉及一種基于3D數(shù)字顯微成像系統(tǒng)的高動態(tài)范圍圖像成像方法。

背景技術(shù)：

多焦距3D技術(shù)(Shape from Focus，簡稱SFF)是目前數(shù)字顯微圖像處理領(lǐng)域內(nèi)常用的3D技術(shù)。由于多焦距3D技術(shù)只需要應(yīng)用傳統(tǒng)單目顯微鏡就可以獲得觀測樣本的三維形狀而得到專家學(xué)者的廣泛關(guān)注。區(qū)別于立體視覺技術(shù)利用雙目鏡頭獲得深度信息，多焦距3D技術(shù)只通過移動、觀測物體到鏡頭的距離，檢測圖像中清晰區(qū)域，從而便可以恢復(fù)重建出物體的深度信息。

但是，多焦距3D技術(shù)的主要缺陷在于當(dāng)觀測樣本存在高反光的情況時，由于采集得到的圖像的動態(tài)范圍不足而導(dǎo)致在某些區(qū)域內(nèi)圖像細(xì)節(jié)不足，甚至某些區(qū)域內(nèi)圖像沒有細(xì)節(jié)，這樣就大大影響了重建之后的物體三維形狀的準(zhǔn)確率。然而，目前許多科學(xué)研究仍然主要專注于聚焦因子對物體三維形狀重建準(zhǔn)確率的影響，卻忽略了原始圖像在動態(tài)范圍方面的質(zhì)量對物體三維形狀重建結(jié)果的影響。

為了克服所得到圖像中動態(tài)范圍不足因素的影響，高動態(tài)范圍成像技術(shù)被提出。利用高動態(tài)范圍成像技術(shù)可以得到高動態(tài)范圍圖像(High-Dynamic Range，簡稱HDR)。通過標(biāo)定，對于同一個場景的不同曝光時間的圖像進(jìn)行融合，可得到該場景的32位的高動態(tài)范圍光照譜。這些32位的光照譜圖像能夠準(zhǔn)確、真實地反映場景中的動態(tài)范圍，然后通過局部色調(diào)映射將這些32位的光照譜圖像映射到8位的普通圖像，從而便于傳統(tǒng)顯示設(shè)備顯示和保存這些8位的普通圖像。但是，由于高動態(tài)范圍成像技術(shù)的高計算復(fù)雜度，目前市面上的顯微3D重建方法在實現(xiàn)此技術(shù)方面仍然存在局限性。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是針對上述現(xiàn)有技術(shù)提供一種基于3D數(shù)字顯微成像系統(tǒng)的高動態(tài)范圍圖像成像方法。該高動態(tài)范圍圖像成像方法能夠解決現(xiàn)有圖像成像方法無法拍清高動態(tài)場景的缺陷，并且能夠同時準(zhǔn)確地生成待觀測物體的三維立體形狀，從而為觀測者提供全方位的3D立體視覺享受。

本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為：基于3D數(shù)字顯微成像系統(tǒng)的高動態(tài)范圍圖像成像方法，其特征在于，包括如下步驟：

步驟1，針對顯微鏡載物臺上的待觀測物體，通過調(diào)節(jié)載物臺的高度，并利用相機(jī)獲取自待觀測物體底部到待觀測物體頂部的每個層面的高動態(tài)多聚焦圖像，以獲得三維立體成像所需的原始高動態(tài)多聚焦序列圖像；

步驟2，采用相位匹配方法對所得原始高動態(tài)多聚焦序列圖像進(jìn)行配準(zhǔn)，以使得所述原始高動態(tài)多聚焦序列圖像中前后相連的圖像對的空間位置、縮放尺度和圖像尺寸對應(yīng)一致，從而得到配準(zhǔn)好的高動態(tài)多聚焦序列圖像；

步驟3，針對配準(zhǔn)好的高動態(tài)多聚焦序列圖像，采用背景累積的前景背景分割方法提取需要生成三維立體的觀測樣本區(qū)域；

步驟4，對所述觀測樣本區(qū)域采用四叉樹分割方法進(jìn)行分割，且檢測高動態(tài)多聚焦序列圖像的每一幅圖像中的清晰部分，并記錄每一幅圖像所對應(yīng)的高度信息；

步驟5，對檢測出來的各幅圖像中的清晰部分進(jìn)行融合，從而生成待觀測物體的三維立體形狀。

進(jìn)一步地，所述步驟1中利用相機(jī)獲取每個層面的高動態(tài)范圍圖像的過程包括：

(a)標(biāo)定相機(jī)的相應(yīng)曲線；(b)獲取對于同一場景中不同曝光值的圖像；(c)利用標(biāo)定的相機(jī)的所述相應(yīng)曲線，生成所述場景的32位的光照譜圖；(d)利用局部色調(diào)映射將所述32位的光照譜圖映射至8位的普通圖像，并保存所述普通圖像為計算機(jī)能夠顯示和儲存的格式。

進(jìn)一步地，在步驟1中，所述原始高動態(tài)多聚焦序列圖像的獲得過程包括：首先，通過移動載物臺的高度，改變待觀測物體與顯微鏡的物鏡之間的距離，實現(xiàn)單目顯微鏡不同聚焦平面圖像序列；其次，記錄每一幅聚焦平面圖像高度信息的要求；再次，對于每一幅聚焦平面圖像進(jìn)行聚焦檢測，并記錄所述每一幅聚焦平面圖像中具有最大聚焦清晰度的像素點，以用于后續(xù)的三維立體形狀重建。

具體地，在步驟2中，所述相位匹配方法對所得原始高動態(tài)多聚焦序列圖像進(jìn)行配準(zhǔn)的過程包括：

首先，在所述原始高動態(tài)多聚聚序列圖像中，針對每兩幅前后相連的各圖像對，將圖像對中的各圖像轉(zhuǎn)換為灰度圖像，從而得到灰度圖像對；

其次，采用復(fù)數(shù)帶通濾波器從轉(zhuǎn)換后的灰度圖像對中提取出各個頻段的相位信息；

再次，利用提取的所述相位信息，通過傅里葉變換實現(xiàn)所述灰度圖像對在超像素層級上的移動，以保證前后相連兩幅圖像的位置的一致性；

最后，對于原始高動態(tài)多聚焦序列圖像中的每一組圖像對，重復(fù)該過程，直到高動態(tài)多聚焦圖像序列中所有圖像的縮放尺度和位移保持一致。

具體地，所述步驟4中采用四叉樹分割方法分割觀測樣本區(qū)域的過程包括：

首先，將原始高動態(tài)多聚焦序列圖像作為四叉樹根的一層輸入到四叉樹中；

其次，設(shè)定圖像分解條件，并根據(jù)四叉樹中的各層圖像是否滿足分解條件進(jìn)行處理：

如果對于一層圖像滿足所述的圖像分解條件，則對這層圖像進(jìn)行四叉分解，并輸入到四叉樹的下一層；依次類推，直到圖像序列被分解所得的最小圖像塊都不滿足所述的圖像分解條件，則結(jié)束四叉樹分解過程；其中，設(shè)定的圖像分解條件為：

對于四叉樹中圖像序列中每一層被分解的圖像塊分別計算其聚焦因子最大差異值MDFM和梯度差異值SMDG；其中，聚焦因子最大差異值MDFM和梯度差異值SMDG的計算公式分別如下：

MDFM＝FM_max-FM_min；

其中，F(xiàn)M_max表示焦距測量的最大值，F(xiàn)M_min表示焦距測量的最小值；grad_max(x,y)表示最大梯度值，grad_min(x,y)表示最小梯度值；

針對四叉樹中的一層圖像塊，如果滿足MDFM≥0.98×SMDG，表面該層圖像序列中存在完全聚焦的圖像塊，則該層圖像塊將不會繼續(xù)向下分解；反之，該層圖像塊將會繼續(xù)分解下去，直到四叉樹中所有圖像都被分解到無法分解的子圖像塊。

具體地，所述焦距測量的最大值FM_max、焦距測量的最小值FM_min的獲取過程為：

首先，計算四叉樹根的一層圖像中每一個像素的梯度矩陣，計算公式為：

GM_i＝gradient(I_i),i＝1,2,…,n；

其中，I_i為第i個原始高動態(tài)多聚焦圖像，GM_i為與I_i相對應(yīng)的梯度矩陣；n為原始高動態(tài)多聚焦序列圖像中的圖像總個數(shù)；

其次，找到這一層圖像每一點的所有梯度矩陣中最大的梯度矩陣以及最小的梯度矩陣，公式如下：

GM_max＝max(GM_i(x,y)),i＝1,2,…,n；

GM_min＝min(GM_i(x,y)),i＝1,2,…,n；

再次，計算這一層圖像所有點的梯度矩陣之和，計算公式如下：

FM_i＝Σ_xΣ_ygrad_i(x,y),i＝1,2,…,n；

最后，分別找到上述梯度矩陣之和的最大值和最小值，計算公式如下：

FM_max＝max{FM_i},i＝1,2,…,n；

FM_min＝min{FM_i},i＝1,2,…,n。

具體地，所述步驟5中針對各幅圖像的清晰部分進(jìn)行融合的過程包括：針對所得所有的清晰部分作為清晰的子圖像塊，分別記錄其高度信息，并將所有的清晰的子圖像塊融合成一幅完整的觀測樣本的三維立體圖像。

改進(jìn)地，所述步驟5中還包括：采用中值濾波方法對生成的三維立體形狀進(jìn)行濾波，以消除三維立體形狀因采樣頻率不足而引起的鋸齒效果，從而使得生成的三維立體形成更加平滑。

與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點在于：

首先，本發(fā)明所提供的高動態(tài)范圍圖像成像方法采用了高動態(tài)范圍成像、三維立體成像和多景深圖像融合技術(shù)，同時獲取同一場景的不同曝光時間的圖像序列，生成場景的32位的光照譜圖，然后將32位的光照譜圖利用局部色調(diào)映射至8位的普通圖像，并保存成計算機(jī)能夠顯示、存儲的生成高動態(tài)范圍視頻格式，利用色調(diào)映射技術(shù)，實時顯示和傳輸高動態(tài)范圍顯微視頻，便于觀測者實時動態(tài)觀看待觀測物體；

其次，由于高動態(tài)范圍視頻技術(shù)的應(yīng)用涉及到的計算復(fù)雜度較高，本發(fā)明采用相位匹配、四叉樹分割等方法，能夠?qū)崟r處理視頻信號，生成實時顯微視頻顯示，從而降低了計算復(fù)雜度；

再次，本發(fā)明中的高動態(tài)范圍圖像成像方法可以實時高清地觀察待觀測物體，克服了目前圖像成像技術(shù)對高對比度樣本無法同時看清反光和不反光區(qū)域的缺陷；

最后，本發(fā)明的高動態(tài)范圍圖像成像方法能夠獲得由焦點各異的圖像合成的完全對焦圖像；在處理焦點各異的圖像過程中，通過自動獲取圖像中點的深度，從而恢復(fù)出圖像表面上點的三維坐標(biāo)，為新興材料質(zhì)量檢測提供強(qiáng)有力的輔助保障。

附圖說明

圖1為本發(fā)明實施例一中基于3D數(shù)字顯微成像系統(tǒng)的高動態(tài)范圍圖像成像方法流程示意圖；

圖2為本發(fā)明實施例一中3D數(shù)字顯微成像系統(tǒng)的示意圖；

圖3為實施例一中金屬螺釘所對應(yīng)的原始高動態(tài)多聚焦序列圖像；

圖4為實施例一中所獲取的金屬螺釘?shù)母邉討B(tài)范圍圖像與普通自動曝光圖像對比圖；其中，左側(cè)一列為對應(yīng)的高動態(tài)范圍圖像，右側(cè)一列為對應(yīng)的普通自動曝光圖像；

圖5為實施例一中提取前景圖像的示意圖；

圖6a為實施例一中使用高動態(tài)范圍圖像生成的沒有圖像紋理映射的3D立體圖像；

圖6b為實施例一中使用高動態(tài)范圍圖像生成的有圖像紋理映射的3D立體圖像；

圖6c為實施例一中使用原始自動曝光圖像生成的沒有圖像紋理映射的3D立體圖像；

圖6d為實施例一中使用原始自動曝光圖像生成的有圖像紋理映射的3D立體圖像；

圖6e為實施例一中沒有圖像紋理映射的3D立體圖像的真值圖；

圖6f為實施例一中有圖像紋理映射的3D立體圖像的真值圖；

圖7a為實施例二中使用高動態(tài)范圍圖像生成的沒有圖像紋理映射的3D立體圖像；

圖7b為實施例二中使用高動態(tài)范圍圖像生成的有圖像紋理映射的3D立體圖像；

圖7c為實施例二中使用原始自動曝光圖像生成的沒有圖像紋理映射的3D立體圖像；

圖7d為實施例二中使用原始自動曝光圖像生成的有圖像紋理映射的3D立體圖像；

圖7e為實施例二中沒有圖像紋理映射的3D立體圖像的真值圖；

圖7f為實施例二中有圖像紋理映射的3D立體圖像的真值圖；

圖8為實施例二中利用高動態(tài)范圍圖像生成3D立體形狀方法以及沒有使用高動態(tài)范圍圖像的平方根誤差對比圖；

圖9a為實施例三中使用高動態(tài)范圍圖像生成的沒有圖像紋理映射的3D立體圖像；

圖9b為實施例三中使用高動態(tài)范圍圖像生成的有圖像紋理映射的3D立體圖像；

圖9c為實施例三中使用原始自動曝光圖像生成的沒有圖像紋理映射的3D立體圖像；

圖9d為實施例三中使用原始自動曝光圖像生成的有圖像紋理映射的3D立體圖像；

圖9e為實施例三中沒有圖像紋理映射的3D立體圖像的真值圖；

圖9f為實施例三中有圖像紋理映射的3D立體圖像的真值圖；

圖10為高動態(tài)范圍圖像生成3D立體形狀方法以及原始自動曝光圖像生成3D立體形狀方法所生成3D立體圖像對應(yīng)的平方根誤差對比圖。

具體實施方式

以下結(jié)合附圖實施例對本發(fā)明作進(jìn)一步詳細(xì)描述。

實施例一

如圖2所示，本實施例一中所采用的3D數(shù)字顯微成像系統(tǒng)包括有傳統(tǒng)光學(xué)顯微鏡、能夠在X軸、Y軸和Z軸的任意方向上移動的自動載物臺、CMOS相機(jī)和計算機(jī)。其中，本實施例一中的待觀測物體為金屬螺釘，金屬螺釘放置在自動載物臺上。參見圖1中所示，本實施例一中基于3D數(shù)字顯微成像系統(tǒng)的高動態(tài)范圍圖像成像方法包括如下步驟：

步驟1，針對顯微鏡載物臺上的待觀測物體，即金屬螺釘，通過調(diào)節(jié)載物臺的高度，使得CMOS相機(jī)聚焦在待觀測物體的每個層面上，也就是金屬螺釘?shù)拿總€層面上，并利用相機(jī)獲取自金屬螺釘?shù)撞康浇饘俾葆旐敳康拿總€層面的高動態(tài)多聚焦圖像，以獲得三維立體成像所需的原始高動態(tài)多聚焦序列圖像；針對金屬螺釘?shù)脑几邉討B(tài)多聚焦序列圖像參見圖3所示；其中，獲取待觀測物體的高動態(tài)多聚焦圖像過程包括了高動態(tài)范圍圖像獲取和多聚焦圖像獲取兩個過程；具體地，獲取待觀測物體每個層面的高動態(tài)范圍圖像的過程包括：

(a)標(biāo)定相機(jī)的相應(yīng)曲線；(b)獲取對于同一場景中不同曝光值的圖像；(c)利用標(biāo)定的相機(jī)的相應(yīng)曲線，生成場景的32位的光照譜圖；(d)利用局部色調(diào)映射，將32位的光照譜圖映射至8位的普通圖像，并保存普通圖像為計算機(jī)能夠顯示和儲存的格式。金屬螺釘所對應(yīng)的每層的高動態(tài)范圍圖像參見圖4中的左側(cè)一列所示；

步驟2，采用相位匹配方法對所得原始高動態(tài)多聚焦序列圖像進(jìn)行配準(zhǔn)，以使得原始高動態(tài)多聚焦序列圖像中前后相連的圖像對的空間位置、縮放尺度和圖像尺寸對應(yīng)一致，從而得到配準(zhǔn)好的高動態(tài)多聚焦序列圖像；其中，相位匹配方法對所得原始高動態(tài)多聚焦序列圖像進(jìn)行配準(zhǔn)的過程包括：

首先，在原始高動態(tài)多聚聚序列圖像中，針對每兩幅前后相連的各圖像對，將圖像對中的各圖像轉(zhuǎn)換為灰度圖像，從而得到灰度圖像對；

其次，采用復(fù)數(shù)帶通濾波器從轉(zhuǎn)換后的灰度圖像對中提取出各個頻段的相位信息；

再次，利用提取的相位信息，通過傅里葉變換實現(xiàn)灰度圖像對在超像素層級上的移動，以保證前后相連兩幅圖像的位置的一致性；

最后，對于原始高動態(tài)多聚焦序列圖像中的每一組圖像對，重復(fù)該過程，直到高動態(tài)多聚焦圖像序列中所有圖像的縮放尺度和位移保持一致。

步驟3，針對配準(zhǔn)好的高動態(tài)多聚焦序列圖像，采用背景累積的前景背景分割方法提取需要生成三維立體的觀測樣本區(qū)域；參見圖5所示，即利用幀間差分，將金屬螺釘對應(yīng)的背景提取出來，然后進(jìn)行閾值分割，從而得到前景圖像；

步驟4，對觀測樣本區(qū)域采用四叉樹分割方法進(jìn)行分割，且檢測高動態(tài)多聚焦序列圖像的每一幅圖像中的清晰部分，并記錄每一幅圖像所對應(yīng)的高度信息；其中，

針對本實施例一中的四叉樹分割方法說明如下：

首先，將原始高動態(tài)多聚焦序列圖像作為四叉樹根的一層輸入到四叉樹中；

其次，設(shè)定圖像分解條件，并根據(jù)四叉樹中的各層圖像是否滿足分解條件進(jìn)行處理：

如果對于一層圖像滿足該圖像分解條件，則對這層圖像進(jìn)行四叉分解，并輸入到四叉樹的下一層；依次類推，直到圖像序列被分解所得的最小圖像塊都不滿足圖像分解條件，則結(jié)束四叉樹分解過程；其中，針對圖像分解條件說明如下：

對于四叉樹中圖像序列中每一層被分解的圖像塊分別計算其聚焦因子最大差異值MDFM和梯度差異值SMDG；其中，聚焦因子最大差異值MDFM和梯度差異值SMDG的計算公式分別如下：

MDFM＝FM_max-FM_min；

其中，F(xiàn)M_max表示焦距測量的最大值，F(xiàn)M_min表示焦距測量的最小值；grad_max(x,y)表示最大梯度值，grad_min(x,y)表示最小梯度值；針對焦距測量的最大值FM_max、焦距測量的最小值FM_min的計算情況為：

首先，計算四叉樹根的一層圖像中每一個像素的梯度矩陣，計算公式為：

GM_i＝gradient(I_i),i＝1,2,…,n；

其中，I_i為第i個原始高動態(tài)多聚焦圖像，GM_i為與I_i相對應(yīng)的梯度矩陣；n為原始高動態(tài)多聚焦序列圖像中的圖像總個數(shù)；

其次，找到這一層圖像每一點的所有梯度矩陣中最大的梯度矩陣以及最小的梯度矩陣，公式如下：

GM_max＝max(GM_i(x,y)),i＝1,2,…,n；

GM_min＝min(GM_i(x,y)),i＝1,2,…,n；

再次，計算這一層圖像所有點的梯度矩陣之和，計算公式如下：

FM_i＝Σ_x∑_ygrad_i(x,y),i＝1,2,…,n；

最后，分別找到上述梯度矩陣之和的最大值和最小值，計算公式如下：

FM_max＝max{FM_i},i＝1,2,…,n；FM_min＝min{FM_i},i＝1,2,…,n。

針對檢測高動態(tài)多聚焦序列圖像的每一幅圖像中的清晰部分過程說明如下：

對于四叉樹中每一個圖像塊序列，找到圖像塊序列中梯度矩陣最大的一個圖像塊，并記錄該具有最大梯度矩陣的圖像塊在圖像序列的位置和其高度信息；

i＝1,2,…,n；其中，fm_i(x,y)表示圖像序列中第i張圖像的梯度矩陣。

步驟5，對檢測出來的各幅圖像中的清晰部分進(jìn)行融合，從而生成待觀測物體的三維立體形狀，也就是金屬螺釘?shù)娜S立體圖像；其中，設(shè)定金屬螺釘對應(yīng)的三維立體圖像標(biāo)記為Z：

Z(x,y)＝z_i(x,y)，z_i(x,y)表示圖像序列中第i張的清晰的圖像塊。

為了將傳統(tǒng)使用原始自動曝光圖像生成3D立體形狀方法與本發(fā)明中使用高動態(tài)范圍圖像生成3D立體形狀方法進(jìn)行比較，本實施例一給出了金屬螺釘分別利用上述兩種3D立體形狀方法所生成立體圖像對應(yīng)的比較圖，具體參見圖6中所示。在本發(fā)明中，將使用原始自動曝光圖像技術(shù)記為Normal SFF，將使用高動態(tài)范圍圖像技術(shù)記為HDR-SFF。其中：

為了對比上述兩種3D立體形狀生成方法的準(zhǔn)確率，本發(fā)明實施例一通過引入平方根誤差，以衡量兩種3D立體形狀生成方法在相同條件下，與真值之間的差距：

其中，G_T(i,j)表示真值，Z(i,j)表示Normal SFF或者HDR-SFF值。

表1給出了兩種3D立體形狀生成方法在使用22種不同的聚焦因子，對應(yīng)得到的平方根誤差。通過對比表1中的結(jié)果可以看出，針對同一個聚焦因子，采用高動態(tài)范圍圖像生成的3D立體形狀對應(yīng)的聚焦因子平方根誤差值要小于沒有采用高動態(tài)范圍圖像生成的3D立體形狀對應(yīng)的聚焦因子平方根誤差值。表1中的結(jié)果表明，使用本發(fā)明中高動態(tài)范圍圖像生成的3D立體形狀比沒有使用高動態(tài)范圍圖像生成的3D立體形狀要更加準(zhǔn)確。

表1

實施例二

本實施例二中采用一種塑料材料的銀行卡作為待觀測物體，銀行卡上具有一個小寫英文字母“d”。其中，針對該銀行卡所生成其三維立體圖像的步驟與實施例一中金屬螺釘三維立體圖像的生成步驟相同，此處不再贅述。

在本實施例二中，為了驗證本發(fā)明中高動態(tài)范圍圖像成像方法的準(zhǔn)確性和魯棒性，本實施例二給出了該銀行卡所生成對應(yīng)的高動態(tài)范圍圖像，具體參見圖7a～圖7f所示。圖8為針對本實施例二中的銀行卡，利用高動態(tài)范圍圖像生成3D立體形狀方法以及沒有使用高動態(tài)范圍圖像的平方根誤差對比圖。

由圖8可以看出，針對同一個聚焦因子，采用高動態(tài)范圍圖像生成的3D立體形狀對應(yīng)的聚焦因子平方根誤差值要小于沒有采用高動態(tài)范圍圖像生成的3D立體形狀對應(yīng)的聚焦因子平方根誤差值?？梢姡褂帽景l(fā)明中高動態(tài)范圍圖像生成的3D立體形狀比沒有使用高動態(tài)范圍圖像生成的3D立體形狀要更加準(zhǔn)確。

實施例三

本實施例三中采用金屬芯片作為待觀測物體。其中，針對該金屬芯片所生成其三維立體圖像的步驟與實施例一中金屬螺釘三維立體圖像的生成步驟相同，此處不再贅述。

圖10為高動態(tài)范圍圖像生成3D立體形狀方法以及原始自動曝光圖像生成3D立體形狀方法所生成3D立體圖像對應(yīng)的平方根誤差對比圖。

由圖10可以看出，針對同一個聚焦因子，采用高動態(tài)范圍圖像生成的3D立體形狀對應(yīng)的聚焦因子平方根誤差值要小于沒有采用高動態(tài)范圍圖像生成的3D立體形狀對應(yīng)的聚焦因子平方根誤差值?？梢?，使用本發(fā)明中高動態(tài)范圍圖像生成的3D立體形狀比沒有使用高動態(tài)范圍圖像生成的3D立體形狀要更加準(zhǔn)確。