本申請要求2014年6月16日提交的美國臨時申請序號62/012,636的權(quán)益，所述美國臨時申請被整體地通過引用結(jié)合到本文中。

技術(shù)領(lǐng)域

本公開一般地涉及分析數(shù)字全息顯微術(shù)（DHM）以用于血液學(xué)應(yīng)用。本文中描述的各種系統(tǒng)、方法以及裝置可以應(yīng)用于例如紅血細(xì)胞（RBC）體積測量和白血細(xì)胞（WBC）區(qū)分（differential）（細(xì)胞類型分類）應(yīng)用。

背景技術(shù)：

數(shù)字全息顯微術(shù)（DHM）（也稱為干涉相位顯微術(shù)）是一種成像技術(shù)，其提供了定量地跟蹤透明樣品中的亞納米量級光學(xué)厚度改變的能力。不同于其中僅捕捉關(guān)于樣品的強度（振幅）信息的傳統(tǒng)數(shù)字顯微術(shù)，DHM捕捉相位和強度兩者。作為全息圖捕捉的相位信息可以用來使用計算機算法來重構(gòu)關(guān)于樣品的擴展形態(tài)信息（諸如深度和表面特性）?，F(xiàn)代的DHM實現(xiàn)提供若干附加益處，諸如快速掃描/數(shù)據(jù)獲取速度、低噪聲、高分辨率和用于無標(biāo)簽樣本獲取的潛力。

諸如體積測量和分類之類的常規(guī)細(xì)胞分析技術(shù)依賴于缺少拓?fù)湫畔⒌亩S細(xì)胞圖像。因此，雖然這些技術(shù)可以基于諸如強度之類的信息來分析細(xì)胞，但其準(zhǔn)確度由于缺少細(xì)胞的尺寸和形狀的知識而被限制。因此，期望提供適用于提供關(guān)于細(xì)胞結(jié)構(gòu)的更詳細(xì)信息的成像模式（諸如DHM）的細(xì)胞分析技術(shù)。

技術(shù)實現(xiàn)要素：

通過提供與分析數(shù)字全息顯微術(shù)（DHM）以用于血液學(xué)應(yīng)用相關(guān)的方法、系統(tǒng)以及裝置，本發(fā)明的實施例解決并克服了上面的不足和缺點中的一個或多個。另外，如在本公開中進(jìn)一步詳細(xì)地解釋的那樣，本文中描述的技術(shù)也可以應(yīng)用于其他臨床應(yīng)用。

DHM以潛在無標(biāo)記的方式用擴展深度和形態(tài)信息來實現(xiàn)高分辨率、寬視野成像的能力使本技術(shù)定位于供在若干臨床應(yīng)用中使用。例如，在血液學(xué)領(lǐng)域中，DHM可以被用于紅血細(xì)胞（RBC）體積測量、白血細(xì)胞（WBC）區(qū)分（細(xì)胞類型分類）。針對尿沉渣分析，DHM慮及掃描層中的微流體樣本以重構(gòu)沉渣（可能不等待沉淀）；提高沉渣組分的分類準(zhǔn)確度。DHM還可以通過DHM的擴展形態(tài)/對比（例如以在新鮮組織中在不標(biāo)記的情況下將癌細(xì)胞與健康細(xì)胞區(qū)別開）的利用而被用于組織病理學(xué)應(yīng)用。類似地，針對罕見細(xì)胞檢測應(yīng)用可以利用DHM的擴展形態(tài)/對比（例如，以區(qū)別罕見細(xì)胞，諸如循環(huán)腫瘤/上皮細(xì)胞、干細(xì)胞、受感染細(xì)胞等）。

根據(jù)本發(fā)明的一個方面，如在某些實施例中所述，一種用于分析數(shù)字全息顯微術(shù)（DHM）數(shù)據(jù)以用于血液學(xué)應(yīng)用的方法包括接收使用數(shù)字全息顯微術(shù)系統(tǒng)獲取的DHM圖像。在多個DHM圖像中的每個中標(biāo)識一個或多個連接分量。根據(jù)一個或多個連接分量生成一個或多個訓(xùn)練白血細(xì)胞圖像，并且使用一個或多個訓(xùn)練白血細(xì)胞圖像來訓(xùn)練分類器以標(biāo)識白血細(xì)胞類型。當(dāng)接收到新的DHM圖像時，從DHM圖像提取新的白血細(xì)胞圖像。于是然后可以將分類器應(yīng)用于新的白血細(xì)胞圖像以確定概率值，其中每個相應(yīng)的概率值對應(yīng)于白血細(xì)胞類型中的一個。然后可以在圖形用戶界面中呈現(xiàn)新的白血細(xì)胞圖像和多個概率值。在某些實施例中，可以使用該概率值來執(zhí)行全血細(xì)胞（CBC）測試。

在本發(fā)明的不同實施例中可以對前述做出各種增強、修改或添加。例如，在某些實施例中，在標(biāo)識一個或多個連接分量之前，對多個DHM圖像中的每個應(yīng)用定閾值（thresholding）以突出每個相應(yīng)的DHM圖像中的亮點。然后可以移除具有在預(yù)定閾值以下的尺寸的分量（即，小的連接分量）。在某些實施例中，分類器是K最近鄰（K-NN）分類器。此類分類器可以使用從多個DHM圖像中的每個提取的基于紋理基元的紋理特征來將新的DHM圖像分類。在其他實施例中，分類器是使用分層k均值和尺度不變特征變換（SIFT）描述符作為局部圖像特征訓(xùn)練的視覺詞匯詞典（例如，詞匯直方圖）。例如，可以從多個DHM圖像中的每個提取稠密SIFT描述符并將其用來構(gòu)造表示詞匯詞典結(jié)構(gòu)的二元查找樹。然后可以基于二元查找樹來生成視覺詞匯詞典?？梢詫⒁粚σ籲個標(biāo)記支持向量機（SVM）用于標(biāo)識DHM圖像中的多個白血細(xì)胞類型中的一個或多個。在其他實施例中，分類器是使用自動編碼器卷積神經(jīng)網(wǎng)絡(luò)（CNN）訓(xùn)練的深度學(xué)習(xí)分類器。

另外，在前述方法的某些實施例中，對白血細(xì)胞圖像應(yīng)用數(shù)字染色技術(shù)。例如，在一個實施例中，確定光學(xué)密度與和染色協(xié)議相關(guān)聯(lián)的著色之間的映射。還確定與新的白血細(xì)胞圖像相關(guān)聯(lián)的光學(xué)密度信息 。在呈現(xiàn)新的白血細(xì)胞圖像之前，使用映射和光學(xué)密度信息將新的白血細(xì)胞圖像著色。

根據(jù)本發(fā)明的另一方面，如在某些實施例中所述，一種用于分析數(shù)字全息顯微術(shù)（DHM）數(shù)據(jù)以用于血液學(xué)應(yīng)用的制品包括非瞬時有形計算機可讀介質(zhì)，其保存用于執(zhí)行前述方法的計算機可執(zhí)行指令。該制品可以進(jìn)一步包括針對上面關(guān)于前述方法討論的任何附加特征的指令。

在本發(fā)明的其他實施例中，一種用于分析數(shù)字全息顯微術(shù)（DHM）數(shù)據(jù)以用于血液學(xué)應(yīng)用的系統(tǒng)包括聯(lián)網(wǎng)組件、建模處理器以及圖形用戶界面。聯(lián)網(wǎng)組件被配置成與數(shù)字全息顯微術(shù)系統(tǒng)通信以檢索訓(xùn)練DHM圖像和測試DHM圖像。建模處理器被配置成：標(biāo)識每個訓(xùn)練DHM圖像中的一個或多個連接分量、根據(jù)一個或多個連接分量生成一個或多個訓(xùn)練白血細(xì)胞圖像，以及使用一個或多個訓(xùn)練白血細(xì)胞圖像來訓(xùn)練分類器以標(biāo)識白血細(xì)胞類型。建模處理器被進(jìn)一步配置成從測試DHM圖像提取測試白血細(xì)胞圖像，以及將分類器應(yīng)用于測試白血細(xì)胞圖像以確定概率值，其中每個相應(yīng)的概率值對應(yīng)于白血細(xì)胞類型中的一個。圖形用戶界面被配置成呈現(xiàn)測試白血細(xì)胞圖像和概率值。

根據(jù)參考附圖進(jìn)行的說明性實施例的以下詳細(xì)描述，將使得本發(fā)明的附加特征和優(yōu)點顯而易見。

附圖說明

當(dāng)結(jié)合附圖來閱讀時，根據(jù)以下詳細(xì)描述最佳地理解本發(fā)明的前述及其他方面。出于說明本發(fā)明的目的，在圖中示出了當(dāng)前優(yōu)選的實施例，然而，應(yīng)理解的是本發(fā)明不限于公開的特定手段。包括在圖中的是以下各圖：

圖1提供了根據(jù)某些實施例的用于處理DHM圖像以用于紅細(xì)胞體積計算的框架的圖示；

圖2提供了如可以在某些實施例中執(zhí)行的光程差DHM（OPD-DHM）圖像中的紅細(xì)胞的分割的示例圖示；

圖3示出了如可以在某些實施例中利用的正常紅細(xì)胞的幾何模型；

圖4提供了圖示出規(guī)則化的紅細(xì)胞的參數(shù)建模的示例；

圖5提供了根據(jù)某些實施例的用于計算細(xì)胞體積的過程的圖示；

圖6提供了如可以在某些實施例中應(yīng)用其的用于將白血細(xì)胞分類的預(yù)處理框架的圖示；

圖7示出了根據(jù)某些實施例的在訓(xùn)練和測試中使用的白血細(xì)胞的樣本；

圖8A提供了如可以在某些實施例中使用的示出了可以用于針對每個細(xì)胞類型進(jìn)行訓(xùn)練和測試的數(shù)據(jù)集的示例的表格；

圖8B示出了如可以根據(jù)某些實施例獲得的針對本樣本情況使用紋理基元特征和KNN分類器獲得的成對分類結(jié)果；

圖9提供了如可以在某些實施例中應(yīng)用其的局部圖像特征采樣的示例；

圖10示出了表示詞匯詞典結(jié)構(gòu)的完整二元查找樹結(jié)構(gòu)；

圖11提供了如可以在某些實施例中應(yīng)用的用于從局部圖像特征（稠密SIFT描述符）到全局圖像特征（詞匯直方圖）的變換的工作流程的可視化；

圖12示出了根據(jù)某些實施例獲得的使用SIFT和SVM分類的成對分類結(jié)果；

圖13示出了可以在某些實施例中利用的具有一個隱藏層的前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)；

圖14示出了根據(jù)某些實施例的提供結(jié)果可視化并促進(jìn)用戶交互和校正的GUI；

圖15圖示出在其內(nèi)可以實現(xiàn)本發(fā)明的實施例的示例性計算環(huán)境。

具體實施方式

以下公開根據(jù)針對與分析數(shù)字全息顯微術(shù)（DHM）以用于血液學(xué)及其他臨床應(yīng)用相關(guān)的方法、系統(tǒng)以及裝置的若干實施例來描述本發(fā)明。簡要地，本文中討論的技術(shù)包括可以在本文中描述的各種實施例中以不同配置應(yīng)用的三個原則想法。首先，在某些實施例中，使用紅細(xì)胞的參數(shù)建模來執(zhí)行紅血細(xì)胞（RBC）體積估計以將原始DHM數(shù)據(jù)規(guī)則化以匹配紅細(xì)胞的物理模型，在嘗試中消除在圖像獲取過程期間引起的任何畸變。其次，在某些實施例中，使用機器學(xué)習(xí)算法來執(zhí)行由DHM捕捉的白血細(xì)胞（WBC）的無標(biāo)記區(qū)別，所述機器學(xué)習(xí)算法從WBC的每個子類型（即，單核細(xì)胞、嗜中性粒細(xì)胞、嗜堿性粒細(xì)胞、淋巴細(xì)胞、嗜酸性粒細(xì)胞）的訓(xùn)練樣本DHM圖像的集合提取特性拓?fù)涓淖儭Ｔ摍C器學(xué)習(xí)算法然后基于學(xué)習(xí)的基于DHM圖像的特征自動地將新細(xì)胞分類成種類中的一個。第三，在某些實施例中，執(zhí)行細(xì)胞的被分類的DHM圖像的“數(shù)字染色”或“假著色”以類似于常規(guī)染色技術(shù)。本文中描述的數(shù)字染色方法使用一組細(xì)胞的DHM和染色圖像的匹配對，并且學(xué)習(xí)回歸函數(shù)以映射DHM圖像像素（將細(xì)胞組分的拓?fù)浔硎境沙Ｒ?guī)染色技術(shù)的RBG色彩方案）。

圖1提供了根據(jù)某些實施例的用于處理DHM圖像以用于紅細(xì)胞體積計算的框架100的圖示。簡要地，使用DHM系統(tǒng)105來獲取一個或多個輸入圖像。數(shù)字全息顯微術(shù)系統(tǒng)105可以是能夠獲取DHM圖像的本領(lǐng)域中已知的任何系統(tǒng)。圖像分割組件110在獲取的輸入圖像中執(zhí)行紅細(xì)胞的分割。接下來，參數(shù)建模組件115（例如，使用卡西尼卵形線）開發(fā)紅細(xì)胞的模型。然后，參數(shù)建模組件120計算每個紅細(xì)胞的厚度信息，其進(jìn)而可以被用來確定紅細(xì)胞的體積。

可以將各種分割技術(shù)應(yīng)用于輸入圖像以將紅細(xì)胞分割。例如，在某些實施例中，由圖像分割組件110執(zhí)行的分割問題被制定為能量最小化問題，其使在組合優(yōu)化框架中的分段恒定Mumford-Shah能量泛函最小化?？梢匀缦旅枋龇指钅芰?。給定圖像u和感興趣圖像u：Ω→R，其中Ω是包括若干連接分量Ω_i且以封閉邊界為邊界的R2中的開放有界子集，找到分段恒定近似使得u在組件Ω_i內(nèi)是恒定的并且在跨邊界C的過渡中是陡峭的。這被用公式表示為：

（1）

其中x_p是指示特定像素p = (x, y)是屬于細(xì)胞還是屬于背景的二元變量。針對每個像素設(shè)置二元變量x_p，使得

（2）

常數(shù)c1和c2表示輸入DHM圖像的分段恒定近似，w_pq表示歐幾里德長度規(guī)則化的權(quán)重，并且μ是定義長度規(guī)則化對分割能量的貢獻(xiàn)的加權(quán)系數(shù)?？梢允褂糜糜趍u的相對高的值以避免將細(xì)胞的核與其余部分分離。

圖2提供了光程差DHM（OPD-DHM）圖像中的紅細(xì)胞的分割的示例圖示。圖像205示出了輸入圖像，而圖像210示出了對圖像205強加的紅細(xì)胞邊界的描繪（用點線表示）。

正常紅細(xì)胞一般地被成形為雙凹盤形以實現(xiàn)大的表面積與體積比。例如，圖3示出了正常紅細(xì)胞的幾何模型300。存在影響細(xì)胞的形狀的四個主要參數(shù)（在圖3中示出）：細(xì)胞的直徑（D）、最小凹陷厚度（t）、最大厚度（h）和確定最大厚度的圓的直徑（d）。

使用在圖3中呈現(xiàn)的幾何理解，存在用于紅細(xì)胞表面表示的若干雙凹模型，其可以被參數(shù)建模組件120應(yīng)用以表征每個紅細(xì)胞的形狀和幾何結(jié)構(gòu)。例如，某些實施例利用一般地在本領(lǐng)域中已知的Evans-Fung模型技術(shù)，其利用以下等式：

（3）

其中R是細(xì)胞的半徑（R = D/2），并且ρ是距細(xì)胞中心的水平距離。為了估計模型參數(shù)c0、c1和c2，我們使如根據(jù)參數(shù)模型估計的深度圖與根據(jù)DHM觀察的深度之間的誤差平方和最小化。厚度輪廓的誤差平方和被表達(dá)為：

（4）

在某些實施例中，細(xì)胞的參數(shù)建模將細(xì)胞表面規(guī)則化以匹配紅細(xì)胞的物理模型并消除在圖像獲取過程期間引起的任何畸變。圖4提供了圖示出規(guī)則化的紅細(xì)胞的參數(shù)建模的示例。在圖像405中，描繪了如從DHM圖像觀察的細(xì)胞表面。圖像410示出了如由Evans-Fung模型表征的細(xì)胞表面。

在針對每個細(xì)胞執(zhí)行分割和參數(shù)建模之后，可以計算每個RBC的體積。然后可以使用RBC體積本身作為臨床測量結(jié)果，或者可以將其用來導(dǎo)出附加臨床有效值。例如，可以在確定平均細(xì)胞體積（MCV）（其繼而是全血細(xì)胞計數(shù)（CBC）中的關(guān)鍵參數(shù)）中使用RBC體積的計算。

圖5提供了根據(jù)某些實施例的用于計算細(xì)胞體積的過程500的圖示。在步驟505處，接收紅細(xì)胞的OPD-DHM圖像。接下來，在步驟510處，將DHM圖像分割以從背景提取所有紅細(xì)胞?？梢岳缡褂媒M合分段恒定Mumford-Shah能量泛函或在本領(lǐng)域中一般地已知的任何類似技術(shù)來執(zhí)行分割。在步驟515處，對分割掩碼（mask）應(yīng)用連接分量分析以標(biāo)記獨立的紅細(xì)胞。

繼續(xù)參考圖5，在步驟520-530處，針對每個紅細(xì)胞執(zhí)行測量過程。在步驟520處，例如使用Evans-Fung技術(shù)來近似細(xì)胞表面。優(yōu)化等式4中的差平方和并計算模型參數(shù)C0、C1和C2。接下來，在步驟525處，使用模型來使用等式3估計更新的細(xì)胞厚度z(p)。然后，在步驟530處，使用更新的細(xì)胞厚度來計算細(xì)胞體積。過程500的輸出是每個紅細(xì)胞的體積。

可以將過程500擴展成還提供細(xì)胞的平均血紅蛋白含量。為此，可以將常規(guī)血液分析儀用于校準(zhǔn)平均細(xì)胞體積和將基于光學(xué)密度圖的體積轉(zhuǎn)換成平均血紅蛋白含量。

區(qū)分血液測試測量血細(xì)胞樣本中的白血細(xì)胞類型中的每個類型的百分比。標(biāo)識每個類型的白血細(xì)胞對于被用來診斷疾?。ㄖT如感染、貧血和白血病）的血液區(qū)分分析而言是關(guān)鍵的預(yù)備步驟。為了解決此步驟，可以應(yīng)用本文中描述的系統(tǒng)以將不同的白血細(xì)胞類型區(qū)別開來。具體地，所描述的系統(tǒng)旨在區(qū)別五個不同類型的白血細(xì)胞，即：單核細(xì)胞、嗜堿性粒細(xì)胞、嗜中性粒細(xì)胞、嗜酸性粒細(xì)胞和淋巴細(xì)胞。簡要地，處理白血細(xì)胞的管線包括以下三個步驟。第一步是其中標(biāo)識并隔離各種類型的白血細(xì)胞的預(yù)處理。第二步是其中根據(jù)提取的細(xì)胞訓(xùn)練分類器的訓(xùn)練。第三步是其中使用分類器來將看不見的細(xì)胞分類的分類。現(xiàn)在將詳細(xì)地討論這些步驟中的每個。

圖6提供了如可以在某些實施例中應(yīng)用其的用于將白血細(xì)胞分類的預(yù)處理框架600的圖示。在預(yù)處理步驟期間，使用管線來準(zhǔn)備用于分類器訓(xùn)練步驟期間的訓(xùn)練塊（patch）。最初，對輸入圖像605應(yīng)用閾值以捕捉亮點（其非常有可能是細(xì)胞）。在定閾值之后，對定閾值的圖像610應(yīng)用連接分量分析。然后，如圖像615中所圖示，針對每個連接分量計算分量尺寸。如果分量的尺寸在預(yù)定義閾值t1和t2以下或以上，則拒絕該分量。從訓(xùn)練和測試排除被拒絕分量。包括剩余分量的塊（塊是包括連接分量的矩形框）被用來訓(xùn)練分類器（例如，K最近鄰分類器）。

在預(yù)處理框架600之后，可以將各種機器學(xué)習(xí)算法用于對白血細(xì)胞的DHM圖像執(zhí)行五部分區(qū)分。例如，在某些實施例中，使用基于紋理基元的方法，其中使用細(xì)胞的DHM圖像的紋理特性作為主要辨別特征。在其他實施例中，采用更加數(shù)據(jù)驅(qū)動的方法，其中學(xué)習(xí)圖像塊的詞典并將其用來將整個圖像表示為直方圖。然后使用該直方圖作為用于各種細(xì)胞子類型之間的分類的主要特征。在其他實施例中，分類基于具有多個層的卷積神經(jīng)網(wǎng)絡(luò)以用多層網(wǎng)絡(luò)立刻執(zhí)行特征提取、選擇以及分類。下面詳細(xì)地描述這些不同方法中的每個。

如在本領(lǐng)域中一般地理解的那樣，使用代表性圖像的數(shù)據(jù)集來訓(xùn)練圖像分類算法。在圖7中圖示出訓(xùn)練數(shù)據(jù)集的一個示例。在本示例中，以四個種類中的一個來標(biāo)記細(xì)胞圖像：單核細(xì)胞、嗜堿性粒細(xì)胞、嗜中性粒細(xì)胞以及淋巴細(xì)胞。應(yīng)注意的是此訓(xùn)練集僅僅是可以在訓(xùn)練分類器中使用的數(shù)據(jù)的一個示例。例如，在某些實施例中采用的其他訓(xùn)練集可以包括附加種類（例如，嗜酸性粒細(xì)胞）。另外（或替換地），種類可以具有更精細(xì)的粒度水平。

在其中基于紋理基元的方法被用于分類的實施例中，使用包括預(yù)處理的細(xì)胞圖像的提取塊來訓(xùn)練K最近鄰（K-NN）分類器。該分類器利用從每個塊提取的基于紋理基元的紋理特征。紋理基元是通過濾波器組響應(yīng)的集合進(jìn)行的小紋理特征的表示?；诩y理基元的紋理分類器使用紋理基元的直方圖以通過與訓(xùn)練數(shù)據(jù)集的紋理基元相比特定的塊中的紋理基元的頻率來表征紋理。特別地，使用紋理基元特征，因為在病理上證明了細(xì)胞核的粒度在不同細(xì)胞類型中不同并且這可以使用紋理特征來捕捉。

為了說明基于紋理基元的方法，考慮基于紋理基元的紋理特征表示與簡單的K-NN分類器的組合。圖8A提供了示出可以被用于針對每個細(xì)胞類型進(jìn)行訓(xùn)練和測試的數(shù)據(jù)集的示例的表格。在所有成對分類中針對本示例數(shù)據(jù)集獲得的分類率從75%變化到95%。圖8B示出了針對該樣本情況使用紋理基元特征和KNN分類器獲得的成對分類結(jié)果。

為了使用先前的成對分類來提供多標(biāo)記分類器，可以使用投票將一個或多個成對分類器組合。理想地，四個分類器應(yīng)對類別標(biāo)簽達(dá)成一致，并且6個分類器將提供隨機標(biāo)記。例如，如果10個分類器被表示為C1至C10，則可以將用于未知樣本S的最后類別標(biāo)記L表示為10個分類器的標(biāo)記的模式（最頻繁值）。換言之，針對多標(biāo)記分類問題標(biāo)記10個成對分類器的大多數(shù)投票。將所有成對分類組合到一個多標(biāo)記分類器產(chǎn)生針對圖8A中呈現(xiàn)的示例數(shù)據(jù)集集合的76.5%正確分類率。

在某些實施例中，可以使用視覺單詞袋（BOW）方法來解決此基于多類別的圖像分類問題。在BOW方法中，用視覺單詞的出現(xiàn)計數(shù)的向量（基于局部圖像特征的詞匯詞典上的直方圖）來表示全局圖像特征。這些全局圖像特征然后被用于分類?？梢詫⒐芫€劃分成三個階段：離線詞匯學(xué)習(xí)、圖像分類訓(xùn)練和測試。在離線詞匯學(xué)習(xí)階段中，可以使用分層K均值和SIFT（尺度不變特征變換）描述符作為局部圖像特征來訓(xùn)練視覺詞匯詞典。針對分類，可以利用一對一n個標(biāo)記支持向量機（SVM）。為了避免過擬合問題，可以采用兩個方法。首先，可以以隨機程度擾亂每個訓(xùn)練圖像。其次，可以使用對訓(xùn)練數(shù)據(jù)集的交叉驗證而針對內(nèi)核確定SVM參數(shù)。

SIFT描述符描述了不變局部圖像結(jié)構(gòu)和捕捉局部紋理信息?？梢葬槍γ總€圖像的每n_s個像素計算稠密SIFT描述符（w×h），其中w和h分別是圖像寬度和高度。例如，可以使用128維度SIFT描述符，并且因此每個圖像存在約個局部圖像特征。圖9提供了如可以在某些實施例中應(yīng)用其的局部圖像特征采樣的示例。在本示例中，每個白點表示計算128維度SIFT描述符的位置。

在某些實施例中，利用修改的詞匯樹結(jié)構(gòu)來構(gòu)造視覺詞匯詞典。詞匯樹使用分層k均值聚類來定義分層量化。圖10示出了表示詞匯詞典結(jié)構(gòu)的完全二元（k=2）查找樹結(jié)構(gòu)。節(jié)點1005是視覺集群中心。個葉節(jié)點最終被用作視覺詞匯單詞。n_d是二叉樹的深度。在詞匯樹學(xué)習(xí)階段中，首先，初始k均值算法被應(yīng)用到訓(xùn)練數(shù)據(jù)（從訓(xùn)練數(shù)據(jù)集導(dǎo)出的SIFT描述符的集合）且然后劃分成2個組，其中每個組包括最接近于集群中心的SIFT描述符。該過程然后被循環(huán)地應(yīng)用直至樹深度達(dá)到n_d。在在線階段中，經(jīng)由將該特征向量與2個集群中心相比較并選擇最近的一個而使SIFT描述符（向量）沿著樹按照每個級別向下傳遞。針對每個圖像上的所有稠密SIFT描述符計算視覺單詞直方圖。

圖11提供了用于從局部圖像特征（稠密SIFT描述符）到全局圖像特征（詞匯直方圖）的變換的工作流程的可視化。在圖12中描繪了通過將SIFT特征與用于示例數(shù)據(jù)集的SVM分類組合而獲得的結(jié)果。將這些成對分類器組合產(chǎn)生針對5類分類問題的84%正確分類率。

在某些實施例中，使用深度學(xué)習(xí)（DL）架構(gòu)來執(zhí)行5類分類。雖然主要針對二元分類來制定SVM，但DL固有地是多標(biāo)記分類器。為了說明DL分類技術(shù)，針對多標(biāo)記分類問題直接地訓(xùn)練卷積網(wǎng)絡(luò)。500個細(xì)胞被用于訓(xùn)練，每個種類100個，并且細(xì)胞的其余部分被用于測試。

針對本示例DL應(yīng)用，使用自動編碼器卷積神經(jīng)網(wǎng)絡(luò)（CNN）來訓(xùn)練邊緣空間學(xué)習(xí)（MSL）分類器。圖13示出了具有一個隱藏層（也稱為“AE”）的前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。忽視偏項（圖13中標(biāo)記為“+1”的節(jié)點），輸入和輸出層具有相同數(shù)目的節(jié)點。此類自動編碼器的目標(biāo)是學(xué)習(xí)輸入層（表示圖像的特征）與輸出層（用于圖像的標(biāo)記）之間的傳遞函數(shù)。如果隱藏層具有等于或大于輸入層的尺寸，則潛在地，AE可以學(xué)習(xí)恒定變換。為了防止此類平凡解，先前用具有比輸入層少的節(jié)點的隱藏層來設(shè)立AE。最近，提出了去噪自動編碼器（DAE）以學(xué)習(xí)輸入的更有意義的表示。隨機地挑選要被干擾的輸入節(jié)點（例如，將值設(shè)置成零）的一定百分比（例如，50%），并且要求DAE考慮到受污染的觀察來重構(gòu)原始輸入向量。用DAE，隱藏層可以具有比輸入更多的節(jié)點以實現(xiàn)超完備表示。在訓(xùn)練AE之后，丟棄輸出層并使用已訓(xùn)練的隱藏層的激活響應(yīng)作為到新AE的輸入來堆疊另一AE?？梢灾貜?fù)此過程以逐層地訓(xùn)練和擴展網(wǎng)絡(luò)。在預(yù)先訓(xùn)練之后，可以將隱藏層的輸出示為高級圖像特征以訓(xùn)練分類器。替換地，我們可以添加用于目標(biāo)輸出的再一個層，并且可以使用向后傳播來細(xì)化整個網(wǎng)絡(luò)。

在分類完成之后，可以在圖形用戶界面（GUI）中向病理學(xué)家呈現(xiàn)白血細(xì)胞的各種種類以用于最后確認(rèn)?？梢杂嬎憬o定細(xì)胞屬于某個子類型的概率，并且在最后檢查期間將其以數(shù)值方式或以圖形方式呈現(xiàn)給病理學(xué)家

圖14示出了根據(jù)某些實施例的提供結(jié)果可視化并促進(jìn)用戶交互和校正的GUI。如圖14中所示，病理學(xué)家將具有基于細(xì)胞的DHM圖像進(jìn)行修改的機會。在顯示每個血細(xì)胞類型的百分比和基于這些百分比的可能診斷的前兩行1405處描繪了自動血液區(qū)分的結(jié)果。圖1410的底部部分示出了用戶可以如何修改結(jié)果。系統(tǒng)示出了用于用戶交互的頂部細(xì)胞候選。這些細(xì)胞基于前兩個概率的差而被選擇和分類。該系統(tǒng)顯示提取的細(xì)胞（由我們的預(yù)處理管線提?。┎@示其屬于每個WBC類型的概率。用戶可以通過簡單地標(biāo)記復(fù)選框來接受標(biāo)記或選擇新標(biāo)記。如果用戶改變標(biāo)記，則系統(tǒng)可以自動地更新計數(shù)、百分比和可能的診斷，這改變頂行并顯示新的結(jié)果。

另外，為了使病理學(xué)家能夠最好地回顧圖像，在某些實施例中，利用假著色方案，其將DHM圖像轉(zhuǎn)換成具有與針對常規(guī)染色方法（諸如Wright和Giemsa方法）染色的細(xì)胞圖像類似的彩色圖案的圖像。例如，Giemsa-Wright染色使用包括用于染色的曙紅Y、天藍(lán)色B以及亞甲藍(lán)的解決方案。這些方案綁定到細(xì)胞的不同地包括核和顆粒的組分，并且從而提供對于細(xì)胞的目視檢查必不可少的更明顯的著色。從細(xì)胞的DHM圖像，我們獲得針對細(xì)胞組分的不同光學(xué)密度圖案，并且其可以被用作用以執(zhí)行著色的特征。我們設(shè)想的方法是基于具有分別地用DHM和Giemsa染色兩者成像的細(xì)胞的匹配對。在某些實施例中，使用簡單的回歸函數(shù)，其可以使用機器學(xué)習(xí)技術(shù)來實現(xiàn)，諸如用以將光學(xué)密度圖從DHM映射到與Giemsa-Wright染色協(xié)議一致RGB色彩方案的卷積神經(jīng)網(wǎng)絡(luò)?；貧w映射可以對單個像素或像素組（即，圖像塊）工作。另外，可以利用基于馬爾可夫隨機場的規(guī)則化來確保具有類似光學(xué)密度的相鄰像素將被類似地著色。除Giemsa和Wright染色之外，可以基于細(xì)胞圖像的匹配對的集合來學(xué)習(xí)其他染色協(xié)議，并且可以從DHM圖像以數(shù)字方式再現(xiàn)染色版本。

在某些實施例中，可以將本文中描述的針對RBC的平均細(xì)胞體積計算和/或WBC五部分區(qū)分作為用于全血細(xì)胞計數(shù)（CBC）測試的關(guān)鍵測量。如在本領(lǐng)域中理解的，CBC測試評估個體的總體健康，并且可以被用在諸如貧血、感染和白血病之類的血液相關(guān)疾病的檢測中。因此，例如，可以使用特定WBC計數(shù)中的異常增加或減少作為要求進(jìn)一步評估的基礎(chǔ)醫(yī)學(xué)條件的指示符。

可以對本文中描述的技術(shù)做出或者向本文中描述的技術(shù)添加各種其他擴展、增強或其他修改以提供附加功能。例如，在某些實施例中，也在重構(gòu)之前對原始干涉圖案圖像應(yīng)用用于白血細(xì)胞子分類的五部分區(qū)分方法。為了增加RBC體積或者WBC分類的總體準(zhǔn)確度，可以使用同一細(xì)胞的多個圖像或者可以對結(jié)果求平均。本文中描述的系統(tǒng)和方法還可以應(yīng)用于在細(xì)胞分類空間外部的臨床應(yīng)用。例如，可以擴展基于描述的方法的各種對象的尺寸計算和分類以用于尿分析應(yīng)用，其中測量尿沉渣的尺寸并通過使用所描述的方法來分析DHM圖像而標(biāo)識各種種類。另外，考慮到DHM技術(shù)中的最近進(jìn)步——特別是尺寸、復(fù)雜性和成本中的降低——可以在臨床環(huán)境內(nèi)或者在照護點處（以分散式方式）執(zhí)行這些（及其他）應(yīng)用。

圖15圖示出在其內(nèi)可以實現(xiàn)本發(fā)明的實施例的示例性計算環(huán)境1500。例如，該計算環(huán)境1500可以被配置成執(zhí)行框架100的組件中的一個或多個以用于處理圖1中圖示的DHM圖像。另外（或替換地），該計算環(huán)境1500可以被配置成執(zhí)行本文中描述的過程中的一個或多個（例如，圖1中所示的用于計算細(xì)胞體積的過程500）。計算環(huán)境1500可以包括計算機系統(tǒng)1510，其是可以在其上面實現(xiàn)本發(fā)明的實施例的計算系統(tǒng)的一個示例。計算機和計算環(huán)境（諸如計算機系統(tǒng)1510和計算環(huán)境1500）為本領(lǐng)域那些技術(shù)人員已知，并且因此在這里進(jìn)行簡要描述。

如圖15中所示，計算機系統(tǒng)1510可以包括諸如總線1521之類的通信機構(gòu)或者用于在計算機系統(tǒng)1510內(nèi)傳送信息的其他通信機構(gòu)。計算機系統(tǒng)1510進(jìn)一步包括與總線1521耦合以用于處理信息的一個或多個處理器1520。處理器1520可包括一個或多個中央處理單元（CPU）、圖形處理單元（GPU）或本領(lǐng)域中已知的任何其他處理器。

計算機系統(tǒng)1510還包括被耦合到總線1521的系統(tǒng)存儲器1530，用于存儲將由處理器1520執(zhí)行的信息和指令。系統(tǒng)存儲器1530可以包括以易失性和/或非易失性存儲器（諸如只讀存儲器（ROM）1531和/或隨機訪問儲器（RAM）1532）的形式的計算機可讀存儲介質(zhì)。系統(tǒng)存儲器RAM 1532可以包括（一個或多個）其他動態(tài)存儲設(shè)備（例如，動態(tài)RAM、靜態(tài)RAM以及同步DRAM）。系統(tǒng)存儲器ROM 1531可包括（一個或多個）其他靜態(tài)存儲設(shè)備（例如，可編程ROM、可擦除PROM以及電可擦PROM）。另外，系統(tǒng)存儲器1530可以被用于在由處理器1520執(zhí)行指令期間存儲瞬時變量或其他中間信息?？梢栽赗OM 1531內(nèi)存儲包含幫助諸如在啟動期間在計算機系統(tǒng)1510內(nèi)的元件之間傳輸信息的基本例程的基本輸入/輸出系統(tǒng)（BIOS）1533。RAM 1532可以包含可立即被處理器1520訪問和/或當(dāng)前被其操作的數(shù)據(jù)和/或程序模塊。系統(tǒng)存儲器1530可以另外包括例如操作系統(tǒng)1534、應(yīng)用程序1535、其他程序模塊1536和程序數(shù)據(jù)1537。

計算機系統(tǒng)1510還包括被耦合到總線1521以控制用于存儲信息和指令的一個或多個存儲設(shè)備的盤控制器1540，所述存儲設(shè)備諸如硬盤1541和可移除介質(zhì)驅(qū)動1542（例如，軟盤驅(qū)動、壓縮盤驅(qū)動、磁帶驅(qū)動和/或固態(tài)驅(qū)動）。可使用適當(dāng)?shù)脑O(shè)備接口（例如，小的計算機系統(tǒng)接口（SCSI）、集成電子設(shè)備（IDE）、通用串行總線（USB）或火線）向計算機系統(tǒng)1510添加存儲系統(tǒng)。

計算機系統(tǒng)1510還可包括被耦合到總線321以控制顯示器1566（諸如陰極射線管（CRT）或液晶顯示器（LCD））的顯示器控制器1565，用于向計算機用戶顯示信息。計算機系統(tǒng)包括輸入接口1560和一個或多個輸入設(shè)備，諸如鍵盤1562和指示設(shè)備1561，用于與計算機用戶交互并向處理器1520提供信息。指示設(shè)備1561例如可以是用于向處理器1520傳送方向信息和命令選擇并用于控制顯示器1566上的光標(biāo)移動的鼠標(biāo)、軌跡球或指示桿。顯示器1566可以提供觸摸屏接口，其允許輸入補充或替換由指示設(shè)備1561進(jìn)行的方向信息和命令選擇的傳送。

計算機系統(tǒng)1510可以響應(yīng)于處理器1520執(zhí)行包含于存儲器（諸如系統(tǒng)存儲器1530）中的一個或多個指令的一個或多個序列而執(zhí)行本發(fā)明的實施例的處理步驟的一部分或全部。此類指令可以被從另一計算機可讀介質(zhì)（諸如硬盤1541或可移除介質(zhì)驅(qū)動1542）讀取到系統(tǒng)存儲器1530。硬盤1541可以包含被本發(fā)明的實施例使用的一個或多個數(shù)據(jù)倉庫和數(shù)據(jù)文件。數(shù)據(jù)倉庫內(nèi)容和數(shù)據(jù)文件可被加密以提高安全性。還可以在多處理布置中采用處理器1520以執(zhí)行包含于系統(tǒng)存儲器1530中的指令的一個或多個序列。在替換實施例中，可以代替軟件指令或與軟件指令相組合地使用硬接線電路。因此，實施例不限于硬件電路和軟件的任何特定組合。

如上面陳述的那樣，計算機系統(tǒng)1510可包括用于保存根據(jù)本發(fā)明的實施例編程的指令且用于包含數(shù)據(jù)結(jié)構(gòu)、表格、記錄或本文中描述的其他數(shù)據(jù)的至少一個計算機可讀介質(zhì)或存儲器。如本文中使用的術(shù)語“計算機可讀介質(zhì)”指參與向處理器1520提供指令以用于執(zhí)行的任何介質(zhì)。計算機可讀介質(zhì)可采取許多形式，包括但不限于非易失性介質(zhì)、易失性介質(zhì)以及傳輸介質(zhì)。非易失性介質(zhì)的非限制性示例包括光盤、固態(tài)驅(qū)動、磁盤以及磁光盤，諸如硬盤1541或可移除介質(zhì)驅(qū)動1542。易失性介質(zhì)的非限制性示例包括動態(tài)存儲器，諸如系統(tǒng)存儲器1530。傳輸介質(zhì)的非限制性示例包括同軸線纜、銅線以及光纖，其包括構(gòu)成總線1521的導(dǎo)線。傳輸介質(zhì)還可采取聲波或光波（諸如在無線電波和紅外數(shù)據(jù)通信期間生成的那些）的形式。

計算環(huán)境1500可以進(jìn)一步包括使用到一個或多個遠(yuǎn)程計算機（諸如遠(yuǎn)程計算機1580）的邏輯鏈接在聯(lián)網(wǎng)環(huán)境中操作的計算機系統(tǒng)1510。遠(yuǎn)程計算機1580可以是個人計算機（膝上計算機或臺式計算機）、移動設(shè)備、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對等設(shè)備或其他公共網(wǎng)絡(luò)節(jié)點，并且通常包括上面相對于計算機系統(tǒng)1510描述的元件中的許多或全部。當(dāng)在聯(lián)網(wǎng)環(huán)境中使用時，計算機系統(tǒng)1510可以包括用于通過網(wǎng)絡(luò)1571（諸如因特網(wǎng)）來建立通信的調(diào)制解調(diào)器1572。調(diào)制解調(diào)器1572可經(jīng)由用戶網(wǎng)絡(luò)接口1570或經(jīng)由另一適當(dāng)機構(gòu)連接到總線1521。

網(wǎng)絡(luò)1571可以是一般地在本領(lǐng)域中已知的任何網(wǎng)絡(luò)或系統(tǒng)，包括因特網(wǎng)、內(nèi)部網(wǎng)、局域網(wǎng)（LAN）、廣域網(wǎng)（WAN）、城域網(wǎng)（MAN）、直接連接或連接的系列、蜂窩電話網(wǎng)或者能夠促進(jìn)計算機系統(tǒng)1510與其他計算機（例如，遠(yuǎn)程計算機1580）之間的通信的任何其他網(wǎng)絡(luò)或介質(zhì)。網(wǎng)絡(luò)1571可以是有線的、無線的或其組合。可使用以太網(wǎng)、通用串行總線（USB）、RJ-11或一般地在本領(lǐng)域中已知的任何其他有線連接來實現(xiàn)有線連接?？墒褂肳i-Fi、WiMAX以及藍(lán)牙、紅外、蜂窩式網(wǎng)絡(luò)、衛(wèi)星或一般地在本領(lǐng)域中已知的任何其他無線連接方法來實現(xiàn)無線連接。另外，若干網(wǎng)絡(luò)可單獨地或相互通信地工作以促進(jìn)網(wǎng)絡(luò)1571中的通信。

作為示例性計算環(huán)境1500到本文中描述的技術(shù)的一個應(yīng)用，考慮用于分析DHM數(shù)據(jù)以用于血液學(xué)應(yīng)用的示例系統(tǒng)，其包括網(wǎng)絡(luò)組件、建模處理器以及GUI。聯(lián)網(wǎng)組件可以包括網(wǎng)絡(luò)接口1570或提供類似功能的硬件和軟件的某組合。聯(lián)網(wǎng)組件被配置成與DHM系統(tǒng)通信以檢索DHM圖像。因此，在某些實施例中，聯(lián)網(wǎng)組件可以包括用于與DHM系統(tǒng)通信的專門接口。建模處理器被包括在計算系統(tǒng)（例如計算機系統(tǒng)1510）中并被配置有指令，所述指令使得其能夠針對存在于從經(jīng)由聯(lián)網(wǎng)組件接收到的DHM圖像提取的細(xì)胞圖像中的細(xì)胞類型訓(xùn)練分類器。建模處理器可以包括如在本公開中描述的附加功能以支持此任務(wù)（例如，分割、標(biāo)識連接分量等）。建模處理器被進(jìn)一步配置成使用分類器來確定新的細(xì)胞圖像屬于被用來訓(xùn)練分類器的類型中的一個的概率。然后可以在顯示器（例如，顯示器1566）上呈現(xiàn)GUI以供用戶回顧。

可以用硬件和軟件的任何組合來實現(xiàn)本公開的實施例。另外，可以將本公開的實施例包括在具有例如計算機可讀的非瞬時介質(zhì)的制品（例如，一個或多個計算機程序產(chǎn)品）中。介質(zhì)具有在其中體現(xiàn)的例如用于提供和促進(jìn)本公開的實施例的機制的計算機可讀程序代碼。該制品可以被包括作為計算機系統(tǒng)的部分或者被單獨出售。

雖然在本文中公開了各種方面和實施例，但其他方面和實施例對于本領(lǐng)域那些技術(shù)人員而言將是顯而易見的。在本文中公開的各種方面和實施例出于說明的目的且并不意圖是限制性的，其中由以下權(quán)利要求來指示實際范圍和精神。

如本文中使用的可執(zhí)行應(yīng)用包括用于例如響應(yīng)于用戶命令或輸入而調(diào)節(jié)處理器以實現(xiàn)預(yù)定功能（諸如操作系統(tǒng)、上下文數(shù)據(jù)獲取系統(tǒng)或其他信息處理系統(tǒng)的那些）的代碼或機器可讀指令?？蓤?zhí)行程序是一段代碼或機器可讀指令、子例程或用于執(zhí)行一個或多個特定過程的可執(zhí)行應(yīng)用的代碼或部分的其他不同區(qū)段。這些過程可以包括接收輸入數(shù)據(jù)和/或參數(shù)、對接收到的輸入數(shù)據(jù)執(zhí)行操作和/或響應(yīng)于接收到的輸入?yún)?shù)而執(zhí)行功能以及提供結(jié)果得到的輸出數(shù)據(jù)和/或參數(shù)。

如本文中使用的圖形用戶界面（GUI）包括由顯示處理器生成且使得能夠?qū)崿F(xiàn)與處理器或其他設(shè)備的用戶交互及關(guān)聯(lián)的數(shù)據(jù)獲取和處理功能的一個或多個顯示圖像。GUI還包括可執(zhí)行程序或可執(zhí)行應(yīng)用?？蓤?zhí)行程序或可執(zhí)行應(yīng)用調(diào)節(jié)顯示處理器以生成表示GUI顯示圖像的信號。這些信號被供應(yīng)給顯示設(shè)備，所述顯示設(shè)備顯示圖像以供由用戶查看。處理器在可執(zhí)行程序或可執(zhí)行應(yīng)用的控制下響應(yīng)于從輸入設(shè)備接收到的信號來操縱GUI顯示圖像。這樣，用戶可以使用輸入設(shè)備與顯示圖像交互，使得能夠?qū)崿F(xiàn)與處理器或其他設(shè)備的用戶交互。

本文中的功能和過程步驟可以被自動地或者完全或部分地響應(yīng)于用戶命令而執(zhí)行。在沒有用戶直接發(fā)起活動的情況下響應(yīng)于一個或多個可執(zhí)行指令或設(shè)備操作而執(zhí)行自動地執(zhí)行的活動（包括步驟）。

圖的系統(tǒng)和過程并不是排他性的。根據(jù)本發(fā)明的原理可以導(dǎo)出其他系統(tǒng)、過程和菜單以實現(xiàn)相同目標(biāo)。雖然已參考特定實施例描述了本發(fā)明，但應(yīng)理解的是本文中所示和描述的實施例和變化僅僅用于說明目的。在不脫離本發(fā)明的范圍的情況下，可由本領(lǐng)域那些技術(shù)人員實現(xiàn)對當(dāng)前設(shè)計的修改。如本文中描述的那樣，可以使用硬件組件、軟件組件和/或其組合來實現(xiàn)各種系統(tǒng)、子系統(tǒng)、代理、管理器和過程。不根據(jù)美國法典第35條112款第六段的條款來解釋本文中的權(quán)利要求元件，除非使用短語“用于……的部件”明確地敘述該元件。