本發(fā)明涉及一種細(xì)胞區(qū)域確定方法、細(xì)胞拍攝系統(tǒng)及細(xì)胞圖像處理裝置。
背景技術(shù):
美國專利第7711174號(hào)公報(bào)上公開了一種從培養(yǎng)過程中的細(xì)胞圖像獲取細(xì)胞輪廓和細(xì)胞紋理信息并對(duì)所獲得的信息進(jìn)行解析以確定細(xì)胞結(jié)構(gòu)特征的方法。
要通過機(jī)械處理來確定細(xì)胞的特征,最好將通過拍攝細(xì)胞所獲得的細(xì)胞圖像中的細(xì)胞區(qū)域與背景區(qū)域等非細(xì)胞區(qū)域區(qū)分開,盡可能準(zhǔn)確地求出通過拍攝細(xì)胞所獲得的細(xì)胞圖像中的細(xì)胞區(qū)域。從細(xì)胞圖像所確定的細(xì)胞區(qū)域越接近實(shí)際的細(xì)胞形態(tài),就越容易根據(jù)所確定的細(xì)胞區(qū)域利用機(jī)械處理確定細(xì)胞特征。
然而,細(xì)胞形狀是不定的,通過機(jī)械處理將細(xì)胞圖像中的細(xì)胞識(shí)別為細(xì)胞并非易事。特別是當(dāng)細(xì)胞為移植用細(xì)胞時(shí),不能對(duì)細(xì)胞染色,所以不存在用于將細(xì)胞圖像中的細(xì)胞識(shí)別為細(xì)胞的標(biāo)記,更難求出細(xì)胞圖像中的細(xì)胞區(qū)域。
因此,人們希望有一種新的方式能夠從細(xì)胞圖像中盡可能準(zhǔn)確地求出細(xì)胞區(qū)域。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的范圍只由后附權(quán)利要求書所規(guī)定,在任何程度上都不受這一節(jié)發(fā)明內(nèi)容的陳述所限。
本發(fā)明一種技術(shù)方案涉及一種確定細(xì)胞區(qū)域的方法。方法包括:獲取用第一觀察法拍攝細(xì)胞所獲得的第一細(xì)胞圖像;獲取用不同于第一觀察法的第二觀察法拍攝細(xì)胞所獲得的第二細(xì)胞圖像;根據(jù)第一細(xì)胞圖像和第二細(xì)胞圖像確定細(xì)胞區(qū)域。
優(yōu)選地,確定所述細(xì)胞的區(qū)域的作業(yè)包括以下步驟:根據(jù)所述第一細(xì)胞圖像確定所述第一細(xì)胞圖像中的細(xì)胞區(qū)域——即第一細(xì)胞區(qū)域;根據(jù)所述第二細(xì)胞圖像確定所述第二細(xì)胞圖像中的細(xì)胞區(qū)域——即第二細(xì)胞區(qū)域;生成所述第一細(xì)胞區(qū)域和所述第二細(xì)胞區(qū)域疊加而成的合成圖像。
優(yōu)選地,所述第一觀察法是相差顯微鏡觀察法;所述第一細(xì)胞圖像是所述細(xì)胞的位相差影像。
優(yōu)選地,所述第二觀察法是暗視野觀察法;所述第二細(xì)胞圖像是所述細(xì)胞的暗視野影像。
優(yōu)選地,所述第一觀察法是相差顯微鏡觀察法;所述第一細(xì)胞圖像是所述細(xì)胞的位相差影像;確定所述第一細(xì)胞區(qū)域的作業(yè)包括:將所述位相差影像中亮度高于第一閾值的區(qū)域以及亮度低于比所述第一閾值小的第二閾值的區(qū)域分別確定為所述第一細(xì)胞區(qū)域。
優(yōu)選地,所述第二觀察法是暗視野觀察法;所述第二細(xì)胞圖像是所述細(xì)胞的暗視野影像;確定所述第二細(xì)胞區(qū)域的作業(yè)包括:將所述暗視野影像中亮度高于第三閾值的區(qū)域確定為所述第二細(xì)胞區(qū)域。
優(yōu)選地,確定所述細(xì)胞的區(qū)域的作業(yè)還包括以下步驟:根據(jù)區(qū)域的大小識(shí)別所述第一細(xì)胞區(qū)域中包括的第一噪聲區(qū)域,并進(jìn)行從所述第一細(xì)胞區(qū)域除去所述第一噪聲區(qū)域的第一噪聲除去處理,以及根據(jù)區(qū)域的大小識(shí)別所述第二細(xì)胞區(qū)域中包括的第二噪聲區(qū)域,并進(jìn)行從所述第二細(xì)胞區(qū)域除去所述第二噪聲區(qū)域的第二噪聲除去處理;其中,用于生成所述合成圖像的所述第一細(xì)胞區(qū)域是除去所述第一噪聲區(qū)域后的所述第一細(xì)胞區(qū)域,用于生成所述合成圖像的所述第二細(xì)胞區(qū)域是除去所述第二噪聲區(qū)域后的所述第二細(xì)胞區(qū)域。
優(yōu)選地,所述第一細(xì)胞圖像和所述第二細(xì)胞圖像是彩色圖像;對(duì)作為彩色圖像的所述第一細(xì)胞圖像的紅色圖像、綠色圖像和藍(lán)色圖像分別進(jìn)行所述第一噪聲除去處理;對(duì)作為彩色圖像的所述第二細(xì)胞圖像的紅色圖像、綠色圖像和藍(lán)色圖像分別進(jìn)行所述第二噪聲除去處理。
優(yōu)選地,確定所述細(xì)胞的區(qū)域的作業(yè)包括對(duì)所述細(xì)胞的區(qū)域中出現(xiàn)的孔洞進(jìn)行孔洞填充處理。
優(yōu)選地,所述細(xì)胞是未染色細(xì)胞。
優(yōu)選地,所述細(xì)胞為移植用細(xì)胞。
本發(fā)明另一技術(shù)方案涉及一種細(xì)胞拍攝系統(tǒng)。細(xì)胞拍攝系統(tǒng)具有拍攝部件和處理部件。拍攝部件用第一觀察法拍攝細(xì)胞并生成第一細(xì)胞圖像,用不同于第一觀察法的第二觀察法拍攝細(xì)胞并生成第二細(xì)胞圖像。處理部件進(jìn)行圖像處理。圖像處理包括從拍攝部件獲取第一細(xì)胞圖像的處理、從拍攝部件獲取第二細(xì)胞圖像的處理、以及根據(jù)第一細(xì)胞圖像和第二細(xì)胞圖像確定細(xì)胞區(qū)域的處理。
優(yōu)選地,所述拍攝部件還包括:為獲得暗視野影像作為所述第二細(xì)胞圖像而包括光照所述細(xì)胞的照射用光學(xué)系統(tǒng)和從所述細(xì)胞接受散射光的受光用光學(xué)系統(tǒng)的暗視野觀察用光學(xué)系統(tǒng),以及放置所述細(xì)胞的培養(yǎng)容器的放置部件;其中,所配置的所述照射用光學(xué)系統(tǒng)從所述放置部件中放置的所述培養(yǎng)容器的底面一側(cè)照射光,所配置的所述受光用光學(xué)系統(tǒng)在所述放置部件中放置的所述培養(yǎng)容器的底面一側(cè)接受所述散射光。
本發(fā)明另一技術(shù)方案涉及一種處理裝置。處理裝置具有處理部件,該處理部件實(shí)施包括下述處理在內(nèi)的圖像處理:獲取用第一觀察法拍攝細(xì)胞所獲得的第一細(xì)胞圖像的處理、獲取用不同于第一觀察法的第二觀察法拍攝細(xì)胞所獲得的第二細(xì)胞圖像的處理、以及根據(jù)第一細(xì)胞圖像和第二細(xì)胞圖像確定細(xì)胞區(qū)域的處理。本發(fā)明另一技術(shù)方案涉及一種讓計(jì)算機(jī)實(shí)施上述圖像處理的計(jì)算機(jī)程序。
本發(fā)明提供了一種從細(xì)胞圖像求出細(xì)胞區(qū)域的新方式。
附圖說明
圖1a為細(xì)胞拍攝系統(tǒng)的框狀圖;
圖1b為切換后的細(xì)胞拍攝系統(tǒng)的框狀圖;
圖2a為位相差觀察用第一光學(xué)系統(tǒng)的示圖;
圖2b為暗視野觀察用第二光學(xué)系統(tǒng)的示圖;
圖3為放置部件和培養(yǎng)容器的示圖;
圖4為處理裝置所實(shí)施的處理的流程圖;
圖5為細(xì)胞的位相差影像圖;
圖6為細(xì)胞的暗視野影像圖;
圖7為噪聲除去處理的流程圖;
圖8為自動(dòng)識(shí)別出的細(xì)胞區(qū)域與肉眼觀察所識(shí)別出的細(xì)胞區(qū)域的示圖;
圖9為自動(dòng)識(shí)別出的細(xì)胞區(qū)域數(shù)與肉眼觀察所識(shí)別出的細(xì)胞區(qū)域數(shù)的相關(guān)圖;
圖10為細(xì)胞的位相差影像圖;
圖11為細(xì)胞的暗視野影像圖;
圖12為機(jī)械識(shí)別出的細(xì)胞區(qū)域與肉眼觀察識(shí)別出細(xì)胞區(qū)域的示圖。
優(yōu)選實(shí)施方式
下面參照附圖說明本發(fā)明的優(yōu)選實(shí)施方式。
(1.細(xì)胞拍攝系統(tǒng))(1.1概要)
圖1a所示細(xì)胞拍攝系統(tǒng)100具有拍攝部件10和處理裝置20。細(xì)胞拍攝系統(tǒng)根據(jù)拍攝細(xì)胞所得到的細(xì)胞圖像自動(dòng)識(shí)別細(xì)胞圖像中的細(xì)胞區(qū)域。拍攝部件10拍攝細(xì)胞并生成細(xì)胞圖像。生成的細(xì)胞圖像傳給處理裝置20。處理裝置20對(duì)細(xì)胞圖像進(jìn)行處理。
所拍攝的細(xì)胞例如是用于再生醫(yī)療的移植用細(xì)胞。移植用細(xì)胞比如是培養(yǎng)間充質(zhì)干細(xì)胞(mesenchymalstemcell(msc))所得到的。所使用的msc比如來自人骨髓(來自人骨髓的間充質(zhì)干細(xì)胞)。要評(píng)價(jià)msc的狀態(tài),例如評(píng)價(jià)是否適合移植時(shí),分析所培養(yǎng)的msc的形態(tài)會(huì)是一種行之有效的方式。要進(jìn)行細(xì)胞的形態(tài)分析就需要在細(xì)胞圖像中確定細(xì)胞區(qū)域。
所拍攝的細(xì)胞最好是未染色的。染色細(xì)胞的話會(huì)導(dǎo)致細(xì)胞無法用于移植或?qū)?xì)胞造成傷害。此外,移植用細(xì)胞宜為無菌狀態(tài)。為使所拍攝的細(xì)胞保持無菌狀態(tài),所拍攝的細(xì)胞宜采用密封在培養(yǎng)容器30內(nèi)的細(xì)胞。此時(shí),細(xì)胞圖像是隔著培養(yǎng)容器30拍攝細(xì)胞得到的。
拍攝部件10能夠拍攝復(fù)數(shù)種細(xì)胞圖像。細(xì)胞圖像的種類根據(jù)細(xì)胞圖像拍攝所用的觀察法來區(qū)分。觀察法的不同會(huì)對(duì)觀察對(duì)象的視覺結(jié)果——即細(xì)胞圖像中細(xì)胞影像的呈現(xiàn)方式有影響。例如,觀察法包括顯微鏡觀察所使用的各種觀察法。例如,觀察法包括相差顯微鏡觀察法、暗視野觀察法、暗視野觀察法、以及微分干涉差顯微鏡觀察法。依據(jù)觀察法來分類細(xì)胞圖像時(shí),細(xì)胞圖像例如被分類為位相差影像、暗視野影像、暗視野影像、微分干涉差影像。位相差影像是根據(jù)相差顯微鏡觀察法這一利用了觀察對(duì)象細(xì)胞中通過的光的位相差的方法所拍攝出的圖像。位相差影像中有觀察對(duì)象內(nèi)側(cè)看起來較暗而輪廓附近看起來較亮的暗反差位相差影像、以及觀察對(duì)象內(nèi)側(cè)看起來較亮而輪廓附近看起來較暗的明反差位相差影像。暗視野影像是根據(jù)觀察來自觀察對(duì)象細(xì)胞的散射光的暗視野觀察法所拍攝出的圖像。明視野影像是根據(jù)明視野觀察法,即將觀察對(duì)象細(xì)胞中的光吸收率的差所對(duì)應(yīng)的透射光強(qiáng)度作為圖像中的反差反映出來的明視野觀察法,所拍攝出的圖像。微分干涉差影像是根據(jù)利用了光的偏振性和干涉性的微分干涉差顯微鏡觀察法所拍攝出的圖像。各觀察法分別用不同的光學(xué)系統(tǒng)進(jìn)行觀察。另外,細(xì)胞圖像的種類不限于以上所述。
同一細(xì)胞以不同觀察法觀察時(shí),細(xì)胞的視覺結(jié)果是不一樣的。比如,在位相差影像中,有時(shí)細(xì)胞的輪廓附近較明亮,細(xì)胞越大,細(xì)胞中心附近就會(huì)越暗。在暗視野影像中,在細(xì)胞核附近等位置處,光容易出現(xiàn)散射,因此散射光較強(qiáng)較亮。明視野影像與暗視野影像相反,在細(xì)胞核附近等位置處,光難以透射,因此透射光較弱較暗。微分干涉差影像則是具有立體感的圖像。
如此,在根據(jù)不同觀察法所拍攝出的復(fù)數(shù)種細(xì)胞圖像中,即使拍攝的是同一細(xì)胞,圖像中的細(xì)胞影像的呈現(xiàn)方式也是不一樣的。細(xì)胞拍攝系統(tǒng)100利用了這一點(diǎn),其用不同觀察法拍攝出的復(fù)數(shù)的細(xì)胞圖像來確定細(xì)胞區(qū)域。
以下使用兩種細(xì)胞圖像作為觀察法不同的復(fù)數(shù)的細(xì)胞圖像,但也可以使用三種或四種以上的細(xì)胞圖像。兩種細(xì)胞圖像的組合例如可以采用以下任意一種組合:位相差影像與暗視野影像、位相差影像與明視野影像、位相差影像與微分干涉差影像、暗視野影像與明視野影像、暗視野影像與微分干涉差影像、以及明視野影像與微分干涉差影像。
三種細(xì)胞圖像的組合例如可以采用以下任意一種組合:位相差影像與暗視野影像與明視野影像、位相差影像與暗視野影像與微分干涉差影像、位相差影像與明視野影像與微分干涉差影像、暗視野影像與明視野影像與微分干涉差影像。四種細(xì)胞圖像的組合例如可以采用位相差影像與暗視野影像與明視野影像與微分干涉差影像的組合。在上述各種組合中,位相差影像可以使用暗反差位相差影像,也可以使用明反差位相差影像。上述各組合中也可以包括兩種位相差影像,即包括暗反差位相差影像和明反差位相差影像兩者。
下面說明用位相差影像和暗視野影像作為兩種細(xì)胞圖像的組合的情況。位相差影像采用的是暗反差位相差影像。以下將根據(jù)需要稱相差顯微鏡觀察法為第一觀察法,稱暗視野觀察法為第二觀察法。以第一觀察法拍攝細(xì)胞所獲得的位相差影像被稱為第一細(xì)胞圖像,以第二觀察法拍攝細(xì)胞所獲得的暗視野影像被稱為第二細(xì)胞圖像。
(1.2拍攝部件)
拍攝部件10能夠以第一觀察法即相差顯微鏡觀察法拍攝細(xì)胞,生成第一細(xì)胞圖像,以第二觀察法即暗視野觀察法拍攝同一細(xì)胞,生成第二細(xì)胞圖像。拍攝部件10具有用于放置觀察對(duì)象的放置部件130和用于拍攝觀察對(duì)象的拍攝元件140。放置部件130例如是從下方支撐細(xì)胞的培養(yǎng)容器30的承載臺(tái)。拍攝元件140比如由拍攝彩色圖像的ccd圖像傳感器構(gòu)成。拍攝元件140配置于放置部件130下方。
拍攝部件10有第一光學(xué)系統(tǒng)110和第二光學(xué)系統(tǒng)120。第一光學(xué)系統(tǒng)110是相差顯微鏡觀察用光學(xué)系統(tǒng)。第二光學(xué)系統(tǒng)120是暗視野觀察用光學(xué)系統(tǒng)。拍攝放置在放置部件130的觀察對(duì)象時(shí),選擇性地切換復(fù)數(shù)個(gè)光學(xué)系統(tǒng)110、120。即,拍攝第一細(xì)胞圖像時(shí),如圖1b所示,進(jìn)行切換以使第一光學(xué)系統(tǒng)110移動(dòng)到放置部件130的位置,拍攝第二細(xì)胞圖像時(shí),如圖1a所示,進(jìn)行切換以使第二光學(xué)系統(tǒng)120移動(dòng)到放置部件130的位置。用于拍攝的光學(xué)系統(tǒng)110和120的切換作業(yè)可以手動(dòng)進(jìn)行,也可以在處理部件200的控制下自動(dòng)進(jìn)行。
如圖2a所示,相差顯微鏡觀察用的第一光學(xué)系統(tǒng)110具有照射用光學(xué)系統(tǒng)111和受光用光學(xué)系統(tǒng)116。拍攝位相差影像時(shí),照射用光學(xué)系統(tǒng)111配置在放置部件130上方,并從觀察對(duì)象300上方照射光。受光用光學(xué)系統(tǒng)116配置在放置部件130下方,其接受來自觀察對(duì)象300的光。照射用光學(xué)系統(tǒng)111具有光源112、位相環(huán)113和聚光透鏡114。受光用光學(xué)系統(tǒng)116具有物鏡117和位相板118。另外,在圖2a中描繪的是放置部件130和觀察對(duì)象300的簡(jiǎn)要結(jié)構(gòu)。
來自光源112的光被位相環(huán)113收窄,然后通過聚光透鏡114到達(dá)觀察對(duì)象300。通過觀察對(duì)象300后的光分為直射光和衍射光。衍射光在觀察對(duì)象300中折射率不同的部位產(chǎn)生。相較于直射光,在觀察對(duì)象300產(chǎn)生的衍射光具有約1/4波長的相位延遲。直射光與衍射光分別通過物鏡117和位相板118并到達(dá)拍攝元件140。通過觀察對(duì)象300后的直射光被物鏡117聚集,在位相板118,位相錯(cuò)開1/4波長。直射光的位相在位相板118比如提前1/4波長。因此,直射光與衍射光的位相差為1/2波長,在直射光與衍射光互相干涉的部分,直射光因其與衍射光的干涉而強(qiáng)度減弱,變暗。直射光與衍射光相互干涉的位置是在觀察對(duì)象300內(nèi)部,因此,在暗反差位相差影像中,觀察對(duì)象300的內(nèi)部比背景部分看起來要暗。此外,觀察對(duì)象300的輪廓出現(xiàn)被稱為光暈的亮邊。因此,位相差影像是觀察對(duì)象300的輪廓等較明亮的圖像。另外,可以通過在位相板118上設(shè)置用于吸收光的中性密度濾光鏡(neutraldensity)(nd)來進(jìn)一步降低直射光的強(qiáng)度。設(shè)置nd鏡就能使觀察對(duì)象300內(nèi)部更暗,提高反差。在來自光源112的光——比如激光的強(qiáng)度較強(qiáng)時(shí),在位相板118上設(shè)置nd鏡會(huì)特別有用。
如圖2b所示,暗視野觀察用的第二光學(xué)系統(tǒng)120具有照射用光學(xué)系統(tǒng)和受光用光學(xué)系統(tǒng)。在實(shí)施方式中,照射用光學(xué)系統(tǒng)和受光用光學(xué)系統(tǒng)設(shè)為一體,且配置于放置部件130下方。第二光學(xué)系統(tǒng)120具有的照射用光學(xué)系統(tǒng)為光源122、環(huán)形光圈123、環(huán)形鏡124、環(huán)形聚光透鏡125。第二光學(xué)系統(tǒng)120具有的受光用光學(xué)系統(tǒng)是物鏡126和127。
拍攝暗視野影像時(shí),照射用光學(xué)系統(tǒng)從觀察對(duì)象下方——即培養(yǎng)容器30的底面一側(cè)照射光。即,來自光源122的光在環(huán)形光圈123作用下成為環(huán)形光束,并被環(huán)形鏡124反射到觀察對(duì)象一側(cè),通過環(huán)形聚光透鏡125,到達(dá)觀察對(duì)象。
受光用光學(xué)系統(tǒng)在觀察對(duì)象下方——即培養(yǎng)容器30的底面一側(cè)接受來自觀察對(duì)象的散射光。即,來自觀察對(duì)象的散射光通過物鏡126、127并到達(dá)拍攝元件140。散射光在細(xì)胞核附近等處較強(qiáng)。因此,暗視野影像是細(xì)胞中心附近較為明亮的圖像。
如圖3所示,放置部件130上設(shè)有上下貫通的貫通孔130a,以使得拍攝元件140能夠從下方拍攝。另外,放置部件130只要保證光能夠向下透過即可,例如其也可以部分或全部由透明材料制成。
放置部件130上放置的培養(yǎng)容器30宜使用透明材料制成的、能夠密封以使內(nèi)部的無菌狀態(tài)能得以維持的容器。圖3所示培養(yǎng)容器30有上部有開口的容器主體31和用于密封上部開口的蓋32。容器主體31內(nèi)存在著觀察對(duì)象細(xì)胞300和培養(yǎng)基310。培養(yǎng)基310以液體為宜。
要在保持無菌狀態(tài)的前提下進(jìn)行細(xì)胞拍攝,拍攝時(shí)就不能取下培養(yǎng)容器30的蓋32。因此,假如透鏡125、126配置在培養(yǎng)容器30上方,在蓋32的妨礙下,無法使透鏡125、126位于蓋32之下。因此,有時(shí)無法讓透鏡125、126充分接近細(xì)胞300。透鏡125、126不能充分接近細(xì)胞300的話,在某些條件下可能無法拍攝到鮮明的圖像。相對(duì)于此,透鏡125、126配置在培養(yǎng)容器30底面一側(cè)時(shí),不會(huì)出現(xiàn)蓋32造成妨礙的問題。而且,當(dāng)放置部件130設(shè)有貫通孔130a時(shí),通過使照射用光學(xué)系統(tǒng)的聚光透鏡125和受光用光學(xué)系統(tǒng)的物鏡126進(jìn)入貫通孔130a內(nèi)就能使透鏡125、126進(jìn)一步接近細(xì)胞300。
(1.3處理裝置)
處理裝置20由計(jì)算機(jī)構(gòu)成。如圖1a所示,處理裝置20具有處理部件200。處理部件200有cpu210和存儲(chǔ)部件220。存儲(chǔ)部件220中存有供cpu210執(zhí)行的計(jì)算機(jī)程序。通過執(zhí)行計(jì)算機(jī)程序,處理部件200至少實(shí)施圖4所示處理。處理裝置20還可以有顯示部件230和輸入部件等。
處理部件200所進(jìn)行的處理包括對(duì)細(xì)胞圖像的圖像處理。圖像處理包括在細(xì)胞圖像中確定細(xì)胞存在的區(qū)域的處理,即確定細(xì)胞區(qū)域的處理。處理部件200也可以用圖像處理所獲得的圖像進(jìn)行分析處理。分析處理比如包括細(xì)胞特征量的提取、基于特征量的細(xì)胞分析。處理部件200還能夠?qū)ε臄z部件10進(jìn)行控制。處理部件200能夠使顯示部件230顯示圖像處理所獲得的圖像和分析處理的結(jié)果。
處理部件200根據(jù)拍攝部件10所生成的細(xì)胞圖像進(jìn)行圖像處理。作為處理對(duì)象的細(xì)胞圖像例如可以是通過網(wǎng)絡(luò)傳送的、保存在存儲(chǔ)部件220的細(xì)胞圖像,也可以是通過移動(dòng)存儲(chǔ)介質(zhì)保存到存儲(chǔ)部件220的細(xì)胞圖像。
在實(shí)施方式中,處理部件200所進(jìn)行的處理包括:第一細(xì)胞區(qū)域確定處理221、第二細(xì)胞區(qū)域確定處理222、噪聲除去處理223、圖像合成處理224、孔洞填充處理225、以及特征提取和分析處理226。下面根據(jù)圖4說明這些處理。
(2.處理裝置進(jìn)行的處理)
如圖4所示,處理部件200在步驟s111從拍攝部件10獲取位相差影像,即第一細(xì)胞圖像。處理部件200在步驟s121從拍攝部件10獲取暗視野影像,即第二細(xì)胞圖像。處理部件200將獲取的圖像保存到存儲(chǔ)部件220。先進(jìn)行步驟s111或步驟s121都是可以的。
圖5是第一細(xì)胞圖像的例示,圖6是第二細(xì)胞圖像的例示。為方便起見,作為附圖顯示的圖5、6采用的是黑白圖像,但實(shí)施方式中的第一細(xì)胞圖像和第二細(xì)胞圖像為彩色圖像。
處理部件200進(jìn)行針對(duì)第一細(xì)胞圖像的圖像處理和針對(duì)第二細(xì)胞圖像的圖像處理。針對(duì)兩圖像的圖像處理中的哪一處理在前都是可以的。
處理部件200在步驟s112r、112g和s112b進(jìn)行第一處理,即第一細(xì)胞區(qū)域確定處理221,并將其作為針對(duì)第一細(xì)胞圖像的圖像處理。在第一細(xì)胞區(qū)域確定處理221中確定第一細(xì)胞圖像中的細(xì)胞區(qū)域,即第一細(xì)胞區(qū)域。例如通過圖像的二值化處理來確定第一細(xì)胞圖像中的細(xì)胞區(qū)域。
分別對(duì)構(gòu)成彩色第一細(xì)胞圖像的紅色圖像(r圖像)、綠色圖像(g圖像)和藍(lán)色圖像(b圖像)進(jìn)行第一細(xì)胞區(qū)域確定處理221。即,在步驟s112r對(duì)r圖像進(jìn)行二值化處理,在步驟s112g對(duì)g圖像進(jìn)行二值化處理,在步驟s112b對(duì)b圖像進(jìn)行二值化處理。步驟s112r、112g和s112b中的哪一者在先進(jìn)行都是可以的。
在步驟s112r、112g和s112b分別用與像素的亮度相關(guān)的兩個(gè)閾值進(jìn)行二值化處理。兩個(gè)閾值是第一閾值和比第一閾值小的第二閾值。第一閾值是利用在位相差影像中細(xì)胞輪廓附近會(huì)變明亮這一現(xiàn)象來提取其輪廓附近的明亮部分來作為細(xì)胞區(qū)域的值。第二閾值是利用在位相差影像中細(xì)胞中心附近會(huì)變暗這一現(xiàn)象來提取其中心附近的較暗的部分的值。如此,使用兩個(gè)閾值這一做法利用了在第一細(xì)胞圖像這一位相差影像中細(xì)胞影像主要由比背景區(qū)域明亮的部分和暗的部分構(gòu)成這一現(xiàn)象,可參照?qǐng)D5。
在針對(duì)第一細(xì)胞圖像的二值化處理中,rgb各圖像中比第一閾值亮度高的區(qū)域和比第二閾值亮度低的區(qū)域分別成為表示第一細(xì)胞區(qū)域的值(例如“1”)。而亮度在第一閾值和第二閾值之間的區(qū)域成為表示非細(xì)胞區(qū)域的值(例如“0”)。另外,典型的非細(xì)胞區(qū)域有拍攝培養(yǎng)基310而得到的區(qū)域。
第一閾值和第二閾值可以通過構(gòu)成第一細(xì)胞圖像的rgb各圖像中亮度的統(tǒng)計(jì)處理來確定。例如,統(tǒng)計(jì)處理包括求出構(gòu)成各圖像的像素亮度的平均值μ1和標(biāo)準(zhǔn)偏差σ1的處理。第一閾值比如可采用μ1+2σ1,第二閾值比如可采用μ1-2σ1。就rgb各圖像分別獨(dú)立進(jìn)行統(tǒng)計(jì)處理,所以就rgb各圖像,獨(dú)立確定第一閾值和第二閾值的值。因此,就rgb各圖像來說兩個(gè)閾值是恰當(dāng)?shù)摹?/p>
二值化處理所確定的第一細(xì)胞區(qū)域包括很多第一噪聲區(qū)域,第一噪聲區(qū)域并非真正的細(xì)胞區(qū)域。處理部件200在步驟s113r、113g、113b對(duì)經(jīng)二值化處理后的rgb各圖像進(jìn)行噪聲除去處理223。噪聲除去處理223中,根據(jù)區(qū)域的大小識(shí)別第一細(xì)胞區(qū)域中所包含的第一噪聲區(qū)域,并從第一細(xì)胞區(qū)域中除去較小的第一噪聲區(qū)域。除去較小的噪聲區(qū)域時(shí)利用了二值化處理后的圖像中的第一細(xì)胞區(qū)域的面積的統(tǒng)計(jì)處理。
如圖7所示,為除去噪聲,處理部件200在步驟s201求出二值化處理后的圖像中的復(fù)數(shù)個(gè)第一細(xì)胞區(qū)域各自的面積。在步驟s202,處理部件200求出面積的平均值μ2和標(biāo)準(zhǔn)偏差σ2。在步驟s203中,處理部件200將第一細(xì)胞區(qū)域中面積小于用于識(shí)別噪聲區(qū)域的閾值(噪聲識(shí)別用閾值)的區(qū)域識(shí)別出來作為噪聲區(qū)域。噪聲識(shí)別用閾值例如定為μ2-2σ2。處理部件200在步驟s204從第一細(xì)胞區(qū)域除去噪聲區(qū)域。要除去噪聲區(qū)域,例如,只要在二值化處理后的圖像中使噪聲區(qū)域的亮度值成為表示非細(xì)胞區(qū)域的值(如“0”)即可。
從步驟s205的重復(fù)條件可知,從步驟s201到步驟s204的處理重復(fù)復(fù)數(shù)次(例如10次)。每重復(fù)一次就重新計(jì)算平均值μ2和標(biāo)準(zhǔn)偏差σ2,重新確定噪聲識(shí)別用閾值。因此,每重復(fù)一次,噪聲區(qū)域就會(huì)減少一些。
在步驟s113r、113g、113b對(duì)二值化處理后的rgb各圖像分別進(jìn)行噪聲除去處理223,因此識(shí)別噪聲區(qū)域的精確度得以提高。即,在真正的細(xì)胞區(qū)域中,rgb各色中有明暗的共通性變化,而與此相對(duì)地,噪聲區(qū)域則容易在rgb各色中獨(dú)立產(chǎn)生。因此,在rgb各圖像中識(shí)別噪聲區(qū)域的做法使噪聲區(qū)域得以細(xì)分,更易于根據(jù)區(qū)域大小識(shí)別噪聲區(qū)域。
在步驟s114,處理部件200對(duì)進(jìn)行了噪聲除去處理的二值化rgb各圖像進(jìn)行合成。通過疊加二值化rgb各圖像來進(jìn)行合成。例如可以如下進(jìn)行疊加:使二值化rgb各圖像的任意一者中成為表示第一細(xì)胞區(qū)域的值(例如“1”)的像素在合成圖像中成為表示第一細(xì)胞區(qū)域的值,使其他像素成為表示非細(xì)胞區(qū)域的值(例如“0”)。
處理部件200對(duì)第二細(xì)胞圖像這一暗視野影像也進(jìn)行與第一細(xì)胞圖像的處理同樣的圖像處理。在步驟s122r、122g和s122b,處理部件200進(jìn)行第二處理,即第二細(xì)胞區(qū)域確定處理222,并將其作為第二細(xì)胞圖像的圖像處理。在第二細(xì)胞區(qū)域確定處理222,確定第二細(xì)胞圖像中的細(xì)胞區(qū)域,即第二細(xì)胞區(qū)域。例如,通過圖像的二值化處理來確定第二細(xì)胞圖像中的細(xì)胞區(qū)域。對(duì)構(gòu)成彩色第二細(xì)胞圖像的紅色圖像(r圖像)、綠色圖像(g圖像)和藍(lán)色圖像(b圖像)分別進(jìn)行第二細(xì)胞區(qū)域確定處理222。
在步驟s123r、123g、123b,處理部件200對(duì)經(jīng)二值化處理后的rgb各圖像進(jìn)行噪聲除去處理223。按照?qǐng)D7所示順序?qū)gb各圖像進(jìn)行噪聲除去處理223。處理部件200在步驟s124合成進(jìn)行了噪聲除去處理后的二值化rgb各圖像。通過疊加二值化的rgb各圖像來進(jìn)行合成。例如可以如下進(jìn)行疊加:使二值化rgb各圖像的任意一者中成為了表示第二細(xì)胞區(qū)域的值(例如“1”)的像素在合成圖像中成為表示第二細(xì)胞區(qū)域的值,使其他像素成為表示非細(xì)胞區(qū)域的值(例如“0”)。
除用于二值化的閾值外,第二細(xì)胞圖像的具體圖像處理均與第一細(xì)胞圖像的圖像處理相同。步驟s122r、122g和122b中第二細(xì)胞圖像的二值化處理是用與像素亮度相關(guān)的一個(gè)第三閾值來進(jìn)行的。如圖6所示,第三閾值是利用暗視野影像中細(xì)胞影像變明亮的現(xiàn)象來提取明亮部分作為細(xì)胞區(qū)域的閾值。
在第二細(xì)胞圖像的二值化處理中,rgb各圖像中亮度高于第三閾值的區(qū)域成為表示第二細(xì)胞區(qū)域的值(例如“1”)。而亮度低于第三閾值的區(qū)域成為表示非細(xì)胞區(qū)域的值(例如“0”)。
可以通過構(gòu)成第二細(xì)胞圖像的rgb各圖像中亮度的統(tǒng)計(jì)處理來確定第三閾值。例如,統(tǒng)計(jì)處理包括求出構(gòu)成各圖像的像素亮度的平均值μ1和標(biāo)準(zhǔn)偏差σ1的處理。第三閾值比如可以采用μ1+2σ1。對(duì)rgb各圖像分別獨(dú)立進(jìn)行統(tǒng)計(jì)處理,所以在rgb各圖像中獨(dú)立確定第三閾值的值。因此,第三閾值在rgb各圖像中是恰當(dāng)?shù)摹A硗?,與第一細(xì)胞圖像用的第一閾值和第二閾值分開來,另行確定第三閾值,因此第三閾值是適合第二細(xì)胞圖像用的閾值。
處理部件200在步驟s105進(jìn)行圖像合成處理224并將其作為第三處理。在圖像合成處理224中,生成疊加步驟s114獲得的圖像中的第一細(xì)胞區(qū)域和步驟s124獲得的圖像中的第二細(xì)胞區(qū)域而得到的合成圖像。步驟s105中生成的合成圖像是表現(xiàn)疊加第一細(xì)胞區(qū)域和第二細(xì)胞區(qū)域所得到的合成細(xì)胞區(qū)域的圖像。合成細(xì)胞區(qū)域由屬于第一細(xì)胞區(qū)域和第二細(xì)胞區(qū)域的至少其中之一的區(qū)域構(gòu)成。在合成圖像中,合成細(xì)胞區(qū)域所包括的像素的值例如為“1”,合成細(xì)胞區(qū)域以外的區(qū)域所包括的像素的值例如為“0”。
處理部件200在步驟s106進(jìn)行孔洞填充處理225。在孔洞填充處理225中,有時(shí)在一個(gè)合成細(xì)胞區(qū)域內(nèi)會(huì)出現(xiàn)成為表示合成細(xì)胞區(qū)域以外的區(qū)域的值的部分。這種部分在圖像處理中稱為“孔洞”??锥刺畛涮幚?25就是要除去孔洞。通過孔洞填充處理225,孔洞所對(duì)應(yīng)的像素的值成為表示合成細(xì)胞區(qū)域的值。例如可以通過形態(tài)學(xué)處理來進(jìn)行孔洞填充處理225。利用形態(tài)學(xué)處理,通過合成細(xì)胞區(qū)域的膨脹和收縮來填充合成細(xì)胞區(qū)域中的孔洞。
處理部件200在步驟s107提取所拍攝的細(xì)胞的特征量?;诓襟Es106處理后的合成圖像提取特征量。特征量例如是細(xì)胞的大小、周長、平均直徑、最大直徑和最小直徑。處理部件200在步驟s108對(duì)所拍攝的細(xì)胞進(jìn)行分析。分析包括基于細(xì)胞特征量的形態(tài)分析。分析也可以包括對(duì)細(xì)胞分化的評(píng)價(jià)。細(xì)胞分析還可以包括對(duì)合成圖像中的細(xì)胞數(shù)目的計(jì)數(shù),即對(duì)合成細(xì)胞區(qū)域數(shù)的計(jì)數(shù)。
圖8顯示了處理部件200依據(jù)圖5所示第一細(xì)胞圖像和圖6所示第二細(xì)胞圖像生成的合成圖像8a。在圖8中,圖5所示第一細(xì)胞圖像中的關(guān)注區(qū)域5a和圖6所示第二細(xì)胞圖像中的關(guān)注區(qū)域6a被放大顯示。關(guān)注區(qū)域5a和關(guān)注區(qū)域6a是拍攝同一細(xì)胞所獲得的區(qū)域。合成圖像8a顯示的是疊加關(guān)注區(qū)域5a中的第一細(xì)胞區(qū)域和關(guān)注區(qū)域6a中的第二細(xì)胞區(qū)域所得到的合成細(xì)胞區(qū)域。
在圖8中,關(guān)于關(guān)注區(qū)域5a,用白線表示對(duì)第一細(xì)胞圖像進(jìn)行截止至步驟s114的處理所確定的第一細(xì)胞區(qū)域的輪廓。同樣,關(guān)于關(guān)注區(qū)域6a,用白線表示對(duì)第二細(xì)胞圖像進(jìn)行截止至步驟s124的處理所確定的第二細(xì)胞區(qū)域的輪廓。此外,關(guān)于合成圖像8a,用白線表示截止至步驟s105的圖像合成作業(yè)所確定的合成細(xì)胞區(qū)域的輪廓。在圖8中,將通過肉眼觀察后人工確定的細(xì)胞輪廓的參考圖像8b顯示出來以供參考。
在第一細(xì)胞圖像這一位相差影像中,從關(guān)注區(qū)域5a也可以看出,沿著細(xì)長細(xì)胞的縱長方向形成的輪廓形狀易作為第一細(xì)胞區(qū)域出現(xiàn),而細(xì)胞的橫寬方向上易出現(xiàn)第一細(xì)胞區(qū)域斷開的情況。因此,處理部件200將一個(gè)細(xì)胞識(shí)別為復(fù)數(shù)個(gè)斷開的第一細(xì)胞區(qū)域的可能性較高。圖9(a)顯示了處理部件200計(jì)數(shù)依據(jù)第一細(xì)胞圖像所確定的第一細(xì)胞區(qū)域的數(shù)目后得到的數(shù)目(自動(dòng)識(shí)別數(shù)目)和肉眼觀察第一細(xì)胞圖像并計(jì)數(shù)細(xì)胞數(shù)目后得到的數(shù)目(肉眼觀察識(shí)別數(shù)目)的關(guān)系。如圖9(a)所示,第一細(xì)胞圖像這一位相差影像存在自動(dòng)識(shí)別數(shù)目比肉眼觀察識(shí)別數(shù)目多的傾向。如此,根據(jù)位相差影像確定細(xì)胞區(qū)域,則有可能會(huì)將一個(gè)細(xì)胞識(shí)別為復(fù)數(shù)個(gè)斷開的第一細(xì)胞區(qū)域,預(yù)估出的細(xì)胞數(shù)較實(shí)際多。
在第二細(xì)胞圖像這一暗視野影像中,從關(guān)注區(qū)域6a也可以看出,細(xì)胞中心附近被識(shí)別為第二細(xì)胞區(qū)域,但在第二細(xì)胞區(qū)域容易失去細(xì)胞縱長方向的形狀。因此,第二細(xì)胞區(qū)域容易失去細(xì)胞整體形狀的信息。但第二細(xì)胞圖像這一暗視野影像適于細(xì)胞數(shù)目的自動(dòng)識(shí)別。圖9(b)顯示了處理部件200計(jì)數(shù)依據(jù)第二細(xì)胞圖像所確定的第二細(xì)胞區(qū)域的數(shù)目所得到的數(shù)目(自動(dòng)識(shí)別數(shù)目)和肉眼觀察第二細(xì)胞圖像并計(jì)數(shù)細(xì)胞數(shù)目后得到的數(shù)目(肉眼觀察識(shí)別數(shù)目)的關(guān)系。如圖9(b)所示,第二細(xì)胞圖像這一暗視野影像的自動(dòng)識(shí)別數(shù)目和肉眼觀察識(shí)別數(shù)目相關(guān)性高,其適于用來掌握正確的細(xì)胞數(shù)目。
因此,在易保持細(xì)胞整體形狀信息的第一細(xì)胞區(qū)域上疊加區(qū)域不易斷開的第二細(xì)胞區(qū)域所得到的合成細(xì)胞區(qū)域中,如合成圖像8a所示,第一細(xì)胞區(qū)域中區(qū)域斷開處因第二細(xì)胞區(qū)域而得以連接??梢钥闯觯铣蓤D像8a中的細(xì)胞輪廓比關(guān)注區(qū)域5a、6a中的細(xì)胞輪廓更接近肉眼觀察得到的參考圖像8b中的輪廓,其更恰當(dāng)?shù)卮_定了細(xì)胞區(qū)域。
圖10顯示了與圖5不同的位相差影像(第一細(xì)胞圖像),圖11顯示了與圖6不同的暗視野影像(第二細(xì)胞圖像)。圖10和圖11是拍攝同一細(xì)胞所得到的。圖12顯示了由圖10中關(guān)注區(qū)域10a和圖11中的關(guān)注區(qū)域11a生成的合成圖像12a和參考圖像12b。
在圖12中,關(guān)于關(guān)注區(qū)域10a,同樣用白線表示對(duì)第一細(xì)胞圖像進(jìn)行截止至步驟s114的處理所確定的第一細(xì)胞區(qū)域的輪廓。同樣,關(guān)于關(guān)注區(qū)域11a,用白線表示對(duì)第二細(xì)胞圖像進(jìn)行截止至步驟s124的處理所確定的第二細(xì)胞區(qū)域的輪廓。關(guān)于合成圖像12a,同樣用白線表示截止至步驟s105的圖像合成作業(yè)所確定的合成細(xì)胞區(qū)域的輪廓。關(guān)于參考圖像12b,用黑線表示通過肉眼觀察人工確定的細(xì)胞輪廓。
可以看出,合成圖像12a中的細(xì)胞輪廓比關(guān)注區(qū)域10a、11b中的細(xì)胞輪廓更接近肉眼觀察所獲得的參考圖像12b中的輪廓,其更恰當(dāng)?shù)卮_定了細(xì)胞區(qū)域。
如此,基于不同的觀察法——即位相差顯微鏡觀察法和暗視野觀察法拍攝出復(fù)數(shù)的細(xì)胞圖像,并根據(jù)復(fù)數(shù)的細(xì)胞圖像確定細(xì)胞區(qū)域時(shí),與根據(jù)其中一種細(xì)胞圖像確定細(xì)胞區(qū)域的做法相比,進(jìn)一步用根據(jù)另一種細(xì)胞圖像所確定的細(xì)胞區(qū)域進(jìn)行完善,因此此時(shí)能夠更恰當(dāng)?shù)卮_定細(xì)胞區(qū)域。此技術(shù)點(diǎn)不限于用位相差影像和暗視野影像作為復(fù)數(shù)的細(xì)胞圖像這一種情形,其也適用于根據(jù)基于其他觀察法的復(fù)數(shù)的細(xì)胞圖像來確定細(xì)胞區(qū)域的情形。
在上述實(shí)施方式中,就復(fù)數(shù)的細(xì)胞圖像分別求出細(xì)胞區(qū)域后,疊加復(fù)數(shù)個(gè)細(xì)胞區(qū)域,由此確定最終的細(xì)胞區(qū)域,但也可以依據(jù)合成復(fù)數(shù)的細(xì)胞圖像所得到的單張合成圖像確定細(xì)胞區(qū)域。此時(shí),合成復(fù)數(shù)的細(xì)胞圖像,使復(fù)數(shù)的細(xì)胞圖像的細(xì)胞影像分別重疊出現(xiàn)。例如,如果將第一細(xì)胞圖像的透明度參數(shù)設(shè)定為半透明的值,再將半透明的第一細(xì)胞圖像重疊于第二細(xì)胞圖上合成圖像,則在合成圖像上,第一細(xì)胞圖像中的細(xì)胞影像和第二細(xì)胞圖像中的細(xì)胞影像重疊出現(xiàn)。對(duì)這種合成圖像進(jìn)行二值化處理等就能確定細(xì)胞的區(qū)域。
編號(hào)說明
10拍攝部件
20處理裝置
120暗視野觀察用光學(xué)系統(tǒng)
100細(xì)胞拍攝系統(tǒng)
200處理部件