分析系統(tǒng)、分析程序和分析方法
【專利摘要】本發(fā)明涉及分析系統(tǒng)、分析程序和分析方法。該分析系統(tǒng)包括特征值計算單元。該特征值計算單元被配置為每個時間范圍計算特征值，該特征值表示在其中分析目標(biāo)隨時間推移成像的目標(biāo)視頻圖像中的移動量的特征。
【專利說明】分析系統(tǒng)、分析程序和分析方法
[0001]相關(guān)申請的交叉參考
[0002]本申請要求提交于2013年2月14日的日本在先專利申請JP2013-027045和提交于2013年9月5日的日本在先專利申請JP2013-184034的利益，該兩個申請每個的全部內(nèi)容通過引用結(jié)合到本文。
【技術(shù)領(lǐng)域】
[0003]本公開內(nèi)容涉及用于分析隨時間推移成像的分析目標(biāo)的視頻圖像的分析系統(tǒng)、分析程序和分析方法。
【背景技術(shù)】
[0004]借助創(chuàng)造iPS細(xì)胞(參見日本專利申請公開N0.2011-188860)，再生醫(yī)學(xué)、組織工程、細(xì)胞工程等領(lǐng)域中已做出顯著進步。結(jié)果，評估細(xì)胞狀態(tài)以及評估藥物對細(xì)胞的效果和影響的需求增長。特別地，關(guān)于神經(jīng)細(xì)胞，用于由胚胎干細(xì)胞例如iPS細(xì)胞形成神經(jīng)細(xì)胞的方法已建立(參見日本專利申請公開N0.2006-525210)，并存在用于分析神經(jīng)細(xì)胞的有效方法的需求。
[0005]已作為用于分析細(xì)胞的方法，已研究了分析隨時間推移成像的作為分析目標(biāo)的細(xì)胞的視頻圖像并基于可從該視頻圖像獲得的信息分析細(xì)胞的方法。例如，在含有一些細(xì)胞的視頻圖像中檢測運動矢量，并評估視頻圖像中含有的細(xì)胞的移動協(xié)同性的圖像處理器已在日本專利申請公開N0.2012-105631 (在下文中稱為專利文獻(xiàn)I)中披露。

【發(fā)明內(nèi)容】

[0006]然而，在專利文獻(xiàn)I中描述的圖像處理器被配置為從視頻圖像計算一個評估值，但不能評估隨時間推移的視頻圖像中細(xì)胞移動。本發(fā)明人新發(fā)現(xiàn)一種分析技術(shù)，其能夠在隨時間推移成像的分析目標(biāo)例如細(xì)胞的視頻圖像中評估隨時間推移的分析目標(biāo)的移動。
[0007]鑒于上述的情況，希望提供能夠從隨時間推移成像的分析目標(biāo)的視頻圖像評估隨時間推移的分析目標(biāo)的移動的分析系統(tǒng)、分析程序和分析方法。
[0008]根據(jù)本公開內(nèi)容的實施方式，提供包括特征值計算單元的分析系統(tǒng)。
[0009]特征值計算單元被配置為對每個時間范圍計算特征值，該特征值表示在分析目標(biāo)隨時間推移成像的目標(biāo)視頻圖像中的移動量的特征。
[0010]在目標(biāo)視頻圖像中的移動量(運動矢量)根據(jù)在目標(biāo)視頻圖像中含有的分析目標(biāo)的移動而改變。每個時間范圍的特征值表示該時間范圍的移動量的特征。因此，可以使用特征值作為指標(biāo)評估移動量的時間變化，這使得能夠評估分析目標(biāo)的運動。
[0011]分析系統(tǒng)可以進一步包括特征值顯示單元，該特征值顯示單元被配置為將特征值的時間變化或空間變化可視化。
[0012]該配置允許用戶使用特征值的可視化時間變化或空間變化，由此評估目標(biāo)的移動。[0013]分析系統(tǒng)可以包括特征值顯示單元，該特征值顯示單元被配置為將特征值的時間變化可視化，并在目標(biāo)視頻圖像上疊加特征值的可視化后的時間變化從而形成特征值顯示視頻圖像。
[0014]特征值顯示視頻圖像顯示目標(biāo)視頻圖像和隨目標(biāo)視頻圖像改變的特征值。這允許用戶通過參考由特征值代表的移動量的特征來觀察目標(biāo)視頻圖像。
[0015]分析系統(tǒng)可以進一步包括范圍指定單元，該范圍指定單元被配置為指定目標(biāo)視頻圖像的特定范圍作為計算范圍。特征值計算單元可以對每個計算范圍計算特征值。
[0016]借助該配置，特征值可以為目標(biāo)視頻圖像的每個特定范圍(計算范圍)計算。這允許對各個范圍評估分析目標(biāo)的運動。計算范圍可以是由用戶指定的范圍，或可以是目標(biāo)視頻圖像被分成多個范圍的范圍。
[0017]特征值可以是從由移動的量或方向的平均值、最大值、最小值、標(biāo)準(zhǔn)差、方差和變化系數(shù)；頻率特征值；或其組合構(gòu)成的組中選擇的至少一個。
[0018]由于上述各種特征值中的每個代表移動量的特征，因此可以使用這些特征值作為指標(biāo)來評估分析目標(biāo)的移動。另外，這可以使用這些特征值中的一個或多個。由于移動量的不同特性由不同種類的特征值代表，因此可以根據(jù)分析目標(biāo)的運動選擇適當(dāng)特征值來評估。
[0019]頻率特征值可以是從頻域分析獲得的平均強度、峰值頻率或平均功率頻率。
[0020]上述各種頻率特征值包括涉及移動量的頻率的信息，該信息可以從頻域分析例如快速傅里葉變換(FFT)、小波變換和最大熵法(MEM)獲得。因此，通過使用這些特征值作為指標(biāo)，可以按照移動量的頻率評估分析目標(biāo)的運動。另外，這可以使用這些特征值中的一個或多個。
[0021]分析目標(biāo)可以是神經(jīng)細(xì)胞。
[0022]神經(jīng)細(xì)胞的移動(振動等)可能受到被施加至神經(jīng)細(xì)胞的刺激的種類(抑制性、激勵性等)以及受到神經(jīng)網(wǎng)絡(luò)的形成狀態(tài)的影響。然而，神經(jīng)細(xì)胞的移動與心肌細(xì)胞的顫動等比較非常小，在分析中要求更高精確度。由于分析系統(tǒng)能夠使用特征值作為指標(biāo)以高精確度評估細(xì)胞的運動，因此神經(jīng)細(xì)胞可以是使用該分析系統(tǒng)的合適分析目標(biāo)。
[0023]分析系統(tǒng)可以進一步包括對象區(qū)域指定單元。
[0024]對象區(qū)域指定單元被配置為在目標(biāo)視頻圖像中包括的靜止圖像中指定分析對象區(qū)域。分析對象區(qū)域是其中分析目標(biāo)存在的區(qū)域。
[0025]在此情況下，特征值計算單元可以對目標(biāo)視頻圖像中的分析對象區(qū)域計算特征值。
[0026]該配置允許特征值計算單元在目標(biāo)視頻圖像中計算僅其中分析目標(biāo)(細(xì)胞等)存在的區(qū)域的特征值。由于不計算目標(biāo)視頻區(qū)域中分析目標(biāo)不存在的區(qū)域(細(xì)胞之間的間隔等)的特征值，因此特征值計算單元可以高速計算特征值，還可以防止產(chǎn)生噪聲。
[0027]特征值計算單元可以使用包含移動的區(qū)域計算分析對象區(qū)域中的特征值。包含移動的區(qū)域是具有等于或大于閾值的運動速度的區(qū)域。
[0028]包含移動的區(qū)域是分析目標(biāo)的具有等于或大于確定閾值的運動速度的區(qū)域，即具有較大移動的區(qū)域。一些分析目標(biāo)可能僅在其特定部分(例如神經(jīng)細(xì)胞中的神經(jīng)突)中具有較大移動。利用識別包含移動的區(qū)域的特征值計算單元，能夠提取具有較大移動的部分的運動并分析該運動。
[0029]特征值計算單元可以計算包含移動的區(qū)域?qū)Ψ治鰧ο髤^(qū)域的比率作為特征值。
[0030]包含移動的區(qū)域的比率表示分析對象區(qū)域中的多少是包含移動的區(qū)域，并且這代表分析目標(biāo)中的移動趨勢。這使得人們能夠確定例如在其中包含移動的區(qū)域的比率較大的情況下，整個分析目標(biāo)(細(xì)胞等)在振動；并且在其中包含移動的區(qū)域的比率較小的情況下，分析目標(biāo)的特定部分在振動。
[0031]特征值計算單元可以計算分析對象區(qū)域的運動速度的平均值作為特征值。
[0032]分析對象區(qū)域的運動速度的平均值代表分析目標(biāo)的整體移動。通過將限于分析對象區(qū)域的區(qū)域的運動速度求平均，可以避免將分析目標(biāo)不存在的區(qū)域(細(xì)胞之間的間隔等)的運動速度求平均。
[0033]特征值計算單元可以計算包含移動的區(qū)域的運動速度的平均值作為特征值。
[0034]包含移動的區(qū)域的運動速度的平均值代表分析目標(biāo)的一些移動部分的運動速度。例如在分析目標(biāo)中僅特定部分在強勁振動的情況下，這使得人們能夠單獨確定該特定部分的運動速度。如果計算整個分析目標(biāo)的運動速度的平均值，則一些無振動的部分的運動速度與其平均。與此相反，上述配置能夠在這樣的情況下分析。
[0035]特征值計算單元可以計算從移動量的頻域分析獲得的功率譜密度的預(yù)定頻帶的面積作為頻率特征值。
[0036]借助該配置，由于在預(yù)定頻帶的振動數(shù)據(jù)作為特征值提取，因此可以分析限于分析目標(biāo)中所關(guān)注點(例如神經(jīng)細(xì)胞中的神經(jīng)突)的頻帶。即，除所關(guān)注頻帶的振動之外的振動能夠從有待分析的目標(biāo)省略，結(jié)果，即使在分析目標(biāo)在多個頻率具有一些振動的情況下，分析仍可以有效執(zhí)行。
[0037]根據(jù)本公開內(nèi)容的另一實施方式，提供使計算機充當(dāng)特征值計算單元的分析程序。
[0038]特征值計算單元被配置為對每個時間范圍計算表示目標(biāo)視頻圖像中移動量的特征的特征值，在該目標(biāo)視頻圖像中分析目標(biāo)隨時間推移成像。
[0039]根據(jù)本公開內(nèi)容的又一實施方式提供分析方法，該分析方法包括對每個時間范圍計算表示目標(biāo)視頻圖像中移動量的特征的特征值，在該目標(biāo)視頻圖像中分析目標(biāo)隨時間推移成像。
[0040]如上描述，本公開內(nèi)容的實施方式使得可以提供能夠從隨時間推移成像的分析目標(biāo)的視頻圖像評估隨時間推移的分析目標(biāo)的移動的分析系統(tǒng)、分析程序和分析方法。
[0041]本公開內(nèi)容的這些和其他目標(biāo)、特征和優(yōu)點根據(jù)在附圖中示出的其最優(yōu)模式實施方式的以下詳細(xì)描述變得更明顯。
【專利附圖】

【附圖說明】
[0042]圖1是示出根據(jù)本公開內(nèi)容的第一實施方式的分析系統(tǒng)的配置的示意圖；
[0043]圖2是示出分析系統(tǒng)的操作的流程圖；
[0044]圖3示出分析系統(tǒng)的視頻圖像獲取單元獲得的目標(biāo)視頻圖像的例子；
[0045]圖4示出分析系統(tǒng)的范圍指定單元指定的計算范圍的例子；
[0046]圖5示出由分析系統(tǒng)的特征值計算單元計算的時間運動波形的例子；[0047]圖6是示出用于由分析系統(tǒng)的特征值計算單元計算特征值的方法的示意圖；
[0048]圖7是示出由分析系統(tǒng)的特征值計算單元計算的功率譜密度的示意圖；
[0049]圖8是示出由分析系統(tǒng)的特征值顯示單元生成特征值顯示視頻圖像的示意圖；
[0050]圖9A到9C示出由分析系統(tǒng)的特征值顯示單元生成的特征值顯示視頻圖像的例子；
[0051]圖1OA和IOB示出由分析系統(tǒng)的特征值顯示單元顯示的每個時間窗的頻率特性的例子；
[0052]圖11示出由分析系統(tǒng)的特征值顯示單元顯示的特征值表的例子；
[0053]圖12是示出根據(jù)本公開內(nèi)容的第二實施方式的分析系統(tǒng)的配置的示意圖；
[0054]圖13是示出分析系統(tǒng)的操作的流程圖；
[0055]圖14是示出由分析系統(tǒng)的對象區(qū)域指定單元指定的分析對象區(qū)域的示意圖；
[0056]圖15示出由分析系統(tǒng)的對象區(qū)域指定單元指定的分析對象區(qū)域的例子；
[0057]圖16是示出分析系統(tǒng)的運動檢測單元從分析對象區(qū)域檢測的運動速度的示意圖；
[0058]圖17是示出由分析系統(tǒng)的運動檢測單元檢測的包含移動的區(qū)域的例子；
[0059]圖18是示出由分析系統(tǒng)的特征值計算單元計算的功率譜密度的示意圖；
[0060]圖19A到19C示出表示由分析系統(tǒng)的特征值計算單元計算的特征值的例子；
[0061]圖20示出由分析系統(tǒng)的特征值顯示單元生成的特征值顯示視頻圖像的例子；
[0062]圖21示出由分析系統(tǒng)的特征值顯示單元顯示的特征值表的例子；
[0063]圖22示出由分析系統(tǒng)的特征值顯示單元顯示的特征值圖表(graph)的例子；
[0064]圖23示出由分析系統(tǒng)的特征值顯示單元顯示的特征值圖表的例子；
[0065]圖24示出由分析系統(tǒng)的特征值顯示單元顯示的用于選擇特征值的界面的例子；以及
[0066]圖25示出由分析系統(tǒng)的特征值顯示單元顯示的用于選擇特征值的界面的例子?！揪唧w實施方式】
[0067]在下文中，本公開內(nèi)容的一些實施方式參考附圖描述。
[0068](第一實施方式)
[0069]描述根據(jù)本公開內(nèi)容的第一實施方式的分析系統(tǒng)。
[0070]圖1是示出根據(jù)實施方式的分析系統(tǒng)100的配置的示意圖。圖2是示出分析系統(tǒng)100的操作的流程圖。如在圖1中示出，分析系統(tǒng)100包括視頻圖像獲取單元101、運動檢測單元102、范圍指定單元103、特征值計算單元104和特征值顯示單元105。分析系統(tǒng)100可以具有由信息處理器實現(xiàn)的功能配置。其可以由單個信息處理器或經(jīng)網(wǎng)絡(luò)連接的多個信息處理器實現(xiàn)。
[0071]視頻圖像獲取單元101獲得是用于分析的視頻圖像的“目標(biāo)視頻圖像”。“目標(biāo)視頻圖像”的非限制例子是作為隨時間推移成像的分析目標(biāo)的細(xì)胞或細(xì)胞組的視頻圖像。視頻圖像可以包括由連續(xù)成像的多個幀組成的視頻圖像、或延時成像的靜止圖像。目標(biāo)視頻圖像可以以根據(jù)分析目標(biāo)適當(dāng)設(shè)定的速率獲得。在分析目標(biāo)是神經(jīng)細(xì)胞的情況下，速率可以是50fps (幀/秒)或更低，并且可以是例如Ifpm (幀/分)。在分析目標(biāo)是心肌細(xì)胞的情況下，速率可以是150fps或更高。
[0072]目標(biāo)視頻圖像可以是通過使用各種光學(xué)成像方法、例如明場成像、暗場成像、相位差成像、熒光成像、共聚焦成像、多光子激發(fā)熒光成像、吸收光成像和散射光成像中的任何來成像獲得的方法。
[0073]圖3示出是含有多個神經(jīng)細(xì)胞的視頻圖像的目標(biāo)視頻圖像的例子。視頻圖像獲取單元101可以從成像設(shè)備(顯微鏡成像設(shè)備)(圖中未示出)獲得目標(biāo)視頻圖像，或其可以獲得在存儲器中存儲的視頻圖像或從網(wǎng)絡(luò)提供的視頻圖像作為目標(biāo)視頻圖像。此時，通過根據(jù)分析目標(biāo)類型以預(yù)定周期從預(yù)先成像的視頻圖像采樣，視頻圖像獲取單元101可以獲得目標(biāo)視頻圖像。視頻圖像獲取單元101向運動檢測單元102提供所獲得的目標(biāo)視頻圖像。
[0074]運動檢測單元102在目標(biāo)視頻圖像中檢測“移動量”(運動矢量)(圖2，stl01)。移動量可以包括在目標(biāo)視頻圖像中包括的一些幀之間彼此對應(yīng)的各個像素或像素組的隨時間推移的移動的量和方向。移動量可以由成像技術(shù)例如塊匹配來檢測。運動檢測單元102向范圍指定單元103提供所檢測的移動量。
[0075]范圍指定單元103在目標(biāo)視頻圖像中指定“計算范圍”。計算范圍是用于計算目標(biāo)視頻圖像中特征值的范圍，該特征值在后面描述。可以提供一個或多個計算范圍。圖4示出在目標(biāo)視頻圖像中指定的計算范圍的例子。由白線分割的每個范圍是計算范圍。
[0076]范圍指定單元103可以將由用戶指示的范圍指定為計算范圍，或可以將預(yù)定范圍指定為計算范圍。預(yù)定范圍可以是例如目標(biāo)視頻圖像的分成許多部分(例如I Ox IO )的范圍，如在圖4中示出。范圍指定單元103也可以將目標(biāo)視頻圖像的整個部分指定為計算范圍。范圍指定單元103向特征值計算單元104提供計算范圍和每個計算范圍的移動量。
[0077]特征值計算單元104為每個計算范圍計算“特征值”(圖2，stl02)。特征值是表示在目標(biāo)視頻圖像中各個時間范圍的移動量的特征的值。時間范圍可以是恒定時間范圍或可變時間范圍。作為具體例子，特征值計算單元104從每個計算范圍的移動量計算代表移動量時間變化的時間運動波形。圖5是時間運動波形的例子，其中橫坐標(biāo)(幀)代表目標(biāo)視頻圖像的幀，并且縱坐標(biāo)(運動)代表移動量。
[0078]特征值計算單元104可以通過使用時間運動波形計算特征值。特征值的具體例子包括顫動面積(pulsating area)(細(xì)胞面積)和移動的量或方向的平均值、最大值、最小值、標(biāo)準(zhǔn)差、方差和變差系數(shù)。特征值計算單元104在移動時間范圍時連續(xù)計算特征值，從而計算時間移動波形中的特征值。計算特征值的時間范圍可以根據(jù)特征值類型、分析目標(biāo)的運動等適當(dāng)設(shè)定。
[0079]進一步地，特征值可以包括“頻率特征值”。特征值計算單元104可以通過執(zhí)行時間運動波形的頻域分析計算頻率特征值。圖6是示出用于由特征值計算單元104計算特征值的方法的圖示。在例如預(yù)先移除DC (直流)分量以及執(zhí)行擬合等預(yù)處理后，特征值計算單元104可以在時間運動波形中設(shè)定時間窗(window),如在圖6中所示。
[0080]特征值計算單元104在移動時間窗時在該時間窗內(nèi)執(zhí)行波形的快速傅里葉變換(FFT)分析(圖2，st 103)，并從分析結(jié)果計算功率譜密度(PSD)。圖7示出功率譜密度的例子。
[0081]特征值計算單元104可以計算可從頻域分析獲得的平均強度、峰值頻率、平均功率頻率(MPF)等作為頻率特征值(圖2，stl04)。頻域分析的例子包括各種頻域分析技術(shù)，例如快速傅里葉變換(FFT)、波形變換和最大熵法(MEM)。另外，MPF是將功率譜密度分成相等面積的兩部分的頻率。圖7示出MPF，面積A和面積B在該MPF相等。特征值計算單元104向特征值顯示單元105提供所計算的特征。應(yīng)注意特征值計算單元104也可以為相同時間范圍計算多種特征值。
[0082]特征值顯示單元105將特征值的時間變化或空間變化可視化。作為具體例子，特征值顯示單元105可以將特征值可視化并在目標(biāo)視頻圖像上疊加所可視化的特征值，從而形成特征值顯示視頻圖像(圖2，stl05)。圖8是示出怎樣生成特征值顯示視頻圖像的示意圖。根據(jù)特征值的量值，特征值顯示單元105可以通過對與已計算出特征值的計算范圍對應(yīng)的每個位置應(yīng)用著色或濃淡處理而將特征值可視化。特征值顯示單元105將可視化后的特征值與已計算出特征值的時間范圍對應(yīng)的目標(biāo)視頻圖像的幀疊加，并生成特征值顯示視頻圖像。
[0083]在圖8中示出的特征值顯示視頻圖像是其中對被分成100個部分的目標(biāo)視頻圖像的每個計算范圍(見于圖4)計算MPF并且疊加到目標(biāo)視頻圖像的例子。特征值顯示單元105可以被配置為向顯示器提供所生成的特征值視頻圖像，由此允許該顯示器顯示特征值顯示視頻圖像。這允許用戶通過參考由特征值代表的移動量的特征觀察目標(biāo)視頻圖像。
[0084]特征值顯示單元105也可以通過疊加MPF之外的各種特征值生成特征值顯示視頻圖像。圖9A到圖9C示出通過將各種特征值疊加到目標(biāo)視頻圖像獲得的特征值顯示視頻圖像的例子。在圖9A、9B和9C中分別疊加的特征值是移動量的平均值、移動量的方差以及MPF (頻率)。如在這些圖中示出，不同特性可以用不同種類的特征值觀察。例如，這允許人們觀察特性，使得移動量的方差在細(xì)胞突附近相對大，并且頻率在細(xì)胞體中相對低。
[0085]另外，特征值顯示單元105可以允許上述每個時間窗的頻率特性顯示，從而將特征值的空間變化可視化(圖2，stl06)。圖1OA和圖1OB示出每個時間窗的頻率特性的例子。圖1OA示出源于iPS、用GABA處理的神經(jīng)細(xì)胞的頻率特性。圖1OB示出用谷氨酸處理的神經(jīng)細(xì)胞的頻率特性。
[0086]GABA是充當(dāng)對神經(jīng)細(xì)胞的抑制性刺激的生物活性物質(zhì)，并且用GABA處理的神經(jīng)細(xì)胞示出具有低頻率的運動(振動)。谷氨酸是充當(dāng)對神經(jīng)細(xì)胞的激勵性刺激的生物活性物質(zhì)，并且用GABA處理的神經(jīng)細(xì)胞示出具有高頻率的運動。在圖1OA中示出的頻率特性中，具有低頻率的運動被激活，這表示可檢測到GABA對神經(jīng)細(xì)胞的效果。
[0087]進一步地，特征值顯示單元105可以在表格或圖表中顯示由特征值計算單元104計算出的特征值(圖2，Stl07)。圖11是示出特征值的表格的例子。如在圖中所示，所顯示的特征值的表格或圖表使得用戶更容易得知特征值的值和趨勢。
[0088]根據(jù)此實施方式的分析系統(tǒng)100如上描述配置。分析系統(tǒng)100使得能夠使用特征值評估目標(biāo)視頻圖像中分析目標(biāo)的運動。更具體地，分析系統(tǒng)100可以用于評估生物活性物質(zhì)的效果、藥效、毒性評估、神經(jīng)細(xì)胞質(zhì)量控制、評估神經(jīng)細(xì)胞的分化狀態(tài)、鑒別具有異常網(wǎng)絡(luò)的異常細(xì)胞和區(qū)域、通過評估源于病理狀況的細(xì)胞來評估病理狀況等。
[0089]由分析系統(tǒng)100分析的分析目標(biāo)沒有特別限制。由分析系統(tǒng)100分析的合適分析目標(biāo)的例子包括神經(jīng)細(xì)胞。神經(jīng)細(xì)胞的移動(振動等)可能由施加到神經(jīng)細(xì)胞的刺激的種類(抑制性、激勵性等)以及由神經(jīng)網(wǎng)絡(luò)的形成狀態(tài)影響。然而，神經(jīng)細(xì)胞的移動與心肌細(xì)胞的顫動等比較非常小，并且在分析中要求更高的精確度。由于分析系統(tǒng)100能夠使用特征值作為指標(biāo)以高精確度評估細(xì)胞的運動，因此神經(jīng)細(xì)胞可以是使用該分析系統(tǒng)的合適分析目標(biāo)。
[0090](第二實施方式)
[0091]描述根據(jù)本公開內(nèi)容的第二實施方式的分析系統(tǒng)。
[0092]圖12是示出根據(jù)此實施方式的分析系統(tǒng)200的配置的示意圖。圖13是示出分析系統(tǒng)200的操作的流程圖。如在圖12中示出，分析系統(tǒng)200包括視頻圖像獲取單元201、對象區(qū)域指定單元202、運動檢測單元203、特征值計算單元204和特征值顯示單元205。分析系統(tǒng)200可以具有由信息處理器實現(xiàn)的功能配置。其可以由單個信息處理器或經(jīng)網(wǎng)絡(luò)連接的多個信息處理器實現(xiàn)。
[0093]視頻圖像獲取單元201獲得是用于分析的視頻圖像的“目標(biāo)視頻圖像”?！澳繕?biāo)視頻圖像”的非限制例子是作為隨時間推移成像的分析目標(biāo)的細(xì)胞或細(xì)胞組的視頻圖像。視頻圖像可以包括由連續(xù)成像的多個幀組成的視頻圖像、或延時成像的靜止圖像。目標(biāo)視頻圖像可以以根據(jù)分析目標(biāo)適當(dāng)設(shè)定的速率獲得。在分析目標(biāo)是神經(jīng)細(xì)胞的情況下，速率可以是50fps (幀/秒)或更低，并且可以是例如Ifpm (幀/分)。在分析目標(biāo)是心肌細(xì)胞的情況下，速率可以是150fps或更高。
[0094]目標(biāo)視頻圖像可以是通過使用各種光學(xué)成像方法、例如明場成像、暗場成像、相位差成像、熒光成像、共聚焦成像、多光子激發(fā)熒光成像、吸收光成像和散射光成像中的任何來成像獲得的方法(參見圖3)。
[0095]視頻圖像獲取單元201可以從成像設(shè)備(顯微鏡成像設(shè)備)(圖中未示出)獲得目標(biāo)視頻圖像，或其可以獲得在存儲器中存儲的視頻圖像或從網(wǎng)絡(luò)提供的視頻圖像作為目標(biāo)視頻圖像。此時，通過根據(jù)分析目標(biāo)類型以預(yù)定周期從預(yù)先成像的視頻圖像采樣，視頻圖像獲取單元201可以獲得目標(biāo)視頻圖像。視頻圖像獲取單元201向?qū)ο髤^(qū)域指定單元202提供所獲得的目標(biāo)視頻圖像。
[0096]對象區(qū)域指定單元202在目標(biāo)視頻圖像所包括的靜止圖像(在下文中稱為“目標(biāo)靜止圖像”)中指定“分析對象區(qū)域”(圖13，St201)。目標(biāo)靜止圖像可以是目標(biāo)視頻圖像的第一幀，或可以是任何幀。另外目標(biāo)靜止圖像可以是在每個預(yù)定周期從目標(biāo)視頻圖像提取的幀。分析對象區(qū)域是其中分析目標(biāo)在目標(biāo)靜止圖像的視場中存在的區(qū)域，其可以是例如含一些細(xì)胞的區(qū)域。
[0097]對象區(qū)域指定單元202對目標(biāo)靜止圖像執(zhí)行圖像處理并指定分析對象區(qū)域。圖14是在目標(biāo)靜止圖像中示意示出分析對象區(qū)域的圖示。圖中每個區(qū)段D表示分析對象區(qū)域的特定單元，該單元可以是包括目標(biāo)靜止圖像的一個或多個像素的范圍。由斜線表示的區(qū)段D是由對象區(qū)域指定單元202指定為其中分析目標(biāo)存在的區(qū)段，該區(qū)段稱為分析對象區(qū)段Dl0分析對象區(qū)段Dl的集合是分析對象區(qū)域。圖15示出在目標(biāo)靜止圖像中指定的分析對象區(qū)域的例子。白色區(qū)域是分析對象區(qū)域。
[0098]對象區(qū)域指定單元202可以通過動態(tài)范圍檢測、匹配或其他圖像處理來指定分析對象區(qū)域。此時對象區(qū)域指定單元202可以通過閾值選擇分析目標(biāo)檢測作為分析對象區(qū)域。例如，可以選擇是否檢測神經(jīng)細(xì)胞的細(xì)胞體或神經(jīng)突，或該兩者。
[0099]運動檢測單元203在目標(biāo)視頻圖像中檢測“移動量”(運動矢量)(圖13，st202)。移動量可以包括在目標(biāo)視頻圖像中包括的一些幀之間相互對應(yīng)的各個像素或像素組的隨時間推移的移動的量和方向。移動量可以由成像技術(shù)例如塊匹配來檢測。
[0100]此時，運動檢測單元203檢測由對象區(qū)域指定單元202指定的分析對象區(qū)域(分析對象區(qū)段Dl的集合)中的移動量。具體地，對于分析對象區(qū)域中包括的每個分析對象區(qū)段D1，運動檢測單元203檢測從目標(biāo)靜止圖像的一個幀到目標(biāo)靜止圖像的下個幀的目標(biāo)視頻圖像中的移動量。運動檢測單元203能夠?qū)⒚總€分析對象區(qū)段Dl的移動量轉(zhuǎn)換成運動矢量。
[0101]圖16是示意示出目標(biāo)視頻圖像的運動速度的圖示，該運動速度用數(shù)值代表從相應(yīng)的分析對象區(qū)段Dl檢測的運動速度。在分析對象區(qū)段Dl中，運動速度等于或大于特定值(在此例中為“I”)的區(qū)段稱為檢出運動區(qū)段D2。檢出運動區(qū)段D2的集合是包含移動的區(qū)域。圖17是目標(biāo)視頻圖像中包含移動的區(qū)域的例子。包含移動的區(qū)域由白色區(qū)域代表。
[0102]如在圖16中所示，在目標(biāo)靜止圖像中沒有指定為分析對象區(qū)段Dl的區(qū)段D中(參見圖14)，檢測不到移動量。因此，在目標(biāo)視頻圖像的視場中的不存在分析目標(biāo)的區(qū)域(細(xì)胞之間的間隔等)中檢測不到移動量，并且這使得可以高速檢測移動特征值的量，而且防止噪聲生成。運動檢測單元203向特征值計算單元204提供分析對象區(qū)域、包含移動的區(qū)域和移動量。
[0103]特征值計算單元204計算包含移動的區(qū)域的“特征值”(圖13，st203)。特征值是表示在目標(biāo)視頻圖像中每個時間范圍的移動量的特征的值。時間范圍可以是恒定時間范圍或可變時間范圍。
[0104]特征值計算單元204可以計算“包含移動的區(qū)域的比率”作為特征值。包含移動的區(qū)域的比率是指包含移動的區(qū)域?qū)Ψ治鰧ο髤^(qū)域的比率，該比率可以是例如檢出運動區(qū)段D2對分析對象區(qū)段Dl的比率。包含移動的區(qū)域的比率使得可以確定已確定具有分析目標(biāo)的區(qū)域(分析對象區(qū)域)中有多少是發(fā)生了移動的區(qū)域(包含移動的區(qū)域)。這使得人們能夠確定例如在包含移動的區(qū)域的比率較大的情況下，整個分析目標(biāo)(細(xì)胞等)在振動；并且在包含移動的區(qū)域的比率較小的情況下，分析目標(biāo)的特定部分在振動。
[0105]另外，特征值計算單元可以計算“分析對象區(qū)域速度”作為特征值。分析對象區(qū)域速度是分析對象區(qū)域的運動速度的平均值，該平均值可以通過將相應(yīng)區(qū)段Dl (包括檢出運動區(qū)段D2)的運動速度求平均來計算。分析對象區(qū)域速度是整個分析目標(biāo)的運動速度的平均值，這可以使得人們能夠確定分析目標(biāo)的總體運動速度。通過將限于分析對象區(qū)域的區(qū)域的運動速度求平均，可以避免將不存在分析目標(biāo)的區(qū)域(細(xì)胞之間的間隔等)的運動速度求平均。
[0106]特征值計算單元可以計算“包含移動的區(qū)域速度”作為特征值。包含移動的區(qū)域速度是包含移動的區(qū)域的運動速度的平均值，該平均值可以通過將相應(yīng)檢出運動區(qū)段D2的運動速度求平均來計算。包含移動的區(qū)域速度是分析目標(biāo)的移動部分的運動速度的平均值。例如在分析目標(biāo)中僅特定部分在強勁振動的情況下，包含移動的區(qū)域速度使得人們能夠單獨確定該特定部分的運動速度。如果計算整個分析目標(biāo)的運動速度的平均值，則無移動的部分的運動速度與其平均。鑒于此，包含移動的區(qū)域速度尤其可用于僅分析目標(biāo)的特定部分在移動的情況。
[0107]進一步地，特征值計算單元204可以計算“頻率特征值”作為特征值。通過如在第一實施方式中一樣計算時間運動波形(參見圖5)并執(zhí)行時間運動波形的頻域分析，特征值計算單元204可以計算頻率特征值。
[0108]特征值計算單元204執(zhí)行在移動時間窗的同時在該時間窗內(nèi)執(zhí)行波形的快速傅里葉變換(FFT)分析(圖13，st204)，并從分析結(jié)果計算功率譜密度(PSD)。圖18示出功率譜密度的例子。
[0109]如在圖中所示，特征值計算單元204可以計算功率譜密度的預(yù)定頻帶的面積(“PSD面積”)作為頻率特征值。計算PSD面積的頻帶可以根據(jù)要觀察的振動頻率適當(dāng)設(shè)定，并可以是例如從O到0.1Hz或更小。
[0110]圖19A到圖19C示出被繪圖的PSD面積的例子，該PSD面積示出神經(jīng)細(xì)胞中細(xì)胞死亡的過程。圖19A、圖19B和圖19C是從O到0.1Hz的PSD面積，其分別在分析的開始時間、0.75小時后和6小時后。在圖中，白色區(qū)域是具有較大值的PSD面積的區(qū)域，并且黑色區(qū)是具有較小值的PSD面積的區(qū)域。盡管圖19A中整個細(xì)胞示出從O到0.1Hz的相對大的振動，但在圖19B中該頻帶的振動在神經(jīng)突中較大，并且該頻帶的振動在細(xì)胞體中較小。在圖19C中，該頻帶的振動在神經(jīng)突中也停止。
[0111]因此，借助計算預(yù)定頻帶的PSD面積的特征值計算單元204，可以從分析目標(biāo)的振動提取僅在所關(guān)注頻帶的振動。能夠省略分析不相關(guān)的不同頻帶的振動。
[0112]以與第一實施方式中相同的方式，特征值計算單元204可以計算可從頻域分析獲得的平均強度、峰值頻率、平均功率頻率等作為頻率特征值(圖13，st205)。頻域分析的例子包括各種頻域分析技術(shù)，例如快速傅里葉變換(FFT)、波形變換和最大熵法(MEM)。特征值計算單元204向特征值顯示單元205提供所計算的特征。應(yīng)注意特征值計算單元204也可以為相同時間范圍計算多種特征值。
[0113]特征值顯示單元205將特征值的時間變化或空間變化可視化。作為具體例子，特征值顯示單元205可以將特征值可視化并在目標(biāo)視頻圖像上疊加所可視化的特征值，從而形成特征值顯示視頻圖像(圖13，st206)。以與第一實施方式中相同的方式，根據(jù)特征值的量值，特征值顯示單元205可以通過對與已計算出特征值的計算范圍對應(yīng)的每個位置應(yīng)用著色或濃淡處理而將特征值可視化。特征值顯示單元205將可視化后的特征值與已計算出特征值的時間范圍對應(yīng)的目標(biāo)視頻圖像的幀疊加，并生成特征值顯示視頻圖像。
[0114]圖20示出通過將上述包含移動的區(qū)域疊加到目標(biāo)視頻圖像獲得的特征值顯示視頻圖像的例子。如在圖中示出，根據(jù)運動速度的量值，特征值顯示單元205可以通過應(yīng)用著色或濃淡處理來提供特征值顯示視頻圖像。進一步地，通過使用各種特征值例如在圖19A到圖19C中示出的PSD面積、移動量的平均值、移動量的方差以及MPF(參見圖9A到圖9C)，特征值顯示單元205可以生成特征值顯示視頻圖像。另外，特征值顯示單元205可以允許顯示上述每個時間窗的頻率特性，從而將特征值的空間變化可視化(圖13，st207)。
[0115]進一步地，特征值顯示單元205可以在表格或圖表中顯示由特征值計算單元204計算出的特征值(圖13，St208)。圖21到圖23是由特征值顯示單元205顯示的特征值的顯示模式的例子。圖24示出用于選擇特征值以由特征值顯示單元205顯示的界面。圖25示出用于選擇將顯示特征值的ROI (所關(guān)注區(qū)域，圖中的白色框)的界面。特征值顯示單元205可以被配置為顯示如由在圖24和25中示出的界面所指示的分析目標(biāo)和特征值。另外，通過使用上述分析對象區(qū)域、包含移動的區(qū)域、各種特征值等，特征值顯示單元205也可以自動選擇ROI。[0116]根據(jù)本實施方式的分析系統(tǒng)200如上描述配置。分析系統(tǒng)200使得能夠使用特征值評估目標(biāo)視頻圖像中分析目標(biāo)的運動。更具體地，分析系統(tǒng)200可以用于評估生物活性物質(zhì)的效果、藥效、毒性評估、神經(jīng)細(xì)胞質(zhì)量控制、評估神經(jīng)細(xì)胞的分化狀態(tài)、鑒別具有異常網(wǎng)絡(luò)的異常細(xì)胞和區(qū)域、通過評估源于病理狀況的細(xì)胞來評估病理狀況等。
[0117]由分析系統(tǒng)200分析的分析目標(biāo)沒有特別限制。由分析系統(tǒng)200分析的合適分析目標(biāo)的例子包括神經(jīng)細(xì)胞。神經(jīng)細(xì)胞的移動(振動等)可能由施加到神經(jīng)細(xì)胞的刺激的種類(抑制性、激勵性等)以及由神經(jīng)網(wǎng)絡(luò)的形成狀態(tài)影響。然而，神經(jīng)細(xì)胞的移動與心肌細(xì)胞的顫動等比較非常小，并且在分析中要求更高的精確度。由于分析系統(tǒng)200能夠使用特征值作為指標(biāo)以高精確度評估細(xì)胞的運動，因此神經(jīng)細(xì)胞可以是使用該分析系統(tǒng)的合適分析目標(biāo)。
[0118]另外，本實施方式提取其中分析目標(biāo)在目標(biāo)視頻圖像中存在的區(qū)域作為分析對象區(qū)域，并且對分析對象區(qū)域執(zhí)行移動量分析和特征值計算。在神經(jīng)細(xì)胞中，它們的可以振動的部分與其他細(xì)胞例如心肌細(xì)胞的這樣部分比較是相對局部的，并且可以使用根據(jù)本實施方式的分析系統(tǒng)200的分析對象區(qū)域有效分析它們。進一步地，由于分析系統(tǒng)200在分析中使用功率譜密度的特定頻帶的面積，因此能夠從神經(jīng)細(xì)胞的神經(jīng)突和細(xì)胞體等提取不同頻率的相應(yīng)振動。在此方面中，其適合于神經(jīng)細(xì)胞的分析。
[0119]本公開內(nèi)容不限于各個前述實施方式，而可以不背離本公開內(nèi)容的要旨的范圍內(nèi)修改。
[0120]本公開內(nèi)容可以采用以下配置。
[0121](I) 一種分析系統(tǒng),包括:
[0122]特征值計算單元，該特征值計算單元被配置為每個時間范圍計算特征值，該特征值表示在其中分析目標(biāo)隨時間推移成像的目標(biāo)視頻圖像中的移動量的特征。
[0123](2)根據(jù)(I)的分析系統(tǒng)，進一步包括:
[0124]分析系統(tǒng)可以進一步包括特征值顯示單元，該特征值顯示單元被配置為將特征值的時間變化或空間變化可視化。
[0125]( 3 )根據(jù)(2 )的分析系統(tǒng)，其中
[0126]特征值顯示單元被配置為將特征值的時間變化可視化，并在目標(biāo)視頻圖像上疊加特征值的可視化時間變化從而形成特征值顯示視頻圖像。
[0127](4)根據(jù)(I)到(3)中任何一個的分析系統(tǒng)，進一步包括:
[0128]范圍指定單元，該范圍指定單元被配置為指定特定范圍的目標(biāo)視頻圖像作為計算范圍；
[0129]特征值計算單元被配置為每個計算范圍計算特征值。
[0130](5)根據(jù)(I)到(4)中任何一個的分析系統(tǒng)，其中
[0131]特征值是從由移動的量或方向的平均值、最大值、最小值、標(biāo)準(zhǔn)差、方差和變化系數(shù)；頻率特征值；或其組合構(gòu)成的組中選擇的任何一個。
[0132](6)根據(jù)(I)到(5)中任何一個的分析系統(tǒng)，其中
[0133]頻率特征值是從頻域分析獲得的平均強度、峰值頻率或平均功率頻率。
[0134](7)根據(jù)(I)到(6)中任何一個的分析系統(tǒng)，其中
[0135]分析神經(jīng)細(xì)胞作為分析目標(biāo)。[0136](8)根據(jù)(I)到(7)中任何一個的分析系統(tǒng)，進一步包括:
[0137]對象區(qū)域指定單元，被配置為在目標(biāo)視頻圖像所包括的靜止圖像中指定分析對象區(qū)域，該分析對象區(qū)域是其中分析目標(biāo)存在的區(qū)域；
[0138]特征值計算單元被配置為目標(biāo)視頻圖像中的分析對象區(qū)域計算特征值。
[0139](9)根據(jù)(8)的分析系統(tǒng)，其中
[0140]特征值計算單元被配置為使用包含移動的區(qū)域計算分析對象區(qū)域中的特征值，該包含移動的區(qū)域是具有等于或大于閾值的運動速度的區(qū)域。
[0141](10)根據(jù)(9)的分析系統(tǒng)，其中
[0142]特征值計算單元被配置為計算包含移動的區(qū)域?qū)Ψ治鰧ο髤^(qū)域的比率作為特征值。
[0143](11)根據(jù)(9)或(10)的分析系統(tǒng)統(tǒng)，其中
[0144]特征值計算單元被配置為計算分析對象區(qū)域的運動速度的平均值作為特征值。
[0145](12)根據(jù)(9)到(11)中任何一個的分析系統(tǒng)，其中
[0146]特征值計算單元被配置為計算包含移動的區(qū)域的運動速度的平均值作為特征值。
[0147](13)根據(jù)(I)到(12)中任何一個的分析系統(tǒng)，其中
[0148]特征值計算單元被配置為計算從移動量的頻域分析獲得的功率譜密度的預(yù)定頻帶的面積作為頻率特征值。
[0149]( 14) 一種分析程序，該分析程序使計算機充當(dāng):
[0150]特征值計算單元，該特征值計算單元被配置為對每個時間范圍計算表示目標(biāo)視頻圖像中移動量的特征的特征值，在該目標(biāo)視頻圖像中的分析目標(biāo)隨時間推移成像。
[0151](15) 一種分析方法,包括:
[0152]為每個時間范圍計算表示目標(biāo)視頻圖像中移動量的特征的特征值，在該目標(biāo)視頻圖像中的分析目標(biāo)隨時間推移成像。
【權(quán)利要求】
1.一種分析系統(tǒng),包括: 特征值計算單元，被配置為對每個時間范圍計算特征值，所述特征值表示在分析目標(biāo)隨時間推移成像的目標(biāo)視頻圖像中的移動量的特征。
2.根據(jù)權(quán)利要求1所述的分析系統(tǒng)，進一步包括: 特征值顯示單元，被配置為將所述特征值的時間變化或空間變化可視化。
3.根據(jù)權(quán)利要求2所述的分析系統(tǒng)，其中， 所述特征值顯示單元被配置為將所述特征值的時間變化可視化，并在所述目標(biāo)視頻圖像上疊加所述特征值的可視化后的時間變化以形成特征值顯示視頻圖像。
4.根據(jù)權(quán)利要求1所述的分析系統(tǒng)，進一步包括: 范圍指定單元，被配置為指定所述目標(biāo)視頻圖像的特定范圍作為計算范圍； 所述特征值計算單元被配置為對每個計算范圍計算所述特征值。
5.根據(jù)權(quán)利要求1所述的分析系統(tǒng)，其中， 所述特征值 是從由移動的量或方向的平均值、最大值、最小值、標(biāo)準(zhǔn)差、方差和變化系數(shù)；頻率特征值；或其組合選擇的任何一個。
6.根據(jù)權(quán)利要求5所述的分析系統(tǒng)，其中， 所述頻率特征值是從頻域分析獲得的平均強度、峰值頻率或平均功率頻率。
7.根據(jù)權(quán)利要求1所述的分析系統(tǒng)， 所述分析系統(tǒng)分析作為所述分析目標(biāo)的神經(jīng)細(xì)胞。
8.根據(jù)權(quán)利要求1所述的分析系統(tǒng)，進一步包括: 對象區(qū)域指定單元，被配置為在所述目標(biāo)視頻圖像所包括的靜止圖像中指定分析對象區(qū)域，所述分析對象區(qū)域是所述分析目標(biāo)存在的區(qū)域； 所述特征值計算單元被配置為對所述目標(biāo)視頻圖像中的所述分析對象區(qū)域計算所述特征值。
9.根據(jù)權(quán)利要求8所述的分析系統(tǒng)，其中， 所述特征值計算單元被配置為使用包含移動的區(qū)域計算所述分析對象區(qū)域中的所述特征值，所述包含移動的區(qū)域是具有等于或大于閾值的運動速度的區(qū)域。
10.根據(jù)權(quán)利要求9所述的分析系統(tǒng)，其中， 所述特征值計算單元被配置為計算所述包含移動的區(qū)域?qū)λ龇治鰧ο髤^(qū)域的比率作為所述特征值。
11.根據(jù)權(quán)利要求9所述的分析系統(tǒng)，其中， 所述特征值計算單元被配置為計算所述分析對象區(qū)域的運動速度的平均值作為所述特征值。
12.根據(jù)權(quán)利要求9所述的分析系統(tǒng)，其中， 所述特征值計算單元被配置為計算所述包含移動的區(qū)域的運動速度的平均值作為所述特征值。
13.根據(jù)權(quán)利要求1所述的分析系統(tǒng)，其中， 所述特征值計算單元被配置為計算從所述移動量的頻域分析獲得的功率譜密度的預(yù)定頻帶的面積作為頻率特征值。
14.一種分析程序，所述分析程序使得計算機用作:特征值計算單元，被配置為對每個時間范圍計算特征值，所述特征值表示在分析目標(biāo)隨時間推移成像的目標(biāo)視頻圖像中的移動量的特征。
15.—種分析方法,包括: 對每個時間范圍計算特征值，所述特征值表示在分析目標(biāo)隨時間推移成像的目標(biāo)視頻圖像中的移動量的特征 。
【文檔編號】G06T7/20GK103996204SQ201410045313
【公開日】2014年8月20日 申請日期:2014年2月7日 優(yōu)先權(quán)日:2013年2月14日
【發(fā)明者】大島志織, 中川和博, 松居惠理子 申請人:索尼公司