專利名稱：圖像處理裝置以及圖像處理程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)由按照時(shí)間序列拍攝的多個(gè)圖像構(gòu)成的時(shí)間序列圖像進(jìn)行處理的 圖像處理裝置以及圖像處理程序。
背景技術(shù)：
近年來，以膠囊型內(nèi)窺鏡為代表，開發(fā)出了在消化道等體內(nèi)管腔內(nèi)移動(dòng)并依次拍 攝管腔內(nèi)圖像的醫(yī)用設(shè)備。膠囊型內(nèi)窺鏡從口中被吞入后，通過蠕動(dòng)運(yùn)動(dòng)等在管腔內(nèi)移動(dòng)， 以預(yù)定的攝像速率依次拍攝圖像并發(fā)送給體外接收器，最終被排出到體外。所攝像的時(shí)間 序列圖像的張數(shù)大概可表示為攝像速率(大約2 4幀/秒)X膠囊型內(nèi)窺鏡在體內(nèi)滯留 時(shí)間(大約8小時(shí)=8X60X60秒)，在幾萬張以上。醫(yī)生為了通過診斷用工作站等確認(rèn)這 些發(fā)送到體外接收器的大量時(shí)間序列圖像，確定病變部，則需要耗費(fèi)較多時(shí)間。因此，強(qiáng)烈 要求一種提高醫(yī)生對(duì)圖像的確認(rèn)作業(yè)的效率的技術(shù)。例如專利文獻(xiàn)1示出了如下方法，即將膠囊型內(nèi)窺鏡拍攝到的時(shí)間序列圖像內(nèi) 部分割為粘膜、大小便、泡、不明物等的區(qū)域，判斷觀察所不需要的圖像和包含病變部位的 圖像。具體來說，將按照預(yù)定間隔對(duì)時(shí)間序列圖像取樣得到的多個(gè)圖像分別分割為小區(qū)段， 把這些小區(qū)段成像于平均色比空間等預(yù)定的特征空間之后進(jìn)行聚類。然后，使用預(yù)先根據(jù) 訓(xùn)練數(shù)據(jù)制作的分類器將獲得的類分類為粘膜、大小便、泡等組(類別)。接下來，將取樣得 到的圖像劃分為預(yù)定的時(shí)間序列間隔的子集，以之前的組分類結(jié)果為基礎(chǔ)計(jì)算子集內(nèi)的各 組的產(chǎn)生頻率和分布信息。之后，根據(jù)這些信息，將各子集所表示的時(shí)間序列區(qū)間的圖像內(nèi) 部分類為各組區(qū)域，檢測病變部。專利文獻(xiàn)1 日本特開2007-175432號(hào)公報(bào)在專利文獻(xiàn)1中，在作為子集的預(yù)定寬度的時(shí)間序列區(qū)間內(nèi)，使用按照預(yù)定間隔 取樣得到的圖像求出粘膜、大小便、泡等各組的組分布信息，對(duì)圖像內(nèi)部進(jìn)行區(qū)域分類。然 而，膠囊型內(nèi)窺鏡會(huì)由于蠕動(dòng)運(yùn)動(dòng)等而通過消化道等管腔內(nèi)部，因此其通過速度并非恒定， 所拍攝的時(shí)間序列圖像也各種各樣，有時(shí)連續(xù)出現(xiàn)變化較大的圖像，還有時(shí)連續(xù)出現(xiàn)類似 的圖像。因此，當(dāng)圖像在子集內(nèi)的時(shí)間序列區(qū)間中發(fā)生較大變化的情況下，膠囊大幅移動(dòng)， 周圍狀況發(fā)生改變，因而各組的數(shù)據(jù)變動(dòng)較大。其結(jié)果是難以正確求出組分布信息，存在分 類精度降低而無法高精度檢測病變部的問題。另一方面，當(dāng)圖像在時(shí)間序列區(qū)間內(nèi)完全沒 有發(fā)生變化的情況下，會(huì)重復(fù)進(jìn)行用于獲得同等程度的組分布信息的處理，存在浪費(fèi)計(jì)算 時(shí)間的問題。

發(fā)明內(nèi)容
本發(fā)明就是鑒于上述情況而完成的，其目的在于提供一種能夠高精度且高效地對(duì) 構(gòu)成時(shí)間序列圖像的圖像內(nèi)部進(jìn)行分類的圖像處理裝置以及圖像處理程序。為了解決上述問題，達(dá)成目的，本發(fā)明涉及的圖像處理裝置處理由按照時(shí)間序列 拍攝的多個(gè)圖像構(gòu)成的時(shí)間序列圖像，其特征在于，具有區(qū)間設(shè)定單元，其根據(jù)構(gòu)成上述時(shí)間序列圖像的圖像間的變化量，設(shè)定預(yù)定的時(shí)間序列區(qū)間；以及區(qū)域分類單元，其使用由 上述區(qū)間設(shè)定單元所設(shè)定的每個(gè)時(shí)間序列區(qū)間的分類標(biāo)準(zhǔn)，將上述時(shí)間序列區(qū)間中包含的 圖像內(nèi)部分類為多個(gè)類別區(qū)域。另外，本發(fā)明所涉及的圖像處理程序使處理由按時(shí)間序列拍攝的多個(gè)圖像構(gòu)成的 時(shí)間序列圖像的計(jì)算機(jī)執(zhí)行如下步驟區(qū)間設(shè)定步驟，根據(jù)構(gòu)成上述時(shí)間序列圖像的圖像 間的變化量來設(shè)定預(yù)定的時(shí)間序列區(qū)間；以及區(qū)域分類步驟，使用由上述區(qū)間設(shè)定步驟所 設(shè)定的每個(gè)時(shí)間序列區(qū)間的分類標(biāo)準(zhǔn)，將上述時(shí)間序列區(qū)間所包含的圖像內(nèi)部分類為多個(gè) 類別區(qū)域。根據(jù)本發(fā)明所涉及的圖像顯示裝置，能夠根據(jù)構(gòu)成時(shí)間序列圖像的圖像間的變化 量來設(shè)定時(shí)間序列區(qū)間。而且，能夠使用每個(gè)時(shí)間序列區(qū)間的分類標(biāo)準(zhǔn)將所設(shè)定的時(shí)間序 列區(qū)間中所包含的圖像內(nèi)部分類為類別區(qū)域，因此能夠提高類別區(qū)域的分類精度。因此，可 獲得能以高精度且高效地對(duì)構(gòu)成時(shí)間序列圖像的圖像內(nèi)部進(jìn)行分類的效果。


圖1是表示包含圖像處理裝置的圖像處理系統(tǒng)的整體構(gòu)成的概要示意圖。圖2是表示管腔內(nèi)圖像的一個(gè)例子的圖。圖3是說明圖像處理裝置的功能構(gòu)成的框圖。圖4是表示圖像處理裝置所進(jìn)行的處理步驟的整體流程圖。圖5是表示時(shí)間序列區(qū)間設(shè)定的情形的示意圖。圖6是表示區(qū)域臨時(shí)分類處理的詳細(xì)步驟的流程圖。圖7是表示圖像選擇的情形的示意圖。圖8是表示使用聚類的分類效果的示意圖。圖9是表示類別的判斷標(biāo)準(zhǔn)的更新的示意圖。符號(hào)說明10膠囊型內(nèi)窺鏡；30接收裝置；Al An接收用天線；50可移動(dòng)記錄介質(zhì)；70圖 像處理裝置；710圖像取得部；720輸入部；730顯示部；740存儲(chǔ)部；741圖像處理程序；750 運(yùn)算部；751變化量計(jì)算部；752區(qū)間設(shè)定部；753區(qū)域分類部；754圖像選擇部；755特征量 計(jì)算部；756分布估計(jì)部；757聚類部；758類別判斷部；760控制部；1被檢體。
具體實(shí)施例方式下面，參照附圖詳細(xì)說明本發(fā)明的優(yōu)選實(shí)施方式。并且，在以下說明的實(shí)施方式 中，說明的是對(duì)由膠囊型內(nèi)窺鏡按照時(shí)間序列拍攝的體內(nèi)管腔內(nèi)的時(shí)間序列圖像進(jìn)行處理 的圖像處理裝置，而本發(fā)明的圖像處理裝置能處理的時(shí)間序列圖像不限于對(duì)體內(nèi)管腔內(nèi)進(jìn) 行拍攝而得到的時(shí)間序列圖像。(實(shí)施方式)圖1是表示包含實(shí)施方式的圖像處理裝置的圖像處理系統(tǒng)的整體構(gòu)成的概要示 意圖。如圖1所示，圖像處理系統(tǒng)由如下構(gòu)成拍攝被檢體1內(nèi)部的圖像(以下稱為“管腔 內(nèi)圖像”)的膠囊型內(nèi)窺鏡10、接收從膠囊型內(nèi)窺鏡10無線發(fā)送的管腔內(nèi)圖像的接收裝置 30、根據(jù)由接收裝置30接收到的管腔內(nèi)圖像，對(duì)由膠囊型內(nèi)窺鏡10拍攝的管腔內(nèi)圖像進(jìn)行
5處理并顯示的圖像處理裝置70等。關(guān)于接收裝置30與圖像處理裝置70之間的圖像數(shù)據(jù) 的交換，例如可使用可移動(dòng)型的記錄介質(zhì)(可移動(dòng)記錄介質(zhì))50。膠囊型內(nèi)窺鏡10具備攝像功能和無線功能等，從被檢體1的口中吞入后被導(dǎo)入到 被檢體1內(nèi)部，在體腔內(nèi)移動(dòng)并依次拍攝管腔內(nèi)圖像。然后將所拍攝的管腔內(nèi)圖像無線發(fā) 送到體外。接收裝置30具有多個(gè)接收用天線Al An，接收從膠囊型內(nèi)窺鏡10經(jīng)由各接收用 天線Al An無線發(fā)送的管腔內(nèi)圖像。接收裝置30構(gòu)成為可自由拆裝可移動(dòng)記錄介質(zhì)50， 將接收到的管腔內(nèi)圖像的圖像數(shù)據(jù)依次保存到可移動(dòng)記錄介質(zhì)50。這樣，由膠囊型內(nèi)窺鏡 10拍攝的被檢體1內(nèi)的管腔內(nèi)圖像通過接收裝置30按照時(shí)間序列順序存儲(chǔ)于可移動(dòng)記錄 介質(zhì)50中，作為時(shí)間序列圖像來保存。接收用天線Al An例如通過環(huán)形天線構(gòu)成，貼附于被檢體1的身體外表面。具 體而言，分散配置于與被檢體1內(nèi)的膠囊型內(nèi)窺鏡10的通過路徑對(duì)應(yīng)的位置。并且，接收 用天線Al An也可以分散配置于被檢體1身穿的夾克上。此時(shí)，由于被檢體1穿著該夾 克，從而接收用天線Al An配置于與被檢體1內(nèi)的膠囊型內(nèi)窺鏡10的通過路徑對(duì)應(yīng)的被 檢體1體表上的預(yù)定位置。并且，接收用天線在被檢體1上配置一個(gè)以上即可，對(duì)該數(shù)量不 作限定。圖像處理裝置70用于由醫(yī)生等對(duì)膠囊型內(nèi)窺鏡10所拍攝的管腔內(nèi)圖像進(jìn)行觀察 和診斷，可通過工作站和個(gè)人計(jì)算機(jī)等通用計(jì)算機(jī)來實(shí)現(xiàn)。該圖像處理裝置70構(gòu)成為可自 由拆裝可移動(dòng)記錄介質(zhì)50，對(duì)構(gòu)成保存于可移動(dòng)記錄介質(zhì)50中的時(shí)間序列圖像的各管腔 內(nèi)圖像進(jìn)行處理，按時(shí)間序列順序依次顯示在IXD或ELD等顯示器上。圖2是表示由膠囊 型內(nèi)窺鏡10拍攝并由圖像處理裝置70進(jìn)行處理的管腔內(nèi)圖像的一個(gè)例子的圖。管腔內(nèi)圖 像反映出粘膜11、在體腔內(nèi)浮游的內(nèi)容物13、泡15等，并且，有時(shí)還會(huì)反映出病變等重要部 位。并且，由膠囊型內(nèi)窺鏡10拍攝的管腔內(nèi)圖像是在各像素位置上對(duì)于R(紅)、G(綠)、 B(藍(lán))各顏色分量具有像素電平(像素值)的彩色圖像。圖3是說明圖像處理裝置70的功能構(gòu)成的框圖。本實(shí)施方式中，圖像處理裝置70 具有圖像取得部710、輸入部720、顯示部730、存儲(chǔ)部740、運(yùn)算部750和控制裝置各部分的 控制部760。圖像取得部710取得構(gòu)成由膠囊型內(nèi)窺鏡10拍攝且由接收裝置30保存于可移動(dòng) 記錄介質(zhì)50中的時(shí)間序列圖像的管腔內(nèi)圖像，例如以可自由拆裝的方式安裝可移動(dòng)記錄 介質(zhì)50，將存儲(chǔ)在所安裝的可移動(dòng)記錄介質(zhì)50內(nèi)的管腔內(nèi)圖像的圖像數(shù)據(jù)讀出而獲得。該 圖像取得部710例如可通過與可移動(dòng)記錄介質(zhì)50種類對(duì)應(yīng)的讀寫裝置來實(shí)現(xiàn)。并且，對(duì)于 由膠囊型內(nèi)窺鏡10拍攝的時(shí)間序列的管腔內(nèi)圖像的取得，不限于使用可移動(dòng)記錄介質(zhì)50 的構(gòu)成，例如可以構(gòu)成為取代圖像取得部710而具有硬盤，將由膠囊型內(nèi)窺鏡10拍攝到的 時(shí)間序列的管腔內(nèi)圖像預(yù)先保存于硬盤內(nèi)。或者還可以構(gòu)成為另外設(shè)置服務(wù)器來取代可 移動(dòng)記錄介質(zhì)50，將時(shí)間序列的管腔內(nèi)圖像預(yù)先保存于該服務(wù)器內(nèi)。這種情況下，通過用于 與服務(wù)器連接的通信裝置等構(gòu)成圖像取得部，通過該圖像取得部連接到服務(wù)器，從服務(wù)器 取得時(shí)間序列的管腔內(nèi)圖像。輸入部720例如通過鍵盤、鼠標(biāo)、觸摸面板、各種開關(guān)等實(shí)現(xiàn)，向控制部760輸出與 操作輸入對(duì)應(yīng)的操作信號(hào)。顯示部730可通過LCD或ELD等顯示裝置實(shí)現(xiàn)，通過控制部760的控制而顯示包含時(shí)間序列的管腔內(nèi)圖像的顯示畫面在內(nèi)的各種畫面。存儲(chǔ)部740可通過能更新存儲(chǔ)的閃速存儲(chǔ)器等ROM和RAM等這樣的各種IC存儲(chǔ) 器、內(nèi)置或用數(shù)據(jù)通信端子連接的硬盤、CD-ROM等信息記錄介質(zhì)及其讀取裝置等來實(shí)現(xiàn)，存 儲(chǔ)部740存儲(chǔ)有圖像處理裝置70的動(dòng)作所涉及的程序、用于實(shí)現(xiàn)圖像處理裝置70具備的 各種功能的程序、執(zhí)行這些程序所涉及的數(shù)據(jù)等。另外，還存儲(chǔ)有用于將構(gòu)成時(shí)間序列圖像 的各管腔內(nèi)圖像分類為類別區(qū)域的圖像處理程序741。運(yùn)算部750可通過CPU等硬件實(shí)現(xiàn)，其依次處理由圖像取得部710取得的時(shí)間序 列的管腔內(nèi)圖像，進(jìn)行用于將各管腔內(nèi)圖像分類為類別區(qū)域的各種運(yùn)算處理。該運(yùn)算部750 具有作為計(jì)算在管腔內(nèi)移動(dòng)的膠囊型內(nèi)窺鏡10所拍攝的時(shí)間序列的管腔內(nèi)圖像與處于 其時(shí)間序列附近的其他圖像之間的變化量的變化量計(jì)算單元的變化量計(jì)算部751 ；作為根 據(jù)圖像間變化量來設(shè)定預(yù)定的時(shí)間序列區(qū)間的區(qū)間設(shè)定單元的區(qū)間設(shè)定部752 ；以及作為 使用每個(gè)時(shí)間序列區(qū)間的分類標(biāo)準(zhǔn)，將時(shí)間序列區(qū)間所包含的圖像內(nèi)部分類為“粘膜”、“內(nèi) 容物”、“泡”、“病變”等多個(gè)類別區(qū)域的區(qū)域分類單元的區(qū)域分類部753。另外，區(qū)域分類部 753具有作為從時(shí)間序列區(qū)間選擇圖像的圖像選擇單元的圖像選擇部754、作為根據(jù)時(shí)間 序列區(qū)間的各圖像來計(jì)算特征量的特征量計(jì)算單元的特征量計(jì)算部755、作為對(duì)存在于時(shí) 間序列區(qū)間所包含的圖像內(nèi)的各類別區(qū)域的特征量分布進(jìn)行估計(jì)的分布估計(jì)單元的分布 估計(jì)部756 ；分布估計(jì)部756具有作為對(duì)由圖像選擇部754選擇出的圖像即選擇圖像的特 征量分布進(jìn)行聚類的聚類單元的聚類部757、作為根據(jù)各聚類信息來判斷各類的類別的類 別判斷單元的類別判斷部758?？刂撇?60可通過CPU等硬件實(shí)現(xiàn)。該控制部760根據(jù)從圖像取得部710輸入的 圖像數(shù)據(jù)、從輸入部720輸入的操作信號(hào)和存儲(chǔ)于存儲(chǔ)部740中的程序和數(shù)據(jù)等，進(jìn)行針對(duì) 構(gòu)成圖像處理裝置70的各部分的指示和數(shù)據(jù)傳送等，綜合性控制圖像處理裝置70的整體動(dòng)作。圖4是表示圖像處理裝置70所進(jìn)行的處理步驟的整體流程圖。通過由運(yùn)算部750 執(zhí)行存儲(chǔ)于存儲(chǔ)部740中的圖像處理程序741，可實(shí)現(xiàn)此處所說明的處理。并且，圖4中示 出對(duì)時(shí)間序列順序從0到T的時(shí)間序列圖像I (0)至I (T)進(jìn)行處理時(shí)的流程。如圖4所示，運(yùn)算部750首先將表示處理對(duì)象的管腔內(nèi)圖像的時(shí)間序列順序的符 號(hào)i設(shè)定為0，并且將表示時(shí)間序列區(qū)間的開始圖像的時(shí)間序列順序的符號(hào)s設(shè)定為0(步 驟S10)。接下來，運(yùn)算部750獲得時(shí)間序列順序i的管腔內(nèi)圖像即圖像I⑴(步驟Sll)。 然后，取得在時(shí)間序列上與圖像I⑴連續(xù)的時(shí)刻順序i+Ι的管腔內(nèi)圖像即圖像I (i+Ι)(步 驟 S13)。接著，變化量計(jì)算部751計(jì)算圖像I⑴與圖像I (i+Ι)的變化量(步驟S15)。變 化量的計(jì)算方法具有多種，以下作為一個(gè)例子示出對(duì)圖像間位置相對(duì)應(yīng)的區(qū)域進(jìn)行比較的 方法的步驟。首先，取得由圖像I(i)、圖像I(i+1)的G分量構(gòu)成的圖像。這里使用G分量 是因?yàn)榻咏谘褐醒t蛋白的吸收波長頻帶，而且靈敏度和分辨率較高，因而良好地表 現(xiàn)出管腔內(nèi)圖像的明暗信息。當(dāng)然也可以使用其他像素值或通過已經(jīng)公知的轉(zhuǎn)換而二維計(jì) 算出的表示明暗信息的值、亮度(YCbCr轉(zhuǎn)換)、明度(HIS轉(zhuǎn)換)等。接著，將各個(gè)G分量圖 像內(nèi)部分割為預(yù)定尺寸的小區(qū)段。例如將圖像內(nèi)分割為m行η列。接著，對(duì)所分割的每個(gè) 小區(qū)段求出平均G分量值。然后，按照下面的式(1)，求出位置對(duì)應(yīng)的小區(qū)段的平均G分量值的差的絕對(duì)值，設(shè)圖像內(nèi)全部區(qū)段的和為變化量ν (i+1)。
數(shù)1
M N
_8] ·ι)=ΣΣ[‘)-《)…⑴
m=l =1其中，Giinbrf為圖像I(i)的G分量圖像內(nèi)的m行η列的小區(qū)段的G分量平均值， Gi+1(m'n)為圖像I (i+Ι)的G分量圖像內(nèi)的m行η列的小區(qū)段的G分量平均值。該變化量反映出膠囊型內(nèi)窺鏡10的動(dòng)作，可認(rèn)為值越大則周圍環(huán)境越不同。并 且，在上述手法中，作為變化量示出了差的絕對(duì)值和，然而也可使用差的平方和。還可以不 分割為小區(qū)段而比較位置對(duì)應(yīng)的像素的像素值。另外，在如JPEG等那樣以區(qū)段單位對(duì)攝像 數(shù)據(jù)進(jìn)行離散余弦變換(Discrete Cosine Transform :DCT)，使用壓縮編碼后的圖像數(shù)據(jù) 的情況下，也可以比較求出在壓縮解壓縮時(shí)對(duì)每個(gè)單位區(qū)段求得的DCT系數(shù)和根據(jù)DCT系 數(shù)二維計(jì)算出的值。還可以比較求出圖像內(nèi)的像素值的統(tǒng)計(jì)量。例如可以比較求出R、G、 B分量的圖像內(nèi)平均值、圖像內(nèi)標(biāo)準(zhǔn)偏差值、直方圖或者根據(jù)R、G、B分量值二維計(jì)算出的色 比、色差、色相、彩度等的平均值和直方圖?；蛘撸谑褂肕PEG等動(dòng)態(tài)圖像壓縮數(shù)據(jù)的情況 下，由于在壓縮編碼時(shí)計(jì)算出圖像間的變化量并記錄，因而可以不進(jìn)行圖像間的變化量計(jì) 算，使用這些值即可。此時(shí)不需要變化量計(jì)算部751。接著，區(qū)間設(shè)定部752按照下式(2)計(jì)算按時(shí)間序列順序累計(jì)從區(qū)間開始圖像 I (s)起的變化量的累計(jì)值即累計(jì)變化量sv (步驟S17)。然后，區(qū)間設(shè)定部752判定所計(jì)算 出的累計(jì)變化量sv是否超過了預(yù)先設(shè)定的預(yù)定閾值，或判定處理后的圖像I (i+Ι)是否為 時(shí)間序列在最后的圖像I (T)(步驟S19)。數(shù)2
MJV=工V(Ar) . · . (2〉
k—s在步驟S19的判定為否的情況下，運(yùn)算部750使表示時(shí)間序列順序的符號(hào)i增加 為i = i+1 (步驟S21)，返回步驟S13。另一方面，在判定為是的情況下，區(qū)間設(shè)定部752設(shè) 區(qū)間結(jié)束圖像I (e) = I (i+Ι)，設(shè)定時(shí)間序列區(qū)間s e (步驟S23)。圖5是表示時(shí)間序列區(qū)間設(shè)定的情形的示意圖。圖5中示出橫軸表示時(shí)間序列順 序、縱軸表示累計(jì)變化量SV的累計(jì)變化量SV的推移，還示出了將時(shí)間序列順序i = 0的管 腔內(nèi)圖像設(shè)定為區(qū)間開始圖像I(S)的時(shí)間序列區(qū)間L-1、和將處理推進(jìn)后的其他時(shí)間序列 順序i的管腔內(nèi)圖像設(shè)定為區(qū)間開始圖像I(s)的時(shí)間序列區(qū)間L-2。如圖5所示，根據(jù)累 計(jì)變化量sv是否超過閾值來設(shè)定時(shí)間序列區(qū)間，因此，當(dāng)圖像間變化量較小時(shí)，則設(shè)定如 時(shí)間序列區(qū)間L-I那樣較長的時(shí)間序列區(qū)間，而當(dāng)變化量較大時(shí)，則設(shè)定如時(shí)間序列區(qū)間 L-2那樣較短的時(shí)間序列區(qū)間。并且，雖然沒有圖示出來，然而在時(shí)間序列區(qū)間L-I的區(qū)間 結(jié)束圖像I (e)與時(shí)間序列區(qū)間L-2的區(qū)間開始圖像I (s)之間也按照預(yù)定的閾值設(shè)定有時(shí) 間序列區(qū)間。而且，當(dāng)在圖4的步驟S23中設(shè)定了時(shí)間序列區(qū)間s e之后，接著由區(qū)域分類部 753進(jìn)行區(qū)域臨時(shí)分類處理，將時(shí)間序列區(qū)間s e的各圖像I (j) (s彡j彡e)內(nèi)部臨時(shí)分 類為類別區(qū)域(步驟S25)。圖6是表示區(qū)域臨時(shí)分類處理的詳細(xì)步驟的流程圖。
在區(qū)域臨時(shí)分類處理中，首先由特征量計(jì)算部755將時(shí)間序列區(qū)間s e內(nèi)的各 圖像分割為小區(qū)段，對(duì)每個(gè)小區(qū)段計(jì)算特征量(步驟S251)。例如將圖像內(nèi)分割為m行η列， 對(duì)每個(gè)區(qū)段計(jì)算R、G、B分量的平均值、標(biāo)準(zhǔn)偏差值、直方圖或者根據(jù)R、G、B分量值二維計(jì) 算出的色比、色差、色相、彩度等的平均值和直方圖。由于不使用像素單體，而是歸納為作為 像素集合的區(qū)段，因而可獲得包含像素與周圍像素之間的關(guān)系在內(nèi)的特征。另外，在如JPEG 等那樣以區(qū)段單位對(duì)攝像數(shù)據(jù)進(jìn)行離散余弦變換(DCT)，并使用壓縮編碼后的圖像數(shù)據(jù)的 情況下，還可以求出在壓縮解壓縮時(shí)對(duì)每個(gè)單位區(qū)段求出的DCT系數(shù)和根據(jù)DCT系數(shù)二維 計(jì)算出的值來作為特征量。接著，圖像選擇部754根據(jù)時(shí)間序列區(qū)間s e內(nèi)的變化量推移來選擇圖像(步 驟S253)。作為選擇方法，可以舉出如下方法，首先將時(shí)間序列區(qū)間s e中的累計(jì)變化量 分割為預(yù)定數(shù)量，然后，選擇與相當(dāng)于各分割位置的累計(jì)變化量最接近的圖像和區(qū)間開始 圖像以及區(qū)間結(jié)束圖像。圖7是表示圖像選擇的情形的示意圖，示出了橫軸表示時(shí)間序列 順序、縱軸表示累計(jì)變化量sv的累計(jì)變化量sv的推移，還示出了將時(shí)間序列順序i = 0的 管腔內(nèi)圖像設(shè)定為區(qū)間開始圖像I (s)的時(shí)間序列區(qū)間s e。圖7中表示出將時(shí)間序列區(qū) 間s e中的累計(jì)變化量分割為四部分，選擇時(shí)間序列順序al a5的各圖像來作為最接 近分割位置的圖像、區(qū)間開始圖像以及區(qū)間結(jié)束圖像的情形。如上，通過以圖像間變化量為 同等程度的方式從時(shí)間序列區(qū)間s e內(nèi)選擇圖像，從而可減輕此后的各類別的分布估計(jì) 中數(shù)據(jù)的偏差。并且，還可以不使用累計(jì)變化量，而采用選擇變化量的值在預(yù)定閾值以上的 圖像這樣的方法來選擇圖像。圖像選擇部754選擇時(shí)間序列區(qū)間s e內(nèi)的圖像(以下將所選擇的圖像適當(dāng)稱 為“選擇圖像”)，然后如圖6所示，由聚類部757在特征空間中對(duì)選擇圖像的特征量數(shù)據(jù)進(jìn) 行聚類(步驟S255)。聚類是對(duì)特征空間內(nèi)的數(shù)據(jù)分布進(jìn)行分塊的手法，例如可以使用層級(jí) 法、k-means法、自身組織化地圖等已公知的各種手法或背景技術(shù)中所示的專利文獻(xiàn)1公開 的手法。這里參照?qǐng)D8說明進(jìn)行聚類的效果。圖8是表示使用聚類的分類效果的示意圖。 在管腔內(nèi)圖像中，粘膜和病變等主要是色調(diào)不同。因此，在圖8所示的表示顏色信息的特征 空間中，這些區(qū)域形成分布彼此不同的塊(類)。其中，該分布會(huì)根據(jù)被檢者和臟器、管腔內(nèi) 的區(qū)間的差異等而發(fā)生變動(dòng)。圖8中，用實(shí)線表示針對(duì)圖5所示的時(shí)間序列區(qū)間L-I內(nèi)的 圖像進(jìn)行的“粘膜”和“病變”的分布的一個(gè)例子，用虛線表示針對(duì)時(shí)間序列區(qū)間L-2內(nèi)的 圖像進(jìn)行的粘膜和病變的分布的一個(gè)例子。此處，在例如欲通過圖8中單點(diǎn)劃線所示的判 斷標(biāo)準(zhǔn)Th_all對(duì)“粘膜”和“病變”這兩者的分布進(jìn)行分類的情況下，時(shí)間序列區(qū)間L-I和 L-2這雙者會(huì)產(chǎn)生錯(cuò)誤分類。本實(shí)施方式中為了解決該問題，首先將選擇圖像的特征量數(shù)據(jù) 暫時(shí)聚類來劃分為塊，獲得各類。并且，按照判斷標(biāo)準(zhǔn)Th_all判斷各類的中心，然后將各類 的界限設(shè)定為分類標(biāo)準(zhǔn)，從而可對(duì)各時(shí)間序列區(qū)間L-I和L-2雙者進(jìn)行良好分類。即，著眼 于對(duì)例如圖8中實(shí)線所示的時(shí)間序列區(qū)間L-I內(nèi)的圖像進(jìn)行聚類而獲得的類21、23進(jìn)行說 明，首先按照判斷標(biāo)準(zhǔn)Th_all判斷各類21、23的中心211、231。由此，中心231被判斷為粘 膜，中心211被判斷為病變。然后，將該類21、23的界限Th_L-l作為時(shí)間序列區(qū)間L-I中 的分類標(biāo)準(zhǔn)。同樣地，對(duì)于圖8中虛線所示的時(shí)間序列區(qū)間L-2內(nèi)的圖像進(jìn)行聚類而獲得 的類31、33，通過判斷標(biāo)準(zhǔn)Th_all將中心331判斷為粘膜，將中心311判斷為病變。然后， 將該類31、33的界限Th_L-2作為時(shí)間序列區(qū)間L-2中的分類標(biāo)準(zhǔn)。
9
對(duì)選擇圖像的特征量數(shù)據(jù)進(jìn)行聚類后，如圖6所示，類別判斷部758根據(jù)已進(jìn)行了 類別判斷的特征量數(shù)據(jù)來設(shè)定類別的判斷標(biāo)準(zhǔn)(S257)。通過與時(shí)間序列中的特征量分布的 變遷相對(duì)應(yīng)地更新判斷標(biāo)準(zhǔn)，從而進(jìn)行高精度的判斷。圖9是表示類別判斷標(biāo)準(zhǔn)的更新的 示意圖。對(duì)于處理最初的時(shí)間序列區(qū)間(L-I)時(shí)用虛線表示的判斷標(biāo)準(zhǔn)Thl，其根據(jù)虛線 41、43所示的事先判斷了類別的訓(xùn)練數(shù)據(jù)來預(yù)先確定，并保存到存儲(chǔ)部740中。此后，經(jīng)過 后述的各處理步驟后時(shí)間序列區(qū)間會(huì)發(fā)生變更，而在變更后的時(shí)間序列區(qū)間中變更所適用 的判斷標(biāo)準(zhǔn)。具體而言，變更為能夠良好地對(duì)適用判斷標(biāo)準(zhǔn)Thl的實(shí)線所示的前一次的時(shí) 間序列區(qū)間即最初的時(shí)間序列區(qū)間的特征量分布進(jìn)行分類的判斷標(biāo)準(zhǔn)Th2。并且，還可以將 判斷標(biāo)準(zhǔn)變更為處于標(biāo)準(zhǔn)Thl和Th2之間的、由圖9的單點(diǎn)劃線所示的Th2’。圖9中表示 出判斷標(biāo)準(zhǔn)為對(duì)兩個(gè)類進(jìn)行判斷的超平面(是用特征空間的維數(shù)-1的線形式來表示的平 面，如圖9所示，在二維特征空間中為直線)，然而判斷面也可以不是超平面。例如計(jì)算出訓(xùn)
練數(shù)據(jù)的各類分布中所包含的特征量數(shù)據(jù)的特征矢量Fn= (fn_U fn_2.....fn_k)t。其
中，fn_i是第η個(gè)數(shù)據(jù)的第i個(gè)特征量值，k是特征量的維數(shù)。然后，根據(jù)求出的特征矢量 Fn，按照下式(3)求出平均矢量μ、方差協(xié)方差矩陣Ζ。數(shù)3
1 羿 I ^tM = —^1^' Z =(3)
η=1 =1接下來，按照下式(4)對(duì)每個(gè)類別設(shè)定相對(duì)于可根據(jù)求出的平均矢量μ、方差協(xié) 方差矩陣Z的值估計(jì)的多維正態(tài)分布的概率密度函數(shù)P，從而可以設(shè)定考慮到類別分布的 判斷標(biāo)準(zhǔn)。數(shù)4徹=丨/2哪卜-"〉、-K丨(4)其中，|Ζ|是Z的矩陣，Ζ—1是Z的逆矩陣，χ是判斷對(duì)象的特征矢量。此時(shí)，獲得的 系數(shù)(2龍尸丨“2、μ、的各值和各類別的發(fā)生概率保存于存儲(chǔ)部740。而且，如果變更了時(shí)間序列區(qū)間，則除了在前一次的時(shí)間序列區(qū)間中判斷了類別 的數(shù)據(jù)特征量之外，還按照式(3)和式(4)進(jìn)行計(jì)算來更新判斷標(biāo)準(zhǔn)?？筛鶕?jù)各類別的區(qū) 域數(shù)量/全部區(qū)域數(shù)量，對(duì)每個(gè)類別都求出各類別的發(fā)生概率。在設(shè)定了判斷標(biāo)準(zhǔn)之后，如圖6所示，類別判斷部758判斷各類的類別(步驟 S259)。具體而言，類別判斷部758求出通過聚類而獲得的各類的平均矢量。接著，類別判 斷部758將求出的平均矢量的值作為式(4)所示的判斷對(duì)象的特征矢量χ來計(jì)算出概率 P(X)。然后，類別判斷部758求出乘以各類別的發(fā)生概率的向各類別的歸屬概率，將最大概 率的類別判斷為各類的類別。接下來，分布估計(jì)部756根據(jù)判斷類別后的類內(nèi)的特征量數(shù)據(jù)來估計(jì)各類別的分 布，求出分布估計(jì)信息(步驟S261)。這是相當(dāng)于設(shè)定圖8中Th_Ll和Th_L2這部分的處 理，通過根據(jù)各類內(nèi)的數(shù)據(jù)按照式(3)和式(4)進(jìn)行計(jì)算可實(shí)現(xiàn)該處理。關(guān)于各類別的發(fā) 生概率，可通過各類別的區(qū)域數(shù)量/全部區(qū)域數(shù)量而對(duì)每個(gè)類別求出。
接著，區(qū)域分類部753根據(jù)在區(qū)域臨時(shí)分類處理的步驟S251中對(duì)各圖像的每個(gè)小 區(qū)段求出的特征量和在步驟S261中求出的各類別的分布估計(jì)信息，對(duì)作為對(duì)象的小區(qū)段 進(jìn)行臨時(shí)分類(步驟S263)。具體而言，區(qū)域分類部753將對(duì)每個(gè)小區(qū)段求出的特征量矢量 作為式(4)所示的判斷對(duì)象的特征矢量χ來計(jì)算概率P(X)，求出使概率P(X)乘以各類別的 發(fā)生概率后的向各類別的歸屬概率，臨時(shí)分類到成為最大概率的類別。并且，此時(shí)也預(yù)先存 儲(chǔ)歸屬概率。然后，返回到圖4的步驟S25，此后轉(zhuǎn)移到步驟S27。在結(jié)束了將時(shí)間序列區(qū)間s e的各圖像I (j) (s彡j彡e)內(nèi)部臨時(shí)分類為類別 區(qū)域的區(qū)域臨時(shí)分類處理后，區(qū)間設(shè)定部752判定時(shí)間序列區(qū)間的結(jié)束圖像1(e)是否為時(shí) 間序列圖像的最終圖像I⑴(步驟S27)。在判定為否的情況下，將時(shí)間序列區(qū)間的開始圖 像順序s存儲(chǔ)為S’，此后設(shè)定向時(shí)間序列后面變更了預(yù)定時(shí)間序列寬度ds的新的開始圖像 順序s = s+ds (步驟S29)。此時(shí)，根據(jù)時(shí)間序列區(qū)間內(nèi)的圖像來估計(jì)特征量分布，在根據(jù)該 估計(jì)結(jié)果進(jìn)行類別分類的情況下，對(duì)于作為時(shí)間序列區(qū)間端部的區(qū)間開始圖像和區(qū)間結(jié)束 圖像而言，與時(shí)間序列上連續(xù)的圖像之間的分類標(biāo)準(zhǔn)急劇變化。于是，例如通過按下式(5) 計(jì)算出時(shí)間序列寬度，從而以時(shí)間序列區(qū)間必定重疊的方式設(shè)定新的區(qū)間開始圖像。而且， 對(duì)于重疊的多個(gè)時(shí)間序列區(qū)間，最終將按照每個(gè)該時(shí)間序列區(qū)間的分類標(biāo)準(zhǔn)進(jìn)行了臨時(shí)分 類的結(jié)果綜合起來，求出分類結(jié)果。ds = 0. 5X (e-s+Ι) . . . (5)并且，從處理速度等的觀點(diǎn)來看，也可以為ds = e-s+Ι區(qū)，以使得區(qū)間完全不產(chǎn)生重疊。接著，區(qū)域分類部753將圖像I (s’) I (s_l)的各圖像內(nèi)部分類為類別區(qū)域(步 驟S31)。如前所述，為了解決分類標(biāo)準(zhǔn)的不連續(xù)性，在重疊了時(shí)間序列區(qū)間的情況下，處于 對(duì)I(s’) I(s-l)的圖像獲得了與重復(fù)的各時(shí)間序列區(qū)間有關(guān)的臨時(shí)分類結(jié)果的狀態(tài)。 于是，根據(jù)臨時(shí)分類結(jié)果，對(duì)這些圖像求出最終的分類結(jié)果。在區(qū)間的重疊幅度較大，在多 個(gè)時(shí)間序列區(qū)間中對(duì)一個(gè)小區(qū)段進(jìn)行處理而獲得了多個(gè)臨時(shí)分類結(jié)果的情況下，只要分類 為次數(shù)最多的類別即可。而且，在臨時(shí)分類結(jié)果為兩個(gè)等的情況下，也可以采取將與分類可 信度相當(dāng)?shù)闹?、例如?duì)類別分布的歸屬概率等較大一方的類別作為最終類別的方法。然后， 運(yùn)算部750設(shè)表示作為處理對(duì)象的管腔內(nèi)圖像的時(shí)間序列順序的符號(hào)i = i+Ι (步驟S33)， 之后返回步驟S13，重復(fù)執(zhí)行上述處理。另一方面，在處理步驟S27中判定為是的情況下，即時(shí)間序列區(qū)間s e的區(qū)間結(jié) 束圖像是時(shí)間序列圖像的最后圖像的情況下，區(qū)域分類部753將圖像I (s) I (T)的各圖 像內(nèi)分類為類別區(qū)域(步驟S35)。該處理除了處理對(duì)象的圖像不同之外都與步驟S31為 相同處理。然后，運(yùn)算部750輸出針對(duì)構(gòu)成時(shí)間序列圖像的各圖像的類別分類結(jié)果(步驟 S37)，結(jié)束圖像處理裝置70中的處理。例如，運(yùn)算部750通過控制部760將類別分類結(jié)果 顯示輸出到顯示部730。如上所說明的那樣，根據(jù)本實(shí)施方式，可以將時(shí)間序列區(qū)間設(shè)定為時(shí)間序列區(qū)間 所包含的圖像間變化量的累計(jì)值為預(yù)定值。而且，使用所設(shè)定的每個(gè)時(shí)間序列區(qū)間的分類 標(biāo)準(zhǔn)，能夠?qū)υ摃r(shí)間序列區(qū)間所包含的圖像內(nèi)部進(jìn)行類別分類。由此，可使用正確的分類標(biāo) 準(zhǔn)將各時(shí)間序列區(qū)間所包含的圖像內(nèi)部分類為各類別區(qū)域，能夠提高分類精度。因此，可以 獲得能高效處理構(gòu)成時(shí)間序列圖像的各圖像，并且能高精度地從各圖像中檢測出病變部的效果。產(chǎn)業(yè)應(yīng)用性如上，本發(fā)明的圖像處理裝置以及圖像處理程序?qū)τ诟呔惹腋咝Х诸悩?gòu)成時(shí)間 序列圖像的圖像內(nèi)部十分有用。
權(quán)利要求
一種圖像處理裝置，其處理由按照時(shí)間序列拍攝的多個(gè)圖像構(gòu)成的時(shí)間序列圖像，其特征在于，該圖像處理裝置具有區(qū)間設(shè)定單元，其根據(jù)構(gòu)成上述時(shí)間序列圖像的圖像間的變化量，設(shè)定預(yù)定的時(shí)間序列區(qū)間；以及區(qū)域分類單元，其使用由上述區(qū)間設(shè)定單元設(shè)定的每個(gè)時(shí)間序列區(qū)間的分類標(biāo)準(zhǔn)，將上述時(shí)間序列區(qū)間中所包含的圖像內(nèi)部分類為多個(gè)類別區(qū)域。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，該圖像處理裝置還具有變化量計(jì)算單元，該變化量計(jì)算單元計(jì)算構(gòu)成上述時(shí)間序列圖 像的圖像與處于其時(shí)間序列附近的其他圖像之間的變化量，上述區(qū)間設(shè)定單元根據(jù)由上述變化量計(jì)算單元計(jì)算出的變化量來設(shè)定上述時(shí)間序列 區(qū)間。
3.根據(jù)權(quán)利要求1或2所述的圖像處理裝置，其特征在于，上述區(qū)域分類單元具有特征量計(jì)算單元，其計(jì)算上述時(shí)間序列區(qū)間中所包含的圖像的特征量；以及分布估計(jì)單元，其根據(jù)由上述特征量計(jì)算單元計(jì)算出的特征量的分布即特征量分布， 估計(jì)存在于上述時(shí)間序列區(qū)間中所包含的圖像內(nèi)的上述各類別區(qū)域的特征量分布，該圖像處理裝置根據(jù)由上述分布估計(jì)單元估計(jì)出的上述各類別區(qū)域的特征量分布，將 上述時(shí)間序列區(qū)間中所包含的圖像內(nèi)部分類為上述各類別區(qū)域。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于，上述區(qū)域分類單元具有從上述時(shí)間序列區(qū)間中選擇圖像的圖像選擇單元，上述分布估計(jì)單元根據(jù)由上述圖像選擇單元選擇出的圖像的特征量分布，估計(jì)存在于 上述時(shí)間序列區(qū)間的圖像內(nèi)的上述各類別區(qū)域的特征量分布。
5.根據(jù)權(quán)利要求3或4所述的圖像處理裝置，其特征在于，上述分布估計(jì)單元具有聚類單元，其對(duì)由上述特征量計(jì)算單元計(jì)算出的特征量的分布即特征量分布進(jìn)行聚類；以及類別判斷單元，其判斷由上述聚類單元所獲得的各類的類別，該圖像處理裝置根據(jù)由上述類別判斷單元判斷出類別的上述各類內(nèi)的特征量數(shù)據(jù)，估 計(jì)上述各類別區(qū)域的特征量分布。
6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的圖像處理裝置，其特征在于，上述區(qū)間設(shè)定單元 根據(jù)按時(shí)間序列順序累計(jì)上述圖像間的變化量而得到的累計(jì)值，設(shè)定上述時(shí)間序列區(qū)間。
7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的圖像處理裝置，其特征在于，上述區(qū)間設(shè)定單元將上述時(shí)間序列區(qū)間設(shè)定為一部分在時(shí)間序列上重疊，上述區(qū)域分類單元對(duì)關(guān)于各個(gè)上述時(shí)間序列區(qū)間的分類結(jié)果進(jìn)行匯總，將重疊區(qū)間內(nèi) 所包含的圖像內(nèi)部分類為上述各類別區(qū)域。
8.根據(jù)權(quán)利要求4至7中任一項(xiàng)所述的圖像處理裝置，其特征在于，上述圖像選擇單元 根據(jù)上述圖像間的變化量來選擇圖像。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在于，上述圖像選擇單元根據(jù)按時(shí)間 序列順序累計(jì)上述圖像間的變化量而得到的累計(jì)值來選擇圖像。
10.根據(jù)權(quán)利要求5至9中任一項(xiàng)所述的圖像處理裝置，其特征在于，上述類別判斷單 元針對(duì)每個(gè)上述時(shí)間序列區(qū)間變更類別的判斷標(biāo)準(zhǔn)。
11.根據(jù)權(quán)利要求2至10中任一項(xiàng)所述的圖像處理裝置，其特征在于，上述變化量計(jì)算 單元通過在圖像間對(duì)位置對(duì)應(yīng)的像素或區(qū)域進(jìn)行比較來計(jì)算變化量。
12.根據(jù)權(quán)利要求2至11中任一項(xiàng)所述的圖像處理裝置，其特征在于，上述變化量計(jì)算 單元通過比較像素值的統(tǒng)計(jì)量來計(jì)算變化量。
13.根據(jù)權(quán)利要求3至12中任一項(xiàng)所述的圖像處理裝置，其特征在于，上述特征量計(jì) 算單元將上述時(shí)間序列區(qū)間中所包含的圖像分割為多個(gè)區(qū)域，針對(duì)每個(gè)分割區(qū)域計(jì)算特征 量。
14.根據(jù)權(quán)利要求1至13中任一項(xiàng)所述的圖像處理裝置，其特征在于，上述區(qū)域分類單 元將上述時(shí)間序列區(qū)間中所包含的圖像分割為多個(gè)區(qū)域，針對(duì)每個(gè)分割區(qū)域?qū)︻悇e進(jìn)行分類。
15.根據(jù)權(quán)利要求1至14中任一項(xiàng)所述的圖像處理裝置，其特征在于，上述時(shí)間序列圖 像為體內(nèi)管腔內(nèi)的圖像。
16.根據(jù)權(quán)利要求1至15中任一項(xiàng)所述的圖像處理裝置，其特征在于，上述類別包含粘 膜、內(nèi)容物、泡、病變中的任一個(gè)。
17.一種圖像處理程序，其使處理由按時(shí)間序列拍攝的多個(gè)圖像構(gòu)成的時(shí)間序列圖像 的計(jì)算機(jī)執(zhí)行如下步驟區(qū)間設(shè)定步驟，根據(jù)構(gòu)成上述時(shí)間序列圖像的圖像間的變化量來設(shè)定預(yù)定的時(shí)間序列 區(qū)間；以及區(qū)域分類步驟，使用由上述區(qū)間設(shè)定步驟設(shè)定的每個(gè)時(shí)間序列區(qū)間的分類標(biāo)準(zhǔn)，將上 述時(shí)間序列區(qū)間中所包含的圖像內(nèi)部分類為多個(gè)類別區(qū)域。
全文摘要
在一個(gè)實(shí)施方式所涉及的圖像處理裝置中，變化量計(jì)算部(751)計(jì)算構(gòu)成時(shí)間序列圖像的各管腔內(nèi)圖像與處于其時(shí)間序列附近的其他圖像之間的變化量，該時(shí)間序列圖像通過在管腔內(nèi)移動(dòng)的膠囊型內(nèi)窺鏡所拍攝且保存于可移動(dòng)記錄介質(zhì)(50)中。區(qū)間設(shè)定部(752)根據(jù)圖像間的變化量來設(shè)定預(yù)定的時(shí)間序列區(qū)間。區(qū)域分類部(753)使用每個(gè)時(shí)間序列區(qū)間的分類標(biāo)準(zhǔn)，將時(shí)間序列區(qū)間中所包含的圖像內(nèi)部分類為多個(gè)類別區(qū)域。
文檔編號(hào)A61B1/00GK101909510SQ200880124278
公開日2010年12月8日 申請(qǐng)日期2008年11月19日 優(yōu)先權(quán)日2008年1月8日
發(fā)明者神田大和 申請(qǐng)人:奧林巴斯株式會(huì)社