專利名稱：圖像處理裝置以及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及從圖像中檢測顯現(xiàn)出氣泡的區(qū)域的圖像處理裝置以及圖像處理方法。
背景技術(shù)：
一直以來，作為導(dǎo)入患者等被檢者體內(nèi)對活體內(nèi)進(jìn)行非侵襲地觀察的醫(yī)用觀察裝置，內(nèi)窺鏡得到廣泛普及。近年來，還開發(fā)了在膠囊型殼體內(nèi)部收納攝像裝置和通信裝置等并向體外無線發(fā)送由該攝像裝置拍攝的圖像數(shù)據(jù)的吞入型內(nèi)視鏡(膠囊型內(nèi)窺鏡)。通過這種醫(yī)用觀察裝置對活體的管腔內(nèi)進(jìn)行拍攝而得的一系列圖像(活體內(nèi)圖像)的數(shù)量龐大 (幾萬張以上)，從而對各活體內(nèi)圖像的觀察和診斷需要較多的經(jīng)驗(yàn)。因此，希望具有輔助醫(yī)師進(jìn)行診斷的醫(yī)療診斷支援功能。作為實(shí)現(xiàn)這種功能的圖像識別技術(shù)之一，提出了如下技術(shù)在醫(yī)療診斷時(shí)從活體內(nèi)圖像中自動檢測不需要觀察的區(qū)域并去除。此處，所謂不需要觀察的區(qū)域，是指作為活體組織的粘膜以外的區(qū)域，例如可列舉顯現(xiàn)出在管腔內(nèi)產(chǎn)生的氣泡的區(qū)域(以下稱作“氣泡區(qū)域”)。例如，在日本特開2007-313119號公報(bào)中公開了如下方法根據(jù)像素的梯度強(qiáng)度和氣泡圖像的特征計(jì)算與預(yù)先確定的氣泡模型的相關(guān)值，并檢測相關(guān)值為預(yù)定閾值以上的區(qū)域作為氣泡區(qū)域。但是，在實(shí)際的氣泡區(qū)域中存在各種形狀和大小的氣泡區(qū)域。因此，在通過模式匹配檢測氣泡區(qū)域的情況下，必須預(yù)先準(zhǔn)備許多各種各樣的氣泡模型，并針對一個圖像內(nèi)的各個區(qū)域計(jì)算與這些氣泡模型的相關(guān)值，從而需要巨大數(shù)量的運(yùn)算。另一方面，為了減少運(yùn)算量，對氣泡模型的形狀和大小進(jìn)行某種程度的限定，并且還考慮將評價(jià)相關(guān)值時(shí)的閾值設(shè)定得較低的情況，但是此時(shí)，可能會產(chǎn)生錯誤檢測、或者產(chǎn)生檢測遺漏。

發(fā)明內(nèi)容
本發(fā)明正是鑒于上述問題而作出的，其目的在于提供能夠高精度檢測形狀和大小各種各樣的氣泡區(qū)域的圖像處理裝置以及圖像處理方法。本發(fā)明的一個方式的圖像處理裝置檢測圖像中所包含的氣泡區(qū)域，在該圖像處理裝置中具有氣泡候選區(qū)域設(shè)定部，其從所述圖像中，將具有與存儲在存儲部中的氣泡區(qū)域的形狀模型對應(yīng)的形狀的區(qū)域設(shè)定為氣泡候選區(qū)域；以及氣泡區(qū)域判定部，其根據(jù)所述氣泡候選區(qū)域具有的信息，判定該氣泡候選區(qū)域是否為氣泡區(qū)域。本發(fā)明的另一個方式的圖像處理方法檢測圖像中所包含的氣泡區(qū)域，在該圖像處理方法中包括氣泡候選區(qū)域設(shè)定步驟，從所述圖像中，將具有與存儲在存儲單元中的氣泡區(qū)域的形狀模型對應(yīng)的形狀的區(qū)域設(shè)定為氣泡候選區(qū)域；以及氣泡區(qū)域判定步驟，根據(jù)所述氣泡候選區(qū)域具有的信息，判定該氣泡候選區(qū)域是否為氣泡區(qū)域。如果將以下本發(fā)明的詳細(xì)說明與附圖對照著進(jìn)行閱讀，則能夠進(jìn)一步理解以上所述的情況以及本發(fā)明的其它目的、特征、優(yōu)點(diǎn)和技術(shù)及產(chǎn)業(yè)上的意義。


圖1是示出本發(fā)明實(shí)施方式1的圖像處理裝置的結(jié)構(gòu)的框圖。圖2是說明氣泡區(qū)域的構(gòu)造的圖。圖3是示出圖1所示的圖像處理裝置的動作的流程圖。圖4是示出活體內(nèi)圖像的一例的示意圖。圖5是說明氣泡候選區(qū)域的內(nèi)部區(qū)域的提取方法的圖。圖6是示出圖1所示的圓形區(qū)域檢測部的動作的流程圖。圖7是示出本發(fā)明實(shí)施方式2的圖像處理裝置的結(jié)構(gòu)的框圖。圖8是示出圖7所示的內(nèi)部區(qū)域提取部的動作的流程圖。圖9是說明氣泡候選區(qū)域的內(nèi)部區(qū)域提取方法的圖。圖10是說明氣泡候選區(qū)域的內(nèi)部區(qū)域提取方法的圖。圖11是示出圖7所示的內(nèi)部區(qū)域特征量計(jì)算部的動作的流程圖。圖12是示出本發(fā)明實(shí)施方式3的圖像處理裝置的結(jié)構(gòu)的框圖。圖13是示出圖12所示的圖像處理裝置的動作的流程圖。圖14是說明邊界區(qū)域的設(shè)定方法的圖。圖15是示出圖12所示的梯度強(qiáng)度計(jì)算部的動作的流程圖。圖16是說明邊界區(qū)域的梯度信息計(jì)算方法的圖。圖17是說明表示邊界區(qū)域中的圓弧連續(xù)性的特征量的計(jì)算方法的圖。圖18是示出變形例3-2的圖像處理裝置的運(yùn)算部的結(jié)構(gòu)的框圖。圖19是說明表示關(guān)于邊界區(qū)域中的邊緣像素的氣泡候選區(qū)域的中心坐標(biāo)的相對性的評價(jià)值的計(jì)算方法的圖。圖20是示出變形例3-3的圖像處理裝置的運(yùn)算部的結(jié)構(gòu)的框圖。圖21是說明表示邊界區(qū)域中的邊緣像素的圓形性的評價(jià)值的計(jì)算方法的圖。圖22是示出本發(fā)明實(shí)施方式4的圖像處理裝置的結(jié)構(gòu)的框圖。圖23是示出圖22所示的圖像處理裝置的動作的流程圖。圖M是說明圖22所示的圖像處理裝置中的氣泡區(qū)域的判定方法的圖。圖25是示出本發(fā)明實(shí)施方式5的圖像處理裝置的結(jié)構(gòu)的框圖。圖沈是示出圖25所示的圖像處理裝置的動作的流程圖。圖27是說明圖25所示的圖像處理裝置中的氣泡區(qū)域的判定方法的圖。
具體實(shí)施例方式以下，參照附圖來說明本發(fā)明的實(shí)施方式。另外，本發(fā)明不受這些實(shí)施方式限定。 另外，在各附圖的記載中，對相同部分標(biāo)注相同標(biāo)號來示出。以下說明的實(shí)施方式的圖像處理裝置對利用內(nèi)窺鏡或膠囊內(nèi)窺鏡等醫(yī)用觀察裝置拍攝所得的圖像進(jìn)行處理，具體而言，進(jìn)行從拍攝被檢者的活體(管腔)內(nèi)而得到的圖像中檢測顯現(xiàn)出氣泡的氣泡區(qū)域的處理。在以下的說明中，實(shí)施了圖像處理的活體內(nèi)圖像例如是在各像素中具有針對R(紅)、G(綠)、B(藍(lán))的各顏色成分的256灰度的像素級(像素值)的彩色圖像。另外，在以下的實(shí)施方式中，作為一例，對針對活體內(nèi)圖像的圖像處理進(jìn)行說明，但是在從一般的圖像中檢測氣泡區(qū)域的情況下也能夠應(yīng)用本發(fā)明的圖像處理裝置。此外，在以下的實(shí)施方式中作為檢測對象的氣泡區(qū)域由于表面張力的作用，通常具有圓形形狀、扁圓形狀或橢圓形狀等類圓形狀，或者它們的圓周的一部分的形狀(圓弧等)的平面外觀。因此，在本申請中簡稱作“圓形”的情況下，不僅包含標(biāo)準(zhǔn)圓，還包含扁圓和橢圓等類圓形狀，在簡稱作“圓弧”的情況下，包含標(biāo)準(zhǔn)圓以及類圓的圓周的一部分的形狀在內(nèi)。實(shí)施方式1圖1是示出本發(fā)明實(shí)施方式1的圖像處理裝置的結(jié)構(gòu)的框圖。如圖1所示，圖像處理裝置1具有控制圖像處理裝置1整體的動作的控制部10、圖像取得部11、輸入部12、顯示部13、存儲部14和運(yùn)算部15。圖像取得部11用于取得由醫(yī)用觀察裝置所拍攝的活體內(nèi)圖像的圖像數(shù)據(jù)。圖像取得部11根據(jù)包含醫(yī)用觀察裝置的系統(tǒng)的形態(tài)而適當(dāng)構(gòu)成。例如，在醫(yī)用觀察裝置是膠囊型內(nèi)窺鏡，且使用可與醫(yī)用觀察裝置之間交換圖像數(shù)據(jù)的可移動型記錄介質(zhì)的情況下，圖像取得部11由拆裝自如地安裝該記錄介質(zhì)并讀出已保存的活體內(nèi)圖像的圖像數(shù)據(jù)的讀出裝置構(gòu)成。另外，在設(shè)置預(yù)先保存由醫(yī)用觀察裝置所拍攝的活體內(nèi)圖像的圖像數(shù)據(jù)的服務(wù)器的情況下，圖像取得部11由與服務(wù)器連接的通信裝置等構(gòu)成，并與該服務(wù)器進(jìn)行數(shù)據(jù)通信來取得活體內(nèi)圖像的圖像數(shù)據(jù)?；蛘?，還可以由經(jīng)由電纜從內(nèi)窺鏡等醫(yī)用觀察裝置輸入圖像信號的接口裝置等構(gòu)成圖像取得部11。輸入部12通過例如鍵盤、鼠標(biāo)、觸摸面板及各種開關(guān)等來實(shí)現(xiàn)，其將輸入信號輸出到控制部10。顯示部13由IXD或EL顯示器等顯示裝置來實(shí)現(xiàn)，在控制部10的控制下，顯示包含活體內(nèi)圖像在內(nèi)的各種畫面。存儲部14由可更新記錄的閃存等ROM或RAM這樣的各種IC存儲器、內(nèi)置或者利用數(shù)據(jù)通信端子連接的硬盤、或CD-ROM等信息記錄介質(zhì)及其讀取裝置等來實(shí)現(xiàn)。存儲部14 除了存儲由圖像取得部11所取得的活體內(nèi)圖像的圖像數(shù)據(jù)以外，還存儲用于使圖像處理裝置1動作并使圖像處理裝置1執(zhí)行各種功能的程序、以及在該程序的執(zhí)行中使用的數(shù)據(jù)等。具體而言，存儲部14存儲用于從活體內(nèi)圖像中檢測氣泡區(qū)域的圖像處理程序141。運(yùn)算部15由CPU等硬件來實(shí)現(xiàn)，通過讀入圖像處理程序141，處理活體內(nèi)圖像的圖像數(shù)據(jù)，進(jìn)行用于從活體內(nèi)圖像中檢測氣泡區(qū)域的各種運(yùn)算處理?？刂撇?0由CPU等硬件來實(shí)現(xiàn)，其通過讀入存儲在存儲部14中的各種程序，根據(jù)從圖像取得部11輸入的圖像數(shù)據(jù)和從輸入部12輸入的操作信號等，向構(gòu)成圖像處理裝置 1的各個部分進(jìn)行指示或者數(shù)據(jù)傳送等，對圖像處理裝置1整體的動作進(jìn)行統(tǒng)一控制。此處，對在運(yùn)算部15的圖像處理中作為檢測對象的氣泡區(qū)域進(jìn)行說明。圖2是說明氣泡區(qū)域的構(gòu)造例的圖。如圖2(a)所示，氣泡100是包含空氣等氣體的液體(水分等) 由于表面張力的作用而變成圓形的氣泡，由水分等的膜101和其內(nèi)部的氣體102構(gòu)成。在對這種氣泡100照射光并進(jìn)行攝像時(shí)，得到圖2(b)所示的氣泡區(qū)域110的圖像。該氣泡區(qū)域110在外形上具有圓形形狀或圓弧形狀，作為內(nèi)部構(gòu)造，包括與膜101的厚度部分對應(yīng)而包含在氣泡區(qū)域110的周緣部中的邊界區(qū)域111、位于其內(nèi)側(cè)的內(nèi)部區(qū)域112、和在內(nèi)部區(qū)域112的內(nèi)側(cè)多個部位看到的高亮度區(qū)域113。其中，邊界區(qū)域111是由于照射光在膜101中散射而產(chǎn)生的明亮區(qū)域。另一方面，內(nèi)部區(qū)域112是由于較多照明光透射過膜101而產(chǎn)生的區(qū)域，是整體較暗的區(qū)域。高亮度區(qū)域113是照射光在膜101的表面進(jìn)行鏡面反射從而映入光源并產(chǎn)生暈影的亮度極高的區(qū)域。接著，對運(yùn)算部15的詳細(xì)結(jié)構(gòu)進(jìn)行說明。運(yùn)算部15具有氣泡候選區(qū)域設(shè)定部 16，其從活體內(nèi)圖像中檢測具有與預(yù)先存儲在存儲部14中的氣泡區(qū)域的形狀模型(氣泡模型)對應(yīng)的形狀的區(qū)域，并將該區(qū)域設(shè)定為氣泡候選區(qū)域；以及氣泡區(qū)域判定部17，其根據(jù)氣泡候選區(qū)域具有的信息判定該氣泡候選區(qū)域是否為氣泡區(qū)域。氣泡候選區(qū)域設(shè)定部16具有圓形區(qū)域檢測部161。圓形區(qū)域檢測部161通過將從活體內(nèi)圖像中提取出的邊緣與氣泡模型進(jìn)行比較，并提取與氣泡模型的相關(guān)性高的邊緣區(qū)域，檢測具有圓形形狀或圓弧形狀的區(qū)域。氣泡區(qū)域判定部17具有內(nèi)部區(qū)域提取部18、內(nèi)部區(qū)域特征量計(jì)算部19和判定部 20。內(nèi)部區(qū)域提取部18提取氣泡候選區(qū)域內(nèi)的預(yù)定區(qū)域作為內(nèi)部區(qū)域112。內(nèi)部區(qū)域特征量計(jì)算部19計(jì)算內(nèi)部區(qū)域112中的特征量。更具體而言，內(nèi)部區(qū)域特征量計(jì)算部19具有紋理計(jì)算部191，該紋理計(jì)算部191計(jì)算內(nèi)部區(qū)域112中的像素值 (例如亮度值)的方差，作為表示內(nèi)部區(qū)域121的紋理的特征量(參考=CG-ARTS協(xié)會，r ^ 夕夕A畫像処理，p. 71)。判定部20根據(jù)表示內(nèi)部區(qū)域112的紋理的特征量(像素值的方差)，判定該氣泡候選區(qū)域是否為氣泡區(qū)域。此處，如上所述，內(nèi)部區(qū)域112是照射光透射的較暗區(qū)域，但是由于其內(nèi)側(cè)存在高亮度區(qū)域113，因此具有以下趨勢內(nèi)部區(qū)域112的內(nèi)側(cè)總體的明亮度幅度比活體內(nèi)圖像120的其他區(qū)域大。因此，能夠通過將內(nèi)部區(qū)域112中的像素值的方差與預(yù)定閾值進(jìn)行比較，判別該氣泡候選區(qū)域是氣泡區(qū)域、還是除此以外的區(qū)域(活體的粘膜區(qū)域等)。具體而言，判別部20在像素值的方差為預(yù)定閾值以上的情況下，判別為氣泡候選區(qū)域是氣泡區(qū)域，在像素值的方差小于預(yù)定閾值的情況下，判別為氣泡候選區(qū)域不是氣泡區(qū)域。接著，說明圖像處理裝置1的動作。圖3是示出圖像處理裝置1的動作的流程圖。 此外，圖4是示出由膠囊內(nèi)窺鏡拍攝、并由圖像處理裝置1處理的活體內(nèi)圖像的一例的示意圖。如圖4所示，在活體內(nèi)圖像120中，有時(shí)與活體的粘膜具有不同特征的區(qū)域122與粘膜區(qū)域121重疊顯現(xiàn)。首先，在步驟SlO中，圖像取得部11從外部受理活體內(nèi)圖像組的輸入，并存儲到存儲部14中。運(yùn)算部15從存儲部14讀出取得處理對象的活體內(nèi)圖像120。在步驟Sll中，圓形區(qū)域檢測部161從活體內(nèi)圖像120內(nèi)檢測圓形區(qū)域123。此處檢測的圓形區(qū)域123不僅可以是具有完全圓形形狀的區(qū)域，也可以是具有圓周的一部分欠缺的圓弧形狀的區(qū)域。另外，針對圓形區(qū)域的檢測處理的具體情況將后述。在步驟S12中，氣泡候選區(qū)域設(shè)定部16將檢測到的圓形區(qū)域123的中心位置坐標(biāo) C (x, y)以及半徑r-作為表示氣泡候選區(qū)域的信息存儲到存儲部14中。由此，圓形區(qū)域 123被設(shè)定為氣泡候選區(qū)域。在步驟S13中，內(nèi)部區(qū)域提取部18從各氣泡候選區(qū)域123中提取內(nèi)部區(qū)域。具體而言，如圖5所示，使用下式(1)計(jì)算半徑比氣泡候選區(qū)域123小的同心圓。
rIN = r0UTXK (1)在式(1)中，rIN是同心圓的半徑，K是預(yù)定系數(shù)(0.0 <K< 1.0)。內(nèi)部區(qū)域提取部18提取內(nèi)包于rIN的同心圓內(nèi)的區(qū)域作為內(nèi)部區(qū)域124。在接下來的步驟S14中，內(nèi)部區(qū)域特征量計(jì)算部19計(jì)算從各氣泡候選區(qū)域123中提取出的內(nèi)部區(qū)域124中的像素值的方差。該方差的值被用作紋理特征量。在步驟S15中，判定部20通過將紋理特征量與預(yù)定閾值進(jìn)行比較，判別該氣泡候選區(qū)域是否為氣泡區(qū)域。接著，對圓形區(qū)域的檢測處理(步驟Sll)進(jìn)行具體說明。圖6是示出圓形區(qū)域檢測部161的動作的流程圖。首先，在步驟SlOl中，圓形區(qū)域檢測部161計(jì)算活體內(nèi)圖像120的各像素的像素值的梯度強(qiáng)度(參考CG-ARTS協(xié)會，r ^ ”夕義畫像処理，p. 114 p. 121)。具體而言，圓形區(qū)域檢測部161針對各像素，使用索貝爾(Sobel)濾波器等一次微分濾波器或拉普拉斯算子(Laplacian)濾波器等二次微分濾波器來實(shí)施濾波處理。在接下來的步驟S102中，圓形區(qū)域檢測部161提取梯度強(qiáng)度為預(yù)定閾值以上的像素的位置作為邊緣。在步驟S103中，圓形區(qū)域檢測部161將預(yù)先生成的多個氣泡模型(模板)應(yīng)用到活體內(nèi)圖像120的各像素位置，并計(jì)算提取出的邊緣與氣泡模型的相關(guān)值。作為相關(guān)值的計(jì)算方法，除了 NCC(歸一化互相關(guān)=Normalized Cross-Correlation)相似度以外，只要能夠進(jìn)行相關(guān)的計(jì)測，則也可以使用SSD差異度或SAD差異度等任何方法(參考=CG-ARTS協(xié)會，r ^夕夕卟畫像処理，p. 203 p. 204)。在步驟S104中，圓形區(qū)域檢測部161將在各像素位置處相關(guān)值最大(相似度最大或差異度最小)的氣泡模型的半徑以及相關(guān)值存儲到存儲部14中。在步驟S105中，圓形區(qū)域檢測部161提取相關(guān)值的最大值為預(yù)定閾值以上(在差異度的情況下，最小值為閾值以下)的像素位置。并且，圓形區(qū)域檢測部161輸出提取出的像素位置C、和在各像素位置C處相關(guān)值為最大的氣泡模型的半徑作為圓形區(qū)域的中心位置的坐標(biāo)C (X，y)以及半徑rQUT。另外，也可以替代上述步驟SlOl和S102，通過坎尼(Carmy)的邊緣檢測算法 (CG-ARTS協(xié)會，r ^ ”夕義畫像処理，p. 208 p. 210)等已知方法進(jìn)行邊緣(輪廓線)檢測。此外，圓形區(qū)域的檢測不限于計(jì)算與上述氣泡模型的相關(guān)值的方法，也可以用已知的各種方法進(jìn)行。如以上所說明那樣，根據(jù)實(shí)施方式1，對使用氣泡模型檢測出的圓形形狀或圓弧形狀的氣泡候選區(qū)域，根據(jù)該氣泡候選區(qū)域的內(nèi)部區(qū)域的特征量，判定該氣泡候選區(qū)域是否為氣泡區(qū)域。因此，與僅使用氣泡模型檢測氣泡區(qū)域的情況相比，能夠減少氣泡區(qū)域的錯誤檢測。此外，根據(jù)實(shí)施方式1，執(zhí)行后面的氣泡區(qū)域的判定步驟，因此在利用氣泡模型的圓形區(qū)域的檢測步驟中，能夠?qū)㈤撝翟O(shè)定得較低。因此，能夠減少氣泡區(qū)域的檢測遺漏。并且， 根據(jù)實(shí)施方式1，與僅使用氣泡模型檢測氣泡區(qū)域的情況相比，能夠減少使用的氣泡模型數(shù)量。此時(shí)，能夠維持或提高氣泡區(qū)域的檢測精度，并且減少總的運(yùn)算量。實(shí)施方式2接著，說明本發(fā)明的實(shí)施方式2。如圖7所示，實(shí)施方式2的圖像處理裝置2具有運(yùn)算部21。關(guān)于其他結(jié)構(gòu)，與圖1所示的結(jié)構(gòu)相同。運(yùn)算部21具有氣泡候選區(qū)域設(shè)定部16和氣泡區(qū)域判定部22。其中，關(guān)于氣泡候選區(qū)域設(shè)定部16的結(jié)構(gòu)和動作，與在實(shí)施方式1中說明的相同。針對由氣泡候選區(qū)域設(shè)定部16設(shè)定的氣泡候選區(qū)域是否為氣泡區(qū)域，氣泡區(qū)域判定部22根據(jù)該氣泡候選區(qū)域具有的信息來判定。在實(shí)施方式2中，此時(shí)使用的信息與實(shí)施方式1中的信息不同。氣泡區(qū)域判定部22具有內(nèi)部區(qū)域提取部23，其從氣泡候選區(qū)域內(nèi)提取內(nèi)部區(qū)域；內(nèi)部區(qū)域特征量計(jì)算部M，其根據(jù)存在于內(nèi)部區(qū)域內(nèi)側(cè)的高亮度區(qū)域的像素值計(jì)算內(nèi)部區(qū)域的特征量；以及判定部25，其根據(jù)高亮度區(qū)域中的特征量判定該氣泡候選區(qū)域是否為氣泡區(qū)域。內(nèi)部區(qū)域提取部23具有亮度值計(jì)算部231，其計(jì)算氣泡候選區(qū)域內(nèi)的像素的亮度值；以及氣泡候選區(qū)域分割部232，其根據(jù)該亮度值將氣泡候選區(qū)域分割為邊界區(qū)域和內(nèi)部區(qū)域。內(nèi)部區(qū)域特征量計(jì)算部M具有高亮度區(qū)域提取部M1，其提取存在于內(nèi)部區(qū)域的內(nèi)側(cè)的高亮度區(qū)域；以及高亮度區(qū)域特征量計(jì)算部M2，其計(jì)算提取出的高亮度區(qū)域的特征量。接著，說明圖像處理裝置2的動作。圖像處理裝置2整體的動作與圖3所示的動作相同，步驟S13 S15中的詳細(xì)動作與實(shí)施方式1不同。首先，說明氣泡候選區(qū)域的內(nèi)部區(qū)域提取處理(步驟S13)。圖8是示出內(nèi)部區(qū)域提取部23的動作的流程圖。此外，圖9和圖10是說明氣泡候選區(qū)域的內(nèi)部區(qū)域提取方法的圖。首先，在步驟S201中，亮度值計(jì)算部231根據(jù)氣泡候選區(qū)域123所包含的各像素的R值(R)、G值(G)和B值⑶，使用下式(2)計(jì)算亮度值Y (參考=CG-ARTS協(xié)會，r ^ ” 夕卟畫像処理，p. 299)。Y = O. 3XR+0. 59XG+0. IlXB (2)在步驟S202中，氣泡候選區(qū)域分割部232求出半徑比氣泡候選區(qū)域123小的多個同心圓&(n=l、2、...)(圖9)。此處，在設(shè)活體內(nèi)圖像中的1個像素的尺寸為δ時(shí)，同心圓的半徑rn的范圍成為(rm/T- δ )彡rn彡δ。在步驟S203中，氣泡候選區(qū)域分割部232分別計(jì)算內(nèi)包于某個同心圓&內(nèi)的區(qū)域(內(nèi)側(cè)區(qū)域)Α、和不內(nèi)包于同心圓&中的氣泡候選區(qū)域123內(nèi)的區(qū)域(外側(cè)區(qū)域)B中的亮度值Y的平均值(圖10)。此處，將內(nèi)側(cè)區(qū)域A中的亮度平均值設(shè)為Ya，將外側(cè)區(qū)域B 中的亮度平均值設(shè)為K。在步驟S204中，在氣泡候選區(qū)域123內(nèi)，計(jì)算內(nèi)側(cè)區(qū)域A與外側(cè)區(qū)域B中的亮度值的差ΔΥ = \-\。氣泡候選區(qū)域分割部232針對在步驟S202中求出的各同心圓S1, S2,...計(jì)算這種亮度值的差Δ Y。在這樣一邊使半徑rn逐漸變化，一邊計(jì)算同心圓&內(nèi)外的亮度值的差Δ Y時(shí)，如果同心圓&的圓周與氣泡區(qū)域的內(nèi)部區(qū)域112和邊界區(qū)域111的邊界(參照圖2)大體一致，則亮度值的差Δ Y最大。因此，氣泡候選區(qū)域分割部232提取亮度值的差Δ Y最大時(shí)的內(nèi)側(cè)區(qū)域A作為內(nèi)部區(qū)域124(步驟S205)。接著，對內(nèi)部區(qū)域中的特征量計(jì)算處理(步驟S14)進(jìn)行說明。圖11是示出內(nèi)部
9區(qū)域特征量計(jì)算部M的動作的流程圖。此處，如圖2所示，在內(nèi)部區(qū)域112的一部分中，能夠看到映入光源并產(chǎn)生暈影的區(qū)域(高亮度區(qū)域11 。這種區(qū)域具有亮度非常高的特征。因此，能夠通過判定在內(nèi)部區(qū)域112中是否存在高亮度區(qū)域，判斷該氣泡候選區(qū)域是否為氣泡區(qū)域。首先，在步驟S211中，高亮度區(qū)域提取部241使用上式( 計(jì)算內(nèi)部區(qū)域IM所包含的各像素的亮度值Y。另外，此時(shí)，也可以利用在圖8的步驟S201中計(jì)算出的值。接著，在步驟S212中，高亮度區(qū)域提取部241通過提取亮度值Y為預(yù)定閾值以上的像素，提取存在于內(nèi)部區(qū)域124內(nèi)側(cè)的高亮度區(qū)域。并且，在步驟S213中，高亮度區(qū)域特征量計(jì)算部242計(jì)算提取出的區(qū)域的面積 (或像素?cái)?shù))。使用由此計(jì)算出的面積(像素?cái)?shù))作為紋理特征量。接著，說明氣泡候選區(qū)域的判定處理(步驟S15)。在從內(nèi)部區(qū)域124的內(nèi)側(cè)檢測到高亮度區(qū)域的情況下，需要判別其亮度值是由于暈影而產(chǎn)生的，還是由于噪聲而產(chǎn)生的。此處，在由于暈影而產(chǎn)生了高亮度區(qū)域的情況下， 高亮度區(qū)域具有某種程度大小的面積(參照圖幻。因此，判定部25在被提取為高亮度區(qū)域的區(qū)域面積為預(yù)定閾值以上的情況下，判定為該區(qū)域是由于暈影而產(chǎn)生的高亮度區(qū)域，此時(shí)，該氣泡候選區(qū)域是氣泡區(qū)域。另一方面，判定部25在被提取為高亮度區(qū)域的區(qū)域面積小于預(yù)定閾值的情況下，判定為該區(qū)域的亮度值是噪聲，該氣泡候選區(qū)域不是氣泡區(qū)域。如以上所說明那樣，根據(jù)實(shí)施方式2，能夠通過使用氣泡候選區(qū)域所包含的像素的亮度值，提取與在該氣泡候選區(qū)域?yàn)闅馀輩^(qū)域的情況下具有的內(nèi)部構(gòu)造進(jìn)一步對應(yīng)的內(nèi)部區(qū)域。因此，能夠進(jìn)一步提高氣泡區(qū)域的判定精度。變形例在氣泡區(qū)域的內(nèi)部區(qū)域內(nèi)側(cè)看到的暈影區(qū)域具有高亮度且白色的特征。因此，也可以計(jì)算從內(nèi)部區(qū)域124的內(nèi)側(cè)檢測到的高亮度區(qū)域的顏色特征量作為內(nèi)部區(qū)域中的特征量。具體而言，高亮度區(qū)域特征量計(jì)算部242取得被提取為高亮度區(qū)域的像素的R值、G 值和B值，并按照每個顏色成分計(jì)算平均值(平均R值、平均G值、平均B值)。此外，此時(shí)， 作為進(jìn)行判定時(shí)參照的訓(xùn)練數(shù)據(jù)，預(yù)先生成表示在活體內(nèi)產(chǎn)生的暈影的顏色范圍的數(shù)據(jù)并存儲到存儲部14中。判定部25在平均R值、平均G值和平均B值被包含在上述顏色范圍中的情況下，判定為從氣泡候選區(qū)域提取出的高亮度區(qū)域是由于暈影產(chǎn)生的，該氣泡候選區(qū)域是氣泡區(qū)域。另一方面，判定部25在平均R值、平均G值和平均B值沒有被包含在上述顏色范圍中的情況下，判定為提取出的高亮度區(qū)域是噪聲，該氣泡候選區(qū)域不是氣泡區(qū)域?；蛘?，在從內(nèi)部區(qū)域124的內(nèi)側(cè)檢測到的高亮度區(qū)域具有預(yù)定閾值以上的面積 (或像素?cái)?shù))，并且該高亮度區(qū)域的顏色特征量被包含在暈影的顏色范圍中的情況下，判定部25也可以判定為該氣泡候選區(qū)域是氣泡區(qū)域。實(shí)施方式3接著，說明本發(fā)明的實(shí)施方式3。如圖12所示，實(shí)施方式3的圖像處理裝置3具有運(yùn)算部30。關(guān)于其他結(jié)構(gòu)，與圖1所示的結(jié)構(gòu)相同。運(yùn)算部30具有氣泡候選區(qū)域設(shè)定部16和氣泡區(qū)域判定部31。針對由氣泡候選區(qū)域設(shè)定部16設(shè)定的氣泡候選區(qū)域123(圖4)是否為氣泡區(qū)域，氣泡區(qū)域判定部31使用與該氣泡候選區(qū)域123的邊界區(qū)域相關(guān)的信息來判定。
氣泡區(qū)域判定部31具有邊界區(qū)域提取部32、梯度強(qiáng)度計(jì)算部33、形狀特征量計(jì)算部34和判定部35。邊界區(qū)域提取部32提取氣泡候選區(qū)域123的邊界附近的預(yù)定區(qū)域，并將該區(qū)域設(shè)定為邊界區(qū)域。梯度強(qiáng)度計(jì)算部33計(jì)算邊界區(qū)域127所包含的像素的像素值的梯度強(qiáng)度，作為邊界區(qū)域127的梯度信息。更具體而言，梯度強(qiáng)度計(jì)算部33具有凸部梯度強(qiáng)度計(jì)算部331， 其計(jì)算像素值的梯度凸出的方向上的梯度強(qiáng)度；以及邊緣提取部332，其根據(jù)計(jì)算出的梯度強(qiáng)度提取邊緣。此處，提取這種邊緣根據(jù)如下理由。即，如果是氣泡區(qū)域110(圖幻，則通常邊界區(qū)域111內(nèi)的像素值大于內(nèi)部區(qū)域112和氣泡區(qū)域110外側(cè)的像素值，因此在邊界區(qū)域111內(nèi)的周向上出現(xiàn)像素值的峰值。因此，是因?yàn)槟軌蛲ㄟ^根據(jù)在氣泡候選區(qū)域123 中設(shè)定的邊界區(qū)域，檢測表示像素值的峰值得存在的凸的梯度，提取作為氣泡區(qū)域的邊界區(qū)域的可能性高的邊緣。形狀特征量計(jì)算部34計(jì)算表示氣泡候選區(qū)域123的邊界的形狀信息的特征量。更具體而言，形狀特征量計(jì)算部34具有連續(xù)性計(jì)算部341，該連續(xù)性計(jì)算部341計(jì)算表示邊界區(qū)域127的梯度強(qiáng)度的連續(xù)性的評價(jià)值，作為這種特征量。判定部35根據(jù)表示氣泡候選區(qū)域123的邊界的形狀信息的特征量，判定該氣泡候選區(qū)域123是否為氣泡區(qū)域。此處，如上所述，氣泡區(qū)域110由于表面張力的影響，具有圓形或切掉了圓的一部分的圓弧形的邊界形狀。因此，判定部35根據(jù)上述特征量，判定從氣泡候選區(qū)域123的邊界區(qū)域127提取出的邊緣在幾何學(xué)上是否具有圓形形狀或圓弧形狀， 在具有圓形形狀或圓弧形狀的情況下，進(jìn)行該氣泡候選區(qū)域123是氣泡區(qū)域的判定。接著，說明圖像處理裝置3的動作。圖13是示出圖像處理裝置3的動作的流程圖。 另外，在圖13所示的步驟內(nèi)，步驟SlO S12與在實(shí)施方式1中說明的相同。在步驟S31中，例如如圖14所示，邊界區(qū)域提取部32提取距氣泡候選區(qū)域123的圓周1 距離為Cl1的范圍內(nèi)的區(qū)域，并將該區(qū)域設(shè)定為邊界區(qū)域127。并且，邊界區(qū)域提取部32對邊界區(qū)域127所包含的像素?cái)?shù)N進(jìn)行計(jì)數(shù)。在步驟S32中，梯度強(qiáng)度計(jì)算部33計(jì)算邊界區(qū)域127的梯度信息。圖15是示出梯度強(qiáng)度計(jì)算部33的詳細(xì)動作的流程圖。首先，在步驟S301中，凸部梯度強(qiáng)度計(jì)算部331計(jì)算邊界區(qū)域127所包含的各像素的像素值的梯度強(qiáng)度。作為梯度強(qiáng)度的計(jì)算方法，能夠使用一次微分(索貝爾濾波器等) 或二次微分等已知的各種方法。例如，在使用二次微分的情況下，如圖16所示，凸部梯度強(qiáng)度計(jì)算部331對位于坐標(biāo)(x，y)處的像素的像素值P (x，y)，使用下式(3) 式(6)，計(jì)算水平方向上的二次微分dH、垂直方向上的二次微分dV、第1傾斜方向上的二次微分dDl、和第
2傾斜方向上的二次微分dD2。
1
dH (χ, y) =P (χ, y) - 2 χ (P (χ—u，y) +P (x'+u, y)) (3)
1
(ρ (χ, y—u) +P (χ, y+u)) (4) , κ 、 ，T
dV (χ, y) =P (χ, y) — 2 χ dDl (χ, y) =P (χ, y) -2 χ (ρ (x-u', y+u') +P (x+u', y—u')) (5)1 —
dD2 (χ，y) =P (χ，y) - 2 χ (ρ (x-u', y—u') +P (x+u', y+u')) (6)此處，參數(shù)u是整數(shù)，參數(shù)u'是對(u/ V 2)進(jìn)行四舍五入后的整數(shù)。這些參數(shù)u 和U'表示二次微分計(jì)算時(shí)的像素范圍。即，能夠通過將參數(shù)U設(shè)定為期望的值，調(diào)節(jié)梯度成分的精度。例如，在減小參數(shù)U的值時(shí)，能夠計(jì)算空間頻率較高的梯度成分，在增大參數(shù)U 的值時(shí)，能夠計(jì)算空間頻率較低的梯度成分。作為參數(shù)U的值，可以預(yù)先設(shè)定固定值，也可以根據(jù)活體內(nèi)圖像的特性設(shè)定動態(tài)的值?；蛘?，還可以從外部賦予預(yù)定值的參數(shù)U并進(jìn)行處理。在接下來的步驟S302中，凸部梯度強(qiáng)度計(jì)算部331通過使用下式(7)，從按照方向計(jì)算出的二次微分dH、dV、dDl、dD2內(nèi)提取值為正的最大值，從而計(jì)算梯度增加(即，梯度相對于周圍像素凸出)的方向上的梯度強(qiáng)度(凸部梯度強(qiáng)度)g。。py(x，y)。gcopy(x, y) = max(0, dH(x, y), dV(x, y), dDl (χ, y), dD2(x, y)) (7)此處，如圖2所示，在氣泡區(qū)域110的情況下，邊界區(qū)域111的像素值大于內(nèi)部區(qū)域112和氣泡區(qū)域110外側(cè)的像素值，因此沿著邊界區(qū)域111內(nèi)的直徑方向出現(xiàn)像素值的峰值。因此，能夠通過計(jì)算凸部梯度強(qiáng)度&。py，檢測直徑方向上的像素值的上升。并且，在步驟S303中，邊緣提取部332通過用預(yù)定閾值對針對各像素計(jì)算出的凸部梯度強(qiáng)度^jpy(X，y)進(jìn)行二值化，從而提取邊緣像素。圖17示出了這樣從邊界區(qū)域127 提取出的邊緣像素(^。在步驟S33中，形狀特征量計(jì)算部34計(jì)算表示圓弧的連續(xù)性的評價(jià)值，作為邊界區(qū)域127的形狀信息的特征量。具體而言，首先，連續(xù)性計(jì)算部341取得在邊界區(qū)域127中提取出的邊緣像素( 的個數(shù)Nedci (即，相當(dāng)于邊緣的面積)。接著，連續(xù)性計(jì)算部341針對各邊緣像素( ，判定是否在周圍的8個方向中的任意一個方向上存在鄰接的邊緣像素，對存在鄰接的邊緣圖像的邊緣像素化的個數(shù)NEDe2進(jìn)行計(jì)數(shù)。例如，在圖17所示的邊緣像素化(1)的情況下，在右斜上方存在鄰接的邊緣像素，因此進(jìn)行計(jì)數(shù)。另一方面，在邊緣像素化O)的情況下，在周圍的8個方向上不存在鄰接的邊緣像素，因此不進(jìn)行計(jì)數(shù)。連續(xù)性計(jì)算部341使用這些值NEDei和NEDe2，計(jì)算由下式⑶給出的評價(jià)值ΕωΝ。Econ = (Nedgi X (1-k) +Nedg2 X k) /N (8)此處，N是邊界區(qū)域127所包含的所有像素?cái)?shù)，用于以氣泡候選區(qū)域123的尺寸對評價(jià)值進(jìn)行歸一化。此外，k(0 < k < 1)是用于對連續(xù)的邊緣像素進(jìn)行加權(quán)的系數(shù)(常數(shù))。在步驟S34中，判定部35通過將評價(jià)值ΕωΝ與預(yù)定閾值進(jìn)行比較，進(jìn)行氣泡候選區(qū)域123的判定。具體而言，判定部35在評價(jià)值ΕωΝ為閾值以上的情況下，判定為邊緣像素化的連續(xù)性高、氣泡候選區(qū)域123是氣泡區(qū)域。另一方面，判定部35在評價(jià)值ΕωΝ小于預(yù)定閾值的情況下，判定為邊緣像素化的連續(xù)性低、氣泡候選區(qū)域123不是氣泡區(qū)域。如以上所說明那樣，根據(jù)實(shí)施方式3，根據(jù)氣泡候選區(qū)域的邊界區(qū)域的形狀信息進(jìn)行對氣泡候選區(qū)域的判定，因此能夠用較少的運(yùn)算量進(jìn)行精度良好的判定。變形例3-1
連續(xù)性計(jì)算部341也可以替代邊緣像素Q的個數(shù)^iei和^ie2,而使用邊緣像素Q 的梯度強(qiáng)度，計(jì)算表示圓弧的連續(xù)性的評價(jià)值。具體而言，連續(xù)性計(jì)算部341計(jì)算在邊界區(qū)域127中提取出的邊緣像素( 的最大梯度強(qiáng)度^jpy的合計(jì)值SUMEDei。此外，連續(xù)性計(jì)算部 341檢測在周圍的8個方向中的任意一個方向上存在鄰接的邊緣像素的邊緣像素( ，并計(jì)算這些邊緣像素化的最大梯度強(qiáng)度^jpy的合計(jì)值SUMEDe2。并且，連續(xù)性計(jì)算部341使用合計(jì)值SUMewi和SUMEDe2，計(jì)算由下式(9)給出的評價(jià)值ΕωΝ，。Ecor = (SUMedgi X (l_k) +SUMedg2 Xk)/(NXgmx) (9)此處，gMX是邊緣像素( 能夠取的梯度強(qiáng)度的最大值(例如255)。越是高梯度的邊緣像素彼此鄰接，則該評價(jià)值E。。n，越大，表示形成圓弧的邊緣像素化的連續(xù)性越高。變形例3-2圖18是示出變形例3-2的圖像處理裝置的運(yùn)算部30-2的結(jié)構(gòu)的框圖。在該運(yùn)算部30-2中，形狀特征量計(jì)算部36具有相對性計(jì)算部361，該相對性計(jì)算部361計(jì)算在邊界區(qū)域127中提取出的邊緣像素( 關(guān)于氣泡候選區(qū)域123的中心坐標(biāo)的相對性，作為表示氣泡候選區(qū)域123的邊界的形狀信息的特征量。此處，表示氣泡區(qū)域的邊界的邊緣通常出現(xiàn)在關(guān)于圓的中心坐標(biāo)相對的圓周上的位置處。因此，在邊界區(qū)域127中的邊緣像素&的相對性高的情況下，能夠判斷為該邊緣像素化構(gòu)成氣泡區(qū)域的邊界。此處，相對性高是指存在于關(guān)于圓的中心坐標(biāo)相對的位置處的邊緣像素的對較多。在進(jìn)行氣泡候選區(qū)域123的判定時(shí)，如圖19所示，相對性計(jì)算部361首先對從邊界區(qū)域127提取出的邊緣像素化的個數(shù)NEDei進(jìn)行計(jì)數(shù)。此外，相對性計(jì)算部361在邊界區(qū)域127中，提取在關(guān)于氣泡候選區(qū)域123的中心坐標(biāo)C(x，y)相對的位置處存在另一個邊緣像素的邊緣像素化，并對其數(shù)量Neio進(jìn)行計(jì)數(shù)。在例如圖19所示的邊緣像素化⑶的情況下，在通過邊緣像素化(3)的氣泡候選區(qū)域123的直徑上存在另一個邊緣像素Gt，因此進(jìn)行計(jì)數(shù)。相對性計(jì)算部361使用這些值NEDel和Neio，計(jì)算由下式(10)給出的評價(jià)值Eke”Eeel = (Nedgi X (1-k) +Nedg3 X k) /N (10)此時(shí)，判定部37通過將評價(jià)值E·與預(yù)定閾值進(jìn)行比較，進(jìn)行氣泡候選區(qū)域123的判定。即，判定部37在評價(jià)值為閾值以上的情況下，判定為邊緣像素( 的相對性高、氣泡候選區(qū)域123是氣泡區(qū)域。另一方面，判定部37在評價(jià)值Ε-小于閾值的情況下，判定為邊緣像素化的相對性低、氣泡候選區(qū)域123不是氣泡區(qū)域。或者，相對性計(jì)算部361也可以與變形例3-1同樣，使用梯度強(qiáng)度計(jì)算表示相對性的評價(jià)值。即，相對性計(jì)算部361計(jì)算從邊界區(qū)域127中提取出的邊緣像素( 的最大梯度強(qiáng)度^jpy的合計(jì)值SUMEDei，和在邊界區(qū)域127中在關(guān)于中心坐標(biāo)C(x，y)相對的位置處存在另一個邊緣像素Gt的邊緣像素( 的最大梯度強(qiáng)度的合計(jì)值SUMeio，并計(jì)算利用下式 (11)給出的評價(jià)值EKa’。Eeel' = (SUMedgiX (1-k)+SUMedg3Xk)/(NXgm) (11)越是高梯度的邊緣像素彼此存在于相對的位置，則該評價(jià)值EkeJ越大，表示邊緣像素化的相對性越高。變形例3-3
圖20是示出變形例3-3的圖像處理裝置的運(yùn)算部30-3的結(jié)構(gòu)的框圖。在該運(yùn)算部30-3中，形狀特征量計(jì)算部38具有圓形性計(jì)算部381，該圓形性計(jì)算部381計(jì)算邊界區(qū)域127的邊緣像素的圓形性、即表示幾何學(xué)上的似圓度的評價(jià)值，作為表示氣泡候選區(qū)域 123的邊界的形狀信息的特征量。圖21是示出氣泡候選區(qū)域123的邊界區(qū)域127的一部分的示意圖。在進(jìn)行氣泡候選區(qū)域123的判定時(shí)，圓形性計(jì)算部381首先對從邊界區(qū)域127提取出的邊緣像素( 的個數(shù)NEDei進(jìn)行計(jì)數(shù)。此外，圓形性計(jì)算部381計(jì)算從各邊緣像素( 到氣泡候選區(qū)域123的圓周1 的距離Le，并對距離處于預(yù)定閾值以內(nèi)的邊緣像素的個數(shù)Nec進(jìn)行計(jì)數(shù)。圓形性計(jì)算部381使用這些值NEDei和Nre，計(jì)算由下式(12)給出的評價(jià)值^κ。Ecie = (NedgiX (l-k)+NGCXk)/N (12)在式(12)中，k是滿足0<k<l的系數(shù)(常數(shù))。邊緣像素越形成圓形形狀，則該評價(jià)值Εακ為越大的值。此時(shí)，判定部39通過將評價(jià)值Εακ與預(yù)定閾值進(jìn)行比較，進(jìn)行氣泡候選區(qū)域123的判定。即，判定部39在評價(jià)值Εακ為預(yù)定閾值以上的情況下，判定為邊緣像素( 的圓形性高、氣泡候選區(qū)域123是氣泡區(qū)域。另一方面，判定部39在評價(jià)值Εακ小于閾值的情況下， 判定為邊緣像素化的圓形性低、氣泡候選區(qū)域123不是氣泡區(qū)域。實(shí)施方式4接著，說明本發(fā)明的實(shí)施方式4。如圖22所示，實(shí)施方式4的圖像處理裝置4具有運(yùn)算部40。關(guān)于其他結(jié)構(gòu)，與圖1所示的結(jié)構(gòu)相同。運(yùn)算部40具有氣泡候選區(qū)域設(shè)定部16和氣泡區(qū)域判定部41。針對由氣泡候選區(qū)域設(shè)定部16設(shè)定的氣泡候選區(qū)域123是否為氣泡區(qū)域，由氣泡區(qū)域判定部41使用與該氣泡候選區(qū)域123的周圍區(qū)域相關(guān)的信息來判定。氣泡區(qū)域判定部41具有周圍區(qū)域特征量計(jì)算部42和判定部43。周圍區(qū)域特征量計(jì)算部42檢測存在于氣泡候選區(qū)域123周圍的其他氣泡候選區(qū)域(圓形區(qū)域)或已判定完成的氣泡區(qū)域，并計(jì)算基于該檢測結(jié)果的特征量。此處，在活體內(nèi)，氣泡區(qū)域通常密集產(chǎn)生。因此，在某個氣泡候選區(qū)域的周圍存在較多其他氣泡候選區(qū)域或已判定完成的氣泡區(qū)域的情況下，該氣泡候選區(qū)域?yàn)闅馀輩^(qū)域的概率性高。因此，氣泡區(qū)域判定部41計(jì)算作為判定對象的氣泡候選區(qū)域123的周圍區(qū)域的特征量。判定部43根據(jù)該特征量，判定該氣泡候選區(qū)域123是否為氣泡區(qū)域。接著，說明圖像處理裝置4的動作。圖23是示出圖像處理裝置4的動作的流程圖。 在圖23所示的步驟內(nèi)，步驟SlO S12與在實(shí)施方式1中說明的相同。在步驟S41中，周圍區(qū)域特征量計(jì)算部42根據(jù)氣泡區(qū)域的判定結(jié)果和/或氣泡候選區(qū)域的檢測結(jié)果，計(jì)算與氣泡候選區(qū)域的周圍區(qū)域相關(guān)的特征量。即，周圍區(qū)域特征量計(jì)算部42對在圖M所示的活體內(nèi)圖像130中，存在于距作為判定對象的氣泡候選區(qū)域131 的中心位置C(x，y)為預(yù)定距離d2的范圍132內(nèi)的其他氣泡候選區(qū)域133的個數(shù)i，和已判定完成的氣泡區(qū)域134的個數(shù)j進(jìn)行計(jì)數(shù)。并且，使用這些值i、j和下式(13)，計(jì)算特征量CHR。CHR = IXff^jXff2 (13)在式(13)中，WJPW2是滿足％>￥』々常數(shù)，用于對已判定完成的氣泡區(qū)域的個數(shù)i和j分別進(jìn)行加權(quán)。在接下來的步驟S42中，判定部43通過將特征量CHR與預(yù)定閾值進(jìn)行比較，進(jìn)行氣泡候選區(qū)域131的判定。即，判定部43在特征量CHR為閾值以上的情況下，判定為氣泡在氣泡候選區(qū)域131的周圍密集，氣泡候選區(qū)域131也是氣泡區(qū)域。另一方面，判定部43 在特征量CHR小于閾值的情況下，判定為氣泡在氣泡候選區(qū)域131的周圍不密集，氣泡候選區(qū)域131不是氣泡區(qū)域。如以上所說明那樣，根據(jù)實(shí)施方式4，根據(jù)密集這樣的氣泡特性，使用與氣泡候選區(qū)域的周圍區(qū)域相關(guān)的信息，進(jìn)行該氣泡候選區(qū)域是否為氣泡區(qū)域的判定，因此相對于使用氣泡模型檢測圓形形狀的區(qū)域的以往的氣泡區(qū)域檢測方法，能夠用較少的運(yùn)算量提高判定精度。實(shí)施方式5接著，說明本發(fā)明的實(shí)施方式5。如圖25所示，實(shí)施方式5的圖像處理裝置5具有運(yùn)算部50。關(guān)于其他結(jié)構(gòu)，與圖1所示的結(jié)構(gòu)相同。運(yùn)算部50除了氣泡候選區(qū)域設(shè)定部16和氣泡區(qū)域判定部17以外，還具有區(qū)域分割部51，其將活體內(nèi)圖像分割為多個區(qū)域；以及區(qū)域判定部M，其判定在各分割區(qū)域的整體中是否存在氣泡區(qū)域。另外，關(guān)于氣泡候選區(qū)域設(shè)定部16和氣泡區(qū)域判定部17的結(jié)構(gòu)和動作，與在實(shí)施方式1中說明的相同。此外，也可以替代氣泡區(qū)域判定部17，而具有在實(shí)施方式2 4中說明的氣泡區(qū)域判定部22、31、41。此處，在活體內(nèi)圖像中，具有相似特征(顏色或紋理等特征)的區(qū)域彼此大多是同一種類(例如粘膜區(qū)域、氣泡區(qū)域等)。因此，在實(shí)施方式5中，根據(jù)顏色信息等特征量將活體內(nèi)圖像分割為多個區(qū)域，在被個別判定為氣泡區(qū)域的區(qū)域占預(yù)定比例以上的情況下，視作在其分割區(qū)域整體中存在氣泡區(qū)域，由此還能夠檢測出不能被個別檢測為氣泡區(qū)域的氣泡區(qū)域。圖沈是示出圖像處理裝置5的動作的流程圖。首先，在步驟SlO中，圖像處理裝置5取得活體內(nèi)圖像。另外，該步驟的具體情況與在實(shí)施方式1中說明的步驟相同。在接下來的步驟S51中，如圖27所示，區(qū)域分割部51將活體內(nèi)圖像135分割為多個區(qū)域136、137。作為分割方法，能夠使用已知的各種方法。例如，能夠使用將具有相似的特征量(像素值、紋理特征量等)并且在空間上接近的像素作為集合來分割區(qū)域的區(qū)域綜合法(參考CG-ARTS協(xié)會，r ^ ”夕 >畫像処理，p. 196)、或作為聚類方法之一的K-means 法(參考CG-ARTS協(xié)會，r ^ ”夕義畫像処理，p. 232)等。在步驟S52中，氣泡候選區(qū)域設(shè)定部16從活體內(nèi)圖像135中檢測圓形區(qū)域，并將這些區(qū)域設(shè)定為氣泡候選區(qū)域138。另外，關(guān)于圓形區(qū)域的檢測方法，與在實(shí)施方式1中說明的相同。在步驟S53中，氣泡區(qū)域判定部17進(jìn)行各氣泡候選區(qū)域138是否為氣泡區(qū)域的判定。另外，關(guān)于氣泡候選區(qū)域138的判定方法，與在實(shí)施方式1 4中說明的相同。在步驟S54中，區(qū)域判定部M根據(jù)氣泡區(qū)域的判定結(jié)果，進(jìn)行在各分割區(qū)域136、 137的整體中是否存在氣泡區(qū)域的判定。即，區(qū)域判定部M首先取得各分割區(qū)域的面積(或像素?cái)?shù))S1、和在各分割區(qū)域內(nèi)被判定為氣泡區(qū)域的區(qū)域的總面積(或像素?cái)?shù))S2,并計(jì)算氣泡區(qū)域的面積&占分割區(qū)域的面積S1的比例(面積率)S2Zs10區(qū)域判定部M在該面積率s2/Sl為預(yù)定閾值以上的情況下，判定為在該分割區(qū)域整體中存在氣泡區(qū)域。另一方面， 區(qū)域判定部M在該面積率s2/Sl小于預(yù)定閾值的情況下，判定為在該分割區(qū)域整體中不應(yīng)該存在氣泡區(qū)域。在例如分割區(qū)域136的情況下，被判定為氣泡區(qū)域的區(qū)域所占的比例低 (零)，因此判定為在整體中都不存在氣泡區(qū)域。另一方面，在分割區(qū)域135的情況下，在判定為氣泡候選區(qū)域138整體是氣泡區(qū)域時(shí)，氣泡區(qū)域所占的比例變高，因此此時(shí)，判定為在分割區(qū)域135整體中存在氣泡區(qū)域。如以上所說明那樣，在實(shí)施方式5中，根據(jù)被個別判定為氣泡區(qū)域的區(qū)域所占的比例，判定在根據(jù)相似的特征量分割的區(qū)域整體中是否存在氣泡區(qū)域。因此，即使是沒有被檢測為圓形區(qū)域的區(qū)域，也可能提取為氣泡區(qū)域。此外，在實(shí)施方式5中，在檢測圓形區(qū)域時(shí)，能夠?qū)⑹褂玫臍馀菽Ｐ偷某叽缦薅楦鞣指顓^(qū)域的尺寸以下來進(jìn)行運(yùn)算，因此能夠減少運(yùn)算量。以上所說明的實(shí)施方式1 5的圖像處理裝置能夠通過在個人計(jì)算機(jī)或工作站等計(jì)算機(jī)系統(tǒng)中執(zhí)行記錄介質(zhì)所記錄的圖像處理程序來實(shí)現(xiàn)。此外，也可以經(jīng)由局域網(wǎng)、廣域網(wǎng)(LAN/WAN)或互聯(lián)網(wǎng)等的公共線路，將這種計(jì)算機(jī)系統(tǒng)連接到其他計(jì)算機(jī)系統(tǒng)或服務(wù)器等設(shè)備上進(jìn)行使用。此時(shí)，實(shí)施方式1 5的圖像處理裝置也可以經(jīng)由這些網(wǎng)絡(luò)取得活體內(nèi)圖像的圖像數(shù)據(jù)，并且將圖像處理結(jié)果輸出到經(jīng)由這些網(wǎng)絡(luò)連接的各種輸出設(shè)備(閱讀器或打印機(jī)等)，還將圖像處理結(jié)果存儲到經(jīng)由這些網(wǎng)絡(luò)連接的存儲裝置(記錄介質(zhì)及其讀取裝置等)中。另外，本發(fā)明不直接限定為各實(shí)施方式1 5及它們的變形例，可通過適當(dāng)組合各實(shí)施方式或變形例所公開的多個結(jié)構(gòu)要素來形成各種發(fā)明。例如，可從各實(shí)施方式或變形例所示的全部結(jié)構(gòu)要素中去除幾個結(jié)構(gòu)要素來形成，也可適當(dāng)組合不同實(shí)施方式或變形例所示的結(jié)構(gòu)要素來形成。根據(jù)本發(fā)明的一個方式，對使用氣泡區(qū)域的形狀模型從圖像中檢測出的氣泡候選區(qū)域，根據(jù)該氣泡候選區(qū)域具有的信息，判定該氣泡候選區(qū)域是否為氣泡區(qū)域，因此能夠精度良好地檢測氣泡區(qū)域。
1權(quán)利要求
1.一種圖像處理裝置，其檢測圖像中所包含的氣泡區(qū)域，在該圖像處理裝置中，具有 氣泡候選區(qū)域設(shè)定部，其從所述圖像中，將具有與存儲在存儲部中的氣泡區(qū)域的形狀模型對應(yīng)的形狀的區(qū)域設(shè)定為氣泡候選區(qū)域；以及氣泡區(qū)域判定部，其根據(jù)所述氣泡候選區(qū)域具有的信息，判定該氣泡候選區(qū)域是否為氣泡區(qū)域。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述氣泡區(qū)域判定部使用所述氣泡候選區(qū)域的周緣部所包含的邊界區(qū)域、或位于該邊界區(qū)域的內(nèi)側(cè)的內(nèi)部區(qū)域所具有的信息進(jìn)行判定。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述氣泡候選區(qū)域設(shè)定部具有圓形區(qū)域檢測部，該圓形區(qū)域檢測部從所述圖像中檢測具有圓形形狀或圓弧形狀的區(qū)域。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述氣泡區(qū)域判定部具有內(nèi)部區(qū)域提取部，其提取所述氣泡候選區(qū)域的內(nèi)部區(qū)域； 內(nèi)部區(qū)域特征量計(jì)算部，其計(jì)算所述內(nèi)部區(qū)域的特征量；以及判定部，其根據(jù)所述特征量判定所述氣泡候選區(qū)域是否為氣泡區(qū)域。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中， 所述內(nèi)部區(qū)域提取部具有亮度值計(jì)算部，其計(jì)算所述氣泡候選區(qū)域所包含的各像素的亮度值；以及氣泡候選區(qū)域分割部，其根據(jù)所述氣泡候選區(qū)域內(nèi)的多個區(qū)域之間的亮度值之差，將所述氣泡候選區(qū)域分割為所述多個區(qū)域。
6.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述內(nèi)部區(qū)域特征量計(jì)算部具有紋理計(jì)算部，該紋理計(jì)算部計(jì)算所述內(nèi)部區(qū)域的紋理特征量。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中，紋理特征量是所述內(nèi)部區(qū)域的像素值的方差。
8.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中， 所述內(nèi)部區(qū)域特征量計(jì)算部具有高亮度區(qū)域提取部，其提取存在于所述內(nèi)部區(qū)域的內(nèi)側(cè)的高亮度區(qū)域；以及高亮度區(qū)域特征量計(jì)算部，其根據(jù)所述高亮度區(qū)域的提取結(jié)果，計(jì)算所述內(nèi)部區(qū)域的特征量。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置，其中，所述高亮度區(qū)域特征量計(jì)算部計(jì)算高亮度區(qū)域的顏色特征量。
10.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述氣泡區(qū)域判定部具有邊界區(qū)域提取部，其提取所述氣泡候選區(qū)域的邊界區(qū)域； 梯度強(qiáng)度計(jì)算部，其計(jì)算所述邊界區(qū)域所包含的像素的像素值梯度強(qiáng)度；以及形狀特征量計(jì)算部，其根據(jù)所述梯度強(qiáng)度，計(jì)算與所述氣泡候選區(qū)域的形狀相關(guān)的信息。
11.根據(jù)權(quán)利要求10所述的圖像處理裝置，其中，所述梯度強(qiáng)度計(jì)算部具有凸部梯度強(qiáng)度計(jì)算部，該凸部梯度強(qiáng)度計(jì)算部針對所述邊界區(qū)域所包含的各個像素，計(jì)算像素值的梯度為凸的方向上的梯度強(qiáng)度。
12.根據(jù)權(quán)利要求11所述的圖像處理裝置，其中，所述梯度強(qiáng)度計(jì)算部具有根據(jù)所述梯度強(qiáng)度提取邊緣的邊緣提取部。
13.根據(jù)權(quán)利要求10所述的圖像處理裝置，其中，所述形狀特征量計(jì)算部具有連續(xù)性計(jì)算部，該連續(xù)性計(jì)算部計(jì)算表示具有預(yù)定的像素值梯度強(qiáng)度的像素的連續(xù)性的評價(jià)值。
14.根據(jù)權(quán)利要求13所述的圖像處理裝置，其中，所述連續(xù)性計(jì)算部檢測相互鄰接的具有所述梯度強(qiáng)度的像素，并根據(jù)檢測到的像素?cái)?shù)量或梯度強(qiáng)度計(jì)算所述評價(jià)值。
15.根據(jù)權(quán)利要求10所述的圖像處理裝置，其中，所述形狀特征量計(jì)算部具有相對性計(jì)算部，該相對性計(jì)算部計(jì)算表示具有預(yù)定的像素值梯度強(qiáng)度的像素關(guān)于所述氣泡候選區(qū)域的中心坐標(biāo)的相對性的評價(jià)值。
16.根據(jù)權(quán)利要求15所述的圖像處理裝置，其中，所述相對性計(jì)算部檢測存在于關(guān)于所述氣泡候選區(qū)域的中心坐標(biāo)彼此相對的位置處的具有所述梯度強(qiáng)度的像素，并根據(jù)檢測到的像素?cái)?shù)量或梯度強(qiáng)度計(jì)算所述評價(jià)值。
17.根據(jù)權(quán)利要求10所述的圖像處理裝置，其中，所述形狀特征量計(jì)算部具有圓形性計(jì)算部，該圓形性計(jì)算部計(jì)算表示具有預(yù)定的像素值的梯度強(qiáng)度的像素的圓形性的評價(jià)值。
18.根據(jù)權(quán)利要求17所述的圖像處理裝置，其中，所述圓形性計(jì)算部根據(jù)具有所述梯度強(qiáng)度的像素與預(yù)定的圓周之間的距離計(jì)算所述評價(jià)值。
19.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述氣泡區(qū)域判定部具有周圍區(qū)域特征量計(jì)算部，其檢測存在于所述氣泡候選區(qū)域周圍的預(yù)定范圍內(nèi)的其他氣泡候選區(qū)域和/或已判定氣泡區(qū)域，并計(jì)算基于該檢測結(jié)果的特征量；以及判定部，其根據(jù)所述特征量判定該氣泡候選區(qū)域是否為氣泡區(qū)域。
20.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，該圖像處理裝置還具有區(qū)域分割部，其將所述圖像分割為多個區(qū)域；以及區(qū)域判定部，其根據(jù)所述氣泡區(qū)域判定部的判定結(jié)果，判定所分割的所述多個區(qū)域是否分別為氣泡區(qū)域。
21.根據(jù)權(quán)利要求20所述的圖像處理裝置，其中，所述區(qū)域分割部根據(jù)顏色特征量或紋理特征量分割所述圖像。
22.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖像是拍攝活體內(nèi)的管腔而得到的活體內(nèi)圖像。
23.一種圖像處理裝方法，其檢測圖像中所包含的氣泡區(qū)域，在該圖像處理方法中，包含氣泡候選區(qū)域設(shè)定步驟，從所述圖像中，將具有與存儲在存儲單元中的氣泡區(qū)域的形狀模型對應(yīng)的形狀的區(qū)域設(shè)定為氣泡候選區(qū)域；以及氣泡區(qū)域判定步驟，根據(jù)所述氣泡候選區(qū)域具有的信息，判定該氣泡候選區(qū)域是否為氣泡區(qū)域。
全文摘要
本發(fā)明提供圖像處理裝置以及圖像處理方法。檢測圖像中所包含的氣泡區(qū)域的圖像處理裝置具有氣泡候選區(qū)域設(shè)定部，其從所述圖像中，將具有與存儲在存儲部中的氣泡區(qū)域的形狀模型對應(yīng)的形狀的區(qū)域設(shè)定為氣泡候選區(qū)域；以及氣泡區(qū)域判定部，其根據(jù)所述氣泡候選區(qū)域具有的信息，判定該氣泡候選區(qū)域是否為氣泡區(qū)域。
文檔編號G06T7/00GK102542564SQ20111040940
公開日2012年7月4日 申請日期2011年12月9日 優(yōu)先權(quán)日2010年12月10日
發(fā)明者北村誠, 弘田昌士, 河野隆志, 神田大和 申請人:奧林巴斯株式會社