專利名稱：圖像處理裝置、內(nèi)窺鏡裝置、圖像處理程序以及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、內(nèi)窺鏡裝置、圖像處理程序以及圖像處理方法等。
背景技術(shù)：
內(nèi)窺鏡診斷中，通常使用能夠以與顯微鏡相當(dāng)?shù)姆糯舐蕘碛^察生物體的內(nèi)窺鏡(以下，稱為放大內(nèi)窺鏡)。與普通的內(nèi)窺鏡相比，放大內(nèi)窺鏡具有數(shù)十倍到數(shù)百倍的放大率。
在使用該放大內(nèi)窺鏡時(shí)，能夠觀察生物體的粘膜表層的凹窩(pit pattern)(細(xì)微結(jié)構(gòu))。眾所周知，該生物體的粘膜表層的凹窩在病變部位和正常部位具有不同的圖案。因此，通過使用放大內(nèi)窺鏡，能夠容易地識(shí)別病變部位和正常部位。在先技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)1:日本特開平3-16470號(hào)公報(bào)
發(fā)明內(nèi)容
發(fā)明所要解決的課題但是，存在這樣的課題:在使用放大內(nèi)窺鏡進(jìn)行放大觀察的情況下，受到內(nèi)窺鏡前端的攝像部與作為觀察對(duì)象的生物體之間的相對(duì)運(yùn)動(dòng)的影響較大。即，即使該運(yùn)動(dòng)是微小的，在內(nèi)窺鏡監(jiān)視器上也被識(shí)別為較大的抖動(dòng)，該抖動(dòng)會(huì)妨礙診斷。此外，由于抖動(dòng)的影響，有時(shí)會(huì)漏看所關(guān)注的區(qū)域(例如病變區(qū)域)。在放大觀察時(shí)，由于視野非常狹窄，所以難以重新發(fā)現(xiàn)漏看的區(qū)域。因此，這樣的情況下，醫(yī)生需要反復(fù)如下作業(yè):從放大觀察切換到通常觀察，在擴(kuò)大視野的狀態(tài)下搜索漏看的區(qū)域，然后再次切換到放大觀察，對(duì)該區(qū)域進(jìn)行觀察。這樣的反復(fù)作業(yè)成為醫(yī)生的負(fù)擔(dān)，也成為使診斷時(shí)間進(jìn)一步延長的原因。作為對(duì)這樣的抖動(dòng)進(jìn)行校正的方法，例如在專利文獻(xiàn)I中，公開了使用根據(jù)按時(shí)序拍攝的多個(gè)圖像計(jì)算出的運(yùn)動(dòng)矢量，對(duì)抖動(dòng)進(jìn)行校正的方法。但是，在該方法中，由于未考慮因放大率導(dǎo)致的抖動(dòng)增大的影響，所以在放大率較大的情況下，存在不能充分進(jìn)行抖動(dòng)校正這樣的課題。根據(jù)本發(fā)明的幾種方式，能夠提供圖像處理裝置、內(nèi)窺鏡裝置、圖像處理程序以及圖像處理方法等，可對(duì)與放大率對(duì)應(yīng)的抖動(dòng)進(jìn)行校正。[用于解決課題的方法]本發(fā)明的一種方式涉及圖像處理裝置，所述圖像處理裝置是對(duì)由能夠進(jìn)行放大觀察的攝像部取得的圖像進(jìn)行處理的圖像處理裝置，包括:取得運(yùn)動(dòng)信息的運(yùn)動(dòng)信息取得部，所述運(yùn)動(dòng)信息是表示所述攝像部相對(duì)于被攝體的相對(duì)運(yùn)動(dòng)的信息；攝像倍率計(jì)算部，其計(jì)算所述攝像部的攝像倍率；以及圖像提取部，其從由所述攝像部取得的攝像圖像中提取特定區(qū)域的圖像作為提取圖像，所述圖像提取部根據(jù)所述運(yùn)動(dòng)信息設(shè)定所述攝像圖像中的所述特定區(qū)域的位置，并且，根據(jù)所述攝像倍率以及所述運(yùn)動(dòng)信息設(shè)定邊緣區(qū)域的大小，所述邊緣區(qū)域的大小是從所述攝像圖像中除去所述特定區(qū)域以外的區(qū)域的大小。根據(jù)本發(fā)明的一方式，取得被攝體與攝像部之間的相對(duì)運(yùn)動(dòng)信息，計(jì)算攝像部的攝像倍率。根據(jù)該運(yùn)動(dòng)信息，設(shè)定攝像圖像中的特定區(qū)域的位置，還根據(jù)該攝像倍率設(shè)定邊緣區(qū)域的大小。并且，根據(jù)所設(shè)定的特定區(qū)域的位置和邊緣區(qū)域的大小，從攝像圖像中提取出提取圖像。由此，能夠?qū)崿F(xiàn)與攝像倍率對(duì)應(yīng)的抖動(dòng)校正等。此外，本發(fā)明的另一方式涉及包括所述的圖像處理裝置的內(nèi)窺鏡裝置。此外，本發(fā)明的又一方式涉及圖像處理程序，所述圖像處理程序使計(jì)算機(jī)實(shí)現(xiàn)如下功能:取得運(yùn)動(dòng)信息的運(yùn)動(dòng)信息取得部，其中，所述運(yùn)動(dòng)信息是表示所述攝像部相對(duì)于被攝體的相對(duì)運(yùn)動(dòng)的信息；攝像倍率計(jì)算部，其計(jì)算所述攝像部的攝像倍率；以及圖像提取部，其從由所述攝像部取得的攝像圖像中提取特定區(qū)域中的圖像作為提取圖像，所述圖像提取部，根據(jù)所述運(yùn)動(dòng)信息設(shè)定所述攝像圖像中的所述特定區(qū)域的位置，并且，根據(jù)所述攝像倍率以及所述運(yùn)動(dòng)信息設(shè)定邊緣區(qū)域的大小，其中，所述邊緣區(qū)域的大小是從所述攝像圖像中除去所述特定區(qū)域以外的區(qū)域的大小。此外，本發(fā)明的又一方式涉及的圖像處理方法，所述圖像處理方法包括:取得運(yùn)動(dòng)信息，該運(yùn)動(dòng)信息是表示所述攝像部相對(duì)于被攝體的相對(duì)運(yùn)動(dòng)的信息；計(jì)算所述攝像部的攝像倍率；從由所述攝像部取得的攝像圖像中提取特定區(qū)域的圖像作為提取圖像；根據(jù)所述運(yùn)動(dòng)信息設(shè)定所述攝像圖像中的所述特定區(qū)域的位置，并且，根據(jù)所述攝像倍率以及所述運(yùn)動(dòng)信息設(shè)定邊緣區(qū)域的大小，所述邊緣區(qū)域的大小是從所述攝像圖像中除去所述特定區(qū)域以外的區(qū)域的大小。
圖1是關(guān)于本實(shí)施方式的方法的說明圖。
圖2是關(guān)于本實(shí)施方式的方法的說明圖。圖3是關(guān)于本實(shí)施方式的方法的說明圖。圖4是關(guān)于本實(shí)施方式的方法的說明圖。圖5是內(nèi)窺鏡裝置的結(jié)構(gòu)例。圖6是光源部的濾色器的結(jié)構(gòu)例。圖7是光源部的濾色器的分光透射率特性的示例。圖8是攝像元件的分光感光度特性的示例。圖9是同步處理部的詳細(xì)結(jié)構(gòu)例。圖10是由攝像部取得的圖像的示例。圖11是從同步處理部輸出的圖像的示例。圖12是通道間運(yùn)動(dòng)矢量檢測(cè)部的詳細(xì)結(jié)構(gòu)例。圖13是塊匹配處理中的局部區(qū)域的設(shè)定例。圖14是幀間運(yùn)動(dòng)矢量檢測(cè)部的詳細(xì)結(jié)構(gòu)例。圖15是關(guān)于放大率的計(jì)算方法的說明圖。圖16是圖像提取部的詳細(xì)結(jié)構(gòu)例。
圖17 (A)是關(guān)于邊緣區(qū)域的大小的說明圖。圖17 (B)是關(guān)于邊緣區(qū)域的始點(diǎn)坐標(biāo)的說明圖。圖18是關(guān)于剪裁處理的說明圖。圖19是內(nèi)窺鏡裝置的第2結(jié)構(gòu)例。圖20是攝像元件的濾色器的分光透射特性的示例。圖21是關(guān)于放大率的第2計(jì)算方法的說明圖。圖22是圖像提取部的第2詳細(xì)結(jié)構(gòu)例。圖23是內(nèi)窺鏡裝置的第3結(jié)構(gòu)例。圖24是幀間運(yùn)動(dòng)矢量檢測(cè)部的第2詳細(xì)結(jié)構(gòu)例。圖25是放大率計(jì)算部的詳細(xì)結(jié)構(gòu)例。圖26是關(guān)于攝像部前端的移動(dòng)方向的定義的說明圖。圖27 (A)、圖27 (B)是關(guān)于放大率的第3計(jì)算方法的說明圖。圖28是示出計(jì)算機(jī)系統(tǒng)的結(jié)構(gòu)的系統(tǒng)結(jié)構(gòu)圖。圖29是示出計(jì)算機(jī)系統(tǒng)中的主體部 的結(jié)構(gòu)的框圖。圖30是本實(shí)施方式所進(jìn)行的處理的流程圖示例。
具體實(shí)施例方式以下，對(duì)本實(shí)施方式進(jìn)行說明。另外，以下所說明的本實(shí)施方式，并非是對(duì)權(quán)利要求書所記載的本發(fā)明的內(nèi)容的不恰當(dāng)限定。此外，本實(shí)施方式中所說明的全部結(jié)構(gòu),并非一定是本發(fā)明必需的結(jié)構(gòu)要件。1.本實(shí)施方式的方法首先，使用圖1對(duì)抖動(dòng)校正的方法進(jìn)行說明。在本實(shí)施方式所進(jìn)行的抖動(dòng)校正中，如圖1的BI所示那樣，從拍攝動(dòng)態(tài)圖像而得到的圖像中提取部分區(qū)域，如B2所示那樣，顯示該提取出的區(qū)域的圖像。并且，如B3所示那樣，在下一幀中攝像部向右下方抖動(dòng)情況下，將提取圖像的區(qū)域向左上偏移，如B4所示那樣，顯示與前一幀相同的區(qū)域。這樣，使提取圖像的區(qū)域向抵消抖動(dòng)的方向移動(dòng)，由此對(duì)攝像部與被攝體之間的相對(duì)抖動(dòng)進(jìn)行校正。接下來，使用圖2 圖4，對(duì)上述抖動(dòng)校正的課題進(jìn)行說明。另外，為了簡化說明，以下僅著眼于G圖像進(jìn)行說明。如圖2所示，在某時(shí)間t-Ι (時(shí)刻)，使攝像部200的前端位于Pl所示的位置。此時(shí)，如圖3的Rl所示，通過攝像元件240a取得在圖像中央部拍攝有關(guān)注區(qū)域的G圖像。并且，將Al所示的區(qū)域的圖像用作顯示圖像。接下來，如圖2所示，在時(shí)間t，使攝像部200的前端向P2所示的位置移動(dòng)。此時(shí)，如圖3的R2所示，通過攝像元件240a取得在偏移了 Ql的位置拍攝有關(guān)注區(qū)域的G圖像。并且，將從Al所示的區(qū)域偏移了位移量Ql的A2所示的區(qū)域的圖像用作顯示圖像。該位移量Ql使用在時(shí)間t-Ι和時(shí)間t取得的G圖像，根據(jù)例如公知的塊匹配處理來檢測(cè)。通過以上的處理，能夠顯示進(jìn)行了抖動(dòng)校正的顯示圖像。但是，在該方法中，在位移量Ql較大的情況下，存在難以進(jìn)行抖動(dòng)校正這樣的課題。例如，如圖4所示，使R4所示的時(shí)間t的關(guān)注區(qū)域相對(duì)于R3所示的時(shí)間t-Ι的關(guān)注區(qū)域大大地偏移了位移量Q2。在該情況下，如A3所示，提取顯示圖像的區(qū)域伸出到攝像圖像外，由于在該區(qū)域的右端不存在圖像的信號(hào)值，所以不能提取顯示圖像。這樣的狀況會(huì)在例如內(nèi)窺鏡診斷中的放大觀察時(shí)產(chǎn)生。即，在放大觀察時(shí)，由于上述位移量趨向于與放大率(攝像倍率)成比例地増大，所以在將上述的抖動(dòng)校正方法直接應(yīng)用于內(nèi)窺鏡裝置時(shí)，存在可進(jìn)行校正的抖動(dòng)的大小受限制這樣的課題。因此，在本實(shí)施方式中，如圖4的A4所示那樣，根據(jù)放大率來減小用作顯示圖像的區(qū)域。這相當(dāng)于根據(jù)放大率來擴(kuò)大未用作顯示圖像的區(qū)域(邊緣區(qū)域)。在本實(shí)施方式中，通過這樣擴(kuò)大邊緣區(qū)域，即使對(duì)于較大的位移量也能夠?qū)⑻崛^(qū)域納入圖像內(nèi)，從而即使在放大觀察時(shí)也能夠穩(wěn)定地進(jìn)行抖動(dòng)校正。2.內(nèi)窺鏡裝置圖5示出根據(jù)放大率變更邊緣區(qū)域的尺寸的內(nèi)窺鏡裝置的結(jié)構(gòu)例。該內(nèi)窺鏡裝置(內(nèi)窺鏡系統(tǒng))包括光源部100、攝像部200、圖像處理部300、顯示部400以及外部I/F部500。光源部100包括:產(chǎn)生白色光的白色光源110 ;旋轉(zhuǎn)濾光器120，其從該白色光中提取規(guī)定波段的光；電動(dòng)機(jī)120a，其用于驅(qū)動(dòng)該旋轉(zhuǎn)濾光器120 ;以及透鏡130，其用于將由旋轉(zhuǎn)濾光器120提取的光會(huì)聚于光導(dǎo)纖維210。例如，如圖6所示，旋轉(zhuǎn)濾光器120由透射率的不同的3種濾色器Fr、Fg、Fb構(gòu)成。例如圖7所示，關(guān)于這3種濾色器，F(xiàn)r濾光器具有透射580 700nm的光的特性、Fg濾光器具有透射480 600nm的光的特性、Fb濾光器具有透射400 500nm的光的特性。電動(dòng)機(jī)120a與控制部380雙向連接。并且，根據(jù)來自控制部380的控制信號(hào)驅(qū)動(dòng)電動(dòng)機(jī)120a，由此使旋轉(zhuǎn)濾光器120旋轉(zhuǎn)，從而依次切換插入到白色光源110與透鏡130之間的光路中的濾色器Fg、Fr、Fb。電動(dòng)機(jī)120a將插入到白色光源110與透鏡130之間的光路中的濾色器的信息輸出到控制部380。例如，該濾色器的信息是如下所示的識(shí)別信息?？刂撇?80將該識(shí)別信息輸出到下述的同步處理部310。插入到光路中的濾色器:識(shí)別信息Fg: IFr:2Fb:3這樣，通過使旋轉(zhuǎn)濾光器120旋轉(zhuǎn)來切換濾色器，通過下述的単色的攝像元件240a對(duì)與各濾色器對(duì)應(yīng)的圖像進(jìn)行攝影。即，按時(shí)序取得R、G、B各圖像。此處，R圖像是將濾色器Fr插入到上述的光路的期間中取得的圖像。此外，G圖像和B圖像分別是將濾色器Fg和濾色器Fb插入到上述的光路的期間中取得的圖像。由于攝像部200要能夠插入到體腔，所以形成為細(xì)長且可彎曲。此外，由于根據(jù)觀察的部位等而采用不同的攝像部200，所以攝像部200構(gòu)成為可拆裝。另外，由于在內(nèi)窺鏡領(lǐng)域中，攝像部200 —般被稱為鏡頭，所以在以下的說明中，將攝像部200適當(dāng)稱為鏡頭。攝像部200包括:光導(dǎo)纖維210，其用于引導(dǎo)由光源部100會(huì)聚的光；以及照明透鏡220，其使由該光導(dǎo)纖維210引導(dǎo)的光擴(kuò)散并照射于被攝體。此外，攝像部200包括:會(huì)聚透鏡230，其會(huì)聚來自被攝體的反射光；以及攝像元件240a，其用于檢測(cè)由該會(huì)聚透鏡230會(huì)聚的反射光。攝像元件240a是例如具有 圖8所示的分光感光度特性的単色的攝像元件。此外，攝像部200在內(nèi)部具有存儲(chǔ)器250，該存儲(chǔ)器250中保存有各鏡頭固有的識(shí)別編號(hào)。此外，存儲(chǔ)器250與控制部380連接。并且，控制部380通過參照存儲(chǔ)器250中保存的識(shí)別編號(hào)，能夠識(shí)別所連接的鏡頭的種類。會(huì)聚透鏡230能夠?qū)裹c(diǎn)位置進(jìn)行變動(dòng)控制，例如能夠?qū)⒔裹c(diǎn)位置控制在dmin dmax [mm]。例如，使用者可經(jīng)由外部I/F部500將焦點(diǎn)位置d設(shè)定為dmin dmax [mm]的范圍內(nèi)的任意值。并且，使用者通過外部I/F部500設(shè)定的焦點(diǎn)位置d被傳送到控制部380，控制部380根據(jù)使用者設(shè)定的焦點(diǎn)位置d，控制會(huì)聚透鏡230，變更焦點(diǎn)位置。另外，以下，將通常(非放大)觀察時(shí)的焦點(diǎn)位置設(shè)為dn=dmax [mm]。此處，所謂焦點(diǎn)位置，表示會(huì)聚透鏡230對(duì)焦時(shí)的會(huì)聚透鏡230與被攝體之間的距離。此外，所謂通常觀察，是指例如在可設(shè)定的焦點(diǎn)位置的范圍內(nèi)，將焦點(diǎn)位置設(shè)定在最大距離來觀察被攝體的情況。上述的焦點(diǎn)位置的控制范圍，根據(jù)所連接的鏡頭而不同。如上所述，控制部380通過參照存儲(chǔ)器250中保存的各鏡頭固有的識(shí)別編號(hào)，能夠識(shí)別所連接的鏡頭的種類。因此，控制部380能夠取得所連接的鏡頭的焦點(diǎn)位置的控制范圍dmin dmax [mm]以及通常觀察時(shí)的焦點(diǎn)位置dn的信息?？刂撇?80將與焦點(diǎn)位置相關(guān)的信息輸出到下述的放大率計(jì)算部340a。該輸出的信息是上述的使用者設(shè)定的焦點(diǎn)位置d、通常觀察時(shí)的焦點(diǎn)位置dn的信息以及焦點(diǎn)位置的最小值dmin。圖像處理部300包括:同步處理部310、通道間運(yùn)動(dòng)矢量檢測(cè)部320、幀間運(yùn)動(dòng)矢量檢測(cè)部330a、放大率計(jì)算部340a、圖像提取部350a、普通光圖像生成部360、尺寸轉(zhuǎn)換部370以及控制部380?？刂撇?80連接同步處理部310、通道間運(yùn)動(dòng)矢量檢測(cè)部320、幀間運(yùn)動(dòng)矢量檢測(cè)部330a、放大率計(jì)算部340a、圖像提取部350a、普通光圖像生成部360以及尺寸轉(zhuǎn)換部370，并對(duì)它們進(jìn)行控制。同步處理部310根 據(jù)在攝像元件240a中按時(shí)序取得的R、G、B各圖像，通過下述的方法生成RGB圖像。通道間運(yùn)動(dòng)矢量檢測(cè)部320檢測(cè)在同步處理部310中生成的RGB圖像的各圖像之間的運(yùn)動(dòng)矢量。在將G圖像作為基準(zhǔn)的情況下，該通道間的運(yùn)動(dòng)矢量是R圖像的運(yùn)動(dòng)矢量和B圖像的運(yùn)動(dòng)矢量。如使用圖14所述那樣，幀間運(yùn)動(dòng)矢量檢測(cè)部330a根據(jù)幀存儲(chǔ)器331中存儲(chǔ)的I幀前的RGB圖像以及從同步處理部310輸出的RGB圖像，檢測(cè)幀間運(yùn)動(dòng)矢量。放大率計(jì)算部340a使用從控制部380輸出的焦點(diǎn)位置的信息，計(jì)算放大率。此處，所謂放大率(攝像倍率)是指攝像圖像中的被攝體的放大率，例如由攝像區(qū)域尺寸在被攝體上的相對(duì)尺寸比來表示。即，在將作為基準(zhǔn)的攝像區(qū)域尺寸設(shè)為I倍的情況下，對(duì)其1/2尺寸的攝像區(qū)域所拍攝的圖像的放大率是2倍。圖像提取部350a根據(jù)從通道間運(yùn)動(dòng)矢量檢測(cè)部320、幀間運(yùn)動(dòng)矢量檢測(cè)部330a以及放大率計(jì)算部340a輸出的信息，從來自同步處理部310的RGB圖像中提取圖像，進(jìn)行抖動(dòng)校正。并且，圖像提取部350a將提取出的圖像輸出為R’G’B’圖像。此外，圖像提取部350a將RGB圖像與R’G’B’圖像的大小的比率輸出到尺寸轉(zhuǎn)換部370。另外，通道間運(yùn)動(dòng)矢量檢測(cè)部320、幀間運(yùn)動(dòng)矢量檢測(cè)部330a、放大率計(jì)算部340a以及圖像提取部350a的詳細(xì)情況將在后面描述。普通光圖像生成部360對(duì)在圖像提取部350a中提取的R’ G’ B’圖像實(shí)施例如已知的白平衡處理、顔色轉(zhuǎn)換處理或灰度轉(zhuǎn)換處理，從而生成普通光圖像。尺寸轉(zhuǎn)換部370對(duì)由普通光圖像生成部360取得的普通光圖像實(shí)施尺寸轉(zhuǎn)換處理，使其成為與提取前的RGB圖像相同的尺寸，并將處理后的圖像輸出到顯示部400。具體而言，尺寸轉(zhuǎn)換部370根據(jù)從圖像提取部350a輸出的RGB圖像與R’G’B’圖像的大小的比率，實(shí)施放大/縮小處理。放大/縮小處理能夠通過例如公知的雙三次插值處理來實(shí)現(xiàn)。3.同步處理部圖9示出上述的同步處理部310的詳細(xì)結(jié)構(gòu)例。該同步處理部310包括:G圖像存儲(chǔ)部311、R圖像存儲(chǔ)部312、B圖像存儲(chǔ)部313以及RGB圖像生成部314。并且，G圖像存儲(chǔ)部311、R圖像存儲(chǔ)部312以及B圖像存儲(chǔ)部313分別與控制部380連接。G圖像存儲(chǔ)部311參照從控制部380輸出的識(shí)別信息，識(shí)別在光路中插入濾光器Fg的期間。具體而言，在識(shí)別信息為“I”的情況下，G圖像存儲(chǔ)部311識(shí)別為插入濾光器Fg的期間，在該期間內(nèi)從攝像元件240a輸出的信號(hào)被存儲(chǔ)為G圖像。R圖像存儲(chǔ)部312參照從控制部380輸出的識(shí)別信息，識(shí)別在光路中插入濾光器Fr的期間。具體而言，在識(shí)別信息為“2”的情況下，R圖像存儲(chǔ)部312識(shí)別為插入濾光器Fr的期間，在該期間內(nèi)從攝像元件240a輸出的信號(hào)被存儲(chǔ)為R圖像。B圖像存儲(chǔ)部313參照從控制部380輸出的識(shí)別信息，識(shí)別在光路中插入濾光器Fb的期間。具體而言，在識(shí)別信息為“3”的情況下，B圖像存儲(chǔ)部313識(shí)別為插入濾光器Fb的期間，在該期間內(nèi)從攝像元件240a輸出的信號(hào)被存儲(chǔ)為B圖像。并且，在G圖像存儲(chǔ)部311、R圖像存儲(chǔ)部312以及B圖像存儲(chǔ)部313分別存儲(chǔ)了圖像后，向RGB圖像生成部314輸出觸發(fā)信號(hào)。 當(dāng)從G圖像存儲(chǔ)部311、R圖像存儲(chǔ)部312以及B圖像存儲(chǔ)部313中的任意ー個(gè)輸出了觸發(fā)信號(hào)吋，RGB圖像生成部314讀出G圖像存儲(chǔ)部311、R圖像存儲(chǔ)部312以及B圖像存儲(chǔ)部313中存儲(chǔ)的全部圖像，生成RGB圖像。RGB圖像生成部314將所生成的RGB圖像輸出到通道間運(yùn)動(dòng)矢量檢測(cè)部320、幀間運(yùn)動(dòng)矢量檢測(cè)部330a以及圖像提取部350a。4.通道間運(yùn)動(dòng)矢量檢測(cè)部接下來，對(duì)通道間運(yùn)動(dòng)矢量檢測(cè)部320進(jìn)行詳細(xì)說明。通道間運(yùn)動(dòng)矢量檢測(cè)部320根據(jù)從同步處理部310輸出的RGB圖像，檢測(cè)在以G圖像為基準(zhǔn)的情況下的B圖像和R圖像的運(yùn)動(dòng)矢量。如上所述，在本實(shí)施方式中，由于按時(shí)序取得R、G、B各圖像，所以在同步處理部310中取得的RGB圖像中會(huì)產(chǎn)生色差。因此，在本實(shí)施方式中，通過塊匹配處理來檢測(cè)在以G圖像為基準(zhǔn)的情況下的B圖像和R圖像的運(yùn)動(dòng)矢量。并且，根據(jù)檢測(cè)出的運(yùn)動(dòng)矢量控制圖像提取部350a按照RGB的每個(gè)圖像提取的圖像的坐標(biāo)，由此能夠消除色差的問題。另外，眾所周知，在內(nèi)窺鏡圖像中，R圖像缺乏血管等的結(jié)構(gòu)信息。因此，難以通過塊匹配處理來檢測(cè)R圖像的運(yùn)動(dòng)矢量。因此，在本實(shí)施方式中，如下述那樣，對(duì)B圖像的運(yùn)動(dòng)矢量使用塊匹配處理來進(jìn)行檢測(cè)，對(duì)R圖像的運(yùn)動(dòng)矢量使用根據(jù)B圖像的運(yùn)動(dòng)矢量來進(jìn)行估計(jì)的方法。使用圖10 圖13，對(duì)通道間運(yùn)動(dòng)矢量檢測(cè)部320進(jìn)行詳細(xì)說明。如圖10所示，在時(shí)間t-3 時(shí)間t+3的各時(shí)間，通過攝像部200取得各圖像。在該情況下，圖11所示的R圖像、G圖像、B圖像作為在各時(shí)間從同步處理部310輸出的RGB圖像而被輸出。
圖12示出通道間運(yùn)動(dòng)矢量檢測(cè)部320的詳細(xì)結(jié)構(gòu)例。該通道間運(yùn)動(dòng)矢量檢測(cè)部320包括G圖像選擇部321a、B圖像選擇部322、增益乘法部323a、塊匹配處理部324a以及運(yùn)動(dòng)矢量插值部325。塊匹配處理部324a與控制部380連接。G圖像選擇部321a從由同步處理部310輸出的RGB圖像中選出G圖像，輸出到增益乘法部323a以及塊匹配處理部324a。B圖像選擇部322從由同步處理部310輸出的RGB圖像中選出B圖像，輸出到增益乘法部323a。增益乘法部323a，對(duì)B圖像的全部像素進(jìn)行乘以增益的處理，使得B圖像的平均信號(hào)值等于G圖像的平均信號(hào)值。并且，增益乘法部323a將乘以增益后的B圖像輸出到塊匹配處理部324a。具體而言，增益乘法部323a根據(jù)下式(I)計(jì)算所乘的增益gain的值。此處，G_ave表示G圖像的圖像整體的平均信號(hào)值，B_ave表示B圖像的圖像整體的平均信號(hào)值。[式I]gain=G 一 ave/B_avg...(I)首先，塊匹配處理部324a對(duì)從增益乘法部323a輸出的B圖像設(shè)定多個(gè)局部區(qū)域。圖13示出局部區(qū)域的設(shè)定例。另外，在本實(shí)施方式中，作為圖像的坐標(biāo)系，使用了圖13所示的X、y坐標(biāo)系。X、y坐標(biāo)是圖像的垂直2軸坐標(biāo),例如χ坐標(biāo)是水平掃描方向的坐標(biāo)，y坐標(biāo)是垂直方向的坐標(biāo)。此處，所設(shè)定的局部區(qū)域的大小或個(gè)數(shù)可以預(yù)先設(shè)定為固定值，也可以構(gòu)成為由使用者通過外部I/F部500設(shè)定為任意值。接下來，塊匹配處理部324a對(duì)所設(shè)定的全部局部區(qū)域，使用例如公知的塊匹配處理來計(jì)算運(yùn)動(dòng)矢量。并且，塊匹配處理部324a將從全部局部區(qū)域中計(jì)算出的運(yùn)動(dòng)矢量的平均值作為B圖像的通道間運(yùn)動(dòng)矢量(Vec_Bx，Vec_By>輸出到圖像提取部350a。例如，上述塊匹配處理能夠通過如下方法來實(shí)現(xiàn):針對(duì)基準(zhǔn)圖像的任意塊，在對(duì)象圖像內(nèi)搜索相關(guān)度高的塊的位置。在該情況下，塊間的相對(duì)偏差量對(duì)應(yīng)于該塊的運(yùn)動(dòng)矢量。在本實(shí)施方式中，B圖像是基準(zhǔn)圖像，G圖像相當(dāng)于塊匹配的對(duì)象圖像。作為在塊匹配中搜索相關(guān)度高的塊的方法，使用例如方差SSD或絕對(duì)誤差SAD等即可。在這些方法中，設(shè)基準(zhǔn)圖像中的塊區(qū)域?yàn)镮，設(shè)對(duì)象圖像中的塊區(qū)域?yàn)镮’，求出與I相關(guān)度高的I’的位置。設(shè)在各塊區(qū)域中的像素位置為P e I以及q e I’、設(shè)各像素的信號(hào)值為Lp、Lq，則330、340分別由下式(2)、(3)定義。并且，這些值越小則相關(guān)度評(píng)價(jià)為越聞。[式2]
權(quán)利要求
1.種圖像處理裝置，其對(duì)由能夠進(jìn)行放大觀察的攝像部取得的圖像進(jìn)行處理，其特征在于，所述圖像處理裝置包括: 取得運(yùn)動(dòng)信息的運(yùn)動(dòng)信息取得部，所述運(yùn)動(dòng)信息是表示所述攝像部相對(duì)于被攝體的相對(duì)運(yùn)動(dòng)的信息； 攝像倍率計(jì)算部，其計(jì)算所述攝像部的攝像倍率；以及 圖像提取部，其從由所述攝像部取得的攝像圖像中提取特定區(qū)域的圖像作為提取圖像， 所述圖像提取部根據(jù)所述運(yùn)動(dòng)信息設(shè)定所述攝像圖像中的所述特定區(qū)域的位置，并且，根據(jù)所述攝像倍率以及所述運(yùn)動(dòng)信息設(shè)定邊緣區(qū)域的大小，所述邊緣區(qū)域的大小是從所述攝像圖像中除去所述特定區(qū)域以外的區(qū)域的大小。
2.據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述圖像提取部將所述邊緣區(qū)域的大小設(shè)定為與所述攝像倍率成比例的大小。
3.據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 所述圖像提取部將所述邊緣區(qū)域的大小設(shè)定為作為所述邊緣區(qū)域的大小的基準(zhǔn)的基準(zhǔn)尺寸乘以所述攝像倍率而得到的尺寸。
4.據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于， 所述圖像提取部根據(jù)所述運(yùn)動(dòng)信息更新被設(shè)定為所述基準(zhǔn)尺寸乘以所述攝像倍率而得到的尺寸的所述邊緣區(qū)域的大小。
5.據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述圖像提取部根據(jù)規(guī)定期間內(nèi)的所述運(yùn)動(dòng)信息的平均值來更新所述邊緣區(qū)域的大小。
6.據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于， 所述圖像提取部在所述運(yùn)動(dòng)信息的平均值大于第I閾值的情況下，將所述邊緣區(qū)域的大小更新為比根據(jù)所述攝像倍率設(shè)定的大小更大的尺寸， 所述圖像提取部在所述運(yùn)動(dòng)信息的平均值小于第2閾值的情況下，將所述邊緣區(qū)域的大小更新為比根據(jù)所述攝像倍率設(shè)定的大小更小的尺寸。
7.據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述圖像提取部根據(jù)所述運(yùn)動(dòng)信息更新根據(jù)所述攝像倍率設(shè)定的所述邊緣區(qū)域的大小。
8.據(jù)權(quán)利要求7所述的圖像處理裝置，其特征在于， 所述運(yùn)動(dòng)信息是表示所述攝像圖像中的所述被攝體的運(yùn)動(dòng)的運(yùn)動(dòng)矢量， 所述圖像提取部根據(jù)規(guī)定期間內(nèi)的所述運(yùn)動(dòng)矢量的絕對(duì)值的平均值更新所述邊緣區(qū)域的大小。
9.據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述圖像提取部在判定為所述特定區(qū)域的至少一部分伸出到所述攝像圖像的外側(cè)的情況下，將所述特定區(qū)域重新設(shè)定在所述攝像圖像內(nèi)。
10.據(jù)權(quán)利要求9所述的圖像處理裝置，其特征在于， 所述運(yùn)動(dòng)信息是表示所述攝像圖像中的所述被攝體的運(yùn)動(dòng)的運(yùn)動(dòng)矢量， 所述圖像提取部在所述運(yùn)動(dòng)矢量的大小超過所述邊緣區(qū)域的大小的情況下，將所述特定區(qū)域的位置重新設(shè)定在所述邊緣區(qū)域內(nèi)。
11.據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在干， 所述圖像處理裝置包括取得所述攝像部的焦點(diǎn)位置信息的焦點(diǎn)位置信息取得部， 在由于所述攝像部與所述被攝體之間的距離變更而所述攝像倍率變更的情況下，所述攝像倍率計(jì)算部根據(jù)所述焦點(diǎn)位置信息計(jì)算所述攝像倍率。
12.據(jù)權(quán)利要求11所述的圖像處理裝置，其特征在干， 所述攝像倍率計(jì)算部根據(jù)基準(zhǔn)焦點(diǎn)位置與所述焦點(diǎn)位置信息表示的焦點(diǎn)位置之比計(jì)算所述攝像倍率。
13.據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在干， 所述圖像處理裝置包括取得所述攝像部的視角信息的視角信息取得部， 所述攝像倍率計(jì)算部根據(jù)所述視角信息計(jì)算所述攝像倍率。
14.據(jù)權(quán)利要求13所述的圖像處理裝置，其特征在干， 在設(shè)基準(zhǔn)視角為、設(shè)所述視角信息表示的視角為小的情況下，所述攝像倍率計(jì)算部根據(jù)tan ( 4>n/2)與tan ( ￠/2)之比計(jì)算所述攝像倍率。
15.據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在干， 該圖像處理裝置包括取得所述攝像部的移動(dòng)量信息的移動(dòng)量信息取得部， 所述攝像倍率計(jì)算部根據(jù)所述運(yùn)動(dòng)信息和所述移動(dòng)量信息計(jì)算所述攝像倍率。
16.據(jù)權(quán)利要求15所述的圖像處理裝置，其特征在干， 所述攝像倍率計(jì)算部根據(jù)所述運(yùn)動(dòng)信息和所述移動(dòng)量信息計(jì)算所述攝像部與所述被攝體之間的距離，根據(jù)計(jì)算出的距離與基準(zhǔn)距離之比計(jì)算所述攝像倍率。
17.據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在干， 所述運(yùn)動(dòng)信息取得部根據(jù)在不同時(shí)間取得的至少2個(gè)所述攝像圖像，取得表示所述攝像圖像中的所述被攝體的運(yùn)動(dòng)的運(yùn)動(dòng)矢量。
18.據(jù)權(quán)利要求17所述的圖像處理裝置，其特征在干， 所述攝像部按時(shí)序依次取得第I顔色信號(hào) 第3顔色信號(hào)的圖像作為所述攝像圖像， 所述運(yùn)動(dòng)信息取得部取得表示所述第I顔色信號(hào) 第3顔色信號(hào)的圖像之間的被攝體的運(yùn)動(dòng)的運(yùn)動(dòng)矢量作為通道間運(yùn)動(dòng)矢量， 所述圖像提取部根據(jù)所述通道間運(yùn)動(dòng)矢量，從所述第I顔色信號(hào) 第3顔色信號(hào)的圖像中提取所述提取圖像。
19.據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在干， 所述圖像處理裝置包括尺寸轉(zhuǎn)換部，在所述提取圖像的圖像尺寸根據(jù)所述攝像倍率而變化的情況下，所述尺寸轉(zhuǎn)換部將所述提取圖像的圖像尺寸轉(zhuǎn)換為能夠在顯示部中顯示的規(guī)定的圖像尺寸。
20.據(jù)權(quán)利要求19所述的圖像處理裝置，其特征在干， 所述攝像部取得一系列的動(dòng)態(tài)圖像作為所述攝像圖像， 所述尺寸轉(zhuǎn)換部將從所述一系列的動(dòng)態(tài)圖像中提取出的一系列的提取圖像轉(zhuǎn)換為相同的圖像尺寸。
21.種內(nèi)窺鏡裝置，其特征在干， 所述內(nèi)窺鏡裝置包括權(quán)利要求1所述的圖像處理裝置。
22.據(jù)權(quán)利要求21所述的內(nèi)窺鏡裝置，其特征在于，包括: 尺寸轉(zhuǎn)換部，其在所述提取圖像的圖像尺寸根據(jù)所述攝像倍率而變化的情況下，將所述提取圖像的圖像尺寸轉(zhuǎn)換為能夠在顯示部中顯示的規(guī)定的圖像尺寸；以及顯示部，其顯示轉(zhuǎn)換為所述規(guī)定的圖像尺寸的提取圖像。
23.種圖像處理程序，其特征在干， 所述圖像處理程序使計(jì)算機(jī)作為如下部件發(fā)揮作用: 取得運(yùn)動(dòng)信息的運(yùn)動(dòng)信息取得部，其中，所述運(yùn)動(dòng)信息是表示所述攝像部相對(duì)于被攝體的相對(duì)運(yùn)動(dòng)的信息； 攝像倍率計(jì)算部，其計(jì)算所述攝像部的攝像倍率；以及 圖像提取部，其從由所述攝像部取得的攝像圖像中提取特定區(qū)域的圖像作為提取圖像， 所述圖像提取部根據(jù)所述運(yùn)動(dòng)信息設(shè)定所述攝像圖像中的所述特定區(qū)域的位置，并且，根據(jù)所述攝像倍率以及所述運(yùn)動(dòng)信息設(shè)定邊緣區(qū)域的大小，所述邊緣區(qū)域的大小是從所述攝像圖像中除去所述特定區(qū)域以外的區(qū)域的大小。
24.種圖像處理方法，其特征在干， 取得運(yùn)動(dòng)信息，該運(yùn)動(dòng)信息是表示所述攝像部相對(duì)于被攝體的相對(duì)運(yùn)動(dòng)的信息， 計(jì)算所述攝像部的攝像倍率， 從由所述攝像部取得的攝像圖像中提取特定區(qū)域的圖像作為提取圖像， 根據(jù)所述運(yùn)動(dòng)信息設(shè)定所述攝像圖像中的所述特定區(qū)域的位置，并且，根據(jù)所述攝像倍率以及所述運(yùn)動(dòng)信息設(shè)定邊緣區(qū)域的大小，所述邊緣區(qū)域的大小是從所述攝像圖像中除去所述特定區(qū)域以外的區(qū) 域的大小。
全文摘要
圖像處理裝置對(duì)由能夠進(jìn)行放大觀察的攝像部(200)取得的圖像進(jìn)行處理。該圖像處理裝置包括取得運(yùn)動(dòng)信息的運(yùn)動(dòng)信息取得部(320、330a)，其中，所述運(yùn)動(dòng)信息是表示攝像部(200)相對(duì)于被攝體的相對(duì)運(yùn)動(dòng)的信息；攝像倍率計(jì)算部(340a)，其計(jì)算攝像部(200)的攝像倍率；以及圖像提取部(350a)，其從由攝像部(200)取得的攝像圖像中提取特定區(qū)域中的圖像作為提取圖像。并且，圖像提取部(350a)根據(jù)運(yùn)動(dòng)信息設(shè)定攝像圖像中的特定區(qū)域的位置，并且，根據(jù)攝像倍率和運(yùn)動(dòng)信息設(shè)定邊緣區(qū)域的大小，其中，所述邊緣區(qū)域的大小是從攝像圖像中除去特定區(qū)域以外的區(qū)域的大小。
文檔編號(hào)G02B23/26GK103096781SQ20118004308
公開日2013年5月8日 申請(qǐng)日期2011年8月19日 優(yōu)先權(quán)日2010年9月9日
發(fā)明者高橋順平 申請(qǐng)人:奧林巴斯株式會(huì)社