本技術(shù)涉及一種內(nèi)窺鏡系統(tǒng)、一種圖像處理裝置、一種圖像處理方法以及一種程序，并且更具體地涉及，允許在內(nèi)窺鏡手術(shù)中使用的其他內(nèi)窺鏡裝置之中，即使使用所謂的斜視內(nèi)窺鏡時也實施圖像穩(wěn)定的一種內(nèi)窺鏡系統(tǒng)、一種圖像處理裝置、一種圖像處理方法以及一種程序。

背景技術(shù)：

在諸如攝像機等成像裝置的領(lǐng)域中，公開了通過使用設(shè)置在成像裝置上的陀螺儀檢測相機抖動量來校正圖像的相機抖動的技術(shù)(參見ptl1)。

在ptl1中的技術(shù)描述了通過基于由諸如陀螺儀等傳感器檢測的抖動量在指向光軸的方向上將圖像數(shù)據(jù)移動ftanθ或fθ來校正相機抖動。

在本說明書中，f是成像光學(xué)系統(tǒng)的焦距，而θ是成像裝置繞著指向光軸的軸旋轉(zhuǎn)的旋轉(zhuǎn)角，作為由諸如陀螺儀等傳感器檢測和計算的角度。

引用列表

專利文獻

ptl1：jp2013-113962a

技術(shù)實現(xiàn)要素：

技術(shù)問題

通常，攝像機對距離數(shù)米到數(shù)十米外存在的目標對象進行成像。在這種情況下，在成像裝置的光學(xué)系統(tǒng)和目標對象之間的距離(在下文中稱為“主體距離”)比在由相機抖動產(chǎn)生的旋轉(zhuǎn)的旋轉(zhuǎn)中心和成像裝置的光學(xué)系統(tǒng)之間的距離(在下文中稱為“旋轉(zhuǎn)半徑”)更長。

因此，根據(jù)在ptl1等中描述的方法，假設(shè)旋轉(zhuǎn)半徑足夠短到與主體距離相比處于可忽略的水平來計算用于圖像穩(wěn)定的偏移量。

另一方面，剛性內(nèi)窺鏡裝置對距離數(shù)毫米至數(shù)厘米外的目標對象進行成像。在內(nèi)窺鏡手術(shù)中，剛性鏡體通過稱為套管針的圓筒插入，并且導(dǎo)入到腹腔內(nèi)。

在這種情況下，剛性鏡體使用位于套管針處的支點旋轉(zhuǎn)。根據(jù)剛性內(nèi)窺鏡裝置，旋轉(zhuǎn)半徑不夠小到相對于主體距離足夠處于可忽略的水平，因此，在ptl1等中描述的圖像穩(wěn)定方法無效。

另外，除了普通的直視剛性內(nèi)窺鏡之外，還存在稱為斜視鏡的剛性內(nèi)窺鏡，該剛性內(nèi)窺鏡包括其光軸相對于鏡筒的軸傾斜地設(shè)置的剛性鏡體。在斜視鏡的情況下，僅僅在考慮由斜視鏡的鏡筒軸和光學(xué)系統(tǒng)的光軸形成的角度、鏡筒從參考位置的旋轉(zhuǎn)角度以及主體距離和旋轉(zhuǎn)半徑的情況下來計算用于圖像穩(wěn)定的偏移量時，圖像穩(wěn)定是有效的。

鑒于上述情況，開發(fā)本技術(shù)。考慮主體距離、旋轉(zhuǎn)半徑、由斜視鏡的鏡筒軸和光學(xué)系統(tǒng)的光軸形成的角度以及斜視鏡從參考位置的旋轉(zhuǎn)角度，本技術(shù)實施圖像穩(wěn)定。

問題的解決方案

根據(jù)本公開的一個方面的一種內(nèi)窺鏡系統(tǒng)是以下內(nèi)窺鏡系統(tǒng)，包括：內(nèi)窺鏡裝置以及圖像處理電路，包括：物鏡，其設(shè)置在遠端，所述物鏡設(shè)置成使得所述物鏡的光軸和所述物鏡的縱軸以預(yù)定角度相交；內(nèi)窺鏡頭部，其設(shè)置在近端；以及陀螺儀傳感器，其設(shè)置在所述內(nèi)窺鏡頭部上，并且用于檢測所述內(nèi)窺鏡頭部的移動的角速度，圖像處理電路被配置為基于檢測到的角速度來實施從所述內(nèi)窺鏡裝置輸入的圖像信號的圖像穩(wěn)定。

根據(jù)本公開的一個方面的一種圖像處理裝置是以下圖像處理裝置，用于從內(nèi)窺鏡裝置輸入的圖像信號的圖像穩(wěn)定，所述內(nèi)窺鏡裝置包括：物鏡，其設(shè)置在遠端，所述物鏡設(shè)置成使得所述物鏡的光軸和所述物鏡的縱軸以預(yù)定角度相交；內(nèi)窺鏡頭部，其設(shè)置在近端；以及陀螺儀傳感器，其設(shè)置在所述內(nèi)窺鏡頭部上，并且用于檢測所述內(nèi)窺鏡頭部的移動的角速度。所述圖像處理裝置包括電路，其被配置為基于由所述內(nèi)窺鏡裝置檢測到的所述內(nèi)窺鏡裝置的內(nèi)窺鏡頭部的移動的角速度來實施從所述內(nèi)窺鏡裝置輸入的圖像信號的圖像穩(wěn)定。

根據(jù)本公開的一個方面的一種圖像處理方法是由圖像處理電路實施的圖像處理方法，所述圖像處理電路被配置為處理從內(nèi)窺鏡裝置輸入的圖像信號，所述內(nèi)窺鏡裝置包括：物鏡，其設(shè)置在遠端，所述物鏡設(shè)置成使得所述物鏡的光軸和所述物鏡的縱軸以預(yù)定角度相交；內(nèi)窺鏡頭部，其設(shè)置在近端；以及陀螺儀傳感器，其設(shè)置在所述內(nèi)窺鏡頭部上，并且用于檢測所述內(nèi)窺鏡頭部的移動的角速度。所述方法包括基于檢測的所述內(nèi)窺鏡裝置的內(nèi)窺鏡頭部的移動的角速度來實施圖像信號的圖像穩(wěn)定的步驟。

根據(jù)本公開的一個方面的一種介質(zhì)是非暫時性計算機可讀介質(zhì)，在其上存儲有程序，所述程序在由計算機執(zhí)行時使所述計算機實施由圖像處理電路實施的方法，所述圖像處理電路被配置為處理從內(nèi)窺鏡裝置輸入的圖像信號，所述內(nèi)窺鏡裝置包括：物鏡，其設(shè)置在遠端，所述物鏡設(shè)置成使得所述物鏡的光軸和所述物鏡的縱軸以預(yù)定角度相交；內(nèi)窺鏡頭部，其設(shè)置在近端；以及陀螺儀傳感器，其設(shè)置在所述內(nèi)窺鏡頭部上，并且用于檢測所述內(nèi)窺鏡頭部的移動的角速度。所述方法包括基于檢測的所述內(nèi)窺鏡裝置的內(nèi)窺鏡頭部的移動的角速度來實施圖像信號的圖像穩(wěn)定的步驟。

根據(jù)本技術(shù)的一個方面的內(nèi)窺鏡系統(tǒng)和圖像處理裝置可以是獨立的裝置或者包括在用作內(nèi)窺鏡系統(tǒng)和圖像處理裝置這兩者的塊體中。

發(fā)明的有益效果

根據(jù)本技術(shù)的一個方面，考慮主體距離、旋轉(zhuǎn)半徑、由斜視鏡的鏡筒軸和光學(xué)系統(tǒng)的光軸形成的角度以及斜視鏡從參考位置旋轉(zhuǎn)的角度，可實現(xiàn)圖像穩(wěn)定。

附圖說明

[圖1]圖1是示出腹腔鏡手術(shù)的概要的示圖。

[圖2]圖2是示出應(yīng)用了本公開的內(nèi)窺鏡系統(tǒng)的配置實例的方框圖。

[圖3]圖3是示出在圖2示出的內(nèi)窺鏡裝置的另一個配置實例的方框圖。

[圖4]圖4是示出由圖形圖像校正裝置執(zhí)行的校正處理的概要的示圖。

[圖5]圖5是示出圖像校正裝置的配置實例的方框圖。

[圖6]圖6是示出在攝像機與內(nèi)窺鏡裝置之間的圖像穩(wěn)定的差異的示圖。

[圖7]圖7是示出使用針孔相機模型的斜視鏡的配置的示圖。

[圖8]圖8是示出由直視鏡進行的圖像穩(wěn)定的示圖。

[圖9]圖9是示出斜視鏡的相機抖動方向的示圖。

[圖10]圖10是示出由斜視鏡進行的圖像穩(wěn)定的示圖。

[圖11]圖11是示出圖像校正處理的流程圖。

[圖12]圖12是示出使用經(jīng)受圖像穩(wěn)定的圖像的拼接合成的示圖。

[圖13]圖13是示出計算機的配置實例的方框圖。

具體實施方式

在下文中，將參考附圖詳細描述用于執(zhí)行本技術(shù)的最佳模式(在下文中稱為實施方式)。

<內(nèi)窺鏡系統(tǒng)的概要>

圖1是表示應(yīng)用了本技術(shù)的內(nèi)窺鏡系統(tǒng)的概要的示圖。

該內(nèi)窺鏡系統(tǒng)用于近年來在醫(yī)療實踐中進行的腹腔鏡手術(shù)中，代替?zhèn)鹘y(tǒng)的開腹手術(shù)。

更具體而言，在腹部區(qū)域中的腹腔鏡手術(shù)的情況下，例如，如圖1所示，稱為套管針2的開孔工具附接至腹壁的幾個點。在這種條件下，將腹腔鏡(在下文中也稱為“內(nèi)窺鏡裝置”或“內(nèi)窺鏡”)21和治療裝置3通過形成在套管針2中的孔而插入并且導(dǎo)入體內(nèi)，而不是與在傳統(tǒng)的開腹手術(shù)中一樣切割腹部壁1。然后，通過由內(nèi)窺鏡裝置11捕捉的患部4的視頻圖像的實時視野，進行通過使用處理裝置4切出患部(例如，腫瘤)5的治療。

在由內(nèi)窺鏡裝置11捕捉視頻圖像的情況下，可能在所獲得的圖像中產(chǎn)生圖像抖動，因此，需要用于校正圖像抖動的機構(gòu)。

根據(jù)在圖1所示的線性棒狀內(nèi)窺鏡裝置11，頭部單元24由手術(shù)者、助理、鏡體操作人員、機器人等把持。當(dāng)把持頭部單元24的手等抖動時，通過位于套管針2處的支點(旋轉(zhuǎn)中心)，該抖動的移動傳導(dǎo)給物鏡22。因此，由于把持頭部單元24的手的抖動，可能產(chǎn)生圖像抖動。

根據(jù)本技術(shù)的實施方式的內(nèi)窺鏡系統(tǒng)是能夠?qū)嵤┯糜谛Ｕ蓤D像抖動產(chǎn)生的圖像失真的所謂的圖像穩(wěn)定的系統(tǒng)。

<內(nèi)窺鏡系統(tǒng)的配置實例>

在下文中參照圖2，描述根據(jù)本技術(shù)的實施方式的內(nèi)窺鏡系統(tǒng)的配置實例。根據(jù)本實施方式的內(nèi)窺鏡系統(tǒng)10包括內(nèi)窺鏡裝置11、圖像校正裝置(圖像處理裝置)12和顯示裝置13。

內(nèi)窺鏡裝置11和圖像校正裝置12不僅可以通過電纜而且可以通過無線電彼此連接。圖像校正裝置12可以放置在遠離手術(shù)室的位置，并且通過諸如房屋lan或因特網(wǎng)等的網(wǎng)絡(luò)連接。該結(jié)構(gòu)適用于在圖像校正裝置12和顯示裝置13之間的連接。

內(nèi)窺鏡裝置11包括線性棒狀鏡筒單元21和頭部單元24。鏡筒單元21也稱為伸縮管或剛性管，其長度大約為數(shù)十厘米。物鏡22設(shè)置在鏡筒單元21的插入體內(nèi)一側(cè)的一端處，而另一端與頭部單元24連接。中繼光學(xué)系統(tǒng)的光學(xué)透鏡單元23容納在鏡筒單元21內(nèi)。鏡筒單元21的形狀不限于線性棒狀。

內(nèi)窺鏡系統(tǒng)可以設(shè)置為使得鏡筒單元(內(nèi)窺鏡裝置)和頭部單元(內(nèi)窺鏡頭部)可拆卸，并且鏡筒單元的信息(例如，鏡體的類型(直視鏡/斜視鏡)和斜視角)可以通過在其間的接觸或非接觸傳輸發(fā)送給頭部單元(headunit，主機單元)。在這種情況下，透鏡鏡筒單元包括存儲透鏡鏡筒的基本信息(例如，內(nèi)窺鏡的類型、斜視角、鏡體的直徑和聚焦范圍等)的存儲器，

鏡筒單元21的類型大致分為：直視鏡型，其中，在圖2中所示的鏡筒軸a和光軸b彼此一致；以及斜視鏡型，其中，鏡筒軸a和光軸b形成預(yù)定角度。在圖2所示的鏡筒單元21是這兩種類型中的斜視鏡的實例。在斜視鏡中，由鏡筒軸a和光軸b形成的預(yù)定角度也稱為斜視角，例如，通常設(shè)定為30°或70°。然而，存在具有其他角度的斜視鏡，并且可獲得允許任意設(shè)定斜視角的斜視鏡。

頭部單元24容納成像單元25和陀螺儀單元26。成像單元25包含諸如cmos(互補金屬氧化物半導(dǎo)體)等圖像傳感器，并且將從鏡筒單元21輸入的患部的光學(xué)圖像轉(zhuǎn)換為具有預(yù)定的幀速率的圖像信號。頭部單元24進一步與光源裝置14連接，并且從光源裝置14接收成像所需的光源的供應(yīng)，以經(jīng)由光學(xué)透鏡單元23照亮患部4。在這種情況下，光源裝置14能夠發(fā)射作為可切換光的具有各種波長的光，并且除了普通光之外，還生成用于具體識別患部4的特殊光。因此，成像單元25能夠從特殊光的圖像信號以及普通光的圖像信號生成圖像。

陀螺儀單元26檢測頭部單元24的移動的角速度，并且將檢測結(jié)果輸出到后續(xù)圖像校正裝置12。

根據(jù)內(nèi)窺鏡裝置11，由物鏡22聚集光的患部的光學(xué)圖像經(jīng)由光學(xué)透鏡單元23進入頭部單元24的成像單元25。已經(jīng)進入成像單元25的光學(xué)圖像轉(zhuǎn)換為具有預(yù)定的幀速率的圖像信號，并且輸出到后續(xù)圖像校正裝置12。另外，根據(jù)內(nèi)窺鏡裝置11，由陀螺儀單元26檢測頭部單元24的移動的角速度，并輸出到后續(xù)圖像校正裝置12。

圖3示出了內(nèi)窺鏡裝置11的另一個配置實例。如該圖所示，成像單元25可以直接設(shè)置在物鏡22之后，以消除在鏡筒單元21內(nèi)的光學(xué)透鏡單元23。

<校正處理的概要>

在下文中參照圖4，描述由圖像校正裝置12執(zhí)行的校正處理的概要。圖像校正裝置12從具有預(yù)定幀速率并且從內(nèi)窺鏡裝置11的成像單元25輸入的圖像信號的整個區(qū)域(有效像素區(qū)域)切出一區(qū)域，作為尺寸小于有效像素區(qū)域的切出區(qū)域，并且將基于切出區(qū)域生成的圖像信號輸出到后續(xù)顯示裝置13。在該處理中，通過將切出區(qū)域的位置偏移與相機抖動對應(yīng)的偏移量，可校正相機抖動。另外，當(dāng)卷簾快門設(shè)置為內(nèi)窺鏡裝置11的成像單元25的快門機構(gòu)時，可以去除由該配置產(chǎn)生的卷簾快門失真。

<圖像校正處理裝置的配置實例>

在下文中參照圖5描述圖像校正裝置12的配置實例。圖像校正裝置12包括角速度調(diào)平單元31、偏移量確定單元32、圖像切出單元33、失真去除單元34和圖像輸出單元35。

角速度調(diào)平單元31基于在時間方向上的角速度的積分來調(diào)平由內(nèi)窺鏡裝置11的陀螺儀單元26檢測到的頭部單元24的角速度。此后，角速度調(diào)平單元31從調(diào)平的角速度中去除瞬時誤差，并且將所得的角速度輸出到偏移量確定單元32和失真去除單元34。

偏移量確定單元32基于調(diào)平的角速度計算物鏡22的偏移量，基于計算出的物鏡22的偏移量確定圖像切出區(qū)域的偏移量，并通知圖像切出單元33圖像切出區(qū)域的偏移量。與物鏡22的偏移量對應(yīng)的圖像切出區(qū)域的偏移量根據(jù)物鏡22的放大倍率而變化。因此，偏移量確定單元32保存用于基于物鏡22的放大倍率和偏移量計算偏移量的函數(shù)，或者預(yù)先保存示出各個對應(yīng)關(guān)系的表格。

圖像切出單元33從具有預(yù)定幀速率并且從內(nèi)窺鏡裝置11的成像單元25依次輸入的圖像信號中將切出區(qū)域的像素切出。根據(jù)從偏移量確定單元32獲得的偏移量，調(diào)整切出區(qū)域的位置。圖像切出單元33基于切出區(qū)域生成穩(wěn)定圖像信號，并將穩(wěn)定圖像信號輸出到失真去除單元34。

如果有的話，失真去除單元34從圖像切出單元33接收的穩(wěn)定圖像信號去除卷簾快門失真(當(dāng)卷簾快門設(shè)置為成像單元25的快門機構(gòu)時可能產(chǎn)生)，并將產(chǎn)生的穩(wěn)定圖像信號輸出到圖像輸出單元35?？梢酝ㄟ^使用現(xiàn)有的任意方法來去除卷簾快門失真。

圖像輸出單元35將從失真去除單元34接收的穩(wěn)定圖像信號輸出到后續(xù)單元(在這種情況下，顯示裝置13)。

<偏移量確定方法>

在后文中描述用于確定偏移量的方法。

通常，攝像機對距離數(shù)米到數(shù)十米的目標對象進行成像，如圖6的左部所示。在這種情況下，在成像裝置101的光學(xué)系統(tǒng)和目標對象之間的距離(在下文中稱為“主體距離”)d2比在由相機抖動產(chǎn)生的旋轉(zhuǎn)的旋轉(zhuǎn)中心c2和成像裝置101的光學(xué)系統(tǒng)之間的距離(在下文中稱為“旋轉(zhuǎn)半徑”)足夠長。因此，在ptl1等中描述的方法，假設(shè)旋轉(zhuǎn)半徑r2足夠短，以與主體距離d2相比處于可忽略的水平，來計算用于圖像穩(wěn)定的偏移量。圖6的左邊部分示出了當(dāng)成像裝置101'由于相機抖動而以圍繞旋轉(zhuǎn)中心c2的偏離角θ2偏移時的位置處的成像裝置101。

另一方面，剛性內(nèi)窺鏡裝置以數(shù)毫米至數(shù)厘米的主體距離d1對目標對象進行成像，如圖6的右部分所示。在腹腔鏡手術(shù)的情況下，內(nèi)窺鏡裝置11通過稱為套管針2的圓筒插入，并且引入到腹腔內(nèi)。在這種情況下，內(nèi)窺鏡裝置11通過位于套管針2處的支點c1旋轉(zhuǎn)。在內(nèi)窺鏡裝置11的情況下，旋轉(zhuǎn)半徑r1不夠短到相對于主體距離d1足以處于可忽略的水平，因此，在ptl1等中描述的圖像穩(wěn)定方法不是有效的。圖6的右部分示出了當(dāng)頭部單元24通過相機抖動而以圍繞旋轉(zhuǎn)中心c1的偏離角θ1偏移時的位置處的內(nèi)窺鏡裝置11的頭部單元24'。

在本實施方式中使用的諸如內(nèi)窺鏡裝置11等斜視鏡的情況下，僅僅在考慮了由斜視鏡的鏡筒軸與光學(xué)系統(tǒng)的光軸形成的角度、鏡筒從參考位置的旋轉(zhuǎn)角度以及主體距離和旋轉(zhuǎn)半徑，來計算偏移量時，圖像穩(wěn)定是有效的。

因此，為了描述斜視鏡型內(nèi)窺鏡裝置11的偏移量，在本文中首先討論針孔相機模型的偏移量，作為斜視鏡的偏移量的實例。

例如，根據(jù)在圖7所示的針孔相機模型，點o對應(yīng)于在其上聚集光的光學(xué)中心(針孔)。在這種情況下，在圖像表面s上形成圖像(圖片)。在內(nèi)窺鏡裝置11的實際配置中，成像單元25包括在頭部單元24中。然而，為了簡化說明，在本文中考慮圖像表面s在圖7中位于光學(xué)中心o的前面。在本文中，在光學(xué)中心o和圖像表面s之間的距離被視為焦距f。

接下來參考圖8，討論以下方法：考慮在使用其鏡筒軸a和光軸b彼此一致的直視鏡時的主體距離和旋轉(zhuǎn)半徑，來計算用于圖像穩(wěn)定的偏移量。

假設(shè)在時間t-1，對應(yīng)于主體的點光源p反射在被包括在頭部單元24中的成像單元25的圖像表面的中心處。還假設(shè)在從時間t-1到時間t的時間段內(nèi)，頭部單元24移動到圍繞中心點c旋轉(zhuǎn)(抖動)θ[弧度]的頭部單元24'的位置。在該條件下，確定點光源p在時間t反射在頭部單元24'的圖像表面上。更具體而言，在時間t由頭部單元24'獲得的圖像上的點光源的位置與圖像的中心之間的距離u對應(yīng)于期望計算的用于圖像穩(wěn)定的偏移量。用于圖像穩(wěn)定的偏移量u基于在圖8所示的幾何關(guān)系由以下等式(1)定義。

[數(shù)學(xué)公式1]

在該等式中，d表示主體距離，r表示旋轉(zhuǎn)半徑，f表示焦距。通常，在微觀時間(一個幀)期間的相機抖動量(旋轉(zhuǎn)角度θ)非常短，因此，允許sinθ≈sinθ≈θ和cosθ≈1的近似。因此，等式(1)可以近似為以下等式(2)。

[數(shù)學(xué)公式2]

另外，當(dāng)旋轉(zhuǎn)半徑r足夠短，以便與在等式(2)中的主體距離d相比處于可忽略的水平(d>>r)時，允許d+r≈d的近似法。因此，等式(2)可以近似為以下等式(3)。

[數(shù)學(xué)公式3]

u＝ftanθ＝fθ…(3)

在該等式中所示的用于圖像穩(wěn)定的偏移量等同于在諸如ptl1等中描述的攝像機等的普通成像裝置的圖像穩(wěn)定的偏移量。

在內(nèi)窺鏡裝置11的情況下，如圖6所示，相對于主體距離d，旋轉(zhuǎn)半徑r不可忽略。因此，考慮旋轉(zhuǎn)半徑r和主體距離d的等式(2)用于實現(xiàn)比傳統(tǒng)方法的圖像穩(wěn)定更有效的圖像穩(wěn)定。

接下來，討論包括其光軸a相對于鏡筒的軸線b傾斜的剛性鏡的斜視鏡的情況。

首先參考圖9，談及出現(xiàn)在以下描述中的參數(shù)。在圖9中，在傾斜鏡位于參考位置(θz＝0)時，由傾斜鏡的光軸b和鏡筒軸(z軸(＝a))形成的角度被視為φ[弧度]。在斜視鏡從參考位置旋轉(zhuǎn)θz后，由斜視鏡的鏡筒軸z與斜視鏡的光軸b'投影在xz平面上的線形成的角度被視為φy。在斜視鏡從參考位置旋轉(zhuǎn)θz之后，斜視鏡的光軸與斜視鏡的光軸投影在x-z平面上的線形成的角度被視為φx。內(nèi)窺鏡裝置11繞x軸的旋轉(zhuǎn)被視為θx，內(nèi)窺鏡裝置11繞y軸的旋轉(zhuǎn)被視為θy。

在這種情況下，使用φ和θz分別表示作為在x軸方向和y軸方向上的角分量φ的φx和φy，作為下面的等式(4)和等式(5)。

[數(shù)學(xué)公式4]

[數(shù)學(xué)公式5]

接下來，參考圖10，討論在包括在頭部單元24中的成像單元25的水平方向上的用于圖像穩(wěn)定的偏移量u。

在圖10中，假設(shè)頭部單元24從參考位置旋轉(zhuǎn)θz。在這種情況下，由鏡筒軸z(＝a)和光軸b投影在x-z平面上的線形成的角φy由等式(5)表示。在本文中，假設(shè)在時間t-1，對應(yīng)于主體的點光源p反射在包括在頭部單元24中的成像單元25的圖像表面的中心處。還假設(shè)在從時間t-1到時間t的時間段內(nèi)，頭部單元24圍繞y軸旋轉(zhuǎn)(抖動)θy[弧度]，其中心位于旋轉(zhuǎn)中心c。在該條件下，確定在時間t點光源p反射在成像單元25的圖像表面上。更具體而言，在時間t在由成像單元25獲得的圖像上的點光源p的位置與該圖像的中心之間的距離u對應(yīng)于用于圖像穩(wěn)定的偏移量。在圖10中，r表示旋轉(zhuǎn)半徑，d表示在時間t-1在相機的光學(xué)中心與點光源p之間的主體距離，并且f表示焦距。

通過在圖10所示的幾何關(guān)系可以理解，用于圖像穩(wěn)定的偏移量u由以下等式(6)表示。

[數(shù)學(xué)公式6]

u＝ftanθ(φy+αy)···(6)

在該等式中，αy表示在時間t由鏡筒軸z和連接點光源p和頭部單元24的光學(xué)中心的線形成的角度，并且由以下等式(7)定義。

[數(shù)學(xué)公式7]

在該等式中，h表示連接點光源p和旋轉(zhuǎn)中心c的線。h的長度由以下等式(8)定義。

[數(shù)學(xué)公式8]

在等式(7)中，ωy表示在時間t處由線h和鏡筒軸z形成的角度，并且由以下等式(9)定義。

[數(shù)學(xué)公式9]

因此，考慮到斜視鏡的光軸的方向的用于圖像穩(wěn)定的偏移量由上述等式(6)定義。

以完全相似的方式定義用于在成像單元25的垂直方向上圖像穩(wěn)定的偏移量v。

在直視鏡的情況下，由光軸和鏡筒軸形成的角度φ為0，因此，在等式(5)中，φy＝0成立。因此，當(dāng)在等式(6)內(nèi)代入φy＝0時，等式(6)變?yōu)榈韧谟糜谠谥币曠R情況下計算用于圖像穩(wěn)定的偏移量的等式(3)。

由陀螺儀單元26檢測由相機抖動產(chǎn)生的等式(6)中的角度θy，該角度是旋轉(zhuǎn)中心位于旋轉(zhuǎn)中心c處時圍繞y軸的旋轉(zhuǎn)角度。

可以手動提供在等式(6)中的主體距離d，或者當(dāng)成像單元25被配置為用作距離傳感器，用于使用例如飛行時間法(time-of-flight)檢測距離時，可以通過由成像單元25執(zhí)行的圖像分析獲得該主體距離。

可以手動提供在等式(6)中的旋轉(zhuǎn)半徑r，或者可以通過例如附接至成像單元25或套管針2的傳感器(例如，壓力傳感器)或通過圖像分析獲得該旋轉(zhuǎn)半徑。

可以手動提供由剛性鏡的光軸與鏡筒軸形成的等式(6)中角度(斜視角)φ，或者可以通過例如圖像分析獲得。

φ斜視角可以通過在其間的接觸或非接觸傳輸從透鏡鏡筒發(fā)送到頭部單元。

可以手動提供等式(6)中的內(nèi)窺鏡裝置11從參考值旋轉(zhuǎn)的角度θz，或者可以通過角度檢測傳感器或通過圖像分析來獲得。

<操作說明>

在下文中，參照在圖11所示的流程圖，描述由圖像校正裝置12執(zhí)行的圖像校正處理。在本文中假設(shè)在校準或其他處理期間，通過手動輸入、圖像分析或其他方法預(yù)先設(shè)置了主體距離d、旋轉(zhuǎn)半徑r和角度φ中的每一個。旋轉(zhuǎn)角θz是由陀螺儀單元26測量的值。

在步驟s1中，從內(nèi)窺鏡裝置11向圖像校正裝置12開始輸入具有預(yù)定幀速率的圖像信號和表示頭部單元24的移動的角速度信號。圖像信號輸入到圖像切出單元33，而將角速度信號輸入到角速度調(diào)平單元31。

在步驟s2中，角速度調(diào)平單元31在時間方向上積分由內(nèi)窺鏡裝置11的陀螺儀單元26檢測到的頭部單元24的角速度，以調(diào)平角速度，并且將調(diào)平的角速度輸出到偏移量確定單元32和失真去除單元34。

在步驟s3中，偏移量確定單元32通過使用上述等式(6)基于調(diào)平的角速度計算物鏡22的偏移量，基于計算出的物鏡22的偏移量確定圖像切出區(qū)域的偏移量，并且向圖像切出單元33通知圖像切出區(qū)域的偏移量。

在步驟s4中，圖像切出單元33從具有預(yù)定幀速率并且從內(nèi)窺鏡裝置11依次輸入的圖像信號中切出切出區(qū)域的像素，同時根據(jù)從偏移量確定單元32接收的偏移量，調(diào)整切出區(qū)域的位置。圖像切出單元33基于切出區(qū)域生成穩(wěn)定圖像信號，并將該穩(wěn)定圖像信號輸出到失真去除單元34。

在步驟s5中，失真去除單元34從圖像切出單元33接收的穩(wěn)定圖像信號中去除卷簾快門失真(如果有的話)，并將所產(chǎn)生的穩(wěn)定圖像信號輸出到圖像輸出單元35。圖像輸出單元35將經(jīng)由失真去除單元34輸入的穩(wěn)定圖像信號輸出到顯示裝置13。

如上所述，根據(jù)本實施方式的內(nèi)窺鏡系統(tǒng)10能夠校正在由內(nèi)窺鏡裝置11捕捉的視頻圖像中可能產(chǎn)生的相機抖動。

注意，例如，可以通過使內(nèi)窺鏡裝置11圍繞用作旋轉(zhuǎn)中心的套管針廣泛地移動來獲得多個圖像，并且可以通過基于旋轉(zhuǎn)傳感器的位置和角速度的拼接合成來合成多個圖像，如圖12所示。在這種情況下，僅僅通過較小的處理量可以獲得高精度和寬視角圖像。

根據(jù)上述方法，對準和顯示在由于相機抖動而改變的位置處形成的連續(xù)圖像，用于實現(xiàn)圖像穩(wěn)定。該方法還適用于通過在相同位置重疊這些圖像而從多個圖像生成單個圖像。當(dāng)應(yīng)用該方法時，可實現(xiàn)噪聲去除。

為校正相機抖動而計算的偏移量也可用作用于指示相機抖動的程度的指標。在這種情況下，可以將更大的偏移量視為更大程度的相機抖動。因此，例如，基于被視為指示用戶的疲勞程度的指標的偏移量，可測量用戶的疲勞程度。

由在本文所述的圖像校正裝置12執(zhí)行的一系列處理可以由硬件或由軟件來執(zhí)行。當(dāng)由軟件執(zhí)行這系列處理時，包括在軟件中的程序安裝在計算機中。在本文使用的計算機的實例包括包含在專用硬件內(nèi)的計算機和能夠根據(jù)安裝在計算機內(nèi)的各種類型的程序執(zhí)行各種類型的功能的計算機，例如，通用個人計算機。

圖13是示出根據(jù)這些程序執(zhí)行上述一系列處理的計算機的硬件的配置實例的方框圖。

計算機100的cpu(中央處理單元)101、rom(只讀存儲器)102以及ram(隨機存取存儲器)103經(jīng)由總線104彼此連接。

輸入/輸出接口105進一步與總線104連接。輸入單元106、輸出單元107、存儲單元108、通信單元109和驅(qū)動器110與輸入/輸出接口105連接。

輸入單元106包括鍵盤、鼠標、麥克風(fēng)等。輸出單元107包括顯示器、揚聲器等。存儲單元108包括硬盤、非易失性存儲器等。通信單元109包括網(wǎng)絡(luò)接口等。驅(qū)動器110驅(qū)動可移動介質(zhì)111，例如，磁盤、光盤、磁光盤和半導(dǎo)體存儲器。

根據(jù)具有這種結(jié)構(gòu)的計算機100，cpu101通過例如經(jīng)由輸入/輸出接口105和總線104將存儲在存儲單元108中的程序加載到ram103內(nèi)并且執(zhí)行加載的程序來執(zhí)行在本文描述的這些系列處理。

由計算機100(cpu101)執(zhí)行的程序可以記錄在作為軟件包介質(zhì)等的可并且例如以可移動介質(zhì)111的形式提供移動介質(zhì)111上。另外，可以經(jīng)由有線或無線傳輸介質(zhì)(例如，局域網(wǎng)、因特網(wǎng)和數(shù)字衛(wèi)星廣播)來提供這些程序。

由計算機100執(zhí)行的程序可以是根據(jù)其按照在本文描述的順序以時間序列執(zhí)行處理的程序，或者可以是在根據(jù)其并行或者在必要時(例如，調(diào)用時)執(zhí)行處理的程序。

本技術(shù)的實施方式不限于在本文描述的具體實施方式。在不背離本技術(shù)的主題的情況下，可以進行各種修改和改變。

本技術(shù)可以具有以下配置。

(1)一種內(nèi)窺鏡系統(tǒng)，包括：

內(nèi)窺鏡裝置，包括：物鏡，其設(shè)置在遠端，所述物鏡設(shè)置成使得所述物鏡的光軸和所述物鏡的縱軸以預(yù)定角度相交；內(nèi)窺鏡頭部，其設(shè)置在近端；以及陀螺儀傳感器，其設(shè)置在所述內(nèi)窺鏡頭部上，并且用于檢測所述內(nèi)窺鏡頭部的移動的角速度，以及圖像處理電路，其被配置為基于檢測到的角速度來實施從所述內(nèi)窺鏡裝置輸入的圖像信號的圖像穩(wěn)定。

(2)根據(jù)(1)所述的內(nèi)窺鏡系統(tǒng)，其特征在于，所述內(nèi)窺鏡裝置是斜視內(nèi)窺鏡。

(3)根據(jù)(2)所述的內(nèi)窺鏡系統(tǒng)，其特征在于，所述斜視內(nèi)窺鏡的斜視角選自30度的角度或70度的角度。

(4)根據(jù)(1)到(3)中任一項所述的內(nèi)窺鏡系統(tǒng)，其中，所述圖像處理電路被配置為基于所述圖像信號測量所述斜視角。

(5)根據(jù)(1)到(4)中任一項所述的內(nèi)窺鏡系統(tǒng)，其中，所述圖像處理電路被配置為在時間方向上調(diào)平檢測到的角速度。

(6)根據(jù)(1)到(5)中任一項所述的內(nèi)窺鏡系統(tǒng)，其中，所述圖像處理電路進一步被配置為從經(jīng)受圖像穩(wěn)定的圖像信號中去除卷簾快門失真。

(7)根據(jù)(1)所述的內(nèi)窺鏡系統(tǒng)，其中，所述圖像處理電路進一步被配置為基于通過移動所述內(nèi)窺鏡裝置而獲得的多個圖像來生成廣視角圖像。

(8)根據(jù)(1)所述的內(nèi)窺鏡系統(tǒng)，其中，所述圖像處理電路進一步被配置為基于偏移量來測量指示用戶的疲勞的指標。

(9)根據(jù)(1)所述的內(nèi)窺鏡系統(tǒng)，其中，所述內(nèi)窺鏡裝置從所述內(nèi)窺鏡頭部可拆卸，并且所述內(nèi)窺鏡頭部接收從所述內(nèi)窺鏡裝置發(fā)送的鏡體信息。

(10)根據(jù)(9)所述的內(nèi)窺鏡系統(tǒng)，其中，所述鏡體信息包括斜視角。

(11)根據(jù)(9)所述的內(nèi)窺鏡系統(tǒng)，其特征在于，所述鏡體信息包括鏡體類型信息。

(12)根據(jù)(1)所述的內(nèi)窺鏡系統(tǒng)，其中，圖像處理電路進一步被配置為基于檢測到的角速度，通過切出切出區(qū)域來實施圖像信號的圖像穩(wěn)定。

(13)一種圖像處理裝置，用于從內(nèi)窺鏡裝置輸入的圖像信號的圖像穩(wěn)定，所述內(nèi)窺鏡裝置包括：物鏡，其設(shè)置在遠端，所述物鏡設(shè)置成使得所述物鏡的光軸和所述物鏡的縱軸以預(yù)定角度相交；內(nèi)窺鏡頭部，其設(shè)置在近端；以及陀螺儀傳感器，其設(shè)置在所述內(nèi)窺鏡頭部上，并且用于檢測所述內(nèi)窺鏡頭部的移動的角速度，所述圖像處理裝置包括：電路，其被配置為基于由所述內(nèi)窺鏡裝置檢測到的所述內(nèi)窺鏡裝置的內(nèi)窺鏡頭部的移動的角速度來實施從所述內(nèi)窺鏡裝置輸入的圖像信號的圖像穩(wěn)定。

(14)一種由圖像處理電路實施的圖像處理方法，所述圖像處理電路被配置為處理從內(nèi)窺鏡裝置輸入的圖像信號，所述內(nèi)窺鏡裝置包括：物鏡，其設(shè)置在遠端，所述物鏡設(shè)置成使得所述物鏡的光軸和所述物鏡的縱軸以預(yù)定角度相交；內(nèi)窺鏡頭部，其設(shè)置在近端；以及陀螺儀傳感器，其設(shè)置在所述內(nèi)窺鏡頭部上，并且用于檢測所述內(nèi)窺鏡頭部的移動的角速度，所述方法包括：基于檢測的所述內(nèi)窺鏡裝置的內(nèi)窺鏡頭部的移動的角速度來實施圖像信號的圖像穩(wěn)定。

(15)一種在其上存儲有程序的非暫時性計算機可讀介質(zhì)，所述程序在由計算機執(zhí)行時使所述計算機實現(xiàn)由圖像處理電路實現(xiàn)的方法，所述圖像處理電路被配置為處理從內(nèi)窺鏡裝置輸入的圖像信號，所述內(nèi)窺鏡裝置包括：物鏡，其設(shè)置在遠端，所述物鏡設(shè)置成使得所述物鏡的光軸和所述物鏡的縱軸以預(yù)定角度相交；內(nèi)窺鏡頭部，其設(shè)置在近端；以及陀螺儀傳感器，其設(shè)置在所述內(nèi)窺鏡頭部上，并且用于檢測所述內(nèi)窺鏡頭部的移動的角速度，所述方法包括：基于檢測的所述內(nèi)窺鏡裝置的內(nèi)窺鏡頭部的移動的角速度來實施圖像信號的圖像穩(wěn)定。

(16)一種內(nèi)窺鏡系統(tǒng)，包括：

內(nèi)窺鏡裝置，包括：

物鏡，其設(shè)置在插入體腔內(nèi)的剛性插入部的尖端，所述物鏡被設(shè)置成使得所述物鏡的光軸和所述插入部的軸向形成預(yù)定角度，

頭部單元，其設(shè)置在所述插入部的基端，以及

陀螺儀單元，其設(shè)置在所述頭部單元上，以檢測所述頭部單元的移動的角速度；以及

圖像處理裝置，其包括校正單元，所述校正單元基于所檢測的角速度，從所述內(nèi)窺鏡裝置輸入的并且與由所述物鏡在其上聚集光的光學(xué)圖像對應(yīng)的圖像信號的有效像素區(qū)域中切出切出區(qū)域，所述校正單元基于所述切出區(qū)域?qū)崿F(xiàn)所述圖像信號的圖像穩(wěn)定。

(17)根據(jù)(16)所述的內(nèi)窺鏡系統(tǒng)，其中，所述內(nèi)窺鏡裝置是包括物鏡的斜視鏡體，所述物鏡的光軸和所述插入部的軸向形成對應(yīng)于預(yù)定角度的斜視角。

(18)根據(jù)(17)所述的內(nèi)窺鏡系統(tǒng)，其中，所述斜視角包括30度的角度和70度的角度。

(19)根據(jù)(16)至(18)中任一項所述的內(nèi)窺鏡系統(tǒng)，其中，所述圖像處理裝置基于所述圖像信號測量所述斜視角。

(20)根據(jù)(16)至(19)中任一項所述的內(nèi)窺鏡系統(tǒng)，其中，所述圖像處理裝置進一步包括角速度調(diào)平單元，其在時間方向上調(diào)平檢測到的角速度。

(21)根據(jù)(16)至(20)中任一項所述的內(nèi)窺鏡系統(tǒng)，其中，所述圖像處理裝置進一步包括失真去除單元，其從經(jīng)受圖像穩(wěn)定的圖像信號中去除卷簾快門失真。

(22)一種圖像處理裝置，其包括校正單元，所述校正單元通過基于由內(nèi)窺鏡裝置檢測的內(nèi)窺鏡裝置的頭部單元的移動的角速度，從所述內(nèi)窺鏡裝置輸入的并且與由所述物鏡在其上聚集光的光學(xué)圖像對應(yīng)的圖像信號的有效像素區(qū)域中切出切出區(qū)域，來基于所述切出區(qū)域?qū)崿F(xiàn)所述圖像信號的圖像穩(wěn)定，其中，

所述內(nèi)窺鏡裝置包括：

物鏡，其設(shè)置在插入體腔內(nèi)的剛性插入部的尖端，所述物鏡被設(shè)置成使得所述物鏡的光軸和所述插入部的軸向形成預(yù)定角度，

頭部單元，其設(shè)置在所述插入部的基端，以及

陀螺儀單元，其設(shè)置在所述頭部單元上，以檢測所述頭部單元的移動的角速度。

(23)一種用于圖像處理裝置的圖像處理方法，所述圖像處理裝置處理從內(nèi)窺鏡裝置輸入的圖像信號，所述內(nèi)窺鏡裝置包括：

物鏡，其設(shè)置在插入體腔內(nèi)的剛性插入部的尖端，所述物鏡被設(shè)置成使得所述物鏡的光軸和所述插入部的軸向形成預(yù)定角度，

頭部單元，其設(shè)置在所述插入部的基端，以及

陀螺儀單元，其設(shè)置在所述頭部單元上，以檢測所述頭部單元的移動的角速度，所述方法包括：

通過基于檢測的由內(nèi)窺鏡裝置的頭部單元的移動的角速度，從與由所述物鏡在其上聚集光的光學(xué)圖像對應(yīng)的圖像信號的有效像素區(qū)域中切出切出區(qū)域，來實現(xiàn)所述圖像信號的圖像穩(wěn)定。

(24)一種程序，計算機按照所述程序控制圖像處理裝置，所述圖像處理裝置處理從內(nèi)窺鏡裝置輸入的并且與由物鏡在其上聚集光的光學(xué)圖像對應(yīng)的圖像信號，

所述內(nèi)窺鏡裝置包括：

物鏡，其設(shè)置在插入體腔內(nèi)的剛性插入部的尖端，所述物鏡被設(shè)置成使得所述物鏡的光軸和所述插入部分的軸向形成預(yù)定角度，

頭部單元，其設(shè)置在所述插入部的基端，以及

陀螺儀單元，其設(shè)置在所述頭部單元上，以檢測所述頭部單元的移動的角速度，并且

所述程序使計算機用作校正單元，所述校正單元基于所檢測的角速度，從與由所述物鏡在其上聚集光的光學(xué)圖像對應(yīng)的圖像信號的有效像素區(qū)域中切出切出區(qū)域，所述校正單元基于所述切出區(qū)域?qū)嵤┧鰣D像信號的圖像穩(wěn)定。

附圖標記列表

2套管針

10內(nèi)窺鏡系統(tǒng)

11內(nèi)窺鏡裝置

12圖像校正裝置

13顯示裝置

14光源裝置

21鏡筒單元

22物鏡

23光學(xué)透鏡單元

24頭部單元

25成像單元

26陀螺儀單元

31角速度調(diào)平單元

32偏移量確定單元

33圖像切出單元

34失真去除單元

35圖像輸出單元

100計算機

101cpu