本公開涉及用于內(nèi)窺鏡視頻增強(qiáng)、定量以及手術(shù)引導(dǎo)的系統(tǒng)和方法。

背景技術(shù)：

1、可以在各種醫(yī)療介入期間使用內(nèi)窺鏡成像儀。由成像儀提供的患者解剖結(jié)構(gòu)視圖受分辨率和視場范圍的限制。這種有限的解剖結(jié)構(gòu)視圖可能會延長介入時間，并且無法向手術(shù)醫(yī)生提供執(zhí)行介入所需的所有信息。

技術(shù)實(shí)現(xiàn)思路

1、本公開涉及一種內(nèi)窺鏡系統(tǒng)，包括被配置為捕獲活體內(nèi)目標(biāo)部位的圖像幀的內(nèi)窺鏡成像儀，以及處理器，所述處理器被配置為對初步圖像幀組應(yīng)用空間變換，空間變換將圖像幀轉(zhuǎn)換為柱坐標(biāo)；根據(jù)空間變換的圖像幀計(jì)算映射圖像，映射圖像中的每個像素位置用固定維度的矢量定義；將當(dāng)前圖像幀與映射圖像對準(zhǔn)，并且對當(dāng)前圖像幀應(yīng)用空間變換；將空間變換后的當(dāng)前圖像幀與映射圖像融合以生成融合圖像；并且對融合圖像應(yīng)用逆空間變換，以生成具有比當(dāng)前圖像幀更大的空間分辨率的增強(qiáng)的當(dāng)前圖像幀。該系統(tǒng)還包括顯示增強(qiáng)的當(dāng)前圖像幀的顯示器。

2、在一個實(shí)施例中，基于內(nèi)窺鏡成像儀的光學(xué)幾何形狀生成空間變換。

3、在一個實(shí)施例中，映射圖像具有比內(nèi)窺鏡成像儀的分辨率大整數(shù)倍的分辨率。

4、在一個實(shí)施例中，基于互相關(guān)將當(dāng)前圖像幀與映射圖像對準(zhǔn)，其中測量當(dāng)前圖像幀和映射圖像之間的相似度。

5、在一個實(shí)施例中，處理器還被配置為基于空間變換的當(dāng)前圖像幀周圍的映射圖像區(qū)域，與當(dāng)前圖像幀相比，擴(kuò)展增強(qiáng)的當(dāng)前圖像幀的視場。

6、在一個實(shí)施例中，處理器還被配置為將空間變換后的當(dāng)前圖像幀添加到映射圖像。

7、在一個實(shí)施例中，當(dāng)映射圖像中的給定像素位置已滿時，在添加新樣本時刪除最舊的樣本。

8、本公開還涉及一種包括內(nèi)窺鏡成像儀的內(nèi)窺鏡系統(tǒng)，內(nèi)窺鏡成像儀被配置為捕獲活體內(nèi)目標(biāo)部位的圖像幀，以及處理器。處理器被配置為：對初步圖像幀組應(yīng)用空間變換，空間變換將圖像幀轉(zhuǎn)換為柱坐標(biāo)；從空間變換的圖像幀計(jì)算映射圖像，映射圖像中的每個像素位置用固定維度的矢量定義；計(jì)算映射圖像的尺度空間表示；捕獲包括多個獨(dú)立區(qū)域的進(jìn)一步圖像；當(dāng)已經(jīng)獲取了每個獨(dú)立區(qū)域的預(yù)定量的圖像數(shù)據(jù)時，開發(fā)包括每個獨(dú)立區(qū)域的獨(dú)立空間變換的非線性空間變換；并且從非線性空間變換中導(dǎo)出運(yùn)動恢復(fù)結(jié)構(gòu)(sfm)深度圖。

9、在一個實(shí)施例中，sfm深度圖還基于內(nèi)窺鏡成像儀的跟蹤信息，該跟蹤信息包括內(nèi)窺鏡成像儀在捕獲的圖像之間的變化位姿。

10、在一個實(shí)施例中，處理器還被配置為：在初步圖像幀組中識別內(nèi)窺鏡相關(guān)的對象和感興趣的對象并對其進(jìn)行分割；并且當(dāng)空間變換被應(yīng)用于初步圖像組時，排除已識別的內(nèi)窺鏡相關(guān)對象。

11、在一個實(shí)施例中，處理器還被配置為基于當(dāng)前圖像幀中的深度信息和角度范圍估計(jì)感興趣對象的大小。

12、在一個實(shí)施例中，內(nèi)窺鏡系統(tǒng)還包括被配置為顯示具有注釋的感興趣對象的當(dāng)前圖像幀的顯示器。

13、在一個實(shí)施例中，感興趣的對象是腎結(jié)石。

14、在一個實(shí)施例中，內(nèi)窺鏡系統(tǒng)還包括附接到內(nèi)窺鏡成像儀的電磁(em)跟蹤器，該電磁(em)跟蹤器被配置為提供包括內(nèi)窺鏡成像儀的六自由度位置的跟蹤數(shù)據(jù)。處理器還被配置為對目標(biāo)部位的先前獲取的3d圖像體積進(jìn)行分割。跟蹤數(shù)據(jù)與分割的圖像體積和sfm深度圖相結(jié)合，以提供內(nèi)窺鏡成像儀的位置估計(jì)。

15、在一個實(shí)施例中，處理器還被配置為：當(dāng)跟蹤數(shù)據(jù)被示為突破分割圖像體積的表面時，使分割圖像體積變形。

16、另外，本發(fā)明涉及一種方法，該方法包括對活體內(nèi)目標(biāo)部位的初步圖像幀組應(yīng)用空間變換，該空間變換將圖像幀轉(zhuǎn)換為柱坐標(biāo)；根據(jù)空間變換的圖像幀計(jì)算映射圖像，映射圖像中的每個像素位置用固定維度的矢量定義；將當(dāng)前圖像幀與映射圖像對準(zhǔn)，并且對當(dāng)前圖像幀應(yīng)用空間變換；將空間變換后的當(dāng)前圖像幀與映射圖像融合以生成融合圖像；并且對融合圖像應(yīng)用逆空間變換，以生成具有比當(dāng)前圖像幀更大的空間分辨率的增強(qiáng)的當(dāng)前圖像幀。

17、在一個實(shí)施例中，基于內(nèi)窺鏡成像儀的光學(xué)幾何形狀生成空間變換。

18、在一個實(shí)施例中，映射圖像具有比內(nèi)窺鏡成像儀的分辨率大整數(shù)倍的分辨率。

19、在一個實(shí)施例中，基于互相關(guān)將當(dāng)前圖像幀與映射圖像對準(zhǔn)，其中測量當(dāng)前圖像幀和映射圖像之間的相似度。

20、在一個實(shí)施例中，該方法還包括：基于空間變換的當(dāng)前圖像幀周圍的映射圖像區(qū)域，與當(dāng)前圖像幀相比，擴(kuò)展增強(qiáng)的當(dāng)前圖像幀的視場。

技術(shù)特征：

1.一種內(nèi)窺鏡系統(tǒng)，包括：

2.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡系統(tǒng)，其中，所述sfm深度圖還基于所述內(nèi)窺鏡成像儀的跟蹤信息，所述跟蹤信息包括所述內(nèi)窺鏡成像儀在捕獲的圖像之間的變化位姿。

3.根據(jù)權(quán)利要求1-2中任一項(xiàng)所述的內(nèi)窺鏡系統(tǒng)，其中，所述處理器還被配置為：

4.根據(jù)權(quán)利要求3所述的內(nèi)窺鏡系統(tǒng)，其中，所述處理器還被配置為：

5.根據(jù)權(quán)利要求4所述的內(nèi)窺鏡系統(tǒng)，還包括：

6.根據(jù)權(quán)利要求5所述的內(nèi)窺鏡系統(tǒng)，其中，所述感興趣對象是腎結(jié)石。

7.根據(jù)權(quán)利要求1-6中任一項(xiàng)所述的內(nèi)窺鏡系統(tǒng)，還包括：

8.根據(jù)權(quán)利要求7所述的內(nèi)窺鏡系統(tǒng)，其中，所述處理器還被配置為：

技術(shù)總結(jié)
一種內(nèi)窺鏡系統(tǒng)，包括：內(nèi)窺鏡成像儀，內(nèi)窺鏡成像儀被配置為捕獲活體內(nèi)目標(biāo)部位的圖像幀；以及處理器，該處理器被配置為對初步圖像幀組應(yīng)用空間變換，空間變換將圖像幀轉(zhuǎn)換為柱坐標(biāo)；從空間變換的圖像幀計(jì)算映射圖像，映射圖像中的每個像素位置用固定維度的矢量定義；將當(dāng)前圖像幀與映射圖像對準(zhǔn)，并且對當(dāng)前圖像幀應(yīng)用空間變換；將空間變換后的當(dāng)前圖像幀融合到映射圖像，以生成融合圖像；并且對融合圖像應(yīng)用逆空間變換，以生成具有比當(dāng)前圖像幀更大的空間分辨率的增強(qiáng)的當(dāng)前圖像幀。該系統(tǒng)還包括顯示增強(qiáng)的當(dāng)前圖像幀的顯示器。

技術(shù)研發(fā)人員：尼拉杰·普拉薩德·勞尼亞爾,羅伯特·J·賴克,蒂莫西·保羅·哈拉
受保護(hù)的技術(shù)使用者：波士頓科學(xué)醫(yī)學(xué)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9