具有由選擇性照射光譜組成的背景手術(shù)圖像的熒光成像的方法和系統(tǒng)的制作方法
【專(zhuān)利說(shuō)明】具有由選擇性照射光譜組成的背景手術(shù)圖像的熒光成像的 方法和系統(tǒng)
[0001] 本申請(qǐng)是申請(qǐng)日為2011年6月22日、名稱(chēng)為"具有由選擇性照射光譜組成的背景 手術(shù)圖像的熒光成像的方法和系統(tǒng)"的中國(guó)專(zhuān)利申請(qǐng)201180030716. 0的分案申請(qǐng)。
[0002] 相關(guān)申請(qǐng)
[0003] 本申請(qǐng)要求下列優(yōu)先權(quán)和利益：
[0004] 2010年 7 月 2 日提交題為"METHOD AND SYSTEM FOR FLUORESCENT IMAGING WITH BACKGROUND SURGICAL IMAGE COMPOSED OF SELECTIVE ILLUMINATION SPECTRA" 發(fā)明人為 Ian McDowall和Christopher J. Hasser美國(guó)臨時(shí)申請(qǐng)No. 61/361260,該申請(qǐng)全部?jī)?nèi)容包 含在此以供參考。
技術(shù)領(lǐng)域
[0005] 該發(fā)明各方面涉及內(nèi)窺鏡成像，更具體地涉及混合可見(jiàn)光圖像和可選圖像，以便 為外科醫(yī)生提供增強(qiáng)的實(shí)時(shí)視頻顯示。
【背景技術(shù)】
[0006] 加利福利亞森尼維爾的直觀外科手術(shù)公司（Intuitive Surgical. Inc.)出售的 da Vinci?手術(shù)系統(tǒng)是一種微創(chuàng)遠(yuǎn)程操作手術(shù)系統(tǒng)，其為患者提供許多好處，比如降低對(duì) 身體的損傷、加快恢復(fù)和縮短住院時(shí)間。da Vinci?手術(shù)系統(tǒng)的一個(gè)重要組成部分是能夠 提供對(duì)可見(jiàn)光圖像的雙通道（即左和右）視頻采集和顯示，從而為外科醫(yī)生提供立體觀察。
[0007] 這種電子立體成像系統(tǒng)可以向外科醫(yī)生輸出高清晰度視頻圖像，并且可允許例如 改變焦距/縮放以提供一種"放大"的視圖的特征，該特征允許外科醫(yī)生確定特定的組織類(lèi) 型和特性，并且以增加的精確度工作。然而，在典型的外科手術(shù)領(lǐng)域中，某些組織類(lèi)型難以 確定，或者感興趣組織至少部分地被其他組織遮掩。
[0008] 通過(guò)使用畫(huà)中畫(huà)（PIP)顯示，可向外科醫(yī)生同時(shí)顯示手術(shù)部位的額外的圖像信 息。額外的圖像信息可能對(duì)于為外科醫(yī)生提高手術(shù)效果來(lái)說(shuō)是有用的。然而，PIP顯示中 的較小圖畫(huà)可能對(duì)于示出理想水平的詳細(xì)信息而言太小。此外，由于是分離的圖像幀，所以 外科醫(yī)生憑想象將兩個(gè)分離的圖像或者成像模態(tài)合并在一起，這會(huì)很疲勞。

【發(fā)明內(nèi)容】

[0009] 在一個(gè)方面中，在微創(chuàng)手術(shù)系統(tǒng)中，手術(shù)部位同時(shí)被（i)比組成可見(jiàn)白光（有時(shí)被 稱(chēng)為白光）的所有可見(jiàn)顏色照射成分更少的成分，以及（ii)來(lái)自照射器的熒光激發(fā)照射成 分照射。微創(chuàng)手術(shù)系統(tǒng)中的圖像捕獲系統(tǒng)采集照射手術(shù)部位的每個(gè)可見(jiàn)顏色成分的圖像， 以及由熒光激發(fā)照射成分激發(fā)的熒光圖像。微創(chuàng)手術(shù)系統(tǒng)使用針對(duì)來(lái)自照射器的每個(gè)可見(jiàn) 顏色照射成分的采集的圖像，生成手術(shù)部位的背景黑白圖像。該背景黑白圖像被稱(chēng)為受限 帶寬圖像。
[0010] 采集的熒光圖像被疊加在背景黑白圖像上，并且以選擇的顏色（例如綠色）突顯。 為系統(tǒng)的使用者顯示帶有疊加的被突顯的熒光圖像的背景黑白圖像，在此被稱(chēng)為增強(qiáng)顯 不。被關(guān)顯9?光圖像確定感興趣的臨床組織。
[0011] 在使用微創(chuàng)手術(shù)系統(tǒng)執(zhí)行外科手術(shù)中，向外科醫(yī)生實(shí)時(shí)提供具有疊加的被突顯的 熒光圖像的受限帶寬圖像。該新穎方法不會(huì)帶來(lái)時(shí)間延遲，該時(shí)間延遲與在一個(gè)幀內(nèi)捕獲 正常圖像以及在另一個(gè)幀內(nèi)捕獲熒光圖像然后使用在不同時(shí)間點(diǎn)取得的兩個(gè)幀生成向外 科醫(yī)生顯示的單個(gè)幀有必然聯(lián)系。同樣，本文描述的新穎方法不會(huì)導(dǎo)致延遲或者組合不同 時(shí)間點(diǎn)采集的兩個(gè)幀的時(shí)間不足。
[0012] 增強(qiáng)顯示的處理不會(huì)引入任何延遲，并且無(wú)需為隨后處理后來(lái)的幀存儲(chǔ)幀。因此， 相對(duì)于利用時(shí)間分片將熒光圖像疊加到立體可視圖像上的系統(tǒng)，降低了系統(tǒng)的存儲(chǔ)和處理 要求。
[0013] 同樣，圖像的突顯部分始終與背景圖像同步。相比之下，當(dāng)包括熒光圖像的幀被存 儲(chǔ)并且然后與及時(shí)與稍后出現(xiàn)的幀配準(zhǔn)時(shí)，在幀之間可以改變被突顯的組織的位置，所以 當(dāng)被顯示時(shí)，被突顯的圖像偏離實(shí)際位置。因此，該新穎方法對(duì)于顯示移動(dòng)的組織（例如脈 管系統(tǒng)）是優(yōu)越的，其中包含時(shí)間采集失配的方法將導(dǎo)致顯示的運(yùn)動(dòng)偽影，這會(huì)擾亂外科 醫(yī)生。
[0014] 在一個(gè)示例中，多個(gè)可見(jiàn)顏色照射成分組合形成白光。微創(chuàng)手術(shù)系統(tǒng)中的照射器 同時(shí)提供至少兩個(gè)照射成分。當(dāng)照射成分中的一個(gè)為熒光激發(fā)照射成分時(shí)，由照射器提供 的其他照射成分包括比多個(gè)可見(jiàn)顏色照射成分中的所有可見(jiàn)顏色照射成分更少的成分。
[0015] 在微創(chuàng)手術(shù)系統(tǒng)中，攝像機(jī)基本同時(shí)捕獲第一采集成分圖像和不同于第一采集成 分圖像的第二采集成分圖像?？刂破鞅贿B接至攝像機(jī)，以接收采集成分圖像。在此，基本同 時(shí)表示這樣的同時(shí)程度，即該程度能夠考慮攝像機(jī)中的元件響應(yīng)發(fā)至攝像機(jī)的捕獲觸發(fā)信 號(hào)的時(shí)間差異。
[0016] 在一個(gè)方面中，控制器生成受限帶寬圖像的第一、第二和第三可見(jiàn)顏色成分。這些 可見(jiàn)顏色成分的每個(gè)包括或者來(lái)自第一采集成分圖像。控制器將第二采集成分圖像添加至 受限帶寬圖像的第二可見(jiàn)顏色成分，以便第二可見(jiàn)顏色成分包括第一采集成分圖像和第二 采集成分圖像兩者。受限帶寬圖像不包括由多個(gè)可見(jiàn)顏色照射成分中的至少一個(gè)可見(jiàn)顏色 照射成分產(chǎn)生的采集的可見(jiàn)顏色成分圖像。
[0017] 控制器生成包括受限帶寬圖像的圖像，其中受限帶寬圖像被發(fā)送至連接至控制器 的顯示器。在該方面，顯示器接收來(lái)自控制器的第一、第二和第三可見(jiàn)顏色成分。顯示器示 出包括受限帶寬圖像的圖像。相對(duì)于不包括第二采集成分圖像的圖像部分，突顯包括第二 采集成分圖像的圖像部分。
[0018] 在一個(gè)方面中，其他照射成分包括第一可見(jiàn)顏色照射成分。第一采集成分圖像是 采集的第一可見(jiàn)顏色成分圖像，而第二采集成分圖像是由熒光激發(fā)照射成分激發(fā)的熒光圖 像。
[0019] 在另一個(gè)方面中，其他照射成分包括第一可見(jiàn)顏色照射成分和第二可見(jiàn)顏色照射 成分。在該方面中，攝像機(jī)還捕獲第三采集成分圖像。第一采集成分圖像是采集的第一可 見(jiàn)顏色成分圖像。第二采集成分圖像是采集的熒光圖像。第三采集成分圖像是采集的第二 可見(jiàn)顏色成分圖像?？刂破魃蓙?lái)自采集的第一和第二可見(jiàn)顏色成分圖像的受限帶寬圖像 的第一、第二和第三顏色成分。在一個(gè)示例中，第一可見(jiàn)顏色成分是藍(lán)色成分，以及第二可 見(jiàn)顏色成分是綠色成分。
[0020] 在又一個(gè)方面中，其他照射成分是第一可見(jiàn)照射成分和第二焚光激發(fā)照射成分。 此外，在該方面中，攝像機(jī)捕獲第三采集成分圖像。第一采集成分是采集的第一可見(jiàn)顏色成 分圖像。第二采集成分圖像是采集的第一熒光圖像。第三采集成分圖像是采集的第二熒光 圖像?？刂破鲗⒌谌杉瘓D像添加至受限帶寬圖像的第三可見(jiàn)顏色成分。
[0021] 在一個(gè)方面中，照射器包括第一可見(jiàn)顏色照射成分源、第二可見(jiàn)顏色照射成分源 以及第三可見(jiàn)顏色照射成分源，其中第二可見(jiàn)顏色照射成分不同于第一可見(jiàn)顏色照射成 分，其中第三可見(jiàn)顏色照射成分不同于第二可見(jiàn)顏色照射成分，并且不同于第一可見(jiàn)顏色 照射成分。照射器還包括熒光激發(fā)照射源。
[0022] 微創(chuàng)手術(shù)系統(tǒng)還包括功率水平和電源控制器，其連接至第一、第二和第三可見(jiàn)顏 色成分照射源，并且連接至熒光激發(fā)照射源。模式改變器被耦合至功率水平和電源控制器。 模式改變具有第一狀態(tài)和第二狀態(tài)。
[0023] 當(dāng)模式改變器具有第一狀態(tài)時(shí)，功率水平和電源控制器（a)向第一、第二和第三 可見(jiàn)顏色照射成分源提供功率，而不向熒光激發(fā)源提供功率，以及（b)第一、第二和第三可 見(jiàn)顏色照射成分源具有第一照射水平。當(dāng)模式改變器具有第二狀態(tài)時(shí)，功率水平和電源控 制器（a)向第一可見(jiàn)顏色照射成分源提供功率，向第二可見(jiàn)顏色照射成分源的至少部分和 該熒光激發(fā)源提供功率，而不向第三可見(jiàn)顏色照射成分源提供功率，以及（b)降低第一可 見(jiàn)顏色照射成分源和第二可見(jiàn)顏色照射成分源的照射水平。
[0024] 在微創(chuàng)手術(shù)系統(tǒng)中生成增強(qiáng)圖像顯示的方法中，控制器生成包括第一采集成分圖 像的受限帶寬圖像的第一可見(jiàn)顏色成分?？刂破鬟€生成包括第一采集成分圖像的受限帶寬 圖像的第二可見(jiàn)顏色成分?？刂破鲗⒌诙杉煞謭D像添加至第二可見(jiàn)顏色成分。第二采 集成分表示由來(lái)自第一熒光激發(fā)照射源的照射激發(fā)的熒光?？刂破魃砂ǖ谝徊杉煞?圖像的受限帶寬圖像的第三可見(jiàn)顏色成分。受限帶寬圖像不包括由白光的多個(gè)可見(jiàn)顏色照 射成分中的一個(gè)可見(jiàn)顏色照射成分產(chǎn)生的采集的可見(jiàn)顏色成分圖像。
[0025] 本方法在顯示屏上顯示包括受限帶寬圖像的圖像。相對(duì)于不包括第二采集成分圖 像的圖像部分，突顯包括第二采集成分圖像的圖像部分。
[0026] 在微創(chuàng)手術(shù)系統(tǒng)中生成增強(qiáng)圖像顯示的方法的另一個(gè)方面中，在處理器上執(zhí)行增 強(qiáng)圖像校正模塊。執(zhí)行生成方法，該方法在多個(gè)可見(jiàn)顏色成分輸入端的第一可見(jiàn)顏色成分 輸入端上接收采集的第一可見(jiàn)顏色成分圖像。該方法還在多個(gè)可見(jiàn)顏色成分輸入端的第二 可見(jiàn)顏色成分輸入端上接收采集的熒光圖像。
[0027] 該方法在第一可見(jiàn)顏色成分輸出端上，生成第一信號(hào)，該第一信號(hào)包括該采集的 第一可見(jiàn)顏色成分圖像。在第二可見(jiàn)顏色成分輸出端上，生成第二信號(hào)，該第二信號(hào)包括采 集的第一可見(jiàn)顏色成分圖像和采集的熒光圖像的組合。同樣，在第三可見(jiàn)顏色成分輸出端 上，生成第三信號(hào)，該第三信號(hào)包括采集的第一可見(jiàn)顏色成分圖像。第一、第二和第三信號(hào) 的組合是包括受限帶寬圖像和熒光圖像的圖像。
[0028] 該方法還在多個(gè)可見(jiàn)顏色成分輸入端的第三可見(jiàn)顏色成分輸入端上，接收采集的 第二可見(jiàn)顏色成分圖像。在該方面中，第一和第三信號(hào)包括采集的第一可見(jiàn)顏色成分圖像 和采集的第二可見(jiàn)顏色成分圖像的組合。第二信號(hào)包括采集的熒光圖像加上采集的第一可 見(jiàn)顏色成分圖像和采集的第二可見(jiàn)顏色成分圖像的組合。
[0029] 在不同的方面中，該方法在多個(gè)可見(jiàn)顏色成分輸入端的第三可見(jiàn)顏色成分輸入端 上，接收采集的第二熒光圖像。在該方面中，第三信號(hào)是采集的第一可見(jiàn)顏色成分圖像和采 集的第二熒光圖像的組合。
【附圖說(shuō)明】
[0030] 圖1示出微創(chuàng)遠(yuǎn)程操作手術(shù)系統(tǒng)的高度概略的視圖，其中該手術(shù)系統(tǒng)包括增強(qiáng)的 立體可視系統(tǒng)。
[0031] 圖2示出增強(qiáng)的立體可視系統(tǒng)的硬件和軟件（圖像處理和用戶(hù)界面）方面的示意 圖。
[0032] 圖3示出通過(guò)使用例如圖1所示微創(chuàng)遠(yuǎn)程操作手術(shù)系統(tǒng)的增強(qiáng)立體可視系統(tǒng)執(zhí)行 的過(guò)程的流程圖。
[0033] 圖4示出圖2和圖3中系統(tǒng)中的時(shí)序、同步和捕獲的一個(gè)方面。
[0034] 圖5A示出使用圖2的系統(tǒng)采集的正常顏色立體圖像的表示。
[0035] 圖5B示出帶有突顯的疊加熒光圖像的受限帶寬立體圖像的表示，該受限帶寬立 體圖像使用圖2的系統(tǒng)采集。
[0036] 圖6是圖2所示增強(qiáng)圖像校正過(guò)程的一個(gè)方面的方框圖。
[0037] 圖7示出圖2和圖3所示系統(tǒng)中的時(shí)序時(shí)、同步和捕獲的另一個(gè)方面。
[0