本公開大體上涉及成像裝置以及支持熒光成像的成像裝置，且更具體地，涉及鏡面反射檢測和減少。

背景技術(shù)：

在基于熒光的成像中，呈現(xiàn)在成像裝置的視場中的熒光材料用一種波長的光激發(fā)并發(fā)射不同波長的光。這可以提供一種有用的機制以突出觀察者特別感興趣的視場部分。例如，在熒光圖像引導(dǎo)手術(shù)的情況下，熒光染料(如，吲哚菁綠(ICG))可被引入到病人的解剖部分以突出病人的那些解剖部分。當(dāng)用近紅外光(大約750-800nm)激發(fā)ICG時，其發(fā)射稍高波長(845nm左右)的熒光。通過將ICG引入到病人的解剖的選定部分，在合適的觀察器或照相機幫助的情況下，外科醫(yī)生或其他醫(yī)療人員可接收視覺線索和/或高亮，其幫助他們識別和/或避免選定的解剖。例如，ICG或其他染料可用于突出前哨淋巴結(jié)、相對灌注的區(qū)域、腫瘤邊緣等。適于突出患者解剖的其他有用的熒光染料包括來自內(nèi)布拉斯加州林肯的LI-COR公司的亞甲基藍(lán)、熒光素和。在一些情況下，熒光可以處于可視頻帶下，并且可以不需要額外的觀察器或照相機。雖然正在使用基于熒光的成像，但通常做法是使用可見光大體上照亮關(guān)于目標(biāo)區(qū)域或熒光的患者解剖的其他區(qū)域，使得外科醫(yī)生和/或其他醫(yī)療人員可看到其他解剖結(jié)構(gòu)并使其可視化。

不幸地，基于熒光的成像易受到與其他成像應(yīng)用相同的問題中的許多問題影響。由于例如解剖結(jié)構(gòu)(如，組織和/或器官結(jié)構(gòu))的表面上存在水分，患者的解剖的許多部分是高度反射光的。由于這種高反射，用于大體上照亮患者的解剖的可見光可生成一個或更多個高鏡面反射區(qū)域。這些高鏡面反射的區(qū)域可以在患者的解剖的圖像中產(chǎn)生亮斑，和/或使用于檢測圖像的傳感器飽和。結(jié)果，高鏡面反射區(qū)域可被誤當(dāng)做發(fā)熒光區(qū)域和/或遮住或掩蓋熒光區(qū)域，因此限制熒光在檢測選定解剖時的有用性。

因此，期望的提供改善的方法和系統(tǒng)以檢測、降低和/或補償高鏡面反射區(qū)域使得可獲得更有用的熒光圖像。

技術(shù)實現(xiàn)要素：

符合一些實施例，一種成像系統(tǒng)包括處理單元，其包括一個或更多個處理器；和成像單元，其耦合至所述處理單元。成像單元包括用于提供目標(biāo)區(qū)域的照明的一個或更多個第一照明器、用于檢測照明的反射的一個或更多個第一檢測器、用于觸發(fā)目標(biāo)區(qū)域中的一種或更多種熒光材料發(fā)熒光的一個或更多個第二照明器、和用于檢測熒光材料的發(fā)熒光的一個或更多個第二檢測器。處理單元被配置為：從第一檢測器接收第一圖像，確定第一圖像中的一個或更多個高鏡面反射區(qū)域，遮住第一圖像中的高鏡面反射區(qū)域，并基于遮住的第一圖像和檢測到的熒光生成合成圖像。第一圖像包括檢測到的反射。

符合一些實施例，一種成像的方法包括：使用成像單元發(fā)射普通照明到目標(biāo)區(qū)域上，使用成像單元檢測普通照明的第一反射，基于檢測到的第一反射形成第一圖像，確定第一圖像中的一個或更多個高鏡面反射區(qū)域，遮住第一圖像中的高鏡面反射區(qū)域，使用成像單元發(fā)射熒光觸發(fā)照明到目標(biāo)區(qū)域上，使用成像單元檢測目標(biāo)區(qū)域中的一種或更多種熒光材料的熒光，并基于遮住的第一圖像和檢測到的熒光生成合成圖像。

符合一些實施例，一種成像系統(tǒng)包括處理單元，其包括一個或更多個處理器；和成像單元，其耦合至所述處理單元。成像單元包括用于提供目標(biāo)區(qū)域的照明的一個或更多個第一照明器和用于檢測照明的反射的一個或更多個第一檢測器。處理單元被配置為：從第一檢測器接收第一圖像，從第一檢測器接收第二圖像，確定第一圖像和第二圖像中的第一高鏡面反射區(qū)域，基于第一圖像和第二圖像之間的差異估計第一高鏡面反射區(qū)域中的第一表面法線，并基于估計的第一表面法線提供一個或更多個移開提示。第一圖像包括檢測到的反射并基于第一成像幾何形狀。第二圖像包括檢測到的反射并基于與第一成像幾何形狀不同的第二成像幾何形狀。

符合一些實施例，一種成像系統(tǒng)包括處理單元、耦合至處理單元的照明系統(tǒng)、和耦合至處理單元的檢測器系統(tǒng)。處理單元包括一個或更多個處理器。照明系統(tǒng)發(fā)射照明以照亮目標(biāo)區(qū)域并觸發(fā)目標(biāo)區(qū)域中的一種或更多種熒光材料發(fā)熒光。檢測器系統(tǒng)檢測發(fā)射的照明的反射并檢測目標(biāo)區(qū)域中的一種或更多種熒光材料的發(fā)熒光。處理單元被配置為：從檢測器系統(tǒng)接收包括檢測到的反射的第一圖像，確定第一圖像中的一個或更多個高鏡面反射區(qū)域，遮住第一圖像中的高鏡面反射區(qū)域，并基于遮住的第一圖像和檢測到的熒光生成合成圖像。

符合一些實施例，一種方法包括訪問目標(biāo)區(qū)域的遮住的圖像，訪問目標(biāo)區(qū)域的熒光圖像，并基于遮住的圖像和熒光圖像生成合成圖像。遮住的圖像包括第一反射圖像，第一反射圖像具有遮住的高鏡面反射區(qū)域。

附圖說明

圖1是根據(jù)一些實施例的一種熒光成像系統(tǒng)的簡圖。

圖2是根據(jù)一些實施例的一種高鏡面反射檢測和減少的方法的簡圖。

圖3是根據(jù)一些實施例的另一個熒光成像系統(tǒng)的簡圖。

圖4是根據(jù)一些實施例的另一種高鏡面反射檢測和減少的方法的簡圖。

在附圖中，具有相同標(biāo)記的元件具有相同或類似功能。

具體實施方式

在以下說明書中，闡述具體細(xì)節(jié)以描述符合本公開的一些實施例。然而，在沒有一些或所有這些具體細(xì)節(jié)的情況下可實施一些實施例對本領(lǐng)域技術(shù)人員是明顯的。本文公開的具體實施例意在例示性的而非限制。本領(lǐng)域技術(shù)人員可以意識到本文中雖然未具體公開的其他要素也在本公開的范圍和精神內(nèi)。此外，為了避免不必要的重復(fù)，關(guān)于一個實施例示出并描述的一個或更多個特征可并入到其他實施例，除非以其他方式具體描述或如果一個或更多個特征將使實施例是非功能性的。

圖1是根據(jù)一些實施例的一種熒光成像系統(tǒng)100的簡圖。如圖1中所示，示出使用成像單元120照亮的目標(biāo)區(qū)域110，如患者的解剖部分。成像單元120包括若干成像發(fā)射器和檢測器以照亮目標(biāo)區(qū)域110并基于目標(biāo)區(qū)域中的反射的照明和熒光二者收集目標(biāo)區(qū)域110的一個或更多個圖像。雖然在圖1中未示出，但成像單元120可以是內(nèi)窺鏡工具的部分、計算機輔助外科手術(shù)器械的末端執(zhí)行器的部分和/或計算機輔助成像裝置的部分，其中計算機輔助外科手術(shù)器械對應(yīng)于從加利福尼亞桑尼維爾市的直觀外科手術(shù)公司購得的da外科手術(shù)系統(tǒng)。為了支持熒光成像，成像單元120可以包括至少兩種類型的成像發(fā)射器和檢測器。

普通照明器132用來將光照在目標(biāo)區(qū)域110上，如由示例光線142所示，其在入射點115處到達(dá)目標(biāo)區(qū)域110。當(dāng)光線142到達(dá)目標(biāo)區(qū)域110時，根據(jù)入射點115處的目標(biāo)區(qū)域110的漫射、反射、鏡面反射和/或其他成像屬性，光線142可以被目標(biāo)區(qū)域110反射。反射的光被建模為示例光線144，其朝向成像單元120被反射回，其中，在成像單元120處，光線144被普通照明檢測器134檢測。入射點115可以是成像期間特別感興趣的，因為成像單元120以及更具體地普通照明器132和普通照明檢測器134位于入射點115處的表面法線大約附近或上方。當(dāng)入射點115具有高鏡面反射時，如，由于入射點115處的水分，普通照明檢測器134可以檢測高水平的光和/或可以變得飽和。結(jié)果，入射點115可以在目標(biāo)區(qū)域110的圖像上表現(xiàn)為亮斑，其由成像單元120取得。通過監(jiān)測這些圖像并尋找高強度和/或飽和的區(qū)域，成像單元120和/或如處理單元150的系統(tǒng)可以檢測目標(biāo)區(qū)域110內(nèi)的可能高的鏡面反射區(qū)域。

成像單元120進一步包括熒光成像元件。熒光觸發(fā)照明器136可以發(fā)射一種或更多種波長的光，如由示例光線146所示，光線146被示為在入射點115處到達(dá)目標(biāo)區(qū)域110。當(dāng)光線146到達(dá)入射點115時，熒光材料(如果存在)吸收光并通過以另一波長發(fā)熒光(如代表光線148所示的)做出響應(yīng)，光線148返回到成像單元120并在成像單元120處被熒光檢測器138檢測。例如，當(dāng)熒光材料為ICG時，光線146的入射光和光線148的熒光可以處于近紅外光譜中，但處于不同波長。

根據(jù)一些實施例，普通照明器132和/或熒光觸發(fā)照明器136可以是任何種類的光和/或電磁發(fā)射器，電磁發(fā)射器可以發(fā)射適當(dāng)頻率/波長和/或頻帶的光。在一些示例中，照明器中的每個可以包括一個或更多個發(fā)光二極管、激光二極管、鹵素光源和/或諸如此類。根據(jù)一些實施例，普通照明檢測器134和/或熒光檢測器138可以是任何種類的檢測器，其可以檢測適當(dāng)頻率/波長和/或頻帶的光或電磁信號。在一些示例中，檢測器中的每個可以包括一個或更多個光電晶體管、電荷耦合器件、有源和/或無源濾波器(如，液晶可調(diào)諧濾波器(LCTF)和/或聲光可調(diào)諧濾波器(AOTF))和/或諸如此類。

熒光成像系統(tǒng)100可以進一步包括處理單元150。處理單元150可以是更大的計算設(shè)備和/或電子系統(tǒng)(未示出)的部分，所述更大的計算設(shè)備和/或電子系統(tǒng)可以從用戶控件接收輸入、處理那些輸入、基于那些輸入實施一個或更多個控制算法、提供熒光圖像進行顯示等。處理單元150包括耦合至存儲器170的處理器160。處理單元150的操作由處理器160控制。并且雖然處理單元150被示出僅具有一個處理器160，但應(yīng)當(dāng)理解，處理器160可以表示處理單元150中的一個或更多個中央處理單元、多核處理器、微處理器、微控制器、數(shù)字信號處理器、現(xiàn)場可編程門陣列(FPGA)、專用集成電路(ASIC)等。處理單元150可以被實施為添加到計算設(shè)備的獨立子系統(tǒng)和/或板，或被實施為虛擬機。在一些實施例中，處理單元150可以作為操作員工作站的部分被包括和/或獨立于操作員工作站但與操作員工作站協(xié)調(diào)操作。

存儲器170可以用來存儲由處理單元150執(zhí)行的軟件和/或處理單元150操作期間使用的一個或更多個數(shù)據(jù)結(jié)構(gòu)。存儲器170可以包括一種或更多種類型的機器可讀介質(zhì)。一些常見形式的機器可讀介質(zhì)可以包括軟盤、柔性盤、硬盤、磁帶、任何其它磁介質(zhì)、CD-ROM、任何其它光學(xué)介質(zhì)、打孔卡、紙帶、具有孔圖案的任何其他物理介質(zhì)、RAM、PROM、EPROM、FLASH-EPROM、任何其他存儲器芯片或匣、和/或處理器或計算機適于從中讀取的任何其他介質(zhì)。

如圖所示，存儲器170包括成像應(yīng)用程序180，其可以用來支持目標(biāo)區(qū)域110的圖像(包括目標(biāo)區(qū)域110中的熒光圖像)的生成和/或使用。成像應(yīng)用程序180可以包括用于實施成像方法的一個或更多個應(yīng)用程序編程接口(API)，所述方法可以包括發(fā)出一個或更多個命令和/或請求來自成像單元120的圖像以及從成像單元120接收圖像。并且雖然成像應(yīng)用程序180被描述為軟件應(yīng)用程序，但是可以使用硬件、軟件和/或硬件和軟件的組合實施成像應(yīng)用程序180。

為了支持成像應(yīng)用程序180，處理單元150附加包括具有一個或更多個I/O端口的接口190。接口190可以是任何適當(dāng)類型，如，專用I/O線路、網(wǎng)絡(luò)連接(如，以太網(wǎng))、內(nèi)置集成電路(I²C)總線、串行外圍接口(SPI)總線、并行端口、模擬I/O線路等。接口190可以包括一個或更多個線路和/或總線以用于將處理單元150耦合至成像單元120。在一些示例中，與接口190相關(guān)聯(lián)的接口電路系統(tǒng)可以包括一個或更多個總線控制器、I/O控制器、模數(shù)轉(zhuǎn)換器、數(shù)模轉(zhuǎn)換器、數(shù)據(jù)采集系統(tǒng)、圖像采集系統(tǒng)、路由器、交換機、網(wǎng)絡(luò)交換設(shè)備和/或類似裝置。

如上所述且進一步在此強調(diào)的，圖1僅是一個示例，不應(yīng)當(dāng)過度限制所要求保護的范圍。本領(lǐng)域技術(shù)人員將認(rèn)識到許多變體、替代和修改。

本領(lǐng)域技術(shù)人員將注意到圖1的幾何形狀不必按照比例繪制，而是經(jīng)繪制以強調(diào)熒光成像系統(tǒng)100和成像單元120的重要特征。例如，普通照明器132、普通照明檢測器134、熒光觸發(fā)照明器136和熒光檢測器138的相對尺寸和/或定位可以被放大從而以光線142-148的實際路徑的更精準(zhǔn)描述為代價示出這些特征。

根據(jù)一些實施例，成像單元120和處理單元150之間的不同布置可以是可能的。在一些示例中，處理單元150可以是成像單元120的部分。在一些示例中，成像單元120可以是處理單元150的部分。在一些示例中，處理單元150可以耦合到一個以上的成像單元120。在一些示例中，成像單元120可以與一個以上的處理單元共享成像數(shù)據(jù)。

根據(jù)一些實施例，普通照明器132、普通照明檢測器134、熒光觸發(fā)照明器136和熒光檢測器138的不同布置和配置是可能的。在一些示例中，可以使用更多和/或更少的照明器和/或檢測器。在一些示例中，照明器和/或檢測器間的相對定位可以改變。在一些示例中，普通照明檢測器134和熒光檢測器138可以被組合成單個檢測器，單個檢測器可以用于鏡面和/或熒光檢測二者。在一些示例中，組合的檢測器可以使用時分多路復(fù)用和/或頻分多路復(fù)用以將普通圖像與熒光圖像分開。在一些示例中，普通照明器132和熒光觸發(fā)照明器136可以被組合成單個照明器或發(fā)射器，其可以用來生成普通照明和/或熒光觸發(fā)照明二者。在一些示例中，組合的照明器可以借助一個或更多個有源濾波器或無源濾波器使用時分多路復(fù)用和/或頻分多路復(fù)用生成期望的照明。在一些示例中，普通照明器132和普通照明檢測器134還可以是用于目標(biāo)區(qū)域110的普通照明和成像系統(tǒng)的部分。

根據(jù)一些實施例，可以使用普通照明器和普通照明檢測器的多個組合。在一些示例中，多個普通照明器和/或單個普通照明器可以生成多個頻率/波長和/或頻帶的普通光線。相應(yīng)的多個普通照明檢測器和/或單個普通照明檢測器可以檢測多個頻率/波長和/或頻帶中的每個并生成多個頻率/波長和/或頻帶的每個的圖像。在一些示例中，當(dāng)在圖像的每個中的相同位置處檢測到高強度和/或飽和時，可以檢測到高鏡面反射區(qū)域。

圖像中高鏡面反射區(qū)域的存在通常可能是不期望的。由高鏡面反射引起的高強度和/或飽和的區(qū)域可以降低包含它們的圖像的質(zhì)量和/或有用性。在一些示例中，高鏡面反射區(qū)域可以將包含它們的圖像的觀察器從圖像中的其他重要區(qū)域轉(zhuǎn)移(distract)。在一些示例中，高鏡面反射區(qū)域可能會被誤以為是目標(biāo)區(qū)域中的發(fā)熒光區(qū)域和/或遮住特征和/或蓋住特征，如，熒光，這可以以其他方式可見，但是針對高鏡面反射存在的情況不可見。

已經(jīng)開發(fā)許多技術(shù)來檢測、減少和/或補償圖像中的高鏡面反射區(qū)域。一種此類方法是檢測具有高強度的區(qū)域，其具有與高鏡面反射相關(guān)并屏蔽圖像的那些部分的高的可能性。在一些示例中，這可以包括將圖像內(nèi)的像素強度與閾值比較，如一組飽和百分比，并且用替換顏色(如，黑色或指明遮住的顏色)替換具有高于閾值的強度的任何像素。該方法還可以包括識別和/或突出被屏蔽的區(qū)域的邊界。該方法可以移除高鏡面反射區(qū)域?qū)е碌霓D(zhuǎn)移，但其也可能不適當(dāng)?shù)仄帘尉哂胁皇怯筛哏R面反射引起的高強度區(qū)域，以及當(dāng)屏蔽的區(qū)域通常不包括潛在的圖像細(xì)節(jié)時，從圖像去除其他重要特征。

另一種方法使用兩組圖像傳感器。當(dāng)高強度區(qū)域(如由高鏡面反射導(dǎo)致的那些區(qū)域)在圖像中的一個中被檢測到時，來自另一個圖像的相應(yīng)區(qū)域被替換。該方法降低了屏蔽期望的圖像細(xì)節(jié)的可能性，但是可能要求兩組圖像傳感器被充分隔開使得高鏡面反射可以不在兩個圖像中的相同區(qū)域中發(fā)生。

其他方法可以在照明器/發(fā)射器以及圖像檢測器周圍使用創(chuàng)造性屏蔽和/或擋板來降低高鏡面反射區(qū)域可以被圖像檢測器捕捉到的可能性。該方法通?？梢砸髮φ彰髌?發(fā)射器以及檢測器的相對定位進行嚴(yán)格控制，且可能不很好地推廣到成像單元和目標(biāo)區(qū)域的每個可能幾何形狀。

利用熒光成像的一種常見方法是減少由普通照明器提供的普通照明并使用組合的可視檢測器用于普通照明和熒光二者。通過減少普通照明，可以被生成的普通照明和/或高鏡面反射區(qū)域不太可能蓋住由于發(fā)熒光材料的熒光觸發(fā)照明獲得的圖像信息。然而，該方法傾向于生成具有低水平環(huán)境光的圖像，這可能使觀察目標(biāo)區(qū)域中的感興趣的特征變得困難。

因此，當(dāng)期望的圖像示出可視細(xì)節(jié)和熒光細(xì)節(jié)二者時，用于檢測、減少和/或補償高鏡面反射區(qū)域的大多數(shù)方法不提供良好的方案。這是因為犧牲了重要可視細(xì)節(jié)，熒光細(xì)節(jié)可以被蓋住和/或方案可能包括具有不實際用于與內(nèi)窺鏡設(shè)備和/或類似設(shè)備一起使用的幾何形狀的設(shè)備。通過使用一種成像系統(tǒng)(如熒光成像系統(tǒng)100)可以獲得改善方案，其允許從熒光圖像中單獨收集普通照明圖像。以這種方式，檢測、減少和/或補償高鏡面反射區(qū)域可以明顯不太可能遮住和/或蓋住重要的熒光信息。

圖2是根據(jù)一些實施例的一種高鏡面反射檢測和減少的方法200的簡圖?？梢灾辽俨糠忠源鎯υ诜菚簳r性的有形機器可讀介質(zhì)上的可執(zhí)行代碼的形式實施方法200的一個或更多個過程210-280，當(dāng)該代碼由一個或更多個處理器運行時可以使一個或更多個處理器(如，處理器160)執(zhí)行一個或更多個過程210-280。在一些實施例中，可以由成像應(yīng)用程序(如，成像應(yīng)用程序180)執(zhí)行高鏡面反射檢測和減少。

在過程210，發(fā)射普通照明。使用一個或更多個普通照明器或發(fā)射器(如，普通照明器132)，普通照明被照在目標(biāo)區(qū)域上。在一些示例中，普通照明可以包括可見光譜的一個或更多個頻帶中的可見光。在一些示例中，可使用適當(dāng)驅(qū)動器和/或調(diào)制電路打開普通照明器。在一些示例中，普通照明器均可以包括一個或更多個發(fā)光二極管、激光二極管、鹵素光源和/或諸如此類。在一些示例中，當(dāng)普通照明包括來自多個頻帶的信號時，多個頻帶可以被同時和/或經(jīng)由時分多路復(fù)用發(fā)射。

在過程220，檢測普通照明的反射。使用一個或更多個普通照明檢測器(如，普通照明檢測器134)檢測過程210期間發(fā)射的普通照明的反射。在一些示例中，普通照明可以反射自一個或更多個結(jié)構(gòu)、物體、患者解剖的部分和/或諸如此類。在一些示例中，一個或更多個普通照明檢測器可以檢測由普通照明器和/或其子組發(fā)射的每個頻帶中的普通照明。在一些示例中，普通照明檢測器中的每個可以包含一個或更多個光電晶體管、電荷耦合裝置、有源和/或無源濾波器(如，LCTF和/或AOTF)和/或諸如此類。在一些示例中，一個或更多個普通照明檢測器可以被時間多路復(fù)用以與一個或更多個普通照明器同步。在一些示例中，檢測到的普通照明可以被檢測為目標(biāo)區(qū)域的單個圖像和/或多個圖像，其中，多個圖像中的每個對應(yīng)于被發(fā)射和/或針對該對應(yīng)圖像被檢測的頻帶。在一些示例中，可以預(yù)處理單個圖像和/或多個圖像。在一些示例中，預(yù)處理可以包括直方圖均衡和/或?qū)Ρ榷日{(diào)節(jié)。

在過程230，檢測一個或更多個高鏡面反射區(qū)域。在過程220期間檢測到的圖像中的每個可以被分析以確定一個或更多個潛在的高鏡面反射區(qū)域。在一些示例中，可以通過識別具有高強度和/或飽和度的圖像中的一個或更多個區(qū)域，確定潛在的一個或更多個高鏡面反射區(qū)域。在一些示例中，高強度可以針對具有高于閾值的強度的任何像素被確定。在一些示例中，該閾值可以由成像系統(tǒng)的操作員設(shè)置和/或響應(yīng)于成像系統(tǒng)其他屬性被設(shè)置。在一些示例中，該閾值可以被設(shè)置為絕對強度閾值或被設(shè)置為最大可能強度值的百分比。在一些示例中，當(dāng)在過程220期間檢測到單個圖像時，潛在的高鏡面反射區(qū)域可以是一個或更多個高鏡面反射區(qū)域。在一些示例中，當(dāng)在過程220期間檢測到多個圖像時，可以在多個圖像中的每個包括潛在的一個或更多個高鏡面反射區(qū)域之中的區(qū)域的區(qū)域中檢測到高鏡面反射。在一些示例中，因為高鏡面反射通常與波長無關(guān)，所以通過測試多個頻率下的或在多個頻帶中的高鏡面反射，使用多個圖像可以降低區(qū)域可能被錯分為高鏡面反射區(qū)域的可能性。

在過程240，發(fā)射熒光觸發(fā)照明。使用一個或更多個熒光觸發(fā)照明器或發(fā)射器(如，熒光觸發(fā)照明器136)，熒光觸發(fā)照明被照在目標(biāo)區(qū)域上。在一些示例中，熒光觸發(fā)照明可以包括近紅外頻帶中的頻率。在一些示例中，可以使用適當(dāng)驅(qū)動器和/或調(diào)制電路打開熒光觸發(fā)照明器。在一些示例中，熒光觸發(fā)照明器均可以包括一個或更多個發(fā)光二極管、激光二極管、鹵素光源和/或諸如此類。在一些示例中，當(dāng)熒光觸發(fā)照明器可以與普通照明器相同時，但其中調(diào)制和/或驅(qū)動電路適于生成熒光觸發(fā)照明而不是普通照明。在一些示例中，驅(qū)動電路可以包括一個或更多個有源或無源濾波器，如，LCTF和/或AOTF。

在過程250，檢測一個或更多個熒光區(qū)域。使用一個或更多個熒光檢測器(如，熒光檢測器138)檢測目標(biāo)區(qū)域中的熒光材料的熒光。在一些示例中，在過程250期間可以不檢測來自熒光照明的高鏡面反射，因為熒光檢測器通常對熒光觸發(fā)照明器發(fā)射的頻率不敏感。在一些示例中，一個或更多個熒光檢測器可以是與一個或更多個普通照明檢測器相同的檢測器。在一些示例中，熒光檢測器中的每個可以包含一個或更多個光電晶體管、電荷耦合裝置、有源和/或無源濾波器(如，LCTF和/或AOTF)和/或諸如此類。在一些示例中，檢測到的熒光可以被檢測為熒光圖像。在一些示例中，熒光圖像也可以對應(yīng)于普通照明圖像。

在過程260，遮住一個或更多個高鏡面反射區(qū)域。在一些示例中，在過程230期間檢測到的一個或更多個高鏡面反射區(qū)域可以被目標(biāo)區(qū)域的、獲取的一個或更多個普通照明圖像遮住。在一些示例中，該遮住可以包括用背景或默認(rèn)顏色(如黑色)的像素替換所述一個或更多個區(qū)域中的像素。在一些示例中，當(dāng)普通照明圖像也包括熒光信息時，高鏡面反射區(qū)域中的熒光信息也可以被遮住。在一些實施例中，當(dāng)普通照明圖像與過程250期間檢測到的熒光圖像分開時，可以使用圖像組合算法(如阿爾法(α)混合等)使熒光圖像信息與普通照明圖像組合。這些一個或更多個合成圖像隨后可以用于方法200的余下過程。

在過程270，可視化提示可以被添加到高鏡面反射區(qū)域。因為過程260的遮住可以掩蓋一個或更多個高鏡面反射區(qū)域的存在，所以一個或更多個可視化提示可以被添加到遮住的一個或更多個普通照明圖像和/或一個或更多個合成圖像以通知操作員一個或更多個高鏡面反射區(qū)域中的較差質(zhì)量和/或不完整的圖像信息的可能性。在一些示例中，可視化提示可以包括在一個或更多個高鏡面反射區(qū)域的周圍添加輪廓、添加假彩色、添加圖案、添加閃爍、添加箭頭和/或其他標(biāo)記和/或諸如此類。

在過程280，提供一個或更多個幾何形狀調(diào)整提示。因為在過程260期間遮住一個或更多個高鏡面反射區(qū)域可以移除和/或降級一個或更多個普通照明圖像和/或合成圖像中的信息，所以可以提供幾何形狀調(diào)整提示至成像單元的操作員和/或運動規(guī)劃系統(tǒng)。通過調(diào)節(jié)成像單元的幾何形狀，減少一個或更多個普通照明圖像和/或合成圖像中的一個或更多個高鏡面反射區(qū)域的尺寸和/或?qū)⑵湟瞥强赡艿?，因為成像相對于目?biāo)區(qū)域中的表面法線的取向可以改變。在一些示例中，幾何形狀調(diào)整提示可以包括一個或更多個普通照明圖像和/或合成圖像中的音頻提示、視覺線索(如箭頭)、應(yīng)用到操作員輸入控件的反饋、應(yīng)用到運動規(guī)劃算法的反饋和/或諸如此類。

方法200可以進一步包括重復(fù)過程210-280以移除多個圖像中的高鏡面反射區(qū)域和/或生成目標(biāo)區(qū)域的視頻圖像。

如上所述且進一步在此強調(diào)的，圖2僅是示例，其不應(yīng)當(dāng)過度限制所要求保護的范圍。本領(lǐng)域技術(shù)人員將認(rèn)識到許多變體、替代和修改。在一些實施例中，方法200可以經(jīng)修改以利用使用運動規(guī)劃算法相對于目標(biāo)區(qū)域移動成像單元的能力。在一些示例中，使用成像應(yīng)用程序的操作員或其他系統(tǒng)可以指定體積，成像單元可在該體積中移動而不干擾目標(biāo)區(qū)域中或其附近的其他裝置、物體和/或患者解剖。成像應(yīng)用程序隨后可以在該體積周圍移動成像單元以收集一系列普通照明和/或熒光圖像。一些圖像中的高鏡面反射區(qū)域可以用來自已經(jīng)減少鏡面反射或不具有鏡面反射的其他圖像的相同區(qū)域的圖像替換。在一些示例中，一個或更多個圖像拼接算法可以用來創(chuàng)建具有減少的和/或消除的鏡面反射的合成圖像。在一些示例中，成像單元的一個或更多個動態(tài)模型以及將成像單元移動通過所述體積的裝置可以用來交叉關(guān)聯(lián)來自不同圖像的區(qū)域。在一些示例中，當(dāng)目標(biāo)區(qū)域包括移動物體和/或移動患者解剖(如，跳動的心臟)時，圖像收集可以被定時，使得該系列圖像大致對應(yīng)于目標(biāo)區(qū)域中的物體和/或患者解剖的相同位置、相位和/或取向。

圖3是根據(jù)一些實施例的另一個熒光成像系統(tǒng)300的簡圖。如圖3中所示，示出使用成像單元320照亮的目標(biāo)區(qū)域310，如患者的解剖部分。成像單元320包括若干成像發(fā)射器和檢測器以照亮目標(biāo)區(qū)域310并基于目標(biāo)區(qū)域中反射的照明和熒光二者收集目標(biāo)區(qū)域310的一個或更多個圖像。雖然在圖3中未示出，但成像單元320可以是內(nèi)窺鏡工具的部分、計算機輔助外科手術(shù)器械的末端執(zhí)行器的部分和/或計算機輔助成像裝置的部分。為了支持熒光成像，成像單元320可以包括若干組和類型的成像發(fā)射器和檢測器。

成像單元320包括以已知距離隔開的至少兩個普通照明器332和334。在一些示例中，普通照明器332和334中的每個可以類似于普通照明器132。普通照明器332和334中的每個被配置為將普通照明照在目標(biāo)區(qū)域310上，如從普通照明器332和334到目標(biāo)區(qū)域中的表面的相應(yīng)示例性光線箭頭所示?；谌缬善渲衅胀ㄕ彰魅肷湓谀繕?biāo)區(qū)域310的表面上的相應(yīng)點附近的表面法線315接近的表面的幾何形狀，普通照明從目標(biāo)區(qū)域中的表面反射。反射的普通照明返回到成像單元320，在這里，其可以在單獨的立體圖像中由普通照明檢測器336捕捉。在一些示例中，普通照明檢測器336可以類似于普通照明檢測器134。在一些示例中，普通照明器332和334可以替代地在目標(biāo)區(qū)域310上提供照明，使得可以每次使用來自普通照明器332和334中的一個的照明捕捉單獨的立體圖像。使用單獨的立體圖像以及普通照明器332和334和普通照明檢測器336的已知幾何形狀，成像單元320和/或耦合至成像單元320的處理單元(如，處理單元150)可以確定表面法線315的近似位置和/或取向以及可以被定位在目標(biāo)區(qū)域310中的其他位置處的其他表面法線。在一些示例中，單獨的立體圖像還可以用來檢測目標(biāo)區(qū)域310中的一個或更多個高鏡面反射區(qū)域。

類似于成像單元120，成像單元320還可以包括熒光觸發(fā)照明器342和344以及熒光檢測器346。在一些示例中，熒光觸發(fā)照明器342和344中的每個可以類似于熒光觸發(fā)照明器136，而熒光檢測器346可以類似于熒光檢測器138。熒光觸發(fā)照明器342和344中的一個或二者可以用來觸發(fā)目標(biāo)區(qū)域310中的熒光材料的熒光。熒光檢測器346可以檢測由熒光觸發(fā)照明器342和344觸發(fā)的熒光。

通過接近表面法線(如，表面法線315)，成像單元320能夠更好地提供關(guān)于過程280所述的幾何形狀調(diào)整提示。表面法線的位置和取向可以用來為成像單元320提供更好的移開提示，因為具有最高鏡面反射的取向通常發(fā)生在普通照明器和普通照明檢測器二者位于表面法線上方且朝向表面法線取向的時候。因此，避免成像單元320直接或近似與表面法線(如，表面法線315)對齊的取向可以減少和/或消除由在那些表面法線處的表面引起的高鏡面反射。

如上所述且進一步在此強調(diào)的，圖3僅是示例，其不應(yīng)當(dāng)過度限制所要求保護的范圍。本領(lǐng)域技術(shù)人員將認(rèn)識到許多變體、替代和修改。

本領(lǐng)域技術(shù)人員將注意到圖3的幾何形狀不必按照比例繪制，但是其已經(jīng)經(jīng)繪制以強調(diào)熒光成像系統(tǒng)300和成像單元320的重要特征。例如，照明器和檢測器的相對尺寸和/或定位可以被放大從而以圖3中的相應(yīng)光線的實際路徑的更精準(zhǔn)描述為代價示出這些特征。

根據(jù)一些實施例，成像單元320和處理單元150之間的不同布置可以是可能的。在一些示例中，處理單元150可以是成像單元320的部分。在一些示例中，成像單元320可以是處理單元150的部分。在一些示例中，處理單元150可以耦合到一個以上的成像單元320。在一些示例中，成像單元320可以與一個以上的處理單元共享成像數(shù)據(jù)。

根據(jù)一些實施例，照明器和檢測器的不同布置和配置還可以提供期望的立體圖像、高鏡面反射區(qū)域的檢測和熒光圖像的檢測。在一些示例中，更多和/或更少的照明器和/或檢測器是可能的。在一些示例中，兩個普通照明器332、334和普通照明檢測器336可以用具有已知間距的兩個普通照明檢測器和一個普通照明器替換。在一些示例中，一個或其他熒光觸發(fā)照明器342和/或344可以被省略。在一些示例中，余下的熒光觸發(fā)照明器可以移動到更靠近熒光檢測器346的位置。在一些示例中，時分多路復(fù)用和/或頻分多路復(fù)用可以用來組合普通照明器和熒光觸發(fā)照明器(如，普通照明器332和熒光觸發(fā)照明器342)。在一些示例中，時分多路復(fù)用和/或頻分復(fù)多路用可以用來組合普通照明檢測器336和熒光檢測器346。

圖4是根據(jù)一些實施例的另一種高鏡面反射檢測和減少的方法400的簡圖?？梢灾辽俨糠忠源鎯υ诜菚簳r性的有形機器可讀介質(zhì)上的可執(zhí)行代碼的形式實施方法400的一個或更多個過程410-450，當(dāng)該代碼由一個或更多個處理器運行時可以使一個或更多個處理器(如，處理器160)執(zhí)行一個或更多個過程410-450。在一些實施例中，可以由成像應(yīng)用程序(如，成像應(yīng)用程序180)執(zhí)行高鏡面反射檢測和減少。在一些實施例中，方法400可以連同方法200執(zhí)行以提供一個或更多個高鏡面反射區(qū)域的遮住以及提供移開提示二者以減少由成像系統(tǒng)捕捉的高鏡面反射的量。

在過程410，發(fā)射普通照明。使用一個或更多個普通照明器或發(fā)射器(如，普通照明器332和/或334)，普通照明和/或普通照明被照在目標(biāo)區(qū)域上。在一些示例中，普通照明可以包括可見光譜的一個或更多個頻帶中的可見光。在一些示例中，可以使用適當(dāng)驅(qū)動器和/或調(diào)制電路打開普通照明器。在一些示例中，普通照明器均可以包括一個或更多個發(fā)光二極管、激光二極管、鹵素光源和/或諸如此類。在一些示例中，當(dāng)普通照明包括來自多個頻帶的信號時，多個頻帶可以被同時和/或經(jīng)由時分多路復(fù)用發(fā)射。

在過程420，檢測立體反射。使用一個或更多個普通照明檢測器(如，普通照明檢測器336)連同一個或更多個普通照明器獲得反射的普通照明的兩個或更多個立體圖像。在一些示例中，普通照明可以從一個或更多個結(jié)構(gòu)、物體、患者解剖部分和/或類似結(jié)構(gòu)反射。在一些示例中，一個或更多個普通照明檢測器可以檢測由一個或更多個普通照明器和/或其子組發(fā)射的頻帶中的每個的普通照明。在一些示例中，普通照明檢測器中的每個可以包含一個或更多個光電晶體管、電荷耦合裝置、有源和/或無源濾波器(如，LCTF和/或AOTF)和/或諸如此類。在一些示例中，一個或更多個普通照明檢測器可以被時間多路復(fù)用以與一個或更多個普通照明器同步。

在過程430，估計表面法線。過程420期間檢測的立體圖像可以用來估計立體圖像中可見的一個或更多個表面的表面法線。在一些示例中，兩個立體圖像之間的成像幾何形狀的已知差異可以用來基于立體圖像中的差異估計表面法線。在一些示例中，立體相機校正數(shù)據(jù)可以用來估計表面法線。在一些示例中，可以針對那些表面上的多個位置處的一個或更多個表面估計表面法線。在一些示例中，類似于過程230的過程可以用來檢測高的或潛在的高的鏡面反射區(qū)域，其中，在那些檢測的區(qū)域內(nèi)估計表面法線。

在過程440，估計的表面法線用來提供移開提示。一個或更多個估計的表面法線指向目標(biāo)區(qū)域中的成像單元應(yīng)當(dāng)避免接近的一個或更多個表面上方的位置，以減少和/或消除檢測的和/或捕捉的圖像中的高鏡面反射的量。為了阻止成像單元定位在一個或更多個表面法線上方和/或鼓勵成像單元移動而不與一個或更多個表面法線對準(zhǔn)，可以提供移開提示至成像單元的操作員和/或運動規(guī)劃系統(tǒng)。在一些示例中，可以基于成像單元安裝在其上的裝置臂的一個或更多個動態(tài)模型提供移開提示。

在一些實施例中，一個或更多個移開提示可以包括在顯示給操作員的圖像中添加可視化提示(如箭頭)，其建議成像單元的移動方向和/或取向變化。在一些示例中，移動方向可以遠(yuǎn)離由一個或更多個表面法線指向的位置。在一些示例中，當(dāng)成像單元位于由一個或更多個表面法線指向的位置中的一個位置附近時，移動提示可以包括遠(yuǎn)離表面法線的一組受限的方向。在一些示例中，當(dāng)成像單元與表面法線對齊時，移動提示可以建議遠(yuǎn)離表面法線的任何方向。在一些示例中，當(dāng)表面法線可以由位置和/或取向變化避免時，移動提示可以建議成像單元適當(dāng)旋轉(zhuǎn)以遠(yuǎn)離表面法線。在一些示例中，可以基于成像單元安裝在其上的裝置臂的一個或更多個動態(tài)模型確定該旋轉(zhuǎn)。

在一些實施例中，一個或更多個移開提示可包括音頻提示。在一些示例中，音頻提示可以包括如左、右、上、下、離開、旋轉(zhuǎn)等方向。在一些示例中，當(dāng)多方向聲音可用時，移開提示可以提供可以提示操作員朝向或遠(yuǎn)離聲音移動的聲音。在一些示例中，當(dāng)音頻提示被成功遵循時，聲音強度可以增加或減少。

在一些實施例中，一個或更多個移開提示可以包括在運動規(guī)劃幾何形狀中添加一個或更多個移開點和/或線。在一些示例中，可以使用具有排斥場(repulsing field)和/或排斥電荷(repulsing charge)的一個或更多個點或區(qū)域?qū)嵤┮粋€或更多個移開點和/或線。在一些示例中，可以使用一個或更多個虛擬碰撞對象和/或虛擬反饋機制實施一個或更多個移開點和/或線。在一些示例中，一個或更多個移開點可以由相應(yīng)表面法線指向并基于成像單元的工作距離位于相應(yīng)表面法線上方的一高度處。在一些示例中，一個或更多個移開點可以由相應(yīng)表面法線指向并位于成像單元的當(dāng)前位置附近。在一些示例中，一個或更多個移開線可以與表面法線共線并從該表面延伸通過至少成像單元的高度。

在過程450，提供反饋。在一些實施例中，一個或更多個移開點和/或線可以用來改變成像單元的運動規(guī)劃。在一些示例中，一個或更多個移開點和/或線可以創(chuàng)建排斥力(repulsing force)和/或扭矩，這可以在成像單元的接頭上引起反饋力和/或扭矩。在一些示例中，引起的反饋力或扭矩可以修改從其他運動規(guī)劃和/或操作員命令運動確定的成像單元的相應(yīng)接頭的力或扭矩。在一些示例中，雅可比轉(zhuǎn)置或類似方法可以用來將排斥力和/或扭矩映射到引起的反饋力或扭矩。在一些示例中，反饋力和/或扭矩還可以通過一個或更多個觸覺控制裝置反饋至操作員。

方法400可以進一步包括重復(fù)過程410-450以周期性估計表面法線并提供移開提示和反饋至操作員和/或運動規(guī)劃系統(tǒng)。

如上所述且進一步在此強調(diào)的，圖4僅是示例，其不應(yīng)當(dāng)過度限制所要求保護的范圍。本領(lǐng)域技術(shù)人員將認(rèn)識到許多變體、替代和修改。在一些實施例中，方法400可以被修改以利用使用運動規(guī)劃算法相對于目標(biāo)區(qū)域移動成像單元的能力。在一些示例中，使用成像應(yīng)用程序的操作員或其他系統(tǒng)可以指定體積，成像單元可以在該體積中移動而不干擾目標(biāo)區(qū)域中或其附近的其他裝置、物體和/或患者解剖。成像應(yīng)用程序隨后可以在該體積周圍移動以收集一系列立體圖像。在一些示例中，收集的立體圖像可以被分析以確定成像單元的一個或更多個姿態(tài)，所述姿態(tài)最大量地減少成像單元與目標(biāo)區(qū)域中的表面法線中的每一個的定位和/或?qū)R。在一些示例中，收集的立體圖像可以被分析以預(yù)測成像單元的優(yōu)選姿態(tài)以避免目標(biāo)區(qū)域內(nèi)的選定區(qū)域的高鏡面反射并且/或者確定由方法200使用的一組優(yōu)選姿態(tài)從而將合成圖像與減少的和/或消除的鏡面反射拼接在一起。在一些示例中，當(dāng)目標(biāo)區(qū)域包括移動的物體和/或移動的患者解剖(如，跳動的心臟)時，圖像收集可以被定時，使得該系列立體圖像大致對應(yīng)于目標(biāo)區(qū)域中的物體和/或患者解剖的相同位置、相位和/或取向。

處理單元(如，處理單元150)的一些示例可以包括非暫時性的有形機器可讀介質(zhì)，其包括可執(zhí)行代碼，當(dāng)該代碼由一個或更多個處理器(如，處理器160)運行時可使一個或更多個處理器執(zhí)行方法200和/或400的過程?？梢园ǚ椒?00和/或400的過程的機器可讀介質(zhì)的一些常見形式為例如軟盤、柔性盤、硬盤、磁帶、任何其它磁介質(zhì)、CD-ROM、任何其它光學(xué)介質(zhì)、打孔卡、紙帶、具有孔圖案的任何其他物理介質(zhì)、RAM、PROM、EPROM、FLASH-EPROM、任何其他存儲器芯片或匣、和/或處理器或計算機適于從中讀取的任何其他介質(zhì)。

雖然已經(jīng)示出并描述了例示性實施例，但在前述公開中設(shè)想寬范圍的修改、改變和替換，并且在一些情況下，在不相應(yīng)地使用其他特征的情況下，可應(yīng)用實施例的一些特征。本領(lǐng)域技術(shù)人員將認(rèn)識到許多變體、替代和修改。因此，本發(fā)明的范圍應(yīng)當(dāng)僅由隨附權(quán)利要求限制，并將理解的是，權(quán)利要求被廣泛地并以與本文公開的實施例的范圍一致的方式解釋。