專利名稱：醫(yī)用機(jī)器人系統(tǒng)中的計算機(jī)顯示屏上的輔助圖像顯示和操縱的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及醫(yī)用機(jī)器人系統(tǒng)，更具體地涉及輔助圖像在醫(yī)用機(jī)器人系統(tǒng)中計算機(jī)顯示屏上的顯示和操縱。
背景技術(shù)：
諸如那些用于執(zhí)行微創(chuàng)外科手術(shù)過程的醫(yī)用機(jī)器人系統(tǒng)對傳統(tǒng)開放式外科技術(shù)提供了許多的好處，包括較少的疼痛、更短的住院時間、更快地恢復(fù)到正?；顒?，最小的傷疤、減少的恢復(fù)時間以及對組織具有較少的損傷。因此，對利用醫(yī)用機(jī)器人系統(tǒng)進(jìn)行微創(chuàng)外科手術(shù)的需求是很強(qiáng)烈且不斷增大的。醫(yī)用機(jī)器人系統(tǒng)的一個不例是美國加利福尼亞州Sunnyvale的直觀外科手術(shù)公司(Intuitive Surgical, Inc.)的da Vinci 外科手術(shù)系統(tǒng),這個da Vinci 系統(tǒng)包括外科醫(yī)生控制臺、病人手推車、高性能3D顯示系統(tǒng)，以及直觀外科手術(shù)公司專有的EndoWrist 關(guān)節(jié)連接器械，這些器械按照人類腕關(guān)節(jié)模制，所以當(dāng)被添加到固定所述外科手術(shù)器械的機(jī)器人手臂裝置的動作時，它們允許至少完整6個自由度的動作，而這和開放式外科手術(shù)的正常動作相當(dāng)。da Vinefx:外科醫(yī)生控制臺具有一個高分辨率立體視頻顯示屏，其具有兩個步進(jìn)掃描陰極射線管(CRT)。該系統(tǒng)提供了比偏光(polarization)、快門眼鏡(shuttereyeglass)或其它技術(shù)更高的保真度。通過物鏡和一系列反射鏡，每個眼睛觀察呈現(xiàn)左眼或右眼觀察范圍的獨(dú)立的CRT。在整個手術(shù)中，外科醫(yī)生舒適地坐著觀察這一顯示器，這樣就使得這里成為外科醫(yī)生顯示和操縱三維手術(shù)中圖像的理想位置。除了顯示在顯示屏上的主圖像，同樣經(jīng)常需要能夠同時觀察輔助信息來獲得更好的理解或者幫助正在處理的醫(yī)療程序。輔助信息可以各種模式提供，例如文本信息，條形圖，二維畫中畫圖像，以及相對于它們的主圖像副本對準(zhǔn)且完全重疊的二維或三維圖像。對于輔助圖像，這些圖像可以通過利用例如超聲波掃描術(shù)、磁共振成像、計算機(jī)化軸向X線斷層攝影術(shù)以及熒光透視法等技術(shù)在手術(shù)前或手術(shù)中獲得，以便提供正接受治療的解剖結(jié)構(gòu)的內(nèi)部細(xì)節(jié)。該信息然后被用于補(bǔ)充該解剖結(jié)構(gòu)的外部視圖，如由局部放置的照相機(jī)獲得的視圖。雖然存在過多的輔助信息源以及顯示這種信息的方式，對輔助圖像的顯示和操縱的改進(jìn)對于更好地幫助外科 醫(yī)生利用醫(yī)用機(jī)器人系統(tǒng)執(zhí)行醫(yī)療程序仍然是有用的。

發(fā)明內(nèi)容
因此，本發(fā)明的各個方面的一個目的是一種方法，該方法用于將包括治療過程的效果的輔助信息顯示為此時由治療程序所治療的解剖結(jié)構(gòu)的圖像的覆蓋圖或者與此時由所述程序所治療的解剖結(jié)構(gòu)的圖像另外相關(guān)聯(lián)的覆蓋圖。本發(fā)明的各個方面的另一個目的是一種方法，該方法用于以用戶指定的放大因數(shù)將解剖結(jié)構(gòu)的輔助圖像的體繪制的用戶選定部分顯示為計算機(jī)顯示屏上的與解剖結(jié)構(gòu)的主圖像對準(zhǔn)的覆蓋圖。本發(fā)明的各個方面的另一個目的是一種醫(yī)用機(jī)器人系統(tǒng)，其具有主輸入設(shè)備，該主輸入設(shè)備可以用于手動地在計算機(jī)顯示器的三維空間內(nèi)對準(zhǔn)圖像。本發(fā)明的各個方面的另一個目的是一種醫(yī)用機(jī)器人系統(tǒng)，其具有主輸入設(shè)備，該主輸入設(shè)備可以用于限定在計算機(jī)顯示器的三維空間內(nèi)解剖結(jié)構(gòu)的體繪制的剖面。本發(fā)明的各個方面的另一個目的是一種醫(yī)用機(jī)器人系統(tǒng)，其具有主輸入設(shè)備，該主輸入設(shè)備可以用于選擇性地修改計算機(jī)顯示器的三維空間內(nèi)的解剖結(jié)構(gòu)的體繪制的各部分或細(xì)節(jié)。本發(fā)明的各個方面的另一個目的是一種醫(yī)用機(jī)器人系統(tǒng)，其具有主輸入設(shè)備，該主輸入設(shè)備可以用于改變在計算機(jī)顯示屏上顯示的解剖結(jié)構(gòu)的體繪制的參數(shù)。本發(fā)明的各個方面的又一個目的是一種醫(yī)用機(jī)器人系統(tǒng)，其具有主輸入設(shè)備，該主輸入設(shè)備可以在圖像獲取模式以及圖像操縱模式之間切換，在所述圖像獲取模式中所述主輸入設(shè)備控制圖像獲取設(shè)備的移動，在所述圖像操縱模式中，所述主輸入設(shè)備控制由所述圖像獲取設(shè)備獲取的圖像在計算機(jī)顯示屏上的顯示和操縱。這些以及其他目的通過本發(fā)明的各個方面來實(shí)現(xiàn)，其中簡單地說，一個方面是在計算機(jī)顯示屏上顯示通過治 療儀器施加到解剖結(jié)構(gòu)上的治療程序的效果的方法，該方法包括:生成輔助圖像，該輔助圖像指示通過治療儀器施加到解剖結(jié)構(gòu)上的治療程序的效果；并且在所述治療程序期間，在計算機(jī)顯示屏上顯示被所述輔助圖像覆蓋的解剖結(jié)構(gòu)的主圖像。另一個方面是一種用于在計算機(jī)顯示屏上將解剖結(jié)構(gòu)的輔助圖像的選定部分顯示為解剖結(jié)構(gòu)的主圖像的覆蓋圖的方法，所述方法包括:將可移動窗與定位設(shè)備相關(guān)聯(lián)，以便所述可移動窗可以利用所述定位設(shè)備在所述計算機(jī)顯示屏上定位；將解剖結(jié)構(gòu)的輔助圖像與所述解剖結(jié)構(gòu)的主圖像相對準(zhǔn)，以便在共同的坐標(biāo)系內(nèi)處于相同的位置和方位；以及在所述計算機(jī)顯示屏上顯示所述主圖像，并且將所述對準(zhǔn)的輔助圖像的一部分顯示為所述可移動窗中的主圖像的覆蓋圖，其中所述輔助圖像的一部分對應(yīng)于所述可移動窗的相同坐標(biāo)。又一方面是一種醫(yī)用機(jī)器人系統(tǒng)，該系統(tǒng)包括:用于獲取圖像的圖像獲取設(shè)備；固定所述圖像獲取設(shè)備的機(jī)器人手臂；計算機(jī)顯示屏；適合于由用戶以多個自由度運(yùn)動來操縱的主輸入設(shè)備；以及一個處理器，該處理器被配置成當(dāng)所述主輸入設(shè)備處于圖像獲取模式時根據(jù)主輸入設(shè)備的用戶操縱來控制所述圖像獲取設(shè)備的移動，以及當(dāng)所述主輸入設(shè)備處于圖像操縱模式時根據(jù)主輸入設(shè)備的用戶操縱來控制從獲取的圖像中得到的圖像在計算機(jī)顯示屏上的顯示。
本發(fā)明的各個方面的其他目的、特征以及優(yōu)勢從下面本發(fā)明的優(yōu)選實(shí)施例的描述與附圖的結(jié)合中將會變得很明顯。


圖1圖解說明采用了利用本發(fā)明的各個方面的醫(yī)用機(jī)器人系統(tǒng)的手術(shù)室的俯視圖。圖2圖解說明了利用本發(fā)明的各個方面的醫(yī)用機(jī)器人系統(tǒng)的結(jié)構(gòu)圖。圖3圖解說明了可用于利用本發(fā)明的各個方面的醫(yī)用機(jī)器人系統(tǒng)的腹腔鏡超聲波探測器。圖4圖解說明了利用本發(fā)明的各個方面，在計算機(jī)顯示屏上顯示由治療儀器施加至解剖結(jié)構(gòu)上的治療程序的效果的方法的流程圖。圖5圖解說明了解剖結(jié)構(gòu)的外部視圖，其中治療儀器插入所述解剖結(jié)構(gòu)用于執(zhí)行治療程序。圖6圖解說明了解剖結(jié)構(gòu)的內(nèi)部視圖，其中可辨別的治療效果顯示為由治療傳感設(shè)備所獲取。圖7圖解說明了一種計算機(jī)顯示屏，該顯示屏顯示由一種利用本發(fā)明的各個方面的方法生成的、由所述治療程序所醫(yī)治的解剖結(jié)構(gòu)的治療程序的效果。圖8圖解說明了一種方法的流程圖，所述方法利用本發(fā)明的各個方面，在計算機(jī)顯示屏上、在用戶可移動的放大鏡內(nèi)顯示解剖結(jié)構(gòu)的輔助圖像的選定部分。圖9圖解說明了一 種方法的流程圖，所述方法利用本發(fā)明的各個方面，以一個指定的放大因數(shù)顯示解剖結(jié)構(gòu)的內(nèi)部視圖的可操縱窗。圖10圖解說明了解剖結(jié)構(gòu)的輔助圖像和呈現(xiàn)不同的放大因數(shù)的輔助圖像的同心區(qū)域，用于通過利用本發(fā)明的各個方面的方法在計算機(jī)顯示屏上、在一個放大鏡內(nèi)的顯示。圖11圖解說明了一種計算機(jī)顯示屏，在該顯示屏上，在放大透鏡內(nèi)觀察解剖結(jié)構(gòu)的主圖像和所述解剖結(jié)構(gòu)的輔助圖像的覆蓋部分，如由利用本發(fā)明的各個方面的方法顯示的。圖12圖解說明了一種方法的流程圖，該方法由醫(yī)用機(jī)器人系統(tǒng)內(nèi)的處理器執(zhí)行，用于利用本發(fā)明的各個方面操縱顯示在計算機(jī)顯示屏上的物體。
具體實(shí)施例方式圖1作為示例圖解說明了采用醫(yī)用機(jī)器人系統(tǒng)的手術(shù)室的俯視圖。在此情形中所述醫(yī)用機(jī)器人系統(tǒng)是微創(chuàng)機(jī)器人外科手術(shù)(MIRS)系統(tǒng)100，其包括由外科醫(yī)生(S)使用的控制臺(C)，同時在一個或多個助手(A)的幫助下，對一個躺在手術(shù)臺(O)上的病人(P)執(zhí)行微創(chuàng)診斷或外科手術(shù)程序?？刂婆_包括主顯示器104(在本文中也被稱作“顯示屏”或“計算機(jī)顯示屏”)，用于給外科醫(yī)生顯示病人體內(nèi)手術(shù)部位的一個或多個圖像，以及可能的其他信息。同樣包括的是主輸入設(shè)備107，108 (在本文中也被稱作“主操縱器”)，一個或多個腳踏板105，106，用于接收來自外科醫(yī)生的聲音命令的麥克風(fēng)103，以及處理器102。主輸入設(shè)備107，108可以包括許多種輸入設(shè)備中的任意一個或多個，所述多種輸入設(shè)備例如操縱桿、手套、扳機(jī)槍、手持控制器、夾具(gripper)等等。處理器102優(yōu)選是可以集成在控制臺內(nèi)或者以常規(guī)方式另外連接到控制臺的個人電腦。外科醫(yī)生通過操縱主輸入設(shè)備107，108來利用MIRS系統(tǒng)100執(zhí)行醫(yī)療程序，從而處理器102促使這些主輸入設(shè)備各自關(guān)聯(lián)的從動臂121，122相應(yīng)地操縱它們各自可拆裝地連接和固定的外科手術(shù)儀器138，139 (在本文中也被稱作“工具”)，同時外科醫(yī)生可以在主顯示器104上觀察手術(shù)部位的三維(3D)圖像。工具138，139優(yōu)選是直觀外科手術(shù)公司專有的EndoWrist 關(guān)節(jié)儀器，其模仿人類腕關(guān)節(jié)，所以在附加到固定所述工具的機(jī)器人手臂的動作之后，它們可以允許至少完整六個自由度的動作，這可以與開放式外科手術(shù)的正常動作相匹敵。這種工具的其他細(xì)節(jié)可以在共同擁有的名為“具有更強(qiáng)靈巧性和靈敏度的用于執(zhí)行微創(chuàng)外科手術(shù)的手術(shù)儀器的腕關(guān)節(jié)機(jī)構(gòu)(Wrist Mechanism for Surgical Instrument for Performing MinimallyInvasive Surgery with Enhanced Dexterity and Sensitivity)” 的第 5,797,900 號美國專利中找到，這篇專利通過參考并入本文。在每一個工具138，139的操作末端是一個可操縱的末端執(zhí)行器，例如夾子，抓緊器、剪刀，訂書機(jī)，刀片，針，針托，或者供電探測器(energizable probe)等。主顯示器104具有高分辨率立體視頻顯示器，具有兩個步進(jìn)掃描陰極射線管(CRT)。該系統(tǒng)提供了比偏光、快門眼鏡或其它技術(shù)更高的保真度。通過物鏡和一系列反射鏡，每個眼睛觀察一個呈現(xiàn)左邊或右邊眼睛觀察范圍的獨(dú)立的CRT。在整個手術(shù)過程中，夕卜科醫(yī)生可以舒服地坐著觀察顯示器，這樣就使得這里成為外科醫(yī)生顯示和操縱三維手術(shù)中圖像的理想位置。立體內(nèi)窺鏡140為處理器102提供右照相機(jī)視圖和左照相機(jī)視圖，以便該處理器可以根據(jù)程序化的指令來處理信息，并使其顯示在主顯示器104上。腹腔鏡超聲(LUS)探測器150為處理器102提供解剖結(jié)構(gòu)的二維(2D)超聲波圖像切片，以便處理器102可以生成三維超聲波計算機(jī)模型或解剖結(jié)構(gòu)的體積繪制。

每一個工具138，139以及內(nèi)窺鏡140和LUS探測器150，優(yōu)選通過套管或套管針(未示出)或者其他工具引導(dǎo)件被插入病人體內(nèi)，以便通過相應(yīng)的微創(chuàng)切口(例如切口161)延伸至手術(shù)部位。每一個從動臂121-124包括從動操縱器和調(diào)整臂。從動操縱臂可以利用電機(jī)控制接頭(也被稱作“活動接頭”)自動地移動，以便操縱和/或移動他們各自固定的工具。調(diào)整臂可以通過正常釋放制動的接頭(也被稱作“調(diào)整接頭”)被手動操縱，從而水平和垂直地定位從動臂121-124，以便他們各自的工具可以被插入套管內(nèi)。同時使用的外科手術(shù)工具的數(shù)量并且因此用于系統(tǒng)100中的從動臂的數(shù)量除其它因素外通常取決于將要執(zhí)行的醫(yī)療程序以及手術(shù)室內(nèi)的空間限制。如果需要改變一個或多個在程序中使用的工具，助手可以從從動臂上移除不再使用的工具，并用另外的工具來替代，例如在手術(shù)室內(nèi)的盤子(T)中的工具131。優(yōu)選地，主顯示器104位于外科醫(yī)生手附近的位置，以便其可以顯示定向的投影圖像，從而使得外科醫(yī)生感受到他或她實(shí)際上是徑直向下觀察手術(shù)部位。最后，工具138，139的圖像優(yōu)選看起來像是基本上處于外科醫(yī)生手所在的位置，即使觀察點(diǎn)(即內(nèi)窺鏡140和LUS探測器150的觀察點(diǎn))并不是來自圖像的觀察點(diǎn)。另外，實(shí)時圖像優(yōu)選投影到透視圖中，以便外科醫(yī)生能夠通過關(guān)聯(lián)的主輸入設(shè)備107或108，來操作工具如138或139的末端執(zhí)行器，好像觀察基本真實(shí)呈現(xiàn)的工作場所。真實(shí)的呈現(xiàn)的意思是圖像的呈現(xiàn)是模擬實(shí)際操縱工具的操作者的視點(diǎn)的真實(shí)透視圖。因此，處理器102將工具的坐標(biāo)轉(zhuǎn)換成感知位置，以便該透視圖是在一個開腔外科手術(shù)過程中一個人以外科醫(yī)生眼睛的水平在內(nèi)窺鏡140直接觀察工具的時候所可以看到圖像。處理器102在系統(tǒng)100內(nèi)執(zhí)行各種功能。其執(zhí)行的一個重要的功能是通過總線110上的控制信號，轉(zhuǎn)換主輸入設(shè)備107和108的機(jī)械運(yùn)動并將其傳遞到它們關(guān)聯(lián)的從動臂121和122上，以便外科醫(yī)生有效地操縱它們各自的工具138和139。另一個重要的功能是實(shí)現(xiàn)本文參考圖4-12所描述的各種方法。雖然描述為處理器，應(yīng)該理解的是處理器102在實(shí)際中可以通過硬件、軟件和固件的任意組合來實(shí)現(xiàn)。同樣，本文所描述的它的功能可以通過一個單元來實(shí)現(xiàn)，或者分成不同的部分，每一個部分也可以由硬件、軟件和固件的任意組合來實(shí)現(xiàn)。當(dāng)分成不同的部分的時候，各個部分可以集中在一個位置或者為了分布式處理的目的而分布在整個系統(tǒng)100上。在執(zhí)行醫(yī)療程序之前，LUS探測器150獲取的超聲波圖像，立體內(nèi)窺鏡140獲取的右2D照相機(jī)圖像和左2D照相機(jī)圖像，以及使用從動臂121-124的運(yùn)動學(xué)和其感測的接頭位置確定的末端執(zhí)行器的位置和方位，被校準(zhǔn)并相互對準(zhǔn)。從動臂123和124可以用與從動臂121和122操縱工具138和139相同的方式來操縱內(nèi)窺鏡140和LUS探測器150。但是，當(dāng)系統(tǒng)中僅存在兩個主輸入設(shè)備的時候，例如系統(tǒng)100中的主輸入設(shè)備107，108，為了讓外科醫(yī)生可以手動控制內(nèi)窺鏡140或LUS探測器150的運(yùn)動，需要臨時將主輸入設(shè)備 107和108中的一個主輸入設(shè)備和外科醫(yī)生需要手動控制的內(nèi)窺鏡140或LUS探測器150相關(guān)聯(lián)，同時其之前關(guān)聯(lián)的工具和從動操縱器被鎖定在適當(dāng)位置。雖然沒有在這個示例中示出，但解剖結(jié)構(gòu)的主圖像和輔助圖像的其他來源可以包括在系統(tǒng)100中，例如那些通常用于獲取超聲波，磁共振，計算機(jī)化軸向X線斷層攝影術(shù)，以及熒光透視成像。這些成像來源中的每一個都可以在手術(shù)前使用，以及在適當(dāng)和實(shí)用的時候可以在手術(shù)中使用。圖2作為示例圖解說明了系統(tǒng)100的模塊圖。在這個系統(tǒng)中，存在兩個主輸入設(shè)備107和108。主輸入設(shè)備107根據(jù)其控制轉(zhuǎn)換機(jī)構(gòu)211所處的模式來控制工具138或立體內(nèi)窺鏡140的運(yùn)動，主輸入設(shè)備108根據(jù)其控制轉(zhuǎn)換機(jī)構(gòu)231所處的模式來控制工具139或LUS探測器150的運(yùn)動。控制轉(zhuǎn)換機(jī)構(gòu)211和231可以由外科醫(yī)生通過采用以下方式被設(shè)置在第一或第二模式:聲音命令、實(shí)際設(shè)置在主輸入設(shè)備107和108上或其附近的開關(guān)、控制臺上的腳踏板105和106、或者外科醫(yī)生對適當(dāng)圖標(biāo)的選擇或者顯示在主顯示器104或輔助顯示器(未示出)上的其他圖形化用戶接口選擇裝置。 當(dāng)控制轉(zhuǎn)換機(jī)構(gòu)211被設(shè)置在第一模式下時，其引起主控制器202與從控制器203通信，以便外科醫(yī)生對主輸入107的操縱可以導(dǎo)致通過從動臂121的工具138的相應(yīng)運(yùn)動，同時內(nèi)窺鏡140被鎖定在合適位置。另一方面，當(dāng)控制轉(zhuǎn)換機(jī)構(gòu)211設(shè)置在第二模式時，其引起主控制器202和從控制器233通信，以便外科醫(yī)生對主輸入107的操縱可以導(dǎo)致由從動臂123的內(nèi)窺鏡140的相應(yīng)運(yùn)動，同時工具138被鎖定在適當(dāng)位置。
同樣地，當(dāng)控制轉(zhuǎn)換機(jī)構(gòu)231設(shè)置在第一模式時，其引起主輸入控制器108和從控制器223通信，以便外科醫(yī)生對主輸入108的操縱可以導(dǎo)致從動臂122的工具139的相應(yīng)運(yùn)動。但是，在這種情況下，LUS探測器150沒必要鎖定在適當(dāng)位置。其運(yùn)動可以由輔助控制器242根據(jù)存儲在存儲器240中的指令來引導(dǎo)。輔助控制器242同樣通過主輸入108提供觸覺反饋給外科醫(yī)生，這種觸覺反饋反映了 LUS探測器壓力傳感器247的讀數(shù)。另一方面，當(dāng)控制轉(zhuǎn)換機(jī)構(gòu)231設(shè)置在第二模式時，其引起主控制器108和從控制器243通信，以便外科醫(yī)生對主輸入108的操縱可以導(dǎo)致從動臂124的LUS探測器150的相應(yīng)運(yùn)動，同時工具139被鎖定在適當(dāng)位置。在控制轉(zhuǎn)換機(jī)構(gòu)實(shí)現(xiàn)轉(zhuǎn)換回其第一或正常模式時，其關(guān)聯(lián)的主輸入設(shè)備優(yōu)選重新設(shè)置在其轉(zhuǎn)換之前的位置。替代性的，主輸入設(shè)備可以保持在其當(dāng)前位置以及主輸入設(shè)備及其重新調(diào)整的關(guān)聯(lián)工具從動臂的運(yùn)動學(xué)關(guān)系，從而一旦控制轉(zhuǎn)換機(jī)構(gòu)轉(zhuǎn)換回其第一或正常模式時，不會出現(xiàn)工具的異常運(yùn)動。控制轉(zhuǎn)換的其他細(xì)節(jié)參見例如共同擁有的名為“合作微創(chuàng)遠(yuǎn)程外科手術(shù)系統(tǒng)(Cooperative Minimally Invasive Telesurgical System) ”的美國專利第6，659，939號，該專利通過參考并入本文。第三控制轉(zhuǎn)換機(jī)構(gòu)241被提供以允許其用戶在圖像獲取模式和圖像操縱模式之間轉(zhuǎn)換，同時控制轉(zhuǎn)換機(jī)構(gòu)231處于其第二模式(即將主輸入設(shè)備108和LUS探測器150關(guān)聯(lián))。在其第一或正常模式(即圖像獲取模式)，LUS探測器150通常由主輸入設(shè)備108如上所述控制。在其第二模式(即圖像操縱模式)，LUS探測器150不受主輸入設(shè)備108控制，使得主輸入設(shè)備108可以自由地執(zhí)行其他任務(wù)，例如在顯示屏104上顯示和操縱輔助圖像，特別是執(zhí)行某些如本文所描述的用戶特定功能。但是應(yīng)注意，雖然LUS探測器150在控制轉(zhuǎn)換機(jī)構(gòu)241的第二模式下可以不被主輸入設(shè)備108所控制，其仍然可能根據(jù)存儲在存儲器240內(nèi)的指令自動搖動或在輔助控制器242的控制下運(yùn)動，所以最近的解剖結(jié)構(gòu)的三維體積繪制可以從LUS探測器150獲取的一系列二維超聲波圖像切片中生成。LUS探測器150的這種運(yùn)動以及其他編程的運(yùn)動的其他細(xì)節(jié)，可以參見共同擁有的于2006年6月6日提交的名為“腹腔鏡超聲波機(jī)器人外科手術(shù)系統(tǒng)(Laparoscopic Ultrasound RoboticSurgical System) ”的第11/447，668號美國專利申請,該申請通過參考并入本文。

輔助控制器242也執(zhí)行與LUS探測器150和內(nèi)窺鏡140相關(guān)的其他功能。其接收來自LUS探測器壓力傳感器247的輸出，該壓力傳感器感測施加到LUS探測器150上的壓力，并通過主控制器222將壓力信息反饋給主輸入設(shè)備108，以便外科醫(yī)生可以感受這些壓力，即使他或她那時沒有直接控制LUS探測器150的運(yùn)動。因此，對病人的潛在的傷害被最小化，因?yàn)橥饪漆t(yī)生有能力立即停止LUS探測器150的任何運(yùn)動，以及有能力對這種運(yùn)動采取手動控制。輔助控制器242的另一個關(guān)鍵功能是根據(jù)用戶選擇的顯示選項(xiàng)，促使來自內(nèi)窺鏡140和LUS探測器150的所處理的信息顯示在主顯示器104上。這種處理的示例包括從通過超聲波處理器246接收的來自LUS探測器150的二維超聲波圖像切片中生成三維超聲圖像，促使對應(yīng)于選擇的位置和方位的三維或二維超聲波圖像顯示在主顯示器104的畫中畫窗內(nèi)，促使解剖結(jié)構(gòu)的三維或二維超聲波圖像覆蓋顯示在主顯示器104上的解剖結(jié)構(gòu)的照相機(jī)獲取的圖像，并執(zhí)行下文中參考圖4-12所描述的方法。雖然顯示為獨(dú)立的實(shí)體，主輸入控制器202和222，從控制器203，233，223和243，以及輔助控制器242優(yōu)選實(shí)現(xiàn)為由處理器102執(zhí)行的軟件模塊，以及控制轉(zhuǎn)換機(jī)構(gòu)211，231，241的某些模式轉(zhuǎn)換方面。另一方面，超聲波處理器246和視頻處理器236，可以是軟件模塊或插入與處理器102耦連或與處理器102集成的適當(dāng)插槽的獨(dú)立電路板或卡，以將從這些圖像獲取設(shè)備中接收的信號轉(zhuǎn)換成適合顯示在主顯示器104上的信號，和/或用于在顯示在主顯示器104之前由輔助控制器242進(jìn)行的其他處理。雖然本示例假設(shè)了每個主輸入設(shè)備僅由一個預(yù)先指定的工具從動機(jī)器人手臂或一個預(yù)先指定的圖像獲取設(shè)備機(jī)器人手臂共享，替代性的布置在本發(fā)明的整個范圍內(nèi)也是可行的，并且可以設(shè)想的。例如，一種不同的布置，其中每個主輸入設(shè)備可以是可選擇地與任意一個工具所關(guān)聯(lián)，并且圖像獲取設(shè)備機(jī)器人手臂也是可能的，甚至優(yōu)選適合用于最大靈活性。同樣，雖然內(nèi)窺鏡機(jī)器人手臂在這個示例中示出由單個主輸入設(shè)備控制，但它也可以通過使用兩個主輸入設(shè)備來控制，以給出能夠“抓取圖像”的感覺，并將其移動至不同位置或視角。更進(jìn)一步地，雖然只在這個示例中示出內(nèi)窺鏡和LUS探測器，但其他圖像獲取設(shè)備，例如那些用于獲取照相機(jī)、超聲波、磁共振、計算機(jī)化軸向X線斷層攝影術(shù)以及熒光透視成像的圖像獲取設(shè)備也完全可以預(yù)期用于系統(tǒng)100中，雖然不是這些圖像獲取設(shè)備中的每一個都有必要由主輸入設(shè)備中的一個來操縱。圖3圖解說明了 LUS探測器150的一個實(shí)施例的側(cè)視圖。LUS探測器150是一種靈巧工具，其優(yōu)選具有兩個遠(yuǎn)端自由度。驅(qū)動桿或電纜(未示出)的相反端物理連接于LUS傳感器301的近端，并且延伸穿過伸長軸312的內(nèi)部通道，利用傳統(tǒng)的推拉類型動作來機(jī)械地控制LUS傳感器301的傾斜和偏轉(zhuǎn)運(yùn)動。LUS傳感器301獲取最接近的解剖結(jié)構(gòu)的二維超聲波切片，并通過LUS電纜304將該信息傳送回處理器102。雖然圖示為LUS電纜304延伸在伸長軸312的外面，但它也可以在伸長軸312內(nèi)延伸，蛤殼式護(hù)套321包圍伸長軸312和LUS電纜304，以提供穿過套管331 (或套管針)時的優(yōu)異的密封?；鶞?zhǔn)標(biāo)記302和322被設(shè)置在LUS傳感器301和護(hù)套321上用于視頻跟蹤目的。 圖4作為示例圖解說明了在顯示屏104上顯示治療程序或治療的效果的方法的流程圖。在401，解剖結(jié)構(gòu)的主圖像通過圖像獲取設(shè)備獲取。作為示例，圖5圖示說明了通過內(nèi)窺鏡140獲取的主圖像，其包括解剖結(jié)構(gòu)501和部分插入解剖結(jié)構(gòu)501中的用來在解剖結(jié)構(gòu)501內(nèi)的治療部位處執(zhí)行治療程序的治療儀器511。在另一應(yīng)用中，治療儀器511僅僅需要接觸或接近解剖結(jié)構(gòu)501，以便執(zhí)行治療程序。主圖像可以在治療程序之前或者治療程序期間獲取。在程序之前獲取的主圖像被稱作“手術(shù)前”圖像，而在程序期間獲取的主圖像稱作“手術(shù)中”圖像。當(dāng)主圖像是手術(shù)前圖像時，該圖像在程序期間通常不會更新，以便該方法通常僅使用一幅主圖像。另一方面，當(dāng)主圖像是手術(shù)中圖像，該圖像優(yōu)選在程序期間周期性地更新，以便該方法在這種情況中可以使用多幅主圖像。手術(shù)前圖像一般利用例如超聲波成像、磁共振成像(MRI)、或計算機(jī)化軸向X線斷層攝影術(shù)(CAT)等技術(shù)來獲取。手術(shù)中圖像可以通過例如立體內(nèi)窺鏡140或LUS探測器150等圖像獲取設(shè)備在手術(shù)或治療部位獲取，或者它們可以通過例如那些用來獲取手術(shù)前圖像的技術(shù)從外部獲取。在圖4的402中，治療儀器被打開，或者被激活或通電，以便能夠在病人體內(nèi)的解剖結(jié)構(gòu)施加治療。這個儀器通常具有用于施加治療能量至異常組織(例如有病或損壞的組織)的末端。作為這種治療程序的一個示例，射頻切除(RFA)可以通過利用RFA探測器施加熱量至有病組織部位，用于破壞有病的組織，例如解剖結(jié)構(gòu)(例如肝臟)內(nèi)的腫瘤。其他程序的示例，包括高強(qiáng)度聚焦超聲波(HIFU)以及燒灼等。這種治療儀器可以是連接至從動臂121和122的工具138和139中的一個，以便其可以被外科醫(yī)生通過主/從控制系統(tǒng)移動至治療部位并在治療部位處操縱。在403，生成輔助圖像，其中該輔助圖像指示對解剖結(jié)構(gòu)的治療程序的效果。該輔助圖像可以是解剖結(jié)構(gòu)的真實(shí)圖像，其可以通過由感測設(shè)備獲取的信息提供，或者由感測設(shè)備獲取的信息所生成，其中所述感測設(shè)備能夠感測治療程序的效果。替代地，輔助圖像可以是指示治療效果的計算機(jī)模型，其可以利用這種效果的經(jīng)驗(yàn)導(dǎo)出或常規(guī)確定規(guī)則來生成。在后一種情況下，計算機(jī)模型通常是通過以下因素來確定的體積形態(tài)(volumetricshape):諸如治療儀器的末端的幾何形狀、由治療儀器的末端施加至解剖結(jié)構(gòu)的熱量或能量級別，以及解剖結(jié)構(gòu)內(nèi)承受治療程序的治療部位周圍組織的特征。作為由感測設(shè)備獲取的信息提供或者從中導(dǎo)出的輔助圖像的示例，圖6圖解說明了解剖結(jié)構(gòu)601的三維超聲波圖像，其已經(jīng)按照慣例從由LUS探測器150獲取的二維超聲波切片中導(dǎo)出。在這個示例中，所示出的切除體621表示治療程序的效果，其中RFA探測器612的末端613被施加至解剖結(jié)構(gòu)601的腫瘤部位。在這種情況下，因?yàn)橛捎谀[瘤部位處的周圍組織的發(fā)熱和壞死引起的組織性質(zhì)的變化，切除體的生長是看得見的。在404中，主 圖像和輔助圖像被對準(zhǔn)，以便具有相同比例，并且在共同的參考坐標(biāo)系內(nèi)參考相同的位置和方位。這種類型的對準(zhǔn)是公知的。作為示例，可以參考共同擁有的題為“用于顯示和調(diào)整遠(yuǎn)程外科手術(shù)系統(tǒng)的圖像顯示器上的輔助信息以幫助執(zhí)行外科手術(shù)程序的手術(shù)人員的設(shè)備和方法(Devices and Methods for Presenting and RegulatingAuxiliary Information on an Image Display of a Telesurgical System to Assistan Operator in Performing a Surgical Procedure) ” 的第 6，522，906 號美國專利，該專利通過參考并入本文。在405中，在治療程序進(jìn)行期間，主圖像顯示在顯示屏104上，并且所對準(zhǔn)的輔助圖像優(yōu)選覆蓋在主圖像上，以便在每一個圖像中的相應(yīng)的結(jié)構(gòu)或物體顯示為相同尺寸，并在顯示屏104上處于相同的位置和方位。以這種方式，治療程序的效果被顯示為正承受治療程序的解剖結(jié)構(gòu)上的覆蓋圖。作為示例，圖7示出了示例性顯示屏104,其中為演示目的被區(qū)別標(biāo)示為虛線的輔助圖像覆蓋在圖5的主圖像上。當(dāng)輔助圖像通過感測設(shè)備獲取的信息提供或者源自于感測設(shè)備獲取的信息時，治療效果521，治療儀器512，以及儀器末端513通過獲取的信息提供或者從所獲取的信息中得到。另一方面，當(dāng)治療效果521通過利用經(jīng)驗(yàn)值確定的規(guī)則被生成為體形態(tài)的計算機(jī)模型時，治療儀器512和儀器末端513可以至少部分地基于其操縱從動臂的關(guān)節(jié)位置通過利用傳統(tǒng)工具跟蹤計算來確定。在圖4的406中，該方法然后檢查治療儀器是否已經(jīng)關(guān)閉。如果已經(jīng)關(guān)閉，則意味著治療程序已經(jīng)結(jié)束，則該方法結(jié)束。另一方面，如果治療儀器仍然開啟，則該方法認(rèn)為治療程序仍然在進(jìn)行，并進(jìn)入到407來確定是否已獲取新的主圖像。如果沒有獲取新的主圖像，例如，因?yàn)橹鲌D像是手術(shù)前圖像，則該方法跳回403以更新輔助圖像，并繼續(xù)循環(huán)通過403-407，直到通過檢測到治療儀器已經(jīng)關(guān)閉來判斷治療程序已完成為止。另一方面，如果新的主圖像已經(jīng)獲取，例如，因?yàn)橹鲌D像是手術(shù)中圖像，則該方法在跳回步驟403之前，在步驟408更新主圖像，以更新輔助圖像，并繼續(xù)循環(huán)通過403-408，直到通過檢測到治療儀器已經(jīng)關(guān)閉來判斷治療程序已經(jīng)完成為止。圖8作為示例圖解說明了一種方法的流程圖，該方法用于在限定為放大鏡的鏡頭區(qū)域的窗內(nèi)，以用戶指定的放大倍率將解剖結(jié)構(gòu)的輔助圖像顯示為解剖結(jié)構(gòu)的主圖像的對準(zhǔn)覆蓋圖，顯示在顯示屏104上的輔助圖像的位置和方位可以由用戶利用關(guān)聯(lián)的定位設(shè)備操縱。在801，該方法通過關(guān)聯(lián)放大鏡和定位設(shè)備而開始，以使定位設(shè)備移動，顯示在顯示屏104上的放大鏡(特別地，其鏡頭可以被視為窗)以相應(yīng)的方式移動。在這種情況下可以通過使用定位設(shè)備或者通過使放大鏡有效地放大定位設(shè)備的光標(biāo)，以傳統(tǒng)方式“抓取”放大鏡來完成關(guān)聯(lián)。由于顯示屏104優(yōu)選為三維顯示器，因此定位設(shè)備相應(yīng)地優(yōu)選為具有方位指示能力的三維定位設(shè)備。在802中，當(dāng)前主圖像和輔助圖像可用于處理。在這個示例中主圖像由內(nèi)窺鏡140獲取，而輔助圖像通過LUS探測器150獲取。但是，主圖像和輔助圖像的其他源也可以在實(shí)踐本發(fā)明的時候使用和考慮，包括從相同源獲取的主圖像和輔助圖像。作為最后一種情況的示例，一種高分辨率照相機(jī)可以獲取分辨率高于用來在顯示屏上顯示圖像的分辨率的圖像。在這種情況下，由照相機(jī)獲取的高分辨率圖像可以作為輔助圖像處理，而顯示在顯示屏上的縮小的圖像可以作為主圖像處理。在803中，用戶可選擇的放大因數(shù)被讀取。放大因數(shù)是用戶可通過，例如定位設(shè)備上的標(biāo)度盤或輪式類型的控制來選擇的。替代地，用戶可通過顯示在顯示屏104上的菜單中的用戶選項(xiàng)來選擇、或者通過任何其他傳統(tǒng)的用戶可選擇參數(shù)值配置或機(jī)構(gòu)來選擇。如果用戶沒有做出選擇，則·可以使用默認(rèn)值，例如放大因數(shù)為1.0。在804中，主圖·像和輔助圖像被對準(zhǔn)，以便具有相同尺寸，并在同一個參考坐標(biāo)系中參考相同位置和方位，從而使這兩個圖像中相應(yīng)的結(jié)構(gòu)和物體具有相同的坐標(biāo)。在805，主圖像被顯示在顯示屏104上，例如解剖結(jié)構(gòu)的三維視圖，在這種情況下，解剖結(jié)構(gòu)的輔助圖像的二維切片的一部分可以顯示為放大鏡的鏡頭中的覆蓋圖。在這種情況下的二維切片的這一部分由具有中心點(diǎn)——該中心點(diǎn)具有和放大鏡鏡頭的中心點(diǎn)相同的位置和方位——的窗區(qū)域以及由放大因數(shù)確定的區(qū)域來限定，所以二維切片的這一部分可以被放大或縮小，以便適合放大鏡的鏡頭。因?yàn)榉糯箸R的位置和方位可由定位設(shè)備來操縱至顯示屏104的三維空間內(nèi)的任意位置，包括那些在解剖結(jié)構(gòu)體內(nèi)的位置，所以二維切片可以對應(yīng)于任何用戶選擇的在解剖結(jié)構(gòu)內(nèi)的深度。和物理放大鏡不同，其視圖不被限制于僅僅檢查解剖結(jié)構(gòu)的外表。對于805的其他細(xì)節(jié)，請參見下文中參考圖9的描述。在806中，該方法然后確定放大鏡命令是否已經(jīng)通過以下方式被關(guān)閉:例如用戶釋放放大鏡的“抓取”圖像、或者通過某些類型的傳統(tǒng)開關(guān)裝置的使用來斷開放大鏡和定位設(shè)備之間的關(guān)聯(lián)。如果關(guān)聯(lián)已經(jīng)關(guān)閉，則該方法結(jié)束。另一方面，如果沒有關(guān)閉，則該方法跳回802，并繼續(xù)循環(huán)通過802-806，直到放大鏡命令被檢測出已經(jīng)關(guān)閉。應(yīng)該注意，每一次該方法從802-806循環(huán)一遍，主圖像和輔助圖像的更新的版本(如果有的話)，利用用戶可選擇放大因數(shù)(如果有的話)的更新值處理。因此，如果該方法以足夠快的方式通過該循環(huán)，則如果用戶在旋轉(zhuǎn)標(biāo)度盤或手柄來調(diào)節(jié)放大因數(shù)，同時在放大鏡的選定位置和方位觀察解剖結(jié)構(gòu)的時候，用戶將不會發(fā)現(xiàn)任何明顯的延遲。圖9作為示例圖解說明了一種方法的流程圖，該方法用于在用戶可移動放大鏡的鏡頭內(nèi)，以指定的放大因數(shù)，將解剖結(jié)構(gòu)的輔助圖像視圖顯示為解剖結(jié)構(gòu)的主圖像視圖的覆蓋圖。如前面所解釋的，這種方法可以用來執(zhí)行圖8的805。在901中，放大鏡鏡頭的中心點(diǎn)的當(dāng)前位置和方位在顯示屏104的三維空間內(nèi)確定。在902中，輔助圖像的對準(zhǔn)的體模型的二維切片從那個位置和方位的透視圖中獲取，并且該二維切片的一部分按照優(yōu)選具有相同位置和方位的中心點(diǎn)的輔助視圖窗的限定來獲得。根據(jù)放大鏡的當(dāng)前放大因數(shù)，在這種情況下的輔助視圖窗的區(qū)域與鏡頭的區(qū)域成反比。在903中，由輔助視圖窗限定的二維切片的部分被放大因數(shù)放大，以便其適合放大鏡的鏡頭區(qū)域，并且在904中，解剖結(jié)構(gòu)的主圖像被顯示在顯示屏104上，其中輔助圖像的二維切片的放大部分覆蓋在顯示于顯示屏104上的放大鏡的鏡頭區(qū)域上。作為901-904的一個形象化示例，在圖10_11中示出解剖結(jié)構(gòu)的輔助圖像的二維切片1001，并且二維切片的兩個圓形窗1021和1022如圖10所示。在這種情況下，每一個窗1021，1022在形狀上對應(yīng)于放大鏡1120的鏡頭1121的形狀并具有和它相同的中心點(diǎn)，該放大鏡1120的鏡頭1121和解剖結(jié)構(gòu)的外部視圖1101的主圖像一起被顯示在顯示屏104上，如圖11所示。在這個示例中，窗1021的區(qū)域等于鏡頭1121的區(qū)域，所以如果放大因數(shù)為
1.0,那么窗1021可以被選擇用于902。另一方面，窗1022的區(qū)域小于鏡頭1121的區(qū)域,所以如果放大因數(shù)大于1.0，那么窗1022可以被選擇用于902。應(yīng)該注意雖然放大鏡1120的鏡頭1121被描述為圓形的，但它還可以具有其他適合用作放大鏡的普通形狀，例如矩形。圖12作為示例圖解說明了一種方法的流程圖，該方法當(dāng)主輸入設(shè)備處于圖像操縱模式下的時候，響應(yīng)于關(guān)聯(lián)主輸入設(shè)備的相應(yīng)操縱，由醫(yī)用機(jī)器人系統(tǒng)的處理器執(zhí)行，用于操縱顯示在醫(yī)用機(jī)器人 系統(tǒng)的計算機(jī)顯示屏上的圖像目標(biāo)。

作為這種方法的開始，醫(yī)用機(jī)器人系統(tǒng)包括圖像獲取設(shè)備用來獲取圖像(例如內(nèi)窺鏡140或LUS探測器150);固定圖像獲取設(shè)備的機(jī)器人手臂(例如分別固定內(nèi)窺鏡140和LUS探測器150的從動臂123或從動臂124);計算機(jī)顯示屏(例如顯示屏104);適合于由用戶以多個自由度的運(yùn)動操縱的主輸入設(shè)備(例如主輸入設(shè)備107或主輸入設(shè)備108)；以及處理器(例如輔助控制器242)，其被配置成當(dāng)主輸入設(shè)備處于圖像獲取模式時根據(jù)主輸入設(shè)備的用戶操縱來控制圖像獲取設(shè)備的運(yùn)動，并且當(dāng)主輸入設(shè)備處于圖像操縱模式時根據(jù)主輸入設(shè)備的用戶操縱來控制從所獲取的圖像中得到的圖像在計算機(jī)顯示屏上的顯
/Jn ο在1201中，處理器檢測到用戶已經(jīng)將主輸入設(shè)備設(shè)置成圖像操縱模式。實(shí)現(xiàn)這一目的的一種方式是利用提供在醫(yī)用機(jī)器人系統(tǒng)中的主離合機(jī)構(gòu)，該主離合機(jī)構(gòu)支持將主輸入設(shè)備從其關(guān)聯(lián)的機(jī)器人手臂脫離，從而主輸入設(shè)備可以被替換。當(dāng)這個模式通過某些機(jī)構(gòu)被激活的時候，例如用戶按壓主輸入設(shè)備上的按鈕，按下踏板，或者利用聲音激活，所關(guān)聯(lián)的機(jī)器人手臂被鎖定在適當(dāng)位置，并且光標(biāo)(象征性地為手的圖標(biāo)化表示，例如f )在計算機(jī)顯示屏上呈現(xiàn)給用戶。當(dāng)用戶離開這種模式的時候，光標(biāo)被隱藏，并且如果需要的話，機(jī)器人手臂的控制可以在重新調(diào)整其位置之后恢復(fù)。在1202中，處理器確定控制輸入(例如通過按壓常規(guī)鼠標(biāo)的按鈕而產(chǎn)生的)是否已經(jīng)被用戶激活。在這種情況下控制輸入可以通過按壓主輸入設(shè)備上提供的按鈕來激活，或者它可以通過其他方式來激活，例如擠壓主輸入設(shè)備上提供的夾具(gripper)或鉗子(Pincher)結(jié)構(gòu)。關(guān)于離合的其他細(xì)節(jié)，主輸入設(shè)備上的夾具或鉗子結(jié)構(gòu)，參見例如共同擁有的題為“合作微創(chuàng)遠(yuǎn)程外科手術(shù)系統(tǒng)(Cooperative Minimally Invasive TelesurgicalSystem) ”的第6，659，939號美國專利，該專利通過參考并入本文。如果在1202控制輸入沒有被確定為“打開(on)” (即激活或)，則處理器等待，直到其接收到“打開”指示或者退出圖像操縱模式。在1203，在接收控制輸入處于“on”的指示之后，處理器進(jìn)行檢查以觀察光標(biāo)是否處于顯示在計算機(jī)顯示屏上的物體上(或者在預(yù)定距離內(nèi))。如果沒有處于“on”，則在1204，處理器引起用戶可選擇的項(xiàng)目或活動的菜單顯示在計算機(jī)顯示屏上，并且在1205，處理器接收用戶所做出的菜單選擇并對該選擇進(jìn)行反應(yīng)。用戶可選擇菜單項(xiàng)目的示例包括:放大鏡，剖面，擦除器，以及圖像對準(zhǔn)。如果用戶選擇了放大鏡項(xiàng)目，則放大鏡的圖像被顯示在計算機(jī)顯示屏上，并且參考圖8所描述的方法由處理器來執(zhí)行。當(dāng)用戶完成放大鏡功能時，則用戶可以任何常規(guī)方式來指示退出該功能，并且該處理器返回1202。如果用戶選擇了剖面選項(xiàng)，則在計算機(jī)顯示屏上顯示一個平面(或者顯示固定尺寸的或用戶可調(diào)節(jié)尺寸的矩形窗)。主輸入設(shè)備然后可以和這個平面關(guān)聯(lián)，以便用戶可以以定位設(shè)備的方式通過操縱主輸入設(shè)備，將該平面定位和定向在計算機(jī)顯示屏的三維空間內(nèi)。如果該平面被操縱和移動以便和解剖結(jié)構(gòu)的體繪制相交，則其用作限定在交叉處的體繪制的二維切片的剖面。替代地，主輸入設(shè)備可以和解剖結(jié)構(gòu)的體繪制相關(guān)聯(lián)，然后可以被操縱和移動，進(jìn)而和所顯示的平面相交來限定剖面。平面或體繪制與定位設(shè)備的關(guān)聯(lián)可以參考圖8的801的放大鏡所描述的基本相同的方式執(zhí)行。二維切片然后也可以在自己的平面內(nèi)被觀察到，或者在計算機(jī)顯示屏上的一個獨(dú)立窗(例如畫中畫)中被觀察。用戶可以進(jìn)一步選擇剖面項(xiàng)目的額外時間來限定體繪制的附加的二維切片，用于同時在計算機(jī)顯示屏上的各個平面或畫中畫窗內(nèi)觀察。為了不會使得計算機(jī)顯示屏和不需要的·剖面切片之間產(chǎn)生混亂，提供了常規(guī)的刪除功能，以便用戶可以可選擇性地刪除任何剖面或它們的相應(yīng)切片。當(dāng)完成剖面功能時，用戶可以然后以任意常規(guī)方式指示退出該功能，并且處理器返同1202。如果用戶選擇擦除器項(xiàng)目，則在計算機(jī)顯示屏上顯示擦除器。主輸入設(shè)備則和該擦除器相關(guān)聯(lián)，以便用戶可以通過以定位設(shè)備的方式操縱主輸入設(shè)備，以在計算機(jī)顯示屏的三維空間內(nèi)定位和定向該擦除器。在這種情況下定位設(shè)備和擦除器的關(guān)聯(lián)可以利用和上文參考圖8的801的放大鏡所描述的基本相同的方式來進(jìn)行。如果擦除器被操縱和移動以至于和解剖結(jié)構(gòu)的體繪制相交，則當(dāng)擦除器經(jīng)過體繪制時，其用來完全或者部份地擦除這種繪制。如果用戶選擇部分擦除(或者預(yù)先編程在處理器中)，則每當(dāng)該擦除器穿過體繪制，則解剖結(jié)構(gòu)的更少的細(xì)節(jié)被顯示。在這種情況下更少的細(xì)節(jié)指得是繪制的粗糙度/精細(xì)度，或者可以指三維體繪制中的各層次的剝離。擦除的所有這些特性或選項(xiàng)均可以利用常規(guī)方式選擇。如果用戶不注意地擦除了體繪制的一部分，常規(guī)的撤消特征被提供以允許用戶撤消該擦除。當(dāng)用戶完成擦除功能之后，則用戶可以以任意常規(guī)方式指示退出該功能，并且處理器返回1202。
除了上面描述的擦除功能，其他空間局部修改功能也可以考慮并被視為落入本發(fā)明的完整范圍，包括選擇性地銳化，增亮，或者將顯示的圖像的一部分加彩色以增強(qiáng)或加亮其在選定區(qū)域的可視性。每一個這種空間局部修改功能可以利用上文中參考擦除器功能所描述的基本相同的方法來執(zhí)行。如果用戶選擇圖像對準(zhǔn)項(xiàng)目，則處理器在再次跳回程序1202之前如下文中參考1212所描述的那樣記錄這種選擇用于未來的活動/動作。在這種情況下，圖像對準(zhǔn)一般包括手動對準(zhǔn)物體(例如解剖結(jié)構(gòu))的輔助圖像和該物體的相應(yīng)的主圖像。上面描述的菜單方法的一種替代是，當(dāng)進(jìn)入圖像操縱模式時分別指示如上所描述的每一個可選擇項(xiàng)目的圖標(biāo)被顯示在計算機(jī)顯示屏上，并通過用戶點(diǎn)擊它們而被選擇，在這之后，處理器繼續(xù)按照參考它們相應(yīng)的菜單項(xiàng)目的選擇所描述的那樣執(zhí)行?，F(xiàn)在繼續(xù)參考圖12所描述的方法，當(dāng)在1201中接收到控制輸入處于on的指示之后，并且在1202中判定光標(biāo)被定位在顯示于計算機(jī)顯示屏上的物體上或其周圍(不是圖標(biāo))之后，處理器優(yōu)選將光標(biāo)從手的圖標(biāo)化表示轉(zhuǎn)換成，例如，正在抓握的手來指示物體已經(jīng)被“抓取”，并且已經(jīng)準(zhǔn)備通過主輸入設(shè)備的用戶操縱來移動或“拖曳”至在計算機(jī)顯示屏的三維空間的另一個位置和/或方位。在1206，處理器判定用戶是否已經(jīng)指示選定物體的顯示參數(shù)將要被調(diào)整，如果用戶已經(jīng)指示，則在1207，處理器執(zhí)行顯示器調(diào)整。作為示例，主輸入設(shè)備上的標(biāo)度盤可以被用戶轉(zhuǎn)動來指示對顯示參數(shù)的顯示調(diào)整，該顯示參數(shù)關(guān)聯(lián)于根據(jù)選定物體上的標(biāo)度盤的旋轉(zhuǎn)量將要被調(diào)整的標(biāo)度盤。替代性地，如果主輸入設(shè)備裝備有夾具，則該夾具可以被旋轉(zhuǎn)，以便用作標(biāo)度盤。可以這種方式調(diào)整的顯示參數(shù)的示例包括:顯示在計算機(jī)顯示屏上的選定物體的亮度、對比度、色彩和細(xì)節(jié)級別(例如網(wǎng)格粗糙度/精細(xì)度，或者體元或三維象素的大小和/或不透明度)。然后處理器繼續(xù)進(jìn)行至1208，以在1203得到肯定的判定之后判定該光標(biāo)是否已在“抓取”所述選定物體之后移動。如果還沒有移動，則處理器跳回1202，因?yàn)橛脩舸藭r可能僅希望調(diào)整選定物體的顯示參數(shù)。另一方面，如果光標(biāo)在“抓取”該選定物體之后已經(jīng)移動，則在1209，處理器移動選定物體至新的光標(biāo)位置。因?yàn)楣鈽?biāo)操作在計算機(jī)顯示屏的三維空間，當(dāng)它“進(jìn)入”顯示屏?xí)r，它可以通過例如逐漸減小尺寸來指示這種移動。當(dāng)計算機(jī)顯示屏的三維性質(zhì)通過使用該物體的右二維視圖和左二維視圖而實(shí)現(xiàn)的時候，這兩個視圖之間的交叉點(diǎn)的差異就表示深度值，在右視圖和左視圖中光標(biāo)圖像的深度值的降低可以指示該光標(biāo)“進(jìn)入”顯示屏?？蛇x擇地，在1210，觸覺反饋可以被提供返回主輸入設(shè)備，以便在1209中用戶在“被抓取”的物體移動時可以感測到反饋力。作為示例，通過將物體的虛擬質(zhì)量和慣性與物體關(guān)聯(lián)起來，用戶和物體的相互作用可以觸覺地反饋至用戶，以便用戶感受當(dāng)和物體接觸或者當(dāng)物體被加速或減速時平移和旋轉(zhuǎn)物體的反饋力。在1210中執(zhí)行的這種觸覺反饋僅僅對于某些類型的物體可以實(shí)現(xiàn)，對于其他的物體不能實(shí)現(xiàn)，或者它僅僅在某些環(huán)境下有用。這種觸覺反饋的使用還可以被施加到放大鏡和/或如上所述用于限定剖面的平面的移動。但是，在這種情況下，觸覺反饋可以被限制為僅在放大鏡或平面進(jìn)入感興趣的解剖結(jié)構(gòu)內(nèi)之后出現(xiàn)。

在1211，處理器判定控制輸入是否仍處于“on”狀態(tài)。如果控制仍然處于“on”，則處理器跳回1208，以跟蹤和響應(yīng)光標(biāo)運(yùn)動。另一方面，如果控制已經(jīng)關(guān)閉，例如通過用戶釋放最初被按壓以指示控制“打開”的按鈕，則在1212中處理器執(zhí)行選定的菜單活動。例如，如果響應(yīng)于處理器在1204顯示菜單(或者替代性地，用戶點(diǎn)擊指示該項(xiàng)的圖標(biāo))，圖像對準(zhǔn)項(xiàng)目已經(jīng)被用戶選定，則已經(jīng)移動的物體和現(xiàn)在排成一列的并且此時正顯示在計算機(jī)顯示屏上的該物體的另一圖像相對準(zhǔn)，以便它們在共同坐標(biāo)系(例如計算機(jī)顯示屏的坐標(biāo)系)內(nèi)，具有相同的坐標(biāo)和方位值。這一特征有助于，例如，解剖結(jié)構(gòu)的輔助圖像(例如利用LUS探測器150獲得的)與解剖結(jié)構(gòu)的主圖像(例如利用內(nèi)窺鏡140獲得的)的手動對準(zhǔn)。在初始對準(zhǔn)之后，主圖像中的對應(yīng)物體的位置和/方位的變化可以被鏡像，以便引起輔助圖像內(nèi)的選定物體的相應(yīng)變化，從而保持它相對于主圖像的相對位置/方位。當(dāng)用戶完成圖像對準(zhǔn)功能時，處理器返回1202。雖然本發(fā)明的各個方面已經(jīng)參考優(yōu)選實(shí)施例進(jìn)行描述，但應(yīng)該理解的是本發(fā)明有權(quán)利在所附權(quán)利要求的完整范圍內(nèi)進(jìn)行 完整保護(hù)。
權(quán)利要求
1.一種用于在計算機(jī)顯示屏上將解剖結(jié)構(gòu)的輔助圖像的選定部分顯示為所述解剖結(jié)構(gòu)的主圖像的覆蓋圖的方法，所述方法包括 將可移動窗與定位設(shè)備相關(guān)聯(lián)，以便使得所述可移動窗可以利用所述定位設(shè)備安置在所述計算機(jī)顯示屏上； 將解剖結(jié)構(gòu)的輔助圖像與所述解剖結(jié)構(gòu)的主圖像對準(zhǔn)，以便使它們在共同坐標(biāo)系中處于相同的位置和方位；以及 在所述計算機(jī)顯示屏上顯示所述主圖像，并且將對應(yīng)于與所述可移動窗相同顯示屏坐標(biāo)的對準(zhǔn)的輔助圖像的一部分在所述可移動窗中顯示為主圖像的覆蓋圖。
2.根據(jù)權(quán)利要求I所述的方法，其中所述主圖像是在利用醫(yī)用機(jī)器人系統(tǒng)執(zhí)行微創(chuàng)外科手術(shù)程序期間由圖像獲取設(shè)備來獲取的，并且所述圖像獲取設(shè)備可以在執(zhí)行所述醫(yī)療程序的同時利用醫(yī)用機(jī)器人系統(tǒng)自動地操縱。
3.根據(jù)權(quán)利要求I所述的方法，其中所述可移動窗在所述顯示屏上顯示為圓形鏡頭。
4.根據(jù)權(quán)利要求I所述的方法，其中所述可移動窗在所述顯示屏上顯示為矩形鏡頭。
5.根據(jù)權(quán)利要求I所述的方法，其中所述主圖像是所述解剖結(jié)構(gòu)的三維圖像，并且所述計算機(jī)顯示屏是三維計算機(jī)顯示屏。
6.根據(jù)權(quán)利要求I所述的方法，其中對應(yīng)于和所述可移動窗相同顯示屏坐標(biāo)的所述對準(zhǔn)的輔助圖像的完整部分在所述可移動窗中顯示為所述主圖像的覆蓋圖。
7.根據(jù)權(quán)利要求I所述的方法，其中對應(yīng)于和所述可移動窗相同顯示屏坐標(biāo)的所述對準(zhǔn)的輔助圖像的所述部分被擴(kuò)大，以便適合所述可移動窗，并在所述可移動窗中被顯示為所述主圖像的覆蓋圖，從而顯示為所述輔助圖像的放大視圖。
8.根據(jù)權(quán)利要求7所述的方法，進(jìn)一步包括 接收由觀察所述計算機(jī)顯示屏的用戶所選擇的放大因數(shù)；以及施加所述放大因數(shù)，以確定所述對準(zhǔn)的輔助圖像部分，使所述對準(zhǔn)的輔助圖像部分適合所述可移動窗并在所述可移動窗中被顯示為所述主圖像的覆蓋圖。
9.根據(jù)權(quán)利要求I所述的方法，其中所述主圖像和輔助圖像是所述解剖結(jié)構(gòu)的三維圖像，并且所述計算機(jī)顯示屏是三維計算機(jī)顯示屏。
10.根據(jù)權(quán)利要求I所述的方法，其中所述可移動窗與所述輔助圖像的用戶可選擇的深度相關(guān)聯(lián)，以便對應(yīng)于由用戶選擇的深度的所述輔助圖像的二維切片在所述可移動窗中被顯示為所述主圖像的覆蓋圖。
11.根據(jù)權(quán)利要求I所述的方法，其中所述主圖像是通過磁共振成象生成的手術(shù)前圖像。
12.根據(jù)權(quán)利要求I所述的方法，其中所述主圖像是通過計算機(jī)化軸向X線斷層攝影術(shù)生成的手術(shù)前圖像。
13.根據(jù)權(quán)利要求I所述的方法，其中所述主圖像是通過照相機(jī)單元獲取的手術(shù)中圖像。
14.根據(jù)權(quán)利要求13所述的方法，其中所述照相機(jī)單元被包括在內(nèi)窺鏡內(nèi)。
15.根據(jù)權(quán)利要求13所述的方法，其中所述輔助圖像是手術(shù)前獲取的圖像。
16.根據(jù)權(quán)利要求15所述的方法，其中所述手術(shù)前獲取的圖像是通過磁共振成象生成的。
17.根據(jù)權(quán)利要求15所述的方法，其中所述手術(shù)前獲取的圖像是通過計算機(jī)化軸向X線斷層攝影術(shù)生成的。
18.根據(jù)權(quán)利要求15所述的方法，其中所述手術(shù)前獲取的圖像是通過超聲波生成的。
19.根據(jù)權(quán)利要求13所述的方法，其中所述輔助圖像是手術(shù)中獲取的圖像。
20.根據(jù)權(quán)利要求19所述的方法，其中所述手術(shù)中獲取的圖像是通過超聲波生成的。
21.根據(jù)權(quán)利要求19所述的方法，其中所述手術(shù)中獲取的圖像是通過第二照相機(jī)單元生成的。
全文摘要
為了幫助外科醫(yī)生進(jìn)行醫(yī)療程序，一般表示正被治療的解剖結(jié)構(gòu)的內(nèi)部細(xì)節(jié)的輔助圖像被顯示在計算機(jī)顯示屏上，并由外科醫(yī)生操縱來補(bǔ)充一般只是解剖結(jié)構(gòu)的外視圖的主圖像。在第一模式控制機(jī)器人手臂的主輸入設(shè)備可以由外科醫(yī)生轉(zhuǎn)換至第二模式，以便替換用作類似鼠標(biāo)的定位設(shè)備，用以幫助該外科醫(yī)生進(jìn)行這種輔助信息的顯示和操縱。
文檔編號A61B19/00GK103251455SQ20131005267
公開日2013年8月21日 申請日期2006年10月19日 優(yōu)先權(quán)日2005年10月20日
發(fā)明者B·霍夫曼, R·庫馬, D·拉金, G·普林斯科, N·斯瓦厄普, G·張 申請人:直觀外科手術(shù)操作公司