本發(fā)明涉及腹部外科手術(shù)，具體涉及一種腹部外科精準手術(shù)引導(dǎo)系統(tǒng)及方法。

背景技術(shù)：

腹部外科手術(shù)，特別是針對肝膽胰的腹部外科手術(shù)多年來已經(jīng)取得了極大的發(fā)展，從早期的開腹手術(shù)發(fā)展到了腹腔鏡手術(shù)以及最新的達芬奇機器人手術(shù)。然而，即使是最新的達芬奇機器人手術(shù)，也僅僅是在腹腔鏡手術(shù)上做了視野、手術(shù)微量運動等精確控制方面的提升，這類改進的優(yōu)越性充分體現(xiàn)在以下幾個方面：利用電子信息的特點，可以實現(xiàn)遠程控制和遠程操作；利用機械手臂來執(zhí)行人手的操作可以避免術(shù)者手部顫動帶來的負面影響；利用雙視野攝像鏡頭擴大了術(shù)者視野，實現(xiàn)了初步的裸眼三維顯示，使之更逼近開腹手術(shù)的視野。

以上提升雖然極大地提高了術(shù)者實施微小動作的精確性和穩(wěn)定性，但是并沒有徹底地改變外科醫(yī)生手術(shù)的基本現(xiàn)狀：術(shù)者能看到的病患器官仍然僅僅是器官體表，無法利用斷層掃描影像來準確定位器官內(nèi)部的各類關(guān)鍵組織以及器官內(nèi)部的病灶點。由此，并沒有從實質(zhì)上對術(shù)者的手術(shù)提升根本的改變。如何利用病患的斷層掃描數(shù)據(jù)，使術(shù)者在手術(shù)過程中能夠精確定位病灶點，有效避開血管等關(guān)鍵管道，是一項亟待解決的問題。

為解決以上問題，專利201710064456.8公開了一種腹部外科精準手術(shù)系統(tǒng)及方法，公開了用經(jīng)由ct、mri斷層影像重建得到的三維模型影像與腹腔鏡影像疊加的腹部外科精準手術(shù)系統(tǒng)及方法。在該技術(shù)方案中，以腔鏡腹部器官影像表面關(guān)鍵點與三維模型影像表面關(guān)鍵點作為兩種影像鎖定的基本參考點，只要兩種影像的關(guān)鍵點鎖定，即可使模型影像與腔鏡影像同步旋轉(zhuǎn)移動，達到術(shù)中精確定位的目的。在實際操作中，通常在肝臟的邊緣選擇關(guān)鍵點，由于肝臟屬于柔性器官，術(shù)中由于操作的原因，在肝臟邊緣組織不可避免地會出現(xiàn)相對于肝臟其他部位的相對位置移動，導(dǎo)致術(shù)中器官腔鏡影像與實體模型影像不一致而產(chǎn)生兩種影像難以鎖定的情況，只有在肝臟器官不出現(xiàn)柔性變形的條件下才能有效鎖定兩種影像。這在較大程度上限制了術(shù)中精確定位的實現(xiàn)。

技術(shù)實現(xiàn)要素：

為解決以上問題，本發(fā)明公開了一種腹部外科精準手術(shù)引導(dǎo)系統(tǒng)及方法。

本發(fā)明的技術(shù)方案是：一種腹部外科精準手術(shù)引導(dǎo)系統(tǒng)及方法，包含微型3d影像采集和實時生成模塊、術(shù)中精準引導(dǎo)系統(tǒng)處理計算機、全高清彩色顯示器、由ct、mri等斷層掃描影像經(jīng)三維重建得到的病患腹部器官3d實體模型、3d影像關(guān)鍵特征點與3d實體模型影像關(guān)鍵特征點識別、鎖定和跟蹤的方法，其特征在于，所述微型3d影像采集和實時生成模塊的輸出端與術(shù)中精準引導(dǎo)系統(tǒng)處理計算機的輸入端相連接，全高清彩色顯示器的輸入端與術(shù)中精準引導(dǎo)系統(tǒng)處理計算機的輸出端相連結(jié)，由ct、mri等斷層掃描影像經(jīng)三維重建得到的病患腹部器官3d實體模型存儲于術(shù)中精準引導(dǎo)系統(tǒng)處理計算機的大容量外部存儲器中。

本發(fā)明所述的一種腹部外科精準手術(shù)引導(dǎo)系統(tǒng)及方法，其特征在于，所述微型3d影像采集和實時生成模塊包含近紅外攝像頭、全高清彩色攝像頭、近紅外激光投影儀、高速低功耗視覺處理單元；近紅外攝像頭的輸出端與高速低功耗視覺處理單元的輸入端相連接，全高清彩色攝像頭的輸出端與高速低功耗視覺處理單元的輸入端相連接，近紅外激光投影儀的控制端與高速低功耗視覺處理單元的輸出控制端相連結(jié)，近紅外攝像頭、全高清彩色攝像頭、近紅外激光投影儀、高速低功耗視覺處理單元焊接安裝于同一塊電路板上。

本發(fā)明所述的一種腹部外科精準手術(shù)引導(dǎo)系統(tǒng)及方法，其特征在于，所述微型3d影像采集和實時生成模塊的近紅外攝像頭的響應(yīng)波長范圍為700-1000nm。

本發(fā)明所述的一種腹部外科精準手術(shù)引導(dǎo)系統(tǒng)及方法，其特征在于，所述微型3d影像采集和實時生成模塊的近紅外激光投影儀的波長范圍為700-980nm。

本發(fā)明所述的一種腹部外科精準手術(shù)引導(dǎo)系統(tǒng)及方法，其特征在于：依據(jù)以下步驟實現(xiàn)3d影像關(guān)鍵特征點與3d實體模型影像關(guān)鍵特征點識別、鎖定和跟蹤：

步驟1腹部手術(shù)過程中，在門靜脈處注射吲哚箐綠，注射之后，用3d影像采集和實時生成模塊采集門靜脈及周圍組織的近紅外3d熒光影像；

步驟2將采集得到的近紅外3d熒光影像導(dǎo)入術(shù)中精準引導(dǎo)系統(tǒng)處理計算機；

步驟3在全高清彩色顯示器上選取由步驟2得到的門靜脈近紅外3d熒光影像上至少3個關(guān)鍵點（i=1,2,3）作為門靜脈3d熒光影像上的關(guān)鍵標識點xi,yi,zi；

步驟4存儲門靜脈近紅外3d熒光影像關(guān)鍵標點的xi,yi,,zi坐標；

步驟5將由ct、mri等斷層掃描影像經(jīng)三維重建得到的病患腹部器官3d實體模型導(dǎo)入術(shù)中精準引導(dǎo)系統(tǒng)處理計算機并將3d實體模型影像顯示于高清彩色顯示器上；

步驟6在經(jīng)三維重建得到的病患腹部器官3d實體模型影像上選取與步驟3選取部位相同的門靜脈上的至少3個點作為3d實體模型影像的關(guān)鍵標識點；

步驟7存儲3d實體模型影像門靜脈表面上至少3個關(guān)鍵點(i=1,2,3)的xi，yi，zi坐標，關(guān)閉顯示的3d實體模型影像；

步驟8設(shè)定判據(jù)閾值fz；

步驟9計算x-x,y-y,z-z的差值，并根據(jù)x-x,y-y,z-z的差值修改3d實體模型顯示關(guān)鍵點的坐標，使關(guān)鍵點坐標與熒光影像關(guān)鍵點坐標重合，存儲關(guān)鍵點的坐標；

步驟10以步驟9得到的關(guān)鍵點坐標作為3d實體模型關(guān)鍵點坐標重新裝入實體模型；

步驟11計算并判斷關(guān)鍵點i的xi-xi<fz，yi-yi<fz，zi-zi<fz比較各向量差值是否小于設(shè)定閾值；

步驟12若3d實體模型影像標識表面上關(guān)鍵點與3d熒光影像標識面上關(guān)鍵點的在各個方向上的差值大于預(yù)設(shè)的閾值，表明視點和顯示比例不一致，鎖定不成功，轉(zhuǎn)步驟9，調(diào)整3d實體影像的顯示視點和顯示比例；

步驟13若3d實體模型影像標識表面上關(guān)鍵點與3d熒光影像標識面上關(guān)鍵點的在各個方向上的差值小于預(yù)設(shè)的閾值，表明視點和顯示比例一致，鎖定成功，將鎖定的3d實體模型影像與全高清影像疊加顯示于術(shù)中精準引導(dǎo)系統(tǒng)處理計算機的全高清彩色顯示

與現(xiàn)有技術(shù)相比，采用本發(fā)明，可實現(xiàn)增強現(xiàn)實虛擬環(huán)境下腹部器官內(nèi)部各類影像的實時顯示，引導(dǎo)外科醫(yī)生實施精準手術(shù)。通過本發(fā)明，可以有效降低出血、縮短手術(shù)時間，最大限度地保留殘存器官。

附圖說明

圖1為本發(fā)明的一種腹部外科精準手術(shù)引導(dǎo)系統(tǒng)的原理框圖。

圖2為本發(fā)明的微型3d影像采集和實時生成模塊功能原理框圖。

圖3a至圖3c為本發(fā)明3d影像關(guān)鍵特征點與3d實體模型影像關(guān)鍵特征點識別、鎖定和跟蹤方法的步驟圖。

具體實施方式

如圖1所示，本發(fā)明的一種腹部外科精準手術(shù)引導(dǎo)系統(tǒng)及方法包含微型3d影像采集和實時生成模塊1、術(shù)中精準引導(dǎo)系統(tǒng)處理計算機2、由ct、mri等斷層掃描影像經(jīng)三維重建得到的病患腹部器官3d實體模型3、全高清彩色顯示器4。

如圖2所示，3d影像采集和實時生成模塊1包含近紅外攝像頭11、全高清彩色攝像頭12、近紅外激光投影儀13、高速低功耗視覺處理單元14，模塊主電路板15。

在本實施例中，微型3d影像采集和實時生成模塊1為intel公司的realsense3d攝像模塊sr300；術(shù)中精準引導(dǎo)系統(tǒng)處理計算機2為華碩筆記本計算機n550jv；由ct、mri等斷層掃描影像經(jīng)三維重建得到的病患腹部器官3d實體模型3為經(jīng)mimics16軟件生成的腹部主要器官（肝、膽、胰、門靜脈、肝臟下腔靜脈、膽總管）模型;全高清彩色顯示器4為47英寸led高清彩色顯示器。

微型3d影像采集和實時生成模塊1的輸出端與術(shù)中精準引導(dǎo)系統(tǒng)處理計算機2的輸入端相連接，全高清彩色顯示器4的輸入端與術(shù)中精準引導(dǎo)系統(tǒng)處理計算機的輸出端相連結(jié)，由ct、mri等斷層掃描影像經(jīng)三維重建得到的病患腹部器官3d實體模型存儲于術(shù)中精準引導(dǎo)系統(tǒng)處理計算機的大容量外部存儲器中。

在腹部外科手術(shù)過程中，微型3d影像采集和實時生成模塊1的近紅外激光投影儀13在高速低功耗視覺處理單元14的控制下向腹部器官表面照射近紅外激光光柵條紋，該激光光柵條紋在腹部器官表面形成包含了表面深度信息的紅外光柵條紋影像，3d影像采集和實時生成模塊1的紅外攝像頭11實時采集該紅外光柵條紋影像，3d影像采集和實時生成模塊1的高速低功耗視覺處理單元14根據(jù)公知的單目光柵條紋影像深度算法求出該影像各個坐標點的深度信息，得到包含了腹部器官表面深度信息的紅外影像。這些影像數(shù)據(jù)流以每秒30—200幀的速率經(jīng)過usb3.0接口傳送到術(shù)中精準引導(dǎo)系統(tǒng)處理計算機2中。

微型3d影像采集和實時生成模塊1的近紅外激光投影儀13在高速低功耗視覺處理單元14的控制下不僅可以生成條紋光柵，還可以生成激光掃描面光源對腹部器官表面進行照射，以生成腹部器官表面的紅外影像。

在腹部手術(shù)過程中，向肝臟門靜脈注射吲哚青綠并在波長700—950納米的近紅外激光光源的照射下，將激發(fā)門靜脈發(fā)出波長720—1000納米的紅外熒光，該紅外熒光在人體組織中的穿透力小于10毫米，在肝臟邊緣外部的門靜脈處可以得到高對比度的門靜脈熒光影像。由于門靜脈位于肝臟組織較厚的區(qū)域，相對于柔性的肝臟器官的邊緣而言是一個很少發(fā)生柔性位移變化的區(qū)域，在該區(qū)域選取門靜脈影像關(guān)鍵點可以得到清晰穩(wěn)定相對位移變化小的參考點。另一方面，通過靜脈造影技術(shù)，可以獲得高對比度的ct、mri門靜脈影像，近紅外激光激發(fā)的門靜脈的紅外熒光影像與經(jīng)由ct、mri重建技術(shù)得到的門靜脈影像具有良好的一致性，大幅度提高了兩種影像鎖定和同步跟蹤的成功率，有效解決了利用肝臟邊緣鎖定兩種影像鎖定成功率低的問題。

微型3d影像采集和實時生成模塊1在生成近紅外影像數(shù)據(jù)流的同時，還可以通過微型3d影像采集和實時生成模塊1的全高清彩色攝像頭12采集得到與近紅外影像具有相同視點的（1920x1080）高清晰彩色影像數(shù)據(jù)流，該高清彩色影像數(shù)據(jù)流經(jīng)usb3.0接口傳輸?shù)叫g(shù)中精準引導(dǎo)系統(tǒng)處理計算機2中。

如圖3a至圖3c所示，腹部外科手術(shù)中，門靜脈紅外熒光影像與經(jīng)由ct、mri影像得到的門靜脈三維實體模型影像通過本發(fā)明公開的以下方法進行鎖定后即可實現(xiàn)兩種影像的同步鎖定和跟蹤。

步驟1腹部手術(shù)過程中，在門靜脈處注射吲哚箐綠，注射之后，用3d影像采集和實時生成模塊采集門靜脈及周圍組織的近紅外3d熒光影像；

步驟2將采集得到的近紅外3d熒光影像導(dǎo)入術(shù)中精準引導(dǎo)系統(tǒng)處理計算機；

步驟3在全高清彩色顯示器上選取由步驟2得到的門靜脈近紅外3d熒光影像上至少3個關(guān)鍵點（i=1,2,3）作為門靜脈3d熒光影像上的關(guān)鍵標識點xi,yi,zi；

步驟4存儲門靜脈近紅外3d熒光影像關(guān)鍵標點的xi,yi,,zi坐標；

步驟5將由ct、mri等斷層掃描影像經(jīng)三維重建得到的病患腹部器官3d實體模型導(dǎo)入術(shù)中精準引導(dǎo)系統(tǒng)處理計算機并將3d實體模型影像顯示于高清彩色顯示器上；

步驟6在經(jīng)三維重建得到的病患腹部器官3d實體模型影像上選取與步驟3選取部位相同的門靜脈上的至少3個點作為3d實體模型影像的關(guān)鍵標識點；

步驟7存儲3d實體模型影像門靜脈表面上至少3個關(guān)鍵點(i=1,2,3)的xi，yi，zi坐標，關(guān)閉顯示的3d實體模型影像；

步驟8設(shè)定判據(jù)閾值fz；

步驟9計算x-x,y-y,z-z的差值，并根據(jù)x-x,y-y,z-z的差值修改3d實體模型顯示關(guān)鍵點的坐標，使關(guān)鍵點坐標與熒光影像關(guān)鍵點坐標重合，存儲關(guān)鍵點的坐標；

步驟10以步驟9得到的關(guān)鍵點坐標作為3d實體模型關(guān)鍵點坐標重新裝入實體模型；

步驟11計算并判斷關(guān)鍵點i的xi-xi<fz，yi-yi<fz，zi-zi<fz比較各向量差值是否小于設(shè)定閾值；

步驟12若3d實體模型影像標識表面上關(guān)鍵點與3d熒光影像標識面上關(guān)鍵點的在各個方向上的差值大于預(yù)設(shè)的閾值，表明視點和顯示比例不一致，鎖定不成功，轉(zhuǎn)步驟9，調(diào)整3d實體影像的顯示視點和顯示比例；

步驟13若3d實體模型影像標識表面上關(guān)鍵點與3d熒光影像標識面上關(guān)鍵點的在各個方向上的差值小于預(yù)設(shè)的閾值，表明視點和顯示比例一致，鎖定成功，將鎖定的3d實體模型影像與全高清影像疊加顯示于術(shù)中精準引導(dǎo)系統(tǒng)處理計算機的全高清彩色顯示。

本發(fā)明的一種腹部外科精準手術(shù)引導(dǎo)系統(tǒng)及方法所述術(shù)中精準引導(dǎo)系統(tǒng)處理計算機、全高清彩色顯示器、由ct、mri等斷層掃描影像經(jīng)三維重建得到的病患腹部器官3d實體模型的方法均為現(xiàn)有公知技術(shù)，不再贅述。