本發(fā)明涉及機(jī)器人輔助手術(shù)場(chǎng)景渲染領(lǐng)域，更具體地，涉及一種基于3d超聲成像渲染的心臟介入手術(shù)場(chǎng)景重建方法。

背景技術(shù)：

1、心臟介入手術(shù)是一種新型診斷與治療心血管疾病的技術(shù)，經(jīng)過(guò)穿刺體表血管，送入心臟介入導(dǎo)管，通過(guò)特定的心臟介入導(dǎo)管操作技術(shù)對(duì)心臟病進(jìn)行確診和治療的診治方法。心臟瓣膜置換術(shù)是一種高度復(fù)雜的心血管介入手術(shù)，旨在治療心臟瓣膜疾病，如瓣膜狹窄或瓣膜關(guān)閉不全。這種手術(shù)要求醫(yī)生精確地導(dǎo)航和操作，以確保瓣膜的正確安裝和功能。傳統(tǒng)上，醫(yī)生依賴于x射線成像技術(shù)來(lái)提供術(shù)中的可視化輔助。然而，這種方法存在幾個(gè)重要的局限性，包括患者受到輻射暴露以及對(duì)軟組織的成像對(duì)比度較低。

2、高斯濺射是近年最為有效的一種三維重建方式，然而，現(xiàn)有的重建方法主要針對(duì)一般場(chǎng)景，在應(yīng)用于心臟瓣膜置換手術(shù)這類特殊場(chǎng)景時(shí)存在諸多局限性。例如，申請(qǐng)?zhí)枮?02410417649.7的中國(guó)發(fā)明專利所提出的方法未考慮心臟瓣膜的先驗(yàn)形狀信息，難以滿足手術(shù)對(duì)瓣膜重建精度的要求。此外，心臟并非靜止器官，現(xiàn)有方法缺乏對(duì)心臟運(yùn)動(dòng)的有效補(bǔ)償，容易導(dǎo)致重建結(jié)果失真。而且，現(xiàn)有方法也缺乏針對(duì)手術(shù)導(dǎo)航的特定功能，例如瓣膜追蹤、風(fēng)險(xiǎn)區(qū)域提示等，難以滿足醫(yī)生的實(shí)際需求。

3、近年來(lái)，隨著醫(yī)療成像技術(shù)的進(jìn)步，實(shí)時(shí)三維超聲成像(real-time?three-dimensional?ultrasound,rt3d-us)逐漸成為心臟介入手術(shù)中的一個(gè)重要工具。rt3d-us技術(shù)具有無(wú)輻射、實(shí)時(shí)成像和良好的軟組織分辨率等優(yōu)點(diǎn)，使其成為一種理想的手術(shù)導(dǎo)航工具。然而，盡管rt3d-us在心臟成像方面具有許多優(yōu)勢(shì)，但仍然存在一些挑戰(zhàn)，如圖像質(zhì)量受限(噪聲大、對(duì)比度低)和視野有限，這些問(wèn)題限制了其在高質(zhì)量三維場(chǎng)景重建中的應(yīng)用。

4、因此，開發(fā)一種基于3d超聲成像實(shí)時(shí)高質(zhì)量渲染的心臟介入手術(shù)場(chǎng)景重建方法是一個(gè)亟待解決的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)的上述缺陷，本發(fā)明提供了一種基于3d超聲成像渲染的心臟介入手術(shù)場(chǎng)景重建方法，利用rt3d-us圖像序列，通過(guò)一系列先進(jìn)的圖像處理和三維重建技術(shù)，實(shí)現(xiàn)手術(shù)場(chǎng)景的高質(zhì)量三維重建和實(shí)時(shí)渲染。該方法的核心在于使用3d高斯函數(shù)來(lái)表示和模擬手術(shù)場(chǎng)景中的各種結(jié)構(gòu)，通過(guò)基于瓦片的濺射(tile-based?splatting)技術(shù)來(lái)實(shí)現(xiàn)圖像的高效渲染。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于3d超聲成像渲染的心臟介入手術(shù)場(chǎng)景重建方法，其特征在于，包括以下步驟：

3、采用實(shí)時(shí)三維超聲成像設(shè)備，在心臟介入手術(shù)中捕獲心臟及其周圍結(jié)構(gòu)的動(dòng)態(tài)圖像序列；收集術(shù)前的計(jì)算機(jī)斷層掃描或磁共振成像圖像作為先驗(yàn)信息；

4、對(duì)獲取的實(shí)時(shí)3d超聲圖像序列進(jìn)行包括降噪、對(duì)比度調(diào)整和圖像增強(qiáng)在內(nèi)的預(yù)處理；

5、結(jié)合先驗(yàn)信息，對(duì)預(yù)處理后的圖像進(jìn)行體素化，將圖像數(shù)據(jù)轉(zhuǎn)換為三維空間中的體素表示，創(chuàng)建一個(gè)初始的3d高斯函數(shù)集合；

6、利用3d高斯函數(shù)對(duì)每個(gè)體素進(jìn)行模擬，形成一個(gè)連續(xù)的三維場(chǎng)景表示：通過(guò)迭代優(yōu)化算法優(yōu)化初始高斯函數(shù)的參數(shù)，使重建的圖像與實(shí)際實(shí)時(shí)3d超聲圖像之間的差異最小化；在優(yōu)化過(guò)程中，結(jié)合介入導(dǎo)管形狀約束，交替進(jìn)行3d高斯函數(shù)的自適應(yīng)密度控制；

7、采用基于瓦片的高斯濺射技術(shù)，將所述三維場(chǎng)景分割為多個(gè)小瓦片，逐個(gè)瓦片進(jìn)行渲染，實(shí)現(xiàn)實(shí)時(shí)的三維場(chǎng)景重建和顯示。

8、進(jìn)一步地，利用心電信號(hào)(ecg)對(duì)實(shí)時(shí)3d超聲圖像序列進(jìn)行門控，選擇同一心動(dòng)周期相位的圖像進(jìn)行重建。

9、進(jìn)一步地，所述預(yù)處理包括以下步驟：

10、各向異性擴(kuò)散濾波：通過(guò)求解偏微分方程來(lái)平滑圖像，同時(shí)盡可能地保留圖像的邊緣信息；擴(kuò)散系數(shù)$c$設(shè)計(jì)在圖像的平坦區(qū)域擴(kuò)散速度快，而在邊緣附近則減慢；

11、對(duì)比度受限自適應(yīng)直方圖均衡化：通過(guò)將圖像的直方圖局部調(diào)整，增強(qiáng)了圖像的局部對(duì)比度；

12、形態(tài)學(xué)操作：先腐蝕后膨脹的開運(yùn)算和脹后腐蝕的閉運(yùn)算用來(lái)除去小的聲結(jié)構(gòu)和填充圖像中的洞。

13、進(jìn)一步地，所述初始的3d高斯函數(shù)集合是基于預(yù)處理后的圖像和先驗(yàn)信息生成的，包括以下步驟：

14、特征點(diǎn)提取：使用3d尺度不變特征變換(sift)算法在三維空間中檢測(cè)關(guān)鍵點(diǎn)；

15、特征匹配：通過(guò)隨機(jī)采樣一致(ransac)算法，匹配不同時(shí)間幀的特征點(diǎn)，從而得到稀疏3d點(diǎn)云；

16、初始高斯生成：以匹配的3d點(diǎn)為中心，創(chuàng)建初始的3d高斯函數(shù)，這些函數(shù)的初始參數(shù)被設(shè)置為合理的默認(rèn)值，以便進(jìn)行后續(xù)的優(yōu)化。

17、進(jìn)一步地，優(yōu)化初始高斯函數(shù)參數(shù)的算法中，優(yōu)化目標(biāo)函數(shù)使用混合損失函數(shù)，定義為：

18、l＝(1-λ)l1+λlssim

19、其中，l1為l1損失，lssim為結(jié)構(gòu)相似性(ssim)損失，λ為平衡因子；

20、在先驗(yàn)信息指導(dǎo)下，對(duì)于每個(gè)3d高斯函數(shù)，優(yōu)化其位置、協(xié)方差矩陣、不透明度和顏色；通過(guò)使用圓柱體模型約束介入導(dǎo)管區(qū)域的高斯分布；使用adam優(yōu)化器進(jìn)行梯度下降優(yōu)化，并結(jié)合學(xué)習(xí)率衰減策略來(lái)逐步調(diào)整學(xué)習(xí)率，確保優(yōu)化過(guò)程的穩(wěn)定和收斂。

21、進(jìn)一步地，協(xié)方差矩陣σ通過(guò)分解為旋轉(zhuǎn)和縮放矩陣來(lái)優(yōu)化，將σ分解為旋轉(zhuǎn)矩陣r和縮放矩陣s，∑＝|rsstrt|，其中t為矩陣轉(zhuǎn)置，優(yōu)化表示r的四元數(shù)和表示s的縮放向量；不透明度α通過(guò)sigmoid函數(shù)限制在[0，1)范圍內(nèi)；顏色通過(guò)從低階到高階逐步增加球面諧波(sh)系數(shù)來(lái)優(yōu)化。

22、進(jìn)一步地，在優(yōu)化過(guò)程中交替進(jìn)行3d高斯的密度控制，包括在復(fù)雜區(qū)域添加更多的高斯函數(shù)，在相對(duì)平滑的區(qū)域減少高斯函數(shù)的數(shù)量，或通過(guò)分裂和合并來(lái)調(diào)整高斯函數(shù)的分布。

23、進(jìn)一步地，添加更多的高斯函數(shù)包括在梯度較大的區(qū)域，復(fù)制現(xiàn)有高斯并沿梯度方向移動(dòng)；減少高斯函數(shù)的數(shù)量包括移除不透明度α小于閾值εα的高斯；高斯分裂是對(duì)于較大的高斯，將其分裂為兩個(gè)更小的高斯，新高斯的位置通過(guò)采樣原高斯的pdf得到；定期重置高斯是每隔n次迭代，將所有高斯的α設(shè)置為接近0的值，通過(guò)優(yōu)化保留必要的高斯。

24、進(jìn)一步地，基于瓦片的高斯濺射技術(shù)包括以下步驟：

25、將圖像劃分為多個(gè)瓦片(tile)；

26、對(duì)每個(gè)瓦片，篩選出與之相交的3d高斯；

27、使用gpu?radix排序算法，根據(jù)深度和瓦片id對(duì)高斯進(jìn)行排序；

28、使用α混合模型進(jìn)行渲染：

29、

30、其中，c為像素最終顏色，n為影響該像素的高斯數(shù)量，ti為累積透明度，αi為不透明度，ci為顏色，σi為密度，δi為高斯厚度；

31、反向傳播：從后向前遍歷高斯，利用前向傳播中累積的不透明度值計(jì)算梯度。

32、進(jìn)一步地，對(duì)于心臟瓣膜置換手術(shù)，在3d高斯函數(shù)優(yōu)化過(guò)程中，瓣膜區(qū)域的高斯函數(shù)的優(yōu)化權(quán)重增加。

33、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下技術(shù)效果：

34、(1)本發(fā)明開發(fā)了適用于rt3d-us圖像特點(diǎn)的三維重建初始化和優(yōu)化策略，克服了傳統(tǒng)方法的局限性。醫(yī)生能夠在手術(shù)過(guò)程中獲得高質(zhì)量、高分辨率的三維心臟場(chǎng)景圖像，這不僅有助于提高手術(shù)的準(zhǔn)確性和安全性，還能夠?yàn)獒t(yī)生提供更直觀的手術(shù)導(dǎo)航和決策支持。此外，該方法的實(shí)時(shí)渲染能力確保了醫(yī)生能夠即時(shí)看到手術(shù)過(guò)程中的變化，及時(shí)調(diào)整操作策略。

35、(2)本發(fā)明考慮到心臟運(yùn)動(dòng)的動(dòng)態(tài)特性，設(shè)計(jì)了自適應(yīng)調(diào)整高斯函數(shù)密度的算法，提高了場(chǎng)景重建的準(zhǔn)確性和效率，以實(shí)現(xiàn)心臟瓣膜的定位和追蹤。

36、(3)本發(fā)明通過(guò)引入先驗(yàn)信息和介入導(dǎo)管形狀約束，可實(shí)現(xiàn)介入導(dǎo)管追蹤和特定區(qū)域增強(qiáng)等功能以滿足心臟介入手術(shù)的具體需求。

37、(4)本發(fā)明在心臟介入手術(shù)領(lǐng)域率先使用3d高斯濺射技術(shù)進(jìn)行rt3d-us高質(zhì)量、實(shí)時(shí)的場(chǎng)景重建，同樣適應(yīng)于超聲引導(dǎo)的其他微創(chuàng)手術(shù)(如肝臟腫瘤消融、前列活等)，應(yīng)用前景廣闊。