一種基于3d力反饋技術(shù)的內(nèi)窺鏡微創(chuàng)手術(shù)三維仿真系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于3D力反饋技術(shù)的內(nèi)窺鏡微創(chuàng)手術(shù)三維仿真系統(tǒng)，該系統(tǒng)以計(jì)算機(jī)虛擬現(xiàn)實(shí)技術(shù)原理為基礎(chǔ)，采用自主研發(fā)的3D底層引擎平臺(tái)，空間定位傳感器模塊化組件，利用人體系統(tǒng)仿真和力反饋技術(shù)，模擬臨床手術(shù)器械操作手感與手術(shù)步驟；基于國(guó)內(nèi)首創(chuàng)專用3D底層引擎平臺(tái)及軟件開發(fā)環(huán)境，并結(jié)合臨床訓(xùn)練方案，包含虛擬人體器官碰撞檢測(cè)算法、組織形變仿真計(jì)算模型等，構(gòu)建了微創(chuàng)手術(shù)內(nèi)窺鏡三維仿真系統(tǒng)。
【專利說(shuō)明】一種基于3D力反饋技術(shù)的內(nèi)窺鏡微創(chuàng)手術(shù)三維仿真系統(tǒng)
[0001]
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及一種醫(yī)療【技術(shù)領(lǐng)域】，具體的說(shuō)是涉及一種基于3D力反饋技術(shù)的內(nèi)窺鏡微創(chuàng)手術(shù)三維仿真系統(tǒng)。
【背景技術(shù)】
[0003]內(nèi)窺鏡微創(chuàng)手術(shù)三維仿真平臺(tái)系統(tǒng)是內(nèi)窺鏡微創(chuàng)手術(shù)模擬訓(xùn)練的核心，文件管理、網(wǎng)絡(luò)特性等等，3D平臺(tái)系統(tǒng)的核心是3D引擎，3D引擎有開源和商業(yè)的，常見的開源3D引擎有:Unreal, Quake, Lithtech, OGRE, Irrlicht等，OGRE在開源的引擎中評(píng)價(jià)最高，一個(gè)原因是作為一個(gè)圖形渲染引擎，它支持的圖形特性最多，所以渲染質(zhì)量也不錯(cuò)；另一個(gè)原因是設(shè)計(jì)模式的清晰；另外，速度也不錯(cuò)。商業(yè)3D max引擎，還有國(guó)外商業(yè)3D引擎。目前3D引擎存在的缺點(diǎn)和不足主要如下:
1、大多數(shù)引擎主要針對(duì)3D仿真應(yīng)用，模擬的對(duì)象主要是剛體，而內(nèi)窺鏡微創(chuàng)手術(shù)模擬訓(xùn)練針對(duì)的對(duì)象是人體組織，大部分是軟體。
[0004]2、建模方法過(guò)于單一,一般只支持3Dmax等建模工具建的模型。
[0005]3、沒(méi)法模擬手術(shù)器械的各種動(dòng)作，或者模擬的效果和實(shí)際差別太大。
[0006]4、不能很好的模擬各種醫(yī)學(xué)效果，如抓取、切割、縫合、打結(jié)、上鈦夾、煙霧、流血
坐寸ο
[0007]5、一般和微軟的3D DirectX綁定，沒(méi)法支持跨平臺(tái)的開發(fā)和應(yīng)用。
[0008]6、對(duì)目前主流的3D控制終端支持不夠，只能支持特定的3D控制終端。

【發(fā)明內(nèi)容】

[0009]本發(fā)明要解決的技術(shù)問(wèn)題在于提供了一種基于3D力反饋技術(shù)的內(nèi)窺鏡微創(chuàng)手術(shù)三維仿真系統(tǒng)，該系 統(tǒng)以計(jì)算機(jī)虛擬現(xiàn)實(shí)技術(shù)原理為基礎(chǔ)，采用自主研發(fā)的3D底層引擎平臺(tái)，空間定位傳感器模塊化組件，利用人體系統(tǒng)仿真和力反饋技術(shù)，模擬臨床手術(shù)器械操作手感與手術(shù)步驟；基于國(guó)內(nèi)首創(chuàng)專用3D底層引擎平臺(tái)及軟件開發(fā)環(huán)境，并結(jié)合臨床訓(xùn)練方案，包含虛擬人體器官碰撞檢測(cè)算法、組織形變仿真計(jì)算模型等，構(gòu)建了微創(chuàng)手術(shù)內(nèi)窺鏡三維仿真系統(tǒng)。
[0010]為解決上述技術(shù)問(wèn)題，本發(fā)明通過(guò)以下方案來(lái)實(shí)現(xiàn):一種基于3D力反饋技術(shù)的內(nèi)窺鏡微創(chuàng)手術(shù)三維仿真系統(tǒng)，該系統(tǒng)包括操作臺(tái)、支架、光學(xué)攝像系統(tǒng)、內(nèi)窺鏡系統(tǒng)、圖像傳輸系統(tǒng)、顯示設(shè)備，所述光學(xué)攝像系統(tǒng)主要由棱鏡或光導(dǎo)纖維構(gòu)成，所述支架橫向兩端設(shè)有2個(gè)并列設(shè)置的光學(xué)攝像頭，分別為攝像頭、攝像頭，2個(gè)光學(xué)攝像頭分別與圖像傳輸系統(tǒng)相連，2個(gè)光學(xué)攝像頭的拍攝位置相交于被攝物上，所述支架橫向中部的縱向上設(shè)置一攝像頭，該攝像頭與圖像傳輸系統(tǒng)相連，并與另2個(gè)橫向設(shè)置的光學(xué)攝像頭的拍攝位置相交于被攝物上；所述系統(tǒng)還包括數(shù)據(jù)接收處理設(shè)備、3D醫(yī)學(xué)模型處理服務(wù)器、3D平臺(tái)系統(tǒng)服務(wù)器、所述數(shù)據(jù)接收處理設(shè)備用于實(shí)現(xiàn)力反饋及虛擬觸覺，操作臺(tái)與數(shù)據(jù)接收處理設(shè)備相連接，所述數(shù)據(jù)接收處理設(shè)備與3D平臺(tái)系統(tǒng)服務(wù)器相連接，所述3D醫(yī)學(xué)模型處理服務(wù)器亦與3D平臺(tái)系統(tǒng)服務(wù)器相連接，3D平臺(tái)系統(tǒng)服務(wù)器與顯示設(shè)備相連接。
[0011]進(jìn)一步的，所述數(shù)據(jù)接收處理設(shè)備與3D平臺(tái)系統(tǒng)服務(wù)器相連接，實(shí)現(xiàn)數(shù)據(jù)雙向傳輸過(guò)程，即正向過(guò)程，由操作臺(tái)來(lái)驅(qū)動(dòng)虛擬環(huán)境中的器械運(yùn)行；逆向過(guò)程，虛擬環(huán)境中的力通過(guò)力反饋?zhàn)饔抿?qū)動(dòng)操作臺(tái)產(chǎn)生反饋力的作用。
[0012]進(jìn)一步的，所述操作臺(tái)由左右二組操作手臂構(gòu)成，每組操作手臂，包括相連接的底座、大轉(zhuǎn)輪、支撐座、螺旋輪、電機(jī)、位置傳感器、旋轉(zhuǎn)輪蓋、操作桿、自轉(zhuǎn)微調(diào)撥盤、剪刀手柄、惰輪、軸承、直線導(dǎo)軌及鋼絲繩張緊裝置。
[0013]進(jìn)一步的,所述攝像頭al、攝像頭bl、攝像頭cl上都設(shè)有LED燈3。
[0014]進(jìn)一步的,所述攝像頭al、攝像頭bl、攝像頭cl通過(guò)轉(zhuǎn)軸可作30度-120度旋轉(zhuǎn)。
[0015]本發(fā)明的有益效果是:本發(fā)明設(shè)計(jì)并實(shí)現(xiàn)了平臺(tái)專用的底層3D開發(fā)引擎，可以具有交互作用，集成3D力反饋技術(shù)與包圍球碰撞檢測(cè)優(yōu)化算法等關(guān)鍵技術(shù)基礎(chǔ)上，可以實(shí)現(xiàn)腔內(nèi)器械觸摸器官造成的逼真柔體形變效果，編寫出復(fù)雜的三維應(yīng)用程序以及形體碰撞檢測(cè)功能，以3D FLASH嵌入式形式的WEB展示，進(jìn)而構(gòu)建了微創(chuàng)手術(shù)三維仿真支撐軟件環(huán)境設(shè)計(jì)出基于BIS 3D技術(shù)的在線交互。
【專利附圖】

【附圖說(shuō)明】
[0016]圖1為本發(fā)明插入部光學(xué)攝像組件示意圖。
[0017]圖2為本發(fā)明外部的連接設(shè)備示意圖。
[0018]圖3為本發(fā)明實(shí)施例1中球碰撞原理示意I圖。
[0019]圖4為本發(fā)明實(shí)施例2中球碰撞原理示意II圖。
[0020]圖5為本發(fā)明實(shí)施例3中球碰撞原理示意III圖。
[0021]圖6為本發(fā)明實(shí)施例圖文報(bào)告軟件的程序框圖。
[0022]圖7為本發(fā)明內(nèi)窺鏡微創(chuàng)手術(shù)三維仿真系統(tǒng)硬件結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0023]以下結(jié)合附圖對(duì)本發(fā)明作詳細(xì)說(shuō)明。
[0024]如圖1、圖2、圖6、圖7所示，一種基于3D力反饋技術(shù)的內(nèi)窺鏡微創(chuàng)手術(shù)三維仿真系統(tǒng)，該系統(tǒng)包括操作臺(tái)、支架4、光學(xué)攝像系統(tǒng)、內(nèi)窺鏡系統(tǒng)、圖像傳輸系統(tǒng)、顯示設(shè)備5、掃描儀6，所述光學(xué)攝像系統(tǒng)主要由棱鏡或光導(dǎo)纖維構(gòu)成，所述支架4橫向兩端設(shè)有2個(gè)并列設(shè)置的光學(xué)攝像頭，分別為攝像頭al、攝像頭bl，2個(gè)光學(xué)攝像頭分別與圖像傳輸系統(tǒng)相連，2個(gè)光學(xué)攝像頭的拍攝位置相交于被攝物上，其特征在于:所述支架4橫向中部的縱向上設(shè)置一攝像頭Cl，該攝像頭Cl與圖像傳輸系統(tǒng)相連，并與另2個(gè)橫向設(shè)置的光學(xué)攝像頭的拍攝位置相交于被攝物上；所述系統(tǒng)還包括數(shù)據(jù)接收處理設(shè)備、3D醫(yī)學(xué)模型處理服務(wù)器、3D平臺(tái)系統(tǒng)服務(wù)器、所述數(shù)據(jù)接收處理設(shè)備用于實(shí)現(xiàn)力反饋及虛擬觸覺，操作臺(tái)與數(shù)據(jù)接收處理設(shè)備相連接，所述數(shù)據(jù)接收處理設(shè)備與3D平臺(tái)系統(tǒng)服務(wù)器相連接，所述3D醫(yī)學(xué)模型處理服務(wù)器亦與3D平臺(tái)系統(tǒng)服務(wù)器相連接，3D平臺(tái)系統(tǒng)服務(wù)器與顯示設(shè)備相連接。所述數(shù)據(jù)接收處理設(shè)備與3D平臺(tái)系統(tǒng)服務(wù)器相連接，實(shí)現(xiàn)數(shù)據(jù)雙向傳輸過(guò)程，即正向過(guò)程，由操作臺(tái)來(lái)驅(qū)動(dòng)虛擬環(huán)境中的器械運(yùn)行；逆向過(guò)程，虛擬環(huán)境中的力通過(guò)力反饋?zhàn)饔抿?qū)動(dòng)操作臺(tái)產(chǎn)生反饋力的作用。所述操作臺(tái)由左右二組操作手臂構(gòu)成，每組操作手臂，包括相連接的底座、大轉(zhuǎn)輪、支撐座、螺旋輪、電機(jī)、位置傳感器、旋轉(zhuǎn)輪蓋、操作桿、自轉(zhuǎn)微調(diào)撥盤、剪刀手柄、惰輪、軸承、直線導(dǎo)軌及鋼絲繩張緊裝置，所述攝像頭al、攝像頭bl、攝像頭Cl上都設(shè)有LED燈3，所述攝像頭al、攝像頭bl、攝像頭cl通過(guò)轉(zhuǎn)軸可作30度-120度旋轉(zhuǎn)。根據(jù)圖2，所述光學(xué)攝像系統(tǒng)2主要由棱鏡或光導(dǎo)纖維構(gòu)成，圖像傳輸系統(tǒng)傳輸，通過(guò)支架4上的導(dǎo)線被內(nèi)窺鏡系統(tǒng)接收，并由內(nèi)窺鏡系統(tǒng)內(nèi)部的影像處理系統(tǒng)處理輸出，在顯示設(shè)備5上顯示。本發(fā)明支架4的3個(gè)光學(xué)攝像系統(tǒng)，各個(gè)光學(xué)攝像系統(tǒng)有一定的距離，因此3個(gè)光學(xué)攝像系統(tǒng)拍攝的影像具有一定相位差，從而產(chǎn)生距離感，當(dāng)兩個(gè)光學(xué)攝像系統(tǒng)拍攝的圖像信號(hào)由圖像傳輸系統(tǒng)傳至內(nèi)窺鏡系統(tǒng)后，再由影像處理系統(tǒng)處理成可顯示的圖像或視頻，通過(guò)顯示設(shè)備5顯示，即為3D立體圖像或視頻，當(dāng)使用光學(xué)攝像系統(tǒng)中任意一個(gè)攝像頭工作時(shí)，就可作為普通內(nèi)窺鏡系統(tǒng)使用。
[0025]內(nèi)鏡微創(chuàng)手術(shù)實(shí)習(xí)醫(yī)生以及基層醫(yī)院醫(yī)生，非常有必要到具有衛(wèi)生部?jī)?nèi)鏡考評(píng)委認(rèn)定的培訓(xùn)資格的內(nèi)鏡培訓(xùn)基地進(jìn)行培訓(xùn)，對(duì)內(nèi)鏡微創(chuàng)外科器械的培養(yǎng)，從拿起內(nèi)鏡那一亥IJ，直至最后操作結(jié)束，一步一步規(guī)范化，這些程序式的規(guī)范操作看似基礎(chǔ)，其實(shí)極為必要，如果不規(guī)范操作的習(xí)慣持續(xù)多年，不但影響醫(yī)療質(zhì)量，對(duì)醫(yī)生自身知識(shí)技能掌握新的醫(yī)療器械的培養(yǎng)也有害無(wú)益。標(biāo)準(zhǔn)操作流程SOP在衛(wèi)生部?jī)?nèi)鏡培訓(xùn)基地急需內(nèi)鏡微創(chuàng)仿真手術(shù)訓(xùn)練、考評(píng)系統(tǒng)，因我國(guó)現(xiàn)行醫(yī)療行業(yè)自主開發(fā)能力較弱等原因，導(dǎo)致該類一體化的醫(yī)教高端設(shè)備幾乎依賴進(jìn)口。
[0026]本發(fā)明基于3D力反饋技術(shù)的內(nèi)窺鏡微創(chuàng)手術(shù)三維仿真系統(tǒng)以計(jì)算機(jī)虛擬現(xiàn)實(shí)技術(shù)原理為基礎(chǔ)，符合我國(guó)衛(wèi)生部醫(yī)學(xué)臨床，采用自主研發(fā)的3D底層引擎平臺(tái)，空間定位傳感器模塊化組件，方便擴(kuò)展增值新手術(shù)科室手術(shù)仿真，利用人體系統(tǒng)仿真和力反饋技術(shù)，模擬臨床手術(shù)器械操作手 感與手術(shù)步驟?；趪?guó)內(nèi)首創(chuàng)專用3D底層引擎平臺(tái)及軟件開發(fā)環(huán)境，并結(jié)合臨床訓(xùn)練方案，包含虛擬人體器官碰撞檢測(cè)算法、組織形變仿真計(jì)算模型等，構(gòu)建了微創(chuàng)手術(shù)內(nèi)窺鏡仿真培訓(xùn)系統(tǒng)。
[0027]本發(fā)明主要內(nèi)容包括以下部分:
1.多種腔內(nèi)虛擬人體器官組織形變仿真模型軟件渲染過(guò)程設(shè)計(jì)。
[0028]人體組織通常是非均勻的、各向異性的，結(jié)合醫(yī)學(xué)實(shí)際，設(shè)計(jì)多種仿真三維顯示的基本過(guò)程，把這些不同科室手術(shù)過(guò)程分為獨(dú)立的軟件模塊進(jìn)行描述。下面以普外科腹腔鏡為例，完成模型仿真三維渲染的基本過(guò)程如下:
(I;數(shù)據(jù)準(zhǔn)備.即獲取三維可視化工作所需的基本的具體腔體、器械仿真模型數(shù)據(jù)。
[0029]虔::啟動(dòng)數(shù)據(jù)模型，控制點(diǎn)校正，可手工或自動(dòng)校驗(yàn)。
[0030]透視投影變換，即建立三維圖像點(diǎn)間的透視關(guān)系，也同樣可以在屏幕上生成不同視角條件下的立體透視圖，具體的模型由視點(diǎn)，視角，三維圖形大小等參數(shù)來(lái)確定。
[0031].?':光照Camera模型。實(shí)際的研發(fā)中，為了逼真地反映腔體內(nèi)仿真表面明暗，顏色
變化需要根據(jù)光照方向和結(jié)點(diǎn)的法向量逐點(diǎn)計(jì)算每個(gè)象素的顏色和灰度.然后反映到生成的普外科仿真三維模型上去，對(duì)腹腔鏡下景物中的普外科仿真表面，可以先在3DMAX獲得基礎(chǔ)的數(shù)據(jù)模型加工，光照模型要考慮光源的位置、光源的強(qiáng)度、視點(diǎn)的位置、腔體內(nèi)器官的漫反射光，以及器械面對(duì)光的反射和吸收特性，在設(shè)置虛擬camera來(lái)手工驗(yàn)證效果，并在軟件實(shí)現(xiàn)中進(jìn)行參數(shù)校正。
[0032]消隱和裁剪。本發(fā)明采用的消隱處理是先做一次快速簡(jiǎn)單的光線跟蹤法掃描
消隱，然后結(jié)合Z-buffer算法處理，最后當(dāng)視點(diǎn)切換移動(dòng)的時(shí)候啟用畫家算法消隱，達(dá)到快速高效的消隱效果。圖形裁剪就是根據(jù)模型視區(qū)的大小確定三維普外科仿真的不可視部分，將已經(jīng)落入顯示器范圍外的部分圖形自動(dòng)裁剪掉，從而使顯示屏給出一完整的三維圖形畫面。
[0033]^圖形繪制和存儲(chǔ).依各種相應(yīng)算法如模擬灰度，分形幾何，紋理影射等繪制并顯示各種類型的三維普外科仿真圖，并以標(biāo)準(zhǔn)圖像文件格式進(jìn)行記錄。
[0034]三維圖形的后處理.在三維透視圖上添加各種材質(zhì)等，進(jìn)行顏色，亮度，對(duì)比
度等處理。為了增加三維普外科仿真圖的真實(shí)感使用性，在已生成三維圖的基礎(chǔ)上，疊加顯示實(shí)地區(qū)域內(nèi)一些主要器官皮膚材質(zhì)或血管和有關(guān)普外科特征是十分必要的，這需要在3DMAX建立模型材質(zhì)庫(kù)支撐下實(shí)現(xiàn)。在三維圖成功顯示后，在三維普外科仿真圖上依據(jù)有關(guān)參數(shù)，數(shù)據(jù)庫(kù)或數(shù)據(jù)文件以及有關(guān)算法，進(jìn)行普外科模型仿真可以在此基礎(chǔ)上實(shí)現(xiàn)一些基于普外科3D模型的分析功能軟件，分析功能包括可視分析和可操作性分析，這種分析的優(yōu)點(diǎn)便是直觀，不必等軟件實(shí)現(xiàn)，即可獲得手術(shù)仿真過(guò)程效果提出一套模型數(shù)據(jù)質(zhì)量管理方案。
[0035]2.多種腔體下基于包圍球碰撞檢測(cè)優(yōu)化算法設(shè)計(jì)與實(shí)現(xiàn)。
[0036]虛擬手術(shù)仿真是虛擬現(xiàn)實(shí)技術(shù)在醫(yī)學(xué)領(lǐng)域中的重要應(yīng)用。在虛擬手術(shù)仿真過(guò)程中，可以進(jìn)行術(shù)前手術(shù)計(jì)劃制定、手術(shù)過(guò)程仿真、術(shù)后效果預(yù)測(cè)等工作。本發(fā)明運(yùn)用虛擬現(xiàn)實(shí)技術(shù)來(lái)實(shí)現(xiàn)內(nèi)鏡微創(chuàng)手術(shù)訓(xùn)練系統(tǒng)來(lái)輔助外科手術(shù)訓(xùn)練、考核過(guò)程。
[0037]而碰撞檢測(cè)是構(gòu)成系統(tǒng)虛擬現(xiàn)實(shí)的基本要素，系統(tǒng)中碰撞檢測(cè)需要確定手術(shù)器械工具與人體器官組織是否碰撞，在確認(rèn)碰撞后，通過(guò)力反饋裝置獲得反饋碰撞點(diǎn)的具體信息。依據(jù)這些獲取的數(shù)據(jù)，系統(tǒng)才能對(duì)人體組織的形變做出相應(yīng)的操作。常用的碰撞檢測(cè)算法主要有包圍盒的檢測(cè)方法已經(jīng)空間分割的檢測(cè)方法，有包圍球Bounding Sphere、軸包圍盒 Axis Aligned Bounding Box,簡(jiǎn)稱 AABB、方向包圍盒 Oriented Bounding Box ,簡(jiǎn)稱OBB等。碰撞檢測(cè)不僅要滿足手術(shù)仿真實(shí)時(shí)性的需要，還要滿足力反饋精確度的需要，力反饋裝置改變電磁線圈中電流的大小來(lái)實(shí)現(xiàn)真實(shí)的反饋效果，本發(fā)明采用優(yōu)化精確的包圍球碰撞檢測(cè)算法，選用了計(jì)算量小、實(shí)時(shí)性高的包圍球碰撞檢測(cè)方法。
如圖3、圖4、圖5所示，下面以運(yùn)動(dòng)球體與碰撞球體為例，解釋采用包圍球碰撞檢測(cè)優(yōu)
化算法實(shí)現(xiàn)碰撞檢測(cè)，設(shè)定球體BALL” BALL2i BALL3的半徑分別為R1和R2、R3,球體BALL:
球心到BALL2或到BALL3的 球心距離為d，碰撞初始狀態(tài)為“狀態(tài)I ”，碰撞發(fā)生時(shí)為“狀態(tài)2”，碰撞發(fā)生形變?yōu)椤盃顟B(tài)3”，碰撞發(fā)生形變兩球相交區(qū)域?yàn)辄c(diǎn)集合e。
[0038]BALL1、BALL:、BALL3碰撞檢測(cè)簡(jiǎn)述如下:
設(shè)定BALL.為運(yùn)動(dòng)球體，BALL:、BALL3為靜止球體，由BALL:沿著某一方向BAU^運(yùn)動(dòng)。在初始狀態(tài)時(shí)即“狀態(tài)1”，如圖3所示，CM1+R2沒(méi)有碰撞點(diǎn)；
在碰撞發(fā)生形變時(shí)即“狀態(tài)3”，如圖4所示，d < RJR2有η多個(gè)碰撞點(diǎn)共同構(gòu)成了點(diǎn)
集 e ( Xd , Y,)；
如圖5所示，三球A、B、C發(fā)生碰撞，在碰撞發(fā)生形變時(shí)，D < R+R2 +R3,多個(gè)碰撞點(diǎn)共同構(gòu)成了點(diǎn)集D區(qū)域(Xn，Yn，Za );這個(gè)坐標(biāo)為三維坐標(biāo)。
[0039]總結(jié)以上碰撞原理，通過(guò)計(jì)算3個(gè)球體的球心之間距離，與3個(gè)球的半徑之和比較大小，檢測(cè)有沒(méi)有碰撞。在具體實(shí)現(xiàn)代碼過(guò)程中，程序需要確認(rèn)在運(yùn)動(dòng)初始位置處兩球體之間是否相交，程序只需要根據(jù)判定公式即可根據(jù)上面原理。
[0040]3.多種腔體交互環(huán)境器官軟組織的實(shí)時(shí)形變計(jì)算下力反饋技術(shù)實(shí)現(xiàn)。
[0041]在多種腔體內(nèi)建立虛擬手術(shù)操作在3D環(huán)境下對(duì)器械和器官進(jìn)行碰撞檢測(cè)之后，力反饋技術(shù)能將虛擬環(huán)境下手術(shù)中的數(shù)據(jù)轉(zhuǎn)化成用戶可以感覺到的效果，例如宮腔子宮、卵巢上鈦夾鉗、電凝刀灼燒或者轉(zhuǎn)動(dòng)手術(shù)手柄方向盤感受到的反作用力，這些效果都是力反饋控制驅(qū)動(dòng)軟件結(jié)合力反饋裝置控制電路，反饋給操作手柄，受訓(xùn)者感受到力反饋“播放”出來(lái)的。力反饋技術(shù)，實(shí)質(zhì)一種觸覺處理芯片電路與控制軟件，可以提供加速、優(yōu)化等功能，使其虛擬現(xiàn)實(shí)的效果更加流暢、逼真，在傳動(dòng)方面要采用的是電動(dòng)機(jī)帶動(dòng)齒輪，手柄機(jī)械部分前進(jìn)、后退方向增加電磁線圈裝置，提供柔順的力反饋效果，進(jìn)行力的線性傳動(dòng)。要注意的是平常所見游戲的“振動(dòng)手柄”使用的并不是力反饋技術(shù)。本發(fā)明自主研發(fā)的強(qiáng)力反饋技術(shù)相比要復(fù)雜得多，結(jié)合3D引擎軟件，給力反饋電路發(fā)出的指令，它可以模擬出真實(shí)的操縱感，而不是簡(jiǎn)單的振動(dòng)。比如，婦科宮腔鏡手術(shù)，在子宮、卵巢上鈦夾鉗和轉(zhuǎn)動(dòng)手術(shù)手柄上完全是不同的感覺，根據(jù)力反饋力度與速度的不同，力反饋控制芯片會(huì)根據(jù)手術(shù)場(chǎng)景中提供的數(shù)據(jù)計(jì)算出合理上的反作用力，根據(jù)不同的碰撞檢測(cè)，體現(xiàn)力反饋效果，比如觸碰到腔體或管壁，有柔和的接觸感，和真實(shí)的手術(shù)觸感是一致的。
[0042]同時(shí)，基于柔體的形變計(jì)算模型和實(shí)時(shí)的力反饋計(jì)算模型，通過(guò)傳感器使機(jī)械部分系統(tǒng)從多種腔內(nèi)虛擬器官軟組織3D模型數(shù)據(jù)中“感知”，3D定位機(jī)構(gòu)還增加了一個(gè)自由度使操控模擬手柄的人機(jī)交互更具靈活性，同時(shí)引入可漸變力度的3D力反饋控制系統(tǒng)來(lái)控制、仿真操作持內(nèi)窺鏡手術(shù)過(guò)程，通過(guò)GPU硬件加速和并行計(jì)算來(lái)解決實(shí)時(shí)計(jì)算的問(wèn)題。
[0043]4.適應(yīng)多種腔體治療性手術(shù)培訓(xùn)的軟件架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)。
[0044]固定的案例和虛擬場(chǎng)景，只能用于手術(shù)技能培訓(xùn)，多種腔內(nèi)治療性內(nèi)鏡手術(shù)醫(yī)教培訓(xùn)平臺(tái)可以虛擬多種腔體下微創(chuàng)手術(shù)方案，系統(tǒng)可以提供便捷的模型升級(jí)自服務(wù)功能與可虛擬開發(fā)功能，使普遍用戶能夠根據(jù)個(gè)性化的病人影像數(shù)據(jù)，快速構(gòu)造虛擬場(chǎng)景模型，無(wú)需編寫任何代碼，即能完成交互操作設(shè)計(jì)，并可靈活加載模型的包圍球碰撞檢測(cè)優(yōu)化算法進(jìn)行虛擬檢測(cè)，這樣可以加快在不同腔體下手術(shù)中的推廣應(yīng)用。
[0045]5.多種腔體下基于BIS 3D設(shè)計(jì)與實(shí)現(xiàn)。
[0046]BIS 3D技術(shù)應(yīng)用成功進(jìn)行現(xiàn)實(shí)應(yīng)用的關(guān)鍵，可以實(shí)現(xiàn)在軟件操作界面以flash動(dòng)態(tài)效果展示3D模型，通過(guò)采用完全互動(dòng)粒子處理技術(shù)，提高了微創(chuàng)手術(shù)腔體和手術(shù)過(guò)程的仿真效果如器械和器官的碰撞、流血、器官紋理色彩、電刀火花和煙霧和沖洗等，多自由度實(shí)時(shí)交互，最大限度的滿足醫(yī)學(xué)教學(xué)實(shí)踐，也是內(nèi)鏡微創(chuàng)手術(shù)三維仿真訓(xùn)練平臺(tái)最本質(zhì)的特征和要求之一。[0047]BIS 3D又稱網(wǎng)絡(luò)虛擬三維，是一種在傳統(tǒng)虛擬現(xiàn)實(shí)技術(shù)的基礎(chǔ)上，利用3D互聯(lián)網(wǎng)平臺(tái)將現(xiàn)實(shí)世界中有形的物品通過(guò)互聯(lián)網(wǎng)進(jìn)行虛擬的三維立體展示并可互動(dòng)瀏覽操作的一種網(wǎng)絡(luò)虛擬現(xiàn)實(shí)技術(shù)。相比起目前網(wǎng)上主流的以圖片、FLASH、三維動(dòng)畫的展示方式來(lái)說(shuō)，BIS 3D技術(shù)讓用戶有了瀏覽的自主感，以自己的角度去觀察和互動(dòng)操作。目前比較流行的平臺(tái)有Microsoft的微軟DirectX、BIS 3D和Build 3D等。其中Microsoft的微軟DirectX可廣泛用在三維動(dòng)畫、三維游戲等領(lǐng)域,可利用Windows的系統(tǒng)級(jí)加速,可以直接調(diào)用一些軟件如ALIAS、LIGHTffARE,3DS MAX生成的形體，使形體帶有顏色、貼圖，可以產(chǎn)生形體的運(yùn)動(dòng)、變化，動(dòng)態(tài)地改變觀測(cè)點(diǎn)的位置及視角。
[0048]多種腔內(nèi)治療性內(nèi)鏡手術(shù)三維仿真醫(yī)教培訓(xùn)平臺(tái)引入基于Microsoft的微軟DirectX的BIS 3D驅(qū)動(dòng)技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了平臺(tái)專用的底層3D開發(fā)引擎，可以具有交互作用，集成3D力反饋技術(shù)與包圍球碰撞檢測(cè)優(yōu)化算法等關(guān)鍵技術(shù)基礎(chǔ)上，可以實(shí)現(xiàn)腔內(nèi)器械觸摸器官造成的逼真柔體形變效果，編寫出復(fù)雜的三維應(yīng)用程序以及形體碰撞檢測(cè)功能，以3D MAX嵌入式形式的展示，進(jìn)而構(gòu)建了微創(chuàng)手術(shù)三維仿真支撐軟件環(huán)境設(shè)計(jì)出基于BIS 3D技術(shù)的在線交互，滿足更多的訓(xùn)練者在線參與訓(xùn)練。
[0049]以上所述僅為本發(fā)明的優(yōu)選實(shí)施方式，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說(shuō)明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其它相關(guān)的【技術(shù)領(lǐng)域】，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。
【權(quán)利要求】
1.一種基于3D力反饋技術(shù)的內(nèi)窺鏡微創(chuàng)手術(shù)三維仿真系統(tǒng)，該系統(tǒng)包括操作臺(tái)、支架(4)、光學(xué)攝像系統(tǒng)、內(nèi)窺鏡系統(tǒng)、圖像傳輸系統(tǒng)、顯示設(shè)備(5)、掃描儀，所述光學(xué)攝像系統(tǒng)主要由棱鏡或光導(dǎo)纖維構(gòu)成，所述支架(4)橫向兩端設(shè)有2個(gè)并列設(shè)置的光學(xué)攝像頭，分別為攝像頭(al )、攝像頭(bl )，2個(gè)光學(xué)攝像頭分別與圖像傳輸系統(tǒng)相連，2個(gè)光學(xué)攝像頭的拍攝位置相交于被攝物上，其特征在于:所述支架(4)橫向中部的縱向上設(shè)置一攝像頭(Cl)，該攝像頭(Cl)與圖像傳輸系統(tǒng)相連，并與另2個(gè)橫向設(shè)置的光學(xué)攝像頭的拍攝位置相交于被攝物上；所述系統(tǒng)還包括數(shù)據(jù)接收處理設(shè)備、3D醫(yī)學(xué)模型處理服務(wù)器、3D平臺(tái)系統(tǒng)服務(wù)器、所述數(shù)據(jù)接收處理設(shè)備用于實(shí)現(xiàn)力反饋及虛擬觸覺，操作臺(tái)與數(shù)據(jù)接收處理設(shè)備相連接，所述數(shù)據(jù)接收處理設(shè)備與3D平臺(tái)系統(tǒng)服務(wù)器相連接，所述3D醫(yī)學(xué)模型處理服務(wù)器亦與3D平臺(tái)系統(tǒng)服務(wù)器相連接，3D平臺(tái)系統(tǒng)服務(wù)器與顯示設(shè)備相連接。
2.根據(jù)權(quán)利要求1所述的一種基于3D力反饋技術(shù)的內(nèi)窺鏡微創(chuàng)手術(shù)三維仿真系統(tǒng)，其特征在于:所述數(shù)據(jù)接收處理設(shè)備與3D平臺(tái)系統(tǒng)服務(wù)器相連接，實(shí)現(xiàn)數(shù)據(jù)雙向傳輸過(guò)程，即正向過(guò)程，由操作臺(tái)來(lái)驅(qū)動(dòng)虛擬環(huán)境中的器械運(yùn)行；逆向過(guò)程，虛擬環(huán)境中的力通過(guò)力反饋?zhàn)饔抿?qū)動(dòng)操作臺(tái)產(chǎn)生反饋力的作用。
3.根據(jù)權(quán)利要求1所述的一種基于3D力反饋技術(shù)的內(nèi)窺鏡微創(chuàng)手術(shù)三維仿真系統(tǒng)，其特征在于:所述操作臺(tái)由左右二組操作手臂構(gòu)成，每組操作手臂，包括相連接的底座、大轉(zhuǎn)輪、支撐座、螺旋輪、電機(jī)、位置傳感器、旋轉(zhuǎn)輪蓋、操作桿、自轉(zhuǎn)微調(diào)撥盤、剪刀手柄、惰輪、軸承、直線導(dǎo)軌及鋼絲繩張緊裝置。
4.根據(jù)權(quán)利要求1所述的一種基于3D力反饋技術(shù)的內(nèi)窺鏡微創(chuàng)手術(shù)三維仿真系統(tǒng)，其特征在于:所述攝像頭(al)、攝像頭(bl)、攝像頭(Cl)上都設(shè)有LED燈(3)。
5.根據(jù)權(quán)利要求1或4所述的一種基于3D力反饋技術(shù)的內(nèi)窺鏡微創(chuàng)手術(shù)三維仿真系統(tǒng)，其特征在于:所述攝像頭(al)、攝像頭(bl)、攝像頭(cl)通過(guò)轉(zhuǎn)軸可作30度-120度旋轉(zhuǎn)。
【文檔編號(hào)】G09B23/28GK103903487SQ201310604682
【公開日】2014年7月2日 申請(qǐng)日期:2013年11月26日 優(yōu)先權(quán)日:2013年11月26日
【發(fā)明者】夏春秋 申請(qǐng)人:深圳市唯特視科技有限公司