專利名稱：一種立體虛擬培訓(xùn)系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及立體顯示技術(shù)，尤其涉及立體虛擬交互的方法以及系統(tǒng)。
背景技術(shù)：
目前的人機(jī)交互式系統(tǒng)的各種解決方案大都是基于2D顯示的基礎(chǔ)之上的，也就是說，用戶操作所帶來的直接顯示效果是以2D來展現(xiàn)的。更進(jìn)一步，采用陰影，近大遠(yuǎn)小等透視效果來近似模擬一種立體的感覺。隨著3D顯示技術(shù)的發(fā)展，這種基于2D的顯示界面將帶來一系列的不符合現(xiàn)實(shí)的操作習(xí)慣。因?yàn)?D帶給操作者的直觀顯示效果是，所有的操作界面是凸出，或者，凹進(jìn)屏幕的。目前比較普遍的觸摸屏的手指或者操作筆都只能在屏幕上進(jìn)行二維的操作，對于真正的3D操作界面，浮在空中或者凹進(jìn)屏幕的界面，這種傳統(tǒng)的方式都會(huì)讓操作者感覺并沒有真正觸摸到實(shí)際的界面。這些問題在傳統(tǒng)的虛擬仿真系統(tǒng)上可能會(huì)更多地體現(xiàn)出來，如用于各種行業(yè)的虛擬訓(xùn)練系統(tǒng)，包括在醫(yī)療領(lǐng)域、交通領(lǐng)域、遠(yuǎn)程教育等領(lǐng)域?，F(xiàn)有的技術(shù)在這些領(lǐng)域中往往缺乏一個(gè)真正意義上的3D現(xiàn)實(shí)感。本發(fā)明所公開的方法和系統(tǒng)可以用來解決上述的一個(gè)或多個(gè)問題以及其它相關(guān)的問題。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是提供一種可以結(jié)合立體顯示來進(jìn)行操作的立體虛擬培訓(xùn)系統(tǒng)和方法。為了解決上述問題，本發(fā)明提供了一種用于3D虛擬訓(xùn)練系統(tǒng)的方法，該3D虛擬訓(xùn)練系統(tǒng)包括一個(gè)3D顯示屏和一個(gè)操作裝置，該方法包括初始化一個(gè)虛擬醫(yī)療訓(xùn)練課程并由所述3D顯示屏顯示，顯示內(nèi)容至少包括手術(shù)部位的3D虛擬圖像；獲得基于操作裝置和3D顯示屏的用戶交互輸入，在3D顯示屏上顯示出虛擬手術(shù)裝置及由虛擬手術(shù)裝置對手術(shù)部位進(jìn)行的虛擬手術(shù)操作；根據(jù)用戶交互輸入和手術(shù)部位來確定一個(gè)操作結(jié)果；根據(jù)手術(shù)部位和虛擬手術(shù)操作的效果來渲染操作結(jié)果；由3D顯示屏顯示經(jīng)渲染的操作結(jié)果的3D虛擬圖像。其中，所述獲得基于操作裝置和3D顯示屏的用戶交互輸入的步驟包括配置操作裝置的操作模式，從而調(diào)整3D顯示屏上顯示的虛擬手術(shù)裝置的形狀、類型、和大小中的至少一個(gè)。其中，所述獲得基于操作裝置和3D顯示屏的用戶交互輸入的步驟包括確定操作裝置和3D顯示屏之間的接觸點(diǎn)的空間位置；確定操作裝置的空間操作角度；
確定操作裝置的旋轉(zhuǎn)操作。其中，所述獲得基于操作裝置和3D顯示屏的用戶交互輸入的步驟還包括感測在操作裝置和3D顯示屏幕之間的接觸點(diǎn)的接觸力；根據(jù)接觸力計(jì)算出操作裝置相對于3D顯示屏的回縮程度。其中，所述獲得基于操作裝置和3D顯示屏的用戶交互輸入的步驟還包括設(shè)置所述接觸力的閾值；當(dāng)所述接觸力高于所述閾值時(shí)，在3D顯示屏上顯示基于回縮程度的所述虛擬手術(shù)裝置。其中，所述獲得基于操作裝置和3D顯示屏的用戶交互輸入的步驟包括根據(jù)操作裝置的一個(gè)或多個(gè)預(yù)定區(qū)域的力反饋來控制虛擬手術(shù)裝置的操作方式或操作力強(qiáng)度。其中，所述根據(jù)手術(shù)部位和手術(shù)操作的效果來渲染操作結(jié)果的步驟包括根據(jù)手術(shù)部位來確定虛擬手術(shù)操作的顯示場景的縮放因子；利用縮放因子來控制顯示場景和/或虛擬手術(shù)裝置的放大或縮小操作，使得所述虛擬手術(shù)裝置和顯示場景相匹配。其中，所述根據(jù)用戶交互輸入和手術(shù)部位來確定一個(gè)操作結(jié)果的步驟包括基于用戶交互輸入確定虛擬手術(shù)裝置的空間位置；確定對應(yīng)虛擬手術(shù)裝置的手術(shù)部位的空間位置；對比虛擬手術(shù)裝置的空間位置和對應(yīng)的手術(shù)部位的空間位置；基于對比結(jié)果觸發(fā)一個(gè)操作事件；確定由所述操作事件引起的操作結(jié)果。本發(fā)明還提供了一個(gè)3D虛擬訓(xùn)練系統(tǒng)，包括一個(gè)3D顯示屏；一個(gè)3D系統(tǒng)控制器；一個(gè)耦合到3D系統(tǒng)控制器并交換交互數(shù)據(jù)的操作裝置，所述3D系統(tǒng)控制器包括圖像數(shù)據(jù)模塊、虛擬操作模塊、3D顯示模塊、以及控制模塊，其中圖像數(shù)據(jù)模塊，用于初始化一個(gè)虛擬醫(yī)療訓(xùn)練課程并在顯示模塊的控制下由3D顯示屏顯示，顯示內(nèi)容至少包括手術(shù)部位的3D虛擬圖像；虛擬操作模塊，用于獲得基于操作裝置和3D顯示屏的用戶交互輸入，經(jīng)虛擬操作模塊的處理后在3D顯示屏上顯示出虛擬手術(shù)裝置及由虛擬手術(shù)裝置對手術(shù)部位進(jìn)行的虛擬手術(shù)操作，根據(jù)用戶交互輸入和手術(shù)部位來確定一個(gè)操作結(jié)果；3D顯示模塊，用于根據(jù)手術(shù)部位和虛擬手術(shù)操作的效果來渲染操作結(jié)果，由3D顯示屏顯示經(jīng)渲染的操作結(jié)果的3D虛擬圖像；控制模塊，用于配置和控制3D系統(tǒng)控制器內(nèi)的圖像數(shù)據(jù)模塊、虛擬操作模塊、3D顯示模塊。其中，虛擬操作模塊用于配置操作裝置的操作模式，從而調(diào)整3D顯示屏上顯示的虛擬手術(shù)裝置的形狀、類型和大小中的至少一個(gè)。
其中，虛擬操作模塊，用于執(zhí)行至少以下三種操作中的一種確定操作裝置和3D顯示屏之間的接觸點(diǎn)的空間位置；確定操作裝置的空間操作角度；確定操作裝置的旋轉(zhuǎn)操作。其中，虛擬操作模塊用于感測在操作裝置和3D顯示屏幕之間的接觸點(diǎn)的接觸力；根據(jù)接觸力計(jì)算出操作裝置相對于3D顯示屏的回縮程度。其中，虛擬操作模塊用于設(shè)置所述接觸力的閾值；當(dāng)接觸力高于所述閾值時(shí)，在3D顯示屏上顯示基于回縮程度的虛擬手術(shù)裝置。其中，虛擬操作模塊用于根據(jù)手術(shù)部位來確定虛擬手術(shù)操作的顯示場景的縮放因子；利用縮放因子來控制顯示場景和/或虛擬手術(shù)裝置的放大或縮小操作，使得所述虛擬手術(shù)裝置和顯示場景相匹配。其中，虛擬操作模塊用于基于用戶交互輸入確定虛擬手術(shù)裝置的空間位置；確定對應(yīng)虛擬手術(shù)裝置的手術(shù)部位的空間位置；對比虛擬手術(shù)裝置的空間位置和對應(yīng)的手術(shù)部位的空間位置；基于對比結(jié)果觸發(fā)一個(gè)操作事件；確定由所述操作事件引起的操作結(jié)果。其中，3D顯示模塊用于統(tǒng)計(jì)在虛擬手術(shù)操作和虛擬醫(yī)療訓(xùn)練課程的結(jié)果的數(shù)據(jù)而顯示。基于本公開的說明書、權(quán)利要求書、和附圖，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解本公開的其他方面。


圖1示出了與披露的實(shí)施例相一致的示意3D訓(xùn)練系統(tǒng)；圖2示出了與披露的實(shí)施例相一致的示意圖醫(yī)療訓(xùn)練系統(tǒng)；圖3示出了與披露的實(shí)施例相一致的示意3D系統(tǒng)控制器的框圖；圖4示出了與披露的實(shí)施例相一致的示意操作裝置；圖5示出了與披露的實(shí)施例相一致的示意配置和操作流程；圖6示出了與披露的實(shí)施例相一致的操作裝置的示意預(yù)配置；圖7示出了與披露的實(shí)施例相一致的在XYZ三維坐標(biāo)系統(tǒng)中的操作棒接觸點(diǎn)；圖8示出了與披露的實(shí)施例相一致的示意3D顯示模塊；圖9示出了與披露的實(shí)施例相一致的示意操作流程。
具體實(shí)施例方式下面將詳細(xì)地參考如附圖所示的本發(fā)明的示意實(shí)施例。在可能的情況下，附圖中的各個(gè)部分提到的相同或相似的部分將采用相同的參考標(biāo)記。
圖1示出了與披露的實(shí)施例相一致的一個(gè)示意3D訓(xùn)練系統(tǒng)100。如圖1中所示，3D訓(xùn)練系統(tǒng)100包括一個(gè)3D顯示屏110、一個(gè)3D系統(tǒng)控制器120、和一個(gè)操作筆130。當(dāng)然其他設(shè)備也可以包括在3D訓(xùn)練系統(tǒng)100中。操作筆130可和3D系統(tǒng)控制器120相連接，使得操作筆130和的3D系統(tǒng)控制器120可以交換信息來為3D訓(xùn)練系統(tǒng)100的一個(gè)用戶完成一些3D虛擬訓(xùn)練操作。3D顯示屏110可以包括任何適當(dāng)類型的顯示屏，如等離子體顯示面板(PDP)的顯示屏、場致發(fā)射顯示器(FED)的顯示屏、陰極射線管(CRT)顯示屏、液晶顯示(IXD)的顯示屏、有機(jī)發(fā)光二極管(OLED)顯示屏、或其他類型的顯示屏。另外，3D顯示屏110也可以是觸摸敏感的，即觸摸屏。當(dāng)然其他的顯示類型也可以使用。3D系統(tǒng)控制器120可包括任何適當(dāng)?shù)难b置，其能夠處理和顯示2D圖像和3D圖像，例如計(jì)算機(jī)、電視機(jī)、智能電話、平板計(jì)算機(jī)、或消費(fèi)者電子設(shè)備。雖然3D系統(tǒng)控制器120被示出為筆記本電腦，3D系統(tǒng)控制器120可以包括任何有計(jì)算能力的終端裝置。3D系統(tǒng)控制器120可包括任何適當(dāng)?shù)慕Y(jié)構(gòu)和組件，以支持3D訓(xùn)練系統(tǒng)100的操作。例如，3D系統(tǒng)控制器120可以包括一個(gè)處理器以及與其他設(shè)備，例如隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、輸入/輸出接口、傳感器驅(qū)動(dòng)電路、通信接口、和存儲(chǔ)器/數(shù)據(jù)庫等，用來控制3D系統(tǒng)控制器120的操作。計(jì)算機(jī)程序可以儲(chǔ)存在存儲(chǔ)器上并在執(zhí)行時(shí)加載到存儲(chǔ)器，用于執(zhí)行由所述處理器執(zhí)行的各種模塊和單元。上述設(shè)備并無局限性，某些設(shè)備可以被刪除，其他設(shè)備也可以被加入。操作筆130或操作裝置130可包括任何適當(dāng)?shù)母鞣N形狀的3D輸入設(shè)備，例如操作筆、操作棒、或操作人員可以運(yùn)作的其他物體。在3D訓(xùn)練系統(tǒng)100的操作過程中，用戶可以使用操作筆130通過三維顯示屏110的三維圖像與3D系統(tǒng)控制器120進(jìn)行交互。3D訓(xùn)練系統(tǒng)100可以用來實(shí)現(xiàn)多種三維訓(xùn)練系統(tǒng)，如醫(yī)療訓(xùn)練系統(tǒng)、駕駛訓(xùn)練系統(tǒng)、或其他訓(xùn)練系統(tǒng)。圖2示出了與所公開的實(shí)施例相一致的一個(gè)醫(yī)療訓(xùn)練系統(tǒng)100。在某些實(shí)施例中，手勢輸入裝置也可以被用作操作筆130。例如，用戶可以基于手勢的輸入設(shè)備，如攝像頭或其他傳感裝置，使用一個(gè)或多個(gè)手指來執(zhí)行與3D訓(xùn)練系統(tǒng)100的用戶交互。如圖2中所示，醫(yī)療訓(xùn)練系統(tǒng)100的用戶所選擇的一個(gè)醫(yī)療主體150被顯示在3D顯示屏110上。醫(yī)療主體150可以包括任何適當(dāng)?shù)目杀挥脕砟M真實(shí)世界的醫(yī)療主體，如人體、身體的一部分、或動(dòng)物體的身體或部分等。醫(yī)療主體150可被顯示成從顯示屏110凹進(jìn)的立體圖像。另外，醫(yī)療主體150可以包括各種部件或器官，如主要器官和血管152。選擇醫(yī)療主體150后，用戶可以使用操作筆在醫(yī)療主體150上來虛擬執(zhí)行某些醫(yī)療操作。具體而言，用戶可以在凹入的醫(yī)療主體150上執(zhí)行一些接觸操作。由于醫(yī)療主體150被從顯示成凹入畫面，操作筆130的頂部在到達(dá)醫(yī)療主體150的表面之前，會(huì)首先觸摸顯示屏。為使用戶有更逼真的感覺，操作筆130的頂部部分可以被配置為可伸縮，并且操作筆130的頂部縮回部分的3D圖像可在顯示屏上被顯示為所需的醫(yī)療器械，如手術(shù)刀、手術(shù)夾子、或手術(shù)剪刀等。因此，通過緊抓操作筆130，用戶可以操縱操作筆130以在醫(yī)療主體150上執(zhí)行一個(gè)虛擬的醫(yī)療操作，如虛擬手術(shù)等。圖3示出與所公開的實(shí)施例相一致的一個(gè)示意3D系統(tǒng)控制器120的框圖。如圖3所示，3D系統(tǒng)控制器120可包括圖像數(shù)據(jù)模塊302、虛擬操作模塊304、3D顯示模塊306、以及控制模塊308。當(dāng)然3D系統(tǒng)控制器120也可以包括其他模塊。這些模塊可以由軟件、硬件、或軟件和硬件的組合來實(shí)現(xiàn)。此外，各模塊之間的連接線僅用于說明目的，這些模塊之間可以互相交流信息以執(zhí)行相應(yīng)的操作。圖像數(shù)據(jù)模塊302可被配置來收集、存儲(chǔ)和應(yīng)用某些數(shù)據(jù)以建立一個(gè)醫(yī)學(xué)主體150的3D模型，其可能是手術(shù)目標(biāo)或手術(shù)部位，如人體(例如，一個(gè)病人)或人體器官。這樣的數(shù)據(jù)可以包括患者的手術(shù)部位的立體結(jié)構(gòu)信息和特征信息。其中立體結(jié)構(gòu)信息是指該手術(shù)部位各個(gè)細(xì)節(jié)的三維空間坐標(biāo)描述。例如，在一個(gè)胃手術(shù)中，手術(shù)部位(S卩，胃)可以被劃分成幾個(gè)部分，如賁門、胃底、胃體、胃竇、和幽門，立體結(jié)構(gòu)信息包括這些部分內(nèi)包含的細(xì)節(jié)部位的空間坐標(biāo)信息，比如說胃竇上面依附的血管的空間分布區(qū)域(坐標(biāo))，比如說胃體的胃壁上粘膜層、粘膜下層、肌層、漿膜層，的空間分布區(qū)域信息，總之立體結(jié)構(gòu)信息包括根據(jù)手術(shù)內(nèi)容的需要對手術(shù)部位的詳細(xì)的空間刻畫。另外，特性信息是指手術(shù)部位的生理特性信息。例如，胃壁上的粘膜層的特征信息包括其是什么顏色的、其材質(zhì)是骨骼還是脂肪或是其他、其柔韌度的強(qiáng)度有多大等。血管的特征信息包括里面的血壓有多大、里面的血液流動(dòng)速度是多少、血管壁的柔韌度有多強(qiáng)等?？傊卣餍畔⑹前ㄊ中g(shù)部位的生理特點(diǎn)的詳細(xì)描述。根據(jù)虛擬手術(shù)的要求，立體結(jié)構(gòu)信息和特征信息互相結(jié)合來描述和描繪一個(gè)特定的手術(shù)部位(例如，胃)。上述立體結(jié)構(gòu)信息和特征信息的數(shù)據(jù)采集可以用計(jì)算機(jī)3D空間建模并根據(jù)經(jīng)驗(yàn)給定特征信息值；或利用醫(yī)療器械對實(shí)際病人進(jìn)行多次的2D掃描(需要3D空間結(jié)構(gòu)復(fù)原)或一次的3D掃描來獲得手術(shù)部位的空間結(jié)構(gòu)信息。另外，也可通過做一些醫(yī)學(xué)檢查(比如說測量血壓，血脂等)結(jié)合病人的基本情況(比如說性別，年齡等)以及一些醫(yī)學(xué)經(jīng)驗(yàn)給出特征信息值。此外，圖像數(shù)據(jù)模塊302還可以被配置來提供一個(gè)手術(shù)部位的初始的數(shù)據(jù)模型，用于一個(gè)特定需要手術(shù)的疾病。更具體地說，在獲得立體結(jié)構(gòu)信息和特征信息之后，手術(shù)部位的三維模型就可以建成；有了這個(gè)三維模型后，一個(gè)特定疾病的空間信息和特性信息，例如腫瘤或胃穿孔，就可以和手術(shù)部位的三維模型相結(jié)合以獲得針對特定疾病的手術(shù)部位的3D圖像。返回到圖3，虛擬操作模塊304可以被配置來處理和控制操作筆130，以實(shí)現(xiàn)基于操作筆130的虛擬手術(shù)。圖4示出一個(gè)示意操作筆130。如圖4所示，操作筆130可以包括外殼131、可伸縮頭部132、通信單元133、定位單元134、力反饋單元135和伸縮感應(yīng)單元136。當(dāng)然，某些組件可以被省略，而其他組件可以被添入。例如，操作筆130也可以包括一些輔助部件，如電池和充電單元(未示出)等，或操作筆130根據(jù)不同的應(yīng)用可能會(huì)被修改或簡化。外殼131可以是任何易于把持的形狀，如筆狀或棒狀，并且可以由任何合適的材料制成，如金屬或塑料?？缮炜s頭部132以可伸縮的方式與外殼131連接，并可以使用各種可伸縮的結(jié)構(gòu)，諸如以彈簧為基礎(chǔ)的架構(gòu)。另外，可伸縮頭部132用于碰觸3D顯示屏的部位稱之為接觸部，可伸縮頭部132遠(yuǎn)離外殼131的一端設(shè)計(jì)為一尖端，將該尖端作為可伸縮頭部132的接觸部，也可以稱之為操作筆130的觸點(diǎn)。通信單元133與定位單元134、力反饋單元135和伸縮感應(yīng)單元136電連接，用于實(shí)現(xiàn)操作筆130與3D系統(tǒng)控制器120之間的信息交互。該信息交互可以采用無線通信方式如藍(lán)牙，無線USB等，也可以采用有線通信方式，如I2C，USB等。定位單元134被配置為檢測在實(shí)時(shí)的位置和姿態(tài)，在空間中的操作筆130，和用于傳輸?shù)耐ㄐ艈卧?33發(fā)送所檢測到的三維位置信息。定位單元134可以包括若干傳感器，如運(yùn)動(dòng)軌跡傳感器和姿態(tài)檢測傳感器。例如，陀螺儀傳感器可以用于獲得運(yùn)動(dòng)軌跡數(shù)據(jù)(例如，在空間中的操作筆130的位置信息)，同時(shí)，也可以使用一個(gè)加速度計(jì)獲得的方位角數(shù)據(jù)(例如，操作筆130的手勢信息)。其它傳感器也可使用，如地磁傳感器和攝像頭。例如，運(yùn)動(dòng)軌跡數(shù)據(jù)可以通過至少兩個(gè)攝像頭來獲得，或者運(yùn)動(dòng)軌跡數(shù)據(jù)可以通過一個(gè)陀螺傳感器結(jié)合至少一個(gè)攝像頭來獲得。定位單元134被配置來實(shí)時(shí)檢測操作筆130在空間中的位置和姿態(tài)，并將檢測到的三維位置信息傳送給通信單元133發(fā)送。該定位單元134可以包括若干傳感器，如運(yùn)動(dòng)軌跡傳感器和姿態(tài)檢測傳感器。例如，陀螺儀傳感器可以用于獲得運(yùn)動(dòng)軌跡數(shù)據(jù)(例如，在空間中的操作筆130的位置信息)，同時(shí)，也可以使用一個(gè)加速度計(jì)獲得方位角數(shù)據(jù)(例如，操作筆130的姿態(tài)信息)。當(dāng)然，也可使用其它傳感器，如地磁傳感器。當(dāng)操作筆130處于初始狀態(tài)下，其運(yùn)動(dòng)軌跡的初始位置可以被設(shè)置為定位單元134 (或其他單位)在參照系中的相對位置。定位單元134檢測到的三維位置信息可以是三維位置信息和姿態(tài)信息以及其他計(jì)算的信息，如操作筆130尖端的三維位置信息或根據(jù)三維位置和姿態(tài)的信息計(jì)算出的中間結(jié)果。基于由通信單元133接收的力反饋指令，力反饋單元135被配置來執(zhí)行模擬力反饋的操作，即對某些用戶動(dòng)作的物理反應(yīng)。例如，力反饋單元135可包括一個(gè)電子機(jī)械模塊以便在接收力反饋指令后模擬一個(gè)真實(shí)按鈕被按壓的震動(dòng)，使得操作者能夠身歷其境地感受到3D界面的操作，以產(chǎn)生沉浸感。該電子機(jī)械模塊可以是電動(dòng)震動(dòng)馬達(dá)、人造肌肉膜或者是其他的模擬震動(dòng)裝置。伸縮感應(yīng)單元136被配置來實(shí)時(shí)檢測操作筆130頭部的縮進(jìn)長度(即可伸縮頭部132的縮進(jìn)距離)，并將檢測到的縮進(jìn)長度的信息傳送給通信單元133發(fā)送。其伸縮感應(yīng)操作可以采用壓力傳感器來實(shí)現(xiàn)。例如，可伸縮頭部132可包括操作筆130尖端和一個(gè)耦合在尖端和壓力傳感器之間的一個(gè)彈性裝置，例如彈簧。當(dāng)操作筆130尖端的伸縮長度變化的時(shí)候，彈性裝置在壓力傳感器上的壓力也發(fā)生變化，伸縮感應(yīng)單元136就可以把壓力信息轉(zhuǎn)換成相應(yīng)的電信號，并把轉(zhuǎn)換后的信息傳送給通信單元133發(fā)送。因此，操作筆130的可伸縮頭部132的縮回長度就可以在該電信號的數(shù)值的基礎(chǔ)上加以確定。當(dāng)然，這里也可以使用其它的檢測結(jié)構(gòu)，例如光電探測器。返回到圖3，在操作中，虛擬操作模塊304可以執(zhí)行特定的程序，以處理來自操作筆130的數(shù)據(jù)(例如，操作筆130的三維位置信息和姿態(tài)信息)和控制操作筆130實(shí)現(xiàn)虛擬手術(shù)操作。在某些實(shí)施例中，用戶可以同時(shí)使用一個(gè)以上的操作筆130來模擬一個(gè)以上的手術(shù)裝置。圖5示出由虛擬操作模塊304 (或連同操作筆130)執(zhí)行的示意步驟或程序。這些列出的步驟或程序并沒有任何特定的順序或序列，并且某些步驟或程序可以是可選的。如圖5所示，當(dāng)用于醫(yī)療虛擬手術(shù)時(shí)，操作筆130的操作模式可以在虛擬手術(shù)開始之前來確定(502)。例如，操作筆130可以被預(yù)先配置成所希望的手術(shù)裝置，即，外科手術(shù)器械。圖6示出了示例性的預(yù)配置的操作筆130。如圖6所示，當(dāng)把操作筆130預(yù)先配置成手術(shù)裝置的時(shí)候，手術(shù)裝置的形狀首先被確定。外科器械或外科手術(shù)裝置的形狀可包括各種類型的手術(shù)刀、不同類型的手術(shù)鑷子、和不同類型的手術(shù)用止血鉗等。同時(shí)，手術(shù)裝置的大小也可以被確定。手術(shù)裝置的大小是指根據(jù)場景的需要可以放大或縮小手術(shù)裝置，比如說當(dāng)進(jìn)行微創(chuàng)手術(shù)時(shí)，根據(jù)需要需將手術(shù)部位放大顯示，此時(shí)的手術(shù)裝置也需要放大相同的倍數(shù)，以更接近實(shí)際手術(shù)。預(yù)配置的手術(shù)裝置(包括其形狀和尺寸)在虛擬手術(shù)過程中被作為手術(shù)裝置140 (圖2)顯示給用戶并工用戶選擇。返回到圖5，當(dāng)用戶使用操作筆13并且操作筆130接觸3D顯示屏，畫面，操作筆在顯示屏上的接觸點(diǎn)的坐標(biāo)可以實(shí)時(shí)獲取(504)。圖7示出XYZ三維坐標(biāo)系統(tǒng)中的操作筆接觸點(diǎn)。如圖7所示，當(dāng)操作筆130在接觸點(diǎn)C接觸顯示屏?xí)r，接觸點(diǎn)C的平面坐標(biāo)可以使用3D顯示屏的觸摸感應(yīng)裝置來實(shí)時(shí)獲得。如果顯示屏的平面被定義為一個(gè)z=0的空間坐標(biāo)系中的平面，接觸點(diǎn)C也可以被表示為空間坐標(biāo)。另外，參照圖5和圖7，使用操作筆130上的感應(yīng)裝置(例如，陀螺儀或地磁傳感器)或其他裝置(例如，監(jiān)視攝像機(jī))，可以實(shí)時(shí)獲取操作筆130的空間操作角度(506)。例如，操作筆130的空間操作角度可以被確定為操作筆相對于的X，y, z軸的角度。另外，使用操作筆130 (例如，陀螺儀)或其他裝置上使用的旋轉(zhuǎn)感測裝置，操作筆130的旋轉(zhuǎn)操作可以被確定(508)。例如，當(dāng)操作筆130的操作模式是與具有固定的尺寸和形狀的手術(shù)刀，手術(shù)刀刃方向?yàn)槌跏蓟瘯r(shí)設(shè)定的方向，通過轉(zhuǎn)動(dòng)操作筆130可以來實(shí)現(xiàn)轉(zhuǎn)動(dòng)手術(shù)刀改變刀刃朝向。此外，根據(jù)在操作筆和3D顯示屏之間的接觸點(diǎn)C上所感測的接觸力，操作筆130的回縮程度可以實(shí)時(shí)計(jì)算出來(510)。操作筆130上任何點(diǎn)的回縮程度(或回縮值)可以表示為該點(diǎn)的Z坐標(biāo)值。例如,在點(diǎn)C處的接觸力(或反饋力)越大,該點(diǎn)的Z坐標(biāo)值就越小，即從3D顯示屏凹進(jìn)更遠(yuǎn)。同樣地，在點(diǎn)C處的接觸力越小，該點(diǎn)的Z坐標(biāo)值就越大，即越接近3D顯示屏。當(dāng)不存在接觸力或接觸力低于預(yù)定閾值，所述虛擬手術(shù)裝置就不會(huì)出現(xiàn)在虛擬場景中的顯示屏上。當(dāng)有接觸力或接觸力是預(yù)定的閾值以上，所述虛擬手術(shù)裝置根據(jù)其收縮程度就會(huì)被顯示在顯示屏上。接觸力或反饋力的值可以由顯示屏上的壓力傳感裝置得至IJ，或由操作筆130的收縮比等得到。另外，可以通過操作筆130上某一或幾個(gè)特定區(qū)域的力反饋來控制虛擬手術(shù)裝置的工作方式或操作方式(512)。例如，一個(gè)或多個(gè)按鈕(或虛擬按鍵)可以被配置在操作筆的操作模式中。對于手術(shù)用鑷子在手術(shù)過程中執(zhí)行“夾住”和“張開”的動(dòng)作，可以設(shè)置一個(gè)執(zhí)行“張開”操作的虛擬按鍵。當(dāng)“張開”按鈕被按下時(shí)，虛擬手術(shù)設(shè)備(即，一個(gè)虛擬手術(shù)鑷子)可能會(huì)執(zhí)行“張開”操作。其執(zhí)行“張開”操作的速度和時(shí)間與按鍵的力度和時(shí)間相關(guān)。另外，還可以設(shè)置一個(gè)執(zhí)行“夾住”操作的虛擬按鍵，按下該功能鍵時(shí)虛擬的鑷子執(zhí)行“夾住”的操作，其執(zhí)行“夾住”操作的速度和時(shí)間與按鍵的力度和時(shí)間相關(guān)。當(dāng)然，“張開”和“夾住”操作不能無限操作，其有最大的張開角度和夾住角度界限控制。這些虛擬功能鍵會(huì)根據(jù)操作筆130預(yù)先設(shè)定的工作模式自動(dòng)切換。手術(shù)裝置的操作力強(qiáng)度可以通過操作筆130上某一特定的區(qū)域的力反饋來控制(514)。例如，如果操作筆130的操作模式是手術(shù)刀，用手術(shù)刀切割脂肪組織的力強(qiáng)度和用于切割的骨骼結(jié)構(gòu)的力強(qiáng)度是不同的。用戶在操作筆130的預(yù)定區(qū)域的握住程度可以表明使用手術(shù)刀的力強(qiáng)度，并且，從預(yù)定區(qū)域的力反饋也和手術(shù)刀上所施加的力成比例。另外，操作筆130可以裝有觸覺反饋裝置。通過控制觸覺反饋裝置，可以根據(jù)虛擬手術(shù)裝置和手術(shù)目標(biāo)或手術(shù)部位的3D內(nèi)容的具體交互給予相應(yīng)的觸覺反饋(516)。例如，如果虛擬手術(shù)刀在切割脂肪組織意外切到骨結(jié)構(gòu)時(shí)，操作筆130發(fā)出振動(dòng)把觸覺反饋給用戶。返回到圖3，3D系統(tǒng)控制器120還包括一個(gè)3D顯示模塊306被配置來控制在初始配置和實(shí)時(shí)運(yùn)行過程中的3D訓(xùn)練系統(tǒng)100的3D顯示功能。例如，3D顯示模塊306可以實(shí)現(xiàn)帶眼鏡的3D顯示方式，需要通過左右眼分別觀看兩個(gè)獨(dú)立鏡筒，定點(diǎn)裸眼3D方式或者帶跟蹤的裸眼3D方式，或者全息3D顯示的方式等等。出于方便說明的目的，這里采取通過眼部跟蹤的裸眼3D方式。3D顯示模塊306可以包括各種模塊和單元來實(shí)現(xiàn)這些3D顯示功能。圖8示出了一個(gè)不意3D顯不模塊306。如圖8所示，3D顯示模塊306可以包括一個(gè)3D顯示場景控制模塊810、一個(gè)三維顯示控制模塊820、和一個(gè)三維渲染模塊830。3D顯示場景控制模塊810可以包括視差控制單元811、場景旋轉(zhuǎn)和移位單元812、放大和縮小單元813。3D顯示控制模塊820可以包括頭部(眼部)跟蹤單元821和播放器單元822。3D渲染模塊830可以包括手術(shù)部位渲染單元831、手術(shù)裝置操作渲染單元832、和手術(shù)場景渲染單元833。當(dāng)然，其他模塊/單元可以加入，并且某些模塊/單元可以被省略。該3D顯示控制模塊820可以被配置來控制3D圖像的顯示。例如，由于在醫(yī)療訓(xùn)練系統(tǒng)的3D顯示內(nèi)容都是虛擬內(nèi)容(S卩，從顯示屏凹進(jìn))，包括手術(shù)部位和手術(shù)裝置。3D顯示控制模塊820可以使用運(yùn)動(dòng)視差來實(shí)現(xiàn)全息效果。也就是說，根據(jù)頭部跟蹤單元821獲得的雙眼觀看實(shí)時(shí)空間位置，3D顯示控制模塊820可以計(jì)算此時(shí)左右眼看到的左右圖。左圖像和右圖像可表示手術(shù)部位和手術(shù)裝置的空間場景信息按照左眼和右眼的觀看角度的分別投影。計(jì)算出的左圖像和右圖像被實(shí)時(shí)發(fā)送到播放器單元822進(jìn)行排圖。播放器單元822可以是兩圖播放器(S卩，左圖像和右圖像)，或者可以是多圖播放器。這些圖像按一定的方式進(jìn)行排布來實(shí)現(xiàn)一個(gè)全息效果，即用戶從不同的角度觀看可以看到不一樣的內(nèi)容。3D顯示場景控制模塊810可以被配置來控制實(shí)時(shí)顯示操作場景，如對手術(shù)部位和手術(shù)裝置的顯示。例如，視差控制單元811可以控制3D顯示內(nèi)容的凸出和凹進(jìn)的程度；場景旋轉(zhuǎn)和移位單元812可根據(jù)虛擬手術(shù)的要求來確定顯示場景的旋轉(zhuǎn)和/或移動(dòng)，并對相應(yīng)的3D顯示內(nèi)容的旋轉(zhuǎn)和/或移動(dòng)進(jìn)行控制。此外，放大和縮小單元813可以根據(jù)虛擬手術(shù)的手術(shù)部位來確定放大或縮小顯示場景的比例因子，并控制對手術(shù)場景的放大或縮小。同時(shí)，放大和縮小單元813也可以應(yīng)用相同的縮放因子來放大或縮小手術(shù)裝置以匹配手術(shù)部位的放大或縮小操作。此外，3D渲染模塊830可以被配置來產(chǎn)生有虛擬操作的特殊效果的渲染圖像。例如，手術(shù)部位渲染單元831可實(shí)時(shí)呈現(xiàn)虛擬手術(shù)中的手術(shù)部位的空間圖像。手術(shù)裝置操作渲染單元832可呈現(xiàn)具有特定的操作模式和操作條件的手術(shù)裝置的空間圖像。
手術(shù)場景渲染單元833可以呈現(xiàn)在用戶交互(即，虛擬手術(shù))過程中的某些操作場景的空間圖像。例如，手術(shù)場景渲染單元833可呈現(xiàn)三維操作過程中的一個(gè)偶發(fā)事件的空間圖像。也就是說，在一個(gè)虛擬的手術(shù)過程中，當(dāng)操作筆或手術(shù)裝置與3D顯示內(nèi)容進(jìn)行交互時(shí)，某些沒有預(yù)料的手術(shù)裝置和3D顯示內(nèi)容之間的接觸可能會(huì)觸發(fā)某些事件或意外事件，其需要被渲染并顯示給用戶。例如，如果操作筆130的操作模式是手術(shù)刀，在虛擬手術(shù)過程中，3D渲染模塊830可以檢測到虛擬手術(shù)刀切到血管，即，手術(shù)刀刀刃的空間坐標(biāo)與血管的空間坐標(biāo)有重疊。檢測到這樣的重疊后，3D渲染模塊830可以觸發(fā)一個(gè)偶發(fā)事件，然后手術(shù)場景渲染單元833就可以呈現(xiàn)血管被切割的操作場景的空間圖像，比如血管周圍的形狀和顏色的變化，來模擬血管受損的效果。返回到圖3，3D系統(tǒng)控制器120還可以包括一個(gè)控制模塊308，其被配置來控制3D系統(tǒng)控制器120內(nèi)的模塊的操作和/或訓(xùn)練系統(tǒng)100內(nèi)的其他模塊和設(shè)備的操作。即，控制模塊308可以執(zhí)行特定的程序以實(shí)施立體訓(xùn)練系統(tǒng)100的虛擬手術(shù)功能(或其他訓(xùn)練功能)。圖9示出了與所公開的實(shí)施例相一致的示意操作過程。如圖9所示，在操作過程的起始，3D訓(xùn)練系統(tǒng)可以初始化一個(gè)虛擬醫(yī)療訓(xùn)練課程。具體而言，3D訓(xùn)練系統(tǒng)獲取一個(gè)用戶輸入請求開始醫(yī)療訓(xùn)練課程，例如一個(gè)虛擬手術(shù)。用戶也可輸入選擇手術(shù)目標(biāo)、手術(shù)部位、手術(shù)條件等。在接收用戶輸入之后，3D訓(xùn)練系統(tǒng)100可以獲得手術(shù)目標(biāo)、手術(shù)部位、以及手術(shù)條件的3D顯示內(nèi)容等，并且也可以把3D顯示內(nèi)容顯示給用戶(作為一個(gè)醫(yī)療主體)。同時(shí),3D訓(xùn)練系統(tǒng)100可以獲取用戶對操作筆130的配置，如操作筆130的操作模式、操作方式、和其他配置，這樣操作筆130就可以配置成所希望的手術(shù)裝置。初始化之后,通過操作操作筆130和3D訓(xùn)練系統(tǒng)100的3D顯示內(nèi)容來進(jìn)行交互，用戶就可以開始手術(shù)課程。3D訓(xùn)練系統(tǒng)100可以獲取用戶交互的輸入。例如，3D訓(xùn)練系統(tǒng)100可以從操作筆130(例如，通信單元133)，取得不同的位置、力反饋、和空間信息，并可以獲得操作筆130和3D顯示屏之間接觸點(diǎn)的各種在顯示屏上的坐標(biāo)。醫(yī)療訓(xùn)練課程可能使用從3D顯示屏凹進(jìn)的3D顯示內(nèi)容，并且用戶可以使用操作筆130的觸摸操作來執(zhí)行虛擬醫(yī)療操作的各種操作。在觸摸操作中，操作筆100的頂部接觸顯示屏，3D訓(xùn)練系統(tǒng)100可確定頂部的回縮程度，以及操作筆130的姿勢及其他空間信肩、O特別地，3D訓(xùn)練系統(tǒng)100可確定操作筆130的操作模式、操作筆130和顯示屏之間的接觸點(diǎn)的實(shí)時(shí)坐標(biāo)、操作筆130實(shí)時(shí)空間操作角度、操作筆130回縮程度和力反饋、虛擬手術(shù)裝置或設(shè)備的操作方式、手術(shù)裝置的操作力強(qiáng)度、手術(shù)裝置的觸覺反饋。基于這些信息，3D培訓(xùn)系統(tǒng)100可以計(jì)算手術(shù)裝置的空間位置和狀態(tài)信息。例如，如果工作模式是手術(shù)刀，手術(shù)刀的各個(gè)部分的空間位置可以計(jì)算出來，包括手術(shù)刀刀刃的空間姿勢和朝向。然后，虛擬手術(shù)刀就可以在3D顯示屏上以凹入方式顯示，并跟從基于操作筆130的用戶交互。操作方式、力強(qiáng)度、和力反饋也可用于計(jì)算用戶的操作力度和速度等。另外，基于用戶交互和手術(shù)部位3D顯示內(nèi)容，3D訓(xùn)練系統(tǒng)100可以確定的操作結(jié)果。這種操作結(jié)果可包括由用戶交互(即，操作手術(shù)裝置)形成的正常手術(shù)，還可以包括一個(gè)用戶的無意交互而形成的偶發(fā)手術(shù)(即，無意中切割其他組織)。操作結(jié)果可以相關(guān)于各種圖像和其他媒介數(shù)據(jù)，比如聲音。這些圖像和其他媒介數(shù)據(jù)可以隨后被檢索獲取并提交給用戶。為了把操作結(jié)果呈現(xiàn)給用戶，3D訓(xùn)練系統(tǒng)100可以渲染操作結(jié)果的3D圖像。例如，3D訓(xùn)練系統(tǒng)100可以根據(jù)手術(shù)部位的3D圖像和操作結(jié)果來渲染手術(shù)部位的手術(shù)結(jié)果的3D圖像。在3D圖像渲染后，所渲染的3D圖像可在3D顯示屏上被顯示給用戶。此外，3D訓(xùn)練系統(tǒng)100可以確定虛擬訓(xùn)練課程是否完成。如果3D訓(xùn)練系統(tǒng)100判斷虛擬訓(xùn)練課程還未完成，則程序繼續(xù)進(jìn)行。另一方面，如果3D訓(xùn)練系統(tǒng)100判斷虛擬訓(xùn)練課程已經(jīng)完成，可選地，3D訓(xùn)練系統(tǒng)100可以進(jìn)一步將虛擬訓(xùn)練課程的結(jié)果顯示給用戶，所述結(jié)果包括手術(shù)操作結(jié)果和/或用戶剛完成的虛擬訓(xùn)練課程的統(tǒng)計(jì)數(shù)據(jù)。通過使用公開的系統(tǒng)和方法，可以實(shí)現(xiàn)許多新的3D用戶交互和培訓(xùn)的應(yīng)用。這樣，在互動(dòng)或控制的立體醫(yī)療或其他培訓(xùn)課程時(shí)，用戶可以有更真實(shí)的體驗(yàn)。其它有利的應(yīng)用、修改、替換、以及改進(jìn)也是為本技術(shù)領(lǐng)域的一般技術(shù)人員顯而易見的。
權(quán)利要求
1.一種用于3D虛擬訓(xùn)練系統(tǒng)的方法，該3D虛擬訓(xùn)練系統(tǒng)包括一個(gè)3D顯示屏和一個(gè)操作裝置，其特征在于，該方法包括: 初始化一個(gè)虛擬醫(yī)療訓(xùn)練課程并由所述3D顯示屏顯示，顯示內(nèi)容至少包括手術(shù)部位的3D虛擬圖像； 獲得基于操作裝置和3D顯示屏的用戶交互輸入，在3D顯示屏上顯示出虛擬手術(shù)裝置及由虛擬手術(shù)裝置對手術(shù)部位進(jìn)行的虛擬手術(shù)操作； 根據(jù)用戶交互輸入和手術(shù)部位來確定一個(gè)操作結(jié)果； 根據(jù)手術(shù)部位和虛擬手術(shù)操作的效果來渲染操作結(jié)果； 由3D顯示屏顯示經(jīng)渲染的操作結(jié)果的3D虛擬圖像。
2.根據(jù)權(quán)利要求1所 述的用于3D虛擬訓(xùn)練系統(tǒng)的方法，其特征在于，所述獲得基于操作裝置和3D顯示屏的用戶交互輸入的步驟包括: 配置操作裝置的操作模式，從而調(diào)整3D顯示屏上顯示的虛擬手術(shù)裝置的形狀、類型、和大小中的至少一個(gè)。
3.根據(jù)權(quán)利要求1所述的用于3D虛擬訓(xùn)練系統(tǒng)的方法，其特征在于，所述獲得基于操作裝置和3D顯示屏的用戶交互輸入的步驟包括: 確定操作裝置和3D顯示屏之間的接觸點(diǎn)的空間位置； 確定操作裝置的空間操作角度； 確定操作裝置的旋轉(zhuǎn)操作。
4.根據(jù)權(quán)利要求1所述用于3D虛擬訓(xùn)練系統(tǒng)的方法，其特征在于，所述獲得基于操作裝置和3D顯示屏的用戶交互輸入的步驟還包括: 感測在操作裝置和3D顯示屏幕之間的接觸點(diǎn)的接觸力； 根據(jù)接觸力計(jì)算出操作裝置相對于3D顯示屏的回縮程度。
5.根據(jù)權(quán)利要求4所述的用于3D虛擬訓(xùn)練系統(tǒng)的方法，其特征在于，所述獲得基于操作裝置和3D顯示屏的用戶交互輸入的步驟還包括: 設(shè)置所述接觸力的閾值； 當(dāng)所述接觸力高于所述閾值時(shí)，在3D顯示屏上顯示基于回縮程度的所述虛擬手術(shù)裝置。
6.根據(jù)權(quán)利要求1所述的用于3D虛擬訓(xùn)練系統(tǒng)的方法，其特征在于，所述獲得基于操作裝置和3D顯示屏的用戶交互輸入的步驟包括: 根據(jù)操作裝置的一個(gè)或多個(gè)預(yù)定區(qū)域的力反饋來控制虛擬手術(shù)裝置的操作方式或操作力強(qiáng)度。
7.根據(jù)權(quán)利要求1所述的用于3D虛擬訓(xùn)練系統(tǒng)的方法，其特征在于，所述根據(jù)手術(shù)部位和手術(shù)操作的效果來渲染操作結(jié)果的步驟包括: 根據(jù)手術(shù)部位來確定虛擬手術(shù)操作的顯示場景的縮放因子； 利用縮放因子來控制顯示場景和/或虛擬手術(shù)裝置的放大或縮小操作，使得所述虛擬手術(shù)裝置和顯示場景相匹配。
8.根據(jù)權(quán)利要求1所述的用于3D虛擬訓(xùn)練系統(tǒng)的方法，其特征在于，所述根據(jù)用戶交互輸入和手術(shù)部位來確定一個(gè)操作結(jié)果的步驟包括: 基于用戶交互輸入確定虛擬手術(shù)裝置的空間位置；確定對應(yīng)虛擬手術(shù)裝置的手術(shù)部位的空間位置； 對比虛擬手術(shù)裝置的空間位置和對應(yīng)的手術(shù)部位的空間位置； 基于對比結(jié)果觸發(fā)一個(gè)操作事件； 確定由所述操作事件引起的操作結(jié)果。
9.根據(jù)權(quán)利要求1所述的用于3D虛擬訓(xùn)練系統(tǒng)的方法，其特征在于，顯示內(nèi)容還包括: 虛擬手術(shù)操作和虛擬醫(yī)療訓(xùn)練課程的結(jié)果的統(tǒng)計(jì)數(shù)據(jù)。
10.一個(gè)3D虛擬訓(xùn)練系統(tǒng)，包括: 一個(gè)3D顯不屏； 一個(gè)3D系統(tǒng)控制器； 一個(gè)耦合到3D系統(tǒng)控制器并交換交互數(shù)據(jù)的操作裝置， 所述3D系統(tǒng)控制器包括:圖像數(shù)據(jù)模塊、虛擬操作模塊、3D顯示模塊、以及控制模塊，其中: 圖像數(shù)據(jù)模塊，用于初始化一個(gè)虛擬醫(yī)療訓(xùn)練課程并在顯示模塊的控制下由3D顯示屏顯示，顯示內(nèi)容至少包括手術(shù)部位的3D虛擬圖像； 虛擬操作模塊，用于獲得基于操作裝置和3D顯示屏的用戶交互輸入，經(jīng)虛擬操作模塊的處理后在3D顯示屏上顯示出虛擬手術(shù)裝置及由虛擬手術(shù)裝置對手術(shù)部位進(jìn)行的虛擬手術(shù)操作，根據(jù)用戶交互輸入和手術(shù)部位來確定一個(gè)操作結(jié)果； 3D顯示模塊，用于根據(jù)手術(shù)部位和虛擬手術(shù)操作的效果來渲染操作結(jié)果，由3D顯示屏顯示經(jīng)渲染的操作結(jié)果的3D虛擬圖像； 控制模塊，用于配置和控制3D系統(tǒng)控制器內(nèi)的圖像數(shù)據(jù)模塊、虛擬操作模塊、3D顯示模塊。
11.根據(jù)權(quán)利要求10所述的3D虛擬訓(xùn)練系統(tǒng)，其特征在于，虛擬操作模塊用于: 配置操作裝置的操作模式，從而調(diào)整3D顯示屏上顯示的虛擬手術(shù)裝置的形狀、類型和大小中的至少一個(gè)。
12.根據(jù)權(quán)利要求10所述的3D虛擬訓(xùn)練系統(tǒng)，其特征在于，虛擬操作模塊，用于執(zhí)行至少以下三種操作中的一種: 確定操作裝置和3D顯示屏之間的接觸點(diǎn)的空間位置； 確定操作裝置的空間操作角度； 確定操作裝置的旋轉(zhuǎn)操作。
13.根據(jù)權(quán)利要求10所述的3D虛擬訓(xùn)練系統(tǒng)，其特征在于，虛擬操作模塊用于: 感測在操作裝置和3D顯示屏幕之間的接觸點(diǎn)的接觸力； 根據(jù)接觸力計(jì)算出操作裝置相對于3D顯示屏的回縮程度。
14.根據(jù)權(quán)利要求13所述的3D虛擬訓(xùn)練系統(tǒng)，其特征在于，虛擬操作模塊用于: 設(shè)置所述接觸力的閾值； 當(dāng)接觸力高于所述閾值時(shí)，在3D顯示屏上顯示基于回縮程度的虛擬手術(shù)裝置。
15.根據(jù)權(quán)利要求10所述的3D虛擬訓(xùn)練系統(tǒng)，其特征在于，虛擬操作模塊用于: 根據(jù)手術(shù)部位來確定虛擬手術(shù)操作的顯示場景的縮放因子； 利用縮放因子來控制顯示場景和/或虛擬手術(shù)裝置的放大或縮小操作，使得所述虛擬手術(shù)裝置和顯示場景相匹配。
16.根據(jù)權(quán)利要求10所述的3D虛擬訓(xùn)練系統(tǒng)，其特征在于，虛擬操作模塊用于: 基于用戶交互輸入確定虛擬手術(shù)裝置的空間位置； 確定對應(yīng)虛擬手術(shù)裝置的手術(shù)部位的空間位置； 對比虛擬手術(shù)裝置的空間位置和對應(yīng)的手術(shù)部位的空間位置； 基于對比結(jié)果觸發(fā)一個(gè)操作事件； 確定由所述操作事件引起的操作結(jié)果。
17.根據(jù)權(quán)利要求10所述的3D虛擬訓(xùn)練系統(tǒng)，其特征在于，3D顯示模塊用于: 統(tǒng)計(jì)在虛擬手術(shù)操作和 虛擬醫(yī)療訓(xùn)練課程的結(jié)果的數(shù)據(jù)而顯示。
全文摘要
本發(fā)明提供了一種用于3D虛擬訓(xùn)練系統(tǒng)的方法及系統(tǒng)，該3D虛擬訓(xùn)練系統(tǒng)包括一個(gè)3D顯示屏和一個(gè)操作裝置。該方法包括初始化一個(gè)虛擬醫(yī)療訓(xùn)練課程并由所述3D顯示屏顯示，顯示內(nèi)容至少包括手術(shù)部位的3D虛擬圖像；獲得基于操作裝置和3D顯示屏的用戶交互輸入，在3D顯示屏上顯示出虛擬手術(shù)裝置及由虛擬手術(shù)裝置對手術(shù)部位進(jìn)行的虛擬手術(shù)操作；根據(jù)用戶交互輸入和手術(shù)部位來確定的一個(gè)操作結(jié)果；根據(jù)手術(shù)部位和虛擬手術(shù)操作的效果來渲染操作結(jié)果；由3D顯示屏顯示經(jīng)渲染的操作結(jié)果的3D虛擬圖像。本發(fā)明的實(shí)施例通過對3D虛擬訓(xùn)練系統(tǒng)的信息交互，提供一種結(jié)合立體顯示來進(jìn)行操作的立體虛擬培訓(xùn)系統(tǒng)和方法，從而提高了交互效果。
文檔編號G09B9/00GK103077633SQ201310011150
公開日2013年5月1日 申請日期2013年1月11日 優(yōu)先權(quán)日2013年1月11日
發(fā)明者簡培云, 李東方, 劉寧, 戈張, 宋磊 申請人:深圳超多維光電子有限公司