本發(fā)明為一種基于虛擬現(xiàn)實技術(shù)的人機交互系統(tǒng)，尤其涉及到在虛擬場景中完整展示從內(nèi)到外的3D人體解剖數(shù)字模型，并且能夠進行交互的人體解剖交互系統(tǒng)。

背景技術(shù)：

人機交互技術(shù)是目前用戶界面技術(shù)中發(fā)展迅速的領(lǐng)域之一，現(xiàn)已獲得大量研究成果，包括側(cè)重于多媒體技術(shù)的觸摸式顯示屏、可折疊電子書顯示屏、3D顯示器和視網(wǎng)膜成像顯示器等等。虛擬現(xiàn)實作為一門新興人機交互技術(shù)，具有更廣闊的應用前景。虛擬現(xiàn)實(Virtual Reality，簡稱VR)技術(shù)是80年代隨著計算機圖形仿真技術(shù)的深入研究而發(fā)展起來的一個新的研究領(lǐng)域，人們利用它在計算機系統(tǒng)上創(chuàng)建和體驗虛擬世界。虛擬世界是全體虛擬環(huán)境(Virtual Environment簡稱VE)或給定仿真對象的全體，而虛擬環(huán)境由計算機產(chǎn)生，通過視、聽、觸覺等作用于用戶使之產(chǎn)生身臨其境感覺的交互式視覺仿真系統(tǒng)。通常虛擬現(xiàn)實系統(tǒng)由智能眼鏡、控制單元、人體動作捕捉單元等組成，但在互動性和視覺呈現(xiàn)上效果不佳。

現(xiàn)有的虛擬現(xiàn)實技術(shù)在醫(yī)學領(lǐng)域中的應用，主要是利用X射線計算機斷層成像(CT)、核磁共振(MRI)等醫(yī)學影像技術(shù)，對人體活體或尸體進行全方位的掃描，從而獲取人體組織器官信息，再通過三維重建直接建立掃描的人體模型，應用虛擬現(xiàn)實技術(shù)和設備將虛擬模型呈現(xiàn)在場景之中，使用戶在場景中看到一個三維還原的掃描人體結(jié)構(gòu)。但這樣的人體結(jié)構(gòu)在不同個體之間或活體與尸體之間都存在個體差異性，例如掃描的活體對象偏胖或偏瘦，組織器官存在病變，又如尸體在掃描時，存在和活體時的差異，加之經(jīng)過了物理和化學處理，松懈程度會增大，從而產(chǎn)生更大的形變。因此直接通過三維掃描重建出來的人體結(jié)構(gòu)對真正意義上的模型應用效果有限，無法以點蓋面地作為標準人體結(jié)構(gòu)。

此外，雖然目前關(guān)于視覺合成的研究較多，但用于醫(yī)療醫(yī)學領(lǐng)域的產(chǎn)品相對較少，大多數(shù)的瓶頸都卡在人體模型的精細程度，以及力觸覺模擬技術(shù)上的不足。人體模型的精細度在虛擬顯示環(huán)境中具有突出的優(yōu)越性，它使得虛擬現(xiàn)實環(huán)境變得真實，更具有代入感，極大的增強了可視化呈現(xiàn)效果。另外，力反饋也是虛擬現(xiàn)實中不可缺少的一部分，它是使用戶可接收周圍環(huán)境輸入，同時可對周圍環(huán)境輸出的感知通道。但目前大多虛擬現(xiàn)實系統(tǒng)均只有單一的視覺立體或觸覺立體，無法實現(xiàn)視覺與觸覺的同步匹配，代入感不強。如果能實現(xiàn)二者的同步渲染與配合，同時結(jié)合醫(yī)學、醫(yī)療領(lǐng)域相關(guān)的標準化數(shù)據(jù)資源，無疑將大大增強用戶與虛擬模型和環(huán)境的交互，并使感受到與虛擬對象交互產(chǎn)生的接觸和力，形成對虛擬模型的完整認知，如同操作真實物體一樣，使人機交互體驗更真實、準確。

再者，用戶在虛擬環(huán)境中可隨意快速地移動，移動過程中如畫面追蹤不到位可能會產(chǎn)生拖影或掉幀的現(xiàn)象，使用戶產(chǎn)生眩暈感甚至造成人體不適。

技術(shù)實現(xiàn)要素：

基于上述問題，本發(fā)明的目的在于提供一種基于虛擬現(xiàn)實的人體解剖交互系統(tǒng)，通過VR建立全三維的虛擬環(huán)境，使用戶與人體模型進行交互操作。該系統(tǒng)包括：

頭戴式顯示設備，佩戴于用戶頭部，使用戶通過所述頭戴式顯示設備中的顯示器觀看虛擬環(huán)境以及三維人體數(shù)字模型；

主機系統(tǒng)，用于為所述頭戴式顯示設備提供功能保證，所述頭戴式顯示設備根據(jù)自身智能化和自動化程度利用主機系統(tǒng)；

追蹤系統(tǒng)，用于捕捉用戶的運動，并將信息返回給所述頭戴式顯示設備，從而創(chuàng)建一種沉浸式VR體驗；

控制器，所述控制器為手持設備，用于追蹤用戶的動作或手勢；

輔助可視系統(tǒng)，包括：可視化公告板和動態(tài)可視效果發(fā)生器；

所述系統(tǒng)還包括：通過主機系統(tǒng)實時判斷傳感器所處的位置和虛擬場景中的某個人體結(jié)構(gòu)位置，如有接觸或碰撞，則根據(jù)接觸或碰撞對象的性質(zhì)進行不同的力度回饋。

優(yōu)選地，所述追蹤系統(tǒng)包括內(nèi)置傳感器、陀螺儀和磁力計，所述傳感器與HMD設備分離，采用內(nèi)部攝像頭或LED燈。

優(yōu)選地，所述控制器還具備觸覺觸發(fā)模塊，提供觸覺體驗，使用戶感覺到震動。

優(yōu)選地，所述控制器包括：

左手柄，通過所述左手柄的控制臺對所述系統(tǒng)進行控制；

右手柄，通過所述右手柄的功能按鈕對所述系統(tǒng)進行控制。

優(yōu)選地，所述左手柄包括：

VR接收器、陀螺儀裝置和一塊實體板，實體板與VR接收器形成一體式結(jié)構(gòu)握于左手，通過陀螺儀裝置進行水平和翻轉(zhuǎn)判斷，當左手柄處于水平狀態(tài)時呼出虛擬場景中的控制臺，左手柄脫離水平狀態(tài)時關(guān)閉控制臺。

進一步的，所述右手柄的功能按鈕包括：扳機、單按鈕、左方向按鈕、右方向按鈕。

優(yōu)選地，所述扳機包括：

扳機：扳機包括功能激活按鈕，可對左手柄的控制臺進行操作，

其中，所述操作包括，對6組人體模型的任一模型接觸后進行抓取工作，進一步的：

按下扳機確定處于抓住狀態(tài)，處于抓住狀態(tài)下的模型可隨手柄的旋轉(zhuǎn)進行旋轉(zhuǎn)；

松開扳機取消抓取，模型停留在當前坐標點上。

優(yōu)選地，所述單按鈕具有對手柄所接觸的模型進行單個還原功能。

優(yōu)選地，所述左右按鈕具有對處于光標圈的模型組進行左右旋轉(zhuǎn)功能，組內(nèi)所有模型沿場景Y坐標開始旋轉(zhuǎn)。

優(yōu)選地，左右手柄的特性包括：當在虛擬場景中移動坐標時，實時檢測碰撞屬性。

優(yōu)選地，所述可視化公告板在任何模型處于抓取狀態(tài)時，在被抓取的模型世界坐標的左上角出現(xiàn)透明式描述界面，界面中顯示當前被抓取模型的中文、英文名稱，以及其他模型相關(guān)描述。

優(yōu)選地，所述動態(tài)可視效果發(fā)生器在所有模型立于場景中原始坐標點時，針對動態(tài)模型渲染動態(tài)效果。

優(yōu)選地，所述三維人體數(shù)字模型的構(gòu)建包括以下步驟：

1)獲取人體醫(yī)學圖像；

2)采用體繪制技術(shù)，建立人體數(shù)字模型的解剖學數(shù)據(jù)庫；

3)通過醫(yī)學專家指導，根據(jù)人體的個體差異和不足，調(diào)整人體數(shù)字模型的偏差，獲得準確的人體數(shù)字模型；

4)通過手工繪制步驟3)獲得的人體數(shù)字模型，建立準確的人體結(jié)構(gòu)模型。

優(yōu)選地，步驟2)建立數(shù)字模型為根據(jù)男女體型差異分別構(gòu)建。

優(yōu)選地，上述人體數(shù)字模型的構(gòu)建采用次世代3D數(shù)字建模方法。

所述系統(tǒng)還包括：為了降低VR環(huán)境中用戶的眩暈感，采用以下任一調(diào)整方式或其組合：

在用戶視野范圍內(nèi)加入靜態(tài)參照物；適當減少用戶的視野范圍或避免視野的經(jīng)常轉(zhuǎn)換；增加顯示畫面的刷新幀率；提示用戶在VR環(huán)境中勻速活動。

根據(jù)上述各方式，本發(fā)明可使用戶獲得更加精細準確的交互體驗。在虛擬場景中用戶將看到擁有和正常人同等體形體格的3D人體數(shù)據(jù)，如身高、胸圍、上下半身比例等；同時可通過控制器直接對對虛擬場景中任意的人體結(jié)構(gòu)進行拆解拆分，而無需再借助額外的外部器械。并且，不同于現(xiàn)有虛擬現(xiàn)實系統(tǒng)單一的視覺立體或觸覺立體，或觸覺效果的簡單模擬，本發(fā)明針對不同的組織進行不同的力度反饋，使用戶同時感受到不同組織的觸感、結(jié)構(gòu)性質(zhì)、形態(tài)和柔韌度等等。

更進一步地，本發(fā)明的模型資源打破傳統(tǒng)三維重建技術(shù)，通過兩次人體結(jié)構(gòu)繪制，對原始醫(yī)學數(shù)據(jù)進行轉(zhuǎn)化，運用次世代3D數(shù)字建模技術(shù)及PBR工作流程制作獲得準確、標準化的人體模型結(jié)構(gòu)。

此外，本發(fā)明從用戶切身體驗出發(fā)，考慮到用戶使用的持久性，采用了有效的調(diào)整措施，防止和降低用戶的眩暈感。

附圖說明

圖1為本發(fā)明系統(tǒng)結(jié)構(gòu)示意圖。

圖2為右手柄的示意圖。

圖3為數(shù)字人體模型示意圖。

圖4和圖5為本發(fā)明系統(tǒng)中的力反饋描述示意圖。

圖6為人體眩暈感產(chǎn)生原因示意圖。

具體實施方式

以下，將參照附圖來詳細說明本發(fā)明的實施例。

圖1為本發(fā)明系統(tǒng)結(jié)構(gòu)示意圖。

其中，主機系統(tǒng)包括智能手機、PC或視頻游戲機。本醫(yī)學解剖交互系統(tǒng)追蹤系統(tǒng)可創(chuàng)建一種沉浸式的VR體驗，例如，如果用戶戴上HMD設備仰望天空，HMD屏幕也會向同樣的方向運動，以便讓用戶看到目標。追蹤系統(tǒng)可被整合到HMD設備中，或作為HMD設備的外設。為了提高追蹤系統(tǒng)的準確性，可將追蹤系統(tǒng)中傳感器與HMD設備分離，并采用內(nèi)部攝像頭或LED燈。

控制器包括左右手柄，其中左手柄包括：VR接收器和一塊實體板，實體板的尺寸是37cm*25cm。實體板要求輕便，重力較輕。

實體板與左手VR接收器形成一體式結(jié)構(gòu)握于左手，通過手柄的陀螺儀裝置進行水平和翻轉(zhuǎn)判斷，當手柄處于水平狀態(tài)時呼出虛擬場景中的控制臺，手柄脫離水平狀態(tài)時關(guān)閉控制臺。虛擬場景中顯示的控制臺為平板狀操作臺，控制臺上至少包括6個模型圖標，分別是：骨骼模型、肌肉模型、內(nèi)臟模型、血液模型、神經(jīng)模型、淋巴模型，用戶可以通過右手柄與控制臺顯示的圖標進行交互，例如對控制臺顯示的圖標進行選擇、切換。此外，內(nèi)臟模型可平移復制出一個心臟模型，神經(jīng)模型旁放置單個眼球模型和全套腦部模型。同時，通過左手柄激活控制臺和關(guān)閉控制臺時具有動態(tài)效果。

左手柄的控制臺還包括模型按鈕，模型按鈕具有：激活、未激活、懸停三種狀態(tài)，在激活按鈕的同時，調(diào)出對應的模型結(jié)構(gòu)，反之，激活模型結(jié)構(gòu)則關(guān)閉。每個模型按鈕下?lián)碛幸粋€標識按鈕(共6個)，標識按鈕代表選中此模型組。標識按鈕跟隨用戶點擊，進行判斷出現(xiàn)在哪個模型組下。通過激活標識按鈕所顯示的標識圈只能以一個單一的形式存在。同時程序為每個模型組套上一個box，利用右手手柄，在按下方向鍵的同時利用手柄釋放出的射線檢測到選中的哪組模型并進行旋轉(zhuǎn)，起到標識圈的功能。

同時，模型按鈕還包括1個全局的“整體復原”按鈕，可對處于標識圈下的模型組進行整體還原。模型按鈕還可以通過射線檢測模型組，撥動其他功能鍵復位整體模型組。

圖2為右手柄的示意圖。

右手柄的功能激活控制包括：扳機、單按鈕、左方向按鈕、右方向按鈕。

其中，扳機包括一功能激活按鈕，可對左手柄的控制臺進行操作。操作包括：對6組人體模型的任一模型接觸后進行抓取工作，當按下扳機并確定處于抓住狀態(tài)，處于抓住狀態(tài)下的模型可隨手柄的旋轉(zhuǎn)進行旋轉(zhuǎn)，松開扳機取消抓取，模型停留在當前坐標點上。

單按鈕，具有對手柄所接觸的模型進行單個還原功能。

左右按鈕具有對處于光標圈的模型組進行左右旋轉(zhuǎn)功能，組內(nèi)所有模型沿場景Y坐標開始旋轉(zhuǎn)。

手柄采取真實手的形態(tài)，或者手套形態(tài)。在抓取動作和點擊按鈕動作中，右手柄的形態(tài)會在待機、抓取動作、指選動作中進行切換。

左右手柄的特性包括：當在虛擬場景中移動坐標時，實時檢測碰撞屬性。

當接觸或碰撞到人體組織結(jié)構(gòu)將讀取對應模型信息，根據(jù)模型信息判斷，并給出對應模型類別對應的力回饋拉扯力的對應信息。力回饋傳遞給手部接收器，用戶根據(jù)接觸或碰撞對象的性質(zhì)得到不同的力回饋信息，達到真實世界的質(zhì)感和力度阻擋感覺。通過合理的、不同的力反饋技術(shù)的結(jié)合，實現(xiàn)對人體不同結(jié)構(gòu)進行分析后回饋給用戶不同的力度抵觸體驗。傳感器所處的位置和虛擬場景中的某個人體結(jié)構(gòu)位置通過計算機進行實時判斷，如有碰撞，則根據(jù)碰撞對象的性質(zhì)進行不同的力度回饋。如碰撞骨骼的阻礙力度和脂肪的阻礙力度不同，或接觸血液的粘稠感也不同。

輔助可視系統(tǒng)，輔助可視系統(tǒng)包括：可視化公告板和動態(tài)可視效果發(fā)生器。

可視化公告板在任何模型處于抓取狀態(tài)時，在被抓取的模型世界坐標的左上角出現(xiàn)透明式描述界面，界面中顯示當前被抓取模型的中文、英文名稱，以及其他模型相關(guān)描述。

動態(tài)可視效果發(fā)生器在所有模型立于場景中原始坐標點時，針對動態(tài)模型渲染動態(tài)效果。人體中有很多處于運動狀態(tài)的器官，比如跳動狀態(tài)的心臟，呼吸狀態(tài)中的肺葉，血管里有流動中的血液，腸蠕動及胃蠕動等。為增加場景中的互動感，當某個模型脫離原始坐標點時，脫離坐標點的模型停止動態(tài)效果。

圖3為3D數(shù)字人體模型中示意圖，3D數(shù)字人體模型通過以下步驟進行構(gòu)建：

1)獲取放射科醫(yī)療圖像，如尸體標本資源庫和豐富的人體CT\MRI掃描數(shù)據(jù)等；

2)利用3D成像系統(tǒng)，采用基于光線投射算法的體繪制技術(shù)，建立3D數(shù)字人體模型的解剖學數(shù)據(jù)庫，以完整全面、權(quán)威、精細的解剖學數(shù)據(jù)輸出男女兩套三維數(shù)字模型；

3)通過醫(yī)學專家指導，根據(jù)人體的個體差異和不足，調(diào)整人體數(shù)字模型的偏差，獲得準確的人體數(shù)字模型；

4)經(jīng)過一定數(shù)量美術(shù)人員的手工繪制步驟3)獲得的模型，建立出男女各一套標準的人體結(jié)構(gòu)。

上述人體數(shù)字模型采用次世代3D數(shù)字建模技術(shù)，平均每個模型的創(chuàng)建面數(shù)在6000(Mesh)上，紋理貼圖使用的是4096(px)x 4096(px)的最高精度制作標準，以保證每個模型充分還原人體各系統(tǒng)精密細節(jié)，并且可以360度角度任意觀察。

通過雙重繪制的3D數(shù)字人體解剖結(jié)構(gòu)相比于僅通過掃描得到的人體結(jié)構(gòu)，更具有研究和教學性。掃描后直接重建并應用于系統(tǒng)的三維模型具有個體化差異，這樣的人體結(jié)構(gòu)模型只能代表一個個體，無法以點蓋面。而手繪的人體數(shù)字模型是通過人體數(shù)據(jù)庫、數(shù)據(jù)掃描、三維重建、專家指導等多方面資源整合后得到，是醫(yī)學中最貼近理想化和醫(yī)學標準的數(shù)字人體結(jié)構(gòu)模型。

另外，在虛擬場景中，數(shù)字人體結(jié)構(gòu)模型可以使用戶更加精細準確的進行交互體驗，在虛擬場景中用戶將看到擁有和正常人同等體形體格的3D人體數(shù)據(jù)，如身高、胸圍、上下半身比例等。同時可通過控制器直接對對虛擬場景中任意的人體結(jié)構(gòu)進行拆解拆分，不用再借助額外的外部器械。

更進一步地，本發(fā)明的模型資源打破傳統(tǒng)三維重建技術(shù)，通過CG制作技術(shù)，運用于醫(yī)學教育領(lǐng)域。通過對原始醫(yī)學數(shù)據(jù)轉(zhuǎn)化，運用次世代3D數(shù)字建模技術(shù)及PBR工作流程(基于物理過程的渲染)制作準確性、標準化的人體模型結(jié)構(gòu)。

運用原始醫(yī)學數(shù)據(jù)生成初級模型，通過建模軟件運用次世代3D數(shù)字建模技術(shù)繪制高精度人體模型結(jié)構(gòu)，可對人體結(jié)構(gòu)進行高精度還原而不受面數(shù)控制。在轉(zhuǎn)化過程中參考多方面專業(yè)醫(yī)學資料，多維度把控模型準確性和標準化，建立出完美標準型的人體結(jié)構(gòu)。

運用PBR工作流程，基于物理過程的渲染，模擬真實光照，制作4096(px)x 4096(px)的高精度貼圖。繪制出的器官結(jié)構(gòu)更加接近真實人體，同時避免了常規(guī)尸體標本難以保存、結(jié)構(gòu)不清晰、與活體差異大等弊端。

次世代3D模型的原理是通過高模和低模匹配產(chǎn)生多張細節(jié)貼圖，所述貼圖中記錄了高模中所含的細節(jié)信息，并將高模烘焙的法線貼圖回貼到低模上，以減少面的浪費，同時低模頁在引擎里可以及時顯示高模的視覺效果，從而讓模型表現(xiàn)更加真實，達到電影級精度，實現(xiàn)高細節(jié)、強質(zhì)感表現(xiàn)的效果。

上述模型可應用于教學展示與解剖訓練，可根據(jù)教學大綱要求的內(nèi)容，制作多個斷面模型，學生可以通過透明或隱藏操作，觀察模型內(nèi)部解剖結(jié)構(gòu)和形態(tài)特點，對重點、難點學習部位進行模擬真實解剖的操作，幫助學生理解和掌握知識點，同時也提升了老師的教學質(zhì)量。

圖4和圖5為本發(fā)明系統(tǒng)中的力反饋描述示意圖。

如圖4和圖5所示，通過合理的、不同的力反饋技術(shù)的結(jié)合，實現(xiàn)對人體不同結(jié)構(gòu)進行分析后回饋給用戶不同的力度抵觸體驗。傳感器所處的位置和虛擬場景中的某個人體結(jié)構(gòu)位置通過計算機進行實時判斷，如有碰撞，則根據(jù)碰撞對象的性質(zhì)進行不同的力度回饋。如碰撞骨骼的阻礙力度和脂肪的阻礙力度不同，或接觸血液的粘稠感也不同。

其中，圖4示出了獲取力反饋的流程圖。

用戶通過移動雙手觸碰到人體模型，在觸碰時，激活抓取功能，右手柄處于抓取狀態(tài)，當用戶再一次移動雙手時，便可根據(jù)用戶的動作進一步顯示抓取模型的運動軌跡，獲取人體中的對應模型的信息或顯示抓取模型的狀態(tài)。

其中，在用戶雙手觸碰到人體模型時，進行碰撞檢測，并將檢測信息發(fā)回給主機系統(tǒng)，以進一步計算回饋力度，并將回饋的力度返回給觸覺觸發(fā)模塊，觸覺觸發(fā)模塊提供觸覺體驗，使用戶感覺到震動。

在用戶激活抓取功能并處于抓取狀態(tài)時，針對動態(tài)的器官，如心臟、血管等，通過雙手坐標以及速度，計算人體組織結(jié)構(gòu)對應的力反饋信息，并將模型的力信息返回給觸覺觸發(fā)模塊，進一步提供觸覺體驗。

圖5進一步示出了力反饋信號在所述系統(tǒng)中的輸入輸出關(guān)系。

虛擬場景模型顯示對象接收手部運動產(chǎn)生的運動軌跡坐標并進行手部動態(tài)姿勢識別。力反饋信號通過力回饋信號處理之后提取對應力回饋阻力信息并發(fā)送給虛擬場景模型顯示對象。同時頭部顯示信號通過頭部顯示信號處理流程獲取用戶的移動指令，也將其發(fā)送給虛擬場景模型顯示對象。虛擬場景模型顯示對象進一步計算對手部所在位置的力回饋信息，并將其返回給觸覺觸發(fā)模塊，進一步提供觸覺體驗。

VR影片里，在空間里有劇烈變化的影像容易引起使用者的眩暈感。同時，這些變化總會吸引使用者的注意力。參考圖6，用戶的視野中第一區(qū)域是最合適用戶觀察的，第二區(qū)域?qū)儆谝曇坝喙鈪^(qū)域，用戶會因為黃色區(qū)域產(chǎn)生的變化而被吸引，從而改變視覺觀察位置。第三區(qū)域是視覺可忽略的部分，只在有畫面產(chǎn)生劇烈反映或大腦潛意識判斷是危險信息時才會使人有所反映。而此時，邊緣處的圖像會被忽略，若縮小視野，對于用戶體驗影響并不大。所以在場景畫面搭建和處理過程中可避免大幅度的畫面變化和潛意識的危險信號源，使大腦認為自己始終在一個安全且安靜的環(huán)境中。這樣的環(huán)境避免用戶會大幅度或快速移動畫面，從而降低用戶產(chǎn)生暈眩效果的情況。因此，可通過適當減少用戶視野(FOV)、適當減少用戶的視野范圍或避免視野的經(jīng)常轉(zhuǎn)換等，減少用戶的眩暈感，增強用戶體驗。

另外，VR設備幀間延遲跟不上人的運動，當人已經(jīng)做到了相應的動作畫面還沒有刷新出來，會有微小的延遲感，即感官與幀率不同步會產(chǎn)生眩暈感。如果增加設備對畫面的刷新幀率，如達到較高的水平(60Hz等)，那么用戶在移動頭部以及虛擬環(huán)境畫面自身移動時，畫面的延遲會大幅降低，以至于用戶幾乎不會發(fā)現(xiàn)，有效減少眩暈感。本發(fā)明利用特殊的處理方式降低模型的面數(shù)的同時保證了模型的精度，從而增加虛擬場景中的刷新頻率。

還可以在用戶視野范圍內(nèi)增加自己的身體、一個無菌室頭盔或靜態(tài)參照物幀(如平視顯示器)作為參照物，可有效減少眩暈感，在某些情況下還能增加沉浸感。