本發(fā)明涉及遠(yuǎn)程醫(yī)療技術(shù)領(lǐng)域，具體涉及一種基于混合現(xiàn)實(shí)技術(shù)的遠(yuǎn)程醫(yī)療系統(tǒng)及其操作方法。

背景技術(shù)：

混合現(xiàn)實(shí)技術(shù)(MR)是虛擬現(xiàn)實(shí)技術(shù)的進(jìn)一步發(fā)展，該技術(shù)通過在現(xiàn)實(shí)場景呈現(xiàn)虛擬場景信息，在虛擬世界、現(xiàn)實(shí)世界和用戶之間搭起一個交互反饋的信息回路，以增強(qiáng)用戶體驗(yàn)的真實(shí)感?；旌犀F(xiàn)實(shí)(MR)(既包括增強(qiáng)現(xiàn)實(shí)和增強(qiáng)虛擬)指的是合并現(xiàn)實(shí)和虛擬世界而產(chǎn)生的新的可視化環(huán)境。在新的可視化環(huán)境里物理和數(shù)字對象共存，并實(shí)時互動。

混合現(xiàn)實(shí)技術(shù)為人類生活帶來了極大的便利，在醫(yī)療領(lǐng)域就獲得的極大的體現(xiàn)，例如公開號為CN106109015A的發(fā)明專利公開了一種頭戴式醫(yī)療系統(tǒng)及其操作方法，包括AR/MR頭戴顯示設(shè)備和激光發(fā)生器，AR/MR頭戴顯示設(shè)備佩戴在醫(yī)生的頭部，激光發(fā)生器架設(shè)在手術(shù)臺的上方，在病患者體表做好人造骨性標(biāo)志，激光發(fā)生器對準(zhǔn)患者患病部位的體表進(jìn)行照射，把CT掃描取得的患部3D模型輸入AR/MR頭戴顯示設(shè)備中，醫(yī)生佩戴并啟動AR/MR頭戴顯示設(shè)備，視線對準(zhǔn)人造骨性標(biāo)志，佩戴AR/MR頭戴顯示設(shè)備內(nèi)的攝像頭對人造骨性標(biāo)志進(jìn)行觀察和識別，把患部3D模型顯示在患者身體的對應(yīng)位置，佩戴AR/MR頭戴顯示設(shè)備的醫(yī)生圍繞手術(shù)臺隨意走動，觀察患部3D模型，指導(dǎo)手術(shù)操作。本發(fā)明相對于現(xiàn)有手術(shù)技術(shù)有更高效、更直觀、安全性更高、功能性更強(qiáng)的特點(diǎn)。

雖然應(yīng)用混合現(xiàn)實(shí)技術(shù)極大的提高了手術(shù)操作者的工作效率和準(zhǔn)確性，更加高效直觀，但是對于遠(yuǎn)程會診的改造還未得到體現(xiàn)，現(xiàn)有的遠(yuǎn)程醫(yī)療系統(tǒng)的主要缺點(diǎn)有：

需要建立遠(yuǎn)程會診或醫(yī)療室，并配備各種硬件設(shè)備，各硬件之間的兼容性相對不穩(wěn)定。搭建該系統(tǒng)的硬件成本及維護(hù)費(fèi)用非常高。會診地點(diǎn)受限于會診室，這不僅使會診組織者花更多精力進(jìn)行參會協(xié)調(diào)，也使與會人員消耗了較多的時間成本。參會人員共同觀看顯示器所展示的內(nèi)容，當(dāng)?？漆t(yī)師需要了解病患在自身醫(yī)學(xué)領(lǐng)域的檢查檢驗(yàn)報(bào)告或者相關(guān)醫(yī)學(xué)資料時，無法盡數(shù)投射在顯示器上，故只能擴(kuò)充更多的終端顯示設(shè)備。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明為了解決上述技術(shù)問題，提供一種基于混合現(xiàn)實(shí)技術(shù)的遠(yuǎn)程醫(yī)療系統(tǒng)及其操作方法，使用全息投影技術(shù)，可以突破空間的限制，展示更多有效內(nèi)容，避免擴(kuò)充更多終端顯示設(shè)備，極大的提高了遠(yuǎn)程醫(yī)療的便利性和高效性。

為了達(dá)到上述技術(shù)效果，本發(fā)明包括以下技術(shù)方案：

本發(fā)明提供了一種基于混合現(xiàn)實(shí)技術(shù)的遠(yuǎn)程醫(yī)療系統(tǒng)，包括服務(wù)器、醫(yī)院信息系統(tǒng)、存儲器和多個MR智能終端，

所述服務(wù)器，分別連接所述醫(yī)院信息系統(tǒng)、存儲器和多個MR智能終端；

所述醫(yī)院信息系統(tǒng)包括EMR、PACS系統(tǒng)和LIS系統(tǒng)，用于存儲患者的醫(yī)療資料，并將所述醫(yī)療資料通過服務(wù)器上傳至MR智能終端，用于生成混合現(xiàn)實(shí)場景；

所述存儲器用于存儲診療記錄、診療建議及意見；

所述MR智能終端用于獲取物理環(huán)境信息，進(jìn)行物理環(huán)境建模，生成物理環(huán)境模型，并且將醫(yī)療資料投射到物理環(huán)境模型中，獲得混合現(xiàn)實(shí)場景；所述MR智能終端還用于通過多種控制方式對混合現(xiàn)實(shí)場景中的醫(yī)療資料進(jìn)行查閱、編輯、整理和統(tǒng)計(jì)分析；所述MR智能終端還用于各個佩戴者之間進(jìn)行音頻、視頻溝通以及資料共享。

進(jìn)一步地，所述MR智能終端為MR智能眼鏡，包括控制器，還包括與控制器連接的通信模塊、光學(xué)投射模塊、輸入模塊、輸出模塊和操作模塊，

所述控制器用于控制執(zhí)行混合現(xiàn)實(shí)交互程序；

所述通信模塊用于各個MR智能眼鏡之間的通信連接，還用于MR智能眼鏡與服務(wù)器之間的通信連接；

所述光學(xué)投射模塊用于執(zhí)行將醫(yī)療資料投射到物理環(huán)境模型中，形成混合現(xiàn)實(shí)場景；

所述輸入模塊，用于輸入用于控制MR智能眼鏡的數(shù)據(jù)；

所述輸出模塊包括揚(yáng)聲器和顯示器，分別用于輸出音頻信號、視頻信號；

所述操作模塊用于獲取MR智能眼鏡的狀態(tài)、MR智能眼鏡的周圍事物的狀態(tài)、MR智能眼鏡穿戴者的狀態(tài)和運(yùn)動信息，并且將感測到的信息發(fā)送到控制器。

一種上述遠(yuǎn)程醫(yī)療系統(tǒng)的操作方法，包括以下步驟：

步驟一：患者或本地醫(yī)師所在的空間內(nèi)和遠(yuǎn)端醫(yī)師所在診療空間內(nèi)均設(shè)置MR智能終端，各MR智能終端之間建立通信連接；

步驟二：各個空間內(nèi)的MR智能終端自動識別佩戴者所處物理環(huán)境信息，并進(jìn)行物理環(huán)境建模，生成物理環(huán)境模型；

步驟三：患者或本地醫(yī)師所在空間內(nèi)的MR智能終端連接醫(yī)院的EMR、PACS或LIS系統(tǒng)，進(jìn)行數(shù)據(jù)同步，獲取到該患者所需要的醫(yī)療資料；

步驟四：MR智能終端將醫(yī)療資料經(jīng)運(yùn)算處理后以全息影像的形式投射到物理環(huán)境模型中，生成混合現(xiàn)實(shí)場景；

步驟五：MR智能終端佩戴者在混合現(xiàn)實(shí)場景中通過多種的控制方式實(shí)現(xiàn)對醫(yī)療資料的查閱、編輯、整理和統(tǒng)計(jì)分析，可以使遠(yuǎn)端醫(yī)生迅速了解病人詳情，從而做出精準(zhǔn)判斷。

步驟六：醫(yī)生與患者之間、不同醫(yī)生之間通過MR智能終端實(shí)時或以留言形式進(jìn)行溝通交流。

采用上述的方法，醫(yī)院或醫(yī)療機(jī)構(gòu)無需建立專門的遠(yuǎn)程會診室及搭建復(fù)雜的硬件環(huán)境，只需要佩戴MR智能終端即可進(jìn)行病歷討論和遠(yuǎn)程會診。又具備無線、移動化等特征，使遠(yuǎn)端醫(yī)師隨時隨地進(jìn)行遠(yuǎn)程會診和病歷討論，極大降低時間成本。使用全息投影技術(shù)，可以突破空間的限制，展示更多有效內(nèi)容，避免擴(kuò)充更多終端顯示設(shè)備。

進(jìn)一步地，所述的物理環(huán)境信息包括墻壁、地面、天花板、桌椅和特殊標(biāo)示。

進(jìn)一步地，所述的醫(yī)療資料包括患者個人信息、診療記錄、病程記錄、醫(yī)學(xué)影像和檢查報(bào)告。上述的各種信息可以在混合現(xiàn)實(shí)場景中呈現(xiàn)并提供給醫(yī)生參考，方便醫(yī)生查找醫(yī)療數(shù)據(jù)。

進(jìn)一步地，醫(yī)生在查找資料后，可以對數(shù)據(jù)歸類、統(tǒng)計(jì)、分析，把病人病情的變化與檢查、檢驗(yàn)等病理結(jié)果建立直觀聯(lián)系，找出更有效的治療方案。

進(jìn)一步地，步驟五中的控制方式包括走動、視線凝視、手勢操作和語音命令。通過多種多樣易于實(shí)現(xiàn)的控制方式實(shí)現(xiàn)醫(yī)生與混合現(xiàn)實(shí)場景的交互，服務(wù)于醫(yī)療診斷或治療。

進(jìn)一步地，步驟五中對醫(yī)療資料的查閱、編輯、整理和統(tǒng)計(jì)分析形式包括瀏覽各種信息、將需要的信息分類集中，移動旋轉(zhuǎn)縮放資料、復(fù)制備份資料、圈點(diǎn)標(biāo)注資料、收藏分享資料和截屏錄像錄音。

進(jìn)一步地，所述的MR智能終端可呈現(xiàn)其他與其相連的智能終端的視角。在遠(yuǎn)程協(xié)助治療或手術(shù)的過程中，各崗位指導(dǎo)醫(yī)師，通過佩戴MR智能終端，查看手術(shù)過程中與自身科別相關(guān)的實(shí)時數(shù)據(jù)，并可呈現(xiàn)現(xiàn)場醫(yī)師視角，與同崗位的醫(yī)師進(jìn)行實(shí)時指導(dǎo)交流。

進(jìn)一步地，MR智能終端連接有存儲器，診療記錄、診療建議及意見存儲在存儲器內(nèi)。

進(jìn)一步地，處于同一空間內(nèi)的多個MR智能終端看到的混合現(xiàn)實(shí)場景自動進(jìn)行數(shù)據(jù)同步合并，各個佩戴者在感官上看到的混合現(xiàn)實(shí)場景相同。實(shí)現(xiàn)混合現(xiàn)實(shí)場景的一致性，避免多種混合現(xiàn)實(shí)場景對不同的醫(yī)生診療判斷帶來干擾和影響。

采用上述技術(shù)方案，包括以下有益效果：

1)醫(yī)院或醫(yī)療機(jī)構(gòu)無需建立專門的遠(yuǎn)程會診室及搭建復(fù)雜的硬件環(huán)境，成本得到極大的控制，MR智能終端在硬件上的高度集成，避免因各種硬件交互運(yùn)行導(dǎo)致的兼容性問題，同時降低維護(hù)成本。

2)MR智能終端具備無線、移動化等特征，使參與病例討論和遠(yuǎn)程會診醫(yī)師隨時隨地開展工作，極大降低時間成本、提高效率。同時，本地醫(yī)師與遠(yuǎn)端醫(yī)師只需佩戴MR智能終端并連線，即可同時對患者進(jìn)行面診交流，本地醫(yī)師與遠(yuǎn)端醫(yī)師可以共享面診畫面，并相互交流。

由此，可以使目前開展并不活躍但意義重大的遠(yuǎn)程醫(yī)療活動，成幾何倍級的增長，從而造福廣大患者。

3)本方案使用全息投影技術(shù)，讓指導(dǎo)醫(yī)生身臨其境，更直觀的進(jìn)行醫(yī)療指導(dǎo)，突破了空間的限制，展示更多有效內(nèi)容，避免擴(kuò)充更多終端顯示設(shè)備。

4)各崗位指導(dǎo)醫(yī)師可隨時隨地進(jìn)行本崗位的醫(yī)療指導(dǎo)，并及時交換指導(dǎo)意見；

5)急救時，現(xiàn)場急救人員佩戴MR智能終端后，指導(dǎo)醫(yī)師可觀察現(xiàn)場情況，而現(xiàn)場人員則可解放雙手，采取更有效的施救措施。

附圖說明

圖1為本發(fā)明遠(yuǎn)程醫(yī)療方法一種實(shí)施方式的流程框圖；

圖2為本發(fā)明遠(yuǎn)程醫(yī)療系統(tǒng)的通信結(jié)構(gòu)連接示意圖；

圖3為本發(fā)明中MR智能眼鏡的結(jié)構(gòu)框圖；

圖中，

1、服務(wù)器；2、醫(yī)院信息系統(tǒng)；3、存儲器；4、MR智能終端；401、控制器；402、通信模塊；403、光線投射模塊；404、輸入模塊；405、輸出模塊；406、操作模塊；5、顯示終端。

具體實(shí)施方式

下面通過具體的實(shí)施例對本發(fā)明做進(jìn)一步的詳細(xì)描述。

本文使用的包括描述性或技術(shù)性術(shù)語在內(nèi)的所有術(shù)語應(yīng)當(dāng)被解釋為具有本領(lǐng)域普通技術(shù)人員理解的含義。然而，根據(jù)本領(lǐng)域普通技術(shù)人員的意圖、先例或者新技術(shù)的出現(xiàn)，術(shù)語可具有不同含義。另外，一些術(shù)語可由申請人選擇，并且在此情況下，所選擇的術(shù)語的含義將在詳細(xì)描述中加以詳細(xì)描述。從而，本文使用的術(shù)語必須基于術(shù)語的含義連同整個說明書中的描述來定義。

另外，當(dāng)一部件“包括”或“包含”一元素時，除非有與之相反的具體描述，否則該部件還可包括其他元素，不排除其他元素。在其他的描述中，諸如“模組”和“模塊”之類的術(shù)語指用于處理至少一個功能或操作的單元，其中該模組和模塊可實(shí)現(xiàn)為硬件或軟件或者可通過組合硬件和軟件來實(shí)現(xiàn)。

實(shí)施例可以以許多不同形式實(shí)現(xiàn)，而不應(yīng)當(dāng)被解釋為限于本文記載的實(shí)施例；更確切地說，提供這些實(shí)施例是為了使得本公開將會透徹且完整，并且將會把一個或多個實(shí)施例的構(gòu)思完整地傳達(dá)給本領(lǐng)域普通技術(shù)人員。在接下來的描述中，沒有詳細(xì)描述公知的功能或構(gòu)造，因?yàn)樗鼈儗圆槐匾募?xì)節(jié)模糊實(shí)施例，并且附圖中的相似的標(biāo)號在整個說明書中始終表示相似或類似的元素。

按照本文使用的，術(shù)語“和/或”包括關(guān)聯(lián)的列出項(xiàng)目中的一個或多個的任意和所有組合。諸如“……中的至少一個”之類的表述當(dāng)在元素的列表之前時修飾整個元素列表，而不修飾列表中的個體元素。

實(shí)施例：

本發(fā)明提供了一種基于混合現(xiàn)實(shí)技術(shù)的遠(yuǎn)程醫(yī)療系統(tǒng)，如圖1所示，包括服務(wù)器1、醫(yī)院信息系統(tǒng)2、存儲器3和多個MR智能終端4，

所述服務(wù)器1，分別連接所述醫(yī)院信息系統(tǒng)2、存儲器3和多個MR智能終端4；

所述醫(yī)院信息系統(tǒng)2包括EMR、PACS系統(tǒng)和LIS系統(tǒng)，用于存儲患者的醫(yī)療資料，并將所述醫(yī)療資料通過服務(wù)器1上傳至MR智能終端4，用于生成混合現(xiàn)實(shí)場景；

所述存儲器3用于存儲診療記錄、診療建議及意見；

所述MR智能終端4用于獲取物理環(huán)境信息，進(jìn)行物理環(huán)境建模，生成物理環(huán)境模型，并且將醫(yī)療資料投射到物理環(huán)境模型中，獲得混合現(xiàn)實(shí)場景；所述MR智能終端4還用于通過多種控制方式對混合現(xiàn)實(shí)場景中的醫(yī)療資料進(jìn)行查閱、編輯、整理和統(tǒng)計(jì)分析；所述MR智能終端4還用于各個佩戴者之間進(jìn)行音頻、視頻溝通以及資料共享。

在上述實(shí)施方式中，所述服務(wù)器1還可以采取其他相同功能的計(jì)算設(shè)備的形式來代替，應(yīng)當(dāng)理解，可使用基本上任何計(jì)算機(jī)架構(gòu)而不背離本公開的范圍，在不同的實(shí)施例中，計(jì)算設(shè)備可以采取大型計(jì)算機(jī)、服務(wù)器1計(jì)算機(jī)、臺式計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、家庭娛樂計(jì)算機(jī)、網(wǎng)絡(luò)計(jì)算設(shè)備、移動計(jì)算設(shè)備、移動通信設(shè)備、游戲設(shè)備等等的形式。如上所述，在一些實(shí)施例中，服務(wù)器1可被集成到MR智能終端4中。

在上述實(shí)施方式中，醫(yī)院信息系統(tǒng)2包括EMR、PACS系統(tǒng)和LIS系統(tǒng)，但不限于此，還可為其他的醫(yī)院內(nèi)部的信息系統(tǒng)，例如RIS系統(tǒng)，本領(lǐng)域的技術(shù)人員可以根據(jù)需要再現(xiàn)有技術(shù)手段中進(jìn)行常規(guī)選擇。

為保證技術(shù)術(shù)語使用的準(zhǔn)確性，對上述的部分技術(shù)術(shù)語解釋如下：

LIS：實(shí)驗(yàn)室信息管理系統(tǒng)(Laboratory Information Management System)，是專為醫(yī)院檢驗(yàn)科設(shè)計(jì)的一套信息管理系統(tǒng)，能將實(shí)驗(yàn)儀器與計(jì)算機(jī)組成網(wǎng)絡(luò)，使病人樣品登錄、實(shí)驗(yàn)數(shù)據(jù)存取、報(bào)告審核、打印分發(fā)，實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)分析等繁雜的操作過程實(shí)現(xiàn)了智能化、自動化和規(guī)范化管理。有助于提高實(shí)驗(yàn)室的整體管理水平，減少漏洞，提高檢驗(yàn)質(zhì)量。

PACS：醫(yī)學(xué)影像存檔與通訊系統(tǒng)(Picture archiving and communication systems)，是近年來隨著數(shù)字成像技術(shù)、計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)的進(jìn)步而迅速發(fā)展起來的、旨在全面解決醫(yī)學(xué)圖像的獲取、顯示、存貯、傳送和管理的綜合系統(tǒng)。

RIS：放射信息管理系統(tǒng)(Radioiogy information system)，是優(yōu)化醫(yī)院放射科工作流程管理的軟件系統(tǒng),一個典型的流程包括登記預(yù)約、就診、產(chǎn)生影像、出片、報(bào)告、審核、發(fā)片等環(huán)節(jié)。

EMR：電子病歷(Electronic Medical Record)，是指將傳統(tǒng)的紙病歷完全電子化，并提供電子貯存、查詢、統(tǒng)計(jì)、數(shù)據(jù)交換等管理模式，它是信息技術(shù)和網(wǎng)絡(luò)技術(shù)在醫(yī)療領(lǐng)域應(yīng)用的必然產(chǎn)物，是醫(yī)院計(jì)算機(jī)網(wǎng)絡(luò)化管理的必然趨勢，目前改領(lǐng)域研究已成為一個新的研究應(yīng)用熱點(diǎn)。

在上述實(shí)施方式中，服務(wù)器1還可以連接有顯示終端5，可以為常規(guī)的具有顯示功能的終端。例如智能手機(jī)，平板電腦或其他。

在上述實(shí)施中，具體地，所述MR智能終端4為MR智能眼鏡，如圖2所示，包括控制器401，還包括與控制器401連接的通信模塊402、光學(xué)投射模塊、輸入模塊404、輸出模塊405和操作模塊406，

所述控制器401用于控制執(zhí)行混合現(xiàn)實(shí)交互程序；

所述通信模塊402用于各個MR智能眼鏡之間的通信連接，還用于MR智能眼鏡與服務(wù)器1之間的通信連接；

所述光學(xué)投射模塊用于執(zhí)行將醫(yī)療資料投射到物理環(huán)境模型中，形成混合現(xiàn)實(shí)場景；

所述輸入模塊404，用于輸入用于控制MR智能眼鏡的數(shù)據(jù)；

所述輸出模塊405包括揚(yáng)聲器和顯示器，分別用于輸出音頻信號、視頻信號；

所述操作模塊406用于獲取MR智能眼鏡的狀態(tài)、MR智能眼鏡的周圍事物的狀態(tài)、MR智能眼鏡穿戴者的狀態(tài)和運(yùn)動信息，并且將感測到的信息發(fā)送到控制器401。

在上述實(shí)施方式中，控制器401總體上控制MR智能眼鏡的整體操作。例如，控制器401可通過執(zhí)行其內(nèi)部存儲的程序來總體上控制輸出模塊405、輸入模塊404、通信模塊402、操作模塊406和光線投射模塊403。

當(dāng)用戶的采用操作方式進(jìn)行操作時，控制器401可獲得穿戴著MR智能眼鏡的用戶的運(yùn)動信息。用戶的運(yùn)動信息可包括用戶的運(yùn)動狀態(tài)信息、運(yùn)動速度信息和位置信息中的至少一種。

控制器401可基于MR智能眼鏡中的操作模塊406中包括的至少一個傳感器或元件確定用戶是否穿戴著MR智能眼鏡，并且當(dāng)確定用戶穿戴著MR智能眼鏡時，控制器401可獲得用戶的運(yùn)動信息。

控制器401也可通過基于利用MR智能眼鏡測量到的走動、視線凝視、手勢操作和語音命令的至少一者分析用戶的運(yùn)動來獲得用戶的運(yùn)動信息或輸入信息。

控制器401可基于用戶的運(yùn)動信息或輸入信息確定提供與操作方式相對應(yīng)的對于混合現(xiàn)實(shí)場景的具體操作。

控制器401可考慮到關(guān)于從MR智能眼鏡起的特定距離內(nèi)的環(huán)境的環(huán)境信息來確定將通知內(nèi)容輸出為音頻信號或視頻信號中的至少一者。環(huán)境信息可包括關(guān)于在從MR智能眼鏡起的特定距離內(nèi)生成的聲音的外部聲音信息和關(guān)于利用高清攝像頭獲得的外部圖像的信息中的至少一者。

在上述實(shí)施方式中，通信模塊402可包括使得MR智能眼鏡能夠與外部設(shè)備或服務(wù)器1通信的至少一個組件。例如，通信模塊402可包括短程無線通信模塊402、移動通信模塊402(例如GPRS)和廣播接收電路模塊。短程無線通信模塊402可以為藍(lán)牙、NFC、Wi-Fi、紫蜂、IrDA、WFD、UWB和Ant+中的任意一種或幾種，但不限于此。

通信模塊402可從連接到MR智能眼鏡的外部設(shè)備請求并接收用戶的運(yùn)動信息。通信模塊402可在向外部設(shè)備發(fā)送利用MR智能眼鏡測量到的走動、視線凝視、手勢操作和語音命令信息等等的同時請求用戶的運(yùn)動信息。

在上述實(shí)施方式中，輸入模塊404可以是運(yùn)動輸入、觸摸輸入、鍵輸入、語音輸入和多重輸入中的至少一者，但不限于此。例如，輸入方式可包括用于觸摸眼鏡的框架的特定區(qū)域的輸入、用于選擇眼鏡的框架中包括的按鈕的輸入、語音聲音輸入、抬頭運(yùn)動輸入等等，但不限于此。眼鏡的框架的特定區(qū)域可以是預(yù)先設(shè)定的。

在上述實(shí)施方式中，所述輸出模塊405用于輸出音頻信號、視頻信號或者振動信號，并且可包括顯示器、揚(yáng)聲器和振動器，但不局限于此。

在上述實(shí)施方式中，所述的操作模塊406可包括麥克風(fēng)、慣性測量傳感器、環(huán)境感知相機(jī)、高清攝像頭、景深相機(jī)、混合現(xiàn)實(shí)捕捉模組、眼球跟蹤傳感器中的至少一種，但操作模塊406中包括的組件不限于此。操作模塊406還可包括溫度傳感器、亮度傳感器、壓力傳感器或虹膜掃描傳感器，磁傳感器、加速度傳感器、傾斜傳感器、深度傳感器、陀螺儀傳感器、位置傳感器。因?yàn)槊總€傳感器或組件的功能可由本領(lǐng)域普通技術(shù)人員基于其名稱直觀地推斷，所以這里不描述其細(xì)節(jié)。

一種基于混合現(xiàn)實(shí)技術(shù)的遠(yuǎn)程醫(yī)療方法，如圖3所示，包括以下步驟：

S101：患者或本地醫(yī)師所在的空間內(nèi)和遠(yuǎn)端醫(yī)師所在診療空間內(nèi)均設(shè)置MR智能終端4，各MR智能終端4之間建立通信連接；

S102：各個空間內(nèi)的MR智能終端4自動識別佩戴者所處物理環(huán)境信息，并進(jìn)行物理環(huán)境建模，生成物理環(huán)境模型；

S103：MR智能終端4連接醫(yī)院EMR、PACS或LIS系統(tǒng)，進(jìn)行數(shù)據(jù)同步，獲取到該患者所需要的醫(yī)療資料；

S104：MR智能終端4將醫(yī)療資料經(jīng)運(yùn)算處理后以全息影像的形式投射到物理環(huán)境模型中，生成混合現(xiàn)實(shí)場景；

S105：MR智能終端4佩戴者在混合現(xiàn)實(shí)場景中通過多種控制方式實(shí)現(xiàn)對醫(yī)療資料的查閱、編輯、整理和統(tǒng)計(jì)分析。

S106：醫(yī)生與患者之間、不同醫(yī)生之間通過MR智能終端4實(shí)時或以留言形式進(jìn)行溝通交流。

在上述的實(shí)施例中，MR智能終端4可以為MR智能眼鏡，即可穿戴眼鏡，是被穿戴在用戶的頭上以在用戶的眼睛前方提供圖像的顯示裝置。本發(fā)明構(gòu)思不限于眼鏡型可穿戴設(shè)備，而是也可應(yīng)用到基于MR技術(shù)的頭戴式顯示器(HMD)裝置，其主體的一部分固定到用戶的頭部以在用戶的視角內(nèi)顯示信息?？蓪?shí)現(xiàn)為各種形式，例如，HMD裝置可實(shí)現(xiàn)為眼鏡、頭盔和帽子，但不限于此。

在上述的實(shí)施例中，S101中，各MR智能終端4之間的通信方式可以為現(xiàn)有技術(shù)中各種成熟的通信連接方式，可以為有線連接、WIFI連接、藍(lán)牙連接、NFC連接、移動通信連接，還可以為通過服務(wù)器1進(jìn)行間接連接，但不限于此。

在上述的實(shí)施例中，所述的物理環(huán)境信息包括墻壁、地面、天花板、桌椅和特殊標(biāo)示，但不限于此。

在上述的實(shí)施例中，所述的醫(yī)療資料包括患者個人信息、診療記錄、病程記錄、醫(yī)學(xué)影像和檢查報(bào)告，但不限于此。

在上述的實(shí)施例中，步驟五中的控制方式包括走動、視線凝視、手勢操作和語音命令，但不限于此。

在上述的實(shí)施例中，步驟五中對醫(yī)療資料的查閱、編輯、整理和統(tǒng)計(jì)分析形式包括瀏覽各種信息、將需要的信息分類集中，移動旋轉(zhuǎn)縮放資料、復(fù)制備份資料、圈點(diǎn)標(biāo)注資料、收藏分享資料和截屏錄像錄音，但不限于此。

在上述的實(shí)施例中，所述的MR智能終端4可呈現(xiàn)其他與其相連的智能終端的視角。在遠(yuǎn)程協(xié)助治療或手術(shù)的過程中，各崗位指導(dǎo)醫(yī)師，通過佩戴MR智能終端4，查看手術(shù)過程中與自身科別相關(guān)的實(shí)時數(shù)據(jù)，并可呈現(xiàn)現(xiàn)場醫(yī)師視角，與同崗位的醫(yī)師進(jìn)行實(shí)時指導(dǎo)交流。

在上述的實(shí)施例中，MR智能終端4連接有存儲器3，診療記錄、診療建議及意見存儲在存儲器3內(nèi)。當(dāng)然所述的存儲器3可以為用戶自定義的個性化存儲器3，例如服務(wù)器1內(nèi)的存儲單元、云端存儲器3或其他，還可以為設(shè)置在MR智能終端4內(nèi)的存儲器3。

在上述的實(shí)施例中，處于同一空間內(nèi)的多個MR智能終端4看到的混合現(xiàn)實(shí)場景自動進(jìn)行數(shù)據(jù)同步合并，各個佩戴者在感官上看到的混合現(xiàn)實(shí)場景相同。處于同一空間內(nèi)的多個MR智能終端4設(shè)備通過空間識別技術(shù)，建立統(tǒng)一的空間物理模型，當(dāng)某個佩戴者對空間中的混合現(xiàn)實(shí)場景進(jìn)行操作后，混合現(xiàn)實(shí)場景的最新狀態(tài)數(shù)據(jù)將會通過服務(wù)器1分發(fā)給其他MR智能終端4設(shè)備，這些設(shè)備根據(jù)接收到狀態(tài)數(shù)據(jù)，對自身的混合現(xiàn)實(shí)場景進(jìn)行修改，以實(shí)現(xiàn)混合現(xiàn)實(shí)場景的一致性，避免多種混合現(xiàn)實(shí)場景對不同的醫(yī)生診療判斷帶來干擾和影響。

上述實(shí)施方式中的遠(yuǎn)程醫(yī)療系統(tǒng)的具體應(yīng)用場景可以為遠(yuǎn)程會診、遠(yuǎn)程面診、遠(yuǎn)程手術(shù)及遠(yuǎn)程協(xié)助急救等。

例如，遠(yuǎn)程會診發(fā)起后，醫(yī)師或病患均可佩戴具備MR功能的智能眼鏡或類似終端設(shè)備參與遠(yuǎn)程會診，常規(guī)的遠(yuǎn)程會診設(shè)備也可以連接到本系統(tǒng)中。MR智能終端4會自動識別佩戴者所處物理環(huán)境并進(jìn)行物理環(huán)境建模。同時，MR智能終端4會從醫(yī)院EMR、PACS、LIS系統(tǒng)同步的數(shù)據(jù)中，獲取到遠(yuǎn)程會診所需要的資料，并結(jié)合物理環(huán)境模型，用全息影像的形式，放置(投射)到物理環(huán)境中。佩戴者通過自身走動、視線凝視、手勢操作、語音命令等方式，操作全息物體，實(shí)現(xiàn)例如：翻閱病歷、查看醫(yī)學(xué)影像、移動旋轉(zhuǎn)縮放資料、將數(shù)據(jù)歸類并集中展示、復(fù)制備份資料、圈點(diǎn)標(biāo)注資料、收藏分享資料、截屏錄像錄音等交互操作。MR智能終端4會將佩戴者所看到的影像、所發(fā)出的聲音、所進(jìn)行的操作過程及結(jié)果，實(shí)時共享給其他與會人。這些內(nèi)容除能在其他佩戴者的MR智能終端4中展示外，也可以在傳統(tǒng)的電子設(shè)備(如電腦、手機(jī)、平板等)中進(jìn)行展示。通過MR智能終端4的聲像系統(tǒng)，佩戴者與其他參會人員進(jìn)行實(shí)時視頻語音交流。同時也能收到其他參會人員通過MR或其他設(shè)備傳輸過來的影像。參會者在會診過程中產(chǎn)生的會診意見或建議，經(jīng)過加密后，通過安全信道，實(shí)時同步到系統(tǒng)的云端進(jìn)行安全存儲。同時，MR智能終端4自身可保存會診記錄，并離線查看。

再例如，在需要遠(yuǎn)程面診時，醫(yī)師只需佩戴MR智能終端4，即可與患者進(jìn)行面診交流，同時，面診畫面也可實(shí)時傳遞給遠(yuǎn)端專家醫(yī)師，并接受其指導(dǎo)。

再例如，在遠(yuǎn)程手術(shù)過程中，通過MR智能終端4的全景成像技術(shù)，讓指導(dǎo)醫(yī)師身處手術(shù)室內(nèi)，全盤掌握手術(shù)室整體進(jìn)程；各崗位指導(dǎo)醫(yī)師，通過佩戴MR智能終端4，查看手術(shù)過程中與自身科別相關(guān)的實(shí)時數(shù)據(jù)，并可將自身視角轉(zhuǎn)換為現(xiàn)場醫(yī)師視角，與同崗位的醫(yī)師進(jìn)行實(shí)時指導(dǎo)交流。

再例如，在急救情況發(fā)生時，現(xiàn)場急救人員佩戴MR智能終端4進(jìn)行急救，指導(dǎo)醫(yī)師通過自己的MR智能終端4或其他移動設(shè)備，可切換至現(xiàn)場急救人員視角，觀察急救現(xiàn)場，并給予施救建議。

以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。