基于原位立體增強(qiáng)顯示的顯微系統(tǒng)及顯微方法
【專利摘要】本發(fā)明公開了一種基于原位立體增強(qiáng)顯示的顯微系統(tǒng)以及顯微方法，使得使用者能夠在較大的視場范圍內(nèi)對(duì)實(shí)體清晰、連續(xù)的觀察。其中本發(fā)明實(shí)施例的顯微系統(tǒng)包括：實(shí)體觀察裝置，實(shí)體觀察裝置對(duì)準(zhǔn)實(shí)體區(qū)域，用于讓使用者實(shí)時(shí)地、直接地獲取實(shí)體視覺圖像；裸眼三維顯示裝置，用于提供與實(shí)體視覺圖像內(nèi)容相關(guān)的裸眼真三維圖像；原位立體顯示裝置，原位立體顯示裝置分別與實(shí)體觀察裝置和裸眼三維顯示裝置相連，用于將實(shí)體視覺圖像和裸眼真三維圖像進(jìn)行原位立體透視融合后顯示給使用者。本發(fā)明具有結(jié)構(gòu)簡單、操作靈活度大、能滿足不同需求、可以實(shí)現(xiàn)高分辨率的立體融合顯示、或者可以實(shí)現(xiàn)系統(tǒng)輕便小型化等優(yōu)點(diǎn)。
【專利說明】
基于原位立體增強(qiáng)顯示的顯微系統(tǒng)及顯微方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及顯微技術(shù)，具體涉及一種基于原位立體增強(qiáng)顯示的顯微系統(tǒng)及顯微方法。

【背景技術(shù)】
[0002]顯微系統(tǒng)在臨床醫(yī)學(xué)、生物學(xué)、藥學(xué)等研究領(lǐng)域的運(yùn)用越來越廣泛。傳統(tǒng)的顯微顯示是通過顯微鏡直接獲得的。以蔡司公司的產(chǎn)品OPMI PENTER0 900手術(shù)顯微鏡和Ax1Imager 2正置式研究顯微鏡平臺(tái)為例，其觀察系統(tǒng)由主物鏡、雙目鏡筒和變倍單元組成，通過搭配不同倍率的目鏡與物鏡達(dá)到不同實(shí)體放大倍數(shù)與工作距離的要求。同時(shí)鏡內(nèi)投射功能讓使用者在實(shí)體中融合顯示一定的附加影像信息，引導(dǎo)使用者的操作。但這種顯微鏡的視野直徑很小，且僅能進(jìn)行直線觀察，易產(chǎn)生觀察死角。同時(shí)，鏡內(nèi)能投射顯示附加影像信息十分有限，采用現(xiàn)有的平面顯示方式，雖然可以為試用者提供寶貴的各種所需的影像信息，但是欠缺直觀性。
[0003]為解決視野與影像信息顯示等問題，人們對(duì)三維頭戴式顯示器進(jìn)行了大量研究。如:北卡羅來納大學(xué)利用透視頭戴式顯示器制作的立體“聽診器”和用于內(nèi)窺鏡手術(shù)規(guī)劃和術(shù)前模擬的頭戴裝置。頭戴式顯示器在佩戴者左右眼各自的視場中分別放置微顯示器，基于左右眼觀察不同圖像時(shí)能產(chǎn)生立體視覺的原理，利用可自動(dòng)變焦高清立體攝像設(shè)備獲取實(shí)體視覺圖像，將觀察實(shí)體與實(shí)體的三維圖像數(shù)據(jù)結(jié)合起來，在頭戴顯示器中呈現(xiàn)出增強(qiáng)現(xiàn)實(shí)融合顯示的實(shí)時(shí)圖像。報(bào)道指出，三維顯示下使用者的理解準(zhǔn)確度和操作準(zhǔn)確性有所提高，且操作時(shí)間也可縮短。但目前頭戴式顯示器的發(fā)展中存在較明顯的限制，例如當(dāng)對(duì)原位融合圖像的分辨率要求提高時(shí)，微顯示器的尺寸也會(huì)相應(yīng)增加，設(shè)備整體尺寸與重量也會(huì)增加；此外，頭戴式顯示器會(huì)引起使用者輻輳與焦點(diǎn)調(diào)節(jié)的不一致。為了保證逼真的三維成像，頭戴式顯示器存在著體積較大、觀察時(shí)幅輳與焦點(diǎn)調(diào)節(jié)不一致等問題，在長時(shí)間使用時(shí)很易產(chǎn)生視覺疲勞、頭暈不適等現(xiàn)象。人眼觀察真實(shí)物體時(shí)輻輳與焦點(diǎn)調(diào)節(jié)是一致的，而觀看立體影像時(shí)，眼睛調(diào)節(jié)處于屏幕上，而輻輳卻處于視差合成的虛擬立體圖像上，因此長期觀看必然會(huì)導(dǎo)致視覺疲勞。
[0004]由上可知，目前的顯微系統(tǒng)雖能直接觀察實(shí)體，但視野區(qū)域較小，也難以進(jìn)行三維圖像原位增強(qiáng)顯示；而頭戴式顯示器雖能進(jìn)行高清三維圖像融合，但難以同時(shí)保證使用者舒適感與融合圖像的清晰度，易有不適感。目前尚無既滿足三維立體圖像原位增強(qiáng)顯示、且保證足夠視野的顯微顯示系統(tǒng)，無法為使用者提供真實(shí)直觀、三維增強(qiáng)顯示的實(shí)體原位融合的顯微信息。


【發(fā)明內(nèi)容】

[0005]本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。為此，本發(fā)明的目的在于提出一種具有結(jié)構(gòu)簡單、操作靈活度大的基于原位立體增強(qiáng)顯示的顯微系統(tǒng)及顯微方法。
[0006]根據(jù)本發(fā)明實(shí)施例的基于原位立體增強(qiáng)顯示的顯微系統(tǒng)，可以包括:實(shí)體觀察裝置，所述實(shí)體觀察裝置對(duì)準(zhǔn)實(shí)體區(qū)域，用于讓使用者實(shí)時(shí)地、直接地獲取實(shí)體視覺圖像；裸眼三維顯示裝置，用于提供與所述實(shí)體視覺圖像內(nèi)容相關(guān)的裸眼真三維圖像；原位立體顯示裝置，所述原位立體顯示裝置分別與所述實(shí)體觀察裝置和所述裸眼三維顯示裝置相連，用于將所述實(shí)體視覺圖像和所述裸眼真三維圖像進(jìn)行原位立體透視融合后顯示給使用者。
[0007]另外，根據(jù)本發(fā)明上述實(shí)施例的顯微系統(tǒng)還可以具有如下附加技術(shù)特征:
[0008]可選地，所述裸眼三維顯示裝置包括裸眼真三維圖像圖像源和投影部件，所述投影部件用于根據(jù)所述裸眼真三維圖像圖像源在空間中投影顯示出對(duì)應(yīng)的裸眼真三維圖像，其中，當(dāng)裸眼三維顯示裝置為基于立體全像技術(shù)型時(shí)，所述投影部件為透鏡陣列；當(dāng)裸眼三維顯示裝置為基于光場技術(shù)型時(shí)，所述投影部件為透鏡陣列；當(dāng)裸眼三維顯示裝置為基于全息技術(shù)型時(shí)，所述投影部件為干涉裝置。
[0009]可選地，所述原位立體顯示裝置包括:第一固定件，用于固定所述裸眼三維顯示裝置中的投影部件；第二固定件，用于固定所述實(shí)體觀察裝置；半透半反裝置，所述半透半反裝置與所述第一固定件和所述第二固定件的相對(duì)位置滿足如下條件:所述實(shí)體視覺圖像和所述裸眼真三維圖像在所述半透半反裝置處進(jìn)行原位立體透視融合后顯示給使用者，其中，所述實(shí)體視覺圖像透過所述半透半反裝置后顯示給使用者，所述裸眼真三維圖像經(jīng)過所述半透半反裝置反射后顯示給使用者。
[0010]可選地，所述原位立體顯示裝置中，所述裸眼真三維圖像與所述半透半反裝置之間還包括:空間影像融合單元以及光程可控的反射單元，以實(shí)現(xiàn)可擴(kuò)展緊湊式融合投影結(jié)構(gòu)。
[0011]可選地，還包括:實(shí)體圖像放大單元、真三維圖像縮放單元和融合圖像縮放單元中的至少之一，其中，所述實(shí)體圖像放大單元用于放大進(jìn)行原位立體透視融合前的所述實(shí)體視覺圖像的尺寸，所述真三維圖像縮放單元用于縮放進(jìn)行原位立體透視融合前的所述裸眼真三維圖像的尺寸，所述融合圖像縮放單元用于縮放所述實(shí)體視覺圖像和所述裸眼真三維圖像進(jìn)行原位立體透視融合后的圖像尺寸。
[0012]可選地，還包括:像差校正處理模塊，所述像差校正處理模塊用于校正像差。
[0013]可選地，所述原位立體顯示裝置中，將所述實(shí)體視覺圖像和所述裸眼真三維圖像進(jìn)行配準(zhǔn)后進(jìn)行原位顯示后顯示給使用者，其中配準(zhǔn)的方式為基于標(biāo)志點(diǎn)的配準(zhǔn)或者無標(biāo)志點(diǎn)的配準(zhǔn)。
[0014]根據(jù)本發(fā)明實(shí)施例的基于原位立體增強(qiáng)顯示的顯微系統(tǒng)，可以包括以下步驟:A.實(shí)時(shí)地、直接地獲取實(shí)體視覺圖像；B.提供與所述實(shí)體視覺圖像內(nèi)容相關(guān)的裸眼真三維圖像；C.將所述實(shí)體視覺圖像和所述裸眼真三維圖像進(jìn)行原位立體透視融合后顯示給使用者。
[0015]另外，根據(jù)本發(fā)明上述實(shí)施例的顯微系統(tǒng)還可以具有如下附加技術(shù)特征:
[0016]可選地，所述步驟B具體包括:提供裸眼真三維圖像圖像源，通過投影部件在空間中投影顯示出對(duì)應(yīng)的裸眼真三維圖像，其中，當(dāng)裸眼三維顯示方法為基于立體全像技術(shù)型時(shí)，所述投影部件為透鏡陣列；當(dāng)裸眼三維顯示方法為基于光場技術(shù)型時(shí)，所述投影部件為透鏡陣列；當(dāng)裸眼三維顯示方法為基于全息技術(shù)型時(shí)，所述投影部件為干涉裝置。
[0017]可選地，所述步驟C中，通過半透半反裝置將所述實(shí)體視覺圖像和所述裸眼真三維圖像進(jìn)行原位立體透視融合后顯示給使用者，其中，所述實(shí)體視覺圖像透過所述半透半反裝置后顯示給使用者，所述裸眼真三維圖像經(jīng)過所述半透半反裝置反射后顯示給使用者。
[0018]可選地，進(jìn)行光路設(shè)計(jì)時(shí)采用可擴(kuò)展緊湊式融合投影結(jié)構(gòu)。
[0019]可選地，還包括下列步驟中的至少之一:放大進(jìn)行原位立體透視融合前的所述實(shí)體視覺圖像的尺寸；縮放進(jìn)行原位立體透視融合前的所述裸眼真三維圖像的尺寸；縮放所述實(shí)體視覺圖像和所述裸眼真三維圖像進(jìn)行原位立體透視融合后的圖像尺寸。
[0020]可選地，還包括步驟:進(jìn)行像差校正處理。
[0021]可選地，所述步驟C中，將所述實(shí)體視覺圖像和所述裸眼真三維圖像進(jìn)行配準(zhǔn)后進(jìn)行原位顯示后顯示給使用者，其中配準(zhǔn)的方式為基于標(biāo)志點(diǎn)的配準(zhǔn)或者無標(biāo)志點(diǎn)的配準(zhǔn)。
[0022]根據(jù)本發(fā)明實(shí)施例的基于原位立體增強(qiáng)顯示的顯微系統(tǒng)以及顯微方法，令使用者能夠在較大的視場范圍內(nèi)對(duì)實(shí)體進(jìn)行顯微觀察與操作的同時(shí)，為觀察者提供真三維裸眼立體實(shí)體原位增強(qiáng)顯示圖像，在透視融合圖像的輔助下實(shí)現(xiàn)對(duì)實(shí)體的內(nèi)外部結(jié)合的清晰、直觀與連續(xù)的觀察。本發(fā)明還具有結(jié)構(gòu)簡單、操作靈活度大、能滿足不同需求、可以實(shí)現(xiàn)高分辨率的立體融合顯示、或者可以實(shí)現(xiàn)系統(tǒng)輕便小型化等優(yōu)點(diǎn)。

【專利附圖】

【附圖說明】
[0023]圖1是本發(fā)明實(shí)施例的基于原位立體增強(qiáng)顯示的顯微系統(tǒng)的結(jié)構(gòu)框圖。
[0024]圖2是本發(fā)明實(shí)施例的原位立體顯微裝置的結(jié)構(gòu)示意圖。
[0025]圖3是本發(fā)明實(shí)施例的可擴(kuò)展緊湊式融合投影結(jié)構(gòu)示意圖。
[0026]圖4a是真三維圖像縮放單元將裸眼真三維圖像的尺寸縮小的顯微系統(tǒng)的示意圖；圖4b是真三維圖像縮放單元將裸眼真三維圖像的尺寸放大的顯微系統(tǒng)的示意圖。
[0027]圖5a是未進(jìn)行消像差處理的基于原位立體增強(qiáng)顯示的顯微系統(tǒng)的示意圖；圖5b是進(jìn)行消像差處理的基于原位立體增強(qiáng)顯示的顯微系統(tǒng)的示意圖。
[0028]圖6是本發(fā)明實(shí)施例的基于原位立體增強(qiáng)顯示的顯微方法的流程圖。

【具體實(shí)施方式】
[0029]下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，旨在用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。
[0030]本發(fā)明第一方面實(shí)施例的基于原位立體增強(qiáng)顯示的顯微系統(tǒng)如圖1所示，包括實(shí)體觀察裝置10、裸眼三維顯示裝置20和原位立體顯示裝置30。
[0031]實(shí)體觀察裝置10對(duì)準(zhǔn)實(shí)體區(qū)域，用于讓使用者實(shí)時(shí)地、直接地獲取實(shí)體視覺圖像。所謂實(shí)體視覺圖像，是指使用時(shí)視力所及的范圍內(nèi)的圖像。例如，如果手術(shù)操作時(shí)患者頭部需要進(jìn)行手術(shù)治療，則醫(yī)生直接肉眼觀察到的該患者頭部的毛發(fā)、皮膚、骨骼、血管、器官(后面幾項(xiàng)開顱后可見)等內(nèi)容均屬于實(shí)體視覺圖像的內(nèi)容。最簡單的實(shí)體觀察裝置10可以是一個(gè)由一或多個(gè)光學(xué)鏡頭，該光學(xué)鏡頭對(duì)準(zhǔn)實(shí)體區(qū)域以便于使用者直接肉眼觀察獲得實(shí)體視覺圖像。優(yōu)選地，實(shí)體觀察裝置10也可以使用顯示屏與圖像采集裝置的組合形式，為觀察者提供觀察實(shí)體實(shí)時(shí)圖像。當(dāng)然，實(shí)體觀察裝置10也可以配備遮光罩、防塵透明罩等附件結(jié)構(gòu)，本文不做贅述。
[0032]裸眼三維顯示裝置20用于提供與實(shí)體視覺圖像內(nèi)容相關(guān)的裸眼真三維圖像。這里意味著兩層意思:第一，裸眼三維顯示裝置20所提供的圖像，是形成在空間中的、裸眼看上去具有立體感的、三維的虛擬的圖像。裸眼三維顯示裝置20是指基于光學(xué)成像原理、能夠在空間中顯示出被使用者裸眼看到具有三維立體感的像的裝置。第二，裸眼真三維圖像的內(nèi)容與實(shí)體視覺圖像的內(nèi)容相關(guān)。例如，某次手術(shù)過程中實(shí)體區(qū)域?yàn)榛颊哳^顱，實(shí)體視覺圖像為直觀所見的頭顱的圖像，此時(shí)，裸眼三維顯示裝置20提供的裸眼真三維圖像的內(nèi)容也應(yīng)該為與頭顱相關(guān)的圖像，而不是與胸腔等其他位置相關(guān)的圖像。
[0033]需要說明的是，裸眼真三維圖像用于給使用者(例如醫(yī)生)提供豐富的數(shù)據(jù)信息，便于使用者做出分析判斷。用于生成裸眼真三維圖像的裸眼真三維圖像圖像源可以是計(jì)算機(jī)斷層成像(CT)、計(jì)算機(jī)三維建模等方法生成的體數(shù)據(jù)，也可以是X光透射、光學(xué)相干斷層成像(OCT)等成像方法生產(chǎn)的二維斷層圖像，還可以是相機(jī)、結(jié)構(gòu)光等方法生成的表面紋理圖像。此外，裸眼真三維圖像的內(nèi)容既可以是操作前獲得的，也可以是操作中實(shí)時(shí)獲取的，也可以是將操作前與操作中的圖像進(jìn)行實(shí)時(shí)配準(zhǔn)融合后的結(jié)果。
[0034]需要說明的是，裸眼三維顯示裝置20包括裸眼真三維圖像圖像源21和投影部件
22。裸眼真三維圖像圖像源21即提供裸眼真三維圖像的內(nèi)容來源的部件，它可以是某些圖像數(shù)據(jù)獲取設(shè)備(例如X光投射掃描裝置及相關(guān)圖像處理模塊)，也可以是存儲(chǔ)有裸眼真三維圖像對(duì)應(yīng)的原始圖像的存儲(chǔ)器件(例如存儲(chǔ)有二維超聲圖像的硬盤)，本領(lǐng)域技術(shù)人員可以根據(jù)需要靈活選擇，本文不做限制。投影部件22用于根據(jù)裸眼真三維圖像圖像源21在空間中投影顯示出裸眼真三維圖像。例如，將一塊二維平面的發(fā)光顯示屏作為裸眼真三維圖像圖像源21，讓該發(fā)光顯示屏呈現(xiàn)出預(yù)先設(shè)計(jì)好的圖案，然后該發(fā)光顯示屏發(fā)出的光經(jīng)過投影部件22后在空間中投射出具有立體感的裸眼真三維圖像。裸眼三維顯示裝置20的技術(shù)細(xì)節(jié)為本領(lǐng)域技術(shù)人員已知知識(shí)，可以根據(jù)需要靈活選擇。當(dāng)裸眼三維顯示裝置20為基于立體全像技術(shù)型時(shí)，投影部件22為透鏡陣列。當(dāng)裸眼三維顯示裝置20為基于光場技術(shù)型時(shí)，投影部件22為透鏡陣列。當(dāng)裸眼三維顯示裝置20為基于全息技術(shù)型時(shí)，投影部件22為干涉裝置。需要說明的是，還可以選擇本領(lǐng)域技術(shù)人員已知的其他的類型的裸眼三維顯示裝置，不改變本發(fā)明的原理。以及，需要說明的是，設(shè)計(jì)裸眼真三維圖像對(duì)應(yīng)的原始圖像的算法與裸眼三維顯示裝置的類型有關(guān)。例如，裸眼三維顯示裝置20為基于立體全像技術(shù)型時(shí)，需要先編寫電腦程序，利用體繪制或者面繪制的方法模擬三維空間物體中某一點(diǎn)發(fā)射的光線通過透鏡陣列，處理得到裸眼真三維圖像對(duì)應(yīng)的原始圖像。為在操作過程中實(shí)現(xiàn)裸眼真三維圖像的動(dòng)態(tài)實(shí)時(shí)更新，可以使用GPU等并行化處理方式進(jìn)行裸眼真三維圖像對(duì)應(yīng)的原始圖像的加速渲染。
[0035]原位立體顯示裝置30分別與實(shí)體觀察裝置10和裸眼三維顯示裝置20相連，用于將內(nèi)容彼此相關(guān)的實(shí)體視覺圖像和裸眼真三維圖像進(jìn)行原位融合后顯示給使用者。原位立體顯示裝置30主要由一系列光學(xué)元件(透鏡、反射鏡、半透半反裝置等等)按特定方式排布而成，同時(shí)通常也包括一些必要的、起支撐固定作用的殼體或支架等等。原位立體顯示裝置30的具體形式本發(fā)明不作限定，僅需要保證能讓使用者同時(shí)看到實(shí)體視覺圖像和裸眼真三維圖像進(jìn)行原位顯示后的圖像即可。
[0036]圖2示出了本發(fā)明一個(gè)具體實(shí)施例的原位立體顯示裝置30的結(jié)構(gòu)示意圖。如圖2所示，該原位立體顯示裝置30包括:第一固定件31、第二固定件32和半透半反裝置33。第一固定件31用于固定裸眼三維顯示裝置20中的投影部件。第二固定件32用于固定實(shí)體觀察裝置10。半透半反裝置33與實(shí)體觀察裝置10、第一固定件31及第二固定件32的相對(duì)位置滿足如下條件:實(shí)體視覺圖像和裸眼真三維圖像在半透半反裝置33處原位立體透視融合后顯示給使用者，其中，實(shí)體視覺圖像透過半透半反裝置33后顯示給使用者，裸眼真三維圖像經(jīng)過半透半反裝置33反射后顯示給使用者。需要說明的是，應(yīng)當(dāng)保證半透半反裝置33到實(shí)體的光程與裸眼三維顯示裝置20到半透半反裝置33的光程的一致性。優(yōu)選地，半透半反裝置33可以采用液晶屏式半透半反裝置。該液晶屏式半透半反裝置以實(shí)現(xiàn)可控的透射比與反射比。液晶屏本身還可用作顯示屏，在特定應(yīng)用場合中，可作為附加的平面顯示器增加系統(tǒng)原位圖像的信息量，或作為觸摸屏采集使用者操作，增強(qiáng)系統(tǒng)與使用者的交互能力。
[0037]圖2所示實(shí)施例的原位立體顯示裝置30中采用直線投影的方式完成裸眼三維顯示裝置20到半透半反裝置33之間的光路傳播，導(dǎo)致裝置占據(jù)空間較大，在空間有限時(shí)造成了裝置控制及使用者操作的不便。針對(duì)此情況， 申請(qǐng)人:還提出一種采用可擴(kuò)展緊湊式融合投影結(jié)構(gòu)的原位立體顯示裝置，下面結(jié)合圖3進(jìn)行詳細(xì)介紹。
[0038]在本發(fā)明的一個(gè)實(shí)施例的基于原位立體增強(qiáng)顯示的顯微系統(tǒng)的原位立體顯示裝置30中，裸眼三維顯示裝置20到半透半反裝置33之間還包括空間影像融合單元34以及光程可控的反射單元35，如圖3所示。其中:空間影像融合結(jié)構(gòu)34基于多半透半反裝置機(jī)構(gòu)，在投影裝置前端通過光學(xué)硬件方式實(shí)現(xiàn)若干個(gè)獨(dú)立、并排的三維裸眼立體像的空間融合，實(shí)現(xiàn)簡單多模態(tài)影像信息的配準(zhǔn)融合，提升系統(tǒng)顯示信息的豐富性；同時(shí)，基于光學(xué)硬件的圖像融合十分快速，以應(yīng)用于對(duì)成像速度有高要求的場合。光程可控的反射結(jié)構(gòu)35用于減少光軸長度，使系統(tǒng)結(jié)構(gòu)更加緊湊。該實(shí)施例中通過采用光路內(nèi)的縮放透鏡陣列設(shè)計(jì)，以及間距可調(diào)的反射鏡組，實(shí)現(xiàn)在縮減系統(tǒng)體積的情況下保證光程一致性，并擴(kuò)大可視范圍。
[0039]在本發(fā)明的一個(gè)實(shí)施例中，基于原位立體增強(qiáng)顯示的顯微系統(tǒng)還可以包括實(shí)體圖像放大單元41、真三維圖像縮放單元42和融合圖像縮放單元43中的至少之一。其中:實(shí)體圖像放大單元41用于放大進(jìn)行原位立體透視融合前的實(shí)體視覺圖像的尺寸，例如，實(shí)體圖像放大單元41可以為位于實(shí)體區(qū)域和半透半反裝置33之間的透鏡或透鏡組合。真三維圖像縮放單元42用于縮放進(jìn)行原位立體透視融合前的裸眼真三維圖像的尺寸。例如，真三維圖像縮放單元42可以包括位于投影部件和半透半反裝置33之間的透鏡或透鏡組合。融合圖像縮放單元43用于縮放實(shí)體視覺圖像和裸眼真三維圖像進(jìn)行原位立體透視融合后的圖像尺寸。例如，融合圖像縮放單元43可以包括位于使用者眼睛和半透半反裝置33之間的透鏡或透鏡組合。由上可知，使用者可以通過綜合調(diào)控實(shí)體圖像放大單元41、真三維圖像縮放單元42和融合圖像縮放單元43的各自的縮放倍數(shù)以得到最好的觀測效果。
[0040]需要說明的是，實(shí)體圖像放大單元41、真三維圖像縮放單元42以及融合圖像縮放單元43中除了透鏡或透鏡組合之外，還具有與之配套的操動(dòng)裝置?？刂撇賱?dòng)裝置用于將透鏡或者透鏡組移動(dòng)到合適的工作位置。操動(dòng)裝置可以靈活設(shè)置，可以為電機(jī)形式自動(dòng)操動(dòng)，也可為導(dǎo)軌形式手動(dòng)操動(dòng)等等。
[0041]需要說明的是，真三維圖像縮放單元42對(duì)裸眼真三維圖像的縮放意義最為重大。下面結(jié)合圖4a和圖4b舉例說明。
[0042]在本發(fā)明一個(gè)實(shí)施例中，真三維圖像縮放單元42可以將裸眼真三維圖像的尺寸縮小。如圖4a所示，將初始的裸眼真三維圖像標(biāo)記為A，該A經(jīng)過真三維圖像縮放單元42縮小尺寸，這相當(dāng)于在空間中形成了縮小尺寸的虛擬像A’，最后A’經(jīng)過半透半反裝置33反射映入使用者眼中。該實(shí)施例中，可以將原本大尺寸裸眼真三維圖像進(jìn)行縮小集中到小尺寸后與實(shí)體視覺圖像融合，降低了對(duì)原先的裸眼真三維圖像圖像源的分辨率要求，提高了融合后圖像的清晰程度。
[0043]在本發(fā)明另一個(gè)實(shí)施例中，真三維圖像縮放單元42可以將裸眼真三維圖像的尺寸放大。如圖4b所示，將初始的裸眼真三維圖像標(biāo)記為B，該B經(jīng)過真三維圖像縮放單元42放大尺寸，這相當(dāng)于在空間中形成了放大尺寸的虛擬像B’，最后B’經(jīng)過半透半反裝置33反射后映入使用者眼中。該實(shí)施例中，可以將原本小尺寸裸眼真三維圖像進(jìn)行放大擴(kuò)展到大尺寸后與實(shí)體視覺圖像融合，可以降低了裸眼三維顯示裝置中投影部件的面積要求，有利于整個(gè)顯微系統(tǒng)的硬件小型化。
[0044]在本發(fā)明的一個(gè)實(shí)施例中，基于原位立體增強(qiáng)顯示的顯微系統(tǒng)還包括:像差校正處理模塊50，該像差校正處理模塊50用于消除像差。由于實(shí)際光學(xué)元件的不完善性，會(huì)導(dǎo)致成像發(fā)生模糊、變形等缺陷。如圖5a所示。原始裸眼真三維圖像C經(jīng)過縮小處理后，產(chǎn)生了具有像差的C’，以至于使用者觀察到的融合圖像中出現(xiàn)了較明顯的像差，這時(shí)需對(duì)成像系統(tǒng)進(jìn)行像差校正處理。這里可以使用計(jì)算機(jī)仿真技術(shù)定量測算光學(xué)系統(tǒng)的像差值，像差校正處理一般有兩種途徑:①基于像差值對(duì)初始光學(xué)設(shè)計(jì)參數(shù)進(jìn)行優(yōu)化，重新調(diào)整相關(guān)縮放單元中各光學(xué)部件的焦距、半徑、間距等參數(shù)，以達(dá)到像差最小。②基于像差值對(duì)裸眼立體顯示圖像進(jìn)行調(diào)整，使裸眼立體圖像經(jīng)過透鏡組的成像后像差達(dá)到最小。根據(jù)具體應(yīng)用情況可以選擇其中一種像差校正方法，也可以將兩種方法結(jié)合使用。圖5b給出一個(gè)實(shí)施例，在圖5a的基礎(chǔ)上將真三維圖像縮放單元42中的透鏡換成膠合鏡，并且提供具有預(yù)變形補(bǔ)償?shù)穆阊壅嫒S圖像D，該D經(jīng)過膠合鏡之后得到無像差的虛擬像D’，使用者最終觀察到無像差的三維虛擬融合圖像。
[0045]在原位立體顯示裝置30中，在進(jìn)行圖像融合時(shí)，需要將實(shí)體視覺圖像和裸眼真三維圖像進(jìn)行配準(zhǔn)，以保證使用者觀察到的圖像能正確融合在原位。其中配準(zhǔn)的方式包括兩種:基于標(biāo)志點(diǎn)的配準(zhǔn)和無標(biāo)志點(diǎn)的配準(zhǔn)。當(dāng)使用基于標(biāo)志點(diǎn)的配準(zhǔn)算法時(shí)，可基于自動(dòng)或手動(dòng)確定的標(biāo)記點(diǎn)，使用最優(yōu)化理論計(jì)算與立體圖像的配準(zhǔn)關(guān)系。同時(shí)需要術(shù)中定位設(shè)備對(duì)實(shí)體目標(biāo)進(jìn)行術(shù)中的持續(xù)跟蹤，實(shí)現(xiàn)目標(biāo)運(yùn)動(dòng)時(shí)配準(zhǔn)信息的實(shí)時(shí)更新。當(dāng)使用無標(biāo)志點(diǎn)的配準(zhǔn)算法時(shí)，可以使用三維場景的重建方法，基于三維表面輪廓信息使用最優(yōu)化理論計(jì)算與立體圖像的配準(zhǔn)關(guān)系。同時(shí)，需要使用術(shù)中定位設(shè)備對(duì)實(shí)體目標(biāo)進(jìn)行術(shù)中的持續(xù)跟蹤，實(shí)現(xiàn)目標(biāo)運(yùn)動(dòng)時(shí)配準(zhǔn)信息的實(shí)時(shí)更新。基于上述有標(biāo)志點(diǎn)或無標(biāo)志點(diǎn)的配準(zhǔn)結(jié)果，計(jì)算兩者間最優(yōu)空間坐標(biāo)轉(zhuǎn)換關(guān)系，并基于實(shí)體目標(biāo)尺寸調(diào)整立體圖像顯示的尺寸。此步驟為本領(lǐng)域技術(shù)人員的已知知識(shí)，本文不贅述。
[0046]需要說明的是，若使用中系統(tǒng)的放大倍數(shù)發(fā)生改變，或?qū)嶓w目標(biāo)位姿發(fā)生改變時(shí)，需要重新進(jìn)行立體融合圖像與實(shí)體目標(biāo)實(shí)體的配準(zhǔn)，更新立體融合圖像顯示內(nèi)容。放大倍數(shù)改變時(shí)，根據(jù)倍數(shù)對(duì)顯示圖像進(jìn)行縮放；實(shí)體目標(biāo)位置改變時(shí)，需要使用術(shù)中定位設(shè)備對(duì)實(shí)體目標(biāo)進(jìn)行使用中的持續(xù)跟蹤，根據(jù)目標(biāo)表面標(biāo)志點(diǎn)或表面輪廓信息進(jìn)行再次配準(zhǔn)，根據(jù)配準(zhǔn)結(jié)果再次更新顯示圖像。
[0047]綜上所述，本發(fā)明實(shí)施例的基于原位立體增強(qiáng)顯示的顯微系統(tǒng)，使得使用者能夠在較大的視場范圍內(nèi)對(duì)實(shí)體及立體融合圖像進(jìn)行清晰、連續(xù)的觀察，具有結(jié)構(gòu)簡單、操作靈活度大、能滿足不同需求、可以實(shí)現(xiàn)高分辨率的立體融合顯示、或者可以實(shí)現(xiàn)系統(tǒng)輕便小型化等優(yōu)點(diǎn)。
[0048]本發(fā)明第二方面實(shí)施例的基于原位立體增強(qiáng)顯示的顯微方法，如圖6所示，包括以下步驟:
[0049]A.實(shí)時(shí)地、直接地獲取實(shí)體視覺圖像；
[0050]B.提供與實(shí)體視覺圖像內(nèi)容相關(guān)的裸眼真三維圖像；
[0051]C.將實(shí)體視覺圖像和裸眼真三維圖像進(jìn)行原位立體透視融合后顯示給使用者。
[0052]在本發(fā)明的一個(gè)實(shí)施例中，步驟B具體包括:提供裸眼真三維圖像圖像源，通過投影部件在空間中投影顯示出對(duì)應(yīng)的裸眼真三維圖像。進(jìn)行裸眼三維顯示的方法有許多種，可以根據(jù)需要靈活選擇。當(dāng)裸眼三維顯示方法為基于立體全像技術(shù)型時(shí)，投影部件為透鏡陣列；當(dāng)裸眼三維顯示方法為基于光場技術(shù)型時(shí)，投影部件為透鏡陣列；當(dāng)裸眼三維顯示方法為基于全息技術(shù)型時(shí)，投影部件為干涉裝置。
[0053]在本發(fā)明的一個(gè)實(shí)施例中，步驟C中，通過半透半反裝置將實(shí)體視覺圖像和裸眼真三維圖像進(jìn)行原位立體透視融合后顯示給使用者。其中，實(shí)體視覺圖像透過半透半反裝置后顯示給使用者，裸眼真三維圖像經(jīng)過半透半反裝置反射后顯示給使用者。
[0054]在本發(fā)明的一個(gè)實(shí)施例中，進(jìn)行光路設(shè)計(jì)時(shí)采用可擴(kuò)展緊湊式融合投影結(jié)構(gòu)。這樣可以縮小設(shè)備體積，減少對(duì)安裝場地大小受限程度。
[0055]在本發(fā)明的一個(gè)實(shí)施例中，還可以對(duì)圖像進(jìn)行縮放。具體地，可以包括下列步驟中的至少之一:放大進(jìn)行原位立體透視融合前的實(shí)體視覺圖像的尺寸；縮放進(jìn)行原位立體透視融合前的裸眼真三維圖像的尺寸；縮放實(shí)體視覺圖像和裸眼真三維圖像進(jìn)行原位立體透視融合后的圖像尺寸。由上可知，使用者可以通過綜合調(diào)控實(shí)體視覺圖像、裸眼真三維圖像和融合圖像三者各自的縮放倍數(shù)以得到最好的觀測效果。
[0056]在本發(fā)明的一個(gè)實(shí)施例中，還包括:進(jìn)行像差校正處理。經(jīng)過像差校正處理之后，能夠讓使用者最終觀察到無像差的三維虛擬融合圖像。
[0057]在本發(fā)明的一個(gè)實(shí)施例中，將實(shí)體視覺圖像和裸眼真三維圖像進(jìn)行配準(zhǔn)后進(jìn)行原位顯示后顯示給使用者，其中配準(zhǔn)的方式為基于標(biāo)志點(diǎn)的配準(zhǔn)或者無標(biāo)志點(diǎn)的配準(zhǔn)。
[0058]綜上所述，本發(fā)明實(shí)施例的基于原位立體增強(qiáng)顯示的顯微方法，使得使用者能夠在較大的視場范圍內(nèi)對(duì)實(shí)體及立體融合圖像進(jìn)行清晰、連續(xù)的觀察，具有流程簡單、操作靈活度大、能滿足不同需求、可以實(shí)現(xiàn)高分辨率的立體融合顯示、或者可以實(shí)現(xiàn)系統(tǒng)輕便小型化等優(yōu)點(diǎn)。
[0059]在本發(fā)明的描述中，需要理解的是，術(shù)語“中心”、“縱向”、“橫向”、“長度”、“寬度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底” “內(nèi)”、“外”、“順時(shí)針”、“逆時(shí)針”、“軸向”、“徑向”、“周向”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對(duì)本發(fā)明的限制。
[0060]此外，術(shù)語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對(duì)重要性或者隱含指明所指示的技術(shù)特征的數(shù)量。由此，限定有“第一”、“第二”的特征可以明示或者隱含地包括至少一個(gè)該特征。在本發(fā)明的描述中，“多個(gè)”的含義是至少兩個(gè)，例如兩個(gè)，三個(gè)等，除非另有明確具體的限定。
[0061]在本發(fā)明中，除非另有明確的規(guī)定和限定，術(shù)語“安裝”、“相連”、“連接”、“固定”等術(shù)語應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或成一體；可以是機(jī)械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個(gè)元件內(nèi)部的連通或兩個(gè)元件的相互作用關(guān)系，除非另有明確的限定。對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以根據(jù)具體情況理解上述術(shù)語在本發(fā)明中的具體含義。
[0062]在本發(fā)明中，除非另有明確的規(guī)定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接觸，或第一和第二特征通過中間媒介間接接觸。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或僅僅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或僅僅表示第一特征水平高度小于第二特征。
[0063]流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個(gè)或更多個(gè)用于實(shí)現(xiàn)特定邏輯功能或過程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分，并且本發(fā)明的優(yōu)選實(shí)施方式的范圍包括另外的實(shí)現(xiàn)，其中可以不按所示出或討論的順序，包括根據(jù)所涉及的功能按基本同時(shí)的方式或按相反的順序，來執(zhí)行功能，這應(yīng)被本發(fā)明的實(shí)施例所屬【技術(shù)領(lǐng)域】的技術(shù)人員所理解。
[0064]在本說明書的描述中，參考術(shù)語“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說明書中，對(duì)上述術(shù)語的示意性表述不必須針對(duì)的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。此外，在不相互矛盾的情況下，本領(lǐng)域的技術(shù)人員可以將本說明書中描述的不同實(shí)施例或示例以及不同實(shí)施例或示例的特征進(jìn)行結(jié)合和組合。
[0065]盡管上面已經(jīng)示出和描述了本發(fā)明的實(shí)施例，可以理解的是，上述實(shí)施例是示例性的，不能理解為對(duì)本發(fā)明的限制，本領(lǐng)域的普通技術(shù)人員在本發(fā)明的范圍內(nèi)可以對(duì)上述實(shí)施例進(jìn)行變化、修改、替換和變型。
【權(quán)利要求】
1.一種基于原位立體增強(qiáng)顯示的顯微系統(tǒng)，其特征在于，包括: 實(shí)體觀察裝置，所述實(shí)體觀察裝置對(duì)準(zhǔn)實(shí)體區(qū)域，用于讓使用者實(shí)時(shí)地、直接地獲取實(shí)體視覺圖像； 裸眼三維顯示裝置，用于提供與所述實(shí)體視覺圖像內(nèi)容相關(guān)的裸眼真三維圖像； 原位立體顯示裝置，所述原位立體顯示裝置分別與所述實(shí)體觀察裝置和所述裸眼三維顯示裝置相連，用于將所述實(shí)體視覺圖像和所述裸眼真三維圖像進(jìn)行原位立體透視融合后顯示給使用者。
2.根據(jù)權(quán)利要求1所述的顯微系統(tǒng)，其特征在于，所述裸眼三維顯示裝置包括裸眼真三維圖像圖像源和投影部件，所述投影部件用于根據(jù)所述裸眼真三維圖像圖像源在空間中投影顯示出對(duì)應(yīng)的裸眼真三維圖像，其中， 當(dāng)裸眼三維顯示裝置為基于立體全像技術(shù)型時(shí)，所述投影部件為透鏡陣列； 當(dāng)裸眼三維顯示裝置為基于光場技術(shù)型時(shí)，所述投影部件為透鏡陣列； 當(dāng)裸眼三維顯示裝置為基于全息技術(shù)型時(shí)，所述投影部件為干涉裝置。
3.根據(jù)權(quán)利要求2所述的顯微系統(tǒng)，其特征在于，所述原位立體顯示裝置包括: 第一固定件，用于固定所述裸眼三維顯示裝置中的投影部件； 第二固定件，用于固定所述實(shí)體觀察裝置； 半透半反裝置，所述半透半反裝置與所述第一固定件和所述第二固定件的相對(duì)位置滿足如下條件:所述實(shí)體視覺圖像和所述裸眼真三維圖像在所述半透半反裝置處進(jìn)行原位立體透視融合后顯示給使用者，其中，所述實(shí)體視覺圖像透過所述半透半反裝置后顯示給使用者，所述裸眼真三維圖像經(jīng)過所述半透半反裝置反射后顯示給使用者。
4.根據(jù)權(quán)利要求3所述的顯微系統(tǒng)，其特征在于，所述原位立體顯示裝置中，所述裸眼真三維圖像與所述半透半反裝置之間還包括:空間影像融合單元以及光程可控的反射單元，以實(shí)現(xiàn)可擴(kuò)展緊湊式融合投影結(jié)構(gòu)。
5.根據(jù)權(quán)利要求3所述的顯微系統(tǒng)，其特征在于，還包括:實(shí)體圖像放大單元、真三維圖像縮放單元和融合圖像縮放單元中的至少之一，其中，所述實(shí)體圖像放大單元用于放大進(jìn)行原位立體透視融合前的所述實(shí)體視覺圖像的尺寸，所述真三維圖像縮放單元用于縮放進(jìn)行原位立體透視融合前的所述裸眼真三維圖像的尺寸，所述融合圖像縮放單元用于縮放所述實(shí)體視覺圖像和所述裸眼真三維圖像進(jìn)行原位立體透視融合后的圖像尺寸。
6.根據(jù)權(quán)利要求1所述的顯微系統(tǒng)，其特征在于，還包括:像差校正處理模塊，所述像差校正處理模塊用于校正像差。
7.根據(jù)權(quán)利要求1所述的顯微系統(tǒng)，其特征在于，所述原位立體顯示裝置中，將所述實(shí)體視覺圖像和所述裸眼真三維圖像進(jìn)行配準(zhǔn)后進(jìn)行原位顯示后顯示給使用者，其中配準(zhǔn)的方式為基于標(biāo)志點(diǎn)的配準(zhǔn)或者無標(biāo)志點(diǎn)的配準(zhǔn)。
8.一種基于原位立體增強(qiáng)顯示的顯微方法，其特征在于，包括以下步驟: A.實(shí)時(shí)地、直接地獲取實(shí)體視覺圖像； B.提供與所述實(shí)體視覺圖像內(nèi)容相關(guān)的裸眼真三維圖像； C.將所述實(shí)體視覺圖像和所述裸眼真三維圖像進(jìn)行原位立體透視融合后顯示給使用者。
9.根據(jù)權(quán)利要求8所述的顯微方法，其特征在于，所述步驟B具體包括:提供裸眼真三維圖像圖像源，通過投影部件在空間中投影顯示出對(duì)應(yīng)的裸眼真三維圖像，其中， 當(dāng)裸眼三維顯示方法為基于立體全像技術(shù)型時(shí)，所述投影部件為透鏡陣列； 當(dāng)裸眼三維顯示方法為基于光場技術(shù)型時(shí)，所述投影部件為透鏡陣列； 當(dāng)裸眼三維顯示方法為基于全息技術(shù)型時(shí)，所述投影部件為干涉裝置。
10.根據(jù)權(quán)利要求9所述的顯微方法，其特征在于，所述步驟C中，通過半透半反裝置將所述實(shí)體視覺圖像和所述裸眼真三維圖像進(jìn)行原位立體透視融合后顯示給使用者，其中，所述實(shí)體視覺圖像透過所述半透半反裝置后顯示給使用者，所述裸眼真三維圖像經(jīng)過所述半透半反裝置反射后顯示給使用者。
11.根據(jù)權(quán)利要求10所述的顯微方法，其特征在于，進(jìn)行光路設(shè)計(jì)時(shí)采用可擴(kuò)展緊湊式融合投影結(jié)構(gòu)。
12.根據(jù)權(quán)利要求10所述的顯微方法，其特征在于，還包括下列步驟中的至少之一: 放大進(jìn)行原位立體透視融合前的所述實(shí)體視覺圖像的尺寸； 縮放進(jìn)行原位立體透視融合前的所述裸眼真三維圖像的尺寸； 縮放所述實(shí)體視覺圖像和所述裸眼真三維圖像進(jìn)行原位立體透視融合后的圖像尺寸。
13.根據(jù)權(quán)利要求8所述的顯微方法，其特征在于，還包括步驟:進(jìn)行像差校正處理。
14.根據(jù)權(quán)利要求8所述的顯微方法，其特征在于，所述步驟C中，將所述實(shí)體視覺圖像和所述裸眼真三維圖像進(jìn)行配準(zhǔn)后進(jìn)行原位顯示后顯示給使用者，其中配準(zhǔn)的方式為基于標(biāo)志點(diǎn)的配準(zhǔn)或者無標(biāo)志點(diǎn)的配準(zhǔn)。
【文檔編號(hào)】G02B27/22GK104280886SQ201410498047
【公開日】2015年1月14日 申請(qǐng)日期:2014年9月25日 優(yōu)先權(quán)日:2014年9月25日
【發(fā)明者】廖洪恩, 張欣然 申請(qǐng)人:清華大學(xué)