本申請要求以代理人案號ML 30017.00于2014年5月30日提交的名為“用于在虛擬和增強現(xiàn)實中產(chǎn)生焦平面的方法和系統(tǒng)(METHODS AND SYSTEMS FOR CREATING FOCAL PLANES IN VIRTUAL AND AUGMENTED REALITY)”的美國臨時專利申請序列號62/005,834的優(yōu)先權(quán)。本申請與以代理人案號ML 30016.00于2014年5月30日提交的名為“用于虛擬和增強現(xiàn)實的方法和系統(tǒng)(METHODS AND SYSTEMS FOR VIRTUAL AND AUGMENTED REALITY)”的美國專利申請序列號62/005,807,以及以代理人案號ML 30018.00也于2014年5月30日提交的名為“利用具有用于虛擬和增強現(xiàn)實的可尋址聚焦的自由形態(tài)光學(xué)系統(tǒng)來顯示立體視覺的方法和系統(tǒng)(METHODS AND SYSTEMS FOR DISPLAYING STEREOSCOPY WITH A FREEFORM OPTICAL SYSTEM WITH ADDRESSABLE FOCUS FOR VIRTUAL AND AUGMENTED REALITY)”的美國臨時專利申請序列號62/005,865交叉相關(guān)。本申請還與以代理人案號ML 20011.00于2014年11月27日提交的名為“虛擬和增強現(xiàn)實方法和系統(tǒng)(VIRTUAL AND AUGMENTED REALITY SYSTEMS AND METHODS)”的美國專利申請序列號14/555,585,和以代理人案號ML 20012.00于2015年1月30日提交的名為“多焦點顯示系統(tǒng)和方法(MULTI-FOCAL DISPLAY SYSTEM AND METHOD)”的美國專利申請序列號14/611,154,以及以代理人案號ML 20013.00于2015年1月30日提交的名為“多焦點顯示系統(tǒng)和方法(MULTI-FOCAL DISPLAY SYSTEM AND METHOD)”的美國專利申請序列號14/611,162交叉相關(guān)。
背景技術(shù):
現(xiàn)代計算技術(shù)和顯示技術(shù)已經(jīng)促進了用于所謂“虛擬現(xiàn)實”或者“增強現(xiàn)實”體驗的系統(tǒng)的發(fā)展,其中,數(shù)字再現(xiàn)的圖像或者其部分以看起來是真實或者可感知為真實的方式呈現(xiàn)給用戶。虛擬現(xiàn)實或“VR”場景通常涉及數(shù)字或虛擬圖像信息的呈現(xiàn),而對于其它實際的真實世界視覺輸入并不透明;增強現(xiàn)實或“AR”場景通常涉及數(shù)字或虛擬圖像信息的呈現(xiàn),作為對用戶周圍的實際世界的可視化的增強。例如,參考圖1,描繪了增強的現(xiàn)實場景(4),其中,AR技術(shù)的用戶看見了以在背景中的人、樹、建筑為特征的真實世界公園狀的設(shè)置(6)和實體平臺(1120)。
除了這些項以外,AR技術(shù)的使用者還感知到他“看到”站在真實世界的平臺(1120)上的機器人雕像(1110),以及正在飛行的卡通式的頭像角色(2),通過其看起來是大黃蜂的擬人化,即使這些元素(2,1110)在真實世界中不存在。事實證明,人類視覺感知系統(tǒng)很復(fù)雜,產(chǎn)生一種促進虛擬圖像元素在其他虛擬或現(xiàn)實世界圖像元素中的舒適的、感覺自然的、豐富的呈現(xiàn)的VR或AR技術(shù)具有挑戰(zhàn)。
參考圖2A,已經(jīng)開發(fā)了立體可穿戴眼鏡式配置,其通常以兩個顯示器(10,12)為特征,兩個顯示器被配置為顯示具有輕微不同的元素呈現(xiàn)的圖像,以使得三維透視圖被人類視覺系統(tǒng)感知。已經(jīng)發(fā)現(xiàn)這種配置由于聚散和調(diào)節(jié)之間的不匹配令很多使用者不舒服,必須克服該不匹配以在三維中感知圖像。實際上,一些使用者不能夠忍受立體配置。圖2B示出了以兩個朝前取向的照相機(16,18)為特征的另一副立體可穿戴眼鏡(14)式配置,該兩個朝前取向的照相機(16,18)被配置為捕獲用于通過立體顯示器向用戶呈現(xiàn)增強現(xiàn)實的圖像。當(dāng)眼鏡(14)在用戶的頭上安裝時,通常照相機(16,18)和顯示器的位置阻擋用戶的固有視場。
參考圖2C,示出了增強現(xiàn)實配置(20),其以耦合到眼鏡框架(24)的可視化模塊(26)為特征,該眼鏡框架(24)還保持傳統(tǒng)眼鏡透鏡(22)。采用這種系統(tǒng)用戶能夠看到至少部分暢通無阻的真實世界的視圖,并且具有小顯示器(28),采用該顯示器(28)可在AR配置中向一只眼睛呈現(xiàn)數(shù)字圖像-用于單眼AR呈現(xiàn)。圖2D以具有耦合到帽子或頭盔(30)的可視化模塊(32)的配置為特征。該可視化模塊可被配置為通過小顯示器(34)向用戶呈現(xiàn)單眼增強數(shù)字圖像。圖2E示出了另一類似的配置,包括以與眼鏡耦合類似的方式能夠耦合到用戶的頭部的框架(36),使得可視化模塊(38)可用于捕獲圖像并且也通過小顯示器(40)向用戶呈現(xiàn)單眼增強數(shù)字圖像。這種配置例如可從福尼亞州山景城的的谷歌公司以商品名為GoogleGlass(RTM)得到。
這些配置中沒有一種以對用戶舒適且最大的有用的方式,最佳地適用于呈現(xiàn)豐富的、雙眼的、三維增強現(xiàn)實體驗,部分地因為之前的系統(tǒng)不能解決人類感知系統(tǒng)的一些基本方面,包括視網(wǎng)膜的光感受器以及它們與大腦的交互以向用戶產(chǎn)生可視化感知。
參考圖3,描繪了人眼的簡化截面視圖(58),其以角膜(42)、虹膜(44)、晶狀體(lens)-或“晶狀體”(“crystalline lens”)(46)、鞏膜(48)、脈絡(luò)膜層(50)、黃斑(52)、視網(wǎng)膜(54)、以及通向大腦的視神經(jīng)路徑(56)為特征。黃斑是視網(wǎng)膜的中心,其用于看見適度的細(xì)節(jié)。在黃斑的中心是稱為“中心凹”的視網(wǎng)膜的一部分,其用于觀察場景的最細(xì)微的細(xì)節(jié),并且其含有比視網(wǎng)膜的任何其它部分更多的光感受器(每視度大約120個視錐)。
人類視覺系統(tǒng)不是被動傳感式系統(tǒng);它被配置為主動地掃描環(huán)境。以某種類似于使用平板掃描儀捕獲圖像或使用手指從紙上讀取盲文的方式,眼睛的光感受器響應(yīng)于刺激的變化而激發(fā),而不是不斷地響應(yīng)于刺激的恒定狀態(tài)。因此,需要運動來向大腦呈現(xiàn)光感受器信息(正如線性掃描儀陣列跨過在平板掃描儀中的一張紙的運動,或手指跨過印在紙中的盲文的運動。
實際上,采用已經(jīng)用于麻痹眼睛的肌肉的物質(zhì)(諸如眼鏡蛇毒)的實驗已經(jīng)表明,在眼睛的毒液誘導(dǎo)麻痹的下觀看靜態(tài)場景,人類受試者如果在他的眼睛睜開的情況下定位將經(jīng)歷失明。換言之,沒有刺激的變化,光感受器不會向大腦提供輸入并經(jīng)歷失明。認(rèn)為這是至少一個原因:已經(jīng)觀察到普通人的眼睛在所謂的左右運動中來回移動,或抖動。
如上所述,視網(wǎng)膜的中心凹包含最大密度的光感受器。雖然通常認(rèn)為人類在他們的整個視場具有高分辨率可視化能力,但是他們一般實際上只具有較小的高分辨率中心,該高分辨率中心幾乎不斷地機械掃描,伴隨由中心凹最近捕獲的高分辨率信息的持久存儲。以某種類似的方式,眼睛的焦距控制機制(睫狀肌以如下方式可操作地耦合到晶狀體,其中睫狀肌松弛引起緊繃的睫狀肌結(jié)締纖維將晶狀體變平,以獲得更遠的焦距;睫狀肌收縮引起睫狀肌結(jié)締纖維放松,其允許晶狀體呈現(xiàn)更圓的幾何形狀,以獲得更近的焦距)以大約1/4到1/2的屈光度來回抖動,以周期性地在目標(biāo)焦距的近端和遠端引起少量的所謂“屈光模糊”。這被大腦的調(diào)節(jié)控制回路用作周期性的負(fù)反饋,其有助于不斷地糾正過程并保持注視對象的視網(wǎng)膜圖像近似對焦。
大腦的可視化中心同樣根據(jù)眼睛和其組件相對于彼此的運動來獲得有價值的感知信息。兩只眼睛相對于彼此的聚散運動(即,瞳孔朝向或遠離彼此的滾動運動,以匯聚眼睛視線來注視到對象上)與眼睛的晶狀體的聚焦(或“調(diào)節(jié)”)緊密相關(guān)。在正常情況下,為了聚焦在不同距離處的對象而改變眼睛的晶狀體的焦點,或者調(diào)節(jié)眼睛,將在已知的“調(diào)節(jié)-聚散反射”關(guān)系下自動地引起對相同距離的聚散中的匹配變化。同樣,在正常情況下,聚散中的變化將引起調(diào)節(jié)中的匹配變化。已知與該反射相背的操作(如大多數(shù)傳統(tǒng)的立體AR或VR配置)將在用戶中產(chǎn)生眼疲勞、頭痛、或其它形式的不適。
容納眼睛的頭部的運動也對對象的可視化具有重要的影響。人類移動他們的頭部來可視化周圍的世界;他們通常處于相對于感興趣的對象重定位以及重定向頭部的相當(dāng)固定的狀態(tài)。進一步地,當(dāng)大多數(shù)人的眼睛注視需要移動離中心超過20度時,他們喜歡移動他們的頭部以聚焦特定的對象(即,人們通常不喜歡“從眼睛的角部”看東西)。人類相對于聲音也通常掃描或移動他們的頭部-以提高聲音信號的捕獲,并利用與頭部相關(guān)聯(lián)的耳朵的幾何形狀。人類視覺系統(tǒng)從所謂的“頭部運動視差”獲得強大的深度線索,“頭部運動視差”與作為頭部運動和眼睛聚散距離的函數(shù)的不同距離處的對象的相對運動有關(guān)。換言之,如果一個人從一側(cè)到另一側(cè)移動他的頭部并保持注視對象,則更遠離那個對象的物品將在與頭部相同的方向上移動;在那個對象前方的物品將與頭部運動相反地移動。這些對于物體在相對于人的環(huán)境中在空間上位于哪里是十分顯著的線索-或許與立體視覺一樣強力。當(dāng)然,頭部運動也用于環(huán)視對象。
進一步地,頭部和眼睛的運動與“前庭眼球反射”協(xié)調(diào),“前庭眼球反射”在頭部轉(zhuǎn)動期間穩(wěn)定相對于視網(wǎng)膜的圖像信息,因此保持對象圖像信息近似居中在視網(wǎng)膜上。響應(yīng)于頭部轉(zhuǎn)動,眼睛在相反的方向上反射地并成比例地轉(zhuǎn)動以保持對對象的穩(wěn)定注視。這種補償關(guān)系的結(jié)果是,許多人可以在前后搖頭時讀書。有趣的是,如果書以相同的速度前后搖動而頭部近似靜止時,則通常不是同樣的情況,人們不太可能能夠閱讀移動的書。前庭眼球反射是頭部和眼睛運動的協(xié)調(diào)中的一種,通常不發(fā)展于手部的運動。該范例對于增強現(xiàn)實系統(tǒng)很重要,因為用戶的頭部運動可相對直接地與眼睛的運動相關(guān)聯(lián),并且系統(tǒng)將優(yōu)選地易于通過這種關(guān)系來工作。
實際上,考慮到這些各種關(guān)系,當(dāng)放置數(shù)字內(nèi)容時(例如,用于增強房間的真實世界視野而呈現(xiàn)的諸如虛擬枝形吊燈對象的3-D內(nèi)容,或者用于增強房間的真實世界視野而呈現(xiàn)的諸如平面的/平的虛擬油畫對象的2-D內(nèi)容),可做出設(shè)計選擇以控制對象的行為。例如,2D油畫對象可以頭部為中心,在這種情況下對象會圍繞著用戶的頭部移動(例如在方法中);或者該對象可以是以世界為中心的,在這種情況下,對象與用戶的頭部一起移動(例如,如在方法中);或者,對象可以世界為中心,在這種情況下,它被呈現(xiàn)為仿佛它是真實世界坐標(biāo)系的一部分,使得用戶在不移動對象相對于真實世界的位置的情況下,移動他的頭部和眼睛。
當(dāng)將虛擬內(nèi)容放置到采用增強現(xiàn)實系統(tǒng)所呈現(xiàn)的增強現(xiàn)實世界中時,做出這樣的選擇:對象是否應(yīng)當(dāng)被呈現(xiàn)為以世界為中心、以身體為中心、以頭部為中心或以眼睛為中心。在頭部為中心的方法中,虛擬對象停留在真實世界的位置中,使得用戶可圍繞著它移動他的身體、頭部、眼睛而不用改變它相對于圍繞著它的真實世界的對象的位置,諸如真實世界的墻。在身體為中心的方法中,虛擬元素可相對于用戶的軀干固定,使得用戶可移動他的頭部或眼睛而不用移動該對象,但其從屬于軀干移動。在頭部為中心的方法中,顯示的對象(和/或顯示器自身)可與頭部的移動一起移動,如以上參考所描述的。在眼睛為中心的方法中,如在“視網(wǎng)膜凹式顯示”配置中,如在下文描述的,內(nèi)容根據(jù)眼睛位置而扭轉(zhuǎn)。
對于世界為中心配置,期望具有以下輸入:諸如,準(zhǔn)確的頭部姿勢測量、圍繞用戶的真實世界對象和幾何形狀的準(zhǔn)確表示和/或測量,在增強現(xiàn)實顯示中的作為頭部姿勢的函數(shù)的低延時動態(tài)渲染,以及通常的低延時顯示。
上面列出的美國專利申請?zhí)岢隽伺c典型人類的視覺配置一起工作以解決虛擬現(xiàn)實和增強現(xiàn)實應(yīng)用中的各種挑戰(zhàn)的系統(tǒng)和技術(shù)。這些虛擬現(xiàn)實和/或增強現(xiàn)實系統(tǒng)的設(shè)計存在許多挑戰(zhàn),包括系統(tǒng)在遞送虛擬內(nèi)容中的速度、虛擬內(nèi)容的質(zhì)量、用戶的適眼距、系統(tǒng)的大小和便攜性、以及其它系統(tǒng)和光學(xué)挑戰(zhàn)。
在此所描述的系統(tǒng)和技術(shù)被配置為與典型人類的視覺配置一起工作以解決這些挑戰(zhàn)。
技術(shù)實現(xiàn)要素:
本發(fā)明的實施例涉及一種用于促進針對一個或多個用戶的虛擬現(xiàn)實和/或增強現(xiàn)實交互的設(shè)備、系統(tǒng)和方法。在一個方面中,公開了一種用于顯示虛擬內(nèi)容的系統(tǒng)。
在一個或多個實施例中,增強現(xiàn)實顯示系統(tǒng)包括:空間光調(diào)制器,其操作地耦合到用于投射與一幀或多幀圖像數(shù)據(jù)相關(guān)聯(lián)的光的圖像源;以及可變焦元件(VFE),其用于改變投射光的焦點,使得第一幀圖像數(shù)據(jù)在第一個深度平面處聚焦,并且第二幀圖像數(shù)據(jù)在第二深度平面處聚焦,并且其中,第一深度平面和第二深度平面之間的距離是固定的。
在一個或多個實施例中,第一深度平面不同于第二深度平面。在一個或多個實施例中,空間光調(diào)制器包括DLP。在一個或多個實施例中,DLP以360Hz的功率操作。在一個或多個實施例中,VFE是可變形鏡膜。
在一個或多個實施例中,VFE在逐幀的基礎(chǔ)上改變焦點。在一個或多個實施例中,空間光調(diào)制器是高刷新速率顯示器。在一個或多個實施例中,同時感知第一深度平面和第二深度平面。在一個或多個實施例中,系統(tǒng)還包括一組光學(xué)元件以將聚焦的光遞送到用戶的眼睛。
在一個或多個實施例中,一幀或多幀圖像數(shù)據(jù)包括三維場景的切片。在一個或多個實施例中,以時間順序的方式提供一幀或多幀圖像數(shù)據(jù)。在一個或多個實施例中,增強現(xiàn)實顯示系統(tǒng)還包括用于投射與一幀或多幀圖像數(shù)據(jù)相關(guān)聯(lián)的光的另一空間光調(diào)制器。
在一個或多個實施例中,其它空間光調(diào)制器包括LCD。在一個或多個實施例中,增強現(xiàn)實系統(tǒng)還包括調(diào)節(jié)跟蹤模塊,以跟蹤用戶的眼睛的聚散度,其中,VFE至少部分地基于跟蹤的聚散度來改變投射光的焦點。在一個或多個實施例中,第一深度平面對應(yīng)于光學(xué)無窮遠,并且第二深度平面對應(yīng)于比光學(xué)無窮遠更近的深度平面。
在另一方面中,一種顯示增強現(xiàn)實的方法包括:投射與第一幀圖像數(shù)據(jù)相關(guān)聯(lián)的光;將與第一幀圖像數(shù)據(jù)相關(guān)聯(lián)的光聚焦在第一深度平面處;投射與第二幀圖像數(shù)據(jù)相關(guān)聯(lián)的光;以及將與第二幀圖像數(shù)據(jù)相關(guān)聯(lián)的光聚焦在第二深度平面處,其中,第一深度平面不同于第二深度平面,并且其中,在被用戶觀看時,第一深度平面和所述第二深度平面被同時感知。
在一個或多個實施例中,AR系統(tǒng)還包括跟蹤用戶眼睛的聚散度,其中,所述光至少部分地基于所跟蹤的聚散度來聚焦。在一個或多個實施例中,第一深度平面對應(yīng)于在z方向上距離用戶的第一距離,并且第二深度平面對應(yīng)于在z方向上距離用戶的第二距離,并且其中,第一深度平面和第二深度平面之間的間隔隨時間保持不變。在一個或多個實施例中,該方法還包括:投射與第三幀圖像數(shù)據(jù)相關(guān)聯(lián)的光;將與第三幀圖像數(shù)據(jù)相關(guān)聯(lián)的光聚焦在第一深度平面處。
在一個或多個實施例中,第一深度平面對應(yīng)于光學(xué)無窮遠。在一個或多個實施例中,第一幀圖像數(shù)據(jù)和第二幀圖像數(shù)據(jù)是連續(xù)的幀。在一個或多個實施例中,第一和第二幀圖像數(shù)據(jù)的焦點在逐幀的基礎(chǔ)上變化。在一個或多個實施例中,該方法還包括將聚焦的光遞送到用戶的眼睛。
在一個或多個實施例中,第一和第二幀圖像數(shù)據(jù)包括三維場景的切片。在一個或多個實施例中,以時間順序方式提供第一和第二幀圖像數(shù)據(jù)。在一個或多個實施例中,第一深度平面對應(yīng)于光學(xué)無窮遠,以及第二深度平面對應(yīng)于比光學(xué)無窮遠更近的深度平面。
在一個或多個實施例中,投射光通過可變焦元件來聚焦。在一個或多個實施例中,可變焦元件是可變形膜鏡。
在另一方面中,增強現(xiàn)實顯示系統(tǒng)包括:空間光調(diào)制器,其可操作地耦合到用于投射與一幀或多幀圖像數(shù)據(jù)相關(guān)聯(lián)的光的圖像源;眼睛跟蹤系統(tǒng),用于確定用戶的眼睛的焦點;以及可變焦元件(VFE),其耦合到一組光學(xué)件,其用于至少部分地基于用戶的眼睛的焦點將一幀或多幀圖像數(shù)據(jù)中的至少一幀聚焦在深度平面上。
在一個或多個實施例中,增強現(xiàn)實顯示系統(tǒng)還包括模糊模塊,用于至少部分地基于深度平面被投射的距離,可變地模糊對應(yīng)于一幀或多幀圖像數(shù)據(jù)的一個或多個虛擬對象,并且其中一個或多個虛擬對象對應(yīng)于與深度平面相比的不同深度。在一個或多個實施例中,空間光調(diào)制器包括DLP。
在一個或多個實施例中,DLP以大約120Hz的功率操作。在一個或多個實施例中,多幀圖像數(shù)據(jù)被投射在深度平面處,并且其中,多幀圖像數(shù)據(jù)中的一幀的至少一部分被模糊。在一個或多個實施例中,VFE包括光折射膜透鏡。
在一個或多個實施例中,空間光調(diào)制器是高刷新速率顯示器。在一個或多個實施例中,增強現(xiàn)實顯示系統(tǒng)還包括一組光學(xué)元件以將聚焦的光遞送到用戶的眼睛。在一個或多個實施例中,一幀或多幀圖像數(shù)據(jù)包括三維場景的切片。
在一個或多個實施例中,以時間順序的方式提供一幀或多幀圖像數(shù)據(jù)。在一個或多個實施例中,至少部分地基于所確定的調(diào)節(jié)在z方向上的范圍內(nèi)移動深度平面。
在另一方面中,一種顯示增強現(xiàn)實的方法包括:確定用戶的眼睛的焦點;投射與圖像數(shù)據(jù)的幀相關(guān)聯(lián)的光;至少部分地基于所確定的用戶的眼睛的焦點來聚焦與圖像數(shù)據(jù)的幀相關(guān)聯(lián)的光以生成深度平面;以及至少部分地基于用戶的眼睛的焦點的變化在z方向上的范圍內(nèi)移動深度平面。
在一個或多個實施例中,該方法還包括至少部分地基于深度平面被生成的距離來模糊在第一幀圖像數(shù)據(jù)中的一個或多個虛擬對象,并且其中,一個或多個虛擬對象對應(yīng)于與深度平面相比的不同深度。在一個或多個實施例中,光通過空間光調(diào)制器來投射。
在一個或多個實施例中,空間光調(diào)制器包括DLP。在一個或多個實施例中,DLP以大約120Hz的功率操作。在一個或多個實施例中,多幀圖像數(shù)據(jù)被投射在深度平面處,并且其中,多幀圖像數(shù)據(jù)中的一幀的至少一部分被模糊。
在一個或多個實施例中,深度平面至少部分地通過可變焦元件(VFE)來生成。在一個或多個實施例中,VFE包括光折射膜透鏡。在一個或多個實施例中,空間光調(diào)制器是高刷新速率顯示器。
在一個或多個實施例中,該方法還包括通過一組光學(xué)元件將光遞送到用戶的眼睛。在一個或多個實施例中,圖像數(shù)據(jù)的幀包括三維場景的至少一個切片。在一個或多個實施例中,以時間順序方式提供一幀或多幀圖像數(shù)據(jù)。
在另一方面中,一種增強現(xiàn)實顯示系統(tǒng)包括:至少一個空間光調(diào)制器,其可操作地耦合到用于投射與一幀或多幀圖像數(shù)據(jù)相關(guān)聯(lián)的光的圖像源;以及波導(dǎo)的堆疊,該波導(dǎo)的堆疊中的第一波導(dǎo)具有第一衍射光學(xué)元件,該第一光學(xué)衍射元件被配置為接收與一幀或多幀圖像數(shù)據(jù)相關(guān)聯(lián)的光,并修改所接收的光的至少一個特性,使得其在第一深度平面處被感知,并且波導(dǎo)的堆疊中的第二波導(dǎo)具有第二衍射光學(xué)元件,該第二衍射光學(xué)元件被配置為接收與一幀或多幀圖像數(shù)據(jù)相關(guān)聯(lián)的光,并修改所接收的光的至少一個特性,使得它在第二深度平面處被感知,其中,第一深度平面不同于第二深度平面。
在一個或多個實施例中,增強現(xiàn)實顯示系統(tǒng)還包括眼睛跟蹤模塊,以確定用戶的眼睛的調(diào)節(jié),其中,至少部分地基于所確定的用戶的眼睛的調(diào)節(jié)來選擇波導(dǎo)的堆疊中的波導(dǎo)。
在一個或多個實施例中,空間光調(diào)制器包括光纖掃描設(shè)備(FSD)。在一個或多個實施例中,波導(dǎo)的堆疊包括六個波導(dǎo)。在一個或多個實施例中,增強現(xiàn)實顯示系統(tǒng)還包括至少一個空間光調(diào)制器中的第一空間光調(diào)制器,以及至少一個空間光調(diào)制器中的第二空間光調(diào)制器,其中第一波導(dǎo)接收來自第一空間光調(diào)制器的光,以及第二波導(dǎo)接收來自第二空間光調(diào)制器的光。
在一個或多個實施例中,第一深度平面和第二深度平面被用戶同時感知。在一個或多個實施例中,至少一個特性包括光線撞擊用戶的眼睛的角度。在一個或多個實施例中,特性對應(yīng)于準(zhǔn)直光線,該準(zhǔn)直的光線被感知為光學(xué)無窮遠。
在一個或多個實施例中,特性對應(yīng)于遞送發(fā)散光線,該發(fā)散光線在比光學(xué)無窮遠更近的距離處被感知。在一個或多個實施例中,至少一個空間光調(diào)制器在逐幀的基礎(chǔ)上改變光投射在其上的波導(dǎo)的堆疊中的波導(dǎo)。在一個或多個實施例中,增強現(xiàn)實顯示系統(tǒng)還包括一組光學(xué)元件以將聚焦的光遞送到用戶的眼睛。在一個或多個實施例中,一幀或多幀圖像數(shù)據(jù)包括三維場景的切片。在一個或多個實施例中,以時間順序方式提供一幀或多幀圖像數(shù)據(jù)。
在另一方面中,一種顯示增強現(xiàn)實的方法包括:投射與第一幀圖像數(shù)據(jù)相關(guān)聯(lián)的光;在波導(dǎo)的堆疊的第一波導(dǎo)處接收與第一幀圖像數(shù)據(jù)相關(guān)聯(lián)的投射光,第一波導(dǎo)包括第一衍射光學(xué)元件;修改與第一幀圖像數(shù)據(jù)相關(guān)聯(lián)的投射光;以及將修改的光遞送到用戶的眼睛,其中,與第一幀圖像數(shù)據(jù)相關(guān)聯(lián)的修改的光在第一深度平面處被感知。
在一個或多個實施例中,該方法還包括:投射與第二幀圖像數(shù)據(jù)相關(guān)聯(lián)的光;在波導(dǎo)的堆疊的第二波導(dǎo)處接收與第二幀圖像數(shù)據(jù)相關(guān)聯(lián)的投射光,第二波導(dǎo)包括第二衍射光學(xué)元件;修改與第二幀圖像數(shù)據(jù)相關(guān)聯(lián)的投射光;以及將修改的光遞送到用戶的眼睛,其中,與第二幀圖像數(shù)據(jù)相關(guān)聯(lián)的修改的光在第二深度平面處被感知。
在一個或多個實施例中,第一深度平面不同于第二深度平面。在一個或多個實施例中,第一深度平面和第二深度平面被同時感知。在一個或多個實施例中,該方法還包括跟蹤用戶的眼睛的聚散度,以及基于跟蹤的聚散度確定用戶的眼睛的調(diào)節(jié)。
在一個或多個實施例中,至少部分地基于所確定的調(diào)節(jié)來選擇波導(dǎo)的堆疊中的第一波導(dǎo)。在一個或多個實施例中,波導(dǎo)的堆疊包括六個波導(dǎo)。在一個或多個實施例中,投射光的修改包括改變光線撞擊用戶的眼睛的角度。在一個或多個實施例中,投射光的修改包括準(zhǔn)直光線,準(zhǔn)直的光線被感知為光學(xué)無窮遠。
在一個或多個實施例中,投射光的修改包括傳送發(fā)散光線,發(fā)散光線在比光學(xué)無窮遠更近的距離處被感知。在一個或多個實施例中,該方法還包括在逐幀的基礎(chǔ)上選擇波導(dǎo)的堆疊中的波導(dǎo)。在一個或多個實施例中,一幀或多幀圖像數(shù)據(jù)包括三維場景的切片。在一個或多個實施例中,以時間順序方式提供一幀或多幀圖像數(shù)據(jù)。
在又一方面中,一種可變焦元件(VFE)包括密封的透鏡室,其包括由部分屏障限定的兩個半部,兩個半部中的第一半部容納具有第一折射率的第一不混溶液體,以及兩個半部中的第二半部容納具有第二折射率的第二不混溶液體,其中第一半部的第一不混溶液體和第二半部的第二不混溶液體在密封透鏡室的中間處形成光學(xué)界面,第一壓電環(huán)位于密封透鏡室的第一半部中,使得在第一壓電環(huán)上施加壓力來修改光學(xué)界面,并且第二壓電環(huán)位于密封透鏡室的第二半部中,使得在第二壓電環(huán)上施加壓力來修改光學(xué)界面。
在一個或多個實施例中,光學(xué)界面用作透鏡,并且其中,光學(xué)界面被可變地修改以改變透鏡的焦點。在一個或多個實施例中,密封的透鏡室沒有空氣。在一個或多個實施例中,所施加的壓力改變光學(xué)界面的曲率。
在一個或多個實施例中,第一光學(xué)界面對應(yīng)于第一焦點。在一個或多個實施例中,第二光學(xué)界面對應(yīng)于第二焦點。在一個或多個實施例中,第一焦點產(chǎn)生第一深度平面。在一個或多個實施例中,第二焦點產(chǎn)生第二深度平面。在一個或多個實施例中,第一不混溶液體的體積保持恒定。在一個或多個實施例中,第二不混溶液體的體積保持恒定。在一個或多個實施例中,通過機械裝置施加壓力。
在又一方面中,一種可變焦元件(VFE)包括密封的透鏡室,其包括由環(huán)形結(jié)合部限定的兩個半部,兩個半部中的第一半部容納具有第一折射率的第一不混溶液體,并且兩個半部中的第二半部容納具有第二折射率的第二不混溶液體,其中,環(huán)形結(jié)合部在第一和第二不混溶液體之間部分地形成物理屏障,其中第一半部的第一不混溶液體和第二半部的第二不混溶液體在環(huán)形結(jié)合部的中心處形成在密封的透鏡室的中間的光學(xué)界面,使得在環(huán)形結(jié)合部上施加壓力來修改光學(xué)界面的曲率。
在一個或多個實施例中,光學(xué)界面用作透鏡,并且其中,光學(xué)界面被可變地修改以改變透鏡的焦點。在一個或多個實施例中,密封的透鏡室沒有空氣。在一個或多個實施例中,所施加的壓力改變光學(xué)界面的曲率。在一個或多個實施例中,第一光學(xué)界面對應(yīng)于第一焦點。
在一個或多個實施例中,第二光學(xué)界面對應(yīng)于第二焦點。在一個或多個實施例中,第一焦點產(chǎn)生第一深度平面。在一個或多個實施例中,第二焦點產(chǎn)生第二深度平面。在一個或多個實施例中,第一不混溶液體的體積保持恒定。在一個或多個實施例中,第二不混溶液體的體積保持恒定。在一個或多個實施例中,通過機械裝置施加壓力。
在又一方面中,一種方法包括:提供密封透鏡室,該密封透鏡室包括具有第一折射率的第一不混溶液體,以及具有第二折射率的第二不混溶液體;在第一不混溶液體和第二不混溶液體之間形成光學(xué)界面;以及修改第一不混溶液體和所述第二不混溶液體之間的光學(xué)界面的曲率。
在一個或多個實施例中,光學(xué)界面用作透鏡,并且其中,光學(xué)界面被可變地修改以改變透鏡的焦點。在一個或多個實施例中,通過在密封的透鏡室的一個半部上施加壓力來修改曲率,該半部容納第一不混溶液體或第二不混溶液體。在一個或多個實施例中,通過在形成在第一和第二不混溶液體之間的部分屏障的環(huán)形結(jié)合部上施加壓力來修改曲率。
在一個或多個實施例中,密封的透鏡室沒有空氣。在一個或多個實施例中,第一光學(xué)界面對應(yīng)于第一焦點。在一個或多個實施例中,第二光學(xué)界面對應(yīng)于第二焦點。在一個或多個實施例中,第一焦點產(chǎn)生第一深度平面。
在一個或多個實施例中,第二焦點產(chǎn)生第二深度平面。在一個或多個實施例中,第一不混溶液體的體積保持恒定。在一個或多個實施例中,第二不混溶液體的體積保持恒定。在一個或多個實施例中,通過機械裝置在密封的透鏡室的一個半部上施加壓力來修改曲率,該半部容納第一不混溶液體或第二不混溶液體。
在詳細(xì)的說明書、附圖和權(quán)利要求中描述了本發(fā)明的附加的和其它的目的、特征和優(yōu)點。
附圖說明
附圖示出了本發(fā)明的各種實施例的設(shè)計和使用。應(yīng)當(dāng)注意,附圖沒有按照比例進行繪制,并且相似結(jié)構(gòu)或功能的元件在全部附圖中用相似的參考標(biāo)記表示。為了更好的理解如何獲得本發(fā)明的各種實施例的上述和其它優(yōu)點以及目的,以上簡要描述的本發(fā)明的更詳細(xì)描述將通過參考其具體實施例來顯現(xiàn),所述具體實施例在附圖中示出。需要理解,這些附圖僅描繪了本發(fā)明的典型實施例,因此并不能認(rèn)為限制它的范圍,本發(fā)明將通過使用附圖用附加特征和細(xì)節(jié)來描述和解釋,在附圖中:
圖1示出了在一個示出的實施例中通過可穿戴AR用戶設(shè)備的增強現(xiàn)實(AR)的用戶的視圖。
圖2A-2E示出了可穿戴AR設(shè)備的各種實施例。
圖3示出了在一個示出的實施例中人眼的截面視圖。
圖4A-4D示出了可穿戴AR設(shè)備的各種內(nèi)部處理組件的一個或多個實施例。
圖5示出了被配置為多平面聚焦系統(tǒng)的增強現(xiàn)實(AR)系統(tǒng)的一個實施例的平面視圖。
圖6示出了圖5的AR系統(tǒng)的一個示例性配置的平面視圖。
圖7示出了在圖5的AR系統(tǒng)中的多個深度平面的生成的示例性實施例。
圖8示出了被配置為可變平面聚焦系統(tǒng)的AR系統(tǒng)的一個實施例的平面視圖。
圖9示出了圖8的AR系統(tǒng)的一個示例性配置的平面圖。
圖10示出了當(dāng)改變到三個不同深度平面的聚焦時圖8的AR系統(tǒng)的平面視圖。
圖11示出了在圖8的AR系統(tǒng)中的單個深度平面的生成的示例性實施例。
圖12示出了混合AR系統(tǒng)的示例性配置的平面視圖
圖13示出了在圖11的AR系統(tǒng)中的兩個深度平面的生成的示例性實施例。
圖14示出了波導(dǎo)的堆疊的一個實施例的平面視圖。
圖15示出了包括波導(dǎo)的堆疊以產(chǎn)生多個深度平面的AR系統(tǒng)的一個實施例的平面視圖。
圖16示出了包括堆疊的PDLC擴散器布置以產(chǎn)生單個或多個深度平面的AR系統(tǒng)的一個實施例的平面視圖。
圖17示出了通過圖15的堆疊的PDLC擴散器布置來增加光束的數(shù)值孔徑的示例性實施例。
圖18示出了機械潤濕透鏡VFE的示例性實施例。
圖19示出了該機械潤濕透鏡VFE的另一示例性實施例。
具體實施方式
現(xiàn)將參考附圖詳細(xì)描述各種實施例,其作為本發(fā)明的示例性示例而提供,以使得本領(lǐng)域技術(shù)人員能夠?qū)崿F(xiàn)本發(fā)明。值得注意的是,以下附圖和示例并不意味著限制本發(fā)明的范圍。在使用已知的組件(或方法或過程)可以部分或全部實現(xiàn)本發(fā)明的特定元件的情況下,將僅描述對理解本發(fā)明所需要的這種已知組件(或方法或過程)的那些部分,并且這種已知組件的其它部分的詳細(xì)描述將被省略以便不會混淆本發(fā)明。進一步地,各種實施例通過說明的方式包含與在此涉及的組件等同的現(xiàn)在和未來已知的等同物。
所公開的是用于生成虛擬和/或增強現(xiàn)實的方法和系統(tǒng)。為了提供逼真的和充滿樂趣的虛擬現(xiàn)實(VR)或增強現(xiàn)實(AR)體驗,虛擬內(nèi)容必須以距離用戶不同的深度呈現(xiàn),以使得虛擬內(nèi)容被感知為逼真地放置或源自真實世界深度(與傳統(tǒng)的2D顯示相反)。該方法接近地模仿了景象的真實世界體驗,其中,眼睛不斷地改變焦點以便觀看在不同深度處的不同對象。例如,人眼的肌肉“繃緊”以便聚焦在附近的對象上,以及人眼的肌肉“放松”以便聚焦在更遠處的對象上。
通過以接近地模擬真實對象的方式放置虛擬內(nèi)容,用戶的自然生理響應(yīng)(例如,對于不同對象的不同聚焦)基本上保持原樣,因此提供更逼真和舒適的觀看體驗。這與傳統(tǒng)的VR或AR系統(tǒng)相反,傳統(tǒng)的VR或AR系統(tǒng)強迫用戶在固定深度平面(例如,像或的2D屏幕)上觀看虛擬內(nèi)容,強迫用戶在真實世界的真實對象和虛擬內(nèi)容之間來回,其對用戶導(dǎo)致不適。本申請討論投射3D虛擬內(nèi)容的各種AR系統(tǒng)方法,使得它在不同深度處被用戶感知。
參考圖4A-4D,闡明了一些一般的組件選項。在跟隨圖4A-4D的討論的詳細(xì)描述的部分中,描述了各種系統(tǒng)、子系統(tǒng)、以及組件,用于解決提供用于人類VR和/或AR的高質(zhì)量、舒適感知的顯示系統(tǒng)的目標(biāo)。
如圖4A所示,描述了佩戴耦合到顯示系統(tǒng)(62)的框架(64)結(jié)構(gòu)的AR系統(tǒng)用戶(60),該顯示系統(tǒng)位于用戶的眼睛前面。在所描繪的配置中揚聲器(66)耦合到框架(64),并定位于鄰近用戶的耳道(在一個實施例中,另個沒示出的揚聲器定位于用戶的另一耳道,以提供立體的/可成形的聲音控制)。顯示器(62)諸如通過導(dǎo)線或無線連接操作地耦合(68)到本地處理和數(shù)據(jù)模塊(70),本地處理和數(shù)據(jù)模塊(70)可以各種配置安裝,諸如固定地附接到框架(64),如圖4B的實施例中所示的固定地附接到頭盔或帽子(80),嵌入頭戴式耳機中,在如圖4C的實施例所示的配置中可拆卸地附接到用戶(60)的軀干(82)(例如,放置在背包中(未示出)),或在如圖4D的實施例所示的皮帶耦接式配置中可拆卸地附接到用戶(60)的臀部(84)。
本地處理和數(shù)據(jù)模塊(70)可包括低功耗處理器或控制器,以及數(shù)字存儲器,諸如閃速存儲器,兩者都可用于輔助以下數(shù)據(jù)的處理、緩存以及儲存:(a)從可操作地耦合到框架(64)的傳感器捕獲的數(shù)據(jù),該傳感器諸如圖像捕獲設(shè)備(諸如照相機)、麥克風(fēng)、慣性測量單元、加速器、指南針、GPS單元、無線電設(shè)備、和/或陀螺儀;(b)使用遠程處理模塊(72)和/或遠程數(shù)據(jù)倉庫(74)來獲得和/或處理的數(shù)據(jù),在這樣的處理或檢索之后可能用于傳遞到顯示器(62)。本地處理和數(shù)據(jù)模塊(70)可諸如通過有線或無線通信鏈路操作地耦合(76,78)到遠程處理模塊(72)和遠程數(shù)據(jù)倉庫(74),使得這些遠程模塊(72,74)彼此操作地耦合并作為對于本地處理和數(shù)據(jù)模塊(70)的可用資源。
在一個實施例中,遠程處理模塊(72)可包括被配置為分析和處理數(shù)據(jù)和/或圖像信息的一個或多個相對強大的處理器或控制器。在一個實施例中,遠程數(shù)據(jù)倉庫(74)可包括相對大規(guī)模的數(shù)字?jǐn)?shù)據(jù)存儲設(shè)施,其可通過因特網(wǎng)或在“云”資源配置中的其它網(wǎng)絡(luò)配置來獲得。在一個實施例中,在本地處理和數(shù)據(jù)模塊中儲存所有數(shù)據(jù)并執(zhí)行所有計算,允許從任何遠程模塊完全自主的使用。
如上所述討論,為了向用戶呈現(xiàn)3D虛擬內(nèi)容,增強現(xiàn)實(AR)系統(tǒng)在z方向上的不同深度處投射虛擬內(nèi)容。換言之,向用戶呈現(xiàn)的虛擬內(nèi)容不僅在x和y方向上變化(如大多數(shù)2D內(nèi)容的情況),也可在z方向上變化,給出一種3D深度的感知。因此,用戶可感知虛擬位于非常近(例如,放置在真實桌子的虛擬的書)或位于無窮遠距離(例如,在距離用戶的很遠距離的虛擬的樹)或在其之間的任何距離的對象?;蛘?,用戶可在不同深度平面處同時感知多個對象。例如,用戶可看到出現(xiàn)在無窮遠并朝向用戶奔跑的虛擬的龍。在另一實施例中,用戶可同時看到在距離用戶1米的距離處的虛擬的鳥以及在距離用戶胳膊長的距離處虛擬的咖啡杯。
可存在產(chǎn)生不同深度的感知的兩種主要方法:多平面聚焦系統(tǒng)以及可變平面聚焦系統(tǒng)。在多平面聚焦系統(tǒng)中,系統(tǒng)被配置為在z方向上距離用戶固定深度平面上投射虛擬內(nèi)容。在可變平面聚焦系統(tǒng)中,系統(tǒng)投射一個或多個深度平面,但在z方向上移動深度平面以產(chǎn)生3D感知。在一個或多個實施例中,可變聚焦元件(VFE)可用于改變與虛擬內(nèi)容相關(guān)聯(lián)的光的焦點,使得光看起來正來自特定的深度。在其他實施例中,與不同焦點對應(yīng)的硬件組件可戰(zhàn)略上用于產(chǎn)生多深度平面的感知,如在下面將進一步詳細(xì)討論的。VFE可逐幀地改變光的焦點。
下面的公開內(nèi)容將經(jīng)歷系統(tǒng)的各種實施例,該系統(tǒng)使用多平面聚焦和/或可變平面聚焦光學(xué)元件來產(chǎn)生3D感知。應(yīng)當(dāng)理解,其它方法可結(jié)合多平面聚焦系統(tǒng)和可變平面聚焦系統(tǒng)的方面。
首先參見圖5,示出了具有多平面聚焦元件的AR系統(tǒng)的示例性實施例。如圖5所示,AR系統(tǒng)(500)包括多個空間光調(diào)制器(504)(例如,在示出的示例中,兩個空間光調(diào)制器,每個用于一只眼睛)、兩個可變焦元件(VFE)(510)、多個光學(xué)元件(506)、兩個分束器(520)、兩個目鏡光學(xué)元件(508)、圖像生成處理器(502)、圖形處理單元(“GPU”)(514)、中央處理單元(“CPU”)(516)、以及存儲器(512)。應(yīng)當(dāng)理解,其的實施例可包括更多或更少的組件,以上列出的組件只是用于說明性目的,不應(yīng)理解為限制意義。
在一個或多個實施例中,處理器(502)負(fù)責(zé)生成最終向用戶顯示的虛擬內(nèi)容。圖像生成處理器(502)可將與虛擬內(nèi)容相關(guān)聯(lián)的圖像或視頻轉(zhuǎn)變?yōu)槟軌蛞?D形式投射給用戶的格式。例如,在生成3D內(nèi)容中,虛擬內(nèi)容需要被格式化,使得特定圖像的一部分在特定深度平面上顯示,而其它部分在其它深度平面處顯示。處理器(502)可被配置為切割圖像,以提供特定圖像的3D切片。
例如,交涉要呈現(xiàn)給用戶的圖像是具有在背景中的一些樹的房子的圖像。圖像可被分割為至少兩個深度平面(例如,包括房子的圖像的第一切片,其將投射在第一深度平面處;以及包括背景的圖像的第二切片,其將投射在第二深度平面處)。在一個或多個實施例中,處理器(502)可編程為向右眼和左眼饋送輕微不同的圖像,使得當(dāng)一起觀看時,虛擬內(nèi)容對用戶的眼睛看起來是連貫且舒適的。類似地,可執(zhí)行許多其它圖像處理,以向用戶提供最優(yōu)觀看體驗。
在一個或多個實施例中,處理器(502)可將圖像切割為3D切片或幀切片,或在其它實施例中,圖像可被預(yù)切割并儲存在與處理器(502)相關(guān)聯(lián)的一個或多個數(shù)據(jù)庫中。應(yīng)當(dāng)理解,術(shù)語“切片”用于指代特定虛擬場景的圖像平面或幀切片。換言之,單個虛擬場景可包括多個幀切片或平面。處理器(502)可被配置為與CPU(516)一起執(zhí)行一組任務(wù)。處理器(502)還可包括一組標(biāo)準(zhǔn)計算組件,諸如存儲器(512)、一個或多個數(shù)據(jù)庫(未顯示),圖形處理單元(GPU)、電池(未顯示)等。GPU(514)是專用電子電路,其設(shè)計為快速操控并改變存儲器以加速打算輸出到顯示器的在幀緩沖器中的圖像的產(chǎn)生。同時,處理器(502)的各種組件使AR系統(tǒng)(500)能夠執(zhí)行所需的各種計算任務(wù)。
處理器(502)可包括一組附加的電子組件,諸如微處理器/微控制器、電池、遙測電路、監(jiān)測電路,以及本領(lǐng)域技術(shù)人員所知的其它合適的組件。處理器(502)可執(zhí)行存儲在存儲器(512)中的合適的程序,用于引導(dǎo)和控制圖像、光學(xué)器件、和/或空間光調(diào)制器(504)。
應(yīng)當(dāng)理解,在一些實施例中,處理器(502)可容納在可穿戴AR系統(tǒng)的框架(例如,圖4A中的框架(62))中。在其它實施例中,圖像生成處理器和其它電路可容納在耦合到可穿戴光學(xué)器件的另一組件(例如,圖4D中的帶包)中。
如圖5所示,處理器(502)操作地耦合到空間光調(diào)制器(504),該空間光調(diào)制器(504)投射與期望的虛擬內(nèi)容相關(guān)聯(lián)的光。雖然示出的實施例示出了兩個空間光調(diào)制器,每個用于用戶的一只眼睛,但是可設(shè)想其它實施例包括多于兩個空間光調(diào)制器。在又一實施例中,單個空間光調(diào)制器可用于兩只眼睛。如上文所討論的,在一些實施例中,可將特定虛擬圖像的輕微不同視圖饋送給空間光調(diào)制器(504)中的每一個。在一個或多個實施例中,空間光調(diào)制器(504)可連接到光源,并可包括調(diào)制與圖像相關(guān)聯(lián)的光的電路??臻g光調(diào)制器(504)或顯示器可指任何類型的光顯示設(shè)備。示例可包括數(shù)字光處理系統(tǒng)(“DLP”)、數(shù)字微鏡器件(“DMD”)、液晶顯示器(“LCD”)、有機發(fā)光二極管(“OLED”)、硅基液晶(“LCOS”)、或光纖掃描顯示器(FSD)。應(yīng)當(dāng)理解,AR系統(tǒng)的各種實施例可具體地指用于說明性目的的空間光調(diào)制器(例如,DLP、FSD等)的類型,但任何類型的空間光調(diào)制器可用在下面的實施例中,并且所描述的實施例不應(yīng)理解為限制性意義。
空間光調(diào)制器的各種方面(例如,速度、尺寸、功率等)可影響系統(tǒng)如何實現(xiàn)3D投射。在一個或多個實施例中,空間光調(diào)制器可是DLP。在一個或多個實施例中,可使用空間光調(diào)制器的組合(例如,DLP和LCD)。類似地,其它實施例可使用FSD、LCD、OLED、LCOS等作為空間光調(diào)制器。
在示出的實施例中,空間光調(diào)制器(504)可是DLP和/或LCD。標(biāo)準(zhǔn)的DLP配置使用MEM器件和微鏡陣列,其在將光朝向顯示器或用戶反射的模式和將光遠離顯示器或用戶反射(諸如反射到光阱中)的模式之間觸發(fā)。因此,DLP本質(zhì)上是二元的(binary)。DLP通常使用脈沖寬度調(diào)制方案來生成灰度圖像,其中,為了產(chǎn)生更亮的像素或中間亮度的像素,對于可變占空比,鏡(mirror)保持在“開啟”狀態(tài)一個可變的時間量。
因此,為了以適度的幀速率產(chǎn)生灰度圖像,DLP以高得多的二元速率運行。在以上所描述的配置中,這種設(shè)置對于創(chuàng)建灰度掩膜很有效。然而,如果DLP驅(qū)動方案被適配成使得它是在二元模式中閃爍的子圖像,那么幀速率可顯著地增加-以每秒數(shù)千幀。這允許以60幀每秒的速率刷新成百上千的深度平面。
用于德州儀器(Texas Instruments)DLP系統(tǒng)的典型的脈沖寬度調(diào)制方案具有8比特指令信號(第一比特是鏡的第一長脈沖;第二比特是第一比特一半長度的脈沖;第三比特的長度再次減半;等等),使得該配置可產(chǎn)生第二到第八功率不同的照明等級。在一個實施例中,來自DLP的背光可具有其隨DMD的不同脈沖而同步改變的強度,以均衡所產(chǎn)生的子圖像的亮度,其是使現(xiàn)存的DMD驅(qū)動電子器件能夠生成顯著更高的幀速率的一種實用方法。
在另一實施例中,可利用對DMD驅(qū)動電子器件和軟件的直接控制的改變來使鏡子始終具有相等的接通持續(xù)時間,而不是傳統(tǒng)的可變接通持續(xù)時間配置,這將有利于更高的幀速率。在另一實施例中,DMD驅(qū)動電子器件可被配置為以超過高比特深度圖像的幀速率但低于二元幀速率的幀速率來呈現(xiàn)低比特深度圖像,使一些灰度級能夠在聚焦平面之間混合,同時適度地增加聚焦平面的數(shù)量,如下面將進一步描述的。
在一個實施方式中,高幀速率和較低持久性顯示器可與較低幀速率和較高持久性顯示器結(jié)合,以包括相對高頻幀順序體顯示器。在一個實施例中,高幀速率顯示器具有較低比特深度,并且較低幀速率顯示器具有較高比特深度。這些可進行結(jié)合,以包括有效的高幀速率且高比特深度顯示器,其非常適用于以幀順序方式來呈現(xiàn)圖像切片。采用這種方法,期望地呈現(xiàn)的三維體積功能上被劃分成一系列二維切片。
或者,背光的鐵電面板顯示器也可用在另一實施例中。替代以傳統(tǒng)的方式照明LCD面板的背面(即,采用全尺寸熒光燈或LED陣列),傳統(tǒng)的照明配置可被移除以適應(yīng)使用DLP投射儀來在LCD的背面上投射掩模圖案(在一個實施例中,掩模圖案可是二元的,其中,DLP或者投射照明或者不投射照明;在下面描述的另一實施例中,DLP可用于投射灰度掩膜圖像)。
如圖5所示,AR系統(tǒng)(500)還包括被配置為改變由空間光調(diào)制器(504)生成的光的焦點的VFE(510)。如圖5所示,從空間光調(diào)制器發(fā)射的光被引導(dǎo)到被配置為改變光的焦點的VFE(510),使得它可在多個深度平面處被用戶觀看。
在一個或多個實施例中,VFE(510)將投射的光聚焦在期望的深度平面上。VFE(510)可在逐幀的基礎(chǔ)上改變投射的光線的焦點。深度平面對應(yīng)于距離用戶的深度(例如,在z方向上的距離)。應(yīng)當(dāng)理解,VFE用于多平面聚焦和可變平面聚焦系統(tǒng)中。因此,與多個透鏡和鏡(例如,506、508和520,如將在下面描述的)結(jié)合的VFE被配置用于在期望的深度平面上投射與一個或多個虛擬對象相關(guān)聯(lián)的光,使得它被用戶的眼睛感知為3D。
在一個或多個實施例中,VFE(510)可以是折射元件,諸如液晶透鏡、電活性透鏡、傳統(tǒng)的具有可移動元件的折射透鏡、基于機械形變的透鏡(諸如流體填充的膜透鏡,或類似于人類晶狀體的透鏡,其中柔性元件通過驅(qū)動器來彎曲或松弛)、電潤濕透鏡、或具有不同折射率的多種流體。VFE還可包括可切換衍射光學(xué)元件(諸如以聚合物分散液晶方法為特色的一個元件,其中諸如聚合物材料的主介質(zhì)具有分散在材料內(nèi)的液晶微滴;當(dāng)施加電壓時,分子重取向,使得它們的折射率不再與主介質(zhì)的折射率匹配,從而產(chǎn)生高頻可切換衍射圖案。
一個實施例包括主介質(zhì),其中,基于克爾效應(yīng)的電活性材料(諸如鈮酸鋰)的微滴分散在主介質(zhì)內(nèi)。當(dāng)與光掃描顯示器(諸如光纖掃描顯示器或基于掃描鏡的顯示器)進行耦合時,能夠在逐像素或逐行的基礎(chǔ)上重新聚焦圖像信息。在液晶、鈮酸鋰、或其它技術(shù)用于呈現(xiàn)圖案的VFE配置中,該圖案間隔可被調(diào)制為不僅改變可變焦透鏡元件的光焦度,還改變整體光學(xué)系統(tǒng)的光焦度-用于變焦透鏡類型的功能。
在一個實施例中,多個透鏡可以是遠心的,因為可改變顯示圖像的焦點而保持放大率恒定--這與拍攝變焦透鏡可配置為將焦點從變焦位置去耦的方式相同。在另一實施例中,透鏡可以是非遠心的,使得焦點的變化也將從屬變焦的變化。采用這種配置,可在軟件中采用來自于圖形系統(tǒng)的輸出與焦點變化同步地動態(tài)縮放來補償這種放大率的變化。
如圖5所示,來自VFE(510)的聚焦光穿過將光朝向用戶的眼睛引導(dǎo)的多個光學(xué)元件(506)。在一些實施例中,可使用分束器(520)。分束器(520)是將入射光束分離或引導(dǎo)為兩束或多束的光學(xué)器件。在一個或多個實施例中,分束器(520)可被配置為使得入射光的一半被反射,另一半由于全內(nèi)反射而被透射。在示出的實施例中,分束器(520)可用于(取決于AR系統(tǒng)的設(shè)計)分離光束使得它被朝向目鏡(508)引導(dǎo)。目鏡(508)接收來自分束器(520)的反射光,并將光引導(dǎo)到用戶的眼睛中,如圖5所示。
已簡單描述了整體系統(tǒng)配置,現(xiàn)在將描述各種光學(xué)系統(tǒng)的具體配置?,F(xiàn)在參考圖6,將描述AR系統(tǒng)(600)的示例性實施例。在一個或多個實施例中,AR系統(tǒng)(600)包括DLP(602)、LCD(604)、多個消色差透鏡(606)、分束器(608)和VFE(610)。盡管沒有示出,圖像生成處理器可順序地將一組虛擬內(nèi)容的二維切片饋送(例如,幀順序或時間順序地)到如圖6所示的光學(xué)配置。
在圖6所示的示例性配置中,DLP(602)和LCD(604)的結(jié)合用于產(chǎn)生高刷新速率及高持久性顯示。應(yīng)當(dāng)理解,AR系統(tǒng)(600)的其它實施例可使用其它空間光調(diào)制器,并且下面的描述僅用于提供說明目的。有利的是,該方法允許系統(tǒng)具有高幀速率以及高持久性(其允許用戶同時感知多深度平面)。在本實施例中,DLP(602)和LCD(604)的結(jié)合以360Hz的處理功率來操作,從而生成每秒60幀(例如,生成6個深度平面,如下文將進一步詳細(xì)描述的)。
如下文將進一步詳細(xì)描述的,DLP/LCD系統(tǒng)的高幀速率以及高持久性允許被用戶同時感知的多深度平面的產(chǎn)生。盡管示出的實施例使用了LCD(604),應(yīng)當(dāng)理解,替代的實施例可沒有類似地使用與DLP(602)結(jié)合的LCD(604)。應(yīng)當(dāng)理解,可以類似地使用其它形式的空間調(diào)制器,諸如OLED、LCOS、FSD等。
應(yīng)當(dāng)理解,在一些實施例中,DLP(602)提供灰度圖像(如以上所討論的)。LCD(604)提供色彩圖,使得與各種顏色相關(guān)聯(lián)的光通過另一組消色差透鏡來投射。
在示出的實施例中,來自DLP(602)的光朝向一組消色差透鏡(606)投射。類似地,LCD(604)投射與相同或不同的虛擬內(nèi)容相關(guān)聯(lián)的光,并且該光穿過另一組消色差透鏡(606)。
消色差透鏡(606)是被設(shè)計用于限制色差和球差的影響的光學(xué)元件。換言之,消色差透鏡(606)類似地對波長的寬光譜起作用。例如,消色差透鏡(606)提供校正來使兩個波長在相同平面上聚焦。消色差透鏡通常由兩種不同類型的材料制成,并被設(shè)計為對于不同波長具有恒定焦點(或焦點中的小變化)。由于DLP(602)和LCD(604)投射具有多個波長的光(例如,紅、綠、藍等),使用消色差透鏡(606)以便確保不同波長的光被帶到基本上相同的焦點。如圖6所示,在光學(xué)構(gòu)造(600)的各種部分處使用消色差透鏡,以確保光被帶到相同的焦點(例如,從DLP(602)發(fā)射的光、從LCD(604)發(fā)射的光,來自VFE(610)的光,來自中間像平面(614)的光等)。
如圖6所示,來自LCD(604)的光穿過另一組消色差透鏡(606),并靠近分束器(608)。在示出的實施例中,分束器(608)分離光束以使得它被引導(dǎo)到VFE(610)。應(yīng)當(dāng)理解,DLP(602)與VFE(610)同步工作以提供期望的幀速率(例如,每秒60幀)。VFE(610)被配置為改變幀的焦點以生成多個固定的深度平面。在本實施例中,VFE(610)是可變形鏡膜VFE,其能夠快速改變焦點以適應(yīng)由DLP(602)和LCD(604)產(chǎn)生的幀的速度。在一個實施例中,可變形膜透鏡可由非常薄(例如,膜的厚度可是幾個微米量級)的反射材料制成,諸如可變形鏡膜VFE(610)(例如,由制成)。
來自VFE(610)的聚焦光行進穿過兩個或多個消色差透鏡(606),并產(chǎn)生中間像平面(614)。中間像平面(614)是具有適當(dāng)焦點的光,但它不能被用戶觀看。應(yīng)當(dāng)理解,生成中間像平面(614)的位置在基于VFE(610)的聚焦的范圍內(nèi)變化。
來自中間像平面(614)的光可進一步穿過一組消色差透鏡和/或放大元件,使得它能夠被用戶的眼睛觀看。例如,中間像平面可不是虛擬圖像的真實圖像,并需要被反轉(zhuǎn)和/或修改以被眼睛處理。如圖6所示,來自中間像平面(614)的光在遞送到眼睛之前穿過另一組消色差透鏡和/或目鏡。
在本示例中,應(yīng)當(dāng)理解,離眼睛最近的兩組消色差透鏡(606)被配置為在中間圖像形成后準(zhǔn)直從VFE接收的光。因此,在該特定的實施例中,當(dāng)圖像被眼睛觀看到時,圖像將看起來好像來自無窮遠。準(zhǔn)直的光(即,互相平行的光束)生成被感知為好像來自無窮遠的圖像。在其它示例(未顯示)中,當(dāng)VFE聚焦在其它深度平面(非光學(xué)無窮遠平面)上時,光線將通常發(fā)散,使得用戶在z方向上的固定深度平面處(例如,比光學(xué)無窮遠更近)觀看深度平面。
在示出的實施例中,AR系統(tǒng)(600)是多平面聚焦系統(tǒng),該多平面聚焦系統(tǒng)使用以360Hz的高處理功率操作的DLP(602)和LCD(604),這允許以60幀/秒來產(chǎn)生6個深度平面。在當(dāng)前的技術(shù)景觀中,這種強大的DLP可在穩(wěn)定的AR系統(tǒng)配置中良好地工作,但應(yīng)當(dāng)理解,技術(shù)的進步可允許相同的AR配置相應(yīng)地變換為便攜或可穿戴的AR系統(tǒng)。
假定DLP(602)以360Hz(60幀/秒)操作,可每2.8毫秒可生成不同的幀。將其與快速且精確的VFE(610)(諸如以上所討論的可變形鏡膜VFE)耦合,允許多深度平面的快速生成。因此,可以理解,VFE(610)的速度必須足夠快以快速改變焦點(在該實施例中,在2.8毫秒內(nèi)),使得期望的圖像/虛擬內(nèi)容在正確的深度平面處顯示。
圖7示出了AR系統(tǒng)(諸如關(guān)于圖6所討論的配置)如何生成相對于用戶的多個固定的深度平面。圖7示出了AR系統(tǒng)(704)和如被AR系統(tǒng)(704)的用戶觀看到的六個深度平面(702)的配置。在示出的實施例中,六個深度平面(702)在z方向上以距離用戶不同的距離間隔開。在一些實施例中,所有六個深度平面可在深度平面(例如,AR系統(tǒng)(600))的固定距離處被用戶同時觀看。在其它實施例中,僅深度平面的子集可在每幀被用戶觀看到,但是深度平面可始終在距離用戶的相同固定距離處生成。
應(yīng)當(dāng)理解,AR系統(tǒng)(704)(例如,諸如AR系統(tǒng)(600))、以及其它多平面聚焦系統(tǒng)通常在固定深度平面(702)(例如,如圖7所示的六個深度平面)處顯示幀。盡管可類似地使用任何數(shù)量的深度平面,以下公開將討論如在z方向上具有六個固定深度平面(702)的多平面聚焦系統(tǒng)。在六個深度平面中的一個或多個上生成虛擬內(nèi)容時,產(chǎn)生3D感知,使得用戶在距離他的/她的眼睛(例如,在z方向上)的不同距離處感知一個或多個虛擬對象??紤]到人類眼睛對于距離更近的對象比看起來距離更遠的對象更敏感,在距離眼睛更近處生成更多深度平面(702),如圖7所示。在其他實施例中,深度平面(702)可以在距離彼此的相等距離處放置。
深度平面(702)通常以屈光度測量,其是焦距的單位。例如,在一個實施例中,深度平面1可是1/3屈光度遠,深度平面2可是1/2屈光度遠,深度平面3可是1屈光度遠,深度平面4可是1.5屈光度遠,深度平面5可是3屈光度遠,以及深度平面6可表示無窮遠。應(yīng)當(dāng)理解,其他實施例可在其它距離/屈光度處生成深度平面。因此,在戰(zhàn)略上放置的深度平面處生成虛擬內(nèi)容中,用戶能夠感知3D中的虛擬對象。
例如,第一虛擬對象可在深度平面1上被感知,而另一虛擬對象可被感知為在深度平面6上源自無窮遠處?;蛘?,虛擬對象可首先在深度平面6處顯示,然后深度平面5等等,直到虛擬對象看起來距離用戶非常近(例如,虛擬怪物朝向用戶跑來)。在另一實施例中,所有六個深度平面可集中在距離用戶特定焦距上。例如,如果將要顯示的虛擬內(nèi)容是距離用戶半米遠的咖啡杯,則所有六個深度平面可在咖啡杯的各種截面處生成,給用戶咖啡杯的高度?;?D視圖。應(yīng)當(dāng)理解,以上示例用于說明性目的而被高度簡化,并且可類似地預(yù)見許多其它深度平面的配置。
在圖6的AR系統(tǒng)(600)的情況中,DLP(602)和LCD(604)的高處理能力與可變形鏡膜VFE(610)的能力結(jié)合以快速地改變焦點,這允許在距離用戶的不同距離處的深度平面的快速生成。這與顯示的持久性結(jié)合給出多個深度平面的同時感知。例如,可在第一2.8毫秒產(chǎn)生深度平面1(例如,以1/3屈光度聚焦),可在下一個2.8毫秒(5.6毫秒)產(chǎn)生深度平面2(例如,以1/2屈光度聚焦)等,直到在16毫秒產(chǎn)生第六深度平面(例如,在無窮遠處聚焦)。
換言之,空間光調(diào)制器(例如,DLP(602))操作的高速度(允許虛擬內(nèi)容的快速生成)與可變形鏡膜VFE 610(允許在期望深度平面上聚焦圖像的快速變化)耦合運行,提供能夠向用戶快速地投射多個深度平面的多平面聚焦系統(tǒng)。假定以該高速度生成深度平面(在第一個16毫秒內(nèi)生成所有六個像平面),那么人類眼睛將它們感知為同時的深度平面。換言之,由于眼睛的持久性,基本上一起觀看到所有六個深度平面。
由于尺寸和便攜性的限制,這種高處理能力(360Hz)的DLP不容易用在可穿戴版本的AR系統(tǒng)中。另外,用在AR系統(tǒng)(600)中的可變形鏡膜VFE可能極薄,因此對外部環(huán)境的變化高度敏感,其難于在可穿戴AR系統(tǒng)模型中使用。然而,應(yīng)當(dāng)理解,系統(tǒng)(600)可利用其它VFE或其它空間光調(diào)制器并可與以上的描述起相似的作用。
現(xiàn)在參考圖8,現(xiàn)在將描述可穿戴AR系統(tǒng)(800)的一個版本的示例性實施例。與AR系統(tǒng)(500)類似,AR系統(tǒng)(800)也包括圖像生成處理器(802)(例如,具有附加的組件:GPU(814)、CPU(816)、以及存儲器(812))、空間光調(diào)制器(例如,DLP、LCD、OLED、LCOS、FSD等)(804)、多個透鏡/光學(xué)元件和鏡(806)、VFE(810)、彎月透鏡或目鏡(808)、以及眼睛跟蹤子系統(tǒng)(820)。應(yīng)當(dāng)理解,AR系統(tǒng)(800)可用在各種配置中。一個配置可以是“鳥盆(birdbath)”的配置,其是指在AR設(shè)備的頂部容納一組光學(xué)元件和空間光調(diào)制器(例如,與圖4B類似的AR設(shè)備的頭盔形狀因子)的頭盔配置,使得光向下行進過空間光調(diào)制器和一組光學(xué)器件并被饋送到目鏡的頂部。在其它配置中,該組光學(xué)器件和空間光調(diào)制器被容納在側(cè)邊上,使得光橫向行進通過空間光調(diào)制器和該組光學(xué)元件,并被饋送到目鏡的側(cè)部(例如,與圖4C類似的形狀因子)。
AR系統(tǒng)(800)的多個組件與以上所描述的AR系統(tǒng)(500)類似,因此將不再重復(fù)。如上所討論,處理器(802)向空間光調(diào)制器(804)提供一個或多個圖像切片或幀。在一個或多個實施例中,空間光調(diào)制器(804)可包括DLP、LCD、LCOS、OLED或FSD。如上所討論,AR系統(tǒng)的便攜版本不能適應(yīng)大的且強大的空間光調(diào)制器,諸如在AR系統(tǒng)中使用的一個空間光調(diào)制器(例如,圖6);因此可使用較小和/或不強大的空間光調(diào)制器(例如,DLP)來替代。在示出的實施例中,DLP可以大約120Hz來操作,產(chǎn)生60幀/秒。
來自空間光調(diào)制器(804)的光然后通過VFE(810)來聚焦,使得圖像在期望的深度平面處被用戶觀看。如上所討論,在可穿戴配置中使用的VFE(810)更耐用,但是也比在AR系統(tǒng)(600)中使用的VFE更慢。類似地,在本實施例中使用的VFE(810)可不是如在AR系統(tǒng)(600)中所使用的可變形鏡膜,而可以是光折射膜透鏡,諸如由像或公司制作的光折射膜透鏡。在一個或多個實施例中,與這些VFE相關(guān)聯(lián)的膜傾向于具有橡膠質(zhì)地,該橡膠質(zhì)地與在AR系統(tǒng)(500)中使用的可變形膜鏡相比更耐用,從而使得這些VFE更適合于AR系統(tǒng)的可穿戴版本。
在本實施例中,假定僅以20幀/秒生成幀,那么VFE僅以20幀/秒切換焦點。為此,不是一次同時地顯示所有六個深度平面,而是生成單個深度平面以與用戶的焦點一致,如下面將進一步描述的。與圖5類似,來自VFE的光穿過一組光學(xué)元件(806和808)并傳輸?shù)接脩舻难劬Α?/p>
如上所討論的,AR系統(tǒng)(800)是可變焦平面系統(tǒng)。不是生成六個(或更多)深度平面,而是系統(tǒng)被配置為產(chǎn)生在z方向上可移動的單個深度平面,使得產(chǎn)生的深度平面與用戶的焦點一致。
為此,除了以上所描述的元件(也在前面實施例中呈現(xiàn)的元件)之外,本實施例還包括被配置為跟蹤眼睛的焦點的眼睛跟蹤子系統(tǒng)(820)。每只眼睛相對于彼此可單獨且獨立地跟蹤。在一個或多個實施例中,每一只眼睛可由專用的眼睛跟蹤系統(tǒng)來跟蹤。在其它實施例中,兩只眼睛都可由單眼跟蹤系統(tǒng)來跟蹤。在另一實施例中,單眼跟蹤系統(tǒng)可具有兩個跟蹤器,每一個跟蹤器被配置為用于每一只眼睛。眼睛跟蹤子系統(tǒng)(820)可以是物理地或通信地耦合到圖像生成處理器(802)以及其它電路,使得VFE(810)在與用戶的眼睛的焦點一致的平面上聚焦圖像。
在一個或多個實施例中,眼睛跟蹤子系統(tǒng)(820)測量兩只眼睛匯聚的距離。例如,如果用戶的眼睛彼此平行,則眼睛跟蹤子系統(tǒng)(820)可確定用戶的焦點是在光學(xué)無窮遠處。眼睛跟蹤子系統(tǒng)(820)的其它實施例可使用其它方法來估計或確定用戶的眼睛的焦點。應(yīng)當(dāng)理解,眼睛跟蹤子系統(tǒng)(820)可包括處理/控制電路等,并進一步地被配置為與圖像生成處理器以及系統(tǒng)的其他組件進行通信。系統(tǒng)的其余組件與之前以上所描述的前面系統(tǒng)(500)類似。
現(xiàn)在參考圖9,現(xiàn)在將描述可變平面聚焦系統(tǒng)(例如,AR系統(tǒng)(800))的具體配置(900)。在本實施例中,可變平面聚焦系統(tǒng)(900)包括DLP(902)、一組消色差透鏡(904)、VFE(906)、分束器(908)、中間像平面(940)、以及彎月透鏡(910)。
如圖9所示,與各種虛擬圖像切片/幀切片相關(guān)聯(lián)的光(例如,由處理器(未示出)饋送)從DLP(902)被投射。來自DLP(902)的光行進通過一組消色差透鏡(904)(例如,其修改不同波長的光的焦點以基本上具有相同的焦點,如上所討論的)并被饋送到VFE(906)。
如上所討論的,VFE(906)將光聚焦,使得光看起來來自期望的平面。盡管在圖9中沒有示出眼睛跟蹤子系統(tǒng),應(yīng)當(dāng)理解,圖像通常基于來自眼睛跟蹤子系統(tǒng)的輸入來產(chǎn)生。換言之,來自眼睛跟蹤系統(tǒng)的數(shù)據(jù)與VFE通信,并且VFE相應(yīng)地產(chǎn)生最接近用戶的當(dāng)前聚焦?fàn)顟B(tài)的深度平面。
一旦VFE(906)已經(jīng)相應(yīng)地聚焦了光,然后光行進穿過另一組消色差透鏡(906),使得中間像平面(940)被產(chǎn)生。如上所討論的,與中間像平面(940)對應(yīng)的光在它被眼睛觀看到之前必須被修改,并且因此,在一些實施例中,可穿過將光引導(dǎo)到用戶的眼睛的分束器(908)和彎月透鏡或目鏡(910)。
分束器(908)將光束分離并并將光朝向彎月透鏡(910)反射。然后彎月透鏡(910)將光引導(dǎo)到用戶的眼睛中。
在示出的實施例中,到達用戶的眼睛的光被準(zhǔn)直(例如,用戶感知光束是來自光學(xué)無窮遠)。當(dāng)然,當(dāng)在不同的深度平面上聚焦時,光束可替代為發(fā)散,仿佛來自比光學(xué)無窮遠更近的深度平面。
現(xiàn)在參考圖10,示出了可變平面聚焦系統(tǒng)的示例性的一系列配置。各種配置包括與關(guān)于圖9所討論的相同的組件,并且因此將不再重復(fù)。
在示出的實施例中,在(1002)中,VFE(1014c)將來自DLP(1012c)的光聚焦到距離用戶0.33米的深度平面。如圖10右邊所示,中間像平面(1016c)基于VFE(1014c)的焦點的變化來生成。在(1004)中,VFE(1014b)將來自DLP(1012b)的光聚焦到距離用戶0.67米的深度平面。如圖10中間所示,中間像平面(1016b)基于VFE(1014b)的焦點的變化來生成。類似地,在(1006)中,VFE(1014a)將來自DLP(1012a)的光聚焦到光學(xué)無窮遠處的深度平面。如圖10中間所示,中間像平面(1016b)基于VFE(1014b)的焦點的變化來生成。在示出的實施例中,中間像平面(例如,1016a、1016b和1016c)還隨著VFE將光的焦點變化到不同的深度平面而變化。
圖11示出了可變平面AR系統(tǒng)(諸如關(guān)于圖8-10所討論的配置)如何生成可相對于用戶橫向平移的單個深度平面。圖11示出了AR系統(tǒng)(1104)和由AR系統(tǒng)(1104)的用戶觀看的單個深度平面(1106)。在示出的實施例中,生成了單個深度平面,但是單個深度平面(1102)(對于每一幀)可在z方向上的范圍(1106)內(nèi)移動。
換言之,可變平面聚焦系統(tǒng)(例如,圖8-10)可基于用戶當(dāng)前的聚焦?fàn)顟B(tài)在z方向上的范圍內(nèi)橫向平移單個深度平面。如果用戶的眼睛聚焦在鄰近用戶的物理對象上,則移動單個深度平面使得它與焦距一致,并且虛擬對象顯示在該深度平面上。例如,如果用戶的眼睛放松并且正看向空間(眼睛彼此平行),深度平面可進一步地向外移動,使得虛擬對象看起來來自無窮遠。如圖11所示,AR系統(tǒng)(1104)將圖像聚焦在與用戶的焦點一致的單個深度平面(1102)上。單個深度平面(1102)可以在范圍(1106)內(nèi)移動到z方向上距離用戶的任何距離(例如,非常接近用戶到光學(xué)無窮遠),如圖11所示。
為了補償僅投射一個深度平面(例如,以60幀/秒)的事實,可利用模糊軟件技術(shù)來提供多深度平面的感知。假設(shè)不止一個虛擬對象意在投射給用戶,并假設(shè)虛擬對象打算在不同的深度平面處,則系統(tǒng)可以使不在投射深度平面中的虛擬對象模糊。換言之,兩個虛擬對象在單個深度平面上渲染,但是一個(或它們的多個)虛擬對象(與用戶的焦點相比意在看起來更近/更遠的那個)將對用戶顯得模糊。
例如,如果虛擬內(nèi)容包括虛擬咖啡杯和在背景中飛行的龍,如果用戶的眼睛聚焦在桌子上,則單個深度平面將在用戶的焦點處生成,并且該單個深度平面將包括焦點中的虛擬咖啡杯,但是將附加地還顯示在背景中飛行的模糊版本的龍?;蛘呷绻脩舻难劬Τ驘o窮遠處聚焦,則單個深度平面將在無窮遠處生成,但是龍可以在焦點中出現(xiàn),而咖啡杯通過軟件模糊而被模糊。
或者,繼續(xù)相同的示例,如果用戶的眼睛轉(zhuǎn)向龍,眼睛跟蹤系統(tǒng)(820)可以檢測焦點的偏移(例如,眼睛跟蹤子系統(tǒng)可檢測用戶眼睛的會聚的變化),然后在焦點中渲染龍并模糊咖啡杯,但此時,單個深度平面在無窮遠處生成。應(yīng)當(dāng)理解,人眼花費200-300毫秒的秒數(shù)數(shù)量級來將其焦點從近的對象改變到遠的對象或反之亦然。然而,AR系統(tǒng)被配置為以每秒大約60幀快速地生成幀。因此,由于與人眼相比時,AR系統(tǒng)以更快的速度操作,用戶眼睛能夠舒適地適應(yīng)焦平面的變化。
因此,從上述示例可以理解,為了產(chǎn)生3D感知,可變平面聚焦系統(tǒng)產(chǎn)生一個(或多個)有限的深度平面,該一個(或多個)有限深度平面被投射在與用戶的眼睛的焦距一致的深度平面處。通過使用眼睛跟蹤子系統(tǒng)(820),AR系統(tǒng)(800)能夠使用較小處理能力的空間光調(diào)制器和較慢的VFE,如上所討論的。
應(yīng)當(dāng)理解,可變平面聚焦系統(tǒng)的精度與眼睛跟蹤子系統(tǒng)的精度和效率以及VFE元件的速度直接相關(guān)。眼睛跟蹤子系統(tǒng)(820)必須能夠快速測量和確定用戶的眼睛的焦距,并且VFE元件必須在該距離處精確地聚焦深度平面。這花費大量的處理能力和速度,其通常是可穿戴AR系統(tǒng)的限制,如上面詳細(xì)討論的。為此,在AR系統(tǒng)的又一實施例中,混合系統(tǒng)可用于生成3D虛擬內(nèi)容。
現(xiàn)在參考圖12,將更詳細(xì)地描述類似于圖9和圖10的AR系統(tǒng)的混合配置?;旌螦R系統(tǒng)(1200)包括與圖9的AR系統(tǒng)(900)基本相同的元件。為了簡潔的目的,將僅描述混合AR系統(tǒng)(1200)的關(guān)鍵組件,并且應(yīng)當(dāng)認(rèn)識,其余組件將類似于圖9的配置進行工作。
如圖12所示,來自DLP(1206)的光可投射與虛擬內(nèi)容的2D切片相關(guān)聯(lián)的光。然后,光可以穿過一組消色差透鏡(1208),該組消色差透鏡被配置為確保不同波長的光被帶到基本上相同的焦點,如上所討論的。來自消色差透鏡(1208)的光然后撞擊具有長范圍VFE元件(1202)和兩個狀態(tài)聚焦元件(1204)的VFE部件。
在混合AR系統(tǒng)(1200)中,系統(tǒng)不是使用單個VFE,而是使用長范圍VFE元件(1202)和兩個狀態(tài)聚焦元件(1204)兩者。長范圍VFE(1202)被配置為沿著深度平面的大范圍(類似于圖11的可變平面系統(tǒng))起作用,而兩個狀態(tài)聚焦元件(1204)被配置為在彼此的小范圍(類似于圖7的多平面系統(tǒng))內(nèi)生成兩個深度平面。
長范圍VFE元件(1202)可以例如能夠具有相對大的聚焦范圍,諸如0-3屈光度。為了說明的目的,這種VFE(1202)可以在其瞬態(tài)響應(yīng)時間上受到限制。如果單獨使用,這種長范圍VFE(1202)可以在來自可操作地耦合的圖像源的多個顯示幀的過程中調(diào)節(jié)焦點,但是不能以可操作地耦合的顯示器的刷新率在逐幀的基礎(chǔ)上在期望聚焦?fàn)顟B(tài)之間足夠快地調(diào)制。例如,長范圍VFE(1202)可以響應(yīng)于人類調(diào)節(jié)或聚散的變化或響應(yīng)于在所顯示的立體場景內(nèi)的元素的移動來調(diào)節(jié)顯示焦點。
標(biāo)記為(1204)的兩個狀態(tài)聚焦VFE可以包括可以在聚焦?fàn)顟B(tài)之間比VFE(1202)更快地切換的VFE,但是受限于它的總聚焦范圍(例如,0至0.3屈光度)和/或可以產(chǎn)生的聚焦?fàn)顟B(tài)的數(shù)量(例如,兩個聚焦?fàn)顟B(tài))。通過將長范圍VFE(1202)和兩個狀態(tài)VFE 1204串聯(lián)放置,它們的總光功率被結(jié)合,使得每個VFE的聚焦?fàn)顟B(tài)影響可操作地耦合的顯示器的焦點。
例如,如果需要在1屈光度的距離處產(chǎn)生兩個深度平面,則長范圍VFE(1202)可以被配置為在大約1屈光度距離處聚焦兩個深度平面,而兩個狀態(tài)聚焦元件(1204)可以被配置為在彼此的短距離內(nèi)(例如,距離彼此的0.3屈光度的固定距離)生成兩個深度平面。換言之,長范圍VFE(1202)在z方向上距離用戶大約正確的距離處聚焦兩個深度平面,而兩個狀態(tài)聚焦元件(1204)相對于彼此放置兩個深度平面。在一個或多個實施例中,在兩個深度平面之間的距離可以是固定的。從組合的VFE(1202和1204)出射的光在撞擊用戶的眼睛之前,可然后穿過另一組消色差透鏡(1208)以及與圖9的組件類似的剩余組件(未示出)。
混合系統(tǒng)(1200)結(jié)合了多平面聚焦系統(tǒng)和可變平面聚焦系統(tǒng)兩者的元件。為了解決眼睛跟蹤子系統(tǒng)和/或VFE中的缺陷,不是生成基于跟蹤用戶的眼睛而生成的單個深度平面,而是混合系統(tǒng)(1200)在由眼睛跟蹤系統(tǒng)確定的焦距處生成兩個彼此靠近的深度平面。因此,可以理解的是,混合系統(tǒng)(1200)在眼睛跟蹤子系統(tǒng)中建立了誤差允許,并且通過將虛擬內(nèi)容不僅投射在一個深度上而且投射到鄰近彼此的兩個深度上來解決缺陷。應(yīng)當(dāng)理解,在此所描述的兩個深度平面系統(tǒng)僅是示例,并且其它實施例可包括全部投射的三個或多個深度平面,以便與用戶的焦點一致。
例如,如果確定(例如,通過眼睛跟蹤子系統(tǒng))用戶的眼睛在1屈光度的距離處聚焦,而不是在該距離處生成單個深度平面,則混合系統(tǒng)(1200)可替代地生成兩個深度平面,其兩者接近1屈光度,并且分離虛擬內(nèi)容,使得它的一半出現(xiàn)在一個深度平面上而另一半出現(xiàn)在另一深度平面上。因此,兩個深度平面被用戶同時感知(例如,在8ms時在深度平面1處生成的一幀以及在16ms時在深度平面2處生成的另一幀)。這為用戶創(chuàng)建了更舒適的觀看,并且不嚴(yán)重依賴于眼睛跟蹤子系統(tǒng)。假設(shè)使用以120Hz操作的DLP,則混合AR系統(tǒng)(1200)可以被配置為以60幀/秒來生成兩個深度平面。
圖13示出了混合AR系統(tǒng)(諸如關(guān)于圖12所討論的配置)如何生成相對于彼此的可以相對于用戶橫向平移的兩個深度平面。圖13示出了AR系統(tǒng)(1302)和如由AR系統(tǒng)(1302)的用戶所觀看到兩個深度平面(1304)。在所示出的實施例中,在彼此的固定距離內(nèi)生成兩個深度平面(1304),并且兩個深度平面(1304)可以在z方向上的范圍(1306)內(nèi)橫向平移。
如上所述,生成兩個深度平面(1304)而不是單個深度平面可以彌補在生成單個深度平面時眼睛跟蹤子系統(tǒng)(820)中的誤差或VFE的精度。在此,一旦已經(jīng)通過眼睛跟蹤系統(tǒng)(820)確定了期望的深度平面的近似位置,則兩個深度平面鄰近彼此(例如,相對于彼此為固定距離)而被產(chǎn)生。
在又一實施例中,替代使用VFE與一個或多個透鏡結(jié)合來生成多個深度平面,可通過使用嵌入有深度平面信息的體相全息圖或波導(dǎo)類似地生成深度平面。換言之,衍射圖案或衍射光學(xué)元件(DOE)可以嵌入在平面波導(dǎo)內(nèi),使得當(dāng)準(zhǔn)直光束沿著平面波導(dǎo)全內(nèi)反射時,它在多個位置與衍射圖案相交。
現(xiàn)在參考圖14,將更詳細(xì)地描述波導(dǎo)(1450)的堆疊,每個波導(dǎo)具有嵌入在各自波導(dǎo)內(nèi)的不同DOE。波導(dǎo)(1450)的堆疊包括六個波導(dǎo),每個波導(dǎo)具有用于每個波導(dǎo)的單獨的DOE(1460a-1460f)和內(nèi)耦合(in-coupling)光柵(1452)。每個波導(dǎo)包括將光衍射到不同深度平面的不同DOE圖案。
內(nèi)耦合光柵是指在波導(dǎo)(例如,1460a-1460f)中的開口,來自空間光調(diào)制器的光通過該開口被注入。如圖14所示,注入的光通過全內(nèi)反射行進通過每個波導(dǎo),并且以不同的角度和在不同的位置與每個波導(dǎo)中的嵌入的衍射圖案相交。然后,該光中的一些傳輸通過波導(dǎo)并進入用戶的眼睛,如圖15所示。
應(yīng)當(dāng)理解,每個波導(dǎo)可基于嵌入的衍射圖案來不同地衍射光。例如,具有第一DOE(1460a)的波導(dǎo)可以準(zhǔn)直與任何圖像相關(guān)聯(lián)的光,其通過內(nèi)耦合光柵(1452)注入到波導(dǎo)(1460a)中。具有第二DOE(1460f)的另一波導(dǎo)可以被配置為將光發(fā)散到與1個屈光度對應(yīng)的深度平面。具有又一DOE(1460e)的又一波導(dǎo)可以被配置為將光發(fā)散到與2個屈光度對應(yīng)的深度平面等。如圖14所示,離開波導(dǎo)(1460f)的光與離開波導(dǎo)(1460e)的光相比對應(yīng)于不同的角度。因此,嵌入在波導(dǎo)內(nèi)的各種DOE以變化的角度發(fā)射光,其然后被用戶感知為來自不同深度平面。
應(yīng)當(dāng)理解,與之前的系統(tǒng)相比,圖14的AR系統(tǒng)(1400)之間的關(guān)鍵差異是每個波導(dǎo)中的DOE用作VFE,從而消除對單獨的VFE的需要。因此,有利地,可以將圖像切片(或平面)可被饋送到適當(dāng)?shù)牟▽?dǎo),以便生成期望的深度平面。
例如,波導(dǎo)的堆疊的第一波導(dǎo)可具有被配置為將準(zhǔn)直光遞送到眼睛的第一衍射圖案,其可以表示光學(xué)無窮遠深度平面。另一波導(dǎo)可被配置為遞送注入的光,使得它看起來正來自1米的距離處。又一波導(dǎo)可被配置為遞送注入的光,使得它看起來正來自2米的距離處。通過使用堆疊的波導(dǎo)組件,可以理解,可以產(chǎn)生多個深度平面,其中每個波導(dǎo)被配置為在特定深度平面處顯示圖像。應(yīng)當(dāng)理解,盡管可以使用任何數(shù)量的波導(dǎo)/全息圖,但是以下討論將集中于被配置為生成六個深度平面的六個堆疊的全息圖。換言之,不是使用在不同深度平面狀態(tài)之間快速切換焦點的VFE,而是波導(dǎo)本身用作VFE,并且根據(jù)期望的焦深將光注入到一個(或多個波導(dǎo))中。
應(yīng)當(dāng)理解,堆疊的波導(dǎo)可以進一步被配置為動態(tài)的,使得一個或多個波導(dǎo)可以被開啟或關(guān)閉。在一個實施例中,具有衍射光學(xué)元件的一個或多個波導(dǎo)在“開啟”狀態(tài)和“關(guān)閉”狀態(tài)之間是可切換的,在“開啟”狀態(tài)中,衍射光學(xué)元件主動衍射,在“關(guān)閉”狀態(tài)中,衍射光學(xué)元件不顯著衍射的。例如,可切換DOE波導(dǎo)可以包括聚合物分散液晶層,其中微滴在主介質(zhì)中包括衍射圖案,并且微滴的折射率可以被切換為基本上匹配主體材料的折射率(在這種情況下,圖案不明顯地衍射入射光)。在另一實施例中,可以將微滴切換為與主介質(zhì)的折射率不匹配的折射率(在這種情況下,圖案主動地衍射入射光)。關(guān)于具有衍射光學(xué)元件的波導(dǎo)的更多細(xì)節(jié)在于2014年11月27日提交的代理人案號為ML 20011.00名為“虛擬和增強現(xiàn)實系統(tǒng)和方法(VIRTUAL AND AUGMENTED REALITY SYSTEMS AND METHODS)”的美國專利申請NO.14/555,585中進行描述。
現(xiàn)在參考圖15,現(xiàn)在將描述使用嵌入的衍射引導(dǎo)元件的堆疊的AR系統(tǒng)(1400)的示例性實施例。AR系統(tǒng)(1400)通常包括處理器(1402)(例如,還包括附加組件:存儲器(1412)、GPU(1412)、CPU(1416)等)、至少一個FSD(1420)、FSD電路(1410)、耦合光學(xué)器件(1422)以及具有衍射元件的至少一組堆疊的波導(dǎo)(1430)。系統(tǒng)(1400)可以(可選地)包括眼睛跟蹤子系統(tǒng)(1450)。
AR系統(tǒng)(1400)的許多組件類似于上述的AR系統(tǒng)(500)和(800),并且因此將不再重復(fù)。如上所討論的,處理器(1402)向可以是FSD電路(1420)的空間光調(diào)制器提供一個或多個圖像平面,如圖15所示。在示出的實施例中,每個眼睛使用一個FSD(1420)。FSD(1420)對應(yīng)于促進FSD(1420)的功能的FSD電路(1410)。
應(yīng)當(dāng)理解,其他實施例可以具有每個眼睛多個FSD(例如,每個波導(dǎo)一個),但是下面的公開將集中于圖15的示例性實施例。雖然所示的實施例使用FSD作為空間光調(diào)制器,但是可以類似地使用任何其它空間光調(diào)制器(例如,DLP、OLED、LCD、LCOS等)。
應(yīng)當(dāng)理解,當(dāng)與許多其它空間光調(diào)制器相比時,F(xiàn)SD(1420)是緊湊的并且具有高分辨率。因此,它可以在AR系統(tǒng)的可穿戴版本中具有顯著效用。在其芯處,F(xiàn)SD(1420)包括一個或多個光纖,其快速振動以產(chǎn)生各種圖案以便遞送圖像。
在一個或多個實施例中,F(xiàn)SD(1420)可以包括單個光纖,或者在其他實施例中,可以包括可以將光分裂成多個通道的多個光纖。在這種實施方式中,光纖可以具有交錯的尖端或傾斜或拋光的尖端以彎曲光,從而減少通道之間的光學(xué)跨度。光纖可以方便地封裝為帶狀光纜。合適的光學(xué)器件可以產(chǎn)生由每個通道產(chǎn)生的各個圖像的共軛。FSD(1420)還包括(在以上描述的FSD電路(1410)中)壓電換能器(1438)和圍繞壓電換能器徑向布置的一組電極(未示出)。
例如經(jīng)由幀緩沖器將控制信號施加到與壓電換能器相關(guān)聯(lián)的各個電極可以引起光纖的前端或近端振蕩或振動??梢酝ㄟ^施加的驅(qū)動信號控制振動的大小,以獲得任何或各種至少雙軸的圖案。所產(chǎn)生的圖案可以是光柵掃描圖案、螺旋掃描圖案、蝸形掃描圖案、或利薩如(Lissajous)或圖8的掃描圖案。
多芯光纖可以被配置為在顯示分辨率增強(即,較高分辨率)中起作用。例如,在一個實施例中,如果單獨的像素數(shù)據(jù)被下發(fā)到多芯光纖中的19個芯的緊束,并且該簇以稀疏螺旋圖案掃描,其中螺旋的間距近似等于多芯的直徑,然后掃描將有效地產(chǎn)生大約是類似地掃描的單芯光纖的分辨率的19倍的顯示分辨率。
實際上,使光纖相對于彼此更稀疏地定位可能更實際,因為它是有效的平鋪/六邊形圖案;可以使用其他圖案或數(shù)量;例如,一簇19個;每個容納在導(dǎo)管內(nèi)的3個光纖的配置是可升級或降級的。采用稀疏配置,多芯的掃描通過其自身的局部區(qū)域來掃描每個芯,這與其中芯全部緊密地封裝在一起并被掃描相反(其中,芯最終與掃描重疊;如果芯與彼此太近,那么芯的數(shù)值孔徑(“NA”)不夠大,并且非常緊密封裝的芯在某種程度上最終模糊在一起并且不會產(chǎn)生用于顯示的可辨別的光斑)。因此,為了分辨率增加,可優(yōu)選具有稀疏平鋪而不是高度密集平鋪。關(guān)于FSD的功能的更多細(xì)節(jié)在美國專利申請序列號14/555,585中描述。
因此,F(xiàn)SD(1420)和FSD電路(1410)可以用作具有高分辨率和亮度的緊湊空間光調(diào)制。應(yīng)當(dāng)理解,由于小的光斑尺寸,F(xiàn)SD通常耦合到光瞳擴展器,例如入射光瞳擴展器或正交光瞳擴展器(未示出)。雖然本實施例將空間光調(diào)制器描述為FSD,但應(yīng)理解,其它實施例可類似地使用任何其它空間光調(diào)制器(例如,DLP、LCD、OLED、LCOS等)。
如圖15所示,AR系統(tǒng)(1400)還包括耦合光學(xué)器件(1422),以將來自FSD(1420)的光引導(dǎo)到波導(dǎo)組件(1430)。耦合光學(xué)部件(1422)可以指用于將光引導(dǎo)到波導(dǎo)組件(1430)中的一個多個傳統(tǒng)透鏡。在一個或多個實施例中,可以包括開關(guān)元件(未示出),其可切換地將光引導(dǎo)到波導(dǎo)組件(1430)的特定波導(dǎo)。
波導(dǎo)組件(1430)然后被配置為在期望的深度平面處投射圖像,如圖14所示。AR系統(tǒng)(1400)還可以包括眼睛跟蹤子系統(tǒng)(1450),其被配置為跟蹤用戶的眼睛并確定用戶的焦點。
在一個實施例中,基于來自眼睛跟蹤子系統(tǒng)(1450)的輸入,可以僅開啟具有特定DOE光柵的一個波導(dǎo)。在其他實施例中,可以同時開啟具有各自的DOE光柵的多個波導(dǎo),如下面將討論的。
在一個實施例中,AR系統(tǒng)(1400)可以工作為多平面聚焦系統(tǒng),像上述的AR系統(tǒng)(600)。換言之,可以同時開啟所有六個DOE元件(例如,波導(dǎo)組件(1430)的所有六個波導(dǎo)),使得快速連續(xù)地生成六個固定深度平面,其中FSD(1420)快速地將圖像信息傳送到波導(dǎo)1,然后到波導(dǎo)2,然后到波導(dǎo)3等等。
例如,可以在時間1注入包括在光學(xué)無窮遠處的天空的期望圖像的一部分,并且可以利用保持光的準(zhǔn)直的衍射光柵;然后可以在時間2注入更近的樹枝的圖像,并且可以利用被配置為產(chǎn)生10米遠的深度平面的DOE;然后可以在時間3注入筆的圖像,并且可以利用被配置為產(chǎn)生1米遠的深度平面的DOE。這種范例可以以快速時間順序方式重復(fù),使得眼睛/大腦將輸入感知為相同圖像的所有部分,并且使得多個圖像平面/切片被用戶幾乎同時感知。
如上所述,堆疊的配置(1430)可以利用動態(tài)波導(dǎo)(而不是靜態(tài)波導(dǎo)和透鏡)來提供多平面同時聚焦。例如,采用三個同時的焦平面,可以向用戶呈現(xiàn)主聚焦平面(例如,基于測量的眼睛調(diào)節(jié)),并且+余量和-余量(即,一個對于焦平面更近,一個更遠出)可以被用于提供大的聚焦范圍,在該聚焦范圍中,用戶可以在需要更新平面之前進行調(diào)節(jié)。如果用戶切換到更近或更遠的聚焦(即,如由調(diào)節(jié)測量確定),則這個增加的聚焦范圍可以提供時間優(yōu)點。然后,可以使新的聚焦平面成為中間聚焦深度,其中+余量和-余量切換到任一個,而AR系統(tǒng)校正調(diào)節(jié)的改變。
然而,這種情況假設(shè)FSD(1420)能夠足夠快地操作以快速生成要注入到多個波導(dǎo)中的不同/圖像的不同部分。在另一實施例(未示出)中,具有各自衍射元件的每個波導(dǎo)可以通過單獨的FSD(例如,六個不同的FSD,每個將光注入到與特定深度平面對應(yīng)的各個波導(dǎo)上)來接收光。
換言之,每個FSD以合理的速度操作,使得DOE 1被注入來自FSD 1的攜帶天空的圖像的光,DOE 2被注入來自FSD 2的攜帶樹枝的圖像的光,DOE 3被注入來自FSD 3的攜帶筆的圖像的光,等等。因此,通過具有多個FSD,而不是快速生成要饋送到所有六個波導(dǎo)中(并且切換或引導(dǎo)到各個波導(dǎo))的所有圖像的單個FSD,每個FSD僅需要以合理速度操作,該合理速度足以僅將與其圖像相關(guān)聯(lián)的光注入到其各自的波導(dǎo)。然而,這種方法雖然從光學(xué)的角度來看是理想的,但可能被證明在緊湊的可穿戴AR系統(tǒng)上難以實現(xiàn)。
為此,可以利用眼睛跟蹤系統(tǒng)(1450),使得期望的深度平面(或多個平面)與用戶的焦深一致。該實施例的功能在某種程度上類似于上面討論的可變平面聚焦系統(tǒng)(例如,圖11)。在AR系統(tǒng)(1400)的上下文中,基于來自眼睛跟蹤系統(tǒng)(1450)的輸入,可以開啟特定波導(dǎo),使得在與用戶的焦點一致的期望深度平面處生成圖像。
例如,如果確定用戶的眼睛彼此平行(即,在無窮遠處聚焦),則AR系統(tǒng)可以開啟具有被配置為向用戶的眼睛遞送準(zhǔn)直光的DOE的波導(dǎo),使得虛擬圖像在光學(xué)無窮遠處出現(xiàn),與用戶的當(dāng)前焦點狀態(tài)一致。在另一示例中,如果眼睛跟蹤子系統(tǒng)(1450)確定用戶的眼睛發(fā)散到在1米距離處的焦點,則替代地可以開啟具有被配置為近似地在該范圍內(nèi)聚焦的另一DOE的另一波導(dǎo)。應(yīng)當(dāng)理解,在該特定實施例中,在任何給定時間(例如,每幀)僅開啟一個波導(dǎo),而關(guān)閉其余的DOE。
或者,在另一實施例中,類似于上述混合AR系統(tǒng)(1200),可以同時開啟具有其對應(yīng)深度平面位置靠近在一起的DOE的兩個波導(dǎo)。
在又一實施例中,為了增加用戶的光學(xué)器件的視場,可以采用平鋪方法使得兩組(或多組)堆疊的DOE波導(dǎo)被使用,每組具有對應(yīng)的FSD(或任何其他類型的空間光調(diào)制器)。因此,一組堆疊的波導(dǎo)和對應(yīng)的FSD可以用于將虛擬內(nèi)容遞送到用戶的眼睛的中心,而另一組堆疊的波導(dǎo)和另一對應(yīng)的FSD可以用于將虛擬內(nèi)容遞送到用戶眼睛的周邊。
類似于上文,每個波導(dǎo)堆疊可以包括具有不同DOE的6個波導(dǎo),每個DOE用于6個深度平面中的每一個。將兩個堆疊一起使用,用戶的視場顯著增加。進一步地,具有兩個不同的DOE和FSD的堆疊提供了更多的靈活性,使得當(dāng)與投射到用戶的眼睛的中心的虛擬內(nèi)容相比時,可以在用戶的眼睛的周邊中投射稍微不同的虛擬內(nèi)容。關(guān)于平鋪方法的更多細(xì)節(jié)在同時提交的代理人案號為ML30018名為“用于利用具有可尋址聚焦的自由形態(tài)光學(xué)系統(tǒng)來顯示用于虛擬和增強現(xiàn)實的立體視覺的方法和系統(tǒng)(Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality)”的美國臨時專利申請序列號62/005,865中描述。
應(yīng)當(dāng)理解,堆疊的DOE/波導(dǎo)附加地用作入射光瞳擴展器(EPE)以增加FSD的數(shù)值孔徑。由于FSD產(chǎn)生小直徑/光斑尺寸的光,所以EPE擴展在波導(dǎo)內(nèi)的光,使得其到達用戶的眼睛。在AR系統(tǒng)(1400)的其它實施例中,除了EPE之外,系統(tǒng)還可包括正交光瞳擴展器,以在x和y方向上擴展光。關(guān)于EPE和OPE的更多細(xì)節(jié)在上述引用的美國臨時專利申請序列號61/909,174和美國臨時專利申請序列號62/005,807中描述。
其他類型的光瞳擴展器可以類似地用于采用FSD的系統(tǒng)中。雖然FSD提供高分辨率、高亮度、并且是緊湊的,但是FSD傾向于具有小的數(shù)值孔徑(即,小的光斑尺寸)。因此,使用FSD作為空間光調(diào)制器的系統(tǒng)通常采用某種類型的光瞳擴展器,其基本上用于增加所生成的光的數(shù)值孔徑。雖然一些系統(tǒng)可以使用用作EPE和/或OPE的波導(dǎo)來擴展由FSD生成的窄光束,但是其它實施例可以使用擴散器來擴展窄光束。
在一個或多個實施例中,可以通過蝕刻光纖的端部以產(chǎn)生散射光的小形貌來產(chǎn)生擴散器;在另一變型中,可以利用焊道或噴砂技術(shù),或者直接的砂磨/劃傷技術(shù)來創(chuàng)建散射形貌。在另一變型中,可以產(chǎn)生類似于衍射元件的工程擴散器,以保持具有期望NA的清潔光斑尺寸,該NA與使用衍射透鏡的概念相關(guān)。在其它變型中,PDLC擴散器的堆疊可以用于增加通過FSD生成的光的數(shù)值孔徑。
在AR系統(tǒng)的又一實施例中,F(xiàn)SD可以用在與上述AR系統(tǒng)(500)或AR系統(tǒng)(800)類似的系統(tǒng)中。然而,為了適應(yīng)FSD的小光斑尺寸,系統(tǒng)還包括一組PDLC擴散器,其擴展通過FSD生成的光。
轉(zhuǎn)向圖16,現(xiàn)在將描述使用該組PDLC擴散器的AR系統(tǒng)(1500)(例如,使用FSD的AR系統(tǒng)(800))的示例實施例。AR系統(tǒng)的該特定實施例包括上述可變平面聚焦系統(tǒng)(例如,AR系統(tǒng)(800))的所有組件:圖像生成處理器(1502)(例如,包括附加組件:GPU(1524)、存儲器(1522)、CPU(1526)等)、一個或多個VFE(1510)、多個透鏡/光學(xué)元件和鏡(1506)、彎月透鏡或目鏡(1508)、以及眼睛跟蹤子系統(tǒng)(1514)。該系統(tǒng)還包括FSD(1504),并且該系統(tǒng)還包括堆疊的PDLC擴散器布置(1520)。盡管未示出,但FSD(1504)還可以包括標(biāo)準(zhǔn)FSD電路(未示出)和與圖像生成處理器(1502)通信的其它電路,類似于圖15所示的。
堆疊的PDLC擴散器(1520)包括一層或多層PDLC擴散器。PDLC擴散器(1520)的堆疊中的每個PDLC擴散器被配置為擴散從VFE(1510)生成的聚焦光并增加所產(chǎn)生的光束的數(shù)值孔徑。然而,可能難以預(yù)測VFE(1520)可在何處聚焦束。因此,不是使用單個PDLC擴散器,而是系統(tǒng)包括一組堆疊的PDLC擴散器(1520),以在VFE可能聚焦的范圍內(nèi)擴展圖像。應(yīng)當(dāng)理解,PDLC擴散器(1520)的堆疊可以動態(tài)地開啟和關(guān)閉,使得在任何給定時間點(例如,每幀)僅開啟PDLC的堆疊中的一層。AR系統(tǒng)(1500)的其余組件的功能類似于上述關(guān)于先前描述的系統(tǒng)所描述的組件,并且為了簡潔的目的將不再描述。
更具體地,現(xiàn)在參考圖17,具有小NA的光束(1602)由FSD(1504)輸出,并且由VFE(1510)根據(jù)需要進行聚焦。聚焦的光撞擊如圖17所示的特定PDLC擴散層(1520)(在所示出的實施例中,光撞擊第五PDLC層),然后其用作擴展器(例如,EPE)以增加聚焦的光束的數(shù)值孔徑。然后,聚焦和擴展的光束穿過一組光學(xué)透鏡/鏡(1506),以在期望的焦平面上生成圖像。每個PDLC層具有擴散模式和透明模式,其可以通過向特定PDLC層施加電壓來調(diào)制。在一個或多個實施例中,僅單個PDLC層每幀處于擴散模式,而其余層處于透明模式。其它實施例可以同時(例如,每幀)激活兩個或多個PDLC層。
如上的情況,堆疊的PDLC層的數(shù)量對應(yīng)于期望的深度平面的數(shù)量(例如,如圖17所示的六個)。光學(xué)系統(tǒng)的其余部分(透鏡、分束器等)以類似于上述的其它系統(tǒng)(例如,AR系統(tǒng)(800))的方式工作,為了簡潔的目的將不再描述。
在一個實施例中,AR系統(tǒng)(1500)可以作為類似于AR系統(tǒng)(500)的多平面聚焦系統(tǒng),使得VFE產(chǎn)生固定的深度平面,每個深度平面通過相應(yīng)的PDLC層適當(dāng)?shù)財U展。這需要被配置為以高幀速率(例如,類似于圖1的360Hz DLP)生成圖像信息的FSD以及能夠快速切換焦點以使得快速連續(xù)地產(chǎn)生不同焦平面的VFE(例如,類似于AR系統(tǒng)(500)的可變形鏡膜VFE)。假設(shè)滿足上述兩個要求,那么該系統(tǒng)可以用作多平面聚焦系統(tǒng),使得生成深度平面1,隨后是深度平面2,之后是深度平面3,等等。當(dāng)然,這也假設(shè)PDLC堆疊能夠快速地切換各種層的開啟和關(guān)閉以跟上快速的VFE。與AR系統(tǒng)(500)中的情況一樣,固定深度平面被快速產(chǎn)生,使得用戶將其感知為同時生成的多個焦平面。
然而,回來參考圖16,在另一實施例中,系統(tǒng)可以使用眼睛跟蹤子系統(tǒng)(1514)來確定用戶的焦點,并且僅開啟與用戶的焦點一致的PDLC層。因此,諸如此的系統(tǒng)可以用作可變平面聚焦系統(tǒng),類似于上述AR系統(tǒng)(800),使得在任何給定時間點僅產(chǎn)生單個深度平面。例如,假設(shè)眼睛跟蹤子系統(tǒng)(1514)確定用戶的眼睛聚焦在光學(xué)無窮遠處,則VFE(1510)可以相應(yīng)地聚焦由FSD生成的圖像光束。
然后,該聚焦的光束撞擊堆疊的PDLC(1520)的特定層以產(chǎn)生擴展的光束,然后其在到達用戶的眼睛之前穿過其余光學(xué)件。因此,當(dāng)以可變聚焦平面方式操作時,眼睛跟蹤子系統(tǒng)用于確定應(yīng)開啟PDLC層的哪一層,以相應(yīng)地擴展來自VFE的聚焦光束。
在所描述的所有各種AR系統(tǒng)中,顯然的是,VFE的速度和功能與生成一個或多個深度平面的效率直接相關(guān),使得用戶可以感知3D中的虛擬對象。盡管在AR系統(tǒng)(500)中使用的VFE(例如,可變形鏡膜VFE)是快速的并且能夠以快速的速度改變聚焦平面,但是如上所述它非常薄且脆,因此當(dāng)用在可穿戴版本的AR系統(tǒng)中時具有挑戰(zhàn)性。在AR系統(tǒng)(800)中使用的VFE雖然不太脆,但不能像膜透鏡VFE一樣快速改變焦點,因此導(dǎo)致生成單個深度平面而不是六個深度平面,并且需要使用眼動跟蹤系統(tǒng)。
此外,采用當(dāng)前VFE,通常存在在VFE改變焦點時導(dǎo)致滯后的穩(wěn)定時間。這可能部分是因為VFE傾向于本質(zhì)上是彈性的,并且當(dāng)以快速的速度改變焦點時,在空氣/自然環(huán)境的存在下可能自然地移動或搖動(例如,1毫秒的穩(wěn)定時間)。該穩(wěn)定時間可以對VFE的速度和效率具有直接影響。因此,能夠快速變化但不過度脆弱的VFE在AR系統(tǒng)中是有用的。
為此,可以產(chǎn)生由壓電材料驅(qū)動的機械潤濕透鏡VFE,以減少穩(wěn)定時間并提高VFE的效率。參考圖18,機械潤濕透鏡VFE(1700)包括密封的透鏡室(1702)、包含不同折射率n1和n2的兩種不混溶液體(1704)和(1706)、第一壓電環(huán)(1708)和第二壓電環(huán)(1710)。
密封的透鏡室(1702)保持不混溶液體(1704)和(1706)以及壓電環(huán)(1708)和(1710)。在一個或多個實施例中,密封的透鏡室(1702)沒有任何空氣,使得機械潤濕透鏡(1700)受到外部環(huán)境的影響最小。不混溶液體(1704)和(1706)可以基于它們的不混溶性和它們各自的折射率n1和n2來選擇。所選擇的液體的類型可以基于VFE(1700)的應(yīng)用而變化。
如圖18所示,液體(具有折射率n1和n2)之間的界面用作可根據(jù)需要聚焦的光學(xué)表面或光學(xué)界面(VFE)(1720)。換言之,光學(xué)界面(1720)本身用作VFE,并且可以用于通過由壓電環(huán)施加不同程度的壓力來快速地切換焦點。
如所示出的,光學(xué)表面(1720)的形狀可以通過由一對壓電環(huán)(1708)和(1710)施加壓力而變化。假定不混溶液體的體積保持恒定,當(dāng)壓電環(huán)的尺寸改變時,光學(xué)界面(1720)的形狀(例如,曲率)必然改變。改變壓電環(huán)(1708)和(1710)的尺寸改變了液體n1和n2的分布,從而改變了液體界面的曲率。因此,通過控制壓電環(huán)(1708)和(1710),可以根據(jù)需要改變光學(xué)表面(1720)的曲率。
例如,如圖18所示,在左側(cè),壓電環(huán)(1710)的尺寸大于壓電環(huán)(1708)的尺寸。因此,液體n2被向上推,在光學(xué)表面(1720)中產(chǎn)生曲率。類似地,在右側(cè),壓電環(huán)(1708)的尺寸增加,而(1710)保持較小。因此,液體n1向下推動,產(chǎn)生光學(xué)表面(1720)的相反曲率。
在又一實施例中,不是使用兩個壓電環(huán)(例如,圖18),機械潤濕透鏡VFE的另一實施例(1800)而是可以替代使用如圖19所示的單個環(huán)形彎曲器(1840)。參考圖19,不混溶液體n1和n2通過環(huán)形彎曲器(1840)類似地分離。然而,不是增加壓電環(huán)的尺寸,而是可以將環(huán)形彎曲器彎曲到各種程度以改變光學(xué)表面(1820)的曲率。例如,在左側(cè),環(huán)形彎曲器(1840)被彎曲,使得環(huán)的內(nèi)部被向下推。這導(dǎo)致液體n2在光學(xué)表面(1820)上向上推,產(chǎn)生如圖19左側(cè)所示的曲率。類似地,在右側(cè),當(dāng)環(huán)形彎曲器(1840)被彎曲,使得環(huán)的外部被向下推,液體n1在光學(xué)表面上向下推,產(chǎn)生如圖19右側(cè)所示的不同曲率??梢灶A(yù)期,機械潤濕透鏡VFE(1700或1800)可以用在上述任何AR系統(tǒng)中,而不是標(biāo)準(zhǔn)VFE(例如,AR系統(tǒng)(500)、AR系統(tǒng)(800)、混合系統(tǒng)(1200)或AR系統(tǒng)(1500))。
在前述說明書中,已經(jīng)參照本發(fā)明的具體實施例描述了本發(fā)明。然而,將顯而易見的是,在不脫離本發(fā)明的更廣泛的精神和范圍的情況下可以對其進行各種修改和改變。例如,參考過程動作的特定順序來描述上述過程流。然而,在不影響本發(fā)明的范圍或操作的情況下可以改變許多所描述的過程動作的順序。因此,說明書和附圖被認(rèn)為是說明性的而不是限制性意義。
在此描述了本發(fā)明的各種示例性實施例。在非限制性的意義上參考這些示例。它們被提供是為了示出本發(fā)明的更廣泛的應(yīng)用方面。在不脫離本發(fā)明的實際精神和范圍的情況下,可對所描述的本發(fā)明進行各種改變并可用等同物來替換。此外,可以進行很多修改以適應(yīng)針對本發(fā)明的目的、精神或范圍的特定情況、材料、物質(zhì)的組合物、過程、過程動作或步驟。進一步地,如本領(lǐng)域的技術(shù)人員可以理解的,在不脫離本發(fā)明的范圍和精神的情況下,在此描述和示出的每個單獨的變形具有獨立的組件和特征,其可容易地與其他若干實施例的任意一個的特征分離或組合。所有這些修改意在處于與本公開相關(guān)的權(quán)利要求的范圍之內(nèi)。
本發(fā)明包括可使用主體裝置執(zhí)行的方法。該方法可包括提供這種合適的裝置的動作。這種提供可由終端用戶執(zhí)行。換言之,“提供”動作僅需要終端用戶的獲得、訪問、處理、定位、設(shè)置、激活、通電或其它動作,以在該方法中提供必要的裝置。在此所述的方法可按邏輯上可能的所述事件的任何順序以及以事件的所述順序來執(zhí)行。
以上已經(jīng)描述了本發(fā)明的示例性方面以及關(guān)于材料選擇和制造的細(xì)節(jié)。對于本發(fā)明的其它細(xì)節(jié),可結(jié)合以上參考的專利和出版物以及本領(lǐng)域的技術(shù)人員通常知道或理解的來理解。就通常或邏輯上采用的附加動作而言,關(guān)于本發(fā)明的基于方法的方面同樣成立。
此外,雖然已經(jīng)參考可選地包括各種特征的若干示例描述了本發(fā)明,但是本發(fā)明并不限于被描述或表示為針對本發(fā)明的每個變形所預(yù)期的。在不脫離本發(fā)明的實際精神和范圍的情況下,可以對所描述的本發(fā)明進行各種變化,并且可用等同物(無論是本文所陳述的還是為了簡潔的目的而未被包括的)來代替。此外,如果提供值的范圍,則應(yīng)當(dāng)理解,在該范圍的上限和下限之間的每個中間值和或者在該陳述的范圍中的任何其它陳述的或中間值被包括在本發(fā)明之內(nèi)。
此外,可預(yù)期的是,所描述的發(fā)明變形的任何可選特征可獨立或結(jié)合在此描述的任何一個或多個特征來陳述和要求權(quán)利。提及單數(shù)項,包括存在多個相同項的可能性。更具體地,如在此和在相關(guān)的權(quán)利要求中所使用的,除非另有具體說明,單數(shù)形式“一”、“一個”、“所述”和“該”包括復(fù)數(shù)指代。換言之,在以上描述以及與本公開相關(guān)的權(quán)利要求中,冠詞的使用允許目標(biāo)項的“至少一個”。還需要注意的是,可起草這種權(quán)利要求以排除任何可選要素。因此,該聲明意在結(jié)合權(quán)利要求要素的表述而用作如“單獨”、“僅”等這種排他性術(shù)語的的使用或者“否定”限制的使用的先行基礎(chǔ)。
在不使用這種排他性術(shù)語的情況下,在與本公開相關(guān)的權(quán)利要求中的術(shù)語“包括”應(yīng)允許包括任何附加要素,而不考慮給定數(shù)量的要素是否列舉在這種權(quán)利要求中,或者特征的添加是否被視為變換在權(quán)利要求中所陳述的要素的性質(zhì)。除了在此具體定義之外,在此所使用的全部科技術(shù)語應(yīng)在維持權(quán)利要求有效的同時被提供盡可能寬的通常理解的含義。
本發(fā)明的寬度并不限于所提供的示例和/或本說明書,而僅由與本公開相關(guān)的權(quán)利要求語言的范圍限定。
所示實施例的上述描述并不旨在窮舉或?qū)嵤├拗频剿_的精確形式。盡管本文中為了說明的目的描述了具體實施例和示例,但是如相關(guān)領(lǐng)域的技術(shù)人員將認(rèn)識到的,可以進行各種等同的修改而不脫離本公開的精神和范圍。本文提供的各種實施例的教導(dǎo)可以應(yīng)用于實現(xiàn)虛擬或AR或混合系統(tǒng)和/或采用用戶接口(不一定是上面一般性描述的示例性AR系統(tǒng))的其它設(shè)備。
例如,前面的詳細(xì)描述通過使用框圖、示意圖和示例闡述了設(shè)備和/或過程的各種實施例。在這些框圖、示意圖和示例包含一個或多個功能和/或操作的范圍內(nèi),本領(lǐng)域技術(shù)人員將理解,這些框圖、流程圖或示例內(nèi)的每個功能和/或操作可以通過大范圍的硬件、軟件、固件或?qū)嶋H上其任何組合來單獨地和/或共同地實現(xiàn)。
在一個實施例中,本主題可以通過專用集成電路(ASIC)來實現(xiàn)。然而,本領(lǐng)域技術(shù)人員將認(rèn)識到,本文公開的實施例(整體或部分)可以等效地在標(biāo)準(zhǔn)集成電路中實現(xiàn),作為由一個或多個計算機執(zhí)行的一個或多個計算機程序(例如,作為在一個或多個計算機系統(tǒng)上運行的一個或多個程序),作為由一個或多個控制器(例如,微控制器)執(zhí)行的一個或多個程序,作為由一個或多個處理器(例如,微處理器)執(zhí)行的一個或多個程序,作為固件,或?qū)嶋H上其任何組合,并且根據(jù)本公開的教導(dǎo),設(shè)計電路和/或?qū)懭胗糜谲浖?或固件的代碼將在本領(lǐng)域普通技術(shù)人員的技術(shù)范圍內(nèi)。
當(dāng)邏輯被實現(xiàn)為軟件并存儲在存儲器中時,邏輯或信息可以存儲在任何計算機可讀介質(zhì)上,以供任何處理器相關(guān)的系統(tǒng)或方法使用或與任何處理器相關(guān)的系統(tǒng)或方法結(jié)合來使用。在本公開的上下文中,存儲器是計算機可讀介質(zhì),其是包含或存儲計算機和/或處理器程序的電子、磁、光或其它物理設(shè)備或裝置。邏輯和/或信息可以體現(xiàn)在任何計算機可讀介質(zhì)中,以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備使用或與其結(jié)合來使用,指令執(zhí)行系統(tǒng)、裝置或設(shè)備諸如基于計算機的系統(tǒng)、包含處理器的系統(tǒng)或其他系統(tǒng),其能夠從指令執(zhí)行系統(tǒng)、裝置或設(shè)備提取指令并執(zhí)行與邏輯和/或信息相關(guān)聯(lián)的指令。
在本說明書的上下文中,“計算機可讀介質(zhì)”可以是可以存儲與邏輯和/或信息相關(guān)聯(lián)的程序以供指令執(zhí)行系統(tǒng)、裝置和/或設(shè)備使用或與其結(jié)合來使用的任何元件。計算機可讀介質(zhì)可以是例如但不限于電子、磁、光、電磁、紅外或半導(dǎo)體系統(tǒng)、裝置或設(shè)備。計算機可讀介質(zhì)的更具體的示例(非窮盡列舉)將包括以下:便攜式計算機磁盤(磁的、緊湊型閃存卡、安全數(shù)字等)、隨機存取存儲器(RAM)、只讀存儲器(ROM)、可擦除可編程只讀存儲器(EPROM、EEPROM或閃存)、便攜式光盤只讀存儲器(CDROM)、數(shù)字磁帶和其它非臨時性介質(zhì)。
本文所述的許多方法可以用變化的形式來執(zhí)行。例如,許多方法可以包括附加動作,省略一些動作,和/或以與所示出或所描述的順序不同的順序來執(zhí)行動作。
可以組合上述各種實施例以提供另外的實施例。在不與本文的具體教導(dǎo)和定義不一致的范圍內(nèi),在本說明書引用的和/或列在申請數(shù)據(jù)表中的所有美國專利、美國專利申請公開、美國專利申請、外國專利、外國專利申請和非專利出版物。如果需要,可以修改實施例的方面以使用各種專利、申請和出版物的系統(tǒng)、電路和概念來提供另外的實施例。
根據(jù)上述詳細(xì)描述,可以對這些實施例進行這些和其它改變。一般來說,在下面的權(quán)利要求中,所使用的術(shù)語不應(yīng)被解釋為將權(quán)利要求限制于說明書和權(quán)利要求中公開的具體實施例,而是應(yīng)被解釋為包括所有可能的實施例以及與要求的權(quán)利要求等同的全部范圍。因此,權(quán)利要求不受本公開限制。
此外,可以組合上述各種實施例以提供另外的實施例。如果需要,可以修改實施例的方面以使用各種專利、申請和出版物的概念來以提供另外的實施例。
根據(jù)上述詳細(xì)描述,可以對這些實施例進行這些和其他改變。一般來說,在下面的權(quán)利要求中,所使用的術(shù)語不應(yīng)被解釋為將權(quán)利要求限制于說明書和權(quán)利要求中公開的具體實施例,而是應(yīng)被解釋為包括所有可能的實施例以及與要求的權(quán)利要求等同的全部范圍。因此,權(quán)利要求不受本公開限制。