專(zhuān)利名稱(chēng):為擴(kuò)展3d渲染圖形管道實(shí)時(shí)生成視頻全息圖的方法
為擴(kuò)展3D渲染圖形管道實(shí)時(shí)生成視頻全息圖的方法
技術(shù)領(lǐng)域:
本發(fā)明涉及一種為擴(kuò)展3D渲染圖形管道由具有深度信息的三維圖像 數(shù)據(jù)實(shí)時(shí)生成視頻全息圖的方法。
對(duì)于渲染過(guò)程,本發(fā)明涉及3D渲染管道或圖形管道,其包含從場(chǎng)景的 矢量、數(shù)學(xué)描述到監(jiān)視器屏幕上像素化圖像的算法。三維圖像數(shù)據(jù)包含深 度信息,通常還包含關(guān)于材料和表面性質(zhì)的附加信息。例如,在3D渲染圖 形管道中完成屏幕坐標(biāo)向裝置坐標(biāo)的轉(zhuǎn)換、材質(zhì)貼圖、裁切和圖形保真。 表示三維場(chǎng)景的二維投射、并且存儲(chǔ)在圖形適配器的幀緩沖器中的像素化 圖像包含用于監(jiān)視器屏幕、例如LC顯示器的可控像素的像素值。
就全息數(shù)據(jù)的生成而言,本發(fā)明涉及在全息顯示裝置的光調(diào)制器裝置 上為由物點(diǎn)組成的三維場(chǎng)景的顯示生成全息值的方法和裝置。
對(duì)于視頻全息圖,本發(fā)明還涉及全息管道。復(fù)全息值以用于全息顯示 裝置的光調(diào)制器的像素值的形式在該管道中生成。
這樣的全息顯示裝置實(shí)質(zhì)上基于這樣的原理借助于至少一個(gè)光調(diào)制 器裝置,亞全息圖由將要重建的場(chǎng)景的每個(gè)物點(diǎn)確定,并且整個(gè)全息圖由 亞全息圖的疊加而形成,其中,在該光調(diào)制器裝置上,被分為物點(diǎn)的場(chǎng)景 編碼成整個(gè)全息圖,并且場(chǎng)景可以作為重建從位于視頻全息圖重建的一個(gè) 周期性區(qū)間內(nèi)的可見(jiàn)區(qū)看到。通常,該原理主要用于重建將由物體發(fā)出的 進(jìn)入一個(gè)或多個(gè)可見(jiàn)區(qū)的波陣面。
具體地,這樣的裝置基于這樣的原理重建單個(gè)物點(diǎn)僅需要作為在光
調(diào)制器裝置上編碼的整個(gè)全息圖的子集的亞全息圖。全息顯示裝置包含至 少一個(gè)屏幕裝置(screen means)。屏幕裝置是編碼場(chǎng)景的全息圖的光調(diào)
制器本身,或者是在光調(diào)制器上編碼的場(chǎng)景的全息圖或波陣面在其上成像 的光學(xué)元件,如透鏡或反射鏡。
6在可見(jiàn)區(qū)中進(jìn)行場(chǎng)景重建的屏幕裝置和相應(yīng)原理的定義在由申請(qǐng)人
提交的其它專(zhuān)利文件中進(jìn)行了描述。在WO 2004/044659和WO 2006/027228號(hào)專(zhuān)利文件中,光調(diào)制器本身形成屏幕裝置。在WO 2006A19760號(hào),名稱(chēng)為"用于場(chǎng)景的全息重建的投射裝置和方法 (Projection device and method for holographic reconstruction of scenes)"的
專(zhuān)利文件中,屏幕裝置是在光調(diào)制器上編碼的全息圖在其上成像的光學(xué)元 件。
在DE 10 2006 004 300.6號(hào)"用于場(chǎng)景的全息重建的投射裝置 (Projection device for the holographic reconstruction of scenes)"的專(zhuān)禾!j文 件中,屏幕裝置是在光調(diào)制器上編碼的場(chǎng)景的波陣面在其上成像的光學(xué)元件。
由申請(qǐng)人提交的WO 2006/066919號(hào)專(zhuān)利文件描述了用于計(jì)算視頻全 息圖的方法。
"可見(jiàn)區(qū)"是觀(guān)察者通過(guò)其可以以足夠可見(jiàn)度觀(guān)看到整個(gè)場(chǎng)景的重建 的有限區(qū)域。在可見(jiàn)區(qū)內(nèi),波場(chǎng)干涉使得已重建的場(chǎng)景對(duì)于觀(guān)察者可見(jiàn)。 可見(jiàn)區(qū)位于或靠近觀(guān)察者的眼睛??梢?jiàn)區(qū)可以在X、 Y和Z方向移動(dòng),借助 公知的位置探測(cè)和追蹤系統(tǒng)將可見(jiàn)區(qū)追蹤到實(shí)際的觀(guān)察者位置??梢允褂?兩個(gè)可見(jiàn)區(qū),每只眼睛一個(gè)。 一般說(shuō)來(lái)也可以有更多復(fù)雜排列的可見(jiàn)區(qū)。 還可以將視頻全息圖編碼成使得對(duì)觀(guān)察者而言,單個(gè)物體或整個(gè)場(chǎng)景看起 來(lái)位于光調(diào)制器的后方。
在本申請(qǐng)文件中,術(shù)語(yǔ)"光調(diào)制器裝置"或者"SLM"指通過(guò)轉(zhuǎn)換 (switching)、選通(gating)或調(diào)制由一個(gè)或多個(gè)獨(dú)立光源發(fā)出的光束 的方式來(lái)控制光的強(qiáng)度、色彩和/或相位的裝置。全息顯示裝置典型地包含 通過(guò)調(diào)節(jié)穿過(guò)顯示面板的光的振幅和/或相位重建物點(diǎn)的可控像素矩陣。光 調(diào)制器裝置包含這樣的矩陣。光調(diào)制器裝置可以例如是聲光調(diào)制器 (acousto-optic modulator) AOM或連續(xù)型調(diào)制器。通過(guò)振幅調(diào)制的方式進(jìn) 行全息圖重建的一個(gè)實(shí)施例可以利用液晶顯示器(LCD)。本發(fā)明還涉及 用于將充分相干光調(diào)制成光波陣面或調(diào)制成光波輪廓的另外的可控裝置。
7術(shù)語(yǔ)"像素"指光調(diào)制器的可控全息像素,其表示全息點(diǎn)的離散值并 且被離散地尋址和控制。每個(gè)像素表示全息圖的全息點(diǎn)。就LC顯示器來(lái)說(shuō),
像素是可離散控制的顯示器像素。就DMD (數(shù)字微鏡裝置(Digital Micro-mirror Device))來(lái)說(shuō),例如DLP (數(shù)字光處理器(Digital Light Processor)),像素是可離散控制的微鏡或這種微鏡的小組群。就連續(xù)的 空間光調(diào)制器裝置來(lái)說(shuō),像素是表示全息點(diǎn)的虛構(gòu)區(qū)。就彩色顯示來(lái)說(shuō), 典型地將像素再分為多個(gè)表示基色(primary colours)的子像素。
術(shù)語(yǔ)"變換"應(yīng)理解為包括任何與變換相同或近似的數(shù)學(xué)或者計(jì)算技 術(shù)。數(shù)學(xué)意義上的變換僅僅是物理過(guò)程的逼近,其可以通過(guò)麥克斯韋 (Maxwellian)波動(dòng)方程更加精確地描述。像菲涅耳(Fresnel)變換或者 以傅立葉(Fourier)變換著稱(chēng)的變換的特殊群的變換描述二階逼近。變換 通常用代數(shù)或者非微分方程表示,因此可以應(yīng)用公知的計(jì)算工具進(jìn)行有效 且高性能地處理。此外,可以利用光學(xué)系統(tǒng)對(duì)它們進(jìn)行精密地模仿。
由申請(qǐng)人提交的WO 2006/066919號(hào)專(zhuān)利文件描述了一種用于計(jì)算視 頻全息圖的方法??傮w上包括以下步驟將場(chǎng)景切分為平行于光調(diào)制器平 面的剖面,將觀(guān)察者平面內(nèi)的所有剖面變換到可見(jiàn)區(qū),并將其相加。而后, 將相加的結(jié)果逆變換到光調(diào)制器所在的全息平面,從而確定視頻全息圖的 復(fù)全息值。
DE 10 2006 025 096號(hào)專(zhuān)利文件描述了一種用于從具有深度信息的圖 像數(shù)據(jù)實(shí)時(shí)渲染并生成視頻全息圖的方法,其中,3D渲染圖形管道在第一 模式中為監(jiān)視器的可控像素生成像素值。其特征在于,以可變換的方式擴(kuò) 展管道,使得在第二模式中,復(fù)全息值作為用于至少一個(gè)全息管道中的空 間光調(diào)制器SLM的像素值生成,從而同時(shí)或交替擴(kuò)展到普通的圖形顯示, 為了調(diào)制入射波場(chǎng)使得通過(guò)空間中的干涉重建三維場(chǎng)景,用全息值控制空 間光調(diào)制器。
DE 10 2006 042 324號(hào)專(zhuān)利文件描述了一種實(shí)時(shí)生成視頻全息圖的方 法。該方法利用這樣的原理單一物點(diǎn)的重建僅需要亞全息圖作為在SLM 上編碼的整個(gè)全息圖的子集。其特征在于,對(duì)于每個(gè)物點(diǎn),亞全息圖的貢獻(xiàn)可以從查找表中尋回,并且為了重建整個(gè)場(chǎng)景,累積所述的亞全息圖以 形成整個(gè)全息圖。
所描述的方法允許在第一步生成全息值。然而,必須包括對(duì)3D渲染圖
形管道的進(jìn)一步考慮。在兩個(gè)存儲(chǔ)器部分中,即在幀緩沖器(frame buffer) 和Z緩沖器中提供描述三維場(chǎng)景轉(zhuǎn)換成三維場(chǎng)景的二維投射形式的像素化 圖像數(shù)據(jù)的3D渲染圖形管道的結(jié)果幀緩沖器包含色彩值或色彩信息,即 觀(guān)察者所看到的場(chǎng)景的色彩圖(colourmap) 。 Z緩沖器包含從觀(guān)察者位置 看到的正?;@示的場(chǎng)景的深度圖或深度信息。這些數(shù)據(jù)作為全息管道的 輸入數(shù)據(jù),依次排列,并且生成光調(diào)制器的像素值形式的復(fù)全息值。僅當(dāng) 3D渲染圖形管道的結(jié)果完全有效時(shí),即當(dāng)將所有像素化圖像數(shù)據(jù)寫(xiě)入幀緩 沖器和Z緩沖器中時(shí),才能執(zhí)行全息變換。整個(gè)三維場(chǎng)景必須由3D渲染圖 形管道渲染并且像素化圖像數(shù)據(jù)必須在全息變換成為可能之前完全生成。 所述管道相繼地、即一個(gè)接一個(gè)地執(zhí)行,導(dǎo)致不利的長(zhǎng)計(jì)算時(shí)間。長(zhǎng)計(jì)算 時(shí)間的結(jié)果是,視頻序列例如不會(huì)具有所需要的刷新頻率。
然而,在傳統(tǒng)的視頻技術(shù)中,當(dāng)顯示視頻全息圖時(shí),高刷新率是所需 要的并且是必不可少的。此外,由于大量所需的計(jì)算步驟,視頻全息圖的 生成導(dǎo)致非常大的計(jì)算負(fù)荷,并且需要高性能和高價(jià)格的計(jì)算單元。
本發(fā)明的目的是克服公知技術(shù)領(lǐng)域的缺點(diǎn)并且提供一種避免3D渲染 圖形管道和全息管道一個(gè)接一個(gè)執(zhí)行的方法。所需要的計(jì)算時(shí)間將大幅減 少。因此,用于計(jì)算的成本和技術(shù)努力也將減少。此外,為了實(shí)現(xiàn)該方法 并且因此使實(shí)時(shí)生成視頻全息圖成為可能,如今市面上銷(xiāo)售的圖形卡或3D
管道的構(gòu)架將通過(guò)附加的硬件和軟件模塊擴(kuò)展。
該方法用來(lái)為擴(kuò)展3D渲染圖形管道實(shí)時(shí)生成視頻全息圖,描述了三維 場(chǎng)景向三維場(chǎng)景的二維投射的形式的像素化圖像數(shù)據(jù)的轉(zhuǎn)換。
此后,全息管道用于生成以具有至少一個(gè)光調(diào)制器裝置的全息顯示裝 置的光調(diào)制器的像素值為形式的復(fù)全息值,在該光調(diào)制器裝置上,被分成 物點(diǎn)的場(chǎng)景編碼成整個(gè)全息圖并且場(chǎng)景可以作為重建從位于視頻全息圖 的重建的一個(gè)周期性區(qū)間內(nèi)的可見(jiàn)區(qū)看到,其中可見(jiàn)區(qū)連同將要重建的場(chǎng)景的每個(gè)物點(diǎn)一起確定亞全息圖,并且整個(gè)全息圖通過(guò)亞全息圖的疊加而 形成,3D渲染圖形管道將由具有深度信息的圖像數(shù)據(jù)表示的場(chǎng)景配構(gòu)成物 點(diǎn)(OP),然后為物點(diǎn)確定并且至少提供色彩和深度信息。這樣的具有光 調(diào)制器裝置的全息顯示裝置基于這樣的原理用場(chǎng)景的物點(diǎn)信息調(diào)制的波 陣面在至少一個(gè)可見(jiàn)區(qū)中疊加??梢?jiàn)區(qū)的定義已經(jīng)由上述內(nèi)容給出。
這樣的全息顯示裝置以及本發(fā)明基于這樣的原理場(chǎng)景的單個(gè)物點(diǎn)的 重建僅需要作為在光調(diào)制器裝置上編碼的整個(gè)全息圖的子集的亞全息圖。
每個(gè)單一物點(diǎn)由一個(gè)亞全息圖創(chuàng)造,其位置依賴(lài)于物點(diǎn)的位置,其大 小依賴(lài)于觀(guān)察者位置。下面將光調(diào)制器裝置上的亞全息圖區(qū)稱(chēng)為調(diào)制區(qū)。
調(diào)制區(qū)是重建物點(diǎn)所需要的光調(diào)制器裝置的子區(qū)域(sub-region)。同時(shí), 為了重建物點(diǎn),調(diào)制區(qū)確定光調(diào)制器上的哪些像素必須尋址。如果物點(diǎn)是 固定在空間中的物點(diǎn),則調(diào)制區(qū)將保持在固定位置。這意味著將要重建的 物點(diǎn)依賴(lài)于觀(guān)察者位置而改變位置。依賴(lài)于觀(guān)察者位置的調(diào)制區(qū)的改變?cè)?許物點(diǎn)在固定位置編碼,即,其在空間中的位置不依賴(lài)于觀(guān)察者位置而改 變。就本發(fā)明而言,可以類(lèi)似地利用這些原理。根據(jù)最簡(jiǎn)單的實(shí)施例,調(diào) 制區(qū)的中心位于貫穿將要重建的物點(diǎn)和可見(jiàn)區(qū)的中心的直線(xiàn)上。在最簡(jiǎn)單 的實(shí)施例中,基于交線(xiàn)定理確定調(diào)制區(qū)的大小,其中,可見(jiàn)區(qū)通過(guò)將要重 建到光調(diào)制器裝置的物點(diǎn)追溯。
同樣,如果較好地利用了亞全息圖,則表示光調(diào)制器的最小可控單元 的像素不僅包含單一亞全息圖的信息,而且,由于疊加的結(jié)果,還包含多 個(gè)亞全息圖的信息。
在兩個(gè)存儲(chǔ)器部分中,即在幀緩沖器(frame buffer)和Z緩沖器中提 供描述三維場(chǎng)景轉(zhuǎn)換成三維場(chǎng)景的二維投射形式的像素化圖像數(shù)據(jù)的3D 渲染圖形管道的結(jié)果。
本發(fā)明基于這樣的思想對(duì)于從觀(guān)察者位置可見(jiàn)以及3D渲染圖形管道 的像素化處理為其完成從而至少提供各自的色彩和深度信息的每個(gè)物點(diǎn) 來(lái)說(shuō),立即確定用于該物點(diǎn)的亞全息圖并將其增加到整個(gè)全息圖。因此全 息值立即在全息管道中用亞全息圖或者整個(gè)全息圖為3D渲染圖形管道己經(jīng)完全渲染的每個(gè)物點(diǎn)生成。按照本發(fā)明的思想,必須注意,場(chǎng)景將處在 未被3D渲染圖形管道完全處理的點(diǎn)上。物點(diǎn)隨后的改變,尤其關(guān)于可見(jiàn)度、 色彩和亮度的改變因此依然是可能的。物點(diǎn)可見(jiàn)度可以例如作為整個(gè)場(chǎng)景 的渲染處理的后果而改變,從而到目前為止已經(jīng)可見(jiàn)的物點(diǎn)現(xiàn)在被更靠近 觀(guān)察者的物點(diǎn)覆蓋。
本發(fā)明進(jìn)一步基于這樣的原理還用在渲染過(guò)程中性質(zhì)己經(jīng)改變的物 點(diǎn)的貢獻(xiàn)矯正整個(gè)全息圖。
在體現(xiàn)本發(fā)明的總思想的一個(gè)實(shí)施例中,本方法包含在全息管道中對(duì) 從觀(guān)察者位置可見(jiàn)以及對(duì)深度和色彩信息最初已經(jīng)提供或更新的每個(gè)物 點(diǎn)、
- (A)將對(duì)應(yīng)于當(dāng)前或可見(jiàn)物點(diǎn)的亞全息圖以及對(duì)應(yīng)的差分亞全息圖 (SD) (SD = SHN-SHX)立即作為對(duì)應(yīng)的當(dāng)前物點(diǎn)亞全息圖以及現(xiàn)在是
廢棄的或者不再可見(jiàn)的物點(diǎn)的亞全息圖的差值進(jìn)行計(jì)算,
- (B)將差分亞全息圖加到整個(gè)全息圖(HSSLM)中,
- (C)使當(dāng)前物點(diǎn)到對(duì)應(yīng)的亞全息圖的信息鏈可以在至少一個(gè)亞全息 圖存儲(chǔ)器中讀取??梢詫喨D物理地寫(xiě)入亞全息圖存儲(chǔ)器。還可以通 過(guò)參考、索引和存儲(chǔ)器部分等使該信息鏈可以讀取。
根據(jù)需要補(bǔ)償整個(gè)全息圖。與之前的處理步驟類(lèi)似,使當(dāng)前物點(diǎn)到其 亞全息圖的信息鏈可以在亞全息圖存儲(chǔ)器中讀取。
借助等式(SD = SHN-SHX)可以找到當(dāng)前物點(diǎn)和廢棄物點(diǎn)的差分亞 全息圖作為對(duì)應(yīng)的當(dāng)前亞全息圖和廢棄的亞全息圖的差值。根據(jù)更新的深 度信息由以下確定物點(diǎn)的差分亞全息圖
a) (SD = SHN-SHX)通過(guò)更靠近觀(guān)察者的物點(diǎn)的亞全息圖與現(xiàn)在被 其它物點(diǎn)覆蓋因此不再可見(jiàn)的物點(diǎn)的亞全息圖的差值,或者,反之亦然
b) (SD = SHN-SHX)通過(guò)更遠(yuǎn)離觀(guān)察者的物點(diǎn)的亞全息圖與到目前 為止己經(jīng)可見(jiàn)的物點(diǎn)的亞全息圖的差值。
為了計(jì)算當(dāng)前物點(diǎn)和廢棄物點(diǎn)的差分亞全息圖,廢棄物點(diǎn)的亞全息圖最好從亞全息圖存儲(chǔ)器中讀取并且用來(lái)計(jì)算。當(dāng)計(jì)算差分亞全息圖時(shí),假設(shè)亞全息圖存儲(chǔ)器中所有亞全息圖在計(jì)算步驟之前用值"0"初始化。這
確保具有SD = SHN-SHX的差分亞全息圖還適用于第一次提供深度信息的物點(diǎn)。在這種情況下,廢棄物點(diǎn)的亞全息圖SHX為"0"并且因此對(duì)差值計(jì)算無(wú)影響。
因此可以看出對(duì)于所有物點(diǎn)來(lái)說(shuō),無(wú)論是否是第一次確定或者更新它們的深度信息,運(yùn)算法則都是相同的。對(duì)于物點(diǎn)相對(duì)于觀(guān)察者等的位置的情況的區(qū)分是沒(méi)有必要的。最好能在專(zhuān)用的計(jì)算單元中實(shí)施這些運(yùn)算法則,從而確保高性能計(jì)算。
最后,處理步驟基于這樣的原理快速生成用于亞全息圖的全息值。
就此而言特別優(yōu)選的方法將在實(shí)施例中指出。
現(xiàn)在將對(duì)亞全息圖存儲(chǔ)器進(jìn)行詳細(xì)說(shuō)明。作為在3D渲染圖形管道中處理的結(jié)果,三維場(chǎng)景以像素化的方式寫(xiě)入幀緩沖器和Z緩沖器中,其中m排和n列的像素化(pixelation)總體上對(duì)應(yīng)于顯示面板的分辨率。該像素化最好為亞全息圖存儲(chǔ)器所采用,從而使對(duì)應(yīng)于幀緩沖器和Z緩沖器中的各個(gè)入口的格子中的元件入口還對(duì)應(yīng)于亞全息圖。通??梢岳萌魏纹渌拇鎯?chǔ)器構(gòu)架;然而,關(guān)于物點(diǎn)的信息之后可能不得不寫(xiě)入亞全息圖存儲(chǔ)器。物點(diǎn)到其亞全息圖的這樣的信息鏈例如包含對(duì)數(shù)據(jù)、對(duì)各個(gè)存儲(chǔ)器部分等的引用。此外,可以利用輔助的、描述性數(shù)據(jù)例如大小、位置、不同的引用幀中的索引表(index lists)或者索引部分(index sections),其允許或有利于快速數(shù)據(jù)存取以及較佳的運(yùn)算法則技術(shù)。
根據(jù)DE 10 2006 042 324號(hào)專(zhuān)利文件描述的原理,最好從查找表中尋回或讀取物點(diǎn)的亞全息圖,或者根據(jù)WO 2006 066919號(hào)專(zhuān)利文件描述的已引用的方法,分析地生成物點(diǎn)的亞全息圖。最好還根據(jù)后者的方法的原理生成用于亞全息圖的查找表,或者提前創(chuàng)建。通過(guò)在允許的觀(guān)察者移動(dòng)范圍內(nèi)提前對(duì)每個(gè)可能的物點(diǎn)生成亞全息圖的各個(gè)入口創(chuàng)建查找表,從而使得這些入口可以用于讀取。實(shí)施例中將說(shuō)明另一種特別優(yōu)選的方法。為了實(shí)施本方法,由實(shí)施上述處理步驟的全息管道擴(kuò)展3D渲染圖形管道。這里
12所描述的方法的過(guò)程總的來(lái)說(shuō)并不表示全息計(jì)算所需要的計(jì)算單元(硬件)必須是物理上獨(dú)立的并且在用于3D計(jì)算的計(jì)算單元之后成直線(xiàn)設(shè)置。也可以想象為,全息計(jì)算利用新一代可編程圖形卡片在用于3D計(jì)算的計(jì)算單元(硬件)中執(zhí)行。該解決方案最好在同樣的圖形系統(tǒng)或圖形芯片上實(shí)
現(xiàn),在該圖形系統(tǒng)或圖形芯片上也運(yùn)行3D渲染圖形管道操作。然而,在附
加芯片上實(shí)施形成可能的選擇。處理單元都可以訪(fǎng)問(wèn)圖形卡的同樣的物理
內(nèi)存,從而——除了Z緩沖器、3D渲染圖形管道的色彩圖和其它數(shù)據(jù)以外——還有全息管道所需的其它數(shù)據(jù)也可以存儲(chǔ)在那里。
由于應(yīng)用了用于亞全息圖的查找表,尤其滿(mǎn)足了對(duì)實(shí)時(shí)生成全息值的要求。如果通過(guò)3D渲染圖形管道計(jì)算物點(diǎn)所需的時(shí)間大于或等于全息變換和編碼物點(diǎn)所需的計(jì)算時(shí)間,將證實(shí)全息值的生成。正如在傳統(tǒng)的視頻處理技術(shù)中,可以為計(jì)算機(jī)生成視頻全息圖的顯示提供高刷新率,還可以借助便宜且簡(jiǎn)單的計(jì)算單元實(shí)時(shí)生成。
本發(fā)明允許3D渲染圖形管道以可選擇的、非按次序的順序處理物點(diǎn)。類(lèi)似地,對(duì)最終必須為各個(gè)物點(diǎn)提供的管道的結(jié)果的順序沒(méi)有限制。因此大量物點(diǎn)可以在平行處理中同時(shí)被渲染并且提供到全息管道。關(guān)注于對(duì)于物點(diǎn)——以及最終對(duì)于整個(gè)場(chǎng)景"^是如何并且以哪種順序被渲染的方法基于公知的方法和優(yōu)化。
現(xiàn)借助優(yōu)選實(shí)施例并結(jié)合附圖詳細(xì)說(shuō)明本發(fā)明的物理形態(tài),其中
圖la表示全息顯示裝置所基于的原理,
圖lb表示用于呈現(xiàn)的點(diǎn)的差分亞全息圖,
圖lc表示用于消失的點(diǎn)的差分亞全息圖,以及
圖2表示根據(jù)本發(fā)明的方法的流程圖,并且包括根據(jù)本發(fā)明的裝置的
原理圖。
現(xiàn)借助附圖詳細(xì)說(shuō)明從亞全息圖中生成復(fù)全息值的特別優(yōu)選的方法,
其中
圖B1表示全息顯示裝置所基于的原理,以及表示物點(diǎn)的調(diào)制區(qū),圖B2a是具有包含透鏡和棱鏡的成像元件的顯示裝置的側(cè)視圖,
圖B2b表示調(diào)制區(qū)和垂直有效的棱鏡,
圖B2c表示調(diào)制區(qū)和水平有效的棱鏡,
圖B3表示根據(jù)本發(fā)明的方法的流程圖,以及
圖B4表示在全息平面后面重建物點(diǎn)的可選擇的方法。
圖la表示用于一個(gè)觀(guān)察者的全息顯示裝置(HAE)所基于的一般原理。該原理因而適用于多個(gè)觀(guān)察者。觀(guān)察者的位置由其眼睛或其瞳孔(VP)的位置來(lái)表征。該裝置包含光調(diào)制器裝置(SLM),為了簡(jiǎn)化起見(jiàn),本實(shí)施例中該光調(diào)制器裝置與屏幕裝置(B)相同;并且該裝置疊加在至少一個(gè)可見(jiàn)區(qū)(VR)內(nèi)用場(chǎng)景(3D-S)的物點(diǎn)信息調(diào)制的波陣面。將可見(jiàn)區(qū)追蹤到眼睛。場(chǎng)景(3D-S)的單一物點(diǎn)(OP)的重建僅需要一個(gè)作為在光調(diào)制器裝置(SLM)上編碼的整個(gè)全息圖(m^M)的子集的亞全息圖(SH)。調(diào)制區(qū)(MR)是光調(diào)制器(SLM)上的亞全息圖區(qū)。從該圖中可以看出,調(diào)制區(qū)(MR)僅包含光調(diào)制器裝置(SLM)的小部分。在最簡(jiǎn)單的實(shí)施例中,基于交線(xiàn)定理確定調(diào)制區(qū)(MR)的大小,通過(guò)要被重建到光調(diào)制器裝置(SLM)的物點(diǎn)(OP)追溯可見(jiàn)區(qū)(VR)。此外,重建該物點(diǎn)所需的光調(diào)制器裝置(SLM)上的這些像素的索引因此可以確定。
圖lb和圖lc表示作為本方法以下說(shuō)明的總基本原理的亞全息圖的原理?;诟鶕?jù)本發(fā)明的方法,對(duì)于從觀(guān)察者位置(VP)可見(jiàn)以及3D渲染圖形管道的像素化處理為其完成從而至少提供各自的色彩和深度信息的每個(gè)物點(diǎn)來(lái)說(shuō),立即為該物點(diǎn)確定亞全息圖,即,沒(méi)有進(jìn)一步的延遲,并將其增加到整個(gè)全息圖(HSSLM)。然而,對(duì)應(yīng)的亞全息圖(SH)的即時(shí)處理意味著例如物點(diǎn)(OP)的可見(jiàn)度可以在場(chǎng)景的渲染處理過(guò)程中改變。物點(diǎn)例如可以被更靠近觀(guān)察者的物點(diǎn)覆蓋,或者由于許多圖像影響中的一個(gè)影響再次變得不可見(jiàn),例如陰影、反射(reflections)、模糊等。
參考圖lb,為物點(diǎn)(OPX)創(chuàng)建3D渲染圖形管道,新物點(diǎn)(OPN)更靠近觀(guān)察者。 一般而言,因此出現(xiàn)在當(dāng)前己渲染場(chǎng)景中的新物點(diǎn)(OPN)與由3D渲染圖形管道提供的之前的中間結(jié)果相比,然而,如圖所示,所述新物點(diǎn)(OPN)根據(jù)觀(guān)察者的可見(jiàn)度覆蓋在中間結(jié)果中已經(jīng)可見(jiàn)的物點(diǎn)(OPX),結(jié)果最初可見(jiàn)的物點(diǎn)現(xiàn)在變得不可見(jiàn)。正如以下章節(jié)將要作的
深入說(shuō)明,有必要從形成物點(diǎn)亞全息圖的疊加的整個(gè)全息圖(HZSLM)中減去不可見(jiàn)物點(diǎn)(OPX)的廢棄亞全息圖(SHX),并增加最新可見(jiàn)物點(diǎn)(OPN)的新亞全息圖(SHN)。在這種情況下,將差分亞全息圖(SD =SHN-SHX)確定為廢棄物點(diǎn)(OPX)的亞全息圖(SHX)與新物點(diǎn)(OPN)的亞全息圖(SHN)之差,并且因此可以對(duì)其進(jìn)行計(jì)算。
參考圖lc,與之前由3D渲染圖形管道提供的中間結(jié)果相比,物點(diǎn)(OPX)在當(dāng)前已渲染的場(chǎng)景中消失,結(jié)果,如圖所示,到目前為止隱藏的物點(diǎn)(OPN)現(xiàn)在根據(jù)觀(guān)察者的可見(jiàn)度變得可見(jiàn)。在這種情況下,將差分亞全息圖(SD = SHN-SHX)確定為消失物點(diǎn)(OPX)的亞全息圖(SHX)與最新可見(jiàn)的物點(diǎn)(OPN)的亞全息圖(SHN)之差,并且因此可以對(duì)其進(jìn)行計(jì)算。與圖lb所描述的內(nèi)容類(lèi)似,相應(yīng)地增加整個(gè)全息圖(HSsuj 。下面在不參考某一附圖的情況下對(duì)不同色彩和/或強(qiáng)度的固定物點(diǎn)的第三種情況進(jìn)行說(shuō)明。這里的差分亞全息圖描述對(duì)應(yīng)的色彩或強(qiáng)度信息。然而,借助描述性數(shù)據(jù),而不是亞全息圖,通常足以具體說(shuō)明這些改變。
圖2表示生成整個(gè)全息圖(HSslm)的方法,并且表示為了由具有深度信息的圖像數(shù)據(jù)為全息顯示裝置(HAE)的光調(diào)制器(SLM)生成復(fù)全息值,如何通過(guò)全息管道(HGP)擴(kuò)展3D渲染圖形管道(RGP)。因此同時(shí)概述實(shí)現(xiàn)該方法的裝置。例如,在3D渲染圖形管道(RGP)中完成屏幕坐標(biāo)到裝置坐標(biāo)的轉(zhuǎn)換、材質(zhì)貼圖、裁切和圖形保真。在兩種存儲(chǔ)器部分中提供描述三維場(chǎng)景(3D-S)轉(zhuǎn)換成場(chǎng)景的二維投射形式的像素化圖像數(shù)據(jù)的3D渲染圖形管道(RGP)的結(jié)果
-幀緩沖器(FB)包含色彩值,即,由觀(guān)察者看到的場(chǎng)景的色彩圖。
-Z緩沖器(ZB)包含從觀(guān)察者位置看到的正?;@示的場(chǎng)景的深度圖。
為了便于理解,單獨(dú)地示出圖形管道的這些存儲(chǔ)器部分并且在圖2中示例性表示。這些存儲(chǔ)器部分的數(shù)據(jù)作為全息管道(HGP)的輸入信息,依次排列,并且為整個(gè)三維場(chǎng)景生成復(fù)全息值。
根據(jù)本發(fā)明,不用等到使整個(gè)場(chǎng)景的全部Z圖和色彩圖可用,但至少 使由3D管道處理的物點(diǎn)的深度和色彩信息可用時(shí)就立即執(zhí)行物點(diǎn)的全息 計(jì)算。
基于根據(jù)本發(fā)明的方法,對(duì)于從觀(guān)察者位置(VP)可見(jiàn)以及3D渲染 圖形管道的像素化(pixelatkm)處理為其完成從而至少提供各自的色彩和 深度信息的每個(gè)物點(diǎn)來(lái)說(shuō),立即確定該物點(diǎn)(OPN)的亞全息圖(SHN), 即,沒(méi)有進(jìn)一步的延遲,并將其加到整個(gè)全息圖(HSsLM) 。 3D渲染圖形 管道(RGP)的"像素化(pixelation)"進(jìn)程組和用于全息管道(HGP) 的全息值的生成的進(jìn)程組同時(shí)執(zhí)行。
在本實(shí)施例中,如
圖1所示,用于使光波傳播進(jìn)入可見(jiàn)區(qū)(VR)的亞 全息圖(SH)從查找表(LUT)中尋回。下面將詳細(xì)說(shuō)明生成亞全息圖的 另一個(gè)特別優(yōu)選的方法。對(duì)于已經(jīng)由3D渲染圖形管道完全渲染并且為其第 一次提供或者當(dāng)前更新深度信息和色彩信息的每個(gè)物點(diǎn)(OP)來(lái)說(shuō),立即 計(jì)算該當(dāng)前物點(diǎn)(OPN)的亞全息圖(SHN)和對(duì)應(yīng)的差分亞全息圖(SD)。 正如結(jié)合圖lb和圖lc已經(jīng)說(shuō)明的那樣,具有(SD=SHN-SHX)的差分亞全 息圖(SD)確定為當(dāng)前物點(diǎn)(OPN)對(duì)應(yīng)的亞全息圖(SHN)與已經(jīng)廢棄 的物點(diǎn)(OPX)的亞全息圖(SHX)的差值。計(jì)算差值所需要的廢棄物點(diǎn) (OPX)的亞全息圖(SHX)從亞全息圖存儲(chǔ)器(SH-MEM)中讀取。物 點(diǎn)的各個(gè)亞全息圖是可疊加的并且可以復(fù)合加和以形成整個(gè)全息圖。
整個(gè)全息圖=亞全息圖的復(fù)合總和,并且
HSSLM = 2 SHi
同樣地,差分亞全息圖是可疊加的。
最后,將當(dāng)前物點(diǎn)(OPN)的經(jīng)計(jì)算的亞全息圖(SHN)寫(xiě)入亞全息 圖存儲(chǔ)器(SH-MEM)中并且使其可以用于讀取。如果由于由3D渲染圖形 管道輸出的已更新數(shù)據(jù)該物點(diǎn)(OPN)又變成廢棄的,或者如果需要整個(gè) 全息圖(Hi:化M)被矯正的其它性質(zhì)改變,將再次提供亞全息圖存儲(chǔ)器 (SH-MEM)中對(duì)應(yīng)的亞全息圖(SH)。
16已經(jīng)以物點(diǎn)的可見(jiàn)度為例子描述了整個(gè)全息圖(HSsLM)的矯正。本 方法還類(lèi)似地涉及物點(diǎn)的其它性質(zhì),即,色彩、亮度、發(fā)光強(qiáng)度。此外, 為了改善全息顯示的總體質(zhì)量,可以對(duì)整個(gè)全息圖(HS^m)進(jìn)行矯正。
在另一實(shí)施例中,還可以在已經(jīng)為所有或者幾乎所有物點(diǎn)計(jì)算對(duì)應(yīng)的 亞全息圖并且己經(jīng)存儲(chǔ)對(duì)應(yīng)的信息鏈之后,增加整個(gè)全息圖(HSSLM)。 然而,由于隨后整個(gè)全息圖的生成,超出了理論所需要的計(jì)算時(shí)間。
由于對(duì)亞全息圖利用了査找表,所以尤其滿(mǎn)足實(shí)時(shí)生成全息值的要
求。如果由3D渲染圖形管道渲染物點(diǎn)所需的時(shí)間大于或等于根據(jù)本發(fā)明的
全息變換和編碼物點(diǎn)所需要的計(jì)算時(shí)間,將證實(shí)全息值的生成。
參考圖2,為了確保對(duì)基本原理的較好理解,3D渲染圖形管道(RGP) 和全息管道(HGP)分開(kāi)表示;然而,這并不一定意味著計(jì)算裝置是空間 分隔的。本方法最好在也運(yùn)行3D渲染圖形管道操作的同一處理器或圖形芯 片上實(shí)施。就硬件和軟件而言,最好擴(kuò)展3D渲染圖形管道。然而,附加的 芯片上的全息管道的實(shí)施方式形成較佳的可能選擇。處理單元,即3D渲染 圖形管道和全息管道,可以訪(fǎng)問(wèn)圖形卡的相同物理內(nèi)存,從而——除了Z 緩沖器、3D管道的色彩圖和其它數(shù)據(jù)以外——還有其它數(shù)據(jù)也可以存儲(chǔ)在 那里或者在那里交換。例如,最好將用于亞全息圖的查找表存儲(chǔ)在這些存 儲(chǔ)器部分中。
在本發(fā)明的較佳實(shí)施例中,全息顯示裝置將它的配置數(shù)據(jù) (configuration data)提供到實(shí)施本方法的裝置。這些數(shù)據(jù)例如具體說(shuō)明 光調(diào)制器的大小、它的分辨率、像素以及,如有必要的話(huà),還有有關(guān)編碼 方法的描述性數(shù)據(jù),例如,布克哈特(Burckhardt)編碼、兩相編碼或其 它適合的編碼方法。因此可以設(shè)置全息值的生成并且使之適應(yīng)于給定的或 檢測(cè)到的全息顯示裝置。因此實(shí)施本方法的裝置不僅限于特定的全息顯示 裝置,而且可以普遍地用于較好應(yīng)用亞全息圖的基本原理的裝置。
以下借助圖B1到B4說(shuō)明生成亞全息圖的特定較佳方法。該方法基于 具有色彩和深度信息的三維場(chǎng)景(3D-S),其由多個(gè)物點(diǎn)組成。同樣,如 果較好地利用亞全息圖,表示光調(diào)制器的最小可控單元的像素不僅包含單一亞全息圖的信息,而且,由于疊加的結(jié)果,還包含多個(gè)亞全息圖的信息。
較佳的方法基于這樣的思想亞全息圖的復(fù)全息值在光調(diào)制器裝置的 調(diào)制區(qū)中從將要重建的物點(diǎn)的波陣面中計(jì)算,其中對(duì)成像元件的透射函數(shù) 或調(diào)制函數(shù)進(jìn)行計(jì)算和分析,其在調(diào)制區(qū)中模型化并且將要重建的物點(diǎn)位 于其焦點(diǎn)上。全息平面由屏幕裝置的位置確定,為了簡(jiǎn)化,以下描述中屏 幕裝置將是光調(diào)制器本身。
根據(jù)本方法的較佳實(shí)施例,成像元件包括處在全息平面內(nèi)具有焦距f 并且傾斜放置的透鏡。傾斜透鏡由相對(duì)于全息平面來(lái)說(shuō)沒(méi)有傾斜的透鏡以 及在水平方向和垂直方向都有效的棱鏡組成。嚴(yán)格來(lái)說(shuō),棱鏡不確定亞全 息圖,因?yàn)橛捎跓o(wú)焦點(diǎn)棱鏡功能,沒(méi)有物點(diǎn)被重建。然而,為了保持本發(fā) 明思想的清晰,將這樣描述,因?yàn)槔忡R還將其部分貢獻(xiàn)給調(diào)制區(qū)內(nèi)的復(fù)全 息值。以下以透鏡和棱鏡的例子詳細(xì)說(shuō)明本方法。當(dāng)然,本方法還可以獨(dú) 立地應(yīng)用于透鏡或棱鏡;在這種情況下,處理步驟或?qū)?yīng)的術(shù)語(yǔ)不再實(shí)施 或者可以忽略。為了計(jì)算亞全息圖的復(fù)值,對(duì)于場(chǎng)景的每個(gè)可見(jiàn)物點(diǎn)來(lái)說(shuō), 本方法的詳細(xì)設(shè)計(jì)包含以下步驟
A:如上所述確定調(diào)制區(qū)的大小和位置,但是,然后對(duì)該調(diào)制區(qū)給定 局部坐標(biāo)系,其中原點(diǎn)處在其中心位置,X軸表示橫坐標(biāo),y軸表示縱坐標(biāo)。 "a"是調(diào)制區(qū)的半寬,"b"是調(diào)制區(qū)的半高,這些區(qū)間邊界包括在以下 術(shù)語(yǔ)中。
B:確定全息平面內(nèi)透鏡的亞全息圖 Bl:確定透鏡的焦距f:
透鏡的焦距f最好是將要重建的物點(diǎn)距全息平面的垂線(xiàn)距離
(normal distance)。
B2:透鏡對(duì)應(yīng)的亞全息圖的復(fù)值 利用等式
<formula>formula see original document page 18</formula>
確定對(duì)應(yīng)的亞全息圖的復(fù)值,其中X是參比波長(zhǎng),f是焦距,(x,y)是對(duì)應(yīng)的坐標(biāo)對(duì)。這里的負(fù)號(hào)是由于凹透鏡的特征。凸透鏡由正 號(hào)標(biāo)識(shí)。
B3:由于x軸和y軸的對(duì)稱(chēng)性,足以在一個(gè)象限內(nèi)確定復(fù)值并且通
過(guò)利用符號(hào)規(guī)則將該復(fù)值應(yīng)用到其它象限。
C:確定全息平面內(nèi)棱鏡(P)的亞全息圖 所選擇的棱鏡貫穿橫坐標(biāo)或縱坐標(biāo),如附圖所示。
Cl:確定具有水平有效方向的棱鏡(PH)的線(xiàn)性因子Cx,線(xiàn)性
因子Cx在區(qū)間x G [-a,a]內(nèi)由以下等式描述 CX=M * (2兀眾) 其中M是棱鏡的傾角。
C2:確定具有垂直有效方向的棱鏡(PV)的線(xiàn)性因子Cy,線(xiàn)性 因子Cy在區(qū)間y e [-b,b]內(nèi)由以下等式描述
Cy = N* (2兀/X)
其中N是棱鏡的傾角。
C3:確定組合棱鏡的對(duì)應(yīng)的亞全息圖的復(fù)值
對(duì)應(yīng)的亞全息圖的復(fù)值由疊加兩個(gè)棱鏡項(xiàng)確定
ZP = eXp{i*[Cx*(X-a) + Cy*(y-b)]}
疊加的棱鏡貫穿局部坐標(biāo)系的原點(diǎn)。
C4:如果全息顯示裝置顯示出將光源進(jìn)入可見(jiàn)區(qū)成像的特征,棱 鏡項(xiàng)可以去掉。
D:調(diào)制透鏡和棱鏡的亞全息圖
為了確定組合的全息圖,將透鏡和棱鏡的復(fù)值復(fù)合相乘
Zsh = ZL * Zp
或者,象征性地,
SH = SHL * SHpE:隨機(jī)相位的應(yīng)用
為了確保可見(jiàn)區(qū)內(nèi)均勻的亮度分布,向從步驟D得到的每個(gè)經(jīng)調(diào)制的 亞全息圖分配隨機(jī)相位。通過(guò)復(fù)乘將隨機(jī)相位增加到亞全息圖
Zsh := ZSH exp (iOJ 或者,象征性地, SH := SH exp (iO0)
將隨機(jī)相位單獨(dú)地分配到每個(gè)亞全息圖。概括地,所有亞全息圖的隨 機(jī)相位最好是均勻分布的。
F:強(qiáng)度調(diào)制
向復(fù)值給出附加倍增因子,其表示強(qiáng)度或亮度 Zsh = C * ZSH 或者,象征性地, SH := C * SH;
G:如果計(jì)算整個(gè)全息圖,將對(duì)亞全息圖進(jìn)行疊加以形成整個(gè)全息圖。 在簡(jiǎn)單的實(shí)施例中,考慮到亞全息圖的位置,將亞全息圖復(fù)合地增加到整 個(gè)全息圖中。
整個(gè)全息圖=所有的亞全息圖的復(fù)合總和,并且
HDslm = S SHi
或者,象征性地,
zSLM=2:zSHi (就整個(gè)坐標(biāo)系而言)。
本方法最好僅用于可見(jiàn)物點(diǎn)。物點(diǎn)的可見(jiàn)度作為3D渲染圖形管道對(duì)場(chǎng) 景渲染處理的結(jié)果確定,并且其依賴(lài)于觀(guān)察者的位置,即眼睛瞳孔的位置, 因此,來(lái)自追蹤到瞳孔位置的可見(jiàn)區(qū)的位置。
詳細(xì)的說(shuō)明涉及最可能的解決方案的計(jì)算。如果降低的重建品質(zhì)可以 接受或者甚至是所需要的,當(dāng)然可以用更加簡(jiǎn)單的函數(shù)項(xiàng)代替上述函數(shù) 項(xiàng)。然而,可以看出為了改善重建品質(zhì),應(yīng)用了更新的處理步驟。例如可以選擇透鏡或者棱鏡以矯正光調(diào)制器裝置等的像差、公差。同樣還可以 應(yīng)用于示例性提到的用于確定調(diào)制區(qū)的方法。
從基于圖1的圖B1可以看出,對(duì)調(diào)制區(qū)(MR)給出一坐標(biāo)系統(tǒng),坐標(biāo)
系統(tǒng)的原點(diǎn)在其中心,x軸表示橫坐標(biāo),y軸表示縱坐標(biāo)。調(diào)制區(qū)(MR) 具有半寬"a"和半高"b"。
圖B2a是全息顯示裝置(HAE)的側(cè)視圖,表示本方法的一般原理。 與圖B1類(lèi)似,調(diào)制區(qū)(MR)來(lái)源于可見(jiàn)區(qū)(VR)。該區(qū)處在全息平面(HE) 內(nèi),全息平面內(nèi)設(shè)置有光調(diào)制器(SLM)。向調(diào)制區(qū)給出上述的坐標(biāo)系。 在這里由聚焦透鏡(L)和棱鏡(P)組成的成像元件(OS)位于調(diào)制區(qū) (MR)內(nèi)。該圖僅表示垂直有效的棱鏡楔(prism wedge),并且所示的 成像元件(OS)在全息平面(HE)的前方以使物體更加清楚。
圖B2b表示在調(diào)制區(qū)(MR)前方的垂直有效的棱鏡楔(PH),連同 所用的坐標(biāo)和尺寸。因此這里的棱鏡楔貫穿縱坐標(biāo)。
圖B2c類(lèi)似地表示垂直有效的棱鏡楔(PV),其貫穿橫軸。兩個(gè)棱鏡 楔如下所述疊加。
圖B3表示較佳方法的流程圖。該方法的起點(diǎn)是由多個(gè)物點(diǎn)(OP)組 成的三維場(chǎng)景(3D-S)。色彩和深度信息對(duì)物點(diǎn)(OP)來(lái)說(shuō)是可以利用 的?;谖稂c(diǎn)的深度信息、根據(jù)觀(guān)察者的位置,即觀(guān)察者眼睛瞳孔的位置 確定物點(diǎn)的可見(jiàn)度。
步驟(A)中,為每個(gè)可見(jiàn)物點(diǎn)確定全息平面(HE)內(nèi)或者光調(diào)制器 裝置上各個(gè)調(diào)制區(qū)(MR)的大小和位置。根據(jù)本發(fā)明的思想,將要重建 的物點(diǎn)(OP)理解為位于全息平面內(nèi)的成像元件的焦點(diǎn)。這里的成像元件 理解為聚焦透鏡(L)以及如圖2b和2c所示的垂直或水平有效的棱鏡(PH, PV)的組合。步驟(Bl)中,為每個(gè)可見(jiàn)物點(diǎn)確定的透鏡(L)的焦距因 此作為物點(diǎn)(OP)作為距全息平面(HE)的垂線(xiàn)距離。步驟(B2)中, 利用以下等式確定對(duì)應(yīng)的亞全息圖(SHL)的復(fù)值
ZL = eXp{-i*[(7tM)*(x2 + y2)]}
其中X是參比波長(zhǎng),f是焦距,(x, y)是對(duì)應(yīng)的局部坐標(biāo)對(duì)。對(duì)坐標(biāo)系的定義如前所述。
歩驟(C)中,確定全息平面內(nèi)棱鏡(P)的亞全息圖(SHp)。利用
等式Cx:Mf (2兀眾)確定具有水平有效方向的棱鏡(PH)的線(xiàn)性因子Cx, 其中M是棱鏡的傾角。以類(lèi)似的等式求得垂直有效棱鏡的線(xiàn)性因子Cy,但
是傾角為N。通過(guò)疊加兩個(gè)棱鏡項(xiàng)確定對(duì)應(yīng)的亞全息圖(SHp)的復(fù)值
SHP:= ZP = exp { i* [ Cx*(x-a) + Cy*(y-b)]}
如果全息顯示裝置顯示出將光源進(jìn)入可見(jiàn)區(qū)(VR)成像的特征,一 個(gè)棱鏡項(xiàng)可以去掉。
既然透鏡(L)的亞全息圖(SHL)和棱鏡(P)的亞全息圖(SHP) 是可以得到的,它們?cè)诓襟E(D)中疊加,以通過(guò)透鏡的復(fù)值和棱鏡的復(fù) 值的復(fù)合相乘而形成組合的亞全息圖(SH):
Zsh = ZL * ZP
或者,象征性地,SH = SHl*SHp。
步驟(E)中,對(duì)亞全息圖(SH)給出均勻分布的隨機(jī)相位。步驟(F) 中,執(zhí)行強(qiáng)度調(diào)制,亞全息圖(SH)與強(qiáng)度因子相乘
Zsh = C * ZSH
或者,象征性地,TH:=C*TH。
正如所需,物點(diǎn)(OP)的已組合的亞全息圖(SH)現(xiàn)在完全可以得 到。附加的處理步驟(G)中,可以增加物點(diǎn)的亞全息圖以形成整個(gè)全息 圖(HSslm)。物點(diǎn)的單個(gè)亞全息圖(SH》是可疊加的并且復(fù)合地增加, 以形成整個(gè)全息圖(KESLM)。
整個(gè)全息圖=物點(diǎn)的所有亞全息圖的復(fù)合總和
或者Zs^^i:ZsHi (就整個(gè)坐標(biāo)系而言)。
整個(gè)全息圖(HSSUV1)表示所有物點(diǎn)的全息圖。因此其表示并且重建 了整個(gè)場(chǎng)景(3D-S)。借助于本方法,可以利用目前商業(yè)化的標(biāo)準(zhǔn)硬件組件對(duì)在重建體積中 任意位置的物點(diǎn)生成用于交互式實(shí)時(shí)全息重建的亞全息圖。較佳的方法最 好用于確定亞全息圖并且用這些亞全息圖填充查找表。與根據(jù)本發(fā)明的方 法和裝置類(lèi)似,較佳的方法適用于還較好利用亞全息圖的原理的優(yōu)點(diǎn)的全
息顯示裝置。其具體地包括,正如前述那樣,在WO 2004/044659、 WO 2006/027228、 WO 2006119760和DE 10 2006 004 300中說(shuō)明的裝置。附圖標(biāo)記說(shuō)明
HAE
RGP
FB
ZB
HGP
3D-S
SLM
B
VR OP
OPn, OPn+1
OPN
OPX
SHN
SHX
SH
SHi
MR
SHn, SHn+l
SD
SH-IND LUT
全息顯示裝置
3D渲染圖形管道
3D渲染圖形管道的幀緩沖器
3D渲染圖形管道的Z緩沖器
全息管道
場(chǎng)景,由物點(diǎn)(OP)構(gòu)建 HAE的光調(diào)制器裝置 HAE的屏幕裝置 可見(jiàn)區(qū)
物點(diǎn), 一般的
物點(diǎn),尤其具有標(biāo)記索引的 新近可見(jiàn)的物點(diǎn) 廢棄的物點(diǎn) 新物點(diǎn)的亞全息圖 廢棄物點(diǎn)的亞全息圖 亞全息圖, 一般的 亞全息圖, 一般的,有索引的 調(diào)制區(qū)
亞全息圖,具有標(biāo)記索引 差分亞全息圖
亞全息圖(SH)的附加信息
整個(gè)全息圖
査找表SH-MEM 亞全息圖存儲(chǔ)器
OS 成像元件
L 透鏡
P 棱鏡
PH 具有水平有效方向的棱鏡
PV 具有垂直有效方向的棱鏡
權(quán)利要求
1.為具有至少一個(gè)光調(diào)制器裝置(SLM)的全息顯示裝置(HAE)實(shí)時(shí)生成視頻全息圖的方法,場(chǎng)景(3D-S)在所述光調(diào)制器裝置(SLM)上編碼成總?cè)D(H∑SLM),其中場(chǎng)景被分為物點(diǎn)(OP)并且可以作為重建從位于視頻全息圖的重建的一個(gè)周期性區(qū)間內(nèi)的可見(jiàn)區(qū)(VR)看到,可見(jiàn)區(qū)(VR)連同將要重建的場(chǎng)景(3D-S)的每個(gè)物點(diǎn)(OP)一起確定亞全息圖(SH),并且整個(gè)全息圖(H∑SLM)通過(guò)亞全息圖(SH)的疊加而形成,3D渲染圖形管道(RGP)將由具有深度信息的圖像數(shù)據(jù)表示的場(chǎng)景(3D-S)配構(gòu)成物點(diǎn)(OP),然后為物點(diǎn)(OP)確定并且至少提供色彩和深度信息,全息管道(HGP)為每個(gè)物點(diǎn)(OPN)計(jì)算復(fù)全息值,該物點(diǎn)(OPN)從實(shí)際的觀(guān)察者位置(VP)可見(jiàn)并且為其第一次提供或者當(dāng)前更新深度信息和色彩信息,其中-(A)立即計(jì)算亞全息圖(SHN)和對(duì)應(yīng)于可見(jiàn)物點(diǎn)(OPN)的對(duì)應(yīng)的差分亞全息圖(SD),將具有(SD=SHN-SHX)的差分亞全息圖(SD)定義為可見(jiàn)物點(diǎn)(OPN)的對(duì)應(yīng)的亞全息圖(SHN)和現(xiàn)在是廢棄的,即,不再可見(jiàn)的物點(diǎn)(OPX)的亞全息圖(SHX)的差值,-(B)將差分亞全息圖(SD)加到整個(gè)全息圖(H∑SLM),以及-(C)物點(diǎn)(OPN)以及對(duì)應(yīng)的亞全息圖(SHN)的信息鏈在至少一個(gè)亞全息圖存儲(chǔ)器(SH-MEM)中可以尋回。
2. 根據(jù)權(quán)利要求1所述的方法,其特征在于,根據(jù)以下己更新的深度 信息確定物點(diǎn)(OPN, OPX)的差分亞全息圖(SD)a) 通過(guò)更靠近觀(guān)察者位置的物點(diǎn)(OPN)的亞全息圖(SHN)與現(xiàn) 在被前者覆蓋因此不再可見(jiàn)的物點(diǎn)(OPX)的亞全息圖(SHX)的差值(SD = SHN-SHX),或者,反之亦然,b) 通過(guò)更遠(yuǎn)離觀(guān)察者位置的物點(diǎn)(OPN)的亞全息圖(SHN)與到 目前為止已經(jīng)可見(jiàn)的物點(diǎn)(OPX)的亞全息圖(SHX)的差值(SD = SHN-SHX)。
3. 根據(jù)權(quán)利要求2所述的方法,其特征在于,為了計(jì)算可見(jiàn)物點(diǎn)(OPN)和廢棄物點(diǎn)(OPX)的差分亞全息圖(SD) (SD = SHN-SHX), 廢棄物點(diǎn)(OPX)的亞全息圖從亞全息圖存儲(chǔ)器(SH-MEM)中尋回并且 用來(lái)計(jì)算。
4. 根據(jù)權(quán)利要求1所述的方法,其特征在于,物點(diǎn)(OP)和它的亞 全息圖(SH)的信息鏈通過(guò)相應(yīng)參考亞全息圖的至少一個(gè)查找表(LUT) 中的入口或者通過(guò)參考亞全息圖存儲(chǔ)器(SH-MEM)是可尋回的。
5. 根據(jù)權(quán)利要求l所述的方法,其特征在于,對(duì)于每個(gè)物點(diǎn)(OP), 對(duì)應(yīng)的亞全息圖(SH)的貢獻(xiàn)從查找表(LUT)中尋回。
6. 根據(jù)權(quán)利要求1所述的方法,其特征在于,確定物點(diǎn)的亞全息圖的 全息值,或者為己確定的體積中的每個(gè)可能的物點(diǎn)提前生成一個(gè)或多個(gè)査 找表中的亞全息圖的對(duì)應(yīng)入口,其中在計(jì)算機(jī)的輔助下執(zhí)行以下步驟-從每個(gè)斷層場(chǎng)景剖面的每個(gè)目標(biāo)數(shù)據(jù)集中,為觀(guān)察者平面計(jì)算分離 的二維波場(chǎng)分布形式的衍射圖像,該觀(guān)察者平面位于距剖面有限距離并平 行于剖面,其中為至少一個(gè)共用可見(jiàn)區(qū)計(jì)算所有剖面的波場(chǎng),-將所有剖面層的計(jì)算的分布相加,以確定相對(duì)于觀(guān)察者平面參考的 數(shù)據(jù)集中的可見(jiàn)區(qū)的總波場(chǎng),以及-將為了為場(chǎng)景的共用計(jì)算機(jī)生成的全息圖生成全息數(shù)據(jù)集的參考數(shù) 據(jù)集變換到位于距參考平面有限距離并平行于參考平面的全息平面內(nèi),其 中光調(diào)制器裝置位于全息平面內(nèi)。
7. 根據(jù)權(quán)利要求l所述的方法,其特征在于,確定物點(diǎn)的亞全息圖的 全息值,或者為已確定的空間中的每個(gè)可能的物點(diǎn)提前生成一個(gè)或多個(gè)查 找表中的亞全息圖的對(duì)應(yīng)入口,其中亞全息圖(SH)的復(fù)全息值在光調(diào)制 器裝置的調(diào)制區(qū)(MR)中從將要重建的物點(diǎn)(OP)的波陣面中確定,其 中對(duì)成像元件(OS)的透射函數(shù)或調(diào)制函數(shù)進(jìn)行計(jì)算和分析,該成像元件(OS)在調(diào)制區(qū)(MR)中模型化并且將要重建的物點(diǎn)(OP)位于其焦點(diǎn) 上。
8. 根據(jù)權(quán)利要求7所述的方法,其特征在于,成像元件(OS)包含至少一個(gè)透鏡(L)。
9. 根據(jù)權(quán)利要求8所述的方法,其特征在于,成像元件(OS)還包 含至少一個(gè)棱鏡(P)。
10. 根據(jù)權(quán)利要求7所述的方法,其特征在于,確定調(diào)制區(qū)(MR)的 位置,其中調(diào)制區(qū)(MR)的中心位于通過(guò)將要重建的物點(diǎn)(OP)和可見(jiàn) 區(qū)(VR)的中心的直線(xiàn)上。
11. 根據(jù)權(quán)利要求7所述的方法,其特征在于,調(diào)制區(qū)(MR)的大小 由追溯通過(guò)物點(diǎn)(OP)到全息平面(HE)的可見(jiàn)區(qū)(VR)確定。
12. 根據(jù)權(quán)利要求7所述的方法,其特征在于,給予物點(diǎn)的每個(gè)己調(diào) 制亞全息圖(SH) —個(gè)隨機(jī)相位,并且所有亞全息圖的隨機(jī)相位是平均分 布的。
13. 根據(jù)權(quán)利要求7所述的方法,其特征在于,考慮到亞全息圖(SH) 的位置,它們成為整個(gè)全息圖(HSSLM)的疊加計(jì)算為具有Hi:sLM^i:SHi 的亞全息圖(SH)的復(fù)合總和。
14. 根據(jù)權(quán)利要求1到13中的一項(xiàng)或多項(xiàng)權(quán)利要求所述的方法,其特 征在于,將復(fù)全息值轉(zhuǎn)換為光調(diào)制器裝置(SLM)的像素值。
15. 根據(jù)權(quán)利要求14所述的方法,其特征在于,將復(fù)全息值轉(zhuǎn)換成伯 克哈特分量或兩相分量或其它任意編碼。
16. 實(shí)施根據(jù)權(quán)利要求1到13中的一項(xiàng)或多項(xiàng)權(quán)利要求所述方法生成 視頻全息圖的計(jì)算裝置,為了擴(kuò)展3D渲染圖形管道(RGP),該3D渲染 圖形管道將由具有深度信息的圖像數(shù)據(jù)表示的場(chǎng)景(3D-S)配構(gòu)成物點(diǎn)(OP),然后為這些物點(diǎn)(OP)計(jì)算并且至少提供色彩和深度信息,為在 全息顯示裝置(HAE)的光調(diào)制器裝置(SLM)上顯示場(chǎng)景(3D-S)生成 復(fù)全息值的全息管道(HGP),至少包含-讀取物點(diǎn)(OP)的已確定的色彩值和己確定的深度值的裝置,-提供關(guān)于物點(diǎn)(OP)的色彩信息和深度信息的亞全息圖(SH)的 裝置,-計(jì)算并存儲(chǔ)整個(gè)全息圖(HSsLM)的裝置,-計(jì)算物點(diǎn)(OP)的差分亞全息圖(SD)的裝置, -用作亞全息圖存儲(chǔ)器(SH-MEM)的存儲(chǔ)裝置,其中物點(diǎn)(OP)和 對(duì)應(yīng)的亞全息圖(SH)的信息鏈可存儲(chǔ)并且可尋回。
17. 根據(jù)權(quán)利要求16所述的計(jì)算裝置,其特征在于,至少包含從幀緩 沖器(FB)中讀取物點(diǎn)(OP)的己確定色彩值并且從3D渲染圖形管道(RGP)的Z緩沖器(ZB)中讀取已確定的深度值的裝置。
18. 根據(jù)權(quán)利要求16所述的計(jì)算裝置,其特征在于,至少包含存儲(chǔ)裝 置,其中根據(jù)權(quán)利要求5對(duì)應(yīng)的亞全息圖(SH)的貢獻(xiàn)可以從至少一個(gè)査 找表(LUT)中為每個(gè)物點(diǎn)(OP)尋回。
19. 根據(jù)權(quán)利要求16所述的計(jì)算裝置,其特征在于,至少包含根據(jù)權(quán) 利要求7到11中的一項(xiàng)權(quán)利要求為每個(gè)物點(diǎn)(OP)分析地確定復(fù)全息值 的專(zhuān)用計(jì)算裝 置。
20. 根據(jù)權(quán)利要求12到16中一個(gè)或多個(gè)權(quán)利要求所述的計(jì)算裝置, 其特征在于,包含用于檢測(cè)全息顯示裝置(HAE)的配置數(shù)據(jù)的裝置。
21. 根據(jù)權(quán)利要求20所述的計(jì)算裝置,其特征在于,包含檢測(cè)全息顯 示裝置(HAE)的配置數(shù)據(jù)的裝置,至少包含光調(diào)制器裝置(SLM)的大 小和分辨率以及編碼類(lèi)型的裝置。
22. 根據(jù)權(quán)利要求18到21中的一項(xiàng)或多項(xiàng)權(quán)利要求所述的計(jì)算裝置, 其特征在于,將復(fù)全息值轉(zhuǎn)換為光調(diào)制器裝置(SLM)的像素值。
23. 根據(jù)權(quán)利要求22所述的計(jì)算裝置,其特征在于,將復(fù)全息值轉(zhuǎn)換 為布克哈特分量或兩相分量或任何其它任意合適的編碼。
24. 具有屏幕裝置(B)的全息顯示裝置,所述裝置實(shí)現(xiàn)根據(jù)權(quán)利要 求1到10中一個(gè)或多個(gè)權(quán)利要求所述的方法,其特征在于,屏幕裝置(B) 是在其上編碼場(chǎng)景(3D-S)的全息圖的光調(diào)制器(SLM)本身,或者是在 光調(diào)制器上編碼的場(chǎng)景的全息圖或波陣面到其上成像的光學(xué)元件。
25. 根據(jù)權(quán)利要求24所述的全息顯示裝置,其特征在于,光學(xué)元件是 透鏡或者反射鏡。
全文摘要
本發(fā)明涉及一種生成視頻全息圖的方法,該方法主要用于對(duì)全息顯示裝置(HAE)起作用,該全息顯示裝置具有至少一個(gè)光調(diào)制器裝置(SLM),在光調(diào)制器裝置中,將解構(gòu)為物點(diǎn)(OP)的場(chǎng)景(3D-S)編碼成完整的全息圖(H∑<sub>SLM</sub>)并且場(chǎng)景可以作為重建從可見(jiàn)區(qū)(VR)看到。3D渲染圖形管道(RGP)為場(chǎng)景(3D-S)的物點(diǎn)確定色彩和深度信息,全息管道(HGP)通過(guò)以下描述從中為深度信息和色彩信息已經(jīng)存在或者當(dāng)前更新的每個(gè)可見(jiàn)物點(diǎn)(OPN)確定復(fù)全息值,A)立即確定與該可見(jiàn)物點(diǎn)(OPN)關(guān)聯(lián)的亞全息圖(SHN)和關(guān)聯(lián)的差分亞全息圖(SD),其中差分亞全息圖確定為(SD=SHN-SHX),是可見(jiàn)物點(diǎn)(OPN)的對(duì)應(yīng)的亞全息圖(SHN)和現(xiàn)在廢棄的,即,不再可見(jiàn)的物點(diǎn)(OPX)的亞全息圖(SHX)的差值,B)將差分亞全息圖(SD)加到整個(gè)全息圖(H∑<sub>SLM</sub>),以及,C)使物點(diǎn)(OPN)和該物點(diǎn)(OPN)的亞全息圖(SHN)的信息鏈在至少一個(gè)亞全息圖存儲(chǔ)器(SH-MEM)中可以得到。
文檔編號(hào)G03H1/08GK101689037SQ200880023521
公開(kāi)日2010年3月31日 申請(qǐng)日期2008年5月16日 優(yōu)先權(quán)日2007年5月16日
發(fā)明者亞歷山大·史威特納 申請(qǐng)人:視瑞爾技術(shù)公司