本發(fā)明屬于立體投影的技術領域，尤其涉及一種曲面屏幕上移動視點的沉浸式立體渲染投影系統及其方法。

背景技術：

隨著21世紀信息時代的來臨和數字技術的成熟，虛擬現實技術與增強現實技術的飛速發(fā)展，文化娛樂業(yè)在近20年的不斷探索中發(fā)生了巨大的變化。娛樂的內容方式手段載體都融入了新創(chuàng)意和高科技。于是，集成諸多當今最新技術的參與性娛樂設施在我國很多城市里的展覽館博覽館和科技館等地方不斷的涌現。作為虛擬現實技術與增強現實技術的基礎，立體投影技術越來越成熟，其應用也越來越廣泛，在能源開發(fā)、教育、娛樂、建筑視景與城市規(guī)劃、虛擬醫(yī)學/化學/生物工程等領域發(fā)揮著越來越重要的作用。

立體投影方式有很多，常見的有頭戴式虛擬現實設備(如htcvive)、頭戴式增強現實設備(如hololens)，還有最讓人熟知的投影儀與大屏幕式的立體投影(如電影院的3d電影投影系統，立體投影儀和立體眼鏡的相互配合可以讓用戶享受到身臨其境的立體觀影體驗)。其中，頭戴式虛擬現實設備和頭戴式增強現實設備因價格昂貴，并未廣泛普及，目前廣泛使用的立體投影方式還是以投影儀和大屏幕式的傳統立體投影系統為主。人們非常享受立體電影這種觀影形式，但是隨著設備技術的不斷進步，人們對觀影要求的不斷提高，單純的傳統立體投影技術已無法滿足人們的需求，在不斷探索的過程中也發(fā)現了傳統立體投影技術的一些需要改進的地方：

第一，佩戴3d眼鏡會限制觀眾的活動，而且觀眾長期觀看電影會出現眼部疲勞等不適癥狀；現有的一些醫(yī)學文獻指出了觀看3d立體電影可能給觀眾帶來視覺誘發(fā)癥等安全問題。長期觀看立體電影可能導致視覺不適和疲勞，這是基于視差立體投影系統的通病。

第二，在使用傳統立體投影系統時，觀眾無法與電影進行互動，存在感不強。存在感是一種幻覺，可概括為以下6種：現實式存在、沉浸式存在、媒體中社會角色式存在、社會豐富式存在、“我們在一起”式的信息交換存在和作為社會角色媒介式存在。換句話說，如果觀眾沉浸在影片內容中而不能區(qū)分虛擬與現實的界限，那么影片播放效果就是被最佳化了。通過對不同人觀看3d電影后的體驗的調查研究發(fā)現，人們承認電影非常真實震撼，但是他們無法參與到虛擬電影世界中，存在感不強。

針對第二點問題，是現有的傳統立體投影系統使用戶左右眼觀看相同的圖像引起的。在立體投影系統的原理是利用人左右眼視差的特性，讓用戶左右眼分別看到所投影的左右眼圖像，然后大腦將左右眼圖像融合成立體圖像?，F有技術中傳統的立體投影系統，用戶在不同的位置看到的是相同的左右眼圖像；但是由于用戶相對于屏幕位置的不同，左右眼圖像所融合成的立體虛像會差生形狀和位置的變化(相對于現實世界)。即，隨著用戶位置的改變，左右眼圖像不變，但左右眼圖像融合成的立體虛像的位置和形狀在改變。造成上述情況發(fā)生的原因在于，傳統的立體投影系統中，虛擬相機是從單一的角度去渲染場景。用戶只有在舒適區(qū)域內才能觀察到正確的虛像。偏離舒適區(qū)域，或在移動，用戶的立體體驗感就會大打折扣。因此，現有技術中的投影方式不能為用戶提供舒適的在虛擬場景中的漫游及交互體驗。

綜上所述，如何解決現有的立體投影系統無法從用戶觀察的角度實時渲染場景圖像，無法讓用戶通過移動從不同的角度觀察場景/物體虛像從而產生此場景/物體真是存在于物理世界的錯覺，用戶體驗感、存在感差的問題，尚缺乏有效的解決方案。

技術實現要素：

本發(fā)明為了解決上述問題，克服現有技術中立體投影系統無法從用戶觀察的角度實時渲染場景圖像，無法讓用戶通過移動從不同的角度觀察場景/物體虛像從而產生此場景/物體真是存在于物理世界的錯覺，用戶體驗感、存在感差的問題，提供一種曲面屏幕上移動視點的沉浸式立體渲染投影系統及其方法，通過追蹤用戶眼睛位置，并依據用戶與投影屏幕的相對位置關系和投影屏幕自身的形狀信息實時對虛擬場景進行立體渲染并投影，以使得用戶可以在所投影的虛擬場景中通過自身的走動進行自然的漫游，從不同位置和角度觀察虛擬場景，消除了大屏幕立體成像只能在固定位置觀看的弊端，從而大大提升用戶的參與感，使用戶可以真正融入到虛擬的世界，體驗逼真震撼的3d立體效果。

為了實現上述目的，本發(fā)明采用如下一種技術方案：

一種曲面屏幕上移動視點的沉浸式立體渲染投影系統，該系統包括：

追蹤模塊，所述追蹤模塊被配置為追蹤用戶頭部位置和姿態(tài)信息，估計用戶雙眼位置和視線方向的模塊；

渲染模塊，所述渲染模塊被配置為根據用戶雙眼位置信息及曲面屏幕位置形狀信息，設置立體相機對的參數，渲染完成后，對左右相機生成的圖像根據屏幕的形狀信息進行后處理的模塊；

投影模塊，所述投影模塊被配置為將渲染模塊渲染后的圖像投影到曲面屏幕上的模塊。

進一步的，所述追蹤模塊包括頭部姿態(tài)采集裝置、頭部位置采集裝置和雙眼位置估計單元，

所述頭部姿態(tài)采集裝置采集用戶頭部姿態(tài)信息，并傳輸至所述雙眼位置估計單元；

所述頭部位置采集裝置采集用戶頭部位置信息，并傳輸至所述雙眼位置估計單元；

所述雙眼位置估計單元根據接收的用戶頭部姿態(tài)信息和用戶頭部位置信息，對用戶雙眼相對于曲面屏幕的位置信息和用戶雙眼視線方向進行估計計算，并傳輸至所述渲染模塊。

進一步的，所述投影模塊包括立體相機對和曲面屏幕，經過所述渲染模塊渲染后的立體相機對的投影圖像貼于曲面屏幕上，建立投影圖像空間與曲面屏幕空間的映射，完成投影。

為了實現上述目的，本發(fā)明采用如下另一種技術方案：

一種曲面屏幕上移動視點的沉浸式立體渲染投影方法，該方法基于一種曲面屏幕上移動視點的沉浸式立體渲染投影系統，該方法包括以下步驟：

(1)采集用戶信息：追蹤用戶頭部位置和姿態(tài)信息，估計用戶雙眼位置和視線方向；

(2)設置立體渲染參數：根據步驟(1)中估計的用戶雙眼位置和視線方向，實時調整立體相機對參數進行移動視點的立體渲染；

(3)動態(tài)視差調整：根據用戶與屏幕的相對位置關系和投影屏幕的幾何形狀信息對渲染后的體視圖像對的視差進行后處理，使用戶在其位置看到舒適正確的立體圖像；

(4)用戶觀感優(yōu)化：分別針對用戶頭部姿態(tài)和眼球移動，對步驟(3)中動態(tài)視差調整后的圖像進行進一步優(yōu)化；

(5)投影立體場景，用戶帶立體眼鏡觀察漫游虛擬的立體場景。

進一步的，所述步驟(1)中，采用頭部姿態(tài)采集裝置采集用戶頭部姿態(tài)信息，并傳輸至所述雙眼位置估計單元；采用頭部位置采集裝置采集用戶頭部位置信息，并傳輸至所述雙眼位置估計單元；所述雙眼位置估計單元根據接收的用戶頭部姿態(tài)信息和用戶頭部位置信息，對用戶雙眼相對于曲面屏幕的位置信息和用戶雙眼視線方向進行估計計算，并傳輸至所述渲染模塊，進入步驟(2)。

進一步的，所述步驟(2)中，在實時調整立體相機對參數進行移動視點的立體渲染之前，建立會聚平面與投影平面的對應關系，所述會聚平面與投影平面的對應關系通過寬高比約束，且所述會聚平面與投影平面的長度的比值為k；

所述會聚平面為立體相機對中的左右兩個相機的非對稱視椎體相交的平面，所述會聚平面為矩形平面，所述會聚平面為預設平面，且位置與形狀保持不變；

所述投影平面為與會聚平面相對應的用戶觀察到投影畫面的一個矩形平面，對于曲面投影屏幕，所述投影平面為曲面投影屏幕上連接顯像區(qū)域左右兩端的假想矩形平面。

進一步的，所述步驟(2)中，所述立體相機對參數包括立體相機對位置和立體相機對的投影矩陣；

所述立體相機對位置為立體相機對相對于會聚平面的位置，根據用戶雙眼與投影平面的相對位置設置，立體相機對相對于會聚平面的位置的位移距離與用戶雙眼與投影平面的相對位置的位移距離比值為k；

所述立體相機對的投影矩陣根據所述會聚平面的幾何信息和立體相機對位置信息實時計算，

其中，n為立體相機對坐標系中近切面，f為立體相機對坐標系中遠切面，l、r、t、b分別為立體相機對視椎體近切面左、右、上、下四個邊。

進一步的，所述步驟(3)中，設置動態(tài)視差調整后的圖像i2(u2,v2)為輸出圖像，設置所述步驟(2)中渲染得到的圖像i1(u1,v1)為輸入圖像；

所述動態(tài)視差調整的具體步驟為：

(3-1)對于輸出圖像i2(u2,v2)中的每一個像點，計算其對應的曲面屏幕上的三維坐標點s2(x2,y2,z2)；

(3-2)計算s2(x2,y2,z2)所對應的平面屏幕的三維坐標點s1(x1,y1,z1)；

(3-3)計算s1(x1,y1,z1)所對應的輸入圖像i1(u1,v1)中的像點，并將其填充至輸出圖像i2(u2,v2)中，得到：

(u2,v2)＝mi←c(mc←p(mp←i(u1,v1)))(2)

其中，mp←i表示(u1,v1)到(s1,t1)的映射；mc←p表示(s1,t1)到(s2,t2)的映射；mi←c表示(s2,t2)到(u2,v2)的映射；(u1,v1)表示立體相機渲染的圖像空間；(u2,v2)表示動態(tài)視差調整后的圖像空間；(s1,t1)表示參數化后的平面屏幕空間；(s2,t2)表示參數化后的曲面屏幕空間。

進一步的，所述步驟(3-1)中，根據下列公式計算輸出圖像i2(u2,v2)中的每一個像點對應的曲面屏幕上的三維坐標點s2(x2,y2,z2)：

其中，(u,v)表示圖像空間，(x2,y2,z2)表示曲面屏幕上與(s2,t2)對應的三維坐標；表示曲面屏幕空間(s2,t2)與圖像空間(u,v)表之間的映射關系；m2表示曲面屏幕空間(s2,t2)與曲面屏幕三維坐標點(x2,y2,z2)的映射關系，其可以通過對曲面屏幕進行參數化獲得。

進一步的，所述步驟(3-2)中，根據下列公式計算s2(x2,y2,z2)所對應的平面屏幕的三維坐標點s1(x1,y1,z1)：

其中，(x1,y1,z1)表示像點s1的空間坐標；(x2,y2,z2)表示像點s2的空間坐標；m表示左眼所對應的左相機的透視投影矩陣；t表示空間坐標系到左相機坐標系的轉換關系。

進一步的，所述步驟(3-3)中，根據下列公式計算s1(x1,y1,z1)所對應的輸入圖像i1(u1,v1)中的像點：

其中，(x1,y1,z1)表示平面屏幕上與(s1,t1)對應的三維坐標；表示平面屏幕空間(s1,t1)與圖像空間(u,v)之間的映射關系；m1表示平面屏幕空間(s1,t1)與平面屏幕三維坐標點(x1,y1,z1)的映射關系，其可以通過對平面屏幕進行參數化獲得。

進一步的，所述步驟(4)中，針對用戶頭部姿態(tài)，對步驟(3)中動態(tài)視差調整后的圖像進行進一步優(yōu)化的具體步驟為：

采用慣性傳感器檢測頭部姿態(tài)信息，對用戶雙眼位置的估計做進一步優(yōu)化完善，優(yōu)化估計公式為：

其中，e為平均瞳孔距；k為ab平面屏幕夾角的正切值；b為點o′到a″b″在z方向上的距離，另外點o′為根據頭部位置和姿態(tài)估計的用戶的視線興趣點，即順著用戶視線方向，遇到的第一個虛擬物體上的坐標點；a″、b″為重新估計出左右眼的位置。

進一步的，所述步驟(4)中，針對用戶眼球移動，對步驟(3)中動態(tài)視差調整后的圖像進行進一步優(yōu)化的具體步驟為：

檢測用戶的行為狀態(tài)，當其處于平緩移動狀態(tài)時，在頭部位置檢測系統中鎖定其頭部位置高度值y；當其脫離平緩移動狀態(tài)進入下一狀態(tài)時，釋放其頭部位置高度值y。

本發(fā)明的有益效果：

1.本發(fā)明的一種曲面屏幕上移動視點的沉浸式立體渲染投影系統及其方法，創(chuàng)造性的將移動視點的立體渲染及投影擴展到任意曲面屏幕上，任意曲面屏幕移動視點投影完美解決了平面屏幕移動視點投影中視角窄、零視差面明顯等問題，大大提高了立體沉浸感，并使得移動視點立體投影的應用場景更為廣泛；本發(fā)明對算法優(yōu)化，可以實時渲染高分辨率的立體畫面，而對機器不是有很高的要求，在保證基本的精確度和幀數的同時，又降低對整個系統的性能的要求，可以切實的應用到實際中。

2.本發(fā)明的一種曲面屏幕上移動視點的沉浸式立體渲染投影系統及其方法，針對用戶視點與曲面屏幕復雜的相對關系而引起的立體虛像變形和位移等問題，提出了動態(tài)視差調整方法：根據曲面屏幕形狀及用戶與屏幕的相對位置，動態(tài)映射調整所投影虛擬場景的視差，即對立體渲染后的左右眼圖像進行后處理，以保證用戶在虛擬場景中走動時始終看到舒適正確的立體虛像。

3.本發(fā)明的一種曲面屏幕上移動視點的沉浸式立體渲染投影系統及其方法，采用三通道的大型弧幕立體投影技術，渲染的立體畫面分辨率高，清晰逼真，視野覆蓋大，沉浸感強，同時由于出色的出屏立體效果，真實感更強，相比與小型平面幕布，在立體，沉浸感等效果上具備優(yōu)勢；并通過跟蹤用戶頭部姿態(tài)、總結眼球運動規(guī)律，成功解決了虛像的左右漂移和上下抖動問題，是得用戶體驗更為優(yōu)異。

4.本發(fā)明的一種曲面屏幕上移動視點的沉浸式立體渲染投影系統及其方法，實現了用戶可以從不同側面觀察虛擬立體物體的效果，改變了影院系統只能固定位置被動觀看的弊端，真正實現了完全沉浸在虛擬場景的體驗，為互動影院系統提供了新的思路；本發(fā)明具備良好的擴展性，可以與許多其他技術結合，提供更好的體驗效果，并可以在娛樂，教育，訓練，演示等領域中應用。

附圖說明

圖1為本發(fā)明的系統結構圖；

圖2為本發(fā)明的移動視點立體渲染及投影原理圖；

圖3為本發(fā)明的屏幕形狀引起的視差變化示意圖；

圖4為本發(fā)明的視差分析調整示意圖；

圖5為本發(fā)明的用戶頭部姿態(tài)示意圖；

圖6為本發(fā)明的系統實際場景圖；

圖7為本發(fā)明的平面屏幕投影效果圖；

圖8為本發(fā)明的弧形屏幕投影效果圖。

具體實施方式：

應該指出，以下詳細說明都是例示性的，旨在對本申請?zhí)峁┻M一步的說明。除非另有指明，本文使用的所有技術和科學術語具有與本申請所屬技術領域的普通技術人員通常理解的相同含義。

需要注意的是，這里所使用的術語僅是為了描述具體實施方式，而非意圖限制根據本申請的示例性實施方式。如在這里所使用的，除非上下文另外明確指出，否則單數形式也意圖包括復數形式，此外，還應當理解的是，當在本說明書中使用術語“包含”和/或“包括”時，其指明存在特征、步驟、操作、器件、組件和/或它們的組合。

在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。下面結合附圖與實施例對本發(fā)明作進一步說明。

實施例1：

正如背景技術所介紹的，現有技術中存在立體投影系統無法從用戶觀察的角度實時渲染場景圖像，無法讓用戶通過移動從不同的角度觀察場景/物體虛像從而產生此場景/物體真是存在于物理世界的錯覺，用戶體驗感、存在感差的問題，本實施例提供一種曲面屏幕上移動視點的沉浸式立體渲染投影系統，通過追蹤用戶眼睛位置，并依據用戶與投影屏幕的相對位置關系和投影屏幕自身的形狀信息實時對虛擬場景進行立體渲染并投影，以使得用戶可以在所投影的虛擬場景中通過自身的走動進行自然的漫游，從不同位置和角度觀察虛擬場景，消除了大屏幕立體成像只能在固定位置觀看的弊端，從而大大提升用戶的參與感，使用戶可以真正融入到虛擬的世界，體驗逼真震撼的3d立體效果。

為了實現上述目的，本發(fā)明采用如下技術方案：

一種曲面屏幕上移動視點的沉浸式立體渲染投影系統，如圖1所示，該系統包括：

追蹤模塊，所述追蹤模塊被配置為追蹤用戶頭部位置和姿態(tài)信息，估計用戶雙眼位置和視線方向的模塊；

渲染模塊，所述渲染模塊被配置為根據用戶雙眼位置信息及曲面屏幕位置形狀信息，設置立體相機對的參數，渲染完成后，對左右相機生成的圖像根據屏幕的形狀信息進行后處理的模塊；

投影模塊，所述投影模塊被配置為將渲染模塊渲染后的圖像投影到曲面屏幕上的模塊。

所述追蹤模塊包括頭部姿態(tài)采集裝置、頭部位置采集裝置和雙眼位置估計單元；

所述頭部姿態(tài)采集裝置采集用戶頭部姿態(tài)信息，并傳輸至所述雙眼位置估計單元；在本實施例中，頭部姿態(tài)采集裝置采用imu組件，imu組件固定在用戶頭部，并與頭部觀察方向保持一致，從而確保可以得到準確的頭部姿態(tài)。

所述頭部位置采集裝置采集用戶頭部位置信息，并傳輸至所述雙眼位置估計單元；在本實施例中，頭部位置采集裝置采用kinect攝像機來追蹤用戶頭部相對屏幕的位置信息。需要預先對kinect攝像機標定，將kinect獲取的基于其自身攝像機坐標系的位置數據轉換到系統定義的世界坐標系中；該標定過程在環(huán)境搭建時離線完成，并存儲在配置文件中，不需要在曲面屏幕上移動視點的沉浸式立體渲染投影系統運行時再次標定。

所述雙眼位置估計單元根據接收的imu組件采集的用戶頭部姿態(tài)信息和kinect攝像機采集的用戶頭部位置信息，對用戶雙眼相對于曲面屏幕的位置信息和用戶雙眼視線方向進行估計計算，并傳輸至所述渲染模塊。

所述投影模塊包括立體相機對和曲面屏幕，經過所述渲染模塊渲染后的立體相機對的投影圖像貼于曲面屏幕上，建立投影圖像空間與曲面屏幕空間的映射，完成投影。

在此系統中，使用了三臺benqms30813d投影儀來組成投影陣列，每臺投影儀的投影800*600120hz圖像，最終拼接融合后可以完成2000*600120hz圖像的投影。如圖6所示，投影屏幕使用弧形屏幕，最大縱切面為高1.75m、長5.6m的矩形，此切面到弧頂的距離為0.85m。

實施例2：

正如背景技術所介紹的，現有技術中存在立體投影系統無法從用戶觀察的角度實時渲染場景圖像，無法讓用戶通過移動從不同的角度觀察場景/物體虛像從而產生此場景/物體真是存在于物理世界的錯覺，用戶體驗感、存在感差的問題，本實施例提供一種曲面屏幕上移動視點的沉浸式立體渲染投影方法，通過追蹤用戶眼睛位置，并依據用戶與投影屏幕的相對位置關系和投影屏幕自身的形狀信息實時對虛擬場景進行立體渲染并投影，以使得用戶可以在所投影的虛擬場景中通過自身的走動進行自然的漫游，從不同位置和角度觀察虛擬場景，消除了大屏幕立體成像只能在固定位置觀看的弊端，從而大大提升用戶的參與感，使用戶可以真正融入到虛擬的世界，體驗逼真震撼的3d立體效果。

為了實現上述目的，本發(fā)明采用如下另一種技術方案：

一種曲面屏幕上移動視點的沉浸式立體渲染投影方法，該方法基于實施例1中的一種曲面屏幕上移動視點的沉浸式立體渲染投影系統，該方法包括以下步驟：

(1)采集用戶信息：追蹤用戶頭部位置和姿態(tài)信息，估計用戶雙眼位置和視線方向；

(2)設置立體渲染參數：根據步驟(1)中估計的用戶雙眼位置和視線方向，實時調整立體相機對參數進行移動視點的立體渲染；

(3)動態(tài)視差調整：根據用戶與屏幕的相對位置關系和投影屏幕的幾何形狀信息對渲染后的體視圖像對的視差進行后處理，使用戶在其位置看到舒適正確的立體圖像；

(4)用戶觀感優(yōu)化：分別針對用戶頭部姿態(tài)和眼球移動，對步驟(3)中動態(tài)視差調整后的圖像進行進一步優(yōu)化；

(5)投影立體場景，用戶帶立體眼鏡觀察漫游虛擬的立體場景。

在本實施例中，步驟(1)采集用戶信息：追蹤用戶頭部位置和姿態(tài)信息，估計用戶雙眼位置和視線方向；

所述步驟(1)中，采用頭部姿態(tài)采集裝置采集用戶頭部姿態(tài)信息，并傳輸至所述雙眼位置估計單元；采用頭部位置采集裝置采集用戶頭部位置信息，并傳輸至所述雙眼位置估計單元；所述雙眼位置估計單元根據接收的用戶頭部姿態(tài)信息和用戶頭部位置信息，對用戶雙眼相對于曲面屏幕的位置信息和用戶雙眼視線方向進行估計計算，并傳輸至所述渲染模塊，進入步驟(2)。

在本實施例中，步驟(2)設置立體渲染參數：根據步驟(1)中估計的用戶雙眼位置和視線方向，實時調整立體相機對參數進行移動視點的立體渲染；

所述步驟(2)中，所述會聚平面為立體相機對中的左右兩個相機的非對稱視椎體相交的平面，立體相機對的視椎體示意圖，如圖2(a)所示，左右兩個相機的非對稱視椎體相交于會聚平面，所述會聚平面在虛擬場景中為矩形平面，所述會聚平面為預設平面，且位置與形狀保持不變；

所述投影平面為與會聚平面相對應的用戶觀察到投影畫面的一個矩形平面，用戶雙眼的視椎體示意圖，如圖2(b)所示；若投影屏幕為平面的，投影平面為屏幕上的顯像矩形區(qū)域；對于曲面投影屏幕，所述投影平面為曲面投影屏幕上連接顯像區(qū)域左右兩端的假想矩形平面。

在實時調整立體相機對參數進行移動視點的立體渲染之前，建立會聚平面與投影平面的對應關系，圖2(a)中所述會聚平面的位置(距地面的高度)以及長寬比都是由真實世界圖2(b)中投影平面決定的。投影平面的寬高比(可由測量得到)，決定了會聚面的寬高比；會聚面在虛擬場景的中的位置，決定了用戶可以看到的虛擬場景的區(qū)域。所述會聚平面與投影平面的對應關系通過寬高比約束，且所述會聚平面與投影平面的長度的比值為k；

所述步驟(2)中，所述立體相機對參數包括立體相機對位置和立體相機對的投影矩陣；

所述立體相機對位置為立體相機對相對于會聚平面的位置，根據用戶雙眼與投影平面的相對位置設置，立體相機對相對于會聚平面的位置的位移距離與用戶雙眼與投影平面的相對位置的位移距離比值為k；

所述立體相機對的投影矩陣根據所述會聚平面的幾何信息和立體相機對位置信息實時計算。與投影屏幕相對應，立體相機對的會聚平面(矩形平面)在虛擬場景坐標系中幾何信息(即，四個頂點的坐標)是保持不變。令會聚平面四個頂點在虛擬場景坐標系的坐標為lu、ld、ru、rd，然后根據立體相機對的位置、朝向，將其轉換到相機坐標系中,在根據和近切面n、遠切面f，便可計算出立體相機對視椎體。令l、r、t、b分別為立體相機對視椎體近切面左、右、上、下四個邊。所述立體相機對的投影矩陣如下：

其中，n為立體相機對坐標系中近切面，f為立體相機對坐標系中遠切面，l、r、t、b分別為立體相機對視椎體近切面左、右、上、下四個邊。

在本實施例中，(3)動態(tài)視差調整：根據用戶與屏幕的相對位置關系和投影屏幕的幾何形狀信息對渲染后的體視圖像對的視差進行后處理，使用戶在其位置看到舒適正確的立體圖像；

與平面屏幕相比，曲面屏幕可以為用戶提供更為廣闊的視角和更為舒適體驗感，同時曲面屏幕上的立體投影也更為復雜。一方面，面積較大的曲面屏幕需要多臺投影儀協同工作來顯示高分辨畫面。另一方面，屏幕形狀的會使用戶雙眼接受畫面的視差發(fā)生變化，從而造成立體圖像發(fā)生位移和形狀的畸變，如圖3(a)所示，立體相機對的視椎體示意圖，由于受弧形屏幕的影響，如圖3(b)所示，投影到弧形屏幕上的圖像點s2l、s2r在用戶眼中形成的虛像點p′與平面屏幕上圖像s1l、s1r所形成的虛像點p發(fā)生了偏離。然而，圖3(b)中虛像點p才是應該讓用戶看到的正確的像。

為了更好的分析校正由曲面屏幕引起的視差變化，在曲面屏幕之前定義一個虛擬的平面屏幕。曲面屏幕空間、平面屏幕空間與投影圖像空間的映射關系如下：

其中：

(u,v)表示立體相機渲染的圖像空間，同樣也是投影圖像空間；

(s2,t2)表示參數化后的曲面屏幕空間；

(x2,y2,z2)表示曲面屏幕上與(s2,t2)對應的三維坐標；

表示曲面屏幕空間(s2,t2)與圖像空間(u,v)表之間的映射關系；

m2表示曲面屏幕空間(s2,t2)與曲面屏幕三維坐標點(x2,y2,z2)的映射關系，其可以通過對曲面屏幕進行參數化獲得；

(s1,t1)表示參數化后的平面屏幕空間；

(x1,y1,z1)表示平面屏幕上與(s1,t1)對應的三維坐標；

表示平面屏幕空間(s1,t1)與圖像空間(u,v)之間的映射關系；

m1表示平面屏幕空間(s1,t1)與平面屏幕三維坐標點(x1,y1,z1)的映射關系，其可以通過對平面屏幕進行參數化獲得。

如圖3(a)所示，立體相機對渲染的關于點p圖像點sl、sr，以貼墻紙的映射方式到圖3(b)、圖4(a)中的平面屏幕上的s1l、s1r和曲面屏幕上的s2l、s2r。其投影效果如同將要投影的圖像當作一張墻紙貼在曲面屏幕上一樣。而曲面屏幕上的s2l、s2r在人眼中融合的虛像點p′，與平面屏幕上圖像s1l、s1r所形成的虛像點p相比，位置發(fā)生了偏移。并且在用戶移動的過程中，虛像點p′的位置會隨著用戶的位置改變而改變，而不像虛像點p始終保持空間位置不變。為了使曲面屏幕上的移動視點的立體渲染及投影效果和平面幕布上的投影效果一樣，即保持虛像點p′始終與虛像點p重合，在此提出了一種動態(tài)調整立體相機對所渲染得到的立體圖像的視差的方法。

如圖4(b)所示，令i1(u1,v1)左相機渲染的圖像，i2(u2,v2)為i1(u1,v1)經過動態(tài)視差調節(jié)后的結果圖像。圖中像點s1，為圖像i1(u1,v1)投影到平面屏幕上點p所對應的像點；圖中像點s2，為圖像i2(u2,v2)投影到曲面屏幕上點p所對應的像點。那么動態(tài)視差調節(jié)后結果必須保持，像點s1、像點s2與人左眼的位置在同一條透視投影線上，已達到校正如圖4(a)中像點s1l、像點s2l與人左眼位置間的位置偏差的效果。像點s1、像點s2之間滿足透視投影關系，可以用以下公式描述：

其中：

(x1,y1,z1)表示像點s1的空間坐標；

(x2,y2,z2)表示像點s2的空間坐標；

m表示左眼所對應的左相機的透視投影矩陣；

t表示空間坐標系到左相機坐標系的轉換關系。

動態(tài)視差是對立體相機對渲染所得圖像的后處理過程。經過前面分析可知，立體相機對渲染得到的圖像i1(u1,v1)，直接投影到平面屏幕上便可達到移動視點的投影效果；而投影到曲面屏幕上便會引起虛像的位移和形變，需要對圖像i1(u1,v1)進行視差調整的處理后再進行投影。

所述步驟(3)中，設置動態(tài)視差調整后的圖像i2(u2,v2)為輸出圖像，設置所述步驟(2)中渲染得到的圖像i1(u1,v1)為輸入圖像；

所述動態(tài)視差調整的具體步驟為：

(3-1)對于輸出圖像i2(u2,v2)中的每一個像點，計算其對應的曲面屏幕上的三維坐標點s2(x2,y2,z2)；

所述步驟(3-1)中，根據下列公式計算輸出圖像i2(u2,v2)中的每一個像點對應的曲面屏幕上的三維坐標點s2(x2,y2,z2)：

其中，(u,v)表示圖像空間，(x2,y2,z2)表示曲面屏幕上與(s2,t2)對應的三維坐標；表示曲面屏幕空間(s2,t2)與圖像空間(u,v)表之間的映射關系；m2表示曲面屏幕空間(s2,t2)與曲面屏幕三維坐標點(x2,y2,z2)的映射關系，其可以通過對曲面屏幕進行參數化獲得。

(3-2)計算s2(x2,y2,z2)所對應的平面屏幕的三維坐標點s1(x1,y1,z1)；

所述步驟(3-2)中，根據下列公式計算s2(x2,y2,z2)所對應的平面屏幕的三維坐標點s1(x1,y1,z1)：

其中，(x1,y1,z1)表示像點s1的空間坐標；(x2,y2,z2)表示像點s2的空間坐標；m表示左眼所對應的左相機的透視投影矩陣；t表示空間坐標系到左相機坐標系的轉換關系。

(3-3)計算s1(x1,y1,z1)所對應的輸入圖像i1(u1,v1)中的像點，并將其填充至輸出圖像i2(u2,v2)中，得到：

(u2,v2)＝mi←c(mc←p(mp←i(u1,v1)))(9)

其中，mp←i表示(u1,v1)到(s1,t1)的映射；mc←p表示(s1,t1)到(s2,t2)的映射；mi←c表示(s2,t2)到(u2,v2)的映射；(u1,v1)表示立體相機渲染的圖像空間；(u2,v2)表示動態(tài)視差調整后的圖像空間；(s1,t1)表示參數化后的平面屏幕空間；(s2,t2)表示參數化后的曲面屏幕空間。

所述步驟(3-3)中，根據下列公式計算s1(x1,y1,z1)所對應的輸入圖像i1(u1,v1)中的像點：

其中，(x1,y1,z1)表示平面屏幕上與(s1,t1)對應的三維坐標；表示平面屏幕空間(s1,t1)與圖像空間(u,v)之間的映射關系；m1表示平面屏幕空間(s1,t1)與平面屏幕三維坐標點(x1,y1,z1)的映射關系，其可以通過對平面屏幕進行參數化獲得。

在本實施例中，(4)用戶觀感優(yōu)化：分別針對用戶頭部姿態(tài)和眼球移動，對步驟(3)中動態(tài)視差調整后的圖像進行進一步優(yōu)化；

所述步驟(4)中，針對用戶頭部姿態(tài)，在移動視點的投影系統中，需要追蹤用戶雙眼的位置，以設置渲染系統中左右相機的位置。然而在通常的追蹤時，并不是直接追蹤雙眼的位置，而是追蹤頭部位置，以頭部位置估計雙眼的中心位置坐標，再依據平均瞳孔距來估計左右眼的位置坐標。這種估計雙眼位置的方式并沒有考慮到頭部姿態(tài)造成的影響。始終保證當用戶正面面向屏幕時，接受的虛像不會受到影響。然而，用戶在移動觀察投影的虛像時，因為他的視線焦點在其觀察的虛像上便常會出現側對屏幕的情況；這會對左右圖像在用戶雙眼中形成的虛像的位置和形狀產生些許影響。

如圖5(a)所示，令a、b為左右眼的實際位置，p為以頭部位置估計的雙眼的中心位置，e為平均瞳孔距。則a′、b′為以p為中心，e為長度，估計出的左右眼的位置；i1、i2為與a′、b′相對應的左右相機渲染的關于點o′的像點。而i1、i2在用戶眼中所成的虛像點卻為點o，而不是我們所希望的點o′。這種情況存在，會讓用戶移動過程中觀察立體虛像時，覺察到虛像并不是固定在空間某一位置，而是在左右漂移，此外用戶也能觀察到虛像些許的扭曲變形。

對步驟(3)中動態(tài)視差調整后的圖像進行進一步優(yōu)化的具體步驟為：

采用慣性傳感器檢測頭部姿態(tài)信息，對用戶雙眼位置的估計做進一步優(yōu)化完善，優(yōu)化估計公式為：

其中，e為平均瞳孔距；k為ab平面屏幕夾角的正切值；b為點o′到a″b″在z方向上的距離，另外點o′為根據頭部位置和姿態(tài)估計的用戶的視線興趣點，即順著用戶視線方向，遇到的第一個虛擬物體上的坐標點；a″、b″為重新估計出左右眼的位置。

經過本發(fā)明試驗證明，使用用戶頭部姿態(tài)校正雙眼位置估計之后，用戶在移動觀察立體虛像時虛像的左右漂移感大大降低。

所述步驟(4)中，針對用戶眼球移動，在實際用戶體驗感測試中，另還有一個問題異常突出：用戶在一邊移動一邊觀察虛像時，會發(fā)現虛像在上下抖動，而且移動越快抖動現象越明顯。然而在現實世界中，當人一邊移動一邊盯著某一物體看的時候，并不會感覺此物體在上下抖動。經過反復的實驗與分析發(fā)現了，人在觀察真實物體時與觀察投影的虛擬物體時最大的區(qū)別：當一個人在走動過程中，他的頭部的移動的軌跡是呈一上一下的波浪型，然而在觀察真實物體時，他本人并不能覺察到這種抖動，這是因為眼睛始終會聚在所觀察的物體上，眼球的轉動彌補了由頭部上下移動造成的偏差，從而使此物體在其眼中的成像始終處于中心區(qū)域；而在觀察投影的立體虛像時，雙眼會聚在投影屏幕上，而不是屏幕前懸浮的立體虛像上，因此在人走動的過程中，眼球的轉動會保持屏幕在人眼中的成像始終保持不動，而走動過程中頭部的移動軌跡呈波浪型，使得渲染系統中立體相機對的位置也成波浪型上下抖動，從而造成了立體虛像在人眼中的上下抖動感，而且物體出屏越遠，抖動感越強烈。綜上所述，在用戶移動過程中，觀察真實物體時，眼球移動可以彌補由頭部抖動而產生的物體抖動感；而觀察虛擬物體時，由于雙眼會聚面不在投影的立體虛像上，從而導致，眼球移動并不能彌補由頭部移動而產生的虛像的抖動感。

對步驟(3)中動態(tài)視差調整后的圖像進行進一步優(yōu)化的具體步驟為：

檢測用戶的行為狀態(tài)，當其處于平緩移動狀態(tài)時，在頭部位置檢測系統中鎖定其頭部位置高度值y；當其脫離平緩移動狀態(tài)進入下一狀態(tài)時，釋放其頭部位置高度值y。

通過之后用戶比對測試和分析，結果顯示在此方案的優(yōu)化下，用戶基本感覺不到之前的上下抖動感，身臨其境的真實感與沉浸感大大加強。

在本實施例中，(5)投影立體場景，用戶帶立體眼鏡觀察漫游虛擬的立體場景。

所述步驟(5)中，經過步驟(1)-步驟(4)的立體相機對的投影圖像貼于曲面屏幕上，建立投影圖像空間與曲面屏幕空間的映射，完成投影。

在本實施例中，采用三通道的大型弧幕立體投影技術，渲染的立體畫面分辨率高，清晰逼真，視野覆蓋大，沉浸感強，同時由于出色的出屏立體效果，真實感更強，相比與小型平面幕布，在立體，沉浸感等效果上具備優(yōu)勢。并通過跟蹤用戶頭部姿態(tài)、總結眼球運動規(guī)律，成功解決了虛像的左右漂移和上下抖動問題，是得用戶體驗更為優(yōu)異。

圖7,圖8分別展示了平面屏幕投影效果圖和弧形屏幕投影效果圖；圖7左圖和圖8左圖為用戶在左邊看到的場景，圖7右圖和圖8右圖為用戶在右邊看到的場景。前面的立方體在立體投影中為出屏的投影效果，仿佛就懸浮在用戶面前，在用戶測試時有許多用戶都曾嘗試用手去觸摸它。通過對平面屏幕移動視點立體渲染及投影和弧形屏幕移動視點的立體渲染及投影的對比測試分析，結果顯示，弧形屏幕的立體效果更好，虛像偏移感和抖動感更小，真實感和沉浸感更強烈，更加受用戶的喜愛。而且由于弧形屏幕的視角更廣闊，用戶可以活動的范圍比平面屏幕更大，因此用戶可以在虛擬場景中做更為自由的探索。

另外，在平面幕布上左右眼圖像的零視差面與投影平面(即，平面屏幕)重合，在用戶觀察時更容易注意到零視差面的存在，從而使沉浸感降低；然而，在本文的移動視點的弧形屏幕立體投影中，零視差面是投影平面(弧形屏幕面)之前的一個矩形截面，與物理的弧形屏幕并不重合，從而使得用戶難以覺察到其存在從而使得沉浸感大大加強。

本發(fā)明的有益效果：

1.本發(fā)明的一種曲面屏幕上移動視點的沉浸式立體渲染投影系統及其方法，創(chuàng)造性的將移動視點的立體渲染及投影擴展到任意曲面屏幕上，任意曲面屏幕移動視點投影完美解決了平面屏幕移動視點投影中視角窄、零視差面明顯等問題，大大提高了立體沉浸感，并使得移動視點立體投影的應用場景更為廣泛；本發(fā)明對算法優(yōu)化，可以實時渲染高分辨率的立體畫面，而對機器不是有很高的要求，在保證基本的精確度和幀數的同時，又降低對整個系統的性能的要求，可以切實的應用到實際中。

2.本發(fā)明的一種曲面屏幕上移動視點的沉浸式立體渲染投影系統及其方法，針對用戶視點與曲面屏幕復雜的相對關系而引起的立體虛像變形和位移等問題，提出了動態(tài)視差調整方法：根據曲面屏幕形狀及用戶與屏幕的相對位置，動態(tài)映射調整所投影虛擬場景的視差，即對立體渲染后的左右眼圖像進行后處理，以保證用戶在虛擬場景中走動時始終看到舒適正確的立體虛像。

3.本發(fā)明的一種曲面屏幕上移動視點的沉浸式立體渲染投影系統及其方法，采用三通道的大型弧幕立體投影技術，渲染的立體畫面分辨率高，清晰逼真，視野覆蓋大，沉浸感強，同時由于出色的出屏立體效果，真實感更強，相比與小型平面幕布，在立體，沉浸感等效果上具備優(yōu)勢；并通過跟蹤用戶頭部姿態(tài)、總結眼球運動規(guī)律，成功解決了虛像的左右漂移和上下抖動問題，是得用戶體驗更為優(yōu)異。

4.本發(fā)明的一種曲面屏幕上移動視點的沉浸式立體渲染投影系統及其方法，實現了用戶可以從不同側面觀察虛擬立體物體的效果，改變了影院系統只能固定位置被動觀看的弊端，真正實現了完全沉浸在虛擬場景的體驗，為互動影院系統提供了新的思路；本發(fā)明具備良好的擴展性，可以與許多其他技術結合，提供更好的體驗效果，并可以在娛樂，教育，訓練，演示等領域中應用。

以上所述僅為本申請的優(yōu)選實施例而已，并不用于限制本申請，對于本領域的技術人員來說，本申請可以有各種更改和變化。凡在本申請的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本申請的保護范圍之內。