本申請要求于2014年6月3日提交的美國專利申請第62/007341號和于2015年2月20日提交的美國專利申請第62/118945號的優(yōu)先權(quán)。為了美國的目的，本申請按照35U.S.C§119要求于2014年6月3日提交的題為DYNAMICFREEFORMLENSINGWITHAPPLICATIONSTOHIGHDYNAMICRANGEPROJECTION的美國專利申請第62/007341號和于2015年2月20日提交的題為EFFICIENT,NUMERICALAPPROACHESFORHIGHCONTRASTFREEFORMLENSING的美國專利申請第62/118945的權(quán)益，并且出于各種目的，將其通過引用并入本文。
技術(shù)領(lǐng)域：
本發(fā)明涉及產(chǎn)生所需的光圖案。在一些實施方式中，所需的光圖案與由圖像數(shù)據(jù)指定的圖像對應(yīng)。具體實施方式提供了用于對自由曲面透鏡諸如移相光調(diào)制器、可變反射鏡等進(jìn)行控制以實現(xiàn)所需的光分布的方法。其他實施方式提供了用于投射光的投影儀。
背景技術(shù)：
：光效率和動態(tài)范圍兩者都是商業(yè)投影儀設(shè)計的主要關(guān)注點。即使大多數(shù)圖像只需要少量的在其平均圖片水平之上的局部非常亮的高亮以看起來現(xiàn)實[Rempel等人，2011]，但是高對比度和峰值亮度對于更高的感知圖像質(zhì)量(亮度、色度)是至關(guān)重要的[Rempel等人，2009]。另一方面，光學(xué)系統(tǒng)應(yīng)該是高效的以使功率消耗最小并且簡化熱管理。后一個問題使得通過提高投影儀光源的功率來實現(xiàn)非常高的峰值亮度是不切實際的。幅度空間光調(diào)制器(或SLM)通常用于通過像素選擇性阻擋光來在圖像中創(chuàng)建色調(diào)和顏色。由于受阻擋的光被吸收，所以這樣的SLM傾向于光學(xué)效率低?？梢酝ㄟ^提供兩級或更多級的光調(diào)制器(Hoskinson等人)來實現(xiàn)HDR(高動態(tài)范圍)圖像投影。許多光調(diào)制器(例如LCD面板)通過減法(即通過吸收不需要的光)來產(chǎn)生所需的光場。已經(jīng)進(jìn)行了一些努力以通過對光進(jìn)行重新分配來創(chuàng)建所需的光場。然而，許多可用的光重新分配技術(shù)具有顯著的缺點。例如，一些需要激光，這可以導(dǎo)致激光斑點。一些計算非常密集。一些需要光的非常高的空間頻率控制，這對光調(diào)制器提出要求并且還會導(dǎo)致由光的衍射引起的偽影?？梢栽O(shè)計自由曲面透鏡以在預(yù)限定的照明條件下產(chǎn)生特定的焦散圖像[Finckh等人，2010；Papa等人，2011；Schwartzburg等人，2014；Yue等人，2014]，自由曲面透鏡可以是非球面非對稱透鏡。焦散圖像是入射在自由曲面透鏡上的光的重新分布或“重新分配”[Hoskinson等人2010]，設(shè)計這種自由曲面透鏡的計算機(jī)圖形方法被稱為基于目標(biāo)的焦散。設(shè)計自由曲面透鏡以實現(xiàn)特定所需的圖像可以是計算密集的。自由曲面透鏡可以應(yīng)用于一般照明應(yīng)用(例如[Minano等人，2009])，以及更具體地，應(yīng)用于基于目標(biāo)的焦散[Berry2006；Hullin等人，2013]。用于設(shè)計自由曲面透鏡的一些方法應(yīng)用離散優(yōu)化方法，該離散優(yōu)化方法作用于問題的像素化版本上(例如[Papas等人2011，Papas等人2012，Papas等人2012])。針對連續(xù)表面的其他優(yōu)化沒有明顯的像素結(jié)構(gòu)(例如[Finckh等人，2010；Kiser等人，2013；Pauly和Kiser2012；Schwartzburg等人，2014；Yue等人，2014)。全息圖像形成模型(例如[Lesem等人1969])適于創(chuàng)建數(shù)字全息圖[Haugen等人1983]。對于研究和特殊應(yīng)用提出全息投影系統(tǒng)[Buckley2008]。這些系統(tǒng)中的許多系統(tǒng)使用在相位SLM上尋址的衍射圖案(或全息圖)與相干光(激光)組合以用于圖像生成。盡管原則上是形成圖像的有效方式，但是用于投影儀的全息術(shù)中的挑戰(zhàn)在于實現(xiàn)足夠好的圖像質(zhì)量，通過二進(jìn)制相位調(diào)制器可實現(xiàn)的有限衍射效率[Buckley2008]以及對傅立葉透鏡的需求常常導(dǎo)致由于提高的黑色級別(在DC光斑被擴(kuò)展的情況下)而引起的有效圖像區(qū)域內(nèi)的亮DC光斑或整個圖像的減小的對比度。全息投影通常需要相干光。發(fā)明人已經(jīng)認(rèn)識到需要更有效的方式來設(shè)計自由曲面透鏡以實現(xiàn)所需的光圖案。特別地，發(fā)明人已經(jīng)確定可以應(yīng)用足夠有效的設(shè)計方法來提供動態(tài)自由曲面透鏡的實時或近實時生成。例如，這樣的動態(tài)自由曲面透鏡可以遞送視頻內(nèi)容或動態(tài)變化的光效應(yīng)。技術(shù)實現(xiàn)要素：本發(fā)明提供了用于控制空間光調(diào)制器提供光的自由曲面透鏡效應(yīng)的方法。光可以被投射和/或被進(jìn)一步調(diào)制。本發(fā)明的另一方面提供了實現(xiàn)如本文所描述的方法的設(shè)備例如投影儀、顯示器，照明系統(tǒng)及其部件。動態(tài)自由曲面透鏡可以應(yīng)用于光投影系統(tǒng)中。這樣的光投影系統(tǒng)可以有利地是光效率的，提供高(局部)峰值亮度和高對比度(高動態(tài)范圍，HDR)。一些實施方式采用在唯相位SLM上實現(xiàn)的動態(tài)自由曲面透鏡。唯相位SLM可以與常規(guī)光阻擋SLM(例如級聯(lián)調(diào)制方法中的反射LCD)組合。當(dāng)如本文所述進(jìn)行控制時，相位調(diào)制器可以產(chǎn)生平滑但仍十分詳細(xì)的“焦散”圖像。如果需要，這樣的焦散圖像可以由幅度調(diào)制器進(jìn)一步調(diào)制。與常規(guī)投影儀相比，該方法可以提供更高的動態(tài)范圍和/或改進(jìn)的(局部)峰值亮度兩者。本申請尤其描述：·照明系統(tǒng)和投影儀，其中使用(近)準(zhǔn)直光來照射相位調(diào)制器，并且在相位調(diào)制器上尋址的相位圖案在具有或不具有其他光學(xué)元件的情況下形成期望光場或圖像；·用于產(chǎn)生使用相位調(diào)制器能夠以高幀速率動態(tài)光轉(zhuǎn)向的自由曲面透鏡配置的傅里葉域優(yōu)化方法；·實時自由曲面透鏡效應(yīng)算法及其在照明系統(tǒng)、投影儀和視頻/圖像處理系統(tǒng)中的應(yīng)用；·結(jié)合相位調(diào)制器和幅度調(diào)制器以用于圖像生成，并且能夠使用寬帶光以及單色光(例如激光)兩者工作的雙調(diào)制投影機(jī)設(shè)計。示例性自由曲面透鏡優(yōu)化方法基于一階(近軸)近似，其適用于長焦距并且廣泛地用于光學(xué)器件中。在該線性模型下，光的局部偏轉(zhuǎn)與相位調(diào)制函數(shù)的梯度成比例，同時強(qiáng)度與拉普拉斯算子(Laplacian)成比例。相位調(diào)制函數(shù)可以例如使用優(yōu)化方法在透鏡面而不是像平面中求解，以獲得非常簡單的實現(xiàn)方法，該方法直接優(yōu)化折射透鏡的形狀或相位函數(shù)而無需額外步驟。該方法可以在傅立葉域中非常有效地求解。在一些實施方式中，算法對于用于再現(xiàn)視頻序列的自由曲面透鏡效應(yīng)配置的即時(onthefly)計算足夠有效。一個示例性方面提供了雙調(diào)制投影儀設(shè)計，其中將僅影響照明的相位的一個空間光調(diào)制器與影響其幅度(強(qiáng)度)的一個空間光調(diào)制器組合。唯相位調(diào)制器對從其反射的光的波前進(jìn)行曲線化，并且用作常規(guī)幅度調(diào)制器的預(yù)調(diào)制器。這種方法與白光和激光照明一起工作，在沒有明顯能量損失的情況下生成粗糙的圖像表示。雙調(diào)制HDR投影儀設(shè)計使用自由曲面透鏡優(yōu)化方法來提供能量高效的高動態(tài)范圍和高強(qiáng)度投影。這種方法能夠使用白光(或其他寬帶光)照明以及相干激光。寬帶光的使用可以通過消除激光斑點和平均其他衍射偽影來顯著改善圖像質(zhì)量。高分辨率自由曲面透鏡的實時實現(xiàn)使得能夠使用諸如視頻處理。雙調(diào)制HDR投影儀可以完全由當(dāng)前市售的魯棒性部件構(gòu)成。在一些實施方式中，相位調(diào)制器在幅度調(diào)制器上創(chuàng)建平滑的但仍然相當(dāng)詳細(xì)的“焦散”圖像。由于焦散圖像僅僅重新分布或“重新分配”光，所以與使用單個幅度調(diào)制器來調(diào)制光的常規(guī)投影儀相比，該方法產(chǎn)生較高的動態(tài)范圍以及改進(jìn)的(局部)峰值亮度兩者。一些實施方式應(yīng)用線性模型，其中光的局部偏轉(zhuǎn)與相位調(diào)制函數(shù)的梯度成比例，以及強(qiáng)度與拉普拉斯算子成比例。一些實施方式將該模型的應(yīng)用與透鏡面而不是像平面中的優(yōu)化問題的參數(shù)化組合，以獲得非常簡單的實現(xiàn)方法，該方法直接優(yōu)化折射透鏡的形狀或相位函數(shù)，而無需任何附加步驟。雖然目標(biāo)函數(shù)由于圖像扭曲是非凸的，但是通常可以在幾次迭代內(nèi)實現(xiàn)算子收斂。如本文所描述的技術(shù)應(yīng)用于例如在光高效率、高(局部)峰值亮度和高對比度(高動態(tài)范圍，HDR)投影系統(tǒng)中的控制動態(tài)自由曲面透鏡方面。本發(fā)明的一些方面提供了可以應(yīng)用于有效地確定相位調(diào)制器的相位圖案以在像平面中創(chuàng)建期望光分布的算法。在一些實施方式中，在透鏡面中的位置處的相位與像平面的對應(yīng)區(qū)域之間建立(接近)一對一關(guān)系。這與傳統(tǒng)全息方法所需的發(fā)散或會聚光線或光束相反。其在附圖中示出和/或在下面的描述中描述他方面和示例性實施方式。附圖說明附圖示出了本發(fā)明的非限制性示例實施方式。圖1是針對圖像形成的示例性幾何圖形的示意圖。相位調(diào)制發(fā)生在透鏡面中，透鏡面被設(shè)置在距像平面為焦距f的距離處。這導(dǎo)致波前的曲率，波前的曲率由相位函數(shù)p(x)表示。圖2是示出由于微分面積dx的畸變引起的強(qiáng)度變化的示意圖。圖3是示出針對由高度場h(x)限定的自由曲面透鏡中的折射的幾何圖形的示意圖。圖4示出了在用于自由曲面透鏡效應(yīng)的算法中的階段。圖5C、圖5D和圖5E示出了使用本文所描述的方法制造的折射透鏡的示例。圖5A和圖5B示出了用于使用白光來驅(qū)動投影儀顯示的唯相位空間光調(diào)制器。相同的設(shè)置還可以使用激光照明。這種方法在節(jié)能雙調(diào)制HDR投影儀中特別有用。右邊圖像示出了針對基于目標(biāo)的焦散使用相同的自由曲面透鏡算法設(shè)計的折射透鏡。對于攝影目的，兩個結(jié)果都顯示在背面照明而不是前面的屏幕上，使得所顯示的“Lena”圖像顯示鏡像。圖6A和圖6B是原型實施方式的照片。窄帶動態(tài)透鏡效應(yīng)測試裝置的布局包括HeNe激光源、光束擴(kuò)展器、線性偏振濾光器和折疊式反射鏡、唯相位SLM和距SLM為50mm距離處的投影屏。用于產(chǎn)生自由曲面透鏡(在本例中為Siggraph標(biāo)志)的SLM相位圖案還顯示在筆記本屏幕上以用于可視化。應(yīng)注意，菲涅耳狀相位扭曲用于實現(xiàn)較大相變。底部：白光配置繞開激光器模塊，并且白光配置包括白色LED、準(zhǔn)直光學(xué)器件和線性偏振濾光器、唯相位SLM和距SLM為50mm距離處的投影屏。在該設(shè)置中的SLM針對550nm的中心波長進(jìn)行校準(zhǔn)。圖7是示例高亮度HDR投影儀的系統(tǒng)圖：來自經(jīng)擴(kuò)展且準(zhǔn)直的激光束的光被唯相位調(diào)制器反射。每像素的相位延遲量類似于使用如本文所述的算法計算的動態(tài)透鏡的高度場。該自由曲面透鏡的有效焦平面與由偏振分束器、LCoS微顯示器和投影透鏡組成的現(xiàn)成的反射投影頭在面內(nèi)。來自圖像的暗部分的光可以用于創(chuàng)建高亮度特征，并同時降低黑色級別。圖8是包括中間像平面的示例高亮度HDR投影儀的系統(tǒng)圖，其中，例如通過添加光成形漫射片對來自相位階段的光進(jìn)一步成形：來自經(jīng)擴(kuò)展且準(zhǔn)直的激光束的光被唯相位調(diào)制器反射。每像素的相位延遲量類似于使用如本文所述的算法計算的動態(tài)透鏡的高度場。該自由曲面透鏡的有效焦平面與中間像平面在面內(nèi)，中間像平面經(jīng)由中繼光學(xué)器件而被中繼到現(xiàn)成的反射投影頭上，現(xiàn)成的反射投影頭包括偏振分束器、LCoS微顯示器和投影透鏡。來自圖像的暗部分的光可以用于創(chuàng)建高亮度特征，并同時降低黑色級別。圖9示出了對模擬和捕獲的結(jié)果從上到下逐行進(jìn)行的比較。相位圖案：由算法1計算的相位圖案。模擬：預(yù)測圖像的惠更斯-菲涅耳模擬。直接：在沒有漫射片的情況下顯示衍射偽影的實際圖像的照片。漫射片：通過添加薄膜漫射片，幾乎完全減輕偽影諸如衍射條紋。標(biāo)準(zhǔn)：標(biāo)準(zhǔn)的照片，使用單個幅度調(diào)制器的僅幅度調(diào)制投影示出提高的黑色級別和低對比度。建議(HDR)：使用我們的透鏡效應(yīng)方法將光從暗區(qū)域重新分配到亮區(qū)域，導(dǎo)致改進(jìn)的黑色級別和增加的高亮強(qiáng)度。最后兩行由于相機(jī)的偏離角度位置而顯得輕微變形，相機(jī)的偏離角度位置由于短投投影和關(guān)閉屏幕以及擋板以有效地阻擋環(huán)境光以捕獲系統(tǒng)的黑色級別而變得必要。圖10A、圖10B和圖10C：與圖8中的位置A至位置C相關(guān)的從左到右：A：相位圖案存在于唯相位LCoS調(diào)制器處，B：由中間像平面(在漫射片之前)中的透鏡產(chǎn)生的直接圖像，以及C：強(qiáng)度分布在穿過薄膜光成形漫射片之后存在于幅度LCoS調(diào)制器處。圖11A、圖11B和圖11C示出了基于雙調(diào)制的示例性高動態(tài)范圍投影系統(tǒng)。第一階段對源照明相位進(jìn)行調(diào)制以形成粗糙中間圖像。這之后是用于形成最終圖像的幅度調(diào)制階段。因為光被重新分布而不是被阻擋，所以相較于常規(guī)投影，使用相位調(diào)制導(dǎo)致更大的對比度和更暗的黑色級別。圖12A示出了針對圖像形成模型的幾何圖形，其中，在透鏡面中發(fā)生相位調(diào)制p(x)，并且導(dǎo)致的偏轉(zhuǎn)在距離f處的像平面上創(chuàng)建焦散圖像。圖12B示出了像平面上的局部強(qiáng)度與透鏡面和像平面上的相應(yīng)斑塊之間的差分表面面積的變化相關(guān)。圖13A、圖13B和圖13C：通過鏡像填補(bǔ)所輸入的圖像，可以在保持Toeplitz矩陣結(jié)構(gòu)的情況下實現(xiàn)圖像邊緣處的純紐曼(pure-Neumann)邊界條件。這防止圖像邊界的畸變。模擬結(jié)果使用LuxRenderTM。圖14A、圖14B、圖14C和圖14D：LuxRender光線跟蹤模擬：平滑度參數(shù)α不利于圖像中的實現(xiàn)高亮度但是差的圖像質(zhì)量的強(qiáng)焦散。圖15：簡單示例性動態(tài)透鏡效應(yīng)測試設(shè)置的布局與寬帶光一起使用。來自光源諸如白色LED以及準(zhǔn)直光學(xué)器件(經(jīng)修改的閃光燈)連同線性偏振濾光器(為相位調(diào)制器的合理使用而設(shè)置的)的光束被以唯相位模式操作的SLM反射，并且到達(dá)面對SLM的距離為50mm處的小投影屏上。在該設(shè)置中的SLM針對550nm的中心波長進(jìn)行校準(zhǔn)。由于光引擎功率限制，盡管這種設(shè)置示出了相位調(diào)制在寬帶光的情況下是作用的，但是這種設(shè)置不足以驅(qū)動雙調(diào)制設(shè)置(降低的強(qiáng)度還在嵌體中引入相機(jī)捕獲噪聲)。這為未來寬帶照明相位+幅度雙調(diào)制設(shè)置鋪平了道路。例如，這樣的設(shè)置可以應(yīng)用工業(yè)標(biāo)準(zhǔn)氙燈泡、有成本效益的藍(lán)色激光+磷光體光源或LED作為光源。圖16：針對激光器的單個調(diào)制測試設(shè)置，包括光源(黃色盒，532nmDPSS激光器和激光器控制器)、光束擴(kuò)展和準(zhǔn)直光學(xué)器件(橙色盒)、反射相位SLM(藍(lán)色)、各種折疊式反射鏡和簡單的投影透鏡以將圖像從和中間像平面中繼到投影屏(綠色)上。計算機(jī)屏幕上顯示的相位圖案與光學(xué)路徑中的所需相位延遲線性相關(guān)以形成圖像。相位圖案在一個波長的倍數(shù)處被相位扭曲，并且可以被直接尋址到微顯示器SLM上。圖17：示例性高亮度HDR投影儀的簡化系統(tǒng)圖：來自經(jīng)擴(kuò)展且準(zhǔn)直的激光束的光被唯相位調(diào)制器反射。每像素的相位延遲量類似于使用我們的算法計算的動態(tài)透鏡的高度場。該自由曲面透鏡的有效焦平面與由偏振分束器以及LCoS微顯示器和投影透鏡組成的現(xiàn)成的反射投影頭在面內(nèi)。來自圖像的暗部分的光可用于創(chuàng)建高亮度特征，并同時降低黑色級別。圖18：對模擬和捕獲的結(jié)果從上到下逐行進(jìn)行的比較。相位圖案：由算法4.1計算的相位圖案。模擬：預(yù)測圖像的惠更斯-菲涅耳模擬。直接：在沒有漫射片的情況下顯示衍射偽影的實際圖像的照片。漫射片：通過添加薄膜漫射片，幾乎完全減輕偽影諸如衍射條紋。標(biāo)準(zhǔn)：標(biāo)準(zhǔn)的照片，使用單個幅度調(diào)制器的僅幅度調(diào)制投影示出提高的黑色級別和低對比度。建議的(HDR)：使用我們的透鏡效應(yīng)方法將光從暗區(qū)域重新分配到亮區(qū)域，從而導(dǎo)致改進(jìn)的黑色級別和增加的亮度強(qiáng)度。最后兩行由于相機(jī)的偏離角度位置而顯得輕微變形，相機(jī)的偏離角度位置由于短投投影和關(guān)閉屏幕以及擋板以有效地阻擋環(huán)境光以捕獲系統(tǒng)的黑色級別而變得必要。圖19A和圖19B：在LDR比較模式(左邊圖像)和HDR模式(右邊圖像)中的原型投影儀的照片。左邊：光重新分布被激活，從而導(dǎo)致增加的峰值亮度和降低的黑色級別。右邊：使用相同的硬件進(jìn)行比較的LDR投影儀。在LDR模式下，平坦相位分布導(dǎo)致在幅度衰減器(第二SLM)處的均勻照明分布。每個圖像被豎直分割以在左半部分顯示長曝光時間(暗級別細(xì)節(jié)是可見的)和在右側(cè)顯示短曝光(高亮中的細(xì)節(jié)是可見的)。兩種曝光在屏幕上具有相同的投影圖像。具體實施方式通過下面的描述，闡述了具體細(xì)節(jié)以提供對本發(fā)明的更透徹的理解。然而，本發(fā)明可以在沒有這些細(xì)節(jié)的情況下實施。在其他情況下，沒有詳細(xì)示出或描述公知元件，以避免不必要地模糊本發(fā)明。因此，說明書和附圖被認(rèn)為是說明性的而不是限制性的。自由曲面透鏡效應(yīng)一些實施方式提供了確定在被照射時提供所需光場的透鏡形狀或相位函數(shù)的新方法。該方法的輸出可以應(yīng)用于對相位調(diào)制器或可變透鏡或可變反射鏡進(jìn)行控制以得到所需的光場。在根據(jù)一些實施方式的顯示中，唯相位SLM用作可編程自由曲面透鏡?？梢允褂脤拵Ч?例如白光)照射透鏡。這消除了斑點，同時透鏡調(diào)制圖案的空間平滑度減少了衍射偽影。任何剩余的衍射被照明的寬帶特性所平均，僅導(dǎo)致可以在雙調(diào)制設(shè)置中被建模和補(bǔ)償?shù)纳倭康哪：?。一些實施方式針對相位函?shù)或等效地對透鏡形狀直接進(jìn)行優(yōu)化，而不需要隨后的積分步驟。這通過直接在透鏡面而不是像平面中表達(dá)優(yōu)化的問題的參數(shù)化來促進(jìn)。相較于文獻(xiàn)中描述的方法，這導(dǎo)致自由曲面透鏡優(yōu)化問題更簡單的等式。相位調(diào)制圖像形成本申請部分地涉及用于通過使用不吸收太多光但在像平面內(nèi)四處移動調(diào)制器的調(diào)制器來顯示所需的光圖案的方法。以此方式，可以將光從暗圖像區(qū)域重新分配到亮圖像區(qū)域。例如，可以對調(diào)制器進(jìn)行控制以提供移動的亮光點。適用于此應(yīng)用的調(diào)制器的示例是以唯相位方式操作的LCoSSLM。SLM可以具有合適的分辨率諸如1、25或更大的兆像素?？梢酝ㄟ^對連續(xù)相位函數(shù)進(jìn)行優(yōu)化來實現(xiàn)對SLM的控制，該連續(xù)相位函數(shù)表示當(dāng)光通過SLM時光波前的所需曲率。根據(jù)不同實施方式的設(shè)備和方法使得能夠使用寬帶光(例如來自燈、LED或具有不同波長的激光器陣列)以及單色激光。相位調(diào)制陣列諸如在唯相位配置中操作的基于液晶的SLM被應(yīng)用為可編程自由曲面透鏡。能夠使用寬帶照明幫助消除屏幕斑點，同時透鏡調(diào)制圖案的空間平滑度減少其他偽影諸如衍射。像平面中的任何剩余衍射效應(yīng)可以被照明的寬帶特性所平均，從而僅導(dǎo)致通過設(shè)置一個或更多個附加調(diào)制器來易于被建模和補(bǔ)償?shù)纳倭磕：?。一種針對相位函數(shù)(即透鏡面中的波前的形狀)或等效地透鏡形狀直接進(jìn)行優(yōu)化而不需要隨后的積分步驟的方法涉及使得能夠直接在透鏡面而不是像平面中表達(dá)優(yōu)化的問題的參數(shù)化。為了得到用于相位調(diào)制顯示的圖像形成模型，考慮圖1所示的幾何配置：透鏡面和像平面(例如屏幕)距離焦距f彼此平行地放置。準(zhǔn)直光在透鏡面處從法線方向入射。透鏡面中的相位調(diào)制器(或透鏡)使光的相位變形，從而導(dǎo)致曲線形的相位函數(shù)p(x)，其對應(yīng)于光線的局部偏轉(zhuǎn)。在相關(guān)實施方式中，在透鏡面中設(shè)置可變反射鏡。由平滑相位函數(shù)引入的相位延遲的影響可以與近軸近似下的等效物理折射透鏡相關(guān)，這可以使用幾何光學(xué)或者根據(jù)Hyugens原理導(dǎo)出。當(dāng)sinθ≈θ時，近軸近似適用。對于|θ|≤12°的投影系統(tǒng)(在本示例中，全范圍與將光從圖像的一側(cè)重新定向到另一側(cè)對應(yīng))，近軸近似的誤差小于1％。這有利于針對相位表面直接進(jìn)行優(yōu)化。使用對于小偏轉(zhuǎn)角有效的簡單近軸近似sinφ≈φ，可以示出像平面中的幾何位移與相位函數(shù)的梯度成比例。關(guān)于對于小偏轉(zhuǎn)角有效的近軸近似sinφ≈φ，在2D中獲得在3D中，這導(dǎo)致用于透鏡面上的點x與像平面上的對應(yīng)點u之間的映射的下述等式：強(qiáng)度調(diào)制使用上述映射，我們可以導(dǎo)出與該變形相關(guān)聯(lián)的強(qiáng)度變化。令dx為透鏡面上的微分面積，并且令du＝m(x)·dx為像平面上對應(yīng)區(qū)域的微分面積，其中，m(.)為空間變化放大因數(shù)。然后給出像平面上的強(qiáng)度為其中，i0是入射在透鏡面上的準(zhǔn)直光的強(qiáng)度。在下面，為了簡化符號，假設(shè)i0＝1。這對應(yīng)于透鏡面的均勻照明。放大因數(shù)m(.)可以根據(jù)透鏡面與像平面之間的映射的導(dǎo)數(shù)來表示(還參見圖2)：這得到對于像平面上的強(qiáng)度分布的以下表達(dá)式：換言之，可以根據(jù)透鏡面上的標(biāo)量相位函數(shù)的拉普拉斯算子直接計算放大率m以及因此像平面上的強(qiáng)度i(u)。優(yōu)化問題雖然可以將根據(jù)等式5的圖像形成模式直接轉(zhuǎn)換成優(yōu)化問題，但是我們發(fā)現(xiàn)可以通過首先使用一階泰勒近似法使該等式線性化來實現(xiàn)更好的收斂，這得到其中，左邊側(cè)可以被解釋為像平面中的目標(biāo)強(qiáng)度i(u)使用由給定相位函數(shù)p(x)產(chǎn)生的畸變u(x)而被向后扭曲到透鏡面上的扭曲圖像根據(jù)該圖像形成模型，可以構(gòu)建下述優(yōu)化問題以用于確定給定目標(biāo)圖像i(u)的相位函數(shù)p(x)：其中，ip是扭曲圖像其中像平面中的目標(biāo)強(qiáng)度i(u)使用由給定相位函數(shù)p(x)產(chǎn)生的畸變u(x)向后扭曲到透鏡面上。這個優(yōu)化問題可以通過在更新相位函數(shù)與更新扭曲圖像之間進(jìn)行迭代來解決，如以下示例性算法0所示：在將i(.)和p(.)直接離散化為像素之后，相位更新與使用離散拉普拉斯算子作為系統(tǒng)矩陣求解線性最小二乘問題對應(yīng)?？梢允褂冒ü曹椞荻?CG)、BICGSTAB和準(zhǔn)最小殘差(QMR)的多個不同算法中的任何一個來解決這種正半定系統(tǒng)。這樣的算法可以由程序執(zhí)行。圖像扭曲與簡單的紋理映射操作對應(yīng)，這可以在GPU(圖形處理器單元)上有效地實現(xiàn)。在圖4中示出該算法的收斂行為，圖4示出了六次迭代的算法階段。隨著相位函數(shù)p(k)朝向解而收斂，目標(biāo)圖像i通過向后扭曲到透鏡面i～k)上而逐漸變形。算法使用未變形的目標(biāo)圖像來優(yōu)化初始相位函數(shù)。使用這個相位函數(shù)，通過向后扭曲像平面目標(biāo)來更新透鏡面上的目標(biāo)圖像。隨著相位函數(shù)收斂，該過程越來越扭曲調(diào)制器平面的目標(biāo)圖像。雖然向后扭曲步驟意味著非凸目標(biāo)函數(shù)，但是根據(jù)經(jīng)驗發(fā)現(xiàn)，僅在較少次數(shù)的迭代(5-10)中實現(xiàn)收斂。通過首先處理較低的圖像分辨率并且上采樣結(jié)果，可以進(jìn)一步加速總體處理時間。傅立葉域中的解可以通過理解該方法的計算成本主要是由于大規(guī)模雙調(diào)和問題的解而進(jìn)一步提高該算法的收斂速度。例如，可以采用Krylov子空間方法(QMR)，然而由于難以找到有效的預(yù)處理器以及系統(tǒng)的規(guī)模，收斂通常較慢。用于雙調(diào)和系統(tǒng)的有效解的算法是正在進(jìn)行的研究主題，包括例如預(yù)處理方法[Silvester和2004]，多網(wǎng)格方法[Zhao2004]和算子分裂方案[Tang和Christov2006]。將這些縮放到實時成像問題所需的數(shù)百萬個自由度是極具挑戰(zhàn)性的。基于近鄰算子的替代方法可以使得能夠在傅里葉域中表示問題，并且因此使用高度可平行的快速傅立葉變換庫來有效地解決問題。這種替代方法允許使用商品低成本數(shù)據(jù)處理器來實時或接近實時地獲得解。例如，如在[Ng等人，1999]中所描述的鏡像填補(bǔ)輸入圖像使得由▽4的離散化引起的系統(tǒng)具有在標(biāo)稱圖像邊緣處的純紐曼邊界條件的周期性邊界條件。這在圖3中示出。這種修改使得目標(biāo)函數(shù)(等式7)中的乘積▽4p經(jīng)由傅立葉卷積定理被表示為卷積，這使得能夠使用更快的傅立葉域解算器。對于周期性邊界條件，這個問題可以通過使用近鄰算子在傅里葉空間中非常有效地求解。根據(jù)稀疏優(yōu)化的近鄰方法使得能夠在不破壞系統(tǒng)的結(jié)構(gòu)的情況下進(jìn)行正則化。對于任意凸函數(shù)F(z)，近鄰算子proxγF(在等式8中限定)像其中尋找減小F但不離輸入變元q太遠(yuǎn)的z的值的信任區(qū)域優(yōu)化的單個步驟那樣作用：對于最小二乘目標(biāo)所產(chǎn)生的近鄰算子如等式9所示。proxγF(q)＝(γ+ATA)-1(γq+ATb)(9)由于近鄰算子包含嚴(yán)格凸正則化項，所以即使F只是弱凸，整個算子也是嚴(yán)格凸函數(shù)。近鄰算子的這個屬性有助于設(shè)計具有快速收斂的算法。直接的定點優(yōu)化算法、近點方法[Parikh和Boyd2013]利用這一點通過對目標(biāo)的近鄰算子(即zk+1＝proxγF(zk))重復(fù)求值直到收斂到F的極小值為止來優(yōu)化嚴(yán)格凸函數(shù)或弱凸函數(shù)。由于近似正則化項還可以表示為Toeplitz矩陣(簡單的單位矩陣)，所以近似正則化項不會破壞問題的循環(huán)結(jié)構(gòu)，也不會通過進(jìn)行不必要的正則化來改變解。通過將正向傅立葉變換和反向傅立葉變換分別表示為F()&F-1()，通過*的復(fù)共軛以及逐點執(zhí)行乘法和除法，針對Toeplitz矩陣A，等式7的近鄰算子可以在傅立葉域中重新表示為等式10。已經(jīng)添加常數(shù)α≥0以通過使解滿足低曲率來對解算器進(jìn)行正則化。這與對經(jīng)形式修改的施以的不利后果的等式7進(jìn)行求解相對應(yīng)，如等式11所示參數(shù)α的影響是相較于可以以其他方式找到的解給予更平滑的解。這有助于防止該方法產(chǎn)生不需要的焦散，試圖在較暗區(qū)域中以圖像質(zhì)量為代價實現(xiàn)非常亮的高亮。圖13顯示了α參數(shù)對模擬的影響。通過限定和以及q＝pk(x)，上述問題可以使用算法1在傅里葉空間中迭代求解。這個改變使得能夠進(jìn)行使用一個正向/反向傅立葉變換、一個圖像扭曲和一些次要的分量形式的操作來計算的非線性求解的每次迭代。如圖所示，等式11是公共近鄰算法即近點方法的非線性變體，其是用于使通過求值：pk+1←proxγF(pk)由遞歸地調(diào)用proxγF組成的任意凸F最小的定點算法。算法的重新形成導(dǎo)致當(dāng)使用基于FFT的解算器在CPU上執(zhí)行算法時比上述QMR解算器快幾個數(shù)量級。如果QMR解算器的每一幀計算時間為20分鐘或更長，則算法1中的傅里葉版本在Corei5臺式計算機(jī)上在相同分辨率(256×128)下需要約0.6秒，約2000倍的加速。到傅里葉域解的轉(zhuǎn)換還導(dǎo)致更容易實現(xiàn)以在一個或更多個GPU上并行運行的操作。已經(jīng)在C++和使用CUFFT的CUDA兩者中針對正向和反向傅立葉變換[NVIDIA]實現(xiàn)了算法算法。當(dāng)在GeForce770GPU上運行時，代碼的CUDA&CUFFT版本得到的速度比單線程CPU版本高出近150倍，比使用QMR實現(xiàn)的原生CPU版本產(chǎn)生的速度高出大約300,000倍。本文描述的算法是發(fā)明人知道的能夠?qū)崟r操作的第一自由曲面透鏡方法，參見表1。這與產(chǎn)生令人滿意的結(jié)果的方法諸如[Schwartzburg等人，2014]形成對比，但是比我們的GPU算法在運行時間上高出約5個數(shù)量級。這目前防止其在能夠?qū)崟r投影系統(tǒng)中的使用。算法分辨率運行時間CPU256×128600msGPU256×1284msGPU480×27014msGPU960×54052msGPU1920×1080212ms表1：使用算法1的10次迭代的各種分辨率輸入的運行時間該算法因為其使用高度平行的FFT和分量形式的操作而非常適合于在裝置諸如GPU、FPGA或ASIC上的硬件實現(xiàn)。針對固定次數(shù)的迭代(通常為10)運行算法1。收斂到解是快速的，需要少于10次的迭代；然而對于硬件實現(xiàn)，非常期望具有獨立于幀內(nèi)容的計算時間。平滑因子α的選擇可以在某種程度上取決于內(nèi)容。模擬結(jié)果使用物理透鏡與相位函數(shù)之間的等同使得能夠生成固體透鏡模型，以用于經(jīng)由幾何光學(xué)模擬進(jìn)行測試(使用Blender+LuxRender)。雖然這些模型可能不滿足近軸近似，但是因為厚度效應(yīng)傾向于表現(xiàn)為低空間頻率畸變，所以這些模型很好地用于快速定性比較。在圖12和圖13中示出了示例，圖12和圖13分別示出了鏡像填補(bǔ)的效果和α的選擇。重要的是應(yīng)注意，因為原型很好地符合近軸近似的條件，所以這些畸變不影響原型投影儀結(jié)果。當(dāng)需要更高的物理準(zhǔn)確度時，可以應(yīng)用惠更斯-菲涅耳模擬，其將(復(fù)雜)入射照明近似為(復(fù)雜)點源的疊加。雖然模擬的增加的成本將分辨率限制在需要解決來自離散像素的衍射效應(yīng)的水平之下，但是模擬結(jié)果顯示在圖18和圖20中，并且與實驗觀察到的結(jié)果(例如參見“模擬”和“直接”圖像中的Marilyn的鼻子上的焦散)很好地一致。來自激光光源的斑點類似地不被建模?；谶@些結(jié)果，得出下述結(jié)論：主要如預(yù)期地執(zhí)行相位調(diào)制，并且圖像質(zhì)量的主要限制是衍射偽影和斑點。靜態(tài)折射透鏡相位函數(shù)p(x)可以直接用于驅(qū)動數(shù)字相位調(diào)制顯示(參見下文)。然而，如果替代，可以用透明材料創(chuàng)建折射透鏡表面，然后該相位函數(shù)可以被轉(zhuǎn)換為透鏡形狀的幾何模型?？梢詫υ谝粋?cè)上是平坦的并且在另一側(cè)上具有自由曲面高度場h(x)的透鏡形狀進(jìn)行建模(參見圖3)。在(x，z)平面中，偏轉(zhuǎn)角φ與高度場處的入射角(√i)和出射角(θ0)有關(guān)，如下所示在(y，z)平面中存在類似關(guān)系。另外，透鏡材料的折射率為n。使用斯涅耳定律，再次近軸近似，可以獲得使用等式12和等式13以及可以導(dǎo)出透鏡形狀為其中，h0是透鏡的基底厚度。高度h(x)是相位的線性函數(shù)。折射率n僅呈現(xiàn)為相位函數(shù)p(.)的標(biāo)量乘數(shù)。由于p本身在焦距f處近似線性，因此可以看出，高度場的均勻縮放和折射率的均勻變化僅將自身表現(xiàn)為透鏡的重新聚焦。這還示出等同地可以調(diào)整上面提出的示例性優(yōu)化過程以直接優(yōu)化h(.)而不是p(.)。上述公式在僅因為例如空間相位調(diào)制器用于視頻投影儀中尋求控制的情況下是優(yōu)選的。圖5和圖5A的右邊圖像示出了一些示例性3D打印的折射透鏡。在圖5中，左邊圖像示出了透鏡本身，以及中心圖像和右邊圖像示出了由透鏡產(chǎn)生的焦散(Lena圖像和Siggraph標(biāo)志)。由于3D打印機(jī)的分辨率限制，針對大特征尺寸對透鏡尺寸進(jìn)行了優(yōu)化，這導(dǎo)致短焦距。圖5和圖5A的右邊圖像示出了使用利用我們的方法生成的折射自由曲面透鏡的基于目標(biāo)的焦散的結(jié)果。使用VeroClearTM材料在ObjetConnex260快速原型機(jī)上將透鏡(圖5的左側(cè)所示)3D打印。然后，徹底清潔透鏡，并且使用細(xì)粒砂紙和拋光膏手動拋光許可側(cè)。這種類型的3D打印機(jī)具有42μm的層厚度，這限制了可以被容易創(chuàng)建的特征尺寸。如上所述，可以對模型進(jìn)行重新縮放以實現(xiàn)不同的焦距。為了適應(yīng)制造方法的分辨率限制，選擇非常短的焦距f(對于Siggraph標(biāo)志約為1″，對于Lena圖像約為5″)。雖然這些尺度測試了在圖像形成模型的推導(dǎo)中使用的近軸近似的極限，但是圖像質(zhì)量仍然相當(dāng)好。通過更好的制造方法如注塑成型、高精度銑削或甚至3D打印表面的詳細(xì)手動拋光，可以同時改進(jìn)圖像質(zhì)量并且減小特征尺寸，使得遠(yuǎn)場投影變得可行。動態(tài)透鏡效應(yīng)為了在投影顯示中應(yīng)用自由曲面透鏡概念，可以應(yīng)用能夠?qū)Ψ瓷涔饣蛲干涔獾牟ㄇ暗男螤钸M(jìn)行操縱的空間光調(diào)制器。幾種不同的技術(shù)可用于此目的。幾個自適應(yīng)光學(xué)裝置自身適合于實時視頻能力實現(xiàn)。這樣的裝置包括基于顯示的微機(jī)電系統(tǒng)(MEMS)如由[Hoskinson等人，2012]制造的反射鏡的模擬2D陣列、或者在波前感測和校正應(yīng)用中使用的可變形反射鏡。連續(xù)可變形反射鏡[Menn等人，2007]似乎是特別有吸引力的選擇，因為它們消除了由于規(guī)則像素結(jié)構(gòu)而引起的衍射。雖然已經(jīng)報道了具有許多4096致動器的功能鏡，但是這些基于MEMS的裝置的空間分辨率仍然比在數(shù)字投影儀中常規(guī)使用的現(xiàn)有數(shù)字微顯示的空間分辨率低幾個數(shù)量級。這使得它們在這一點上的使用在雙調(diào)制設(shè)置中不太有吸引力。一些實施方式有利地應(yīng)用基于液晶顯示(LCD)技術(shù)的波前調(diào)制器。LCD通常通過將基于液晶顯示(LCD)技術(shù)的波前調(diào)制器夾在兩個線性偏振濾光器之間而被配置成幅度(強(qiáng)度)調(diào)制器。然而，當(dāng)在沒有第二偏振器的情況下操作時，基于液晶顯示(LCD)技術(shù)的波前調(diào)制器取決于每個像素中的液晶的旋轉(zhuǎn)狀態(tài)而不同地延遲(調(diào)制)通過光的相位。跨越每個像素的單元間隙的電場控制相位延遲的量。原則上，這樣的標(biāo)準(zhǔn)顯示器足以實現(xiàn)動態(tài)透鏡效應(yīng)。然而，還存在專用的商業(yè)上可獲得的微顯示器，其已經(jīng)被優(yōu)化為a)使相位延遲的量最大化(2π和更大數(shù)量級)，以及b)使偏振變化的量最小化。因此，這種類型的SLM的像素值直接對應(yīng)于如上導(dǎo)出的相位函數(shù)p(.)。因為需要更厚的單元間隙，所以較大的相位延遲使得透鏡表面具有更陡的梯度，但是以切換速度為代價。如果SLM中的相位變化不影響偏振狀態(tài)(“唯相位”)，則這使得能夠?qū)⒃擄@示器與沿光學(xué)路徑更遠(yuǎn)的其他光電部件結(jié)合使用，特別是用于雙調(diào)制目的的傳統(tǒng)幅度SLM。有關(guān)該主題的更多信息，請參閱[Robinson等人，2005]。示例性原型實施方式使用由[HOLOEYE]分發(fā)的反射式硅上液晶(LCoS)芯片。該芯片在6.4μm的像素間距處具有1920×1080個離散像素的空間分辨率，并且可以在高達(dá)60Hz時更新。訪問查找表使得能夠針對不同的工作波長校準(zhǔn)調(diào)制器。與其他技術(shù)相比，顯示器的填充因子和反射率分別高達(dá)93％和75％。相位延遲被校準(zhǔn)在0與2π之間，等于一個波長的光。這足以產(chǎn)生具有長焦距的自由曲面透鏡。對于較短的焦距，需要更強(qiáng)烈的曲線化波前，這為p(.)創(chuàng)建更大的值。可以通過相位扭曲來解決這個問題，即，僅使用p(.)的小數(shù)部分來驅(qū)動SLM。這導(dǎo)致類似于菲涅耳透鏡的圖案。建造了兩個測試臺。第一個原型包含沒有第二幅度調(diào)制器的相位SLM，并且可以在兩種類型的光源之間重新配置：紅色632.8nmHeNe激光器；和白色LED。這個原型使得能夠單獨測試自由曲面透鏡效應(yīng)方法，并且評估基于光源類型的偽影諸如衍射。第二個原型是使用綠色532nm二極管泵浦固態(tài)(DPSS)激光器作為光源的全雙調(diào)制投影儀。由于其良好的光束質(zhì)量和低功率，首先實施使用HeNe氣體激光器的基于激光的系統(tǒng)，這使得其在實驗中安全(圖6，上圖)。這種裝置使得能夠確認(rèn)和分析期望觀察到的衍射圖案。相較于基于衍射的投影方法[Slinger等人，2005]，基于折射原理的方法的顯著優(yōu)點是對光源降低要求。在2D全息投影系統(tǒng)中使用的衍射圖案理想地需要空間和時間相干光以用于圖像形成，我們的方法使得能夠使用部分準(zhǔn)直的寬帶光進(jìn)行光重新定向。這是有利的，因為即使最近的基于激光的投影系統(tǒng)需要加寬以減少偽影如屏幕斑點對比度以及觀察者同色異譜。演示使用單個白色寬帶LED作為光源的原型。在該示例中，LED具有短波長發(fā)光管芯(藍(lán)色)和轉(zhuǎn)換熒光體(綠色-黃色)。參見圖6，下圖。還使用532nmDPSS激光器在基于激光的系統(tǒng)上應(yīng)用新圖像形成方法(圖16)。與LED方法相比，激光光源的光功率(500mW)足以將所得的光強(qiáng)度分布中繼并放大到較大的投影屏上用于評估。圖5.2包括通過系統(tǒng)的這個第一的單階段的唯相位部分投影的各種人工和自然測試圖像的照片。如通過波前模擬(圖18，第二行)所預(yù)期和后來證實的，單頻率激光器的使用導(dǎo)致包括由于干擾引起的明顯的屏幕斑點對比度和衍射“條紋”的偽影(圖18，第三行)。如前所述，通過使用例如具有不同中心波長的一組激光器或?qū)拵Ч庠粗T如LED和燈[2015]，這些偽影可以減少到低于可察覺的可見閾值。可以通過使用例如漫射片或在高速下以偽隨機(jī)方式引入微小的角度多樣性的商業(yè)上可獲得的連續(xù)可變形反射鏡來在空間或時間上平均圖像來實現(xiàn)類似的圖像“平滑”效果。這在限制到例如在測試裝置中使用窄帶光源時是特別有用的。為了易于實現(xiàn)，選擇使用被放置在相位SLM之后的中間像平面中的薄膜漫射片?？梢栽?圖8，第四行)看到“凈化”強(qiáng)度分布的照片。還演示了高亮度、高動態(tài)范圍投影系統(tǒng)的第一原型，其中，基于動態(tài)透鏡效應(yīng)方法形成圖像，并使用傳統(tǒng)的基于LCoS的幅度調(diào)制顯示來提供額外的清晰度和對比度。在高水平，傳統(tǒng)投影系統(tǒng)的光學(xué)路徑包括高強(qiáng)度光源和某種形式的光束成形，例如光束擴(kuò)展、準(zhǔn)直和均勻化、顏色分離和重組光學(xué)器件。在投影儀的心臟處，小的SLM衰減每像素的光的幅度。我們的原型保留了這種架構(gòu)，但用激光照明和相位SLM替代均勻照明模塊(圖7)。透鏡效應(yīng)系統(tǒng)插入在光源與現(xiàn)有SLM之間，并且在與SLM平面一致的中間像平面上形成近似的光分布。自由曲面透鏡效應(yīng)方法將光從暗的圖像區(qū)域重新分布到明亮的圖像區(qū)域，從而增加對比度和局部峰值亮度兩者，已知其對視覺真實性具有顯著影響[Rempel等人，2011]。最初使用用于相位SLM的粗糙正向圖像形成模型來預(yù)測存在于第二的僅幅度調(diào)制器處的照明分布。給定來自自由曲面透鏡效應(yīng)算法的相位函數(shù)，使用來自等式2和等式4的簡單模型來預(yù)測像平面上的光分布。在中間像平面處在漫射片處引入的平滑度的量可以使用模糊核進(jìn)行近似，然后獲得幅度調(diào)制器所需的調(diào)制圖案，以在需要時引入任何缺失的空間信息以及附加對比。應(yīng)注意，需要整個光學(xué)系統(tǒng)的表征和仔細(xì)校準(zhǔn)以最佳地驅(qū)動SLM。對于這項工作，除了兩個圖像的仔細(xì)空間配準(zhǔn)(由SLM上的幅度調(diào)制和相位延遲引起的照明分布)和校準(zhǔn)到光強(qiáng)度的線性增量之外，不進(jìn)行其他明顯努力。類似于平板HDR顯示器的情況[Seetzen等人，2004]，可以使用用于相位SLM的正向圖像形成模型來預(yù)測第二的僅幅度調(diào)制器的“背光”照明?？梢酝ㄟ^HDR目標(biāo)圖像除以“背光”圖案來獲得用于幅度調(diào)制器的調(diào)制圖案。圖18示出了我們的方法的模擬的選擇和實驗結(jié)果。圖18的第一行(“相位圖案”)示出了通過算法4.1計算的應(yīng)用于相位調(diào)制器的相位圖案，其中黑色對應(yīng)于沒有相位延遲，以及白色對應(yīng)于2π的延遲。這些圖案示出了具有大于2π的最大相位延遲的相位圖案如何能夠扭曲到調(diào)制器的最大相位延遲，導(dǎo)致類似于菲涅耳透鏡的圖案。圖18的第二行('模擬')示出了使用惠更斯-菲涅爾原理的相位圖案的模擬。不像幾何光學(xué)模擬如路徑跟蹤，這些模擬能夠捕獲許多衍射偽影。第三行(“直接”)示出了僅使用顯示由于激光斑點引起的噪聲以及衍射偽影的相位調(diào)制的原型的照片。通過在圖18的第四行(“漫射”)中引入漫射片，可以幾乎完全去除這些偽影；該行的照片使用與“直接”行相同的相機(jī)設(shè)置。相位圖案：通過算法1計算的相位圖案。模擬：預(yù)測圖像的惠更斯-菲涅耳模擬。直接：在沒有漫射片的情況下顯示衍射偽影的實際圖像的照片。漫射片：通過添加薄膜漫射片，幾乎完全減輕偽影諸如衍射條紋。標(biāo)準(zhǔn)：標(biāo)準(zhǔn)的照片，使用單個幅度調(diào)制器的僅幅度調(diào)制投影示出提高的黑色級別和低對比度。建議(HDR)：使用我們的透鏡效應(yīng)方法將光從暗區(qū)域重新分配到亮區(qū)域，導(dǎo)致改進(jìn)的黑色級別和增加的亮度強(qiáng)度。最后兩行由于相機(jī)的偏離角度位置而顯得輕微變形，相機(jī)的偏離角度位置由于短投投影和關(guān)閉屏幕以及擋板以有效地阻擋環(huán)境光以捕獲系統(tǒng)的黑色級別而變得必要。在圖18的第五行(“標(biāo)準(zhǔn)”)中，示出了使用僅幅度調(diào)制器操作的我們的雙調(diào)制投影儀的照片。這通過提供恒定值相位函數(shù)來禁用光重新分布來實現(xiàn)。結(jié)果是典型的單級投影儀，泄漏的光污染黑色級別并且整體對比度由于可用的功率限制高亮強(qiáng)度的低效使用而變得低。最后，在圖18的最后一行(“建議(HDR)”)中，顯示了我們提出的相位+幅度雙調(diào)制方法的照片。這些照片是使用與“標(biāo)準(zhǔn)”結(jié)果(第五行)相同的相機(jī)裝置捕獲的，并且示出我們的方法不僅恢復(fù)更好的黑色級別，而且如預(yù)期地通過將光從圖像的暗區(qū)域重新分布到較亮區(qū)域來增加高亮的亮度。這使得更好地利用可用功率，實現(xiàn)高動態(tài)范圍投影，與雙幅度調(diào)制方法相比，功耗大大降低。圖5A(左)示出了在該裝置的白光版本上再現(xiàn)的Lena圖像。如所預(yù)期的，寬帶照明將大多數(shù)衍射偽影平均化，僅產(chǎn)生相對小的空間模糊，非常類似于Seetzen等人[2004]的原始雙調(diào)制工作中的背光模糊。該模糊可以被容易地校準(zhǔn)并且可以在雙調(diào)制設(shè)置中進(jìn)行補(bǔ)償。來自我們的雙調(diào)制設(shè)置的結(jié)果顯示在圖9和圖10中。圖9僅示出了自由曲面透鏡效應(yīng)方法的效果，其中幅度SLM設(shè)置為恒定值。如在HeNe激光器設(shè)置中，盡管由于較大的焦距而在文中較不明顯，但是可以識別一系列衍射偽影，并且減少相位扭曲的使用。圖10示出了實際雙調(diào)制方法的結(jié)果。第二調(diào)制器階段具有增加的對比度和增加的顯著細(xì)節(jié)，但是不能消除一些高頻偽影。以下參考文獻(xiàn)提供背景信息，并且在此通過引用并入本文?！ERRY,M.2006.OrientalmagicmirrorsandtheLaplacianimage.歐洲物理學(xué)報，27,1,109.·BIMBER,0.和IWAI,D.2008.Superimposingdynamicrange.美國計算機(jī)學(xué)會圖形學(xué)匯刊.27,5,150.·BLACKHAM,G.和NEALE,A.,1998.Imagedisplayapparatus,3月18.歐洲專利申請.EPI9,970,306,624.·BUCKLEY,E.2008.70.2:Invitedpaper:holographiclaserprojectiontechnology.InProc.SID,卷.39,1074-1079.·DAMBERG,G.,SEETZEN,H.,WARD,G.,HEIDRICH,W.和WHITEHEAD,L.2007.3.2:Highdynamicrangeprojectionsystems.InProc.SID,卷.38,威利在線圖書館,4-7.·DAMBERG,G.,SEETZEN,H.,WARD,G.,KANG,M.,LONGHURST,P.,HEIDRICH,W.和WHITEHEAD,L.2007.Highdynamicrangeprojector.Siggraph新興技術(shù).·FINCKH,M.,DAMMERTZ,H.和LENSCH,H.P.2010.Geometryconstructionfromcausticimages.InProc.ECCV,464-477.·HAUGEN,P.R.,BARTELT,H.和CASE,S.K.1983.Imageformationbymultifacetholograms.應(yīng)用光學(xué)22,18,2822-2829.·HOLOEYE.Photonicscorporation.URLhttp://www.holoeye.com.·HOSKINSON,R.,STOEBER,B.,HEIDRICH,W.和FELS,S.2010.Lightreallocationforhighcontrastprojectionusingananalogmicromirrorarray.美國計算機(jī)學(xué)會圖形學(xué)匯刊(TOG)29,6,165.·HOSKINSON,R.,HAMPL,S.和STOEBER,B.2012.Arraysoflarge-area,tip/tiltmicromirrorsforuseinahigh-contrastprojector.傳感器和致動器A:物理l73,1,172-179.·HULLIN,M.B.,IHRKE,I.,HEIDRICH,W.,WEYRICH,T.,DAMBERG,G.,ANDFUCHS,M.2013.Stateoftheartincomputationalfabricationanddisplayofmaterialappearance.Eurographies年會(STAR).·KISER,T.,EIGENSATZ,M.,NGUYEN,M.M.,BOMPAS,P.,ANDPAULY,M.2013.Architecturalcausticscontrollinglightwithgeometry.先進(jìn)建筑幾何2012.施普林格出版公司,91-106.·[Kusakabe等人.2009]Kusakabe,Y.,Kanazawa,M.,Nojiri,Y.,Furuya,M.和Yoshimura,M.2009.Ahigh-dynamic-rangeandhigh-resolutionprojectorwithdualmodulation,卷.7241,72410Q-72410Q-11.·LESEM,L.,HIRSCH,P.和JORDAN,J.1969.Thekinoform:anewwavefrontreconstructiondevice.研究和發(fā)展的IBM期刊13,2,150-155.·MENN,S.,CORNELISSEN,S.A.和BIERDEN,P.A.2007.Advancesinmemsdeformablemirrortechnologyforlaserbeamshaping.In光學(xué)裝置+應(yīng)用,光學(xué)和光子學(xué)的國際社團(tuán)66630M-66630M.·MINANO,J.C,BENITEZ,P.和SANTAMARIA,A.2009.Freeformopticsforillumination.光學(xué)評論16,2,99-102.·[Ng等人.1999]Ng,M.K.,Chan,R.H.和Tang,W.-C.1999.Afastalgorithmfordeblurringmodelswithneumannboundaryconditions.科學(xué)計算的SIAM期刊21,3,851-866.·[NVIDIA]NVIDIA,C.Programmingguide,cusparse,cublas,andcufftlibraryuserguides.{在線}.·PAPAS,M.,JAROSZ,W.,JAKOB,W.,RUSINKIEWICZ,S.,MATUSIK,W.和WEYRICH,T.2011.Goal-basedcaustics.計算機(jī)圖形學(xué)論壇30,2,503-511.·PAPAS,M.,HOUIT,T.,NOWROUZEZAHRAI,D.,GROSS,M.和JAROSZ,W.2012.Themagiclens:refractivesteganography.美國計算機(jī)學(xué)會圖形學(xué)匯刊(TOG)31,6,186.·[ParikhandBoyd2013]Parikh,N.和Boyd,S.2013.Proximalalgorithms.優(yōu)化的基礎(chǔ)和趨勢1,3,123-231.·PAULY,M.,ANDKISER,T.2012.Causticart.Tech.rep.·REMPEL,A.,HEIDRICH,W.,LI,H.和MANTIUK,R.2009.Videoviewingpreferencesforhdrdisplaysundervaryingambientillumination.Proc.APGV,45-52.·REMPEL,A.,HEIDRICH,W.和MANTIUK,R.2011.Theroleofcontrastintheperceiveddepthofmonocularimagery.Proc.APGV,115.·ROBINSON,M.D.,SHARP,G.和CHEN,J.2005.PolarizationengineeringforLCDprojection,卷.4.約翰威利國際出版公司.·SCHWARTZBURG,Y.,TESTUZ,R.,TAGLIASACCHI,A.和PAULY,M.2014.High-contrastcomputationalcausticdesign.美國計算機(jī)學(xué)會圖形學(xué)匯刊(Proc.Siggraph).(已出版).·SEETZEN,H.,HEIDRICH,W.,STUERZLINGER,W.,WARD,G.,WHITEHEAD,L.,TRENTACOSTE,M.,GHOSH和VOROZCOVS,A.2004.Highdynamicrangedisplaysystems.美國計算機(jī)學(xué)會圖形學(xué)匯刊(Proc.SIGGRAPH)(8月),760-768.·SEETZEN,H.2009.Highdynamicrangedisplayandprojectionsystems.英屬哥倫比亞大學(xué)博士論文.·[Silvester和MihajloviA2004]Silvester,D.J.和Mihajlovic',M.D.2004.Ablack-boxmultigridpreconditionerforthebiharmonicequation.BIT數(shù)值數(shù)學(xué)44,1,151-163.·SLINGER,C.,CAMERON,C和STANLEY,M.2005.Computer-generatedholographyasagenericdisplaytechnology.IEEE計算機(jī)38,8,46-53.·[Tang和Christov2006]Tang,X.H.和Christov,C.I.2006.Anoperatorsplittingschemeforbiharmonicequationwithacceleratedconvergence.大規(guī)?？茖W(xué)學(xué)報的第五屆國際研討會論文集,施普林格出版公司,柏林，海德堡,LSSC'05,387-394.·YUE,Y.,IWASAKI,K.,CHEN,B.-Y.,DOBASHI,Y.和NISHITA,T.2012.Pixelartwithrefractedlightbyrearrangeablesticks.計算機(jī)圖形學(xué)論壇31,2pt3,575-582.·YUE,Y.,IWASAKI,K.,CHEN,B.-Y.,DOBASHI,Y.和NISHITA,T.2014.Poisson-basedcontinuoussurfacegenerationforgoal-basedcaustics.美國計算機(jī)學(xué)會圖形學(xué)匯刊,(已出版).·[Zhao2004]Zhao,J.2004.Convergenceofv-cycleandf-cyclemultigridmethodsforthebiharmonicproblemusingthemorleyelement.數(shù)值分析的電子交易17,112-132.應(yīng)理解，一些實施方式提供下述中的一個或更多個：·比一些現(xiàn)有技術(shù)算法顯著更簡單的用于自由曲面透鏡優(yōu)化的新的算法(“基于目標(biāo)的焦散”)。該算法可以應(yīng)用于實時或近實時地控制光的投射。·一些實施方式直接在相位空間中操作，并且因此可以被實現(xiàn)為迭代方法，其不僅可以針對相位調(diào)制器生成調(diào)制圖案，而且可以針對常規(guī)折射透鏡在沒有額外步驟諸如泊松(Poisson)積分的情況下生成調(diào)制圖案。·結(jié)合一個相位和一個幅度調(diào)制器以用于圖像生成，并且能夠使用白色(非相干)光工作的新的雙調(diào)制投影儀設(shè)計。就我們所知的那樣，·本文所描述的方法和設(shè)備還可以應(yīng)用于產(chǎn)生例如用于建筑照明和/或車輛照明的靜態(tài)光場?！ぶ苯觾?yōu)化光的調(diào)制相位，無需在數(shù)據(jù)項與表面的可積性之間折衷?！ねㄟ^查找使得能夠在調(diào)制器/透鏡面而不是像平面中表示優(yōu)化的問題的參數(shù)化來可行。·我們的推導(dǎo)依賴于小角度圖像形成(近軸近似)，這在光學(xué)社區(qū)中已經(jīng)確立。術(shù)語的解釋除非上下文另有明確要求，否則在整個說明書和權(quán)利要求書中：·“包括”、“包含”等應(yīng)被解釋為包括的意思，而不是排他的或窮盡的意思；也就是說，在意義上“包括但不僅限于”；·“連接”、“耦接”或其任何變體是指兩個或更多個元件之間的直接或間接的任何連接或耦接；元件之間的耦接或連接可以是物理的、邏輯的或其組合；·“本文”、“上面”、“下面”和類似含義的詞語在用于描述本說明書時，應(yīng)當(dāng)是指將本說明書作為整體而不是本說明書的任何特定部分；·對于兩個或更多個項目的列表，“或”涵蓋了該詞語的所有以下解釋：列表中的任何項目、列表中的所有項目，以及列表中的項目的任何組合；·單數(shù)形式“一”、“一個”和“該”還包括任何適當(dāng)?shù)膹?fù)數(shù)形式的含義。指示方向諸如“豎直”、“橫向”、“水平”、“向上”、“向下”、“向前”、“向后”、“向內(nèi)”、“向外”、“垂直”、“橫向”、“左”、“右”、“前”、“后”、“頂部”、“底部”、“在上方”、“在下方”的詞語根據(jù)所描述和示出的設(shè)備的特定取向在本說明書和隨附權(quán)利要求中使用(如果存在)。本文所描述的主題可以假設(shè)各種替代取向。因此，這些方向性術(shù)語不是嚴(yán)格限定的，并且不應(yīng)被狹義地解釋?？梢允褂脤ｉT設(shè)計的硬件、可配置硬件、可編程數(shù)據(jù)處理器來實現(xiàn)本發(fā)明的實施方式，可編程數(shù)據(jù)處理器通過提供能夠在數(shù)據(jù)處理器、專用計算機(jī)或被特別編程、配置或構(gòu)造成執(zhí)行在如本文中詳細(xì)說明的方法中的一個或更多個步驟和/或這些中的兩個或更多個的組合的數(shù)據(jù)處理器上執(zhí)行的軟件(其可選地包括“固件”)來配置。具體設(shè)計的硬件的示例是：邏輯電路、專用集成電路(“ASIC”)、大規(guī)模集成電路(“LSI”)、超大規(guī)模集成電路(“VLSI”)等?？膳渲糜布氖纠牵阂粋€或更多個可編程邏輯器件諸如可編程陣列邏輯(“PAL”)、可編程邏輯陣列(“PLA”)和現(xiàn)場可編程門陣列(“FPGA”)。可編程數(shù)據(jù)處理器的示例是：微處理器、數(shù)字信號處理器(“DSP”)、嵌入式處理器、圖形處理器、數(shù)學(xué)協(xié)處理器、通用計算機(jī)、服務(wù)器計算機(jī)、云計算機(jī)、大型計算機(jī)、計算機(jī)工作站等。例如，用于裝置的控制電路中的一個或更多個數(shù)據(jù)處理器可以通過在可訪問處理器的程序存儲器中執(zhí)行軟件指令來實現(xiàn)如本文所述的方法。處理可以是集中式的或分布式的。在處理是分布式的情況下，包括軟件和/或數(shù)據(jù)的信息可以集中或分布保留。這樣的信息可以通過通信網(wǎng)絡(luò)諸如局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)或因特網(wǎng)，有線或無線數(shù)據(jù)鏈路，電磁信號或其他數(shù)據(jù)通信渠道在不同的功能單元之間交換。例如，雖然以給定順序呈現(xiàn)處理或塊，但是替換示例可以以不同順序執(zhí)行具有步驟的例程或采用具有塊的系統(tǒng)，并且可以刪除、移動、添加、細(xì)分、組合和/或修改一些處理或塊以提供替代或子組合。這些處理或塊中的每一個可以以各種不同的方式來實現(xiàn)。此外，盡管處理或塊有時被示為是串行執(zhí)行，但是這些處理或塊可以替代地并行執(zhí)行，或者可以在不同時間執(zhí)行。此外，雖然元件有時被示為順序執(zhí)行，但是元件可以替代地同時或以不同的順序執(zhí)行。因此，旨在將所附權(quán)利要求解釋為包括在其預(yù)期范圍內(nèi)的所有這樣的變型。軟件和其他模塊可以駐留在服務(wù)器、工作站、個人計算機(jī)、平板計算機(jī)、圖像數(shù)據(jù)編碼器、圖像數(shù)據(jù)解碼器、PDA、顏色分級工具、視頻投影儀、視聽接收器、顯示器(例如電視機(jī))、數(shù)字電影放映機(jī)、媒體播放器和適用于本文所述目的的其他裝置。相關(guān)領(lǐng)域的技術(shù)人員應(yīng)理解，系統(tǒng)的各方面可以用其他通信、數(shù)據(jù)處理或計算機(jī)系統(tǒng)配置來實踐，包括因特網(wǎng)裝置、手持裝置(包括個人數(shù)字助理(PDA))、可穿戴計算機(jī)、所有方式的蜂窩或移動電話、多處理器系統(tǒng)、基于微處理器或可編程消費電子產(chǎn)品(例如視頻投影儀、視聽接收器、顯示器諸如電視機(jī)等)、機(jī)頂盒、網(wǎng)絡(luò)PC、微型計算機(jī)、大型計算機(jī)等。本發(fā)明還可以以程序產(chǎn)品的形式提供。程序產(chǎn)品可以包括攜帶一組計算機(jī)可讀指令的任何非暫態(tài)介質(zhì)，當(dāng)計算機(jī)可讀指令由數(shù)據(jù)處理器執(zhí)行時，使得數(shù)據(jù)處理器執(zhí)行本發(fā)明的方法。根據(jù)本發(fā)明的程序產(chǎn)品可以是各種形式中的任一種。程序產(chǎn)品可以包括例如非暫態(tài)介質(zhì)諸如包括軟盤的磁性數(shù)據(jù)存儲介質(zhì)、硬盤驅(qū)動器、包括CDROM的光學(xué)數(shù)據(jù)存儲介質(zhì)、DVD、包括ROM的電子數(shù)據(jù)存儲介質(zhì)、閃速RAM、EPROM、硬連線或預(yù)編程芯片(例如EEPROM半導(dǎo)體芯片)、納米技術(shù)存儲器等。程序產(chǎn)品上的計算機(jī)可讀信號可以可選地被壓縮或加密。在一些實施方式中，本發(fā)明可以在軟件中實現(xiàn)。為了更清楚起見，“軟件”包括在處理器上執(zhí)行的任何指令，并且可以包括(但不限于)固件、駐留軟件、微代碼等。如本領(lǐng)域技術(shù)人員已知的，處理硬件和軟件兩者可以是整體或部分地集中式或分布式(或其組合)的。例如，軟件和其他模塊可以經(jīng)由本地存儲器、經(jīng)由網(wǎng)絡(luò)、經(jīng)由瀏覽器或分布式計算環(huán)境中的其他應(yīng)用或者經(jīng)由適合于上述目的的其他手段來訪問。在一些實施方式中，圖像數(shù)據(jù)由處理器執(zhí)行軟件指令來處理，以得到用于相位調(diào)制器的控制信號。在一些實施方式中，軟件可以實時地執(zhí)行(其他實施方式也是可行的)。在上面提到部件(例如軟件模塊、處理器、組件、裝置、電路等)的情況下，除非另有說明，否則對該部件的引用(包括對“裝置”的引用)應(yīng)當(dāng)被解釋為作為該部件的等同物包括執(zhí)行所描述的部件的功能的任何部件(即功能上等同的)，包括在結(jié)構(gòu)上不等同于執(zhí)行本發(fā)明的所示示例性實施方式中的功能的所公開的結(jié)構(gòu)的部件。為了說明的目的，本文描述了系統(tǒng)、方法和設(shè)備的具體示例。這些僅是示例。本文提供的技術(shù)可以應(yīng)用于除了上述示例性系統(tǒng)以外的系統(tǒng)。在本發(fā)明的實踐中，許多替代、修改、添加、省略和置換是可行的。本發(fā)明包括對于本領(lǐng)域技術(shù)人員顯而易見的所描述的實施方式的變型，包括通過以下方式獲得的變型：用等同特征、元件和/或動作替換特征、元件和/或動作；混合和匹配來自不同實施方式的特征、元件和/或動作；將來自本文描述的實施方式的特征、元件和/或動作與其他技術(shù)的特征、元件和/或動作組合；和/或省略來自所描述的實施方式的特征、元件和/或動作的組合。因此，旨在將所附權(quán)利要求和隨后引入的權(quán)利要求解釋為包括可合理推斷的所有這樣的修改、置換、添加、省略和子組合。權(quán)利要求的范圍不應(yīng)當(dāng)受到在實施方式中闡述的優(yōu)選實施方式的限制，而應(yīng)當(dāng)給予與作為整體的描述一致的最寬泛的解釋。當(dāng)前第1頁1 2 3