專利名稱：用于體視三維顯示圖像生成系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像生成和顯示方法，尤其涉及一種用于體視三維顯示圖像生成系統(tǒng)及方法。
背景技術(shù)：
圖像拼接技術(shù)一直是計算機視覺和圖像處理領(lǐng)域的研究熱點，而隨著三維全景顯示技術(shù)的高速發(fā)展，以三維方式設(shè)計的圖像生成系統(tǒng)成為眾多三維顯示裝置圖像源獲取采用的主要手段。以三維方式設(shè)計的圖像生成系統(tǒng)是根據(jù)透視投影繪制方法，將三維圖像信息再現(xiàn)在二維顯示系統(tǒng)上?，F(xiàn)有的體視三維顯示裝置大都依據(jù)在橫向或者縱向通過視場拼接的方式提供足夠多的觀察視角，讓觀察者兩只眼睛橫跨不同的視角以獲得細膩的三維感知。據(jù)此原理，二維顯示系統(tǒng)上再現(xiàn)的圖像信息與具體的三維顯示裝置視角設(shè)計參數(shù)有關(guān)， 往往需要經(jīng)過與所需呈現(xiàn)的視角信息相對應(yīng)的圖像處理過程。目前計算機圖形學(xué)領(lǐng)域常用的處理思想是基于光場重建、像素點掃描的方式獲取對應(yīng)視角所需圖像信息。該方法在計算機領(lǐng)域具有相當?shù)钠者m性，并且所獲取的各視角圖像具有很高的分辨率與真實性，但該方案生成的圖像并未考慮三維顯示系統(tǒng)實際像差和系統(tǒng)精度問題，所生成的圖像往往是理論情況下成像所需的圖像，經(jīng)過三維顯示系統(tǒng)投影顯示出來的效果并非盡如人意。通常情況下，成功的三維顯示裝置需要綜合考慮圖像分辨率、三維顯示效果、計算成本等諸多方面，目前已經(jīng)開發(fā)出的體視三維顯示裝置受限于系統(tǒng)結(jié)構(gòu)等因素往往導(dǎo)致理論情況生成的圖像并不能完美顯示，探求一種易綜合了考慮了系統(tǒng)成像像差和裝置精度等問題的圖像生成系統(tǒng)及方法更具實際應(yīng)用價值。本發(fā)明的主要目的在于構(gòu)建一種具備普適性的、可用于多種體視三維顯示圖像生成系統(tǒng)及方法，它包括具備較高拓展性的投影式三維顯示裝置及圖像采集識別系統(tǒng)，其初衷在于綜合了考慮了系統(tǒng)成像像差和裝置精度的問題下從圖像點實際投影顯示的角度出發(fā)獲得真實條件下顯示所需的圖像源，可廣泛用于基于多投影顯示或分時顯示拼接原理的體視三維顯示裝置。
發(fā)明內(nèi)容
本發(fā)明的目的是克服現(xiàn)有技術(shù)和圖像生成方法的不足，提供一種用于體視三維顯示圖像生成系統(tǒng)及方法。所述的用于體視三維顯示圖像生成系統(tǒng)包括依次設(shè)置的二維顯示單元陣列、透鏡陣列、孔闌陣列、定向散射屏和精密導(dǎo)軌，其中，定向散射屏和精密導(dǎo)軌呈同心布置，在精密導(dǎo)軌上設(shè)有圖像采集系統(tǒng)，二維顯示單元陣列中所有顯示單元顯示的圖像通過對應(yīng)的透鏡陣列、孔闌陣列投影到定向散射屏另一側(cè)成像，計算機分別與圖像采集系統(tǒng)和二維顯示單元陣列相連接。所述的用于體視三維顯示圖像生成系統(tǒng)的二維顯示單元陣列、透鏡陣列和孔闌陣列為橫向視差的N*1陣列，或為橫向和縱向視差的N*M陣列。所述的用于體視三維顯示圖像生成系統(tǒng)的二維顯示單元陣列為單個二維顯示器
3或多個二維顯示器組成的陣列，其中，二維顯示器為IXD、LCOS, PDP、LED、CRT、OLED或投影機。所述的用于體視三維顯示圖像生成系統(tǒng)的圖像采集系統(tǒng)為CXD或CMOS拍攝器件。所述的用于體視三維顯示圖像生成方法的步驟如下
1)圖像采集系統(tǒng)首先設(shè)置于系統(tǒng)對稱中心線上，并對準系統(tǒng)成像中心拍攝；
2)二維顯示單元陣列中的顯示單元顯示一個坐標點Utl, Ytl)；
3)若圖像采集系統(tǒng)捕獲到相應(yīng)坐標點信息，則判定為顯示單元上顯示的點屬于該視角所需顯示的圖像，進行步驟4)；若圖像采集系統(tǒng)未捕獲到相應(yīng)坐標點信息，則判定為顯示單元上顯示的點不屬于該視角所需顯示的圖像，返回步驟2)循環(huán)掃描顯示下一個坐標點；
4)分別記錄下捕獲的顯示點在二維圖像顯示單元陣列中的坐標點信息(Xtl,Ytl)和在圖像采集系統(tǒng)中的坐標點信息(X1, Y1),送入計算機生成相應(yīng)的映射關(guān)系；循環(huán)掃描記錄坐標點映射信息直至二維顯示單元陣列中的顯示單元所有顯示點掃描結(jié)束；
5)計算機獲取所要呈現(xiàn)三維物體相應(yīng)視角的原始圖像，根據(jù)映射關(guān)系進行從坐標點 (X11Y1)到坐標點(Xtl, Y0)的變化，得到所要呈現(xiàn)三維物體相應(yīng)視角在二維顯示單元陣列中的圖像；
6)分別向左或向右移動圖像采集系統(tǒng)至下一個相鄰視角位置，其中，圖像采集系統(tǒng)沿精密導(dǎo)軌移動的角度間隔與三維顯示系統(tǒng)的視角間隔相匹配，重復(fù)步驟1)至步驟5)，直至計算機得到所要呈現(xiàn)三維物體所有視角在二維顯示單元陣列中的圖像；
7)計算機將所有所要呈現(xiàn)三維物體相應(yīng)視角在二維顯示單元陣列中的圖像疊加生成最終二維顯示單元陣列顯示的圖像并送入相應(yīng)顯示單元。所述的用于體視三維顯示圖像生成方法的三維物體原始視角圖像為由計算機模擬拍攝虛擬三維模型各視角的圖像，或由相機在對應(yīng)視角實際拍攝三維物體的圖像。本發(fā)明的主要優(yōu)點在于提出了一種具備普適性的、可用于多種體視三維顯示圖像生成系統(tǒng)及方法，它包括具備較高拓展性的投影式三維顯示裝置及圖像采集識別系統(tǒng)，其初衷在于綜合了考慮了系統(tǒng)成像像差和裝置精度的問題下從圖像點實際投影顯示的角度出發(fā)獲得真實條件下顯示所需的圖像源，可廣泛用于基于多投影顯示或分時顯示拼接原理的體視三維顯示裝置。
下面結(jié)合附圖和實施例對本發(fā)明進一步說明。圖1是用于體視三維顯示的圖像顯示方法的裝置基本結(jié)構(gòu)示意圖； 圖2是用于體視三維顯示的圖像生成方法流程及示意圖3是橫向15個視角三維顯示裝置顯示單元基本結(jié)構(gòu)示意圖； 圖4、圖5是橫向15個視角三維顯示裝置對應(yīng)的圖像定標方法示意圖； 圖中，二維圖像顯示單元陣列1、透鏡陣列2、孔闌陣列3、定向散射屏4、精密導(dǎo)軌5、圖像采集系統(tǒng)6、計算機7。
具體實施例方式如圖1所示，用于體視三維顯示圖像生成系統(tǒng)包括依次設(shè)置的二維顯示單元陣列1、透鏡陣列2、孔闌陣列3、定向散射屏4和精密導(dǎo)軌5，其中，定向散射屏4和精密導(dǎo)軌5呈同心布置，在精密導(dǎo)軌5上設(shè)有圖像采集系統(tǒng)6，二維顯示單元陣列1中所有顯示單元顯示的圖像通過對應(yīng)的透鏡陣列2、孔闌陣列3投影到定向散射屏4另一側(cè)成像，計算機7分別與圖像采集系統(tǒng)6和二維顯示單元陣列1相連接。二維顯示單元陣列1、透鏡陣列2和孔闌陣列3為橫向視差的N*1陣列，或為橫向和縱向視差的N*M陣列。二維顯示單元陣列1為單個二維顯示器或多個二維顯示器組成的陣列，其中，二維顯示器為LCD、LCOS、PDP、LED、CRT、OLED或投影機。圖像采集系統(tǒng)6為CCD 或CMOS拍攝器件。如圖2所示，用于體視三維顯示圖像生成方法的步驟如下
1)圖像采集系統(tǒng)6首先設(shè)置于系統(tǒng)對稱中心線上，并對準系統(tǒng)成像中心拍攝；
2)二維顯示單元陣列1中的顯示單元顯示一個坐標點Utl, Ytl)；
3)若圖像采集系統(tǒng)6捕獲到相應(yīng)坐標點信息，則判定為顯示單元上顯示的點屬于該視角所需顯示的圖像，進行步驟4)；若圖像采集系統(tǒng)6未捕獲到相應(yīng)坐標點信息，則判定為顯示單元上顯示的點不屬于該視角所需顯示的圖像，返回步驟2)循環(huán)掃描顯示下一個坐標占.
4)分別記錄下捕獲的顯示點在二維圖像顯示單元陣列1中的坐標點信息(Xtl,Ytl)和在圖像采集系統(tǒng)6中的坐標點信息(X1, Y1),送入計算機7生成相應(yīng)的映射關(guān)系；循環(huán)掃描記錄坐標點映射信息直至二維顯示單元陣列1中的顯示單元所有顯示點掃描結(jié)束；
5)計算機7獲取所要呈現(xiàn)三維物體相應(yīng)視角的原始圖像，根據(jù)映射關(guān)系進行從坐標點 (X1, Y1)到坐標點(Xtl, Ytl)的變化，得到所要呈現(xiàn)三維物體相應(yīng)視角在二維顯示單元陣列1中的圖像；
6)分別向左或向右移動圖像采集系統(tǒng)6至下一個相鄰視角位置，其中，圖像采集系統(tǒng)6 沿精密導(dǎo)軌5移動的角度間隔與三維顯示系統(tǒng)的視角間隔相匹配，重復(fù)步驟1)至步驟5)， 直至計算機7得到所要呈現(xiàn)三維物體所有視角在二維顯示單元陣列1中的圖像；
7)計算機7將所有所要呈現(xiàn)三維物體相應(yīng)視角在二維顯示單元陣列1中的圖像疊加生成最終二維顯示單元陣列1顯示的圖像并送入相應(yīng)顯示單元。用于體視三維顯示圖像生成方法的三維物體原始視角圖像為由計算機模擬拍攝虛擬三維模型各視角的圖像，或由相機在對應(yīng)視角實際拍攝三維物體的圖像。以一個包含15個橫向拼接圖像的視場拼接三維顯示裝置生成一個視角的圖像為示例，其余的視角均可類推得到。系統(tǒng)結(jié)構(gòu)如圖1所示，圖像顯示陣列1包括錯位排布的15 個投影機，如圖3所示，所謂投影機由圖像顯示陣列1的一部分、一個透鏡和一個孔闌組成，孔闌緊貼在透鏡前方；定向散射屏2為弧形，以系統(tǒng)中心0點為圓心，在縱向散射光線， 橫向不散射光線。15個投影機在水平方向上對準設(shè)定的系統(tǒng)中心0，垂直方向上對準散射屏2上的同一高度。則15個投影機的圖像均經(jīng)過縱向散射屏2在縱向展開，從而在另一側(cè)看到長條形圖像，15幅圖像正好拼接成一整幅完整圖像。生成圖像之前首先需要進行一次圖像定標。先將圖像采集系統(tǒng)6置于中間視角位置，如圖1中實線表示的采集系統(tǒng)位置。然后在圖像顯示陣列1上顯示一個白點，坐標為 (X0,\)，從顯示陣列的左上角開始將白點逐行掃描，如圖4所示；圖像采集系統(tǒng)6在白點每移動一個像素就捕獲一幅視角圖像，分析獲得的圖像中白點有沒有出現(xiàn)；如果有，說明此位置的白點是屬于該視角的，將其在獲取的視角圖像中的坐標(X1, Y1)記錄下來，如圖5所示， 并與圖像顯示陣列中白點的坐標(H)建立映射關(guān)系。這樣當圖像顯示陣列1上所有的像素點都被掃描過后，圖像采集系統(tǒng)6捕獲的區(qū)域內(nèi)的所有出現(xiàn)過的白點的(X1, Y1)坐標都映射到圖像顯示陣列1上相應(yīng)的(Xtl, Ytl),并且呈現(xiàn)一個分布區(qū)域，如圖5的虛線框所示，這個區(qū)域就是系統(tǒng)可以顯示的圖像范圍。這樣一個視角就定標完成了。完成一個視角的圖像定標后，將屬于該視角的所有(Xtl, Ytl)設(shè)置成白色，其余設(shè)置成黑色，此時圖像采集系統(tǒng)6應(yīng)當采集到由15條白色豎條拼接成的一片白色區(qū)域；圖像采集系統(tǒng)6沿著精密導(dǎo)軌5往右移動，直到某一個豎條圖像完全變成黑色，則認為圖像采集系統(tǒng)6已經(jīng)到了下一個視角，轉(zhuǎn)過的角度即為相鄰視角的間隔。在下一個視角重復(fù)前文圖像定標部分，直到所有視角都定標完成，最后可以得到所有視角上(X1, Y1)與相應(yīng)Uo，Ytl)的映射關(guān)系。定標完成之后，在系統(tǒng)參數(shù)不改變的情況下即可根據(jù)已經(jīng)獲得的映射關(guān)系生成圖像而無需再次定標。將最終要顯示的三維模型或場景按照定標部分的視角間隔獲取二維視角圖像。將視角圖像縮放至系統(tǒng)可以顯示的圖像范圍大小，并將視角圖像的像素點與相應(yīng)視角上的(X1, Y1)—一對應(yīng)，根據(jù)映射關(guān)系分配到(Xtl, Ytl)上，則該視角的所有像素(Xtl, Y0) 均由該視角的視角圖像映射得到。其余視角操作由此類推，最終可以得到整個圖像顯示陣列1需要顯示的圖像。只要在圖像顯示陣列1上顯示最終生成的圖像，在觀察區(qū)域就可以看到三維模型或場景。雖然這里是通過示意和舉例的方式對本發(fā)明進行進一步描述的，但應(yīng)該認識到， 本發(fā)明并不局限于上述實施方式和實施例，前文的描述只被認為是說明性的，而非限制性的，本領(lǐng)域技術(shù)人員可以做出多種變換或修改，只要沒有離開所附權(quán)利要求中所確立的范圍和精神實質(zhì)，均視為在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.一種用于體視三維顯示圖像生成系統(tǒng)，其特征在于包括依次設(shè)置的二維顯示單元陣列(1)、透鏡陣列(2)、孔闌陣列(3)、定向散射屏(4)和精密導(dǎo)軌(5)，其中，定向散射屏(4) 和精密導(dǎo)軌(5)呈同心布置，在精密導(dǎo)軌(5)上設(shè)有圖像采集系統(tǒng)(6)，二維顯示單元陣列 (1)中所有顯示單元顯示的圖像通過對應(yīng)的透鏡陣列(2)、孔闌陣列(3)投影到定向散射屏 (4)另一側(cè)成像，計算機(7)分別與圖像采集系統(tǒng)(6)和二維顯示單元陣列(1)相連接。
2.根據(jù)權(quán)利要求1所述的一種用于體視三維顯示圖像生成系統(tǒng)，其特征在于所述的二維顯示單元陣列(1)、透鏡陣列(2)和孔闌陣列(3)為橫向視差的N*1陣列，或為橫向和縱向視差的N*M陣列。
3.根據(jù)權(quán)利要求1所述的一種用于體視三維顯示圖像生成系統(tǒng)，其特征在于所述的二維顯示單元陣列(1)為單個二維顯示器或多個二維顯示器組成的陣列，其中，二維顯示器為 LCD、LCOS、PDP、LED、CRT、OLED 或投影機。
4.根據(jù)權(quán)利要求1所述的一種用于體視三維顯示圖像生成系統(tǒng)，其特征在于所述的圖像采集系統(tǒng)(6)為CXD或CMOS拍攝器件。
5.一種使用如權(quán)利要求1所述系統(tǒng)的用于體視三維顯示圖像生成方法，其特征在于它的步驟如下1)圖像采集系統(tǒng)(6)首先設(shè)置于系統(tǒng)對稱中心線上，并對準系統(tǒng)成像中心拍攝；2)二維顯示單元陣列(1)中的顯示單元顯示一個坐標點Utl, Y。)；3)若圖像采集系統(tǒng)(6)捕獲到相應(yīng)坐標點信息，則判定為顯示單元上顯示的點屬于該視角所需顯示的圖像，進行步驟4)；若圖像采集系統(tǒng)(6)未捕獲到相應(yīng)坐標點信息，則判定為顯示單元上顯示的點不屬于該視角所需顯示的圖像，返回步驟2)循環(huán)掃描顯示下一個坐標點；4)分別記錄下捕獲的顯示點在二維圖像顯示單元陣列(1)中的坐標點信息(Xtl,Ytl)和在圖像采集系統(tǒng)(6)中的坐標點信息(X1, Y1),送入計算機(7)生成相應(yīng)的映射關(guān)系；循環(huán)掃描記錄坐標點映射信息直至二維顯示單元陣列(1)中的顯示單元所有顯示點掃描結(jié)束；5)計算機(7)獲取所要呈現(xiàn)三維物體相應(yīng)視角的原始圖像，根據(jù)映射關(guān)系進行從坐標點(X1, Y1)到坐標點(Xtl, Y0)的變化，得到所要呈現(xiàn)三維物體相應(yīng)視角在二維顯示單元陣列 (1)中的圖像；6)分別向左或向右移動圖像采集系統(tǒng)(6)至下一個相鄰視角位置，其中，圖像采集系統(tǒng)(6)沿精密導(dǎo)軌(5)移動的角度間隔與三維顯示系統(tǒng)的視角間隔相匹配，重復(fù)步驟1)至步驟5)，直至計算機(7)得到所要呈現(xiàn)三維物體所有視角在二維顯示單元陣列(1)中的圖像；7)計算機(7)將所有所要呈現(xiàn)三維物體相應(yīng)視角在二維顯示單元陣列(1)中的圖像疊加生成最終二維顯示單元陣列(1)顯示的圖像并送入相應(yīng)顯示單元。
6.根據(jù)權(quán)利要求5所述的一種用于體視三維顯示圖像生成方法，其特征在于所述的三維物體原始視角圖像為由計算機模擬拍攝虛擬三維模型各視角的圖像，或由相機在對應(yīng)視角實際拍攝三維物體的圖像。
全文摘要
本發(fā)明公開了一種用于體視三維顯示圖像生成系統(tǒng)及方法。配合光場重建和視場拼接的顯示原理獲取現(xiàn)有大部分體視三維顯示系統(tǒng)的圖像源。生成系統(tǒng)包括二維顯示單元陣列、透鏡陣列、孔闌陣列、定向散射屏、精密導(dǎo)軌、圖像采集系統(tǒng)及計算機。生成方法步驟包括循環(huán)掃描顯示點；圖像采集系統(tǒng)捕獲識別；獲取映射坐標關(guān)系；視角圖像源變換；移動圖像采集系統(tǒng)重復(fù)操作；對各圖像進行疊加獲取最終顯示所需的圖像源。本發(fā)明視具體的三維顯示裝置不同而采用靈活且操作性強圖像處理方法，優(yōu)點在于可用于基于平板顯示器或多投影的體視三維顯示系統(tǒng)中獲取圖像源。該系統(tǒng)及方法綜合考慮了系統(tǒng)成像像差與系統(tǒng)精度問題，可在較低的計算復(fù)雜度下獲得校正過的圖像。
文檔編號G02B27/22GK102404598SQ20111037298
公開日2012年4月4日 申請日期2011年11月22日 優(yōu)先權(quán)日2011年11月22日
發(fā)明者劉旭, 彭祎帆, 李海峰, 鐘擎 申請人:浙江大學(xué)