專利名稱：：匯聚式相機的多視點采集/顯示系統(tǒng)中新視點重建方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種新視點重建方法，特別是一種匯聚式相機的多視點采集/顯示系統(tǒng)中新視點重建方法。
背景技術(shù)：
：近年來，三維電視和自由視點電視系統(tǒng)以其獨特的立體感、沉浸感及漫游特性而備受關(guān)注。但是多視點采集及顯示系統(tǒng)的構(gòu)建需要涉及從采集、數(shù)據(jù)表示、壓縮傳輸?shù)浇换ワ@示的各項技術(shù)。在多視點采集及顯示系統(tǒng)的應(yīng)用中，若采用較大數(shù)目的相機陣列及稠密的采集安置，使得系統(tǒng)可以采用較簡單的繪制重建方法就能無失真的重建三維光線數(shù)據(jù)(即新視點)，但是這種系統(tǒng)僅在理論上最優(yōu)，在實際中很難實現(xiàn)；而若采用較小數(shù)目的相機陣列及稀疏的采集安置方法需要上采樣插值過程來增加采樣圖像數(shù)據(jù)，這不僅會使繪制方法復雜，而且會使生成的新視點質(zhì)量下降，嚴重影響觀看者的立體感受。因此，如何在多視點采集\顯示系統(tǒng)中使相機數(shù)目、相機間距與新視點繪制重建方法及三維重建質(zhì)量中找到最優(yōu)的平衡點是目前應(yīng)用系統(tǒng)設(shè)計方面的難題之一。針對上述問題，國外J.-X.Chai等人等學者作過初步研究，他們在分析光場數(shù)據(jù)的基礎(chǔ)上提出了光場無失真重建的最小采樣率的概念，并采用基于圖像的繪制方法重建新視點，在此基礎(chǔ)上給出了場景深度層次與重建所需采樣圖像數(shù)目的定性關(guān)系，揭示了圖像空間與場景幾何空間的內(nèi)在聯(lián)系。但是上述方法得出的最佳采樣條件及系統(tǒng)設(shè)計方案仍是理想化的，所需最小的相機數(shù)目都在幾百以上，很難在實際應(yīng)用中實現(xiàn)。
發(fā)明內(nèi)容本發(fā)明的目的是提供一種匯聚式相機的多視點采集/顯示系統(tǒng)中新視點重建方法。對比于之前的其他方法，本方法根據(jù)多視點采集系統(tǒng)參數(shù)、場景幾何信息及光譜特性，設(shè)計視點重建濾波器，通過插值技術(shù)為重建新視點生成一定數(shù)目的采樣圖像，并設(shè)計繪制重建方法得到三維場景的新視點。為達到上述目的，本發(fā)明的構(gòu)思是首先針對匯聚型相機采集方式建立相機幾何模型，然后根據(jù)采集系統(tǒng)參數(shù)、場景幾何信息及光譜特性，設(shè)計視點重建濾波器，通過插值技術(shù)為重建新視點生成一定數(shù)目的采樣圖像，并設(shè)計繪制重建方法得到三維場景的新視點。根據(jù)上述構(gòu)思，本發(fā)明的技術(shù)方案是一種匯聚式相機的多視點采集/顯示系統(tǒng)中新視點重建方法。其特征在于首先針對匯聚型相機采集方式，建立匯聚式相機的幾何模型。接著根據(jù)采集系統(tǒng)所涉及的各項參數(shù)，通過信號采樣理論分析得到無失真重建視點的最優(yōu)條件。其次又對場景的EPI(EpipolarImage)圖像進行譜分析，得出場景EPI光譜特性與場景深度變化范圍的關(guān)系。然后根據(jù)上述分析設(shè)計視點重建濾波器，通過插值技術(shù)為重建新視點生成有效數(shù)目的采樣圖像。最后設(shè)計繪制重建方法得到有效范圍內(nèi)三維場景的新視點。其具體步驟是(1)建立相機幾何模型針對匯聚式相機及場景信息建立相機幾何模型；(2)信號無失真采樣理論分析根據(jù)釆樣定理得到無失真重建視點的最優(yōu)條件；(3)對場景的EPI圖像進行譜分析從場景的多視點圖像獲取其EPI圖像，并進行譜分析，得到場景深度變化范圍；(4)設(shè)計視點重建濾波器根據(jù)最優(yōu)條件及場景深度范圍確定視點插值重建濾波器的參數(shù)，確定采樣圖像數(shù)目；(5)設(shè)計繪制重建方法根據(jù)幾何模型設(shè)計視點重建濾波器設(shè)計新視點繪制重建方法，生成新視點。上述步驟(1)中的建立相機幾何模型，是指對匯聚式相機及場景信息建立相機幾何模型，其具體步驟是根據(jù)場景信息——場景幾何信息、場景物體表面紋理、物體表面反射特性、景深，根據(jù)相機系統(tǒng)信息——相機分辨率、虛擬相機分辨率、相機鏡頭焦距、相機陣列擺放姿態(tài)和相機間距，量化相機幾何模型參數(shù)。上述步驟(2)中的信號無失真采樣理論分析，即根據(jù)采樣定理得到無失真重建視點的最優(yōu)條件，其具體步驟是(a)根據(jù)相機幾何模型確定從相機匯聚點可捕獲到的場景的最高紋理信息/。，假定場景紋理信息最高頻率為,￡^=,，其中Z,為場景深度，/為紋理頻率周期長度，丄為相機匯聚點深度。則<formula>formulaseeoriginaldocumentpage6</formula>(b)根據(jù)釆樣定理確定最低采樣頻率<formula>formulaseeoriginaldocumentpage6</formula>，其中丄為相機所在圓周半徑長度，Ax為相機間距；(C)根據(jù)采樣定理得到無失真重建視點的最優(yōu)條件，|/Q|</，，即<formula>formulaseeoriginaldocumentpage7</formula>(d)得到無失真重建視點時相機最大間距Axmax及最佳重建深度i:,<formula>formulaseeoriginaldocumentpage7</formula>其中Z皿x和Z皿n分別為場景的最大和最小深度，為釆集相機分辨率上限。上述步驟(3)中的對場景的EPI圖像進行譜分析，得到場景深度變化范圍，其具體步驟是(a)采用表面全光函數(shù)(SurfacePlenopticFunction)表示三維空間多視點數(shù)據(jù)；(b)根據(jù)相機幾何模型中光線光路特性，結(jié)合表面全光函數(shù)和相機間夾角表示特定深度光線；(c)在頻域中表示該光線，分析其頻域特性，分別假定單一深度層、多個深度層、遮擋等條件對其頻譜特性進行分析；(d)根據(jù)上述分析，得出場景深度范圍與場景的EPI圖像頻譜特性的對應(yīng)關(guān)系，進而推出在最佳重建深度時的相機最大間距Atmax:<formula>formulaseeoriginaldocumentpage7</formula>其中rmax和rmin自分別為場景物體表面的最大和最小深度。上述步驟(4)中的設(shè)計視點重建濾波器，即根據(jù)最優(yōu)條件及場景深度范圍確定視點插值重建濾波器的參數(shù)，其具體步驟是(a)根據(jù)信號采樣重建理論表示三維空間采樣后多視點數(shù)據(jù)，設(shè)計插值重建濾波器；(b)分析插值重建濾波器時域及頻域特性，根據(jù)場景頻譜特性及相機最大間距參數(shù)化濾波器。上述(步驟5)中的設(shè)計繪制重建方法，根據(jù)幾何模型設(shè)計視點重建濾波器，確定采樣圖像數(shù)目，設(shè)計新視點繪制重建方法，生成新視點，其具體步驟是-(a)根據(jù)相機模型及場景幾何信息設(shè)計匯聚模型的新視點繪制重建方法；(b)推導出新視點中光線集合于采樣圖像中光線集合的約束關(guān)系，合成新視點。本發(fā)明與已有技術(shù)相比較，具有如下顯而易見的實質(zhì)性突出特點和顯著優(yōu)點之前方法大多針對理想情況推導出系統(tǒng)最小采樣間隔及重建算法，由于采樣數(shù)目過大在實際應(yīng)用中很難實現(xiàn)，而本發(fā)明則通過理論分析，根據(jù)采集相機姿態(tài)、重建方法及新視點質(zhì)量間的關(guān)系確定出合適的采樣圖像數(shù)目，大大降低了重建新視點所需的采樣圖像數(shù)目，從而易于應(yīng)用實現(xiàn)。實驗時分別對具有相似參數(shù)的模擬系統(tǒng)及實際系統(tǒng)進行驗證，得到良好的重建質(zhì)量。雖然本發(fā)明提出的方法是針對匯聚型相機陣列及視點重建系統(tǒng)，但對于其他相機陣列類型及視點重建系統(tǒng)也具有參考價值。圖1是本發(fā)明的匯聚式相機的多視點采集/顯示系統(tǒng)中新視點重建方法流程框圖。圖2是圖1中的建立匯聚式相機幾何模型的程序框圖。圖3是圖1中的信號無失真采樣理論分析的程序框圖。圖4是圖1中的場景的EPI圖像進行譜分析的程序框圖。圖5是圖1中的設(shè)計視點重建濾波器的程序框圖。圖6是圖1中的設(shè)計繪制重建方法的程序框圖。圖7是視點重建結(jié)果圖。具體實施例方式本發(fā)明的一個實施例子結(jié)合附圖詳述如下-本匯聚式相機的多視點采集/顯示系統(tǒng)中新視點重建方法的具體步驟如圖1流程框圖所示。對于建模場景在計算機平臺上編程實現(xiàn)；對于實際場景通過建立匯聚式相機采集及顯示系統(tǒng)進行實驗，圖7給出視點重建結(jié)果。參見圖1，本匯聚式相機的多視點采集/顯示系統(tǒng)中新視點重建方法，首先針對匯聚型相機采集方式建立相機幾何模型，然后根據(jù)采集系統(tǒng)參數(shù)、場景幾何信息及光譜特性，設(shè)計視點重建濾波器，內(nèi)插出采樣圖像，從而繪制出三維場景的新視點。其步驟是(1)建立相機幾何模型針對匯聚式相機及場景信息建立相機幾何模型；(2)信號無失真采樣理論分析根據(jù)采樣定理得到無失真重建視點的最優(yōu)條件；(3)對場景的EPI圖像進行譜分析從場景的多視點圖像獲取其EPI圖像，并進行譜分析，得到場景深度的變化范圍；(4)設(shè)計視點重建濾波器根據(jù)上述(2)的最優(yōu)條件及(3)的場景深度范圍確定視點插值重建濾波器的參數(shù)；(5)設(shè)計視點繪制重建方法根據(jù)前述的幾何模型及得到視點重建濾波器參數(shù)設(shè)計新視點繪制重建方法，生成新視點。參見圖2，上述步驟(1)的具體過程如下(a)根據(jù)場景信息(場景幾何信息、場景物體表面紋理、物體表面反射特性、景深)，量化相機幾何模型參數(shù)；(b)根據(jù)相機系統(tǒng)信息(相機分辨率、虛擬相機分辨率、相機鏡頭焦距、相機陣列擺放姿態(tài)和相機間距)，量化相機幾何模型參數(shù)；(c)由(a)和(b)所得參數(shù)建立匯聚式相機幾何模型，其場景及相機參數(shù)如表1所示。表1<table>tableseeoriginaldocumentpage9</column></row><table>參見圖3，上述步驟(2)的具體過程如下(a)根據(jù)相機幾何模型確定從相機匯聚點可捕獲到的場景的最高紋理信息/。，設(shè)場景紋理信息最高頻率為/_^=,，其中z,為場景深度，y;為紋理頻率周期長度，丄為相機匯聚點深度。則/0=/>^^;(b)根據(jù)采樣定理確定最低采樣頻率/，=!，其中z為相機所在圓周半徑長度，Ax為相機間距；(c)根據(jù)采樣定理得到無失真重建視點的最優(yōu)條件，|yo|</，，即^1ZZ2AxZ,_丄(d)得到無失真重建視點時相機最大間距Axmax及最佳重建深度丄,1乙，Ax=-尸7—7■7cam"max"minmax"min其中Z^x和Z皿n分別為場景的最大和最小深度，為采集相機分辨率上限。根據(jù)上述導出公式結(jié)合實際場景參數(shù)(表1)，分別計算可得滿足采樣定理的相機最大間距Axmax及最少的相機數(shù)目iVmm分別為Axm。v=1.12wm，AL=424由于所得的相機最大間距Axmax過小及最少的相機數(shù)目7V^相機數(shù)目過大，因而在實際應(yīng)用中很難實現(xiàn)。因此需通過上述的步驟(3)對場景的頻譜特性進行分析后優(yōu)化得出最佳重建深度時的相機最大間距及最少數(shù)目。其具體過程如下(參見圖4):(a)采用表面全光函數(shù)(SurfacePlenopticFunction)表示三維空間多視點數(shù)據(jù)；(b)根據(jù)相機幾何模型中光線光路特性，結(jié)合表面全光函數(shù)和相機間夾角表示特定深度光線；(c)在頻域中表示該光線，分析單一深度層、多個深度層和存在遮擋的多個深度層這三種不同情況下的頻譜特性；(d)根據(jù)上述分析，得出場景深度范圍與場景的EPI圖像頻譜特性的對應(yīng)關(guān)系，進而推出在最佳重建深度時的相機最大間距Ax^:<formula>formulaseeoriginaldocumentpage11</formula>其中^u和^nm分別為場景物體表面的最大和最小深度，F(xiàn)和丄分別為相機焦距長度及匯聚相機所在圓周的半徑長度。根據(jù)上述導出公式結(jié)合實際場景參數(shù)(表l)，重新計算相機最大間距AXmax及最少的相機數(shù)目iV',分別為<formula>formulaseeoriginaldocumentpage11</formula>參見圖5，上述步驟(4)的具體過程如下(a)根據(jù)信號采樣重建理論表示三維空間采樣后的多視點數(shù)據(jù)，設(shè)計插值重建濾波器，確定采樣圖像數(shù)目；(b)分析插值重建濾波器時域及頻域特性，根據(jù)場景頻譜特性及相機最大間距確(c)選定濾波器參數(shù)A,^二Ax,，根據(jù)所選的A^^參數(shù)化視點重建濾波器，其時域及頻域特性分別為<formula>formulaseeoriginaldocumentpage11</formula>化Mr參見圖6，上述步驟(5)的具體過程如下(a)根據(jù)相機模型及場景幾何信息設(shè)計匯聚模型的新視點繪制重建方法;(b)導出新視點中光線集合于采樣圖像中光線集合的約束關(guān)系，生成新視點。所生成的新視點如圖7所示。圖7中(a)、(b)、(c)、(d)分別為按照本發(fā)明所述方法生成的新視點圖像。其中(a)(b)為針對實際場景生成的新視點圖像，(c)(d)為針對建模場景生成的新視點圖像。按照本發(fā)明所述方法，生成該新視點所需的采樣圖像數(shù)目從424降至86，并且由圖中可以直觀地看出圖像的主觀質(zhì)量良好，因此驗證了本發(fā)明的有效性及設(shè)計系統(tǒng)設(shè)計時的實用性。權(quán)利要求1.一種匯聚式相機的多視點采集/顯示系統(tǒng)中新視點重建方法，其特征在于首先針對匯聚型相機采集方式，建立匯聚式相機的幾何模型；接著綜合考慮采集系統(tǒng)所涉及的各項參數(shù)，通過信號采樣理論分析得到無失真重建視點的最優(yōu)條件；其次對場景的EPI(EpipolarImage)圖像進行譜分析，得出場景EPI光譜特性與場景深度變化范圍的關(guān)系；然后根據(jù)上述分析設(shè)計視點重建濾波器，通過插值技術(shù)為重建新視點生成有效數(shù)目的采樣圖像；最后設(shè)計繪制重建方法得到有效范圍內(nèi)三維場景的新視點；其具體步驟是a.建立相機幾何模型針對匯聚式相機及場景信息建立相機幾何模型；b.信號無失真采樣理論分析根據(jù)采樣定理得到無失真重建視點的最優(yōu)條件；c.對場景的EPI圖像進行譜分析從場景的多視點圖像獲取其EPI圖像，并進行譜分析，得到場景深度變化范圍；d.設(shè)計視點重建濾波器根據(jù)最優(yōu)條件及場景深度范圍確定視點插值重建濾波器的參數(shù)；e.設(shè)計繪制重建方法根據(jù)建立的幾何模型設(shè)計及視點重建濾波器設(shè)計新視點繪制重建方法，生成新視點。2.根據(jù)權(quán)利要求1所述的匯聚式相機的多視點采集/顯示系統(tǒng)中新視點重建方法，其特征在于所述步驟(1)中的針對匯聚式相機及場景信息建立相機幾何模型的具體步驟如下(a)綜合考慮場景信息——場景幾何信息、場景物體表面紋理、物體表面反射特性、景深，量化相機幾何模型參數(shù)；(b)綜合考慮相機系統(tǒng)信息——相機分辨率、虛擬相機分辨率、相機鏡頭焦距、相機陣列擺放姿態(tài)和相機間距，量化相機幾何模型參數(shù)。3.根據(jù)權(quán)利要求1所述的匯聚式相機的多視點采集/顯示系統(tǒng)中新視點重建方法，其特征在于所述步驟(2)中的信號無失真采樣理論分析，根據(jù)采樣定理得到無失真重建視點的最優(yōu)條件的具體步驟如下-(a)根據(jù)相機幾何模型確定從相機匯聚點可捕獲到的場景的最高紋理信息/o，假定場景紋理信息最高頻率為/;8=|，其中z,為場景深度，y;為紋理頻率周期長度，丄為相機匯聚點深度，則<formula>formulaseeoriginaldocumentpage3</formula>乙,.(b)根據(jù)采樣定理確定最低采樣頻率<formula>formulaseeoriginaldocumentpage3</formula>其中丄為相機所在圓周半徑長"2Ax度，Ax為相機間距；(c)根據(jù)采樣定理得到無失真重建視點的最優(yōu)條件<formula>formulaseeoriginaldocumentpage3</formula>，，即<formula>formulaseeoriginaldocumentpage3</formula>(d)得到無失真重建視點時相機最大間距Axmax及最佳重建深度丄,<formula>formulaseeoriginaldocumentpage3</formula>其中zmax和zmin分別為場景的最大和最小深度，為采集相機分辨率上限。4.根據(jù)權(quán)利要求1所述的匯聚式相機的多視點采集/顯示系統(tǒng)中新視點重建方法，其特征在于所述步驟(3)中的對場景的EPI圖像進行譜分析，得到場景深度變化范圍的具體步驟如下(a)采用表面全光函數(shù)表示三維空間多視點數(shù)據(jù)；(b)根據(jù)相機幾何模型中光線光路特性，結(jié)合表面全光函數(shù)和相機間夾角表示特定深度光線；(c)在頻域中表示該光線，分析其頻域特性，分別假定單一深度層、多個深度層、遮擋對其頻譜特性進行分析；(d)根據(jù)上述分析，得出場景深度范圍與場景的EPI圖像頻譜特性的對應(yīng)關(guān)系，進而導出在最佳重建深度時的采樣圖像的數(shù)目及相機最大間距A^^:<formula>formulaseeoriginaldocumentpage3</formula>其中rmax和rmin分別為場景物體表面的最大和最小深度。5.根據(jù)權(quán)利要求i所述的匯聚式相機的多視點采集/顯示系統(tǒng)中新視點重建方法，其特征在于所述步驟(4)中的設(shè)計視點重建濾波器，即根據(jù)最優(yōu)條件及場景深度范圍確定視點插值重建濾波器的參數(shù)的具體步驟如下(a)根據(jù)信號采樣重建理論表示三維空間采樣后多視點數(shù)據(jù)，設(shè)計插值重建濾波器；(b)分析插值重建濾波器時域及頻域特性，根據(jù)場景頻譜特性及相機最大間距確定濾波器參數(shù)。6.根據(jù)權(quán)利要求1所述的匯聚式相機的多視點采集/顯示系統(tǒng)中新視點重建方法，其特征在于所述步驟(5)中的設(shè)計繪制重建方法，根據(jù)幾何模型及視點重建濾波器設(shè)計新視點繪制重建方法，生成新視點的具體步驟如下(a)根據(jù)相機模型及場景幾何信息設(shè)計匯聚模型的新視點繪制重建方法；(b)推導出新視點中光線集合于采樣圖像中光線集合的約束關(guān)系，合成新視點。全文摘要本發(fā)明涉及一種匯聚式相機的多視點采集/顯示系統(tǒng)中新視點重建方法。本發(fā)明針對匯聚型相機采集方式，首先建立了匯聚式相機的幾何模型，綜合考慮采集系統(tǒng)所涉及各項參數(shù)，通過信號采樣理論分析得到無失真重建視點的最優(yōu)條件，然后又對場景的EPI圖像進行了譜分析，得出場景EPI光譜特性與場景深度變化范圍的關(guān)系。根據(jù)上述分析確定采樣圖像數(shù)目，并設(shè)計視點重建濾波器，通過插值技術(shù)為重建新視點生成采樣圖像，最后根據(jù)匯聚模型設(shè)計繪制重建方法得到一定范圍內(nèi)三維場景的新視點。實驗時分別對具有相似參數(shù)的模擬系統(tǒng)及實際系統(tǒng)進行驗證，得到良好的重建質(zhì)量。本發(fā)明對于其他相機陣列類型及視點重建系統(tǒng)也具有參考價值。文檔編號G06T15/00GK101369348SQ200810040630公開日2009年2月18日申請日期2008年11月7日優(yōu)先權(quán)日2008年11月7日發(fā)明者濤嚴,劉蘇醒,平安,桃宓,倩張,張兆揚,沈禮權(quán)申請人:上海大學