技術(shù)領(lǐng)域：
本發(fā)明涉及一種光場圖像的深度提取方法，屬于圖像處理和計(jì)算機(jī)視覺技術(shù)領(lǐng)域。
背景技術(shù)：
：
1991年，adelson等首次提出了全光函數(shù)的概念，用7個維度進(jìn)行描述，分別為觀察點(diǎn)的空間位置(vx,vy,vz)、光線的俯仰角和方位角(θ,φ)波長l觀察記錄光線的時(shí)刻t，表示為l＝p(vx,vz,θ,φ,l,t)。1992年，adelson成功將光場理論應(yīng)用與計(jì)算機(jī)視覺，并提出了全光場理。1996年，levoy的光場渲染理論及steven等的流明圖進(jìn)一步地完善了光場理論。leovy等人給出的4d光場l(u，v，s，t)的光場表示方式，其意義為自由空間中任意點(diǎn)沿著一定方向的光線的輻射度值，該空間所有的有向光線的集合就構(gòu)成了光場的一個數(shù)據(jù)集。隨著光場成像發(fā)展，其作為一種成像與計(jì)算相結(jié)合的新興三維成像技術(shù)，擁有低成本的硬件設(shè)備、比較簡單的光學(xué)成像系統(tǒng)、豐富的圖像數(shù)據(jù)以及多樣的數(shù)據(jù)后期處理方式等優(yōu)點(diǎn)，成為了很多國內(nèi)外機(jī)構(gòu)和研究人員的研究熱點(diǎn)。他們在遮擋物的顯現(xiàn)、物體的分層與分割、景物的重聚焦、物體的三維模型重構(gòu)和三維流場測速等方面取得了重要的成果，其中主要技術(shù)在于光場的重構(gòu)表現(xiàn)及深度的精確提取。
由于光場圖像的設(shè)備硬件條件限制以及各光學(xué)設(shè)備參數(shù)之間的關(guān)系，使得相鄰子圖像之間的基線異常狹窄，視差范圍也在幾個像素范圍內(nèi)，即使使用目前最優(yōu)的立體匹配算法也不能得到滿意效果，需要針對光場特性進(jìn)行研究，尋找適用于光場圖像的深度提取方法。
技術(shù)實(shí)現(xiàn)要素：
本發(fā)明的目的是提供一種光場圖像的深度提取方法，能夠?qū)鈭鰯?shù)據(jù)處理獲得清晰多視點(diǎn)圖像并進(jìn)行精確深度提取。
上述的目的通過以下技術(shù)方案實(shí)現(xiàn)：
一種光場圖像的深度提取方法，該方法包括兩個階段：光場重構(gòu)和深度提取，
所述光場重構(gòu)階段包括：
s1：將輸入的光場數(shù)據(jù)進(jìn)行預(yù)處理后根據(jù)該圖像的圖像中心位置重構(gòu)出光場，生成多視點(diǎn)圖像；
所述深度提取階段包括：
s2：對視點(diǎn)圖像提取極平面圖，計(jì)算視差圖，優(yōu)化得到最優(yōu)深度圖。
所述的光場圖像的深度提取方法，所述的光場重構(gòu)的方法包括如下步驟：
s11：對光場圖像的子圖像中心位置進(jìn)行標(biāo)定；
s12：對輸入的光場數(shù)據(jù)進(jìn)行解碼、優(yōu)化和規(guī)則化處理；
s13：重構(gòu)出光場，獲得多視點(diǎn)圖像。
所述的光場圖像的深度提取方法，步驟s11中所述對光場圖像的子圖像中心位置進(jìn)行標(biāo)定的方法具體包括如下步驟：獲取不同對焦及變焦情況下的多曝光白圖像，其圖像中對應(yīng)的子圖像中心各不相同，通過峰值檢測處理可以得到該對焦、變焦和曝光程度下對應(yīng)子圖像中心的位置，對同一對焦和變焦下的不同曝光圖像，圖像中心取其位置計(jì)算的均值。由此，建立對焦、變焦和圖像中心位置對應(yīng)表。對于輸入的光場圖像，獲取其拍攝時(shí)的變焦、對焦參數(shù)后，選擇與表中參數(shù)最接近的白圖像的中心位置來標(biāo)定該光場圖像。
所述的光場圖像的深度提取方法，步驟s12中所述對輸入的光場數(shù)據(jù)進(jìn)行解碼、優(yōu)化和規(guī)則化處理的方法具體包括如下步驟：
s121：將圖像進(jìn)行解碼、優(yōu)化：將光場相機(jī)采集到的原始數(shù)據(jù)進(jìn)行解碼得到對應(yīng)的彩色圖像，初步解碼后的圖像會存在灰度值偏低以及由于漸暈效應(yīng)造成的圖像邊緣像素過暗問題，分別使用γ過濾和函數(shù)逼近法將圖像進(jìn)行優(yōu)化；
s122：圖像的規(guī)則化：將子圖像從六邊形規(guī)則化為正方形圖像，使用六邊形-正交格點(diǎn)的轉(zhuǎn)換來校正六邊形子圖像組成的原始圖像，得到規(guī)則化圖像。
所述的光場圖像的深度提取方法，步驟s13中所述重構(gòu)出光場，獲得多視點(diǎn)圖像的具體方法是：根據(jù)針孔成像模型中世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系和像素坐標(biāo)系之間的關(guān)系及轉(zhuǎn)化方式，結(jié)合光場空間的成像方程，使用優(yōu)化后的圖像重構(gòu)出光場，根據(jù)輸入的視點(diǎn)位置，固定該位置的平面參數(shù)，將范圍內(nèi)的光線進(jìn)行積分得到對應(yīng)的視點(diǎn)圖像。
所述的光場圖像的深度提取方法，所述的深度提取的方法包括如下步驟：
s21：將多視點(diǎn)圖像抽取出極平面圖；
s22：利用分梯度方法得到最優(yōu)視差點(diǎn)集和視差圖；
s23：視差圖融合、優(yōu)化得到精確深度圖。
所述的光場圖像的深度提取方法，步驟s21中所述的將多視點(diǎn)圖像抽取出極平面圖的具體方法是：選定一個視點(diǎn)對應(yīng)的圖像作為深度提取的參考圖像，使用與該視點(diǎn)同一水平及豎直方向的其他視點(diǎn)圖像，將多視點(diǎn)圖像在水平及垂直方向上抽取極平面圖。
所述的光場圖像的深度提取方法，步驟s22中所述的利用分梯度方法得到最優(yōu)視差點(diǎn)集和視差圖的具體方法是：將需要深度計(jì)算的像素點(diǎn)作為參考點(diǎn)，利用分梯度方法計(jì)算該點(diǎn)視差范圍內(nèi)所有可能像素點(diǎn)的像素值，并計(jì)算出所有像素點(diǎn)與參考點(diǎn)的匹配代價(jià)，通過代價(jià)對比獲得最優(yōu)梯度，該梯度下的像素點(diǎn)作為最優(yōu)視差點(diǎn)集，計(jì)算均值作為該點(diǎn)的最優(yōu)視差。
所述的光場圖像的深度提取方法，步驟s23中所述的視差圖融合、優(yōu)化得到精確深度圖的具體方法是：將兩個方向得到的視差圖在馬爾科夫隨機(jī)場內(nèi)進(jìn)行融合，對于圖像中的每一點(diǎn)，其視差計(jì)算的代價(jià)值越小，在兩個圖像的融合中對應(yīng)的權(quán)重越大，然后對融合后的圖像進(jìn)行中值濾波得到平滑深度圖。
有益效果：
本發(fā)明有別于光場圖像軟件自動加載和重聚焦顯示，每一步都可以通過人工調(diào)節(jié)光場數(shù)據(jù)操作的每一步及其中參數(shù)，生成清晰的多視點(diǎn)圖像，并通過多視點(diǎn)圖像可以得到場景的精確深度圖。
附圖說明
圖1是本發(fā)明的流程框架圖。
具體實(shí)施方式
下面結(jié)合具體實(shí)施方式，進(jìn)一步闡明本發(fā)明，應(yīng)理解下述具體實(shí)施方式僅用于說明本發(fā)明而不用于限制本發(fā)明的范圍。
本發(fā)明提供了一種對于光場圖像的深度提取方法。本發(fā)明包括兩個階段：光場重構(gòu)和深度提取。所述重構(gòu)階段如下步驟：首先計(jì)算相機(jī)多種拍攝情況得到的參數(shù)和圖像標(biāo)定表，然后對輸入的光場數(shù)據(jù)進(jìn)行解碼、優(yōu)化及規(guī)則化處理，最后根據(jù)光場成像方程重構(gòu)出光場，獲得多視點(diǎn)圖像。所述深度提取階段包括：將多視點(diǎn)圖像抽取出視點(diǎn)對應(yīng)的極平面圖，利用分梯度方法得到最優(yōu)視差點(diǎn)集和視差圖，通過視差圖融合、優(yōu)化得到精確深度圖。
下面通過具體實(shí)施例對本發(fā)明做進(jìn)一步闡述：
1)對光場原始數(shù)據(jù)進(jìn)行預(yù)處理進(jìn)行光場重構(gòu)，得到多視點(diǎn)圖像：
1.1)對不同對焦和變焦拍攝條件下的白圖像根據(jù)峰值檢測算法得到該參數(shù)下每個子圖像對應(yīng)的圖像中心，由此進(jìn)行多次計(jì)算，得到對焦、變焦和圖像中心對應(yīng)表。在對光場輸入數(shù)據(jù)解析時(shí)，根據(jù)對焦與變焦參數(shù)，以對焦參數(shù)優(yōu)先方式進(jìn)行匹配，選取最優(yōu)白圖像對應(yīng)的圖像中心作為該光場圖像的圖像中心。
1.2)對相機(jī)拍攝的原始圖像使用線性插值來進(jìn)行bayer解碼，相機(jī)中數(shù)據(jù)使用‘gbbr’的bayer模式從左到右從上到下排列，對于每個像素點(diǎn)，利用公式(1)取其周圍的點(diǎn)的均值來得到該點(diǎn)像素，最后得到彩色圖。
其中，(m,n)包含于{(0,1),(0,1),(1,0),(1,0)}，g代表g通道的顏色值，其他通道使用方法一致。
1.3)然而，bayer解碼后的圖像仍然存在整體偏暗現(xiàn)象，本專利使用公式(2)所示γ校正將較暗圖像恢復(fù)到最適合人眼觀測的正常亮度，其中γ為2.2，lres、lorg對應(yīng)輸出圖像與輸入圖像。
1.4)對漸暈效應(yīng)導(dǎo)致的圖像邊緣失真，采用(3)對應(yīng)的線性逼近法將各像素的補(bǔ)償因子進(jìn)行表示并進(jìn)行抗?jié)u暈優(yōu)化。
f(i，j)＝cosh(rx(x-x0))×cosh(ry(y-y0))+c(3)
對于m*n的圖像，其中i＝1,2,...,m；j＝1,2,...,n；rx和ry表示沿圖像x和y軸的衰減率；(x0,y0)表示圖像中心，(x,y)是歸一化后的像素坐標(biāo)，c為常偏移量。
1.5)由于圖像中的每個子圖像都為高填充率的正六邊形，所得的正六邊形圖像需要進(jìn)行規(guī)則化轉(zhuǎn)變，本發(fā)明對原始圖像進(jìn)行六邊形-正交格點(diǎn)的轉(zhuǎn)換來進(jìn)行校正，根據(jù)公式(4)進(jìn)行四次修正迭代轉(zhuǎn)化，
m1m2m3＝r-1(4)
m1m2m3為三次迭代每次對應(yīng)的矩陣，r-1為六邊形的初始矩陣。
1.6)使用處理后的圖像進(jìn)行光場重構(gòu)，根據(jù)針孔成像模型中世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系和像素坐標(biāo)系之間的關(guān)系及轉(zhuǎn)化方式，結(jié)合光場空間的成像方程(5)重構(gòu)出光場，根據(jù)輸入的視點(diǎn)位置，固定該位置的平面參數(shù)，將范圍內(nèi)的光線進(jìn)行積分得到對應(yīng)的視點(diǎn)圖像，遍歷其中的成像平面，得到相機(jī)對應(yīng)的所有視點(diǎn)圖像。
其中，f是成像平面(s,t)與透鏡平面(u,v)的距離，ef(s,t)是光線在成像平面(s,t)輻照度，lf是以間距為f的兩平行平面進(jìn)行參數(shù)化的光場，θ是光線(u,v,s,t)與成像平面的夾角，cos4θ是光線衰弱因子。
2)對多視點(diǎn)圖像進(jìn)行深度提?。?/p>
2.1)選定一個視點(diǎn)對應(yīng)的圖像作為深度提取的參考圖像，使用與該視點(diǎn)同一水平及豎直方向的其他視點(diǎn)圖像，將多視點(diǎn)圖像在水平及垂直方向上抽取極平面圖，對于n*n的多視點(diǎn)圖像，本提取只需要參考視點(diǎn)圖像所在行及列的視點(diǎn)圖像，所需圖像僅為2*n-1。
水平方向的極平面提取中，每一行像素作為一塊，根據(jù)視點(diǎn)位置從左到右進(jìn)行順序提取并排列，得到子圖像高度h個極平面圖像塊。豎直方向同理抽取。
2.2)把極平面塊中需要深度計(jì)算的像素點(diǎn)作為參考像素點(diǎn)，將圖像視差范圍進(jìn)行等梯度劃分，在每個梯度下計(jì)算出視差范圍內(nèi)每個新像素點(diǎn)及其相鄰水平像素點(diǎn)的信息，兩點(diǎn)之間利用公式(6)來線性插值得到新像素的值。
通過公式(7)對應(yīng)的代價(jià)函數(shù)計(jì)算該點(diǎn)與參考像素點(diǎn)的差值，選取其中代價(jià)最小值點(diǎn)得到最優(yōu)梯度及該梯度下的最優(yōu)視差點(diǎn)集。
g＝∑(x0(i)-xn(i))2(7)
其中，x0，xn分別為參考像素點(diǎn)和插值像素點(diǎn)，i為顏色通道，將由最優(yōu)視差點(diǎn)集得到的視差取均值，可以分別得到水平方向和垂直方向的視差圖。
2.3)將兩個方向得到的視差圖在馬爾科夫場中融合。對于每個像素對應(yīng)的最優(yōu)梯度匹配代價(jià)，其代價(jià)值越小，權(quán)重越大，對于代價(jià)分別為α和β的像素點(diǎn)，融合時(shí)代價(jià)為α的像素點(diǎn)的視差融合權(quán)重計(jì)算方式為(8)。
將兩個視差圖像根據(jù)權(quán)重進(jìn)行加權(quán)融合，最后對融合圖像進(jìn)行中值濾波得到平滑深度圖。中值濾波公式如(9)。
g(x，y)＝median{f(x-i，y-j)}(i，j)∈w(9)
g(x,y)和f(x-i,y-j)分別為輸入和輸出圖像的灰度值，w為模板窗口，可以取方形、圓形、十字形等。
應(yīng)當(dāng)指出，上述實(shí)施實(shí)例僅僅是為清楚地說明所作的舉例，而并非對實(shí)施方式的限定，這里無需也無法對所有的實(shí)施方式予以窮舉。本實(shí)施例中未明確的各組成部分均可用現(xiàn)有技術(shù)加以實(shí)現(xiàn)。對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。