本發(fā)明屬于三維重建技術(shù)領(lǐng)域，特別涉及一種基于單光場相機(jī)多重聚焦的虛擬現(xiàn)實(shí)三維數(shù)據(jù)采集方法。

背景技術(shù)：

現(xiàn)有技術(shù)中，對于被測物體虛擬現(xiàn)實(shí)的三維數(shù)據(jù)的獲取技術(shù)分散于各種文獻(xiàn)中，但是都各有其缺點(diǎn)。例如有參考文獻(xiàn)：

[1]Gonzalez R C,Woods R E.Digital image processing[J].Nueva Jersey,2008.

[2]Levoy M,Hanrahan P.Light field rendering[C]//Proceedings of the 23rd annual conference on Computer graphics and interactive techniques.ACM,1996:31-42.

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種基于單光場相機(jī)多重聚焦的虛擬現(xiàn)實(shí)三維數(shù)據(jù)采集方法。

本發(fā)明的技術(shù)方案是，一種基于單光場相機(jī)多重聚焦的虛擬現(xiàn)實(shí)三維數(shù)據(jù)采集方法，包含以下步驟：

S101，利用單個(gè)光場相機(jī)獲取微透鏡校準(zhǔn)圖，定位微透鏡中心并拍攝物體光場圖像；

S102，通過多重視角原理獲取所有視角圖像；

S103，設(shè)定像距，按多重聚焦原理獲取一個(gè)焦深的圖像；

S104，重新設(shè)定像距，進(jìn)行步驟S103，獲取另一焦深處的圖像。

對于步驟S101，方法為在光場相機(jī)遠(yuǎn)處放置一塊白板，將光圈調(diào)至最小，調(diào)整曝光時(shí)間使得圖像不至于過曝光或欠曝光，此時(shí)拍下的照片可以看作是由微透鏡正下方的發(fā)光點(diǎn)組成，借此算出微透鏡的中心坐標(biāo)，

將獲得的光場圖像做裁剪，在給定圖像左上角第一個(gè)像素之后，按照初始設(shè)定的微透鏡間距(Δx，Δy)去橫向搜尋右邊最近的微透鏡中心，在定位中心的過程中微透鏡間距實(shí)時(shí)更新，以減少累計(jì)誤差，即：

Δx＝x_i-x_i-1 (1)

Δy＝y(tǒng)_i-y_i-1 (2)

在計(jì)算微透鏡中心時(shí)，采用質(zhì)心法來計(jì)算中心的坐標(biāo)，步驟如下：

首先用歷遍像素的方法找到一個(gè)局部最亮點(diǎn)，以局部最亮點(diǎn)為中心外架n×n鄰域，再用質(zhì)心法加權(quán)求出亮點(diǎn)的中心坐標(biāo)(X,Y)，其公式可以寫成：

$X=\frac{{\mathrm{\Σ}}_{i,j}{x}_{i,j}*v_{i,j}}{{\mathrm{\Σ}}_{i,j}{v}_{i,j}}---\left(3\right)$

$Y=\frac{{\mathrm{\Σ}}_{i,j}{y}_{i,j}*v_{i,j}}{{\mathrm{\Σ}}_{i,j}{v}_{i,j}}---\left(4\right)$

其中x_i，j,y_i，j分別是鄰域內(nèi)坐標(biāo)(i，j)處的橫坐標(biāo)值和縱坐標(biāo)值，v_i,j是(x_i，j,y_i,j)處的像素值，

將所需進(jìn)行多重聚焦處理的物體放置在鏡頭范圍內(nèi)，使得背景對拍攝物體后處理的影響降至最低，調(diào)整鏡頭的焦距，使得被拍攝的物體前后位置位于透鏡對焦平面兩側(cè)，調(diào)整曝光時(shí)間，拍攝一張圖像即可。

對于步驟S102，按照多重視角原理，每個(gè)微透鏡自身記錄了光線的位置信息，而微透鏡下所有像素記錄了射向同一位置但角度各不相同的光線，過程包括：

取出每個(gè)微透鏡下代表同一方向的某個(gè)像素，并將這些像素拼合成一幅圖像，這便是某一個(gè)視角的圖像，當(dāng)再次取用微透鏡下的另一個(gè)像素時(shí)，又會形成一個(gè)不同視角的圖像。

對于步驟S103，設(shè)定像距，按多重聚焦原理獲取一個(gè)焦深的圖像，

設(shè)微透鏡平面所在的位置距離主透鏡平面的距離為F，想要聚焦的平面，即重聚焦平面距離主透鏡的距離為αF。畫出經(jīng)過重聚焦平面上坐標(biāo)為x’的點(diǎn)的所有光線，

這些光線可以用其與主透鏡和微透鏡陣列的交點(diǎn)坐標(biāo)(u,x)來表示，故每條光線可以在u-x平面中表示為一個(gè)點(diǎn)，

光線的數(shù)量是有限的，等于主透鏡被離散的份數(shù)。x’與u,x的關(guān)系可寫成：

$x^{\′}=u\·(1-\frac{1}{\mathrm{\α}})+\frac{x}{\mathrm{\α}}---\left(5\right)$

可以看出，在x’確定后u和x成線性關(guān)系，故所有光線在u-x平面中會落在一條直線上，當(dāng)x’發(fā)生變化時(shí)，直線會沿x軸方向做相應(yīng)平移。

步驟S102中獲取的不同視角的圖片，其坐標(biāo)(s，t)正是(5)式中的u坐標(biāo)，而x坐標(biāo)則可由像素的絕對位置來確定，按(5)式的規(guī)律找到所有光線進(jìn)行加和，整個(gè)過程可以用下式表示：

Σ^s，tPerspec(s，t，x+(α-1)s，y+(α-1)t) (6)。

對于步驟S104，

物距通過已知的像距和主透鏡焦距計(jì)算獲得，是隨α值不均勻變化的一個(gè)量，對應(yīng)某個(gè)α，物距根據(jù)幾何光學(xué)透鏡成像公式可寫作：

本發(fā)明能通過單個(gè)光場相機(jī)對景物的一次拍攝，經(jīng)過算法處理獲取物體多個(gè)焦深處的圖像，對于某個(gè)特定的焦深，分布于其上的物體將會得到清晰的像，其余物體將形成模糊的像。獲取的多個(gè)焦深的圖像可以被后續(xù)光場單相機(jī)算法所使用，亦可以供一些需要不同焦深圖像的場所，如為VR技術(shù)提供輸入內(nèi)容的景深數(shù)據(jù)，提高VR輸出的立體感、沉浸感等。

附圖說明

圖1單光場相機(jī)三維成像原理圖

圖2因質(zhì)量差而應(yīng)舍去的校準(zhǔn)圖邊緣示意圖

圖3.校準(zhǔn)圖非邊緣示意圖

圖4.單光場相機(jī)校準(zhǔn)圖

圖5.質(zhì)心法鄰域示意圖

圖6.重聚焦原理圖

圖7 u-x平面內(nèi)表示光線

圖8.實(shí)施例中近場重聚焦效果示意圖

圖9.遠(yuǎn)場重聚焦效果示意圖

圖10本發(fā)明的方法流程示意圖

具體實(shí)施方式

本發(fā)明涉及一種基于單個(gè)光場相機(jī)的重聚焦方法，通過單次拍攝物體加上可預(yù)先獲取的校準(zhǔn)圖像，經(jīng)過算法處理，可以形成不同焦深處的圖像。包含以下步驟：

1)微透鏡校準(zhǔn)圖獲取及微透鏡中心定位

由于算法需要，在進(jìn)行一切光場圖像后處理的時(shí)候都會用到微透鏡的坐標(biāo)信息，而這些坐標(biāo)會因一些外部因素隨時(shí)間改變。故在拍攝一組光場照片之前，都需要進(jìn)行一次校準(zhǔn)。方法為在光場相機(jī)遠(yuǎn)處放置一塊白板，將光圈調(diào)至最小，調(diào)整曝光時(shí)間使得圖像不至于過曝光或欠曝光。此時(shí)拍下的照片可以看作是由微透鏡正下方的發(fā)光點(diǎn)組成?？梢越璐怂愠鑫⑼哥R的中心坐標(biāo)。

在計(jì)算微透鏡中心位置時(shí)，由于圖像邊緣的質(zhì)量較差(見圖2)，需要將原始光場圖像做一定的裁剪，裁剪厚度約為100個(gè)像素。

在給定圖像左上角第一個(gè)像素之后，就可以按照初始設(shè)定的微透鏡間距(Δx，Δy)去橫向搜尋右邊最近的微透鏡中心。在定位中心的過程中微透鏡間距實(shí)時(shí)更新，以減少累計(jì)誤差。即：

Δx=x_i-x_i-1 (1)

Δy＝y(tǒng)_i-y_i-1 (2)

在計(jì)算微透鏡中心時(shí)，采用質(zhì)心法來計(jì)算中心的坐標(biāo)[1]，步驟如下：首先用歷遍像素的方法找到一個(gè)局部最亮點(diǎn)，以局部最亮點(diǎn)為中心外架3*3鄰域，(若中心點(diǎn)分布較廣，可采用更大的鄰域)圖5中采用的是3*3鄰域。再用質(zhì)心法加權(quán)求出亮點(diǎn)的中心坐標(biāo)(X,Y)，其公式可以寫成：

$X=\frac{{\mathrm{\Σ}}_{i,j}{x}_{i,j}*v_{i,j}}{{\mathrm{\Σ}}_{i,j}{v}_{i,j}}---\left(3\right)$

$Y=\frac{{\mathrm{\Σ}}_{i,j}{y}_{i,j}*v_{i,j}}{{\mathrm{\Σ}}_{i,j}{v}_{i,j}}---\left(4\right)$

其中x_i，j,y_i，j分別是鄰域內(nèi)坐標(biāo)(i，j)處的橫坐標(biāo)值和縱坐標(biāo)值，v_i，j是(x_i，j,y_i，j)處的像素值。

2)物體光場圖像拍攝

將所需進(jìn)行多重聚焦處理的物體放置在鏡頭范圍內(nèi)，使得背景對拍攝物體后處理的影響降至最低。調(diào)整鏡頭的焦距，使得被拍攝的物體前后位置位于透鏡對焦平面兩側(cè)，提高對高分辨率區(qū)域的利用率。調(diào)整曝光時(shí)間，以得到最合適的亮度。最后，拍攝一張圖像即可。

3)獲取多重視角圖片

按照多重視角原理[2]，每個(gè)微透鏡自身記錄了光線的位置信息，而微透鏡下所有像素記錄了射向同一位置但角度各不相同的光線。概括多重視角的原理可以寫作：取出每個(gè)微透鏡下代表同一方向的某個(gè)像素，并將這些像素拼合成一幅圖像，這便是某一個(gè)視角的圖像。當(dāng)再次取用微透鏡下的另一個(gè)像素時(shí)，又會形成一個(gè)不同視角的圖像。

4)設(shè)定像距，按多重聚焦原理獲取一個(gè)焦深的圖像

如圖6所示，設(shè)微透鏡平面所在的位置距離主透鏡平面的距離為F，想要聚焦的平面，即重聚焦平面距離主透鏡的距離為αF。畫出經(jīng)過重聚焦平面上坐標(biāo)為x’的點(diǎn)的所有光線。如圖6所示，這些光線可以用其與主透鏡和微透鏡陣列的交點(diǎn)坐標(biāo)(u,x)來表示。故每條光線可以在u-x平面中表示為一個(gè)點(diǎn)，見圖7。光線的數(shù)量是有限的，等于主透鏡被離散的份數(shù)。x’與u,x的關(guān)系可寫成：

$x^{\′}=u\·(1-\frac{1}{\mathrm{\α}})+\frac{x}{\mathrm{\α}}---\left(5\right)$

可以看出，在x’確定后u和x成線性關(guān)系，故所有光線在u-x平面中會落在一條直線上。當(dāng)x’發(fā)生變化時(shí)，直線會沿x軸方向做相應(yīng)平移。

步驟(3)中獲取的不同視角的圖片，其坐標(biāo)(s，t)正是為我們提供了(5)式中的u坐標(biāo)，而x坐標(biāo)則可由像素的絕對位置來確定。這樣一來就可以按(5)式的規(guī)律找到所有光線進(jìn)行加和，整個(gè)過程可以用下式表示：

Σ^s，tPerspec(s，t，x+(α-1)s，y+(α-1)t) (6)

5)重新設(shè)定像距α，再次進(jìn)行過程4)

物距可以通過已知的像距和主透鏡焦距計(jì)算獲得，是隨α值不均勻變化的一個(gè)量。對應(yīng)某個(gè)α，物距根據(jù)幾何光學(xué)透鏡成像公式可寫作：

最終不同對焦平面的效果如圖8,9，圖8對焦在最近的硬幣上，圖9對焦在最遠(yuǎn)處的筆記本封面上。事實(shí)上，對焦平面根據(jù)α的不同可以有無數(shù)個(gè)，但是光場相機(jī)對于光軸方向的分辨率是有限的，故在分辨能力之外多取α是沒有意義的。在選取α間隔時(shí)應(yīng)與其分辨能力相匹配。