本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體講,涉及一種基于不同相機(jī)間距的立體圖像克隆算法。

背景技術(shù)：

隨著3D電影和電視等3D媒體的增加，3D內(nèi)容受到了用戶的廣泛關(guān)注。因此，一旦用戶能夠很方便地接觸到3D相機(jī)和3D顯示設(shè)備，就會(huì)希望能夠像編輯2D圖像一樣編輯3D圖像，然而，將2D圖像編輯的方法直接應(yīng)用到3D圖像，往往不能產(chǎn)生令人舒適愉悅的視覺體驗(yàn)。

目前，關(guān)于2D圖像克隆已經(jīng)有很多成熟的算法，然而3D圖像克隆面臨著許多新的挑戰(zhàn)：1)3D圖像相比2D圖像增加了深度約束，因此，為了保證立體圖像克隆過程中的深度一致性，需要對(duì)克隆區(qū)域的大小和形狀進(jìn)行調(diào)整。2)為了舒適的視覺體驗(yàn)，需要保持左視點(diǎn)圖像和右視點(diǎn)圖像之間的對(duì)應(yīng)關(guān)系。

目前，已有部分研究人員對(duì)立體圖像克隆進(jìn)行了研究。Lo等人提出了一種3D復(fù)制和粘貼的方法，需要精確分割源圖像中的待克隆對(duì)象，并將其粘貼到目標(biāo)圖像中。Luo等人提出了一種基于透視感知變形的無縫立體圖像克隆算法，該算法不需要對(duì)源圖像中的待克隆區(qū)域進(jìn)行精確分割，可以處理具有模糊邊界、不易分割的克隆對(duì)象。然而，在立體圖像克隆的過程中，上述研究都假設(shè)拍攝源圖像和拍攝目標(biāo)圖像的立體相機(jī)的相機(jī)間距是一致的。然而，實(shí)際中，拍攝源圖像和拍攝目標(biāo)圖像的立體相機(jī)的相機(jī)間距往往不一致，因此，相機(jī)間距不一致時(shí)的立體圖像克隆問題亟待解決。

技術(shù)實(shí)現(xiàn)要素：

為克服現(xiàn)有技術(shù)的不足，本發(fā)明旨在提出針對(duì)相機(jī)間距不一致時(shí)的立體圖像克隆算法。本發(fā)明采用的技術(shù)方案是，基于不同相機(jī)間距的立體圖像克隆方法,首先進(jìn)行圖像預(yù)處理，之后處理用戶繪制的輪廓以便進(jìn)行后續(xù)的網(wǎng)格變形，之后通過調(diào)整視差來調(diào)整立體圖像克隆區(qū)域的形狀和大小，最后將調(diào)整后的立體圖像克隆區(qū)域融合到目標(biāo)圖像中。

圖像預(yù)處理具體步驟是，計(jì)算源圖像和目標(biāo)圖像的視差圖，同時(shí)為源圖像和目標(biāo)圖像構(gòu)建四邊形網(wǎng)格，構(gòu)建方式如下：首先用一個(gè)均勻網(wǎng)格M^l＝(V^l,E^l,F^l)表示源圖像的左視點(diǎn)圖像，其中V^l表示左視點(diǎn)圖像的網(wǎng)格頂點(diǎn)，E^l表示左視點(diǎn)圖像的網(wǎng)格邊，F(xiàn)^l表示左視點(diǎn)圖像的網(wǎng)格四邊形，之后根據(jù)源圖像的視差圖構(gòu)建源圖像右視點(diǎn)圖像的網(wǎng)格M^r＝(V^r,E^r,F^r)，其中，V^r表示右視點(diǎn)圖像的網(wǎng)格頂點(diǎn)，E^r表示右視點(diǎn)圖像的網(wǎng)格邊，F(xiàn)^r表示右視點(diǎn)圖像的網(wǎng)格四邊形。

輪廓處理具體步驟是，結(jié)合源圖像的左視點(diǎn)圖像的初始均勻網(wǎng)格對(duì)用戶繪制的任意輪廓進(jìn)行調(diào)整，使新輪廓為包含用戶繪制輪廓的最小矩形輪廓，其中矩形輪廓的四個(gè)角點(diǎn)均為源圖像的左視點(diǎn)圖像的初始均勻網(wǎng)格中的網(wǎng)格頂點(diǎn)，在獲得源圖像的左視點(diǎn)圖像的新輪廓之后，根據(jù)源圖像視差圖獲得源圖像的右視點(diǎn)圖像的新輪廓，輪廓包圍區(qū)域即為源圖像克隆區(qū)域。

調(diào)整視差來迭代調(diào)整立體圖像克隆區(qū)域的形狀和大小即迭代優(yōu)化變形，具體步驟是，

1)視差調(diào)整

調(diào)整方式如下：采用源圖像克隆區(qū)域的視差圖梯度場作為求解下式的引導(dǎo)場G₀，同時(shí)迫使調(diào)整后的源圖像克隆區(qū)域邊緣的視差和目標(biāo)立體圖粘貼區(qū)域邊緣的視差相同，通過求解下述加權(quán)泊松等式的最小值獲得調(diào)整后的源圖像克隆區(qū)域的視差圖

其中是為源圖像克隆區(qū)域制定的權(quán)重函數(shù)，用于懲罰更為平滑的區(qū)域，D_T表示目標(biāo)圖像視差圖，表示源圖像克隆區(qū)域的輪廓，表示調(diào)整后的源圖像克隆區(qū)域的視差圖的梯度場；

2)基于四邊形網(wǎng)格的優(yōu)化變形

2.1場景物體大小與視差的關(guān)系

假定立體相機(jī)攝像頭平行設(shè)置，根據(jù)幾何關(guān)系及相似三角形定理，推導(dǎo)出場景物體深度z和相機(jī)間距b之間的關(guān)系為：

其中，b表示立體相機(jī)間距，f表示相機(jī)焦距，z表示場景物體的深度，d＝x_L-x_R表示圖像視差，x_L和x_R表示同一場景物體在左視點(diǎn)圖像和右視點(diǎn)圖像的對(duì)應(yīng)橫坐標(biāo)；

根據(jù)幾何關(guān)系及相似三角形定理，推導(dǎo)出場景物體在立體圖像平面上的大小與場景物體深度之間的關(guān)系為

其中，L表示場景物體的大小，x表示場景物體在圖像平面上的大小，由此推導(dǎo)出場景物體在立體圖像平面上的大小x與圖像視差d之間的關(guān)系為：

由上式可知，場景物體L在立體圖像上的大小x與圖像視差d及立體相機(jī)間距b有關(guān)，而與立體相機(jī)焦距f無關(guān)；

對(duì)于同一場景物體L₁，其在源圖像上和目標(biāo)圖像上的大小分別為x₁和x₂，視差分別為d₁和d₂，雙目立體相機(jī)間距分別為b₁和b₂，得下述公式：

由上述兩式可得，相機(jī)間距不一致時(shí)同一場景物體在源圖像和目標(biāo)圖像上的縮放關(guān)系為：

由此，場景物體在立體圖像上的大小不僅與圖像視差有關(guān)，而且與立體相機(jī)的相機(jī)間距有關(guān)；

2.2優(yōu)化變形

采用透視縮放項(xiàng)、直線約束項(xiàng)、視差一致項(xiàng)、垂直對(duì)齊項(xiàng)和位置固定項(xiàng)的權(quán)重組合來指導(dǎo)四邊形網(wǎng)格變形，其中V^l和V^r表示優(yōu)化變形前的左視點(diǎn)圖像網(wǎng)格頂點(diǎn)和右視點(diǎn)圖像網(wǎng)格頂點(diǎn)，和表示優(yōu)化變形后的左視點(diǎn)圖像網(wǎng)格頂點(diǎn)和右視點(diǎn)圖像網(wǎng)格頂點(diǎn)；

(1)透視縮放項(xiàng)定義透視縮放因子為

其中，和分別表示源圖像克隆區(qū)域調(diào)整后的視差和調(diào)整前的視差，b_S和b_T分別表示拍攝源圖像的立體相機(jī)間距和拍攝目標(biāo)圖像的立體相機(jī)間距；

對(duì)于源圖像克隆區(qū)域左視點(diǎn)圖像的任意網(wǎng)格邊其中，V_i^l和分別表示優(yōu)化變形前的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)，其縮放因子定義為

其中，和分別表示優(yōu)化變形前的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)的透視縮放因子；

透視縮放項(xiàng)定義為

其中，E^l和E^r分別表示源圖像克隆區(qū)域左視點(diǎn)圖像網(wǎng)格邊和右視點(diǎn)圖像網(wǎng)格邊的集合；V_i^l和分別表示優(yōu)化變形前的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)，V_i^r和分別表示優(yōu)化變形前的右視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)；和分別表示優(yōu)化變形后的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)，和分別表示優(yōu)化變形后的右視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)；S_ij表示網(wǎng)格邊的縮放因子；

(2)直線約束項(xiàng)

為源圖像左視點(diǎn)圖像的網(wǎng)格邊定義變形后與變形前的長度比為

其中，V_i^l和分別表示優(yōu)化變形前的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)，和分別表示優(yōu)化變形后的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)；

用相同的方法定義源圖像右視點(diǎn)圖像的長度比

直線約束項(xiàng)定義為

其中，E^l和E^r分別表示源圖像克隆區(qū)域左視點(diǎn)圖像網(wǎng)格邊和右視點(diǎn)圖像網(wǎng)格邊的集合，V_i^l和分別表示優(yōu)化變形前的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)，V_i^r和分別表示優(yōu)化變形前的右視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)；和分別表示優(yōu)化變形后的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)，和分別表示優(yōu)化變形后的右視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)；

(3)視差一致項(xiàng)

對(duì)于每組待計(jì)算的水平坐標(biāo)分量其視差應(yīng)與調(diào)整后的視差保持一致，令表示調(diào)整后的視差。視差一致項(xiàng)定義為

其中，表示左視點(diǎn)圖像待計(jì)算的水平坐標(biāo)，表示右視點(diǎn)圖像待計(jì)算的水平坐標(biāo)；

(4)垂直對(duì)齊項(xiàng)

對(duì)于每組待計(jì)算的垂直坐標(biāo)分量應(yīng)使其調(diào)整后趨近于0，從而消除垂直視差的影響，垂直對(duì)齊項(xiàng)定義為

其中，表示左視點(diǎn)圖像待計(jì)算的垂直坐標(biāo)，表示右視點(diǎn)圖像待計(jì)算的垂直坐標(biāo)；

(5)位置固定項(xiàng)

為防止源圖像克隆區(qū)域的中心位置發(fā)生改變，引入位置固定項(xiàng)固定源圖像克隆區(qū)域左網(wǎng)格的中心位置，令表示初始左網(wǎng)格的中心位置，其中，V^l表示初始的左視點(diǎn)圖像網(wǎng)格頂點(diǎn)坐標(biāo)，V_i^l表示初始的左視點(diǎn)圖像網(wǎng)格的第i個(gè)頂點(diǎn)坐標(biāo)。位置固定項(xiàng)定義為

其中，表示優(yōu)化變形后的左視點(diǎn)圖像網(wǎng)格頂點(diǎn)坐標(biāo)，表示優(yōu)化變形后的左視點(diǎn)圖像網(wǎng)格的第i個(gè)頂點(diǎn)坐標(biāo)；

優(yōu)化變形的總能量定義為上述五個(gè)能量項(xiàng)的權(quán)重加和：

Φ＝ω_sΦ_s+ω_lΦ_l+ω_dΦ_d+ω_vΦ_v+ω_dΦ_d

其中，Φ_s、Φ_l、Φ_d、Φ_v和Φ_d分別表示透視縮放能量、直線約束能量、視差一致能量、垂直對(duì)齊能量和位置固定能量。ω_s、ω_l、ω_d、ω_v和ω_d為上述能量對(duì)應(yīng)的權(quán)重系數(shù)；

通過求解該能量函數(shù)的最小值獲得優(yōu)化變形網(wǎng)格。

圖像融合具體步驟是，在獲得源圖像克隆區(qū)域的優(yōu)化變形網(wǎng)格后，通過雙線性插值獲得變形后的源圖像克隆區(qū)域，之后采用平面泊松融合的方法將變形后的源圖像克隆區(qū)域的左視點(diǎn)圖像和右視點(diǎn)圖像分別融合到目標(biāo)圖像的左視點(diǎn)圖像和右視點(diǎn)圖像，來獲得最終的立體圖像融合結(jié)果。

本發(fā)明的特點(diǎn)及有益效果是：

本發(fā)明提出的基于不同相機(jī)間距的立體圖像克隆算法，實(shí)現(xiàn)了拍攝源圖像的立體相機(jī)間距和拍攝目標(biāo)圖像的立體相機(jī)間距不同的情況下的立體圖像克隆，相比前人提出的算法實(shí)現(xiàn)了更為精確的立體圖像克隆。

附圖說明：

圖1給出了輪廓修改示意圖。

圖中a源圖像左視點(diǎn)圖像輪廓，b源圖像右視點(diǎn)圖像輪廓。

圖2給出了場景物體大小和視差的關(guān)系。

圖中a俯視圖，b右視圖

圖3本發(fā)明和不考慮相機(jī)間距情況的對(duì)比。

a源圖像左視點(diǎn)圖像；

b目標(biāo)圖像左視點(diǎn)圖像；

c不考慮相機(jī)間距時(shí)獲得的立體克隆圖像的左視點(diǎn)圖像；

d考慮相機(jī)間距時(shí)獲得的立體克隆圖像的左視點(diǎn)圖像；

e源圖像右視點(diǎn)圖像；

f目標(biāo)圖像右視點(diǎn)圖像；

g不考慮相機(jī)間距時(shí)獲得的立體克隆圖像的右視點(diǎn)圖像；

h考慮相機(jī)間距時(shí)獲得的立體克隆圖像的右視點(diǎn)圖像。

具體實(shí)施方式

目前，已有很多立體圖像克隆算法，已有算法都假設(shè)拍攝源圖像和拍攝目標(biāo)圖像的立體相機(jī)間距一致，實(shí)際上，相機(jī)間距對(duì)立體圖像克隆有著很大的影響。

本發(fā)明提出了一種基于不同相機(jī)間距的立體圖像克隆算法。首先進(jìn)行圖像預(yù)處理，之后處理用戶繪制的輪廓以便進(jìn)行后續(xù)的網(wǎng)格變形，之后通過調(diào)整視差來調(diào)整立體圖像克隆區(qū)域的形狀和大小，最后將調(diào)整后的立體圖像克隆區(qū)域融合到目標(biāo)圖像中。本發(fā)明的具體技術(shù)方案分為下列步驟：

1.圖像預(yù)處理

在圖像預(yù)處理階段，需要計(jì)算源圖像和目標(biāo)圖像的視差圖，同時(shí)需要為源圖像和目標(biāo)圖像構(gòu)建四邊形網(wǎng)格，構(gòu)建方式如下：首先用一個(gè)均勻網(wǎng)格M^l＝(V^l,E^l,F^l)表示源圖像的左視點(diǎn)圖，其中V^l表示左視點(diǎn)圖像的網(wǎng)格頂點(diǎn)，E^l表示左視點(diǎn)圖像的網(wǎng)格邊，F(xiàn)^l表示左視點(diǎn)圖像的網(wǎng)格四邊形，之后根據(jù)源圖像的視差圖構(gòu)建源圖像右視點(diǎn)圖的網(wǎng)格M^r＝(V^r,E^r,F^r)，其中V^r表示右視點(diǎn)圖像的網(wǎng)格頂點(diǎn)，E^r表示右視點(diǎn)圖像的網(wǎng)格邊，F(xiàn)^r表示右視點(diǎn)圖像的網(wǎng)格四邊形。

2.輪廓處理

為了便于用戶進(jìn)行操作，允許用戶為源圖像的左視點(diǎn)圖像繪制任意輪廓。之后，為了進(jìn)行優(yōu)化迭代調(diào)整，會(huì)結(jié)合源圖像的左視點(diǎn)圖的初始均勻網(wǎng)格對(duì)用戶繪制的任意輪廓進(jìn)行調(diào)整。使新輪廓為包含用戶繪制輪廓的最小矩形輪廓，其中矩形輪廓的四個(gè)角點(diǎn)均為源圖像的左視點(diǎn)圖像的初始均勻網(wǎng)格中的網(wǎng)格頂點(diǎn)。在獲得源圖像的左視點(diǎn)圖像的新輪廓之后，根據(jù)源圖像視差圖獲得源圖像的右視點(diǎn)圖像的新輪廓。輪廓修改示意圖如圖1所示。輪廓包圍區(qū)域即為源圖像克隆區(qū)域。

3.迭代優(yōu)化變形

3.1視差調(diào)整

在立體圖像克隆時(shí)，源圖像和目標(biāo)圖像往往由不同的立體相機(jī)拍攝，因此，源圖像克隆區(qū)域視差和目標(biāo)圖像視差往往存在一定的差異，為了避免克隆后的立體圖像出現(xiàn)視差突變現(xiàn)象。需要對(duì)源圖像克隆區(qū)域的視差進(jìn)行調(diào)整，調(diào)整方式如下：采用源圖像克隆區(qū)域的視差圖梯度場作為求解下式的引導(dǎo)場G₀，同時(shí)迫使調(diào)整后的源圖像克隆區(qū)域邊緣的視差和目標(biāo)立體圖粘貼區(qū)域邊緣的視差相同，通過求解下述加權(quán)泊松等式的最小值獲得調(diào)整后的源圖像克隆區(qū)域的視差圖

其中是為源圖像克隆區(qū)域制定的權(quán)重函數(shù)，用于懲罰更為平滑的區(qū)域，D_T表示目標(biāo)圖像視差圖，表示源圖像克隆區(qū)域的輪廓,表示調(diào)整后的源圖像克隆區(qū)域的視差圖的梯度場。

3.2基于四邊形網(wǎng)格的優(yōu)化變形

3.2.1場景物體大小與視差的關(guān)系

一般來說，隨著物體到觀看者的距離的增加，物體會(huì)逐漸變小。立體圖像具有深度信息，立體圖像中物體的大小受到感知深度的影響，而立體圖像的感知深度受到圖像視差影響。因此，立體圖像中物體的大小取決于物體的視差。圖2給出了物體大小和視差之間關(guān)系的示意圖，此處假定立體相機(jī)攝像頭平行設(shè)置，這種設(shè)置是立體相機(jī)的普遍設(shè)置。

根據(jù)圖1(a)中的幾何關(guān)系及相似三角形定理，可以推導(dǎo)出場景物體深度z和相機(jī)間距b之間的關(guān)系為：

其中，b表示立體相機(jī)間距，f表示相機(jī)焦距，z表示場景物體的深度，d＝x_L-x_R表示圖像視差，x_L和x_R表示同一場景物體在左視點(diǎn)圖像和右視點(diǎn)圖像的對(duì)應(yīng)橫坐標(biāo)。

根據(jù)圖1(b)中的幾何關(guān)系及相似三角形定理，可以推導(dǎo)出場景物體在立體圖像平面上的大小與場景物體深度之間的關(guān)系為

其中，L表示場景物體的大小，x表示場景物體在圖像平面上的大小。

由此可以推導(dǎo)出場景物體在立體圖像平面上的大小x與圖像視差d之間的關(guān)系為

由上式可知，場景物體L在立體圖像上的大小x與圖像視差d及立體相機(jī)間距b有關(guān)，而與立體相機(jī)焦距f無關(guān)。

對(duì)于同一場景物體L₁，其在源圖像上和目標(biāo)圖像上的大小分別為x₁和x₂，視差分別為d₁和d₂，雙目立體相機(jī)間距分別為b₁和b₂，可得下述公式：

由上述兩式可得，相機(jī)間距不一致時(shí)同一場景物體在源圖像和目標(biāo)圖像上的縮放關(guān)系為：

由此可知，場景物體在立體圖像上的大小不僅與圖像視差有關(guān)，而且與立體相機(jī)的相機(jī)間距有關(guān)。

3.2.2優(yōu)化變形

為了實(shí)現(xiàn)不同立體相機(jī)間距下的立體圖像克隆，本發(fā)明采用透視縮放項(xiàng)、直線約束項(xiàng)、視差一致項(xiàng)、垂直對(duì)齊項(xiàng)和位置固定項(xiàng)的權(quán)重組合來指導(dǎo)四邊形網(wǎng)格變形，其中V^l和V^r表示優(yōu)化變形前的左視點(diǎn)圖像網(wǎng)格頂點(diǎn)和右視點(diǎn)圖像網(wǎng)格頂點(diǎn)，和表示優(yōu)化變形后的左視點(diǎn)圖像網(wǎng)格頂點(diǎn)和右視點(diǎn)圖像網(wǎng)格頂點(diǎn)。

(1)透視縮放項(xiàng)

根據(jù)3.1.1介紹，場景物體在立體圖像上的大小與圖像視差和立體相機(jī)間距有關(guān)。本發(fā)明定義透視縮放因子為

其中，和分別表示源圖像克隆區(qū)域調(diào)整后的視差和調(diào)整前的視差，b_S和b_T分別表示拍攝源圖像的立體相機(jī)間距和拍攝目標(biāo)圖像的立體相機(jī)間距，V_i^l表示優(yōu)化變形前的左視點(diǎn)圖像網(wǎng)格的第i個(gè)頂點(diǎn)坐標(biāo)。

對(duì)于源圖像克隆區(qū)域左視點(diǎn)圖像的任意網(wǎng)格邊其中，V_i^l和分別表示優(yōu)化變形前的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)，其縮放因子定義為

其中，和分別表示優(yōu)化變形前的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)的透視縮放因子。

透視縮放項(xiàng)定義為

其中，E^l和E^r分別表示源圖像克隆區(qū)域左視點(diǎn)圖像網(wǎng)格邊和右視點(diǎn)圖像網(wǎng)格邊的集合；V_i^l和分別表示優(yōu)化變形前的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)，V_i^r和分別表示優(yōu)化變形前的右視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)；和分別表示優(yōu)化變形后的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)，和分別表示優(yōu)化變形后的右視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)；S_ij表示網(wǎng)格邊的縮放因子。

(2)直線縮放項(xiàng)

在優(yōu)化變形的過程中，為避免源圖像克隆對(duì)象發(fā)生結(jié)構(gòu)失真，迫使網(wǎng)格邊沿著原來的方向進(jìn)行縮放，為源圖像左視點(diǎn)圖像的網(wǎng)格邊定義變形后與變形前的長度比為

其中，V_i^l和分別表示優(yōu)化變形前的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)，和分別表示優(yōu)化變形后的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)。

用相同的方法定義源圖像右視點(diǎn)圖像的長度比

直線約束項(xiàng)定義為

其中，E^l和E^r分別表示源圖像克隆區(qū)域左視點(diǎn)圖像網(wǎng)格邊和右視點(diǎn)圖像網(wǎng)格邊的集合，V_i^l和分別表示優(yōu)化變形前的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)，V_i^r和分別表示優(yōu)化變形前的右視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)；和分別表示優(yōu)化變形后的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)，和分別表示優(yōu)化變形后的右視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)。

(3)視差一致項(xiàng)

對(duì)于每組待計(jì)算的水平坐標(biāo)分量其視差應(yīng)與調(diào)整后的視差保持一致，令表示調(diào)整后的視差。視差一致項(xiàng)定義為

其中，表示左視點(diǎn)圖像待計(jì)算的水平坐標(biāo)，表示右視點(diǎn)圖像待計(jì)算的水平坐標(biāo)。

(4)垂直對(duì)齊項(xiàng)

對(duì)于每組待計(jì)算的垂直坐標(biāo)分量應(yīng)使其調(diào)整后趨近于0，從而消除垂直視差的影響，垂直對(duì)齊項(xiàng)定義為

其中，表示左視點(diǎn)圖像待計(jì)算的垂直坐標(biāo)，表示右視點(diǎn)圖像待計(jì)算的垂直坐標(biāo)。

(5)位置固定項(xiàng)

為防止源圖像克隆區(qū)域的中心位置發(fā)生改變，引入位置固定項(xiàng)固定源圖像克隆區(qū)域左網(wǎng)格的中心位置，令表示初始左網(wǎng)格的中心位置，其中V^l表示初始的左視點(diǎn)圖像網(wǎng)格頂點(diǎn)坐標(biāo)，V_i^l表示初始的左視點(diǎn)圖像網(wǎng)格的第i個(gè)頂點(diǎn)坐標(biāo)。位置固定項(xiàng)定義為

其中，表示優(yōu)化變形后的左視點(diǎn)圖像網(wǎng)格頂點(diǎn)坐標(biāo)，表示優(yōu)化變形后的左視點(diǎn)圖像網(wǎng)格的第i個(gè)頂點(diǎn)坐標(biāo)。

優(yōu)化變形的總能量定義為上述五個(gè)能量項(xiàng)的權(quán)重加和：

Φ＝ω_sΦ_s+ω_lΦ_l+ω_dΦ_d+ω_vΦ_v+ω_dΦ_d

其中，Φ_s、Φ_l、Φ_d、Φ_v和Φ_d分別表示透視縮放能量、直線約束能量、視差一致能量、垂直對(duì)齊能量和位置固定能量。ω_s、ω_l、ω_d、ω_v和ω_d為上述能量對(duì)應(yīng)的權(quán)重系數(shù)。

通過求解該能量函數(shù)的最小值獲得優(yōu)化變形網(wǎng)格。

4.圖像融合

在獲得源圖像克隆區(qū)域的優(yōu)化變形網(wǎng)格后，通過雙線性插值獲得變形后的源圖像克隆區(qū)域，之后采用平面泊松融合的方法將變形后的源圖像克隆區(qū)域的左視點(diǎn)圖像和右視點(diǎn)圖像分別融合到目標(biāo)圖像的左視點(diǎn)圖像和右視點(diǎn)圖像，來獲得最終的立體圖像融合結(jié)果。

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面說明了本發(fā)明的具體實(shí)施過程。

本發(fā)明基于MATLAB平臺(tái)進(jìn)行仿真，具體技術(shù)方案分為以下步驟：

1.圖像預(yù)處理

在圖像預(yù)處理階段，需要計(jì)算源圖像和目標(biāo)圖像的視差圖，同時(shí)需要為源圖像和目標(biāo)圖像構(gòu)建四邊形網(wǎng)格，構(gòu)建方式如下：首先用一個(gè)均勻網(wǎng)格M^l＝(V^l,E^l,F^l)表示源圖像的左視點(diǎn)圖像，其中V^l表示左視點(diǎn)圖像的網(wǎng)格頂點(diǎn)，E^l表示左視點(diǎn)圖像的網(wǎng)格邊，F(xiàn)^l表示左視點(diǎn)圖像的網(wǎng)格四邊形，之后根據(jù)源圖像的視差圖構(gòu)建源圖像右視點(diǎn)圖像的網(wǎng)格M^r＝(V^r,E^r,F^r)，其中，V^r表示右視點(diǎn)圖像的網(wǎng)格頂點(diǎn)，E^r表示右視點(diǎn)圖像的網(wǎng)格邊，F(xiàn)^r表示右視點(diǎn)圖像的網(wǎng)格四邊形。

2.輪廓處理

為了便于用戶進(jìn)行操作，允許用戶為源圖像的左視點(diǎn)圖繪制任意輪廓。之后，為了進(jìn)行優(yōu)化迭代調(diào)整，會(huì)結(jié)合源圖像的左視點(diǎn)圖的初始均勻網(wǎng)格對(duì)用戶繪制的任意輪廓進(jìn)行調(diào)整。使新輪廓為包含用戶繪制任意輪廓的最小矩形輪廓，其中矩形輪廓的四個(gè)角點(diǎn)均為源圖像的左視點(diǎn)圖的初始均勻網(wǎng)格中的網(wǎng)格頂點(diǎn)。在獲得源圖像的左視點(diǎn)圖的新輪廓之后，根據(jù)源圖像視差圖獲得源圖像的右視點(diǎn)圖的新輪廓。輪廓修改示意圖如圖1所示。輪廓包圍區(qū)域即為源圖像克隆區(qū)域。

3.迭代優(yōu)化變形

3.1視差調(diào)整

在立體圖像克隆時(shí)，源圖像和目標(biāo)圖像往往由不同的立體相機(jī)拍攝，因此，源圖像克隆區(qū)域視差和目標(biāo)圖像視差往往存在一定的差異，為了避免克隆后的立體圖像出現(xiàn)視差突變現(xiàn)象。需要對(duì)源圖像克隆區(qū)域的視差進(jìn)行調(diào)整，調(diào)整方式如下：采用源圖像克隆區(qū)域的視差圖梯度場作為求解下式的引導(dǎo)場G₀，同時(shí)迫使調(diào)整后的源圖像克隆區(qū)域邊緣的視差和目標(biāo)立體圖粘貼區(qū)域邊緣的視差相同，通過求解下述加權(quán)泊松等式的最小值獲得調(diào)整后的源圖像克隆區(qū)域的視差圖

其中是為源圖像克隆區(qū)域制定的權(quán)重函數(shù)，用于懲罰更為平滑的區(qū)域，D_T表示目標(biāo)圖像視差圖，表示源圖像克隆區(qū)域的輪廓，表示調(diào)整后的源圖像克隆區(qū)域的視差圖的梯度場。

3.2基于四邊形網(wǎng)格的優(yōu)化變形

3.2.1場景物體大小與視差的關(guān)系

一般來說，隨著物體到觀看者的距離的增加，物體會(huì)逐漸變小。立體圖像具有深度信息，立體圖像中物體的大小受到感知深度的影響，而立體圖像的感知深度受到圖像視差影響。因此，立體圖像中物體的大小取決于物體的視差。圖2給出了物體大小和視差之間關(guān)系的示意圖，此處假定立體相機(jī)攝像頭平行設(shè)置，這種設(shè)置是立體相機(jī)的普遍設(shè)置。

根據(jù)圖1(a)中的幾何關(guān)系及相似三角形定理，可以推導(dǎo)出場景物體深度z和相機(jī)間距b之間的關(guān)系為：

其中，b表示立體相機(jī)間距，f表示相機(jī)焦距，z表示場景物體的深度，d＝x_L-x_R表示圖像視差，x_L和x_R表示同一場景物體在左視點(diǎn)圖像和右視點(diǎn)圖像的對(duì)應(yīng)橫坐標(biāo)。

根據(jù)圖1(b)中的幾何關(guān)系及相似三角形定理，可以推導(dǎo)出場景物體在立體圖像平面上的大小與場景物體深度之間的關(guān)系為

其中，L表示場景物體的大小，x表示場景物體在圖像平面上的大小。

由此可以推導(dǎo)出場景物體在立體圖像平面上的大小x與圖像視差d之間的關(guān)系為

由上式可知，場景物體L在立體圖像上的大小x與圖像視差d及立體相機(jī)間距b有關(guān)，而與立體相機(jī)焦距f無關(guān)。

對(duì)于同一場景物體L₁，其在源圖像上和目標(biāo)圖像上的大小分別為x₁和x₂，視差分別為d₁和d₂，雙目立體相機(jī)間距分別為b₁和b₂，可得下述公式：

由上述兩式可得，相機(jī)間距不一致時(shí)同一場景物體在源圖像和目標(biāo)圖像上的縮放關(guān)系為：

由此可知，場景物體在立體圖像上的大小不僅與圖像視差有關(guān)，而且與立體相機(jī)的相機(jī)間距有關(guān)。

3.2.2優(yōu)化變形

為了實(shí)現(xiàn)不同立體相機(jī)間距下的立體圖像克隆，本發(fā)明采用透視縮放項(xiàng)、直線約束項(xiàng)、視差一致項(xiàng)、垂直對(duì)齊項(xiàng)和位置固定項(xiàng)的權(quán)重組合來指導(dǎo)四邊形網(wǎng)格變形，其中V^l和V^r表示優(yōu)化變形前的左視點(diǎn)圖像網(wǎng)格頂點(diǎn)和右視點(diǎn)圖像網(wǎng)格頂點(diǎn)，和表示優(yōu)化變形后的左視點(diǎn)圖像網(wǎng)格頂點(diǎn)和右視點(diǎn)圖像網(wǎng)格頂點(diǎn)。

(1)透視縮放項(xiàng)

根據(jù)3.1.1介紹，場景物體在立體圖像上的大小與圖像視差和立體相機(jī)的相機(jī)間距有關(guān)。本發(fā)明定義透視縮放因子為

其中，和分別表示源圖像克隆區(qū)域調(diào)整后的視差和調(diào)整前的視差，b_S和b_T分別表示拍攝源圖像的立體相機(jī)間距和拍攝目標(biāo)圖像的立體相機(jī)間距，V_i^l表示優(yōu)化變形前的左視點(diǎn)圖像網(wǎng)格的第i個(gè)頂點(diǎn)坐標(biāo)。

對(duì)于源圖像克隆區(qū)域左視點(diǎn)圖像的任意網(wǎng)格邊其中，V_i^l和分別表示優(yōu)化變形前的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)，其縮放因子定義為

其中，和分別表示優(yōu)化變形前的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)的透視縮放因子。

透視縮放項(xiàng)定義為

其中，E^l和E^r分別表示源圖像克隆區(qū)域左視點(diǎn)圖像網(wǎng)格邊和右視點(diǎn)圖像網(wǎng)格邊的集合；V_i^l和分別表示優(yōu)化變形前的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)，V_i^r和分別表示優(yōu)化變形前的右視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)；和分別表示優(yōu)化變形后的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)，和分別表示優(yōu)化變形后的右視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)；S_ij表示網(wǎng)格邊的縮放因子。

(2)直線約束項(xiàng)

在優(yōu)化變形的過程中，為避免源圖像克隆對(duì)象發(fā)生結(jié)構(gòu)失真，迫使網(wǎng)格邊沿著原來的方向進(jìn)行縮放，為源圖像左視點(diǎn)圖像的網(wǎng)格邊定義變形后與變形前的長度比為

其中，V_i^l和分別表示優(yōu)化變形前的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)，和分別表示優(yōu)化變形后的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)。

用相同的方法定義源圖像右視點(diǎn)圖像的長度比

直線約束項(xiàng)定義為

其中，E^l和E^r分別表示源圖像克隆區(qū)域左視點(diǎn)圖像網(wǎng)格邊和右視點(diǎn)圖像網(wǎng)格邊的集合，V_i^l和分別表示優(yōu)化變形前的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)，V_i^r和分別表示優(yōu)化變形前的右視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)；和分別表示優(yōu)化變形后的左視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)，和分別表示優(yōu)化變形后的右視點(diǎn)圖像網(wǎng)格的第i和第j個(gè)頂點(diǎn)坐標(biāo)。

(3)視差一致項(xiàng)

對(duì)于每組待計(jì)算的水平坐標(biāo)分量其視差應(yīng)與調(diào)整后的視差一致，令表示調(diào)整后的視差。視差一致項(xiàng)定義為

其中，表示左視點(diǎn)圖像待計(jì)算的水平坐標(biāo)，表示右視點(diǎn)圖像待計(jì)算的水平坐標(biāo)。

(4)垂直對(duì)齊項(xiàng)

對(duì)于每組待計(jì)算的垂直坐標(biāo)分量應(yīng)使其調(diào)整后趨近于0，從而消除垂直視差的影響，垂直對(duì)齊項(xiàng)定義為

其中，表示左視點(diǎn)圖像待計(jì)算的垂直坐標(biāo)，表示右視點(diǎn)圖像待計(jì)算的垂直坐標(biāo)。

(5)位置固定項(xiàng)

為防止源圖像克隆區(qū)域的中心位置發(fā)生改變，引入位置固定項(xiàng)固定源圖像克隆區(qū)域左網(wǎng)格的中心位置，令表示初始左網(wǎng)格的中心位置，其中，V^l表示初始的左視點(diǎn)圖像網(wǎng)格頂點(diǎn)坐標(biāo)，V_i^l表示初始的左視點(diǎn)圖像網(wǎng)格的第i個(gè)頂點(diǎn)坐標(biāo)。位置固定項(xiàng)定義為

其中，表示優(yōu)化變形后的左視點(diǎn)圖像網(wǎng)格頂點(diǎn)坐標(biāo)，表示優(yōu)化變形后的左視點(diǎn)圖像網(wǎng)格的第i個(gè)頂點(diǎn)坐標(biāo)。

優(yōu)化變形的總能量定義為上述五個(gè)能量項(xiàng)的權(quán)重加和：

Φ＝ω_sΦ_s+ω_lΦ_l+ω_dΦ_d+ω_vΦ_v+ω_dΦ_d

其中，Φ_s、Φ_l、Φ_d、Φ_v和Φ_d分別表示透視縮放能量、直線約束能量、視差一致能量、垂直對(duì)齊能量和位置固定能量。ω_s、ω_l、ω_d、ω_v和ω_d為上述能量對(duì)應(yīng)的權(quán)重系數(shù)。

通過求解該能量函數(shù)的最小值獲得優(yōu)化變形網(wǎng)格。本文采用的權(quán)重系數(shù)分別為ω_s＝50，ω_l＝50，ω_d＝50，ω_v＝100和ω_p＝1?？偰芰喀凳且粋€(gè)二次優(yōu)化函數(shù)，并基于Matlab R2013b編程得到最后的解。

4.圖像融合

在獲得源圖像克隆區(qū)域的優(yōu)化變形網(wǎng)格后，通過雙線性插值獲得變形后的源圖像克隆區(qū)域，之后采用平面泊松融合的方法將變形后的源圖像克隆區(qū)域的左視點(diǎn)圖像和右視點(diǎn)圖像分別融合到目標(biāo)圖像的左視點(diǎn)圖像和右視點(diǎn)圖像，來獲得最終的立體圖像融合結(jié)果。

5.實(shí)驗(yàn)及其效果評(píng)價(jià)

為了檢驗(yàn)本發(fā)明提出的立體圖像克隆算法的性能，本發(fā)明對(duì)立體圖像克隆的結(jié)果進(jìn)行了展示。輸入的源立體圖像由JVC Everio 3D高清攝像機(jī)拍攝，相機(jī)間距為35mm，目標(biāo)立體圖像由FUJIFILM REAL 3D W1相機(jī)拍攝，相機(jī)間距為77mm。

圖3展示了考慮相機(jī)間距和不考慮相機(jī)間距時(shí)的立體圖像克隆方法結(jié)果對(duì)比。在圖3中，(a)和(e)分別為源圖像的左視點(diǎn)圖像和右視點(diǎn)圖像；(b)和(f)表示目標(biāo)圖像的左視點(diǎn)圖像和右視點(diǎn)圖像；(c)和(g)表示不考慮相機(jī)間距時(shí)，即假設(shè)拍攝源圖像和目標(biāo)圖像的相機(jī)間距一致時(shí)獲得的立體克隆圖像的左視點(diǎn)圖像和右視點(diǎn)圖像；(d)和(g)表示考慮相機(jī)間距時(shí)獲得的立體克隆圖像的左視點(diǎn)圖像和右視點(diǎn)圖像。已有算法都假設(shè)拍攝源圖像和拍攝目標(biāo)圖像的立體相機(jī)間距一致，然而，在這種情況下，獲得的立體圖像克隆結(jié)果往往是不精確的。在不考慮相機(jī)間距時(shí)，即只考慮視差對(duì)源圖像克隆區(qū)域形狀和大小的影響，此時(shí)，源圖像克隆區(qū)域被放大，如(c)和(g)所示。然而，考慮相機(jī)間距時(shí)，源圖像克隆區(qū)域縮小，如圖(d)和(g)。因此，本發(fā)明提出的算法能夠?qū)崿F(xiàn)更為精確的縮放。