專利名稱：一種空間各異模糊核三維運動去模糊的方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種空間各異模糊核三維運動去模糊的方法及系統(tǒng)。
背景技術(shù)：
在經(jīng)典成像模型下相機具有一些固有局限性，如受限于幀率。常規(guī)視頻攝像機的幀率僅有30幀每秒，這將極大的限制對高速運動場景的采集。因而，研究基于相機陣列的計算傳感機制，突破單相機的低幀率局限性，以實現(xiàn)高時間分辨率的動態(tài)場景采集在計算攝像學(xué)中具有重要研究意義。Wilburn等人首創(chuàng)搭建了 52個緊密排列相機組成的大規(guī)模相機陣列。所有相機在時間軸上進行間插短曝光采集，從而近似一個單視角的高速相機。該工作是基于低速相機陣列研究高質(zhì)量場景采集的先驅(qū)性研究，N個相機組成的相機陣列能夠?qū)r間采樣率提高到原來低速相機的N倍。但其受限于如下三點(1)單視角，(2)短曝光，這要求強場景光照，否則采集圖像的信噪比將受到極大影響，(3)受限于不同相機的視角視差校正算法，僅適用于小景深近似平面場景或者遠距離近似平面場景。Agrawal等人提出了基于多相機編碼曝光采樣的計算傳感方法來克服上述研究的短曝光局限性，其使用N個相機同樣能夠?qū)r間采樣率提高N倍，但同時能夠獲得上述相機陣列方法N/2倍的進光量。此外，該研究的問題求解化歸為一個適定的線性系統(tǒng)求解，并且每個相機的求解是獨立的。但是該采集系統(tǒng)主要是針對平面高速運動的物體，不適用于在深度維上有運動的物體。計算傳感對入射到相機采集系統(tǒng)內(nèi)的光線進行調(diào)制，能夠?qū)崿F(xiàn)高質(zhì)量的運動場景去模糊，能夠?qū)崿F(xiàn)高幀率采集系統(tǒng)，但是目前這類設(shè)計的缺點是只能解決單視角直線運動， 或者單視角遠距離平面場景的高時間分辨率成像問題，無法同時獲取場景的多視角高空間分辨信息。

發(fā)明內(nèi)容
針對現(xiàn)有技術(shù)中存在的上述問題，本發(fā)明提供了一種空間各異模糊核三維運動去模糊的方法及系統(tǒng)。本發(fā)明提供了一種空間各異模糊核三維運動去模糊的方法，包括步驟1，根據(jù)三維運動跟蹤的結(jié)果，在成像曝光時間內(nèi)得到時域上幀率為N倍的運動模型集合，N為相機個數(shù)；步驟2，通過插值算法計算出運動模型集合各頂點的連續(xù)運動路徑；步驟3，統(tǒng)計每個時刻運動模型集合各頂點中的可見頂點；步驟4，計算每個時刻可見的面片集合；步驟5，將計算各可見面片在成像平面上的點擴散函數(shù)；步驟6，求解方程Ax = b，其中待求變量χ為該成像曝光時間內(nèi)所有可見的面片的紋理顏色，矩陣A為可見面片的擴散函數(shù)，b為實際采集的圖像。
在一個示例中，步驟2中，進行插值計算時，以運動模型上每個頂點在各時刻的位置作為插值約束。在一個示例中，插值算法為樣條函數(shù)插值算法。在一個示例中，步驟2中，進行分段插值并對插值的結(jié)果進行時間上的平滑濾波。在一個示例中，步驟3中，對運動模型每個頂點渲染不同的顏色，將運動模型投影到成像平面上，若成像平面上出現(xiàn)對應(yīng)顏色，則該頂點可見。在一個示例中，步驟4中，面片為三角面片，三角面片的一個頂點可見，則該三角面片可見。在一個示例中，計算各可見面片內(nèi)的能量累積，得到各可見面片在成像平面上的點擴散函數(shù)。在一個示例中，步驟5中，對二維成像平面上的每個像素進行子像素采集，計算各可見面片內(nèi)的投影能量，根據(jù)各時刻在各可見面片內(nèi)的能量累積得到各可見面片在成像平面上的點擴散函數(shù)。在一個示例中，步驟5中，求解方程Ax = b時，增加約束條件，使方程Ax = b變形為ΑτΑΧ+λιΧ+λ2 τ0Χ+λ3Χ = ATb+X3X。，其中λ2，λ 3為預(yù)設(shè)值，D為微分算子， 為靜態(tài)模型的靜態(tài)紋理。本發(fā)明提供了一種空間各異模糊核三維運動去模糊的系統(tǒng)，包括運動模型集合獲取模塊，用于根據(jù)三維運動跟蹤的結(jié)果，在成像曝光時間內(nèi)得到時域上幀率為N倍的運動模型集合，N為相機個數(shù)；運動路徑計算模塊，用于通過插值算法計算出運動模型集合各頂點的連續(xù)運動路徑；可見頂點計算模塊，用于統(tǒng)計每個時刻運動模型集合各頂點中的可見頂點；可見面片集合計算模塊，用于計算每個時刻可見的面片集合；點擴散函數(shù)計算模塊，用于將計算各可見面片在成像平面上的點擴散函數(shù)；紋理顏色求解模塊，用于求解方程Ax = b，其中待求變量χ為該成像曝光時間內(nèi)所有可見的面片的紋理顏色，矩陣A為可見面片的點擴散函數(shù)，b為實際采集的圖像。本發(fā)明能夠針對包括空間各異復(fù)雜運動、遮擋與出現(xiàn)等復(fù)雜情況的大尺度運動模糊問題，實現(xiàn)清晰場景的計算重構(gòu)，有效解決復(fù)雜運動復(fù)雜場景下的運動模糊。


下面結(jié)合附圖來對本發(fā)明作進一步詳細說明，其中圖Ia-圖Id為基于圖像和基于模型去模糊算法的原理示意圖；2b為高速運動模型跟蹤結(jié)果示意圖；圖3a_圖池為場景運動高時間分辨率連續(xù)插值示意圖以及時間平滑示意圖；如為模型頂點可見性判斷結(jié)果示意圖；圖5為模型面片可見性判斷原理示意圖；圖6a-圖6f為各種不同約束下去模糊求解結(jié)果比較；圖7a_圖7d為采集模糊圖像的曝光時間內(nèi)三個不同短曝光時刻的去模糊結(jié)果；圖8為空間各異模糊核三維運動去模糊的方法流程圖。
具體實施例方式本發(fā)明提供的空間各異模糊核三維運動去模糊的方法能夠針對包括空間各異復(fù)雜運動、遮擋與出現(xiàn)等復(fù)雜情況的大尺度運動模糊問題，實現(xiàn)清晰場景的計算重構(gòu)。該方法包括基于運動跟蹤的時間高分辨率運動插值，基于模型三維運動軌跡的成像點擴散函數(shù) (PSF)計算，基于成像模型的線性系統(tǒng)優(yōu)化目標(biāo)的建立，以及多約束下進一步優(yōu)化的方法?；谌S運動跟蹤結(jié)果，在原來一個長曝光時間內(nèi)得到時域上幀率為N倍的高速運動模型集合，運動跟蹤算法要求保證模型的拓撲不變性。高速運動模型可以是在時間解耦框架下，基于時空間插曝光采集方法，在時空求交一致性的核心理論下，獲取高速運動的可視外殼(VH)，并反投影到各采集視角獲取跟蹤輪廓約束計算得到，也可以是其他方法獲得。這里所需的是能夠表征場景紋理本質(zhì)頻率下的高速運動模型結(jié)果，并不需要紋理信息。 解耦的高速運動模型的幀率達到時域上運動場景的本質(zhì)頻率，從而能夠基于高速運動模型計算重構(gòu)模糊紋理。基于高速運動模型集合，取出高速運動模型上每個頂點(模型拓撲不變)在各個時刻的高速運動模型上對應(yīng)的位置作為插值約束，計算得到對應(yīng)的連續(xù)運動軌跡，也即對模型在時域密集采樣點基礎(chǔ)上進行連續(xù)的時間插值，以進一步的高時間分辨率插值。插值方法為樣條函數(shù)插值算法，對模型每個頂點在采集曝光時間內(nèi)高速跟蹤模型上的位置作為樣條函數(shù)的插值約束點，插值時采用分段的方法，保證平滑性、連續(xù)性和準(zhǔn)確性。同時要求保證場景運動跟蹤得到的高速模型結(jié)果能夠準(zhǔn)確表征場景運動的高頻信息。為了克服運動跟蹤的不準(zhǔn)確性，對插值結(jié)果進一步進行時間平滑處理，獲得時間上平穩(wěn)魯棒的運動模型， 使用的方法為以時間窗口為濾波器對模型進行時間上的平滑濾波。計算時間插值連續(xù)高速模型各個時刻的模型可見性，統(tǒng)計各個插值時刻的場景模型可見點集合，并取各個時刻可見集合的并集作為該長曝光時間內(nèi)場景的可見頂點集合。 具體方法為，對模型每個頂點渲染不同的顏色，按照深度(場景上某個頂點到相機中心的距離)大小(考慮遮擋)，將模型投影到成像平面上，若成像平面上出現(xiàn)對應(yīng)顏色，那么該頂點即可見，同時考慮到成像平面像素為單位的精度問題，采用多次迭代上述結(jié)果的方法進行實現(xiàn)，直到成像平面沒有新增的可見頂點。在考慮遮擋問題及頂點可見性的基礎(chǔ)上，計算場景組成面片的可見性，確定求解變量集合。場景面片可見性與頂點可見性具有如下關(guān)系三角面片有一個頂點可見，該面片可見；三角面片有2個頂點可見，該面片可見；三角面片有3個頂點可見，該面片可見；三角面片有0個頂點可見，該面片不可見。為了解決現(xiàn)有顯示設(shè)備的有限精度問題，對上述渲染-投影-可見判斷的過程進行多次循環(huán)，每次循環(huán)結(jié)束后判斷為可見的頂點在下一次渲染中將不被賦予顏色，也即不進入下一次循環(huán)，這樣使得多次迭代之后的結(jié)果能夠消除精度不足帶來的誤差。計算各可見面片在成像平面上的點擴散函數(shù)PSF，實現(xiàn)準(zhǔn)確的成像過程映射。其中，為了考慮遮擋等問題，按照場景上每個面片距離成像平面的深度進行3D運動估計至2D 成像計算。對于成像平面上每一個像素，累積通過該像素的模型面片能量。成像計算過程中，三維面片投影到二維成像平面上，對成像平面上每個像素進行子像素采樣，確定當(dāng)前三維面片對該像素的成像貢獻將每個像素分成多個子像素，計算落在在二維成像平面上的三角形內(nèi)的子像素，并根據(jù)子像素計算出該像素位于該三角形內(nèi)的投影能量，統(tǒng)計在所有時刻該三角形內(nèi)的投影能量累積。對模型上每個面片統(tǒng)計曝光時間內(nèi)各個時刻(將原來長曝光分為N個等份的短曝光時間，對于每個短曝光時間，可以得到對應(yīng)的運動跟蹤的模型結(jié)果)其投影到二維成像平面的能量值(也即投影像素及該像素的能量)。對三維運動軌跡上的每一個面片都進行該操作，對每個像素得到的投影能量進行累加，得到運動模型 (拓撲不變，每個頂點只是改變空間位置，整體的拓撲是不會改變的)的頂點在二維圖像上的運動模糊核。依據(jù)成像過程建立線性系統(tǒng)描述成像過程Ax = b，其中待求變量χ為該成像曝光時間T內(nèi)所有可見的面片的顏色紋理，系數(shù)矩陣A為各面片的PSF表示，b為實際采集圖像。加入Thikonov約束、平滑性約束及靜態(tài)相似性約束進一步提交求解準(zhǔn)確性。如圖Ia-圖Id所示，基于圖像的去模糊算法要求場景為平面場景且沒有遮擋發(fā)生，也即在曝光時間內(nèi)場景各處的可見性都沒有發(fā)生變換，圖Ic為圖Ia中的頂點可見性分析，圖Id為圖Ib中的頂點可見性分析。如圖Ia所示，成像結(jié)果即為各個時刻的積分結(jié)果， 各個成像瞬間均可以用其它時刻的結(jié)果進行幾何變換得到。而基于模型的方法，適用于任意復(fù)雜場景，任意復(fù)雜運動，因為其真實刻畫了成像過程，待求解變量為曝光時間內(nèi)場景所有可見面片的集合，在曝光時間內(nèi)不同時刻的可見性可能發(fā)生變化，從而無法用其它時刻的成像瞬間經(jīng)過幾何變換得到當(dāng)前時刻的成像結(jié)果，這種情況下，基于圖像的方法失效，而基于模型的方法能很好的解決這一難題。在時間解耦框架下，基于時空間插曝光采集方法，在時空求交一致性的核心理論下，獲取高速運動的VH，并以其為約束進行高速運動捕捉。圖加為曝光時間內(nèi)三個時刻的模型疊加顯示，圖2b為解耦后20個時刻的模型在某一視角的投影結(jié)果，可以很清楚的看到曝光時間內(nèi)場景的運動sl-s20被很好的捕捉到。對利用多視角三維重建技術(shù)獲得的模型上每個頂點(模型拓撲不變)在各個時刻對應(yīng)的位置作為插值約束，計算得到對應(yīng)的連續(xù)運動軌跡，也即對模型在時域密集采樣點基礎(chǔ)上進行連續(xù)的時間插值，以便進一步的高時間分辨率插值，如圖3a所示。為了克服運動跟蹤的不準(zhǔn)確性，對插值結(jié)果進一步進行時間平滑處理，獲得時間上平穩(wěn)魯棒的運動模型，使用的方法為以時間窗口為濾波器對模型進行時間上的平滑濾波，如圖北所示。圖3c 和圖3d分別對應(yīng)為用圖3a和圖北的時間插值結(jié)果進行虛擬blur效果示意圖，可見使用平滑處理后的blur效果與真實blur非常接近。圖3e，圖3f及圖3g，圖池分別為放大示意圖。如圖4a_圖如所示，為模型點可見性示意圖，綠色為當(dāng)前圖如對應(yīng)視角的可見頂點，灰色為不可見頂點。如圖5所示，在考慮遮擋問題及頂點可見性的基礎(chǔ)上，計算場景組成面片的可見性，確定求解變量集合。場景面片可見性與頂點可見性具有如下關(guān)系三角面片有一個頂點可見，該面片可見；三角面片有2個頂點可見，該面片可見；三角面片有3個頂點可見，該面片可見；三角面片有0個頂點可見，該面片不可見。如圖6a_圖6f所示，描述場景模型每個面片實際運動軌跡及其在成像平面上貢獻的矩陣為A，模型每個面片的顏色為X，在曝光時間采集到的模糊圖像為b，如公式(1)所示， 當(dāng)運動跟蹤結(jié)果完全準(zhǔn)確且不考慮方程求解的數(shù)值精度問題，那么式(1)完全成立。
但在實際求解中，由于運動跟蹤本身存在誤差，大型線性系統(tǒng)求解的固有誤差存在，必須對上述求解問題進行約束，以獲得魯棒、精確的求解結(jié)果。其中式(2)約束為廣義約束項，目的是消除解的震蕩性，得到穩(wěn)定的解；式(3)約束為平滑約束項，目的是得到平滑解，減少噪聲；式(4)為靜態(tài)約束項，目的是在運動跟蹤誤差較大的區(qū)域以靜態(tài)模型紋理作為求解約束，得到更好的求解結(jié)果。式(5)是考慮了上述三種約束的總體優(yōu)化目標(biāo)。在實驗中X1, λ2，λ3的經(jīng)驗值為0.02，0. 1，1.0.Ax = b, AtAx = ATb,(1)A1 Il χ Il 2(2)λ2DtDx(3)λ 3 Il χ-χ0 Il 2(4)AtAx+ λ ιΧ+ λ 2DTDx+ λ 3χ = ATb+ λ 3χ0(5)其中是多視角三維重建獲取靜態(tài)模型時所得到的靜態(tài)紋理，其是靜止時刻及靜態(tài)采集光照下的紋理。D是微分算子。圖6a為采集到的運動模糊圖像，圖6b為靜態(tài)紋理貼圖的結(jié)果，圖6c為無約束直接求解Ax = b的計算重構(gòu)效果，圖6d為Iliikonov約束下重構(gòu)結(jié)果，圖6e為Iliikonov約束加上平滑約束下的重構(gòu)結(jié)果，圖6e為Thikonov約束加上平滑約束以及靜態(tài)紋理約束下的重構(gòu)結(jié)果。如圖7a_圖7d所示，其中圖7a為采集到的運動模糊圖像，圖7b、圖7c、圖7d分別為長曝光起始時刻，中間時刻及結(jié)束時刻的去模糊結(jié)果。對應(yīng)與一個采集圖像的曝光時間內(nèi)，可以計算重構(gòu)出任意短曝光時刻的清晰圖像。圖8顯示了空間各異模糊核三維運動去模糊的方法流程圖，首先需要將曝光時間 T解耦為N個短曝光[tl，t2，……，ti，……，tN]；接著對頂點運動路徑時間插值，將頂點 [VijV2,……，V”……，VJ插值為[V1inWntp，……，Vi./-,……，VN.sintp]；基于頂點插值結(jié)果，獲取對應(yīng)的高時間分辨率下的面片集合[P/ntp，P2intp，……，ViJntp，……，VN.sintp]， 及對應(yīng)的高時間分辨率三維模型[M/ntp，M2intp，……，MiJntp，……，Mn./-]；緊接著計算各個時刻高速運動模型所有的可見面片集合，并計算模型面片運動在成像平面上的PSF表示；最后獲得基于成像模型的優(yōu)化模型，并加入約束項進行優(yōu)化求解。以上所述僅為本發(fā)明的優(yōu)選實施方式，但本發(fā)明保護范圍并不局限于此。任何本領(lǐng)域的技術(shù)人員在本發(fā)明公開的技術(shù)范圍內(nèi)，均可對其進行適當(dāng)?shù)母淖兓蜃兓?，而這種改變或變化都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.一種空間各異模糊核三維運動去模糊的方法，其特征在于，包括步驟1，根據(jù)三維運動跟蹤的結(jié)果，在成像曝光時間內(nèi)得到時域上幀率為N倍的運動模型集合，N為相機個數(shù)；步驟2，通過插值算法計算出運動模型集合各頂點的連續(xù)運動路徑； 步驟3，統(tǒng)計每個時刻運動模型集合各頂點中的可見頂點； 步驟4，計算每個時刻可見的面片集合； 步驟5，將計算各可見面片在成像平面上的點擴散函數(shù)；步驟6，求解方程Ax = b，其中待求變量χ為該成像曝光時間內(nèi)所有可見的面片的紋理顏色，矩陣A為可見面片的點擴散函數(shù)，b為實際采集的圖像。
2.如權(quán)利要求1所述的空間各異模糊核三維運動去模糊的方法，其特征在于，步驟2 中，進行插值計算時，以運動模型上每個頂點在各時刻的位置作為插值約束。
3.如權(quán)利要求2所述的空間各異模糊核三維運動去模糊的方法，其特征在于，插值算法為樣條函數(shù)插值算法。
4.如權(quán)利要求3所述的空間各異模糊核三維運動去模糊的方法，其特征在于，步驟2 中，進行分段插值并對插值的結(jié)果進行時間上的平滑濾波。
5.如權(quán)利要求1所述的空間各異模糊核三維運動去模糊的方法，其特征在于，步驟3 中，對運動模型每個頂點渲染不同的顏色，將運動模型投影到成像平面上，若成像平面上出現(xiàn)對應(yīng)顏色，則該頂點可見。
6.如權(quán)利要求1所述的空間各異模糊核三維運動去模糊的方法，其特征在于，步驟4 中，面片為三角面片，三角面片的一個頂點可見，則該三角面片可見。
7.如權(quán)利要求1所述的空間各異模糊核三維運動去模糊的方法，其特征在于，步驟5 中，計算各可見面片內(nèi)的能量累積，得到各可見面片在成像平面上的點擴散函數(shù)。
8.如權(quán)利要求7所述的空間各異模糊核三維運動去模糊的方法，其特征在于，步驟5 中，對二維成像平面上的每個像素進行子像素采集，計算各可見面片內(nèi)的投影能量，根據(jù)各時刻在各可見面片內(nèi)的能量累積得到各可見面片在成像平面上的點擴散函數(shù)。
9.如權(quán)利要求1所述的空間各異模糊核三維運動去模糊的方法，其特征在于，步驟5 中，求解方程Ax = b時，增加約束條件，使方程Ax = b變形為ΑτΑχ+ λ ιΧ+ λ 2DtDx+ λ 3χ = Α、+λ3Χ(ι，其中λ2，λ 3為預(yù)設(shè)值，D為微分算子，^為靜態(tài)模型的靜態(tài)紋理。
10.一種空間各異模糊核三維運動去模糊的系統(tǒng)，其特征在于，包括運動模型集合獲取模塊，用于根據(jù)三維運動跟蹤的結(jié)果，在成像曝光時間內(nèi)得到時域上幀率為N倍的運動模型集合，N為相機個數(shù)；運動路徑計算模塊，用于通過插值算法計算出運動模型集合各頂點的連續(xù)運動路徑； 可見頂點計算模塊，用于統(tǒng)計每個時刻運動模型集合各頂點中的可見頂點； 可見面片集合計算模塊，用于計算每個時刻可見的面片集合； 點擴散函數(shù)計算模塊，用于將計算各可見面片在成像平面上的點擴散函數(shù)； 紋理顏色求解模塊，用于求解方程Ax = b，其中待求變量χ為該成像曝光時間內(nèi)所有可見的面片的紋理顏色，矩陣A為可見面片的擴散函數(shù)，b為實際采集的圖像。
全文摘要
本發(fā)明公開了一種空間各異模糊核三維運動去模糊的方法及系統(tǒng)。該方法包括步驟1，根據(jù)三維運動跟蹤的結(jié)果，在成像曝光時間內(nèi)得到時域上幀率為N倍的運動模型集合，N為相機個數(shù)；步驟2，通過插值算法計算出運動模型集合各頂點的連續(xù)運動路徑；步驟3，統(tǒng)計每個時刻運動模型集合各頂點中的可見頂點；步驟4，計算每個時刻可見的面片集合；步驟5，將計算各可見面片在成像平面上的點擴散函數(shù)；步驟6，求解方程Ax＝b，其中待求變量x為該成像曝光時間內(nèi)所有可見的面片的紋理顏色，矩陣A為可見面片的點擴散函數(shù)，b為實際采集的圖像。本發(fā)明能夠針對包括空間各異復(fù)雜運動、遮擋與出現(xiàn)等復(fù)雜情況的大尺度運動模糊問題。
文檔編號G06T5/00GK102270339SQ201110205589
公開日2011年12月7日 申請日期2011年7月21日 優(yōu)先權(quán)日2011年7月21日
發(fā)明者劉燁斌, 戴瓊海, 武迪 申請人:清華大學(xué)