專利名稱：利用空間圖像先驗(yàn)的圖像去模糊法的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像去模糊領(lǐng)域，更具體而言，涉及使用以短曝光時(shí)間捕捉的第一清晰圖像和以較長曝光時(shí)間捕捉的景物的第二模糊圖像來確定去模糊圖像的方法。
背景技術(shù)：
數(shù)字成像中圖像模糊的一個(gè)共同原因是在與圖像捕捉有關(guān)的曝光時(shí)間(積分時(shí)間)期間照相機(jī)與景物之間的相對運(yùn)動。這種圖像模糊有時(shí)稱為“運(yùn)動模糊”或“拖影 (smear) ”。運(yùn)動模糊典型地出現(xiàn)在圖像捕捉環(huán)境中的光亮度較弱從而需要較長曝光時(shí)間的情形中。一種減小運(yùn)動模糊的方法是使用電子閃光來補(bǔ)償自然照明。然而，這僅在物體相對接近照相機(jī)時(shí)才有效。另外，很多用戶發(fā)現(xiàn)，閃光攝影很少能獲得滿意的結(jié)果。減輕運(yùn)動模糊問題的另一種方法是提高電子圖像傳感器的感光性，以便減小圖像捕捉期間的曝光時(shí)間。雖然近年來該領(lǐng)域發(fā)展很快，但目前使用的電子圖像傳感器的感光性仍不夠高，不足以防止很多圖像捕捉環(huán)境中的運(yùn)動模糊。使電子圖像傳感器的感光性減小的一個(gè)因素是在傳感器上使用了使彩色圖像能夠形成的濾色器。例如，Bayer (貝爾)的美國專利No. 3，971，065中所提到的眾所周知的 “貝爾圖案(Bayer I^attern) ”闡述了，使用紅色、綠色和藍(lán)色濾色器的重復(fù)陣列來檢測彩色圖像信號。雖然現(xiàn)今大部分消費(fèi)型數(shù)字相機(jī)中使用了該常規(guī)方法，但濾色器陣列(CFA)具有丟棄大約2/3的入射光的不良影響，從而顯著減小了成像系統(tǒng)的照相速度。Muramatsu (村松)的美國專利No. 4，876，591披露了包括束分裂器和兩個(gè)不同的傳感器的電子成像系統(tǒng)，其中一個(gè)傳感器沒有濾色器而另一個(gè)傳感器包含濾色器的圖案。 沒有濾色器的傳感器具有增強(qiáng)的感光性，而另一個(gè)傳感器提供色彩信息。盡管該系統(tǒng)改善了單個(gè)常規(guī)圖像傳感器的感光性，但因需要兩個(gè)傳感器和束分裂器而使整個(gè)系統(tǒng)更復(fù)雜、 尺寸更大并且成本更高。此外，束分裂器僅將來自圖像的一半光導(dǎo)向各個(gè)傳感器，從而限制了照相速度的提高。Hamilton(漢密爾頓)等人的美國專利申請公開No. 2007/0046807闡述了使用單個(gè)傳感器的數(shù)字圖像系統(tǒng)，所述單個(gè)傳感器使一些彩色圖像像素具有濾色器并且使全色圖像像素沒有濾色器。使用插值算法來重購全色圖像，其中更高速的全色圖像像素提供圖像細(xì)節(jié)信息。雖然該方法可以通過啟用更短的曝光時(shí)間來在一定程度上減小運(yùn)動模糊，但在很多低光成像方案中仍存在一定程度上的運(yùn)動模糊。另一種減小數(shù)字圖像中的運(yùn)動模糊的影響的方法是使用圖像增強(qiáng)算法來補(bǔ)償被捕捉圖像的模糊。該算法通常被稱為“去模糊”或“去卷積”算法。該算法可以粗略地分為兩種“盲”和“非盲”。如果與圖像模糊有關(guān)的模糊核未知，則該問題稱為“盲去卷積”，而當(dāng)模糊核已知時(shí)稱為“非盲去卷積”。對于非盲去卷積，最常用的方法是RichardSOn-Lucy(理查森-露西)(RL)去卷禾只法(參見文獻(xiàn):ff. H. Richardson, “ Bayesian-based iterative method of imagerestoration"，Journal of the Optical Society of America，Vol. 62, pp.55-59，1972 禾口 L B· Lucy (L · B ·露西)的〃 An iterative technique for the rectification of observed distributions"，Astronomical Journal，vol· 79，pp. 745-754，1974)。該方法包括在像素亮度符合泊松分布的假定下確定去模糊圖像(有時(shí)稱為“潛像”)?！? “Improved image deblurring with anti-reflective boundary conditions and re-blurring，，(Inverse Problems, Vol. 22, pp. 2035-2053,2006)的文章中， Donatelli (多納特利)等人使用基于偏差分方程(PDE)的模型通過合并防反射邊界條件和再模糊步驟來恢復(fù)振鈴較小的去模糊圖像。^ "Progressive inter-scale and intra-scale non-bIind image deconvolution，，(ACM Transactions on Graphics，Vol. 27, Iss. 3,2008)的文章中， Yuan(圓)等人披露了使振鈴明顯減小的改進(jìn)的尺度間和尺度內(nèi)非盲圖像去卷積方法。盲去卷積是極具挑戰(zhàn)性的不適定問題。純盲去卷積的方法應(yīng)用于單個(gè)模糊圖像或多個(gè)模糊圖像。最具挑戰(zhàn)性的問題是單圖像的盲去卷積，這要求同時(shí)估計(jì)去模糊圖像和與圖像模糊有關(guān)的點(diǎn)展開函數(shù)(PSF)。￠:"Removing camera shake from a single photograph"(ACM Transactions on Graphics, Vol. 25，pp. 787-794，2006)的文章中，費(fèi)格斯(Fergus)等人示出了通常較復(fù)雜且明顯的模糊核。其闡述了一種在自然圖像梯度的某一統(tǒng)計(jì)分布的假定下恢復(fù)模糊核的整體學(xué)習(xí)方法。^"High-quality motion deblurring from a single image"(ACMTransactions on Graphics，Vol. 27，pp. 1-10,2008)的文章中，Shan(杉)等人披露了一種使用模糊核估計(jì)和非模糊圖像恢復(fù)的統(tǒng)一概率模型來消除運(yùn)動模糊的方法。在“Understanding and evaluating blind deconvolution algorithms，，(Proc· IEEE Conf. on Computer Vision and Pattern Recognition，2009)的文章中，Levin (雷文)等人描述并評價(jià)了很多單圖像盲去卷積算法。模糊圖像為多個(gè)時(shí)可以提供額外的限制以改善去模糊處理。在“ Two motion-blurred images are better than one，，(Pattern Recognition Letters,Vol. 36, pp. 211-217,2005)的文章中，Rav-Acha (雷夫-亞查)等人闡述了，使用模糊方向不同的圖像來改進(jìn)核估計(jì)。近來，披露了另一種盲去卷積，其采用除模糊圖像以外的額外信息來改善去卷積。 該方法可以歸屬為“準(zhǔn)盲去卷積 在"Simultaneous image formation and motion blur restoration via multiple capture" (Proc.International Conference Acoustics, Speech, Signal Processing, pp. 1841-1844，2001)的文章中，Liu (劉)等人闡述了，在正常曝光時(shí)間內(nèi)使用CMOS傳感器捕捉多個(gè)高速畫面。用一個(gè)高速畫面中的像素替換具有運(yùn)動模糊的圖像像素。在"Motion deblurring using hybrid imaging" (Proc. IEEE Conf. on Computer Vision and Pattern Recognition，Vol. l，pp. 657—664，2003)的文章中，Ben—Ezra (本-以斯拉)等人披露了一種混合照相機(jī)，其同時(shí)捕捉高分辨率圖像和時(shí)間上同步的一系列低分辨率圖像。采用該方法時(shí)，從低分辨率圖像中得到光流，以估計(jì)高分辨率圖像的整體運(yùn)動模糊。
在"Coded exposure photography :motion deblurring using fluttered shutter”(ACM Transactions on Graphics, Vol. 25, pp.795-804,2006)的文章中， Rasker (瑞斯克)等人披露了 “快門抖動”照相機(jī)，該照相機(jī)在正常曝光時(shí)間期間以偽隨機(jī)時(shí)序來打開和關(guān)閉快門?？扉T將正常的“箱式濾器”變?yōu)榉乐垢哳l空間細(xì)節(jié)進(jìn)入模糊圖像的寬帶濾器。從而，相應(yīng)的去卷積問題變?yōu)檫m定問題。在"Image deblurring with blurred/noisy image pairs，，(ACM Transactions on Graphics，Vol. 26，Issue 3,2007)的文章中，Yuan(圓)等人披露了一種使用成對的模糊圖像和噪聲圖像的圖像去模糊方法。各個(gè)圖像對包括以長曝光時(shí)間捕捉的模糊圖像和以短曝光時(shí)間捕捉的噪聲圖像。與短曝光時(shí)間圖像相關(guān)的噪聲在低光條件下可能較嚴(yán)重，因此去模糊的結(jié)果很大程度上取決于去噪操作的性能。在 “ Image and depth from a conventional camera with a coded aperture，，(ACM Transactions on Graphics, Vol. 26, Issue 6, 2007)的文章中，Levin (雷文)等人采用編碼來獲取可以用在去模糊算法中的近似模糊核。該去模糊方法限于由散焦引起的圖像模糊。

發(fā)明內(nèi)容
本發(fā)明提出了一種確定去模糊圖像的方法，該方法至少部分地由數(shù)據(jù)處理系統(tǒng)實(shí)現(xiàn)，并且包括a)接收以短曝光時(shí)間捕捉的景物的清晰圖像；b)接收以比清晰圖像更長的曝光時(shí)間捕捉的景物的模糊圖像，其中模糊圖像較之清晰圖像具有更高水平的運(yùn)動模糊和更低水平的圖像噪聲；c)確定響應(yīng)于清晰圖像和模糊圖像的模糊核；d)確定響應(yīng)于清晰圖像的一個(gè)或多個(gè)基準(zhǔn)差分圖像；e)確定響應(yīng)于模糊圖像、所述模糊核和所述一個(gè)或多個(gè)基準(zhǔn)差分圖像的去模糊圖像；以及f)將去模糊圖像存儲在處理器可訪問的存儲系統(tǒng)中。本發(fā)明具有以下優(yōu)點(diǎn)其生成噪聲水平比清晰圖像更低且清晰水平比模糊圖像更高的去模糊圖像。本發(fā)明具有另一個(gè)優(yōu)點(diǎn)，相比于現(xiàn)有技術(shù)的去模糊圖像算法其生成具有較少振鈴偽像的去模糊圖像。


圖1是示出根據(jù)本發(fā)明實(shí)施例的用于將數(shù)字圖像分類的系統(tǒng)的部件的高級示意圖；圖2是本發(fā)明的優(yōu)選實(shí)施例的流程圖；圖3是具有以短曝光時(shí)間和長曝光時(shí)間捕捉一對圖像的時(shí)序圖；圖4是示出根據(jù)本發(fā)明的優(yōu)選實(shí)施例的圖2中估計(jì)模糊核步驟的額外細(xì)節(jié)的流程圖；圖5示出了能夠用來確定基準(zhǔn)差分圖像的下標(biāo)陣列。
具體實(shí)施例方式在以下說明中，將明確地描述通常作為軟件程序來實(shí)現(xiàn)的本發(fā)明的一些實(shí)施例。 本領(lǐng)域技術(shù)人員容易理解，該軟件的等同物也可以用硬件構(gòu)造。由于已經(jīng)知道圖像處理算法和系統(tǒng)，因此本說明書將特別關(guān)注形成部分根據(jù)本發(fā)明的方法的算法和系統(tǒng)，或與根據(jù)本發(fā)明的方法更直接協(xié)作的算法和系統(tǒng)。文中沒有具體示出或描述的該算法和系統(tǒng)的其它方面，以及用于生成和另外處理相關(guān)的圖像信號的硬件和軟件，可以從現(xiàn)有技術(shù)中已知的該類系統(tǒng)、算法、部件和單元中選取。以下給出了根據(jù)本發(fā)明所述的系統(tǒng)，而文中未具體示出、提到或描述的可用于實(shí)現(xiàn)本發(fā)明的軟件是該領(lǐng)域普通技術(shù)人員所慣用的。本發(fā)明包括文中所述實(shí)施例的組合?！熬唧w實(shí)施例”等的引用涉及在本發(fā)明至少一個(gè)實(shí)施例中出現(xiàn)的特征。分別引用的“實(shí)施例”或“具體實(shí)施例”等不一定涉及相同的實(shí)施例，然而，除非作出說明或者對于本領(lǐng)域技術(shù)人來說顯而易見，否則該實(shí)施例不相互排斥。 與一個(gè)或多個(gè)方法等相關(guān)的單個(gè)或多個(gè)的使用不受限制。應(yīng)該注意，除非上下文明確說明或要求，本公開中單詞“或”使用非排他的意思。文中所使用的短語“數(shù)字圖像文件”涉及任何數(shù)字圖像文件，諸如數(shù)字靜止圖像文件或數(shù)字視頻文件。圖1是示出根據(jù)本發(fā)明實(shí)施例的用于確定去模糊圖像的系統(tǒng)的部件的高級示意圖。該系統(tǒng)包括數(shù)據(jù)處理系統(tǒng)110、外圍系統(tǒng)120、用戶界面系統(tǒng)130和數(shù)據(jù)存儲系統(tǒng)140。 外圍系統(tǒng)120、用戶界面系統(tǒng)130和數(shù)據(jù)存儲系統(tǒng)140以通訊的方式連接至數(shù)據(jù)處理系統(tǒng) 110。數(shù)據(jù)處理系統(tǒng)110包括一個(gè)或多個(gè)數(shù)據(jù)處理裝置，所述一個(gè)或多個(gè)數(shù)據(jù)處理裝置實(shí)現(xiàn)本發(fā)明各個(gè)實(shí)施例的處理，包括文中所述示例處理。短語“數(shù)據(jù)處理裝置”或“數(shù)據(jù)處理器”意在包括任何數(shù)據(jù)處理裝置，諸如中央處理單元(“CPU”)、臺式計(jì)算機(jī)、便攜式計(jì)算機(jī)、主計(jì)算機(jī)、個(gè)人數(shù)字助理、黑莓 、數(shù)字照相機(jī)、便攜式電話、或者不論是用電子部件、磁性部件、光學(xué)部件、生物學(xué)部件還是其它部件所實(shí)現(xiàn)的用于處理數(shù)據(jù)、管理數(shù)據(jù)或操作數(shù)據(jù)的任何其它裝置。數(shù)據(jù)存儲系統(tǒng)140包括構(gòu)造成存儲信息的一個(gè)或多個(gè)處理器可訪問的存儲器，包括執(zhí)行本發(fā)明各種實(shí)施例的處理所需的信息，包括執(zhí)行文中所述示例處理所需的信息。數(shù)據(jù)存儲系統(tǒng)140可以是分布式處理器可訪問的存儲系統(tǒng)，該系統(tǒng)包括，經(jīng)由多個(gè)計(jì)算機(jī)或裝置以通信的方式連接至數(shù)據(jù)處理系統(tǒng)110的多個(gè)處理器可訪問的存儲器。另一方面，數(shù)據(jù)存儲系統(tǒng)140不必是分布式處理器可訪問的存儲系統(tǒng)，從而可以包括布置在單個(gè)數(shù)據(jù)處理器或裝置內(nèi)的一個(gè)或多個(gè)處理器可訪問的存儲器。短語“處理器可訪問的存儲器”意在包括不論是易失性的還是非易失性的、電子的、磁性的、光學(xué)的或其它的并且包括但不限于寄存器、軟盤、硬盤、光盤、DVD、閃存、ROM和 RAM的任何處理器可訪問的數(shù)據(jù)存儲裝置。短語“以通信方式連接”意在包括，數(shù)據(jù)可以在裝置、數(shù)據(jù)處理器或程序之間通信的有線的或無線的任何形式的連接。短語“以通信的方式連接”意在包括，在單個(gè)數(shù)據(jù)處理器內(nèi)的裝置或程序之間的連接、在不同數(shù)據(jù)處理器中的裝置或程序之間的連接、以及根本沒有在數(shù)據(jù)處理器中的裝置之間的連接。在這點(diǎn)上，盡管數(shù)據(jù)存儲系統(tǒng)140示出為與數(shù)據(jù)處理系統(tǒng)110分離，但本領(lǐng)域的技術(shù)人員應(yīng)該理解，數(shù)據(jù)存儲系統(tǒng)140可以完全或部分地存儲在數(shù)據(jù)處理系統(tǒng)110中。此外，在這點(diǎn)上，盡管外圍系統(tǒng)120和用戶界面系統(tǒng)130示出為與數(shù)據(jù)處理系統(tǒng)110分離，但本領(lǐng)域的技術(shù)人員應(yīng)該理解，外圍系統(tǒng)120和用戶界面系統(tǒng) 130中的一個(gè)或兩個(gè)可以完全或部分地存儲在數(shù)據(jù)處理系統(tǒng)110內(nèi)。外圍系統(tǒng)120可以包括構(gòu)造成將數(shù)字內(nèi)容記錄提供給數(shù)據(jù)處理系統(tǒng)110的一個(gè)或多個(gè)裝置。例如，外圍系統(tǒng)120可以包括數(shù)字靜止照相機(jī)、數(shù)字?jǐn)z像機(jī)、便攜式電話或其它數(shù)據(jù)處理器。數(shù)據(jù)處理系統(tǒng)110在從外圍系統(tǒng)120中的裝置上接收到數(shù)字內(nèi)容記錄時(shí)，可以將該數(shù)字內(nèi)容記錄存儲在數(shù)據(jù)存儲系統(tǒng)140中。用戶界面系統(tǒng)130可以包括鼠標(biāo)、鍵盤、另一臺計(jì)算機(jī)或?qū)?shù)據(jù)輸入至數(shù)據(jù)處理系統(tǒng)Iio的任何裝置或裝置組合。在這點(diǎn)上，盡管外圍系統(tǒng)120示出為與用戶界面系統(tǒng)130 分離，但外圍系統(tǒng)120可以作為用戶界面系統(tǒng)130的一部分包含在用戶界面系統(tǒng)130中。用戶界面系統(tǒng)130還可以包括顯示裝置、處理器可訪問的存儲器或接收由數(shù)據(jù)處理系統(tǒng)110輸出的數(shù)據(jù)的任何裝置或裝置組合。在這點(diǎn)上，即使圖1中的用戶界面系統(tǒng)130 和數(shù)據(jù)存儲系統(tǒng)140分離地示出，但如果用戶界面系統(tǒng)130包括處理器可訪問的存儲器，則該存儲器仍可以作為數(shù)據(jù)存儲系統(tǒng)140的一部分。將參考圖2描述本發(fā)明。接收模糊圖像步驟200用于接收模糊圖像205，并且接收清晰圖像步驟210用于接收清晰圖像215。下一個(gè)估計(jì)模糊核步驟220用于確定響應(yīng)于模糊圖像205和清晰圖像215的模糊核225。模糊核225是能夠應(yīng)用于清晰圖像215以產(chǎn)生清晰度特性近似等于模糊圖像205的圖像的卷積核。下一個(gè)計(jì)算基準(zhǔn)差分圖像步驟230用于計(jì)算清晰圖像215的一個(gè)或多個(gè)基準(zhǔn)差分圖像235的組。該組基準(zhǔn)差分圖像235可以包括通過沿不同方向(如，χ和y)計(jì)算數(shù)值導(dǎo)數(shù)而確定的梯度圖像，或者通過計(jì)算具有不同像素間距(如，ΔΧ = 1,2,3)的數(shù)值導(dǎo)數(shù)而確定的梯度圖像。下一個(gè)計(jì)算去模糊圖像步驟 245用于計(jì)算響應(yīng)于模糊圖像205、模糊核225和基準(zhǔn)差分圖像235的去模糊圖像250。如下文中的更詳細(xì)描述，在本發(fā)明的優(yōu)選實(shí)施例中，計(jì)算去模糊圖像步驟245采用使用最大后驗(yàn)(MAP)估計(jì)的貝葉斯推理法。最后，存儲去模糊圖像步驟255用于將所得到的去模糊圖像250存儲在處理器可訪問的存儲器中。處理器可訪問的存儲器可以為任何類型的數(shù)字存儲器，諸如RAM或硬盤。在本發(fā)明的一個(gè)實(shí)施例中，使用數(shù)字照相機(jī)通過兩次連續(xù)曝光來捕捉模糊圖像 205和清晰圖像215。使用短曝光時(shí)間來捕捉清晰圖像215，以使圖像具有低水平的運(yùn)動模糊。然而，該圖像通常具有較高水平的圖像噪聲，尤其在拍攝具有低水平照度的景物時(shí)。使用較長的曝光時(shí)間來捕捉模糊圖像205，以使圖像具有低水平的圖像噪聲。然而，如果在曝光時(shí)間內(nèi)照相機(jī)與景物中的物體之間存在相對運(yùn)動，則模糊圖像205將具有更高水平的運(yùn)動模糊。圖3示出了以短曝光時(shí)間和長曝光時(shí)間捕捉一對圖像的時(shí)序圖的實(shí)例。短曝光時(shí)間270(在時(shí)刻t = 0與時(shí)刻t =、之間)用于捕捉清晰圖像215。第二更長曝光時(shí)間觀0(在時(shí)刻t =、與時(shí)刻t = t2之間)用于捕捉模糊圖像205。曝光時(shí)間可以通過調(diào)整數(shù)字傳感器的積分時(shí)間來控制，或者作為選擇可以通過控制快門來控制。在本發(fā)明優(yōu)選實(shí)施例中，數(shù)字照相機(jī)響應(yīng)于單次按鈕按壓來捕捉兩個(gè)圖像。圖4示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例更詳細(xì)地描述了估計(jì)模糊核步驟220的流程圖。由于模糊核通常與色彩通路無關(guān)，因此優(yōu)選地，通常使用模糊圖像205和清晰圖像215的灰度版本來確定模糊核。預(yù)處理圖像步驟400用于根據(jù)模糊圖像205計(jì)算模糊灰度圖像 405，并且根據(jù)清晰圖像215計(jì)算清晰灰度圖像410。可以使用現(xiàn)有技術(shù)中已知的任何方法來將彩色圖像變換為灰度圖像。在本發(fā)明的優(yōu)選實(shí)施例中，灰度圖像通過執(zhí)行以下色彩通路的加權(quán)和來確定P = aER+aGG+aBB(1)其中，R、G和B分別是所輸入圖像的紅色、綠色和藍(lán)色的色彩通路的像素值，aE,aG 和徹為常數(shù)，并且P為灰度圖像的像素值。除了將圖像變換為灰度形式以外，預(yù)處理圖像步驟400還可以執(zhí)行其它功能。例如，預(yù)處理圖像步驟400可以對清晰圖像215應(yīng)用去噪算法以減小噪聲水平?，F(xiàn)有技術(shù)中存在很多已知的去噪算法，諸如中值濾波算法。預(yù)處理圖像步驟400還可以施加色調(diào)等級調(diào)整處理，以均衡兩個(gè)圖像的信號水平。直方圖均衡化是現(xiàn)有技術(shù)中已知的色調(diào)等級調(diào)整處理的一個(gè)實(shí)例。預(yù)處理圖像步驟400還可以用于對模糊圖像205或清晰圖像215施加仿射變換， 以將一個(gè)圖像與另一個(gè)圖像更好地對齊。這可以用來解決在捕捉兩個(gè)圖像的時(shí)間期間內(nèi)照相機(jī)或景物的運(yùn)動。預(yù)處理圖像步驟400還可以用于生成模糊圖像205的子集和清晰圖像215的對應(yīng)子集，以增加計(jì)算效率。優(yōu)選地，選出具有重要的圖像細(xì)節(jié)(偏移程度較高)的圖像區(qū)域， 因?yàn)樵搮^(qū)域是運(yùn)動模糊的影響最顯著的區(qū)域?？梢酝ㄟ^對模糊圖像205施加拉普拉斯算子以形成拉普拉斯圖像，然后選擇拉普拉斯圖像中信號水平較高的區(qū)域來確定這樣的圖像區(qū)域?？蛇x地，拉普拉斯圖像可以通過對清晰圖像215或者對模糊圖像205和清晰圖像215施加拉普拉斯算子來確定。所選的圖像區(qū)域可以是連續(xù)圖像區(qū)域，諸如具有特定尺寸的矩形區(qū)域，或者作為選擇，所選圖像區(qū)域可以包括遍布于圖像的圖像像素子集，諸如在拉普拉斯圖像中幅度大于預(yù)定閾值的圖像像素周圍的圖像像素的鄰域。在本發(fā)明的可選實(shí)施例中， 圖像區(qū)域可以是戶手動選擇的區(qū)域。在本發(fā)明優(yōu)選實(shí)施例中，采用使用最大后驗(yàn)(MAP)估計(jì)的貝葉斯推理法來確定模糊核225。使用該方法時(shí)，通過定義以下形式的能量函數(shù)來確定模糊核225
權(quán)利要求
1.一種確定去模糊圖像的方法，該方法至少部分地由數(shù)據(jù)處理系統(tǒng)實(shí)現(xiàn)，并且包括a)接收以短曝光時(shí)間捕捉的景物的清晰圖像；b)接收以比所述清晰圖像更長的曝光時(shí)間捕捉的景物的模糊圖像，其中所述模糊圖像較之所述清晰圖像具有更高水平的運(yùn)動模糊；c)確定響應(yīng)于所述清晰圖像和所述模糊圖像的模糊核；d)確定響應(yīng)于所述清晰圖像的一個(gè)或多個(gè)基準(zhǔn)差分圖像；e)確定響應(yīng)于所述模糊圖像、所述模糊核和所述一個(gè)或多個(gè)基準(zhǔn)差分圖像的去模糊圖像；以及f)將所述去模糊圖像存儲在處理器可訪問的存儲系統(tǒng)中。
2.根據(jù)權(quán)利要求1所述的方法，其中使用最優(yōu)化方法來確定所述模糊核以使能量函數(shù)最小化，所述能量函數(shù)包括作為所述模糊圖像與由所述清晰圖像與候選模糊核卷積所確定的候選模糊圖像之差的函數(shù)的項(xiàng)。
3.根據(jù)權(quán)利要求2所述的方法，其中通過僅僅分析所述清晰圖像中圖像像素的子集和所述模糊圖像中圖像像素的對應(yīng)子集來確定所述模糊核，其中所述子集確定為包含重要的圖像細(xì)節(jié)。
4.根據(jù)權(quán)利要求3所述的方法，其中所述清晰圖像中的圖像像素的子集通過以下步驟選擇根據(jù)所述清晰圖像或所述模糊圖像或其兩者來確定拉普拉斯圖像；以及通過分析所述拉普拉斯圖像以確定包含重要圖像細(xì)節(jié)的圖像像素的子集，來選擇所述清晰圖像中的圖像像素的子集和所述模糊圖像中的圖像像素的子集。
5.根據(jù)權(quán)利要求4所述的方法，其中所述圖像像素的子集包括拉普拉斯圖像中超過預(yù)定閾值的像素。
6.根據(jù)權(quán)利要求2所述的方法，其中在使用所述清晰圖像來確定所述模糊核之前對所述清晰圖像施加去噪算法或色調(diào)等級調(diào)整算法或者其二者。
7.根據(jù)權(quán)利要求2所述的方法，其中通過分析所述清晰圖像的多個(gè)縮放版本和具有不同分辨率的模糊圖像來確定所述模糊核。
8.根據(jù)權(quán)利要求1所述的方法，其中所述一個(gè)或多個(gè)基準(zhǔn)差分圖像包括表示水平方向上相鄰像素之差的水平差分圖像和表示豎直方向上相鄰像素之差的豎直差分圖像。
9.根據(jù)權(quán)利要求1所述的方法，其中使用貝葉斯推理法來確定所述去模糊圖像。
10.根據(jù)權(quán)利要求9所述的方法，其中所述貝葉斯推理法包括使用能量函數(shù)來估計(jì)候選去模糊圖像。
11.根據(jù)權(quán)利要求10所述的方法，其中所述能量函數(shù)包括圖像逼真度項(xiàng)，其是所述模糊圖像和由候選去模糊圖像與所述模糊核卷積所確定的候選模糊圖像之差的函數(shù)；以及圖像差分項(xiàng)，其是一個(gè)或多個(gè)基準(zhǔn)差分圖像與由所述候選去模糊圖像確定的一個(gè)或多個(gè)候選差分圖像之差的函數(shù)。
12.根據(jù)權(quán)利要求11所述的方法，其中所述能量函數(shù)還包括作為所述候選去模糊圖像的梯度函數(shù)的項(xiàng)。
13.根據(jù)權(quán)利要求10所述的方法，其中使用共軛梯度算法來使所述能量函數(shù)最優(yōu)化。
14.根據(jù)權(quán)利要求1所述的方法，其中使用頻域去卷積方法來確定所述去模糊圖像。
15.根據(jù)權(quán)利要求1所述的方法，還包括對所述清晰圖像或所述模糊圖像施加仿射變換，以使所述清晰圖像與所述模糊圖像更好地對齊。
16.根據(jù)權(quán)利要求1所述的方法，其中使用數(shù)字照相機(jī)響應(yīng)于單次按鈕按壓來捕捉所述清晰圖像和所述模糊圖像。
17.根據(jù)權(quán)利要求16所述的方法，其中所述運(yùn)動模糊至少部分地歸因于在捕捉所述清晰圖像和所述模糊圖像的時(shí)間期間內(nèi)所述數(shù)字照相機(jī)的運(yùn)動。
18.根據(jù)權(quán)利要求16所述的方法，其中所述運(yùn)動模糊至少部分地歸因于在捕捉所述清晰圖像和所述模糊圖像的時(shí)間期間內(nèi)所述景物中物體的運(yùn)動。
19.根據(jù)權(quán)利要求1所述的方法，其中所述清晰圖像和所述模糊圖像是數(shù)字視頻的畫
20.一種數(shù)字照相系統(tǒng)，包括 圖像傳感器，用于捕捉景物的圖像；透鏡系統(tǒng)，用于使景物成像在所述圖像傳感器上； 處理器可訪問的存儲系統(tǒng)；以及數(shù)據(jù)處理系統(tǒng)，用于執(zhí)行以下步驟 接收以短曝光時(shí)間捕捉的景物的清晰圖像；接收以比所述清晰圖像更長的曝光時(shí)間捕捉的景物的模糊圖像，其中所述模糊圖像較之所述清晰圖像具有更高水平的運(yùn)動模糊和更低水平的圖像噪聲； 確定響應(yīng)于所述清晰圖像和所述模糊圖像的模糊核； 確定響應(yīng)于所述清晰圖像的一個(gè)或多個(gè)基準(zhǔn)差分圖像；確定響應(yīng)于所述模糊圖像、所述模糊核和所述一個(gè)或多個(gè)基準(zhǔn)差分圖像的去模糊圖像；以及將所述去模糊圖像存儲在處理器可訪問的存儲系統(tǒng)中。
21.一種用于確定去模糊圖像的計(jì)算機(jī)程序產(chǎn)品，包括使數(shù)據(jù)處理系統(tǒng)執(zhí)行以下步驟的可執(zhí)行應(yīng)用軟件a)接收以短曝光時(shí)間捕捉的景物的清晰圖像；b)接收以比所述清晰圖像更長的曝光時(shí)間捕捉的景物的模糊圖像，其中所述模糊圖像較之所述清晰圖像具有更高水平的運(yùn)動模糊；c)確定響應(yīng)于所述清晰圖像和所述模糊圖像的模糊核；d)確定響應(yīng)于所述清晰圖像的一個(gè)或多個(gè)基準(zhǔn)差分圖像；e)確定響應(yīng)于所述模糊圖像、所述模糊核和所述一個(gè)或多個(gè)基準(zhǔn)差分圖像的去模糊圖像；以及f)將所述去模糊圖像存儲在處理器可訪問的存儲系統(tǒng)中。
全文摘要
一種確定去模糊圖像的方法，該方法至少部分地由數(shù)據(jù)處理系統(tǒng)實(shí)現(xiàn)，并且包括接收以短曝光時(shí)間捕捉的景物的清晰圖像；接收以比清晰圖像更長的曝光時(shí)間捕捉的景物的模糊圖像，其中模糊圖像較之清晰圖像具有更高水平的運(yùn)動模糊和更低水平的圖像噪聲；確定響應(yīng)于清晰圖像和模糊圖像的模糊核；確定響應(yīng)于清晰圖像的一個(gè)或多個(gè)基準(zhǔn)差分圖像；確定響應(yīng)于模糊圖像、模糊核和一個(gè)或多個(gè)基準(zhǔn)差分圖像的去模糊圖像；以及將去模糊圖像存儲在處理器可訪問的存儲系統(tǒng)中。
文檔編號G06T5/00GK102576454SQ201080046665
公開日2012年7月11日 申請日期2010年10月1日 優(yōu)先權(quán)日2009年10月16日
發(fā)明者R·L·米勒, S·王, T·侯 申請人:伊斯曼柯達(dá)公司