專利名稱：用于編輯圖像的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本申請涉及圖像編輯，具體涉及用于對具有聚焦對象和散焦對象的圖像進(jìn)行編輯的方法和裝置。
背景技術(shù)：
圖像聚焦編輯是有趣的研究課題，并且近來已經(jīng)受到了很多關(guān)注。這個課題主要有兩個問題。第一個問題是恢復(fù)模糊散焦圖像的銳度的圖像重聚焦。第二個問題是散焦加強(qiáng)。在一些攝影例如肖像攝影中，通常用淺景深(DOF)來強(qiáng)調(diào)具有散焦模糊背景的前景對象。但是由于鏡頭和傳感器的局限性，使得一些照相機(jī)(例如，傻瓜相機(jī))不能產(chǎn)生足夠的散焦效應(yīng)。最近，提出了許多聚焦編輯算法，這些算法可分為兩類。一類是計算攝影，將一些附加的光學(xué)組件或器件添加到傳統(tǒng)的攝影中，以幫助傳感器對與目標(biāo)場景相關(guān)的更多信息進(jìn)行編碼。另一類是在不需要改裝照相機(jī)的情況下基于圖像處理技術(shù)解決的。在過去的幾年里，基于多圖像的方法已被廣泛研究。然而，近來年出現(xiàn)了更具有挑戰(zhàn)性的基于單圖像的研究。Bae 和 Durand 在“Defocus Magnification" (Eurographics, 2007)中提出了焦點圖估計方法，其借助了 Wiotoshop 中的鏡頭模糊來加強(qiáng)散焦。這項研究的一個瓶頸是使用不穩(wěn)定的強(qiáng)力擬合策略實現(xiàn)模糊估計的部分。此外，Bando和Nishita在“Towards Digital Refocusing from a Single Photograph" (Eurographics, 2007)中提出了一禾中方法，i亥方法需要許多用戶交互以從多個預(yù)定義的候選中確定模糊核。

發(fā)明內(nèi)容
本申請案旨在解決上述問題中的至少之一。根據(jù)本申請案實施例之一，一種對具有聚焦對象和散焦對象的圖像進(jìn)行編輯的方法包括確定圖像中邊緣像素的模糊度；將確定的模糊度傳播至與每個邊緣像素相鄰的非邊緣像素，以確定非邊緣像素的模糊度；基于邊緣像素和非邊緣像素的模糊度估計焦點圖， 以識別散焦對象；以及基于焦點圖對散焦對象進(jìn)行重聚焦。根據(jù)本申請案的另一實施例，一種對具有聚焦對象和散焦對象的圖像進(jìn)行編輯的方法包括檢測圖像中的邊緣像素；基于檢測到的邊緣估計圖像的焦點圖，以識別聚焦對象和散焦對象；以及對散焦對象進(jìn)行重聚焦，或者對聚焦對象和散焦對象中的至少一個進(jìn)行散焦。根據(jù)本申請案的又一實施例，一種對具有聚焦對象和散焦對象的圖像進(jìn)行編輯的裝置包括確定模塊，被配置為確定圖像中邊緣像素的模糊度；傳播模塊，被配置為將確定的模糊度傳播至與每個邊緣像素相鄰的非邊緣像素，以確定非邊緣像素的模糊度；估計模塊，被配置為基于邊緣像素和非邊緣像素的模糊度估計焦點圖，以識別散焦對象；以及散焦模塊，被配置為基于焦點圖對散焦對象進(jìn)行重聚焦。在本申請案中，采用簡單且適當(dāng)參數(shù)化的多點方案來測量邊緣模糊度。通過精巧的盲目反卷積架構(gòu)解決了更具有挑戰(zhàn)性的重聚焦問題。在本申請案中，不論是在聚焦檢測中還是在圖像重聚焦中都充分地利用了邊緣提示。而且，根據(jù)本申請案，使用適當(dāng)正則化的盲目反卷積方法可同時獲得最優(yōu)模糊核和具有目標(biāo)銳利度的圖像。本申請案尚提供了對在聚焦編輯中的所有任務(wù)例如焦點圖估計、圖像重聚焦和散焦進(jìn)行處理的方法和系統(tǒng)。首先，受益于適當(dāng)參數(shù)化的邊緣模型，本申請所提出的焦點圖估計方法更簡單且更有效。其次，精巧的單影像盲目反卷積〈Single Image Blind Deconvolution ；SBD>架構(gòu)有效地解決了有挑戰(zhàn)性的重聚焦問題。特別地，藉由新穎的圖像銳化方式，本申請案的方法產(chǎn)生了具有最好細(xì)節(jié)的良好結(jié)果。此外，所提議的SBD與用戶初始化和計算效率無關(guān)，可透過各種實際的圖像驗證所提議的方法。


圖1示出了根據(jù)本發(fā)明的圖像編輯方法的流程圖；圖2是成像模型的幾何示意圖，其中，PI、P2和P3表示位于不同深度的場景點；圖3 (a)是ID參數(shù)邊緣模型；圖3 (b)是將邊緣與高斯濾波器的導(dǎo)數(shù)卷積的響應(yīng)；圖3(c)示出了通過改變w得到的效果，其中，實線示出了原始邊緣，虛線和點線表示通過減少w重構(gòu)的新邊緣；圖4示出了圖1所示的方法中的估計步驟的流程圖；圖5示出了圖1所示的方法中的重聚焦步驟的流程圖；圖6示出了根據(jù)本申請的圖像編輯裝置的框圖；以及圖7示出了根據(jù)一個示例性實施方式適于實現(xiàn)本文所述的圖像編輯的基于處理器的圖像編輯系統(tǒng)。
具體實施例方式下文將參照附圖詳細(xì)描述本申請的實施方式。在本申請中，提出了一種單圖像聚焦編輯方法來完成焦點圖估計、圖像重聚焦和散焦的任務(wù)。該單圖像可包括聚焦對象(如前景)和散焦對象(如背景)。在根據(jù)本申請的方法中，首先通過該圖像的焦點圖來識別并區(qū)分聚焦對象和散焦對象。問題表示如圖1所示，來自焦平面上的場景點Pl的光線會聚到像平面上的一點處。然而， 當(dāng)場景點離開焦平面時，光線在像平面上會產(chǎn)生模糊圈，從而圖像被認(rèn)為是散焦的。當(dāng)該點遠(yuǎn)離焦平面時，產(chǎn)生了更加模糊的散焦圖像I。理論上，I可被認(rèn)為是聚焦圖像F與照相機(jī)的點分布函數(shù)(point spread function ;PSF)h卷積的結(jié)果I = hm F+ Iii(1)其中，η表示圖像噪聲。由于照相機(jī)鏡頭的衍射和色差，PSF通常由2D高斯濾波器
權(quán)利要求
1.一種對具有散焦對象的圖像進(jìn)行編輯的方法，包括 確定所述圖像中的邊緣像素的模糊度；將確定的模糊度傳播至與每個所述邊緣像素相鄰的非邊緣像素，以確定所述非邊緣像素的模糊度；基于所述邊緣像素和所述非邊緣像素的模糊度估計焦點圖，以識別所述散焦對象；以及基于所述焦點圖對所述散焦對象進(jìn)行重聚焦。
2.如權(quán)利要求1所述的方法，其中，所述重聚焦包括 基于所述焦點圖通過盲目反卷積使所述散焦對象重聚焦。
3.如權(quán)利要求2所述的方法，其中，所述重聚焦包括 基于所述焦點圖確定點擴(kuò)散函數(shù)；以及用所述點擴(kuò)散函數(shù)對所述散焦對象進(jìn)行去卷積以獲得重聚焦的圖像。
4.如權(quán)利要求3所述的方法，其中，所述確定包括 基于所述焦點圖建立所述圖像的至少一個先驗；以及基于建立的先驗使用最大后驗(MAP)確定所述點擴(kuò)散函數(shù)。
5.如權(quán)利要求4所述的方法，其中，建立的先驗包括局部銳利先驗和/或局部平滑先驗，所述局部銳利先驗用于確保所述重聚焦的圖像中的邊緣像素的銳度，所述局部平滑先驗用于確保所述重聚焦的圖像中的非邊緣像素的平滑度。
6.如權(quán)利要求5所述的方法，其中，建立的先驗還包括全局先驗，用于確保所述重聚焦的圖像的平滑度。
7.如權(quán)利要求1所述的方法，其中，所述焦點圖包括所述圖像中每個像素的模糊度。
8.如權(quán)利要求1所述的方法，進(jìn)一步包括 將所述圖像與高斯濾波器的導(dǎo)數(shù)進(jìn)行卷積以確定與邊緣相關(guān)的曲線；以及選擇所述曲線的頂點作為所述邊緣像素。
9.如權(quán)利要求8所述的方法，其中，所述確定包括 從所述曲線采樣不同的χ值作為采樣點；以及Q一(J 一 Λ將所述曲線用公式表示為函數(shù)， ) = 根據(jù)所采樣的點的函數(shù)值確定所述模糊度《，其中，c是對比度，X0是邊緣中心，σ d是高斯濾波器中憑經(jīng)驗選擇的參數(shù)。
10.如權(quán)利要求9所述的方法，其中，0(1的范圍為1至3。
11.一種對具有聚焦對象和散焦對象的圖像進(jìn)行編輯的方法，包括 確定所述圖像中的邊緣像素； 基于檢測到的邊緣估計所述圖像的焦點圖，以識別所述聚焦對象和所述散焦對象；以及對所述散焦對象進(jìn)行重聚焦，或?qū)λ鼍劢箤ο笏錾⒔箤ο笾械闹辽僖粋€進(jìn)行散焦ο
12.如權(quán)利要求11所述的方法，其中，所述檢測包括 將所述圖像與高斯濾波器的導(dǎo)數(shù)卷積；以及確定所述卷積的結(jié)果的頂點作為所述邊緣像素。
13.如權(quán)利要求11所述的方法，其中，所述估計包括 確定每個邊緣像素的與邊緣相關(guān)的參數(shù)；將確定的參數(shù)傳播至與所述每個邊緣像素相鄰的非邊緣像素；以及基于所述邊緣像素和所述非邊緣像素的參數(shù)估計所述焦點圖。
14.如權(quán)利要求13所述的方法，其中，所述確定的參數(shù)至少包括邊緣模糊度。
15.如權(quán)利要求13所述的方法，其中，所述確定的參數(shù)包括邊緣模糊度、對比度、邊緣中心和邊緣基礎(chǔ)中的至少一個。
16.如權(quán)利要求11所述的方法，其中，所述焦點圖包括所述圖像中的每個像素的模糊度{曰息。
17.如權(quán)利要求13所述的方法，其中，所述確定包括 從所述曲線采樣不同的χ值作為采樣點；以及將所述曲線用公式表示為函‘‘W=42π^ + σ]) expCOrfV ‘'根據(jù)所采樣的點的函數(shù)值確定參數(shù)C、W和b，其中，W是邊緣模糊度，C是對比度，X0是邊緣中心，b是邊緣基礎(chǔ)，ο d是高斯濾波器中憑經(jīng)驗選擇的參數(shù)。
18.如權(quán)利要求17所述的方法，其中，0(1的范圍為1至3。
19.如權(quán)利要求11所述的方法，其中，所述重聚焦包括 通過盲目反卷積使所述散焦對象重聚焦。
20.如權(quán)利要求11所述的方法，其中，所述重聚焦包括 基于所述焦點圖確定點擴(kuò)散函數(shù)；以及用所述點擴(kuò)散函數(shù)對所述散焦對象進(jìn)行去卷積以獲得所述重聚焦的圖像。
21.如權(quán)利要求20所述的方法，其中，所述確定包括 基于所述焦點圖確定所述圖像的至少一個先驗；以及基于建立的先驗使用最大后驗(MAP)確定所述點擴(kuò)散函數(shù)。
22.如權(quán)利要求21所述的方法，其中，建立的先驗包括局部銳利先驗和/或局部平湖先驗，其中，通過局部銳利先驗確保所述重聚焦的圖像中邊緣像素的銳度，通過所述局部平滑先驗確保所述重聚焦的圖像中非邊緣像素的平滑度。
23.如權(quán)利要求21所述的方法，建立的先驗進(jìn)一步包括全局先驗，以確保所述重聚焦的圖像的平滑度。
24.如權(quán)利要求11所述的方法，其中，所述散焦包括通過高斯模糊使所述聚焦對象和所述散焦對象中的至少一個散焦。
25.一種對具有散焦對象的圖像進(jìn)行編輯的裝置，包括 確定模塊，被配置為確定所述圖像中邊緣像素的模糊度；傳播模塊，被配置為將確定的模糊度傳播至與每個所述邊緣像素相鄰的非邊緣像素， 以確定所述非邊緣像素的模糊度；估計模塊，被配置為基于所述邊緣像素和所述非邊緣像素的模糊度估計焦點圖，以識別所述散焦對象；以及重聚焦模塊，被配置為基于所述焦點圖對所述散焦對象進(jìn)行重聚焦。
26.如權(quán)利要求25所述的裝置，其中，所述重聚焦模塊被配置為基于所述焦點圖通過盲目反卷積使所述散焦對象重聚焦。
27.如權(quán)利要求沈所述的裝置，其中，所述重聚焦模塊包括 確定單元，被配置為基于所述焦點圖確定點擴(kuò)散函數(shù)；以及去卷積單元，被配置為用所述點擴(kuò)散函數(shù)對所述散焦對象進(jìn)行去卷積，以獲得重聚焦的圖像。
28.如權(quán)利要求27所述的裝置，其中，所述圖像的至少一個先驗是基于所述焦點圖建立的，所述確定單元被配置為基于建立的先驗通過使用最大后驗(MAP)確定所述點擴(kuò)散函數(shù)。
29.如權(quán)利要求觀所述的裝置，其中，建立的先驗包括局部銳利先驗和/或局部平滑先驗，所述局部銳利先驗用于確保所述重聚焦的圖像中邊緣像素的銳度，所述局部平滑先驗用于確保所述重聚焦的圖像中非邊緣像素的平滑度。
30.如權(quán)利要求四所述的裝置，其中，建立的先驗進(jìn)一步包括全局先驗，用于確保所述重聚焦的圖像的平滑度。
31.如權(quán)利要求25所述的裝置，其中，所述焦點圖包括所述圖像中每個像素的模糊度。
32.如權(quán)利要求25所述的裝置，進(jìn)一步包括卷積模塊，被配置為將所述圖像與高斯濾波器的導(dǎo)數(shù)進(jìn)行卷積以確定與邊緣相關(guān)的曲線；以及選擇模塊，被配置為選擇所述曲線的頂點作為所述邊緣像素。
33.如權(quán)利要求32所述的裝置，其中，所述曲線通過公式表示為函數(shù) 辦
34.如權(quán)利要求33所述的裝置，其中，0(1的范圍為1至3。
35.一種對具有聚焦對象和散焦對象的圖像進(jìn)行編輯的裝置，包括 確定模塊，被配置為確定所述圖像中邊緣像素的模糊度；傳播模塊，被配置為將確定的模糊度傳播至與每個所述邊緣像素相鄰的非邊緣像素， 以確定所述非邊緣像素的模糊度；估計模塊，被配置為基于所述邊緣像素和所述非邊緣像素的模糊度確定焦點圖，以識別所述散焦對象；以及散焦模塊，被配置為對所述聚焦對象和所述散焦對象中的至少一個進(jìn)行散焦。
36.如權(quán)利要求35所述的裝置，其中，所述散焦模塊被配置為通過高斯模糊使所述聚焦對象至和所述散焦對象中的少一個散焦。
全文摘要
在本發(fā)明中提出了對具有聚焦對象和散焦對象的圖像進(jìn)行編輯的方法和裝置。根據(jù)一個實施方式的方法包括確定圖像中邊緣像素的模糊度；將確定的模糊度傳播至與每個邊緣像素相鄰的非邊緣像素，以確定非邊緣像素的模糊度；基于邊緣像素和非邊緣像素的模糊度估計焦點圖，以識別散焦對象和聚集對象；以及基于焦點圖對散焦對象進(jìn)行重聚焦或者對散焦對象和聚集對象中的至少一個進(jìn)行散焦。
文檔編號G06T5/00GK102203827SQ201080003117
公開日2011年9月28日 申請日期2010年10月1日 優(yōu)先權(quán)日2009年10月2日
發(fā)明者張偉, 湛偉權(quán) 申請人:香港中文大學(xué)