專利名稱：一種圖像修復(fù)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像修復(fù)方法，屬于計算機(jī)圖像處理和計算機(jī)圖形學(xué)領(lǐng)域，具體
說是一種圖像修復(fù)算法。
背景技術(shù)：
圖像修復(fù)可以用來解決對破損的畫作、照片等影像資料進(jìn)行修復(fù)；可以用來去除 圖像或視頻中的某些特定目標(biāo)；可以用來完成在數(shù)字圖像或視頻的獲取、處理、傳輸和解壓 縮過程中因信息丟失所留下的信息缺損區(qū)的修復(fù)；還可以用于進(jìn)行超分辨率和高光去除等 技術(shù)的研究。這項技術(shù)涉及圖像處理，計算機(jī)視覺，圖形學(xué)，模式識別，人工智能，機(jī)器學(xué)習(xí) 等多個領(lǐng)域的技術(shù)。近年來，在圖像和視頻修復(fù)方面，國內(nèi)外的研究者從不同的研究角度 出發(fā)提出了很多卓有成效的方法，根據(jù)出發(fā)點的不同，概括起來，其中代表性的方法大致可 以分為三類一類是基于偏微分方程(Partial DifferentialEquation， PDE)的修復(fù)方法， 如文獻(xiàn)1 :M. Bertalmio， G Sapiro， V. Caselles， et al. . Imageinpainting. Proceedings of ACM SIGGRAPH. 2000,417-424.和文獻(xiàn)2 :T. F. Chan and J. Shen， Variational image inpainting. Communications on Pure and Applied Mathematics. 2005，58(5) :579-619. 介紹的，該類方法適用于修復(fù)圖像或視頻中小尺度缺損；另一類是基于紋理合成(Texture Synthesis)的修復(fù)方法，如文獻(xiàn)3 :A. Criminisi， P. P6rez， K. Toyama. Region filling and object removal by exemplar—based image i即ainting. IEEE Transactionson Image Processing. 2004， 13 (9) :1200-1212.禾P文獻(xiàn)4 :J. Sun， L. Yuan, J. Jia， et al. Imagecompletion with structure propagation. ACM Transactions on Graphics. July 2005,24(3) :861-868.介紹的，該類方法適用于修復(fù)圖像或視頻中大尺度缺損；還 有一類是基于圖像分解的修復(fù)技術(shù)，如文獻(xiàn)5 :M. Bertalmio， L. Vese， G S即iro， et al.. Simultaneous structureand texture image inpainting. IEEE Transactions on Image Processing. 2003， 12(8) :882-889和文獻(xiàn)6 :P. Perez，M. Gangnet， A. Blake. Poisson image editing. Proceedings of ACMSIGGRAPH. 2003， 313-318.介紹的，該類方法將上述兩種方法 進(jìn)行結(jié)合，但由于受基于偏微分方程的修復(fù)方法的限制比較大，所以也不適合修復(fù)圖像或 視頻中的大尺度缺損。 偏微分方程在圖像處理領(lǐng)域的研究始于上世紀(jì)六、七十年代，最早用于圖像去噪 方面的研究。到上世紀(jì)九十年代，偏微分方程在圖像處理理論上有了較大的發(fā)展，并結(jié)合其 它的數(shù)學(xué)工具，如形態(tài)學(xué)、仿射幾何、逼近論等，形成了較完整的理論體系?；谄⒎址匠?的圖像處理方法具有很好的數(shù)學(xué)基礎(chǔ)，深入的理論背景，算法穩(wěn)定性也較高。早期的圖像修 復(fù)技術(shù)多數(shù)都是基于PDE來完成的，這類算法的主要思想是利用偏微分方程來做圖像的修 復(fù)，它對待修復(fù)區(qū)域沒有拓?fù)湎拗?，而且插值由合適的PDE數(shù)值格式自動來完成。通過數(shù)值 方法來求解偏微分方程，計算出要填補的空洞處的線性結(jié)構(gòu)，然后通過擴(kuò)散過程把周圍的 顏色填入空洞，達(dá)到修復(fù)的效果。 總體來說基于偏微分方程的數(shù)字修復(fù)算法往往是假設(shè)圖像是光滑的，通過擬合函數(shù)計算采樣得到破損區(qū)域處的顏色值，由于PDE模型中隱含著圖像要求滿足某種正則化條 件的假設(shè)，所以該方法只適合于非紋理圖像或低紋理圖像的修復(fù)，整體而言，PDE數(shù)字修復(fù) 算法求解比較復(fù)雜，計算速度慢，適合于修復(fù)比較小的裂紋、劃痕等，但對紋理或結(jié)構(gòu)較復(fù) 雜的區(qū)域修復(fù)效果不好，會產(chǎn)生一定的模糊效果，修復(fù)的區(qū)域越大模糊作用范圍就越大。
與基于偏微分方程的方法相比，基于紋理合成的修復(fù)方法是一種有效的對圖像修 復(fù)的方法，特別是對于修復(fù)區(qū)域較大的紋理圖像修復(fù)效果更為顯著，而且不會使修復(fù)區(qū)域 中間產(chǎn)生模糊。紋理合成的宗旨是根據(jù)已知的樣本圖像，生成一個新的紋理圖像，并且新 生成的紋理圖像并不能是原樣本紋理簡單的復(fù)制，但要與樣本紋理在視覺上具有相似的效 果。數(shù)字修復(fù)是對圖像或視頻指定區(qū)域內(nèi)的缺損信息進(jìn)行估計的一個過程，其目的也是要 得到與待修復(fù)區(qū)域周圍信息在視覺上比較連續(xù)或相似的圖像信息。因而將紋理合成技術(shù)進(jìn) 行擴(kuò)展用于數(shù)字修復(fù)方面具有一定的可行性。 圖像修復(fù)與紋理合成的相似點在于它們都是根據(jù)已經(jīng)有的圖像信息生成新的圖 像信息，并需要對已有的圖像進(jìn)行采樣分析，新生成的圖像都需要保持和已有圖像的相似 性。它們的區(qū)別在于，首先，在紋理合成過程中，存在固定的樣本紋理，它根據(jù)樣本紋理生 成新的紋理，但在圖像修復(fù)過程中，不存在樣本紋理，只能使用待修復(fù)圖像區(qū)域周圍的已知 圖像作為樣本紋理來完成修復(fù)；其次，在紋理合成過程中，需要合成的是一幅完整的紋理圖 像，但在圖像修復(fù)過程中，只需合成待修復(fù)區(qū)域內(nèi)的圖像，這就需要考慮待修復(fù)區(qū)域的邊界 情況；另外，在合成隨機(jī)紋理時，不需要考慮圖像的結(jié)構(gòu)信息，在合成規(guī)則或半規(guī)則的結(jié)構(gòu) 紋理時，可直接利用紋理的結(jié)構(gòu)相似性，提取其中的結(jié)構(gòu)單元進(jìn)行紋理合成，而在圖像修復(fù) 中，只能根據(jù)待修復(fù)區(qū)域邊界上的圖像結(jié)構(gòu)信息推測其內(nèi)部的結(jié)構(gòu)信息，修復(fù)圖像的結(jié)構(gòu) 信息要比紋理合成中保持紋理的結(jié)構(gòu)信息難得多。 總體來說基于紋理合成的數(shù)字修復(fù)算法一般都通過在待修復(fù)區(qū)域邊界確定當(dāng)前 待修復(fù)的圖像塊，然后利用相似函數(shù)，在已知圖像區(qū)域搜索匹配的源圖像塊，完成圖像未知 部分的修復(fù)。由于許多自然圖像中都含有豐富的紋理信息，若是待修復(fù)區(qū)域內(nèi)沒有太復(fù)雜 的圖像邊緣結(jié)構(gòu)，這類算法的修復(fù)效果一般都比較好，相對于基于偏微分的修復(fù)算法，基于 紋理合成的修復(fù)算法簡單，速度較快，能夠修復(fù)大面積的圖像區(qū)域。缺點是只適用于修復(fù)簡 單的線型結(jié)構(gòu)，對其它復(fù)雜結(jié)構(gòu)修復(fù)效果比較差。 針對基于偏微分方程的修復(fù)方法對圖像的結(jié)構(gòu)信息修復(fù)效果較好，同時基于紋理 合成的修復(fù)方法對圖像紋理細(xì)節(jié)信息修復(fù)效果較好的事實，近年來研究者試圖將兩種方法 結(jié)合起來，提出了基于圖像分解的修復(fù)方法，分別修復(fù)圖像結(jié)構(gòu)和紋理細(xì)節(jié)。該類算法的 關(guān)鍵在于圖像分解，也就是要將圖像分解為兩部分再進(jìn)行分別修復(fù)一部分體現(xiàn)圖像的結(jié) 構(gòu)信息，并用基于偏微分方程的修復(fù)方法完成對應(yīng)的修復(fù)，另一部分提供圖像的紋理信息， 并用基于紋理合成的修復(fù)方法來完成對應(yīng)的修復(fù)，最后合并兩方面的修復(fù)結(jié)果得到最后的 修復(fù)好的圖像。這些算法都對圖像修復(fù)取得了相當(dāng)不錯的效果，但是由于現(xiàn)有方法受基于 偏微分方程修復(fù)方法的限制比較大，所以這類算法也不太適用于對較大面積圖像區(qū)域的修 復(fù)。基于圖像分解的修復(fù)算法的修復(fù)效果很大程度上依賴于圖像分解技術(shù)、圖像結(jié)構(gòu)的修 復(fù)技術(shù)和紋理合成技術(shù)的選取。

發(fā)明內(nèi)容
發(fā)明目的本發(fā)明所要解決的技術(shù)問題是針對現(xiàn)有技術(shù)的不足，提供一種魯棒高 效、修復(fù)效果好的圖像修復(fù)方法。
技術(shù)方案本發(fā)明公開了一種圖像修復(fù)方法，包括以下步驟 步驟一，對于給定的圖像f (x， y)，選擇待修復(fù)區(qū)域Q ，其中x， y表示像素點的坐標(biāo)值；
步驟二，利用方向經(jīng)驗?zāi)Ｐ蛯o定的圖像f (x， y)進(jìn)行分解，得到三級以上圖像；
步驟三，根據(jù)已有信息修復(fù)每級分解所得圖像的待修復(fù)區(qū)域中已破壞的邊緣結(jié) 構(gòu)； 步驟四，自動修復(fù)各級圖像，以每級分解圖像的邊界上優(yōu)先級最高的目標(biāo)樣本塊
作為一次迭代填充單位，重復(fù)以下步驟，直到填滿各級圖像被修復(fù)區(qū)域內(nèi)的所有像素 步驟(1)，利用梯度值、置信度計算各級圖像邊界區(qū)域的優(yōu)先級， 步驟(2)，根據(jù)優(yōu)先級、相似度和相關(guān)性搜索策略確定本次各級圖像填充的目標(biāo)樣
本塊，完成對應(yīng)區(qū)域的修復(fù)， 步驟(3)，更新本次迭代處理后的各級圖像邊界區(qū)域像素的置信度；
其中， 梯度值G(g) = ZVG(P) + G)(")，其中，N表示像素q的鄰域面積，大小與待
卩v I pew
修復(fù)的目標(biāo)樣本塊^t和源樣本塊為Ws的大小相同，|N|表示N中所含像素個數(shù)；置信度
，L ，其中，I為原圖像，Q為待修復(fù)區(qū)域，當(dāng)像素qG Q，q點處的置信 度D(q)初始化為O，否則初始化為1 ; 對于給定中心位置在q。處的目標(biāo)樣本塊Wt，待修復(fù)區(qū)域Q的邊界為SQ，&e3Q ，其優(yōu)先級P(q》=C(q》 G (qc)，其中，C(《c) = ^ ，: ， ， | ^表示待修復(fù)的目
，,
標(biāo)樣本塊Wt中所含像素個數(shù)，G(q。)為梯度值。 本發(fā)明步驟二中，采用方向經(jīng)驗?zāi)Ｐ蛯D像f (x， y)分解為<formula>formula see original document page 6</formula> 其中，9為進(jìn)行方向經(jīng)驗?zāi)Ｐ头纸獾姆较?，imf/ (x，y)是對應(yīng)于方向9的二維各 級圖像，r/(x，y)對應(yīng)于方向e的殘余圖像。 本發(fā)明步驟三中根據(jù)已有信息修復(fù)每級分解所得圖像的待修復(fù)區(qū)域中已破壞的 邊緣結(jié)構(gòu)，具體為根據(jù)已有信息指定待修復(fù)區(qū)域中已破壞的邊結(jié)構(gòu)信息，并利用方向經(jīng) 驗?zāi)Ｐ头纸獾玫降念l率特征值修復(fù)選定的邊緣結(jié)構(gòu)，沿已知區(qū)域的已有邊界繪制相應(yīng)的曲 線，表示出完整的結(jié)構(gòu)信息；在進(jìn)行修復(fù)時，在各級圖像中首先沿繪制曲線順序進(jìn)行修復(fù)， 第一個待修復(fù)的目標(biāo)樣本塊Wt為按照繪制順序繪制的第一條曲線與待修復(fù)區(qū)域Q的交 界位置；對應(yīng)的搜索匹配空間為在已知區(qū)域繪制的曲線上，并利用當(dāng)前級圖像中目標(biāo)樣本 塊Wt與源樣本塊Ws的相似度在定義的搜索匹配空間中搜索與其匹配的源樣本塊^s，直 到邊緣結(jié)構(gòu)完全修復(fù)；對于圖像中每個像素點(x，y)的三個頻率特征值計算公式為<formula>formula see original document page 7</formula>其中<formula>formula see original document page 7</formula> imfiH(x， y)為第i級圖像imfi(x， y)對應(yīng)于e方向的2-D Hilbert變換；k = 1
對應(yīng)9方向，k二2對應(yīng)9+90°方向。 本發(fā)明步驟四的步驟(2)中，填充過程如下 步驟(41)在待修復(fù)圖像中，利用梯度值、置信度確定剩余目標(biāo)樣本塊的填充優(yōu)先 級，選取優(yōu)先級最高的塊作為當(dāng)前待修復(fù)的目標(biāo)樣本塊； 步驟(42)在圖像中待修復(fù)區(qū)域外的部分，利用方向經(jīng)驗?zāi)Ｐ头纸獾玫降念l率特 征值，在對應(yīng)級圖像的圖像中待修復(fù)區(qū)域外的部分中搜索具有最高相似性的源樣本塊進(jìn)行 復(fù)制，完成當(dāng)前目標(biāo)區(qū)域的修復(fù)； 步驟(43)對于其它級圖像的修復(fù)，利用相關(guān)性搜索策略完成對應(yīng)的修復(fù)； 步驟(44)更新本次迭代處理后的各級圖像邊界區(qū)域像素的置信度為l，重復(fù)以上
步驟，直到完成各級圖像的修復(fù)。 本發(fā)明所述相關(guān)性搜索策略包括以下步驟 初始化Imf(i)和Imf (i—d為相鄰兩級待修復(fù)圖像，Imf(i—1}為已經(jīng)修復(fù)完畢的圖像， Imf(i)為當(dāng)前待修復(fù)圖像； 步驟(51)，采用優(yōu)先級計算方法計算圖像Imf(i)邊界區(qū)域的優(yōu)先級，選取具有最 高填充優(yōu)先級的目標(biāo)樣本塊:義(^,)為當(dāng)前待填充塊，其中心點 e5Q ^Q 為當(dāng)前 待填充區(qū)域的邊界； 步驟(52)，在其上一級已修復(fù)完畢的MF圖像Imf(i—d中的尋找對應(yīng)位置T",《一 ， 從對應(yīng)的已知區(qū)域①中通過頻率特征值的相似度計算搜索與目標(biāo)樣本塊:^(^,—。)匹配的 小于閾值的一些源樣本塊^(, ,—。)，并構(gòu)造一個集合； 步驟(53)，在Imf (i)圖像中尋找與步驟(52)中構(gòu)造集合對應(yīng)的源樣本塊1^—/(,)， 并通過頻率特征值的相似度計算，求得最為匹配的源樣本塊； 步驟(54)，重復(fù)步驟(51)至步驟(51)直到完成該級圖像Imf(i)的修復(fù)后結(jié)束。
本發(fā)明所述當(dāng)前級圖像中目標(biāo)樣本塊Wt與源樣本塊Ws的相似度計算公式為
<formula>formula see original document page 7</formula>其中，平指第i級圖像中的目標(biāo)樣本
塊Wt，^(一)指對應(yīng)合成的第i級圖像中的源樣本塊Ws， N指圖像塊在已知區(qū)域所占像素 個數(shù)，^4w,和^《^指的是對應(yīng)區(qū)域中第J個像素的頻率特征值。 有益效果本發(fā)明的圖像修復(fù)方法與現(xiàn)有修復(fù)方法相比優(yōu)點在于修復(fù)效果好， 魯棒性高，有效地防止了錯誤信息的連續(xù)擴(kuò)展，本發(fā)明的方法不僅能夠修復(fù)較大尺度缺損區(qū)域中的結(jié)構(gòu)和紋理信息，還能夠修復(fù)具有一定遮擋關(guān)系的圖像。


下面結(jié)合附圖和具體實施方式
對本發(fā)明做更進(jìn)一步的具體說明，本發(fā)明的上述和
/或其他方面的優(yōu)點將會變得更加清楚。
圖1為本發(fā)明中所涉及到的符合定義。 圖2為本方明主要流程圖。 圖3為本發(fā)明圖像進(jìn)行方向經(jīng)驗?zāi)Ｐ头纸馑媒Y(jié)果。
圖4為本發(fā)明破損區(qū)域邊緣結(jié)構(gòu)修復(fù)過程。
圖5為本發(fā)明其中一級圖像修復(fù)過程。
圖6為本發(fā)明相關(guān)級圖像修復(fù)過程。
具體實施例方式
結(jié)合附圖和具體實施方式
對本發(fā)明做進(jìn)一步詳細(xì)描述 首先定義一些符號，如圖l所示對于待修復(fù)圖像I，定義待修復(fù)區(qū)域為Q，通常 手工標(biāo)定，也稱為未知區(qū)域，形狀不受任何限制；Q的邊界為3Q，隨著修復(fù)的進(jìn)行，SQ不停 地改變；已知區(qū)域為I-Q)，是填充Q區(qū)域的采樣空間，也稱為源區(qū)域；另外定義 邊界上待修復(fù)的目標(biāo)樣本塊為Wt，在源區(qū)域進(jìn)行相似度匹配計算搜索得到的源樣本塊為^s。 如圖2所示，本發(fā)明包括以下步驟
步驟一，選擇出圖像上待修復(fù)區(qū)域。 步驟二，采用方向經(jīng)驗?zāi)Ｐ头纸夥椒▽Υ迯?fù)圖像進(jìn)行分解。 步驟三，在進(jìn)行修復(fù)時將結(jié)構(gòu)的整體特性融入到圖像修復(fù)中，允許根據(jù)已有信息 修復(fù)每級分解所得圖像的待修復(fù)區(qū)域中已破壞的邊緣結(jié)構(gòu)，并利用方向經(jīng)驗?zāi)Ｐ头纸獾玫?的頻率特征值相似度計算修復(fù)指定的邊緣結(jié)構(gòu)，使待修復(fù)區(qū)域中已被破壞的邊緣先行完成 修復(fù)。 步驟四，利用梯度特征值結(jié)合置信度的方法來確定剩余目標(biāo)樣本塊的填充優(yōu)先 級，選取優(yōu)先級最高的塊作為當(dāng)前待填充的目標(biāo)塊。 步驟五，利用方向經(jīng)驗?zāi)Ｐ头纸獾玫降念l率特征值計算相似度，在對應(yīng)級圖像的 已知區(qū)域中搜索具有最高相似性的源樣本塊，并將其復(fù)制到當(dāng)前已選定的優(yōu)先級最高的待 填充目標(biāo)塊中，完成當(dāng)前目標(biāo)區(qū)域的修復(fù)。 步驟六，利用相關(guān)性搜索策略完成其它級圖像對應(yīng)位置的修復(fù)。
步驟七，更新各級圖像邊界像素的置信度。 步驟八，判斷各級圖像邊界像素的置信度是否都為l，如果存在置信為0時，重復(fù)
步驟四到步驟七，直至各級圖像邊界像素的置信度都為l，完成各級圖像的修復(fù)。 步驟九，最后將所修復(fù)的各級圖像進(jìn)行合并，得到最終修復(fù)結(jié)果。本發(fā)明中，方向經(jīng)驗?zāi)Ｐ头纸?Direction Empirical Mode Decomposition,
DEMD)為在修復(fù)圖像前，將待修復(fù)圖像進(jìn)行方向經(jīng)驗?zāi)Ｐ头纸?，得到若干級圖像，本發(fā)明中
默認(rèn)的圖像級數(shù)為3級，當(dāng)然根據(jù)需要可作適當(dāng)調(diào)節(jié)。
8
對于給定的圖像f(x，y)，首先按給定的9角順時針旋轉(zhuǎn)得到旋轉(zhuǎn)圖像f0(x，y)。 然后對該圖像先按每行抽取極大、極小值，并對這些極值點進(jìn)行三次樣條插值得到一維采 樣的上下包絡(luò)，計算其平均包絡(luò)，再對該平均包絡(luò)按每列抽取極值和插值得到垂直方向上 下包絡(luò)，計算其平均包絡(luò)，設(shè)最后得到的包絡(luò)均值為1% (x， y)，則旋轉(zhuǎn)圖像fe (x， y)與mi (x， y)的差即: 、(x，y) = f0(x，y),(x，y) (1) 在理想狀態(tài)下，hjx， y)就是第一級圖像；然而在實際計算中，這種現(xiàn)象是不可能 出現(xiàn)的。所以本發(fā)明將hjx，y)作為輸入信號，重復(fù)上面所敘述過程，可以得到
hlk (x ， y) =1^ (k—1} (x ， y) _mlk (x ， y) (2) 當(dāng)h^(x，y)滿足1、在整個數(shù)據(jù)集合中，極點的數(shù)目和過0點的數(shù)目必須相等或最 多相差一個；2、在任何一點，由局部最大值和最小值所形成包絡(luò)的均值都等于0要求時，設(shè) 其為第一級圖像imfjx，y)，則函數(shù)的殘余圖像為巧(x，y)。本發(fā)明將巧(x，y)作為新的輸 入信號，用公式(1)， (2)重復(fù)計算，得到一系列圖像。直到其殘余圖像沿水平、垂直方向存 在單調(diào)一維采樣，算法終止。最后將所得的一系列圖像和最后的殘余圖像沿逆時針旋轉(zhuǎn)e ， 得到最后的各級圖像和殘余圖像。這樣對于給定的任意圖像f (x， y)都可以分解為下式
力=i e (x,力+《(x，力 (3) 其中，imf/ (x， y)是對應(yīng)于方向9的二維各級圖像，r/ (x， y)對應(yīng)于方向9的 殘余圖像。為敘述方便，本發(fā)明將殘余圖像歸結(jié)為最后一級待修復(fù)圖像。最終分解結(jié)果如 圖3所示。其中圖3(a)為自然圖像；圖3b 圖3d為分解得到的各級圖像。
其中對于方向9的求取，首先對圖像f(x， y)進(jìn)行Fourier變換F(u， v)，然后對 F(u， v)進(jìn)行Radon變換，并將超過規(guī)定閾值的局部最大值點周圍的值去除，作逆Radon變 換得到F(u， y);最后將所有周圍能量和超過規(guī)定常數(shù)的點按能量排序，把能量最大的點對 應(yīng)的方向設(shè)定為圖像變化最為明顯的方向即為e。 本發(fā)明中基于頻率特征值的相似度計算準(zhǔn)則為當(dāng)對圖像進(jìn)行修復(fù)時，對于目標(biāo) 樣本塊^t在已知區(qū)域①中尋找與之最相似的源樣本塊Ws將是修復(fù)的重要步驟。因此， 一個好的相似度計算準(zhǔn)則對圖像修復(fù)結(jié)果的好壞起著至關(guān)重要的作用，分辨紋理是根據(jù)紋 理的高頻、次高頻等進(jìn)行自適應(yīng)的分辨。DEMD在自適應(yīng)的提取圖像具有的獨特優(yōu)勢，反映了
提取頻率特征的過程，因而能夠更準(zhǔn)確有效地把握圖像中細(xì)節(jié)的本質(zhì)特征與變化趨勢，本 發(fā)明從該角度出發(fā)進(jìn)行圖像修復(fù)，使修復(fù)后的圖像更加符合圖像整體效果?；谶@一點，本 發(fā)明應(yīng)用DEMD提取得到的各級圖像中每點的特征值進(jìn)行匹配搜索。 本發(fā)明從DEMD提取得到的各級圖像中每點的頻率特征值出發(fā)進(jìn)行相似度計 算。從DEMD中得到的主要特征是瞬時頻率和包絡(luò)，為了得到這些特征，首先采用二維方 向Hilbert變換(2-D Hilbert變換)定義二維復(fù)信號。對于給定的二維信號f (x， y)的 Fourier變換為F(u， v)，則f (x， y)對應(yīng)的復(fù)信號的Fourier變換為
9<formula>formula see original document page 10</formula> 其中，w二 [u，v]是坐標(biāo)向量，e = [cos e ，sin e ]是對應(yīng)于方向e(指定方向)的単位向量，F(xiàn)a(w)逆Fourier變換fA(x，y)稱為原信號對應(yīng)于方向e的復(fù)信號。從而&&，y)的虛部就是f(x，y)對應(yīng)于方向9的Hilbert變換。 將經(jīng)過DEMD分解得到的各級圖像進(jìn)行上述變換，令imfiH(x， y)為第i級圖像imfi(x， y)對應(yīng)于所求方向的2-D Hilbert變換。fiA(x， y)是對應(yīng)的分析函數(shù)。其中每級圖像的幅值函數(shù)和相位函數(shù)分別為
Ai = sqrt [ (imf》2+ (imf iH)2]
= arctan(^^") (5)/附/ 這樣再對相位函數(shù)求導(dǎo)數(shù)，可得到對應(yīng)的瞬時頻率，這里的頻率是分別沿方向e
和9+90°的方向?qū)?shù)得到
/附/ . 4 ' 《_ z《.4 Z< 其中，k = l對應(yīng)e方向，k = 2對應(yīng)e +90°方向。 通過上述計算，本發(fā)明得到對應(yīng)一系列圖像中每個像素點(x， y)的三個頻率特征
值
<formula>formula see original document page 10</formula>7) 因此，在計算當(dāng)前級圖像中目標(biāo)樣本塊Wt與源樣本塊Ws的相似度時，本發(fā)明采
用如下方式進(jìn)行計算
<formula>formula see original document page 10</formula>
其中，g(一)指第i級圖像中的目標(biāo)樣本塊^，^(械)指對應(yīng)合成的第i級圖像中的源樣本塊U指圖像塊在已知區(qū)域所占像素個數(shù)，和「U旨的是對應(yīng)區(qū)域中第j個像素的特征值。 得到上述公式后，即可在已知區(qū)域①中利用該匹配判斷準(zhǔn)則對當(dāng)前目標(biāo)樣本塊Wt進(jìn)行匹配搜索，尋找小于規(guī)定閾值的源樣本塊Ws構(gòu)造一個集合，并隨機(jī)從該集合中選取一個作為最終的源樣本塊，直接拷貝相應(yīng)的圖像信息到目標(biāo)樣本塊Wt上，即可完成當(dāng)前區(qū)域的修復(fù)。 本發(fā)明中，根據(jù)已有信息完成破損邊結(jié)構(gòu)修復(fù)為將圖像整體信息融入到圖像修復(fù)中，通過已有信息完成待修復(fù)區(qū)域中已破壞的邊緣結(jié)構(gòu)的修復(fù)。當(dāng)修復(fù)具有遮擋關(guān)系的結(jié)構(gòu)信息圖像時，如圖4a所示，要修復(fù)的窗戶結(jié) 信息被物體遮擋，從圖像整體信息出發(fā)，沿已知區(qū)域的已有邊界繪制相應(yīng)的曲線，使其可以表示完整的結(jié)構(gòu)信息，如圖4b所示，其中紫顏色線段即為交互繪制的曲線，并且是從已知區(qū)域出發(fā)繪制得到。在進(jìn)行修復(fù)時，在各級圖像中首先沿繪制曲線順序進(jìn)行修復(fù)，將第一個待修復(fù)的目標(biāo)樣本塊^t按照繪制順序定義為繪制第一條曲線與待修復(fù)區(qū)域Q的交界位置，如圖4b是先繪制水平方向，后繪制垂直方向的曲線，故先修復(fù)水平方向曲線，其中綠色塊即為第一個待修復(fù)的目標(biāo)樣本塊Wt。對應(yīng)的搜索匹配空間定義為在已知區(qū)域繪制的曲線上，并利用公式(8)在定義的搜索匹配空間中搜索與其匹配的源樣本塊Ws，如圖4b中紅色塊即為搜索得到的與當(dāng)前^匹配的源樣本塊W,，將該樣本塊信息復(fù)制到相應(yīng)位置，如圖4c所示，即可完成當(dāng)前位置的修復(fù)。沿所繪制的曲線重復(fù)上述過程，如圖4c 圖4e所示，直到繪制的表示結(jié)構(gòu)信息的所有曲線全部修復(fù)完畢。最后將各級圖像對應(yīng)的修復(fù)結(jié)果進(jìn)行疊加，得到最后的邊界修復(fù)結(jié)果，同時更新待修復(fù)區(qū)域Q，最終邊界修復(fù)結(jié)果如圖4f所示。圖像的結(jié)構(gòu)信息能夠得到很好的修復(fù)。
本發(fā)明中，基于梯度特征填充優(yōu)先級計算為對于已經(jīng)修復(fù)好邊結(jié)構(gòu)信息的各級圖像剩余區(qū)域，本發(fā)明采用區(qū)域優(yōu)先級方法來決定修復(fù)順序。由于圖像的梯度特征反映了相鄰像素間的連接緊密程度和相對變化程度，并且由于梯度是一個一階微分算子，計算簡單，所以采用圖像的梯度特征來進(jìn)行優(yōu)先級計算具有一定優(yōu)勢。因此本發(fā)明采用該方法對修復(fù)好邊結(jié)構(gòu)信息的各級圖像剩余區(qū)域的填充優(yōu)先級進(jìn)行計算。 如果像素q G Q ，那么規(guī)定q點處的置信度D(q)被初始化為O，否則被初始化為l，即 另外，需要計算反映q點處局部邊緣特征的梯度值G(q)，其大小由q處的梯度幅值
的大小決定，梯度值G(q)可以計算如下 其中，N表示像素q的鄰域面積，大小與Wt， ^s的大小相同，|N|表示N中所含像
素個數(shù)，G = [Gx， Gy]表示一幅圖像在水平方向和垂直方向的梯度。 對于給定中心位置在&(&e3Q)處的目標(biāo)樣本塊^t，其優(yōu)先級的計算如下 P(qc) = C(qc) G(qc) 其中 上式中I Wt|表示W(wǎng)t中所含像素個數(shù)，梯度G(q。)反映了q。周圍的邊緣和結(jié)構(gòu)信息的一種度量。計算樣本塊優(yōu)先值P(q。)的目的是為了從具有較多邊緣結(jié)構(gòu)信息的位置最先開始填補，這樣做的結(jié)果有助于把不連續(xù)的線條結(jié)構(gòu)，經(jīng)過修復(fù)而有機(jī)的連接在一起。優(yōu)先值P(q。)越大，那么優(yōu)先級也就越高，Wt處的區(qū)域也就越先進(jìn)行填補和修復(fù)。在修復(fù)過程當(dāng)前級圖像過程中，選取當(dāng)前具有最高優(yōu)先級的目標(biāo)樣本塊Wt，在已知區(qū)域①中利用公 C(gc)
11式(8)尋找與之最為匹配的源樣本塊Ws，并將對應(yīng)信息復(fù)制到相應(yīng)位置，更新區(qū)域Q，重復(fù)上述過程直到區(qū)域Q =小，即可完成對應(yīng)級圖像的修復(fù)。其修復(fù)過程如圖5所示，其中藍(lán)顏色區(qū)域為待修復(fù)區(qū)域邊界，綠色塊為當(dāng)前待修復(fù)區(qū)域，紅色塊為在已知區(qū)域①中搜索得到的與其匹配區(qū)域。圖5a原始圖像；圖5b 圖5e為中間修復(fù)過程；圖5f修復(fù)結(jié)果。
本發(fā)明中，各級圖像相關(guān)性搜索策略為當(dāng)把待修復(fù)圖像進(jìn)行DEMD分解后，得到一系列圖像，首先根據(jù)已有信息對繪制邊界進(jìn)行修復(fù)，對于其它已經(jīng)修復(fù)好邊結(jié)構(gòu)信息的各級圖像剩余區(qū)域，如果直接在各級圖像中進(jìn)行，不能保證各級間修復(fù)位置的一致性，同時計算量也過大。本發(fā)明采用各級圖像之間固有的對應(yīng)關(guān)系利用相關(guān)性搜索策略進(jìn)行搜索，也就是每級圖像的搜索范圍是由它上一級圖像對應(yīng)位置的搜索范圍所決定的。對于第一級待修復(fù)圖像Imfp采用基于頻率特征值的相似度計算準(zhǔn)則和基于梯度特征填充優(yōu)先級計算部分完成對應(yīng)的修復(fù)。 其它各級待修復(fù)圖像的相關(guān)性搜索策略的修復(fù)過程如圖6所示，Imf (i)和Imf (i—d為相鄰兩級待修復(fù)圖像，當(dāng)修復(fù)到第i級圖像時，首先計算該邊界目標(biāo)樣本塊的優(yōu)先級，得
到待修復(fù)圖像Imf(i)當(dāng)前需要修復(fù)的位置:^(,《，)，然后不是在當(dāng)前級圖像中進(jìn)行匹配搜
索，而是在其上一級已修復(fù)完畢的圖像Imfa—d中的尋找對應(yīng)位置Xw(i—d)，接下來在Imfa—d圖像中采用相似度匹配準(zhǔn)則搜索與該位置相似的源樣本塊^W(,—d)，并在Imf(i)圖像中搜索與其對應(yīng)的源樣本塊Tw一,))，將其構(gòu)造為一個集合，作為第i級待修復(fù)圖像Imf(i)當(dāng)前要匹配的目標(biāo)樣本塊的搜索集合，采用公式(8)進(jìn)行匹配計算，選出最為匹配的源樣本塊復(fù)制到當(dāng)前位置，重復(fù)上述過程，完成當(dāng)前級圖像的修復(fù)。其它各級圖像都采用該方法來完成相應(yīng)的修復(fù)。具體包括如下步驟 初始化Imf(i)和Imf (i—d為相鄰兩級待修復(fù)圖像，Imfa—d為已經(jīng)修復(fù)完畢的圖像，Imf(i)為當(dāng)前待修復(fù)圖像； 步驟l，采用優(yōu)先級計算方法計算圖像Imf(i)邊界區(qū)域的優(yōu)先級，選取具有最高填充優(yōu)先級的目標(biāo)樣本塊:*('《))為當(dāng)前待填充塊，其中心點凡e 3Q,《)；
步驟2，利用相關(guān)性在其上一級已修復(fù)完畢的MF圖像Imf(i—d中的尋找對應(yīng)位置v^(《")，從對應(yīng)的已知區(qū)域①中利用公式(8)搜索與目標(biāo)樣本塊:^^/(M,)匹配的小于閾值的一些源樣本塊^^《—d)，并構(gòu)造一個集合； 步驟3，再次利用相關(guān)性，在Imf(i)圖像中尋找與步驟2中構(gòu)造集合對應(yīng)的源樣本塊義(,一,)，并通過公式(8)的計算，求得最為匹配的源樣本塊；
步驟4，重復(fù)上述過程直到完成該級圖像Imf(i)的修復(fù)。 本發(fā)明提供了一種圖像修復(fù)方法的思路，具體實現(xiàn)該技術(shù)方案的方法和途徑很多，以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。本實施例中未明確的各組成部分均可用現(xiàn)有技術(shù)加以實現(xiàn)。
權(quán)利要求
一種圖像修復(fù)方法，其特征在于，包括以下步驟步驟一，對于給定的圖像f(x，y)，選擇待修復(fù)區(qū)域Ω，其中x，y表示像素點的坐標(biāo)值；步驟二，利用方向經(jīng)驗?zāi)Ｐ蛯o定的圖像f(x，y)進(jìn)行分解，得到三級以上圖像；步驟三，根據(jù)已有信息修復(fù)每級分解所得圖像的待修復(fù)區(qū)域中已破壞的邊緣結(jié)構(gòu)；步驟四，自動修復(fù)各級圖像，以每級分解圖像的邊界上優(yōu)先級最高的目標(biāo)樣本塊作為一次迭代填充單位，重復(fù)以下步驟，直到填滿各級圖像被修復(fù)區(qū)域內(nèi)的所有像素步驟(1)，利用梯度值、置信度計算各級圖像邊界區(qū)域的優(yōu)先級，步驟(2)，根據(jù)優(yōu)先級、相似度和相關(guān)性搜索策略確定本次各級圖像填充的目標(biāo)樣本塊，完成對應(yīng)區(qū)域的修復(fù)，步驟(3)，更新本次迭代處理后的各級圖像邊界區(qū)域像素的置信度；其中，梯度值其中，N表示像素q的鄰域面積，大小與待修復(fù)的目標(biāo)樣本塊Ψt和源樣本塊為Ψs的大小相同，|N|表示N中所含像素個數(shù)；置信度其中，I為原圖像，Ω為待修復(fù)區(qū)域，當(dāng)像素q∈Ω，q點處的置信度D(q)初始化為0，否則初始化為1；對于給定中心位置在qc處的目標(biāo)樣本塊Ψt，待修復(fù)區(qū)域Ω的邊界為其優(yōu)先級P(qc)＝C(qc)·G(qc)，其中，|Ψt|表示待修復(fù)的目標(biāo)樣本塊Ψt中所含像素個數(shù)，G(qc)為梯度值。FSA00000017697200011.tif,FSA00000017697200012.tif,FSA00000017697200013.tif,FSA00000017697200014.tif,FSA00000017697200015.tif
2. 根據(jù)權(quán)利要求1所述的一種圖像修復(fù)方法，其特征在于，步驟二中，采用方向經(jīng)驗?zāi)?型將圖像f(x，y)分解為:/(A力=Z z'm/;5 0,力+《(x,力'其中，9為進(jìn)行方向經(jīng)驗?zāi)Ｐ头纸獾姆较?，imf/(x，y)是對應(yīng)于方向9的二維各級圖 像，r/(x，y)對應(yīng)于方向e的殘余圖像。
3. 根據(jù)權(quán)利要求1所述的一種圖像修復(fù)方法，其特征在于，步驟三中根據(jù)已有信息修 復(fù)每級分解所得圖像的待修復(fù)區(qū)域中已破壞的邊緣結(jié)構(gòu)，具體為根據(jù)已有信息指定待修 復(fù)區(qū)域中已破壞的邊結(jié)構(gòu)信息，并利用方向經(jīng)驗?zāi)Ｐ头纸獾玫降念l率特征值修復(fù)選定的邊 緣結(jié)構(gòu)，沿已知區(qū)域的已有邊界繪制相應(yīng)的曲線，表示出完整的結(jié)構(gòu)信息；在進(jìn)行修復(fù)時， 在各級圖像中首先沿繪制曲線順序進(jìn)行修復(fù)，第一個待修復(fù)的目標(biāo)樣本塊Wt為按照繪制 順序繪制的第一條曲線與待修復(fù)區(qū)域Q的交界位置；對應(yīng)的搜索匹配空間為在已知區(qū)域 繪制的曲線上，并利用當(dāng)前級圖像中目標(biāo)樣本塊Wt與源樣本塊Ws的相似度在定義的搜索 匹配空間中搜索與其匹配的源樣本塊Ws，直到邊緣結(jié)構(gòu)完全修復(fù)；對于圖像中每個像素點(x，y)的三個頻率特征值計算公式為卩0,力=4(>,力,<0,力，其中A = sqrt[(imfi)2+(imfiH)2]，<formula>formula see original document page 3</formula>imfiH(x， y)為第i級圖像imfi(x， y)對應(yīng)于e方向的2_D Hilbert變換；k = 1對應(yīng) 9方向，k = 2對應(yīng)e +90°方向。
4. 根據(jù)權(quán)利要求3所述的一種圖像修復(fù)方法，其特征在于，步驟四的步驟(2)中，填充 過程如下步驟(41)在待修復(fù)圖像中，利用梯度值、置信度確定剩余目標(biāo)樣本塊的填充優(yōu)先級， 選取優(yōu)先級最高的塊作為當(dāng)前待修復(fù)的目標(biāo)樣本塊；步驟(42)在圖像中待修復(fù)區(qū)域外的部分，利用方向經(jīng)驗?zāi)Ｐ头纸獾玫降念l率特征值， 在對應(yīng)級圖像的圖像中待修復(fù)區(qū)域外的部分中搜索具有最高相似性的源樣本塊進(jìn)行復(fù)制， 完成當(dāng)前目標(biāo)區(qū)域的修復(fù)；步驟(43)對于其它級圖像的修復(fù)，利用相關(guān)性搜索策略完成對應(yīng)的修復(fù)；步驟(44)更新本次迭代處理后的各級圖像邊界區(qū)域像素的置信度為l，重復(fù)以上步 驟，直到完成各級圖像的修復(fù)。
5. 根據(jù)權(quán)利要求4所述的一種圖像修復(fù)方法，其特征在于，所述相關(guān)性搜索策略包括 以下步驟初始化Imf(i)和Imf(i—d為相鄰兩級待修復(fù)圖像，Imf(i—d為已經(jīng)修復(fù)完畢的圖像， Imf(i)為當(dāng)前待修復(fù)圖像；步驟(51)，采用優(yōu)先級計算方法計算圖像Imf(i)邊界區(qū)域的優(yōu)先級，選取具有最高填 充優(yōu)先級的目標(biāo)樣本塊^(, ,)為當(dāng)前待填充塊，其中心點A e 3n 。，0Q,《,為當(dāng)前待填充 區(qū)域的邊界；步驟(52)，在其上一級已修復(fù)完畢的MF圖像Imf(i—d中的尋找對應(yīng)位置T,(,《一，從對 應(yīng)的已知區(qū)域①中通過頻率特征值的相似度計算搜索與目標(biāo)樣本塊^(,《—。)匹配的小于閾 值的一些源樣本塊^力《.—。)，并構(gòu)造一個集合；步驟(53)，在Imf(i)圖像中尋找與步驟(52)中構(gòu)造集合對應(yīng)的源樣本塊^(—。)，并通過頻率特征值的相似度計算，求得最為匹配的源樣本塊；步驟(54)，重復(fù)步驟(51)至步驟(51)直到完成該級圖像Imf(i)的修復(fù)后結(jié)束。
6. 根據(jù)權(quán)利要求3或5所述的一種圖像修復(fù)方法，其特征在于，所述當(dāng)前級圖像中目標(biāo) 樣本塊Wt與源樣本塊Ws的相似度計算公式為^輔,u=平《i(^輔—，其中，甲指第i級圖像中的目標(biāo)樣本塊Wt，^(械)指對應(yīng)合成的第i級圖像中的源樣本塊Ws， N指圖像塊在已知區(qū)域所 占像素個數(shù)，「《^和「《^指的是對應(yīng)區(qū)域中第j個像素的頻率特征值。
全文摘要
本發(fā)明涉及一種圖像修復(fù)方法，本發(fā)明首先將目標(biāo)圖像進(jìn)行方向經(jīng)驗?zāi)Ｐ头纸?，并允許根據(jù)已有信息繪制給定待修復(fù)區(qū)域內(nèi)已破壞的邊結(jié)構(gòu)信息，利用方向經(jīng)驗?zāi)Ｐ头纸獾玫降念l率特征值計算相似度先行完成整個受損區(qū)域內(nèi)的邊結(jié)構(gòu)修復(fù)，然后再根據(jù)待修復(fù)區(qū)域邊界上像素點的梯度特征結(jié)合置信度計算剩余填充區(qū)域的優(yōu)先級，并再次利用分解得到的頻率特征值計算相似度完成對應(yīng)區(qū)域的修復(fù)。本發(fā)明的方法不僅能夠修復(fù)較大尺度缺損區(qū)域中的結(jié)構(gòu)和紋理信息，還能夠修復(fù)具有一定遮擋關(guān)系的圖像。修復(fù)過程魯棒性高，有效地防止了錯誤信息的連續(xù)擴(kuò)展。
文檔編號G06T5/00GK101777178SQ201010102109
公開日2010年7月14日 申請日期2010年1月28日 優(yōu)先權(quán)日2010年1月28日
發(fā)明者周杰, 孫正興, 張巖, 楊克微, 陳俞蕾 申請人:南京大學(xué)