專利名稱：一種基于圖像分割的圖像修復方法及系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及一種大尺度區(qū)域的圖像修復方法，屬于數(shù)字圖像處理和計算機 視覺領域。
背景技術：
數(shù)字圖像修復技術屬于圖像復原的研究領域，其目的是為了研究和解決如 何更好地實現(xiàn)檢測圖像的受損部分，然后根據(jù)圖像受損部分周圍的有效信息用 圖像修補算法對圖像的受損部分自動進行恢復。近年來，數(shù)字圖像修復技術在 印前圖像處理、文物圖像恢復、影視特技制作、虛擬現(xiàn)實、生物醫(yī)學、障礙物 去除(如視頻圖像中刪除部分物體、文字、標題等)等方面有著廣泛的應用前
爭
根據(jù)待修復區(qū)域的大小和形狀的不同，圖像修復方法可以分成兩類，即基 于偏微分方程的方法和基于紋理合成的方法。早期的圖像修復技術大多基于偏 微分方程，其用于圖像修復的主要優(yōu)點是對待修復區(qū)域沒有拓撲限制，而且
插值由合適的PDE數(shù)值格式自動完成。這就免去了進行邊緣檢測、T形交匯 (T-jimction)檢測和連接或者目標分割等工作。但是需要指出的是，因為(1) 該類算法是在有界變分空間對圖像建模，且把圖像視為分段平滑函數(shù)，不包含 任何紋理信息；(2)該類算法本質上是一種擴散過程，也就是將破損區(qū)域周邊 的信息擴散到破損區(qū)域中，因此一旦修復大面積缺損圖像，特別是具有豐富紋 理的圖像時會產(chǎn)生模糊現(xiàn)象，很難與周圍的圖像信息保持一致。
基于紋理合成的圖像修復技術主要用于去除圖像中的目標物體或大的區(qū)域，然后再填充這些丟失的數(shù)據(jù)，以解決相關應用中的關鍵問題。其主要思想 是，從待修補區(qū)域的邊界上選取一個像素點，以該點為中心，根據(jù)圖像的紋理 特征，選取大小合適的紋理塊，然后在待修補區(qū)域的周圍尋找與之最相近的紋
理匹酉己塊，來替代該紋理塊。Harrison在文獻A nonhierarchical procedure for resynthesis of complex texture中首先提出一種基于模板的算法來去除不想要的目 標，但這種算法對噪聲的魯棒性能不好，常常使圖像的線結構變得模糊不清。 Drori I 等在文獻Fragment-based image completion 中提出一禾中基于碎片 (Fragment-Based)的圖像補全算法，它利用已知圖像區(qū)域的紋理信息作為訓練 集去推導待修復圖像區(qū)域內(nèi)的信息，并通過在平滑估計值的引導下進行迭代， 逐步更新其中的信息。盡管該算法取得了較好的修復效果，但由于其利用全搜 索過程尋找相似碎片，速度十分慢，處理一幅大小384 X223的圖像大概需要 83min到158min (視修補區(qū)域的大小而定)，大大地影響了它的實用范圍。 Criminisi A等在文獻Region filling and object removal by exemplar-based image inpainting中提出了一種基于樣例的圖像修復技術，其實質是結合了紋理合成和 擴散修補方法二者的優(yōu)點，通過抽取紋理樣本塊并按照一定的優(yōu)先順序向修補 區(qū)域復制。該圖像修復技術的圖像填充算法在填充一個塊時完成一次迭代，循 環(huán)執(zhí)行以下三個步驟
(1)計算填充的優(yōu)先權為了使那些具有較強的連續(xù)邊緣紋理塊和需要填 充的塊里有較多的已知信息的紋理塊優(yōu)先被修補，因此如何計算填充順序很重 要。Criminisi的區(qū)域填充算法的核心思想是考慮了目標區(qū)域的填充優(yōu)先順序問 題，即填充目標區(qū)域時，計算輪廓上的所有目標塊的優(yōu)先級，具有高優(yōu)先級的 目標塊優(yōu)先填充并獲得更新。(2) 搜索最佳匹配塊 一旦確定了待填充的目標塊，就可以在源區(qū)域中直 接采樣，依據(jù)某種相似性度量來尋找最相似的源塊。此處選取與當前目標塊已 知像素在顏色空間歐氏距離最小的源塊作為匹配塊。
(3) 將所選擇的匹配塊復制到目標區(qū)域內(nèi)的適當位置，即把尋找到的匹配 塊中的相應像素點復制到當前目標塊中的未知點，完成一次填充。
基于樣例的圖像修復方法將豐富的紋理信息復制到破損區(qū)域，因此可以處 理大面積的圖像破損，相比其他技術，能獲得較好的視覺效果，但也存在一些 不足之處(1)邊界像素優(yōu)先權的計算過于簡單，對較為平坦的低紋理區(qū)域的 修復順序明顯滯后，容易造成修復后圖像高紋理區(qū)域向低紋理區(qū)域過度擴張； (2)該算法在尋找匹配塊時，大多采用的是一種全局搜索方法。這種搜索方法 在圖像包含較多噪聲時，紋理合成階段往往不能找到合適的匹配紋理塊，從而 容易導致匹配錯誤，且隨著填充過程的進行，還會擴展到后面的傳播過程中， 導致修復結果不理想。
結合以上分析可知，基于樣例的圖像修復算法仍然存在兩個關鍵問題一 是修補前緣如何確定優(yōu)先權順序；二是尋找避免引入錯誤塊的搜索匹配算法。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有基于樣例的圖像修復技術中存在的不足，提供一 種魯棒性高、修復效果好的圖像修復方法，利用該方法用戶只需簡單地選擇需 修復的區(qū)域，計算機就會自動完成圖像修復工作，還原具有復雜紋理和結構特
征的各種大面積缺損圖像。本發(fā)明解決其技術問題所采用的技術方案是 一種基于圖像區(qū)域分割的圖像修復方法，其步驟如下
步驟1標識待修復區(qū)域用戶手動選擇并標識圖像中待修復的區(qū)域，標識完成后，得到初始填充前緣^^ ;
步驟2進行圖像區(qū)域分割用均值漂移算法將已標識的待修復圖像分割為 多個區(qū)域，生成一張?zhí)畛淝熬壟c初始填充前緣相同的區(qū)域分割步驟3重復迭代，對待修復區(qū)域進行重復迭代，直至待修復區(qū)域內(nèi)所有像
素被填滿，即當前填充區(qū)域。'=0所述重復迭代步驟如下 第一步，計算當前填充邊緣所有目標塊的優(yōu)先級；
第二步，搜索匹配塊，其根據(jù)基于圖像區(qū)域分割的匹配塊搜索準則，在圖 像的已知區(qū)域內(nèi)尋找本次迭代的匹配塊；
第三步，填充當前塊，即依照尋找到的匹配塊填充當前目標塊內(nèi)的未知像
素；
第四歩，更新置信度與區(qū)域分割圖，即更新本次迭代處理的目標塊內(nèi)被填 充像素的置信度值，更新區(qū)域分割圖中被填充像素的所屬圖像區(qū)域信息。
步驟2中所述區(qū)域分割圖是指，大小與待修復圖像大小相同并標明每個像 素所屬區(qū)域標號的圖，當一個圖像被分割為N個區(qū)域時，區(qū)域分割圖的像素存 儲值為從1到N，標識好的整個待修補區(qū)域屬于其中的一個區(qū)域。
步驟3中第一步，計算當前填充邊緣所有目標塊的優(yōu)先級方法如下
對于待填充區(qū)域邊緣^上的某點P,定義模板窗口^p的優(yōu)先權P(P)計算公
式
P(P) = [C(/ ) + W(p)]x"2 其中，n為當前目標塊內(nèi)已知像素的所屬區(qū)域個數(shù)，當"^3時，計算中一律 取"=3， QW被稱為置信度項，"(")被稱為數(shù)據(jù)項，分別定義如下其中，，」是^的面積，"為歸一化因子(若圖像各分量值為255級，則取
"=255)， 是在邊緣點p在輪廓&的單位外法向量，Vl^"表示點p處的等輻 照線的方向和強度，該V/pi與p點圖像梯度矢量大小相同，方向垂直-
其中，人、、分別代表像素點p分別在x和y方向上的偏微分。 在上述優(yōu)先權P(^)計算公式中，調(diào)整數(shù)據(jù)項D(^)在優(yōu)先權計算時所占的權 重，從而避免優(yōu)先權曲線的形狀跟隨著置信度值下降的缺陷；所述當前目標塊 己知像素所屬的區(qū)域數(shù)是指，當目標塊屬于n個區(qū)域時，表明該目標塊在強結 構邊緣處，此時應該被優(yōu)先填充，否則會引起某一個區(qū)域的過度繁殖，無法保 持邊界結構的完整；此外，"取平方以便提高已知像素的所屬區(qū)域個數(shù)這一參數(shù) 在計算優(yōu)先權中的影響力。
優(yōu)選地，在所述搜索匹配塊中，對具有最大優(yōu)先權的待修補塊，在整個圖 像已知區(qū)域內(nèi)尋找一個最佳的匹配塊。所述搜索匹配塊模塊的匹配塊搜索準則 如下
(1) 首先，根據(jù)當前目標塊內(nèi)己知像素點的位置，確定該已知像素點的所 屬區(qū)域，所述所屬區(qū)域是指圖像所分割的w個區(qū)域","2"3，......
(2) 其次，依次計算源域中各個塊內(nèi)像素點的所屬區(qū)域情況，其與目標塊內(nèi)已知像素點的所屬區(qū)域相比較，分為以下三種情況
情況一，當前目標塊已知像素所屬的區(qū)域與某個匹配塊己知像素所屬的區(qū) 域類別完全相同；
情況二，當前目標塊已知像素所屬的區(qū)域與某個匹配塊已知像素所屬的區(qū) 域類別有交叉，僅部分相同；
情況三，當前目標塊已知像素所屬的區(qū)域與某個匹配塊已知像素所屬的區(qū) 域類別完全不相同。
(3)最后，在進行相似點匹配時以情況一為最優(yōu)，如果在源域的所有塊中
有與當前目標塊已知像素類別完全相同的一些匹配塊，那么，在這些匹配塊中
再選取顏色空間歐氏距離最小的作為最終匹配結果；若無滿足情況一的匹配塊， 考慮情況二和情況三。
所述顏色空間歐式距離最小用公式表示為
屮廣argmir^0F》，^)
其中，^^^P定義為2個塊中己經(jīng)填充的像素的平方誤差的和，定義為
7 、 /'分別對應于鄰域窗口 Tp和匹配鄰域窗口 ^中的已知像素點。 一種基于圖像區(qū)域分割的圖像修復系統(tǒng)，其包括
標識待修復區(qū)域模塊，其實現(xiàn)用戶手動選擇和標識圖像中待修復的區(qū)域， 標識完成后，得到初始填充前緣^。；
圖像區(qū)域分割模塊，其用均值漂移算法將已標識的待修復圖像分割為多個 區(qū)域，生成一張?zhí)畛淝熬壟c初始填充前緣相同的區(qū)域分割圖；以及，重復迭代模塊，其對待修復區(qū)域重復迭代，直至待修復區(qū)域內(nèi)所有像素被 填滿，即當前填充區(qū)域"=0。 所述重復迭代模塊包括
計算填充優(yōu)先級模塊，其負責計算當前填充邊緣所有目標塊的優(yōu)先級； 搜索匹配塊模塊，其根據(jù)基于圖像區(qū)域分割的匹配塊搜索準則，在圖像的
已知區(qū)域內(nèi)尋找本次迭代的匹配塊；
填充當前塊模塊，其依照尋找到的匹配塊填充當前目標塊內(nèi)的未知像素；
以及，
更新置信度與區(qū)域分割圖模塊，其負責更新本次迭代處理的目標塊內(nèi)被填 充像素的置信度值，更新區(qū)域分割圖中被填充像素的所屬圖像區(qū)域信息。
優(yōu)選地，在所述搜索匹配塊模塊中，對具有最大優(yōu)先權的塊，在整個圖像 已知區(qū)域內(nèi)尋找一個最佳的匹配塊；所述搜索匹配塊模塊的匹配塊搜索準則如 下
(1) 首先，根據(jù)當前目標塊內(nèi)已知像素點的位置，確定該已知像素點的所 屬區(qū)域，所述所屬區(qū)域是指圖像所分割成的"個區(qū)域","2"3，……"；
(2) 其次，依次計算源域中各個塊內(nèi)像素點的所屬區(qū)域，其與目標塊內(nèi)已
知像素點的所屬區(qū)域相比較，分為以下三種情況
情況一，當前目標塊已知像素所屬的區(qū)域與某個匹配塊已知像素所屬的區(qū) 域類別完全相同；
情況二，當前目標塊己知像素所屬的區(qū)域與某個匹配塊已知像素所屬的區(qū)
域類別有交叉，僅部分相同；
情況三，當前目標塊已知像素所屬的區(qū)域與某個匹配塊已知像素所屬的區(qū)域類別完全不相同。
(3)最后，在進行相似點匹配時以情況一為最優(yōu)，即如果在源域的所有塊 中有與當前目標塊己知像素類別完全相同的一個或多個匹配塊，在它們之中再 選取顏色空間歐氏距離最小的作為最終匹配結果；若無滿足情況一的匹配塊，
才去考慮情況二、情況三。 本發(fā)明的有益效果
(1) 本發(fā)明所采用的基于圖像區(qū)域分割的匹配塊搜索準則，首先把圖像劃 分為不同的紋理區(qū)域，然后根據(jù)當前目標塊的已知像素所屬區(qū)域類別搜索在源 域中搜索匹配塊進行修復，這種新的搜索匹配準則有效地克服了現(xiàn)有技術中僅 僅計算顏色空間歐氏距離所帶來的錯誤塊匹配現(xiàn)象。
(2) 對于通常情況下的各種不同圖像，其紋理和結構特征的相對重要性總 在不斷變化當中。本發(fā)明所采用的優(yōu)先權計算公式將置信度項與數(shù)據(jù)項進行加 權，可以針對不同圖像待填補情況調(diào)整數(shù)據(jù)項在優(yōu)先權中的權重。同時，本發(fā) 明的優(yōu)先權計算公式采用一種與當前塊已知像素所屬區(qū)域類別數(shù)相關的優(yōu)先權 計算方法，這樣保證了區(qū)域塊邊界的優(yōu)先修補順序，解決了高紋理區(qū)域向低紋 理區(qū)域的擴張的問題。
綜上，本發(fā)明的圖像修復方法較之原有基于樣例的圖像修復方法效果更加 符合人類的視覺期望，更接近于手工修復過程，魯棒性高，從而有效地防止了 錯誤匹配塊的出現(xiàn)。本發(fā)明的方法已成功應用于各種具有復雜紋理和結構特征 的圖像的大尺度區(qū)域修復，也可應用于文字的去除、目標物的移除等方面。


圖1為根據(jù)本發(fā)明的圖像修復方法的工作流程圖；圖2為根據(jù)本發(fā)明的圖像修復系統(tǒng)的模塊結構圖。
具體實施例方式
下面結合附圖和具體實施方式
對本發(fā)明作進一步詳細描述 實施例1:
本發(fā)明的圖像修復方法的主要工作流程如圖l所示，該圖像修復方法的步
驟為
(1) 標識待修復區(qū)域用戶手動選擇和標識圖像中待修復的區(qū)域，標識完
成后，得到初始填充前緣^°;
(2) 圖像區(qū)域分割用均值漂移算法將圖像分割為多個區(qū)域，生成一張?zhí)?充前緣與初始填充前緣相同的區(qū)域分割(3) 迭代填充待修復區(qū)域進行重復迭代，直至待修復區(qū)域內(nèi)所有像素被 填滿，即當前填充區(qū)域"=0，重復迭代步驟如下
第一步，計算填充優(yōu)先級，即計算當前填充邊緣所有目標塊的優(yōu)先級。 假設圖像I為待修補的圖像，用戶要填充的目標區(qū)域為Q，其輪廓記為&， 定義填充的源域(已知區(qū)域)①為整個圖像I減去目標區(qū)域Q，即0 = 1-Q，源 域在整個填充的過程中提供樣本。根據(jù)圖像的紋理特征，首先確定用于計算優(yōu) 先權的模板窗口^ (以p點為中心的鄰域窗口)，窗口的大小應比圖像中最大紋 元稍大一些，而對任意邊緣點Pe^，定義模板窗口Wp的優(yōu)先權^^為
P(/7) ^DCp)〗x"2
其中，n為當前目標塊內(nèi)已知像素所屬區(qū)域數(shù)，Q^被稱為置信度項， 被稱為數(shù)據(jù)項，Criminisi等在文獻Region filling and object removal by exemplar-based image inpainting中對它們分另U定義如下<formula>formula see original document page 16</formula>
其中l(wèi)甲」是4^的面積，"為歸一化因子(若圖像各分量值為255級，則取 "=255)， 是在邊緣點p在輪廓^的單位外法向量，V/纟表示點p處的等輻照 線的方向和強度，V/pi與p點圖像梯度矢量大小相同，方向垂直
其中，A、厶分別代表像素點p分別在x和y方向上的偏微分。初始化時， 像素點q的置信度項
在本發(fā)明中定義的優(yōu)先權計算公式中，調(diào)整數(shù)據(jù)項D(P)在優(yōu)先權計算時所
占的權重，從而避免優(yōu)先權曲線的形狀跟隨著置信度值下降的缺陷；公式中還 用到了當前目標塊已知像素所屬的區(qū)域個數(shù)，也就是說當目標塊屬于幾個區(qū)域 時，表明該目標塊在強結構邊緣處，此時應該被優(yōu)先填充，否則會引起某一個 區(qū)域的過度繁殖，無法保持邊界結構的完整。另外，取"的平方主要是為了提高 己知像素的"所屬區(qū)域個數(shù)"這一參數(shù)在計算優(yōu)先權中的影響力。
第二步，搜索匹配塊，即根據(jù)基于圖像區(qū)域分割的匹配塊搜索準則，在圖 像的已知區(qū)域內(nèi)尋找本次迭代的匹配塊。
此時己確定邊緣點中具有最大優(yōu)先權的塊^，接下來在整個圖像區(qū)域內(nèi)尋 找一個最佳的匹配塊^e①。本發(fā)明制定了基于圖像區(qū)域分割的匹配塊搜索準則，其步驟為
(1) 首先，得到當前目標塊內(nèi)已知像素點的所屬區(qū)域情況，即確定這些已 知像素點所在的"個區(qū)域 "2凸,......w;
(2) 其次，依次計算源域中各個塊內(nèi)像素點的所屬區(qū)域情況，該結果與上 一歩中得到的當前目標塊內(nèi)已知像素點的所屬區(qū)域情況進行比較判斷，可能的 情況分為三種
情況一它們的類別個數(shù)，大小完全相等，即當前目標塊已知像素所屬 的區(qū)域類別與某個匹配塊已知像素所屬的區(qū)域類別相同； 情況二它們的類別有部分相等，交叉； 情況三它們的類別完全不相等。 此處的顏色空間歐式距離最小用公式表示為
其中，"(^V^)定義為2個塊中已經(jīng)填充的像素的平方誤差的和，定義為
， " = Z - ^ )2 + & - ^ )2 + A - ^ )2 ]
其中，/、,分別對應于鄰域窗口"和匹配鄰域窗口^中的已知像素點。 第三步，依照尋找到的匹配塊填充當前目標塊內(nèi)待修復位置的未知像素值。
把尋找到的^中的相應像素點復制到^》中的未知點，完成一次填充。
第四步，更新本次迭代處理的目標塊內(nèi)被填充像素的置信度值，更新區(qū)域分 割圖中被填充像素的所屬圖像區(qū)域信息，把用來填充的匹配塊像素點的所屬區(qū) 域信息復制到區(qū)域分割圖內(nèi)相應的被填充像素中，從而完成一次迭代過程。
實施例2
如圖2所示的根據(jù)本發(fā)明的一種基于圖像區(qū)域分割的圖像修復系統(tǒng)，其包括以下模塊
標識待修復區(qū)域模塊，其實現(xiàn)用戶手動選擇和標識圖像中待修復的區(qū)域， 標識完成后，得到初始填充前緣^°;
圖像區(qū)域分割模塊，其用均值漂移算法將已標識的待修復圖像分割為多個 區(qū)域，生成一張?zhí)畛淝熬壟c初始填充前緣相同的區(qū)域分割圖；以及，
重復迭代模塊，其對待修復區(qū)域重復迭代，直至待修復區(qū)域內(nèi)所有像素被 填滿，即當前填充區(qū)域"=0。
在本實施例中，重復迭代模塊包括
計算填充優(yōu)先級模塊，其負責計算當前填充邊緣所有目標塊的優(yōu)先級； 搜索匹配塊模塊，其根據(jù)基于圖像區(qū)域分割的匹配塊搜索準則，在圖像的
己知區(qū)域內(nèi)尋找本次迭代的匹配塊；
填充當前塊模塊，其依照尋找到的匹配塊填充當前目標塊內(nèi)的未知像素；
以及，
更新置信度與區(qū)域分割圖模塊，其負責更新本次迭代處理的目標塊內(nèi)被填 充像素的置信度值，更新區(qū)域分割圖中被填充像素的所屬圖像區(qū)域信息。
在本實施例的優(yōu)選方案中，在搜索匹配塊模塊中，對具有最大優(yōu)先權的塊， 在整個圖像已知區(qū)域內(nèi)尋找一個最佳的匹配塊；所述搜索匹配塊模塊的匹配塊 搜索準則如下
(1) 首先，根據(jù)當前目標塊內(nèi)已知像素點的位置，確定該已知像素點的所 屬區(qū)域，所述所屬區(qū)域是指圖像所分割成的w個區(qū)域","2"3.......";
(2) 其次，依次計算源域中各個塊內(nèi)像素點的所屬區(qū)域，其與目標塊內(nèi)已 知像素點的所屬區(qū)域相比較，分為以下三種情況情況一，當前目標塊己知像素所屬的區(qū)域與某個匹配塊已知像素所屬的區(qū) 域類別完全相同；
情況二，當前目標塊已知像素所屬的區(qū)域與某個匹配塊已知像素所屬的區(qū) 域類別有交叉，僅部分相同；
情況三，當前目標塊已知像素所屬的區(qū)域與某個匹配塊已知像素所屬的區(qū) 域類別完全不相同。
(3)最后，在進行相似點匹配時以情況一為最優(yōu)，即如果在源域的所有塊
中有與當前目標塊已知像素類別完全相同的一些匹配塊，在在這些完全相同的
一些匹配塊之中再選取顏色空間歐氏距離最小的作為最終匹配結果；若無滿足 情況一的匹配塊，才去考慮情況二、情況三。
以上僅為本發(fā)明較佳的具體實施方式
，但本發(fā)明的保護范圍并不局限于此， 任何熟悉本技術領域的技術人員在本發(fā)明揭露的技術范圍內(nèi)，可輕易想到的變 化或替換，都應涵蓋在本發(fā)明的保護范圍之內(nèi)。
權利要求
1.一種基于圖像區(qū)域分割的圖像修復方法，其特征在于，包括以下步驟步驟1標識待修復區(qū)域用戶手動選擇并標識圖像中待修復的區(qū)域，標識完成后，得到初始填充前緣δΩ0；步驟2進行圖像區(qū)域分割用均值漂移算法將已標識的待修復圖像分割為多個區(qū)域，生成一張?zhí)畛淝熬壟c初始填充前緣相同的區(qū)域分割圖；步驟3對待修復區(qū)域進行重復迭代，直至待修復區(qū)域內(nèi)所有像素被填滿，即當前填充區(qū)域 id="icf0001" file="A2009100917560002C1.tif" wi="20" he="6" top= "98" left = "55" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>所述重復迭代步驟如下第一步，計算當前填充邊緣所有目標塊的優(yōu)先級；第二步，搜索匹配塊，其根據(jù)基于圖像區(qū)域分割的匹配塊搜索準則，在圖像的已知區(qū)域內(nèi)尋找本次迭代的匹配塊；第三步，填充當前塊，即依照尋找到的匹配塊填充當前目標塊內(nèi)的未知像素；第四步，更新置信度與區(qū)域分割圖，即更新本次迭代處理的目標塊內(nèi)被填充像素的置信度值，更新區(qū)域分割圖中被填充像素的所屬圖像區(qū)域信息。
2. 根據(jù)權利要求1所述的基于圖像區(qū)域分割的圖像修復方法，其特征在于， 步驟2中所述區(qū)域分割圖是指，大小與待修復圖像大小相同且標明每個像素所 屬區(qū)域標號的圖，當一個圖像被分割為N個區(qū)域時，區(qū)域分割圖的像素存儲值 為從l到N，標識好的整個待修補區(qū)域屬于其中的一個區(qū)域。
3. 根據(jù)權利要求1所述的基于圖像區(qū)域分割的圖像修復方法，其特征在于， 步驟3中，第一步所述計算當前填充邊緣所有目標塊的優(yōu)先級方法是指，對于待填充區(qū)域邊緣^上的某點p，定義模板窗口Tp的優(yōu)先權^^計算公式<formula>formula see original document page 3</formula>其中，n為當前迭代目標塊內(nèi)已知像素的所屬區(qū)域個數(shù)，當《23時，計算中一律取"=3， QP)為置信度項，"^)為數(shù)據(jù)項，分別定義如下<formula>formula see original document page 3</formula>其中，1^,l是^的面積，"為歸一化因子，若圖像各分量值為255級，則取 =255， 是在邊緣點p在輪廓^Q的單位外法向量，V《表示點p處的等輻照線的方向和強度，該W纟與p點圖像梯度矢量大小相同，方向垂直<formula>formula see original document page 3</formula>其中，4、 /,分別代表像素點p分別在x和y方向上的偏微分。
4. 根據(jù)權利要求3所述的基于圖像區(qū)域分割的圖像修復方法，其特征在于， 所述優(yōu)先權的計算公式中，通過調(diào)整數(shù)據(jù)項D(p)在優(yōu)先權計算時所占的權重， 避免優(yōu)先權曲線的形狀跟隨著置信度值下降的缺陷；所述當前目標塊內(nèi)己知像 素所屬區(qū)域個數(shù)是指，當目標塊屬于n個區(qū)域時，表明該目標塊在強結構邊緣 處，此時應該被優(yōu)先填充，否則會引起某一個區(qū)域的過度繁殖，無法保持邊界 結構的完整，此外，w取平方的目的在于提高已知像素的所屬區(qū)域個數(shù)在計算優(yōu) 先權中的影響力。
5. 根據(jù)權利要求1所述的基于圖像區(qū)域分割的圖像修復方法，其特征在于， 步驟3中，第二步在所述搜索匹配塊模塊中，對具有最大優(yōu)先權的塊，在整個圖像區(qū)域內(nèi)尋找一個最佳的匹配塊，所述搜索匹配塊模塊的匹配塊搜索準則如 下(1) 首先，根據(jù)當前目標塊內(nèi)已知像素點的位置，確定該已知像素點的所 屬區(qū)域，所述所屬區(qū)域是指圖像所分割的w個區(qū)域"^2"3，......"；(2) 其次，依次計算源域中各個塊內(nèi)像素點的所屬區(qū)域情況，其與目標塊 內(nèi)己知像素點的所屬區(qū)域相比較，分為以下三種情況情況一，當前目標塊已知像素所屬的區(qū)域與某個匹配塊已知像素所屬的區(qū) 域類別完全相同；情況二，當前目標塊已知像素所屬的區(qū)域與某個匹配塊已知像素所屬的區(qū) 域類別有交叉，僅部分相同；情況三，當前目標塊已知像素所屬的區(qū)域與某個匹配塊已知像素所屬的區(qū) 域類別完全不相同；(3) 最后，在進行相似點匹配時以情況一為最優(yōu)，如果在源域的所有塊中 有與當前目標塊已知像素類別完全相同的一個或多個匹配塊，在所述一個或多 個匹配塊中再選取顏色空間歐氏距離最小的作為最終匹配結果；若無滿足情況 一的匹配塊，才去考慮情況二、情況三；所述顏色空間歐式距離最小用公式表 示為其中，"(^，^)定義為2個塊中已經(jīng)填充的像素的平方誤差的和，定義為 / 、,分別對應于鄰域窗口 "和匹配鄰域窗口 ^中的己知像素點。
6.根據(jù)權利要求1所述的基于圖像區(qū)域分割的圖像修復方法，其特征在于，步驟3中，第四步所述區(qū)域分割圖中被填充像素的所屬圖像區(qū)域信息的更新是 指，在每一輪迭代結束時，把用來填充的匹配塊像素點的所屬區(qū)域信息復制到 區(qū)域分割圖內(nèi)相應的被填充像素中。
7. —種基于圖像區(qū)域分割的圖像修復系統(tǒng)，其特征在于，包括 標識待修復區(qū)域模塊，其實現(xiàn)用戶手動選擇和標識圖像中待修復的區(qū)域，標識完成后，得到初始填充前緣^°;圖像區(qū)域分割模塊，其用均值漂移算法將已標識的待修復圖像分割為多個區(qū)域，生成一張?zhí)畛淝熬壟c初始填充前緣相同的區(qū)域分割圖；以及，重復迭代模塊，其對待修復區(qū)域重復迭代，直至待修復區(qū)域內(nèi)所有像素被填滿，即當前填充區(qū)域"=0。
8. 根據(jù)權利要求7所述的基于圖像區(qū)域分割的圖像修復系統(tǒng)，其特征在于，所述重復迭代模塊包括計算填充優(yōu)先級模塊，其負責計算當前填充邊緣所有目標塊的優(yōu)先級； 搜索匹配塊模塊，其根據(jù)基于圖像區(qū)域分割的匹配塊搜索準則，在圖像的已知區(qū)域內(nèi)尋找本次迭代的匹配塊；填充當前塊模塊，其依照尋找到的匹配塊填充當前目標塊內(nèi)的未知像素；以及，更新置信度與區(qū)域分割圖模塊，其負責更新本次迭代處理的目標塊內(nèi)被填 充像素的置信度值，更新區(qū)域分割圖中被填充像素的所屬圖像區(qū)域信息。
9. 根據(jù)權利要求8所述的基于圖像區(qū)域分割的圖像修復系統(tǒng)，其特征在于， 在所述搜索匹配塊模塊中，對具有最大優(yōu)先權的塊，在整個圖像區(qū)域內(nèi)尋找一 個最佳的匹配塊；所述搜索匹配塊模塊的匹配塊搜索準則如下(1) 首先，根據(jù)當前目標塊內(nèi)已知像素點的位置，確定該己知像素點的所 屬區(qū)域，所述所屬區(qū)域是指圖像所分割成的"個區(qū)域",，W......";(2) 其次，依次計算源域中各個塊內(nèi)像素點的所屬區(qū)域，其與目標塊內(nèi)己知像素點的所屬區(qū)域相比較，分為以下三種情況情況一，當前目標塊已知像素所屬的區(qū)域與某個匹配塊己知像素所屬的區(qū) 域類別完全相同；t青況二，當前目標塊已知像素所屬的區(qū)域與某個匹配塊已知像素所屬的區(qū) 域類別有交叉，僅部分相同；情況三，當前目標塊已知像素所屬的區(qū)域與某個匹配塊已知像素所屬的區(qū) 域類別完全不相同；(3) 最后，在進行相似點匹配時以情況一為最優(yōu)，即如果在源域的所有塊 中有與當前目標塊己知像素類別完全相同的一個或多個匹配塊，那么，在所述 一個或多個匹配塊中再選取顏色空間歐氏距離最小的作為最終匹配結果；若無 滿足情況一的匹配塊，那么考慮情況二、情況三。
全文摘要
本發(fā)明公開了一種基于圖像分割的圖像修復方法及系統(tǒng)，包括首先，由用戶手動選擇并標識圖像中待修復的區(qū)域；然后，用均值漂移算法進行圖像區(qū)域分割，將圖像分割為N個區(qū)域；最后，對待修復區(qū)域進行重復迭代，直至待修復區(qū)域內(nèi)所有像素被填滿。本發(fā)明方法優(yōu)化了圖像修復算法中優(yōu)先權的計算，從而有效地防止了經(jīng)修復后圖像高紋理區(qū)域向低紋理區(qū)域過度擴張，并在此基礎上制定了基于圖像區(qū)域分割的匹配塊搜索準則，以避免錯誤塊的引入。較之原有基于樣例的圖像修復方法，本發(fā)明方法的效果更加符合人類的視覺期望，目前本發(fā)明方法已成功應用于各種具有復雜紋理和結構特征的圖像的大尺寸區(qū)域修復，也可應用于文字的去除、目標物的移除等方面。
文檔編號G06T5/00GK101661613SQ20091009175
公開日2010年3月3日 申請日期2009年8月27日 優(yōu)先權日2009年8月27日
發(fā)明者振 唐, 如 張, 苗振江 申請人:北京交通大學