本發(fā)明涉及圖像處理技術領域，具體說涉及一種基于結構差異與待修復邊緣結構系數(shù)的優(yōu)先權算法及圖像修復方法。

背景技術：

圖像修復是一門古老的藝術，起源于歐洲文藝復興時期，通常指恢復圖像中丟失或者破損的像素或者區(qū)域。人們對不連續(xù)的邊界非常敏感，而丟失區(qū)域一般包括結構、紋理和平滑，結構連貫更接近真實的視覺效果，因此研究者將這三層分開，而恢復結構層是其中比較重要的部分。修復順序的選擇對修復結果的影響很大，一般具有結構型的塊是應該被首先修復的。criminisi利用局部邊界的等照度線方向和單位法線方向定義塊的填充次序，得到優(yōu)先填充的樣本塊后，利用全局搜索方式在已知區(qū)域中尋找最佳匹配塊，并通過最佳匹配塊填充待修復樣本塊。

還有一些方法利用待修復區(qū)域邊界點為中心選取圖像塊，再用所選取塊與鄰域塊的差異大小計算相似性權重，運用所有已知鄰域塊的相似性權重構建結構稀疏度，用結構稀疏度計算填充順序。修復塊構建是將多個匹配塊的稀疏表示作為填充信息,提高了修復圖像的質(zhì)量。此外，還可在圖像的已知區(qū)域計算相似塊，并計算塊補償，大多數(shù)的圖像有著相似的補償，補償分布的峰值和主補償相關。根據(jù)主要的補償，輸入圖像形成了很多有位移的版本圖像。這些有位移的圖像通過優(yōu)化全局的mrf能量函數(shù)合并。這些方法對修復圖像產(chǎn)生了很好的視覺效果和連通性，特別的，被修復的缺損區(qū)域有著均勻的紋理和少數(shù)的結構。

針對物體移除的圖像修復問題，一些學者提出了基于樣本塊和深度相結合的圖像修復算法，用圖像的深度圖找到目的圖像所修復物體的順序，和物體的多視角圖，然后去填補孔洞。為了減少數(shù)據(jù)庫的大小，提出了主視角抽取(keyviewextraction)的方法，并使用一種幾何的和光測度的算法進行物體檢索。還有基于示例的方法，對優(yōu)先級功能進行改進，在優(yōu)先級函數(shù)中考慮線性結構的優(yōu)先級，并且使算法更早地線性結構，以解決完成順序和線性結構傳播問題。此外，為了檢測最有效的結構，在優(yōu)先級中使用了圖像結構張量和圖像梯度的組合。

上述算法雖然均能在一定程度上實現(xiàn)圖像修復功能，但算法均存在一些無法克服的問題，如填充順序不夠穩(wěn)定、匹配準則不夠合理、耗時較長等。

技術實現(xiàn)要素：

鑒于已有技術存在的不足，本發(fā)明的目的是要提供一種利用小圖像塊彼此之間的差異大小區(qū)分待修復點所在區(qū)域的優(yōu)先權算法。

為了實現(xiàn)上述目的，本發(fā)明技術方案如下：

一種基于結構差異與待修復邊緣結構系數(shù)的優(yōu)先權算法，其特征在于，其步驟包括：

s1讀取破損的圖像，并標記待修復區(qū)域；

s2提取包含待修復區(qū)域邊界在內(nèi)，且大小一定的目標區(qū)域，并提取目標區(qū)域內(nèi)所有已知像素點信息；

s3根據(jù)提取的已知像素點信息構建結構差異矩陣；

s4在目標區(qū)域內(nèi)提取一定大小的以待修復區(qū)域邊界上任意待修復點p為中心的窗口區(qū)域，計算待修復點p的邊緣結構系數(shù)t(p)；

s5計算待修復點p在以其為中心的窗口區(qū)域內(nèi)的標準差參數(shù)sp(p)以及置信度參數(shù)c(p)；

s6根據(jù)邊緣結構系數(shù)、待修復點標準差參數(shù)和待修復點置信度參數(shù)計算此待修復點的優(yōu)先權值p(p)，計算公式為p(p)＝t(p)·c(p)·sp(p)；

s7重復步驟s5-s6，直至遍歷待修復區(qū)域邊界上所有待修復點，得到相應的優(yōu)先權集合；

s8修復以優(yōu)先權值最大的待修復點為中心的窗口區(qū)域，并更新待修復區(qū)域邊界和結構差異矩陣；

s9重復步驟s4-s8，直至待修復區(qū)域修復完全。

本發(fā)明的另一目的是要提供一種基于上述優(yōu)先權算法的圖像修復方法，其特征在于，包括如下步驟：

步驟1、讀取待修復原圖像，并確定待修復區(qū)域邊界點；

步驟2、計算待修復區(qū)域邊界各待修復點相應的優(yōu)先權值；

步驟3、查找優(yōu)先權值最大的待修復點，并修復以此待修復點為中心的目標區(qū)域圖像塊；

步驟4、刷新結構差異矩陣，判斷是否還有未修復的區(qū)域，如果有，則執(zhí)行步驟2-步驟3，直至圖像修復完全。

與現(xiàn)有技術相比，本發(fā)明的有益效果：

本發(fā)明根據(jù)各目標區(qū)域的差異大小區(qū)分待修復點的位置特點，得到穩(wěn)定的優(yōu)先權值；同時將目標區(qū)域間的差異以標準差的方式存放于結構差異矩陣中，由于相鄰待修復點的鄰域存在大幅度的重合，可重復利用結構差異矩陣中的信息計算優(yōu)先權，從而大大降低了優(yōu)先權的計算時間。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明優(yōu)先權算法流程圖；

圖2a為圖像紋理區(qū)域示例圖；

圖2b為圖像結構區(qū)域示例圖；

圖3為本發(fā)明圖像修復方法流程圖；

圖4為本發(fā)明與對比算法修復效果對比圖。

具體實施方式

為使本發(fā)明實施例的目的、技術方案和優(yōu)點更加清楚，下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領域普通技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

本發(fā)明設計了一種利用小圖像塊彼此之間的差異大小區(qū)分待修復點所在區(qū)域的優(yōu)先權算法及圖像修復方法，下面結合附圖以及具體實施例進一步說明本發(fā)明的技術方案：

如圖1所示，基于結構差異與待修復邊緣結構系數(shù)的優(yōu)先權算法的步驟包括：

s1讀取破損的圖像，并標記待修復區(qū)域。

s2提取包含待修復區(qū)域邊界在內(nèi)，且大小一定的目標區(qū)域，并提取目標區(qū)域內(nèi)所有已知像素點信息。

s3根據(jù)提取的已知像素點信息構建結構差異矩陣，步驟包括：

s31在r、b、g三個顏色通道上將破損圖像相應分為三層，分別提取目標區(qū)域內(nèi)各已知像素點的像素值。

本發(fā)明中為保證修復區(qū)域與已知區(qū)域在結構上的連貫性，必須確保計算出的優(yōu)先權在結構區(qū)域數(shù)值最大，在紋理區(qū)域數(shù)值較小，在平滑區(qū)域數(shù)值也是最小?？紤]到結構區(qū)域存在邊界，顏色差異較大、平滑區(qū)域顏色幾乎沒有差異的特點，利用標準差便可以很好區(qū)分結構區(qū)域和平滑區(qū)域。但紋理區(qū)域顏色可能存在較大的差異，所以單純的使用標準差進行計算并不能區(qū)分紋理區(qū)域和結構區(qū)域。而紋理區(qū)域雖然顏色差異較大，但利用其分布均勻的特點也可以將其與結構區(qū)域進行區(qū)分。

s32分別計算目標區(qū)域內(nèi)各層像素值標準差sm(i,j)，計算公式如下：

其中，pm(i,j)為目標區(qū)域圖像第m層，第i行，第j列點像素值，n是目標區(qū)域圖像內(nèi)已知像素點的個數(shù)，作為本發(fā)明的優(yōu)選實施方案，n取9，e(i,j)為第m層對應位置的像素期望，即：

s33綜合目標區(qū)域圖像各層像素值標準差，計算得到結構差異矩陣對應各像素點位置的值s(i,j)，計算公式如下：

由于平滑區(qū)域標準差有可能為0，因此公式中整體加1，將得到的值存放在結構差異矩陣對應的位置。圖像中結構區(qū)域和紋理區(qū)域?qū)木仃嚁?shù)值較大，平滑區(qū)域接近于1。相近的紋理區(qū)域數(shù)值比較接近，邊緣點值會比周圍點大，但是并不一定會比不在其周圍的其他紋理區(qū)域的值大。紋理區(qū)域和邊界區(qū)域的值并不能很好的區(qū)分，所以如果單純的用矩陣對應的值作為優(yōu)先權顯然不合理。顯然需要進一步處理。作為本發(fā)明較佳的實施方式，以待修復點周圍較小的圖像塊為單位，構建優(yōu)先權條件結構系數(shù)。

s4在目標區(qū)域內(nèi)提取一定大小的以待修復區(qū)域邊界上任意待修復點p為中心的窗口區(qū)域，計算待修復點p的邊緣結構系數(shù)t(p)，計算公式如下：

其中，ns(p)為窗口區(qū)域，|ns(p)|為窗口區(qū)域內(nèi)已知元素個數(shù)，vp,k是待修復點的鄰域點歸一化結果，定義為：

其中z(p)為歸一化常數(shù)，定義為：

為了保證結構區(qū)域優(yōu)先權值最大，選用待修復點為中心的矩形窗中的點在矩陣中對應的所有不為零的值，定義計算優(yōu)先權的條件。

鑒于結構區(qū)域與紋理區(qū)域的區(qū)別是結構區(qū)域中含有邊界，邊界對應的值比周圍值要大，為了突出此特點，并且讓因為紋理不同導致標準差不同的區(qū)域處于相近的修復先后位置，本發(fā)明采用對待修復點周圍點在結構差異矩陣中對應的值進行歸一化，然后求平方和的方式表達差異。這樣可以很好的區(qū)分結構區(qū)域和紋理區(qū)域。

平方和的值會隨著平方和中元素較大的值的個數(shù)減少而增大，而結構區(qū)域相比于紋理區(qū)域的差異是只有較少部分是值較大的邊緣區(qū)域，以此可以地區(qū)分紋理區(qū)域和結構區(qū)域。雖然不同紋理區(qū)域值差異較大，但是相同紋理區(qū)域中的值差異較小，因此對目標點周圍點進行歸一化，可以使所有紋理區(qū)域處于相近的優(yōu)先位置而低于結構區(qū)域的優(yōu)先位置。

隨著求和元素個數(shù)的增加，數(shù)值會變小，影響優(yōu)先權數(shù)值的穩(wěn)定性。因此需乘以參與求和元素的個數(shù)均衡。所以給出待修復點p的結構系數(shù)t(p)。

作為本發(fā)明較佳的實施方式，以待修復點周圍較小的圖像塊為單位，構建優(yōu)先權結構系數(shù)。該值能夠區(qū)分帶修復塊是紋理區(qū)域還是結構區(qū)域，但是如果是結構區(qū)域卻不能確保待修復塊的中心是圖案的的交界部分。因為當圖像塊處于同一區(qū)域并且其中含有相同長度的交界部分時，得到的值會相近。對比如圖2a與圖2b，二者均為待修復點周圍的一個小區(qū)域，顯然圖2a屬于紋理區(qū)域，而圖2b具有明顯的結構特征，而先修復圖b中圖案交界部分，能夠得到更好的修復效果。因此在優(yōu)先權中加入待修復塊中心一個較小的已知區(qū)域的差異值(因為修復圖像時，中心點位于破損圖像邊緣)來放大相近區(qū)域中更接近邊界中心的點。

s5計算待修復點p在以其為中心的窗口區(qū)域內(nèi)的標準差參數(shù)sp(p)以及置信度參數(shù)c(p)，其中：

標準差參數(shù)sp(p)的計算公式為：

置信度參數(shù)c(p)為窗口區(qū)域內(nèi)已知像素點個數(shù)與全部像素點個數(shù)的比值。

s6根據(jù)邊緣結構系數(shù)、待修復點標準差參數(shù)和待修復點置信度參數(shù)計算此待修復點的優(yōu)先權值p(p)，計算公式為p(p)＝t(p)·c(p)·sp(p)；

s7重復步驟s5-s6，直至遍歷待修復區(qū)域邊界上所有待修復點，得到相應的優(yōu)先權集合。

s8修復以優(yōu)先權值最大的待修復點為中心的窗口區(qū)域，并更新待修復區(qū)域邊界和結構差異矩陣。

s9重復步驟s4-s8，直至待修復區(qū)域修復完全。

本發(fā)明還提供了一種基于上述優(yōu)先權算法的圖像修復方法，依據(jù)區(qū)域特征構建重復使用的結構差異矩陣計算優(yōu)先權，即保證了圖像結構部分的連貫性，同時也降低了圖像修復過程中的運算量。如圖3所示，其步驟包括：

步驟1、讀取待修復原圖像，并確定待修復區(qū)域邊界點；

步驟2、計算待修復區(qū)域邊界各待修復點相應的優(yōu)先權值；

步驟3、查找優(yōu)先權值最大的待修復點，并修復以此待修復點為中心的目標區(qū)域圖像塊；

步驟4、刷新結構差異矩陣，判斷是否還有未修復的區(qū)域，如果有，則執(zhí)行步驟2-步驟3，直至圖像修復完全。

下面結合具體實施例對本發(fā)明涉及的優(yōu)先權算法和圖像修補方法做進行進一步說明。本算法基于windows7系統(tǒng)、visual.studio2013+opencvv2.4作為實驗平臺。實施例中分別采用現(xiàn)有技術中的未考慮結構系數(shù)的criminisi算法作為對比算法，與發(fā)明所述算法進行比較，如圖4所示，為兩種方法修復圖像的對比結果，圖中(a)列表示沒有破損的原始圖像，(b)列表示破損需要進行修復的圖像，(c)列表示使用對比算法進行修復的效果，(d)列表示使用本算法進行修復的效果。

由圖中可以看出，針對第一幅圖像額頭處，對比算法存在明顯缺陷，而本發(fā)明算法可以較好的將圖片復原；針對第二幅圖像對比算法方法在橋洞處存在較為嚴重的缺陷，是因為修復順序的不穩(wěn)定性，沒有先修復橋洞底部與側部的交界部分造成的，而本文的算法較好的克服了這個問題。針對第三幅圖片對比算法方法在飛機的機翼上存在明顯的缺陷，這是因為優(yōu)先權的順序不夠合理，導致重復使用單一的匹配塊造成的，本算法通過使用區(qū)域特性更好的構建優(yōu)先權的先后順序，因此并沒有出現(xiàn)此類問題，第四幅圖與上述情況類似。

為了更加客觀體現(xiàn)兩種算法的使用效果，采用峰值信噪比psnr(peaksingetonoiseratio)(單位分貝)來度量修復后的圖像與原圖像的差異，峰值信噪比的值越大，表示修復后的圖像與原來未受損的圖像差別越小，修復的效果越好。本申請算法與對比算法的峰值信噪比如表1所示：

表1本專利算法與對比算法結果比較

通過表1可知，本發(fā)明算法性能較對比算法有所提高，這是由于利用圖片的區(qū)域特性來構建優(yōu)先權決定修復先后順序，優(yōu)化了匹配準則增加了穩(wěn)定性。進而很好的保持結構部分的連貫性且不易產(chǎn)生誤匹配現(xiàn)象。

本發(fā)明公開了一種基于待修復圖像邊緣區(qū)域特征構建的優(yōu)先權算法。該算法首先根據(jù)待修復區(qū)域邊界的區(qū)域特征構建結構差異矩陣，再根據(jù)結構差異矩陣構建待修復邊緣結構系數(shù)，最后根據(jù)構建的待修復邊緣結構系數(shù)確定優(yōu)先權，決定填充順序。所得優(yōu)先權穩(wěn)定可靠，且基于結構差異矩陣的優(yōu)先權計算能夠節(jié)省大量的運算時間，可推廣性強。

最后應說明的是：以上各實施例僅用以說明本發(fā)明的技術方案，而非對其限制；盡管參照前述各實施例對本發(fā)明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分或者全部技術特征進行等同替換；而這些修改或者替換，并不使相應技術方案的本質(zhì)脫離本發(fā)明各實施例技術方案的范圍。