專利名稱：一種基于筆畫的漢字圖像修復方法
技術(shù)領(lǐng)域：
本發(fā)明屬于虛擬現(xiàn)實技術(shù)和計算機視覺領(lǐng)域，特別是涉及圖像修復和漢字筆畫提取。
背景技術(shù)：
圖像修復技術(shù)是圖像恢復技術(shù)一個重要分支，應(yīng)用于古籍、古畫等文物保護和破損修復，是一種對受損圖像進行修改的技術(shù)。圖像修復技術(shù)的發(fā)展方向主要有兩個。一是從圖像修補的含義本身出發(fā)，即對圖像上細小的斑點、劃痕的修補，但不能修補大面積的紋理區(qū)域。該分向的大部分圖像修復模型都是基于偏微分方程或變分問題。基于變分問題的修復模型具有良好的理論基礎(chǔ)，但是修復圖像不自然，選定的目標區(qū)域輪廓明顯。而用基于偏微分方程的方法來修復圖片上大面積的空白區(qū)域時會產(chǎn)生嚴重的模糊現(xiàn)象。二是對于大 區(qū)域的修補，這類方法主要是基于樣本的圖像修復方法和紋理合成技術(shù)，有效的避免了模糊現(xiàn)象的發(fā)生。利用圖像的紋理信息來引導紋理合成的過程，有效地提高了圖像的修復質(zhì)量，保持了圖像結(jié)構(gòu)紋理。而這種方法的主要問題主要是在損壞區(qū)域的結(jié)構(gòu)信息恢復上。如Criminisi等人的基于樣例(example-based)的圖像修復方法,他們利用受損區(qū)域周圍信息的isophote方向和發(fā)線方向為待修復區(qū)域塊設(shè)置優(yōu)先值，優(yōu)先級大的部分將優(yōu)先被修復，優(yōu)先級小的像素將押后修復，這些優(yōu)先級記錄在一張表中。在修復中通過不斷的更新表中的各像素優(yōu)先級來引導修復的優(yōu)先次序，以達到保持圖像在該部分結(jié)構(gòu)連續(xù)的目的。但是這種方法只能保持線性(如直線)結(jié)構(gòu)，對于曲線結(jié)構(gòu)(如物體的輪廓)效果難以人滿意。為解決這一問題，Sun等人提出了一種基于結(jié)構(gòu)傳播(structure propagation)的圖像修復方法。在這種方法中，首先由用戶通過添加輔助線的方式指定圖像中損壞區(qū)域周圍結(jié)構(gòu)在損壞區(qū)域延伸的方式，即根據(jù)人的經(jīng)驗喜好等畫出損壞區(qū)域的結(jié)構(gòu)線(損壞物體的部分輪廓)，并且這些曲線經(jīng)過外圍的結(jié)構(gòu)。添加完輔助線以后將損壞區(qū)域周圍的結(jié)構(gòu)信息沿輔助線“傳播”到損壞區(qū)域內(nèi)，即結(jié)構(gòu)傳播。在結(jié)構(gòu)傳播完成后再利用紋理合成的方法修復剩余的區(qū)域。這種方法在一定程度上解決了紋理方法中結(jié)構(gòu)恢復的問題，缺點是需加入人工交互。為了使修復后對圖像更加自然、順暢。Hays等人采用建立圖像集的辦法，來尋找損害區(qū)域可能的信息。這種方法在修復圖像時，要從數(shù)以百萬的圖像中匹配到和損壞圖像可能相似的圖像，然后利用該圖像對應(yīng)部分來填補圖像損壞區(qū)域。這種方法有點是在找到匹配的圖像時，能夠有效恢復原圖像丟失部分(填補的信息與周圍信息兼容)。缺點是修復結(jié)構(gòu)依賴于圖像庫，且匹配相似圖像的過程十分的耗時間。對于漢字圖像(如書法，碑文等)來說，最要的便是其結(jié)構(gòu)特征(如輪廓信息等)。修復漢字的圖像主要的便是恢復損壞部分結(jié)構(gòu)信息，采用添加輔助線的方法需要過多的人工干預，且非專業(yè)人士難以正確的添加輔助線(恢復漢字的輪廓)。采用漢字集的辦法，難點在于很多書法和碑文只有少量的可用樣本(很多書法家留下的筆墨并不多)，無法建立有效的樣本，以至于在匹配時找不到合適的修復樣本，而導致修復錯誤或不符合漢字構(gòu)型相關(guān)知識。

發(fā)明內(nèi)容
本發(fā)明技術(shù)解決問題克服現(xiàn)有圖像技術(shù)無法有效恢復圖像損壞部分結(jié)構(gòu)信息的缺點，提供一種基于筆畫的漢字圖像修復方法，解決了圖像修復難以恢復損壞區(qū)域結(jié)構(gòu)信息的缺點，能夠有效對漢字圖像進行修復。本發(fā)明所采用的技術(shù)方案是一種基于筆畫的漢字圖像修復方法，其特征在于如下步驟步驟I、將圖像中未損壞漢字分解為漢字基本組成元素筆畫，并將原漢字中的部件和得到的筆畫的輪廓放在一起，建立一個用于修復的筆畫模板集合，集合中的筆畫稱為模板筆畫，部件稱為模板部件；步驟2、在修復損壞漢字時，獲得損壞漢字圖像中待修復區(qū)域周圍的筆畫輪廓段， 對這些輪廓段進行形狀描述，即建立用于表示輪廓點之間關(guān)系的點與點間連線夾角的矩陣，然后采用部分輪廓匹配方法在筆畫模板集合中找到輪廓段的在模板筆畫或部件上的對應(yīng)輪廓段，由這些對應(yīng)輪廓段確定可能的相似筆畫作為候選筆畫；步驟3、一個候選的相似筆畫包含多個對應(yīng)輪廓段，采用K-相鄰段，即KAS的方法描述由對應(yīng)輪廓表示的候選筆畫，然后與同樣由KAS表示的損壞筆畫，找出與損壞筆畫最相似的筆畫；步驟4、利用找到的最相似的筆畫或部件去恢復漢字對應(yīng)的損壞部分，并利用圖像修復的方法恢復相應(yīng)的圖像紋理部分。所述步驟I中筆畫提取的步驟如下(I. I)輸入漢字圖像，提取漢字的輪廓，利用均勻采用與關(guān)鍵采樣相結(jié)合的方法獲得輪廓的采樣點表示；(I. 2)以輪廓的采樣點為點集，進行受約束的Delaunay三角化，建立漢字的三角網(wǎng)格表示；(I. 3)根據(jù)三角網(wǎng)格中三角形中內(nèi)邊的數(shù)目將三角形分為三類末端三角形、正規(guī)三角形和連接三角形，合并相鄰的連接三角形，得到漢字交聯(lián)區(qū)域即模糊區(qū)域的多邊形表示；(I. 4)檢測完漢字的交聯(lián)區(qū)域后，漢字被分為兩部分筆畫段和交聯(lián)區(qū)域，以筆畫段和交聯(lián)區(qū)域為節(jié)點，以筆畫段和交聯(lián)區(qū)域連接關(guān)系為邊建立漢字的圖表示；(I. 5)提取筆畫段的特征，分析與同一個交聯(lián)區(qū)域相連的筆畫段的連續(xù)性，如果兩個筆畫段Vi和 ' 在交聯(lián)區(qū)域Vn連續(xù)，那么在圖中兩個筆畫段節(jié)點Vi和 ' 通過交聯(lián)區(qū)域連通Vn，即圖中存在由Vi經(jīng)過Vn到Vj的一條路徑；(I. 6)搜索圖中由一個端點到另一個端點的連通路徑，圖中的每一連通的路徑表示一個筆畫，利用B-樣條方法恢復筆畫連接部分，形成筆畫；(I. 7)將提取的筆畫和構(gòu)成原漢字的連通域部件的輪廓放在一起，組成一個用于修復的筆畫模板的集合，集合中的筆畫稱為模板筆畫，部件稱為模板部件。所述步驟2中部分輪廓匹配方法的實現(xiàn)步驟如下(2. I)獲得損壞漢字中損壞區(qū)域周圍的輪廓段，建立每個輪廓段進行形狀描述矩陣A。，其元素為％ =A(P1PpPiPB), Pi、Pj和是輪廓中的三點，a Jj是三點連線的夾角；(2.2)建立模板集合中各模板筆畫和部件輪廓的形狀描述矩陣Ai,其元素為 =<·{Ρ,Ρ: }Ρ \)，Pi、Pj和Ρ」-δ是輪廓中的三點，a ij是三點連線的夾角；(2. 3)采用積分圖的方法去計算矩陣Atl和Ai中相似的矩陣塊，每個矩陣塊代表相應(yīng)的輪廓段；(2. 4)調(diào)節(jié)輪廓段表示點的數(shù)目，改變匹配的尺度，繼續(xù)匹配，找到尺度范圍[I/a, a]內(nèi)的最佳匹配塊，即對應(yīng)輪廓段，其中a為常數(shù)，可取值a = 5。本發(fā)明與現(xiàn)有技術(shù)相比的有益效果在于本發(fā)明在圖像修復技術(shù)的基礎(chǔ)上，加入 對漢字結(jié)構(gòu)的分析，首先從筆畫的層次上通過尋找相似筆畫的方法去恢復漢字損壞部分的結(jié)構(gòu)信息。在恢復漢字結(jié)構(gòu)后，在采用結(jié)構(gòu)傳播的圖像修復方法，去恢復丟失部分的圖像信息。避免了圖像修復方法無法恢復恢復損壞部分結(jié)構(gòu)的缺點，能夠有效對漢字圖像進行修復。


圖I是本發(fā)明的整體過程示意圖；圖2是本發(fā)明的筆畫提取中漢字三角化表示和交聯(lián)區(qū)域圖；圖3是本發(fā)明的筆畫提取中的漢字圖模型表示示意圖；圖4是本明的漢字修復中損壞筆畫匹配示意圖；圖5是本發(fā)明的筆畫提取的部分結(jié)果圖；圖6是本發(fā)明的漢字修復結(jié)果示意圖，其中(a)是在筆畫模板集合中含有損壞筆畫時的修復結(jié)果；(b)是在筆畫模板集合中含有相似但不相同筆畫時的修復結(jié)果；(C)是在筆畫模板集合中只含有部分相似筆畫的修復結(jié)果。
具體實施例方式下面結(jié)合附圖與實施例對本發(fā)明作進一步詳細描述本發(fā)明實施過程包括四個主要步驟筆畫提取，部分輪廓破匹配，相似筆畫確定和漢字圖像修復。如圖I所示。步驟一、筆畫提取，主要分為兩個階段，七個基本步驟第一個階段基于三角網(wǎng)格的交聯(lián)區(qū)域檢測(I)首先從圖像中獲取漢字或其組件的輪廓點表示集合,記為C = (P1, p2，…，pn},η是輪廓點的數(shù)目。利用關(guān)鍵點采樣和均勻采樣獲得采樣點。(2)漢字的三角網(wǎng)格表示。以采樣點為頂點集，輪廓線為約束，進行受約束的Delaunay三角化(⑶Τ)，可得到漢字的三角網(wǎng)格表示。將三角網(wǎng)格中的三角形，可根據(jù)構(gòu)成三角形的內(nèi)邊(同時屬于兩個三角形的邊，IE)的數(shù)目將三角形劃分為三類末端三角形，位于筆畫的兩端；正規(guī)三角形，位于筆畫交聯(lián)區(qū)域與末端之間，圖2中為淺色三角形；連接三角形，位于筆畫的交聯(lián)區(qū)域內(nèi)，圖2中為黑色填充三角形。由圖2 (左圖)可以看出，連續(xù)的正規(guī)三角形位于末端三角形與連接三角形之間，可形成筆畫段。連接三角形位于可能位于交接區(qū)域。(3)交聯(lián)區(qū)域的多邊形表示。獲取對于每個候選連接三角形的中心點，對每個中心點求取在角度上點到輪廓的距離(PBOD)的分布曲線，曲線中波峰的個數(shù)為三角形的特征值，如果一個三角形的特征值小于3，那么該連接三角形是偽連接三角形，應(yīng)予以剔除。(若任意兩個連接三角形中心距離在一定范圍內(nèi)，那么所在的區(qū)域同屬一個筆畫交叉區(qū)域，需要進行合并，然后建立以這些頂點為頂點的凸多邊形，這個凸多邊形所包圍的區(qū)域便是筆畫的交接區(qū)域。如圖2 (右圖)所示。第二個階段基于圖路徑搜索的筆畫方法(4)圖模型表示。采用一個無向圖G=(V，E)來對漢字進行建模，如圖3，其中V和E分別是圖G中的節(jié)點和連接邊的集合，而漢字中的每個交接區(qū)域和子筆畫唯一地對應(yīng)V中的一個節(jié)點。(5)提取筆畫段特征。在筆畫提取的方法中有許多的特征被提取出來，用于表述筆畫段局部或全局的特征，并通過比較兩個筆畫段的特征來判定筆畫段的連接性，即如果兩筆畫段的特征之間滿足一定條件，則兩筆畫段在交接區(qū)域處連續(xù)，屬于同一筆畫。本發(fā)明采 用的特征包括(a)連接處的筆畫寬度具有連續(xù)性關(guān)系的筆畫段，在連接出的寬度也應(yīng)該具有連續(xù)性，即屬于同一筆畫的兩筆畫段在連接處的寬度近似。(b)筆畫段的角度偏差具有連續(xù)關(guān)系的筆畫段，在本身的角度上偏差很小，即筆畫段位于交接處的中軸線的角度偏差很小。(C)曲率變化具有連續(xù)性關(guān)系的筆畫段的輪廓線在交接處的曲率沒有明顯的突變。求取每個筆畫段的特征后，可形成一個特征向量X= [w, α, β]，w為筆畫段的寬度估值，α為筆畫段的角度估值，β為筆畫段的曲率估值。(6)連續(xù)性判斷和圖路徑搜索。對于任意非孤立筆畫段Ri,對應(yīng)圖G中節(jié)點Vi，與Vi相連的交聯(lián)節(jié)點為Vn，Rj是與Vn相連的另一筆畫段，對應(yīng)節(jié)點為Vi和 ' 對應(yīng)的特征向量分別為XdP X」。那么，vjp Vj的連續(xù)性估值為fU= (Xi-Xj) *WT，其中，W= {ω1； ω2, ω3}，為各項差值在連續(xù)性估值中的權(quán)重，取值與字體風格有關(guān)。如果，選擇使得值最小的Vi和Vj,且minimize (fi；J)小于一定的閾值Tf,那么，就認為Vi和Vj為連續(xù)性筆畫，即屬于同一筆畫，需要合并，記為C (Vi, vn, Vj)。如果兩個筆畫段Vi和 ' 在交聯(lián)區(qū)域Vn連續(xù)，那么在圖G中兩個筆畫段節(jié)點Vi和 ' 通過交聯(lián)區(qū)域連通vn，即圖G中存在由Vi經(jīng)過Vn到 ' 的一條路徑；遍歷所有交接區(qū)域頂點，計算所有與該交接區(qū)域連接的筆畫段的連續(xù)性關(guān)系。搜索圖G中由一個端點到另一個端點的連通路徑，圖G中的每一連通的路徑表示一個筆畫，利用B-樣條方法恢復筆畫連接部分，形成筆畫；圖5給出了一些筆畫提取的結(jié)果。(7)將提取的筆畫和構(gòu)成原漢字的連通域部件的輪廓放在一起，組成一個用于修復的筆畫模板的集合，集合中的筆畫稱為模板筆畫，部件稱為模板部件。步驟二、基于部分匹配的輪廓段對應(yīng)(I)輪廓描述。這種描述應(yīng)滿足既能一個輪廓的全部又能表示其中的任意一部分，匹配方法應(yīng)能使進行輪廓中任意部分間的匹配而不受其它部分的影響。給定一個損壞的筆畫輪廓或模型輪廓C，建立兩矩陣去表示和描述它的幾何形狀信息角度矩陣A去描述它。
角度矩陣定義為:A(JJ) = a“ 二PiPi x )，其中角a Jj是點Pi與點P」間的連線和點
1與依賴點Pj位置的第三個點Pj-Λ (Δ是個常數(shù)值)間連線的夾角。尋找對應(yīng)輪廓段的過程就是計算矩陣中相似塊的過程，采用積分圖像的方法去計算。(2)對應(yīng)輪廓匹配。給定一個圖像，提取筆畫后，得到一個筆畫模型的集合M =
,每個筆畫模型的輪廓表示為Mk = (P1, p2,…，pn},其中η表示采樣得到的輪廓點的個數(shù)，本發(fā)明中η為一個固定的數(shù)。同樣的給定一個損壞筆畫，能得到該筆畫剩余的輪廓段的集合E= Ie1, e2, ,每個筆畫段可表示ei = Iq1, q2,…qj，其中m表示等距采樣得到的輪廓點的數(shù)目，依賴于輪廓段的長度和采樣距離。根據(jù)前面描述方法，為ei建立兩個mXm的描述關(guān)系矩陣，為Mk建立兩個nXn的描述關(guān)系矩陣。本發(fā)明的目的是找到輪廓段ei與模型輪廓Mk間的最佳匹配段，即找到ei在Mk中的最佳對應(yīng)段Mk(j，I)，其中j對應(yīng)段的起點，I表示對應(yīng)段的長度(取決于61的采樣點數(shù))。采用文獻中的積分圖像算法(Integrallmage algorithm),計算描述矩陣中所有可能的子塊間的相似值,取其中使相似值最大的子塊所對應(yīng)的輪廓段作為ei的最佳匹配段，記為Γ (i，j，k，I) = (ei，Mk(j，i))，SP輪廓段ei在模型Mk中的最佳對應(yīng)段為Mk(j，I)。通過改變輪廓段ei采樣點的數(shù)，控制的匹配的尺度，本發(fā)明的尺度范圍設(shè)置為[1/a, a] ,a a為一常數(shù),取值為a = 5。步驟三、相似筆畫確定在得到輪廓段的對應(yīng)輪廓段后，選取擁有對應(yīng)輪廓段的數(shù)目等于損壞筆畫剩余輪廓段的數(shù)目的模板筆畫作為候選相似筆畫。利用KAS方法從候選筆畫中，找出最相似的模板筆畫。把待修復筆畫的剩余輪廓段和每個候選筆畫中的對應(yīng)段都看作KAS，表示為
Pi= {s^Sh.HSk}。P 被描述為
權(quán)利要求
1.一種基于筆畫的漢字圖像修復方法，其特征在于步驟如下 步驟I、將圖像中未損壞漢字分解為漢字基本組成元素筆畫，并將原漢字中的部件和得到的筆畫的輪廓放在一起，建立一個用于修復的筆畫模板集合，集合中的筆畫稱為模板筆畫，部件稱為模板部件； 步驟2、在修復損壞漢字時，獲得損壞漢字圖像中待修復區(qū)域周圍的筆畫輪廓段，對這些輪廓段進行形狀描述，即建立用于表示輪廓點之間關(guān)系的點與點間連線夾角的矩陣，然后采用部分輪廓匹配方法在筆畫模板集合中找到輪廓段的在模板筆畫或部件上的對應(yīng)輪廓段，由這些對應(yīng)輪廓段確定可能的相似筆畫作為候選筆畫； 步驟3、一個候選的相似筆畫包含多個對應(yīng)輪廓段，采用K-相鄰段，即KAS的方法描述由對應(yīng)輪廓表示的候選筆畫，然后與同樣由KAS表示的損壞筆畫，找出與損壞筆畫最相似的筆畫； 步驟4、利用找到的最相似的筆畫或部件去恢復漢字對應(yīng)的損壞部分，并利用圖像修復的方法恢復相應(yīng)的圖像紋理部分。
2.根據(jù)權(quán)利要求I所述的基于筆畫的漢字圖像修復方法，其特征在于所述步驟I中筆畫提取的步驟如下 (I. I)輸入漢字圖像，提取漢字的輪廓，利用均勻采用與關(guān)鍵采樣相結(jié)合的方法獲得輪廓的采樣點表示； (1. 2 )以輪廓的采樣點為點集，進行受約束的De I aunay三角化，建立漢字的三角網(wǎng)格表不; (I. 3)根據(jù)三角網(wǎng)格中三角形中內(nèi)邊的數(shù)目將三角形分為三類末端三角形、正規(guī)三角形和連接三角形，合并相鄰的連接三角形，得到漢字交聯(lián)區(qū)域即模糊區(qū)域的多邊形表示； (I. 4)檢測完漢字的交聯(lián)區(qū)域后，漢字被分為兩部分筆畫段和交聯(lián)區(qū)域，以筆畫段和交聯(lián)區(qū)域為節(jié)點，以筆畫段和交聯(lián)區(qū)域連接關(guān)系為邊建立漢字的圖表示； (I. 5)提取筆畫段的特征，分析與同一個交聯(lián)區(qū)域相連的筆畫段的連續(xù)性，如果兩個筆畫段Vi和Vj在交聯(lián)區(qū)域Vn連續(xù)，那么在圖中兩個筆畫段節(jié)點Vi和Vj通過交聯(lián)區(qū)域連通vn，即圖中存在由Vi經(jīng)過Vn到Vj的一條路徑； (I. 6)搜索圖中由一個端點到另一個端點的連通路徑，圖中的每一連通的路徑表示一個筆畫，利用B-樣條方法恢復筆畫連接部分，形成筆畫； (I. 7)將提取的筆畫和構(gòu)成原漢字的連通域部件的輪廓放在一起，組成一個用于修復的筆畫模板的集合，集合中的筆畫稱為模板筆畫，部件稱為模板部件。
3.根據(jù)權(quán)利要求I所述的基于筆畫的漢字圖像修復方法，其特征在于所述步驟2中部分輪廓匹配方法的實現(xiàn)步驟如下 (2. I)獲得損壞漢字中損壞區(qū)域周圍的輪廓段，建立每個輪廓段進行形狀描述矩陣K其兀素為％ = PP-Pi/} \) · Pi> Pj和Pj—Δ是輪廓中的二點，α ij是二點連線的夾角； (2.2)建立模板集合中各模板筆畫和部件輪廓的形狀描述矩陣Ai,其元素為a,jPi>Pj和是輪廓中的三點，a ij是三點連線的夾角； (2. 3)采用積分圖的方法去計算矩陣Atl和Ai中相似的矩陣塊，每個矩陣塊代表相應(yīng)的輪廓段；(2. 4)調(diào)節(jié)輪廓段表示點的數(shù)目，改變匹配的尺度，繼續(xù)匹配，找到尺度范圍[1/a，a] 內(nèi)的最佳匹配塊，即對應(yīng)輪廓段，其中a為常數(shù)，取值a = 5。
全文摘要
一種基于筆畫的漢字圖像修復方法，屬于計算機虛擬現(xiàn)實技術(shù)和機器視覺領(lǐng)域，將修復漢字所用到的信息限定在本圖像或與其同源的幾張圖像中。在修復漢字前先將圖像中為損壞的漢字分解為筆畫。然后建立一個包含漢字及其筆畫的模板集合。修復漢字時，提取損壞漢字的未損壞部分漢字或筆畫的輪廓，利用部分輪廓匹配的方法，在筆畫集合找到剩余輪廓的對應(yīng)輪廓段，進而由對應(yīng)輪廓段確定對應(yīng)的可能筆畫，然后從可能的相似筆畫中選出與原筆畫最可能相似的筆畫，最后根據(jù)對應(yīng)模板去恢復漢字損壞部分并修復相應(yīng)的圖像部分。本發(fā)明相比其它圖像修復的方法，本發(fā)明能夠較好的恢復漢字損壞部分的結(jié)構(gòu)信息。
文檔編號G06T7/00GK102968764SQ20121041706
公開日2013年3月13日 申請日期2012年10月26日 優(yōu)先權(quán)日2012年10月26日
發(fā)明者梁曉輝, 王曉卿, 孫林嘉 申請人:北京航空航天大學