本發(fā)明屬于多媒體信息
技術(shù)領(lǐng)域：
，尤其涉及一種視頻中污損區(qū)域的填充方法。
背景技術(shù)：
：常見的視頻污損一般是由信息插入造成的，較為常見的是在視頻中插入版權(quán)方的信息。圖1所示為從視頻中截取的一幀，從圖中可以看出，在該視頻中包含3處插入信息，即三處污損，分別為：左上角為“CCTV6”(中央電視臺(tái)第6套電影頻道的臺(tái)標(biāo))、右上角為“CNTV高清”(中國網(wǎng)絡(luò)電視臺(tái)高清頻道的臺(tái)標(biāo))以及右下角為“電影頻道”的M形臺(tái)標(biāo)。目前，解決視頻污損的方法有很多，如，對臺(tái)標(biāo)區(qū)域進(jìn)行模糊或馬賽克填充，該方法雖然使用戶無法看清原來的臺(tái)標(biāo)，但是大大降低了視頻的觀賞價(jià)值。又如，采用圖片紋理合成的方法逐幀進(jìn)行修復(fù)，在該方法中首先對待填充區(qū)域附近的圖片進(jìn)行采樣，獲取待填充區(qū)域附近的紋理信息，然后計(jì)算合成待填充區(qū)域的紋理圖片，但是其只能在待填充區(qū)域產(chǎn)生表示紋理的像素，無法保持延伸物體邊緣結(jié)構(gòu)；且該方法未考慮視頻幀與幀之間的相關(guān)性，修復(fù)后的視頻在被填充區(qū)域有明顯的閃爍，給觀眾帶來不適。再有，利用視頻幀之間的相關(guān)性對圖片進(jìn)行全局或局部的像素塊運(yùn)動(dòng)估計(jì)，然后用前若干幀或后若干幀的像素塊來填充當(dāng)前幀的待填充區(qū)域。但是，一般來說，視頻中某一固定場景可能持續(xù)若干秒時(shí)間，假若某一固定場景結(jié)束后又進(jìn)入下一個(gè)固定場景，則使用該方法難以得到滿意的修復(fù)結(jié)果，可見，該運(yùn)動(dòng)估計(jì)補(bǔ)償方法在很多情況下并不適用。技術(shù)實(shí)現(xiàn)要素：針對上述問題，本發(fā)明旨在提供一種視頻中污損區(qū)域的填充方法，有效解決了現(xiàn)有填充方法填充完成后污損區(qū)域出現(xiàn)的閃爍現(xiàn)象。本發(fā)明提供的技術(shù)方案如下：一種視頻中污損區(qū)域的填充方法，包括：S1計(jì)算得到視頻一圖片幀中未知區(qū)域和已知區(qū)域之間所有邊界點(diǎn)的填充優(yōu)先級；S2以填充優(yōu)先級最高的點(diǎn)為中心得到第一視頻塊，并在視頻已知區(qū)域中找到與所述第一視頻塊相似度最高的第二視頻塊；S3基于第二視頻塊對第一視頻塊進(jìn)行填充；S4更新視頻圖片幀中所有未知區(qū)域和已知區(qū)域的邊界點(diǎn)；S5重復(fù)步驟S1～S4直到視頻中所有圖片幀中的未知區(qū)域填充完畢。在本技術(shù)方案中，我們知道視頻是由圖片幀組成的，上述未知區(qū)域即為圖片幀中的污損區(qū)域，也稱待填充區(qū)域。從以上技術(shù)方案可以看出，在填充過程中充分考慮了視頻中幀與幀之間的相似性和連貫性，有效解決了現(xiàn)有填充方法填充完成后污損區(qū)域出現(xiàn)的閃爍現(xiàn)象。進(jìn)一步優(yōu)選地，在步驟S1中具體包括：S11初始化視頻中任意一點(diǎn)p的自信度C(p)；S12計(jì)算視頻中已知區(qū)域和未知區(qū)域所有邊界點(diǎn)的自信度C(p)；S13計(jì)算視頻中已知區(qū)域和未知區(qū)域所有邊界點(diǎn)的邊界輻照強(qiáng)度D(p)；S14基于步驟S12中邊界點(diǎn)的自信度C(p)和步驟S13中邊界點(diǎn)的邊界輻照強(qiáng)度D(p)計(jì)算得到邊界點(diǎn)的填充優(yōu)先級P(p)。進(jìn)一步優(yōu)選地，所述填充方法中包括：在步驟S11中具體包括：若p點(diǎn)屬于視頻中已知區(qū)域，則C(p)＝1；若p點(diǎn)屬于視頻中未知區(qū)域，則C(p)＝0；在步驟S12中具體包括：使用公式(1)計(jì)算視頻中已知區(qū)域和未知區(qū)域所有邊界點(diǎn)的自信度C(p)：C(p)=Σq∈Γp∩(V-Ωv)C(q)|Γp|---(1)]]>其中，|Γp|表示視頻塊Γp的體積，Γp表示以點(diǎn)p為中心的視頻塊，(V-Ωv)表示視頻中所有圖片幀中已知區(qū)域，V表示視頻，Ωv表示視頻中所有圖片幀中未知區(qū)域，q表示以點(diǎn)p為中心的視頻塊中已知像素的點(diǎn)。進(jìn)一步優(yōu)選地，在步驟S13中具體包括：S131使用公式(2)計(jì)算視頻中已知區(qū)域和未知區(qū)域邊界點(diǎn)中任意一點(diǎn)p的等輻照矢量▿Ip⊥=(-∂Sf∂y,∂Sf∂x)/K---(2)]]>其中，Sf表示視頻中第f幀圖片，且點(diǎn)p位于該第f幀圖片中；K表示視頻編碼的灰度值；S132使用公式(3)計(jì)算視頻中已知區(qū)域和未知區(qū)域邊界點(diǎn)中任意一點(diǎn)p的邊界法向量np并對其進(jìn)行歸一化為單位向量得到n'p：np=(∂Mf∂x,∂Mf∂y)---(3)]]>其中，Mf為一與圖片幀Sf大小相同的二維二值矩陣，且在該二維二值矩陣中已知區(qū)域用0表示，未知區(qū)域用1表示；S133使用公式(4)計(jì)算邊界輻照強(qiáng)度D(p)：D(p)=Innerproduct(▿Ip⊥,np′)---(4)]]>其中，Innerproduct表示等輻照矢量和邊界法向單位向量n'p的內(nèi)積。進(jìn)一步優(yōu)選地，在步驟S14中具體包括：P(p)＝C(p)·D(p)。進(jìn)一步優(yōu)選地，在步驟S2中具體包括：S21得到步驟S1中填充優(yōu)先級最高的點(diǎn)p，并以點(diǎn)p為中心得到第一視頻塊Γp；S22使用λp標(biāo)記第一視頻塊Γp中位于已知區(qū)域內(nèi)的已知像素點(diǎn)；S23在視頻的已知區(qū)域內(nèi)使用公式(5)找到與第一視頻塊Γp中已知像素點(diǎn)λp歐氏距離最小的第二視頻塊Bb；similar=Σ(Γp-Bb)2λp---(5).]]>進(jìn)一步優(yōu)選地，在步驟S3中具體包括：使用第二視頻塊Bb中對應(yīng)第一視頻塊Γp中未知區(qū)域的像素值對第一視頻塊Γp中未知區(qū)域進(jìn)行填充。本發(fā)明提供的視頻中污損區(qū)域的填充方法，其有益效果在于：在本發(fā)明提供的填充方法中，綜合使用了圖片修復(fù)技術(shù)，充分考慮了視頻中幀與幀(組成視頻的各圖片幀)之間的相似性和連貫性；由于幀與幀之間具有微小的差別，在相鄰幀中所填充的內(nèi)容也滿足相似性和連貫性，同時(shí)保留了幀與幀之間的微小差別，以此保證了填充后視頻在播放時(shí)用戶不會(huì)觀察到填充區(qū)域(即上述未知區(qū)域)的邊界，也消除了填充區(qū)域在填充后出現(xiàn)的閃爍現(xiàn)象。再有，使用本發(fā)明提供的填充方法填充出來的每一幀圖像的污損區(qū)域(未知區(qū)域)內(nèi)容自然，不易被人眼察覺，適于觀賞，大大提高了視頻的修復(fù)效果。附圖說明圖1為有污損區(qū)域的視頻中某一圖片幀的示意圖；圖2為本發(fā)明中視頻中待填充區(qū)域形成柱形空洞示意圖；圖3為本發(fā)明中視頻中污損區(qū)域的填充方法的流程示意圖。具體實(shí)施方式下面結(jié)合附圖和具體實(shí)施方式，對本發(fā)明作進(jìn)一步詳細(xì)說明。需要說明的是，下面描述的本發(fā)明的特定細(xì)節(jié)僅為說明本發(fā)明用，并不構(gòu)成對本發(fā)明的限制。根據(jù)所描述的本發(fā)明的教導(dǎo)做出的任何修改和變型也在本發(fā)明的范圍內(nèi)。我們知道，視頻是由圖像幀組成的，在本發(fā)明中，我們假定每一圖片幀中的污損區(qū)域(未知區(qū)域)在視頻幀中的相對位置是固定的(如，視頻中的臺(tái)標(biāo)位置都是固定的)，假定每個(gè)圖片幀中的污損區(qū)域都為圓形，則在視頻中所有圖片幀中的污損區(qū)域就形成了一個(gè)待填充的柱狀空洞，如圖2所示，其中白色圓形區(qū)域即為污損的待填充區(qū)域，視頻填充即通過計(jì)算得到該待填充區(qū)域的像素值進(jìn)行填充，使得填充后的視頻看起來自然流暢。在一視頻中，記視頻的第f幀圖片為Sf，該圖片幀中的已知區(qū)域記為Φf，未知區(qū)域記為Ωf，未知區(qū)域的邊界記為δΩf。若該視頻中共有N幀，則視頻記為V＝{Sf,f＝1,...,N}，該視頻中所有已知區(qū)域記為Φv＝{Φf,f＝1,...,N}，視頻中所有未知區(qū)域記為Ωv＝{Ωf,f＝1,...,N}，視頻中所有未知區(qū)域邊界記為δΩv＝{δΩf,f＝1,...,N}。另外，假若點(diǎn)p為第f幀圖片的一個(gè)像素點(diǎn)，該像素點(diǎn)的坐標(biāo)為(x,y,f)。在該圖片幀中以點(diǎn)p為中心的一個(gè)正方形領(lǐng)域內(nèi)的圖像塊記為Ψp，以點(diǎn)p為中心的一個(gè)正方體領(lǐng)域內(nèi)的視頻塊記為Γp＝{Ψ(x,y,f-Δf),...,Ψ(x,y,f),...,Ψ(x,y,f+Δf)}。n'p為點(diǎn)p的邊界法向單位向量，長度為1，具體，若點(diǎn)p不在未知區(qū)域的邊界記為δΩf上，則n'p＝0?；诖?，以下我們對本發(fā)明提供的視頻中污損區(qū)域的填充方法做出詳細(xì)描述：如圖3所示為本發(fā)明提供的視頻中污損區(qū)域的填充方法的流程示意圖，從圖中可以看出，在該填充方法中包括：S1計(jì)算得到視頻一圖片幀中未知區(qū)域和已知區(qū)域之間所有邊界點(diǎn)的填充優(yōu)先級；S2以填充優(yōu)先級最高的點(diǎn)為中心得到第一視頻塊，并在視頻已知區(qū)域中找到與第一視頻塊相似度最高的第二視頻塊；S3基于第二視頻塊對第一視頻塊進(jìn)行填充；S4更新視頻中未知區(qū)域和已知區(qū)域的所有邊界點(diǎn)；S5重復(fù)步驟S1～S4直到視頻中所有圖片幀中的未知區(qū)域填充完畢。具體來說，在步驟S1中具體包括：S11初始化視頻中任意一點(diǎn)p(p∈V)的自信度C(p)。具體，若p點(diǎn)屬于視頻中已知區(qū)域，即p∈V-Ωv，則C(p)＝1；若p點(diǎn)屬于視頻中未知區(qū)域，即p∈Ωv，則C(p)＝0。S12計(jì)算視頻中已知區(qū)域和未知區(qū)域所有邊界點(diǎn)(p∈δΩv)的自信度C(p)。該計(jì)算過程具體包括：使用公式(1)計(jì)算圖片幀中已知區(qū)域和未知區(qū)域所有邊界點(diǎn)的自信度C(p)：C(p)=Σq∈Γp∩(V-Ωv)C(q)|Γp|---(1)]]>其中，|Γp|表示視頻塊Γp的體積(具體為該視頻塊Γp中包含的像素點(diǎn)的個(gè)數(shù))，Γp表示以點(diǎn)p為中心的視頻塊，(V-Ωv)表示視頻中所有圖片幀中已知區(qū)域，V表示視頻，Ωv表示視頻中所有圖片幀中未知區(qū)域，q表示以點(diǎn)p為中心的視頻塊中已知像素的點(diǎn)。由公式(1)可知，點(diǎn)p的自信度等于以該點(diǎn)為中心的一個(gè)小鄰域的視頻塊Γp內(nèi)所有已知像素點(diǎn)的自信度的和除以該視頻塊的體積|Γp|。S13計(jì)算視頻中已知區(qū)域和未知區(qū)域所有邊界點(diǎn)的邊界輻照強(qiáng)度D(p)。具體來說，該計(jì)算過程中包括：S131使用公式(2)計(jì)算視頻已知區(qū)域和未知區(qū)域邊界點(diǎn)中任意一點(diǎn)p(p∈δΩv)的等輻照矢量▿Ip⊥=(-∂Sf∂y,∂Sf∂x)/K---(2)]]>其中，Sf表示視頻中第f幀圖片，且點(diǎn)p位于該第f幀圖片中；K表示視頻編碼的灰度值。具體在該步驟中，取p點(diǎn)所在的圖片幀Sf，分別求圖片幀Sf在x和y方向上的偏導(dǎo)和在一個(gè)具體實(shí)施例，若該視頻采用8bit編碼時(shí)，則K取值255，以此類推。另外，這里我們對K的取值不做限定，只要K≥1即可。S132使用公式(3)計(jì)算視頻已知區(qū)域和未知區(qū)域邊界點(diǎn)中任意一點(diǎn)p(p∈δΩv)的邊界法向量np并對其進(jìn)行歸一化為單位向量得到n'p：np=(∂Mf∂x,∂Mf∂y)---(3)]]>其中，Mf為一與圖片幀Sf大小相同的二維二值矩陣，且在該二維二值矩陣中已知區(qū)域用0表示，未知區(qū)域用1表示。具體在該步驟中，取p點(diǎn)所在的圖片幀Sf，并初始化一與圖片幀Sf大小相同的二維二值矩陣Mf，若p∈Ωf則Mf(p)＝1，否則Mf(p)＝0。之后分別求二維二值矩陣Mf在x和y方向上的偏導(dǎo)得到邊界法向量隨后將其進(jìn)行歸一化得到單位向量n'p。S133使用公式(4)計(jì)算邊界輻照強(qiáng)度D(p)：D(p)=Innerproduct(▿Ip⊥,np′)---(4)]]>其中，Innerproduct表示等輻照矢量和邊界法向單位向量n'p的內(nèi)積。S14基于步驟S12中邊界點(diǎn)的自信度C(p)和步驟S13中邊界點(diǎn)的邊界輻照強(qiáng)度D(p)計(jì)算得到邊界點(diǎn)的填充優(yōu)先級P(p)，具體該填充優(yōu)先級P(p)＝C(p)·D(p)。在步驟S2中具體包括：S21得到步驟S1中填充優(yōu)先級最高的點(diǎn)p，并以點(diǎn)p為中心得到正方體領(lǐng)域內(nèi)的第一視頻塊Γp；S22使用λp標(biāo)記第一視頻塊Γp中位于已知區(qū)域內(nèi)的已知像素點(diǎn)；S23在視頻的已知區(qū)域(V-Ωv)內(nèi)使用公式(5)找到與第一視頻塊Γp中已知像素點(diǎn)λp歐氏距離最小的第二視頻塊Bb；similar=Σ(Γp-Bb)2λp---(5).]]>其中，b表示第二視頻塊Bb的中心點(diǎn)。在步驟S3中具體包括：使用第二視頻塊Bb中對應(yīng)第一視頻塊Γp中未知區(qū)域的像素值對第一視頻塊Γp中未知區(qū)域進(jìn)行填充。之后，在步驟S4中，參照步驟S11的方法更新在步驟S3填充之后的視頻中各像素點(diǎn)的自信度，與此同時(shí)更新視頻中所有的邊界點(diǎn)的集合，并以此重復(fù)步驟S1～S4直到視頻幀中所有的區(qū)域都填充完畢。以上通過分別描述每個(gè)過程的實(shí)施場景案例，詳細(xì)描述了本發(fā)明，本領(lǐng)域的技術(shù)人員應(yīng)能理解。當(dāng)前第1頁1 2 3