一種視頻中的污染區(qū)域的內(nèi)容補繪方法
【專利說明】
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機視頻處理領(lǐng)域，特別是涉及一種視頻中的污染區(qū)域的內(nèi)容補繪方法。
【【背景技術(shù)】】
[0002]視頻中存在一些污染區(qū)域，例如臺標(biāo)所在的區(qū)域，拍攝視頻時某些物體誤入畫面后所在的區(qū)域，這些污染區(qū)域的存在既降低了視頻的觀賞舒適度，也增加了視頻之間交流的困難。因此，如何去除污染區(qū)域以及精確補繪污染區(qū)域是一個亟待解決的關(guān)鍵問題。目前有通過時間連續(xù)性以及空間連續(xù)性對污染區(qū)域進行補繪的方法，但修復(fù)時通常為簡單地取前后幀參考圖像中相應(yīng)像素點的均值來進行修復(fù)。該修復(fù)過程簡單高效，但精確度較低。
【
【發(fā)明內(nèi)容】
】
[0003]本發(fā)明所要解決的技術(shù)問題是:彌補上述現(xiàn)有技術(shù)的不足，提出一種視頻中的污染區(qū)域的內(nèi)容補繪方法，補繪精確度較高。
[0004]本發(fā)明的技術(shù)問題通過以下的技術(shù)方案予以解決:
[0005]—種視頻中的污染區(qū)域的內(nèi)容補繪方法，包括以下步驟:1)檢測視頻中的污染區(qū)域，并進行標(biāo)定；2)對視頻中的各幀圖像進行如下補繪操作:21)取與當(dāng)前幀圖像連續(xù)的前L幀圖像和后R幀圖像；其中，L和R均為大于等于0的整數(shù)，且L和R不同時為0，具體取值由用戶根據(jù)補繪精度要求進行設(shè)定；22)根據(jù)當(dāng)前幀圖像與前L幀圖像、后R幀圖像的時間連續(xù)性，采用最小化總變差的方法，對當(dāng)前幀圖像中的污染區(qū)域進行補繪；23)判斷當(dāng)前幀圖像的污染區(qū)域是否補繪完全，如果是，則進入步驟25);如果否，則進入步驟24) ;24)利用當(dāng)前幀圖像自身的空間連續(xù)性，采用最小化總變差的方法，對當(dāng)前幀圖像污染區(qū)域中剩余未補繪的區(qū)域進行補繪:25)結(jié)束當(dāng)前幀圖像的補繪。
[0006]本發(fā)明與現(xiàn)有技術(shù)對比的有益效果是:
[0007]本發(fā)明的視頻中的污染區(qū)域的內(nèi)容補繪方法，從時間連續(xù)性上，利用最小化總變差的方法對當(dāng)前幀圖像中的污染區(qū)域進行補繪。在采用時間連續(xù)性補繪后，如存在未補繪的區(qū)域，繼續(xù)由空間相關(guān)性，利用最小化總變差的方法對未補繪的區(qū)域進行補充補繪。由于前后L、R幀圖像是連續(xù)的，即前后兩幀變化是線性的，則除了污染區(qū)域外，前后兩幀的總變差(total variat1n)十分小，而在污染區(qū)域中，總變差較大。同樣地，當(dāng)前幀圖像內(nèi)部各像素點也是連續(xù)的，僅在污染區(qū)域不連續(xù)，總變差較大。因此，補繪過程中，通過最小化總變差的方法，如多次迭代補繪使得幀與幀、行與行以及列與列之間的總變差達到最小，則表示迭代后當(dāng)前幀圖像與前后幀圖像較為連續(xù)，當(dāng)前幀圖像內(nèi)部各像素點之間比較連續(xù)，則達到了去除噪聲的目的，污染區(qū)域補繪得較好。這樣，通過最小化總變差的方法，不斷迭代，可得到補繪比較完整的幀圖像，從而有效提高補繪過程的精確度。
【【附圖說明】】
[0008]圖1是本發(fā)明【具體實施方式】的視頻中的污染區(qū)域的內(nèi)容補繪方法的流程圖。
【【具體實施方式】】
[0009]下面結(jié)合【具體實施方式】并對照附圖對本發(fā)明做進一步詳細說明。
[0010]如圖1所示，為本【具體實施方式】中視頻中的污染區(qū)域的內(nèi)容補繪方法的流程圖。補繪方法處理的輸入的視頻圖像，其污染區(qū)域可見，視頻的數(shù)據(jù)格式不限。補繪方法包括以下步驟:
[0011]1):檢測視頻中的污染區(qū)域，并標(biāo)記污染區(qū)域。
[0012]檢測時，可通過人為觀察進行檢測，或者，根據(jù)相鄰兩幀的色彩變化進行識別檢測。標(biāo)定時，將污染區(qū)域內(nèi)的像素點的像素值標(biāo)記為1，未污染區(qū)域內(nèi)的像素點的像素值標(biāo)記為0。這樣，建立當(dāng)前幀關(guān)于污染區(qū)域所在位置信息的矩陣，后續(xù)進行補繪時，只需將修復(fù)后的結(jié)果中相應(yīng)于污染區(qū)域的信息賦值給原圖像中的污染區(qū)域即可。
[0013]2):對視頻中的各幀圖像進行如下補繪操作:
[0014]21)取與當(dāng)前幀圖像連續(xù)的前L幀圖像和后R幀圖像；其中，L和R均為大于等于0的整數(shù)，且L和R不同時為0，具體取值由用戶根據(jù)補繪精度要求進行設(shè)定。
[0015]優(yōu)選地，取前L幀圖像、后R幀圖像時，直至遇到切換鏡頭幀時或者L、R的值增至閾值時停止。這樣，既能確保提取的參考幀圖像的數(shù)量較多，又不至于覆蓋到切換鏡頭幀影響了后續(xù)補繪精度。
[0016]22)根據(jù)當(dāng)前幀圖像與前L幀圖像、后R幀圖像的時間連續(xù)性，采用最小化總變差的方法，對當(dāng)前幀圖像中的污染區(qū)域進行補繪。
[0017]該步驟中，具體包括:22a)，根據(jù)所述前L幀、后R幀圖像以及當(dāng)前幀圖像，構(gòu)造矩陣K ;其中，矩陣K包括m行、η列數(shù)據(jù)，m的值為一幀圖像中包含的像素點的個數(shù)，η為L+R+1，矩陣中同一列的各元素的值分別對應(yīng)一幀圖像中各像素點的像素值；
[0018]22b)根據(jù)最小化總變差的方法，將矩陣K分解為矩陣T和稀疏矩陣N，矩陣T中的一列元素對應(yīng)補繪后的當(dāng)前幀圖像，矩陣N中有數(shù)值的元素對應(yīng)污染區(qū)域內(nèi)的像素點的像素值；
[0019]22c)使用矩陣T中相應(yīng)元素的值作為當(dāng)前幀圖像的污染區(qū)域內(nèi)的像素點的像素值進行補繪。
[0020]上述步驟中，將前L幀圖像、當(dāng)前幀凸圖像以及后R幀圖像全局化為一個矩陣，其中每一幀圖像對應(yīng)矩陣中一列元素，設(shè)矩陣為Km'm為一幀圖像的大小，也即所包含的像素點的個數(shù)，n = L+R+1，為所有幀圖像的幀數(shù)目，各元素的值為相應(yīng)像素點的像素值，在0?255的范圍內(nèi)。由于前后L+R幀是連續(xù)的，即前后幀圖像之間的變化是線性的，則除了污染區(qū)域外，前后兩幀的總變差(total variat1n)十分小，而在污染區(qū)域中，總變差較大，因此補繪時，可將補繪過程建模成為一個最小化總變差的過程。將矩陣K分解為矩陣T和稀疏矩陣N，求解得到的矩陣T中含有補繪后的當(dāng)前幀圖像的像素點信息，得到的矩陣N中有數(shù)值的元素對應(yīng)當(dāng)前幀圖像中污染區(qū)域的像素點信息，元素的值也在0?255的范圍內(nèi)。因此，后續(xù)可直接使用矩陣T中的信息補繪當(dāng)前幀圖像中污染區(qū)域的像素點信息。
[0021]上述最小化總變差迭代的過程可轉(zhuǎn)化為迭代求解如下方程:
[0022]min |T| tvst.K = T+1 |N| | 丄，
[0023]迭代終止條件為Κ-Τ-1I N II i小于閾值或者迭代次數(shù)達到上限值；其中，tv表示矩陣τ沿行方向的總變差。II N I1:表示矩陣N的第一范式。求解如上方程的方法較多，例如增廣拉格朗日方法，在此不一一列舉。
[0024]例如，各幀圖像中包含的像素點個數(shù)為64個，提取了L = 3，R = 3幀圖像，則如前所述構(gòu)造的矩陣K包括64行，7列元素，每一列元素對應(yīng)一幀圖像中各像素點的像素值。假設(shè)構(gòu)造時按照順序的方式依次排列，第一列元素對應(yīng)提取的前第一幀圖像L1，第二列元素對應(yīng)提取的前第二幀圖像L2，第三列元素對應(yīng)提取的前第三幀圖像L3，第四列元素對應(yīng)當(dāng)前幀圖像Z，第五、六和七列元素分別對應(yīng)提取的后第一幀圖像R1，后第二幀圖像R2以及后第三幀圖像R3。經(jīng)過最小化總變差迭代求解后，得到的矩陣T和稀疏矩陣N也包括64行，7列元素。矩陣T沿行方向的總變差，也即幀圖像L1與幀圖像L2的變差，幀圖像L2與幀圖像L3的變差，幀圖像L3與幀圖像Z的變差，幀圖像Z與幀圖像R1的變差，幀圖像R1與幀圖像R2的變差、幀圖像R2與幀圖像R3的變差，各變差的總和。某一方向的變差為該方向上相鄰兩像素的像素值相減。補繪的目標(biāo)即是使得該總變差最小。由于補繪的方法是一個全局優(yōu)化的方法，總變差最小化是作用在提取的L+R+1幀圖像，用來保證各幀圖像的連續(xù)性。當(dāng)補繪迭代充分后，得到的矩陣T相比于原圖像幀，減少了與前后幀圖像的像素點之間的突兀性，各幀圖像的像素點之間更加連續(xù)，從而達到了去除噪聲的目的。也因此矩陣T中第四列元素即對應(yīng)補繪后的當(dāng)前幀圖像，其余六列元素分別對應(yīng)各幀圖像L1、L2、L3以及R1、R2、R3補繪后的情形。稀疏矩陣N中第四列元素中部分元素(有數(shù)值的元素)的值對應(yīng)當(dāng)前幀圖像中污染區(qū)域的像素點的像素值，第四列元素中其余元素以及其余六列元素的值均為0。迭代求解得到矩陣T后，參考前述步驟1)中標(biāo)記的污染區(qū)域，使用矩陣T中第四列元素中相應(yīng)于污染區(qū)域位置的元素的值替代當(dāng)前幀圖像Z中污染區(qū)域內(nèi)的像素點的像素值即可。例如，對于前述標(biāo)定矩陣中1所在的位置，將矩陣T對應(yīng)元素覆蓋原圖像幀中相應(yīng)像素點；若為0，則直接跳過，從而進行當(dāng)前幀圖像污染區(qū)域的補繪。
[0025]23)判斷當(dāng)前幀圖像的污染區(qū)域是否補繪完全，如果是，則進入步驟25)。如果否，則進入步驟24)。
[0026]24)利用當(dāng)前幀圖像自身的空間連續(xù)性，采用最小化總變差的方法，對當(dāng)前幀圖像污染區(qū)域中剩余未補繪的區(qū)域進行補繪。
[0027]25)結(jié)束當(dāng)前幀圖像的補繪。
[0028]如前述通過時間連續(xù)性已經(jīng)補繪完整，則可直接結(jié)束當(dāng)前幀圖像的補繪，進入下一幀的補繪。如還未補繪完整，則通過當(dāng)前幀自身的空間信息的連續(xù)性，采用最小化總變差的方法對剩余污染區(qū)域進行補繪。
[0029]具體包括:24a)根據(jù)當(dāng)前幀圖像，構(gòu)造矩陣Μ ;其中，矩陣Μ包括r行