一種稀疏和低秩聯(lián)合表達(dá)的視頻前景對(duì)象精準(zhǔn)提取方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理技術(shù)，尤其涉及一種稀疏和低秩聯(lián)合表達(dá)的視頻前景對(duì)象精 準(zhǔn)提取方法。
【背景技術(shù)】
[0002] 視頻前景對(duì)象精準(zhǔn)提取旨在視頻中提取出移動(dòng)的前景物體，并且能夠保證良好的 時(shí)域一致性。視頻前景對(duì)象精準(zhǔn)提取作為計(jì)算機(jī)視覺(jué)領(lǐng)域的重要技術(shù)問(wèn)題，在毛發(fā)建模、去 霧等方面具有廣泛的應(yīng)用，近幾年有不少提取方法也相繼被提出，以實(shí)現(xiàn)在復(fù)雜的視頻圖 像中提取尚質(zhì)量的如景對(duì)象。
[0003] 隨著稀疏表達(dá)已經(jīng)被廣泛地應(yīng)用于人臉識(shí)別、圖像分類、圖像修復(fù)和視頻去噪等 領(lǐng)域，Jubin等人提出了基于稀疏表達(dá)的圖像前景物體精準(zhǔn)提取的方法，該方法用整個(gè)視頻 的前景像素點(diǎn)重構(gòu)原圖像，根據(jù)稀疏表達(dá)系數(shù)矩陣中每個(gè)像素點(diǎn)相應(yīng)系數(shù)的和來(lái)估計(jì)像素 點(diǎn)的不透明度a(alpha)值。該方法能夠自動(dòng)選取合適的樣本點(diǎn)來(lái)重構(gòu)原圖像，但是其不 能保證具有相似特征的像素點(diǎn)的α值相近，從而不能保證視頻掩像（alphamatte)的時(shí)域 一致性，且只采用前景像素點(diǎn)作為字典，表達(dá)能力差，從而導(dǎo)致采用該方法提取的前景對(duì)象 質(zhì)量不高。
[0004] X.Chen和Q.Chen等人提出了引入非局部先驗(yàn)的方法來(lái)獲取視頻掩像，通過(guò)構(gòu)建 視頻掩像的非局部結(jié)構(gòu)來(lái)提高提取質(zhì)量。該方法在實(shí)現(xiàn)時(shí)，對(duì)每個(gè)像素點(diǎn)都直接選取固定 數(shù)量的樣本點(diǎn)來(lái)重構(gòu)該像素點(diǎn)，但是樣本點(diǎn)選取少了會(huì)導(dǎo)致遺漏掉好的樣本點(diǎn)，樣本點(diǎn)選 取多了會(huì)導(dǎo)致噪聲，并且很難為具備相似特征的像素點(diǎn)構(gòu)建一致的非局部結(jié)構(gòu)，這樣可能 會(huì)導(dǎo)致視頻掩像時(shí)域上的不一致，從而采用該方法提取的背景對(duì)象質(zhì)量不高。
[0005] 上述兩種方法，在進(jìn)行視頻前景對(duì)象提取時(shí)，都具有諸多缺點(diǎn)而導(dǎo)致提取的背景 對(duì)象質(zhì)量不高，因此，有必要提出一種新的方案來(lái)提高提取的前景對(duì)象的質(zhì)量。

【發(fā)明內(nèi)容】

[0006] 針對(duì)現(xiàn)有技術(shù)的上述缺陷，本發(fā)明提供一種稀疏和低秩聯(lián)合表達(dá)的視頻前景對(duì)象 精準(zhǔn)提取方法，用于提高提取的前景對(duì)象的質(zhì)量。
[0007] 本發(fā)明提供一種稀疏和低秩聯(lián)合表達(dá)的視頻前景對(duì)象精準(zhǔn)提取方法，包括：
[0008] 確定輸入視頻中的已知像素點(diǎn)和未知像素點(diǎn)，設(shè)置已知像素點(diǎn)的不透明度α值， 并選取輸入視頻中能夠代表視頻特征的幀作為關(guān)鍵幀，其中已知像素點(diǎn)包括前景像素點(diǎn)和 背景像素點(diǎn)；根據(jù)關(guān)鍵幀中的已知像素點(diǎn)訓(xùn)練出字典，并設(shè)置字典中樣本點(diǎn)的α值，字典 包括前景字典和背景字典；根據(jù)字典獲取輸入視頻關(guān)于字典的重構(gòu)系數(shù)，并根據(jù)重構(gòu)系數(shù) 建立輸入視頻中每個(gè)像素之間的非局部關(guān)系矩陣，其中，重構(gòu)系數(shù)滿足低秩、稀疏和非負(fù)； 建立多幀之間的拉普拉斯矩陣；根據(jù)輸入視頻的已知像素點(diǎn)的α值和字典中樣本點(diǎn)的α 值、非局部關(guān)系矩陣和拉普拉斯矩陣，獲取輸入視頻的視頻掩像；根據(jù)視頻掩像提取出輸入 視頻的前景對(duì)象。
[0009] 在本發(fā)明的一實(shí)施例中，確定輸入視頻中的已知像素點(diǎn)和未知像素點(diǎn)，具體包 括：
[0010] 采用畫(huà)筆式交互標(biāo)記確定輸入視頻中的已知像素點(diǎn)和未知像素點(diǎn)，或者，根據(jù)輸 入視頻的三分圖確定輸入視頻中的已知像素點(diǎn)和未知像素點(diǎn)。
[0011] 在本發(fā)明的一實(shí)施例中，設(shè)置已知像素點(diǎn)的不透明度α值，具體包括：
[0012] 將已知的前景像素點(diǎn)的α值設(shè)置為1，將已知的背景像素點(diǎn)的α值設(shè)置為0。
[0013] 在本發(fā)明的一實(shí)施例中，根據(jù)關(guān)鍵幀中的已知像素訓(xùn)練出字典，具體包括：
[0014] 根據(jù)最小化以下能量方程（1)訓(xùn)練出字典：
[0016] 其中，表示關(guān)鍵幀中的已知像素點(diǎn)，\和免6分別表示關(guān)鍵幀中已知 的前景像素點(diǎn)和背景像素點(diǎn)；D= {Df，Db}表示訓(xùn)練出的字典，Df和Db分別表示前景字典 和背景字典；Z= {Zf，Zb}表示已知像素點(diǎn)關(guān)于字典D的重構(gòu)系數(shù)，Z, =]Z;,Z;: 表示前景 點(diǎn)關(guān)于字典D的重構(gòu)系數(shù)，表示背景點(diǎn)愛(ài)6關(guān)于字典D的構(gòu)造矩陣的系數(shù)， {Zj/·, / = /4}表示已知點(diǎn)象關(guān)于子字典D,的重構(gòu)系數(shù)。
[0017] 在本發(fā)明的一實(shí)施例中，根據(jù)字典獲取輸入視頻關(guān)于字典的重構(gòu)系數(shù)，具體包 括：
[0018] 根據(jù)最小化以下能量方程（2)獲取輸入視頻關(guān)于字典的重構(gòu)系數(shù)：
[0019]
[0020] 其中，X=仏，…，Χη}，η表示輸入視頻共η幀，Xi表示第i幀的RGBXY特 征，11 ·IL表示核范數(shù)，為矩陣奇異值的和，11 · 11。表示零范數(shù)，為非零元素的個(gè)數(shù)，
m表示每一幀中共m個(gè)像素點(diǎn)，t表示字典D ，' 共有t個(gè)樣本點(diǎn)，（Wl)"表示第i幀中第p個(gè)像素點(diǎn)對(duì)字典中第q個(gè)樣本點(diǎn)的重構(gòu)系數(shù)。
[0021] 在本發(fā)明的一實(shí)施例中，根據(jù)重構(gòu)系數(shù)建立輸入視頻中每個(gè)像素之間的非局部關(guān) 系矩陣，具體包括：
[0022] 根據(jù)公式（3)建立非局部關(guān)系矩陣：
[0024] 其中α^表示第i幀中第j個(gè)像素點(diǎn)的α值，m表示每一幀中像素點(diǎn)的數(shù)量，aD ={af，ab}表示字典D中所有樣本點(diǎn)的α值，af= 1表示前景字典中的樣本點(diǎn)的α值，ab= 0表示背景字典中的樣本點(diǎn)的α值，[(>1」，...，(>丄」]表示第i幀中第j個(gè) 像素點(diǎn)對(duì)字典D的重構(gòu)系數(shù)。
[0025] 在本發(fā)明的一實(shí)施例中，建立多幀之間的拉普拉斯矩陣，具體包括：
[0026] 根據(jù)公式（4)建立多幀之間的拉普拉斯矩陣：
[0027]
[0028] 其中，表示拉普拉斯矩陣，δ控制局部平滑的強(qiáng)度，k表示一幀中窗口的個(gè) 數(shù)，ck表示第k個(gè)窗口，q表示第i個(gè)像素點(diǎn)的顏色值，μ,和Σ,分別表示窗口中的顏色 均值和方差，6為正規(guī)系數(shù)，dXm2為窗口的尺寸，表示選取相鄰d幀，每幀取m2窗口內(nèi)的像 素點(diǎn)作為鄰居，I表示單位矩陣。
[0029] 在本發(fā)明的一實(shí)施例中，將正規(guī)系數(shù)?設(shè)置為10 5,m設(shè)置為3,d設(shè)置為2。
[0030] 在本發(fā)明的一實(shí)施例中，根據(jù)輸入視頻的已知像素點(diǎn)的α值和字典中樣本點(diǎn)α 值、非局部關(guān)系矩陣和拉普拉斯矩陣，獲取輸入視頻的視頻掩像，具體包括：
[0031] 根據(jù)公式（5)獲取輸入視頻中每個(gè)未知像素點(diǎn)的α值：
[0033] 其中，S表示輸入視頻的已知像素點(diǎn)的α值和字典中樣本點(diǎn)α值構(gòu)成的集合，％ 為像素點(diǎn)j在dXm2的窗口中的鄰接點(diǎn)，gs= 1表示集合S中的像素點(diǎn)s為前景像素點(diǎn)，gs =〇表示集合S中的像素點(diǎn)s為背景像素點(diǎn)；
[0034] 根據(jù)輸入視頻的已知像素點(diǎn)的α值和未知像素點(diǎn)的α值獲取輸入視頻的視頻掩 像。
[0035] 本實(shí)施例提供的稀疏和低秩聯(lián)合表達(dá)的視頻前景對(duì)象精準(zhǔn)提取方法，根據(jù)選取的 關(guān)鍵幀中已知的前景像素點(diǎn)和背景像素點(diǎn)訓(xùn)練出具有較強(qiáng)表達(dá)性的字典；然后根據(jù)該字典 獲取滿足低秩、稀疏和非負(fù)約束的重構(gòu)系數(shù)，根據(jù)重構(gòu)系數(shù)建立輸入視頻中每個(gè)像素之間 的非局部關(guān)系矩陣，同時(shí)建立多幀之間的拉普拉斯矩陣，從而保證了獲取的輸入視頻的視 頻掩像的時(shí)域一致性和局部光滑性，進(jìn)而使得根據(jù)該視頻掩像提取的輸入視頻的前景對(duì)象 的質(zhì)量也得到了有效的提高。
【附圖說(shuō)明】