本發(fā)明屬于圖像處理、計(jì)算機(jī)視覺技術(shù)領(lǐng)域，是局部形狀遷移指導(dǎo)的圖像對象共分割方法。

背景技術(shù)：

給定包含相同語義類別對象的圖像集，圖像對象共分割技術(shù)主要考慮如何從中分割出共同的對象，以便開展圖像內(nèi)容理解、對象檢測等更高層次的視覺理解工作。在2006年，Rother等人首次提出圖像對象共分割的概念，利用產(chǎn)生式模型在包含相同類別的圖像對上進(jìn)行對象前背景分割，該方法使用高斯模型產(chǎn)生潛在前景直方圖，并將圖像對在前景直方圖的差異作為一項(xiàng)全局約束加入基于馬爾科夫隨機(jī)場的能量中，最后采用TRGC優(yōu)化算法得到共分割結(jié)果。目前，多幅圖像的共分割大致分為兩個方向：基于統(tǒng)一模板學(xué)習(xí)的共分割和基于區(qū)域匹配的共分割。

基于統(tǒng)一模板學(xué)習(xí)的共分割方面，在2010年，Joulin等人提出了一種基于判別聚類的圖像對象共分割方法，他們將現(xiàn)有的單張圖像分割算法(歸一化分割)和對象檢測算法(核方法)集成到一個新的判別聚類框架中，目標(biāo)是對多幅圖像進(jìn)行前背景分割。首先，該方法為保持單幅特定圖片在空間和外觀上的一致性，利用像素點(diǎn)的坐標(biāo)及RGB顏色值作為特征計(jì)算相似度矩陣，在得到標(biāo)準(zhǔn)化拉普拉斯矩陣L后采用類似歸一化分割的譜分割算法得到圖像內(nèi)部的分割結(jié)果；其次，該方法為使同時(shí)分割的多幅圖像產(chǎn)生關(guān)聯(lián)，使用了基于正定核的判別聚類算法實(shí)現(xiàn)不同圖像之間前背景差異最大化；最后，該方法通過將空間一致性拉普拉斯矩陣L和判別聚類損失矩陣A進(jìn)行組合，將多幅圖像的共分割轉(zhuǎn)化為一個組合優(yōu)化問題，并通過將其松弛為連續(xù)的凸優(yōu)化問題實(shí)現(xiàn)多幅圖像共分割。然而，當(dāng)共分割對象的外觀模型復(fù)雜程度增大，或前景區(qū)域與背景區(qū)域十分相似時(shí)，共分割對象在全局形狀上的不一致性將導(dǎo)致很難學(xué)習(xí)到統(tǒng)一的模板用于前景對象的分割，此時(shí)基于統(tǒng)一模板學(xué)習(xí)的共分割方法便不能很好的區(qū)分前景對象與背景區(qū)域。

基于區(qū)域匹配的共分割方面，在2013年，Wang等人提出一種一致性泛函映射方法，通過計(jì)算圖像間在外觀上的關(guān)聯(lián)性實(shí)現(xiàn)多幅圖像的共分割，該方法包含三個部分。第一部分：將每幅圖像分割成超像素塊，并將每幅圖片表示為無向圖，圖中頂點(diǎn)表示超像素塊，圖中邊的權(quán)值由超像素塊公共邊的長度決定，通過給每個圖計(jì)算一個標(biāo)準(zhǔn)化的拉普拉斯矩陣為每幅圖片生成一個維度較低的泛函空間，同時(shí)分割結(jié)果表示成包含對象的超像素塊的集合。第二部分：將兩幅圖像之間的關(guān)聯(lián)性表達(dá)成線性泛函。第三部分：聯(lián)合優(yōu)化分割函數(shù)產(chǎn)生分割結(jié)果，該過程需要匹配單幅圖像上的分割先驗(yàn)，同時(shí)保持相鄰圖像間泛函映射時(shí)的一致性。該方法既可以實(shí)現(xiàn)無監(jiān)督的共分割，也可以通過使用部分圖像的真實(shí)分割結(jié)果進(jìn)行有監(jiān)督的共分割?；趨^(qū)域匹配的共分割方法在公開數(shù)據(jù)集上取得了令人滿意的結(jié)果，但前景對象在外觀發(fā)生較大變化時(shí)，會極大的影響最終的分割結(jié)果。

局部形狀遷移是一種廣泛應(yīng)用于基于數(shù)據(jù)驅(qū)動的前背景分割方法，該方法能將真實(shí)分割結(jié)果遷移到測試圖像上，達(dá)到對單張測試圖像進(jìn)行前背景分割的目的。在2015年，Yang等人提出了一種通過局部形狀遷移實(shí)現(xiàn)數(shù)據(jù)驅(qū)動下的對象分割方法，該方法首先輸入一幅測試圖像和多幅帶有真實(shí)分割結(jié)果的樣本圖像，然后采用Barnes在2010年提出的PatchMatch方法實(shí)現(xiàn)以局部patch塊為單位的多尺度圖像匹配，通過匹配結(jié)果為測試圖像上每一個局部patch塊得到在其他圖像上的近似局部patch塊，最后采用MRF能量函數(shù)得到最終分割結(jié)果。

在2013年，Kim等人提出了一種可變形的空間金字塔匹配算法(DSP)，解決了兩幅圖像間稠密像素點(diǎn)的匹配問題。該方法采用金字塔模型從整幅圖像，到網(wǎng)格單元再到單個像素點(diǎn)進(jìn)行多尺度的匹配，將像素點(diǎn)匹配結(jié)果以水平位移和垂直位移的形式進(jìn)行輸出。在國際公開數(shù)據(jù)集上的測試結(jié)果表明，該方法能為相同語義類別的像素點(diǎn)之間建立較好的匹配關(guān)系，為本方法中實(shí)現(xiàn)patch塊的匹配提供基礎(chǔ)。

在2000年，Roweis等人提出了一種局部線性嵌入的降維算法，并廣泛應(yīng)用于圖像分割、圖像分類等計(jì)算機(jī)視覺領(lǐng)域。該算法包括三個主要步驟。第一步是為每個樣本點(diǎn)x_i尋找k個鄰近點(diǎn)，第二步是用k個鄰近點(diǎn)計(jì)算該樣本點(diǎn)的局部重建權(quán)重矩陣，所用誤差公式如下：

第三步是由該樣本點(diǎn)的局部重建權(quán)重矩陣將樣本點(diǎn)映射到低維空間中，映射條件如下：

上式中，y_i是樣本點(diǎn)x_i在低維空間的映射。

因此，前景對象姿態(tài)、位置、尺度發(fā)生較大變化時(shí)對象全局形狀的不一致性，極大的影響了現(xiàn)有的圖像對象共分割方法的分割效果，而本發(fā)明通過局部形狀遷移指導(dǎo)的方法，有效避免了因?qū)ο笕中螤畹牟灰恢聨淼膯栴}。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是：克服對象全局形狀的不一致對圖像對象共分割結(jié)果的影響，提出了局部形狀遷移指導(dǎo)的圖像對象共分割方法，這種方法在標(biāo)準(zhǔn)測試數(shù)據(jù)集上有良好的表現(xiàn)，能夠較好的實(shí)現(xiàn)同一語義類別對象的分割。

為完成本發(fā)明的目的，本發(fā)明采用的技術(shù)方案是：

局部形狀遷移指導(dǎo)的圖像對象共分割方法，其中，包括如下步驟：

步驟(1)，圖像集預(yù)處理：輸入M幅包含相同語義類別對象的圖像，對每幅圖像進(jìn)行顯著性分析，將顯著性檢測結(jié)果使用二倍均值做閾值得到mask圖，即為前背景初始分割結(jié)果，其中mask圖僅由0和1組成，1代表前景像素點(diǎn)，0代表背景像素點(diǎn)。

步驟(2)，對任意兩幅圖片進(jìn)行稠密特征點(diǎn)匹配：針對每一幅圖像i(i＝1,2,...,M)，為圖像上每一個像素點(diǎn)生成128維的dense sift特征；將每一幅圖片i(i＝1,2,...,M)的dense sift特征與其他圖片j(j＝1,2,...,M且j≠i)的dense sift特征進(jìn)行稠密特征點(diǎn)匹配，得到稠密特征點(diǎn)的水平位移h_ij和垂直位移v_ij。

步驟(3)，根據(jù)匹配結(jié)果，建立每一局部圖像區(qū)域與來自其他圖像的局部區(qū)域之間的對應(yīng)關(guān)系：對每一幅圖像i，每間隔5個像素點(diǎn)選取一個17*17的patch塊，用中心像素點(diǎn)坐標(biāo)表示該patch塊的位置，用中心像素點(diǎn)的sift特征描述子表示該patch塊的特征；使用步驟(2)中得到的水平位移h_ij和垂直位移v_ij，計(jì)算出每一個patch塊在其他圖像上與之對應(yīng)的patch塊的位置；構(gòu)建patch塊的對應(yīng)關(guān)系有向圖，頂點(diǎn)代表patch，有向邊指向該patch塊在其他圖像上的鄰居patch塊。。

步驟(4)，采用局部線性結(jié)構(gòu)保持算法學(xué)習(xí)對應(yīng)關(guān)系的權(quán)重：對于任意patch塊i，根據(jù)步驟(3)中構(gòu)建的對應(yīng)關(guān)系有向圖找到其鄰居patch塊集合，記為由局部線性保持原理得：

上式中，P是所有patch塊數(shù)，表示patch塊i的sift特征，w_ij為學(xué)習(xí)到的權(quán)重系數(shù)。w_ij的求解采用經(jīng)典的局部線性嵌入(local linear embedding)算法中的構(gòu)造協(xié)方差矩陣及拉格朗日乘子法進(jìn)行求解。

步驟(5)，通過迭代求解算法在對應(yīng)局部區(qū)域之間傳遞其前背景分割結(jié)果，得到最終分割結(jié)果：包括最小優(yōu)化方程的構(gòu)造和優(yōu)化算法兩個主要步驟。

第一步，根據(jù)步驟(3)得到的patch塊對應(yīng)關(guān)系圖和步驟(4)學(xué)習(xí)到的對應(yīng)關(guān)系權(quán)重系數(shù)，構(gòu)造如下最小優(yōu)化方程式：

上式中，y表示輸入的M幅圖像的前背景分割結(jié)果，y^[i]表示第i幅圖像的前背景分割結(jié)果，表示第i個patch塊的前背景分割結(jié)果，E_seg是經(jīng)典的馬爾科夫能量項(xiàng)，表示圖像內(nèi)部的像素點(diǎn)之間的關(guān)系，α為系數(shù)。

第二步，采用半二次方分裂(half-quadratic splitting)最小化方法迭代求解已構(gòu)造的最小優(yōu)化方程式：首先，引入輔助變量z，同時(shí)假設(shè)在任意patch塊上都滿足將該限制條件引入到第一步構(gòu)造的方程式中得到如下優(yōu)化方程式：

上式中，α和λ為系數(shù)，w_ij表示patchi和patchj之間的權(quán)重值。

接下來，通過固定其中一個變量求解另一個變量的方法，將上式分解為兩個簡單的子問題，如下所示：

對于第一個子問題：將第二項(xiàng)并入到MRF能量項(xiàng)的一次項(xiàng)中，并通過經(jīng)典的圖割算法進(jìn)行優(yōu)化；對于第二個子問題：通過求導(dǎo)的方式求解最優(yōu)的解。通過不斷的迭代求解y和z，將達(dá)到終止條件或最大迭代次數(shù)的y作為分割最終結(jié)果。

本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于：本發(fā)明提出的局部形狀遷移指導(dǎo)的圖像對象共分割方法，框架簡單且易于實(shí)現(xiàn)，執(zhí)行時(shí)空效率高，解決了對象全局形狀不一致時(shí)分割效果不好的問題，其中，采用局部線性嵌入方法學(xué)習(xí)得到權(quán)重，為局部形狀遷移提供更加魯棒的保證。

附圖說明

圖1是本發(fā)明的流程圖；

圖2是本發(fā)明在公開數(shù)據(jù)集上的測試結(jié)果圖。

具體實(shí)施方式

如圖1所示，本發(fā)明提出了局部形狀遷移指導(dǎo)的圖像對象共分割方法，包括以下步驟：

(1)圖像集預(yù)處理：輸入M幅包含相同語義類別對象的圖像，使用Zhang等人在2015年提出的顯著性檢測方法對每幅圖像進(jìn)行顯著性分析，將顯著性檢測結(jié)果使用二倍均值做閾值得到mask圖，即為前背景初始分割結(jié)果，其中mask圖僅由0和1組成，1代表前景像素點(diǎn)，0代表背景像素點(diǎn)。

(2)對任意兩幅圖片進(jìn)行稠密特征點(diǎn)匹配：針對每一幅圖像i(i＝1,2,…,M)，為圖像上每一個像素點(diǎn)生成128維的dense sift特征；將每一幅圖片i(i＝1,2,…,M)的dense sift特征與其他圖片j(j＝1,2,…,M且j≠i)的dense sift特征采用Kim等人在2013年提出的可變形的空間金字塔匹配算法(DSP)進(jìn)行稠密特征點(diǎn)匹配，得到稠密特征點(diǎn)的水平位移h_ij和垂直位移v_ij。

(3)根據(jù)匹配結(jié)果，建立每一局部圖像區(qū)域與來自其他圖像的局部區(qū)域之間的對應(yīng)關(guān)系：對每一幅圖像i，每間隔5個像素點(diǎn)選取一個17*17的patch塊，用中心像素點(diǎn)坐標(biāo)表示該patch塊的位置，用中心像素點(diǎn)的sift特征描述子表示該patch塊的特征；使用步驟(2)中得到的水平位移h_ij和垂直位移v_ij，計(jì)算出每一個patch塊在其他圖像上與之對應(yīng)的patch塊的位置；構(gòu)建patch塊的對應(yīng)關(guān)系有向圖，頂點(diǎn)代表patch塊，有向邊指向該patch塊在其他圖像上的鄰居patch塊。

(4)采用局部線性結(jié)構(gòu)保持算法學(xué)習(xí)對應(yīng)關(guān)系的權(quán)重：對于任意patch塊i，根據(jù)步驟(3)中構(gòu)建的對應(yīng)關(guān)系有向圖找到其鄰居patch塊集合，記為由局部線性保持原理得：

上式中，P是所有patch塊數(shù)，表示patch塊i的sift特征，w_ij為學(xué)習(xí)到的權(quán)重系數(shù)。w_ij的求解采用經(jīng)典的局部線性嵌入(local linear embedding)算法中的構(gòu)造協(xié)方差矩陣及拉格朗日乘子法進(jìn)行求解。

(5)通過迭代求解算法在對應(yīng)局部區(qū)域之間傳遞其前背景分割結(jié)果，得到最終分割結(jié)果：包括最小優(yōu)化方程的構(gòu)造和優(yōu)化算法兩個主要步驟。

第一步，根據(jù)步驟(3)得到的patch塊對應(yīng)關(guān)系圖和步驟(4)學(xué)習(xí)到的對應(yīng)關(guān)系權(quán)重系數(shù)，構(gòu)造如下最小優(yōu)化方程式：

上式中，y表示輸入的M幅圖像的前背景分割結(jié)果，y^[i]表示第i幅圖像的前背景分割結(jié)果，表示第i個patch塊的前背景分割結(jié)果，E_seg是經(jīng)典的馬爾科夫能量項(xiàng)，表示圖像內(nèi)部的像素點(diǎn)之間的關(guān)系，α為系數(shù)。

第二步，采用半二次方分裂(half-quadratic splitting)最小化方法迭代求解已構(gòu)造的最小優(yōu)化方程式：首先，引入輔助變量z，同時(shí)假設(shè)在每一patch塊上都滿足將該限制條件引入到第一步構(gòu)造的方程式中得到如下優(yōu)化方程式：

上式中，α和λ為系數(shù)，在本實(shí)驗(yàn)中設(shè)置為α＝1，λ＝0.3；w_ij表示patchi和patchj之間的權(quán)重值。

接下來，通過固定其中一個變量求解另一個變量的方法，將上式分解為兩個簡單的子問題，如下所示：

對于第一個子問題：將第二項(xiàng)并入到MRF能量項(xiàng)的一次項(xiàng)中，并通過經(jīng)典的圖割算法進(jìn)行優(yōu)化；對于第二個子問題：對求導(dǎo)，得到下式：

將上式轉(zhuǎn)化為矩陣形式如下：

Z'＝{λY+α[W+W^T-W^TW+Diag(W^TW)]Z}[(α+λ)I+Diag(W^TW)]^-1，

上式中，矩陣Z,Z',Y分別由列向量連接而成；W是大小為P*P的矩陣，其數(shù)值代表patch塊之間的權(quán)重；I是單位矩陣；Diag(·)運(yùn)算實(shí)現(xiàn)創(chuàng)建對角矩陣，其非零元素為輸入矩陣對角線上的元素。

通過對上式進(jìn)行不斷迭代求解得到Z，實(shí)驗(yàn)中設(shè)置迭代次數(shù)為15，每次迭代中都將Z歸一化到[0,1]之間。

最后，將最大迭代次數(shù)設(shè)置為10，使用y在兩次迭代結(jié)果之間的差異不超過M幅圖像像素點(diǎn)總數(shù)的0.0001倍作為迭代終止條件，通過不斷的迭代求解兩個子問題中的y和z，并將達(dá)到迭代終止條件或者達(dá)到最大迭代次數(shù)的y作為最終分割結(jié)果。圖2所示為部分共分割結(jié)果，即(a)(b)(c)(d)四組，每組中上方為原始圖像，下方對應(yīng)共分割結(jié)果。