本發(fā)明涉及一種時(shí)空域顯著度檢測(cè)方法，屬于圖像處理領(lǐng)域，具體涉及一種基于位置先驗(yàn)信息的時(shí)空域顯著度檢測(cè)方法。
背景技術(shù)：
在計(jì)算機(jī)視覺領(lǐng)域，圖像視頻顯著度檢測(cè)作為目標(biāo)識(shí)別、視頻監(jiān)控、移動(dòng)機(jī)器人學(xué)的預(yù)處理部分已經(jīng)進(jìn)行廣泛的研究。圖像視頻顯著度研究一般基于自底向上的快速顯著度檢測(cè)方式，這類方法由中低層特征驅(qū)動(dòng)，適用范圍較廣，運(yùn)算速度較快。
目前視頻時(shí)空域顯著度研究對(duì)于圖像顯著度研究相對(duì)較新，基于視頻與圖像的相似性，現(xiàn)有的圖像顯著度檢測(cè)方法可以獨(dú)立應(yīng)用于視頻的每一幀圖像，這樣的方式忽略了視頻的時(shí)域信息?？紤]到時(shí)域信息是視頻顯著度檢測(cè)最主要的影響因素，空域特征可以結(jié)合時(shí)域特征計(jì)算獨(dú)立幀的顯著度。
現(xiàn)有技術(shù)中的一些算法主要有：(1)在已有的圖像顯著度模型上對(duì)原有空域特征維度進(jìn)行擴(kuò)展，加入運(yùn)動(dòng)特征，用于預(yù)測(cè)動(dòng)態(tài)場(chǎng)景中人眼預(yù)測(cè)的顯著位置；(2)利用亮度、顏色和運(yùn)動(dòng)適量的局部對(duì)比生成最終的顯著度圖；(3)利用基于多種低層特征的時(shí)空顯著度將高幀率的視頻輸入轉(zhuǎn)為低幀率視頻。這些方法都忽略了視頻顯著度圖的時(shí)空連續(xù)性，可能導(dǎo)致顯著圖中的顯著目標(biāo)在時(shí)間軸上并不連續(xù)。
為了獲取視頻更高維度的特征，區(qū)域?qū)Ρ榷缺粡V泛應(yīng)用到顯著度檢測(cè)中，區(qū)域?qū)Ρ榷韧ǔ５淖龇ㄊ怯?jì)算區(qū)域特征差異并加權(quán)空間位置關(guān)系，然而這樣的加權(quán)方式可能會(huì)導(dǎo)致目標(biāo)衰減或者難以區(qū)分前景和背景區(qū)域的相似的顏色。
為了解決這兩個(gè)問題，需要利用位置先驗(yàn)信息對(duì)前景位置定位，通過利用位置信息，保持時(shí)空域顯著度圖的時(shí)空一致性，且改進(jìn)對(duì)比度算法，從而提高視頻顯著度檢測(cè)的準(zhǔn)確性。
技術(shù)實(shí)現(xiàn)要素：
針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于前景位置先驗(yàn)信息的時(shí)空域視頻顯著度檢測(cè)方法，該方法通過連續(xù)獲取視頻前景區(qū)域位置信息，保持視頻時(shí)空域顯著度圖的幀間連續(xù)性并改進(jìn)前景背景對(duì)比度算法，進(jìn)而凸顯顯著目標(biāo)并抑制背景區(qū)域。
一種基于位置先驗(yàn)信息的顯著度檢測(cè)方法，包括：
超像素集分割步驟，將視頻幀It分割成大小相似、顏色高度一致的超像素集
空域顯著度計(jì)算步驟，基于空間位置關(guān)系加權(quán)計(jì)算超像素與其他超像素的超像素重要度特征值差異得到的空域?qū)Ρ榷?，基于各超像素的空域?qū)Ρ榷鹊玫揭曨l的空域著度圖其中，超像素重要度為其對(duì)應(yīng)顏色與整幀其他超像素主要顏色的對(duì)比度；
時(shí)域顯著度計(jì)算步驟，根據(jù)超像素運(yùn)動(dòng)直方圖和整幀運(yùn)動(dòng)直方圖之間的差異得到每個(gè)超像素的運(yùn)動(dòng)區(qū)分度基于更新運(yùn)動(dòng)區(qū)分度之間的特征差異計(jì)算視頻的時(shí)域顯著度圖
時(shí)空顯著圖融合步驟，基于時(shí)域到空域的一致性MCT，空域到時(shí)域的一致性MCS，采用基于這兩個(gè)一致性系數(shù)的選擇項(xiàng)和交互項(xiàng)非線性融合時(shí)、空域顯著度圖；其中，MCT與MCS由時(shí)域顯著度圖和空域顯著度圖的乘積分別除以空域顯著度圖中所有超像素的空域顯著度值總和時(shí)域顯著度圖中所有超像素的時(shí)域顯著度值總和得到。
作為優(yōu)選，上述的一種基于位置先驗(yàn)信息的顯著度檢測(cè)方法，所述超像素集分割步驟中，基于SLIC算法將該幀分割成大小相似、顏色高度一致的超像素集使用最小方差量化算法減少It中出現(xiàn)頻率低的顏色，從而量化It的顏色。
作為優(yōu)選，上述的一種基于位置先驗(yàn)信息的顯著度檢測(cè)方法，所述空域顯著度計(jì)算步驟中，通過顏色直方圖對(duì)比度算法計(jì)算超像素重要度
作為優(yōu)選，上述的一種基于位置先驗(yàn)信息的顯著度檢測(cè)方法，所述空域?qū)Ρ榷鹊挠?jì)算包括前景背景對(duì)比度計(jì)算，具體為：
定義超像素距離背景區(qū)域的最短路徑為關(guān)鍵路徑背景區(qū)域超像素的關(guān)鍵路徑為該超像素跟其相鄰距離最短的背景區(qū)域超像素之間的歐氏距離，而前景區(qū)域超像素的關(guān)鍵路徑跟前景區(qū)域的面積相關(guān)，定義如下。
式中，F(xiàn)t為前景區(qū)域，Bt為背景區(qū)域；
基于位置信息的空域特征差異為之間的超像素重要度差值ψ(i，j)加權(quán)單位階躍函數(shù)ε(ψ(i，j))，即ψ(i，j)大于0時(shí)，ε(ψ(i，j))值為1，反之則為0；ψ(i，j)依據(jù)超像素位于不同的區(qū)域，定義如下：
前景背景對(duì)比度為超像素的空間特征差異加權(quán)空間位置關(guān)系，前景背景對(duì)比度表示如下，式中，為超像素之間的歐氏距離；
作為優(yōu)選，上述的一種基于位置先驗(yàn)信息的顯著度檢測(cè)方法，所述空域?qū)Ρ榷鹊挠?jì)算包括前景局部對(duì)比度計(jì)算，具體為：計(jì)算前景區(qū)域內(nèi)超像素與其它前景區(qū)域內(nèi)超像素的超像素重要度特征值差異總和并相應(yīng)加權(quán)空間位置關(guān)系，得到前景局部對(duì)比度
作為優(yōu)選，上述的一種基于位置先驗(yàn)信息的顯著度檢測(cè)方法，所述空域?qū)Ρ榷鹊挠?jì)算包括前景局部對(duì)比度計(jì)算、前景局部對(duì)比度計(jì)算，并且基于下式計(jì)算視頻空域顯著度圖
其中，線性系數(shù)η為0.5，為前景局部對(duì)比度，為前景背景對(duì)比度。
作為優(yōu)選，上述的一種基于位置先驗(yàn)信息的顯著度檢測(cè)方法，所述時(shí)域顯著度計(jì)算步驟中，采用LDOF光流法提取每一幀像素級(jí)運(yùn)動(dòng)矢量場(chǎng)，依據(jù)運(yùn)動(dòng)矢量場(chǎng)，提取每個(gè)超像素的運(yùn)動(dòng)直方圖和整幀運(yùn)動(dòng)直方圖通過計(jì)算超像素級(jí)運(yùn)動(dòng)直方圖和幀級(jí)運(yùn)動(dòng)直方圖之間的差異，得到每個(gè)超像素的運(yùn)動(dòng)區(qū)分度
作為優(yōu)選，上述的一種基于位置先驗(yàn)信息的顯著度檢測(cè)方法，在計(jì)算運(yùn)動(dòng)區(qū)分度后，加上幀內(nèi)運(yùn)動(dòng)一致性約束來(lái)更新運(yùn)動(dòng)區(qū)分度，具體步驟包括：依據(jù)SF方法計(jì)算的空間方差更新運(yùn)動(dòng)區(qū)分度為根據(jù)取得的更新運(yùn)動(dòng)區(qū)分度，采用前景背景對(duì)比度算法，計(jì)算整幀每個(gè)超像素跟其他超像素的更新運(yùn)動(dòng)區(qū)分度的差異累積，從而得到時(shí)域顯著度圖
作為優(yōu)選，上述的一種基于位置先驗(yàn)信息的顯著度檢測(cè)方法，所述時(shí)空顯著圖融合步驟中，根據(jù)SP方法可得，交互項(xiàng)根據(jù)MCT和MCS對(duì)和融合，融合方式如下：
選擇項(xiàng)的計(jì)算方式為：分別計(jì)算時(shí)域和空域中的所有超像素顯著度值的總和并加權(quán)每個(gè)超像素到前景區(qū)域中心的歐式距離，得到時(shí)域顯著度分布DIST和空域顯著度分布DISS，比較DIST和DISS的大小，為這兩者中較小值對(duì)應(yīng)的顯著度圖。
作為優(yōu)選，上述的一種基于位置先驗(yàn)信息的顯著度檢測(cè)方法，基于下式融合交互項(xiàng)和選擇項(xiàng)得到最終的時(shí)空域顯著度圖
式中，λt等于sqrt(MCT··MCS)，利用λt可以較好地融合時(shí)、空域顯著度圖。
本發(fā)明可以實(shí)現(xiàn)對(duì)背景復(fù)雜運(yùn)動(dòng)復(fù)雜的視頻進(jìn)行較準(zhǔn)確的視頻顯著度提取，從而有效解決背景技術(shù)提到的問題，可以作為視頻計(jì)算機(jī)視覺的預(yù)處理工作部分。
附圖說明
圖1為本發(fā)明方法流程圖。
具體實(shí)施方式
為了便于本領(lǐng)域普通技術(shù)人員理解和實(shí)施本發(fā)明，下面結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)描述，應(yīng)當(dāng)理解，此處所描述的實(shí)施示例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。
本發(fā)明是一種基于位置先驗(yàn)信息的視頻時(shí)空域顯著度提取方法，基于前景位置信息，提出增強(qiáng)前景背景對(duì)比度算法和前景局部對(duì)比度算法；
其思路是結(jié)合幀內(nèi)運(yùn)動(dòng)一致性提取視頻空域和時(shí)域的高層特征，并基于前一幀的時(shí)空域顯著度圖獲取當(dāng)前視頻幀的前景區(qū)域位置信息，基于該位置先驗(yàn)信息，對(duì)提取的中層特征采用增強(qiáng)的前景背景對(duì)比度算法計(jì)算分別得到空域、時(shí)域顯著度圖。最后通過交互式融合得到最終的時(shí)空域顯著度圖。
具體實(shí)現(xiàn)時(shí)，首先采用SLIC算法將該幀分割成大小相似、顏色高度一致的超像素集并使用最小方差量化算法減少It中出現(xiàn)頻率低的顏色；然后根據(jù)前一幀的時(shí)空域顯著度圖提取顯著度值大于0.4的聯(lián)通區(qū)域作為當(dāng)前幀的前景區(qū)域Ft，初始幀的前景區(qū)域Ft默認(rèn)為整幀視頻圖像；根據(jù)的最主要顏色的計(jì)算超像素的超像素重要度然后基于前景位置信息，利用前景背景對(duì)比度和前景局部對(duì)比度加權(quán)計(jì)算得到空域顯著度圖然后提取每幀的像素級(jí)運(yùn)動(dòng)矢量場(chǎng)，并進(jìn)一步提取的運(yùn)動(dòng)直方圖和整幀運(yùn)動(dòng)直方圖根據(jù)超像素級(jí)直方圖和幀級(jí)直方圖差異計(jì)算得到運(yùn)動(dòng)區(qū)分度通過引入反映運(yùn)動(dòng)一致性的運(yùn)動(dòng)空間分布的更新運(yùn)動(dòng)區(qū)分度得到基于前景背景對(duì)比度方法，計(jì)算更新運(yùn)動(dòng)對(duì)比度的差異累積，得到時(shí)域顯著度圖最后對(duì)和進(jìn)行非線性融合得到最終的時(shí)空域顯著度圖
圖1是本實(shí)施例的具體流程，本實(shí)施例采用MATLAB2012a作為仿真實(shí)驗(yàn)平臺(tái)，在常用的視頻顯著度檢測(cè)視頻庫(kù)SegTrack，F(xiàn)BMS和DS2上進(jìn)行測(cè)試。
以下針對(duì)上述實(shí)施例對(duì)本發(fā)明的做進(jìn)一步的闡述，本發(fā)明的流程包括：
步驟1：針對(duì)一個(gè)特定的視頻幀It，采用SLIC算法將該幀分割成大小相似、顏色高度一致的超像素集使用最小方差量化算法減少It中出現(xiàn)頻率低的顏色，從而量化It的顏色。
步驟2：基于超像素的顏色具有高度相似性，每個(gè)超像素可由其出現(xiàn)頻率最高的顏色代表，則定義空域特征超像素重要度為其對(duì)應(yīng)顏色與整幀其它超像素主要顏色的對(duì)比度，通過顏色直方圖對(duì)比度(HC)算法可以得到超像素重要度
步驟3：提取對(duì)應(yīng)視頻幀It-1的時(shí)空域顯著度圖的聯(lián)通高亮區(qū)域作為It的前景區(qū)域Ft，It的其他部分為背景區(qū)域Bt。設(shè)定中像素點(diǎn)灰度值大于0.4為高亮值。
步驟4：對(duì)It中特定超像素計(jì)算其與其它超像素的超像素重要度特征值差異總和并相應(yīng)加權(quán)空間位置關(guān)系，得到的空域?qū)Ρ榷?。特征值差異和空間關(guān)系計(jì)算方式跟前景位置信息相關(guān)，空域?qū)Ρ榷人惴ǚ譃榍熬氨尘皩?duì)比度和局部前景對(duì)比度，具體實(shí)現(xiàn)包括以下子步驟：
步驟4.1：對(duì)于空域前景背景對(duì)比度計(jì)算，定義超像素距離背景區(qū)域的最短路徑為關(guān)鍵路徑背景區(qū)域超像素的關(guān)鍵路徑為該超像素跟其相鄰距離最短的背景區(qū)域超像素之間的歐氏距離，而前景區(qū)域超像素的關(guān)鍵路徑跟前景區(qū)域的面積相關(guān)，定義如下。
基于位置信息的空域特征差異為之間的超像素重要度差值ψ(i，j)加權(quán)單位階躍函數(shù)ε(ψ(i，j))，即ψ(i，j)大于0時(shí)，ε(ψ(i，j))值為1，反之則為0；ψ(i，j)依據(jù)超像素位于不同的區(qū)域，定義如下：
其中α參數(shù)用于抑制前景區(qū)域的超像素對(duì)于背景區(qū)域的超像素差異的累積，從而進(jìn)一步抑制背景。前景背景對(duì)比度為超像素的空間特征差異加權(quán)空間位置關(guān)系，前景背景對(duì)比度表示如下，為超像素之間的歐氏距離。
步驟4.2：對(duì)于前景局部對(duì)比度計(jì)算，計(jì)算前景區(qū)域內(nèi)超像素與其它超像素的超像素重要度特征值差異總和并相應(yīng)加權(quán)空間位置關(guān)系，得到前景局部對(duì)比度計(jì)算如下：
步驟4.3：線性結(jié)合前景背景對(duì)比度和前景局部對(duì)比度結(jié)果，得到視頻空域顯著度圖線性系數(shù)η為0.5，表示如下
步驟5：采用LDOF光流法提取每一幀像素級(jí)運(yùn)動(dòng)矢量場(chǎng)，依據(jù)運(yùn)動(dòng)矢量場(chǎng)，提取每個(gè)超像素的運(yùn)動(dòng)直方圖和整幀運(yùn)動(dòng)直方圖通過計(jì)算超像素級(jí)運(yùn)動(dòng)直方圖和幀級(jí)運(yùn)動(dòng)直方圖之間的差異，得到每個(gè)超像素的運(yùn)動(dòng)區(qū)分度根據(jù)運(yùn)動(dòng)一致性，計(jì)算反映運(yùn)動(dòng)空間分布的同等運(yùn)動(dòng)區(qū)分度的空間方差，從而獲取更新運(yùn)動(dòng)區(qū)分度，基于更新運(yùn)動(dòng)區(qū)分度之間的特征差異，使用前景背景對(duì)比度算法得到時(shí)域顯著度，其具體實(shí)現(xiàn)包括以下步驟：
步驟5.1：依據(jù)SF方法，計(jì)算的空間方差則更新運(yùn)動(dòng)區(qū)分度為
步驟5.2：根據(jù)取得的更新運(yùn)動(dòng)區(qū)分度，采用前景背景對(duì)比度算法，計(jì)算時(shí)域每個(gè)超像素跟其他超像素的更新運(yùn)動(dòng)區(qū)分度的差異累積，從而得到時(shí)域顯著度圖
步驟6：計(jì)算時(shí)域顯著度圖和空域顯著度圖的乘積)p分別除以空域顯著度圖中所有超像素的空域顯著度值總和與時(shí)域顯著度圖中所有超像素的時(shí)域顯著度值總和得到時(shí)域到空域的一致性MCT和空域到時(shí)域的一致性MCS。基于這兩個(gè)一致性參數(shù)采用選擇項(xiàng)和交互項(xiàng)非線性融合時(shí)、空域顯著度圖，具體實(shí)現(xiàn)包括以下子步驟：
步驟6.1：交互項(xiàng)根據(jù)MCT和MCS對(duì)和融合，融合方式如下：
步驟6.2：分別計(jì)算時(shí)域和空域中的所有超像素顯著度值的總和并加權(quán)每個(gè)超像素到前景區(qū)域中心的歐式距離，得到時(shí)域顯著度分布DIST和空域顯著度分布DISS。比較DIST和DISS的大小，為這兩者中較小值對(duì)應(yīng)的顯著度圖。
步驟6.3：對(duì)交互項(xiàng)和選擇項(xiàng)進(jìn)行融合，得到最終的時(shí)空域顯著度圖的公式如下，其中，λt等于sqrt(MCT·MCS)。
應(yīng)當(dāng)理解的是，本說明書未詳細(xì)闡述的部分均屬于現(xiàn)有技術(shù)。
應(yīng)當(dāng)理解的是，上述針對(duì)較佳實(shí)施例的描述較為詳細(xì)，并不能因此而認(rèn)為是對(duì)本發(fā)明專利保護(hù)范圍的限制，本領(lǐng)域的普通技術(shù)人員在本發(fā)明的啟示下，在不脫離本發(fā)明權(quán)利要求所保護(hù)的范圍情況下，還可以做出替換或變形，均落入本發(fā)明的保護(hù)范圍之內(nèi)，本發(fā)明的請(qǐng)求保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。