本發(fā)明屬于計算機視覺技術(shù)領(lǐng)域,特別是涉及一種基于動態(tài)注意中心的視頻顯著目標檢測方法。
背景技術(shù):
人類的視覺系統(tǒng)具有非凡的能力在大量的視覺信息中來定位和聚焦感興趣的區(qū)域或目標,這在計算機視覺領(lǐng)域內(nèi)被稱為顯著目標檢測。圖像和視頻的顯著的目標檢測在圖像理解中起著至關(guān)重要的作用,有利于大幅度減少需要處理的視覺冗余信息。顯著目標檢測作為預(yù)處理過程被應(yīng)用于多項領(lǐng)域當(dāng)中。在計算機視覺和計算機圖形學(xué)中,包括目標檢測與識別、圖像和視頻壓縮、圖像檢索、圖像分割等。此外,在機器人學(xué)當(dāng)中,顯著目標檢測也有廣泛應(yīng)用,如機器人定位,機器人導(dǎo)航,人機交互等。
人類視覺注意機制一般分為兩種方式:一種是快速的,自底向上的,顯著性驅(qū)動的,與具體任務(wù)無關(guān)的方式和一種速度較慢的,自頂向下的,人類意志控制的,依賴于具體任務(wù)的方式。自底向上的方式是有圖像的地層特征信息驅(qū)動的,如顏色,梯度,邊緣和邊界等。然而自頂向下的方式是由主觀因素,如年齡,文化和受經(jīng)驗指導(dǎo)的關(guān)注力等因素驅(qū)動的,這種方式因為其極高的復(fù)雜度和認知心理學(xué)發(fā)展的局限性獲得較少的關(guān)注。因此,目前主流的視頻顯著目標檢測方法是自底向上,由底層特征驅(qū)動的。
人們普遍認為,人類的視覺系統(tǒng)總是優(yōu)先響應(yīng)高對比度刺激的區(qū)域。在靜態(tài)圖像的顯著目標檢測中,基于對比度的模型已被證明是非常有效的??紤]到運動是影響視頻顯著目標檢測的主要因素,許多研究者通過擴展現(xiàn)有的使用在圖像上的空間域顯著目標檢測模型,附加利用時間域的特征來檢測時空融合的顯著目標。現(xiàn)有技術(shù)提出了一種時空域顯著目標檢測模型,該模型利用一個像素與圖像中其他像素間的運動和顏色對比度來定義該像素的顯著度?,F(xiàn)有技術(shù)檢測三種影響視覺注意的信息:對比度,空間信息,和全局對應(yīng)性以獲得集群性的顯著目標?,F(xiàn)有技術(shù)利用了多種底層特征的區(qū)域?qū)Ρ榷全@得區(qū)域的時空顯著度,以此從高幀率的輸入視頻中合成一個低幀率的視頻。
現(xiàn)有的基于圖像底層特征對比度的視頻顯著目標檢測方法中,空域特征和運動特征被聯(lián)合使用進行逐幀的顯著性計算。然而,在復(fù)雜場景下,背景干擾成為準確的檢測出的顯著目標的一個重要的障礙。背景可能會被檢測為顯著目標或者相鄰幀中的檢測到的顯著目標在時間軸上是不一致的,這顯然與客觀規(guī)律相矛盾。因此抑制背景區(qū)域?qū)︼@著目標檢測準確性的干擾,提高顯著目標的時空域一致性變得尤為重要,迫切需要相應(yīng)的解決方法。
技術(shù)實現(xiàn)要素:
本發(fā)明的上述技術(shù)問題主要是通過下述技術(shù)方案得以解決的:
一種基于動態(tài)注意中心的視頻顯著目標檢測方法,其特征在于,包括:
步驟1,初步時、空域顯著目標檢測,并得到檢測結(jié)果,包括:對輸入視頻源逐幀進行圖像分割,獲得圖像分割成數(shù)個目標塊后的分割結(jié)果;使用輸入視頻源連續(xù)兩幀之間的光流信息,獲得圖像中每個像素的運動矢量;利用圖像分割的結(jié)果和每個像素的運動矢量可以得到一個目標塊的運動矢量;利用每一個目標塊的運動矢量與其余目標塊的運動矢量的全局對比度來獲取初步的時域顯著目標,并使用歸一化的距離權(quán)重值來約束距離較遠的目標塊的影響;利用每一個目標塊與其余目標塊的顏色全局對比度來獲取初步的時域顯著目標,同樣使用歸一化的距離權(quán)重值來約束距離較遠的目標塊的影響;
步驟2,針對步驟1得到的時、空域顯著目標檢測結(jié)果進行優(yōu)化,包括:獲取前一幀圖像檢測的顯著目標的中心位置作為當(dāng)前一幀圖像的注意中心;計算當(dāng)前目標塊的中心與當(dāng)前幀的注意中心之間的歸一化距離作為距離權(quán)重值;利用這一距離權(quán)重值,對獲得的初步時、空域顯著目標檢測結(jié)果進行優(yōu)化,得到優(yōu)化后的時、空域顯著目標檢測結(jié)果;
步驟3,針對步驟2中得到的優(yōu)化結(jié)果進行時、空域顯著目標檢測結(jié)果融合,包括:計算每一個像素歸一化后的運動矢量的梯度幅值;根據(jù)獲得的梯度幅值統(tǒng)計整幅圖像內(nèi)運動矢量梯度幅值的總和,利用高斯函數(shù)計算時域顯著度圖在時、空域顯著目標融合中所占有的比例系數(shù);利用獲得的比例系數(shù),對步驟2獲得的優(yōu)化后的時、空域顯著目標檢測結(jié)果進行線性融合,獲得最終的顯著目標檢測結(jié)果。
在上述的一種基于動態(tài)注意中心的視頻顯著目標檢測方法,所述步驟1具體包括以下子步驟:
步驟1.1:對輸入視頻源逐幀進行圖像分割,獲得圖像分割成數(shù)個目標塊后的分割結(jié)果;
步驟1.2:使用輸入視頻源連續(xù)兩幀之間的光流信息,獲得圖像中每個像素的運動矢量;
步驟1.3:利用圖像分割的結(jié)果和每個像素的運動矢量可以得到一個目標塊的運動矢量;
步驟1.4:利用每一個目標塊的運動矢量與其余目標塊的運動矢量的全局對比度來獲取初步的時域顯著目標,并使用歸一化的距離權(quán)重值來約束距離較遠的目標塊的影響;
步驟1.5:利用每一個目標塊與其余目標塊的顏色全局對比度來獲取初步的時域顯著目標,同樣使用歸一化的距離權(quán)重值來約束距離較遠的目標塊的影響。
在上述的一種基于動態(tài)注意中心的視頻顯著目標檢測方法,所述步驟2具體包括以下子步驟:
步驟2.1:獲取前一幀圖像檢測的顯著目標的中心位置作為當(dāng)前一幀圖像的注意中心;
步驟2.2:計算當(dāng)前目標塊的中心與當(dāng)前幀的注意中心之間的歸一化距離作為距離權(quán)重值;
步驟2.3:利用這一距離權(quán)重值,對上述步驟1.4和步驟1.5獲得初步時、空域顯著目標檢測結(jié)果進行優(yōu)化,得到優(yōu)化后的時、空域顯著目標檢測結(jié)果。
在上述的一種基于動態(tài)注意中心的視頻顯著目標檢測方法,所述步驟3具體包括以下子步驟:
步驟3.1:計算每一個像素歸一化后的運動矢量的梯度幅值;
步驟3.2:根據(jù)步驟3.1獲得的梯度幅值統(tǒng)計整幅圖像內(nèi)運動矢量梯度幅值的總和,利用高斯函數(shù)計算時域顯著度圖在時、空域顯著目標融合中所占有的比例系數(shù);
步驟3.3:利用步驟3.2獲得的比例系數(shù),對步驟2.3獲得的優(yōu)化后的時、空域顯著目標檢測結(jié)果進行線性融合,獲得最終的顯著目標檢測結(jié)果。
在上述的一種基于動態(tài)注意中心的視頻顯著目標檢測方法,所述步驟1.3中,目標塊的運動矢量用表示,其獲得過程如公式(1)所示:
其中
代表第k個目標塊所包含的所有像素的運動矢量的平均運動矢量,n代表第k個目標塊所包含的像素數(shù)目,
wv(ok)代表第k個目標塊所歸一化的運動矢量方差;
步驟1.4中,目標塊的運動矢量用S′t(ok)表示,其獲得過程如公式(4)所示:
其中代表歸一化后的距離權(quán)重值,以消除距離較遠的目標塊對當(dāng)前目標塊的顯著度值計算的影響;Dt(ok,oi))代表歸一化后的兩個目標塊中心之間的距離;wv(ok)代表目標塊內(nèi)像素的個數(shù)以增強較大目標塊的運動對比度。
在上述的一種基于動態(tài)注意中心的視頻顯著目標檢測方法,步驟2.2中,距離權(quán)重值用wt(ok,n)表示,其獲得過程如公式(5)所示:
其中dk(ok,o′k)是當(dāng)前幀圖像的視覺注意中心與目標塊中心之間的距離;因此距離注意中心較近的目標塊將獲得較大的wt(ok,n)值,而距離注意中心較遠的目標塊將獲得較小的wt(ok,n)值。
在上述的一種基于動態(tài)注意中心的視頻顯著目標檢測方法,步驟2.3中,改進后的時域顯著目標檢測結(jié)果用St(ok)表示,其獲得過程如公式(6)所示:
St(ok)=wt(ok,n)S′t(ok) (6)
改進后的空域顯著目標檢測結(jié)果用Ss(ok)表示,其獲得過程如公式(7)所示:
Ss(ok)=wt(ok,n)S′s(ok) (7)
根據(jù)權(quán)利要求3所述的時、空域顯著目標檢測結(jié)果融合,其特征在于:
步驟3.1中,像素歸一化后的運動矢量的梯度幅值用M(x,y)表示,其獲得過程如公式(8)所示:
其中Im(x,y)代表像素的歸一化運動矢量的模長。
在上述的一種基于動態(tài)注意中心的視頻顯著目標檢測方法,步驟3.2中,時域顯著度檢測結(jié)果在時、空域顯著目標融合中所占有的比例系數(shù)用λ表示,其獲得過程如公式(9)所示:
其中μ代表合理的一幅圖像的梯度幅度的總值,σ代表收斂率;空域顯著度檢測結(jié)果在時、空域顯著目標融合中所占有的比例系數(shù)用1-λ表示。
在上述的一種基于動態(tài)注意中心的視頻顯著目標檢測方法,步驟3.3中,最終的顯著目標檢測結(jié)果用S(I)表示,其獲得過程如公式(10)所示:
S(I)=λSt(I)+(1-λ)Ss(I) (10)
其中St(I)是步驟2.3中獲得的改進后的時域顯著目標檢測結(jié)果,λ是步驟3.2中獲得的時域顯著目標檢測結(jié)果在最終的顯著目標檢測結(jié)果中所占的比例,Ss(I)是步驟2.3中獲得的改進后的空域顯著目標檢測結(jié)果,1-λ是步驟3.2中獲得的時域顯著目標檢測結(jié)果在最終的顯著目標檢測結(jié)果中所占的比例。
因此,本發(fā)明具有如下優(yōu)點:本發(fā)明可以實現(xiàn)對視頻中的顯著目標的準確檢測,有效抑制背景的干擾,在檢測結(jié)果上體現(xiàn)了較高的時空一致性。從而有效解決背景技術(shù)提到的問題,是視頻顯著目標提取后續(xù)應(yīng)用的基礎(chǔ)工作。
附圖說明
圖1是本發(fā)明實施例的基于動態(tài)注意中心的視頻顯著目標檢測流程圖。
具體實施方式
下面通過實施例,并結(jié)合附圖,對本發(fā)明的技術(shù)方案作進一步具體的說明。
實施例:
為了便于本領(lǐng)域普通技術(shù)人員理解和實施本發(fā)明,下面結(jié)合附圖及實施例對本發(fā)明作進一步的詳細描述,應(yīng)當(dāng)理解,此處所描述的實施示例僅用于說明和解釋本發(fā)明,并不用于限定本發(fā)明。
本發(fā)明提供本一種基于動態(tài)注意中心的視頻顯著目標檢測方法分為初步時、空域顯著目標檢測,基于動態(tài)注意中心的時、空域顯著目標檢測結(jié)果優(yōu)化和時、空域顯著目標融合三個階段;
本實施例的初步時、空域顯著目標檢測階段,其具體實現(xiàn)包括以下子步驟:
步驟1.1:對輸入視頻源逐幀進行圖像分割,獲得圖像分割成數(shù)個目標塊后的分割結(jié)果;
步驟1.2:使用輸入視頻源連續(xù)兩幀之間的光流信息,獲得圖像中每個像素的運動矢量;
步驟1.3:利用圖像分割的結(jié)果和每個像素的運動矢量可以得到一個目標塊的運動矢量。目標塊的運動矢量用表示,其獲得過程如公式(1)所示:
其中
代表第k個目標塊所包含的所有像素的運動矢量的平均運動矢量,n代表第k個目標塊所包含的像素數(shù)目,
wv(ok)代表第k個目標塊所歸一化的運動矢量方差;
步驟1.4:利用每一個目標塊的運動矢量與其余目標塊的運動矢量的全局對比度來獲取初步的時域顯著目標,并使用歸一化的距離權(quán)重值來約束距離較遠的目標塊的影響。目標塊的運動矢量用S′t(ok)表示,其獲得過程如公式(4)所示:
其中代表歸一化后的距離權(quán)重值,以消除距離較遠的目標塊對當(dāng)前目標塊的顯著度值計算的影響。Dt(ok,oi))代表歸一化后的兩個目標塊中心之間的距離。wv(ok)代表目標塊內(nèi)像素的個數(shù)以增強較大目標塊的運動對比度;
步驟1.5:利用每一個目標塊與其余目標塊的顏色全局對比度來獲取初步的時域顯著目標,同樣使用歸一化的距離權(quán)重值來約束距離較遠的目標塊的影響;
本實施例的基于動態(tài)注意中心的時、空域顯著目標檢測結(jié)果優(yōu)化階段,其具體實現(xiàn)包括以下子步驟:
步驟2.1:獲取前一幀圖像檢測的顯著目標的中心位置作為當(dāng)前一幀圖像的注意中心;
步驟2.2:計算當(dāng)前目標塊的中心與當(dāng)前幀的注意中心之間的歸一化距離作為距離權(quán)重值。距離權(quán)重值用wt(ok,n)表示,其獲得過程如公式(5)所示:
其中dk(ok,o′k)是當(dāng)前幀圖像的視覺注意中心與目標塊中心之間的距離。因此距離注意中心較近的目標塊將獲得較大的wt(ok,n)值,而距離注意中心較遠的目標塊將獲得較小的wt(ok,n)值;
步驟2.3:利用這一距離權(quán)重值,對上述步驟1.4和步驟1.5獲得初步時、空域顯著目標檢測結(jié)果進行優(yōu)化,得到優(yōu)化后的時、空域顯著目標檢測結(jié)果。改進后的時域顯著目標檢測結(jié)果用St(ok)表示,其獲得過程如公式(6)所示:St(ok)=wt(ok,n)S′t(ok)(6)改進后的空域顯著目標檢測結(jié)果用Ss(ok)表示,其獲得過程如公式(7)所示:
Ss(ok)=wt(ok,n)S′s(ok) (7);
本實施例的時、空域顯著目標檢測結(jié)果融合階段,其具體實現(xiàn)包括以下子步驟:
步驟3.1:計算每一個像素歸一化后的運動矢量的梯度幅值。像素歸一化后的運動矢量的梯度幅值用M(x,y)表示,其獲得過程如公式(8)所示:
其中Im(x,y)代表像素的歸一化運動矢量的模長;
步驟3.2:根據(jù)步驟3.1獲得的梯度幅值統(tǒng)計整幅圖像內(nèi)運動矢量梯度幅值的總和,利用高斯函數(shù)計算時域顯著度圖在時、空域顯著目標融合中所占有的比例系數(shù)。時域顯著度檢測結(jié)果在時、空域顯著目標融合中所占有的比例系數(shù)用λ表示,其獲得過程如公式(9)所示:
其中μ代表合理的一幅圖像的梯度幅度的總值,σ代表收斂率??沼蝻@著度檢測結(jié)果在時、空域顯著目標融合中所占有的比例系數(shù)用1-λ表示;
步驟3.3:利用步驟3.2獲得的比例系數(shù),對步驟2.3獲得的優(yōu)化后的時、空域顯著目標檢測結(jié)果進行線性融合,獲得最終的顯著目標檢測結(jié)果。最終的顯著目標檢測結(jié)果用S(I)表示,其獲得過程如公式(10)所示:
S(I)=λSt(I)+(1-λ)Ss(I) (10)
其中St(I)是步驟2.3中獲得的改進后的時域顯著目標檢測結(jié)果,λ是步驟3.2中獲得的時域顯著目標檢測結(jié)果在最終的顯著目標檢測結(jié)果中所占的比例,Ss(I)是步驟2.3中獲得的改進后的空域顯著目標檢測結(jié)果,1-λ是步驟3.2中獲得的時域顯著目標檢測結(jié)果在最終的顯著目標檢測結(jié)果中所占的比例。
本文中所描述的具體實施例僅僅是對本發(fā)明精神作舉例說明。本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員可以對所描述的具體實施例做各種各樣的修改或補充或采用類似的方式替代,但并不會偏離本發(fā)明的精神或者超越所附權(quán)利要求書所定義的范圍。