本發(fā)明屬于視覺跟蹤領(lǐng)域,涉及一種基于顏色屬性和主動(dòng)特征提取的壓縮目標(biāo)跟蹤算法。
背景技術(shù):
目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域中一個(gè)非常熱門的研究課題,原因在于它在車輛導(dǎo)航、交通監(jiān)控和人機(jī)交互等方面具有重要的意義。盡管目標(biāo)跟蹤這個(gè)課題被研究了幾十年,許許多多的跟蹤算法被提出,但是它仍然是一個(gè)非常具有挑戰(zhàn)性的問題。因?yàn)槟繕?biāo)外觀受各種因素的干擾,例如,光照變化、姿態(tài)變化、完全或部分遮擋以及突然的運(yùn)動(dòng)等等。因此,在上述因素的干擾下,如何設(shè)計(jì)一個(gè)強(qiáng)大的表觀模型是開發(fā)一個(gè)高性能跟蹤系統(tǒng)的關(guān)鍵問題。
現(xiàn)有大部分的視覺跟蹤器依賴于灰度信息或使用簡單的顏色信息表示來表示圖片,然而使用圖像的灰度信息將造成圖像信息的丟失。至今為止目標(biāo)跟蹤已經(jīng)獲得了較大的進(jìn)步,但就顏色信息來說卻只進(jìn)行了簡單的顏色空間轉(zhuǎn)換。并且利用顏色信息進(jìn)行跟蹤卻是一件很難的事情,因?yàn)轭伾畔y量的結(jié)果往往變化很大,原因在于光照變換、陰影、相機(jī)位置和目標(biāo)幾何位置的變化。因此,在跟蹤問題上,所需要的顏色特征應(yīng)該被有效的計(jì)算并擁有一定程度的光度不變性和較高的辨別能力。
跟蹤算法依據(jù)所用的表觀模型可分為生成法和鑒別法兩類。鑒別法就是將目標(biāo)跟蹤看成一個(gè)二值分類問題來區(qū)分目標(biāo)對(duì)象和背景信息,其中最具代表性的就是在線多實(shí)例學(xué)習(xí)跟蹤算法。但是它有些不足:當(dāng)分類器所選取的特征效率不高時(shí),為了使分類器擁有足夠的辨別能力,就必須從特征集中選取相對(duì)多的特征,這將加大算法的時(shí)間復(fù)雜度;選取的特征越多,包含低效特征的可能 性就越大,而低鑒別度特征勢必會(huì)降低分類器的性能而且造成模板漂移;它沒有考慮各個(gè)正樣本對(duì)包的不同貢獻(xiàn)程度,導(dǎo)致分類器提取到低效的正樣本可能性增大。
本發(fā)明提出了一種基于顏色屬性和主動(dòng)特征提取的壓縮目標(biāo)跟蹤算法。首先將顏色分為11類,就是將RGB三種顏色細(xì)化為黑色,藍(lán)色,棕色,灰色,綠色,橙色,粉紅色,紫色,紅色,白色和黃色。然后,通過主成分分析法中降維的思想將11維特征降為2維,從而達(dá)到實(shí)時(shí)的選擇比較顯著的顏色信息。為了改善在線多實(shí)例學(xué)習(xí)跟蹤算法,我們通過優(yōu)化包的費(fèi)舍爾信息函數(shù)來進(jìn)行特征提取,以便能提取到更加有效的特征。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明提出了一種基于顏色屬性和主動(dòng)特征提取的壓縮目標(biāo)跟蹤算法,目的在于克服上述現(xiàn)有技術(shù)的不足,得到一種魯棒性高、準(zhǔn)確率高的實(shí)時(shí)目標(biāo)跟蹤算法。
為了實(shí)現(xiàn)上述目的,本發(fā)明的技術(shù)方案為:
一種基于顏色屬性和主動(dòng)特征提取的壓縮目標(biāo)跟蹤算法,包括以下步驟:
第一步,取第t幀圖像,將其灰度化,再將圖像的灰度值規(guī)范到[-0.5,0.5]這個(gè)區(qū)間之內(nèi),如下所示:
其中,im為原始圖像,z_npca為規(guī)范后的圖像的灰度值;
第二步,通過由谷歌圖像搜索自動(dòng)學(xué)習(xí)到的映射圖將原始圖像由RGB色彩空間映射到11維的顏色屬性空間;
第三步,通過使以下重構(gòu)誤差最小的方式,將11維的顏色屬性子空間降到2維
其中,MN為圖像像素總數(shù),x(m,n)為位置在(m,n)處像素的11維顏色屬性,B為映射矩陣,且上述降維過程可以通過主成分分析法(PCA)來實(shí)現(xiàn);
第四步,將上述三步得到的結(jié)果即灰度特征和顏色屬性特征進(jìn)行結(jié)合,得到一個(gè)具有三通道的圖像;
第五步,將圖像中三通道的值相加之后,對(duì)圖像進(jìn)行積分,得到一個(gè)積分圖像;
第六步,粗采樣得到一個(gè)樣本集即一個(gè)圖像塊集合Drc={z|||I(z)-It-1||<rc},其中,It-1為t-1幀中目標(biāo)的位置,Δc為粗采樣的步長,設(shè)置為4,rc為采樣范圍,設(shè)置為25;
第七步,為了解決尺度問題,構(gòu)建了一個(gè)高維多尺度的圖像特征向量來表示每一個(gè)樣本。對(duì)于每一個(gè)樣本我們通過將z與一系列多尺度的矩形濾波器進(jìn)行卷積計(jì)算來表示它,矩形濾波器定義為
其中,i和j分別為矩形濾波器的寬和高。每一個(gè)濾波后的圖像用一個(gè)列向量 來表示,然后這些列向量連接起來構(gòu)成一個(gè)高維多尺度的圖像特征向量 其中,m=(wh)2,且在106~1010;
第八步,基于壓縮感知理論,通過一個(gè)非常稀疏的隨機(jī)矩陣將一個(gè)高維多尺度的圖像特征向量投影到低維空間中的一個(gè)向量上,即v=Rx。其中,隨機(jī)矩陣的定義為
其中,s=m/4,p為出現(xiàn)1,0,-1的概率。這樣我們就獲得了一個(gè)非常稀疏的隨機(jī)矩陣,且在算法開始的時(shí)候被產(chǎn)生,在之后的跟蹤過程中一直保持不變。對(duì)于中的每一行僅有c(c≤4)個(gè)元素需要計(jì)算和存儲(chǔ);
第九步,僅僅保存第八步得到的稀疏隨機(jī)矩陣中的非零元素和與其對(duì)應(yīng)的第七步得到的矩形濾波器的位置,每個(gè)樣本的特征向量中的每一個(gè)分量vi通過下式來獲得
其中,n=100,rij為稀疏隨機(jī)矩陣中的非零元素,xj為與其對(duì)應(yīng)的矩形特征,它可以通過第五步得到的積分圖像來獲得;
第十步,通過樸素貝葉斯強(qiáng)分類器H(v)對(duì)特征向量v(z)進(jìn)行分類,分類器響應(yīng)值最大值所對(duì)應(yīng)的那個(gè)樣本記為It';
第十一步,在當(dāng)前幀中,基于It'進(jìn)行精確采樣Drf={z|||I(z)-It'||<rf},其中,rf為采樣范圍,設(shè)置為10,Δf為精采樣步長,設(shè)置為1。重復(fù)前面的第七、八、九步提取壓縮后的特征向量;
第十二步,再通過樸素貝葉斯強(qiáng)分類器H(v)對(duì)特征向量v(z)進(jìn)行分類,分類器響應(yīng)值最大值所對(duì)應(yīng)的那個(gè)樣本就是跟蹤到的目標(biāo),位置記為It;
第十三步,基于It,在當(dāng)前幀中最后一次采樣得到正負(fù)樣本集 和其中并提取正負(fù)樣本的特征v(z);
第十四步,利用上步獲得的正負(fù)樣本的特征對(duì)一個(gè)個(gè)樸素貝葉斯弱分類器 進(jìn)行更新,樸素貝葉斯分類器定義為
其中,這四個(gè)參數(shù)通過以下機(jī)制被增量更新:
其中,λ>0是一個(gè)學(xué)習(xí)參數(shù),且
第十五步,基于Fisher信息矩陣構(gòu)造的準(zhǔn)則函數(shù),重新構(gòu)建一個(gè)強(qiáng)分類器H(v)也就是主動(dòng)特征提取的過程,過程如下:
強(qiáng)分類器的定義為
H(v)=αTh(v) (9)
其中,α=(α1,…,αm)T為一個(gè)權(quán)向量。
準(zhǔn)則函數(shù)定義為
F(Hk-1+αh)=F(αTh)=tr(I(α)) (10)
其中,Hk-1為前k-1個(gè)弱分類器構(gòu)成的強(qiáng)分類器,I(α)為Fisher信息矩陣,常被用于主動(dòng)學(xué)習(xí)算法中。
對(duì)于第十四步更新后的弱分類器集Φ,使(10)式準(zhǔn)則函數(shù)最小化,得到當(dāng)前最優(yōu)的弱分類器
(hk,αk)=arg min F(Hk-1+αh) (11)
從而更新的強(qiáng)分類器為一個(gè)圖像特征對(duì)應(yīng)一個(gè)弱分類器,弱分類器即圖像特征有100個(gè),通過主動(dòng)特征提取算法從中提取了30個(gè)圖像特征,即一個(gè)強(qiáng)分類器由30個(gè)弱分類器構(gòu)成。
本發(fā)明的有益效果為:該方法區(qū)別于已有方法的特色在于,將圖像從RGB色彩空間轉(zhuǎn)換到11維的顏色屬性空間,再利用主成分分析法將11維的顏色空間降為2維,然后將灰度信息和顏色特征信息結(jié)合。之后利用壓縮感知理論,將圖像的高維多尺度的特征向量通過一個(gè)非常稀疏的隨機(jī)矩陣映射到一個(gè)低維的子空間中,得到的低維特征向量每一個(gè)分量的物理意義就是加權(quán)的顏色顯著程度差。最后基于Fisher信息矩陣構(gòu)造的準(zhǔn)則函數(shù),重新構(gòu)建一個(gè)強(qiáng)分類器也就是主動(dòng)特征提取的過程。該算法在光照不變性和辨別力上取得了平衡,魯棒性較好,可以有效解決漂移問題,并能實(shí)時(shí)地完成在線跟蹤。
附圖說明
圖1是本發(fā)明方法的流程示意圖;
圖2,3,4,5為不同干擾因素下的跟蹤結(jié)果;
圖2biker中的干擾因素為:尺度變化、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)、低分辨率;
圖3basketball中的干擾因素為:光照變化、遮擋、目標(biāo)變形、背景雜斑;
圖4faceocc1中的干擾因素為:目標(biāo)被大面積的遮擋;
圖5skater中的干擾因素為:尺度變化、目標(biāo)變形;
具體實(shí)施方式
下面結(jié)合附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行詳細(xì)說明。本實(shí)施例以本發(fā)明技術(shù)方案為前提進(jìn)行實(shí)施,給出了詳細(xì)的實(shí)施方式和具體的操作過程,但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施例。
實(shí)驗(yàn)平臺(tái)為win10,實(shí)驗(yàn)環(huán)境為Matlab R2012a。本發(fā)明在四個(gè)標(biāo)準(zhǔn)的數(shù)據(jù)集上對(duì)提出的算法進(jìn)行測試:圖2的biker,圖3的basketball,圖4的faceocc1,圖5的skater。實(shí)現(xiàn)本發(fā)明的具體步驟為:
第一步,取圖像集中第t幀圖像,將其灰度化,再將圖像的灰度值規(guī)范到 [-0.5,0.5]這個(gè)區(qū)間之內(nèi),如下所示:
其中,im為原始圖像,z_npca為規(guī)范后的圖像的灰度值;
第二步,通過由谷歌圖像搜索自動(dòng)學(xué)習(xí)到的映射圖將原始圖像由RGB色彩空間映射到11維的顏色屬性空間;
第三步,通過使以下重構(gòu)誤差最小的方式,將11維的顏色屬性子空間降到2維
其中,MN為圖像像素總數(shù),x(m,n)為位置在(m,n)處像素的11維顏色屬性,B為映射矩陣,且上述降維過程可以通過主成分分析法(PCA)來實(shí)現(xiàn);
第四步,將上述三步得到的結(jié)果即灰度特征和顏色屬性特征進(jìn)行結(jié)合,得到一個(gè)具有三通道的圖像;
第五步,將圖像中三通道的值相加之后,對(duì)圖像進(jìn)行積分,得到一個(gè)積分圖像;
第六步,粗采樣得到一個(gè)樣本集即一個(gè)圖像塊集合Drc={z|||I(z)-It-1||<rc},其中,It-1為t-1幀中目標(biāo)的位置,Δc為粗采樣的步長,設(shè)置為4,rc為采樣范圍,設(shè)置為25;
第七步,為了解決尺度問題,構(gòu)建了一個(gè)高維多尺度的圖像特征向量來表示每一個(gè)樣本。對(duì)于每一個(gè)樣本我們通過將z與一系列多尺度的矩形濾波器進(jìn)行卷積計(jì)算來表示它,矩形濾波器定義為
其中,i和j分別為矩形濾波器的寬和高。每一個(gè)濾波后的圖像用一個(gè)列向量 來表示,然后這些列向量連接起來構(gòu)成一個(gè)高維多尺度的圖像特征向量 其中,m=(wh)2,且在106~1010;
第八步,基于壓縮感知理論,通過一個(gè)非常稀疏的隨機(jī)矩陣將一個(gè)高維多尺度的圖像特征向量投影到低維空間中的一個(gè)向量上,即v=Rx。其中,隨機(jī)矩陣的定義為
其中,s=m/4,p為出現(xiàn)1,0,-1的概率。這樣我們就獲得了一個(gè)非常稀疏的隨機(jī)矩陣,且在算法開始的時(shí)候被產(chǎn)生,在之后的跟蹤過程中一直保持不變。對(duì)于中的每一行僅有c(c≤4)個(gè)元素需要計(jì)算和存儲(chǔ);
第九步,僅僅保存第八步得到的稀疏隨機(jī)矩陣中的非零元素和與其對(duì)應(yīng)的第七步得到的矩形濾波器的位置,每個(gè)樣本的特征向量中的每一個(gè)分量vi通過下式來獲得
其中,n=100,rij為稀疏隨機(jī)矩陣中的非零元素,xj為與其對(duì)應(yīng)的矩形特征,它可以通過第五步得到的積分圖像來獲得;
第十步,通過樸素貝葉斯強(qiáng)分類器H(v)對(duì)特征向量v(z)進(jìn)行分類,分類器響應(yīng)值最大值所對(duì)應(yīng)的那個(gè)樣本記為It';
第十一步,在當(dāng)前幀中,基于It'進(jìn)行精確采樣Drf={z|||I(z)-It'||<rf},其中,rf為采樣范圍,設(shè)置為10,Δf為精采樣步長,設(shè)置為1。重復(fù)前面的第七、八、九步提取壓縮后的特征向量;
第十二步,再通過樸素貝葉斯強(qiáng)分類器H(v)對(duì)特征向量v(z)進(jìn)行分類,分類 器響應(yīng)值最大值所對(duì)應(yīng)的那個(gè)樣本就是跟蹤到的目標(biāo),位置記為It;
第十三步,基于It,在當(dāng)前幀中最后一次采樣得到正負(fù)樣本集Dα={z||I(z)-It||<α}和其中并提取正負(fù)樣本的特征v(z);
第十四步,利用上步獲得的正負(fù)樣本的特征對(duì)一個(gè)個(gè)樸素貝葉斯弱分類器進(jìn)行更新,樸素貝葉斯分類器定義為
其中,這四個(gè)參數(shù)通過以下機(jī)制被增量更新:
其中,λ>0是一個(gè)學(xué)習(xí)參數(shù),且
第十五步,基于Fisher信息矩陣構(gòu)造的準(zhǔn)則函數(shù),重新構(gòu)建一個(gè)強(qiáng)分類器H(v)也就是主動(dòng)特征提取的過程,過程如下:
強(qiáng)分類器的定義為
H(v)=αTh(v) (9)
其中,α=(α1,…,αm)T為一個(gè)權(quán)向量。
準(zhǔn)則函數(shù)定義為
F(Hk-1+αh)=F(αTh)=tr(I(α)) (10)
其中,Hk-1為前k-1個(gè)弱分類器構(gòu)成的強(qiáng)分類器,I(α)為Fisher信息矩陣,常被用于主動(dòng)學(xué)習(xí)算法中。
對(duì)于第十四步更新后的弱分類器集Φ,使(10)式準(zhǔn)則函數(shù)最小化,得到當(dāng) 前最優(yōu)的弱分類器
(hk,αk)=arg min F(Hk-1+αh) (11)
從而更新的強(qiáng)分類器為一個(gè)圖像特征對(duì)應(yīng)一個(gè)弱分類器,弱分類器即圖像特征有100個(gè),通過主動(dòng)特征提取算法從中提取了30個(gè)圖像特征,即一個(gè)強(qiáng)分類器由30個(gè)弱分類器構(gòu)成。