專(zhuān)利名稱(chēng)：一種視頻運(yùn)動(dòng)目標(biāo)分割與跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻圖像處理與控制技術(shù)的方法，尤其是對(duì)視頻運(yùn)動(dòng)目標(biāo)分割與跟蹤的圖像信息處理方法。
背景技術(shù)：
隨著計(jì)算機(jī)技術(shù)、圖像處理技術(shù)、控制技術(shù)的飛速發(fā)展，視頻被越來(lái)越廣泛的應(yīng)用到社會(huì)的各個(gè)方面，對(duì)視頻的分析處理，已成為當(dāng)前圖像處理領(lǐng)域的研究熱點(diǎn)?；谝曨l處理的各種應(yīng)用系統(tǒng)，如機(jī)器人視覺(jué)導(dǎo)航系統(tǒng)、視頻監(jiān)控系統(tǒng)、基于對(duì)象的視頻編碼與傳輸?shù)龋潢P(guān)鍵的視頻處理技術(shù)就是對(duì)視頻序列的運(yùn)動(dòng)目標(biāo)或?qū)ο筮M(jìn)行分割或跟蹤。因此，在國(guó)內(nèi)外很多公司、研究機(jī)構(gòu)以及學(xué)術(shù)界都對(duì)視頻運(yùn)動(dòng)目標(biāo)的分割與跟蹤方法給予極大的關(guān)注和廣泛的深入研究。盡管人們對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)或分割以及跟蹤等方面做了大量的研究，提出了各種類(lèi)型的算法，但提出的算法基本都是針對(duì)特定場(chǎng)景應(yīng)用的，尚無(wú)通用的高效的分割與跟蹤理論。
在目標(biāo)的分割方面，目前經(jīng)典的運(yùn)動(dòng)目標(biāo)檢測(cè)方法有基于二幀或三幀的時(shí)域差分法、減背景法、光流法等。時(shí)域差分法只能檢測(cè)出目標(biāo)在幀間的相對(duì)運(yùn)動(dòng)部分，不能分割出完整的運(yùn)動(dòng)目標(biāo)，特別在目標(biāo)色彩單一的情況下；減背景法能較好的分割出完整的運(yùn)動(dòng)目標(biāo)，但背景對(duì)光照、背景物體的移入移出等非常敏感，因此，實(shí)時(shí)的參考背景的生成是減背景法研究的重點(diǎn)；光流法是一種以灰度梯度基本不變或亮度恒定的約束假設(shè)為基礎(chǔ)的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，通過(guò)光流場(chǎng)來(lái)分割目標(biāo)，其對(duì)環(huán)境光照的變化較為敏感，計(jì)算量大，一般需要將算法進(jìn)行硬件實(shí)現(xiàn)，不適合實(shí)時(shí)應(yīng)用場(chǎng)合。
在目標(biāo)的跟蹤方面，常用的目標(biāo)跟蹤方法可大致分為四個(gè)大類(lèi)基于模型的跟蹤、基于區(qū)域的跟蹤、基于特征的跟蹤和基于活動(dòng)輪廓的跟蹤。基于模型的跟蹤可以把目標(biāo)表示為2-D輪廓或3-D模型，2-D模型的缺點(diǎn)就是受攝像機(jī)拍攝角度的影響，當(dāng)攝像機(jī)角度變化或物體旋轉(zhuǎn)、遮擋時(shí)，其2-D模型的表達(dá)也會(huì)隨之變化，3-D模型能較好的解決上述問(wèn)題，但其計(jì)算復(fù)雜，并不是很常用。基于區(qū)域的跟蹤方法通過(guò)對(duì)當(dāng)前幀和前一幀的運(yùn)動(dòng)區(qū)域的顏色、紋理等信息進(jìn)行相關(guān)比較，尋找出每一個(gè)運(yùn)動(dòng)相關(guān)連的區(qū)域，實(shí)現(xiàn)目標(biāo)的識(shí)別和跟蹤。基于特征的跟蹤方法是采用目標(biāo)上的可區(qū)分的點(diǎn)和線作為子特征來(lái)實(shí)現(xiàn)跟蹤，該方法由于采用了特征點(diǎn)信息，在部分被遮擋情況下，如果特征點(diǎn)信息還能被正確獲取，則系統(tǒng)仍能進(jìn)行穩(wěn)定跟蹤?；诨顒?dòng)輪廓的跟蹤方法或Snake算法就是直接獲取目標(biāo)的輪廓，通過(guò)對(duì)輪廓點(diǎn)進(jìn)行動(dòng)態(tài)修改來(lái)實(shí)現(xiàn)跟蹤，該方法需要對(duì)輪廓進(jìn)行初始化，且初始化的輪廓必須在目標(biāo)的邊緣附近，否則很難進(jìn)行正確跟蹤。
從視頻的采集方式上看，視頻采集有兩種形式一種是基于攝像機(jī)固定情況下的視頻采集，另一種是基于攝像機(jī)運(yùn)動(dòng)情況下的視頻采集。不同的視頻采集方式對(duì)目標(biāo)的分割方法是有影響的，攝像機(jī)固定情況下的采集，其視場(chǎng)背景是不隨攝像機(jī)運(yùn)動(dòng)的，而攝像機(jī)運(yùn)動(dòng)情況下的采集，視場(chǎng)中目標(biāo)在運(yùn)動(dòng)，背景也在變化，此時(shí)對(duì)目標(biāo)分割時(shí)需要先進(jìn)行攝像機(jī)的運(yùn)動(dòng)補(bǔ)償處理。本發(fā)明的運(yùn)動(dòng)目標(biāo)分割和跟蹤方法主要是針對(duì)在攝像機(jī)固定情況下進(jìn)行的對(duì)視頻序列中的運(yùn)動(dòng)目標(biāo)實(shí)施分割與跟蹤。
研究現(xiàn)狀目標(biāo)分割與跟蹤是視頻處理領(lǐng)域的重要研究?jī)?nèi)容，是當(dāng)前視頻研究的熱點(diǎn)。目前提出的各種分割和跟蹤方法，雖然在特定條件下能達(dá)到一定的效果，但精確的分割和快速穩(wěn)定的跟蹤仍然是視頻分析處理中的一個(gè)頗具挑戰(zhàn)性的課題。一般的分割與跟蹤方法都是針對(duì)特定場(chǎng)景進(jìn)行的，通用的自動(dòng)目標(biāo)分割與跟蹤方法，特別是在復(fù)雜場(chǎng)景中對(duì)多個(gè)剛體或非剛體目標(biāo)進(jìn)行自動(dòng)快速與穩(wěn)定跟蹤時(shí)，還有很多問(wèn)題尚待解決。參見(jiàn)[1]孫煬，羅瑜.等.一種基于分裂-合并方法的中醫(yī)舌像區(qū)域分割算法及其實(shí)現(xiàn)[J].中國(guó)圖象圖形學(xué)報(bào)；[2]Rosin P L，Ellis T.Image Difference Threshold Strategies andShadow Detection(圖像差別閾值與陰影檢測(cè))[C].Proc.of the 6thBritish Machine VisionConference，1994.347-356.；[3]CU CCH IA RA R，GRANA C，PICCARDIM，et al.Improvingshadow suppression in moving object detection with HSV color information(在HSV彩色運(yùn)動(dòng)目標(biāo)檢測(cè)中的改進(jìn)圖像壓縮)[A].Proc of IEEE Int’l Conference，on Intelligent Transportation Systems(智能輸運(yùn)系統(tǒng))[C].OaklandIEEE，2001334-339。亦參見(jiàn)www.cs.unc.edu/`welch。

發(fā)明內(nèi)容
本發(fā)明目的是提出一種新穎的視頻運(yùn)動(dòng)目標(biāo)分割和跟蹤方法，能適應(yīng)在復(fù)雜場(chǎng)景、多運(yùn)動(dòng)目標(biāo)情況下，實(shí)現(xiàn)對(duì)視頻序列中的剛體或非剛體運(yùn)動(dòng)目標(biāo)進(jìn)行正確的分割和跟蹤。
本發(fā)明的目的是這樣實(shí)現(xiàn)的一種視頻運(yùn)動(dòng)目標(biāo)分割和跟蹤方法，采用減背景方法分割運(yùn)動(dòng)目標(biāo)，再進(jìn)行目標(biāo)特征的提取和特征識(shí)別，實(shí)現(xiàn)對(duì)目標(biāo)的穩(wěn)定跟蹤；其中，背景的模型是一個(gè)實(shí)時(shí)更新的模型，采用基于自組織特征映射SOFM網(wǎng)絡(luò)和小區(qū)域標(biāo)記合并的場(chǎng)景分割算法和視頻運(yùn)動(dòng)信息相結(jié)合的方式，自適應(yīng)生成首幀背景；特征表達(dá)時(shí)，采用兩種表達(dá)形式參數(shù)化特征和像素級(jí)空域特征；目標(biāo)跟蹤時(shí)，采用由粗到細(xì)逐步精細(xì)的匹配策略，通過(guò)粗匹配和細(xì)匹配，實(shí)現(xiàn)對(duì)目標(biāo)的識(shí)別和跟蹤；本發(fā)明同時(shí)對(duì)系統(tǒng)進(jìn)行多目標(biāo)跟蹤時(shí)的目標(biāo)相會(huì)、分離以及目標(biāo)進(jìn)入視場(chǎng)、目標(biāo)消失等進(jìn)行了處理。
所述自組織特征映射(SOFM)神經(jīng)網(wǎng)絡(luò)和小區(qū)域標(biāo)記合并的場(chǎng)景分割算法和視頻運(yùn)動(dòng)信息相結(jié)合的方式是先對(duì)網(wǎng)絡(luò)設(shè)置一較大的輸出類(lèi)別數(shù)，對(duì)其進(jìn)行訓(xùn)練，將其對(duì)輸入的圖像進(jìn)行過(guò)分割，然后對(duì)分割出來(lái)的各區(qū)域采用一種小區(qū)域標(biāo)記的多度量模糊判據(jù)進(jìn)行迭代合并，獲得最終分割結(jié)果；SOFM網(wǎng)絡(luò)由兩層組成，分別為輸入層和競(jìng)爭(zhēng)層，輸入層神經(jīng)元數(shù)為n，競(jìng)爭(zhēng)層神經(jīng)元為m，每個(gè)輸入節(jié)點(diǎn)與輸出節(jié)點(diǎn)之間有可變的權(quán)值連接，將任意維的輸入模式在競(jìng)爭(zhēng)層輸出映射成一維或二維離散圖形，并保持其拓?fù)浣Y(jié)構(gòu)不變。
用場(chǎng)景圖像數(shù)據(jù)對(duì)SOFM網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使SOFM的某一特定神經(jīng)元對(duì)某種灰度特征敏感，當(dāng)待分割圖像被輸入網(wǎng)絡(luò)時(shí)，根據(jù)數(shù)據(jù)的灰度特征就可以對(duì)數(shù)據(jù)進(jìn)行自組織聚類(lèi)，完成對(duì)圖像進(jìn)行區(qū)域分割。
經(jīng)SOFM神經(jīng)網(wǎng)絡(luò)聚類(lèi)后輸出的圖像被硬分割成一個(gè)固定個(gè)數(shù)的區(qū)域，每個(gè)像素根據(jù)其灰度特征歸屬于某一特定聚類(lèi)；先對(duì)圖像進(jìn)行過(guò)分割，然后按類(lèi)提取并進(jìn)行分塊和標(biāo)記，獲得有標(biāo)記的小區(qū)域，再對(duì)已標(biāo)記小區(qū)域采用多度量模糊準(zhǔn)則進(jìn)行合并。
采用動(dòng)態(tài)模板更新方法，當(dāng)跟蹤的目標(biāo)與該目標(biāo)的模板的匹配度量小于設(shè)定閾值時(shí)，重新采樣并更新模板參數(shù)；模板更新的條件由以下因素決定Tadptive、Ttrack、Ck其中，Tadptive代表模板要求更新的匹配度量閾值，0＜Ttrack＜Tadptive＜1；Ttrack代表模板與目標(biāo)匹配的最低允許值，如果某一目標(biāo)與模板的匹配度量小于該閾值，認(rèn)為該目標(biāo)與次模板不匹配；Ck是用Kalman濾波器[7]進(jìn)行預(yù)測(cè)得到的該目標(biāo)的質(zhì)心點(diǎn)位置；經(jīng)背景減處理后，得到了運(yùn)動(dòng)目標(biāo)的區(qū)域，通過(guò)Kalman濾波器預(yù)測(cè)定位某一目標(biāo)在下一幀中的質(zhì)心點(diǎn)位置，搜索該點(diǎn)附近的運(yùn)動(dòng)區(qū)域，如果目標(biāo)的空域象素和其空域模板的相關(guān)匹配度量ta符合條件Ttrack＜ta＜Tadptive，則重新對(duì)該目標(biāo)進(jìn)行模板提取及其模板特征表達(dá)，實(shí)現(xiàn)模板的自動(dòng)更新；通過(guò)將當(dāng)前幀圖像和背景幀圖像進(jìn)行減運(yùn)算，提取出運(yùn)動(dòng)的目標(biāo)，計(jì)算目標(biāo)的特征向量，將特征向量與現(xiàn)有的模板特征向量進(jìn)行比較，如果其與任一現(xiàn)有的模板都不匹配，則認(rèn)為視場(chǎng)中進(jìn)入了一個(gè)新的運(yùn)動(dòng)目標(biāo)，將其賦予新的編號(hào)并提取其模板后實(shí)施跟蹤；如果某一運(yùn)動(dòng)目標(biāo)在設(shè)定的時(shí)間后還沒(méi)有再出現(xiàn)，認(rèn)為該目標(biāo)已經(jīng)消失，刪除其模板特征向量及空域模板圖像，以釋放存儲(chǔ)空間；采用運(yùn)動(dòng)目標(biāo)的參數(shù)化特征和象素級(jí)空域特征進(jìn)行多特征逐步精細(xì)模糊匹配，由粗匹配和細(xì)匹配兩個(gè)過(guò)程組成粗匹配是采用目標(biāo)的象素級(jí)空域特征和現(xiàn)存的空域模板進(jìn)行相關(guān)運(yùn)算，用多個(gè)閾值界定匹配的相關(guān)度范圍，根據(jù)相關(guān)度的值決定是否要進(jìn)行進(jìn)一步的細(xì)匹配；細(xì)匹配過(guò)程采用目標(biāo)和模板的參數(shù)化特征向量進(jìn)行相似度判別，從而實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤跟蹤的同時(shí)，計(jì)算出目標(biāo)的質(zhì)心點(diǎn)位置，在質(zhì)心點(diǎn)位置對(duì)目標(biāo)進(jìn)行標(biāo)號(hào)，并用Kalman濾波器對(duì)此目標(biāo)在下一幀中的質(zhì)心點(diǎn)位置進(jìn)行預(yù)測(cè)，用于對(duì)目標(biāo)間的“相會(huì)”處理。
本發(fā)明的實(shí)驗(yàn)結(jié)果表明，該方法在場(chǎng)景復(fù)雜、多運(yùn)動(dòng)目標(biāo)情況下也能實(shí)現(xiàn)對(duì)視頻序列中的剛體或非剛體運(yùn)動(dòng)目標(biāo)進(jìn)行正確的分割和跟蹤。
四

圖1是本發(fā)明目標(biāo)分割與跟蹤算法的主要流程示意圖；圖2是本發(fā)明Hall Monitor序列第25幀的分割結(jié)果；圖3是本發(fā)明Hall Monitor序列第50幀的分割結(jié)果，各幅照片及說(shuō)明體現(xiàn)了過(guò)程；
圖4是本發(fā)明在Hall Monitor序列中進(jìn)行運(yùn)動(dòng)目標(biāo)跟蹤的結(jié)果；圖5是本發(fā)明實(shí)時(shí)采集的視頻序列的實(shí)驗(yàn)結(jié)果；圖6是本發(fā)明首幀參考背景生成的算法流程圖；圖7是本發(fā)明背景更新及運(yùn)動(dòng)目標(biāo)分割流程框圖；圖8是本發(fā)明新目標(biāo)進(jìn)入、模板更新及匹配跟蹤流程框圖五、具體實(shí)現(xiàn)方式1.1基于SOFM網(wǎng)絡(luò)和小區(qū)域標(biāo)記合并的場(chǎng)景分割算法為了獲得一種場(chǎng)景圖像的自動(dòng)分割方法，能自適應(yīng)對(duì)從簡(jiǎn)單(少目標(biāo))到復(fù)雜(多目標(biāo))場(chǎng)景圖像的分割處理，本發(fā)明提出了一種基于SOFM網(wǎng)絡(luò)和小區(qū)域標(biāo)記合并的場(chǎng)景圖像自動(dòng)分割方法，由于自組織特征映射(SOFM)網(wǎng)絡(luò)[1]能通過(guò)競(jìng)爭(zhēng)學(xué)習(xí)對(duì)輸入的模式進(jìn)行無(wú)監(jiān)督自組織聚類(lèi)，很適合于對(duì)象素具有不同特征的場(chǎng)景圖像進(jìn)行自動(dòng)聚類(lèi)分割，但SOFM網(wǎng)絡(luò)的輸出類(lèi)別數(shù)的大小是一個(gè)難以確定的問(wèn)題，一般根據(jù)經(jīng)驗(yàn)來(lái)設(shè)置，為了避免輸出的類(lèi)別數(shù)過(guò)大或過(guò)小對(duì)圖像造成誤分割，本發(fā)明通過(guò)采用Kohonen的SOFM神經(jīng)網(wǎng)絡(luò)，先對(duì)網(wǎng)絡(luò)設(shè)置一較大的輸出類(lèi)別數(shù)，對(duì)其進(jìn)行訓(xùn)練，將其對(duì)輸入的圖像進(jìn)行過(guò)分割，然后對(duì)分割出來(lái)的各區(qū)域采用一種小區(qū)域標(biāo)記的多度量模糊判據(jù)進(jìn)行迭代合并，獲得最終分割結(jié)果。實(shí)驗(yàn)表明，該方法克服了以上缺點(diǎn)，可應(yīng)用于對(duì)場(chǎng)景圖像從簡(jiǎn)單(少目標(biāo))到復(fù)雜(多目標(biāo))情況下的自適應(yīng)自動(dòng)分割處理。
1.1.1自組織特征映射網(wǎng)絡(luò)結(jié)構(gòu)及其學(xué)習(xí)方法自組織特征映射(SOFM)[1]網(wǎng)絡(luò)是由芬蘭赫爾辛基大學(xué)神經(jīng)網(wǎng)絡(luò)專(zhuān)家Kohonen教授提出的，它是一種競(jìng)爭(zhēng)式學(xué)習(xí)、無(wú)教師示教聚類(lèi)的神經(jīng)網(wǎng)絡(luò)，通過(guò)模擬大腦神經(jīng)系統(tǒng)自組織特征映射的功能，在學(xué)習(xí)中能無(wú)監(jiān)督的進(jìn)行自組織學(xué)習(xí)。Kohonen的SOFM網(wǎng)絡(luò)由兩層組成，分別為輸入層和競(jìng)爭(zhēng)層，輸入層神經(jīng)元數(shù)為n，競(jìng)爭(zhēng)層神經(jīng)元為m，每個(gè)輸入節(jié)點(diǎn)與輸出節(jié)點(diǎn)之間有可變的權(quán)值連接，將任意維的輸入模式在競(jìng)爭(zhēng)層輸出映射成一維或二維離散圖形，并保持其拓?fù)浣Y(jié)構(gòu)不變。
設(shè)X＝(x0，x1，x2，…，xn)Rp是任一有限的數(shù)據(jù)集合，Rp是p維實(shí)數(shù)特征向量空間，對(duì)任一輸入xi，如果某一神經(jīng)元的節(jié)點(diǎn)矢量與輸入值相接近，則該神經(jīng)元本身及其附近神經(jīng)元將會(huì)被有選擇的優(yōu)化、激活，該神經(jīng)元的權(quán)值wij(t)被加強(qiáng)而其附近神經(jīng)元的權(quán)值被抑制，從而使得某一神經(jīng)元對(duì)特定的輸入敏感，而其他神經(jīng)元對(duì)該輸入不敏感。對(duì)圖像數(shù)據(jù)而言，不同的場(chǎng)景其灰度分布都會(huì)有所差別，用場(chǎng)景圖像數(shù)據(jù)對(duì)SOFM網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使SOFM的某一特定神經(jīng)元對(duì)某種灰度特征敏感，當(dāng)待分割圖像被輸入網(wǎng)絡(luò)時(shí)，根據(jù)數(shù)據(jù)的灰度特征就可以對(duì)數(shù)據(jù)進(jìn)行自組織聚類(lèi)，完成對(duì)圖像進(jìn)行區(qū)域分割?；诖嗽恚景l(fā)明采用一維的SOFM神經(jīng)網(wǎng)絡(luò)對(duì)圖像數(shù)據(jù)進(jìn)行自組織聚類(lèi)，以下是聚類(lèi)的Kohonen[1]學(xué)習(xí)算法第一步隨機(jī)的選取一個(gè)較小的值vj(0)作為輸入神經(jīng)元到輸出神經(jīng)元的初始權(quán)值，并使wij(0)＝vj(0)，j＝1，2，…，m；i＝1，2，…，n。初始化輸出神經(jīng)元j的鄰接神經(jīng)元的集合NE(0)，設(shè)置迭代次數(shù)T，初始化迭代次數(shù)t＝0，初始化學(xué)習(xí)參數(shù)η(0)，0＜ηt(t)＜1。
第二步提供一個(gè)新的輸入模式。
第三步計(jì)算輸入和輸出神經(jīng)元之間的各權(quán)值矢量的Euclidean距離dj=Σi=1η[xi(t)-wij(t)]2,]]>j＝1，2，…，m。選擇Euclidean距離最小的神經(jīng)元節(jié)點(diǎn)j作為競(jìng)爭(zhēng)獲勝節(jié)點(diǎn)j*。
第四步根據(jù)公式(1)修改獲勝神經(jīng)元節(jié)點(diǎn)及其鄰近神經(jīng)元NE(t)節(jié)點(diǎn)的權(quán)值wij(t+1)＝wij(t)+η(t)[xi(t)-wij，(t)] (1)式中，j∈NEj*(t)]]>，NEj*(t)是獲勝神經(jīng)元節(jié)點(diǎn)j*的鄰近神經(jīng)元的集合；η(t)是學(xué)習(xí)系數(shù)；t為迭代次數(shù)。
第五步未輸入所有模式，轉(zhuǎn)第二步。
第六步t遞增，修改η(t)及NE(t)，若t＝T則停止，否則轉(zhuǎn)第二步。
1.1.2 區(qū)域多度量模糊合并準(zhǔn)則經(jīng)SOFM神經(jīng)網(wǎng)絡(luò)聚類(lèi)后輸出的圖像被硬分割成一個(gè)固定個(gè)數(shù)的區(qū)域，每個(gè)像素根據(jù)其灰度特征歸屬于某一特定聚類(lèi)。對(duì)于場(chǎng)景圖像，當(dāng)場(chǎng)景目標(biāo)數(shù)量較多時(shí)，如果輸出神經(jīng)元較少，會(huì)導(dǎo)致不能正確的分割目標(biāo)，而當(dāng)場(chǎng)景目標(biāo)數(shù)量較少時(shí)，較多的輸出神經(jīng)元聚類(lèi)又會(huì)導(dǎo)致圖像過(guò)分割，把本該屬于同一目標(biāo)的場(chǎng)景分割到兩個(gè)或多個(gè)區(qū)域類(lèi)別中去。為了能自動(dòng)適應(yīng)場(chǎng)景復(fù)雜度的變化，本發(fā)明根據(jù)SOFM神經(jīng)網(wǎng)絡(luò)聚類(lèi)的特點(diǎn)，先對(duì)圖像進(jìn)行過(guò)分割，然后按類(lèi)提取并進(jìn)行分塊和標(biāo)記，獲得有標(biāo)記的小區(qū)域，再對(duì)己標(biāo)記小區(qū)域采用多度量模糊準(zhǔn)則進(jìn)行合并，獲得了較好的分割效果，以下是合并準(zhǔn)則的具體描述。
設(shè)M={m1(1)‾,m1(2)‾,...,m1(k)‾}]]>為分割出來(lái)的l類(lèi)輸出的己標(biāo)記的圖像小區(qū)域的集合，ml(i)∈M，(i＝1，2，…，k；l＝1，2，…，c)代表第l類(lèi)第i個(gè)有標(biāo)記的圖像小區(qū)域，c表示區(qū)域類(lèi)別數(shù)，則兩個(gè)圖像小區(qū)域的合并謂詞H由區(qū)域的灰度均勻性、區(qū)域距離、鄰接關(guān)系等聯(lián)合決定，因此多度量模糊合并準(zhǔn)則可用如下模糊語(yǔ)言進(jìn)行描述①如果合并后的區(qū)域灰度均勻性較好，則合并該區(qū)域；②如果兩區(qū)域距離比較近，則考慮是否合并，如果較遠(yuǎn)則不支持合并；③如果兩區(qū)域是鄰接的，可以考慮合并，否則不支持合并。
(1)區(qū)域灰度均勻性判據(jù)對(duì)于某一類(lèi)別區(qū)域R，設(shè)像素?cái)?shù)為N，f(i，j)表示坐標(biāo)為(i，j)的圖像灰度值，則該區(qū)域的灰度均值表示為
g‾=1NΣi,j∈Rf(i,j)---(2)]]>區(qū)域R的均勻性測(cè)度可表示為MAXi,j∈R|f(i,j)-g‾|<T---(3)]]>式中f(i，j)為灰度值，T為閾值，當(dāng)區(qū)域內(nèi)所有像素與區(qū)域灰度平均值的差值都小于閾值T時(shí)，認(rèn)為該區(qū)域是均勻的[2]。本發(fā)明中由于采用大的分割類(lèi)別數(shù)，經(jīng)SOFM聚類(lèi)后，各分割類(lèi)別內(nèi)的象素具有較大的相似性，因此本發(fā)明采用兩區(qū)域內(nèi)各自所有象素與區(qū)域灰度平均值的差值的平方和的差來(lái)度量?jī)蓞^(qū)域的相似度，用合并后區(qū)域內(nèi)的灰度值與均值差的平方和來(lái)衡量區(qū)域合并的合理性，見(jiàn)公式(3)和(4)。
ϵ=Σi,j∈R1(f1(i,j)-g1‾)2-Σi,j∈R2(f2(i,j)-g2‾)2---(3),ϵ1,2=Σi,j∈R1∪R2(f1,2(i,j)-g1,2‾)2---(4)]]>其中公式(3)和(4)中的 分別是區(qū)域R1、R2的灰度均值， 是兩區(qū)域合并后的灰度均值，fX(i，j)，X∈[1，2，(1，2)]表示X所對(duì)應(yīng)區(qū)域內(nèi)(i，j)處的灰度值，ε表示兩區(qū)域的灰度差異程度，ε值越小表示兩區(qū)域的灰度值越接近。ε1，2用于度量合并后區(qū)域的灰度均勻性程度。
如果ε和ε1，2的值同時(shí)達(dá)到設(shè)置要求則合并該區(qū)域(Hg＝ture)，否則放棄合并，采用這樣的區(qū)域均勻性合并條件能對(duì)合并結(jié)果提供一種反饋機(jī)制，可以實(shí)時(shí)修正合并結(jié)果，避免誤合并。
(2)區(qū)域空間距離判據(jù)及鄰接關(guān)系本發(fā)明中用SOFM神經(jīng)網(wǎng)絡(luò)各聚類(lèi)的權(quán)值作為區(qū)域間的距離。設(shè)w(i)，w(j)，(i，j＝1，2，…，c)是c個(gè)聚類(lèi)區(qū)域中輸出為第i類(lèi)和第j類(lèi)區(qū)域的權(quán)值，如果|w(i)-w(j)|＜εd，則認(rèn)為兩區(qū)域距離比較近(Hd＝ture)，可考慮是否合并，εd是一閾值，可由實(shí)驗(yàn)決定。
對(duì)可以考慮合并的兩類(lèi)區(qū)域，如果在同一標(biāo)記位置的小區(qū)域中都有象素存在，則認(rèn)為兩區(qū)域是鄰接的(Ha＝ture)，可以考慮合并。
因此，合并謂詞H為H＝Hg∧Hd∧Ha，如果H為真，則合并區(qū)域，否則不合并。
1.1.3 場(chǎng)景分割算法為了適應(yīng)從簡(jiǎn)單到復(fù)雜場(chǎng)景圖象的自動(dòng)分割，本發(fā)明采用的圖象自動(dòng)分割算法通過(guò)三大步驟來(lái)完成第一步 SOFM分類(lèi)(1)將大小為M×N的圖象I進(jìn)行一維化處理，記為I1(i)，i＝0，1，…，M×N，。
(2)構(gòu)造一個(gè)有M×N個(gè)輸入神經(jīng)元的一維SOFM神經(jīng)網(wǎng)絡(luò)，確定分割類(lèi)別數(shù)為C，用數(shù)據(jù)I1(i)根據(jù)上述的Kohonen算法對(duì)該網(wǎng)絡(luò)進(jìn)行訓(xùn)練和自組織聚類(lèi)。
(3)二維化處理聚類(lèi)結(jié)果，還原成與原圖大小一樣的圖象，記為IA。
第二步 分塊與標(biāo)記(1)按聚類(lèi)權(quán)值由小到大從IA中提取出相應(yīng)區(qū)域，將區(qū)域與原圖比較，把非此區(qū)域的象素灰度值置“0”，區(qū)域?qū)?yīng)的象素灰度值采用原圖灰度值，得到C幅圖象Ib(i)，i＝0，1，…，C。
(2)將圖象Ib(i)分成16×16個(gè)象素大小的塊，遍歷所有塊，如果該塊包含有灰度值為“0”的象素，則用i標(biāo)記此塊，否則不標(biāo)記。
第三步 多度量模糊合并(1)從Ib(i)中任取兩幅相鄰權(quán)值的分塊圖象，遍歷所有16×16塊，如果兩幅圖象在同一16×16塊中都有標(biāo)記，則對(duì)該塊按第2節(jié)的準(zhǔn)則計(jì)算其合并謂詞，決定是否合并。處理后圖象記為Is。
(2)如果所有權(quán)值的分塊圖象都計(jì)算完畢，則結(jié)束，否則轉(zhuǎn)(1)。Is為最后分割結(jié)果。
1.2 背景自適應(yīng)生成在通常的監(jiān)控圖像中，要隨時(shí)得到一張完全沒(méi)有運(yùn)動(dòng)目標(biāo)的純背景幀圖像一般是不太方便的，但通過(guò)減背景進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)分割時(shí)，背景幀圖像又是必不可少的。本發(fā)明基于如下假設(shè)，攝像機(jī)是固定的，背景的變化主要由光照變化引起，如室外場(chǎng)景在氣候變化或時(shí)間不同時(shí)的光照的緩慢改變，室內(nèi)場(chǎng)景的燈光突然打開(kāi)或關(guān)閉等變化；背景一般具有局部一致的紋理結(jié)構(gòu)，當(dāng)目標(biāo)存在其中時(shí)，被目標(biāo)遮擋的背景與目標(biāo)周?chē)谋尘霸谏士臻g和紋理結(jié)構(gòu)上一般是相似的。因此可通過(guò)插值處理形成目標(biāo)遮擋部分的近似背景，隨著時(shí)間的變化，背景幀被不斷的動(dòng)態(tài)調(diào)整，將逐步獲得較接近實(shí)際背景的背景幀圖像。
1.2.1 首幀背景的生成首先采用靜態(tài)的圖像分割方法對(duì)首幀圖像進(jìn)行分割，主要是分割出特征相似的區(qū)域，再結(jié)合運(yùn)動(dòng)信息，確定運(yùn)動(dòng)目標(biāo)的大致區(qū)域，以便于對(duì)目標(biāo)覆蓋的背景進(jìn)行填充，構(gòu)造首幀參考背景。本發(fā)明先將圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，提取出圖像的亮度信號(hào)，然后對(duì)亮度信號(hào)采用第5.1節(jié)的場(chǎng)景分割算法對(duì)圖像進(jìn)行初分割。
再采用相鄰幀差法，檢測(cè)出運(yùn)動(dòng)區(qū)域，設(shè)ft(x，y)是當(dāng)前幀圖像，ft(x，y)＝ot(io，jo)+bt(ib，jb)+nt(in，jn)；ft-1(x，y)是前一幀圖像，ft-1(x，y)＝ot-1(io，jo)+bt-1(ib，jb)+nt-1(in，jn)，其中oz(io，jo)，bz(ib，jb)，nz(in，jn)，z＝t，t-1分別表示幀圖像的目標(biāo)象素，背景象素和噪聲。將當(dāng)前幀圖像和前一幀圖像進(jìn)行相減，得到兩幀圖像的差值，在固定攝像機(jī)系統(tǒng)中，可以認(rèn)為該差值主要是由目標(biāo)的運(yùn)動(dòng)和噪聲造成的，但連續(xù)的幀差不能檢測(cè)出完整的運(yùn)動(dòng)目標(biāo)，因此，將差值圖像和上述的分割圖像進(jìn)行投影，如果運(yùn)動(dòng)象素在某一分割區(qū)域的密度較大，則認(rèn)為該區(qū)域是一個(gè)運(yùn)動(dòng)目標(biāo)，而其余的區(qū)域被標(biāo)記為背景區(qū)，從而分出了運(yùn)動(dòng)目標(biāo)的大致區(qū)域和背景區(qū)域，下面對(duì)運(yùn)動(dòng)目標(biāo)區(qū)域的背景象素進(jìn)行填充。
將圖像分成3×3大小的塊，搜索所有塊，如果該塊中存在目標(biāo)象素，則用該塊的其他象素的平均值填充塊中的目標(biāo)象素；如果該塊全是目標(biāo)象素，則用該塊上方和左邊的塊的平均值填充塊中所有象素；其他的塊的象素值不變。通過(guò)這樣處理后，生成了首幀參考背景。
1.2.2 背景的動(dòng)態(tài)更新背景的變化主要是受到光照的影響，象素的亮度變化是一個(gè)漸變的過(guò)程。本發(fā)明根據(jù)相鄰幀間亮度的變化，對(duì)前一幀的參考背景進(jìn)行亮度補(bǔ)償，生成當(dāng)前幀的參考背景。先對(duì)相鄰幀進(jìn)行幀差計(jì)算，檢測(cè)出目標(biāo)運(yùn)動(dòng)區(qū)域，同時(shí)將前一幀圖像與前一幀的參考背景相減，得到前一幀時(shí)刻時(shí)目標(biāo)的位置，將當(dāng)前幀圖像與前一幀參考背景相減，其幀差可能是目標(biāo)運(yùn)動(dòng)引起，也可能是光照變化引起的，由于運(yùn)動(dòng)目標(biāo)在連續(xù)兩幀時(shí)間內(nèi)位置變化不會(huì)太大，因此聯(lián)合三個(gè)幀差結(jié)果的運(yùn)動(dòng)部分，就可以得到當(dāng)前幀時(shí)刻下目標(biāo)的運(yùn)動(dòng)區(qū)域；再將當(dāng)前幀圖像和前一幀圖像分別以3×3大小進(jìn)行分塊，在圖像的亮度(V)空間，分別搜索兩幀圖像的每一個(gè)塊，如果該塊中屬于背景的象素個(gè)數(shù)占大部分(大于6個(gè)象素點(diǎn))，則計(jì)算該塊背景象素的平均值μti和μt-1i，其中t和t-1分別表示幀序，i表示塊序。通過(guò)公式(5)生成當(dāng)前幀的參考背景，式中對(duì)目標(biāo)運(yùn)動(dòng)區(qū)域，當(dāng)前幀背景沿用前一幀的參考背景同一位置的背景值，而其他區(qū)域，則根據(jù)亮度補(bǔ)償由前一幀對(duì)應(yīng)處的背景進(jìn)行自動(dòng)更新得到。
δi=μtiμt-1i]]>其中Bt(x，y)表示生成的當(dāng)前幀參考背景，Bt-1(x，y)表示前一幀的參考背景，δi是補(bǔ)償系數(shù)，由相鄰幀對(duì)應(yīng)塊背景象素的平均值的比值決定。
1.3 運(yùn)動(dòng)目標(biāo)分割提取1.3.1 目標(biāo)模板粗提取動(dòng)態(tài)生成當(dāng)前幀的參考背景圖像后，將當(dāng)前幀圖像和背景幀圖像進(jìn)行減運(yùn)算，由于運(yùn)動(dòng)目標(biāo)的灰度和背景幀的灰度存在差別，減運(yùn)算后的差值主要由目標(biāo)的運(yùn)動(dòng)和陰影引起的，同時(shí)也包含了一些噪聲。在圖像的HSV色彩空間中，只考慮亮度信息，設(shè)一閾值Th，如果差值大于等于該閾值時(shí)，認(rèn)為該點(diǎn)是目標(biāo)點(diǎn)或目標(biāo)陰影，將其值設(shè)為255，其他的則認(rèn)為是噪聲，將其值設(shè)為0，從而形成運(yùn)動(dòng)區(qū)域的二值化模板M(x，y)，見(jiàn)公式(6)。
M(x,y)=255|Dif(x,y)|≥Th0Otherwise;]]>Th＝(max(|Dif(x，y)|)-min(|Dif(x，y)|)×0.15 ………(6)式中Dif(x，y)表示當(dāng)前幀和參考背景幀在點(diǎn)(x，y)處的差值。Th的值是一實(shí)驗(yàn)值，本發(fā)明選取差值圖像中絕對(duì)值最大和絕對(duì)值最小的值之差的的0.15倍做為T(mén)h的值，獲得較好的效果。
運(yùn)動(dòng)區(qū)域模板M(x，y)包含了目標(biāo)和目標(biāo)陰影，以及部分殘留的噪聲小區(qū)域，如果某些目標(biāo)點(diǎn)的灰度值和參考背景的灰度差別不大，二值化后的模板還可能存在孔洞現(xiàn)象，因此還要進(jìn)行目標(biāo)陰影去除和形態(tài)學(xué)操作等后續(xù)處理，才能得到精確的目標(biāo)模板。
1.3.2 目標(biāo)陰影去除目標(biāo)陰影和運(yùn)動(dòng)的目標(biāo)具有相似的運(yùn)動(dòng)特征，上述的減背景操作不能將目標(biāo)陰影和目標(biāo)進(jìn)行區(qū)分。因此，經(jīng)減背景提取得到的粗分割目標(biāo)同時(shí)包含了真實(shí)的運(yùn)動(dòng)目標(biāo)和運(yùn)動(dòng)目標(biāo)的陰影，要得到精確的目標(biāo)區(qū)域，還必須對(duì)目標(biāo)的陰影進(jìn)行去除。根據(jù)陰影的視覺(jué)特征，陰影區(qū)域可以看做是半透明的區(qū)域[3]，當(dāng)背景點(diǎn)被陰影覆蓋時(shí)，其亮度值變小，而色度值大小基本保持不變，當(dāng)被運(yùn)動(dòng)目標(biāo)覆蓋時(shí)，其亮度值可能變大也可能變小，但色度信號(hào)一般變化較大。根據(jù)這些特征，本發(fā)明對(duì)目標(biāo)模板覆蓋的當(dāng)前幀象素和其對(duì)應(yīng)的參考背景的象素采用如下公式判斷去除陰影[4]Msd=0if(α≤IV(x,y)BV(x,y)≤β)and(IS(x,y)-BS(x,y)≤ΓS)and(IH(x,y)-BH(x,y)≤ΓH)255Otherwise]]>式中Msd代表去除陰影后的二值化目標(biāo)模板，IH、IS、IV分別代表模板M對(duì)應(yīng)的當(dāng)前幀象素的HSV空間的三個(gè)分量，BH、BS、BV分別代表模板M對(duì)應(yīng)的參考背景幀象素的HSV空間的三個(gè)分量，(x，y)∈M。門(mén)限值α、β、ΓH、ΓS的大小根據(jù)實(shí)驗(yàn)決定，一般是小于1的值。
1.3.3 形態(tài)學(xué)處理由于噪聲的影響，在圖像經(jīng)過(guò)粗提取和目標(biāo)陰影處理后，還會(huì)存在一些孤立點(diǎn)和噪聲引起的小區(qū)域，要得到精確的運(yùn)動(dòng)目標(biāo)，必須去除這些孤立點(diǎn)和小區(qū)域。本發(fā)明用式(7)的結(jié)構(gòu)元SE對(duì)處理后的圖像進(jìn)行常規(guī)形態(tài)學(xué)處理。
SE=010111010---(7)]]>先進(jìn)行2次腐蝕操作，去除圖像中的孤立點(diǎn)和小區(qū)域，再用同樣的結(jié)構(gòu)元對(duì)腐蝕后的圖像進(jìn)行2次膨脹操作，使腐蝕掉的目標(biāo)邊緣得以恢復(fù)和平滑，得到運(yùn)動(dòng)目標(biāo)的二值化模板，將目標(biāo)模板和原圖像進(jìn)行投影運(yùn)算，提取出運(yùn)動(dòng)目標(biāo)。
1.4 目標(biāo)特征提取及表達(dá)(參數(shù)化特征和象素級(jí)空域特征)目標(biāo)特征選擇和提取對(duì)目標(biāo)的跟蹤影響是非常關(guān)鍵的，特征提取的質(zhì)量，直接影響到后續(xù)目標(biāo)的識(shí)別跟蹤。為了實(shí)現(xiàn)對(duì)目標(biāo)進(jìn)行逐步精細(xì)的目標(biāo)跟蹤策略，本發(fā)明對(duì)目標(biāo)表達(dá)是采用兩種不同的特征表達(dá)和提取模式，即參數(shù)化特征和象素級(jí)空域特征。由于不同的目標(biāo)，其形狀、色彩等通常是有所區(qū)別的。因此，目標(biāo)的特征從分析目標(biāo)的形狀、顏色空間的直方圖、局部象素區(qū)域等內(nèi)容中獲得，最終選擇以下既具有共性且又具有差別的目標(biāo)特征，對(duì)目標(biāo)進(jìn)行表達(dá)。
1.4.1 參數(shù)化特征的提取目標(biāo)形狀的邊界矩特征邊界矩具有平移、旋轉(zhuǎn)、尺度縮放等不變性[5]。設(shè)中心化邊界矩為μpq=Σ(X,Y)∈C(x-x‾)p(y-y‾)q,]]>C為目標(biāo)邊界曲線，則規(guī)格化的邊界矩為ηpq=μpq/μ00p+q+1,]]>p+q＝2，3，…。取4個(gè)不高于三階的中心矩構(gòu)造的不變矩函數(shù)式得到4個(gè)邊界特征f1＝η20+η02，f2=(η20-η02)2+4η112,]]>f3＝(η30-3η12)2+(η03-3η21)2，f4＝(η30+η12)2+(η03+η21)2。
周長(zhǎng)面積比特征fP/A對(duì)于上述類(lèi)別，不同類(lèi)別的目標(biāo)其周長(zhǎng)面積比的比值范圍是不同的，通過(guò)計(jì)算該比值可以得到目標(biāo)的特征表示。設(shè)周長(zhǎng)為P，面積為A，則fP/A=PA.]]>區(qū)域長(zhǎng)寬比特征fh/w在二維直角坐標(biāo)系統(tǒng)中，搜索目標(biāo)區(qū)域的最左邊點(diǎn)p(xl，yl)、最右邊點(diǎn)p(xr，yr)、最上邊點(diǎn)p(xt，yt)和最下邊點(diǎn)p(xb，yb)，則fh/w=|yt-yb||xr-xl|.]]>目標(biāo)區(qū)域的形狀簡(jiǎn)單度特征fsd形狀簡(jiǎn)單度[6]定義為C＝4πA/P2。根據(jù)積分幾何的等周不等式，設(shè)周長(zhǎng)為P的閉合曲線所圍區(qū)域的面積為A，則有P2-4πA≥0，可將C看作一種向中心緊致的參數(shù)。當(dāng)C＝1時(shí)，區(qū)域是圓形；當(dāng)C＝π/4時(shí)，區(qū)域是正方形；當(dāng)C=3π/9]]>時(shí)，區(qū)域是正三角形；當(dāng)區(qū)域是細(xì)長(zhǎng)條形或形狀較復(fù)雜時(shí)，C值將較小。
色彩空間特征fH、fS、fV從人類(lèi)視覺(jué)的角度來(lái)看，目標(biāo)的顏色體現(xiàn)了目標(biāo)的個(gè)體特點(diǎn)，人眼可以方便的通過(guò)顏色的不同去區(qū)分不同的物體。對(duì)機(jī)器視覺(jué)而言，由于不同目標(biāo)之間的顏色一般有所區(qū)別，同一目標(biāo)其顏色特征在一定時(shí)間內(nèi)通常是不變的，因此可以在目標(biāo)的色彩空間中提取出目標(biāo)的顏色特征用于對(duì)目標(biāo)的識(shí)別。由于彩色圖像常用的R、G、B三個(gè)分量之間密切相關(guān)，為了降低色彩特征空間中各特征分量的相互影響，本發(fā)明將RGB圖像變換到比較適合人眼視覺(jué)特性的HSV色彩空間中進(jìn)行提取，其中的H、S、V分別表示圖像的色度、飽和度和亮度。RGB顏色空間到HSV顏色空間的轉(zhuǎn)換公式如下
V=R+G+B3;---(8)]]>S=1-3R+G+B[min(R,G,B)];---(9)]]>H=cos-1[(R-G)+(R-B)2(R-G)2+(R-B)(G-B)];]]>G≠B或R≠B (10)在HSV色彩空間中分別計(jì)算H、S、V三個(gè)分量的直方圖hH(z)、hS(z)、hV，(z)，色彩空間的特征用各直方圖的均值表示，即fH=ΣzhH(z)ΣhH(z);fS=ΣzhS(z)ΣhS(z);]]>fV=ΣzhV(z)ΣhV(z).]]>1.4.2 象素級(jí)空域特征象素級(jí)空域特征是用于對(duì)目標(biāo)進(jìn)行粗匹配的特征，其與參數(shù)化特征的不同在于參數(shù)化特征是經(jīng)過(guò)計(jì)算得出的目標(biāo)的一些基本不隨時(shí)間變化的特征，而象素級(jí)空域特征是直接從圖象幀中分割出來(lái)的象素，不需要經(jīng)過(guò)復(fù)雜的計(jì)算。為了減少粗匹配時(shí)的運(yùn)算量，本發(fā)明在當(dāng)前幀中提取以目標(biāo)的質(zhì)心點(diǎn)為中心，其外接矩形長(zhǎng)和寬的60％為長(zhǎng)和寬的矩形內(nèi)部的區(qū)域作為空域特征圖像。
1.5 匹配模板及其特征表達(dá)匹配模板是用于跟蹤識(shí)別的參考特征和圖像，模板的獲取通常有兩種方法，手動(dòng)獲取方法和自動(dòng)獲取方法。手動(dòng)獲取方法需要人工的參與，通過(guò)人機(jī)界面，對(duì)需要跟蹤的運(yùn)動(dòng)目標(biāo)進(jìn)行人工勾畫(huà)或截取，從而得到參考模板，該方法不能進(jìn)行自動(dòng)的運(yùn)動(dòng)目標(biāo)跟蹤。自動(dòng)獲取方法通過(guò)自動(dòng)分析序列幀圖像，尋找運(yùn)動(dòng)目標(biāo)，并自動(dòng)提取運(yùn)動(dòng)目標(biāo)模板，該方法能自動(dòng)的對(duì)視場(chǎng)中的運(yùn)動(dòng)目標(biāo)進(jìn)行搜索和模板提取，實(shí)現(xiàn)對(duì)出現(xiàn)的運(yùn)動(dòng)目標(biāo)進(jìn)行即時(shí)跟蹤處理，無(wú)須人工介入。本發(fā)明采用自動(dòng)獲取的方法提取運(yùn)動(dòng)目標(biāo)的模板，模板的特征表達(dá)分為參數(shù)模板和空域模板兩種形式。參數(shù)模板以特征向量的形式來(lái)表達(dá)模板的特征，空域模板是以圖像象素進(jìn)行表達(dá)的模板，兩種模板的提取和表達(dá)方法和目標(biāo)的特征提取方法相同。
1.6 模板更新隨著跟蹤的進(jìn)行，目標(biāo)可能會(huì)出現(xiàn)旋轉(zhuǎn)、尺寸大小變化等情況，如果此時(shí)還采用原來(lái)的模板進(jìn)行匹配，勢(shì)必會(huì)增加誤跟蹤或跟蹤丟失的風(fēng)險(xiǎn)。本發(fā)明采用動(dòng)態(tài)模板更新技術(shù)，當(dāng)跟蹤的目標(biāo)與該目標(biāo)的模板的匹配度量小于設(shè)定閾值時(shí)，重新采樣并更新模板參數(shù)，使模板盡量能反映當(dāng)前跟蹤的相應(yīng)目標(biāo)。模板更新的條件由以下因素決定Tadptive、Ttrack、Ck。
其中，Tadptive代表模板要求更新的匹配度量閾值，0＜Ttrack＜Tadptive＜1；Ttrack代表模板與目標(biāo)匹配的最低允許值，如果某一目標(biāo)與模板的匹配度量小于該閾值，認(rèn)為該目標(biāo)與次模板不匹配；Ck是用Kalman濾波器[7]進(jìn)行預(yù)測(cè)得到的該目標(biāo)的質(zhì)心點(diǎn)位置。
經(jīng)背景減處理后，得到了運(yùn)動(dòng)目標(biāo)的區(qū)域，通過(guò)Kalman濾波器預(yù)測(cè)定位某一目標(biāo)在下一幀中的質(zhì)心點(diǎn)位置，搜索該點(diǎn)附近的運(yùn)動(dòng)區(qū)域，如果目標(biāo)的空域象素和其空域模板的相關(guān)匹配度量ta符合條件Ttrack＜ta＜Tadptive，則重新對(duì)該目標(biāo)進(jìn)行模板提取及其模板特征表達(dá)，實(shí)現(xiàn)模板的自動(dòng)更新。
1.7 新目標(biāo)的進(jìn)入及目標(biāo)消失的處理通過(guò)將當(dāng)前幀圖像和背景幀圖像進(jìn)行減運(yùn)算，提取出運(yùn)動(dòng)的目標(biāo)，計(jì)算目標(biāo)的特征向量，將特征向量與現(xiàn)有的模板特征向量進(jìn)行比較，如果其與任一現(xiàn)有的模板都不匹配，則認(rèn)為視場(chǎng)中進(jìn)入了一個(gè)新的運(yùn)動(dòng)目標(biāo)，將其賦予新的編號(hào)并提取其模板后實(shí)施跟蹤。如果某一運(yùn)動(dòng)目標(biāo)在設(shè)定的時(shí)間后還沒(méi)有再出現(xiàn)，認(rèn)為該目標(biāo)已經(jīng)消失，刪除其模板特征向量及空域模板圖像，以釋放存儲(chǔ)空間。
1.8 目標(biāo)的相會(huì)與分離的處理在多運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)中，目標(biāo)間的相會(huì)、遮擋、分離是常有發(fā)生的，處理不好很容易將目標(biāo)跟蹤丟失。本發(fā)明對(duì)跟蹤中的目標(biāo)相會(huì)與分離進(jìn)行了特殊處理，過(guò)程如下如果目標(biāo)面積突然變大超過(guò)設(shè)定的閾值，就認(rèn)為是目標(biāo)相會(huì)，停止對(duì)目標(biāo)特征的提取，同時(shí)把用Kalman預(yù)測(cè)出的點(diǎn)作為目標(biāo)的質(zhì)心點(diǎn)，暫停相應(yīng)運(yùn)動(dòng)目標(biāo)及其模板的匹配運(yùn)算和模板更新處理，直到在預(yù)測(cè)的質(zhì)心點(diǎn)附近的運(yùn)動(dòng)目標(biāo)區(qū)域的面積在正常范圍之內(nèi)，才認(rèn)為是目標(biāo)已經(jīng)分離，進(jìn)行正常的目標(biāo)跟蹤處理程序。
1.9 目標(biāo)的跟蹤與標(biāo)號(hào)目標(biāo)的跟蹤是在目標(biāo)檢測(cè)和特征提取的基礎(chǔ)上進(jìn)行的，是高層次的計(jì)算機(jī)視覺(jué)問(wèn)題。常用的目標(biāo)跟蹤方法可大致分為四個(gè)大類(lèi)基于模型的跟蹤、基于區(qū)域的跟蹤、基于特征的跟蹤和基于活動(dòng)輪廓的跟蹤?；谀Ｐ偷母櫩梢园涯繕?biāo)表示為2-D輪廓或3-D模型，2-D模型的缺點(diǎn)就是受攝像機(jī)拍攝角度的影響，當(dāng)攝像機(jī)角度變化或物體旋轉(zhuǎn)、遮擋時(shí)，其2-D模型的表達(dá)也會(huì)隨之變化，3-D模型能較好的解決上述問(wèn)題，但其計(jì)算復(fù)雜，并不是很常用。基于區(qū)域的跟蹤方法通過(guò)對(duì)當(dāng)前幀和前一幀的運(yùn)動(dòng)區(qū)域的顏色、紋理等信息進(jìn)行相關(guān)比較，尋找每一個(gè)運(yùn)動(dòng)相關(guān)連的區(qū)域，實(shí)現(xiàn)目標(biāo)的識(shí)別和跟蹤?；谔卣鞯母櫡椒ㄊ遣捎媚繕?biāo)上的可區(qū)分的點(diǎn)和線作為子特征來(lái)實(shí)現(xiàn)跟蹤，該方法由于采用了特征點(diǎn)信息，在部分被遮擋情況下，如果特征點(diǎn)信息還能被正確獲取，則系統(tǒng)仍能進(jìn)行穩(wěn)定跟蹤?；诨顒?dòng)輪廓的跟蹤方法或Snake算法就是直接獲取目標(biāo)的輪廓，通過(guò)對(duì)輪廓點(diǎn)進(jìn)行動(dòng)態(tài)修改來(lái)實(shí)現(xiàn)跟蹤，該方法需要對(duì)輪廓進(jìn)行初始化，且初始化的輪廓必須在目標(biāo)的邊緣附近，否則很難進(jìn)行正確跟蹤。
本發(fā)明采用運(yùn)動(dòng)目標(biāo)的參數(shù)化特征和象素級(jí)空域特征進(jìn)行多特征逐步精細(xì)模糊匹配，提出了一種逐步精細(xì)模糊匹配的混合特征跟蹤方法實(shí)現(xiàn)對(duì)目標(biāo)進(jìn)行穩(wěn)定跟蹤。該方法主要由兩個(gè)過(guò)程組成粗匹配和細(xì)匹配。在跟蹤過(guò)程中，如果粗匹配達(dá)到對(duì)目標(biāo)的識(shí)別要求，就不需進(jìn)行細(xì)匹配，這樣可大為減少系統(tǒng)的計(jì)算量，提高系統(tǒng)的跟蹤反應(yīng)時(shí)間，特別是在場(chǎng)景中有較多目標(biāo)需要跟蹤的情況下，效果由為明顯。粗匹配是采用目標(biāo)的象素級(jí)空域特征和現(xiàn)存的空域模板進(jìn)行相關(guān)運(yùn)算，用多個(gè)閾值界定匹配的相關(guān)度范圍，根據(jù)相關(guān)度的值決定是否要進(jìn)行進(jìn)一步的細(xì)匹配。細(xì)匹配過(guò)程采用目標(biāo)和模板的參數(shù)化特征向量進(jìn)行相似度判別，從而實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤。跟蹤的同時(shí)，計(jì)算出目標(biāo)的質(zhì)心點(diǎn)位置，在質(zhì)心點(diǎn)位置對(duì)目標(biāo)進(jìn)行標(biāo)號(hào)，并用Kalman濾波器對(duì)此目標(biāo)在下一幀中的質(zhì)心點(diǎn)位置進(jìn)行預(yù)測(cè)，用于對(duì)目標(biāo)間的“相會(huì)”處理(見(jiàn)5.3目標(biāo)的相會(huì)與分離的處理)。
設(shè)從某一目標(biāo)分割出來(lái)的象素級(jí)空域圖像為Io，大小為n×m×3，現(xiàn)有的空域模板圖像為Itj，j∈{1，2，3，…}表示模板的序號(hào)，則第一步粗匹配的處理過(guò)程1)匹配圖像截取。以Io和Itj(j∈{1，2，3，…})兩圖像的各質(zhì)心點(diǎn)為中心，行和列中小的行列為標(biāo)準(zhǔn)截取兩副大小一樣的圖像，分別記為T(mén)oseg和Itsegj(j∈{1，2，3，…})。
2)相關(guān)度計(jì)算。將截取的圖像從彩色圖像轉(zhuǎn)為灰度圖像，用公式(11)進(jìn)行計(jì)算。
rj=Σk=1KΣl=1LIoseg(k,l)Itsegj(k,l)Σk=1KΣl=1L[Ioseg(k,l)]2×Σk=1KΣl=1L[Itsegj(k,l)]2---(11)]]>式(6)中K，L分別代表截取圖像的行列數(shù)。由Cauchy-Schwarz不等式可知，0≤rj≤1。相關(guān)度r越接近1，表示兩副圖像越相似。
3)匹配決策。如果rj大于等于設(shè)定閾值Ttrack2(本發(fā)明根據(jù)實(shí)驗(yàn)設(shè)定Ttrack2的值等于0.95)時(shí)認(rèn)為此目標(biāo)和該模板是相同的，不需進(jìn)行進(jìn)一步的細(xì)匹配操作，直接就將此目標(biāo)標(biāo)號(hào)為該模板對(duì)應(yīng)的標(biāo)號(hào)進(jìn)行跟蹤，退出粗匹配過(guò)程。如果Ttrack1≤rj＜Ttrack2(Ttrack1＝0.4)，依次計(jì)算此目標(biāo)與所有模板的相關(guān)度，選擇最大的三個(gè)(如果j＞3)模板的參數(shù)化特征和此目標(biāo)進(jìn)行進(jìn)一步的細(xì)匹配處理。如果目標(biāo)與所有模板的rj都小于Ttrack1，表示此目標(biāo)是一個(gè)新進(jìn)入的目標(biāo)，則進(jìn)行“新目標(biāo)進(jìn)入”處理(見(jiàn)5.5節(jié))。
第二步目標(biāo)細(xì)匹配過(guò)程細(xì)匹配是根據(jù)需要進(jìn)行的，由粗匹配的結(jié)果決定。進(jìn)行細(xì)匹配時(shí)，先提取目標(biāo)的參數(shù)化特征(見(jiàn)5.2節(jié)的參數(shù)化特征提取和表達(dá))，然后測(cè)量其和相應(yīng)模板的參數(shù)化特征的距離度量，實(shí)現(xiàn)對(duì)目標(biāo)的標(biāo)號(hào)和跟蹤。具體處理如下1)提取目標(biāo)的參數(shù)化特征f1、f2、f3、f4、fP/A、fh/w、fsd、fH、fS、fГ。
2)將目標(biāo)的參數(shù)化特征向量和模板的參數(shù)化向量代入公式(12)計(jì)算目標(biāo)和模板細(xì)匹配的相似度。
η=Σn=110|Fon-Ftn|,(Fon,Ftn∈Ω)---(12)]]>其中Fon代表目標(biāo)的參數(shù)化特征向量，F(xiàn)tn代表模板的參數(shù)化特征向量，選用目標(biāo)和模板相互對(duì)應(yīng)的特征進(jìn)行差值。Ω表示特征向量范圍，其包含上述的10個(gè)參數(shù)化特征向量。
3)選取獲得最小η值的模板(多目標(biāo)模板情況下)作為目標(biāo)的匹配模板進(jìn)行標(biāo)號(hào)跟蹤。
實(shí)驗(yàn)結(jié)果實(shí)驗(yàn)時(shí)在PC機(jī)上對(duì)Hall Monitor視頻序列和用CCD攝像機(jī)實(shí)時(shí)采集的視頻序列采用本發(fā)明方法進(jìn)行運(yùn)動(dòng)目標(biāo)的分割與跟蹤處理，以下是部分實(shí)驗(yàn)結(jié)果2.1對(duì)Hall Monitor視頻序列進(jìn)行處理的實(shí)驗(yàn)結(jié)果在Hall Monitor視頻序列中進(jìn)行運(yùn)動(dòng)目標(biāo)的分割與跟蹤處理，圖2和圖3分別為對(duì)序列中第25幀和第50幀圖像進(jìn)行分割處理的結(jié)果，其中的(a)為HSV中的亮度部分圖像(V分量)，(b)是生成的參考背景，(c)是當(dāng)前幀和其參考背景幀的差值，(d)是(c)的二值化結(jié)果，(e)是目標(biāo)模板經(jīng)陰影去除和形態(tài)學(xué)處理后的結(jié)果，(f)是最終分割出的運(yùn)動(dòng)目標(biāo)。圖4所示是在視頻序列中進(jìn)行運(yùn)動(dòng)目標(biāo)跟蹤的結(jié)果，各圖中的“NO.1”或“NO.2”為對(duì)運(yùn)動(dòng)目標(biāo)的標(biāo)號(hào)。
2.2對(duì)實(shí)時(shí)采集的視頻序列進(jìn)行處理的實(shí)驗(yàn)結(jié)果采集室內(nèi)的視頻序列進(jìn)行處理，攝像機(jī)為普通CCD攝像機(jī)，圖5所示為運(yùn)動(dòng)目標(biāo)的分割與跟蹤的結(jié)果。
本發(fā)明涉及的是運(yùn)動(dòng)目標(biāo)分割與跟蹤方法是很多具體視頻應(yīng)用系統(tǒng)的核心處理技術(shù)，也是進(jìn)行視頻高級(jí)語(yǔ)義分析的基礎(chǔ)，可廣泛的應(yīng)用于軍用及民用的特定領(lǐng)域中，如導(dǎo)彈制導(dǎo)、視覺(jué)導(dǎo)航、視頻監(jiān)控、基于對(duì)象的視頻編碼、視頻檢索、視頻會(huì)議等等。隨著計(jì)算機(jī)技術(shù)、控制技術(shù)、軟硬件等相關(guān)配套技術(shù)和水平的進(jìn)一步發(fā)展，人們需求的進(jìn)一步提高，各種視頻系統(tǒng)的開(kāi)發(fā)應(yīng)用，運(yùn)動(dòng)目標(biāo)分割與跟蹤方法將會(huì)有著更加廣闊的應(yīng)用前景。
權(quán)利要求
1.一種視頻運(yùn)動(dòng)目標(biāo)分割和跟蹤方法，其特征是采用減背景方法分割運(yùn)動(dòng)目標(biāo)，再進(jìn)行目標(biāo)特征的提取和特征識(shí)別，實(shí)現(xiàn)對(duì)目標(biāo)的穩(wěn)定跟蹤；其中，背景的模型是一個(gè)實(shí)時(shí)更新的模型，采用基于自組織特征映射SOFM網(wǎng)絡(luò)和小區(qū)域標(biāo)記合并的場(chǎng)景分割算法和視頻運(yùn)動(dòng)信息相結(jié)合的方式，自適應(yīng)生成首幀背景；特征表達(dá)時(shí)，采用兩種表達(dá)形式參數(shù)化特征和像素級(jí)空域特征；目標(biāo)跟蹤時(shí)，采用由粗到細(xì)逐步精細(xì)的匹配策略，通過(guò)粗匹配和細(xì)匹配，實(shí)現(xiàn)對(duì)目標(biāo)的識(shí)別和跟蹤；所述自組織特征映射(SOFM)神經(jīng)網(wǎng)絡(luò)和小區(qū)域標(biāo)記合并的場(chǎng)景分割算法和視頻運(yùn)動(dòng)信息相結(jié)合的方式是先對(duì)網(wǎng)絡(luò)設(shè)置一較大的輸出類(lèi)別數(shù)，對(duì)其進(jìn)行訓(xùn)練，將其對(duì)輸入的圖像進(jìn)行過(guò)分割，然后對(duì)分割出來(lái)的各區(qū)域采用一種小區(qū)域標(biāo)記的多度量模糊判據(jù)進(jìn)行迭代合并，獲得最終分割結(jié)果；SOFM網(wǎng)絡(luò)由兩層組成，分別為輸入層和競(jìng)爭(zhēng)層，輸入層神經(jīng)元數(shù)為n，競(jìng)爭(zhēng)層神經(jīng)元為m，每個(gè)輸入節(jié)點(diǎn)與輸出節(jié)點(diǎn)之間有可變的權(quán)值連接，將任意維的輸入模式在競(jìng)爭(zhēng)層輸出映射成一維或二維離散圖形，并保持其拓?fù)浣Y(jié)構(gòu)不變；用場(chǎng)景圖像數(shù)據(jù)對(duì)SOFM網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使SOFM的某一特定神經(jīng)元對(duì)某種灰度特征敏感，當(dāng)待分割圖像被輸入網(wǎng)絡(luò)時(shí)，根據(jù)數(shù)據(jù)的灰度特征就可以對(duì)數(shù)據(jù)進(jìn)行自組織聚類(lèi)，完成對(duì)圖像進(jìn)行區(qū)域分割；經(jīng)SOFM神經(jīng)網(wǎng)絡(luò)聚類(lèi)后輸出的圖像被硬分割成一個(gè)固定個(gè)數(shù)的區(qū)域，每個(gè)像素根據(jù)其灰度特征歸屬于某一特定聚類(lèi)；先對(duì)圖像進(jìn)行過(guò)分割，然后按類(lèi)提取并進(jìn)行分塊和標(biāo)記，獲得有標(biāo)記的小區(qū)域，再對(duì)已標(biāo)記小區(qū)域采用多度量模糊準(zhǔn)則進(jìn)行合并；采用動(dòng)態(tài)模板更新方法，當(dāng)跟蹤的目標(biāo)與該目標(biāo)的模板的匹配度量小于設(shè)定閾值時(shí)，重新采樣并更新模板參數(shù)；模板更新的條件由以下因素決定Tadptive、Ttrack、Ck其中，Tadptive代表模板要求更新的匹配度量閾值，0＜Ttrack＜Tadptive＜1；Ttrack代表模板與目標(biāo)匹配的最低允許值，如果某一目標(biāo)與模板的匹配度量小于該閾值，認(rèn)為該目標(biāo)與次模板不匹配；Ck是用Kalman濾波器[7]進(jìn)行預(yù)測(cè)得到的該目標(biāo)的質(zhì)心點(diǎn)位置；經(jīng)背景減處理后，得到了運(yùn)動(dòng)目標(biāo)的區(qū)域，通過(guò)Kalman濾波器預(yù)測(cè)定位某一目標(biāo)在下一幀中的質(zhì)心點(diǎn)位置，搜索該點(diǎn)附近的運(yùn)動(dòng)區(qū)域，如果目標(biāo)的空域象素和其空域模板的相關(guān)匹配度量ta符合條件Ttrack＜ta＜Tadptive，則重新對(duì)該目標(biāo)進(jìn)行模板提取及其模板特征表達(dá)，實(shí)現(xiàn)模板的自動(dòng)更新；通過(guò)將當(dāng)前幀圖像和背景幀圖像進(jìn)行減運(yùn)算，提取出運(yùn)動(dòng)的目標(biāo)，計(jì)算目標(biāo)的特征向量，將特征向量與現(xiàn)有的模板特征向量進(jìn)行比較，如果其與任一現(xiàn)有的模板都不匹配，則認(rèn)為視場(chǎng)中進(jìn)入了一個(gè)新的運(yùn)動(dòng)目標(biāo)，將其賦予新的編號(hào)并提取其模板后實(shí)施跟蹤；如果某一運(yùn)動(dòng)目標(biāo)在設(shè)定的時(shí)間后還沒(méi)有再出現(xiàn)，認(rèn)為該目標(biāo)已經(jīng)消失，刪除其模板特征向量及空域模板圖像，以釋放存儲(chǔ)空間；采用運(yùn)動(dòng)目標(biāo)的參數(shù)化特征和象素級(jí)空域特征進(jìn)行多特征逐步精細(xì)模糊匹配，由粗匹配和細(xì)匹配兩個(gè)過(guò)程組成粗匹配是采用目標(biāo)的象素級(jí)空域特征和現(xiàn)存的空域模板進(jìn)行相關(guān)運(yùn)算，用多個(gè)閾值界定匹配的相關(guān)度范圍，根據(jù)相關(guān)度的值決定是否要進(jìn)行進(jìn)一步的細(xì)匹配；細(xì)匹配過(guò)程采用目標(biāo)和模板的參數(shù)化特征向量進(jìn)行相似度判別，從而實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤跟蹤的同時(shí)，計(jì)算出目標(biāo)的質(zhì)心點(diǎn)位置，在質(zhì)心點(diǎn)位置對(duì)目標(biāo)進(jìn)行標(biāo)號(hào)，并用Kalman濾波器對(duì)此目標(biāo)在下一幀中的質(zhì)心點(diǎn)位置進(jìn)行預(yù)測(cè)，用于對(duì)目標(biāo)間的“相會(huì)”處理。
2.由權(quán)利要求1所述的視頻運(yùn)動(dòng)目標(biāo)分割和跟蹤方法，其特征是粗匹配和細(xì)匹配的處理過(guò)程是設(shè)從某一目標(biāo)分割出來(lái)的象素級(jí)空域圖像為Io，大小為n×m×3，現(xiàn)有的空域模板圖像為Jtj，j∈{1，2，3，...}表示模板的序號(hào)，則第一步粗匹配的處理過(guò)程1)匹配圖像截取，以I0和Itj(j∈{1，2，3，...})兩圖像的各質(zhì)心點(diǎn)為中心，行和列中小的行列為標(biāo)準(zhǔn)截取兩副大小一樣的圖像，分別記為Ioseg和Itsegj(j∈{1，2，3，...})；2)相關(guān)度計(jì)算，將截取的圖像從彩色圖像轉(zhuǎn)為灰度圖像，用公式(11)進(jìn)行計(jì)算rj=Σk=1KΣl=1LIoseg(k,l)Itsegl(k,l)Σk=1KΣl=1L[Ioseg(k,l)]2×Σk=1KΣI=1L[Itsegj(k,l)]2---(11)]]>式(6)中K，L分別代表截取圖像的行列數(shù)，0≤rj≤1，相關(guān)度r越接近1，表示兩副圖像越相似；3)匹配決策，如果rj大于等于設(shè)定閾值Ttrack2時(shí)認(rèn)為此目標(biāo)和該模板是相同的，不需進(jìn)行進(jìn)一步的細(xì)匹配操作，直接就將此目標(biāo)標(biāo)號(hào)為該模板對(duì)應(yīng)的標(biāo)號(hào)進(jìn)行跟蹤，退出粗匹配過(guò)；如果Ttrack1≤rj＜Ttrack2(Ttrack1＝0.4)，依次計(jì)算此目標(biāo)與所有模板的相關(guān)度，選擇最大的三個(gè)(如果j＞3)模板的參數(shù)化特征和此目標(biāo)進(jìn)行進(jìn)一步的細(xì)匹配處理；第二步目標(biāo)細(xì)匹配過(guò)程細(xì)匹配由粗匹配的結(jié)果決定，進(jìn)行細(xì)匹配時(shí)，先提取目標(biāo)的參數(shù)化特征，然后測(cè)量其和相應(yīng)模板的參數(shù)化特征的距離度量，實(shí)現(xiàn)對(duì)目標(biāo)的標(biāo)號(hào)和跟蹤1)提取目標(biāo)的參數(shù)化特征f1、f2、f3、f4、fP/A、fh/w、fsd、fH、fS、fV；2)將目標(biāo)的參數(shù)化特征向量和模板的參數(shù)化向量代入公式(12)計(jì)算目標(biāo)和模板細(xì)匹配的相似度；η=Σn=110|Fon-Ftn|,(Fon,Ftn∈Ω)---(12)]]>其中Fon代表目標(biāo)的參數(shù)化特征向量，F(xiàn)tn代表模板的參數(shù)化特征向量，選用目標(biāo)和模板相互對(duì)應(yīng)的特征進(jìn)行差值。Ω表示特征向量范圍，其包含上述的10個(gè)參數(shù)化特征向量；3)選取獲得最小η值的模板(多目標(biāo)模板情況下)作為目標(biāo)的匹配模板進(jìn)行標(biāo)號(hào)跟蹤。
3.由權(quán)利要求2所述的視頻運(yùn)動(dòng)目標(biāo)分割和跟蹤方法，其特征是對(duì)跟蹤中的目標(biāo)相會(huì)與分離進(jìn)行處理的過(guò)程如下如果目標(biāo)面積突然變大超過(guò)設(shè)定的閾值，就認(rèn)為是目標(biāo)相會(huì)，停止對(duì)目標(biāo)特征的提取，同時(shí)把用Kalman預(yù)測(cè)出的點(diǎn)作為目標(biāo)的質(zhì)心點(diǎn)，暫停相應(yīng)運(yùn)動(dòng)目標(biāo)及其模板的匹配運(yùn)算和模板更新處理，直到在預(yù)測(cè)的質(zhì)心點(diǎn)附近的運(yùn)動(dòng)目標(biāo)區(qū)域的面積在正常范圍之內(nèi)，才認(rèn)為是目標(biāo)已經(jīng)分離，進(jìn)行正常的目標(biāo)跟蹤處理程序。
4.由權(quán)利要求2所述的視頻運(yùn)動(dòng)目標(biāo)分割和跟蹤方法，其特征是對(duì)已標(biāo)記小區(qū)域采用多度量模糊準(zhǔn)則進(jìn)行合并的方法是①如果合并后的區(qū)域灰度均勻性較好，則合并該區(qū)域；②如果兩區(qū)域距離比較近，則考慮是否合并，如果較遠(yuǎn)則不支持合并；③如果兩區(qū)域是鄰接的，考慮合并，否則不支持合并。
全文摘要
一種視頻運(yùn)動(dòng)目標(biāo)分割和跟蹤方法，采用減背景方法分割運(yùn)動(dòng)目標(biāo)，再進(jìn)行目標(biāo)特征的提取和特征識(shí)別，實(shí)現(xiàn)對(duì)目標(biāo)的穩(wěn)定跟蹤；其中，背景的模型是一個(gè)實(shí)時(shí)更新的模型，采用基于自組織特征映射SOFM網(wǎng)絡(luò)和小區(qū)域標(biāo)記合并的場(chǎng)景分割算法和視頻運(yùn)動(dòng)信息相結(jié)合的方式，自適應(yīng)生成首幀背景；特征表達(dá)時(shí)，采用兩種表達(dá)形式參數(shù)化特征和像素級(jí)空域特征；目標(biāo)跟蹤時(shí)，采用由粗到細(xì)逐步精細(xì)的匹配策略，通過(guò)粗匹配和細(xì)匹配，實(shí)現(xiàn)對(duì)目標(biāo)的識(shí)別和跟蹤；本發(fā)明的實(shí)驗(yàn)結(jié)果表明，該方法在場(chǎng)景復(fù)雜、多運(yùn)動(dòng)目標(biāo)情況下也能實(shí)現(xiàn)對(duì)視頻序列中的剛體或非剛體運(yùn)動(dòng)目標(biāo)進(jìn)行正確的分割和跟蹤。
文檔編號(hào)G06T7/00GK1738426SQ20051009430
公開(kāi)日2006年2月22日 申請(qǐng)日期2005年9月9日 優(yōu)先權(quán)日2005年9月9日
發(fā)明者吳金勇, 馬國(guó)強(qiáng), 潘紅兵, 徐健鍵 申請(qǐng)人:南京大學(xué)