專利名稱：一種根據(jù)場景變化特征對視頻中運(yùn)動物體檢測的方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻處理相關(guān)技術(shù)領(lǐng)域，更多涉及一種根據(jù)場景變化特征對視頻中運(yùn)動物 體檢測的方法。
技術(shù)背景對視頻中運(yùn)動物體進(jìn)行檢測的方法經(jīng)常采用的背景差方法。背景模型是對視頻中背景 的表示，背景差通過當(dāng)前幀和背景模型的比較區(qū)分運(yùn)動物體和背景物體，通過比較得到背 景模型當(dāng)中發(fā)生顯著變化的區(qū)域，然后利用連通區(qū)域分析方法對運(yùn)動物體區(qū)域進(jìn)行標(biāo)記， 得到的運(yùn)動物體區(qū)域信息可用于更高層的視覺系統(tǒng)任務(wù)，如運(yùn)動預(yù)測、跟蹤等。在背景差 方法中重要的一步就是對背景采用合適的模型進(jìn)行表達(dá)，并且能夠根據(jù)背景的變化情況以 及運(yùn)動物體的運(yùn)動情況對背景模型進(jìn)行相應(yīng)更新。因此背景模型在背景差方法中起著關(guān)鍵 作用。背景模型的建模方法按照特征采樣的基本單位可分為以下兩類基于像素點(diǎn)的背景建 模方法和基于區(qū)域的建模方法。基于像素點(diǎn)的背景建模方法主要有(1)單一高斯模型方法，該方法將圖像中的像素 點(diǎn)在(Y，U，V)顏色空間中以高斯模型進(jìn)行建模。但在很多情況下一個(gè)高斯模型無法適應(yīng)較為復(fù)雜的背景的顏色變化情況，參見Wren， C.R., et al.， Pfinder: real-time tracking of the human body. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997. 19(7》 p. 780-785.; (2)混合高斯模型方法，該方法對單個(gè)像素點(diǎn)采用高斯混合模型進(jìn)行建模。但 是，對于背景中的動態(tài)紋理區(qū)域，如水面的波紋、樹葉的搖擺等，存在難以確定高斯模型 數(shù)目和選擇模型更新速率的問題，參見Stauffer, C. and W.E丄.Grimson, Adaptive background mixture models for real-time tracking, in Computer Vision and Pattern Recognition, 1999. p. 252 Vol. 2.; (3) Haritaoglu等采用了對背景像素點(diǎn)計(jì)算其在特定狀態(tài)時(shí)的最大值和最小值用于 對其在后續(xù)幀中進(jìn)行前景背景判別。但這種方法也難以應(yīng)對復(fù)雜背景的變化情況，參見 Haritaoglu, D Harwood, and L. Davis, W 4: real-time surveillance of people and theiractivities. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000: p. 809-830.; (4) Rittscher等提出采用隱馬爾可夫模型HMM對背景進(jìn)行建模，但該方法不能解決動態(tài)背景區(qū) 域問題，參見Rittscher， J., et al. A Probabilistic' Background Model for Trackingin EuropeanConference on Computer Vision, 2000.和STENGER, B.， et al. Topology Free Hidden Markov Models: Application to Background Modelingin International Conference on Computer Vision, 2001.; (5)為解決動態(tài)背景區(qū)域的問題，Elgammal提出采用非參數(shù)核密度估計(jì)方法對像 素點(diǎn)進(jìn)行建模，參見Elgammal, A.， D. Harwood, and L. Davis. Non-parametric model for background subtraction.in Proc. IEEE Frame Rate Workshop, 1999.; (6)也有方法采用更多 不同帶寬的核進(jìn)行自適應(yīng)密度估計(jì)。并結(jié)合顏色值信息和光流信息作為輸入特征，參見 Mittal， A. and N. Paragios. Motion-based background subtraction using adaptive kernel density estimationin Computer Vision and Pattern Recognition, 2004.; (7)特征點(diǎn)也被用于對背景模 型進(jìn)行建模，參見Qiang， Z.， S. Avidan， and C. Kwang-Ting, Learning a sparse, corner-based representation for time-varying background modellingin International Conference on Computer Vision, 2005.上述的各基于像素點(diǎn)的背景建模方法雖然通過計(jì)算Harris特征點(diǎn)減少了背景差方法的 計(jì)算量，但存在難以將運(yùn)動特征點(diǎn)與運(yùn)動物體對應(yīng)的問題。由于特征點(diǎn)分布的稀疏性質(zhì)， 在很多情況下，尤其是場景中有很多同步運(yùn)動物體的情況下，難以將特征點(diǎn)和運(yùn)動物體進(jìn) 行正確對應(yīng)，從而錯(cuò)誤估計(jì)運(yùn)動物體的數(shù)量和大小。并且，它的最終結(jié)果是由稀疏的特征 點(diǎn)進(jìn)行表示，而并非像素點(diǎn)連接形成的區(qū)域表示。采用基于區(qū)域的背景建模方法主要有(1)自線性回歸模型被用于背景建模。為了避 免自回歸模型采用連續(xù)多幀原始圖像序列作為輸入引起的高維問題，將圖像分為固定大小 的圖像塊，然后對圖像塊進(jìn)行主成分分析得到基本特征向量，以此作為自回歸模型的輸入 特征,參見Monnet, A., et al. Background modeling and subtraction of dynamic scenesin International Conference on Computer Vision, 2003.; (2) Jing將這種隨時(shí)間變化的動態(tài)區(qū)域 采用自回歸移動平均模型Autoregressive Moving Average Model, ARMA建模，然后采用 Kalman濾波器對動態(tài)區(qū)域的外觀進(jìn)行估計(jì)，并通過調(diào)節(jié)權(quán)重函數(shù)的閥值得到運(yùn)動物體的區(qū) 域，參見Jing， Z. and S. Sclaroff. Segmenting foreground objects from a dynamic textured background via a robust Kalman filterin International Conference on Computer Vision, 2003.上述方法沒有對場景中的不同變化區(qū)域進(jìn)行區(qū)分，并根據(jù)不同的變化進(jìn)行背景更新速 率的選擇，因此容易隨著時(shí)間的推移導(dǎo)致背景模型和實(shí)際場景不想符合。而本發(fā)明正是通 過圖像中特征點(diǎn)的信息，區(qū)分場景中不同變化情況，從而選擇合適更新速率，實(shí)現(xiàn)了場景 的及時(shí)準(zhǔn)確更新。 發(fā)明內(nèi)容本發(fā)明的技術(shù)解決問題克服現(xiàn)有技術(shù)的不足，提供了一種根據(jù)場景變化特征對視頻 中運(yùn)動物體檢測的方法，該方法根據(jù)場景的變化特征，可以達(dá)到快速準(zhǔn)確進(jìn)行背景模型更新的目的，使得運(yùn)動物體在場景突變情況下也能被正確檢測，并且不會出現(xiàn)因場景突變導(dǎo) 致的錯(cuò)誤檢測問題。本發(fā)明的技術(shù)解決方案提出的根據(jù)場景變化特征對視頻中運(yùn)動物體檢測的方法，主 要包括如下步驟(1) 首先根據(jù)訓(xùn)練圖像進(jìn)行特征點(diǎn)檢測、背景特征點(diǎn)參數(shù)計(jì)算和背景模型像素點(diǎn)參數(shù)計(jì)算，(2) 在運(yùn)動物體檢測時(shí)，對當(dāng)前要檢測的圖像，根據(jù)所述的背景特征點(diǎn)參數(shù)和當(dāng)前檢 測的圖像特征點(diǎn)計(jì)算運(yùn)動特征點(diǎn)；(3) 根據(jù)所述的運(yùn)動特征點(diǎn)對背景模型中像素點(diǎn)參數(shù)進(jìn)行分類；(4) 根據(jù)分類結(jié)果計(jì)算背景模型像素點(diǎn)參數(shù)更新速率；(5) 最后根據(jù)當(dāng)前圖像和背景模型像素點(diǎn)參數(shù)，采用背景差方法得到運(yùn)動物體的位置 和形狀，同時(shí)根據(jù)計(jì)算出來的背景模型像素點(diǎn)更新速率，對背景模型像素點(diǎn)參數(shù)進(jìn)行更新。所述步驟(1)中背景特征點(diǎn)參數(shù)計(jì)算如下采集一組包含運(yùn)動物體的視頻序列圖像p 幀作為原始訓(xùn)練樣本集，對它們采用Harris角點(diǎn)檢測器檢測Harris特征點(diǎn)，然后采用n^n 像素點(diǎn)大小的窗口進(jìn)行連續(xù)幀之間的特征點(diǎn)匹配，得到背景特征點(diǎn)矩陣及其參數(shù)。所述的 Harris特征點(diǎn)采用一個(gè)128維的特征描述子進(jìn)行描述，并進(jìn)行歸一化，其中m和n分別代 表窗口的長和寬，表明該特征點(diǎn)與其他特征點(diǎn)進(jìn)行匹配的區(qū)域大小。所述步驟(1)中背景像素點(diǎn)參數(shù)計(jì)算釆用單高斯模型計(jì)算其參數(shù)。所述步驟(2)中運(yùn)動特征點(diǎn)計(jì)算為采用Harris角點(diǎn)檢測器檢測其中的特征點(diǎn)，然后 與背景特征點(diǎn)矩陣比較，計(jì)算得到運(yùn)動特征點(diǎn)。同時(shí)更新背景特征點(diǎn)矩陣及其參數(shù)。所述步驟(3)中根據(jù)運(yùn)動特征點(diǎn)對背景模型中像素點(diǎn)參數(shù)進(jìn)行分類的方法為根據(jù)圖 像中的運(yùn)動特征點(diǎn)信息，將背景模型中的像素點(diǎn)分為三類a.無運(yùn)動物體經(jīng)過區(qū)域像素點(diǎn)； b.運(yùn)動物體所在區(qū)域像素點(diǎn)；c.原先靜止的背景物體離開后形成的背景區(qū)域和原先運(yùn)動的運(yùn) 動物體靜止后成為背景的區(qū)域的像素點(diǎn)。所述步驟(4)中根據(jù)分類結(jié)果計(jì)算背景模型像素點(diǎn)參數(shù)者更新速率為根據(jù)背景模型像素點(diǎn)參數(shù)的分類結(jié)果，釆用核函數(shù)計(jì)算每個(gè)像素點(diǎn)的更新速率。本發(fā)明的原理本發(fā)明圖像中檢測得到的特征點(diǎn)通常及峽出物體的部分輪廓信息。因 此，通過判斷特征點(diǎn)的運(yùn)動情況能夠得到物體的運(yùn)動情況，然后通過分辨物體的運(yùn)動狀態(tài)， 確定其所在區(qū)域是需要快速更新，還是慢速更新或不更新，據(jù)此設(shè)定這些區(qū)域相應(yīng)的更新 速率，從而使得背景模型得到準(zhǔn)確快速更新。由步驟(1)在訓(xùn)練圖像中得到背景的特征點(diǎn) 分布情況，這樣用來區(qū)分待檢測圖像中的運(yùn)動物體特征點(diǎn)。在步驟(2)中則根據(jù)步驟(1)中得到的背景特征點(diǎn)分布情況，通過和當(dāng)前圖像的特征點(diǎn)分布情況比較計(jì)算，得到運(yùn)動物 體的特征點(diǎn)分布。然后在步驟(3)中根據(jù)(2)得到的運(yùn)動物體的特征點(diǎn)的運(yùn)動情況，確 定其是屬于哪類運(yùn)動變化。如是持續(xù)運(yùn)動物體，還是由靜止變?yōu)檫\(yùn)動的物體，還是由運(yùn)動 變?yōu)殪o止的物體。從而得到運(yùn)動特征點(diǎn)的分類。然后在步驟(4)中，根據(jù)不同分類情況確 定特征點(diǎn)附近的區(qū)域像素點(diǎn)相應(yīng)的更新速率。因?yàn)橛械淖兓枰焖俑拢械淖兓枰?慢更新或不更新。這樣才能夠在步驟(5)中正確進(jìn)行背景模型參數(shù)更新，并得到運(yùn)動物體 區(qū)域。本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于-(1) 本發(fā)明根據(jù)場景的變化特征，可以達(dá)到快速準(zhǔn)確進(jìn)行背景模型更新的目的，能夠 正確處理場景突變情況下的背景模型更新問題，使得運(yùn)動物體在場景突變情況下也能被正 確檢測，并且不會出現(xiàn)因場景突變導(dǎo)致的錯(cuò)誤檢測問題。當(dāng)場景當(dāng)中會有不同的變化，如 靜止的原來是背景的物體變成運(yùn)動物體后，它離開的區(qū)域成為新的背景，那么這時(shí)候就需 要一個(gè)快速的更新，使得背景模型能夠及時(shí)符合這塊被顯露出來的區(qū)域。因此，這塊區(qū)域 的更新速率需要增大。例如，如圖5第a列中第286幀的那輛出租車，它涼本是靜止的， 后來開走，那么原先它所占的那塊區(qū)域就提高更新速率，使得背景模型與它走后的區(qū)域相 符。另外，當(dāng)場景中有持續(xù)運(yùn)動的物體時(shí)，就需要降低甚至不更新這些運(yùn)動物體所占的區(qū) 域。因?yàn)槿绻@時(shí)候更新的話，將運(yùn)動物體的顏色信息加入到背景模型當(dāng)中去，使背景模 型與真實(shí)背景(被運(yùn)動物體遮擋的那塊區(qū)域)不相符合，導(dǎo)致檢測不準(zhǔn)確。如圖5第c列 148幀，由于前面大車經(jīng)過時(shí)，那塊背景區(qū)域進(jìn)行了錯(cuò)誤更新，導(dǎo)致小車經(jīng)過時(shí)，無法被正 確檢測出來。正確的做法是降低這些區(qū)域的更新速率，而圖像中檢測得到的特征點(diǎn)都是在 顏色對比較大的邊緣，很多是在物體的輪廓上。因此，通過判斷特征點(diǎn)的運(yùn)動情況能夠得 到物體的運(yùn)動情況，即上述的由靜止變?yōu)檫\(yùn)動還是持續(xù)運(yùn)動等情況，那么就可以設(shè)定這些 區(qū)域的更新速率，從而使得背景模型得到準(zhǔn)確快速更新。(2) 此外，本發(fā)明在運(yùn)動物體檢測過程中可以根據(jù)圖像中特征點(diǎn)的運(yùn)動情況，將圖像 中像素點(diǎn)進(jìn)行分類，對不同類的像素點(diǎn)采用不同更新速率進(jìn)行參數(shù)更新，避免了使用單一 更新速率造成的模型更新無法適應(yīng)不同場景變化問題，使背景模型更接近真實(shí)背景，從而 更準(zhǔn)確對運(yùn)動物體進(jìn)行檢測，得到運(yùn)動物體的位置和形狀。


圖1為本發(fā)明方法的流程圖；圖2為本發(fā)明中一原始幀圖像和對其進(jìn)行特征點(diǎn)提取得到的特征點(diǎn)分布圖；其中a為 需要進(jìn)行運(yùn)動物體檢測的圖像序列中的一幀圖像，b是對a進(jìn)行待征點(diǎn)提取后的特征點(diǎn)分布圖，十字的交點(diǎn)為檢測到的特征點(diǎn)；圖3為本發(fā)明中特征點(diǎn)移動方向示意圖；圖4為本發(fā)明中一原始幀圖像和對其進(jìn)行特征點(diǎn)提取得到的特征點(diǎn)分布圖，其中a是 需要進(jìn)行運(yùn)動物體檢測的圖像序列中的一幀圖像，b是對a進(jìn)行移動特征點(diǎn)計(jì)算的結(jié)果圖。 十字的交點(diǎn)為運(yùn)動特征點(diǎn)；圖5為現(xiàn)有的混合高斯模型不同更新速率下檢測結(jié)果和本發(fā)明方法檢測結(jié)果比較圖6為現(xiàn)有的稀疏特征點(diǎn)背景模型與本發(fā)明方法檢測結(jié)果比較。
具體實(shí)施方式
為了更好地理解本發(fā)明的技術(shù)方案，以下結(jié)合附圖和實(shí)施示例作進(jìn)一步詳細(xì)敘述。圖1為本發(fā)明方法的流程框圖。為了建立視頻中運(yùn)動物體檢測的背景模型，需要p幀連續(xù)的圖像序列作為樣本用于模型訓(xùn)練。首先根據(jù)訓(xùn)練圖像進(jìn)行特征點(diǎn)檢測和背景特征點(diǎn) 參數(shù)計(jì)算，然后根據(jù)訓(xùn)練圖像進(jìn)行背景像素點(diǎn)參數(shù)計(jì)算(如圖2所示，為對某一圖像進(jìn)行 特征點(diǎn)檢測的結(jié)果圖)。當(dāng)進(jìn)行運(yùn)動物體檢測時(shí)，對當(dāng)前要檢測的圖像，根據(jù)背景特征點(diǎn) 參數(shù)和當(dāng)前圖像特征點(diǎn)計(jì)算運(yùn)動特征點(diǎn)(如圖4中b所示，十字交叉點(diǎn)為計(jì)算得到的運(yùn)動 特征點(diǎn))。然后根據(jù)運(yùn)動特征點(diǎn)對背景模型中像素點(diǎn)進(jìn)行分類，并根據(jù)分類結(jié)果計(jì)算背景 模型像素點(diǎn)的參數(shù)更新速率。最后根據(jù)當(dāng)前圖像、背景像素點(diǎn)參數(shù)和像素點(diǎn)更新速率對背 景模型中像素點(diǎn)的參數(shù)進(jìn)行更新并計(jì)算運(yùn)動物體。 1.背景特征點(diǎn)參數(shù)計(jì)算步驟如下 (1)背景特征點(diǎn)表示矩陣BFM用于對背景特征點(diǎn)進(jìn)行表示。由于特征點(diǎn)的稀疏特性，該矩陣是一個(gè)稀疏矩 陣，即矩陣中的大多數(shù)元素都是空值。而對于每個(gè)特征點(diǎn)所在位置的元素，均采用1個(gè)9 元向量{血—加，frequency,離e/。rio"， var, s。， si， S2, s3, sO表示。其組成如下所示a. 特征點(diǎn)的平均描述子5^^:對于在同一位置反復(fù)出現(xiàn)的特征點(diǎn)，記錄它們的描述 子的平均值。特征點(diǎn)的128維描述子是按照如下方法計(jì)算得到將以特征點(diǎn)為中心的16x16 像素區(qū)域劃分為每塊4x4像素的一共16塊子區(qū)域。計(jì)算每塊區(qū)域中的16個(gè)像素點(diǎn)的灰度 直方圖，該直方圖按照0-255像素灰度值分成8級，這樣每個(gè)子區(qū)域就得到一個(gè)8維向量。 16個(gè)子區(qū)域得到128維向量。就形成了該特征點(diǎn)的描述子。歸一化就是將圖像中檢測到的 所有特征點(diǎn)的描述子的每一維的值，計(jì)算該維上所有描述子值中的最小值minvalue和最大 值maxvalue，然后對每個(gè)特征點(diǎn)在該維上的值，減去minvalue后除以(maxvalue-minvalue)， 這樣得到的結(jié)果就是在區(qū)間
之間，完成了描述子的規(guī)范化。b. 特征點(diǎn)出現(xiàn)的頻率fr叫uency:用于記錄在一組連續(xù)幀圖像中該特征點(diǎn)出現(xiàn)的次數(shù)。值得注意的是，由于在動態(tài)紋理區(qū)域，特征點(diǎn)出現(xiàn)的位置會隨著時(shí)間變化，兩個(gè)連續(xù)幀不 同位置的特征點(diǎn)可能對應(yīng)同一個(gè)特征點(diǎn)。因此，只要二者能匹配上，其位置的不同不影響 增加該特征點(diǎn)的frequency 。c. 最近連續(xù)n幀圖像序列中對應(yīng)的特征點(diǎn)的相關(guān)性correlation的均值^^和方差 van兩個(gè)特征點(diǎn)Pp P2之間的correlation按如下公式計(jì)算藝min隊(duì)K) (4)U， V是P,, P2的描述子，N表示描述子的維數(shù)。 co"eto/訓(xùn)和var的計(jì)算公式如下:(5)(6)d. 特征點(diǎn)在四個(gè)方向的位移St， S2, S3， S4以及特征點(diǎn)位置保持不動的次數(shù)So:四個(gè)方 向如圖3所示。其中，S!表示特征點(diǎn)p沿水平移動，S2表示p沿右上方向或左下方向移動， S3表示p沿垂直方向移動，S4表示p沿左上方向或右下方向移動，箭頭方向?yàn)橐苿诱较颉Ｈ魀向正方向移動n個(gè)像素，則相應(yīng)方向位移值增加n，若向負(fù)方向移動，則相應(yīng)方向位移 減少n。若p的位置保持不變，則so加1。這些位移數(shù)據(jù)用于判斷特征點(diǎn)的運(yùn)動方向連續(xù)性， 以便對運(yùn)動特征和背景特征進(jìn)行分類。 (2)背景特征點(diǎn)參數(shù)計(jì)算和更新首先使用算法1得到圖像序列中的穩(wěn)定特征點(diǎn)矩陣FM， FM的表示方法與背景特征點(diǎn) BFM表示方法相同。算法l:初始特征點(diǎn)計(jì)算輸入連續(xù)p幀圖像I1，...，111。 輸出穩(wěn)定特征點(diǎn)矩陣FM。Stepl:對于第1幀，提取特征點(diǎn)，得到特征點(diǎn)集合F1。對于后續(xù)每幀圖像，從Step2 開始執(zhí)行。Step2:對第t幀圖像提取特征點(diǎn)，得到特征點(diǎn)集合Ft。Step3:對于Ft中的每一元素r(xo，yo)，在FM中，采用一個(gè)mxn大小的窗口 ，該窗口 以(xo,yo)為中心進(jìn)行特征點(diǎn)匹配，即將r(x。,y。)與該窗口內(nèi)的FM(x，y)中的平均特征描述子進(jìn) 行匹配。匹配原則是計(jì)算最大的相關(guān)性correlation值，記為correlationmax，并將該值對應(yīng)的 特征點(diǎn)作為最終匹配結(jié)果。如果能找到匹配點(diǎn)()d，yt),則轉(zhuǎn)至Sfep4;如果無法戲到，貝D轉(zhuǎn)至Step5。Step4:如果c/。"。"， > c/。"o"-3x var ( co/re/ario"和var由存儲在矩陣FM中位于(Xi,yi)處的元素值取得)，則判別為二者為真實(shí)對應(yīng)，跳至Step6;反之，二者非真實(shí)對應(yīng)，并不匹 配，跳至Step5。Step5:在(xo，yo)處生成一個(gè)新特征，得到其對應(yīng)的9元向量(其中frequency初始值設(shè) 為2，其余值設(shè)為0),并更新FM。轉(zhuǎn)至Step7。Step6:更新FM(x,，y!)。其中frequency加2，根據(jù)公式(5)、 (6)重新計(jì)算CO/reto/0 和var。 并根據(jù)特征點(diǎn)的移動方向更新相應(yīng)的Si(0^S4)。Step7:所有FM元素的frequency值減1。如果其中有元素frequency為0，則將其從 FM中刪除。在處理完所有p幀之后，對FM進(jìn)行分析，判斷其中的元素為運(yùn)動特征點(diǎn)記錄還是背 景特征點(diǎn)記錄，得到背景特征點(diǎn)矩陣BFM。由于背景特征點(diǎn)包括靜態(tài)區(qū)域和動態(tài)紋理區(qū)域 兩部分，靜態(tài)區(qū)域特征點(diǎn)的特點(diǎn)是在圖像中的位置基本固定；而動態(tài)紋理區(qū)域的特征點(diǎn)會 在某個(gè)區(qū)域來回運(yùn)動。相對而言，運(yùn)動特征點(diǎn)的運(yùn)動方向更為穩(wěn)定。因此可以從特征點(diǎn)的 運(yùn)動來區(qū)分背景特征點(diǎn)和運(yùn)動特征點(diǎn)。對于FM中每一非零元素，判斷其so的值，如果 s0>pxcy,則該特征點(diǎn)為靜態(tài)背景特征點(diǎn)，BFM中對應(yīng)位置添加該元素，判斷結(jié)束。否則在Sl, S2， S3， S4中選取數(shù)值最大者S咖x和最小者Smin，取大于Sm狄和Smin的最大正整數(shù)S'max 和S;in。如果S'm狀/s'min〉pXY，則該特征點(diǎn)為運(yùn)動特征點(diǎn)，否則，該特征點(diǎn)為動態(tài)紋理背景 特征點(diǎn)，在BFM中對應(yīng)位置添加該元素。其中，p為圖像幀數(shù)，C7為特征點(diǎn)靜止比例閥值， 7為持續(xù)運(yùn)動特征點(diǎn)比例閥值。2.背景像素點(diǎn)參數(shù)計(jì)算在單高斯模型中，第t幀圖像中位于(xo,yo)的像素點(diǎn)，其像素值為X的概率是p("=7(x, 〃,,!:,) (7) 其中，a， s,分別表示第t幀時(shí)該像素點(diǎn)的高斯分布的均值和協(xié)方差。7是高斯概率密 度函數(shù)- 卞卩模型中參數(shù)A和E,由最近連續(xù)p幀圖像中位于相應(yīng)位置的像素點(diǎn)的顏色值(Xh ... , Xp} 計(jì)算得出，其參數(shù)計(jì)算為<formula>formula see original document page 10</formula>3. 對待檢測圖像，計(jì)算其運(yùn)動特征點(diǎn)以及更新背景特征點(diǎn)矩陣背景特征點(diǎn)的更新方法同算法1，只是輸入由FM變成BFM。得到的輸出即為更新后 的BFM。在更新過程中未能找到對應(yīng)的背景特征點(diǎn)的和非真實(shí)對應(yīng)的特征點(diǎn)，即判斷為運(yùn) 動特征點(diǎn)。4. 背景像素點(diǎn)參數(shù)更新為了使背景模型實(shí)時(shí)適應(yīng)場景變化，如光線的變化，背景物體的運(yùn)動等，模型需隨著 當(dāng)前幀圖像的數(shù)據(jù)而更新。并且，像素點(diǎn)高斯模型的更新同樣只對SR區(qū)域內(nèi)的像素點(diǎn)進(jìn)行。 為了使像素點(diǎn)高斯模型能進(jìn)行自適應(yīng)更新，運(yùn)動特征點(diǎn)信息被用于動態(tài)調(diào)節(jié)像素點(diǎn)的更新 速率。更新速率計(jì)算對于第t幀，SR區(qū)域的像素點(diǎn)可以分為3類(1) 無運(yùn)動物體經(jīng)過區(qū)域。它們按初始更新速率ao進(jìn)行更新。(2) 運(yùn)動物體所在區(qū)域。由于該區(qū)域被運(yùn)動物體遮擋，不應(yīng)該進(jìn)行背景模型更新，所 以更新速率應(yīng)為O。(3.原先靜止的背景物體離開后形成的背景區(qū)域和原先運(yùn)動的運(yùn)動物體靜止后成為背 景的區(qū)域。由于新背景的產(chǎn)生，需要及時(shí)更新這塊背景區(qū)域，因此該區(qū)域更新速率應(yīng)為amax。但是，由于并不知道運(yùn)動物體所在區(qū)域，也就無法確切地對上述區(qū)域進(jìn)行分割。但可 以根據(jù)特征點(diǎn)信息計(jì)算上述區(qū)域像素點(diǎn)的更新速率。第1類區(qū)域像素點(diǎn)的特征是在第t-l 幀和第t幀時(shí)，自身及鄰近區(qū)域都不存在運(yùn)動特征點(diǎn)的像素點(diǎn)。第2類區(qū)域像素點(diǎn)即在第t 幀時(shí)存在運(yùn)動特征點(diǎn)的像素點(diǎn)及鄰近區(qū)域的像素點(diǎn)。第3類區(qū)域像素點(diǎn)的特征是在t-l幀時(shí) 特征點(diǎn)靜止，在t幀時(shí)變?yōu)檫\(yùn)動，其t-l幀時(shí)該特征點(diǎn)鄰近區(qū)域以及在t-l幀時(shí)為運(yùn)動， 在t幀時(shí)為靜止的特征點(diǎn)，其t幀時(shí)該特征點(diǎn)的鄰近區(qū)域。圖4顯示的就是某幀原始圖像以 及采用特征點(diǎn)模型計(jì)算出來的該幀圖像的特征點(diǎn)信息。其中，十字交叉點(diǎn)表示運(yùn)動特征點(diǎn)。對于第l類特征點(diǎn)，其周圍像素點(diǎn)(x'，y')的更新速率保持不變。對于第2類特征點(diǎn)，采用如下截尾核函數(shù)f(x)計(jì)算特征點(diǎn)周圍像素點(diǎn)的更新速率，其表 達(dá)式為<formula>formula see original document page 11</formula> (12)其中a 、"是函數(shù)參數(shù)，^表示核函數(shù)的作用范圍，^決定了空間距離對函數(shù)值變化的 影響大小。其特征點(diǎn)周圍像素點(diǎn)(x'，y')的更新速率計(jì)算公式為<formula>formula see original document page 12</formula>對于第3類特征點(diǎn)，其周圍像素點(diǎn)(x'，y')的更新速率計(jì)算公式為其中， "為最大更新速率。當(dāng)像素點(diǎn)(x'，y')周圍有多個(gè)特征點(diǎn)時(shí)，其更新速率取分別計(jì)算時(shí)的均值"(;c'，力"t"/('，，力其中，"'"'，"表示依據(jù)第i個(gè)特征點(diǎn)計(jì)算得到的更新速率。 對于不在運(yùn)動特征點(diǎn)周圍的像素點(diǎn)，按照初始更新速率"。進(jìn)行更新。參數(shù)更新對于單個(gè)像素點(diǎn)的更新步驟如下Stepl:對于第t幀圖像It中每一像素點(diǎn)I(x,y)，如果R(x,y)為l，則結(jié)束處理，轉(zhuǎn)至下一像素點(diǎn)。否則，轉(zhuǎn)至Step2。Step2:如果I(x,y)屬于第1類區(qū)域像素點(diǎn)，則轉(zhuǎn)至Step3;否則轉(zhuǎn)至Step4。Step3:當(dāng)m。d(z,。"時(shí)，m=&,，結(jié)束處理，轉(zhuǎn)至下一像素點(diǎn)。否則，轉(zhuǎn)至Step4。Step4:由公式(13)、 (14)、 (15)計(jì)算更新速率"。根據(jù)《更新高靳模型參數(shù)〃'=(1-")^+化^H卜咖'v"(x'—A')>"')。如果該像素點(diǎn)屬于第2,3類區(qū)域，則結(jié)束處理；否則，轉(zhuǎn)至Step5。Step5:如果^'—A-'l>f ，貝lje-max(l，^/7ooK0x/^));如果|X,|"，貝|」S = min(emffi，_/7ow((9xp ))。其中，max和min分別表示取最大值和最小值函數(shù)，floor(x)表示取不大于x的整數(shù)。 5.運(yùn)動物體檢測假設(shè)待檢測圖像中某像素點(diǎn)值為It，該點(diǎn)在背景像素點(diǎn)模型中的參數(shù)為(A， S,)。設(shè) D,叫It-一-2^ig(s,)，如果Dt中每一元素都小于0，則該像素點(diǎn)為背景，否則該像素點(diǎn)屬于運(yùn) 動物體。圖5為混合高斯模型不同更新速率下檢測結(jié)果與本發(fā)明方法檢測結(jié)果比較。a列為原始 輸入幀序列中的第70、 148、 250、 286、 342幀，框1所框住的物體表示關(guān)注的運(yùn)動中物體， 即運(yùn)動中的小車。第70幀時(shí)，小車駛?cè)雸鼍埃坏?48幀時(shí)，小車?yán)^續(xù)行駛；第250幀時(shí)， 出租車尚未啟動，作為背景；第286幀時(shí)，出租車啟動；第342幀時(shí)，出租車即將駛出場 景。b列為采用慢更新(更新速率"=0.01)的混合高斯模型檢測結(jié)果?？?為關(guān)注物體的 檢測結(jié)果。c列為采用快更新(更新速率"=0.1)的混合高斯模型結(jié)果。d列為采用本發(fā)明 的基于特征點(diǎn)自適應(yīng)背景模型的檢測結(jié)果。一在b列采用慢更新混合高斯模型的結(jié)果中注意到在第342幀時(shí)，框3中原來出租車的 位置依然檢測到一個(gè)出租車物體，顯示該區(qū)域模型未得到及時(shí)更新。實(shí)際上，在本發(fā)明的 實(shí)驗(yàn)中，該區(qū)域直到450幀以后也未完全正確更新。在c列采用快更新混合高斯模型的結(jié)果中可以看到，在第70幀時(shí)，框2部位顯示己經(jīng) 由于背景更新速率太快，使得背景模型擬合了汽車的表面顏色，使得汽車很大一部分區(qū)域 無法被正確檢測。接下來，在第148幀時(shí)，由于背景己經(jīng)在汽車經(jīng)過時(shí)過快更新，產(chǎn)生了 不正確的模型參數(shù)，因此使得小汽車基本上已經(jīng)無法檢測出來。但是由于其快速更新的特 點(diǎn)，在第342幀時(shí)，原來出租車的區(qū)域已經(jīng)得到及時(shí)更新。在d列的結(jié)果中，第70幀時(shí)，小車進(jìn)入場景即被正確檢測。在第148幀時(shí)，正確檢測 出小車。在第250幀時(shí)，出租車作為背景。第286幀時(shí)，框3的出租車啟動，被正確檢測 出。第342幀時(shí)，框4的出租車被正確檢測，而且由于原來出租車停放區(qū)域的特征點(diǎn)移動 離開，該區(qū)域背景模型的更新速率于是提高，使背景得到了及時(shí)更新。因此，實(shí)驗(yàn)表明該 模型能自適應(yīng)調(diào)節(jié)不同區(qū)域的更新速率。圖6為稀疏特征點(diǎn)背景模型與本發(fā)明方法檢測結(jié)果比較。由于稀疏特征點(diǎn)模型中前景 物體檢測結(jié)果只能以特征點(diǎn)的形式表現(xiàn)出來，所以圖中的結(jié)果只顯示出特征點(diǎn)形式。a列表 示原始幀序列，可以看到從第50幀到第IOO幀，框5中的兩位行人始終保持同一速度沿同 一方向行進(jìn)。在b列顯示的是稀疏特征點(diǎn)模型檢測的結(jié)果，可以看到，在這種情況下，難 以判斷出這些特征點(diǎn)是屬于同一個(gè)物體還是不同的物體。由于其運(yùn)動一致性，往往會將其 判別為同一物體。c列中顯示的是本發(fā)明方法的結(jié)果。由于采用的基于像素的方法，從圖中 可以看出，很容易通過連通區(qū)域分析的方法，將行人區(qū)分開來，使特征點(diǎn)能夠正確對應(yīng)到 各自物體。最后所應(yīng)說明的是，以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng) 域的普通技術(shù)人員來說，在不脫離本發(fā)明根據(jù)場景變化特征對視頻進(jìn)行運(yùn)動物體檢測原理 的前提下，還可以做出若干改進(jìn)或等同替換，這些改進(jìn)和等同替換也應(yīng)視為本發(fā)明的保護(hù) 范圍。
權(quán)利要求
1、一種根據(jù)場景變化特征對視頻中運(yùn)動物體檢測的方法，其特征在于包括以下步驟(1)首先根據(jù)訓(xùn)練圖像進(jìn)行特征點(diǎn)檢測、背景特征點(diǎn)參數(shù)計(jì)算和背景模型像素點(diǎn)參數(shù)計(jì)算，(2)在運(yùn)動物體檢測時(shí)，對當(dāng)前要檢測的圖像，根據(jù)所述的背景特征點(diǎn)參數(shù)和當(dāng)前檢測的圖像特征點(diǎn)計(jì)算運(yùn)動特征點(diǎn)；(3)根據(jù)所述的運(yùn)動特征點(diǎn)對背景模型中像素點(diǎn)參數(shù)進(jìn)行分類；(4)根據(jù)分類結(jié)果計(jì)算背景模型像素點(diǎn)參數(shù)更新速率；(5)最后根據(jù)當(dāng)前圖像和背景模型像素點(diǎn)參數(shù)，采用背景差方法得到運(yùn)動物體的位置和形狀，同時(shí)根據(jù)計(jì)算出來的背景模型像素點(diǎn)更新速率，對背景模型像素點(diǎn)參數(shù)進(jìn)行更新。
2、 根據(jù)權(quán)利要求l所述的根據(jù)場景變化特征對視頻中運(yùn)動物體檢測的方法，其特征在 于所述步驟(1)中背景特征點(diǎn)參數(shù)計(jì)算如下采集一組包含運(yùn)動物體的視頻序列圖像p 幀作為原始訓(xùn)練樣本集，對該原始訓(xùn)練樣本集采用Harris角點(diǎn)檢測器檢測Harris特征點(diǎn)， 然后采用mxn像素點(diǎn)大小的窗口進(jìn)行連續(xù)幀之間的特征點(diǎn)匹配，得到背景特征點(diǎn)矩陣及其 參數(shù)，其中m和n分別代表窗口的長和寬，表明該特征點(diǎn)與其他特征點(diǎn)進(jìn)行匹配的區(qū)域大 小。
3、 根據(jù)權(quán)利要求2所述的根據(jù)權(quán)利要求1所述的根據(jù)場景變化特征對視頻中運(yùn)動物體 檢測的方法，其特征在于所述的Harris特征點(diǎn)采用一個(gè)128維的特征描述子進(jìn)行描述， 并進(jìn)行歸一化。
4、 根據(jù)權(quán)利要求1所述的根據(jù)場景變化特征對視頻中運(yùn)動物體檢測的方法，其特征在 于所述步驟(1)中背景像素點(diǎn)參數(shù)計(jì)算采用單高斯模型計(jì)算。
5、 根據(jù)權(quán)利要求1所述的根據(jù)場景變化特征對視頻中運(yùn)動物體檢測的方法，其特征在 于所述步驟(2)中運(yùn)動特征點(diǎn)計(jì)算過程為采用Harris角點(diǎn)檢測器檢測其中的特征點(diǎn)， 然后與背景特征點(diǎn)矩陣比較，計(jì)算得到運(yùn)動特征點(diǎn)參數(shù)。
6、根據(jù)權(quán)利要求1所述的根據(jù)場景變化特征對視頻中運(yùn)動物體檢測的方法，其特征在于所述步驟(3)中根據(jù)運(yùn)動特征點(diǎn)對背景模型中像素點(diǎn)參數(shù)進(jìn)行分類的方法為根據(jù)圖 像中的運(yùn)動特征點(diǎn)信息，將背景模型中的像素點(diǎn)分為三類(a)無運(yùn)動物體經(jīng)過區(qū)域像素 點(diǎn)；(b)運(yùn)動物體所在區(qū)域像素點(diǎn)；(c)原先靜止的背景物體離開后形成的背景區(qū)域和 原先運(yùn)動的運(yùn)動物體靜止后成為背景的區(qū)域的像素點(diǎn)。
7、 根據(jù)權(quán)利要求l所述的根據(jù)場景變化特征對視頻中運(yùn)動物體檢測的方法，其特征在 于所述步驟(4)中根據(jù)背景模型像素點(diǎn)參數(shù)的分類結(jié)果，采用核函數(shù)計(jì)算每個(gè)像素點(diǎn)的 更新速率。
8、 根據(jù)權(quán)利要求6或7所述的根據(jù)場景變化特征對視頻中運(yùn)動物體檢測的方法，其特 征在于所述的分類(a)類像素點(diǎn)的更新速率保持不變。
9、 根據(jù)權(quán)利要求6或7所述的根據(jù)場景變化特征對視頻中運(yùn)動物體檢測的方法，其特 征在于所述的(b)類像素點(diǎn)，其周圍像素點(diǎn)(x'，y')的更新速率計(jì)算公式為其中"表示空間距離對函數(shù)值變化的影響大小。
10、根據(jù)權(quán)利要求6或7所述的根據(jù)場景變化特征對視頻中運(yùn)動物體檢測的方法，其特征在于所述的(C)類像素點(diǎn)，其周圍像素點(diǎn)(X',y')的更新速率計(jì)算公式為 其中，"皿為最大更新速率；當(dāng)像素點(diǎn)(x',y')周圍有多個(gè)特征點(diǎn)時(shí)，其更新速率取分別計(jì)算時(shí)的均值。(？,/)=丄1>"',/)其中，"'"'，力表示依據(jù)第i個(gè)特征點(diǎn)計(jì)算得到的更新速率。
全文摘要
一種根據(jù)場景變化特征對視頻中運(yùn)動物體檢測的方法(1)首先根據(jù)訓(xùn)練圖像進(jìn)行特征點(diǎn)檢測、背景特征點(diǎn)參數(shù)計(jì)算和背景模型像素點(diǎn)參數(shù)計(jì)算，(2)在運(yùn)動物體檢測時(shí)，對當(dāng)前要檢測的圖像，根據(jù)所述的背景特征點(diǎn)參數(shù)和當(dāng)前檢測的圖像特征點(diǎn)計(jì)算運(yùn)動特征點(diǎn)；(3)根據(jù)所述的運(yùn)動特征點(diǎn)對背景模型中像素點(diǎn)參數(shù)進(jìn)行分類；(4)根據(jù)分類結(jié)果計(jì)算背景模型像素點(diǎn)參數(shù)更新速率；(5)最后根據(jù)當(dāng)前圖像和背景模型像素點(diǎn)參數(shù)，采用背景差方法得到運(yùn)動物體的位置和形狀，同時(shí)根據(jù)計(jì)算出來的背景模型像素點(diǎn)更新速率，對背景模型像素點(diǎn)參數(shù)進(jìn)行更新。本發(fā)明能夠更準(zhǔn)確對運(yùn)動物體進(jìn)行檢測，得到運(yùn)動物體的位置和形狀。
文檔編號G06T7/20GK101246547SQ200810101240
公開日2008年8月20日 申請日期2008年3月3日 優(yōu)先權(quán)日2008年3月3日
發(fā)明者威 吳, 忠 周, 彥 張, 張淑軍, 趙沁平 申請人:北京航空航天大學(xué)