專利名稱：：用于檢測場景中的遺留對(duì)象的方法
技術(shù)領(lǐng)域：
：本發(fā)明總體上涉及將攝像機(jī)獲取的場景的圖像序列分割成背景部分和前景部分，更具體地說，涉及對(duì)場景中的遺留對(duì)象進(jìn)行檢測。
背景技術(shù)：
：在視頻監(jiān)視應(yīng)用中，通常將攝像機(jī)獲取的場景的圖像序列分割成背景部分和前景部分，以便檢測和跟蹤場景中的對(duì)象。通常假設(shè)背景部分是完全靜止的，或者是緩慢地或周期地變化的，而前景部分則對(duì)應(yīng)于比背景部分中的像素變化得快得多的多組相鄰像素。已知的許多背景提取方法對(duì)照明、像素噪聲、攝像機(jī)位置等的變化有很好的魯棒性。一種簡單的方法是標(biāo)記出圖像中的以下像素這些像素的值與沒有任何前景對(duì)象的場景的圖像的像素值不同。這種方法經(jīng)常用于室內(nèi)場景，其中的照明及場景幾何形狀可以被嚴(yán)格地控制。為了處理多模態(tài)(multimodal)背景，可以應(yīng)用背景模型。通常，該模型是以高斯分布的形式。通過諸如在線期望最大化(EM)的迭代更新機(jī)制，針對(duì)每個(gè)連續(xù)圖像或幀更新背景模型。然而，在線EM將弱模式調(diào)合成更強(qiáng)模式，并使模型均值失真。為實(shí)現(xiàn)對(duì)背景模型的精確自適應(yīng)(adaptation),可以使用貝葉斯(Bayesian)更新過程，其也可以估計(jì)所需模型的數(shù)量。該過程能夠處理場景中的照明變化及其它任意的變化。還有使用圖像梯度和光流信息的各種混合模型背景。只要提供足夠的觀察值，該混合模型方法就可以收斂到任何的任意分布。然而，隨著混合中的模型數(shù)量的增長，計(jì)算代價(jià)也呈指數(shù)增長。另一種背景建模方法使用非參數(shù)核密度估計(jì)。這種方法存儲(chǔ)序列中圖像的像素色值(colorvalue),并且使用所有的數(shù)據(jù)估計(jì)一組核函數(shù)的分布，而不是在每一幀迭代地更新背景模型。存儲(chǔ)代價(jià)和計(jì)算代價(jià)都與圖像的數(shù)量成比例。結(jié)果，基于核的方法對(duì)于長時(shí)間地連續(xù)獲取圖像的實(shí)時(shí)應(yīng)用是不切實(shí)際的。另一種基于三維幾何的方法允許照明的任意變化，但是假設(shè)背景在幾何上是靜止的。該方法使用立體攝像機(jī)。違反空?qǐng)鼍暗念A(yù)先計(jì)算的視差模型的像素被標(biāo)記為前景。當(dāng)背景中的運(yùn)動(dòng)周期性非常強(qiáng)時(shí)基于頻率的技術(shù)具有很好的效果。例如，海岸監(jiān)視系統(tǒng)可以考慮到海浪的周期性，并通過對(duì)明確觀察到的每像素(pixel-wise)周期性進(jìn)行建模而有效地消除該影響。另一種分割方法適合于在保持背景模型的同時(shí)對(duì)前景對(duì)象進(jìn)行顏色合成。即使該方法目的在于結(jié)合基于像素的、基于運(yùn)動(dòng)的和基于區(qū)域的技術(shù)的優(yōu)點(diǎn)，但對(duì)于周期性運(yùn)動(dòng)以及非凸對(duì)象仍存在問題。先前的知識(shí)可以歸結(jié)為背景檢測。由于滿協(xié)方差矩陣的計(jì)算，可以修改特征空間以包括其它的信息源，例如運(yùn)動(dòng)信息。然而，存在常規(guī)的兩類分割方法不能解決的一類問題。一般意義上認(rèn)為留在公眾場所中的對(duì)象(例如手提箱、背包、或包裹)會(huì)帶來嚴(yán)重的安全風(fēng)險(xiǎn)。不幸的是，這種對(duì)象既不能作為前景部分也不能作為背景部分。當(dāng)該對(duì)象進(jìn)入場景時(shí)，它是前景。在被遺留后，該對(duì)象又成為背景。然而，關(guān)鍵是該對(duì)象不能被完全忽視。并且，稍后該對(duì)象可能會(huì)被移除。因此，它在場景中的存在不應(yīng)該被遺忘。已知一些能夠檢測遺留對(duì)象的方法，參見J.D.Courtney的"Automaticvideoindexingviaobjectmotionanalysis",PR30(4)，pp.607-625，1997，E.Auvinet、E.Grossmann、C.Rougier、M.Dahmane和J.Meunier的"Left-luggagedetectionusinghomographiesandsimpleheuristics",PETS,pp.51-58，2006，丄M.delRincn、丄E.Herrero畫Jaraba、J.R.Gmez禾卩C.Orrite-Uruuela的"Automaticleftluggagedetectionandtrackingusingmulti-cameraukf"，PETS,pp.59-66，2006，P.T.N.Krahnstoever、T.Sebastian、A.Perera禾卩R.Collins的"Multi-viewdetectionandtrackingoftravelersandluggageinmasstrasitenvironments",PETS，pp.67-74，2006，K.Smith、P.Quelhas禾口D.Gatica-Perez的"Detectingabandonedluggageitemsinapublicspace",PETS，pp.75-82，2006，以及S.Guler禾口M.K.Farrow的"Abandonedobjectdetectionincrowdedplaces",PETS，pp.99-106，2006。大多數(shù)現(xiàn)有技術(shù)方法的主要缺陷在于，為了識(shí)別視頻圖像中對(duì)應(yīng)于一個(gè)被遺留對(duì)象的部分，這些方法要解決更加困難的作為中間步驟的對(duì)象跟蹤或?qū)ο髾z測的問題。在復(fù)雜的真實(shí)世界場景中實(shí)時(shí)跟蹤對(duì)象是很困難的。
發(fā)明內(nèi)容本發(fā)明的實(shí)施方式提供了一種通過將攝像機(jī)獲取的場景的圖像序列分割成背景部分和前景部分以檢測遺留對(duì)象的方法。例如，圖像序列包括一段監(jiān)視視頻，并且前景的一部分而不是全部可以對(duì)應(yīng)于一個(gè)遺留對(duì)象。一個(gè)優(yōu)點(diǎn)是該方法不需要進(jìn)行對(duì)象跟蹤，這消除了在跟蹤過程中常見的幀間對(duì)應(yīng)失敗的可能性。然而，該方法可與跟蹤過程相結(jié)合以提高遺留對(duì)象檢測方法的精度。該方法不需要場景或?qū)ο蟮哪Ｐ汀Ｔ摲椒ㄖ饕婕跋袼刈兓臅r(shí)間方面。因此，該方法不需要進(jìn)行訓(xùn)練以補(bǔ)償特定的成像條件，例如攝像機(jī)角度、照明等。該方法可以使用并行方式以減少處理時(shí)間。該方法對(duì)多個(gè)時(shí)間尺度下場景中的運(yùn)動(dòng)進(jìn)行分析，并創(chuàng)建均被實(shí)現(xiàn)為每像素混合高斯分布的長時(shí)或短時(shí)的背景模型。然后，使用貝葉斯更新機(jī)制對(duì)兩個(gè)模型進(jìn)行自適應(yīng)。接著，該方法通過將每個(gè)圖像與長時(shí)背景模型和短時(shí)背景模型進(jìn)行比較而遞歸地估計(jì)長時(shí)背景和短時(shí)背景的統(tǒng)計(jì)量。這些統(tǒng)計(jì)量被用于區(qū)分屬于場景中基本靜止的背景部分、活動(dòng)的前景部分以及在一段時(shí)間內(nèi)靜止的遺留對(duì)象的像素。圖1是根據(jù)本發(fā)明一個(gè)實(shí)施方式的用于檢測場景中的遺留對(duì)象的方法的流程圖；圖2是根據(jù)本發(fā)明一個(gè)實(shí)施方式的用于保持運(yùn)動(dòng)圖像的過程的流程圖；以及圖3是根據(jù)本發(fā)明一個(gè)實(shí)施方式的對(duì)背景模型的參數(shù)進(jìn)行更新的過程的偽代碼的框圖。具體實(shí)施方式圖1示出了根據(jù)本發(fā)明實(shí)施方式的用于檢測場景20中的遺留對(duì)象10的方法100。攝像機(jī)30獲取該場景的圖像序列101，例如，該攝像機(jī)是一種監(jiān)視攝像機(jī)。我們的遺留對(duì)象檢測方法是基于像素顏色隨時(shí)間演變(evolution)的推斷。該遺留對(duì)象可以被當(dāng)作場景中的以前不存在的一個(gè)靜止對(duì)象。這個(gè)觀察表明通過對(duì)被稱為長時(shí)靜止背景區(qū)域的背景在120進(jìn)行建模，并在130對(duì)前景進(jìn)行建模，我們可以推斷出圖像序列中的一個(gè)像素是否對(duì)應(yīng)于一個(gè)遺留對(duì)象。如果該對(duì)象遺留的時(shí)間延長，則能夠在160發(fā)出警報(bào)信號(hào)。我們的方法對(duì)監(jiān)視視頻中變化的像素亮度(intensity)在多個(gè)時(shí)間尺度102下的時(shí)間演變進(jìn)行分析。因此，我們保持多個(gè)時(shí)間尺度下背景模型的參數(shù)110。該方法每處理一個(gè)新的圖像，在時(shí)間上前進(jìn)一個(gè)步驟。如下所述，參數(shù)110被保持為多層。即，每個(gè)像素被表示成隨時(shí)間的多層的三維多元高斯分布。參數(shù)110定義了任意時(shí)刻(例如，序列中的每一個(gè)圖像)的高斯分布。正如此處的用法，時(shí)間和圖像實(shí)質(zhì)上是同義的，因?yàn)閳D像是以已知的幀速率被獲取。在120更新背景模型后，我們可以在130確定前景模型。該前景模型被用于在200保持一個(gè)運(yùn)動(dòng)圖像103，參見圖2。在150將證據(jù)規(guī)則151應(yīng)用于運(yùn)動(dòng)圖像103，并且如果檢測到遺留對(duì)象則在160能夠發(fā)出警報(bào)信號(hào)。時(shí)間尺度主要思想是，如果在多個(gè)時(shí)間尺度102下分析圖像序列101，則能夠從背景和前景兩者中分割出短時(shí)靜止對(duì)象10。我們的自適應(yīng)背景更新120從該視頻中去除緩慢自適應(yīng)背景像素和快速自適應(yīng)前景像素。剩下的像素屬于比背景運(yùn)動(dòng)得更快或更頻繁、但比前景運(yùn)動(dòng)得更慢的一類對(duì)象，因此只有那些對(duì)應(yīng)于遺留對(duì)象的像素留在運(yùn)動(dòng)圖像103中。時(shí)間尺度完全是相對(duì)的，并且在很大程度上依賴于應(yīng)用和被檢測對(duì)象的類別。對(duì)于監(jiān)視應(yīng)用，例如火車站的監(jiān)視，其中人和對(duì)象的運(yùn)動(dòng)相對(duì)比較快，短時(shí)可以是一分鐘的一小部分，而長時(shí)可以是五到十分鐘。在一個(gè)非法停車監(jiān)視系統(tǒng)中，短時(shí)可以是十五分鐘，而長時(shí)可以是幾個(gè)小時(shí)。如果該停車場所是機(jī)場，則長時(shí)可以多于一個(gè)星期以檢測被遺棄的車輛。對(duì)于醫(yī)學(xué)應(yīng)用，例如MRI和CAT掃描、解剖學(xué)流體的成像，該時(shí)長可以是以幾分鐘或幾小時(shí)量級(jí)。背景模型根據(jù)時(shí)長設(shè)定，場景背景由在例如幾十分鐘的延長時(shí)段內(nèi)提取統(tǒng)計(jì)上一致信息的模型表示。通過保持像素為短時(shí)的運(yùn)動(dòng)圖像103中的證據(jù)值將間斷的前景像素從遺留對(duì)象10中區(qū)分出來。因此，我們?cè)诙鄠€(gè)時(shí)間尺度102下對(duì)場景中的運(yùn)動(dòng)進(jìn)行分析，并以兩部分創(chuàng)建兩個(gè)背景模型。該背景模型包括長時(shí)背景(J5》模型和短時(shí)背景(萬》模型。這兩個(gè)模型使用混合高斯分布。該分布可以是一維、二維或更高維。我們?cè)?20采用貝葉斯更新機(jī)制精確地對(duì)該模型進(jìn)行自適應(yīng)。使用統(tǒng)計(jì)量來區(qū)分完全屬于場景中靜止背景部分的像素、屬于活動(dòng)前景的像素以及屬于在延長的時(shí)段內(nèi)靜止的遺留對(duì)象的像素。在每個(gè)連續(xù)的幀或圖像處，我們通過將當(dāng)前幀/與BL和BS模型進(jìn)行比較來估計(jì)長時(shí)和短時(shí)統(tǒng)計(jì)量。前景遮擋(mask)參見圖2，我們還在130確定前景模型。該模型同樣有兩部分，即長時(shí)前景(F》遮擋201和短時(shí)前景(i^)遮擋202。遮擋中的像素Fsf^,:^和^&"可以是零或一。也就是說，該遮擋是二值圖像。Fi遮擋表示當(dāng)前圖像的場景中的未出現(xiàn)在先前圖像中的變化，例如運(yùn)動(dòng)對(duì)象、時(shí)間上靜止的對(duì)象、運(yùn)動(dòng)投影、背景模型未能自適應(yīng)的突然的劇烈的照明變化(例如噪聲)。^遮擋對(duì)應(yīng)于那些原來在運(yùn)動(dòng)并隨后變成在短時(shí)間內(nèi)靜止的對(duì)象。和&遮擋中一樣，這些像素也可以表示由于噪聲引起的突然變化。遮擋假設(shè)根據(jù)證據(jù)規(guī)則151，可以從前景遮擋做出四種假設(shè)-1)尸"^y)-0且i^(;cj/h0。像素(:cj)對(duì)應(yīng)于背景，且當(dāng)前圖像中對(duì)應(yīng)的像素/0,W用^模型和仏模型二者表示；2)/^(x,力-l且F^c,力-1。像素(x,力對(duì)應(yīng)于一個(gè)運(yùn)動(dòng)對(duì)象且不用&模型或^^模型表示；3)&"力=0且尸^,力=1。像素(x,力對(duì)應(yīng)于場景背景，且當(dāng)前圖像中的像素/(x,力僅用A模型表示；以及4)尸^,力=1且^^,力=0。像素(x,力可能對(duì)應(yīng)于一個(gè)遺留對(duì)象且可以用A模型表示。置信值如上所述，我們的背景模型使用了混合高斯分布。與這些模型相關(guān)聯(lián)的是統(tǒng)計(jì)置信值。對(duì)于亮度僅在相對(duì)短的時(shí)間段內(nèi)變化的像素，A模型和&模型的置信度都不會(huì)增加到足以使這些像素成為有效的背景像素。因此，這些像素在130被確定為前景。如果&模型將像素"混合"到背景中而^模型仍然將這些像素標(biāo)記為前景，那么該像素將被認(rèn)為是遺留對(duì)象像素。如果像素亮度變化持續(xù)了更長的時(shí)間，則這兩個(gè)模型都將這些像素當(dāng)作背景。運(yùn)動(dòng)圖像為了對(duì)檢測的靈敏性施加時(shí)間約束并同時(shí)去除由于噪聲引起的偽影(artifact),我們使用證據(jù)規(guī)則151，通過在200遞增和遞減運(yùn)動(dòng)圖像103中的每像素證據(jù)值，在200將每圖像(image-wise)檢測結(jié)果保持到運(yùn)動(dòng)圖像Af(x,力103中，如D=徊"v腳，(1)其中，證據(jù)閾值w^(203)和衰減常數(shù);t(222)是正數(shù)。如果長時(shí)遮擋和短時(shí)遮擋中的對(duì)應(yīng)像素可以與遺留對(duì)象相關(guān)聯(lián)，則在220證據(jù)規(guī)則151使運(yùn)動(dòng)圖像中的像素的證據(jù)值遞增。否則，在221使運(yùn)動(dòng)圖像中的像素的證據(jù)值減小常數(shù)A。如果在231運(yùn)動(dòng)圖像中的證據(jù)值變得小于0，則在241證據(jù)值被再次設(shè)置為0。證據(jù)閾值對(duì)于每個(gè)像素，運(yùn)動(dòng)圖像都保持遺留對(duì)象的一個(gè)證據(jù)值。如果該證據(jù)值大于閾值,Xe(203)，即在230有M(x,力〉m"Xe，則我們將該像素標(biāo)記為遺留對(duì)象像素，并且在240產(chǎn)生可選的報(bào)警信號(hào)。證據(jù)閾值wo^203被定義成多個(gè)連續(xù)圖像(即時(shí)間)的形式。該閾值可以取決于我們方法中期望的靈敏度和噪聲特性。當(dāng)圖像被噪聲污染時(shí)，希望maxj勺值較高。這些高的數(shù)值還降低了虛警率(falsealarmmte)。證據(jù)閾值ma^的典型范圍是[10，300]個(gè)連續(xù)圖像。如果從場景中去除了遺留對(duì)象，則衰減常數(shù)/t(222)用于調(diào)整應(yīng)當(dāng)發(fā)生什么。如果在對(duì)象被去除后需要立即發(fā)出信號(hào)報(bào)警，則衰減常數(shù)/t的值應(yīng)該大一些，例如*=畫、，即報(bào)警和衰減可以使用同一個(gè)參數(shù)。衰減常數(shù)的相對(duì)較大值會(huì)產(chǎn)生令人滿意的結(jié)果。應(yīng)當(dāng)注意的是，背景模型和及其混合模型都不依賴于上述閾值。這意味著，該檢測對(duì)特定應(yīng)用的證據(jù)和衰減常數(shù)二者的變化具有魯棒性。因此，這些參數(shù)值可以被很方便地設(shè)置成任何合適的值。序貫貝葉斯更新參見圖3，背景模型的長時(shí)部分和短時(shí)部分由貝葉斯更新過程進(jìn)行自適應(yīng)。該貝葉斯更新在Tuzel等人的2006年11月23日公開的發(fā)明名禾爾為"ModelinglowframeratevideoswithBayesianestimation"的美國專利申請(qǐng)20060262959中有更詳細(xì)的描述，通過引用將其合并。我們的更新過程保持了背景模型的多模態(tài)性(multimodality)。在每次更新時(shí)，根據(jù)當(dāng)前的觀察(圖像7)更新最多一個(gè)層。這確保了層的最小重疊。我們還確定對(duì)于每一個(gè)像素多少個(gè)層是必需的，并且在前景分割階段只使用那些層。這是利用一個(gè)內(nèi)嵌的置信分?jǐn)?shù)執(zhí)行的。每個(gè)像素被定義為多層的三維多元高斯分布。每一層對(duì)應(yīng)于該像素的一個(gè)不同的外觀。我們?cè)赗GB顏色空間中執(zhí)行操作。通過使用貝葉斯方法，我們不需要估計(jì)每一層的均值和方差。而是，我們估計(jì)均值和方差的概率分布。我們能夠從概率分布中提取有關(guān)均值和方差的統(tǒng)計(jì)信息。然后，我們使用均值和方差二者的期望進(jìn)行變化檢測，并將均值的方差作為我們的置信測度。圖像數(shù)據(jù)(即像素亮度)被假設(shè)成具有均值z(mì)/和協(xié)方差2:的正態(tài)分布。該均值和方差是未知的并且被建模成隨機(jī)變量。使用貝葉斯定理，聯(lián)合后驗(yàn)密度可以被寫成p(XZiX)k;7(Xk2)/7(a,Z)。(2)利用一個(gè)新的觀察執(zhí)行遞歸貝葉斯估計(jì)，聯(lián)合先驗(yàn)密度^^，》與聯(lián)合后驗(yàn)密度p(/z,5:ix)具有相同的形式。以方差為條件，該聯(lián)合先驗(yàn)密度是一》K"0(X)。(3)如果我們假設(shè)協(xié)方差為逆Wishart分布，并且基于該協(xié)方差，均值為多元正態(tài)分布，則可以實(shí)現(xiàn)上述條件。逆Wishart分布是比例(scaled)逆f分布的多元推廣。該協(xié)方差和均值的參數(shù)化形式分別是<formula>formulaseeoriginaldocumentpage12</formula>(4)川2N(H)。(5)其中，q.,是自由度，A^是逆Wishart分布的尺度矩陣(scalematrix),PM是先驗(yàn)均值，^是先驗(yàn)測度的數(shù)量。利用這些假設(shè)，三維特征空間的該聯(lián)合先驗(yàn)密度是<formula>formulaseeoriginaldocumentpage12</formula>我們將該密度標(biāo)為normal-inverse-WishartW.pA,.,//^;^^,.,)。將該先驗(yàn)密度乘以正態(tài)似然度，并排列這些項(xiàng)，該聯(lián)合后驗(yàn)密度變成normal-inverse-Wishart(《,A,/^;t;,,A,)，其中的參數(shù)更新為<formula>formulaseeoriginaldocumentpage12</formula>(7)<formula>formulaseeoriginaldocumentpage12</formula>(8)以及<formula>formulaseeoriginaldocumentpage13</formula>(9)新的參數(shù)將先驗(yàn)信息與觀察到的樣本合并。后驗(yàn)均值《是先驗(yàn)均值和樣本均值的加權(quán)平均。注意，該樣本值可以是像素亮度、像素顏色、或亮度的梯度幅度。后驗(yàn)自由度等于先驗(yàn)自由度加上樣本大小。在公式(8)中，第一項(xiàng)對(duì)應(yīng)于當(dāng)前背景，第二個(gè)附加項(xiàng)影響的是背景被當(dāng)前圖像改變的程度。應(yīng)注意，這兩項(xiàng)中的分母是相同的。如果是k,.,，卯"是控制參數(shù)。在上面的公式中，權(quán)重"與對(duì)分布的參數(shù)進(jìn)行"學(xué)習(xí)"的時(shí)間尺度有關(guān)。如果該學(xué)習(xí)參數(shù)或權(quán)重"低，則當(dāng)前圖像對(duì)背景圖像具有相對(duì)小的附加影響，且該背景反映場景的短時(shí)演變，如果權(quán)重"較大，則當(dāng)前圖像更為劇烈地改變背景，從而反映了場景中的長時(shí)演變。該方法以下面的初始參數(shù)開始<formula>formulaseeoriginaldocumentpage13</formula>(10)其中I是三維單位矩陣。'相對(duì)于協(xié)方差S對(duì)聯(lián)合后驗(yàn)密度進(jìn)行積分，我們得到均值的邊緣后驗(yàn)密度<formula>formulaseeoriginaldocumentpage13</formula>(11)其中、_2是自由度為-2的多元f分布。我們使用均值和協(xié)方差的邊緣后驗(yàn)分布的期望作為我們?cè)跁r(shí)刻(圖像)f的模型參數(shù)。邊緣后驗(yàn)均值的期望(即多元f分布的期望)變?yōu)?lt;formula>formulaseeoriginaldocumentpage13</formula>(12)邊緣后驗(yàn)協(xié)方差的期望(即逆Wishart分布的期望)變?yōu)?lt;formula>formulaseeoriginaldocumentpage13</formula>(13)該層的置信測度等于piX協(xié)方差的行列式的倒數(shù)<formula>formulaseeoriginaldocumentpage13</formula>(14)i、ixi(",-4)ia,r我們可以通過作出對(duì)顏色通道的獨(dú)立假設(shè)而減少處理時(shí)間。因此，我們將RGB顏色通道分離，并獨(dú)立地處理每個(gè)通道。我們使用三個(gè)對(duì)應(yīng)于每一個(gè)顏色通道的單變量高斯分布，來代替針對(duì)單個(gè)層使用多元高斯分布。在獨(dú)立地更新每個(gè)顏色通道后，我們將方差結(jié)合在一起并生成對(duì)角協(xié)方差矩陣-L00《J對(duì)每一個(gè)單變量高斯分布，我們假設(shè)方差為比例逆f分布，并且以該方差為條件，均值為單變量正態(tài)分布。背景更新根據(jù)場景的動(dòng)態(tài)性和復(fù)雜性，對(duì)每個(gè)像素利用A個(gè)層對(duì)我們的方法進(jìn)行初始化，例如，A為3到5。也可以使用更多的層。當(dāng)我們針對(duì)每個(gè)像素處理新樣本時(shí)，我們更新背景模型的參數(shù)。從我們的模型中置信度最高的層開始我們的更新。如果觀察到的樣本在當(dāng)前模型的99%置信區(qū)間中，則如公式(7)、(8)和(9)所示地更新模型的參數(shù)。較低置信度模型不被更新。對(duì)于背景建模，"遺忘"機(jī)制很有用，使得較早的觀察值對(duì)該模型有較小的影響。通過減少一個(gè)不匹配模型中先驗(yàn)觀察值參數(shù)的數(shù)量來執(zhí)行該遺忘。如果當(dāng)前樣本不在該置信區(qū)間中，則我們更新先驗(yàn)測度參數(shù)的數(shù)量W廣w，(16)并更新置信度次高的層。我們不會(huì)讓小于初始值10。如果沒有模型被更新，則我們刪除置信度最低的層并將具有當(dāng)前樣本的新模型初始化為該均值和初始方差。圖3中示出了針對(duì)單個(gè)像素的更新過程的偽代碼。對(duì)于一個(gè)新樣本X，背景層根據(jù)公式(14)定義的置信測度對(duì)層排序，且/被初始化為l，則當(dāng)/^t時(shí)，我們測量馬氏距離(Mahalanobisdistance):《<~(x-;U,一!,)7X丄,(x-〃,一,)。如果樣本x在99。/。的置信區(qū)間中，則我們根據(jù)公式(7)、(8)、(9)更新模型參數(shù)并停止。否則，我們依據(jù)公式(16)和增量/更新模型參數(shù)。我們o<0刪除層t并初始化具有公式(io)定義的參數(shù)的新層。因此，我們不會(huì)用噪聲或前景像素變形我們的模型，并且容易進(jìn)行自適應(yīng)以平滑類似照明效果的亮度變化。內(nèi)嵌的置信分?jǐn)?shù)確定了要使用的層的數(shù)量并避免了不需要的層。通常，第二層對(duì)應(yīng)于背景像素的陰影形式，或場景的運(yùn)動(dòng)區(qū)域的不同顏色。如果場景是單模態(tài)的，則除了第一層以外的層的置信分?jǐn)?shù)會(huì)變得很低。前景分割背景統(tǒng)計(jì)量被用于檢測場景的變化區(qū)域，例如，前景對(duì)象。表示一個(gè)像素所需層的數(shù)量事先并不已知。因此，利用比所需數(shù)量更多的層來初始化背景。我們使用置信分?jǐn)?shù)來確定對(duì)于每個(gè)像素多少個(gè)層是顯著的。我們根據(jù)公式(14)的置信分?jǐn)?shù)對(duì)層進(jìn)行排序，并選擇置信值大于預(yù)定層閾值z(mì);的層。我們將這些層稱為置信層。閾值rc取決于像素的均值的協(xié)方差，因此該閾值依賴于像素的顏色范圍。我們對(duì)范圍內(nèi)的像素亮度值執(zhí)行操作，并選擇rc=i.o。對(duì)于其它的范圍，可以修改閾值z(mì);。我們測量來自置信層的觀察到的顏色(RGB亮度)的馬氏距離。處于背景的所有置信層的99%置信區(qū)間之外的像素被認(rèn)為是前景像素。連接成分(connectedcomponent)分析我們還可以將連接成分分析應(yīng)用于運(yùn)動(dòng)圖像以確定對(duì)象的大小或圖案(形狀)。例如，可以將該方法調(diào)整為只檢測例如背包的小對(duì)象、或者檢測人、或者檢測例如遺留汽車的大對(duì)象。當(dāng)檢測到遺留對(duì)象時(shí)，還可以將對(duì)象識(shí)別應(yīng)用于圖像序列。方法驗(yàn)證為了測試雙前景方法，我們使用幾個(gè)能夠公開得到的數(shù)據(jù)集，例如，可從PETS2006和AVSS2007得到的著名的監(jiān)視視頻。測試序列的總數(shù)為32。該測試數(shù)據(jù)包括不同的像素分辨率，例如，180x144、320x240、640x480、和720x576。情景的范圍從餐廳到地下火車站。大多數(shù)的序列包括小的(10xl0像素)遺留對(duì)象。一些序列具有多個(gè)遺留對(duì)象。一半的序列對(duì)應(yīng)于其中人數(shù)相對(duì)少(例如，最多3個(gè))的場景。另一半序列具有更復(fù)雜的情景，其中有多個(gè)坐著、站著、走著的人。在兩種情況下，人們表現(xiàn)出可變的速度。對(duì)象被遺留了不同的時(shí)間段，例如，10秒鐘到2分鐘。為了對(duì)性能進(jìn)行量化，我們對(duì)每個(gè)序列的誤報(bào)的數(shù)量和虛警的數(shù)量進(jìn)行計(jì)數(shù)。下面的表A中給出了結(jié)果。表A<table>tableseeoriginaldocumentpage16</column></row><table>集合1是針對(duì)一個(gè)地下火車站。集合2和3是來自自助餐廳的廣角攝像機(jī)記錄的。集合4、5、6是針對(duì)來自一個(gè)餐廳的不同攝像機(jī)。集合7是針對(duì)一個(gè)休息室。集合8是針對(duì)一個(gè)具有餐廳的大的封閉空間平臺(tái)。我們確定的虛警率和檢測率如下面的表B所示。表B虛警率(每秒百分比)正確檢測率0.27%97.92%我們的結(jié)果顯示，我們的方法成功地檢測到了幾乎全部的遺留對(duì)象，同時(shí)獲得了非常低的虛警率。該方法在97.92°/。的正確檢測率下具有每秒0.27%的虛警率。我們可以使用一個(gè)對(duì)象分類器來識(shí)別遺留的對(duì)象。發(fā)明的效果該遺留對(duì)象檢測方法對(duì)于場景中人的不穩(wěn)定運(yùn)動(dòng)、照明的變化、攝像機(jī)的抖動(dòng)以及由于貝葉斯更新背景生成而引起的其它偽影具有魯棒性。由于我們的方法不依賴于跟蹤，因此不受預(yù)定事件檢測試探法(即，一個(gè)人帶著一個(gè)物體并運(yùn)動(dòng)了某一特定距離等)的限制，該預(yù)定事件檢測試探法經(jīng)常被需要檢測和識(shí)別場景中每個(gè)單獨(dú)對(duì)象的跟蹤方法所使用。與常規(guī)的基于運(yùn)動(dòng)向量分析的方法不同，除了檢測這種事件的發(fā)生之外我們還精確地檢測遺留對(duì)象的邊界。我們的方法并不限于遺留對(duì)象的最大數(shù)量。我們的方法可以檢測其中一些遺留對(duì)象從場景中被去除而另外一些仍保留的情況。如果一個(gè)遺留對(duì)象稍后被其它的對(duì)象或人遮擋，我們的方法仍然可以檢測到它。并且，使用單個(gè)攝像機(jī)的我們的方法和基于多攝像機(jī)的方法具有同樣好的檢測性能。除了上述優(yōu)點(diǎn)外，我們的方法在計(jì)算上適于實(shí)時(shí)應(yīng)用。由于我們的方法可以被分成多個(gè)獨(dú)立的每像素操作，因此也適于并行處理。盡管以優(yōu)選實(shí)施方式為例已經(jīng)描述了本發(fā)明，但應(yīng)該理解在本發(fā)明的精神和范圍內(nèi)可以做出各種其它的改變和修改。因此，所附權(quán)利要求的目的是涵蓋落入本發(fā)明的真實(shí)精神和范圍內(nèi)的所有這種變型和修改。權(quán)利要求1.一種用于檢測場景中的遺留對(duì)象的方法，該方法包括以下步驟使用攝像機(jī)獲取的場景的圖像序列來更新一組背景模型，其中以從短時(shí)到長時(shí)的不同時(shí)間尺度來更新每個(gè)背景模型；在針對(duì)所述序列中一個(gè)特定圖像進(jìn)行更新后根據(jù)每個(gè)背景模型確定一個(gè)前景遮擋；根據(jù)一組前景遮擋來更新一個(gè)運(yùn)動(dòng)圖像，其中所述運(yùn)動(dòng)圖象中的每個(gè)像素都有一個(gè)相關(guān)聯(lián)的證據(jù)值；以及將這些證據(jù)值與一個(gè)證據(jù)閾值進(jìn)行比較以檢測所述場景中的遺留對(duì)象并發(fā)出通知。2、根據(jù)權(quán)利要求1所述的方法，其中所述檢測基于所述圖像序列中的像素亮度隨時(shí)間演變的推斷。3、根據(jù)權(quán)利要求1所述的方法，其中所述時(shí)間尺度基于所述圖像序列被處理的幀速率。4、根據(jù)權(quán)利要求3所述的方法，其中如果在所述更新期間使用所述序列中的每個(gè)圖像，則所述時(shí)間尺度是短時(shí)，并且如果將要被處理的所述圖像是從所述序列中二次抽樣的，則所述時(shí)間尺度是長時(shí)。5、根據(jù)權(quán)利要求1所述的方法，其中所述時(shí)間尺度是所述一組背景模型的參數(shù)被更新的學(xué)習(xí)速率。6、根據(jù)權(quán)利要求1所述的方法，其中所述時(shí)間尺度基于所述圖像序列被處理的幀速率以及所述一組背景模型的參數(shù)被更新的學(xué)習(xí)速率。7、根據(jù)權(quán)利要求6所述的方法，其中如果對(duì)應(yīng)背景模型的更新比在相同學(xué)習(xí)速率下所述長時(shí)的所述背景模型更新更頻繁，則所述時(shí)間尺度是短時(shí)。8、根據(jù)權(quán)利要求1所述的方法，其中每個(gè)背景模型被保持為一組層，每個(gè)層都是多元高斯分布，并且其中多個(gè)參數(shù)定義了在所述更新期間的任意時(shí)刻的每個(gè)高斯分布。9、根據(jù)權(quán)利要求8所述的方法，其中所述高斯分布是多維的。10、根據(jù)權(quán)利要求5所述的方法，其中所述時(shí)間尺度是所述參數(shù)被更新的速率。11、根據(jù)權(quán)利要求1所述的方法，其中所述運(yùn)動(dòng)圖像的所述更新去除了所述運(yùn)動(dòng)圖像中對(duì)應(yīng)于緩慢自適應(yīng)背景像素的像素和對(duì)應(yīng)于快速自適應(yīng)前景像素的像素，以使得所述運(yùn)動(dòng)圖像中剩余的像素對(duì)應(yīng)于所述遺留對(duì)象。12、根據(jù)權(quán)利要求1所述的方法，其中所述時(shí)間尺度依賴于一個(gè)應(yīng)用。13、根據(jù)權(quán)利要求8所述的方法，其中所述一組背景模型的所述更新使用貝葉斯機(jī)制，所述貝葉斯機(jī)制包括估計(jì)每層參數(shù)的均值的概率分布和方差的概率分布。14、根據(jù)權(quán)利要求13所述的方法，其中所述均值和所述方差的期望用于檢測所述遺留對(duì)象，所述均值的方差作為所述證據(jù)值的置信分?jǐn)?shù)。15、根據(jù)權(quán)利要求1所述的方法，其中每個(gè)前景遮擋是具有零和一像素值的二值圖像，并且所述一像素值表示所述圖像序列中的一個(gè)可能的前景對(duì)象。16、根據(jù)權(quán)利要求15所述的方法，其中所述一組前景遮擋包括一個(gè)長時(shí)遮擋i^和一個(gè)短時(shí)遮擋Fs，并且其中所述運(yùn)動(dòng)圖像的所述更新是根據(jù)以下證據(jù)規(guī)則如果&(^力=0且F"x,少h0，則像素(x,力對(duì)應(yīng)于所述場景中的背景，并且當(dāng)前圖像中的對(duì)應(yīng)像素/(x,^用所述對(duì)應(yīng)的背景模型萬￡和&二者表示；如果i^(x,力-l且i^O,力-l，則像素(義,力對(duì)應(yīng)于所述場景中的一個(gè)運(yùn)動(dòng)對(duì)象，并且不用背景模型A或萬^中的任何一個(gè)表示；如果K(x,力-O且，則像素(X力對(duì)應(yīng)于場景背景，并且所述當(dāng)前圖像中的像素/(:cjO僅用所述A模型表示；以及如果且F^c,力-0，則像素(x,力可能對(duì)應(yīng)于一個(gè)遺留對(duì)象。17、根據(jù)權(quán)利要求16所述的方法，其中所述運(yùn)動(dòng)圖像A^,W的所述更新是<formula>formulaseeoriginaldocumentpage4</formula>其中，證據(jù)閾值附^和衰減常數(shù)&是正數(shù)。18、根據(jù)權(quán)利要求17所述的方法，其中所述證據(jù)閾值m^位于所述序列中[10,300]個(gè)連續(xù)圖像的范圍內(nèi)。19、根據(jù)權(quán)利要求17所述的方法，其中&=附％。20、根據(jù)權(quán)利要求10所述的方法，其中針對(duì)所述序列中的任何圖像更新所述背景模型的一個(gè)子集。21、根據(jù)權(quán)利要求14所述的方法，其中每個(gè)集合中的層數(shù)根據(jù)所述置信分?jǐn)?shù)進(jìn)行自適應(yīng)。22、根據(jù)權(quán)利要求1所述的方法，其中除了更新所述一組背景模型時(shí)的所述時(shí)間尺度以外所述一組背景模型是相同的。23、根據(jù)權(quán)利要求1所述的方法，該方法還包括以下步驟將連接成分分析應(yīng)用于所述運(yùn)動(dòng)圖像中的所述像素，并根據(jù)大小約束來檢測所述遺留對(duì)象并發(fā)出通知。24、根據(jù)權(quán)利要求1所述的方法，該方法還包括以下步驟將連接成分分析應(yīng)用于所述運(yùn)動(dòng)圖像中的所述像素，并根據(jù)圖案約束來檢測所述遺留對(duì)象并發(fā)出通知。全文摘要一種通過使用由攝像機(jī)獲取的場景的圖象序列對(duì)一組背景模型進(jìn)行更新以檢測場景中的遺留對(duì)象的方法。每個(gè)背景模型以從短時(shí)到長時(shí)的不同時(shí)間尺度被更新。在更新所述序列中的特定圖像后，根據(jù)每個(gè)背景模型確定一個(gè)前景遮擋。根據(jù)一組前景遮擋更新一個(gè)運(yùn)動(dòng)圖像。在該運(yùn)動(dòng)圖像中，每個(gè)像素具有一個(gè)相關(guān)聯(lián)的證據(jù)值。將這些證據(jù)值與一個(gè)證據(jù)閾值進(jìn)行比較以檢測場景中的遺留對(duì)象并發(fā)出通知。文檔編號(hào)G06K9/00GK101281596SQ20081009517公開日2008年10月8日申請(qǐng)日期2008年4月3日優(yōu)先權(quán)日2007年4月5日發(fā)明者尤里·A·伊萬諾夫,法提赫·M·波里克利申請(qǐng)人:三菱電機(jī)株式會(huì)社