用于提高視頻中的對(duì)象檢測(cè)性能的系統(tǒng)和方法
【專利摘要】一種用于訓(xùn)練特殊對(duì)象檢測(cè)器辨別出現(xiàn)在用于目標(biāo)域的幀序列中的前景對(duì)象的方法和系統(tǒng)。該幀序列描述不均勻背景中的前景對(duì)象的運(yùn)動(dòng)。在該序列的初始幀的高置信度子窗口中檢測(cè)前景對(duì)象，其包括計(jì)算高置信度子窗口包括前景對(duì)象的置信度量并確定該置信度量超過指定置信度閾值。在出現(xiàn)在初始幀之后的后續(xù)幀的各正子窗口中跟蹤前景對(duì)象。后續(xù)幀在指定短時(shí)間段內(nèi)。使用正子窗口來訓(xùn)練特殊對(duì)象檢測(cè)器檢測(cè)目標(biāo)域中的前景對(duì)象。正子窗口包括初始幀的子窗口和后續(xù)幀的各子窗口。
【專利說明】用于提高視頻中的對(duì)象檢測(cè)性能的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明一般地涉及視頻中的對(duì)象檢測(cè)且更具體地涉及提高視頻中的對(duì)象檢測(cè)的性能。
【背景技術(shù)】
[0002]對(duì)象檢測(cè)在智能視頻監(jiān)控系統(tǒng)中起到基礎(chǔ)作用。作為前提條件，在大視頻數(shù)據(jù)庫中或在實(shí)時(shí)視頻流中自動(dòng)地搜索感興趣的對(duì)象的能力常常涉及到視頻幀中的對(duì)象的檢測(cè)和局部化。
[0003]傳統(tǒng)監(jiān)控系統(tǒng)通常應(yīng)用背景建模技術(shù)[(C.Stauffer和W.Grimson, Adaptivebackground mixture models for real-time tracking, CVPR, 1998, I);(Y.Tian, M.Lu和 A.Hampapur, Robust and efficient foreground analysis for real-time videosurveillance, CVPR, 2005, I)]，用于檢測(cè)場(chǎng)景中的移動(dòng)對(duì)象，其在低活動(dòng)性情形中是高效的且相當(dāng)好地工作。然而，傳統(tǒng)監(jiān)控系統(tǒng)在其處理典型市區(qū)條件(諸如擁擠場(chǎng)景)和環(huán)境變化(像雨、雪、反射以及陰影)的能力方面是有限的。在擁擠場(chǎng)景中，多個(gè)對(duì)象被頻繁地合并成單個(gè)運(yùn)動(dòng)斑點(diǎn)，從而損害較高水平的任務(wù)，諸如對(duì)象分類和屬性的提取。
[0004]基于外觀的對(duì)象檢測(cè)器[(N.Dalal 和 B.Triggs.Histograms of orientedgradients for human detection, CVPR, 2005, I); (P.Felzenszwalb,R.Girshick,D.McAllester 和 D.Ramanan, Object detection with discriminatively trainedpart based models, IEEE Transactions on PAMI, 2010, I)]作為用以應(yīng)對(duì)這些有挑戰(zhàn)性的條件的很有前景的方向而出現(xiàn)。具體地，對(duì)于要求實(shí)時(shí)處理的應(yīng)用而言，基于類哈爾(Haar-1ike)特征的級(jí)聯(lián)檢測(cè)器已被廣泛地用于人臉[P.Viola和M.Jones.Robust Real-time Object Detection, International Journal of ComputerVision, 2004, I, 2, 3, 4],行人[P.Viola, M.Jones 和 D.Snowi, Detecting pedestriansusing patterns of motion and appearance, ICCV, 2003, I]和車輛[R.S.Feris, B.Siddiquie,Y.Zhai,J.Petterson,L.Brown 和 S.Pankanti, Attribute-based vehiclesearch in crowded surveillance videos, ICMR, 2011，I]的檢測(cè)。雖然在此領(lǐng)域中已經(jīng)實(shí)現(xiàn)的顯著的進(jìn)步，但現(xiàn)有技術(shù)對(duì)象檢測(cè)器仍不能很好地一般化至不同的相機(jī)角度和照明條件。由于實(shí)際部署常常涉及到大量的監(jiān)控相機(jī)，所以訓(xùn)練每個(gè)相機(jī)的檢測(cè)器由于標(biāo)注成本而是不可能的。已經(jīng)提出了在線自適應(yīng)方法[(V.Jair^PE.Learned-Miller, Online domainadaptation of a pre-trained cascade of classifiers, CVPR, 2011, I, 2);(S.Pan, 1.Tsang, J.Kwok 和 Q.Yang, Domain adaptation via transfer component analysis, IEEETransactions on Neural Networks, 2011, I, 2)]以使一般檢測(cè)器適應(yīng)于特定的域，但是該在線自適應(yīng)方法通常要求來自目標(biāo)域的少量的手動(dòng)標(biāo)簽。大多數(shù)方法僅僅依賴于權(quán)值的自適應(yīng)，同時(shí)保持原始檢測(cè)器的相同的特征和相同的計(jì)算復(fù)雜性。
[0005] 已經(jīng)提出了用于圖像和視頻中的對(duì)象檢測(cè)的各種方法?；诳勺冃尾糠值哪Ｐ蚚P.Felzenszwalb, R.Girshick, D.McAllester 和 D.Ramanan, Object detectionwith discriminatively trained part based models,IEEE Transactions onPAMI, 2010, I],基于取向梯度特征的直方圖的分類器[N.Dalal和B.Triggs.Histogramsof oriented gradients for human detection, CVPR, 2005，I]以及卷積神經(jīng)網(wǎng)絡(luò)[Y.LeCun，K.Kavukvuoglu 和 C.Farabet，Convolutional networks and applications invision, ISCAS, 2010，I]是已在多個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集中實(shí)現(xiàn)現(xiàn)有技術(shù)成果的成功方法的示例。然而，一般地，這些方法在常規(guī)機(jī)器上運(yùn)行小于15幀每秒，并且因此可能不適用于要求每個(gè)服務(wù)器處理許多視頻通道的監(jiān)控應(yīng)用。
[0006]級(jí)聯(lián)檢測(cè)器[(P.Felzenszwalb，R.Girshick 和 D.McAllester，Cascadeobject detection with deformable part models, CVPR, 2010, 2) ; (P.Viola 和M.Jones.Robust Real-time Object Detection,International Journal of ComputerVision, 2004，1，2，3，4)]已被普遍地釆用以獲得高效的處理。Viola和Jones [P.Viola和M.Jones, Robust Real-time Object Detection,International Journal of ComputerVision, 2004，1，2，3，4]介紹了一種基于Adaboost分類器、使用快速至計(jì)算機(jī)的類哈爾特征的魯棒且高效的檢測(cè)器。在過去幾年中已經(jīng)提出了此算法的許多變體，包括不同的提高模型和不同的特征。用于級(jí)聯(lián)檢測(cè)器的置信度量尚未被很好地研究。
[0007]共同訓(xùn)練技術(shù)[(0.Javed，S.Ali 和 M.Shah，Online detection andclassification of moving objects using progressively improvingdetectors, CVPR, 2005，2) ; (P.Roth, H.Grabnerj D.Skocajj H.Bischof 和Leonardis,On-line conservative learning for person detection,PETSWorkshop, 2005, 2)]已通過在數(shù)據(jù)的不同視圖上訓(xùn)練單獨(dú)分類器，應(yīng)用于提高特定域中的對(duì)象檢測(cè)的性能。來自第一分類器的可信標(biāo)記樣本被用來補(bǔ)充第二分類器的訓(xùn)練集且反之亦然。共同訓(xùn)練的底層假設(shè)是數(shù)據(jù)的兩個(gè)視圖是統(tǒng)計(jì)獨(dú)立的，其尤其是在從單個(gè)模態(tài)提取特征時(shí)可能被違背。
[0008]已經(jīng)提出了多個(gè)在線自適應(yīng)方法[(V.Jain 和 E.Learned-Miller.0nline domainadaptation of a pre-trained cascade of classifiers, CVPR, 2011，1，2) ; (S.Pan, 1.TsangjJ.Kwok 和 Q.Yang, Domain adaptation via transfer component analysis, IEEETransactions on Neural Networks，2011，1，2)]以使一般檢測(cè)器適應(yīng)于特定的域。通常，這些技術(shù)要求來自目標(biāo)域的少數(shù)手動(dòng)標(biāo)簽或者遭受捕捉在線數(shù)據(jù)以正確地更新分類器方面的不準(zhǔn)確性。除少數(shù)例外[H.Grabner和H.Bischofj Online boostingand visiOn，CVPR，2006，2]，只有特征權(quán)值是自適應(yīng)的且特征本身并不是。結(jié)果，自適應(yīng)分類器一般地至少如原始檢測(cè)器那樣昂貴。在線學(xué)習(xí)已被應(yīng)用于改善跟蹤[(H.Grabnerj C.Leistner 和 H.Bischof，Sem1-supervised on-line boosting for robusttracking, ECCVj2008，2) ; (S.Avidanj Ensemble tracking, IEEE Transactions onPAMI, 2007，2)]，假設(shè)對(duì)象僅出現(xiàn)在一個(gè)位置上。
[0009]Feris 等人[R.S.Ferisj J.Pettersonj B.Siddi quie, L.Brown 和S.Pankanti, Large-scale vehicle detection in challenging urban surveillanceenvironments, WACV, 2011，2]提出了 一種用以自動(dòng)地從目標(biāo)域收集訓(xùn)練數(shù)據(jù)并學(xué)習(xí)分類器的技術(shù)。然而，該技術(shù)要求用戶輸入以指定感興趣區(qū)域和屬性，諸如感興趣對(duì)象的運(yùn)動(dòng)方向和可接受A S。最近，Siddiquie等人[B.Siddiquie，R.Ferisj A.Datta和L.Davis, Unsupervised model selection for view-1nvariant object detection insurveillance environments, ICPR, 2012, 2]提出了一種將場(chǎng)景幾何約束考慮在內(nèi)以從源域向目標(biāo)域轉(zhuǎn)移知識(shí)的方法。這種方法甚至能夠?qū)崿F(xiàn)比用來自目標(biāo)域的樣本訓(xùn)練的檢測(cè)器更好的性能，但是要求覆蓋不同姿勢(shì)和照明條件的源域檢測(cè)器的大電池。
[0010]存在用以基于超過可見光譜(諸如紅外線)的亮度、色彩以及特征而將前景對(duì)象與背景區(qū)別開的現(xiàn)有算法。這些算法通常依賴于閾值(例如亮度閾值)來指示前景對(duì)象的存在。例如，可以由人來手動(dòng)地調(diào)整閾值以解決照明的變化、相機(jī)響應(yīng)等以確保車輛的圖像勝過用以將車輛與背景區(qū)別開的可應(yīng)用閾值。然而，手動(dòng)調(diào)整過程是低效的且經(jīng)受人為誤差。

【發(fā)明內(nèi)容】

[0011]本發(fā)明提供了一種用于訓(xùn)練特殊對(duì)象檢測(cè)器，以辨別出現(xiàn)在用于目標(biāo)域的幀序列中的前景對(duì)象的方法和系統(tǒng)。該幀序列描述不均勻背景中的前景對(duì)象的運(yùn)動(dòng)。在序列中的最后一個(gè)幀之前的序列中的每個(gè)幀對(duì)應(yīng)于比序列中的緊接著的下一個(gè)幀所對(duì)應(yīng)的時(shí)間更早的時(shí)間。前景對(duì)象在序列的初始幀的高置信度子窗口中被檢測(cè)到。檢測(cè)前景對(duì)象包括計(jì)算子窗口包括前景對(duì)象的置信度量，并確定該置信度量超過指定置信度閾值。在出現(xiàn)于幀序列中的初始幀之后的多個(gè)后續(xù)幀的各正子窗口中跟蹤前景對(duì)象，其中，后續(xù)幀在指定的短時(shí)間段內(nèi)。該正子窗口被饋送到學(xué)習(xí)引擎以供在訓(xùn)練特殊對(duì)象檢測(cè)器檢測(cè)目標(biāo)域中的前景對(duì)象時(shí)使用,其中，正子窗口包括初始幀的子窗口和所述多個(gè)后續(xù)幀的各子窗口。
【專利附圖】

【附圖說明】
[0012]圖1描述了根據(jù)本發(fā)明的實(shí)施例的用于級(jí)聯(lián)檢測(cè)器的置信度量的確定。
[0013]圖2描述了根據(jù)本發(fā)明的實(shí)施例的高置信度檢測(cè)和相應(yīng)軌跡片段的示例。
[0014]圖3描述了根據(jù)本發(fā)明的實(shí)施例的從擁擠交通場(chǎng)景自動(dòng)提取的負(fù)補(bǔ)丁(patch)的示例。
[0015]圖4描述了由使用本發(fā)明的置信度量的一般檢測(cè)器選擇的高置信度樣本的示例。
[0016]圖5A和5B描述了根據(jù)本發(fā)明的實(shí)施例的低活動(dòng)性(圖5A)和擁擠場(chǎng)景(圖5B)中的一般域檢測(cè)器與目標(biāo)域中的自動(dòng)生成檢測(cè)器的比較。
[0017]圖6描述了根據(jù)本發(fā)明的實(shí)施例用于一般檢測(cè)器和特殊化檢測(cè)器的特征數(shù)對(duì)比級(jí)數(shù)的圖。
[0018]圖7圖示出根據(jù)本發(fā)明的實(shí)施例的用于訓(xùn)練特殊對(duì)象檢測(cè)器辨別出現(xiàn)在用于目標(biāo)域的幀序列中的前景對(duì)象的計(jì)算機(jī)系統(tǒng)。
[0019]圖8是描述根據(jù)本發(fā)明的實(shí)施例的用于訓(xùn)練特殊對(duì)象檢測(cè)器辨別出現(xiàn)在用于目標(biāo)域的幀序列中的前景對(duì)象的特殊對(duì)象檢測(cè)器的方法的流程圖。
[0020]圖9和10是描述根據(jù)本發(fā)明的實(shí)施例的用于計(jì)算用于高置信度子窗口的置信度量的方法的流程圖。
[0021]圖11和12是描述根據(jù)本發(fā)明的實(shí)施例的負(fù)子窗口的生成的流程圖。
[0022]圖13描述了根據(jù)本發(fā)明的實(shí)施例的在序列的幀中所描述的背景中具有前景對(duì)象的幀序列。
[0023]圖14A-14D圖示出根據(jù)本發(fā)明的實(shí)施例的直至發(fā)現(xiàn)包括前景對(duì)象的子窗口為止的從圖14A至圖14D的幀中的滑動(dòng)窗口的連續(xù)移動(dòng)。
[0024]圖15A描述了根據(jù)本發(fā)明的實(shí)施例的初始幀中的高置信度子窗口。
[0025]圖15B描述了根據(jù)本發(fā)明的實(shí)施例的相對(duì)于圖15A的高置信度子窗口的多個(gè)相鄰
子窗口。
【具體實(shí)施方式】
[0026]本發(fā)明提出了一種用以使用借助于更昂貴的一般域檢測(cè)器獲取的樣本來自動(dòng)地從視頻創(chuàng)建高效且準(zhǔn)確的特定域?qū)ο髾z測(cè)器的新型方法。本發(fā)明的方法不要求來自目標(biāo)域的手動(dòng)標(biāo)簽(例如，來自新相機(jī)的視場(chǎng))。使用短時(shí)間段內(nèi)的跟蹤而從由一般檢測(cè)器選擇的高置信度樣本自動(dòng)地收集訓(xùn)練數(shù)據(jù)。在此背景下，基于常常被用于要求實(shí)時(shí)處理的計(jì)算機(jī)視覺應(yīng)用的分類器的級(jí)聯(lián)而針對(duì)檢測(cè)器提出新型置信度量。本發(fā)明的新型方法在擁擠監(jiān)控視頻中的車輛檢測(cè)的問題上得到證明，表明自動(dòng)生成的檢測(cè)器明顯優(yōu)于具有少得多的特征計(jì)算的原始一般檢測(cè)器。
[0027]用于創(chuàng)建特定域?qū)ο髾z測(cè)器的本發(fā)明的新型方法可以在不要求來自目標(biāo)域的手動(dòng)標(biāo)簽的情況下實(shí)現(xiàn)，并且提供用于級(jí)聯(lián)檢測(cè)器的置信度量。這在計(jì)算機(jī)視覺中是個(gè)在很大程度上未解決的問題，因?yàn)楫?dāng)前工作僅僅將級(jí)聯(lián)檢測(cè)器視為沒有關(guān)聯(lián)置信度的二進(jìn)制輸出分類器。本發(fā)明的新型方法自動(dòng)地從目標(biāo)域收集訓(xùn)練樣本。置信度量從目標(biāo)域中的一般檢測(cè)器選擇高置信度檢測(cè)樣本，并且然后從短時(shí)間內(nèi)的跟蹤收集正樣本(包含高置信度子窗口的初始幀之后的連續(xù)幀的軌跡片段)。這些正樣本包含變化，諸如可以補(bǔ)充一般檢測(cè)器的遮擋。還通過使用高置信度樣本以及具有感興趣對(duì)象的不同縱橫比的樣本周圍的區(qū)域來生成負(fù)樣本。通過根據(jù)自動(dòng)收集的數(shù)據(jù)來訓(xùn)練特定域?qū)ο髾z測(cè)器，本發(fā)明相比于具有少得多的特征計(jì)算的一般檢測(cè)器獲得顯著的準(zhǔn)確度改善。實(shí)驗(yàn)分析顯示出提出的方法對(duì)擁擠監(jiān)控視頻中的車輛檢測(cè)問題的有用性。
[0028]本文中的詳細(xì)描述包括以下小節(jié):
[0029]A.用于級(jí)聯(lián)檢測(cè)器的置信度量
[0030]B.學(xué)習(xí)特定域檢測(cè)器
[0031]B1.來自軌跡片段的正樣本
[0032]B2.負(fù)樣本
[0033]C.檢測(cè)器學(xué)習(xí)
[0034]D.實(shí)驗(yàn)
[0035]E.未來工作
[0036]F.計(jì)算機(jī)系統(tǒng)
[0037]G.實(shí)施方式
[0038]A.用于級(jí)聯(lián)檢測(cè)器的置信度暈
[0039]級(jí)聯(lián)檢測(cè)器包括連續(xù)地(S卩，分級(jí)地)應(yīng)用于將特定圖像樣本分類的一組級(jí)分類器。在此過程期間，如果任何級(jí)檢測(cè)器將樣本分類為負(fù)，則過程結(jié)束且樣本理解被視為負(fù)的。只有當(dāng)級(jí)聯(lián)中的所有級(jí)檢測(cè)器都將樣本分類為負(fù)時(shí)，該結(jié)果才是正的。
[0040]本發(fā)明提出了一種與級(jí)聯(lián)檢測(cè)器的輸出相關(guān)聯(lián)的置信度量，允許根據(jù)置信度來將結(jié)果排序。置信度量確保高置信度證樣本是真為正的，其能夠用于自動(dòng)數(shù)據(jù)收集。檢測(cè)器FF(x)包括N個(gè)級(jí)分類器fi(x)，i = 1...N，其中，N表示分類的級(jí)數(shù)，并且N至少為2，并且其中，X表示幀的子窗口(即，圖像樣本)。用于級(jí)i (i=l…N)的級(jí)分類器可以在一個(gè)實(shí)施例中可以基于Boosting，其在等式(I)中被表示為用于具有用于級(jí)i的偏置Θ 1的輸入圖像樣本X的弱分類器的線性組合，其中，偏置91充當(dāng)閾值，并且其中，T是弱分類器Iiit(X)的總數(shù)且t指示級(jí)i處的第t弱分類器Iiit (X)。
[0041 ]
【權(quán)利要求】
1.一種用于訓(xùn)練特殊對(duì)象檢測(cè)器以辨別出現(xiàn)在用于目標(biāo)域的幀序列中的前景對(duì)象的方法，該幀序列描述了不均勻背景中的前景對(duì)象的運(yùn)動(dòng)，在序列中的最后一個(gè)幀之前的序列中的每個(gè)幀對(duì)應(yīng)于比序列中的緊接著下一個(gè)幀所對(duì)應(yīng)的時(shí)間更早的時(shí)間，該方法包括: 計(jì)算機(jī)系統(tǒng)的一個(gè)或多個(gè)處理器檢測(cè)序列的初始幀的高置信度子窗口中的前景對(duì)象，其中，檢測(cè)前景對(duì)象包括計(jì)算高置信度子窗口包括前景對(duì)象的置信度量，并確定置信度量超過指定置信度閾值； 所述一個(gè)或多個(gè)處理器跟蹤在幀序列中的初始幀之后出現(xiàn)的多個(gè)后續(xù)幀的各正子窗口中的前景對(duì)象，其中，該后續(xù)幀在指定短時(shí)間段內(nèi)；以及 所述一個(gè)或多個(gè)處理器向?qū)W習(xí)引擎饋送正子窗口，以便在訓(xùn)練特殊對(duì)象檢測(cè)器檢測(cè)目標(biāo)域中的前景對(duì)象時(shí)使用，其中，所述正子窗口包括初始幀的子窗口和所述多個(gè)后續(xù)幀的各子窗口。
2.如權(quán)利要求1所述的方法，其中，該方法還包括: 所述一個(gè)或多個(gè)處理器隨機(jī)地選擇初始幀中的多個(gè)負(fù)子窗口，其中，所述多個(gè)負(fù)子窗口中的每個(gè)負(fù)子窗口具有超過高置信度子窗口的總面積的總面積，其中，所述多個(gè)負(fù)子窗口中的每個(gè)負(fù)子窗口位于小于距高置信度子窗口的指定距離閾值處，并且其中，所述多個(gè)負(fù)子窗口中的每個(gè)負(fù)子窗口不包括前景對(duì)象； 所述一個(gè)或多個(gè)處理器將所述多個(gè)負(fù)子窗口中的每個(gè)負(fù)子窗口重新確定尺寸，以變得與高置信度子窗口一致；以及 所述一個(gè)或多個(gè)處理器向?qū)W習(xí)引擎饋送所述多個(gè)負(fù)子窗口以便連同正子窗口一起在訓(xùn)練特殊對(duì)象檢測(cè)器檢測(cè)目標(biāo)域中的前景對(duì)象時(shí)使用。
3.如權(quán)利要求1所述的方法，其中，該方法還包括: 所述一個(gè)或多個(gè)處理器隨機(jī)地選擇關(guān)于目標(biāo)域的一組窗口； 所述一個(gè)或多個(gè)處理器隨機(jī)地選擇該組窗口中的每個(gè)窗口中的負(fù)子窗口，其中，該組窗口中的每個(gè)窗口中的負(fù)子窗口具有不同于高置信度子窗口的縱橫比的縱橫比，并且其中，該組窗口中的每個(gè)窗口中的負(fù)子窗口不包括前景對(duì)象； 所述一個(gè)或多個(gè)處理器將該組窗口中的每個(gè)窗口中的每個(gè)子窗口重新確定尺寸，以變得與高置信度子窗口一致；以及 所述一個(gè)或多個(gè)處理器向該組窗口中的每個(gè)窗口中的負(fù)子窗口饋送學(xué)習(xí)引擎，以便連同正子窗口一起在訓(xùn)練特殊對(duì)象檢測(cè)器檢測(cè)目標(biāo)域中的前景對(duì)象時(shí)使用。
4.如權(quán)利要求1所述的方法，其中，計(jì)算置信度量包括； 相對(duì)于初始幀中的高置信度子窗口選擇多個(gè)相鄰子窗口，其中，每個(gè)相鄰子窗口部分地而不是完全地與高置信度子窗口重疊，并且其中，相鄰子窗口相互不同； 計(jì)算用于高置信度子窗口和用于每個(gè)相鄰子窗口的置信度分?jǐn)?shù)，其中，用于高置信度子窗口中和每個(gè)相鄰子窗口中的前景對(duì)象的置信度分?jǐn)?shù)級(jí)分類器；以及 從用于高置信度子窗口和每個(gè)相鄰子窗口的置信度分?jǐn)?shù)的比較分析來計(jì)算置信度量。
5.如權(quán)利要求4所述的方法，其中，確定所述置信度量超過指定置信度閾值包括最初確定置信度量不超過指定置信度閾值，隨后迭代地執(zhí)行選擇多個(gè)相鄰子窗口，計(jì)算置信度分?jǐn)?shù)以及計(jì)算置信度量，其中，所述多個(gè)相鄰子窗口中的相鄰子窗口的總數(shù)在每次迭代中增加，直至確定置信度量超過指定置信度閾值。
6.如權(quán)利要求4所述的方法，其中，從比較分析來計(jì)算置信度量包括: 從由用于高置信度子窗口的置信度分?jǐn)?shù)和用于每個(gè)相鄰子窗口的置信度分?jǐn)?shù)的聯(lián)合形成的集合中選擇K個(gè)最高置信度分?jǐn)?shù)，其中，K在I至M+1范圍內(nèi)，并且其中，M表示相對(duì)于高置信度子窗口的相鄰子窗口的總數(shù)； 選擇K個(gè)置信度分?jǐn)?shù)的最小置信度分?jǐn)?shù)； 將最小置信度分?jǐn)?shù)歸一化至在指定范圍內(nèi)，其中，所述最小置信度分?jǐn)?shù)變成置信度量；以及 確認(rèn)所述置信度量超過指定置信度閾值。
7.如權(quán)利要求6所述的方法，其中，K在2至M的范圍內(nèi)。
8.如權(quán)利要求4所述的方法，其中，每個(gè)相鄰子窗口的面積以至少指定百分比與每個(gè)高置信度子窗口的面積重疊。
9.一種用于訓(xùn)練特殊對(duì)象檢測(cè)器以辨別出現(xiàn)在用于目標(biāo)域的幀序列中的前景對(duì)象的計(jì)算機(jī)系統(tǒng)，該幀序列描述了不均勻背景中的前景對(duì)象的運(yùn)動(dòng)，在序列中的最后一個(gè)幀之前的序列中的每個(gè)幀對(duì)應(yīng)于比序列中的緊接著下一個(gè)幀所對(duì)應(yīng)的時(shí)間更早的時(shí)間，該計(jì)算機(jī)系統(tǒng)包括: 一個(gè)或多個(gè)處理器； 計(jì)算機(jī)可讀存儲(chǔ)器； 計(jì)算機(jī)可讀存儲(chǔ)設(shè)備； 第一程序指令，用以檢測(cè)序列的初始幀的高置信度子窗口中的前景對(duì)象，其中，檢測(cè)前景對(duì)象包括計(jì)算高置信度子窗口包括前景對(duì)象的置信度量，并確定置信度量超過指定置信度閾值； 第二程序指令，用以跟蹤在幀序列中的初始幀之后出現(xiàn)的多個(gè)后續(xù)幀的各正子窗口中的前景對(duì)象，其中，該后續(xù)幀在指定短時(shí)間段內(nèi)；以及 第三程序指令，用以向?qū)W習(xí)引擎饋送正子窗口，以便在訓(xùn)練特殊對(duì)象檢測(cè)器檢測(cè)目標(biāo)域中的前景對(duì)象時(shí)使用，其中，所述正子窗口包括初始幀的子窗口和所述多個(gè)后續(xù)幀的各子窗口， 其中，所述第一程序指令、所述第二程序指令以及所述第三程序指令被存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)設(shè)備上，以便經(jīng)由計(jì)算機(jī)可讀存儲(chǔ)器由一個(gè)或多個(gè)處理器來執(zhí)行。
10.如權(quán)利要求9所述的計(jì)算機(jī)系統(tǒng)，其中，所述計(jì)算機(jī)系統(tǒng)還包括: 第四程序指令，用以隨機(jī)地選擇初始幀中的多個(gè)負(fù)子窗口，其中，所述多個(gè)負(fù)子窗口中的每個(gè)負(fù)子窗口具有超過高置信度子窗口的總面積的總面積，其中，所述多個(gè)負(fù)子窗口中的每個(gè)負(fù)子窗口位于小于距高置信度子窗口的指定距離閾值處，并且其中，所述多個(gè)負(fù)子窗口中的每個(gè)負(fù)子窗口不包括前景對(duì)象； 第五程序指令，用以將所述多個(gè)負(fù)子窗口中的每個(gè)負(fù)子窗口重新確定尺寸，以變得與高置信度子窗口一致；以及 第六程序指令，用以向?qū)W習(xí)引擎饋送所述多個(gè)負(fù)子窗口以便連同正子窗口一起在訓(xùn)練特殊對(duì)象檢測(cè)器檢測(cè)目標(biāo)域中的前景對(duì)象時(shí)使用， 其中，所述第四程序指令、所述第五程序指令以及所述第六程序指令被存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)設(shè)備上，以便經(jīng)由計(jì)算機(jī)可讀存儲(chǔ)器由一個(gè)或多個(gè)處理器來執(zhí)行。
11.如權(quán)利要求9所述的計(jì)算機(jī)系統(tǒng)，其中，所述計(jì)算機(jī)系統(tǒng)還包括: 第四程序指令，用以隨機(jī)地選擇關(guān)于目標(biāo)域的一組窗口 ； 第五程序指令，用以隨機(jī)地選擇該組窗口中的每個(gè)窗口中的負(fù)子窗口，其中，該組窗口中的每個(gè)窗口中的負(fù)子窗口具有不同于高置信度子窗口的縱橫比的縱橫比，并且其中，該組窗口中的每個(gè)窗口中的負(fù)子窗口不包括前景對(duì)象； 第六程序指令，用以將該組窗口中的每個(gè)窗口中的負(fù)子窗口重新確定尺寸，以變得與高置信度子窗口一致；以及 第七程序指令，用以向該組窗口中的每個(gè)窗口中的負(fù)子窗口饋送學(xué)習(xí)引擎以便連同正子窗口一起在訓(xùn)練特殊對(duì)象檢測(cè)器檢測(cè)目標(biāo)域中的前景對(duì)象時(shí)使用， 其中，所述第四程序指令、所述第五程序指令、所述第六程序指令以及第七程序指令被存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)設(shè)備上，以便經(jīng)由計(jì)算機(jī)可讀存儲(chǔ)器由一個(gè)或多個(gè)處理器來執(zhí)行。
12.如權(quán)利要求9所述的計(jì)算機(jī)系統(tǒng)，其中，計(jì)算置信度量包括: 相對(duì)于初始幀中的高置信度子窗口選擇多個(gè)相鄰子窗口，其中，每個(gè)相鄰子窗口部分地而不是完全地與高置信度子窗口重疊，并且其中，相鄰子窗口相互不同； 計(jì)算用于高置信度子窗口和用于每個(gè)相鄰子窗口的置信度分?jǐn)?shù)，其中，用于高置信度子窗口中和每個(gè)相鄰子窗口中的前景對(duì)象的置信度分?jǐn)?shù)級(jí)分類器；以及 從用于高置信度子 窗口和每個(gè)相鄰子窗口的置信度分?jǐn)?shù)的比較分析來計(jì)算置信度量。
13.如權(quán)利要求12所述的計(jì)算機(jī)系統(tǒng)，其中，確定所述置信度量超過指定置信度閾值包括最初確定置信度量不超過指定置信度閾值，隨后迭代地執(zhí)行選擇多個(gè)相鄰子窗口，計(jì)算置信度分?jǐn)?shù)以及計(jì)算置信度量，其中，所述多個(gè)相鄰子窗口中的相鄰子窗口的總數(shù)在每次迭代中增加，直至確定置信度量超過指定置信度閾值。
14.如權(quán)利要求12所述的計(jì)算機(jī)系統(tǒng)，其中，從比較分析來計(jì)算置信度量包括: 從由用于高置信度子窗口的置信度分?jǐn)?shù)和用于每個(gè)相鄰子窗口的置信度分?jǐn)?shù)的聯(lián)合形成的集合中選擇K個(gè)最高置信度分?jǐn)?shù)，其中，K在I至M+1范圍內(nèi)，并且其中，M表示相對(duì)于高置信度子窗口的相鄰子窗口的總數(shù)； 選擇K個(gè)置信度分?jǐn)?shù)的最小置信度分?jǐn)?shù)； 將最小置信度分?jǐn)?shù)歸一化至在指定范圍內(nèi)，其中，所述最小置信度分?jǐn)?shù)變成置信度量；以及 確認(rèn)所述置信度量超過指定置信度閾值。
【文檔編號(hào)】G06K9/66GK103914702SQ201410001472
【公開日】2014年7月9日 申請(qǐng)日期:2014年1月2日 優(yōu)先權(quán)日:2013年1月2日
【發(fā)明者】A.達(dá)塔, R.S.菲利斯, S.U.潘坎蒂, 翟昀 申請(qǐng)人:國際商業(yè)機(jī)器公司