本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域，具體涉及一種目標(biāo)檢測跟蹤方法和裝置。

背景技術(shù)：

由于技術(shù)的發(fā)展、攝像機的廣泛應(yīng)用，視頻分析在各行各業(yè)也得到了廣泛的應(yīng)用。目前有很多跟蹤檢測方法，比如早期的基于模板匹配的檢測跟蹤方法，速度慢且精度低；現(xiàn)在有些在線學(xué)習(xí)的方法，例如在線檢測算法(tld)可以在線學(xué)習(xí)，但是效果不能夠滿足應(yīng)用需求；還有基于機器學(xué)習(xí)的檢測算法，例如基于卷積神經(jīng)網(wǎng)絡(luò)(cnn)的目標(biāo)檢測算法，需要經(jīng)過大量的訓(xùn)練，且不能在線學(xué)習(xí)，長時間之后，目標(biāo)可能發(fā)生很多形變，會造成跟蹤不準(zhǔn)。

技術(shù)實現(xiàn)要素：

本發(fā)明提供了一種目標(biāo)檢測跟蹤方法和裝置，以實現(xiàn)可在線學(xué)習(xí)的檢測跟蹤，并提高檢測跟蹤的精度。

根據(jù)本發(fā)明的一個方面，本發(fā)明提供了一種目標(biāo)檢測跟蹤方法，包括：

預(yù)測目標(biāo)在當(dāng)前幀圖像中可能出現(xiàn)的位置，以該位置為中心，在預(yù)設(shè)的檢測半徑內(nèi)，隨機選取若干檢測塊；

將選取的檢測塊輸入特征提取器，提取每個檢測塊的特征；

將每個檢測塊的特征輸入到集合分類器進行分類，判斷每個檢測塊中是否包含目標(biāo)，獲取最有可能包含目標(biāo)的最優(yōu)檢測塊，并根據(jù)檢驗結(jié)果更新所述集合分類器的參數(shù)；

將前一幀圖像的目標(biāo)所在位置作為模板，對所述最優(yōu)檢測塊周圍區(qū)域進行模板匹配，獲取目標(biāo)在當(dāng)前幀圖像中的準(zhǔn)確位置；

在前一幀圖像的目標(biāo)所在位置隨機選取若干特征點，在當(dāng)前幀圖像中確定每個特征點對應(yīng)的位置，根據(jù)這些特征點在兩幀圖像中的位移變化，實時跟蹤目標(biāo)。

根據(jù)本發(fā)明的另一個方面，本發(fā)明提供了一種目標(biāo)檢測跟蹤裝置，包括：

檢測塊選取單元，用于預(yù)測目標(biāo)在當(dāng)前幀圖像中可能出現(xiàn)的位置，以該位置為中心，在預(yù)設(shè)的檢測半徑內(nèi)，隨機選取若干檢測塊；

特征提取器，用于對所述檢測塊選取單元選取的檢測塊，提取每個檢測塊的特征；

集合分類器，用于對所述特征提取器提取的每個檢測塊的特征進行分類，判斷每個檢測塊中是否包含目標(biāo)，獲取最有可能包含目標(biāo)的最優(yōu)檢測塊，并根據(jù)檢驗結(jié)果更新所述集合分類器的參數(shù)；

位置獲取單元，用于將前一幀圖像的目標(biāo)所在位置作為模板，對所述集合分類器獲取的最優(yōu)檢測塊周圍區(qū)域進行模板匹配，獲取目標(biāo)在當(dāng)前幀圖像中的準(zhǔn)確位置；

目標(biāo)跟蹤單元，用于在前一幀圖像的目標(biāo)所在位置隨機選取若干特征點，在當(dāng)前幀圖像中確定每個特征點對應(yīng)的位置，根據(jù)這些特征點在兩幀圖像中的位移變化，實時跟蹤目標(biāo)。

本發(fā)明的有益效果是：本發(fā)明實施例在預(yù)測位置選取檢測塊，提高了效率；設(shè)計專門的特征提取器，提取檢測塊的有效特征，提高檢測跟蹤的準(zhǔn)確性；提取的特征輸入到集合分類器，判斷檢測塊中是否包含目標(biāo)，選出最優(yōu)檢測塊并在其周圍區(qū)域進行模板匹配，從而檢測目標(biāo)的準(zhǔn)確位置，并根據(jù)檢驗結(jié)果更新集合分類器的參數(shù)，實現(xiàn)在線學(xué)習(xí)；根據(jù)特征點在連續(xù)兩幀圖像中的位移變化，可以實現(xiàn)對目標(biāo)運動的跟蹤。

附圖說明

圖1是本發(fā)明一個實施例提供的一種目標(biāo)檢測跟蹤方法的流程圖；

圖2是本發(fā)明一個實施例中深度卷積神經(jīng)網(wǎng)絡(luò)的示意圖；

圖3是本發(fā)明一個實施例提供的一種目標(biāo)檢測跟蹤裝置的功能框圖。

具體實施方式

本發(fā)明的設(shè)計構(gòu)思是：現(xiàn)有的跟蹤檢測方法各有不足，不能滿足應(yīng)用需求。例如基于模板匹配的檢測跟蹤方法，速度慢且精度低；在線檢測算法雖然可以在線學(xué)習(xí)，但是效果不能夠滿足應(yīng)用需求；基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法，需要經(jīng)過大量的訓(xùn)練，且不能在線學(xué)習(xí)。針對這種情況，本發(fā)明在預(yù)測位置選取檢測塊，提高了效率；設(shè)計專門的特征提取器，提取檢測塊的有效特征，提高檢測跟蹤的準(zhǔn)確性；再將特征輸入到集合分類器，判斷檢測塊中是否包含目標(biāo)，選出最優(yōu)檢測塊并在其周圍區(qū)域進行模板匹配，從而檢測目標(biāo)的準(zhǔn)確位置，并根據(jù)檢驗結(jié)果更新集合分類器的參數(shù)，實現(xiàn)了在線學(xué)習(xí)；根據(jù)特征點在連續(xù)兩幀圖像中的位移變化，還可以實現(xiàn)對目標(biāo)運動的跟蹤。

實施例一

圖1是本發(fā)明一個實施例提供的一種目標(biāo)檢測跟蹤方法的流程圖，如圖1所示，本實施例提供的目標(biāo)檢測跟蹤方法包括：

步驟S110：預(yù)測目標(biāo)在當(dāng)前幀圖像中可能出現(xiàn)的位置，以該位置為中心，在預(yù)設(shè)的檢測半徑內(nèi)，隨機選取若干檢測塊。檢測半徑r可以根據(jù)需要配置。

可以根據(jù)之前的圖像預(yù)測目標(biāo)在當(dāng)前幀圖像的位置，例如當(dāng)在前兩幀圖像中包含目標(biāo)時，根據(jù)目標(biāo)在前一幀圖像中的位置以及目標(biāo)在前兩幀圖像中的運動情況，即可預(yù)測目標(biāo)在當(dāng)前幀圖像中的可能出現(xiàn)的位置。如果之前的圖像中不包含目標(biāo)，那么用戶可以人工指定初始的跟蹤位置，或者通過光流法等其他現(xiàn)有的方法確定初始的跟蹤位置，作為目標(biāo)在當(dāng)前幀圖像中可能出現(xiàn)的位置。

步驟S120：將選取的檢測塊輸入特征提取器，提取每個檢測塊的特征。

現(xiàn)有的在線學(xué)習(xí)方法提取的圖像特征比較簡單，跟蹤效果不能滿足應(yīng)用需求。因此在優(yōu)選實施例中，特征提取器采用深度卷積神經(jīng)網(wǎng)絡(luò)，充分利用深度卷積神經(jīng)網(wǎng)絡(luò)可以提取有效特征的優(yōu)點。由于本方案不但需要目標(biāo)跟蹤的精度，還需要有較高的效率，才能夠滿足應(yīng)用需求，因此深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)需要盡量簡單有效。如圖2所示，本實施例中的深度卷積神經(jīng)網(wǎng)絡(luò)包括3個卷積層和2個降采樣層，卷積核的大小為5*5，選取的檢測塊為32*32像素。每個檢測塊輸入到深度卷積神經(jīng)網(wǎng)絡(luò)中，最終會得到一個對應(yīng)的54維的特征向量。

在利用特征提取器提取檢測塊的特征之前，需要對深度卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練。本實施例建立了一個樣本庫，樣本庫中盡量包含目標(biāo)的各種形狀、尺度的圖片，目標(biāo)的選取僅需要任意選擇一個同類的目標(biāo)即可，例如當(dāng)需要跟蹤小汽車時，僅需要任意選擇一個小汽車即可，而不必選擇某一輛特定的小汽車。利用這個樣本庫訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)的卷積核的參數(shù)等，通過訓(xùn)練得到用于提取特征的深度卷積神經(jīng)網(wǎng)絡(luò)，用于提取檢測塊的特征。

步驟S130：將每個檢測塊的特征輸入到集合分類器進行分類，判斷每個檢測塊中是否包含目標(biāo)，獲取最有可能包含目標(biāo)的最優(yōu)檢測塊，并根據(jù)檢驗結(jié)果更新集合分類器的參數(shù)。

本實施例中的集合分類器為隨機森林分類器，其中包含有n個基本分類器，每個基本分類器包含m個特征比較集，也就是說每顆樹有m個判斷節(jié)點，輸入圖像的特征與每一個判斷節(jié)點進行比較，產(chǎn)生0或1，然后將這m個0或1的數(shù)連成二進制碼，從而獲取n個長度為m的二進制數(shù)，計算后驗概率：P(y|x)＝pCounter/(pCounter+nCounter)，其中pCounter和nCounter分別是正和負圖像片的數(shù)目。

計算后驗概率的過程如下所示：

整個集合分類器公有n個基本分類器，也就是有n個后驗概率，然后求平均，若某個檢測塊的后驗概率均值大于預(yù)設(shè)的后驗概率閾值，則判斷該檢測塊中包含目標(biāo)，否則判斷該檢測塊中不包含目標(biāo)。

可以將檢測塊分為正樣本和負樣本，正樣本為目標(biāo)塊，負樣本為背景塊。設(shè)置目標(biāo)閾值th和背景閾值th1，將后驗概率均值小于背景閾值th1的檢測塊作為負樣本，將后驗概率均值大于目標(biāo)閾值th的檢測塊作為正樣本，更新集合分類器中每個基本分類器的正負樣本集，并根據(jù)集合分類器中每個基本分類器更新后的正負樣本集，更新后驗概率閾值。本方法可以廣泛的應(yīng)用到動態(tài)背景或者靜態(tài)背景下的目標(biāo)檢測及跟蹤。

將所有的檢測塊計算一遍，找出后驗概率最大檢測塊的作為最優(yōu)檢測塊，其包含目標(biāo)的可能性最大。

作為一個具體的實施例，集合分類器包含有15個基本分類器，每個基本分類器包含13個特征比較集。后驗概率閾值的初始值設(shè)置為0.6，之后會訓(xùn)練優(yōu)化。目標(biāo)閾值th取00.65，背景閾值th1取0.2。

步驟S140：將前一幀圖像的目標(biāo)所在位置作為模板，對最優(yōu)檢測塊周圍區(qū)域進行模板匹配，獲取目標(biāo)在當(dāng)前幀圖像中的準(zhǔn)確位置。

步驟S150：在前一幀圖像的目標(biāo)所在位置隨機選取若干特征點，在當(dāng)前幀圖像中確定每個特征點對應(yīng)的位置，根據(jù)這些特征點在兩幀圖像中的位移變化，實時跟蹤目標(biāo)。

優(yōu)選實施例中，特征點選取4*4的窗口，在選取了所有的特征點并確定了每個特征點在前后兩幀圖像中的位置之后，將所有的特征點根據(jù)在相鄰兩幀圖像中的位移變化進行排序，得到排序的中值，將不大于中值的預(yù)設(shè)比例的特征點作為當(dāng)前幀的特征點，例如不大于中值的50％的特征點，然后僅根據(jù)這部分特征點進行目標(biāo)跟蹤，并以此進行下去，從而實現(xiàn)了特征點的動態(tài)更新，提高了目標(biāo)檢測跟蹤的準(zhǔn)確性。

實施例二

圖3是本發(fā)明一個實施例提供的一種目標(biāo)檢測跟蹤裝置的功能框圖，如圖3所示，本實施例提供的目標(biāo)檢測跟蹤裝置300包括檢測塊選取單元310、特征提取器320、集合分類器330、位置獲取單元340和目標(biāo)跟蹤單元350。

檢測塊選取單元310用于預(yù)測目標(biāo)在當(dāng)前幀圖像中可能出現(xiàn)的位置，并以該位置為中心，在預(yù)設(shè)的檢測半徑內(nèi)，隨機選取若干檢測塊。

特征提取器320用于對檢測塊選取單元310選取的檢測塊，提取每個檢測塊的特征。為了能夠有效提取檢測塊的特征，本實施例的特征提取器320采用深度卷積神經(jīng)網(wǎng)絡(luò)，包括3個卷積層和2個降采樣層，卷積核的大小為5*5，選取的檢測塊為32*32像素。每個檢測塊輸入到深度卷積神經(jīng)網(wǎng)絡(luò)中，最終會得到一個對應(yīng)的54維的特征向量。深度卷積神經(jīng)網(wǎng)絡(luò)在使用之前需要進行訓(xùn)練，因此本實施例提供的目標(biāo)檢測跟蹤裝置300還包括樣本庫360，其中包含有目標(biāo)的多種形狀、尺度的圖片，用于訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)的卷積核的參數(shù)等。

集合分類器330用于對特征提取器320提取的每個檢測塊的特征進行分類，判斷每個檢測塊中是否包含目標(biāo)，獲取最有可能包含目標(biāo)的最優(yōu)檢測塊，并根據(jù)檢驗結(jié)果更新集合分類器330的參數(shù)。本實施例中，集合分類器330為隨機森林分類器，包括n個基本分類器，每個基本分類器包含m個特征比較集。將每個檢測塊的特征依次輸入集合分類器330中的每個基本分類器，與每個基本分類器的判斷節(jié)點進行比較，產(chǎn)生0或1，從而獲取n個長度為m的二進制數(shù)以及對應(yīng)的n個后驗概率；計算每個檢測塊的n個后驗概率的均值，若某個檢測塊的后驗概率均值大于預(yù)設(shè)的后驗概率閾值，則判斷該檢測塊中包含目標(biāo)，否則判斷該檢測塊中不包含目標(biāo)，并將后驗概率均值最大的檢測塊作為最優(yōu)檢測塊。具體地，集合分類器包含有15個基本分類器，每個基本分類器包含13個特征比較集，后驗概率閾值的初始值設(shè)置為0.6。

為了使本實施例提供的目標(biāo)檢測跟蹤裝置300能夠在線學(xué)習(xí)，不論目標(biāo)發(fā)生什么變化，都可以檢測跟蹤到，優(yōu)選實施例中，集合分類器330包括學(xué)習(xí)模塊331，用于將后驗概率均值小于預(yù)設(shè)的背景閾值(如0.2)的檢測塊作為負樣本，將后驗概率均值大于預(yù)設(shè)的目標(biāo)閾值(如0.65)的檢測塊作為正樣本，更新集合分類器330中每個基本分類器的正負樣本集，并根據(jù)集合分類器330中每個基本分類器更新后的正負樣本集，更新后驗概率閾值。

位置獲取單元340用于將前一幀圖像的目標(biāo)所在位置作為模板，對集合分類器330獲取的最優(yōu)檢測塊周圍區(qū)域進行模板匹配，獲取目標(biāo)在當(dāng)前幀圖像中的準(zhǔn)確位置。

目標(biāo)跟蹤單元350用于在前一幀圖像的目標(biāo)所在位置隨機選取若干特征點，在當(dāng)前幀圖像中確定每個特征點對應(yīng)的位置，根據(jù)這些特征點在兩幀圖像中的位移變化，實時跟蹤目標(biāo)。

在一個優(yōu)選實施例中，目標(biāo)跟蹤單元350包括特征點更新模塊351，用于對所有特征點的位移變化的大小進行排序，獲取排序的中值，將不大于排序中值的預(yù)設(shè)比例(如50％)的特征點作為當(dāng)前幀的特征點，并以此進行下去，從而實現(xiàn)特征點的動態(tài)更新，提高檢測跟蹤的準(zhǔn)確性。

本實施例提供的目標(biāo)檢測跟蹤裝置，可以直接接受一整張圖片的輸入，然后直接進行檢測跟蹤，并且可以在線學(xué)習(xí)，長期檢測跟蹤，不論目標(biāo)發(fā)生什么變化，都可以檢測跟蹤到，如果目標(biāo)消失，等目標(biāo)出現(xiàn)時，可再次檢測跟蹤，可以廣泛的應(yīng)用到動態(tài)背景或者靜態(tài)背景下的目標(biāo)檢測及跟蹤。

以上所述，僅為本發(fā)明的具體實施方式，在本發(fā)明的上述教導(dǎo)下，本領(lǐng)域技術(shù)人員可以在上述實施例的基礎(chǔ)上進行其他的改進或變形。本領(lǐng)域技術(shù)人員應(yīng)該明白，上述的具體描述只是更好的解釋本發(fā)明的目的，本發(fā)明的保護范圍應(yīng)以權(quán)利要求的保護范圍為準(zhǔn)。

需要說明的是：

本發(fā)明的各個部件實施例可以以硬件實現(xiàn)，或者以在一個或者多個處理器上運行的軟件模塊實現(xiàn)，或者以它們的組合實現(xiàn)。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，可以在實踐中使用微處理器或者數(shù)字信號處理器(DSP)來實現(xiàn)根據(jù)本發(fā)明實施例中的一些或者全部部件的一些或者全部功能。本發(fā)明還可以實現(xiàn)為用于執(zhí)行這里所描述的方法的一部分或者全部的設(shè)備或者裝置程序(例如，計算機程序和計算機程序產(chǎn)品)。這樣的實現(xiàn)本發(fā)明的程序可以存儲在計算機可讀介質(zhì)上，或者可以具有一個或者多個信號的形式。這樣的信號可以從因特網(wǎng)網(wǎng)站上下載得到，或者在載體信號上提供，或者以任何其他形式提供。

本發(fā)明的目標(biāo)檢測跟蹤裝置傳統(tǒng)上包括處理器和以存儲器形式的計算機程序產(chǎn)品或者計算機可讀介質(zhì)。存儲器可以是諸如閃存、EEPROM(電可擦除可編程只讀存儲器)、EPROM、硬盤或者ROM之類的電子存儲器。存儲器具有用于執(zhí)行上述方法中的任何方法步驟的程序代碼的存儲空間。例如，用于程序代碼的存儲空間可以包括分別用于實現(xiàn)上面的方法中的各種步驟的各個程序代碼。這些程序代碼可以從一個或者多個計算機程序產(chǎn)品中讀出或者寫入到這一個或者多個計算機程序產(chǎn)品中。這些計算機程序產(chǎn)品包括諸如硬盤，緊致盤(CD)、存儲卡或者軟盤之類的程序代碼載體。這樣的計算機程序產(chǎn)品通常為便攜式或者固定存儲單元。該存儲單元可以類似布置的存儲段、存儲空間等。程序代碼可以例如以適當(dāng)形式進行壓縮。通常，存儲單元包括用于執(zhí)行根據(jù)本發(fā)明的方法步驟的計算機可讀代碼，即可以由例如處理器讀取的代碼，這些代碼被運行時，導(dǎo)致該目標(biāo)檢測跟蹤裝置執(zhí)行上面所描述的方法中的各個步驟。

應(yīng)該注意的是上述實施例對本發(fā)明進行說明而不是對本發(fā)明進行限制，并且本領(lǐng)域技術(shù)人員在不脫離所附權(quán)利要求的范圍的情況下可設(shè)計出替換實施例。單詞“包括”不排除存在未列在權(quán)利要求中的元件或步驟。本發(fā)明可以借助于包括有若干不同元件的硬件以及借助于適當(dāng)編程的計算機來實現(xiàn)。在列舉了若干裝置的單元權(quán)利要求中，這些裝置中的若干個可以是通過同一個硬件項來具體體現(xiàn)。

在此處所提供的說明書中，說明了大量具體細節(jié)。然而，能夠理解，本發(fā)明的實施例可以在沒有這些具體細節(jié)的情況下被實踐。在一些實例中，并未詳細示出公知的方法、結(jié)構(gòu)和技術(shù)，以便不模糊對本說明書的理解。本說明書中使用的語言主要是為了可讀性和教導(dǎo)的目的而選擇的，而不是為了解釋或者限定本發(fā)明的主題而選擇的。