專利名稱：一種基于遷移學習的運動目標分類識別方法
技術(shù)領(lǐng)域：
本發(fā)明屬于模式識別領(lǐng)域，涉及圖像處理和計算機視覺等技術(shù)，特別是涉及基于視頻的一種基于遷移學習的運動目標分類識別方法。
背景技術(shù)：
視頻、圖像是對事物客觀、形象、主動的描述，是直觀而具體的信息表達形式，是現(xiàn)代社會最重要的信息載體。特別是隨著城市現(xiàn)代化、數(shù)字化、智能化進程的日益加快，人們對人身安全、財產(chǎn)安全等方面的需求也在不斷提高。利用高科技為政府與人民提供可用、可靠的公共安全服務已成為促進社會和諧穩(wěn)定與發(fā)展的必然手段。視頻監(jiān)控等一些特定的視覺分析系統(tǒng)以其直觀、方便和內(nèi)容豐富等特點，日益受到人們的青睞。同時，人們希望計算機可以像人一樣識別出視頻中的語義信息，比如視頻中有什么目標，目標之間的關(guān)系如何， 這些關(guān)系表示了一個什么樣的場景或事件等等。智能視頻分析技術(shù)采用計算機視覺方法，對視頻進行自動分析，在底層上對動態(tài)場景進行分析，提取出感興趣的區(qū)域進行目標檢測、定位于跟蹤；在中層上對目標特征進行分析與識別；在高層上對目標的行為進行分析，進而得到場景事件的語義描述。智能視頻分析系統(tǒng)應用廣泛，如智能安全監(jiān)控系統(tǒng)、交通道路監(jiān)管、汽車自動駕駛、人機交互、體育視頻分析等。目標的檢測與分類是智能視頻分析系統(tǒng)中必不可少的重要環(huán)節(jié)。智能視頻分析系統(tǒng)分析視頻中的場景與事件，就必須提取出視頻中的各種目標，并對這些目標進行語義上的分類，以便于后續(xù)的對目標進行有針對性的處理。現(xiàn)階段大部分目標分類系統(tǒng)在特別設(shè)定環(huán)境下可以有較好的檢測和分類效果，但是如果將其應用在其他的新的視角和場景下時，往往分類效果會非常差。在一些系統(tǒng)里，分類器將一些場景相關(guān)的信息顯式的加入到攝像頭的標定中。大部分系統(tǒng)使用了場景相關(guān)的信息，如位置、朝向、光照及尺度變化等。這些信息場景不變性差，這往往正是導致視覺系統(tǒng)無法廣泛應用的因素。與此形成鮮明對比的是，人類視覺系統(tǒng)即使在環(huán)境發(fā)生相當大變化時，仍然可以很容易的分別出場景中的各個目標(如從遠視域變化到近視域時)。目前的視覺系統(tǒng)缺乏這種從訓練環(huán)境(視角)到新的環(huán)境(視角)的自適應能力。

發(fā)明內(nèi)容
本發(fā)明的目的是為了實現(xiàn)上述目的，提出一種基于遷移學習的運動目標分類識別方法。本發(fā)明的一種基于遷移學習的運動目標分類識別方法，包括目標模擬訓練和目標類型識別兩個過程，具體為一、目標模擬訓練；對視頻中的運動目標進行檢測，標注類型，然后進行特征提取，提取的特征進行訓練，獲得分類模型，具體包括以下幾個步驟
步驟1 對視頻中的圖像序列經(jīng)過前景檢測及分割，提取出運動區(qū)域，通過陰影消除去除陰影區(qū)域，保留實際目標區(qū)域；步驟2 計算實際目標區(qū)域邊緣圖，利用實際目標區(qū)域邊緣圖及種子填充方法將背景差分中分裂為多塊的同一運動目標合并為同一個有效的運動目標；步驟3 通過對行列進行投影，使用遞歸分裂方法將粘連的多個運動目標分割成有效的原始目標；步驟4 對獲得的原始目標的類別進行標注；步驟5 對已標注類別的大量運動目標樣本進行區(qū)域?qū)挾燃案叨鹊臍w一化，并求取運動目標圖像的方向梯度直方圖。步驟6 將方向梯度直方圖作為特征輸入遷移學習分類器進行訓練，獲得基于遷移學習的運動目標分類模型；二、目標類型識別；對視頻中的運動目標進行特征提取，將提取的表象特征輸入到目標模擬訓練獲得的分類模型，獲得視頻中運動目標的類型，具體包括以下幾個步驟步驟1)對視頻中的圖像序列經(jīng)過前景檢測及分割，提取出運動區(qū)域，通過陰影消除去除陰影區(qū)域，保留實際目標區(qū)域；步驟2)計算實際目標區(qū)域邊緣圖，利用實際目標區(qū)域邊緣圖及種子填充方法將背景差分中分裂為多塊的同一運動目標合并為同一個有效的運動目標；步驟幻通過對行列進行投影，使用遞歸分裂方法將粘連的多個運動目標分割成有效的原始目標。步驟4)對提取的運動目標的寬度及高度進行歸一化，對運動目標圖像求取運動目標的方向梯度直方圖。步驟幻將運動目標的方向梯度直方圖輸入S2訓練的分類模型，輸出當前運動目標的類型。步驟4得到的已標注運動目標樣本包括兩部分，一部分為普通視角下的運動目標，另一部分為特定視角下的運動目標。所述陰影消除是在顏色空間中利用陰影區(qū)域像素亮度比背景小，而色度較背景變化不大所得。所述運動邊緣圖，是使用邊緣檢測算子對每幀圖像進行邊緣檢測并統(tǒng)計圖像序列中每個像素為靜止邊緣像素的概率，通過當前幀邊緣檢測結(jié)果得到每個像素為運動邊緣像素的后驗概率所得。所述識別，是使用方向梯度直方圖作為特征進行類型識別，方向梯度直方圖是通過對圖像進行區(qū)域劃分并局部歸一化所得。在運動目標分類中，是使用遷移學習方法對特征進行訓練，獲得能夠分辨運動目標類型的模型。本發(fā)明的優(yōu)點在于(1)對于場景中光線強弱變化、陰影變化具有自適應能力；(2)只需要標注少量新場景下的數(shù)據(jù)，就可以在新場景中到達較高的識別率，節(jié)省了標注時間；
(3)解決了背景差分方法中較難處理的運動目標分裂和粘連的問題。


圖1是本發(fā)明的方法流程圖；圖加是本發(fā)明的從樣本視頻中提取出的一幀示例圖像；圖2b是本發(fā)明的運動目標提取與陰影檢測的效果圖像；圖3是本發(fā)明的利用運動邊緣圖修復斷裂的運動目標的效果圖像；圖如是本發(fā)明的從樣本視頻中提取出的一幀示例圖像；圖4b是本發(fā)明的利用迭代行列投影方法切割粘連的運動目標的效果圖像；圖5是本發(fā)明的遷移學習的原理示意圖；圖6是本發(fā)明的不同場景下的樣本庫中的示例圖像。
具體實施例方式下面將結(jié)合附圖和實施例對本發(fā)明作進一步的詳細說明?；谝曨l的目標的檢測與分類是智能視頻分析系統(tǒng)中必不可少的重要環(huán)節(jié)。智能視頻分析系統(tǒng)分析視頻中的場景與事件，就必須提取出視頻中的各種目標，并對這些目標進行語義上的分類，以便于后續(xù)的對目標進行有針對性的處理。本發(fā)明克服先前系統(tǒng)對多視角的沒有自適應能力的弱點，使系統(tǒng)可以從不同視角地識別出目標，對目標進行分類，對于沒有訓練過的新視角也能有自適應的能力。圖1示出了本發(fā)明的流程框圖，本發(fā)明是一種基于遷移學習的運動目標分類識別方法，包括了訓練和識別兩個過程。所述的訓練過程包括步驟對訓練集中的視頻序列，進行運動目標的前景檢測和分割后進行陰影消除；計算運動邊緣并連接被分裂的目標；行列投影計算并分割；提取準確的運動目標進行歸一化并計算方向梯度直方圖特征；應用運動目標的標注信息并使用遷移學習器進行訓練。具體包括以下幾個步驟步驟1 對視頻中的圖像序列經(jīng)過前景檢測及分割，提取出運動區(qū)域，通過陰影消除去除陰影區(qū)域，保留實際目標區(qū)域；步驟2 計算實際目標區(qū)域邊緣圖，利用實際目標區(qū)域邊緣圖及種子填充方法將背景差分中分裂為多塊的同一運動目標合并為同一個有效的運動目標；步驟3 通過對行列進行投影，使用遞歸分裂方法將粘連的多個運動目標分割成有效的原始目標；步驟4 對獲得的原始目標的類別進行標注；步驟5 對已標注類別的大量運動目標樣本進行區(qū)域?qū)挾燃案叨鹊臍w一化，并求取運動目標圖像的方向梯度直方圖。步驟6 將方向梯度直方圖作為特征輸入遷移學習分類器進行訓練，獲得基于遷移學習的運動目標分類模型；所述的識別過程包括步驟對攝像頭數(shù)據(jù)或者視頻文件中的圖像序列經(jīng)過運動前景檢測和分割后進行陰影消除；計算運動邊緣并連接被分裂的目標；行列投影計算并分割；提取準確的運動目標進行歸一化并計算方向梯度直方圖特征；載入訓練階段遷移學習得到的模型進行運動目標分類。具體包括以下幾個步驟步驟1)對視頻中的圖像序列經(jīng)過前景檢測及分割，提取出運動區(qū)域，通過陰影消除去除陰影區(qū)域，保留實際目標區(qū)域；步驟2)計算實際目標區(qū)域邊緣圖，利用實際目標區(qū)域邊緣圖及種子填充方法將背景差分中分裂為多塊的同一運動目標合并為同一個有效的運動目標；步驟幻通過對行列進行投影，使用遞歸分裂方法將粘連的多個運動目標分割成有效的原始目標。步驟4)對提取的運動目標的寬度及高度進行歸一化，對運動目標圖像求取運動目標的方向梯度直方圖。步驟幻將運動目標的方向梯度直方圖輸入步驟6訓練的分類模型，輸出當前運動目標的類型。運動目標的類型可以是行人、轎車、自行車等等。本發(fā)明的方法需要的硬件最低配置為Intel Core 22. OG CPU, IG內(nèi)存的計算機； 最低分辨率為320x240的監(jiān)控攝像頭；幀率為25幀每秒的視頻采集卡。在此配置水平的硬件上，采用C++語言編程實現(xiàn)本發(fā)明，可以達到實時識別的效果。下面對本發(fā)明的方法涉及的關(guān)鍵步驟進行逐一詳細說明，本發(fā)明的方法中的基本步驟相同，具體形式如下所述所述的步驟1、步驟1)中首先，進行運動目標的前景檢測、分割和陰影消除為要對運動目標進行分類，第一步應該是從背景中把運動目標分離出來，這是關(guān)鍵性的一步。由于攝像機是固定的，因此背景是靜止的，目標是運動的。背景模型減除法是目前運動分割中最常用的一種方法，其基本思想是先形成場景的背景圖像，然后將待檢測圖像與背景圖像逐像素差分(理想情況下的差值圖像中非零像素點就表示了運動物體)，進而就可運用閾值方法將運動物體從背景中分離出來，背景減除法能得到運動物體很全面的特征數(shù)據(jù)，但卻對由于光線和其他外部的動態(tài)場景變化非常敏感。精確可靠的背景圖像是背景減除法能否成功提取目標的關(guān)鍵。顯然，建筑物陰影、浮云或光照的變化都會造成背景環(huán)境明顯的變化，由于這些環(huán)境變化因素，作為參照物的背景需要定時更新。運動區(qū)域(前景)的檢測可以使用混合高斯模型方法?；旌细咚鼓Ｐ湍壳氨粡V泛應用于背景建模，有比較穩(wěn)定的性能?；诒尘安畹哪繕藱z測的準確性很大程度上依賴于背景圖像的可靠性。總的來說，背景減除法對環(huán)境光線的變化非常敏感，背景圖像需不斷地被更新以迎合環(huán)境光線、陰影和天氣的變化等，因而背景更新中的誤差累計是影響背景減除法精度的重要因素。通過混合高斯模型方法得到的前景圖像中，運動的陰影很難被消除，本發(fā)明利用 HSV顏色空間中，陰影區(qū)域的前景較背景圖像亮度變小，色度變化不大的原理對運動陰影進行消除。如圖加和圖2b所示。所述的步驟2、步驟2)中運動邊緣的檢測及分裂目標的拼接為在通過前景檢測和分割之后，獲取到了目標場景中大致的運動區(qū)域。由于光線亮暗、攝像頭遠近及背景建模本身缺陷的原因，會碰到同一個目標物體被分裂成多個連通塊的情況，這樣將會被識別成多個目標，圖3示出了這一情況的一個實例。處理這種問題的難度在于怎么匹配運動前景中的目標和實際場景中的目標。為了處理這種情況，本發(fā)明提出了一種運動邊緣圖像匹配運動目標的方法。為了獲取運動邊緣圖像，本發(fā)明首先需獲取靜止累積邊緣圖像。通過Carmy邊緣檢測算子對視頻序列中的每一幀進行邊緣檢測，若某個像素在過去N幀中有一半以上的幀被檢測為邊緣像素則被認為是靜止邊緣。所謂靜止累積邊緣圖像即當前幀的所有靜止邊緣像素組成的圖像。通過公式(1)計算靜止累積邊緣圖像。
權(quán)利要求
1.一種基于遷移學習的運動目標分類識別方法，其特征在于，具體包括目標模擬訓練、 目標類型識別兩個方面，具體為分類模型訓練對視頻中的運動目標進行檢測，標注好類型，進行特征提取，提取特征進行訓練，獲得分類模型；目標類型識別對視頻中的運動目標進行特征提取，將提取的表象特征輸入到分類模型訓練中得到的分類模型，獲得視頻中運動目標的類型。
2.根據(jù)權(quán)利要求1所述的一種基于遷移學習的運動目標分類識別方法，其特征在于， 目標模擬訓練具體包括以下幾個步驟步驟1 對視頻中的圖像序列經(jīng)過前景檢測及分割，提取出運動區(qū)域，通過陰影消除去除陰影區(qū)域，保留實際目標區(qū)域；步驟2 計算實際目標區(qū)域邊緣圖，利用實際目標區(qū)域邊緣圖及種子填充方法將背景差分中分裂為多塊的同一運動目標合并為同一個有效的運動目標；步驟3 通過對行列進行投影，使用遞歸分裂方法將粘連的多個運動目標分割成有效的原始目標；步驟4 對獲得的原始目標的類別進行標注；步驟5 對已標注類別的大量運動目標樣本進行區(qū)域?qū)挾燃案叨鹊臍w一化，并求取運動目標圖像的方向梯度直方圖。步驟6:將方向梯度直方圖作為特征輸入遷移學習分類器進行訓練，獲得基于遷移學習的運動目標分類模型。
3.根據(jù)權(quán)利要求2所述的一種基于遷移學習的運動目標分類識別方法，其特征在于， 步驟4得到的已標注運動目標樣本包括兩部分，一部分為普通視角下的運動目標，另一部分為特定視角下的運動目標。
4.根據(jù)權(quán)利要求1所述的一種基于遷移學習的運動目標分類識別方法，其特征在于， 目標類型識別，具體包括以下幾個步驟步驟1)對視頻中的圖像序列經(jīng)過前景檢測及分割，提取出運動區(qū)域，通過陰影消除去除陰影區(qū)域，保留實際目標區(qū)域；步驟2)計算實際目標區(qū)域邊緣圖，利用實際目標區(qū)域邊緣圖及種子填充方法將背景差分中分裂為多塊的同一運動目標合并為同一個有效的運動目標；步驟幻通過對行列進行投影，使用遞歸分裂方法將粘連的多個運動目標分割成有效的原始目標。步驟4)對提取的運動目標的寬度及高度進行歸一化，對運動目標圖像求取運動目標的方向梯度直方圖。步驟幻將運動目標的方向梯度直方圖輸入S2訓練的分類模型，輸出當前運動目標的類型。
全文摘要
本發(fā)明公開一種基于遷移學習的運動目標分類方法，對圖像序列進行背景建模、陰影消除和后處理獲得有效運動目標區(qū)域，通過訓練和識別兩個過程完成目標分類，包括步驟對已經(jīng)標好類別的多類別目標進行特征提取，通過遷移學習方法訓練，獲得分類模型；對含有運動目標的視頻進行特征提取，將提取的特征輸入到分類模型，獲得運動目標的類別?；谶w移學習的運動目標分類對于克服視角影響，提高多視角條件下的目標分類具有重要意義。用于監(jiān)控場景中異常檢測，對不同類別目標建立規(guī)則，提高監(jiān)控系統(tǒng)安全性能。用于監(jiān)控場景物體識別，降低識別方法復雜度，提高識別率。用于監(jiān)控場景語義化理解，識別運動目標的類別，幫助理解場景中發(fā)生的行為事件。
文檔編號G06K9/66GK102289686SQ20111022745
公開日2011年12月21日 申請日期2011年8月9日 優(yōu)先權(quán)日2011年8月9日
發(fā)明者劉建蕓, 張兆翔, 王蘊紅, 胡懋地 申請人:北京航空航天大學