基于遷移學(xué)習(xí)的行人重識別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于智能監(jiān)控領(lǐng)域，具體涉及一種監(jiān)控視頻中行人重識別方法。
【背景技術(shù)】
[0002] 近年來，視頻監(jiān)控系統(tǒng)大量普及，特別在公共安全方面顯得尤為突出，對打擊犯 罪、維護(hù)社會穩(wěn)定方面起著舉足輕重的作用。在監(jiān)控系統(tǒng)中對特定目標(biāo)進(jìn)行重識別是公共 安全領(lǐng)域的重要組成部分。隨著技術(shù)的發(fā)展和應(yīng)用需求的增加，重識別問題正逐漸發(fā)展為 研究的熱點。但是在實際條件下，如果待重識別目標(biāo)在攝像頭下出現(xiàn)的次數(shù)較少時，以致于 能使用的樣本數(shù)據(jù)比較少，影響對重識別模型的建立，最后容易造成目標(biāo)的錯誤識別。

【發(fā)明內(nèi)容】

[0003] 針對現(xiàn)有技術(shù)中存在監(jiān)控網(wǎng)絡(luò)中行人重識別準(zhǔn)確率低、精度不高，當(dāng)目標(biāo)行人在 已知攝像頭下出現(xiàn)的不頻繁時，可使用的樣本就比較少等一系列問題，本發(fā)明提出使用迀 移學(xué)習(xí)的方法去解決行人重識別問題，它是一種運用已存有的知識對不同但相關(guān)領(lǐng)域問題 進(jìn)行求解的新的機器學(xué)習(xí)方法。其中，具有已知知識的領(lǐng)域稱為源領(lǐng)域，待學(xué)習(xí)的領(lǐng)域稱為 目標(biāo)領(lǐng)域，將關(guān)于已知行人的攝像機的模型參數(shù)作為源領(lǐng)域，將關(guān)于待重識別行人的攝像 機模型參數(shù)作為目標(biāo)領(lǐng)域。
[0004] 一種基于迀移學(xué)習(xí)的行人重識別方法，包括步驟如下： 步驟一、行人前景分割； 步驟二、行人特征提??； 步驟三、源領(lǐng)域改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)； 步驟四、源領(lǐng)域到目標(biāo)領(lǐng)域的迀移學(xué)習(xí)； 步驟五、進(jìn)行行人重識別。
[0005] 進(jìn)一步的，所述步驟一包括如下步驟：采用GrabCut算法對出現(xiàn)已知行人的所有 攝像頭視頻序列的每一幀進(jìn)行已知行人前景分割，該算法利用了圖像中的紋理(顏色）信息 和邊界(反差）信息，再通過用戶指定一些像素屬于行人目標(biāo)，即可得到比較好的分割結(jié)果。
[0006] 進(jìn)一步的，所述驟二包括如下步驟：采用人體對稱模型將提取出的已知行人分為 頭部、左上肢、右上肢、左腿、右腿五個感興趣區(qū)域，提取每個區(qū)域的顏色特征、邊緣特征、紋 理特征，那么，第z個區(qū)域的特征標(biāo)記為：?，z=l，2, 3,4, 5。
[0007] 進(jìn)一步的，所述步驟三包括如下步驟：采用改進(jìn)的三層神經(jīng)網(wǎng)絡(luò)模型作為行人重 識別判別模型，即：將兩個在不同場景不同攝像頭下的行人特征作為模型的輸入，并將兩個 行人的第z個區(qū)域的特征同時且僅輸入到隱藏層的第z個節(jié)點，再將隱藏層所有節(jié)點的值 輸入到輸出層，輸出最后的值代表著輸入的兩個行人特征是否為同一人的： (3a)選擇源領(lǐng)域訓(xùn)練樣本：選擇兩個在不同攝像頭下的已知行人的特征作為改進(jìn)的神 經(jīng)網(wǎng)絡(luò)的輸入向量：
；同時，對其進(jìn)行人工進(jìn)行標(biāo)注，得到 源領(lǐng)域訓(xùn)練樣本；其中，肖表示在源領(lǐng)域下改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型輸入層的輸入向量，（Gd 表示在場景a下第i個攝像頭中行人m的第z個感興趣區(qū)域的特征，表示在場景k下第j 個攝像頭中行人η的第z個感興趣區(qū)域的特征；相對應(yīng)的，Y={1，-1}，當(dāng)行人m與行人η為 同一個人時，輸出標(biāo)簽為Y=I ;當(dāng)行人m與行人η不是同一個人時，輸出標(biāo)簽為Y=-I ; (3b)將步驟（3a)得到的源領(lǐng)域訓(xùn)練樣本(?,?輸入到改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型中； 則第z個隱藏層的節(jié)點的輸入為
接著從隱藏層到輸出層，滿足
通過誤差反向傳播算法，得到改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型參數(shù)，反映了攝像頭i與j之間的聯(lián) 系；其中，^:是輸入向量到隱藏層對應(yīng)的連接權(quán)值，％:是輸入向量(CJf到隱藏層 對應(yīng)的連接權(quán)值是隱藏層節(jié)點到輸出層對應(yīng)的連接權(quán)值，各是隱藏層各個神經(jīng)元的閾 值，獍是輸出層神經(jīng)元的閾值。
[0008] 進(jìn)一步的，所述步驟四包括如下步驟：通過源領(lǐng)域的模型參數(shù)^^_輔助學(xué)習(xí)在目 標(biāo)領(lǐng)域中待重識別行人M的神經(jīng)網(wǎng)絡(luò)模型參數(shù): (4a)如步驟1所述，將場景a下的攝像頭I、/中的待重識別行人M進(jìn)行行人前景分割， 如步驟2所述，對場景a下的兩個攝像頭中的待重識別行人M進(jìn)行特征提取，并對其特征 向量進(jìn)行組合，記為：
?示待重識別行人M在 場景a中的第|、，個攝像頭下的第ζ個感興趣區(qū)域的特征表示，同時，對其進(jìn)行人工進(jìn)行標(biāo) 注；此時可以得到目標(biāo)領(lǐng)域訓(xùn)練樣本： (??，因為兩者均是行人M的特征表示，可得標(biāo)簽 Y=I ; (4b)將第（4a)步得到的観結(jié)合步驟3得到的_去學(xué)習(xí) :
最小化優(yōu)化方程L，通過將??#無限接近源領(lǐng)域知識聲丨::，獲得最優(yōu)的
;t表示源領(lǐng)域中得到的第t個模型參數(shù)，U是根據(jù)步驟三得到 的在源領(lǐng)域中模型參數(shù)的總個數(shù)；1是一個損失函數(shù)，用于評估實際模型的有效性是松 弛變量，用于測量誤分類的程度，N表示步驟（4a)中得到的訓(xùn)練樣本的總數(shù)。
[0009] 進(jìn)一步的，步驟五包括如下步驟：判斷攝像頭j的視頻中是否出現(xiàn)了攝像頭i視頻 中出現(xiàn)的彳丁人M ; (5a)通過步驟4得到，可以獲得關(guān)于行人M的改進(jìn)的神經(jīng)網(wǎng)絡(luò)行人重識別判別模 型； (5b )根據(jù)步驟1所述，對攝像頭j的視頻序列中的所有行人進(jìn)行分割，假設(shè)一共有R個 行人，根據(jù)步驟2所述，對這些行人進(jìn)行特征提取，記為，表示在場景k下的攝像頭j 下的第e個行人的第z個區(qū)域的特征表示，將這R個行人分別與攝像頭a下的行人M進(jìn)行 組合，得到測試輸入向量：
=1，2,. . .，R ;將Zr輸入 到步驟（5a)得到的改進(jìn)的神經(jīng)N絡(luò)行人重識別判別模型中，得到;此時，取最接近1的 _，且；則場景k中存在行人M ;否則，不存在；其中媒:為波動參數(shù)，使得得到 的標(biāo)簽值能在一定范圍內(nèi)浮動。
【附圖說明】
[0010] 圖1是本發(fā)明的基于迀移學(xué)習(xí)的行人重識別方法的總流程圖。
[0011] 圖2是本發(fā)明的場景示意圖。
[0012] 圖3是改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型示意圖。
【具體實施方式】
[0013] 下面結(jié)合附圖對本發(fā)明作進(jìn)一步說明。如圖1、2、3所示，本發(fā)明基于迀移學(xué)習(xí)的 行人重識別方法包括步驟如下： 步驟1、行人前景分割。采用GrabCut算法對出現(xiàn)已知行人的所有攝像頭視頻序列的每 一幀進(jìn)行已知行人前景分割，該算法利用了圖像中的紋理(顏色）信息和邊界(反差）信息， 再通過用戶指定一些像素屬于目標(biāo)，即可得到比較好的分割結(jié)果。并且，我們已經(jīng)知道這些 已知行人在攝像頭中的出現(xiàn)情況。
[0014] 步驟2、行人特征提取。采用人體對稱模型將提取出的已知行人分為頭部、左上 肢、右上肢、左腿、右腿五個感興趣區(qū)域，提取每個區(qū)域的顏色特征、邊緣特征、紋理特征，第 z個區(qū)域的特征標(biāo)記為：q，z=l，2,3,4,5。
[0015] 步驟3、源領(lǐng)域改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)。采用改進(jìn)的三層神經(jīng)網(wǎng)絡(luò)模型作為行人 重識別判別模型，即：將兩個在不同場景不同攝像頭下的行人特征作為模型的輸入，并將兩 個行人的第z個區(qū)域的特征同時且僅輸入到隱藏層的第z個節(jié)點，再將隱藏層所有節(jié)點的 值輸入到輸出層，輸出最后的值，代表著輸入的兩個行人特征是否為同一人的。改進(jìn)的神經(jīng) 網(wǎng)絡(luò)模型如圖3所示。
[0016] (3a)選擇源領(lǐng)域訓(xùn)練樣本：選擇兩個在不同攝像頭下的已知行人的特征作為改進(jìn) 的神經(jīng)網(wǎng)絡(luò)的輸入向量：
司時，對其進(jìn)行人工進(jìn)行標(biāo)注，得到 源領(lǐng)域訓(xùn)練樣本；其中，@表示在源領(lǐng)域下改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型輸入層的輸入向量，（cvK 表示在場景a下第i個攝像頭中行人m的第z個感興趣區(qū)域的特征，表示在場景k下第j 個攝像頭中行人η的第z個感興趣區(qū)域的特征；相對應(yīng)的，Y={1，-1}，當(dāng)行人m與行人η為 同一個人時，輸出標(biāo)簽為Y=I ;當(dāng)行人m與行人η不是同一個人時，輸出標(biāo)簽為Y=-I ; (3b)將步驟（3a)得到的源領(lǐng)域訓(xùn)練樣本輸入到改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型中； 則第z個隱藏層的節(jié)點的輸入為：
接著從隱藏層到輸出層，滿足：
通過誤差反向傳播算法，得到改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型參數(shù)，反映了攝像頭i與j之