本發(fā)明屬于智能視頻監(jiān)控領(lǐng)域，涉及到模式識別、人工智能等技術(shù)，尤其涉及到一種融合多角度特征的監(jiān)控視頻人物身份識別系統(tǒng)及其方法。
背景技術(shù)：
在現(xiàn)代社會，需要身份認(rèn)證的場所越來越多，人臉識別是利用人類本身所擁有的生物特征進(jìn)行身份認(rèn)證的一種技術(shù)。隨著視頻監(jiān)控、信息安全、訪問控制等應(yīng)用領(lǐng)域的發(fā)展需求，視頻人臉識別系統(tǒng)在這些領(lǐng)域中都有著巨大的應(yīng)用前景。
目前人臉識別主要應(yīng)用于考勤、門禁身份驗(yàn)證等領(lǐng)域，還沒有比較完備的人臉識別監(jiān)控設(shè)備應(yīng)用在監(jiān)控場景中。主要源于視頻序列中的人臉識別比靜態(tài)圖像中的人臉識別環(huán)境要復(fù)雜的多，比如視頻監(jiān)控?cái)z像機(jī)離目標(biāo)較遠(yuǎn)，使得采集質(zhì)量好的人臉圖像比較困難；同時用戶姿態(tài)具有很大的隨意性，且處于運(yùn)動狀態(tài)，側(cè)臉和背對攝像機(jī)的概率大大增加；此外，監(jiān)控場景通常會出現(xiàn)身體遮擋等，都給人臉檢測和人臉比對識別帶來相當(dāng)大的困難。
這也就需要靠克服監(jiān)控視頻中人物出現(xiàn)正臉幾率小、圖片模糊、樣本數(shù)少的問題，結(jié)合人臉各個角度的圖像識別出人物的身份信息。傳統(tǒng)的二維人臉識別技術(shù)是基于人臉關(guān)鍵特征提取對比完成識別的，目前主流的特征提取算法有表達(dá)圖像紋理特征的LBP特征，表達(dá)人臉圖像統(tǒng)計(jì)特征的特征臉方法(PCA)，以及基于圖像局部幾何特征的提取方法。通常的特征提取方法是基于靜態(tài)的正面的人臉圖像，這種方法通常依賴于面部特征的精準(zhǔn)檢測，特征的完整性是算法成敗的一個極為關(guān)鍵的因素，這樣提取到的特征進(jìn)行人臉匹配識別性能較好。其缺陷是受到外界干擾較多，一旦人臉發(fā)生旋轉(zhuǎn)、遮擋或部分模糊，造成部分特征消失，導(dǎo)致人臉圖像特征不完整時，這種算法就會失效，導(dǎo)致無法和庫中人臉信息進(jìn)行匹配。所以這種方法很難適應(yīng)視頻監(jiān)控帶來的，人臉圖像質(zhì)量低，多角度，距離遠(yuǎn)等復(fù)雜問題。
技術(shù)實(shí)現(xiàn)要素：
本發(fā)明克服了現(xiàn)有技術(shù)的不足之處，提出一種融合人臉多角度特征的監(jiān)控視頻人物身份識別系統(tǒng)及其方法，以期能綜合監(jiān)控視頻中人臉多個角度的特征信息，從而提高在監(jiān)控視頻中人物姿態(tài)隨意性較大的情況下，其身份識別的準(zhǔn)確性。
本發(fā)明為達(dá)到上述發(fā)明目的，采用如下技術(shù)方案：
本發(fā)明一種融合多角度特征的監(jiān)控視頻人物身份識別系統(tǒng)的特點(diǎn)是組成包括：目標(biāo)檢測模塊、多角度人臉識別模塊和身份匹配模塊；
所述目標(biāo)檢測模塊收集單幀的有人圖片和無人圖片，并對每幅圖片進(jìn)行尺寸歸一化處理后賦予類別標(biāo)簽，從而得到由正樣本和負(fù)樣本構(gòu)成的訓(xùn)練樣本數(shù)據(jù)集；提取所述訓(xùn)練樣本數(shù)據(jù)集中每個樣本的SIFT特征，從而將每個樣本轉(zhuǎn)換為特征向量；再利用支持向量機(jī)SVM對所述特征向量進(jìn)行訓(xùn)練，得到目標(biāo)檢測模型；
所述目標(biāo)檢測模塊將監(jiān)控視頻轉(zhuǎn)換成一系列的單幀圖片，并作為測試集；利用所述目標(biāo)檢測模型識別所述測試集中每幀圖片是否含有人，若含有人，則保留相應(yīng)單幀圖片，并作為關(guān)鍵幀，否則，丟棄相應(yīng)單幀圖片，從而得到關(guān)鍵幀集合；
所述多角度人臉識別模塊以人臉的正面0°為起始采集點(diǎn)，順時針每隔k度采集一幅人臉圖像，其中，不采集90°和270°的人臉圖像，每個身份共收集m＝360/k-2幅不同角度的人臉圖像，從而形成一個有人臉和無人臉構(gòu)成的人臉圖像序列，進(jìn)而獲得n個不同身份的人臉圖像序列所構(gòu)成的多角度人臉數(shù)據(jù)庫；將每幅人臉圖像根據(jù)角度值分類到各自的類別集合中，通過局部遮擋每幅人臉圖像的左上、右上、左下、右下、中間五個部分?jǐn)U充所述多角度人臉數(shù)據(jù)庫，從而形成多角度人臉訓(xùn)練集；提取所述多角度人臉訓(xùn)練集中每幅人臉圖像的SIFT特征，從而將每幅人臉圖像轉(zhuǎn)換為多角度特征向量；再利用支持向量機(jī)SVM對所述多角度特征向量進(jìn)行訓(xùn)練，獲取多角度人臉檢測模型；
所述多角度人臉識別模塊利用所述多角度人臉檢測模型對所述關(guān)鍵幀集合進(jìn)行檢測，得到每個關(guān)鍵幀的人臉角度值，由所述人臉角度值判斷每個關(guān)鍵幀是否含有人臉；若含有人臉，則保留相應(yīng)關(guān)鍵幀，否則舍棄相應(yīng)關(guān)鍵幀，從而將所述關(guān)鍵幀集合轉(zhuǎn)換為帶有角度值標(biāo)簽的人臉圖像序列；
所述身份匹配模塊使用所述多角度人臉數(shù)據(jù)庫中有人臉的人臉圖像序列構(gòu)造身份庫，將所述身份庫作為神經(jīng)網(wǎng)絡(luò)的輸入，并進(jìn)行訓(xùn)練，從而得到用于身份識別的神經(jīng)網(wǎng)絡(luò)模型；再將所述帶有角度值標(biāo)簽的人臉圖像序列作為測試樣本，并將所述測試樣本輸入所述用于身份識別的神經(jīng)網(wǎng)絡(luò)模型中，提取神經(jīng)網(wǎng)絡(luò)中間任意一層輸出作為特征，從而將測試樣本的轉(zhuǎn)換為待識別的多維身份特征向量；
所述身份匹配模塊將所述多角度人臉數(shù)據(jù)庫中n個不同身份的人臉圖像序列分別輸入所述用于身份識別的神經(jīng)網(wǎng)絡(luò)模型中，從而得到n個用于匹配的多維身份特征向量；再將待識別的多維身份特征向量分別與所述n個用于匹配的多維身份特征向量進(jìn)行余弦距離相似度比較，并找到最大余弦值所對應(yīng)的用于匹配的多維身份特征向量作為相應(yīng)待識別的多維身份特征向量的身份匹配結(jié)果，以所述身份匹配結(jié)果所對應(yīng)的身份標(biāo)簽作為相應(yīng)待識別的多維身份特征向量的身份識別結(jié)果。
本發(fā)明一種融合多角度特征的監(jiān)控視頻人物身份識別方法的特點(diǎn)是按如下步驟進(jìn)行：
步驟1、收集單幀的有人圖片和無人圖片，并對每幅圖片進(jìn)行尺寸歸一化處理后賦予類別標(biāo)簽，從而得到由正樣本和負(fù)樣本構(gòu)成的訓(xùn)練樣本數(shù)據(jù)集；
步驟2、提取所述訓(xùn)練樣本數(shù)據(jù)集中每個樣本的SIFT特征，從而將每個樣本轉(zhuǎn)換為特征向量；
步驟3、利用支持向量機(jī)SVM對所述特征向量進(jìn)行訓(xùn)練，得到目標(biāo)檢測模型；
步驟4、將監(jiān)控視頻轉(zhuǎn)換成一系列的單幀圖片，并作為測試集；
步驟5、利用所述目標(biāo)檢測模型識別所述測試集中每幀圖片是否含有人，若含有人，則保留相應(yīng)單幀圖片，并作為關(guān)鍵幀，否則，丟棄相應(yīng)單幀圖片，從而得到關(guān)鍵幀集合；
步驟6、以人臉的正面為起始0°采集點(diǎn)，順時針每隔k度采集一幅人臉圖像，其中，不采集90°和270°的人臉圖像，每個身份共收集m＝360/k-2幅不同角度的人臉圖像，從而形成一個有人臉和無人臉構(gòu)成的人臉圖像序列，進(jìn)而獲得n個不同身份的人臉圖像序列所構(gòu)成的多角度人臉數(shù)據(jù)庫；
步驟7、將每幅人臉圖像根據(jù)角度值分類到對應(yīng)的類別集合中，通過局部遮擋每幅人臉圖像的左上、右上、左下、右下、中間五個部分?jǐn)U充所述多角度人臉數(shù)據(jù)庫，從而形成多角度人臉訓(xùn)練集；
步驟8、提取所述多角度人臉訓(xùn)練集中每幅人臉圖像的SIFT特征，從而將每幅人臉圖像轉(zhuǎn)換為多角度特征向量；
步驟9、利用支持向量機(jī)SVM對所述多角度特征向量進(jìn)行訓(xùn)練，獲取多角度人臉檢測模型；
步驟10、利用所述多角度人臉檢測模型對所述關(guān)鍵幀集合進(jìn)行檢測，得到每個關(guān)鍵幀的人臉角度值；
步驟11、由所述人臉角度值判斷每個關(guān)鍵幀是否含有人臉；若含有人臉，則保留相應(yīng)關(guān)鍵幀，否則舍棄相應(yīng)關(guān)鍵幀，從而將所述關(guān)鍵幀集合轉(zhuǎn)換為帶有角度值標(biāo)簽的人臉圖像序列；
步驟12、使用所述多角度人臉數(shù)據(jù)庫中的有人臉的人臉圖像序列構(gòu)造身份庫，將所述身份庫作為神經(jīng)網(wǎng)絡(luò)的輸入，并進(jìn)行訓(xùn)練，從而得到用于身份識別的神經(jīng)網(wǎng)絡(luò)模型；
步驟13、將所述帶有角度值標(biāo)簽的人臉圖像序列作為測試樣本，并將所述測試樣本輸入所述用于身份識別的神經(jīng)網(wǎng)絡(luò)模型中，提取神經(jīng)網(wǎng)絡(luò)中間任意一層輸出作為特征，從而將測試樣本的轉(zhuǎn)換為待識別的多維身份特征向量；
步驟14、將所述身份庫中n個不同身份的人臉圖像序列分別輸入所述用于身份識別的神經(jīng)網(wǎng)絡(luò)模型中，從而得到n個用于匹配的多維身份特征向量；
步驟15、將待識別的多維身份特征向量分別與所述n個用于匹配的多維身份特征向量進(jìn)行余弦距離相似度比較，并找到最大余弦值所對應(yīng)的用于匹配的多維身份特征向量作為相應(yīng)待識別的多維身份特征向量的身份匹配結(jié)果，以所述身份匹配結(jié)果所對應(yīng)的身份標(biāo)簽作為相應(yīng)待識別的多維身份特征向量的身份識別結(jié)果。
與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果體現(xiàn)在：
1.本發(fā)明提出一種適用于監(jiān)控視頻的，被采集對象人臉姿態(tài)隨意性較大的人臉檢測，并對其姿態(tài)角度值進(jìn)行識別。使用卷積神經(jīng)網(wǎng)絡(luò)對采集周期內(nèi)的一段不同角度人臉圖像序列提取特征，克服了現(xiàn)有技術(shù)中采集單幀正面人臉圖像提取特征進(jìn)行識別的難度，實(shí)現(xiàn)了多個角度特征的融合，同時深度學(xué)習(xí)算法降低了特征維度，提高了在監(jiān)控視頻中人臉識別的準(zhǔn)確性。能夠?qū)崿F(xiàn)危險人物的預(yù)警，保護(hù)人們的生命財(cái)產(chǎn)安全，對我國治安的協(xié)助維持有重要的作用。
2.本發(fā)明在目標(biāo)檢測模塊以及多角度人臉識別模塊中的圖像特征提取階段，都使用了檢測圖像局部特征的尺度不變特征變換(SIFT)算法，對監(jiān)控視頻單幀圖片和關(guān)鍵幀集合進(jìn)行特征提取。SIFT特征不只具有尺度不變性，即使改變旋轉(zhuǎn)角度，圖像亮度或者拍攝視覺，仍然能夠取得好的檢測效果。在監(jiān)控視頻中人的運(yùn)動姿態(tài)隨意性較大的情況下，可以學(xué)習(xí)到更多的圖像不變性特征，提高了在復(fù)雜環(huán)境中目標(biāo)識別的精確性。
3.本發(fā)明在多角度人臉識別模塊，對收集的多角度人臉數(shù)據(jù)庫，采用局部遮擋的方法對數(shù)據(jù)集進(jìn)行擴(kuò)充。使訓(xùn)練樣本包含大量的存在遮擋的樣本，一方面可以改善樣本的分布，解決了現(xiàn)有技術(shù)中人臉遮擋對人臉檢測造成的局限性，另一方面也有效解決了樣本數(shù)量少，分類器泛化能力弱的問題。此種數(shù)據(jù)增強(qiáng)了擴(kuò)充數(shù)據(jù)庫的方法，提高了算法精度和特征維度，進(jìn)而可以提高識別的準(zhǔn)確率。
4.本發(fā)明在身份匹配模塊，使用身份庫中的人臉圖像序列訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，構(gòu)造的CNN模型視為一個特征提取器，用來學(xué)習(xí)一個不同角度人臉圖像序列的身份特征，把一個人物人臉的正面特征，側(cè)面特征融合起來，轉(zhuǎn)換為一個高級的多維身份特征向量，提高了身份表達(dá)的精確度，將目標(biāo)與庫中的身份特征向量進(jìn)行匹配，搜索到目標(biāo)人物的身份信息，克服了用傳統(tǒng)方法提取這些不同角度的圖像特征再訓(xùn)練分類器進(jìn)行匹配的復(fù)雜性。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個新的領(lǐng)域，其動機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，比起一般的機(jī)器學(xué)習(xí)算法，深度學(xué)習(xí)通過模仿人腦的機(jī)制解釋數(shù)據(jù)，不僅能對特征值進(jìn)行很好的優(yōu)化降維處理，同時能夠獲得特征級別更好的身份特征值。
附圖說明
圖1是本發(fā)明識別系統(tǒng)示意圖。
具體實(shí)施方式
本實(shí)施例中，如圖1所示，一種融合多角度特征的監(jiān)控視頻人物身份識別系統(tǒng)，組成包括：目標(biāo)檢測模塊：用于將一段監(jiān)控視頻轉(zhuǎn)換為包含人的關(guān)鍵幀集合；多角度人臉識別模塊：用于將包含人的關(guān)鍵幀集合轉(zhuǎn)換為帶有角度值標(biāo)簽的人臉圖像序列；身份匹配模塊：用于完成帶有角度值標(biāo)簽的人臉圖像序列與身份庫中圖像序列的身份匹配。
目標(biāo)檢測模塊包括訓(xùn)練有人圖片目標(biāo)檢測模型和視頻預(yù)處理兩個階段。訓(xùn)練有人圖片目標(biāo)檢測模型首先收集單幀的有人圖片和無人圖片，并對每幅圖片進(jìn)行尺寸歸一化處理后賦予類別標(biāo)簽，從而得到由正樣本和負(fù)樣本構(gòu)成的訓(xùn)練樣本數(shù)據(jù)集。正樣本是數(shù)據(jù)集中的有人圖片，類別標(biāo)簽設(shè)置為1，負(fù)樣本是無人圖片，標(biāo)簽為0，分別放置于一個文件夾中；提取訓(xùn)練樣本數(shù)據(jù)集中每個樣本的SIFT特征，每個樣本都提取固定個數(shù)的特征點(diǎn)，從而將每個樣本轉(zhuǎn)換為特征向量；再利用支持向量機(jī)SVM對訓(xùn)練樣本數(shù)據(jù)集的特征向量進(jìn)行訓(xùn)練，得到有人圖片目標(biāo)檢測模型，用于完成監(jiān)控視頻預(yù)處理；
目標(biāo)檢測模塊中的視頻預(yù)處理階段首先利用FFmpeg軟件包將監(jiān)控視頻轉(zhuǎn)換成一系列的單幀圖片，并作為測試集，每幅圖片提取同樣個數(shù)的SIFT特征；利用有人圖片目標(biāo)檢測模型識別測試集中每幀圖片是否含有人，SVM輸出結(jié)果對應(yīng)每張測試集片的識別標(biāo)簽，若類別為1，表示含有人，則保留相應(yīng)單幀圖片，裁剪其中含有人的部分，并作為關(guān)鍵幀，否則，丟棄相應(yīng)單幀圖片，從而得到關(guān)鍵幀集合；
多角度人臉識別模塊包括訓(xùn)練多角度人臉檢測模型以及關(guān)鍵幀集合人臉角度識別兩個階段。訓(xùn)練多角度人臉檢測模型首先構(gòu)建多角度人臉數(shù)據(jù)庫，以人臉的正面0°為起始采集點(diǎn)，順時針每隔k度采集一幅人臉圖像，其中，不采集90°和270°的人臉圖像。本實(shí)施例中，取k＝10，每個身份共收集m＝360/k-2＝34幅不同角度的人臉圖像，從而形成一個有人臉和無人臉構(gòu)成的人臉圖像序列，其中有人臉的人臉圖像序列包含[0°,80°]∪[280°,350°]范圍內(nèi)的m/2幅圖像，無人臉的人臉圖像序列包含[100°,260°]范圍內(nèi)的m/2幅圖像，進(jìn)而獲得n個不同身份的人臉圖像序列所構(gòu)成的多角度人臉數(shù)據(jù)庫；對每幅人臉圖像根據(jù)角度值賦予類別標(biāo)簽，將每幅人臉圖像根據(jù)角度值分類到對應(yīng)的類別集合中。同時，為了擴(kuò)充訓(xùn)練樣本以及解決遮擋的人臉檢測，可以應(yīng)用一些數(shù)據(jù)增強(qiáng)方法，通過局部遮擋每幅人臉圖像的左上、右上、左下、右下、中間五個部分?jǐn)U充多角度人臉數(shù)據(jù)庫，從而形成多角度人臉訓(xùn)練集；提取多角度人臉訓(xùn)練集中每幅人臉圖像的SIFT特征，從而將每幅人臉圖像轉(zhuǎn)換為多角度特征向量；再利用支持向量機(jī)SVM對多角度特征向量進(jìn)行訓(xùn)練，獲取多角度人臉檢測模型，該模型可以用來識別關(guān)鍵幀集合中人臉的角度；
多角度人臉識別模塊的關(guān)鍵幀集合人臉角度識別階段，先提取關(guān)鍵幀集合每幅圖片的SIFT特征，將圖片轉(zhuǎn)換為向量，利用多角度人臉檢測模型對關(guān)鍵幀集合進(jìn)行檢測，根據(jù)SVM輸出結(jié)果，得到每個關(guān)鍵幀的人臉角度值；由人臉角度值判斷每個關(guān)鍵幀是否含有人臉，若含有人臉，則保留相應(yīng)關(guān)鍵幀，否則舍棄相應(yīng)關(guān)鍵幀，對保留的關(guān)鍵幀檢測并裁剪圖像中的人臉部分，裁剪后的圖像統(tǒng)一為固定大小。從而將關(guān)鍵幀集合轉(zhuǎn)換為帶有角度值標(biāo)簽的人臉圖像序列；
身份匹配模塊包括訓(xùn)練用于身份識別的神經(jīng)網(wǎng)絡(luò)模型，學(xué)習(xí)所有身份庫和待識別的人臉圖像序列的身份特征，以及身份相似度匹配三個階段。使用多角度人臉數(shù)據(jù)庫中的有人臉的人臉圖像序列構(gòu)造身份庫，每個身份對應(yīng)一個整實(shí)數(shù)的類別標(biāo)簽，身份庫中每個人臉圖像序列作為一個訓(xùn)練樣本，圖片按照角度順序依次排列，每個樣本轉(zhuǎn)換為用像素表示的特征矩陣，作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，并進(jìn)行訓(xùn)練，從而得到用于身份識別的神經(jīng)網(wǎng)絡(luò)模型；
再將帶有角度值標(biāo)簽的人臉圖像序列作為測試樣本，并將測試樣本輸入用于身份識別的神經(jīng)網(wǎng)絡(luò)模型，不使用該模型輸出結(jié)果，而是將該神經(jīng)網(wǎng)絡(luò)模型用于特征提取，本實(shí)施例中，使用卷積神經(jīng)網(wǎng)絡(luò)倒數(shù)第一層全連接層的輸出作為測試樣本學(xué)習(xí)到的高級特征，從而將測試樣本轉(zhuǎn)換為一個待識別的多維身份特征向量。按照同樣的方法將身份庫中n個不同身份的人臉圖像序列分別輸入用于身份識別的神經(jīng)網(wǎng)絡(luò)模型中，提取相同中間層的結(jié)果作為特征，從而得到n個用于匹配的多維身份特征向量；
身份相似度匹配階段，將待識別的多維身份特征向量分別與n個用于匹配的多維身份特征向量進(jìn)行余弦距離相似度比較，并找到最大余弦值所對應(yīng)的用于匹配的多維身份特征向量作為相應(yīng)待識別的多維身份特征向量的身份匹配結(jié)果，以身份匹配結(jié)果所對應(yīng)的身份標(biāo)簽作為相應(yīng)待識別的多維身份特征向量的身份識別結(jié)果。
本實(shí)施例中，一種融合多角度特征的監(jiān)控視頻人物身份識別方法，包括如下步驟：
步驟1、收集單幀的有人圖片和無人圖片，構(gòu)建有人圖片和無人圖片樣本數(shù)據(jù)庫，并對每幅圖片進(jìn)行尺寸歸一化處理后賦予類別標(biāo)簽。本實(shí)施例中，正樣本是數(shù)據(jù)集中的有人圖片，截取其中128*128像素范圍大小的人體部分，所有正樣本標(biāo)記為1；負(fù)樣本是從不包含人體的圖片中隨機(jī)截取，尺寸大小同樣為128*128，所有的負(fù)樣本標(biāo)簽為0，正負(fù)樣本各自放在一個文件夾中，從而得到由正樣本和負(fù)樣本構(gòu)成的訓(xùn)練樣本數(shù)據(jù)集；
步驟2、提取訓(xùn)練樣本數(shù)據(jù)集中每個樣本的SIFT特征，每一個SIFT關(guān)鍵點(diǎn)描述子是一個4*4*8＝128維的向量。提取特征之后，每個樣本轉(zhuǎn)換為一個n*128維的特征矩陣，其中n為提取到的特征點(diǎn)的數(shù)。本實(shí)例中，規(guī)定每個樣本提取100個特征點(diǎn)，將每個特征點(diǎn)的特征向量依次連接，從而將每個樣本轉(zhuǎn)換為一個100*128維的特征向量；
步驟3、利用支持向量機(jī)SVM對訓(xùn)練樣本數(shù)據(jù)集的特征向量進(jìn)行訓(xùn)練，得到有人圖片目標(biāo)檢測模型，用于檢測單幀圖片中是否存在人。將正負(fù)樣本的SIFT特征向量，以及樣本對應(yīng)的標(biāo)簽，按照libsvm要求的格式排列好(Label 1:value 2:value…)。用svmscale對樣本進(jìn)行縮放，把數(shù)據(jù)正則化到[-1,1]范圍內(nèi)。使用grid.py交叉驗(yàn)證選擇最佳參數(shù)c與g，接著svmtrain使用獲取的最佳參數(shù)c與g、線性分類器、RBF核函數(shù)對整個訓(xùn)練數(shù)據(jù)集的特征向量進(jìn)行訓(xùn)練，獲得支持向量機(jī)模型參數(shù)，訓(xùn)練完之后，結(jié)果保存為.model模型文件，便得到了一個分類器，也就是有人圖片目標(biāo)檢測模型。
步驟4、對監(jiān)控視頻預(yù)處理，利用ffmeg軟件包將一段待識別的監(jiān)控視頻轉(zhuǎn)換成一系列的單幀圖片，并作為測試集，測試集圖像大小同樣為128*128。提取每幅圖片的SIFT特征，將每張測試集圖片轉(zhuǎn)換為一個100*128維的特征向量；
步驟5、利用有人圖片目標(biāo)檢測模型識別測試集中每幀圖片是否含有人。載入訓(xùn)練好的模型文件，調(diào)用libsvm中的svmpredict函數(shù)對測試數(shù)據(jù)圖片進(jìn)行識別，生成一個.predict文件，對應(yīng)得到每張測試圖片的類別標(biāo)簽(1或0)，即識別每幀圖片中是否含有人。對于一個測試實(shí)例x，按照如下函數(shù)進(jìn)行分類，其中(xi,yi)為訓(xùn)練樣本，yi∈{1,0},
若SVM輸出結(jié)果為1，表示含有人，則保留相應(yīng)單幀圖片，并去除圖像的周邊信息，截取其中的人體部分，圖片尺寸歸一化為64*64大小，作為關(guān)鍵幀，否則，丟棄相應(yīng)單幀圖片，從而得到關(guān)鍵幀集合；
步驟6、構(gòu)建多角度人臉數(shù)據(jù)庫，數(shù)據(jù)庫中包含有人臉和無人臉，以人臉的正面0°為起始采集點(diǎn)，順時針每隔k度均勻采集一幅人臉圖像，每張圖像截取其中64*64像素大小的人臉部分。本實(shí)施例中，取k＝10，從正面的0度旋轉(zhuǎn)一周到360度，每隔10度均勻采集一幅圖像，其中，不采集90°和270°的人臉圖像，每個身份共收集m＝360/k-2＝34幅不同角度的人臉圖像，從而形成有人臉和無人臉構(gòu)成的人臉圖像序列，其中有人臉的人臉圖像序列包含[0°,80°]∪[280°,350°]范圍內(nèi)的17幅圖像，無人臉的人臉圖像序列包含[100°,260°]范圍內(nèi)的17幅圖像，進(jìn)而獲得n個不同身份的人臉圖像序列所構(gòu)成的多角度人臉數(shù)據(jù)庫。
步驟7、對收集到的多角度人臉數(shù)據(jù)庫中的每幅人臉圖像根據(jù)角度值賦予類別標(biāo)簽，例如，人臉角度為0°的圖像賦予標(biāo)簽0，人臉角度為280°的圖像賦予標(biāo)簽28，以此類推。將每幅人臉圖像根據(jù)角度值放置到各自的類別集合中，一共34個類別文件夾。在人臉檢測中，一幅待檢測的圖像可能會存在被其他人或物遮擋的人臉，或者戴眼鏡口罩遮擋的人臉等情況。若訓(xùn)練樣本均采用多角度無遮擋人臉，當(dāng)測試樣本中人臉有部分被遮擋時，很容易被篩選為非人臉而產(chǎn)生漏檢。同時，由于收集的多角度人臉數(shù)據(jù)庫樣本數(shù)量少，可以采用數(shù)據(jù)增強(qiáng)方法擴(kuò)充數(shù)據(jù)庫，提高算法精度和特征維度。所以，通過局部遮擋每幅人臉圖像的左上、右上、左下、右下、中間五個部分?jǐn)U充多角度人臉數(shù)據(jù)庫，遮擋窗口的大小為4*4，每張完整人臉對應(yīng)五張遮擋人臉，對每張遮擋人臉賦予同樣的類別標(biāo)簽，從而形成多角度人臉訓(xùn)練集；
步驟8、提取多角度人臉訓(xùn)練集中每幅人臉圖像的SIFT特征，在本實(shí)施例中，設(shè)定每幅圖像提取100個特征點(diǎn)，每個特征點(diǎn)向量依次連接，從而將每幅人臉圖像轉(zhuǎn)換為多角度特征向量，每個多角度特征向量的維度是100*128；
步驟9、利用支持向量機(jī)SVM對整個多角度人臉訓(xùn)練集中的多角度特征向量進(jìn)行訓(xùn)練，獲取多角度人臉檢測模型。對于n分類問題，svm有兩種多類劃分的方法，一種是“一對一”方式，這種方法把其中的任意兩類構(gòu)造一個分類器，共有n(n-1)/2個分類器；另一種是“一對多”方式，這種方法把其中某一類的n個訓(xùn)練樣本視為一類，所有其他類別視為另一類，因此共有n個分類器。本實(shí)施例中，使用的是“一對一”方法，因此n＝34個類別的樣本，共需要訓(xùn)練561個二類分類器，在對測試樣本進(jìn)行分類時，每個分類器都對其類別進(jìn)行判斷，并采取投票形式，最后得票最多的類別即為該測試樣本的類別。訓(xùn)練結(jié)束后得到的多角度人臉檢測模型，可以用于檢測關(guān)鍵幀集合中人臉的角度，從而也可以判斷圖像中是否存在人臉。
步驟10、利用多角度人臉檢測模型對關(guān)鍵幀集合進(jìn)行檢測，得到每個關(guān)鍵幀的人臉角度值。首先提取關(guān)鍵幀集合中每幅圖片的SIFT特征，將每張測試集圖片轉(zhuǎn)換為一個100*128維的特征向量，再依次經(jīng)過訓(xùn)練得到的561個二類分類器，若由分類函數(shù)得到測試用例x屬于i類，則i類投票加1；屬于j類，j類加1。累計(jì)各類的得分選擇得分最高者所對應(yīng)類別作為測試圖片x的類別。類別為10，則表示測試圖片x的人臉角度值為10°，同理，即得到關(guān)鍵幀集合的人臉角度值。
步驟11、由人臉角度值判斷每個關(guān)鍵幀是否含有人臉；若含有人臉，則保留相應(yīng)關(guān)鍵幀，否則舍棄相應(yīng)關(guān)鍵幀。若svm輸出人臉角度類別結(jié)果為[0,8]∪[28,35],則表示有人臉，輸出結(jié)果為[10,34]則表示無人臉。對保留的有人臉關(guān)鍵幀，去除圖像的周邊信息，使用opencv中的Haar分類器檢測人臉，裁剪圖像只保留其中的人臉部分，大小統(tǒng)一為64*64像素。從而將關(guān)鍵幀集合轉(zhuǎn)換為帶有角度值標(biāo)簽的人臉圖像序列；
步驟12、使用多角度人臉數(shù)據(jù)庫中的有人人臉圖像序列構(gòu)造身份庫，將身份庫作為神經(jīng)網(wǎng)絡(luò)的輸入，并進(jìn)行訓(xùn)練，從而得到用于身份識別的神經(jīng)網(wǎng)絡(luò)模型。身份庫使用多角度人臉數(shù)據(jù)庫中每個身份的17張有人人臉圖像序列，剔除其中的17張無人人臉圖像序列，共構(gòu)造含有n個身份的身份庫。每個圖像序列作為一個訓(xùn)練樣本，代表一個身份類別，按照從0到n賦予身份標(biāo)簽。將身份庫中的樣本按照8:2的比例劃分訓(xùn)練集和驗(yàn)證集，使用基于theano的keras庫訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，包含三層卷積層，兩層池化層，兩層全連接層和一層softmax層。將每張人臉圖像各點(diǎn)的像素值作為輸入數(shù)據(jù)，每張圖像是64*64維的向量，將每個身份的有人人臉圖像序列按照(0，…，8，28，…，35)的人臉角度順序依次排列，即每個訓(xùn)練樣本轉(zhuǎn)換為一個17*64*64的特征矩陣，作為卷積神經(jīng)網(wǎng)絡(luò)的輸入。訓(xùn)練過程包括前向訓(xùn)練和后向訓(xùn)練。前向訓(xùn)練過程為自下而上的非監(jiān)督學(xué)習(xí)，即從底層開始，一層一層的往頂層訓(xùn)練，訓(xùn)練過程中，訓(xùn)練學(xué)習(xí)得到第n-1層參數(shù)后，將n-1層的輸出作為第n層的輸入，訓(xùn)練第n層，由此分別得到各層的參數(shù)；后向訓(xùn)練過程為自上而下的監(jiān)督學(xué)習(xí)，即訓(xùn)練誤差自頂向下傳輸，對參數(shù)進(jìn)行微調(diào)。訓(xùn)練完成后，得到一個model.pkl模型文件。
步驟13、將帶有角度值標(biāo)簽的人臉圖像序列作為測試樣本，同樣按照(0，…，8，28，…，35)的人臉角度順序依次排列，如果某一人臉角度值不存在對應(yīng)的圖像，那么將該圖像用維度為64*64的零矩陣表示，將測試樣本轉(zhuǎn)換為一個用像素值大小表示的特征矩陣。將測試樣本輸入用于身份識別的神經(jīng)網(wǎng)絡(luò)模型中，提取卷積神經(jīng)網(wǎng)絡(luò)倒數(shù)第一層全連接層的輸出，作為測試樣本學(xué)習(xí)到的高級特征。該輸出結(jié)果是一個k維的特征向量，其中k的大小是由全連接層的結(jié)點(diǎn)個數(shù)決定的，此特征向量融合了人臉多個角度的圖像特征，可以用來唯一的表征一個身份。從而將復(fù)雜的測試樣本轉(zhuǎn)換為一個待識別的k維身份特征向量。
步驟14、將身份庫庫中n個不同身份的人臉圖像序列分別輸入用于身份識別的神經(jīng)網(wǎng)絡(luò)模型中，每個人臉圖像序列按照(0，…，8，28，…，35)的人臉角度順序依次排列作為一個樣本，轉(zhuǎn)換為特征矩陣，同樣提取卷積神經(jīng)網(wǎng)絡(luò)倒數(shù)第一層全連接層的輸出作為結(jié)果，從而學(xué)習(xí)得到n個用于匹配的k維身份特征向量；
步驟15、為了將待識別的身份特征向量與身份庫中的身份進(jìn)行匹配，將待識別的k維身份特征向量分別與n個用于匹配的k維身份特征向量進(jìn)行余弦距離相似度比較，即可以用兩向量夾角的余弦值作為衡量相似度大小的度量。例如，待識別的m維身份特征向量表示為某個用于匹配的m維身份特征向量表示為兩向量夾角的余弦值為：得到的值越大，代表兩向量越相似。因此，可以找到最大余弦值所對應(yīng)的用于匹配的多維身份特征向量作為相應(yīng)待識別的多維身份特征向量的身份匹配結(jié)果。以該身份匹配結(jié)果所對應(yīng)的身份標(biāo)簽作為相應(yīng)待識別的多維身份特征向量的身份識別結(jié)果。如果待識別的身份特征向量沒有在身份庫中找到匹配成功的身份，則將該人臉圖像序列作為新用戶，把樣本圖像信息錄入到身份庫中，完善身份庫的同時，提高系統(tǒng)身份匹配的效率。