本發(fā)明涉及生物特征識別、計算機視覺和深度學習等
技術領域：
，具體涉及一種基于聚集損失深度度量學習的人臉識別方法。
背景技術：
：目前隨著互聯網技術的快速發(fā)展，信息安全受到嚴重威脅，但另一方面也使得信息安全問題受到日益重視。身份識別是信息安全中一個重要體現，在實際應用中具有重要地位。與傳統(tǒng)的身份識別技術相比，生物特征識別技術具有唯一性、持久性、安全性、普遍性和實用性等特點。人臉識別以其直觀性、非接觸性、易用性等諸多優(yōu)點，獲得了非常廣泛的應用。人臉識別是計算機視覺和模式識別領域最富挑戰(zhàn)性的課題之一，目前，人臉識別被廣泛應用于商業(yè)領域和安防領域。但在一些萬級以上非配合用戶的監(jiān)控場景下，現有的人臉識別算法的識別效果并不是很理想。原因是監(jiān)控環(huán)境下的人臉是從動態(tài)視頻中定位并抓拍的，得到的人臉通常具有分辨率低、模糊、噪聲大、特征不明顯等特點，同時帶有較大的姿態(tài)變化、光照變化等問題，大大增大了識別的難度，因此，人臉識別在監(jiān)控場景下仍具有較大的提升空間。近年來，隨著深度學習的火熱，深度度量學習在各種計算機視覺任務中取得了很好的效果。雖然深度度量學習在不同任務中的表現形式不同，但其根本目標都是希望學習一個特征空間，使得同類/相似的樣本在空間中的距離盡可能近，異類/不相似的樣本在空間中的距離盡可能遠。目前，經典的深度度量學習函數主要有對比損失函數(contrastiveloss)和三元組損失函數(tripletloss)。然而，這兩種損失函數均需要復雜的難例挖掘策略，網絡才能較好地收斂，這大大提高了算法的計算復雜度。此外，三元組損失對于錨點的選取非常敏感，若選取了不合適的錨點，網絡將往錯誤的方向優(yōu)化，這導致網絡收斂緩慢。對于對比損失，如果選取的負樣本對之間的連線指向第三個類的聚類時，也將使得異類樣本之間的距離變小。為此，研究一種能夠克服上述各種缺點的人臉識別方法具有重要的實用價值和研究意義。技術實現要素：本發(fā)明的目的在于克服現有技術的缺點與不足，提供一種基于聚集損失深度度量學習的人臉識別方法，該方法利用聚類中心的思想，使得同類樣本向類中心聚集，不同類的類中心保持較遠距離，同時引入關鍵點池化技術，可充分利用人臉結構信息，有效降低計算復雜度，且在訓練樣本較少的情況下依然有較高的識別準確率。本發(fā)明的目的通過以下的技術方案實現：基于聚集損失深度度量學習的人臉識別方法，包括如下步驟：步驟s1，對訓練圖像進行預處理，得到規(guī)格一致的人臉圖像作為網絡輸入；步驟s2，用預處理過的人臉圖像對深度卷積神經網絡進行預訓練，采用softmax損失作為網絡的損失函數，在網絡結構方面引入關鍵點池化(landmarkpooling)技術，利用人臉結構信息輔助人臉識別，得到預訓練的基于關鍵點池化的深度卷積神經網絡模型；步驟s3，將所有訓練圖像輸入所述預訓練的基于關鍵點池化的深度卷積神經網絡模型，計算每個類的初始類中心；步驟s4，利用深度度量學習函數——聚集損失(concentrateloss)對上述預訓練的基于關鍵點池化的深度卷積神經網絡進行精調，使得每類樣本向類中心聚集，同時增大不同類中心之間的間距，初始類中心由步驟s3所述方法得到；經過反復迭代更新網絡參數和類中心，直至網絡收斂，人臉識別準確率達到最高，得到最終的深度卷積神經網絡模型；步驟s5，對待識別人臉圖像進行預處理，預處理后的圖像輸入最終的深度卷積神經網絡模型以提取高層人臉特征表達，通過比較不同人臉間的相似度得分，實現人臉識別。優(yōu)選的，所述步驟s1中，對訓練圖像進行預處理的步驟如下：運用級聯cnn檢測器(參考:zhangk,zhangz,liz,etal.jointfacedetectionandalignmentusingmultitaskcascadedconvolutionalnetworks[j].ieeesignalprocessingletters,2016,23(10):1499-1503.)，對訓練圖像進行人臉檢測和關鍵點定位，并根據關鍵點位置進行旋轉、縮放、裁剪等操作，得到對齊后的大小統(tǒng)一的人臉圖像塊，作為網絡的輸入。具體的，步驟s2中，所述softmax損失用下式來表達：其中，m為批尺寸(batchsize)的大小，為第i個樣本的深度特征，為最后一個全連接層的權重，為偏置項，d為特征向量的長度，n為訓練集的總類別數，yi為樣本xi所屬的類別，t為矩陣轉置符號。具體的，步驟s2中，所述關鍵點池化技術的實現方法如下：根據關鍵點的位置，直接在深度卷積神經網絡的輸出特征圖上完成關鍵點池化操作，池化(pooling)出關鍵點附近區(qū)域的局部特征，從而利用人臉結構信息，輔助人臉識別。具體的，步驟s3中，計算初始類中心的步驟是：將所有訓練圖像輸入所述預訓練的基于關鍵點池化的深度卷積神經網絡模型，提取對應的人臉特征表達，計算每一類所有樣本特征的算數平均值，將該平均值作為該類的初始類中心。聚集損失首先對每個類學習一個類中心，使得每類樣本向類中心聚集，減少類內距離，同時增大不同類中心之間的間距，增大類間距離，從而學習到魯棒的有判別性的人臉特征表達。具體的，步驟s4中，利用聚集損失這一深度度量學習函數對預訓練的模型進行精調的步驟是：(4-1)將預處理后的圖像輸入預訓練的模型，使用聚集損失作為損失函數，進行參數精調；初始類中心由步驟s3所述方法得到；(4-2)聚集損失用下式表達：其中，為類內損失，f(xi)為第i個樣本的深度特征，為第yi類的類中心；為類間損失，表示批(batch)中第j短的類中心距離，d為歐式距離，λ為異類類中心之間希望滿足的間隔(margin)；α，β為平衡類內損失和類間損失的參數；(4-3)根據公式(5)、(6)、(7)、(8)更新網絡參數以及類中心：在公式(6)中，1(yi＝j)為指示函數，當yi＝j時，取值1，否則取值0，整個公式表示在整個批中，類別為j的樣本數為0。更進一步的，所述步驟s4中，采用googlenet(參考：szegedyc,liuw,jiay,etal.goingdeeperwithconvolutions[c]//proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition.2015:1-9.)作為基本網絡模型，并整合了關鍵點池化層，網絡的訓練采取隨機梯度下降法。本發(fā)明與現有技術相比，具有如下優(yōu)點和有益效果：1、本發(fā)明提出基于深度度量學習函數——聚集損失進行人臉識別，該方法利用聚類中心的思想，使得同類樣本向類中心聚集，不同類的類中心保持較遠距離，避免了復雜的難例挖掘，能夠學習到魯棒的有判別性的人臉特征表達。2、本發(fā)明是首次將關鍵點池化技術運用到人臉識別中，可以直接在特征圖上池化出關鍵點區(qū)域附近的局部特征，充分利用人臉的結構信息輔助人臉識別。，同時避免了針對局部圖像塊訓練多個網絡模型，大大降低了計算復雜度。3、本發(fā)明提出的基于聚集損失深度度量學習的人臉識別方法，在訓練樣本較少的情況下依然有較高的識別準確率，可應用于人臉識別、人臉比對系統(tǒng)。附圖說明圖1為本發(fā)明方法的操作流程圖。圖2為本實施例圖像預處理的結果示例圖，其中(a)為檢測到人臉圖像的原圖，(b)為標記關鍵點的人臉圖像。圖3為聚集損失的優(yōu)化方向示例圖。圖4為關鍵點池化層(landmarkpoolinglayer)的示例圖。圖5為本發(fā)明網絡結構的示例圖。圖6為blufr協(xié)議的roc曲線，其中(a)為各種方法在驗證準確率上的roc曲線，(b)為各種方法在檢測識別率上的roc曲線。具體實施方式為使本發(fā)明的目的、技術方案和優(yōu)點更加清晰，下面結合具體實施例，并參照詳細附圖，對本發(fā)明作進一步詳細的描述，但所描述的實施例僅旨在便于對本發(fā)明的理解，而對其不起任何限定作用。實施例1如圖1所示，本實施例基于聚集損失深度度量學習的人臉識別方法，包括下述步驟：步驟s1，圖像預處理：運用級聯cnn檢測器對訓練圖像進行人臉檢測和關鍵點定位，并根據關鍵點位置進行旋轉、縮放、裁剪等操作，得到對齊后的224*224大小的人臉圖像塊，作為網絡的輸入。本發(fā)明中，對訓練圖像和待識別圖像采用相同的預處理方式，圖2(a)、(b)為圖像預處理的結果圖。運用人臉檢測器檢測人臉，并得到5個關鍵點：左眼中心、右眼中心、鼻子中心，左嘴角和右嘴角，根據關鍵點位置進行相似變換，再進行縮放、裁剪等操作，得到224*224大小的人臉圖像塊，作為網絡的輸入。步驟s2，預訓練分類網絡：用預處理好的人臉圖像對深度卷積神經網絡預訓練，采用softmax損失作為網絡的損失函數，在網絡結構方面引入關鍵點池化技術，利用人臉結構信息輔助人臉識別，得到預訓練的基于關鍵點池化的深度卷積神經網絡模型；其中，所述softmax損失用下式來表達：其中，m為batchsize的大小，為第i個樣本的深度特征，為最后一個全連接層的權重，為偏置項。圖4為關鍵點池化層的示例圖。根據關鍵點的位置，直接在深度卷積神經網絡的輸出特征圖上完成關鍵點池化操作，本實施例具體采用roipooling方法實現，池化出關鍵點附近區(qū)域的局部特征，從而利用人臉結構信息，輔助人臉識別。需要說明的是，本實施例中，一共選取了3個roi區(qū)域，分別對應兩個眼睛以及鼻子和嘴巴區(qū)域(如圖4所示)。步驟s3，計算初始類中心：將所有訓練圖像輸入所述預訓練深度卷積神經網絡模型，提取對應的人臉特征表達，計算每一類所有樣本特征的算數平均值，將該平均值作為該類的初始類中心。值得說明的是，本發(fā)明通過預訓練模型來計算初始類中心，而不是通過隨機初始化得到，該方法得到的初始類中心相對準確，可避免隨機初始化導致的網絡訓練不穩(wěn)定問題，提高網絡收斂速度。步驟s4，利用深度度量學習函數——聚集損失精調網絡。聚集損失用下式表達：其中，為類內損失，f(xi)為第i個樣本的深度特征，為第yi類的類中心；為類間損失，表示batch中第j短的類中心距離，d為歐式距離，λ為margin；α，β為平衡類內損失和類間損失的參數；根據公式(5)、(6)、(7)、(8)更新網絡參數以及類中心：這樣的損失函數可以對類內和類間距離加以約束，減少每類樣本到其類中心的距離，同時增大不同類的類中心之間的距離，從而學習到類內內聚，類間可分的魯棒特征。圖3為聚焦損失的優(yōu)化方向示意圖。需要說明的是，本發(fā)明采用googlenet作為基本網絡模型，并整合了關鍵點池化層，模型的結構如圖5所示。網絡的訓練采取隨機梯度下降法，多次迭代直至模型收斂，網絡性能達到最優(yōu)，從而獲得最終的深度卷積神經網絡模型。步驟s5，具體到實際應用，先對輸入人臉圖像進行步驟s1相同的預處理，分別輸入到最終的深度卷積神經網絡模型，提取最后一個全連接層的輸出作為人臉特征表達，計算不同人臉之間的相似度得分，相似度計算可直接采用歐式距離，距離越小，則相似度越高，相似度最高的則判為同一個人，從而實現人臉識別。本實施例通過以下實驗驗證本發(fā)明的有效性，本實驗分為兩部分：第一部分，在blufr協(xié)議(參考：liaos,leiz,yid,etal.abenchmarkstudyoflarge-scaleunconstrainedfacerecognition[c]//biometrics(ijcb),2014ieeeinternationaljointconferenceon.ieee,2014:1-8.)上，采用不同的損失函數，相同的網絡結構和訓練數據來訓練模型，以驗證聚集損失(concentrateloss)以及關鍵點池化技術的有效性；第二部分，在labeledfacesinthewild(lfw),youtubefaces(ytf)數據庫上，與目前效果最好的幾種人臉識別方法作比較。關于超參數的選取，在本實驗中，公式(3)中的k取1，λ取0.5。對于公式(4)中α，β的選取，表1列出了不同α，β值對網絡性能的影響。表1不同α，β在lfw上的驗證準確率α，βα＝1，β＝0.1α＝1，β＝1α＝0.1，β＝1acc.onlfw99.20％99.28％99.15％可以看出，α，β對性能的影響不大，當α，β取1時，性能達到最優(yōu)，因此下面的實驗均取α＝β＝1。在blufr上的實驗：lfw數據庫(參考：huanggb,rameshm,bergt,etal.labeledfacesinthewild:adatabaseforstudyingfacerecognitioninunconstrainedenvironments[r].technicalreport07-49,universityofmassachusetts,amherst,2007.)包含5749個人，13233張圖像，是目前最常用的人臉驗證數據集。然而，它僅包含6000個人臉對，難以評估算法在低錯誤接收率下的性能。因此，blufr協(xié)議被提出，用以充分利用lfw中的所有圖像。blufr協(xié)議包括人臉驗證和開集識別兩個實驗，尤其關注低錯誤接收率下的性能。blufr分為10個子實驗，每個子實驗平均包含156915個正樣本對和46960863個負樣本對。本實驗分別采用不同損失函數(softmaxloss、contrastiveloss、tripletloss、centerloss和concentrateloss)來訓練模型，為了公平比較，采用相同的網絡結構和訓練數據集。對于本發(fā)明的方法，采用帶有關鍵點池化層的googlenet，對于其他方法，采用標準googlenet。評測標準采用far＝0.1％時的驗證準確率以及rank＝1,far＝1％時的開集識別率。實驗結果見表2。可以看出，在同樣采用softmax損失的情況下，本發(fā)明基于關鍵點池化層的googlenet要優(yōu)于標準googlenet，驗證準確率提升了4.03％，開集識別率提升了6.54％，這證明了關鍵點池化技術的有效性。此外，加上聚集損失后，進一步提高了性能(92.59％vs95.22％,65.64％vs65.81％)，這證明了聚集損失的有效性。總的來說，本發(fā)明方法不管是在驗證準確率還是開集識別率(即檢測識別率)上，都超出了其他方法。圖6(a)、(b)分別為驗證和開集識別的roc曲線。表2blufr協(xié)議實驗結果在lfw和ytf上的實驗：ytf數據庫(參考：wolfl,hassnert,maozi.facerecognitioninunconstrainedvideoswithmatchedbackgroundsimilarity[c])是一個人臉視頻數據庫，包含3425段視頻，1595個人。本實驗比較了本發(fā)明方法和幾種目前最優(yōu)方法，評測指標采用驗證準確率。實驗結果見表3。表3lfw和ytf的實驗結果其中，ours(softmax)為本發(fā)明方法的基準方法，deepface是taigman等人的文章《deepface:closingthegaptohuman-levelperformanceinfaceverification》，deepid-2+來自yisun等人的文章《deeplearningfacerepresentationbyjointidentificationverification》，baidu來自jinguoliu等人的文章《targetingultimateaccuracy:facerecognitionviadeepembedding》，facenet來自schroff等人的文章《facenet:aunifiedembeddingforfacerecognitionandclustering》，vggface來自parkhi等人的文章《deepfacerecognition》，centerloss來自wen等人的文章《adiscriminativefeaturelearningapproachfordeepfacerecognition》。由表3可看出，相比于基準方法，本發(fā)明方法將lfw準確率提高了0.98％，ytf準確率提高了1.38％，再次證明了聚集損失的有效性。此外，本發(fā)明方法超過了大部分目前最優(yōu)方法，值得說明的是，本發(fā)明方法僅用了小規(guī)模訓練數據(70萬)，就達到了目前最優(yōu)效果。而其他方法則用了比本發(fā)明方法多好幾倍甚至幾十倍的訓練數據。從以上結果可以看出，本發(fā)明提出的基于聚集損失深度度量學習的人臉識別方法能夠學習到魯棒有判別性的人臉特征表達，并有效提高人臉識別精度，可應用于人臉比對、人臉檢索等系統(tǒng)。上述實施例為本發(fā)明較佳的實施方式，但本發(fā)明的實施方式并不受上述實施例的限制，其他的任何未背離本發(fā)明的精神實質與原理下所作的改變、修飾、替代、組合、簡化，均應為等效的置換方式，都包含在本發(fā)明的保護范圍之內。當前第1頁12