本發(fā)明涉及人臉追蹤
技術(shù)領(lǐng)域：
，具體涉及一種圖像追蹤分類器的構(gòu)建方法及應(yīng)用其的人臉追蹤方法。
背景技術(shù)：
：現(xiàn)如今的追蹤算法主要有基于傳統(tǒng)特征的機(jī)器學(xué)習(xí)、濾波器學(xué)習(xí)等算法，但是由于提取的是hog等傳統(tǒng)特征，魯棒性較差，對(duì)于光照模糊、尺寸變化等復(fù)雜場(chǎng)景追蹤效果不佳。現(xiàn)有的人臉追蹤方法存在如下技術(shù)缺陷：1)目前對(duì)于人臉，深度學(xué)習(xí)用于追蹤時(shí)，在線微調(diào)，計(jì)算量大，難以達(dá)到實(shí)時(shí)性的問題；2)針對(duì)光照變化、快速移動(dòng)情況，傳統(tǒng)算法效果不好的問題。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的目的提供一種加強(qiáng)因光照及尺寸變化等復(fù)雜場(chǎng)景下導(dǎo)致的人臉追蹤方法的魯棒性，加快人臉追蹤技術(shù)的計(jì)算速度，并提高人臉追蹤模型的效率。為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種圖像追蹤分類器的構(gòu)建方法，包括如下步驟：獲取用于訓(xùn)練的第一樣本集；構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型；對(duì)第一樣本集中每張圖片進(jìn)行目標(biāo)框標(biāo)記后，進(jìn)行預(yù)處理得到第一目標(biāo)區(qū)域圖像和第二目標(biāo)區(qū)域圖像，第一目標(biāo)區(qū)域圖像根據(jù)目標(biāo)框進(jìn)行圖像擴(kuò)展得到，第二目標(biāo)區(qū)域圖像通過由第一目標(biāo)區(qū)域圖像和對(duì)應(yīng)目標(biāo)框標(biāo)注圖像變換得到；利用所有的第一圖像區(qū)域和第二圖像區(qū)域?qū)矸e神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到目標(biāo)回歸模型。進(jìn)一步，所述對(duì)第一樣本集中每張圖片進(jìn)行目標(biāo)框標(biāo)記后，進(jìn)行預(yù)處理得到第一目標(biāo)區(qū)域圖像和第二目標(biāo)區(qū)域圖像包括利用樣本集中目標(biāo)框的標(biāo)注，得到目標(biāo)區(qū)域圖像；獲取目標(biāo)區(qū)域圖像的中心坐標(biāo)，根據(jù)中心坐標(biāo)將目標(biāo)區(qū)域?qū)ο筮M(jìn)行擴(kuò)展處理，得到第一目標(biāo)區(qū)域圖像；對(duì)第一目標(biāo)區(qū)域圖像進(jìn)行放縮、平移變換，得到第二目標(biāo)區(qū)域圖像。進(jìn)一步，第一樣本集包括圖片集和視頻集；其中，所述利用所有的第一圖像區(qū)域和第二圖像區(qū)域?qū)矸e神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到得到目標(biāo)回歸模型還包括判斷第一樣本集是否為視頻集；如果第一樣本集為視頻集，則獲取并利用當(dāng)前幀圖片的第一圖像區(qū)域和下一幀圖片的第二圖像區(qū)域?qū)矸e神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；如果第一樣本集非視頻集，則獲取并利用當(dāng)前圖片的第一圖像區(qū)域及其第二圖像區(qū)域?qū)矸e神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。進(jìn)一步，所述圖像分類模型包括依次連接的5個(gè)卷積層和2個(gè)全連接層；還包括接收第二樣本集；對(duì)第二樣本集中每張圖片進(jìn)行目標(biāo)框標(biāo)記后預(yù)處理，得到第三目標(biāo)區(qū)域圖像和第四目標(biāo)區(qū)域圖像；固定圖像分類模型中卷積層參數(shù)，利用所有的第三目標(biāo)區(qū)域圖像和第四對(duì)目標(biāo)回歸模型進(jìn)行再次訓(xùn)練，重新調(diào)節(jié)全連接層的參數(shù)，得到圖像追蹤分類器。進(jìn)一步，第三目標(biāo)區(qū)域圖像根據(jù)第二樣本集中每張圖片的目標(biāo)框進(jìn)行圖像擴(kuò)展得到，第四目標(biāo)區(qū)域圖像通過由第三目標(biāo)區(qū)域圖像和對(duì)應(yīng)目標(biāo)框標(biāo)注圖像變換得到。進(jìn)一步，所述第二樣本集為視頻集。本發(fā)明還提供了一種應(yīng)用圖像追蹤分類器的人臉追蹤方法，包括如下步驟：接收人臉追蹤視頻集；將人臉追蹤視頻集輸入利用所述圖像追蹤分類器，在人臉追蹤視頻集中每張人臉圖片上進(jìn)行追蹤預(yù)測(cè)。在上述技術(shù)方案中，本發(fā)明利用基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)提取的特征，有效解決了魯棒性和精確度平衡的問題，同時(shí)基于caffe架構(gòu)中構(gòu)建的cnn網(wǎng)絡(luò)模型對(duì)快速移動(dòng)、光照模糊變化有更強(qiáng)的魯棒性，運(yùn)算量小，提高了追蹤的速度。附圖說明為了更清楚地說明本申請(qǐng)實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明中記載的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，還可以根據(jù)這些附圖獲得其他的附圖。圖1為本發(fā)明所述的圖像追蹤分類器的構(gòu)建方法一個(gè)實(shí)施例的流程示意圖；圖2為本發(fā)明所述的圖像追蹤分類器的構(gòu)建方法對(duì)第一樣本集預(yù)處理的流程示意圖；圖3為本發(fā)明所述的圖像追蹤分類器的構(gòu)建方法中卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練流程示意圖；圖4為本發(fā)明所述的圖像追蹤分類器的構(gòu)建方法中卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練工作原理流程示意圖；圖5為本發(fā)明所述的圖像追蹤分類器的構(gòu)建方法另一個(gè)實(shí)施例的流程示意圖；圖6為本發(fā)明所述的圖像追蹤分類器的構(gòu)建方法另一個(gè)實(shí)施例中卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練流程框圖示意圖；圖7為本發(fā)明所述的圖像追蹤分類器的構(gòu)建方法另一個(gè)實(shí)施例中iou的說明示意圖；圖8為應(yīng)用本發(fā)明所述的圖像追蹤分類器的構(gòu)建方法的人臉追蹤方法流程框圖示意圖；圖9為應(yīng)用本發(fā)明所述的圖像追蹤分類器的構(gòu)建方法對(duì)一組視頻的追蹤效果示意圖。具體實(shí)施方式為了使本領(lǐng)域的技術(shù)人員更好地理解本發(fā)明的技術(shù)方案，下面將結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步的詳細(xì)介紹。本發(fā)明中魯棒性指控制系統(tǒng)在一定參數(shù)攝動(dòng)下，維持穩(wěn)定、健壯的特性。本發(fā)明利用深度學(xué)習(xí)模塊caffe模型構(gòu)建神經(jīng)網(wǎng)絡(luò)。這是因?yàn)閏affe是一個(gè)清晰而高效的深度學(xué)習(xí)框架，具有如下特點(diǎn)：(1)上手快，模型與相應(yīng)優(yōu)化都是以文本形式而非代碼形式給出，caffe給出了模型的定義、最優(yōu)化設(shè)置以及預(yù)訓(xùn)練的權(quán)重，方便立即上手；(2)速度快，能夠運(yùn)行最棒的模型與海量的數(shù)據(jù)。，caffe與cudnn結(jié)合使用，測(cè)試alexnet模型，在k40上處理每張圖片只需要1.17ms；(3)模塊化，方便擴(kuò)展到新的任務(wù)和設(shè)置上，可以使用caffe提供的各層類型來定義自己的模型；(4)開放性，公開的代碼和參考模型用于再現(xiàn)；(5)社區(qū)好，可以通過bsd-2參與開發(fā)與討論。為此本發(fā)明利用caffe構(gòu)建并訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。由于基于傳統(tǒng)特征的機(jī)器學(xué)習(xí)、濾波器學(xué)習(xí)等算法是提取hog等傳統(tǒng)特征，魯棒性較差，對(duì)于光照模糊、尺寸變化等復(fù)雜場(chǎng)景追蹤效果不佳，為此本發(fā)明提出了利用深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型解決，為此本發(fā)明提供了一種圖像追蹤分類器的構(gòu)建方法。如圖1所示，所述方法包括如下步驟：s101、獲取用于訓(xùn)練的第一樣本集；s102、構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型；s103、對(duì)第一樣本集中每張圖片進(jìn)行目標(biāo)框標(biāo)記后，進(jìn)行預(yù)處理得到第一目標(biāo)區(qū)域圖像和第二目標(biāo)區(qū)域圖像，第一目標(biāo)區(qū)域圖像根據(jù)目標(biāo)框進(jìn)行圖像擴(kuò)展得到，第二目標(biāo)區(qū)域圖像通過由第一目標(biāo)區(qū)域圖像和對(duì)應(yīng)目標(biāo)框標(biāo)注圖像變換得到；s104、利用所有的第一圖像區(qū)域和第二圖像區(qū)域?qū)矸e神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到目標(biāo)回歸模型。進(jìn)一步，所述訓(xùn)練得到圖像分類模型的卷積神經(jīng)網(wǎng)絡(luò)是基于caffe架構(gòu)下的，包括依次連接的5個(gè)卷積層和2個(gè)全連接層；本發(fā)明提出的訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型(即cnn模型)的方法，利用l1loss做回歸訓(xùn)練，利用卷積神經(jīng)網(wǎng)絡(luò)模型自學(xué)習(xí)的方法，解決傳統(tǒng)方法追蹤的魯棒性較低和現(xiàn)有深度學(xué)習(xí)追蹤的實(shí)時(shí)性較差問題。具體地s103中，如圖2所示，所述利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)第一樣本集中每張圖片進(jìn)行預(yù)處理包括s1031、利用樣本集中目標(biāo)框的標(biāo)注，得到目標(biāo)區(qū)域圖像；s1032、獲取目標(biāo)區(qū)域圖像的中心坐標(biāo)，根據(jù)中心坐標(biāo)將目標(biāo)區(qū)域?qū)ο筮M(jìn)行擴(kuò)展處理，得到第一目標(biāo)區(qū)域圖像；s1033、對(duì)第一目標(biāo)區(qū)域圖像進(jìn)行放縮、平移變換，得到第二目標(biāo)區(qū)域圖像。具體實(shí)施時(shí)，第一樣本集包括圖片集和視頻集。本法實(shí)施例中將樣本集設(shè)為圖片集(det圖片集)和視頻集(alov視頻集)，具體地，det圖片集和alov視頻集可通過網(wǎng)絡(luò)進(jìn)行下載，還可通過在線平臺(tái)收集海量用戶上傳的各種圖片或視頻。本實(shí)施例中，det數(shù)據(jù)集有478,807張用boundingbox標(biāo)注目標(biāo)區(qū)域圖像的物體圖片，alov是含有314個(gè)物體的視頻數(shù)據(jù)集。本實(shí)施例中圖片集和視頻集均為包括人臉的圖片，具體用boundingbox進(jìn)行操作，用標(biāo)記好的圖片集和視頻集中所有圖片的人臉框，基于人臉框中心坐標(biāo)擴(kuò)展扣圖得到第一圖像區(qū)域，根據(jù)人臉框所屬的圖片將人臉框進(jìn)行平移、縮放，即用boundingbox進(jìn)行左右平移、大小伸縮，得到第二圖像區(qū)域。具體地，標(biāo)記的人臉框圖片(目標(biāo)區(qū)域圖像)及其擴(kuò)展圖片(第一圖像區(qū)域和第二圖像區(qū)域)按照所屬的場(chǎng)景分別存儲(chǔ)；本發(fā)明中將訓(xùn)練樣本進(jìn)行數(shù)據(jù)擴(kuò)張，如alov視頻集，為評(píng)估追蹤算法的魯棒性amsterdamlibrary提出的一個(gè)公開數(shù)據(jù)集。數(shù)據(jù)集覆蓋多種場(chǎng)景：光照變化、平移變換、模糊變化、快速運(yùn)動(dòng)、低對(duì)比度等等。本實(shí)施例alov視頻集一共有314個(gè)視頻序列，為了追求視頻的多樣性，每個(gè)視頻序列的幀數(shù)較少，但是場(chǎng)景復(fù)雜；一共有89364幀，共14個(gè)場(chǎng)景視頻，每個(gè)場(chǎng)景視頻又拆分成多個(gè)片段，組成314個(gè)視頻。具體可選的存儲(chǔ)在如下14個(gè)目錄中：01-light/02-surfacecover/03-specularity/04-transparency/05-shape/06-motionsmoothness/07-motioncoherence/08-clutter/09-confusion/10-lowcontrast/11-occlusion/12-movingcamera/13-zoomingcamera/14-longduration。如圖3所示為本發(fā)明中訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型的流程示意圖。s104具體包括s1041-s1043。其中，s1041、判斷第一樣本集是否為視頻集；s1042、如果第一樣本集為視頻集，則獲取并利用當(dāng)前幀圖片的第一圖像區(qū)域和下一幀圖片的第二圖像區(qū)域?qū)矸e神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；s1043、如果第一樣本集非視頻集，則獲取并利用當(dāng)前圖片的第一圖像區(qū)域及其第二圖像區(qū)域?qū)矸e神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。如用于訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型的第一樣本集為視頻集，在第t-1幀中，假設(shè)目標(biāo)所在位置為(cx,cy)，目標(biāo)區(qū)域圖像大小為(w,h)，則在t-1幀中提取一塊大小為(2w,2h)的圖像塊輸入到cnn中；同時(shí)，在第t幀(不同于t-1幀的圖)中也以上一幀圖的中心坐標(biāo)，寬高，變換后提取圖像塊，將兩幀圖片中提取的兩個(gè)圖像塊一起輸入cnn。而如果用于訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型的第一樣本集為圖片集，那么在選定的圖片中提取的目標(biāo)區(qū)域圖像大小為(w,h)，則在該圖片中對(duì)目標(biāo)區(qū)域圖像大小為(w,h)擴(kuò)大兩倍后得到第一目標(biāo)區(qū)域圖像，并還在該圖片將以原圖中心坐標(biāo)，寬高，變換后提取圖像塊，即第二目標(biāo)區(qū)域圖像，即在當(dāng)前圖片上提取的第一目標(biāo)圖像和第二目標(biāo)區(qū)域圖像兩個(gè)圖像塊一起輸入cnn中。如圖4所示為利用第一樣本集對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練工作流程示意圖。所述卷積神經(jīng)網(wǎng)絡(luò)模型如圖6所示依次有5層卷積層，兩個(gè)全連接層。其中，image代表視頻上一幀的目標(biāo)圖像區(qū)域(即第一目標(biāo)圖像區(qū)域)，target代表視頻下一幀(即當(dāng)前幀)中的目標(biāo)圖像區(qū)域(即第二目標(biāo)圖像區(qū)域)，bbox是下一幀(當(dāng)前幀)目標(biāo)(即目標(biāo)區(qū)域圖像)的boundingbox標(biāo)注(具體采用矩形框進(jìn)行表示)。target和image分別經(jīng)過5層卷積層后，特征融合(concat)，在將該特征通過全連接層fc6_，fc8_進(jìn)行回歸得到目標(biāo)的框的位置?；貧w得到目標(biāo)的框的位置與bbox標(biāo)注框(即目標(biāo)圖像區(qū)域)的四個(gè)點(diǎn)坐標(biāo)，經(jīng)過subtract層相減，經(jīng)過abssum層取絕對(duì)值相加，得到最后的l1-loss。具體為，將最后預(yù)測(cè)的結(jié)果(即回歸得到的目標(biāo)框的位置)為(x1,y1,x2,y2)，其中，(x1,y1)表示目標(biāo)框左上角坐標(biāo)，(x2,y2)表示目標(biāo)框右下角坐標(biāo)，將回歸得到的目標(biāo)框與人臉框標(biāo)注boudingbox坐標(biāo)相減作差值，利用損失函數(shù)進(jìn)行訓(xùn)練，損失函數(shù)為l1絕對(duì)值損失函數(shù)。l(y,f(x))＝|y-f(x)|(1)；其中，l1計(jì)算方式如下：l1＝|x21-x11|+|x22-x12|+|y21-y11|+|y22-y12|(2)；其中，(x21,y21),(x22,y22)代表網(wǎng)絡(luò)預(yù)測(cè)輸出的圖片幀中第一目標(biāo)檢測(cè)框的左上角坐標(biāo)，右下角坐標(biāo)；(x11,y11)、(x12,y12)分別代表圖片幀標(biāo)注的目標(biāo)區(qū)域的左上角坐標(biāo)、右下角坐標(biāo)。更進(jìn)一步，如圖5所示為本發(fā)明所述構(gòu)建圖像追蹤分類器方法另一個(gè)實(shí)施例的流程示意圖。所述方法還包括s105、接收第二樣本集；s106、對(duì)第二樣本集中每張圖片進(jìn)行目標(biāo)框標(biāo)記后預(yù)處理，得到第三目標(biāo)區(qū)域圖像和第四目標(biāo)區(qū)域圖像；其中，第三目標(biāo)區(qū)域圖像根據(jù)第二樣本集中每張圖片的目標(biāo)框進(jìn)行圖像擴(kuò)展得到，第四目標(biāo)區(qū)域圖像通過由第三目標(biāo)區(qū)域圖像和對(duì)應(yīng)目標(biāo)框標(biāo)注圖像變換得到。s107、固定圖像分類模型中卷積層參數(shù)，利用所有的第三目標(biāo)區(qū)域圖像和第四對(duì)目標(biāo)回歸模型進(jìn)行再次訓(xùn)練，重新調(diào)節(jié)全連接層的參數(shù)，得到圖像追蹤分類器。本實(shí)施例目的在于首先利用第一樣本集對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)訓(xùn)練，然后再利用第二樣本集進(jìn)行二次訓(xùn)練。整個(gè)訓(xùn)練過程如圖6所示，包括預(yù)訓(xùn)練過程和二次訓(xùn)練過程。通過預(yù)訓(xùn)練得到圖像分類模型，確定預(yù)訓(xùn)練后卷積神經(jīng)網(wǎng)絡(luò)模型的各個(gè)參數(shù)，即5個(gè)卷積層和2個(gè)全連接層的參數(shù)，最后利用第二樣本集對(duì)預(yù)訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行二次訓(xùn)練，具體地第二樣本集采用300vw人臉視頻數(shù)據(jù)集，該過程為了防止過擬合，保持卷積層參數(shù)不變，二次訓(xùn)練過程僅僅調(diào)整全連接層的參數(shù)。具體地，300vw圖片幀(全包括人的視頻幀)的處理方式與第一樣本集一樣，但300vw是人臉視頻數(shù)據(jù)集，具有人臉特征，適合用來微調(diào)全連接層fc6_,fc8_。具體地，用300vw人臉視頻數(shù)據(jù)集的測(cè)試集作測(cè)試集，每次輸入網(wǎng)絡(luò)是視頻的前后兩幀，target和image也是前后兩幀的圖像目標(biāo)區(qū)域，用f1-score做衡量標(biāo)準(zhǔn)。f1-score的定義如下式(3)：f1-score＝2*precision*recall/(precision+recall)(3)，其中，recision是準(zhǔn)確率，recall是召回率。準(zhǔn)確率(precision)＝預(yù)測(cè)為真實(shí)正例除以所有被預(yù)測(cè)為正例樣本的個(gè)數(shù)；召回率(recall)＝預(yù)測(cè)為真實(shí)正例除以所有真實(shí)正例樣本的個(gè)數(shù)。實(shí)驗(yàn)中iou閾值設(shè)置為thresh，iou>thresh設(shè)為預(yù)測(cè)正確，iou<thresh預(yù)測(cè)錯(cuò)誤。iou是預(yù)測(cè)的boundingbox與標(biāo)注的框的重疊比例。如圖7所示，假設(shè)a是預(yù)測(cè)的boundingbox，b是標(biāo)注的框。iou計(jì)算公式如式(4)：iou＝(a∩b)/(a∪b)(4)。本實(shí)施例中用300vw測(cè)試集測(cè)試，如表1用300vw測(cè)試集測(cè)試階段不同iou閾值的平均f-score得分。表1thresh:0.500000mean:0.851014thresh:0.700000mean:0.806154thresh:0.900000mean:0.614568根據(jù)表1說明訓(xùn)練的追蹤模型在保證實(shí)時(shí)性的情況下，精度也比較合理。由于預(yù)訓(xùn)練和微調(diào)階段都是線下進(jìn)行，測(cè)試時(shí)網(wǎng)絡(luò)參數(shù)都是固定的，因此可以達(dá)到實(shí)時(shí)性效果。如圖8所示為應(yīng)用所述的圖像追蹤分類器的人臉追蹤方法，包括如下步驟：s201、接收人臉追蹤視頻集；s202、將人臉追蹤視頻集輸入利用圖像追蹤分類器，在人臉追蹤視頻集中每張人臉圖片上進(jìn)行追蹤預(yù)測(cè)。本發(fā)明所述的人臉追蹤分類器能夠解決光照變化對(duì)人臉追蹤的影響，將人臉追蹤視頻集(具體采用vot2014視頻)輸入圖像追蹤分類器，輸出的人臉視頻的結(jié)果如圖9所示。其中紅色是預(yù)測(cè)(即追蹤)輸出的框，白色是標(biāo)注的目標(biāo)框。圖9為vot2014視頻按照從左至右，從上之下的方向分別輸出的19、79、179、288幀給出的結(jié)果，速度為98fps。以上只通過說明的方式描述了本發(fā)明的某些示范性實(shí)施例，毋庸置疑，對(duì)于本領(lǐng)域的普通技術(shù)人員，在不偏離本發(fā)明的精神和范圍的情況下，可以用各種不同的方式對(duì)所描述的實(shí)施例進(jìn)行修正。因此，上述附圖和描述在本質(zhì)上是說明性的，不應(yīng)理解為對(duì)本發(fā)明權(quán)利要求保護(hù)范圍的限制。當(dāng)前第1頁12