本發(fā)明涉及計算機圖像超分辨率領(lǐng)域，尤其涉及一種基于深度學(xué)習(xí)的近紅外人臉圖像超分辨率重建方法。

背景技術(shù)：

人臉圖像超分辨率重建是一種從低分辨率人臉圖像重建出其相應(yīng)的高分辨率人臉圖像的技術(shù)。該技術(shù)在智能視頻監(jiān)控、人臉檢測與識別、面部表情識別、人臉識別測顏齡等領(lǐng)域具有廣泛的應(yīng)用前景。

在實際應(yīng)用環(huán)境中，行人常常與監(jiān)控攝像機的距離較遠，或者攝像頭的光學(xué)分辨率不夠，捕捉到的人臉往往分辨率較低，缺乏很多面部細節(jié)特征信息，從而人臉圖像修復(fù)、放大和辨識受到嚴(yán)重干擾。因此在無需更高的硬件設(shè)備的情況下，很多領(lǐng)域利用人臉超分辨率重建算法提高人臉圖像的分辨率，在安防監(jiān)控、刑偵和取證領(lǐng)域有著廣泛的應(yīng)用。

人臉圖像是由眼睛、鼻子、嘴唇、眉毛和耳朵等五種人體器官組成。baker和kanade首次提出一種專門只針對人臉的超分辨率重建技術(shù)^[1]。人臉超分辨率重建技術(shù)可以細分為基于重建的方法和基于學(xué)習(xí)的方法。基于重建的方法是通過先驗約束縮小求解范圍以獲得人臉超分辨率圖像。而基于學(xué)習(xí)的法是通過訓(xùn)練集的人臉低分辨率圖像和其對應(yīng)的人臉超分辨率圖像中存在的空間關(guān)系來重建出人臉超分辨率圖像。

目前有以下幾種較具代表性的基于學(xué)習(xí)的方法算法：wang等人提出分別構(gòu)建高分辨率與低分辨率的子空間，將求得的低分辨率圖像在子空間的表達系數(shù)投影到高分辨率空間上，從而獲得超分辨率人臉圖像^[2]。liu等人提出先利用局部保持投影和徑向函數(shù)回歸得到全局的人臉圖像，再由基于局部重建的方法補償人臉特征的細節(jié)信息，從而獲得人臉圖像高分辨圖像^[3]。park等人提出了基于局部保持投影的自適應(yīng)流形學(xué)習(xí)方法，從局部子流形分析人臉的內(nèi)在特征后重構(gòu)低分辨率人臉圖像中缺失的高頻成分^[4]。huang等人提出一種基于經(jīng)典相關(guān)分析的方法，求得人臉高分辨率與低分辨率的相關(guān)性，從而獲得全局人臉高分辨率的圖像和面部細節(jié)信息^[5]。ma等人利用位置塊的線性權(quán)重投影算法重構(gòu)出超分辨率的人臉圖像^[6]。中國公開專利“基于非線性壓縮感知的人臉圖像超分辨率重構(gòu)方法”(公開號cn104952053a，公開日為2015.09.30)采用了核主成分分析得到稀疏系數(shù)，并且構(gòu)造非線性壓縮感知超分辨率重構(gòu)模型。中國公開專利“基于局部約束低秩表示的人臉超分辨率重建方法”(公開號cn105469359a，公開日為2016.04.06)采用了局部約束和低秩約束條件下求得最優(yōu)權(quán)重系數(shù)，結(jié)合其系數(shù)重建超分辨率人臉圖像。

雖然相關(guān)研究已經(jīng)得到長足的發(fā)展，但可見光條件下人臉圖像超分辨率技術(shù)容易受到光照變化、光照不均勻等外界光線變化的影響，從而導(dǎo)致人臉超分辨率圖像亮度失真或者重建超分辨率效果并不令人滿意。最近，為了降低外界光線變化的影響，中國公開專利“基于稀疏字典和非上采樣contourlet變換的紅外圖像超分辨率重建方法”(公開號cn104680502a，公開日為2015.06.03)采用了稀疏字典和非下采樣contourlet變換的方法重建紅外圖像超分辨率。雖然紅外圖像對于光照變化具有很好的適應(yīng)性，但是無法捕捉人臉面部細節(jié)信息。

參考文獻如下：

[1]s.bakerandt.kanade,hallucinatingfaces,in:proceedingsoftheieeeinternationalconferenceonautomaticfaceandgesturerecognition(afgr2000),grenoble,france,pp.83-88.

[2]x.wangandx.tang,hallucinatingfacebyeigentransformation,ieeetrans.syst.mancybern.partc-appl.rev.,35(3)(2005)425-434.

[3]c.liu,h.shumandw.t.freeman,facehallucination:theoryandpractice,internationaljournalofcomputervision,75(1)(2007)115-134.

[4]s.parkandm.savvides,breakingthelimitationofmanifoldanalysisforsuper-resolutionoffacialimages,in:proceedingsoftheieeeinternationalconferenceonacoustics,speechandsignalprocessing(icassp2007),honolulu,hi,usa,pp.573-576.

[5]h.huang,h.he,x.fanandj.zhang,super-resolutionofhumanfaceimageusingcanonicalcorrelationanalysis,patternrecognit.,43(7)(2010)2532–2543.

[6]x.ma,j.zhang,c.qi,hallucinatingfacebyposition-patch,patternrecognit.,43(6)(2010)2224–2236.

[7]m.peng,c.wang,t.chenandg.liu,nirfacenet:aconvolutionalneuralnetworkfornear-infraredfaceidentification,information,7(4)(2016)1-14.

[8]c.dong,c.c.loy,k.heandx.tang,imagesuper-resolutionusingdeepconvolutionalnetworks,ieeetrans.,35(3)(2005)425-434.

[9]s.z.li,d.yi,z.lei,s.liao,thecasianir-vis2.0facedatabase,in:proceedingsofthe9^thieeeworkshoponperceptionbeyondthevisiblespectrum(pbvs,inconjunctionwithcvpr2013),portland,oregon,pp.348-353.

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于深度學(xué)習(xí)的近紅外人臉圖像超分辨率重建方法，利用深度學(xué)習(xí)的技術(shù)將在近紅外條件下捕捉的一幅低分辨率人臉圖像重建出其對應(yīng)的高分辨率人臉圖像的方法，從而顯著提高人臉識別以及人臉圖像理解與分析效果。

本發(fā)明采用的技術(shù)方案是：

一種基于深度學(xué)習(xí)的近紅外人臉圖像超分辨率重建方法，其包括如下步驟：

步驟1，利用人臉圖像中兩個眼睛的相對位置，把原始近紅外人臉圖像中所有人臉圖像位置對齊；

步驟2，將對齊后獲得的人臉訓(xùn)練集以固定比例轉(zhuǎn)換獲得包含k幅m×n超分辨率人臉圖像訓(xùn)練圖其中m和n分別為人臉圖像的寬度和高度，索引i＝1,2,…,k；

步驟3，將超分辨率人臉圖像訓(xùn)練圖中的每幅圖像以縮放比例s生成其一一對應(yīng)的k幅低分辨率人臉圖像訓(xùn)練圖索引i＝1,2,…,k；

步驟4，利用低分辨率人臉圖像訓(xùn)練圖的每幅圖像低分辨率人臉圖像分別執(zhí)行的初始階段、殘差階段、中間階段、反卷積階段和重建階段獲得重建的超分辨率人臉圖像fl″(y)；

所述步驟4具體包括以下步驟：

步驟4.1，初始階段：輸入的低分辨率人臉圖像進行卷積運算和激活函數(shù)運算得到第1層輸出結(jié)果f1(y)，其計算公式是：

其中w1和b1分別是本發(fā)明的第一層卷積權(quán)值參數(shù)和偏置參數(shù)；

步驟4.2，殘差階段：由多個殘差運算塊組成，每個殘差運算塊是由卷積運算、激活函數(shù)運算和相加運算組成，其計算公式是：

其中和分別是是第l層的第1個和第二個卷積權(quán)值參數(shù)，和分別是是第l層的第1個和第2個偏置參數(shù)。fl(y)和fl-1(y)分別是第l層和l-1層的輸出結(jié)果，第l-1層的輸出結(jié)果，fl-1(y)是通過快捷連接的方式與第l層的第n+1個卷積結(jié)果相加得到第l層的輸出結(jié)果fl(y)；

步驟4.3，中間階段：將步驟4.2獲得的第l層輸出結(jié)果fl(y)輸入到第l+1層卷積層，并且通過快捷連接的方式與第1層輸出結(jié)果f1(y)相加獲得的第l+1層輸出結(jié)果fl+1(y)，其計算公式是：

fl+1(y)＝wl+1*fl(y)+bl+1+f1(y)(3)

步驟4.4，反卷積階段：將步驟4.3所獲得的第l+1層輸出結(jié)果fl+1(y)輸入到第l+2層的反卷積層，并利用由多個反卷積層和激活函數(shù)層的反卷積階段來逐步放大人臉圖像獲得初始超分辨率人臉圖像fl′(y)，其計算公式是：

其中wl′和bl′分別是第l′反卷積層的卷積權(quán)值參數(shù)和偏置參數(shù)，fl′(y)和fl′-1(y)分別是第l′層和l′-1層的輸出結(jié)果；

步驟4.5，重建階段：利用步驟4.4獲得的輸出fl′(y)再執(zhí)行一次卷積后就可以得到重建的超分辨率人臉圖像fl″(y)，其計算公式是：

fl″(y)＝wl″*fl′(y)+bl″(5)

其中wl″和bl″分別是第l″卷積層的卷積權(quán)值參數(shù)和偏置參數(shù)；

步驟5，利用重建的超分辨率人臉圖像fl″(y)與超分辨率人臉圖像訓(xùn)練圖中的對應(yīng)的圖像進行比較，計算兩幅人臉圖像之間的歐式距離；

步驟6，基于計算的歐式距離不斷更新并優(yōu)化獲得最優(yōu)的卷積權(quán)值參數(shù)和偏置參數(shù)；

當(dāng)重建的所有超分辨率人臉圖像與其對應(yīng)的超分辨率人臉圖像進行比較時沒有獲得滿足的重建效果，則繼續(xù)進行反向傳播，利用梯度下降優(yōu)化算法更新卷積權(quán)值參數(shù)和偏置參數(shù)，再執(zhí)行步驟4；

當(dāng)重建的所有超分辨率人臉圖像與其對應(yīng)的超分辨率人臉圖像進行比較時已經(jīng)獲得滿足的重建效果時，則停止反向傳播，并最終求得步驟4所獲得的卷積權(quán)值參數(shù)和偏置參數(shù)。

進一步地，所述步驟1中原始近紅外人臉圖像采用近紅外補光裝置捕獲。

進一步地，所述步驟2中的固定比例轉(zhuǎn)換成m×n中m×n為128×128。

進一步地，所述步驟3中縮放比例s包括16：1、8：1和4：1。

進一步地，所述步驟5中歐式距離的計算公式是：

其中為超分辨率人臉圖像訓(xùn)練圖，fl″(y)為重建的超分辨率人臉圖像。

本發(fā)明采用以上技術(shù)方案，首次在近紅外條件下將深度學(xué)習(xí)方法用于人臉超分辨率的重建中，獲得了更高質(zhì)量的超分辨率人臉圖像，與真實人臉更為接近的重建效果。本發(fā)明提出的人臉超分辨率的算法主要體現(xiàn)在三個方面：第一，為了減少光照變化的影響，本發(fā)明首次提出用近紅外補光裝置捕捉的低分辨率人臉圖像重建出超分辨率人臉圖像的算法。第二，為了提高人臉重建效果，本發(fā)明用深度學(xué)習(xí)的方法直接從低分辨率的人臉圖像執(zhí)行初始階段、殘差階段和中間階段后，逐步利用反卷積運算的方式重建出超分辨率人臉圖像，低分辨率人臉圖像不需要進行傳統(tǒng)的雙三次插值的預(yù)處理。第三，甚至在低分辨率人臉圖像大小極小(8像素×8像素)時，本發(fā)明不僅能夠很好的重建出超分辨率人臉圖像(128像素×128像素)，而且極大的提高了人臉圖像重建效果。

附圖說明

以下結(jié)合附圖和具體實施方式對本發(fā)明做進一步詳細說明；

圖1為本發(fā)明一種基于深度學(xué)習(xí)的近紅外人臉圖像超分辨率重建方法的原理示意圖；

圖2為本發(fā)明一種基于深度學(xué)習(xí)的近紅外人臉圖像超分辨率重建方法的流程示意圖；

圖3為本發(fā)明與現(xiàn)有技術(shù)低分辨率人臉圖像8×8像素的重建效果比較圖；

圖4為本發(fā)明與現(xiàn)有技術(shù)低分辨率人臉圖像16×16像素的重建效果比較圖；

圖5為本發(fā)明與現(xiàn)有技術(shù)的低分辨率人臉圖像32×32像素的重建效果比較圖。

具體實施方式

如圖1-5之一所示，本發(fā)明公開了一種基于深度學(xué)習(xí)的近紅外人臉圖像超分辨率重建方法，其包括如下步驟：

步驟1，利用人臉圖像中兩個眼睛的相對位置，把原始近紅外人臉圖像中所有人臉圖像位置對齊；進一步地，所述步驟1中原始近紅外人臉圖像采用近紅外補光裝置捕獲。

步驟2，將對齊后獲得的人臉訓(xùn)練集以固定比例轉(zhuǎn)換獲得包含k幅m×n超分辨率人臉圖像訓(xùn)練圖其中m和n分別為人臉圖像的寬度和高度，索引i＝1,2,…,k；進一步地，所述步驟2中的固定比例轉(zhuǎn)換成m×n中m×n為128×128。

步驟3，將超分辨率人臉圖像訓(xùn)練圖中的每幅圖像以縮放比例s生成其一一對應(yīng)的k幅低分辨率人臉圖像訓(xùn)練圖索引i＝1,2,…,k；進一步地，所述步驟3中縮放比例s包括16：1、8：1和4：1。具體地本發(fā)明中驗證了比較代表性的三種尺度(16倍，8倍和4倍)的縮放比例，低分辨率人臉圖像大小分別為8×8，16×16和32×32(單位：像素)。經(jīng)過步驟2和步驟3所獲得的超分辨率人臉圖像樣本和低分辨率人臉圖像樣本為本發(fā)明的人臉訓(xùn)練數(shù)據(jù)集。

步驟4，利用低分辨率人臉圖像訓(xùn)練圖的每幅圖像低分辨率人臉圖像分別執(zhí)行的初始階段、殘差階段、中間階段、反卷積階段和重建階段獲得重建的超分辨率人臉圖像fl″(y)；

所述步驟4具體包括以下步驟：

步驟4.1，初始階段：輸入的低分辨率人臉圖像進行卷積運算和激活函數(shù)運算得到第1層輸出結(jié)果f1(y)，其計算公式是：

其中w1和b1分別是本發(fā)明的第一層卷積權(quán)值參數(shù)和偏置參數(shù)；

步驟4.2，殘差階段：由多個殘差運算塊組成，每個殘差運算塊是由卷積運算、激活函數(shù)運算和相加運算組成，其計算公式是：

其中和分別是是第l層的第1個和第二個卷積權(quán)值參數(shù)，和分別是是第l層的第1個和第2個偏置參數(shù)。fl(y)和fl-1(y)分別是第l層和l-1層的輸出結(jié)果，第l-1層的輸出結(jié)果，fl-1(y)是通過快捷連接的方式與第l層的第n+1個卷積結(jié)果相加得到第l層的輸出結(jié)果fl(y)；

步驟4.3，中間階段：將步驟4.2獲得的第l層輸出結(jié)果fl(y)輸入到第l+1層卷積層，并且通過快捷連接的方式與第1層輸出結(jié)果f1(y)相加獲得的第l+1層輸出結(jié)果fl+1(y)，其計算公式是：

fl+1(y)＝wl+1*fl(y)+bl+1+f1(y)(3)

步驟4.4，反卷積階段：為了提高顯著重建效果，將步驟4.3所獲得的第l+1層輸出結(jié)果fl+1(y)輸入到第l+2層的反卷積層，并利用由多個反卷積層和激活函數(shù)層的反卷積階段來逐步放大人臉圖像獲得初始超分辨率人臉圖像fl′(y)，其計算公式是：

其中wl′和bl′分別是第l′反卷積層的卷積權(quán)值參數(shù)和偏置參數(shù)，fl′(y)和fl′-1(y)分別是第l′層和l′-1層的輸出結(jié)果；

步驟4.5，重建階段：利用步驟4.4獲得的輸出fl′(y)再執(zhí)行一次卷積后就可以得到重建的超分辨率人臉圖像fl″(y)，其計算公式是：

fl″(y)＝wl″*fl′(y)+bl″(5)

其中wl″和bl″分別是第l″卷積層的卷積權(quán)值參數(shù)和偏置參數(shù)；

步驟5，利用重建的超分辨率人臉圖像fl″(y)與超分辨率人臉圖像訓(xùn)練圖中的對應(yīng)的圖像進行比較，計算兩幅人臉圖像之間的歐式距離；進一步地，所述步驟5中歐式距離的計算公式是：

其中為超分辨率人臉圖像訓(xùn)練圖，fl″(y)為重建的超分辨率人臉圖像。

步驟6，基于計算的歐式距離不斷更新并優(yōu)化獲得最優(yōu)的卷積權(quán)值參數(shù)和偏置參數(shù)；

當(dāng)重建的所有超分辨率人臉圖像與其對應(yīng)的超分辨率人臉圖像進行比較時沒有獲得滿足的重建效果，則繼續(xù)進行反向傳播，利用梯度下降優(yōu)化算法更新卷積權(quán)值參數(shù)和偏置參數(shù)，再執(zhí)行步驟4；

當(dāng)重建的所有超分辨率人臉圖像與其對應(yīng)的超分辨率人臉圖像進行比較時已經(jīng)獲得滿足的重建效果時，則停止反向傳播，并最終求得步驟4所獲得的卷積權(quán)值參數(shù)和偏置參數(shù)。

如圖2-3之一所示，為了驗證本發(fā)明的有效性，采用中國科學(xué)院自動化研究所的近紅外人臉數(shù)據(jù)庫(casianir-vis2.0)^[9]進行實驗，該數(shù)據(jù)庫分四個階段采集人臉數(shù)據(jù)。本發(fā)明選用前三個階段采集的所有人臉圖像為訓(xùn)練數(shù)據(jù)樣本，最后一個階段采集的所有人臉圖像為測試數(shù)據(jù)樣本。原始圖像大小為640×480(單位：像素)，根據(jù)兩個眼睛的相對位置從原始圖像中截出人臉位置后，利用傳統(tǒng)的雙三次插值的預(yù)處理下采樣后得到三種不同尺度(16倍，8倍和4倍)的低分辨率人臉圖像。本發(fā)明得到的重建效果與一些現(xiàn)有技術(shù)比較，例如最近鄰點插值法(nearestneighborinterpolation)，雙三次插值法(bicubicinterpolation)和srcnn(imagesuper-resolutionusingdeepconvolutionalnetworks)^[8]等。

本發(fā)明采用峰值信噪比(psnr:peaksignaltonoiseratio)和結(jié)構(gòu)相似性(ssim:structuralsimilarityindex)來衡量人臉圖像重建性能。

表1本發(fā)明與現(xiàn)有技術(shù)的psnr值和ssim值

從表1中可以看出，在三種不同的縮放比例下，本發(fā)明比現(xiàn)有技術(shù)中經(jīng)典的超分辨率算法的(srcnn)的psnr值和ssim值中分別提高了1.2202db、2.2303db、3.2874db和0.0113、0.0547、0.1247。由此可見，本發(fā)明較其他現(xiàn)有技術(shù)相比，近紅外人臉圖像重建效果有了顯著的提高。

本發(fā)明采用以上技術(shù)方案，首次在近紅外條件下將深度學(xué)習(xí)方法用于人臉超分辨率的重建中，獲得了更高質(zhì)量的超分辨率人臉圖像，與真實人臉更為接近的重建效果。本發(fā)明提出的人臉超分辨率的算法主要體現(xiàn)在三個方面：第一，為了減少光照變化的影響，本發(fā)明首次提出用近紅外補光裝置捕捉的低分辨率人臉圖像重建出超分辨率人臉圖像的算法。第二，為了提高人臉重建效果，本發(fā)明用深度學(xué)習(xí)的方法直接從低分辨率的人臉圖像執(zhí)行初始階段、殘差階段和中間階段后，逐步利用反卷積運算的方式重建出超分辨率人臉圖像，低分辨率人臉圖像不需要進行傳統(tǒng)的雙三次插值的預(yù)處理。第三，甚至在低分辨率人臉圖像大小極小(8像素×8像素)時，本發(fā)明不僅能夠很好的重建出超分辨率人臉圖像(128像素×128像素)，而且極大的提高了人臉圖像重建效果。