專利名稱：基于異構(gòu)主動視覺網(wǎng)絡(luò)的人臉圖像樣本采集優(yōu)化方法
技術(shù)領(lǐng)域：
本發(fā)明屬于人臉識別技術(shù)領(lǐng)域，特別涉及一種基于異構(gòu)主動視覺網(wǎng)絡(luò)的人臉圖像樣本采集優(yōu)化方法。
背景技術(shù)：
人臉識別技術(shù)在民用和軍用領(lǐng)域都有很好的應用價值和應用前景，主要包括人臉圖像樣本采集、樣本圖像預處理、分類器訓練(亦稱人臉注冊)和樣本識別(亦稱人臉識別)這幾個技術(shù)環(huán)節(jié)，目前對樣本采集環(huán)節(jié)的研究較少。在人機交互應用場景中，已具備一些對樣本采集環(huán)節(jié)的研究。這些技術(shù)與研究通常通過安裝在機器人上攝像頭的轉(zhuǎn)動和變焦，以及機器人本身的移動，來采集分辨率、姿態(tài)角合適的人臉圖像樣本，以注冊■和識別人臉。Marc Hanheide等在文獻Who am I talking with : A Face Memory for Social Robots. 2008 IEEE International Conference onRobotics and Automation Pasadena, CA, USA, May 19-23, 2008 中提出了一種人與機器人的交互框架，采用了一個配備有云臺攝像頭的移動機器人，可以記住看過的人，并與之交談。Do Joon Jung 等在文獻 Detection and Tracking of Face by a Walking Robot.J. S. Marques et al. (Eds.) =IbPRIA 2005，LNCS 3522，pp. 500-507，2005 中設(shè)計的機器人能夠在動態(tài)變化的環(huán)境中，檢測和跟蹤人臉，并通過對機器人簡單的運動控制，使人臉保持在鏡頭中央。Chi-Yi Tsai 等在文獻 ROBUST FACE TRACKING CONTROL OF A MOBILEROBOT USING SELF-TUNING KALMAN FILTER AND ECHO STATE NETWORK. Asian Journalof Control, Vol. 12, No. 4, pp. 488509, July 2010中采用對偶雅可比模型來描述機器人和目標的在世界坐標系和圖像平面中的空間位置關(guān)系和運動學關(guān)系，并利用卡曼濾波算法對目標位置進行估計與跟蹤。T. Wilhelm等在文獻A multi-modal system fortracking and analyzmgfaces on a mobile robot. Robotics and Autonomous bystems48(2004)31-40.中利用ー個多形態(tài)系統(tǒng)，由全景攝像頭、激光傳感器和移動機器人組成，來跟蹤和分析目標及其人臉。不同于人機交互，在監(jiān)控或軍事應用領(lǐng)域中，目標往往不會以期望的理想姿態(tài)，出現(xiàn)在距攝像頭合適的距離及角度范圍內(nèi)。單攝像頭由于視野的局限性，不足以完成對目標的人臉圖像樣本采集，而且，依靠如文獻ROBUST FACE TRACKING CONTROL OF A MOBILEROBOT USING SELF-TUNING KALMAN FILTER AND ECHO STATE NETWORK. Asian Journal ofControl, Vol. 12，No. 4，pp. 488509，July 2010中所述的濾波算法，難以處理目標位置跳變等情況，會導致目標丟失。因此，可以考慮采用攝像頭網(wǎng)絡(luò)，擴大視野范圍，利用多攝像頭的視覺冗余，增強魯棒性。由于選用的攝像頭同時應具備鏡頭運動和鏡頭參數(shù)調(diào)節(jié)能力，因而稱其為主動視覺網(wǎng)絡(luò)。攝像頭同時還可以是不同類型的，稱其為異構(gòu)。攝像頭的不同功能特點可以形成互補。此外，對攝像頭的簡單控制不足以保證采集到的人臉圖像樣本具有足夠好的效果，使其能真正用于人臉注冊或人臉識別，需要根據(jù)人臉注冊或識別對人臉圖像樣本的要求，設(shè)計評價函數(shù)，定量地對攝像頭進行精細的控制。James N. K. Liu等在文獻 iBotGuard :An Internet-Based IntelligentRobot Security System UsingInvariant FaceRecognition Against Intruder. IEEE TRANSACTIONS ON SYSTEMS, MAN,AND CYBERNETICS -PART C APPLICATIONS AND REVIEWS，VOL. 35，N0. 1，F(xiàn)EBRUARY2005 中設(shè)計了基于互聯(lián)網(wǎng)的智能機器人安防系統(tǒng)，利用人臉識別對入侵者進行監(jiān)測，但由于其設(shè)計的系統(tǒng)架構(gòu)相對簡單，對技術(shù)模塊間的銜接與集成缺乏考慮，且只片面的研究了架構(gòu)下的人臉識別技術(shù)，不足以在真實環(huán)境下進行應用。系統(tǒng)的、細致的架構(gòu)設(shè)計，關(guān)鍵技術(shù)及其整合技術(shù)的研究顯得十分重要。在監(jiān)控或軍事應用領(lǐng)域中，目標通常是非合作的，不會以期望的姿態(tài)，出現(xiàn)在離攝像頭合適的距離及視角范圍內(nèi)。此時，采集到的人臉圖像樣本的分辨率往往會不夠高；姿態(tài)角會不夠正，或者不同的姿態(tài)角不豐富。這樣的人臉圖像樣本，在人臉注冊和識別中，效果不佳
發(fā)明內(nèi)容

為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供ー種基于異構(gòu)主動視覺網(wǎng)絡(luò)的人臉圖像樣本采集優(yōu)化方法，采用異構(gòu)主動視覺網(wǎng)絡(luò)，基于對人臉圖像樣本質(zhì)量的經(jīng)驗評價函數(shù)，通過攝像頭的多目標分配和攝像頭的狀態(tài)調(diào)節(jié)，對樣本采集環(huán)節(jié)進行優(yōu)化，獲得分辨率較好、姿態(tài)角豐富的人臉圖像樣本，以用于人臉注冊和識別。為了實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是一種基于異構(gòu)主動視覺網(wǎng)絡(luò)的人臉圖像樣本采集優(yōu)化方法，包括以下內(nèi)容尋優(yōu)過程為每隔At時間，所有攝像頭進行目標分配和狀態(tài)調(diào)整，以完成一輪目標圖像樣本采集；尋優(yōu)變量依次為攝像頭與目標的分配關(guān)系I (C，t)、攝像頭在世界坐標系中的位置與朝向角L。、以及攝像頭的焦距f。，其中I(c，t)是ー個示性函數(shù)，c表示攝像頭的標號，c e {1,2,... , Nj , t表示目標的標號，t e {1,2,... , Nj , I (c, t) = I表示將第t個目標分配給第c個攝像頭，I (c, t) = O表示未分配，4= (υ 為I)表示第c個攝像頭在世界坐標系中的位置、水平轉(zhuǎn)角及俯仰轉(zhuǎn)角；尋優(yōu)目標最大化所有目標的總體經(jīng)驗評價函數(shù)Sumt (ft)，其中第t個目標的評價函數(shù)ft如下所示 /, (p , , ,-,P1 , i) = fAPnl-I，\—1，..·，Λ，Γ1 ) + (fp (A，··.，Pn, ) — fV (Λ ,…，凡,—D) · Ir ひ;,)nt = 2，3，…ft (P1, T1) = fp (P1) · fr (r^ft{pnrr t，P1,n)為第t個目標的nt個人臉圖像樣本的聯(lián)合評價函數(shù)，通過達代方法計算；fp為對姿態(tài)角的評價函數(shù)，根據(jù)所有姿態(tài)角在(-90°，90° )區(qū)間分布的均勻和密集程度來計算，凡表示第nt個人臉圖像樣本的姿態(tài)角度；f；表示對分辨率的評價函數(shù)，根據(jù)分辨率的高低來計算，表示第nt個人臉圖像樣本的分辨率。尋優(yōu)方法為遍歷I(c，t)即目標分配方案；在每ー種目標分配方案下，采取遺傳算法，求解每個攝像頭L。和f。使得ft最大；選取最佳分配方案從而得到最大的Sumt (ft)。在采集單目標的情況下，I (c，t)為常值，在At時間內(nèi)，攝像頭依次進行ー輪樣本采集，由于每當一個攝像頭采集后，目標的圖像樣本集合就發(fā)生了變化，這將影響到下ー個攝像頭的采集時的評價函數(shù)計算，從而影響采集其行為，因而需要遍歷求解次序，找到最佳次序，得到最優(yōu)解，不過，隨機次序也是可以的。在采集多目標的情況下，如果ー個攝像頭只分配一個目標，則遍歷I (c，t)，即目標分配方案，再遍歷攝像頭的采集次序，在每ー種次序中，每個攝像頭最大化它分配到的目標的評價函數(shù)ft，從而確定最佳分配方案、最佳采集次序和最佳攝像頭狀態(tài)。在采集多目標的情況下，如果ー個攝像頭分配多個目標，則遍歷I (c，t)，再遍歷攝像頭的采集次序，然后每個攝像頭最大化它分配到的所有目標的目標函數(shù)之和即、誦:I U、)，τ。為攝像頭C分配到的目標集合，從而確定最佳分配方案、最佳采集次序和最佳攝像頭狀態(tài)。 與現(xiàn)有技術(shù)相比，本發(fā)明參考了現(xiàn)有的人臉識別技術(shù)和系統(tǒng)的研究，了解到不同人臉圖像樣本對人臉注冊和人臉識別產(chǎn)生影響的指標中，較為主要兩個為人臉在圖像中的分辨率和姿態(tài)角，本發(fā)明將這兩個指標以主動視覺技術(shù)進行改良。異構(gòu)主動視覺網(wǎng)絡(luò)是較新穎、較先進的主動視覺技木，它具備主動采集、任務(wù)協(xié)同、功能互補等特性，可以比單個攝像頭采集、靜態(tài)攝像頭、掃描攝像頭等傳統(tǒng)設(shè)備和技術(shù)更有效地獲取非合作目標的人臉圖像樣本。本發(fā)明根據(jù)已有的人臉識別技術(shù)和系統(tǒng)的研究，進行了進ー步的圖像分析和數(shù)學分析，建立了人臉圖像樣本質(zhì)量的經(jīng)驗評價函數(shù)(主要與分辨率和姿態(tài)角相關(guān))，以最大化經(jīng)驗評價函數(shù)值為目標，利用異構(gòu)主動視覺網(wǎng)絡(luò)，對樣本采集環(huán)節(jié)進行優(yōu)化，獲得分辨率較好、姿態(tài)角豐富的人臉圖像樣本，以用于人臉注冊和識別。該技術(shù)的應用場景主要定位為在監(jiān)控或軍事場景中，對非合作目標的人臉圖像樣本進行采集，目標亦可進ー步泛化為非人的目標。


圖I為不同原始分辨率的樣本縮放到同一參考分辨率示意圖，從左到右依次為原始分辨率4 X 6、8 X 12、20 X 30、40 X 60縮放為參考分辨率40 X 60。圖2為不同原始分辨率的圖像在頻域的幅度組分上的可分性圖像，從左到右依次為原始分辨率原始分辨率4X 6、8 X 12、20 X 30、40 X 60縮放為參考分辨率40 X 60，越明亮代表該原始分辨率的樣本可分性越強。圖3為分辨率r與評價函數(shù)值f；關(guān)系示意圖，橫坐標為r，縱坐標為f；值，折線段表征了若干指定分辨率的人臉樣本圖像的分辨率評價函數(shù)值；光滑曲線為以二次曲線擬合折線段的結(jié)果。圖4為對不同姿態(tài)角樣本在圖像空間中近似ー維分布的刻畫示意圖，折線段表征了若干指定姿態(tài)角在圖像空間中近似ー維分布，直線為參考線(圖像空間-姿態(tài)角均勻分布)，比較表明了不同姿態(tài)角樣本在圖像空間中的近似ー維分布不是均勻分布。圖5為不同姿態(tài)角樣本在圖像空間中的近似ー維分布，及擬合得到的解析曲線。虛線為圖4中的折線段，實線為用二次曲線擬合虛線的結(jié)果。圖6為姿態(tài)角的感知示意圖，圖㈧描述了四個攝像頭對兩個目標的圖像樣本采集，圖(B)闡釋了人臉與攝像頭的相對朝向決定了人臉在圖像中的朝向，與兩者相對位置無關(guān)，圖(C)闡釋了根據(jù)人臉朝向和攝像頭朝向計算人臉對攝像頭的相對朝向。圖7為本發(fā)明仿真實驗示意圖。
π π 、圖8姿態(tài)角區(qū)間(一マ，γ)，每ー個小空心圓表示某個姿態(tài)角的樣本。圖9為不同采集方法比較示意圖，三角符號表示異構(gòu)采集，加號表示改進的主動采集，圓圈表示主動采集，星號表示掃描采集，菱形符號表示靜態(tài)采集。圖10為目標小范圍運動示意圖。圖11為目標小范圍運動時,改進的主動采集優(yōu)于主動采集。圖12為目標小范圍運動時，主動采集得到樣本的姿態(tài)角分布。 圖13為目標小范圍運動時，改進的主動采集得到樣本的姿態(tài)角分布。
具體實施例方式下面結(jié)合附圖和實施例對本發(fā)明做進ー步詳細說明。分三個部分詳述本實施方式。(一)人臉圖像樣本評價準則人臉圖像樣本對人臉注冊和人臉識別產(chǎn)生影響的指標，有圖像壓縮率、目標距離、目標表情等。參考人臉識別領(lǐng)域的研究，以及主動視覺技術(shù)能夠改變的指標，本技術(shù)選取了分辨率和姿態(tài)角兩項指標，即人臉區(qū)域的分辨率和人臉在圖像中的姿態(tài)角。人臉區(qū)域通常為矩形，如40X60大小(単位是寬像素X長像素)，可以以寬度像素值r = 40來描述。人臉的姿態(tài)角P從左到右以角度以從-90°到+90°來描述。人臉圖像樣本的經(jīng)驗評價函數(shù)對分辨率和姿態(tài)角分別進行評價，進而建立對該兩個指標的聯(lián)合評價函數(shù)。根據(jù)現(xiàn)有的方法，注冊ー個目標，通常需要多張不同姿態(tài)角的人臉圖像樣本，以提高注冊后系統(tǒng)對目標在不同姿態(tài)角下的識別能力；在識別目標時，采集的目標在不同姿態(tài)角的人臉圖像樣本越多，用于識別的信息則越多，識別正確率亦越高。根據(jù)對人臉識別系統(tǒng)評價實驗的結(jié)果可知，人臉區(qū)域分辨率越高，人臉識別的效果越好；注冊和識別時人臉圖像樣本的姿態(tài)角偏差越大，識別正確率越低。因而，本發(fā)明總結(jié)得到人臉圖像樣本中，人臉區(qū)域的分辨率越高，人臉在圖像中朝向的角度--姿態(tài)角越豐富、分布越均勻，則人臉注冊和人臉識別的效果越好，所以評價函數(shù)值應越大。此外，人臉注冊和人臉識別的效果會隨著分辨率的増大、姿態(tài)角的增加而逐漸飽和，而不再顯著增長，因此評價函數(shù)亦需具有相應的特性。實際應用中，采集到的人臉圖像樣本通常是各種分辨率的，需要放縮到同一個參考標準分辨率，然后進行人臉注冊或人臉識別。如果原始分辨率低于參考標準分辨率，那放大到參考標準分辨率之后，圖像質(zhì)量會變差。因而，我們關(guān)注的是采集時的原始分辨率大小，即決定了圖像在分辨率指標上的質(zhì)量。采用FERET人臉樣本庫(ba bj系列樣本集)進行實驗。樣本集包含194個目標(人)在不同角度的人臉圖像。實驗中，194個目標(人)的人臉圖像樣本被分別縮小到4X6、8X12、20X30、40X60原始分辨率，再統(tǒng)ー放大到40X60的參考分辨率，進而進行圖像處理和數(shù)學分析，如圖I。然后采用ニ維傅立葉變換，經(jīng)傅立葉變換后，在實部、虛部、幅度和相角四個組分中選取幅度，因為樣本在幅度組分的可分性最好。圖2為不同原始分辨率的樣本經(jīng)過傅立葉變換(WXL維的圖像空間變換到WXL維的頻域空間)后，計算所有樣本在頻域上每個點的可分性數(shù)值，將每一點的數(shù)值換算為(取IoglO對數(shù)后再乘以50，以保證灰度值在O 255之間，且不同分辨率的結(jié)果對比明顯)ー個灰度值，即可得圖2。越明亮，代表該原始分辨率下，樣本可分性越好。每個圖像樣本得到ー個40X60維即2400維的，在頻域的幅度組分的樣本。將每一個目標的所有人臉圖像樣本看成ー類，不同的目標為不同的類。計算不同原始分辨率的樣本在頻域幅度組分的樣本所有維度上的可分性(類似方差的概念)之和，取以IoglO對數(shù)再乘以50 (這樣處理以與上文所述的同樣處理保持一致)，作為該分辨率的評價函數(shù)值，其結(jié)果如表I所示?？煞中钥梢詻Q定樣本在人臉注冊和人臉識別中的效果，可分性越大，效果越好。表I樣本評價結(jié)果
權(quán)利要求
1.一種基于異構(gòu)主動視覺網(wǎng)絡(luò)的人臉圖像樣本采集優(yōu)化方法，其特征在于，包括以下內(nèi)容 尋優(yōu)過程為每隔At時間，所有攝像頭進行目標分配和狀態(tài)調(diào)整，以完成一輪目標圖像樣本采集； 尋優(yōu)變量依次為攝像頭與目標的分配關(guān)系I(c，t)、攝像頭在世界坐標系中的位置與朝向角L。、以及攝像頭的焦距f。，其中I(c，t)是ー個示性函數(shù)，c表示攝像頭的標號，c e {1，2, ...，N。}, t表示目標的標號，t e {1，2，· · ·，Nt}，I (c, t)=l表示將第t個目標分配給第c個攝像頭，I (c, t) =O表示未分配，ん=(xf, X.,息)表示第c個攝像頭在世界坐標系中的位置、水平轉(zhuǎn)角及俯仰轉(zhuǎn)角； 尋優(yōu)目標最大化所有目標的總體經(jīng)驗評價函數(shù)Sumt (ft)，其中第t個目標的評價函數(shù)ft如下所示 n+ = 2，3，… ft (Pi, T1) = fp (P1) · fr O1) (A,，な,，…，ΛΑ)為第t個目標的nt個人臉圖像樣本的聯(lián)合評價函數(shù)，通過迭代方法計算；fp為對姿態(tài)角的評價函數(shù)，根據(jù)所有姿態(tài)角在(-90°，90° )區(qū)間分布的均勻和密集程度來計算，A,表示第nt個人臉圖像樣本的姿態(tài)角度；f；表示對分辨率的評價函數(shù)，根據(jù)分辨率的高低來計算，ら,表示第nt個人臉圖像樣本的分辨率； 尋優(yōu)方法為遍歷I (c，t)即目標分配方案；在每ー種目標分配方案下，采取遺傳算法，求解每個攝像頭L。和f。使得ft最大；選取最佳分配方案從而得到最大的Sumt (ft)。
2.根據(jù)權(quán)利要求I所述采集優(yōu)化方法，其特征在于，在采集單目標的情況下，I(c，t)為常值，在At時間內(nèi)，攝像頭以隨機次序進行ー輪樣本采集。
3.根據(jù)權(quán)利要求I所述采集優(yōu)化方法，其特征在于，在采集單目標的情況下，I(c，t)為常值，在At時間內(nèi)，攝像頭依次進行ー輪樣本采集，遍歷求解次序，找到最佳次序，得到最優(yōu)解。
4.根據(jù)權(quán)利要求I所述采集優(yōu)化方法，其特征在于，在采集多目標的情況下，如果ー個攝像頭只分配ー個目標，則遍歷I (c，t)，即目標分配方案，再遍歷攝像頭的采集次序，在每ー種次序中，每個攝像頭最大化它分配到的目標的評價函數(shù)ft，從而確定最佳分配方案、最佳采集次序和最佳攝像頭狀態(tài)。
5.根據(jù)權(quán)利要求I所述采集優(yōu)化方法，其特征在于，在采集多目標的情況下，如果ー個攝像頭分配多個目標，則遍歷I (c，t)，再遍歷攝像頭的采集次序，然后每個攝像頭最大化它分配到的所有目標的目標函數(shù)之和即&(/f)，Tc為攝像頭c分配到的目標集合，從而確定最佳分配方案、最佳采集次序和最佳攝像頭狀態(tài)。
全文摘要
一種基于異構(gòu)主動視覺網(wǎng)絡(luò)的人臉圖像樣本采集優(yōu)化方法，尋優(yōu)過程為每隔Δt時間，所有攝像頭進行目標分配和狀態(tài)調(diào)整，完成一輪目標圖像樣本采集；尋優(yōu)變量依次為攝像頭與目標的分配關(guān)系、攝像頭在世界坐標系中的位置與朝向角、以及攝像頭的焦距，尋優(yōu)目標為最大化所有目標的總體經(jīng)驗評價函數(shù)，遍歷目標分配方案，在每一種目標分配方案下，采取遺傳算法，求解尋優(yōu)變量使得目標評價函數(shù)最大，選取最佳分配方案從而得到最大的總體經(jīng)驗評價函數(shù)，本發(fā)明將人臉在圖像中的分辨率和姿態(tài)角以主動視覺技術(shù)進行改良，利用異構(gòu)主動視覺網(wǎng)絡(luò)，對樣本采集環(huán)節(jié)進行優(yōu)化，獲得分辨率較好、姿態(tài)角豐富的人臉圖像樣本，以用于人臉注冊和識別。
文檔編號G06K9/00GK102693417SQ20121015229
公開日2012年9月26日 申請日期2012年5月16日 優(yōu)先權(quán)日2012年5月16日
發(fā)明者孫昊, 張濤, 成宇, 李何羿, 李瀟涵, 陳學東, 陳宋 申請人:清華大學