專利名稱：：基于非線性張量分解與視角流形的多視角人臉識別方法
技術(shù)領(lǐng)域：
：本發(fā)明屬于模式識別與計算機視覺
技術(shù)領(lǐng)域：
，特別涉及多視角人臉識別方法，可用于生物特征識別領(lǐng)域中不同視角下的人臉檢索和識別。
背景技術(shù)：
：生物特征識別在今后數(shù)年內(nèi)將成為安全及IT產(chǎn)業(yè)最為重要的技術(shù)革命之一?，F(xiàn)代研究表明人的虹膜、指紋和掌形等均可用于身份鑒定。與其它生物特征識別技術(shù)或系統(tǒng)相比，人臉識別系統(tǒng)具有識別精度高、方便、友好、自然等優(yōu)點。所以人臉識別是易于被人們接受的非侵犯性身份識別方法。人臉在成像過程受場景結(jié)構(gòu)和人物狀態(tài)等各種因素的相互作用，所獲得的人臉圖像在光照、表情、視角及噪聲等方面具有多樣性和復(fù)雜性。由美國國防部高級研究項目署和美國陸軍研究實驗室的人臉識別技術(shù)項目組聯(lián)合建立的評測數(shù)據(jù)庫上的測試結(jié)果表明，目前的人臉識別系統(tǒng)，在測試圖像和訓練圖像中人臉視角接近的情況下，識別率很高；隨著人臉視角變化的加劇，識別性能顯著下降。這說明降低視角變化的影響是自動人臉識別技術(shù)走向?qū)嵱没仨毥鉀Q的關(guān)鍵問題之一。目前多視角人臉識別的研究成果主要集中為以下兩類第一類是基于3D人臉建模的多視角人臉識別技術(shù)。3D人臉識別在根本上需要將人臉3D表面結(jié)構(gòu)等本質(zhì)屬性與表情、胡須、光照等具有自身可變性或易受外部因素影響的屬性分離，以進行識別。3D人臉識別方法最初采用人臉曲率為特征，日本Ritsumeikan大學的Tanaka等采用主曲率的大小及方向信息為特征，用擴展高斯圖表示每個人臉的曲面數(shù)據(jù)，最后計算擴展高斯圖的Fisher球形相關(guān)度作為相似度來實現(xiàn)識別。德國馬普學會計算機科學研究所的Blanz等提出3D人臉形變模型，對于待識別人臉，一暴直接用擬合獲得的一系列參數(shù)作為特征，進行識別；二是通過擬合的特定參數(shù)，結(jié)合3D形變?nèi)四樐Ｐ?，合成特定姿態(tài)和光照條件下的2D人臉圖像進行識別。新加坡南陽理工大學的Chua等提出基于標識點的人臉識別方法。以色列技術(shù)工程學院的Alexander等通過將3D人臉的深度數(shù)據(jù)和灰度紋理根據(jù)保局映射轉(zhuǎn)換到2D圖像上進行識別。美國加利福尼亞大學的Xu等提出基于幾何集成的表面流形模型，通過一個四線性流形來表征人臉的光照、姿態(tài)、身份和形變信息。該模型中的形變子空間將二維圖像與三維人臉模型對應(yīng)起來，實現(xiàn)多姿態(tài)人臉的跟蹤與識別。然而3D人臉識別需要昂貴的數(shù)據(jù)采集設(shè)備，且計算量很大。第二類是基于2D人臉圖像的多視角人臉識別技術(shù)。其中線性和非線性子空間分析的方法因其實用性得到越來越多研究人員的重視。美國MIT的Turk等最早提出用主成分分析進行人臉識別，它對單一條件下的人臉圖像有相當高的識別率，而涉及到多因素變化時，其識別性能顯著下降。美國斯坦福大學的Tenenbaum等人建立人臉的雙線性模型用于將人臉圖像的身份和視角分離，從而進行較精細的人臉識別。美國紐約大學的Vasilescu等將雙線性模型推廣到基于高階張量分析的多線性模型，提出基于TensorFace的方法來處理多因素變化下的人臉識別，見文獻"M.AlexO.Vasilescu,DemetriTerzopoulos.Multilinearimageanalysisforfacialrecognition.ProceedingsoftheInternationalConferenceonPatternRecognition,QuebecCity,3:511-514,Canada.2002."。上述方法均屬于線性方法，無法精確描述人臉視角變化引起的圖像空間的非線性問題。一類方法是采用核子空間分析方法，德國GMD-FIRST研究所的Scholkopf等提出基于核主成分分析的方法，將人臉數(shù)據(jù)由原始的圖像空間投影到高維希爾伯特空間，用高維空間中的線性來表示低維空間中的非線性。另一種解決非線性的思路是采用基于流形學習的降維方法，實現(xiàn)人臉空間的非線性描述。美國斯坦福大學的Tenenbaum等人提出的Isomap，倫敦大學學院的Roweis等提出的局部線性嵌入和美國芝加哥大學的He等提出的LaplacianEigenm叩s屬于此類。美國伊力諾依大學的Lee等提出用在線學習的方法，構(gòu)建視頻中人臉的表面流形概率模型，從而實現(xiàn)視頻中視角變化情況下的人臉識別。目前，基于非線性子空間分解的方法是雖然是人臉識別研究的主流方向之一。但對于多因素變化的復(fù)雜人臉圖像，這種方法由于不能建立一個統(tǒng)一的人臉表面模型，因而無法實現(xiàn)對各種影響人臉生成的因素分離，也無法準確描述人臉空間的線性及非線性變化。
發(fā)明內(nèi)容本發(fā)明的目的在于克服上述已有技術(shù)的不足，提供一種基于非線性張量分解與視角流形的多視角人臉識別方法，以實現(xiàn)對各種影響人臉生成的因素分離和人臉空間的線性及非線性變化的準確描述，有效的提高多視角人臉識別率。為實現(xiàn)上述目的，本發(fā)明提出如下技術(shù)方案技術(shù)方案一，基于非線性張量分解與視角流形的多視角人臉識別方法，包括如下過程(1)對多視角人臉圖像進行歸一化；(2)對于歸一化后的人臉圖像，采用留一法劃分多視角人臉圖像數(shù)據(jù)集，選取一組視角下的人臉圖像作為測試樣本集，其它視角下的人臉圖像作為訓練樣本集；(3)將訓練集中的人臉圖像沿身份、視角和像素信息變化的方向排列成張量y,并用高階奇異值分解算法對其進行分解，得到身份系數(shù)矩陣視角系數(shù)矩陣Uv,^，本征圖像矩陣Upixel和核張量Z，該三個矩陣U之間相互獨立，Z表示該三個矩陣U之間的相互作用關(guān)系；(4)利用數(shù)據(jù)-概念驅(qū)動的方式對視角系數(shù)矩陣Uv,ew中的視角系數(shù)進行排列和插值，獲得人臉視角流形F;(5)用非線性張量分解中的徑向基函數(shù)先將視角流形Z映射到多視角人臉數(shù)據(jù)空間，再將徑向基函數(shù)映射矩陣排列為張量的形式，并進行分解，獲得身份系數(shù)的模矩陣，建立多視角人臉模型y，=p4x2y(x,)，其中pA表示第A個的人臉圖像的身份系數(shù)向量p，Z是核張量，^是視角系數(shù)，^是視角系數(shù)和人臉圖像之間的徑向基映射；(6)采用基于EM-like的迭代算法求解多視角人臉模型參數(shù)，將滿足最小化重構(gòu)誤差準則的身份系數(shù)作為人臉識別的結(jié)果。上述步驟(4)所述的利用數(shù)據(jù)-概念驅(qū)動的方式對視角系數(shù)矩陣Uv,中的視角系數(shù)進行排列和插值，獲得人臉視角流形F，按如下過程進行4a)取出視角系數(shù)矩陣Uv,ew的每一行做為一個視角系數(shù)；4b)將視角系數(shù)按照人臉轉(zhuǎn)動的客觀順序進行排列；4c)對排序后的系數(shù)用樣條擬合進行插值，以獲得平滑的人臉視角流形結(jié)構(gòu)y，并用xe^表示流形上的坐標點，iT表示e維的實數(shù)空間，這里表示視角流形的維數(shù)。技術(shù)方案二，基于非線性張量分解與視角流形的多視角人臉識別方法，包括如下過程A.對多視角人臉圖像進行歸一化；B.對歸一化后的人臉圖像，采用留一法劃分多視角人臉圖像數(shù)據(jù)集，選取一組視角下的人臉圖像作為測試樣本集，其它視角下的人臉圖像作為訓練樣本集；C.根據(jù)人臉轉(zhuǎn)動的客觀順序，通過概念驅(qū)動的方式生成人臉的視角流形F;D.用非線性張量分解中的徑向基函數(shù)先將視角流形「映射到多視角人臉數(shù)據(jù)空間，再將徑向基函數(shù)映射矩陣排列為張量的形式，并進行分解，獲得身份系數(shù)的模矩陣，建立多視角人臉模型y，=Z>^pAx2w(x,)，其中pt表示第A個的人臉圖像的身份系數(shù)向量P，Z是核張量，x'是視角系數(shù)，^是視角系數(shù)和人臉圖像之間的徑向基映射；E.采用基于EM-like的迭代算法求解多視角人臉模型參數(shù)，將滿足最小化重構(gòu)誤差準則的身份系數(shù)作為人臉識別的結(jié)果。上述步驟C所述的根據(jù)人臉轉(zhuǎn)動的客觀順序，通過概念驅(qū)動的方式生成人臉的視角流形r，是采用均勻分布在半圓上的二維點集表示平面外從左到右旋轉(zhuǎn)的人臉圖像的視角坐標，并用該二維點集組成概念驅(qū)動的人臉視角流形。本發(fā)明的優(yōu)點是1.本發(fā)明由于采用了非線性張量分解與視角流形對影響人臉的視角和身份進行混合線性-非線性的建模，因此與現(xiàn)有技術(shù)相比具有如下優(yōu)點a)有利于精細的描述人臉受各種因素影響的變化，如圖1所示；b)低維非線性視角流形對視角空間的描述更精確；c)將高維人臉數(shù)據(jù)的身份信息用獨立的線性系數(shù)表示，更準確的表達身份信息；d)采用非線性張量分解建立人臉視角流形與多視角人臉圖像之間的平滑映射，并用統(tǒng)一的基來表示多視角人臉圖像，達到更好的識別效果和更強的泛化能力；e)為混合線性-非線性因素影響下的目標模型建立提供了有效途徑。2.本發(fā)明由于采用了基于EM-like的參數(shù)迭代方法實現(xiàn)自動的人臉識別，因此與現(xiàn)有技術(shù)相比具有如下優(yōu)點.-a)采用啟發(fā)式的方法，避免了對模型參數(shù)空間的全搜索過程，識別速度更快；b)迭代的參數(shù)求解過程使得識別所用的身份系數(shù)更準確。實驗仿真結(jié)果表明本發(fā)明與基于TensorFace的人臉識別算法相比，對多視角人臉的識別率提高了19個百分點。圖l為人臉張量分解示意圖2是本發(fā)明提出的混合數(shù)據(jù)-概念驅(qū)動視角流形的示意圖3是本發(fā)明提出的概念驅(qū)動的視角流形的示意圖4是本發(fā)明的多視角人臉生成模型建模及識別過程示意圖5本發(fā)明使用已有東方人臉庫中多視角人臉數(shù)據(jù)部分示例圖。具體實施例方式本發(fā)明的核心思想是利用人臉視角流形與非線性張量分解提高對多視角人臉的識別能力。利用視角流形得到人臉視角子空間的精確描述，采用非線性張量分解將影響人臉生成的多個因素分離，并建立視角流形與多視角人臉數(shù)據(jù)的平滑映射，采用基于EM-like的參數(shù)求解方法實現(xiàn)多視角人臉識別。參照圖4，本發(fā)明的多視角人臉識別通過如下兩個實例詳細說明。實例一，具體步驟如下步驟l，圖像歸一化。首先對每個視角下的人臉圖像，根據(jù)眼睛及鼻子的位置標定，然后進行幾何歸一化，使得人臉圖像對齊。步驟2，劃分數(shù)據(jù)庫。對歸一化后的人臉圖像，采用留一法劃分多視角人臉圖像數(shù)據(jù)集，選取一組視角下的人臉圖像作為測試樣本集，其它視角下的人臉圖像作為訓練樣本集。步驟3，多視角人臉數(shù)據(jù)的張量分解。(3a)選定人臉圖像訓練集，其中的圖像包含身份和視角的變化，第A:個人在視角V下的人臉圖像表示為y:，其中卜l，…，i:且Fl,…，iV;(3b)用高階奇異值分解對張量y按如下步驟進行分解，如圖l所示；(3bl)將訓練集中的人臉圖像沿身份、視角和像素信息變化的方向排列成張量y;(3b2)在張量r上做高階奇異值分解，得到身份系數(shù)矩陣Uw^&、視角系數(shù)矩陣Uv,w，本征圖像矩陣Upixel以獲得身份系數(shù)矩陣U視角系數(shù)矩陣Uvtew和本征圖像集合Up,w，該三個矩陣U之間相互獨立；身份系數(shù)矩陣U,翻啤張成不同身份的參數(shù)空間；視角系數(shù)矩陣Uw^張成人臉視角變化的參數(shù)空間；本征圖像集合U,e/正交地張成像素的基空間，這里UpW里的每個基向量對應(yīng)一張本征臉；(3b3)利用核張量求取公式求得核張量Z:I^U:鄉(xiāng)X2U二X3U;^，并輸出，其中U'表示U的逆矩陣。步驟4，建立數(shù)據(jù)-概念驅(qū)動的視角流形。對于上述張量分解得到的視角系數(shù)矩陣U,一中的視角系數(shù)，將其按照人臉轉(zhuǎn)動的客觀順序進行排列，對排序后的系數(shù)用樣條擬合進行插值，以獲得獨立于身份變化的平滑的人臉視角流形結(jié)構(gòu)r，如圖2所示，x為流形上的坐標點，其中xeiT，iT表示e維的實數(shù)空間，e是嵌入流形的維數(shù)。步驟5，基于非線性張量分解的人臉建模。(5a)選定iV個位于視角流形F上的視角系數(shù)，組成集合義二(x,eiV、l,…，A^，將尺個人的與上述各視角系數(shù)對應(yīng)的多視角人臉圖像組成集合￥4={^￡^,/=1,...，^}，A^…《；e表示視角空間的維數(shù)；(5b)通過泛化的徑向基函數(shù)映射學習從低維Z到高維Y^之間的映射關(guān)系(5M)將人臉圖像/中所有像素的徑向基映射可寫成如下的矩陣形式，yA=B>(x)(1)其中矩陣B^是一個^x(iV+e+l)維的矩陣，它表示第A個人在iV個視角下的圖像與視角流形之間的徑向基函數(shù)映射矩陣，它嵌入了第A;個人的身份信息，該第/行為[^,，6^,,]，向量^(x^W(lx-z,l),…^(lx—zj),1,xT]T，0表示徑向基函數(shù)映射的核函數(shù)，z,表示各個核函數(shù)的中心；(5b2)將求得的映射系數(shù)矩陣B4，排列為一個(^V+e+l))xK的張量5，A:=1，，K，并用非對稱的雙線性模型對張量5進行分解5二Z'[p',…,P"，其中PA表示第^個人的身份系數(shù)，Z是核張量；(5b3)根據(jù)視角流形坐標x,eiT，核張量Z和第A:個人的身份系數(shù)pA，人臉生成模型可通過式(2)合成第/t個人在第/個視角下的人臉圖像向量y，e^，^標為"維的實數(shù)空間。<formula>formulaseeoriginaldocumentpage10</formula>(2)步驟6，模型參數(shù)估計與多視角人臉識別。用FciT來表示視角流形，F(xiàn)(x。)表示從;c。映射到視角流形上的點，給定測試人臉圖像yei、確定其在流形F上的坐標xeiT和其身份系數(shù)p、且參數(shù)需滿足最小重構(gòu)誤差準則，即五(x,p"Hly-Zx,p、,(x)ll2實現(xiàn)識別，具體步驟如下(6a)初始化在模型訓練階段得到訓練圖像的身份系數(shù)p4,hl…K，給定一個新的測試人臉圖像yei^，設(shè)定其身份為A:，根據(jù)式(2)所生成的人臉模型，求解視角系數(shù)x^eiT,h1,…,《，對《個視角系數(shù)合成為x'，即<formula>formulaseeoriginaldocumentpage10</formula>(3)并將合成后的視角系數(shù)x'映射到視角流形F上，得到初始化的視角系數(shù)x=K(x')，其中A(^)表示、屬于F的概率，其值符合如下高斯估計<formula>formulaseeoriginaldocumentpage10</formula>(4)J^;V(XJ=1，一為經(jīng)驗值，其大小決定高斯函數(shù)的方差，用于控制識別的敏感度；(6b)身份系數(shù)估計根據(jù)求得的視角系數(shù)x，通過式(2)對測試圖像y求解身份系數(shù)向量p5，身份識別在重構(gòu)圖像域進行，假設(shè)y符合以Zx,pA、v/(x,)為中心的高斯混合模型，這樣，y的相似性函數(shù)表示為<formula>formulaseeoriginaldocumentpage10</formula>(5)其中/7("和p(A;lx)是等概率的，身份A的后驗概率簡化如下，<formula>formulaseeoriginaldocumentpage10</formula>(6)身份識別即為A^二ar^maxp(A:lx,y)，在上述身份A的后驗概率p(Wx,y)的基礎(chǔ)上，估計身份的系數(shù)向量為<formula>formulaseeoriginaldocumentpage10</formula>(7)(6c)視角系數(shù)估計將測試圖像向量y和得到的身份系數(shù)向量p'代入所生成的人臉模型式(2)，求解視角在流形上的坐標x'eR、確定最優(yōu)的視角坐標為x-r(x');(6d)迭代步驟(6b)和(6c)，直至達到終止條件，實現(xiàn)重構(gòu)誤差最小情況下的多視角人臉識別。實例二，具體步驟如下步驟l，圖像歸一化。首先對每個視角下的人臉圖像，根據(jù)眼睛及鼻子的位置標定，然后進行幾何歸一化，使得人臉圖像對齊。步驟2，劃分數(shù)據(jù)庫。對歸一化后的人臉圖像，采用留一法劃分多視角人臉圖像數(shù)據(jù)集，選取一組視角下的人臉圖像作為測試樣本集，其它視角下的人臉圖像作為訓練樣本集；步驟3，建立概念驅(qū)動的視角流形。用均勻分布在半圓上的二維點集表示平面外從左到右旋轉(zhuǎn)的人臉圖像的視角坐標，用該二維點集組成概念驅(qū)動的人臉視角流形r，如圖3所示，x為流形上的坐標點，其中xe,，iT表示e維的實數(shù)空間，e是嵌入流形的維數(shù)。步驟4，基于非線性張量分解的人臉建模。(4a)選定iV個位于視角流形r上的視角系數(shù)，組成集合1={\￡^,/=1,...,^}，將^個人的與上述各視角系數(shù)對應(yīng)的多視角人臉圖像組成集合￥4={^￡^。=1,...,^}，6=1—《；e表示視角空間的維數(shù)；(4b)通過泛化的徑向基函數(shù)映射學習從低維I到高維Y4之間的映射關(guān)系(4bl)將人臉圖像Z中所有像素的徑向基映射可寫成如下的矩陣形式，Z=BV(x)(8)其中矩陣Bt是一個"x(iV+e+l)維的矩陣，它表示第A個人在iV個視角下的圖像與視角流形之間的徑向基函數(shù)映射矩陣，它嵌入了第A個人的身份信息，該第/行為[",…，^，Z/T]，向量^(xhW(lx-z,l),…,州x—zw|),1,xT]T，^表示徑向基函數(shù)映射的核函數(shù)，z,表示各個核函數(shù)的中心；(4b2)將求得的映射系數(shù)矩陣B4，排列為一個(減iV+e+l))x《的張量5，yt=l，...，《，并用非對稱的雙線性模型對張量fi進行分解5:Z.[p、…,pK]，其中P"表示第/t個人的身份系數(shù)，Z是核張量；(4b3)根據(jù)視角流形坐標x,eiT，核張量Z和第A個人的身份系數(shù)p、人臉生成模型可通過式(9)合成第A個人在第/個視角下的人臉圖像向量y，e^，W標為d維的實數(shù)空間。y卜Zx,p、一,)(9)步驟5，模型參數(shù)估計與多視角人臉識別。用rC來表示視角流形，F(xiàn)(x。)表示從x。映射到視角流形上的點，給定測試人臉圖像ye/、確定其在流形F上的坐標xeiT和其身份系數(shù)pS，且參數(shù)需滿足最小重構(gòu)誤差準則，即五(x,p"Hly-Zx,p、^(x)ii2實現(xiàn)識別，具體步驟如下(5a)初始化在模型訓練階段得到訓練圖像的身份系數(shù)p、h1…《，給定一個新的測試人臉圖像yei、設(shè)定其身份為A:，根據(jù)式(9)所生成的人臉模型，求解視角系數(shù)、eiT,hl,…，i:，對〖個視角系數(shù)合成為x'，即并將合成后的視角系數(shù)x'映射到視角流形F上，得到初始化的視角系數(shù)x=F(x')，其中A(x》表示、屬于K的概率，其值符合如下高斯估計/V(xJ^exp(—ll^-r(xJI12/(2(72》(11)SiiV(XA)=l，一為經(jīng)驗值，其大小決定高斯函數(shù)的方差，用于控制識別的敏感度；(5b)身份系數(shù)估計根據(jù)求得的視角系數(shù)x，通過式(9)對測試圖像y求解身份系數(shù)向量p's，身份識別在重構(gòu)圖像域進行，假設(shè)y符合以Zx，pA、^(x,)為中心的高斯混合模型，這樣，y的相似性函數(shù)表示為p(yIA:,x)oceXp{—IIy-Zx2x3一||2/(2(72)}(12)其中p(A:)和/7(A:lx)是等概率的，身份&的后驗概率簡化如下，#Ix,y)=;(yIA;,x)CI*，x)(13)身份識別即為^5二argtmax;(&lx,y)，在上述身份A的后驗概率/7&|x,y)的基礎(chǔ)上，估計身份的系數(shù)向量為(5c)視角系數(shù)估計將測試圖像向量y和得到的身份系數(shù)向量pM戈入所生成的人臉模型式(9)，求解視角在流形上的坐標x'eIT，確定最優(yōu)的視角坐標為x-F(x');(5d)迭代步驟(5b)和(5c)，直至達到終止條件，實現(xiàn)重構(gòu)誤差最小情況下的多視角人臉識別。本發(fā)明的優(yōu)點可通過以下實驗進一步說明1.實驗條件本發(fā)明的實驗是在西安交通大學人工智能與機器人研究所的東方人臉數(shù)據(jù)庫上進行的。實驗中，東方人臉數(shù)據(jù)庫中包含74個人，每人有19個視角在平面外偏轉(zhuǎn)范圍[-90°,...,90°]之間，以10。為間隔采樣，共1406張人臉圖像被采用，部分示例如圖5所示。實驗中比較基于概念驅(qū)動的視角流形CGVM的、基于混合數(shù)據(jù)-概念驅(qū)動視角流形HGVM的以及基于TensorFace的人臉模型在東方人臉數(shù)據(jù)庫上的識別結(jié)果。本發(fā)明采用基于"留一法"的交叉驗證方法對多視角人臉進行識別，即每次留出一個視角的人臉作為測試圖像，其它為訓練圖像。為了驗證基于非線性張量分解的人臉生成模型比基于TensorFace的人臉模型有更好的性能，實驗中對參數(shù)估計采用有迭代的和無迭代的兩種方式進行識別。綜上，總共有4組實驗Ex.l:已有的基于TensorFace的多視角人臉識別；Ex.2:本發(fā)明方法的基于CGVM的非線性模型采用無迭代的參數(shù)求解方法，在重構(gòu)圖像域?qū)Ω鱾€視角下的圖像進行交叉驗證識別；Ex.3:本發(fā)明方法的基于HGVM的非線性模型采用無迭代的參數(shù)求解方法，在重構(gòu)圖像域?qū)Ω鱾€視角下的圖像進行交叉驗證識別；Ex.4:本發(fā)明方法的基于HGVM的非線性模型采用有迭代的參數(shù)求解方法，對各個視角下的圖像進行交叉驗證識別。2.實驗結(jié)果，如表1所示。表l多視角人臉識別結(jié)果比較(％)<table>tableseeoriginaldocumentpage13</column></row><table><table>tableseeoriginaldocumentpage14</column></row><table>表1中"17個視角的平均"表示每組實驗中，對視角2視角18進行識別的平均值；"13個視角的平均"表示每組實驗中，除去視角5、視角6、視角14和視角15后，對視角2~視角18中其它視角進行識別的平均值。如圖3所示，盡管多視角人臉圖像采集時在3D空間是接近等間隔采樣的，可是不同的視角間隔之間人臉自遮擋和表面變化相差很大，特別是在視角5~視角6和視角14~視角15之間。為此，在"13個視角的平均"中將這些視角的信息去除?；诟拍铗?qū)動的視角流形中相鄰視角等間隔分布的假設(shè)，并不適合描述數(shù)據(jù)本身的結(jié)構(gòu)。表1的實驗結(jié)果也印證了這一點，基于CGVM的方法實驗結(jié)果比TensorFace要差，這表明概念驅(qū)動的視角流形并不能有效的表達視角子空間的本質(zhì)結(jié)構(gòu)。這里沒有給出視角i和視角5的識別結(jié)果，因為它們是視角流形的起始點。鑒于己有的基于TensorFace的方法在識別時采用無迭代的參數(shù)求解方法，本發(fā)明提出的基于HGVM的非線性張量人臉生成模型亦采用無迭代的參數(shù)求解方法，在重構(gòu)圖像域進行識別時，識別率提高了近12%。本發(fā)明提出的基于HGVM的人臉生成模型在參數(shù)求解有迭代的情況下，較己有的基于TensorFace識別方法的識別率提高了18.23%18.85%。這表明混合概念和數(shù)據(jù)驅(qū)動的視角流形能更準確的表示數(shù)據(jù)的流形子空間結(jié)構(gòu)，且迭代的參數(shù)求解方法最終使參數(shù)趨向于最優(yōu)解。上述實驗結(jié)果中，在求解基于視角流形的非線性人臉模型中的參數(shù)時，無迭代的情況下，只需對視角沿著流形結(jié)構(gòu)進行一次估計后，求解該視角下最優(yōu)的身份信息，與已有的基于TensorFace人臉模型的方法中遍歷所有視角和身份進行識別的方法相比，本發(fā)明提出的方法計算復(fù)雜度低，識別結(jié)果更準確，對噪聲圖像更穩(wěn)定。權(quán)利要求1.一種基于非線性張量分解與視角流形的多視角人臉識別方法，包括如下過程A.對多視角人臉圖像進行歸一化；B.對歸一化后的人臉圖像，采用留一法劃分多視角人臉圖像數(shù)據(jù)集，選取一組視角下的人臉圖像作為測試樣本集，其它視角下的人臉圖像作為訓練樣本集；C.將訓練集中的人臉圖像沿身份、視角和像素信息變化的方向排列成張量Y，并用高階奇異值分解算法對其進行分解，得到身份系數(shù)矩陣Uidenity、視角系數(shù)矩陣Uview，本征圖像矩陣Upixel和核張量Z，該三個矩陣U之間相互獨立，Z表示該三個矩陣U之間的相互作用關(guān)系；D.利用數(shù)據(jù)-概念驅(qū)動的方式對視角系數(shù)矩陣Uview中的視角系數(shù)進行排列和插值，獲得人臉視角流形V；E.用非線性張量分解中的徑向基函數(shù)先將視角流形V映射到多視角人臉數(shù)據(jù)空間，再將徑向基函數(shù)映射矩陣排列為張量的形式，并進行分解，獲得身份系數(shù)的模矩陣，建立多視角人臉模型其中pk表示第k個的人臉圖像的身份系數(shù)向量p，Z是核張量，xi是視角系數(shù)，ψ是視角系數(shù)和人臉圖像之間的徑向基映射；F.采用基于EM-like的迭代算法求解多視角人臉模型參數(shù)，將滿足最小化重構(gòu)誤差準則的身份系數(shù)作為人臉識別的結(jié)果。2.根據(jù)權(quán)利要求1所述的多視角人臉識別方法，其特征在于所述的步驟D按如下過程進行Dl.取出視角系數(shù)矩陣Uv，的每一行做為一個視角系數(shù)；D2.將視角系數(shù)按照人臉轉(zhuǎn)動的客觀順序進行排列；D3.對排序后的系數(shù)用樣條擬合進行插值，以獲得平滑的人臉視角流形結(jié)構(gòu)F，并用xeC表示流形上的坐標點，,表示e維的實數(shù)空間，這里表示視角流形的維數(shù)。3.根據(jù)權(quán)利要求1所述的多視角人臉識別方法，其特征在于步驟E按如下過程進行El.選定TV個位于視角流形^上的視角系數(shù)，組成集合={x,e，/=1,…,，將《個人的與上述各視角系數(shù)對應(yīng)的多視角人臉圖像組成集合Y、(yX、l,…,A^，"1…《；E2.將視角系數(shù)乂通過徑向基映射函數(shù)/=8^//00映射到^上，其中矩陣B^表示第/t個人在W個視角下的圖像與視角流形之間的徑向基函數(shù)映射矩陣，它嵌入了第A;個人的身份信息，w(X)=W(|x—z,1),…,州x—Z/J),1,xT]T，0表示徑向基函數(shù)映射的核函數(shù)，z,表示各個核函數(shù)的中心；E3.將求得的映射系數(shù)矩陣B、排列為一個(Z)(7V+e+l))x《的張量B，A=1,…,K，用非對稱的雙線性模型將張量5分解成5=Z.[p'，…,p"，其中pA表示第A個的人臉圖像的身份系數(shù)向量p，Z是核張量；E4.根據(jù)視角流形坐標x,、Z和身份系數(shù)p、生成第A個人在第f個視角下的人臉模型為y，=ZxlP*x2w(x,)。4.根據(jù)權(quán)利要求1所述的多視角人臉識別方法，其特征在于步驟F按如下過程進行Fl.用F(x。)表示從x。映射到視角流形r上的點，給定一個新的測試人臉圖像yei、設(shè)定其身份為h根據(jù)所生成的人臉模型，求解測試圖像的視角系數(shù)^eiT,A^l,…乂，對這K個視角系數(shù)按照v、2^;v(X4K進行合成，并將合成后的視角系數(shù)映射到視角流形上，即為初始化的視角系數(shù)x二r(v')，其中/v(xJ符合以F(xt)為中心的高斯分布；F2.根據(jù)求得的視角系數(shù)x，通過所生成的人臉模型對測試圖像y求解身份系數(shù)向量p、身份識別在重構(gòu)圖像域進行，假設(shè)？符合以2><1&><2^/00為中心的高斯混合模型/(ylA:,x)ocexp卜||y—Zx2p、3v/(x)||2/(2cr2)}，其中p(A;)和p(Wx)是等概率的，身份&的后驗概率可簡化為;(A:lx，y)二j!7(yIA,x)/J^;(yIA,x)，身份識別即為~D=arg4maxp(A:|x,y)，身份的系數(shù)向量可通過ps=Zj(61x,y)p^來估計；F3.將測試圖像y和步驟F2中得到的身份系數(shù)向量p'代入所生成的人臉模型y，，求解測試圖像的視角系數(shù)x'eR、并將其映射到視角流形上，即為最優(yōu)的視角坐標為x-F(x〕；F4.迭代步驟F2和F3，直至達到終止條件，實現(xiàn)重構(gòu)誤差最小情況下的多視角人臉識別。5.—種基于非線性張量分解與視角流形的多視角人臉識別方法，包括如下過程:A.對多視角人臉圖像進行歸一化；B.對歸一化后的人臉圖像，采用留一法劃分多視角人臉圖像數(shù)據(jù)集，選取一組視角下的人臉圖像作為測試樣本集，其它視角下的人臉圖像作為訓練樣本集；C.根據(jù)人臉轉(zhuǎn)動的客觀順序，通過概念驅(qū)動的方式生成人臉的視角流形F;D.用非線性張量分解中的徑向基函數(shù)先將視角流形r映射到多視角人臉數(shù)據(jù)空間，再將徑向基函數(shù)映射矩陣排列為張量的形式，并進行分解，獲得身份系數(shù)的模矩陣，建立多視角人臉模型y，-Z、pAx2^(x,)，其中p^表示第yt個的人臉圖像的身份系數(shù)向量P，Z是核張量，x,是視角系數(shù)，^是視角系數(shù)和人臉圖像之間的徑向基映射；E.采用基于EM-like的迭代算法求解多視角人臉模型參數(shù)，將滿足最小化重構(gòu)誤差準則的身份系數(shù)作為人臉識別的結(jié)果。6.根據(jù)權(quán)利要求5所述的多視角人臉識別方法，其特征在于步驟C所述的人臉概念流形的生成方法用均勻分布在半圓上的二維點集表示平面外從左到右旋轉(zhuǎn)的人臉圖像的視角坐標，用該二維點集組成概念驅(qū)動的人臉視角流形。全文摘要本發(fā)明公開了一種基于非線性張量分解與視角流形的多視角人臉識別方法。其過程是對多視角人臉圖像進行尺度歸一化；采用留一法將多視角人臉圖像劃分為測試集和訓練集；將訓練集中的人臉圖像沿身份、視角和像素信息變化的方向排列成張量的形式，對張量數(shù)據(jù)用高階奇異值分解得到人臉圖像的身份、視角及像素因素的系數(shù)矩陣；利用數(shù)據(jù)-概念驅(qū)動的方式對視角系數(shù)進行排列和插值，獲得人臉視角流形；根據(jù)人臉轉(zhuǎn)動的客觀順序，通過概念驅(qū)動的方式生成人臉的視角流形；用非線性張量分解將視角流形映射到多視角人臉數(shù)據(jù)空間，并獲得身份系數(shù)的模矩陣，建立多視角人臉模型；采用基于EM-like的迭代算法求解模型參數(shù)，以參數(shù)滿足最小化重構(gòu)誤差準則實現(xiàn)識別。本發(fā)明具有精度高和速度快的優(yōu)點?？捎糜谏锾卣髯R別領(lǐng)域中不同視角下的復(fù)雜人臉檢索和識別。文檔編號G06K9/62GK101436250SQ20081023234公開日2009年5月20日申請日期2008年11月19日優(yōu)先權(quán)日2008年11月19日發(fā)明者劉振興,穎張,潔李,靜溫,牛振興,王秀美,田春娜,冰肖,成鄧,高新波申請人:西安電子科技大學