本發(fā)明屬于計(jì)算機(jī)視覺(jué)與模式識(shí)別領(lǐng)域，特別涉及深度學(xué)習(xí)，生成對(duì)抗模型(gan)以及傳統(tǒng)的圖像處理方法。

背景技術(shù)：

近年來(lái)，隨著大數(shù)據(jù)技術(shù)的深入發(fā)展，生物特征識(shí)別成為信息安全領(lǐng)域的重要研究方向。作為生物特征識(shí)別中最活躍的分支，人臉識(shí)別在近年來(lái)煥發(fā)了勃勃生機(jī)。從2013年開(kāi)始，隨著深度學(xué)習(xí)的發(fā)展，深度神經(jīng)網(wǎng)絡(luò)逐漸應(yīng)用于人臉識(shí)別領(lǐng)域，獲得了比傳統(tǒng)識(shí)別方法更高的準(zhǔn)確率。盡管基于深度學(xué)習(xí)的人臉識(shí)別算法相比傳統(tǒng)算法有了長(zhǎng)足的進(jìn)步，但目前大多數(shù)人臉識(shí)別系統(tǒng)的假定是單一的限定性場(chǎng)景，即光照環(huán)境可控、用戶配合情況下的場(chǎng)景。然而基于單一限定性場(chǎng)景的人臉識(shí)別應(yīng)用卻很有限，現(xiàn)實(shí)的人臉識(shí)別場(chǎng)景存在光照和姿態(tài)變化等非限定性因素。例如，視頻監(jiān)控早已被廣泛應(yīng)用在道路交通、公共安全、安全控制等方面，對(duì)監(jiān)控視頻中各種姿態(tài)下的人臉識(shí)別，無(wú)疑具有重大應(yīng)用價(jià)值，但目前大多數(shù)通用的人臉識(shí)別系統(tǒng)對(duì)這一情況無(wú)法做到準(zhǔn)確識(shí)別。

目前大多數(shù)算法針對(duì)的都是正面姿態(tài)或者小姿態(tài)(45°以下)，缺乏對(duì)于大姿態(tài)人臉識(shí)別的泛化能力。對(duì)于大姿態(tài)的人臉識(shí)別，挑戰(zhàn)主要在于以下三點(diǎn)：首先，現(xiàn)在普遍的基于基準(zhǔn)點(diǎn)的模型都假設(shè)基準(zhǔn)點(diǎn)是可見(jiàn)的，但是對(duì)于側(cè)臉來(lái)說(shuō)會(huì)存在遮擋不可見(jiàn)的問(wèn)題；其次從正臉圖像到側(cè)臉圖像，隨著姿態(tài)的變化圖像變化非常劇烈；最后包含大姿態(tài)的大規(guī)模數(shù)據(jù)庫(kù)難以獲得，但這恰恰是深度學(xué)習(xí)得以實(shí)施的基礎(chǔ)。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)多姿態(tài)人臉識(shí)別的困難問(wèn)題，尤其是目前大規(guī)模多姿態(tài)人臉數(shù)據(jù)庫(kù)缺乏的問(wèn)題，本發(fā)明提供一種基于生成對(duì)抗網(wǎng)絡(luò)的多姿態(tài)人臉生成方法。

為實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明采用的技術(shù)方案如下：在訓(xùn)練階段，首先收集各種姿態(tài)的人臉數(shù)據(jù)，并基于生成對(duì)抗網(wǎng)絡(luò)(gan)模型訓(xùn)練兩個(gè)深度神經(jīng)網(wǎng)絡(luò)g和d，生成網(wǎng)絡(luò)g用來(lái)模擬原始數(shù)據(jù)生成類似于原始數(shù)據(jù)分布的人臉圖像，鑒別網(wǎng)絡(luò)d用來(lái)區(qū)分輸入圖像是來(lái)自生成網(wǎng)絡(luò)g還是原始圖像數(shù)據(jù)，訓(xùn)練完成后，以隨機(jī)采樣加上姿態(tài)控制參數(shù)輸入生成網(wǎng)絡(luò)g即可得到不同人的各種姿態(tài)下人臉圖像。具體步驟如下：

1)收集多姿態(tài)的人臉圖像，按角度姿態(tài)信息整理分類，并注上標(biāo)注且編碼為姿態(tài)控制參數(shù)y；

2)基于帶條件的生成對(duì)抗網(wǎng)絡(luò)模型訓(xùn)練兩個(gè)深度神經(jīng)網(wǎng)絡(luò)：生成網(wǎng)絡(luò)g和鑒別網(wǎng)絡(luò)d；

3)將隨機(jī)采樣的向量和姿態(tài)控制參數(shù)y輸入生成網(wǎng)絡(luò)g，得到各種姿態(tài)的人臉圖像。

4)將隨機(jī)采樣的各種姿態(tài)的人臉圖像作為新的訓(xùn)練數(shù)據(jù)，訓(xùn)練一個(gè)編碼器用于提取圖像的身份信息特征；

5)測(cè)試階段，輸入一張隨機(jī)姿態(tài)下的圖片，經(jīng)過(guò)步驟4)訓(xùn)練好的編碼器得到身份信息特征，再加上目標(biāo)控制參數(shù)y，通過(guò)步驟2)訓(xùn)練好的生成網(wǎng)絡(luò)g，得到同一個(gè)人的各種姿態(tài)的人臉圖像。

進(jìn)一步地，所述的步驟1)中，標(biāo)注方法具體為：從-45°～45°，每隔15°為一種姿態(tài)，依次標(biāo)注為姿態(tài)0～6，然后編碼為姿態(tài)控制參數(shù)y，姿態(tài)控制參數(shù)y為一個(gè)7維one-hot向量，即向量中只有一個(gè)元素為1，其余元素為0，編碼規(guī)則為：如果為姿態(tài)i，i∈{0,1,…,6}，則對(duì)應(yīng)的姿態(tài)控制參數(shù)y為第i+1個(gè)元素為1，其他6個(gè)元素為0。

進(jìn)一步地，所述的步驟1)中，還包括對(duì)收集的多姿態(tài)的人臉圖像進(jìn)行數(shù)據(jù)預(yù)處理的操作，所述數(shù)據(jù)預(yù)處理包括減均值以及歸一化操作，所述減均值包括圖片意義下的減均值以及基于每個(gè)像素點(diǎn)位置的減均值。

進(jìn)一步地，所述的步驟1)中，收集多姿態(tài)的人臉圖像，使用multi_pie數(shù)據(jù)庫(kù)的第一個(gè)session的前200個(gè)人的7種姿態(tài)下的56000張圖片進(jìn)行訓(xùn)練。

進(jìn)一步地，所述的步驟2)中，生成網(wǎng)絡(luò)g用來(lái)模擬原始數(shù)據(jù)生成類似于原始數(shù)據(jù)分布的人臉圖像，鑒別網(wǎng)絡(luò)d用來(lái)區(qū)分輸入圖像是來(lái)自生成網(wǎng)絡(luò)g還是原始圖像數(shù)據(jù)，所述帶條件的生成對(duì)抗網(wǎng)絡(luò)模型(cgan)以姿態(tài)控制參數(shù)作為條件，其目標(biāo)函數(shù)為：

其中，v(d,g)表示博弈問(wèn)題中的價(jià)值函數(shù)，即需要優(yōu)化的目標(biāo)函數(shù)；x～pdata(x)表示x服從數(shù)據(jù)庫(kù)內(nèi)人臉圖像分布pdata，即表示x來(lái)自數(shù)據(jù)庫(kù)人臉圖像，表示在pdata分布下求期望；z～pz(z)表示z服從先驗(yàn)分布pz，pz為[-1,1]內(nèi)的均勻分布，即z為[-1,1]內(nèi)隨機(jī)采樣的向量，表示在pz分布下求期望；d(x|y))表示輸入x在姿態(tài)控制參數(shù)y的條件下經(jīng)過(guò)鑒別網(wǎng)絡(luò)d的輸出；g(z|y)表示輸入向量z在姿態(tài)控制參數(shù)y的條件下經(jīng)過(guò)生成網(wǎng)絡(luò)g的輸出圖像；d(g(z|y))表示g(z|y)經(jīng)過(guò)鑒別網(wǎng)絡(luò)d的輸出；

訓(xùn)練得到的生成網(wǎng)絡(luò)g能夠根據(jù)姿態(tài)控制參數(shù)y生成各種不同姿態(tài)的人臉圖像，鑒別網(wǎng)絡(luò)d用來(lái)提取輸入圖像的特征。

進(jìn)一步地，所述的步驟3)為：對(duì)[-1,1]上的均勻分布pz進(jìn)行隨機(jī)采樣得到向量z，不同的向量z代表不同的人；根據(jù)向量z和姿態(tài)控制參數(shù)y，利用步驟2)訓(xùn)練好的生成網(wǎng)絡(luò)g，得到各種姿態(tài)下的人臉圖像。

進(jìn)一步地，所述的步驟4)為：

在[-1,1]的均勻分布pz下隨機(jī)采樣得到輸入向量z0；在1-7內(nèi)用隨機(jī)數(shù)隨機(jī)指定一個(gè)位置的元素為1，其余為0，得到輸入姿態(tài)控制參數(shù)y0；將z0和y0同時(shí)輸入生成網(wǎng)絡(luò)g得到采樣的人臉圖像輸出x0；

設(shè)計(jì)一個(gè)編碼器encoder用來(lái)提取輸入圖像x0的特征；編碼器encoder的網(wǎng)絡(luò)結(jié)構(gòu)與鑒別網(wǎng)絡(luò)d相同，僅最后一層全連接層改為與輸入向量z0維度相同，全連接層的輸出向量記為將向量和輸入姿態(tài)控制參數(shù)y0同時(shí)輸入之前訓(xùn)練好的生成網(wǎng)絡(luò)g中，得到相應(yīng)的圖片輸出為了使圖像盡可能逼近圖像x0，設(shè)計(jì)的損失函數(shù)如下：

其中l(wèi)oss(e)表示訓(xùn)練encoder時(shí)需要優(yōu)化的損失函數(shù)，lz和lx分別表示關(guān)于z的損失項(xiàng)和關(guān)于x的損失項(xiàng)，下標(biāo)i表示向量的第i個(gè)元素，n為輸入向量z0的維度，i∈pixel表示圖像上的每個(gè)像素點(diǎn)；

通過(guò)優(yōu)化以上損失函數(shù)，訓(xùn)練好的encoder可以近似得到輸入圖像x的特征z，即輸入圖像x的身份特征。

本發(fā)明的有益效果是：本發(fā)明可以生成大量逼真多姿態(tài)人臉圖像，有效改善多姿態(tài)人臉識(shí)別領(lǐng)域大規(guī)模數(shù)據(jù)缺乏的問(wèn)題，將為后續(xù)的深度神經(jīng)網(wǎng)絡(luò)在多姿態(tài)人臉識(shí)別領(lǐng)域的應(yīng)用帶來(lái)便利。并在此基礎(chǔ)上訓(xùn)練一個(gè)編碼器，有效實(shí)現(xiàn)將各種姿態(tài)的輸入人臉圖像轉(zhuǎn)到目標(biāo)姿態(tài)，最終輸出圖像在具有高真實(shí)性的基礎(chǔ)上同時(shí)保持輸入圖像的身份特征。特別的，將各種姿態(tài)的人臉圖像統(tǒng)一轉(zhuǎn)到正面人臉，相當(dāng)于對(duì)各種姿態(tài)的人臉圖像做了對(duì)齊操作，可以克服姿態(tài)變化提升人臉識(shí)別在多姿態(tài)條件下的識(shí)別率。從現(xiàn)實(shí)應(yīng)用場(chǎng)景來(lái)說(shuō)，監(jiān)控安防等領(lǐng)域都需要對(duì)多姿態(tài)的人臉圖像有一定的識(shí)別率，本發(fā)明將有望推動(dòng)監(jiān)控安防等領(lǐng)域的發(fā)展。

附圖說(shuō)明

圖1是帶條件的生成對(duì)抗網(wǎng)絡(luò)整體結(jié)構(gòu)示意圖；

圖2是生成網(wǎng)絡(luò)g網(wǎng)絡(luò)結(jié)構(gòu)圖；

圖3是鑒別網(wǎng)絡(luò)d網(wǎng)絡(luò)結(jié)構(gòu)圖；

圖4是原始數(shù)據(jù)庫(kù)中人臉圖片；

圖5是生成的多姿態(tài)人臉圖片；

圖6是編碼器encoder訓(xùn)練示意圖；

圖7是編碼器encoder網(wǎng)絡(luò)結(jié)構(gòu)圖；

圖8是輸入任意人臉的旋轉(zhuǎn)效果圖(其中第一列為輸入人臉)。

具體實(shí)施方式

下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。

本發(fā)明提供的一種基于生成對(duì)抗網(wǎng)絡(luò)的多姿態(tài)人臉生成方法，包括以下步驟：

1)收集多姿態(tài)的人臉圖像，按角度姿態(tài)信息整理分類，并注上標(biāo)注且編碼為姿態(tài)控制參數(shù)y；

2)基于帶條件的生成對(duì)抗網(wǎng)絡(luò)模型訓(xùn)練兩個(gè)深度神經(jīng)網(wǎng)絡(luò)：生成網(wǎng)絡(luò)g和鑒別網(wǎng)絡(luò)d；

3)將隨機(jī)采樣的向量和姿態(tài)控制參數(shù)y輸入生成網(wǎng)絡(luò)g，得到各種姿態(tài)的人臉圖像。

4)將隨機(jī)采樣的各種姿態(tài)的人臉圖像作為新的訓(xùn)練數(shù)據(jù)，訓(xùn)練一個(gè)編碼器用于提取圖像的身份信息特征；

5)測(cè)試階段，輸入一張隨機(jī)姿態(tài)下的圖片，經(jīng)過(guò)步驟4)訓(xùn)練好的編碼器得到身份信息特征，再加上目標(biāo)控制參數(shù)y，通過(guò)步驟2)訓(xùn)練好的生成網(wǎng)絡(luò)g，得到同一個(gè)人的各種姿態(tài)的人臉圖像。

進(jìn)一步地，所述的步驟1)中，標(biāo)注方法具體為：從-45°～45°，每隔15°為一種姿態(tài)，依次標(biāo)注為姿態(tài)0～6，然后編碼為姿態(tài)控制參數(shù)y，姿態(tài)控制參數(shù)y為一個(gè)7維one-hot向量，即向量中只有一個(gè)元素為1，其余元素為0，編碼規(guī)則為：如果為姿態(tài)i，i∈{0,1,…,6}，則對(duì)應(yīng)的姿態(tài)控制參數(shù)y為第i+1個(gè)元素為1，其他6個(gè)元素為0。

進(jìn)一步地，所述的步驟1)中，還包括對(duì)收集的多姿態(tài)的人臉圖像進(jìn)行數(shù)據(jù)預(yù)處理的操作，所述數(shù)據(jù)預(yù)處理包括減均值以及歸一化操作，所述減均值包括圖片意義下的減均值以及基于每個(gè)像素點(diǎn)位置的減均值。

進(jìn)一步地，所述的步驟1)中，收集多姿態(tài)的人臉圖像，使用multi_pie數(shù)據(jù)庫(kù)的第一個(gè)session的前200個(gè)人的7種姿態(tài)下的56000張圖片進(jìn)行訓(xùn)練。

進(jìn)一步地，所述的步驟2)中，生成網(wǎng)絡(luò)g用來(lái)模擬原始數(shù)據(jù)生成類似于原始數(shù)據(jù)分布的人臉圖像，鑒別網(wǎng)絡(luò)d用來(lái)區(qū)分輸入圖像是來(lái)自生成網(wǎng)絡(luò)g還是原始圖像數(shù)據(jù)，所述帶條件的生成對(duì)抗網(wǎng)絡(luò)模型(cgan)以姿態(tài)控制參數(shù)作為條件，其目標(biāo)函數(shù)為：

其中，v(d,g)表示博弈問(wèn)題中的價(jià)值函數(shù)，即需要優(yōu)化的目標(biāo)函數(shù)；x～pdata(x)表示x服從數(shù)據(jù)庫(kù)內(nèi)人臉圖像分布pdata，即表示x來(lái)自數(shù)據(jù)庫(kù)人臉圖像，表示在pdata分布下求期望；z～pz(z)表示z服從先驗(yàn)分布pz，pz為[-1,1]內(nèi)的均勻分布，即z為[-1,1]內(nèi)隨機(jī)采樣的向量，表示在pz分布下求期望；d(x|y))表示輸入x在姿態(tài)控制參數(shù)y的條件下經(jīng)過(guò)鑒別網(wǎng)絡(luò)d的輸出；g(z|y)表示輸入向量z在姿態(tài)控制參數(shù)y的條件下經(jīng)過(guò)生成網(wǎng)絡(luò)g的輸出圖像；d(g(z|y))表示g(z|y)經(jīng)過(guò)鑒別網(wǎng)絡(luò)d的輸出；

訓(xùn)練得到的生成網(wǎng)絡(luò)g能夠根據(jù)姿態(tài)控制參數(shù)y生成各種不同姿態(tài)的人臉圖像，鑒別網(wǎng)絡(luò)d用來(lái)提取輸入圖像的特征。

進(jìn)一步地，所述的步驟3)為：對(duì)[-1,1]上的均勻分布pz進(jìn)行隨機(jī)采樣得到向量z，不同的向量z代表不同的人；根據(jù)向量z和姿態(tài)控制參數(shù)y，利用步驟2)訓(xùn)練好的生成網(wǎng)絡(luò)g，得到各種姿態(tài)下的人臉圖像。因?yàn)閦是[-1,1]連續(xù)的隨機(jī)變量，因此該采樣可以生成大量的不同人的多姿態(tài)人臉圖像，改善多姿態(tài)人臉識(shí)別問(wèn)題中數(shù)據(jù)缺乏，尤其是人數(shù)缺乏的問(wèn)題。

進(jìn)一步地，所述的步驟4)為：

在[-1,1]的均勻分布pz下隨機(jī)采樣得到輸入向量z0；在1-7內(nèi)用隨機(jī)數(shù)隨機(jī)指定一個(gè)位置的元素為1，其余為0，得到輸入姿態(tài)控制參數(shù)y0；將z0和y0同時(shí)輸入生成網(wǎng)絡(luò)g得到采樣的人臉圖像輸出x0；

設(shè)計(jì)一個(gè)編碼器encoder用來(lái)提取輸入圖像x0的特征；編碼器encoder的網(wǎng)絡(luò)結(jié)構(gòu)與鑒別網(wǎng)絡(luò)d相同，僅最后一層全連接層改為與輸入向量z0維度相同，全連接層的輸出向量記為將向量和輸入姿態(tài)控制參數(shù)y0同時(shí)輸入之前訓(xùn)練好的生成網(wǎng)絡(luò)g中，得到相應(yīng)的圖片輸出為了使圖像盡可能逼近圖像x0，設(shè)計(jì)的損失函數(shù)如下：

其中l(wèi)oss(e)表示訓(xùn)練encoder時(shí)需要優(yōu)化的損失函數(shù)，lz和lx分別表示關(guān)于z的損失項(xiàng)和關(guān)于x的損失項(xiàng)，下標(biāo)i表示向量的第i個(gè)元素，n為輸入向量z0的維度，i∈pixel表示圖像上的每個(gè)像素點(diǎn)；

通過(guò)優(yōu)化以上損失函數(shù)，訓(xùn)練好的encoder可以近似得到輸入圖像x的特征z，即輸入圖像x的身份特征。

實(shí)施例

本實(shí)施例的實(shí)現(xiàn)過(guò)程如下：

1)收集多姿態(tài)的人臉圖像，按角度姿態(tài)信息整理分類，并注上標(biāo)注且編碼為姿態(tài)控制參數(shù)y；

使用已有的multi_pie數(shù)據(jù)庫(kù)，由4個(gè)session組成，一共包含337個(gè)人的15種姿態(tài)和20種光照下的超過(guò)750000張圖片(雖然該數(shù)據(jù)庫(kù)人臉圖片數(shù)量很多，但是人的數(shù)量相對(duì)較少，而且很大程度上是光照的差異性，而不僅僅是姿態(tài)的各異)，本實(shí)施例中僅使用第一個(gè)session的前200個(gè)人的7種姿態(tài)下的約56000圖片進(jìn)行訓(xùn)練。對(duì)收集的多姿態(tài)的人臉圖像進(jìn)行數(shù)據(jù)預(yù)處理，數(shù)據(jù)預(yù)處理包括減均值(包括圖片意義下的減均值以及基于每個(gè)像素點(diǎn)位置的減均值)以及歸一化等操作。標(biāo)注方法具體為：從-45°～45°，每隔15隔為一種姿態(tài)，依次標(biāo)注為姿態(tài)0～6，然后編碼為姿態(tài)控制參數(shù)y，姿態(tài)控制參數(shù)y為一個(gè)7維one-hot向量(即向量中只有一個(gè)元素為1，其余元素為0)，編碼規(guī)則為：如果為姿態(tài)i(i∈{0,1,…,6})，則對(duì)應(yīng)的姿態(tài)控制參數(shù)y為第i+1個(gè)元素為1，其他6個(gè)元素為0。

2)基于帶條件的生成對(duì)抗網(wǎng)絡(luò)模型訓(xùn)練兩個(gè)深度神經(jīng)網(wǎng)絡(luò)：生成網(wǎng)絡(luò)g和鑒別網(wǎng)絡(luò)d；

生成對(duì)抗網(wǎng)絡(luò)(gan)由g和d兩個(gè)深度神經(jīng)網(wǎng)絡(luò)構(gòu)成，生成網(wǎng)絡(luò)g用來(lái)模擬原始數(shù)據(jù)生成類似于原始數(shù)據(jù)分布的人臉圖像，鑒別網(wǎng)絡(luò)d用來(lái)區(qū)分輸入圖像是來(lái)自生成網(wǎng)絡(luò)g還是原始圖像數(shù)據(jù)，兩個(gè)網(wǎng)絡(luò)的優(yōu)化轉(zhuǎn)化為一個(gè)博弈問(wèn)題，利用一個(gè)極大極小目標(biāo)函數(shù)來(lái)優(yōu)化兩個(gè)網(wǎng)絡(luò)：

其中，v(d,g)表示博弈問(wèn)題中的價(jià)值函數(shù)，即需要優(yōu)化的目標(biāo)函數(shù)；x～pdata(x)表示x服從數(shù)據(jù)庫(kù)內(nèi)人臉圖像分布pdata，即表示x來(lái)自數(shù)據(jù)庫(kù)人臉圖像，表示在pdata分布下求期望；z～pz(z)表示z服從先驗(yàn)分布pz，本實(shí)施例中，pz為[-1,1]內(nèi)的100維均勻分布，即z為[-1,1]內(nèi)隨機(jī)采樣的100維向量，表示在pz分布下求期望；d(x)表示輸入x經(jīng)過(guò)鑒別網(wǎng)絡(luò)d的輸出，g(z)表示輸入向量z經(jīng)過(guò)生成網(wǎng)絡(luò)g的輸出圖像。本實(shí)施例中為了生成各種姿態(tài)下的人臉圖像，采用帶條件的生成對(duì)抗模型(cgan)，以姿態(tài)控制參數(shù)作為條件，其目標(biāo)函數(shù)為：

d(x|y))表示輸入x在姿態(tài)控制參數(shù)y的條件下經(jīng)過(guò)鑒別網(wǎng)絡(luò)d的輸出；g(z|y)表示輸入向量z在姿態(tài)控制參數(shù)y的條件下經(jīng)過(guò)生成網(wǎng)絡(luò)g的輸出圖像；d(g(z|y))表示g(z|y)經(jīng)過(guò)鑒別網(wǎng)絡(luò)d的輸出；y為編碼好的姿態(tài)控制參數(shù)，一個(gè)7維one-hot向量。訓(xùn)練整體框架結(jié)構(gòu)示意圖如圖1所示，我們?cè)O(shè)計(jì)的生成網(wǎng)絡(luò)g和鑒別網(wǎng)絡(luò)d分別如圖2，3所示。

訓(xùn)練得到的生成網(wǎng)絡(luò)g能夠根據(jù)姿態(tài)控制參數(shù)y生成各種不同姿態(tài)的人臉圖像，鑒別網(wǎng)絡(luò)d用來(lái)提取輸入圖像的特征。

3)將隨機(jī)采樣的向量和姿態(tài)控制參數(shù)y輸入生成網(wǎng)絡(luò)g，得到各種姿態(tài)的人臉圖像。

對(duì)[-1,1]上的均勻分布pz進(jìn)行隨機(jī)采樣得到向量z，不同的向量z代表不同的人；根據(jù)向量z和姿態(tài)控制參數(shù)y，利用步驟2)訓(xùn)練好的生成網(wǎng)絡(luò)g，得到各種姿態(tài)下的人臉圖像，作為對(duì)比，這里展示原始數(shù)據(jù)集中人臉圖像如圖4所示，以及生成的各種姿態(tài)人臉圖像如圖5所示。從生成的圖像可以看出：身份特性控制和姿態(tài)控制完全拆解開(kāi)，給定相同的姿態(tài)控制參數(shù)，采樣得到不同的表征身份特性的z將得到相同姿態(tài)下的不同人的圖像(如圖5中每一列)，同時(shí)對(duì)于給定的身份特性z，采樣得到不同的y將生成同一個(gè)人在不同姿態(tài)下的人臉圖像(如圖5中的每一行)。因?yàn)閦是[-1,1]連續(xù)的隨機(jī)變量，因此該采樣可以生成大量的不同人的多姿態(tài)人臉圖像，改善多姿態(tài)人臉識(shí)別問(wèn)題中數(shù)據(jù)缺乏，尤其是人數(shù)缺乏的問(wèn)題。

4)將隨機(jī)采樣的各種姿態(tài)的人臉圖像作為新的訓(xùn)練數(shù)據(jù)，訓(xùn)練一個(gè)編碼器用于提取圖像的身份信息特征；

在[-1,1]的均勻分布pz下隨機(jī)采樣得到輸入向量z0(100維)；在1-7內(nèi)用隨機(jī)數(shù)隨機(jī)指定一個(gè)位置的元素為1，其余為0，得到輸入姿態(tài)控制參數(shù)y0；將z0和y0同時(shí)輸入生成網(wǎng)絡(luò)g得到采樣的人臉圖像輸出x0；

設(shè)計(jì)一個(gè)編碼器encoder用來(lái)提取輸入圖像x0的特征；編碼器encoder的網(wǎng)絡(luò)結(jié)構(gòu)與鑒別網(wǎng)絡(luò)d相同，僅最后一層全連接層改為100維，即輸出為100維向量將向量和輸入姿態(tài)控制參數(shù)y0同時(shí)輸入之前訓(xùn)練好的生成網(wǎng)絡(luò)g中，得到相應(yīng)的圖片輸出為了使圖像盡可能逼近圖像x0，設(shè)計(jì)的損失函數(shù)如下：

其中l(wèi)oss(e)表示訓(xùn)練encoder時(shí)需要優(yōu)化的損失函數(shù)，lz和lx分別表示關(guān)于z的損失項(xiàng)和關(guān)于x的損失項(xiàng)，下標(biāo)i表示向量的第i個(gè)元素，i∈pixel表示圖像上的每個(gè)像素點(diǎn)。編碼器encoder訓(xùn)練示意圖如圖6所示，編碼器encoder的具體網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。

通過(guò)優(yōu)化以上損失函數(shù)，訓(xùn)練好的encoder可以近似得到輸入圖像x的特征z，即輸入圖像x的身份特征。

5)測(cè)試階段，輸入一張隨機(jī)姿態(tài)下的圖片，經(jīng)過(guò)步驟4)訓(xùn)練好的編碼器得到身份信息特征，再加上目標(biāo)控制參數(shù)y，通過(guò)步驟2)訓(xùn)練好的生成網(wǎng)絡(luò)g，得到同一個(gè)人的各種姿態(tài)的人臉圖像。輸入隨機(jī)姿態(tài)人臉圖像的旋轉(zhuǎn)效果如圖8所示，其中第一列為輸入隨機(jī)姿態(tài)圖像，后面7列為將輸入人臉轉(zhuǎn)到7個(gè)不同角度，同時(shí)保持身份特性。從圖中可以看出，身份特性得到較好保持，同時(shí)姿態(tài)控制也達(dá)到效果。