專利名稱：一種人臉圖像處理方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)，尤指 一種人臉圖像處理方法及裝置。
背景技術(shù)：
圖像捕捉設(shè)備獲取的圖像通常需要經(jīng)過亮度調(diào)整、去噪、邊緣增強等處 理，以使得到的圖像具有合適的亮度、對比度等。目前，這些處理都是針對 整個圖像進行的。
人臉圖像區(qū)域作為圖像中的主要感興趣區(qū)域，通常是人們最關(guān)心的區(qū) 域。在不同的應(yīng)用環(huán)境中，人們對圖像的要求是不同的。在視頻聊天等應(yīng)用 環(huán)境中，人們往往希望對人臉圖像進行美化處理，減弱皺紋、消除色斑、平 滑皮膚等?，F(xiàn)有的人臉美化方法主要是調(diào)整人臉的亮度和膚色，這樣，在改 善人臉亮度和膚色的同時可能使得全圖的亮度、色度變得讓人無法接受。除 此之外，還沒有專門對人臉進行美化的方法。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明的主要目的在于提供一種人臉圖像處理方法，能夠保 證在對人臉圖像進行美化的同時，不影響整幅圖像的效果。
本發(fā)明的另一目的在于提供一種人臉圖像處理裝置，能夠保證在對人臉 圖像進行美化的同時，不影響整幅圖像的效果。
為達到上述目的，本發(fā)明的技術(shù)方案具體是這樣實現(xiàn)的 一種人臉圖像處理方法，該方法包括以下步驟
A. 對圖像中的人臉圖像進行關(guān)鍵點提取，并將提取的用以定位的關(guān)鍵點的 人臉圖像拉伸至標(biāo)準(zhǔn)形狀；
B. 在預(yù)先訓(xùn)練的主元空間投影標(biāo)準(zhǔn)形狀的人臉圖像，得到投影向量，并利用該投影向量在主元空間進行重構(gòu)以獲得重構(gòu)的標(biāo)準(zhǔn)形狀的人臉圖像； C.將重構(gòu)得到的標(biāo)準(zhǔn)形狀的人臉圖像拉伸至原來的形狀并貼回原圖。 所述步驟A之前還包括在圖像中檢測人臉區(qū)域。 所述步驟A中的關(guān)鍵點提取的方法為活動形狀模型，或活動外觀模型，
或活動輪廓模型。
所述步驟A中的拉伸方法為基于三角形的仿射變換 先對所述人臉圖像進行三角化處理，產(chǎn)生三角形網(wǎng)格，將人臉圖像分割
為一組互不相交的三角形；
然后將三角化后的人臉圖像拉伸至 一預(yù)設(shè)標(biāo)準(zhǔn)形狀。 該方法還包括預(yù)先訓(xùn)練標(biāo)準(zhǔn)形狀人臉圖像的主元空間；具體為 選擇合適的訓(xùn)練樣本以構(gòu)成訓(xùn)練圖像集；定位人臉樣本上的多個關(guān)鍵點； 將人臉樣本進行三角化處理并拉伸至預(yù)設(shè)的標(biāo)準(zhǔn)形狀得到標(biāo)準(zhǔn)形狀的訓(xùn)
練集；
對標(biāo)準(zhǔn)形狀的訓(xùn)練樣本集進行KL變換得到人臉的主元空間。 所述步驟B中得到投影向量的方法為y = PTX，其中， P表示由主元空間的基向量構(gòu)成的特征矩陣，P的每一列為一個特征向量； y表示投影向量；X表示拉伸到標(biāo)準(zhǔn)形狀后的人臉圖像，并排列成一個列向量。
所述步驟B中的重構(gòu)的方法為X'=Py,其中，X'表示重構(gòu)后的人臉 圖像，X'為一維向量，將X'進行重新排列得到二維人臉圖像。 一種人臉圖像處理裝置，該裝置包括 人臉檢測模塊，用于從輸入的圖像中檢測出人臉區(qū)域； 關(guān)鍵點提取模塊，用于對檢測出的人臉圖像進行關(guān)鍵點提取，以定位人 臉關(guān)鍵點，得到人臉關(guān)鍵點位置；
形狀變換模塊，用于將已定位關(guān)鍵點的人臉圖像拉伸至標(biāo)準(zhǔn)形狀； 主元空間處理模塊，用于在預(yù)先訓(xùn)練的主元空間投影標(biāo)準(zhǔn)形狀的人臉圖 像，得到投影向量，并利用該投影向量在主元空間進行重構(gòu)以獲得標(biāo)準(zhǔn)形狀的人臉圖像；
逆形狀變換模塊，用于將重構(gòu)后的標(biāo)準(zhǔn)形狀的人臉圖像拉伸至原來的形 狀并貼回原圖。
由上述技術(shù)方案可見，本發(fā)明這種人臉圖像美化方法是對攝像頭拍攝到 的圖像中的人臉區(qū)域進行處理，本發(fā)明通過人臉的主元分析和在主元空間的 重構(gòu)，使人臉區(qū)域的紋理更加平滑、亮度更加均勻，同時減弱人臉上的斑點、 皺紋等，達到改善人臉圖像、美化人臉的目的。由于本發(fā)明方案僅針對人臉 圖像部分進行處理，不會影響整幅圖像的效果。


圖l是本發(fā)明方法的流程圖2是本發(fā)明關(guān)鍵點定義的示意圖3是本發(fā)明人臉拉伸三角化的結(jié)果實例圖4是本發(fā)明訓(xùn)練主元空間的過程示意圖5是本發(fā)明裝置的組成結(jié)構(gòu)示意圖。
具體實施例方式
本發(fā)明提出人臉圖像美化方法，首先檢測圖像中是否存在人臉圖像，如 果存在，提取人臉的區(qū)域；將人臉區(qū)域在預(yù)先訓(xùn)練的主元空間進行投影，并 根據(jù)投影結(jié)果進行重構(gòu)。由于預(yù)先訓(xùn)練的主元空間只保留了人臉圖像的低頻 部分的分量，去除了高頻部分，因此重構(gòu)的人臉圖像只包含圖像中的低頻分量， 去除了高頻分量。而在人臉圖像中，低頻部分通常包含亮度、膚色、姿態(tài)、臉 形、表情等信息，高頻部分通常包含斑點、皺紋、紋理粗細等細節(jié)信息。因此， 通過將人臉圖像在主元空間進行投影和重構(gòu)，使人臉圖像的膚色和紋理變得 均勻，皺紋減弱，斑點消失等，從而達到了改善人臉圖像、美化人臉的目的。 由于本發(fā)明方案僅針對人臉圖像部分進行處理，不會影響整幅圖像的效果。
為使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下參照附圖并舉實施例，對本發(fā)明進一步詳細說明。
圖1是本發(fā)明方法的流程圖，包括以下步驟 步驟100:在圖像中檢測人臉圖像。
人臉檢測是一種比較成熟的技術(shù)，現(xiàn)有實現(xiàn)方法很多，這里不再詳細描 述。在檢測出圖像中存在人臉時，獲取圖像中人臉的矩形區(qū)域。
為了保證人臉的矩形區(qū)域內(nèi)包含有人臉的輪廓，可以適當(dāng)放大人臉的矩 形區(qū)域。
步驟101:對檢測到的人臉圖像進行關(guān)鍵點提取，以定位人臉關(guān)鍵點。 人臉關(guān)鍵點提取是定位人臉上的關(guān)鍵點，通常人臉的關(guān)鍵點具有一定的 意義，如內(nèi)外眼角點、鼻孔、嘴角、眉尖等。為了方便后續(xù)的圖像拉伸，通 常的關(guān)鍵點的個數(shù)可取幾十個。本步驟可采用現(xiàn)有如活動形狀模型(ASM， Active shape model )、 活動夕卜觀模型(AAM， Active appearance model )、 活 動輪廓模型(ACM , Active contour model)等方法實現(xiàn)，這些方法可以有 效用于人臉關(guān)鍵點的提取。
以ASM方法為例做大致介紹。ASM采用參數(shù)化的采樣形狀來構(gòu)成對象 形狀模型，并利用主分量分析(PCA)方法建立描述形狀控制點即關(guān)鍵點的 運動模型，最后利用 一組參數(shù)組來控制形狀控制點的位置變化從而逼近當(dāng)前 對象的形狀。具體來講，ASM方法首先針對特定目標(biāo)建立形狀模型，然后 對形狀模型中的每個關(guān)鍵點，建立關(guān)鍵點附近的運動模型(灰度模型)；然 后利用灰度模型在目標(biāo)圖像中搜索關(guān)鍵點的最佳位置，再根據(jù)搜索結(jié)果調(diào)整 形狀模型的參數(shù)以保證新形狀還是人臉形狀，最后利用灰度模型在新的形狀 周圍搜索新的關(guān)鍵點位置，這樣循環(huán)直到收斂。
關(guān)鍵點數(shù)量的選擇需要考慮圖像的具體情況，比如形狀變化較大、信息 密集的區(qū)域可以選擇較多的關(guān)鍵點，形狀變化較小的區(qū)域可以選擇較少的關(guān) 鍵點。圖2是本發(fā)明關(guān)鍵點定義的示意圖。
步驟102:將定位關(guān)鍵點的人臉圖像拉伸至標(biāo)準(zhǔn)形狀。 人臉拉伸是將人臉圖像由一個形狀拉伸到另一個形狀。顯然，人臉拉伸應(yīng)該保證關(guān)鍵點拉伸后仍然是對應(yīng)位置的關(guān)鍵點，比如，鼻尖關(guān)鍵點拉伸后 仍然是拉伸后圖像的鼻尖關(guān)鍵點。人臉拉伸的方法為基于三角形的仿射變換。
通常先進行圖像的三角化，產(chǎn)生三角形網(wǎng)格，將人臉圖像分割為一組互 不相交的三角形。三角化的目標(biāo)是把一幅圖像分成若干個小的三角形，其要
求是所有的三角形能夠覆蓋整個圖像區(qū)域，且三角形之間不重疊。圖3是本 發(fā)明人臉三角化的結(jié)果實例圖。三個關(guān)鍵點確定一個三角形，通過拉伸將一 個三角形變成另 一個三角形。每個三角形內(nèi)的象素點按照同 一個規(guī)則變化。 通過三角形拉伸將圖像由一個形狀拉伸至另一個預(yù)設(shè)的標(biāo)準(zhǔn)形狀。標(biāo)準(zhǔn)形狀 通常選擇多個訓(xùn)練樣本的平均形狀。三角形拉伸的過程是一個仿射變換。 拉伸的公式如公式(1 )所示
'.,a 6、"、'、
+
(1)
其中，(xo, y0)為原圖中的坐標(biāo)，(x, y)為拉伸后的坐標(biāo)，a, b, c， d， ox, Oy為變換參數(shù)。將已知的兩個三角形的6個頂點坐標(biāo)代入公式(1 ), 可以得到一個多元一次方程組，通過求解這個方程組得到變換參數(shù)。得到變 換參數(shù)后，將原圖的坐標(biāo)帶入公式(1 )，可以得到拉伸后的坐標(biāo)。
步驟103:在預(yù)先訓(xùn)練的主元空間投影標(biāo)準(zhǔn)形狀的人臉圖像，得到投影 向量，并利用該投影向量在主元空間進行重構(gòu)以獲得重構(gòu)的標(biāo)準(zhǔn)形狀的人臉 圖像。
在圖像處理中，主元分析是統(tǒng)計模式識別中將數(shù)據(jù)從高維空間映射到低 維空間的數(shù)據(jù)降維的標(biāo)準(zhǔn)方法。主元分析通過降維尋找圖像數(shù)據(jù)的主要統(tǒng)計 特征，從而達到增強圖像有用信息，減少噪聲的影響。主元分析能夠根據(jù)對 象的分布尋找一組相互正交的基函數(shù)，使得這組基函數(shù)指向具有最大數(shù)據(jù)分 布方差的方向。
除了主元分析，還存在其他的數(shù)據(jù)降維的方法，如獨立分量分析、小波 分析等。與這些方法相比，主元分析具有相關(guān)性好，且為均方誤差意義下的最佳變換。
在人臉圖像中，可以認為人臉上的斑點、小皺紋等非普遍的特點是噪聲， 采用主元分析的方法可以去除這種噪聲，保留人臉上其它的特征，從而美化 了人臉。通過主元分析的方法，把訓(xùn)練圖像拉伸到標(biāo)準(zhǔn)形狀后，不同的人臉 按照關(guān)鍵點進行了對準(zhǔn)。此時，訓(xùn)練圖像的主要能量集中在亮度差異、表情 差異等方向，而皺紋、斑點等由于不具有普遍性或者無法精確對準(zhǔn)，不具有 較大的能量，因此很難在主元空間中表現(xiàn)出來，從而達到了減弱設(shè)置消除人 臉上的斑點、小皺紋等非普遍特點的噪聲。
要采用主元分析方法，首先要訓(xùn)練主元空間，圖4是本發(fā)明訓(xùn)練主元空 間的過程示意圖，如圖4所示，
首先，訓(xùn)練主元空間需要選擇合適的訓(xùn)練樣本以構(gòu)成訓(xùn)練圖像集。為了 使主元空間反映美化的人臉圖像具有主要的能量方向，用來訓(xùn)練主元空間的 人臉圖像樣本通常選取亮度均勻、膚色均勻、紋理一致、無明顯缺陷等特點 的人臉圖像。
其次，將選擇的人臉圖像樣本先進行對準(zhǔn)，如采用ASM的方法定位人臉 樣本上的多個關(guān)鍵點；
然后，采用基于三角形的拉伸方法將人臉區(qū)域進行三角化，將人臉拉伸 到預(yù)設(shè)的標(biāo)準(zhǔn)形狀，得到標(biāo)準(zhǔn)形狀的訓(xùn)練集。此時，拉伸到標(biāo)準(zhǔn)形狀的人臉 圖像的位置相同的象素具有相同的意義，比如同是眼角點、嘴角點等。標(biāo)準(zhǔn) 形狀通?？梢赃x擇訓(xùn)練樣本的平均形狀。
如此，多個標(biāo)準(zhǔn)形狀的訓(xùn)練樣本通過KL變換(其中，KL是兩個名字 Karhunen和Loeve的首字母)得到人臉的主元空間，主元空間的基向量構(gòu)成 特征矩陣P, P的每一列為一個特征向量。訓(xùn)練得到的主元空間的第一維反 應(yīng)的是訓(xùn)練樣本中能量最大的方向，第二維反映的是能量次大的方向，其它 維依次類推。預(yù)先訓(xùn)練的主元空間只保留了人臉圖像的低頻部分的分量，去 除了高頻部分。
得到預(yù)先訓(xùn)練的主元空間后，將拉伸到標(biāo)準(zhǔn)形狀后的人臉圖像排列成一個列向量X， X的維數(shù)通常為幾千維到幾萬維，投影向量y的計算方法為 y = PTX， y的維數(shù)通常為幾十維。可以看出，將圖像映射到主元空間， 類似為一個低通濾波，大大降低了人臉數(shù)據(jù)的維數(shù)，只保留了低頻部分的分量。
有了人臉圖像在主元空間的投影向量y后，最后通過X'- P y重構(gòu)人臉 圖像X'。 X'為一維向量，將X，進行重新排列得到二維人臉圖像，即重構(gòu) 得到的標(biāo)準(zhǔn)形狀的人臉圖像。
從本步驟的實現(xiàn)可以看出，重構(gòu)圖像與進行主元空間投影的圖像的差異 是E = X- X'，損失的是非主元空間中的能量，這些能量反映的是人臉 圖像中的特殊點，比如人臉上的斑點、小皺紋等瑕疵，同時，低通率波具有 平滑人臉的紋理、減弱亮度突變的效果，從而重構(gòu)圖像實現(xiàn)了人臉美化的目 的。
步驟104:將重構(gòu)后的標(biāo)準(zhǔn)形狀的人臉圖像拉伸回原來的形狀并貼回原圖。
將重構(gòu)得到的人臉圖像拉伸到原來的形狀并貼回原圖，完成人臉美化的 過程。本步驟是步驟102的逆過程，具體實現(xiàn)屬于現(xiàn)有方法，這里不再贅述。
由于預(yù)先訓(xùn)練的主元空間只保留了人臉圖像的低頻部分的分量，去除了高 頻部分，因此重構(gòu)的人臉圖像只包含圖像中的低頻分量，去除了高頻分量。而 在人臉圖像中，低頻部分通常包含亮度、膚色、姿態(tài)、臉形、表情等信息，高 頻部分通常包含斑點、皺紋、紋理粗細等細節(jié)信息。因此，通過將人臉圖像在 主元空間進行投影和重構(gòu)，使人臉圖像的膚色和紋理變得均勻，皺紋減弱，斑 點消失等，從而達到了改善人臉圖像、美化人臉的目的。
圖5是本發(fā)明裝置的組成結(jié)構(gòu)示意圖，如圖5所示，主要包括人臉檢測模 塊、關(guān)鍵點提取模塊、拉伸模塊、主元空間處理模塊、逆拉伸模塊，以及預(yù) 先訓(xùn)練好的主元空間存儲模塊。其中，
人臉檢測模塊，用于從輸入的圖像中檢測出人臉區(qū)域。
關(guān)鍵點提取模塊，用于對檢測出的人臉圖像進行關(guān)鍵點定位，以得到人臉關(guān)鍵點位置。
形狀變換模塊，用于將已定位關(guān)鍵點的人臉圖像拉伸至標(biāo)準(zhǔn)形狀。
主元空間處理模塊，用于在預(yù)先訓(xùn)練的主元空間投影標(biāo)準(zhǔn)形狀的人臉圖
像，得到投影向量，并利用該投影向量在主元空間進行重構(gòu)以獲得標(biāo)準(zhǔn)形狀
的人臉圖像。
逆形狀變換模塊，用于將重構(gòu)后的標(biāo)準(zhǔn)形狀的人臉圖像拉伸至原來的形 狀并貼回原圖。
以上所述僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范 圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換以及改進等， 均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.一種人臉圖像處理方法，其特征在于，該方法包括以下步驟A.對圖像中的人臉圖像進行關(guān)鍵點提取，并將提取的用以定位的關(guān)鍵點的人臉圖像拉伸至標(biāo)準(zhǔn)形狀；B.在預(yù)先訓(xùn)練的主元空間投影標(biāo)準(zhǔn)形狀的人臉圖像，得到投影向量，并利用該投影向量在主元空間進行重構(gòu)以獲得重構(gòu)的標(biāo)準(zhǔn)形狀的人臉圖像；C.將重構(gòu)得到的標(biāo)準(zhǔn)形狀的人臉圖像拉伸至原來的形狀并貼回原圖。
2. 根據(jù)權(quán)利要求1所述的人臉圖像處理方法，其特征在于，所述步驟 A之前還包括在圖像中檢測人臉區(qū)域。
3. 根據(jù)權(quán)利要求1或2所述的人臉圖像處理方法，其特征在于，所述步驟 A中的關(guān)鍵點提取的方法為活動形狀模型，或活動外觀模型，或活動輪廓模 型。
4. 根據(jù)權(quán)利要求1或2所述的人臉圖像處理方法，其特征在于，所述 步驟A中的拉伸方法為基于三角形的仿射變換先對所述人臉圖像進行三角化處理，產(chǎn)生三角形網(wǎng)格，將人臉圖像分割 為一組互不相交的三角形；然后將三角化后的人臉圖像拉伸至一預(yù)設(shè)標(biāo)準(zhǔn)形狀。
5. 根據(jù)權(quán)利要求1或2所述的人臉圖像處理方法，其特征在于，該方 法還包括預(yù)先訓(xùn)練標(biāo)準(zhǔn)形狀人臉圖像的主元空間；具體為選擇合適的訓(xùn)練樣本以構(gòu)成訓(xùn)練圖像集；定位人臉樣本上的多個關(guān)鍵點； 將人臉樣本進行三角化處理并拉伸至預(yù)設(shè)的標(biāo)準(zhǔn)形狀得到標(biāo)準(zhǔn)形狀的訓(xùn) 練集；對標(biāo)準(zhǔn)形狀的訓(xùn)練樣本集進行KL變換得到人臉的主元空間。
6. 根據(jù)權(quán)利要求5所述的人臉處理方法，其特征在于，所述步驟B中 得到投影向量的方法為y-pTX，其中，P表示由主元空間的基向量構(gòu)成的特征矩陣，P的每一列為一個特征向量；y表示投影向量；X表示拉伸到標(biāo)準(zhǔn)形狀后的人臉圖像，并排列成一個列向量。
7. 根據(jù)權(quán)利要求6所述的人臉處理方法，其特征在于，所述步驟B中 的重構(gòu)的方法為X'=Py,其中，X'表示重構(gòu)后的人臉圖像，X'為一維 向量，將X'進行重新排列得到二維人臉圖像。
8. —種人臉圖像處理裝置，其特征在于，該裝置包括 人臉檢測模塊，用于從輸入的圖像中檢測出人臉區(qū)域； 關(guān)鍵點提取模塊，用于對檢測出的人臉圖像進行關(guān)鍵點提取，以定位人臉關(guān)鍵點，得到人臉關(guān)鍵點位置； .形狀變換模塊，用于將已定位關(guān)鍵點的人臉圖像拉伸至標(biāo)準(zhǔn)形狀； 主元空間處理模塊，用于在預(yù)先訓(xùn)練的主元空間投影標(biāo)準(zhǔn)形狀的人臉圖 像，得到投影向量，并利用該投影向量在主元空間進行重構(gòu)以獲得標(biāo)準(zhǔn)形狀 的人臉圖像；逆形狀變換模塊，用于將重構(gòu)后的標(biāo)準(zhǔn)形狀的人臉圖像拉伸至原來的形 狀并貼回原圖。
全文摘要
本發(fā)明公開了一種人臉圖像處理方法及裝置。本發(fā)明方案將圖像中的人臉區(qū)域在預(yù)先訓(xùn)練的主元空間進行投影，根據(jù)投影結(jié)果進行重構(gòu)。由于預(yù)先訓(xùn)練的主元空間只保留了人臉圖像的低頻部分的分量，去除了高頻部分，因此重構(gòu)的人臉圖像只包含圖像中的低頻分量，去除了高頻分量。而在人臉圖像中，低頻部分通常包含亮度、膚色、姿態(tài)、臉形、表情等信息，高頻部分通常包含斑點、皺紋、紋理粗細等細節(jié)信息。因此，通過將人臉圖像在主元空間進行投影和重構(gòu)，使人臉圖像的膚色和紋理變得均勻，皺紋減弱，斑點消失等，從而達到了改善人臉圖像、美化人臉的目的。由于本發(fā)明方案僅針對人臉圖像部分進行處理，不會影響整幅圖像的效果。
文檔編號G06T5/20GK101299267SQ20081011605
公開日2008年11月5日 申請日期2008年7月2日 優(yōu)先權(quán)日2008年7月2日
發(fā)明者王俊艷, 英 黃 申請人:北京中星微電子有限公司