人臉關鍵點的定位方法和裝置的制造方法
【技術領域】
[0001] 本發(fā)明涉及人臉識別技術領域，更具體地，涉及一種通過采用多個人臉定位模型 來對人臉關鍵點進行定位的方法和裝置。
【背景技術】
[0002] 人臉關鍵點定位技術的目的是在輸入的人臉圖片上，以人臉檢測給出的初始位置 為基礎，獲取一系列關鍵點（眼角、嘴角、鼻尖等）的幾何位置。該技術在人臉識別、照片美 化、人臉動畫等相關應用中起到核心作用，直接影響其效果。人臉受到姿態(tài)、表情、光照、性 另IJ、年齡、種族等因素影響，其外觀變化多樣，使得定位的穩(wěn)定性受到嚴重影響。
[0003] 現(xiàn)有技術主要使用三類方法來解決人臉關鍵點定位中的多樣性問題：
[0004] 1)三維方法：創(chuàng)建一個三維模型用于定位。由于三維信息不受姿態(tài)和光照影響， 這可以提高了在不同姿態(tài)光照下的穩(wěn)定性。
[0005] 2)局部方法：使用關鍵點附近的小區(qū)域為特征，逐個定位每個關鍵點。小區(qū)域在 上述因素影響下變化較小，能在一定范圍內提高定位的穩(wěn)定性。
[0006] 3)分姿態(tài)方法：首先判斷姿態(tài)，而后施用不同定位模型進行定位。針對一種姿態(tài) 的定位模型穩(wěn)定性較高。
[0007] 然而，以上的人臉關鍵點定位技術也存在一定的不足。具體地，三維方法需要額外 的硬件（例如，需要兩個照相機來產(chǎn)生三維圖像）或人工輸入來獲取用戶的三維模型，這造 成硬件成本的增加。
[0008] 局部方法缺乏全局約束，因此當人臉檢測給出的初始關鍵點位置偏差較大時，容 易出現(xiàn)錯誤。即使在局部方法中添加一個全局約束，該全局約束同樣受到人臉多樣性的影 響。
[0009] 分姿態(tài)方法不能處理除姿態(tài)之外的變化因素，如果對所有可能的變化因素逐個分 別處理，則需要的定位模型數(shù)量過多，使得系統(tǒng)所占空間過大，執(zhí)行定位時速度降低。
[0010] 因此，需要一種新型的人臉關鍵點定位方法和系統(tǒng)，能夠在不增加硬件成本的情 況下，充分考慮人臉多樣性，實現(xiàn)對人臉關鍵點的快速、自適應性定位。

【發(fā)明內容】

[0011] 本發(fā)明使用多個定位模型對人臉圖片進行關鍵點定位，然后利用一個評價模型選 出最優(yōu)的定位結果。此外，根據(jù)最優(yōu)的定位結果，本發(fā)明還可以對已有的定位模型進行更 新，或者增添新的定位模型，同時可以對評價模型進行更新，從而實現(xiàn)自適應的人臉關鍵點 定位。
[0012] 另外，本發(fā)明利用不同模型定位不同類型人臉上的關鍵點，提高了定位的穩(wěn)定性。 定位模型可針對用戶輸入進行調整，有效控制系統(tǒng)規(guī)模，節(jié)省執(zhí)行時間。
[0013] 本發(fā)明的一方面提供一種用于人臉關鍵點位置的定位方法，包括：使用基于多個 類型的訓練集訓練得到的多個人臉定位模型對輸入圖像中的人臉進行定位，以得到與各個 人臉定位模型對應的多個定位結果；使用訓練的評價模型對所述多個定位結果進行評價以 選出最優(yōu)的定位結果，其中，定位結果包括人臉圖像的多個關鍵點位置，評價模型由針對所 述多個關鍵點位置訓練的分類器組成。
[0014] 根據(jù)本發(fā)明的一方面，所述多個人臉定位模型分別與所述多個訓練集的類型一一 對應。
[0015] 根據(jù)本發(fā)明的一方面，所述定位方法還包括：確定所述最優(yōu)的定位結果的評價是 否超過預定閾值；如果確定所述最優(yōu)的定位結果的評價超過預定閾值，則基于最優(yōu)的定位 結果更新評價模型。
[0016] 根據(jù)本發(fā)明的一方面，基于最優(yōu)的定位結果更新評價模型的步驟包括：基于所述 最優(yōu)的定位結果的關鍵點位置在輸入圖像中生成預定數(shù)量的正樣本圖像塊和負樣本圖像 塊，然后使用生成的正樣本圖像塊和負樣本圖像塊來更新評價模型。
[0017] 根據(jù)本發(fā)明的一方面，所述定位方法還包括：確定所述最優(yōu)的定位結果的類型是 否屬于所述多個定位模型之一；如果確定所述最優(yōu)的定位結果的類型屬于所述多個定位模 型之一，則將與所述最優(yōu)的定位結果對應的輸入圖像加入對應的訓練集，以重新訓練與該 訓練集對應的定位模型；如果確定所述最優(yōu)的定位結果的類型不屬于所述多個定位模型之 一，則將與所述最優(yōu)的定位結果對應的輸入圖像作為樣本來創(chuàng)建與所述最優(yōu)的定位結果的 類型對應的新的訓練集。
[0018] 根據(jù)本發(fā)明的一方面，所述定位方法還包括：如果所述新的訓練集中的樣本數(shù)量 超過預定值，則基于所述新的訓練集訓練新的定位模型，從而增加定位模型的數(shù)量。
[0019] 根據(jù)本發(fā)明的另一方面，提供了一種用于人臉關鍵點定位的裝置，包括：關鍵點定 位單元，使用基于多個類型的訓練集訓練得到的多個人臉定位模型對輸入圖像中的人臉進 行定位，以得到與各個人臉定位模型對應的多個定位結果；評價單元，使用基于訓練集訓練 的評價模型對所述多個定位結果進行評價以選出最優(yōu)的定位結果，其中，定位結果包括人 臉圖像的多個關鍵點位置，評價模型由針對所述多個關鍵點位置訓練的分類器組成。
[0020] 根據(jù)本發(fā)明的另一方面，所述多個人臉定位模型分別與所述多個訓練集的類型 --對應。
[0021] 根據(jù)本發(fā)明的另一方面，所述裝置還包括：更新單元，確定所述最優(yōu)的定位結果的 評價是否超過預定閾值，如果確定所述最優(yōu)的定位結果的評價超過預定閾值，則基于最優(yōu) 的定位結果更新評價模型和/或定位模型。
[0022] 根據(jù)本發(fā)明的另一方面，更新單元基于所述最優(yōu)的定位結果的關鍵點位置在輸入 圖像中生成預定數(shù)量的正樣本圖像塊和負樣本圖像塊，然后使用生成的正樣本圖像塊和負 樣本圖像塊來訓練更新評價模型。
[0023] 根據(jù)本發(fā)明的另一方面，更新單元確定所述最優(yōu)的定位結果的類型是否屬于所述 多個定位模型之一，如果確定所述最優(yōu)的定位結果的類型屬于所述多個定位模型之一，則 將與所述最優(yōu)的定位結果對應的輸入圖像加入對應的訓練集，以重新訓練與該訓練集對應 的定位模型；如果更新單元確定所述最優(yōu)的定位結果的類型不屬于所述多個定位模型之 一，則將與所述最優(yōu)的定位結果對應的輸入圖像作為樣本來創(chuàng)建與所述最優(yōu)的定位結果的 類型對應的新的訓練集。
[0024] 根據(jù)本發(fā)明的另一方面，如果更新單元確定所述新的訓練集中的樣本數(shù)量超過預 定值，則基于所述新的訓練集訓練新的定位模型，從而增加定位模型的數(shù)量。
【附圖說明】
[0025] 通過下面結合附圖進行的描述，本發(fā)明的上述和其他目的和特點將會變得更加清 楚，其中：
[0026] 圖1是示出根據(jù)本發(fā)明實施例的人臉關鍵點定位方法的流程圖；
[0027] 圖2是示出根據(jù)本發(fā)明實施例的人臉關鍵點定位方法中使用的訓練集的分類的 示意圖；
[0028] 圖3示出根據(jù)本發(fā)明實施例的人臉關鍵點定位方法所使用的平均關鍵點位置和 定位結果的示意圖；
[0029] 圖4是示出根據(jù)本發(fā)明實施例的人臉關鍵點定位方法所使用的分類器的正樣本 圖像塊和負樣本圖像塊的示意圖；
[0030] 圖5是示出根據(jù)本發(fā)明實施例的人臉關鍵點定位裝置的框圖；
[0031] 圖6是示出根據(jù)本發(fā)明另一實施例的人臉關鍵點定位裝置的框圖。
[0032] 圖7示出使用現(xiàn)有技