一種關(guān)鍵點(diǎn)的定位方法及終端的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域中的識(shí)別定位技術(shù)，尤其涉及一種關(guān)鍵點(diǎn)的定位方法及終端。
【背景技術(shù)】
[0002]用戶采集目標(biāo)對(duì)象時(shí)會(huì)進(jìn)行各種識(shí)別，比如以人臉識(shí)別為例，計(jì)算機(jī)人臉識(shí)別將根據(jù)人臉來辨別未知人物身份的能力賦予了計(jì)算機(jī)系統(tǒng)，使得計(jì)算機(jī)系統(tǒng)基于已知的人臉樣本庫，利用計(jì)算機(jī)分析和模式識(shí)別技術(shù)從靜態(tài)或者動(dòng)態(tài)的場(chǎng)景中，識(shí)別或驗(yàn)證一個(gè)或多個(gè)人臉，該技術(shù)已經(jīng)被廣泛的應(yīng)用于公共安全，身份識(shí)別等場(chǎng)合。人臉識(shí)別系統(tǒng)包括有人臉檢測(cè)、人臉關(guān)鍵點(diǎn)定位、識(shí)別和跟蹤等步驟，而人臉關(guān)鍵點(diǎn)檢測(cè)以及跟蹤是人臉識(shí)別中非常重要的一環(huán)，也是人臉驗(yàn)證，人臉識(shí)別，以及各種3D人臉建模，人臉的美化、疲勞和分神的判斷等應(yīng)用的基礎(chǔ)，因此，人臉關(guān)鍵點(diǎn)的檢測(cè)及跟蹤精度至關(guān)重要。
[0003]傳統(tǒng)的人臉關(guān)鍵點(diǎn)定位方法基于人臉參數(shù)形狀模型，通過根據(jù)人臉關(guān)鍵點(diǎn)附近的表觀特征，學(xué)習(xí)出單個(gè)人臉參數(shù)形狀模型，再使用時(shí)迭代地優(yōu)化人臉參數(shù)形狀模型中的人臉關(guān)鍵點(diǎn)的位置，最后得到人臉關(guān)鍵點(diǎn)的坐標(biāo)。現(xiàn)有技術(shù)中，為了提尚人臉關(guān)鍵點(diǎn)跟蹤的精度，提出了一種使用多個(gè)人臉參數(shù)形狀模型的人臉關(guān)鍵點(diǎn)定位方法，具體的，根據(jù)人臉的姿態(tài)，或者其他一些特征對(duì)人臉進(jìn)行分類，并針對(duì)每一個(gè)人臉的類別進(jìn)行學(xué)習(xí)以通過建模得到一個(gè)單獨(dú)的人臉參數(shù)形狀模型，也就是說，對(duì)于多個(gè)類別就需要設(shè)計(jì)多個(gè)人臉參數(shù)形狀模型，最后通過判斷人臉類別，選擇一個(gè)相應(yīng)的人臉參數(shù)形狀模型來確定人臉關(guān)鍵點(diǎn)的坐標(biāo)。
[0004]然而，采用現(xiàn)有的人臉關(guān)鍵點(diǎn)定位方法時(shí)，雖然將復(fù)雜的問題(各種姿態(tài)，表情，光照，遮擋等)分解成若干簡(jiǎn)單的問題來處理，顯著提高了人臉關(guān)鍵點(diǎn)跟蹤的精度，但是需要根據(jù)不同的人臉類別，建立相應(yīng)的多個(gè)人臉參數(shù)形狀模型才可以實(shí)現(xiàn)最終的人臉關(guān)鍵點(diǎn)定位。由于多個(gè)人臉參數(shù)形狀模型，勢(shì)必占用更多的內(nèi)存存儲(chǔ)空間，而且在具體處理時(shí)，對(duì)于不同人臉類別需要對(duì)應(yīng)多個(gè)人臉參數(shù)形狀模型進(jìn)行處理也會(huì)耗費(fèi)更多的資源，從而給終端硬件設(shè)備的處理帶來處理難度。

【發(fā)明內(nèi)容】

[0005]為解決上述技術(shù)問題，本發(fā)明實(shí)施例期望提供一種關(guān)鍵點(diǎn)的定位方法及終端，至少能解決現(xiàn)有技術(shù)的冋題，能夠在使用較小的內(nèi)存占用量的如提下，提尚人臉關(guān)鍵點(diǎn)跟蹤的精度，且無需耗費(fèi)很多的資源，以降低終端硬件設(shè)備的處理難度。
[0006]本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的:
[0007]本發(fā)明實(shí)施例提供了一種關(guān)鍵點(diǎn)的定位方法，所述方法包括:
[0008]采集目標(biāo)對(duì)象時(shí)，檢測(cè)出所述目標(biāo)對(duì)象為人臉圖像，按照預(yù)設(shè)配置在第i幀人臉圖像上生成用于人臉識(shí)別定位的目標(biāo)檢測(cè)區(qū)域并進(jìn)行標(biāo)注，i 2 I;
[0009]當(dāng)i>l時(shí)，根據(jù)前一幀與當(dāng)前幀的相似度匹配策略，由第1-Ι幀人臉圖像的人臉關(guān)鍵點(diǎn)信息預(yù)估得到第i幀人臉圖像的人臉類別；
[0010]根據(jù)所述第i幀人臉圖像的人臉類別，從預(yù)設(shè)的多個(gè)候選初始形狀中確定第一初始形狀；
[0011]根據(jù)所述目標(biāo)檢測(cè)區(qū)域和所述第一初始形狀，計(jì)算所述第i幀人臉圖像的初始人臉關(guān)鍵點(diǎn)的位置。
[0012]在上述方案中，所述按照預(yù)設(shè)配置在第i幀人臉圖像上生成用于人臉識(shí)別定位的目標(biāo)檢測(cè)區(qū)域并進(jìn)行標(biāo)注，包括:
[0013]根據(jù)第1-Ι幀人臉圖像的人臉關(guān)鍵點(diǎn)的位置，得到能包含所述第1-Ι幀人臉圖像的人臉關(guān)鍵點(diǎn)的至少一個(gè)人臉檢測(cè)區(qū)域；
[0014]比較所述至少一個(gè)人臉檢測(cè)區(qū)域中各個(gè)人臉檢測(cè)區(qū)域，選擇能包含所述第1-Ι幀人臉圖像的人臉關(guān)鍵點(diǎn)的最小人臉檢測(cè)區(qū)域作為所述目標(biāo)檢測(cè)區(qū)域。
[0015]在上述方案中，所述第1-Ι幀人臉圖像的人臉關(guān)鍵點(diǎn)信息是前一次得到的人臉關(guān)鍵點(diǎn)的位置信息；
[0016]所述第一初始形狀與所述第i幀人臉圖像的人臉類別相對(duì)應(yīng)。
[0017]在上述方案中，所述根據(jù)所述人臉檢測(cè)框和所述第一初始形狀，計(jì)算所述第i幀人臉圖像的初始人臉關(guān)鍵點(diǎn)的位置之后，所述方法還包括:
[0018]將所述第i幀人臉圖像的初始關(guān)鍵點(diǎn)的位置進(jìn)行迭代回歸，得到所述第i幀人臉圖像的人臉關(guān)鍵點(diǎn)的位置。
[0019]在上述方案中，當(dāng)i= l時(shí)，所述按照預(yù)設(shè)配置在第i幀人臉圖像上生成用于人臉識(shí)別定位的目標(biāo)檢測(cè)區(qū)域并進(jìn)行標(biāo)注之后，所述將所述第i幀人臉圖像的初始關(guān)鍵點(diǎn)的位置進(jìn)行迭代回歸，得到所述第i幀人臉圖像的人臉關(guān)鍵點(diǎn)的位置之前，所述方法還包括:
[0020]從所述預(yù)設(shè)的多個(gè)候選初始形狀中確定第二初始形狀，所述第二初始形狀為默認(rèn)的；
[0021]根據(jù)所述目標(biāo)檢測(cè)區(qū)域和所述第二初始形狀，計(jì)算所述第i幀人臉圖像的初始人臉關(guān)鍵點(diǎn)的位置。
[0022]在上述方案中，所述將所述第i幀人臉圖像的初始關(guān)鍵點(diǎn)位置進(jìn)行迭代回歸，得到所述第i幀人臉圖像的人臉關(guān)鍵點(diǎn)位置，還包括:
[0023]對(duì)所述第i幀人臉圖像的初始關(guān)鍵點(diǎn)位置提取第一特征；
[0024]將所述第一特征進(jìn)行線性回歸，得到第一偏移量；
[0025]將所述第i幀人臉圖像的初始人臉關(guān)鍵點(diǎn)的位置位移所述第一偏移量，得到所述第i幀人臉圖像的人臉關(guān)鍵點(diǎn)的位置。
[0026]在上述方案中，所述對(duì)所述第i幀人臉圖像的初始關(guān)鍵點(diǎn)位置提取第一特征，包括:
[0027]所述對(duì)所述第i幀人臉圖像的初始關(guān)鍵點(diǎn)位置提取SIFT特征、HOG特征或者SURF特征。
[0028]在上述方案中，確定所述預(yù)設(shè)的多個(gè)候選初始形狀，包括:
[0029]設(shè)置不同人臉類別的人臉圖像訓(xùn)練集；
[0030]根據(jù)所述目標(biāo)檢測(cè)區(qū)域的大小和位置，將每個(gè)人臉圖像訓(xùn)練集中的所有人臉圖像的人臉關(guān)鍵點(diǎn)的位置進(jìn)行歸一化，得到所有人臉圖像的初始形狀；[0031 ]將所述所有人臉圖像的初始形狀的平均值作為候選初始形狀；
[0032]將不同的人臉類別對(duì)應(yīng)的不同的候選初始形狀，確定為所述預(yù)設(shè)的多個(gè)候選初始形狀。
[0033]本發(fā)明實(shí)施例還提供了一種終端，所述終端包括:
[0034]檢測(cè)單元，用于采集目標(biāo)對(duì)象時(shí)，檢測(cè)出所述目標(biāo)對(duì)象為人臉圖像；
[0035]生成單元，用于按照預(yù)設(shè)配置在檢測(cè)單元檢測(cè)到的第i幀人臉圖像上生成用于人臉識(shí)別定位的目標(biāo)檢測(cè)區(qū)域并進(jìn)行標(biāo)注，i 2 I;
[0036]標(biāo)注單元，用于將所述生成單元生成的所述目標(biāo)檢測(cè)區(qū)域進(jìn)行標(biāo)注；
[0037]估計(jì)單元，用于當(dāng)i>l時(shí)，根據(jù)前一幀與當(dāng)前幀的相似度匹配策略，由第1-Ι幀人臉圖像的人臉關(guān)鍵點(diǎn)信息預(yù)估得到第i幀人臉圖像的人臉類別；
[0038]確定單元，用于根據(jù)所述估計(jì)單元估計(jì)的所述第i幀人臉圖像的人臉類別，從預(yù)設(shè)的多個(gè)候選初始形狀中確定第一初始形狀；
[0039]計(jì)算單元，用于根據(jù)所述標(biāo)注單元標(biāo)注的所述目標(biāo)檢測(cè)區(qū)域和所述確定單元確定的所述第一初始形狀，計(jì)算所述第i幀人臉圖像的初始人臉關(guān)鍵點(diǎn)的位置。
[0040]在上述終端中，所述生成單元，具體用于根據(jù)第1-Ι幀人臉圖像的人臉關(guān)鍵點(diǎn)的位置，得到能包含所述第1-Ι幀人臉圖像的人臉關(guān)鍵點(diǎn)的至少一個(gè)人臉檢測(cè)區(qū)域；以及比較所述至少一個(gè)人臉檢測(cè)區(qū)域中各個(gè)人臉檢測(cè)區(qū)域，選擇能包含所述第1-Ι幀人臉圖像的人臉關(guān)鍵點(diǎn)的最小人臉檢測(cè)區(qū)域作為所述目標(biāo)檢測(cè)區(qū)域。
[0041]在上述終端中，所述第1-Ι幀人臉圖像的人臉關(guān)鍵點(diǎn)信息是前一次得到的人臉關(guān)鍵點(diǎn)的位置信息；
[0042]所述確定單元確定的所述第一初始形狀與所述估計(jì)單元估計(jì)的所述第i幀人臉圖像的人臉類別相對(duì)應(yīng)。
[0043]在上述終端中，所述終端還包括:迭代回歸單元；
[0044]迭代回歸單元，用于所述計(jì)算單元根據(jù)所述人臉檢測(cè)框和所述第一初始形狀，計(jì)算所述第i幀人臉圖像的初始人臉關(guān)鍵點(diǎn)的位置之后，將所述計(jì)算單元計(jì)算出的所述第i幀人臉圖像的初始關(guān)鍵點(diǎn)的位置進(jìn)行迭代回歸，得到所述第i幀人臉圖像的人臉關(guān)鍵點(diǎn)的位置。
[0045]在上述終端中，當(dāng)i = I時(shí)，所述標(biāo)注單元將所述目標(biāo)檢測(cè)區(qū)域進(jìn)行標(biāo)注之后，所述計(jì)算單元將所述第i幀人臉圖像的初始關(guān)鍵點(diǎn)的位置進(jìn)行迭代回歸，得到所述第i幀人臉圖像的人臉關(guān)鍵點(diǎn)的位置之前，所述方法還包括:
[0046]所述確定單元，還用于從所述預(yù)設(shè)的多個(gè)候選初始形狀中確定第二初始形狀，所述第二初始形狀為默認(rèn)的；
[0047]所述計(jì)算單元，還用于根據(jù)所述標(biāo)注單元標(biāo)注的所述目標(biāo)檢測(cè)區(qū)域和所述確定單元確定的所述第二初始形狀，計(jì)算所述第i幀人臉圖像的初始人臉關(guān)鍵點(diǎn)的位置。
[0048]在上述終端中，所述終端還包括:提取單元；
[0049]所述提取單元，用于對(duì)所述計(jì)算單元計(jì)算出的所述第i幀人臉圖像的初始關(guān)鍵點(diǎn)位置提取第一特征；
[0050]所述迭代回歸單元，具體用于將所述提取單元提取的所述第一特征進(jìn)行線性回歸，得到第一偏移量；以及將所述計(jì)算單元計(jì)算出的所述第i幀人臉圖像的初始人臉關(guān)鍵點(diǎn)的位置位移所述提取單元提取的所述第一偏移量，得到所述第i幀人臉圖像的人臉關(guān)鍵點(diǎn)的位置。
[0051]在上述終端中，所述提取單元對(duì)所述第i幀人臉圖像的初始關(guān)鍵點(diǎn)位置提取SIFT特征、HOG特征或者SURF特征。
[0052]在上述終端中，所述終端還包括:設(shè)置單元、歸一化單元；
[0053]所述設(shè)置單元，用于設(shè)置不同人臉類別的人臉圖像訓(xùn)練集；
[0054]所述歸一化單元，用于根據(jù)所述標(biāo)注單元標(biāo)注的所述目標(biāo)檢測(cè)區(qū)域的大小和位置，將所述設(shè)置單元設(shè)置的每個(gè)人臉圖像訓(xùn)練集中的所有人臉圖像的人臉關(guān)鍵點(diǎn)的位置進(jìn)行歸一化，得到所有人臉圖像的初始形狀；
[0055]所述確定單元，還用于將所述歸一化單元得到的所述所有人臉圖像的初始形狀的平均值作為候選初始形狀;將不同的人臉類別對(duì)應(yīng)的不同的候選初始形狀，確定為所述預(yù)設(shè)的多個(gè)候選初始形狀。
[0056]本發(fā)明實(shí)施例提供了一種關(guān)鍵點(diǎn)的定位方法及終端，通過采集目標(biāo)對(duì)象時(shí)，檢測(cè)出該目標(biāo)對(duì)象為人臉圖像，按照預(yù)設(shè)配置在第i幀人臉圖像上生成用于人臉識(shí)別定位的目標(biāo)檢測(cè)區(qū)域并進(jìn)行標(biāo)注，i > I;當(dāng)1> I時(shí)，根據(jù)前一幀與當(dāng)前幀的相似度匹配策略，由第i_l幀人臉圖像的人臉關(guān)鍵點(diǎn)信息預(yù)估得到第i幀人臉圖像的人臉類別;根據(jù)第i幀人臉圖像的人臉類別，從預(yù)設(shè)的多個(gè)候選初始形狀中確定第一初始形狀;根據(jù)目標(biāo)檢測(cè)區(qū)域和第一初始形狀，計(jì)算第i幀人臉圖像的初始人臉關(guān)鍵點(diǎn)的位置。
[0057]采用上述技術(shù)實(shí)現(xiàn)方案，由于前一幀和當(dāng)前幀相隔的時(shí)間較短，故前一幀人臉圖像的人臉類別應(yīng)與當(dāng)前幀人臉圖像的人臉類別一致(即前一幀與當(dāng)前幀的相似度匹配策略)。于是，可以通過前一幀人臉圖像的人臉類別確定當(dāng)前幀的人臉類別，且本發(fā)明實(shí)施例中預(yù)設(shè)設(shè)置有與不同的人臉類別相對(duì)應(yīng)的預(yù)設(shè)的多個(gè)候選初始形狀。這樣，就可以對(duì)當(dāng)前幀人臉圖像確定出一個(gè)與其人臉類別對(duì)應(yīng)的第一初始形狀。這樣計(jì)算出的當(dāng)前幀人臉圖像的初始人臉關(guān)鍵點(diǎn)的位置可以基于單個(gè)人臉參數(shù)形狀模型，并根據(jù)人臉的姿態(tài)，或者其他一些特征的人臉類別來確定的，避免了采用多個(gè)人臉參數(shù)形狀模型處理時(shí)會(huì)出現(xiàn)的問題，因此，能夠在使用較小的內(nèi)存占用量的前提下，提高人臉關(guān)鍵點(diǎn)跟蹤的精度，且無需耗費(fèi)很多的資源，以降低終端硬件設(shè)備的處理難度。
【附圖說明】
[0058]圖1為本發(fā)明實(shí)施例中進(jìn)行信息交互的各種硬件實(shí)體的示意圖；
[0059]圖2為本發(fā)明實(shí)