所述提取單元47對(duì)所述第i幀人臉圖像的初始關(guān)鍵點(diǎn)位置提取SIFT特征、HOG特征或者SURF特征。
[0267]可選的，如圖21所示，所述終端4還包括:設(shè)置單元48、歸一化單元49。
[0268]所述設(shè)置單元48，用于設(shè)置不同人臉類別的人臉圖像訓(xùn)練集。
[0269]所述歸一化單元49，用于根據(jù)所述標(biāo)注單元42標(biāo)注的所述目標(biāo)檢測區(qū)域的大小和位置，將所述設(shè)置單元48設(shè)置的每個(gè)人臉圖像訓(xùn)練集中的所有人臉圖像的人臉關(guān)鍵點(diǎn)的位置進(jìn)行歸一化，得到所有人臉圖像的初始形狀。
[0270]所述確定單元44，還用于將所述歸一化單元49得到的所述所有人臉圖像的初始形狀的平均值作為候選初始形狀;將不同的人臉類別對(duì)應(yīng)的不同的候選初始形狀，確定為所述預(yù)設(shè)的多個(gè)候選初始形狀。
[0271 ] 在實(shí)際應(yīng)用中，如圖22所示，上述檢測單元40、生成單元41、標(biāo)注單元42、估計(jì)單元43、確定單元44、計(jì)算單元45、提取單元47、設(shè)置單元48、采集單元410以及歸一化單元49可由位于終端4上的處理器411實(shí)現(xiàn)，具體為中央處理器(CPU)、微處理器(MPU)、數(shù)字信號(hào)處理器(DSP)或現(xiàn)場可編程門陣列(FPGA)等實(shí)現(xiàn)，迭代回歸單元46由回歸器413實(shí)現(xiàn)，終端4中還可以包括存儲(chǔ)器412，具體的，第i幀人臉圖像及其軟件代碼、第i幀人臉圖像的初始關(guān)鍵點(diǎn)的位置及其軟件代碼、第i幀人臉圖像的人臉關(guān)鍵點(diǎn)的位置、第一特征及其軟件代碼、第一初始形狀及其軟件代碼、第二初始形狀及其軟件代碼、目標(biāo)檢測區(qū)域及其軟件代碼，以及第一偏移量及其軟件代碼可以保存在存儲(chǔ)器412中，該存儲(chǔ)器412、回歸器413可以通過系統(tǒng)總線414與處理器411連接，其中，存儲(chǔ)器412用于存儲(chǔ)可執(zhí)行程序代碼，該程序代碼包括計(jì)算機(jī)操作指令，存儲(chǔ)器可能包含高速RAM存儲(chǔ)器，也可能還包括非易失性存儲(chǔ)器，例如，至少一個(gè)磁盤存儲(chǔ)器。
[0272]本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用硬件實(shí)施例、軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器和光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。
[0273]本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合。可提供這些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。
[0274]這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。
[0275]這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。
[0276]以上所述，僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍。
【主權(quán)項(xiàng)】
1.一種關(guān)鍵點(diǎn)的定位方法，其特征在于，所述方法包括: 采集目標(biāo)對(duì)象時(shí)，檢測出所述目標(biāo)對(duì)象為人臉圖像，按照預(yù)設(shè)配置在第i幀人臉圖像上生成用于人臉識(shí)別定位的目標(biāo)檢測區(qū)域并進(jìn)行標(biāo)注，i 2 I; 當(dāng)i>l時(shí)，根據(jù)前一幀與當(dāng)前幀的相似度匹配策略，由第1-Ι幀人臉圖像的人臉關(guān)鍵點(diǎn)信息預(yù)估得到第i幀人臉圖像的人臉類別； 根據(jù)所述第i幀人臉圖像的人臉類別，從預(yù)設(shè)的多個(gè)候選初始形狀中確定第一初始形狀； 根據(jù)所述目標(biāo)檢測區(qū)域和所述第一初始形狀，計(jì)算所述第i幀人臉圖像的初始人臉關(guān)鍵點(diǎn)的位置。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述按照預(yù)設(shè)配置在第i幀人臉圖像上生成用于人臉識(shí)別定位的目標(biāo)檢測區(qū)域并進(jìn)行標(biāo)注，包括: 根據(jù)第1-Ι幀人臉圖像的人臉關(guān)鍵點(diǎn)的位置，得到能包含所述第1-Ι幀人臉圖像的人臉關(guān)鍵點(diǎn)的至少一個(gè)人臉檢測區(qū)域； 比較所述至少一個(gè)人臉檢測區(qū)域中各個(gè)人臉檢測區(qū)域，選擇能包含所述第1-Ι幀人臉圖像的人臉關(guān)鍵點(diǎn)的最小人臉檢測區(qū)域作為所述目標(biāo)檢測區(qū)域。3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述第1-Ι幀人臉圖像的人臉關(guān)鍵點(diǎn)信息是前一次得到的人臉關(guān)鍵點(diǎn)的位置信息； 所述第一初始形狀與所述第i幀人臉圖像的人臉類別相對(duì)應(yīng)。4.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述根據(jù)所述人臉檢測框和所述第一初始形狀，計(jì)算所述第i幀人臉圖像的初始人臉關(guān)鍵點(diǎn)的位置之后，所述方法還包括: 將所述第i幀人臉圖像的初始關(guān)鍵點(diǎn)的位置進(jìn)行迭代回歸，得到所述第i幀人臉圖像的人臉關(guān)鍵點(diǎn)的位置。5.根據(jù)所述權(quán)利要求4所述的方法，其特征在于，當(dāng)i= I時(shí)，所述按照預(yù)設(shè)配置在第i幀人臉圖像上生成用于人臉識(shí)別定位的目標(biāo)檢測區(qū)域并進(jìn)行標(biāo)注之后，所述將所述第i幀人臉圖像的初始關(guān)鍵點(diǎn)的位置進(jìn)行迭代回歸，得到所述第i幀人臉圖像的人臉關(guān)鍵點(diǎn)的位置之前，所述方法還包括: 從所述預(yù)設(shè)的多個(gè)候選初始形狀中確定第二初始形狀，所述第二初始形狀為默認(rèn)的； 根據(jù)所述目標(biāo)檢測區(qū)域和所述第二初始形狀，計(jì)算所述第i幀人臉圖像的初始人臉關(guān)鍵點(diǎn)的位置。6.根據(jù)所述權(quán)利要求4所述的方法，其特征在于，所述將所述第i幀人臉圖像的初始關(guān)鍵點(diǎn)位置進(jìn)行迭代回歸，得到所述第i幀人臉圖像的人臉關(guān)鍵點(diǎn)位置，還包括: 對(duì)所述第i幀人臉圖像的初始關(guān)鍵點(diǎn)位置提取第一特征； 將所述第一特征進(jìn)行線性回歸，得到第一偏移量； 將所述第i幀人臉圖像的初始人臉關(guān)鍵點(diǎn)的位置位移所述第一偏移量，得到所述第i幀人臉圖像的人臉關(guān)鍵點(diǎn)的位置。7.根據(jù)所述權(quán)利要求6所述的方法，其特征在于，所述對(duì)所述第i幀人臉圖像的初始關(guān)鍵點(diǎn)位置提取第一特征，包括: 所述對(duì)所述第i幀人臉圖像的初始關(guān)鍵點(diǎn)位置提取尺度不變特征變換SIFT特征、方向梯度直方圖HOG特征或者加速穩(wěn)健特征SURF。8.根據(jù)所述權(quán)利要求1或2所述的方法，其特征在于，確定所述預(yù)設(shè)的多個(gè)候選初始形狀，包括: 設(shè)置不同人臉類別的人臉圖像訓(xùn)練集； 根據(jù)所述目標(biāo)檢測區(qū)域的大小和位置，將每個(gè)人臉圖像訓(xùn)練集中的所有人臉圖像的人臉關(guān)鍵點(diǎn)的位置進(jìn)行歸一化，得到所有人臉圖像的初始形狀； 將所述所有人臉圖像的初始形狀的平均值作為候選初始形狀； 將不同的人臉類別對(duì)應(yīng)的不同的候選初始形狀，確定為所述預(yù)設(shè)的多個(gè)候選初始形狀。9.一種終端，其特征在于，所述終端包括: 檢測單元，用于采集目標(biāo)對(duì)象時(shí)，檢測出所述目標(biāo)對(duì)象為人臉圖像； 生成單元，用于按照預(yù)設(shè)配置在檢測單元檢測到的第i幀人臉圖像上生成用于人臉識(shí)別定位的目標(biāo)檢測區(qū)域并進(jìn)行標(biāo)注，i 2 I; 標(biāo)注單元，用于將所述生成單元生成的所述目標(biāo)檢測區(qū)域進(jìn)行標(biāo)注； 估計(jì)單元，用于當(dāng)i>l時(shí)，根據(jù)前一幀與當(dāng)前幀的相似度匹配策略，由第1-Ι幀人臉圖像的人臉關(guān)鍵點(diǎn)信息預(yù)估得到第i幀人臉圖像的人臉類別； 確定單元，用于根據(jù)所述估計(jì)單元估計(jì)的所述第i幀人臉圖像的人臉類別，從預(yù)設(shè)的多個(gè)候選初始形狀中確定第一初始形狀； 計(jì)算單元，用于根據(jù)所述標(biāo)注單元標(biāo)注的所述目標(biāo)檢測區(qū)域和所述確定單元確定的所述第一初始形狀，計(jì)算所述第i幀人臉圖像的初始人臉關(guān)鍵點(diǎn)的位置。10.根據(jù)權(quán)利要求9所述的終端，其特征在于， 所述生成單元，具體用于根據(jù)第1-Ι幀人臉圖像的人臉關(guān)鍵點(diǎn)的位置，得到能包含所述第1-Ι幀人臉圖像的人臉關(guān)鍵點(diǎn)的至少一個(gè)人臉檢測區(qū)域；以及比較所述至少一個(gè)人臉檢測區(qū)域中各個(gè)人臉檢測區(qū)域，選擇能包含所述第1-Ι幀人臉圖像的人臉關(guān)鍵點(diǎn)的最小人臉檢測區(qū)域作為所述目標(biāo)檢測區(qū)域。11.根據(jù)權(quán)利要求9或10所述的終端，其特征在于，所述第1-ι幀人臉圖像的人臉關(guān)鍵點(diǎn)信息是前一次得到的人臉關(guān)鍵點(diǎn)的位置信息； 所述確定單元確定的所述第一初始形狀與所述估計(jì)單元估計(jì)的所述第i幀人臉圖像的人臉類別相對(duì)應(yīng)。12.根據(jù)權(quán)利要求9或10所述的終端，其特征在于，所述終端還包括:迭代回歸單元； 迭代回歸單元，用于所述計(jì)算單元根據(jù)所述人臉檢測框和所述第一初始形狀，計(jì)算所述第i幀人臉圖像的初始人臉關(guān)鍵點(diǎn)的位置之后，將所述計(jì)算單元計(jì)算出的所述第i幀人臉圖像的初始關(guān)鍵點(diǎn)的位置進(jìn)行迭代回歸，得到所述第i幀人臉圖像的人臉關(guān)鍵點(diǎn)的位置。13.根據(jù)所述權(quán)利要求12所述的終端，其特征在于，當(dāng)i= I時(shí)，所述標(biāo)注單元將所述目標(biāo)檢測區(qū)域進(jìn)行標(biāo)注之后，所述計(jì)算單元將所述第i幀人臉圖像的初始關(guān)鍵點(diǎn)的位置進(jìn)行迭代回歸，得到所述第i幀人臉圖像的人臉關(guān)鍵點(diǎn)的位置之前，所述方法還包括: 所述確定單元，還用于從所述預(yù)設(shè)的多個(gè)候選初始形狀中確定第二初始形狀，所述第二初始形狀為默認(rèn)的； 所述計(jì)算單元，還用于根據(jù)所述標(biāo)注單元標(biāo)注的所述目標(biāo)檢測區(qū)域和所述確定單元確定的所述第二初始形狀，計(jì)算所述第i幀人臉圖像的初始人臉關(guān)鍵點(diǎn)的位置。14.根據(jù)所述權(quán)利要求12所述的終端，其特征在于，所述終端還包括:提取單元； 所述提取單元，用于對(duì)所述計(jì)算單元計(jì)算出的所述第i幀人臉圖像的初始關(guān)鍵點(diǎn)位置提取第一特征； 所述迭代回歸單元，具體用于將所述提取單元提取的所述第一特征進(jìn)行線性回歸，得到第一偏移量；以及將所述計(jì)算單元計(jì)算出的所述第i幀人臉圖像的初始人臉關(guān)鍵點(diǎn)的位置位移所述提取單元提取的所述第一偏移量，得到所述第i幀人臉圖像的人臉關(guān)鍵點(diǎn)的位置。15.根據(jù)所述權(quán)利要求14所述的終端，其特征在于， 所述提取單元對(duì)所述第i幀人臉圖像的初始關(guān)鍵點(diǎn)位置提取尺度不變特征變換SIFT特征、方向梯度直方圖HOG特征或者加速穩(wěn)健特征SURF。16.根據(jù)所述權(quán)利要求9或10所述的終端，其特征在于，所述終端還包括:設(shè)置單元、歸一化單元； 所述設(shè)置單元，用于設(shè)置不同人臉類別的人臉圖像訓(xùn)練集； 所述歸一化單元，用于根據(jù)所述標(biāo)注單元標(biāo)注的所述目標(biāo)檢測區(qū)域的大小和位置，將所述設(shè)置單元設(shè)置的每個(gè)人臉圖像訓(xùn)練集中的所有人臉圖像的人臉關(guān)鍵點(diǎn)的位置進(jìn)行歸一化，得到所有人臉圖像的初始形狀； 所述確定單元，還用于將所述歸一化單元得到的所述所有人臉圖像的初始形狀的平均值作為候選初始形狀;將不同的人臉類別對(duì)應(yīng)的不同的候選初始形狀，確定為所述預(yù)設(shè)的多個(gè)候選初始形狀。
【專利摘要】本發(fā)明實(shí)施例公開了一種關(guān)鍵點(diǎn)的定位方法及終端，該方法包括：采集目標(biāo)對(duì)象時(shí)，檢測出該目標(biāo)對(duì)象為人臉圖像，按照預(yù)設(shè)配置在第i幀人臉圖像上生成用于人臉識(shí)別定位的目標(biāo)檢測區(qū)域并進(jìn)行標(biāo)注，i≥1；當(dāng)i＞1時(shí)，根據(jù)前一幀與當(dāng)前幀的相似度匹配策略，由第i-1幀人臉圖像的人臉關(guān)鍵點(diǎn)信息預(yù)估得到第i幀人臉圖像的人臉類別；根據(jù)第i幀人臉圖像的人臉類別，從預(yù)設(shè)的多個(gè)候選初始形狀中確定第一初始形狀；根據(jù)目標(biāo)檢測區(qū)域和第一初始形狀，計(jì)算第i幀人臉圖像的初始人臉關(guān)鍵點(diǎn)的位置。
【IPC分類】G06K9/00, G06K9/46
【公開號(hào)】CN105512627
【申請(qǐng)?zhí)枴緾N201510880899
【發(fā)明人】宮魯津
【申請(qǐng)人】騰訊科技（深圳）有限公司
【公開日】2016年4月20日
【申請(qǐng)日】2015年12月3日