一種人臉特征點(diǎn)定位方法和裝置制造方法
【專利摘要】本發(fā)明公開了一種人臉特征點(diǎn)定位方法和裝置，屬于圖像處理【技術(shù)領(lǐng)域】。所述方法包括：獲取待測(cè)圖像；在待測(cè)圖像中，進(jìn)行平均形狀模型的初始定位，得到描述待測(cè)圖像中人臉的器官的特征點(diǎn)的初始位置；確定描述人臉的設(shè)定器官的器官模型的類型；基于確定的類型的器官模型，對(duì)待測(cè)圖像進(jìn)行特征點(diǎn)搜索，調(diào)整待測(cè)圖像中人臉的器官的特征點(diǎn)的初始位置。本發(fā)明針對(duì)待測(cè)圖像中人臉設(shè)定器官的不同類型，基于不同類型的器官形狀模型調(diào)整待測(cè)圖像中人臉的器官的特征點(diǎn)的初始位置，提高了人臉的特征點(diǎn)與待測(cè)圖像的相似度，降低了得到的待測(cè)圖像中人臉的特征點(diǎn)形成的人臉形狀與待測(cè)圖像中的人臉形狀之間的誤差。
【專利說明】一種人臉特征點(diǎn)定位方法和裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理【技術(shù)領(lǐng)域】，特別涉及一種人臉特征點(diǎn)定位方法和裝置。

【背景技術(shù)】
[0002] 基于ASM (Active Shape Model，主動(dòng)形狀模型）算法的人臉特征點(diǎn)定位方法是目 前視頻和圖像中提取人臉特征點(diǎn)的主流技術(shù)，具有速度快、精度高的優(yōu)點(diǎn)。
[0003] 目前基于ASM算法的人臉特征點(diǎn)定位方法通常包括：首先針對(duì)若干人臉圖像建立 平均形狀模型，平均形狀模型由一系列的特征點(diǎn)組成，所有特征點(diǎn)組合在一起形成了人臉 形狀；然后建立形狀模型中每個(gè)特征點(diǎn)附近的灰度模型，每個(gè)特征點(diǎn)的灰度模型包括該特 征點(diǎn)的灰度特性；最后利用灰度模型在目標(biāo)圖像中搜索特征點(diǎn)的最佳位置，并根據(jù)搜索結(jié) 果調(diào)整平均形狀模型，使調(diào)整后的形狀模型由在目標(biāo)圖像中確定的特征點(diǎn)組成，達(dá)到形狀 模型與目標(biāo)圖像中的人臉形狀匹配。
[0004] 在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)至少存在以下問題：
[0005] 目前的方法是針對(duì)若干人臉圖像建立一個(gè)平均形狀模型，并且在這個(gè)平均形狀模 型的基礎(chǔ)上進(jìn)行調(diào)整，以獲得各個(gè)目標(biāo)圖像的模型，沒有考慮到人臉圖像之間可能存在的 巨大差異，因此采用該方法得到的形狀模型中特征點(diǎn)形成的人臉形狀與目標(biāo)圖像中的人臉 形狀之間的誤差較大，如對(duì)100*100像素的目標(biāo)圖像進(jìn)行人臉特征點(diǎn)定位的平均誤差為3 個(gè)像素。


【發(fā)明內(nèi)容】

[0006] 為了解決現(xiàn)有技術(shù)得到的形狀模型中特征點(diǎn)形成的人臉形狀與目標(biāo)圖像中的人 臉形狀之間的誤差較大的問題，本發(fā)明實(shí)施例提供了一種人臉特征點(diǎn)定位方法和裝置。所 述技術(shù)方案如下：
[0007] -方面，本發(fā)明實(shí)施例提供了一種人臉特征點(diǎn)定位方法，所述方法包括：
[0008] 獲取待測(cè)圖像；
[0009] 在所述待測(cè)圖像中，進(jìn)行平均形狀模型的初始定位，得到描述所述待測(cè)圖像中人 臉的器官的特征點(diǎn)的初始位置；
[0010] 確定描述所述人臉的設(shè)定器官的器官模型的類型；
[0011] 基于確定的類型的器官模型，對(duì)所述待測(cè)圖像進(jìn)行特征點(diǎn)搜索，調(diào)整所述待測(cè)圖 像中人臉的器官的特征點(diǎn)的初始位置。
[0012] 可選地，所述類型按照人臉表情、人臉朝向、厚度、開合、遮擋物類型中的一種或多 種劃分。
[0013] 在本發(fā)明的一種可能的實(shí)現(xiàn)方式中，所述確定描述所述人臉的設(shè)定器官的器官模 型的類型，包括：
[0014] 分別計(jì)算所述設(shè)定器官的在所述初始位置的各個(gè)特征點(diǎn)的特征圖像，與所述設(shè)定 器官的所有類型的器官模型中對(duì)應(yīng)的特征點(diǎn)的特征圖像的相似度，所述特征點(diǎn)的特征圖像 為以所述特征點(diǎn)為中心的正方形區(qū)域，所述正方形的邊長為設(shè)定值；
[0015] 選取所有特征點(diǎn)的特征圖像的所述相似度的總和最大的類型，作為描述所述人臉 的設(shè)定器官的器官模型的類型。
[0016] 在本發(fā)明的另一種可能的實(shí)現(xiàn)方式中，所述基于確定的類型的器官模型，對(duì)所述 待測(cè)圖像進(jìn)行特征點(diǎn)搜索，調(diào)整所述待測(cè)圖像中人臉的器官的特征點(diǎn)的初始位置，包括：
[0017] 在所述待測(cè)圖像中，分別在所述設(shè)定器官的在所述初始位置的各個(gè)特征點(diǎn)所在的 第一區(qū)域中，搜索與所述設(shè)定器官的確定的類型的器官模型中對(duì)應(yīng)的特征點(diǎn)的特征圖像匹 配值最大的圖像，并將所述匹配值最大的圖像的中心作為調(diào)整后的所述待測(cè)圖像中人臉的 器官的特征點(diǎn)的位置，所述特征點(diǎn)的特征圖像為以所述特征點(diǎn)為中心的正方形區(qū)域，所述 正方形的邊長為設(shè)定值。
[0018] 在本發(fā)明的又一種可能的實(shí)現(xiàn)方式中，所述方法還包括：
[0019] 獲取若干訓(xùn)練圖像，所述訓(xùn)練圖像上已標(biāo)明所述設(shè)定器官的所有特征點(diǎn)的位置， 所述若干訓(xùn)練圖像包括人臉的所述設(shè)定器官所有類型的多張圖像；
[0020] 分別根據(jù)所述設(shè)定器官各種類型的所有特征點(diǎn)的位置，建立所述設(shè)定器官各種類 型的器官模型，所述器官模型包括所有特征點(diǎn)的特征圖像，所述特征點(diǎn)的特征圖像為以所 述特征點(diǎn)為中心的正方形區(qū)域，所述正方形的邊長為設(shè)定值。
[0021] 另一方面，本發(fā)明實(shí)施例提供了一種人臉特征點(diǎn)定位裝置，所述裝置包括：
[0022] 第一獲取模塊，用于獲取待測(cè)圖像；
[0023] 第二獲取模塊，用于在所述待測(cè)圖像中，進(jìn)行平均形狀模型的初始定位，得到描述 所述待測(cè)圖像中人臉的器官的特征點(diǎn)的初始位置；
[0024] 確定模塊，用于確定描述所述人臉的設(shè)定器官的器官模型的類型；
[0025] 調(diào)整模塊，用于基于確定的類型的器官模型，對(duì)所述待測(cè)圖像進(jìn)行特征點(diǎn)搜索，調(diào) 整所述待測(cè)圖像中人臉的器官的特征點(diǎn)的初始位置。
[0026] 可選地，所述類型按照人臉表情、人臉朝向、厚度、開合、遮擋物類型中的一種或多 種劃分。
[0027] 在本發(fā)明的一種可能的實(shí)現(xiàn)方式中，所述確定模塊包括：
[0028] 計(jì)算單元，用于分別計(jì)算所述設(shè)定器官的在所述初始位置的各個(gè)特征點(diǎn)的特征圖 像，與所述設(shè)定器官的所有類型的器官模型中對(duì)應(yīng)的特征點(diǎn)的特征圖像的相似度，所述特 征點(diǎn)的特征圖像為以所述特征點(diǎn)為中心的正方形區(qū)域，所述正方形的邊長為設(shè)定值；
[0029] 選取單元，用于選取所有特征點(diǎn)的特征圖像的所述相似度的總和最大的類型，作 為描述所述人臉的設(shè)定器官的器官模型的類型。
[0030] 在本發(fā)明的另一種可能的實(shí)現(xiàn)方式中，所述調(diào)整模塊用于，
[0031] 在所述待測(cè)圖像中，分別在所述設(shè)定器官的在所述初始位置的各個(gè)特征點(diǎn)所在的 第一區(qū)域中，搜索與所述設(shè)定器官的確定的類型的器官模型中對(duì)應(yīng)的特征點(diǎn)的特征圖像匹 配值最大的圖像，并將所述匹配值最大的圖像的中心作為調(diào)整后的所述待測(cè)圖像中人臉的 器官的特征點(diǎn)的位置，所述特征點(diǎn)的特征圖像為以所述特征點(diǎn)為中心的正方形區(qū)域，所述 正方形的邊長為設(shè)定值。
[0032] 在本發(fā)明的又一種可能的實(shí)現(xiàn)方式中，所述裝置還包括：
[0033] 第三獲取模塊，用于獲取若干訓(xùn)練圖像，所述訓(xùn)練圖像上已標(biāo)明所述設(shè)定器官的 所有特征點(diǎn)的位置，所述若干訓(xùn)練圖像包括人臉的所述設(shè)定器官所有類型的多張圖像；
[0034] 建立模塊，用于分別根據(jù)所述設(shè)定器官各種類型的所有特征點(diǎn)的位置，建立所述 設(shè)定器官各種類型的器官模型，所述器官模型包括所有特征點(diǎn)的特征圖像，所述特征點(diǎn)的 特征圖像為以所述特征點(diǎn)為中心的正方形區(qū)域，所述正方形的邊長為設(shè)定值。
[0035] 本發(fā)明實(shí)施例提供的技術(shù)方案帶來的有益效果是：
[0036] 通過針對(duì)待測(cè)圖像中人臉設(shè)定器官的不同類型，基于不同類型的器官形狀模型調(diào) 整待測(cè)圖像中人臉的器官的特征點(diǎn)的初始位置，提高了人臉的特征點(diǎn)與待測(cè)圖像的相似 度，降低了得到的待測(cè)圖像中人臉的特征點(diǎn)形成的人臉形狀與待測(cè)圖像中的人臉形狀之間 的誤差，對(duì)100*100像素的待測(cè)圖像進(jìn)行人臉特征點(diǎn)定位的平均誤差只有1個(gè)像素。人臉 特征點(diǎn)定位的精度的提1?，為人臉識(shí)別、姿態(tài)表情分析、人臉跟蹤、人臉重建等研究工作提 供了更加準(zhǔn)確的基礎(chǔ)數(shù)據(jù)，對(duì)人臉圖像的研究和應(yīng)用具有重要意義。

【專利附圖】

【附圖說明】
[0037] 為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使 用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于 本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他 的附圖。
[0038] 圖1是本發(fā)明實(shí)施例一提供的一種人臉特征點(diǎn)定位方法的流程圖；
[0039] 圖2是本發(fā)明實(shí)施例二提供的一種人臉特征點(diǎn)定位方法的流程圖；
[0040] 圖3是本發(fā)明實(shí)施例三提供的一種人臉特征點(diǎn)定位裝置的結(jié)構(gòu)示意圖；
[0041] 圖4是本發(fā)明實(shí)施例四提供的一種人臉特征點(diǎn)定位裝置的結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0042] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明實(shí)施方 式作進(jìn)一步地詳細(xì)描述。
[0043] 實(shí)施例一
[0044] 本發(fā)明實(shí)施例提供了一種人臉特征點(diǎn)定位方法，該方法基于ASM算法，參見圖1， 該方法包括：
[0045] 步驟101 :獲取待測(cè)圖像。
[0046] 步驟102 :在待測(cè)圖像中，進(jìn)行平均形狀模型的初始定位，得到描述待測(cè)圖像中人 臉的器官的特征點(diǎn)的初始位置。
[0047] 步驟103 :確定描述人臉的設(shè)定器官的器官模型的類型。
[0048] 可選地，該類型可以按照人臉表情、人臉朝向、厚度、開合、遮擋物類型中的一種或 多種劃分。
[0049] 步驟104 :基于確定的類型的器官模型，對(duì)待測(cè)圖像進(jìn)行特征點(diǎn)搜索，調(diào)整待測(cè)圖 像中人臉的器官的特征點(diǎn)的初始位置。
[0050] 本發(fā)明實(shí)施例通過針對(duì)待測(cè)圖像中人臉設(shè)定器官的不同類型，基于不同類型的器 官形狀模型調(diào)整待測(cè)圖像中人臉的器官的特征點(diǎn)的初始位置，提高了人臉的特征點(diǎn)與待測(cè) 圖像的相似度，降低了得到的待測(cè)圖像中人臉的特征點(diǎn)形成的人臉形狀與待測(cè)圖像中的人 臉形狀之間的誤差，對(duì)100*100像素的待測(cè)圖像進(jìn)行人臉特征點(diǎn)定位的平均誤差只有1個(gè) 像素。人臉特征點(diǎn)定位的精度的提1?，為人臉識(shí)別、姿態(tài)表情分析、人臉跟蹤、人臉重建等研 究工作提供了更加準(zhǔn)確的基礎(chǔ)數(shù)據(jù)，對(duì)人臉圖像的研究和應(yīng)用具有重要意義。
[0051] 實(shí)施例二
[0052] 本發(fā)明實(shí)施例提供了一種人臉特征點(diǎn)定位方法，該方法基于ASM算法，參見圖2， 該方法包括：
[0053] 步驟201 :獲取待測(cè)圖像。
[0054] 步驟202 :在待測(cè)圖像中，進(jìn)行平均形狀模型的初始定位，得到描述待測(cè)圖像中人 臉的器官的特征點(diǎn)的初始位置。
[0055] 在本實(shí)施例中，平均形狀模型是一個(gè)進(jìn)行人臉特征點(diǎn)定位時(shí)采用的通用模型，平 均形狀模型是對(duì)所有人臉的特征點(diǎn)進(jìn)行平均后得到的結(jié)果，不考慮各個(gè)人臉之間的差異 性。
[0056] 在具體實(shí)現(xiàn)中，進(jìn)行初始定位時(shí)，可以先在待測(cè)圖像中確定眼睛的位置，即確定描 述眼睛的特征點(diǎn)在待測(cè)圖像中的位置，然后根據(jù)平均形狀模型中各個(gè)特征點(diǎn)之間的位置關(guān) 系，確定其它特征點(diǎn)在待測(cè)圖像中的位置，即確定待測(cè)圖像中的其它器官的初始位置。其 中，其它特征點(diǎn)為平均形狀模型中，除描述眼睛的特征點(diǎn)之外的特征點(diǎn)。
[0057] 步驟203 :確定描述人臉的設(shè)定器官的器官模型的類型。
[0058] 可選地，該類型可以按照人臉表情、人臉朝向、厚度、開合、遮擋物類型中的一種或 多種劃分。
[0059] 人臉表情分為微笑、生氣等。容易理解，以嘴（人臉器官）為例，當(dāng)人在微笑時(shí)，嘴 通常從中間向兩邊翹起，因此描述嘴的各個(gè)特征點(diǎn)之間在堅(jiān)直方向上的距離較大。而如果 人沒有笑，則描述嘴的各個(gè)特征點(diǎn)之間在堅(jiān)直方向上的距離較小。
[0060] 人臉朝向分為朝左、朝右、以及中間三種。容易理解，以鼻子（人臉器官）為例，當(dāng) 人臉朝左或朝右時(shí)，鼻子一側(cè)的特征點(diǎn)之間的距離一般會(huì)比另一側(cè)的大，而如果人臉朝向 中間，則鼻子兩側(cè)的特征點(diǎn)之間的距離是相同的。
[0061] 厚度可以按照胡須厚度、眉毛厚度等范圍劃分。容易理解，以眉毛為例，當(dāng)眉毛厚 度小于設(shè)定值時(shí)，各個(gè)特征點(diǎn)之間的距離較??；當(dāng)眉毛厚度大于或等于設(shè)定值時(shí)，各個(gè)特征 點(diǎn)之間的距離較大。
[0062] 開合可以按照嘴巴開合、眼睛開合等劃分。容易理解，以嘴巴為例，當(dāng)嘴巴張開 (堅(jiān)直方向最大距離大于或等于設(shè)定值）時(shí)，各個(gè)特征點(diǎn)之間的距離較大；當(dāng)嘴巴張開閉合 (堅(jiān)直方向最大距離小于設(shè)定值）時(shí)，各個(gè)特征點(diǎn)之間的距離較小。
[0063] 設(shè)定器官是人臉的所有器官中，進(jìn)行特征點(diǎn)定位時(shí)具有較大差異性特征的器官， 如上述的嘴、下巴等都可以是設(shè)定器官。可以理解地，帶有胡須的下巴和沒有胡須的下巴的 差異就很大，又如，即使同樣是帶有胡須的下巴，胡須的長度不同，人臉特征點(diǎn)定位結(jié)果也 不同。
[0064] 在本實(shí)施例的一種實(shí)現(xiàn)方式中，該步驟203可以包括：
[0065] 分別計(jì)算設(shè)定器官的在初始位置的各個(gè)特征點(diǎn)的特征圖像，與設(shè)定器官的所有類 型的器官模型中對(duì)應(yīng)的特征點(diǎn)的特征圖像的相似度，特征點(diǎn)的特征圖像為以特征點(diǎn)為中心 的正方形區(qū)域，正方形的邊長為設(shè)定值；
[0066] 選取所有特征點(diǎn)的特征圖像的相似度的總和最大的類型，作為描述人臉的設(shè)定器 官的器官模型的類型。
[0067] 在該種實(shí)現(xiàn)方式中，以特征點(diǎn)的特征圖像為從特征點(diǎn)所在的圖像中截取的為例， 計(jì)算特征圖像的相似度可以直接計(jì)算兩幅特征圖像的對(duì)應(yīng)像素的灰度值之差，所有像素的 差值之和越小，相似度越大。
[0068] 又如，特征點(diǎn)的特征圖像為從特征點(diǎn)所在的圖像進(jìn)行邊緣提取后的邊緣圖像中截 取的，計(jì)算特征圖像的相似度可以計(jì)算兩幅邊緣圖像的對(duì)應(yīng)像素的灰度值之差，所有像素 的差值之和越小，相似度越大。
[0069] 步驟204 :基于確定的類型的器官模型，對(duì)待測(cè)圖像進(jìn)行特征點(diǎn)搜索，調(diào)整待測(cè)圖 像中人臉的器官的特征點(diǎn)的初始位置。
[0070] 在本實(shí)施例的一種實(shí)現(xiàn)方式中，該步驟204可以包括：
[0071] 在待測(cè)圖像中，分別在設(shè)定器官的在初始位置的各個(gè)特征點(diǎn)所在的第一區(qū)域中， 搜索與設(shè)定器官的確定的類型的器官模型中對(duì)應(yīng)的特征點(diǎn)的特征圖像匹配值最大的圖像， 并將該匹配值最大的圖像的中心作為調(diào)整后的待測(cè)圖像中人臉的特征點(diǎn)的位置，特征點(diǎn)的 特征圖像為以特征點(diǎn)為中心的正方形區(qū)域，正方形區(qū)域的邊長為設(shè)定值。
[0072] 在本實(shí)施例中，計(jì)算匹配值的方法與計(jì)算相似度的方法類似，在此不再詳述。
[0073] 容易知道，進(jìn)行特征點(diǎn)搜索時(shí)，一般是基于特征點(diǎn)的灰度模型在包括特征點(diǎn)的一 條直線上進(jìn)行。本發(fā)明是基于確定的類型的器官模型在包括特征點(diǎn)的一個(gè)區(qū)域內(nèi)進(jìn)行，針 對(duì)器官的不同類型，選用不同的器官模型，提高了基準(zhǔn)的準(zhǔn)確性，同時(shí)擴(kuò)大了搜索的范圍， 進(jìn)一步提1? 了確定的位置的準(zhǔn)確性。
[0074] 在本實(shí)施例的又一種實(shí)現(xiàn)方式中，該方法還可以包括：
[0075] 步驟205 :獲取若干訓(xùn)練圖像。
[0076] 在本實(shí)施例中，訓(xùn)練圖像上已標(biāo)明設(shè)定器官的所有特征點(diǎn)的位置，若干訓(xùn)練圖像 包括人臉的設(shè)定器官所有類型的多張圖像。
[0077] 步驟206 :分別根據(jù)設(shè)定器官各種類型的所有特征點(diǎn)的位置，建立設(shè)定器官各種 類型的器官模型。
[0078] 在本實(shí)施例中，器官模型包括所有特征點(diǎn)的特征圖像，特征點(diǎn)的特征圖像為以特 征點(diǎn)為中心的正方形區(qū)域，正方形的邊長為設(shè)定值。
[0079] 需要說明的是，步驟205-206通常在調(diào)用器官形狀模型（步驟203)之前執(zhí)行一 次。當(dāng)然，步驟205-206也可以在調(diào)用之后根據(jù)更新后的訓(xùn)練圖像再次執(zhí)行。
[0080] 本發(fā)明實(shí)施例通過針對(duì)待測(cè)圖像中人臉設(shè)定器官的不同類型，基于不同類型的器 官形狀模型調(diào)整待測(cè)圖像中人臉的器官的特征點(diǎn)的初始位置，提高了人臉的特征點(diǎn)與待測(cè) 圖像的相似度，降低了得到的待測(cè)圖像中人臉的特征點(diǎn)形成的人臉形狀與待測(cè)圖像中的人 臉形狀之間的誤差，對(duì)100*100像素的待測(cè)圖像進(jìn)行人臉特征點(diǎn)定位的平均誤差只有1個(gè) 像素。人臉特征點(diǎn)定位的精度的提1?，為人臉識(shí)別、姿態(tài)表情分析、人臉跟蹤、人臉重建等研 究工作提供了更加準(zhǔn)確的基礎(chǔ)數(shù)據(jù)，對(duì)人臉圖像的研究和應(yīng)用具有重要意義。
[0081] 實(shí)施例三
[0082] 本發(fā)明實(shí)施例提供了一種人臉特征點(diǎn)定位裝置，參見圖3,該裝置包括：
[0083] 第一獲取模塊301，用于獲取待測(cè)圖像；
[0084] 第二獲取模塊302,用于在待測(cè)圖像中，進(jìn)行平均形狀模型的初始定位，得到描述 待測(cè)圖像中人臉的器官的特征點(diǎn)的初始位置；
[0085] 確定模塊303,用于確定描述人臉的設(shè)定器官的器官模型的類型；
[0086] 調(diào)整模塊304,用于基于確定的類型的器官模型，對(duì)待測(cè)圖像進(jìn)行特征點(diǎn)搜索，調(diào) 整待測(cè)圖像中人臉的器官的特征點(diǎn)的初始位置。
[0087] 可選地，該類型可以按照人臉表情、人臉朝向、厚度、開合、遮擋物類型中的一種或 多種劃分。
[0088] 本發(fā)明實(shí)施例通過針對(duì)待測(cè)圖像中人臉設(shè)定器官的不同類型，基于不同類型的器 官形狀模型調(diào)整待測(cè)圖像中人臉的器官的特征點(diǎn)的初始位置，提高了人臉的特征點(diǎn)與待測(cè) 圖像的相似度，降低了得到的待測(cè)圖像中人臉的特征點(diǎn)形成的人臉形狀與待測(cè)圖像中的人 臉形狀之間的誤差，對(duì)100*100像素的待測(cè)圖像進(jìn)行人臉特征點(diǎn)定位的平均誤差只有1個(gè) 像素。人臉特征點(diǎn)定位的精度的提1?，為人臉識(shí)別、姿態(tài)表情分析、人臉跟蹤、人臉重建等研 究工作提供了更加準(zhǔn)確的基礎(chǔ)數(shù)據(jù)，對(duì)人臉圖像的研究和應(yīng)用具有重要意義。
[0089] 實(shí)施例四
[0090] 本發(fā)明實(shí)施例提供了一種人臉特征點(diǎn)定位裝置，參見圖4,該裝置包括：
[0091] 第一獲取模塊401，用于獲取待測(cè)圖像；
[0092] 第二獲取模塊402,用于在待測(cè)圖像中，進(jìn)行平均形狀模型的初始定位，得到描述 待測(cè)圖像中人臉的器官的特征點(diǎn)的初始位置；
[0093] 確定模塊403,用于確定描述人臉的設(shè)定器官的器官模型的類型；
[0094] 調(diào)整模塊404,用于基于確定的類型的器官模型，對(duì)待測(cè)圖像進(jìn)行特征點(diǎn)搜索，調(diào) 整待測(cè)圖像中人臉的器官的特征點(diǎn)的初始位置。
[0095] 可選地，該類型可以按照人臉表情、人臉朝向、厚度、開合、遮擋物類型中的一種或 多種劃分。
[0096] 在本實(shí)施例的一種實(shí)現(xiàn)方式中，該確定模塊403可以包括：
[0097] 計(jì)算單元，用于分別計(jì)算設(shè)定器官的在初始位置的各個(gè)特征點(diǎn)的特征圖像，與設(shè) 定器官的所有類型的器官模型中對(duì)應(yīng)的特征點(diǎn)的特征圖像的相似度，特征點(diǎn)的特征圖像為 以特征點(diǎn)為中心的正方形區(qū)域，正方形的邊長為設(shè)定值；
[0098] 選取單元，用于選取所有特征點(diǎn)的特征圖像的相似度的總和最大的類型，作為描 述人臉的設(shè)定器官的器官模型的類型。
[0099] 在本實(shí)施例的另一種實(shí)現(xiàn)方式中，該調(diào)整模塊404用于，
[0100] 在待測(cè)圖像中，分別在設(shè)定器官的在初始位置的各個(gè)特征點(diǎn)所在的第一區(qū)域中， 搜索與設(shè)定器官的確定的類型的器官模型中對(duì)應(yīng)的特征點(diǎn)的特征圖像匹配值最大的圖像， 并將匹配值最大的圖像的中心作為調(diào)整后的待測(cè)圖像中人臉的器官的特征點(diǎn)的位置，特征 點(diǎn)的特征圖像為以特征點(diǎn)為中心的正方形區(qū)域，正方形的邊長為設(shè)定值。
[0101] 在本實(shí)施例的又一種實(shí)現(xiàn)方式中，該裝置還可以包括：
[0102] 第三獲取模塊405,用于獲取若干訓(xùn)練圖像，訓(xùn)練圖像上已標(biāo)明設(shè)定器官的所有特 征點(diǎn)的位置，若干訓(xùn)練圖像包括人臉的設(shè)定器官所有類型的多張圖像；
[0103] 建立模塊406,用于分別根據(jù)設(shè)定器官各種類型的所有特征點(diǎn)的位置，建立設(shè)定器 官各種類型的器官模型，器官模型包括所有特征點(diǎn)的特征圖像，特征點(diǎn)的特征圖像為以特 征點(diǎn)為中心的正方形區(qū)域，正方形的邊長為設(shè)定值。
[0104] 本發(fā)明實(shí)施例通過針對(duì)待測(cè)圖像中人臉設(shè)定器官的不同類型，基于不同類型的器 官形狀模型調(diào)整待測(cè)圖像中人臉的器官的特征點(diǎn)的初始位置，提高了人臉的特征點(diǎn)與待測(cè) 圖像的相似度，降低了得到的待測(cè)圖像中人臉的特征點(diǎn)形成的人臉形狀與待測(cè)圖像中的人 臉形狀之間的誤差，對(duì)100*100像素的待測(cè)圖像進(jìn)行人臉特征點(diǎn)定位的平均誤差只有1個(gè) 像素。人臉特征點(diǎn)定位的精度的提1?，為人臉識(shí)別、姿態(tài)表情分析、人臉跟蹤、人臉重建等研 究工作提供了更加準(zhǔn)確的基礎(chǔ)數(shù)據(jù)，對(duì)人臉圖像的研究和應(yīng)用具有重要意義。
[0105] 需要說明的是：上述實(shí)施例提供的人臉特征點(diǎn)定位裝置在定位人臉特征點(diǎn)時(shí)，僅 以上述各功能模塊的劃分進(jìn)行舉例說明，實(shí)際應(yīng)用中，可以根據(jù)需要而將上述功能分配由 不同的功能模塊完成，即將裝置的內(nèi)部結(jié)構(gòu)劃分成不同的功能模塊，以完成以上描述的全 部或者部分功能。另外，上述實(shí)施例提供的人臉特征點(diǎn)定位裝置與人臉特征點(diǎn)定位方法實(shí) 施例屬于同一構(gòu)思，其具體實(shí)現(xiàn)過程詳見方法實(shí)施例，這里不再贅述。
[0106] 上述本發(fā)明實(shí)施例序號(hào)僅僅為了描述，不代表實(shí)施例的優(yōu)劣。
[0107] 本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例的全部或部分步驟可以通過硬件 來完成，也可以通過程序來指令相關(guān)的硬件完成，所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀 存儲(chǔ)介質(zhì)中，上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器，磁盤或光盤等。
[0108] 以上所述僅為本發(fā)明的較佳實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和 原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1. 一種人臉特征點(diǎn)定位方法，其特征在于，所述方法包括： 獲取待測(cè)圖像； 在所述待測(cè)圖像中，進(jìn)行平均形狀模型的初始定位，得到描述所述待測(cè)圖像中人臉的 器官的特征點(diǎn)的初始位置； 確定描述所述人臉的設(shè)定器官的器官模型的類型； 基于確定的類型的器官模型，對(duì)所述待測(cè)圖像進(jìn)行特征點(diǎn)搜索，調(diào)整所述待測(cè)圖像中 人臉的器官的特征點(diǎn)的初始位置。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述類型按照人臉表情、人臉朝向、厚度、 開合、遮擋物類型中的一種或多種劃分。
3. 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述確定描述所述人臉的設(shè)定器官的 器官模型的類型，包括： 分別計(jì)算所述設(shè)定器官的在所述初始位置的各個(gè)特征點(diǎn)的特征圖像，與所述設(shè)定器官 的所有類型的器官模型中對(duì)應(yīng)的特征點(diǎn)的特征圖像的相似度，所述特征點(diǎn)的特征圖像為以 所述特征點(diǎn)為中心的正方形區(qū)域，所述正方形的邊長為設(shè)定值； 選取所有特征點(diǎn)的特征圖像的所述相似度的總和最大的類型，作為描述所述人臉的設(shè) 定器官的器官模型的類型。
4. 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述基于確定的類型的器官模型，對(duì) 所述待測(cè)圖像進(jìn)行特征點(diǎn)搜索，調(diào)整所述待測(cè)圖像中人臉的器官的特征點(diǎn)的初始位置，包 括： 在所述待測(cè)圖像中，分別在所述設(shè)定器官的在所述初始位置的各個(gè)特征點(diǎn)所在的第一 區(qū)域中，搜索與所述設(shè)定器官的確定的類型的器官模型中對(duì)應(yīng)的特征點(diǎn)的特征圖像匹配值 最大的圖像，并將所述匹配值最大的圖像的中心作為調(diào)整后的所述待測(cè)圖像中人臉的器官 的特征點(diǎn)的位置，所述特征點(diǎn)的特征圖像為以所述特征點(diǎn)為中心的正方形區(qū)域，所述正方 形的邊長為設(shè)定值。
5. 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述方法還包括： 獲取若干訓(xùn)練圖像，所述訓(xùn)練圖像上已標(biāo)明所述設(shè)定器官的所有特征點(diǎn)的位置，所述 若干訓(xùn)練圖像包括人臉的所述設(shè)定器官所有類型的多張圖像； 分別根據(jù)所述設(shè)定器官各種類型的所有特征點(diǎn)的位置，建立所述設(shè)定器官各種類型的 器官模型，所述器官模型包括所有特征點(diǎn)的特征圖像，所述特征點(diǎn)的特征圖像為以所述特 征點(diǎn)為中心的正方形區(qū)域，所述正方形的邊長為設(shè)定值。
6. -種人臉特征點(diǎn)定位裝置，其特征在于，所述裝置包括： 第一獲取模塊，用于獲取待測(cè)圖像； 第二獲取模塊，用于在所述待測(cè)圖像中，進(jìn)行平均形狀模型的初始定位，得到描述所述 待測(cè)圖像中人臉的器官的特征點(diǎn)的初始位置； 確定模塊，用于確定描述所述人臉的設(shè)定器官的器官模型的類型； 調(diào)整模塊，用于基于確定的類型的器官模型，對(duì)所述待測(cè)圖像進(jìn)行特征點(diǎn)搜索，調(diào)整所 述待測(cè)圖像中人臉的器官的特征點(diǎn)的初始位置。
7. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述類型按照人臉表情、人臉朝向、厚度、 開合、遮擋物類型中的一種或多種劃分。
8. 根據(jù)權(quán)利要求6或7所述的裝置，其特征在于，所述確定模塊包括： 計(jì)算單元，用于分別計(jì)算所述設(shè)定器官的在所述初始位置的各個(gè)特征點(diǎn)的特征圖像， 與所述設(shè)定器官的所有類型的器官模型中對(duì)應(yīng)的特征點(diǎn)的特征圖像的相似度，所述特征點(diǎn) 的特征圖像為以所述特征點(diǎn)為中心的正方形區(qū)域，所述正方形的邊長為設(shè)定值； 選取單元，用于選取所有特征點(diǎn)的特征圖像的所述相似度的總和最大的類型，作為描 述所述人臉的設(shè)定器官的器官模型的類型。
9. 根據(jù)權(quán)利要求6或7所述的裝置，其特征在于，所述調(diào)整模塊用于， 在所述待測(cè)圖像中，分別在所述設(shè)定器官的在所述初始位置的各個(gè)特征點(diǎn)所在的第一 區(qū)域中，搜索與所述設(shè)定器官的確定的類型的器官模型中對(duì)應(yīng)的特征點(diǎn)的特征圖像匹配值 最大的圖像，并將所述匹配值最大的圖像的中心作為調(diào)整后的所述待測(cè)圖像中人臉的器官 的特征點(diǎn)的位置，所述特征點(diǎn)的特征圖像為以所述特征點(diǎn)為中心的正方形區(qū)域，所述正方 形的邊長為設(shè)定值。
10. 根據(jù)權(quán)利要求6或7所述的裝置，其特征在于，所述裝置還包括： 第三獲取模塊，用于獲取若干訓(xùn)練圖像，所述訓(xùn)練圖像上已標(biāo)明所述設(shè)定器官的所有 特征點(diǎn)的位置，所述若干訓(xùn)練圖像包括人臉的所述設(shè)定器官所有類型的多張圖像； 建立模塊，用于分別根據(jù)所述設(shè)定器官各種類型的所有特征點(diǎn)的位置，建立所述設(shè)定 器官各種類型的器官模型，所述器官模型包括所有特征點(diǎn)的特征圖像，所述特征點(diǎn)的特征 圖像為以所述特征點(diǎn)為中心的正方形區(qū)域，所述正方形的邊長為設(shè)定值。
【文檔編號(hào)】G06K9/66GK104091148SQ201410268298
【公開日】2014年10月8日 申請(qǐng)日期:2014年6月16日 優(yōu)先權(quán)日:2014年6月16日
【發(fā)明者】趙叢 申請(qǐng)人:聯(lián)想(北京)有限公司