[0062] 步驟213,過(guò)濾具有人臉區(qū)域的目標(biāo)圖像得到有效目標(biāo)圖像。
[0063] 本實(shí)施例中,成像質(zhì)量不高的目標(biāo)圖像將存在著圖像模糊等問(wèn)題,因此,需要對(duì)人 臉檢測(cè)所得到的具有人臉區(qū)域的目標(biāo)圖像進(jìn)行過(guò)濾,通過(guò)過(guò)濾所得到的具有人臉區(qū)域的目 標(biāo)圖像即為有效目標(biāo)圖像。
[0064] 在一個(gè)實(shí)施例中,上述步驟213的具體過(guò)程為:獲取具有人臉區(qū)域的目標(biāo)圖像中 人臉區(qū)域所對(duì)應(yīng)的參數(shù),根據(jù)該參數(shù)判斷人臉區(qū)域是否模糊,若為是,則剔除目標(biāo)圖像,若 為否,則將目標(biāo)圖像置為有效目標(biāo)圖像。
[0065] 其中,具有人臉區(qū)域的目標(biāo)圖像中余下的目標(biāo)圖像即為有效人臉圖像。
[0066] 本實(shí)施例中,用于判別人臉區(qū)域是否的參數(shù)可以是清晰度和/或人臉尺寸。具體 的,可根據(jù)目標(biāo)圖像中人臉區(qū)域得到清晰度,該清晰度是通過(guò)計(jì)算目標(biāo)圖像中人臉區(qū)域的 梯度絕對(duì)值的平均值與灰度范圍之間的比值。人臉尺寸則是人臉檢測(cè)所得到的人臉區(qū)域的 面積,即總的像素個(gè)數(shù)。
[0067] 對(duì)于人臉區(qū)域的清晰度而言,將判斷清晰度是否小于設(shè)定的清晰度閾值,若為是, 則代表人臉區(qū)域過(guò)于模糊,將其過(guò)濾,若為否,則將其判定為有效目標(biāo)圖像。人臉尺寸也將 通過(guò)如上所述方式進(jìn)行人臉區(qū)域是否模糊的判別。
[0068] 隨著目標(biāo)圖像的過(guò)濾,具有人臉區(qū)域的目標(biāo)圖像中余下的目標(biāo)圖像即為有效目標(biāo) 圖像。
[0069] 如圖4所示,在一個(gè)實(shí)施例中,上述步驟211包括:
[0070] 步驟2111,對(duì)目標(biāo)圖像進(jìn)行分類特征的提取,并將分類特征圖集級(jí)聯(lián)強(qiáng)分類器以 得到具有人臉區(qū)域的目標(biāo)圖像以及目標(biāo)圖像中的人臉參數(shù)。
[0071] 本實(shí)施例中,由目標(biāo)圖像提取得到的分類特征可為haar特征(矩形特征),進(jìn)而可 由提取得到的haar特征和自適應(yīng)boosting分類方法進(jìn)行人臉檢測(cè),以得到輸入的目標(biāo)圖 像中具有人臉區(qū)域的目標(biāo)圖像以及該目標(biāo)圖像中的人臉參數(shù),其中,人臉參數(shù)包括了目標(biāo) 圖像中的人臉位置和人臉尺寸。
[0072] 在優(yōu)選的實(shí)施例中,為方便后續(xù)處理,將按照人臉尺寸對(duì)具有人臉區(qū)域的目標(biāo)圖 像按照從大到小的順序進(jìn)行排序。
[0073] 步驟2113,獲取預(yù)置的樣本圖像,根據(jù)人臉參數(shù)將目標(biāo)圖像與樣本圖像中的人臉 形狀匹配,得到初始的人臉區(qū)域以及具有初始的人臉區(qū)域的目標(biāo)圖像。
[0074] 本實(shí)施例中,預(yù)先設(shè)置樣本圖像,其中,樣本圖像中標(biāo)注了人臉?biāo)嬖诘娜舾蓚€(gè)關(guān) 鍵點(diǎn),關(guān)鍵點(diǎn)的分布將表征了樣本圖像中人臉的五官分布。
[0075] 由于樣本圖像中的人臉形狀與目標(biāo)圖像中的人臉區(qū)域分別處于不同的坐標(biāo)系中, 因此,需要根據(jù)定位得到的人臉參數(shù)對(duì)樣本圖像進(jìn)行調(diào)整,以使得調(diào)整后樣本圖像中的人 臉形狀所在的坐標(biāo)系與目標(biāo)圖像的坐標(biāo)系對(duì)齊,并且調(diào)整后的人臉形狀與目標(biāo)圖像中的人 臉匹配度達(dá)到最佳,也就是說(shuō),人臉形狀上各個(gè)關(guān)鍵點(diǎn)的坐標(biāo)與人臉區(qū)域的坐標(biāo)之間的誤 差總和最小,由此即可確定目標(biāo)圖像中初始的人臉區(qū)域。
[0076] 進(jìn)一步的,預(yù)先設(shè)置多張不同年齡、不同性別和不同姿態(tài)的人臉圖像作為訓(xùn)練圖 像,在訓(xùn)練圖像中,將預(yù)先對(duì)其進(jìn)行關(guān)鍵點(diǎn)標(biāo)注,標(biāo)注的臉部對(duì)象將包括了眉毛、眼睛、鼻 子、嘴巴和人臉輪廓。
[0077] 例如,訓(xùn)練圖像如圖5所示,其上將標(biāo)注了 88個(gè)關(guān)鍵點(diǎn),標(biāo)注時(shí)將精確到像素,所 采用的標(biāo)注準(zhǔn)則分別如圖6至圖12所示。
[0078] 對(duì)于每一訓(xùn)練圖像,首先對(duì)其88個(gè)關(guān)鍵點(diǎn)所形成的形狀進(jìn)行PCA (Principal Component Analysis,主成分分析)建模得到平均形狀i和特征值矩陣Λ的特征向量U,然 后依次對(duì)88個(gè)關(guān)鍵點(diǎn)的紋理信息進(jìn)行建模。
[0079] 其中,在88個(gè)關(guān)鍵點(diǎn)中,對(duì)于任一關(guān)鍵點(diǎn)q,將按照特定方向提取以關(guān)鍵點(diǎn)q為中 心,逐點(diǎn)采集7個(gè)像素點(diǎn)形成線段,將該線段上7個(gè)像素點(diǎn)的灰度值作為該關(guān)鍵點(diǎn)q的紋理 特征Vq。
[0080] 通過(guò)如上所述的方式計(jì)算得到每一關(guān)鍵點(diǎn)所對(duì)應(yīng)的紋理特征,進(jìn)而得到訓(xùn)練圖像 中紋理特征所對(duì)應(yīng)的均值以及對(duì)應(yīng)的協(xié)方差矩陣的逆矩陣M。
[0081] 對(duì)若干個(gè)訓(xùn)練圖像進(jìn)行K均值聚類,以將聚類所得到的均值作為臉部對(duì)象的模 板,即樣本圖像。
[0082] 得到了樣本圖像之后,將根據(jù)目標(biāo)圖像中的人臉參數(shù)對(duì)樣本圖像中的平均形狀無(wú) 進(jìn)行調(diào)整,該平均形狀f即為樣本圖像中的人臉形狀,該調(diào)整將包括了人臉形狀的縮放、旋 轉(zhuǎn)和平移,以使得調(diào)整后的人臉形狀的坐標(biāo)系與目標(biāo)圖像的坐標(biāo)系對(duì)齊,并且該調(diào)整后的 人臉形狀與目標(biāo)圖像中的人臉匹配程度最佳,以得到初始的人臉區(qū)域
[0083] 在一個(gè)實(shí)施例中,上述步驟2111的具體過(guò)程為:對(duì)目標(biāo)圖像進(jìn)行多尺度空間搜索 得到每一搜索窗口的特征,將每一搜索窗口的特征輸入級(jí)聯(lián)強(qiáng)分類器,以根據(jù)級(jí)聯(lián)強(qiáng)分類 器的判別結(jié)果得到具有人臉區(qū)域的目標(biāo)圖像。
[0084] 本實(shí)施例中,對(duì)輸入的目標(biāo)圖像以不同大小和位置的窗口進(jìn)行多尺度空間搜索, 以得到每一搜索窗口的特征。
[0085] 預(yù)先通過(guò)一定的樣本形成級(jí)聯(lián)級(jí)強(qiáng)分類器,以通過(guò)級(jí)聯(lián)強(qiáng)分類器根據(jù)輸入的每一 搜索窗口的特征判斷目標(biāo)圖像是否具有人臉區(qū)域,若為是,則判定該目標(biāo)圖像即為具有人 臉區(qū)域的目標(biāo)圖像,并輸出目標(biāo)圖像中的人臉參數(shù),即人臉位置和人臉尺寸。
[0086] 進(jìn)一步的,為得到級(jí)聯(lián)強(qiáng)分類器,將采集預(yù)定數(shù)目的人臉圖像和非人臉圖像作為 正負(fù)樣本,分別提取樣本中的特征,通過(guò)自適應(yīng)boosting分類器挑選最佳的特征及相應(yīng)的 閾值和權(quán)重,以得到級(jí)聯(lián)強(qiáng)分類器。
[0087] 步驟2115,對(duì)具有人臉區(qū)域的目標(biāo)圖像中初始的人臉區(qū)域進(jìn)行形狀優(yōu)化得到優(yōu)化 的人臉區(qū)域以及具有人臉區(qū)域的目標(biāo)圖像。
[0088] 本實(shí)施例中,在具有人臉區(qū)域的目標(biāo)圖像中,對(duì)初始的人臉區(qū)域進(jìn)行迭代優(yōu)化,以 更新目標(biāo)圖像中關(guān)鍵點(diǎn)位置,得到優(yōu)化的人臉區(qū)域。
[0089] 初始的人臉區(qū)域所進(jìn)行的迭代優(yōu)化過(guò)程具體包括:
[0090] (1)對(duì)初始的人臉區(qū)域中的每一個(gè)關(guān)鍵點(diǎn)P,以關(guān)鍵點(diǎn)P為中心,沿特定方向逐點(diǎn) 采集15個(gè)像素點(diǎn)形成線段,對(duì)于線段上的任一點(diǎn)r,將按照線段方向提取以點(diǎn)r為中心,由 7個(gè)像素點(diǎn)組成的子線段,將子線段上7個(gè)像素點(diǎn)的灰度值作為點(diǎn)r的紋理特征
[0091] (2)對(duì)于15個(gè)像素點(diǎn)中的每一點(diǎn)r,按照公式
計(jì)算與關(guān)鍵 點(diǎn)P對(duì)應(yīng)的訓(xùn)練模型{ ^ M}之間的距離,在點(diǎn)r中選取距離最小的對(duì)應(yīng)的點(diǎn)rM乍為新的 關(guān)鍵點(diǎn)P,通過(guò)如此過(guò)程對(duì)所有關(guān)鍵點(diǎn)依次更新,以得到新的形狀s'
[0092] (3)在新的形狀f中,對(duì)于特征向量U中每一個(gè)特征向量U1以及該特征向量對(duì)應(yīng) 的特征值λ i,以每一個(gè)特征向量之間的內(nèi)積作為投影系數(shù)GJ1,將投影系數(shù)GJ1限定于范圍
之內(nèi),即當(dāng)ω i小于一 時(shí)直接設(shè)置《 i為,當(dāng)ω i大于.時(shí)直接 設(shè)置ω i為^然后按照公式
進(jìn)行PCA重建得到形狀st+1。
[0093] (4)對(duì)st+1重復(fù)進(jìn)行上所述迭代優(yōu)化,直至st+1的變化小于預(yù)定閾值,以得到優(yōu)化 的人臉區(qū)域。
[0094] 通過(guò)如上所述的方式實(shí)現(xiàn)人臉區(qū)域的優(yōu)化,有效地保證了所得到的人臉區(qū)域的精 確性。
[0095] 如圖13所示,在一個(gè)實(shí)施例中,上述步驟250包括:
[0096] 步驟251,將未匹配的有效目標(biāo)圖像進(jìn)行聚類,以得到聚類計(jì)算結(jié)果集合。
[0097] 本實(shí)施例中,未匹配的有效目標(biāo)圖像通常為多個(gè),因此,將對(duì)多個(gè)未匹配的有效目 標(biāo)圖像進(jìn)行聚類得到聚類計(jì)算結(jié)果集合,其中,所得到的聚類計(jì)算結(jié)果集合將包含了若干 個(gè)由有效目標(biāo)圖像形成的集合,即最終人臉歸類集合,每一集合所包含的有效目標(biāo)圖像中 存在的人臉將是相互匹配的。
[0098] 步驟253,通過(guò)對(duì)聚類計(jì)算結(jié)果集合觸發(fā)的標(biāo)注操作得到聚類計(jì)算結(jié)果集合中每 一最終人臉歸類集合對(duì)應(yīng)的圖像信息,并將聚類計(jì)算結(jié)果集合關(guān)聯(lián)至圖像信息。
[0099] 本實(shí)施例中,可獲取得到人工觸發(fā)的標(biāo)注操作,該標(biāo)注操作是對(duì)聚類計(jì)算結(jié)果集 合中的最終人臉歸類集合所進(jìn)行的圖像信息標(biāo)注,通過(guò)標(biāo)注操作使得最終人臉歸類集合與 一定的圖像信息相關(guān)聯(lián)。
[0100] 具體的,將對(duì)聚類所得到的聚類計(jì)算結(jié)果集合進(jìn)行顯示,以便于用戶或者后端的 開(kāi)發(fā)者得以對(duì)聚類計(jì)算結(jié)果集合中的最終人臉歸類集合進(jìn)行手動(dòng)標(biāo)注。
[0101] 用于進(jìn)行聚類計(jì)算結(jié)果集合顯示的頁(yè)面可以是虛擬社交網(wǎng)絡(luò)頁(yè)面,也可以是其它 的一些頁(yè)面,根據(jù)實(shí)際的應(yīng)用場(chǎng)景進(jìn)行靈活的設(shè)定。
[0102] 如圖14所示,在一個(gè)實(shí)施例中,上述步驟251包括:
[0103] 步驟2511,對(duì)未匹配的有效目標(biāo)圖像進(jìn)行兩兩計(jì)算,以得到兩個(gè)有效目標(biāo)圖像之 間的相似度和Rank-Order距離。
[0104] 本實(shí)施例中,對(duì)未得到對(duì)應(yīng)圖像信息的有效目標(biāo)圖像所進(jìn)行的兩兩計(jì)算是針對(duì)該 有效目標(biāo)圖像中的人臉區(qū)域進(jìn)行的。
[0105] 對(duì)于Rank-Order距離,給定固定的相似度矩陣G,分別以人臉區(qū)域u、V作為查詢將 其余元素%,a 2,…,ani和k b2,…,bn進(jìn)行相似度排序,得到排序RU、RV和位置函數(shù)N (u,ak), 即:
[0106] Ru = u, B1, a2, - ,am, v
[0107] Rv = V,b!,b2, ...,bn,u
[0108] N(u, ak) = q, ifbq = ak
[0109] 其中,q為一設(shè)定值。
[0110] 為了表示U、v的鄰居以及鄰居之間的序關(guān)系所反映出的u、v相異度,u、v之間的 Rank-Order距離定義為:
[0114] 步驟2513,以相似度和Rank-Order距離作為合并條件,進(jìn)行有效目標(biāo)圖像的合并 以得到若干個(gè)初始人臉歸類集合。
[0115] 本實(shí)施例中,根據(jù)相似度和Rank-O