本發(fā)明涉及圖像處理技術(shù)領(lǐng)域,尤其涉及一種人臉圖像的合成方法和裝置。
背景技術(shù):
平均臉是指從一定數(shù)量的普通人臉提取面部特征,根據(jù)測(cè)量數(shù)據(jù)求平均值,再利用計(jì)算機(jī)技術(shù)得到一張合成臉。在目前的平均臉計(jì)算方法中,首先提取需要得出平均臉群體的一定數(shù)量照片,再次將每張照片的五官(耳朵除外)輪廓提取出來,再將它平均得到平均輪廓,例如一個(gè)大眼睛加一個(gè)小眼睛就是一個(gè)中等大小的眼睛,然后將得到的平均輪廓通過圖像的像素融合得到平均臉。
現(xiàn)有技術(shù)的平均臉計(jì)算方法中可以得到平均臉,平均臉有多種應(yīng)用,例如可以將平均臉用于用戶人臉和目標(biāo)人臉的合成中,從而可以支持臉部的替換。在基于平均臉的圖像合成中,不支持臉部區(qū)域以外的圖像部分的替換,從而造成合成后的人臉與目標(biāo)人臉的邊緣輪廓無法有效的融為一體。為了實(shí)現(xiàn)臉部區(qū)域外的替換,還存在一種支持全圖替換的合成方法,該方法在合成圖像時(shí)會(huì)造成用戶人臉和目標(biāo)人臉兩幅圖像背景的重疊,使得合成后的人臉無法顯示目標(biāo)人臉的背景,并且合成后的圖像中人臉輪廓容易在五官輪廓處形成顏色突變,圖像合成效果差。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明實(shí)施例提供了一種人臉圖像的合成方法和裝置,用于支持包含背景的圖像合成,在合成后的圖像中五官輪廓處不會(huì)形成顏色突變,提高圖像的合成效果。
為解決上述技術(shù)問題,本發(fā)明實(shí)施例提供以下技術(shù)方案:
第一方面,本發(fā)明實(shí)施例提供一種人臉圖像的合成方法,包括:
對(duì)原始人臉圖像和人臉模板圖像進(jìn)行人臉識(shí)別以及人臉特征提取,分別得到原始人臉五官位置和人臉模板五官位置;
根據(jù)所述原始人臉五官位置對(duì)所述原始人臉圖像進(jìn)行圖像裁剪以及圖像縮放得到原始人臉居中圖像,以及根據(jù)所述人臉模板五官位置對(duì)所述人臉模板圖像進(jìn)行圖像裁剪以及圖像縮放得到人臉模板居中圖像;
根據(jù)所述原始人臉居中圖像和所述人臉模板居中圖像分別計(jì)算出原始人臉平均顏色值和人臉模板平均顏色值,并根據(jù)所述原始人臉平均顏色值和所述人臉模板平均顏色值對(duì)所述原始人臉居中圖像進(jìn)行膚色均衡處理,得到均衡完成后的原始人臉居中圖像;
從所述人臉模板居中圖像中截取出人臉模板臉部區(qū)域,為所述人臉模板臉部區(qū)域中的每個(gè)像素點(diǎn)配置對(duì)應(yīng)的臉部灰度參數(shù)得到人臉蒙版圖像,所述臉部灰度參數(shù)用于標(biāo)識(shí)所述人臉模板臉部區(qū)域中各個(gè)像素點(diǎn)融合入原始人臉居中圖像的融合權(quán)重;
根據(jù)所述原始人臉五官位置和所述人臉模板五官位置獲取到人臉五官平均位置,并根據(jù)所述人臉五官平均位置分別對(duì)所述均衡完成后的原始人臉居中圖像、所述人臉模板居中圖像和所述人臉蒙版圖像進(jìn)行人臉形變處理,得到形變完成后的原始人臉居中圖像、形變完成后的人臉模板居中圖像和形變完成后的人臉蒙版圖像;
對(duì)所述形變完成后的原始人臉居中圖像、所述形變完成后的人臉模板居中圖像和所述形變完成后的人臉蒙版圖像進(jìn)行人臉融合處理,得到所述原始人臉圖像對(duì)應(yīng)的人臉融合圖像。
第二方面,本發(fā)明實(shí)施例還提供一種人臉圖像的合成裝置,包括:
人臉檢測(cè)模塊,用于對(duì)原始人臉圖像和人臉模板圖像進(jìn)行人臉識(shí)別以及人臉特征提取,分別得到原始人臉五官位置和人臉模板五官位置;
圖像裁剪縮放模塊,用于根據(jù)所述原始人臉五官位置對(duì)所述原始人臉圖像進(jìn)行圖像裁剪以及圖像縮放得到原始人臉居中圖像,以及根據(jù)所述人臉模板五官位置對(duì)所述人臉模板圖像進(jìn)行圖像裁剪以及圖像縮放得到人臉模板居中圖像;
膚色均衡模塊,用于根據(jù)所述原始人臉居中圖像和所述人臉模板居中圖像分別計(jì)算出原始人臉平均顏色值和人臉模板平均顏色值,并根據(jù)所述原始人臉平均顏色值和所述人臉模板平均顏色值對(duì)所述原始人臉居中圖像進(jìn)行膚色均衡處理,得到均衡完成后的原始人臉居中圖像;
蒙版圖像生成模塊,用于從所述人臉模板居中圖像中截取出人臉模板臉部區(qū)域,為所述人臉模板臉部區(qū)域中的每個(gè)像素點(diǎn)配置對(duì)應(yīng)的臉部灰度參數(shù)得到人臉蒙版圖像,所述臉部灰度參數(shù)用于標(biāo)識(shí)所述人臉模板臉部區(qū)域中各個(gè)像素點(diǎn)融合入原始人臉居中圖像的融合權(quán)重;
人臉形變模塊,用于根據(jù)所述原始人臉五官位置和所述人臉模板五官位置獲取到人臉五官平均位置,并根據(jù)所述人臉五官平均位置分別對(duì)所述均衡完成后的原始人臉居中圖像、所述人臉模板居中圖像和所述人臉蒙版圖像進(jìn)行人臉形變處理,得到形變完成后的原始人臉居中圖像、形變完成后的人臉模板居中圖像和形變完成后的人臉蒙版圖像;
人臉融合模塊,用于對(duì)所述形變完成后的原始人臉居中圖像、所述形變完成后的人臉模板居中圖像和所述形變完成后的人臉蒙版圖像進(jìn)行人臉融合處理,得到所述原始人臉圖像對(duì)應(yīng)的人臉融合圖像。
從以上技術(shù)方案可以看出,本發(fā)明實(shí)施例具有以下優(yōu)點(diǎn):
在本發(fā)明實(shí)施例中,原始人臉圖像經(jīng)過人臉識(shí)別以及人臉特征、圖像裁剪以及圖像縮放、膚色均衡處理和人臉形變等過程的處理之后可以得到形變完成后的原始人臉居中圖像,人臉模板圖像經(jīng)過人臉識(shí)別以及人臉特征、圖像裁剪以及圖像縮放和人臉形變等過程的處理之后可以得到形變完成后的人臉模板居中圖像,并且還可以根據(jù)人臉模板居中圖像生成人臉蒙版圖像,人臉蒙版圖像也可以經(jīng)過人臉形變處理之后得到形變完成后的人臉蒙版圖像,本發(fā)明實(shí)施例中需要對(duì)形變完成后的原始人臉居中圖像、形變完成后的人臉模板居中圖像和形變完成后的人臉蒙版圖像進(jìn)行人臉融合處理,得到原始人臉圖像對(duì)應(yīng)的人臉融合圖像。本發(fā)明實(shí)施例中形變完成后的原始人臉居中圖像、形變完成后的人臉模板居中圖像和形變完成后的人臉蒙版圖像這三個(gè)圖像進(jìn)行融合,原始人臉圖像中的背景以及人臉模板圖像中的背景都可以在人臉蒙版圖像中根據(jù)配置的臉部灰度參數(shù)進(jìn)行調(diào)整,從而可以支持包含背景的圖像合成,本發(fā)明實(shí)施例中原始人臉居中圖像進(jìn)行了膚色均衡,從而在合成后的圖像中五官輪廓處不會(huì)形成顏色突變,提高圖像的合成效果。
附圖說明
為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案,下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域的技術(shù)人員來講,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明實(shí)施例提供的一種人臉圖像的合成方法的流程方框示意圖;
圖2為本發(fā)明實(shí)施例提供的人臉圖像的合成方法在小學(xué)生證件照的圖像融合應(yīng)用場(chǎng)景下的示意圖;
圖3-a為本發(fā)明實(shí)施例提供的一種人臉圖像的合成裝置的組成結(jié)構(gòu)示意圖;
圖3-b為本發(fā)明實(shí)施例提供的一種圖像裁剪縮放模塊的組成結(jié)構(gòu)示意圖;
圖3-c為本發(fā)明實(shí)施例提供的一種膚色均衡模塊的組成結(jié)構(gòu)示意圖;
圖3-d為本發(fā)明實(shí)施例提供的另一種人臉圖像的合成裝置的組成結(jié)構(gòu)示意圖;
圖4為本發(fā)明實(shí)施例提供的人臉圖像的合成方法應(yīng)用于終端的組成結(jié)構(gòu)示意圖。
具體實(shí)施方式
本發(fā)明實(shí)施例提供了一種人臉圖像的合成方法和裝置,用于支持包含背景的圖像合成,在合成后的圖像中五官輪廓處不會(huì)形成顏色突變,提高圖像的合成效果。
為使得本發(fā)明的發(fā)明目的、特征、優(yōu)點(diǎn)能夠更加的明顯和易懂,下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,下面所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例,而非全部實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域的技術(shù)人員所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“包括”和“具有”以及他們的任何變形,意圖在于覆蓋不排他的包含,以便包含一系列單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于那些單元,而是可包括沒有清楚地列出的或?qū)τ谶@些過程、方法、產(chǎn)品或設(shè)備固有的其它單元。
以下分別進(jìn)行詳細(xì)說明。
本發(fā)明人臉圖像的合成方法的一個(gè)實(shí)施例,具體可以應(yīng)用于用戶人臉與人臉模板的融合過程中,請(qǐng)參閱圖1所示,本發(fā)明一個(gè)實(shí)施例提供的人臉圖像的合成方法,可以包括如下步驟:
101、對(duì)原始人臉圖像和人臉模板圖像進(jìn)行人臉識(shí)別以及人臉特征提取,分別得到原始人臉五官位置和人臉模板五官位置。
在本發(fā)明實(shí)施例中,原始人臉圖像是用戶輸入的需要處理的圖像,人臉模板圖像是預(yù)先配置的圖像模板,該圖像模板可以結(jié)合應(yīng)用場(chǎng)景來具體選擇,例如人臉模板圖像可以是明星照片,或者兒童學(xué)生證照片,或者是老年人照片等,具體需要結(jié)合應(yīng)用場(chǎng)景來選取,此處不做限定。本發(fā)明實(shí)施例中人臉識(shí)別以及人臉特征提取可以有多種方式,例如可以是手機(jī)系統(tǒng)自帶的人臉檢測(cè)工具,有可以是獨(dú)立的人臉檢測(cè)插件等,或者是用戶配置的人臉檢測(cè)算法模塊等等。對(duì)原始人臉圖像進(jìn)行人臉識(shí)別以及人臉特征提取、對(duì)人臉模板圖像進(jìn)行人臉識(shí)別以及人臉特征提取可以同時(shí)進(jìn)行,可以獨(dú)立執(zhí)行,或者按照先后順序執(zhí)行等,此處不做限定。對(duì)原始人臉圖像進(jìn)行人臉識(shí)別以及人臉特征提取之后可以得到原始人臉五官位置,對(duì)人臉模板圖像進(jìn)行人臉識(shí)別以及人臉特征提取之后可以得到人臉模板五官位置。其中,原始人臉五官位置和人臉模板五官位置可以是包括人臉五官特征的位置基準(zhǔn)點(diǎn),例如可以使用騰訊優(yōu)圖人臉檢測(cè),通過人臉識(shí)別和五官定位得到83個(gè)基準(zhǔn)點(diǎn)。
需要說明的是,在本發(fā)明實(shí)施例中,原始人臉圖像和人臉模板圖像都可以是一張圖像或者多張圖像,具體實(shí)現(xiàn)過程與后續(xù)實(shí)施例中的描述相類似,本發(fā)明實(shí)施例中不限定原始人臉圖像的圖像個(gè)數(shù)和人臉模板圖像的圖像個(gè)數(shù)。
在本發(fā)明的一些實(shí)施例中,步驟101對(duì)原始人臉圖像和人臉模板圖像進(jìn)行人臉識(shí)別以及人臉特征提取,具體可以包括如下步驟:
A1、從原始人臉圖像和人臉模板圖像中分別檢測(cè)到人臉區(qū)域;
A2、對(duì)檢測(cè)到的人臉區(qū)域進(jìn)行五官特征點(diǎn)定位,五官特征點(diǎn)包括:臉部輪廓、眼睛輪廓、鼻子輪廓、眉毛輪廓和嘴唇輪廓。
其中,可以使用人臉檢測(cè)算法從原始人臉圖像和人臉模板圖像檢測(cè)到人臉區(qū)域,從該人臉區(qū)域中提取五官特征點(diǎn),例如,該五官特征點(diǎn)可以包括:臉部輪廓、眼睛輪廓、鼻子輪廓、眉毛輪廓和嘴唇輪廓。通過五官特征點(diǎn)能否把人臉區(qū)域中的人臉特征完整的表示出來。
102、根據(jù)原始人臉五官位置對(duì)原始人臉圖像進(jìn)行圖像裁剪以及圖像縮放得到原始人臉居中圖像,以及根據(jù)人臉模板五官位置對(duì)人臉模板圖像進(jìn)行圖像裁剪以及圖像縮放得到人臉模板居中圖像。
在本發(fā)明實(shí)施例中,獲取到原始人臉五官位置和人臉模板五官位置之后,可以進(jìn)行圖像裁剪以及圖像縮放的處理步驟,對(duì)原始人臉圖像進(jìn)行圖像裁剪以及圖像縮放、對(duì)人臉模板圖像進(jìn)行圖像裁剪以及圖像縮放可以同時(shí)進(jìn)行,可以獨(dú)立執(zhí)行,或者按照先后順序執(zhí)行等,此處不做限定。在實(shí)際應(yīng)用中圖像裁剪以及圖像縮放可以通過多種圖像處理工具來完成,例如可以是OpenCV的cvSetImageROI和cvResize函數(shù)來實(shí)現(xiàn)上述效果。對(duì)原始人臉圖像進(jìn)行圖像裁剪以及圖像縮放可以實(shí)現(xiàn)對(duì)原始人臉圖像的臉部居中,對(duì)人臉模板圖像進(jìn)行圖像裁剪以及圖像縮放可以實(shí)現(xiàn)對(duì)人臉模板圖像的臉部居中,從而可以得到原始人臉居中圖像和人臉模板居中圖像,從而便于后續(xù)過程中的人臉形變以及人臉融合。在實(shí)際應(yīng)用中,原始人臉圖像和人臉模板圖像都可以根據(jù)應(yīng)用場(chǎng)景需要來進(jìn)行圖像裁剪和圖像縮放,從而使得兩張圖像的人臉區(qū)域基本一致。
在本發(fā)明的一些實(shí)施例中,步驟102根據(jù)原始人臉五官位置對(duì)原始人臉圖像進(jìn)行圖像裁剪以及圖像縮放得到原始人臉居中圖像,以及根據(jù)人臉模板五官位置對(duì)人臉模板圖像進(jìn)行圖像裁剪以及圖像縮放得到人臉模板居中圖像,包括:
B1、根據(jù)原始人臉五官位置獲取原始人臉圖像中包括原始人臉五官位置的人臉框;
B2、在原始人臉圖像中以人臉框作為中心向外擴(kuò)展預(yù)置長度的距離范圍,并對(duì)原始人臉圖像中被擴(kuò)展后的距離范圍所覆蓋的區(qū)域進(jìn)行圖像縮放,得到原始人臉居中圖像;
B3、獲取在人臉模板圖像中出現(xiàn)的人臉框,并移動(dòng)人臉框至覆蓋人臉模板五官位置的區(qū)域;
B4、在人臉模板圖像中以人臉框作為中心向外擴(kuò)展預(yù)置長度的距離范圍,并對(duì)人臉模板圖像中被擴(kuò)展后的距離范圍所覆蓋的區(qū)域進(jìn)行圖像縮放,得到人臉模板居中圖像。
其中,在原始人臉圖像中根據(jù)原始人臉五官位置可以設(shè)置包括原始人臉五官位置的人臉框,該人臉框可以是正方形人臉框,也可以長方形人臉框,或者某種特別形狀的人臉框。獲取到人臉框之后,在原始人臉圖像中以人臉框作為中心向外擴(kuò)展預(yù)置長度的距離范圍,并對(duì)原始人臉圖像中被擴(kuò)展后的距離范圍所覆蓋的區(qū)域進(jìn)行圖像縮放,得到原始人臉居中圖像。該預(yù)置長度可以是正方形人臉框的邊長,也可以是長方形人臉框的長度或者寬度等。
接下來獲取在人臉模板圖像中出現(xiàn)的人臉框,并移動(dòng)人臉框至覆蓋人臉模板五官位置的區(qū)域,使人臉框能夠覆蓋人臉模板五官位置,通過對(duì)原始人臉圖像相同的裁剪和縮放對(duì)人臉模板圖像進(jìn)行操作,得到人臉模板居中圖像,從而使得原始人臉圖像和人臉模板圖像的人臉區(qū)域基本一致,為后續(xù)的膚色均衡以及人臉融合做好準(zhǔn)備。
103、根據(jù)原始人臉居中圖像和人臉模板居中圖像分別計(jì)算出原始人臉平均顏色值和人臉模板平均顏色值,并根據(jù)原始人臉平均顏色值和人臉模板平均顏色值對(duì)原始人臉居中圖像進(jìn)行膚色均衡處理,得到均衡完成后的原始人臉居中圖像。
在本發(fā)明實(shí)施例中,為了避免原始人臉和讓人臉模板在融合時(shí)容易出現(xiàn)五官輪廓處顏色突變的問題,需要對(duì)原始人臉進(jìn)行膚色均衡,即先計(jì)算原始人臉平均顏色值和人臉模板平均顏色值,計(jì)算原始人臉平均顏色值和計(jì)算人臉模板平均顏色值可以同時(shí)進(jìn)行,可以獨(dú)立執(zhí)行,或者按照先后順序執(zhí)行等,此處不做限定。得到原始人臉平均顏色值和人臉模板平均顏色值之后,根據(jù)原始人臉平均顏色值和人臉模板平均顏色值對(duì)原始人臉居中圖像進(jìn)行膚色均衡處理,從而可以對(duì)原始人臉居中圖像中人臉區(qū)域的圖像顏色值進(jìn)行修改。
在本發(fā)明的一些實(shí)施例中,步驟103根據(jù)原始人臉居中圖像和人臉模板居中圖像分別計(jì)算出原始人臉平均顏色值和人臉模板平均顏色值,并根據(jù)原始人臉平均顏色值和人臉模板平均顏色值對(duì)原始人臉居中圖像進(jìn)行膚色均衡處理,得到均衡完成后的原始人臉居中圖像,包括:
C1、將原始人臉居中圖像轉(zhuǎn)換為顏色模型(簡稱Lab)空間的原始人臉居中圖像,將人臉模板居中圖像轉(zhuǎn)換為Lab空間的人臉模板居中圖像,Lab空間的原始人臉居中圖像包括:原始人臉L通道、原始人臉a通道和原始人臉b通道,Lab空間的人臉模板居中圖像包括:人臉模板L通道、人臉模板a通道和人臉模板b通道;
C2、根據(jù)Lab空間的原始人臉居中圖像計(jì)算出原始人臉Lab空間平均顏色值,根據(jù)Lab空間的人臉模板居中圖像計(jì)算出人臉模板Lab空間平均顏色值,原始人臉Lab空間平均顏色值包括:原始人臉L通道平均值、原始人臉a通道平均值和原始人臉b通道平均值,人臉模板Lab空間平均顏色值包括:人臉模板L通道平均值、人臉模板a通道平均值和人臉模板b通道平均值;
C3、根據(jù)原始人臉Lab空間平均顏色值和人臉模板Lab空間平均顏色值對(duì)Lab空間的原始人臉居中圖像中原始人臉L通道、原始人臉a通道和原始人臉b通道分別進(jìn)行修正,得到均衡完成后的Lab空間的原始人臉居中圖像。
其中,原始人臉居中圖像和人臉模板居中圖像都可以是BGR顏色模型,也可以是其它顏色模型的圖像,通過步驟C1中的轉(zhuǎn)換,可以得到Lab空間的顏色模型,在步驟C2中可以分別計(jì)算出原始人臉Lab空間平均顏色值和人臉模板Lab空間平均顏色值,接下來執(zhí)行步驟C3,在L通道、a通道和b通道下分別對(duì)Lab空間的原始人臉居中圖像進(jìn)行修正,從而改變?cè)既四樉又袌D像中的人臉膚色??梢岳斫獾氖牵襟EC3得到Lab空間的原始人臉居中圖像之后,可以將Lab空間的原始人臉居中圖像恢復(fù)成BGR顏色模型。
進(jìn)一步的,在本發(fā)明的一些實(shí)施例中,步驟C3根據(jù)原始人臉Lab空間平均顏色值和人臉模板Lab空間平均顏色值對(duì)Lab空間的原始人臉居中圖像中原始人臉L通道、原始人臉a通道和原始人臉b通道分別進(jìn)行修正,得到均衡完成后的Lab空間的原始人臉居中圖像,包括:
C31、獲取Lab空間的原始人臉居中圖像中的任意一個(gè)原始像素點(diǎn)Px,Px的原始人臉L通道為Lx,Px的原始人臉a通道為ax,Px的原始人臉b通道為bx;
C32、通過如下方式計(jì)算出均衡完成后的Lab空間的原始人臉居中圖像,其中,原始像素點(diǎn)Px對(duì)應(yīng)的均衡完成后的像素點(diǎn)為Px’:
Lx’=Lx–AveUserL+AveTemL;
ax’=ax–AveUsera+AveTema;
bx’=bx–AveUserb+AveTemb;
其中,Lx’為Px’的均衡完成后的原始人臉L通道取值,ax’為Px’的均衡完成后的原始人臉a通道取值,b’為Px’的均衡完成后的原始人臉b通道取值,AveUserL為原始人臉L通道平均值,AveTemL為人臉模板L通道平均值,AveUsera為原始人臉a通道平均值,AveTema為人臉模板a通道平均值,AveUserb為原始人臉b通道平均值,AveTemb為人臉模板b通道平均值。
其中,對(duì)于原始人臉居中圖像中的任意一個(gè)原始像素點(diǎn)Px,都可以按照步驟C31和步驟C32中描述的修正方法來修改L通道、a通道、b通道的像素值。不限定的是,本發(fā)明實(shí)施例中步驟C32只是一種舉例說明的可實(shí)現(xiàn)方式,在本發(fā)明的其它實(shí)施例中,還可以對(duì)Lx’、ax’和bx’的表達(dá)式進(jìn)行變形,例如可以在等式右邊加上預(yù)置的像素修改值A(chǔ),則Lx’=Lx–AveUserL+AveTemL+A,同樣可以完成對(duì)Lx’的計(jì)算,具體可以結(jié)合應(yīng)用場(chǎng)景來確定。
104、從人臉模板居中圖像中截取出人臉模板臉部區(qū)域,為人臉模板臉部區(qū)域中的每個(gè)像素點(diǎn)配置對(duì)應(yīng)的臉部灰度參數(shù)得到人臉蒙版圖像,臉部灰度參數(shù)用于標(biāo)識(shí)人臉模板臉部區(qū)域中各個(gè)像素點(diǎn)融合入原始人臉居中圖像的融合權(quán)重。
在本發(fā)明實(shí)施例中,在得到人臉模板居中圖像之后,從人臉模板居中圖像中截取出人臉模板臉部區(qū)域,對(duì)于人臉模板臉部區(qū)域中的每個(gè)像素點(diǎn)分別配置對(duì)應(yīng)的臉部灰度參數(shù),則可以得到人臉蒙版圖像,臉部灰度參數(shù)用于標(biāo)識(shí)人臉模板臉部區(qū)域中各個(gè)像素點(diǎn)融合入原始人臉居中圖像的融合權(quán)重。舉例說明如下,在人臉蒙版圖像中包括有每個(gè)像素點(diǎn)的臉部灰度參數(shù),例如臉部灰度參數(shù)可以是50%,表示需要50%的人臉模板圖像,例如臉部灰度參數(shù)可以是100%,表示需要100%的人臉模板圖像。通過生成人臉蒙版圖像,可以確定人臉模板圖像的各個(gè)像素點(diǎn)與原始人臉居中圖像融合時(shí)采用的融合權(quán)重。
在本發(fā)明的一些實(shí)施例中,步驟104為人臉模板臉部區(qū)域中的每個(gè)像素點(diǎn)配置對(duì)應(yīng)的臉部灰度參數(shù)得到人臉蒙版圖像之后,本發(fā)明實(shí)施例提供的人臉圖像的合成方法還可以包括如下步驟:
D1、對(duì)人臉蒙版圖像的臉部輪廓邊緣進(jìn)行模糊處理。
其中,為了解決融合圖像的邊緣輪廓不夠平滑的問題,在得到人臉蒙版圖像之后,還可以對(duì)人臉蒙版圖像中的五官特征點(diǎn)進(jìn)行邊緣模糊,例如可以由用戶手動(dòng)調(diào)整臉部輪廓邊緣,也可以通過模糊算法來對(duì)臉部輪廓邊緣進(jìn)行模板計(jì)算。
105、根據(jù)原始人臉五官位置和人臉模板五官位置獲取到人臉五官平均位置,并根據(jù)人臉五官平均位置分別對(duì)均衡完成后的原始人臉居中圖像、人臉模板居中圖像和人臉蒙版圖像進(jìn)行人臉形變處理,得到形變完成后的原始人臉居中圖像、形變完成后的人臉模板居中圖像和形變完成后的人臉蒙版圖像。
在本發(fā)明實(shí)施例中,根據(jù)原始人臉五官位置和人臉模板五官位置獲取到人臉五官平均位置,該人臉五官平均位置是人臉變形的依據(jù),根據(jù)人臉五官平均位置分別對(duì)均衡完成后的原始人臉居中圖像、人臉模板居中圖像和人臉蒙版圖像進(jìn)行人臉形變處理,得到形變完成后的原始人臉居中圖像、形變完成后的人臉模板居中圖像和形變完成后的人臉蒙版圖像,從而使原始人臉居中圖像、人臉模板居中圖像和人臉蒙版圖像通過人臉形變處理后五官定位點(diǎn)趨于一致,為人臉融合打下基礎(chǔ)。
106、對(duì)形變完成后的原始人臉居中圖像、形變完成后的人臉模板居中圖像和形變完成后的人臉蒙版圖像進(jìn)行人臉融合處理,得到原始人臉圖像對(duì)應(yīng)的人臉融合圖像。
在本發(fā)明實(shí)施例中,人臉形變完成后,可以對(duì)形變完成后的原始人臉居中圖像、形變完成后的人臉模板居中圖像和形變完成后的人臉蒙版圖像進(jìn)行人臉融合處理,從而這三個(gè)圖像可以融合為人臉融合圖像,該人臉融合圖像是最后輸出的融合結(jié)果。
在本發(fā)明的一些實(shí)施例中,步驟106對(duì)形變完成后的原始人臉居中圖像、形變完成后的人臉模板居中圖像和形變完成后的人臉蒙版圖像進(jìn)行人臉融合處理,得到原始人臉圖像對(duì)應(yīng)的人臉融合圖像,包括:
E1、獲取形變完成后的人臉蒙版圖像中的任意一個(gè)蒙版像素點(diǎn)的臉部灰度參數(shù)TemMaskB:
E2、根據(jù)TemMaskB通過如下方式計(jì)算出融合權(quán)重alpha:
alpha=0.5+0.5*TemMaskB;
E3、通過如下方式計(jì)算出原始人臉圖像對(duì)應(yīng)的人臉融合圖像,其中,蒙版像素點(diǎn)對(duì)應(yīng)的人臉融合像素點(diǎn)為TarPixel:
TarB=(1.0–alpha)*UserB+alpha*TemB;
TarG=(1.0–alpha)*UserG+alpha*TemG;
TarR=(1.0–alpha)*UserR+alpha*TemR;
其中,TarB為TarPixel的B通道取值,TarG為TarPixel的G通道取值,TarR為TarPixel的R通道取值,UserB為蒙版像素點(diǎn)對(duì)應(yīng)的形變完成后的原始人臉居中圖像中的B通道取值,UserG為蒙版像素點(diǎn)對(duì)應(yīng)的形變完成后的原始人臉居中圖像中的G通道取值,UserR為蒙版像素點(diǎn)對(duì)應(yīng)的形變完成后的原始人臉居中圖像中的R通道取值,TemB為蒙版像素點(diǎn)對(duì)應(yīng)的形變完成后的人臉模板居中圖像中的B通道取值,TemG為蒙版像素點(diǎn)對(duì)應(yīng)的形變完成后的人臉模板居中圖像中的G通道取值,TemR為蒙版像素點(diǎn)對(duì)應(yīng)的形變完成后的人臉模板居中圖像中的R通道取值。
其中,對(duì)于形變完成后的人臉蒙版圖像中的任意一個(gè)蒙版像素點(diǎn),都可以按照步驟E1和步驟E3中描述的方法來計(jì)算人臉融合像素點(diǎn)在B通道、G通道、R通道的像素值。不限定的是,本發(fā)明實(shí)施例中步驟E2和E3只是一種舉例說明的可實(shí)現(xiàn)方式,在本發(fā)明的其它實(shí)施例中,還可以對(duì)alpha、TarB、TarG、TarR的表達(dá)式進(jìn)行變形,例如對(duì)于alpha,可以在等式右邊加上預(yù)置的權(quán)重調(diào)整參量D,則alpha=0.5+0.5*TemMaskB+D,同樣可以完成對(duì)alpha的計(jì)算,具體可以結(jié)合應(yīng)用場(chǎng)景來確定。
通過以上實(shí)施例對(duì)本發(fā)明實(shí)施例的描述可知,原始人臉圖像經(jīng)過人臉識(shí)別以及人臉特征、圖像裁剪以及圖像縮放、膚色均衡處理和人臉形變等過程的處理之后可以得到形變完成后的原始人臉居中圖像,人臉模板圖像經(jīng)過人臉識(shí)別以及人臉特征、圖像裁剪以及圖像縮放和人臉形變等過程的處理之后可以得到形變完成后的人臉模板居中圖像,并且還可以根據(jù)人臉模板居中圖像生成人臉蒙版圖像,人臉蒙版圖像也可以經(jīng)過人臉形變處理之后得到形變完成后的人臉蒙版圖像,本發(fā)明實(shí)施例中需要對(duì)形變完成后的原始人臉居中圖像、形變完成后的人臉模板居中圖像和形變完成后的人臉蒙版圖像進(jìn)行人臉融合處理,得到原始人臉圖像對(duì)應(yīng)的人臉融合圖像。本發(fā)明實(shí)施例中形變完成后的原始人臉居中圖像、形變完成后的人臉模板居中圖像和形變完成后的人臉蒙版圖像這三個(gè)圖像進(jìn)行融合,原始人臉圖像中的背景以及人臉模板圖像中的背景都可以在人臉蒙版圖像中根據(jù)配置的臉部灰度參數(shù)進(jìn)行調(diào)整,從而可以支持包含背景的圖像合成,本發(fā)明實(shí)施例中原始人臉居中圖像進(jìn)行了膚色均衡,從而在合成后的圖像中五官輪廓處不會(huì)形成顏色突變,提高圖像的合成效果。
為便于更好的理解和實(shí)施本發(fā)明實(shí)施例的上述方案,下面舉例相應(yīng)的應(yīng)用場(chǎng)景來進(jìn)行具體說明。
本發(fā)明實(shí)施例提供的人臉圖像的合成方法,通常采用的人臉模板圖像可以是正臉模板照片,通常情況下正臉的融合效果是最好的,接下來以本發(fā)明實(shí)施例結(jié)合證件照的圖像合成為例,讓用戶自覺拍攝正臉照片,與顏值較高的真小學(xué)生模板圖像進(jìn)行融合,達(dá)到每個(gè)人都會(huì)滿意的效果。本發(fā)明實(shí)施例中可以支持包含背景的圖像變形,解決融合圖像邊緣輪廓不自然的問題,也可以支持選擇指定的目標(biāo)圖背景。
在我的小學(xué)生證件照中可以采用人臉檢測(cè)和五官融合技術(shù),將一張成年人照片與兒童五官進(jìn)行融合并且調(diào)節(jié)參數(shù),使得最終結(jié)果更似自己或者目標(biāo)照片。只需用戶上傳一張照片作為原始人臉圖像,通過本發(fā)明實(shí)施例提供的圖像合成方法就可以立刻可以獲得兒時(shí)的“似我非我”的照片。請(qǐng)參閱圖2所示,為本發(fā)明實(shí)施例提供的人臉圖像的合成方法在小學(xué)生證件照的圖像融合應(yīng)用場(chǎng)景下的示意圖,整個(gè)處理過程主要包括離線部分和在線部分。
在圖2所示的離線部分中,主要包括小學(xué)生臉的人臉識(shí)別及五官特征提取(例如可以手動(dòng)標(biāo)注)、臉部蒙版生成(例如基于五官特征點(diǎn),可以手動(dòng)調(diào)整臉部輪廓邊緣,也可以通過自動(dòng)模糊邊緣實(shí)現(xiàn))、小學(xué)生臉部膚色信息提取等。
在線部分中,包括用戶圖片人臉識(shí)別及五官特征提取、膚色調(diào)整,以及基于小學(xué)生臉、小學(xué)生臉蒙版、用戶人臉的形變和融合,從而生成最終的結(jié)果圖像。
接下來對(duì)本發(fā)明實(shí)施例中的關(guān)鍵技術(shù)點(diǎn)進(jìn)行詳細(xì)的舉例說明。
(1)、人臉識(shí)別、五官定位。
本發(fā)明實(shí)施例中,可以使用多種人臉檢測(cè)算法,包括但不限于:iOS自帶人臉檢測(cè)、OpenCV人臉檢測(cè)、Face++、sensetime、騰訊優(yōu)圖人臉檢測(cè)等。以騰訊優(yōu)圖人臉檢測(cè)技術(shù)為例,可以對(duì)照片中的用戶人臉進(jìn)行識(shí)別和五官定位,從而得到83個(gè)基準(zhǔn)點(diǎn)(比如:臉部輪廓、眼睛輪廓、鼻子、嘴唇等點(diǎn)。
(2)、圖像裁剪、縮放。
這部分主要是針對(duì)用戶圖像,選擇人臉區(qū)域,并且縮放到指定的大小。例如可以采用OpenCV的cvSetImageROI和cvResize函數(shù)來實(shí)現(xiàn)上述效果。具體的可以取正方形人臉框(邊長a),并且往上下左右均拓展a的距離,得到一個(gè)更大的圖像范圍,并且將該虛線框內(nèi)的圖像縮放到目標(biāo)圖像。在目標(biāo)圖像中,正中間為人臉區(qū)域,外部為擴(kuò)展區(qū)域。同樣的,小學(xué)生模板照也要經(jīng)過裁剪和縮放,從而保證兩張照片的人臉區(qū)域基本一致,為后續(xù)的膚色均衡、人臉形變、融合做準(zhǔn)備。
(3)、膚色均衡。
為了避免用戶膚色與小學(xué)生模板照的膚色差異太大導(dǎo)致效果不自然,需要對(duì)用戶照片進(jìn)行膚色均衡。具體的算法是:
1、截取用戶圖像的人臉區(qū)域、小學(xué)生模板照的人臉區(qū)域,轉(zhuǎn)換成Lab顏色空間的圖像。
2、分別計(jì)算用戶人臉區(qū)域、小學(xué)生人臉區(qū)域的平均顏色值(L、a、b三通道分別計(jì)算),記為AveUserL,AveUsera,AveUserb,AveTemL,AveTema,AveTemb。其中,各個(gè)參量分別表示:用戶照片L通道平均值、用戶照片a通道平均值、用戶照片b通道平均值、小學(xué)生照片L通道平均值、小學(xué)生照片a通道平均值、小學(xué)生照片b通道平均值。
3、對(duì)于用戶圖片(經(jīng)過裁剪和縮放后),轉(zhuǎn)換為Lab顏色空間的圖片,對(duì)于其中的每一個(gè)像素值(記為Lx,ax,bx),有:
Lx’=Lx–AveUserL+AveTemL;
ax’=ax–AveUsera+AveTema;
bx’=bx–AveUserb+AveTemb;
通過上述表達(dá)式可以得到每一個(gè)像素的轉(zhuǎn)換后的像素值。
4、對(duì)于步驟3生成的Lab圖片,可以轉(zhuǎn)回BGR顏色通道。
(4)、人臉形變。
這一步的目的是讓小學(xué)生臉和用戶臉的五官定位點(diǎn)趨于一致,具體實(shí)現(xiàn)過程如下,對(duì)于用戶圖片,其五官定位點(diǎn)進(jìn)行標(biāo)記,小學(xué)生模板照的五官定位點(diǎn)進(jìn)行標(biāo)記,然后取他們的平均點(diǎn),例如相同位置的對(duì)應(yīng)點(diǎn)對(duì)取平均,一共83個(gè)點(diǎn)對(duì)。人臉形變的處理過程是將用戶圖片、小學(xué)生模板照均通過形變使得五官位置趨向于平均五官位置點(diǎn)。其中,具體的算法可以采用基于控制點(diǎn)集的移動(dòng)最小二乘的圖像變形(英文全稱:Image Deformation Using Moving Least Squares,英文簡稱:MLS)方法。不限定的是,在本發(fā)明的其它實(shí)施例中,人臉形變處理還可以包括:仿射變換、圖像扭曲等。
(5)、人臉融合。
如果基于步驟(4)得到的結(jié)果直接進(jìn)行融合,會(huì)造成圖像背景的重疊。為了保證最終結(jié)果僅小學(xué)生人臉區(qū)域顯示為用戶效果,而其它區(qū)域(包括耳朵、頭發(fā))仍然保持原來小學(xué)生的效果,需要增加一個(gè)臉部灰度參數(shù),用于標(biāo)識(shí)哪些區(qū)域需要融合入用戶的照片,以及用戶照片所占的融合權(quán)重。通過小學(xué)生模板照,可以得到小學(xué)生的臉部蒙版圖,舉例說明如下,可以用純黑色區(qū)域代表需要50%的小學(xué)生圖像像素和50%的用戶圖像像素,用純白色區(qū)域代表100%的小學(xué)生圖像像素,中間過渡表示介于50%~0%的用戶圖像像素和50%~100%的小學(xué)生圖像像素。接下來對(duì)該蒙版圖的邊緣進(jìn)行模糊處理,可以保證用戶照片與小學(xué)生照片融合后臉部邊緣自然過渡。同樣的因?yàn)樾W(xué)生的臉隨著五官基準(zhǔn)點(diǎn)在形變,臉部蒙版圖同樣要隨之形變。
舉例說明如下,可以采用的融合算法為:三張圖片(用戶圖、小學(xué)生圖、小學(xué)生蒙版圖)的任意的位置,假設(shè)三張圖和目標(biāo)圖該位置的像素值如下:
用戶圖像素:UserB,UserG,UserR;
小學(xué)生圖像素:TemB,TemG,TemR;
小學(xué)生蒙版像素:TemMaskB,TemMaskG,TemMaskR;
目標(biāo)圖像素:TarB,TarG,TarR;
其中,上述的各個(gè)取值的范圍是0~1。
則alpha=0.5+0.5*TemMaskB;
TarB=(1.0–alpha)*UserB+alpha*TemB;
TarG=(1.0–alpha)*UserG+alpha*TemG;
TarR=(1.0–alpha)*UserR+alpha*TemR;
從而可以得到目標(biāo)圖的每一個(gè)像素值,即最終的人臉融合結(jié)果圖。
需要說明的是,對(duì)于前述的各方法實(shí)施例,為了簡單描述,故將其都表述為一系列的動(dòng)作組合,但是本領(lǐng)域技術(shù)人員應(yīng)該知悉,本發(fā)明并不受所描述的動(dòng)作順序的限制,因?yàn)橐罁?jù)本發(fā)明,某些步驟可以采用其他順序或者同時(shí)進(jìn)行。其次,本領(lǐng)域技術(shù)人員也應(yīng)該知悉,說明書中所描述的實(shí)施例均屬于優(yōu)選實(shí)施例,所涉及的動(dòng)作和模塊并不一定是本發(fā)明所必須的。
為便于更好的實(shí)施本發(fā)明實(shí)施例的上述方案,下面還提供用于實(shí)施上述方案的相關(guān)裝置。
請(qǐng)參閱圖3-a所示,本發(fā)明實(shí)施例提供的一種人臉圖像的合成裝置300,可以包括:人臉檢測(cè)模塊301、圖像裁剪縮放模塊302、膚色均衡模塊303、蒙版圖像生成模塊304、人臉形變模塊305和人臉融合模塊306,其中,
人臉檢測(cè)模塊301,用于對(duì)原始人臉圖像和人臉模板圖像進(jìn)行人臉識(shí)別以及人臉特征提取,分別得到原始人臉五官位置和人臉模板五官位置;
圖像裁剪縮放模塊302,用于根據(jù)所述原始人臉五官位置對(duì)所述原始人臉圖像進(jìn)行圖像裁剪以及圖像縮放得到原始人臉居中圖像,以及根據(jù)所述人臉模板五官位置對(duì)所述人臉模板圖像進(jìn)行圖像裁剪以及圖像縮放得到人臉模板居中圖像;
膚色均衡模塊303,用于根據(jù)所述原始人臉居中圖像和所述人臉模板居中圖像分別計(jì)算出原始人臉平均顏色值和人臉模板平均顏色值,并根據(jù)所述原始人臉平均顏色值和所述人臉模板平均顏色值對(duì)所述原始人臉居中圖像進(jìn)行膚色均衡處理,得到均衡完成后的原始人臉居中圖像;
蒙版圖像生成模塊304,用于從所述人臉模板居中圖像中截取出人臉模板臉部區(qū)域,為所述人臉模板臉部區(qū)域中的每個(gè)像素點(diǎn)配置對(duì)應(yīng)的臉部灰度參數(shù)得到人臉蒙版圖像,所述臉部灰度參數(shù)用于標(biāo)識(shí)所述人臉模板臉部區(qū)域中各個(gè)像素點(diǎn)融合入原始人臉居中圖像的融合權(quán)重;
人臉形變模塊305,用于根據(jù)所述原始人臉五官位置和所述人臉模板五官位置獲取到人臉五官平均位置,并根據(jù)所述人臉五官平均位置分別對(duì)所述均衡完成后的原始人臉居中圖像、所述人臉模板居中圖像和所述人臉蒙版圖像進(jìn)行人臉形變處理,得到形變完成后的原始人臉居中圖像、形變完成后的人臉模板居中圖像和形變完成后的人臉蒙版圖像;
人臉融合模塊306,用于對(duì)所述形變完成后的原始人臉居中圖像、所述形變完成后的人臉模板居中圖像和所述形變完成后的人臉蒙版圖像進(jìn)行人臉融合處理,得到所述原始人臉圖像對(duì)應(yīng)的人臉融合圖像。
在本發(fā)明的一些實(shí)施例中,所述人臉檢測(cè)模塊301,具體用于從原始人臉圖像和人臉模板圖像中分別檢測(cè)到人臉區(qū)域;對(duì)檢測(cè)到的人臉區(qū)域進(jìn)行五官特征點(diǎn)定位,所述五官特征點(diǎn)包括:臉部輪廓、眼睛輪廓、鼻子輪廓、眉毛輪廓和嘴唇輪廓。
在本發(fā)明的一些實(shí)施例中,請(qǐng)參閱圖3-b所示,所述圖像裁剪縮放模塊302,包括:
原始人臉鎖定模塊3021,用于根據(jù)所述原始人臉五官位置獲取所述原始人臉圖像中包括所述原始人臉五官位置的人臉框;
原始圖像居中處理模塊3022,用于在所述原始人臉圖像中以所述人臉框作為中心向外擴(kuò)展預(yù)置長度的距離范圍,并對(duì)所述原始人臉圖像中被擴(kuò)展后的距離范圍所覆蓋的區(qū)域進(jìn)行圖像縮放,得到原始人臉居中圖像;
人臉模板鎖定模塊3033,用于獲取在所述人臉模板圖像中出現(xiàn)的所述人臉框,并移動(dòng)所述人臉框至覆蓋所述人臉模板五官位置的區(qū)域;
模板圖像居中處理模塊3034,用于在所述人臉模板圖像中以所述人臉框作為中心向外擴(kuò)展預(yù)置長度的距離范圍,并對(duì)所述人臉模板圖像中被擴(kuò)展后的距離范圍所覆蓋的區(qū)域進(jìn)行圖像縮放,得到人臉模板居中圖像。
在本發(fā)明的一些實(shí)施例中,請(qǐng)參閱圖3-c所示,所述膚色均衡模塊303,包括:
圖像轉(zhuǎn)換模塊3031,用于將所述原始人臉居中圖像轉(zhuǎn)換為顏色模型Lab空間的原始人臉居中圖像,將所述人臉模板居中圖像轉(zhuǎn)換為Lab空間的人臉模板居中圖像,所述Lab空間的原始人臉居中圖像包括:原始人臉L通道、原始人臉a通道和原始人臉b通道,所述Lab空間的人臉模板居中圖像包括:人臉模板L通道、人臉模板a通道和人臉模板b通道;
顏色平均值計(jì)算模塊3032,用于根據(jù)所述Lab空間的原始人臉居中圖像計(jì)算出原始人臉Lab空間平均顏色值,根據(jù)所述Lab空間的人臉模板居中圖像計(jì)算出人臉模板Lab空間平均顏色值,所述原始人臉Lab空間平均顏色值包括:原始人臉L通道平均值、原始人臉a通道平均值和原始人臉b通道平均值,所述人臉模板Lab空間平均顏色值包括:人臉模板L通道平均值、人臉模板a通道平均值和人臉模板b通道平均值;
像素值修正模塊3033,用于根據(jù)所述原始人臉Lab空間平均顏色值和所述人臉模板Lab空間平均顏色值對(duì)Lab空間的原始人臉居中圖像中原始人臉L通道、原始人臉a通道和原始人臉b通道分別進(jìn)行修正,得到均衡完成后的Lab空間的原始人臉居中圖像。
進(jìn)一步的,在本發(fā)明的一些實(shí)施例中,所述像素值修正模塊3033,具體用于獲取Lab空間的原始人臉居中圖像中的任意一個(gè)原始像素點(diǎn)Px,Px的原始人臉L通道為Lx,Px的原始人臉a通道為ax,Px的原始人臉b通道為bx;通過如下方式計(jì)算出均衡完成后的Lab空間的原始人臉居中圖像,其中,原始像素點(diǎn)Px對(duì)應(yīng)的均衡完成后的像素點(diǎn)為Px’:
Lx’=Lx–AveUserL+AveTemL;
ax’=ax–AveUsera+AveTema;
bx’=bx–AveUserb+AveTemb;
其中,Lx’為Px’的均衡完成后的原始人臉L通道取值,ax’為Px’的均衡完成后的原始人臉a通道取值,b’為Px’的均衡完成后的原始人臉b通道取值,AveUserL為原始人臉L通道平均值,AveTemL為人臉模板L通道平均值,AveUsera為原始人臉a通道平均值,AveTema為人臉模板a通道平均值,AveUserb為原始人臉b通道平均值,AveTemb為人臉模板b通道平均值。
在本發(fā)明的一些實(shí)施例中,請(qǐng)參閱圖3-d所示,所述人臉圖像的合成裝置300,還包括:
邊緣模糊處理模塊307,用于所述蒙版圖像生成模塊304為所述人臉模板臉部區(qū)域中的每個(gè)像素點(diǎn)配置對(duì)應(yīng)的臉部灰度參數(shù)得到人臉蒙版圖像之后,對(duì)所述人臉蒙版圖像的臉部輪廓邊緣進(jìn)行模糊處理。
在本發(fā)明的一些實(shí)施例中,所述人臉融合模塊306,具體用于獲取形變完成后的人臉蒙版圖像中的任意一個(gè)蒙版像素點(diǎn)的臉部灰度參數(shù)TemMaskB:根據(jù)所述TemMaskB通過如下方式出融合權(quán)重alpha:alpha=0.5+0.5*TemMaskB;通過如下方式計(jì)算出所述原始人臉圖像對(duì)應(yīng)的人臉融合圖像,其中,所述蒙版像素點(diǎn)對(duì)應(yīng)的人臉融合像素點(diǎn)為TarPixel:
TarB=(1.0–alpha)*UserB+alpha*TemB;
TarG=(1.0–alpha)*UserG+alpha*TemG;
TarR=(1.0–alpha)*UserR+alpha*TemR;
其中,TarB為TarPixel的B通道取值,TarG為TarPixel的G通道取值,TarR為TarPixel的R通道取值,UserB為所述蒙版像素點(diǎn)對(duì)應(yīng)的形變完成后的原始人臉居中圖像中的B通道取值,UserG為所述蒙版像素點(diǎn)對(duì)應(yīng)的形變完成后的原始人臉居中圖像中的G通道取值,UserR為所述蒙版像素點(diǎn)對(duì)應(yīng)的形變完成后的原始人臉居中圖像中的R通道取值,TemB為所述蒙版像素點(diǎn)對(duì)應(yīng)的形變完成后的人臉模板居中圖像中的B通道取值,TemG為所述蒙版像素點(diǎn)對(duì)應(yīng)的形變完成后的人臉模板居中圖像中的G通道取值,TemR為所述蒙版像素點(diǎn)對(duì)應(yīng)的形變完成后的人臉模板居中圖像中的R通道取值。
通過以上對(duì)本發(fā)明實(shí)施例的描述可知,原始人臉圖像經(jīng)過人臉識(shí)別以及人臉特征、圖像裁剪以及圖像縮放、膚色均衡處理和人臉形變等過程的處理之后可以得到形變完成后的原始人臉居中圖像,人臉模板圖像經(jīng)過人臉識(shí)別以及人臉特征、圖像裁剪以及圖像縮放和人臉形變等過程的處理之后可以得到形變完成后的人臉模板居中圖像,并且還可以根據(jù)人臉模板居中圖像生成人臉蒙版圖像,人臉蒙版圖像也可以經(jīng)過人臉形變處理之后得到形變完成后的人臉蒙版圖像,本發(fā)明實(shí)施例中需要對(duì)形變完成后的原始人臉居中圖像、形變完成后的人臉模板居中圖像和形變完成后的人臉蒙版圖像進(jìn)行人臉融合處理,得到原始人臉圖像對(duì)應(yīng)的人臉融合圖像。本發(fā)明實(shí)施例中形變完成后的原始人臉居中圖像、形變完成后的人臉模板居中圖像和形變完成后的人臉蒙版圖像這三個(gè)圖像進(jìn)行融合,原始人臉圖像中的背景以及人臉模板圖像中的背景都可以在人臉蒙版圖像中根據(jù)配置的臉部灰度參數(shù)進(jìn)行調(diào)整,從而可以支持包含背景的圖像合成,本發(fā)明實(shí)施例中原始人臉居中圖像進(jìn)行了膚色均衡,從而在合成后的圖像中五官輪廓處不會(huì)形成顏色突變,提高圖像的合成效果。
本發(fā)明實(shí)施例還提供了另一種終端,如圖4所示,為了便于說明,僅示出了與本發(fā)明實(shí)施例相關(guān)的部分,具體技術(shù)細(xì)節(jié)未揭示的,請(qǐng)參照本發(fā)明實(shí)施例方法部分。該終端可以為包括手機(jī)、平板電腦、PDA(Personal Digital Assistant,個(gè)人數(shù)字助理)、POS(Point of Sales,銷售終端)、車載電腦等任意終端設(shè)備,以終端為手機(jī)為例:
圖4示出的是與本發(fā)明實(shí)施例提供的終端相關(guān)的手機(jī)的部分結(jié)構(gòu)的框圖。參考圖4,手機(jī)包括:射頻(Radio Frequency,RF)電路1010、存儲(chǔ)器1020、輸入單元1030、顯示單元1040、傳感器1050、音頻電路1060、無線保真(wireless fidelity,WiFi)模塊1070、處理器1080、以及電源1090等部件。本領(lǐng)域技術(shù)人員可以理解,圖4中示出的手機(jī)結(jié)構(gòu)并不構(gòu)成對(duì)手機(jī)的限定,可以包括比圖示更多或更少的部件,或者組合某些部件,或者不同的部件布置。
下面結(jié)合圖4對(duì)手機(jī)的各個(gè)構(gòu)成部件進(jìn)行具體的介紹:
RF電路1010可用于收發(fā)信息或通話過程中,信號(hào)的接收和發(fā)送,特別地,將基站的下行信息接收后,給處理器1080處理;另外,將設(shè)計(jì)上行的數(shù)據(jù)發(fā)送給基站。通常,RF電路1010包括但不限于天線、至少一個(gè)放大器、收發(fā)信機(jī)、耦合器、低噪聲放大器(Low Noise Amplifier,LNA)、雙工器等。此外,RF電路1010還可以通過無線通信與網(wǎng)絡(luò)和其他設(shè)備通信。上述無線通信可以使用任一通信標(biāo)準(zhǔn)或協(xié)議,包括但不限于全球移動(dòng)通訊系統(tǒng)(Global System of Mobile communication,GSM)、通用分組無線服務(wù)(General Packet Radio Service,GPRS)、碼分多址(Code Division Multiple Access,CDMA)、寬帶碼分多址(Wideband Code Division Multiple Access,WCDMA)、長期演進(jìn)(Long Term Evolution,LTE)、電子郵件、短消息服務(wù)(Short Messaging Service,SMS)等。
存儲(chǔ)器1020可用于存儲(chǔ)軟件程序以及模塊,處理器1080通過運(yùn)行存儲(chǔ)在存儲(chǔ)器1020的軟件程序以及模塊,從而執(zhí)行手機(jī)的各種功能應(yīng)用以及數(shù)據(jù)處理。存儲(chǔ)器1020可主要包括存儲(chǔ)程序區(qū)和存儲(chǔ)數(shù)據(jù)區(qū),其中,存儲(chǔ)程序區(qū)可存儲(chǔ)操作系統(tǒng)、至少一個(gè)功能所需的應(yīng)用程序(比如聲音播放功能、圖像播放功能等)等;存儲(chǔ)數(shù)據(jù)區(qū)可存儲(chǔ)根據(jù)手機(jī)的使用所創(chuàng)建的數(shù)據(jù)(比如音頻數(shù)據(jù)、電話本等)等。此外,存儲(chǔ)器1020可以包括高速隨機(jī)存取存儲(chǔ)器,還可以包括非易失性存儲(chǔ)器,例如至少一個(gè)磁盤存儲(chǔ)器件、閃存器件、或其他易失性固態(tài)存儲(chǔ)器件。
輸入單元1030可用于接收輸入的數(shù)字或字符信息,以及產(chǎn)生與手機(jī)的用戶設(shè)置以及功能控制有關(guān)的鍵信號(hào)輸入。具體地,輸入單元1030可包括觸控面板1031以及其他輸入設(shè)備1032。觸控面板1031,也稱為觸摸屏,可收集用戶在其上或附近的觸摸操作(比如用戶使用手指、觸筆等任何適合的物體或附件在觸控面板1031上或在觸控面板1031附近的操作),并根據(jù)預(yù)先設(shè)定的程式驅(qū)動(dòng)相應(yīng)的連接裝置??蛇x的,觸控面板1031可包括觸摸檢測(cè)裝置和觸摸控制器兩個(gè)部分。其中,觸摸檢測(cè)裝置檢測(cè)用戶的觸摸方位,并檢測(cè)觸摸操作帶來的信號(hào),將信號(hào)傳送給觸摸控制器;觸摸控制器從觸摸檢測(cè)裝置上接收觸摸信息,并將它轉(zhuǎn)換成觸點(diǎn)坐標(biāo),再送給處理器1080,并能接收處理器1080發(fā)來的命令并加以執(zhí)行。此外,可以采用電阻式、電容式、紅外線以及表面聲波等多種類型實(shí)現(xiàn)觸控面板1031。除了觸控面板1031,輸入單元1030還可以包括其他輸入設(shè)備1032。具體地,其他輸入設(shè)備1032可以包括但不限于物理鍵盤、功能鍵(比如音量控制按鍵、開關(guān)按鍵等)、軌跡球、鼠標(biāo)、操作桿等中的一種或多種。
顯示單元1040可用于顯示由用戶輸入的信息或提供給用戶的信息以及手機(jī)的各種菜單。顯示單元1040可包括顯示面板1041,可選的,可以采用液晶顯示器(Liquid Crystal Display,LCD)、有機(jī)發(fā)光二極管(Organic Light-Emitting Diode,OLED)等形式來配置顯示面板1041。進(jìn)一步的,觸控面板1031可覆蓋顯示面板1041,當(dāng)觸控面板1031檢測(cè)到在其上或附近的觸摸操作后,傳送給處理器1080以確定觸摸事件的類型,隨后處理器1080根據(jù)觸摸事件的類型在顯示面板1041上提供相應(yīng)的視覺輸出。雖然在圖4中,觸控面板1031與顯示面板1041是作為兩個(gè)獨(dú)立的部件來實(shí)現(xiàn)手機(jī)的輸入和輸入功能,但是在某些實(shí)施例中,可以將觸控面板1031與顯示面板1041集成而實(shí)現(xiàn)手機(jī)的輸入和輸出功能。
手機(jī)還可包括至少一種傳感器1050,比如光傳感器、運(yùn)動(dòng)傳感器以及其他傳感器。具體地,光傳感器可包括環(huán)境光傳感器及接近傳感器,其中,環(huán)境光傳感器可根據(jù)環(huán)境光線的明暗來調(diào)節(jié)顯示面板1041的亮度,接近傳感器可在手機(jī)移動(dòng)到耳邊時(shí),關(guān)閉顯示面板1041和/或背光。作為運(yùn)動(dòng)傳感器的一種,加速計(jì)傳感器可檢測(cè)各個(gè)方向上(一般為三軸)加速度的大小,靜止時(shí)可檢測(cè)出重力的大小及方向,可用于識(shí)別手機(jī)姿態(tài)的應(yīng)用(比如橫豎屏切換、相關(guān)游戲、磁力計(jì)姿態(tài)校準(zhǔn))、振動(dòng)識(shí)別相關(guān)功能(比如計(jì)步器、敲擊)等;至于手機(jī)還可配置的陀螺儀、氣壓計(jì)、濕度計(jì)、溫度計(jì)、紅外線傳感器等其他傳感器,在此不再贅述。
音頻電路1060、揚(yáng)聲器1061,傳聲器1062可提供用戶與手機(jī)之間的音頻接口。音頻電路1060可將接收到的音頻數(shù)據(jù)轉(zhuǎn)換后的電信號(hào),傳輸?shù)綋P(yáng)聲器1061,由揚(yáng)聲器1061轉(zhuǎn)換為聲音信號(hào)輸出;另一方面,傳聲器1062將收集的聲音信號(hào)轉(zhuǎn)換為電信號(hào),由音頻電路1060接收后轉(zhuǎn)換為音頻數(shù)據(jù),再將音頻數(shù)據(jù)輸出處理器1080處理后,經(jīng)RF電路1010以發(fā)送給比如另一手機(jī),或者將音頻數(shù)據(jù)輸出至存儲(chǔ)器1020以便進(jìn)一步處理。
WiFi屬于短距離無線傳輸技術(shù),手機(jī)通過WiFi模塊1070可以幫助用戶收發(fā)電子郵件、瀏覽網(wǎng)頁和訪問流式媒體等,它為用戶提供了無線的寬帶互聯(lián)網(wǎng)訪問。雖然圖4示出了WiFi模塊1070,但是可以理解的是,其并不屬于手機(jī)的必須構(gòu)成,完全可以根據(jù)需要在不改變發(fā)明的本質(zhì)的范圍內(nèi)而省略。
處理器1080是手機(jī)的控制中心,利用各種接口和線路連接整個(gè)手機(jī)的各個(gè)部分,通過運(yùn)行或執(zhí)行存儲(chǔ)在存儲(chǔ)器1020內(nèi)的軟件程序和/或模塊,以及調(diào)用存儲(chǔ)在存儲(chǔ)器1020內(nèi)的數(shù)據(jù),執(zhí)行手機(jī)的各種功能和處理數(shù)據(jù),從而對(duì)手機(jī)進(jìn)行整體監(jiān)控??蛇x的,處理器1080可包括一個(gè)或多個(gè)處理單元;優(yōu)選的,處理器1080可集成應(yīng)用處理器和調(diào)制解調(diào)處理器,其中,應(yīng)用處理器主要處理操作系統(tǒng)、用戶界面和應(yīng)用程序等,調(diào)制解調(diào)處理器主要處理無線通信??梢岳斫獾氖牵鲜稣{(diào)制解調(diào)處理器也可以不集成到處理器1080中。
手機(jī)還包括給各個(gè)部件供電的電源1090(比如電池),優(yōu)選的,電源可以通過電源管理系統(tǒng)與處理器1080邏輯相連,從而通過電源管理系統(tǒng)實(shí)現(xiàn)管理充電、放電、以及功耗管理等功能。
盡管未示出,手機(jī)還可以包括攝像頭、藍(lán)牙模塊等,在此不再贅述。
在本發(fā)明實(shí)施例中,該終端所包括的處理器1080還具有控制執(zhí)行以上由終端執(zhí)行的方法流程。
另外需說明的是,以上所描述的裝置實(shí)施例僅僅是示意性的,其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個(gè)地方,或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上。可以根據(jù)實(shí)際的需要選擇其中的部分或者全部模塊來實(shí)現(xiàn)本實(shí)施例方案的目的。另外,本發(fā)明提供的裝置實(shí)施例附圖中,模塊之間的連接關(guān)系表示它們之間具有通信連接,具體可以實(shí)現(xiàn)為一條或多條通信總線或信號(hào)線。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性勞動(dòng)的情況下,即可以理解并實(shí)施。
通過以上的實(shí)施方式的描述,所屬領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可借助軟件加必需的通用硬件的方式來實(shí)現(xiàn),當(dāng)然也可以通過專用硬件包括專用集成電路、專用CPU、專用存儲(chǔ)器、專用元器件等來實(shí)現(xiàn)。一般情況下,凡由計(jì)算機(jī)程序完成的功能都可以很容易地用相應(yīng)的硬件來實(shí)現(xiàn),而且,用來實(shí)現(xiàn)同一功能的具體硬件結(jié)構(gòu)也可以是多種多樣的,例如模擬電路、數(shù)字電路或?qū)S秒娐返?。但是,?duì)本發(fā)明而言更多情況下軟件程序?qū)崿F(xiàn)是更佳的實(shí)施方式?;谶@樣的理解,本發(fā)明的技術(shù)方案本質(zhì)上或者說對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在可讀取的存儲(chǔ)介質(zhì)中,如計(jì)算機(jī)的軟盤,U盤、移動(dòng)硬盤、只讀存儲(chǔ)器(ROM,Read-Only Memory)、隨機(jī)存取存儲(chǔ)器(RAM,Random Access Memory)、磁碟或者光盤等,包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述的方法。
綜上所述,以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案,而非對(duì)其限制;盡管參照上述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)上述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改,或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換;而這些修改或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。