基于單照片與畫像對(duì)的人臉畫像合成方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種基于單照片與畫像對(duì)的人臉畫像合 成方法。
【背景技術(shù)】
[0002] 人臉畫像合成有許多重要的實(shí)際應(yīng)用，比如輔助警方緝兇以及數(shù)字娛樂。當(dāng)由于 某些因素而無法獲取罪犯的照片時(shí)，警方需要通過目擊證人的描述繪制出嫌疑犯的畫像， 然后在警方的人臉照片數(shù)據(jù)庫中進(jìn)行匹配。由于照片和畫像的模態(tài)存在較大的差異，因此 在匹配之前要先將警方人臉照片數(shù)據(jù)庫中所有的照片轉(zhuǎn)化成畫像，然后再將嫌疑犯的畫像 在合成畫像數(shù)據(jù)庫中進(jìn)行匹配。目前推特和微博等社交網(wǎng)絡(luò)變得越來越流行，很多用戶將 自己的畫像上傳到網(wǎng)上作為賬戶的頭像以增加娛樂效果。
[0003] 目前的人臉畫像合成方法可以分成以下三大類：一，基于子空間學(xué)習(xí)的人臉畫像 合成方法；二，基于貝葉斯推斷的人臉畫像合成方法；三，基于稀疏表示的人臉畫像合成方 法。
[0004] Liu 等人在文獻(xiàn) "Liu Q, TangX, JinH, et al. Anonlinear approach f o r f a c e sketch synthesis andrecognition[C]//Computer Vision andPatternRecognition,2005.CVPR2005.IEEE Computer Society Conference on. IEEE, 2005, 1:1005-1010. "中采用子空間學(xué)習(xí)的方法來模擬照片轉(zhuǎn)化成畫像的非線性 過程?！揪唧w實(shí)施方式】是：先將訓(xùn)練集中的照片-畫像對(duì)及測試照片劃分成大小相同及重疊 區(qū)域相同的圖像塊，對(duì)于測試照片中的每一個(gè)照片塊在訓(xùn)練集中尋找它的K個(gè)近鄰照片塊 并計(jì)算重建系數(shù)W，然后再將K個(gè)照片塊對(duì)應(yīng)的K個(gè)畫像塊用重建系數(shù)W進(jìn)行加權(quán)組合得到 待合成畫像塊，最后將所有的待合成畫像塊融合得到合成畫像。但是該方法存在以下缺點(diǎn)： 各合成畫像塊都是單獨(dú)合成，沒有考慮畫像塊之間的鄰域關(guān)系，導(dǎo)致融合處的畫像不自然， 存在噪聲。
[0005] Wang 等人在文獻(xiàn) "Wang X，Tang X. Face photo-sketch synthesis and recognition[J]. PatternAnalysis and Machine Intelligence, IEEE Transactions on，2009, 31 (11) : 1955-1967. "中提出了一種基于貝葉斯推斷的人臉畫像合成方法。具體操 作步驟如下：首先將訓(xùn)練集中的照片-畫像對(duì)以及測試照片用相同的方式分塊，然后對(duì)每 一個(gè)測試照片塊在訓(xùn)練集中尋找它的K個(gè)候選照片塊，根據(jù)測試照片塊與K個(gè)候選照片塊 之間的關(guān)系以及合成畫像中相鄰位置的畫像塊之間的關(guān)系，建立馬爾可夫隨機(jī)場模型對(duì)每 個(gè)測試照片塊尋找一個(gè)最佳的訓(xùn)練畫像塊作為待合成畫像塊，最后將所有的待合成畫像塊 融合得到最終的合成畫像。該方法存在以下缺陷：每個(gè)測試照片塊最終只選擇一個(gè)訓(xùn)練畫 像塊而非合成畫像塊作為待合成畫像塊進(jìn)行畫像合成，導(dǎo)致合成畫像存在塊效應(yīng)和細(xì)節(jié)缺 失的問題。
[0006] 高新波等人申請(qǐng)的專利技術(shù)"基于稀疏表示的畫像-照片生成方法"（【申請(qǐng)?zhí)枴?201010289330. 9申請(qǐng)日：2010-09-24申請(qǐng)公布號(hào)：CN 101958000A)中公開了一種基于稀疏 表示的人臉畫像合成方法。【具體實(shí)施方式】是：首先采用已有的畫像合成方法生成畫像的初 始估計(jì)，然后再利用稀疏表示的方法合成出合成畫像的細(xì)節(jié)信息，最后將初始估計(jì)和細(xì)節(jié) 信息進(jìn)行線性疊加得到最后的合成畫像。該方法存在以下缺陷：合成畫像的好壞依賴于初 始畫像合成方法，此外細(xì)節(jié)信息的線性疊加使得合成畫像不自然。
[0007] 上述三類畫像合成方法只適用于測試照片與訓(xùn)練集照片背景相同的情況，當(dāng)測試 照片與訓(xùn)練集照片背景不同時(shí)，測試照片用上述三類方法合成的畫像的背景會(huì)存在噪聲。 當(dāng)測試照片中存在眼鏡、發(fā)卡等非人臉部件，而訓(xùn)練集照片中都不存在這些非人臉部件時(shí)， 測試照片用上述三類方法合成的對(duì)應(yīng)畫像會(huì)丟失測試照片中的非人臉部件。此外上述三類 畫像合成方法都需要用大量的照片-畫像對(duì)作為訓(xùn)練集，當(dāng)訓(xùn)練集中只有單照片-畫像對(duì) 時(shí)，合成效果很差，然而收集大量的照片-畫像對(duì)又費(fèi)時(shí)費(fèi)力。

【發(fā)明內(nèi)容】

[0008] 有鑒于此，本發(fā)明的主要目的在于提供一種基于單照片與畫像對(duì)的人臉畫像合成 方法。
[0009] 為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：
[0010] 本發(fā)明實(shí)施例提供一種基于單照片與畫像對(duì)的人臉畫像合成方法，該合成方法 為：在數(shù)據(jù)庫樣本集內(nèi)隨機(jī)選擇一對(duì)照片與畫像對(duì)作為初始圖像對(duì)，剩余的照片作為測試 照片樣本集，將對(duì)所述初始圖像對(duì)進(jìn)行分塊后得到的圖像塊進(jìn)行劃分獲得第一圖像塊子集 和第二圖像塊子集，將所述獲得的第一圖像塊子集進(jìn)行矩陣分解得到投影矩陣，將所述第 二圖像塊子集投影到投影矩陣得到第一投影系數(shù)集合；然后將從測試照片樣本集中選擇的 測試照片分塊后得到的圖像塊投影到投影矩陣得到第二投影系數(shù)集合，根據(jù)相似性尺度距 離所述第二投影系數(shù)集合在第一投影系數(shù)集合中查找到距離最近的前K個(gè)系數(shù)，根據(jù)獲得 的前K個(gè)系數(shù)在第二圖像塊子集查找到匹配的圖像塊，將查找到的圖像塊合成得到初始合 成圖像；將所述初始合成圖像與測試照片構(gòu)成第一圖像對(duì)，并對(duì)所述第一圖像對(duì)進(jìn)行分塊， 再將所述第一圖像對(duì)得到的圖像塊與所述初始圖像對(duì)得到的圖像塊整合構(gòu)成第三圖像塊 子集，將所述測試照片分塊后得到的圖像塊在第三圖像塊子集內(nèi)查找匹配的圖像塊，所述 查找到的圖像塊構(gòu)成最終合成圖像。
[0011] 上述方案中，所述在數(shù)據(jù)庫樣本集內(nèi)隨機(jī)選擇一對(duì)照片與畫像對(duì)作為初始圖像 對(duì)，剩余的照片作為測試照片樣本集，具體為：將數(shù)據(jù)庫樣本集中所有照片與畫像對(duì)中的圖 像由彩色圖像變成灰度圖像，再從照片與畫像對(duì)集合中選擇一對(duì)照片與畫像作為訓(xùn)練樣本 集A，再將剩下的照片與畫像對(duì)中的所有照片作為測試照片樣本集B，并從測試照片樣本集 B中選取一張測試照片T。
[0012] 上述方案中，所述將對(duì)所述初始圖像對(duì)進(jìn)行分塊后得到的圖像塊進(jìn)行劃分獲得第 一圖像塊子集和第二圖像塊子集，具體為：
[0013] 2a)對(duì)訓(xùn)練樣本集A中的照片與畫像對(duì)建立η層高斯金字塔，高斯金字塔中的每一 層都對(duì)應(yīng)著某個(gè)尺度下的照片與畫像對(duì)：
[0014] 2al)構(gòu)造尺度值為σ的高斯函數(shù)：
【主權(quán)項(xiàng)】
1. 一種基于單照片與畫像對(duì)的人臉畫像合成方法，其特征在于，該合成方法為：在數(shù) 據(jù)庫樣本集內(nèi)隨機(jī)選擇一對(duì)照片與畫像對(duì)作為初始圖像對(duì)，剩余的照片作為測試照片樣本 集，將對(duì)所述初始圖像對(duì)進(jìn)行分塊后得到的圖像塊進(jìn)行劃分獲得第一圖像塊子集和第二圖 像塊子集，將所述獲得的第一圖像塊子集進(jìn)行矩陣分解得到投影矩陣，將所述第二圖像塊 子集投影到投影矩陣得到第一投影系數(shù)集合；然后將從測試照片樣本集中選擇的測試照片 分塊后得到的圖像塊投影到投影矩陣得到第二投影系數(shù)集合，根據(jù)相似性尺度距離所述第 二投影系數(shù)集合在第一投影系數(shù)集合中查找到距離最近的前K個(gè)系數(shù)，根據(jù)獲得的前K個(gè) 系數(shù)在第二圖像塊子集查找到匹配的圖像塊，將查找到的圖像塊合成得到初始合成圖像； 將所述初始合成圖像與測試照片構(gòu)成第一圖像對(duì)，并對(duì)所述第一圖像對(duì)進(jìn)行分塊，再將所 述第一圖像對(duì)得到的圖像塊與所述初始圖像對(duì)得到的圖像塊整合構(gòu)成第三圖像塊子集，將 所述測試照片分塊后得到的圖像塊在第三圖像塊子集內(nèi)查找匹配的圖像塊，所述查找到的 圖像塊構(gòu)成最終合成圖像。
2. 根據(jù)權(quán)利要求1所述的基于單照片與畫像對(duì)的人臉畫像合成方法，其特征在于，所 述在數(shù)據(jù)庫樣本集內(nèi)隨機(jī)選擇一對(duì)照片與畫像對(duì)作為初始圖像對(duì)，剩余的照片作為測試照 片樣本集，具體為：將數(shù)據(jù)庫樣本集中所有照片與畫像對(duì)中的圖像由彩色圖像變成灰度圖 像，再從照片與畫像對(duì)集合中選擇一對(duì)照片與畫像作為訓(xùn)練樣本集A，再將剩下的照片與畫 像對(duì)中的所有照片作為測試照片樣本集B，并從測試照片樣本集B中選取一張測試照片T。
3. 根據(jù)權(quán)利要求1所述的基于單照片與畫像對(duì)的人臉畫像合成方法，其特征在于，所 述將對(duì)所述初始圖像對(duì)進(jìn)行分塊后得到的圖像塊進(jìn)行劃分獲得第一圖像塊子集和第二圖 像塊子集，具體為： 2a)對(duì)訓(xùn)練樣本集A中的照片與畫像對(duì)建立n層高斯金字塔，高斯金字塔中的每一層都 對(duì)應(yīng)著某個(gè)尺度下的照片與畫像對(duì)： 2al)構(gòu)造尺度值為〇的高斯函數(shù)：
其中，G(x，y，〇)表示在〇尺度值下的高斯函數(shù)，x，y分別表示圖像中像素點(diǎn)對(duì)應(yīng)的 橫、縱坐標(biāo)值； 2a2)將圖像與（2al)所得的高斯函數(shù)進(jìn)行卷積，得到高斯金字塔第一層的圖像； 2a3)設(shè)i= 1 ; 2a4)將尺度值〇乘以一個(gè)比例系數(shù)i+