基于數(shù)據(jù)驅(qū)動局部特征轉(zhuǎn)換的噪聲人臉超分辨率重建方法
【專利摘要】一種基于數(shù)據(jù)驅(qū)動局部特征轉(zhuǎn)換的噪聲人臉超分辨率重建方法，包括對待重建的輸入低分辨率人臉圖像和高、低分辨率訓(xùn)練集相應(yīng)劃分相互重疊的圖像塊；對于輸入低分辨率人臉圖像的每一個位置上的圖像塊，分別從低分辨率人臉樣本圖像對應(yīng)位置的圖像塊中找出K個最近鄰的圖像塊，并對應(yīng)找出相應(yīng)高分辨率人臉樣本圖像中的圖像塊，進(jìn)行去均值化；利用映射系數(shù)計算出各圖像塊相應(yīng)的高分辨率人臉圖像塊，重構(gòu)出高分辨率人臉圖像，進(jìn)行迭代后處理。本發(fā)明解決了主成分分析無法捕獲處于高維流形空間人臉特征的問題，利用局部流形的線性特性有效的進(jìn)行了噪聲人臉圖像的超分辨率重建，同時進(jìn)行高分辨率圖像后處理，進(jìn)一步提高了重建結(jié)果的主、客觀圖像質(zhì)量。
【專利說明】基于數(shù)據(jù)驅(qū)動局部特征轉(zhuǎn)換的噪聲人臉超分辨率重建方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及人臉圖像超分辨率領(lǐng)域，具體涉及一種基于數(shù)據(jù)驅(qū)動局部特征轉(zhuǎn)換的 噪聲人臉超分辨率重建方法。

【背景技術(shù)】
[0002] 隨著"平安城市"建設(shè)的不斷深入，視頻監(jiān)控廣泛的應(yīng)用于日常生活，它們?yōu)橐曨l 偵查中犯罪嫌疑人的追蹤和捕獲提供了巨大的幫助。然而，行人與攝像機距離較遠(yuǎn)，拍攝 到的人臉為低分辨率圖像從而缺乏的面部細(xì)節(jié)特征，而這些特征對于人臉圖像的分析和識 別是非常重要的。同時，低光照、低質(zhì)量設(shè)備和其他的一些因素，均會導(dǎo)致監(jiān)控視頻包含大 量的噪聲，嚴(yán)重影響了人臉識別的效率。圖像超分辨率技術(shù)正是致力于解決這一難題，它 無需更高要求的硬件設(shè)備就可以為本發(fā)明提供包含更多細(xì)節(jié)的高分辨率（HR)和高品質(zhì)的 圖像。2000 年，Baker 和 Kanade 在文獻(xiàn) 1(S. Baker and T.Kanade. Hallucinating faces. In FG，Grenoble, France, Mar. 2000, 83-88.)中首次提出人臉超分辨率方法，又叫人臉幻構(gòu) (face hallucination)，他們采用貝葉斯方法，利用訓(xùn)練集中人臉圖像的先驗信息，通過學(xué) 習(xí)的方法獲得低分辨率人臉對應(yīng)的高分辨率圖像，以此來達(dá)到較大的放大倍數(shù)及較好的效 果。在此之后，基于學(xué)習(xí)的人臉圖像超分辨率方法引起了人們的廣泛關(guān)注。
[0003] Wang 等人在文獻(xiàn) 2 (X. Wang and X. Tang. Hallucinating face by eigentransformation[J]. IEEE Trans. SMC(Part C),2005,vol.35, no. 3, pp. 425 - 434.) 中提出一種基于特征轉(zhuǎn)換的全局臉超分辨率方法。他們利用主成分分析（PCA)將輸入的低 分辨率人臉圖像用低分辨率訓(xùn)練集圖像進(jìn)行線性表示，再把表示系數(shù)與訓(xùn)練集中低分辨率 圖像對應(yīng)的高分辨率圖像線性結(jié)合，最終重構(gòu)得到高分辨率目標(biāo)圖像。由于增強了低分辨 率人臉圖像中的特征信息，重建后的高分辨率圖像去除了大量噪聲并保留大部分的人臉特 征。然而，這種方法只關(guān)注了人臉的全局結(jié)構(gòu)而忽略了局部細(xì)節(jié)，合成出來的圖像通常缺乏 必要的高頻信息（尤其是在訓(xùn)練集較小的情況下）。而基于圖像塊的人臉超分辨率方法通 過將人臉圖像劃分為相互重疊的人臉圖像塊，與全局臉的方法相比，具有更強的表達(dá)能力， 因此已經(jīng)吸引了圖像領(lǐng)域越來越多的學(xué)者們的關(guān)注。
[0004] 基于低分辨率訓(xùn)練集圖像塊空間和高分辨率訓(xùn)練集圖像塊空間擁有相似的 局部幾何結(jié)構(gòu)這一假設(shè)，Chang等人在文獻(xiàn)3(!1.0^叩，0.￥.￥611叩，311(1￥.]\0;[0叩· Super-resolution through neighbor embedding. In CVPR，pp. 275 - 282, 2004.)中提出 一種局部線性嵌入超分辨率方法，高分辨率圖像塊由訓(xùn)練集中K個最近鄰的高分辨率圖像 塊線性組合得到。Ma 等人在文獻(xiàn) 4 (X.Ma，J.P Zhang, and C.Qi. Hallucinating face by position-patch. Pattern Recognition, 43 (6) : 3178 - 3194, 2010.)中提出一種基于位置 圖像塊的超分辨率方法，利用低分辨率樣本庫中相同位置的圖像塊對輸入低分辨率圖像塊 進(jìn)行最小二乘表示來獲得最優(yōu)權(quán)重。
[0005] Yang 等人（文獻(xiàn) 5，J. Yang, H. Tang, Y. Ma，and T. Huang, "Face hallucination via sparse coding, " ICIP，pp. 1264 - 1267, 2008.)提出一種基于稀疏表達(dá)的超分辨率方 法，利用低分辨率圖像塊完備字典將輸入低分辨率圖像塊進(jìn)行稀疏表示，得到一組稀疏系 數(shù)，并將此系數(shù)與對應(yīng)的高分辨率字典結(jié)合即可得到目標(biāo)高分辨率圖像塊。專利1 (胡瑞 敏、江俊君、王冰、韓鎮(zhèn)、黃克斌、盧濤、王亦民，一種基于局部約束表示的人臉超分辨率重建 方法，專利申請?zhí)枺?01110421452. 3)中進(jìn)一步改善了基于位置塊的人臉幻構(gòu)方法，在對圖 像塊進(jìn)行重建過程中利用流形的局部幾何約束替換了文獻(xiàn)5中的稀疏約束，通過選擇距離 近的塊，懲罰距離遠(yuǎn)的塊，使重建結(jié)果同時具有稀疏性和局部性。以上基于圖像塊的方法大 部分針對于無噪聲圖像的超分辨率重建。而在實際監(jiān)控場景中，退化后的人臉圖像往往不 可避免的被噪聲所影響，因此，提出一種對噪聲魯棒的超分辨率方法是當(dāng)前的首要任務(wù)。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明目的是提供一種基于數(shù)據(jù)驅(qū)動局部特征轉(zhuǎn)換的噪聲魯棒人臉超分辨率重 建方法，解決現(xiàn)有同類算法不能魯棒表示噪聲人臉圖像的問題，通過利用流形的局部線性 獲得最優(yōu)（穩(wěn)定、精確）的結(jié)果。
[0007] 為達(dá)到上述目的，本發(fā)明采用的技術(shù)方案是一種基于數(shù)據(jù)驅(qū)動局部特征轉(zhuǎn)換的噪 聲人臉超分辨率重建方法，包括如下步驟：
[0008] 步驟1，對待重建的輸入低分辨率人臉圖像、低分辨率訓(xùn)練集中的低分辨率人臉樣 本圖像以及高分辨率訓(xùn)練集中的高分辨率人臉樣本圖像相應(yīng)劃分相互重疊的圖像塊，低分 辨率訓(xùn)練集中每個低分辨率人臉樣本圖像是由高分辨率訓(xùn)練集中的一個相應(yīng)高分辨率人 臉樣本圖像經(jīng)模糊下采樣提取；
[0009] 步驟2,對于輸入低分辨率人臉圖像的每一個位置上的圖像塊，分別執(zhí)行以下處 理，
[0010] 從低分辨率訓(xùn)練集中每張低分辨率人臉樣本圖像對應(yīng)位置的圖像塊中找出K個 最近鄰的圖像塊，記為K低分辨率訓(xùn)練集近鄰圖像塊集合·，并根據(jù)所得低分辨率的K個 最近鄰圖像塊一一對應(yīng)找出相應(yīng)高分辨率人臉樣本圖像中的圖像塊，得到高分辨率的K個 圖像塊，記為K高分辨率訓(xùn)練集近鄰圖像塊集合

【權(quán)利要求】
1. 一種基于數(shù)據(jù)驅(qū)動局部特征轉(zhuǎn)換的噪聲人臉超分辨率重建方法，其特征在于，包括 如下步驟： 步驟1，對待重建的輸入低分辨率人臉圖像、低分辨率訓(xùn)練集中的低分辨率人臉樣本圖 像以及高分辨率訓(xùn)練集中的高分辨率人臉樣本圖像相應(yīng)劃分相互重疊的圖像塊，低分辨率 訓(xùn)練集中每個低分辨率人臉樣本圖像是由高分辨率訓(xùn)練集中的一個相應(yīng)高分辨率人臉樣 本圖像經(jīng)模糊下采樣提??； 步驟2,對于輸入低分辨率人臉圖像的每一個位置上的圖像塊，分別執(zhí)行以下處理， 從低分辨率訓(xùn)練集中每張低分辨率人臉樣本圖像對應(yīng)位置的圖像塊中找出K個最近 鄰的圖像塊，記為K低分辨率訓(xùn)練集近鄰圖像塊集合;并根據(jù)所得低分辨率的K個最近 鄰圖像塊一一對應(yīng)找出相應(yīng)高分辨率人臉樣本圖像中的圖像塊，得到高分辨率的Κ個圖像 塊，記為Κ高分辨率訓(xùn)練集近鄰圖像塊集合; 計算低分辨率訓(xùn)練集中所有低分辨率人臉樣本圖像對應(yīng)位置的圖像塊的均值"，以及 高分辨率訓(xùn)練集中所有高分辨率人臉樣本圖像對應(yīng)位置的圖像塊的均值 K高、低分辨率訓(xùn)練集近鄰圖像塊集合仏和/&中的每個圖像塊的每個像素分別減去 和"后所得圖像塊構(gòu)成的集合分別表示為7^和7^; 步驟3,對于輸入低分辨率人臉圖像的每一個位置上的圖像塊，計算該圖像塊重建后的 估計和集合間的映射系數(shù)C，并利用映射系數(shù)c和集合7?計算出該圖像塊相應(yīng)的高分 辨率人臉圖像塊； 步驟4,將步驟3所得輸入低分辨率人臉圖像每一個位置上的圖像塊相應(yīng)的高分辨 率人臉圖像塊按照位置疊加，然后除以每個像素位置交疊的次數(shù)，重構(gòu)出高分辨率人臉圖 像； 步驟5,對于步驟4重構(gòu)出的高分辨率人臉圖像，進(jìn)行迭代后處理。
2. 根據(jù)權(quán)利要求1所述基于數(shù)據(jù)驅(qū)動局部特征轉(zhuǎn)換的噪聲人臉超分辨率重建方法， 其特征在于：步驟3中，設(shè)對于輸入低分辨率人臉圖像/f的每一個位置（p，q)上的圖像塊 計算出其與集合的映射系數(shù)c，包括設(shè)集合
和
形成矩陣
記矩 陣$|心的特征向量和特征值分別為％和Λρ
其中，
為圖像塊_
相應(yīng)的高分辨率人臉圖像塊。
3. 根據(jù)權(quán)利要求1或2所述基于數(shù)據(jù)驅(qū)動局部特征轉(zhuǎn)換的噪聲人臉超分辨率重建方 法，其特征在于：步驟5包括以下子步驟， 步驟5. 1，令當(dāng)前迭代次數(shù)η = 0,輸入步驟4重構(gòu)出的高分辨率人臉圖像; 步驟5. 2,根據(jù)下式更新if
其中，λ是預(yù)設(shè)的松弛因子，η是預(yù)設(shè)的偏差閾值，" ?"是像素索引，
表示高分 辨率人臉圖像If中的某個像素，r( ·)表現(xiàn)該像素的相應(yīng)偏差； 步驟5. 3,判斷是否當(dāng)前迭代次數(shù)n = N，N為預(yù)設(shè)迭代次數(shù)， 若是，則輸出本次執(zhí)行步驟5. 2所得?作為最終的目標(biāo)高分辨率輸出圖像， 若否，則令
，返回步驟5. 2,以本次執(zhí)行步驟5. 2所得為輸入，進(jìn)行下一次迭 代更新if。
【文檔編號】G06T5/50GK104091320SQ201410339087
【公開日】2014年10月8日 申請日期:2014年7月16日 優(yōu)先權(quán)日:2014年7月16日
【發(fā)明者】胡瑞敏, 董小慧, 江俊君, 韓鎮(zhèn), 關(guān)健, 高戈 申請人:武漢大學(xué)