專利名稱：：一種基于非負矩陣分解的人臉超分辨率處理方法
技術領域：
：本發(fā)明涉及圖像分辨率處理
技術領域：
，尤其涉及一種基于非負矩陣分解的人臉超分辨率處理方法。
背景技術：
：在大部分的監(jiān)控場景中，攝像頭和場景中的感興趣物體有較遠的距離，這經(jīng)常導致這些物體具有很低的分辨率，監(jiān)控視頻中的人臉是最常見的感興趣物體之一。由于低分辨率人臉圖像丟失了很多人臉的特征細節(jié)，人臉經(jīng)常難以辨識，人臉圖像的分辨率變成了制約人臉識別和主觀辨認等應用性能的重要因素，有效增強人臉圖像分辨率成為亟待解決的問題。近年來，許多超分辨率技術已經(jīng)被提出，大部分超分辨率算法試著從多幀的低分辨率圖像序列產生一個超分辨圖像，但是由于監(jiān)控視頻的幀間存在復雜的局部運動，不一定滿足簡單的亞像素全局運動關系(如平移、旋轉和縮放等)，這導致幀間信息的互補與融合變得異常困難，因此，我們更加關注利用圖像先驗知識的正則化來提高監(jiān)控圖像的分辨率。馬爾可夫隨機場模型是一種超分辨率中常用的圖像模型，它假設圖像是由不連續(xù)的一個個光滑區(qū)域組成，且每個像素只與周邊鄰域內的像素相關，2000年，F(xiàn)reeman等從不同的角度考慮了相似的問題，他們不建立顯式的圖像正則化模型，而是在MAP框架中結合了貝葉斯網(wǎng)絡的方法來推測圖像分塊的高頻信息，他們提出的算法定義了一個局部概率，該概率考慮了低分辨率分塊和樣本數(shù)據(jù)庫分塊之間的相似性，并且考慮了高分辨率圖像的相鄰分塊之間的兼容性，最后利用貝葉斯信任傳播機制求得最大后驗概率的分塊。這些方法非常適合于合成普通圖像的局部紋理，但是沒有考慮人臉圖像特殊的結構信息。2002年，Baker和Kanade將基于樣本學習的方法進一步運用到人臉超分辨率中，并稱為"幻覺臉"技術，"幻覺臉"技術采用圖像金字塔模型，選擇人臉圖像的水平和垂直方向的導數(shù)和拉普拉斯金字塔作為特征空間，通過離線學習得到映射，該映射反映了原始圖像在不同分辨率下的灰度對應關系，以此作為人臉圖像的先驗信息。雖然得到的人臉圖像在有些部位仍存在較大的噪聲，但這種方法獲得了比傳統(tǒng)重建方法和插值更好的效果，開創(chuàng)了"幻覺臉"技術的新時代。2005年，Wang和Tang使用特征值變換來改造幻覺臉算法，利用PCA方法將輸入的低分辨率圖像擬合成為樣本庫中低分辨率圖像的線性表達，并將表達參數(shù)映射到高分辨率圖像空間，這種方法考慮到了圖像的全局特征但是沒有關注人臉圖像的局部特征。在人臉超分辨率中，PCA是最常用的人臉圖像分解和表達的方法，PCA是一種降維方法，考慮了維數(shù)的降低和冗余的減少，但它的特征是整體的，沒有考慮特征基圖像的表達能力，并不是很好面向重建合成的分解方法。NMF(NonnegativeMatrixFac-torization，非負矩陣分解)是一種線性，非負近似的數(shù)據(jù)表達方法，它的一個重要限制是基圖像和系數(shù)的非負性，即只允許非負部分的加性結合，而PCA方法允許主成分的負數(shù)結合，相比于NMF，PCA的分解結果是不直觀的，并且很難解釋因為PCA允許基圖像的減法合成。PCA產生一個基于整體的表達而NMF由于非負的限制得到了基于部分的表達。
發(fā)明內容本發(fā)明的目的是提供一種基于非負矩陣分解的人臉超分辨率處理方法，以解決傳統(tǒng)基于PCA方法過程中沒有考慮局部結構特性，特征表達能力不強，難以語義解釋等問題。為達到上述目的，本發(fā)明采用如下的技術方案對樣本庫高分辨率人臉圖像進行人臉對齊；讀入對齊后的樣本圖像庫；利用非負矩陣分解算法進行分解操作獲得基圖像W;將輸入的低分辨率人臉圖像進行對齊；獲得目標高分辨率人臉圖像的非負矩陣分解表達系數(shù)e;結合基圖像W和表達系數(shù)e得到中間高分辨率圖像Z工=We;對樣本庫人臉圖像重要區(qū)域進行分割；對分割得到的局部區(qū)域分別獨立進行非負矩陣分解LRNMF(LocalRegionNon_negativeMatrixFactorization,局部區(qū)域非負矩陣分解)；對對齊后的輸入圖像的局部區(qū)域分別進行合成；將合成的局部區(qū)域與圖像Z工進行加權結合獲得超分辨率圖像Z2。所述利用非負矩陣分解算法進行分解操作獲得基圖像W的步驟包括以下子步驟首先將樣本庫中的所有圖像排列成包含T個N維列向量的矩陣V，其中，T是樣本圖像個數(shù)，N是每幅圖像的像素個數(shù)，則N維圖像樣本向量V、t=1，...，T，可線性近似表達成廣-gn^,'-^力'，其中W是一個N*M的矩陣，M是該矩陣所包含的基向量Wi，M個基向量Wi被認為是數(shù)據(jù)構成塊，M維系數(shù)向量V描述每個數(shù)據(jù)構成塊對于表達向量Vt的強度；然后將樣本向量Vt排列成一個N*T的矩陣V，則有V"WH，其中H的每一列包含了系數(shù)向量ht相應于向量Vt;最后通過建立平方誤差(歐幾里德距離)函數(shù)")=IK-=S-,"),y)2利用最速下降法交替迭代W和H，迭代過程中用乘性遞推式子以保證其非負性，最終求解處代價函數(shù)。所述的對分割得到的局部區(qū)域分別獨立進行非負矩陣分解，采用對于對齊后的樣本庫中的每個人臉圖像，分別將眉毛、眼睛、鼻子、嘴巴等重要區(qū)域按照一定矩形大小分割出來，分組成為不同類型的局部區(qū)域樣本庫，對與不同類型的局部區(qū)域樣本庫利用基于非負矩陣分解的方法分別進行局部分解。本發(fā)明具有以下優(yōu)點和積極效果1)增加了圖像的灰度是非負這樣的語義約束，提高了特征基圖像的表達能力；4頁2)解決了傳統(tǒng)基于PCA方法過程中沒有考慮局部結構特性，特征表達能力不強，難以語義解釋等問題。圖1是本發(fā)明提出的的基于非負矩陣分解的人臉超分辨率處理方法的流程圖。圖2為本發(fā)明實驗中使用各種超分辨率方法所得的主觀結果。其中，Sl-對樣本庫高分辨率人臉圖像進行人臉對齊；S2-讀入對齊后的樣本圖像庫；S3-利用非負矩陣分解算法進行分解操作獲得基圖像W;S4_將輸入的低分辨率人臉圖像進行對齊；S5-獲得目標高分辨率人臉圖像的NMF表達系數(shù)e;S6_結合基圖像W和表達系數(shù)e得到中間高分辨率圖像Z！=We;S7-對樣本庫人臉圖像重要區(qū)域進行分割；S8-對分割得到的局部區(qū)域分別進行分解合成；S9-將局部合成區(qū)域與圖像Z工進行加權結合獲得超分辨率圖像Z2;20-為輸入低分辨率圖像；21-為使用雙三次插值方法將測試圖像放大8倍得到主觀圖像；22-為使用基于PCA的人臉超分辨率方法重建圖像得到主觀圖像；23—為使用基于NMF分解的人臉超分辨率方法重建圖像得到主觀圖像；24-為使用LRNMF的人臉超分辨率方法重建圖像得到主觀圖像如圖；25-為原始高分辨率圖像。具體實施例方式下面以具體實施例結合附圖對本發(fā)明作進一步說明本發(fā)明提出的基于非負矩陣分解的人臉超分辨率處理方法，具體采用如下技術方案，參見圖l，包括以下步驟SI:對樣本庫高分辨率人臉圖像進行人臉對齊；對樣本圖像先框取相同大小的人臉，接著再對人臉進行特征點標注，特征點如眼角、鼻尖、嘴巴角等具有語義的位置，最后再用仿射變換的方法把這些點對齊，通過對樣本庫中的高分辨率人臉圖像計算出平均臉，設(Xi，yi)T為平均臉上第i個特征點的坐標，(x'i，y'i)T為樣本高分辨率圖像中對應第i個點的坐標，在已知平均臉上特征點和相對應樣本庫中的特征點的條件下，采用直接線性變換方式來解出仿射變換矩陣<formula>formulaseeoriginaldocumentpage5</formula>接著對樣本高分辨率圖像來與變換矩陣M乘積就可得到新的圖像坐標，由001此得到對齊后的樣本圖像庫。S2:讀入對齊后的樣本圖像庫；讀取第一幅樣本庫人臉圖像，將該圖像矩陣按行序拉直成列向量，作為人臉樣本庫矩陣的第一列，接著再讀取第二副樣本庫人臉圖像，同樣將該圖像矩陣按行序拉直成列向量，作為人臉樣本庫矩陣的第二列，依次類推，最后得到一個人臉樣本庫矩陣。S3:利用非負矩陣分解算法進行分解操作獲得基圖像W;首先將樣本庫中的所有圖像排列成包含T個N維列向量的矩陣V，其中，T是樣本圖像個數(shù)，N是每幅圖像的像素個數(shù)，則N維圖像樣本向量Vt(t=1，..，T)可線性近似表達成<formula>formulaseeoriginaldocumentpage6</formula>其中W是一個N*M的矩陣，M是該矩陣所包含的基向量Wi，M個基向量Wt能夠被認為是數(shù)據(jù)構成塊，M維系數(shù)向量ht描述了每個數(shù)據(jù)構成塊對于表達向量Vt的強度，然后將樣本向量Vt排列成一個N*T的矩陣V，則有V"WH，其中H的每一列包含了系數(shù)向量V相應于向量Vt，最后通過建立平方誤差(歐幾里德距離)函數(shù)<formula>formulaseeoriginaldocumentpage6</formula>利用最速下降法交替迭代W和H，迭代過程中用乘性遞推式子以保證其非負性，最終求解上面的代價函數(shù)。S4:將輸入的低分辨率人臉圖像進行對齊；先將輸入的低分辨率圖像放大到樣本圖像的大小，再與對齊后的樣本圖像對齊，由此得到對齊后的輸入低分辨率人臉圖像。S5:獲得目標高分辨率人臉圖像的非負矩陣分解NMF表達系數(shù)e;(1)定義目標高分辨率人臉圖像為矩陣Z，輸入的低分辨率人臉圖像為Y，而且觀測圖像會受到附加噪聲的影響，則最終觀測圖像可以表達為y=DBZ+n①其中B是鏡頭光學模糊矩陣，D是由CCD尺寸決定的下采樣矩陣，n是噪聲矩陣。根據(jù)這個觀測模型，我們可把圖像假設為一個隨機場，即可把目標高分辨率圖像和輸入的低分辨率圖像均看作隨機場。在已知輸入的低分辨率圖像的條件下，根據(jù)最大后驗概率原則和Bayesian理論，可得目標圖像的最優(yōu)解Z=argmaxp(Z|y)=argmax:式中Z表示目標高分辨率圖像，Y表示輸入的低分辨率圖像，P(Z)和P(Y)分別表示目標高分辨率圖像和輸入的低分辨率圖像的先驗概率；P(Z|Y)為所求的后驗概率；P(YIZ)為高分辨率圖像Z退化為低分辨率圖像Y的條件概率，分別對兩端取對數(shù)，并消去與Z無關的P(Y)，可得:2=argmin{—log尸(J(Z)—log尸(Z"②要想求出方程的最優(yōu)解，即滿足后驗概率P(ZIY)最大，必須要確定先驗概率P(Z)和條件概率P(YlZ)。(2)目標高分辨率圖像的先驗概率P(Z)可以用某種隨機場模型來計算，我們使用廣義馬爾可夫模型<formula>formulaseeoriginaldocumentpage6</formula>A<formula>formulaseeoriginaldocumentpage6</formula>對點zu的二階領域系統(tǒng)的差分形式可寫為《,,,。z=—2、,+Zw一,《,z=》A—-2zw+J《,2z=v,,-2z"+《,3z=會(z",—+zi+u+1)由此可得目標高分辨率圖像的先驗概率P(Z)。(3)條件概率P(YlZ)可用以下方法計算，附加的噪聲可看成是高斯白噪聲，則=(2冗,丄2,exP[-^dl"『]④由式①、式④可得^rl|y-認l12]⑤由此得條件概率P(YlZ)的表達式。(4)由上述步驟可得到目標高分辨率圖像的最優(yōu)解的表達式將式③和式⑤代入式②，并忽略與Z無關的項，得2=argmin(^y|y-，Z『++^^0胸(5)使用NMF得到我們能夠獲得基圖像W，設Z=We，其中e表示未知的系數(shù)向量，通過求解e的最優(yōu)解，則公式⑥可重寫為S=argmin(^y『—Z)5fFe『++Z^(『e))⑦再使用最速下降法求解6，即設0"。=1^(,)'于是有《—s+^，其中，a為步長常量，《=—vq[,"—^(2)^萬^/^,一2"'}0，通過該方法，求解得到目標高分辨率人臉圖像的NMF表達系數(shù)e的最優(yōu)解。S6:結合基圖像W和表達系數(shù)e得到目標高分辨率圖像Z工=We。S7:對樣本庫人臉圖像重要區(qū)域進行分割；對于樣本庫中的每個人臉圖像，分別將眉毛，眼睛，鼻子，嘴巴等區(qū)域按照一定矩形大小分割出來，分組成為不同類型的局部區(qū)域樣本庫。S8:對分割得到的局部區(qū)域分別獨立進行分解合成；對與不同類型的局部區(qū)域樣本庫分別進行分解和合成，其方法與S3、S4、S5、S6步驟描述的方法相同。S9:將局部合成的區(qū)域與圖像Z工進行加權結合獲得超分辨率圖像Z2。將上述步驟獨立合成后的區(qū)域像素再與全局整幀合成的圖像像素進行加權合成，每個區(qū)域部分的圖像像素值可以表達為局部區(qū)域合成圖像的像素值與全局整幀合成圖像的像素值的加權之和，局部區(qū)域的權重Wji，j)的計算方法如下當d(i，j)〈C時，WR(i，j)=1/(l+C-d(i，j));當d(i，j)>C時，WR(i，j)=1;d(i，j)=min(i，j，width-i，height-j)其中d(i，j)為區(qū)域像素與邊緣的距離，C為距離常量，width和height為區(qū)域的寬度和高度。我們使用麻省理工大學的人臉樣本庫FERET做實驗，選取100副人臉做樣本，并用上述方法來對齊人臉，選取20個人臉特征點，其中樣本人臉分辨率大小為256*288，抽取樣本中的10副圖像并下采樣8倍(分辨率為32*36)后做為測試的低分辨率圖像，將剩余的90幅圖像做為訓練樣本庫，采用上述步驟所得到的實驗結果及分析如下使用三次插值方法將測試圖像放大8倍得到主觀圖，其主觀結果如圖2中21所示，其平均MOS(MeanOpinionScore，平均意見值)分值如下表表1中Cubic插值列所示，并將結果與原始圖像計算PSNR(PeakSignaltoNoiseRatio,峰值信噪比)值如表2中方法Cubic;使用基于PCA的人臉超分辨率方法重建圖像得到主觀圖像，其主觀結果如圖2中22所示，其平均M0S分值如表1中基于PCA列所示，與原始圖像計算PSNR值如表2中方法PCA;使用基于NMF分解的人臉超分辨率方法重建圖像得到主觀圖像，其主觀結果如圖2中23所示，其平均MOS分值如表1中基于NMF列所示，與原始圖像計算PSNR值如下表表2中方法NMF;使用LRNMF的人臉超分辨率方法重建圖像得到主觀圖像，其主觀結果如圖2中24所示，其平均MOS分值如表1中基于LRNMF列所示，與原始圖像計算PSNR值如表2中方法LRNMF。基于PCA方法結果圖像雖然比Cubic方法在分辨率上有所提高，但出現(xiàn)了較嚴重誤差，與原始圖像的相似性很低，這與樣本圖像個數(shù)有關，本發(fā)明提出的基于NMF的人臉超分辨率算法結果的主觀質量相比于基于PCA方法和雙三次插值方法都有較顯著的提高，基于LRNMF的方法在NMF方法的基礎上進一步提高?？陀^質量方面，基于插值的Cubic方法最高，平均24.562dB。這里，我們將基于PCA、NMF和LRNMF的方法統(tǒng)稱為基于合成的人臉超分辨率方法，該類方法的結果由于受到樣本庫信息的限制，客觀質量低于基于Cubic方法的值，基于PCA方法的結果客觀質量最低，平均16.622dB。在相同樣本庫信息的條件下，基于NMF方法比PCA方法的PSNR值平均提高7.065dB，最高提高12.456dB，最低提高3.941dB，基于LRNMF方法比基于NMF方法的PSNR值平均提高0.493，這與主觀實驗結果是一致的。因此，實驗表明，在主客觀質量上，基于NMF的人臉超分辨率算法的性能勝過基于PCA算法，而基于LRNMF算法的性能在基于NMF方法的基礎上有了進一步提高。表1:實驗中使用各種方法所得的主觀MOS分值比較測試用例評價參數(shù)Cubic插值MOS分基于PCAMOS分基于NMFMOS分基于LRNMFMOS分測試樣本1可辨別度-0.75-0.151.121.75測試樣本2可辨別度-0.57-0.121.061.728<table>tableseeoriginaldocumentpage9</column></row><table>表2:實驗中使用各種方法所得的客觀PSNR值比較<table>tableseeoriginaldocumentpage9</column></row><table>權利要求一種基于非負矩陣分解的人臉超分辨率處理方法，其特征在于，包括以下步驟對樣本庫高分辨率人臉圖像進行人臉對齊；讀入對齊后的樣本圖像庫；利用非負矩陣分解算法進行分解操作獲得基圖像；將輸入的低分辨率人臉圖像進行對齊；獲得目標高分辨率人臉圖像的非負矩陣分解表達系數(shù)；結合基圖像和表達系數(shù)得到中間高分辨率圖像Z1；對樣本庫人臉圖像重要區(qū)域進行分割；對分割得到的局部區(qū)域分別獨立進行非負矩陣分解；對對齊后的輸入圖像的局部區(qū)域分別進行合成；將合成的局部區(qū)域與圖像Z1進行加權結合獲得超分辨率圖像Z2。2.根據(jù)權利要求1所述的基于非負矩陣分解的人臉超分辨率處理方法，其特征在于所述利用非負矩陣分解算法進行分解操作獲得基圖像的步驟包括以下子步驟首先將樣本庫中的所有圖像排列成包含T個N維列向量的矩陣V，其中，T是樣本圖像個數(shù)，N是每幅圖像的像素個數(shù)，則N維圖像樣本向量Vt，t=l，..，T，可線性近似表達成ZW=固''其中W是一個N*M的矩陣，M是該矩陣所包含的基向量Wi，M個基向量Wi被認為是數(shù)據(jù)構成塊，M維系數(shù)向量V描述每個數(shù)據(jù)構成塊對于表達向量Vt的強度；然后將樣本向量Vt排列成一個N*T的矩陣V，則有V"WH，其中H的每一列包含了系數(shù)向量ht相應于向量Vt;最后通過建立平方誤差函數(shù)攀,//)=||F-,『=IX-(利用最速下降法交替迭代W和H，迭代過程中用乘性遞推式子以保證其非負性，最終求解處代價函數(shù)。3.根據(jù)權利要求1或2所述的基于非負矩陣分解的人臉超分辨率處理方法，其特征在于，所述獲得目標高分辨率人臉圖像的非負矩陣分解表達系數(shù)e的步驟包括以下子步驟利用基圖像矩陣和系數(shù)向量的乘積表達目標高分辨率圖像；目標高分辨率圖像模擬退化后與輸入圖像的差值建立代價函數(shù)的重建誤差項；利用馬爾可夫隨機場建立代價函數(shù)的正則約束項；利用最速下降法求解代價函數(shù)項；4.根據(jù)權利要求1所述的基于非負矩陣分解的人臉超分辨率處理方法，其特征在于所述的對分割得到的局部區(qū)域分別獨立進行非負矩陣分解，采用對于對齊后的樣本庫中的每個人臉圖像，分別將眉毛、眼睛、鼻子、嘴巴等重要區(qū)域按照一定矩形大小分割出來，分組成為不同類型的局部區(qū)域樣本庫，對與不同類型的局部區(qū)域樣本庫利用基于非負矩陣分解的方法分別進行局部分解。全文摘要本發(fā)明涉及圖像分辨率處理
技術領域：
，尤其涉及一種基于非負矩陣分解的人臉超分辨率處理方法。本發(fā)明包括對樣本庫高分辨率人臉圖像進行人臉對齊，讀入對齊后的樣本圖像庫，利用非負矩陣分解算法進行分解操作獲得基圖像W，將輸入的低分辨率人臉圖像進行對齊，獲得目標高分辨率人臉圖像的非負矩陣分解表達系數(shù)e，結合基圖像W和表達系數(shù)e得到目標高分辨率圖像Z1＝We，對樣本庫人臉圖像重要區(qū)域進行分割；對分割得到的局部區(qū)域分別進行分解合成；合成的局部區(qū)域與圖像Z1進行加權結合獲得超分辨率圖像Z2幾個步驟。本發(fā)明增加了圖像的灰度是非負這樣的語義約束，提高了特征基圖像的表達能力，最終增強了超分辨率圖像質量。文檔編號G06T3/00GK101719270SQ20091027341公開日2010年6月2日申請日期2009年12月25日優(yōu)先權日2009年12月25日發(fā)明者蘭誠棟,盧濤,羅定,胡瑞敏,韓鎮(zhèn)申請人:武漢大學