7)可由迭代收縮算法得到最終解。為解決(18)式，構(gòu)造拉格朗日方程為：
[0107]其中，Z是拉格朗日乘子，τ為常量，（19)可由下式迭代inter_num次進(jìn)行求解：
[0109] z(iter+1) = Z(iter)+Titer(y-Dx(iter+1)) (21)
[0110] T(iter+l) = gT(iter) (22)
[0113] 在實(shí)驗(yàn)中，分別采用彩色圖像和灰度圖像作為測試圖像，先對原始圖像進(jìn)行下采 樣，然后進(jìn)行3倍尺度的超分辨率重建放大，并與Bicubic超分辨率重建、NE、NARM進(jìn)行對比。 本文方法中，低分辨率圖像塊的大小設(shè)為3X3,其對應(yīng)的高分辨率圖像塊的大小為9X9,鄰 域相似塊數(shù)量K為5,非局部相似塊數(shù)量L為10,非局部相似塊大小為3X3,權(quán)值控制因子h為 65,迭代次數(shù)t 為30,正則化因子 X、Cl、C2、0、e、S和inter_num 分別為 0·05、0·15、2·5、0·15、 0.3、1.2和180。為了評價(jià)重建效果，除了采用主觀的視覺評價(jià)外，還采用峰值信噪比(PSNR) 和圖像結(jié)構(gòu)相似度(SSIM)評價(jià)不同算法的超分辨率重建性能。PSNR是一種基于統(tǒng)計(jì)特性的 客觀圖像質(zhì)量評價(jià)方法，較大的峰值信噪比表示重構(gòu)圖像與原始圖像之間的相似性較高。 SS頂是一種通過感知圖像結(jié)構(gòu)信息來進(jìn)行圖像質(zhì)量評價(jià)的方法，SSIM值越大說明圖像間的 結(jié)構(gòu)越相似。
[0114] 由于本發(fā)明提出的方法引入非局部自相似性約束，為驗(yàn)證非局部自相似塊數(shù)量對 重建效果的影響，采用256 X 256Cameraman圖像進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)中，分別選取非局部自相似 塊L為5，10，15，20，25進(jìn)行重構(gòu)。從表1和圖1可以看出，隨著非局部自相似塊數(shù)量的增加，邊 緣處的不連續(xù)現(xiàn)象得到一定緩解，但是PSNR值逐漸下降，同時(shí)造成了細(xì)節(jié)區(qū)域的過平滑模 糊，因此綜合考慮圖像的細(xì)節(jié)因素和邊緣效果，本文選取L為10,可以達(dá)到良好的重建效果。 [0115] 圖2和圖3分別展示了Leaves和Cameraman的實(shí)驗(yàn)比較圖，從中可以看出Bicubic方 法在放大圖像的同時(shí)引起了邊界的不連續(xù)現(xiàn)象與振鈴效應(yīng);NE方法基本可以保持圖像的邊 緣結(jié)構(gòu)，但與此同時(shí)也模糊了圖像的大部分細(xì)節(jié);NARM方法能夠較好地恢復(fù)圖像細(xì)節(jié)，但在 某些地方，如樹葉的邊緣細(xì)節(jié)、鏡頭架等處重建效果仍不理想;本文方法較好地改進(jìn)了 NARM 算法的缺陷，在重建紋理細(xì)節(jié)和消除偽邊緣與鋸齒兩方面均做到了較好的效果，復(fù)原結(jié)果 更加逼真。因此從視覺效果上看，文中算法的超分辨率重建結(jié)果與原始高分辨率圖像最為 相似。
[0116] 表2展示了不同算法的PSNR和SS頂，可以看出，引入準(zhǔn)確高頻初始估計(jì)改進(jìn)基于局 部和非局部相似性的超分辨率算法能夠有效提升重建質(zhì)量，與一些具有代表性的重建方法 相比，PSNR平均值提高了 0.47~1.84dB，SS頂平均值提高了 0.0114~0.0438。因此從評價(jià)指 標(biāo)上看，本發(fā)明中提出的算法明顯優(yōu)于其余幾種算法，客觀評價(jià)與主觀評價(jià)結(jié)果完全一致。 [0117]表1、非局部自相似塊數(shù)量對重建效果的影響
[0118]
[0119] 表2、不同超分辨率重建算法的PSNR、SS頂
[0120]
【主權(quán)項(xiàng)】
1. 一種基于改進(jìn)鄰域嵌入和結(jié)構(gòu)自相似性的超分辨率重建算法，其特征在于，該算法 包括W下步驟： 步驟(1 )、基于鄰域嵌入的初始估計(jì)算法，首先提取高分辨率訓(xùn)練圖像Ih的亮度分量，接 著對高分辨率圖像進(jìn)行a倍的下采樣操作得到低分辨率圖像II，并將高分辨率和低分辨率 圖像分成相互有重疊區(qū)域的小塊;記乂=^"，111=1，...，9}為訓(xùn)練的低分辨率塊集合，￥ = (ym，m=l，...，p}為與之對應(yīng)的高分辨率塊集合，其中P是從訓(xùn)練圖像中分割出的小塊的 數(shù)；同樣的，記文二U·"，/;二1，...，如為待重建的低分辨率圖像分割出的塊集合， #二!5，"."=1，....如為待估計(jì)的高分辨率圖像的塊集合，其中9是測試圖像中分割出小塊的 數(shù)量;將圖像塊X"和圖像塊克"的距離矩陣定義為Dpq，其中Dpq的第η列為克"與X，X表示訓(xùn)練 的低分辨率塊集合中所有圖像塊的距離構(gòu)成的列向量;然后遍歷Dpq中的每一列找到K個(gè)最 大值，其索引對應(yīng)的圖像塊即所求圖像塊去"；在訓(xùn)練集中的K個(gè)近鄰塊，記為 跨=巧"0?方"2\…方，《隸示的對應(yīng)所求的圖像塊戈"的K個(gè)近鄰塊，u，t2,. . .tK表 示K個(gè)近鄰塊的序號(hào)； 接著對于每一個(gè)測試圖像塊《"利用最小化局部重建誤差的方式求得最佳權(quán)值向量ω。 =[ωη?, ωη2, . . . ωηρ]，nl ,η2, . . .ηΡ表示序號(hào)的腳標(biāo)，η表示第η個(gè)測試圖像塊：對于各個(gè)高分辨率圖像塊的重疊區(qū)域，取其各個(gè)重疊像素值的平均； 利用下式定義殘余誤差ei為圖像塊範(fàn)與另一圖像塊束/的相似程度，殘余誤差越小說明 兩圖像塊越相似：(10) 對于每一個(gè)圖像塊j>"，計(jì)算圖像塊東"與其捜索鄰域內(nèi)的所有圖像塊的殘余誤差，找到 殘余誤差最小的L個(gè)圖像塊即為圖像塊糸"的L個(gè)最相似塊集合：其殘余誤差分別為= 1,2. . .L L表示的是圖像塊的個(gè)數(shù);則待估計(jì)圖像塊來"表 示為表示找到的L個(gè)殘余誤差最小的圖像塊中的一個(gè)圖像塊的線性組合：川） 其中，#中的每個(gè)元素 F與F之間的相似度權(quán)值片邊下式計(jì)算：(12) h是權(quán)值的控制因子;采"與#中的每個(gè)元素滬'l(j = l，2, ...，q)之間的相似度權(quán)值定義 為：(巧） 束"表示待估計(jì)的高分辨率圖像塊集合中的第j個(gè)塊，#為圖像塊F的L個(gè)最相似塊集 合； 令換為巧組成的向量，奶=:扔，?;2，].將式(11)表示為：(14：)： 將（14)作為非局部自相似正則項(xiàng)加入鄰域嵌入方法中，構(gòu)造鄰域超分辨率重建方法模 型：其中W為字典序的ω η，即W = [ ω 1，ω 2，. . .，ω q ] T，Φ為字典序的斯，即 Φ =[巧，私...，斬]T ;公式(15)通過梯度下降法求解，化簡為(16) t為迭代次數(shù)，λ為正則化系數(shù)常量;設(shè):#0為鄰域嵌入法得到的迭代初始值，經(jīng)過t次迭 代，得到準(zhǔn)確的高頻初始估計(jì)束％ 步驟(2)、建立稀疏表示字典，將步驟（1)得到的高分辨率初始估計(jì)圖像進(jìn)行分塊操作 后，對于每一個(gè)待重建高分辨率輸入塊XI，將其與已經(jīng)訓(xùn)練得到的簇中屯、{Cl，C2, . . .，Cn}進(jìn) 行比較，找到與輸入塊歐氏距離最小的簇中屯、。，其所在的簇Κι所對應(yīng)的子字典Ψι即待重 建高分辨率塊XI所使用的字典； 得到每個(gè)待重建圖像塊所對應(yīng)的子字典Ψι后，將利用非局部自回歸超分辨率重建模型通過拉 格朗日乘子法轉(zhuǎn)化為(17)、（18)兩式，其中y表示輸入低分辨率圖像，X表示待重建高分辨率圖像，D為下采樣矩陣;Μ為非局部 自相似權(quán)重矩陣，用來描述圖像塊之間的非局部自相似關(guān)系；Ψι為第i個(gè)圖像塊對應(yīng)的子 字典;α為稀疏表示稀疏矩陣，其每一行為第i個(gè)圖像塊在子字典Ψι下的稀疏表示系數(shù)向 量，的每個(gè)元素為為第i個(gè)圖像塊的非局部自相似性塊的稀疏表示系數(shù);Ri為抽取 矩陣，其作用是將第i個(gè)圖像塊從圖像中抽取出來；λι、γι為加權(quán)向量，其每個(gè)元素Θ為加權(quán)系數(shù)； 并對式（17)、（18)迭代求解;式（17)由迭代收縮算法得到最終解;為解決式（18)，構(gòu)造 拉格朗日方程為：(19)其中，Ζ 是拉格朗日乘子，τ為常量，式（19)可由下式迭代interji皿次進(jìn)行求解，iter表示當(dāng)前的迭 代次數(shù)：X為待重建高分辨率圖像，S為更新常量τ的更新倍數(shù)，為常數(shù)。
【專利摘要】本發(fā)明公開一種基于改進(jìn)鄰域嵌入和結(jié)構(gòu)自相似性的超分辨率重建算法，首先用結(jié)構(gòu)相似性改進(jìn)鄰域嵌入方法，進(jìn)而獲得更加準(zhǔn)確的高頻初始估計(jì)，實(shí)現(xiàn)基于鄰域嵌入的初始估計(jì)算法；接著利用低分辨率圖像的局部自相似性和多尺度結(jié)構(gòu)相似性構(gòu)建重建約束項(xiàng)重建高分辨，建立稀疏表示字典。與現(xiàn)有技術(shù)相比，本發(fā)明所提出的算法在解決前人的基于學(xué)習(xí)的超分辨率重建算法需要大量訓(xùn)練集的缺陷的基礎(chǔ)上，改進(jìn)了鄰域嵌入方法，并將其用于解決基于局部自相似性和多尺度相似性的超分辨率算法中存在的不準(zhǔn)確高頻初始估計(jì)問題，提升了圖像的超分辨率重建效果；能夠更好地抑制了鋸齒效應(yīng)和振鈴效應(yīng)，重建出的高分辨率圖像更接近于真實(shí)圖像，具有更好的主觀和客觀質(zhì)量。<!-- 2 -->
【IPC分類】G06T3/40
【公開號(hào)】CN105550988
【申請?zhí)枴緾N201510900809
【發(fā)明人】周圓, 馮麗洋, 陳瑩, 陳陽, 侯春萍
【申請人】天津大學(xué)
【公開日】2016年5月4日
【申請日】2015年12月7日