基于圖像塊自適應(yīng)配準(zhǔn)的視頻超分辨重建方法
【專利摘要】本發(fā)明公開了一種基于圖像塊自適應(yīng)配準(zhǔn)的視頻超分辨重建方法，首先輸入低分辨率視頻，獲得多幀低分辨率圖像；其次利用幀差法提取多幀圖像的運動邊緣信息，使用自適應(yīng)圖像塊的配準(zhǔn)準(zhǔn)則來劃分圖像塊的大?。蝗缓蟾鶕?jù)圖像降質(zhì)模型，估計出降質(zhì)點擴散函數(shù)，和多幀圖像的運動補償矩陣。最后根據(jù)圖像降質(zhì)過程獲得高分辨率圖像的重建優(yōu)化目標(biāo)函數(shù)，求解出高分辨率圖像。本發(fā)明能夠解決視頻中的局部運動的超分辨率問題，具有較好的實用性。
【專利說明】基于圖像塊自適應(yīng)配準(zhǔn)的視頻超分辨重建方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理，涉及到基于圖像塊自適應(yīng)配準(zhǔn)的視頻超分辨重建方法。具 體應(yīng)用在機器人視覺增強與監(jiān)控視頻增強領(lǐng)域。

【背景技術(shù)】
[0002] 監(jiān)控攝像機廣泛的應(yīng)用在道路、社區(qū)、學(xué)校等公眾場合。然而，目前大部分監(jiān)控視 頻的圖像分辨率低以及攝像機離感興趣的景物距離很遠，使得視頻圖像分辨率低，無法得 到滿意的圖像細節(jié)信息。機器人自帶攝像頭是其視覺信息的來源，但是目標(biāo)距離遠，分辨率 常常較低，無法準(zhǔn)確識別目標(biāo)。因此，如何提高低分辨率視頻圖像的質(zhì)量，有效增強視頻中 低質(zhì)量的圖像分辨率，是當(dāng)前亟待解決的問題。本發(fā)明提出了一種圖像塊自適應(yīng)配準(zhǔn)的視 頻超分辨率重建算法，使用輸入的低分辨率視頻多幀圖像生成高分辨率圖像的一種算法。
[0003] 自從 1964 年起，Harris 等人在文獻 1 (Harris J L. Diffraction and resolving power. Journal of the Opt. Soc.of America, 1964,54 (7) :931-936.)提出了 超分辨 率數(shù)學(xué)理論基礎(chǔ)，并重建出高分辨率圖像，奠定了超分辨率技術(shù)的理論基礎(chǔ)。1984 年，Huang 和 Tasi 在文獻 2 (Tsai R. Y. , Huang, T. S. Multiframe Image Restoration and Registration[C]. In: In Huang,T.S.Advances in Computer Vision and Image Processing, JAI Press, 1984:317-339.)中利用離散和連續(xù)傅立葉變換之間的平移以及混 疊等性質(zhì)建立了由多幅低分辨率圖像得到一副高分辨率圖像的方程組，明確的提出了圖像 超分辨率的概念。這時的超分辨率是在頻率域求解的，這個解就是原始高分辨率圖像的頻 域信號，它經(jīng)過傅立葉逆變換就可以得到一副高分辨率圖像。頻域超分辨方法得到了廣泛 的發(fā)展，如將小波變換的思想引入圖像超分辨率的研究。上述的頻域超分辨方法都是基于 低分辨率圖像之間僅僅只有全局平移運動的基礎(chǔ)上，存在很大的局限性。
[0004] 為了適應(yīng)一般的運動以及退化類別，基于空間域的圖像超分辨率方法得到了 大力的發(fā)展?？臻g域方法對圖像間的復(fù)雜運動模型與對應(yīng)的插值算法和濾波重采樣以 及解的優(yōu)化收斂迭代放在一起進行處理，在插值算法方面，提出了一種專用于立體相機 獲取超分辨率圖像的插值模型。在濾波重采樣和解的優(yōu)化收斂迭代方面，發(fā)展起了目 前應(yīng)用比較廣泛的在文獻 3 (PattiA J, Sezan Μ I，Tekalp A. M. Super-resolution Video Reconstruction With Arbitrary Sampling Lattices and Nonzero Aperture Time[J]. IEEE Trans IP, 1997, 6 (8) : 1064-1076.)中凸集投影算法以及文獻 4 (R. Sehultz， R. Stevenson. ExtractionOfHighResolutionFrames FromVideo. Sequences[J].IEEET. ransactionsonlmageProcessi ng. 1996, 5(6) :996-1011.)中最大后驗概率算法（MAP)。以 上大部分都是面向圖像超分辯率技術(shù)，但因為目前常用的監(jiān)控視頻序列圖像之間存在大量 的局部運動情況，在實際應(yīng)用中甚至出現(xiàn)了無法配準(zhǔn)的情況。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明目的是提供一種基于圖像塊自適應(yīng)配準(zhǔn)的視頻超分辨率重建方法，解決現(xiàn) 有同類算法表示輸入低分辨率視頻圖像塊配準(zhǔn)不準(zhǔn)確的問題，提高最終合成高分辨率視頻 圖像的質(zhì)量。
[0006] 本發(fā)明提供了一種基于圖像塊自適應(yīng)配準(zhǔn)的視頻超分辨重建方法，包括如下步 驟：
[0007] 步驟1 :輸入低分辨率視頻圖像，獲得多幀低分辯率圖像，將這些圖像劃分為當(dāng)前 幀和多個參考幀，并用幀差法得到運動邊緣提取信息圖；
[0008] 步驟2 :用自適應(yīng)圖像塊的配準(zhǔn)準(zhǔn)則對運動邊緣提取信息圖進行圖像塊的大小劃 分，以確定原始圖像塊大小劃分模型，根據(jù)該大小劃分模型對所述運動邊緣提取信息圖進 行劃分和配準(zhǔn)得到塊劃分示意圖；
[0009] 步驟3 :對塊劃分示意圖進行降質(zhì)模型分析，從而得出降質(zhì)函數(shù)，并推導(dǎo)出成像模 糊降質(zhì)值、加性干擾降質(zhì)值以及圖像欠采樣值；
[0010] 步驟4:建立高分辨率圖像與現(xiàn)有的低分辨率圖像之間的數(shù)學(xué)表達關(guān)系，并根據(jù) 步驟3推導(dǎo)出的值以及配準(zhǔn)過程中的配準(zhǔn)參數(shù)得出高分辨率率圖像的最佳估計值，最后根 據(jù)該最佳估算值生成高分辨率視頻圖像。
[0011] 本發(fā)明所述的基于圖像塊自適應(yīng)配準(zhǔn)的視頻超分辨重建方法中，在步驟2和步驟 3之間還包括配準(zhǔn)誤差修正步驟：采用自適應(yīng)閾值運動矢量修正法來修正圖像塊在配準(zhǔn)中 存在配準(zhǔn)誤差。
[0012] 本發(fā)明所述的基于圖像塊自適應(yīng)配準(zhǔn)的視頻超分辨重建方法中，步驟1中的幀差 法具體為將視頻中相鄰兩幀對應(yīng)像素點的像素值逐點相減，得到一個殘差圖像；對該殘差 圖像再進行閾值濾波，去除由于光照因素引起的像素值變動而帶來的殘差。
[0013] 本發(fā)明所述的基于圖像塊自適應(yīng)配準(zhǔn)的視頻超分辨重建方法中，步驟2中，自適 應(yīng)圖像塊的配準(zhǔn)準(zhǔn)則是根據(jù)圖像塊在配準(zhǔn)當(dāng)中的抗噪能力準(zhǔn)確度和準(zhǔn)精度選擇不同大小 的劃分塊。
[0014] 本發(fā)明所述的基于圖像塊自適應(yīng)配準(zhǔn)的視頻超分辨重建方法中，自適應(yīng)閾值運動 矢量修正法具體為由已知的配準(zhǔn)參數(shù)和參考圖像求出補償圖像，計算待配準(zhǔn)圖像與補償圖 像中對應(yīng)像素點之間的絕對差值，根據(jù)該絕對差值判斷是否存在配準(zhǔn)誤差，對出現(xiàn)配準(zhǔn)錯 誤的點，直接放棄當(dāng)前的配準(zhǔn)參數(shù)，補償圖像由原圖像構(gòu)成。
[0015] 本發(fā)明所述的基于圖像塊自適應(yīng)配準(zhǔn)的視頻超分辨重建方法中，視頻中單幀高分 辨率圖像的重建代價函數(shù)如下：
[0016]

【權(quán)利要求】
1. 一種基于圖像塊自適應(yīng)配準(zhǔn)的視頻超分辨重建方法，其特征在于，包括如下步驟： 步驟1 :輸入低分辨率視頻圖像，獲得多幀低分辯率圖像，將這些圖像劃分為當(dāng)前幀和 多個參考幀，并用幀差法得到運動邊緣提取信息圖； 步驟2 :用自適應(yīng)圖像塊的配準(zhǔn)準(zhǔn)則對運動邊緣提取信息圖進行圖像塊的大小劃分， 以確定原始圖像塊大小劃分模型，根據(jù)該大小劃分模型對所述運動邊緣提取信息圖進行劃 分和配準(zhǔn)得到塊劃分示意圖； 步驟3 :對塊劃分示意圖進行降質(zhì)模型分析，從而得出降質(zhì)函數(shù)，并推導(dǎo)出成像模糊降 質(zhì)值、加性干擾降質(zhì)值以及圖像欠采樣值； 步驟4 :建立高分辨率圖像與現(xiàn)有的低分辨率圖像之間的數(shù)學(xué)表達關(guān)系，并根據(jù)步驟3 推導(dǎo)出的值以及配準(zhǔn)過程中的配準(zhǔn)參數(shù)得出高分辨率率圖像的最佳估計值，最后根據(jù)該最 佳估算值生成高分辨率視頻圖像。
2. 根據(jù)權(quán)利要求1所述的基于圖像塊自適應(yīng)配準(zhǔn)的視頻超分辨重建方法，其特征在 于，在步驟2和步驟3之間還包括配準(zhǔn)誤差修正步驟：采用自適應(yīng)閾值運動矢量修正法來修 正圖像塊在配準(zhǔn)中存在配準(zhǔn)誤差。
3. 根據(jù)權(quán)利要求1所述的基于圖像塊自適應(yīng)配準(zhǔn)的視頻超分辨重建方法，其特征在 于，步驟1中的幀差法具體為將視頻中相鄰兩幀對應(yīng)像素點的像素值逐點相減，得到一個 殘差圖像；對該殘差圖像再進行閾值濾波，去除由于光照因素引起的像素值變動而帶來的 殘差。
4. 根據(jù)權(quán)利要求1所述的基于圖像塊自適應(yīng)配準(zhǔn)的視頻超分辨重建方法，其特征在 于，步驟2中，自適應(yīng)圖像塊的配準(zhǔn)準(zhǔn)則是根據(jù)圖像塊在配準(zhǔn)當(dāng)中的抗噪能力準(zhǔn)確度和準(zhǔn) 精度選擇不同大小的劃分塊。
5. 根據(jù)權(quán)利要求2所述圖像塊自適應(yīng)配準(zhǔn)的視頻超分辨重建方法，其特征在于，自適 應(yīng)閾值運動矢量修正法具體為由已知的配準(zhǔn)參數(shù)和參考圖像求出補償圖像，計算待配準(zhǔn)圖 像與補償圖像中對應(yīng)像素點之間的絕對差值，根據(jù)該絕對差值判斷是否存在配準(zhǔn)誤差，對 出現(xiàn)配準(zhǔn)錯誤的點，直接放棄當(dāng)前的配準(zhǔn)參數(shù)，補償圖像由原圖像構(gòu)成。
6. 根據(jù)權(quán)利要求1所述的基于圖像塊自適應(yīng)配準(zhǔn)的視頻超分辨重建方法，其特征在 于，視頻中單幀高分辨率圖像的重建代價函數(shù)如下：
其中，X是所求的高分辨率幀圖像，C是包括配準(zhǔn)參數(shù)在內(nèi)的配準(zhǔn)系數(shù)，λ是平衡因子， 調(diào)整重建誤差與重建高分辨率圖像平滑之間的關(guān)系，τ (X)是高分辨率圖像的平滑先驗。
【文檔編號】G06T5/00GK104063849SQ201410280297
【公開日】2014年9月24日 申請日期:2014年6月20日 優(yōu)先權(quán)日:2014年6月20日
【發(fā)明者】盧濤, 張彥鐸, 李曉林, 盧騰, 萬永靜, 余軍, 魏運運, 周敏 申請人:武漢工程大學(xué)