一種基于像素強度的圖像超分辨率重建方法
【技術領域】
[0001] 本發(fā)明屬于圖像處理技術領域，具體涉及一種基于像素強度的圖像超分辨率重建 方法。
【背景技術】
[0002] 隨著信息技術的發(fā)展，高質量數字圖像的需求越來越迫切。但數字圖像在采集過 程中受到成像設備的限制（制造工藝與成本）以及成像過程中受到運動模糊、光學模糊、隨 機噪聲以及低采樣率等因素的影響，拍攝得到的圖像質量往往不是很理想。圖像超分辨率 重建（super-resolution，SR)技術是一種提高圖像分辨率的信號處理技術，它利用單幅或 多幅的低分辨率圖像重建高分辨率圖像或圖像序列，增加了高頻信息，去除了在成像過程 中引起的退化，從而提高圖像質量、改善圖像視覺效果。近年來，圖像超分辨率重建已經成 為數字圖像處理領域的研宄熱點，具有十分重要的理論意義和廣闊的應用前景，在遙感成 像、醫(yī)療成像、衛(wèi)星成像、模式識別、軍事偵察、安全監(jiān)控、交通識別、案件偵破等領域得到了 廣泛應用。
[0003]圖像超分辨率重建方法主要可以分為以下幾類：頻（率）域方法、空（間）域方 法、基于學習的方法。
[0004]頻域的方法主要利用低分辨率圖像的混疊來重建高分辨率圖像。該類方法中最早 的方法主要利用了傅里葉變換的混疊和平移性質的原理。之后，出現了許多改進的工作。頻 域法依賴于圖像的觀測模型，只限于全局平移運動和線性空間不變模糊，因此在實際中應 用受限。
[0005]為了克服頻域法的缺陷，提出了許多空域的方法，主要方法有：非均勻插值法、迭 代反投影法、凸集投影法、最大后驗概率法。
[0006]非均勻插值方法的理論基礎是低分辨率圖像經過運動估計后映射到高分辨率網 格上時是非均勻的，因此通過對非均勻采樣點的內插就可以得到高分辨率網格上采樣點的 像素值，運算量小。該類方法要求所有的低分辨率（LR)圖像具有相同的噪聲分布和模糊函 數。目前，該類方法的最新代表是FeiZhou提出的基于插值和多面擬合的圖像超分辨率重 建方法（Interpolation-BasedImageSuper-ResolutionUsingMultisurfaceFitting， 簡稱為MFISR)。迭代反投影法是利用圖像降質模型生成低分辨率圖像，與觀測的低分辨率 圖像差分，把殘差投影到估計的高分辨率圖像中，重復這一過程，直到估計的高分辨率圖像 滿足迭代停止的條件。該類算法具有原理簡單，計算速度快的優(yōu)點，缺點是難以利用圖像 的先驗知識，而且對選取最合適的反向投影算子沒有明確的方法，解不唯一。凸集投影法 是一種基于集合理論的超分辨率重建方法，能夠較好地保持圖像邊緣等細節(jié)信息，而且容 易加入先驗知識。但重建結果受到初始估計值的影響較大，解不唯一。最大后驗概率法是 一種基于統計理論的超分辨率重建方法，是目前最具有前景的超分辨率重建算法之一，其 原理是在已知低分辨率圖像序列的條件下，使得高分辨率圖像的后驗概率最大。該類方法 的主要優(yōu)點是方便添加圖像的先驗知識去正則化該不適定反問題，而且具有較強的去噪能 力，其缺點是運算量大。
[0007] 另一種重建方法是基于機器學習原理的方法。該類方法首先由Freeman在提出， 通過對低分辨率圖像集進行訓練產生一個學習模型，利用該模型計算出圖像高頻細節(jié)信 息。另外，還有學者把流形學習的思想引入到圖像超分辨率重建，提出了基于鄰域嵌入的圖 像超分辨率重建方法，并取得了較好的重建效果。也有人提出利用稀疏表示進行圖像超分 辨率重建，通過計算低分辨率圖像的稀疏系數，在高分辨率圖像字典中尋找一致的稀疏系 統，獲得高分辨率圖像。

【發(fā)明內容】

[0008] 本發(fā)明的目的是提供一種基于像素強度的圖像超分辨率重建方法，解決了現有技 術中存在的因異常數據對估計值的影響而造成的難以提高重建質量的問題。
[0009] 本發(fā)明所采用的技術方案是，一種基于像素強度的圖像超分辨率重建方法，具體 按照以下步驟實施：
[0010] 步驟1、將低分辨率圖像進行圖像配準；
[0011] 步驟2、將步驟1得到的配準后的圖像進行圖像融合；
[0012] 步驟3、將步驟2得到的圖像進行圖像重建，得到最終的高分辨率像素值圖像。
[0013] 本發(fā)明的特點還在于，
[0014] 步驟1，設低分辨率圖像為Tji= 1，2,…，N)，N為圖像個數，
[0015]步驟1具體為：
[0016] 對多幅低分辨率圖像凡（i= 1，2,…，N)進行PSNR和FSMc質量評估，從中選擇 一副PSNR和FSMc值最大的圖像作為參考圖像，設為，采用SIFT算法提取低分辨率圖像 中凡（i= 1，2,…，N)的特征點Pi，用特征點集合Pi分別表示如下：
[0018] 上式中，每個特征點集合Pi中的mi分別為每個低分辨率圖像Ti的特征點數目，其 中i= 1，2,…，N，對參考圖像1\中的每個特征點Pi，計算其它低分辨率圖像Tji= 2,…，N) 中的所有特征點到參考圖像1\的特征點的距離，距離表示如下：
[0020] 上式中，j表示128維SIFT特征的索弓丨，ti= 1，2,…，m丨，t2 = 1，2,. . .，max(m2,m3,. . .，mN)，對上述距離進行升序排列，提取出上述距離中的最小距離屯 和次小距離d2，并求出最小距離屯和次小距離(12的匹配比r，r=d/4，當最小距離屯和 次小距離(12的匹配比r>n時，n為閾值，說明參考圖像!\中的該特征點和與其距離最近 的特征點匹配成功，當最小距離屯和次小距離d2的匹配比r〈n時，說明參考圖像Ti中的 該特征點和與其距離最近的特征點匹配不成功，進而得到參考圖像1\與低分辨率圖像Ti(i =2,…，N)對應的匹配點的匹配點對Qi:
[0022] 式（2)中，nii為匹配點對的數目，
[0023] 對式（2)通過仿射變換公式，得到仿射變換參數：兩幅圖像之間的旋轉角度0 ^口 位移量AXi、Ayi，仿射變換公式表示為：
[0024] Q1=RiQi+ADj (3)
[0025] 式⑶中，氏為2X2的旋轉矩陣，AD為2X1的平移向量，RJP AD汾別表示 為：
[0028] 9i為旋轉角度，AxpAyi分別為橫坐標和縱坐標的位移量。
[0029] 步驟1中閾值n= 〇? 85。
[0030] 步驟2具體為：當步驟1得到待配準圖像Tji= 2,…，N)與參考圖像之間的 旋轉角度0JP位移量ADi后，將配準后的低分辨率圖像根據縮放因子的大小進行插值放 大，然后將放大后的圖像再依照配仿射變換參數：旋轉角度0JP位移量AxpAyi進行配 準，映射到高分辨率網格上。
[0031] 步驟3為：首先為步驟2中的每個高分辨率網格節(jié)點構造一個初始鄰域進行曲面 擬合，獲得估計值，然后按步長擴大鄰域范圍再進行曲面擬合，獲得估計值，最后用MAP方 法估計高分辨率像素值，具體步驟如下：
[0032]步驟（3. 1)、鄰域擴展：對于步驟2中映射到高分辨率網格上的圖像，為每個網格 節(jié)點選擇初始鄰域值h和最大鄰域值b2，步長設為0. 1 ;
[0033] 步驟（3. 2)、像素搜索：步驟（3. 1)中的從h開始到b2結束，對高分辨率網格上的 節(jié)點進行鄰域搜索得到K個鄰域NBji= 1，2,…，K)，根據bi、b2和步長值得