低分辨率紅外圖像重建高分辨率紅外圖像的方法
【專利摘要】本發(fā)明公開了一種低分辨率紅外圖像重建高分辨率紅外圖像的方法，主要包括：采用雙線性插值法對低分辨率紅外圖像進(jìn)行上采樣，得到高頻細(xì)節(jié)模糊的高分辨率紅外圖像；分別提取同場景的高頻細(xì)節(jié)模糊的高分辨率紅外圖像和可見光圖像的邊緣；將提取的紅外圖像和可見光圖像的邊緣分類為相關(guān)邊緣和非相關(guān)邊緣；建立紅外圖像和可見光圖像的二次仿射變換關(guān)系模型，對紅外圖像進(jìn)行高頻估計(jì)，得到紅外圖像的高頻細(xì)節(jié)；將紅外圖像高頻細(xì)節(jié)與邊緣模糊的高分辨率紅外圖像相加作為重建高分辨率紅外圖像的初始估計(jì)值，以此進(jìn)行多次反向投影迭代，得到重建的高分辨率紅外圖像。本發(fā)明的方法通過實(shí)驗(yàn)表明，重建的圖像視覺效果更好，接近于原始高分辨率紅外圖像。
【專利說明】低分辨率紅外圖像重建高分辨率紅外圖像的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及紅外圖像處理【技術(shù)領(lǐng)域】，具體涉及一種將低分辨率紅外圖像轉(zhuǎn)變成高分辨率紅外圖像的方法。
【背景技術(shù)】
[0002]紅外圖像反映場景的輻射特性，這種特性能為多個(gè)應(yīng)用領(lǐng)域提供有價(jià)值的信息，如監(jiān)視和遠(yuǎn)程控制等，但與可見光圖像相比，紅外圖像的質(zhì)量不令人滿意，主要表現(xiàn)在邊緣模糊和缺少紋理，空間分辨率有限，所以從紅外圖像中直接提取足夠的信息比較困難。因此提高紅外圖像的空間分辨率是一個(gè)亟待解決的問題。
[0003]為了解決紅外圖像存在的上述問題，人們首先是從硬件方面著手進(jìn)行研究，試圖通過制作高密度小像元尺寸的紅外焦平面器件來解決上述問題，但在現(xiàn)有技術(shù)條件下，制作高密度小像元尺寸的紅外焦平面器件還有一定困難，且成本較高。鑒于此，科技人員改變研究方向，從算法理論方面進(jìn)行探索，通過軟件提高紅外圖像的分辨率。在軟件研究方面，一種具有前景的方法是利用信號處理的方式從單幀或者多幀低分辨圖像中獲得高分辨圖像，稱這種方法為超分辨(Super-Resolution, SR)的技術(shù)。目前的超分辨技術(shù)主要分為兩大類:1)基于重建的超分辨，該技術(shù)主要是通過對圖像的退化過程進(jìn)行建模，利用低分辨率圖像和特定的圖像退化模型對高分辨率圖像的重建進(jìn)行約束，得到高分辨率圖像。該方法存在先驗(yàn)知識少、重建效果改進(jìn)潛力不大等問題。2)基于學(xué)習(xí)的超分辨，是指在高分辨率樣本圖像的輔助下，對單幅低分辨率圖像進(jìn)行重建，恢復(fù)出高分辨率圖像。這兩種傳統(tǒng)的圖像重建方法多是利用同一個(gè)傳感器得到的圖像，然而單個(gè)傳感器獲取的圖像信息有限，不能提供更加豐富的可利用的圖像信息，因此，基于此所重建的紅外圖像空間分辨率仍不高。

【發(fā)明內(nèi)容】

[0004]針對低分辨率紅外圖像重建高分辨率紅外圖像技術(shù)的現(xiàn)狀與不足，本發(fā)明的目的旨在提供一種基于多傳感器的低分辨率紅外圖像重建高分辨率紅外圖像的新方法，以清晰紅外圖像邊緣，豐富紅外圖像紋理，提高紅外圖像的分辨率。
[0005]可見光(CXD)圖像與紅外(IR)圖像之間存在很強(qiáng)的相關(guān)性和互補(bǔ)性，可見光圖像邊緣清晰，并且可見光成像系統(tǒng)所成圖像分辨率較高，這些正是紅外圖像很難具備重要特征。本發(fā)明的基本思想是借助高分辨率可見光圖像來提高紅外圖像分辨率，基于本發(fā)明的基本思想，提出一種利用高分辨率的可見光圖像邊緣信息提高紅外圖像分辨率的方法，即基于多傳感器的紅外圖像超分辨方法。
[0006]本發(fā)明利用高分辨率可見光圖像提高紅外圖像分辨率的主要技術(shù)路線為，首先根據(jù)紋理掩蔽的自適應(yīng)邊緣提取算法分別提取紅外圖像和可見光圖像的邊緣，并根據(jù)相似性將提取的邊緣分類為相關(guān)邊緣和非相關(guān)邊緣，其次利用紅外圖像與可見光圖像在邊緣上的二次仿射變換關(guān)系對紅外圖像高頻細(xì)節(jié)進(jìn)行估計(jì)，最后利用迭代反向投影法(IBP)優(yōu)化得到重建的高分辨率紅外圖像。[0007]本發(fā)明提供的基于多傳感器的低分辨率紅外圖像重建高分辨率紅外圖像的方法，具體內(nèi)容主要包括以下步驟:
[0008](I)采用雙線性插值法對由紅外傳感器得到的低分辨率紅外圖像進(jìn)行上采樣，得到高頻細(xì)節(jié)模糊的高分辨率紅外圖像；
[0009](2)根據(jù)自適應(yīng)邊緣提取算法，分別提取同場景由步驟(1)得到的高頻細(xì)節(jié)模糊的高分辨率紅外圖像和由可見光傳感器得到的可見光圖像的邊緣；
[0010](3)將步驟(2)提取的同場景紅外圖像和可見光圖像的邊緣，根據(jù)相關(guān)系數(shù)分類為相關(guān)邊緣和非相關(guān)邊緣；
[0011](4)在步驟(3)得到的相關(guān)邊緣基礎(chǔ)上建立紅外圖像和可見光圖像的二次仿射變換關(guān)系模型，根據(jù)所建模型結(jié)合可見光圖像和紅外圖像的相關(guān)邊緣對紅外圖像進(jìn)行高頻估計(jì)，得到紅外圖像的高頻細(xì)節(jié)；
[0012](5)將步驟(4)得到的紅外圖像高頻細(xì)節(jié)與步驟(1)得到的邊緣模糊的高分辨率紅外圖像相加作為重建高分辨率紅外圖像的初始估計(jì)值，以此為基礎(chǔ)進(jìn)行多次反向投影迭代，得到重建的高分辨率紅外圖像。
[0013]在本發(fā)明的上述技術(shù)方案中，步驟(1)采用雙線性插值法對由紅外傳感器得到的低分辨率紅外圖像進(jìn)行不少于2倍的上采樣。上采樣的倍數(shù)越多越好，但計(jì)算的工作量會增大。
[0014]在本發(fā)明的 上述技術(shù)方案中，步驟(2)采取下述自適應(yīng)邊緣提取算法提取圖像的邊緣:
[0015]I)分別計(jì)算可見光圖像和紅外圖像像素的梯度加權(quán)平均值的最大值；
[0016]2)由得到的梯度加權(quán)平均值的最大值分別計(jì)算可見光圖像和紅外圖像邊緣強(qiáng)度。
[0017]在本發(fā)明的上述技術(shù)方案中，步驟(3)中用于對圖像邊緣進(jìn)行相關(guān)性分類的所述相關(guān)系數(shù)可采用歸一化互相關(guān)算法來測定。歸一化互相關(guān)算法具體可采取下述公式進(jìn)行計(jì)算:
【權(quán)利要求】
1.一種低分辨率紅外圖像重建高分辨率紅外圖像的方法，其特征主要包括以下步驟: (1)采用雙線性插值法對由紅外傳感器得到的低分辨率紅外圖像進(jìn)行上采樣，得到高頻細(xì)節(jié)模糊的高分辨率紅外圖像； (2)根據(jù)自適應(yīng)邊緣提取算法，分別提取同場景由步驟(1)得到的高頻細(xì)節(jié)模糊的高分辨率紅外圖像和由可見光傳感器得到的可見光圖像的邊緣； (3)將步驟(2)提取的同場景紅外圖像和可見光圖像的邊緣，根據(jù)相關(guān)系數(shù)分類為相關(guān)邊緣和非相關(guān)邊緣； (4)在步驟(3)得到的相關(guān)邊緣基礎(chǔ)上建立紅外圖像和可見光圖像的二次仿射變換關(guān)系模型，根據(jù)所建模型結(jié)合可見光圖像和紅外圖像的相關(guān)邊緣對紅外圖像進(jìn)行高頻估計(jì)，得到紅外圖像的高頻細(xì)節(jié)； (5)將步驟(4)得到的紅外圖像高頻細(xì)節(jié)與步驟(1)得到的邊緣模糊的高分辨率紅外圖像相加作為重建高分辨率紅外圖像的初始估計(jì)值，以此為基礎(chǔ)進(jìn)行多次反向投影迭代，得到重建的高分辨率紅外圖像。
2.根據(jù)權(quán)利要求1所述的低分辨率紅外圖像重建高分辨率紅外圖像的方法，其特征在于，步驟⑴采用雙線性插值法對由紅外傳感器得到的低分辨率紅外圖像進(jìn)行不少于2倍的上采樣。
3.根據(jù)權(quán)利要求1所述的低分辨率紅外圖像重建高分辨率紅外圖像的方法，其特征在于，步驟(2)采取下述自適應(yīng)邊緣提取算法提取圖像的邊緣: . 1)分別計(jì)算可見光圖像和紅外圖像像素的梯度加權(quán)平均值的最大值；. 2)由得到的梯度加權(quán)平均值的最大值分別計(jì)算可見光圖像和紅外圖像邊緣強(qiáng)度。
4.根據(jù)權(quán)利要求1所述的低分辨率紅外圖像重建高分辨率紅外圖像的方法，其特征在于，步驟(3)中用于對圖像邊緣進(jìn)行相關(guān)性分類的所述相關(guān)系數(shù)采用歸一化互相關(guān)算法來測定。
5.根據(jù)權(quán)利要求4所述的低分辨率紅外圖像重建高分辨率紅外圖像的方法，其特征在于，所述歸一化互相關(guān)算法公式如下:

6.根據(jù)權(quán)利要求5所述的低分辨率紅外圖像重建高分辨率紅外圖像的方法，其特征在于，同場景紅外圖像和可見光圖像的邊緣相關(guān)性判斷條件為:當(dāng)對應(yīng)的紅外圖像和可見光圖像以邊緣像素點(diǎn)為中心的圖像塊相關(guān)系數(shù)S大于Ts，且提取的對應(yīng)圖像塊的邊緣強(qiáng)度T大于?；，兩個(gè)條件同時(shí)滿足，則認(rèn)為兩幅圖像對應(yīng)的邊緣圖像塊相關(guān)，否則不相關(guān)，其中Ts為相關(guān)度常數(shù)，Te為強(qiáng)度常數(shù)。
7.根據(jù)權(quán)利要求6所述的低分辨率紅外圖像重建高分辨率紅外圖像的方法，其特征在于，建立紅外圖像和可見光圖像二次仿射變換關(guān)系模型的條件為:對應(yīng)的紅外圖像和可見光圖像以邊緣像素點(diǎn)為中心的圖像塊相關(guān)系數(shù)大于0.05，且提取的圖像塊的邊緣強(qiáng)度大于.0.05，則對應(yīng)的紅外圖像和可見光圖像的邊緣圖像塊之間進(jìn)行二次仿射變換。
8.根據(jù)權(quán)利要求1所述的低分辨率紅外圖像重建高分辨率紅外圖像的方法，其特征在于，步驟(4)采取下述方法確定紅外圖像的高頻細(xì)節(jié): 1)確定估算平方誤差函數(shù)； 2)根據(jù)平方誤差函數(shù)的近似形式來計(jì)算相關(guān)邊緣二次仿射變換的參數(shù)； 3)由相關(guān)邊緣二次仿射變換的參數(shù)計(jì)算紅外圖像的高頻細(xì)節(jié)。
9.根據(jù)權(quán)利要求8所述的低分辨率紅外圖像重建高分辨率紅外圖像的方法，其特征在于，所述估算平方誤差函數(shù)為:
10.根據(jù)權(quán)利要求1所述的低分辨率紅外圖像重建高分辨率紅外圖像的方法，其特征在于，步驟(5)中所述的多次反向投影迭代過程如下: 1)將估計(jì)值的高頻htl累加到邊緣模糊的高分辨率紅外圖像作為高分辨圖像初始估計(jì)值/ ; 2)模擬低分辨率圖像產(chǎn)生過程:
If =(Dk(hin))*-q)i 式中h(n)為第η次迭代后的高分辨圖像；P為通過h(n)產(chǎn)生的第K幅模擬低分辨率圖像；Dk表示第K幅圖像的運(yùn)動矩陣；丨是下采樣過程；q是前向投影算子，將4°>帶入上式進(jìn)行第一次迭代； 3)迭代生成高分辨率圖像:
【文檔編號】G06T5/50GK103971354SQ201410212397
【公開日】2014年8月6日 申請日期:2014年5月19日 優(yōu)先權(quán)日:2014年5月19日
【發(fā)明者】吳煒, 王美潔, 李智, 蘇冰山, 嚴(yán)斌宇, 楊曉敏 申請人:四川大學(xué)