本發(fā)明屬于圖像處理
技術(shù)領(lǐng)域：
，涉及一種基于稀疏表示的紅外圖像超分辨率重建方法。
背景技術(shù)：
：紅外成像設(shè)備能夠?qū)⑷搜鄄豢梢姷奈矬w自身的紅外輻射轉(zhuǎn)化為圖像，故紅外成像設(shè)備抗干擾性強(qiáng)、可在夜間和惡劣環(huán)境下工作，在工業(yè)生活等場(chǎng)所監(jiān)控領(lǐng)域取得了廣泛的應(yīng)用。然而由于紅外成像設(shè)備中探測(cè)器陣列的像元數(shù)目有限及像元尺寸的限制，而且易受到紅外衍射的影響，導(dǎo)致紅外圖像分辨率較低，紋理不明顯，遠(yuǎn)不能滿足人眼對(duì)分辨率的要求。因此，提高紅外圖像的分辨率，改善圖像的質(zhì)量，至關(guān)重要?？紤]到從紅外成像設(shè)備的硬件角度提高分辨率成本太高，所以如何在現(xiàn)有硬件條件及當(dāng)前觀測(cè)圖像的基礎(chǔ)上，設(shè)計(jì)出相應(yīng)的算法以提高紅外圖像的分辨率具有非常重要的現(xiàn)實(shí)意義和應(yīng)用價(jià)值。超分辨率重建(srr)技術(shù)就是采用軟件方法由一幅或幾幅低分辨率圖像(lr)恢復(fù)或逼近真實(shí)場(chǎng)景的高分辨率圖像(hr)，并不需要更換原有的紅外成像設(shè)備，是一種經(jīng)濟(jì)、有效的提高圖像分辨率的方法。圖像超分辨率重建是數(shù)學(xué)上典型的病態(tài)逆問題，必須引入附加信息。從附加信息的來源上看，可以將圖像超分辨率重建方法分為三種類型：基于插值的方法、基于重建的方法、基于學(xué)習(xí)的方法。1)基于插值的方法有最近鄰插值、雙線性插值、雙三次插值、樣條插值、核回歸插值等，該方法速度快、易實(shí)現(xiàn)，但由于其本質(zhì)上并不產(chǎn)生丟失的高頻信息，所以在高放大倍數(shù)時(shí)重建結(jié)果嚴(yán)重模糊，處理效果差。2)基于重建的方法主要分為頻域法和空域法。該方法只是針對(duì)圖像像素間的關(guān)系進(jìn)行學(xué)習(xí)，且由于低分辨率圖像包含的信息有限，所以隨著分辨率的提高，算法性能下降較快，無法改變重建效果。3)基于學(xué)習(xí)的方法是針對(duì)更能反映圖像內(nèi)容與人類感知的圖像特征進(jìn)行學(xué)習(xí)，更好地利用了高低分辨率圖像之間的關(guān)系，在不增加輸入圖像數(shù)量的情況下，仍能產(chǎn)生新的高頻細(xì)節(jié)。傳統(tǒng)的基于學(xué)習(xí)的方法對(duì)噪聲敏感，所需樣本數(shù)量太大。而基于稀疏表示的學(xué)習(xí)方法是通過學(xué)習(xí)一個(gè)過完備字典，并求得輸入圖像在該字典上的稀疏表示，運(yùn)算規(guī)模顯著減小。但目前仍然不能有效地獲取符合原始圖像真實(shí)情況的先驗(yàn)知識(shí)，且訓(xùn)練字典效率太低，重建結(jié)果與原始圖像差距仍然較大，成為研究的一個(gè)熱點(diǎn)。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的目的是提供一種基于稀疏表示的紅外圖像超分辨率重建方法，解決了現(xiàn)有技術(shù)中不能有效地獲取符合原始圖像真實(shí)情況的先驗(yàn)知識(shí)，且訓(xùn)練字典效率太低，重建結(jié)果與原始圖像差距較大的問題。本發(fā)明所采用的技術(shù)方案是，一種基于稀疏表示的紅外圖像超分辨率重建方法，按照以下步驟實(shí)施：步驟1、字典的訓(xùn)練字典的訓(xùn)練分為兩個(gè)步驟：1.1)樣本集的提取1.1.1)圖像預(yù)處理：從圖像庫里選取大量結(jié)構(gòu)相似的高分辨率紅外圖像和可見光圖像作為高分辨率紅外圖像訓(xùn)練集；然后依次對(duì)該高分辨率紅外圖像訓(xùn)練集中的每張圖像進(jìn)行3倍下采樣，再將3倍插值放大所得的圖像作為該高分辨率紅外圖像訓(xùn)練集中對(duì)應(yīng)的低分辨率紅外圖像訓(xùn)練集；采用log算子提取低分辨率圖像的細(xì)節(jié)特征作為最終的低分辨率紅外圖像訓(xùn)練集；1.1.2)圖像分塊：依次對(duì)上述的高、低分辨率紅外圖像訓(xùn)練集中的每張圖像從左到右、從上到下進(jìn)行分塊，圖像塊大小為m×m，塊與塊邊緣重疊p個(gè)像素，p＜m/2，則每一個(gè)樣本大小為m2×1，分塊后將高分辨率紅外圖像塊組成的訓(xùn)練集記為yh，對(duì)應(yīng)的低分辨率紅外圖像塊組成的訓(xùn)練集記為yl，采用聯(lián)合字典訓(xùn)練，即將高分辨率紅外圖像塊與對(duì)應(yīng)的低分辨率紅外圖像塊組合成一個(gè)樣本，設(shè)樣本塊總個(gè)數(shù)為n，最終得到組合后的訓(xùn)練集1.2)子字典的訓(xùn)練1.2.1)樣本塊的聚類1.2.2)子字典的訓(xùn)練針對(duì)每一個(gè)子類訓(xùn)練集其中rk表示第k個(gè)子類訓(xùn)練集xk中包含的樣本個(gè)數(shù)，xhk表示第k個(gè)子類訓(xùn)練集xk中的高分辨率訓(xùn)練集，xlk表示第k個(gè)子類訓(xùn)練集xk中的低分辨率訓(xùn)練集，然后由稀疏約束條件，學(xué)習(xí)構(gòu)建子字典dk，建立超完備稀疏表示子字典，其數(shù)學(xué)模型表達(dá)式如式(2)所示：其中，表示第k個(gè)子類訓(xùn)練集xk訓(xùn)練所得的超完備子字典，dhk表示第k個(gè)子類訓(xùn)練集xk訓(xùn)練所得的高分辨率子字典，dlk表示第k個(gè)子類訓(xùn)練集xk訓(xùn)練所得的低分辨率子字典；表示樣本的稀疏系數(shù)；表示第k個(gè)子類訓(xùn)練集xk在子字典dk下的稀疏矩陣，t表示稀疏度，m表示子字典dk的原子個(gè)數(shù)，通常，t＜2m2＜＜m＜rk，即從rk個(gè)樣本中學(xué)習(xí)建立m個(gè)2m2維原子的超完備字典；先用高斯隨機(jī)矩陣初始化子字典dk，利用廣義正交匹配追蹤算法求解稀疏系數(shù)矩陣ak；然后固定ak，用k-svd算法更新子字典dk中的所有原子及稀疏系數(shù)，獲得目標(biāo)子字典得到由n個(gè)子類所對(duì)應(yīng)的全部子字典組合成的最終的目標(biāo)字典dh表示最終由訓(xùn)練集y訓(xùn)練所得的高分辨率字典，dl表示最終由訓(xùn)練集y訓(xùn)練所得的低分辨率字典；步驟2、重建高分辨率圖像。本發(fā)明的有益效果是，該方法采用基于相關(guān)系數(shù)的自適應(yīng)k-means聚類算法將大量的訓(xùn)練樣本集進(jìn)行分類，然后針對(duì)每一個(gè)子類訓(xùn)練一個(gè)對(duì)應(yīng)的高低分辨率字典對(duì)，字典對(duì)的大小則根據(jù)該類所含樣本個(gè)數(shù)自適應(yīng)決定，最終獲得多個(gè)高低分辨率子字典對(duì)，通過計(jì)算待重建的圖像樣本塊與每一個(gè)子類聚類中心的相關(guān)系數(shù)來選擇子字典進(jìn)行重建；該方法在保證紅外圖像超分辨率重建結(jié)果優(yōu)越的同時(shí)，重建速度也有顯著提高，對(duì)圖像處理與顯示的諸多應(yīng)用領(lǐng)域具有重要意義。附圖說明圖1是本發(fā)明方法字典訓(xùn)練的流程圖；圖2是本發(fā)明方法實(shí)施例中訓(xùn)練好的高分辨率字典dh；圖3是本發(fā)明方法實(shí)施例中訓(xùn)練好的低分辨率字典dl；圖4是輸入的待重建的低分辨率電機(jī)紅外圖像；圖5是采用雙三次插值法對(duì)圖4進(jìn)行3倍放大后的高分辨率圖像；圖6是采用本發(fā)明方法對(duì)圖4進(jìn)行3倍放大后的高分辨率圖像。具體實(shí)施方式下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明進(jìn)行詳細(xì)說明。本發(fā)明基于稀疏表示的紅外圖像超分辨率重建方法，按照以下步驟實(shí)施：步驟1、字典的訓(xùn)練參照?qǐng)D1，字典的訓(xùn)練分為兩個(gè)步驟：1.1)樣本集的提取1.1.1)圖像預(yù)處理：從圖像庫里選取大量結(jié)構(gòu)相似的高分辨率紅外圖像和可見光圖像作為高分辨率紅外圖像訓(xùn)練集；然后依次對(duì)該高分辨率紅外圖像訓(xùn)練集中的每張圖像進(jìn)行3倍下采樣，再將3倍插值放大所得的圖像作為該高分辨率紅外圖像訓(xùn)練集中對(duì)應(yīng)的低分辨率紅外圖像訓(xùn)練集；為了更好的與高分辨率圖像對(duì)應(yīng)，采用log算子提取低分辨率圖像的細(xì)節(jié)特征作為最終的低分辨率紅外圖像訓(xùn)練集。1.1.2)圖像分塊：依次對(duì)上述的高、低分辨率紅外圖像訓(xùn)練集中的每張圖像從左到右、從上到下進(jìn)行分塊，圖像塊大小為m×m，塊與塊邊緣重疊p個(gè)像素，p＜m/2，則每一個(gè)樣本大小為m2×1，分塊后將高分辨率紅外圖像塊組成的訓(xùn)練集記為yh，對(duì)應(yīng)的低分辨率紅外圖像塊組成的訓(xùn)練集記為yl，采用聯(lián)合字典訓(xùn)練，即將高分辨率紅外圖像塊與對(duì)應(yīng)的低分辨率紅外圖像塊組合成一個(gè)樣本，設(shè)樣本塊總個(gè)數(shù)為n，最終得到組合后的訓(xùn)練集1.2)子字典的訓(xùn)練1.2.1)樣本塊的聚類采用基于相關(guān)系數(shù)的自適應(yīng)k-means聚類算法，具體步驟如下：a)選擇訓(xùn)練集中的第一個(gè)樣本y1作為本類的聚類中心，第i個(gè)樣本記為yi，i＝2,3,…,n。b)依次計(jì)算第i個(gè)樣本yi與y1的相關(guān)系數(shù)ri1，計(jì)算公式如式(1)所示：其中，y1(j)表示樣本y1的第j個(gè)像素值，yi(j)表示樣本yi的第j個(gè)像素值，表示樣本y1所有像素值的均值，表示樣本yi所有像素值的均值。c)設(shè)ξ為兩個(gè)樣本相關(guān)程度的閾值，若ri1≥ξ，說明樣本yi與y1屬于同一特征空間，此時(shí)，從訓(xùn)練集y中去除yi；否則，在訓(xùn)練集y中保留yi，繼續(xù)搜索下一個(gè)樣本；依次計(jì)算完所有樣本與y1的相關(guān)系數(shù)，根據(jù)閾值判定法得出第一類樣本x1。d)將原來訓(xùn)練集y中已經(jīng)歸為第一類樣本x1的樣本去掉后再作為新的待聚類的樣本，不斷循環(huán)步驟a)-步驟d)，直到循環(huán)結(jié)束，完成分類。e)將分類后子類中所含樣本數(shù)較少(＜m0)的類依次排列組合成一個(gè)新類，該新類的聚類中心為所有子類中所含樣本數(shù)較少的類的聚類中心的平均值；設(shè)將訓(xùn)練集y分為n個(gè)子類，此時(shí)將重新分類后的訓(xùn)練集記為n個(gè)子類的聚類中心為μ＝[μ1,μ2,…μn]，其中，xk表示第k個(gè)子類訓(xùn)練集，k＝1,2,…,n，表示第k個(gè)子類的聚類中心，μhk、μlk分別表示第k個(gè)子類的高、低分辨率聚類中心。1.2.2)子字典的訓(xùn)練針對(duì)每一個(gè)子類訓(xùn)練集其中rk表示第k個(gè)子類訓(xùn)練集xk中包含的樣本個(gè)數(shù)，xhk表示第k個(gè)子類訓(xùn)練集xk中的高分辨率訓(xùn)練集，xlk表示第k個(gè)子類訓(xùn)練集xk中的低分辨率訓(xùn)練集，然后由稀疏約束條件，學(xué)習(xí)構(gòu)建子字典dk，建立超完備稀疏表示子字典，其數(shù)學(xué)模型表達(dá)式如式(2)所示：其中，表示第k個(gè)子類訓(xùn)練集xk訓(xùn)練所得的超完備子字典，dhk表示第k個(gè)子類訓(xùn)練集xk訓(xùn)練所得的高分辨率子字典，dlk表示第k個(gè)子類訓(xùn)練集xk訓(xùn)練所得的低分辨率子字典；表示樣本的稀疏系數(shù)；表示第k個(gè)子類訓(xùn)練集xk在子字典dk下的稀疏矩陣，t表示稀疏度，m表示子字典dk的原子個(gè)數(shù)，通常，t＜2m2＜＜m＜rk，即從rk個(gè)樣本中學(xué)習(xí)建立m個(gè)2m2維原子的超完備字典，字典大小m根據(jù)子類訓(xùn)練集包含的樣本個(gè)數(shù)確定。先用高斯隨機(jī)矩陣初始化子字典dk，利用廣義正交匹配追蹤算法(gomp)求解稀疏系數(shù)矩陣ak；然后固定ak，用k-svd算法更新子字典dk中的所有原子及稀疏系數(shù)，獲得目標(biāo)子字典得到由n個(gè)子類所對(duì)應(yīng)的全部子字典組合成的最終的目標(biāo)字典dh表示最終由訓(xùn)練集y訓(xùn)練所得的高分辨率字典，dl表示最終由訓(xùn)練集y訓(xùn)練所得的低分辨率字典。步驟2、重建高分辨率圖像具體步驟如下：2.1)當(dāng)輸入一幅待重建的低分辨率紅外圖像yl時(shí)，先通過雙三次插值3倍放大后得到紅外圖像yl′，再用log算子提取紅外圖像yl′的細(xì)節(jié)特征yl″；然后采用字典訓(xùn)練階段相同的分塊方法對(duì)其進(jìn)行分塊，最終得到對(duì)應(yīng)的低分辨率樣本集y＝[y1,y2,…ys]，其中的低分辨率樣本分別記為2.2)依次計(jì)算待重建的低分辨率樣本與每個(gè)低分辨率聚類中心μlk的相關(guān)系數(shù)計(jì)算公式如式(3)所示：其中，μlk(j)表示第k個(gè)聚類中心μlk的第j個(gè)像素值，表示低分辨率樣本的第j個(gè)像素值，表示第k個(gè)低分辨率聚類中心μlk所有像素值的均值，表示低分辨率樣本所有像素值的均值。2.3)根據(jù)相關(guān)系數(shù)最大為原則來選擇樣本最適應(yīng)的子字典dlk，在稀疏度取t時(shí)，用廣義正交匹配追蹤算法(gomp)求解稀疏系數(shù)計(jì)算公式如式(4)所示：2.4)結(jié)合對(duì)應(yīng)的高分辨率子字典dhk，重建出樣本所對(duì)應(yīng)的高分辨率圖像塊不斷循環(huán)步驟2.2)-步驟2.4)，直到所有低分辨率樣本y都重建完成。2.5)按照步驟2.1)的分塊方式將重建的高分辨率圖像塊還原回去，塊與塊之間的重疊區(qū)域取重疊區(qū)域像素的平均值，則獲得初步重建好的高分辨率紅外圖像yh′，根據(jù)重建約束條件求解最終的高分辨率紅外圖像yh，計(jì)算公式如式(5)所示：其中s為下采樣算子，h為大小5×5的方差為1的高斯矩陣的模糊算子。采用改進(jìn)的迭代反投影算法求解式(5)的優(yōu)化問題，則轉(zhuǎn)化為式(6)所示：其中，yl表示輸入的低分辨率紅外圖像，yl′表示yl通過雙三次插值3倍放大后的圖像，yht表示第t次迭代獲得的高分辨率紅外圖像，↑s表示放大倍數(shù)，表示卷積運(yùn)算，p表示反投影算子，本步驟中采用了高斯濾波器，求解式(6)，得出最終重建的高分辨率圖像yh＝y(tǒng)ht+1。實(shí)施例先從圖像庫中選取相似結(jié)構(gòu)的紅外圖像和可見光圖像共21張，其中紅外圖像的分辨率為639×480，共15張；可見光圖像的分辨率為490×656，共6張；將上述選取的21張圖像作為高分辨率紅外圖像訓(xùn)練集，然后依次對(duì)這21張圖像進(jìn)行3倍下采樣，再3倍插值放大后用log算子提取其細(xì)節(jié)特征，將所獲得的圖像作為訓(xùn)練集中最終的低分辨率紅外圖像訓(xùn)練集；依次對(duì)高、低分辨率紅外圖像訓(xùn)練集中的每張圖像從左到右、從上到下進(jìn)行圖像塊大小為5×5，塊與塊邊緣重疊1個(gè)像素的分塊，則每一個(gè)樣本大小為25×1；采用聯(lián)合字典訓(xùn)練，即將高分辨率樣本塊與對(duì)應(yīng)的低分辨率樣本塊組合成一個(gè)樣本，則每一個(gè)樣本大小為50×1；本實(shí)施例樣本塊總個(gè)數(shù)為100000個(gè)，將最終的訓(xùn)練集記為利用基于相關(guān)系數(shù)的自適應(yīng)k-means聚類算法將訓(xùn)練集聚類為119個(gè)子類；依次對(duì)119個(gè)子類的訓(xùn)練樣本集用k-svd算法訓(xùn)練得到目標(biāo)子字典，可獲得119個(gè)子字典，將全部子字典組合成最終的目標(biāo)字典dh,dl，分別如圖2、圖3所示。在字典訓(xùn)練的圖像庫之外選取一幅低分辨率紅外圖像，作為輸入的低分辨率圖像，如圖4所示為工業(yè)生產(chǎn)現(xiàn)場(chǎng)的電機(jī)，其分辨率為213×160。利用現(xiàn)有技術(shù)的雙三次插值方法對(duì)圖4按照3倍放大進(jìn)行處理，得到分辨率為639×480的圖像，如圖5所示。另外，重新利用本發(fā)明前述的方法對(duì)圖4按照3倍放大進(jìn)行重建，得到分辨率為639×480的高分辨率圖像，如圖6所示。下表1列出了大小為50×100000的訓(xùn)練集不分類訓(xùn)練512、1024大小的字典所需的時(shí)間以及利用基于相關(guān)系數(shù)的自適應(yīng)k-means聚類算法將同樣大小為50×100000的訓(xùn)練集分類后訓(xùn)練出最終遠(yuǎn)遠(yuǎn)大于1024的字典所需時(shí)間；表1、分類與不分類字典訓(xùn)練時(shí)間對(duì)比，單位：秒/s字典大小512(不分類)1024(不分類)>>1024(分類)訓(xùn)練時(shí)間42472622627573下表2是采用兩種方法(現(xiàn)有技術(shù)的雙三次插值方法及本發(fā)明方法)對(duì)圖4的超分辨率結(jié)果常用的評(píng)價(jià)指標(biāo)mse、psnr和ssim值。表2、兩種方法對(duì)圖4的超分辨率重建的mse、psnr和ssim值對(duì)比評(píng)價(jià)指標(biāo)msepsnr(db)ssim雙三次插值335.106522.87900.9349本發(fā)明方法294.282223.44320.9446結(jié)合表1和表2能夠看出，本發(fā)明方法在保證紅外圖像超分辨率重建結(jié)果優(yōu)越的同時(shí)，重建速度顯著提高。當(dāng)前第1頁12