專(zhuān)利名稱：面陣電荷耦合器件超分辨率成象技術(shù)中的快速算法的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖象成象技術(shù)領(lǐng)域，具體涉及利用對(duì)同一目標(biāo)的有相互位移的多幀圖象進(jìn)行處理得到一幀分辨率更高圖象的面陣電荷耦合器件超分辨率成象技術(shù)的算法。
背景技術(shù)：
面陣電荷耦合器件(簡(jiǎn)稱CCD)超分辨率成象技術(shù)研究具有重要的意義，由于工藝限制，目前以電荷耦合器件為接收器的成象系統(tǒng)分辨率與許多實(shí)際需求總有一定的差距，超分辨率成象系統(tǒng)可利用已有電荷耦合器件獲取高于自身分辨率的圖象，可達(dá)到獲取高分辨率圖象的目的。特別是對(duì)紅外成象系統(tǒng)，由于靈敏度問(wèn)題，紅外電荷耦合器件的像素一般較少，獲取的圖象分辨率較低，而在夜視軍事偵察等領(lǐng)域，提高成象系統(tǒng)分辨率是非常必要的。由于高分辨率電荷耦合器件尤其是紅外高像素電荷耦合器件常用于航天、國(guó)防等領(lǐng)域，國(guó)外對(duì)我國(guó)進(jìn)行出口限制，因此研究利用現(xiàn)有電荷耦合器件獲取更高分辨率圖象的面陣電荷耦合器件超分辨率成象技術(shù)意義重大。
目前，提高電荷耦合器件成象分辨率的方法主要有以下四類(lèi)1.改進(jìn)電荷耦合器件制作工藝，增加電荷耦合器件像素?cái)?shù)。隨著技術(shù)水平的提高，電荷耦合器件器件的像素?cái)?shù)逐年增加，但總是與人們的最高需求有差距；2.多塊電荷耦合器件幾何拼接方法?？捎行г黾酉到y(tǒng)分辨率，但拼接工藝要求很高，系統(tǒng)結(jié)構(gòu)十分復(fù)雜，而且增加了成象鏡頭的設(shè)計(jì)難度，視場(chǎng)角擴(kuò)大，成為一個(gè)超大視場(chǎng)角光學(xué)系統(tǒng)，其鏡頭成象質(zhì)量難以保證。
3.對(duì)電荷耦合器件像元進(jìn)行形狀和排列方式的重新設(shè)計(jì)，采用蜂窩狀排列和多邊形形狀，使得單位面積上能夠放置更多的與傳統(tǒng)電荷耦合器件感光面積相同的感光單元，該技術(shù)工藝上還有難度，而且分辨率提高幅度也有限。
4.基于有相互位移的圖象序列的超分辨率圖象重建。該方法既克服了直接增加感光單元提高電荷耦合器件分辨率所面對(duì)的工藝難題，又能夠充分利用多幅圖象的不同信息達(dá)到獲取更高分辨率圖象。
基于序列圖象的超分辨成象技術(shù)的主要難點(diǎn)集中在兩個(gè)方面①有相對(duì)亞像素級(jí)微位移的序列圖象的獲取方法；②超分辨圖象的重建算法，尤其是可應(yīng)用于工程實(shí)際的快速重建算法。
其中有相對(duì)亞像素級(jí)微位移的序列圖象的獲取方法主要包括利用棱鏡進(jìn)行多路分光法，利用多塊雙折射晶體和偏振片的雙折射法、壓電陶瓷微位移法、微變焦法等。超分辨圖象的重建算法也有多種，如MAP算法、POCS算法、IBP算法、反演解析法等。上述算法各有優(yōu)缺點(diǎn)，但一個(gè)共同的問(wèn)題是算法的計(jì)算量非常大，計(jì)算過(guò)程對(duì)存儲(chǔ)空間的要求也非常大，對(duì)普通PC機(jī)或DSP處理系統(tǒng)等而言，處理起來(lái)非常困難，因此要應(yīng)用于工程實(shí)際還有一定的距離。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題是超分辨率重建算法應(yīng)用于工程實(shí)際中，研制超分辨率成象系統(tǒng)的兩個(gè)關(guān)鍵問(wèn)題重建算法計(jì)算量太大和占用存儲(chǔ)空間太大的問(wèn)題。
本發(fā)明是通過(guò)下面的技術(shù)方案解決上述技術(shù)問(wèn)題的。其特征在于它包括下述步驟1)建立像素級(jí)雙線性插值圖象降質(zhì)模型設(shè)p幀觀察圖象分辨率為m×n，分辨率提高因子為L(zhǎng)，建立包含空間移不變鄰域模糊、加性噪聲、欠采樣等因素的像素級(jí)雙線性插值圖象降質(zhì)模型，觀察圖象中的每一個(gè)像素值為該像素在高分辨率圖象中對(duì)應(yīng)點(diǎn)的一個(gè)領(lǐng)域內(nèi)的像素值的加權(quán)平均，根據(jù)圖象間的配準(zhǔn)關(guān)系，得到觀察圖象中任一像素C，其坐標(biāo)為(k1，l1′)，經(jīng)配準(zhǔn)后在理想圖象X中對(duì)應(yīng)點(diǎn)C′，其坐標(biāo)為(k2′，l2′)，其中k2′＝k2+δk，l2′＝l2+δl，0≤δk，δl＜1，k2，l2為整數(shù)，再由雙線性插值公式Y(jié)k1,l1=(1-δk-δl+δkδl)Xk2,l2′+(δk-δkδl)Xk2+1,l2′]]>+(δl-δkδl)Xk2,l2+1′+(δkδl)Xk2+1,l2+1′]]>其中Xk,l′=Σi=-11Σj=-11hi,jXk+i,l+j]]>k＝k2，k2+1；l＝l2，l2+1合并上兩式得Yk1,l1=Σi=-12Σj=-12hi,j′Xk2+i,l2+j=h′′·×XΩk2,l2]]>2)對(duì)線性方程組Ax＝b其中A＝(a1，a2，Λ，am)T∈Kmn；a1，a2，Λ，am∈Kn；b＝(b1，b2，Λ，bm)T∈Km；x＝(x1，x2，Λ，xn)T∈Kn，K為數(shù)域，包含實(shí)數(shù)域R和復(fù)數(shù)域C采用迭代式
xjk+1=xjk+λkqjΣi=1qjbsi-asiTxk||asi||2asi,j]]>j＝1∶n；0＜λk＜23)將亞像素位移量δk和δl量化到小數(shù)點(diǎn)后一位或兩位，則δk和δl的取值分別有10種或100種取值，組合起來(lái)有100種或10000種取值，對(duì)每一種取值計(jì)算方程組的系數(shù)，得到一張系數(shù)表，將其提前計(jì)算好存儲(chǔ)起來(lái)，迭代求方程組時(shí)計(jì)算出量化后的δk和δl，然后通過(guò)查表得到方程組系數(shù)；4)建立與X維數(shù)相同的權(quán)值矩陣W和修正矩陣ΔX，其中W中每個(gè)元素為對(duì)應(yīng)修正矩陣ΔX中像素點(diǎn)在每次迭代中已被修改的次數(shù)，設(shè)g為迭代次數(shù)，算法步驟為(1)初始值任意，設(shè)為0g＝0，Xg＝0；(2)權(quán)值矩陣和修正矩陣置0矩陣W＝Φ，ΔX＝Φ；(3)對(duì)觀察圖象的每個(gè)像素計(jì)算在理想高分辨率圖象中的對(duì)應(yīng)點(diǎn)坐標(biāo)，從而得到k2、δk、l2、δl，再算出h″、Ωk2，l2，并且ΔXi,j=Wi,jWi,j+1ΔXi,j+1Wi,j+1[Yk1,l1-h′′·×XgΩk2,l2]hi,j′/||h′′(:)||22---i,j∈Ωk2,l2]]>Wi，j＝Wi，j+1i,j∈Ωk2,l2]]>(4)Xg+1＝Xg+λgΔX，g＝g+1上述算法在并行處理環(huán)境中把觀察圖象的像素分為P組，P為并行計(jì)算的路數(shù)，對(duì)每一組都需定義權(quán)值矩陣和修正矩陣，然后對(duì)各組分別處理，得到相應(yīng)的Wi和ΔXl(i＝1∶P)Xk,lg+1=Xk,lg+λgΣi=1P((Wk,ll/Σj=1PWk,lj)ΔXk,li)]]>k＝1∶Lm；l＝1∶Ln本發(fā)明具有下列技術(shù)效果1、建立了像素級(jí)的鄰域雙線性插值圖象降質(zhì)模型，采用四維非稀疏矩陣存儲(chǔ)模型系數(shù)，避免了對(duì)大型稀疏矩陣的處理，可降低一半的存儲(chǔ)空間，大大加快尋址時(shí)間，加快處理速度；2、對(duì)亞像素位移量進(jìn)行量化處理，并將系數(shù)矩陣提前計(jì)算好，計(jì)算過(guò)程中通過(guò)實(shí)時(shí)查表的方式得到系數(shù)矩陣，大大降低了計(jì)算過(guò)程對(duì)存儲(chǔ)空間字節(jié)數(shù)的需求，由G級(jí)降低到K級(jí)。
3、給出了改進(jìn)Cimmino迭代算法，加快了迭代收斂速度，減小計(jì)算量，而且每次只處理其中一行，計(jì)算過(guò)程本身對(duì)內(nèi)存要求也比較低；通過(guò)上述改進(jìn)，使超分辨率重建算法適合PC機(jī)或DSP等嵌入式系統(tǒng)的實(shí)現(xiàn)，為高分辨率面陣電荷耦合器件的超分辨率成象問(wèn)題應(yīng)用于工程實(shí)際，研制超分辨率成象相機(jī)解決了其中的兩個(gè)關(guān)鍵技術(shù)問(wèn)題。


圖1為觀察圖象與理想高分辨率圖象關(guān)系示意圖；圖2為本發(fā)明像素級(jí)成象模型示意圖；圖3為本發(fā)明非相容系統(tǒng)Kaczmarz算法迭代過(guò)程示意圖；圖4為本發(fā)明非相容系統(tǒng)Cimmino算法迭代過(guò)程示意圖；圖5為本發(fā)明與現(xiàn)有技術(shù)Cimmino算法收斂性比較圖；圖6(a)為本發(fā)明算法實(shí)驗(yàn)結(jié)果一之低分辨率圖象序列圖；圖6(b)為本發(fā)明算法實(shí)驗(yàn)結(jié)果一之雙線性插值結(jié)果圖；圖6(c)為本發(fā)明算法實(shí)驗(yàn)結(jié)果一之雙三次方插值結(jié)果圖；圖6(d)為本發(fā)明算法實(shí)驗(yàn)結(jié)果一之經(jīng)2次迭代處理后效果圖；圖7(a)為本發(fā)明算法實(shí)驗(yàn)結(jié)果二之原始分辨率測(cè)試圖象；圖7(b)為本發(fā)明算法實(shí)驗(yàn)結(jié)果二之低分辨率觀察圖象序列；圖7(c)為本發(fā)明算法實(shí)驗(yàn)結(jié)果二之雙線性插值結(jié)果圖；圖7(d)為本發(fā)明算法實(shí)驗(yàn)結(jié)果二之雙三次方插值結(jié)果圖；圖7(e)為本發(fā)明算法處理后效果圖。
具體實(shí)施例方式本發(fā)明是在研究現(xiàn)有技術(shù)的基礎(chǔ)上進(jìn)行改進(jìn)的，它提出了像素級(jí)的鄰域雙線性插值圖象降質(zhì)模型，提出四維系數(shù)矩陣存儲(chǔ)結(jié)構(gòu)，通過(guò)量化亞像素位移量，建立系數(shù)表，將原模型系數(shù)的占用空間由G級(jí)降低到K級(jí)。同時(shí)提出改進(jìn)Cimmino行處理迭代算法，給出實(shí)現(xiàn)空間域超分辨圖象重建的快速算法，不僅使迭代收斂速度快，而且算法本身對(duì)處理系統(tǒng)內(nèi)存的要求也非常低，更加速了算法的計(jì)算速度。對(duì)多CPU組成的并行系統(tǒng)，還給出了并行算法。
下面對(duì)算法步驟做出說(shuō)明。
一、建立像素級(jí)雙線性插值圖象降質(zhì)模型為便于對(duì)比和說(shuō)明的方便，先給出一般的空域圖象降質(zhì)數(shù)學(xué)模型設(shè)p幀觀察圖象分辨率為m×n，分辨率提高因子為L(zhǎng)，設(shè)低分辨率觀察圖象為一幀高分辨率理想圖象經(jīng)模糊、形變、加性噪聲、降采樣后的結(jié)果，并建立圖象離散成象模型為Y＝HX+E(1)其中X為[L2mn×1]矩陣，其值為原理想圖象[Lm×Ln]個(gè)像素點(diǎn)的逐行排列；Y為多幀觀察圖象逐行排列后形成的列向量，維數(shù)為pmn×1，Ek為系統(tǒng)噪聲，維數(shù)與Y相同，H為包含圖象的幾何形變、模糊、降采樣等因素的系數(shù)矩陣，維數(shù)為pmn×L2mn。
當(dāng)噪聲信息未知時(shí)，(1)式一般為大規(guī)模、超定、稀疏線性方程組，而且由于量化誤差、噪聲等因素，方程組往往是不相容的，可以求方程組的最小二乘解作為目標(biāo)高分辨率圖象。
分析(1)式中系數(shù)矩陣的維數(shù)，設(shè)觀察圖象分辨率為1300×1300，幀數(shù)p＝6，當(dāng)L＝2時(shí)H的維數(shù)為10140000×6760000，占用的存儲(chǔ)空間為5.4×1014字節(jié)。即使考慮到H的稀疏性，用稀疏矩陣的結(jié)構(gòu)處理該矩陣，設(shè)退化算子為3×3線性空間移不變鄰域模糊算子，稀疏矩陣占用的空間也超過(guò)2.6×109＝2.6G字節(jié)(稀疏矩陣每元素占16個(gè)字節(jié))，而且由于稀疏矩陣的存儲(chǔ)結(jié)構(gòu)特點(diǎn)，計(jì)算中尋址非常慢，處理起來(lái)比非稀疏矩陣要慢得多，實(shí)踐證明對(duì)稀疏矩陣中元素的操作比對(duì)普通矩陣的操作要慢1個(gè)數(shù)量級(jí)。因此在一般PC機(jī)或嵌入式系統(tǒng)上存儲(chǔ)或計(jì)算都比較困難。
為此建立包含空間移不變鄰域模糊、加性噪聲、欠采樣等因素，像素級(jí)的雙線性插值圖象降質(zhì)模型。如圖1所示，觀察圖象中的每一個(gè)像素值為該像素在高分辨率圖象中對(duì)應(yīng)點(diǎn)的一個(gè)領(lǐng)域內(nèi)的像素值的加權(quán)平均。
設(shè)退化模型為線性空間移不變鄰域模糊算子，設(shè)模糊算子為3×3矩陣h。
圖象之間的幾何關(guān)系可建立為圖象配準(zhǔn)的仿射變換六參數(shù)模型xi′yi′=a1a2b1b2xiyi+a3b3----(2)]]>此模型中的參數(shù)a1，a2，a3，b1，b2，b3為兩圖象的配準(zhǔn)參數(shù)。采用基于光流計(jì)算的金字塔形分層迭代算法計(jì)算出每一幀圖象與參考圖象之間的仿射變換參數(shù)。
如圖2所示，根據(jù)仿射變換關(guān)系，可以得到觀察圖象中任一像素C(設(shè)坐標(biāo)為(k1，l1′))經(jīng)配準(zhǔn)后在理想圖象X中對(duì)應(yīng)點(diǎn)C′，其坐標(biāo)為(k2′，l2′)，其中k′2＝k2+δk，l2′＝l2+δl，0≤δk，δl＜1，k2，l2為整數(shù)。圖中將圖1中高分辨率圖象的每個(gè)像素抽象為一個(gè)點(diǎn)，點(diǎn)旁的序號(hào)為其坐標(biāo)。由雙線性插值公式
Yk1,l1=(1-δk-δl+δkδl)Xk2,l2′+(δk-δkδl)Xk2+1,l2′----(3)]]>+(δl-δkδl)Xk2,l2+1′+(δkδl)Xk2+1,l2+1′]]>其中Xk,l′=Σi=-11Σj=-11hi,jXk+i,l+j]]>k＝k2，k2+1；l＝l2，l2+1 (4)合并上兩式得Yk1,l1=Σi=-12Σj=-12hi,j′Xk2+i,l2+j=h′′·×XΩk2,l2----(5)]]>其中hi，j′在h確定的情況下僅與δk，δl有關(guān)；h″和 為4×4矩陣，Ωk2，l2為式中X的計(jì)算窗口，“·×”符號(hào)表示兩個(gè)同型矩陣對(duì)應(yīng)元素之積的和。
對(duì)觀察圖象中的每一個(gè)像素，都對(duì)應(yīng)這樣的一個(gè)4×4矩陣，這里采用四維矩陣將所有系數(shù)矩陣存儲(chǔ)起來(lái)，矩陣維數(shù)為pm×n×4×4，矩陣的前兩維分別對(duì)應(yīng)觀察圖象中每個(gè)像素點(diǎn)的位置。其占用空間為原模型稀疏存儲(chǔ)方式的一半。
該模型將原來(lái)的大型稀疏方程組分解為一個(gè)個(gè)低維數(shù)的線性方程，充分利用了觀察圖象和高分辨率理想圖象之間的鄰域結(jié)構(gòu)關(guān)系，建立四維系數(shù)矩陣，避免了對(duì)大型稀疏矩陣的存儲(chǔ)和處理，降低了存儲(chǔ)空間，加快了計(jì)算速度。
下面給出求解大型稀疏非相容線性方程組的行處理迭代算法。
二、對(duì)Cimmino行處理迭代算法進(jìn)行改進(jìn)設(shè)線性方程組Ax＝b(6)其中A=(a1,a2,Λ,am)T∈Kmn;]]>a1，a2，Λ，am∈Kn；b＝(b1，b2，Λ，bm)T∈Km；x＝(x1，x2，Λ，xn)T∈KnK為數(shù)域，包含實(shí)數(shù)域R和復(fù)數(shù)域C。
在實(shí)際物理系統(tǒng)中，A往往為系統(tǒng)的模型，b為觀測(cè)數(shù)據(jù)，x為被測(cè)量。由于方程的病態(tài)性、觀察噪聲的存在、巨大的維數(shù)、A無(wú)規(guī)律性結(jié)構(gòu)等因素，(6)式往往為大型非相容稀疏線性方程組，用直接法和常規(guī)迭代法求解比較困難，而行處理方法則適合大規(guī)模(維數(shù)大于105)、稀疏(非0值小于1％)、系數(shù)矩陣不對(duì)稱或其它規(guī)律性結(jié)構(gòu)等情況下的方程組求解問(wèn)題。
目前常用的行處理方法主要有Kaczmarz算法和Cimmino算法。Kaczmarz算法是由任意初始值開(kāi)始，依次向各個(gè)超平面投影，逐次得到下一個(gè)迭代值。算法迭代式為xk+1=xk+λkbi-aiHxk||ai||22ai---i=kmodm+1;0<λk<2;----(7)]]>其中H符號(hào)表示共軛轉(zhuǎn)置，‖·‖2為向量的2范數(shù)，λk為松弛因子，初始值x0可任取。
算法收斂速度快，適合于相容方程組的求解，對(duì)不相容方程組，一般情況下不收斂，在解附近振蕩，如圖3所示，圖中1、2、3分別為3個(gè)超平面。只有當(dāng)松弛因子為足夠小，才能保證收斂，但這時(shí)由于每步迭代修正量太小，收斂速度大大降低。
Cimmino算法是由當(dāng)前迭代值向各個(gè)超平面投影，然后計(jì)算所有投影矢量的平均值作為迭代修正量，適合于不相容方程組，當(dāng)x0∈R(AH)時(shí)，收斂到系統(tǒng)的極小范數(shù)最小二乘解。算法迭代式為xjk+1=xjk+λkmΣi=1mbi-aiHxk||ai||2ai,j---j=1:n;0<λk<2----(8)]]>迭代過(guò)程示意圖如圖4所示，其中λk＝1，設(shè)當(dāng)前迭代值為xk，分別向各超平面作正交投影，設(shè)垂足分別為A1，A2，A3，將三矢量 相加得到 則取xk+1=xk+xkA′→/3,]]>依此類(lèi)推。
分析式(8)，設(shè)λk＝1，每次迭代對(duì)xj的修正量為當(dāng)前點(diǎn)向個(gè)各超平面的投影矢量之和再除以系統(tǒng)行向量的個(gè)數(shù)m。當(dāng)ai，j＝0時(shí)，即當(dāng)前超平面ai與xj無(wú)關(guān)，這時(shí)投影為空，不應(yīng)計(jì)入投影矢量之和的計(jì)算，當(dāng)Cimmino算法未考慮這個(gè)因素。對(duì)稀疏性方程組，由于A的大部分元素為0，實(shí)際有效投影數(shù)量遠(yuǎn)小于取平均時(shí)的基數(shù)m，因此每次迭代修正量遠(yuǎn)小于實(shí)際有效投影矢量的平均值，相當(dāng)于λk被除以一個(gè)很大的數(shù)，故算法收斂速度很慢。
考慮上述因素，提出改進(jìn)Cimmino迭代式為xjk+1=xjk+λkqjΣi=1qjbsi-asiTxk||asi||2asi,j---j=1:n;0<λk<2----(9)]]>其中qj為A中第j列不為0的元素的個(gè)數(shù)；1＜si＜m，為A的第j列中第i個(gè)不為0的元素所在行的行數(shù)。
當(dāng)系統(tǒng)為非稀疏性時(shí)，qj＝m，si＝i，(9)式與(8)式相同。對(duì)稀疏系統(tǒng)，則qj＜m，算法收斂速度明顯加快。算法的實(shí)質(zhì)與Cimmino算法完全相同，因此收斂性也相同。
分析(9)式，不僅求每步迭代修正量時(shí)求平均的基數(shù)與實(shí)際有效投影個(gè)數(shù)相同，而且計(jì)算投影時(shí)只考慮不為0的量，因此對(duì)稀疏系統(tǒng)，計(jì)算量大大減小。另外，由于xj(j＝1∶n)的迭代計(jì)算之間互相獨(dú)立，因此算法可以并行實(shí)現(xiàn)。
當(dāng)然算法也具有行處理算法的共性特點(diǎn)不改變?cè)禂?shù)矩陣；不對(duì)原始系數(shù)矩陣做任何整體操作；每次迭代只需系數(shù)矩陣中的一行；每次迭代只需上次迭代值，與歷史迭代結(jié)果無(wú)關(guān)。
實(shí)驗(yàn)證明，算法對(duì)稀疏方程組的求解收斂速度很快，對(duì)這里涉及的超分辨率圖象重建問(wèn)題，一般只需3～4次迭代即可。
三、超分辨率圖象重建中的快速算法根據(jù)上述算法，結(jié)合前述模型的特點(diǎn)，給出新的實(shí)現(xiàn)圖象超分辨率重建的迭代算法首先建立與目標(biāo)高分辨率圖象X維數(shù)相同的權(quán)值矩陣W和修正矩陣ΔX，其中W中每個(gè)元素為對(duì)應(yīng)修正矩陣ΔX中像素點(diǎn)在每次迭代中已被修改的次數(shù)。設(shè)g為迭代次數(shù)，算法分四步第1步初始值任意，設(shè)為0g＝0，Xg＝0；第2步權(quán)值矩陣和修正矩陣置0矩陣W＝Φ，ΔX＝Φ；第3步對(duì)觀察圖象的每個(gè)像素計(jì)算在理想高分辨率圖象中的對(duì)應(yīng)點(diǎn)坐標(biāo)，從而得到k2、δk、l2、δl，再算出h″、Ωk2，l2，并且ΔXi,j=Wi,jWi,j+1ΔXi,j+1Wi,j+1[Yk1,l1-h′′·×XgΩk2,l2]hi,j′/||h′′(:)||22---i,j∈Ωk2,l2----(10)]]>Wi,j=Wi,j+1---i,j∈Ωk2,l2------(11)]]>第4步Xg+1＝Xg+λgΔX，g＝g+1，若‖ΔX‖＜ε則跳出，否則回到第2步，ε為終止迭代條件數(shù)。
上述算法為串行算法，在并行處理環(huán)境中則要對(duì)算法作適當(dāng)修改，其中在第3步要把觀察圖象的像素分為P組，P為并行計(jì)算的路數(shù)，對(duì)每一組都需定義權(quán)值矩陣和修正矩陣，然后對(duì)各組分別處理，得到相應(yīng)的Wi和ΔXi(i＝1∶P)，再將第4步修正公式改為
Xk,lg+1=Xk,lg+λgΣi=1P((Wk,ll/Σj=1PWk,lj)ΔXk,li)---k=1:Lm;l=1:Ln-----(12)]]>分析(5)式，h″僅于δk、δl和h有關(guān)，其中h是已知的3×3模糊算子矩陣，而亞像素位移量δk、δl是在0和1之間的小數(shù)?？紤]到有相對(duì)亞像素級(jí)微位移的序列圖象的獲取方法中的微位移精度往往是亞像素級(jí)的，即δk和δl的精度只到小數(shù)點(diǎn)后一位，因此對(duì)其進(jìn)行量化，四舍五入到小數(shù)點(diǎn)后一位，則δk和δl的取值分別有10種可能，組合起來(lái)有100種可能取值，對(duì)每一種可能取值計(jì)算方程組的16個(gè)系數(shù)，可以得到一張系數(shù)表，提前計(jì)算好該系數(shù)表并存儲(chǔ)起來(lái)，迭代求方程組時(shí)只要計(jì)算出量化后的δk和δl，就可查表得到方程組系數(shù)。其占用的存儲(chǔ)空間為10×10×16×8＝12800字節(jié)，對(duì)比前述分辨率為1300×1300的例子，不到其稀疏矩陣存儲(chǔ)方式的0.0005％。目前面陣CCD的像素?cái)?shù)已超過(guò)千萬(wàn)像素級(jí)，若處理6幀3000×3000的圖象，則原有方法的稀疏矩陣存儲(chǔ)方式系數(shù)矩陣需要13.8G的存儲(chǔ)空間，而本方法仍僅需12800字節(jié)，不及原來(lái)的萬(wàn)分之0.001。即使當(dāng)微位移精度提高，δk和δl量化到小數(shù)點(diǎn)后2位，也只需要1.28M字節(jié)存儲(chǔ)空間即可。
節(jié)省存儲(chǔ)空間的意義在于使原來(lái)只是在原理上和理論上研究高分辨率面陣CCD的超分辨率成象技術(shù)可以應(yīng)用于工程實(shí)際，使研制超分辨率成象系統(tǒng)成為可能。
需要說(shuō)明的是，在許多CCD超分辨率成象技術(shù)應(yīng)用中，低分辨率序列圖象間的相互位移關(guān)系和系統(tǒng)模糊因子是已知的，或者說(shuō)是先驗(yàn)知識(shí)，因此算法的1，2步可以省略。
實(shí)驗(yàn)結(jié)果圖6和圖7為實(shí)際實(shí)驗(yàn)效果對(duì)比，圖6(a)為10幀觀察圖象序列中的任意4幀圖象；圖6(b)、圖6(c)為對(duì)其中兩幀圖象分別進(jìn)行雙線性插值和雙三次方插值的結(jié)果；圖6(d)為本發(fā)明經(jīng)2次迭代處理后的結(jié)果其中λ＝1.5。圖7(a)為圖象空間分辨率測(cè)試圖原圖，圖7(b)為低分辨率觀察圖象中的任意四幀，圖7(c)、圖7(d)為將其中兩幀經(jīng)雙線性和雙三次插值放大的結(jié)果，圖7(e)為本發(fā)明取松弛因子λk＝2時(shí)第2和第4次迭代之后的結(jié)果。圖5為實(shí)驗(yàn)1中的算法收斂曲線，可見(jiàn)算法的收斂速度比較快，一般經(jīng)3-4次迭代即可，而Cimmino算法的收斂速度非常慢，這是因?yàn)橄禂?shù)矩陣的稀疏因子約為0.018％，遠(yuǎn)小于1。
本發(fā)明中的迭代算法部分也可應(yīng)用于其它類(lèi)似大型稀疏非相容線性方程組的求解問(wèn)題，如醫(yī)學(xué)圖象重建、圖象復(fù)原等。
權(quán)利要求
1.一種面陣電荷耦合器件超分辨率成象技術(shù)中的快速算法，其特征在于它包括下述步驟1)建立像素級(jí)雙線性插值圖象降質(zhì)模型設(shè)p幀觀察圖象分辨率為m×n，分辨率提高因子為L(zhǎng)，建立包含空間移不變鄰域模糊、加性噪聲、欠采樣等因素的像素級(jí)雙線性插值圖象降質(zhì)模型，觀察圖象中的每一個(gè)像素值為該像素在高分辨率圖象中對(duì)應(yīng)點(diǎn)的一個(gè)領(lǐng)域內(nèi)的像素值的加權(quán)平均，根據(jù)圖象間的配準(zhǔn)關(guān)系，得到觀察圖象中任一像素C，其坐標(biāo)為(k1，l′1)，經(jīng)配準(zhǔn)后在理想圖象X中對(duì)應(yīng)點(diǎn)C′，其坐標(biāo)為(k′2，l′2)，其中k′2＝k2+δk，l′2＝l2+δl，0≤δk，δl＜1，k2，l2為整數(shù)，再由雙線性插值公式Y(jié)k1,l1=(1-δk-δl+δkδl)Xk2,l2′+(δk-δkδl)Xk2+1,l2′]]>+(δl-δkδl)Xk2,l2+1′+(δkδl)Xk2+1,l2+1′]]>其中Xk,l′=Σi=-1lΣj=-1lhi,jXk+i,l+j]]>k＝k2，k2+1；l＝l2，l2+1合并上兩式得Yk1,l1=Σi=-12Σj=-12hi,j′Xk2+i,l2+j=h′′·×XΩk2,l2]]>其中h′i，j在h確定的情況下僅與δk，δl有關(guān)；h″和 為4×4矩陣，Ωk2，l2為式中X的計(jì)算窗口，“·×”符號(hào)表示兩個(gè)同型矩陣對(duì)應(yīng)元素之積的和；2)對(duì)線性方程組Ax＝b其中A＝(a1，a2，Λ，am)T∈Kmn；a1，a2，Λ，am∈Kn；b＝(b1，b2，Λ，bm)T∈Km；x＝(x1，x2，Λ，xn)T∈Kn，K為數(shù)域，包含實(shí)數(shù)域R和復(fù)數(shù)域C采用迭代式xjk+1=xjk+λkqjΣi=1qjbsi-asiTxk||asi||2asi,j---j=1:n;0<λk<2]]>其中qj為A中第j列不為0的元素的個(gè)數(shù)；1＜si＜m，為A的第j列中第i個(gè)不為0的元素所在行的行數(shù)；3)將亞像素位移量δk和δl量化到小數(shù)點(diǎn)后一位或兩位，則δk和δl的取值分別有10種或100種取值，組合起來(lái)有100種或10000種取值，對(duì)每一種取值計(jì)算方程組的系數(shù)，得到一張系數(shù)表，將其提前計(jì)算好存儲(chǔ)起來(lái)，迭代求方程組時(shí)計(jì)算出量化后的δk和δl，然后通過(guò)查表得到方程組系數(shù)；4)建立與X維數(shù)相同的權(quán)值矩陣W和修正矩陣ΔX，其中W中每個(gè)元素為對(duì)應(yīng)修正矩陣ΔX中像素點(diǎn)在每次迭代中已被修改的次數(shù)，設(shè)g為迭代次數(shù)，算法步驟為(1)初始值任意，設(shè)為0g＝0，Xg＝0；(2)權(quán)值矩陣和修正矩陣置0矩陣W＝Φ，ΔX＝Φ；(3)對(duì)觀察圖象的每個(gè)像素計(jì)算在理想高分辨率圖象中的對(duì)應(yīng)點(diǎn)坐標(biāo)，從而得到k2、δk、l2、δl，再算出h″、Ωk2，l2，并且ΔXi,j=Wi,jWi,j+1ΔXi,j+1Wi,j+1[Yk1l1-h′′·×XgΩk2,l2]hi,j′/||h′′(:)||22i,j∈Ωk2,l2]]>Wi，j＝Wi，j+1i,j∈Ωk2,l2]]>(4)Xg+1＝Xg+λgΔX，g＝g+1上述算法在并行處理環(huán)境中把觀察圖象的像素分為P組，P為并行計(jì)算的路數(shù)，對(duì)每一組都需定義權(quán)值矩陣和修正矩陣，然后對(duì)各組分別處理，得到相應(yīng)的Wi和ΔXi(i＝1∶P)Xk,lg+l=Xk,lg+λgΣi=1P((Wk,li/Σj=1PWk,lj)ΔXk,li),k=1:Lm;l=1:Ln]]>
全文摘要
一種面陣電荷耦合器件超分辨率成象技術(shù)中的快速算法，本發(fā)明涉及利用對(duì)同一目標(biāo)的有相互位移的多幀圖象進(jìn)行處理得到一幀分辨率更高圖象的面陣電荷耦合器件超分辨率成象技術(shù)領(lǐng)域。其特征在于它建立了像素級(jí)的鄰域雙線性插值圖象降質(zhì)模型，采用四維非稀疏矩陣存儲(chǔ)模型系數(shù)，避免了對(duì)大型稀疏矩陣的存儲(chǔ)和處理；對(duì)亞像素位移量進(jìn)行量化處理，大大降低了計(jì)算過(guò)程對(duì)存儲(chǔ)空間的需求；給出改進(jìn)Cimmino迭代算法，加快了迭代收斂速度，減小計(jì)算量，適合PC機(jī)或DSP等嵌入式系統(tǒng)的實(shí)現(xiàn)，為高分辨率面陣CCD的超分辨率成象問(wèn)題應(yīng)用于工程實(shí)際，研制超分辨率成象系統(tǒng)解決了其中的兩個(gè)關(guān)鍵技術(shù)問(wèn)題。
文檔編號(hào)H01L21/82GK1555097SQ200310110699
公開(kāi)日2004年12月15日 申請(qǐng)日期2003年12月24日 優(yōu)先權(quán)日2003年12月24日
發(fā)明者呂海寶, 羅武勝, 曹聚亮, 周衛(wèi)紅, 楚興春, 李冠章, 譚曉波, 諶廷政, 徐濤 申請(qǐng)人:中國(guó)人民解放軍國(guó)防科學(xué)技術(shù)大學(xué)