一種圖像穩(wěn)定的超分辨率成像系統(tǒng)及方法
【專(zhuān)利摘要】本發(fā)明是一種圖像穩(wěn)定的超分辨率成像系統(tǒng)及方法，其包括在被觀測(cè)的目標(biāo)光束的傳播路徑的成像光路方向依次放置成像光學(xué)元件組、擺鏡、分光鏡、成像鏡頭組和成像相機(jī)，超分辨率圖像合成單元的輸入端與成像相機(jī)的輸出端連接，超分辨率圖像合成單元，用于將接收成像相機(jī)傳送的多幅欠采樣圖像合成為超分辨率圖像；在被觀測(cè)的目標(biāo)光束的傳播路徑的探測(cè)光路方向依次放置成像光學(xué)元件組、擺鏡、分光鏡、探測(cè)鏡頭組和探測(cè)相機(jī)，探測(cè)相機(jī)的輸出端與計(jì)算控制單元的輸入端連接，擺鏡驅(qū)動(dòng)器的輸入端與計(jì)算控制單元的輸出端連接，擺鏡驅(qū)動(dòng)器的輸出端與擺鏡的驅(qū)動(dòng)端連接，擺鏡驅(qū)動(dòng)器，用于將計(jì)算控制單元發(fā)送的電壓模擬量放大成擺鏡驅(qū)動(dòng)電壓模擬量輸出到擺鏡。
【專(zhuān)利說(shuō)明】一種圖像穩(wěn)定的超分辨率成像系統(tǒng)及方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于高分辨率成像領(lǐng)域，具體地說(shuō)，它涉及一種圖像穩(wěn)定的超分辨率成像 系統(tǒng)與方法。

【背景技術(shù)】
[0002] 光電成像是人類(lèi)獲取可見(jiàn)光紅外多光譜圖像信息的重要技術(shù)手段，廣泛應(yīng)用于國(guó) 民經(jīng)濟(jì)和國(guó)防建設(shè)的各個(gè)領(lǐng)域。光電成像系統(tǒng)的分辨率一般指圖像通過(guò)系統(tǒng)后可分辨的最 小細(xì)節(jié)，是表征系統(tǒng)探測(cè)能力的重要技術(shù)指標(biāo)，影響該指標(biāo)的因素主要有成像透鏡的孔徑 尺寸和圖像傳感器的幾何參數(shù)等。受物理?xiàng)l件限制，人們獲得圖像的分辨率較低，而這些低 分辨率圖像不能很好地滿足實(shí)際需要，尤其是在航天、遙感、軍事偵察等領(lǐng)域，于是人們希 望利用多幅低分辨率圖像之間存在的像素內(nèi)位移含有原始高分辨率圖像的信息來(lái)重建超 分辨率圖像。
[0003] 目前的超分辨重建技術(shù)包括微掃描和亞像元技術(shù)兩種實(shí)現(xiàn)方式。微掃描可以看作 是一個(gè)過(guò)采樣過(guò)程，它利用微掃描裝置將光學(xué)系統(tǒng)所成的圖像在水平和垂直方向進(jìn)行亞像 素位移，得到多幀欠抽樣圖像，并運(yùn)用數(shù)字圖像處理器將這些圖像按照獲得圖像的方式和 順序進(jìn)行交叉重建成一幀圖像，從而達(dá)到最終實(shí)現(xiàn)提高分辨率的目的。二級(jí)微掃描技術(shù)是 用四幅欠采樣圖像合成一幅高分辨率圖像，如圖1所示，其中1、2、3、4分別表示按二級(jí)微掃 描順序獲得的四幅欠采樣圖像的順序號(hào)，最終合成的高分辨率圖像是這四幅欠采樣圖像像 素融合的結(jié)果，所含的像素增加了四倍。亞像元技術(shù)是通過(guò)把采樣式成像系統(tǒng)常規(guī)焦平面 上的一排探測(cè)器線陣列改成在線陣方向和垂直線陣方向上錯(cuò)位排列若干探測(cè)器線陣列，在 線陣列方向上通過(guò)錯(cuò)位、在垂直線陣方向上通過(guò)提高或不提高時(shí)間采樣頻率的手段來(lái)提高 物方空間分辨率的一種方法?？傮w說(shuō)來(lái)微掃描和亞像元技術(shù)兩種實(shí)現(xiàn)方式都是將相機(jī)連續(xù) 采集到的互相錯(cuò)位不足一個(gè)像元距離的一序列離散圖像，通過(guò)之后的數(shù)字軟件融合技術(shù)合 成為一張高分辨率的圖像。
[0004] 在實(shí)際的航天、遙感、軍事偵察等領(lǐng)域應(yīng)用中，采用陣列排布多個(gè)探測(cè)器的亞像元 技術(shù)實(shí)現(xiàn)超分辨率重建增加了項(xiàng)目的經(jīng)濟(jì)成本，且探測(cè)器與探測(cè)器間隙的存在產(chǎn)生了欠采 樣噪聲，使系統(tǒng)得到的圖像并不能完全再現(xiàn)被觀察的場(chǎng)景。采用微掃描技術(shù)實(shí)現(xiàn)超分辨率 重建可有效地減少了欠采樣噪聲，提高了系統(tǒng)分辨率，改善了成像質(zhì)量。實(shí)現(xiàn)微掃描技術(shù)的 形式多種多樣，按驅(qū)動(dòng)方式的不同大致可以分為電機(jī)驅(qū)動(dòng)和壓電陶瓷驅(qū)動(dòng)兩類(lèi)。這兩類(lèi)微 掃描都是通過(guò)控制光學(xué)系統(tǒng)中的光學(xué)元件轉(zhuǎn)動(dòng)、改變其光學(xué)面的法線方向從而使光學(xué)系統(tǒng) 像面上的被觀測(cè)場(chǎng)景圖像產(chǎn)生微小移動(dòng)。然而不論哪類(lèi)微掃描技術(shù)都不能克服系統(tǒng)平臺(tái)姿 態(tài)控制的殘余抖動(dòng)所導(dǎo)致的探測(cè)器采樣積分時(shí)間內(nèi)的圖像抖動(dòng)，即系統(tǒng)平臺(tái)抖動(dòng)直接影響 微掃描獲得的一系列欠采樣圖像序列的分辨率，進(jìn)而影響被觀測(cè)視場(chǎng)的超分辨重建。


【發(fā)明內(nèi)容】

[0005] (一）要解決的技術(shù)問(wèn)題
[0006] 為提高航天、遙感、軍事偵察等領(lǐng)域的空間光電系統(tǒng)的分辨率，克服系統(tǒng)平臺(tái)姿態(tài) 控制的殘余抖動(dòng)對(duì)單幅欠采樣圖像分辨率的影響，將一系列圖像穩(wěn)定的欠采樣圖像合成為 一幅超分辨率圖像，本發(fā)明提出了一種即可穩(wěn)定單幅圖像又可實(shí)現(xiàn)超分辨率成像的靈活多 用的超分辨率成像系統(tǒng)及方法。
[0007] (二）技術(shù)方案
[0008] 本發(fā)明的第一方面，提供一種圖像穩(wěn)定的超分辨率成像系統(tǒng)，該系統(tǒng)含有成像光 路和探測(cè)光路，所述包括成像光學(xué)元件組、分光鏡、探測(cè)鏡頭組、探測(cè)相機(jī)、計(jì)算控制單元、 擺鏡驅(qū)動(dòng)器、擺鏡、成像鏡頭組、成像相機(jī)、超分辨率圖像合成單元，其中：
[0009] 被觀測(cè)的目標(biāo)光束的第一傳播路徑為在成像光路方向依次放置成像光學(xué)元件組、 擺鏡、分光鏡、成像鏡頭組和成像相機(jī)，超分辨率圖像合成單元的輸入端與成像相機(jī)的輸出 端連接；來(lái)自于被觀測(cè)的目標(biāo)光束入射到成像光學(xué)元件組后再入射到擺鏡，經(jīng)擺鏡反射面 反射后入射到分光鏡，目標(biāo)光束中的一部分光能量經(jīng)分光鏡透射到成像鏡頭組并形成目標(biāo) 像面，成像相機(jī)位于目標(biāo)像面上，成像相機(jī)，用于對(duì)接收的入射光信號(hào)進(jìn)行光電轉(zhuǎn)換形成并 以無(wú)線或有線形式傳輸?shù)亩喾凡蓸訄D像，超分辨率圖像合成單元，用于將接收的多幅欠 采樣圖像合成為超分辨率圖像；
[0010] 被觀測(cè)的目標(biāo)光束的第二傳播路徑為在探測(cè)光路方向依次放置成像光學(xué)元件組、 擺鏡、分光鏡、探測(cè)鏡頭組和探測(cè)相機(jī)，探測(cè)相機(jī)的輸出端與計(jì)算控制單元的輸入端連接， 擺鏡驅(qū)動(dòng)器的輸入端與計(jì)算控制單元的輸出端連接，擺鏡驅(qū)動(dòng)器的輸出端與擺鏡的驅(qū)動(dòng)端 連接，來(lái)自于被觀測(cè)的目標(biāo)光束入射到成像光學(xué)元件組后再入射到擺鏡，經(jīng)擺鏡反射面反 射后入射到分光鏡，目標(biāo)光束中的另一部分光能量經(jīng)分光鏡反射到探測(cè)鏡頭組并形成探測(cè) 像面，探測(cè)相機(jī)位于探測(cè)像面上；入射到探測(cè)相機(jī)上的光信號(hào)經(jīng)光電轉(zhuǎn)換后形成并傳輸探 測(cè)窗口圖像，計(jì)算控制單元將接收的探測(cè)窗口圖像進(jìn)行計(jì)算生成并輸出擺鏡的位置控制電 壓模擬量；擺鏡驅(qū)動(dòng)器，用于將接收的擺鏡的位置控制電壓模擬量放大成擺鏡驅(qū)動(dòng)電壓模 擬量輸出到擺鏡。
[0011] 本發(fā)明的第二方面，提供一種圖像穩(wěn)定的超分辨率成像方法，該方法采用本發(fā)明 圖像穩(wěn)定的超分辨率成像系統(tǒng)實(shí)現(xiàn)的步驟如下：
[0012] 步驟Sl :對(duì)圖像穩(wěn)像的超分辨率系統(tǒng)初始化，進(jìn)入圖像穩(wěn)定超分辨率成像工作模 式；
[0013] 步驟S2 :探測(cè)相機(jī)對(duì)目標(biāo)場(chǎng)景成像，獲得探測(cè)窗口圖像；
[0014] 步驟S3 :計(jì)算控制單元存儲(chǔ)第一次獲得的探測(cè)窗口圖像作為參考圖像，并對(duì)當(dāng)前 探測(cè)窗口圖像與參考圖像進(jìn)行互相關(guān)函數(shù)計(jì)算得到相關(guān)峰值的位置，即得到探測(cè)窗口圖像 在探測(cè)像面上的偏移量，再根據(jù)探測(cè)光路與成像光路之間的幾何光學(xué)關(guān)系，獲得目標(biāo)像面 圖像偏移量；計(jì)算目標(biāo)像面圖像偏移量與目標(biāo)像面圖像偏移量的設(shè)定值之間的偏差；
[0015] 步驟S4:計(jì)算控制單元再將目標(biāo)像面圖像偏移量偏差轉(zhuǎn)換為成像光路中擺鏡轉(zhuǎn) 動(dòng)的位置控制量；
[0016] 步驟S5 :擺鏡驅(qū)動(dòng)器根據(jù)位置控制量驅(qū)動(dòng)成像光路中的擺鏡偏轉(zhuǎn)；重復(fù)步驟S2? 步驟S4,直至成像相機(jī)完成一次圖像穩(wěn)定的欠采樣圖像成像；
[0017] 步驟S6 :判斷成像相機(jī)是否完成所有欠采樣圖像成像，如果沒(méi)有完成所有欠采樣 圖像成像，則執(zhí)行步驟S7,如果已經(jīng)完成所有欠采樣圖像成像，則執(zhí)行步驟S8 ;
[0018] 步驟S7 :設(shè)置下一次成像相機(jī)成像時(shí)的目標(biāo)像面圖像偏移量的設(shè)定值，執(zhí)行步驟 S2 ；
[0019] 步驟S8 :超分辨率圖像合成單元對(duì)得到的多幅欠采樣圖像進(jìn)行圖像配準(zhǔn)，計(jì)算欠 采樣圖像之間的偏移量；
[0020] 步驟S9 :超分辨率圖像合成單元根據(jù)欠采樣圖像之間的偏移量，采用圖像融合復(fù) 原方法由多幅欠采樣圖像得到一幅目標(biāo)的超分辨率圖像。
[0021] (三）有益效果
[0022] 本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)如下：
[0023] (1)本發(fā)明得到的超分辨率圖像比現(xiàn)有技術(shù)得到的超分辨率圖像的分辨率更高。 本發(fā)明在現(xiàn)有的成像光學(xué)裝置中增加了探測(cè)相機(jī)、計(jì)算控制單元、擺鏡驅(qū)動(dòng)器和能動(dòng)可控 的擺鏡，通過(guò)他們的實(shí)時(shí)探測(cè)與校正避免了系統(tǒng)平臺(tái)姿態(tài)控制殘余抖動(dòng)對(duì)單幅欠采樣圖像 分辨率的影響，保證了超分辨成像中單幅欠采樣圖像的分辨率，進(jìn)而保證最終得到的超分 辨率圖像是多幅穩(wěn)定的欠采樣圖像的合成結(jié)果，這是現(xiàn)有超分辨率成像系統(tǒng)無(wú)法達(dá)到的。
[0024] (2)本發(fā)明較現(xiàn)有技術(shù)更靈活多用。本發(fā)明系統(tǒng)可以有四種工作模式：一是不進(jìn) 行圖像穩(wěn)定超分辨率成像工作，此時(shí)本發(fā)明系統(tǒng)中的擺鏡靜止不動(dòng)，與現(xiàn)有的成像光學(xué)裝 置的成像方式相同，等同于現(xiàn)有的成像光學(xué)裝置；二是圖像穩(wěn)定的成像工作，此時(shí)本發(fā)明系 統(tǒng)中的擺鏡僅實(shí)時(shí)校正成像相機(jī)積分時(shí)間內(nèi)的光軸抖動(dòng)，所述系統(tǒng)獲得的單幅圖像的圖像 分辨率較傳統(tǒng)成像系統(tǒng)圖像分辨率高；三是超分辨率成像工作，此時(shí)本發(fā)明中的擺鏡僅作 為微掃描超分辨率重建技術(shù)獲得多幅欠采樣圖像的微掃描裝置，不再進(jìn)行光軸抖動(dòng)的實(shí)時(shí) 校正，等同于傳統(tǒng)的微掃描超分辨率成像裝置；四是圖像穩(wěn)定的超分辨率成像工作，此時(shí)本 發(fā)明中的擺鏡既是實(shí)時(shí)校正成像光路光軸抖動(dòng)的校正裝置又是微掃描超分辨率重建技術(shù) 獲得多幅欠采樣圖像的微掃描裝置，使目標(biāo)像面上的圖像產(chǎn)生亞像元偏移。所述系統(tǒng)獲得 的超分辨率圖像的分辨率較圖5示出現(xiàn)有技術(shù)獲得的圖像的分辨率高。上述四種工作模式 可由計(jì)算控制單元的軟件控制，切換靈活、易于實(shí)現(xiàn)。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0025] 圖1為超分辨率成像二級(jí)微掃描概念圖；
[0026] 圖2為本發(fā)明系統(tǒng)的組成框圖；
[0027] 圖3為本發(fā)明方法的流程圖；
[0028] 圖4為本發(fā)明的欠采樣圖像獲取順序圖；
[0029] 圖5為現(xiàn)有技術(shù)成像系統(tǒng)獲得的圖像。
[0030] 圖6為本發(fā)明實(shí)施例得到的四幅欠采樣圖像。
[0031] 圖7為本發(fā)明實(shí)施例得到的超分辨率圖像。

【具體實(shí)施方式】
[0032] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照 附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。
[0033] 超分辨率（Super-Resolution)即通過(guò)硬件或軟件的方法提高原有圖像的分辨 率。超分辨率成像就是利用能動(dòng)可控元件使相機(jī)連續(xù)采集到互相錯(cuò)位不足一個(gè)像元距離的 一序列離散圖像，通過(guò)圖像融合復(fù)原方法對(duì)這一系列離散圖像重建，輸出一幅高分辨率的 圖像。
[0034] 請(qǐng)參閱圖2示出的本發(fā)明圖像穩(wěn)定的超分辨率成像系統(tǒng)，含有成像光路和探測(cè)光 路，所述成像光路和探測(cè)光路包括：成像光學(xué)元件組10、分光鏡11、探測(cè)鏡頭組12、探測(cè)相 機(jī)13、計(jì)算控制單元14、擺鏡驅(qū)動(dòng)器15、擺鏡16、成像鏡頭組17、成像相機(jī)18和超分辨率圖 像合成單元19,其中：
[0035] 被觀測(cè)的目標(biāo)光束的第一傳播路徑為在成像光路方向依次放置成像光學(xué)元件組 11、擺鏡16、分光鏡11、成像鏡頭組17和成像相機(jī)18,超分辨率圖像合成單元19的輸入端 與成像相機(jī)18的輸出端連接；來(lái)自于被觀測(cè)的目標(biāo)光束入射到成像光學(xué)元件組11后再入 射到擺鏡16,經(jīng)擺鏡16的反射面反射后入射到分光鏡11，目標(biāo)光束中的一部分光能量經(jīng)分 光鏡11透射到成像鏡頭組17并形成目標(biāo)像面，成像相機(jī)18位于目標(biāo)像面上，成像相機(jī)18， 用于對(duì)接收的入射光信號(hào)進(jìn)行光電轉(zhuǎn)換形成并以無(wú)線或有線形式傳輸?shù)亩喾凡蓸訄D像， 超分辨率圖像合成單元19,用于將接收的多幅欠采樣圖像合成為超分辨率圖像；
[0036] 被觀測(cè)的目標(biāo)光束的第二傳播路徑為在探測(cè)光路方向依次放置成像光學(xué)元件組 10、擺鏡16、分光鏡11、探測(cè)鏡頭組12和探測(cè)相機(jī)13,探測(cè)相機(jī)13的輸出端與計(jì)算控制單 元14的輸入端連接，擺鏡驅(qū)動(dòng)器15的輸入端與計(jì)算控制單元14的輸出端連接，擺鏡驅(qū)動(dòng) 器15的輸出端與擺鏡16的驅(qū)動(dòng)端連接，來(lái)自于被觀測(cè)的目標(biāo)光束入射到成像光學(xué)元件組 10后再入射到擺鏡16,經(jīng)擺鏡16的反射面反射后入射到分光鏡11，目標(biāo)光束中的另一部 分光能量經(jīng)分光鏡11反射到探測(cè)鏡頭組12并形成探測(cè)像面，探測(cè)相機(jī)13位于探測(cè)像面 上；入射到探測(cè)相機(jī)13上的光信號(hào)經(jīng)光電轉(zhuǎn)換后形成并傳輸探測(cè)窗口圖像，計(jì)算控制單元 14將接收的探測(cè)窗口圖像進(jìn)行計(jì)算生成并輸出擺鏡16的位置控制電壓模擬量；擺鏡驅(qū)動(dòng) 器15,用于將接收到擺鏡16的位置控制電壓模擬量放大成擺鏡驅(qū)動(dòng)電壓模擬量后經(jīng)高壓 電纜輸出到擺鏡16。
[0037] 當(dāng)本發(fā)明提出的系統(tǒng)進(jìn)行圖像穩(wěn)定的超分辨率成像時(shí)，探測(cè)相機(jī)13采集的被觀 測(cè)目標(biāo)的探測(cè)窗口圖像，計(jì)算控制單元14通過(guò)探測(cè)窗口圖像計(jì)算得到目標(biāo)像面上圖像運(yùn) 動(dòng)的方向和大小，用伺服控制算法得到擺鏡16實(shí)際的控制量，由擺鏡驅(qū)動(dòng)器15驅(qū)動(dòng)擺鏡16 偏轉(zhuǎn)，使經(jīng)擺鏡16的鏡面反射的成像光路光線不發(fā)生偏轉(zhuǎn)，此時(shí)擺鏡僅實(shí)時(shí)校正成像相機(jī) 積分時(shí)間內(nèi)的光軸抖動(dòng)，用于提高單幅圖像的圖像分辨率，從而達(dá)到在成像相機(jī)18的積分 時(shí)間內(nèi)穩(wěn)定圖像的目的，使成像相機(jī)18獲得一幅穩(wěn)定的欠采樣圖像。計(jì)算控制單元14再 根據(jù)微掃描超分辨率重建所需的欠采樣圖像獲取順序和相應(yīng)的目標(biāo)像面圖像偏移量設(shè)定 值，控制驅(qū)動(dòng)擺鏡16偏轉(zhuǎn)固定角度，并在下一次欠采樣圖像積分曝光時(shí)間內(nèi)實(shí)時(shí)校正目標(biāo) 像面圖像晃動(dòng)，保證獲得穩(wěn)定的欠采樣圖像，并與上一次獲得的欠采樣圖像具有預(yù)先設(shè)定 的偏移量，從而獲得多幅欠采樣圖像，再將所有欠采樣圖像合成為一幅超分辨率圖像。
[0038] 成像光學(xué)元件組10,本發(fā)明實(shí)例的光學(xué)系統(tǒng)采用經(jīng)典的卡塞格林（Cassegrain) 望遠(yuǎn)鏡系統(tǒng)，所以成像光學(xué)元件組包括一個(gè)面形為旋轉(zhuǎn)拋物面的主鏡和一個(gè)面形為旋轉(zhuǎn)雙 曲面的副鏡；
[0039] 分光鏡11，采用一個(gè)半反半透鏡；
[0040] 探測(cè)鏡頭組12,采用一個(gè)雙膠合透鏡，使探測(cè)光路焦距為F探；
[0041] 探測(cè)相機(jī)13,用于穩(wěn)定目標(biāo)像面圖像時(shí)的探測(cè)視場(chǎng)成像，采用高速CM0S(互補(bǔ)金 屬氧化物半導(dǎo)體）相機(jī)或CCD (電荷耦合元件）相機(jī)，探測(cè)相機(jī)13分辨率為64X64像素， 輸出幀頻在2000幀/秒以上，像元尺寸為32微米，探測(cè)相機(jī)13將探測(cè)到的數(shù)字圖像信號(hào) 傳輸?shù)接?jì)算控制單元14,并接收來(lái)自計(jì)算控制單元14的探測(cè)相機(jī)13控制指令；
[0042] 計(jì)算控制單元14是由現(xiàn)場(chǎng)可編程邏輯門(mén)陣列（FPGA)和數(shù)據(jù)處理器（DSP)實(shí)現(xiàn)的 自制產(chǎn)品。計(jì)算控制單元14分別與探測(cè)相機(jī)13和擺鏡驅(qū)動(dòng)器15連接，用于接收探測(cè)相機(jī) 13輸出的探測(cè)視場(chǎng)圖像，對(duì)探測(cè)視場(chǎng)圖像進(jìn)行相關(guān)計(jì)算得到探測(cè)像面上圖像的運(yùn)動(dòng)量，進(jìn) 而得到擺鏡16的位置控制數(shù)字量，并轉(zhuǎn)換成擺鏡16位置控制電壓模擬量輸出到擺鏡驅(qū)動(dòng) 器15 ;
[0043] 擺鏡驅(qū)動(dòng)器15,將計(jì)算控制單元14輸出的擺鏡位置控制電壓模擬量放大為擺鏡 驅(qū)動(dòng)電壓模擬量輸出到擺鏡16,采用市場(chǎng)上供應(yīng)的擺鏡驅(qū)動(dòng)器；
[0044] 擺鏡16,由擺鏡驅(qū)動(dòng)器15輸出的擺鏡驅(qū)動(dòng)電壓模擬量驅(qū)動(dòng)偏轉(zhuǎn)，即可減小成像光 路光軸抖動(dòng)以穩(wěn)定目標(biāo)像面圖像，又可實(shí)現(xiàn)超分辨率成像時(shí)給定角度的偏轉(zhuǎn)，采用市場(chǎng)上 供應(yīng)的擺鏡平臺(tái)，擺鏡16鏡片為自研產(chǎn)品，口徑由成像光路光學(xué)設(shè)計(jì)決定；
[0045] 成像鏡頭組17,采用一個(gè)雙膠合透鏡，使成像光路焦距為F成；
[0046] 成像相機(jī)18,用于獲得圖像穩(wěn)定的目標(biāo)欠采樣圖像，采用高速CMOS相機(jī)或CCD相 機(jī)，成像相機(jī)18的分辨率為1024X 1024像素，輸出幀頻在3-10幀/秒，像元尺寸為14微 米，成像相機(jī)18將目標(biāo)欠采樣圖像信號(hào)傳輸?shù)匠直媛蕡D像合成單元19,成像相機(jī)18將探 測(cè)穩(wěn)像控制指令傳輸?shù)接?jì)算控制單元14,并接收來(lái)自計(jì)算控制單元14的成像相機(jī)18曝光 控制指令；
[0047] 超分辨率圖像合成單元19采用Windows操作系統(tǒng)的商業(yè)計(jì)算機(jī)，超分辨率圖像合 成單元19與成像相機(jī)18相連，用于對(duì)成像相機(jī)18獲得的多幅欠采樣圖像進(jìn)行圖像配準(zhǔn)與 數(shù)據(jù)融合，得到目標(biāo)的超分辨率圖像。
[0048] 請(qǐng)參閱圖3示出的應(yīng)用本發(fā)明所述成像系統(tǒng)進(jìn)行超分辨率成像的方法包括以下 步驟：
[0049] 步驟Sl :啟動(dòng)成像相機(jī)18的圖像穩(wěn)定控制組件，包括：探測(cè)相機(jī)13、計(jì)算控制單 元14、擺鏡驅(qū)動(dòng)器15和擺鏡16,由超分辨率圖像合成單元19傳輸圖像穩(wěn)定超分辨率成像 電子啟動(dòng)信號(hào)到計(jì)算控制單元14,使圖像穩(wěn)定的超分辨率成像系統(tǒng)進(jìn)入圖像穩(wěn)定超分辨率 成像工作模式。
[0050] 本發(fā)明中的圖像穩(wěn)定的超分辨率成像系統(tǒng)采用了超分辨重建技術(shù)中的微掃描概 念，以擺鏡16作為獲得多幅欠采樣圖像的微掃描裝置，計(jì)算控制單元14根據(jù)微掃描順序設(shè) 置成像相機(jī)18的欠采樣圖像曝光時(shí)的目標(biāo)像面圖像偏移量設(shè)定值，控制擺鏡16在各欠采 樣圖像成像時(shí)保持目標(biāo)像面圖像穩(wěn)定在偏移量設(shè)定值附近。以k表示成像相機(jī)18的欠采 樣圖像成像次數(shù)，第k次成像相機(jī)18的欠采樣圖像成像時(shí)的目標(biāo)像面圖像偏移量設(shè)定值表 示為x0k，y0k。本實(shí)施例采用的二級(jí)、三級(jí)和四級(jí)微掃描順序如圖4所示，各次成像相機(jī)18 的欠采樣圖像成像時(shí)的目標(biāo)像面圖像偏移量設(shè)定值見(jiàn)圖4中的""中的坐標(biāo)值。以二級(jí) 微掃描為例，順時(shí)針掃描獲得四幅欠采樣圖像，四次欠采樣圖像成像時(shí)的目標(biāo)像面圖像偏 移量設(shè)定值分別為=XO1 = 0, y〇i = 0、x02 = 1/2, y02 = 0、x03 = 1/2, y03 = 1/2、x04 = 0， y04 = 1/2〇
[0051] 步驟S2 :探測(cè)相機(jī)13的幀頻為fhigh，單位為幀每秒，1000 < fhigh < 10000 ;接收目 標(biāo)場(chǎng)景的光信號(hào)，經(jīng)光電轉(zhuǎn)換和模擬數(shù)字轉(zhuǎn)換后輸出目標(biāo)場(chǎng)景探測(cè)窗口數(shù)字圖像W，以下簡(jiǎn) 稱(chēng)為探測(cè)窗口圖像W。探測(cè)窗口圖像W長(zhǎng)度和寬度均為P個(gè)像素。
[0052] 步驟S3 :計(jì)算控制單元14接收來(lái)自探測(cè)相機(jī)13的探測(cè)窗口圖像，存儲(chǔ)第一次獲 得的探測(cè)窗口圖像作為參考圖像，并對(duì)當(dāng)前探測(cè)窗口圖像與參考圖像進(jìn)行互相關(guān)函數(shù)計(jì) 算，得到相關(guān)峰值的位置即探測(cè)窗口圖像在探測(cè)像面上的偏移量，再根據(jù)探測(cè)光路與成像 光路之間的幾何光學(xué)關(guān)系，獲得目標(biāo)像面圖像偏移量，計(jì)算目標(biāo)像面圖像偏移量與目標(biāo)像 面圖像偏移量的設(shè)定值之間的偏差；
[0053] 計(jì)算控制單元14接收來(lái)自探測(cè)相機(jī)13的探測(cè)窗口圖像，以t表示接收探測(cè)窗口 圖像的次數(shù)，第t次接收稱(chēng)為當(dāng)前接收。計(jì)算控制單元14的內(nèi)部存儲(chǔ)區(qū)存儲(chǔ)第一次接收的 探測(cè)窗口圖像作為參考圖像，表示為R，以當(dāng)前接收的探測(cè)窗口圖像作活動(dòng)圖像，表示為L(zhǎng)。 計(jì)算活動(dòng)圖像與參考圖像的互相關(guān)函數(shù)C (x，y)，見(jiàn)公式1，x，y是互相關(guān)函數(shù)C (x，y)的坐 標(biāo)變量。
[0054] C (x，y) = IFFT [FFT(R) XFFT* (L)] (1)
[0055] 公式1中FFT、IFFT分別表示正、逆快速傅里葉變換，*號(hào)表示傅里葉變換的復(fù)共 軛，X號(hào)表示矩陣叉乘。
[0056] 找出相關(guān)函數(shù)C(x, y)最大值所在位置的坐標(biāo)（xmax, ymax)，xmax, ymax是坐標(biāo)（xmax， y_)的坐標(biāo)點(diǎn)，是個(gè)常量。以相關(guān)函數(shù)C(x，y)最大值的位置為中心，用相關(guān)函數(shù)C(x，y)最 大值周?chē)?X3矩陣區(qū)域的相關(guān)函數(shù)值進(jìn)行曲面擬合，擬合得到的曲面最大值為相關(guān)峰 值Cmax，相關(guān)峰值Cmax的位置為探測(cè)窗口圖像的偏移量6x s，Sys，單位為探測(cè)相機(jī)13像 元，計(jì)算公式見(jiàn)公式2。所有探測(cè)窗口圖像的相關(guān)峰值都保存在計(jì)算控制單元14的存儲(chǔ)區(qū) 內(nèi)以備后續(xù)使用。
[0057]

【權(quán)利要求】
1. 一種圖像穩(wěn)定的超分辨率成像系統(tǒng)，其特征在于，該系統(tǒng)含有成像光路和探測(cè)光路， 所述成像光路和探測(cè)光路包括成像光學(xué)元件組、分光鏡、探測(cè)鏡頭組、探測(cè)相機(jī)、計(jì)算控制 單元、擺鏡驅(qū)動(dòng)器、擺鏡、成像鏡頭組、成像相機(jī)、超分辨率圖像合成單元，其中： 被觀測(cè)的目標(biāo)光束的第一傳播路徑為在成像光路方向依次放置成像光學(xué)元件組、擺 鏡、分光鏡、成像鏡頭組和成像相機(jī)，超分辨率圖像合成單元的輸入端與成像相機(jī)的輸出端 連接；來(lái)自于被觀測(cè)的目標(biāo)光束入射到成像光學(xué)元件組后再入射到擺鏡，經(jīng)擺鏡反射面反 射后入射到分光鏡，目標(biāo)光束中的一部分光能量經(jīng)分光鏡透射到成像鏡頭組并形成目標(biāo)像 面，成像相機(jī)位于目標(biāo)像面上，成像相機(jī)，用于對(duì)接收的入射光信號(hào)進(jìn)行光電轉(zhuǎn)換形成并以 無(wú)線或有線形式傳輸?shù)亩喾凡蓸訄D像，超分辨率圖像合成單元，用于將接收的多幅欠采 樣圖像合成為超分辨率圖像； 被觀測(cè)的目標(biāo)光束的第二傳播路徑為在探測(cè)光路方向依次放置成像光學(xué)元件組、擺 鏡、分光鏡、探測(cè)鏡頭組和探測(cè)相機(jī)，探測(cè)相機(jī)的輸出端與計(jì)算控制單元的輸入端連接，擺 鏡驅(qū)動(dòng)器的輸入端與計(jì)算控制單元的輸出端連接，擺鏡驅(qū)動(dòng)器的輸出端與擺鏡的驅(qū)動(dòng)端連 接，來(lái)自于被觀測(cè)的目標(biāo)光束入射到成像光學(xué)元件組后再入射到擺鏡，經(jīng)擺鏡反射面反射 后入射到分光鏡，目標(biāo)光束中的另一部分光能量經(jīng)分光鏡反射到探測(cè)鏡頭組并形成探測(cè)像 面，探測(cè)相機(jī)位于探測(cè)像面上；入射到探測(cè)相機(jī)上的光信號(hào)經(jīng)光電轉(zhuǎn)換后形成并傳輸探測(cè) 窗口圖像，計(jì)算控制單元將接收的探測(cè)窗口圖像進(jìn)行計(jì)算生成并輸出擺鏡的位置控制電壓 模擬量；擺鏡驅(qū)動(dòng)器，用于將接收的擺鏡的位置控制電壓模擬量放大成擺鏡驅(qū)動(dòng)電壓模擬 量輸出到擺鏡。
2. 根據(jù)權(quán)利要求1所述圖像穩(wěn)定的超分辨率成像系統(tǒng)，其特征在于，所述系統(tǒng)進(jìn)行圖 像穩(wěn)定的超分辨率成像時(shí)，探測(cè)相機(jī)采集被觀測(cè)目標(biāo)的探測(cè)窗口圖像，計(jì)算控制單元通過(guò) 探測(cè)窗口圖像計(jì)算得到目標(biāo)像面圖像運(yùn)動(dòng)的方向和大小，用伺服控制算法得到擺鏡實(shí)際的 控制量，由擺鏡驅(qū)動(dòng)器驅(qū)動(dòng)擺鏡偏轉(zhuǎn)，使經(jīng)擺鏡的鏡面反射的成像光路光線不發(fā)生偏轉(zhuǎn)，此 時(shí)擺鏡僅實(shí)時(shí)校正成像相機(jī)積分時(shí)間內(nèi)的光軸抖動(dòng)，用于提高單幅欠采樣圖像的圖像分辨 率，從而達(dá)到在成像相機(jī)的積分時(shí)間內(nèi)穩(wěn)定圖像的目的，使成像相機(jī)獲得一幅穩(wěn)定的欠采 樣圖像。
3. 根據(jù)權(quán)利要求2所述圖像穩(wěn)定的超分辨率成像系統(tǒng)，其特征在于，所述計(jì)算控制單 元存儲(chǔ)第一次獲得的探測(cè)窗口圖像作為參考圖像，并對(duì)當(dāng)前探測(cè)窗口圖像與參考圖像進(jìn)行 互相關(guān)函數(shù)計(jì)算得到相關(guān)峰值的位置，即得到探測(cè)窗口圖像在探測(cè)像面上的偏移量，再根 據(jù)探測(cè)光路與成像光路之間的幾何光學(xué)關(guān)系，獲得目標(biāo)像面圖像偏移量；計(jì)算目標(biāo)像面偏 移量與目標(biāo)像面圖像偏移量的設(shè)定值之間的偏差。
4. 根據(jù)權(quán)利要求3所述圖像穩(wěn)定的超分辨率成像系統(tǒng)，其特征在于，所述計(jì)算控制單 元根據(jù)微掃描超分辨率重建所需的欠采樣圖像獲取順序和相應(yīng)的目標(biāo)像面圖像偏移量設(shè) 定值，控制驅(qū)動(dòng)擺鏡偏轉(zhuǎn)固定角度，并在下一次欠采樣圖像積分曝光時(shí)間內(nèi)實(shí)時(shí)校正目標(biāo) 像面圖像晃動(dòng)，保證獲得穩(wěn)定的欠采樣圖像，并與上一次獲得的欠采樣圖像具有預(yù)先設(shè)定 的偏移量，從而獲得多幅欠采樣圖像，再將所有欠采樣圖像合成為一幅超分辨率圖像。
5. -種使用權(quán)利要求1-4所述圖像穩(wěn)定的超分辨率成像系統(tǒng)，實(shí)現(xiàn)圖像穩(wěn)定的超分辨 率成像方法的步驟如下： 步驟S1 :對(duì)圖像穩(wěn)像的超分辨率系統(tǒng)初始化，進(jìn)入圖像穩(wěn)定超分辨率成像工作模式； 步驟S2 :探測(cè)相機(jī)對(duì)目標(biāo)場(chǎng)景成像，獲得探測(cè)窗口圖像； 步驟S3 :計(jì)算控制單元存儲(chǔ)第一次獲得的探測(cè)窗口圖像作為參考圖像，并對(duì)當(dāng)前探測(cè) 窗口圖像與參考圖像進(jìn)行互相關(guān)函數(shù)計(jì)算得到相關(guān)峰值的位置，即得到探測(cè)窗口圖像在探 測(cè)像面上的偏移量，再根據(jù)探測(cè)光路與成像光路之間的幾何光學(xué)關(guān)系，獲得目標(biāo)像面圖像 偏移量；計(jì)算目標(biāo)像面圖像偏移量與目標(biāo)像面圖像偏移量的設(shè)定值之間的偏差； 步驟S4 :計(jì)算控制單元再將目標(biāo)像面圖像偏移量偏差轉(zhuǎn)換為成像光路中擺鏡轉(zhuǎn)動(dòng)的 位置控制量； 步驟S5 :擺鏡驅(qū)動(dòng)器根據(jù)位置控制量驅(qū)動(dòng)成像光路中的擺鏡偏轉(zhuǎn)；重復(fù)步驟S2?步驟 S4,直至成像相機(jī)完成一次圖像穩(wěn)定的欠采樣圖像成像； 步驟S6 :判斷成像相機(jī)是否完成所有欠采樣圖像成像，如果沒(méi)有完成所有欠采樣圖像 成像，則執(zhí)行步驟S7,如果已經(jīng)完成所有欠采樣圖像成像，則執(zhí)行步驟S8 ; 步驟S7 :設(shè)置下一次成像相機(jī)成像時(shí)的目標(biāo)像面圖像偏移量的設(shè)定值，執(zhí)行步驟S2 ; 步驟S8 :超分辨率圖像合成單元對(duì)得到的多幅欠采樣圖像進(jìn)行圖像配準(zhǔn)，計(jì)算欠采樣 圖像之間的偏移量； 步驟S9 :超分辨率圖像合成單元根據(jù)欠采樣圖像之間的偏移量，采用圖像融合復(fù)原方 法由多幅欠采樣圖像得到一幅目標(biāo)的超分辨率圖像。
6. 根據(jù)權(quán)利要求5所述圖像穩(wěn)定的超分辨率成像方法，其特征在于，所述計(jì)算控制單 元根據(jù)擺鏡的微掃描順序設(shè)置成像相機(jī)的欠采樣圖像曝光時(shí)的目標(biāo)像面圖像偏移量設(shè)定 值，控制擺鏡在各欠采樣圖像成像時(shí)保持目標(biāo)像面圖像穩(wěn)定在偏移量設(shè)定值附近。
7. 根據(jù)權(quán)利要求6所述圖像穩(wěn)定的超分辨率成像方法，其特征在于，根據(jù)成像相機(jī)的 像元尺寸、探測(cè)相機(jī)的像元尺寸以及成像光路與探測(cè)光路的幾何光學(xué)關(guān)系，由探測(cè)窗口圖 像的偏移量得到目標(biāo)像面圖像偏移量，再計(jì)算得到目標(biāo)像面圖像偏移量與第k次成像相機(jī) 的欠采樣圖像成像時(shí)的目標(biāo)像面圖像偏移量設(shè)定值之間的偏差。
8. 根據(jù)權(quán)利要求7所述圖像穩(wěn)定的超分辨率成像方法，其特征在于，所述成像相機(jī)按 微掃描順序完成了所有欠采樣圖像成像，獲得N幅欠采樣圖像，以n表示獲取欠采樣圖像的 順序號(hào)，按微掃描順序獲得的第n幅欠采樣圖像，每幅欠采樣圖像的長(zhǎng)度為1個(gè)像素、寬度 為w個(gè)像素；以第一幅欠采樣圖像為圖像配準(zhǔn)的基準(zhǔn)圖像，每幅欠采樣圖像都與基準(zhǔn)圖像 進(jìn)行圖像配準(zhǔn)；所述每幅欠采樣圖像與基準(zhǔn)圖像之間在水平和垂直方向上的平移在傅里葉 頻域表示為線性的相位平移，通過(guò)計(jì)算每幅欠采樣圖像與基準(zhǔn)圖像傅里葉變換后的相位差 的最小二乘估計(jì)得到每幅欠采樣圖像與基準(zhǔn)圖像之間的偏移量。
【文檔編號(hào)】H04N5/232GK104394309SQ201410779707
【公開(kāi)日】2015年3月4日 申請(qǐng)日期:2014年12月16日 優(yōu)先權(quán)日:2014年12月16日
【發(fā)明者】戴妍峰, 姜愛(ài)民 申請(qǐng)人:中國(guó)科學(xué)院國(guó)家天文臺(tái)