凝視型超分辨率成像裝置及方法
【專利摘要】本發(fā)明提供了一種凝視型超分辨率成像裝置及方法，用于解決現(xiàn)有成像裝置分辨率低的問題。該裝置包括成像裝置鏡頭組(1)、探測器(2)、探測器驅動平臺(3)、驅動器(4)、存儲單元(5)、圖像處理電路(6)和圖像顯示電路(7)；探測器(2)設置于成像裝置鏡頭組(1)光路上的焦平面內；驅動器(4)的驅動部分帶動探測器驅動平臺(3)產生大小和方向均為隨機值的移動。實現(xiàn)成像方法的步驟：設置變動次數指令；驅動器(4)驅動探測器(4)作相應次數的隨機抖動；光信號經成像裝置鏡頭組(1)在探測器(4)上成像，獲得與變動次數相應幀數的低分辨率圖像；利用變分貝葉斯算法對低分辨率圖像重建。適用于視頻重建和衛(wèi)星拍攝。
【專利說明】凝視型超分辨率成像裝置及方法

【技術領域】
[0001] 本發(fā)明屬于超分辨率成像【技術領域】，具體涉及一種多幀圖像獲取和重建的凝視型 超分辨率成像裝置及成像方法，可用于視頻重建和衛(wèi)星拍攝。

【背景技術】
[0002] 提高光學成像系統(tǒng)的分辨率是開展圖像科學研究及其工程應用的不懈追求，除了 可以通過提高成像系統(tǒng)相關部件，如光學系統(tǒng)焦距、孔徑和探測器等的性能以提高分辨率 夕卜，還可以選擇在成像系統(tǒng)中加入合適的光學器件以提高分辨率，但是調整成像系統(tǒng)結構 在一定程度上會導致系統(tǒng)的復雜化和任務的大幅增加，因而如何基于現(xiàn)有成像設備恢復或 重構出超分辨率圖像成為當今眾多圖像應用領域的迫切需求。在科研中，人們將目光逐漸 投入到應用現(xiàn)代光學和數字圖像處理技術來提高成像系統(tǒng)的分辨率上來。
[0003] 提高成像裝置分辨率可以通過單幀圖像或多幀圖像的重構實現(xiàn)，由于單幀圖像包 含的信息量有限，重建過程中缺乏新的信息，因而分辨率提高的效果不是很理想?；诙鄮?圖像的超分辨率重建算法，即利用同一場景的多幀低分辨率圖像來獲取該場景的一幀超分 辨率圖像，因為多幀圖像包含的信息量要大于單幀圖像，圖像序列間彼此包含有類似但又 不完全相同的互補信息及一定的先驗信息，因而為恢復出真實有效的超分辨率圖像提供了 可能。
[0004] 目前在多幀圖像的獲取方式上，可以采用三種方式實現(xiàn)：第一種是通過鏡 頭的移動獲取多幀低分辨率圖像。深圳雅圖數字視頻技術有限公司在專利申請?zhí)枮?201010505956. 9的申請文件中，公開了一種通過透鏡平移法獲取多幀低分辨率圖像的系 統(tǒng)，該系統(tǒng)控制簡單，位移精確可調，但驅動電路較復雜，光學設計受到微位移機構限制，通 用性較差；第二種是給光路中加入平行平板，通過擺動或旋轉平板位置實現(xiàn)多幀圖像的獲 取，北京航空航天大學在申請?zhí)?01210451785. 5的專利申請中，公開了一種在光路中加入 平行平板以獲取多幀圖像的方法，該方法可實現(xiàn)動態(tài)場景超分辨率實時成像的效果，這是 比較實用的方式。但是其對平行平板的加工精度要求很高，同時光路的改變會導致系統(tǒng)的 復雜化和任務量的大幅度加大，因而在實際應用中成本過高，難度過大，且預先設置了采集 到同一場景的幀數，限制了分辨率的提高；第三種是通過移動探測器的方式獲得多幀圖像， 清華大學在申請?zhí)枮?00810056002. 7的專利申請中，公開了一種通過采用移動探測器的 方法來獲得多幀圖像的裝置，通過控制轉像機構或使光電探測器陣列微旋轉得到一系列有 相對微旋轉的低分辨率圖像。該裝置與第一種方式相比，實用性高；與第二種方式相比，因 為其沒有引入新的光學元件不會導致系統(tǒng)的復雜化，制造成本較低。但是第三種方式中精 確控制位移量，對硬件要求高，而且事先設定微旋轉角度限定了獲取的多幀圖像的范圍以 及采集到同一場景的圖像的幀數，會造成重建效果不理想。


【發(fā)明內容】

[0005] 本發(fā)明的目的在于克服現(xiàn)有技術存在的通用性差、工藝復雜、重建效果差的缺陷， 提供了一種凝視型超分辨率成像裝置及方法，通過隨機移動探測器以獲得多幀圖像，用于 解決現(xiàn)有成像裝置分辨率低的問題。
[0006] 為了實現(xiàn)上述目的，本發(fā)明的技術方案包括：
[0007] 成像裝置鏡頭組1，用于采集光信號，得到采集到的光信號；
[0008] 探測器2,用于接收采集到的光信號，在其上成像，并將所成圖像依次輸出給存儲 單元5、圖像處理電路6和圖像顯示電路7 ;
[0009] 探測器驅動平臺3,用于裝載探測器2并帶動其移動；
[0010] 驅動器4,用于帶動探測器驅動平臺3移動，并在探測器2上成多幀圖像；
[0011] 存儲單元5,用于實時存儲探測器2移動獲得的多幀圖像；
[0012] 圖像處理電路6,用于重構存儲單元5中的多幀圖像，得到超分辨率圖像；
[0013] 圖像顯示電路7,用于輸出重構的超分辨率圖像；
[0014] 所述探測器2設置于成像裝置鏡頭組1的焦平面上，且固定在探測器驅動平臺3 面向成像裝置鏡頭組1的一側；所述驅動器4與探測器驅動平臺3之間采用剛性連接，以使 兩者在工作時的移動保持一致，且移動的大小和方向是隨機值。
[0015] 所述探測器2采用電荷耦合器件C⑶或互補金屬氧化物半導體CMOS或電荷注入 器件CID。
[0016] 所述探測器驅動平臺3的移動，是在與采集光線垂直的平面內所進行水平方向和 堅直方向的隨機抖動，且其在水平方向上抖動范圍小于探測器寬度尺寸的0.23%，在堅直 方向上的抖動范圍小于探測器長度尺寸的〇. 23%。
[0017] 所述探測器驅動平臺3的隨機抖動次數與所述探測器2得到的圖像幀數相同。
[0018] 所述驅動器4采用壓電陶瓷驅動器。
[0019] 實現(xiàn)凝視型超分辨率成像的成像方法，包括如下步驟：
[0020] 步驟1 :根據所要求的成像效果，設置驅動器驅動部分的變動次數指令；
[0021] 步驟2 :利用成像鏡頭組1采集光信號，得到采集到的光信號；
[0022] 步驟3 :根據設置的變動次數指令，驅動器4驅動探測器2分別在水平和堅直方向 上作相應次數的隨機抖動，抖動范圍小于探測器2長和寬的0. 23%，采集到的光信號在探 測器2上成像，獲得幀數與變動次數相應的多幀低分辨率圖像；
[0023] 步驟4 :利用存儲單元5實時存儲上述獲得的多幀低分辨率圖像；
[0024] 步驟5 :利用圖像處理電路6中的變分貝葉斯算法，重建存儲單元5中的多幀低分 辨率圖像，得到相應的超分辨率圖像；
[0025] 步驟6 :利用圖像顯示電路7輸出上述經過計算和重建得到的超分辨率圖像。
[0026] 上述步驟五采用的變分貝葉斯算法包括如下步驟：
[0027] 步驟5. 1建立重建約束模型來求取后驗概率函數P (x/yk):
[0028] 重建約束模型yk = DHkC(sk)x+nk = Bk(sk)x+nk，其中X表示場景的高分辨率圖像， 其像素數為PN ;yk表示獲得的低分辨率圖像，其像素數為N ;P表示算法對圖像空間分辨率 的提高；k表示獲得的不大于低分辨率圖像總幀數的圖像幀數；D是NXPN的降采樣矩陣， Hk為PNXPN的運動矩陣，C(Sk)是運動向量Sk產生的PNXPN的運動矩陣，n k是NX 1的噪 聲，成像系統(tǒng)的降采樣、模糊和變形效應可以組合成一個NXPN的系統(tǒng)矩陣Bk(Sk);每幀低 分辨率圖像的n k、Hk和Sk可以不相同，根據重建約束模型可求出P(x/yk)，進而求得其負對 數-lnP(yk/x);
[0029] 步驟5. 2建立先驗約束模型來求取先驗概率密度函數P (X):
[0030] 建立由拉普拉斯金字塔和高斯金字塔的二階偏導數構成的包含圖像空間尺度信 息和方向性信息的特征空間，以拉普拉斯金字塔預測為初始估計值，通過加速塊匹配方法 獲得包含圖像高頻信息的估計梯度先驗知識，即求出PU)，進而求得其負對數-InP(X);
[0031] 步驟5. 3根據貝葉斯最大后驗概率估計理論，為了求得最優(yōu)高分辨率圖 像估計值X，需要先求得使后驗概率p(x/yk)取最大值的X的數值；因為y k為獲 得的已知低分辨率圖像，所以P(yk)為常數，因而高分辨率圖像最大后驗概率為： 又=arg mfx In l?(x:' yk) = arg丨氣丨n(-P(yk / X H In P(x})，式中?表示最優(yōu)估計的超分辨率圖 像；利用上述兩個步驟所得出的計算結果，在最大后驗概率框架中使用最速下降法求得最 優(yōu)估計超分辨圖像:，即超分辨率圖像的最終結果。
[0032] 本發(fā)明與現(xiàn)有技術相比，具有如下優(yōu)點：
[0033] 1、本發(fā)明采用多幀圖像重建的方法得到輸出圖像，相對普通相機直接成像的方法 而言，在使用相同探測器的情況下，可以獲得更高分辨率的圖像。
[0034] 2、本發(fā)明的成像裝置是通過移動探測器的方式以獲得多幀圖像的，相對于現(xiàn)有技 術中通過移動鏡頭或者在光路中加入光學元件的方式而言，工藝簡單、造價低且能達到凝 視效果，提高了裝置的通用性。
[0035] 3、本發(fā)明中探測器抖動位移的大小和方向是隨機的，相對現(xiàn)有技術中探測器固定 移動而言，可在運動參數未知的情況下，獲得超分辨率圖像，適用于自身產生隨機位移的拍 攝裝置，如衛(wèi)星。
[0036] 4、本發(fā)明中探測器隨機抖動的次數可以通過變動次數指令設定，相對現(xiàn)有技術中 探測器的移動次數是一個固定值而言，變動次數越多，得到的低分辨率圖像也相應增多，通 過后期的重建，最后輸出的圖像的分辨率就更高。
[0037] 5、本發(fā)明成像方法中，在低分辨率圖像重建時應用了變分貝葉斯算法，該算法引 入了分布估計，增強了算法對噪聲的穩(wěn)定性，有效地提高了圖像分辨率。

【專利附圖】

【附圖說明】
[0038] 圖1是本發(fā)明的結構示意圖。
[0039] 圖2是本發(fā)明中一種簡單的探測器位移方式示意圖。
[0040] 圖3是本發(fā)明中探測器隨機移動四次，位移為半個像素時，可以選擇的一種獲取 圖像的不意圖。
[0041] 圖4是本發(fā)明中的低分辨率圖像為四幀的一種超分辨率重構示意圖。

【具體實施方式】
[0042] 為了使本發(fā)明的目的、所解決的技術問題和技術方案更加清晰明了，以下結合附 圖對本發(fā)明作進一步詳細描述。
[0043] 參照圖1，本發(fā)明包括成像裝置鏡頭組1、探測器2、探測器驅動平臺3、驅動器4、存 儲單元5、圖像處理電路6和圖像顯示電路7 ;為了保證探測器2能夠成功地接收圖像并與 探測器驅動平臺3同步運動，探測器2位于成像裝置鏡頭組1的光路上的且在其焦平面內， 該探測器2采用電荷耦合器件CCD或互補金屬氧化物半導體CMOS或電荷注入器件CID，固 定于探測器驅動平臺3之前；驅動器4可采用壓電陶瓷驅動器，設置于探測器驅動平臺3的 一側，外殼與機體固定連接，保證其在驅動過程中本身不產生相對移動；該驅動器4與探測 器平臺3剛性連接，如桿連接、焊接或螺栓連接，用以保證探測器平臺3和探測器2的同步 運動；探測器2與存儲單元5、圖像處理電路6和圖像顯示電路7依次形成電路連接，用于 傳遞和處理圖像。
[0044] 本發(fā)明的成像原理是：根據所要求的成像效果，設置驅動器驅動部分的變動次數 指令；利用成像鏡頭組1對準場景目標進行光信號的采集，得到采集到的光信號；成像裝置 開始工作時，根據設定的變動次數指令，驅動器4的驅動部分促使探測器驅動平臺3運動， 從而控制探測器2在鏡頭組的焦平面內的隨機抖動，探測器2在水平和垂直方向上的位移 分別小于探測器長和寬的〇. 23%，該位移的大小為隨機值；探測器2獲得幀數與設定的變 動次數相應的低分辨率圖像，幀數用L表示，獲取到的每幀低分辨率圖像實時存儲到相機 的存儲單元5當中，直至存儲單元5中存儲的圖像幀數達到與設定的變動次數指令相應的 L幀；針對一個場景拍攝完L幀圖像之后將圖像數字信息傳輸到圖像處理電路6上對其進 行重構，獲得超分辨率圖像，最后由圖像顯示電路7對重建的超分辨率圖像進行輸出顯示。
[0045] 上述圖像處理電路6中對L幀圖像重建的原理如下：
[0046] 在圖像處理電路6中采用的算法為變分貝葉斯算法，變分貝葉斯重建算法的核 心，是利用未知概率密度的形式和未知參數的取值范圍等先驗知識來自訓練樣本本身的信 息，計算后驗概率P(y k/x)。
[0047] 重建約束模型：
[0048] yk = DHkC (sk) x+nk = Bk (sk) x+nk (I)
[0049] 其中D是NX PN的降采樣矩陣，Hk為PNX PN的運動矩陣，C (Sk)是運動向量sk產 生的PNXPN的運動矩陣，nk是NX 1的噪聲，成像系統(tǒng)的降采樣、模糊和變形效應可以組合 成一個NXPN的系統(tǒng)矩陣Bk(Sk)。每幀低分辨率圖像的n k、Hk和Sk可以不相同。其中X表 示場景的高分辨率圖像，其像素數為PN ;yk表示獲得的低分辨率圖像，其像素數為N ;P表示 算法對圖像空間分辨率的提高；
[0050] 在已知yk的條件下，X的后驗概率可以寫成：
[0051]

【權利要求】
1. 一種凝視型超分辨率成像裝置，包括： 成像裝置鏡頭組（1)，用于采集光信號，得到采集到的光信號； 探測器（2)，用于接收采集到的光信號，在其上成像，并將所成圖像依次輸出給存儲單 元（5)、圖像處理電路（6)和圖像顯示電路（7); 探測器驅動平臺（3)，用于裝載探測器（2)并帶動其移動； 驅動器（4)，用于帶動探測器驅動平臺（3)移動，并在探測器（2)上成多幀圖像； 存儲單元（5)，用于實時存儲探測器（2)移動獲得的多幀圖像； 圖像處理電路（6)，用于重構存儲單元（5)中的多幀圖像，得到超分辨率圖像； 圖像顯示電路（7)，用于輸出重構的超分辨率圖像； 其特征在于：所述探測器（2)設置于成像裝置鏡頭組（1)的焦平面上，且固定在探測器 驅動平臺（3)面向成像裝置鏡頭組（1)的一側；所述驅動器（4)與探測器驅動平臺（3)之 間采用剛性連接，以使兩者在工作時的移動保持一致，且移動的大小和方向是隨機值。
2. 根據權利要求1所述的凝視型超分辨率成像裝置，其特征在于：所述探測器（2)采 用電荷耦合器件CCD或互補金屬氧化物半導體CMOS或電荷注入器件CID。
3. 根據權利要求1所述的凝視型超分辨率成像裝置，其特征在于：所述探測器驅動平 臺（3)的移動，是在與采集光線垂直的平面內所進行水平方向和堅直方向的隨機抖動，且 其在水平方向上抖動范圍小于探測器寬度尺寸的0. 23%，在堅直方向上的抖動范圍小于探 測器長度尺寸的0.23%。
4. 根據權利要求3所述的凝視型超分辨率成像裝置，其特征在于：所述探測器驅動平 臺（3)的隨機抖動次數與所述探測器（2)得到的圖像幀數相同。
5. 根據權利要求1所述的凝視型超分辨率成像裝置，其特征在于：所述驅動器（4)采 用壓電陶瓷驅動器。
6. 利用權利要求1的裝置進行凝視型超分辨率成像的方法，其特征在于：包括如下步 驟： 1) 根據所要求的成像效果，設置驅動器的變動次數指令； 2) 利用成像鏡頭組采集光信號，得到采集到的光信號； 3) 根據設置的變動次數指令，通過驅動器（4)帶動探測器（2)分別在水平方向和堅直 方向作相應次數的隨機抖動，使采集到的光信號在探測器（2)上成像，獲得幀數與變動次 數相同的多幀低分辨率圖像； 4) 利用存儲單元（5)實時存儲上述獲得的多幀低分辨率圖像； 5) 利用變分貝葉斯算法，重建存儲單元（5)中的多幀低分辨率圖像，得到相應的超分 辨率圖像； 6) 通過圖像顯示電路（7)輸出上述經過計算和重建得到的超分辨率圖像。
7. 根據權利要求6所述的凝視型超分辨率成像的方法，其特征在于：所述步驟3)中的 隨機抖動，其在水平方向上抖動范圍小于探測器寬度尺寸的0. 23%，在堅直方向上的抖動 范圍小于探測器長度尺寸的〇. 23%。
8. 根據權利要求6所述的凝視型超分辨率成像的方法，其特征在于：步驟5)所述的利 用圖像處理電路（6)中的變分貝葉斯算法，重建存儲單元（5)中的多幀低分辨率圖像，按如 下步驟進行： 5. 1)建立重建約束模型來求取后驗概率函數P(x/yk): 重建約束模型yk=DHkC(sk)x+nk=Bk(sk)x+nk，其中x表示場景的高分辨率圖像，其像 素數為PN ;yk表示獲得的低分辨率圖像，其像素數為N ;P表示算法對圖像空間分辨率的提 高；k表示獲得的不大于低分辨率圖像總幀數的圖像幀數；D是NXPN的降采樣矩陣，Hk為 PNX PN的運動矩陣，C (sk)是運動向量sk產生的PNX PN的運動矩陣，nk是NX 1的噪聲，成像 系統(tǒng)的降采樣、模糊和變形效應可以組合成一個NXPN的系統(tǒng)矩陣Bk(sk);每幀低分辨率圖 像的nk、Hk和sk可以不相同，根據重建約束模型可求出P (x/yk)，進而求得其負對數-InP (yk/ x)； 5. 2)建立先驗約束模型來求取先驗概率密度函數P(x): 建立由拉普拉斯金字塔和高斯金字塔的二階偏導數構成的包含圖像空間尺度信息和 方向性信息的特征空間，以拉普拉斯金字塔預測為初始估計值，通過加速塊匹配方法獲得 包含圖像高頻信息的估計梯度先驗知識，即求出P (x)，進而求得其負對數-InP (x); 5.3)根據貝葉斯最大后驗概率估計理論，為了求得最優(yōu)高分辨率圖像估 計值L需要先求得使后驗概率P(x/yk)取最大值的x的數值；因為yk為獲得 的已知低分辨率圖像，所以P(yk)為常數，因而高分辨率圖像最大后驗概率為：
，式中^表示最優(yōu)估計的超分辨率圖 像；利用上述兩個步驟所得出的計算結果，在最大后驗概率框架中使用最速下降法求得最 優(yōu)估計超分辨圖像I即超分辨率圖像的最終結果。
【文檔編號】H04N5/232GK104410789SQ201410746361
【公開日】2015年3月11日 申請日期:2014年12月8日 優(yōu)先權日:2014年12月8日
【發(fā)明者】邵曉鵬, 王怡, 許潔, 劉飛, 杜鵑 申請人:西安電子科技大學