專(zhuān)利名稱(chēng)：基于多低分辨率圖像的重構(gòu)高分辨率圖像方法及其裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明有關(guān)于圖像處理，并且特別有關(guān)于利用多幀低分辨率圖像完成對(duì)高分辨率圖像的重構(gòu)(reconstruction)。
背景技術(shù)：
在數(shù)字圖像處理與顯示的領(lǐng)域，經(jīng)常需要基于低分辨率圖像資源顯示具有高分辨率的圖像。例如，在網(wǎng)絡(luò)協(xié)議電視(Internet Protocol Television, IPTV)應(yīng)用中，可以發(fā)送低于電視機(jī)固有分辨率的視頻流資源。為了在電視機(jī)上顯示上述低分辨率視頻流內(nèi)容，視頻源必須轉(zhuǎn)換為電視機(jī)支持的固有分辨率。數(shù)碼相機(jī)、衛(wèi)星遙感影像以及醫(yī)學(xué)影像皆存在相似的重構(gòu)高分辨率圖像的需求。文獻(xiàn)中已經(jīng)記載了各種各樣的高分辨率圖像重構(gòu)技術(shù)。其中一種類(lèi)型是基于單個(gè)低分辨率巾貞。雙線(xiàn)性插值(bilinear interpolation)是一種對(duì)于高分辨率圖像重構(gòu)的傳統(tǒng)流行方法。雙線(xiàn)性插值是在水平與垂直兩個(gè)方向皆執(zhí)行線(xiàn)性插值。雙線(xiàn)性插值的相關(guān)計(jì)算相對(duì)簡(jiǎn)單并且插值后圖像的視覺(jué)效果也經(jīng)常是可以接受的。然而，由于在垂直于物體邊緣的方向進(jìn)行插值，雙線(xiàn)性插值過(guò)程經(jīng)常會(huì)引起物體邊緣周?chē)钠交葐?wèn)題以及其他人為缺陷。相應(yīng)地，基于單個(gè)幀的各種改善插值技術(shù)也已經(jīng)出現(xiàn)在文獻(xiàn)中以改善物體邊緣周?chē)匿J度。例如，Li等人揭露的邊緣導(dǎo)向插值(“New Edge-Directed Interpolation”, IEEETRANSACTIONS ON IMAGE PROCESSING, pp.1521-1527, VOL.10, OCTOBER 2001)并且該方法在上述揭露中簡(jiǎn)稱(chēng)為NEDI。上述NEDI方法利用基于協(xié)方差適應(yīng)的邊緣導(dǎo)向特性來(lái)代替明確估計(jì)邊緣取向。NEDI方法已經(jīng)顯示比雙線(xiàn)性插值方法具有改善的圖像質(zhì)量。對(duì)于更先進(jìn)的高分辨率圖像重構(gòu)，可運(yùn)用信號(hào)處理技術(shù)，具體地利用多幀低分辨率圖像產(chǎn)生高分辨率圖像。在本領(lǐng)域基于多幀的高分辨率圖像重構(gòu)也稱(chēng)為超分辨率圖像重構(gòu)(super-resolution image reconstruction)。在上述揭露中，超分辨率圖像重構(gòu)與高分辨率圖像重構(gòu)的名稱(chēng)可相互替換使用。多幀圖像可包含場(chǎng)景中的運(yùn)動(dòng)物體并且運(yùn)動(dòng)估計(jì)必須用于匹配不同幀中的相應(yīng)像素。本領(lǐng)域中運(yùn)動(dòng)信息估計(jì)稱(chēng)為配準(zhǔn)(registration)。

圖1是典型的基于多幀的高分辨率圖像重構(gòu)方法示意圖。如圖1所示，涉及三個(gè)處理步驟，包含圖像配準(zhǔn)110、圖像插值120以及圖像修復(fù)(restoration) 130。圖像配準(zhǔn)110的階段，接收多幀低分辨率圖像yi，i=l，...,P0圖像配準(zhǔn)110的輸出是運(yùn)動(dòng)補(bǔ)償?shù)头直媛蕡D像。圖像插值120的階段利用上述運(yùn)動(dòng)補(bǔ)償?shù)头直媛蕡D像在高分辨率網(wǎng)格(grid)上重構(gòu)高分辨率圖像。本領(lǐng)域存在多種插值技術(shù)。可利用圖像修復(fù)130的階段減少在插值階段引入的噪聲及/或人為缺陷。Park等人描述了超分辨率重構(gòu)的概況(Super-Resolution Image Reconstruction:A Technical Overview, IEEE SIGNALPROCESSING MAGAZINE, pp.21-36，May 2003)。最近，Takeda等人已經(jīng)介紹了用于高分辨率圖像重構(gòu)的核回歸(kernel regression)方法(“Kernel Regression for Image Processing andReconstruction”，IEEE TRANSACTIONS ON IMAGE PROCESSING, pp.349-366, VOL.16，N0.2，F(xiàn)EBRUARY 2007)。對(duì)于二維核回歸，可利用二維回歸模型描述位于位置Xi的觀(guān)測(cè)數(shù)據(jù)yi如下:
權(quán)利要求
1.于多低分辨率圖像的重構(gòu)高分辨率圖像方法，包含: 接收多幀低分辨率圖像； 對(duì)該多幀低分辨率圖像應(yīng)用圖像配準(zhǔn)過(guò)程，其中取得運(yùn)動(dòng)信息與圖像配準(zhǔn)殘差； 確定核函數(shù)，其中該核函數(shù)關(guān)聯(lián)于圖像配準(zhǔn)可靠度、旋轉(zhuǎn)信息或該圖像配準(zhǔn)可靠度與該旋轉(zhuǎn)信息的結(jié)合，其中從該圖像配準(zhǔn)殘差中取得該圖像配準(zhǔn)可靠度，并且從該運(yùn)動(dòng)信息中取得該旋轉(zhuǎn)信息；以及 利用該核函數(shù)的核回歸方法重構(gòu)該高分辨率圖像上的像素?cái)?shù)值。
2.權(quán)利要求1所述的基于多低分辨率圖像的重構(gòu)高分辨率圖像方法，其特征在于，其中權(quán)重因子加權(quán)該圖像配準(zhǔn)殘差，并且較小的權(quán)重因子用于具有較大差值的該圖像配準(zhǔn)殘差。
3.權(quán)利要求1所述的基于多低分辨率圖像的重構(gòu)高分辨率圖像方法，其特征在于，基于圖像像素位置處的多于一個(gè)該圖像配準(zhǔn)殘差來(lái)確定圖像像素的該圖像配準(zhǔn)可靠度，其中該圖像像素位置處的該多于一個(gè)該圖像配準(zhǔn)殘差關(guān)聯(lián)于該圖像像素周?chē)囊粋€(gè)或多個(gè)相鄰像素。
4.權(quán)利要求1所述的基于多低分辨率圖像的重構(gòu)高分辨率圖像方法，其特征在于，從圖像像素位置處的該圖像配準(zhǔn)殘差取得多尺寸圖像配準(zhǔn)殘差，并且基于多于一個(gè)該多尺寸圖像配準(zhǔn)殘差確定圖像像素的該圖像配準(zhǔn)可靠度，其中該多于一個(gè)該多尺寸圖像配準(zhǔn)殘差關(guān)聯(lián)于該圖像像素周?chē)囊粋€(gè)或多個(gè)相鄰像素。
5.權(quán)利要求1所述的基于多低分辨率圖像的重構(gòu)高分辨率圖像方法，其特征在于，依據(jù)當(dāng)前低分辨率圖像的平均圖像配準(zhǔn)殘差絕對(duì)值來(lái)衡量該圖像整體配準(zhǔn)可靠度。
6.權(quán)利要求1所述的基于多低分辨率圖像的重構(gòu)高分辨率圖像方法，其特征在于，其中該旋轉(zhuǎn)信息由旋轉(zhuǎn)矩陣表現(xiàn)，以及該旋轉(zhuǎn)矩陣從仿射轉(zhuǎn)換模型中取得，該仿射轉(zhuǎn)換模型根據(jù)該運(yùn)動(dòng)信息將位于當(dāng)前低分辨率圖像中的第一像素映射至參考低分辨率圖像中的第二像素。
7.權(quán)利要求6所述的基于多低分辨率圖像的重構(gòu)高分辨率圖像方法，其特征在于，利用格拉姆-施密特正交化從該仿射轉(zhuǎn)換模型的仿射轉(zhuǎn)換矩陣確定該旋轉(zhuǎn)矩陣。
8.權(quán)利要求7所述的基于多低分辨率圖像的重構(gòu)高分辨率圖像方法，其特征在于，該核函數(shù)KH(X1-X)可由下列等式表示:Jdet(C ) [ (x.-x)TC.R.(χ.-χ)
9.于多低分辨率圖像的重構(gòu)高分辨率圖像裝置，包含: 接收模塊，用于接收多幀低分辨率圖像； 圖像配準(zhǔn)模塊，用于對(duì)該多幀低分辨率圖像應(yīng)用圖像配準(zhǔn)過(guò)程，其中取得運(yùn)動(dòng)信息與圖像配準(zhǔn)殘差； 確定模塊，用于確定核函數(shù)，其中該核函數(shù)關(guān)聯(lián)于圖像配準(zhǔn)可靠度、旋轉(zhuǎn)信息或該圖像配準(zhǔn)可靠度與該旋轉(zhuǎn)信息的結(jié)合，其中從該圖像配準(zhǔn)殘差中取得該圖像配準(zhǔn)可靠度，并且該運(yùn)動(dòng)信息中取得該旋轉(zhuǎn)信息；以及 重構(gòu)模塊，用于利用該核函數(shù)的核回歸方法重構(gòu)該高分辨率圖像上的像素?cái)?shù)值。
10.權(quán)利要求9所述的基于多低分辨率圖像的重構(gòu)高分辨率圖像裝置，其特征在于，其中權(quán)重因子用于加權(quán)該圖像配準(zhǔn)殘差，并且較小的權(quán)重因子用于具有較大差值的該圖像配準(zhǔn)殘差。
11.權(quán)利要求9所述的基于多低分辨率圖像的重構(gòu)高分辨率圖像裝置，其特征在于，圖像像素的該圖像配準(zhǔn)可靠度由基于該圖像像素位置處的多于一個(gè)該圖像配準(zhǔn)殘差來(lái)確定，其中該圖像像素位置處的該多于一個(gè)該圖像配準(zhǔn)殘差關(guān)聯(lián)于該圖像像素周?chē)囊粋€(gè)或多個(gè)相鄰像素。
12.權(quán)利要求9所述的基于多低分辨率圖像的重構(gòu)高分辨率圖像裝置，其特征在于，多尺寸圖像配準(zhǔn)殘差從該圖像像素位置處的該圖像配準(zhǔn)殘差中取得，并且圖像像素的該圖像配準(zhǔn)可靠度由基于多于一個(gè)該多尺寸圖像配準(zhǔn)殘差來(lái)確定，其中該多于一個(gè)該多尺寸圖像配準(zhǔn)殘差關(guān)聯(lián)于該圖像像素周?chē)囊粋€(gè)或多個(gè)相鄰像素。
13.權(quán)利要求9所述的基于多低分辨率圖像的重構(gòu)高分辨率圖像裝置，其特征在于，該圖像整體配準(zhǔn)可靠度依據(jù)當(dāng)前低分辨率圖像的平均圖像配準(zhǔn)殘差絕對(duì)值來(lái)衡量。
14.權(quán)利要求9所述的基于多低分辨率圖像的重構(gòu)高分辨率圖像裝置，其特征在于，該旋轉(zhuǎn)信息由旋轉(zhuǎn)矩陣表現(xiàn)，以及該旋轉(zhuǎn)矩陣從仿射轉(zhuǎn)換模型中取得，該仿射轉(zhuǎn)換模型根據(jù)該運(yùn)動(dòng)信息將位于當(dāng)前低分辨率圖像中的第一像素映射至參考低分辨率圖像中的第二像素。
15.權(quán)利要求14所述的基于多低分辨率圖像的重構(gòu)高分辨率圖像裝置，其特征在于，該旋轉(zhuǎn)矩陣是利用格拉姆-施密特正交化從該仿射轉(zhuǎn)換模型的仿射轉(zhuǎn)換矩陣確定的。
16.權(quán)利要求15所述的基于多低分辨率圖像的重構(gòu)高分辨率圖像裝置，其特征在于，該核函數(shù)Kh(X1-X)可由下列等式表示:
全文摘要
一種基于多低分辨率圖像的重構(gòu)高分辨率圖像方法及其裝置，其中方法包含接收多幀低分辨率圖像；對(duì)多幀低分辨率圖像應(yīng)用圖像配準(zhǔn)過(guò)程，其中取得運(yùn)動(dòng)信息與圖像配準(zhǔn)殘差；確定核函數(shù)，其中核函數(shù)關(guān)聯(lián)于圖像配準(zhǔn)可靠度、旋轉(zhuǎn)信息或圖像配準(zhǔn)可靠度與旋轉(zhuǎn)信息的結(jié)合，其中從圖像配準(zhǔn)殘差中取得圖像配準(zhǔn)可靠度，并且運(yùn)動(dòng)信息中取得旋轉(zhuǎn)信息；以及利用核函數(shù)的核回歸方法重構(gòu)高分辨率圖像上像素的數(shù)值。本發(fā)明的基于多低分辨率圖像的重構(gòu)高分辨率圖像方法及其裝置可處理多幀中復(fù)雜旋轉(zhuǎn)運(yùn)動(dòng)圖像的重構(gòu)并且提高高分辨率圖像重構(gòu)的效果。
文檔編號(hào)G06T5/50GK103093442SQ201210277030
公開(kāi)日2013年5月8日 申請(qǐng)日期2012年8月6日 優(yōu)先權(quán)日2011年9月14日
發(fā)明者張新峰, 馬思偉, 郭峋, 雷少民 申請(qǐng)人:聯(lián)發(fā)科技(新加坡)私人有限公司