一種縮放尺度補(bǔ)償?shù)姆蔷植啃詧D像超分辨率方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種縮放尺度補(bǔ)償?shù)姆蔷植啃詧D像超分辨率方法及系統(tǒng)，屬于數(shù)字圖像超分辨率【技術(shù)領(lǐng)域】。本發(fā)明首先將視頻序列中的相鄰數(shù)幀上插到設(shè)定的高分辨率圖像；然后計(jì)算相鄰幀間的尺度差異；最后對(duì)于待超分辨率的原始圖像中除邊緣像素點(diǎn)外的每一個(gè)像素點(diǎn)P，根據(jù)相鄰幀中與像素點(diǎn)P相對(duì)應(yīng)像素點(diǎn)在同一尺度上的相似度，計(jì)算得到像素點(diǎn)P超分辨率后的像素值。本發(fā)明所述方法更有效地捕捉到各圖像間更多的互補(bǔ)信息，進(jìn)一步提升了非局部超分辨率重建的性能。
【專利說(shuō)明】一種縮放尺度補(bǔ)償?shù)姆蔷植啃詧D像超分辨率方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于數(shù)字圖像超分辨率【技術(shù)領(lǐng)域】，具體涉及一種縮放尺度補(bǔ)償?shù)姆蔷植啃詧D像超分辨率方法及系統(tǒng)。
【背景技術(shù)】
[0002]超分辨率圖像處理技術(shù)是利用多幀關(guān)于同一場(chǎng)景的有相互位移的低分辨率降質(zhì)圖像來(lái)重建高分辨率高質(zhì)量圖像的技術(shù)?；诙鄮瑘D像的超分辨率重建的目標(biāo)是把一系列的低分辨率圖像融合成一幅高分辨率圖像。其有效性基于假設(shè)——多個(gè)相鄰幀的低分辨率圖像中包含相互補(bǔ)充的信息。利用這些信息，可以生成一副較高分辨率的圖像。這項(xiàng)技術(shù)廣泛應(yīng)用在圖像增強(qiáng)，監(jiān)視器等領(lǐng)域中。
[0003]多幀融合技術(shù)的關(guān)鍵在于從鄰域內(nèi)得到的互補(bǔ)信息的精確度與質(zhì)量。傳統(tǒng)的多幀融合算法往往追求更精確的運(yùn)動(dòng)估計(jì)以提高獲取信息的位置精確度。但存在一些不可避免區(qū)域的無(wú)法進(jìn)行精確估計(jì)(如因遮擋而使得部分區(qū)域在某一幀中不存在)，這將會(huì)大大損害復(fù)原圖像的質(zhì)量。為了避免運(yùn)動(dòng)估計(jì)，Potter等人把非局部方法從一種去噪算法擴(kuò)展成不需要運(yùn)動(dòng)估計(jì)的超分辨率方法。該算法通過(guò)度量塊之間的相似度，加權(quán)計(jì)算出中心像素的值。Potter等人提出的非局部超分辨率方法僅僅是一個(gè)基礎(chǔ)框架，可以在這個(gè)框架上進(jìn)行多種多樣的擴(kuò)展或修改以達(dá)到提升性能的目的。
[0004]其中一類提升是自適應(yīng)的參數(shù)選擇，即通過(guò)研究塊的大小以及搜索窗口的大小與非局部方法性能間的關(guān)系，自適應(yīng)地選擇這些參數(shù)。Zeng等人將圖像分成多個(gè)區(qū)域在不同區(qū)域應(yīng)用不同的參數(shù)進(jìn)行非局部超分辨率以達(dá)到比統(tǒng)一參數(shù)更好的效果。Cheng等人提出的對(duì)搜索窗口和塊大小進(jìn)行自適應(yīng)的選取。還有學(xué)者對(duì)非局部超分辨率算法中塊匹配進(jìn)行了修改提高。如Gao等人提出了用Zernike Moment替代簡(jiǎn)單的塊匹配進(jìn)而提升匹配塊的質(zhì)量。Zhuo等人則采用了具有旋轉(zhuǎn)不變性的算子來(lái)替代樸素塊匹配。而Zheng等人則將非局部的思想擴(kuò)展到頻域上進(jìn)行使用，提出了小波非局部超分辨率算法Wavelet Non-LocalMeans (WNLM)。
[0005]以上的各個(gè)方法都或多或少的提升了非局部超分辨率算法的性能。但是他們都使得非局部超分辨率算法對(duì)旋轉(zhuǎn)、對(duì)稱、平移等變換更加魯棒。迄今為止，仍沒(méi)有人考慮到基于尺度縮放魯棒性的改進(jìn)方法。

【發(fā)明內(nèi)容】

[0006]針對(duì)現(xiàn)有技術(shù)中存在的缺陷，本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種效果好的縮放尺度補(bǔ)償?shù)姆蔷植啃詧D像超分辨率方法及系統(tǒng)。
[0007]為解決上述技術(shù)問(wèn)題，本發(fā)明采用的技術(shù)方案如下:
[0008]一種縮放尺度補(bǔ)償?shù)姆蔷植啃詧D像超分辨率方法，包括以下步驟:
[0009]將視頻序列中的相鄰數(shù)幀上插到設(shè)定的高分辨率圖像；
[0010]計(jì)算相鄰幀間的尺度差異；[0011]對(duì)于待超分辨率的原始圖像中除邊緣像素點(diǎn)外的每一個(gè)像素點(diǎn)P，根據(jù)相鄰幀中與像素點(diǎn)P相對(duì)應(yīng)像素點(diǎn)在同一尺度上的相似度，計(jì)算得到像素點(diǎn)P超分辨率后的像素值。
[0012]一種縮放尺度補(bǔ)償?shù)姆蔷植啃詧D像超分辨率系統(tǒng)，包括用于將視頻序列中的相鄰數(shù)幀上插到設(shè)定的高分辨率圖像的上插裝置；
[0013]用于計(jì)算相鄰幀間的尺度差異的第一計(jì)算裝置；
[0014]用于對(duì)待超分辨率的原始圖像中除邊緣像素點(diǎn)外的每一個(gè)像素點(diǎn)P，根據(jù)所述相鄰幀中與像素點(diǎn)P相對(duì)應(yīng)像素點(diǎn)在同一尺度上的相似度，計(jì)算得到像素點(diǎn)P超分辨率后像素值的第二計(jì)算裝置。
[0015]本發(fā)明所述方法及系統(tǒng)，考慮到現(xiàn)有非局部超分辨率方法中相關(guān)幀間因縮放而無(wú)法進(jìn)行簡(jiǎn)單的信息匹配，在計(jì)算相鄰幀尺度差異時(shí)，采用SIFT算子來(lái)提取特征點(diǎn)并加以利用以提取尺度信息，在度量塊相似度時(shí)，根據(jù)尺度信息先對(duì)塊進(jìn)行下采上插的插值調(diào)整，從而進(jìn)一步提升了相似度計(jì)算的準(zhǔn)確性，更有效地捕捉到各圖像間更多的互補(bǔ)信息，進(jìn)一步提升了非局部超分辨率重建的性能。
【專利附圖】

【附圖說(shuō)明】
[0016]圖1是【具體實(shí)施方式】中縮放尺度補(bǔ)償?shù)姆蔷植啃詧D像超分辨率系統(tǒng)的結(jié)構(gòu)框圖；
[0017]圖2是【具體實(shí)施方式】中縮放尺度補(bǔ)償?shù)姆蔷植啃詧D像超分辨率方法的流程圖；
[0018]圖3是【具體實(shí)施方式】中像素點(diǎn)P超分辨率后像素值計(jì)算方法的流程圖；
[0019]圖4是【具體實(shí)施方式】中原始?jí)K與參考?jí)K選擇示意圖。
【具體實(shí)施方式】
[0020]本發(fā)明總結(jié)出現(xiàn)有非局部超分辨率方法不能找到足夠多相似塊的其中一個(gè)重要原因是由于鏡頭縮放后圖像尺度發(fā)生了變化而導(dǎo)致相似信息不能很好地匹配，因此，本發(fā)明提出了一種計(jì)算圖像尺度差異的方法及系統(tǒng)，并提出一種新的可以補(bǔ)償尺度差異的度量方式，最終提升基于多幀融合的超分辨率方法的性能。下面以視頻序列中某一幀進(jìn)行3倍放大的超分辨率重建問(wèn)題為例，結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】進(jìn)行詳細(xì)描述。
[0021]如圖1所示，本實(shí)施方式中縮放尺度補(bǔ)償?shù)姆蔷植啃詧D像超分辨率系統(tǒng)包括上插裝置11、第一計(jì)算裝置12和第二計(jì)算裝置13。其中，第二計(jì)算裝置13包括原始?jí)K確定單元131、參考?jí)K確定單元132、下采單元133、相似度計(jì)算單元134和像素值計(jì)算單元135。
[0022]上插裝置11用于將視頻序列中的相鄰數(shù)幀上插到設(shè)定的高分辨率圖像。第一計(jì)算裝置12用于計(jì)算相鄰幀間的尺度差異。第二計(jì)算裝置13用于對(duì)待超分辨率的原始圖像中除邊緣像素點(diǎn)外的每一個(gè)像素點(diǎn)P，根據(jù)所述相鄰幀中與像素點(diǎn)P相對(duì)應(yīng)像素點(diǎn)在同一尺度上的相似度，計(jì)算得到像素點(diǎn)P超分辨率后的像素值。其中，原始?jí)K確定單元131用于在所述高分辨率圖像中選擇一幅圖像A，在圖像A中確定與所述像素點(diǎn)P對(duì)應(yīng)的像素點(diǎn)P'為中心的局部塊，作為原始?jí)K。參考?jí)K確定單兀132用于在所述圖像A中和其相鄰巾貞中的參考區(qū)域內(nèi)選擇與所述原始?jí)K相對(duì)應(yīng)的參考?jí)K。下采單元133用于根據(jù)所述尺度差異將所述參考?jí)K下采至與所述原始?jí)K相同的尺度。相似度計(jì)算單元134用于計(jì)算所述原始?jí)K與所述參考?jí)K的相似度。像素值計(jì)算單元135用于根據(jù)所述相似度，計(jì)算所有參考?jí)K中心點(diǎn)對(duì)于原始?jí)K中心點(diǎn)的權(quán)重，將所述權(quán)重與所述像素點(diǎn)P的像素值進(jìn)行加權(quán)平均，得到像素點(diǎn)P超分辨率后的像素值。
[0023]如圖2所示，采用圖1所示系統(tǒng)實(shí)現(xiàn)縮放尺度補(bǔ)償?shù)姆蔷植啃詧D像超分辨率方法包括以下步驟:
[0024](I)上插裝置11將視頻序列中的相鄰數(shù)幀上插到設(shè)定的高分辨率圖像。
[0025]本實(shí)施方式中，采用空域插值方法中的雙線性插值，將每一幀的兩個(gè)方向分別上插到原來(lái)的三倍大小。所述相鄰數(shù)幀的取值范圍為3~7幀，優(yōu)選的為3幀、5幀和7幀。本實(shí)施方式中，相鄰幀為3幀，設(shè)原始幀(低分辨率圖像)分別為y1、y2和y3，對(duì)應(yīng)的上插后的高分辨率圖像分別為1、Y2和Y3。
[0026](2)第一計(jì)算裝置12計(jì)算高分辨率圖像相鄰幀間的尺度差異。
[0027]本實(shí)施方式中，分別計(jì)算圖像Y1和Y2、Y2和Y3的尺度差異。采用如下方法計(jì)算:用SIFT (Scale -1nvariant Feature Transform)計(jì)算其特征點(diǎn)并進(jìn)行匹配,根據(jù)如下公式計(jì)算:
[0028]
【權(quán)利要求】
1.一種縮放尺度補(bǔ)償?shù)姆蔷植啃詧D像超分辨率方法，包括以下步驟: 將視頻序列中的相鄰數(shù)幀上插到設(shè)定的高分辨率圖像； 計(jì)算相鄰幀間的尺度差異； 對(duì)于待超分辨率的原始圖像中除邊緣像素點(diǎn)外的每一個(gè)像素點(diǎn)P，根據(jù)所述相鄰幀中與像素點(diǎn)P相對(duì)應(yīng)像素點(diǎn)在同一尺度上的相似度，計(jì)算得到像素點(diǎn)P超分辨率后的像素值。
2.如權(quán)利要求1所述的非局部性圖像超分辨率方法，其特征在于:所述相鄰數(shù)幀為3幀、5幀或7幀。
3.如權(quán)利要求1所述的非局部性圖像超分辨率方法，其特征在于:所述相鄰幀間的尺度差異St采用如下公式計(jì)算:
4.如權(quán)利要求廣3中任一項(xiàng)所述的非局部性圖像超分辨率方法，其特征在于:所述像素點(diǎn)P超分辨率后像素值的計(jì)算方法如下: 在所述高分辨率圖像中選擇一幅圖像A，在圖像A中確定與所述像素點(diǎn)P對(duì)應(yīng)的像素點(diǎn)Pi為中心的局部塊，作為原始?jí)K； 在所述圖像A中和其相鄰幀中的參考區(qū)域內(nèi)選擇與所述原始?jí)K相對(duì)應(yīng)的參考?jí)K； 根據(jù)所述尺度差異將所述參考?jí)K下采至與所述原始?jí)K相同的尺度，計(jì)算所述原始?jí)K與所述參考?jí)K的相似度； 根據(jù)所述相似度，計(jì)算所有參考?jí)K中心點(diǎn)對(duì)于原始?jí)K中心點(diǎn)的權(quán)重；將所述權(quán)重與所述像素點(diǎn)P的像素值進(jìn)行加權(quán)平均，得到像素點(diǎn)P超分辨率后的像素值。
5.如權(quán)利要求4所述的非局部性圖像超分辨率方法，其特征在于:所述原始?jí)K大小的取值范圍在11X11像素點(diǎn)至17X17像素點(diǎn)之間；所述參考區(qū)域大小的取值范圍在21X21像素點(diǎn)至35X35像素點(diǎn)之間。
6.如權(quán)利要求4所述的非局部性圖像超分辨率方法，其特征在于:在所述圖像A中的參考區(qū)域內(nèi)選擇與所述原始?jí)K相對(duì)應(yīng)參考?jí)K的方法如下: 在以所述像素點(diǎn)P'為中心的參考區(qū)域內(nèi)，選擇每個(gè)原始像素點(diǎn)作為每個(gè)參考?jí)K的中心點(diǎn)，所述參考?jí)K的大小與所述原始?jí)K的大小相同。
7.如權(quán)利要求4所述的非局部性圖像超分辨率方法，其特征在于:在所述圖像A的相鄰幀中的參考區(qū)域內(nèi)選擇與所述原始?jí)K相對(duì)應(yīng)參考?jí)K的方法如下: 在所述相鄰幀中，以與像素點(diǎn)p'相對(duì)應(yīng)的像素點(diǎn)P"為中心的參考區(qū)域內(nèi)，選擇每個(gè)原始像素點(diǎn)作為每個(gè)參考?jí)K的中心點(diǎn)，所述參考?jí)K大小與所述原始?jí)K的大小比例和兩塊所屬相鄰幀間的尺度差異比例相同。
8.如權(quán)利要求4所述的非局部性圖像超分辨率方法，其特征在于:所述根據(jù)所述尺度差異將所述參考?jí)K下采至與所述原始?jí)K相同的尺度采用如下公式計(jì)算:
MP (i, j, t)=I (st) R(st, i, j)yt, 其中，yt表示第t個(gè)參考?jí)K，R (St, i，j)表示對(duì)其進(jìn)行的以(i，j)為中心像素點(diǎn)的取尺度為St的參考?jí)K，I (St)是指對(duì)參考?jí)K進(jìn)行下采操作使其尺度與原始?jí)K尺度相同，MP (i,j，t)表示經(jīng)過(guò)下采后的參考?jí)K。
9.如權(quán)利要求8所述的非局部性圖像超分辨率方法，其特征在于:所述原始?jí)K與所述參考?jí)K的相似度采用如下公式計(jì)算:
10.如權(quán)利要求9所述的非局部性圖像超分辨率方法，其特征在于:所述像素點(diǎn)P超分辨率后的像素值采用如下公式計(jì)算:
11.一種縮放尺度補(bǔ)償?shù)姆蔷植啃詧D像超分辨率系統(tǒng)，其特征在于:包括用于將視頻序列中的相鄰數(shù)幀上插到設(shè)定的高分辨率圖像的上插裝置(11); 用于計(jì)算相鄰幀間的尺度差異的第一計(jì)算裝置(12)； 用于對(duì)待超分辨率的原始圖像中除邊緣像素點(diǎn)外的每一個(gè)像素點(diǎn)P，根據(jù)所述相鄰幀中與像素點(diǎn)P相對(duì)應(yīng)像素點(diǎn)在同一尺度上的相似度，計(jì)算得到像素點(diǎn)P超分辨率后像素值的第二計(jì)算裝置(13)。
12.如權(quán)利要求11所述的縮放尺度補(bǔ)償?shù)姆蔷植啃詧D像超分辨率系統(tǒng)，其特征在于:所述第二計(jì)算裝置(13)包括用于在所述高分辨率圖像中選擇一幅圖像A，在圖像A中確定與所述像素點(diǎn)P對(duì)應(yīng)的像素點(diǎn)P'為中心的局部塊作為原始?jí)K的原始?jí)K確定單元(131)； 用于在所述圖像A中和其相鄰幀中的參考區(qū)域內(nèi)選擇與所述原始?jí)K相對(duì)應(yīng)參考?jí)K的參考?jí)K確定單元(132)； 用于根據(jù)所述尺度差異將所述參考?jí)K下采至與所述原始?jí)K相同的尺度的下采單元(133)； 用于計(jì)算所述原始?jí)K與所述參考?jí)K相似度的相似度計(jì)算單元(134)； 用于根據(jù)所述相似度，計(jì)算所有參考?jí)K中心點(diǎn)對(duì)于原始?jí)K中心點(diǎn)的權(quán)重，將所述權(quán)重與所述像素點(diǎn)P的像素值進(jìn)行加權(quán)平均，得到像素點(diǎn)P超分辨率后像素值的像素值計(jì)算單元(135)。
【文檔編號(hào)】G06T5/50GK103914807SQ201210592949
【公開(kāi)日】2014年7月9日 申請(qǐng)日期:2012年12月31日 優(yōu)先權(quán)日:2012年12月31日
【發(fā)明者】李翹楚, 劉家瑛, 楊撒博雅, 郭宗明 申請(qǐng)人:北京大學(xué), 北大方正集團(tuán)有限公司, 北京北大方正電子有限公司