圖像處理裝置、方法以及圖像處理程序的制作方法
【專利摘要】根據(jù)針對(duì)輸入圖像的多個(gè)不同方向的一維低通濾波器值中與關(guān)注像素的代表值之差最小的一維低通濾波器值與關(guān)注像素的代表值之差求出NR系數(shù)(Kf)，通過NR系數(shù)(Kf)對(duì)關(guān)注像素的像素值和周邊低通濾波器(25)進(jìn)行加權(quán)相加(36)。關(guān)注像素的代表值是通過在時(shí)間軸方向上對(duì)當(dāng)前幀和過去幀進(jìn)行濾波而得到的例如中間值。在圖像處理裝置中進(jìn)行降噪而不會(huì)降低分辨率。
【專利說明】圖像處理裝置、方法以及圖像處理程序

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及在數(shù)字照相機(jī)等中去除混入輸入圖像中的噪聲的圖像處理裝置、方法以及圖像處理程序。

【背景技術(shù)】
[0002]在具有CXD等攝像元件的數(shù)字照相機(jī)等圖像輸入裝置以及顯示從這種圖像輸入裝置輸入的圖像的顯示器等圖像輸出裝置中，在圖像輸入系統(tǒng)或圖像傳送系統(tǒng)中，在圖像數(shù)據(jù)中混入噪聲。一般在裝置內(nèi)通過圖像處理來去除這種噪聲。對(duì)在這種圖像輸入裝置或圖像輸出裝置中去除所混入的噪聲的現(xiàn)有方法進(jìn)行說明。
[0003]作為去除噪聲的最平易的一般方法，存在如下技術(shù):構(gòu)成以作為圖像處理對(duì)象的像素(以下稱為關(guān)注像素)為中心的由多個(gè)像素構(gòu)成的處理窗口，通過對(duì)處理窗口內(nèi)的周邊像素的像素值和關(guān)注像素的像素值進(jìn)行加權(quán)相加，施加低通濾波。但是，在使用該方法的情況下，針對(duì)噪聲以外的圖像中存在的有意義的邊緣，也一律施加低通濾波，因此，存在圖像的分辨率降低的問題。
[0004]并且，作為其他方法，提出了如下技術(shù):針對(duì)處理窗口，通過施加普瑞維特(Prewitt)濾波或索貝爾(Sobel)濾波來檢測邊緣，在判斷為關(guān)注像素是圖像中的有意義的邊緣的情況下，減弱低通濾波的強(qiáng)度，或者在沿著存在于周邊的邊緣的方向上施加低通濾波，由此，在抑制圖像的分辨率降低的同時(shí)去除噪聲(例如參照專利文獻(xiàn)I)。
[0005]現(xiàn)有技術(shù)文獻(xiàn)
[0006]專利文獻(xiàn)
[0007]專利文獻(xiàn)1:日本特開2002-185795號(hào)公報(bào)


【發(fā)明內(nèi)容】

[0008]發(fā)明要解決的課題
[0009]在上述專利文獻(xiàn)I所記載的方法中，有時(shí)將特定方向上連續(xù)的噪聲誤判定為邊緣、或?qū)⒈粩z體中存在的圖案誤判定為噪聲，從而存在引起分辨率的降低，并且不能充分進(jìn)行降噪的問題。
[0010]本發(fā)明正是為了解決上述問題點(diǎn)而完成的，其目的在于，能夠進(jìn)行降噪而不會(huì)降低分辨率。
[0011]用于解決課題的手段
[0012]本發(fā)明的圖像處理裝置的特征在于，所述圖像處理裝置將由多幀的時(shí)間序列構(gòu)成的動(dòng)態(tài)圖像作為輸入圖像，所述圖像處理裝置具有:多個(gè)一維低通濾波器，它們在以關(guān)注幀的關(guān)注像素為中心的由多個(gè)像素構(gòu)成的處理窗口內(nèi)，計(jì)算使用所述關(guān)注像素和相對(duì)于所述關(guān)注像素分別在相互不同的一維方向上排列的像素的低通濾波器值；周邊低通濾波器，其針對(duì)所述處理窗口輸出使用所述關(guān)注像素及其周圍像素的低通濾波器值，作為周邊低通濾波器值；代表值計(jì)算部，其根據(jù)所述關(guān)注幀的所述關(guān)注像素的像素值和所述關(guān)注幀以外的I個(gè)以上的幀中與所述關(guān)注像素對(duì)應(yīng)的位置的像素的像素值，求出與所述關(guān)注像素有關(guān)的代表值；噪聲電平檢測部，其計(jì)算各個(gè)所述一維方向的低通濾波器值與所述代表值的差分的絕對(duì)值，輸出所計(jì)算出的所述差分的絕對(duì)值中滿足規(guī)定條件的絕對(duì)值中的最小值，作為關(guān)注像素的噪聲電平；NR系數(shù)生成部，其接收所述噪聲電平，根據(jù)預(yù)先設(shè)定的輸入輸出特性生成與該噪聲電平對(duì)應(yīng)的降噪系數(shù)；以及NR處理部，其使用所述降噪系數(shù)對(duì)所述關(guān)注像素的像素值和所述周邊低通濾波器值進(jìn)行加權(quán)相加，在所述NR處理部中，所述降噪系數(shù)越大，則針對(duì)所述周邊低通濾波器值的權(quán)重越大。
[0013]發(fā)明效果
[0014]根據(jù)本發(fā)明，不區(qū)分原來的邊緣引起的像素值變化和噪聲，能夠?qū)χ苓叺屯V波器值與關(guān)注像素的像素值的混合比進(jìn)行調(diào)整，因此，能夠進(jìn)行降噪而不會(huì)降低分辨率，能夠得到高畫質(zhì)的圖像。

【專利附圖】

【附圖說明】
[0015]圖1是示出本發(fā)明的實(shí)施方式I的圖像處理裝置的框圖。
[0016]圖2是示出實(shí)施方式I的第ILPF的濾波處理的方法的說明圖。
[0017]圖3是示出實(shí)施方式I的第2LPF的濾波處理的方法的說明圖。
[0018]圖4是示出實(shí)施方式I的第4LPF的濾波處理的方法的說明圖。
[0019]圖5是示出實(shí)施方式I的第4LPF的濾波處理的方法的說明圖。
[0020]圖6是示出實(shí)施方式I的二維LPF的濾波處理的方法的說明圖。
[0021]圖7是示出實(shí)施方式I的NR系數(shù)生成部34的輸入輸出特性的一例的線圖。
[0022]圖8的(a)和(b)是示出實(shí)施方式I的降噪處理前后的圖像信號(hào)的說明圖。
[0023]圖9是示出本發(fā)明的實(shí)施方式2的圖像處理裝置的框圖。
[0024]圖10是示出實(shí)施方式2的校正系數(shù)生成部的輸入輸出特性的一例的線圖。
[0025]圖11是示出本發(fā)明的實(shí)施方式3的圖像處理裝置的框圖。
[0026]圖12是示出實(shí)施方式3的針對(duì)第2小的方向的噪聲電平和最小的方向的噪聲電平的第I插值系數(shù)的特性的一例的線圖。
[0027]圖13是示出實(shí)施方式3的針對(duì)最小的方向的噪聲電平的第2插值系數(shù)的特性的一例的圖。

【具體實(shí)施方式】
[0028]實(shí)施方式I
[0029]圖1示出本發(fā)明的實(shí)施方式I的圖像處理裝置的功能結(jié)構(gòu)。
[0030]圖示的圖像處理裝置例如將從未圖示的攝像元件等圖像輸入系統(tǒng)或圖像傳送系統(tǒng)供給的由多幀的時(shí)間序列構(gòu)成的動(dòng)態(tài)圖像作為輸入圖像。圖像由在水平方向(行方向)和垂直方向(縱方向)上即呈矩陣狀排列的像素構(gòu)成，輸入圖像數(shù)據(jù)由按照光柵順序排列表示構(gòu)成圖像的像素的像素值的數(shù)據(jù)而得到的數(shù)據(jù)構(gòu)成。
[0031]下面，假設(shè)如下情況:輸入圖像是從具備具有拜耳排列的顏色濾波器的像素的單板彩色數(shù)字照相機(jī)輸入的圖像，按照像素的排列順序依次從攝像元件輸入R、Gr, Gb、B的4個(gè)顏色的拍攝顏色的圖像信號(hào)。
[0032]圖示的圖像處理裝置具有行存儲(chǔ)器10、第I幀存儲(chǔ)器11和第2幀存儲(chǔ)器12、第I一維低通濾波器21?第4 一維低通濾波器24 (以下將低通濾波器稱作LPF)、二維低通濾波器(LPF) 25、中值濾波器30、噪聲電平檢測部32、NR系數(shù)生成部34、NR處理部36。
[0033]行存儲(chǔ)器10接收輸入圖像數(shù)據(jù)P(x，y)并保持規(guī)定行數(shù)的圖像數(shù)據(jù)。這里，規(guī)定行數(shù)N例如為17。
[0034]依次選擇行存儲(chǔ)器10保持的N行中的中央行中的像素作為關(guān)注像素，以選擇出的關(guān)注像素為中心將縱向N行、橫向M個(gè)像素的矩形區(qū)域作為處理窗口，該處理窗口內(nèi)的規(guī)定像素分別被輸出到第I 一維LPF21?第4 一維LPF24和二維LPF25。
[0035]在以下說明的例子中，M與N同是17。
[0036]從行存儲(chǔ)器10讀出的關(guān)注像素的輸入圖像數(shù)據(jù)相對(duì)于輸入到行存儲(chǔ)器10的輸入圖像數(shù)據(jù)大致具有(N/2)行的延遲，但是內(nèi)容相同，因此利用相同的符號(hào)P(x，y)表示。
[0037]第I幀存儲(chǔ)器11和第2幀存儲(chǔ)器12分別具有蓄積I幀圖像數(shù)據(jù)的容量，用作用于使行存儲(chǔ)器10保持的數(shù)據(jù)中的關(guān)注像素的數(shù)據(jù)分別延遲I幀期間進(jìn)行輸出的延遲部。其結(jié)果是，從第I幀存儲(chǔ)器11輸出當(dāng)前幀的I幀前的圖像數(shù)據(jù)，從第2幀存儲(chǔ)器12輸出當(dāng)前幀的2幀前的圖像數(shù)據(jù)。
[0038]一維LPF21?24針對(duì)以輸入圖像數(shù)據(jù)的關(guān)注像素為中心的由水平17像素、垂直17像素構(gòu)成的處理窗口，分別計(jì)算不同的一維方向(O度、45度、90度、135度)的LPF值La (X, y)、Lb (x, y)、Lc (x, y)、Ld (x, y)。
[0039]即，多個(gè)LPF21?24在以關(guān)注幀的關(guān)注像素為中心的由多個(gè)像素構(gòu)成的處理窗口內(nèi)，計(jì)算使用關(guān)注像素和相對(duì)于關(guān)注像素分別在相互不同的一維方向上排列的像素的低通濾波器值。
[0040]圖2示出針對(duì)處理窗口在O度方向的濾波處理中使用的像素。位于中心的像素是關(guān)注像素P(x，y)。在第1LPF21中，使用包含關(guān)注像素P(x，y)的在O度方向(水平方向)上排列的像素(施加斜線的像素)進(jìn)行濾波。
[0041]構(gòu)成輸入圖像的像素具有拜耳排列的顏色濾波器，在針對(duì)各關(guān)注像素進(jìn)行濾波處理的情況下，僅使用關(guān)注像素周圍的像素(窗口內(nèi)的像素)中的相同顏色的像素。以下說明的第2LPF22?第4LPF24和二維LPF25也是同樣的。
[0042]在第2LPF22中，如圖3所示，使用包含關(guān)注像素P(x，y)的在45度方向(相對(duì)于水平方向逆時(shí)針旋轉(zhuǎn)45度后的方向)上排列的像素(施加斜線的像素)進(jìn)行濾波。
[0043]在第3LPF23中，如圖4所示，使用包含關(guān)注像素P(x，y)的在90度方向(垂直方向)上排列的像素(施加斜線的像素)進(jìn)行濾波。
[0044]在第4LPF24中，如圖5所示，使用包含關(guān)注像素P(x，y)的在135度方向(相對(duì)于水平方向逆時(shí)針旋轉(zhuǎn)135度后的方向)上排列的像素(施加斜線的像素)進(jìn)行濾波。
[0045]在各個(gè)一維LPF21?24中，例如通過計(jì)算包含關(guān)注像素的一維方向的像素(濾波中使用的像素)的像素值的單純平均，計(jì)算各方向的平均像素值La(X，y)、Lb(x，y)、Lc(x，y)、Ld (x，y)，分別作為一維方向的LPF值進(jìn)行輸出。
[0046]二維LPF25使用以關(guān)注像素為中心的處理窗口內(nèi)的像素計(jì)算二維方向的LPF值。在實(shí)施方式I中，二維LPF25是周邊低通濾波器。
[0047]圖6利用斜線示出針對(duì)處理窗口的LPF運(yùn)算中使用的像素。在圖6所示的例子中，作為二維方向的LPF值，使用由17像素X 17像素構(gòu)成的處理窗口內(nèi)的關(guān)注像素和與關(guān)注像素相同顏色的像素，根據(jù)式(I)計(jì)算它們?nèi)康钠骄礟f (x，y)。

【權(quán)利要求】
1.一種圖像處理裝置，其特征在于， 所述圖像處理裝置將由多幀的時(shí)間序列構(gòu)成的動(dòng)態(tài)圖像作為輸入圖像， 所述圖像處理裝置具有: 多個(gè)一維低通濾波器，它們在以關(guān)注幀的關(guān)注像素為中心的由多個(gè)像素構(gòu)成的處理窗口內(nèi)，計(jì)算使用所述關(guān)注像素和相對(duì)于所述關(guān)注像素分別在相互不同的一維方向上排列的像素的低通濾波器值； 周邊低通濾波器，其針對(duì)所述處理窗口輸出使用所述關(guān)注像素及其周圍像素的低通濾波器值，作為周邊低通濾波器值； 代表值計(jì)算部，其根據(jù)所述關(guān)注幀的所述關(guān)注像素的像素值和所述關(guān)注幀以外的I個(gè)以上的幀中與所述關(guān)注像素對(duì)應(yīng)的位置的像素的像素值，進(jìn)行時(shí)間軸方向的濾波，由此求出與所述關(guān)注像素有關(guān)的代表值； 噪聲電平檢測部，其計(jì)算各個(gè)所述一維方向的低通濾波器值與所述代表值的差分的絕對(duì)值，輸出所計(jì)算出的所述差分的絕對(duì)值中滿足規(guī)定條件的絕對(duì)值中的最小值，作為關(guān)注像素的噪聲電平； NR系數(shù)生成部，其接收所述噪聲電平，根據(jù)預(yù)先設(shè)定的輸入輸出特性生成與該噪聲電平對(duì)應(yīng)的降噪系數(shù)；以及 NR處理部，其使用所述降噪系數(shù)對(duì)所述關(guān)注像素的像素值和所述周邊低通濾波器值進(jìn)行加權(quán)相加， 在所述NR處理部中，所述降噪系數(shù)越大，則針對(duì)所述周邊低通濾波器值的權(quán)重越大。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述代表值是中間值。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述代表值是平均值。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述代表值是由循環(huán)型濾波器計(jì)算出的值。
5.根據(jù)權(quán)利要求1?4中的任意一項(xiàng)所述的圖像處理裝置，其特征在于， 所述周邊低通濾波器值是二維低通濾波器值。
6.根據(jù)權(quán)利要求1?5中的任意一項(xiàng)所述的圖像處理裝置，其特征在于， 在所述處理窗口內(nèi)，僅選擇與所述代表值之差位于規(guī)定的電平差內(nèi)的像素值而求出各個(gè)低通濾波器值，從而得到所述一維低通濾波器和所述周邊低通濾波器。
7.根據(jù)權(quán)利要求1?6中的任意一項(xiàng)所述的圖像處理裝置，其特征在于， 所述圖像處理裝置還具有校正系數(shù)生成部，該校正系數(shù)生成部根據(jù)所述周邊低通濾波器值生成校正系數(shù)， 所述NR系數(shù)生成部根據(jù)由所述噪聲電平檢測部檢測到的噪聲電平和由所述校正系數(shù)生成部生成的校正系數(shù),生成所述NR系數(shù)。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置，其特征在于， 所述校正系數(shù)在所述周邊低通濾波器值低于規(guī)定值的范圍內(nèi)，隨著所述周邊低通濾波器值的減小而減小， 所述校正系數(shù)越小，則所述降噪系數(shù)越小。
9.根據(jù)權(quán)利要求1?8中的任意一項(xiàng)所述的圖像處理裝置，其特征在于， 所述噪聲電平檢測部計(jì)算各個(gè)所述一維方向的低通濾波器值與所述代表值的差分的絕對(duì)值，輸出所計(jì)算出的所述差分的絕對(duì)值中滿足規(guī)定條件的絕對(duì)值中的最小值和與其對(duì)應(yīng)的一維方向低通濾波器的方向以及第2小的值，作為關(guān)注像素的噪聲電平， 所述NR系數(shù)生成部根據(jù)所述最小值和與其對(duì)應(yīng)的一維方向低通濾波器的方向以及所述第2小的值，生成用于對(duì)所述關(guān)注像素的像素值、所述周邊低通濾波器值、所述多個(gè)一維低通濾波器值進(jìn)行加權(quán)相加的降噪系數(shù)， 所述NR處理部根據(jù)所述降噪系數(shù)，對(duì)所述關(guān)注像素的像素值、所述周邊低通濾波器值、所述多個(gè)一維低通濾波器值進(jìn)行加權(quán)相加。
10.根據(jù)權(quán)利要求1?9中的任意一項(xiàng)所述的圖像處理裝置，其特征在于， 所述輸入圖像包含多個(gè)顏色成分， 所述NR系數(shù)計(jì)算部按照所述輸入圖像的每個(gè)顏色成分，利用與所述輸入圖像的特性對(duì)應(yīng)的輸入輸出特性生成每個(gè)顏色成分的降噪系數(shù)。
11.根據(jù)權(quán)利要求7?9中的任意一項(xiàng)所述的圖像處理裝置，其特征在于， 所述輸入圖像包含多個(gè)顏色成分， 所述校正系數(shù)是按照所述輸入圖像的每個(gè)顏色成分而生成的， 利用根據(jù)所述輸入圖像的特性而不同的輸入輸出特性生成所述校正系數(shù)。
12.—種圖像處理方法，其特征在于， 將由多幀的時(shí)間序列構(gòu)成的動(dòng)態(tài)圖像作為輸入圖像， 所述圖像處理方法具有以下步驟: 多個(gè)一維低通濾波步驟，在以關(guān)注幀的關(guān)注像素為中心的由多個(gè)像素構(gòu)成的處理窗口內(nèi)，計(jì)算使用所述關(guān)注像素和相對(duì)于所述關(guān)注像素分別在相互不同的一維方向上排列的像素的低通濾波器值； 周邊低通濾波步驟，針對(duì)所述處理窗口輸出使用所述關(guān)注像素及其周圍像素的低通濾波器值，作為周邊低通濾波器值； 代表值計(jì)算步驟，根據(jù)所述關(guān)注幀的所述關(guān)注像素的像素值和所述關(guān)注幀以外的I個(gè)以上的幀中與所述關(guān)注像素對(duì)應(yīng)的位置的像素的像素值，求出與所述關(guān)注像素有關(guān)的代表值； 噪聲電平檢測步驟，計(jì)算各個(gè)所述一維方向的低通濾波器值與所述代表值的差分的絕對(duì)值，輸出所計(jì)算出的所述差分的絕對(duì)值中滿足規(guī)定條件的絕對(duì)值中的最小值，作為關(guān)注像素的噪聲電平； NR系數(shù)生成步驟，接收所述噪聲電平，根據(jù)預(yù)先設(shè)定的輸入輸出特性生成與該噪聲電平對(duì)應(yīng)的降噪系數(shù)；以及 NR處理步驟，使用所述降噪系數(shù)對(duì)所述關(guān)注像素的像素值和所述周邊低通濾波器值進(jìn)行加權(quán)相加， 在所述NR處理步驟中，所述降噪系數(shù)越大，則針對(duì)所述周邊低通濾波器值的權(quán)重越大。
13.根據(jù)權(quán)利要求12所述的圖像處理方法，其特征在于， 所述圖像處理方法還具有校正系數(shù)生成步驟，在該校正系數(shù)生成步驟中根據(jù)所述周邊低通濾波器值生成校正系數(shù)， 在所述NR系數(shù)生成步驟中，根據(jù)在所述噪聲電平檢測步驟中檢測到的噪聲電平和在所述校正系數(shù)生成步驟中生成的校正系數(shù)生成所述NR系數(shù)。
14.一種圖像處理程序，其中，該圖像處理程序用于使計(jì)算機(jī)執(zhí)行權(quán)利要求12或13的圖像處理方法的各步驟的處理。
【文檔編號(hào)】G06T5/00GK104205805SQ201380017115
【公開日】2014年12月10日 申請(qǐng)日期:2013年2月21日 優(yōu)先權(quán)日:2012年4月4日
【發(fā)明者】青木透, 橋本充夫, 的場成浩 申請(qǐng)人:三菱電機(jī)株式會(huì)社