圖像處理設(shè)備、圖像處理方法及程序的制作方法
【專利摘要】提供一種用于對基于RGBW排列的圖像進(jìn)行降噪處理和缺陷補(bǔ)償處理的設(shè)備和方法。在包括R、G和B各顏色像素和白色(W)像素的基于RGBW排列的圖像數(shù)據(jù)的顏色像素的像素值補(bǔ)償處理中，在作為補(bǔ)償目標(biāo)的關(guān)注像素的位置處和參考區(qū)域內(nèi)與關(guān)注像素具有相同顏色的參考像素的位置處插入W像素，基于插入W像素的各像素值計(jì)算平滑權(quán)重，從而通過執(zhí)行應(yīng)用所計(jì)算出的平滑權(quán)重的平滑處理來計(jì)算關(guān)注像素的補(bǔ)償像素值。此外，通過在該顏色像素的附近應(yīng)用W像素來確定該顏色像素是否處于紋理區(qū)域中，并且只要該顏色像素不在紋理中，就執(zhí)行缺陷補(bǔ)償處理。
【專利說明】圖像處理設(shè)備、圖像處理方法及程序

【技術(shù)領(lǐng)域】
[0001] 本公開涉及一種圖像處理設(shè)備、圖像處理方法及程序，尤其涉及對構(gòu)成圖像的缺 陷像素或包括噪聲的像素進(jìn)行補(bǔ)償?shù)膱D像處理設(shè)備、圖像處理方法及程序。

【背景技術(shù)】
[0002] 對于攝像設(shè)備（諸如數(shù)字照相機(jī)）中的攝像元件中使用的濾色器，例如，在大多數(shù) 情況下使用排列有紅色（R)、綠色（G)和藍(lán)色（B)的拜耳（Bayer)排列，但是已經(jīng)提出了具 有包括全部波長透過型白色（W)像素的RGBW排列的濾色器，除了 R、G和B色以外，這種濾 色器還包括紅、綠和藍(lán)的全部波長區(qū)域。
[0003] 然而，在使用RGBW排列濾色器捕獲的并且具有白色（W)像素的圖像中包括如下降 噪處理問題。與白色（W)像素相比，R、G、B等像素靈敏度低并且噪聲量大，此外，可用于計(jì) 算作為降噪目標(biāo)的關(guān)注像素的補(bǔ)償像素值的參考像素的數(shù)量，即，與補(bǔ)償目標(biāo)像素具有相 同顏色的參考像素的樣本數(shù)量少。因此，存在如下問題：即使執(zhí)行了參照具有相同顏色的像 素的降噪（noise reduction, NR)處理，也不能獲得顯著降噪效果。
[0004] 此外，如果目的是致力于噪聲隨光的強(qiáng)度變化的模型（如散射噪聲），那么這會引 起平滑強(qiáng)度由于停留在像素本身上的噪聲而顯著變化以及信號水平下降的問題。
[0005] 此外，由于在白色（W)排列中顏色像素采樣位置散布在缺陷補(bǔ)償中，所以難以區(qū) 分缺陷和紋理，并且存在不能獲得足夠的補(bǔ)償效果的問題。
[0006] 另外，作為已公開的與降低圖像中的噪聲有關(guān)的現(xiàn)有技術(shù)，例如存在專利文獻(xiàn) 1(日本未審查的專利申請公報(bào)2003-224861號）、專利文獻(xiàn)2 (日本未審查的專利申請公報(bào) 2011-76186 號）等。
[0007] 專利文獻(xiàn)1(日本未審查的專利申請公報(bào)2003-224861號）公開了一種結(jié)構(gòu)，其中 通過根據(jù)亮度信號（Y)的頻率分量強(qiáng)度減小每個區(qū)域的色差信號（C)的頻率分量來降低噪 聲。然而，該技術(shù)即使在亮度信號（Y)和色差信號（C)之間沒有關(guān)系的點(diǎn)處也基于Y信號 進(jìn)行C信號中的噪聲降低，因而擔(dān)心在幾乎不發(fā)生亮度變化（如顏色紋理）的點(diǎn)處，也將失 去色差?目號。
[0008] 在專利文獻(xiàn)2(日本未審查的專利申請公報(bào)2011-76186號）中，公開了一種使用 W像素進(jìn)行紋理方向的確定并且基于該確定的結(jié)果進(jìn)行缺陷補(bǔ)償?shù)募夹g(shù)。專利文獻(xiàn)2公開 了對W像素進(jìn)行缺陷補(bǔ)償?shù)募夹g(shù)，但是沒有公開對W以外的顏色像素進(jìn)行補(bǔ)償?shù)姆椒?。?夕卜，由于各種方向確定處理需經(jīng)過參考二維平面上的上、下、左、右方向的像素的二維處理， 所以存在算術(shù)運(yùn)算成本增加的問題。
[0009] 引用列表
[0010] 專利文獻(xiàn)
[0011] 專利文獻(xiàn)1 :日本未審查的專利申請公報(bào)2003-224861號
[0012] 專利文獻(xiàn)2 :日本未審查的專利申請公報(bào)2011-76186號


【發(fā)明內(nèi)容】

[0013] 技術(shù)問題
[0014] 鑒于上述問題，本公開的目的是提供一種圖像處理設(shè)備、圖像處理方法及程序，該 圖像處理設(shè)備、圖像處理方法及程序用于降低在通過裝配有全部波長透過型白色（W)像素 的濾色器所捕獲的圖像中所包括的噪聲或者進(jìn)行缺陷補(bǔ)償。
[0015] 解決問題的方案
[0016] 本公開的第一方面提供一種圖像處理設(shè)備，包括：信號處理單元，用于執(zhí)行像素值 補(bǔ)償，其中所述信號處理單元輸入RGBW排列的圖像數(shù)據(jù)，所述RGBW排列具有R、G、B各顏色 像素和透過R、G和B各波長的幾乎全部波長光的白色（W)像素，并且其中在顏色像素的像 素值補(bǔ)償處理中，所述信號處理單元在作為補(bǔ)償目標(biāo)的關(guān)注像素的位置處和參考區(qū)域內(nèi)與 所述關(guān)注像素具有相同顏色的參考像素的位置處插入W像素，基于插入W像素的各像素值 計(jì)算平滑權(quán)重，從而通過執(zhí)行應(yīng)用所計(jì)算出的平滑權(quán)重的平滑處理來計(jì)算所述關(guān)注像素的 補(bǔ)償像素值。
[0017] 在根據(jù)本公開的圖像處理設(shè)備的一個實(shí)施例中，所述信號處理單元可以確定所述 插入W像素的像素值中是否存在一個或多個飽和像素值，并且如果所述插入W像素的像素 值中不存在飽和像素值，則所述信號處理單元可以通過執(zhí)行應(yīng)用基于所述插入W像素的各 像素值計(jì)算出的平滑權(quán)重的平滑處理來計(jì)算所述關(guān)注像素的補(bǔ)償像素值，并且如果在所述 插入W像素的像素值中存在飽和像素值，則所述信號處理單元可以通過執(zhí)行應(yīng)用基于作為 所述補(bǔ)償目標(biāo)的所述關(guān)注像素和所述參考區(qū)域內(nèi)與所述關(guān)注像素具有相同顏色的所述參 考像素的各像素值計(jì)算出的平滑權(quán)重的平滑處理而不應(yīng)用所述插入W像素來計(jì)算所述關(guān) 注像素的補(bǔ)償像素值。
[0018] 在根據(jù)本公開的圖像處理設(shè)備的一個實(shí)施例中，所述信號處理單元可以執(zhí)行以下 處理：在所述參考區(qū)域?yàn)槎S區(qū)域的情況下，在位于二維區(qū)域的參考區(qū)域中的與所述關(guān)注 像素具有相同顏色的參考像素的位置處插入W像素。
[0019] 在根據(jù)本公開的圖像處理設(shè)備的一個實(shí)施例中，所述信號處理單元可以執(zhí)行以下 處理：在所述參考區(qū)域作為一維區(qū)域的情況下，在位于一維區(qū)域的參考區(qū)域中的與所述關(guān) 注像素具有相同顏色的參考像素的位置處插入W像素。
[0020] 在根據(jù)本公開的圖像處理設(shè)備的一個實(shí)施例中，所述信號處理單元可以執(zhí)行像素 值補(bǔ)償作為用于降低所述關(guān)注像素中包括的噪聲的降噪（NR)處理。
[0021] 在根據(jù)本公開的圖像處理設(shè)備的一個實(shí)施例中，所述信號處理單元可以確定缺陷 可能性，即，確定是否存在所述顏色像素是缺陷像素的可能性，其中所述信號處理單元可以 通過應(yīng)用被確定具有缺陷可能性的顏色像素附近的W像素來執(zhí)行確定所述顏色像素是否 處于紋理區(qū)域中的紋理檢測處理，并且如果在所述紋理檢測處理中確定所述顏色像素處于 所述紋理區(qū)域中，則所述信號處理單元可以不執(zhí)行缺陷補(bǔ)償處理，并且如果在所述紋理檢 測處理中確定所述顏色像素不處于所述紋理區(qū)域中，則所述信號處理單元可以執(zhí)行所述缺 陷補(bǔ)償處理。
[0022] 在根據(jù)本公開的圖像處理設(shè)備的一個實(shí)施例中，在所述紋理檢測處理中，所述信 號處理單元可以通過應(yīng)用距被確定具有缺陷可能性的顏色像素最近的W像素和該最近W像 素外側(cè)的W像素之間的像素值的差來確定所述顏色像素是否處于所述紋理區(qū)域中。
[0023] 本公開的第二方面提供一種圖像處理方法，用于在圖像處理裝置中執(zhí)行像素值補(bǔ) 償，其中所述圖像處理裝置的信號處理單元進(jìn)行以下步驟：輸入RGBW排列的圖像數(shù)據(jù)，所 述RGBW排列具有R、G和B各顏色像素以及透過R、G和B各波長的幾乎全部波長光的白色 (W)像素；在顏色像素的像素值補(bǔ)償處理中，在作為補(bǔ)償目標(biāo)的關(guān)注像素的位置處和參考 區(qū)域內(nèi)與所述關(guān)注像素具有相同顏色的參考像素的位置處插入W像素；基于所述插入W像 素的每個像素值計(jì)算平滑權(quán)重；以及通過執(zhí)行應(yīng)用所計(jì)算出的平滑權(quán)重的平滑處理來計(jì)算 所述關(guān)注像素的補(bǔ)償像素值。
[0024] 本公開的第三方面提供一種程序，該程序用于在圖像處理設(shè)備中執(zhí)行像素值補(bǔ) 償，該程序使所述圖像處理設(shè)備的信號處理單元進(jìn)行以下步驟：輸入RGBW排列的圖像數(shù) 據(jù)，所述RGBW排列具有R、G和B各顏色像素以及透過R、G和B各波長的幾乎全部波長光 的白色（W)像素；在顏色像素的像素值補(bǔ)償處理中，在作為補(bǔ)償目標(biāo)的關(guān)注像素的位置處 和參考區(qū)域內(nèi)與所述關(guān)注像素具有相同顏色的參考像素的位置處插入W像素；基于所述插 入W像素的各像素值計(jì)算平滑權(quán)重；以及通過執(zhí)行應(yīng)用所計(jì)算出的平滑權(quán)重的平滑處理來 計(jì)算所述關(guān)注像素的補(bǔ)償像素值。
[0025] 此外，例如可以使用以計(jì)算機(jī)可讀形式提供的存儲介質(zhì)或者通信介質(zhì)將根據(jù)本公 開的程序提供給能夠執(zhí)行各種程序代碼的信息處理設(shè)備或者計(jì)算機(jī)系統(tǒng)。通過以計(jì)算機(jī)可 讀形式提供這種程序，在該信息處理設(shè)備或計(jì)算機(jī)系統(tǒng)上實(shí)現(xiàn)根據(jù)該程序的處理。
[0026] 通過下面描述的根據(jù)本公開的示例或者基于附圖的更詳細(xì)的描述，根據(jù)本公開的 其他目的、特征和優(yōu)點(diǎn)變得明顯。此外，本說明書中的系統(tǒng)被配置為多個設(shè)備的邏輯組合， 并且每個配置中的設(shè)備不局限于在同一外殼內(nèi)。
[0027] 發(fā)明的有益效果
[0028] 利用根據(jù)本公開的示例的配置，實(shí)現(xiàn)了用于對RGBW排列的圖像執(zhí)行降噪處理和 缺陷補(bǔ)償處理的設(shè)備和方法。
[0029] 具體來說，在具有R、G和B各顏色像素和白色（W)像素的RGBW排列構(gòu)成圖像數(shù) 據(jù)的顏色像素的像素值補(bǔ)償處理中，在作為補(bǔ)償目標(biāo)的關(guān)注像素的位置處和參考區(qū)域內(nèi)與 關(guān)注像素具有相同顏色的參考像素的位置處插入W像素，基于插入W像素的各像素值計(jì)算 平滑權(quán)重，從而通過執(zhí)行應(yīng)用所計(jì)算出的平滑權(quán)重的平滑處理來計(jì)算關(guān)注像素的補(bǔ)償像素 值。此外，通過應(yīng)用顏色像素附近的W像素，確定顏色像素是否存在于紋理區(qū)域中，只要顏 色像素不在紋理中，就執(zhí)行缺陷補(bǔ)償處理。
[0030] 利用這種處理，實(shí)現(xiàn)了用于對RGBW排列的圖像執(zhí)行降噪處理和缺陷補(bǔ)償處理的 設(shè)備和方法。

【專利附圖】

【附圖說明】
[0031] 圖1是用于描述RGBW排列的示例的圖。
[0032] 圖2是用于描述RGBW排列中顏色像素密度降低的圖。
[0033] 圖3是用于描述在根據(jù)本公開的圖像處理設(shè)備中執(zhí)行的降噪處理的具體示例的 圖。
[0034] 圖4是用于描述在根據(jù)本公開的圖像處理設(shè)備中執(zhí)行的降噪處理中應(yīng)用的平滑 函數(shù)的具體示例的圖。
[0035] 圖5是用于描述在根據(jù)本公開的圖像處理設(shè)備中執(zhí)行的降噪處理的具體示例的 圖。
[0036] 圖6是用于描述使用W像素獲得平滑強(qiáng)度的優(yōu)點(diǎn)的圖。
[0037] 圖7是用于描述針對根據(jù)本公開的圖像處理設(shè)備中執(zhí)行的降噪處理中飽和的W像 素的策略的圖。
[0038] 圖8是用于描述如果逐行使用一維（1D)數(shù)據(jù)執(zhí)行插入W像素的分配和補(bǔ)償則必 須執(zhí)行的處理示例的圖。
[0039] 圖9是示出用于描述在根據(jù)本公開的圖像處理設(shè)備中執(zhí)行的降噪處理的具體順 序的流程圖。
[0040] 圖10是用于描述RGBW排列示例的圖。
[0041] 圖11是用于描述缺陷補(bǔ)償處理概要的圖。
[0042] 圖12是用于描述像素缺陷的一般檢測處理的示例的圖。
[0043] 圖13是用于描述像素缺陷的一般檢測處理的示例的圖。
[0044] 圖14是用于描述根據(jù)本公開的圖像處理設(shè)備中執(zhí)行的用于從圖像檢測紋理的處 理的一個示例的圖。
[0045] 圖15是示出用于描述根據(jù)本發(fā)明的圖像處理設(shè)備中執(zhí)行的缺陷補(bǔ)償處理的處理 順序的流程圖。
[0046] 圖16是用于描述根據(jù)本公開的圖像處理設(shè)備的配置和處理的圖。
[0047] 圖17是用于描述根據(jù)本公開的圖像處理設(shè)備的配置和處理的圖。
[0048] 圖18是用于描述根據(jù)本公開的圖像處理設(shè)備的配置和處理的圖。

【具體實(shí)施方式】
[0049] 下面參照附圖詳細(xì)描述根據(jù)本公開的圖像處理設(shè)備、圖像處理方法及程序。此外， 將按照下列標(biāo)題進(jìn)行描述。
[0050] 1.包括全部波長透過型W(白色）像素的像素排列
[0051] 2.通過在作為補(bǔ)償目標(biāo)的顏色像素的像素位置處插入W像素并且應(yīng)用插入的W像 素來計(jì)算顏色像素的補(bǔ)償像素值的處理示例
[0052] 3.在作為缺陷補(bǔ)償目標(biāo)的顏色像素的補(bǔ)償處理中根據(jù)應(yīng)用W像素的紋理檢測結(jié) 果進(jìn)行缺陷補(bǔ)償?shù)奶幚硎纠?br> [0053] 4.圖像處理設(shè)備的配置示例
[0054] 4-1.圖像處理設(shè)備的配置示例1
[0055] 4-2.圖像處理設(shè)備的配置示例2
[0056] 4-3.圖像處理設(shè)備的配置示例3
[0057] 5.本公開的配置的結(jié)論
[0058] [1.包括全部波長透過型W(白色）像素的像素排列]
[0059] 首先，描述包括全部波長透過型W(白色）像素的像素排列的示例，S卩，根據(jù)本公開 的圖像處理設(shè)備中用于捕獲作為降噪處理或缺陷補(bǔ)償處理目標(biāo)的圖像的攝像元件的像素 排列的示例。
[0060] 如上所述，在諸如數(shù)字照相機(jī)的攝像設(shè)備中，已知將R、G和B顏色排列為攝像元件 中使用的濾色器的拜耳排列，但是近來提出了具有RGBW排列的濾色器，RGBW排列包括允許 R、G和B顏色的幾乎全部波長范圍中的R、G和B顏色的光透過的全部波長透過型W(白色） 像素。
[0061] RGBW排列的具體示例是圖1的（a)至（d)中示出的RGBW排列。此外，作為參考示 例，圖1的（e)不出作為一般GRB排列的拜耳排列。
[0062] 已經(jīng)提出了如圖1所示的各自具有W像素的各種排列，但是與現(xiàn)有技術(shù)中的拜耳 排列相比，使用W像素會降低R、G和B顏色的顏色像素密度。
[0063] 在大多數(shù)情況下，作為用于降低圖像中包括的噪聲的處理，進(jìn)行如下處理：選擇與 降噪目標(biāo)像素（關(guān)注像素）具有相同顏色的鄰近像素為參考像素；并且使用參考像素的像 素值計(jì)算降噪像素的補(bǔ)償像素值。
[0064] 然而，例如，與圖1的（e)中所示的拜耳排列相比，圖1的（a)至（d)中所示的RGBW 排列中的R、G和B像素的密度降低。因此，在進(jìn)行補(bǔ)償處理以對每個R、G和B像素進(jìn)行降 噪的情況下可使用的參考像素，即，與補(bǔ)償目標(biāo)像素具有相同顏色并且可用于參考的鄰近 像素的數(shù)量減少。也就是說，每單位區(qū)域具有相同顏色的顏色像素的數(shù)量減少。結(jié)果，出現(xiàn) 不能使用數(shù)量足夠的參考像素的像素值和補(bǔ)償精度下降的問題。
[0065] 參考圖2描述具體示例。
[0066] 圖2是示出圖1的（a)和圖1的（c)中所示的每個RGBW像素排列中的7 X 7像素 區(qū)域的圖。
[0067] 例如，在圖2的（a)中，7X7像素區(qū)域中的中心像素（B)被設(shè)置為關(guān)注像素，S卩，降 噪目標(biāo)像素。將中心是關(guān)注像素的7X7像素區(qū)域設(shè)置為中心是關(guān)注像素的參考區(qū)域。執(zhí) 行以下處理：通過選擇與參考區(qū)域中所包括的關(guān)注像素具有相同顏色的像素作為參考像素 并且使用該參考像素的像素值來計(jì)算關(guān)注像素的補(bǔ)償像素值，即，降噪像素值。
[0068] 然而，如圖2的（a)中所示，在7X7像素參考區(qū)域中，僅包括4個與作為中心像素 的B像素具有相同顏色的B像素。
[0069] 此外，在進(jìn)行降噪處理的情況下，例如通過分配取決于作為補(bǔ)償目標(biāo)像素的關(guān)注 像素與參考像素之間的像素值的差的權(quán)重并且執(zhí)行加權(quán)相加等，來執(zhí)行用于計(jì)算關(guān)注像素 的補(bǔ)償像素值的處理。也就是說，執(zhí)行用于改變關(guān)注像素的像素值的補(bǔ)償處理（即，所謂的 平滑處理），以使得關(guān)注像素以及關(guān)注像素附近與關(guān)注像素具有相同顏色的參考像素的像 素值平滑。然而，當(dāng)參考像素的數(shù)量少時，例如，在補(bǔ)償目標(biāo)像素或參考像素中僅包括一個 錯誤像素或者其他情況時，也存在計(jì)算出不自然的補(bǔ)償像素值的趨勢變強(qiáng)的問題。
[0070] 對于圖2的（c)中所示的像素排列或者對于包括RGBW排列的其他排列也是如此。 此外，在B像素以外的R和G像素中，也存在如下問題：與RGB像素排列相比，在RGBW排列 中每單位區(qū)域具有相同顏色的像素的數(shù)量較少，并且補(bǔ)償精度由于可用于計(jì)算補(bǔ)償像素值 的參考像素的數(shù)量減少而下降。
[0071] [2.通過在作為補(bǔ)償目標(biāo)的顏色像素的像素位置處插入W像素并且應(yīng)用插入的W 像素來計(jì)算顏色像素的補(bǔ)償像素值的處理示例]
[0072] 接下來，描述通過在作為補(bǔ)償目標(biāo)的顏色像素的像素位置處插入W像素并且應(yīng)用 插入的W像素來計(jì)算顏色像素的補(bǔ)償像素值的處理的示例，作為根據(jù)本公開的圖像處理設(shè) 備中執(zhí)行的圖像噪聲降低處理的示例。
[0073] 例如，如上所述，在圖1的（a)至（d)或者圖2的（a)和（c)中所示的RGBW排列 中，與圖1的（e)中所示的僅配置RGB像素的拜耳排列相比，R、G和B顏色像素的像素密度 降低。
[0074] 例如，在圖2中所示的中心為關(guān)注像素的由7X7像素配置的參考區(qū)域中，與作為 補(bǔ)償目標(biāo)的處于中心的關(guān)注像素具有相同顏色的像素?cái)?shù)量少，并且在參考具有相同顏色 的、數(shù)量少的像素的補(bǔ)償處理中補(bǔ)償精度降低。
[0075] 在根據(jù)本公開的圖像處理設(shè)備中，通過在作為補(bǔ)償目標(biāo)的顏色像素的像素位置處 插入W像素并且應(yīng)用插入的W像素，來計(jì)算顏色像素的補(bǔ)償像素值。下面參考圖3及后續(xù) 圖描述該處理的示例。
[0076] 圖3的（1)中的捕獲圖像（馬賽克圖像）是與圖2的（a)具有相同排列的圖像， 并且表示攝像元件的RGBW排列的輸出圖像。該攝像元件的輸出圖像的每個像素只被設(shè)置 為R、G、B和W之一的像素值。
[0077] 此外，這種圖像被稱為馬賽克圖像（mosaic image)。將R、G和B的像素值分配給 馬賽克圖像中的每個像素位置的處理被稱為去馬賽克處理，并且例如在數(shù)字照相機(jī)中，將 通過執(zhí)行去馬賽克處理而將RGB像素值分配給每個像素位置的圖像存儲在存儲器中并且 在顯示器上顯示該圖像。
[0078] 圖3中示出對圖3的（1)所示的且在去馬賽克處理之前存在的馬賽克圖像執(zhí)行基 于像素的降噪處理的示例。
[0079] 圖3中的示例示出通過設(shè)置其中心像素為補(bǔ)償目標(biāo)像素（即，降噪目標(biāo)）的7X7 像素參考區(qū)域來計(jì)算補(bǔ)償目標(biāo)像素的補(bǔ)償像素值的情況。在圖3的示例中，將作為該7X7 像素參考區(qū)域的中心的B像素（B0)設(shè)置為補(bǔ)償目標(biāo)像素，并且計(jì)算B像素（B0)的補(bǔ)償像 素值。
[0080] 首先，從參考區(qū)域中選擇與補(bǔ)償目標(biāo)像素具有相同顏色的像素。圖3的（1)中所 示的四個像素 Bl、B2、B3和Μ被選擇作為參考像素。
[0081] 例如，在執(zhí)行現(xiàn)有技術(shù)中的降噪處理的情況下，即，在執(zhí)行通過進(jìn)行取決于作為補(bǔ) 償目標(biāo)像素的關(guān)注像素與參考像素之間的像素值差的加權(quán)加法等來計(jì)算關(guān)注像素的補(bǔ)償 像素值的、所謂的平滑處理的情況下，執(zhí)行如下補(bǔ)償像素值（Β0'）的計(jì)算。
[0082] BO' = ρ(Β0)|Β0-Β0|+q(Β1)|Β0-Β11+r(Β2)|Β0-Β2|+s(Β3)|Β0-Β3|+t (Β4)|Β0-Β4 .....(等式a)
[0083] 在上述（等式a)中，p、q、r、S和t是取決于關(guān)注像素與參考像素之間的像素值差 的權(quán)重（平滑權(quán)重），并且例如預(yù)先規(guī)定用于定義圖4所示的曲線的平滑函數(shù)，并且根據(jù)該 平滑函數(shù)設(shè)置p、q、r、s和t。
[0084] 這樣，如果執(zhí)行降噪處理，例如多次執(zhí)行所謂的平滑處理，所述平滑處理通過執(zhí)行 取決于作為補(bǔ)償目標(biāo)像素的關(guān)注像素與參考像素之間的像素值差的加權(quán)加法等來計(jì)算關(guān) 注像素的補(bǔ)償像素值。然而，在參考像素的數(shù)量少且執(zhí)行取決于關(guān)注像素與參考像素之間 的像素值差的加權(quán)加法的情況下，例如，即使在僅包括一個錯誤像素時，也會出現(xiàn)該錯誤像 素的影響增加并且計(jì)算出不自然的補(bǔ)償像素值而沒有進(jìn)行最理想的平滑化的情形。
[0085] 在降噪處理（即，根據(jù)本公開的圖像處理設(shè)備對關(guān)注像素執(zhí)行的像素值補(bǔ)償處 理）中，估計(jì)作為補(bǔ)償目標(biāo)的關(guān)注像素（B0)和四個參考像素（B1至M)的各位置的W像素 值。也就是說，對作為補(bǔ)償目標(biāo)的關(guān)注像素（BO)和四個參考像素（B1至Μ)的各像素位置 執(zhí)行W像素插入處理。該W像素插入處理可通過在插入像素位置附近設(shè)置W像素作為參考 像素的插入處理來執(zhí)行。
[0086] 在圖3所示的RGBW排列中，被示出為參考像區(qū)域的7X7像素的大約一半由W像 素配置，并且W像素的像素密度最高。例如，在關(guān)注像素（Β0)和四個參考像素（Β1至M) 五個像素位置每個位置附近，在上方、下方、左方和右方鄰近地存在四個W像素。在每個插 入像素位置，例如，計(jì)算四個w像素的像素值的平均值，并進(jìn)而確定插入W像素的W像素值。 替代地，可以通過插入處理計(jì)算插入像素值，在該插入處理中，例如通過加權(quán)加法等來考慮 邊緣方向，其中大的權(quán)重被分配給像素值的梯度減小的方向上的像素。
[0087] 如圖3的⑵所示的插入圖像中，插入W像素（W0至W5)分別被分配給作為補(bǔ)償 目標(biāo)的關(guān)注像素（Β0)和四個參考像素（Β1至Β4)的像素位置。
[0088] 通過應(yīng)用插入W像素的W像素值來計(jì)算作為補(bǔ)償目標(biāo)的關(guān)注像素（Β0)在降噪之 后得到的補(bǔ)償像素值。
[0089] 具體來說，如圖5所示，通過應(yīng)用使用插入的W像素值計(jì)算出的平滑強(qiáng)度來計(jì)算補(bǔ) 償像素值。
[0090] 例如，根據(jù)下面示出的（等式1)計(jì)算關(guān)注像素的補(bǔ)償像素值ΙΝΚ(ρ)。
[0091] [公式 1]
[0092]

【權(quán)利要求】
1. 一種圖像處理設(shè)備，包括： 信號處理單元，用于執(zhí)行像素值補(bǔ)償， 其中，所述信號處理單元輸入RGBW排列的圖像數(shù)據(jù)，所述RGBW排列具有R、G、B各顏色 像素以及透過R、G和B各波長的幾乎全部波長光的白色（W)像素，并且 其中，在顏色像素的像素值補(bǔ)償處理中，所述信號處理單元在作為補(bǔ)償目標(biāo)的關(guān)注像 素的位置處和參考區(qū)域內(nèi)與所述關(guān)注像素具有相同顏色的參考像素的位置處插入W像素， 基于插入W像素的各像素值計(jì)算平滑權(quán)重，從而通過執(zhí)行應(yīng)用所計(jì)算出的平滑權(quán)重的平滑 處理來計(jì)算所述關(guān)注像素的補(bǔ)償像素值。
2. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，所述信號處理單元確定所述插入W像素的像素值中是否存在一個或多個飽和像 素值， 其中，如果所述插入W像素的像素值中不存在飽和像素值，則所述信號處理單元通過 執(zhí)行應(yīng)用如下平滑權(quán)重的平滑處理來計(jì)算所述關(guān)注像素的補(bǔ)償像素值：該平滑權(quán)重是基于 所述插入W像素的各像素值而計(jì)算出的，并且 其中，如果在所述插入W像素的像素值中存在飽和像素值，則所述信號處理單元通過 執(zhí)行應(yīng)用如下平滑權(quán)重的平滑處理而不應(yīng)用所述插入W像素來計(jì)算所述關(guān)注像素的補(bǔ)償 像素值：該平滑權(quán)重是基于作為所述補(bǔ)償目標(biāo)的關(guān)注像素和所述參考區(qū)域內(nèi)與所述關(guān)注像 素具有相同顏色的所述參考像素的各像素值而計(jì)算出的。
3. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，所述信號處理單元執(zhí)行以下處理：在所述參考區(qū)域?yàn)槎S區(qū)域的情況下，在位于 二維區(qū)域的參考區(qū)域中的與所述關(guān)注像素具有相同顏色的參考像素的位置處插入W像素。
4. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，所述信號處理單元執(zhí)行以下處理：在所述參考區(qū)域?yàn)橐痪S區(qū)域的情況下，在位于 一維區(qū)域的參考區(qū)域中的與所述關(guān)注像素具有相同顏色的參考像素的位置處插入W像素。
5. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，所述信號處理單元執(zhí)行所述像素值補(bǔ)償作為用于減少所述關(guān)注像素中所包括的 噪聲的降噪（NR)處理。
6. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，所述信號處理單元確定缺陷可能性，即，確定是否存在所述顏色像素是缺陷像素 的可能性， 其中，所述信號處理單元通過應(yīng)用被確定具有缺陷可能性的顏色像素附近的W像素， 來執(zhí)行用于確定所述顏色像素是否處于紋理區(qū)域中的紋理檢測處理， 其中，在所述紋理檢測處理中，如果確定所述顏色像素處于所述紋理區(qū)域中，則所述信 號處理單元不執(zhí)行缺陷補(bǔ)償處理，并且 其中，在所述紋理檢測處理中，如果確定所述顏色像素不處于所述紋理區(qū)域中，則所述 信號處理單元執(zhí)行所述缺陷補(bǔ)償處理。
7. 根據(jù)權(quán)利要求6所述的圖像處理設(shè)備， 其中，在所述紋理檢測處理中，所述信號處理單元通過應(yīng)用距被確定具有缺陷可能性 的顏色像素最近的W像素與該最近的W像素外側(cè)的W像素之間的像素值之差，來確定所述 顏色像素是否處于所述紋理區(qū)域中。
8. -種用于在圖像處理裝置中執(zhí)行像素值補(bǔ)償?shù)膱D像處理方法，其中所述圖像處理裝 置的信號處理單元執(zhí)行如下步驟： 輸入RGBW排列的圖像數(shù)據(jù)，所述RGBW排列具有R、G和B各顏色像素以及透過R、G和 B各波長的幾乎全部波長光的白色（W)像素； 在顏色像素的像素值補(bǔ)償處理中，在作為補(bǔ)償目標(biāo)的關(guān)注像素的位置處和參考區(qū)域內(nèi) 與所述關(guān)注像素具有相同顏色的參考像素的位置處插入W像素； 基于插入W像素的各像素值計(jì)算平滑權(quán)重；以及 通過執(zhí)行應(yīng)用所計(jì)算出的平滑權(quán)重的平滑處理來計(jì)算所述關(guān)注像素的補(bǔ)償像素值。
9. 一種用于在圖像處理設(shè)備中執(zhí)行像素值補(bǔ)償?shù)某绦?，所述程序使所述圖像處理設(shè)備 的信號處理單元執(zhí)行以下步驟： 輸入RGBW排列的圖像數(shù)據(jù)，所述RGBW排列具有R、G和B各顏色像素以及透過R、G和 B各波長的幾乎全部波長光的白色（W)像素； 在顏色像素的像素值補(bǔ)償處理中，在作為補(bǔ)償目標(biāo)的關(guān)注像素的位置處和參考區(qū)域內(nèi) 與所述關(guān)注像素具有相同顏色的參考像素的位置處插入W像素； 基于插入W像素的各像素值計(jì)算平滑權(quán)重；以及 通過執(zhí)行應(yīng)用所計(jì)算出的平滑權(quán)重的平滑處理來計(jì)算所述關(guān)注像素的補(bǔ)償像素值。
【文檔編號】H04N5/367GK104067611SQ201280067385
【公開日】2014年9月24日 申請日期:2012年11月29日 優(yōu)先權(quán)日:2012年1月24日
【發(fā)明者】館真透 申請人:索尼公司