Cmos圖像傳感器合并的低功耗實(shí)時(shí)降噪銳化預(yù)處理算法
【專利摘要】為解決現(xiàn)有技術(shù)CMOS圖像傳感器圖像預(yù)處理方法存在的將去噪和銳化算法分開執(zhí)行，算法復(fù)雜度較高，不利于節(jié)省硬件資源和減少總體功耗等問題，本發(fā)明提出一種CMOS圖像傳感器合并的低功耗實(shí)時(shí)降噪銳化預(yù)處理算法，采用彩色濾波陣列CFA把輸入的光信號(hào)分為紅綠藍(lán)RGB三基色，即RGB三種像素；采用片上分塊分類型存取數(shù)據(jù)的方式進(jìn)行數(shù)據(jù)緩存，采用空間自適應(yīng)降噪算法降低RGB像素的噪聲，將拉普拉斯算子和平滑算子結(jié)合起來生成一個(gè)新的算子模板并以此對(duì)G像素進(jìn)行銳化處理。本發(fā)明的有益技術(shù)效果是將降噪和銳化過程合并在一起，大大降低了復(fù)雜程度、硬件開銷和總體功耗，降低了硬件設(shè)計(jì)難度并提高了處理速度，且性能較好，利于實(shí)現(xiàn)。
【專利說明】CMOS圖像傳感器合并的低功耗實(shí)時(shí)降噪銳化預(yù)處理算法 發(fā)明領(lǐng)域
[0001] 本發(fā)明涉及數(shù)字圖像處理領(lǐng)域，尤其涉及一種CMOS圖像傳感器合并的低功耗實(shí) 時(shí)降噪銳化預(yù)處理算法。

【背景技術(shù)】
[0002] 目前的單片彩色CMOS圖像傳感器采用彩色濾波器陣列CFA進(jìn)行數(shù)字圖像處理，彩 色濾波陣列CFA把輸入光信號(hào)分為紅綠藍(lán)RGB三基色，再對(duì)三基色彩色信息進(jìn)行必要的片 上圖像預(yù)處理，就可以得到色彩逼真的彩色圖像。一般情況下，CMOS圖像傳感器經(jīng)過CFA 陣列感光后，將光信號(hào)通過像素單元轉(zhuǎn)化為電信號(hào)，然后，經(jīng)過一系列的模擬信號(hào)處理通路 (包括相關(guān)雙采樣CDS、信號(hào)放大、增益調(diào)節(jié)和模數(shù)轉(zhuǎn)換等）處理，不可避免得會(huì)在像素陣列 中產(chǎn)生噪聲，同時(shí)，由于CMOS器件感應(yīng)外界光源時(shí)暗電流所造成的隨機(jī)噪聲，都會(huì)對(duì)圖像 的質(zhì)量產(chǎn)生很大影響。因此，必須在進(jìn)行數(shù)據(jù)圖像處理之前將圖像的噪聲進(jìn)行抑制處理，尤 其需要在彩色圖像的插補(bǔ)算法以前進(jìn)行消噪，否則，噪聲的影響會(huì)擴(kuò)大到一個(gè)區(qū)域，使后續(xù) 的圖像處理算法失效。
[0003] 另外，圖像的能量主要集中在低頻部分，而噪聲主要在高頻段，同時(shí)圖像邊緣信息 也主要集中在其高頻部分。這將導(dǎo)致原始圖像在平滑處理之后，出現(xiàn)圖像邊緣和輪廓的模 糊。為了減少這類不利效果的影響，就需要利用圖像銳化技術(shù)使圖像的邊緣變得清晰。從頻 率域來考慮，圖像模糊的實(shí)質(zhì)是因?yàn)槠涓哳l分量被衰減，可以用高通濾波器來使圖像清晰， 但進(jìn)行銳化處理的圖像必須有較高的性噪比，否則，銳化后圖像性噪比反而更低，從而使得 噪聲增加的比信號(hào)還要多。因此，需要先去除或減輕噪聲后再進(jìn)行銳化處理。
[0004] 現(xiàn)有技術(shù)CMOS圖像傳感器圖像預(yù)處理方法將去噪和銳化算法分開執(zhí)行，盡管其 去噪和銳化效果較好，但算法復(fù)雜度較高，不利于節(jié)省硬件資源和減少總體功耗。同時(shí)，由 于CMOS圖像傳感器的片上硬件資源有限，不允許使用復(fù)雜度較高的算法。
[0005] 顯然，現(xiàn)有技術(shù)CMOS圖像傳感器圖像預(yù)處理方法存在著將去噪和銳化算法分開 執(zhí)行，算法復(fù)雜度較高，不利于節(jié)省硬件資源和減少總體功耗等問題。


【發(fā)明內(nèi)容】

[0006] 為解決現(xiàn)有技術(shù)CMOS圖像傳感器圖像預(yù)處理方法存在的將去噪和銳化算法分開 執(zhí)行，算法復(fù)雜度較高，不利于節(jié)省硬件資源和減少總體功耗等問題，本發(fā)明提出一種CMOS 圖像傳感器合并的低功耗實(shí)時(shí)降噪銳化預(yù)處理算法。本發(fā)明CMOS圖像傳感器合并的低功 耗實(shí)時(shí)降噪銳化預(yù)處理算法，采用彩色濾波陣列CFA把輸入的光信號(hào)分為紅綠藍(lán)RGB三基 色，即RGB三種像素；采用片上分塊分類型存取數(shù)據(jù)的方式進(jìn)行數(shù)據(jù)緩存，采用空間自適應(yīng) 降噪算法降低RGB像素的噪聲，將拉普拉斯算子和平滑算子結(jié)合起來生成一個(gè)新的算子模 板并以此對(duì)G像素進(jìn)行銳化處理。
[0007] 進(jìn)一步的，本發(fā)明CMOS圖像傳感器合并的低功耗實(shí)時(shí)降噪銳化預(yù)處理算法，所述 采用片上分塊分類型存取數(shù)據(jù)的方式進(jìn)行數(shù)據(jù)緩存，包括，將Bayer數(shù)據(jù)的RG或者GB兩種 行數(shù)據(jù)分別進(jìn)行存儲(chǔ)和讀取，并且，奇偶列的數(shù)據(jù)分別存儲(chǔ)在相應(yīng)的奇偶編號(hào)存儲(chǔ)器；數(shù)據(jù) 讀出時(shí)，存儲(chǔ)器中由低地址碼到高地址碼依次并行輸出，并根據(jù)算法需求具有可選擇性；在 數(shù)據(jù)讀出的同時(shí)，新存儲(chǔ)的Bayer數(shù)據(jù)依次串行分類型寫入低地址碼奇偶編號(hào)存儲(chǔ)器并刷 新原有的舊數(shù)據(jù)；依次類推，完直至成讀寫緩存過程。
[0008] 進(jìn)一步的，本發(fā)明CMOS圖像傳感器合并的低功耗實(shí)時(shí)降噪銳化預(yù)處理算法，所述 采用空間自適應(yīng)降噪算法降低RGB像素的噪聲，包括以下步驟；
[0009] S301、取RGB三基色中任一類型像素的任一像素點(diǎn)作為中心像素點(diǎn)，并將其與近 鄰空間的同類型周圍像素點(diǎn)進(jìn)行比較，得到最大值和最小值；其中，R或B像素取與中心像 素點(diǎn)有最近鄰空間關(guān)系的R或B像素點(diǎn)作為周圍像素點(diǎn)，G像素取與中心像素點(diǎn)有次近鄰 空間關(guān)系的G像素點(diǎn)作為周圍像素點(diǎn)；
[0010] S302、設(shè)置噪聲閾值，所述噪聲閾值主要由曝光增益和曝光時(shí)間來確定，其經(jīng)驗(yàn)算 法為：噪聲閾值=40 -曝光增益+曝光時(shí)間；針對(duì)不同幀像素陣列，該噪聲閾值是不同的， 但對(duì)于同一幀像素陣列的每個(gè)像素，該閾值是相同的；
[0011] S303、根據(jù)當(dāng)前中心像素值和噪聲閾值與最大值和最小值的關(guān)系，通過比較判斷， 將最大值或最小值賦給當(dāng)前中心像素點(diǎn)；
[0012] S304、選擇下一像素點(diǎn)作為中心像素點(diǎn)，重復(fù)執(zhí)行步驟S301至S303,直至完成該 類型所有像素點(diǎn)的降噪處理；
[0013] S305、針對(duì)另外二個(gè)類型的像素，重復(fù)執(zhí)行步驟S301至S304,直至完成一幀圖像 數(shù)據(jù)的降噪處理。
[0014] 進(jìn)一步的，本發(fā)明CMOS圖像傳感器合并的低功耗實(shí)時(shí)降噪銳化預(yù)處理算法，所述 根據(jù)當(dāng)前中心像素值和噪聲閾值與最大值和最小值的關(guān)系，通過比較判斷，將最大值或最 小值賦給當(dāng)前中心像素點(diǎn)，包括：
[0015] 如果當(dāng)前中心像素值小于最小值和降噪閾值的差，則將最小值賦給當(dāng)前中心像素 值，
[0016] 如果當(dāng)前中心像素值大于最大值和降噪閾值的和，則將最大值賦給當(dāng)前中心像素 值，
[0017] 如果當(dāng)前中心像素值介于最小值與降噪閾值差與最大值與降噪閾值的和之間，則 保持當(dāng)前中心像素值不變。
[0018] 進(jìn)一步的，本發(fā)明CMOS圖像傳感器合并的低功耗實(shí)時(shí)降噪銳化預(yù)處理算法，將拉 普拉斯算子和平滑算子結(jié)合起來生成一個(gè)新的算子模板并以此對(duì)G像素進(jìn)行銳化處理，包 括以下步驟：
[0019] S401、將拉普拉斯算子和平滑算子結(jié)合起來生成一個(gè)新的算子模板，即：

【權(quán)利要求】
1. 一種CMOS圖像傳感器合并的低功耗實(shí)時(shí)降噪銳化預(yù)處理算法，其特征在于，采用彩 色濾波陣列CFA把輸入的光信號(hào)分為紅綠藍(lán)RGB三基色，S卩RGB三種像素；采用片上分塊分 類型存取數(shù)據(jù)的方式進(jìn)行數(shù)據(jù)緩存，采用空間自適應(yīng)降噪算法降低RGB像素的噪聲，將拉 普拉斯算子和平滑算子結(jié)合起來生成一個(gè)新的算子模板并以此對(duì)G像素進(jìn)行銳化處理。
2. 根據(jù)權(quán)利要求1所述CMOS圖像傳感器合并的低功耗實(shí)時(shí)降噪銳化預(yù)處理算法，其特 征在于，所述采用片上分塊分類型存取數(shù)據(jù)的方式進(jìn)行數(shù)據(jù)緩存，包括，將Bayer數(shù)據(jù)的RG 或者GB兩種行數(shù)據(jù)分別進(jìn)行存儲(chǔ)和讀取，并且，奇偶列的數(shù)據(jù)分別存儲(chǔ)在相應(yīng)的奇偶編號(hào) 存儲(chǔ)器；數(shù)據(jù)讀出時(shí)，存儲(chǔ)器中由低地址碼到高地址碼依次并行輸出，并根據(jù)算法需求具有 可選擇性；在數(shù)據(jù)讀出的同時(shí)，新存儲(chǔ)的Bayer數(shù)據(jù)依次串行分類型寫入低地址碼奇偶編 號(hào)存儲(chǔ)器并刷新原有的舊數(shù)據(jù)；依次類推，完直至成讀寫緩存過程。
3. 根據(jù)權(quán)利要求1所述CMOS圖像傳感器合并的低功耗實(shí)時(shí)降噪銳化預(yù)處理算法，其特 征在于，所述采用空間自適應(yīng)降噪算法降低RGB像素的噪聲，包括以下步驟； 5301、 取RGB三基色中任一類型像素的任一像素點(diǎn)作為中心像素點(diǎn)，并將其與近鄰空 間的同類型周圍像素點(diǎn)進(jìn)行比較，得到最大值和最小值；其中，R或B像素取與中心像素點(diǎn) 有最近鄰空間關(guān)系的R或B像素點(diǎn)作為周圍像素點(diǎn)，G像素取與中心像素點(diǎn)有次近鄰空間 關(guān)系的G像素點(diǎn)作為周圍像素點(diǎn)； 5302、 設(shè)置噪聲閾值，所述噪聲閾值主要由曝光增益和曝光時(shí)間來確定，其經(jīng)驗(yàn)算法 為：噪聲閾值=40-曝光增益+曝光時(shí)間；針對(duì)不同幀像素陣列，該噪聲閾值是不同的，但 對(duì)于同一幀像素陣列的每個(gè)像素，該閾值是相同的； 5303、 根據(jù)當(dāng)前中心像素值和噪聲閾值與最大值和最小值的關(guān)系，通過比較判斷，將最 大值或最小值賦給當(dāng)前中心像素點(diǎn)； 5304、 選擇下一像素點(diǎn)作為中心像素點(diǎn)，重復(fù)執(zhí)行步驟S301至S303,直至完成該類型 所有像素點(diǎn)的降噪處理； 5305、 針對(duì)另外二個(gè)類型的像素，重復(fù)執(zhí)行步驟S301至S304,直至完成一幀圖像數(shù)據(jù) 的降噪處理。
4. 根據(jù)權(quán)利要求3所述CMOS圖像傳感器合并的低功耗實(shí)時(shí)降噪銳化預(yù)處理算法，其特 征在于，所述根據(jù)當(dāng)前中心像素值和噪聲閾值與最大值和最小值的關(guān)系，通過比較判斷，將 最大值或最小值賦給當(dāng)前中心像素點(diǎn)，包括： 如果當(dāng)前中心像素值小于最小值和降噪閾值的差，則將最小值賦給當(dāng)前中心像素值， 如果當(dāng)前中心像素值大于最大值和降噪閾值的和，則將最大值賦給當(dāng)前中心像素值， 如果當(dāng)前中心像素值介于最小值與降噪閾值差與最大值與降噪閾值的和之間，則保持 當(dāng)前中心像素值不變。
5. 根據(jù)權(quán)利要求1所述CMOS圖像傳感器合并的低功耗實(shí)時(shí)降噪銳化預(yù)處理算法，其特 征在于，將拉普拉斯算子和平滑算子結(jié)合起來生成一個(gè)新的算子模板并以此對(duì)G像素進(jìn)行 銳化處理，包括以下步驟： S401、將拉普拉斯算子和平滑算子結(jié)合起來生成一個(gè)新的算子模板，即：
5402、 設(shè)當(dāng)前需要處理的像素為則對(duì)應(yīng)的周圍最近鄰的同類型像素陣列為
，設(shè)銳化因子為b，則銳化處理后的當(dāng)前像素點(diǎn)的值為 式中，Y為銳化處理后的當(dāng)前像素點(diǎn)的像素值，H為新的算子模板，b為銳化因子，該銳 化因子為經(jīng)驗(yàn)正數(shù)值，其數(shù)值大小取決于銳化效果，增大該因子可以使銳化效果更為明顯， 對(duì)于整幀的所有像素，取值是相同的； 5403、 確定整幀所有像素中的最大值，該最大值等于; 5404、 如果銳化過的當(dāng)前像素點(diǎn)的Y值小于最大值，則保持當(dāng)前像素點(diǎn)為Y值；如果銳 化過的當(dāng)前像素點(diǎn)的Y值大于最大值，則將當(dāng)前像素點(diǎn)的Y值賦值為最大值；如果銳化過的 當(dāng)前像素點(diǎn)的Y值小于〇,則就將當(dāng)前像素點(diǎn)的Y值賦值為〇 ; 5405、 重復(fù)執(zhí)行步驟S402至S404,直至完成一幀圖像數(shù)據(jù)G像素的銳化處理。
6.根據(jù)權(quán)利要求1所述CMOS圖像傳感器合并的低功耗實(shí)時(shí)降噪銳化預(yù)處理算法，其特 征在于，該預(yù)處理算法包括以下步驟： 51、 采用彩色濾波陣列CFA把輸入的光信號(hào)分為紅綠藍(lán)RGB三基色，S卩RGB三種像素； 52、 采用片上分塊分類型存取數(shù)據(jù)的方式進(jìn)行數(shù)據(jù)緩存，即將Bayer數(shù)據(jù)的RG或者GB 兩種行數(shù)據(jù)分別進(jìn)行存儲(chǔ)和讀取，并且，奇偶列的數(shù)據(jù)分別存儲(chǔ)在相應(yīng)的奇偶編號(hào)存儲(chǔ)器； 數(shù)據(jù)讀出時(shí)，存儲(chǔ)器中由低地址碼到高地址碼依次并行輸出，并根據(jù)需求選擇性輸出R、G 和B數(shù)據(jù)；在數(shù)據(jù)讀出的同時(shí)，新存儲(chǔ)的Bayer數(shù)據(jù)依次串行分類型寫入低地址碼奇偶編號(hào) 存儲(chǔ)器并刷新原有的舊數(shù)據(jù)；依次類推，完直至成讀寫緩存過程； 53、 采用空間自適應(yīng)降噪算法降低RGB像素的噪聲，包括： 5301、 取RGB三基色中任一類型像素的任一像素點(diǎn)作為中心像素點(diǎn)，并將其與近鄰空 間的同類型周圍像素點(diǎn)進(jìn)行比較，得到最大值和最小值；其中，R或B像素取與中心像素點(diǎn) 有最近鄰空間關(guān)系的R或B像素點(diǎn)作為周圍像素點(diǎn)，G像素取與中心像素點(diǎn)有次近鄰空間 關(guān)系的G像素點(diǎn)作為周圍像素點(diǎn)； 5302、 設(shè)置噪聲閾值，所述噪聲閾值主要由曝光增益和曝光時(shí)間來確定，其經(jīng)驗(yàn)算法 為：噪聲閾值=40-曝光增益+曝光時(shí)間；針對(duì)不同幀像素陣列，該噪聲閾值是不同的，但 對(duì)于同一幀像素陣列的每個(gè)像素，該閾值是相同的； 5303、 根據(jù)當(dāng)前中心像素值和噪聲閾值與最大值和最小值的關(guān)系，通過比較判斷，將最 大值或最小值賦給當(dāng)前中心像素點(diǎn)；包括： 如果當(dāng)前中心像素值小于最小值和降噪閾值的差，則將最小值賦給當(dāng)前中心像素值， 如果當(dāng)前中心像素值大于最大值和降噪閾值的和，則將最大值賦給當(dāng)前中心像素值， 如果當(dāng)前中心像素值介于最小值與降噪閾值差與最大值與降噪閾值的和之間，則保持 當(dāng)前中心像素值不變； 5304、 選擇下一像素點(diǎn)作為中心像素點(diǎn)，重復(fù)執(zhí)行步驟S301至303,直至完成該類型所 有像素點(diǎn)的降噪處理； 5305、 針對(duì)另外二個(gè)類型的像素，重復(fù)執(zhí)行步驟S301至S304,直至完成一幀圖像數(shù)據(jù) 的降噪處理； 54、 將拉普拉斯算子和平滑算子結(jié)合起來生成一個(gè)新的算子模板并以此對(duì)G像素進(jìn)行 銳化處理，包括以下步驟： 5401、 將拉普拉斯算子和平滑算子結(jié)合起來生成一個(gè)新的算子模板，即：
5402、 設(shè)當(dāng)前需要處理的像素為,則對(duì)應(yīng)的周圍最近鄰的同類型像素陣列為
，設(shè)銳化因子為b，則銳化處理后的當(dāng)前像素點(diǎn)的值為 式中，Y為銳化處理后的當(dāng)前像素點(diǎn)的像素值，H為新的算子模板，b為銳化因子，該銳 化因子為經(jīng)驗(yàn)正數(shù)值，其數(shù)值大小取決于銳化效果，增大該因子可以使銳化效果更為明顯， 對(duì)于整幀的所有像素，取值是相同的； 5403、 確定整幀所有像素中的最大值，該最大值等于; 5404、 如果銳化過的當(dāng)前像素點(diǎn)的Y值小于最大值，則保持當(dāng)前像素點(diǎn)為Y值；如果銳 化過的當(dāng)前像素點(diǎn)的Y值大于最大值，則將當(dāng)前像素點(diǎn)的Y值賦值為最大值；如果銳化過的 當(dāng)前像素點(diǎn)的Y值小于〇,則就將當(dāng)前像素點(diǎn)的Y值賦值為〇 ; 5405、 重復(fù)執(zhí)行步驟S402至S404,直至完成一幀圖像數(shù)據(jù)G像素的銳化處理； 55、 輸出經(jīng)降噪和銳化后的圖像數(shù)據(jù)，完成一幀圖像數(shù)據(jù)的預(yù)處理。
【文檔編號(hào)】G06T5/00GK104376534SQ201410550745
【公開日】2015年2月25日 申請(qǐng)日期:2014年10月17日 優(yōu)先權(quán)日:2014年10月17日
【發(fā)明者】李明, 吳治軍, 李夢(mèng)萄, 李毅強(qiáng), 鄧光平, 任思偉, 劉昌舉 申請(qǐng)人:中國電子科技集團(tuán)公司第四十四研究所