信號處理設(shè)備、信號處理方法和信號處理程序的制作方法
【技術(shù)領(lǐng)域】
[0001]本公開涉及一種適用于圖像捕獲設(shè)備(諸如在夜間基于紅外光照射來捕獲圖像的監(jiān)控照相機(jī)和民用便攜式攝像機(jī))的信號處理設(shè)備、信號處理方法和信號處理程序。
【背景技術(shù)】
[0002]監(jiān)控照相機(jī)一般具有兩種功能，這兩種功能是在白天捕獲圖像的白天模式和在夜間捕獲圖像的夜間模式。白天模式是捕獲正常的彩色圖像的功能。另一方面，在夜間模式下，為了在夜間在黑暗的環(huán)境中捕獲圖像，投射紅外光(紅外線)并捕獲該紅外光的反射光。以這種方式，即使在沒有可見光的環(huán)境下，也可以獲取清晰的圖像(在下文中稱為紅外圖像)。
[0003]然而，在通過與可見光不同的紅外光捕獲圖像中，不能獲取顏色信息。因此，圖像通常基于紅外光的明亮度以灰色或綠色的單色顯示在顯示設(shè)備上。
[0004]另一方面，監(jiān)控照相機(jī)用于在監(jiān)控區(qū)中監(jiān)視可疑人員或可疑物體。為了標(biāo)識它們，顏色信息(諸如人的衣服的顏色和車輛的顏色)是極其重要的。然而，當(dāng)在黑暗時間(諸如夜間)通過正常顏色模式捕獲圖像時，噪聲和對象的信號強(qiáng)度處于同一水平而難以區(qū)分它們。
[0005]為了解決這些問題，使用以上提及的通過紅外光照射的夜間模式。然而，通過紅外光照射而獲得的圖像是無法區(qū)分對象的顏色的單色圖像，盡管該圖像與在白天捕獲的圖像一樣清晰。
[0006]此外，除了監(jiān)控照相機(jī)之外，數(shù)字?jǐn)z像機(jī)、便攜式攝像機(jī)等也具有在黑暗時間通過紅外光照射來捕獲圖像的功能。在這樣的設(shè)備中，需要給紅外圖像著色來獲得自然圖像。
[0007]關(guān)于上述問題，例如，專利文獻(xiàn)I公開了用于當(dāng)由于環(huán)境而導(dǎo)致不存在可見光時對紅外圖像增添顏色的技術(shù)。就該技術(shù)而言，具有不同波長的三種類型的紅外光被用作將要投射在對象上的紅外光，以基于物質(zhì)(樹脂)對紅外光的反射特性與該物質(zhì)對可見光的反射特性之間的差異(相關(guān)性)來估計(jì)對象的顏色。然而，就該技術(shù)而言，通過使用多個光源及其光譜系統(tǒng)，很有可能會提高成本，并且顏色估計(jì)精度不足夠高。
[0008]另一方面，當(dāng)使用在環(huán)境中略有余留的可見光時，可以通過設(shè)計(jì)信號處理方法來用常規(guī)的照相機(jī)系統(tǒng)在一定程度上執(zhí)行顏色再現(xiàn)。作為該技術(shù)的例子，在數(shù)字照相機(jī)中，提出了用于在通過在黑暗時間投射紅外光而捕獲的圖像(夜間攝影)上再現(xiàn)自然顏色的技術(shù)(例如，參見專利文獻(xiàn)2)。在該技術(shù)中，當(dāng)照相機(jī)檢測到照相機(jī)系統(tǒng)變?yōu)橐归g模式時，使用與在正常彩色圖像捕獲模式下使用的參數(shù)表不同的參數(shù)表。該參數(shù)表用于白平衡調(diào)整。從而即使當(dāng)可見光和紅外光混合時也執(zhí)行適當(dāng)?shù)念伾佻F(xiàn)。
[0009]引文列表
[0010]專利文獻(xiàn)
[0011]專利文獻(xiàn)1:日本特開N0.2011-50049
[0012]專利文獻(xiàn)2:日本特開N0.2005-130317

【發(fā)明內(nèi)容】

[0013]本發(fā)明要解決的問題
[0014]然而，就所述技術(shù)而言，因?yàn)閷Π梢姽夂图t外光的分量的混合信號執(zhí)行與正常顏色信號處理類似的處理，所以引起由于紅外信號分量所致的顏色偏移和對整個畫面著色等，難以正確地執(zhí)行顏色再現(xiàn)。而且，沒有充分地考慮各種光源下的魯棒性(對于環(huán)境變化的抵抗性)。
[0015]在上述情況下，期望一種用于對通過使用可見光和紅外光而捕獲的圖像更正確地執(zhí)行顏色再現(xiàn)的技術(shù)。
[0016]問題的解決方案
[0017]在本公開的一方面，首先，獲取通過色差順序方式從圖像傳感器輸出的多個像素信號，已經(jīng)通過濾色器陣列的光入射到所述圖像傳感器上，所述濾色器陣列包括多個互補(bǔ)色濾色器。然后，對所述多個像素信號設(shè)置消去根據(jù)所述多個像素信號來計(jì)算色差信號的計(jì)算式中的與預(yù)定紅外波長對應(yīng)的項(xiàng)的參數(shù)。之后，使用應(yīng)用所述參數(shù)的計(jì)算式來計(jì)算通過執(zhí)行所述多個像素信號的加法處理而獲得的亮度信號和通過執(zhí)行所述多個像素信號之間的減法處理而獲得的色差信號。
[0018]在本公開的另一方面，首先，獲取從圖像傳感器輸出的多個像素信號，已經(jīng)通過濾色器陣列的光入射到所述圖像傳感器上，所述濾色器陣列包括多個原色濾色器。然后，對所述多個像素信號設(shè)置消去根據(jù)所述多個像素信號來計(jì)算色差信號的計(jì)算式中的與預(yù)定紅外波長對應(yīng)的項(xiàng)的參數(shù)。之后，使用應(yīng)用所述參數(shù)的計(jì)算式將所述多個像素信號轉(zhuǎn)換為通過執(zhí)行所述多個像素信號的加法處理而獲得的亮度信號和通過執(zhí)行所述多個像素信號之間的減法處理而獲得的色差信號。
[0019]在本公開的一個方面和其他方面，在根據(jù)從圖像傳感器輸出的多個像素信號來計(jì)算色差信號的計(jì)算式中，設(shè)置消去與預(yù)定紅外波長對應(yīng)的項(xiàng)的參數(shù)。通過使用該計(jì)算式，可以從色差信號排除與目標(biāo)紅外波長對應(yīng)的信號分量。
[0020]本發(fā)明的效果
[0021]在根據(jù)本公開的實(shí)施例中的至少一個中，可以改進(jìn)顏色飽和度和色調(diào)再現(xiàn)精度，并且可以對通過使用可見光和紅外光而捕獲的圖像更精確地執(zhí)行顏色再現(xiàn)。
【附圖說明】
[0022]圖1是示出使用配備有常規(guī)的互補(bǔ)色濾色器的圖像傳感器的圖像捕獲設(shè)備的示例性配置的功能框圖。
[0023]圖2是例示圖像傳感器所配備的互補(bǔ)色濾色器的示圖。
[0024]圖3A和3B是例示在夜間模式下捕獲圖像的示圖。圖3A示出在夜間模式下捕獲圖像所使用的光的波長，圖3B示出IR截止濾光器的光譜透射特性。
[0025]圖4是示出配備有互補(bǔ)色濾色器的圖像傳感器的光譜響應(yīng)特性的例子的示圖。
[0026]圖5是示出根據(jù)本公開的第一實(shí)施例的圖像捕獲設(shè)備的示例性配置的框圖。
[0027]圖6是示出使用配備有常規(guī)的原色濾色器的圖像傳感器的圖像捕獲設(shè)備的示例性配置的功能框圖。
[0028]圖7是示出根據(jù)本公開的第二實(shí)施例的圖像捕獲設(shè)備的示例性配置的框圖。
[0029]圖8是示出配備有原色濾色器的圖像傳感器的光譜響應(yīng)特性的例子的示圖。
[0030]圖9是示出根據(jù)本公開的第三實(shí)施例的圖像捕獲設(shè)備的示例性配置的框圖。
[0031]圖10是示出計(jì)算機(jī)的硬件的示例性配置的框圖。
【具體實(shí)施方式】
[0032]在下文中，將描述實(shí)現(xiàn)本公開的技術(shù)的配置的例子(在下文中稱為“實(shí)施例”)。在本說明書和附圖中，通過將相同的標(biāo)號分配給具有基本相同的功能或配置的構(gòu)成要素來省略冗余描述。描述的次序如下:
[0033]1.介紹性描述
[0034]2.第一實(shí)施例(信號處理器:應(yīng)用于配備有互補(bǔ)色濾色器的圖像傳感器的實(shí)施例的例子)
[0035]3.第二實(shí)施例(信號處理器:應(yīng)用于配備有原色濾色器的圖像傳感器的實(shí)施例的例子)
[0036]4.第三實(shí)施例(信號處理器:配備有降噪器的實(shí)施例的例子)
[0037]5.第四實(shí)施例(當(dāng)僅有環(huán)境紅外光存在時的情況的例子)
[0038]〈1.介紹性描述〉
[0039]本公開是在對紅外線照射圖像進(jìn)行著色的信號處理設(shè)備中在各種光源下都可以更精確地執(zhí)行顏色再現(xiàn)的技術(shù)，該紅外線照射圖像是在可見光略有余留的環(huán)境下通過夜間模式捕獲的。
[0040]在下文中，在描述本公開的技術(shù)之前，將描述目前的用于對在黑暗環(huán)境下通過使用投射紅外光而捕獲的圖像執(zhí)行顏色再現(xiàn)的技術(shù)。將描述如下內(nèi)容:例如，在使用配備有包括多個互補(bǔ)色濾色器的濾色器陣列(分色濾色器)的圖像傳感器的圖像捕獲設(shè)備中，當(dāng)用常規(guī)的信號處理步驟以及信號處理對包括可見光和紅外光的分量的混合信號進(jìn)行處理時所引起的問題。在以下描述中，包括多個互補(bǔ)色濾色器的濾色器陣列也被稱為分色濾色器。
[0041]圖1是示出使用配備有常規(guī)的互補(bǔ)色濾色器的圖像傳感器的圖像捕獲設(shè)備的示例性配置的功能框圖。圖2是例示互補(bǔ)色濾色器的示圖。
[0042]圖1中所示的圖像捕獲設(shè)備100是使用顏色補(bǔ)償型圖像傳感器113的照相機(jī)系統(tǒng)(諸如通用監(jiān)控照相機(jī)和通用數(shù)字照相機(jī))，顏色補(bǔ)償型圖像傳感器113包括設(shè)置在前表面上的濾色器陣列112。在圖2中所示的濾色器陣列112上，四種顏色，即黃色(Ye)、青色(Cy)、品紅(Mg)和綠色(G)的互補(bǔ)色濾色器布置在預(yù)定位置上。
[0043]圖像捕獲設(shè)備100包括:光學(xué)透鏡111、圖像傳感器113、缺陷校正/噪聲去除器114、YC1C2提取器115以及RGB計(jì)算器116，圖像傳感器113的前表面上設(shè)置有濾色器陣列112。此外，圖像捕獲設(shè)備100包括白平衡單元117、伽瑪校正器118、YCbCr轉(zhuǎn)換器119和色度校正器120。
[0044]圖像傳感器113使用與每個像素對應(yīng)的光電轉(zhuǎn)換元件來對已經(jīng)通過濾色器陣列112的互補(bǔ)色濾色器的每種顏色分量光進(jìn)行光電轉(zhuǎn)換，并將轉(zhuǎn)換的信號作為像素信號輸出。使用(XD、CMOS等的成像元件可應(yīng)用于圖像傳感器113。通常，配備有濾色器陣列112的圖像傳感器113采用色差順序方式來讀取信號以使得能夠進(jìn)行NTSC方式的隔行讀取。在色差順序方式中，在垂直方向上相鄰的像素彼此相加之后從圖像傳感器113讀取像素?cái)?shù)據(jù)。此時，通過從偶數(shù)隔行場的讀取移動一行來執(zhí)行奇數(shù)隔行場的讀取。從而，例如在偶數(shù)場中，(Mg+Cy)和(Ye+G)的信號以及(Cy+G)和(Mg+Ye)的信號每隔一行交替地輸出。
[0045]如圖1中所示，在缺陷校正之后，缺陷校正/噪聲去除器114對讀取的信號執(zhí)行噪聲去除等，YC1C2提取器115根據(jù)計(jì)算式(1-1)中所示的計(jì)算式來計(jì)算亮度信號Y和色差信號C1、C2。色差信號C1、C2可以是偽色差信號Cb、Cr。在下文中，亮度信號Y縮寫為“Y”或“信號Y”。類似地，色差信號Cl和色差信號C2分別縮寫為“Cl”或“信號Cl”和“C2”或“信號C2”。
[0046](數(shù)學(xué)公式1-1)
[0047]Y = Mg+Cy+Ye+G
[0048]Cl = (Mg+Cy) - (Ye+G) = 2B-G
[0049]C2 = (Mg+Ye) - (Cy+G) = 2R-G
[0050]通過簡單地將與四種類型的互補(bǔ)色濾色器對應(yīng)的信號相加來轉(zhuǎn)換信號Y，通過在列方向上相鄰的兩種類型的信號相減來計(jì)算信號Cl、C2。假定在原色信號中，紅色信號是R，綠色信號是 G，藍(lán)色信號是 B，Mg = R+B，Ye = R+G，而 Cy = B+G，則 Cl = 2B - G，C2 = 2R -G，因此，Cl和C2分別大致對應(yīng)于YCbCr顏色空間中的Cb、Cr。
[0051]針對濾色器陣列112的每一個2X2矩陣(G, Cy, Ye, Mg)計(jì)算數(shù)據(jù)Y、C1和C2。然而，因?yàn)獒槍γ恳恍袃H計(jì)算數(shù)據(jù)Cl和C2中的某一個，所以通過從上行和下行的每個數(shù)據(jù)值進(jìn)行插值來確定其他數(shù)據(jù)。
[0052]接著，RGB計(jì)算器116將以上信號Y、C1、C2轉(zhuǎn)換為信號R、G、B (原色分離)。通常使用計(jì)算式(1-2)中所示的轉(zhuǎn)換計(jì)算式。這等同于計(jì)算式(1-1)的聯(lián)立計(jì)算式關(guān)于R、G和B的解。
[0053](數(shù)學(xué)公式1-2)
[0054]R = 0.l*Y-0.l*Cl+0.4*C2
[0055]G = 0.2*Y-0.2*C1_0.2*C2
[0056]B = 0.1*Υ+0.4*C1_0.1*C2
[0057]如稍后所描述的，在這些計(jì)算式中，特征點(diǎn)如下:Y的系數(shù)在R和G以及B和G之間已翻倍。當(dāng)對包括可見光和紅外光的分量的混合信號進(jìn)行處理時，這一點(diǎn)引起問題。白平衡單元117對由RGB計(jì)算器116計(jì)算的信號R、G、B執(zhí)行顏色校正。然后，伽瑪校正器118、YCbCr轉(zhuǎn)換器119和色度校正器120對信號R、G、B進(jìn)行處理，最后，這些信號R、G、B輸出到圖像捕獲設(shè)備100的外部。
[0058]接著，下面將描述當(dāng)使用上述常規(guī)的圖像捕獲設(shè)備100對包括可見光和紅外光的分量的混合信號進(jìn)行處理時引起的問題。<