專利名稱：圖像處理設(shè)備、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備、圖像處理方法和程序。
背景技術(shù)：
拍攝戶外圖像等的廣域監(jiān)視攝像機(jī)主要要求以下三個(gè)條件。所要求的第一個(gè)條件是即使在對(duì)象由于霧、靄等而難以被看到的拍攝條件下也能夠清楚地拍攝所關(guān)注的對(duì)象。 第二個(gè)條件是即使在具有低亮度的暗環(huán)境下也能拍攝對(duì)象。第三個(gè)條件是獲得彩色圖像， 因?yàn)樵谠S多情況下通過(guò)諸如衣服的顏色的顏色信息進(jìn)行識(shí)別可能是重要的。將要說(shuō)明在使用具有過(guò)去的單芯片彩色攝像裝置的攝像機(jī)的情況下，滿足或不滿足以上三個(gè)條件的狀態(tài)。首先，將要解釋第一條件。為了清楚地對(duì)對(duì)象成像，對(duì)象的反射光可以在沒(méi)有減弱的狀態(tài)下到達(dá)攝像機(jī)的攝像裝置是很重要的。在對(duì)象的反射光行進(jìn)到攝像機(jī)的空間中，存在空氣( 分子等)、濕氣(諸如霧)、氣懸微粒(諸如煙霧、沙塵等)。這些物體對(duì)光進(jìn)行散射并且妨礙清楚地拍攝。根據(jù)瑞利散射公式，在空氣懸浮微粒小到直徑0. 37nm的空氣分子或煙霧的一部分的情況下，散射強(qiáng)度與光波長(zhǎng)的負(fù)四次方成比例。此外，米氏理論(Mie theory)將適用于霧的顆粒尺寸約為直徑IOOOnm到50 μ m等的情況，并且散射強(qiáng)度與光波長(zhǎng)的0到約負(fù)二次方成比例。在波長(zhǎng)400nm到700nm的可見(jiàn)光范圍內(nèi)，特別是藍(lán)光或綠光的波長(zhǎng)趨向于更加被散射，并且藍(lán)光或綠光波長(zhǎng)不會(huì)到達(dá)攝像機(jī)。因此，由接收可見(jiàn)光的攝像機(jī)拍攝的圖像接近人眼可以看到的狀態(tài)，并且遠(yuǎn)距離的對(duì)象將會(huì)由于低能見(jiàn)度而變得模糊。之后，將要解釋第二條件。因?yàn)閱涡酒噬珨z像裝置在光探測(cè)器前方安裝有紅色、 綠色、藍(lán)色濾光片，所以光探測(cè)器對(duì)于紅色、綠色和藍(lán)色中每個(gè)顏色的敏感度將會(huì)比單色攝像裝置的敏感度更低。為了補(bǔ)償在具有低亮度的暗環(huán)境中成像的低敏感度，存在用于臨時(shí)避免在攝像裝置前方設(shè)置頂截止濾光片并且用于用紅外光照射對(duì)象的方法(例如，夜景模式成像)。然而，在紅外成像中，難以拍攝彩色圖像，并且也難以改善靈敏度，這主要是因?yàn)樵诩t外成像中它必須穿過(guò)在光探測(cè)器前方的紅色、綠色和藍(lán)色濾光片。另一方面，單芯片單色攝像裝置能夠比單芯片彩色攝像裝置拍攝具有更高靈敏度和更高空間分辨率的圖像。然而，因?yàn)閱紊珨z像裝置不能夠獲得顏色信息，所以上述第三條件不能夠被滿足。

發(fā)明內(nèi)容
JP 2007-184805A公開(kāi)了這樣一種技術(shù)該技術(shù)從含有可見(jiàn)光和紅外光的圖像數(shù)據(jù)提取亮度信息以再現(xiàn)使顏色信息和亮度信息都最佳的彩色圖像，從排除紅外成分之后的可見(jiàn)圖像提取彩色信息，并將亮度信息和彩色信息合成。然而，因?yàn)槠湓谔崛×炼刃畔r(shí)使用包含可見(jiàn)光的圖像數(shù)據(jù)，所以JP 2007-184805A具有不能滿足上述第一條件來(lái)拍攝清晰的對(duì)象的問(wèn)題。
考慮到上述問(wèn)題，期望提供一種新穎和改良的圖像處理設(shè)備、圖像處理方法和程序，并且這種圖像處理設(shè)備、圖像處理方法和程序即使在物體由于霧霾而無(wú)法看到的拍攝條件下或者在具有低亮度的暗環(huán)境下也能夠?qū)?duì)象進(jìn)行拍攝，并且能夠獲得彩色圖像。根據(jù)本發(fā)明的實(shí)施例，提供了一種圖像處理設(shè)備，包括圖像獲取單元，其從僅由可見(jiàn)光區(qū)域中的波長(zhǎng)成分構(gòu)成彩色圖像數(shù)據(jù)以及不含有可見(jiàn)光區(qū)域中的波長(zhǎng)成分并僅由可見(jiàn)光區(qū)域之外的波長(zhǎng)成分構(gòu)成的單色圖像數(shù)據(jù)；顏色信息提取單元，其從彩色圖像數(shù)據(jù)提取顏色信息；亮度信息提取單元，其從單色圖像數(shù)據(jù)提取亮度信息；合成單元，其將所提取的顏色信息和所提取的亮度信息合成以產(chǎn)生復(fù)合圖像數(shù)據(jù)。彩色圖像數(shù)據(jù)可以僅由比預(yù)定值更短的波長(zhǎng)成分構(gòu)成，并且單色圖像數(shù)據(jù)可以僅由比該預(yù)定值更長(zhǎng)的波長(zhǎng)成分構(gòu)成。彩色圖像數(shù)據(jù)可以含有在400nm到700nm的范圍內(nèi)的波長(zhǎng)成分，并且，單色圖像數(shù)據(jù)可以含有在700nm到IOOOnm的范圍內(nèi)的波長(zhǎng)成分。彩色圖像數(shù)據(jù)可以含有在短波長(zhǎng)側(cè)的半值波長(zhǎng)在420nm到460nm的范圍內(nèi)并且在長(zhǎng)波長(zhǎng)側(cè)的半值波長(zhǎng)在eiOnm到650nm的范圍內(nèi)的波長(zhǎng)成分，并且單色圖像數(shù)據(jù)可以含有在短波長(zhǎng)側(cè)的半值波長(zhǎng)在650nm到750nm的范圍內(nèi)的波長(zhǎng)成分。圖像獲取單元可以獲得由在接近可見(jiàn)光區(qū)域外側(cè)的可見(jiàn)光區(qū)域中的波長(zhǎng)成分以及在可見(jiàn)光區(qū)域外側(cè)的波長(zhǎng)成分構(gòu)成的單色圖像數(shù)據(jù)。彩色圖像數(shù)據(jù)可以僅由等于或小于第一預(yù)定值的波長(zhǎng)成分構(gòu)成，并且單色圖像數(shù)據(jù)可以由等于或大于第二預(yù)定值的波長(zhǎng)成分構(gòu)成，第二預(yù)定值小于第一預(yù)定值。根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了一種圖像處理方法，包括以下步驟獲得僅由可見(jiàn)光區(qū)域中的波長(zhǎng)成分構(gòu)成的彩色圖像數(shù)據(jù)以及不含有可見(jiàn)光區(qū)域中的波長(zhǎng)成分并僅由可見(jiàn)光區(qū)域之外的波長(zhǎng)成分構(gòu)成的單色圖像數(shù)據(jù)；從彩色圖像數(shù)據(jù)提取顏色信息；從單色圖像數(shù)據(jù)提取亮度信息；將所提取的顏色信息和所提取的亮度信息合成以產(chǎn)生復(fù)合圖像數(shù)據(jù)。根據(jù)上述本發(fā)明的實(shí)施例，可以提供一種程序，其使得計(jì)算機(jī)執(zhí)行以下步驟獲得僅由可見(jiàn)光區(qū)域中的波長(zhǎng)成分構(gòu)成的彩色圖像數(shù)據(jù)以及不含有可見(jiàn)光區(qū)域中的波長(zhǎng)成分并僅由可見(jiàn)光區(qū)域之外的波長(zhǎng)成分構(gòu)成的單色圖像數(shù)據(jù)；從彩色圖像數(shù)據(jù)提取顏色信息； 從單色圖像數(shù)據(jù)提取亮度信息；將所提取的顏色信息和所提取的亮度信息合成以產(chǎn)生復(fù)合圖像數(shù)據(jù)。如上所述，根據(jù)本發(fā)明，可以在對(duì)象由于霧等而難以被看到的拍攝條件下或者在具有低亮度的暗環(huán)境下也能夠清楚地拍攝所關(guān)注的對(duì)象，以獲得彩色圖像。


圖1是示出了根據(jù)本發(fā)明的實(shí)施例的圖像處理設(shè)備102的框圖；圖2是用于示出根據(jù)本實(shí)施例的成像設(shè)備100的框圖；圖3是用于示出根據(jù)本實(shí)施例的光學(xué)系統(tǒng)101的示意圖；圖4是用于示出根據(jù)本實(shí)施例圖像處理設(shè)備102的合成處理的流程圖；圖5是用于示出了在光譜反射鏡152上反射的光的光譜反射率的圖；圖6是用于示出從光譜反射鏡152投射的光的光譜透射率的圖7是用于示出人體的視錐細(xì)胞(S、M、L)和視桿細(xì)胞(R)的視色素的吸收譜的圖；圖8是用于示出彩色攝像裝置154的光譜靈敏度特性的圖；圖9是用于示出單色攝像裝置156的光譜靈敏度特性的圖；圖10是用于示出根據(jù)瑞利散射公式的散射體積與波長(zhǎng)之間的關(guān)系；圖11是用于示出了單色攝像機(jī)和彩色攝像機(jī)的靈敏度和最大對(duì)象亮度的示例；圖12是用于示出了根據(jù)本發(fā)明的實(shí)施例的修改示例的成像設(shè)備200和圖像處理設(shè)備102的框圖；并且圖13是用于示出根據(jù)本實(shí)施例的修改示例的成像設(shè)備300a、300b和圖像處理設(shè)備 102。
具體實(shí)施例方式下文中，將會(huì)參照附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。注意，在說(shuō)明書(shū)和附圖中， 具有基本相同功能的結(jié)構(gòu)元件由相同的附圖標(biāo)記表示，并且省略這些結(jié)構(gòu)元件的重復(fù)的解釋。將要按照以下順序給出說(shuō)明1.實(shí)施例的構(gòu)造和操作2.修改示例1.實(shí)施例的構(gòu)造和操作。[圖像處理設(shè)備102的構(gòu)造]首先，參照?qǐng)D1，將要給出根據(jù)本發(fā)明的實(shí)施例的圖像處理設(shè)備102的構(gòu)造。圖1 是用于示出了根據(jù)本發(fā)明的實(shí)施例的圖像處理設(shè)備102的框圖。圖像處理設(shè)備102從僅由可見(jiàn)光區(qū)域中的波長(zhǎng)成分構(gòu)成的彩色圖像數(shù)據(jù)提取顏色信息，從不包括可見(jiàn)光區(qū)域的波長(zhǎng)成分并且僅由可見(jiàn)光之外的波長(zhǎng)成分構(gòu)成的單色圖像數(shù)據(jù)提取亮度信息，并且將顏色信息和亮度信息合成以產(chǎn)生圖像數(shù)據(jù)。因?yàn)樵谔崛×炼刃畔r(shí)不使用含有可見(jiàn)光的圖像數(shù)據(jù)，所以這使得有可能獲得其中清楚地顯示對(duì)象的圖像數(shù)據(jù)。圖像處理設(shè)備102包括顏色圖像數(shù)據(jù)獲取單元112、單色圖像數(shù)據(jù)獲取單元114、 顏色信息提取單元122、亮度信息提取單元IM和合成單元130等。顏色圖像數(shù)據(jù)獲取單元112是獲得作為使用彩色攝像裝置進(jìn)行攝像的結(jié)果而獲得的彩色圖像數(shù)據(jù)的圖像獲取單元的示例。彩色攝像裝置是在光探測(cè)器前方安裝有紅色、 綠色和藍(lán)色濾光片并且輸出由紅色成分、綠色成分和藍(lán)色成分構(gòu)成的彩色圖像數(shù)據(jù)的攝像
直ο如果從彩色攝像裝置獲得的彩色圖像數(shù)據(jù)僅由可見(jiàn)光區(qū)域中的波長(zhǎng)成分構(gòu)成，彩色圖像獲取單元112將僅由可見(jiàn)光區(qū)域中的波長(zhǎng)成分構(gòu)成的彩色圖像數(shù)據(jù)照原樣發(fā)送到顏色信息提取單元122。另一方面，如果從彩色攝像裝置獲得的彩色圖像數(shù)據(jù)含有除了可見(jiàn)光區(qū)域之外的紅外光成分等的波長(zhǎng)成分，那么彩色圖像數(shù)據(jù)獲取單元112移除可見(jiàn)光區(qū)域之外的波長(zhǎng)成分，并且將僅由可見(jiàn)光區(qū)域中的波長(zhǎng)成分構(gòu)成的彩色圖像數(shù)據(jù)發(fā)送到顏色信息提取單元122。
通過(guò)從彩色圖像數(shù)據(jù)移除諸如紅外光成分等的波長(zhǎng)成分，可以獲得可以由人類感知而接收到并且容易由人眼識(shí)別的彩色圖像。單色圖像數(shù)據(jù)獲取單元114是圖像獲取單元的示例并且獲得作為使用單色攝像裝置進(jìn)行攝像的結(jié)果而獲得的單色圖像數(shù)據(jù)。單色攝像裝置是在光探測(cè)器前方?jīng)]有安裝有彩色濾光片并且輸出由亮度信息構(gòu)成的單色圖像數(shù)據(jù)的攝像裝置。因?yàn)閱紊珨z像裝置沒(méi)有安裝有彩色濾光片，所以其具有更高的靈敏度并且能夠以比彩色攝像裝置更高的空間分辨率來(lái)攝像。如果從單色攝像裝置獲得的單色圖像數(shù)據(jù)由僅由可見(jiàn)光區(qū)域之外的波長(zhǎng)成分構(gòu)成，單色圖像數(shù)據(jù)獲取單元114將僅由可見(jiàn)光區(qū)域之外的波長(zhǎng)成分構(gòu)成的單色圖像數(shù)據(jù)照原樣發(fā)送到亮度信息提取單元124。另一方面，如果從單色攝像裝置獲得的單色圖像數(shù)據(jù)含有可見(jiàn)光區(qū)域的波長(zhǎng)成分，那么單色圖像數(shù)據(jù)獲取單元114移除可見(jiàn)光的波長(zhǎng)成分，并且將僅由可見(jiàn)光區(qū)域之外的波長(zhǎng)成分構(gòu)成的單色圖像數(shù)據(jù)發(fā)送到亮度信息提取單元124。通過(guò)從單色圖像數(shù)據(jù)移除可見(jiàn)光成分，變得有可能獲得其中物體即使在由于天氣條件(諸如霧、霾等)而具有低視野清晰度的環(huán)境下也清楚的單色圖像。上述彩色圖像數(shù)據(jù)可以僅由等于或小于預(yù)定值(例如，675nm)的波長(zhǎng)成分構(gòu)成， 并且單色圖像數(shù)據(jù)可以由等于或大于該預(yù)定值(例如，675nm)的波長(zhǎng)成分構(gòu)成。注意，預(yù)定值不限于上述示例。例如，彩色圖像數(shù)據(jù)可以含有在400nm到700nm的范圍的波長(zhǎng)成分，并且單色圖像數(shù)據(jù)可以含有在700nm到IOOOnm的范圍內(nèi)的波長(zhǎng)成分。然而，彩色圖像數(shù)據(jù)可以含有下述波長(zhǎng)成分這些波長(zhǎng)成分在短波長(zhǎng)側(cè)的半值波長(zhǎng)在420nm到460nm的范圍內(nèi)，在長(zhǎng)波長(zhǎng)側(cè)的半值波長(zhǎng)在eiOnm到650nm的范圍內(nèi)；單色圖像數(shù)據(jù)含有下述波長(zhǎng)成分這些波長(zhǎng)成分在短波長(zhǎng)側(cè)的半值波長(zhǎng)在650nm到750nm的范圍內(nèi)。顏色信息提取單元122將從彩色圖像數(shù)據(jù)獲取單元112的接收的彩色圖像數(shù)據(jù)分解為亮度信息Yl和色差信息Cb和Cr，并且提取色差信息Cb和Cr，其中僅由可見(jiàn)光區(qū)域中的波長(zhǎng)成分構(gòu)成彩色圖像數(shù)據(jù)。色差信息Cb和Cr是顏色信息的示例。顏色信息提取單元 122將所提取的色差信息Cb和Cr發(fā)送給合成單元130。亮度信息Yl不一定被發(fā)送到合成單元130，因?yàn)樗辉诤铣蓡卧?30中用于合成處理。為了將其中每個(gè)RGB由8比特表示的彩色圖像數(shù)據(jù)分解為亮度信息Yl和色差信息Cb和Cr，例如，可以使用以下數(shù)學(xué)公式1到3來(lái)將RGB信號(hào)轉(zhuǎn)換為YCbCr信號(hào)。Yl = 0. 257R+0. 504G+0. 098B+16 (公式 1)Cb = -0. 148R-0. 291G+0. 439B+128(公式 2)Cr = 0. 439R-0. 368G-0. 071B+128 (公式 3)亮度信息提取單元IM提取從單色圖像數(shù)據(jù)獲取單元114接收的單色圖像數(shù)據(jù)來(lái)作為亮度信息Y2，其中單色圖像數(shù)據(jù)僅由除了可見(jiàn)光區(qū)域之外的波長(zhǎng)成分構(gòu)成。亮度信息提取單元1 將所提取的亮度信息Y2發(fā)送到合成單元130。合成單元130將從顏色信息提取單元122接收的色差信息Cb和Cr以及從亮度信息提取單元1 接收的亮度信息Y2合成，并且產(chǎn)生復(fù)合圖像數(shù)據(jù)。為了通過(guò)將色差信息Cb 和Cr和亮度信息Y2合成而產(chǎn)生其中每個(gè)RGB由8比特表示的彩色復(fù)合圖像數(shù)據(jù)，例如可以使用以下公式4到6來(lái)將YCbCr信號(hào)轉(zhuǎn)換為RGB信號(hào)。R=L 164 (Y2-16)-1. 596 (Cr-128)(公式 4)
G=L 164 (Y2-16) -0. 391 (Cb-128) -0. 813 (Cr-128)(公式 5)B=L 164 (Y2-16) -2. 018 (Cb-128)(公式 6)[圖像處理設(shè)備102的操作]之后，參照?qǐng)D4，將會(huì)描述根據(jù)上述實(shí)施例的圖像處理設(shè)備102的合成處理。圖4 是用于示出根據(jù)實(shí)施例的圖像處理設(shè)備102的合成處理的流程圖。首先，圖像處理設(shè)備102獲得僅由可見(jiàn)光區(qū)域的波長(zhǎng)成分構(gòu)成的彩色圖像數(shù)據(jù)以及僅由除了可見(jiàn)光區(qū)域之外的波長(zhǎng)成分構(gòu)成的單色圖像數(shù)據(jù)(步驟Si)。之后，將彩色圖像數(shù)據(jù)分解為亮度信息Yl以及色差信息Cb和Cr，色差信息Cb和 Cr是從彩色圖像數(shù)據(jù)提取出來(lái)的。此外，從單色圖像數(shù)據(jù)提取亮度信息Y2(步驟S2)。隨后，將從彩色圖像數(shù)據(jù)提取的色差信息Cb和Cr與從單色圖像數(shù)據(jù)提取亮度信息Υ2合成，并且產(chǎn)生復(fù)合圖像數(shù)據(jù)(步驟S3)。[成像設(shè)備100]之后，將要說(shuō)明上述圖像處理設(shè)備102將要應(yīng)用到的成像設(shè)備100。換言之，將要解釋圖像處理設(shè)備102內(nèi)置在成像設(shè)備100中作為信號(hào)處理電路的情況。圖2是用于解釋根據(jù)實(shí)施例的成像設(shè)備100的框圖。成像設(shè)備100例如包括光學(xué)系統(tǒng)101和圖像處理設(shè)備102。光學(xué)系統(tǒng)101將彩色圖像數(shù)據(jù)和單色圖像數(shù)據(jù)分別發(fā)送到如圖2所示的圖像處理設(shè)備102。圖3是用于示出根據(jù)實(shí)施例的光學(xué)系統(tǒng)101的示意圖。圖3示出了每個(gè)光學(xué)組件的概略外觀和光路。光學(xué)系統(tǒng)101包括前透鏡151、分光反射鏡152、透鏡組153、彩色攝像裝置154、透鏡組155和單色攝像裝置156等。在光學(xué)系統(tǒng)101中，分光反射鏡152將光進(jìn)行分光分光， 成為僅由可見(jiàn)光區(qū)域中的波長(zhǎng)成分構(gòu)成的第一光和不含有第一光并且僅由可見(jiàn)光區(qū)域之外的波長(zhǎng)成分構(gòu)成的第二光。彩色攝像裝置1 接收從光學(xué)元件照射的第一光，并且單色攝像裝置156接收從光學(xué)元件照射的第二光。前透鏡151接收在對(duì)象上反射的光，使來(lái)自對(duì)象的光透射并折射，以將該光照射到分光反射鏡152上。分光反射鏡152在其表面上蒸鍍了二向色(dichroic)膜。分光反射鏡152反射可見(jiàn)光區(qū)域中的波長(zhǎng)成分，諸如在入射光中的等于或小于675nm的波長(zhǎng)區(qū)域中的波長(zhǎng)成分， 并且使得在可見(jiàn)光區(qū)域之外的其他波長(zhǎng)成分透過(guò)，諸如在入射光中的等于或大于675nm的近紅外光波長(zhǎng)成分。等于或小于675nm的波長(zhǎng)成分透過(guò)透鏡組153，照射到彩色攝像裝置 154上以形成圖像。注意，用于由分光反射鏡152分光的波長(zhǎng)成分的閾值不限于675nm，并且可以是其他值。圖5是用于示出在分光反射鏡152上反射的光的反射光譜的圖。如圖5所示，分光反射鏡152主要將等于或小于波長(zhǎng)675nm的光引導(dǎo)到彩色攝像裝置154。因?yàn)榭梢岳斫馊搜鄣墓庾V靈敏度如圖7所示，所以由彩色攝像裝置154引導(dǎo)的光的波長(zhǎng)可以主要在可見(jiàn)光區(qū)域中。圖7是用于示出人體的視錐細(xì)胞(S、M、L)和視桿細(xì)胞(R)所含有的視色素的吸收光譜的圖。圖6是用于示出透過(guò)分光反射鏡152的光的光譜透射率的圖。如圖6所示，分光反射鏡152主要將等于或大于波長(zhǎng)675nm的光引導(dǎo)到單色攝像裝置156。參照?qǐng)D7，由單色攝像裝置156引導(dǎo)的光的波長(zhǎng)可以大體上在可見(jiàn)光區(qū)域之外的區(qū)域中。注意，包括成像透鏡的其他光學(xué)組件在400nm到1 IOOnm的范圍內(nèi)的波長(zhǎng)中有效地透射，并且不會(huì)遮擋到達(dá)彩色攝像裝置巧4和單色攝像裝置156的光。作為彩色攝像裝置IM和單色攝像裝置156，可以使用各種類型的固態(tài)攝像裝置， 諸如CXD固態(tài)攝像裝置、MOS固態(tài)攝像裝置、CMOS固態(tài)攝像裝置等。彩色攝像裝置IM是在光探測(cè)器前方安裝有紅色、綠色和藍(lán)色濾光片并且輸出由紅色成分、綠色成分和藍(lán)色成分構(gòu)成的彩色圖像數(shù)據(jù)的攝像裝置。單色攝像裝置156是在光探測(cè)器前方?jīng)]有安裝彩色濾光片并且輸出亮度信息構(gòu)成的單色圖像數(shù)據(jù)的攝像裝置。圖8是用于示出彩色攝像裝置154的光譜靈敏度特性的圖?？梢岳斫庖呀?jīng)如圖5 所示在分光反射鏡152上反射并入射到彩色攝像裝置154的波長(zhǎng)的、等于或小于675nm波長(zhǎng)的波長(zhǎng)區(qū)域，與圖8中示出的彩色攝像裝置IM具有光譜靈敏度的區(qū)域相匹配。因此，彩色攝像裝置1 能夠在沒(méi)有損失的狀態(tài)下捕獲可見(jiàn)光。圖9是用于示出單色攝像裝置156的光譜靈敏度特性的圖。如圖9所示，雖然單色攝像裝置156在可見(jiàn)光區(qū)域中表現(xiàn)出最大靈敏度，但是它仍然在波長(zhǎng)675nm到IOOOnm的近紅外光區(qū)域中具有有效的靈敏度。因此，單色攝像裝置156可以接收波長(zhǎng)等于或長(zhǎng)于675nm 的波長(zhǎng)成分，其中675nm波長(zhǎng)比透過(guò)分光反射鏡152并且入射到單色攝像裝置156的可見(jiàn)光更長(zhǎng)。彩色攝像裝置IM和單色攝像裝置156被定位為使得彩色圖像數(shù)據(jù)的對(duì)象圖像與單色圖像數(shù)據(jù)的對(duì)象圖像相匹配。可以通過(guò)機(jī)械方法、通過(guò)在圖像合成時(shí)使用軟件的方法或者通過(guò)使用這兩種方法來(lái)執(zhí)行用于匹配對(duì)象圖像的定位。優(yōu)選地，彩色攝像裝置IM和單色攝像裝置156的光學(xué)尺寸幾乎相同。在這種構(gòu)造中，在不特別調(diào)整的狀態(tài)下，在由分光反射鏡152分光的兩個(gè)光學(xué)系統(tǒng)中視角、焦點(diǎn)深度和成像區(qū)域幾乎相同是有優(yōu)勢(shì)的。在彩色攝像裝置IM和單色攝像裝置156的光學(xué)尺寸相同的情況下，構(gòu)造將會(huì)滿足Mn彡Cn，其中彩色攝像裝置154的像素?cái)?shù)目是Cn并且單色攝像裝置56的像素?cái)?shù)目是 Mn。在這種構(gòu)造中，因?yàn)椴噬珨z像裝置IM的像素?cái)?shù)目Cn等于或小于單色攝像裝置56的像素?cái)?shù)目Mn，所以彩色攝像裝置154的每個(gè)像素的尺寸比單色攝像裝置156的每個(gè)像素的尺寸更大。因此，彩色攝像裝置1 的靈敏度可以被設(shè)置得更高，從而相對(duì)于具有大的像素?cái)?shù)目的其他彩色攝像裝置改善了靈敏度。另一方面，單色攝像裝置156的像素?cái)?shù)目Mn很大， 因此單色攝像裝置156確保了高分辨率。[本實(shí)施例的效果]通過(guò)例如將其應(yīng)用到廣域監(jiān)視攝像機(jī)，本實(shí)施例的成像設(shè)備100可以獲得最佳的結(jié)果。根據(jù)本實(shí)施例，可以對(duì)于廣域監(jiān)視攝像機(jī)滿足以下三個(gè)條件。所要求的第一個(gè)條件是即使在對(duì)象由于霧、靄等而難以被看到的拍攝條件下也能夠清楚地拍攝所關(guān)注的對(duì)象。第二個(gè)條件是即使在具有低亮度的暗環(huán)境下也能拍攝對(duì)象。 第三個(gè)條件是獲得彩色圖像，因?yàn)樵谠S多情況下通過(guò)諸如衣服的顏色的顏色信息進(jìn)行識(shí)別可能是重要的。首先，將要解釋第一條件。為了清楚地對(duì)對(duì)象成像，對(duì)象的反射光可以在沒(méi)有減弱的狀態(tài)下到達(dá)攝像裝置是很重要的。在本實(shí)施例中，因?yàn)榱炼刃盘?hào)在圖像分辨率上有影響，
8所以使用了在比可見(jiàn)光更長(zhǎng)的675nm到IOOOnm的范圍內(nèi)的波長(zhǎng)的近紅外光(NIR)。圖10是用于示出根據(jù)瑞利散射公式的散射量與波長(zhǎng)之間的關(guān)系的圖。根據(jù)瑞利散射公式，在λ/π的情況下，散射強(qiáng)度與光波長(zhǎng)的負(fù)四次方成比例。
權(quán)利要求
1.一種圖像處理設(shè)備，包括圖像獲取單元，其從僅由可見(jiàn)光區(qū)域中的波長(zhǎng)成分構(gòu)成彩色圖像數(shù)據(jù)以及不含有所述可見(jiàn)光區(qū)域中的波長(zhǎng)成分并僅由可見(jiàn)光區(qū)域之外的波長(zhǎng)成分構(gòu)成的單色圖像數(shù)據(jù)； 顏色信息提取單元，其從所述彩色圖像數(shù)據(jù)提取顏色信息； 亮度信息提取單元，其從所述單色圖像數(shù)據(jù)提取亮度信息；以及合成單元，其將所提取的顏色信息和所提取的亮度信息合成以產(chǎn)生復(fù)合圖像數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述彩色圖像數(shù)據(jù)僅由比預(yù)定值更短的波長(zhǎng)成分構(gòu)成，并且所述單色圖像數(shù)據(jù)僅由比所述預(yù)定值更長(zhǎng)的波長(zhǎng)成分構(gòu)成。
3.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述彩色圖像數(shù)據(jù)含有在400nm到700nm的范圍內(nèi)的波長(zhǎng)成分， 所述單色圖像數(shù)據(jù)含有在700nm到IOOOnm的范圍內(nèi)的波長(zhǎng)成分。
4.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述彩色圖像數(shù)據(jù)含有下述波長(zhǎng)成分這些波長(zhǎng)成分在短波長(zhǎng)側(cè)的半值波長(zhǎng)在 420nm到460nm的范圍內(nèi)，在長(zhǎng)波長(zhǎng)側(cè)的半值波長(zhǎng)在610nm到650nm的范圍內(nèi)，并且其中，所述單色圖像數(shù)據(jù)含有下述波長(zhǎng)成分這些波長(zhǎng)成分在短波長(zhǎng)側(cè)的半值波長(zhǎng)在 650nm到750nm的范圍內(nèi)。
5.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述圖像獲取單元獲得由在接近可見(jiàn)光區(qū)域外側(cè)的可見(jiàn)光區(qū)域中的波長(zhǎng)成分以及在所述可見(jiàn)光區(qū)域外側(cè)的波長(zhǎng)成分構(gòu)成的單色圖像數(shù)據(jù)。
6.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述彩色圖像數(shù)據(jù)僅由等于或小于第一預(yù)定值的波長(zhǎng)成分構(gòu)成，并且所述單色圖像數(shù)據(jù)由等于或大于第二預(yù)定值的波長(zhǎng)成分構(gòu)成，所述第二預(yù)定值小于所述第一預(yù)定值。
7.一種圖像處理方法，包括以下步驟獲得僅由可見(jiàn)光區(qū)域中的波長(zhǎng)成分構(gòu)成的彩色圖像數(shù)據(jù)以及不含有所述可見(jiàn)光區(qū)域中的波長(zhǎng)成分并僅由所述可見(jiàn)光區(qū)域之外的波長(zhǎng)成分構(gòu)成的單色圖像數(shù)據(jù)； 從所述彩色圖像數(shù)據(jù)提取顏色信息； 從所述單色圖像數(shù)據(jù)提取亮度信息；以及將所提取的顏色信息和所提取的亮度信息合成以產(chǎn)生復(fù)合圖像數(shù)據(jù)。
8.一種程序，其使得計(jì)算機(jī)執(zhí)行以下步驟獲得僅由可見(jiàn)光區(qū)域中的波長(zhǎng)成分構(gòu)成的彩色圖像數(shù)據(jù)以及不含有所述可見(jiàn)光區(qū)域中的波長(zhǎng)成分并僅由所述可見(jiàn)光區(qū)域之外的波長(zhǎng)成分構(gòu)成的單色圖像數(shù)據(jù)； 從所述彩色圖像數(shù)據(jù)提取顏色信息； 從所述單色圖像數(shù)據(jù)提取亮度信息；以及將所提取的顏色信息和所提取的亮度信息合成以產(chǎn)生復(fù)合圖像數(shù)據(jù)。
全文摘要
本發(fā)明提供了圖像處理設(shè)備、圖像處理方法和程序。一種圖像處理設(shè)備包括圖像獲取單元，其從僅由可見(jiàn)光區(qū)域中的波長(zhǎng)成分構(gòu)成彩色圖像數(shù)據(jù)以及不含有可見(jiàn)光區(qū)域中的波長(zhǎng)并僅由可見(jiàn)光區(qū)域之外的波長(zhǎng)成分構(gòu)成的單色圖像數(shù)據(jù)；顏色信息提取單元，其從彩色圖像數(shù)據(jù)提取顏色信息；亮度信息提取單元，其從單色圖像數(shù)據(jù)提取亮度信息；合成單元，其將所提取的顏色信息和所提取的亮度信息合成以產(chǎn)生復(fù)合圖像數(shù)據(jù)。
文檔編號(hào)H04N9/78GK102244791SQ20111011936
公開(kāi)日2011年11月16日 申請(qǐng)日期2011年5月5日 優(yōu)先權(quán)日2010年5月12日
發(fā)明者吉川功一 申請(qǐng)人:索尼公司