專利名稱：圖像捕獲方法和裝置以及使用該裝置的電子裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像捕獲方法和裝置以及使用該方法和裝置的電子裝置，更特別地涉及能夠有效再現(xiàn)質(zhì)量圖像的圖像捕獲方法和裝置以及使用該裝置的電子裝置。
背景技術(shù)：
圖像捕獲裝置包括數(shù)字?jǐn)z像機(jī)，監(jiān)控?cái)z像機(jī)，車載攝像機(jī)等。一些圖像捕獲裝置使用于執(zhí)行虹膜或者臉部鑒別的圖像讀取裝置或者圖像識(shí)別裝置中。此外，一些圖像捕獲裝置還使用于諸如計(jì)算機(jī)或者蜂窩電話的電子裝置中。
一些圖像捕獲裝置具有光學(xué)成像系統(tǒng)和圖像攝取器件。光學(xué)成像系統(tǒng)包括聚焦來(lái)自物體的光線以形成圖像的成像透鏡。諸如CCD(電荷耦合器件)或者CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)傳感器的圖像攝取器件攝取成像透鏡形成的圖像。
對(duì)于這種圖像捕獲裝置，如何有效地再現(xiàn)高質(zhì)量圖像是具有挑戰(zhàn)性的任務(wù)。通常，圖像捕獲裝置試圖通過(guò)增強(qiáng)光學(xué)成像系統(tǒng)的光學(xué)性能來(lái)提高再現(xiàn)的圖像的圖像質(zhì)量。
然而，這種高光學(xué)性能在具有簡(jiǎn)單結(jié)構(gòu)的光學(xué)成像系統(tǒng)中很難實(shí)現(xiàn)。例如，對(duì)于使用單個(gè)透鏡的光學(xué)成像系統(tǒng)，即使單個(gè)透鏡的表面是非球面的，也很難獲得相對(duì)高的光學(xué)性能。
一些圖像捕獲裝置還試圖通過(guò)使用光學(xué)成像系統(tǒng)的OTF(光學(xué)傳遞函數(shù))數(shù)據(jù)來(lái)提高再現(xiàn)的圖像的圖像質(zhì)量。
使用OTF數(shù)據(jù)的圖像捕獲裝置包括光學(xué)成像系統(tǒng)中的非球面元件。該非球面元件對(duì)通過(guò)成像透鏡的光線施加相位調(diào)制。從而，非球面元件對(duì)OTF進(jìn)行調(diào)制，以便抑制OTF根據(jù)成像透鏡的視角或者物距的變化。
接著圖像捕獲裝置通過(guò)圖像攝取裝置攝取經(jīng)過(guò)相位調(diào)制的圖像并對(duì)攝取的圖像執(zhí)行數(shù)字濾波。此外，圖像捕獲裝置恢復(fù)初始OTF以再現(xiàn)物像。從而，可以在抑制視角或者物距的變化引起的退化的情況下攝取再現(xiàn)的物像。
然而，非球面元件具有特別的表面形狀，從而會(huì)不適宜地增加制造成本。此外，圖像捕獲裝置可能需要相對(duì)長(zhǎng)的光路以便將非球面元件放置在成像透鏡系統(tǒng)的光路上。因此，這種使用非球面元件的圖像捕獲裝置在縮減成本，小型化，或者薄型化方面不是那么有利。
此外，圖像捕獲裝置采用復(fù)眼光學(xué)系統(tǒng)，諸如微透鏡陣列，來(lái)得到更薄型的圖像捕獲裝置。復(fù)眼光學(xué)系統(tǒng)包括多個(gè)成像透鏡。各個(gè)成像透鏡對(duì)單眼圖像進(jìn)行聚焦以形成復(fù)眼圖像。
圖像捕獲裝置通過(guò)圖像攝取器件攝取復(fù)眼圖像。接著圖像捕獲裝置從構(gòu)成復(fù)眼圖像的單眼圖像重構(gòu)單個(gè)物像。
例如，圖像捕獲裝置采用包括多個(gè)成像透鏡的微透鏡陣列。各成像透鏡形成單眼圖像。圖像捕獲裝置通過(guò)利用單眼圖像之間的視差重構(gòu)單個(gè)物像。
因此，使用微透鏡陣列，圖像捕獲裝置試圖減小后焦距來(lái)獲得薄型的光學(xué)成像系統(tǒng)。此外，使用多個(gè)單眼圖像，圖像捕獲裝置試圖校正由于每個(gè)單眼圖像上相對(duì)少量的像素引起的分辨率的退化。
然而，這種圖像捕獲裝置不可能有效地校正由于光學(xué)成像系統(tǒng)引起的光學(xué)圖像退化。

發(fā)明內(nèi)容
本發(fā)明至少一個(gè)實(shí)施例提供一種圖像捕獲裝置包括成像透鏡，圖像攝取器件，和校正電路。成像透鏡配置來(lái)聚焦來(lái)自物體的光線以形成圖像。圖像攝取器件配置來(lái)攝取成像透鏡形成的圖像。校正電路配置來(lái)執(zhí)行校正成像透鏡引起的圖像的圖像退化的計(jì)算。成像透鏡為單個(gè)透鏡，該單個(gè)透鏡具有有限的光學(xué)傳遞函數(shù)的增益并且表現(xiàn)出成像透鏡的不同視角之間增益上的微小差異。
此外，本發(fā)明至少一個(gè)實(shí)施例提供一種圖像捕獲裝置，包括透鏡陣列，重構(gòu)電路以及重構(gòu)圖像校正電路。透鏡陣列包括按陣列排列的多個(gè)成像透鏡。該透鏡陣列配置來(lái)形成復(fù)眼圖像，該復(fù)眼圖像包括物體的單眼圖像。單眼圖像由各個(gè)成像透鏡形成。重構(gòu)電路配置來(lái)執(zhí)行從透鏡陣列形成的復(fù)眼圖像重構(gòu)單個(gè)物像的計(jì)算。重構(gòu)圖像校正電路，配置來(lái)執(zhí)行用于校正由重構(gòu)電路重構(gòu)的單個(gè)物像的圖像退化的計(jì)算。
從下列范例實(shí)施例的詳細(xì)描述，附圖以及相關(guān)權(quán)利要求中，將充分地體現(xiàn)本發(fā)明其它的特點(diǎn)和優(yōu)勢(shì)。


通過(guò)在結(jié)合附圖時(shí)參考下列詳細(xì)描述，將更好地認(rèn)識(shí)和理解本發(fā)明及其很多伴隨的優(yōu)點(diǎn)，其中圖1是示例說(shuō)明根據(jù)本發(fā)明的范例實(shí)施例的圖像捕獲裝置結(jié)構(gòu)的示意圖；圖2A是示例說(shuō)明當(dāng)成像透鏡的凸面面對(duì)圖像表面時(shí)觀察到的成像透鏡的光路的示意圖；圖2B是當(dāng)圖2A的成像透鏡的凸面面對(duì)物體表面時(shí)觀察到的該成像透鏡的光路的示意圖；圖2C是示例說(shuō)明圖2A的光通量的MTF(調(diào)制傳遞函數(shù))值的曲線圖；圖2D是示例說(shuō)明圖2B的光通量的MTF值的曲線圖；圖3A是示例說(shuō)明根據(jù)本發(fā)明的另一個(gè)范例實(shí)施例的圖像捕獲裝置結(jié)構(gòu)的示意圖；圖3B是圖3A示例說(shuō)明的透鏡陣列系統(tǒng)和圖像攝取器件的部分放大圖示；圖3C是示例說(shuō)明圖像攝取器件攝取的復(fù)眼圖像的實(shí)例的示意圖；圖4是示例說(shuō)明取決于兩個(gè)視差相關(guān)參數(shù)的亮度偏差的最小平方和的變化的實(shí)例的三維曲線圖；圖5是示例說(shuō)明從復(fù)眼圖像到單個(gè)物像的重構(gòu)方法的示意圖；圖6是示例說(shuō)明圖像退化校正處理以及單個(gè)物像的重構(gòu)處理的順序流程的流程圖；圖7是示例說(shuō)明圖像退化校正處理以及單個(gè)物像的重構(gòu)處理的另一個(gè)順序流程的流程圖；圖8是示例說(shuō)明取決于成像透鏡的物距的MTF的變化的實(shí)例的曲線圖；圖9是示例說(shuō)明彩色CCD攝像機(jī)的像素陣列實(shí)例的示意圖。
附圖的目的是說(shuō)明本發(fā)明的范例實(shí)施例，而不應(yīng)該認(rèn)為是限制本發(fā)明的范圍。除非特別指出，不應(yīng)該認(rèn)為附圖是按照比例繪制的。
具體實(shí)施例方式
這里使用的術(shù)語(yǔ)僅僅是為了描述特定實(shí)施例而不是意圖限制本發(fā)明。作為這里所使用的，除非上下文特別說(shuō)明，單數(shù)形式意圖是同樣包括復(fù)數(shù)形式。應(yīng)當(dāng)進(jìn)一步理解的是，當(dāng)在本說(shuō)明書中使用時(shí)，詞語(yǔ)“包括”指的是存在所陳述的特征，整數(shù)，步驟，操作，元件和/或組件，但是不排除一個(gè)或者多個(gè)其它特征，整數(shù)，步驟，操作，元件，組件，和/或它們的組合的存在或者增加。
在描述附圖中示例說(shuō)明的范例實(shí)施例中，為了清楚的目的采用特定術(shù)語(yǔ)。然而，意圖不是將本申請(qǐng)說(shuō)明書的揭示限制于這樣選擇的特定術(shù)語(yǔ)，而且應(yīng)當(dāng)理解的是，每個(gè)特定元件包括以類似方式工作的所有技術(shù)等價(jià)物。
現(xiàn)在參考圖示描述本發(fā)明的范例實(shí)施例，其中在幾個(gè)圖示中相同的附圖標(biāo)記指的是同樣或者對(duì)應(yīng)的部件。
圖1是示例說(shuō)明根據(jù)本發(fā)明的范例實(shí)施例的圖像捕獲裝置100的結(jié)構(gòu)的示意圖。
如圖1所示，圖像捕獲裝置100例如可以包括成像透鏡2，圖像攝取器件3，校正電路4，存儲(chǔ)器5，以及圖像顯示器6。
在圖1中，成像透鏡2可以是具有球形凸面的平面-凸面透鏡。圖像攝取器件3可以是CCD或者CMOS攝像機(jī)。圖像顯示器6可以是例如液晶顯示器。
校正電路4和存儲(chǔ)器5可以配置校正電路單元20。校正電路單元20還構(gòu)成用于整體控制圖像捕獲裝置100的控制部的一部分。
如圖1所示，放置成像透鏡2使得其平面面對(duì)物體1，而其凸面面對(duì)圖像攝取器件3。
成像透鏡2聚焦來(lái)自物體1的光線以在圖像攝取器件3的圖像攝取表面上形成物體1的圖像。圖像攝取裝置3攝取物體1的圖像，并將攝取的圖像數(shù)據(jù)發(fā)送到校正電路4。
存儲(chǔ)器5存儲(chǔ)成像透鏡2的OTF數(shù)據(jù)，OTF(x，y)。OTF數(shù)據(jù)是通過(guò)如下方式獲得的。首先，通過(guò)光線跟蹤模擬計(jì)算成像透鏡2的波像差。接著，從波像差確定成像透鏡2的光瞳函數(shù)。進(jìn)一步地，對(duì)于光瞳函數(shù)執(zhí)行自相關(guān)計(jì)算，從而生成OTF數(shù)據(jù)。
校正電路4從存儲(chǔ)器5讀取OTF數(shù)據(jù)并使用OTF數(shù)據(jù)對(duì)攝取的圖像數(shù)據(jù)執(zhí)行校正計(jì)算。校正電路4還輸出經(jīng)過(guò)校正的圖像數(shù)據(jù)到圖像顯示器6。圖像顯示器6基于經(jīng)過(guò)校正的圖像數(shù)據(jù)顯示再現(xiàn)的圖像6a。
下面，參考圖2A到2D描述成像透鏡的朝向?qū)τ诰劢沟膱D像的影響。圖2A和2B的成像透鏡L配置為平面-凸面透鏡。
圖2A是示例說(shuō)明當(dāng)成像透鏡L的凸面面對(duì)聚焦的圖像時(shí)觀察到的成像透鏡的光路的示意圖。圖2B是當(dāng)如同傳統(tǒng)地進(jìn)行的那樣成像透鏡L的凸面面對(duì)物體表面OS時(shí)觀察到的該成像透鏡的光路的示意圖。
在圖2A和2B中，三個(gè)光通量F1，F(xiàn)2和F3可以具有相對(duì)于成像透鏡L的相互不同的入射角。
圖2A的光通量F1，F(xiàn)2和F3相比于圖2B的光通量F1，F(xiàn)2和F3表現(xiàn)出相對(duì)較低的聚焦特性和較低的光線密度。因此，圖2A的光通量F1，F(xiàn)2和F3在圖像表面IS的范圍內(nèi)表現(xiàn)出相對(duì)小的相互差異。
另一方面，圖2B的光通量F1，F(xiàn)2和F3相比于圖2A的光通量F1，F(xiàn)2和F3表現(xiàn)出相對(duì)較高的聚焦特性。因此，圖2B的光通量F1，F(xiàn)2和F3在圖像表面IS的范圍內(nèi)表現(xiàn)出相對(duì)大的相互差異。
通過(guò)參考指示成像透鏡L的OTF的增益的MTF(調(diào)制傳遞函數(shù))可以很好地理解成像透鏡L的朝向和聚焦的圖像之間的這種關(guān)系。
圖2C是示例說(shuō)明當(dāng)如同圖2A所示的那樣放置成像透鏡L時(shí)獲得的光通量F1，F(xiàn)2，和F3的MTF值的曲線圖。
另一方面，圖2D是示例說(shuō)明當(dāng)如同圖2B所示的那樣放置成像透鏡L時(shí)獲得的光通量F1，F(xiàn)2，和F3的MTF值的曲線圖。
圖2C和圖2D的比較提供了圖2A和圖2B的成像狀態(tài)之間的MTF上清楚的差異。
在圖2C中，線2-1代表對(duì)于徑向平面和切向平面這兩者上的光通量F1的成像透鏡L的MTF值。所觀察的兩個(gè)平面之間MTF上的差異太小以致于不能在圖形上區(qū)別。
線2-2代表徑向平面和切向平面這兩者上對(duì)于光通量F2的成像透鏡L的MTF值。所觀察的兩個(gè)平面之間MTF上的差異太小以致于不能在圖2C中在圖形上區(qū)別。
對(duì)于光通量F3，線2-3和2-4分別代表徑向平面和切向平面這兩者上的成像透鏡L的MTF值。如圖2A所示，與光通量F1和F2相比，光通量F3具有與成像透鏡L相關(guān)的相對(duì)大的入射角。所觀察的徑向平面和切向平面之間MTF上的差異在圖2C中可以在圖形上區(qū)別。
從而，在圖2A的成像狀態(tài)中，成像透鏡L表現(xiàn)出較低的聚焦性能，這通常導(dǎo)致有限和低的MTF值。然而，成像透鏡L表現(xiàn)出光通量F1，F(xiàn)2，和F3之間MTF上小的差異，這是由入射角的差異而引起的。
因此，當(dāng)使成像透鏡的凸面面對(duì)圖像而形成物像時(shí)，不管入射角大小，成像透鏡L的MTF值通常是有限并且較低的。MTF值也不會(huì)受到光線的入射角差異的很大影響。
在圖2B的成像狀態(tài)中，諸如F1的具有小入射角的光通量表現(xiàn)出徑向平面和切向平面之間MTF上可忽略的差異。從而，獲得了較佳的MTF特性。
另一方面，如F2和F3所示的那樣光線入射角越大，則MTF值越小。
在圖2D中，線2-6和2-7分別代表成像透鏡L對(duì)于光通量F2的徑向和切向MTF曲線。在圖2D中，線2-8和2-9分別代表成像透鏡L對(duì)于光通量F3的徑向和切向MTF曲線。
當(dāng)透鏡系統(tǒng)的OTF數(shù)據(jù)可用時(shí)，可以以下面的方式校正由于與OTF相關(guān)的因素引起的圖像退化。
當(dāng)圖像表面上形成的物像由于與透鏡系統(tǒng)相關(guān)的因素而退化時(shí)，物像的光強(qiáng)由下列等式1表示I(x，y)＝FFT-1[FFT{S(x，y)}×OTF(x，y)] ...1其中“x”和“y”代表圖像攝取平面上的位置坐標(biāo)，“I(x，y)”代表圖像攝取器件攝取的物像的光強(qiáng)，“S(x，y)”代表物體的光強(qiáng)，而“OTF(x，y)”代表成像透鏡的OTF。此外，F(xiàn)FT代表傅立葉變換操作符，F(xiàn)FT-1代表逆傅立葉變換操作符。
更特別地，光強(qiáng)“I(x，y)”代表諸如CCD或者CMOS傳感器的圖像傳感器的圖像攝取表面上的光強(qiáng)。
可以以下列方式預(yù)先獲得等式1中的OTF(x，y)。首先，通過(guò)光線跟蹤模擬確定成像透鏡的波像差?；诓ㄏ癫钣?jì)算成像透鏡的光瞳函數(shù)。進(jìn)一步地，對(duì)于光瞳函數(shù)執(zhí)行自相關(guān)計(jì)算，從而生成OTF數(shù)據(jù)。因此，可以根據(jù)圖像捕獲裝置100中使用的成像透鏡預(yù)先獲得OTF數(shù)據(jù)。
如果對(duì)等式1的兩側(cè)同時(shí)應(yīng)用FFT，則等式1變換為FFT{I(x，y)}＝[FFT{S(x，y)}× OTF(x，y)]...1a進(jìn)一步地，將上述等式1a變換為FFT{S(x，y)}＝FFT{I(x，y)}/OTF(x，y)...1b在此方面，當(dāng)R(x，y)代表再現(xiàn)的圖像的光強(qiáng)時(shí)，R(x，y)顯示出對(duì)于S(x，y)更確切的對(duì)應(yīng)性，則再現(xiàn)的圖像更精確地再現(xiàn)物體。
當(dāng)預(yù)先為成像透鏡獲得OTF(x，y)時(shí)，可以通過(guò)對(duì)上述等式1b的右側(cè)應(yīng)用FFT-1來(lái)確定R(x，y)。因此，可以通過(guò)下列等式2來(lái)表示R(x，y)R(x，y)＝FFT-1[FFT{I(x，y)}/OTF(x，y)+α]...2其中“α”代表用于防止諸如被零除的算術(shù)錯(cuò)誤和抑制噪聲放大的常數(shù)。在此方面，OTF(x，y)越精確，則R(x，y)更接近地反映S(x，y)。從而，可以獲得精確地再現(xiàn)的圖像。
因此，當(dāng)預(yù)先為成像透鏡獲得OTF數(shù)據(jù)時(shí)，圖像捕獲裝置100可以通過(guò)使用等式2執(zhí)行校正計(jì)算來(lái)提供較佳的再現(xiàn)的圖像。
對(duì)于使用等式2的校正計(jì)算，當(dāng)如圖2B所示成像透鏡的凸面面對(duì)物體表面OS時(shí)，即使進(jìn)行使用等式2的校正計(jì)算也不能獲得較佳的再現(xiàn)的圖像。
在這種情況下，成像透鏡的OTF可能根據(jù)光的入射角顯著地變化。因此，即使僅僅基于OTF值，例如光通量F1的OTF值校正攝取的圖像，也不能實(shí)現(xiàn)對(duì)攝取的圖像的整體進(jìn)行充分地校正。因此，不能獲得較佳的再現(xiàn)的圖像。
為了進(jìn)行充分的校正，可以根據(jù)光入射角使用不同的OTF值。然而，入射角之間OTF上的差異很大時(shí)，較佳地是對(duì)于校正計(jì)算，使用根據(jù)光入射角的相對(duì)多數(shù)量的OTF值。這種校正計(jì)算可能需要長(zhǎng)得多的處理時(shí)間。因此，上述的校正方式不是那么有利。
此外，當(dāng)要校正的最小單元是圖像攝取器件的像素時(shí)，精度在像素以下的OTF數(shù)據(jù)不可用。因此，入射角之間OTF上的差異越大，再現(xiàn)的圖像中的誤差越大。
另一方面，當(dāng)如圖2A所示成像透鏡的凸面面對(duì)圖像表面IS時(shí)，不同入射角之間在OTF上的差異可較小。此外，成像透鏡的OTF對(duì)于不同的光入射角基本一致。
從而，在圖2A的成像狀態(tài)中，圖像捕獲裝置100可以獲得成像透鏡L的有限且較低的OTF值，其不會(huì)受到光入射角的很大影響。
因此，可以使用對(duì)于任何一個(gè)入射角的OTF值或者任何兩個(gè)入射角的平均OTF值執(zhí)行上述校正運(yùn)算來(lái)校正圖像退化。替代地，可以使用對(duì)應(yīng)于入射角的不同OTF值。
使用對(duì)于一個(gè)入射角的OTF值可以減少校正計(jì)算的處理時(shí)間。此外，即使當(dāng)使用對(duì)應(yīng)于入射角的不同OTF值來(lái)增加校正精度時(shí)，可以基于相對(duì)較少數(shù)量的OTF數(shù)據(jù)執(zhí)行校正計(jì)算，從而減少處理時(shí)間。
因此，圖像捕獲裝置100可以通過(guò)使用諸如平面-凸面透鏡的簡(jiǎn)單的單個(gè)透鏡作為成像透鏡來(lái)再現(xiàn)具有較高質(zhì)量的圖像。
在圖2A的成像狀態(tài)中，入射角對(duì)于OTF的影響相對(duì)較小，如圖2C所示。較小的影響表示即使傾斜地放置成像透鏡，傾斜也不會(huì)明顯地影響OTF。
因此，如圖2A所示地放置成像透鏡L可以有效地抑制不期望的成像透鏡L的傾斜誤差的影響，該傾斜誤差在將成像透鏡L安裝到圖像捕獲裝置100上時(shí)可能發(fā)生。
當(dāng)成像透鏡L表現(xiàn)出如圖2B所示的較高的聚焦性能時(shí)，成像表面IS在沿著光軸的方向上輕微的偏移可能放大焦點(diǎn)的范圍，從而引起圖像退化。
同時(shí)，當(dāng)成像透鏡L表現(xiàn)出如圖2A所示的較低的聚焦性能時(shí)，成像表面IS在沿著光軸的方向上輕微的偏移不會(huì)明顯放大焦點(diǎn)的范圍。因此，可以抑制由于成像透鏡和圖像表面IS之間的距離上的誤差而可能引起的不期望的影響。
在上面的描述中，使用FFT的頻率濾波被解釋為在圖像捕獲裝置中校正再現(xiàn)的圖像的方法。
然而，作為校正方法，可以采用使用點(diǎn)擴(kuò)散函數(shù)(PSF)的去卷積計(jì)算。使用PSF的去卷積計(jì)算可以類似于上面的頻率濾波去校正光學(xué)圖像退化。
相比于傅立葉變換，使用PSF的去卷積計(jì)算可以是相對(duì)簡(jiǎn)單的計(jì)算，因此可以減少用于該計(jì)算的特定處理電路的制造成本。
如上所述，圖像捕獲裝置100使用具有有限OTF增益和光線入射角之間OTF上微小差異的單個(gè)透鏡作為成像透鏡。由于單個(gè)透鏡的OTF值有限，較低，并且不管光入射角的大小都基本一致，因此，可以方便光學(xué)圖像退化的校正計(jì)算，從而減少處理時(shí)間。
在本范例實(shí)施例的上述描述中，用在圖像捕獲裝置100中的單個(gè)透鏡具有平面-凸面的形狀。其凸面是球形的并且面對(duì)聚焦的圖像。
替代地，單個(gè)透鏡也可以是凸面面對(duì)聚焦的圖像的凹凸透鏡。只要對(duì)于物體側(cè)具有零或者負(fù)倍率并且對(duì)于圖像側(cè)具有正倍率，單個(gè)透鏡也可以是GRIN(漸變折射率)透鏡，或者，諸如全息透鏡或菲涅耳透鏡的衍射透鏡。
圖像捕獲裝置100中使用的單個(gè)透鏡也可以是非球面透鏡。特別地，上述平面-凸面透鏡或者凹凸透鏡的凸面可以是非球面形的。
在此情況下，可以調(diào)節(jié)諸如圓錐常數(shù)的低維非球面常數(shù)(low-dimensionaspheric constant)，以便減小OTF對(duì)于光入射角的依賴性。非球面常數(shù)的調(diào)節(jié)可以減小入射角之間OTF上的差異，從而補(bǔ)償較低的OTF水平。
上述再現(xiàn)的圖像的校正方法適用于從紅外線到紫外線的整個(gè)電磁波范圍。因此，根據(jù)本范例實(shí)施例的圖像捕獲裝置100適用于諸如監(jiān)控?cái)z像機(jī)和車載攝像機(jī)的紅外攝像機(jī)。
接著，參考圖3A到圖3C描述根據(jù)本發(fā)明另一個(gè)范例實(shí)施例的圖像捕獲裝置100。
圖3A示例說(shuō)明了根據(jù)本發(fā)明的另一個(gè)范例實(shí)施例的圖像捕獲裝置100的示意圖。圖像捕獲裝置100可以包括透鏡陣列系統(tǒng)8，圖像攝取器件9，校正電路10，存儲(chǔ)器11，重構(gòu)電路12和圖像顯示器13。圖像捕獲裝置100例如將物體7再現(xiàn)為在圖像顯示器13上再現(xiàn)的圖像13a。
校正電路10和存儲(chǔ)器11可以配置重構(gòu)圖像校正電路單元30。重構(gòu)圖像校正電路單元30和重構(gòu)電路12還構(gòu)成用于整體控制圖像捕獲裝置100的控制部的一部分。
圖3B是圖3A示例說(shuō)明的透鏡陣列系統(tǒng)8和圖像攝取器件9的部分放大圖示。
透鏡陣列系統(tǒng)8可以包括透鏡陣列8a和遮光片陣列8b。透鏡陣列8a還可以包括成像透鏡的陣列。遮光片陣列8b還可以包括遮光片的陣列。
特別地，根據(jù)本范例實(shí)施例，透鏡陣列8a可以采用光學(xué)上相互等價(jià)的多個(gè)平面-凸面透鏡作為成像透鏡。透鏡陣列8a還可以具有其中二維地排列了多個(gè)平面-凸面透鏡的整體結(jié)構(gòu)。
每個(gè)平面-凸面透鏡的平面面對(duì)物體側(cè)，而它們的凸面面對(duì)圖像側(cè)。每個(gè)平面-凸面透鏡由諸如透明樹脂的樹脂制成。從而，每個(gè)平面-凸面透鏡可以根據(jù)樹脂成型方法通過(guò)玻璃或者金屬模子成型。玻璃或者金屬模子也可以通過(guò)回流方法，使用區(qū)域色調(diào)掩模的蝕刻方法，或者機(jī)械制作方法形成。
替代地，透鏡陣列8a的每個(gè)平面-凸面透鏡可以由玻璃來(lái)代替樹脂而制成。
提供遮光片陣列8b來(lái)抑制可能由于通過(guò)相鄰成像透鏡的光線混合在圖像表面上而引起的閃光或者假像。
遮光片陣列8b由透明樹脂與諸如黑色橡膠的不透明材料的混合材料制成。因此，類似于透鏡陣列8a，遮光片陣列8b可以根據(jù)樹脂成型方法通過(guò)玻璃或者金屬模子成型。玻璃或者金屬模子也可以通過(guò)蝕刻方法或者機(jī)械制作方法形成。
替代地，遮光片陣列8b可以由諸如涂為黑色的不銹鋼的金屬來(lái)代替樹脂而制成。
根據(jù)本范例實(shí)施例，遮光片陣列8b中對(duì)應(yīng)于透鏡陣列8a中的每個(gè)成像透鏡的部分可以是管狀的遮光片。替代地，對(duì)應(yīng)部分可以是錐形的遮光片或者針孔形的遮光片。
透鏡陣列8a和遮光片陣列8b都可以由樹脂制成。在這種情況下，透鏡陣列8a和遮光片陣列8b可以一體地成型，這可以增加制造的效率。
替代地，透鏡陣列8a和遮光片陣列8b可以分開地成型，并接著在成型以后組裝。
在這種情況下，透鏡陣列8a的面對(duì)圖像側(cè)的各個(gè)凸面可以結(jié)合到遮光片陣列8b的各個(gè)開口中，從而方便透鏡陣列8a和遮光片陣列8b之間的對(duì)齊。
根據(jù)本范例實(shí)施例，圖3A或者3B所示例說(shuō)明的圖像攝取器件9為其中二維地排列了光電二極管的圖像傳感器，諸如CCD圖像傳感器或者CMOS圖像傳感器。圖像攝取器件9的放置使得透鏡陣列8a的平面-凸面透鏡的各個(gè)焦點(diǎn)基本上位于圖像攝取表面上。
圖3C是示例說(shuō)明圖像攝取器件9攝取的復(fù)眼圖像CI的實(shí)例的示意圖。為了簡(jiǎn)單起見，假定透鏡陣列8a具有25個(gè)成像透鏡(未顯示)。25個(gè)成像透鏡以5×5的方矩陣排列。分開圖3C中的單眼圖像SI的矩陣線指示遮光片陣列8b的陰影。
如圖3C所示，成像透鏡在圖像表面上形成物體7的各個(gè)單眼圖像。從而，作為25個(gè)單眼圖像SI的陣列而獲得復(fù)眼圖像CI。
圖像攝取器件9包括多個(gè)像素9a來(lái)攝取單眼圖像SI，如圖3B所示。多個(gè)像素9a以矩陣形式排列。
假定圖像攝取器件9的像素9a的總數(shù)為500×500，并且透鏡陣列8a的成像透鏡陣列為5×5。那么，每個(gè)成像透鏡的像素?cái)?shù)量為100×100。此外，假定遮光片陣列8b的陰影每個(gè)成像透鏡覆蓋10×10個(gè)像素。那么，每個(gè)單眼圖像SI的像素9a的數(shù)量為90×90。
接著，圖像攝取器件9攝取如圖3C所示的復(fù)眼圖像CI來(lái)生成復(fù)眼圖像數(shù)據(jù)。復(fù)眼圖像數(shù)據(jù)被發(fā)送到校正電路10。
預(yù)先計(jì)算透鏡陣列8a的成像數(shù)據(jù)的OTF數(shù)據(jù)并存儲(chǔ)在存儲(chǔ)器11中。由于成像透鏡在光學(xué)上相互等價(jià)，對(duì)于下面的校正計(jì)算僅一個(gè)OTF值就足夠了。
校正電路10從存儲(chǔ)器11讀取OTF數(shù)據(jù)并對(duì)從圖像攝取器件9發(fā)送的復(fù)眼圖像執(zhí)行校正計(jì)算。根據(jù)本范例實(shí)施例，校正電路10對(duì)于構(gòu)成復(fù)眼圖像的各個(gè)單眼圖像分別執(zhí)行校正計(jì)算。此時(shí)，使用等式2執(zhí)行校正計(jì)算。
從而，校正電路10基于成像透鏡的OTF數(shù)據(jù)對(duì)構(gòu)成復(fù)眼圖像CI的各個(gè)單眼圖像SI分別執(zhí)行校正計(jì)算。從而，可以獲得由經(jīng)過(guò)校正的單眼圖像SI的數(shù)據(jù)構(gòu)成的復(fù)眼圖像數(shù)據(jù)。
接著，重構(gòu)電路12基于復(fù)眼圖像數(shù)據(jù)執(zhí)行重構(gòu)單個(gè)物像的處理。
如上所述，構(gòu)成復(fù)眼圖像CI的單眼圖像SI為透鏡陣列8a的成像透鏡形成的物體7的圖像。各個(gè)成像透鏡具有相對(duì)于物體7的不同的位置關(guān)系。這種不同的位置關(guān)系產(chǎn)生單眼圖像之間的視差。從而，獲得了根據(jù)視差而互相偏移的單眼圖像。
順便地，本說(shuō)明書中的“視差”指的是參考單眼圖像和每個(gè)其他單眼圖像之間的圖像偏移量。圖像偏移量由長(zhǎng)度表示。
如果僅僅使用一個(gè)單眼圖像作為攝取的圖像，圖像捕獲裝置100不能再現(xiàn)小于單眼圖像的一個(gè)像素的物體7的細(xì)節(jié)。
另一方面，如果使用多個(gè)單眼圖像，圖像捕獲裝置100可以使用如上所述的多個(gè)單眼圖像之間的視差再現(xiàn)物體7的細(xì)節(jié)。換而言之，通過(guò)從包括復(fù)眼圖像重構(gòu)單個(gè)物像，圖像捕獲裝置100可以提供具有對(duì)于各個(gè)單眼圖像增加的分辨率的再現(xiàn)的物像。
單眼圖像之間的視差的檢測(cè)可以基于單眼圖像之間的亮度偏差的最小平方和來(lái)執(zhí)行，該最小平方和由等式3定義。
Em＝∑∑{IB(x，y)-Im(x-px，y-py)}2...3其中IB(x，y)代表從構(gòu)成復(fù)眼圖像的單眼圖像中選擇的參考單眼圖像的光強(qiáng)。
如上所述，單眼圖像之間的視差指的是參考單眼圖像和每個(gè)其他單眼圖像之間的視差。因此，參考單眼圖像作為對(duì)于其他單眼圖像的視差的參考。
下標(biāo)“m”代表每個(gè)單眼圖像的數(shù)字代碼，并且范圍是從一個(gè)到構(gòu)成透鏡陣列8a的透鏡的數(shù)量。換而言之，“m”的上限等于單眼圖像的總數(shù)。
當(dāng)在等式3的項(xiàng)Im(x-px，y-py)中滿足px＝py＝0時(shí)，Im(x，y)代表第m個(gè)單眼圖像的光強(qiáng)，px和py分別代表用于確定在x和y方向上的視差的參數(shù)。
等式3中的雙求和代表在第m個(gè)單眼圖像x和y方向的像素的和。雙求和在“x”從1到X和“y”從1到Y(jié)的范圍內(nèi)進(jìn)行。在此方面，“X”代表第m個(gè)單眼圖像在“x”方向的像素?cái)?shù)量，“Y”代表第m個(gè)單眼圖像在“y”方向的像素?cái)?shù)量。
對(duì)于構(gòu)成給定單眼圖像的所有像素，計(jì)算該單眼圖像和參考單眼圖像之間的亮度偏差。接著，確定亮度偏差的最小平方和Em。
此外，每次各參數(shù)px和py遞增一個(gè)像素，就使用等式3計(jì)算亮度偏差的最小平方和Em?？梢詫a(chǎn)生最小平方和Em的最小值的參數(shù)px和py的值分別視為單眼圖像相對(duì)于參考單眼圖像在x和y方向的視差Px和Py。
假定當(dāng)選擇構(gòu)成復(fù)眼圖像的第一單眼圖像(m＝1)作為參考單眼圖像時(shí)，計(jì)算第一單眼圖像自身的視差。在這種情況下，第一單眼圖像與參考單眼圖像相同。
因此，當(dāng)在等式3中滿足px＝py＝0時(shí)，兩個(gè)單眼圖像完全重疊。從而亮度偏差的最小平方和Em在等式3中變?yōu)?。
px和py的絕對(duì)值越大，兩個(gè)單眼圖像之間的重疊區(qū)域越少，并且最小平方和Em越大。因此，相同的單眼圖像之間的視差Px和Py為零。
接著，假定對(duì)于第m個(gè)單眼圖像在等式3中滿足px＝3，py＝2。在此情況下，第m個(gè)單眼圖像相對(duì)于參考單眼圖像在x方向偏移3個(gè)像素，在y方向偏移2個(gè)像素。
因此，第m個(gè)單眼圖像相對(duì)于參考單眼圖像在x方向偏移負(fù)3個(gè)像素，在y方向偏移負(fù)2個(gè)像素。從而，可以校正第m個(gè)單眼圖像以便精確地重疊參考單眼圖像。接著，亮度偏差的最小平方和Em取最小值。
圖4是示例說(shuō)明取決于視差參數(shù)px和py的亮度偏差的最小平方和Em的變化的實(shí)例的三維曲線圖。在該曲線圖中，x軸代表px，y軸代表py，z軸代表Em。
如上所述，產(chǎn)生最小平方和Em的最小值的參數(shù)px和py的值可以分別視為單眼圖像在x和y方向上相對(duì)于參考單眼圖像的視差Px和Py。
視差Px和Py每個(gè)作為像素尺寸的整數(shù)倍來(lái)定義。然而，當(dāng)期望視差Px或Py小于圖像攝取器件9的一個(gè)像素的尺寸時(shí)，重構(gòu)電路12放大第m個(gè)單眼圖像以便視差Px或Py為像素尺寸的整數(shù)倍。
重構(gòu)電路12執(zhí)行計(jì)算以在像素之間插入像素來(lái)增加構(gòu)成單眼圖像的像素的數(shù)量。對(duì)于插值計(jì)算，重構(gòu)電路12確定每個(gè)像素相對(duì)于相鄰像素的亮度。從而，重構(gòu)電路12可以基于放大的單眼圖像和參考單眼圖像之間亮度偏差的最小平方和Em計(jì)算視差Px和Py。
可以基于下面的三個(gè)因素預(yù)先大致估計(jì)視差Px和Py構(gòu)成透鏡陣列8a的每個(gè)成像透鏡的光放大倍率，透鏡陣列8a的透鏡間距，以及圖像攝取器件9的像素尺寸。
因此，可以確定用于插值計(jì)算的放大比例，從而每個(gè)估算的視差具有像素尺寸整數(shù)倍的長(zhǎng)度。
當(dāng)以相對(duì)較高的精度形成透鏡陣列8a的透鏡間距時(shí)，可以基于物體7和透鏡陣列8a的每個(gè)成像透鏡之間的距離計(jì)算視差Px和Py。
根據(jù)一種視差檢測(cè)方法，首先，檢測(cè)一對(duì)單眼圖像的視差Px和Py。接著，使用三角測(cè)量法原理計(jì)算該對(duì)成像透鏡中的每個(gè)成像透鏡和物體之間的物距?；谟?jì)算的物距和透鏡間距，可以幾何地確定另一個(gè)單眼圖像的視差。在這種情況下，檢測(cè)視差的計(jì)算處理只執(zhí)行一次，這可以減少計(jì)算時(shí)間。
替代地，可以使用另一種已知的視差檢測(cè)方法，來(lái)代替上述使用亮度偏差的最小平方和的視差檢測(cè)方法。
圖5是示例說(shuō)明從復(fù)眼圖像到單個(gè)物像的重構(gòu)方法的示意圖。
根據(jù)圖5所示的重構(gòu)方法，首先，從構(gòu)成復(fù)眼圖像14的單眼圖像14a獲得像素亮度數(shù)據(jù)?；趩窝蹐D像14a的位置和檢測(cè)的視差，將獲得的像素亮度數(shù)據(jù)定位于虛擬空間中的再現(xiàn)圖像130的給定位置。
對(duì)于每個(gè)單眼圖像14a的所有像素，重復(fù)上述像素亮度數(shù)據(jù)的定位過(guò)程，從而生成再現(xiàn)的圖像130。
這里，假定選擇圖5中的復(fù)眼圖像14最上面的行中最左面的單眼圖像14a作為參考單眼圖像。那么排列在其右側(cè)的單眼圖像的視差Px依次變?yōu)?1，-2，-3等。
將每個(gè)單眼圖像最左面和最上面的像素的亮度數(shù)據(jù)依次定位在再現(xiàn)的圖像130中。此時(shí)，在圖5的右方向，即視差的正方向依次以視差值偏移像素亮度數(shù)據(jù)。
當(dāng)單眼圖像14a具有相對(duì)于參考單眼圖像的視差Px和Py時(shí)，如上所述地以每個(gè)視差的負(fù)值在x和y方向偏移單眼圖像14a。從而，單眼圖像與參考單眼圖像最接近地重疊。兩個(gè)圖像之間重疊的像素指示物體7的基本相同的部分。
然而，偏移的單眼圖像和參考單眼圖像是由具有透鏡陣列8a中的不同位置的成像透鏡形成的。因此，兩個(gè)圖像之間重疊的像素不表示完全相同的部分，而是基本相同的部分。
因此，圖像捕獲裝置100使用參考單眼圖像的像素中攝取的物像數(shù)據(jù)，和在偏移的單眼圖像的像素中攝取的物像數(shù)據(jù)。從而，圖像捕獲裝置100可以再現(xiàn)小于單眼圖像的一個(gè)像素的物體7的細(xì)節(jié)。
從而，圖像捕獲裝置100從包括視差的復(fù)眼圖像重構(gòu)單個(gè)物像。由此，圖像捕獲裝置100可以提供物體7的再現(xiàn)的圖像，該物體7具有對(duì)于單眼圖像的增加的分辨率。
相對(duì)較大數(shù)量的視差、或者遮光板陣列8b的陰影，可能產(chǎn)生失去了亮度數(shù)據(jù)的像素。在這種情況下，重構(gòu)電路12通過(guò)參考相鄰像素的亮度數(shù)據(jù)插入像素丟失的亮度數(shù)據(jù)。
如上所述，當(dāng)視差小于一個(gè)像素時(shí)，放大重構(gòu)的圖像，使得視差量變得等于像素尺寸的整數(shù)倍。此時(shí)，通過(guò)插值計(jì)算增加了構(gòu)成重構(gòu)的圖像的像素的數(shù)量。接著，將像素亮度數(shù)據(jù)定位于放大的重構(gòu)圖像的給定位置。
圖6是示例說(shuō)明如上所述的圖像退化校正處理以及單個(gè)物像的重構(gòu)處理的順序流程的流程圖。
在步驟S1，圖像攝取器件9攝取復(fù)眼圖像。
在步驟S2，校正電路10讀取透鏡系統(tǒng)的OTF數(shù)據(jù)。如上所述，OTF數(shù)據(jù)是通過(guò)光線跟蹤模擬預(yù)先計(jì)算的并存儲(chǔ)在存儲(chǔ)器11中。
在步驟S3，校正電路10執(zhí)行計(jì)算以基于OTF數(shù)據(jù)校正每個(gè)單眼圖像中的圖像退化。由此，獲得了由經(jīng)過(guò)校正的單眼圖像所構(gòu)成的復(fù)眼圖像。
在步驟S4，重構(gòu)電路12選擇用于確定每個(gè)單眼圖像的視差的參考單眼圖像。
在步驟S5，重構(gòu)電路12確定參考單眼圖像和每個(gè)其他的單眼圖像之間的視差。
在步驟S6，重構(gòu)電路12執(zhí)行計(jì)算來(lái)使用視差從復(fù)眼圖像重構(gòu)單個(gè)物像。
在步驟S7，輸出單個(gè)物像。
圖7是圖像退化校正處理以及圖6的重構(gòu)處理的另一個(gè)順序流程的流程圖。
在步驟S1a，圖像攝取器件9攝取復(fù)眼圖像。
在步驟S2a，重構(gòu)電路12選擇用于確定每個(gè)單眼圖像的視差的參考單眼圖像。
在步驟S3a，重構(gòu)電路12確定參考單眼圖像和每個(gè)其他的單眼圖像之間的視差。
在步驟S4a，重構(gòu)電路12執(zhí)行計(jì)算來(lái)使用視差從復(fù)眼圖像重構(gòu)單個(gè)物像。
在步驟S5a，校正電路10從存儲(chǔ)器11讀取透鏡系統(tǒng)的OTF數(shù)據(jù)。
在步驟S6a，校正電路10執(zhí)行計(jì)算以基于OTF數(shù)據(jù)校正單個(gè)物像中的圖像退化。
在步驟S7a，輸出單個(gè)物像。
在圖7的順序流程中，基于OTF數(shù)據(jù)校正圖像退化的計(jì)算處理只執(zhí)行一次。因此，相比于圖6的順序流程可以減少計(jì)算時(shí)間。
然而，由于OTF數(shù)據(jù)本質(zhì)上是與各個(gè)單眼圖像相關(guān)的，相比于圖6的順序流程，對(duì)重構(gòu)的單個(gè)物像應(yīng)用OTF數(shù)據(jù)可能增加校正中的誤差。
下面，對(duì)于構(gòu)成本范例實(shí)施例的透鏡陣列8a的成像透鏡，檢查優(yōu)選的構(gòu)造來(lái)獲得視角之間MTF上較低的差異。
根據(jù)本范例實(shí)施例，每個(gè)成像透鏡可以是平面-凸面透鏡，它們的凸面設(shè)置為朝著圖像側(cè)。每個(gè)成像透鏡可以由丙烯酸樹脂制成。
對(duì)于每個(gè)成像透鏡的參數(shù)，“b”代表后焦點(diǎn)，“r”代表彎曲的半徑，“t”代表透鏡厚度，而“D”代表透鏡直徑。
為了找出在相對(duì)于物體的期望的視角范圍內(nèi)可以獲得有限和一致的OTF增益的范圍，在MTF的曲線圖中隨機(jī)地改變?nèi)齻€(gè)參數(shù)“b”，“t”和“D”。從而，當(dāng)上述參數(shù)滿足下列條件時(shí)，每個(gè)成像透鏡在視角之間的MTF上表現(xiàn)出相對(duì)較低的差異1.7≤|b/r|≤2.4；0.0≤|t/r|≤1.7；和1.0≤|D/r|≤3.8。
當(dāng)參數(shù)偏離上述范圍時(shí)，MTF可能下降到0或者減少一致性。另一方面，當(dāng)參數(shù)滿足上述范圍時(shí)，成像透鏡的透鏡直徑變得較短并且其F數(shù)變得較小。從而，可以獲得具有深的景深的相對(duì)亮的成像透鏡。
這里，假定構(gòu)成圖3的透鏡陣列8a的每個(gè)成像透鏡都是由丙烯酸樹脂制成。此外，將凸面的彎曲半徑“r”，透鏡直徑“D”和透鏡厚度“t”都設(shè)置為0.4mm。將后焦點(diǎn)設(shè)置為0.8mm。
在這種構(gòu)造下，參數(shù)b/r，t/r和D/r分別等于2.0，1.0和1.0，這滿足上述條件。
圖2C示例說(shuō)明了具有上述構(gòu)造的成像透鏡的MTF。圖2C的曲線圖指示，成像透鏡不會(huì)受到相對(duì)于成像透鏡的光入射角的誤差或成像透鏡的定位誤差的顯著影響。
圖8示例說(shuō)明了取決于成像透鏡的物距的MTF的變化的實(shí)例。當(dāng)物距從10mm到∞變化時(shí)，MTF基本不變，從而MTF上的變化太小以致于不能在圖8中圖形上分辨。
從而，成像透鏡的OTF增益不會(huì)受到物距的變化的顯著影響。其一個(gè)可能原因是由于透鏡直徑相對(duì)較小。較小的透鏡直徑減小光強(qiáng)，從而通常產(chǎn)生相對(duì)較暗的圖像。
然而，對(duì)于上述成像透鏡，成像表面IS上的F數(shù)大約是2.0，這是一個(gè)足夠小的數(shù)值。因此，盡管透鏡直徑較小，但成像透鏡具有足夠的亮度。
透鏡系統(tǒng)的聚焦長(zhǎng)度越短，物體的聚焦圖像就越小，從而降低攝取的圖像的分辨率。在這種情況下，圖像捕獲裝置100可以采用包括按陣列排列的多個(gè)成像透鏡的透鏡陣列。
使用透鏡陣列，圖像捕獲裝置100攝取單眼圖像以形成復(fù)眼圖像。圖像捕獲裝置100從構(gòu)成復(fù)眼圖像的單眼圖像重構(gòu)單個(gè)物像。由此，圖像捕獲裝置100可以提供具有足夠分辨率的物像。
如上所述，透鏡厚度“t”和后焦點(diǎn)“b”分別是0.4mm和0.8mm。因此，從透鏡陣列8a的表面到圖像表面IS的距離為1.2mm。從而，即使考慮圖像攝取器件，圖像顯示器，重構(gòu)電路，以及重構(gòu)圖像校正單元的厚度，也可以以較薄的尺寸制造圖像捕獲裝置100以便具有幾毫米的厚度。
因此，圖像捕獲裝置100適合于最好提供薄的內(nèi)置設(shè)備的電子裝置，諸如蜂窩電話，膝上型計(jì)算機(jī)和包括PDA(個(gè)人數(shù)字助理)的移動(dòng)數(shù)據(jù)終端。
如上所述，可以使用諸如全息透鏡和菲涅爾透鏡的衍射透鏡作為成像透鏡。然而，當(dāng)使用衍射透鏡捕獲彩色圖像時(shí)，需要考慮色差對(duì)于透鏡的影響。
此后，說(shuō)明根據(jù)本發(fā)明另一個(gè)范例實(shí)施例的用于捕獲彩色圖像的圖像捕獲裝置100。
在另一個(gè)范例實(shí)施例中，除了采用彩色CCD攝像機(jī)50作為圖像攝取器件3之外，根據(jù)本范例實(shí)施例的圖像捕獲裝置100具有與圖1基本相同的結(jié)構(gòu)。
彩色CCD攝像機(jī)50包括多個(gè)像素來(lái)攝取聚焦的圖像。像素被劃分為三種紅色，綠色，藍(lán)色攝取像素。對(duì)應(yīng)的彩色濾波器位于三種像素之上。
圖9是示例說(shuō)明彩色CCD攝像機(jī)50的像素陣列實(shí)例的示意圖。
如圖9所示，彩色CCD攝像機(jī)50包括用于攝取紅色的亮度數(shù)據(jù)的紅色攝取像素15a，用于攝取綠色的亮度數(shù)據(jù)的綠色攝取像素15b，以及用于攝取藍(lán)色的亮度數(shù)據(jù)的藍(lán)色攝取像素15c。
紅色，綠色和藍(lán)色的彩色濾波器分別放置在各個(gè)像素15a，15b和15c上，對(duì)應(yīng)于要得到的亮度數(shù)據(jù)的色彩。在色彩攝像機(jī)50的表面上，順序地放置一組三個(gè)像素15a，15b和15c以攝取各種色彩的亮度數(shù)據(jù)。
在紅色攝取像素15a獲得的圖像上，可以基于紅色波長(zhǎng)的OTF數(shù)據(jù)執(zhí)行校正計(jì)算來(lái)校正圖像中的圖像退化。從而可以獲得基于OTF數(shù)據(jù)而校正的紅色色彩的圖像。
類似地，在綠色攝取像素15b獲得的圖像上，可以基于綠色波長(zhǎng)的OTF數(shù)據(jù)執(zhí)行校正計(jì)算來(lái)校正圖像中的圖像退化。此外，在藍(lán)色攝取像素15c獲得的圖像上，可以基于藍(lán)色波長(zhǎng)的OTF數(shù)據(jù)執(zhí)行校正計(jì)算來(lái)校正圖像中的圖像退化。
對(duì)于彩色攝像機(jī)50攝取的彩色圖像，圖像捕獲裝置100可以在圖像顯示器6的像素上顯示各彩色圖像的亮度數(shù)據(jù)?？梢砸耘c彩色攝像機(jī)50的像素相似的方式按陣列排列圖像顯示器6的像素。
替代地，圖像捕獲裝置100可以在多個(gè)圖像之間相同的位置綜合各個(gè)色彩的亮度數(shù)據(jù)。接著，圖像捕獲裝置100可以在圖像顯示器6的對(duì)應(yīng)像素上顯示經(jīng)過(guò)綜合的數(shù)據(jù)。
當(dāng)彩色濾波器以不同于圖9的方式排列時(shí)，圖像捕獲裝置100可以對(duì)于各個(gè)彩色圖像的亮度數(shù)據(jù)分別執(zhí)行校正計(jì)算。接著，圖像捕獲裝置100可以綜合經(jīng)過(guò)校正的亮度數(shù)據(jù)以輸出重構(gòu)的圖像。
可以使用根據(jù)本說(shuō)明書的教導(dǎo)而編程的傳統(tǒng)的通用數(shù)字計(jì)算機(jī)來(lái)方便地實(shí)施本發(fā)明的實(shí)施例，這對(duì)于計(jì)算機(jī)領(lǐng)域的技術(shù)人員是顯而易見的?？梢杂沙绦騿T基于本說(shuō)明書的教導(dǎo)準(zhǔn)備適當(dāng)?shù)能浖幋a，這對(duì)于軟件領(lǐng)域的技術(shù)人員是顯而易見的。還可以通過(guò)準(zhǔn)備特定用途集成電路或者通過(guò)將傳統(tǒng)元件電路的適當(dāng)網(wǎng)絡(luò)互連來(lái)實(shí)施本發(fā)明的實(shí)施例，這對(duì)于本領(lǐng)域的技術(shù)人員是顯而易見的。
在上述教導(dǎo)的啟發(fā)下可以進(jìn)行多種其它的修改和變型。因此可以理解在所附權(quán)利要求的范圍內(nèi)，本申請(qǐng)說(shuō)明書的揭示可以以不同于這里特別描述的方式實(shí)現(xiàn)。
本申請(qǐng)主張2006年5月15日在日本專利局提交的申請(qǐng)?zhí)枮镴P2006-135699的日本專利申請(qǐng)的優(yōu)先權(quán)，其整體內(nèi)容在此參考引入。
權(quán)利要求
1.一種圖像捕獲裝置，包括成像透鏡，用于聚焦來(lái)自物體的光線以形成圖像；圖像攝取裝置，用于攝取由成像透鏡形成的圖像；以及校正電路，用于執(zhí)行校正由成像透鏡引起的圖像的圖像退化的計(jì)算；其中，成像透鏡為具有有限的光學(xué)傳遞函數(shù)的增益并且表現(xiàn)出成像透鏡的不同視角之間增益上的微小差異的單個(gè)透鏡。
2.根據(jù)權(quán)利要求1所述的圖像捕獲裝置，其中，單個(gè)透鏡具有面對(duì)圖像的正倍率的表面，并且具有面對(duì)物體的0倍率的表面或者正倍率的表面中的任意一個(gè)表面。
3.根據(jù)權(quán)利要求1或2所述的圖像捕獲裝置，其中，成像透鏡僅包括一個(gè)透鏡。
4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的圖像捕獲裝置，其中校正電路對(duì)于來(lái)自物體的給定波長(zhǎng)的光線分別執(zhí)行校正圖像退化的計(jì)算。
5.一種圖像捕獲裝置，包括透鏡陣列，包括按陣列排列的多個(gè)成像透鏡，該透鏡陣列形成包括物體的單眼圖像的復(fù)眼圖像，單眼圖像由各個(gè)成像透鏡形成；重構(gòu)電路，用于執(zhí)行從由透鏡陣列形成的復(fù)眼圖像重構(gòu)單個(gè)物像的計(jì)算；以及重構(gòu)圖像校正電路，用于執(zhí)行校正由重構(gòu)電路重構(gòu)的單個(gè)物像的圖像退化的計(jì)算。
6.根據(jù)權(quán)利要求5所述的圖像捕獲裝置，其中，在執(zhí)行重構(gòu)單個(gè)物像的計(jì)算中，重構(gòu)電路基于單眼圖像之間的亮度偏差的最小平方和確定單眼圖像之間的相對(duì)位置。
7.根據(jù)權(quán)利要求5或6所述的圖像捕獲裝置，其中，重構(gòu)圖像校正電路對(duì)于各個(gè)單眼圖像分別執(zhí)行圖像退化的校正運(yùn)算，并且重構(gòu)電路基于經(jīng)過(guò)重構(gòu)圖像校正電路校正的單眼圖像執(zhí)行單個(gè)物像的重構(gòu)計(jì)算。
8.根據(jù)權(quán)利要求5或6所述的圖像捕獲裝置，其中，重構(gòu)圖像校正電路對(duì)經(jīng)過(guò)重構(gòu)電路重構(gòu)的單個(gè)物像執(zhí)行圖像退化的校正運(yùn)算。
9.根據(jù)權(quán)利要求5至8任一項(xiàng)所述的圖像捕獲裝置，進(jìn)一步包括遮光部件來(lái)抑制成像透鏡之間的光的串?dāng)_。
10.根據(jù)權(quán)利要求1至9任一項(xiàng)所述的圖像捕獲裝置，其中，成像透鏡是具有面對(duì)圖像的凸面的平面-凸面透鏡。
11.根據(jù)權(quán)利要求1至9任一項(xiàng)所述的圖像捕獲裝置，其中，成像透鏡是具有面對(duì)圖像的凸面的凹凸透鏡。
12.根據(jù)權(quán)利要求10或11所述的圖像捕獲裝置，其中，面對(duì)圖像的成像透鏡的凸面是以球形或者非球形中的任意一種形狀的形式而形成。
13.根據(jù)權(quán)利要求10至12任一項(xiàng)所述的圖像捕獲裝置，其中，成像透鏡滿足下列條件1.7≤|b/r|≤2.4；0.0≤|t/r|≤1.7；和1.0≤|D/r|≤3.8，其中，對(duì)于成像透鏡，“b”代表后焦點(diǎn)，“r”代表彎曲的半徑，“t”代表透鏡厚度，而“D”代表透鏡直徑。
14.一種電子裝置，包括根據(jù)權(quán)利要求1至13任一項(xiàng)所述的圖像捕獲裝置。
15.一種使用權(quán)利要求1至4任一項(xiàng)所述的圖像捕獲裝置來(lái)捕獲圖像的方法，包括下列步驟聚焦來(lái)自物體的光線以形成圖像；攝取聚焦后的圖像；以及執(zhí)行校正聚焦后的圖像的圖像退化的計(jì)算。
16.一種使用權(quán)利要求5至13任一項(xiàng)所述的圖像捕獲裝置來(lái)捕獲圖像的方法，包括下列步驟形成包括物體的單眼圖像的復(fù)眼圖像；執(zhí)行用于從復(fù)眼圖像重構(gòu)單個(gè)物像的計(jì)算；執(zhí)行用于校正單個(gè)物像的圖像退化的計(jì)算。
17.一種使用權(quán)利要求5至13任一項(xiàng)所述的圖像捕獲裝置來(lái)捕獲圖像的方法，包括下列步驟形成復(fù)眼圖像，該復(fù)眼圖像包括由多個(gè)成像透鏡聚焦的物體的單眼圖像；攝取單眼圖像；讀取多個(gè)成像透鏡中至少一個(gè)成像透鏡的光學(xué)傳遞函數(shù)數(shù)據(jù)；基于光學(xué)傳遞函數(shù)數(shù)據(jù)校正單眼圖像的圖像退化；從單眼圖像中選擇參考單眼圖像；檢測(cè)參考單眼圖像和每個(gè)其他單眼圖像之間的視差；基于視差重構(gòu)單個(gè)物像；以及輸出單個(gè)物像。
18.一種使用圖像捕獲裝置來(lái)捕獲圖像的方法，包括下列步驟形成復(fù)眼圖像，該復(fù)眼圖像包括由多個(gè)成像透鏡聚焦的物體的單眼圖像；攝取單眼圖像；讀取多個(gè)成像透鏡中至少一個(gè)成像透鏡的光學(xué)傳遞函數(shù)數(shù)據(jù)；基于光學(xué)傳遞函數(shù)數(shù)據(jù)校正單眼圖像的圖像退化；從單眼圖像中選擇參考單眼圖像；檢測(cè)參考單眼圖像和每個(gè)其他單眼圖像之間的視差；基于視差重構(gòu)單個(gè)物像；以及輸出單個(gè)物像。
全文摘要
一種圖像捕獲裝置包括成像透鏡，圖像攝取器件，和校正電路。成像透鏡配置來(lái)聚焦來(lái)自物體的光線以形成圖像。圖像攝取器件配置來(lái)攝取成像透鏡形成的圖像。校正電路，配置來(lái)執(zhí)行由校正成像透鏡引起的圖像的圖像退化的計(jì)算。成像透鏡為具有有限的光學(xué)傳遞函數(shù)的增益并且表現(xiàn)出成像透鏡的不同視角之間增益上的微小差異的單個(gè)透鏡。
文檔編號(hào)G06T5/20GK101076085SQ200710107500
公開日2007年11月21日 申請(qǐng)日期2007年5月15日 優(yōu)先權(quán)日2006年5月15日
發(fā)明者森田展弘, 山中佑治, 佐久間伸夫 申請(qǐng)人:株式會(huì)社理光