攝像裝置以及攝像方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及在閃爍量周期性變動(dòng)的外部照明照射在被攝體上的情況下，也能夠降低光源閃爍的影響的攝像裝置以及攝像方法。
【背景技術(shù)】
[0002]已知在室內(nèi)的動(dòng)態(tài)圖像攝影和實(shí)時(shí)取景顯示時(shí)，熒光燈等光源的明亮度會(huì)與商用電源頻率同步地周期性變動(dòng)，會(huì)對(duì)實(shí)時(shí)取景顯示和動(dòng)態(tài)圖像攝影帶來(lái)不良影響。該現(xiàn)象被稱作光源閃爍，在攝影時(shí)和實(shí)時(shí)取景顯示時(shí)的幀率與光源的明亮度變化的頻率不同步的情況下，明亮度會(huì)按照每幀而變化(被稱作面閃爍(surface flicker))，另外在同一幀內(nèi)的圖像中，明亮度呈線狀產(chǎn)生于每個(gè)空間周期內(nèi)(被稱作行閃爍(line flicker))。
[0003]為了降低所述的光源閃爍的影響，以往提出了各種技術(shù)。例如日本特開(kāi)平11-122513號(hào)公報(bào)(以下，稱作專利文獻(xiàn)I)、日本特開(kāi)平6-105204號(hào)公報(bào)(以下，稱作專利文獻(xiàn)2)中公開(kāi)了這種技術(shù)。在這些現(xiàn)有技術(shù)中，在校正光源閃爍的影響時(shí)，首先通過(guò)相機(jī)的攝像元件取得多個(gè)幀的圖像數(shù)據(jù)，根據(jù)所取得的圖像數(shù)據(jù)的亮度輸出的時(shí)間轉(zhuǎn)換，檢測(cè)光源閃爍的頻率，根據(jù)該檢測(cè)的閃爍頻率，以使得在各幀內(nèi)圖像的亮度均勻的方式，校正從攝像元件取得的各幀圖像的亮度增益。
[0004]作為室內(nèi)光源的電燈的閃爍基于電源商用頻率，因而以50Hz或60Hz變動(dòng)。例如，在專利文獻(xiàn)I中，以與電燈的閃爍頻率相同或較慢的幀頻率進(jìn)行動(dòng)作、并確認(rèn)幀的垂直強(qiáng)度部分布，由此來(lái)進(jìn)行閃爍檢測(cè)。作為該方法，在以與電燈的閃爍周期相同或較慢的幀頻率進(jìn)行實(shí)時(shí)取景顯示和動(dòng)態(tài)圖像記錄的情況下，能夠有效進(jìn)行閃爍檢測(cè)和校正。

【發(fā)明內(nèi)容】

[0005]發(fā)明欲解決的課題
[0006]在所述的專利文獻(xiàn)I中，使用多個(gè)二維攝像元件，一氣對(duì)多個(gè)圖像進(jìn)行閃爍校正，因而需要圖像數(shù)據(jù)存儲(chǔ)用的非常大的存儲(chǔ)器。此外，雖然根據(jù)多個(gè)域的垂直強(qiáng)度分布來(lái)校正當(dāng)前幀的垂直明暗差(行閃爍)是有效的手段，然而在高速動(dòng)態(tài)圖像的情況下，無(wú)法有效校正幀間的明暗差(面閃爍)。
[0007]此外，如專利文獻(xiàn)2那樣將高速度相機(jī)的數(shù)據(jù)劃分到各系統(tǒng)，具有幀存儲(chǔ)器，合成按照每個(gè)系統(tǒng)進(jìn)行了圖像處理后的數(shù)據(jù)，從而能夠?qū)崿F(xiàn)消除閃爍。然而，這種情況下，需要大量幀存儲(chǔ)器和圖像處理1C，會(huì)招致大型化，不適于數(shù)字靜態(tài)相機(jī)等便攜式設(shè)備。
[0008]本發(fā)明就是鑒于這種情況而完成的，其目的在于提供一種在數(shù)字相機(jī)等便攜設(shè)備中能夠在高速相機(jī)模式下消除閃爍的攝像裝置以及攝像方法。
[0009]用于解決課題的手段
[0010]第I方面的攝像裝置具有:攝像元件，其具有將如下的輸出信號(hào)分別同時(shí)并列地轉(zhuǎn)換為數(shù)字信號(hào)的多個(gè)AD轉(zhuǎn)換器，該輸出信號(hào)是通過(guò)呈二維狀排列的由第I像素群和第2像素群構(gòu)成的多個(gè)像素以及與所述第I像素群和第2像素群對(duì)應(yīng)的像素而分別生成的；圖像信號(hào)讀出部，其針對(duì)與所述攝像元件的第I像素群和第2像素群對(duì)應(yīng)的像素，分別獨(dú)立地讀出圖像信號(hào)；閃爍檢測(cè)部，其基于被攝體所包含的光源的周期性閃爍動(dòng)作，對(duì)在所述攝像元件上成像的被攝體像進(jìn)行光電轉(zhuǎn)換，根據(jù)與對(duì)應(yīng)于所述第2像素群的像素對(duì)應(yīng)的圖像輸出來(lái)檢測(cè)攝影圖像整體的明狀態(tài)和暗狀態(tài)，從而檢測(cè)所述光源的閃爍周期；以及閃爍校正部，當(dāng)在所述閃爍檢測(cè)部中，通過(guò)與所述第2像素群對(duì)應(yīng)的像素取得的圖像由于周期性閃爍而入射了明狀態(tài)和暗狀態(tài)的亮度的光時(shí)，以使與所述第2像素群對(duì)應(yīng)地配置的所述第I像素群的攝影圖像的亮度輸出成為作為基準(zhǔn)的亮度輸出的方式，校正與對(duì)應(yīng)于所述第I像素群的多個(gè)像素中的各像素對(duì)應(yīng)的亮度輸出增益。
[0011]第2方面的攝像方法具有如下步驟:圖像信號(hào)讀出步驟，從攝像元件的與所述攝像元件的第I像素群和第2像素群對(duì)應(yīng)的像素中，分別獨(dú)立地讀出圖像信號(hào)，其中，所述攝像元件具有將如下的輸出信號(hào)分別同時(shí)并列地轉(zhuǎn)換為數(shù)字信號(hào)的多個(gè)AD轉(zhuǎn)換器，該輸出信號(hào)是通過(guò)呈二維狀排列的由所述第I像素群和所述第2像素群構(gòu)成的多個(gè)像素以及與所述第I像素群和第2像素群對(duì)應(yīng)的像素而分別生成的；閃爍檢測(cè)步驟，基于被攝體所包含的光源的周期性閃爍動(dòng)作，對(duì)在所述攝像元件上成像的被攝體像進(jìn)行光電轉(zhuǎn)換，根據(jù)與對(duì)應(yīng)于所述第2像素群的像素對(duì)應(yīng)的圖像輸出來(lái)檢測(cè)攝影圖像整體的明狀態(tài)和暗狀態(tài)，從而檢測(cè)所述光源的閃爍周期；以及閃爍校正步驟，當(dāng)在所述閃爍檢測(cè)步驟中，通過(guò)與所述第2像素群對(duì)應(yīng)的像素取得的圖像由于周期性閃爍而入射了明狀態(tài)和暗狀態(tài)的亮度的光時(shí)，以使與所述第2像素群對(duì)應(yīng)地配置的所述第I像素群的攝影圖像的亮度輸出成為作為基準(zhǔn)的亮度輸出的方式，校正與對(duì)應(yīng)于所述第I像素群的多個(gè)像素的各像素對(duì)應(yīng)的亮度輸出增益。
[0012]發(fā)明的效果
[0013]根據(jù)本發(fā)明，能夠提供一種在數(shù)字相機(jī)等便攜設(shè)備中在高速相機(jī)模式下消除閃爍的攝像裝置以及攝像方法。
【附圖說(shuō)明】
[0014]圖1是表示本發(fā)明的I個(gè)實(shí)施方式的相機(jī)的圖像傳感器的像素結(jié)構(gòu)的俯視圖。
[0015]圖2是表示本發(fā)明的I個(gè)實(shí)施方式的相機(jī)的圖像傳感器的內(nèi)部電路結(jié)構(gòu)的框圖。
[0016]圖3是表示在本發(fā)明的I個(gè)實(shí)施方式的相機(jī)中，電燈閃爍周期與幀率之間的關(guān)系的圖。
[0017]圖4是表示在本發(fā)明的I個(gè)實(shí)施方式的相機(jī)中，用于校正實(shí)時(shí)閃爍的概略電路的框圖。
[0018]圖5是表示在本發(fā)明的I個(gè)實(shí)施方式的相機(jī)中，閃爍檢測(cè)和閃爍校正處理電路的詳細(xì)情況的框圖。
[0019]圖6是表示在本發(fā)明的I個(gè)實(shí)施方式的相機(jī)中，圖像傳感器的第I序列與第2序列的讀出定時(shí)的時(shí)序圖。
[0020]圖7A和圖7B是表示本發(fā)明的I個(gè)實(shí)施方式的相機(jī)的動(dòng)作的流程圖。
[0021]圖8是表示本發(fā)明的I個(gè)實(shí)施方式的相機(jī)的閃爍校正動(dòng)作的流程圖。
[0022]圖9A和圖9B是表示本發(fā)明的I個(gè)實(shí)施方式的相機(jī)的動(dòng)態(tài)圖像信息流動(dòng)作的流程圖。
[0023]圖10是表示本發(fā)明的I個(gè)實(shí)施方式的相機(jī)的靜態(tài)圖像讀入動(dòng)作的流程圖。
【具體實(shí)施方式】
[0024]以下，按照附圖使用應(yīng)用本發(fā)明的相機(jī)說(shuō)明優(yōu)選實(shí)施方式。本發(fā)明的優(yōu)選的I個(gè)實(shí)施方式的相機(jī)是具有圖像傳感器等攝像部的數(shù)字相機(jī)。該攝像部將通過(guò)攝影鏡頭形成的被攝體像轉(zhuǎn)換為圖像數(shù)據(jù)。攝像部?jī)?nèi)的圖像傳感器的輸出存在輸出第I像素群的數(shù)據(jù)的系統(tǒng)I和輸出第2像素群的數(shù)據(jù)的系統(tǒng)2這2個(gè)系統(tǒng)，能夠分別獨(dú)立設(shè)定讀出的幀率(換言之，能夠分別獨(dú)立設(shè)定電子快門速度)。作為相機(jī)的動(dòng)作，在實(shí)時(shí)取景顯示和動(dòng)態(tài)圖像攝影時(shí)，使用以高速幀率讀出的圖像數(shù)據(jù)，檢測(cè)閃爍，按照該檢測(cè)結(jié)果，計(jì)算用于實(shí)現(xiàn)均勻的亮度的增益。使用該計(jì)算的增益，對(duì)以低速幀率讀出的圖像數(shù)據(jù)進(jìn)行閃爍的校正。根據(jù)該校正后的圖像數(shù)據(jù)，將被攝體像實(shí)時(shí)取景顯示于配置在主體的背面的顯示部上，另外在動(dòng)態(tài)圖像模式下記錄根據(jù)動(dòng)態(tài)圖像按鈕的操作等而取得的動(dòng)態(tài)圖像的圖像數(shù)據(jù)。
[0025]圖1是表示本發(fā)明的I個(gè)實(shí)施方式的相機(jī)的圖像傳感器的像素結(jié)構(gòu)的俯視圖，另外圖2是表示圖像傳感器的內(nèi)部電路結(jié)構(gòu)的框圖。
[0026]圖1示出圖像傳感器I的光電二極管陣列2(參照?qǐng)D2)的像素結(jié)構(gòu)。這里，有效像素2b是用于針對(duì)被攝體像取得圖像數(shù)據(jù)的有效圖像區(qū)域的像素。實(shí)際有效像素2a是在有效圖像區(qū)域內(nèi)的實(shí)際使用的圖像區(qū)域的像素。此外，在由有效像素2b構(gòu)成的有效圖像區(qū)域的外側(cè)，沿著垂直方向配置水平OB (光學(xué)黑體)像素2c，沿著水平方向配置垂直O(jiān)B像素
2do
[0027]水平OB像素2c和垂直O(jiān)B像素2d是光電二極管的受光面被遮光的像素。因此，未通過(guò)攝影鏡頭11 (參照?qǐng)D4)形成被攝體像，輸出處于暗黑下的暗電流的信號(hào)。使用從該OB像素輸出的暗電流，進(jìn)行OB校正。有效像素2b、水平OB像素2c、垂直O(jiān)B像素2d的外側(cè)的區(qū)域是不將被攝體像反映為圖像數(shù)據(jù)的無(wú)效像素(偽像素)。
[0028]圖2表示數(shù)字相機(jī)用的圖像傳感器I的內(nèi)部電路。圖像傳感器I在內(nèi)部具有光電二極管陣列2、水平/垂直驅(qū)動(dòng)器3、定時(shí)控制器4、AD轉(zhuǎn)換器5以及重排部(並U替尤部)6、緩沖放大器7a?7m。光電二極管陣列2的像素的結(jié)構(gòu)是如使用圖1所說(shuō)明的結(jié)構(gòu)。
[0029]水平/垂直驅(qū)動(dòng)器3按照來(lái)自定時(shí)控制器4的定時(shí)信號(hào)，讀出光電二極管陣列2中的有效像素2b、水平OB像素2c、垂直O(jiān)B像素2d、無(wú)效像素2e等的圖像數(shù)據(jù)。
[0030]AD轉(zhuǎn)換器5按照來(lái)自定時(shí)控制器4的定時(shí)信號(hào)，對(duì)從光電二極管陣列2讀出的圖像數(shù)據(jù)進(jìn)行AD轉(zhuǎn)換，實(shí)現(xiàn)數(shù)字信號(hào)化。然后，將數(shù)字信號(hào)化后的圖像數(shù)據(jù)輸出給重排部6。重排部6根據(jù)實(shí)時(shí)取景顯示、靜態(tài)圖像攝影、動(dòng)態(tài)圖像攝影等相機(jī)的各動(dòng)作模式，適當(dāng)對(duì)從光電二極管陣列2中讀出的有效像素2b的圖像數(shù)據(jù)進(jìn)行間疏處理(間引? )并輸出給緩沖放大器7a?7m。
[0031]如上構(gòu)成本實(shí)施方式的圖像傳感器I。通常，在數(shù)字相機(jī)中，在全像素靜態(tài)圖像攝影時(shí)、動(dòng)態(tài)圖像攝影時(shí)和實(shí)時(shí)取景顯示用的圖像取得時(shí)，在圖像生成時(shí)圖像傳感器的像素輸出的有效利用方法不同。即，在全像素靜態(tài)圖像攝影時(shí)，使用所有有效像素用于記錄。另一方面，在實(shí)時(shí)取景顯示用的圖像取得時(shí)、動(dòng)態(tài)圖像攝影時(shí)、高速相機(jī)動(dòng)作時(shí)，從攝像元件的有效圖像區(qū)域中切取對(duì)應(yīng)于相機(jī)的背面液晶或EVF、TV輸出等顯示設(shè)備的圖像尺寸，或通過(guò)間疏處理等讀出，不使用未被讀出的像素的像素?cái)?shù)據(jù)。
[0032]在本實(shí)施方式的相機(jī)中，與上述內(nèi)容同樣地，在全像素靜態(tài)圖像攝影時(shí)使用所有有效像素2b用于記錄。另一方面，在實(shí)時(shí)取景顯示時(shí)、動(dòng)態(tài)圖像記錄時(shí)、高速相機(jī)動(dòng)作時(shí)等，從有效圖像區(qū)域中間疏地(或切取)讀出對(duì)應(yīng)于背面液晶面板等顯示部、EVF(電子取景觀察器)、TV(電視)輸出等顯示設(shè)備的圖像尺寸。這里，不使用未被間疏或切取而讀出的像素的數(shù)據(jù)。
[0033]關(guān)于來(lái)自圖像傳感器I的數(shù)據(jù)輸出，在全像素靜態(tài)圖像攝影時(shí)，使用圖像傳感器I具有的輸出通道Chl?Chm，通過(guò)全部通道進(jìn)行數(shù)據(jù)輸出。另一方面，在實(shí)時(shí)取景顯示時(shí)、動(dòng)態(tài)圖像記錄時(shí)、高速相機(jī)動(dòng)作時(shí)等，輸出數(shù)據(jù)的帶域與全像素靜態(tài)圖像相比較小即可，因而使用圖像傳感器具有的輸出通道中的一部分進(jìn)行圖像數(shù)據(jù)的輸出。例如，作為使用輸出通道中的一部分的例子，存在僅使用圖像傳感器I的通道I(Chl)和通道2(Ch2)進(jìn)行數(shù)據(jù)輸出的結(jié)構(gòu)等。
[0034]圖像傳感器I在針對(duì)各通道的像素電路上具有按照每個(gè)通道獨(dú)立的曝光控制，能夠使得讀出通