專利名稱：閃爍校正方法與設(shè)備以及成像設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及其中通過從圖像信號中減去閃爍校正信號來校正閃爍的閃爍校正方法和設(shè)備以及圖像拾取設(shè)備。
背景技術(shù)：
當(dāng)在諸如熒光燈這樣的、周期性地重復(fù)打開和關(guān)閉的光源的光之下用數(shù)碼相機(jī)對對象進(jìn)行成像的時候，在該對象的所獲取圖像中將會出現(xiàn)周期性明暗條紋，從而導(dǎo)致它們看上去像是在圖像中運(yùn)動一樣。另外，在圖像上的幀之間會周期性地存在亮度差。這就被稱為“閃爍”。閃爍是當(dāng)在電荷存儲的時間偏移的情況下在閃爍光源的光之下利用數(shù)碼相機(jī)對對象進(jìn)行成像時不可避免地發(fā)生的一個問題，其中數(shù)碼相機(jī)使用圖像傳感器對對象進(jìn)行成像。
在傳統(tǒng)的圖像傳感器當(dāng)中，電荷存儲的時間取決于電荷存儲是每一平面還是每一行地進(jìn)行而變化。一般來說，每一平面上的電荷存儲時間被稱為“全局快門(global shutter)系統(tǒng)”，而每一行上的電荷存儲時間被稱為“卷動快門(rolling shutter)系統(tǒng)”。
在過去，大多數(shù)的CCD采用的都是全局快門型的圖像傳感器。然而，近年來，已經(jīng)越來越多地關(guān)注CMOS圖像傳感器，因?yàn)镃MOS傳感器的零部件數(shù)目較少，所以它與CCD相比耗能更少，并且它能夠比CCD更便宜地進(jìn)行生產(chǎn)。多數(shù)的CMOS圖像傳感器由于它們的結(jié)構(gòu)問題而采用了卷動快門系統(tǒng)。利用兩種快門系統(tǒng)中的某一種，當(dāng)在重復(fù)打開和關(guān)閉的光源的光之下進(jìn)行成像的時候，明暗條紋將會出現(xiàn)在整個圖像平面中(平面閃爍)，然而利用另外一種快門系統(tǒng)，明暗條紋將會每一行地出現(xiàn)(面內(nèi)(in-plane)閃爍)。
圖1示出了在一個采用全局快門系統(tǒng)的圖像傳感器之中的電荷存儲量的差值，而圖2示出了當(dāng)圖像傳感器是全局快門類型時發(fā)生平面閃爍的圖像的例子。圖3示出了在一個采用卷動快門系統(tǒng)的圖像傳感器之中的電荷存儲量的差值，而圖4示出了發(fā)生面內(nèi)閃爍的圖像的例子。此外，在周期性地打開和關(guān)閉的光源的光之下獲取的圖像中包含的閃爍分量可以被近似為一個正弦波，并且已經(jīng)存在了用于根據(jù)正弦波的性質(zhì)通過除去閃爍來形成校正后的圖像的方法。
對于閃爍校正，已經(jīng)提出了這樣一種基于在輸入圖像中檢測出的閃爍分量而控制增益的方法。
(如日本公開專利申請2004-222228中所述)。

發(fā)明內(nèi)容
對于閃爍校正來說，閃爍可以被近似成正弦波的這一特征被用來在輸入信號中檢測閃爍分量。相似地，校正量可以從正弦波的特性以及所檢測的閃爍分量中計(jì)算出來，并且將校正量加到輸入信號上，或者將輸入信號乘以校正量。由于閃爍分量近似成正弦波，所以必須檢測出三個特征“周期”、“相位”和“振幅”。
周期可以基于電源頻率和幀速率而被檢測出來。
為此，本發(fā)明的申請人提出了一種閃爍校正方法，其包括以下步驟響應(yīng)于每個特定時段的校正誤差信號，獲得與在從一連串的特定時段中形成的視頻信號的每個特定時段中包含的閃爍分量相對應(yīng)的、并且包含該閃爍分量的閃爍校正信號；并且計(jì)算閃爍校正信號和每個特定時段，以產(chǎn)生用于一個特定時段的校正后的視頻信號，其中該視頻信號的閃爍分量已經(jīng)被校正了；檢測在每個特定時段之前在用于一個特定時段的校正后的視頻信號中的閃爍分量的校正誤差、以及每個特定時段，以獲得作為與所檢測的校正誤差相對應(yīng)的校正誤差信號的校正誤差信號(如日本公開專利申請2004-330299中所述)。
在上面的方法中，正弦波被預(yù)先存儲在ROM(只讀存儲器)等中，從ROM中讀出與當(dāng)前行上的閃爍分量相對應(yīng)的數(shù)據(jù)，通過恰當(dāng)?shù)剞D(zhuǎn)換所讀出的數(shù)據(jù)來計(jì)算校正值，并且將校正值加到輸入圖像上，由此進(jìn)行閃爍校正。
假設(shè)如上所述通過將對校正值加到輸入圖像上而進(jìn)行閃爍校正，然而，當(dāng)熒光燈的光被近似為正弦波時，如果幀速率和快門速度低的話，則閃爍分量可以被充分近似為正弦波。然而，當(dāng)快門以高速釋放時，閃爍分量不能被近似成正弦波。
圖5顯示了當(dāng)在電源頻率為50Hz的熒光燈光下并且?guī)俾蕿?0fps的情況下不釋放快門時的閃爍分量。圖6顯示了當(dāng)電源頻率和幀速率與圖5中的相同并且快門速度為1/1000 s(秒)時的閃爍分量。圖7顯示了當(dāng)電源頻率和幀速率與圖5中的相同并且快門速度為1/2000秒時的閃爍分量。從圖6和圖7中可以看出，當(dāng)快門速度增加時，閃爍分量與正弦波的近似是有限的。
此外，圖8和圖9示意性地顯示了曝光時間、電荷存儲時間和閃爍之間的關(guān)系。
因此，希望通過提供這樣一種閃爍校正方法和設(shè)備以及圖像拾取設(shè)備來克服上述相關(guān)計(jì)算的缺點(diǎn)，其中在所述閃爍校正方法和設(shè)備以及圖像拾取設(shè)備中，甚至在快門速度高時也能夠用提高了的精確度來校正閃爍。
根據(jù)本發(fā)明，提供了一種閃爍校正方法，其中通過從當(dāng)前輸入幀圖像中預(yù)測下一幀的圖像中的閃爍分量，并且在所預(yù)測的閃爍分量的基礎(chǔ)上將校正值加到下一幀圖像上，來校正閃爍，該方法包括以下步驟保持多個閃爍數(shù)據(jù)；通過按照與快門速度和幀速率相對應(yīng)地設(shè)置的比率將多個閃爍數(shù)據(jù)組合在一起，而計(jì)算校正值；以及將所計(jì)算的校正值加到輸入圖像信號上，由此進(jìn)行閃爍校正。
根據(jù)本發(fā)明，還提供了一種閃爍校正設(shè)備，包括閃爍校正裝置，用于通過將閃爍校正信號加到輸入圖像信號上，來進(jìn)行閃爍校正；以及校正誤差檢測裝置，用于通過基于其閃爍已經(jīng)被閃爍校正裝置校正過了的圖像信號和其閃爍還沒有被校正的圖像信號預(yù)測校正誤差，來檢測校正誤差，其中通過預(yù)測從下一幀圖像的圖像信號的校正級閃爍校正中產(chǎn)生的閃爍圖像，以及在所預(yù)測的閃爍圖像和輸入的下一幀圖像信號之間進(jìn)行比較，來預(yù)測校正誤差，其中閃爍校正裝置包括閃爍校正信號產(chǎn)生裝置，用于通過與由校正誤差檢測裝置所檢測出的校正誤差相對應(yīng)地從保持多個閃爍數(shù)據(jù)的閃爍數(shù)據(jù)存儲器中讀出多個閃爍數(shù)據(jù)，并且按照與輸入圖像信號的快門速度和幀速率相對應(yīng)地設(shè)置的比率組合多個閃爍數(shù)據(jù)，來生成閃爍校正信號。
根據(jù)本發(fā)明，還提供了一種包括閃爍校正設(shè)備的圖像拾取設(shè)備，在該閃爍校正設(shè)備中，通過將閃爍校正信號加到由圖像傳感裝置所獲取的圖像信號上，而校正閃爍，該閃爍校正設(shè)備包括閃爍校正裝置，用于通過將閃爍校正信號加到輸入圖像信號上，來進(jìn)行閃爍校正；以及，校正誤差檢測裝置，用于通過基于其閃爍已經(jīng)被閃爍校正裝置校正過了的圖像信號和其閃爍還沒有被校正的圖像信號預(yù)測校正誤差，來檢測校正誤差，其中通過預(yù)測從下一幀的圖像信號的校正級閃爍校正中產(chǎn)生的閃爍圖像，以及在所預(yù)測的閃爍圖像和輸入的下一幀圖像信號之間進(jìn)行比較，來預(yù)測校正誤差，其中閃爍校正裝置包括閃爍校正信號產(chǎn)生裝置，用于通過與由校正誤差檢測裝置所檢測出的校正誤差相對應(yīng)地從保持多個閃爍數(shù)據(jù)的閃爍數(shù)據(jù)存儲器中讀出多個閃爍數(shù)據(jù)，并且按照與輸入圖像信號的快門速度和幀速率相對應(yīng)地設(shè)置的比率組合多個閃爍數(shù)據(jù)，來生成閃爍校正信號。
根據(jù)本發(fā)明，高度精準(zhǔn)的校正值可以使用多個用于閃爍校正的校正數(shù)據(jù)計(jì)算出來，以便即使在高的幀速率和快門速度下也能進(jìn)行高精度的閃爍校正。此外，可以將多個校正數(shù)據(jù)間的組合比率與快門速度和幀速率相對應(yīng)地設(shè)置為適當(dāng)值，以便將所計(jì)算的校正值近似成理想的閃爍分量。因此，即使在高速度成像期間，也就是說，甚至在高的幀速率和快門速度的情況下，也可以精確地校正閃爍，這是CMOS圖像傳感器的一個特征，并且可以與幀速率和快門速度相對應(yīng)地靈活地計(jì)算校正值。


圖1示意性地說明了在全局快門類型的圖像傳感器中的電荷存儲量的差值；圖2示意性地說明了當(dāng)采用全局快門系統(tǒng)時出現(xiàn)的平面閃爍圖像的一個例子；圖3示意性地說明了在卷動快門類型的圖像傳感器中的電荷存儲量的差值；圖4示意性地說明了面內(nèi)閃爍圖像的一個例子；圖5示意性地顯示了當(dāng)在電源頻率為50Hz的熒光燈光之下并且?guī)俾蕿?0fps的情況下不釋放快門時的閃爍分量；圖6顯示了當(dāng)電源頻率和幀速率與圖5中的相同并且快門速度為1/1000秒時的閃爍分量；圖7顯示了當(dāng)電源頻率和幀速率與圖5中的相同并且快門速度為1/2000秒時的閃爍分量；圖8示意性地顯示了曝光時間、電荷存儲時間和閃爍之間的關(guān)系；圖9示意性地顯示了曝光時間、電荷存儲時間和閃爍之間的關(guān)系；圖10是作為本發(fā)明一個實(shí)施例的圖像拾取設(shè)備的示意框圖；圖11是包含在圖10所示的圖像拾取設(shè)備中的閃爍校正電路的示意框圖；圖12是在閃爍校正電路中的校正值計(jì)算器的示意框圖；圖13包括圖13A、13B和13C，其示意性地說明了在校正值計(jì)算器中保持的兩類閃爍數(shù)據(jù)所表示的波形，以及稍后組合在一起的閃爍校正數(shù)據(jù)所表示的波形；圖14示意性地說明了一種圖像拾取設(shè)備中的校正誤差檢測算法；以及圖15是在圖像拾取設(shè)備中包含的校正誤差檢測器的示意框圖。
具體實(shí)施例方式
下面將結(jié)合實(shí)施例并參考附圖詳細(xì)地描述本發(fā)明。應(yīng)當(dāng)注意的是，本發(fā)明不局限于以下描述的實(shí)施例，而是在不脫離本發(fā)明的范圍和精神的前提下，可以以各種方式修改、替換地構(gòu)造或者以各種其他形式實(shí)現(xiàn)。
本發(fā)明可適用于如圖10所示構(gòu)造的圖像拾取設(shè)備。該圖像拾取設(shè)備總體上以附圖標(biāo)記100表示。
所述圖像拾取設(shè)備100包括紅色圖像傳感設(shè)備(成像元件)10R，綠色圖像傳感設(shè)備(成像元件)10G，藍(lán)色圖像傳感設(shè)備(成像元件)10B，用來將由圖像傳感設(shè)備10R、10G和10B所獲取的彩色圖像的圖像信號SI_R、SI_G和SI_B分別進(jìn)行數(shù)字化的A-D轉(zhuǎn)換器20R、20G和20B，被分別提供有由A-D轉(zhuǎn)換器20R、20G和20B數(shù)字化的圖像信號DV_R、DV_G和DV_B的閃爍校正電路30R、30G和30B以及校正誤差檢測器40R、40G和40B，被分別提供有由閃爍校正電路30R、30G和30B進(jìn)行過閃爍校正的圖像信號CV_R、CV_G和CV_B的照相機(jī)信號處理電路50等。
向校正誤差檢測器40R、40G和40B分別提供由閃爍校正電路30R、30G和30B進(jìn)行過閃爍校正的圖像信號CV_R、CV_G和CV_B，校正誤差檢測器40R、40G和40B在數(shù)字化的圖像信號DV_R、DV_G和DV_B以及閃爍校正后的圖像信號CV_R、CV_G和CV_B中檢測圖像信號CV_R、CV_G和CV_B的校正誤差，以產(chǎn)生校正誤差信號E_R、E_G和E_B，然后將生成的校正誤差信號E_R、E_G和E_B分別提供給閃爍校正電路30R、30G和30B。
在圖像拾取設(shè)備100中，每一個閃爍校正電路30R、30G和30B都使用如圖11所示構(gòu)造的閃爍校正電路30*。應(yīng)當(dāng)注意到，星號(*)表示“R(紅)”、“G(綠)”和“B(藍(lán))”。
閃爍校正電路30*包含從校正誤差檢測器40*向其提供校正誤差信號E_*的地址計(jì)算器31*，被提供有由地址計(jì)算器31*計(jì)算出來的地址AD的校正值計(jì)算器32*，被提供有由校正值計(jì)算器32*計(jì)算出來的閃爍校正數(shù)據(jù)FD的等級調(diào)整器33*，和被提供有由A-D轉(zhuǎn)換器20*數(shù)字化的圖像信號DV_*的運(yùn)算電路34*。由A-D轉(zhuǎn)換器20*數(shù)字化的圖像信號DV_*提供到等級調(diào)整器33*，然后由等級調(diào)整器33*生成閃爍校正值CFD，它將被提供給運(yùn)算電路34*。
在如上所述構(gòu)造的閃爍校正電路30*中，地址計(jì)算器31*根據(jù)從校正誤差檢測器40*提供的校正誤差信號E_*，計(jì)算包含在校正值計(jì)算器32*內(nèi)部的ROM(閃爍存儲器321和322，其將會在下文中進(jìn)一步詳細(xì)描述)中的地址AD。
地址計(jì)算器31*通過從電源頻率和幀速率計(jì)算出所感興趣的幀中的首行地址，并且計(jì)算相對于該地址每前進(jìn)一行的地址增量，來計(jì)算當(dāng)前行的地址。更具體地說，當(dāng)電源頻率為50Hz，幀速率為30Hz，并且圖像傳感器設(shè)備10*的垂直時鐘數(shù)為1125clk(在以下的描述中，電源頻率、幀速率和圖像傳感器設(shè)備10*的時鐘數(shù)都將保持不變)時，閃爍的明暗條紋間的周期將包含337.5行，如以下的等式1所示T＝30Hz×1125clk/(50Hz×2)＝337.5(clk) ……(1)此外，系統(tǒng)中的ROM保持通過將一個周期除以512而獲得的閃爍數(shù)據(jù)。每前進(jìn)一行，ROM中的地址就將增加約1.51703，如以下的等式2所示512/337.5＝1.51703 ……(2)也就是說，假定第一行上的校正波地址為零(0)，則從第一行起計(jì)數(shù)的第100行上的地址將是152，如以下的等式3所示0+1.51703×100≈152……(3)如圖12所示，校正值計(jì)算器32*包含閃爍存儲器321和322，用于將從閃爍存儲器321和322中讀出的兩類閃爍數(shù)據(jù)FD1和FD2分別乘以系數(shù)α和α-1的乘法器323和324，以及被提供有分別由乘法器323和324乘以系數(shù)α和α-1之后的閃爍數(shù)據(jù)FD1_A和FD2_A的加法器325。兩類閃爍數(shù)據(jù)FD1和FD2將根據(jù)由地址計(jì)算器31*計(jì)算出來的地址AD分別從閃爍存儲器321和322中讀出來。
校正值計(jì)算器32*根據(jù)由地址計(jì)算器31*計(jì)算出來的地址AD，分別從閃爍存儲器321和322中讀出兩類閃爍數(shù)據(jù)FD1和FD2，分別由乘法器323和324與幀速率和快門速度相對應(yīng)地、將閃爍數(shù)據(jù)FD1和FD2分別乘以系數(shù)α和α-1，然后由加法器325將結(jié)果加起來，從而計(jì)算出一個閃爍校正數(shù)據(jù)FD。
要注意到，利用了閃爍數(shù)據(jù)的周期性，校正值計(jì)算器32*將會保持如圖13A和13B所示的閃爍數(shù)據(jù)FD1和FD2的一部分波形。此外，閃爍數(shù)據(jù)甚至可以用除ROM以外的任何其他存儲器來被適當(dāng)?shù)赜?jì)算出來。在本實(shí)施例中，通過將兩個閃爍數(shù)據(jù)FD1和FD2組合起來，而合成一個例如對應(yīng)于圖13C所示的波形的閃爍校正數(shù)據(jù)FD。然而，也可以將三個或更多的閃爍數(shù)據(jù)組合起來，從而形成各種閃爍校正數(shù)據(jù)FD。閃爍校正數(shù)據(jù)FD被一個取決于每一行的值每一行地更新一次。
由于閃爍的等級與每一像素值相對應(yīng)地變化，所以等級調(diào)整器33*通過使用由A-D轉(zhuǎn)換器20*數(shù)字化的圖像信號DV_*，對于每一像素調(diào)整閃爍數(shù)據(jù)FD的等級，并且對于每一像素計(jì)算出校正值CFD。
注意到，這樣修改這個實(shí)施例，以便因?yàn)橛^察到閃爍等級還與像素值相對應(yīng)地線性增加的這一趨勢，所以校正值會與像素值相對應(yīng)地單調(diào)增加。此外，因?yàn)樵谙袼刂捣浅４蠡蚍浅Ｐ〉臅r候沒有觀察到閃爍，所以修改這個實(shí)施例，以便將這個特征考慮進(jìn)去而進(jìn)行計(jì)算。然而，本發(fā)明不局限于這個實(shí)施例。
在閃爍校正電路30*中，對于每一個像素，加法器34*將校正值CFD加到圖像信號DV_*上，以便提供校正后的圖像信號CV_*。
在這個圖像拾取設(shè)備100中，每個校正誤差檢測器40R、40G和40B都使用圖14所示的算法來檢測校正誤差。
更具體地說，當(dāng)“第n幀的校正后的圖像”輸出之后，第n+1幀的閃爍狀態(tài)可以從“第n幀的校正圖像”中預(yù)測出來，并且將閃爍分量加到“第n幀的校正圖像”上。下文中在此將這樣產(chǎn)生的圖像稱為“圖像A”。此外，第n+1幀的閃爍狀態(tài)被預(yù)測出來，并且將其地址偏移的閃爍分量加到第n+1幀上。下文中將這樣產(chǎn)生的圖像稱為“圖像B”。計(jì)算這兩個圖像A、B和包含閃爍分量的“第n幀的校正圖像”之間的差?，F(xiàn)在考慮“圖像A”，只有對象的運(yùn)動被輸出作為差值圖像。再考慮“圖像B”，對象的運(yùn)動和閃爍分量都被輸出作為差值圖像。從這兩個差值的比較中可以看出，“圖像A”中的差值要小一些。相反地，可以這樣考慮，如果從“圖像B”確定的差值比從“圖像A”確定的差值小的話，其地址偏移的閃爍就可以被準(zhǔn)確地預(yù)測出來。也就是說，較小的差值意味著閃爍已經(jīng)被準(zhǔn)確地預(yù)測出來了。因此，為了較小的差值而偏移閃爍地址會在校正誤差限制在一定范圍內(nèi)的情況下結(jié)束。
每一個校正誤差檢測器40R、40G和40B都使用如圖15所示構(gòu)造的校正誤差檢測器40*。應(yīng)當(dāng)注意到，星號(*)表示“R(紅)”、“G(綠)”和“B(藍(lán))”。
校正誤差檢測器40*包括被提供有由閃爍校正電路30*進(jìn)行閃爍校正過的圖像信號CV_*的加有閃爍的信號發(fā)生器41A和41B，被分別提供有由加有閃爍的信號發(fā)生器41A和41B生成的、加有閃爍的信號FDV1和FDV2的行積分器42A和42B，被分別提供有由行積分器42A和42B積分出來的行數(shù)據(jù)LD11和LD21的存儲器43A和43B，被分別提供有從存儲器43A和43B中讀出來的行數(shù)據(jù)LD11和LD21的差值檢測器44A和44B，被提供有由A-D轉(zhuǎn)換器20*數(shù)字化的圖像信號DV_*的行積分器45A和45B，被分別提供有由差值檢測器44A和44B檢測出來的差值數(shù)據(jù)DD1和DD2的積分器46A和46B，被分別提供有由積分器46A和46B提供的積分后數(shù)據(jù)ID1的ID2的比較器47等。由行積分器45提供的行數(shù)據(jù)LD3將被提供給每個差值檢測器44A和44B，并且作為比較器47的比較輸出而提供的校正誤差信號E_*將被提供給加有閃爍的信號生成器41A和41B中的每一個。
每個加有閃爍的信號發(fā)生器41A和41B都包括被提供有作為比較器47的比較輸出而提供的校正誤差信號E_*的地址計(jì)算器411A和411B，被分別提供有由地址計(jì)算器411A和411B計(jì)算出來的地址AD11和AD21的地址轉(zhuǎn)換器412A和412B，被分別提供有由地址計(jì)算器412A和412B計(jì)算出來的地址AD12和AD22的校正值計(jì)算器413A和413B，被分別提供有由校正值計(jì)算器413A和413B計(jì)算出來的閃爍數(shù)據(jù)FD1和FD2的等級調(diào)整器414A和414B，以及被提供有由A-D轉(zhuǎn)換器20*數(shù)字化的圖像信號DV_*的運(yùn)算單元415A和415B。由A-D轉(zhuǎn)換器20*數(shù)字化的圖像信號DV_*將提供給等級調(diào)整器414A和414B，并且將分別由等級調(diào)整器414A和414B產(chǎn)生的校正值CFD1和CFD2分別提供給運(yùn)算單元415A和415B。
在如上所述構(gòu)造的校正誤差檢測器40*中，地址計(jì)算器411A和411B根據(jù)校正誤差信號E_*計(jì)算出ROM中的地址AD11和AD21。將要這樣被計(jì)算出來的地址是由于將下一幀中的閃爍的首地址沿正向或負(fù)向偏移而得到的。這些地址像在閃爍校正電路30*中的地址計(jì)算器31*中那樣進(jìn)行計(jì)算。此外，校正誤差檢測器40*中包含的ROM和閃爍校正電路30*中包含的ROM是一樣的。
地址轉(zhuǎn)換器412A和412B分別將地址計(jì)算器411A和411B所計(jì)算出來的地址AD11和AD21轉(zhuǎn)換為地址AD12和AD22，可以從這兩個地址中再現(xiàn)下一幀中的閃爍。也就是說，他們將地址AD1和AD2轉(zhuǎn)換成相位與地址AD1和AD2相反的地址。分別由地址轉(zhuǎn)換器412A和412B轉(zhuǎn)換的地址AD12和AD22是從對下一幀中的閃爍的預(yù)測而得到的，而不打算用于進(jìn)行閃爍校正。
校正值計(jì)算器413A和413B分別根據(jù)地址AD12和AD22計(jì)算出閃爍數(shù)據(jù)FD1和FD2，其中地址AD12和AD22分別由地址轉(zhuǎn)換器412A和412B轉(zhuǎn)換得到。像在閃爍校正電路30*中那樣還每一行地確定閃爍數(shù)據(jù)FD1和FD2。校正值計(jì)算器413A和413B與閃爍校正電路30*中包含的校正值計(jì)算器32*類似地進(jìn)行構(gòu)造。
此外，在校正值檢測器413A和413B中，與在閃爍校正電路30*中一樣，將圖像信號DV_*通過低通濾波器(LPF)415A和415B，以從圖像信號DV_*中除去噪聲，并且將除去噪聲后的信號DV_*提供給等級調(diào)整器414A和414B。
等級調(diào)整器414A和414B從圖像信號DV_*以及閃爍數(shù)據(jù)FD1和FD2中為每個像素計(jì)算校正值CFD1和CFD2，其中圖像信號DV_*由A-D轉(zhuǎn)換器20*數(shù)字化得到，閃爍數(shù)據(jù)FD1和FD2分別由校正值計(jì)算器413A和413B計(jì)算得到。
等級調(diào)整器414A和414B與閃爍校正電路30*中包含的等級調(diào)整器33*類似地進(jìn)行構(gòu)造。
運(yùn)算單元415A和415B從每個像素的校正值CFD1和CFD2以及閃爍校正后的圖像信號CV_*中，生成下一幀中的加有閃爍的信號FDV1和FDV2。
通過分別對下一幀中的加有閃爍的信號FDV1和FDV2中的某些段進(jìn)行積分，行積分器42A和42B計(jì)算出行數(shù)據(jù)LD11和LD21。只要在水平獲取的圖像的范圍之內(nèi)，上述的“段”的水平大小可以是任意值。段越大，就能越高精確度地對校正誤差進(jìn)行檢測。段的垂直大小可以是一個屏幕內(nèi)的閃爍的明暗條紋周期的整數(shù)倍。更具體地說，段的大小可以是1000個水平像素乘上675(＝337.5×2)個垂直像素，也就是說，段的大小是1000×675個像素。
由行積分器42A和42B計(jì)算出來的行數(shù)據(jù)LD11和LD21被分別存儲在存儲器43A和43B中，直到提供了下一幀的圖像信號DV_*為止。當(dāng)提供了下一幀的圖像信號DV_*的時候，行積分器45對與已經(jīng)被積分了的、加有閃爍的信號FDV1和FDV2的段相同的段進(jìn)行行積分，以計(jì)算行數(shù)據(jù)LD3。
將分別存儲在存儲器43A和43B中的行數(shù)據(jù)LD12和LD22、以及與行數(shù)據(jù)LD12和LD22中的行相對應(yīng)的下一幀圖像信號DV_*的行數(shù)據(jù)LD3提供給差值檢測器44A和44B，以產(chǎn)生差值數(shù)據(jù)DD1和DD2。
通過分別對兩個差值數(shù)據(jù)DD1和DD2進(jìn)行積分，積分器46A和46B分別提供積分后的數(shù)據(jù)ID1和ID2。
然后，通過對這些積分后的數(shù)據(jù)ID1和ID2的大小進(jìn)行比較，比較器47可以判斷出為預(yù)測正確的閃爍而沿哪個方向、即沿正向還是負(fù)向偏移地址。例如，如果在沿正向偏移地址的情況下獲得的積分?jǐn)?shù)據(jù)ID*小于在沿負(fù)向偏移地址的情況下獲得的積分?jǐn)?shù)據(jù)ID*的話，則輸出校正誤差信號E_*，以便沿正向偏移地址。
通過向閃爍校正電路30*中的地址計(jì)算器31、以及校正誤差檢測器40*中的地址計(jì)算器411A和411B提供校正誤差信號E_*，以便將地址沿正確的方向朝閃爍進(jìn)行偏移，而使得校正誤差被最小化了。
本領(lǐng)域普通技術(shù)人員可以理解，在所附權(quán)利要求書或其等效內(nèi)容的范圍內(nèi)，根據(jù)設(shè)計(jì)需求或者其他的因素，可進(jìn)行各種各樣的修改、組合、子組合以及變更。
權(quán)利要求
1.一種閃爍校正方法，其中通過從當(dāng)前輸入幀圖像中預(yù)測下一幀的圖像中的閃爍分量，并且在所預(yù)測的閃爍分量的基礎(chǔ)上將校正值加到下一幀圖像上，來校正閃爍，該方法包括以下步驟保持多個閃爍數(shù)據(jù)；通過按照與快門速度和幀速率相對應(yīng)地設(shè)置的比率將多個閃爍數(shù)據(jù)組合在一起，而計(jì)算校正值；以及將所計(jì)算的校正值加到輸入圖像信號上。
2.一種閃爍校正設(shè)備，包括閃爍校正裝置，用于通過將閃爍校正信號加到輸入圖像信號上，來進(jìn)行閃爍校正；以及校正誤差檢測裝置，用于通過基于其閃爍已經(jīng)被閃爍校正裝置校正過了的圖像信號和其閃爍還沒有被校正的圖像信號而預(yù)測校正誤差，來檢測校正誤差，其中通過預(yù)測從下一幀的圖像信號的校正級閃爍校正中產(chǎn)生的閃爍圖像，并且在所預(yù)測的閃爍圖像和輸入的下一幀圖像信號之間進(jìn)行比較，來預(yù)測校正誤差，閃爍校正裝置包括閃爍校正信號產(chǎn)生裝置，用于通過與由校正誤差檢測裝置所檢測出的校正誤差相對應(yīng)地、從保持多個閃爍數(shù)據(jù)的閃爍數(shù)據(jù)存儲器中讀出多個閃爍數(shù)據(jù)，并且按照與輸入圖像信號的快門速度和幀速率相對應(yīng)地設(shè)置的比率組合多個閃爍數(shù)據(jù)，來生成閃爍校正信號。
3.一種圖像拾取設(shè)備，包括閃爍校正設(shè)備，用于通過將閃爍校正信號加到由圖像傳感裝置所獲取的圖像信號上來進(jìn)行閃爍校正，該閃爍校正設(shè)備包括閃爍校正裝置，用于通過將閃爍校正信號加到輸入圖像信號上，來進(jìn)行閃爍校正；以及校正誤差檢測裝置，用于通過基于其閃爍已經(jīng)被閃爍校正裝置校正過了的圖像信號和其閃爍還沒有被校正的圖像信號而預(yù)測校正誤差，來檢測校正誤差，其中通過預(yù)測從下一幀的圖像信號的校正級閃爍校正中產(chǎn)生的閃爍圖像，以及在所預(yù)測的閃爍圖像和輸入的下一幀圖像信號之間進(jìn)行比較，來預(yù)測校正誤差，閃爍校正裝置包括閃爍校正信號產(chǎn)生裝置，用于通過與由校正誤差檢測裝置所檢測出的校正誤差相對應(yīng)地、從保持多個閃爍數(shù)據(jù)的閃爍數(shù)據(jù)存儲器中讀出多個閃爍數(shù)據(jù)，并且按照與輸入圖像信號的快門速度和幀速率相對應(yīng)地設(shè)置的比率組合多個閃爍數(shù)據(jù)，來生成閃爍校正信號。
4.一種閃爍校正設(shè)備，包括閃爍校正單元，用于通過將閃爍校正信號加到輸入圖像信號上，來進(jìn)行閃爍校正；以及校正誤差檢測器，用于通過基于其閃爍已經(jīng)被閃爍校正單元校正過了的圖像信號和其閃爍還沒有被校正的圖像信號而預(yù)測校正誤差，來檢測校正誤差，其中通過預(yù)測從下一幀的圖像信號的校正級閃爍校正中產(chǎn)生的閃爍圖像，以及在所預(yù)測的閃爍圖像和輸入的下一幀圖像信號之間進(jìn)行比較，來預(yù)測校正誤差，閃爍校正單元包括閃爍校正信號產(chǎn)生器，用于通過與由校正誤差檢測器所檢測出的校正誤差相對應(yīng)地、從保持多個閃爍數(shù)據(jù)的閃爍數(shù)據(jù)存儲器中讀出多個閃爍數(shù)據(jù)，并且按照與輸入圖像信號的快門速度和幀速率相對應(yīng)地設(shè)置的比率組合多個閃爍數(shù)據(jù)，來生成閃爍校正信號。
5.一種圖像拾取設(shè)備，包括閃爍校正設(shè)備，用于通過將閃爍校正信號加到由圖像傳感器所獲取的圖像信號上來進(jìn)行閃爍校正，該閃爍校正設(shè)備包括閃爍校正單元，用于通過將閃爍校正信號加到輸入圖像信號上，來進(jìn)行閃爍校正；以及校正誤差檢測器，用于通過基于其閃爍已經(jīng)被閃爍校正單元校正過了的圖像信號和其閃爍還沒有被校正的圖像信號而預(yù)測校正誤差，來檢測校正誤差，其中通過預(yù)測從下一幀的圖像信號的校正級閃爍校正中產(chǎn)生的閃爍圖像，以及在所預(yù)測的閃爍圖像和輸入的下一幀圖像信號之間進(jìn)行比較，來預(yù)測校正誤差，閃爍校正單元包括閃爍校正信號產(chǎn)生器，用于通過與由校正誤差檢測器所檢測出的校正誤差相對應(yīng)地、從保持多個閃爍數(shù)據(jù)的閃爍數(shù)據(jù)存儲器中讀出多個閃爍數(shù)據(jù)，并且按照與輸入圖像信號的快門速度和幀速率相對應(yīng)地設(shè)置的比率組合多個閃爍數(shù)據(jù)，來生成閃爍校正信號。
全文摘要
即使在快門速度高的情況下也可以精確地校正閃爍。本發(fā)明提供了一種閃爍校正方法，其中通過從當(dāng)前輸入幀圖像中預(yù)測下一幀的圖像中的閃爍分量，并且在所預(yù)測的閃爍分量的基礎(chǔ)上將校正值加到下一幀圖像上，來校正閃爍，該方法包括以下步驟保持多個閃爍數(shù)據(jù)；通過按照與快門速度和幀速率相對應(yīng)地設(shè)置的比率將多個閃爍數(shù)據(jù)組合在一起，而計(jì)算校正值；以及將所計(jì)算的校正值加到輸入圖像信號上。
文檔編號H04N5/243GK1856029SQ20061007510
公開日2006年11月1日 申請日期2006年4月18日 優(yōu)先權(quán)日2005年4月19日
發(fā)明者大野哲之, 中筋元宏, 西出義章, 池山裕政 申請人:索尼株式會社