專利名稱：高動態(tài)范圍圖像傳感器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像傳感器，且明確地說，涉及用于產(chǎn)生高動態(tài)范圍圖像的技術(shù)。
背景技術(shù)：
場景的動態(tài)范圍由所述場景的最聞與最低光級的比率決定。傳感器的動態(tài)范圍由場景中不使傳感器飽和的最高光級與可由傳感器檢測的最低光級(即，高于噪聲下限)的比率決定。場景的動態(tài)范圍可為(例如)100,000: 1，而傳感器的動態(tài)范圍可為(例如)100: I。當(dāng)場景的動態(tài)范圍超過傳感器的動態(tài)范圍時，最高光級和最低光級的區(qū)中的細(xì)節(jié)被丟失。可以使得傳感器的動態(tài)范圍涵蓋盡可能多的有用光級的方式來調(diào)整曝光。曝光無法增加傳感器的動態(tài)范圍。然而，與單次曝光原本將可能的情況相比，組合場景的兩次或兩次以上不同曝光可準(zhǔn)許捕獲場景的較高動態(tài)范圍。相對于組合不同曝光以產(chǎn)生場景的HDR圖像，各種傳感器制造商已使用了各種技術(shù)來克服成像傳感器的動態(tài)范圍能力。一些技術(shù)提供軟件解決方案，其使不同曝光時間的兩個圖像對準(zhǔn)，以便形成比原本將可能的動態(tài)范圍圖像高的動態(tài)范圍圖像。其它技術(shù)提供硬件解決方案(例如，經(jīng)修改的傳感器)，以捕獲場景的兩個圖像，其將對準(zhǔn)以形成較高動態(tài)范圍圖像。

發(fā)明內(nèi)容
一般來說，本發(fā)明描述用于通過在將樣本與另一樣本組合之前將可變加權(quán)因子應(yīng)用于所述樣本來產(chǎn)生高動態(tài)范圍圖像的技術(shù)。一種圖像傳感器可在兩個或兩個以上不同曝光時間對像素單元信號進(jìn)行取樣，以便產(chǎn)生兩個或兩個以上樣本，其可組合以產(chǎn)生高動態(tài)范圍圖像。然而，長曝光時間可導(dǎo)致所述像素單元的光敏半導(dǎo)體變?yōu)轱柡?。在組合所述兩個或兩個以上樣本之前，可將可變加權(quán)因子應(yīng)用于由所述長曝光時間產(chǎn)生的信號，以便減少或消除飽和光敏半導(dǎo)體的貢獻(xiàn)。在一個實(shí)例中，本發(fā)明是針對一種方法，其包括:在第一時間對第一像素單元信號進(jìn)行取樣以產(chǎn)生第一樣本；在第二時間對第二像素單元信號進(jìn)行取樣以產(chǎn)生第二樣本；將可變加權(quán)因子應(yīng)用于所述第二樣本，其中所述可變加權(quán)因子是基于函數(shù)而界定；以及將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合。在另一實(shí)例中，本發(fā)明是針對一種系統(tǒng)，其包括圖像傳感器，所述圖像傳感器包括多個像素單元以及控制器，所述控制器在第一時間從所述多個像素單元中的至少一者對第一像素單元信號進(jìn)行取樣以產(chǎn)生第一樣本，且在第二時間從所述多個單元中的至少一者對第二像素單元信號進(jìn)行取樣以產(chǎn)生第二樣本。所述系統(tǒng)進(jìn)一步包括處理器，其將可變加權(quán)因子應(yīng)用于所述第二樣本，其中所述可變加權(quán)因子是基于函數(shù)而界定，且將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合。在另一實(shí)例中，本發(fā)明是針對一種系統(tǒng)，其包括:用于在第一時間對第一像素單元信號進(jìn)行取樣以產(chǎn)生第一樣本的裝置；用于在第二時間對第二像素單元信號進(jìn)行取樣以產(chǎn)生第二樣本的裝置；用于將可變加權(quán)因子應(yīng)用于所述第二樣本的裝置，其中所述可變加權(quán)因子是基于函數(shù)而界定；以及用于將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合的裝置。在另一實(shí)例中，本發(fā)明是針對一種計算機(jī)可讀媒體，其包括指令，所述指令在由一個或一個以上處理器執(zhí)行時，致使所述一個或一個以上處理器:在第一時間對第一像素單元信號進(jìn)行取樣以產(chǎn)生第一樣本；在第二時間對第二像素單元信號進(jìn)行取樣以產(chǎn)生第二樣本；將可變加權(quán)因子應(yīng)用于所述第二樣本，其中所述可變加權(quán)因子是基于函數(shù)而界定；且將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合。在附圖及下文描述中陳述本發(fā)明的一個或一個以上實(shí)例的細(xì)節(jié)。其它特征、目標(biāo)及優(yōu)勢將從描述及附圖和從權(quán)利要求書中顯而易見。


圖1是可用以實(shí)施本發(fā)明的技術(shù)的實(shí)例像素單元的示意圖。圖2是根據(jù)本發(fā)明的技術(shù)的可用于組合方案中的組合曲線的實(shí)例圖表。圖3是可用以實(shí)施本發(fā)明的技術(shù)的圖像傳感器的框圖。圖4是可用以實(shí)施本發(fā)明的技術(shù)的另一圖像傳感器的框圖。圖5是可用以實(shí)施本發(fā)明的技術(shù)的另一圖像傳感器的框圖。圖6描繪說明根據(jù)本發(fā)明的技術(shù)的來自偶數(shù)和奇數(shù)編號線的短和長曝光時間樣本的組合的概念圖。圖7是說明可用以實(shí)施本發(fā)明的技術(shù)的實(shí)例方法的流程圖。圖8是說明可用以實(shí)施本發(fā)明的技術(shù)的另一實(shí)例方法的流程圖。圖9是說明可用以實(shí)施本發(fā)明的技術(shù)的另一實(shí)例方法的流程圖。圖10是說明可用以實(shí)施本發(fā)明的技術(shù)的另一實(shí)例方法的流程圖。
具體實(shí)施例方式本發(fā)明描述用于通過在將樣本與另一樣本組合之前將可變加權(quán)因子應(yīng)用于所述樣本來產(chǎn)生高動態(tài)范圍(HDR)圖像(例如，靜止圖像和視頻圖像)的技術(shù)。HDR圖像指代具有比標(biāo)準(zhǔn)成像技術(shù)產(chǎn)生的圖像的動態(tài)范圍大的動態(tài)范圍(例如，圖像中的最高強(qiáng)度光級相對于最低強(qiáng)度光級的比率)的圖像。一個實(shí)例HDR成像技術(shù)組合以不同曝光時間捕獲的圖像，以創(chuàng)建具有比從所述曝光時間中的任一者產(chǎn)生的圖像的動態(tài)范圍大的動態(tài)范圍的組合圖像。本發(fā)明提供在組合圖像之前將可變加權(quán)因子應(yīng)用于以不同曝光時間捕獲的圖像中的一者以便產(chǎn)生HDR圖像的技術(shù)。圖1是可用以實(shí)施本發(fā)明的技術(shù)的實(shí)例圖元(“像素”)單元的示意圖。在圖1中，實(shí)例像素單元10包括光敏半導(dǎo)體12 ;開關(guān)14、16和18 ;電容器20 ;以及晶體管22、24。舉例來說，開關(guān)14、16和18可為晶體管。電容與光敏半導(dǎo)體12相關(guān)聯(lián)，如由等效電容器28 (由虛線展示)指示。光敏半導(dǎo)體12的陰極通過開關(guān)14連接到電壓源VDD，且光敏半導(dǎo)體12的陽極連接到參考電壓Vss，其可為接地或小于電壓源Vdd的其它電位。因此，光敏半導(dǎo)體12經(jīng)逆向加偏壓，因?yàn)槠湓诠?jié)點(diǎn)30處的陰極處于比其陽極高的電位。晶體管22的柵極通過開關(guān)16連接到光敏半導(dǎo)體12的陰極。晶體管22的柵極還通過開關(guān)18連接到電容器20。晶體管22的漏極連接到電壓源VDD，且晶體管22的源極連接到晶體管24的漏極。晶體管24的柵極26連接到行選擇驅(qū)動器電路，如下文更詳細(xì)地描述。晶體管24的源極連接到像素單元輸出線32。應(yīng)注意，盡管將晶體管22和24描繪為不附接有相應(yīng)塊體的增強(qiáng)模式金屬氧化物半導(dǎo)體場效晶體管(MOSFET)，但大量其它配置是可能的。另外，盡管下文將晶體管22和24描述為n-MOS型晶體管，但在其它實(shí)例配置中，晶體管22和24可為ρ-MOS型晶體管。光敏半導(dǎo)體12(例如，光電二極管)是將來自入射光的光子轉(zhuǎn)換為電荷的裝置。在其中光敏半導(dǎo)體12暴露于光的時間周期(即，積分時間)期間，來自入射光的光子致使光敏半導(dǎo)體在光敏半導(dǎo)體的區(qū)內(nèi)產(chǎn)生電荷載流子。所產(chǎn)生的電荷載流子的量與入射光的量成比例。隨著光強(qiáng)度增加，所產(chǎn)生的電荷載流子的量增加。如果電荷載流子的量不能再隨著入射光的量增加而增加，那么光敏半導(dǎo)體可變?yōu)椤帮柡汀?。?yīng)了解，一旦光敏半導(dǎo)體變?yōu)轱柡?，其就不再是入射光的量的?zhǔn)確指示符。由此，飽和的光敏半導(dǎo)體具有很少有價值信息。如上文所提到且如圖1中的參考編號28處所示，光敏半導(dǎo)體12 (例如，光電二極管)具有等效電容。在暴露于光之前，可使像素單元10復(fù)位到初始電壓。明確地說，例如，可使光敏半導(dǎo)體12及其等效電容28復(fù)位到初始電壓VDD。在圖1中所描繪的實(shí)例中，可閉合復(fù)位開關(guān)14，以便使圖1的像素單元10復(fù)位。閉合復(fù)位開關(guān)14將節(jié)點(diǎn)30 (且明確地說，光敏半導(dǎo)體12及其等效電容器28)連接到供應(yīng)電壓VDD。盡管圖1描繪像素單元10正復(fù)位到供應(yīng)電壓VDD，但在其它實(shí)例中，像素單元10可包含第二電壓，類似于或不同于充當(dāng)用于像素單元10的專用復(fù)位電壓的供應(yīng)電壓VDD。閉合復(fù)位開關(guān)14從光敏半導(dǎo)體12中汲取電荷，且將等效電容器28充電到已知電壓VDD。另外，開關(guān)16和18在復(fù)位時閉合，這可致使電容器20變?yōu)槌潆姷揭阎妷篤dd。在像素單元10復(fù)位之后，復(fù)位開關(guān)14以及開關(guān)16和18斷開，且光敏半導(dǎo)體12在暴露于光后即刻開始將光子轉(zhuǎn)換為電荷。在暴露于光后(即，在其積分時間開始時)，光敏半導(dǎo)體12開始產(chǎn)生電荷載流子。因?yàn)楣饷舭雽?dǎo)體12經(jīng)逆向加偏壓，所以光電流將開始從光敏半導(dǎo)體12的陰極流向陽極。光電流與入射光的量成比例。隨著光強(qiáng)度增加，由光敏半導(dǎo)體12產(chǎn)生的電荷載流子的量增加，從而增加光電流。光電流開始使等效電容器28放電。像素單元10可用以在第一時間(例如，短曝光時間)對第一像素單元信號進(jìn)行取樣，且在第二時間(例如，長曝光時間)對第二像素單元信號進(jìn)行取樣。在短曝光時間(例如，TshOTt)之后，像素單元10可通過閉合開關(guān)16和18而對來自光敏半導(dǎo)體12的第一信號進(jìn)行取樣?？刂破?例如，圖3的控制器54)閉合開關(guān)16和18以將來自光敏半導(dǎo)體12 (且明確地說，其等效電容器28)的短曝光時間電荷傳送到電容器20。在足以完成電荷從光敏半導(dǎo)體12到電容器20的傳送的時間之后，控制器(例如，圖3的控制器54)斷開開關(guān)16和18,從而經(jīng)由電容器20捕獲表不在時間Tshtjrt期間入射在光敏半導(dǎo)體12上的光的量的電壓。以此方式，電容器20收集短曝光時間樣本。同時，光可繼續(xù)撞擊光敏半導(dǎo)體12。入射光可繼續(xù)在光敏半導(dǎo)體12中產(chǎn)生電荷載流子，從而進(jìn)一步使等效電容器28放電。在長曝光時間(例如，Tlmg)之后，其中Tlmg >TshOTt，長曝光時間樣本由等效電容器28上剩余的電壓表示。此時，可通過閉合開關(guān)16且將行選擇信號施加到晶體管24的柵極26 (下文更詳細(xì)地描述)來讀出長曝光時間樣本。控制器(例如，圖3的控制器54)閉合開關(guān)16，且將行選擇信號施加到晶體管24的柵極26以接通晶體管22和24。接著經(jīng)由穿過晶體管22和24的線32從像素單元10 (且明確地說，等效電容器28)讀出表不長曝光時間樣本的電壓。在讀出長曝光時間樣本之后，可讀出存儲在電容器20中的短曝光時間樣本?？赏ㄟ^斷開開關(guān)16、閉合開關(guān)18且將行選擇信號施加到晶體管24的柵極26來讀出短曝光時間樣本。閉合開關(guān)18且將行選擇信號施加到晶體管24的柵極26接通晶體管22和24。接著經(jīng)由線32從像素單元10讀出存儲在電容器30上的電壓(其表示短曝光時間樣本)。所讀出的電壓大約等于電容器30上的電壓減晶體管22和24的閾值電壓。在一些實(shí)施方案(例如，使用互補(bǔ)MOS (CMOS)圖像傳感器的實(shí)施方案)中，可希望執(zhí)行關(guān)聯(lián)雙重取樣?？赏ㄟ^使用關(guān)聯(lián)雙重取樣來減少或消除一些類型的噪聲，例如固定模式噪聲(FPN)。就是說，因?yàn)樨灤╆嚵械墓饷舭雽?dǎo)體是不同的，因此可使用關(guān)聯(lián)雙重取樣來減少或消除陣列中的光敏半導(dǎo)體上的不均勻性。圖像傳感器上的控制器(例如，圖3的控制器54)可通過閉合開關(guān)14來執(zhí)行關(guān)聯(lián)雙重取樣，從而使像素單元10復(fù)位到參考電壓VDD，且接著在像素單元已復(fù)位之后，對像素單元的輸出電平進(jìn)行取樣。就是說，在已讀出像素單元值之后，控制器可對像素單元(例如，像素單元10)的復(fù)位值進(jìn)行復(fù)位、取樣和讀出。接著，控制器可將像素單元的復(fù)位值從信號樣本的值減去，以便提供所述信號的更準(zhǔn)確表示。根據(jù)本發(fā)明的技術(shù)，可在將可變加權(quán)因子應(yīng)用于長曝光時間樣本之后，通過處理器來組合短曝光時間樣本與長曝光時間樣本。通過應(yīng)用由處于長曝光時間樣本的值的函數(shù)界定的可變加權(quán)因子，可改進(jìn)由兩個不同曝光時間提供的動態(tài)范圍。明確地說，如果像素單元在長曝光時間之后飽和，那么長曝光時間樣本的貢獻(xiàn)在短曝光時間樣本與長曝光時間樣本的組合期間可由加權(quán)因子減少或消除。如上文所提到，如果光敏半導(dǎo)體變?yōu)轱柡停敲雌洳辉偈侨肷涔獾牧康臏?zhǔn)確指示符。由此，飽和的光敏半導(dǎo)體具有很少有價值信息。然而，在短曝光時間期間，像素單元不可能飽和。因此，短曝光時間樣本有可能具有比飽和或過度曝光的長曝光時間樣本多的有價值信息。為了減少或消除長曝光時間樣本與短曝光時間樣本的組合期間長曝光時間樣本的貢獻(xiàn)，可使用以下組合方案:(l)M(i, j) = C(Slong(i, j))(2) Scombined (i，j) = Slong (i，j) *M (i，j) +n*SSH0KT (i+H (i，j)，j+V (i，j)) * (1_M (i，j))其中Sotbined是位于(i，j)的像素單元的短曝光時間樣本Sshqkt(i，j)與長曝光時間樣本SLQN(；(i，j)的組合，C()是組合曲線，其開始于值一，且隨著長曝光時間樣本SLQNC(i，j)變?yōu)轱柡投鴾p小到值零，M(i，j)是由C()加權(quán)的長曝光時間樣本Srae(Lj)的標(biāo)度值，η是取決于短曝光時間(Tshott)與長曝光時間(Τ.)之間的曝光時間的差的標(biāo)度值，且等于TumZTshqkt，且H(i，j)和V(i，j)分別是水平和垂直對準(zhǔn)變量，其對于補(bǔ)償其中依序進(jìn)行兩次曝光的實(shí)施方案中的相機(jī)運(yùn)動和/或?qū)ο筮\(yùn)動可為必要的。在其中連續(xù)而不是依序進(jìn)行兩次曝光的實(shí)例實(shí)施方案中，H(i，j)和V(i，j)等于零，且以上等式(2)可減少為以下:(3) Scombined (i, j) = Slong (i, j) *M (i, j) +n*SSH0ET (i，j) * (1_M (i, j))如上文所提到，等式(2)和(3)中的長曝光時間樣本SmcQ, j)可由標(biāo)度值η修改。標(biāo)度值η可包括短曝光時間與長曝光時間的比率。可使用標(biāo)度值η，以便通過使兩個樣本達(dá)到共同基礎(chǔ)來標(biāo)準(zhǔn)化長曝光時間樣本SOTe(i，j)和短曝光時間樣本Ssmm (i，j)。換句話說，由等式(2)和(3)描述的組合方案調(diào)整了值n，使得對象在兩個圖像組合之前出現(xiàn)在所述兩個圖像中的同一水平處。舉例來說，假定場景的幀的一半具有l(wèi)OOlux的光度值，且另一半具有IOOOIux的光度值。所述幀具有光度比率10: I。進(jìn)一步假定Sskm對應(yīng)于所述幀的lOOOlux部分，應(yīng)于所述幀的lOOlux部分，長曝光時間Tmc等于一秒，且短曝光時間Tsikm等于0.1秒。為了組合兩個不同曝光時間樣本，IOOOIux的短曝光時間樣本必須按比例縮小到lOOlux的長曝光時間樣本。處理器(例如，圖3的處理器76)可使短曝光時間樣本Sshott乘以曝光時間的比率(例如，T_；/TsmKT)，以標(biāo)準(zhǔn)化短曝光時間樣本Ssikm，以便考慮曝光時間的差異。除飽和之外，像素單元的“噪聲下限”(即，在不存在入射光的情況下由像素單元產(chǎn)生的低電平信號)是減小動態(tài)范圍時的因子。依據(jù)噪聲下限，短曝光時間樣本SsroKT(i，j)和長曝光時間樣本j)可以信噪比(SNR)高效方式組合。就是說，如果樣本具有低于像素單元本身的SNR的值，那么可丟棄所述樣本。圖2是根據(jù)本發(fā)明的技術(shù)的可用于組合方案中的組合曲線(即，CO)的實(shí)例圖表。圖2中描繪的圖表的X軸表示在長曝光時間之后位于像素單元陣列上的空間位置(i，j)處的像素單元的亮度值。圖2中描繪的圖表的I軸表示如由大體在40處展示的組合曲線C()界定的Smc(i，j)的經(jīng)加權(quán)值M(i，j)。如果位于(i，j)處的像素單元在長曝光時間期間未暴露于光，那么S_(i，j)的值為零。如果位于(i，j)處的像素單元在長曝光時間之后飽和，那么SOTe(i，j)的值處于最大值，例如，對于八位實(shí)施方案為255。如圖2中所見，隨著j)的值增加，M(i，j)的值保持在值“1”，直到SOTe(i，j)值為約210為止。組合曲線C()開始在約210和約230的S_(i，j)值之間急劇減小，直到經(jīng)加權(quán)值M(i，j)在Srae(Lj)值為約230時達(dá)到值“O”為止。在約210和約230的Sum;(i，j)值之間，經(jīng)加權(quán)值M(i，j)可為介于“O”與“I”之間的值。舉例來說，在SOTe(i，j)值為約220時，經(jīng)加權(quán)值M(i，j)約為0.5。作為一個實(shí)例，如果位于(i，j)處的像素單元飽和，那么S—a，j) = 255(對于八位實(shí)施方案)，且 M(i，j) = C(Slong(i, j)) = C(255) = 0。參考等式(3)，Scombined(i, j)=n*SL0NG(i，j)*0+S謂T(i，j)*(l) = Sshoet(i, j)。因此，使用上文描述的組合方案，可將飽和樣本s^a，j)的貢獻(xiàn)從組合值s a，j)中完全去除。如等式⑵和(3)中所見，基于SmcQ, j)的飽和等級對組合結(jié)果S (i，j)進(jìn)行加權(quán)。如果位于(i，j)處的像素單元在長曝光時間之后完全飽和，那么M(i，j) =0，且&‘(丨，j)對組合結(jié)果Sgqmbined(i，j)不具有影響。如上文所提到，飽和像素單元具有很少有價值信息，且可從組合結(jié)果j)去除，以便完全利用由兩個不同曝光時間樣本(即，Sshoet(i, j)和s—a，j))提供的動態(tài)范圍增加的益處。如果位于a，j)處的像素單元在長曝光時間之后不接近飽和(例如，在圖2中j)小于約200)，那么M(i，j)=1，且僅長曝光時間樣本SOTe(i，j)具有影響。圖2中的40處描 繪的實(shí)例組合曲線C()包含三個區(qū)段42、44和46。在其它實(shí)例中，組合曲線C()可具有更多或更少區(qū)段。如圖2中所見，組合曲線C()可大體上被視為隨著長曝光時間樣本SOTe(i，j)的值增加而衰減的函數(shù)。在其它實(shí)例中，組合曲線C()可較不急劇地衰減。
上文描述了對應(yīng)于區(qū)段42 (其中M(i，j) = I)和區(qū)段46(其中M(i，j) = O)的兩個極端情況。在這兩個極端處，Sum;(i, j) *SSH(M(i, j)的貢獻(xiàn)分別從組合值Scmmbined(i, j)完全去除。然而，如果長曝光時間樣本j)的值對應(yīng)于區(qū)段44，那么0<M(i，j) <1。因此，組合值S (i，j)將包含長曝光時間樣本Sffle(Lj)和短曝光時間樣本Sskm (i，j)兩者的貢獻(xiàn)。如圖2中所見，隨著長曝光時間樣本Sffle(Lj)的值增加，經(jīng)加權(quán)值M(i，j)減小，且根據(jù)等式⑵和(3)，長曝光時間樣本Smc(Lj)對組合值S (i，j)的貢獻(xiàn)減小。通過在本發(fā)明所述的組合方案中使用可變加權(quán)函數(shù)(例如，圖2中描繪的函數(shù)C())，可使傳感器的動態(tài)范圍可變且可編程。每個像素單元可具有不同的經(jīng)加權(quán)值M(i，j)，其根據(jù)所述特定像素單元的長曝光時間樣本的值而變。不同于其中傳感器的動態(tài)范圍基于用以構(gòu)造傳感器的電容器的值而固定的其它圖像傳感器，使用本發(fā)明的技術(shù)，動態(tài)范圍是可適應(yīng)的(例如，對于特定場景)。舉例來說，可能希望將數(shù)字相機(jī)設(shè)定為針對特定場景具有四個f制光圈(f制光圈是數(shù)字相機(jī)的動態(tài)范圍的量度)。可調(diào)整曝光時間以提供四個f制光圈，且接著可組合來自兩次曝光時間的兩個樣本。如上文所提到，可使用大量組合曲線來組合不同曝光時間的圖像，且由此，本發(fā)明不限于圖2中所描繪的組合曲線，或上文的描述。在一個實(shí)例中，可根據(jù)以下三個指導(dǎo)方針中的一者或一者以上來產(chǎn)生組合曲線。第一，組合曲線可與圖像層級有關(guān)?？山Y(jié)合可比較結(jié)果而使用兩個圖像中的任一者，但兩個曲線將不同。第二，與噪聲較多的圖像相比，組合曲線可較重地加權(quán)噪聲較少的圖像。舉例來說，與Ssrom相比，可較重地加權(quán)可能具有比短曝光時間樣本Ss_(i，j)少的噪聲的長曝光時間樣本S.。然而，在一些實(shí)例中，可使用等增益組合，而不是與一個圖像相比較重地加權(quán)另一圖像。第三，組合曲線可單調(diào)減小。存在可基于事先知道關(guān)于 圖像噪聲統(tǒng)計的多少信息而滿足上述指導(dǎo)方針的若干組合方法。在第一實(shí)例方法中，可使用曲線是O還是I的選擇組合。推理是如果長曝光圖像層級不接近飽和，那么可完全使用長曝光時間圖像，且如果長曝光圖像接近飽和，那么可完全使用短曝光時間圖像。在第二實(shí)例組合方法中，可使用先前知識來基于圖像層級對噪聲統(tǒng)計進(jìn)行建模，且利用其中每一圖像與其噪聲電平成反比的方式按比例縮放的最大比率組合。在此實(shí)例中，可使用第一實(shí)例方法的增強(qiáng)版本，針對其而使從I到O的過渡較平緩?？墒褂靡韵碌仁疆a(chǎn)生一個組合曲線C(L):其中L是與Smc(i，j)相關(guān)聯(lián)的亮度值，例如R、G、B分量的組合，如(R+G+B)/2、max(R, G，B)等，且在8位實(shí)施方案中具有值O到255，其中T是控制組合曲線的過渡點(diǎn)的亮度值范圍中的閾值(例如，在圖2中所示的實(shí)例曲線中，T = 220)，其中Λ是控制組合曲線的過渡范圍的L的范圍內(nèi)的范圍(例如，在圖2中所示的實(shí)例曲線中，Λ =30)，且其中K是控制組合曲線的過渡區(qū)的斜率的數(shù)字(例如，在圖2中所示的實(shí)例曲線中，K = 10)。
權(quán)利要求
1.一種方法，其包括: 在第一時間對第一像素單兀信號進(jìn)行取樣以產(chǎn)生第一樣本； 在第二時間對第二像素單元信號進(jìn)行取樣以產(chǎn)生第二樣本； 將可變加權(quán)因子應(yīng)用于所述第二樣本，其中所述可變加權(quán)因子是基于函數(shù)而界定；以及 將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合。
2.根據(jù)權(quán)利要求1所述的方法，其中將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合包括根據(jù)以下等式將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合: Scombined(i, j) = Slong(i, j)*M(i, j)+n*SSH0ET(i, j)*(l_M(i, j)) 其中S 表示位于(i，j)處的所述像素單元的由Sshott表示的所述第一樣本與由Slong表示的所述第二樣本的所述組合，η表示標(biāo)度值，其取決于所述第一時間與所述第二時間之間的曝光時間的差，且M(i，j)表示所述可變加權(quán)因子。
3.根據(jù)權(quán)利要求2所述的方法，其中M(i，j)的值介于零與一之間，包含零和一。
4.根據(jù)權(quán)利要求1所述的方法，其中所述第二時間在時間上在所述第一時間之后。
5.根據(jù)權(quán)利要求1所述的方法，其中將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合包括在傳感器上將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合。
6.根據(jù)權(quán)利要求1所述的方法，其中由互補(bǔ)MOS(CMOS)圖像傳感器和電荷耦合裝置(CXD)圖像傳感器中的一者產(chǎn)生所述第一像素單元信號和所述第二像素單元信號。
7.根據(jù)權(quán)利要求6所述的方法,其中在第一時間對第一像素單兀信號進(jìn)行取樣以產(chǎn)生第一樣本且在第二時間對第二像素單元信號進(jìn)行取樣以產(chǎn)生第二樣本包括: 打開CCD圖像傳感器上的機(jī)械快門且使所述圖像傳感器暴露于光； 在第一時間將基于所述光形成的第一樣本傳送到存儲區(qū)； 從所述存儲區(qū)讀出所述第一樣本； 在第二時間關(guān)閉所述機(jī)械快門，所述第二時間在時間上在所述第一時間之后； 將第二樣本傳送到所述存儲區(qū)；以及 從所述存儲區(qū)讀出所述第二樣本。
8.根據(jù)權(quán)利要求6所述的方法,其中在第一時間對第一像素單兀信號進(jìn)行取樣以產(chǎn)生第一樣本且在第二時間對第二像素單元信號進(jìn)行取樣以產(chǎn)生第二樣本包括: 使所述第一時間與所述第二時間對準(zhǔn)，使得所述第一時間與所述第二時間大體上同時結(jié)束； 在所述第一時間使所述CMOS圖像傳感器的多個偶數(shù)編號線曝光，以針對所述多個偶數(shù)編號線中的每一者中的多個空間位置中的每一者產(chǎn)生所述第一樣本，且在所述第二時間使所述CMOS圖像傳感器的多個奇數(shù)編號線曝光，以針對所述多個奇數(shù)編號線中的每一者中的多個空間位置中的每一者產(chǎn)生所述第二樣本； 通過針對所述多個偶數(shù)編號線中的每一者中的多個空間位置中的每一者對所述第一樣本進(jìn)行向下取樣和向上取樣中的一者，針對所述多個奇數(shù)編號線中的每一者中的所述多個空間位置中的每一者產(chǎn)生所述第一樣本；以及 通過針對所述多個奇數(shù)編號線中的每一者中的多個空間位置中的每一者對所述第二樣本進(jìn)行向下取樣和向上取樣中的一者，針對所述多個偶數(shù)編號線中的每一者中的所述多個空間位置中的每一者產(chǎn)生所述第二樣本。
9.根據(jù)權(quán)利要求6所述的方法,其中在第一時間對第一像素單兀信號進(jìn)行取樣以產(chǎn)生第一樣本且在第二時間對第二像素單元信號進(jìn)行取樣以產(chǎn)生第二樣本包括: 使像素單元復(fù)位并使所述像素單元暴露于光； 在第一時間將基于所述光形成的第一樣本傳送到電容器； 在第二時間讀出基于所述光形成的第二樣本；以及 在已讀出所述第二樣本之后讀出所述第一樣本。
10.一種系統(tǒng),其包括: 圖像傳感器，其包括: 多個像素單元；以及 控制器，其: 在第一時間從所述多個像素單元中的至少一者對第一像素單元信號進(jìn)行取樣以產(chǎn)生第一樣本；且 在第二時間從所述多個單元中的所述至少一者對第二像素單元信號進(jìn)行取樣以產(chǎn)生第二樣本；以及處理器，其: 將可變加權(quán)因子應(yīng)用于所述第二樣本，其中所述可變加權(quán)因子是基于函數(shù)而界定；且 將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，所述處理器根據(jù)以下等式將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合: Scombined(i, j) = Slong(i, j)*M(i, j)+n*SSH0ET(i, j)*(l_M(i, j)) 其中S 表示位于(i，j)處的所述像素單元的由Sshott表示的所述第一樣本與由Slong表示的所述第二樣本的所述組合，η表示標(biāo)度值，其取決于所述第一時間與所述第二時間之間的曝光時間的差，且M(i，j)表示所述可變加權(quán)因子。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中M(i，j)的值介于零與一之間，包含零和一。
13.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述第二時間在時間上在所述第一時間之后。
14.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述處理器在傳感器上將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合。
15.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述第一像素單元信號和所述第二像素單元信號由互補(bǔ)MOS(CMOS)圖像傳感器和電荷耦合裝置(CCD)圖像傳感器中的一者產(chǎn)生。
16.根據(jù)權(quán)利要求15所述的系統(tǒng)，其中所述控制器至少通過以下步驟在第一時間對第一像素單元信號進(jìn)行取樣以產(chǎn)生第一樣本，且在第二時間對第二像素單元信號進(jìn)行取樣以產(chǎn)生第二樣本: 打開CCD圖像傳感器上的機(jī)械快門且使所述圖像傳感器暴露于光； 在第一時間將基于所述光形成的第一樣本傳送到存儲區(qū)； 從所述存儲區(qū)讀出所述第一樣本； 在第二時間關(guān)閉所述機(jī)械快門，所述第二時間在時間上在所述第一時間之后； 將第二樣本傳送到所述存儲區(qū)；以及 從所述存儲區(qū)讀出所述第二樣本。
17.根據(jù)權(quán)利要求15所述的系統(tǒng)，其中所述控制器至少通過以下步驟在第一時間對第一像素單元信號進(jìn)行取樣以產(chǎn)生第一樣本，且在第二時間對第二像素單元信號進(jìn)行取樣以產(chǎn)生第二樣本: 使所述第一時間與所述第二時間對準(zhǔn)，使得所述第一時間與所述第二時間大體上同時結(jié)束； 在所述第一時間使所述CMOS圖像傳感器的多個偶數(shù)編號線曝光，以針對所述多個偶數(shù)編號線中的每一者中的多個空間位置中的每一者產(chǎn)生所述第一樣本，且在所述第二時間使所述CMOS圖像傳感器的多個奇數(shù)編號線曝光，以針對所述多個奇數(shù)編號線中的每一者中的多個空間位置中的每一者產(chǎn)生所述第二樣本； 通過針對所述多個偶數(shù)編號線中的每一者中的多個空間位置中的每一者對所述第一樣本進(jìn)行向下取樣和向上取樣中的一者，針對所述多個奇數(shù)編號線中的每一者中的所述多個空間位置中的每一者 產(chǎn)生所述第一樣本；以及 通過針對所述多個奇數(shù)編號線中的每一者中的多個空間位置中的每一者對所述第二樣本進(jìn)行向下取樣和向上取樣中的一者，針對所述多個偶數(shù)編號線中的每一者中的所述多個空間位置中的每一者產(chǎn)生所述第二樣本。
18.根據(jù)權(quán)利要求15所述的系統(tǒng)，其中所述控制器至少通過以下步驟在第一時間對第一像素單元信號進(jìn)行取樣以產(chǎn)生第一樣本，且在第二時間對第二像素單元信號進(jìn)行取樣以產(chǎn)生第二樣本: 使像素單元復(fù)位并使所述像素單元暴露于光； 在第一時間將基于所述光形成的第一樣本傳送到電容器； 在第二時間讀出基于所述光形成的第二樣本；以及 在已讀出所述第二樣本之后讀出所述第一樣本。
19.一種系統(tǒng),其包括: 用于在第一時間對第一像素單元信號進(jìn)行取樣以產(chǎn)生第一樣本的裝置； 用于在第二時間對第二像素單元信號進(jìn)行取樣以產(chǎn)生第二樣本的裝置； 用于將可變加權(quán)因子應(yīng)用于所述第二樣本的裝置，其中所述可變加權(quán)因子是基于函數(shù)而界定；以及 用于將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合的裝置。
20.根據(jù)權(quán)利要求19所述的系統(tǒng)，其中所述用于將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合的裝置包括用于根據(jù)以下等式將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合的裝置: Scombined(i, j) = Slong(i, j)*M(i, j)+n*SSH0ET(i, j)*(l_M(i, j)) 其中S 表示位于(i，j)處的所述像素單元的由Sshott表示的所述第一樣本與由Slong表示的所述第二樣本的所述組合，η表示標(biāo)度值，其取決于所述第一時間與所述第二時間之間的曝光時間的差，且M(i，j)表示所述可變加權(quán)因子。
21.根據(jù)權(quán)利要求20所述的系統(tǒng)，其中M(i，j)的值介于零與一之間，包含零和一。
22.根據(jù)權(quán)利要求19所述的系統(tǒng)，其中所述第二時間在時間上在所述第一時間之后。
23.根據(jù)權(quán)利要求19所述的系統(tǒng)，其中所述用于將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合的裝置包括用于在傳感器上將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合的裝置。
24.根據(jù)權(quán)利要求19所述的系統(tǒng)，其中所述第一像素單元信號和所述第二像素單元信號由互補(bǔ)MOS(CMOS)圖像傳感器和電荷耦合裝置(CCD)圖像傳感器中的一者產(chǎn)生。
25.根據(jù)權(quán)利要求24所述的系統(tǒng)，其中所述用于在第一時間對第一像素單元信號進(jìn)行取樣以產(chǎn)生第一樣本的裝置以及所述用于在第二時間對第二像素單元信號進(jìn)行取樣以產(chǎn)生第二樣本的裝置包括: 用于打開CCD圖像傳感器上的機(jī)械快門且使所述圖像傳感器暴露于光的裝置； 用于在第一時間將基于所述光形成的第一樣本傳送到存儲區(qū)的裝置； 用于從所述存儲區(qū)讀出所述第一樣本的裝置； 用于在第二時間關(guān)閉所述機(jī)械快門的裝置，所述第二時間在時間上在所述第一時間之后; 用于將第二樣本傳送到所述存儲區(qū)的裝置；以及 用于從所述存儲區(qū)讀出所述第二樣本的裝置。
26.根據(jù)權(quán)利要求24所述的系統(tǒng)，其中所述用于在第一時間對第一像素單元信號進(jìn)行取樣以產(chǎn)生第一樣本的裝置以及所述用于在第二時間對第二像素單元信號進(jìn)行取樣以產(chǎn)生第二樣本的裝置包括: 用于使所述第一時間與所述第二時間對準(zhǔn)使得所述第一時間與所述第二時間大體上同時結(jié)束的裝置； 用于在所述第一時間使所述CMOS圖像傳感器的多個偶數(shù)編號線曝光以針對所述多個偶數(shù)編號線中的每一者中的多個空間位置中的每一者產(chǎn)生所述第一樣本且在所述第二時間使所述CMOS圖像傳 感器的多個奇數(shù)編號線曝光以針對所述多個奇數(shù)編號線中的每一者中的多個空間位置中的每一者產(chǎn)生所述第二樣本的裝置； 用于通過針對所述多個偶數(shù)編號線中的每一者中的多個空間位置中的每一者對所述第一樣本進(jìn)行向下取樣和向上取樣中的一者而針對所述多個奇數(shù)編號線中的每一者中的所述多個空間位置中的每一者產(chǎn)生所述第一樣本的裝置；以及 用于通過針對所述多個奇數(shù)編號線中的每一者中的多個空間位置中的每一者對所述第二樣本進(jìn)行向下取樣和向上取樣中的一者而針對所述多個偶數(shù)編號線中的每一者中的所述多個空間位置中的每一者產(chǎn)生所述第二樣本的裝置。
27.根據(jù)權(quán)利要求24所述的系統(tǒng)，其中所述用于在第一時間對第一像素單元信號進(jìn)行取樣以產(chǎn)生第一樣本的裝置以及所述用于在第二時間對第二像素單元信號進(jìn)行取樣以產(chǎn)生第二樣本的裝置包括: 用于使像素單元復(fù)位并使所述像素單元暴露于光的裝置； 用于在第一時間將基于所述光形成的第一樣本傳送到電容器的裝置； 用于在第二時間讀出基于所述光形成的第二樣本的裝置；以及 用于在已讀出所述第二樣本之后讀出所述第一樣本的裝置。
28.一種計算機(jī)可讀媒體，其包括指令，所述指令在由一個或一個以上處理器執(zhí)行時，致使所述一個或一個以上處理器: 在第一時間對第一像素單兀信號進(jìn)行取樣以產(chǎn)生第一樣本； 在第二時間對第二像素單元信號進(jìn)行取樣以產(chǎn)生第二樣本； 將可變加權(quán)因子應(yīng)用于所述第二樣本，其中所述可變加權(quán)因子是基于函數(shù)而界定；以及 將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合。
29.根據(jù)權(quán)利要求28所述的計算機(jī)可讀媒體，其中所述致使所述一個或一個以上處理器將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合的指令包括致使所述一個或一個以上處理器根據(jù)以下等式將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合的指令:Scombined ( j) = Slwg (i, j)*M(i，j)+n*S選T (i，j)*(l_M(i，j)) 其中S 表示位于(i，j)處的所述像素單元的由Sshott表示的所述第一樣本與由Slong表示的所述第二樣本的所述組合，η表示標(biāo)度值，其取決于所述第一時間與所述第二時間之間的曝光時間的差，且M(i，j)表示所述可變加權(quán)因子。
30.根據(jù)權(quán)利要求29所述的計算機(jī)可讀媒體，其中M(i，j)的值介于零與一之間，包含零和一。
31.根據(jù)權(quán)利要求28所述的計算機(jī)可讀媒體，其中所述第二時間在時間上在所述第一時間之后。
32.根據(jù)權(quán)利要求28所述的計算機(jī)可讀媒體，其中所述致使所述一個或一個以上處理器將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合的指令包括致使所述一個或一個以上處理器在傳感器上將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合的指令。
33.根據(jù)權(quán)利要求28所述的計算機(jī)可讀媒體，其中所述第一像素單元信號和所述第二像素單元信號由互補(bǔ)MOS (CMOS)圖像傳感器和電荷耦合裝置(CCD)圖像傳感器中的一者產(chǎn)生。
34.根據(jù)權(quán)利要求33所述的計算機(jī)可讀媒體，其中所述致使所述一個或一個以上處理器在第一時間對第一像素單元信號進(jìn)行取樣以產(chǎn)生第一樣本且在第二時間對第二像素單元信號進(jìn)行取樣以產(chǎn)生第二樣本的指令包括致使所述一個或一個以上處理器進(jìn)行以下步驟的指令: 打開CCD圖像傳感器上的機(jī)械快門且使所述圖像傳感器暴露于光； 在第一時間將基于所述光形成的第一樣本傳送到存儲區(qū)； 從所述存儲區(qū)讀出所述第一樣本； 在第二時間關(guān)閉所述機(jī)械快門，所述第二時間在時間上在所述第一時間之后； 將第二樣本傳送到所述存儲區(qū)；以及 從所述存儲區(qū)讀出所述第二樣本。
35.根據(jù)權(quán)利要求34所述的計算機(jī)可讀媒體，其中所述致使所述一個或一個以上處理器在第一時間對第一像素單元信號進(jìn)行取樣以產(chǎn)生第一樣本且在第二時間對第二像素單元信號進(jìn)行取樣以產(chǎn)生第二樣本的指令包括致使所述一個或一個以上處理器進(jìn)行以下步驟的指令: 使所述第一時間與所述第二時間對準(zhǔn)，使得所述第一時間與所述第二時間大體上同時結(jié)束； 在所述第一時間使所述CMOS圖像傳感器的多個偶數(shù)編號線曝光，以針對所述多個偶數(shù)編號線中的每一者中的多個空間位置中的每一者產(chǎn)生所述第一樣本，且可在所述第二時間使所述CMOS圖像傳感器的多個奇數(shù)編號線曝光，以針對所述多個奇數(shù)編號線中的每一者中的多個空間位置中的每一者產(chǎn)生所述第二樣本；通過針對所述多個偶數(shù)編號線中的每一者中的多個空間位置中的每一者對所述第一樣本進(jìn)行向下取樣和向上取樣中的一者，針對所述多個奇數(shù)編號線中的每一者中的所述多個空間位置中的每一者產(chǎn)生所述第一樣本；以及 通過針對所述多個奇數(shù)編號線中的每一者中的多個空間位置中的每一者對所述第二樣本進(jìn)行向下取樣和向上取樣中的一者，針對所述多個偶數(shù)編號線中的每一者中的所述多個空間位置中的每一者產(chǎn)生所述第二樣本。
36.根據(jù)權(quán)利要求34所述的計算機(jī)可讀媒體，其中所述致使所述一個或一個以上處理器在第一時間對第一像素單元信號進(jìn)行取樣以產(chǎn)生第一樣本且在第二時間對第二像素單元信號進(jìn)行取樣以產(chǎn)生第二樣本的指令包括致使所述一個或一個以上處理器進(jìn)行以下步驟的指令: 使像素單元復(fù)位并使所述像素單元暴露于光； 在第一時間將基于所述光形成的第一樣本傳送到電容器； 在第二時間讀出基于所述光形成的第二樣本；以及 在已讀出所述第二樣本之后讀出所述第一樣本。
全文摘要
本發(fā)明描述用于通過在將樣本與另一樣本組合之前將可變加權(quán)因子應(yīng)用于所述樣本來產(chǎn)生高動態(tài)范圍圖像的技術(shù)。在一個實(shí)例中，一種方法包含在第一時間對第一像素單元信號進(jìn)行取樣以產(chǎn)生第一樣本；在第二時間對第二像素單元信號進(jìn)行取樣以產(chǎn)生第二樣本；將可變加權(quán)因子應(yīng)用于所述第二樣本，其中所述可變加權(quán)因子是基于函數(shù)而界定；以及將所述第一樣本與所述經(jīng)加權(quán)第二樣本組合。
文檔編號H04N5/355GK103141081SQ201180046572
公開日2013年6月5日 申請日期2011年8月31日 優(yōu)先權(quán)日2010年9月1日
發(fā)明者卡林·M·阿塔納索夫, 魯本·M·貝拉爾德, 豪·黃 申請人:高通股份有限公司