專利名稱：圖像處理裝置、成像裝置、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理裝置、成像裝置、圖像處理方法和程序。本發(fā)明具體地涉及用于生成具有寬動(dòng)態(tài)范圍的圖像的圖像處理裝置、成像裝置、圖像處理方法和程序。
背景技術(shù)：
用在攝像機(jī)、數(shù)碼相機(jī)等中的固態(tài)成像元件(諸如CXD圖像傳感器和CM0S(互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器)累積與入射光量對(duì)應(yīng)的電荷，并且執(zhí)行光電轉(zhuǎn)換以輸出與所累積的電荷對(duì)應(yīng)的電信號(hào)。然而，對(duì)可以累積在光電轉(zhuǎn)換元件中的電荷量存在限制，并且如果接收到超過(guò)特定量的光量，則累積電荷量接近飽和水平，并且，如果拍攝對(duì)象區(qū)域具有超過(guò)特定量的亮度，則在光亮度水平已變得飽和的那些區(qū)域內(nèi)出現(xiàn)了所謂的白化狀況。
為了防止這種現(xiàn)象，對(duì)應(yīng)于外部光的改變來(lái)控制光電轉(zhuǎn)換元件的電荷累積時(shí)段，并且類似地，調(diào)整曝光時(shí)段，并執(zhí)行處理以將靈敏度控制為最佳值。例如，對(duì)于明亮的拍攝對(duì)象，通過(guò)以高速切快門，縮短了曝光時(shí)段，并且縮短了光電轉(zhuǎn)換元件的光電累積時(shí)段，以使得在所累積的電荷達(dá)到飽和水平之前輸出電信號(hào)。利用這種處理，可輸出灰度對(duì)應(yīng)于拍攝對(duì)象而被正確地再現(xiàn)的圖像。
然而，為了拍攝具有亮區(qū)域和暗區(qū)域這兩者的拍攝對(duì)象，如果高速切快門，則曝光時(shí)段對(duì)于暗區(qū)域不是足夠長(zhǎng)的，這導(dǎo)致S/N劣化以及圖像質(zhì)量損失。對(duì)于具有亮區(qū)域和暗區(qū)域這兩者的拍攝對(duì)象的拍攝圖像，必需對(duì)圖像傳感器上的具有少量入射光的像素以長(zhǎng)曝光時(shí)段來(lái)實(shí)現(xiàn)高S/N，并且執(zhí)行處理以避免具有大量入射光的像素的飽和，以便正確地再現(xiàn)亮區(qū)域和暗區(qū)域兩者。
作為用于實(shí)現(xiàn)這種處理的方法，已知用于將以不同曝光時(shí)間連續(xù)地拍攝的多幅圖像合并的方法。也就是說(shuō)，這是用于生成一副圖像的方法，其中，單獨(dú)地、連續(xù)地拍攝長(zhǎng)曝光圖像和短曝光圖像，并且，利用合并處理，在該合并處理中，長(zhǎng)曝光圖像被用于暗圖像區(qū)域，而短曝光圖像被用于在長(zhǎng)曝光圖像中將會(huì)具有白化的亮圖像區(qū)域。以此方式，通過(guò)對(duì)多幅不同曝光圖像進(jìn)行合并，可獲得沒(méi)有白化且具有寬動(dòng)態(tài)范圍的圖像。
例如，PTLl (日本未審查專利申請(qǐng)公開(kāi)2008-99158)公開(kāi)了一種用于通過(guò)對(duì)具有不同曝光量的多幅圖像進(jìn)行合并來(lái)獲得具有寬動(dòng)態(tài)范圍的圖像的配置。將參照?qǐng)D1描述該處理。關(guān)于拍攝運(yùn)動(dòng)圖像，成像裝置例如在視頻速率(30fps至60fps)內(nèi)輸出具有兩種不同曝光時(shí)間的圖像數(shù)據(jù)。此外，關(guān)于拍攝靜止圖像，生成并輸出具有兩種不同曝光時(shí)間的圖像數(shù)據(jù)。圖1是描述由成像裝置生成的具有兩種不同曝光時(shí)間的圖像(長(zhǎng)曝光圖像和短曝光圖像)的特性的圖。橫軸是時(shí)間(t)，并且縱軸是光接收光電二極管(PD)的累積電荷量(e)，該光接收光電二極管(PD)構(gòu)成與固態(tài)成像元件的一個(gè)像素對(duì)應(yīng)的光電轉(zhuǎn)換元件。
例如，當(dāng)光接收光電二極管(PD)的入射光量大時(shí)，也就是說(shuō)，當(dāng)處理亮拍攝對(duì)象時(shí)，如由圖1所示的高光亮度區(qū)域11表示的那樣，電荷累積量隨著經(jīng)過(guò)的時(shí)間而快速地增力口。反之，當(dāng)光接收光電二極管(PD)的入射光量小時(shí)，也就是說(shuō)，當(dāng)處理暗拍攝對(duì)象時(shí)，如圖1所示的低光亮度區(qū)域12表示的那樣，電荷累積量隨著經(jīng)過(guò)的時(shí)間而緩慢地上升。
時(shí)刻t0至t3等同于用于獲得長(zhǎng)曝光圖像的曝光時(shí)間TL。對(duì)于隨著該長(zhǎng)曝光時(shí)間TL來(lái)表示低光亮度區(qū)域12的線，電荷累積量在時(shí)刻t3未達(dá)到飽和水平(非飽和點(diǎn)Py)，并且通過(guò)使用基于該電荷累積量(Sa)而獲得的電信號(hào)來(lái)確定像素的灰度水平，可獲得正確的灰度表達(dá)。然而，明顯的是，對(duì)于表示高光亮度區(qū)域11的線的電荷累積量在時(shí)刻t3之前已達(dá)到飽和水平(飽和點(diǎn)Px)。因此，從這種高光亮度區(qū)域11中，從長(zhǎng)曝光圖像僅可獲得與處于飽和水平的電信號(hào)對(duì)應(yīng)的像素值，結(jié)果，像素將會(huì)白化。因此，在這種高光亮度區(qū)域11處，對(duì)于在直到時(shí)刻t3前的時(shí)間，例如圖中所示的時(shí)刻tl (放電起始點(diǎn)P1)，首先，來(lái)自光接收光電二極管(PD)的電荷將放電。所放電的電荷不是累積在光接收光電二極管(PD)中的全部電荷，而僅僅是對(duì)于光電二極管(PD)而言可控制的中間電壓保持水平。在該電荷放電處理之后，再次執(zhí)行短曝光，其曝光時(shí)間為TS(t2至t3)。也就是說(shuō)，將在如圖所示的從短曝光起始點(diǎn)P2到短曝光結(jié)束點(diǎn)P3的時(shí)段期間執(zhí)行短曝光。通過(guò)該短曝光可獲得電荷累積量(Sb)，并且根據(jù)基于該電荷累積量(Sb)而獲得的電信號(hào)來(lái)確定像素灰度水平。另外，當(dāng)基于根據(jù)通過(guò)對(duì)低光亮度區(qū)域12的長(zhǎng)曝光而獲得的電荷累積量(Sa)的電信號(hào)和根據(jù)通過(guò)對(duì)高光亮度區(qū)域251的短曝光而獲得的電荷累積量(Sb)的電信號(hào)來(lái)確定像素值時(shí)，計(jì)算在執(zhí)行同等時(shí)間曝光時(shí)的估計(jì)電荷累積量或者與該估計(jì)電荷累積量相對(duì)應(yīng)的電信號(hào)輸出值，并且基于計(jì)算結(jié)果來(lái)確定像素值水平。這樣，通過(guò)將短曝光圖像和長(zhǎng)曝光圖像進(jìn)行合并，可獲得具有寬動(dòng)態(tài)范圍的、沒(méi)有白化的圖像。另外，PTL2 (日本未審查專利申請(qǐng)公開(kāi)2000-50151)公開(kāi)了與PTLl中所述的配置類似的配置，其中，拍攝具有不同曝光量的多幅圖像，并且在合并處理期間，對(duì)具有不同曝光量的多幅圖像進(jìn)行比較，并識(shí)別包含移動(dòng)的像素區(qū)域，并且執(zhí)行校正以控制伴隨該合并的假色的生成。然而，在前述PTLl和PTL2中所描述的配置必須執(zhí)行在某一點(diǎn)處分別拍攝并合并長(zhǎng)曝光圖像和短曝光圖像的處理。為了執(zhí)行該處理，必須存在足夠的幀存儲(chǔ)器來(lái)存儲(chǔ)至少一幅圖像的數(shù)據(jù)，這已成為導(dǎo)致了成本增加的問(wèn)題。此外，執(zhí)行圖像處理的DSP (數(shù)字信號(hào)處理器)必須執(zhí)行輸入具有不同曝光時(shí)間的兩幅圖像的數(shù)據(jù)的處理。結(jié)果，這需要具有高級(jí)功能的處理器，并且這點(diǎn)也已成為導(dǎo)致了攝像裝置成本增加的問(wèn)題。此外，由于必須要執(zhí)行對(duì)至少兩幅圖像的拍攝，因此存在對(duì)于拍攝時(shí)間和處理時(shí)間必須花費(fèi)太多時(shí)間的問(wèn)題。此外，當(dāng)拍攝對(duì)象移動(dòng)并且在拍攝兩幅圖像的時(shí)段期間發(fā)生移動(dòng)時(shí)，這引起了無(wú)法執(zhí)行良好的圖像合并的問(wèn)題，并且這降低了合并圖像輸出的質(zhì)量。引用列表專利文獻(xiàn)PTLl:日本未審查專利申請(qǐng)公開(kāi)2008-99158PTL2:日本未審查專利申請(qǐng)公開(kāi)2000-5015
發(fā)明內(nèi)容
技術(shù)問(wèn)題
本發(fā)明的目的在于在考慮前述問(wèn)題的情況下，提供圖像處理裝置、成像裝置、圖像處理方法和程序，該圖像處理裝置、成像裝置、圖像處理方法和程序沒(méi)有分別拍攝具有不同曝光時(shí)間的圖像，而是可以利用例如一次拍攝的圖像來(lái)生成具有寬動(dòng)態(tài)范圍的圖像。
針對(duì)技術(shù)問(wèn)題的方案
本發(fā)明的第一方面是一種圖像處理裝置，其包括:
控制單元，用于執(zhí)行像素和像素區(qū)域單位的曝光時(shí)間控制，
像素部，用于通過(guò)在控制單元的控制下的成像處理來(lái)輸出多個(gè)不同曝光時(shí)間的像素信息，以及
像素信息合并單元，用于通過(guò)輸入從像素部輸出的具有多個(gè)不同曝光時(shí)間的像素信息并執(zhí)行使用該多個(gè)像素信息的計(jì)算處理，而計(jì)算輸出圖像的像素值。
另外，關(guān)于本發(fā)明的圖像處理裝置的實(shí)施例，控制單元以像素部的行為單位執(zhí)行曝光時(shí)間控制，像素部輸出來(lái)自多個(gè)不同的行的、具有不同曝光時(shí)間的像素信息，該像素信息合并單元通過(guò)使用從多個(gè)不同的行輸入的多個(gè)像素信息的計(jì)算處理來(lái)計(jì)算輸出圖像的一個(gè)像素的像素值。
另外，關(guān)于本發(fā)明的圖像處理裝置的實(shí)施例，像素部從長(zhǎng)曝光區(qū)域輸出高靈敏度像素信息，并且從短曝光區(qū)域輸出低靈敏度像素信息，并且其中，在輸出圖像的像素值的計(jì)算處理中，像素信息合并單元執(zhí)行加法處理，以針對(duì)從長(zhǎng)曝光區(qū)域輸入的高靈敏度像素信息和從短曝光區(qū)域輸入的低靈敏度像素信息來(lái)設(shè)置與拍攝對(duì)象的亮度相對(duì)應(yīng)的權(quán)重。
另外，關(guān)于本發(fā)明的圖像處理裝置的實(shí)施例，當(dāng)從長(zhǎng)曝光區(qū)域輸入的高靈敏度像素信息等于或大于預(yù)定閾值時(shí)，像素信息合并單元通過(guò)如下計(jì)算處理來(lái)計(jì)算輸出圖像的像素值:該計(jì)算處理將高靈敏度像素信息的權(quán)重設(shè)置為零或小的數(shù)，并且僅使用從短曝光區(qū)域輸入的低靈敏度像素信息或者將其權(quán)重設(shè)置為大的數(shù)。
另外，關(guān)于本發(fā)明的圖像處理裝置的實(shí)施例，當(dāng)從短曝光區(qū)域輸入的低靈敏度像素信息小于預(yù)定閾值時(shí)，像素信息合并單元通過(guò)如下計(jì)算處理來(lái)計(jì)算輸出圖像的像素值:該計(jì)算處理將低靈敏度像素信息的權(quán)重設(shè)置為零或小的數(shù)，并且僅使用從長(zhǎng)曝光區(qū)域輸入的高靈敏度像素信息或者將其權(quán)重設(shè)置為大的數(shù)。
另外，關(guān)于本發(fā)明的圖像處理裝置的實(shí)施例，當(dāng)從短曝光區(qū)域輸入的低靈敏度像素信息等于或大于預(yù)定閾值時(shí)，像素信息合并單元通過(guò)如下計(jì)算處理來(lái)計(jì)算輸出圖像的像素值:該計(jì)算處理將從長(zhǎng)曝光區(qū)域輸入的高靈敏度像素信息的權(quán)重設(shè)置為零或小的數(shù)，并且僅使用從短曝光區(qū)域輸入的低靈敏度像素信息或者將其權(quán)重設(shè)置為大的數(shù)。
另外，關(guān)于本發(fā)明的圖像處理裝置的實(shí)施例，控制單元執(zhí)行曝光時(shí)間控制來(lái)以像素部的兩行為單位設(shè)置長(zhǎng)曝光區(qū)域和短曝光區(qū)域，像素部從長(zhǎng)曝光區(qū)域和短曝光區(qū)域中的每一個(gè)輸出至少一個(gè)或更多個(gè)像素信息，并且像素信息合并單元通過(guò)如下計(jì)算處理來(lái)計(jì)算輸出圖像的一個(gè)像素的像素值:該計(jì)算處理使用自從長(zhǎng)曝光區(qū)域輸入的高靈敏度像素信息和從短曝光區(qū)域輸入的低靈敏度像素信息中的每一個(gè)輸入的至少一個(gè)或更多個(gè)像素信息。
另外，關(guān)于本發(fā)明的圖像處理裝置的實(shí)施例，控制單元通過(guò)以像素部的行為單位的快門控制來(lái)以行為單位執(zhí)行曝光時(shí)間控制。
另外，關(guān)于本發(fā)明的圖像處理裝置的實(shí)施例，控制單元通過(guò)以像素部的顏色為單位的快門控制來(lái)以顏色為單位執(zhí)行曝光時(shí)間控制。
另外，關(guān)于本發(fā)明的圖像處理裝置的實(shí)施例，圖像處理裝置還包括:計(jì)數(shù)器，用于對(duì)與從像素部輸出的長(zhǎng)曝光區(qū)域的高靈敏度像素的像素值相等的數(shù)字值進(jìn)行計(jì)數(shù)；以及輸出選擇單元，用于在由計(jì)數(shù)器計(jì)數(shù)的高靈敏度像素的像素值小于預(yù)定閾值時(shí)，選擇并輸出該高靈敏度像素的像素值作為輸出圖像的計(jì)算像素值，而在由計(jì)數(shù)器計(jì)數(shù)的高靈敏度像素的像素值等于或大于預(yù)定閾值時(shí)，選擇并輸出顏色與該高靈敏度像素相同的、短曝光區(qū)域的低靈敏度像素的像素值作為輸出圖像的計(jì)算像素值。另外，關(guān)于本發(fā)明的圖像處理裝置的實(shí)施例，像素部從長(zhǎng)曝光區(qū)域輸出高靈敏度像素信息，從短曝光區(qū)域輸出低靈敏度像素信息，并且從具有在長(zhǎng)曝光與短曝光之間的曝光時(shí)間的中間曝光區(qū)域輸出中間靈敏度像素信息，并且關(guān)于輸出圖像的像素值的計(jì)算處理，像素信息合并單元通過(guò)執(zhí)行計(jì)算處理以向高靈敏度像素信息、低靈敏度像素信息和中間靈敏度像素信息設(shè)置與拍攝對(duì)象的亮度對(duì)應(yīng)的權(quán)重，來(lái)計(jì)算輸出圖像像素值。另外，關(guān)于本發(fā)明的圖像處理裝置的實(shí)施例，圖像處理裝置還包括灰度轉(zhuǎn)換單元，該灰度轉(zhuǎn)換單元用于執(zhí)行由像素信息合并單元生成的輸出圖像的每個(gè)像素的像素值的比特減少處理。另外，關(guān)于本發(fā)明的圖像處理裝置的實(shí)施例，圖像處理裝置還包括信號(hào)處理單元，該信號(hào)處理單元用于對(duì)從像素信息合并單元生成的輸出圖像執(zhí)行信號(hào)處理。另外，關(guān)于本發(fā)明的圖像處理裝置的實(shí)施例，圖像處理裝置還包括用于對(duì)由像素信息合并單元生成的輸出圖像執(zhí)行編碼處理的編解碼器。另外，關(guān)于本發(fā)明的圖像處理裝置的實(shí)施例，像素部具有下述配置:在該配置中，從至少為3X3像素的像素區(qū)域輸出同一顏色的具有不同曝光時(shí)間的像素信息。另外，關(guān)于本發(fā)明的圖像處理裝置的實(shí)施例，像素部包括貝爾陣列或RGBW陣列。另外，本發(fā)明的第二方面是一種成像裝置，其包括:成像單元，以及圖像處理單元，用于執(zhí)行根據(jù)權(quán)利要求1至16中任一項(xiàng)所述的處理。另外，本發(fā)明的第三方面是一種由圖像處理裝置執(zhí)行的圖像處理方法，包括:控制步驟，其中控制單元執(zhí)行像素或像素區(qū)域單位的曝光時(shí)間控制，像素信息輸出步驟，其中像素部通過(guò)在控制單元的控制下的成像處理來(lái)輸出具有多個(gè)不同曝光時(shí)間的像素信息，以及像素信息合并步驟，其中像素信息合并單元通過(guò)輸入從像素部輸出的具有多個(gè)不同曝光時(shí)間的像素信息并執(zhí)行使用該多個(gè)像素信息的計(jì)算處理，來(lái)計(jì)算輸出圖像的像素值。另外，本發(fā)明的第四方面是一種用于執(zhí)行圖像處理裝置中的圖像處理的程序，包括:控制步驟，其中控制單元執(zhí)行像素或像素區(qū)域單位的曝光時(shí)間控制，像素信息輸出步驟，其中像素部通過(guò)在控制單元的控制下的成像處理來(lái)輸出具有多個(gè)不同曝光時(shí)間的像素信息，以及像素信息合并步驟，其中像素信息合并單元通過(guò)輸入從像素部輸出的多個(gè)不同曝光時(shí)間的像素信息并且執(zhí)行使用該多個(gè)像素信息的計(jì)算處理，來(lái)計(jì)算輸出圖像的像素值。另外，本發(fā)明的程序可以例如經(jīng)由網(wǎng)絡(luò)介質(zhì)或者記錄介質(zhì)來(lái)提供，該記錄介質(zhì)以用于可執(zhí)行各種程序代碼的計(jì)算機(jī)系統(tǒng)或信息處理裝置的計(jì)算機(jī)可讀格式來(lái)提供程序。通過(guò)以計(jì)算機(jī)可讀格式提供這種程序，可在信息處理裝置或計(jì)算機(jī)系統(tǒng)上實(shí)現(xiàn)對(duì)應(yīng)于程序的處理。
將基于附圖和稍后所述的實(shí)施例來(lái)更詳細(xì)地描述本發(fā)明的其他目的、特征和優(yōu)點(diǎn)。另外，本說(shuō)明書中的系統(tǒng)是多個(gè)裝置的邏輯分組配置，并且每個(gè)裝置配置不限于在同一物理裝置內(nèi)。
本發(fā)明的有益效果
根據(jù)本發(fā)明的實(shí)施例的配置，裝置和方法被實(shí)現(xiàn)為基于一幅拍攝圖像來(lái)生成具有寬動(dòng)態(tài)范圍的圖像。具體地，執(zhí)行曝光時(shí)間控制來(lái)以像素部的行為單位或以像素區(qū)域?yàn)閱挝辉O(shè)置不同的曝光時(shí)間，并且獲得多個(gè)不同像素信息，這多個(gè)不同像素信息是具有所設(shè)置的不同曝光時(shí)間的像素的像素值。例如，獲得來(lái)自長(zhǎng)曝光像素的高靈敏度像素信息和來(lái)自短曝光像素的低靈敏度像素信息，并且基于具有這些不同靈敏度的像素信息來(lái)計(jì)算輸出圖像的像素值。例如，高光亮度區(qū)域具有靈敏度像素信息具有飽和值的潛能，因此，關(guān)于低靈敏度像素信息的權(quán)重被設(shè)置為大的數(shù)，此外，低光亮度區(qū)域被估計(jì)為具有SN比差的低靈敏度像素信息，因此，關(guān)于高靈敏度像素信息的權(quán)重被設(shè)置為大的數(shù)以確定輸出像素值。
通過(guò)該處理實(shí)現(xiàn)了基于一幅拍攝圖像來(lái)生成具有寬動(dòng)態(tài)范圍的圖像。


[圖1]圖1是描述通過(guò)對(duì)具有多個(gè)不同的曝光量的圖像進(jìn)行合并來(lái)獲得具有寬動(dòng)態(tài)范圍的圖像的處理的圖。
[圖2]圖2是示出本發(fā)明的圖像處理裝置的配置示例的圖。
[圖3]圖3是描述與本發(fā)明的第一實(shí)施例相關(guān)的圖像處理裝置的處理和成像裝置配置的圖。
[圖4]圖4是描述與本發(fā)明的第一實(shí)施例相關(guān)的圖像處理裝置的像素信息合并處理的具體示例的圖。
[圖5]圖5是描述如下增益控制的圖:該增益控制作為對(duì)高靈敏度像素和低靈敏度像素的亮度與輸出之間的對(duì)應(yīng)關(guān)系以及低靈敏度像素的輸出的調(diào)整處理。
[圖6]圖6是描述與本發(fā)明的第一實(shí)施例相關(guān)的圖像處理裝置的成像裝置中的像素部的曝光時(shí)間控制處理的示例的圖。
[圖7]圖7是描述與本發(fā)明的第一實(shí)施例相關(guān)的圖像處理裝置的成像裝置的像素信息合并單元的輸出像素確定算法的示例的圖。
[圖8]圖8是描述與本發(fā)明的第一實(shí)施例相關(guān)的圖像處理裝置的成像裝置的像素信息合并單元的輸出像素確定算法的示例的圖。
[圖9]圖9是描述與本發(fā)明的第一實(shí)施例相關(guān)的圖像處理裝置的成像裝置的像素信息合并單元的輸出像素確定算法的示例的圖。
[圖10]圖10是描述與本發(fā)明的第一實(shí)施例相關(guān)的圖像處理裝置的成像裝置的像素信息合并單元的輸出像素確定算法的示例的圖。
[圖11]圖11是描述與本發(fā)明的第二實(shí)施例相關(guān)的圖像處理裝置的成像裝置的配置和處理的圖。
[圖12]圖12是描述與本發(fā)明的第二實(shí)施例相關(guān)的圖像處理裝置的成像裝置的輸出選擇單元的配置和處理的圖。[圖13]圖13是示出了如下流程圖的圖:該流程圖描述了與本發(fā)明的第二實(shí)施例相關(guān)的圖像處理裝置的成像裝置中所執(zhí)行的對(duì)于根據(jù)像素信息而合并的圖像的像素值確定序列。[圖14]圖14是描述與本發(fā)明的第三實(shí)施例相關(guān)的圖像處理裝置的成像裝置的配置和處理的圖。[圖15]圖15是描述與本發(fā)明的第三實(shí)施例相關(guān)的圖像處理裝置的成像裝置中所設(shè)置的灰度轉(zhuǎn)換單元所執(zhí)行的處理的具體示例的圖。[圖16]圖16是描述與本發(fā)明的第四實(shí)施例相關(guān)的圖像處理裝置的成像裝置的配置和處理的圖。[圖17]圖17是描述與本發(fā)明的第五實(shí)施例相關(guān)的圖像處理裝置的成像裝置的像素部的配置和曝光控制處理的圖。[圖18]圖18是描述與本發(fā)明的第五實(shí)施例相關(guān)的圖像處理裝置的成像裝置的像素部的曝光控制處理的具體示例的圖。[圖19]圖19是描述與本發(fā)明的第六實(shí)施例相關(guān)的圖像處理裝置的成像裝置的像素部的配置和曝光控制處理的圖。[圖20]圖20是描述與本發(fā)明的第七實(shí)施例相關(guān)的圖像處理裝置的成像裝置的配置和像素信息合并處理的圖。[圖21]圖21是描述與本發(fā)明的第八實(shí)施例相關(guān)的圖像處理裝置的成像裝置的配置的圖。
具體實(shí)施例方式以下將參照附圖描述本發(fā)明的圖像處理裝置、成像裝置、圖像處理方法和程序。將按以下項(xiàng)目順序進(jìn)行描述。1.圖像處理裝置的整體配置示例2.圖像處理裝置的具體配置和處理的實(shí)施例(2-1.第一實(shí)施例)至(2-8.第八實(shí)施例)[1.圖像處理裝置的整體配置示例]首先，將參照?qǐng)D2描述本發(fā)明的圖像處理裝置的整體配置示例。圖2是示出作為本發(fā)明的圖像處理裝置的示例的成像裝置的配置的框圖。通過(guò)光學(xué)透鏡101照射的光照射到由例如CMOS圖像傳感器構(gòu)成的成像裝置102，并且通過(guò)光電轉(zhuǎn)換而作為圖像數(shù)據(jù)被輸出。輸出的圖像數(shù)據(jù)被輸入到信號(hào)處理單元103中。信號(hào)處理單元103執(zhí)行通常在攝像裝置中使用的信號(hào)處理(諸如，白平衡(WB)調(diào)整和伽馬校正)，并且生成輸出圖像120。輸出圖像120被存儲(chǔ)在未示出的存儲(chǔ)單元中。其也可以被輸出到顯示單元?？刂茊卧?05根據(jù)例如存儲(chǔ)在未示出的存儲(chǔ)器中的程序來(lái)將控制信號(hào)輸出到每個(gè)單元，并且執(zhí)行各種處理控制。下文中，將主要關(guān)于成像裝置的配置和處理來(lái)描述多個(gè)實(shí)施例。[2.圖像處理裝置的具體配置和處理的實(shí)施例]
(2-1.第一實(shí)施例)首先，將描述與本發(fā)明的圖像處理裝置的第一實(shí)施例相關(guān)的成像裝置的配置和處理。如圖3所示，第一實(shí)施例的成像裝置102包括像素部201和計(jì)算單元202。像素部201通過(guò)例如由RGB像素構(gòu)成的貝爾陣列的像素陣列的每個(gè)像素的光電轉(zhuǎn)換而輸出與曝光時(shí)間對(duì)應(yīng)的電荷信息。關(guān)于第一實(shí)施例的配置，通過(guò)控制單元105的控制(快門控制)而以像素區(qū)域(例如，行或線)為單位來(lái)以不同曝光時(shí)間設(shè)置像素部201。從被設(shè)置進(jìn)行長(zhǎng)曝光的行輸出與基于長(zhǎng)曝光的累積充電對(duì)應(yīng)的高靈敏度像素信息251。此外，從被設(shè)置進(jìn)行短曝光的行輸出與基于短曝光的累積充電對(duì)應(yīng)的低靈敏度像素信息252。稍后將詳細(xì)描述對(duì)于曝光時(shí)間的控制配置的具體示例。另外，控制單元設(shè)置在成像裝置中，并且成像裝置的處理控制可被配置為通過(guò)成像裝置中的控制單元的控制來(lái)執(zhí)行。計(jì)算單元202輸入從像素部201輸出的高靈敏度像素信息251和低靈敏度像素信息252,包括用于基于輸入的該信息生成一個(gè)圖像信息的像素信息合并單兀211。像素信息合并單元211的輸出被輸入到信號(hào)處理單元103。信號(hào)處理單元103例如執(zhí)行攝像裝置中通常使用的信號(hào)處理(諸如白平衡(WB)調(diào)整和伽馬校正)，并且生成輸出圖像120。輸出圖像120被存儲(chǔ)在未示出的存儲(chǔ)單元中。其也可顯示在顯示單元上。圖4是示出在本發(fā)明的第一實(shí)施例的成像裝置的像素信息合并單元中所執(zhí)行的合并處理的示例的圖。圖4示出了:(a)像素部的拍攝圖像(b)通過(guò)來(lái)自像素信息合并單元的合并處理而生成的輸出圖像。另外，該圖僅示出了(a)和(b)的拍攝圖像和像素信息合并圖像的部分區(qū)域。圖4 (a)中所示的像素部的拍攝圖像是與圖3中的成像裝置102的像素部201的配置對(duì)應(yīng)的圖。根據(jù)本示例，像素部201中的濾色器的陣列是貝爾陣列，并且具有根據(jù)指定陣列來(lái)設(shè)置R、Gb> Gr和B像素的配置。圖3的成像裝置102中的計(jì)算單元202的像素信息合并單元211對(duì)圖4 (a)所示的來(lái)自像素部201的多個(gè)像素信息進(jìn)行合并，生成圖4 (b)所示的像素信息合并圖像，并且將其輸出到下一級(jí)信號(hào)處理單元103。圖4示出了從具有不同靈敏度的總共四個(gè)像素、即兩個(gè)高靈敏度像素和兩個(gè)低靈敏度像素當(dāng)中確定輸出圖像的一個(gè)像素的像素值的處理示例。也就是說(shuō)，根據(jù)本實(shí)施例，像素信息合并單元211基于包括像素部201中所拍攝的圖像的4個(gè)像素來(lái)確定輸出圖像的一個(gè)像素的像素值。通過(guò)該處理來(lái)生成像素部中的像素的1/4的輸出圖像，并輸出該輸出圖像。圖4( b )所示的由像素信息合并單元211生成的輸出圖像的左上部的像素Gb( out)的像素值是基于以下像素的像素值而計(jì)算的:作為圖4 Ca)中所示的拍攝圖像的、像素部201的左上部中的四個(gè)像素，即像素Gb (0，0)、Gb (l，0)、Gb (0，1)和Gb (1，1)。如圖4 (a)中的像素部的拍攝圖像的左側(cè)所示，該拍攝圖像以兩行為單位被交互地設(shè)置為高靈敏度像素區(qū)域和低靈敏度像素區(qū)域。高靈敏度像素區(qū)域是執(zhí)行長(zhǎng)曝光的區(qū)域，以及
低靈敏度像素區(qū)域是執(zhí)行短曝光的區(qū)域。根據(jù)本實(shí)施例的配置，以此方式以像素部201的一行為單位執(zhí)行曝光時(shí)間控制，并且拍攝以兩行為單位交互地設(shè)置有高靈敏度區(qū)域和低靈敏度區(qū)域的圖像。像素信息合并單元211輸入該高靈敏度像素區(qū)域中的像素的像素值和該低靈敏度像素區(qū)域中的像素的像素值，以確定一個(gè)輸出像素的像素值。作為示例，將描述圖4 (b)中的像素信息合并圖像的左上部中的像素Gb (out)的像素值的計(jì)算示例。像素信息合并單元211基于兩個(gè)高靈敏度像素和兩個(gè)低靈敏度像素的像素值來(lái)計(jì)算圖4 (b)中的像素信息合并圖像的左上部中的像素Gb (out)的像素值，這兩個(gè)高靈敏度像素和兩個(gè)低靈敏度像素是圖4 Ca)中的拍攝圖像的左上部中的四個(gè)像素，如下:高靈敏度像素:Gb (0,0)和Gb (1,0)低靈敏度像素:Gb(0,1)和 Gb (1,1)。像素信息合并單元211對(duì)圖4(b)中的像素信息合并圖像的所有像素(S卩，像素Gb(out)、Gr (out)、B (out)和R (ou t))執(zhí)行相同的像素值計(jì)算處理。也就是說(shuō),輸出圖像的這些像素值全部是使用圖4 (a)中的拍攝圖像的兩個(gè)高靈敏度像素和兩個(gè)低靈敏度像素的像素值來(lái)計(jì)算的。然而，當(dāng)計(jì)算一個(gè)輸出像素值時(shí)，四個(gè)輸入像素的像素值的貢獻(xiàn)比率并不是恒定的(分配比率)，并且例如執(zhí)行處理，以確定對(duì)拍攝對(duì)象的亮度的依賴性。稍后將描述該處理。此外，圖4所示的示例示出了以兩行為單位交互地設(shè)置高靈敏度像素區(qū)域和低靈敏度像素區(qū)域的示例，但這僅僅是一個(gè)示例，并且像素區(qū)域的切換單位可被設(shè)置為除了兩行外的值。將使用圖4 (b)所示的Gb (out)的像素值計(jì)算的示例來(lái)描述像素信息合并單元211的像素值計(jì)算處理示例。例如根據(jù)以下表達(dá)式(表達(dá)式I)來(lái)計(jì)算圖4 (b)所示的Gb (out)的像素值。Gb (out) = [Gb (0，0) X a ] + [Gb (1，0) X 3 ] + [Gb (0，I) X (Gain) X y ] + [Gb(l, I) X (Gain) X e ]......(表達(dá)式 I)其中Gb (x，y)是拍攝圖像在坐標(biāo)(x，y)的位置處的像素值，Gain是用于校正靈敏度比率的增益值(預(yù)定值)，以及a、0、Y和e是用于設(shè)置輸入像素的貢獻(xiàn)比率的系數(shù)，并且是滿足a+^ + y+e=l的關(guān)系的系數(shù)。以此方式，像素信息合并單元211從輸入圖像中的、處于與圖4 (b)所示的輸出圖像的像素位置相對(duì)應(yīng)的位置處的多個(gè)像素當(dāng)中，輸入來(lái)自至少包括高靈敏度像素和低靈敏度像素的多個(gè)像素的像素值，并且根據(jù)前述表達(dá)式來(lái)計(jì)算圖4 (b)所示的像素信息合并圖像的每個(gè)像素值。根據(jù)本實(shí)施例，輸入來(lái)自兩個(gè)高靈敏度像素和兩個(gè)低靈敏度像素的像素值，并且根據(jù)前述表達(dá)式來(lái)計(jì)算圖4 (b)中的像素信息合并圖像的每個(gè)像素值。除了 Gb之外，使用前述(表達(dá)式I)來(lái)針對(duì)Gr、R和B執(zhí)行相同的像素值計(jì)算處理。也就是說(shuō)，關(guān)于與像素信息合并圖像的Gr (out)的像素位置相對(duì)應(yīng)的拍攝圖像的像素區(qū)域，使用高靈敏度像素區(qū)域的兩個(gè)Gr像素值和低靈敏度像素區(qū)域的兩個(gè)Gr像素值來(lái)計(jì)算圖4 (b)中的輸出圖像的Gr (out)的像素值。
關(guān)于與像素信息合并圖像的R(out)的像素位置相對(duì)應(yīng)的拍攝圖像的像素區(qū)域，使用高靈敏度像素區(qū)域的兩個(gè)R像素值和低靈敏度像素區(qū)域的兩個(gè)R像素值來(lái)計(jì)算圖4 (b)中的輸出圖像的R (out)的像素值。關(guān)于與像素信息合并圖像的B(OUt)的像素位置相對(duì)應(yīng)的拍攝圖像的像素區(qū)域，使用高靈敏度像素區(qū)域的兩個(gè)B像素值和低靈敏度像素區(qū)域的兩個(gè)B像素值來(lái)計(jì)算圖4 (b)中的輸出圖像的B (out)的像素值。如前述(表達(dá)式I)所示，當(dāng)對(duì)輸出圖像執(zhí)行像素值計(jì)算處理時(shí)，使用根據(jù)系數(shù)α、β、Y和ε而應(yīng)用的平均權(quán)重來(lái)執(zhí)行該處理,其中系數(shù)α、β、γ和ε對(duì)應(yīng)于作為輸入圖像的四個(gè)拍攝圖像的像素值。表達(dá)式中的增益是用于校正靈敏度差異的系數(shù)。例如，當(dāng)?shù)挽`敏度像素與高靈敏度像素之間的靈敏度比率為1:4時(shí)，將四倍的增益應(yīng)用于來(lái)自低靈敏度像素的輸出，并且關(guān)于前述表達(dá)式(表達(dá)式1)，增益被設(shè)置為:Gain=4.0。結(jié)果，維持了對(duì)應(yīng)于亮度的線性，并且可實(shí)現(xiàn)寬動(dòng)態(tài)范圍。圖5是描述增益控制的圖。如圖5所示，當(dāng)?shù)挽`敏度像素與高靈敏度像素之間的靈敏度比率為1:4時(shí)，對(duì)應(yīng)于來(lái)自低靈敏度像素的輸出來(lái)應(yīng)用400%的增益，使得來(lái)自低靈敏度像素的輸出與來(lái)自高靈敏度像素的輸出匹配。

來(lái)自前述(表達(dá)式I)的α、β、Y和ε是如前所述的用于設(shè)置每個(gè)像素的貢獻(xiàn)比率的系數(shù)。這些系數(shù)α、β、γ和ε的值可全部使用對(duì)應(yīng)于輸出像素的顏色(例如，Gb、Gr、B和R)的不同值。此外，這些系數(shù)可被設(shè)置為取決于拍攝對(duì)象的亮度來(lái)更新。例如，存在如下情況:高靈敏度像素的像素值處于與亮拍攝對(duì)象對(duì)應(yīng)的飽和狀態(tài)，即處于最大像素值，因此可能無(wú)法反映正確的像素值。在這種情況下，根據(jù)前述(表達(dá)式1)，例如:α =β =0,因此,沒(méi)有應(yīng)用高靈敏度像素Gb (O, O)和Gb (1,0)的像素值，Y+ε =1，因此，僅應(yīng)用低靈敏度像素Gb (0,1)和Gb (1，I)的像素值來(lái)執(zhí)行計(jì)算輸出像素值的處理。也就是說(shuō)，前述(表達(dá)式I)通過(guò)僅應(yīng)用低靈敏度像素Gb (0，1)和Gb (1，1)的像素值來(lái)計(jì)算輸出像素的像素值Gb (out)，如下:Gb (out) = [Gb (0，O) X α ] + [Gb (1，O) X β ] + [Gb (O, I) X (Gain) X Y ] + [Gb(l, I) X (Gain) Xe]= [Gb (0，I) X (Gain) X Y ] + [Gb(l, I) X (Gain) X ε ]。作為這種處理的結(jié)果，可通過(guò)僅使用低靈敏度像素的有效像素值信息來(lái)設(shè)置輸出像素值，而沒(méi)有收到來(lái)自飽和的高靈敏度像素的像素值的任何影響。例如前述(表達(dá)式I)中的與拍攝對(duì)象的亮度相對(duì)應(yīng)的α、β、γ和ε的設(shè)置值和增益值或者這些值的計(jì)算處理算法應(yīng)該被預(yù)先指定，并且存儲(chǔ)在成像裝置內(nèi)的存儲(chǔ)器中。這也可以被實(shí)現(xiàn)為硬件。像素信息合并單元211通過(guò)例如應(yīng)用存儲(chǔ)在存儲(chǔ)器中的值、硬件或算法并且根據(jù)前述(表達(dá)式I)計(jì)算輸出值(即，像素信息合并圖像的配置像素的像素值)，來(lái)獲取或計(jì)算增益值和系數(shù)α、β、γ和ε。
圖6是描述控制像素部201中的高靈敏度像素區(qū)域和低靈敏度像素區(qū)域的曝光時(shí)間的控制的示例的圖。圖6中的縱軸表示像素部的像素行，而橫軸表示經(jīng)過(guò)的時(shí)間?？v軸的行開(kāi)始于在最上部的像素部的第一行，并且各行從這里按順序向下(行號(hào)=2、3、4、5…)。橫軸的時(shí)間示出根據(jù)在右方向上的行進(jìn)而經(jīng)過(guò)的時(shí)間。圖6示出當(dāng)?shù)挽`敏度像素與高靈敏度像素之間的靈敏度比率為1:4時(shí)高靈敏度像素區(qū)域和低靈敏度像素區(qū)域的曝光時(shí)間的控制處理的示例。根據(jù)本示例，高靈敏度像素的曝光時(shí)間被設(shè)置為低靈敏度像素的曝光時(shí)間的4倍。以行為單位控制電子快門的曝光時(shí)間，以設(shè)置高靈敏度像素區(qū)域和低靈敏度像素區(qū)域。例如，用作圖3中所示的成像裝置102的像素部201的CMOS成像器具有使得能夠以行為單位進(jìn)行電子快門控制的 配置。也就是說(shuō)，該配置使得能夠以行為單位設(shè)置任意曝光時(shí)間。例如，基于對(duì)應(yīng)于成像裝置102的像素部201的、從圖3所示的控制單元105輸出的控制信號(hào)，來(lái)執(zhí)行以行為單位的曝光時(shí)間控制。圖6中所示的曝光時(shí)間控制示例是與如下配置對(duì)應(yīng)的曝光時(shí)間控制示例:在該配置中，以與對(duì)圖4 (a)中的像素部的拍攝圖像的左側(cè)所示的相同的方式，以兩行為單位交互地設(shè)置高靈敏度像素區(qū)域和低靈敏度像素區(qū)域。第I行和第2行是具有長(zhǎng)曝光處理的高靈敏度像素區(qū)域。第3行和第4行是具有短曝光處理的低靈敏度像素處理。也以兩行為單位交互地設(shè)置從第5行以下的行，其中，高靈敏度像素區(qū)域執(zhí)行長(zhǎng)曝光處理，并且低靈敏度像素區(qū)域執(zhí)行短曝光處理。如圖6所示，對(duì)于諸如第I行和第2行、第5行和第6行等的高靈敏度像素區(qū)域，第一行的快門從時(shí)刻tl起啟動(dòng)(曝光開(kāi)始)，并且曝光開(kāi)始從上面的行向下移動(dòng)到下面的行。從時(shí)刻tl起的至右下方的虛線(SI)表示高靈敏度像素行(行號(hào)=1，2，5，6，…)的每一行的快門啟動(dòng)位置(曝光開(kāi)始)。另外，從上面的行向下面的行按順序執(zhí)行快門的打開(kāi)和關(guān)閉操作，因此，延遲了根據(jù)到下面的行的行進(jìn)的處理時(shí)間。由右下方的行來(lái)設(shè)置該影響。對(duì)于諸如第3行和第4行、第7行和第8行等的低靈敏度像素區(qū)域，第三行的快門從時(shí)刻t2起啟動(dòng)(曝光開(kāi)始)，并且曝光開(kāi)始從上面的行向后移動(dòng)到下面的行。從時(shí)刻tl起的至右下方的虛線(S2)表示低靈敏度行(行號(hào)=3，4，7，8，…)的每一行的快門啟動(dòng)位置(曝光開(kāi)始)。另外，從上面的行向下面的行按順序執(zhí)行快門的打開(kāi)和關(guān)閉操作，因此，延遲了根據(jù)到后面的行的行進(jìn)的處理時(shí)間。由右下方的行來(lái)設(shè)置該影響。另外，在圖6的右邊緣的右下方的虛線(El)表示每個(gè)像素中所累積的電荷的讀出起始位置(曝光結(jié)束)。該像素值讀出處理沒(méi)有被分為高靈敏度像素行(1，2，5，6，…)和低靈敏度像素行(3，4，7，8，…)，而是針對(duì)全部行來(lái)執(zhí)行的。從時(shí)刻t3起，第一行的讀出開(kāi)始，并且根據(jù)經(jīng)過(guò)的時(shí)間，對(duì)于第2、3、4、5、6、7、……行以下降的行順序行進(jìn)來(lái)執(zhí)行全部行的像素值(累積電荷)的讀出。也就是說(shuō)，圖6所示的快門控制如下。首先設(shè)置高靈敏度像素行(1，2，5，6，…)的曝光開(kāi)始時(shí)間(tl)。然后設(shè)置低靈敏度像素行(3，4，7，8，…)的曝光開(kāi)始時(shí)間(t2)。
另外，從時(shí)刻t3起，從上面的行連續(xù)地執(zhí)行讀出(曝光結(jié)束)。由于該處理，可將高靈敏度像素行(1，2，5，6，…)的曝光時(shí)間設(shè)置得比低靈敏度像素行(3，4，7，8，…)的曝光時(shí)間長(zhǎng)(對(duì)于本示例為4倍)，并且可基于不同的曝光時(shí)間從每個(gè)像素獲得累積電荷(像素值)。根據(jù)參照?qǐng)D4和圖6所述的本實(shí)施例，每隔兩行改變曝光時(shí)間的長(zhǎng)度。對(duì)于高靈敏度是較長(zhǎng)的曝光時(shí)間，而對(duì)于低靈敏度是較短的曝光時(shí)間。圖7是描述作為圖6所示的曝光控制的結(jié)果而由像素信息合并單元211生成的合并圖像(即，像素信息合并圖像的生成處理)的示例的圖。如參照?qǐng)D4和(表達(dá)式I)所述，如圖3所示的像素信息合并單元211應(yīng)用多個(gè)像素的像素值并確定如圖4 (b)所示的輸出圖像的一個(gè)像素的像素值。像素信息合并單元211基于如下的、作為合并圖像的像素值計(jì)算表達(dá)式的前述表達(dá)式(表達(dá)式I)，根據(jù)拍攝圖像的多個(gè)像素值來(lái)計(jì)算一個(gè)像素的像素值:Gb(out)=[Gb(0，O)Xa]+[Gb(1，O)Xβ]+[Gb(O,I)X(Gain)XY]+[Gb(l,I)X(Gain)Xε]。如前所述，前述表達(dá)式中的系數(shù)α、β、Υ和ε可被設(shè)置為對(duì)應(yīng)于例如拍攝對(duì)象的亮度來(lái)進(jìn)行更新。例如，存在如下情況:高靈敏度像素的像素值處于對(duì)應(yīng)于亮拍攝對(duì)象的飽和狀態(tài)，也就是說(shuō)，處于最大像素值，因此可能無(wú)法反映正確的像素值。在這種情況下，根據(jù)前述(表達(dá)式I)，例如，α=β=0，因此，沒(méi)有應(yīng)用高靈敏度像素Gb (0，0)和Gb (0，1)的像素值，以及Y + ε =1,因此僅應(yīng)用低靈敏度像素Gb (O, I)和Gb (I, I)的像素值來(lái)執(zhí)行計(jì)算輸出像素值的處理。圖7示出了這種處理的三種處理狀態(tài)。也就是說(shuō)，圖7是描述與這些拍攝對(duì)象的成像區(qū)域?qū)?yīng)的合并處理的狀態(tài)的圖:(I)亮拍攝對(duì)象(高靈敏度像素具有飽和值)(2)中間拍攝對(duì)象(高靈敏度像素具有飽和以下的值，并且高靈敏度像素和低靈敏度像素兩者均具有等于或高于預(yù)定容限的SN比)(3)暗拍攝對(duì)象(高靈敏度像素具有飽和以下的值，并且低靈敏度像素具有低于預(yù)定容限的SN比)將描述每種處理狀態(tài)。(I)売拍攝對(duì)象(聞靈敏度像素具有飽和值)如圖7 (I)所示，當(dāng)高靈敏度像素具有飽和值時(shí)，高靈敏度像素的像素值是與在像素部的每個(gè)像素中可累積的最大電荷量對(duì)應(yīng)的最大像素值，并且處于可能無(wú)法反映正確的像素值的狀態(tài)。在這種情況下，高靈敏度像素的像素值沒(méi)有被應(yīng)用于像素信息合并圖像的輸出像素的像素值計(jì)算。根據(jù)該圖7 (I)所示的示例，前述(表達(dá)式I)中的系數(shù)α、β、Υ和ε的設(shè)置被設(shè)置如下。α =β =0,因此,不應(yīng)用高靈敏度像素Gb(0, O)和Gb(l, O)的像素值，以及Y + ε =1,因此僅應(yīng)用低靈敏度像素Gb (0，1)和Gb (1，I)的像素值來(lái)執(zhí)行計(jì)算輸出像素值的處理。也就是說(shuō)，對(duì)于圖4中的Gb (out)的計(jì)算處理，例如:Gb (out) = [Gb (0，O) X α ] + [Gb (1，O) X β ] + [Gb (O, I) X (Gain) X Y ] + [Gb(l, I) X (Gain) Xe]= [Gb (0，I) X (Gain) X Y ] + [Gb(l, I) X (Gain) X ε ]。如前所述，不應(yīng)用高靈敏度像素Gb (0，0)和Gb (1，O)的像素值，因此，僅僅應(yīng)用低靈敏度像素Gb (0，1)和Gb (1，I)的像素值來(lái)計(jì)算像素信息合并圖像的輸出像素值。根據(jù)圖7 (I)所示的示例，α = β =0γ+ε=1。 在滿足上述限制的范圍內(nèi)能夠進(jìn)行各種設(shè)置。作為示例，設(shè)Y+ ε =0.5。通過(guò)這種設(shè)置，可將兩個(gè)低靈敏度像素的平均值設(shè)置為像素信息合并圖像的一個(gè)輸出像素的像素值。(2)中間拍攝對(duì)象(高靈敏度像素具有飽和以下的值，并且高靈敏度像素和低靈敏度像素兩者都具有等于或大于預(yù)定容限的SN比)如圖7(2)所示，對(duì)于具有中等亮度的拍攝對(duì)象，也就是說(shuō)，當(dāng)高靈敏度像素具有飽和以下的值，并且高靈敏度像素和低靈敏度像素兩者均具有等于或大于預(yù)定容限的SN比時(shí)，執(zhí)行以下處理。為了確定針對(duì)高靈敏度像素和低靈敏度像素兩者均反映了正確的像素值，選擇這些像素中的一個(gè)并將其用于設(shè)置像素信息合并圖像的像素值，或者可執(zhí)行全部這些像素的混合處理以計(jì)算像素信息合并圖像的像素值。在這種情況下，前述(表達(dá)式I)中的系數(shù)α、β、Υ、ε被設(shè)置如下。α+β + γ+ ε=1在滿足上述限制的范圍內(nèi)能夠進(jìn)行各種設(shè)置。作為示例,設(shè)α+β + γ+ε =0.25。通過(guò)這種設(shè)置，可將兩個(gè)高靈敏度像素和兩個(gè)低靈敏度像素這總共4個(gè)像素的平均值設(shè)置為像素信息合并圖像的一個(gè)輸出圖像的像素值。(3)暗拍攝對(duì)象(高靈敏度像素具有飽和以下的值，并且低靈敏度像素具有低于預(yù)定容限的SN比)如圖7 (3)所不,對(duì)于暗拍攝對(duì)象,也就是說(shuō)，當(dāng)聞靈敏度像素具有飽和以下的值，并且低靈敏度像素具有低于預(yù)定容限的SN比時(shí)，執(zhí)行以下處理。低靈敏度像素的像素值具有低于預(yù)定容限的SN比，因此，無(wú)法認(rèn)為反映了正確的像素值。在這種情況下，不應(yīng)用低靈敏度像素的像素值，并且僅基于高靈敏度像素的像素值來(lái)計(jì)算像素信息合并圖像的輸出像素值。在這種情況下，前述(表達(dá)式I)中的系數(shù)α、β、Υ、ε被設(shè)置如下。y = ε =0α+β=1也就是說(shuō),對(duì)于圖4中的Gb (out)的計(jì)算處理,例如，Gb (out) = [Gb (0，O) X α ] + [Gb (1，O) X β ] + [Gb (O, I) X (Gain) X Y ] + [Gb(l, I) X (Gain) Xe]=[Gb(0, 0) X a ] + [Gb(l, 0) X β ]如前所述，不應(yīng)用低靈敏度像素Gb (0，1)和Gb (1，I)的像素值，因此，僅應(yīng)用高靈敏度像素Gb (0，0)和Gb (1，O)的像素值來(lái)計(jì)算像素信息合并圖像的輸出像素值。
y + e =0a+￠=1
在滿足上述限制的范圍內(nèi)能夠進(jìn)行各種設(shè)置。作為示例，設(shè)a+3 =0.5。通過(guò)這種設(shè)置，可將兩個(gè)高靈敏度像素的平均值設(shè)置為像素信息合并圖像的一個(gè)輸出像素的像素值。如參照?qǐng)D7所述，當(dāng)確定要生成的像素信息合并圖像的每個(gè)像素值時(shí)，像素信息合并單元211取決于拍攝對(duì)象的亮度而確定是否使用高靈敏度像素和低靈敏度像素中的任一個(gè)或兩者。當(dāng)明亮?xí)r，存在高靈敏度像素飽和(無(wú)效)的情況，并且在這種情況下，優(yōu)選按原樣使用低靈敏度像素信息，但當(dāng)兩種像素信息均有效時(shí)，可在考慮SN比之后確定要使用哪一個(gè)。參照?qǐng)D8描述像素信息合并單元211的處理的具體示例。圖8所示的處理是像素信息合并單元211執(zhí)行的處理的一個(gè)序列示例。根據(jù)圖8所示的示例，通過(guò)以下序列執(zhí)行像素信息合并圖像的像素值計(jì)算。首先，在步驟Sll處，基于垂直方向上的兩個(gè)像素來(lái)計(jì)算中間合并像素值。接下來(lái)，在步驟S12處，將基于垂直方向上的兩個(gè)像素的中間像素值用來(lái)執(zhí)行最終將被輸出的圖像的像素計(jì)算。也就是說(shuō)，在步驟Sll處，僅選擇一個(gè)高靈敏度像素和一個(gè)低靈敏度像素來(lái)計(jì)算中間合并像素值，并且此后，在步驟S12處，基于這些中間合并像素值，針對(duì)最終將被輸出的圖像來(lái)執(zhí)行像素計(jì)算。將參照?qǐng)D9描述當(dāng)執(zhí)行該序列時(shí)與每個(gè)像素的貢獻(xiàn)比率相對(duì)應(yīng)的權(quán)重系數(shù)的設(shè)置示例。圖9 (I)示出了被應(yīng)用于圖8的步驟Sll中的基于垂直方向上的兩個(gè)像素來(lái)計(jì)算中間合并像素值的處理的計(jì)算和系數(shù)的示例。圖9 (2)示出了被應(yīng)用于圖8的步驟S12中的基于兩個(gè)中間合并像素值的最終像素值計(jì)算處理的計(jì)算示例。如圖9 (I)所示，作為圖8的步驟Sll中的基于垂直方向上的兩個(gè)像素的中間合并像素值的計(jì)算處理而執(zhí)行的計(jì)算如下。輸出[Gb(I)] = [Gb (0,0) X ffH] +[Gb (0, I) X (Gain) XffJ.....(表達(dá)式 2)另外，前述(表達(dá)式2)表示關(guān)于之前參照?qǐng)D4所述的像素信息合并圖像的像素值Gb (out)的計(jì)算處理，在圖8的步驟Sll處所執(zhí)行的一個(gè)中間合并像素值[Gb(I)]的計(jì)算表達(dá)式。根據(jù)以下表達(dá)式執(zhí)行又一個(gè)中間合并像素值[Gb(2)]的計(jì)算。輸出[Gb(2)] = [Gb (1,0) XffH]+ [Gb (I, I) X (Gain) XffJ.....(表達(dá)式 3)關(guān)于前述(表達(dá)式2)以及(表達(dá)式3)，Gb (x，y)是拍攝圖像在坐標(biāo)(X，y)的位置處的像素值，Gain是用于校正靈敏度比率的增益值(預(yù)定值)，Wh是與輸入像素的高靈敏度像素相對(duì)應(yīng)的權(quán)重系數(shù)，以及Wl是與輸入像素的低靈敏度像素相對(duì)應(yīng)的權(quán)重系數(shù)，其中，這些系數(shù)滿足％+1=1的關(guān)系。
圖9 (I)示出了輸入像素的與高靈敏度像素相對(duì)應(yīng)的權(quán)重系數(shù)Wh和與低靈敏度像素相對(duì)應(yīng)的權(quán)重系數(shù)I的設(shè)置示例。這里，該設(shè)置將不同的系數(shù)用于低靈敏度像素的像素值。具體地，例如如圖9 (I)所示，使用了系數(shù)的以下設(shè)置。另外，每個(gè)像素的像素值被輸出為10比特的值(0至1023)。以下設(shè)置對(duì)應(yīng)于低靈敏度像素的像素值(數(shù)據(jù))。(a)當(dāng) 0 ≤數(shù)據(jù)〈50 時(shí):ffH=l.0 和 Wl=O(b)當(dāng) 50 ≤數(shù)據(jù) <100 時(shí):ffH=0.5 和 Wl=0.5(c)當(dāng) 100 ≤數(shù)據(jù) <1023 時(shí):ffH=0 和 Wl=L 0該系數(shù)設(shè)置基于以下假設(shè)。(a)當(dāng)0≤數(shù)據(jù)〈50時(shí)以此方式，當(dāng)?shù)挽`敏度像素的像素值(數(shù)據(jù))小時(shí)，拍攝對(duì)象的亮度低，并且假設(shè)低靈敏度像素的像素值的SN比低。在這種情況下，確定低靈敏度像素的像素值(數(shù)據(jù))的可靠性低，并且還假設(shè)附近的高靈敏度像素的像素值并未飽和。在這種情況下，與低靈敏度像素的像素值相對(duì)應(yīng)的權(quán)重系數(shù)\為0’并且與高靈敏度像素的像素值相對(duì)應(yīng)的權(quán)重系數(shù)Wh為1，因此，僅取決于高靈敏度像素的像素值來(lái)計(jì)算關(guān)于中間合并像素值的像素值[Gb(I)]。(b)當(dāng)50≤數(shù)據(jù)〈100時(shí)以此方式，當(dāng)?shù)挽`敏度像素的像素值(數(shù)據(jù))處于中間時(shí)，拍攝對(duì)象的亮度處于中間，并且假設(shè)低靈敏度像素的像素值的SN比良好。在這種情況下，確定低靈敏度像素的像素值(數(shù)據(jù))的可靠性高，并且還假設(shè)附近的高靈敏度像素的像素值并未飽和。在這種情況下，將低靈敏度像素的像素值和高靈敏度像素的像素值混合。也就是說(shuō)，與低靈敏度像素的像素值相對(duì)應(yīng)的權(quán)重系數(shù)W^為0.5，并且與高靈敏度像素的像素值相對(duì)應(yīng)的權(quán)重系數(shù)Wh為
0.5，因此，通過(guò)來(lái)自高靈敏度像素和低靈敏度像素的兩個(gè)像素值的平均來(lái)計(jì)算中間合并像素值的像素值[Gb (I)]。(c)當(dāng) 100 ≤數(shù)據(jù)〈1023 時(shí)以此方式，當(dāng)?shù)挽`敏度像素的像素值(數(shù)據(jù))高時(shí)，拍攝對(duì)象的亮度極其高。在這種情況下，低靈敏度像素的像素值的SN比良好，并且確定低靈敏度像素的像素值(數(shù)據(jù))的可靠性高，但假設(shè)附近的高靈敏度像素的像素值飽和。在這種情況下，與高靈敏度像素的像素值相對(duì)應(yīng)的權(quán)重系數(shù)Wh為0，與低靈敏度像素的像素值相對(duì)應(yīng)的權(quán)重系數(shù)I為1，因此，僅取決于低靈敏度像素的像素值來(lái)計(jì)算中間合并像素值的像素值[Gb(I)]。以此方式，可使用低靈敏度像素信息來(lái)執(zhí)行系數(shù)的設(shè)置。另外，為了簡(jiǎn)化，這里使用了三種類型，但可預(yù)先設(shè)置用于基于低靈敏度像素來(lái)計(jì)算權(quán)重的函數(shù)，并且如圖3所示的像素信息合并單元211可具有如下配置:通過(guò)基于從像素部201輸入的低靈敏度像素信息252來(lái)執(zhí)行應(yīng)用預(yù)先設(shè)置的函數(shù)的計(jì)算，而計(jì)算系數(shù)Wh和Wp圖9 (2)示出了圖8中的步驟S12的處理，也就是說(shuō)，應(yīng)用于基于兩個(gè)中間合并像素值的最終像素值計(jì)算處理的計(jì)算示例。如該圖9 (2)所示，作為圖8的步驟S12中的基于中間合并像素值的最終像素值計(jì)算處理而執(zhí)行的計(jì)算如下。輸出[Gb (out) ] = [Gb (I) X 0.5] + [Gb (2) X0.5].....(表達(dá)式 4)
另外，前述(表達(dá)式4)表示關(guān)于之前參照?qǐng)D4所述的像素信息合并圖像的像素值Gb (out)的計(jì)算處理，圖8的步驟S12中所執(zhí)行的、基于兩個(gè)中間合并像素值的最終像素值計(jì)算處理的計(jì)算表達(dá)式。這里，示出了通過(guò)對(duì)兩個(gè)中間合并像素值的簡(jiǎn)單平均來(lái)執(zhí)行最終像素值計(jì)算的示例。另外，參照?qǐng)D8和圖9所述的關(guān)于像素信息合并圖像的像素值計(jì)算處理示例僅僅是一個(gè)示例，還可以進(jìn)行各種其他處理，諸如在例如設(shè)置權(quán)重系數(shù)期間來(lái)設(shè)置通過(guò)相加而得到的中點(diǎn)的校正方差的系數(shù)。此外，例如，當(dāng)具有參照?qǐng)D2所述的由像素R、Gr、Gb和B構(gòu)成的貝爾陣列或其他像素配置時(shí)，可以單獨(dú)地計(jì)算例如應(yīng)用于像素信息合并圖像的每個(gè)像素的計(jì)算的權(quán)重系數(shù)Wh和I，并且該配置可使用針對(duì)先前處理的鄰近像素已算出的權(quán)重值。參照?qǐng)D10描述已算出的該權(quán)重系數(shù)的使用示例。圖10所示的示例是描述當(dāng)在像素信息合并單元處首先執(zhí)行輸出圖像的Gb像素的計(jì)算并且此后執(zhí)行B像素的計(jì)算時(shí)的處理示例的圖。在圖10中，依據(jù)參照?qǐng)D9 (I)所述的系數(shù)設(shè)置，根據(jù)以下表達(dá)式執(zhí)行中間合并像素值[Gb(I)]和[Gb (2)]的計(jì)算。輸出[Gb(I)] = [Gb (0,0) X Whi+[Gb (0，I) X (Gain) XWlJ輸出[Gb(I)] = [Gb (I, O) X WH2]+ [Gb (1，I) X (Gain) XffL2]根據(jù)參照?qǐng)D9 (I)所述的系數(shù)的設(shè)置狀態(tài)來(lái)設(shè)置輸出[Gb(I)]的計(jì)算表達(dá)式中所不的系數(shù)Whi和Wu。根據(jù)參照?qǐng)D9 (I)所述的系數(shù)的設(shè)置狀態(tài)來(lái)設(shè)置輸出[Gb(2)]的計(jì)算表達(dá)式中所不的系數(shù)Wh2和Wlj2。當(dāng)已算出這些系數(shù)時(shí)，可將用于計(jì)算像素信息合并圖像中的B像素的系數(shù)，即與圖10中所示的像素B (P)和像素B(q)相乘的權(quán)重系數(shù)，配置為是使用在前述[Gb(I)]的計(jì)算表達(dá)式中所使用的系數(shù)Whi和Wu以及在[Gb (2)]的計(jì)算表達(dá)式中所使用的系數(shù)Wh2和來(lái)計(jì)算的，。例如，作為對(duì)應(yīng)于圖8中的步驟Sll的處理，針對(duì)B的中間合并像素B(I)的計(jì)算表達(dá)式如下。輸出[B(I)]= [B(P) XffHb] + [B(q) X (Gain) XffLb]因此，描述了計(jì)算表達(dá)式。例如，該表達(dá)式中所使用的系數(shù)WHb和Wu3被計(jì)算如下。Wsb=(UW112)/2ffLb=(ffL1+ffL2)/2以此方式，將用于向B賦予權(quán)重的系數(shù)可被配置為是基于系數(shù)Gb來(lái)計(jì)算的。結(jié)果，如下處理取決于輸出圖像的每個(gè)像素的顏色而提高高靈敏度像素信息或低靈敏度像素信息的貢獻(xiàn)比率:該處理用于使權(quán)重系數(shù)穩(wěn)定化，而不會(huì)因輸出圖像的每個(gè)像素的顏色而引起大的變化。這與通過(guò)使像素區(qū)域的曝光時(shí)間均勻來(lái)使輸出圖像穩(wěn)定化相聯(lián)系，結(jié)果，這有助于防止由于諸如當(dāng)正拍攝的物理對(duì)象移動(dòng)時(shí)的曝光時(shí)段的變化等而產(chǎn)生假色。
(2-2.第二實(shí)施例)接下來(lái)，作為本發(fā)明的第二實(shí)施例，成像裝置的配置和處理示例將被描述為具有如下配置:其中，在AD轉(zhuǎn)換電路中從多個(gè)像素中選擇一個(gè)像素，并且基于所選擇的像素執(zhí)行輸出圖像的像素值的設(shè)置。圖11是示出與本發(fā)明的第二實(shí)施例相關(guān)的成像裝置300的示例配置的圖。成像裝置300包括如圖所示的像素部301、輸出選擇單元302和計(jì)算單元303。輸出選擇單元302被配置為如圖12所示的與來(lái)自像素部301的每列的輸出像素相對(duì)應(yīng)的各個(gè)輸出選擇單元302a、302b等，并且每個(gè)輸出選擇單元被配置為包括比較器321、計(jì)數(shù)器322和確定單元323。計(jì)算單元303包括像素信息合并單元311。另外，圖像處理裝置(成像裝置)的整體配置類似于第一實(shí)施例，并且具有如之前參照?qǐng)D2所述的配置。盡管圖11中未示出，但是來(lái)自控制單元105的控制信號(hào)被輸入到像素部301、輸出選擇單元302和計(jì)算單元，其中，執(zhí)行各種類型的控制。像素部301的配置和處理類似于第一實(shí)施例，其中以兩行為單位設(shè)置具有長(zhǎng)曝光的高靈敏度像素行和具有短曝光的低靈敏度像素行。曝光處理類似于第一實(shí)施例，其中類似于如之前參照?qǐng)D6所述的那樣執(zhí)行快門控制，因此，以兩行為單位設(shè)置具有長(zhǎng)曝光的高靈敏度像素行和具有短曝光的低靈敏度像素行。然而，根據(jù)本實(shí)施例，曝光后的累積電荷的讀出序列不同于先前的第一實(shí)施例。根據(jù)先前的第一實(shí)施例以及如參照?qǐng)D6所述，從上面開(kāi)始按順序執(zhí)行從第一到第二、第三、第四、第五等各行的讀出。相比之下，根據(jù)第二實(shí)施例并如圖11所示，讀出順序被設(shè)置如下。第一行(高靈敏度像素行)，第三行(低靈敏度像素行)，第二行(高靈敏度像素行)，第四行(低靈敏度像素行)，第五行(高靈敏度像素行)，第七行(低靈敏度像素行)，第六行(高靈敏度像素行)，等等。如前所述，從上面開(kāi)始在高靈敏度像素行與低靈敏度像素行之間交替執(zhí)行讀出處理。這樣，所讀出的像素值(累積電荷)被順序地輸出到輸出選擇單元302的比較器321。比較器321針對(duì)每列來(lái)順序地輸入高靈敏度像素值和低靈敏度像素值。例如，關(guān)于左邊緣列(第一列)，首先輸入作為高靈敏度像素行的第一行中的[Gb(0，0)]，接著輸入作為低靈敏度像素行的第三行中的同一顏色的[Gb(0，I)]。類似地，對(duì)于第二列，輸入作為高靈敏度像素行的第一行中的[B]，接著輸入作為低靈敏度像素行的第三行中的同一顏色的[B].
以此方式，針對(duì)每列，同一顏色的像素值被輸入到比較器321，其中首先輸入高靈敏度像素值、此后輸入低靈敏度像素值。
比較器321基于來(lái)自每個(gè)像素的輸出電荷來(lái)生成數(shù)字?jǐn)?shù)據(jù)，并且將其輸出到計(jì)數(shù)器322。根據(jù)本實(shí)施例，將描述可輸出每個(gè)信號(hào)的10比特(O至1032)的數(shù)字像素值的設(shè)置。像素值=0至1023比較器321將數(shù)字?jǐn)?shù)據(jù)設(shè)置為該范圍內(nèi)的與來(lái)自每個(gè)像素的輸出電荷相對(duì)應(yīng)的關(guān)于每個(gè)像素的值，并將其輸出到計(jì)數(shù)器322。首先，比較器321生成表示高靈敏度像素的像素值的數(shù)字?jǐn)?shù)據(jù)，將其輸出到計(jì)數(shù)器322，并接著將表示同一顏色的低靈敏度像素的像素值的數(shù)字?jǐn)?shù)據(jù)輸出到計(jì)數(shù)器322。首先，計(jì)數(shù)器322對(duì)從比較器321輸入的高靈敏度像素的數(shù)字值進(jìn)行計(jì)數(shù)。確定單元323確定首先從比較器321輸入的高靈敏度像素的數(shù)字值是否等于或大于512，512是10比特的數(shù)(O至1032)的值的一半。當(dāng)高靈敏度像素的數(shù)字值等于或大于512時(shí)，高靈敏度像素信息、即表示高靈敏度像素的像素值的數(shù)字?jǐn)?shù)據(jù)被放棄(被初始化)。接下來(lái)，讀出低靈敏度像素值，并且將低靈敏度像素的像素信息作為數(shù)字值輸入到計(jì)數(shù)器322。然后，輸出該數(shù)字值。相比之下，如果高靈敏度像素的數(shù)字值小于512，則計(jì)數(shù)器322按原樣保存高靈敏度像素信息，并且將其設(shè)置為不利用低靈敏度像素信息來(lái)重寫。當(dāng)對(duì)于該處理，高靈敏度像素的數(shù)字值等于或大于512時(shí)，存在高靈敏度像素飽和的潛能，并且由于低靈敏度像素信息還被確定為良好，因此放棄高靈敏度像素信息，并且將低靈敏度像素信息輸入到計(jì)數(shù)器322。相反，當(dāng)高靈敏度像素的數(shù)字值小于512時(shí)，不存在高靈敏度像素飽和的潛能，并且由于低靈敏度像素信息還被確定為較差，因此將高靈敏度像素信息按原樣保存在計(jì)數(shù)器322 中。另外，如前所述，已將用于確定選擇哪個(gè)值的確定閾值描述為像素值的一半，但可根據(jù)成像裝置的特性等來(lái)確定該閾值。以此方式，通過(guò)作為AD轉(zhuǎn)換電路單元中所配置的輸出選擇單元的比較器321、計(jì)數(shù)器322和確定單元323來(lái)執(zhí)行對(duì)像素信息的選擇，此后，類似于前述第一實(shí)施例(圖8中的步驟S12的處理)，對(duì)水平方向上的像素信息進(jìn)行合并，并且輸出一個(gè)圖像信息。另外，可在成像元件內(nèi)執(zhí)行垂直方向上的選擇，或者可通過(guò)成像元件外部的LSI來(lái)處理垂直方向。圖13所示的流程圖描述了與圖11所示的本發(fā)明的第二實(shí)施例相關(guān)的成像裝置300的像素值選擇處理的序列。首先，在步驟SlOl處，比較器321生成從像素部301讀出的高靈敏度像素的像素值的數(shù)字?jǐn)?shù)據(jù)。另外，圖13所示的流程被描述為Gb像素的讀出處理的示例。在步驟S102處，計(jì)數(shù)器322對(duì)從比較器321輸入的高靈敏度像素的像素值的數(shù)字?jǐn)?shù)據(jù)進(jìn)行計(jì)數(shù)，并且確定其是否小于作為10比特的值(O至1023)的一半的512。當(dāng)高靈敏度像素的像素值的數(shù)字?jǐn)?shù)據(jù)小于512時(shí)，處理進(jìn)行到步驟S103，反之，當(dāng)該數(shù)字?jǐn)?shù)據(jù)等于或大于512時(shí)，處理進(jìn)行到步驟S105。當(dāng)高靈敏度像素的像素值的數(shù)字?jǐn)?shù)據(jù)小于512時(shí)，處理進(jìn)行到步驟S103，保存高靈敏度像素的像素值的數(shù)字?jǐn)?shù)據(jù)，并且將其設(shè)置為不利用作為下一輸入值的、與同一顏色的低靈敏度像素的像素值相對(duì)應(yīng)的數(shù)據(jù)來(lái)重寫。
接下來(lái)，處理進(jìn)行到步驟S104，并且輸出高靈敏度像素的像素值的數(shù)字值。反之，在步驟S102處，當(dāng)高靈敏度像素的像素值的數(shù)字?jǐn)?shù)據(jù)等于或大于512時(shí)，處理進(jìn)行到步驟S105，丟棄與高靈敏度像素的像素值相對(duì)應(yīng)的數(shù)據(jù)，并且保存作為下一輸入值的、與同一顏色的低靈敏度像素的像素值相對(duì)應(yīng)的數(shù)字值。接下來(lái)，處理進(jìn)行到步驟S106，并且輸出低靈敏度像素的像素值的數(shù)字值。以此方式，根據(jù)本實(shí)施例，從像素部讀出同一顏色的高靈敏度像素的像素值和低靈敏度像素的像素值，如果首先讀出的高靈敏度像素的像素值小于指定閾值(例如，為最大值的一半的值)，則選擇并輸出高靈敏度像素的像素值，而如果首先讀出的高靈敏度像素的像素值等于或大于指定閾值(例如，為最大值的一半的值)，則選擇并輸出低靈敏度像素的像素值。作為該處理的結(jié)果，針對(duì)亮像素區(qū)域來(lái)選擇并輸出低靈敏度像素的像素值，針對(duì)相對(duì)暗的像素區(qū)域來(lái)選擇并輸出高靈敏度像素的像素值，丟棄飽和像素值以及具有差的SN比的像素值，因此，可選擇具有高準(zhǔn)確度的像素值，并可確定輸出像素的像素值。(2-3.第三實(shí)施例)接下來(lái)，作為本發(fā)明的第三實(shí)施例，將參照?qǐng)D14描述在像素信息合并單元之后的灰度轉(zhuǎn)換單元的配置。圖14是示出與第三實(shí)施例相關(guān)的成像裝置400的配置的圖。圖14所示的配置具有灰度轉(zhuǎn)換單元412，該灰度轉(zhuǎn)換單元412設(shè)置在先前被描述為第一實(shí)施例的圖3所示的成像裝置的下游側(cè)。其他配置與如圖3所示的第一實(shí)施例的配置相同。另外，圖像處理裝置(成像裝置)的整體配置類似于第一實(shí)施例，并且具有之前參照?qǐng)D2所述的配置。關(guān)于圖14所示的成像裝置400，像素部401包括例如之前參照第一實(shí)施例的圖4所述的RGbGrB像素的貝爾陣列，并且在控制單元105的控制下，以兩行為單位執(zhí)行長(zhǎng)曝光和短曝光。依據(jù)根據(jù)第一實(shí)施例的圖6所示的序列來(lái)執(zhí)行曝光序列。通過(guò)來(lái)自控制單元105的控制(快門控制)來(lái)以像素區(qū)域?yàn)閱挝?例如以行(或線)為單位)將像素部401設(shè)置成不同的曝光時(shí)間，輸出高靈敏度像素信息451，該高靈敏度像素信息451是來(lái)自具有長(zhǎng)曝光的行的基于長(zhǎng)曝光的累積電荷。此外，輸出低靈敏度像素信息452,低靈敏度像素信息452是來(lái)自具有短曝光的行的基于短曝光的累積電荷。計(jì)算單元402輸入從像素部401輸出的高靈敏度像素信息451和低靈敏度像素信息，并且基于該輸入信息來(lái)在像素信息合并單元411處生成像素信息合并圖像。以與參照第一實(shí)施例的圖4以及圖7至圖10所述的合并處理相同的方式來(lái)執(zhí)行該合并處理。也就是說(shuō)，輸入同一顏色的高靈敏度像素信息和低靈敏度像素信息，并且應(yīng)用前述(表達(dá)式I)或者(表達(dá)式2)至(表達(dá)式4)來(lái)執(zhí)行像素信息合并圖像的像素值計(jì)算和生成像素信息合并圖像。根據(jù)第三實(shí)施例，灰度轉(zhuǎn)換單元412設(shè)置在該像素信息合并單元411之后?；叶绒D(zhuǎn)換單元412對(duì)像素信息合并單元411所生成的像素信息合并圖像(例如圖4 (b))的每個(gè)像素的像素值的灰度進(jìn)行轉(zhuǎn)換。具體地，當(dāng)像素信息合并單元411生成的像素信息合并圖像的每個(gè)像素的像素值具有14比特(0至16383)的灰度時(shí)，執(zhí)行處理，以將每個(gè)像素的像素值的灰度轉(zhuǎn)換為10比特(0至1023)并將其輸出。也就是說(shuō)，在減小每個(gè)像素的比特計(jì)數(shù)之后生成并輸出圖像。
通過(guò)長(zhǎng)曝光圖像與短曝光圖像的合并而生成的具有寬動(dòng)態(tài)范圍的圖像趨向于增加每個(gè)像素的信息的比特計(jì)數(shù)。例如，對(duì)于以10比特正常操作的成像元件，當(dāng)在內(nèi)部增加16倍的靈敏度比率并且生成具有16倍大的值的寬動(dòng)態(tài)范圍的圖像時(shí)，該值變?yōu)?4比特的數(shù)。存在如下情況:具有以此方式增加的比特計(jì)數(shù)的圖像可能不能被作為下游信號(hào)處理單元的DSP來(lái)處理。為了防止這種情況，灰度轉(zhuǎn)換單元412執(zhí)行灰度轉(zhuǎn)換處理，以將每個(gè)像素的比特計(jì)數(shù)壓縮為可被作為下游信號(hào)處理單元的DSP所處理的比特水平。將參照?qǐng)D15描述由灰度轉(zhuǎn)換單元412執(zhí)行的比特計(jì)數(shù)壓縮處理的示例。在圖15中，橫軸表示灰度轉(zhuǎn)換單元412的輸入圖像的每個(gè)像素的灰度[14比特(O至16383)]，并且縱軸表示來(lái)自灰度轉(zhuǎn)換單元412的輸出圖像的每個(gè)像素的灰度[10比特(O至1023)]。以此方式，灰度轉(zhuǎn)換單元412執(zhí)行處理，以將位計(jì)數(shù)減小為小于像素信息合并單元411輸出的多灰度像素值的位計(jì)數(shù)小。將該灰度轉(zhuǎn)換之后的圖像數(shù)據(jù)(例如，由每個(gè)像素的10比特的數(shù)據(jù)構(gòu)成的圖像)提供到下游信號(hào)處理單元103 (DSP)使得能夠毫無(wú)問(wèn)題地在信號(hào)處理單元103 (DSP)處進(jìn)行處理。另外，由灰度轉(zhuǎn)換單元412執(zhí)行的比特計(jì)數(shù)壓縮處理使用例如用于減少比特計(jì)數(shù)的函數(shù)?？梢灶A(yù)先確定該函數(shù)，或者可從外部裝置輸入對(duì)應(yīng)于圖像的函數(shù)或者可在內(nèi)部計(jì)算對(duì)應(yīng)于圖像的函數(shù)。(2-4.第四實(shí)施例)接下來(lái)，作為本發(fā)明的第四實(shí)施例，將參照?qǐng)D16來(lái)描述如下的實(shí)施例，其中，在根據(jù)第三實(shí)施例的灰度轉(zhuǎn)換單元之后，設(shè)置用于執(zhí)行諸如去馬賽克和降噪(NR)的攝像裝置信號(hào)處理的信號(hào)處理單元以及用于執(zhí)行圖像壓縮處理(JPEG等)的編解碼器。圖16是示出與第四實(shí)施例相關(guān)的成像裝置500的配置的圖。圖16所示的配置在根據(jù)圖3所示的第三實(shí)施例成像裝置的灰度轉(zhuǎn)換單元之后設(shè)置了用于執(zhí)行諸如去馬賽克和降噪(NR)的攝像裝置信號(hào)處理的信號(hào)處理單元513以及用于執(zhí)行圖像壓縮處理(JPEG等)的編解碼器514。另外，類似于第一實(shí)施例的配置，圖像處理裝置(成像裝置)的整體配置具有之前參照?qǐng)D2所述的配置，或者配置具有已從圖2的配置中省略的信號(hào)處理單元103。當(dāng)圖16中的信號(hào)處理單元513執(zhí)行圖2的配置中的信號(hào)處理單元103所執(zhí)行的全部處理時(shí)，可以省略下游信號(hào)處理單元103。當(dāng)在不同信號(hào)處理單元處執(zhí)行不同處理時(shí)，該配置可包括兩個(gè)信號(hào)處理單元。關(guān)于圖16所示的成像裝置500，像素部500例如包括如之前參照第一實(shí)施例的圖4所述的由R、Gb、Gr和B像素構(gòu)成的貝爾陣列，并且在控制單元520的控制下，以兩行為單位執(zhí)行長(zhǎng)曝光和短曝光。依據(jù)根據(jù)第一實(shí)施例的圖6所示的序列來(lái)執(zhí)行曝光序列。根據(jù)本實(shí)施例，所示的示例具有設(shè)置在成像裝置中的控制單元520。通過(guò)來(lái)自控制單元520的控制(快門控制)，以像素區(qū)域單位(例如，以行(或線)為單位)將像素部501設(shè)置為不同曝光時(shí)間。從具有長(zhǎng)曝光的行輸出作為基于長(zhǎng)曝光的累積電荷的高靈敏度像素信息551。此外，從具有短曝光的行輸出作為基于短曝光的累積電荷的低靈敏度像素信息552。計(jì)算單元502輸入從像素部501輸出的高靈敏度像素信息551和低靈敏度像素信息552，并且基于該輸入信息，在像素信息合并單元511處生成像素信息合并圖像。以與參照第一實(shí)施例的圖4以及圖7至圖10所述的合并處理相同的方式來(lái)執(zhí)行該合并處理。也就是說(shuō)，輸入同一顏色的高靈敏度像素信息和低靈敏度像素信息，并且應(yīng)用前述(表達(dá)式I)或者(表達(dá)式2)至(表達(dá)式4)來(lái)執(zhí)行像素信息合并圖像的像素值計(jì)算和生成像素信息合并圖像。根據(jù)第四實(shí)施例，在像素信息合并單元511之后設(shè)置了根據(jù)第三實(shí)施例的灰度轉(zhuǎn)換單元512、用于執(zhí)行諸如去馬賽克和降噪(NR)的攝像裝置信號(hào)處理的信號(hào)處理單元513、以及用于執(zhí)行圖像壓縮處理(JPEG等)的編解碼器514。通過(guò)實(shí)現(xiàn)這些種類的功能，可省略在成像元件下游的信號(hào)處理單元，或者替選地，可簡(jiǎn)化在成像元件下游的信號(hào)處理單元。(2-5.第五實(shí)施例)接下來(lái)，作為本發(fā)明的第五實(shí)施例，將描述成像裝置中的像素部的曝光控制的新實(shí)施例。根據(jù)之前參照?qǐng)D4所述的第一實(shí)施例，該配置設(shè)置了用于以像素部的兩行為單位來(lái)執(zhí)行長(zhǎng)曝光處理的高靈敏度像素區(qū)域、以及用于以像素部的兩行為單位來(lái)執(zhí)行短曝光處理的低靈敏度像素區(qū)域。也就是說(shuō)，創(chuàng)建了一種設(shè)置，以針對(duì)每行只對(duì)長(zhǎng)曝光或短曝光中的一種來(lái)單獨(dú)地執(zhí)行曝光處理。第五實(shí)施例是如下配置:其使得能夠基于控制信號(hào)來(lái)針對(duì)每行以顏色信號(hào)(R、Gr、Gb和B)為單位來(lái)設(shè)置長(zhǎng)曝光處理或短曝光處理，而沒(méi)有設(shè)置以這些行為單位被固定的曝光時(shí)間。圖17示出了與本實(shí)施例相關(guān)的成像裝置的像素部的配置示例。如圖17所示，像素部的配置像素(R、Gr, Gb和B)中的每一個(gè)通過(guò)兩條控制線連接。這些線表示控制信號(hào)A和控制信號(hào)B的每條線。這些控制信號(hào)是從控制單元輸入的控制信號(hào)，并且如圖17所示，對(duì)于第一、第三、第五和所有奇數(shù)行，控制信號(hào)Al、A3、A5等連接到Gb像素，以及控制信號(hào)B1、B3、B5等連接到B像素。此外，對(duì)于第二、第四、第六和所有偶數(shù)行，控制信號(hào)A2、A4、A6等連接到R像素，以及控制信號(hào)B2、B4、B6等連接到Gr像素。以此方式，該配置將控制線用作針對(duì)僅一種顏色的顏色信號(hào)。另外，在非專利文獻(xiàn)〃ISSCC2006Dig.Tech.Papers, pp.492-493(2)〃 中描述了這種對(duì)應(yīng)于顏色的控制信號(hào)連接配置，并且通過(guò)使用在該文獻(xiàn)中所描述的配置，使得能夠?qū)崿F(xiàn)通過(guò)控制信號(hào)而進(jìn)行的對(duì)應(yīng)于每個(gè)像素的控制。根據(jù)第五實(shí)施例，利用對(duì)應(yīng)于每種顏色的控制信號(hào)來(lái)對(duì)應(yīng)于每種顏色而執(zhí)行曝光時(shí)間控制。圖17中所示的控制信號(hào)Al至An以及BI至Bn中的任一個(gè)可被設(shè)置為控制單元105 (參照?qǐng)D3)處的可選控制信號(hào)，這使得能夠設(shè)置各種曝光時(shí)間。具體地，(I)用于針對(duì)長(zhǎng)曝光控制來(lái)開(kāi)始曝光和停止曝光(讀出開(kāi)始)的定時(shí)控制信號(hào)，
(2)用于針對(duì)短曝光控制來(lái)開(kāi)始曝光和停止曝光(讀出開(kāi)始)的定時(shí)控制信號(hào)，這些控制信號(hào)中的任一個(gè)可被設(shè)置為控制信號(hào)Al至An和BI至Bn。此外，該設(shè)置不限于長(zhǎng)曝光和短曝光這兩種曝光時(shí)間，因此可以顏色為單位改變曝光時(shí)間。也就是說(shuō)，使得能夠以像素部的每個(gè)顏色為單位進(jìn)行控制，并且可以針對(duì)每種顏色選擇最佳靈敏度來(lái)生成輸出圖像。將參照?qǐng)D18描述曝光時(shí)間控制的具體示例。圖18是與之前參照第一實(shí)施例的圖6所述的曝光時(shí)間控制示例相對(duì)應(yīng)的圖?？v軸表示像素部的像素行，而橫軸表示經(jīng)過(guò)的時(shí)間?？v軸的行以像素部的第一行開(kāi)始于上面，并按順序下降至下面的行(行號(hào)=2，3，4，5，…)。根據(jù)參照?qǐng)D6所述的示例，I至2行、5至6行、9至10行等被設(shè)置為高靈敏度像素區(qū)域以接收長(zhǎng)曝光處理，以及3至4行、7至8行、11至12行等被設(shè)置為低靈敏度像素區(qū)域以接收短曝光處理，以及一行中所包括的像素全部以相同曝光時(shí)間設(shè)置。相比之下，根據(jù)本實(shí)施例，可以每種顏色R、Gr、Gb和B為單位設(shè)置不同曝光時(shí)間控制。在圖18中示出具體示例。

在圖18所示的示例中，為Gb和R設(shè)置第一長(zhǎng)曝光時(shí)間和第一短曝光時(shí)間，以及為Gr和B設(shè)置第二短曝光時(shí)間，因此，為Gb和R設(shè)置的長(zhǎng)曝光時(shí)間和短曝光時(shí)間不同于為Gr和B設(shè)置的長(zhǎng)曝光時(shí)間和短曝光時(shí)間。另外，在圖18中，設(shè)置顏色對(duì)Gb和R以及顏色對(duì)Gr和B，并且單個(gè)對(duì)是具有相同曝光時(shí)間的兩種顏色的組合，但長(zhǎng)曝光時(shí)間和短曝光時(shí)間的設(shè)置對(duì)于每個(gè)顏色R、Gr、Gb和B可以是不同的。以此方式，通過(guò)應(yīng)用本實(shí)施例，使得能夠以像素部中的每種顏色為單位進(jìn)行控制，并且可以針對(duì)每種顏色選擇最佳靈敏度來(lái)生成輸出圖像。(2-6.第六實(shí)施例)接下來(lái)，作為本發(fā)明的第六實(shí)施例，將描述成像裝置中的像素部的新配置示例。圖19示出了第六實(shí)施例的成像裝置中的像素部的配置示例。圖19所示的像素陣列(陣列結(jié)構(gòu))是旋轉(zhuǎn)了 45度的、參照第一實(shí)施例的圖4 (a)所述的像素部的陣列。對(duì)應(yīng)于圖19所示的陣列來(lái)以行為單位執(zhí)行曝光時(shí)間控制。如圖19所示，第一行以Gb像素和Gr像素構(gòu)成，第二行以B像素和R像素構(gòu)成，并且對(duì)于向下的第三行、第四行、第五行等，重復(fù)這個(gè)模式，在該模式中，以Gb像素和Gr像素構(gòu)成的各行與以B像素和R像素構(gòu)成的各行交替。如果對(duì)應(yīng)于圖19所示的像素陣列以行為單位執(zhí)行曝光控制，則可以以前述的顏色像素對(duì)為單位執(zhí)行曝光時(shí)間控制，這是對(duì)Gb與Gr的分組以及對(duì)B與R的分組。(2-7.第七實(shí)施例)
接下來(lái)，作為本發(fā)明的第七實(shí)施例，將描述由成像裝置的像素信息合并單元進(jìn)行的曝光控制和合并處理的變型示例。圖20示出了第七實(shí)施例的成像裝置的曝光控制和合并處理的示例。圖20類似于前述第一實(shí)施例的圖4，并且示出了(a)像素部的拍攝圖像，以及(b)通過(guò)像素信息合并單元進(jìn)行的合并處理而生成的輸出圖像。另外，(a)和(b)兩者都是僅示出拍攝圖像或像素信息合并圖像的部分區(qū)域的圖。根據(jù)先前的第一實(shí)施例，該配置以像素部的兩行為單位而設(shè)置了執(zhí)行長(zhǎng)曝光處理的高靈敏度像素區(qū)域以及執(zhí)行短曝光處理的低靈敏度像素區(qū)域。根據(jù)該第七實(shí)施例以及如圖20 (a)所示，第一至第二行是執(zhí)行長(zhǎng)曝光的高靈敏度像素區(qū)域，第三至第四行是執(zhí)行中等曝光的中等靈敏度像素區(qū)域，第五至第六行是執(zhí)行短曝光的低靈敏度像素區(qū)域，同樣，對(duì)于接下來(lái)的行，該配置以兩行為單位重復(fù)高靈敏度像素區(qū)域、中等靈敏度像素區(qū)域和低靈敏度像素區(qū)域。本實(shí)施例的成像裝置配置與第一實(shí)施例的成像裝置配置相同，并且包括圖3所示的配置。像素信息合并單元輸入同一顏色的高靈敏度像素、中等靈敏度像素和低靈敏度像素的每種類型的像素中的三個(gè)，并且基于這9個(gè)像素的總像素值來(lái)確定像素信息合并圖像的一個(gè)輸出像素的像素值。例如，如圖20所示，當(dāng)確定圖20 (b)中的像素信息合并圖像的一個(gè)像素Gb (out)的像素值時(shí)，輸入像素值如下。(I)高靈敏度像素:Gb (0,0)、Gb (1,0)、Gb (2,0)(2)中等靈敏度像素:Gb (0, l)、Gb(l，I)、Gb (2，I)(3)低靈敏度像素:Gb (0,2)、Gb (1,2)、Gb (2，2)像素信息合并單元基于這9個(gè)像素的像素值，計(jì)算像素信息合并圖像的一個(gè)像素的像素值Gb (out)。像素信息合并單元例如根據(jù)以下表達(dá)式(表達(dá)式I)來(lái)計(jì)算圖20 (b)所示的Gb(out)的像素值。Gb (out) = [Gb (0，0) X kl] + [Gb (1，0) X k2] + [Gb (2，0) X k3] + [Gb (0，I) X (Gainl) Xk4] + [Gb(l, I) X (Gainl) Xk5] + [Gb(2, I) X (Gainl) Xk6] + [Gb (0, 2) X (Gain2) Xk7] + [Gb(
I,2) X (Gain2) X k8] + [Gb (2，2) X (Gain2) Xk9].....(表達(dá)式 5)其中，Gb (x，y)是拍攝圖像在坐標(biāo)(x，y)的位置處的像素值，Gainl和Gain2是用于補(bǔ)償靈敏度比率的增益值(預(yù)定值)，kl至k9是用于設(shè)置輸入像素的貢獻(xiàn)比率的系數(shù)，并且是滿足kl+k2+k3+k4+k5+k6+k7+k8+k9=l 的關(guān)系的系數(shù)。另外，例如可通過(guò)如下處理來(lái)執(zhí)行系數(shù)kl至k9的設(shè)置:該處理用于設(shè)置與拍攝對(duì)象的亮度相對(duì)應(yīng)的設(shè)置值。根據(jù)本實(shí)施例，該配置使用包括拍攝圖像中所包括的高靈敏度像素、中等靈敏度像素和低靈敏度像素的九個(gè)像素的像素值，來(lái)執(zhí)行針對(duì)像素信息合并圖像的一個(gè)像素的像素值的計(jì)算處理。通過(guò)使用具有三種靈敏度水平的像素值，可計(jì)算例如對(duì)應(yīng)于亮度的最佳像素值。(2-8.第八實(shí)施例)接下來(lái)，作為本發(fā)明的第八實(shí)施例，將描述成像裝置中的像素部的變型示例。根據(jù)第一實(shí)施例以及如之前參照?qǐng)D4所述，使用由R、Gr、Gb和B像素構(gòu)成的貝爾陣列描述了示例配置。本發(fā)明的圖像處理裝置也可支持如下配置:該配置包括由不同于該貝爾陣列的陣列所形成的像素部。圖21示出了這樣的像素陣列的示例。圖21所示的像素陣列是RGBW像素的像素陣列。這里，W表示透明(白色)。當(dāng)對(duì)圖像執(zhí)行合并處理時(shí)，關(guān)于W像素和G像素，與參照?qǐng)D4的先前描述類似，輸入高靈敏度像素和低靈敏度像素各自兩個(gè)的總共四個(gè)像素，針對(duì)這些像素根據(jù)前述(表達(dá)式I)執(zhí)行計(jì)算。然而，如圖21所示的3X3像素區(qū)域中的R像素和B像素僅包括高靈敏度像素和低靈敏度像素的每種像素中的一個(gè)，因此，基于一個(gè)高靈敏度像素和一個(gè)低靈敏度像素的像素值來(lái)計(jì)算圖像信息合并圖像的輸出像素值。即使當(dāng)執(zhí)行與本實(shí)施例相關(guān)的、應(yīng)用于RGBW陣列的像素信息合并處理時(shí)，也輸入高靈敏度像素和低靈敏度像素各自的至少一個(gè)像素，并且通過(guò)應(yīng)用具有這些不同靈敏度的像素值來(lái)確定像素信息合并圖像的像素值。例如，當(dāng)拍攝對(duì)象亮且高靈敏度像素飽和時(shí)，將低靈敏度像素的像素值用于確定像素信息合并圖像的像素值，并且當(dāng)拍攝對(duì)象暗并且低靈敏度像素的像素值的SN比差時(shí)，執(zhí)行諸如使用高靈敏度像素的像素值、設(shè)置大的權(quán)重、以及執(zhí)行混合等的處理。作為這種處理的結(jié)果，可生成并輸出具有已以更高準(zhǔn)確度設(shè)置了像素值的寬動(dòng)態(tài)范圍的圖像。參照具體實(shí)施例詳細(xì)描述了本技術(shù)。然而，明顯的是，在不脫離本發(fā)明的本質(zhì)的情況下，本領(lǐng)域技術(shù)人員可對(duì)實(shí)施例進(jìn)行變型或替代。也就是說(shuō)，這些實(shí)施例是用于公開(kāi)本發(fā)明的示例，并且不應(yīng)被解釋為限制性的。為了確定本發(fā)明的本質(zhì)，應(yīng)該參考權(quán)利要求部分。此外，在整篇說(shuō)明書中所述的系列處理可由硬件、軟件或兩者的組合配置來(lái)執(zhí)行。當(dāng)由軟件來(lái)執(zhí)行處理時(shí)，已記錄有處理序列的程序可以被安裝到由專用硬件構(gòu)成的計(jì)算機(jī)中的存儲(chǔ)器并在該存儲(chǔ)器處執(zhí)行，或者可以是安裝到可執(zhí)行各種處理的通用計(jì)算機(jī)并由該通用計(jì)算機(jī)執(zhí)行的程序。例如，程序可預(yù)先記錄在記錄介質(zhì)上。除了從記錄介質(zhì)安裝到計(jì)算機(jī)上之外，程序可以經(jīng)由諸如LAN (局域網(wǎng))或互聯(lián)網(wǎng)的網(wǎng)絡(luò)來(lái)接收，并且可以安裝到諸如內(nèi)部硬盤的記錄介質(zhì)。另外，在該說(shuō)明書中所述的各種處理不限于按根據(jù)說(shuō)明書的序列順序執(zhí)行，該處理可以按期望或者對(duì)應(yīng)于執(zhí)行處理的裝置的處理能力來(lái)并行執(zhí)行，或者可單獨(dú)地執(zhí)行。此夕卜，本說(shuō)明書中的系統(tǒng)是多個(gè)裝置的邏輯分組配置，并且每種配置的裝置不限于同一物理殼體。工業(yè)應(yīng)用性根據(jù)本發(fā)明的第一實(shí)施例的配置以及如前所述，裝置和方法被實(shí)現(xiàn)為基于一幅拍攝圖像來(lái)生成具有寬動(dòng)態(tài)范圍的圖像。具體地，執(zhí)行曝光時(shí)間控制，其中，以像素部的行為單位、以像素區(qū)域?yàn)閱挝辉O(shè)置不同曝光時(shí)間，并且獲得多個(gè)不同像素信息，這多個(gè)不同像素信息是以不同曝光來(lái)設(shè)置的像素的像素值。例如，從長(zhǎng)曝光像素獲得高靈敏度像素信息，并從短曝光像素獲得低靈敏度像素信息，并且基于具有這些不同靈敏度的像素信息來(lái)計(jì)算輸出圖像的像素值。例如，對(duì)于高光亮度區(qū)域，靈敏度像素信息可能具有飽和值，因此，對(duì)低靈敏度像素信息設(shè)置大的權(quán)重，此外，對(duì)于低光亮度區(qū)域，估計(jì)低靈敏度像素信息的SN比是較差的，因此，對(duì)高靈敏度像素信息設(shè)置大的權(quán)重，以確定輸出像素值。作為該處理的結(jié)果，可以基于一幅拍攝圖像來(lái)實(shí)現(xiàn)生成具有寬動(dòng)態(tài)范圍的圖像。附圖標(biāo)記列表10 光亮度閾值水平11 高光亮度區(qū)域12 低光亮度區(qū)域101光學(xué)透鏡102成像裝置103信號(hào)處理單元105控制單元201像素部202計(jì)算單元211像素信息合并單元251高靈敏度像素信息252低靈敏度像素信息300成像裝置301像素部302輸出選擇單元303計(jì)算單元321比較器322計(jì)數(shù)器323確定單元311像素信息合并單元351高靈敏度像素信息352低靈敏度像素信息400成像裝置401像素部402 計(jì)算單元411像素信息合并單元412灰度轉(zhuǎn)換單元451高靈敏度像素信息452低靈敏度像素信息500成像裝置501像素部
502計(jì)算單元511像素信息合并單元512灰度轉(zhuǎn)換單元513信號(hào)處理單元514編解碼器520控制單元551高靈敏度像素信息552低靈敏度像素信息
權(quán)利要求
1.一種圖像處理裝置，包括: 控制單元，用于執(zhí)行像素或像素區(qū)域單位的曝光時(shí)間控制； 像素部，用于通過(guò)在所述控制單元的控制下的成像處理來(lái)輸出具有多個(gè)不同曝光時(shí)間的像素信息； 像素信息合并單元，用于通過(guò)輸入從所述像素部輸出的具有多個(gè)不同曝光時(shí)間的像素信息并且執(zhí)行使用該多個(gè)像素信息的計(jì)算處理，而計(jì)算輸出圖像的像素值。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述控制單元以所述像素部的行為單位來(lái)執(zhí)行曝光時(shí)間控制； 并且，其中，所述像素部輸出來(lái)自多個(gè)不同的行的具有不同曝光時(shí)間的像素信息， 并且，其中，所述像素信息合并單元通過(guò)下述計(jì)算處理來(lái)計(jì)算輸出圖像的一個(gè)像素的像素值:該計(jì)算處理使用從多個(gè)不同的行輸入的多個(gè)像素信息。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述像素部 從長(zhǎng)時(shí)間曝光區(qū)域輸出高靈敏度像素信息，并從短時(shí)間曝光區(qū)域輸出低靈敏度像素信息， 并且，其中，在所述輸出圖像的像素值的計(jì)算處理中， 所述像素信息合并單元 執(zhí)行加法處理，以針對(duì)從長(zhǎng)時(shí)間曝光區(qū)域輸入的高靈敏度信息和從短時(shí)間曝光區(qū)域輸入的低靈敏度像素信息來(lái)設(shè)置 與拍攝對(duì)象的亮度相對(duì)應(yīng)的權(quán)重。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，當(dāng)從長(zhǎng)時(shí)間曝光區(qū)域輸入的高靈敏度像素信息等于或高于預(yù)定閾值時(shí)，所述像素信息合并單元通過(guò)如下的計(jì)算處理來(lái)計(jì)算輸出圖像的像素值:該計(jì)算處理將所述高靈敏度像素信息的權(quán)重設(shè)置為零或小的數(shù)，并且僅使用從短時(shí)間曝光區(qū)域輸入的低靈敏度像素信息或者將該低靈敏度像素信息的權(quán)重設(shè)置為大的數(shù)。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，當(dāng)從短時(shí)間曝光區(qū)域輸入的低靈敏度像素信息低于預(yù)定閾值時(shí)，所述像素信息合并單元通過(guò)如下的計(jì)算處理來(lái)計(jì)算輸出圖像的像素值:該計(jì)算處理將所述低靈敏度像素信息的權(quán)重設(shè)置為零或小的數(shù)，并且僅使用從長(zhǎng)時(shí)間曝光區(qū)域輸入的高靈敏度像素信息或者將該高靈敏度像素信息的權(quán)重設(shè)置為大的數(shù)。
6.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，當(dāng)從短時(shí)間曝光區(qū)域輸入的低靈敏度像素信息等于或高于預(yù)定閾值時(shí)，所述像素信息合并單元通過(guò)如下的計(jì)算處理來(lái)計(jì)算輸出圖像的像素值:該計(jì)算處理將從長(zhǎng)時(shí)間曝光區(qū)域輸入的高靈敏度像素信息的權(quán)重設(shè)置為零或小的數(shù)，并且僅使用從短時(shí)間曝光區(qū)域輸入的低靈敏度像素信息或者將該低靈敏度像素信息的權(quán)重設(shè)置為大的數(shù)。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述控制單元執(zhí)行曝光時(shí)間控制來(lái)以所述像素部的兩行為單位設(shè)置長(zhǎng)時(shí)間曝光區(qū)域和短時(shí)間曝光區(qū)域； 并且，其中，所述像素部從所述長(zhǎng)時(shí)間曝光區(qū)域和所述短時(shí)間曝光區(qū)域中的每一個(gè)輸出至少一個(gè)或更多個(gè)像素信息； 并且，其中，所述像素信息合并單元通過(guò)下述計(jì)算處理來(lái)計(jì)算輸出圖像的一個(gè)像素的像素值:該計(jì)算處理使用自從所述長(zhǎng)時(shí)間曝光區(qū)域輸入的高靈敏度像素信息和從所述短時(shí)間曝光區(qū)域輸入的低靈敏度像素信息中的每一個(gè)輸入的至少一個(gè)或更多個(gè)像素信息。
8.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述控制單元通過(guò)以所述像素部的行為單位的快門控制來(lái)以行為單位執(zhí)行曝光時(shí)間控制。
9.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述控制單元通過(guò)以所述像素部的顏色為單位的快門控制來(lái)以顏色為單位執(zhí)行曝光時(shí)間控制。
10.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括: 計(jì)數(shù)器，用于對(duì)與從所述像素部輸出的長(zhǎng)時(shí)間曝光區(qū)域的高靈敏度像素的像素值相等的數(shù)字值進(jìn)行計(jì)數(shù)；以及 輸出選擇單元，用于在由所述計(jì)數(shù)器計(jì)數(shù)的高靈敏度像素的像素值低于預(yù)定閾值時(shí)，選擇并輸出該高靈敏度像素的像素值作為所述輸出圖像的計(jì)算用像素值； 其中，在由所述計(jì)數(shù)器計(jì)數(shù)的高靈敏度像素的像素值等于或高于預(yù)定閾值時(shí)，所述輸出選擇單元選擇并輸出顏色與該高靈敏度像素相同的短時(shí)間曝光區(qū)域的低靈敏度像素的像素值作為所述輸出圖像的計(jì)算用像素值。
11.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述像素部 從長(zhǎng)時(shí)間曝光區(qū)域輸出高靈敏度像素信息，從短時(shí)間曝光區(qū)域輸出低靈敏度像素信息，并且從具有長(zhǎng)時(shí)間曝光與短時(shí)間曝光之間的曝光時(shí)間的中間時(shí)間曝光區(qū)域輸出中間靈敏度像素信息； 并且，其中，在所述輸出圖像的像素值的計(jì)算處理中， 所述像素信息合并單元 通過(guò)執(zhí)行計(jì)算處理以向所述高靈敏度像素信息、所述低靈敏度像素信息和所述中間靈敏度像素信息設(shè)置與拍攝對(duì)象的亮度相對(duì)應(yīng)的權(quán)重，來(lái)計(jì)算輸出圖像的像素值。
12.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括: 灰度轉(zhuǎn)換單元，用于執(zhí)行由所述像素信息合并單元生成的所述輸出圖像的每個(gè)像素的像素值的比特減少處理。
13.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括: 信號(hào)處理單元，用 于對(duì)從所述像素信息合并單元生成的輸出圖像執(zhí)行信號(hào)處理。
14.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括: 編解碼器，用于對(duì)由所述像素信息合并單元生成的輸出圖像執(zhí)行編碼處理。
15.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述像素部具有下述配置:在該配置中，從3X3像素區(qū)域以上的區(qū)域輸出同一顏色的具有不同曝光時(shí)間的像素信息。
16.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述像素部包括貝爾陣列或RGBW陣列。
17.一種成像裝置，包括: 成像單元；以及 圖像處理單元，用于執(zhí)行根據(jù)權(quán)利要求1至16中任一項(xiàng)所述的處理。
18.—種由圖像處理裝置執(zhí)行的圖像處理方法，所述方法包括: 控制步驟，其中控制單元執(zhí)行像素或像素區(qū)域單位的曝光時(shí)間控制； 像素信息輸出步驟，其中像素部通過(guò)在所述控制單元的控制下的成像處理來(lái)輸出具有多個(gè)不同曝光時(shí)間的像素信息；以及 像素信息合并步驟，其中像素信息合并單元通過(guò)輸入從所述像素部輸出的具有多個(gè)不同曝光時(shí)間的像素信息并執(zhí)行使用該多個(gè)像素信息的計(jì)算處理，來(lái)計(jì)算輸出圖像的像素值。
19.一種用于利用圖像處理裝置執(zhí)行圖像處理的程序，所述程序包括: 控制步驟，其中控制單元執(zhí)行像素或像素區(qū)域單位的曝光時(shí)間控制； 像素信息輸出步驟，其中像素部通過(guò)在所述控制單元的控制下的成像處理來(lái)輸出具有多個(gè)不同曝光時(shí)間的像素信息；以及 像素信息合并步驟，其中像素信息合并單元通過(guò)輸入從所述像素部輸出的具有多個(gè)不同曝光時(shí)間的像素信息并執(zhí)行使用該多個(gè)像素信息的計(jì)算處理，來(lái)計(jì)算輸出圖像的像素值。 ·
全文摘要
提供了用于基于一幅拍攝圖像來(lái)生成寬動(dòng)態(tài)范圍圖像的裝置和方法。執(zhí)行曝光時(shí)間控制，其中以像素區(qū)域單位(諸如像素單元的行單位)來(lái)設(shè)置的不同曝光時(shí)間，并且獲取多個(gè)不同像素信息，即分別具有對(duì)其設(shè)置的不同曝光時(shí)間的像素的像素值。例如，從長(zhǎng)時(shí)間曝光像素獲取高靈敏度像素信息，并從短時(shí)間曝光像素獲取低靈敏度像素信息，并且基于具有不同靈敏度的像素信息來(lái)計(jì)算輸出圖像的像素值。例如，在高亮度區(qū)域中，由于存在靈敏度像素信息為飽和值的可能性，因此將低靈敏度像素信息的權(quán)重設(shè)置得大，而由于估計(jì)在低亮度區(qū)域中的低靈敏度像素信息的SN比低，因此將高靈敏度像素信息的權(quán)重設(shè)置得大，并且確定輸出像素值。
文檔編號(hào)H04N5/232GK103190145SQ201180053209
公開(kāi)日2013年7月3日 申請(qǐng)日期2011年10月24日 優(yōu)先權(quán)日2010年11月12日
發(fā)明者笠井政范 申請(qǐng)人:索尼公司