專利名稱：攝像裝置、攝像裝置圖像輸出方法以及計算機(jī)程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像拾取設(shè)備，且更加特別地涉及具有可擴(kuò)展動態(tài)范圍的圖像拾取設(shè)備。
背景技術(shù)：
具有諸如CCD(電荷耦合裝置)的圖像拾取裝置的圖像拾取設(shè)備如攝像機(jī)、數(shù)字?jǐn)z像機(jī)或靜物攝像機(jī)正得到廣泛且普遍的使用。
諸如CCD的圖像拾取裝置與鹵化銀相機(jī)相比動態(tài)范圍較窄。為此，在利用這種圖像拾取裝置逆著背光攝取圖像時，在所再現(xiàn)的圖像中出現(xiàn)導(dǎo)致明亮部分損失灰度等級的高亮度細(xì)節(jié)損失和導(dǎo)致暗黑部分損失灰度等級的陰影細(xì)節(jié)損失。
在傳統(tǒng)類型的圖像拾取設(shè)備中，通過自動曝光功能調(diào)整曝光量，使其對于拍攝對象(subject)是正確的，但仍留下了多種情況，其中盡管拍攝對象的主要部分正確曝光，但在背景等中出現(xiàn)高亮度細(xì)節(jié)損失等。
另外，在傳統(tǒng)類型的圖像拾取設(shè)備中，已經(jīng)按照給低亮度信號電平/中等亮度信號電平(中-低亮度信號電平)處的圖像再現(xiàn)能力加權(quán)，而損失高亮度部分細(xì)節(jié)的方式，進(jìn)行了逆光補(bǔ)償。然而，還會導(dǎo)致?lián)p失期望可見的背景中的高亮度細(xì)節(jié)的情況。
為此，為了應(yīng)對包括上述明亮部分和暗黑部分的寬動態(tài)范圍的圖像，已經(jīng)提供了一種圖像拾取設(shè)備(寬動態(tài)范圍相機(jī))，其能夠通過合成通過高速快門等將主體攝取為相對較亮部分的圖像和通過低速快門等將主體攝取為相對暗黑部分的圖像，而獲取寬動態(tài)范圍的圖像。
然而，在上述能夠獲取寬動態(tài)范圍圖像的圖像拾取設(shè)備如寬動態(tài)范圍相機(jī)中，可作為視頻信號再現(xiàn)的輸出圖像的動態(tài)范圍分配給亮度信號電平對應(yīng)于高亮度的高亮度部分和分配給亮度信號電平對應(yīng)于低/中亮度的中-低亮度部分的比例與拍攝對象類型無關(guān)而不變地固定。
因此，例如，若高亮度部分的圖像信號在輸出圖像中不存在，則輸出圖像的動態(tài)范圍中分配給高亮度部分的圖像信號不存在，而僅將剩余的中-低亮度部分分配給該動態(tài)范圍。這阻礙了動態(tài)范圍的有效使用，并提供了通常較暗的圖像。
本發(fā)明從上述問題的角度出發(fā)而構(gòu)想，且本發(fā)明的目的在于提供一種新穎且改進(jìn)的圖像拾取設(shè)備，其能夠根據(jù)拍攝對象的類型進(jìn)行輸出圖像動態(tài)范圍的動態(tài)分配。

發(fā)明內(nèi)容
為解決上述問題，根據(jù)本發(fā)明的第一方面，一種圖像拾取設(shè)備可以包括圖像拾取裝置，用于拾取拍攝對象的圖像；信號處理部分，用于通過合成由圖像拾取裝置以相對長的曝光時間拾取的長時曝光圖像和由圖像拾取裝置以相對短的曝光時間拾取的短時曝光圖像，產(chǎn)生具有至少比長時曝光圖像或短時曝光圖像的動態(tài)范圍相對更寬的動態(tài)范圍的復(fù)合圖像；以及控制部分，用于壓縮復(fù)合圖像，并動態(tài)地改變要作為視頻信號輸出的輸出圖像的動態(tài)范圍中高亮度動態(tài)范圍與中-低亮度動態(tài)范圍的比例。
根據(jù)本發(fā)明，基于由圖像拾取裝置拾取的圖像信號合成長時曝光圖像和短時曝光圖像，由此產(chǎn)生擴(kuò)展動態(tài)范圍的復(fù)合圖像。另外，復(fù)合圖像的動態(tài)范圍分配給輸出圖像中高亮度動態(tài)范圍或中-低亮度動態(tài)范圍的比例動態(tài)地改變，從而壓縮并分配復(fù)合圖像的高亮度動態(tài)范圍和中-低亮度動態(tài)范圍。在此構(gòu)造中，例如，即使拾取的圖像為其中占據(jù)(occupy)其高亮度區(qū)域的信號量整體較小的暗圖像，該比例也動態(tài)改變?yōu)檫m當(dāng)?shù)姆峙浔壤?，由此可以以正確的灰度等級穩(wěn)定輸出清晰的圖像。分配比例表示其中動態(tài)范圍分配給高亮度動態(tài)范圍或中-低亮度動態(tài)范圍的比例。
控制部分至少根據(jù)占據(jù)復(fù)合圖像的一亮度區(qū)域動態(tài)變化高亮度動態(tài)范圍與中-低亮度動態(tài)范圍的分配比例。在此構(gòu)造中，分配比例可以根據(jù)占據(jù)復(fù)合圖像的亮度程度的變化而變化。因此，例如，即使該亮度區(qū)域中高亮度區(qū)域減小并出現(xiàn)暗圖像，可以通過相對于高亮度動態(tài)范圍的分配比例增加中-低亮度動態(tài)范圍的分配比例來獲得正確的灰度等級。
控制部分在每次產(chǎn)生復(fù)合圖像時校正高亮度動態(tài)范圍與中-低亮度動態(tài)范圍的分配比例。在此構(gòu)造中，每次產(chǎn)生復(fù)合圖像時，確定動態(tài)范圍的分配比例是否合適，若不合適，則校正分配比例。因此，可以穩(wěn)定地輸出以適當(dāng)?shù)幕叶鹊燃壴佻F(xiàn)的圖像。
亮度區(qū)域至少為高亮度區(qū)域或中-低亮度區(qū)域。在此構(gòu)造中，可以通過注意高亮度區(qū)域、中-低亮度區(qū)域、或高亮度區(qū)域·中-低亮度區(qū)域，來實(shí)現(xiàn)動態(tài)范圍的分配。另外，亮度區(qū)域不限于上述，還可以由例如高亮度區(qū)域、中等亮度區(qū)域、以及低亮度區(qū)域構(gòu)成。
控制部分至少根據(jù)占據(jù)復(fù)合圖像的高亮度區(qū)域的平均亮度信號電平而動態(tài)改變高亮度動態(tài)范圍與低亮度動態(tài)范圍的分配比例。在此構(gòu)造中，分配比例根據(jù)復(fù)合圖像明亮部分(高亮度區(qū)域)的變化而動態(tài)改變。因此，可以對包括在多個拍攝對象中的中-低亮度區(qū)域加權(quán)，增大中-低亮度動態(tài)范圍。
控制部分可以適配為至少根據(jù)占據(jù)復(fù)合圖像的中-低亮度區(qū)域的平均亮度信號電平而動態(tài)改變高亮度動態(tài)范圍與低亮度動態(tài)范圍的分配比例。
控制部分至少根據(jù)占據(jù)復(fù)合圖像的高亮度區(qū)域而動態(tài)地改變高亮度動態(tài)范圍與中-低亮度動態(tài)范圍的分配比例。在此構(gòu)造中，分配比例根據(jù)復(fù)合圖像明亮部分(高亮度區(qū)域)的變化而動態(tài)改變。例如，若明亮部分減小，暗黑部分的灰度等級增加，使得其可再現(xiàn)性可以得到改善。
控制部分可以適配為至少根據(jù)占據(jù)復(fù)合圖像的中-低亮度區(qū)域而動態(tài)地改變高亮度動態(tài)范圍與中-低亮度動態(tài)范圍的分配比例。
控制部分至少單調(diào)地改變高亮度動態(tài)范圍與中-低亮度動態(tài)范圍的分配比例。此構(gòu)造使得可以逐漸地變化分配比例。因此，由于不會發(fā)生明顯的變化，分配比例的變化可以用于多種位置。本發(fā)明不限于上述示例，還可以在分配比例類似二次曲線變化的情況下執(zhí)行。
亮度區(qū)域可以構(gòu)造在高亮度區(qū)域或中-低亮度區(qū)域。
在構(gòu)成復(fù)合圖像的像素之中，至少對應(yīng)于高于切換亮度信號電平的亮度信號電平的像素可以從短時曝光圖像獲得，而對應(yīng)于低于切換亮度信號電平的亮度信號電平的像素可以從長時曝光圖像獲得。
在構(gòu)成復(fù)合圖像的像素之中，至少對應(yīng)于高于切換亮度信號電平的亮度信號電平的像素可以從長時曝光圖像獲得，而對應(yīng)于低于切換亮度信號電平的亮度信號電平的像素可以從短時曝光圖像獲得。
動態(tài)范圍至少為高亮度動態(tài)范圍或低亮度動態(tài)范圍。
本發(fā)明的特征在于至少基于輸出圖像高亮度動態(tài)范圍與其中-低亮度動態(tài)范圍的分配比例確定用于壓縮復(fù)合圖像中亮度信號電平的壓縮增益。
本發(fā)明可以構(gòu)造為確定用于壓縮復(fù)合圖像中高亮度區(qū)域的亮度信號電平的高亮度壓縮增益和用于壓縮復(fù)合圖像中的中-低亮度區(qū)域的亮度信號電平的中-低亮度壓縮增益。
本發(fā)明可以構(gòu)造為至少基于高亮度壓縮增益或中-低亮度壓縮增益，為復(fù)合圖像的每個亮度信號電平至少確定要用于壓縮的最終高亮度壓縮增益或最終中-低亮度壓縮增益。
本發(fā)明可以構(gòu)造為至少根據(jù)占據(jù)復(fù)合圖像的高亮度區(qū)域而動態(tài)地改變高亮度動態(tài)范圍與中-低亮度動態(tài)范圍的分配比例。


圖1為示出根據(jù)本實(shí)施例的寬動態(tài)范圍相機(jī)的示意構(gòu)造的透視圖；圖2為根據(jù)本實(shí)施例在具有窗戶的房屋內(nèi)的情況下示出示意拍攝對象的說明圖；圖3為示出根據(jù)本實(shí)施例的寬動態(tài)范圍相機(jī)的示意構(gòu)造的方框圖；圖4為示出根據(jù)本實(shí)施例的信號預(yù)處理模塊的示意構(gòu)造的方框圖；圖5A至5C為示意性示出根據(jù)本實(shí)施例的定時調(diào)整部分的同步處理的說明圖；圖6為示意性示出根據(jù)本實(shí)施例的圖像拾取設(shè)備的圖像輸出處理的流程圖；圖7為示意性示出根據(jù)本實(shí)施例在合成處理期間圖像的輸入/輸出特性的說明圖；圖8為示意性示出根據(jù)本實(shí)施例的長時曝光圖像的亮度信號電平的分布的累積頻率分布圖(histogram)；圖9為示意性示出根據(jù)本實(shí)施例的短時曝光圖像的亮度信號電平的分布的累積頻率分布圖；圖10為示意性示出根據(jù)本實(shí)施例的輸出圖像輸入/輸出特性的說明圖；圖11為示意性示出根據(jù)本實(shí)施例的輸出圖像輸入/輸出特性的說明圖；圖12為示意性示出根據(jù)本實(shí)施例的基于高亮度區(qū)域面積的校正函數(shù)的說明圖；以及圖13為示意性示出根據(jù)本實(shí)施例的基于高亮度區(qū)域平均亮度信號電平的校正函數(shù)的說明圖。
具體實(shí)施例方式
下面，將參照附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。以下描述和附圖中，具有近似相同功能的組成元件由相同的附圖標(biāo)記表示，且此處將略去對相同描述的重復(fù)。
1.寬動態(tài)范圍相機(jī)首先，將參照圖1和2描述根據(jù)本實(shí)施例的寬動態(tài)范圍相機(jī)(寬D相機(jī))。圖1為示出根據(jù)本實(shí)施例的寬動態(tài)范圍相機(jī)的示意構(gòu)造的透視圖。圖2為示出根據(jù)本實(shí)施例在具有窗戶且攝取其室內(nèi)狀態(tài)的房屋中的示意拍攝對象的說明圖。根據(jù)本實(shí)施例的圖像拾取設(shè)備能夠拾取靜態(tài)圖像和/或移動圖像。
如圖2所示，在通常用作數(shù)字?jǐn)z像機(jī)、靜物攝像機(jī)等的圖像拾取設(shè)備在良好天氣期間在例如日間拾取具有窗戶122的房屋的室內(nèi)圖像時，若圖像拾取設(shè)備將對拍攝對象的曝光基準(zhǔn)設(shè)置為針對室內(nèi)的人120，則比人120更亮的窗戶122損害灰度等級，且損失高亮度細(xì)節(jié)。
這是因?yàn)閳D像拾取設(shè)備無法處理從比窗戶122亮度小的人120的亮度到比人120的亮度更亮的窗戶122的亮度的寬范圍上擴(kuò)展的動態(tài)范圍。
為解決上述問題，有一種稱作寬動態(tài)范圍相機(jī)(寬D相機(jī))的圖像拾取設(shè)備。該圖像拾取設(shè)備具有例如執(zhí)行諸如改變電子快門的快門速度和合成各自具有不同曝光時間的多個圖像的處理的功能，使得即使將對拍攝對象的曝光基準(zhǔn)設(shè)置為針對圖2所示的人120，也可以防止窗戶122的高亮度細(xì)節(jié)受損，且作為良好的灰度等級圖像再現(xiàn)。
作為用于拾取具有寬動態(tài)范圍的拍攝對象的圖像從而作為包括從明亮部分到暗黑部分的各部分的輸出圖像再現(xiàn)的技術(shù)，除上述合成具有不同曝光時間的亮圖像和暗圖像的方法以外，還有一種方法，以像素為單位改變光拾取裝置的靈敏度，從該圖像拾取裝置僅提取具有相同曝光條件的信號，再現(xiàn)圖像，并合成一個或不少于兩個各自具有不同曝光條件的圖像；以及另一種方法，其通過棱鏡將入射光分開，并合成從圖像拾取裝置輸出的信號和從粘附了諸如在全波長上減小了透射光，即等幅地減小入射光量的ND濾光片(中性密度濾光片；光量調(diào)整濾光片)的具有光減弱功能的裝置的圖像拾取裝置輸出的信號。
圖1所示的寬D相機(jī)102具有比普遍使用的攝像機(jī)更寬的動態(tài)范圍，且能夠拾取具有寬動態(tài)范圍的拍攝對象的圖像，以作為包括從明亮部分到暗黑部分的各部分的輸出圖像而再現(xiàn)。因此，寬D相機(jī)102適于拾取強(qiáng)外部光照耀的室內(nèi)位置處、暴露于極不同光強(qiáng)度下的位置等處的圖像。
例如，寬D相機(jī)102特別用作監(jiān)視攝像器等，其經(jīng)常在進(jìn)行圖像拾取的時間周期如日間和夜間之間動態(tài)范圍極大變化的情況下拾取圖像。另外，本實(shí)施例中使用的寬D相機(jī)102不限于監(jiān)視攝像器。
2.寬動態(tài)范圍相機(jī)的每個部件的構(gòu)造下面，將參照圖3描述根據(jù)本實(shí)施例的寬D相機(jī)102的每個部件的構(gòu)造。圖3為示出根據(jù)本實(shí)施例的寬動態(tài)范圍相機(jī)的示意構(gòu)造的方框圖。圖3中，例如，微型計算機(jī)137對應(yīng)于本發(fā)明的控制部分，但不限于此示例。
如圖3所示，根據(jù)本實(shí)施例的寬D相機(jī)102可以包括光學(xué)元件130、圖像拾取裝置131、預(yù)處理部分132、信號處理部分133、輸出部分134、TG 135、EVR 136、微型計算機(jī)137(以下稱為微型計算機(jī)137)、光學(xué)元件控制電路138、以及記錄介質(zhì)139。
光學(xué)元件130為諸如ND濾光片的減小不必要波長的光學(xué)濾光片。從拍攝對象入射到光學(xué)元件130上并通過其透射的光被圖像拾取裝置131拾取，并轉(zhuǎn)換為電信號。另外，光學(xué)元件130具有例如透鏡光闌等，由微型計算機(jī)137經(jīng)光學(xué)元件控制電路138控制。微型計算機(jī)137將在下面詳細(xì)描述。
利用分別由二維設(shè)置在光接收表面上的光電轉(zhuǎn)換裝置制成的多個像素，圖像拾取裝置(圖像拾取器)131能夠?qū)呐臄z對象接收到的光學(xué)圖像進(jìn)行光電轉(zhuǎn)換，并輸出電圖像信號。例如，圖像拾取裝置131為固體圖像拾取裝置，如多種材料制成的CCD。
若圖像拾取裝置131為CCD，則預(yù)處理部分132接收上述從圖像拾取裝置131輸出的圖像信號，隨后取出視頻信號，同時通過CDS(關(guān)聯(lián)復(fù)式取樣電路；關(guān)聯(lián)復(fù)式取樣)的處理減小噪聲。
另外，預(yù)處理部分132為視頻信號提供增益，以根據(jù)情況需要放大視頻信號至適當(dāng)?shù)男盘栯娖剑⒁曨l信號發(fā)送至信號處理部分133。
構(gòu)成圖像拾取裝置131的CCD的主要噪聲可以包括例如傳輸噪聲、輸出放大器噪聲、復(fù)位噪聲、由暗電流產(chǎn)生的噪聲、以及光攝(light shot)噪聲。
在上述種類的噪聲中，傳輸噪聲為電荷傳輸時產(chǎn)生的噪聲，但由于通常使用埋入式溝道CCD，因此很少成為問題。輸出放大器的噪聲為源跟隨的噪聲，且若此噪聲減小，則CCD的噪聲就得到改善。
復(fù)位噪聲為在CCD的FD(浮動擴(kuò)散區(qū))復(fù)位時產(chǎn)生的噪聲，且CDS使得可以減小此復(fù)位噪聲。
信號處理部分133由兩個主要模塊制成。一個為信號預(yù)處理模塊140，其進(jìn)行各自具有不同曝光時間的輸入長時曝光圖像和輸入短時曝光圖像的提取，長時曝光圖像和短時曝光圖像之間色彩平衡的校正，以及長時曝光圖像和短時曝光圖像的合成和壓縮。長時曝光圖像和短時曝光圖像的曝光時間可以根據(jù)要拾取其圖像的拍攝對象而單獨(dú)設(shè)定。信號預(yù)處理模塊140將在后面詳細(xì)描述。
跟隨信號預(yù)處理模塊后面的另一模塊為信號后處理模塊(未示出)，其進(jìn)行諸如光圈(光圈)處理和白平衡的色彩處理，其中光圈處理用于進(jìn)行γ(伽馬)校正和輪廓校正，白平衡用于基于包括在拍攝對象中的“白色”調(diào)整色溫。
另外，信號處理部分133至少具有檢測部分143，能夠檢測在當(dāng)前時點(diǎn)輸入的圖像信號的諸如亮度信號電平的電平信息、色彩信息等。信號處理部分133能夠計算諸如壓縮增益的增益，并基于檢測到的信息調(diào)整白平衡。檢測部分143將在后面詳細(xì)描述。
在信號處理部分133的處理之后，輸出部分134從自信號處理部分133接收視頻信號，并將視頻信號通過輸出部分134的驅(qū)動器輸出至諸如顯示裝置的監(jiān)視器，從而再現(xiàn)視頻圖像。
TG(定時發(fā)生器)135產(chǎn)生CCD等制成的圖像拾取裝置131必需的脈沖。例如，產(chǎn)生諸如用于垂直傳輸?shù)?相脈沖、場移位脈沖(field shift pulse)、用于水平傳輸?shù)?相脈沖的脈沖。圖像拾取裝置131可以由TG 135驅(qū)動(電子快門功能)。
通過調(diào)整圖像拾取裝置131的驅(qū)動，可以拾取具有相對較長曝光時間的長時曝光圖像和具有相對較短曝光時間的短時曝光圖像。在作為根據(jù)本實(shí)施例的寬動態(tài)范圍相機(jī)的圖像拾取設(shè)備102中，通過上述處理進(jìn)行圖像拾取處理，但是根據(jù)本實(shí)施例的圖像拾取處理不限于此示例。
EVR(電子容量)136為電阻值可以通過數(shù)字信號等調(diào)整的可變電阻器，通過改變電阻值控制光學(xué)元件控制電路138等。因此，構(gòu)成光學(xué)元件130的透鏡的光闌調(diào)整可以通過EVR等進(jìn)行。另外，EVR 136具有諸如存儲器的存儲裝置，可以在電源關(guān)閉時保持已改變的電阻值。
光學(xué)元件控制單元138具有控制裝置(未示出)，用于進(jìn)行諸如光學(xué)元件130的光闌調(diào)整或從多個光學(xué)元件130之中的一個光學(xué)濾光片切換到諸如ND濾光片的另一個的控制。
微型計算機(jī)137基于例如來自上述檢測部分143的檢測結(jié)果，控制預(yù)處理部分132、信號處理部分133、TG 135、EVR 136和光學(xué)元件控制電路138中的每一個的處理。另外，微型計算機(jī)137確定用于合成和壓縮作為寬動態(tài)范圍相機(jī)的圖像拾取設(shè)備102的長時曝光圖像(長)和短時曝光圖像(短)的壓縮增益(壓縮增益)等。微型計算機(jī)137將在后面詳細(xì)描述。
另外，微型計算機(jī)137可以通過互相傳送例如用來利用圖像拾取設(shè)備102外部的設(shè)備經(jīng)“外部I/F(外部接口)”控制該設(shè)備的控制數(shù)據(jù)，來控制圖像拾取設(shè)備102?！巴獠縄/F”例如為諸如10Base-T或10Base-2、EIA-232、EIA-485等的Ethernet(以太網(wǎng))(注冊商標(biāo))。
存儲介質(zhì)139能夠存儲例如控制圖形拾取設(shè)備102中提供的各個部分所必需的控制數(shù)據(jù)、用來調(diào)整拍攝對象的曝光的調(diào)整數(shù)據(jù)、可以由使用圖像拾取設(shè)備102各個用戶不同地設(shè)置的諸如色彩校正和AE的用戶設(shè)置數(shù)據(jù)。
存儲介質(zhì)139可以使用例如能存儲寫入其中的數(shù)據(jù)的ROM、以及能夠存儲或通過電擦除來擦除數(shù)據(jù)的EPROM(電可擦除可編程ROM)。
2.1信號預(yù)處理模塊140下面將參照圖4描述包括在根據(jù)本實(shí)施例的信號處理部分133中的信號預(yù)處理模塊。圖4為示出根據(jù)本實(shí)施例的信號預(yù)處理模塊的示意構(gòu)造的方框圖。
圖4中，例如，微型計算機(jī)137對應(yīng)于本發(fā)明的控制部分，而壓縮增益計算部分145對應(yīng)于本發(fā)明的壓縮增益計算部分，但此示例并非限制性的。另外，盡管壓縮增益計算部分145設(shè)置在信號預(yù)處理部分140中，本發(fā)明不限于此示例，且還可以在各種其它情況下實(shí)現(xiàn)，如壓縮增益計算部分145設(shè)置在作為控制部分的微型計算機(jī)137中的情況、以及壓縮增益計算部分145設(shè)置在信號預(yù)處理模塊140以外的部分中的情況。
如圖4所示，信號預(yù)處理模塊140可以包括定時調(diào)整部分141、鉗位處理142、檢測部分143、合成部分144、壓縮增益計算部分145、以及壓縮部分146。
定時調(diào)整部分141將分別以不同定時從預(yù)處理部分132輸出的具有不同曝光時間的圖像信號的定時調(diào)整(同步化)至同步的定時。定時調(diào)整部分141中的同步處理將在下面描述。
首先，如圖5A所示，將包括由圖像拾取裝置131拾取的長時曝光圖像(長)的長時曝光圖像信號(長信號)和包括由圖像拾取裝置131拾取的短時曝光圖像(短)的短時曝光圖像信號(短信號)，從預(yù)處理部分132經(jīng)圖4所示的一根總線(路徑)，按照長信號和短信號通過時分技術(shù)交替排列的方式，發(fā)送至定時調(diào)整部分141。圖5A至5C為示意性示出根據(jù)本實(shí)施例的定時調(diào)整部分141的同步處理的說明圖。
在長時曝光圖像信號和短時曝光圖像信號按照時分方式交替輸入到定時調(diào)整部分141中時，定時調(diào)整部分141對長時曝光圖像信號和短時曝光圖像信號進(jìn)行同步。
上述同步提取了包括在一個信號中的長時曝光圖像信號和短時曝光圖像信號，如圖5A所示，并調(diào)整(進(jìn)行同步)包括在長時曝光圖像信號中的長時曝光圖像的臨時定時和包括在短時曝光圖像信號中的短時曝光圖像的臨時定時，如圖5B(長時曝光圖像信號)和5C(短時曝光圖像信號)。如圖4所示，定時調(diào)整部分141分離地向?qū)?yīng)的鉗位處理部分142輸出短時曝光圖像和長時曝光圖像。
由于在定時調(diào)整部分141進(jìn)行同步，像素的切換可以在合成部分144中合成長時曝光圖像和短時曝光圖像時平穩(wěn)進(jìn)行，從而合成部分144可以有效地進(jìn)行合成處理。
隨后，鉗位處理部分142根據(jù)長時曝光圖像和短時曝光圖像的亮度信號電平確定“0電平(黑電平)”基準(zhǔn)(鉗位處理)。在確定0電平后，每個鉗位處理部分142將長時曝光圖像和短時曝光圖像中的對應(yīng)一個輸出到合成部分144和檢測部分143兩者。
各個鉗位處理部分142通過利用長時曝光圖像信號和短時曝光圖像信號具有周期性的事實(shí)，來執(zhí)行直流分量的再現(xiàn)，降低低頻噪聲，并確定0電平所在。在復(fù)合視頻信號和亮度信號中，黑電平用作基準(zhǔn)，直流值表示信息。因此，在信號處理中，黑電平是固定的，并基于這些電平執(zhí)行處理。
檢測部分143對從鉗位處理部分142輸出的每個長時曝光圖像信號和短時曝光圖像信號檢測輸入的信號量如何、以及亮度信號電平如何。亮度信號電平(亮度電平)表示亮度等級。
即，當(dāng)檢測部分143的檢測結(jié)果輸出到諸如微型計算機(jī)137的各個部分時，各個部分能夠精確地處理。檢測部分143檢測每個輸入的長時和短時曝光圖像的亮度信號電平的信號量或分布(亮度信號電平的頻率分布圖)，使得特別是微型計算機(jī)137可以確定長時曝光圖像和短時曝光圖像合成的切換點(diǎn)。
合成部分144對輸入的長時曝光圖像和短時曝光圖像的曝光程度進(jìn)行程度調(diào)整，通過以像素為單位進(jìn)行切換處理將兩個曝光圖像合成到一個圖像中。產(chǎn)生的復(fù)合圖像作為復(fù)合圖像信號輸出到壓縮部分146和壓縮增益計算部分145。下面將詳細(xì)描述合成部分144合成長時曝光圖像和短時曝光圖像的合成處理。
微型計算機(jī)137可以接收從各個長時和短時曝光圖像信號檢測到的亮度信號電平的信號量或頻率分布圖。另外，高亮度區(qū)域或中-低亮度區(qū)域的平均亮度信號電平等可以從每個亮度信號電平的信號量得出。
微型計算機(jī)137基于諸如從檢測部分143獲得的檢測結(jié)果的信息進(jìn)行處理，例如短時曝光圖像和長時曝光圖像的曝光調(diào)整、要作為視頻信號輸出的輸出圖像的動態(tài)范圍中高亮度動態(tài)范圍和中-低亮度動態(tài)范圍的比例校正、合成長時曝光圖像和短時曝光圖像的切換點(diǎn)的確定、或產(chǎn)生的復(fù)合圖像的壓縮增益(壓縮增益)的確定。上述切換點(diǎn)或壓縮增益等通過微型計算機(jī)137發(fā)送至信號預(yù)處理模塊140的每個處理部分。另外，對應(yīng)的壓縮增益為不同的亮度區(qū)域構(gòu)造。本實(shí)施例中的壓縮增益包括高亮度壓縮增益(Gs)和中-低亮度壓縮增益(Gl)，但此示例并非限制性的。例如，壓縮增益可以由高亮度壓縮增益、中-低亮度壓縮增益、以及低亮度壓縮增益構(gòu)成。微型計算機(jī)137的工作處理，如切換點(diǎn)的確定、動態(tài)范圍比例的校正和壓縮增益的確定，將在下面詳細(xì)描述。
在產(chǎn)生的復(fù)合圖像的壓縮期間，壓縮增益計算部分(壓縮增益計算器)145基于上述從微型計算機(jī)137發(fā)送的壓縮增益(高亮度壓縮增益(Gs)和中-低亮度壓縮增益(Gl))，計算對于要壓縮的各個亮度信號電平的最終壓縮增益，并將最終壓縮增益發(fā)送至壓縮部分146。本實(shí)施例的最終壓縮增益包括最終高亮度壓縮增益和最終中-低亮度壓縮增益，但此示例并非限制性的。
基于輸入的最終壓縮增益，壓縮部分146將由合成部分144合成的復(fù)合圖像的動態(tài)范圍壓縮至要作為視頻信號輸出的輸出圖像的動態(tài)范圍。壓縮的輸出圖像發(fā)送至下一信號后處理模塊(未示出)。
從壓縮部分146輸出的輸出圖像輸入至信號后處理模塊，其中進(jìn)行諸如伽馬校正、光圈或白平衡的色彩處理。
在色彩處理中，由于例如CRT(陰極射線管，一種顯像管)的伽馬特性是確定的，所以圖像拾取設(shè)備102必須預(yù)先進(jìn)行校正，使得再現(xiàn)的圖像可以獲得正確的灰度等級特性。因此，該校正需要通過伽馬校正來進(jìn)行。通常，使用二極管特性。
3.圖像拾取設(shè)備102的圖像輸出操作下面將描述按上述方式構(gòu)成的圖像拾取設(shè)備102的圖像輸出操作的實(shí)施例。
3.1圖像拾取設(shè)備的圖像處理(S160)首先，將在下面參照圖3、4和6描述圖像拾取設(shè)備102的圖像拾取處理。圖6為示意性示出根據(jù)本實(shí)施例的圖像拾取設(shè)備的圖像輸出處理的流程。
首先，如圖6所示，作為寬動態(tài)相機(jī)的圖像拾取設(shè)備102利用圖像拾取裝置13 1進(jìn)行對拍攝對象的圖像拾取處理(S160)。盡管根據(jù)本實(shí)施例的圖像拾取處理為基于雙重曝光法的圖像拾取處理，但是本發(fā)明不限于此示例，且還可以在例如使用兩個諸如CCD的圖像拾取裝置131且具有標(biāo)準(zhǔn)速度快門和高速快門的2-CCD型的情況下進(jìn)行。
雙重曝光法是這樣的方法，其中拾取需要相對較長的曝光時間且其正確曝光在中-低亮度區(qū)域的拍攝對象的長時曝光圖像和其正確曝光在高亮度區(qū)域的拍攝對象的短時曝光圖像，合成兩個圖像從而擴(kuò)展出表觀(apparent)動態(tài)范圍。術(shù)語“亮度區(qū)域”表示通過構(gòu)成具有近似相同亮度電平的圖像的像素或信號的集合形成的區(qū)域。例如，高亮度區(qū)域表示由構(gòu)成圖像的像素或信號之中的高亮度電平的像素或信號形成的區(qū)域。
在上述圖像拾取處理(S160)之后，從光拾取設(shè)備131輸出并通過預(yù)處理部分132進(jìn)行了例如CDS處理的長時曝光圖像(長)和短時曝光圖像(短)發(fā)送至圖4所示的信號處理部分133的信號預(yù)處理模塊140的定時調(diào)整部分141。
按照長時曝光圖像(長)和短時曝光圖像(短)時分的方式，上述兩圖像信號經(jīng)一根總線以不同的定時交替輸入至定時調(diào)整部分141，從而兩圖像信號需要如上所述地同步。
3.2圖像拾取設(shè)備102的檢測處理(S162)在長時曝光圖像和短時曝光圖像在定時調(diào)整部分141同步后，兩曝光圖像分別從定時調(diào)整部分141輸出，并輸入至鉗位處理部分142。在鉗位處理部分142中經(jīng)鉗位處理后，將長時曝光圖像和短時曝光圖像發(fā)送至檢測部分143和合成部分144每一個。
在長時曝光圖像和短時曝光圖像發(fā)送至合成部分144時，合成部分144對長時曝光圖像和短時曝光圖像進(jìn)行檢測處理(S162)。
合成部分144通過對長時曝光圖像和短時曝光圖像的檢測處理(S162)檢測例如長時曝光圖像的各信號電平的信號量、短時曝光圖像的各信號電平的信號量、長時曝光圖像各信號電平信號量的分布(頻率分布圖)、或短時曝光圖像各信號電平信號量的分布。
基于檢測處理(S162)中的檢測結(jié)果，微型計算機(jī)137確定表示長時曝光圖像中中-低亮度區(qū)域的最高亮度信號電平的La(切換亮度信號電平)、以及表示短時曝光圖像中高亮度區(qū)域的最高亮度信號電平的Lb。La和Lb將在后面詳細(xì)描述。
3.3圖像拾取設(shè)備102的合成處理(S164)在檢測處理(S162)之后，在合成部分144中對長時曝光圖像和短時曝光圖像進(jìn)行合成處理(S164)，由此產(chǎn)生復(fù)合圖像。合成部分144基于從微型計算機(jī)137發(fā)送的信息如La，進(jìn)行合成處理(S164)。合成處理將在下面詳細(xì)描述。
根據(jù)本實(shí)施例的合成處理基于切換點(diǎn)(切換點(diǎn))進(jìn)行切換，從而低于切換點(diǎn)的亮度信號電平，采用與長時曝光圖像的亮度信號電平對應(yīng)的像素對于，而當(dāng)超過切換點(diǎn)時，采用與短時曝光圖像的亮度信號電平的像素。
因此，通過以像素為單位從長時曝光圖像到短時曝光圖像切換要采用的目標(biāo)(target)，合成一個復(fù)合圖像。根據(jù)本實(shí)施例的切換點(diǎn)將在下面參照圖7描述。圖7為示意性示出根據(jù)本實(shí)施例在合成處理期間圖像的輸入/輸出特性的說明圖。
如圖7所示，短時曝光圖像(短)的輸入/輸出特性為短時輸入/輸出特性170，長時曝光圖像(長)的輸入/輸出特性為長時輸入/輸出特性171，從信號處理部分133作為視頻信號輸出的輸出圖像的輸入/輸出特性為輸出圖像輸入/輸出特性172。圖7所示的水平軸表示輸入至合成部分144的圖像信號的亮度信號電平，而垂直軸表示從合成部分144輸出的圖像信號的亮度信號電平。
首先，為了合成，長時曝光圖像與短時曝光圖像的曝光比乘以短時曝光圖像，由此調(diào)整了兩圖像的電平。例如，若長時曝光圖像與短時曝光圖像的曝光比為10∶1，則短時曝光圖像的曝光為長時曝光圖像的十分之一。然而，現(xiàn)有光的量為短時曝光圖像亮度信號電平的10倍。因此，該電平通過給短時曝光圖像乘以10來調(diào)整。
因此，短時輸入/輸出特性170的傾角沿圖7中所示箭頭方向移動，而短時輸入/輸出特性170的電平與長時輸入/輸出特性171相符。另外，基于適當(dāng)?shù)那袚Q點(diǎn)(切換點(diǎn))，短時輸入/輸出特性170以預(yù)定傾角量傾斜，由此獲得輸出圖像輸入/輸出特性172。
該預(yù)定傾角存儲在例如存儲介質(zhì)139中，且進(jìn)一步，微型計算機(jī)137執(zhí)行使通過上述乘法進(jìn)行了電平調(diào)整的短時輸入/輸出特性171傾斜預(yù)定傾角量的處理。使短時輸入/輸出特性171傾斜上述傾角的原因在于動態(tài)范圍非常寬，且需要避免諸如圖像失真的噪聲。
在完成了上述兩圖像的電平調(diào)整時，基于圖7所示切換點(diǎn)(切換點(diǎn))，將復(fù)合圖像要采用的像素從長時曝光圖像切換至短時曝光圖像，由此合成一個復(fù)合圖像。因此，產(chǎn)生復(fù)合圖像，其具有其中與中-低亮度信號電平對應(yīng)的暗黑部分以良好的灰度等級再現(xiàn)的長時曝光圖像特性、以及其中與高亮度信號電平對應(yīng)的明亮部分以良好的灰度等級再現(xiàn)的短時曝光圖像特性，由此以良好的灰度等級再現(xiàn)明亮部分和暗黑部分。
3.3.1合成部分144的排除處理在上述合成處理(S164)中，復(fù)合圖像的像素不等同地采用長時曝光圖像和短時曝光圖像兩者的亮度信號電平，若沒有與亮度信號電平對應(yīng)的信號量，則進(jìn)行從要合成的目標(biāo)中排除該亮度信號電平的排除處理。
這表示該亮度信號電平未分配給(排除在外)復(fù)合圖像的動態(tài)范圍。因此，可以有效使用要分配給復(fù)合圖像的動態(tài)范圍。
下面將參照圖8和9描述在合成處理(S164)中有效使用動態(tài)范圍的根據(jù)本實(shí)施例的排除處理。圖8為示意性示出根據(jù)本實(shí)施例的長時曝光圖像的亮度信號電平的分布的累積頻率分布圖，圖9為示意性示出根據(jù)本實(shí)施例的短時曝光圖像的亮度信號電平的分布的累積頻率分布圖。
首先，如圖8所示，隨著亮度信號電平朝向中-低亮度區(qū)域中的最高亮度信號電平La(切換亮度信號電平)逐漸變高，信號量累積。當(dāng)亮度信號電平超出La時，在范圍180所示的亮度信號電平范圍中不再累積信號量。因此，在范圍180中，沒有信號或像素。在圖8和9中，水平軸表示輸入到合成部分144中的圖像信號的亮度信號電平，而垂直軸表示累積信號量。
若不存在與亮度信號電平相對應(yīng)的信號或像素，如圖8中所示的范圍180中，與范圍180相對應(yīng)的亮度信號電平從用于合成處理(S164)的目標(biāo)中排除。因此，排除的亮度信號電平未分配給復(fù)合圖像的動態(tài)范圍，由此可以有效使用動態(tài)范圍。
另外，盡管存在與作為高亮度區(qū)域的圖8所示范圍182中的亮度信號電平對應(yīng)的信號或像素，該亮度信號電平將與在后面將提及的圖9所示短時曝光圖像的亮度信號電平交疊。由于特別是長時曝光圖像的高亮度區(qū)域的亮度信號電平與短時曝光圖像的亮度信號電平交疊，該亮度信號電平從用于合成處理(S164)的目標(biāo)中排除。盡管已經(jīng)參照排除交疊的亮度信號電平的情況說明性地描述了根據(jù)本實(shí)施例的合成處理，本發(fā)明不限于此示例，還可以在例如預(yù)先設(shè)置和排除亮度信號電平的情況下進(jìn)行。
即，如圖8所示，與從中排除了范圍180和182的用于合成處理(S164)的長時曝光圖像中的亮度信號電平相對應(yīng)的像素成為復(fù)合圖像所采用的目標(biāo)。因此，合成處理(S164)采用的亮度信號電平的范圍為低于La的范圍。即，通過設(shè)置上述La作為圖7所示的切換點(diǎn)(切換點(diǎn))，可以有效使用長時曝光圖像必需的像素，且可以有效使用復(fù)合圖像的動態(tài)范圍。盡管本實(shí)施例中的La由微型計算機(jī)確定，本發(fā)明不限于此示例，還可以在例如檢測部分143的情況下進(jìn)行。
根據(jù)本實(shí)施例的亮度范圍為每個都具有圖像中預(yù)定亮度信號電平范圍的區(qū)域，且其中亮度相對對應(yīng)于中-低亮度的區(qū)域成為中-低亮度區(qū)域，而其中亮度相對對應(yīng)于高亮度的區(qū)域成為高亮度區(qū)域。然而，本發(fā)明不限于此示例，還可以在例如中-低亮度區(qū)域還分為低亮度區(qū)域和中亮度區(qū)域的情況下進(jìn)行。
隨后，如圖9所示，短時曝光圖像中高亮度區(qū)域的最高亮度信號電平設(shè)置為Lb，對應(yīng)于比Lb低的亮度信號電平的像素成為應(yīng)用于復(fù)合圖像的目標(biāo)。
如前所述，在短時曝光圖像中，若對應(yīng)于一亮度信號電平的像素不存在，將該亮度信號電平從用于合成處理(S164)的目標(biāo)中排除。因此，排除的亮度信號電平未分配給復(fù)合圖像的動態(tài)范圍，由此可以通過將其中灰度等級不存在的部分分配給其它亮度信號電平，而以高使用效率有效使用動態(tài)范圍。
另外，已經(jīng)參照切換點(diǎn)(切換點(diǎn))為La(切換亮度信號電平)的情況下說明性地描述了本實(shí)施例，但本發(fā)明不限于此示例，還可以在使用預(yù)先設(shè)置的亮度信號電平作為切換點(diǎn)的情況下進(jìn)行。
3.4圖像拾取設(shè)備中的壓縮處理(S168)在根據(jù)本實(shí)施例的圖像拾取設(shè)備102的圖像輸出操作中，合成處理(S164)后面的下一步處理為分配處理(S166)，如圖6所示，但將在下面首先描述壓縮處理(S168)。
在合成處理(S164)中合成的復(fù)合圖像的動態(tài)范圍遠(yuǎn)比例如普遍使用的攝像機(jī)類型的圖像的動態(tài)范圍寬。
相應(yīng)地，設(shè)置在作為寬動態(tài)范圍相機(jī)的圖像拾取設(shè)備102中的處理部分(裝置)中沒有能夠處理復(fù)合圖像信號的，從而復(fù)合圖像的動態(tài)范圍需要壓縮成為可處理的動態(tài)范圍(輸出圖像的動態(tài)范圍)。
首先，將在下面參照圖10描述根據(jù)本實(shí)施例的壓縮處理。圖10為示意性示出根據(jù)本實(shí)施例的輸出圖像的輸入/輸出特性的說明圖。在圖10中，水平軸表示輸入至壓縮部分146的圖像信號的亮度信號電平，而垂直軸表示從壓縮部分146輸出的圖像信號的亮度信號電平。
如圖1 0所示，復(fù)合圖像的輸入/輸出特性為復(fù)合輸入/輸出特性202，而其中壓縮了復(fù)合圖像的動態(tài)范圍的輸出圖像的輸入/輸出特性為輸出圖像輸入/輸出特性172。輸出圖像從信號預(yù)處理模塊140作為視頻信號輸出，且發(fā)送至下一個信號后處理模塊(未示出)。
圖10所示復(fù)合圖像的動態(tài)范圍中中-低亮度動態(tài)范圍與高亮度動態(tài)范圍的比例為a∶b，其中b＝1-a。輸出圖像的動態(tài)范圍中中-低亮度動態(tài)范圍與高亮度動態(tài)范圍的比例為m∶n，其中n＝1-m。
根據(jù)本實(shí)施例的動態(tài)范圍(動態(tài)范圍)可以包括作為高亮度區(qū)域的動態(tài)范圍的高亮度動態(tài)范圍和作為中-低亮度區(qū)域的動態(tài)范圍的中-低亮度動態(tài)范圍。
動態(tài)范圍為可以通過圖像拾取裝置(如圖像拾取器)處理的拍攝對象的亮度的范圍，即，可再現(xiàn)灰度等級的范圍。
因此，圖像的亮度或灰度等級根據(jù)拍攝對象的灰度等級應(yīng)分配給上述動態(tài)范圍中高亮度動態(tài)范圍和中-低亮度動態(tài)范圍的比例如何而明顯改變。例如，若輸出圖像的動態(tài)范圍中要對高亮度區(qū)域的灰度等級加權(quán)，則增大m∶n的再現(xiàn)比中n的比例，以增大高亮度動態(tài)范圍的比例，由此再現(xiàn)高亮度區(qū)域灰度等級的細(xì)節(jié)。
隨后，由微型計算機(jī)137找到用于壓縮復(fù)合圖像的動態(tài)范圍的壓縮增益。由微型計算機(jī)137找到的壓縮增益為基于中-低亮度區(qū)域中的La得到的中-低亮度壓縮增益(Gl)，以及基于高亮度區(qū)域中的Lb得到的高亮度壓縮增益(Gs)。
由于在La處，復(fù)合圖像的中-低亮度動態(tài)范圍壓縮至圖10所示的輸出圖像的中-低亮度動態(tài)范圍，中-低亮度壓縮增益(Gl)可以通過以下等式表示Gl＝m/La (等式1)La或Lb由微型計算機(jī)137基于檢測部分43的檢測結(jié)果如亮度信號電平的信號量或頻率分布圖而獲得。
類似地，高亮度壓縮增益由微型計算機(jī)137得出。由于高亮度區(qū)域的范圍持續(xù)至Lb，Lb與La之間的高亮度區(qū)域需要容納在n中。因此，Lb處的高亮度壓縮增益(Gs)可以通過以下等式表示Gs＝n/(Lb-La) (等式2)通過等式(1)和(2)得到的復(fù)合圖像的高亮度動態(tài)范圍和中-低亮度動態(tài)范圍分別由壓縮部分146沿著圖10所示箭頭指示的方向壓縮，復(fù)合圖像的動態(tài)范圍分配給輸出圖像的動態(tài)范圍。
即，可以說復(fù)合圖像的動態(tài)范圍中高亮度動態(tài)范圍與中-低亮度動態(tài)范圍的分配比例被分配給輸出圖像動態(tài)范圍中的高亮度動態(tài)范圍與中-低亮度動態(tài)范圍的分配比例。
另外，分別通過等式(1)和(2)獲得的中-低亮度壓縮增益(Gl)和高亮度壓縮增益(Gs)分別為輸入亮度信號電平La和Lb處的壓縮增益。因此，為精確起見，La與Lb之間的各亮度信號電平處的壓縮增益與Gl或Gs不同。
最終壓縮增益由壓縮增益計算部分145得出。壓縮增益計算部分145基于從微型計算機(jī)137發(fā)送的Gl和Gs得出中-低亮度區(qū)域中每個亮度信號電平處的最終中-低亮度壓縮增益，以及高亮度區(qū)域中每個亮度信號電平處的最終高亮度壓縮增益。隨后，壓縮增益計算部分145將最終高亮度壓縮增益和最終中-低亮度壓縮增益發(fā)送至壓縮部分146。
3.5圖像拾取設(shè)備102的分配處理(S166)下面將參照圖11描述根據(jù)本實(shí)施例的分配處理(S166)。圖11為示意性示出根據(jù)本實(shí)施例的輸出圖像的輸入/輸出特性的說明圖。
與圖10類似，圖11所示的輸出圖像的輸/輸出特性為輸出圖像輸入/輸出特性172，校正的輸出圖像的輸入/輸出特性為校正輸出圖像輸入/輸出特性173，而復(fù)合圖像的輸入/輸出特性為復(fù)合輸入/輸出特性202。輸出圖像的動態(tài)范圍中中-低亮度動態(tài)范圍與高亮度動態(tài)范圍的比例(再現(xiàn)比例)為m∶n，其中n＝1-m。在圖11中，水平軸表示輸入到壓縮部分146的圖像信號的亮度信號電平，而垂直軸表示從壓縮部分146輸出的圖像信號的亮度信號電平。
例如，當(dāng)復(fù)合圖像的高亮度區(qū)域中根本沒有信號時，若通過將復(fù)合圖像的動態(tài)范圍僅分配給作為輸出圖像動態(tài)范圍中中-低亮度區(qū)域的中-低亮度動態(tài)范圍的范圍“m”來再現(xiàn)輸出圖像，則輸出圖像表現(xiàn)出普遍較暗的灰度等級。上述動態(tài)范圍的分配可以認(rèn)為是不適當(dāng)分配或無效分配。
因此，微型計算機(jī)137確定先前輸出的輸出圖像的動態(tài)范圍中高亮度動態(tài)范圍與中-低亮度動態(tài)范圍的比例對于將要重新輸入的復(fù)合圖像是否合適，且如果該比例不合適，微型計算機(jī)137通過將高亮度動態(tài)范圍與中-低亮度動態(tài)范圍的比例改變至合適的比例來進(jìn)行校正。因此，可以實(shí)現(xiàn)有效和合適的動態(tài)范圍分配。
為使得能夠進(jìn)行上述分配，輸出圖像的動態(tài)范圍中高亮度動態(tài)范圍與中-低亮度動態(tài)范圍的分配比例對每個輸入的復(fù)合圖像動態(tài)變化。根據(jù)本實(shí)施例的比例的動態(tài)變化在每次輸入復(fù)合圖像時執(zhí)行，但本發(fā)明不限于此示例，且還可以在每當(dāng)例如輸入5個復(fù)合圖像時改變動態(tài)范圍的分配比例的情況下進(jìn)行。
在高亮度動態(tài)范圍與中-低亮度動態(tài)范圍的分配比例動態(tài)改變中，根據(jù)占據(jù)復(fù)合圖像的高亮度區(qū)域的信號量，來校正高亮度動態(tài)范圍與中-低亮度動態(tài)范圍的比例，即m∶n。
根據(jù)本實(shí)施例的高亮度動態(tài)范圍與中-低亮度動態(tài)范圍的比例校正基于從高亮度區(qū)域的信號量(高亮度區(qū)域的面積)得出的高亮度區(qū)域的比例或高亮度區(qū)域的平均亮度信號電平進(jìn)行。高亮度區(qū)域面積的情況和高亮度區(qū)域平均亮度信號電平的情況將在下面分別描述。
現(xiàn)在，將參照根據(jù)占據(jù)復(fù)合圖像的高亮度區(qū)域進(jìn)行校正的情況說明性地描述根據(jù)本實(shí)施例的動態(tài)范圍校正，但本發(fā)明不限于此示例，還可以在基于從低亮度區(qū)域或中-低亮度區(qū)域的信號量得到的面積或平均亮度信號電平來校正動態(tài)范圍的情況下執(zhí)行。
3.5.1基于高亮度區(qū)域面積的分配處理(S166)若用m′∶n′來表示通過校正中-低亮度動態(tài)范圍與高亮度動態(tài)范圍的比例(m∶n)獲得的校正比例，m′和n′可以通過以下等式表示m′＝f(x)×n+m (等式3)n′＝1-m′ (等式4)在等式(3)中，f(x)為基于高亮度區(qū)域面積的校正函數(shù)。校正函數(shù)f(x)的輸入/輸出特性將在下面參照圖12描述。圖12為示意性示出基于高亮度區(qū)域面積的校正函數(shù)的說明圖。
如圖12所示，校正函數(shù)的輸入/輸出特性為面積輸入/輸出特性220。水平軸表示復(fù)合圖像中高亮度區(qū)域面積的比例，而垂直軸表示校正函數(shù)f(x)的校正值。
如圖12所示，當(dāng)高亮度區(qū)域的面積比例低于Rb而不低于Ra時，校正函數(shù)f(x)的校正值取從“1.0”至“0”的任意值。另外，校正比例的m′和n′從等式(3)和(4)得到，由此進(jìn)行分配處理(S166)。若面積比例不低于Ra，則在分配處理(S166)中將整個高亮度動態(tài)范圍分配給中-低亮度動態(tài)范圍，而若面積比例超出Rb，則不執(zhí)行分配處理(S166)，且高亮度動態(tài)范圍與中-低亮度動態(tài)范圍的比例保持不變。
因此，如圖11和12所示，若高亮度區(qū)域的面積比例低于Rb而不低于Ra，則隨著高亮度區(qū)域的面積比例接近Ra，校正比例m′增大。即，校正輸出圖像輸入/輸出特性173在La軸上沿垂直向上的方向移動。這一事實(shí)意味著由于高亮度區(qū)域減少，高亮度動態(tài)范圍分配給中-低亮度動態(tài)范圍的比例增大。相反，隨著高亮度區(qū)域的面積比例接近Rb，校正比例m′減小，且圖11所示的校正輸出圖形輸入/輸出特性在La軸上沿垂直向下的方向移動，并接近m。
另外，如圖12所示，若高亮度區(qū)域的面積比例低于Ra，則將輸出圖像分配給高亮度區(qū)域的所有高亮度動態(tài)范圍分配給中-低亮度動態(tài)范圍。
因此，隨著高亮度區(qū)域減小，要分配給中-低亮度動態(tài)范圍的動態(tài)范圍的比例增大，由此中-低亮度區(qū)域的灰度等級可再現(xiàn)性得到改善。即，對于每個輸入的輸出圖像，高亮度動態(tài)范圍與中-低亮度動態(tài)范圍的比例根據(jù)其高亮度區(qū)域的信號量而動態(tài)改變，由此將動態(tài)范圍校正為適于該輸出圖像的動態(tài)范圍。
盡管上述描述涉及根據(jù)本實(shí)施例的校正函數(shù)f(x)繪出單調(diào)變化的示例，但是本發(fā)明不限于此示例，還可以在校正函數(shù)f(x)繪出例如二次曲線的情況下進(jìn)行。
基于高亮度區(qū)域的平均亮度信號電平的分配處理(S166)具有與基于高亮度區(qū)域面積的分配處理(S166)近似相同的構(gòu)造，且如圖13所示，基于高亮度區(qū)域的平均亮度信號電平的輸入/輸出特性呈現(xiàn)(assume)為平均亮度信號電平230，水平軸表示高亮度區(qū)域的平均亮度信號電平。
因此，如圖11和13所示，若高亮度區(qū)域的平均亮度信號電平低于Rb而不低于Ra，則隨著高亮度區(qū)域的面積比接近Ra，校正比例的m′增大。即，校正輸出圖像輸入/輸出特性173在La軸上沿垂直向上的方向移動。這一事實(shí)意味著由于高亮度區(qū)域減小，高亮度動態(tài)范圍分配給中-低亮度動態(tài)范圍的比例增大。
另外，如圖13所示，若高亮度區(qū)域的平均亮度信號電平低于Ra，則輸出圖像分配給高亮度區(qū)域的所有高亮度動態(tài)范圍分配給中-低亮度動態(tài)范圍。
因此，隨著高亮度區(qū)域的信號量減小，要分配給中-低亮度動態(tài)范圍的動態(tài)范圍的比例增大，由此改善了中-低亮度區(qū)域的灰度等級可再現(xiàn)性。即，對于每個輸入的輸出圖像，高亮度動態(tài)范圍與中-低亮度動態(tài)范圍的比例根據(jù)其高亮度區(qū)域的信號量而動態(tài)改變，由此將動態(tài)范圍校正為適于該輸出圖像的動態(tài)范圍。順便說一句，校正比例的m′和n′由微型計算機(jī)137得到。
另外，根據(jù)本實(shí)施例的Ra和Rb可以根據(jù)圖像拾取設(shè)備102的特性、要拾取其圖像的拍攝對象的種類等而適當(dāng)?shù)馗淖儭?br> 另外，本發(fā)明還可以在結(jié)合使用高亮度區(qū)域的面積及其平均亮度信號電平的情況下進(jìn)行。在此情況下，若x和x′分別用于表示高亮度區(qū)域面積比例和高亮度部分的平均亮度信號電平，則校正函數(shù)表示為F(x，x′)。另外，若校正比如上所述為m′∶n′，m′和n′可以通過以下等式表示m′＝F(x，x′)×n+m(等式5)n′＝1-m′ (等式6)由于等式(5)和(6)具有與上述等式近似相同的構(gòu)造，所以略去對等式(5)和(6)的詳細(xì)描述。
當(dāng)完成了壓縮處理(S168)時，壓縮部分146將輸出圖像作為視頻信號發(fā)送至信號后處理模塊，且完成一系列圖像輸出操作。
根據(jù)本實(shí)施例的動態(tài)范圍可以包括作為具有相對對應(yīng)于中-低亮度的亮度的區(qū)域的動態(tài)范圍的中-低亮度動態(tài)范圍、以及具有相對對應(yīng)于高亮度的亮度的區(qū)域的動態(tài)范圍的高亮度動態(tài)范圍。然而，本發(fā)明不限于此示例，還可以在例如還將中-低亮度動態(tài)范圍分為低亮度動態(tài)范圍和中亮度動態(tài)范圍的情況下進(jìn)行。
盡管上面已經(jīng)參照附圖描述了本發(fā)明的優(yōu)選實(shí)施例，但是本發(fā)明不限于此示例。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)可以容易地了解，在不脫離由所附權(quán)利要求闡述的技術(shù)思想的情況下，可以進(jìn)行各種改變或調(diào)整，且所有這些改變和調(diào)整自然地被視為落入本發(fā)明的技術(shù)范圍內(nèi)。
盡管上面對實(shí)施例的描述涉及圖像拾取設(shè)備102拾取黑白圖像的示例，但是本發(fā)明不限于此示例，而是還可以在圖像拾取設(shè)備102拾取例如彩色圖像或既拾取彩色圖像又拾取黑白圖像的情況下進(jìn)行。
工業(yè)實(shí)用性如上所述，根據(jù)本發(fā)明，分別分配給長時曝光圖像和短時曝光圖像的動態(tài)范圍根據(jù)高亮度區(qū)域的面積或高亮度部分的平均亮度信號電平而動態(tài)改變，由此可以以例如恒定保持在最優(yōu)條件下的灰度等級和曝光度再現(xiàn)圖像。另外，在合成期間，將諸如不存在信號的亮度信號電平范圍或與短時曝光圖像交疊的亮度信號電平的不必要部分從長時曝光圖像中排除，由此可以更有效地使用動態(tài)范圍。
權(quán)利要求
1.一種圖像拾取設(shè)備，其特征在于，該圖像拾取設(shè)備包括圖像拾取裝置，用于拾取拍攝對象的圖像；信號處理部分，用于通過合成由所述圖像拾取裝置以相對長的曝光時間拾取的長時曝光圖像和由所述圖像拾取裝置以相對短的曝光時間拾取的短時曝光圖像，產(chǎn)生具有至少比所述長時曝光圖像或所述短時曝光圖像的動態(tài)范圍相對更寬的動態(tài)范圍的復(fù)合圖像；以及控制部分，用于壓縮所述復(fù)合圖像，并動態(tài)地改變要作為視頻信號輸出的輸出圖像的動態(tài)范圍中高亮度動態(tài)范圍與中-低亮度動態(tài)范圍的分配比例。
2.根據(jù)權(quán)利要求1所述的圖像拾取設(shè)備，其特征在于，所述控制部分至少根據(jù)占據(jù)所述復(fù)合圖像的一亮度區(qū)域而動態(tài)地改變所述高亮度動態(tài)范圍與所述中-低亮度動態(tài)范圍的所述分配比例。
3.根據(jù)權(quán)利要求1所述的圖像拾取設(shè)備，其特征在于，所述控制部分在每次產(chǎn)生所述復(fù)合圖像時校正所述高亮度動態(tài)范圍與所述中-低亮度動態(tài)范圍的所述分配比例。
4.根據(jù)權(quán)利要求3所述的圖像拾取設(shè)備，其特征在于，所述亮度區(qū)域至少為高亮度區(qū)域或中-低亮度區(qū)域。
5.根據(jù)權(quán)利要求1所述的圖像拾取設(shè)備，其特征在于，所述控制部分至少根據(jù)占據(jù)所述復(fù)合圖像的所述高亮度區(qū)域的平均亮度信號電平而動態(tài)地改變所述高亮度動態(tài)范圍與所述低亮度動態(tài)范圍的所述分配比例。
6.根據(jù)權(quán)利要求1所述的圖像拾取設(shè)備，其特征在于，所述控制部分至少根據(jù)占據(jù)所述復(fù)合圖像的所述中-低亮度區(qū)域的平均亮度信號電平而動態(tài)地改變所述高亮度動態(tài)范圍與所述中-低亮度動態(tài)范圍的所述分配比例。
7.根據(jù)權(quán)利要求1所述的圖像拾取設(shè)備，其特征在于，所述控制部分至少根據(jù)占據(jù)所述復(fù)合圖像的所述高亮度區(qū)域而動態(tài)地改變所述高亮度動態(tài)范圍與所述中-低亮度動態(tài)范圍的所述分配比例。
8.根據(jù)權(quán)利要求1所述的圖像拾取設(shè)備，其特征在于，所述控制部分至少根據(jù)占據(jù)所述復(fù)合圖像的所述中-低亮度區(qū)域而動態(tài)地改變所述高亮度動態(tài)范圍與所述中-低亮度動態(tài)范圍的所述分配比例。
9.根據(jù)權(quán)利要求8所述的圖像拾取設(shè)備，其特征在于，所述控制部分至少單調(diào)地改變所述高亮度動態(tài)范圍與所述中-低亮度動態(tài)范圍的所述分配比例。
10.一種圖像拾取設(shè)備，其特征在于，該圖像拾取設(shè)備包括圖像拾取裝置，用于拾取拍攝對象的圖像；信號處理部分，用于通過合成由所述圖像拾取裝置以相對長的曝光時間拾取的長時曝光圖像和由所述圖像拾取裝置以相對短的曝光時間拾取的短時曝光圖像，產(chǎn)生具有至少比所述長時曝光圖像或所述短時曝光圖像的動態(tài)范圍相對更寬的動態(tài)范圍的復(fù)合圖像；以及控制部分，用于壓縮所述復(fù)合圖像，并動態(tài)地將所述復(fù)合圖像的動態(tài)范圍分配給要作為視頻信號輸出的輸出圖像的動態(tài)范圍。
11.根據(jù)權(quán)利要求10所述的圖像拾取設(shè)備，其特征在于，所述控制部分至少根據(jù)占據(jù)所述復(fù)合圖像的一亮度區(qū)域而動態(tài)地將所述復(fù)合圖像的動態(tài)范圍分配給所述輸出圖像的動態(tài)范圍。
12.根據(jù)權(quán)利要求10所述的圖像拾取設(shè)備，其特征在于，所述控制部分在每次產(chǎn)生所述復(fù)合圖像時動態(tài)地將所述復(fù)合圖像的動態(tài)范圍分配給所述輸出圖像的動態(tài)范圍。
13.根據(jù)權(quán)利要求10所述的圖像拾取設(shè)備，其特征在于，所述控制部分至少根據(jù)占據(jù)所述復(fù)合圖像的高亮度區(qū)域而動態(tài)地將所述復(fù)合圖像的動態(tài)范圍分配給所述輸出圖像的動態(tài)范圍。
14.根據(jù)權(quán)利要求10所述的圖像拾取設(shè)備，其特征在于，所述控制部分至少根據(jù)占據(jù)所述復(fù)合圖像的所述高亮度區(qū)域的平均亮度信號電平而動態(tài)地將所述復(fù)合圖像的動態(tài)范圍分配給所述輸出圖像的動態(tài)范圍。
15.根據(jù)權(quán)利要求10所述的圖像拾取設(shè)備，其特征在于，所述動態(tài)范圍至少為高亮度動態(tài)范圍或中-低亮度動態(tài)范圍。
16.根據(jù)權(quán)利要求15所述的圖像拾取設(shè)備，其特征在于，所述控制部分根據(jù)占據(jù)所述復(fù)合圖像的所述高亮度區(qū)域而動態(tài)地分配對所述輸出圖像的至少所述高亮度動態(tài)范圍或所述中-低亮度動態(tài)范圍的分配。
17.根據(jù)權(quán)利要求15所述的圖像拾取設(shè)備，其特征在于，所述控制部分根據(jù)占據(jù)所述復(fù)合圖像的所述高亮度區(qū)域而動態(tài)地分配對所述輸出圖像的至少所述高亮度動態(tài)范圍或所述中-低亮度動態(tài)范圍的分配。
18.根據(jù)權(quán)利要求15所述的圖像拾取設(shè)備，其特征在于，所述控制部分至少根據(jù)占據(jù)所述復(fù)合圖像的所述高亮度區(qū)域的減少而動態(tài)地將所述輸出圖像的所述高亮度動態(tài)范圍的一部分分配給所述中-低亮度動態(tài)范圍。
19.根據(jù)權(quán)利要求15所述的圖像拾取設(shè)備，其特征在于，所述控制部分至少根據(jù)占據(jù)所述復(fù)合圖像的所述高亮度區(qū)域的平均亮度信號電平的減小而動態(tài)地將所述輸出圖像的所述高亮度動態(tài)范圍的一部分分配給所述中-低亮度動態(tài)范圍。
20.根據(jù)權(quán)利要求15所述的圖像拾取設(shè)備，其特征在于，所述控制部分至少根據(jù)占據(jù)所述復(fù)合圖像的所述高亮度區(qū)域的增加而動態(tài)地將所述輸出圖像的所述中-低亮度動態(tài)范圍的一部分分配給所述高亮度動態(tài)范圍。
21.根據(jù)權(quán)利要求15所述的圖像拾取設(shè)備，其特征在于，所述控制部分至少根據(jù)占據(jù)所述復(fù)合圖像的所述高亮度區(qū)域的平均亮度信號電平的增加而動態(tài)地將所述輸出圖像的所述中-低亮度動態(tài)范圍的一部分分配給所述高亮度動態(tài)范圍。
22.根據(jù)權(quán)利要求21所述的圖像拾取設(shè)備，其特征在于，所述控制部分至少單調(diào)地改變所述輸出圖像的所述高亮度動態(tài)范圍與所述中-低亮度動態(tài)范圍的分配比例。
23.一種圖像拾取設(shè)備，其特征在于，該圖像拾取設(shè)備包括圖像拾取裝置，用于拾取拍攝對象的圖像；檢測部分，用于檢測由所述圖像拾取裝置以相對長的曝光時間拾取的長時曝光圖像的圖像信號、以及由所述圖像拾取裝置以相對短的曝光時間拾取的短時曝光圖像的圖像信號；合成部分，用于基于從所述圖像信號確定的切換亮度信號電平，從所述長時曝光圖像和所述短時曝光圖像產(chǎn)生復(fù)合圖像；控制部分，用于根據(jù)占據(jù)所述復(fù)合圖像的一亮度區(qū)域壓縮所述復(fù)合圖像，并動態(tài)地分配要作為視頻信號輸出的輸出圖像的動態(tài)范圍；以及壓縮部分，用于基于對所述輸出圖像的所述動態(tài)范圍的動態(tài)分配，壓縮所述復(fù)合圖像的動態(tài)范圍。
24.根據(jù)權(quán)利要求23所述的圖像拾取設(shè)備，其特征在于，所述亮度區(qū)域至少為高亮度區(qū)域或中-低亮度區(qū)域。
25.根據(jù)權(quán)利要求23所述的圖像拾取設(shè)備，其特征在于，所述合成部分從所述短時曝光圖像中獲取構(gòu)成所述復(fù)合圖像的像素中至少與比所述切換亮度信號電平更高的亮度信號電平相對應(yīng)的所述像素。
26.根據(jù)權(quán)利要求23所述的圖像拾取設(shè)備，其特征在于，所述合成部分從所述長時曝光圖像中獲取構(gòu)成所述復(fù)合圖像的像素中至少與比所述切換亮度信號電平更低的亮度信號電平相對應(yīng)的所述像素。
27.根據(jù)權(quán)利要求23所述的圖像拾取設(shè)備，其特征在于，所述動態(tài)范圍至少為高亮度動態(tài)范圍或中-低亮度動態(tài)范圍。
28.根據(jù)權(quán)利要求23所述的圖像拾取設(shè)備，其特征在于，所述控制部分至少基于所述輸出圖像的高亮度動態(tài)范圍與其中-低亮度動態(tài)范圍的分配比例來確定壓縮所述復(fù)合圖像的亮度信號電平的壓縮增益。
29.根據(jù)權(quán)利要求23所述的圖像拾取設(shè)備，其特征在于，所述控制部分至少確定用于壓縮所述復(fù)合圖像中所述高亮度區(qū)域的亮度信號電平的高亮度壓縮增益和用于壓縮所述中-低亮度區(qū)域的亮度信號電平的中-低亮度壓縮增益。
30.根據(jù)權(quán)利要求23所述的圖像拾取設(shè)備，其特征在于，所述控制部分還包括壓縮增益計算部分，用于至少基于所述高亮度壓縮增益或所述中-低亮度壓縮增益，為所述復(fù)合圖像的每個亮度信號電平至少確定要由所述壓縮部分使用的最終高亮度壓縮增益或最終中-低亮度壓縮增益。
31.根據(jù)權(quán)利要求23所述的圖像拾取設(shè)備，其特征在于，所述控制部分至少根據(jù)占據(jù)所述復(fù)合圖像的所述高亮度區(qū)域而動態(tài)地改變所述輸出圖像的所述高亮度動態(tài)范圍與所述中-低亮度動態(tài)范圍之間的分配比例。
32.根據(jù)權(quán)利要求31所述的圖像拾取設(shè)備，其特征在于，所述控制部分至少單調(diào)地改變所述輸出圖像的所述高亮度動態(tài)范圍與所述中-低亮度動態(tài)范圍的分配比例。
33.一種圖像拾取設(shè)備，其特征在于，該圖像拾取設(shè)備包括圖像拾取裝置，用于拾取拍攝對象的圖像；檢測部分，用于檢測由所述圖像拾取裝置以相對長的曝光時間拾取的長時曝光圖像的圖像信號、以及由所述圖像拾取裝置以相對短的曝光時間拾取的短時曝光圖像的圖像信號；合成部分，用于在至少對應(yīng)于所述長時曝光圖像或所述短時曝光圖像的一亮度信號電平的所述圖像信號不存在時，從要合成的目標(biāo)中排除所述亮度信號電平，并基于所述切換亮度信號電平合成所述長時曝光圖像和所述短時曝光圖像；控制部分，根據(jù)占據(jù)其中合成了所述長時曝光圖像和所述短時曝光圖像的所述復(fù)合圖像的一亮度區(qū)域，動態(tài)地分配其中壓縮了復(fù)合圖像的要作為視頻信號輸出的輸出圖像的動態(tài)范圍；以及壓縮部分，用于基于對所述輸出圖像的所述動態(tài)范圍的動態(tài)分配，壓縮所述復(fù)合圖像的動態(tài)范圍。
34.根據(jù)權(quán)利要求33所述的圖像拾取設(shè)備，其特征在于，所述合成部分選擇所述長時曝光圖像中低于所述切換亮度信號電平的所述亮度信號電平，作為所述復(fù)合圖像的目標(biāo)。
35.根據(jù)權(quán)利要求33所述的圖像拾取設(shè)備，其特征在于，所述合成部分選擇所述短時曝光圖像中高于所述切換亮度信號電平的所述亮度信號電平，作為所述復(fù)合圖像的目標(biāo)。
36.根據(jù)權(quán)利要求33所述的圖像拾取設(shè)備，其特征在于，所述亮度區(qū)域至少為高亮度區(qū)域或中-低亮度區(qū)域。
37.根據(jù)權(quán)利要求33所述的圖像拾取設(shè)備，其特征在于，所述動態(tài)范圍至少為高亮度動態(tài)范圍或中-低亮度動態(tài)范圍。
38.根據(jù)權(quán)利要求33所述的圖像拾取設(shè)備，其特征在于，所述控制部分至少根據(jù)占據(jù)所述復(fù)合圖像的高亮度區(qū)域而動態(tài)地改變所述輸出圖像的所述高亮度動態(tài)范圍與所述中-低亮度動態(tài)范圍的分配比例。
全文摘要
提供了一種能夠根據(jù)拍攝對象在動態(tài)范圍動態(tài)分配輸出圖像的攝像裝置。該攝像裝置包括攝像部件(131)，用于攝取拍攝對象的圖像；信號處理部分(133)，用于組合由攝像部件攝取的具有相對長的曝光時間的長時曝光圖像和由攝像部件攝取的具有相對短的曝光時間的短時曝光圖像，從而產(chǎn)生具有至少比長時曝光圖像或短時曝光圖像的動態(tài)范圍更寬的動態(tài)范圍的組合圖像；以及控制部分(137)，用于壓縮該組合圖像，并動態(tài)地修改要作為視頻信號輸出的輸出圖像的動態(tài)范圍中高亮度動態(tài)范圍與中等亮度和低亮度動態(tài)范圍的分布比例。
文檔編號H04N5/378GK1685710SQ0382301
公開日2005年10月19日 申請日期2003年9月18日 優(yōu)先權(quán)日2002年9月25日
發(fā)明者岡村敬介 申請人:索尼株式會社