專利名稱：攝像設(shè)備及其控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種攝像設(shè)備及其控制方法。
背景技術(shù)：
迄今為止，使用CXD圖像傳感器或CMOS圖像傳感器等的圖像傳感器的數(shù)字靜止照相機和數(shù)字攝像機已經(jīng)廣泛應(yīng)用。然而，與鹵化銀膠片相比較，這些圖像傳感器的動態(tài)范 圍(幅度)較窄。由于該原因，當拍攝高對比度場景時，趨于出現(xiàn)低亮度部分中的色調(diào)細節(jié) 的丟失(暗部缺失(plugged-up shadow))和高亮度部分中的色調(diào)細節(jié)的丟失(高光溢出 (blown-outhighlight))。針對這些問題，已經(jīng)提出能夠自動控制動態(tài)范圍的系統(tǒng)。例如，在日本特開2005-209012中，提出了 在根據(jù)所拍攝圖像檢測到主被攝體背光或者主被攝體處于高對比度場景中的情況下，根據(jù)圖像的直方圖指定黑色飽和點和白色 飽和點，并且進行色調(diào)校正，使得主被攝體的亮度適當。此外，在日本特開2004-186876中，提出了 使用配置有高感光度光接收元件和低感光度光接收元件的圖像傳感器，通過利用具有不同感光度的光接收元件拍攝同一場景來 獲取具有不同的動態(tài)范圍的兩類圖像，并且根據(jù)場景分析結(jié)果合成這些所拍攝圖像。還存在具有以下拍攝模式(高光色調(diào)優(yōu)先模式)的數(shù)字照相機(Canon EOS 5D Mark II)將感光度設(shè)置范圍朝高感光度側(cè)移動一級，并且抑制高亮度部分中的高光溢出。然而，利用日本特開2005-209012的方法，盡管具有增大視覺反差的效果，但由于傳感器變?yōu)轱柡偷狞c沒有改變，因而沒有獲得加寬動態(tài)范圍的效果。此外，利用日本特開2004-186876的方法，獲得了加寬動態(tài)范圍的效果，但由于需要使用配置有具有不同感光度的光接收元件的特殊圖像傳感器，因而涉及成本問題。此外，在具有色調(diào)優(yōu)先模式的數(shù)字照相機中，為了獲得高亮度部分中的高光溢出被抑制的攝像結(jié)果，用戶需要在進行攝像之前明確設(shè)置色調(diào)優(yōu)先模式。此外，根據(jù)場景，在 進行攝像時，可能出現(xiàn)以下情況色調(diào)優(yōu)先模式的效果實際上不明顯，或者優(yōu)先其它條件而 不是抑制高亮度部分中的高光溢出更佳。例如，在被攝體是風景的情況下，期望高亮度部分 中不存在高光溢出，而在被攝體是人物的情況下，即使背景略微溢出，也期望人物的面部的 亮度適當。換言之，為了通過利用色調(diào)優(yōu)先模式獲得適當?shù)臄z像結(jié)果，除設(shè)置色調(diào)優(yōu)先模式 以外，還要求用戶能夠適當?shù)嘏袆e場景。

發(fā)明內(nèi)容
考慮到現(xiàn)有技術(shù)的這種問題做出了本發(fā)明。本發(fā)明提供能夠在考慮了被攝體和場 景的動態(tài)范圍中進行攝像的攝像設(shè)備及其控制方法。 根據(jù)本發(fā)明的第一方面，提供一種攝像設(shè)備，包括場景判斷部件，用于基于與在 拍攝靜止圖像之前所拍攝的運動圖像有關(guān)的信息，進行場景判斷；以及控制部件，用于控制 所述攝像設(shè)備以拍攝圖像，并且基于來自所述場景判斷部件的輸出，執(zhí)行如下兩個處理之一動態(tài)范圍擴大處理，用于以減小了的ISO感光度拍攝靜止圖像，并對所拍攝的靜止圖像 應(yīng)用用于補償ISO感光度的減小的色調(diào)校正；以及動態(tài)范圍縮小處理，用于拍攝靜止圖像， 并基于所述運動圖像或所拍攝的靜止圖像的高亮度部分的特性，對所拍攝的靜止圖像應(yīng)用 用于增大所拍攝的靜止圖像的低亮度部分的亮度的色調(diào)校正。根據(jù)本發(fā)明的第二方面，提供一種攝像設(shè)備的控制方法，包括場景判斷步驟，用于基于在拍攝靜止圖像之前所拍攝的運動圖像，進行場景判斷；以及控制步驟，用于控制攝 像操作，其中，在所述控制步驟中，基于在所述場景判斷步驟中進行所述場景判斷的結(jié)果， 執(zhí)行如下兩個處理之一動態(tài)范圍擴大處理，用于以減小了的ISO感光度拍攝靜止圖像，并 對所拍攝的靜止圖像應(yīng)用用于補償ISO感光度的減小的色調(diào)校正；以及動態(tài)范圍縮小處 理，用于拍攝靜止圖像，并基于所述運動圖像或所拍攝的靜止圖像的高亮度部分的特性，對 所拍攝的靜止圖像應(yīng)用用于增大所拍攝的靜止圖像的低亮度部分的亮度的色調(diào)校正。根據(jù)以下參考附圖對典型實施例的說明，本發(fā)明的其它特征將變得明顯。


圖1是示出根據(jù)本發(fā)明實施例的攝像設(shè)備的示例結(jié)構(gòu)的框圖。圖2A 2D示意性示出從原始圖像檢測面部的處理。圖3是示出根據(jù)本發(fā)明實施例的攝像設(shè)備的面部檢測電路中的面部檢測操作的 流程圖。圖4是示出CIE LW顏色空間中的代表顏色的色度圖。圖5A示出由根據(jù)本發(fā)明實施例的攝像設(shè)備的面部檢測電路所使用的二維高通濾 波器的示例系數(shù)。圖5B示出當在根據(jù)本發(fā)明實施例的攝像設(shè)備中判斷場景是否是背光場景時的示 例區(qū)域分割。圖6是示出根據(jù)本發(fā)明實施例的攝像設(shè)備的AFE電路的示例結(jié)構(gòu)的框圖。圖7示意性示出由根據(jù)本發(fā)明實施例的攝像設(shè)備的直方圖創(chuàng)建電路所創(chuàng)建的示 例直方圖。圖8是示出根據(jù)本發(fā)明實施例的攝像設(shè)備中在拍攝靜止圖像待機期間的信號處 理的流程的框圖。圖9是示出根據(jù)本發(fā)明實施例的攝像設(shè)備中用于確定動態(tài)范圍(D范圍)擴大量 的操作的流程圖。圖IOA IOD示出根據(jù)本發(fā)明實施例的攝像設(shè)備中根據(jù)面部區(qū)域的D范圍擴大量 的大小和整個圖像的D范圍擴大量的大小所確定的最終D范圍擴大量的具體示例。圖IlA是根據(jù)本發(fā)明實施例的攝像設(shè)備中的D范圍的概念圖。圖IlB示出根據(jù)本發(fā)明實施例的攝像設(shè)備中AE目標值、飽和信號值和D范圍之間 的關(guān)系的示例。圖12A和12B示出根據(jù)本發(fā)明實施例的攝像設(shè)備的信號處理電路中的色調(diào)特性的 示例設(shè)置。圖13A和13B是示出根據(jù)本發(fā)明實施例的攝像設(shè)備中的實際攝像處理的操作的流 程圖。
圖14A和14B示出根據(jù)本發(fā)明實施例的攝像設(shè)備中當判斷為場景是夜間場景時所 選擇的色調(diào)特性的示例。圖15是示出根據(jù)本發(fā)明實施例的攝像設(shè)備中用于確定動態(tài)范圍縮小量(D-)的操 作的流程圖。圖16示出根據(jù)本發(fā)明實施例的攝像設(shè)備中依賴于圖15的S504中計算出的增益 值Gain_yhp的最終值和ISO感光度的最終增益增大量之間的關(guān)系的示例。圖17A和17B示出根據(jù)本發(fā)明實施例的攝像設(shè)備中增益增大量和色調(diào)特性設(shè)置值之間的關(guān)系。圖18示出根據(jù)本發(fā)明實施例的攝像設(shè)備中與場景判斷結(jié)果相應(yīng)的在曝光控制、動態(tài)范圍擴大處理(D+)、動態(tài)范圍縮小處理(D-)和夜間場景的色調(diào)特性的設(shè)置之間的關(guān) 系的示例。
具體實施例方式現(xiàn)在，將根據(jù)附圖來詳細說明本發(fā)明的優(yōu)選實施例。圖1是示出根據(jù)本發(fā)明實施例的攝像設(shè)備的示例結(jié)構(gòu)的框圖。本實施例的攝像設(shè) 備包含具有使用圖像傳感器來拍攝圖像的功能的任意設(shè)備。這種設(shè)備包括包含或連接至照 相機的移動電話、PDA和個人計算機以及數(shù)字靜止照相機和數(shù)字攝像機。在圖1中，操作單元112包括按鈕、開關(guān)等，并且由用戶用來對攝像設(shè)備給出指令 并配置設(shè)置。操作單元112還包括快門按鈕，并且在本實施例中，操作單元112能夠檢測快 門按鈕的半按下狀態(tài)和全按下狀態(tài)。系統(tǒng)控制器107將快門按鈕的半按下狀態(tài)看作為攝像準備指令，并將快門按鈕的 全按下狀態(tài)看作為攝像開始指令。例如，系統(tǒng)控制器107包括CPU、R0M和RAM，并且作為CPU 使用RAM執(zhí)行ROM中存儲的程序的結(jié)果，控制攝像設(shè)備的整體操作。姿態(tài)傳感器133檢測攝像設(shè)備的姿態(tài)，并將檢測結(jié)果輸出至系統(tǒng)控制器107。系統(tǒng) 控制器107基于來自姿態(tài)傳感器133的輸出，判斷攝像設(shè)備的姿態(tài)是垂直還是水平。注意， 姿態(tài)傳感器133可以判斷攝像設(shè)備的姿態(tài)是垂直還是水平，并將判斷結(jié)果輸出至系統(tǒng)控制 器 107。鏡頭設(shè)備200具有包括調(diào)焦透鏡的透鏡組、驅(qū)動調(diào)焦透鏡的驅(qū)動設(shè)備、光圈和機 械快門，并且在系統(tǒng)控制器107的控制下工作。圖像傳感器101是CXD圖像傳感器或CMOS圖像傳感器等的光電轉(zhuǎn)換元件。模擬 前端(AFE)電路150對從圖像傳感器101輸出的模擬圖像信號進行增益調(diào)整、A/D轉(zhuǎn)換等， 并將結(jié)果作為數(shù)字圖像信號而輸出。后面將詳細說明AFE電路150。緩沖存儲器103臨時存儲由AFE電路150輸出的數(shù)字圖像信號。壓縮/解壓縮電路104將所拍攝圖像數(shù)據(jù)編碼為記錄用的圖像文件(例如，JPEG 文件)格式，并對從記錄介質(zhì)106讀取的圖像文件進行解碼。記錄設(shè)備105在系統(tǒng)控制器107的控制下，針對內(nèi)置存儲器或可移除存儲卡等的 記錄介質(zhì)106進行數(shù)據(jù)的讀取和寫入。顯示控制電路108在系統(tǒng)控制器107的控制下，控制包括IXD等的顯示裝置的顯 示單元110的顯示操作。
D/A轉(zhuǎn)換器109將由顯示控制電路108輸出的顯示用數(shù)字圖像信號轉(zhuǎn)換成顯示單 元110能夠顯示的模擬圖像信號。顯示單元110進行用于由用戶針對攝像設(shè)備配置各種設(shè)置并給出指令的⑶I窗口的顯示，進行與攝像設(shè)備有關(guān)的各類信息等的顯示，并進行所拍攝圖像的顯示。此外， 可以通過在顯示單元110上順次顯示連續(xù)拍攝到的圖像，使顯示單元110用作電子取景器 (EVF)。這種使顯示單元110用作EVF的順次攝像/顯示操作還被稱為“通過鏡頭查看”或 “實時取景”。該順次攝像操作實質(zhì)相當于針對運動圖像的攝像操作，并且為EVF使用而拍 攝和顯示的圖像實際上是運動圖像。面部檢測電路120進行作為用于從所拍攝圖像檢測人物的示例方法的面部檢測。 面部檢測電路120對緩沖存儲器103中所存儲的YUV格式或RAW格式的圖像數(shù)據(jù)進行面部 檢測處理，并將包括圖像中面部區(qū)域的大小和位置的面部檢測結(jié)果輸出至直方圖創(chuàng)建電路 130。沒有特別限制由面部檢測電路120所使用的面部檢測方法，并且可以應(yīng)用任意已知方法。對于已知面部檢測技術(shù)，已經(jīng)提出了包括以下的許多不同的方法基于使用神經(jīng)網(wǎng) 絡(luò)等的學習的方法，使用模板匹配從圖像檢索眼睛、鼻子和嘴等具有特征形狀的部位、并且 如果類似度較高則將這些部位看作為面部的方法，以及檢測肌膚的顏色和眼睛的形狀等的 圖像特征量、并對這些圖像特征使用統(tǒng)計分析的方法?？梢越M合這些方法中的多個方法以 提高面部檢測的精度。具體例子包括如日本特開2002-251380所公開的、使用子波變換和 圖像特征量的面部檢測的方法。這里，將參考圖2A 圖5A來說明面部檢測電路120的面部檢測操作的具體示例。圖2A 2D示意性示出從原始圖像檢測面部的處理，其中，圖2A示出原始圖像。圖3是示出面部檢測電路120的面部檢測操作的流程圖。在SlOl中，面部檢測電路120從原始圖像提取肌膚色區(qū)域。圖4是示出CIE LW 顏色空間中的代表顏色的色度圖，并且中間的橢圓是最有可能為肌膚色的區(qū)域。面部檢測電路120利用已知方法將RGB原始圖像數(shù)據(jù)轉(zhuǎn)換成LW格式，并且提取包括具有由圖4中的橢圓示出的區(qū)域的色度的像素的肌膚色區(qū)域。圖2B示意性示出從 原始圖像提取出的肌膚色區(qū)域。接著，在S102中，面部檢測電路120從提取出的肌膚色區(qū)域提取高頻成分。具體 地，面部檢測電路120對該肌膚色區(qū)域應(yīng)用高通濾波。圖5A示出兩維高通濾波的示例系數(shù)。 在圖2C中示出通過對圖2B中的圖像應(yīng)用高通濾波所獲得的示例圖像。在S103中，面部檢測電路120使用圖2D所示等的眼睛模板，對應(yīng)用了高通濾波之 后的圖像進行模板匹配，并且檢測圖像中的眼睛。在S104中，面部檢測電路120基于在S103中檢測到的眼睛區(qū)域的位置關(guān)系等，判 斷面部區(qū)域，并且得出包括該面部區(qū)域的位置和大小的面部檢測結(jié)果。返回到圖1，直方圖創(chuàng)建電路130從面部檢測電路120獲取面部區(qū)域的檢測結(jié)果， 并且創(chuàng)建與面部區(qū)域中所包括的像素的亮度值有關(guān)的直方圖。直方圖創(chuàng)建電路130還可以 針對通過分割圖像所獲得的多個部分區(qū)域中的每個部分區(qū)域，創(chuàng)建所包括的像素的亮度值 的直方圖。將所創(chuàng)建的直方圖存儲在緩沖存儲器103中。此外，在獲取每個部分區(qū)域的顏色信息的情況下，對于通過利用調(diào)整大小電路131將緩沖存儲器103中所存儲的1畫面的圖像分析用圖像縮小而所獲得的縮小圖像，利用顏 色評價值獲取電路132來獲取每個部分區(qū)域的顏色信息。該顏色信息可以是例如飽和度、 色相和亮度等的顏色評價值。信號處理電路140根據(jù)由系統(tǒng)控制器107設(shè)置的信號處理參數(shù)(白平衡校正系 數(shù)、色調(diào)特性參數(shù)等)，對緩沖存儲器103中所存儲的圖像數(shù)據(jù)應(yīng)用信號處理。然后，信號處 理電路140生成YUV圖像數(shù)據(jù)，并將該圖像數(shù)據(jù)再次存儲在緩沖存儲器103中。如后面所述，本實施例的攝像設(shè)備通過AFE電路150中的感光度調(diào)整(增益調(diào)整)和信號處理電路140中的色調(diào)特性校正，實現(xiàn)動態(tài)范圍控制。圖6是示出AFE電路150的示例結(jié)構(gòu)的框圖。鉗位電路151將從圖像傳感器101輸出的信號鉗位至基準黑電平，使得當傳感器 被遮擋時的輸出值或者該傳感器的基準電壓區(qū)域的輸出值為0。⑶S增益電路152對鉗位信號應(yīng)用⑶S增益(模擬增益)。由普通AFE電路應(yīng)用 的⑶S增益具有0、3或6[dB]等的離散值。由A/D轉(zhuǎn)換器153將已經(jīng)應(yīng)用了模擬增益的信號轉(zhuǎn)換成數(shù)字數(shù)據(jù)。接著，可變增 益放大器(VGA)增益電路154對該數(shù)字數(shù)據(jù)應(yīng)用VGA增益。在本實施例中，例如，VGA增益 的值可以在0 36dB的范圍內(nèi)以0. 125dB為增量進行調(diào)整。在由限幅電路155將已經(jīng)應(yīng) 用了 VGA增益的信號限幅為預(yù)定位數(shù)之后，將這些信號輸出至緩沖存儲器103。在本實施例中，通過系統(tǒng)控制器107控制由AFE電路150應(yīng)用的⑶S增益和VGA 增益的值，來實現(xiàn)攝像設(shè)備中的ISO感光度的設(shè)置。此外，可以通過利用基準光量的光照射攝像設(shè)備、并控制⑶S增益和VGA增益以使 得從攝像設(shè)備輸出恒定亮度信號值，來進行用于校正圖像傳感器101的感光度特性的變化 性的感光度調(diào)整。在本實施例中，通過組合⑶S增益和VGA增益來進行感光度設(shè)置。例如，在對于低 感光度總共設(shè)置6dB的增益的情況下，將⑶S增益設(shè)置為3dB，并且將VGA增益設(shè)置為3dB。 此外，例如，在對于高感光度設(shè)置24dB的增益的情況下，將⑶S增益設(shè)置為6dB，并且將VGA 增益設(shè)置為18dB。如上所述，由于通常不能夠利用CDS增益進行細微設(shè)置，因此利用上游的 CDS增益設(shè)置近似的增益，并且控制VGA增益，從而進行感光度調(diào)整部分等的細微感光度控 制。通常，增益電路在放大信號成分的同時，還放大噪聲成分。由于該原因，為了利用 模擬電路抑制疊加的噪聲成分的放大，在能夠?qū)崿F(xiàn)總增益量的CDS增益和VGA增益的組合 中，優(yōu)選將上游的CDS增益設(shè)置得盡可能高。該設(shè)置還使得能夠?qū)崿F(xiàn)可以有效地最大化A/ D轉(zhuǎn)換器153的量化精度的效果。接著，將說明當在具有前述結(jié)構(gòu)的攝像設(shè)備中進行攝像時的操作。當在尚未輸入攝像準備指令或攝像開始指令的拍攝模式下待機期間，本實施例的 攝像設(shè)備拍攝運動圖像，并且使顯示單元Iio用作EVF。即，系統(tǒng)控制器107執(zhí)行以下處理 以規(guī)定速率(例如，30幀/秒)連續(xù)拍攝圖像，根據(jù)所拍攝圖像生成顯示圖像，并且使顯示 單元110顯示所生成的顯示圖像。在設(shè)置執(zhí)行面部檢測的情況下，面部檢測電路120對顯示圖像(在下文還稱為EVF 圖像)進行面部檢測，并將檢測結(jié)果輸出至系統(tǒng)控制器107。然后，系統(tǒng)控制器107指示顯示控制電路108將用于向用戶呈現(xiàn)檢測到的面部區(qū)域的面部框疊加在EVF圖像上，并還向顯示控制電路108指示面部區(qū)域的位置信息。還將面部檢測結(jié)果供給至直方圖創(chuàng)建電路130，并且直方圖創(chuàng)建電路130根據(jù)EVF 圖像內(nèi)的面部區(qū)域中所包括的像素創(chuàng)建直方圖。此外，直方圖創(chuàng)建電路130還針對將整個 圖像進行分割得到的多個區(qū)域中的每個區(qū)域，創(chuàng)建直方圖。將所創(chuàng)建的直方圖存儲在緩沖 存儲器103中。圖7示意性示出由本實施例中的直方圖創(chuàng)建電路130所創(chuàng)建的示例直方圖。圖7示出針對通過在水平方向和垂直方向上對整個圖像四等分所獲得的每個部 分區(qū)域71創(chuàng)建直方圖73，并且示出面部區(qū)域72的直方圖74。注意，圖7中的直方圖73和 74是累積直方圖。還注意，在創(chuàng)建部分區(qū)域的直方圖時，可以排除面部區(qū)域。這使得能夠針 對面部區(qū)域創(chuàng)建直方圖并針對除面部區(qū)域以外的區(qū)域(背景)創(chuàng)建直方圖。在本實施例中，如后面所述，在評價所拍攝圖像的高光溢出區(qū)域時，使用部分區(qū)域 71的累積直方圖73中頻率為80%的亮度值YHi、和面部區(qū)域72的累積直方圖74中頻率為 90%的亮度值YHiFace。當通過用戶全按下快門按鈕來輸入攝像開始指令時，系統(tǒng)控制器107基于自動曝 光控制(AE)、自動調(diào)焦檢測(AF)等的處理結(jié)果進行攝像操作。具體地，系統(tǒng)控制器107通 過控制鏡頭設(shè)備200的焦點位置和光圈、機械快門、圖像傳感器101以及根據(jù)需要控制閃光 燈(未示出)，進行攝像。經(jīng)由上述AFE電路150將從圖像傳感器101輸出的模擬圖像信號作為數(shù)字圖像數(shù) 據(jù)存儲在緩沖存儲器103中。信號處理電路140根據(jù)由系統(tǒng)控制器107設(shè)置的各種信號處 理參數(shù)，對該數(shù)字圖像數(shù)據(jù)進行處理，生成YUV圖像數(shù)據(jù)，并將所生成的圖像數(shù)據(jù)再次存儲 在緩沖存儲器103中。例如，由壓縮/解壓縮電路104將由信號處理電路140處理后的圖像數(shù)據(jù)編碼為 JPEG文件，并且由記錄設(shè)備105將其記錄至記錄介質(zhì)106。此外，顯示控制電路108根據(jù)緩沖存儲器103中所存儲的YUV圖像數(shù)據(jù)生成顯示 圖像，并經(jīng)由D/A轉(zhuǎn)換器109使顯示單元110將該顯示圖像顯示為快速瀏覽圖像。圖8是示出根據(jù)本實施例的攝像設(shè)備中在拍攝靜止圖像待機期間的信號處理的 流程的框圖。如上所述，在拍攝靜止圖像待機期間，本實施例的攝像設(shè)備進行連續(xù)攝像和顯 示，以使顯示單元Iio用作EVF。由AFE電路150對從圖像傳感器101輸出的模擬圖像信號進行增益調(diào)整(感光度 調(diào)整)和數(shù)字化。由信號處理電路140對該RAW圖像數(shù)據(jù)進行像素插值和白平衡校正等所 謂的顯影處理，并且生成YUV數(shù)字圖像數(shù)據(jù)。將該數(shù)字圖像數(shù)據(jù)存儲在緩沖存儲器103的顯示區(qū)域(通常稱為VRAM或顯示緩 沖器)103a中，并且經(jīng)由顯示控制電路108和D/A轉(zhuǎn)換器109將該數(shù)字圖像數(shù)據(jù)輸出至顯 示單元110。另一方面，還將由信號處理電路140所生成的數(shù)字圖像數(shù)據(jù)存儲在緩沖存儲器 103的圖像分析區(qū)域(圖像分析緩沖器)103b中。在面部檢測電路120的面部檢測和直方 圖創(chuàng)建電路130的直方圖創(chuàng)建中，使用圖像分析緩沖器103b中所存儲的圖像數(shù)據(jù)。注意， 并不需要將所有的EVF圖像數(shù)據(jù)都存儲在圖像分析緩沖器103b中，而是僅存儲與進行面部檢測和直方圖創(chuàng)建的周期相應(yīng)的一部分EVF圖像數(shù)據(jù)。面部檢測電路120對圖像分析緩沖器103b中所存儲的圖像數(shù)據(jù)進行面部檢測，并且如果檢測到面部，則輸出包括使得能夠指定面部區(qū)域的信息(例如，位置和大小)的面部 檢測結(jié)果。直方圖創(chuàng)建電路130基于圖像分析緩沖器103b中所存儲的圖像數(shù)據(jù)和來自面部 檢測電路120的面部檢測結(jié)果，創(chuàng)建直方圖。如上所述，直方圖創(chuàng)建電路130能夠創(chuàng)建針對 面部區(qū)域的面部區(qū)域直方圖130a、和針對通過分割整個圖像所獲得的每個區(qū)域圖像的分割 區(qū)域直方圖130b。對于整個圖像，還可以針對包括面部區(qū)域的每個區(qū)域圖像創(chuàng)建分割區(qū)域直方圖 130b，或者針對除面部區(qū)域以外的每個區(qū)域圖像創(chuàng)建分割區(qū)域直方圖130b。前者容易處理， 但為了精確地檢測具有高光溢出的區(qū)域是面部區(qū)域還是背景區(qū)域，優(yōu)選后者。如上所述，在使顯示單元110用作EVF的期間連續(xù)重復(fù)攝像，其中，快速連續(xù)重寫 VRAM。通常，面部檢測和直方圖創(chuàng)建所需的時間比EVF圖像的顯示周期(例如，1/30秒) 長。由于該原因，在本實施例中，除VRAM以外，還設(shè)置圖像分析緩沖器103b，并且在對圖像 分析緩沖器103b中所存儲的圖像數(shù)據(jù)的面部檢測和直方圖創(chuàng)建結(jié)束之前，不更新圖像分 析緩沖器103b。由于該結(jié)構(gòu)，可以對同一 EVF圖像進行面部檢測和直方圖創(chuàng)建，并且容易地且高 精度地進行圖像分析。當然，如果可以，對EVF圖像的每個幀執(zhí)行面部檢測和直方圖創(chuàng)建沒 有害處，然而，由于所拍攝場景通常不太可能在幀與幀之間極大變化，因此無需對每個幀進 行面部檢測和直方圖創(chuàng)建。因而，可以減輕系統(tǒng)控制器107的負荷。此外，由調(diào)整大小電路131來縮小圖像分析緩沖器103b中所存儲的圖像數(shù)據(jù)，并 且由顏色評價值獲取電路132來獲取顏色評價值。例如，假定圖像分析緩沖器103b中所存儲的圖像數(shù)據(jù)與VGA大小的圖像相對應(yīng)。 例如，調(diào)整大小電路131首先根據(jù)水平640像素、垂直480像素的YUV 4:2:2圖像數(shù)據(jù)，生 成水平64像素、垂直48像素的YUV 4:2:2圖像數(shù)據(jù)。隨后，調(diào)整大小電路131通過利用包 括4個像素(水平方向上的2個像素和垂直方向上的2個像素)的塊對Y進行平均化、并 利用垂直方向上的2個像素對UV進行平均化，生成水平32像素、垂直24像素的YUV 4:4:4 圖像數(shù)據(jù)。注意，對于調(diào)整大小電路131中的調(diào)整大小方法，可以使用以預(yù)定的多個像素為 單位的平均化、簡單重采樣、利用線性插值的疏化和雙三次插值等的其他方法。對于由調(diào)整大小電路131所生成的水平32像素、垂直24像素的縮小后的YUV 4:4:4圖像數(shù)據(jù)，顏色評價值獲取電路132針對各塊，計算作為顏色評價值的亮度信息Y、色 相信息H和飽和度信息C。例如，顏色評價值獲取電路132能夠使用以下等式計算顏色評價值。Y = Y<formula>formula see original document page 9</formula><formula>formula see original document page 9</formula>當然，顏色評價值可以是CIELab顏色空間中的評價值或者其它顏色空間中的評 價值。此外，可以使用用于進行以上算術(shù)運算的數(shù)學庫來進行顏色評價值的計算，或者可以通過參考預(yù)先準備的查找表來模擬顏色評價值的計算。由此，可以針對通過將整個圖像分割 成水平32像素、垂直24像素的塊所獲得的各 塊，獲取作為顏色評價值的亮度信息、色相信息和飽和度信息。圖9是示出本實施例的攝像設(shè)備中用于確定動態(tài)范圍擴大量(D+)的操作的流程 圖。在本實施例中，基于針對EVF圖像的面部檢測結(jié)果和直方圖創(chuàng)建結(jié)果得出所拍攝 圖像中的高光溢出量，并且根據(jù)該高光溢出量確定動態(tài)范圍擴大量。使用利用EVF圖像預(yù) 先確定的動態(tài)范圍擴大量來調(diào)整進行實際攝像時使用的曝光和感光度。在S201中，如上所述，系統(tǒng)控制器107連續(xù)進行攝像，使得生成EVF圖像，并且使 EVF圖像從信號處理電路140順次存儲在顯示緩沖器103a中。系統(tǒng)控制器107還使EVF圖 像以預(yù)定周期存儲在緩沖存儲器103的圖像分析區(qū)域(圖像分析緩沖器)103b中。在S202中，面部檢測電路120對圖像分析緩沖器103b中所存儲的EVF圖像進行 面部檢測。在面部檢測成功的情況下(S203中為“是”)，直方圖創(chuàng)建電路130基于來自面部 檢測電路120的面部檢測結(jié)果，根據(jù)EVF圖像的面部區(qū)域創(chuàng)建面部區(qū)域直方圖(S204)。在S205中，系統(tǒng)控制器107根據(jù)面部區(qū)域直方圖計算該面部區(qū)域的高光溢出量。如果面部檢測未成功(S203中為“否”)，或者在計算面部區(qū)域的高光溢出量之后， 在S206中，直方圖創(chuàng)建電路130創(chuàng)建通過分割整個EVF圖像所獲得的各區(qū)域圖像的分割區(qū) 域直方圖。這里，作為例子，假定直方圖創(chuàng)建電路130創(chuàng)建通過在水平方向和垂直方向上對 整個EVF圖像四等分所獲得的16個分割區(qū)域各自的分割區(qū)域直方圖。在S207中，系統(tǒng)控制器107根據(jù)分割區(qū)域直方圖計算整個EVF圖像的高光溢出 量。在S208中，系統(tǒng)控制器107至少基于在S207中得出的整個圖像的高光溢出量，確 定動態(tài)范圍擴大量。接著，將說明在圖9的S205和S207中由系統(tǒng)控制器107所進行的計算高光溢出 量的處理的具體例子。首先，將說明計算面部區(qū)域的高光溢出量的處理。在S205中，系統(tǒng)控制器107根據(jù)在S204中創(chuàng)建的面部區(qū)域直方圖，計算累積直方 圖的累積頻率為規(guī)定值(在圖7的例子中為90%)的亮度值YHiFace，作為面部區(qū)域的高
光溢出量。然后，在S208中，系統(tǒng)控制器107根據(jù)面部區(qū)域的高光溢出量YHiFace的值和預(yù) 定閾值之間的相對大小關(guān)系，確定面部區(qū)域的動態(tài)范圍擴大量(D+(面部))。具體地，例如，當預(yù)定閾值是按降序的THHiFace、THMidFace和THLowFace這三級 時，如下確定面部區(qū)域的動態(tài)范圍擴大量。D+(面部)=校正等級1級(在YHiFace > THHiFace的情況下)D+(面部)=校正等級 2/3 級(在 THHiFace 彡 YHiFace > THMidFace 的情況下)D+(面部)=校正等級 1/3 級(在THMidFace 彡 YHiFace > THLowFace 的情況下)D+(面部)=校正等級0級(在THLowFace彡YHiFace的情況下)此外，在S206中，系統(tǒng)控制器107針對在S206中創(chuàng)建的各個分割區(qū)域直方圖，計算累積直方圖的累積頻率為規(guī)定值(在圖7的例子中為80%)的亮度值YHi_n(n= 1 分 割數(shù)；在圖7的例子中為16)，作為部分區(qū)域的高光溢出量。在S207中，系統(tǒng)控制器107對亮度值YHi_n超過預(yù)定閾值Y_B_Th的區(qū)域數(shù)量YH_ BNum計數(shù)。然后，系統(tǒng)控制器107根據(jù)區(qū)域數(shù)量YH_BNum和預(yù)定閾值之間的相對大小關(guān)系， 確定整個圖像的動態(tài)范圍擴大量(D+(背景))。具體地，例如，當預(yù)定閾值是按降序的ThYH_BNum6 ThYH_BNumO時，如下確定整 個圖像的動態(tài)范圍擴大量。D+ (背景)=校正等級6/3級(在YH_BNum > ThYH_BNum6的情況下)
D+(背景)=校正等級 5/3 級(在 ThYH_BNum6≥ YH_BNum > ThYH_BNum5 的情況 下)D+(背景)=校正等級 4/3 級(在 ThYH_BNum5 ≥ YH_BNum > ThYH_BNum4 的情況 下)D+(背景)=校正等級 3/3 級(在 ThYH_BNum4 ≥ YH_BNum > ThYH_BNum3 的情況 下)D+(背景)=校正等級 2/3 級(在 ThYH_BNum3 ≥ YH_BNum > ThYH_BNum2 的情況 下)D+(背景)=校正等級 1/3 級(在 ThYH_BNum2 ≥ YH_BNum > ThYH_BNuml 的情況 下)D+ (背景)=校正等級0級(在ThYH_BNuml彡YH_BNum的情況下)換言之，系統(tǒng)控制器107判斷為，圖像中高光溢出區(qū)域的面積越大，動態(tài)范圍擴大
量越大。注意，確定高光溢出區(qū)域的方法不限于這里所述的使用累積直方圖的方法，并且 可以使用其它任意方法。在S208中，系統(tǒng)控制器107確定最終的動態(tài)范圍擴大量。這里，在面部檢測成功 的情況下，系統(tǒng)控制器107通過比較在S205和S207中確定的動態(tài)范圍擴大量，確定最終的 動態(tài)范圍擴大量。例如，系統(tǒng)控制器107可以將面部區(qū)域的動態(tài)范圍擴大量和整個圖像的 動態(tài)范圍擴大量中較大的擴大量，確定為最終的動態(tài)范圍擴大量?？蛇x地，系統(tǒng)控制器107可以根據(jù)由操作單元12中所包括的模式撥盤等所設(shè)置的 拍攝模式，將面部區(qū)域的動態(tài)范圍擴大量和整個圖像的動態(tài)范圍擴大量其中之一確定為最 終的動態(tài)范圍擴大量。例如，在拍攝人物的拍攝模式(例如，肖像模式)的情況下，可以將 面部區(qū)域的動態(tài)范圍擴大量確定為最終的動態(tài)范圍擴大量，而在拍攝風景的拍攝模式(例 如，風景模式)的情況下，可以將整個圖像或背景區(qū)域的動態(tài)范圍擴大量確定為最終的動 態(tài)范圍擴大量。此外，可以根據(jù)場景判斷結(jié)果控制動態(tài)范圍擴大量。例如，當判斷為場景是背光場 景時，背景區(qū)域的動態(tài)范圍擴大量可以擴大至2級(6/3級)，否則停止在1級(3/3級)。此外，可以采用除選擇面部區(qū)域的動態(tài)范圍擴大量和整個圖像的動態(tài)范圍擴大量 其中之一、并將其確定為最終的動態(tài)范圍擴大量以外的方法。例如，還可以根據(jù)面部區(qū)域的 動態(tài)范圍擴大量的大小和整個圖像的動態(tài)范圍擴大量的大小來確定最終的動態(tài)范圍擴大
Mo
圖IOA IOD示出根據(jù)面部區(qū)域的動態(tài)范圍擴大量的大小和整個圖像的動態(tài)范圍 擴大量的大小所確定的最終的動態(tài)范圍擴大量的具體示例。在圖IOA IOC所示的例子中，針對各拍攝模式改變所確定的最終的動態(tài)范圍擴 大量的值。例如，在面部區(qū)域的動態(tài)范圍擴大量是1/3級、并且整個圖像的動態(tài)范圍擴大量 是0/3級的情況下，在自動模式(圖10A)和肖像模式(圖10C)下最終的動態(tài)范圍擴大量 是1/3級，并且在風景模式(圖10B)下最終的動態(tài)范圍擴大量是0級。注意，在圖IOA IOC所示的例子中，背景圖像的動態(tài)范圍擴大量直到1級(3/3 級)。圖IOD示出根據(jù)場景判斷結(jié)果所確定的最終的動態(tài)范圍擴大量的范圍變化的示 例。在該例子中，如果判斷為場景是背光場景，則面部區(qū)域的動態(tài)范圍擴大量保持直到3/3 級，但背景區(qū)域的動態(tài)范圍擴大量擴大至直到6/3級。系統(tǒng)控制器107將如上所述確定的動態(tài)范圍擴大量存儲在緩沖存儲器103中，并 且在進行攝像時參考所存儲的量。例如，在待機時，可以每固定幀數(shù)的EVF圖像或每固定時 間段，進行一次用于確定動態(tài)范圍擴大量的操作，并且將最新的動態(tài)范圍擴大量存儲在緩 沖存儲器103中。場景判斷接著，將說明本實施例的攝像設(shè)備中的場景判斷操作。盡管沒有特別限制由本實施例的攝像設(shè)備所判斷的場景的類型，然而這里將說明 用于判斷有無人物、夜間場景、藍天場景、黃昏場景、背光場景和微距拍攝的操作作為例子。在本實施例中，由系統(tǒng)控制器107基于以下來執(zhí)行場景判斷。-從測光傳感器或所拍攝圖像獲得的被攝體亮度(Bv值)等的曝光信息-利用自動調(diào)焦操作所獲得的被攝體距離信息-通過白平衡控制所獲得的色溫信息-由顏色評價值獲取電路132所獲得的各塊的顏色評價值-由直方圖創(chuàng)建電路130所獲得的直方圖-從姿態(tài)傳感器133的輸出所獲得的圖像傳感器的姿態(tài)信息夜間場景判斷如果滿足所有以下條件(Al) (A3)，則判斷為場景是夜間場景。仏1)8￥值小于或等于0田￥]。(A2)根據(jù)各塊的顏色評價值計算出的整個圖像的平均亮度值小于或等于規(guī)定值。(A3)在自圖像上部起的規(guī)定范圍內(nèi)，根據(jù)顏色評價值所獲得的平均亮度和平均飽 和度滿足以下條件的塊的百分比大于或等于規(guī)定百分比。-平均亮度小于或等于規(guī)定值Y_Th_night-平均飽和度小于或等于規(guī)定值C_Th_night注意，可以基于姿態(tài)傳感器133的輸出判斷圖像的上部和下部。此外，這些條件可以根據(jù)Bv值的范圍而變化。此外，可以考慮是否安裝了三腳架。在包括用于校正照相機抖動的振動檢測傳感 器的攝像設(shè)備的情況下，可以基于該振動檢測傳感器的輸出來判斷是否安裝了三腳架。還 可以基于所拍攝圖像內(nèi)被攝體的運動來判斷是否安裝了三腳架。在判斷為安裝了三腳架的情況下，與普通夜間場景區(qū)分開，可以判斷為該場景是三腳架夜間場景。例如，在不具有人物的三腳架夜間場景的情況下，由于很少擔心照相機抖動或被 攝體模糊，因此可以進行降低ISO感光度和進行長曝光等的曝光控制。此外，在具有人物的三腳架夜間場景的情況下，期望進行曝光和閃光燈調(diào)光的控 制，從而使面部區(qū)域和背景的亮度最優(yōu)化。此外，由于作為進行長曝光的結(jié)果，陰影趨于突出且噪聲趨于增大，因此通過使暗 部的色調(diào)特性變平(降低至低色調(diào)水平)來獲得良好圖像。藍天場景判斷
如果滿足所有以下條件(Bi) (B4)，則判斷為場景是藍天場景。(Bi) Bv值大于或等于5 [EV]。(B2)拍攝時的被攝體距離大于或等于規(guī)定值(即，不是微距拍攝)。(B3)色溫在規(guī)定色溫范圍內(nèi)。(B4)在自圖像上部起的規(guī)定范圍內(nèi)，根據(jù)顏色評價值所獲得的平均亮度、平均色 相和平均飽和度滿足以下條件的塊的百分比大于或等于規(guī)定百分比。-平均亮度在規(guī)定范圍內(nèi)(彡Y_Th_Sky_Low,彡Y_Th_Sky_Hi)-平均色相在規(guī)定范圍內(nèi)(彡Hue_Th_Sky_Low、彡 Hue_Th_Sky_Hi)-平均飽和度在規(guī)定范圍內(nèi)(彡C_Th_Sky_Low、彡C_Th_Sky_Hi)此外，這些條件可以根據(jù)Bv值的范圍而變化。例如，在不具有人物的藍天場景的情況下，認為場景是風景照片的可能性高。由于 該原因，當進行增強藍色和其它顏色等的整個圖像的飽和度以及增大對比度等的處理時， 獲得良好圖像。此外，在具有人物的藍天場景的情況下，認為場景是風景快照的可能性高。由于該 原因，在增強藍色飽和度的情況下限制增強肌膚色附近的飽和度時，獲得適當圖像，并且進 行AE和色調(diào)特性設(shè)置，使得面部的曝光和色調(diào)最優(yōu)化。黃昏場景判斷如果滿足所有以下條件(Cl) (C7)，則判斷為場景是黃昏場景。(Cl) Bv值大于或等于7 [EV]。(C2)拍攝時的被攝體距離大于或等于規(guī)定值(即，不是微距拍攝)。(C3)根據(jù)顏色評價值計算出的整個圖像的平均亮度值小于或等于規(guī)定值。(C4)平均亮度大于或等于規(guī)定值的高亮度塊的百分比大于或等于規(guī)定百分比。(C5)根據(jù)顏色評價值所獲得的平均亮度、平均色相和平均飽和度滿足以下條件的 塊的百分比大于或等于規(guī)定百分比。-平均亮度在規(guī)定范圍內(nèi)(彡Y_Th_Sunset_Low、< Y_Th_Sunset_Hi)-平均色相在規(guī)定范圍內(nèi)(彡Hue_Th_Sunset_Low、彡 Hue_Th_Sunset_Hi)-平均飽和度在規(guī)定范圍內(nèi)(彡C_Th_Sunset_Low、< C_Th_Sunset_Hi)(C6)不滿足以下條件其中之一的塊的數(shù)量小于或等于規(guī)定值。-黃昏場景判斷的條件(C5)_藍天場景判斷的條件(B4)-平均飽和度小于或等于規(guī)定值
-平均亮度大于或等于規(guī)定值(高亮度塊)-平均亮度小于或等于規(guī)定值(低亮度塊)(C7)顏色評價值中的色相和飽和度的直方圖具有大于或等于規(guī)定值的方差。此外，這些條件可以根據(jù)Bv值的范圍而變化。還可以基于顏色評價值來消除模糊 區(qū)域。如果判斷為場景是黃昏場景，則當連同進行AE控制以略微曝光不足一起，進行紅 色和橘色的飽和度的增強以及云等的高色溫方向上的WB設(shè)置時，獲得良好圖像。背光場景判斷(1)檢測到面部的情況如果根據(jù)與面部區(qū)域相對應(yīng)的塊的顏色評價值得出的平均亮度和根據(jù)其它塊的 顏色評價值得出的平均亮度之間的差大于或等于規(guī)定EV值，則判斷為場景是具有人物的 背光場景。(2)未檢測到面部的情況如果AE控制在固定時間段內(nèi)收斂，則如圖5B所示，按從外側(cè)開始的順序?qū)⒄麄€圖 像分割成四類區(qū)域A D，并且根據(jù)與各個區(qū)域相對應(yīng)的塊的顏色評價值，計算各個區(qū)域的 平均亮度值。將區(qū)域A的平均亮度值與區(qū)域B D各自的平均亮度值進行比較，并且如果檢測 到大于或等于規(guī)定EV值的差，則判斷為該場景是不具有人物的背光場景。除這里所述的方法以外，可以使用通過將(XD-RAW圖像分割成塊所獲得的亮度信 息或者直方圖信息。本實施例中的背光場景判斷涉及檢測二維亮度圖案，并且不同于如當檢測高光溢 出時所進行的檢測各塊或各區(qū)域的亮度的高光溢出程度。因此，背光場景判斷和高光溢出 檢測是不同的處理。然而，由于認為判斷為背光場景的場景具有高亮度部分中的色調(diào)丟失的可能性 高，因此如果判斷為場景是背光場景，則可以通過增大動態(tài)范圍擴大量來獲得良好圖像。微距拍攝判斷可以基于聚焦的被攝體距離來判斷場景是否涉及微距拍攝。例如，可以參考預(yù)置 的對應(yīng)關(guān)系表，根據(jù)調(diào)焦透鏡的位置來獲得被攝體距離。如果被攝體距離小于或等于規(guī)定 值，則判斷為該場景涉及微距拍攝。由于當在近距離處進行閃光燈拍攝時出現(xiàn)高光溢出的可能性高，因此如果判斷為 場景涉及微距拍攝，則期望進行曝光控制，使得閃光燈盡可能少地發(fā)光。此外，在進行閃光 燈拍攝的情況下，可以配置設(shè)置，使得信號處理電路140使用使高亮度部分變平的色調(diào)特 性，從而確保高光部分的色調(diào)不易飽和。圖13A和13B是示出本發(fā)明的攝像設(shè)備中的實際攝像處理的操作的流程圖。注意，假定在拍攝靜止圖像待機期間，系統(tǒng)控制器107例如使用上述方法，根據(jù) EVF圖像以規(guī)則間隔確定動態(tài)范圍擴大量。在本實施例中，可以利用以1/3級的增量從0/3 級到3/3級這四級，確定動態(tài)范圍擴大量(AE目標值的減小量)。注意，可以任意設(shè)置動態(tài)范 圍擴大量的每級的范圍和大小。此外，例如，當半按下操作單元112中所包括的快門按鈕、 并且輸入攝像準備指令時，系統(tǒng)控制器107使用EVF圖像以及AF控制和AE控制的結(jié)果，執(zhí)行上述場景判斷處理。在拍攝靜止圖像待機期間，響應(yīng)于全按下操作單元112中所包括的快門按鈕并輸 入攝像開始指令，系統(tǒng)控制器107開始以下處理。在S400中，系統(tǒng)控制器107判斷其在場景判斷時是否判斷為場景是黃昏場景。如 果判斷為場景是黃昏場景，則在S408中，系統(tǒng)控制器107計算黃昏場景的曝光校正量，并且 不計算動態(tài)范圍擴大量。另一方面，如果判斷為場景不是黃昏場景，則在S401中，系統(tǒng)控制 器107從緩沖存儲器103獲取緊挨輸入攝像開始指令之前所確定的動態(tài)范圍擴大量。在S402中，系統(tǒng)控制器107判斷所獲取的動態(tài)范圍擴大量、即AE目標值的減小量 是否能夠通過AFE電路150中的感光度調(diào)整(CDS增益電路和VGA增益電路的控制)來實 現(xiàn)。可以通過將AFE電路150能夠調(diào)整的感光度的范圍和在S401中獲取的動態(tài)范圍擴大量 進行比較來進行該判斷。在不能夠進行相當于動態(tài)范圍擴大量的感光度減小(增益減小) 的情況下，系統(tǒng)控制器107判斷為動態(tài)范圍擴大量不能夠僅通過AFE電路150的感光度調(diào) 整來實現(xiàn)。在動態(tài)范圍擴大量能夠通過AFE電路150的感光度調(diào)整來實現(xiàn)的情況下，在S404 中，系統(tǒng)控制器107計算增益設(shè)置作為攝像條件。注意，沒有特別限制在該設(shè)置中組合CDS 增益和VGA增益的方式，并且可以以任意組合進行設(shè)置。另一方面，如果判斷為動態(tài)范圍擴大量不能夠僅通過AFE電路150的感光度調(diào)整 來實現(xiàn)，則系統(tǒng)控制器107基于即使AFE電路150進行可用的增益控制也依然剩余的不足 的增益量，來改變曝光條件(S405)。具體地，系統(tǒng)控制器107計算用于實現(xiàn)不足的增益量的 曝光校正量。這里的曝光校正是負校正(minus correction)，并且可以通過縮小光圈、增大快 門速度或插入中性密度濾光片(ND濾光片)等的普通方法來實現(xiàn)。在S406中，系統(tǒng)控制器107判斷是否可以進行在S405中計算出的曝光校正。例 如，在不具有ND濾光片的攝像設(shè)備中，在通過自動曝光控制已經(jīng)設(shè)置了最高快門速度和最 小光圈(最大光圈值)的情況下不能夠進行曝光的負校正。此外，當進行閃光燈攝像時，在 已經(jīng)設(shè)置了可設(shè)置的最高快門速度的情況下不能夠增大快門速度。這同樣適用于已經(jīng)確定 了最大快門速度的情況。注意，由于如果處于光圈優(yōu)選AE模式、則期望不改變由用戶所設(shè) 置的光圈值，因此如果快門速度已經(jīng)處于最高設(shè)置，則可以判斷為不可以進行負校正。這同 樣適用于處于快門優(yōu)先AE模式的情況。如果判斷為不可以進行與增益調(diào)整之后剩余的不足的增益量相當?shù)钠毓獾呢撔?正，則在S407中，系統(tǒng)控制器107將動態(tài)范圍擴大量修改為通過感光度調(diào)整和曝光校正可 實現(xiàn)的最大值。然后，系統(tǒng)控制器107計算在AFE電路150中要設(shè)置的增益量，并且根據(jù)需 要進一步計算曝光校正量。在S409中，系統(tǒng)控制器107在AFE電路150的⑶S增益電路152和VGA增益電路 154中設(shè)置作為攝像條件的增益量。此外，在進行曝光校正的情況下，系統(tǒng)控制器107根據(jù) 曝光校正量，改變依賴于AE結(jié)果的曝光參數(shù)(快門速度、光圈和ND濾光片使用等的設(shè)置)， 并且在鏡頭設(shè)備200中將改變后的曝光參數(shù)設(shè)置為攝像條件。在S410中，系統(tǒng)控制器107進行靜止圖像拍攝(實際曝光)。在S411中，系統(tǒng)控制器107判斷在實際曝光之前的處理中是否已經(jīng)擴大動態(tài)范圍。這里，如果動態(tài)范圍擴大量是0級、或者如果在S400中判斷為場景是黃昏場景，則系統(tǒng) 控制器107判斷為尚未擴大動態(tài)范圍。在S412中，系統(tǒng)控制器107判斷其在實際曝光之前的場景判 斷處理時是否判斷為 場景是夜間場景。如果判斷為場景是夜間場景，則在S415中，系統(tǒng)控制器107選擇依賴于 動態(tài)范圍擴大量的夜間場景的色調(diào)特性。如果判斷為場景不是夜間場景，則在S413中，系 統(tǒng)控制器107根據(jù)實際曝光用的圖像計算直方圖，并且在S414中，系統(tǒng)控制器107確定動 態(tài)范圍縮小量(D-量)。圖14A和14B示出當判斷為場景是夜間場景時所選擇的色調(diào)特性的例子。如圖所 示，通過使暗部的特性相對于正常色調(diào)特性變平(相對于輸入亮度值的增加率降低輸出亮 度值的增加率)，可以使暗部中的噪聲沒那么明顯，并且獲得具有清晰陰影的適當圖像作為 拍攝夜間場景時的圖像。當然，這些色調(diào)特性可以根據(jù)感光度、光圈和變焦位置等而變化。例如，由于當釋 放光圈時鏡頭的外圍亮度趨于下降，因此可以降低使陰影變平的程度。在S416中，系統(tǒng)控制器107在信號處理電路140中設(shè)置依賴于動態(tài)范圍擴大量的 色調(diào)特性(除擴大量為0或判斷為場景是黃昏場景的情況以外)、在S415中選擇出的夜間 場景的色調(diào)特性或者依賴于在S414中確定的動態(tài)范圍縮小量的色調(diào)特性。圖11A示出本實施例中的動態(tài)范圍的概念圖。在本實施例中，將動態(tài)范圍定義為圖像傳感器的飽和信號量亮度相對于適當亮度 的比。該適當亮度是當進行自動曝光控制(AE)時的亮度目標值水平，并且例如，如果AE模 式是平均測光模式，則該適當亮度相當于畫面亮度的平均值。因此，可以如下定義動態(tài)范圍。動態(tài)范圍=傳感器的飽和信號量亮度/AE目標值注意，這里的AE目標值基于在由AFE電路150進行感光度調(diào)整之前來自圖像傳感 器101的輸出信號。AE目標值可以根據(jù)AE模式而變化，并且即使在評價測光模式和點測光模式的情 況下，也可以使用各模式的AE目標值。圖11B示出AE目標值、飽和信號值和動態(tài)范圍之間的關(guān)系的示例。從圖11B明顯可見，可以通過減小AE評價值來增大動態(tài)范圍。圖12A和12B示出本實施例的信號處理電路140中的色調(diào)特性的示例設(shè)置。示出了在將動態(tài)范圍擴大量設(shè)置為正常(0/3級)、+1/3級、+2/3級和+3/3級這 四級的情況下的色調(diào)特性(亮度校正量)的示例設(shè)置。這里，與各個動態(tài)范圍擴大量相對應(yīng)的AE目標值與圖11B所示的AE目標值相同。 如圖12A和12B所示，設(shè)置色調(diào)特性，使得無論動態(tài)范圍擴大量如何，在對各動態(tài)范圍擴大 的AE目標值進行色調(diào)校正之后的AE目標值將是不擴大動態(tài)范圍的正常AE目標值。如使用圖11A和11B所述，可以通過減小AE目標值來擴大動態(tài)范圍。然而，單純減 小AE目標值導(dǎo)致曝光不足，并且所拍攝圖像將是暗的。由于該原因，根據(jù)動態(tài)范圍擴大量， 通過在信號處理電路140中進行色調(diào)校正從而使所拍攝圖像數(shù)據(jù)變亮，可以在適當?shù)卦O(shè)置 所拍攝圖像的亮度(曝光)的情況下擴大動態(tài)范圍。注意，在本實施例中，示出以下結(jié)構(gòu)通過色調(diào)校正來補償由于AE目標值減小所引起的所拍攝圖像的亮度下降，然而可以使用查找表等的不同方式來進行相同的亮度校 正。還可以控制用于校正白平衡的白平衡系數(shù)的增益等的增益、以及用于確定飽和信 號量的限幅量。換言之，即使在對通過減小曝光量或減小AFE增益已降低了增益的圖像信 號進行A/D轉(zhuǎn)換之后，通過下游信號處理電路來增大增益、并且使限幅量擴大(飽和信號量 增加)增益的增大量，也獲得相同的效果。這里，將說明感光度設(shè)置(AFE電路150的增益設(shè)置)和圖像傳感器101的飽和之 間的關(guān)系。通常，控制應(yīng)用至圖像傳感器的輸出信號的增益，使得輸出相對于光量和照相機 的曝光值(輸入)，滿足規(guī)定關(guān)系。然而，對于圖像傳感器的光電二極管中能夠存儲的電荷量，存在上限。由于該原 因，當以降低圖像傳感器的ISO感光度為目的，降低由AFE電路150所應(yīng)用的增益時，已應(yīng) 用了增益之后的最大信號量也下降。因此，飽和信號量也隨著增益的下降而下降。因而，對于增大圖像傳感器的感光度，可以忽略噪聲的放大而配置期望的感光度 設(shè)置，而對于降低感光度，存在因飽和信號量所產(chǎn)生的限制值。在圖13B的S409中，在不能夠降低感光度的情況下，經(jīng)常是在攝像設(shè)備中已經(jīng)設(shè) 置了可設(shè)置的最小感光度的情況。這意味著，應(yīng)用至圖像傳感器的輸出信號的增益已經(jīng)減 小至相當于最小感光度的值。由于該原因，不能夠通過控制AFE電路150的增益進一步降 低感光度。因此，在本實施例中，在不能夠通過控制AFE電路150的增益來實現(xiàn)AE目標值 (感光度)要減小的目標量的情況下，通過曝光校正來實現(xiàn)感光度的進一步降低。用于在信號處理電路140中對當以通過曝光控制減小了的感光度進行攝像時所 獲得的暗圖像進行色調(diào)校正以校正亮度的操作最終與增加感光度相同，并且由于在進行色 調(diào)校正時也放大噪聲，因而產(chǎn)生圖像質(zhì)量劣化。然而，在本實施例中，在能夠通過AFE電路150的增益控制實現(xiàn)與動態(tài)范圍擴大量 相對應(yīng)的ISO感光度減小的情況下，優(yōu)選利用增益控制來減小ISO感光度。在不能夠僅通 過增益控制實現(xiàn)與動態(tài)范圍擴大量相對應(yīng)的ISO感光度減小的情況下，使增益減小至最小 值，并且利用曝光校正來補償感光度減小不足的量。在這種情況下，即使噪聲在進行色調(diào)校 正時被放大，由于AFE電路150的增益已經(jīng)減小至相當于最小感光度的水平，因而噪聲自身 也不顯著。由于該原因，可以使圖像質(zhì)量劣化最小化。圖15是示出根據(jù)本發(fā)明實施例的攝像設(shè)備中用于確定動態(tài)范圍縮小量(D-)的操 作的流程圖。圖15所示的操作與圖13B中在S413中獲取直方圖以及在S414中確定動態(tài) 范圍縮小量的操作相對應(yīng)。在S501中，系統(tǒng)控制器107針對緩沖存儲器103中所存儲的(XD-RAW圖像數(shù)據(jù)， 將各個顏色R、G和B的白平衡系數(shù)(WB系數(shù))相乘?？梢愿鶕?jù)從實際攝像得出的圖像計算 出這里所使用的WB系數(shù)，或者可以根據(jù)緊挨實際攝像之前的EVF圖像計算出這些WB系數(shù)。 注意，在后一情況中，在實際攝像中的閃光燈拍攝的情況下，可以使用依賴于閃光燈的色溫 的WB系數(shù)或D55光源或日光的WB系數(shù)。將WB系數(shù)相乘使得能夠精確地檢測到各顏色的飽和量，并且即使對于特定顏色 飽和的被攝體也能夠進行檢測。
在S502中，系統(tǒng)控制器107使用直方圖創(chuàng)建電路130，獲取與通過將WB系數(shù)相乘 所獲得的圖像有關(guān)的各顏色的累積直方圖。在S503中，系統(tǒng)控制器107針對各顏色，獲取累積直方圖的頻率為規(guī)定值(例如， 80% )的亮度值Y_Hp，作為高光亮度值。在S504中，系統(tǒng)控制器107利用以下等式，針對各顏色計算相對于預(yù)定飽和目標 值 Sat_TargetY 的增益值 Gain_yhp。Gain_yhp = Sat_TargetY/Y_hp然后，系統(tǒng)控制器107將針對各顏色計算出的Gain_yhp值中的最小增益值設(shè)置為 與最終的動態(tài)范圍縮小量相對應(yīng)的增益值Gain_yhp。在S505中，系統(tǒng)控制器107選擇與在S504中計算出的增益值相對應(yīng)的色調(diào)特性參數(shù)。圖16示出依賴于在S504中計算出的增益值Gain_yhp的最終值和ISO感光度的 最終增益增大量之間的關(guān)系的示例。在本實施例中，存在四個最終增益增大量，即0、1. 12,1. 25和1. 41，并且系統(tǒng)控制 器107分別選擇以下。1. 12 —相當于曝光增加1/6級的色調(diào)特性1. 25 —相當于曝光增加1/3級的色調(diào)特性1. 41 —相當于曝光增加1/2級的色調(diào)特性圖17A和17B示出增益增大量和色調(diào)特性設(shè)置值之間的關(guān)系。曝光增加1/6級與 AE目標值增加1/6級相同。因而，動態(tài)范圍縮小處理校正通過實際曝光所獲得的圖像的色 調(diào)特性，并且使圖像變亮依賴于最終增益增大量的級數(shù)。在本實施例中，通過改變色調(diào)特性設(shè)置來改變動態(tài)范圍縮小量，然而還可以通過 使用查找表等控制WB系數(shù)來改變動態(tài)范圍縮小量。此外，在本實施例中，對進行實際曝光時的RAW圖像進行直方圖分析，并且確定動 態(tài)范圍縮小量。然而，與確定動態(tài)范圍擴大量相同，可以在對EVF圖像進行直方圖分析并確 定動態(tài)范圍縮小量之后進行曝光控制。在這種情況下，由于無需使用色調(diào)特性來增大增益， 因此可以在不存在由于增益增大所引起的噪聲放大的情況下縮小動態(tài)范圍。然而，還存在例如閃光燈拍攝時等在進行實際曝光之前不能夠判斷圖像的高光溢 出程度的情況。由于該原因，可以在基于當閃光燈未發(fā)光時的EVF圖像確定動態(tài)范圍縮小 量之后進行曝光控制，并且也可以使用分析當閃光燈發(fā)光時通過實際曝光所獲得的圖像的 結(jié)果來進行曝光控制。圖18示出在根據(jù)本發(fā)明實施例的攝像設(shè)備中與場景判斷結(jié)果相應(yīng)的在曝光控 制、動態(tài)范圍擴大處理(D+)、動態(tài)范圍縮小處理(D-)和夜間場景的色調(diào)特性的設(shè)置之間的 關(guān)系的示例。注意，在本實施例中，如果尚未擴大動態(tài)范圍，則進行動態(tài)范圍縮小處理。因 此，在圖18中，D+和D-這兩者的〇(或◎)的指示都表示可以執(zhí)行D+或D-，并且不表示 進行這兩者。如果判斷為場景是夜間場景并且不包括人物(面部檢測電路120未檢測到面部)， 則進行適合于基于EVF圖像所確定的動態(tài)范圍擴大量的動態(tài)范圍擴大處理。此外，如上所 述，選擇使暗部變平的色調(diào)特性。
另一方面，由于在夜間場景的情況下暗部的面積大，因此當使用直方圖的亮度信 息等進行動態(tài)范圍縮小處理時，選擇增大感光度的色調(diào)特性。然而，由于與正常場景相比 較、拍攝到略微暗的圖像是適當?shù)?，因此對于夜間場景不進行動態(tài)范圍縮小處理(D-)。另一方面，如果判斷為場景是夜間場景并且包括人物，則進行動態(tài)范圍擴大處理 或動態(tài)范圍縮小處理，并且不選擇夜間場景的色調(diào)特性。如果夜間場景中包括人物，則當選擇夜間場景的色調(diào)特性時，由于面部上的對比 度增加過大、并且面部的暗部的色調(diào)特性變平，因此不能夠獲取適當?shù)膱D像。此外，如果夜 間場景中包括人物，則經(jīng)常進行閃光燈拍攝，但在如利用變焦透鏡的遠攝端進行攝像的情 況等的被攝體距離長的情況下，閃光燈的光經(jīng)常沒有充分到達被攝體。由于該原因，進行動 態(tài)范圍縮小處理使得能夠針對人物的面部區(qū)域等獲取到適當?shù)膱D像。如果判斷為場景是黃昏場景并且不包括人物，則進行曝光控制，使得相對于在實 際曝光中進行正常拍攝時，圖像將曝光不足，并且禁止動態(tài)范圍擴大處理。當判斷為場景是黃昏場景時，太陽經(jīng)常出現(xiàn)在視角中。由于該原因，由于自動曝光 控制的結(jié)果趨于朝向曝光不足，因此進一步進行負校正并擴大動態(tài)范圍的效果被減弱。相 反，動態(tài)范圍擴大處理(D+)可能增大ISO感光度，在這種情況下，噪聲被放大并且產(chǎn)生不適 當圖像的可能性增加。此外，控制飽和度，使得增強紅色。此外，在黃昏場景中包括人物的情況下，如果閃光燈不發(fā)光，則不能夠控制面部的 亮度。因此，通過連同實現(xiàn)面部優(yōu)先的曝光確定(面部優(yōu)先AE) —起，進行動態(tài)范圍擴大處 理(D+)或動態(tài)范圍縮小處理(D-)，可以獲取適當?shù)膱D像。另一方面，如果黃昏場景中包括人物并且閃光燈發(fā)光，則可以通過控制閃光燈調(diào) 光來控制面部的亮度。由于該原因，與不包括人物的情況相同，可以通過進行攝像時的曝光 不足、并禁止動態(tài)范圍擴大處理，來獲取適當?shù)膱D像。此外，在黃昏場景中包括人物的情況 下，為了不影響肌膚色調(diào)，不進一步增強紅色。如果判斷為場景是背光場景并且不包括人物，則該場景經(jīng)常是十分亮的。換言之， 經(jīng)常是由攝像設(shè)備已經(jīng)設(shè)置了低ISO感光度和高快門速度的情況。結(jié)果，不能夠進行動態(tài) 范圍擴大處理的可能性高。如果不包括人物并且主被攝體是風景，則噪聲較少的圖像更適當。另一方面，在包括人物的情況下，該人物經(jīng)常處于陰影中或室內(nèi)暗的場所，并且陽 光場所或室外區(qū)域形成背景。因而，在例如單個拍攝場景中混合有不同的光源的情況下， 1級的動態(tài)范圍擴大量經(jīng)常是不足的。此外，在快照等的情況下，拍攝面部和背景是更適當 的。因而，在背光場景的情況下，通過在包括人物的情況下增大動態(tài)范圍擴大量、并且 在不包括人物的情況下不增大動態(tài)范圍擴大量，來拍攝良好圖像。例如，在正常場景判斷結(jié) 果的情況下，動態(tài)范圍擴大量最大為1級，而在背光場景中包括人物的情況下，動態(tài)范圍擴 大量增大至例如2級。當然，無需說明，可以根據(jù)ISO感光度增大至的程度來確定在動態(tài)范圍擴大處理 中所確定的擴大量的上限。例如，可以進行控制，從而在以高感光度拍攝的亮度水平的情況 下增大動態(tài)范圍擴大量，并且在其它情況下減小動態(tài)范圍擴大量。在判斷為場景是藍天場景的情況下，除增強藍色飽和度以外，進行與正常場景相同的處理。然而，在判斷為場景是藍天場景、并且在藍色部分中具有高亮度的青色色相方向 上存在許多塊的情況下，可以擴大動態(tài)范圍擴大量的上限。這使得能夠在積極判斷天空部 分中的高光溢出程度時，確定動態(tài)范圍擴大量。此外，在肖像場景的情況下，連同人物優(yōu)先AE—起進行動態(tài)范圍擴大或縮小處理。在正常模式(即，不是夜間場景、黃昏場景或背光場景，并且沒有檢測到人物)的 情況下，可以通過在ISO感光度無變化的范圍內(nèi)進行動態(tài)范圍擴大處理、并且僅以低ISO感 光度進行動態(tài)范圍縮小處理，來抑制噪聲增大。在判斷為場景是藍天場景(無人物)的情況下，除增強藍色飽和度以外，處理與正常場景相同。然而，在判斷為場景是藍天場景、并且在藍色部分中具有高亮度的青色色相方向 上存在許多塊的情況下，可以擴大動態(tài)范圍擴大量的上限。這使得能夠在積極判斷藍色部 分中的高光溢出程度時，確定動態(tài)范圍擴大量。其它實施例在上述實施例中，說明了以下情況在靜止圖像拍攝時應(yīng)用根據(jù)本發(fā)明的動態(tài)范 圍擴大，但是當進行EVF圖像拍攝或運動圖像拍攝時同樣可以應(yīng)用根據(jù)本發(fā)明的動態(tài)范圍 擴大。在這種情況下，調(diào)整設(shè)置參數(shù)的時刻，使得AFE電路150的增益控制(和根據(jù)需要的 曝光校正)以及信號處理電路140中的色調(diào)校正應(yīng)用于同一圖像。盡管已經(jīng)參考典型實施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不限于所公開的典型實施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改以及等同結(jié)構(gòu)和功能。
權(quán)利要求
一種攝像設(shè)備，包括場景判斷部件，用于基于與在拍攝靜止圖像之前所拍攝的運動圖像有關(guān)的信息，進行場景判斷；以及控制部件，用于控制所述攝像設(shè)備以拍攝圖像，并且基于來自所述場景判斷部件的輸出，執(zhí)行如下兩個處理之一動態(tài)范圍擴大處理，用于以減小了的ISO感光度拍攝靜止圖像，并對所拍攝的靜止圖像應(yīng)用用于補償ISO感光度的減小的色調(diào)校正；以及動態(tài)范圍縮小處理，用于拍攝靜止圖像，并基于所述運動圖像或所拍攝的靜止圖像的高亮度部分的特性，對所拍攝的靜止圖像應(yīng)用用于增大所拍攝的靜止圖像的低亮度部分的亮度的色調(diào)校正。
2.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其特征在于，所述場景判斷部件對如下至少之一進行判斷有無人物、是否是夜間場景、是否是藍天 場景、是否是黃昏場景、是否是背光場景以及是否是微距拍攝。
3.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其特征在于，所述控制部件用于在所述場景判斷的結(jié)果不表示不進行所述動態(tài)范圍擴大處理的預(yù) 定場景的情況下，執(zhí)行所述動態(tài)范圍擴大處理。
4.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其特征在于，所述控制部件用于在所述場景判斷的結(jié)果表示不進行所述動態(tài)范圍擴大處理的預(yù)定 場景的情況下以及在所述動態(tài)范圍擴大處理中ISO感光度的減小量為O的情況下，執(zhí)行所 述動態(tài)范圍縮小處理。
5.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其特征在于，在所述動態(tài)范圍擴大處理中，進行了所述場景判斷的圖像的高光溢出量越大，所述控 制部件所確定的ISO感光度的減小量越大。
6.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其特征在于，所述控制部件用于在所述動態(tài)范圍縮小處理中，對所拍攝的靜止圖像應(yīng)用色調(diào)校正， 使得所拍攝的靜止圖像的累積直方圖的頻率為規(guī)定值的亮度值是與所述攝像設(shè)備中所包 括的圖像傳感器的飽和信號量相對應(yīng)的亮度值。
7.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其特征在于，所述控制部件用于在所述場景判斷中判斷為場景是夜間場景的情況下，執(zhí)行如下夜間 場景處理該夜間場景處理應(yīng)用用于減小低亮度部分中的輸入-輸出特性的增加率的色調(diào) 校正。
8.一種攝像設(shè)備的控制方法，包括場景判斷步驟，用于基于在拍攝靜止圖像之前所拍攝的運動圖像，進行場景判斷；以及控制步驟，用于控制攝像操作，其中，在所述控制步驟中，基于在所述場景判斷步驟中進行所述場景判斷的結(jié)果，執(zhí)行 如下兩個處理之一動態(tài)范圍擴大處理，用于以減小了的ISO感光度拍攝靜止圖像，并對所 拍攝的靜止圖像應(yīng)用用于補償ISO感光度的減小的色調(diào)校正；以及動態(tài)范圍縮小處理，用 于拍攝靜止圖像，并基于所述運動圖像或所拍攝的靜止圖像的高亮度部分的特性，對所拍 攝的靜止圖像應(yīng)用用于增大所拍攝的靜止圖像的低亮度部分的亮度的色調(diào)校正。
全文摘要
本發(fā)明涉及攝像設(shè)備及其控制方法。該攝像設(shè)備判斷所拍攝圖像的場景，并且根據(jù)場景判斷結(jié)果，以擴大后的動態(tài)范圍進行攝像，或者基于所拍攝圖像進行動態(tài)范圍縮小處理。在執(zhí)行動態(tài)范圍擴大處理的情況下，攝像設(shè)備以減小了的ISO感光度進行攝像，并且對所拍攝圖像進行用于補償ISO感光度的減小的色調(diào)校正。由此，攝像設(shè)備能夠以考慮被攝體和場景的動態(tài)范圍進行攝像。
文檔編號H04N5/235GK101800857SQ201010112169
公開日2010年8月11日 申請日期2010年2月8日 優(yōu)先權(quán)日2009年2月6日
發(fā)明者福井貴明 申請人:佳能株式會社