設(shè)備11的信號(hào)處理單元53具有例如在圖15中所示的配置。在圖15中所示的信號(hào) 處理單元53包括視線方向計(jì)算單元181和注視位置計(jì)算單元182。
[0199] 視線方向計(jì)算單元181基于從內(nèi)圖像捕獲單元22提供的內(nèi)圖像來(lái)計(jì)算操作圖像 處理設(shè)備11的用戶的視線方向，并且將視線方向提供給注視位置計(jì)算單元182。
[0200] 注視位置計(jì)算單元182基于從視線方向計(jì)算單元181提供的視線方向來(lái)獲得注視 位置，并且將注視位置提供給控制單元52?？刂茊卧?2基于來(lái)自注視位置計(jì)算單元182的 注視位置來(lái)生成控制信息，使得處于外圖像的注視位置處的被攝體被聚焦，并且注視位置 處的被攝體的曝光（亮度）和白平衡是適當(dāng)?shù)摹Ｈ缓?，控制單?2基于所生成的控制信息 來(lái)控制外圖像捕獲單元23。
[0201] [拍攝處理的描述4]
[0202] 接下來(lái)，將參照?qǐng)D16的流程圖來(lái)描述當(dāng)信號(hào)處理單元53具有在圖15中所示的配 置時(shí)進(jìn)行的拍攝處理。因?yàn)椴襟ESlOl和步驟S102的處理與圖4的步驟Sll和步驟S12的 處理是相同的，所以將省略其描述。
[0203] 在步驟S103中，視線方向計(jì)算單元181基于從內(nèi)圖像捕獲單元22提供的內(nèi)圖像 來(lái)計(jì)算作為拍攝者的用戶的視線方向，并且將視線方向提供給注視位置計(jì)算單元182。例 如，視線方向計(jì)算單元181通過(guò)進(jìn)行與圖12的步驟S73的處理相同的處理來(lái)獲得用戶的視 點(diǎn)位置，并且基于視點(diǎn)位置來(lái)獲得用戶的視線方向。例如，通過(guò)根據(jù)內(nèi)圖像檢測(cè)用戶的臉和 眼睛的位置來(lái)計(jì)算視點(diǎn)位置，并且基于視點(diǎn)位置和內(nèi)圖像上的用戶的瞳孔的位置來(lái)指定視 線方向。
[0204] 在步驟S104中，注視位置計(jì)算單元182基于從視線方向單元181提供的視線方向 和視點(diǎn)位置來(lái)獲得注視位置，并且將注視位置提供給控制單元52。例如，注視位置計(jì)算單元 182基于用戶的視線方向、用戶的視點(diǎn)位置和顯示單元21的位置來(lái)獲得外圖像上的注視位 置。
[0205] 在步驟S105中，控制單元52基于從注視位置計(jì)算單元182提供的注視位置來(lái)生 成用于外圖像捕獲單元23的焦點(diǎn)調(diào)整、亮度調(diào)整和白平衡調(diào)整的控制信息。
[0206] 例如，基于注視位置，控制單元52生成用于焦點(diǎn)調(diào)整、曝光調(diào)整和白平衡調(diào)整的 控制信息，由此注視位置處的被攝體被聚焦，并且被攝體的亮度和白平衡是最優(yōu)的。
[0207] 在步驟S106中，控制單元52通過(guò)基于控制信息控制外圖像捕獲單元23來(lái)進(jìn)行焦 點(diǎn)位置、亮度和白平衡的調(diào)整。從而，將處于用戶的注視位置處的被攝體被聚焦并且被攝體 的亮度和白平衡被適當(dāng)調(diào)整的外圖像從外圖像捕獲單元23提供給信號(hào)處理單元53。進(jìn)一 步地，信號(hào)處理單元53將從外圖像捕獲單元23提供的外圖像提供給顯示單元21和記錄單 元54〇
[0208] 這里，已經(jīng)描述了外圖像捕獲單元23進(jìn)行亮度調(diào)整和白平衡調(diào)整的示例。然而， 可以由信號(hào)處理單元53進(jìn)行亮度調(diào)整或白平衡調(diào)整。
[0209] 在步驟S107中，顯示單元21顯示從信號(hào)處理單元53提供的外圖像。然后，在步 驟S108中，記錄單元54記錄從信號(hào)處理單元53提供的外圖像，然后拍攝處理結(jié)束。
[0210] 如上所述，圖像處理設(shè)備11基于從內(nèi)圖像獲得的用戶的視線方向來(lái)指定用戶關(guān) 注的外圖像的注視位置，并且基于注視位置進(jìn)行焦點(diǎn)調(diào)整或亮度調(diào)整。因此，可以獲取用戶 關(guān)注的被攝體被聚焦并且被攝體的亮度或白平衡適當(dāng)?shù)妮^高質(zhì)量外圖像。另外，在該情況 下，雖然用戶未特別地進(jìn)行輸入操作，但是焦點(diǎn)和亮度也被適當(dāng)?shù)卣{(diào)整。因此，可以提高方 便性。
[0211] [第四實(shí)施例]
[0212] (信號(hào)處理單元的配置示例4)
[0213] 以上已經(jīng)描述了進(jìn)行外圖像的拍攝控制的示例。然而，可以基于內(nèi)圖像和外圖像 來(lái)進(jìn)行內(nèi)圖像的拍攝控制。
[0214] 具體地，例如，如圖17所示，假設(shè)作為拍攝者的用戶U21使圖像處理設(shè)備11的外 圖像捕獲單元23從房間朝向外面，以拍攝日落風(fēng)景作為外圖像P31，并且拍攝用戶U21作為 內(nèi)圖像。然后，假設(shè)圖像處理設(shè)備11將內(nèi)圖像合成在外圖像P31上，并且獲取作為結(jié)果獲 得的合成圖像作為用戶U21想要獲取的最終圖像。
[0215] 在該情況下，在拍攝時(shí)照射被攝體的光的光源在房間的內(nèi)部和外部不同。即，外圖 像P31的白平衡和內(nèi)圖像的白平衡不相同。因此，當(dāng)簡(jiǎn)單地將內(nèi)圖像與外圖像合成時(shí)，例 如，在某些情況下可能獲得在內(nèi)圖像上的用戶U21和在合成圖像P32中的背景之間顏色平 衡不自然的圖像。在該示例中，合成圖像P32的背景（風(fēng)景）的顏色是暗的，但是用戶U21 的顏色是亮的，因?yàn)橛脩鬠21是在室內(nèi)拍攝的。
[0216]因此，圖像處理設(shè)備11在拍攝外圖像P31時(shí)初步拍攝內(nèi)圖像，并且獲得所獲取的 外圖像P31和內(nèi)圖像的白平衡值。然后，圖像處理設(shè)備11使顯示單元21發(fā)射光，使得內(nèi)圖 像和外圖像的色調(diào)基于白平衡值是相同的。即，圖像處理設(shè)備11獲得用于使從現(xiàn)在起想要 拍攝的內(nèi)圖像的白平衡適合外圖像P31的白平衡的光源顏色，使顯示單元21以光源顏色發(fā) 射光，并且重新拍攝內(nèi)圖像。然后，圖像處理設(shè)備11合成已經(jīng)拍攝的外圖像P31和重新拍 攝的內(nèi)圖像，以生成合成圖像P33。
[0217] 在重新拍攝內(nèi)圖像時(shí)，在顯示單元21發(fā)射光時(shí)，作為被攝體的用戶U21被適當(dāng)?shù)?光照射。因此，在與拍攝外圖像P31的情況下的光源相同的光源下拍攝內(nèi)圖像，并且因此， 在所獲取的內(nèi)圖像上的用戶U21的色調(diào)與作為背景的外圖像P31的色調(diào)相同。即，外圖像 P31的白平衡與內(nèi)圖像的平衡是相同的。因此，可以在不對(duì)拍攝的圖像進(jìn)行白平衡調(diào)整的情 況下獲取具有自然色調(diào)的合成圖像P33。
[0218] 從而，通過(guò)基于外圖像和內(nèi)圖像的白平衡對(duì)內(nèi)圖像進(jìn)行拍攝控制，外圖像的光源 與內(nèi)圖像的光源匹配，并且可以獲取具有自然色調(diào)的合成圖像，即更高質(zhì)量的合成圖像。該 拍攝控制例如在用熒光燈等照亮的內(nèi)部拍攝太陽(yáng)下的外部并且合成在內(nèi)部拍攝的內(nèi)圖像 和在外部拍攝的外圖像時(shí)特別有效。
[0219] 在進(jìn)行拍攝控制時(shí)，圖2中的圖像處理設(shè)備11的信號(hào)處理單元53具有例如在圖 18中所示的配置。
[0220] 在圖18中所示的信號(hào)處理單元53包括白平衡計(jì)算單元211、白平衡計(jì)算單元 212、光源顏色計(jì)算單元213和合成單元214。
[0221] 白平衡計(jì)算單元211計(jì)算從外圖像捕獲單元23提供的外圖像的白平衡值，并且將 白平衡值提供給光源顏色計(jì)算單元213。白平衡計(jì)算單元212計(jì)算從內(nèi)圖像捕獲單元22提 供的內(nèi)圖像的白平衡值，并且將白平衡值提供給光源顏色計(jì)算單元213。
[0222] 光源顏色計(jì)算單元213基于從白平衡計(jì)算單元211和白平衡計(jì)算單元212提供的 白平衡值計(jì)算用于使內(nèi)圖像的白平衡適合于外圖像的白平衡的光源顏色信息，并且將光源 顏色信息提供給控制單元52?？刂茊卧?2基于來(lái)自光源顏色計(jì)算單元213的光源顏色信 息來(lái)生成用于使顯示單元21發(fā)射光的控制信息。
[0223] 合成單元214通過(guò)將來(lái)自外圖像捕獲單元23的外圖像和來(lái)自內(nèi)圖像捕獲單元22 的內(nèi)圖像合成來(lái)生成合成圖像，并且將合成圖像提供給記錄單元54。
[0224][拍攝處理的描述5]
[0225] 這里，當(dāng)用戶操作操作輸入單元51以選擇將外圖像和內(nèi)圖像合成以生成合成圖 像的模式并且給出開始拍攝的指示時(shí)，圖圖像處理設(shè)備11開始拍攝處理，并且生成合成圖 像。以下，將參照?qǐng)D19的流程圖來(lái)描述當(dāng)信號(hào)處理單元53具有在圖18中所示的配置時(shí)進(jìn) 行的拍攝處理。
[0226] 因?yàn)椴襟ES131和步驟S132的處理與圖4的步驟Sll和步驟S12的處理相同，所 以將省略其描述。然而，在步驟S131和步驟S132中，拍攝靜止圖像作為外圖像和內(nèi)圖像。 具體地，在步驟S132中拍攝的內(nèi)圖像被拍攝以生成光源顏色信息，并且不用于與外圖像合 成。
[0227] 外圖像被從外圖像捕獲單元23提供給白平衡計(jì)算單元211和合成單元214,內(nèi)圖 像被從內(nèi)圖像捕獲單元22提供給白平衡計(jì)算單元212和合成單元214。
[0228] 在步驟S133中，白平衡計(jì)算單元211計(jì)算從外圖像捕獲單元23提供的外圖像的 白平衡值，并且將白平衡值提供給光源顏色計(jì)算單元213。例如，白平衡計(jì)算單元211計(jì)算 外圖像的R(紅色）像素的白平衡值Wrl以及外圖像的B(藍(lán)色）像素的白平衡值Wbl。
[0229] 在步驟S134中，白平衡計(jì)算單元212計(jì)算從內(nèi)圖像捕獲單元22提供的內(nèi)圖像的 白平衡值，并且將白平衡值提供給光源顏色計(jì)算單元213。例如，白平衡計(jì)算單元212計(jì)算 內(nèi)圖像的R(紅色）像素的白平衡值Wr2以及內(nèi)圖像的B (藍(lán)色）像素的白平衡值Wb2。
[0230] 在步驟S135中，光源顏色計(jì)算單元213基于來(lái)自白平衡計(jì)算單元211的白平衡值 和來(lái)自白平衡計(jì)算單元212的白平衡值來(lái)確定外圖像和內(nèi)圖像的光源是否相同。
[0231] 例如，在外圖像和內(nèi)圖像的白平衡值相同（即Wrl = Wr2并且Wbl = Wb2)時(shí)，光 源顏色計(jì)算單元213確定光源是相同的。
[0232] 在步驟S135中，當(dāng)確定光源不相同（即光源彼此不同）時(shí)，處理進(jìn)行到步驟S136。
[0233] 在步驟S136中，光源顏色計(jì)算單元213基于外圖像和內(nèi)圖像的白平衡值來(lái)生成用 于使內(nèi)圖像的白平衡適合于外圖像的白平衡的光源顏色信息，并且將光源顏色信息提供給 控制單元52。
[0234] 例如，光源顏色計(jì)算單元213進(jìn)行下面的式（5)的計(jì)算，并且生成在使顯示單元21 發(fā)射光時(shí)指示R、G和B的各自的色調(diào)之間的關(guān)系的光源顏色信息。即，指示式（5)的關(guān)系 的f目息是光源顏色彳目息。
[0235][數(shù)學(xué)式5]
[0236] R:G:B = Wrl/ffr2:l:ffbl/ffb2- (5)
[0237] 在步驟S137中，控制單元52基于從光源顏色計(jì)算單元213提供的光源顏色信息 來(lái)生成用于使顯示單元21發(fā)射具有由光源顏色信息指示的色調(diào)的光的控制信息，并且基 于控制信息對(duì)顯示單元21進(jìn)行發(fā)光控制。即，控制單元52使顯示單元21發(fā)射具有由式 (5)所指示的色調(diào)的光。
[0238] 當(dāng)進(jìn)行了步驟S137的處理或者在步驟S135中確定光源相同時(shí)，內(nèi)圖像捕獲單元 22在步驟S138中拍攝內(nèi)圖像，并且將內(nèi)圖像提供給白平衡計(jì)算單元212和合成單元214。
[0239]例如，當(dāng)在步驟S137中使顯示單元21發(fā)射光時(shí)，作為被攝體的用戶被通過(guò)光照被 在室內(nèi)熒光燈下的光源等的光和來(lái)自顯示單元21的光照射，并且因此，在與外圖像的光源 相同的光源下拍攝內(nèi)圖像。即，在步驟S138的拍攝中，可以獲取具有與在步驟S131中獲取 的外圖像的白平衡相同的白平衡的內(nèi)圖像。
[0240] 例如，當(dāng)在步驟S135中確定光源相同時(shí)，顯示單元21不發(fā)射光。然而，在該情況 下，雖然不特別地使顯示單元21發(fā)射光，但是外圖像和內(nèi)圖像在相同的光源下拍攝。即，在 步驟S138中拍攝的內(nèi)圖像的白平衡與在步驟S131中拍攝的外圖像的白平衡是相同的。
[0241] 在步驟S139中，合成單元214通過(guò)將從外圖像捕獲單元23提供的外圖像和從內(nèi) 圖像捕獲單元22提供的內(nèi)圖像合成來(lái)生成合成圖像，并且將合成圖像提供給記錄單元54。 這里，將在步驟S131中獲取的外圖像和在步驟S138中獲取的內(nèi)圖像合成，使得生成合成圖 像。
[0242] 當(dāng)外圖像和內(nèi)圖像的光源相同時(shí)，可以不執(zhí)行步驟S138的處理，并且可以將在步 驟S131中獲取的外圖像和在步驟S132中獲取的內(nèi)圖像合成。
[0243] 在步驟S140中，記錄單元54記錄從合成單元214提供的合成圖像，然后拍攝處理 結(jié)束。
[0244] 如上所述，圖像處理設(shè)備11基于外圖像和內(nèi)圖像的白平衡值使顯示單元21發(fā)射 光，使得外圖像的白平衡與內(nèi)圖像的白平衡是相同的。然后，圖像處理設(shè)備11重新拍攝內(nèi) 圖像，并且通過(guò)將所獲取的內(nèi)圖像和外圖像合成來(lái)生成合成圖像。
[0245] 因此，通過(guò)使顯示單元21發(fā)射具有適當(dāng)?shù)纳{(diào)的光并且使內(nèi)圖像的白平衡適合 于外圖像的白平衡，可以獲取具有更自然的色調(diào)的合成圖像。即，可以獲取更高質(zhì)量的合成 圖像。
[0246] 在圖像處理設(shè)備11中，通過(guò)使安裝在與拍攝內(nèi)圖像的內(nèi)圖像捕獲單元22的相同 表面上的顯示單元21發(fā)射具有適當(dāng)顏色的光（顯示具有適當(dāng)顏色的圖像），外圖像的白平 衡可以與內(nèi)圖像的白平衡相同。即，可以實(shí)際使外圖像和內(nèi)圖像的光源相同。因此，即使在 外圖像和內(nèi)圖像的光源彼此不同時(shí)，也可以獲取在相同光源下拍攝的圖像，并且因此可以 獲取具有更自然的色調(diào)的合成圖像。
[0247][第五實(shí)施例]
[0248](圖像處理設(shè)備的外觀配置示例）
[0249] 如上所述，已經(jīng)描述了僅在圖像處理設(shè)備11的前表面?zhèn)劝惭b顯示單元21的示例， 如圖1所示。然而，顯示單元可以安裝在圖像處理設(shè)備的前表面和后表面這兩者上。
[0250] 例如，在該情況下，如圖20所示地配置圖像處理設(shè)備的外觀。在圖20中，對(duì)與圖 1中所示的構(gòu)成元件相對(duì)應(yīng)的構(gòu)成元件給出相同的標(biāo)號(hào)，并且將適當(dāng)?shù)厥?