圖像處理設(shè)備、拍攝控制方法和程序的制作方法
【專利說明】
[0001] 相關(guān)申請的交叉引用
[0002] 本申請要求享有于2013年2月20日提交的日本優(yōu)先權(quán)專利申請JP 2013-031376 的權(quán)益，其全部內(nèi)容通過引用并入本文。
技術(shù)領(lǐng)域
[0003] 本技術(shù)涉及圖像處理設(shè)備、拍攝控制方法和程序，并且更具體地涉及能夠獲得較 高質(zhì)量圖像的圖像處理設(shè)備、拍攝控制方法和程序。
【背景技術(shù)】
[0004] 以往，已知安裝有兩個(gè)相機(jī)的成像設(shè)備。一些成像設(shè)備可以同時(shí)用兩個(gè)相機(jī)拍攝 圖像。
[0005] 例如，作為所述成像設(shè)備，已經(jīng)提出執(zhí)行如下控制的成像設(shè)備：成像被配置為當(dāng)試 圖用主相機(jī)對被攝體進(jìn)行成像時(shí)用主相機(jī)來執(zhí)行，并且改變用子相機(jī)成像的拍攝者的表示 (例如，參見專利文獻(xiàn)1)。
[0006] 引用列表
[0007] 專利文獻(xiàn)
[0008] 專利文獻(xiàn)1:日本未經(jīng)審查的專利申請公開第2010-11253號

【發(fā)明內(nèi)容】

[0009] 技術(shù)問題
[0010] 然而，在上述技術(shù)中，由主相機(jī)基于用子相機(jī)獲得的圖像來控制拍攝定時(shí)。因此， 不能獲得諸如具有較高銳度的圖像或較接近拍攝者的視點(diǎn)的圖像這樣的較高質(zhì)量圖像。
[0011] 期望提供能夠獲得較高質(zhì)量圖像的技術(shù)。
[0012] 解決問題的技術(shù)方案
[0013] 根據(jù)一方面，本公開涉及一種包括電路的信息處理系統(tǒng)，所述電路被配置為：獲取 由被布置在殼體的第一側(cè)的第一相機(jī)單元所捕獲的第一圖像數(shù)據(jù)；獲取由布置在與殼體的 第一側(cè)相對的殼體的第二側(cè)的第二相機(jī)單元所捕獲的第二圖像數(shù)據(jù)；以及基于第一圖像數(shù) 據(jù)來修改第二圖像數(shù)據(jù)。
[0014] 可以在由第二相機(jī)單元捕獲第二圖像數(shù)據(jù)的基本相同時(shí)間由第一相機(jī)單元捕獲 第一圖像數(shù)據(jù)。
[0015] 所述電路可以被配置為通過基于第一圖像數(shù)據(jù)對第二圖像數(shù)據(jù)進(jìn)行模糊校正來 修改第二圖像數(shù)據(jù)。
[0016] 所述電路可以被配置為：基于第一圖像數(shù)據(jù)來生成第一運(yùn)動信息；基于第二圖像 數(shù)據(jù)來生成第二運(yùn)動信息；以及通過基于第一運(yùn)動信息和第二運(yùn)動信息對第二圖像數(shù)據(jù)進(jìn) 行模糊校正來修改第二圖像數(shù)據(jù)。
[0017] 所述電路可以被配置為：通過基于第一圖像數(shù)據(jù)控制與第二圖像數(shù)據(jù)對應(yīng)的圖像 捕獲角度來修改第二圖像數(shù)據(jù)。
[0018] 所述電路可以被配置為通過改變第二相機(jī)單元的縮放比率、改變第二相機(jī)單元的 光圈、改變第二相機(jī)單元的朝向以及對第二圖像數(shù)據(jù)進(jìn)行圖像變形中的至少一個(gè)來控制與 第二圖像數(shù)據(jù)對應(yīng)的圖像捕獲角度。
[0019] 所述電路可以被配置為：向顯示器輸出第二圖像數(shù)據(jù)；基于第一圖像數(shù)據(jù)來檢測 用戶在顯示器上的注視位置；以及通過基于所檢測到的用戶在顯示器上的注視位置控制第 二相機(jī)單元的圖像捕獲參數(shù)來修改第二圖像數(shù)據(jù)。
[0020] 所述電路可以被配置為通過將第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)合成來修改第二圖 像數(shù)據(jù)。
[0021] 所述電路可以被配置為：獲取與第一圖像數(shù)據(jù)對應(yīng)的第一白平衡值；獲取與第二 圖像數(shù)據(jù)對應(yīng)的第二白平衡值；以及基于第一白平衡值和第二白平衡值來控制光源發(fā)射 光。
[0022] 所述電路可以被配置為：獲取在光源發(fā)射光的同時(shí)由第一相機(jī)單元所捕獲的第三 圖像數(shù)據(jù)；以及通過將第三圖像數(shù)據(jù)和第二圖像數(shù)據(jù)合成來修改第二圖像數(shù)據(jù)。
[0023] 根據(jù)另一方面，本公開涉及一種信息處理方法，其包括：獲取由布置在殼體的第一 側(cè)的第一相機(jī)單元所捕獲的第一圖像；獲取由布置在與殼體的第一側(cè)相對的殼體的第二側(cè) 的第二相機(jī)單元所捕獲的第二圖像數(shù)據(jù)；以及基于第一圖像數(shù)據(jù)來修改第二圖像數(shù)據(jù)。
[0024] 根據(jù)另一方面，本公開涉及一種包括計(jì)算機(jī)程序指令的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)， 所述計(jì)算機(jī)程序指令在被信息處理系統(tǒng)執(zhí)行時(shí)使該系統(tǒng)：獲取由被布置在殼體的第一側(cè)的 第一相機(jī)單元所捕獲的第一圖像數(shù)據(jù)；獲取由布置在與殼體的第一側(cè)相對的殼體的第二側(cè) 的第二相機(jī)單元所捕獲的第二圖像數(shù)據(jù)；以及基于第一圖像數(shù)據(jù)來修改第二圖像數(shù)據(jù)。
[0025] 發(fā)明的有益效果
[0026] 根據(jù)本技術(shù)的實(shí)施例，可以獲得較高質(zhì)量圖像。
【附圖說明】
[0027] 圖1是例示圖像處理設(shè)備的外觀的配置示例的圖。
[0028] 圖2是例示圖像處理設(shè)備的配置示例的圖。
[0029] 圖3是例示信號處理單元的配置示例的圖。
[0030] 圖4是描述拍攝處理的流程圖。
[0031] 圖5是描述運(yùn)動信息的圖。
[0032] 圖6是描述運(yùn)動信息的圖。
[0033] 圖7是描述相機(jī)模糊校正的圖。
[0034] 圖8是例示圖像處理設(shè)備的配置示例的圖。
[0035] 圖9是描述拍攝處理的流程圖。
[0036] 圖10是描述視場角調(diào)整的圖。
[0037] 圖11是例示信號處理單元的配置示例的圖。
[0038] 圖12是描述拍攝處理的流程圖。
[0039] 圖13是描述視場角調(diào)整的圖。
[0040] 圖14是描述焦點(diǎn)調(diào)整的圖。
[0041] 圖15是例示信號處理單元的配置示例的圖。
[0042] 圖16是描述拍攝處理的流程圖。
[0043] 圖17是描述光源匹配的圖。
[0044] 圖18是例示信號處理單元的配置示例的圖。
[0045] 圖19是描述拍攝處理的流程圖。
[0046] 圖20是例示圖像處理設(shè)備的外觀的配置示例的圖。
[0047] 圖21是例示圖像處理設(shè)備的配置示例的圖。
[0048] 圖22是描述拍攝處理的流程圖。
[0049] 圖23是描述拍攝處理的流程圖。
[0050] 圖24是例示計(jì)算機(jī)的配置示例的圖。
【具體實(shí)施方式】
[0051] 以下將參照附圖來描述應(yīng)用本技術(shù)的實(shí)施例。
[0052] 第一實(shí)施例
[0053] 本技術(shù)的實(shí)施例的概覽
[0054] 本技術(shù)的實(shí)施例涉及包括多個(gè)成像單元的設(shè)備，諸如多功能型移動電話或數(shù)字相 機(jī)，所述設(shè)備可以沿彼此不同的方向拍攝圖像并且在主成像單元拍攝圖像時(shí)基于從由另一 成像單元所拍攝的圖像獲得的信息來進(jìn)行拍攝控制。
[0055] 這里進(jìn)行的拍攝控制是用于與要拍攝的圖像有關(guān)的調(diào)整的控制，例如驅(qū)動對成像 單元的控制，諸如圖像視圖調(diào)整、或者對被攝體的照明、或者諸如相機(jī)模糊校正或白平衡調(diào) 整這樣的對圖像的圖像質(zhì)量調(diào)整。假設(shè)拍攝控制包括控制執(zhí)行圖像處理直至在拍攝圖像以 獲得用于記錄的最終圖像之后記錄圖像。在本技術(shù)的實(shí)施例中，較高質(zhì)量圖像可以通過進(jìn) 行這樣的拍攝控制來獲得。
[0056] 圖1是例示應(yīng)用本技術(shù)的實(shí)施例的諸如多功能移動電話這樣的圖像處理設(shè)備的 外觀的配置示例的圖。
[0057] 在圖1中，由箭頭All所指示的圖像處理設(shè)備11的外觀是前表面?zhèn)?，即?dāng)用戶持 有圖像處理設(shè)備11以進(jìn)行操作時(shí)從用戶所觀看的外觀側(cè)。由箭頭A12所指示的圖像處理 設(shè)備11的外觀是側(cè)表面?zhèn)?，即?dāng)從由圖中的箭頭All所旨示的圖像處理設(shè)備11的左側(cè)或 右側(cè)觀看時(shí)的外觀側(cè)。由箭頭A13所指示的圖像處理設(shè)備11的外觀是后表面?zhèn)?，即前表?側(cè)的相對表面?zhèn)鹊耐庥^。
[0058] 如箭頭All所指示，顯示圖像等的顯示單元21安裝在圖像處理設(shè)備11的前表面 偵k用戶用以進(jìn)行輸入操作的觸摸面板被安裝以疊加在顯示單元21上。在顯示單元21位 于圖像處理設(shè)備11的前表面上的圖中，在上側(cè)還安裝有拍攝存在于圖像處理設(shè)備11的前 表面?zhèn)鹊姆较蛏系谋粩z體的內(nèi)圖像捕獲單元22。因此，在大多數(shù)情況下，由內(nèi)圖像捕獲單元 22所拍攝的圖像是操作圖像處理設(shè)備11的用戶的圖像。以下，由內(nèi)圖像捕獲單元22所拍 攝的圖像被稱為內(nèi)圖像（in-image)。將假設(shè)拍攝用戶的圖像作為內(nèi)圖像來繼續(xù)進(jìn)行描述。
[0059] 如箭頭A13所指示，拍攝存在于圖像處理設(shè)備11的后表面?zhèn)鹊姆较蛏系谋粩z體的 外圖像捕獲單元23安裝在圖像處理設(shè)備11的后表面上。在該示例中，安裝外圖像捕獲單 元23以拍攝內(nèi)圖像捕獲單元22的拍攝方向的相對方向上的圖像。然而，內(nèi)圖像捕獲單元 22和外圖像捕獲單元23可以被布置為使得拍攝方向彼此不同。
[0060]由外圖像捕獲單元23所拍攝的圖像通常是用戶所觀看的風(fēng)景、人類等的圖像，即 用戶認(rèn)為期望拍攝的被攝體的圖像。以下，由外圖像捕獲單元23所拍攝的圖像被稱為外圖 像（out-image)〇
[0061]圖像處理設(shè)備11在拍攝外圖像時(shí)拍攝內(nèi)圖像以及外圖像，并且進(jìn)行拍攝控制以 通過使用內(nèi)圖像除去外圖像的相機(jī)抖動分量來獲得具有較高銳度的外圖像。即，執(zhí)行相機(jī) 模糊校正作為對外圖像的拍攝控制。在該實(shí)施例中，假設(shè)拍攝運(yùn)動圖像作為外圖像和內(nèi)圖 像。
[0062](圖像處理設(shè)備的配置示例1)
[0063] 接下來，將描述圖像處理設(shè)備11的更詳細(xì)的配置。
[0064] 圖2是例示圖像處理設(shè)備11的更詳細(xì)的配置示例的框圖。在圖2中，對與圖1中 的構(gòu)成元件相對應(yīng)的構(gòu)成元件給出相同的標(biāo)記，并且將適當(dāng)?shù)厥÷云涿枋觥?br>[0065]在圖2中所例示的圖像處理設(shè)備11包括顯示單元21、內(nèi)圖像捕獲單元22、外圖像 捕獲單元23、操作輸入單元51、控制單元52、信號處理單元53以及記錄單元54。
[0066] 例如，操作輸入單元51由疊加在顯示單元21上的觸摸面板來形成，并且根據(jù)用戶 的操作向控制單元52提供信號。
[0067]控制單元52根據(jù)從操作輸入單元51提供信號來控制整個(gè)圖像處理設(shè)備11的處 理。例如，控制單元52指示內(nèi)圖像捕獲單元22或外圖像捕獲單元23拍攝圖像，或者指示 信號處理單元53對外圖像進(jìn)行各種處理?？刂茊卧?2指示顯示單元21顯示圖像，或者指 示記錄單元54記錄圖像。
[0068] 信號處理單元53基于從外圖像捕獲單元23提供的外圖像以及從內(nèi)圖像捕獲單元 22提供的內(nèi)圖像對外圖像進(jìn)行相機(jī)模糊校正，并且將作為圖像處理的結(jié)果所獲得的外圖像 提供給記錄單元54以記錄外圖像。信號處理單元53從記錄單元54讀取外圖像，并且向顯 示單元21提供外圖像以顯示外圖像。
[0069]記錄單元54記錄從信號處理單元53提供的外圖像，并且根據(jù)需要將所記錄的外 圖像提供給信號處理單元53。
[0070](信號處理單元的配置示例1)
[0071] 更具體地，圖2中的信號處理單元53被配置為如圖3中那樣。
[0072] 在圖3中所例示的信號處理單元53包括運(yùn)動估計(jì)單元81、運(yùn)動估計(jì)單元82、合成 單元83以及相機(jī)模糊校正單元84。
[0073] 運(yùn)動估計(jì)單元81通過對從外圖像捕獲單元23提供的外圖像進(jìn)行運(yùn)動估計(jì)來生成 指示在外圖像的拍攝時(shí)的圖像處理設(shè)備11的運(yùn)動的運(yùn)動信息，并且將所生成的運(yùn)動信息 提供給合成單元83。
[0074] 運(yùn)動估計(jì)單元82通過對從內(nèi)圖像捕獲單元22提供的內(nèi)圖像進(jìn)行運(yùn)動估計(jì)來生成 指示在內(nèi)圖像的拍攝時(shí)的圖像處理設(shè)備11的運(yùn)動的運(yùn)動信息，并且將所生成的運(yùn)動信息 提供給合成單元83。內(nèi)圖像與外圖像同時(shí)地被拍攝。
[0075] 合成單元83通過合成從運(yùn)動估計(jì)單元81提供的運(yùn)動信息和從運(yùn)動估計(jì)單元82 提供的運(yùn)動信息來獲得指示在外圖像的拍攝時(shí)的圖像處理設(shè)備11的最終運(yùn)動，并且將所 獲得的運(yùn)動信息提供給相機(jī)模糊校正單元84。
[0076] 相機(jī)模糊校正單元84基于從合成單元83提供的運(yùn)動信息對從外圖像捕獲單元23 提供的外圖像進(jìn)行相機(jī)模糊校正，并且將作為結(jié)果所獲取的外圖像提供給記錄單元54。[0077][拍攝處理的描述1]
[0078] 這里，當(dāng)用戶對操作輸入單元51進(jìn)行操作，選擇用于對外圖像進(jìn)行相機(jī)模糊校正 的模式，并且按照同時(shí)拍攝外圖像和內(nèi)圖像來給出拍攝外圖像的指示時(shí)，圖像處理設(shè)備11 進(jìn)行拍攝處理以拍攝外圖像。以下，將參照圖4的流程圖來描述由圖像處理設(shè)備11進(jìn)行的 拍攝處理。
[0079] 在步驟Sll中，外圖像捕獲單元23響應(yīng)于控制單元52的指示來拍攝外圖像，并且 將外圖像提供給運(yùn)動估計(jì)單元81和相機(jī)模糊校正單元84。例如，拍攝諸如風(fēng)景圖像這樣的 運(yùn)動圖像作為外圖像。在拍攝外圖像時(shí)，信號處理單元53將從外圖像捕獲單元23提供的 外圖像提供給顯示單元21，使得外圖像被顯示。從而，用戶可以在顯示單元21上確認(rèn)外圖 像（如有必要）的同時(shí)進(jìn)行拍攝。
[0080] 在步驟S12中，內(nèi)圖像捕獲單元22響應(yīng)于控制單元52的指示來拍攝內(nèi)圖像，并且 將內(nèi)圖像提供給運(yùn)動估計(jì)單元82。例如，拍攝操作圖像處理設(shè)備11的用戶的臉的運(yùn)動圖像 作為內(nèi)圖像。
[0081] 在步驟S13中，運(yùn)動估計(jì)單元81通過對從外圖像捕獲單元23提供的外圖像進(jìn)行 運(yùn)動估計(jì)來生成圖像處理設(shè)備11的運(yùn)動信息，并且將運(yùn)動信息提供給合成單元83。
[0082] 在步驟S14中，運(yùn)動估計(jì)單元82通過對從內(nèi)圖像捕獲單元22提供的內(nèi)圖像進(jìn)行 運(yùn)動估計(jì)來生成圖像處理設(shè)備11的運(yùn)