用于創(chuàng)建相機(jī)重聚焦效果的方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明大體設(shè)及圖像處理系統(tǒng)和方法，并且尤其設(shè)及采用用于在捕捉圖像之后創(chuàng) 建可重聚焦效果的全光成像方法和系統(tǒng)。
【背景技術(shù)】
[0002] 光場(chǎng)相機(jī)或全光相機(jī)是使用微鏡頭陣列來(lái)捕捉關(guān)于場(chǎng)景的4維光場(chǎng)信息的相機(jī)。 此捕捉方法集合了多種計(jì)算機(jī)視覺和圖形應(yīng)用可利用的關(guān)于場(chǎng)景的大量信息。商用全光相 機(jī)目前推出的一種運(yùn)樣的技術(shù)或效果是對(duì)已經(jīng)拍攝的圖像進(jìn)行重聚焦的能力。順便說(shuō)一 句，如圖1中所圖示的重聚焦效果(refOCUS effect)似乎是當(dāng)代商用光場(chǎng)相機(jī)的僅有賣點(diǎn)。 或者，光場(chǎng)相機(jī)使終端用戶能夠拍攝給定場(chǎng)景，然后重聚焦到他們感興趣的區(qū)域。
[0003] 雖然重聚焦效果的視覺效應(yīng)相當(dāng)重要，并且從消費(fèi)者的視角其完全打破了照片拍 攝范式，但手段沒有為目的提供充分基礎(chǔ)。允許用戶"現(xiàn)在拍攝W后聚焦"的運(yùn)些光場(chǎng)相機(jī) 所產(chǎn)生的重聚焦效果，作為關(guān)鍵商用方面，并不一定要求創(chuàng)建全光機(jī)構(gòu)。換句話說(shuō)，可在不 使用全光相機(jī)的情況下，即通過(guò)使用像數(shù)字相機(jī)運(yùn)樣的常規(guī)捕捉設(shè)備模擬相同的重聚焦效 果。
[0004] 光場(chǎng)相機(jī)使終端用戶能夠拍攝給定場(chǎng)景，然后重聚焦到他們感興趣的區(qū)域。提供 此重聚焦能力的所有解決方案要么要求專用光場(chǎng)相機(jī)要么要求特殊輔助硬件或者某種形 式的硬件集成或操縱。另外，運(yùn)樣的解決方案昂貴且與現(xiàn)有圖像捕捉設(shè)備/相機(jī)不兼容，并 且為了產(chǎn)生此重聚焦效果，將必須要求新的設(shè)備或鏡頭/傳感器陣列。
[0005] 雖然已經(jīng)嘗試通過(guò)使用要求某種形式的額外硬件的技術(shù)來(lái)模擬重聚焦效果，但硬 件附件或從更低層硬件設(shè)備(諸如傳感器)獲得信息并不總是可用。所有運(yùn)些又要在成本或 設(shè)備兼容性上妥協(xié)。任何硬件解決方案或追求硬件/傳感器層級(jí)信息的解決方案都將被捆 綁到特定設(shè)備或模型。運(yùn)又將迫使用戶購(gòu)買那個(gè)設(shè)備或附件W實(shí)現(xiàn)要求的重聚焦效果。
[0006] 相關(guān)技術(shù)的前述示例及與其有關(guān)的限制意圖為說(shuō)明性的且非排他性的。在閱讀了 說(shuō)明書及研究了附圖后，相關(guān)技術(shù)的其它限制將變得清楚。

【發(fā)明內(nèi)容】

[0007] 問題的解決方案
[000引本文的各種實(shí)施例提供了用于捕捉可重聚焦圖像集的方法和裝置。該方法包括： 將視場(chǎng)分割成多個(gè)柵格;確定與多個(gè)柵格中的每一個(gè)相關(guān)聯(lián)的銳度水平;基于所確定的多 個(gè)柵格中的每一個(gè)的銳度水平識(shí)別一個(gè)或多個(gè)區(qū)域，每個(gè)區(qū)域包括多個(gè)柵格中的一個(gè)或多 個(gè)；W及捕捉與所識(shí)別的一個(gè)或多個(gè)區(qū)域中的每一個(gè)相關(guān)聯(lián)的圖像W形成可重聚焦圖像 集。
[0009] 根據(jù)本發(fā)明的實(shí)施例，用于捕捉可重聚焦圖像集的方法還包括檢測(cè)對(duì)視場(chǎng)中具有 相關(guān)聯(lián)的照度水平的對(duì)象的重聚焦動(dòng)作，W及基于檢測(cè)來(lái)變化對(duì)象的相關(guān)聯(lián)的照度水平。
[0010] 根據(jù)本發(fā)明的實(shí)施例，重聚焦效果按如下過(guò)程來(lái)定義:其中在圖像被捕捉之后，用 戶可選擇性地選擇用戶想要聚焦的區(qū)域。另外，本文的場(chǎng)景被定義為用戶意圖捕捉為圖片 的視場(chǎng)。
[0011] 根據(jù)本發(fā)明的實(shí)施例，該方法還包括在全景模式中捕捉可重聚焦圖像集。在全景 模式中，可在全景模式中的所捕捉的可重聚焦圖像集中對(duì)與視場(chǎng)相關(guān)聯(lián)的每個(gè)對(duì)象個(gè)別聚 焦。
[0012] 根據(jù)本發(fā)明的實(shí)施例，用于捕捉可重聚焦圖像集的方法還包括在高動(dòng)態(tài)范圍 化DR)模式中捕捉可重聚焦圖像集，其中，在皿R模式中，可在所捕捉的可重聚焦圖像集中對(duì) 與視場(chǎng)相關(guān)聯(lián)的每個(gè)對(duì)象個(gè)別聚焦。
[0013] 根據(jù)本發(fā)明的實(shí)施例，用于捕捉可重聚焦圖像集的方法還包括在S維(3-D)模式 中從多個(gè)位置捕捉可重聚焦圖像集W擅染(render)所捕捉的可重聚焦圖像集，其中，在3-D 模式中，可在所捕捉的可重聚焦圖像集中對(duì)與視場(chǎng)相關(guān)聯(lián)的每個(gè)對(duì)象個(gè)別聚焦。
[0014] 根據(jù)本發(fā)明的實(shí)施例，用于捕捉可重聚焦圖像集的方法還包括將可重聚焦圖像集 與相關(guān)聯(lián)的元數(shù)據(jù)一起存儲(chǔ)為預(yù)定義格式，諸如BSR文件格式、多媒體容器格式或檔案文件 格式之一。
[0015] 根據(jù)本發(fā)明的實(shí)施例，用于捕捉可重聚焦圖像集的方法還包括:將視場(chǎng)分割成多 個(gè)柵格，每個(gè)柵格與存在于視場(chǎng)中的一個(gè)或多個(gè)對(duì)象相關(guān)聯(lián);確定與多個(gè)柵格中的每一個(gè) 相關(guān)聯(lián)的銳度水平;基于所確定的多個(gè)柵格中的每一個(gè)的銳度水平識(shí)別一個(gè)或多個(gè)區(qū)域， 每個(gè)區(qū)域包括多個(gè)柵格中的一個(gè)或多個(gè)；W及捕捉與所識(shí)別的一個(gè)或多個(gè)區(qū)域中的每一個(gè) 相關(guān)聯(lián)的圖像W形成可重聚焦圖像集，其中每個(gè)識(shí)別出的區(qū)域具有不同的銳度水平。
[0016] 根據(jù)本文的實(shí)施例，捕捉每個(gè)區(qū)域的圖像包括將焦點(diǎn)設(shè)定在所選擇區(qū)域上，計(jì)算 一個(gè)或多個(gè)區(qū)域的銳度水平，基于闊值識(shí)別銳利的一個(gè)或多個(gè)區(qū)域，不拍攝被標(biāo)記為銳利 的區(qū)域的圖像，并且繼續(xù)捕捉多個(gè)非銳利區(qū)域的圖像直到對(duì)于多個(gè)非銳利區(qū)域中的每個(gè)區(qū) 域都捕捉了圖像為止。
[0017] 根據(jù)本發(fā)明的實(shí)施例，用于捕捉可重聚焦圖像集的方法還包括檢測(cè)對(duì)視場(chǎng)中具有 相關(guān)聯(lián)的照度水平的對(duì)象的重聚焦動(dòng)作，W及基于檢測(cè)來(lái)變化對(duì)象的相關(guān)聯(lián)的照度水平。
[0018] 根據(jù)本發(fā)明的實(shí)施例，用于捕捉可重聚焦圖像集的方法還包括在全景模式中捕捉 可重聚焦圖像集，其中，在全景模式中，可在所捕捉的可重聚焦圖像集中對(duì)與視場(chǎng)相關(guān)聯(lián)的 每個(gè)對(duì)象個(gè)別聚焦。
[0019] 根據(jù)本發(fā)明的實(shí)施例，用于捕捉可重聚焦圖像集的方法還包括在高動(dòng)態(tài)范圍 化DR)模式中捕捉可重聚焦圖像集，其中，在皿R模式中，可在所捕捉的可重聚焦圖像集中對(duì) 與視場(chǎng)相關(guān)聯(lián)的每個(gè)對(duì)象個(gè)別聚焦。
[0020] 根據(jù)本發(fā)明的實(shí)施例，用于捕捉可重聚焦圖像集的方法還包括在S維(3-D)模式 中從多個(gè)位置捕捉可重聚焦圖像集W擅染所捕捉的可重聚焦圖像集，其中，在3-D模式中， 可在所捕捉的可重聚焦圖像集中對(duì)與視場(chǎng)相關(guān)聯(lián)的每個(gè)對(duì)象個(gè)別聚焦。
[0021] 本文的實(shí)施例還提供一種用于捕捉可重聚焦圖像集的成像裝置，該裝置包括：圖 像捕捉單元，被適配用于捕捉感興趣的場(chǎng)景的圖像，W及圖像處理單元，被適配用于將視場(chǎng) 分割成多個(gè)柵格，確定與多個(gè)柵格中的每一個(gè)相關(guān)聯(lián)的銳度水平，基于所確定的多個(gè)柵格 中的每一個(gè)的銳度水平識(shí)別一個(gè)或多個(gè)區(qū)域，每個(gè)區(qū)域包括多個(gè)柵格中的一個(gè)或多個(gè)，并 且捕捉與所識(shí)別的一個(gè)或多個(gè)區(qū)域中的每一個(gè)相關(guān)聯(lián)的圖像W形成可重聚焦圖像集。
[0022] 根據(jù)本發(fā)明的實(shí)施例，圖像處理單元還被適配用于檢測(cè)對(duì)視場(chǎng)中具有相關(guān)聯(lián)的照 度水平的對(duì)象的重聚焦動(dòng)作，W及基于檢測(cè)來(lái)變化對(duì)象的相關(guān)聯(lián)的照度水平。
[0023] 根據(jù)本發(fā)明的實(shí)施例，圖像處理單元還被適配用于在全景模式中捕捉可重聚焦圖 像集，其中，在全景模式中，可在所捕捉的可重聚焦圖像集中對(duì)與視場(chǎng)相關(guān)聯(lián)的每個(gè)對(duì)象個(gè) 別聚焦。
[0024] 根據(jù)本發(fā)明的實(shí)施例，圖像處理單元還被適配用于:將視場(chǎng)分割成多個(gè)柵格，每個(gè) 柵格與存在于視場(chǎng)中的一個(gè)或多個(gè)對(duì)象相關(guān)聯(lián);確定與多個(gè)柵格中的每一個(gè)相關(guān)聯(lián)的銳度 水平;基于所確定的多個(gè)柵格中的每一個(gè)的銳度水平識(shí)別一個(gè)或多個(gè)區(qū)域，每個(gè)區(qū)域包括 多個(gè)柵格中的一個(gè)或多個(gè)；W及捕捉與所識(shí)別的一個(gè)或多個(gè)區(qū)域中的每一個(gè)相關(guān)聯(lián)的圖像 W形成可重聚焦圖像集。
[0025] 根據(jù)本發(fā)明的實(shí)施例，圖像處理單元還被適配用于檢測(cè)對(duì)視場(chǎng)中具有相關(guān)聯(lián)的照 度水平的至少一個(gè)對(duì)象的重聚焦動(dòng)作，W及基于檢測(cè)來(lái)變化對(duì)象的相關(guān)聯(lián)的照度水平。
[0026] 根據(jù)本發(fā)明的實(shí)施例，圖像處理單元還被適配用于在高動(dòng)態(tài)范圍化DR)模式中捕 捉可重聚焦圖像集，其中，在皿財(cái)莫式中，可在所捕捉的可重聚焦圖像集中對(duì)與視場(chǎng)相關(guān)聯(lián) 的每個(gè)對(duì)象個(gè)別聚焦。
[0027] 根據(jù)本發(fā)明的實(shí)施例，圖像處理單元還被適配用于在S維（3-D)模式中從多個(gè)位 置捕捉可重聚焦圖像集W擅染所捕捉的可重聚焦圖像集，其中，在3-D模式中，可在所捕捉 的可重聚焦圖像集中對(duì)與視場(chǎng)相關(guān)聯(lián)的每個(gè)對(duì)象個(gè)別聚焦。
[0028] 前文已經(jīng)大體上概述了本發(fā)明的各方面，并且將充當(dāng)更好地理解之后的更完整的 詳細(xì)描述的輔助物。參照運(yùn)些，將會(huì)清楚地理解，本發(fā)明不受限于本文描述和圖示的使用的 方法或應(yīng)用。意圖是根據(jù)