本文包含的詳細(xì)描述或圖示而變得清楚或明顯的本發(fā)明的任何其 它優(yōu)點(diǎn)和目標(biāo)都在本發(fā)明的范圍之內(nèi)。
【附圖說(shuō)明】
[0029] 本領(lǐng)域技術(shù)人員根據(jù)下列對(duì)優(yōu)選實(shí)施例的描述和附圖將想到其它目標(biāo)、特征和優(yōu) 點(diǎn)，附圖中：
[0030] 圖1是根據(jù)現(xiàn)有技術(shù)圖示的對(duì)于相同場(chǎng)景具有不同聚焦區(qū)域的所捕捉圖像的快 照。
[0031] 圖2是描繪根據(jù)本發(fā)明的實(shí)施例的捕捉可重聚焦圖像集的示例性方法的流程圖。
[0032] 圖3是描繪根據(jù)本發(fā)明的實(shí)施例的將場(chǎng)景分塊(tile)成鄰接塊的圖示。
[0033] 圖4是描繪根據(jù)本發(fā)明的實(shí)施例的拍攝最優(yōu)化技術(shù)的圖像處理系統(tǒng)的框圖。
[0034] 圖5是圖示根據(jù)本發(fā)明的實(shí)施例的場(chǎng)景的基于對(duì)象的分割的快照。
[0035] 圖6是根據(jù)本發(fā)明的實(shí)施例的圖像捕捉系統(tǒng)的框圖。
[0036] 圖7是描繪根據(jù)本發(fā)明的實(shí)施例的利用不同的照度來(lái)重聚焦的圖像的快照。
[0037] 圖8是描繪根據(jù)本發(fā)明的示例性實(shí)施例的全景模式中的重聚焦的圖像的快照。
[0038] 圖9是描繪根據(jù)本發(fā)明的實(shí)施例的重聚焦圖像中的皿R效果的圖像的快照。
[0039] 雖然本發(fā)明的特定特征在一些圖中示出且在其它圖中沒(méi)有示出，但運(yùn)僅是為了方 便而為，因?yàn)槊總€(gè)特征可依照本發(fā)明與其它特征中的任何一個(gè)或全部組合。
【具體實(shí)施方式】
[0040] 本發(fā)明提供了用于捕捉可重聚焦圖像集的方法和系統(tǒng)。在下列對(duì)本發(fā)明的實(shí)施例 的詳細(xì)描述中，參照形成本發(fā)明的一部分的附圖，并且附圖中借助圖示的方式示出了可實(shí) 踐本發(fā)明的具體實(shí)施例。足夠詳細(xì)地描述了運(yùn)些實(shí)施例W使得本領(lǐng)域技術(shù)人員能夠?qū)嵺`本 發(fā)明，并且將會(huì)理解，可利用其它實(shí)施例并且可在不脫離本發(fā)明范圍的情況下作出改變。因 此，下列詳細(xì)描述不應(yīng)W限制性的意義來(lái)看待，并且本發(fā)明的范圍僅由所附權(quán)利要求定義。
[0041] 當(dāng)今市場(chǎng)中可買(mǎi)到的圖像捕捉設(shè)備（即存在于數(shù)字相機(jī)、智能電話、平板中的相 機(jī)）中的大部分都具備在拍攝圖片前明確設(shè)定聚焦區(qū)域的能力。本發(fā)明提供了從用戶空間 控制的觸摸W聚焦的特征。此特征是定制應(yīng)用。此外，本發(fā)明提供了一種通過(guò)使用捕捉場(chǎng)景 的所有深度信息的一系列圖像來(lái)模擬重聚焦效果的方法。因此，本發(fā)明提供了利用如下事 實(shí)的圖像捕捉方法和系統(tǒng)：從用戶/應(yīng)用空間可控制觸摸W聚焦并且重聚焦可通過(guò)相同場(chǎng) 景的所捕捉數(shù)量的照片來(lái)模擬，其中每個(gè)照片表示焦點(diǎn)對(duì)準(zhǔn)的場(chǎng)景中的至少一個(gè)區(qū)域。當(dāng) 最優(yōu)數(shù)量的照片被捕捉且充分捕捉時(shí)，此捕捉系統(tǒng)框架變得更魯棒。
[0042] 圖2是描繪根據(jù)本發(fā)明的實(shí)施例的由捕捉系統(tǒng)捕捉可重聚焦圖像集的示例性過(guò)程 的流程圖。在步驟202,將視場(chǎng)分割成多個(gè)柵格。例如，當(dāng)輸入圖像被輸入到捕捉系統(tǒng)時(shí)，整 個(gè)輸入圖像被分割成MXN塊的柵格。對(duì)MXN的選擇可由用戶根據(jù)要求來(lái)配置。在示例性實(shí) 施例中，M和N的值基于存在于輸入圖像中的對(duì)象的典型大小來(lái)確定。因此，在運(yùn)種情況下，M 和N的值可能會(huì)是5X4。接下來(lái)，定義名為"blockNum"的變量來(lái)指示將被明確設(shè)定為焦點(diǎn)的 塊。最初地，WockNum的值被假定為一。在步驟204,一給定區(qū)域被設(shè)定為在焦點(diǎn)上并且與每 個(gè)區(qū)域相對(duì)應(yīng)的圖像被捕捉。另外，在步驟206,計(jì)算與多個(gè)柵格中的每一個(gè)相關(guān)聯(lián)的銳度 水平。在步驟208,基于闊值來(lái)識(shí)別銳利的一個(gè)或多個(gè)區(qū)域并且對(duì)標(biāo)記為銳利或具有相同銳 度水平的一個(gè)或多個(gè)區(qū)域拍攝單個(gè)圖像。在步驟210,檢驗(yàn)所有非銳利區(qū)域的圖像是否都被 捕捉。如果并不是所有非銳利區(qū)域的圖像都被捕捉，則在步驟212識(shí)別至少一個(gè)非銳利區(qū) 域，并且重復(fù)步驟204至210。一旦與所有區(qū)域相對(duì)應(yīng)的圖像都被捕捉，就在步驟214終止過(guò) 程。
[0043] 因此，序列中的每個(gè)塊在使圖像焦點(diǎn)對(duì)準(zhǔn)的情況下捕捉至少一個(gè)圖像。因此，每個(gè) 塊并且進(jìn)而所述塊中的每個(gè)像素被唯一地映射到所捕捉的圖像序列當(dāng)中的與該特定塊相 對(duì)應(yīng)的最佳聚焦圖像。
[0044] 根據(jù)本文的實(shí)施例，如果對(duì)于圖像的一個(gè)或多個(gè)區(qū)域，圖像裝置中的自動(dòng)聚焦失 敗，則提供可選的后處理W用于創(chuàng)建自動(dòng)聚焦效果。取決于用戶的需要，相機(jī)捕捉系統(tǒng)還使 用拍攝最優(yōu)化技術(shù)(shot optimization technique)執(zhí)行對(duì)圖像的預(yù)處理W確定焦點(diǎn)對(duì)準(zhǔn) 的其它塊。拍攝最優(yōu)化技術(shù)減少了對(duì)于每個(gè)場(chǎng)景所要求捕捉的圖片數(shù)量。運(yùn)進(jìn)而減少了捕 捉時(shí)間，從而增強(qiáng)了用戶體驗(yàn)。
[0045] 拍攝最優(yōu)化技術(shù)W每個(gè)圖像為基礎(chǔ)工作。另外，拍攝最優(yōu)化技術(shù)提供關(guān)于圖像中 在相同深度平面中的所有其它區(qū)域的信息。例如，當(dāng)一區(qū)域被明確設(shè)定為焦點(diǎn)時(shí)，拍攝最優(yōu) 化技術(shù)提供關(guān)于該場(chǎng)景中的也焦點(diǎn)對(duì)準(zhǔn)的所有其它區(qū)域的信息。因此，拍攝最優(yōu)化技術(shù)明 確避免了再次對(duì)于那些區(qū)域捕捉另外的圖像，從而創(chuàng)建了描繪該場(chǎng)景的最優(yōu)數(shù)量的圖片。 從重聚焦的視角，拍攝最優(yōu)化技術(shù)解釋為序列中的每個(gè)區(qū)域具有完全焦點(diǎn)對(duì)準(zhǔn)的至少一個(gè) 圖像。
[0046] 在捕捉與所識(shí)別的一個(gè)或多個(gè)區(qū)域中的每一個(gè)相關(guān)聯(lián)的圖像后，用戶還可根據(jù)捕 捉的序列技術(shù)使用最佳焦點(diǎn)對(duì)準(zhǔn)估計(jì)(best in focus estimation)對(duì)所捕捉的圖像執(zhí)行 后處理深度估計(jì)過(guò)程。根據(jù)本發(fā)明的實(shí)施例，根據(jù)捕捉的序列方法的最佳焦點(diǎn)對(duì)準(zhǔn)估計(jì)確 定在已捕捉的圖像集當(dāng)中的提供最佳聚焦的圖像。采用此技術(shù)來(lái)使重聚焦所要求的深度圖 變得更好。該方法給其中像素焦點(diǎn)對(duì)準(zhǔn)的場(chǎng)景中的每個(gè)像素準(zhǔn)確地分配所捕捉的序列中的 唯一圖像。其也考慮到了如下區(qū)域:在所述區(qū)域中，相機(jī)自動(dòng)聚焦可能失敗從而可能沒(méi)有可 靠的焦點(diǎn)估計(jì)。
[0047] 在步驟210,所捕捉的圖像與深度信息一起被打包為單個(gè)多媒體文件格式。該多媒 體文件格式對(duì)應(yīng)于用戶所期望的任何文件格式。例如，多媒體文件格式對(duì)應(yīng)于急速連拍重 聚焦（burst shot refocus，BSR)格式。
[0048] 圖3是描繪根據(jù)本發(fā)明的實(shí)施例的將場(chǎng)景分塊成鄰接塊的圖像的圖示。如圖3中所 示，用戶希望捕捉的整個(gè)場(chǎng)景的帖被劃分成MXN塊的柵格。MXN被估計(jì)為所遇到的對(duì)象的 典型大小。在運(yùn)種情況下，基于在捕捉場(chǎng)景時(shí)遇到的對(duì)象的典型大小，將MXN估計(jì)為5X4。 在將整個(gè)場(chǎng)景劃分成MXN塊的柵格之后，基于柵格的位置給每個(gè)柵格分配一數(shù)字。在將數(shù) 字分配給MXN個(gè)塊中的每個(gè)柵格時(shí)，使用自動(dòng)聚焦特征分別對(duì)每個(gè)柵格(也被稱為塊)進(jìn)行 聚焦W得到每個(gè)柵格的深度水平。在相同深度水平的一個(gè)或多個(gè)柵格被識(shí)別并且被捕捉在 覆蓋所有焦點(diǎn)對(duì)準(zhǔn)的柵格的單個(gè)照片中。例如，柵格8和柵格9處于相同深度平面，從而由單 個(gè)圖像而非兩個(gè)單獨(dú)的圖像來(lái)表示。單個(gè)圖像由焦點(diǎn)對(duì)準(zhǔn)的柵格8中的對(duì)象和柵格9中的對(duì) 象組成。另外，對(duì)其它塊拍攝額外的照片，并且運(yùn)些圖像被組合W得到可重聚焦圖像。另一 方面，如果確定MXN塊中的每個(gè)柵格處于不同的深度水平，并且沒(méi)有兩個(gè)柵格處于相同深 度水平，則分別捕捉每個(gè)柵格，并且分別生成M X N個(gè)圖像。
[0049] 本文的實(shí)施例目的在于基于如下假定減少照片的數(shù)量:最自然的序列在相同深度 平面中有(MXN塊中的）多于一個(gè)塊。
[0050] 根據(jù)另一實(shí)施例，本發(fā)明提供一種根據(jù)所捕捉的場(chǎng)景的稱為最佳焦點(diǎn)對(duì)準(zhǔn)估計(jì)的 深度估計(jì)技術(shù)。覆蓋用戶想要捕捉的整個(gè)場(chǎng)景的MXN個(gè)塊中的每個(gè)區(qū)域和MXN個(gè)塊的像素 將被唯一地映射到被捕捉來(lái)描述場(chǎng)景的圖像序列中的單個(gè)圖像。(MXN個(gè)塊中的）一區(qū)域可 能會(huì)由于捕捉設(shè)備的任何變更或有兩個(gè)對(duì)象處于不同深度而沒(méi)有焦點(diǎn)對(duì)準(zhǔn)。在運(yùn)樣的情況 下，在特定塊被設(shè)定為焦點(diǎn)對(duì)準(zhǔn)的情況下捕捉的圖像不能被假定為是用于重建重聚焦效果 的準(zhǔn)確圖像。例如，塊14有兩個(gè)對(duì)象，即焦點(diǎn)對(duì)準(zhǔn)的玩具車(chē)和明顯焦點(diǎn)沒(méi)對(duì)準(zhǔn)的鑰匙鏈的一 部分。因此，如果僅依賴在先前部分中被捕捉系統(tǒng)設(shè)定為焦點(diǎn)對(duì)準(zhǔn)的區(qū)域，則該圖像將被標(biāo) 記為使鑰匙鏈的那個(gè)部分焦點(diǎn)對(duì)準(zhǔn)的圖像。但是顯然，與焦點(diǎn)對(duì)準(zhǔn)的區(qū)域20相對(duì)應(yīng)的圖像 對(duì)于表示運(yùn)些區(qū)域?qū)⒏鼫?zhǔn)確。
[0051] 另外，本文提供的焦點(diǎn)估計(jì)假定所捕捉的圖像序列具有用于對(duì)于任意給定區(qū)域選 擇至少一個(gè)圖像來(lái)焦點(diǎn)對(duì)準(zhǔn)的所有信息。當(dāng)提供了圖像集時(shí)對(duì)于考慮中的區(qū)域擅染