據(jù)多個(gè)用戶輸入確定多個(gè)深度平面的深度信息。
[0034] 結(jié)合第十二種可能的實(shí)現(xiàn)方式，在第十三種可能的實(shí)現(xiàn)方式中，用戶輸入為以下 之一：用戶在觸摸屏上的單點(diǎn)點(diǎn)擊輸入、多點(diǎn)點(diǎn)擊輸入、單點(diǎn)滑動(dòng)輸入或多點(diǎn)滑動(dòng)輸入；輸 入設(shè)備中的姿態(tài)傳感器探測(cè)到的用戶姿態(tài)；輸入設(shè)備中的動(dòng)作跟蹤模塊探測(cè)到的用戶動(dòng) 作。
[0035] 結(jié)合第二方面或上述任一種可能的實(shí)現(xiàn)方式，在第十四種可能的實(shí)現(xiàn)方式中，確 定模塊根據(jù)預(yù)定義的輸入確定預(yù)定義的輸入對(duì)應(yīng)的多個(gè)深度平面，圖像處理裝置還包括： 顯示模塊，用于在顯示設(shè)備上輸出與預(yù)定義的輸入對(duì)應(yīng)的多深度平面重聚焦圖像。
[0036] 本發(fā)明的技術(shù)方案，可以根據(jù)深度信息生成多深度平面重聚焦圖像，由于該多深 度平面重聚焦圖像包含多個(gè)深度重聚焦圖像的聚焦部分，使得可以同時(shí)顯示多個(gè)深度重聚 焦圖像的聚焦部分，從而能夠同時(shí)獲得多個(gè)深度平面的景物的清晰圖像。
【附圖說明】
[0037] 為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)本發(fā)明實(shí)施例中所需要使 用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面所描述的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于 本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他 的附圖。
[0038] 圖1是根據(jù)本發(fā)明的一個(gè)實(shí)施例的圖像處理方法的示意性流程圖。
[0039] 圖2是根據(jù)本發(fā)明的另一實(shí)施例的圖像處理過程的示意性流程圖。
[0040] 圖3示出了深度平面與用戶輸入的對(duì)應(yīng)關(guān)系的示意圖。
[0041] 圖4是根據(jù)本發(fā)明的實(shí)施例的雙平面表示法的兩個(gè)平面的示意圖。
[0042] 圖5是根據(jù)本發(fā)明的實(shí)施例的合成像攝影原理的示意圖。
[0043] 圖6是根據(jù)本發(fā)明的實(shí)施例的合成像攝影原理的模型的幾何關(guān)系的示意圖。
[0044] 圖7是根據(jù)本發(fā)明的又一實(shí)施例的圖像處理過程的示意性流程圖。
[0045] 圖8是根據(jù)本發(fā)明的另一實(shí)施例的圖像處理過程的示意性流程圖。
[0046] 圖9是根據(jù)本發(fā)明的再一實(shí)施例的圖像處理過程的示意性流程圖。
[0047] 圖10是根據(jù)本發(fā)明的一個(gè)實(shí)施例的圖像處理裝置的結(jié)構(gòu)示意圖。
[0048] 圖11是根據(jù)本發(fā)明的另一實(shí)施例的圖像處理裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0049] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā) 明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施 例，都屬于本發(fā)明保護(hù)的范圍。
[0050] 在本發(fā)明的實(shí)施例中，深度可以指景物到相機(jī)的距離。多個(gè)深度平面可以是深度 連續(xù)的，本發(fā)明的實(shí)施例對(duì)此不作限定，例如，多個(gè)深度平面也可以是深度間斷的。應(yīng)理解 的是，每個(gè)深度平面可以對(duì)應(yīng)一個(gè)聚焦平面，也可以對(duì)應(yīng)一個(gè)景深。需要說明的是，本文中 所說的"多個(gè)"，包括兩個(gè)及兩個(gè)以上。
[0051] 本發(fā)明的實(shí)施例可以應(yīng)用于相機(jī)中，也可以應(yīng)用于其它用戶終端（例如，手機(jī)或 計(jì)算機(jī)）中，用于處理重聚焦圖像的原始數(shù)據(jù)以生成多深度平面重聚焦圖像。
[0052] 圖1是根據(jù)本發(fā)明的一個(gè)實(shí)施例的圖像處理方法的示意性流程圖。圖1的方法可 以由圖像處理裝置執(zhí)行。圖1的方法包括以下內(nèi)容。
[0053] 110,確定多個(gè)深度平面的深度信息，多個(gè)深度平面的深度信息用于指示多個(gè)深度 平面，多個(gè)深度平面分別對(duì)應(yīng)于多個(gè)深度平面的多個(gè)重聚焦圖像，其中多個(gè)重聚焦圖像由 多個(gè)重聚焦圖像的原始數(shù)據(jù)生成。
[0054] 深度信息可以包含深度平面信息、像素坐標(biāo)信息、像素顏色信息、像素點(diǎn)擴(kuò)散函數(shù) 信息、像素對(duì)應(yīng)光線的光場(chǎng)信息、像素對(duì)應(yīng)光線的追跡信息中的至少一種或者它們的任意 組合。本發(fā)明的實(shí)施例對(duì)如何確定多個(gè)深度平面的深度信息的方式不作限定，深度信息可 以來自用戶的輸入或者預(yù)先定義。
[0055] 圖像處理裝置可以根據(jù)用戶的輸入或者預(yù)定義輸入獲得需要重聚焦區(qū)域所對(duì)應(yīng) 的深度平面。例如，根據(jù)用戶在用戶界面上的實(shí)時(shí)輸入或選擇來確定需要重聚焦的區(qū)域所 對(duì)應(yīng)的深度平面。當(dāng)用戶在用戶界面上選中多個(gè)區(qū)域，多個(gè)區(qū)域與深度平面相對(duì)應(yīng)，圖像處 理裝置據(jù)此可以獲知需要重聚焦的區(qū)域所對(duì)應(yīng)的深度平面。根據(jù)本發(fā)明的實(shí)施例并不限于 此，圖像處理裝置也可以根據(jù)預(yù)先定義的信息確定多個(gè)深度平面的深度信息。
[0056] 120,根據(jù)深度信息，生成多深度平面重聚焦圖像，其中多深度平面重聚焦圖像包 括多個(gè)重聚焦圖像的聚焦部分。
[0057] 例如，在每個(gè)深度平面對(duì)應(yīng)的重聚焦圖像中，圖像的一部分是聚焦的，即圖像的這 部分是清晰的，而圖像的其它部分是非聚焦的，即圖像的其它部分模糊的。確定多個(gè)深度平 面的深度信息是指確定需要對(duì)哪些深度平面的圖像進(jìn)行重聚焦。在這種情況下，生成多深 度平面重聚焦圖像的過程可以是將多個(gè)深度平面對(duì)應(yīng)的聚焦部分進(jìn)行合并。另外，在生成 的多深度平面重聚焦圖像中，可以合并多個(gè)深度平面對(duì)應(yīng)聚焦部分和剩余的非聚焦部分， 從而能夠呈現(xiàn)完整的圖像。
[0058] 根據(jù)本發(fā)明的實(shí)施例，可以根據(jù)深度信息生成多深度平面重聚焦圖像，由于該多 深度平面重聚焦圖像包含多個(gè)深度重聚焦圖像的聚焦部分，使得可以同時(shí)顯示多個(gè)深度重 聚焦圖像的聚焦部分，從而能夠同時(shí)獲得多個(gè)深度平面的景物的清晰圖像。
[0059] 在120中，圖像處理裝置可以根據(jù)多個(gè)深度平面的深度信息確定多個(gè)重聚焦圖像 的原始數(shù)據(jù)，并且根據(jù)多個(gè)重聚焦圖像的原始數(shù)據(jù)生成多深度平面重聚焦圖像，其中多深 度平面重聚焦圖像包括多個(gè)重聚焦圖像的聚焦部分。
[0060] 例如，可以根據(jù)用戶輸入的深度信息確定與該深度平面相對(duì)應(yīng)的重聚焦圖像的原 始數(shù)據(jù)，還可以根據(jù)預(yù)先定義來確定需要重聚焦的深度平面以及與該深度平面相對(duì)應(yīng)的重 聚焦圖像的原始數(shù)據(jù)。根據(jù)用戶輸入或預(yù)定義輸入獲得重聚焦深度平面信息的方法可以根 據(jù)原始數(shù)據(jù)的種類不同而有所不同。
[0061] 圖像處理裝置可以根據(jù)重聚焦圖像的原始數(shù)據(jù)生成聚焦部分，或者可以根據(jù)重聚 焦圖像的原始數(shù)據(jù)生成非聚焦部分，或者可以根據(jù)重聚焦圖像的原始數(shù)據(jù)同時(shí)生成聚焦部 分和非聚焦部分。例如，原始數(shù)據(jù)可以是由帶有微透鏡陣列的攝像模塊（例如，光場(chǎng)相機(jī)） 拍攝得到的。每個(gè)深度平面具有各自的重聚焦圖像的原始數(shù)據(jù)，用于根據(jù)需要生成與該深 度平面相對(duì)應(yīng)的重聚焦圖像。
[0062] 根據(jù)本發(fā)明的實(shí)施例，可以根據(jù)多個(gè)深度平面對(duì)應(yīng)的多個(gè)重聚焦圖像的原始數(shù)據(jù) 生成多深度平面重聚焦圖像，由于該多深度平面重聚焦圖像包含多個(gè)深度重聚焦圖像的聚 焦部分，使得可以同時(shí)顯示多個(gè)深度重聚焦圖像的聚焦部分，從而能夠同時(shí)獲得多個(gè)深度 平面的景物的清晰圖像。另外，由于根據(jù)深度信息使用原始數(shù)據(jù)生成與上述多個(gè)深度空間 對(duì)應(yīng)的多深度平面重聚焦圖像，無需生成全部的重聚焦圖像，因此，節(jié)省了大量的存儲(chǔ)空 間。
[0063] 應(yīng)理解，上述重聚焦圖像的原始數(shù)據(jù)可以是任何用來生成重聚焦圖像的數(shù)據(jù)，包 括但不限于以下各種圖像數(shù)據(jù)或者以下各種圖像數(shù)據(jù)的組合。
[0064] 例如，上述原始數(shù)據(jù)可以是一幅或多幅普通攝像模塊拍攝的圖像。上述多幅圖像 是指在不同拍攝參數(shù)設(shè)置下對(duì)同一場(chǎng)景拍攝的圖像，如焦距不同、光圈不同、曝光量不同、 感應(yīng)波長(zhǎng)不同等；或者是指在不同位置對(duì)同一場(chǎng)景拍攝的圖像。
[0065] 可替代地，作為另一實(shí)施例，上述原始數(shù)據(jù)還可以是帶有孔徑掩模板、相位掩模板 或其他類型掩模板的攝像模塊拍攝的一幅或多幅孔徑編碼圖像。進(jìn)一步地，上述原始數(shù)據(jù) 還可以是由孔徑編碼圖像經(jīng)各種圖像處理算法處理得到的圖像。
[0066] 可替代地，作為另一實(shí)施例，上述原始數(shù)據(jù)還可以是帶有微透鏡陣列或孔徑陣列 的攝像模塊拍攝的一幅或多幅圖像陣列。進(jìn)一步地，上述原始數(shù)據(jù)也可以是由圖像陣列經(jīng) 各種圖像處理算法處理得到的圖像，如單一深度平面重聚焦圖像、全聚焦圖像、虛擬針孔圖 像等。
[0067] 可替代地，作為另一實(shí)施例，上述原始數(shù)據(jù)還可以是多個(gè)配置相同或不同的攝像 模塊所組成的攝像陣列拍攝的一幅或多幅圖像陣列。進(jìn)一步地，上述原數(shù)據(jù)也可以是由圖 像陣列經(jīng)各種圖像處理算法處理得到的圖像。
[0068] 可替代地，作為另一實(shí)施例，上述原始數(shù)據(jù)還可以是深度感應(yīng)設(shè)備與攝像模塊針 對(duì)同一場(chǎng)景分別獲得的深度信息和圖像的組合。其中深度感應(yīng)設(shè)備包括利用光的飛行時(shí) 間、光的相位差、結(jié)構(gòu)光光照等原理實(shí)現(xiàn)的各種設(shè)備。
[0069] 在120中，圖像處理裝置可以采用重聚焦算法對(duì)多個(gè)重聚焦圖像的原始數(shù)據(jù)進(jìn)行 重聚焦處理，生成多個(gè)重聚焦圖像，并且合并多個(gè)重聚焦圖像，以生成多深度平面重聚焦圖 像。
[0070] 根據(jù)本發(fā)明的實(shí)施例，重聚焦算法可以是卷積算法、去卷積算法、融合算法、拼接 算法、光線追跡算法、濾波算法或其它單一深度平面的重聚焦算法或者這些算法的組合。
[0071] 在120中，采用圖像融合（ImageFusion)方法合并多個(gè)重聚焦圖像的聚焦部分。
[0072] 例如，圖像融合方法是一種圖像分析方法，圖像處理裝置可以采用圖像融合方法 將兩幅或多幅圖像合成一幅圖像。由于同一場(chǎng)景的多幅圖像之間的信息存在冗余性和互補(bǔ) 性，因此，經(jīng)圖像融合方法得到的合成圖像則可以更全面、更精確地描繪圖像。圖像融合方 法包括基于灰度的算法，（例如，直接平均法、加權(quán)平均法、中值濾波法、多分辨率樣條技術(shù) 等）、基于感興趣區(qū)域的圖像融合算法、基于顏色空間變換的融合算法以及基于變換域的融 合算法等。
[0073] 在120中，圖像處理裝置可以在采用圖像融合方法合并多個(gè)重聚焦圖像的聚焦部 分時(shí)，確定多個(gè)重聚焦圖像的像素的點(diǎn)擴(kuò)散函數(shù)，根據(jù)像素的點(diǎn)擴(kuò)散函數(shù)生成融合權(quán)重模 板，并且根據(jù)融合權(quán)重模板，對(duì)多個(gè)重聚焦圖像進(jìn)行圖像融合，其中融合權(quán)重模板包括像素 的融合權(quán)重，并且聚焦程度高的像素的融合權(quán)重高于聚焦程度低的像素的融合權(quán)重。換句 話說，像素的聚焦程度與融合權(quán)重成正比。這樣，使得清楚呈現(xiàn)的是與多個(gè)深度空間對(duì)應(yīng)的 聚焦部分。
[0074] 例如，聚焦程度也稱為清晰的程度，可以根據(jù)點(diǎn)擴(kuò)散函數(shù)來衡量聚焦程度的高低。 另外，也可以采用聚焦評(píng)價(jià)函數(shù)來評(píng)估聚焦程度。
[0075] 根據(jù)本發(fā)明的實(shí)施例，多個(gè)重聚焦圖像中的每個(gè)重聚焦圖像包括聚焦部分和非聚 焦部分，在120中，在合并多個(gè)重聚焦圖像時(shí)，可以從多個(gè)重聚焦圖像中的每個(gè)重聚焦圖像 中選取聚焦部分和非聚焦部分，并且拼接聚焦部分和非聚焦部分。例如，可以從多個(gè)重聚焦 圖像中的每個(gè)重聚焦圖像中選取聚焦部分和非聚焦部分。
[0076] 可替代地，也可以任選一幅圖像，并且將多個(gè)深度平面對(duì)應(yīng)的多個(gè)重聚焦圖像的 聚焦部分與該圖像融合，使得聚焦部分與非聚焦部分的銜接更加自然。
[0077] 在120中，根據(jù)多個(gè)重聚焦圖像的原始數(shù)據(jù)生成多個(gè)重聚焦圖像中的每個(gè)重聚焦 圖像的聚焦部分和非聚焦部分，并且拼接聚焦部分和非聚焦部分。
[0078] 換句話說，直接由原始數(shù)據(jù)生成聚焦部分和非聚焦部分。這種情況下，可以省去截 取聚焦部分和非聚焦部分的步驟，簡(jiǎn)化了圖像處理過程。
[0079] 根據(jù)本發(fā)明的實(shí)施例，在120中，圖像處理裝置還可以根據(jù)全部深度平面的重聚 焦圖像的原始數(shù)據(jù)生成全部深度平面對(duì)應(yīng)