專利名稱：圖像處理裝置及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置及圖像處理方法，尤其涉及用于對從多視點拍攝的多個圖像合成以生成重聚焦圖像的圖像處理裝置及圖像處理方法。
背景技術(shù)：
已知一種圖像重聚焦方法，該方法通過對從多個視點拍攝的圖片進(jìn)行圖像位置對準(zhǔn)操作及圖像合成操作來由所述圖片生成以期望的虛擬焦距重聚焦的圖像(參見日本專利特開2011-22796號公報，以及MIRU2008圖像識別·理解論文集(日本，2008年) 第1057-1062頁“基于未校準(zhǔn)合成光圈攝影法的散焦控制(Defocus Control Based on Uncalibrated, Synthesized Aperture Photography)，，(Natsumi Kusumoto 等所著))。根據(jù)日本專利特開2011-22796號公報中公開以及由Natsumi Kusumoto等在MIRU2008圖像識別·理解論文集(日本，2008年)第1057-1062頁“基于未校準(zhǔn)合成光圈攝影法的散焦控制”中提出的發(fā)明，通過使用在不同攝影位置拍攝的多個圖像、根據(jù)各圖像的攝影位置以及拍攝者所希望聚焦的被攝體距離來使各圖像移動或變形、然后合成所述圖像，來生成重聚焦圖像。
由Natsumi Kusumoto等在MIRU2008圖像識別·理解論文集(日本,2008年)第 1057·-1062頁“基于未校準(zhǔn)合成光圈攝影法的散焦控制”中提出的方法，通過估計來在多個攝影圖像之間生成中間視點圖像，以改善景深外的離焦(out-of-focus)區(qū)域的圖像質(zhì)量。 然而，該方法存在中間視點圖像的生成產(chǎn)生使甚至人們希望聚焦的區(qū)域模糊的效果的問題。該方法的另一問題在于由于增加了輸出圖像的分辨率，所以需要大量中間視點圖像以創(chuàng)建平滑的模糊灰階，從而需要巨大的計算成本。因此本發(fā)明的目的在于提高要被保持對焦(in focus)的區(qū)域的質(zhì)量，同時削減用于生成中間視點圖像的計算成本。發(fā)明內(nèi)容
為了解決上述問題，本發(fā)明的圖像處理裝置包括攝影數(shù)據(jù)輸入單元，其獲取從至少兩個不同的視點位置拍攝的多個圖像；輸入單元，其輸入代表從照相機(jī)至虛擬焦平面的距離的重聚焦參數(shù)；距離估計單元，其生成針對所獲取的圖像的、表示對應(yīng)于像素的攝影對象與照相機(jī)之間的距離的深度圖；焦點圖生成單元，其通過根據(jù)所述重聚焦參數(shù)由所述深度圖計算包括要被銳聚焦的對焦區(qū)域以及要被模糊化的離焦區(qū)域的區(qū)域，來生成表示所述對焦區(qū)域以及所述離焦區(qū)域的焦點圖；對焦區(qū)域圖像處理單元，其通過對所述對焦區(qū)域進(jìn)行預(yù)定操作并且對包括至少攝影圖像的一組圖像進(jìn)行合成來生成合成圖像；離焦區(qū)域圖像處理單元，其通過對所述離焦區(qū)域進(jìn)行與所述對焦區(qū)域圖像處理單元進(jìn)行的所述預(yù)定操作不同的操作、并且對包括至少攝影圖像的一組圖像進(jìn)行合成來生成合成圖像；以及圖像混合單元，其通過根據(jù)所述焦點圖將所述對焦區(qū)域的合成圖像與所述離焦區(qū)域的合成圖像混合來生成重聚焦圖像。
通過對用戶想要銳聚焦(sharply focused)的區(qū)域以及對用戶想要模糊化的區(qū)域進(jìn)行不同的操作，本發(fā)明提供了改善要被銳聚焦的區(qū)域的圖像質(zhì)量、同時使用于生成當(dāng)從 虛擬中間視點位置拍攝時將會出現(xiàn)的圖像的計算成本最小的能力。根據(jù)以下參照附圖對示例性實施例的描述，本發(fā)明的其他特征將變得清楚。


圖1是示出本發(fā)明的實施例中的圖像處理裝置的系統(tǒng)結(jié)構(gòu)的框圖；圖2示出本發(fā)明的實施例中的攝影；圖3是本發(fā)明的實施例中的示意性功能結(jié)構(gòu)；圖4示出了本發(fā)明的實施例中的離焦區(qū)域圖像處理單元的詳情；圖5示出了通過本發(fā)明的實施例中的焦點圖生成單元進(jìn)行的處理的概要；圖6示出了通過本發(fā)明的實施例中的焦點圖生成單元進(jìn)行的處理的概要；圖7示出了本發(fā)明的實施例中攝影位置與虛擬視點位置之間的關(guān)系；圖8示出了本發(fā)明的實施例中攝影位置與虛擬視點位置之間的關(guān)系；圖9示出了本發(fā)明的實施例中攝影位置與虛擬視點位置之間的關(guān)系；圖10示出了本發(fā)明的實施例中的權(quán)重系數(shù)的示例；圖11示出了本發(fā)明的實施例中的權(quán)重系數(shù)的示例；圖12示出了本發(fā)明的實施例中攝影位置之間的距離與到被攝體距離之間的關(guān) 系;圖13是示出在本發(fā)明的實施例中進(jìn)行的步驟的序列的流程圖；圖14是示出由本發(fā)明的實施例中的距離估計處理執(zhí)行的步驟的序列的流程圖；圖15是示出由本發(fā)明的實施例中的焦點圖生成處理進(jìn)行的步驟的序列的流程 圖；圖16是示出通過本發(fā)明的實施例中的對焦區(qū)域圖像處理進(jìn)行的步驟的序列的流 程圖；圖17是示出由實施例1中的離焦區(qū)域圖像處理進(jìn)行的步驟的序列的流程圖；圖18是示出由本發(fā)明的實施例中的圖像插值處理進(jìn)行的步驟的序列的流程圖；圖19是示出由本發(fā)明的實施例中的圖像合成處理進(jìn)行的步驟的序列的流程圖；圖20是示出由實施例1中的圖像混合處理進(jìn)行的步驟的序列的流程圖；圖21示出了在實施例1中的圖像混合處理中使用的混合比率的示例；圖22是示出由實施例2中的離焦區(qū)域圖像處理進(jìn)行的步驟的序列的流程圖；圖23示出由實施例2中的圖像混合處理進(jìn)行的處理的概要；以及圖24是示出由實施例2中的圖像混合處理進(jìn)行的步驟的序列的流程圖。
具體實施例方式[實施例1]本實施例涉及重聚焦處理，其由多視點攝影設(shè)備或具有多個照相機(jī)單元的照相機(jī) 拍攝的多個圖像，生成通過圖像處理以期望的虛擬焦距聚焦的圖像。即，本實施例的重聚焦 處理涉及，對用戶想要聚焦的區(qū)域進(jìn)行分辨率增強(qiáng)操作，以及在用戶想要模糊化的區(qū)域中， 生成具有比輸出分辨率低的分辨率的離焦圖像。首先，將通過參照圖1來描述本實施例的圖像處理裝置的示例系統(tǒng)結(jié)構(gòu)。
在圖1中，CPU 101使用RAM 102作為工作存儲器來執(zhí)行ROM 103和硬盤驅(qū)動器 (HDD) 105中存儲的程序，以經(jīng)由系統(tǒng)總線112控制各種部件。HDD接口(I/F) 104是例如用于與諸如HDD 105和光盤驅(qū)動器等的輔助存儲設(shè)備連接的串行ATA(SATA)接口。CPU 101 可以通過HDD I/F 104從HDD 105讀取數(shù)據(jù)，并且向HDD 105寫入數(shù)據(jù)。另外，CPU 101可以將HDD 105中存儲的數(shù)據(jù)展開到RAM 102上，還將在RAM 102上展開的數(shù)據(jù)存儲到HDD 105中。CPU 101然后將在RAM 102上展開的數(shù)據(jù)作為程序來執(zhí)行。輸入接口(I/F) 106是例如用于與諸如鍵盤和鼠標(biāo)等的輸入設(shè)備107連接的諸如USB和IEEE1394的串行總線接口。輸出接口(I/F) 108是例如用于與諸如監(jiān)視器和投影儀等的輸出設(shè)備109連接的DVI 和HDMI。CPU 101可以通過輸出I/F 108向用于顯示的輸出設(shè)備109發(fā)送數(shù)據(jù)。照相機(jī)接口(I/F) 110是例如用于與諸如數(shù)字照相機(jī)的照相機(jī)111連接的諸如USB和IEEE1394的串行總線接口。CPU 101可以通過照相機(jī)I/F 110控制照相機(jī)111以拍攝圖片。CPU 101還可以通過照相機(jī)I/F 110從照相機(jī)111獲取圖片數(shù)據(jù)。
圖2示出了本實施例中的照相機(jī)111。該攝影設(shè)備是具有用于拍攝圖片的九個照相機(jī)單元201-209的多視點照相機(jī)。為了簡單說明，這九個照相機(jī)單元201-209被均勻布置在方形網(wǎng)格點上。假設(shè)這些照相機(jī)單元的縱軸和橫軸及光軸布置在相同的方向上。這些照相機(jī)單元201-209在其傳感器(圖像感測設(shè)備)接收被攝體的光學(xué)信息，將接收的光學(xué)信號進(jìn)行AD轉(zhuǎn)換以一次生成多個攝影圖像(數(shù)字?jǐn)?shù)據(jù))。利用上述結(jié)構(gòu)的多視點照相機(jī)， 可以獲得從多個視點位置進(jìn)行的同一被攝體的多個拍攝。這里應(yīng)當(dāng)注意，照相機(jī)單元的數(shù)量并不限于在該示例情況中采用的九個，只要攝影設(shè)備具有兩個以上照相機(jī)單元，就可應(yīng)用本發(fā)明。還要注意，雖然在該示例中這九個照相機(jī)單元被均勻分布在方形網(wǎng)格點上，但是可以根據(jù)系統(tǒng)結(jié)構(gòu)使用任意其他布置。接著，將通過參照圖3來說明執(zhí)行本實施例中的一系列處理的功能的概要結(jié)構(gòu)。 作為CPU 101的功能單元的圖片數(shù)據(jù)輸入單元301從存儲設(shè)備檢索通過照相機(jī)111在不同位置拍攝的被攝體的多個圖像302以及包括照相機(jī)111的視角和位置的照相機(jī)信息303。 存儲設(shè)備包括但是不限于照相機(jī)11UR0M 103和HDD 105。作為CPU 101的功能單元的參數(shù)輸入單元304從輸入設(shè)備107或存儲設(shè)備檢索包括到虛擬焦平面的距離的重聚焦參數(shù)或虛擬聚焦參數(shù)305、以及虛擬光圈參數(shù)(virtual iris parameter) 306。這里注意,存儲設(shè)備包括但是不限于ROM 103和HDD105。另外，參數(shù)輸入單元304還從輸入設(shè)備109或從諸如ROM 103和HDD 105等的存儲設(shè)備檢索通過重聚焦處理生成的重聚焦圖像的分辨率318。
作為CPU 101的功能單元的距離估計單元307基于攝影圖像302和照相機(jī)信息 303通過立體匹配，來估計代表包含關(guān)注對象的場景的深度位置的深度值，以生成深度圖 308。焦點圖生成單元309基于虛擬聚焦參數(shù)305和深度圖308通過區(qū)域劃分處理，來生成代表用戶想要銳化圖像的區(qū)域(對焦區(qū)域)以及用戶想要模糊圖像的區(qū)域(離焦區(qū)域)的焦點圖310。焦點圖生成單元309用作CPU 101的功能單元。
作為CPU 101的功能單元的對焦區(qū)域圖像處理單元311根據(jù)攝影圖像302、照相機(jī)信息及焦點圖310，通過將重點放在對焦區(qū)域來進(jìn)行圖像處理，以生成對焦區(qū)域圖像312。 作為CPU 101的功能單元的離焦區(qū)域圖像處理單元313使用攝影圖像302、照相機(jī)信息 303、焦點圖310及虛擬光圈參數(shù)306，通過將重點放在離焦區(qū)域來進(jìn)行圖像處理，以生成離焦區(qū)域圖像314。作為CPU 101的功能單元的圖像混合單元315使用對焦區(qū)域圖像、離焦區(qū)域圖像314和焦點圖310，通過圖像混合處理生成重聚焦圖像316。作為CPU 101的功能單元的圖像輸出單元317向輸出設(shè)備109和諸如HDD 105的輔助存儲設(shè)備發(fā)送重聚焦圖像 316。
圖4示出了離焦區(qū)域圖像處理單元中的功能的概要結(jié)構(gòu)。作為CPUlOl的功能單元的圖像縮小單元401縮小攝影圖像302以生成縮小圖像405。通過合成縮小圖像、然后放大合成圖像，這使得為生成圖像合成處理所需的插值圖像而進(jìn)行的計算的成本降低。作為 CPU 101的功能單元的圖像插值單元402基于照相機(jī)信息303設(shè)置虛擬視點位置409，使得它們在圖像302的攝影位置之間。然后，通過在縮小圖像405之間插值來生成如果從各個虛擬視點位置409拍攝將會獲得的插值圖像406。
作為CPU 101的功能單元的圖像合成單元403使用照相機(jī)信息303、虛擬視點位置 409、虛擬聚焦參數(shù)305、虛擬光圈參數(shù)306以及焦點圖310，來合成縮小圖像405以及插值圖像406。圖像合成處理生成(離焦區(qū)域的)合成圖像407。作為CPU 101的功能單元的圖像放大單元404將(離焦區(qū)域的)合成圖像407放大至重聚焦圖像的分辨率318，以生成離焦區(qū)域圖像408。
圖13是示出通過本實施例的圖像處理裝置進(jìn)行的處理的整體序列的流程圖。更具體地說，描述圖13的流程圖中所示的過程的計算機(jī)可執(zhí)行程序被從ROM 103或HDD 105 加載到CPU 101執(zhí)行計算機(jī)可執(zhí)行程序的RAM 102。圖13的流程圖僅示出處理的整體流程，所以將通過進(jìn)一步參照圖14至圖20來說明作為本實施例的特征的各處理的詳情。
在步驟S901中，圖片數(shù)據(jù)輸入單元301使用照相機(jī)111拍攝圖片302，并且獲取圖片或攝影圖像302以及包括照相機(jī)111的各照相機(jī)單元的視角和攝影位置的照相機(jī)信息 303。作為選擇，諸如照相機(jī)111的照相機(jī)單元的視角和攝影位置的照相機(jī)信息303可以被預(yù)先存儲在諸如ROM 103和HDD 105的存儲設(shè)備中，并且被圖片數(shù)據(jù)輸入單元301從中檢索。
在步驟S902中，參數(shù)輸入單元304從輸入設(shè)備107檢索包括虛擬焦距的虛擬聚焦參數(shù)305、包括針對用于圖像合成的各圖像的權(quán)重系數(shù)的虛擬光圈參數(shù)306、以及要生成的重聚焦圖像的分辨率318?；蛘哌€可以將虛擬聚焦參數(shù)305、虛擬光圈參數(shù)306以及重聚焦圖像分辨率318預(yù)先存儲在諸如ROM 103或HDD 105的存儲設(shè)備中，然后使參數(shù)輸入單元 304從存儲設(shè)備檢索它們。
在步驟S903中，距離估計單元307基于在步驟S901中獲取的攝影圖像302和照相機(jī)信息303，通過進(jìn)行距離估計操作來估計關(guān)注場景的深度以生成該場景的深度圖308。 稍后將通過參照圖14來詳細(xì)說明距離估計處理。
在步驟S904中，焦點圖生成單元309基于在步驟S902中獲取的虛擬聚焦參數(shù)305 以及在步驟S903中生成的深度圖308來執(zhí)行焦點圖生成操作，以生成示出用戶想要聚焦的區(qū)域(對焦區(qū)域)以及用戶想要模糊化的區(qū)域(離焦區(qū)域)的焦點圖310。稍后將通過參照圖15來描述焦點圖生成處理的詳情。
在步驟S905中，對焦區(qū)域圖像處理使用通過步驟S901獲取的攝影圖像302和照相機(jī)信息303、通過步驟S902獲取的重聚焦圖像分辨率319、以及通過步驟S904生成的焦點圖310?；谶@些信息，對焦區(qū)域圖像處理單元311進(jìn)行對焦區(qū)域圖像處理以生成對焦區(qū)域圖像312。稍后將通過參照圖16來說明對焦區(qū)域圖像處理的詳情。
在步驟S906中，離焦區(qū)域圖像處理單元313進(jìn)行離焦區(qū)域圖像處理來生成離焦圖像314，所述離焦區(qū)域圖像處理使用通過前述處理獲取的攝影圖像302和照相機(jī)信息303、 重聚焦圖像分辨率318、虛擬聚焦參數(shù)305、虛擬光圈參數(shù)306以及焦點圖310。稍后將通過參照圖17至圖19來說明離焦區(qū)域圖像處理的詳情。
在步驟S907中，圖像混合單元315對通過步驟S905生成的對焦區(qū)域圖像312以及通過步驟S906生成的離焦區(qū)域圖像314進(jìn)行圖像混合操作，以生成重聚焦圖像316。稍后將通過參照圖20來描述圖像混合處理的詳情。
在步驟S908中，在退出該實施例的整個處理之前，圖像輸出單元317向包括輸出設(shè)備109和HDD 105的輔助存儲設(shè)備輸出重聚焦圖像316。
<距離估計處理>
這里將詳細(xì)說明在圖13的流程圖中的步驟S903中進(jìn)行的距離估計處理。距離估計處理基于在不同位置拍攝的多個圖像302，通過估計到關(guān)注場景的距離來生成深度圖 308，并且通過使用深度圖308來將該場景劃分為用戶想要聚焦的區(qū)域(對焦區(qū)域)以及其他區(qū)域(離焦區(qū)域)。作為場景劃分操作的結(jié)果，生成焦點圖。針對距離估計，可以使用任意已知的方法。其中有立體方法(stereo method)和多基線立體方法。在該實施例中，立體方法用于距離估計。以下將通過參照圖14的流程圖來說明距離估計處理的詳情。
在圖14中的步驟S1001中，從該處理中要使用的攝影圖像302中選擇兩個圖像。 在該實施例中，選擇通過照相機(jī)111的中心照相機(jī)單元205拍攝的圖像以及通過在水平方向緊鄰著第一照相機(jī)單元的照相機(jī)單元206拍攝的圖像。注意，可以使用照相機(jī)單元的任意其他 組合。第一圖像被稱為基準(zhǔn)圖像，第二圖像被稱為目標(biāo)圖像。
在步驟S1002中，將經(jīng)歷后續(xù)處理的關(guān)注像素初始化。在下一步驟S1003中，檢查是否針對全部像素確定了距離值。如果發(fā)現(xiàn)針對全部像素計算了距離值，則在退出處理之前處理進(jìn)行到下一步驟S1007，輸出深度圖像。如果發(fā)現(xiàn)仍要被計算的任意像素，則處理進(jìn)行到步驟S1004。
在步驟S1004中，選擇基準(zhǔn)圖像中的由關(guān)注像素和周圍像素構(gòu)成的區(qū)域，然后進(jìn)行在所選擇的區(qū)域塊與目標(biāo)圖像之間的圖案匹配，以找到目標(biāo)圖像中與關(guān)注像素相對應(yīng)的像素(對應(yīng)像素)。然后在步驟S1005中通過使用照相機(jī)信息303、關(guān)注像素以及通過步驟 S1004確定的對應(yīng)像素來針對關(guān)注像素計算距離值p。使用圖12所示的α、β和s將距離值P表達(dá)如下。sin a sin β
P = —-—sin(;r -α- β)
這里，使用照相機(jī)單元205的水平視角、基準(zhǔn)圖像的攝影位置以及關(guān)注像素的坐標(biāo)來計算α ;使用照相機(jī)單元206的水平視角、目標(biāo)圖像的攝影位置以及對應(yīng)像素的坐標(biāo)來計算β ;s是由基準(zhǔn)圖像和目標(biāo)圖像的攝影位置計算出的兩個照相機(jī)單元之間的距離。 在步驟S1006中，在返回到步驟S1003之前更新關(guān)注像素，在步驟S1003中，如果存在任何未處理的像素，則針對該像素類似地確定距離值P，如果沒有發(fā)現(xiàn)未處理的像素，則處理進(jìn)行到步驟S1007，在步驟S1007中進(jìn)行輸出處理。
在步驟S1007中，輸出將基準(zhǔn)圖像中的距離值P視為各像素的像素值的深度圖308?；谟成湔障鄼C(jī)的被攝體的各像素的距離的深度圖，生成焦點圖。雖然在本實施例中步驟S1001選擇了照相機(jī)單元205和206用于距離估計，但是可以使用照相機(jī)單元的任意其他組合來用于該目的。
〈焦點圖生成處理〉
這里，我們將詳細(xì)說明如圖13的流程圖中的步驟S904進(jìn)行的焦點圖生成處理。使用通過步驟S902獲取的虛擬聚焦參數(shù)305以及通過步驟S903獲取的深度圖308，該處理將場景劃分為用戶想要聚焦的區(qū)域(對焦區(qū)域)以及其他區(qū)域(離焦區(qū)域)以生成焦點圖 310。參照圖15的流程圖，將詳細(xì)描述焦點圖生成處理。
在步驟SllOl中將對焦區(qū)域設(shè)置如下。令從虛擬聚焦參數(shù)305獲取的虛擬焦距為 d，深度圖308中的像素值為D (i，j)。此時，D(i，j)等于d的像素(i，j)的集合被視為對焦區(qū)域。在步驟S902中按照如下進(jìn)行離焦區(qū)域設(shè)置。在深度圖308中，認(rèn)為在對焦區(qū)域之外的像素集合形成離焦區(qū)域。在步驟S903中，依據(jù)關(guān)注像素是包括在對焦區(qū)域中還是離焦區(qū)域中，對各像素分配不同的標(biāo)簽值以生成焦點圖310。
通過上述處理獲得的焦點圖310的示例如圖5中所示。假定深度圖308為由距離值do、dl和d2代表的圖像，另外假定從虛擬聚焦參數(shù)305獲得的虛擬焦距為d2。在該情況下，深度圖308中距離值為d2的像素集合被設(shè)置為焦點圖中的對焦區(qū)域，而距離值為d0 和dl的像素集合被設(shè)置為離焦區(qū)域。
盡管在該示例中在步驟SllOl中，深度圖308中像素值D(i，j)等于虛擬焦距d的區(qū)域被視為對焦區(qū)域，但是可以采用設(shè)置對焦區(qū)域的其他方法。例如，滿足[d-α I ^D(i, j) ^ d+ α 2]的像素D(i，j)可以被視為對焦區(qū)域。此時，如通過虛擬光圈參數(shù)306進(jìn)行確定一樣，通過考慮重聚焦圖像316中的虛擬景深來確定α I和α 2的值。
<離焦區(qū)域圖像處理>
該實施例的特征在于，在對焦區(qū)域中以及在離焦區(qū)域中進(jìn)行不同的圖像處理，因此下文中將對這二者進(jìn)行說明。首先，這里將說明如通過圖13的流程圖中的步驟S906進(jìn)行的離焦區(qū)域圖像處理的詳情。在生成離焦區(qū)域圖像314時，離焦區(qū)域圖像處理將重點主要放在焦點圖310中被設(shè)置為離焦區(qū)域的區(qū)域。雖然將通過參照圖17的流程圖以及圖4 所示的處理單元的結(jié)構(gòu)來詳細(xì)描述離焦區(qū)域圖像處理，但是稍后將更加詳細(xì)地呈現(xiàn)該處理的各個部分。即，為了減輕處理負(fù)荷，該處理通過在合成圖像之前進(jìn)行目標(biāo)圖像的縮小以及對縮小圖像的插值操作來縮減要處理的數(shù)據(jù)量，如以下說明中描述的。稍后將通過參照圖 18和圖19來描述圖像插值操作以及圖像合成操作的詳情。
在步驟S1301中，圖像縮小單元401對攝影圖像302進(jìn)行圖像縮小操作以生成縮小圖像405。圖像縮小操作可以使用如雙線性方法和雙三次方法的已知方法?？梢愿鶕?jù)作為整體的照相機(jī)、被攝體以及環(huán)境的需求來任意確定縮小圖像的分辨率，只要其低于攝影圖像302的分辨率即可。例如，可以根據(jù)如通過受照相機(jī)信息303、虛擬聚焦參數(shù)305和虛擬光圈參數(shù)306限制的離焦區(qū)域的模糊度來確定縮小圖像的分辨率。作為選擇，可以從參數(shù)輸入單元304來獲取預(yù)定分辨率。
圖像插值單元402在步驟S1302對縮小圖像405進(jìn)行插值操作以生成插值圖像 406。稍后將通過參照圖18來描述圖像插值處理的詳情。在步驟S1303中，圖像合成單元 403使用縮小圖像405、插值圖像406、焦點圖310、虛擬聚焦參數(shù)305以及虛擬光圈參數(shù)306來生成(離焦區(qū)域的)合成圖像407。稍后將通過參照圖19來描述圖像合成處理的詳情。
在步驟S1304中，圖像放大單元404將通過前續(xù)步驟生成的(離焦區(qū)域的)合成圖像407放大至重聚焦圖像的分辨率319，以在退出處理前生成離焦圖像408。針對圖像放大處理，可以使用諸如雙線性方法以及雙三次方法的已知方法。
<圖像插值處理>
將通過參照圖18來詳細(xì)說明如通過圖17的步驟S1302進(jìn)行的圖像插值處理。在圖像插值處理中，第一步驟是基于照相機(jī)信息303設(shè)置虛擬視點位置409，從而在圖像302 的攝影位置之間插值。接下來，基于在步驟S1301中獲得的縮小圖像405，通過視差插值處理來生成與各虛擬視點位置409對應(yīng)的插值圖像406。現(xiàn)在，通過參照圖18的流程圖以及圖4所示的處理單元，將詳細(xì)描述圖像插值處理如下。
在步驟S1401中將虛擬視點位置409設(shè)置為用于生成插值圖像。圖7中示出了攝影位置與虛擬視點位置之間的關(guān)系。X軸601、y軸602以及Z軸603對應(yīng)于各照相機(jī)單元的水平方向、垂直方向以及光軸方向，所有這些在作為其原點的相關(guān)聯(lián)的攝影位置以直角相互交叉。虛擬視點位置409被設(shè)置為使得其位于攝影位置之間。在該示例中，虛擬視點位置409按照以等間隔位于攝影位置之間的方式被設(shè)置在網(wǎng)格結(jié)構(gòu)中，如圖7至圖9所示。
在步驟S1402中，從縮小圖像405中相繼選擇攝影位置橫向彼此鄰接的兩個圖像， 并且通過使用視差插值處理在這兩個圖像之間生成對應(yīng)于虛擬視點位置409的插值圖像 406。圖8示出了要用于在步驟S1402中生成插值圖像的虛擬視點位置。視差插值處理可以使用已知的方法。例如，可以基于通過兩個圖像之間的塊匹配計算的針對各像素的視差、 通過插值來生成針對中間視點的圖像。另一方法可以包括將這兩個圖像的一個圖像的特征點與另一個圖像中的對應(yīng)點匹配，并且基于這兩個圖像之間的特征點關(guān)系進(jìn)行變形操作以生成針對中間視點的圖像。還可以采用在其他領(lǐng)域中已知的任意期望方法。
在步驟S1403中，從縮小圖像405和通過步驟S1402生成的插值圖像406中相繼選擇攝影位置縱向上彼此 鄰接的一對圖像，并且通過進(jìn)行視差插值處理在這兩個圖像之間生成對應(yīng)于虛擬視點位置409的插值圖像。圖9示出了用于在步驟S1403中生成插值圖像的虛擬視點位置。視差插值處理可以采用與步驟S1402中使用的方法類似的方法。步驟 S1404輸出通過步驟S1402和步驟S1403生成的插值圖像406。
<圖像合成處理>
接下來，將說明在圖17的步驟S1303中進(jìn)行的圖像合成處理。圖像合成處理根據(jù)虛擬光圈參數(shù)306首先設(shè)置針對各圖像的權(quán)重系數(shù)。然后，基于照相機(jī)信息303和虛擬視點位置409，該處理使各圖像偏移，并且通過對不同區(qū)域使用不同權(quán)重系數(shù)來進(jìn)行加權(quán)，以生成(離焦區(qū)域的)合成圖像407。參照圖19的流程圖以及圖4所示的處理單元的結(jié)構(gòu)， 將詳細(xì)描述圖像合成處理。
步驟S1501基于在步驟S902獲取的虛擬光圈參數(shù)306來設(shè)置要在合成處理中使用的權(quán)重系數(shù)。首先，將通過參照圖10和圖11來說明用于圖像合成操作的權(quán)重系數(shù)。虛擬光圈參數(shù)306是要被應(yīng)用于在攝影位置及虛擬視點位置409獲得的那些圖像的一組系數(shù)。 攝影位置和虛擬視點位置409被表示為如圖10所示的P0-P24，在攝影位置Pm(m = 0-24) 獲得的圖像表示為Im。此時，根據(jù)虛擬光圈參數(shù)306，可以設(shè)置對應(yīng)于圖像Im的權(quán)重系數(shù)的值A(chǔ)(m)，如圖11所示。這里，權(quán)重系數(shù)被設(shè)置為使得它們遵循以P12為中心的高斯函數(shù)，并且還被歸一化為使得權(quán)重系數(shù)的和為I。這使得離焦區(qū)域能夠被平滑地模糊化。
在步驟S1502中基于照相機(jī)信息303和虛擬視點位置409來計算針對各圖像的偏移量。如果焦距被表示為d，則針對圖像Im的水平偏移量Λ i (m, d)和垂直偏移量Λ j (m, d)可以被表達(dá)為
權(quán)利要求
1.一種圖像處理裝置，該圖像處理裝置包括攝影數(shù)據(jù)輸入單元，其獲取從至少兩個不同視點位置拍攝的多個圖像；輸入單元，其輸入代表從照相機(jī)至虛擬焦平面的距離的重聚焦參數(shù)；距離估計單元，其生成針對所獲取的圖像的、表示對應(yīng)于像素的攝影對象與照相機(jī)之間的距離的深度圖；焦點圖生成單元，其通過根據(jù)所述重聚焦參數(shù)由所述深度圖計算包括要被銳聚焦的對焦區(qū)域以及要被模糊化的離焦區(qū)域的區(qū)域，來生成表示所述對焦區(qū)域以及所述離焦區(qū)域的焦點圖；對焦區(qū)域圖像處理單元，其通過對所述對焦區(qū)域進(jìn)行預(yù)定操作并且對包括至少所述攝影圖像的一組圖像進(jìn)行合成，來生成合成圖像；離焦區(qū)域圖像處理單元，其通過對所述離焦區(qū)域進(jìn)行與所述對焦區(qū)域圖像處理單元進(jìn)行的所述預(yù)定操作不同的操作、并且對包括至少所述攝影圖像的一組圖像進(jìn)行合成，來生成合成圖像；以及圖像混合單元，其通過根據(jù)所述焦點圖將所述對焦區(qū)域的合成圖像與所述離焦區(qū)域的合成圖像混合，來生成重聚焦圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，對所述對焦區(qū)域進(jìn)行的所述預(yù)定操作是分辨率增強(qiáng)處理。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述離焦區(qū)域圖像處理單元還包括圖像縮小單元，其縮小所述離焦區(qū)域中的圖像；以及圖像插值單元，其通過所述視點位置之間的插值在縮小圖像之間插值，來生成插值圖像，其中，所述離焦區(qū)域圖像處理單元通過將所述縮小圖像和所述插值圖像合成來生成所述離焦區(qū)域的合成圖像。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，所述離焦區(qū)域圖像處理單元通過所述圖像縮小單元在所述離焦區(qū)域中以比攝影圖像的分辨率低的分辨率生成合成圖像；其中，所述離焦區(qū)域圖像處理單元還包括圖像放大單元，該圖像放大單元將所述合成圖像轉(zhuǎn)變?yōu)榫哂休敵龇直媛实膱D像。
5.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，在所述離焦區(qū)域中生成并保持具有不同分辨率的多個合成圖像。
6.一種圖像處理方法，該圖像處理方法包括攝影數(shù)據(jù)輸入步驟，獲取從至少兩個不同視點位置拍攝的多個圖像；輸入步驟，輸入代表從照相機(jī)至虛擬焦平面的距離的重聚焦參數(shù)；距離估計步驟，生成針對所獲取的圖像的、表示對應(yīng)于像素的攝影對象與照相機(jī)之間的距離的深度圖；焦點圖生成步驟，通過根據(jù)所述重聚焦參數(shù)由所述深度圖計算包括要被銳聚焦的對焦區(qū)域以及要被模糊化的離焦區(qū)域的區(qū)域，來生成表示所述對焦區(qū)域以及所述離焦區(qū)域的焦點圖；對焦區(qū)域圖像處理步驟，通過對所述對焦區(qū)域進(jìn)行預(yù)定操作并且對包括至少所述攝影圖像的一組圖像進(jìn)行合成，來生成合成圖像；離焦區(qū)域圖像處理步驟，通過對所述離焦區(qū)域進(jìn)行與所述對焦區(qū)域圖像處理步驟進(jìn)行的所述預(yù)定操作不同的操作、并且對包括至少攝影圖像的一組圖像進(jìn)行合成，來生成合成圖像；以及 圖像混合步驟，通過根據(jù)所述焦點圖將所述對焦區(qū)域的合成圖像與所述離焦區(qū)域的合成圖像混合，來生成重聚焦圖像。
全文摘要
本發(fā)明提供一種圖像處理裝置及圖像處理方法。本發(fā)明改善了用戶想要銳聚焦的區(qū)域的圖像質(zhì)量。估計代表包括攝影對象的場景的深度方向中的位置的深度值來生成深度圖。焦點圖生成單元基于虛擬聚焦參數(shù)和深度圖，通過區(qū)域劃分操作來生成代表要被銳聚焦的區(qū)域(對焦區(qū)域)以及要被模糊化的區(qū)域(離焦區(qū)域)的焦點圖。對焦區(qū)域圖像處理單元在圖像處理中更著重于對焦區(qū)域以生成對焦區(qū)域圖像。離焦區(qū)域圖像處理單元在圖像處理中更著重于離焦區(qū)域以生成離焦區(qū)域圖像。圖像混合單元通過混合對焦區(qū)域圖像和離焦區(qū)域圖像來生成重聚焦圖像。
文檔編號H04N5/232GK103002218SQ20121033478
公開日2013年3月27日 申請日期2012年9月11日 優(yōu)先權(quán)日2011年9月12日
發(fā)明者石井正俊 申請人:佳能株式會社