圖像處理設(shè)備、圖像拾取設(shè)備以及圖像處理方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了圖像處理設(shè)備、圖像拾取設(shè)備以及圖像處理方法。圖像處理設(shè)備使用包括物體空間信息的輸入圖像生成輸出圖像，該圖像處理設(shè)備包括區(qū)域分割單元，被配置用于將輸入圖像分割成第一區(qū)域和第二區(qū)域；以及重構(gòu)圖像生成單元，被配置用于重構(gòu)輸入圖像以生成輸出圖像，重構(gòu)圖像生成單元對(duì)于第一區(qū)域和第二區(qū)域分別應(yīng)用彼此不同的拍攝條件。
【專(zhuān)利說(shuō)明】圖像處理設(shè)備、圖像拾取設(shè)備以及圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像拾取設(shè)備以及一種圖像處理設(shè)備，該圖像拾取設(shè)備獲得物體空間中的光線(xiàn)的角度信息和光的二維強(qiáng)度分布，該圖像處理設(shè)備從通過(guò)這樣的圖像拾取設(shè)備獲得的圖像生成重構(gòu)圖像。
【背景技術(shù)】
[0002]近年來(lái)，已經(jīng)提出如下這樣的圖像拾取設(shè)備，該圖像拾取設(shè)備對(duì)通過(guò)圖像拾取元件獲得的數(shù)據(jù)執(zhí)行操作并且根據(jù)所得到的數(shù)據(jù)執(zhí)行數(shù)字圖像處理，由此輸出各種圖像。文獻(xiàn)“Ren Ng, et al., “Light Field Photography with a Hand-held PlenopticCamera”，2005Computer Science Technical Report CTSR” 公開(kāi)了一種圖像拾取設(shè)備，該圖像拾取設(shè)備使用“光場(chǎng)攝影”同時(shí)獲得物體空間中的光線(xiàn)的角度信息和光的二維強(qiáng)度分布。這里，光的二維強(qiáng)度分布和光線(xiàn)的角度信息被共同稱(chēng)為光場(chǎng)，并且物體空間中的三維信息可通過(guò)獲得光場(chǎng)而被獲得。在這樣的圖像拾取設(shè)備中，可獲得光場(chǎng)，并且可在圖像被拍攝之后執(zhí)行圖像處理，由此改變(調(diào)整)圖像的焦點(diǎn)位置、攝影視點(diǎn)(viewpoint)、景深等(被稱(chēng)為重聚焦(refocus))。
[0003]此時(shí)，關(guān)于照片表現(xiàn)(expression)，在肖像攝影以及花、昆蟲(chóng)等的微距攝影中通過(guò)故意模糊化前景和背景而使主要物體突出顯現(xiàn)的表現(xiàn)是優(yōu)選地。當(dāng)旨在獲得這樣的照片表現(xiàn)時(shí)，為了獲得美的背景模糊，常常通過(guò)使用具有淺的景深的圖像拾取設(shè)備來(lái)對(duì)物體進(jìn)行攝影。但是，當(dāng)使用具有淺的景深的透鏡獲得美的背景模糊時(shí)，如果物體本身具有深度，則整個(gè)物體不能被清楚地?cái)z影，導(dǎo)致物體的一部分模糊。如果以較深的景深對(duì)物體進(jìn)行攝影以便防止這種情況，則不能獲得美的模糊。因而，通過(guò)常規(guī)的圖像拾取設(shè)備，背景模糊和景深不能被獨(dú)立地控制。
[0004]日本專(zhuān)利特開(kāi)N0.2011-211523公開(kāi)了一種配置,在該配置中，通過(guò)改變焦點(diǎn)位置拍攝(shot)多個(gè)圖像，由此執(zhí)行模糊控制。
[0005]但是，在日本專(zhuān)利特開(kāi)N0.2011-211523的配置中，需要拾取多個(gè)圖像，因此，例如當(dāng)對(duì)諸如昆蟲(chóng)的快速移動(dòng)物體進(jìn)行攝影時(shí)，由于多個(gè)圖像之間的拍攝時(shí)間差，多個(gè)圖像中分別包含的移動(dòng)物體的位置是不同的。因此，可能難以使用多個(gè)拍攝圖像執(zhí)行模糊控制。

【發(fā)明內(nèi)容】

[0006]本發(fā)明提供了一種能夠?qū)⒈舜瞬煌呐臄z條件值應(yīng)用于圖像中的多個(gè)區(qū)域以生成重構(gòu)圖像的圖像處理設(shè)備、圖像拾取設(shè)備以及圖像處理方法。
[0007]作為本發(fā)明的一個(gè)方面的圖像處理設(shè)備使用包含物體空間信息的輸入圖像生成輸出圖像，該圖像處理設(shè)備包括被配置為將輸入圖像分割成第一區(qū)域和第二區(qū)域的區(qū)域分割單元，以及被配置為重構(gòu)該輸入圖像以生成輸出圖像的重構(gòu)圖像生成單元，并且該重構(gòu)圖像生成單元將彼此不同的拍攝條件分別應(yīng)用于第一區(qū)域和第二區(qū)域。
[0008]作為本發(fā)明的另一方面的圖像拾取設(shè)備包括成像光學(xué)系統(tǒng)、用于生成輸入圖像的包括多個(gè)像素的圖像拾取元件、被配置為使得來(lái)自物體平面的同一位置的光線(xiàn)根據(jù)光線(xiàn)通過(guò)的成像光學(xué)系統(tǒng)的光瞳區(qū)域入射到圖像拾取元件的不同像素上的透鏡陣列、被配置為將輸入圖像分割成第一區(qū)域和第二區(qū)域的區(qū)域分割單元，以及被配置為重構(gòu)該輸入圖像以生成輸出圖像的重構(gòu)圖像生成單元，該重構(gòu)圖像生成單元將彼此不同的拍攝條件分別應(yīng)用于第一區(qū)域和第二區(qū)域，并且該透鏡陣列被設(shè)置在該成像光學(xué)系統(tǒng)的相對(duì)于物體平面的像側(cè)共軛平面中。
[0009]作為本發(fā)明的另一方面的圖像拾取設(shè)備使用包含物體空間信息的輸入圖像生成輸出圖像，該圖像拾取設(shè)備包括成像光學(xué)系統(tǒng)、用于生成輸入圖像的包括多個(gè)像素的圖像拾取元件、被配置為使得來(lái)自物體平面的同一位置的光線(xiàn)根據(jù)光線(xiàn)通過(guò)的成像光學(xué)系統(tǒng)的光瞳區(qū)域入射到圖像拾取元件的不同像素上的透鏡陣列、以及該圖像處理設(shè)備，并且該透鏡陣列被設(shè)置在該成像光學(xué)系統(tǒng)的相對(duì)于物體平面的像側(cè)共軛平面中。
[0010]作為本發(fā)明的另一方面的圖像拾取設(shè)備使用包含物體空間信息的輸入圖像生成輸出圖像，該圖像拾取設(shè)備包括成像光學(xué)系統(tǒng)、用于生成輸入圖像的包括多個(gè)像素的圖像拾取元件、被配置為使得來(lái)自物體平面的同一位置的光線(xiàn)根據(jù)光線(xiàn)通過(guò)的成像光學(xué)系統(tǒng)的光瞳區(qū)域入射到圖像拾取元件的不同像素上的透鏡陣列、以及該圖像處理設(shè)備，并且該透鏡陣列被設(shè)置為使得圖像拾取元件與成像光學(xué)系統(tǒng)的相對(duì)于物體平面的像側(cè)共軛平面共軛。
[0011]作為本發(fā)明的另一方面的圖像拾取設(shè)備使用包含物體空間信息的輸入圖像生成輸出圖像，該圖像拾取設(shè)備包括包括具有正折光力的多個(gè)光學(xué)系統(tǒng)的成像光學(xué)系統(tǒng)、用于生成輸入圖像的包括多個(gè)像素的至少一個(gè)圖像拾取元件、和圖像處理設(shè)備，該多個(gè)光學(xué)系統(tǒng)被排列為使得來(lái)自物體平面的同一位置的光線(xiàn)根據(jù)光線(xiàn)通過(guò)的成像光學(xué)系統(tǒng)的光瞳區(qū)域入射到圖像拾取元件的不同像素上，并且該成像光學(xué)系統(tǒng)的光瞳是通過(guò)組合多個(gè)光學(xué)系統(tǒng)的光瞳而獲得的組合光瞳。
[0012]作為本發(fā)明的另一方面的圖像處理方法使用包含物體空間信息的輸入圖像生成輸出圖像，并且該圖像處理方法包括將輸入圖像分割成第一區(qū)域和第二區(qū)域的步驟，以及重構(gòu)該輸入圖像以生成輸出圖像的步驟，該輸入圖像是通過(guò)將彼此不同的拍攝條件分別應(yīng)用于第一區(qū)域和第二區(qū)域而被重構(gòu)的。
[0013]作為本發(fā)明的另一方面的圖像處理方法包括用于獲得包含以彼此不同的第一、第二和第三拍攝條件拍攝的第一、第二和第三圖像的輸入圖像的圖像獲得步驟、設(shè)定第一拍攝條件用于輸出圖像的第一區(qū)域和設(shè)定第二拍攝條件用于輸出圖像的第二區(qū)域的拍攝條件設(shè)定步驟，以及組合對(duì)應(yīng)于第一區(qū)域的第一圖像、對(duì)應(yīng)于第二區(qū)域的第二圖像以及對(duì)應(yīng)于輸出圖像的第一區(qū)域和第二區(qū)域之間的第三區(qū)域的第三圖像的組合步驟。
[0014]優(yōu)選地，該第三拍攝條件可在第一拍攝條件和第二拍攝條件之間。
[0015]作為本發(fā)明的另一方面的圖像處理設(shè)備包括被配置用于獲得包含以彼此不同的第一、第二和第三拍攝條件拍攝的第一、第二和第三圖像的輸入圖像的圖像獲得單元、被配置用于設(shè)定第一拍攝條件用于輸出圖像的第一區(qū)域和設(shè)定第二拍攝條件用于輸出圖像的第二區(qū)域的拍攝條件設(shè)定單元，以及被配置用于組合對(duì)應(yīng)于第一區(qū)域的第一圖像、對(duì)應(yīng)于第二區(qū)域的第二圖像以及對(duì)應(yīng)于輸出圖像的第一區(qū)域和第二區(qū)域之間的第三區(qū)域的第三圖像的組合單元。[0016]優(yōu)選地，該第三拍攝條件可在第一拍攝條件和第二拍攝條件之間。
[0017]參照附圖閱讀示例性實(shí)施例的以下描述，本發(fā)明的其它特征和方面將變得清楚。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0018]圖1是各實(shí)施例中的對(duì)包括物體A和B以及背景的場(chǎng)景進(jìn)行攝影的示例。
[0019]圖2A至2D是描述各實(shí)施例中的從輸入圖像獲得輸出圖像的圖像處理的示圖。
[0020]圖3是用于描述各實(shí)施例中的確定邊界處理范圍的方法的攝影場(chǎng)景。
[0021]圖4是描述各實(shí)施例中的確定邊界處理范圍的方法的示圖。
[0022]圖5A和5B是描述各實(shí)施例中的重聚焦處理的示圖。
[0023]圖6是描述計(jì)算模糊擴(kuò)散量(spread amount) Δ Xi的方法的示圖。
[0024]圖7是描述各實(shí)施例中的邊界處理的示圖。
[0025]圖8Α和8Β是描述各實(shí)施例中的確定邊界處理范圍的方法的示圖。
[0026]圖9是描述各實(shí)施例中的計(jì)算模糊擴(kuò)散量Axi的方法的示圖。
[0027]圖10是描述各實(shí)施例中的確定邊界處理范圍的方法的示圖。
[0028]圖11是描述各實(shí)施例中的邊界處理的示圖。
[0029]圖12是描述各實(shí)施例中的邊界處理的示圖。
[0030]圖13是實(shí)施例1中的圖像拾取光學(xué)系統(tǒng)的示意性配置示圖。
[0031]圖14是實(shí)施例2中的圖像拾取光學(xué)系統(tǒng)的示意性配置示圖。
[0032]圖15是實(shí)施例3中的圖像拾取光學(xué)系統(tǒng)的示意性配置示圖。
[0033]圖16是實(shí)施例4中的圖像拾取光學(xué)系統(tǒng)的示意性配置示圖。
[0034]圖17是實(shí)施例5中的圖像處理系統(tǒng)的框圖。
[0035]圖18是實(shí)施例1至3和5中每一個(gè)的圖像拾取設(shè)備的框圖。
[0036]圖19Α和19Β是描述實(shí)施例1中的重聚焦圖像的生成的示圖。
[0037]圖20Α和20Β是描述實(shí)施例2和3中的每一個(gè)中的重聚焦圖像的生成的示圖。
[0038]圖21是實(shí)施例4中的圖像拾取設(shè)備的框圖。
[0039]圖22是實(shí)施例4中的圖像拾取光學(xué)系統(tǒng)的示意性配置圖。
[0040]圖23Α和23Β是描述實(shí)施例4中的重聚焦圖像的生成的示圖。
[0041]圖24是實(shí)施例1至5中的每一個(gè)中的圖像處理方法的流程圖。
[0042]圖25是描述各實(shí)施例中的計(jì)算光的滲出量(exuding amount)的方法的示圖。
【具體實(shí)施方式】
[0043]以下將參照附圖描述本發(fā)明的示例性實(shí)施例。在各附圖中，相同的元件將用相同的附圖標(biāo)記指示，并且其重復(fù)描述將被省略。
[0044]在本實(shí)施例中，“物體空間信息”是如下這樣的信息，該信息包含關(guān)于從物體發(fā)出的光的二維強(qiáng)度分布的信息以及從物體發(fā)出并且被引至圖像拾取元件的各光線(xiàn)的角度信息。或者，“物體空間信息”與“光場(chǎng)”具有相同含義。當(dāng)在其中從特定視點(diǎn)捕獲物體的圖像被稱(chēng)為視點(diǎn)圖像時(shí)，能夠從多個(gè)視點(diǎn)圖像獲得物體空間信息的圖像拾取設(shè)備也被稱(chēng)為“光場(chǎng)照相機(jī)”。光場(chǎng)照相機(jī)可通過(guò)一個(gè)圖像拾取操作獲得包含多個(gè)視點(diǎn)圖像的圖像。也就是說(shuō)，“包含物體空間信息的輸入圖像”是包含多個(gè)視點(diǎn)圖像的圖像。[0045]首先，作為本實(shí)施例中的獲得輸入圖像(輸入圖像信息)的圖像拾取設(shè)備，將描述能夠同時(shí)獲得多個(gè)視點(diǎn)圖像的圖像拾取設(shè)備的配置。被應(yīng)用于本實(shí)施例中的圖像處理方法(圖像處理程序)的輸入圖像是通過(guò)使用上述圖像拾取設(shè)備(光場(chǎng)照相機(jī))獲得的圖像。此圖像拾取設(shè)備具有被布置的多個(gè)成像光學(xué)系統(tǒng)或者設(shè)置在成像光學(xué)系統(tǒng)的圖像側(cè)的透鏡陣列，由此圖像拾取設(shè)備能夠獲得物體空間信息。在本實(shí)施例中，“輸入圖像信息”是從多個(gè)視點(diǎn)獲得的圖像信息，即，通過(guò)布置多個(gè)視點(diǎn)圖像而被配置的圖像信息。而且，“輸入圖像”是從“輸入圖像信息”形成的圖像。在本實(shí)施例中，如下文所述，包括物體空間信息的“輸入圖像”或者“輸入圖像信息”被使用(重構(gòu))以生成輸出圖像。
[0046]圖13至16中所示的圖像拾取光學(xué)系統(tǒng)是構(gòu)成此圖像拾取設(shè)備的圖像拾取光學(xué)系統(tǒng)的示例。在本實(shí)施例中，圖像拾取光學(xué)系統(tǒng)包括成像光學(xué)系統(tǒng)和圖像拾取元件，并且還在圖像拾取光學(xué)系統(tǒng)具有透鏡陣列的情況下包括透鏡陣列。人物或者物體不一定需要位于圖13至16中所示的物體平面201上。這是因?yàn)榧词乖趫D像被拍攝之后，通過(guò)下文所述的重構(gòu)處理，仍可執(zhí)行到位于物體平面201后面或前面的人物或者物體上的聚焦。
[0047]“重構(gòu)”是選擇或重新布置從輸入圖像(輸入圖像信息)獲得的各像素的信息以便獲得希望的輸出圖像。其還包括根據(jù)需要對(duì)各像素的信息執(zhí)行操作以及選擇或者重新布置各像素的信息。因此，輸入圖像本身不需要是所謂的人在其中可認(rèn)出物體的攝影圖像，但是通過(guò)遵從某些規(guī)則的重構(gòu)處理生成的輸出圖像僅需要是希望的圖像。
[0048]“拍攝條件”是關(guān)于由焦點(diǎn)位置、景深、曝光等表示的拍攝條件的信息。通過(guò)常規(guī)的照相機(jī)，在圖像被拍攝之后拍攝條件不能改變，但是通過(guò)光場(chǎng)照相機(jī)，拍攝條件可被改變。改變拍攝條件的方法根據(jù)下文所述的圖像拾取設(shè)備的配置而變化。在類(lèi)似于照相機(jī)陣列的配置的情況中，拍攝條件可實(shí)際上對(duì)于每一照相機(jī)改變。在一個(gè)成像光學(xué)系統(tǒng)中包含透鏡陣列的配置的情況下，虛擬成像平面位置、虛擬景深、虛擬曝光等可被用作稍后所述的拍攝條件，并且這些可被改變。
[0049]“虛擬成像平面位置”是當(dāng)通過(guò)下文所述的重聚焦操作重新執(zhí)行聚焦時(shí)被考慮的虛擬成像平面位置?！疤摂M景深”是虛擬地確定的任意F數(shù)。F數(shù)是由光學(xué)系統(tǒng)的焦距和光瞳直徑確定的，并且確定虛擬景深的方法與計(jì)算F數(shù)的常規(guī)方法相同。具有對(duì)應(yīng)于希望的F數(shù)的景深的圖像不是通過(guò)驅(qū)動(dòng)實(shí)際孔徑光闌機(jī)構(gòu)以控制光束來(lái)獲得的，而是通過(guò)選擇輸入圖像中與要獲得的F數(shù)光束對(duì)應(yīng)的像素來(lái)重構(gòu)輸入圖像而獲得的。
[0050]“虛擬曝光”是表示在輸出圖像中要實(shí)現(xiàn)的明亮度(亮度值)的作為虛擬曝光值的值。如文獻(xiàn) Ren Ng, et al., “Light Field Photography with a Hand-heldPlenoptic Camera，，，2005Computer Science Technical Report CTSR,或者日本專(zhuān)利特開(kāi)N0.2011-211523中公開(kāi)的，如果在相同條件下對(duì)整個(gè)圖像執(zhí)行重構(gòu)處理，則曝光值在整個(gè)圖像上是均勻的(相同的快門(mén)速度、F數(shù)、ISO靈敏度)。但是，通過(guò)在重構(gòu)時(shí)部分改變加權(quán)并且執(zhí)行重構(gòu)處理，可獲得如下效果，即圖像看上去好像其已在對(duì)于其各部分不同的曝光條件下被拾取。
[0051]“輸入圖像信息”或“輸入圖像”是通過(guò)使用包括圖像拾取元件和成像光學(xué)系統(tǒng)的圖像拾取設(shè)備同時(shí)獲得多個(gè)視點(diǎn)圖像而獲得的圖像信息(圖像)，其包括物體空間信息。如下文所述，區(qū)域分割單元將輸入圖像(輸出圖像區(qū)域)分割成多個(gè)區(qū)域(第一區(qū)域和第二區(qū)域)?！拜敵鰣D像區(qū)域”(輸入圖像)是由要最終輸出的圖像的希望的大小確定的二維區(qū)域(圖像)。重構(gòu)圖像生成單元將基于輸入圖像獲得的彼此不同的拍攝條件應(yīng)用于多個(gè)被分割的區(qū)域中的兩個(gè)被分割的區(qū)域(第一區(qū)域和第二區(qū)域)，由此重構(gòu)該輸入圖像以生成輸出圖像。
[0052]隨后，參照?qǐng)D1和2A至2D，將描述這些步驟。圖1是使用圖像拾取設(shè)備301進(jìn)行包含物體A和B以及背景的場(chǎng)景的攝影的示例。圖2A至2D是描述本實(shí)施例中的從輸入圖像(輸入圖像信息)獲得輸出圖像的圖像處理的示圖。
[0053]通過(guò)常規(guī)照相機(jī)，在嘗試在原樣保留美的背景模糊的情況下對(duì)物體A和B兩者鮮銳地?cái)z影的情況下，僅可聚焦于僅這兩個(gè)物體之一上?；蛘?，在通過(guò)聚焦于物體A和B中任一個(gè)上并且通過(guò)例如增加F數(shù)以增加景深來(lái)對(duì)這兩個(gè)物體A和B鮮銳地?cái)z影的情況下，背景模糊將會(huì)丟失。作為對(duì)比，對(duì)于使用本實(shí)施例的光場(chǎng)照相機(jī)獲得的輸入圖像(輸入圖像信息)，通過(guò)在圖像被拍攝之后進(jìn)行重構(gòu)處理可解決此問(wèn)題。
[0054]首先，如圖2A所示，輸出圖像區(qū)域(輸入圖像)被分割成任意的區(qū)域(區(qū)域1、2和3)。在本實(shí)施例中，這三個(gè)區(qū)域中的任兩個(gè)對(duì)應(yīng)于第一和第二區(qū)域。用戶(hù)可指定分割的區(qū)域?；蛘?，圖像拾取設(shè)備可使用作為常規(guī)技術(shù)的物體識(shí)別單元(臉部識(shí)別等)自動(dòng)分割區(qū)域。如果作為基準(zhǔn)的圖像是用戶(hù)在觀(guān)看圖像時(shí)分割區(qū)域所必需的，則從拍攝圖像時(shí)的拍攝條件下的拍攝圖像等臨時(shí)重構(gòu)的圖像可被輸出以被預(yù)先顯示在圖像拾取設(shè)備的監(jiān)視器或編輯處理期間的PC監(jiān)視器上。
[0055]接下來(lái)，如在圖2B中所示，拍攝條件(拍攝條件1、2和3)分別對(duì)于分割的區(qū)域(區(qū)域1、2和3)被確定。在本實(shí)施例中，拍攝條件例如是虛擬成像平面位置、虛擬景深或虛擬曝光。然后，如圖2C所示，對(duì)于各個(gè)分割的區(qū)域確定的拍攝條件(拍攝條件1、2和3)被應(yīng)用于各個(gè)分割的區(qū)域以生成重構(gòu)圖像。最后，如圖2D所示，對(duì)于各個(gè)分割的區(qū)域的重構(gòu)圖像被組合(合成)為一個(gè)圖像，其作為輸出圖像被輸出。這樣，此實(shí)施例的輸出圖像被獲得，但是在從圖2C到2D的生成輸出圖像的步驟中，在確定拍攝條件之后，對(duì)應(yīng)于所有拍攝條件的重構(gòu)圖像可逐一生成并且組合成輸出圖像。作為替代地，在執(zhí)行重構(gòu)處理的步驟中，輸出圖像可通過(guò)在使用對(duì)應(yīng)于拍攝條件的參數(shù)的同時(shí)一次執(zhí)行重構(gòu)處理而獲得。
[0056]隨后，將描述使用虛擬成像平面位置作為拍攝條件的情況。具體而言，在圖2A至2D中，將考慮如下情況，即在模糊化區(qū)域I的同時(shí)執(zhí)行同時(shí)聚焦于區(qū)域2和3。然后，在本實(shí)施例中，制備被重構(gòu)以聚焦于區(qū)域2上的圖像和被重構(gòu)以聚焦于區(qū)域3上的圖像。對(duì)于區(qū)域1，制備被重構(gòu)以相對(duì)于區(qū)域2聚焦于圖像拾取設(shè)備側(cè)(前側(cè))的圖像。這三個(gè)圖像被組合成一個(gè)圖像。在此配置中，可獲得如下的輸出圖像，在該輸出圖像中，在背景模糊保留(或者被增進(jìn))的情況下物體A和B兩者被鮮銳地(清晰地)攝影。
[0057]在本實(shí)施例中，這三個(gè)圖像中的每一個(gè)不需要是在其中整個(gè)圖像區(qū)域被重構(gòu)的圖像。關(guān)于區(qū)域2和3，可制備在其中至少物體和周?chē)鷧^(qū)域被重構(gòu)的圖像。
[0058]在虛擬景深被用作拍攝條件的情況中，可獲得相同效果。在此情況中，在確定圖2B的拍攝條件的階段，可設(shè)定虛擬景深來(lái)增加景深以便對(duì)區(qū)域2和3鮮銳地?cái)z影。此后的處理與使用虛擬成像平面位置的情況中相同。對(duì)于虛擬曝光也是如此。在本實(shí)施例中，圖2A至2D中分別示出處理點(diǎn)，但是在物體也被自動(dòng)識(shí)別的情況下，這些點(diǎn)可在內(nèi)部執(zhí)行，并且僅最終點(diǎn)(圖2D)可被顯示給用戶(hù)。
[0059]這樣，可執(zhí)行本實(shí)施例的圖像處理方法。本實(shí)施例的圖像處理方法(圖像處理設(shè)備)優(yōu)選地滿(mǎn)足以下條件中的至少一個(gè)。滿(mǎn)足這些條件中的一個(gè)或多個(gè)使得能夠?qū)崿F(xiàn)更自然的模糊化。即，圖像處理設(shè)備優(yōu)選地包括(A)重構(gòu)單元，其將輸入圖像信息重構(gòu)為第一圖像(輸入圖像)并且輸出該第一圖像，以及(B)邊界確定單元，其確定用于將第一圖像分割成至少兩個(gè)區(qū)域(第一區(qū)域和第二區(qū)域)的邊界。此外，圖像處理設(shè)備優(yōu)選地包括(C)拍攝條件確定單元，其對(duì)于第一和第二區(qū)域確定彼此不同的拍攝條件。此外，其優(yōu)選地包括(D)邊界處理范圍確定單元，其確定第一區(qū)域和第二區(qū)域之間的邊界處理范圍。此外，其優(yōu)選地包括(E)邊界處理單元，其對(duì)邊界處理范圍執(zhí)行邊界處理以減少由于彼此不同的拍攝條件而生成的第一區(qū)域和第二區(qū)域之間的差別。
[0060]關(guān)于(D)，邊界處理范圍確定單元優(yōu)選地基于第一區(qū)域或第二區(qū)域的拍攝條件計(jì)算模糊的擴(kuò)散量。模糊的擴(kuò)散量是對(duì)應(yīng)于物體圖像改變之前和之后之間的視差的模糊的擴(kuò)散量，其是基于拍攝條件計(jì)算的。此外，邊界處理范圍確定單元基于模糊的擴(kuò)散量確定邊界處理范圍。
[0061]關(guān)于(E)，邊界處理單元優(yōu)選地將通過(guò)邊界處理范圍彼此相鄰的區(qū)域(第一區(qū)域和第二區(qū)域)的拍攝條件之間的拍攝條件應(yīng)用于邊界處理范圍，并且執(zhí)行邊界處理。
[0062]首先，關(guān)于(A)，針對(duì)拍攝圖像重構(gòu)單元輸出圖像(第一圖像)以供用戶(hù)首先確認(rèn)。如上所述，存在如下情況，即輸入圖像信息不是個(gè)人可從中識(shí)別物體的信息。在此情況中，從原樣的輸入圖像信息，用戶(hù)不能確定獲得哪種照片也不能確定是否要編輯。因此，在本實(shí)施例中，重構(gòu)單元優(yōu)選地現(xiàn)在以在圖像拍攝之后的預(yù)覽圖像的形式重構(gòu)并輸出圖像(第一圖像)，該圖像被考慮以確認(rèn)是否要從其進(jìn)行編輯。此外，用戶(hù)可使用第一圖像作為基準(zhǔn)圖像以便確定邊界，這是下一步驟。而且，當(dāng)物體被自動(dòng)識(shí)別以確定邊界時(shí)，如果基準(zhǔn)圖像是必需的，則可使用第一圖像以便使得自動(dòng)識(shí)別系統(tǒng)來(lái)識(shí)別物體。
[0063]關(guān)于(B)，邊界確定單元確定用以將輸出圖像區(qū)域(基于輸入圖像信息的圖像)分割成多個(gè)區(qū)域(第一和第二區(qū)域)的邊界。如下所述，所希望的拍攝條件(彼此不同的拍攝條件)被分配給通過(guò)邊界確定單元分割的各區(qū)域。關(guān)于此步驟，用戶(hù)本人還可通過(guò)屏幕上的觸摸操作、PC上的鼠標(biāo)操作等確定邊界?；蛘?，邊界可由臉部識(shí)別或者物體識(shí)別(自動(dòng)識(shí)別)被自動(dòng)確定以便分割該區(qū)域。
[0064]關(guān)于(C)，重構(gòu)圖像生成單元對(duì)于多個(gè)區(qū)域(第一和第二區(qū)域)確定(應(yīng)用)彼此不同的拍攝條件。如上文所述，拍攝條件是虛擬成像平面位置、虛擬景深、虛擬曝光等。拍攝條件可由用戶(hù)每次任意確定。作為替代，圖像拾取設(shè)備可具有作為與物體形狀對(duì)應(yīng)的預(yù)設(shè)的多個(gè)表，以根據(jù)場(chǎng)景自動(dòng)確定拍攝條件。
[0065]關(guān)于(D)，邊界處理范圍確定單元確定邊界處理范圍，然后執(zhí)行對(duì)于邊界處理單元進(jìn)行的邊界處理的準(zhǔn)備。例如，假定具有多個(gè)虛擬成像平面位置的圖像在一個(gè)輸出圖像區(qū)域內(nèi)被生成。這里，為了簡(jiǎn)便，假定如圖3所示的包括兩個(gè)物體(物體A和物體B)的、其中從圖像拾取設(shè)備(未示出)到這兩個(gè)物體的距離彼此不同的場(chǎng)景。物體A是接近圖像拾取設(shè)備的物體，并且物體B是遠(yuǎn)離圖像拾取設(shè)備的物體。此外，假定，這兩個(gè)物體是不具有深度的平面物體，并且在物體A和B后面存在一些背景。所希望的圖像是如下圖像，其中物體A和B兩者都合焦，并且關(guān)于背景模糊的程度，在物體A合焦的情況下背景模糊是優(yōu)選的。
[0066]在其中物體A合焦的圖像中，物體B未合焦(模糊)。如果物體B的被鮮銳攝影的圖像被應(yīng)用于其中物體A合焦的圖像中的物體B上，原始物體B模糊并擴(kuò)散到其中的區(qū)域保留，從而圖像可變得稍微不自然。在此情況中，優(yōu)選地，去除物體模糊并擴(kuò)散到其中的區(qū)域，但是除非知曉關(guān)于距物體的距離的信息，否則模糊的擴(kuò)散量不能被識(shí)別。
[0067]作為對(duì)比，根據(jù)本實(shí)施例的圖像拾取設(shè)備(光場(chǎng)照相機(jī))，由于獲得了關(guān)于距離的信息，因此可計(jì)算模糊的擴(kuò)散量。例如，通過(guò)進(jìn)行圖4中所示的步驟，可在考慮了模糊的擴(kuò)散量的情況下確定邊界處理范圍。本實(shí)施例中的“邊界處理范圍”是在重構(gòu)圖像中物體的模糊相對(duì)于在開(kāi)始未被模糊化的物體所限定的邊界的擴(kuò)散量Λχρ像素的范圍?！斑吔缣幚矸秶笨梢允侵辽佴?χρ像素的范圍，但是依賴(lài)于物體或場(chǎng)景可被確定為Λχρ+α像素的區(qū)域，其中α是裕度。用戶(hù)可每次確定裕度α的大小。圖像拾取設(shè)備可預(yù)先具有作為根據(jù)物體形狀的預(yù)設(shè)(preset)的信息。
[0068]圖4是描述確定邊界處理范圍的方法的示圖。在步驟SOOl中，邊界處理范圍確定單元獲得例如其中在前側(cè)的物體A合焦的圖像作為第一圖像。然后，在步驟S002，邊界處理范圍確定單元確定物體B的邊界。此時(shí)，邊界處理范圍確定單元可重構(gòu)例如如下具有更深的景深的圖像，在該圖像中物體A和B兩者被鮮銳地?cái)z影，以確定邊界處理范圍。作為替代，可使用其中距離信息被使用的距離圖(深度圖)基于物體B的輪廓確定邊界，或者可通過(guò)重聚焦于物體B上來(lái)確定物體B的邊界。重聚焦是在圖像被拍攝之后通過(guò)重構(gòu)處理重新聚焦于任何物體上的處理。由于重聚焦在文獻(xiàn)Ren Ng,iiFourier Slice Photography”, 2005ACMTrans.Graph.24，735-744中被詳細(xì)描述，因此其描述在此被省略。
[0069]隨后，在步驟S003中，邊界處理范圍確定單元計(jì)算在虛擬成像平面位置從物體B合焦處的虛擬成像平面位置移動(dòng)至物體A合焦處的虛擬成像平面位置時(shí)的物體B的模糊的擴(kuò)散量ΛΧρ。然后，在步驟S004中，邊界處理范圍基于步驟S003中所計(jì)算的模糊的擴(kuò)散量Λ Xp被確定。邊界處理范圍優(yōu)選地具有等于或者大于模糊的擴(kuò)散量Λ Χρ (Λ Χρ像素)的寬度。
[0070]接下來(lái)，參照?qǐng)D5Α和5Β，將描述計(jì)算模糊的擴(kuò)散量Λ χρ的方法。圖5Α和5Β是描述使用多個(gè)視點(diǎn)圖像聚焦于任意位置上的方法(重聚焦處理)的示圖。圖5Α示出從多個(gè)視點(diǎn)獲取的圖像(多個(gè)視點(diǎn)圖像，在本實(shí)施例中為九個(gè)視點(diǎn)圖像)。當(dāng)從這些圖像生成其中更向前的物體A合焦的圖像時(shí)，重構(gòu)處理需要對(duì)于全部九個(gè)圖像執(zhí)行，從而這些圖像中的物體A彼此重合(重疊)。這九個(gè)圖像中的任一個(gè)可以是要彼此重疊的作為基準(zhǔn)的圖像，并且如果例如以該九個(gè)圖像的中心圖像作為基準(zhǔn)執(zhí)行重構(gòu)，則生成圖5Β中所示的圖像(重構(gòu)圖像)。
[0071]在圖5Β中，這九個(gè)圖像被重構(gòu)以使得物體A彼此重合(重疊)，因此物體A合焦。另一方面，所有九個(gè)圖像在它們之間具有視差，因此比物體A更向后的物體B由于它們的視差而偏離(偏移)。這些偏離表現(xiàn)為模糊。因此，在本實(shí)施例中，計(jì)算模糊的擴(kuò)散量(ΛΧρ像素)等同于計(jì)算視差量。如果在物體被圖像拾取設(shè)備攝影時(shí)物體可呈現(xiàn)的視差量之中的最大視差量被知曉，則可了解模糊的擴(kuò)散量的最大值。物體的最大視差量由距要被攝影的物體的距離以及圖像拾取設(shè)備的出射光瞳直徑確定。因而，為了計(jì)算在多個(gè)視點(diǎn)圖像被重構(gòu)成一個(gè)圖像時(shí)模糊的擴(kuò)散量，僅需要了解距要被攝影的物體的距離以及圖像拾取設(shè)備的出射光瞳直徑。這與使用常規(guī)照相機(jī)在幾何上計(jì)算模糊的擴(kuò)散量的方法相同。
[0072]因此，參照?qǐng)D6，將描述使用常規(guī)照相機(jī)計(jì)算模糊的擴(kuò)散量的方法。圖6是描述找到模糊的擴(kuò)散量Axi的方式的示圖。圖6示出了具有焦距f和出射光瞳半徑h的成像光學(xué)系統(tǒng)L的模型。為了簡(jiǎn)便，假定成像光學(xué)系統(tǒng)L的物側(cè)主平面位置和像側(cè)主平面位置相同。符號(hào)S為成像光學(xué)系統(tǒng)L的物側(cè)主平面位置到物體A的距離，并且符號(hào)t是到物體B的距離。符號(hào)sk是成像光學(xué)系統(tǒng)L的像側(cè)主平面位置到物體A的成像平面的距離，并且符號(hào)tk是成像光學(xué)系統(tǒng)L的像側(cè)主平面位置到物體B的成像平面的距離。物體A和物體A的成像平面位置為共軛關(guān)系。在圖6中，物體A合焦時(shí)的光路圖由實(shí)線(xiàn)繪制，并且此時(shí)的出自物體B的光線(xiàn)由點(diǎn)劃線(xiàn)繪制。在此情況中，滿(mǎn)足以下表達(dá)式(I)和(2)。
[0073]l/s+l/sk=l/f…(I)
[0074]l/t+l/tk=l/f …(2)
[0075]如從圖6可見(jiàn)，滿(mǎn)足0s=s+sk，并且0T=t+sk。假定物體A和B的距離Os和Ot已知，則成像平面上的模糊的擴(kuò)散量Axi由以下表達(dá)式(3)表示。
[0076]Δ Xi= (sk-tk) X h/tk
[0077]= (0S—s) XhX {I/f—I / (0T_0s+s)} _h…(3)
[0078]這樣，可計(jì)算成像光學(xué)系統(tǒng)L的成像平面上的模糊的擴(kuò)散量AXi。因此，在常規(guī)照相機(jī)中，當(dāng)Sp指示圖像拾取元件的成像平面上的像素間距時(shí)，輸出圖像中的模糊的擴(kuò)散量Λ Xp被表達(dá)為從成像平面上的模糊的擴(kuò)散量轉(zhuǎn)換的輸出圖像的像素?cái)?shù)，由以下表達(dá)式(4)表不。
[0079]Axp=AxiZsp--- (4)
[0080]至此，如上所述，本實(shí)施例的照相機(jī)(光場(chǎng)照相機(jī))與常規(guī)照相機(jī)相同。但是，本實(shí)施例的照相機(jī)與常規(guī)照相機(jī)的不同之處在于輸入圖像信息被重構(gòu)以生成輸出圖像。因此，在本實(shí)施例中，僅僅使用表達(dá)式(4)可能不能根據(jù)圖像拾取設(shè)備的配置將其轉(zhuǎn)換成重構(gòu)輸出圖像上的模糊的擴(kuò)散量(像素)。因此，在本實(shí)施例中，用于將如上所述地在幾何上計(jì)算的模糊的擴(kuò)散量轉(zhuǎn)換成輸出圖像上的像素?cái)?shù)的系數(shù)Q需要被考慮。系數(shù)Q根據(jù)圖像拾取設(shè)備的配置呈現(xiàn)各種值。本實(shí)施例中使用的轉(zhuǎn)換式由以下表達(dá)式(5 )表示。
[0081]Δ Xp=QX Δ Xi/sp...(5)
[0082]將在以下描述的各圖像拾取設(shè)備的實(shí)施例中詳細(xì)描述系數(shù)Q的值。
[0083]因而，即使當(dāng)在任意位置上執(zhí)行重聚焦時(shí)，仍可計(jì)算重構(gòu)圖像上另一物體的模糊量。計(jì)算模糊的擴(kuò)散量△ Xi的方法并不局限于此，還可使用其他方法進(jìn)行計(jì)算。
[0084]接下來(lái)，將參照?qǐng)D7描述(E)。圖7是描述本實(shí)施例中的邊界處理的示圖。這里，在物體A合焦的圖像中，在確定的邊界中重構(gòu)其中物體B合焦的圖像。邊界處理的目的在于防止發(fā)生諸如邊緣在物體B的邊界處突出的不自然，從而使得其看起來(lái)更自然。
[0085]首先，在步驟SlOl中，比較通過(guò)邊界處理范圍彼此相鄰的區(qū)域Fl和F2(第一區(qū)域和第二區(qū)域)處的虛擬成像平面位置。然后，確定邊界處理范圍是否需要被進(jìn)一步細(xì)分。如果在步驟SlOl中，邊界處理范圍被進(jìn)一步細(xì)分，則可生成更自然的圖像，這是優(yōu)選的。用戶(hù)可任意確定細(xì)分的必要性。作為替代，可通過(guò)使用閾值從區(qū)域Fl和F2的虛擬成像平面位置之間的分離量自動(dòng)確定。
[0086]隨后，在步驟S102中，區(qū)域Fl和F2的虛擬成像平面位置之間的虛擬成像平面位置的圖像被重構(gòu)和組合以適配在邊界處理范圍中。結(jié)果，區(qū)域Fl和F2之間的灰度鏈接(gradational link)可實(shí)現(xiàn),從而可生成自然圖像,這是優(yōu)選的?！皡^(qū)域Fl和F2的虛擬成像平面位置之間的虛擬成像平面位置”不需要是區(qū)域Fl和F2的虛擬成像平面位置之間的(在嚴(yán)格意義上的)中心虛擬成像平面位置，而可以朝區(qū)域Fl或F2的虛擬成像平面位置稍微偏離(偏移)。
[0087]如果在步驟SlOl中，確定細(xì)分不是必需的，如上所述，區(qū)域Fl和F2的虛擬成像平面位置之間的虛擬成像平面位置的圖像僅需被重構(gòu)并且適配在被邊界處理的整個(gè)范圍中。另一方面，如果確定細(xì)分是必需的，則僅需要重構(gòu)與細(xì)分?jǐn)?shù)目相等的數(shù)目的圖像(細(xì)分區(qū)域I至4)，在從區(qū)域Fl轉(zhuǎn)到區(qū)域F2時(shí)其虛擬成像平面位置逐漸改變。這意味著防止發(fā)生諸如邊緣在物體B的邊界處突出的不自然，從而圖像看起來(lái)更自然。盡管在本實(shí)施例中描述了虛擬成像平面位置的情況，但是這同樣應(yīng)用于虛擬景深或虛擬曝光的情況。
[0088]接下來(lái)，參照?qǐng)D8A和8B，將描述作為拍攝條件設(shè)定虛擬景深的情況。圖8A和8B是描述確定邊界處理范圍的方法的示圖。圖8A示出當(dāng)相對(duì)于某一背景具有深度的物體C(諸如玩具機(jī)器人)被攝影的示例。通過(guò)具有淺景深的圖像拾取設(shè)備在物體C的右眼合焦并且背景模糊的情況下執(zhí)行攝影的場(chǎng)景被取作示例。這里，具有淺景深的圖像拾取設(shè)備是對(duì)于照相機(jī)陣列的情況具有小的組合F數(shù)的圖像拾取設(shè)備，以及對(duì)于在成像光學(xué)系統(tǒng)和傳感器之間具有透鏡陣列的圖像拾取設(shè)備的情況具有小的成像光學(xué)系統(tǒng)的F數(shù)的圖像拾取設(shè)備。
[0089]如果通過(guò)常規(guī)照相機(jī)執(zhí)行攝影，則步驟SB中所示，背景被良好地模糊化，但是由于其淺景深，整個(gè)物體C可能不被鮮銳地?cái)z影，使得體部的背側(cè)等模糊。這可能在使用例如焦距為50mm并且F數(shù)為1.4的明亮透鏡或者超長(zhǎng)焦透鏡的情況下發(fā)生。
[0090]作為對(duì)比，由于也獲得了距離信息，本實(shí)施例的光場(chǎng)照相機(jī)可計(jì)算模糊的擴(kuò)散量Δ xp。計(jì)算方法與上述方法相同，但是由于要使用的光束直徑根據(jù)指定的虛擬景深而不同，因此出射光瞳半徑h的值不同。對(duì)于與孔徑光闌打開(kāi)對(duì)應(yīng)的虛擬景深，出射光瞳半徑h的值并不與前述值不同，并且當(dāng)虛擬景深增加(虛擬F數(shù)增加)時(shí)，出射光瞳半徑h的值可在計(jì)算時(shí)相應(yīng)地減小。
[0091]參照?qǐng)D9，將描述計(jì)算模糊的擴(kuò)散量Axi的方法。圖9是描述計(jì)算模糊的擴(kuò)散量Axi的方法的示圖，其示出簡(jiǎn)單模型作為示例。在圖9中，物體C的右眼位置和物體C的右眼合焦時(shí)的成像平面位置處于共軛關(guān)系。符號(hào)h是出射光瞳半徑，其確定光束。在本實(shí)施例中，背景被良好地模糊化，但是由于淺景深，物體C的體部的后部也被模糊化。此時(shí)，成像平面位置上的模糊的擴(kuò)散量由Axi指示。當(dāng)模糊的擴(kuò)散量Axi的大小小于或者等于像素間距的一半時(shí)，常規(guī)照相機(jī)不能確定圖像拾取元件上的模糊的擴(kuò)散量，從而獲得鮮銳圖像。由點(diǎn)虛線(xiàn)指示的出射光瞳半徑h’確定的光束表示該情況，并且△&’是對(duì)于該情況的模糊的擴(kuò)散量。如果圖像拾取設(shè)備的像素間距已知，則在模糊的擴(kuò)散量AXi’處的h’的值可被獲得，因此還可計(jì)算使得整個(gè)物體C被鮮銳地?cái)z影的F數(shù)的值是多少。還在本實(shí)施例中，可以簡(jiǎn)單的方式計(jì)算使得整個(gè)物體C被鮮銳地?cái)z影的虛擬景深(虛擬F數(shù))的值是多少，但是如上所述需要如表達(dá)式(5)表示的轉(zhuǎn)換式。
[0092]接下來(lái)，參照?qǐng)D10，將描述確定邊界處理范圍的方法。圖10是描述確定邊界處理范圍的方法的示圖。通過(guò)進(jìn)行圖10的步驟中的每一個(gè)，區(qū)域之間的邊界可在考慮了模糊的擴(kuò)散量的情況下被確定。還在此示例中，如同上述的虛擬成像平面位置的情況，物體的模糊的擴(kuò)散量(ΛΧρ像素)的范圍被稱(chēng)為“邊界處理范圍”。作為替代，根據(jù)物體或場(chǎng)景，Δχρ+α像素可被稱(chēng)為“邊界處理范圍”，其中α是裕度。
[0093]首先，在圖10的步驟S201中，例如，獲得其中物體C的右眼合焦的淺景深的圖像作為第一圖像。此時(shí)，背景模糊在模糊量方面是良好的，但是由于淺景深，物體C的體部的后部模糊。然后，在步驟S202中，物體C的邊界被確定。這是因?yàn)槿绻龀隽耸褂玫谝粓D像設(shè)定物體C的輪廓為邊界的嘗試，則難以認(rèn)識(shí)到該輪廓，這是因?yàn)樵诖藸顟B(tài)中在圖像中存在模糊部分。例如，其中整個(gè)物體C被鮮銳攝影的大虛擬景深的圖像可被重構(gòu)以用于確定邊界。作為替代，可使用在其中使用距離信息的距離圖(深度圖)從物體C的輪廓確定邊界。
[0094]隨后，在步驟S203中，從其中整個(gè)物體C被鮮銳地?cái)z影的大虛擬景深的圖像計(jì)算當(dāng)切換到獲得希望的背景模糊的虛擬景深時(shí)的物體C的模糊的擴(kuò)散量Axp0這里，大虛擬景深的圖像例如是步驟S202中獲得的第一圖像。
[0095]隨后，在步驟S204中，基于步驟S203中計(jì)算的模糊的擴(kuò)散量Λ \來(lái)確定邊界處理范圍。邊界處理范圍優(yōu)選地具有等于或者大于ΛΧρ像素的寬度。邊界處理范圍可根據(jù)物體被自動(dòng)確定為Δ χρ像素或Δχρ+α像素，其中α是裕度。用戶(hù)可每次確定裕度α。或者，圖像拾取設(shè)備可預(yù)先具有它們作為根據(jù)物體形狀的預(yù)設(shè)。由于物體C具有深度，因此對(duì)于邊界上的每個(gè)點(diǎn)，ΛΧρ的值是不同的。因此，嚴(yán)格上說(shuō)，優(yōu)選地對(duì)于每個(gè)像素獲得ΛΧρ的值，但是根據(jù)物體C的大小，可對(duì)于在中間與其它像素間隔開(kāi)的像素計(jì)算ΛΧρ的值以從其進(jìn)行內(nèi)插。
[0096]因而，在重構(gòu)之后圖像上具有深度的物體的部分的模糊量可在景深淺時(shí)被計(jì)算。因此，可確定邊界處理范圍。計(jì)算模糊的擴(kuò)散量的方法并不限于此，并且還可使用其他方法。
[0097]接下來(lái)，參照?qǐng)D11和12，將詳細(xì)描述本實(shí)施例中的邊界處理。圖11和12是描述本實(shí)施例中的邊界處理的示圖。
[0098]首先，在圖11中的步驟S301中，比較通過(guò)邊界處理范圍彼此相鄰的區(qū)域Fl和F2處的虛擬景深，并且確定要執(zhí)行邊界處理的范圍是否需要被進(jìn)一步細(xì)分。如果在步驟S301中邊界處理范圍被進(jìn)一步細(xì)分，則可生成更自然的圖像，這是優(yōu)選的。用戶(hù)可任意確定細(xì)分的必要性。作為替代，這可通過(guò)使用閾值從區(qū)域Fl和F2的虛擬景深之間的分離量自動(dòng)確定。
[0099]隨后，在步驟S302中，區(qū)域Fl和F2的虛擬景深之間的虛擬景深的圖像被重構(gòu)和組合以適配在邊界處理范圍中。結(jié)果，區(qū)域Fl和F2之間的灰度鏈接可實(shí)現(xiàn)，從而可生成自然圖像，這是優(yōu)選的。“區(qū)域Fl和F2的虛擬景深之間的虛擬景深”不需要是區(qū)域Fl和F2的虛擬景深之間的(嚴(yán)格意義上的)中心虛擬景深，也可以朝區(qū)域Fl或F2的虛擬景深輕微偏尚(偏移)。
[0100]如果在步驟S301中確定細(xì)分不是必需的，如上所述，區(qū)域Fl和F2的虛擬景深之間的虛擬景深的圖像僅需被重構(gòu)并且適配在整個(gè)邊界處理范圍中。另一方面，如果確定細(xì)分是必需的，則僅需要重構(gòu)和組合與細(xì)分?jǐn)?shù)目相等的數(shù)目的圖像(細(xì)分區(qū)域I至4)，在從區(qū)域Fl轉(zhuǎn)到區(qū)域F2時(shí)其虛擬景深逐漸改變。這意味著防止發(fā)生諸如邊緣在物體C的邊界處突出的不自然，從而可生成看起來(lái)更自然的圖像，這是優(yōu)選的。
[0101]由于虛擬景深不同的圖像被重構(gòu)為一個(gè)圖像，如果它們?cè)瓨颖唤M合成一個(gè)最終輸出圖像，則可輸出其中虛擬景深不同的區(qū)域具有不同的明亮度的圖像。這可在考慮如下情況時(shí)被理解，即在快門(mén)速度相同的情況下每個(gè)區(qū)域的光闌值不同。此時(shí)，每個(gè)區(qū)域的邊緣可突出并且看上去浮動(dòng)，這不是優(yōu)選的。為了防止這種情況，乘以加權(quán)系數(shù)的亮度信號(hào)值可被組合為一個(gè)輸出圖像，該加權(quán)系數(shù)由于區(qū)域的虛擬景深之間的差所導(dǎo)致的明亮度差(亮度水平差)而不同。
[0102]接下來(lái)，將描述使用虛擬曝光作為拍攝條件的情況。在此情況中，焦點(diǎn)位置和景深是任意的，并且使用在重構(gòu)輸入圖像信息時(shí)對(duì)亮度值進(jìn)行加權(quán)的方法來(lái)改變所確定的區(qū)域的虛擬曝光(圖像明亮度)，并且它們的圖像被組合成輸出圖像。
[0103]如上所述，參照?qǐng)D5A和5B描述從輸入圖像信息重構(gòu)一個(gè)圖像的方法。當(dāng)如圖5A和5B中所示的九個(gè)視差圖像被重構(gòu)為一個(gè)圖像時(shí)，重構(gòu)圖像是帶白色放大圖像，在該圖像中如果九個(gè)圖像的亮度值被簡(jiǎn)單地相加到一起則會(huì)發(fā)生亮度飽和。因此，當(dāng)九個(gè)視差圖像在不對(duì)每一視差圖像進(jìn)行加權(quán)的情況下被簡(jiǎn)單地重構(gòu)時(shí)，不僅這九個(gè)圖像的亮度值被相加到一起，而且亮度值需要除以重構(gòu)時(shí)使用的視差圖像的數(shù)量。結(jié)果，獲得其中保持與一個(gè)視差圖像的明亮度相同的明亮度的重構(gòu)圖像。此時(shí)，可通過(guò)對(duì)于每個(gè)使用的視差圖像不均勻地、而是以不同的加權(quán)系數(shù)對(duì)使用的視差圖像的亮度值進(jìn)行加權(quán)來(lái)改變區(qū)域中的明亮度。
[0104]盡管與上文所述內(nèi)容相同的內(nèi)容的重復(fù)描述被省略，但是虛擬曝光的情況與虛擬成像平面位置或者虛擬景深的情況的區(qū)別在于計(jì)算模糊的擴(kuò)散量的步驟。在虛擬成像平面位置或虛擬景深的情況中，由于對(duì)象是模糊量，因此模糊的擴(kuò)散量被計(jì)算。另一方面，在虛擬曝光的情況下，不是計(jì)算模糊的擴(kuò)散量，而是計(jì)算光的滲出量。光滲出指的是當(dāng)光源被帶白色地、放大地?cái)z影時(shí)(亮度飽和)，不僅光源而且光源的附近都根據(jù)光源的光的強(qiáng)度亮度飽和，或者在不飽和的情況下被明亮地?cái)z影。計(jì)算光的滲出量以確定邊界處理范圍的步驟與虛擬成像平面位置或虛擬景深的情況中不同。
[0105]在虛擬成像平面位置或虛擬景深的情況中，當(dāng)物體的鮮銳拍攝圖像被在同一物體的模糊圖像上重構(gòu)時(shí)，模糊化的原始物體圖像的模糊的擴(kuò)散保留，因此執(zhí)行邊界處理以消除這一點(diǎn)。另一方面，對(duì)于光滲出的場(chǎng)景假定如下場(chǎng)景，即如果如通常那樣被重構(gòu)，則光源的亮度值變得飽和，而光源附近也亮度飽和(或者被明亮地?cái)z影)。對(duì)于此場(chǎng)景，其中光源的亮度值不飽和的光源部分的區(qū)域的暗圖像可被重構(gòu)，以便簡(jiǎn)單地去除光源的亮度飽和。
[0106]但是，即使區(qū)域被分割成光源部分和其它部分，并且僅對(duì)于光源區(qū)域部分以不同的加權(quán)系數(shù)執(zhí)行重構(gòu)以便使得圖像暗，在除光源之外的其它部分中仍留有光滲出，這不是優(yōu)選的。如果光的滲出量已知，則在將該部分當(dāng)作“邊界處理范圍”的情況下，可使用不同的加權(quán)系數(shù)對(duì)于該范圍執(zhí)行重構(gòu)以使之更暗，從而光滲出變得不突出。但是，如果在重構(gòu)之前視差圖像中的光已經(jīng)滲出的區(qū)域已經(jīng)亮度飽和，則由于沒(méi)有信息，光已經(jīng)滲出的區(qū)域不能被去除。在此情況中，需要獲得被設(shè)定為比正常情況更暗的視差圖像，從而要被去除的光已滲出的區(qū)域中不發(fā)生亮度飽和。然后，在執(zhí)行重構(gòu)時(shí)，視差圖像優(yōu)選地被加權(quán)為更亮并重構(gòu)，從而生成具有合適明亮度的輸出圖像。
[0107]接下來(lái)，參照?qǐng)D25，將描述本實(shí)施例中的計(jì)算光的滲出量的方法。圖25是描述計(jì)算光的滲出量的方法的示圖。前提是，如上所述，獲得被設(shè)定為比正常情況更暗的視差圖像，從而在要被去除的光已滲出的區(qū)域中不發(fā)生亮度飽和，并且可對(duì)視差圖像執(zhí)行以下處理。
[0108]首先，在步驟S401中，執(zhí)行用于更亮的加權(quán)以在重構(gòu)時(shí)實(shí)現(xiàn)正常的、合適的明亮度，并且對(duì)整個(gè)圖像執(zhí)行重構(gòu)。隨后，在步驟S402中，亮度飽和的或者其亮度值等于或者高于預(yù)定閾值的光源區(qū)域的附近部分被確定為邊界處理范圍。然后，在步驟S403中，對(duì)于確定的邊界處理范圍執(zhí)行邊界處理。由于步驟S403以及后續(xù)的邊界處理(確定是否細(xì)分邊界處理范圍以及后續(xù)處理)的內(nèi)容與上述的虛擬成像平面位置或虛擬景深的情況中相同，因此其描述被省略。用戶(hù)可任意確定預(yù)定閾值。作為替代，圖像拾取設(shè)備可具有用于假定場(chǎng)景的閾值表。
[0109]根據(jù)本實(shí)施例中的圖像處理方法(圖像處理程序)，獲得在一個(gè)圖像中具有多個(gè)不同拍攝條件的輸出圖像。盡管為了易于理解，本實(shí)施例描述了虛擬成像平面位置、虛擬景深或者虛擬曝光被彼此獨(dú)立地控制以改變拍攝條件的情況，但是本實(shí)施例并不局限于此。在本實(shí)施例中，可存在混合在一個(gè)輸出圖像區(qū)域中的組合的多個(gè)虛擬成像平面位置、虛擬景深和虛擬曝光。在本實(shí)施例中，拍攝條件不局限于虛擬成像平面位置、虛擬景深或虛擬曝光。
[0110]以下各實(shí)施例中將描述本實(shí)施例中的執(zhí)行圖像處理方法(圖像處理程序)的圖像拾取設(shè)備(圖像處理設(shè)備)。
[0111][實(shí)施例1]
[0112]接下來(lái)，參照?qǐng)D18，將描述本發(fā)明的實(shí)施例1中的圖像拾取設(shè)備(圖像拾取光學(xué)系統(tǒng))的配置。圖18是本實(shí)施例中的圖像拾取設(shè)備100的框圖。圖像拾取設(shè)備100可通過(guò)執(zhí)行本實(shí)施例的圖像處理方法來(lái)從輸入圖像(拍攝圖像)生成輸出圖像(重構(gòu)圖像)。
[0113]如圖18所示，圖像拾取設(shè)備100包括在成像光學(xué)系統(tǒng)101 (圖像拾取光學(xué)系統(tǒng))和圖像拾取元件103之間的透鏡陣列102，并且可同時(shí)獲得來(lái)自多個(gè)視點(diǎn)的圖像。在圖像拾取設(shè)備100中，物體(未示出)經(jīng)由成像光學(xué)系統(tǒng)101和透鏡陣列102在圖像拾取元件103上成像，該成像光學(xué)系統(tǒng)101包括孔徑光闌1011和聚焦透鏡1012。
[0114]圖像拾取元件103是二維圖像拾取元件，諸如CXD (電荷耦合器件)或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)。經(jīng)由成像光學(xué)系統(tǒng)101和透鏡陣列102入射到圖像拾取元件103上的光線(xiàn)的能量改變?yōu)殡娦盘?hào)(模擬信號(hào))。因而，圖像拾取元件103對(duì)經(jīng)由成像光學(xué)系統(tǒng)101和透鏡陣列102形成的物體圖像進(jìn)行光電轉(zhuǎn)換以獲得拍攝圖像。通過(guò)圖像拾取元件103獲得的拍攝圖像(成像光)被轉(zhuǎn)換成電信號(hào)并且被輸出至Α/D轉(zhuǎn)換器104。Α/D轉(zhuǎn)換器104將從圖像拾取元件103輸入的電信號(hào)(模擬信號(hào))轉(zhuǎn)換成數(shù)字信號(hào)，其被輸出至圖像處理單元105。
[0115]圖像處理單元105將圖像的重構(gòu)處理連同預(yù)定處理一起執(zhí)行。圖像處理單元105從狀態(tài)檢測(cè)單元108獲得用于圖像拾取設(shè)備100的拍攝條件(拍攝條件信息)。拍攝條件信息包括圖像拾取光學(xué)系統(tǒng)(成像光學(xué)系統(tǒng))的配置、物體距離、光闌值、變焦透鏡中的焦距等。狀態(tài)檢測(cè)單元108可從系統(tǒng)控制器111直接獲得拍攝條件信息，或者可從光學(xué)系統(tǒng)控制單元107獲得成像光學(xué)系統(tǒng)101 (圖像拾取光學(xué)系統(tǒng))的拍攝條件信息。
[0116]圖像處理單元105中處理的圖像被以預(yù)定格式存儲(chǔ)在諸如半導(dǎo)體存儲(chǔ)器的圖像記錄介質(zhì)110中。通過(guò)對(duì)本實(shí)施例中的圖像處理之后的圖像執(zhí)行用于顯示的預(yù)定處理而獲得的圖像在顯示單元106上被顯示?；蛘邽榱丝焖亠@示，通過(guò)執(zhí)行簡(jiǎn)化處理而獲得的圖像可被顯示。當(dāng)存儲(chǔ)在圖像記錄介質(zhì)Iio中的圖像被顯示在顯示單元106上時(shí)，圖像處理單元105基于拍攝條件信息執(zhí)行重構(gòu)處理。此時(shí)，圖像處理單元105還執(zhí)行降噪處理。結(jié)果，在顯示單元106上顯示被重構(gòu)為希望的視點(diǎn)、焦點(diǎn)位置和景深的圖像(重構(gòu)圖像)。此外，為了高速處理，希望的設(shè)定(圖像的視點(diǎn)、焦點(diǎn)位置、景深等)被預(yù)先存儲(chǔ)在存儲(chǔ)單元109中，并且重構(gòu)圖像可被直接顯示在顯示單元106上，而不經(jīng)由圖像記錄介質(zhì)110。圖像記錄介質(zhì)110中存儲(chǔ)的圖像可以是重構(gòu)圖像。
[0117]圖像拾取設(shè)備100中的一系列控制由系統(tǒng)控制器111執(zhí)行。成像光學(xué)系統(tǒng)101的機(jī)械驅(qū)動(dòng)由光學(xué)系統(tǒng)控制單元107根據(jù)系統(tǒng)控制器111的指令執(zhí)行?？讖焦怅@1011的孔徑直徑對(duì)于光闌值(F數(shù))的拍攝狀態(tài)設(shè)定被控制。聚焦透鏡1012的位置由自動(dòng)聚焦(AF)機(jī)構(gòu)或者手動(dòng)聚焦機(jī)構(gòu)(均未示出)控制以根據(jù)物體距離執(zhí)行聚焦。
[0118]盡管在本實(shí)施例中，成像光學(xué)系統(tǒng)101 (透鏡設(shè)備)被配置為與圖像拾取設(shè)備(圖像拾取設(shè)備體部)成整體，但是本實(shí)施例并不局限于此。成像光學(xué)系統(tǒng)101可以是被配置為可去除地附接到諸如單透鏡反射照相機(jī)的圖像拾取設(shè)備體部的可更換透鏡。
[0119]接下來(lái)，參照?qǐng)D13，將描述本實(shí)施例中的圖像拾取光學(xué)系統(tǒng)的配置。圖13是圖像拾取光學(xué)系統(tǒng)的示意性配置示圖。圖像拾取光學(xué)系統(tǒng)包括成像光學(xué)系統(tǒng)101、透鏡陣列102和圖像拾取元件103。在本實(shí)施例中，透鏡陣列102由多個(gè)透鏡(小透鏡)構(gòu)成，并且小透鏡由固體透鏡構(gòu)成。本實(shí)施例并不限于此，并且透鏡陣列102也可由液體透鏡、液晶透鏡、或者衍射光學(xué)元件構(gòu)成。透鏡陣列102也可由多個(gè)透鏡構(gòu)成。構(gòu)成透鏡陣列102的小透鏡在兩側(cè)具有表面，每一表面具有凸形。本實(shí)施例并不局限于此，而是在一側(cè)的表面可以是平面，并且另一側(cè)的表面可具有凸形。
[0120]透鏡陣列102設(shè)置在相對(duì)于物體平面201的成像光學(xué)系統(tǒng)101的像側(cè)共軛平面。此外，透鏡陣列102被配置為使得成像光學(xué)系統(tǒng)101的出射光瞳與圖像拾取元件103處于基本共軛的關(guān)系。來(lái)自物體平面201上的同一位置的光線(xiàn)通過(guò)成像光學(xué)系統(tǒng)101和透鏡陣列102，然后根據(jù)它們?cè)谖矬w平面201上的位置以及角度入射到圖像拾取元件103的不同像素上，由此獲得光場(chǎng)。這里，透鏡陣列102用于防止通過(guò)物體平面201上的不同位置的光線(xiàn)入射到同一像素上。結(jié)果，在圖像拾取元件103中，獲得如下圖像，在該圖像中通過(guò)從多個(gè)視點(diǎn)對(duì)物體平面201上的同一區(qū)域進(jìn)行攝影而布置像素組。在圖13中所示的配置中，通過(guò)使用三個(gè)像素(在二維中九個(gè)像素)拍攝物體平面201上的同一位置的圖像。因此，關(guān)于本實(shí)施例的圖像拾取光學(xué)系統(tǒng)，其二維空間分辨率被減小為僅獲得光的二維強(qiáng)度分布的圖像拾取光學(xué)系統(tǒng)的二維空間分辨率的1/9。即使要拍攝物體平面201上的同一位置的圖像的像素?cái)?shù)量改變，在定性方面這仍保持相同。
[0121]隨后，將描述本實(shí)施例中的重聚焦處理。由于文獻(xiàn)Ren Ng, “Fourier SlicePhotography”，2005ACM Trans.Graph.24，735-744中詳細(xì)描述了重聚焦處理，因此這里將進(jìn)行簡(jiǎn)要描述。
[0122]接下來(lái)，參照?qǐng)D19A和19B，將描述生成重聚焦圖像的方法的示例。圖19A和19B是圖13中所示的圖像拾取光學(xué)系統(tǒng)的透鏡陣列102和圖像拾取元件103的詳細(xì)示圖。在圖19A和19B中，通過(guò)各像素的中心以及對(duì)應(yīng)于此像素的小透鏡的像側(cè)主點(diǎn)的光線(xiàn)的路徑及其延長(zhǎng)部由點(diǎn)虛線(xiàn)指示。虛擬成像平面203指示成像光學(xué)系統(tǒng)101相對(duì)于在物體側(cè)的要通過(guò)重聚焦在其上聚焦的平面的像側(cè)共軛平面。在本實(shí)施例中，當(dāng)像側(cè)共軛平面相對(duì)于透鏡陣列102的物側(cè)主平面位于像側(cè)時(shí)，通過(guò)將像側(cè)共軛平面朝像側(cè)移動(dòng)透鏡陣列102的主平面間隔而獲得的平面是虛擬成像平面203。通過(guò)沿點(diǎn)虛線(xiàn)將通過(guò)圖像拾取元件103獲得的像素值平移至虛擬成像平面203來(lái)組合它們，可生成在希望的焦點(diǎn)位置處的重聚焦圖像。
[0123]例如，為了生成其中圖13中的物體平面201合焦的圖像，虛擬成像平面203可被設(shè)定在經(jīng)由成像光學(xué)系統(tǒng)101與物體平面201共軛的平面，即圖19B中所示的透鏡陣列102的主平面(像側(cè)主平面)。在圖19A和19B中，為了易于理解，在生成重聚焦圖像時(shí)平移的像素由虛線(xiàn)指示，并且被示出為它們相互偏離(偏移)，它們沒(méi)有相互重疊。如圖19A和19B中所示，可見(jiàn)當(dāng)任意重聚焦圖像被生成時(shí)，如果成像光學(xué)系統(tǒng)101的入射到像素上的光束通過(guò)其中的光瞳區(qū)域?qū)τ谙袼厥窍嗤模瑒t那些像素的平移量是相同的。因此，在生成重聚焦圖像時(shí)的像素的操作根據(jù)成像光學(xué)系統(tǒng)101的入射到像素上的光束通過(guò)其中的光瞳區(qū)域被確定。
[0124]隨后，將描述調(diào)整景深的方法。在圖13的圖像拾取光學(xué)系統(tǒng)的配置中，如上所述，物體平面201上的同一位置的圖像是通過(guò)使用三個(gè)像素(二維中九個(gè)像素)被拍攝的。例如，在此情況中，通過(guò)使用全部三個(gè)像素(二維中九個(gè)像素)執(zhí)行重構(gòu)處理，可重構(gòu)圖13所示的狀態(tài)中的成像光學(xué)系統(tǒng)101中的最淺景深的圖像。當(dāng)生成具有深景深的圖像時(shí)，例如可僅使用在中心的一個(gè)像素來(lái)執(zhí)行重構(gòu)處理，而不使用所有三個(gè)像素。結(jié)果，可僅選擇通過(guò)成像光學(xué)系統(tǒng)101的光瞳的中心及其附近的光束來(lái)生成圖像，而沒(méi)有使用成像光學(xué)系統(tǒng)101的整個(gè)光瞳。因此，可獲得與通過(guò)縮小成像光學(xué)系統(tǒng)101的孔徑光闌而產(chǎn)生的效果相同的效果。光束的此選擇確定的虛擬F數(shù)對(duì)應(yīng)于上述步驟中描述的虛擬景深。這同樣應(yīng)用于離軸光束以及軸向光束。
[0125]在圖13所示的圖像拾取光學(xué)系統(tǒng)中，僅使用三個(gè)像素來(lái)拍攝物體平面201上的同一位置的圖像。因此，當(dāng)如上所述調(diào)整景深時(shí)，僅存在兩個(gè)選項(xiàng):或者使用三個(gè)像素，或者僅使用在中心的一個(gè)像素。但是，景深還可被調(diào)整為這兩者之間的景深。在此情況中，通過(guò)改變要使用的像素的加權(quán)，景深可被調(diào)整。例如，通過(guò)原樣使用中心的一個(gè)像素，通過(guò)相對(duì)于在中心的像素對(duì)兩個(gè)外部像素以0.5加權(quán)以便將其用于重構(gòu)處理，還可實(shí)現(xiàn)中間景深。
[0126]隨后，將描述改變曝光的方法。如上所述，在生成重聚焦圖像時(shí)，通過(guò)將圖像拾取元件103獲得的像素值平移至虛擬成像平面203以組合它們，可生成在希望的焦點(diǎn)位置處的重聚焦圖像。在此示例中，三個(gè)像素值被平移以被組合，并且通過(guò)在組合時(shí)乘以(施加)類(lèi)似于校正值的系數(shù)，組合時(shí)的像素的亮度值可被控制。如果在整個(gè)圖像中像素值乘以同一校正值，則整個(gè)圖像的明亮度可被改變。作為替代，通過(guò)僅將特定像素(或多個(gè)像素)乘以校正值，僅該特定區(qū)域的明亮度可被改變。因而，通過(guò)乘以校正值，明亮度可就如曝光被實(shí)際改變那樣被改變。通過(guò)乘以校正值而確定的明亮度對(duì)應(yīng)于上述虛擬曝光。
[0127]隨后，將描述上述表達(dá)式(5)中的系數(shù)Q的值。在本實(shí)施例的圖像拾取設(shè)備(圖像拾取光學(xué)系統(tǒng))的情況中，透鏡陣列102設(shè)置在成像光學(xué)系統(tǒng)101相對(duì)于物體平面201的像側(cè)共軛平面。因此，其等同于被透鏡陣列102采樣通過(guò)成像光學(xué)系統(tǒng)101形成的物體平面201的圖像。對(duì)于這一點(diǎn)，如前文所述，說(shuō)明了二維空間分辨率減小為僅獲得光的二維強(qiáng)度分布的圖像拾取設(shè)備的二維空間分辨率的1/9。當(dāng)符號(hào)Llp是透鏡陣列102的間距，系數(shù)Q和Λ Xp分別由以下表達(dá)式(6)和(5a)表示。
[0128]Q=SpAv" (6)
[0129]Δ Xp= (sp/Llp) X (Axi/sp) = Δ XiAv..(5a)
[0130]隨后，參照?qǐng)D24，將描述本實(shí)施例中的圖像處理方法。圖24是本實(shí)施例中的圖像處理方法的流程圖。圖24中的每一步驟由圖像處理單元105基于系統(tǒng)控制器111的指令執(zhí)行。[0131]圖像處理單元105具有區(qū)域分割單元105a和重構(gòu)圖像生成單元105b。區(qū)域分割單元105a將基于輸入圖像信息生成的輸入圖像(第一圖像)分割成多個(gè)區(qū)域(第一和第二區(qū)域)。重構(gòu)圖像生成單元105b分別對(duì)于第一和第二區(qū)域應(yīng)用彼此不同的拍攝條件，由此重構(gòu)輸入圖像信息以生成輸出圖像。優(yōu)選地，圖像處理單元105的區(qū)域分割單元105a包括邊界確定單元1051a、拍攝條件確定單元1051b、邊界處理范圍確定單元1051c以及邊界處理單元1051d。邊界確定單元1051a確定將圖像分割成第一和第二區(qū)域的邊界。拍攝條件確定單元1051b確定分別用于第一和第二區(qū)域的拍攝條件。邊界處理范圍確定單元1051c確定邊界處理范圍。邊界處理單元1051d對(duì)于邊界處理范圍執(zhí)行邊界處理。
[0132]優(yōu)選地，邊界處理范圍確定單元1051c計(jì)算在應(yīng)用用于第一或第二區(qū)域的拍攝條件的情況下物體圖像由于第一或第二區(qū)域的物體圖像被模糊化而改變時(shí)的模糊的擴(kuò)散量。模糊的擴(kuò)散量是在物體圖像改變之前和之后之間的模糊的擴(kuò)散量，其是基于拍攝條件被計(jì)算的。然后，邊界處理范圍確定單元1051c基于模糊的擴(kuò)散量確定邊界處理范圍。
[0133]優(yōu)選地，邊界處理單元1051d將通過(guò)邊界處理范圍彼此相鄰的第一區(qū)域和第二區(qū)域的拍攝條件之間的拍攝條件應(yīng)用于邊界處理范圍，以便執(zhí)行邊界處理。
[0134]首先，在圖24中的步驟S501中，從輸入圖像信息(多個(gè)視點(diǎn)圖像的信息)生成第一圖像(輸入圖像)以輸出。隨后，在步驟S502中，確定用于將第一圖像分割成多個(gè)區(qū)域(第一和第二區(qū)域)的邊界。然后，在步驟S503中，確定各個(gè)區(qū)域的拍攝條件。在步驟S504中，確定邊界處理范圍。隨后，在步驟S505中，對(duì)于確定的邊界處理范圍執(zhí)行邊界處理。然后，在步驟S506中，執(zhí)行重構(gòu)以生成一個(gè)輸出圖像。結(jié)果，通過(guò)在一個(gè)圖像中分別對(duì)于多個(gè)區(qū)域應(yīng)用不同拍攝條件，可生成重構(gòu)圖像。
[0135][實(shí)施例2]
[0136]接下來(lái)，將描述本發(fā)明的實(shí)施例2。本實(shí)施例中的圖像拾取設(shè)備的基本配置與參照?qǐng)D18描述的實(shí)施例1的圖像拾取設(shè)備100的基本配置相同，因此其描述被省略。
[0137]首先，參照?qǐng)D14，將描述本實(shí)施例中的圖像拾取光學(xué)系統(tǒng)的配置。圖14是圖像拾取光學(xué)系統(tǒng)的示意性配置示圖。透鏡陣列102被相對(duì)于成像光學(xué)系統(tǒng)101的相對(duì)于物體平面201的圖像側(cè)共軛平面202設(shè)置在物體側(cè)。透鏡陣列102被設(shè)置為使得成像光學(xué)系統(tǒng)101的相對(duì)于物體平面201的圖像側(cè)共軛平面202變?yōu)榕c圖像拾取元件103共軛(處于共軛關(guān)系)。來(lái)自物體平面201的光線(xiàn)通過(guò)成像光學(xué)系統(tǒng)101和透鏡陣列102，然后根據(jù)光線(xiàn)在物體平面201上的位置和角度入射到圖形拾取元件103的不同像素上，從而獲得物體空間信息(光場(chǎng))。來(lái)自物體平面201上的同一位置的光線(xiàn)根據(jù)光線(xiàn)相對(duì)于物體平面201的角度通過(guò)成像光學(xué)系統(tǒng)101的不同光瞳區(qū)域。結(jié)果，圖像拾取元件103獲得如下圖像，在該圖像中布置有拍攝視點(diǎn)和拍攝范圍不同的多個(gè)小圖像。
[0138]與僅獲得光的二維強(qiáng)度分布的圖像拾取光學(xué)系統(tǒng)相比，圖14中所示的圖像拾取光學(xué)系統(tǒng)的空間分辨率減小。這是因?yàn)橥哥R陣列102將通過(guò)成像光學(xué)系統(tǒng)101形成的圖像看作虛擬物體，并且將其進(jìn)一步縮小成像在圖像拾取元件103上?？s小比是I σ2/0ι|倍。這里，符號(hào)O1是圖像側(cè)共軛平面202與透鏡陣列102的物體側(cè)主平面之間的距離，并且σ2是透鏡陣列102的圖像側(cè)主平面與圖像拾取元件103之間的距離。因此，圖14中所示的圖像拾取光學(xué)系統(tǒng)的二維空間分辨率是僅獲得光的二維強(qiáng)度分布的圖像拾取光學(xué)系統(tǒng)的(σ 2/ σ J 2 倍。[0139]接下來(lái)，參照?qǐng)D20A和20B，將描述本實(shí)施例中的生成重聚焦圖像的方法。圖20A和20B是圖14中所示的圖像拾取光學(xué)系統(tǒng)的配置中的圖像拾取元件103和透鏡陣列102的詳細(xì)示圖。在本實(shí)施例中，透鏡陣列102包括其在物體側(cè)的表面是平面并且其在圖像側(cè)的表面是凸形的小透鏡。類(lèi)似于實(shí)施例1，透鏡陣列102的形狀并不限于此。
[0140]在圖20A和20B中每個(gè)小透鏡的視角由點(diǎn)虛線(xiàn)指示。通過(guò)圖像拾取元件103獲得的像素值經(jīng)由與像素對(duì)應(yīng)的小透鏡被投影到虛擬成像平面203上以被組合，由此生成其中虛擬成像平面203合焦的重聚焦圖像。例如，為了生成其中圖14中的物體平面201合焦的圖像，虛擬成像平面203可被設(shè)定在圖像側(cè)共軛平面202。在圖20A和20B中，在生成重聚焦圖像時(shí)從透鏡陣列號(hào)j=_l到+1的小透鏡投影的像素由虛線(xiàn)指示，并且為了易于理解，被示出為它們相互偏離，它們沒(méi)有相互重疊。重聚焦圖像的生成可通過(guò)以與投影像素的上述生成方法相同的方式將像素平移以使得它們相互重疊以進(jìn)行組合的方法執(zhí)行。此時(shí)，如果入射到像素上的光束通過(guò)其中的透鏡陣列102的區(qū)域相同，則這些像素的平移量相同。因而，在本實(shí)施例中生成重聚焦圖像時(shí)的像素的操作根據(jù)入射到像素上的光束通過(guò)其中的透鏡陣列102的區(qū)域被確定。
[0141]隨后，將描述調(diào)整景深的方法。在圖14中所示的圖像拾取設(shè)備(圖像拾取光學(xué)系統(tǒng))的配置中，在光瞳區(qū)域被透鏡陣列102的三個(gè)透鏡分割的情況下，物體平面201上的同一位置被攝影。例如，在此情況中，通過(guò)使用透鏡陣列102的全部三個(gè)透鏡執(zhí)行重構(gòu)處理，可生成圖14中所示的圖像拾取設(shè)備(成像光學(xué)系統(tǒng)101)中的最淺景深的圖像。當(dāng)生成深景深的圖像時(shí)，可例如僅使用透鏡陣列102在中心的一個(gè)透鏡來(lái)執(zhí)行重構(gòu)處理，而不使用透鏡陣列102的全部三個(gè)透鏡。結(jié)果，可僅使用通過(guò)成像光學(xué)系統(tǒng)101的光瞳的中心及其附近的光束來(lái)生成圖像，而不使用整個(gè)光瞳。因此，可獲得與通過(guò)縮小成像光學(xué)系統(tǒng)101的孔徑光闌產(chǎn)生的效果相同的效果。通過(guò)透鏡陣列102的透鏡的此選擇確定的虛擬F數(shù)對(duì)應(yīng)于上述步驟中描述的虛擬景深。這同樣應(yīng)用于離軸光束以及軸向光束。
[0142]還在圖14中所示的圖像拾取設(shè)備(圖像拾取光學(xué)系統(tǒng))中，類(lèi)似于圖13中所示的圖像拾取設(shè)備(圖像拾取光學(xué)系統(tǒng))，通過(guò)改變對(duì)應(yīng)于要被使用的透鏡陣列102的透鏡的像素的權(quán)重，可精細(xì)地調(diào)整景深。例如,通過(guò)原樣使用對(duì)應(yīng)于透鏡陣列102的在中心的一個(gè)透鏡的像素，相對(duì)于透鏡陣列102的在中心的透鏡，對(duì)應(yīng)于透鏡陣列102的兩個(gè)外部透鏡的像素值被以0.5加權(quán)。通過(guò)在重構(gòu)處理時(shí)使用此結(jié)果，還可實(shí)現(xiàn)任意的中間景深。
[0143]隨后，將描述改變曝光的方法。如上所述，在生成重聚焦圖像時(shí)，通過(guò)將通過(guò)圖像拾取元件103獲得的像素值經(jīng)由對(duì)應(yīng)于像素的小透鏡投影到虛擬成像平面203上以將它們進(jìn)行組合，可生成其中虛擬成像平面203合焦的重聚焦圖像。通過(guò)在組合時(shí)將對(duì)應(yīng)于透鏡陣列102的透鏡的像素值和類(lèi)似校正值的系數(shù)分別相乘(應(yīng)用)，組合時(shí)的像素的亮度值可類(lèi)似于實(shí)施例1的圖像拾取設(shè)備那樣被控制。如果在整個(gè)圖像上像素值乘以相同校正值，則整個(gè)圖像的明亮度可改變。作為替代，通過(guò)僅特定像素(或多個(gè)像素)乘以校正值，僅該特定區(qū)域的明亮度可被改變。因而，通過(guò)乘以校正值，明亮度可如同曝光被實(shí)際改變那樣被改變。通過(guò)乘以校正值而確定的明亮度對(duì)應(yīng)于前文所述的虛擬曝光。
[0144]隨后，將描述上文提及的表達(dá)式(5)中的系數(shù)Q的值。在本實(shí)施例的圖像拾取設(shè)備(圖像拾取光學(xué)系統(tǒng))的情況中，透鏡陣列102被相對(duì)于成像光學(xué)系統(tǒng)101的相對(duì)于物體平面201的圖像側(cè)共軛平面202被設(shè)置在物體側(cè)。此外，圖像側(cè)共軛平面202和圖像拾取元件103被經(jīng)由透鏡陣列102設(shè)置為處于共軛關(guān)系。因此，圖像被減小為圖像拾取元件103上的原始圖像的。2/O1倍，并且被圖像拾取元件103上的像素采樣。因此，如以下表達(dá)式
(7)表示，系數(shù)Q等于σ2/0ι。此時(shí)，ΛΧρ由以下表達(dá)式(5b)表示。
[0145]Q= O2/O1...⑵
[0146]Δ Xp= ( σ J σ^Χ ( Δ Xi/sp)...(5b)
[0147][實(shí)施例3]
[0148]接下來(lái)，將描述本發(fā)明的實(shí)施例3。本實(shí)施例中的圖像拾取設(shè)備的基本配置與參照?qǐng)D18描述的實(shí)施例1的圖像拾取設(shè)備100的基本配置相同，因此其描述被省略。
[0149]首先，參照?qǐng)D15，將描述本實(shí)施例中的圖像拾取光學(xué)系統(tǒng)的配置。圖15是圖像拾取光學(xué)系統(tǒng)的示意性配置示圖。除了透鏡陣列102相對(duì)于圖像側(cè)共軛平面202設(shè)置在圖像側(cè)之外，本實(shí)施例的圖像拾取光學(xué)系統(tǒng)與實(shí)施例2的圖像拾取光學(xué)系統(tǒng)相同。與實(shí)施例2的圖像拾取設(shè)備(圖像拾取光學(xué)系統(tǒng))的不同之處在于透鏡陣列102將通過(guò)成像光學(xué)系統(tǒng)101形成的圖像看作真實(shí)物體，并且再次將其成像在圖像拾取元件103上。但是，實(shí)施例2 (圖14)和本實(shí)施例(圖15)的圖像拾取設(shè)備(圖像拾取光學(xué)系統(tǒng))基本相同，這是因?yàn)樵谶@兩者中，透鏡陣列102將通過(guò)成像光學(xué)系統(tǒng)101形成的圖像看作物體，并且在圖像拾取元件103上形成其圖像。因此，用于實(shí)施例2的圖像拾取設(shè)備(圖像拾取光學(xué)系統(tǒng))的重聚焦和景深調(diào)整的討論對(duì)于本實(shí)施例中的圖像拾取設(shè)備(圖像拾取光學(xué)系統(tǒng))也成立。
[0150]還關(guān)于改變曝光的方法，控制可被以與實(shí)施例2的圖像拾取設(shè)備(圖像拾取光學(xué)系統(tǒng))相同的方式被執(zhí)行，因此其描述被省略。表達(dá)式(5b)可應(yīng)用于表達(dá)式(5)中的系數(shù)Q的值。
[0151][實(shí)施例4]
[0152]接下來(lái)，將描述本發(fā)明的實(shí)施例4。圖21是本實(shí)施例中的圖像拾取設(shè)備IOOa的框圖。除了成像光學(xué)系統(tǒng)101、透鏡陣列102和圖像拾取元件103之外，圖像拾取設(shè)備IOOa的配置與圖18的圖像拾取設(shè)備100的配置相同。
[0153]圖25是本實(shí)施例的圖像拾取光學(xué)系統(tǒng)的示意性配置圖，其是當(dāng)從物體側(cè)觀(guān)看成像光學(xué)系統(tǒng)101時(shí)的示圖。在圖21中，來(lái)自物體空間(未示出)的光線(xiàn)入射到成像光學(xué)系統(tǒng)101上。如圖22所示，成像光學(xué)系統(tǒng)101包含具有正折光力的多個(gè)光學(xué)系統(tǒng)IOla到101g。在光學(xué)系統(tǒng)IOIb的光軸為旋轉(zhuǎn)軸的情況下成像光學(xué)系統(tǒng)101具有六重對(duì)稱(chēng)的配置。成像光學(xué)系統(tǒng)101的配置并不局限于此，光學(xué)系統(tǒng)的數(shù)量和配置可根據(jù)需要改變。圖像拾取元件103a至103g分別布置在光學(xué)系統(tǒng)IOla至IOlg的圖像側(cè)。在本實(shí)施例中，不必需包含多個(gè)圖像拾取元件103a至103g,但是如果單個(gè)圖像拾取元件可接收由光學(xué)系統(tǒng)IOla至IOlg形成的圖像，則圖像拾取光學(xué)系統(tǒng)可包括單個(gè)圖像拾取元件。因此，本實(shí)施例的圖像拾取設(shè)備可具有至少一個(gè)圖像拾取元件。
[0154]圖16是本實(shí)施例的圖像拾取光學(xué)系統(tǒng)的示意圖，其是包含光學(xué)系統(tǒng)IOla至IOlc的光軸的截面。被光學(xué)系統(tǒng)IOla至IOlc折射的光線(xiàn)分別被對(duì)應(yīng)的圖像拾取元件103a、103b和103c接收。當(dāng)從不同視點(diǎn)觀(guān)察物體空間時(shí)，通過(guò)圖像拾取元件103a、103b和103c獲得的多個(gè)圖像是視差圖 像。通過(guò)組合該多個(gè)圖像，可獲得物體空間中的角度信息和光的二維強(qiáng)度分布、即物體空間信息(光場(chǎng))。在本實(shí)施例中，多個(gè)視差圖像是輸入圖像。順便提及，在圖16所示的配置中，如果使用的圖像拾取元件的所有像素的數(shù)量相同，則與僅獲得光的二維強(qiáng)度分布的圖像拾取系統(tǒng)相比，分辨率降低。這是由于一些像素需要被專(zhuān)用于獲得物體空間信息的角度分量。
[0155]隨后，將描述本實(shí)施例中的生成重聚焦圖像的方法。圖23A和23B是描述重聚焦圖像的生成的示圖，其是圖16的配置的詳細(xì)示圖。圖23A和23B中的組合物體側(cè)主平面被定義為延伸通過(guò)光學(xué)系統(tǒng)IOla至IOlg的各物體側(cè)主點(diǎn)的平面。類(lèi)似地，組合圖像側(cè)主平面是延伸通過(guò)光學(xué)系統(tǒng)IOla至IOlg的各圖像側(cè)主點(diǎn)的平面。在圖21所示的圖像拾取設(shè)備IOOa中，成像光學(xué)系統(tǒng)101的物體側(cè)主平面和圖像側(cè)主平面分別由組合物體側(cè)主平面和組合圖像側(cè)主平面指示。在圖23A和23B中，各光學(xué)系統(tǒng)的視角由點(diǎn)虛線(xiàn)指示。
[0156]當(dāng)圖像側(cè)的焦點(diǎn)位置轉(zhuǎn)到虛擬成像平面203上時(shí)，通過(guò)圖像拾取元件103a至103g獲得的像素值可經(jīng)由對(duì)應(yīng)于圖像拾取元件103a至103g的光學(xué)系統(tǒng)IOla至IOlg投影到物體側(cè)重聚焦平面204上以被組合。物體側(cè)重聚焦平面204經(jīng)由光學(xué)系統(tǒng)IOla至IOlg與虛擬成像平面203共軛。通過(guò)移動(dòng)虛擬成像平面203，可生成其中聚焦于任意位置上的重聚焦圖像。
[0157]例如，為了生成圖16的其中聚焦于物體平面201上的圖像，虛擬成像平面203可被設(shè)定在圖像拾取元件103a至103g上。此時(shí)，物體平面201和物體側(cè)重聚焦平面204相互重合。在圖23A和23B中，為了易于理解，在生成重聚焦圖像中的投影像素由虛線(xiàn)指示，并且被示出為它們相互偏離，它們不相互重疊。重聚焦圖像的生成可由如下方法執(zhí)行，該方法以與投影像素的上述生成方法相同的方式平移像素以使得它們相互重疊，并且組合它們。此時(shí)，如果入射到像素上的光束通過(guò)其中的光學(xué)系統(tǒng)相同，則那些像素的平移量相同。因而，本實(shí)施例中的生成重聚焦圖像中的像素的操作是根據(jù)入射到像素上的光束通過(guò)其中的光學(xué)系統(tǒng)被確定的。
[0158]隨后，將描述調(diào)整景深的方法。在圖21所示的圖像拾取設(shè)備IOOa中，在光瞳區(qū)域被七個(gè)光學(xué)系統(tǒng)IOla至IOlg分割的情況下，對(duì)物體空間(未示出)上的同一位置進(jìn)行攝影。例如，在此情況中，通過(guò)使用全部七個(gè)光學(xué)系統(tǒng)IOla至IOlg執(zhí)行重構(gòu)處理，可生成圖像拾取設(shè)備IOOa的成像光學(xué)系統(tǒng)101中具有最淺景深的圖像。當(dāng)生成具有深景深的圖像時(shí)，可例如僅使用中心的一個(gè)光學(xué)系統(tǒng)IOlb來(lái)執(zhí)行重構(gòu),而不使用全部七個(gè)光學(xué)系統(tǒng)IOla至IOlgo結(jié)果，可僅使用通過(guò)成像光學(xué)系統(tǒng)101的光瞳的中心及其附近的光束來(lái)生成圖像，而不使用整個(gè)光瞳。因此，可獲得與通過(guò)縮小成像光學(xué)系統(tǒng)101的孔徑光闌產(chǎn)生的效果相同的效果。通過(guò)光學(xué)系統(tǒng)101的此選擇確定的虛擬F數(shù)對(duì)應(yīng)于上述步驟中描述的虛擬景深。這同樣應(yīng)用于離軸光束以及軸向光束。
[0159]還在圖21中所示的圖像拾取設(shè)備IOOa中，類(lèi)似于圖13中所示的圖像拾取設(shè)備100，通過(guò)改變對(duì)應(yīng)于要被使用的光學(xué)系統(tǒng)IOla至IOlg的像素的權(quán)重，可精細(xì)地調(diào)整景深。例如，通過(guò)原樣使用對(duì)應(yīng)于在中心的一個(gè)光學(xué)系統(tǒng)IOlb的像素，相對(duì)于在中心的光學(xué)系統(tǒng)101b，對(duì)應(yīng)于六個(gè)周邊光學(xué)系統(tǒng)IOlaUOlc至IOlg的像素值被以0.5加權(quán)。通過(guò)在重構(gòu)處理時(shí)使用此結(jié)果，可實(shí)現(xiàn)任意的中間景深。
[0160]隨后，將描述改變曝光的方法。如上所述，在生成重聚焦圖像時(shí)，經(jīng)由對(duì)應(yīng)于圖像拾取元件103a至103g的光學(xué)系統(tǒng)IOla至IOlg將通過(guò)圖像拾取元件103a至103g獲得的像素值投影到物體側(cè)重聚焦平面204上以進(jìn)行組合。結(jié)果，可生成其中虛擬成像平面203合焦的重聚焦圖像。通過(guò)在組合時(shí)將對(duì)應(yīng)于光學(xué)系統(tǒng)101的像素值和類(lèi)似于校正值的系數(shù)分別相乘(應(yīng)用)，組合時(shí)的像素的亮度值可如同實(shí)施例1的圖像拾取設(shè)備(圖像拾取光學(xué)系統(tǒng))那樣被控制。如果在整個(gè)圖像上像素值乘以相同校正值，則整個(gè)圖像的明亮度可改變。作為替代，通過(guò)僅特定像素(或多個(gè)像素)乘以校正值，僅該特定區(qū)域的明亮度可被改變。因而，通過(guò)乘以校正值，明亮度可如同曝光被實(shí)際改變那樣被改變。通過(guò)乘以校正值而確定的明亮度對(duì)應(yīng)于前文所述的虛擬曝光。
[0161]隨后，將描述表達(dá)式(5)中的系數(shù)Q的值。在實(shí)施例4的圖像拾取設(shè)備(圖像拾取光學(xué)系統(tǒng))的情況中，來(lái)自物體空間的光線(xiàn)入射到圖21中所示的成像光學(xué)系統(tǒng)101上。盡管在此配置中，成像光學(xué)系統(tǒng)的組合光瞳被分割以獲得物體空間信息，但是成像光學(xué)系統(tǒng)101和圖像拾取元件103彼此獨(dú)立地存在。因此，如同不獲得來(lái)自多個(gè)視點(diǎn)的物體空間信息的常規(guī)圖像拾取設(shè)備那樣，如以下表達(dá)式(8)所示，系數(shù)Q的值等于I。因此，ΛΧρ由以下表達(dá)式(5c)表示。
[0162]Q=I…(8)
[0163]Δ xρ=1 X ( Δ Xi/sp)...(5c)
[0164][實(shí)施例5]
[0165]接下來(lái)，將描述本發(fā)明的實(shí)施例5。本實(shí)施例描述了一種執(zhí)行上述各實(shí)施例中的圖像處理方法的圖像處理設(shè)備(圖像處理系統(tǒng))。圖17是本實(shí)施例中的圖像處理系統(tǒng)300的框圖。本實(shí)施例的圖像處理設(shè)備使用包括從多個(gè)視點(diǎn)圖像獲得的物體空間信息的輸入圖像信息生成輸出圖像。
[0166]如圖17所示，圖像處理系統(tǒng)300包括圖像拾取設(shè)備301。圖像拾取設(shè)備301包括具有圖13至16 (實(shí)施例1至4)的配置中任一個(gè)的圖像拾取光學(xué)系統(tǒng)。圖像處理設(shè)備302是執(zhí)行上述圖像重構(gòu)的計(jì)算機(jī)(信息處理設(shè)備)。圖像處理設(shè)備302包括存儲(chǔ)單元，其存儲(chǔ)通過(guò)圖像拾取設(shè)備301獲得的輸入圖像的拍攝條件信息。圖像處理設(shè)備302對(duì)于此輸入圖像執(zhí)行預(yù)定重構(gòu)處理，并且將處理結(jié)果(輸出圖像)輸出至輸出裝置305、顯示裝置304和記錄介質(zhì)303中的一個(gè)或多個(gè)。圖像處理設(shè)備302執(zhí)行圖24的步驟中的每一個(gè)。
[0167]記錄介質(zhì)303是例如半導(dǎo)體存儲(chǔ)器、硬盤(pán)、網(wǎng)絡(luò)服務(wù)器等等。輸出裝置305是例如打印機(jī)。顯示裝置304連接到圖像處理設(shè)備302，并且重構(gòu)圖像被輸入顯示裝置304。用戶(hù)可在確認(rèn)顯示裝置304上的重構(gòu)圖像的同時(shí)工作。圖像處理軟件306 (圖像處理程序)執(zhí)行上述重構(gòu)處理(圖像處理方法)，并且還根據(jù)需要執(zhí)行顯影處理或其它圖像處理。顯示裝置304是例如液晶顯示器、投影儀等。
[0168]本實(shí)施例通過(guò)執(zhí)行以下處理來(lái)實(shí)現(xiàn)。即，實(shí)現(xiàn)上述實(shí)施例中的功能的軟件(程序)被經(jīng)由網(wǎng)絡(luò)或者諸如CD-ROM的記錄介質(zhì)307提供給系統(tǒng)或設(shè)備。然后，系統(tǒng)或設(shè)備的計(jì)算機(jī)(或CPU、MPU等)讀出并且執(zhí)行圖像處理程序。
[0169]各實(shí)施例的圖像處理方法可包括以下的圖像獲得步驟、拍攝條件設(shè)定步驟和組合步驟。圖像獲得步驟是用于獲得包括分別在彼此不同的第一、第二和第三拍攝條件下被拍攝的第一圖像、第二圖像和第三圖像的輸入圖像的步驟。拍攝條件設(shè)定步驟是用于設(shè)定第一拍攝條件用于輸出圖像的第一區(qū)域以及設(shè)定第二拍攝條件用于輸出圖像的第二區(qū)域的步驟。組合步驟是用于組合對(duì)應(yīng)于第一區(qū)域的第一圖像、對(duì)應(yīng)于第二區(qū)域的第二圖像、以及對(duì)應(yīng)于第一區(qū)域和第二區(qū)域之間的第三區(qū)域的第三圖像的步驟，優(yōu)選地，第三圖像是通過(guò)設(shè)定第一和第二拍攝條件之間的第三拍攝條件而生成的。圖像獲得步驟由圖像獲得單元(圖像處理單元105)執(zhí)行，拍攝條件設(shè)定步驟由拍攝條件設(shè)定單元(區(qū)域分割單元105a)執(zhí)行，并且組合步驟由組合單元(重構(gòu)圖像生成單元105b)執(zhí)行
[0170]根據(jù)上述各實(shí)施例，能夠通過(guò)對(duì)于一個(gè)圖像中的多個(gè)區(qū)域應(yīng)用彼此不同的拍攝條件而生成重構(gòu)圖像的圖像處理設(shè)備、圖像拾取設(shè)備和圖像處理方法可被提供。結(jié)果，這使得能夠獨(dú)立控制背景模糊和景深，這例如當(dāng)物體是移動(dòng)物體時(shí)或者攝影師將物體拿在手中進(jìn)行攝影時(shí)尤其有效。
[0171]根據(jù)各實(shí)施例的圖像處理設(shè)備，在圖像中具有多個(gè)焦點(diǎn)位置的圖像可被容易地獲得。因此，在其應(yīng)用中，可獲得所謂的傾斜透鏡效應(yīng)，即虛擬成像平面位置從前向后(或反過(guò)來(lái))連續(xù)改變。當(dāng)將虛擬成像平面位置連續(xù)改變?yōu)閺澢砻嫘螤罨蜃杂尚问奖砻嫘螤顣r(shí)，可期望常規(guī)平面圖像拾取元件不能實(shí)現(xiàn)的照相機(jī)效果。
[0172]雖然已參照示例性實(shí)施例描述了本發(fā)明，但應(yīng)理解，本發(fā)明不限于公開(kāi)的示例性實(shí)施例。以下的權(quán)利要求的范圍應(yīng)被賦予最寬的解釋以包含所有這樣的變更方式以及等同的結(jié)構(gòu)和功能。
【權(quán)利要求】
1.一種圖像處理設(shè)備，所述圖像處理設(shè)備使用包括物體空間信息的輸入圖像生成輸出圖像，所述圖像處理設(shè)備包括: 區(qū)域分割單元，被配置用于將輸入圖像分割成第一區(qū)域和第二區(qū)域；以及重構(gòu)圖像生成單元，被配置用于重構(gòu)輸入圖像以生成輸出圖像，重構(gòu)圖像生成單元對(duì)于第一區(qū)域和第二區(qū)域分別應(yīng)用彼此不同的拍攝條件。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，所述區(qū)域分割單元包含: 邊界確定單元，被配置用于確定用于將輸入圖像分割成第一區(qū)域和第二區(qū)域的邊界； 拍攝條件確定單元，被配置用于確定用于第一區(qū)域和第二區(qū)域中的每一個(gè)的拍攝條件； 邊界處理范圍確定單元，被配置用于確定第一區(qū)域和第二區(qū)域之間的邊界處理范圍；以及 邊界處理單元，被配置用于對(duì)于所述邊界處理范圍執(zhí)行邊界處理以便減小由彼此不同的拍攝條件生成的第一區(qū)域和第二區(qū)域之間的差別。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其特征在于，所述邊界處理范圍確定單元基于用于第一區(qū)域和第二區(qū)域之一的拍攝條件計(jì)算對(duì)應(yīng)于物體圖像改變前后之間的視差的模糊的擴(kuò)散量，并且基于模糊的擴(kuò)散量確定邊界處理范圍。
4.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其特征在于，所述邊界處理單元將通過(guò)所述邊界處理范圍彼此相鄰的第一區(qū)域和第二區(qū)域的拍攝條件之間的拍攝條件應(yīng)用于所述邊界處理范圍以便執(zhí)行邊界處理。
5.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，拍攝條件是虛擬景深。
6.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，拍攝條件是虛擬成像平面位置。
7.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，拍攝條件是虛擬曝光。
8.一種圖像拾取設(shè)備，包括: 成像光學(xué)系統(tǒng)； 圖像拾取元件，包括多個(gè)像素； 透鏡陣列，被配置為使得來(lái)自物體平面的同一位置的光線(xiàn)根據(jù)所述光線(xiàn)通過(guò)的成像光學(xué)系統(tǒng)的光瞳區(qū)域入射到圖像拾取元件的不同像素上； 區(qū)域分割單元，被配置用于將輸入圖像分割成第一區(qū)域和第二區(qū)域；以及重構(gòu)圖像生成單元，被配置用于重構(gòu)輸入圖像以生成輸出圖像，重構(gòu)圖像生成單元對(duì)于第一區(qū)域和第二區(qū)域分別應(yīng)用彼此不同的拍攝條件， 其特征在于，所述透鏡陣列被設(shè)置在成像光學(xué)系統(tǒng)的相對(duì)于所述物體平面的圖像側(cè)共軛平面中。
9.一種圖像拾取設(shè)備，所述圖像拾取設(shè)備使用包括物體空間信息的輸入圖像生成輸出圖像，所述圖像拾取設(shè)備包括: 成像光學(xué)系統(tǒng)； 圖像拾取元件，包括多個(gè)像素； 透鏡陣列，被配置為使得來(lái)自物體平面的同一位置的光線(xiàn)根據(jù)所述光線(xiàn)通過(guò)的成像光學(xué)系統(tǒng)的光瞳區(qū)域入射到圖像拾取元件的不同像素上；以及根據(jù)權(quán)利要求1-7中任一個(gè)所述的圖像處理設(shè)備，其特征在于，所述透鏡陣列被設(shè)置在成像光學(xué)系統(tǒng)的相對(duì)于所述物體平面的圖像側(cè)共軛平面中。
10.一種圖像拾取設(shè)備，所述圖像拾取設(shè)備使用包括物體空間信息的輸入圖像生成輸出圖像，所述圖像拾取設(shè)備包括: 成像光學(xué)系統(tǒng)； 圖像拾取元件，包括多個(gè)像素； 透鏡陣列，被配置為使得來(lái)自物體平面的同一位置的光線(xiàn)根據(jù)所述光線(xiàn)通過(guò)的成像光學(xué)系統(tǒng)的光瞳區(qū)域入射到圖像拾取元件的不同像素上；以及根據(jù)權(quán)利要求1-7中任一個(gè)所述的圖像處理設(shè)備， 其特征在于，所述透鏡陣列被設(shè)置為使得圖像拾取元件與成像光學(xué)系統(tǒng)的相對(duì)于所述物體平面的圖像側(cè)共軛平面共軛。
11.一種圖像拾取設(shè)備，所述圖像拾取設(shè)備使用包括物體空間信息的輸入圖像生成輸出圖像，所述圖像拾取設(shè)備包括: 成像光學(xué)系統(tǒng)，包括具有正折光力的多個(gè)光學(xué)系統(tǒng)； 包括多個(gè)像素的至少一個(gè)圖像拾取元件；以及 根據(jù)權(quán)利要求1-7中任 一項(xiàng)所述的圖像處理設(shè)備， 其特征在于， 所述多個(gè)光學(xué)系統(tǒng)被排列為使得來(lái)自物體平面的同一位置的光線(xiàn)根據(jù)所述光線(xiàn)通過(guò)的成像光學(xué)系統(tǒng)的光瞳區(qū)域入射到圖像拾取元件的不同像素上，并且 所述成像光學(xué)系統(tǒng)的光瞳是通過(guò)組合所述多個(gè)光學(xué)系統(tǒng)的光瞳而獲得的組合光瞳。
12.—種圖像處理方法，所述圖像處理方法使用包括物體空間信息的輸入圖像生成輸出圖像，所述圖像處理方法包括以下步驟: 將輸入圖像分割成第一區(qū)域和第二區(qū)域；以及 重構(gòu)輸入圖像以生成輸出圖像，所述輸入圖像是通過(guò)對(duì)于第一區(qū)域和第二區(qū)域分別應(yīng)用彼此不同的拍攝條件而被重構(gòu)的。
13.根據(jù)權(quán)利要求12所述的圖像處理方法，其特征在于，將輸入圖像分割成第一區(qū)域和第二區(qū)域的步驟包括以下步驟: 確定用于將輸入圖像分割成第一區(qū)域和第二區(qū)域的邊界； 確定用于第一區(qū)域和第二區(qū)域中的每一個(gè)的拍攝條件； 確定第一區(qū)域和第二區(qū)域之間的邊界處理范圍；以及 對(duì)于邊界處理范圍執(zhí)行邊界處理以便減小由彼此不同的拍攝條件生成的第一區(qū)域和第二區(qū)域之間的差別。
14.一種圖像處理方法，包括: 圖像獲得步驟，用于獲得包含以彼此不同的第一拍攝條件、第二拍攝條件和第三拍攝條件拍攝的第一圖像、第二圖像和第三圖像的輸入圖像， 拍攝條件設(shè)定步驟，用于設(shè)定第一拍攝條件用于輸出圖像的第一區(qū)域和設(shè)定第二拍攝條件用于輸出圖像的第二區(qū)域，以及 組合步驟，用于組合對(duì)應(yīng)于第一區(qū)域的第一圖像、對(duì)應(yīng)于第二區(qū)域的第二圖像以及對(duì)應(yīng)于輸出圖像的第一區(qū)域和第二區(qū)域之間的第三區(qū)域的第三圖像。
15.根據(jù)權(quán)利要求14所述的圖像處理方法，其中，該第三拍攝條件在第一拍攝條件和第二拍攝條件之間。
16.一種圖像處理設(shè)備，包括: 圖像獲得單元，被配置用于獲得包含以彼此不同的第一拍攝條件、第二拍攝條件和第三拍攝條件拍攝的第一圖像、第二圖像和第三圖像的輸入圖像， 拍攝條件設(shè)定單元，被配置用于設(shè)定第一拍攝條件用于輸出圖像的第一區(qū)域和設(shè)定第二拍攝條件用于輸出圖像的第二區(qū)域，以及 組合單元，被配置用于組合對(duì)應(yīng)于第一區(qū)域的第一圖像、對(duì)應(yīng)于第二區(qū)域的第二圖像以及對(duì)應(yīng)于輸出圖像的第一區(qū)域和第二區(qū)域之間的第三區(qū)域的第三圖像。
17.根據(jù)權(quán)利要求16所述的圖像處理設(shè)備，其中，該第三拍攝條件在第一拍攝條件和第二拍攝條件之 間。
【文檔編號(hào)】H04N5/235GK103997599SQ201410050633
【公開(kāi)日】2014年8月20日 申請(qǐng)日期:2014年2月14日 優(yōu)先權(quán)日:2013年2月14日
【發(fā)明者】江口薫, 畠山弘至, 日淺法人 申請(qǐng)人:佳能株式會(huì)社