專(zhuān)利名稱(chēng)：用于合成三維圖像的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本公開(kāi)通常涉及計(jì)算機(jī)圖形處理和顯示系統(tǒng)，更具體地涉及用于合成三
維(3D)圖像的系統(tǒng)和方法。
背景技術(shù)：
立體成像是將從場(chǎng)景中的稍微不同的視點(diǎn)采集的至少兩個(gè)圖像視覺(jué)組 合、以產(chǎn)生三維景深(depth)的假象(illusion)的處理。該技術(shù)依賴(lài)于兩只 人眼間距一段距離、因此并不觀(guān)看到完全相同的場(chǎng)景的事實(shí)。通過(guò)為每只眼 提供來(lái)自不同視角(perspective )的圖像，使觀(guān)看者的眼睛錯(cuò)覺(jué)為感覺(jué)到景深。 典型地，在提供兩個(gè)不同的視角的情況下，各分量圖像分別被稱(chēng)為"左"和 "右"圖像，也稱(chēng)為參考圖像和補(bǔ)充圖像。然而，本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到， 可組合多于兩個(gè)的視點(diǎn)以形成立體圖像。
可使用各種技術(shù)通過(guò)計(jì)算機(jī)產(chǎn)生立體圖像。例如，"立體圖(anaglyph)" 方法使用色彩來(lái)對(duì)立體圖像的左分量和右分量進(jìn)行編碼。之后，觀(guān)看者佩戴 一副特殊的眼鏡，該眼鏡進(jìn)行濾光，使得每只眼只感覺(jué)到一個(gè)視圖。
類(lèi)似地，頁(yè)面切換(page-flipped)立體成像是用于在圖像的右視圖和左 視圖之間快速切換顯示的技術(shù)。同樣，觀(guān)看者佩戴一副特殊的眼鏡，該眼鏡包 含典型地由液晶材料制造的高速電子快門(mén)，該高速電子快門(mén)與顯示器上的圖像 同步地打開(kāi)和關(guān)閉。如在立體圖的情況下一樣，每只眼只感覺(jué)到一個(gè)分量圖像。
最近已經(jīng)開(kāi)發(fā)了不需要特殊眼鏡或頭盔的其他立體成像技術(shù)。例如，晶 狀體(lenticular)成像將兩個(gè)或更多完全不同的圖像視圖分割為薄片，然后 將薄片交織以形成單個(gè)圖像。經(jīng)交織的圖像然后定位到晶狀體透鏡之后，該 晶狀體透鏡對(duì)完全不同的的視圖進(jìn)行重構(gòu)，使得每只眼感覺(jué)到不同的視圖。 一些晶狀體顯示通過(guò)定位在如通常在膝上型計(jì)算機(jī)上看到的傳統(tǒng)的LCD顯 示器之上的晶狀體透鏡實(shí)現(xiàn)。
與上述技術(shù)相關(guān)的應(yīng)用是對(duì)于3D圖像(例如，立體圖像)的VFX合成。 當(dāng)前，諸如Apple Shake 和Autodesk Combustion 之類(lèi)的現(xiàn)有的合成軟件用于該處理。然而，這些軟件系統(tǒng)在合成和呈現(xiàn)期間獨(dú)立地處理立體圖像對(duì) 中的左眼圖像和右眼圖像。
因此，當(dāng)前對(duì)立體圖像進(jìn)行VFX合成的處理是反復(fù)試驗(yàn)操作，其缺乏操 作者用于確定對(duì)于正確地呈現(xiàn)左右圖像的適當(dāng)?shù)南鄼C(jī)位置、光線(xiàn)模型等的系 統(tǒng)方式。這樣的反復(fù)試驗(yàn)處理可能導(dǎo)致不精確的對(duì)象景深估計(jì)和效率低的合 成工作流。
此外，這些軟件系統(tǒng)不允許操作者修改對(duì)于呈現(xiàn)的立體圖像的特定設(shè)置，
如兩眼間距離。不適當(dāng)?shù)膬裳坶g距離可能導(dǎo)致不斷地改變3D運(yùn)動(dòng)畫(huà)面中的 會(huì)聚平面，這引起觀(guān)眾的視覺(jué)疲勞。

發(fā)明內(nèi)容
一種用于合成3D圖像的系統(tǒng)和方法，其將具有3D性質(zhì)的兩個(gè)或更多圖 像的各部分或至少一部分進(jìn)行組合以創(chuàng)建3D圖像。本公開(kāi)的系統(tǒng)和方法獲 取兩個(gè)或更多輸入圖像。系統(tǒng)的輸入可以是具有左右眼視圖的立體圖像對(duì)、 具有與視圖相對(duì)應(yīng)的景深圖的單眼圖像、用于計(jì)算機(jī)圖形(CG)對(duì)象的3D 模型、2D前景和/或背景板(plate )、以及這些的組合等等。該系統(tǒng)和方法然 后獲得或提取所獲取的圖像的相關(guān)元數(shù)據(jù)，如照明、幾何形狀和對(duì)象信息。 響應(yīng)于來(lái)自操作者的輸入，該系統(tǒng)和方法對(duì)每個(gè)所獲取的圖像選擇或修改諸 如照明、幾何形狀和對(duì)象之類(lèi)的圖像數(shù)據(jù)。用于合成3D圖像的系統(tǒng)和方法 然后將所選擇的或修改的圖像數(shù)據(jù)映射到相同的坐標(biāo)系，并且基于由操作者 提供的方向和設(shè)置將圖像數(shù)據(jù)組合為單個(gè)3D圖像。此時(shí)，操作者可以判斷 是否修改設(shè)置或?qū)⒔M合的3D圖像呈現(xiàn)為期望的格式(例如，立體圖像對(duì))。 該系統(tǒng)和方法可以將所呈現(xiàn)的輸出與相關(guān)元數(shù)據(jù)(例如，立體圖像對(duì)的兩眼 間距離)相關(guān)聯(lián)。
根據(jù)本公開(kāi)的一方面， 一種用于合成三維(3D)圖像的方法，包括獲 得至少兩個(gè)三維(3D)圖像；得到與所述至少兩個(gè)3D圖像有關(guān)的元數(shù)據(jù)； 將所述至少兩個(gè)3D圖像的元數(shù)據(jù)映射到單個(gè)3D坐標(biāo)系中；以及將所述至少 兩個(gè)3D圖像中的每個(gè)3D圖像的部分合成為單個(gè)3D圖像。所述元數(shù)據(jù)包括 但不限于照明信息、幾何形狀信息、對(duì)象信息和它們的組合。
在另一方面中，所述方法還包括以預(yù)定格式呈現(xiàn)所述單個(gè)3D圖像。 在另一方面中，所述方法還包括將輸出元數(shù)據(jù)與所呈現(xiàn)的3D圖像相關(guān)聯(lián)。
根據(jù)本公開(kāi)的另一方面，提供了一種用于合成三維(3D)圖像的系統(tǒng)。 該系統(tǒng)包括用于獲取至少兩個(gè)三維(3D)圖像的裝置；被配置為用于得到 與所述至少兩個(gè)3D圖像有關(guān)的元數(shù)據(jù)的提取器；被配置為用于將所述至少 兩個(gè)3D圖像的元數(shù)據(jù)映射到單個(gè)三維坐標(biāo)系中的坐標(biāo)映射器；以及被配置 為用于將所述至少兩個(gè)3D圖像中的每個(gè)3D圖像的部分合成為單個(gè)3D圖像 的合成器。
在一個(gè)方面中，所述系統(tǒng)包括被配置為修改元數(shù)據(jù)的至少一個(gè)屬性的色 彩校正器。
在另一方面中，所述提取器還包括光提取器，被配置為用于確定至少兩 個(gè)3D圖像的光環(huán)境。
在另一方面中，所述提取器還包括幾何形狀提取器，被配置為用于確定 至少兩個(gè)3D圖像中的場(chǎng)景或?qū)ο蟮膸缀涡螤睢?br> 根據(jù)另一方面，提供了一種可由機(jī)器讀取的程序存儲(chǔ)設(shè)備，其有形地體 現(xiàn)可由機(jī)器執(zhí)行的指令的程序，該程序用于執(zhí)行用于合成三維(3D)圖像的 方法步驟，所述方法包括獲得至少兩個(gè)三維(3D)圖像；得到與所述至少 兩個(gè)3D圖像有關(guān)的元數(shù)據(jù)；將所述至少兩個(gè)3D圖像的元數(shù)據(jù)映射到單個(gè)3D 坐標(biāo)系中；將所述至少兩個(gè)3D圖像中的每個(gè)3D圖像的部分合成為單個(gè)3D 圖像；以及以預(yù)定格式呈現(xiàn)單個(gè)3D圖像。


根據(jù)結(jié)合附圖閱讀優(yōu)選實(shí)施例的下述詳細(xì)描述，本公開(kāi)的這些和其他方
面、特性和優(yōu)點(diǎn)將被描述或變得顯而易見(jiàn)。
在附圖中，遍及各圖相似的參考標(biāo)號(hào)表示相似的元件
圖l是根據(jù)本公開(kāi)一方面、用于將至少兩個(gè)三維(3D)圖像合成為單個(gè)
3D圖像的系統(tǒng)的示意性圖示。
圖2是根據(jù)本公開(kāi)一方面、用于將至少兩個(gè)三維(3D)圖像合成為單個(gè)
3D圖像的示例性方法的流程圖；以及
圖3圖示根據(jù)本公開(kāi)一方面、將兩個(gè)三維圖像映射到單個(gè)3D坐標(biāo)系。 應(yīng)當(dāng)理解，附圖用于圖示本公開(kāi)的構(gòu)思的目的，并且不一定是用于圖示
本公開(kāi)的唯一可能的配置。
具體實(shí)施例方式
應(yīng)當(dāng)理解，附圖中所示的元件可以以硬件、軟件或其組合的各種形式實(shí) 現(xiàn)。優(yōu)選地，這些元件以硬件和軟件的組合在一個(gè)或多個(gè)適當(dāng)編程的通用設(shè) 備上實(shí)現(xiàn)，該通用設(shè)備可包括處理器、存儲(chǔ)器和輸入/輸出接口。
本描述例示本^^開(kāi)的原理。因此應(yīng)理解本領(lǐng)域技術(shù)人員將能夠設(shè)計(jì)出雖 然未在這里明確描述或示出、但是體現(xiàn)本公開(kāi)的原理并且包括在本公開(kāi)的精 神和范圍內(nèi)的各種布置。
這里所敘述的所有例子和條件語(yǔ)句意在教學(xué)目的，以幫助讀者理解由發(fā) 明人貢獻(xiàn)以促進(jìn)本領(lǐng)域技術(shù)的本公開(kāi)的原理和構(gòu)思，并被解釋為不限制為這 樣具體敘述的例子和條件。
此外，這里敘述本公開(kāi)的原理、方面、以及實(shí)施例的所有陳述、以及本 公開(kāi)的具體例子意在包含本公開(kāi)的結(jié)構(gòu)的和功能的等價(jià)物。另外，意在這樣 的等價(jià)物包括當(dāng)前已知的等價(jià)物以及將來(lái)發(fā)展的等價(jià)物，即，無(wú)論結(jié)構(gòu)如何、 執(zhí)行相同功能的所開(kāi)發(fā)的任何元件。
因此，例如，本領(lǐng)域技術(shù)人員將理解這里呈現(xiàn)的框圖表示體現(xiàn)本公開(kāi) 的原理的示例電路的概念性視圖。類(lèi)似地，將理解任何流程圖示、流程圖、 狀態(tài)轉(zhuǎn)換圖、偽代碼等等表示各種處理，所述各種處理可以基本上在計(jì)算機(jī) 可讀介質(zhì)中表示，并因此由計(jì)算機(jī)或處理器執(zhí)行，無(wú)論這樣的計(jì)算機(jī)或處理 器是否被明確示出。
附圖中所示的各種元件的功能可以通過(guò)使用專(zhuān)用硬件以及能夠與適合的 軟件相關(guān)聯(lián)而執(zhí)行軟件的硬件來(lái)提供。當(dāng)由處理器提供時(shí)，所述功能可以由 單個(gè)專(zhuān)用處理器、單個(gè)共享處理器、或其中一些可以被共享的多個(gè)獨(dú)立處理 器提供。此外，術(shù)語(yǔ)"處理器"或"控制器"的明確使用不應(yīng)被解釋為唯一地代 表能夠執(zhí)行軟件的硬件，其也可以隱含地、不受限制地包括數(shù)字信號(hào)處理器
("DSP，，)硬件、用于存儲(chǔ)軟件的只讀存儲(chǔ)器("ROM")、隨機(jī)存取存儲(chǔ)器
("RAM")、以及非易失性存儲(chǔ)裝置。
也可以包括其它的傳統(tǒng)的和/或定制的硬件。類(lèi)似地，附圖中所示的任何 開(kāi)關(guān)只是概念性的。它們的功能可以通過(guò)程序邏輯的操作、通過(guò)專(zhuān)用邏輯、 通過(guò)程序控制和專(zhuān)用邏輯間的交互作用、或甚至手動(dòng)地執(zhí)行，具體技術(shù)可由 實(shí)施者選擇，如從上下文中被更具體地理解的。
7在本權(quán)利要求書(shū)中，表示為執(zhí)行指定功能的部件的任何元件意在包含執(zhí)
行該功能的任何手段，所述手段包括例如，a)執(zhí)行該功能的電路元件的組 合，或者b)任何形式的軟件，因此包括與用于執(zhí)行該軟件以執(zhí)行該功能的 適當(dāng)電路組合的固件、微代碼等。由這樣的權(quán)利要求定義的本公開(kāi)存在于這 樣的事實(shí)由各種所敘述的部件提供的功能以權(quán)利要求所要求保護(hù)的方式被 組合和集合到一起。因此，將認(rèn)為，可提供這些功能的任何部件與這里所示 出的部件等效。
合成是在運(yùn)動(dòng)畫(huà)面產(chǎn)生中廣泛使用的標(biāo)準(zhǔn)處理，其用于將來(lái)自不同源的 多個(gè)圖像組合為一個(gè)圖像，以便實(shí)現(xiàn)一定的視覺(jué)效果。傳統(tǒng)的合成工作流為 處理2D運(yùn)動(dòng)畫(huà)面而開(kāi)發(fā)，對(duì)于處理3D運(yùn)動(dòng)畫(huà)面(例如，3D立體運(yùn)動(dòng)畫(huà)面) 沒(méi)有進(jìn)行優(yōu)化。
本公開(kāi)解決了將具有3D性質(zhì)的兩個(gè)或更多圖像的各部分或至少一部分組 合為新的單個(gè)3D圖像的問(wèn)題。本公開(kāi)提供了可以將具有三維(3D)性質(zhì)的兩 個(gè)或更多圖像中的每個(gè)圖像的至少一部分組合為新的3D圖像的系統(tǒng)和方法。 支持范圍廣泛的3D圖像，包括但不限于立體圖像對(duì)、具有景深圖的2D圖像、 用于CG對(duì)象的3D模型、前景和/或背景板等。此外，該系統(tǒng)和方法可獲取、 提取和輸出關(guān)于合成處理的相關(guān)元數(shù)據(jù)。該系統(tǒng)和方法允許包括或排除特定平 面中的對(duì)象(剪輯)并允許基于由操作者指定的指令來(lái)混合對(duì)象。
系統(tǒng)的輸入可以是具有左眼視圖和右眼視圖的立體圖像對(duì)、具有與視圖 對(duì)應(yīng)的景深圖的單眼圖像、用于計(jì)算機(jī)圖形對(duì)象的3D模型、2D前景和/或背 景板、和這些的組合等等。系統(tǒng)的輸出可以是左眼視圖和右眼視圖的立體圖 像對(duì)、或呈現(xiàn)和合成由操作者指定的輸入圖像的組合的任何其他類(lèi)型的3D 圖像。輸入和輸出圖像都可以與諸如假設(shè)的兩眼間距離和立體圖像對(duì)的照明 模型等等之類(lèi)的相關(guān)元數(shù)據(jù)相關(guān)聯(lián)。此外，輸出元數(shù)據(jù)可用于便利其他應(yīng)用 的附加處理(例如，改變兩眼間距離)。
該系統(tǒng)和方法可采用諸如色彩校正器和光模型發(fā)生器之類(lèi)的傳統(tǒng)VFX 工具。當(dāng)輸入圖像不包括照明模型或足夠詳細(xì)的幾何形狀信息時(shí)，需要上述 VFX工具。該系統(tǒng)和方法還提供來(lái)合并和修改照明模型以及輸入圖像的3D 幾何形狀。可以基于由操作者選擇或指定的指令來(lái)合并或修改這些模型。
現(xiàn)在參照附圖，圖1中示出根據(jù)本公開(kāi)實(shí)施例的示例性系統(tǒng)組件。提供 掃描設(shè)備103以用于將例如相機(jī)原片負(fù)片(camera-original film negative )的膠片印片(film print) 104掃描為數(shù)字格式，例如Cineon格式或SMPTE DPX 文件。掃描設(shè)備103可包括例如電視電影或?qū)哪z片產(chǎn)生視頻輸出的任何設(shè) 備，如例如具有視頻輸出的Arri LocProTM?；蛘?，可直接使用來(lái)自后生產(chǎn)處 理或數(shù)字相機(jī)106的文件(例如，已經(jīng)為計(jì)算機(jī)可讀形式的文件)。計(jì)算機(jī)可 讀文件的潛在來(lái)源包括但不限于AVIDTM編輯器、DPX文件、D5磁帶等。
掃描的膠片印片輸入到后處理設(shè)備102，例如計(jì)算機(jī)。計(jì)算機(jī)在各種已 知計(jì)算機(jī)平臺(tái)中的任何計(jì)算機(jī)平臺(tái)上實(shí)現(xiàn)，該計(jì)算機(jī)平臺(tái)具有諸如下述的硬 件 一個(gè)或多個(gè)中央處理單元(CPU);存儲(chǔ)器110,如隨機(jī)存取存儲(chǔ)器(RAM) 和/或只讀存儲(chǔ)器(ROM);以及一個(gè)或多個(gè)輸入/輸出(I/O)用戶(hù)接口 112， 如鍵盤(pán)、光標(biāo)控制設(shè)備(例如，鼠標(biāo)或操縱桿)和顯示設(shè)備。計(jì)算機(jī)平臺(tái)還 包括操作系統(tǒng)和微指令代碼。這里描述的各種處理和功能可以是微指令代碼 的一部分或經(jīng)由操作系統(tǒng)執(zhí)行的軟件應(yīng)用程序的一部分(或其組合)。此外， 各種其他外設(shè)可通過(guò)諸如并行端口、串行端口或通用串行總線(xiàn)(USB)之類(lèi) 的各種接口和總線(xiàn)結(jié)構(gòu)連接到計(jì)算機(jī)平臺(tái)。其他外設(shè)可包括附加存儲(chǔ)設(shè)備124 和打印機(jī)128。打印機(jī)128可以用來(lái)打印膠片126的修改版本，例如膠片的 立體版本，其中可能已經(jīng)使用作為下述技術(shù)的結(jié)果的3D建模的對(duì)象來(lái)更改
或替代一個(gè)場(chǎng)景或多個(gè)場(chǎng)景。
或者，已經(jīng)是計(jì)算機(jī)可讀形式的文件/膠片印片106(例如，數(shù)字電影， 其例如可存儲(chǔ)在外部硬盤(pán)驅(qū)動(dòng)器124上)可直接輸入到計(jì)算機(jī)102中。注意 到，這里使用的術(shù)語(yǔ)"膠片"可指膠片印片或數(shù)字電影。
軟件程序包括在存儲(chǔ)器110中存儲(chǔ)的三維(3D)合成器模塊114，用于 將至少兩個(gè)3D圖像的至少一部分組合為單個(gè)3D圖像。3D合成器模塊114 包括光提取器116,用于預(yù)測(cè)要放置在場(chǎng)景中的對(duì)象的光環(huán)境。光提取器116 可與多個(gè)光模型交互以確定光環(huán)境。3D幾何形狀檢測(cè)器118被提供來(lái)提取幾 何形狀信息并識(shí)別3D圖像中的對(duì)象。3D幾何形狀檢測(cè)器118或者通過(guò)經(jīng)圖 像編輯軟件手動(dòng)地畫(huà)出包含對(duì)象的圖像區(qū)域的輪廓，或者通過(guò)用自動(dòng)檢測(cè)算 法隔離包含對(duì)象的圖像區(qū)域，來(lái)識(shí)別對(duì)象。色彩校正器119被提供來(lái)更改圖 像或圖像的一部分的色彩、亮度、對(duì)比度、色溫等。由色彩校正器119實(shí)現(xiàn) 的色彩校正功能包括但不限于區(qū)域選擇、色彩分級(jí)、散焦、關(guān)鍵通道和消光 (key channel and matting )、仂口瑪控制、正確度(rightness )和對(duì)比度等等。
3D合成器模塊114還包括坐標(biāo)映射器120,用于將對(duì)象從3D對(duì)象庫(kù)117或從輸入圖像映射到單個(gè)坐標(biāo)系。呈現(xiàn)器122被提供來(lái)用由光提取器116產(chǎn)
生的光信息等等呈現(xiàn)場(chǎng)景中的對(duì)象。呈現(xiàn)器在本領(lǐng)域已知，并且包括而不限
于LightWave 3D、熵和混合器(Entropy and Blender )。
圖2是根據(jù)本公開(kāi)一方面、用于將至少兩個(gè)3D圖像的各部分或一部分合 成為單個(gè)3D圖像的示例性方法的流程圖。最初，在步驟202，后處理設(shè)備102 獲取至少兩個(gè)三維(3D)圖像，例如具有左眼視圖和右目艮視圖的立體圖像對(duì)、 具有與視圖對(duì)應(yīng)的景深圖的單眼圖像、用于計(jì)算機(jī)圖形(CG)對(duì)象的3D模型、 2D前景和/或背景板、以及這些的組合等等。后處理設(shè)備102可通過(guò)得到計(jì)算 機(jī)可讀格式的數(shù)字主圖像文件來(lái)獲得至少兩個(gè)3D圖像。數(shù)字視頻文件可通過(guò) 用數(shù)字相機(jī)捕獲運(yùn)動(dòng)圖像的時(shí)間序列來(lái)獲得?；蛘?，視頻序列可通過(guò)傳統(tǒng)的膠 片類(lèi)型的相機(jī)捕獲。在此情況下，膠片經(jīng)由掃描設(shè)備103掃描。
應(yīng)當(dāng)認(rèn)識(shí)到，無(wú)論膠片被掃描還是已經(jīng)是數(shù)字格式，膠片的數(shù)字文件都 將包括關(guān)于幀的位置的指示或信息，例如幀號(hào)、從膠片開(kāi)始起的時(shí)間等等。 數(shù)字圖像文件的每幀將包括一個(gè)圖像，例如，11,12, ...ln。
一旦獲得數(shù)字文件，就可獲取兩個(gè)或更多輸入圖像。諸如光線(xiàn)、幾何形 狀和對(duì)象信息之類(lèi)的相關(guān)元數(shù)據(jù)也可按需要輸入到系統(tǒng)或由系統(tǒng)提取。下一 步驟是操作者按需要選擇或修改每個(gè)輸入圖像的諸如照明、幾何形狀、對(duì)象 等等之類(lèi)的元數(shù)據(jù)的屬性。輸入然后映射到相同坐標(biāo)系，并且基于來(lái)自操作 者的指導(dǎo)和設(shè)置將該輸入組合為單個(gè)3D圖像。此時(shí)，操作者可判斷修改設(shè) 置還是以期望的格式(例如，立體圖像對(duì))呈現(xiàn)并合成組合的3D圖像。呈 現(xiàn)的輸出可與相關(guān)元數(shù)據(jù)(例如，立體圖像對(duì)的兩眼間距離)相關(guān)聯(lián)。
參照?qǐng)D2，在步驟202和204中輸入至少兩個(gè)3D圖像。作為3D圖像合 成器的輸入，支持范圍廣泛的3D圖像。例如，具有左眼視圖和右眼視圖的 立體圖像對(duì)、具有與視圖對(duì)應(yīng)的景深圖的單眼圖像、用于計(jì)算機(jī)圖形對(duì)象的 3D模型、2D前景或背景板、以及這些的組合可以是該系統(tǒng)的輸入。
接下來(lái)，在步驟206和208，系統(tǒng)將獲得輸入圖像的照明、幾何形狀、 對(duì)象和其他信息。所有輸入圖像可以被獲取相關(guān)元數(shù)據(jù)123，如相機(jī)距離和 立體圖像對(duì)的照明模型等等。獲取意味著按需要接受為輸入圖像并處理。例 如，輸入兩個(gè)立體圖像并從中提取景深圖。如果用于合成的必要元數(shù)據(jù)不可 用，則系統(tǒng)可以使用如上關(guān)于圖1描述的模塊，以半自動(dòng)或自動(dòng)方式從輸入 圖像中提取元數(shù)據(jù)。例如，光提取器116將確定場(chǎng)景的照明環(huán)境，并預(yù)測(cè)在場(chǎng)景中的特定點(diǎn)處的光信息，例如，輻射率。此外，幾何形狀提取器118將 從圖像中提取輸入圖像的場(chǎng)景或各部分的幾何形狀以及其他相關(guān)元數(shù)據(jù)，如 相機(jī)參數(shù)、景深圖等。此外，可由操作者手動(dòng)輸入元數(shù)據(jù)，例如與特定圖像 相關(guān)產(chǎn)生的照明模型可以與該圖像相關(guān)聯(lián)?？蓮耐獠吭传@得或接收元數(shù)據(jù)， 例如可通過(guò)諸如例如激光掃描儀或其他設(shè)備之類(lèi)的幾何形狀捕獲設(shè)備獲得
3D幾何形狀，并將該3D幾何形狀輸入到幾何形狀提取器118。類(lèi)似地，可 通過(guò)諸如例如小型球面反射鏡(mirror ball )、光傳感器、相機(jī)等等之類(lèi)的照 明捕獲設(shè)備捕獲光信息，并將該光信息輸入到光提取器116等等。
系統(tǒng)可使用傳統(tǒng)的VFX工具來(lái)提取或產(chǎn)生合成處理所需的相關(guān)元數(shù)據(jù) 123。這樣的工具包括但不限于色彩校正算法、幾何形狀檢測(cè)算法、光建模算 法等。當(dāng)3D輸入圖像不包括照明模型或足夠詳細(xì)的幾何形狀信息時(shí)，需要 這些工具。系統(tǒng)可使用的其他相關(guān)元數(shù)據(jù)是立體圖像對(duì)的相機(jī)距離等等。
一旦對(duì)與用戶(hù)感興趣的某些對(duì)象相對(duì)應(yīng)的整個(gè)圖像或畫(huà)面的一部分提取 了關(guān)于幾何形狀的信息(景深圖等等)，系統(tǒng)就可以分割在輸入圖像中出現(xiàn)的 對(duì)象。例如，在人A和人B握手的立體圖像對(duì)中，系統(tǒng)可對(duì)與人A、人B和 背景相對(duì)應(yīng)的對(duì)象進(jìn)行分割。對(duì)象分割算法是本領(lǐng)域公知的?？赏ㄟ^(guò)諸如模 型擬合(model fitting )之類(lèi)的各種方法確定或修正(refine)圖像中感興趣的 場(chǎng)景或?qū)ο蟮?D幾何形狀，其中具有已知幾何形狀的預(yù)定義3D模型被與圖 像中與對(duì)象對(duì)應(yīng)的區(qū)域進(jìn)行匹配和登記。在另一示例性方法中，通過(guò)將圖像
區(qū)域與預(yù)定義顆粒(particle)系統(tǒng)相匹配來(lái)得到或修正所分割的對(duì)象的幾何 形狀，其中顆粒系統(tǒng)被產(chǎn)生以具有預(yù)定義幾何形狀。
在步驟210、 212，系統(tǒng)可使得操作者能夠?qū)τ谥辽賰蓚€(gè)輸入圖像修改元 數(shù)據(jù)的屬性，例如照明、幾何形狀、對(duì)象和其他信息。如果圖像的3D性質(zhì) 不精確或不可用，則可能需要?jiǎng)?chuàng)建或修改該圖像的3D性質(zhì)以獲得精確的3D 合成。例如，由于3D獲得設(shè)備的低景深分辨率，背景板的景深圖經(jīng)常不可 用。在此情況下，操作者可能需要在合成需要時(shí)將3D景深分配到背景板中 的某些對(duì)象。操作者還可以在期望時(shí)修改每個(gè)輸入圖像的照明、幾何形狀、 對(duì)象等。系統(tǒng)提供來(lái)合并和修改輸入圖像或圖像中的對(duì)象的照明模型以及3D 幾何形狀?？苫谟刹僮髡哌x擇或指定的指令合并或修改這些模型(例如， 在期望位置增加新的光源)。此外，操作者可采用色彩校正器119來(lái)通過(guò)修改 光色、表面色和反射性質(zhì)、光位置和表面幾何形狀來(lái)修改所獲取的圖像的對(duì)象或一部分的"外觀(guān)"。在修改之前或之后將呈現(xiàn)各圖像或各圖像的各部分， 以確定是否需要修改或更多修改。
接下來(lái)，在步驟214中，基于由操作者經(jīng)由3D合成模塊114提供的設(shè)置 執(zhí)行合成。在該步驟期間，在不同輸入圖像中的視覺(jué)元素(例如，對(duì)象)由操 作者手動(dòng)地、或基于景深信息自動(dòng)地定位到相同的3D坐標(biāo)系中，如圖3所示。 參照?qǐng)D3，每個(gè)輸入圖像302、 304在與輸入圖像相關(guān)的坐標(biāo)系中分別包括對(duì) 象308和310。來(lái)自每個(gè)輸入圖像302、 304的對(duì)象308、 310將被映射到新的 3D圖像306的全局坐標(biāo)系312中。操作者可修改和改變輸入圖像的各對(duì)象或 各部分之間的位置或關(guān)系。系統(tǒng)還允許操作者包括或排除特定平面中的對(duì)象 (剪輯)以及基于特定規(guī)則混合對(duì)象。最終，基于由操作者選擇或指定的指令、
例如指定對(duì)于關(guān)于全局坐標(biāo)系輸入每個(gè)圖像的坐標(biāo)系的轉(zhuǎn)換、旋轉(zhuǎn)和縮放變 換，來(lái)合并和組合所選擇的對(duì)象和輸入圖像。例如，來(lái)自輸入圖像304的對(duì)象 310關(guān)于3D圖像306的全局坐標(biāo)系312旋轉(zhuǎn)并且從其初始大小縮放。
在合成步驟后，可能需要進(jìn)一步修改元數(shù)據(jù)的屬性(步驟216)。如果需 要修改屬性，則該方法將返回到步驟210、 212，否則可呈現(xiàn)合成的3D圖像。
在步驟218，合成的3D圖像最終以期望格式、例如左目艮視圖和右眼視圖 的立體圖像對(duì)或任何其他類(lèi)型的3D圖像，經(jīng)由呈現(xiàn)器122呈現(xiàn)。輸出圖像 可與相關(guān)的元數(shù)據(jù)129相關(guān)聯(lián)，如假設(shè)的兩眼間距離和立體圖像對(duì)的照明模 型、3D圖像的封閉(occlusion)信息和相關(guān)聯(lián)的景深圖等等?？勺詣?dòng)產(chǎn)生元 數(shù)據(jù)，例如兩眼間距離，或手動(dòng)輸入元數(shù)據(jù)，例如光源位置和強(qiáng)度。
所呈現(xiàn)的圖像然后可存儲(chǔ)在數(shù)字文件130中。數(shù)字文件130可以存儲(chǔ)在 存儲(chǔ)設(shè)備124中，以用于之后的取回，例如用于打印原片的立體版本。
盡管已經(jīng)在這里詳細(xì)示出和描述了合并了本公開(kāi)的教導(dǎo)的實(shí)施例，但是 本領(lǐng)域技術(shù)人員可以容易地設(shè)計(jì)仍然合并這些教導(dǎo)的許多其他的變化實(shí)施 例。已經(jīng)描述了合成3D圖像的系統(tǒng)和方法的優(yōu)選實(shí)施例(意在說(shuō)明性的而 非限制性的)，注意到，本領(lǐng)域技術(shù)人員根據(jù)上述教導(dǎo)可進(jìn)行修改和變化。因 此，理解到，在所附權(quán)利要求概括的本公開(kāi)的范圍和精神內(nèi)所公開(kāi)的本公開(kāi) 的具體實(shí)施例中可進(jìn)行變化。
1權(quán)利要求
1.一種用于合成三維圖像的方法，包括獲得至少兩個(gè)三維圖像(202，204)；得到與所述至少兩個(gè)三維圖像有關(guān)的元數(shù)據(jù)(206，208)；將所述至少兩個(gè)三維圖像的元數(shù)據(jù)映射到單個(gè)三維坐標(biāo)系中；以及將所述至少兩個(gè)三維圖像中的每個(gè)三維圖像的部分合成為單個(gè)三維圖像(214)。
2. 如權(quán)利要求l所述的方法，其中所述元數(shù)據(jù)是照明信息、幾何形狀信 息和對(duì)象信息中的至少 一 個(gè)。
3. 如權(quán)利要求1所述的方法，還包括以預(yù)定格式呈現(xiàn)所述單個(gè)三維圖像 (218)。
4. 如權(quán)利要求3所述的方法，還包括將輸出元數(shù)據(jù)與所呈現(xiàn)的三維圖像 相關(guān)聯(lián)(218)。
5. 如權(quán)利要求4所述的方法，其中所述預(yù)定格式是具有左眼視圖和右眼 視圖的立體圖像對(duì)，其中所述輸出元數(shù)據(jù)是在所述立體圖像對(duì)的左眼視圖和 右眼視圖之間的兩眼間距離。
6. 如權(quán)利要求l所述的方法，其中至少兩個(gè)所獲得的三維圖像中的每個(gè) 三維圖像是具有左眼視圖和右眼視圖的立體圖像對(duì)、具有與視圖對(duì)應(yīng)的景深 圖的單眼視像、計(jì)算機(jī)圖形對(duì)象的三維模型、以及二維前景或背景板中 的一個(gè)。
7. 如權(quán)利要求3所述的方法，還包括修改所述至少兩個(gè)三維圖像的元數(shù) 據(jù)的至少一個(gè)屬性(210, 212)。
8. 如權(quán)利要求1所述的方法，其中得到元數(shù)據(jù)的步驟包括從至少兩個(gè)三 維圖像中提取元數(shù)據(jù)。
9. 如權(quán)利要求1所述的方法，其中得到元數(shù)據(jù)包括從至少一個(gè)外部源接 收元數(shù)據(jù)。
10. —種用于合成三維圖像的系統(tǒng)(100),包括 用于獲得至少兩個(gè)三維圖像的裝置；被配置為用于得到與所述至少兩個(gè)三維圖像有關(guān)的元數(shù)據(jù)的提取器 (116， 118);被配置為用于將所述至少兩個(gè)三維圖像的元數(shù)據(jù)映射到單個(gè)三維坐標(biāo)系中的坐標(biāo)映射器(120);以及被配置為用于將所述至少兩個(gè)三維圖像中的每個(gè)三維圖像的部分合成為 單個(gè)三維圖像的合成器(114)。
11. 如權(quán)利要求IO所述的系統(tǒng)(100)，還包括被配置為用于以預(yù)定格式 呈現(xiàn)所述單個(gè)三維圖像的呈現(xiàn)器(122)。
12. 如權(quán)利要求11所述的系統(tǒng)(100)，其中所述合成器(114)還被配 置為將輸出元數(shù)據(jù)與所呈現(xiàn)的三維圖像相關(guān)聯(lián)。
13. 如權(quán)利要求IO所述的系統(tǒng)(100),其中所述元數(shù)據(jù)是照明信息、幾 何形狀信息和對(duì)象信息中的至少 一個(gè)。
14,如權(quán)利要求IO所述的系統(tǒng)(100),還包括被配置為用于修改圖像的 元數(shù)據(jù)的至少一個(gè)屬性的色彩校正器(119)。
15. 如權(quán)利要求IO所述的系統(tǒng)(100),其中所述提取器還包括光提取器 (116)，其被配置為用于確定至少兩個(gè)三維圖像的光環(huán)境。
16. 如權(quán)利要求IO所述的系統(tǒng)(100),其中所述提取器還包括幾何形狀 提取器(118)，其被配置為用于確定至少兩個(gè)三維圖像中的對(duì)象的幾何形狀。
17. 如權(quán)利要求IO所述的系統(tǒng)(100)，其中所述提取器(116， 118)還 被配置為從至少 一個(gè)外部源接收元數(shù)據(jù)。
18. —種可由機(jī)器讀取的程序存儲(chǔ)設(shè)備，其有形地體現(xiàn)可由機(jī)器執(zhí)行的 指令的程序，該程序用于執(zhí)行用于合成三維圖像的方法步驟，所述方法包括獲得至少兩個(gè)三維圖像(202， 204); 得到與所述至少兩個(gè)三維圖像有關(guān)的元數(shù)據(jù)(206， 208 ); 將所述至少兩個(gè)三維圖像的元數(shù)據(jù)映射到單個(gè)三維坐標(biāo)系中； 將所述至少兩個(gè)三維圖像中的每個(gè)三維圖像的部分合成為單個(gè)三維圖像 (214);以及以預(yù)定格式呈現(xiàn)所述單個(gè)三維圖像(218)。
19. 如權(quán)利要求18所述的程序存儲(chǔ)設(shè)備，其中所述元數(shù)據(jù)是照明信息、 幾何形狀信息和對(duì)象信息中的至少 一個(gè)。
20. 如權(quán)利要求18所述的程序存儲(chǔ)設(shè)備，其中所述方法還包括將輸出元 數(shù)據(jù)與所呈現(xiàn)的三維圖像相關(guān)聯(lián)(218)。
全文摘要
一種用于合成3D圖像的系統(tǒng)和方法，其將具有3D性質(zhì)的兩個(gè)或更多圖像的各部分或至少一部分組合以創(chuàng)建3D圖像。本公開(kāi)的系統(tǒng)和方法提供來(lái)獲得至少兩個(gè)三維(3D)圖像(202，204)；得到與所述至少兩個(gè)3D圖像有關(guān)的元數(shù)據(jù)(例如，照明、幾何形狀和對(duì)象信息)(206，208)；將所述至少兩個(gè)3D圖像的元數(shù)據(jù)映射到單個(gè)3D坐標(biāo)系中；以及將所述至少兩個(gè)3D圖像中的每個(gè)3D圖像的部分合成為單個(gè)3D圖像(214)。單個(gè)3D圖像可以被呈現(xiàn)為期望的格式(例如，立體圖像對(duì))(218)。該系統(tǒng)和方法可將所呈現(xiàn)的輸出與相關(guān)的元數(shù)據(jù)(例如，立體圖像對(duì)的兩眼間距離)相關(guān)聯(lián)(218)。
文檔編號(hào)G06T15/20GK101542536SQ200680056433
公開(kāi)日2009年9月23日 申請(qǐng)日期2006年11月20日 優(yōu)先權(quán)日2006年11月20日
發(fā)明者吉姆·A·范徹, 安娜·B·貝尼特斯, 張冬青 申請(qǐng)人:湯姆森特許公司