專(zhuān)利名稱(chēng)：用于從二維圖像進(jìn)行三維對(duì)象重構(gòu)的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本公開(kāi)總地涉及三維對(duì)象建模，并且更具體地涉及用于從二維(2D)圖像進(jìn)行三維(3D)信息獲取的系統(tǒng)和方法，所述三維(3D)信息獲取組合多個(gè)3D獲取功能，用于真實(shí)世界場(chǎng)景的3D信息的精確恢復(fù)。
背景技術(shù)：
當(dāng)拍攝場(chǎng)景時(shí)，所產(chǎn)生的視頻序列包含關(guān)于該場(chǎng)景的三維(3D)幾何形狀(geometry)的隱含信息。盡管對(duì)于充分的人的感覺(jué)來(lái)說(shuō)此隱含信息是足夠的，但是對(duì)于許多應(yīng)用來(lái)說(shuō)要求3D場(chǎng)景的確切幾何形狀。這些應(yīng)用中的一類(lèi)是在使用復(fù)雜的數(shù)據(jù)處理技術(shù)時(shí)、例如在生成場(chǎng)景的新視圖或者在重構(gòu)用于工業(yè)檢查應(yīng)用的3D幾何形狀時(shí)。
從單個(gè)或者多個(gè)圖像生成3D模型的處理對(duì)于許多電影后期制作應(yīng)用是重要的?；謴?fù)3D信息作為活躍的研究領(lǐng)域已經(jīng)有一段時(shí)間了。在文獻(xiàn)資料中，存在大量的以下技術(shù)所述技術(shù)或者例如使用激光測(cè)距儀(laser rangefinder)來(lái)直接捕捉3D信息，或者從一個(gè)或多個(gè)諸如來(lái)自運(yùn)動(dòng)技術(shù)的立體照片(stereo)或結(jié)構(gòu)之類(lèi)的二維(2D)圖像恢復(fù)3D信息。3D獲取技術(shù)總地可被分類(lèi)為主動(dòng)和被動(dòng)方式、單視圖和多視圖方式、以及幾何和光度(photometric)方法。 被動(dòng)方式從在規(guī)則照明條件下拍攝的圖像或者視頻獲取3D幾何形狀。使用從圖像和視頻提取的幾何或者光度特征計(jì)算3D幾何形狀。主動(dòng)方式使用諸如激光、結(jié)構(gòu)光(structured light)、或者紅外光之類(lèi)的特殊光源。主動(dòng)方式基于對(duì)象和場(chǎng)景對(duì)于投射到所述對(duì)象和場(chǎng)景的表面上的特殊光的響應(yīng)來(lái)計(jì)算幾何形狀。 單視圖方式使用從單個(gè)照相機(jī)視點(diǎn)拍攝的多個(gè)圖像來(lái)恢復(fù)3D幾何形狀。例子包括來(lái)自運(yùn)動(dòng)的結(jié)構(gòu)和來(lái)自散焦的深度。 多視圖方式從多個(gè)圖像恢復(fù)3D幾何形狀，所述多個(gè)圖像是從由對(duì)象運(yùn)動(dòng)產(chǎn)生的或者具有不同的光源位置的多個(gè)照相機(jī)視點(diǎn)拍攝的。立體照片匹配是通過(guò)使立體照片對(duì)中的左圖像和右圖像中的像素匹配以獲得像素的深度信息而進(jìn)行多視圖3D恢復(fù)的例子。
幾何方法通過(guò)檢測(cè)諸如單個(gè)或多個(gè)圖像中的角、邊沿、線、或者外形之類(lèi)的幾何特征來(lái)恢復(fù)3D幾何形狀?？梢詫⑺崛〉慕?、邊沿、線、或者外形之間的空間關(guān)系用于推斷圖像中的像素的3D坐標(biāo)。來(lái)自運(yùn)動(dòng)的結(jié)構(gòu)(Structure From Motion, SFM)是嘗試從由在場(chǎng)景內(nèi)移動(dòng)的照相機(jī)或者靜止照相機(jī)和移動(dòng)的對(duì)象拍攝的圖像的序列來(lái)重構(gòu)該場(chǎng)景的3D結(jié)構(gòu)的技術(shù)。盡管許多人同意SFM在根本上是非線性問(wèn)題，但是已經(jīng)做出了將SFM線性地表示的一些嘗試，所述嘗試提供數(shù)學(xué)簡(jiǎn)潔性(mathematical elegance)以及直接求解的方法。另一方面，非線性技術(shù)要求進(jìn)行迭代優(yōu)化，并且必須應(yīng)付局部最小值。然而，這些技術(shù)預(yù)示良好的數(shù)值精度和靈活性。SFM相對(duì)于立體照片匹配的優(yōu)勢(shì)在于需要一個(gè)照相機(jī)?？梢酝ㄟ^(guò)利用特征的運(yùn)動(dòng)的過(guò)去歷史以預(yù)測(cè)下一幀中的視差的跟蹤技術(shù)來(lái)使基于特征的方式更有效。其次，由于兩個(gè)連續(xù)的幀之間的較小的空間和時(shí)間差別，對(duì)應(yīng)的問(wèn)題也可以被當(dāng)作估計(jì)圖像亮度圖案的視動(dòng)(即parent motion)的問(wèn)題，所述視動(dòng)被稱(chēng)作光流。存在一些使用SFM的算法；它們中的大多數(shù)基于從2D圖像來(lái)重構(gòu)3D幾何形狀。 一些算法假定已知的對(duì) 應(yīng)值，其它的算法使用統(tǒng)計(jì)方式來(lái)在沒(méi)有對(duì)應(yīng)的情況下進(jìn)行重構(gòu)。 光度方法基于由場(chǎng)景表面的朝向產(chǎn)生的圖像斑紋(patch)的陰暗或陰影恢復(fù)3D 幾何形狀。 上述方法已經(jīng)被廣泛研究了數(shù)十年。然而，沒(méi)有單獨(dú)一個(gè)技術(shù)在所有情況下表現(xiàn) 良好，過(guò)去的方法中的大多數(shù)致力于在使重構(gòu)相對(duì)容易的實(shí)驗(yàn)室條件下的3D重構(gòu)。對(duì)于真 實(shí)世界場(chǎng)景，主體(subject)可能在運(yùn)動(dòng)中，照明可能是復(fù)雜的，并且深度范圍可能較大。 上述技術(shù)難以處理這些真實(shí)世界條件。例如，如果存在前景和背景對(duì)象之間的較大的深度 不連續(xù)，則立體照片匹配的搜索范圍必須被顯著地增大，這可能造成不可接受的計(jì)算成本 以及額外的深度估計(jì)誤差。

發(fā)明內(nèi)容
提供了一種使用二維(2D)圖像進(jìn)行場(chǎng)景的三維(3D)獲取和建模的系統(tǒng)和方法。 本公開(kāi)提供了一種系統(tǒng)和方法，用于選擇和組合最適合考慮中的捕捉環(huán)境和條件并且因而 產(chǎn)生更精確的3D模型的3D獲取技術(shù)。所使用的技術(shù)取決于考慮中的場(chǎng)景。例如，在室外 場(chǎng)景中，立體照片被動(dòng)技術(shù)將與來(lái)自運(yùn)動(dòng)的結(jié)構(gòu)一起使用。在其它情況下，主動(dòng)技術(shù)可能更 合適。組合多個(gè)3D獲取功能導(dǎo)致比如果僅使用一個(gè)技術(shù)或功能時(shí)更高的精確度。將組合 多個(gè)3D獲取功能的結(jié)果以獲得可被用于生成完整的3D模型的視差或者深度圖。此項(xiàng)工作 的目標(biāo)應(yīng)用是膠片組(film set)的3D重構(gòu)。所產(chǎn)生的3D模型可以被用于在電影拍攝期 間的可視化或者被用于后期制作。其它應(yīng)用將受益于此方式，所述其它應(yīng)用包括但不限于 游戲以及采用2D+深度格式的3D TV。根據(jù)本公開(kāi)的一方面，提供了三維(3D)獲取方法。所述方法包括獲取場(chǎng)景的至 少兩個(gè)二維(2D)圖像；將第一深度獲取功能應(yīng)用于所述至少兩個(gè)2D圖像；將第二深度獲 取功能應(yīng)用于所述至少兩個(gè)2D圖像；將所述第一深度獲取功能的輸出與所述第二深度獲 取功能的輸出組合；并且從所組合的第一和第二深度獲取功能的輸出生成視差圖。
另 一方面，該方法還包括從所述視差圖生成深度圖。 又一方面，所述方法包括從所生成的視差或者深度圖重構(gòu)場(chǎng)景的三維模型。
根據(jù)本公開(kāi)的另一方面，一種用于從二維(2D)圖像進(jìn)行三維(3D)信息獲取的系 統(tǒng)包括用于獲取場(chǎng)景的至少兩個(gè)二維(2D)圖像的部件；3D獲取模塊，其被配置用于將第 一深度獲取功能應(yīng)用于所述至少兩個(gè)2D圖像，將第二深度獲取功能應(yīng)用于所述至少兩個(gè) 2D圖像，并且將所述第一深度獲取功能的輸出與所述第二深度獲取功能的輸出組合。所述 3D獲取模塊還被配置用于從所組合的第一和第二深度獲取功能的輸出生成視差圖。
根據(jù)本公開(kāi)的又一方面，提供了一種可由機(jī)器讀取的程序存儲(chǔ)裝置，所述程序存 儲(chǔ)裝置有形地體現(xiàn)可由所述機(jī)器執(zhí)行以進(jìn)行用于從二維(2D)圖像獲取三維(3D)信息的方 法步驟的指令的程序，所述方法包括獲取場(chǎng)景的至少兩個(gè)二維(2D)圖像；將第一深度獲
取功能應(yīng)用于所述至少兩個(gè)2D圖像；將第二深度獲取功能應(yīng)用于所述至少兩個(gè)2D圖像；
將所述第一深度獲取功能的輸出與所述第二深度獲取功能的輸出組合；并且從所組合的第 一和第二深度獲取功能的輸出生成視差圖。


根據(jù)將結(jié)合附圖閱讀的以下優(yōu)選實(shí)施例的詳細(xì)描述，本公開(kāi)的這些和其它方面、 特征和優(yōu)點(diǎn)將被描述或變得顯而易見(jiàn)。 附圖中，其中貫穿各視圖，類(lèi)似的參考標(biāo)號(hào)代表類(lèi)似的元件。
圖1是根據(jù)本公開(kāi)的一方面的用于三維(3D)深度信息獲取的示例系統(tǒng)的圖示；
圖2是根據(jù)本公開(kāi)的一方面的用于從二維(2D)圖像重構(gòu)三維(3D)對(duì)象或者場(chǎng)景 的示例方法的流程圖； 圖3是根據(jù)本公開(kāi)的一方面的用于3D深度信息獲取的示例雙通道方法的流程 圖； 圖4A圖示了雙輸入立體照片圖像，并且圖4B圖示了雙輸入結(jié)構(gòu)光圖像；
圖5A是由圖4B中所示的立體照片圖像生成的視差圖；
圖5B是由圖4A中所示的結(jié)構(gòu)光圖像生成的視差圖； 圖5C是使用簡(jiǎn)單平均組合方法從圖5A和圖5B中所示的視差圖的組合產(chǎn)生的視 差圖； 圖5D是使用加權(quán)平均組合方法從圖5A和圖5B中所示的視差圖的組合產(chǎn)生的視 差圖。 應(yīng)理解附圖是用于圖示本公開(kāi)的構(gòu)思的目的，并不一定是用于圖示本公開(kāi)的唯 一可能的配置。
具體實(shí)施例方式
應(yīng)理解可以以各種形式的硬件、軟件或其組合來(lái)實(shí)施附圖中所示的元件。優(yōu)選 地，在一個(gè)或多個(gè)被適當(dāng)編程的通用裝置上以硬件和軟件的組合來(lái)實(shí)施這些元件，所述通 用裝置可以包括處理器、存儲(chǔ)器以及輸入/輸出接口 。 本描述例示本公開(kāi)的原理。因此應(yīng)理解本領(lǐng)域技術(shù)人員將能夠設(shè)計(jì)出雖然未在這 里被明確描述或示出、但是體現(xiàn)本公開(kāi)的原理并且被包括在本公開(kāi)的原理的精神和范圍內(nèi) 的各種布置。 這里所敘述的所有例子和條件性語(yǔ)言意在教導(dǎo)目的，以幫助讀者理解本公開(kāi)的原 理和由發(fā)明人貢獻(xiàn)以促進(jìn)本領(lǐng)域技術(shù)的構(gòu)思，并被解釋為不限于這樣具體敘述的例子和條 件。 此外，這里敘述本公開(kāi)的原理、方面、以及實(shí)施例的所有陳述、以及本公開(kāi)的具體 例子意在包含本公開(kāi)的結(jié)構(gòu)的和功能的等效物。另外，這樣的等效物意在包括當(dāng)前已知的 等效物以及將來(lái)開(kāi)發(fā)的等效物，即，無(wú)論結(jié)構(gòu)如何、執(zhí)行相同功能的所開(kāi)發(fā)的任何元件。
因此，例如，本領(lǐng)域技術(shù)人員將理解這里呈現(xiàn)的框圖表示體現(xiàn)本公開(kāi)的原理的示 例電路的概念性視圖。類(lèi)似地，將理解任何流程圖示、流程圖、狀態(tài)轉(zhuǎn)換圖、偽代碼等等表 示各種處理，基本上可以在計(jì)算機(jī)可讀介質(zhì)中表示所述各種處理，并因此由計(jì)算機(jī)或處理 器執(zhí)行，無(wú)論這樣的計(jì)算機(jī)或處理器是否被明確示出。 附圖中所示的各種元件的功能可以通過(guò)使用專(zhuān)用硬件以及能夠與適合的軟件相 關(guān)聯(lián)而執(zhí)行軟件的硬件來(lái)提供。當(dāng)由處理器提供時(shí)，所述功能可以由單個(gè)專(zhuān)用處理器、單個(gè) 共享處理器、或其中一些可以被共享的多個(gè)獨(dú)立處理器提供。此外，術(shù)語(yǔ)"處理器"或"控制器"的明確使用不應(yīng)被解釋為唯一地代表能夠執(zhí)行軟件的硬件，其也可以隱含地包括、而不 限于數(shù)字信號(hào)處理器("DSP")硬件、用于存儲(chǔ)軟件的只讀存儲(chǔ)器("R0M")、隨機(jī)存取存儲(chǔ) 器("RAM")、以及非易失性存儲(chǔ)裝置。 也可以包括其它的傳統(tǒng)的和/或定制的硬件。類(lèi)似地，附圖中所示的任何開(kāi)關(guān)只 是概念性的。它們的功能可以通過(guò)程序邏輯的操作、通過(guò)專(zhuān)用邏輯、通過(guò)程序控制和專(zhuān)用 邏輯的交互作用、或甚至手動(dòng)地執(zhí)行，如從上下文中更具體理解的，具體技術(shù)可由實(shí)施者選 擇，。 在本公開(kāi)的權(quán)利要求中，表示為執(zhí)行指定功能的部件的任何元件意在包含執(zhí)行該 功能的任何方式，所述方式包括例如，a)執(zhí)行該功能的電路元件的組合，或者b)任何形式 的軟件，因此包括與用于執(zhí)行該軟件的適合的電路組合以執(zhí)行該功能的固件、微代碼等等。 由這樣的權(quán)利要求限定的本公開(kāi)歸于這樣的事實(shí)由各種所敘述的部件提供的功能以權(quán)利 要求所要求的方式被組合并集合。因此認(rèn)為能夠提供那些功能的任何部件等效于這里所 示的那些部件。 本公開(kāi)中公開(kāi)的技術(shù)處理恢復(fù)對(duì)象和場(chǎng)景的3D幾何形狀的問(wèn)題。由于主體的運(yùn) 動(dòng)、前景與背景之間的大的深度不連續(xù)、以及復(fù)雜的照明條件，恢復(fù)真實(shí)世界場(chǎng)景的幾何形 狀是有挑戰(zhàn)性的問(wèn)題。使用一種技術(shù)完全恢復(fù)場(chǎng)景的完整幾何形狀在計(jì)算上是昂貴且不可 靠的。諸如激光掃描之類(lèi)的一些用于精確3D獲取的技術(shù)由于人主體的存在、在許多情況下 是不可接受的。本公開(kāi)提供一種系統(tǒng)和方法，用于選擇和組合最適合在考慮中的捕捉環(huán)境 和條件并且因而產(chǎn)生更精確的3D模型的3D獲取技術(shù)。 提供了一種系統(tǒng)和方法，用于組合多個(gè)3D獲取方法以便精確恢復(fù)真實(shí)世界場(chǎng)景 的3D信息。由缺少能夠可靠地捕捉用于真實(shí)的和大的環(huán)境的3D信息的單個(gè)方法促成組合 多種方法。 一些方法在室內(nèi)運(yùn)行良好，而在室外則不是，其它方法要求靜止的場(chǎng)景。而且， 計(jì)算復(fù)雜程度/精確度在各種方法之間變化很大。本公開(kāi)的系統(tǒng)和方法定義了利用可用 技術(shù)的長(zhǎng)處來(lái)捕捉3D信息以獲得最佳的3D信息的框架。本公開(kāi)的系統(tǒng)和方法提供了 獲 取場(chǎng)景的至少兩個(gè)二維(2D)圖像；將第一深度獲取功能應(yīng)用于所述至少兩個(gè)2D圖像；將 第二深度獲取功能應(yīng)用于所述至少兩個(gè)2D圖像；將所述第一深度獲取功能的輸出與所述 第二深度獲取功能的輸出組合；并且從第一和第二深度獲取功能的所組合的輸出生成視差 圖。由于視差信息反比于深度乘以縮放因數(shù)，因此可以將使用從所組合的輸出生成的視差 圖或者深度圖來(lái)重構(gòu)3D對(duì)象或者場(chǎng)景。 現(xiàn)在參照附圖，在圖1中示出根據(jù)本公開(kāi)的實(shí)施例的示例系統(tǒng)組件?？梢蕴峁?描裝置103用于將膠片印片104、例如照相機(jī)原始膠片負(fù)片掃描為數(shù)字格式、例如Cineon格 式或者運(yùn)動(dòng)畫(huà)面和電視工程師協(xié)會(huì)(SMPTE)數(shù)字畫(huà)面交換(DPX)文件。掃描裝置103可以 包括例如電視電影機(jī)(telecine)或者將從諸如例如具有視頻輸出的Arri LocPrc)TM之類(lèi)的 膠片生成視頻輸出的任何裝置?？梢酝ㄟ^(guò)利用數(shù)字?jǐn)z像機(jī)105捕捉視頻圖像的時(shí)間序列來(lái) 獲取數(shù)字圖像或者數(shù)字視頻文件?？商鎿Q地，可以直接使用來(lái)自后期制作處理或者數(shù)字電 影的文件106(例如，已經(jīng)為計(jì)算機(jī)可讀形式的文件)。計(jì)算機(jī)可讀文件的可能來(lái)源為AVIDTM 編輯器、DPX文件、D5磁帶等等。 將所掃描的膠片印片輸入后處理裝置102、例如計(jì)算機(jī)。在各種已知的計(jì)算機(jī)平臺(tái) 中的任一個(gè)上實(shí)施所述計(jì)算機(jī)，所述計(jì)算機(jī)平臺(tái)具有以下硬件諸如一個(gè)或多個(gè)中央處理單元(CPU)、諸如隨機(jī)存取存儲(chǔ)器(RAM)和/或只讀存儲(chǔ)器(ROM)之類(lèi)的存儲(chǔ)器110、以及 諸如鍵盤(pán)、光標(biāo)控制裝置(例如鼠標(biāo)或者搖桿)以及顯示裝置之類(lèi)的輸入/輸出(I/O)用 戶(hù)接口 112。所述計(jì)算機(jī)平臺(tái)還包括操作系統(tǒng)和微指令代碼。這里所描述的各種處理和功 能可以是微指令代碼的一部分或者是經(jīng)由操作系統(tǒng)執(zhí)行的軟件應(yīng)用程序的一部分(或者 它們的組合)。在一個(gè)實(shí)施例中，軟件應(yīng)用程序被有形地體現(xiàn)在程序存儲(chǔ)裝置上，所述軟件 應(yīng)用程序可被上載到諸如后處理裝置102之類(lèi)的任何合適的機(jī)器并且由其執(zhí)行。另外，可 以將各種其它外圍裝置通過(guò)諸如并行端口、串行端口、或者通用串行總線(USB)之類(lèi)的各 種接口和總線結(jié)構(gòu)連接到所述計(jì)算機(jī)平臺(tái)。其它外圍裝置可以包括附加存儲(chǔ)裝置124和打 印機(jī)128?？梢圆捎么蛴C(jī)128來(lái)打印膠片的經(jīng)過(guò)修正的版本126，其中作為下面描述的技 術(shù)的結(jié)果，可以使用3D建模的對(duì)象來(lái)改變或者替換場(chǎng)景。 作為替換，可以將已經(jīng)處于計(jì)算機(jī)可讀形式的文件/膠片印片106(例如數(shù)字電 影，其例如可以被存儲(chǔ)在外部硬盤(pán)驅(qū)動(dòng)器124上)直接輸入到計(jì)算機(jī)102中。注意這里使 用的術(shù)語(yǔ)"膠片(film)"可以指膠片印片或者數(shù)字電影。 軟件程序包括存儲(chǔ)在存儲(chǔ)器110中的三維(3D)重構(gòu)模塊114。 3D重構(gòu)模塊114 包括用于從圖像獲取3D信息的3D獲取模塊116。 3D獲取模塊116包括若干3D獲取功能 116-1. . . 116-n，諸如但不限于立體照片匹配功能、結(jié)構(gòu)光功能、來(lái)自運(yùn)動(dòng)的結(jié)構(gòu)功能等。
提供深度調(diào)節(jié)器117，用于調(diào)節(jié)從不同的獲取方法生成的視差或者深度圖的深度 尺度(scale)。對(duì)于每種方法，深度調(diào)節(jié)器117將視差或者深度圖中的像素的深度值標(biāo)定為 0-255。 提供可靠性估計(jì)器118，并且將其配置用于估計(jì)圖像像素的深度值的可靠性?？煽?性估計(jì)器118比較每種方法的深度值。如果來(lái)自各種功能或方法的值接近或者在預(yù)定的范 圍內(nèi)，則將深度值視為可靠的；否則，深度值是不可靠的。 3D重構(gòu)模塊114還包括用于檢測(cè)圖像中的特征點(diǎn)的特征點(diǎn)檢測(cè)器119。特征點(diǎn)檢 測(cè)器119將包括至少一種特征點(diǎn)檢測(cè)功能、例如算法，以便檢測(cè)或者選擇要采用的用以對(duì) 準(zhǔn)(register)視差圖的特征點(diǎn)。還提供深度圖生成器120，用于從所組合的深度信息生成 深度圖。 圖2是根據(jù)本公開(kāi)的一方面的用于從二維(2D)圖像重構(gòu)三維(3D)對(duì)象的示例方 法的流程圖。 參照?qǐng)D2，最初，在步驟202中，后處理裝置102獲得計(jì)算機(jī)可讀格式的數(shù)字主視頻 文件?？梢酝ㄟ^(guò)利用數(shù)字?jǐn)z像機(jī)105捕捉視頻圖像的時(shí)間序列來(lái)獲取數(shù)字視頻文件。作為 替換，傳統(tǒng)的膠片類(lèi)型的照相機(jī)可以捕捉視頻序列。在此方案(scenario)中，經(jīng)由掃描裝 置103掃描膠片，并且處理進(jìn)行到步驟204。在移動(dòng)場(chǎng)景中的對(duì)象或者照相機(jī)的同時(shí)，照相 機(jī)將獲取2D圖像。照相機(jī)將獲取該場(chǎng)景中的多個(gè)視點(diǎn)。 應(yīng)理解無(wú)論膠片是被掃描還是已經(jīng)處于數(shù)字格式，膠片的數(shù)字文件都將包括關(guān) 于幀的位置的指示或者信息(即，時(shí)間代碼)，例如幀編號(hào)、從電影的開(kāi)始起的時(shí)間等等。數(shù) 字視頻文件的每一幀將包括一個(gè)圖像，例如I" 12、. . . In。 組合多種方法造成對(duì)于在普通(common)坐標(biāo)系中對(duì)準(zhǔn)每種方法的輸出的新技術(shù) 的需要。對(duì)準(zhǔn)處理可以使組合處理明顯變復(fù)雜。在本公開(kāi)的方法中，在每種方法的同一時(shí) 刻，可以在步驟204中收集輸入圖像來(lái)源信息。這簡(jiǎn)化了對(duì)準(zhǔn)，這是由于步驟206中的照相機(jī)位置和步驟208中的照相機(jī)參數(shù)對(duì)于所有技術(shù)都是相同的。然而，輸入圖像來(lái)源對(duì)于 所使用的每種3D捕捉方法可以是不同的。例如，如果使用立體照片匹配，則輸入圖像來(lái)源 應(yīng)當(dāng)是被分開(kāi)適當(dāng)?shù)木嚯x的兩個(gè)照相機(jī)。在另一例子中，如果使用結(jié)構(gòu)光，則輸入圖像來(lái) 源是結(jié)構(gòu)光照射的場(chǎng)景的一個(gè)或多個(gè)圖像。優(yōu)選地，將對(duì)于每種功能的輸入圖像來(lái)源對(duì)齊 (align)，使得各功能的輸出的對(duì)準(zhǔn)簡(jiǎn)單并且直接。否則，實(shí)施手動(dòng)或者自動(dòng)對(duì)準(zhǔn)技術(shù)，以在 步驟210中使輸入圖像來(lái)源對(duì)齊。 在步驟212中，操作者經(jīng)由用戶(hù)接口 112選擇至少兩個(gè)3D獲取功能。所使用的 3D獲取功能取決于在考慮中的場(chǎng)景。例如，在室外場(chǎng)景中，立體照片被動(dòng)技術(shù)將與來(lái)自運(yùn) 動(dòng)的結(jié)構(gòu)結(jié)合使用。在其它情況下，主動(dòng)技術(shù)可能更合適。在另一例子中，可以將結(jié)構(gòu)光 功能與激光測(cè)距儀功能組合，以用于靜止的場(chǎng)景。在第三例子中，可以通過(guò)組合來(lái)自輪廓 (silhouette)的形狀功能與立體照片匹配功能來(lái)在室內(nèi)場(chǎng)景中使用多于兩個(gè)照相機(jī)。
在步驟214中，將第一 3D獲取功能應(yīng)用于圖像，并且在步驟216中，為圖像生成第 一深度數(shù)據(jù)。在步驟218中，將第二 3D獲取功能應(yīng)用于圖像，并且在步驟220中，為圖像生 成第二深度數(shù)據(jù)。應(yīng)理解可以將步驟214和216與步驟218和220并行或者同步地執(zhí)行。 作為替換，每種3D獲取功能可被分別執(zhí)行，可被存儲(chǔ)在存儲(chǔ)器中，并且可被在以后取回，以 用于將在下面描述的組合步驟。 在步驟222中，對(duì)準(zhǔn)并且組合每種3D深度獲取功能的輸出。如果圖像來(lái)源被適當(dāng) 地對(duì)齊，則不需要對(duì)準(zhǔn)，并且可以高效地組合深度值。如果圖像來(lái)源未被對(duì)齊，則所產(chǎn)生的 視差圖需要被適當(dāng)?shù)貙?duì)齊。這可以手動(dòng)地完成，或者通過(guò)經(jīng)由特征點(diǎn)檢測(cè)器119從一個(gè)圖 像到另一個(gè)圖像匹配特征(例如標(biāo)志、角、邊沿)并且然后相應(yīng)地移動(dòng)視差圖之一來(lái)完成。 特征點(diǎn)是圖像的突出(salient)特征，諸如角、邊沿、線等，其中存在較高量的圖像亮度對(duì) 比。特征點(diǎn)檢測(cè)器119可以使用本領(lǐng)域眾所周知的Kitchen-Rosenfeld角檢測(cè)算子C。此 算子用于評(píng)估給定的像素位置處的圖像的"角"(cornerness)的度數(shù)。"角"通常是特征為 圖像亮度梯度最大值的兩個(gè)方向的交叉、例如90度角度的圖像特征。為了提取特征點(diǎn)，在 圖像L的每個(gè)有效像素位置處應(yīng)用Kitchen-Rosenfeld算子。特定像素處的算子C的值越 高，其"角"的度數(shù)越高，并且如果在(x， y)處的C大于(x， y)周?chē)泥徑钠渌袼匚恢?處的C，則圖像L中的像素位置(x，y)是特征點(diǎn)。所述鄰近可以是以像素位置(x，y)為中 心的5X5矩陣。為了確保魯棒性，所選擇的特征點(diǎn)可以具有大于閾值(諸如T。二 10)的 角的度數(shù)。來(lái)自特征點(diǎn)檢測(cè)器118的輸出是圖像^中的一組特征點(diǎn){巳}，其中每個(gè)巳對(duì)應(yīng) 于圖像L中的"特征"像素位置?？梢圆捎迷S多其它的特征點(diǎn)檢測(cè)器，包括但不限于尺度 不變特征變換(SIFT)、最小單值分割吸收核(Smallest Univalue Segment Assimilating Nucleus, SUSAN) 、Hough變換、Sobel邊沿算子以及Canny邊沿檢測(cè)器。在選擇了所檢測(cè)的 特征點(diǎn)之后，通過(guò)特征點(diǎn)檢測(cè)器119處理第二圖像I2，以檢測(cè)在第一圖像L中發(fā)現(xiàn)的特征 并且匹配所述特征以對(duì)齊圖像。 剩余的對(duì)準(zhǔn)問(wèn)題之一是調(diào)節(jié)從不同的3D獲取方法生成的視差圖的深度尺度。由 于可以使恒定乘法因數(shù)(constant multiplicative factor)適合于可用于場(chǎng)景中的相同 像素或點(diǎn)的深度數(shù)據(jù)，因此這可以自動(dòng)完成。例如，從每種方法輸出的最小值可以被標(biāo)定為 O，并且從每種方法輸出的最大值可以被標(biāo)定為255。 組合各種3D深度獲取功能的結(jié)果取決于許多因素。 一些功能或者算法例如產(chǎn)生其中許多像素不具有深度信息的稀疏(sparse)的深度數(shù)據(jù)。因此，功能組合依賴(lài)其它功 能。如果多個(gè)功能在一像素處產(chǎn)生深度數(shù)據(jù)，則可以利用所估計(jì)的深度數(shù)據(jù)的平均值來(lái)組 合數(shù)據(jù)。對(duì)于每個(gè)像素，簡(jiǎn)單組合方法通過(guò)對(duì)來(lái)自?xún)蓚€(gè)視差圖的視差值取平均來(lái)組合所述 兩個(gè)視差圖。 可以在組合結(jié)果之前基于功能結(jié)果中的算子置信度、例如基于捕捉條件(例如室 內(nèi)、室外、照明條件)或者基于像素的局部視覺(jué)特征來(lái)將權(quán)重分配給每個(gè)功能。例如，基于 立體照片的方式通常對(duì)于沒(méi)有紋理的區(qū)域是不精確的，而基于結(jié)構(gòu)光的方法可以非常好地 執(zhí)行。因此，可以通過(guò)檢測(cè)局部區(qū)域的紋理特征來(lái)將更多的權(quán)重分配給基于結(jié)構(gòu)光的方法。 在另一例子中，結(jié)構(gòu)光方法對(duì)于暗區(qū)域通常執(zhí)行得較差，而立體照片匹配的性能保持比較 好。因此，在此例子中，可以將更多的權(quán)重分配給立體照片匹配技術(shù)。 加權(quán)組合方法計(jì)算來(lái)自?xún)蓚€(gè)視差圖的視差值的加權(quán)平均。由左眼和右眼圖像之間 的對(duì)應(yīng)的像素對(duì)、例如立體像對(duì)(stereoscopic pair)的左眼圖像中的對(duì)應(yīng)像素的亮度值 確定權(quán)重。如果該亮度值較大，則將較大的權(quán)重分配給結(jié)構(gòu)光視差圖；否則，將較大的權(quán)重 分配給立體照片視差圖。數(shù)學(xué)上，所產(chǎn)生的視差值為
D (x， y) = w (x， y) Dl (x， y) + (l-w (x， y)) Ds (x， y)，
w(x， y) = g(x， y)/C 其中Dl是來(lái)自結(jié)構(gòu)光的視差圖，Ds是來(lái)自立體照片的視差圖，D是所組合的視差 圖，g(x， y)是左眼圖像上的(x， y)處的像素的亮度值，C是用于將權(quán)重歸一化為從O到1 的范圍的歸一化因數(shù)。例如，對(duì)于8位色彩深度，C應(yīng)當(dāng)為255。 使用本公開(kāi)的系統(tǒng)和方法，多個(gè)深度估計(jì)可用于場(chǎng)景中的相同像素或者點(diǎn)，一個(gè) 深度估計(jì)用于每個(gè)所使用的3D獲取方法。因此，所述系統(tǒng)和方法還可以估計(jì)圖像像素的深 度值的可靠性。例如，如果所有的3D獲取方法對(duì)于一個(gè)像素輸出非常類(lèi)似的、例如在預(yù)定 范圍內(nèi)的深度值，則該深度值可被視為非?？煽?。在通過(guò)不同的3D獲取方法獲得的深度值 有很大不同時(shí)，則應(yīng)當(dāng)發(fā)生相反的情況。 然后，在步驟224中，可以將所組合的視差圖轉(zhuǎn)換為深度圖。視差與深度逆相關(guān)， 其中縮放因數(shù)與照相機(jī)校準(zhǔn)參數(shù)相關(guān)。獲得照相機(jī)校準(zhǔn)參數(shù)，并且由深度圖生成器122采 用照相機(jī)校準(zhǔn)參數(shù)來(lái)為兩個(gè)圖像間的對(duì)象或者場(chǎng)景生成深度圖。照相機(jī)參數(shù)包括但不限于 照相機(jī)的焦距以及兩個(gè)照相機(jī)拍攝之間的距離?？梢越?jīng)由用戶(hù)接口 112將照相機(jī)參數(shù)手動(dòng) 輸入到系統(tǒng)100，或者從照相機(jī)校準(zhǔn)算法或者功能估計(jì)照相機(jī)參數(shù)。使用該照相機(jī)參數(shù)，從 所組合的多個(gè)3D獲取功能的輸出生成深度圖。深度圖是用于在數(shù)學(xué)上表示空間中的表面 的值的二維陣列，其中，該陣列的行和列對(duì)應(yīng)于該表面的x和y位置信息；并且陣列元素是 從給定點(diǎn)或者照相機(jī)位置至表面的深度或者距離讀數(shù)。深度圖可以被看作對(duì)象的灰度圖 像，其中在對(duì)象的表面上的每個(gè)點(diǎn)處，深度信息替換亮度信息或者像素。相應(yīng)地，表面點(diǎn)也 指3D圖形重構(gòu)的技術(shù)內(nèi)的像素，在本公開(kāi)中將可互換地使用這兩個(gè)術(shù)語(yǔ)。由于視差信息反 比于深度乘以縮放因數(shù)，因此可以直接使用視差信息用于為大多數(shù)應(yīng)用建立3D場(chǎng)景模型。 由于其使得不必要計(jì)算照相機(jī)參數(shù)，所以這簡(jiǎn)化了計(jì)算。 可以從視差或者深度圖重構(gòu)對(duì)象或者場(chǎng)景的完整3D模型。然后，可以將該3D模 型用于諸如后期制作應(yīng)用以及從2D內(nèi)容創(chuàng)建3D內(nèi)容之類(lèi)的多個(gè)應(yīng)用?？梢允褂弥T如在加 州斯坦福大學(xué)開(kāi)發(fā)的ScanAlyze軟件之類(lèi)的傳統(tǒng)可視化工具來(lái)使所產(chǎn)生的組合的圖像可
10視化。 然后，可以呈現(xiàn)特定的對(duì)象或者場(chǎng)景的重構(gòu)的3D模型以便在顯示裝置上查看，或者將該重構(gòu)的3D模型與包含圖像的文件分別保存在數(shù)字文件130中。可以將3D重構(gòu)的數(shù)字文件130存儲(chǔ)在存儲(chǔ)裝置124中，以便以后取回，例如在其中可以將建模的對(duì)象插入到之前未出現(xiàn)該對(duì)象的場(chǎng)景中的對(duì)電影的編輯階段期間內(nèi)。 其它傳統(tǒng)的系統(tǒng)使用雙通道方式來(lái)分別恢復(fù)靜止背景和動(dòng)態(tài)前景的幾何形狀。一旦獲取了背景幾何形狀、例如靜止來(lái)源，可以將其用作先驗(yàn)信息來(lái)獲取移動(dòng)主體、例如動(dòng)態(tài)來(lái)源的3D幾何形狀。該傳統(tǒng)的方法可以減少計(jì)算成本并且通過(guò)將計(jì)算限制在感興趣區(qū)域內(nèi)來(lái)增加重構(gòu)精確度。然而，觀察到使用單一技術(shù)來(lái)恢復(fù)每個(gè)通道中的3D信息是不夠的。因此，在另一實(shí)施例中，在雙通道方式的每個(gè)通道中使用采用多個(gè)深度技術(shù)的本公開(kāi)的方法。圖3圖示了示例方法，該方法組合來(lái)自立體照片和結(jié)構(gòu)光的結(jié)果以恢復(fù)靜止場(chǎng)景、例如背景場(chǎng)景的幾何形狀，以及組合2D-3D轉(zhuǎn)換和來(lái)自運(yùn)動(dòng)的結(jié)構(gòu)以用于動(dòng)態(tài)場(chǎng)景、例如前景場(chǎng)景。圖3中所示的步驟類(lèi)似于關(guān)于圖2描述的步驟，并且因此具有類(lèi)似的附圖標(biāo)號(hào)，其中-1步驟、例如304-1表示第一通道中的步驟，_2步驟、例如304-2表示第二通道中的步驟。例如，在步驟304-1中提供靜止輸入來(lái)源。在步驟314-1中執(zhí)行第一3D獲取功能，并且在步驟316-1中生成深度數(shù)據(jù)。在步驟318-1中執(zhí)行第二 3D獲取功能，在步驟322-1中組合在步驟320-1中生成的深度數(shù)據(jù)和來(lái)自?xún)蓚€(gè)3D獲取功能的深度數(shù)據(jù)，并且在步驟324-1中生成靜止視差或者深度圖。類(lèi)似地，由步驟304-2到322-2生成動(dòng)態(tài)視差或者深度圖。在步驟326中，從來(lái)自第一通道的靜止視差或者深度圖以及來(lái)自第二通道的動(dòng)態(tài)視差或者深度圖生成組合的視差或者深度圖。應(yīng)理解圖3僅為一個(gè)可能的例子，并且根據(jù)需要可以使用并且組合其它算法和/或功能。 由本公開(kāi)的系統(tǒng)和方法處理的圖像在圖4A和圖4B中圖示，其中圖4A圖示了兩個(gè)輸入立體照片圖像，并且圖4B圖示了兩個(gè)輸入結(jié)構(gòu)光圖像。在收集圖像時(shí)，每種方法具有不同的要求。例如，與立體照片相比結(jié)構(gòu)光要求更暗的房間設(shè)置。而且，為每種方法使用不同的照相機(jī)模式。將單個(gè)照相機(jī)(例如，消費(fèi)者級(jí)別的數(shù)字照相機(jī))用于通過(guò)沿滑軌(slider)移動(dòng)該照相機(jī)來(lái)捕捉左和右立體照片圖像，使得照相機(jī)條件對(duì)于左和右圖像相同。對(duì)于結(jié)構(gòu)光，使用夜間拍攝曝光，使得結(jié)構(gòu)光的色彩具有最小的失真。對(duì)于立體照片匹配，使用常規(guī)自動(dòng)曝光，這是由于其對(duì)于照明環(huán)境設(shè)置較不敏感。由數(shù)字投影儀生成結(jié)構(gòu)光。在其中除了投影儀之外關(guān)閉所有燈的暗房中拍攝結(jié)構(gòu)光圖像。利用常規(guī)照明條件拍攝立體照片圖像。在捕捉期間，對(duì)于結(jié)構(gòu)光和立體照片匹配使左眼照相機(jī)位置保持精確相同(但是右眼照相機(jī)位置可以變化)，因此將相同的參考圖像用于在組合中對(duì)齊結(jié)構(gòu)光視差圖和立體照片視差圖。 圖5A是從圖4A中所示的立體照片圖像生成的視差圖，并且圖5B是從圖4B中所示的結(jié)構(gòu)光圖像生成的視差圖。圖5C是使用簡(jiǎn)單平均組合方法從圖5A和圖5B中所示的視差圖的組合產(chǎn)生的視差圖；圖5D是使用加權(quán)平均組合方法從圖5A和圖5B中所示的視差圖的組合產(chǎn)生的視差圖。在圖5A中，觀察到立體照片功能對(duì)于右邊的盒子未提供良好的深度圖估計(jì)。另一方面，圖5B中的結(jié)構(gòu)光識(shí)別黑色椅子有困難。盡管在圖5C中簡(jiǎn)單組合方法提供一些改進(jìn)，但其沒(méi)有較好地捕捉椅子的邊界。如圖5D所示，加權(quán)組合方法提供具有被清楚識(shí)別的主對(duì)象(即，椅子、盒子)的最佳的深度圖結(jié)果。
盡管這里已經(jīng)詳細(xì)示出和描述了并入本公開(kāi)的教導(dǎo)的實(shí)施例，但本領(lǐng)域技術(shù)人員 可以容易地設(shè)計(jì)出許多仍然并入這些教導(dǎo)的其它變化的實(shí)施例。描述了用于場(chǎng)景的三維 (3D)獲取和建模的系統(tǒng)和方法的優(yōu)選實(shí)施例(其意在例示而非限制)，注意可以由本領(lǐng)域 技術(shù)人員借鑒上述教導(dǎo)做出修改和變化。因此，因此應(yīng)理解可以在本公開(kāi)的具體實(shí)施例中 進(jìn)行改變，這些改變落入所附權(quán)利要求中提出的本公開(kāi)的范圍。
權(quán)利要求
一種三維獲取方法，包括獲取場(chǎng)景的至少兩個(gè)二維圖像(202)；將第一深度獲取功能應(yīng)用于所述至少兩個(gè)二維圖像(214)；將第二深度獲取功能應(yīng)用于所述至少兩個(gè)二維圖像(218)；將所述第一深度獲取功能的輸出與所述第二深度獲取功能的輸出組合(222)；并且從所組合的第一深度獲取功能和第二深度獲取功能的輸出生成視差圖。
2. 如權(quán)利要求l所述的方法，還包括從所述視差圖生成深度圖(224)。
3. 如權(quán)利要求1所述的方法，其中所述組合步驟包括將所述第一深度獲取功能的輸出對(duì)準(zhǔn)所述第二深度獲取功能的輸出(222)。
4. 如權(quán)利要求3所述的方法，其中對(duì)準(zhǔn)步驟包括調(diào)節(jié)所述第一深度獲取功能的輸出和第二深度獲取功能的輸出的深度尺度。
5. 如權(quán)利要求1所述的方法，其中所述組合步驟包括對(duì)所述第一深度獲取功能的輸出與所述第二深度獲取功能的輸出取平均。
6. 如權(quán)利要求1所述的方法，還包括將第一加權(quán)值應(yīng)用于所述第一深度獲取功能的輸出，并且將第二加權(quán)值應(yīng)用于所述第二深度獲取功能的輸出。
7. 如權(quán)利要求6所述的方法，其中所述至少兩個(gè)二維圖像包括立體像對(duì)的左眼視圖和右眼視圖，由左眼圖像和右眼圖像之間的對(duì)應(yīng)像素對(duì)的左眼圖像中的像素亮度確定所述第一加權(quán)值。
8. 如權(quán)利要求1所述的方法，還包括從所生成的視差圖重構(gòu)場(chǎng)景的三維模型。
9. 如權(quán)利要求1所述的方法，還包括對(duì)齊所述至少兩個(gè)二維圖像(210)。
10. 如權(quán)利要求9所述的方法，其中所述對(duì)齊步驟還包括在所述至少兩個(gè)二維圖像之間匹配特征。
11. 如權(quán)利要求1所述的方法，還包括至少將第三深度獲取功能應(yīng)用于所述至少兩個(gè)二維圖像(314-2);至少將第四深度獲取功能應(yīng)用于所述至少兩個(gè)二維圖像(318-2);將所述第三深度獲取功能的輸出與所述第四深度獲取功能的輸出組合(322-2);從所組合的所述第三深度獲取功能和第四深度獲取功能的輸出生成第二視差圖(324-2);并且將從所組合的所述第一深度獲取功能和第二深度獲取功能的輸出生成的視差圖(324-1)與來(lái)自所組合的所述第三深度獲取功能和第四深度獲取功能的輸出的第二視差圖(326)組合。
12. —種用于從二維圖像進(jìn)行三維信息獲取的系統(tǒng)(IOO)，所述系統(tǒng)包括用于獲取場(chǎng)景的至少兩個(gè)二維圖像的部件；以及三維獲取模塊(116)，其被配置用于將第一深度獲取功能(116-1)應(yīng)用于所述至少兩個(gè)二維圖像，將第二深度獲取功能(116-2)應(yīng)用于所述至少兩個(gè)二維圖像，并且將所述第一深度獲取功能的輸出與所述第二深度獲取功能的輸出組合。
13. 如權(quán)利要求12所述的系統(tǒng)(100)，還包括深度圖生成器(120)，其被配置用于從所組合的所述第一深度獲取功能和第二深度獲取功能的輸出生成深度圖。
14. 如權(quán)利要求12所述的系統(tǒng)(100)，其中所述三維獲取模塊(116)還被配置用于從所組合的所述第一深度獲取功能和第二深度獲取功能的輸出生成視差圖。
15. 如權(quán)利要求12所述的系統(tǒng)(100)，其中所述三維獲取模塊(116)還被配置用于將所述第一深度獲取功能的輸出對(duì)準(zhǔn)所述第二深度獲取功能的輸出。
16. 如權(quán)利要求15所述的系統(tǒng)(100)，還包括深度調(diào)節(jié)器(117)，其被配置用于調(diào)節(jié)所述第一深度獲取功能的輸出和第二深度獲取功能的輸出的深度尺度。
17. 如權(quán)利要求12所述的系統(tǒng)(100)，其中所述三維獲取模塊(116)還被配置用于對(duì)所述第一深度獲取功能的輸出與所述第二深度獲取功能的輸出取平均。
18. 如權(quán)利要求12所述的系統(tǒng)(100)，其中所述三維獲取模塊(116)還被配置用于將第一加權(quán)值應(yīng)用于所述第一深度獲取功能的輸出，并且將第二加權(quán)值應(yīng)用于所述第二深度獲取功能的輸出。
19. 如權(quán)利要求18所述的系統(tǒng)(100)，其中所述至少兩個(gè)二維圖像包括立體像對(duì)的左眼視圖和右眼視圖，由左眼圖像和右眼圖像之間的對(duì)應(yīng)像素對(duì)的左眼圖像中的像素的亮度確定所述第一加權(quán)值。
20. 如權(quán)利要求14所述的系統(tǒng)(100)，還包括三維重構(gòu)模塊(114)，其被配置用于從所生成的深度圖重構(gòu)場(chǎng)景的三維模型。
21. 如權(quán)利要求12所述的系統(tǒng)(100)，其中所述三維獲取模塊(116)還被配置用于對(duì)齊所述至少兩個(gè)二維圖像。
22. 如權(quán)利要求21所述的系統(tǒng)(100)，還包括特征點(diǎn)檢測(cè)器(119)，其被配置用于在所述至少兩個(gè)二維圖像之間匹配特征。
23. 如權(quán)利要求12所述的系統(tǒng)(100)，其中所述三維獲取模塊(116)還被配置用于至少將第三深度獲取功能應(yīng)用于所述至少兩個(gè)二維圖像，至少將第四深度獲取功能應(yīng)用于所述至少兩個(gè)二維圖像，將所述第三深度獲取功能的輸出與所述第四深度獲取功能的輸出組合，并且將所組合的所述第一深度獲取功能和第二深度獲取功能的輸出與所組合的所述第三深度獲取功能和第四深度獲取功能的輸出進(jìn)行組合。
24. —種可由機(jī)器讀取的程序存儲(chǔ)裝置，所述程序存儲(chǔ)裝置有形地體現(xiàn)可由所述機(jī)器執(zhí)行以進(jìn)行用于從二維圖像獲取三維信息的方法步驟的指令的程序，所述方法包括獲取場(chǎng)景的至少兩個(gè)二維圖像(202);將第一深度獲取功能應(yīng)用于所述至少兩個(gè)二維圖像(214);將第二深度獲取功能應(yīng)用于所述至少兩個(gè)二維圖像(218);將所述第一深度獲取功能的輸出與所述第二深度獲取功能的輸出組合(222);并且從所組合的所述第一深度獲取功能和第二深度獲取功能的輸出生成視差圖。
全文摘要
提供了一種使用二維圖像進(jìn)行場(chǎng)景的三維獲取和建模的系統(tǒng)和方法。本公開(kāi)提供了一種系統(tǒng)和方法，用于選擇和組合最適合考慮中的捕捉環(huán)境和條件并且因而產(chǎn)生更精確的三維模型的三維獲取技術(shù)。該系統(tǒng)和方法提供用于獲取場(chǎng)景的至少兩個(gè)二維圖像(202)，將第一深度獲取功能應(yīng)用于所述至少兩個(gè)二維圖像(214)，將第二深度獲取功能應(yīng)用于所述至少兩個(gè)二維圖像(218)，將所述第一深度獲取功能的輸出與所述第二深度獲取功能的輸出組合(222)，并且從所組合的輸出生成視差或者深度圖。所述系統(tǒng)和方法還提供用于從所生成的視差或者深度圖重構(gòu)場(chǎng)景的三維模型。
文檔編號(hào)G06T7/00GK101785025SQ200780053752
公開(kāi)日2010年7月21日 申請(qǐng)日期2007年7月12日 優(yōu)先權(quán)日2007年7月12日
發(fā)明者伊扎特·H·伊扎特, 安娜·B·貝尼特斯, 張冬青 申請(qǐng)人:湯姆森特許公司