根據(jù)圖像的自動化紋理映射和動畫繪制的制作方法
【技術領域】
[0001]本發(fā)明的技術領域涉及根據(jù)目標對象的照片來生成用于物理對象的3D模型表示的紋理圖。
【背景技術】
[0002]許多消費品具有相對簡單的形狀，這些相對簡單的形狀可以被分成有限數(shù)量的可能的通用形狀，諸如，盒子和圓柱體。給定通用形狀的消費品，則可以利用相應的尺寸、形狀和外觀來生成該產(chǎn)品或對象的數(shù)字表示。特別地，通過下列各項來生成數(shù)字表示:(i)對由主題通用形狀所形成的3D模型的一個或兩個維度進行縮放，以及(ii)將消費品的外表面的圖像應用到3D模型的表面上。在申請人的美國專利N0.8，570，343中公開了一種用于根據(jù)對象的校準的2D圖像來生成這樣的3D模型的自動化方法。
[0003]與消費品的一般尺寸和形狀不同，對于每一個個體產(chǎn)品來說，產(chǎn)品的紋理和外觀通常是獨特的，以足以將該個體產(chǎn)品與任何其它產(chǎn)品區(qū)分開。為了生成產(chǎn)品的準確的數(shù)字表示，必須捕獲該產(chǎn)品的紋理并且應用到相應的3D模型，該過程被稱為紋理映射。通常，為了生成對象(產(chǎn)品)的紋理圖，從不同的角度來捕獲對象的圖像，并且隨后被拼接在一起以形成2D紋理圖，所述2D紋理圖具有與相應的3D模型的表面匹配的形狀。假定消費用商品的多個零售商具有計數(shù)超過一百萬的獨特產(chǎn)品，則生成它們的庫存的數(shù)字表示涉及針對每一個產(chǎn)品來獲得并且生成紋理圖，這是一項有潛力成為極端勞動密集型的任務。存在針對以低成本和高容量來獲得現(xiàn)實世界對象(例如，產(chǎn)品)的紋理圖，并且將該紋理圖表達為數(shù)字形式，作為該對象的3D表示的需求。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的實施例提供了用于根據(jù)對象的圖像來生成用于對象的3D模型的紋理圖的方法和裝置。所紋理映射的3D模型可以使得內(nèi)容生成能夠用于3D交互式體驗和3D交互式模擬，包括但不限于，在線購物/觀看和視頻游戲。
[0005]本發(fā)明的示例性實施例是一種方法，其包括:捕獲用于觀看目標對象的視野的圖像。所捕獲的圖像具有:(i)目標對象的直視圖，以及(ii)從至少一個反射面產(chǎn)生目標對象的一個或多個反射視圖的至少一個反射。所捕獲的圖像中的直視圖被稱為目標對象的直接圖像，以及反射視圖被稱為目標對象的反射圖像。該方法還包括:將所捕獲的圖像中的目標對象的反射圖像與直接圖像分離，減小反射圖像中的失真以提供至少一個失真減小的反射圖像，根據(jù)目標對象的直接圖像和目標對象的失真減小的反射圖像來生成至少一個紋理圖，以及將紋理圖投影到表示目標對象的3D模型上。
[0006]減小反射圖像中的失真可以包括下列各項中的至少一項:按照目標對象的尺寸對反射圖像進行縮放，校正反射圖像中的透視失真，以及基于至少一個反射面(在目標對象的視野中)的位置和目標對象的形狀來對反射圖像進行整形。
[0007]該方法還可以包括:隨著目標對象從第一位置移動到第二位置，捕獲目標對象的(或許不同視野中的)多個圖像，以及根據(jù)多個圖像來生成多個紋理圖。
[0008]在一些實施例中，該方法還包括:檢測目標對象的直接圖像和反射圖像之間的、以及第一反射圖像和第二反射圖像之間的重疊。在一些實施例中，該方法還包括:從所捕獲的圖像中去除所檢測到的重疊。
[0009]在另一個實施例中，該方法包括:檢測目標對象的運動，使所檢測到的目標對象的運動與3D模型相關以生成3D模型的相應的運動，以及基于3D模型的相應的運動來從相應的第一位置到相應的第二位置動畫繪制3D模型。
[0010]在一些實施例中，分離所捕獲的圖像中的目標對象的反射圖像包括:檢測所捕獲的圖像中的失真區(qū)域，以及將所檢測到的區(qū)域標記為目標對象的反射圖像。
[0011 ] 在一個實施例中，反射面包括第一反射面和第二反射面，以及相應的目標對象的第一反射視圖和第二反射視圖。反射圖像包括第一反射視圖的圖像(被稱為第一反射圖像)和第二反射視圖的圖像(被稱為第二反射圖像)。在一些實施例中，目標對象的第一反射視圖和第二反射視圖以及直視圖觀測目標對象的周圍的至少一部分。
[0012]在另一個實施例中，反射面包括第一反射面、第二反射面和第三反射面。至少一個反射包括來自于第一反射面的目標對象的第一反射視圖、來自于第二反射面的目標對象的第二反射視圖和來自于第三反射面的目標對象的第三反射視圖。反射圖像包括第一反射視圖、第二反射視圖和第三反射視圖各自的第一反射圖像、第二反射圖像和第三反射圖像。在一些實施例中，目標對象的第一反射視圖和第二反射視圖以及直視圖觀測目標對象的周圍的至少一部分，同時第三反射視圖對目標對象的頂面或者底面進行成像。
[0013]另一個示例性實施例是一種用于利用單個圖像來生成用于由目標對象產(chǎn)生的3D模型的紋理圖的系統(tǒng)。該系統(tǒng)包括:照相機(其具有視野)、照相機的視野中的一個或多個反射面、以及圖像處理設備。一個或多個反射面被放置以向照相機反射目標對象的一個或多個反射圖像。照相機捕獲具有下列各項的單個圖像:⑴目標對象的直接圖像，以及(ii)目標對象的反射圖像。圖像處理設備對所捕獲的圖像中的目標對象的一個或多個反射圖像進行分離，減小一個或多個反射圖像中的失真，以及基于目標對象的形狀、直接圖像和減小失真的一個或多個反射圖像來生成紋理圖。減小一個或多個反射圖像中的失真可以包括:對反射圖像進行縮放以與視野中的目標對象的尺寸相對應。圖像處理可以從直接圖像中去除失真。
[0014]將所捕獲的圖像中的目標對象的一個或多個反射圖像與直接圖像分離可以包括:檢測所捕獲的圖像中的一個或多個失真區(qū)域，以及將所檢測到的區(qū)域標記為目標對象的反射圖像。
[0015]在一個實施例中，圖像處理設備檢測直接圖像和反射圖像中的任何圖像之間的重疊，并且從所捕獲的圖像中去除所檢測到的重疊。
[0016]在一些實施例中，隨著目標對象從第一位置移動到第二位置，照相機生成視野的多個捕獲的圖像，以及圖像處理設備根據(jù)多個圖像來生成多個紋理圖。
[0017]在一些實施例中，圖像處理設備檢測目標對象的運動，使所檢測到的目標對象的運動與3D模型相關以生成3D模型的相應的運動，以及基于3D模型的相應的運動來從相應的第一位置到相應的第二位置動畫繪制3D模型。
【附圖說明】
[0018]如在附圖中所示出的，根據(jù)下面對本發(fā)明的示例實施例的更具體的描述，前述內(nèi)容將是顯而易見的，在附圖中，貫穿不同的視圖，相同的附圖標記指代相同的部件。這些圖不必依比例進行繪制，而是將重點放在說明本發(fā)明的實施例上。
[0019]圖1是示出了根據(jù)所公開的實施例的方面的本發(fā)明的三反射鏡圖像捕獲系統(tǒng)的示意圖。
[0020]圖2是示出了根據(jù)所公開的實施例的方面具有擋板的圖像捕獲系統(tǒng)的示意圖。
[0021]圖3A-3B是根據(jù)所公開的實施例的方面的對象和由三反射鏡圖像捕獲系統(tǒng)產(chǎn)生的圖像捕獲的圖示。
[0022]圖4A-4B是根據(jù)所公開的實施例的方面對圖3B的所捕獲的圖像中的梯形畸變進行檢測和去除的圖示。
[0023]圖5A-5B是根據(jù)所公開的實施例的方面使用反射鏡的尺寸和位置來對反射的圖像片段進行縮放的圖示。
[0024]圖6A-6B是根據(jù)所公開的實施例的方面按照對象的尺寸來對反射的片段進行縮放的圖示。
[0025]圖7A-7B是根據(jù)所公開的實施例的方面對反射的圖像片段進行縮放和對準的圖不O
[0026]圖8A、8C和8D是根據(jù)所公開的實施例的方面的目標對象上的共同區(qū)域的兩個反射的圖示。
[0027]圖8B是兩個反射鏡以及它們的交叉線的示意圖。
[0028]圖9A-9C是根據(jù)所公開的實施例的方面對重疊消除以生成共同表面的圖示。
[0029]圖1OA是根據(jù)所公開的實施例的方面包括圖7B的所縮放的和所對準的反射片段以及圖9C的合并的共同表面的圖像的圖示。
[0030]圖1OB是根據(jù)所公開的實施例的方面、根據(jù)圖1OA的圖像所生成的紋理圖的圖示。
[0031]圖1lA是根據(jù)所公開的實施例的方面的圓柱體對象的圖示。
[0032]圖1lB是由對圖1lA的圓柱體對象進行成像的本發(fā)明的實施例所產(chǎn)生的紋理圖的圖示。
[0033]圖12A是根據(jù)本發(fā)明的三反射鏡實施例的方面的運動對象的多個圖像捕獲中的一個圖像捕獲的圖示。
[0034]圖12B是根據(jù)所公開的實施例的方面、根據(jù)圖12A的運動對象的圖像所生成的紋理圖和相關聯(lián)的矢量。
[0035]圖12C是根據(jù)所公開的實施例的方面的圖12A的運動對象的3D模型以及相關聯(lián)的平移和旋轉矢量。
[0036]圖13A-13B是根據(jù)所公開的實施例的方面、根據(jù)圖像來生成紋理圖的流程圖。
[0037]圖14A是部署本發(fā)明的實施例的示例性計算機網(wǎng)絡。
[0038]圖14B是實現(xiàn)本發(fā)明的實施例的示例性計算機。
【具體實施方式】
[0039]下面描述本發(fā)明的示例性實施例。
[0040]在本文中所引用的所有專利、公開的申請和參考資料的教導都通過引用方式將其全部內(nèi)容合并于此。
[0041 ] 已經(jīng)使用計算機3D建模技術來建立3D包裝的商品以用于在商店內(nèi)部的交互式3D模擬中展示。特別地，已經(jīng)使用3D建模來實現(xiàn)終端用戶觀看產(chǎn)品和/貨架背景的虛擬體驗，以及“拿起”產(chǎn)品來觀看并且在線閱讀產(chǎn)品包裝文字的虛擬體驗。
[0042]在為了店內(nèi)展示而建立包裝商品的3D模型的應用中，已經(jīng)使用兩種策略來建立3D模型內(nèi)容和紋理圖貨架或包裝商品。
[0043]第一策略使用已知的通用建模應用來根據(jù)照片和產(chǎn)品測量信息使用對3D模型的手動生成。雖然可以對用于系統(tǒng)地產(chǎn)生較大數(shù)量的3D模型的工作流進行規(guī)劃和組織，但是工作單元仍然是基于對形狀的手動建模和對紋理圖的手動生成。
[0044]第二策略使用通用的基于照片的3D建模應用。存在各種各樣的用于解決根據(jù)物理對象來生成3D模型的通常問題的商用軟件和方法?，F(xiàn)有的方法使用標準的數(shù)碼相機捕獲現(xiàn)實世界對象作為完全紋理的3D模型。
[0045]通用的產(chǎn)品(包裝商品)的照片建模很好地工作，以產(chǎn)生小數(shù)量的產(chǎn)品模型。該技術的主要限制在于根據(jù)多張數(shù)碼照片所生成的3D模型需要大量的手動勞動來校正缺陷和對幾何形狀進行重新縮放用于在在線3D應用中使用?，F(xiàn)有解決方案的限制是基于處理3D模型用于在計算機應用中使用所需要的手動(專家級3D藝術家)工作的量的。由于(在復雜的、通用的3D建模應用中)必須部分地或完全地用手來生成每一個模型，所以基于該過程的任何建模工作流都是不可擴展的。
[0046]利用基于照片建模系統(tǒng)的3D模型所觀察到的第二問題是幾何網(wǎng)格的不規(guī)則性。不規(guī)則的網(wǎng)格使得下游對模型的調整大小/處理更加困難，并且將工作流鎖定到將來的對模型內(nèi)容的手動編輯和手動調整的循環(huán)中。
[0047]現(xiàn)有技術的缺點是在內(nèi)容制作過程中對3D模型的下游編輯的依賴。這是個問題，因為輸入數(shù)