據(jù)隨著新圖像而不斷地被更新，以及輸出規(guī)格可能由于在線顧客體驗(yàn)應(yīng)用中的新需求/改善而轉(zhuǎn)變。對手動(dòng)編輯的依賴將內(nèi)容制作鎖定到連續(xù)不斷的手工編輯的循環(huán)中。
[0048]用于處理現(xiàn)有技術(shù)中的這些缺陷的一種策略是使用標(biāo)準(zhǔn)化的3D模型。給定相似類型的不同產(chǎn)品之間的廣泛的相似性，則可以生成通用的3D模型來近似許多不同種類的產(chǎn)品的形狀。可以基于現(xiàn)實(shí)世界產(chǎn)品的校準(zhǔn)圖像來對這些通用的3D模型進(jìn)行縮放，以及可以將個(gè)體的紋理圖應(yīng)用到縮放的模型來表示該產(chǎn)品。
[0049]用于根據(jù)現(xiàn)實(shí)世界對象來生成紋理圖的現(xiàn)有技術(shù)的設(shè)備和方法通常獲得對象的多張照片，其中當(dāng)將所述多張照片拼接在一起來匹配3D模型的表面時(shí)，將該對象重新放置在每一張照片之間，以生成該對象的完整的紋理圖。使用兩張照片的現(xiàn)有技術(shù)系統(tǒng)是最簡單的，以及可以僅從兩個(gè)面來對像平板的一些對象進(jìn)行有效地拍攝。由于兩張照片被拼接在一起的區(qū)域中的失真，所以增加容量的對象在現(xiàn)實(shí)世界對象和根據(jù)僅兩個(gè)圖像所生成的紋理映射的3D模型之間出現(xiàn)不一致。在雙照片系統(tǒng)中，由照相機(jī)和對象的表面之間的淺角度(shallow angle)造成的失真是最高的。并且現(xiàn)實(shí)世界對象的某些形狀(像立方體)具有特定的方位(例如，垂直于一個(gè)面)，這阻礙了雙圖像系統(tǒng)對該對象的外圍的一半的觀測。當(dāng)該對象具有單個(gè)主縱軸時(shí)，以及當(dāng)水平橫截面為圓形的或凸面的時(shí)，使用兩個(gè)圖像的現(xiàn)有技術(shù)系統(tǒng)具有失真的結(jié)果。這樣的系統(tǒng)使用來自于正面的圖像和來自于后面的圖像。通常，3D模型上的紋理在正面圖像和后面圖像結(jié)合的該模型的接縫區(qū)域、左區(qū)域和右區(qū)域中是失真的。
[0050]現(xiàn)實(shí)世界對象的額外的照片通過使得所有表面能夠被成像并且通過減小圖像接縫處由于各個(gè)圖像之間的重疊的增加而引起的失真來改善數(shù)字表示。其它現(xiàn)有技術(shù)系統(tǒng)采用旋轉(zhuǎn)臺或者具有旋轉(zhuǎn)臺的伸縮臂來準(zhǔn)確地捕獲目標(biāo)對象的多個(gè)圖像。然而，這些旋轉(zhuǎn)臺系統(tǒng)需要高精度來將目標(biāo)對象放置在該臺的中央，這增加了時(shí)間和那些系統(tǒng)的復(fù)雜度。存在針對下述的需求:根據(jù)從單個(gè)照相機(jī)拍攝的而且在沒有針對將目標(biāo)對象精確地放置在照相機(jī)的視野中的需求的情況下拍攝的單個(gè)圖像來生成對象的紋理圖的紋理映射系統(tǒng)。
[0051]由申請人在本文中所公開的本系統(tǒng)和相應(yīng)的方法利用單個(gè)照相機(jī)將目標(biāo)對象的多個(gè)視圖捕獲在單個(gè)圖像中，并且生成具有與該目標(biāo)對象的形狀相類似的形狀的3D模型的紋理圖。
[0052]圖1是示出了本發(fā)明的三反射鏡圖像捕獲系統(tǒng)實(shí)施例的示意圖。圖像捕獲系統(tǒng)100包括照相機(jī)110、反射鏡120a、120b、120c和圖像處理器150。圖1示出了照相機(jī)110的視野111和放置在其中(在照相機(jī)110的視野111中)的三個(gè)反射鏡120a、120b、120c。更具體地，將目標(biāo)對象130放置在照相機(jī)的視野111中，并且將兩個(gè)反射鏡120a、120b放置在照相機(jī)的視野111中的目標(biāo)對象130的任一側(cè)。將第三反射鏡120c放置在目標(biāo)對象130之上。利用該配置，照相機(jī)110在單個(gè)圖像中捕獲目標(biāo)對象130的正視圖、頂視圖和外圍視圖(periphery view)。目標(biāo)對象130的底面未被捕獲。
[0053]反射鏡120a_b在照相機(jī)的視野111中具有相關(guān)聯(lián)的視場122a_b。反射鏡120a_b均向照相機(jī)110反射目標(biāo)對象130的外圍的一部分。放置頂部反射鏡120c，以向照相機(jī)110反射包括對象130的頂面的視圖。
[0054]在操作中，照相機(jī)的視野111使照相機(jī)110能夠一起捕獲對象130的正面圖像以及來自于反射鏡120a和120b的對象130的兩個(gè)反射圖像121a_b。由頂部反射鏡120c向照相機(jī)110提供第三反射圖像(未示出)，使得對象130的頂面在照相機(jī)的視野111中是可見的。因此，照相機(jī)110在(視野111的)單個(gè)數(shù)字圖像中捕獲對象130的直視圖和對象130的三個(gè)反射視圖。
[0055]耦合圖像處理器150以從照相機(jī)110接收數(shù)字圖像。所捕獲的數(shù)字圖像(即，視野111中的圖像)是由照相機(jī)110輸出的，并且由圖像處理器150接收為輸入。隨后并且如在圖3-11中詳述的，圖像處理器150生成對象130的紋理圖。
[0056]圖2是示出了具有擋板的圖像捕獲系統(tǒng)的示意圖。圖2示出了在照相機(jī)210的視野211中采用兩個(gè)反射鏡220a-b來生成包括目標(biāo)對象230的正視圖和反射視圖225a_b的單個(gè)圖像(圖3B的300)的圖像捕獲系統(tǒng)200。在所示出的圖像捕獲系統(tǒng)200中，照相機(jī)210面對要被紋理化的目標(biāo)對象230。可以將目標(biāo)對象230放置在表面202上。可以以已知的角度將兩個(gè)反射鏡220a-b放置在目標(biāo)對象230后面的表面202上，并且每一個(gè)反射鏡220a-b向照相機(jī)210發(fā)送目標(biāo)對象230的反射視圖225a_b，而不干擾視野211中目標(biāo)對象230的正面的直視圖對于照相機(jī)210的可見。每一個(gè)反射視圖225a、225b向照相機(jī)210提供目標(biāo)對象230的后面的一部分和相應(yīng)的面。照相機(jī)210捕獲視野211中的(圖3B中所示出的)圖像，并且向圖像處理器250提供該圖像以生成對象230的紋理圖。
[0057]由于反射鏡220a_b反射比目標(biāo)對象230的反射視圖225a_b更寬的視圖，所以虛線(其被示出為反射鏡的視野222a-b)表示每一個(gè)反射鏡220a-b的最大反射角(并且因此整個(gè)視圖)。兩個(gè)白色擋板240a-b簡化由照相機(jī)210所成像的視野211。如果第三反射鏡(未示出)被用在對象230的頂部的后上部中，則第三反射鏡反射目標(biāo)對象230的頂部以及后面的一部分的圖像，而不干擾目標(biāo)對象230的正面圖像。將兩個(gè)擋板240a-b放置在反射鏡220a-b的視野222a-b中，以生成照相機(jī)210的視野211中的反射鏡220a_b的反射視圖225a-b周圍的背景。擋板240a-b通過提供例如與目標(biāo)對象230上所發(fā)現(xiàn)的任何項(xiàng)不相同的均勻顏色的無特征表面來改善對視野211中的反射視圖225a-b的檢測。轉(zhuǎn)而，這使得圖像處理器250能夠容易地識別來自于照相機(jī)210的所捕獲的圖像中的目標(biāo)對象230。
[0058]由于照相機(jī)210相對于反射鏡220a_b的位置是固定的和已知的，所以由照相機(jī)210所捕獲的圖像中的每一個(gè)像素與任何一個(gè)位于從目標(biāo)對象230到反射鏡220a-b的已知的入射線上的點(diǎn)相對應(yīng)(例如，在反射視圖225a_b中)，或者與任何一個(gè)位于目標(biāo)對象230的表面上的點(diǎn)相對應(yīng)。在反射鏡220a-b的圖像之間存在重疊270，使得目標(biāo)對象230的一部分在兩個(gè)反射視圖225a-b的接合處被表示了兩次。這使得目標(biāo)對象230的紋理能夠?qū)ο嗨菩螤畹南鄳?yīng)的3D模型進(jìn)行連續(xù)地覆蓋(wrap)。另外，由于反射鏡220a_b僅看到目標(biāo)對象230的投影，所以重疊270趨向于顯示不必然存在的邊緣。反射鏡220a-b的兩個(gè)反射視圖225a-b之間的重疊區(qū)域270中的目標(biāo)對象230的表面是在入射線在這兩個(gè)反射鏡220a-b上的交叉處的。圖像處理器250可以確定重疊270，并且選擇具有最佳清晰度的重疊用于紋理圖。照相機(jī)220和反射鏡220a-b的固定位置使得重疊區(qū)域270中的目標(biāo)對象230的3D形狀能夠被確定。該檢測到的3D形狀可以被用于縮放并且應(yīng)用來自于目標(biāo)對象230的相應(yīng)的通用的3D模型形狀的仿射函數(shù)。通過使用被設(shè)置為孔徑足夠小以將目標(biāo)對象230和反射鏡220a-b的反射視圖225a_b 二者聚焦在視野211中的照相機(jī)鏡頭(未示出)來處理任何景深問題。
[0059]從目標(biāo)對象230至照相機(jī)的距離不是決定性的，這是由于可以根據(jù)對象的已知測量結(jié)果(例如，對象的高度或?qū)挾?來推斷該距離。換言之，可以根據(jù)已知的測量結(jié)果來近似目標(biāo)對象230相對于照相機(jī)210的位置。另外，目標(biāo)對象230相對于照相機(jī)210的方位不是決定性的，這是由于圖像處理器250基于相應(yīng)的通用的3D模型的表面來調(diào)整所生成的紋理圖。有利地是，與具有旋轉(zhuǎn)臺的現(xiàn)有技術(shù)系統(tǒng)需要將對象精確地放置在旋轉(zhuǎn)臺的中央相比，所示出的圖像捕獲系統(tǒng)200對于目標(biāo)對象230的偏離中心的放置具有明顯更高的容忍度。
[0060]圖3A-B是根據(jù)所公開的實(shí)施例的方面的目標(biāo)對象330和由三反射鏡圖像捕獲系統(tǒng)所捕獲的作為結(jié)果的圖像300的圖示。圖3A示出了具有包括可視的正(F)面、右(R)面和頂(T)面以及不可視的左(L)面和后(B)面的立方體形狀的目標(biāo)對象330。例如，對象330表示容納消費(fèi)品的盒子或者具有六個(gè)面的相似形狀的任何通用的消費(fèi)包裝。圖3B是利用與圖1和圖2中所示出的系統(tǒng)(其具有另外的頂面反射鏡)相類似的圖像捕獲100、200系統(tǒng)所拍攝的目標(biāo)對象330的數(shù)字圖像300。數(shù)字圖像300包括均勻的背景311和對象330的正面F的直視圖312。在圖像300中，右鏡面反射325a、左鏡面反射325b和頂部的鏡面反射325c存在于該對象的直視圖312的周圍。鏡面反射325a-c的位置與照相機(jī)的視野中的反射鏡的物理位置相對應(yīng)。右鏡面反射325a包括目標(biāo)對象330的右(R)面和后面的右反射視圖330a。左鏡面反射325b包括目標(biāo)對象330的左(L)面和后面的左反射視圖330b。頂部的鏡面反射325c包括目標(biāo)對象330的頂部(T)和后面的頂部反射視圖330c。與正視圖312相比，目標(biāo)對象的反射視圖330a-c包括由反射鏡的角度產(chǎn)生的透視失真和長度壓縮，并且包括由至照相機(jī)的距離的增加產(chǎn)生的縮放效果。
[0061]圖4A-B是根據(jù)所公開的實(shí)施例的方面使用圖3B的示例性捕獲的圖像300來進(jìn)行透視校正和鏡像的圖示。圖4A示出了與圖3B中所示出的所捕獲的圖像300相類似的數(shù)字圖像400，但是其中去除了目標(biāo)對象330的正面的直視圖(圖3B中的312)。相應(yīng)的輪廓化的鏡面反射325a_c中的目標(biāo)對象的反射視圖330a_c包括較小的梯形畸變效應(yīng)，還被稱為梯形失真或者透視失真。出于說明的目的，在圖3B和圖4A中對該效應(yīng)進(jìn)行了極大地夸大。在圖像處理之前，圖像處理器150、250刪除并且去除所捕獲的圖像400中的背景311，只留下該目標(biāo)對象的反射視圖330a-c和該目標(biāo)對象的直視圖(未示出)。
[0062]存在于鏡面反射325a_c和反射視圖330a_c (或者由每一個(gè)反射鏡所反射的對象的圖像)中的梯形畸變效應(yīng)是每一個(gè)反射鏡相對于照相機(jī)的角度的結(jié)果。反射鏡-照相機(jī)的角度導(dǎo)致如由照相機(jī)鏡頭所接收的該對象的失真的反射。例如，由以相對于照相機(jī)110，210 一角度放置的反射鏡120、220對方形對象的反射(反射圖像121a-b、225a-b)呈梯形的形狀。圖像處理器150、250通過擴(kuò)大反射圖像121a-b、225a-b的短邊(S卩，離照相機(jī)最遠(yuǎn)的鏡面反射325a_c或反射視圖330a_c的邊緣)，或者通過縮短反射圖像121a_b、225a_b的長邊(即，最靠近照相機(jī)的鏡面反射325a_c或反射視圖330a_c的邊緣)，來消除這樣的透視失真。在圖4B的示例中，圖像處理器150、250對反射圖像視圖330a-c應(yīng)用透視校正，其在工作數(shù)字圖像401中產(chǎn)生無透視失真的圖像431a-c。在消除透視失真之后，圖像處理器150、