專利名稱：用于處理視頻圖像的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明總的涉及處理圖形圖像。
背景技術(shù)：
許多技術(shù)已經(jīng)被提出，并且在許多情形中已經(jīng)被實現(xiàn)來執(zhí)行一個或者多個二維圖像到一個或者多個立體三維圖像的轉(zhuǎn)換。二維圖像到三維圖像的轉(zhuǎn)換涉及到為每個三維幀創(chuàng)建一對立體圖像。然后使用適合的顯示設(shè)備，可以將立體圖像呈現(xiàn)給觀察者的左眼和右眼。根據(jù)場景中的對象和場景的觀察者之間的計算出的空間關(guān)系，相應(yīng)的立體圖像之間的圖像信息不同。圖像信息中的差別使得觀察者能夠感覺到三維效果。
在美國專利第6,477,267號(‘267專利)中描述了轉(zhuǎn)換技術(shù)的一個例子。在‘267專利中，只對給出的二維圖像中所選擇的對象進(jìn)行處理以取得最終三維圖像中的三維效果。在‘267專利中，最初是通過描繪對象的輪廓來選擇對象以進(jìn)行這種處理。所選擇的對象被分配一“深度”值，該“深度”值代表對象離開觀察者的相對距離。針對依賴于所分配的深度值的一對立體圖像中的每個圖像，執(zhí)行所選對象的橫向位移。本質(zhì)上，發(fā)生“剪切-粘貼”操作以創(chuàng)建三維效果。對象的簡單位移在對象的背景中產(chǎn)生了縫隙或者空白區(qū)域?！?67專利中公開的系統(tǒng)通過“伸展”對象的背景以填充空白區(qū)域來補(bǔ)償縫隙。
‘267專利有許多局限性。具體地，伸展操作會引起被伸展對象的變形。伸展需要被最小化以減小視覺的異常。伸展量還對應(yīng)于對象與其背景之間的差別或視差，并且伸展量是其距觀察者的相對距離的函數(shù)。因此，相互作用的對象的相對距離必須保持較小。
在美國專利第6,466,205號(‘205專利)中描述了轉(zhuǎn)換技術(shù)的另一例子。在‘205專利中，對視頻幀的序列進(jìn)行處理以選擇對象并且創(chuàng)建所選對象的“單元(cell)”或者“消光(mattes)”，其基本上僅僅包括與它們各自的對象相關(guān)的信息。在給定幀中，由另一對象對所選對象的局部遮蔽通過在時間上搜索視頻幀序列以識別其中第一對象的相同部分未被遮蔽的其它的幀來處理。因此，即使完整的對象沒有出現(xiàn)于任何的單個幀中，也可以為完整的對象創(chuàng)建單元。這種處理的優(yōu)點是在為了提供三維效果而移置對象時不會出現(xiàn)縫隙或者空白區(qū)域。具體地，會成為空白的一部分背景或者其它對象可以用從時間序列中的其它幀獲得的圖形信息來填充。因此，三維圖像的再現(xiàn)可以以有利的方式出現(xiàn)。
發(fā)明內(nèi)容
一些典型的實施例旨在通過處理一系列的二維圖像，以生成由該系列的圖像所描述的實物世界的表示，從而創(chuàng)建“虛擬世界”。虛擬世界表示包括對象模型，該對象模型指定虛擬世界內(nèi)對象的位置、對象的幾何形狀、對象的維數(shù)、對象的表面表示和/或其它相關(guān)的信息。通過開發(fā)虛擬世界表示，可以運(yùn)用許多圖像處理效果。
在一實施例中，可以創(chuàng)建立體圖像。為了創(chuàng)建一對立體圖像，利用兩個不同的相機(jī)位置，再現(xiàn)虛擬世界的兩個單獨的視圖，其對應(yīng)于觀察者的左眼和右眼。以這種方式再現(xiàn)的立體圖像產(chǎn)生的三維效果比采用公知的轉(zhuǎn)換技術(shù)可能得到的感覺質(zhì)量更好。具體地，使用三維幾何學(xué)進(jìn)行表面重構(gòu)實現(xiàn)了比采用二維相關(guān)性時可能實現(xiàn)的更加精確的對象表示。
在一實施例中，通過使用編輯應(yīng)用軟件，將算法分析和手動輸入應(yīng)用于一系列的二維圖像上。編輯應(yīng)用軟件的圖形用戶界面使“編輯者”能夠控制圖像處理算法和相機(jī)重構(gòu)算法的操作以開始對象模型的創(chuàng)建。運(yùn)用算法的同時，編輯者可以通過圖形用戶界面提供用戶輸入來精致對象模型。通過協(xié)調(diào)手動和自動圖像操作，可以以高效的方式將二維序列轉(zhuǎn)換成虛擬世界表示。因此，諸如二維到三維轉(zhuǎn)換的進(jìn)一步的圖像處理可以以比使用已知處理技術(shù)更高效和更精確的方式發(fā)生。
上述內(nèi)容相當(dāng)廣泛地概括了本發(fā)明的特征和技術(shù)優(yōu)點，從而使得能更好地理解下面的本發(fā)明的詳細(xì)描述。本發(fā)明另外的特征和優(yōu)點將在下文中描述，其形成本發(fā)明權(quán)利要求的主題。應(yīng)該理解，所公開的構(gòu)思和具體實施例可以被方便地用作修改或設(shè)計其它結(jié)構(gòu)以用于實現(xiàn)本發(fā)明的相同目的的基礎(chǔ)。應(yīng)該意識到，這種等同的構(gòu)造并不脫離如所附權(quán)利要求所述的發(fā)明。在結(jié)合附圖考慮時，根據(jù)下面的描述，將更好地理解與本發(fā)明的結(jié)構(gòu)和操作方法有關(guān)的、被認(rèn)為是本發(fā)明的特性的新穎特征，以及更多的目的和優(yōu)點。然而，應(yīng)該清楚地理解，所提供的每個圖只是為了說明和描述的目的，并不是作為本發(fā)明的限制的限定。
為了更加完整地理解本發(fā)明，現(xiàn)在結(jié)合附圖，參考下面的描述，其中圖1示出了視頻序列的關(guān)鍵幀。
圖2示出了根據(jù)一個典型實施例生成的來自圖1所示視頻序列的對象的表示。
圖3示出了根據(jù)一個典型實施例生成的三維場景的俯視圖。
圖4和5示出了根據(jù)一個典型實施例生成的立體圖像。
圖6示出了根據(jù)一個典型實施例，從視頻序列開發(fā)三維場景模型的一組相關(guān)過程。
圖7示出了根據(jù)一個典型實施例，用于產(chǎn)生紋理數(shù)據(jù)的流程圖。
圖8示出了根據(jù)一個典型實施例實現(xiàn)的系統(tǒng)。
圖9示出了根據(jù)一個典型實施例的其中對象可以利用三維模型來表示的一組幀。
具體實施例方式
參考附圖，圖1示出了根據(jù)一些典型實施例可以處理的視頻圖像序列100。視頻圖像序列100包括關(guān)鍵幀101-104。在這些關(guān)鍵幀之間可以存在多個其它幀。
如圖1所示，球體105具有多個色調(diào)和/或色度容量(chromaticcontent)。球體150的一半使用第一色調(diào)151來再現(xiàn)，并且球體150的另一半使用第二色調(diào)152來再現(xiàn)。球體150通過視頻序列100經(jīng)歷旋轉(zhuǎn)變換。因此，在關(guān)鍵幀102中，相對于關(guān)鍵幀101，可以看到更大量的色調(diào)151。在關(guān)鍵幀103中，充分的旋轉(zhuǎn)已經(jīng)發(fā)生，使得僅球體150的色調(diào)151是可見的。在關(guān)鍵幀104中，與關(guān)鍵幀101中的色調(diào)152的位置相比，在球體150的相對側(cè)上，色調(diào)152再次變?yōu)榭梢姟?br>
盒子160在視頻序列100中經(jīng)歷縮放變換。具體地，盒子160遍及視頻序列100變得更小。而且，在視頻序列100期間，盒子160被平移。最后，盒子160的運(yùn)動使得盒子160被球體150遮蔽。在關(guān)鍵幀104中，盒子160不再可見。
根據(jù)公知的圖像處理技術(shù)，通過分割或者消光(matting)來自關(guān)鍵幀103的球體150，將產(chǎn)生針對關(guān)鍵幀103的立體圖像。用于球體150的被分割或被消光的圖像數(shù)據(jù)將包括單一色調(diào)(即色調(diào)151)。被分割或者被消光的圖像數(shù)據(jù)可以在立體視圖中被替換。另外，可以進(jìn)行圖像填充或者對象伸展以處理由替換導(dǎo)致的空白區(qū)域。由于不能精確再現(xiàn)球體150的多色調(diào)表面特征，許多公知的圖像處理技術(shù)的局限性被顯現(xiàn)出來。具體地，因為根據(jù)公知圖像處理技術(shù)的立體圖像的生成僅使用了經(jīng)消光的或者經(jīng)分割的圖像數(shù)據(jù)，所以，在一對立體圖像的左、右圖像中，公知技術(shù)會將球體150再現(xiàn)為單色調(diào)對象。然而，這種再現(xiàn)偏離了在三維場景中會實際產(chǎn)生的視圖。在實際的三維場景中，右視圖可以使得色調(diào)152的一部分在球體150的右側(cè)上可見。同樣地，左視圖可以使得色調(diào)152的一部分在球體150的左側(cè)上可見。
當(dāng)通過在正被處理的圖形中創(chuàng)建對象的三維模型從而再現(xiàn)立體圖像時，典型的實施例使得能夠得到更高的精確度。可以針對盒子160創(chuàng)建單個的三維模型。另外，利用為盒子160創(chuàng)建的模型，可以對盒子160所經(jīng)歷的縮放變換進(jìn)行編碼。圖2中所示的盒子160的表示201-204對應(yīng)于關(guān)鍵幀101-104。另外，需要注意，盒子160沒有顯式地呈現(xiàn)在關(guān)鍵幀104中。然而，由于縮放變換和平移能夠被識別和編碼，所以可以為關(guān)鍵幀104創(chuàng)建盒子160的表示204。關(guān)鍵幀中不可見對象的表示的創(chuàng)建有利于使許多效果能夠?qū)崿F(xiàn)。例如，可以選擇對象去除操作以去除球體150，由此導(dǎo)致盒子160在最后所得到的經(jīng)處理的圖像中是可見的。
以類似的方式，可以針對球體150選擇或創(chuàng)建三維模型。結(jié)合該三維模型，可以編碼與球體150相關(guān)聯(lián)的旋轉(zhuǎn)變換信息。
使用三維模型和相機(jī)重構(gòu)信息，可以對包括場景內(nèi)對象的位置的三維場景進(jìn)行限定。圖3示出了場景300的俯視圖，場景300包括對應(yīng)于關(guān)鍵幀103的球體150的三維模型301和盒子160的三維模型302。如圖3所示，色調(diào)152通常背向觀察透視(viewing perspectives)，并且色調(diào)151通常面向觀察透視。然而，因為右視圖被輕微地偏移，所以一部分色調(diào)152是可見的。同樣地，盒子160的三維模型302的較少部分被球體150的三維模型301所遮蔽。
利用三維場景300，可以生成左圖像400和右圖像500，如圖4和圖5所示。具體地，三維場景300限定了對于左右視圖而言哪些對象是可見的、對象的位置以及對象的大小。通過使用紋理映射技術(shù)來將圖像數(shù)據(jù)映射到三維對象上，從而可以在視圖中再現(xiàn)對象。經(jīng)編碼的變換信息可以用于以精確的方式執(zhí)行紋理映射。例如，針對球體150所編碼的旋轉(zhuǎn)變換信息使球體150左部分能夠在左圖像400中包括色調(diào)152。變換信息使球體150的右部分能夠在右圖像500中包括色調(diào)152。具體地，使用變換信息，可以將與關(guān)鍵幀102和104中的色調(diào)152相關(guān)聯(lián)的圖像數(shù)據(jù)映射到圖像400和500中的球體150的適當(dāng)部分上。同樣地，通過使用來自關(guān)鍵幀102的信息和變換信息，盒子160的已經(jīng)在圖像500中變?yōu)榭梢姷牟糠值谋砻嫣卣骺梢员贿m當(dāng)?shù)卦佻F(xiàn)出來。
為了進(jìn)一步說明一些實施例的操作，參考圖9。圖9示出了一組視頻幀，其中盒子沿兩個軸旋轉(zhuǎn)。使用傳統(tǒng)的消光建模技術(shù)，要為幀901-904中的每一個創(chuàng)建對象消光，原因是盒子的二維表示在每個幀中都是不同的。然后，為幀901-904中的每一個創(chuàng)建相應(yīng)的對象消光是一個耗時和繁瑣的過程。然而，根據(jù)一典型實施例，針對幀901創(chuàng)建對象模型。因為盒子的三維特征不會改變，所以針對幀902-904可以僅限定旋轉(zhuǎn)信息。然后，使用對象模型和變換信息，可以從幀902-904中自動提取盒子的表面特征。因此，一些典型的實施例提供了比傳統(tǒng)技術(shù)更高效的用于處理視頻幀的過程。
圖6示出了根據(jù)一典型實施例從視頻圖像限定三維對象的一組相關(guān)過程。在過程601中，在所選幀中限定所關(guān)心的對象的輪廓。對象的輪廓可以以半自動的方式出現(xiàn)。用戶可以手動選擇相應(yīng)對象的邊緣的相對少量的點。然后，可以使用邊緣跟蹤算法識別位于用戶所選點之間的對象的輪廓。一般而言，邊緣跟蹤算法通過確定兩點之間的最小路徑成本進(jìn)行操作，其中，路徑成本是圖像梯度特征的函數(shù)。在邊緣跟蹤期間還可以使用關(guān)于所選對象的特定域信息?？梢允褂靡幌盗械呢惾麪?Bezier)曲線或者其它參數(shù)曲線對對象的輪廓進(jìn)行編碼。如有需要，可以使用更多的用戶輸入來精致曲線。
在過程602中，可執(zhí)行相機(jī)重構(gòu)。相機(jī)重構(gòu)涉及分析相機(jī)與視頻序列中的三維場景之間的關(guān)系的過程。在這個過程中，可以估計相機(jī)的焦距、相機(jī)的相對成角透視、相機(jī)相對于場景中的對象的位置和方位，以及/或者其它適合的信息。
在過程603中，針對對象，創(chuàng)建三維模型或者從預(yù)定義的三維模型庫中選擇三維模型?？梢允褂迷S多適合的模型格式，例如，可以采用構(gòu)造實體幾何(Constructive Solid Geometry)模型，其中，每個對象被表示為對象基元(例如，塊、圓柱體、圓錐體、球體等)和對基元的邏輯運(yùn)算(例如，并集、差分、交集等)的結(jié)合。另外或者可替選地，可以采用非均勻有理B樣條(NURBS)模型，其中，對象是根據(jù)加權(quán)控制點、曲線階(curveorder)和節(jié)點向量的集合來被限定。另外，根據(jù)運(yùn)動動畫(kinematicanimation)技術(shù)，能夠限定骨架模型元素以利于與視頻序列中對象的復(fù)雜運(yùn)動相關(guān)聯(lián)的圖像處理。
在過程604中，限定所關(guān)心的對象在關(guān)鍵幀之間經(jīng)歷的變換和平移。具體地，對象的平移或者替換、對象的縮放、對象的旋轉(zhuǎn)、對象的形變等可以被限定。例如，對象在關(guān)鍵幀之間可以增加大小。大小的增加可緣于該對象接近相機(jī)或者緣于對象真實地變大(“鼓脹(ballooning)”)。通過對對象是否在大小上有所增加而不是僅僅在三維場景中移動進(jìn)行精確地編碼，隨后的處理可以更精確地發(fā)生。這個步驟可以利用自動算法和用戶輸入的結(jié)合來執(zhí)行。例如，可以用運(yùn)動補(bǔ)償算法來估計對象的平移。如果對象已經(jīng)經(jīng)歷了縮放，則用戶可以識別出已經(jīng)發(fā)生縮放，并且自動算法可以通過比較關(guān)鍵幀之間的圖像輪廓來計算縮放因子。
在過程605中，使用前面步驟中所開發(fā)的信息，對視頻序列的三維場景中的對象的位置進(jìn)行限定。位置的限定可以以自動的方式發(fā)生。為了編輯或者其它目的，可以接收用戶輸入以改變對象的位置。另外，如有需要，可以去除一個或者幾個對象。
在過程606中，創(chuàng)建表面特性數(shù)據(jù)結(jié)構(gòu)，如紋理映射。
圖7示出了根據(jù)一個典型實施例，用于創(chuàng)建特定時間位置的三維對象的紋理映射數(shù)據(jù)的流程圖。用于創(chuàng)建紋理映射數(shù)據(jù)的流程圖起始于步驟701，其中，選中視頻幀。所選視頻幀識別時間位置，紋理映射生成將針對該時間位置發(fā)生。在步驟702中，選中來自所選視頻幀的對象。
在步驟703中，識別三維模型中與所選對象在所選幀中可見的部分對應(yīng)的表面位置。例如，通過采用從初始相機(jī)位置到使用相機(jī)重構(gòu)數(shù)據(jù)的三維模型上的位置的射線跟蹤(ray tracing)，可以執(zhí)行可見表面位置的識別。在步驟704中，根據(jù)用于三維模型被識別部分的所選幀中的圖像數(shù)據(jù)，創(chuàng)建紋理映射數(shù)據(jù)。
在步驟706中，識別三維模型與對象在所選幀中最初不可見的部分對應(yīng)的表面位置。在一個實施例中，在步驟706中識別全部剩余表面位置，由此使得為所選幀創(chuàng)建盡可能多的紋理映射數(shù)據(jù)。在特定情形中，可能希望限制紋理數(shù)據(jù)的構(gòu)造。例如，如果紋理數(shù)據(jù)在需要時生成，那么可能希望在該步驟中僅識別如下的表面位置(i)對應(yīng)于對象在所選幀中最初不可見的部分的表面位置，以及(ii)由于根據(jù)視點的改變而再現(xiàn)對象的原因，從而變?yōu)榭梢姷谋砻嫖恢谩Ｔ谶@種情形中，根據(jù)對象的相機(jī)距離和最大的兩眼間(inter-ocular)常數(shù)，可以計算出由于透視改變所暴露的對象表面的量。
在步驟706中，通過使用對象的被限定的模型、對象變換和平移以及相機(jī)重構(gòu)數(shù)據(jù)，將在步驟705識別的表面位置與所選幀之前和/或之后的幀中的圖像數(shù)據(jù)相互關(guān)聯(lián)。在步驟707中，根據(jù)變換、平移和相機(jī)重構(gòu)數(shù)據(jù)處理來自其它幀的圖像數(shù)據(jù)。例如，如果在幀之間發(fā)生縮放變換，那么根據(jù)縮放因子可以增加或者減少先前幀或者主體幀中的圖像數(shù)據(jù)。其它適當(dāng)?shù)奶幚砜梢园l(fā)生。在一個典型實施例中，依賴于相互關(guān)聯(lián)的圖像數(shù)據(jù)在時間域中接近所選幀的程度，可以使用加權(quán)平均處理。例如，照明特性在幀之間可能改變。加權(quán)平均可以使得較暗的像素被照亮以匹配所選幀中的照明水平。在一個典型實施例中，光源也被建模為對象。當(dāng)針對光源創(chuàng)建模型時，與被建模的對象相關(guān)聯(lián)的照明效果可以從生成的紋理中除去。然后在再現(xiàn)期間再次引入照明效果。
在步驟708中，根據(jù)步驟707中所處理的數(shù)據(jù)，針對步驟705中所識別的表面位置創(chuàng)建紋理映射數(shù)據(jù)。因為在圖像數(shù)據(jù)處理中使用了平移、變換和其他適合的信息，所以圖像數(shù)據(jù)從其它幀到三維模型上的紋理映射以相對精確的方式發(fā)生。具體地，明顯的間斷和其它成像假象通常將是觀察不到的。
在一個典型實施例中，關(guān)聯(lián)于表示所關(guān)心對象的表面特征的紋理數(shù)據(jù)結(jié)構(gòu)的生成而執(zhí)行步驟704-707。一組給出的紋理數(shù)據(jù)結(jié)構(gòu)限定了可以從視頻序列恢復(fù)的對象的所有表面特征。同樣地，因為表面特征會隨著時間變化，所以可以針對每個相關(guān)幀分配紋理數(shù)據(jù)結(jié)構(gòu)。因此，紋理數(shù)據(jù)結(jié)構(gòu)可以被考慮用來抓取與特定對象相關(guān)的視頻信息。
組合的數(shù)據(jù)集(對象模型、變換信息、相機(jī)重構(gòu)信息和紋理數(shù)據(jù)結(jié)構(gòu))能夠從視頻序列構(gòu)造三維世界。三維世界可以被用于支持許多數(shù)據(jù)處理效果。如前面所提到的，可以創(chuàng)建立體圖像。該立體圖像可以近似地對應(yīng)于原始二維視點?？商孢x地，如果有來自足夠多的透視的圖像數(shù)據(jù)可用，那么，立體圖像可以從原始視頻的視點上被去耦合。另外，可以執(zhí)行對象去除以便從視頻序列的幀去除對象。同樣地，可以執(zhí)行對象插入。
圖8示出了根據(jù)一個典型實施例用于處理視頻圖像序列的系統(tǒng)800。系統(tǒng)800可以在適合的計算機(jī)平臺上實現(xiàn)。系統(tǒng)800包括常規(guī)的計算資源，如中央處理單元801、隨機(jī)存取存儲器(RAM)802、只讀存儲器(ROM)803、用戶外圍設(shè)備(例如，鍵盤、鼠標(biāo)等)804和顯示器805。系統(tǒng)800進(jìn)一步包括非易失性存儲器806。
非易失性存儲器806包括使常規(guī)處理資源能夠?qū)崿F(xiàn)一些典型實施例的數(shù)據(jù)結(jié)構(gòu)和軟件代碼或者指令。數(shù)據(jù)結(jié)構(gòu)和代碼可以實現(xiàn)例如圖6和圖7的流程圖。
如圖8所示，非易失性存儲器806包括視頻序列807。視頻序列807可以以數(shù)字格式從另一適合的介質(zhì)(未顯示)得到?？商孢x地，在來自成像設(shè)備(例如錄像帶播放器(video cassette player)或者視頻攝像機(jī))的模擬視頻信號被模數(shù)變換后，可以得到視頻序列807。利用一合適的圖像處理算法或者幾個算法以及用戶輸入，對象消光模塊814限定所選對象的輪廓。相機(jī)重構(gòu)算法817處理視頻序列807以確定視頻序列807中的對象與用于抓取圖像的相機(jī)之間的關(guān)系。相機(jī)重構(gòu)算法817將數(shù)據(jù)存儲于相機(jī)重構(gòu)數(shù)據(jù)811中。
模型選擇模塊815使得來自于模型庫810的模型模板能夠與視頻序列807中的對象相關(guān)聯(lián)。用于對象的模型選擇被存儲于對象模型808中。對象精致模塊816利用用戶輸入和自動算法，生成并編碼視頻序列807中的對象模型808內(nèi)的轉(zhuǎn)換數(shù)據(jù)。對象模型808可以表示隨時間活動的幾何編碼形狀、變換和位置數(shù)據(jù)。對象模型808可以是分層的，并且可以具有相關(guān)聯(lián)的模板類型(例如，椅子)。
紋理映射生成模塊821生成紋理，該紋理表示視頻序列807中的對象的表面特征。紋理映射生成模塊821使用對象模塊808和相機(jī)數(shù)據(jù)811以生成紋理映射數(shù)據(jù)結(jié)構(gòu)809。優(yōu)選地，每一個對象包括用于各自關(guān)鍵幀的紋理映射，對象在視頻序列807中透視的數(shù)目和對象的遮蔽被給定時，該紋理映射描述盡可能多的表面特征。具體地，紋理映射生成模塊821在前面的幀和/或后面的幀中進(jìn)行搜索從而得到當(dāng)前幀沒有的表面特征數(shù)據(jù)。平移和變換數(shù)據(jù)被用于將來自其它幀的表面特征放置于紋理映射數(shù)據(jù)結(jié)構(gòu)809的合適的部分中。同樣地，變換數(shù)據(jù)可以被用于縮放、形變、或以另外的方式處理來自其它幀的數(shù)據(jù)，使得經(jīng)處理的數(shù)據(jù)與從當(dāng)前幀得到的紋理數(shù)據(jù)的特征相匹配。如有需要，紋理精致模塊822可以被用于執(zhí)行所生成的紋理的用戶編輯。
場景編輯模塊818使用戶能夠限定經(jīng)處理的圖像數(shù)據(jù)820如何被創(chuàng)建。例如，如果需要三維效果，那么用戶可以限定針對立體圖像如何限定左和右透視?？商孢x地，如有需要，用戶可以提供適合的輸入來創(chuàng)建具有其它圖像處理效果的二維視頻序列。對象插入和去除可以通過用戶輸入的接收而發(fā)生，以識別待插入和/或者去除的對象以及針對這些效果的幀。另外，用戶可以改變對象位置。
當(dāng)用戶經(jīng)過場景編輯模塊818完成輸入數(shù)據(jù)時，用戶可以采用再現(xiàn)算法819來生成經(jīng)處理的圖像數(shù)據(jù)820。經(jīng)處理的圖像數(shù)據(jù)820使用對象模型808、紋理映射數(shù)據(jù)結(jié)構(gòu)809和其它適合的信息而被構(gòu)造以提供期望的數(shù)據(jù)處理效果。
雖然已經(jīng)詳細(xì)描述了本發(fā)明及其優(yōu)點，但是應(yīng)該理解，在這里可以進(jìn)行各種改變、替代和變化，而不背離如所附權(quán)利要求所限定的發(fā)明。而且，本發(fā)明的范圍并非旨在限于說明書所描述的過程、機(jī)器、制造、事物的合成、裝置、方法和步驟的實施例。如同人們從本公開中容易理解的那樣，可以利用當(dāng)前存在的或者以后將要被開發(fā)的、能夠?qū)崿F(xiàn)與這里所描述的對應(yīng)的實施例基本上相同的功能或獲得基本上相同的結(jié)果的過程、機(jī)器、生產(chǎn)、事件的構(gòu)成、裝置、方法或步驟。因此，所附權(quán)利要求旨在在其范圍內(nèi)包括這種過程、機(jī)器、制造、事物的合成、裝置、方法或步驟。
權(quán)利要求
1.一種用于處理視頻序列的方法，包括限定與所述視頻序列的多個幀內(nèi)的對象相關(guān)聯(lián)的圖形數(shù)據(jù)；將三維模型與所述對象相關(guān)聯(lián)；限定所述對象在所述多個幀之間經(jīng)歷的變換；針對所述多個幀的第一幀生成紋理映射數(shù)據(jù)，其中，所述生成(i)識別所述三維模型的根據(jù)與所述第一幀相關(guān)聯(lián)的相機(jī)位置可見的第一部分；(ii)將與所述第一幀相關(guān)聯(lián)的經(jīng)限定的圖形數(shù)據(jù)包括在用于所述第一部分的紋理映射數(shù)據(jù)內(nèi)；(iii)識別所述三維模型的根據(jù)與所述第一幀相關(guān)聯(lián)的相機(jī)位置不可見的第二部分；(iv)根據(jù)所述對象在所述第一幀和至少第二幀之間經(jīng)歷的經(jīng)限定的變換，處理與所述多個幀中的至少所述第二幀相關(guān)聯(lián)的經(jīng)限定的圖形數(shù)據(jù)；并且，(v)將所述經(jīng)處理的圖形數(shù)據(jù)包括在用于所述第二部分的紋理映射數(shù)據(jù)內(nèi)。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述限定變換包括限定所述對象經(jīng)歷的位置上的變化。
3.根據(jù)權(quán)利要求1所述的方法，其中，所述經(jīng)限定的變換包括選自列表的至少一個變換，所述列表包括縮放變換、旋轉(zhuǎn)變換和變形變換。
4.根據(jù)權(quán)利要求1所述的方法，其中，所述限定圖形數(shù)據(jù)包括限定所述對象在所述多個幀中的輪廓。
5.根據(jù)權(quán)利要求4所述的方法，其中，所述限定輪廓包括經(jīng)由用戶界面從用戶接收輸入以限定所述對象表面的多個點；以及執(zhí)行圖像處理算法來限定所述多個點之間的邊緣。
6.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括針對所述第一幀生成立體圖像，其中，所述生成立體圖像包括利用所生成的紋理映射數(shù)據(jù)從兩個透視來再現(xiàn)所述三維模型。
7.根據(jù)權(quán)利要求1所述的方法，還包括針對所述多個幀中的每一個，重復(fù)所述生成紋理映射數(shù)據(jù)。
8.根據(jù)權(quán)利要求7所述的方法，還包括利用所述對象模型和所述紋理映射數(shù)據(jù)，生成立體圖像的序列。
9.根據(jù)權(quán)利要求1所述的方法，還包括針對所述多個幀中的多個對象，重復(fù)所述限定圖形數(shù)據(jù)、關(guān)聯(lián)、限定變換以及生成。
10.根據(jù)權(quán)利要求1所述的方法，還包括通過在所述第一幀中去除至少部分地遮蔽與所述三維模型相關(guān)聯(lián)的所述對象的另一個對象，再現(xiàn)所述第一幀的修改版本。
11.根據(jù)權(quán)利要求1所述的方法，還包括執(zhí)行相機(jī)重構(gòu)算法，其中所述生成過程利用由所述相機(jī)重構(gòu)算法生成的數(shù)據(jù)，限定與所述第二幀相關(guān)聯(lián)的圖形數(shù)據(jù)。
12.根據(jù)權(quán)利要求1所述的方法，其中，所述生成將用于所述第二部分的數(shù)據(jù)區(qū)分優(yōu)先次序為距所述第一幀的時間距離的函數(shù)。
13.根據(jù)權(quán)利要求1所述的方法，其中，所述生成使用加權(quán)平均來處理所述被識別的圖形數(shù)據(jù)以補(bǔ)償所述第一和第二幀之間的圖像差異。
14.一種用于處理視頻序列的系統(tǒng)，包括多個對象模型，利用三維元素來表示所述視頻序列中的對象；多個變換數(shù)據(jù)結(jié)構(gòu)，限定所述對象在所述多個幀之間經(jīng)歷的變換；用于生成紋理映射數(shù)據(jù)的紋理映射生成算法，其中，針對所述對象模型中的每一個和針對所述多個幀中的每一個，所述算法可用于(i)識別相應(yīng)對象模型的根據(jù)所述多個幀的當(dāng)前幀的相機(jī)位置可見的第一部分；(ii)識別所述相應(yīng)對象模型的根據(jù)所述相機(jī)位置不可見的第二部分；(iii)將來自所述當(dāng)前幀的圖形數(shù)據(jù)包括在用于所述當(dāng)前幀的所述第一部分的紋理映射數(shù)據(jù)中；(iv)根據(jù)變換數(shù)據(jù)結(jié)構(gòu)，處理來自不同于所述當(dāng)前幀的至少一個幀的圖形數(shù)據(jù)；并且，(v)將所述被處理的圖形數(shù)據(jù)包括在用于所述第二部分的紋理映射數(shù)據(jù)中。
15.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中，所述多個對象模型對數(shù)據(jù)進(jìn)行編碼，所述數(shù)據(jù)限定了用于所述多個幀的三維中的所述多個對象模型的位置。
16.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中，所述多個對象模型對數(shù)據(jù)進(jìn)行編碼，所述數(shù)據(jù)限定了所述多個對象模型的維數(shù)。
17.根據(jù)權(quán)利要求14所述的系統(tǒng)，還包括至少一個相機(jī)數(shù)據(jù)結(jié)構(gòu)，限定了用于抓取所述視頻序列的相機(jī)的特征。
18.根據(jù)權(quán)利要求14所述的系統(tǒng)，還包括再現(xiàn)模塊，用于使用所述多個對象模型和所述紋理映射數(shù)據(jù)來再現(xiàn)圖像。
19.根據(jù)權(quán)利要求17所述的系統(tǒng)，還包括場景編輯模塊，用于修改對象特征。
20.根據(jù)權(quán)利要求19所述的系統(tǒng)，其中，所述場景編輯模塊接收用戶輸入以便從待再現(xiàn)的幀中去除對象。
21.根據(jù)權(quán)利要求19所述的系統(tǒng)，其中，所述場景編輯模塊接收用戶輸入以便將對象插入待再現(xiàn)的幀中。
22.根據(jù)權(quán)利要求14所述的系統(tǒng)，還包括再現(xiàn)模塊，用于利用所述多個對象模型、所述相機(jī)數(shù)據(jù)和所述紋理映射數(shù)據(jù)來再現(xiàn)圖像。
23.根據(jù)權(quán)利要求14所述的系統(tǒng)，還包括用于重構(gòu)相機(jī)的特征的模塊，所述相機(jī)用于抓取所述視頻序列。
24.根據(jù)權(quán)利要求14所述的系統(tǒng)，還包括用于構(gòu)造幾何形狀的模塊，所述幾何形狀表示所述視頻序列中的對象。
全文摘要
一些典型實施例旨在通過處理一系列的二維圖像，產(chǎn)生在該系列的圖像中所描述的實物世界的表示，從而創(chuàng)建“虛擬世界”。虛擬世界表示包括對象的模型，所述對象模型指定了虛擬世界內(nèi)對象的位置、對象的幾何形狀、對象的維數(shù)、對象的表面表示、以及/或者其它相關(guān)信息。通過開發(fā)虛擬世界表示，可以運(yùn)用許多圖像處理效果，如立體圖像的生成、對象插入、對象去除、對象平移和/或其它的對象處理操作。
文檔編號G06T15/20GK101053000SQ200580037763
公開日2007年10月10日 申請日期2005年9月7日 優(yōu)先權(quán)日2004年9月23日
發(fā)明者大衛(wèi)·A·斯普納, 托德·辛普森 申請人:轉(zhuǎn)換器有限公司