專利名稱：混成模式廣域背景畫面產(chǎn)生器及其產(chǎn)生廣域背景畫面的方法
技術(shù)領(lǐng)域：
本發(fā)明是關(guān)于一種混成模式廣域背景畫面(Sprite)產(chǎn)生器，尤其是一種透過簡(jiǎn)化其內(nèi)插點(diǎn)(interpolation)計(jì)算以節(jié)省運(yùn)算時(shí)間，并以混成模式全域動(dòng)態(tài)預(yù)測(cè)以提升影像品質(zhì)的混成模式廣域背景畫面產(chǎn)生器。
背景技術(shù)：
傳統(tǒng)的視訊壓縮是以一連串的影像(image)為壓縮對(duì)象，也就是對(duì)于完整的畫面(frame)做數(shù)據(jù)壓縮。如此會(huì)將整張畫面不重要的部分，如單調(diào)的背景畫面(Backg round)，一并壓縮進(jìn)去而占據(jù)一定的數(shù)據(jù)量，而不利于低位元率(very low bit-rate)環(huán)境的應(yīng)用。因此，MPEG(Motion Picture ExpertsGroup)委員會(huì)制定了MPEG-4的標(biāo)準(zhǔn)，以物件為基礎(chǔ)(object-based)的壓縮方式來打破傳統(tǒng)視訊壓縮的限制，以利開發(fā)全方位的多媒體應(yīng)用。
為了執(zhí)行此以物件為基礎(chǔ)的壓縮方式，在MPEG-4的標(biāo)準(zhǔn)中，引進(jìn)了廣域背景畫面的概念。廣域背景畫面是由一視訊片段(Video Segment)出現(xiàn)的背景物件(Background Object)的像素所構(gòu)成，也就是說，它建構(gòu)了此視訊片段中，前景物件(Foreground Object)所運(yùn)動(dòng)的環(huán)境。廣域背景畫面去除了背景物件中重復(fù)出現(xiàn)的部份，因此可以大幅縮減影像的數(shù)據(jù)量，提高視訊傳輸?shù)男省?br> 基本上，如圖1所示，廣域背景畫面的產(chǎn)生過程主要可區(qū)分為三個(gè)步驟預(yù)處理(Pre-processing)1、全域動(dòng)態(tài)預(yù)測(cè)(Global Motion Estimation，GME)2與影像變形與混合(Image Warping and Blending)3。預(yù)處理步驟1用以處理背景畫面的尖銳邊緣，以避免后續(xù)全域動(dòng)態(tài)預(yù)測(cè)步驟2中，產(chǎn)生估算錯(cuò)誤并導(dǎo)致誤差放大，而影響所產(chǎn)生全域動(dòng)態(tài)預(yù)測(cè)參數(shù)的正確性。而影像變形與混合的步驟3依據(jù)全域動(dòng)態(tài)預(yù)測(cè)參數(shù)處理背景畫面，以將多張背景畫面混合產(chǎn)生廣域背景畫面。
請(qǐng)參照?qǐng)D2所示，是Yan Lu于2001年，在第五十六次MPEG-4會(huì)議中，所提出的MPEG-4Optimize Model(OM)的廣域背景畫面產(chǎn)生器的架構(gòu)。此廣域背景畫面產(chǎn)生器100包括一影像分區(qū)(Image Region Division)單元110、一全域動(dòng)態(tài)預(yù)測(cè)(Global Motion Estimation)單元120、一分割(Segmentation)單元130、一畫面記憶單元(Frame Memory)140、一影像變形(Warping)單元150與一混合(Blending)單元160。
影像分區(qū)單元110利用一遮罩(reliable mask)，定義視訊物件平面(VideoObject Plane，VOP)的背景影像(reliable image region)與前景影像(undefined image region)的界線，此遮罩所覆蓋的部份定義為低相關(guān)影像(unreliable image region)。在上述背景影像、前景影像與低相關(guān)影像中，僅有背景影像參與后續(xù)全域動(dòng)態(tài)預(yù)測(cè)的運(yùn)算。
畫面記憶單元140儲(chǔ)存前一個(gè)廣域背景畫面，也就是將此次運(yùn)算前所出現(xiàn)的視訊物件平面的背景影像，匯集在一起所產(chǎn)生的廣域背景畫面。
全域動(dòng)態(tài)將取景的角度、遠(yuǎn)近、位置的變化以參數(shù)模型(parametricgeometrical model)呈現(xiàn)。也就是說，此全域動(dòng)態(tài)預(yù)測(cè)單元120是透過比對(duì)背景影像與前一個(gè)廣域背景畫面中相對(duì)應(yīng)的像素，取得動(dòng)態(tài)參數(shù)(motionparameter)以表達(dá)此背景畫面與前一個(gè)廣域背景畫面的動(dòng)態(tài)變化。
分割單元130進(jìn)一步去除混合于背景影像中的前景影像與低相關(guān)影像，以改善廣域背景畫面品質(zhì)。
影像變形單元150根據(jù)全域動(dòng)態(tài)預(yù)測(cè)單元120所產(chǎn)生的動(dòng)態(tài)參數(shù)變形背景影像，并且以雙線性內(nèi)插(bilinear interpolation)法搜尋此變形影像在前一個(gè)廣域背景畫面上的位置，以更新廣域背景畫面。
值得注意的是，前述更新廣域背景畫面所使用的變形影像僅包含有背景影像；但是，視訊物件平面的低相關(guān)影像也會(huì)影響廣域背景畫面的品質(zhì)。因此，混合單元160判斷更新后的廣域背景畫面中，對(duì)應(yīng)于低相關(guān)影像的像素是否受到背景影像取代，若是未受到背景影像取代，則擷取此視訊物件平面的低相關(guān)影像，并將此低相關(guān)影像混合于更新后的廣域背景畫面中。
請(qǐng)參照?qǐng)D3所示，Yan Lu所提出的全域動(dòng)態(tài)預(yù)測(cè)單元120是三層的多層全域動(dòng)態(tài)預(yù)測(cè)架構(gòu)。其中的參考畫面指來自畫面記憶單元140的廣域背景畫面經(jīng)變形后所產(chǎn)生的預(yù)測(cè)畫面，而當(dāng)前畫面來自影像分區(qū)單元110輸出的背景影像。并且，參考畫面與當(dāng)前畫面是先經(jīng)過取樣以減少需要比對(duì)的像素?cái)?shù)量后，再進(jìn)行全域動(dòng)態(tài)預(yù)測(cè)的比對(duì)工作。
如圖中所示，此多層全域動(dòng)態(tài)預(yù)測(cè)架構(gòu)中，參考畫面與當(dāng)前畫面的取樣越往上方的層級(jí)越為粗略。在經(jīng)過最粗略取樣后，參考畫面與當(dāng)前畫面是首先經(jīng)一位移估計(jì)(Translation Estimation)單元122比對(duì)其像素的相對(duì)位置，以產(chǎn)生位移參數(shù)(Translation Parameter)n1。此位移估計(jì)單元122是采用較為粗略的預(yù)測(cè)方法，以防止背景畫面局部最小化(Local Minimum)造成后續(xù)全域動(dòng)態(tài)預(yù)測(cè)誤差放大，并加速后續(xù)全域動(dòng)態(tài)預(yù)測(cè)的進(jìn)行。
在最粗略的第一層級(jí)a中，細(xì)調(diào)(Gradient Descent)單元124是擷取來自位移估計(jì)單元122的位移參數(shù)n1，并比對(duì)參考畫面與當(dāng)前畫面中相對(duì)應(yīng)的像素，以輸出動(dòng)態(tài)參數(shù)(motion parameter)n2。此外，細(xì)調(diào)單元124運(yùn)算產(chǎn)生的動(dòng)態(tài)參數(shù)n2在輸出前還需經(jīng)過檢視，若是呈現(xiàn)收斂(Converge)的態(tài)勢(shì)，則輸入第二層級(jí)b；若未收斂，則必須將此動(dòng)態(tài)參數(shù)饋入前述細(xì)調(diào)單元124，重復(fù)此第一層級(jí)a的運(yùn)算過程。
第二層級(jí)b與第三層級(jí)c均與第一層級(jí)a相類似，并且，其中細(xì)調(diào)單元124所采用的轉(zhuǎn)換模式也一致，其差別僅在于精細(xì)程度的不同。舉例而言，第二層級(jí)b是針對(duì)第一層級(jí)a所提供的動(dòng)態(tài)參數(shù)n2進(jìn)行細(xì)調(diào)，第三層級(jí)c是針對(duì)第二層級(jí)b所提供的動(dòng)態(tài)參數(shù)n 3進(jìn)行細(xì)調(diào)；并且，第二層級(jí)b中的畫面取樣是較第一層級(jí)a中來的細(xì)致，第三層級(jí)c中的畫面取樣又較第二層級(jí)b中來的細(xì)致。因此，第三層級(jí)c所提供的動(dòng)態(tài)參數(shù)n4是較第二層級(jí)b乃至于第一層級(jí)a所提供的動(dòng)態(tài)參數(shù)n2與n 3來的精細(xì)。
如前述，細(xì)調(diào)單元124可采用平面轉(zhuǎn)換(Affine Transformation)或是透視轉(zhuǎn)換(Perspective Transformation)的方式，端視使用者對(duì)于影像細(xì)致程度的要求。若是進(jìn)行畫面比對(duì)所采用的轉(zhuǎn)換模式的階層愈高，如采用高階的透視轉(zhuǎn)換模式，雖然可以獲致較精致的畫面品質(zhì)，卻導(dǎo)致運(yùn)算時(shí)間與傳輸數(shù)據(jù)量的增加；反之，若是采用較低階的平面轉(zhuǎn)換模式，則可能廣域背景畫面的品質(zhì)，而造成影像失真。因此，往往無法同時(shí)兼顧畫面品質(zhì)與運(yùn)算效率，而必須在二者間進(jìn)行妥協(xié)。
因此，如何改善既有的廣域背景畫面產(chǎn)生器，打破既有的迷思，以同時(shí)提升畫面品質(zhì)與運(yùn)算效率，乃是視訊壓縮技術(shù)中，一個(gè)相當(dāng)重要的課題。

發(fā)明內(nèi)容
本發(fā)明的主要目的在于提供一種混成模式廣域背景畫面產(chǎn)生器，以縮短運(yùn)算時(shí)間并提高影像的品質(zhì)與精度。
本發(fā)明的混成模式廣域背景畫面產(chǎn)生器，包括一影像分區(qū)(Image RegionDivision)單元、一畫面記憶單元(Frame Memory)、一混成模式(Hybrid)全域動(dòng)態(tài)預(yù)測(cè)(Global Motion Estimation，GME)單元與一快速影像變形(FastImage Warping)單元。影像分區(qū)單元是去除視訊物件平面(Video Object Plane，VOP)的前景影像，以輸出背景影像。畫面記憶單元是儲(chǔ)存前一個(gè)廣域背景畫面以及相關(guān)的參考影像。
混成模式全域動(dòng)態(tài)預(yù)測(cè)單元，包括一低階比對(duì)子單元、一高階比對(duì)子單元與一適應(yīng)性選擇器(Adaptive Switch)。其中，低階比對(duì)子單元是產(chǎn)生第一組參數(shù)以估計(jì)背景影像相對(duì)應(yīng)于前一個(gè)廣域背景畫面的動(dòng)態(tài)變化。高階比對(duì)子單元系比對(duì)背景影像與前一個(gè)廣域背景畫面，以微調(diào)第一組參數(shù)而產(chǎn)生第二組參數(shù)。適應(yīng)性選擇器是用以選擇輸出第一組參數(shù)或第二組參數(shù)。
快速影像變形單元根據(jù)適應(yīng)性選擇器所輸出的參數(shù)變形上述背景影像，并以最近鄰點(diǎn)內(nèi)插(Nearest Neighborhood Interpolation)法搜尋此變形影像在前一個(gè)廣域背景畫面上的位置，以更新廣域背景畫面。
本發(fā)明用以產(chǎn)生廣域背景畫面的方法，首先去除視訊物件平面的前景影像，以輸出背景影像。隨后，再以一低階比對(duì)模式估計(jì)該背景影像相對(duì)應(yīng)于該前一個(gè)廣域背景畫面的動(dòng)態(tài)變化，以產(chǎn)生第一組參數(shù)。接下來，以一高階比對(duì)模式比對(duì)背景影像與前一個(gè)廣域背景畫面，以微調(diào)第一組參數(shù)藉以產(chǎn)生第二組參數(shù)。隨后，依據(jù)前述第一組參數(shù)或是第二組參數(shù)，變形背景影像使與前一個(gè)廣域背景畫面相配合。最后，再以最近鄰點(diǎn)內(nèi)插法搜尋變形影像對(duì)應(yīng)于前一個(gè)廣域背景畫面的位置，以更新廣域背景畫面。
為進(jìn)一步說明本發(fā)明的上述目的、結(jié)構(gòu)特點(diǎn)和效果，以下將結(jié)合附圖對(duì)本發(fā)明進(jìn)行詳細(xì)的描述。


圖1是一典型產(chǎn)生廣域背景畫面的流程圖。
圖2是Yan Lu于2001年在第五十六次MPEG-4會(huì)議中提出的廣域背景畫面產(chǎn)生器的架構(gòu)示意圖。
圖3是圖2中的多層全域動(dòng)態(tài)預(yù)測(cè)單元的架構(gòu)的示意圖。
圖4A和B是圖2的廣域背景畫面產(chǎn)生器產(chǎn)生廣域背景畫面的各個(gè)步驟所耗費(fèi)的時(shí)間比例的示意圖。
圖5是本發(fā)明混成模式廣域背景畫面產(chǎn)生器一較佳實(shí)施例的示意圖。
圖6是圖5的混成模式全域動(dòng)態(tài)預(yù)測(cè)單元的架構(gòu)的示意圖。
圖7是一典型三步驟搜尋(3-step Search)步驟的示意圖。
圖8是典型平面轉(zhuǎn)換的圖形變化的示意圖。
圖9是典型透視轉(zhuǎn)換的圖形變化的示意圖。
圖10是本發(fā)明適應(yīng)性選擇器的運(yùn)作一較佳實(shí)施例的流程圖。
圖11是雙線性內(nèi)插法與最近鄰點(diǎn)內(nèi)插法的示意圖。
圖12是采用雙線性內(nèi)插法與最近鄰點(diǎn)內(nèi)插法的情況下，貼入畫面于廣域背景畫面的過程中，廣域背景畫面所紀(jì)錄的像素的強(qiáng)度誤差的統(tǒng)計(jì)表。
圖13是采用不同全域動(dòng)態(tài)預(yù)測(cè)模式與內(nèi)插法的情況下，產(chǎn)生廣域背景畫面所需要的運(yùn)算時(shí)間的比較表。
圖14所示是本發(fā)明廣域背景畫面的產(chǎn)生方法一較佳實(shí)施例的流程圖。
圖15是本發(fā)明廣域背景畫面產(chǎn)生器與圖2的廣域背景畫面產(chǎn)生器，產(chǎn)生廣域背景畫面所需要耗費(fèi)的時(shí)間的比較表。
圖16是本發(fā)明廣域背景畫面產(chǎn)生器與圖2的廣域背景畫面產(chǎn)生器，所產(chǎn)生的數(shù)據(jù)量的比較表。
具體實(shí)施例方式
請(qǐng)參照?qǐng)D4A和B所示，其顯示了圖2的MPEG-4 OM的廣域背景畫面產(chǎn)生器，產(chǎn)生廣域背景畫面所進(jìn)行的各步驟所耗費(fèi)的時(shí)間比例。其中，圖4A是以平面轉(zhuǎn)換(Affine model)模式進(jìn)行全域動(dòng)態(tài)預(yù)測(cè)的情況，而圖4B是以透視轉(zhuǎn)換(perspective model)模式進(jìn)行全域動(dòng)態(tài)預(yù)測(cè)的情況。如圖中所示，預(yù)期中將耗費(fèi)大量時(shí)間比例的全域動(dòng)態(tài)預(yù)測(cè)步驟僅耗費(fèi)了10％左右的時(shí)間，反而是以雙線性內(nèi)插法(bilinear interpolation)進(jìn)行畫面變形(Warping)的步驟耗費(fèi)了一半以上的時(shí)間。由此可知，就此廣域背景畫面產(chǎn)生器而言，其廣域背景畫面產(chǎn)生的速度主要是受到內(nèi)插點(diǎn)步驟的影響。
根據(jù)此觀點(diǎn)，本發(fā)明的混成模式廣域背景畫面產(chǎn)生器改采最近鄰點(diǎn)內(nèi)插(Nearest Neighborhood Interpolation)法以取代傳統(tǒng)的雙線性內(nèi)插法，以期提升運(yùn)算速度。
請(qǐng)參照?qǐng)D5所示，是本發(fā)明混成模式廣域背景畫面產(chǎn)生器200一較佳實(shí)施例的示意圖。本發(fā)明的混成模式廣域背景畫面產(chǎn)生器200包括一影像分區(qū)(Image Region Division)單元210、一畫面記憶單元(Frame Memory)240、一混成模式(Hybr id)全域動(dòng)態(tài)預(yù)測(cè)(Global Motion Estimation，GME)單元220、一快速影像變形(Fast Image Warping)單元250、一混和(Blending)單元260與一尺寸控制(Size Control)單元270。
其中，影像分區(qū)單元210是去除視訊物件平面(Video Object Plane，VOP)的前景影像，以輸出背景影像。畫面記憶單元240主要是儲(chǔ)存前一個(gè)廣域背景畫面，也就是一個(gè)將此次運(yùn)算前所出現(xiàn)的視訊物件平面的背景影像，匯集在一起所產(chǎn)生的廣域背景畫面?；斐赡Ｊ饺騽?dòng)態(tài)預(yù)測(cè)單元220是透過比對(duì)背景影像與前一個(gè)廣域背景畫面中相對(duì)應(yīng)的像素，取得動(dòng)態(tài)參數(shù)(motionparameter)以表達(dá)此背景畫面與前一個(gè)廣域背景畫面的動(dòng)態(tài)變化。
快速影像變形(Fast Image Warping)單元250是根據(jù)混成模式全域動(dòng)態(tài)預(yù)測(cè)單元220所輸出的參數(shù)，變形背景影像，并以最近鄰點(diǎn)內(nèi)插(NearestNeighborhood Interpolation)法將該背景影像資訊加權(quán)以更新廣域背景畫面?；旌?Blending)單元260是連接至快速影像變形單元250取得更新之廣域背景畫面，并連接至影像分區(qū)單元210取得視訊物件平面的部分前景影像，利用此前景影像補(bǔ)足此更新廣域背景畫面的不足，以改善廣域背景畫面的品質(zhì)。
尺寸控制單元270是檢視透過最近鄰點(diǎn)內(nèi)插法加權(quán)后的背景影像，若是此加權(quán)后的背景影像的尺寸必須放大到一預(yù)設(shè)倍數(shù)以上，方能配合至前一個(gè)廣域背景畫面。則尺寸控制單元270隨即通知混成模式全域動(dòng)態(tài)預(yù)測(cè)單元220重置(reset)動(dòng)態(tài)預(yù)測(cè)的計(jì)算。也就是說，若是此廣域背景畫面較之前一個(gè)廣域背景畫面產(chǎn)生不合理的擴(kuò)大情形，則尺寸控制單元270隨即要求全域動(dòng)態(tài)預(yù)測(cè)單元220重新進(jìn)行動(dòng)態(tài)預(yù)測(cè)，以產(chǎn)生較合理之廣域背景畫面。除此之外，尺寸控制單元270也可以檢視混成模式全域動(dòng)態(tài)預(yù)測(cè)單元220所產(chǎn)生的動(dòng)態(tài)參數(shù)，若是此動(dòng)態(tài)參數(shù)產(chǎn)生不尋常的變化，尺寸控制單元270亦通知混成模式全域動(dòng)態(tài)預(yù)測(cè)單元220重置(reset)動(dòng)態(tài)預(yù)測(cè)的計(jì)算。
本發(fā)明采用混成模式全域動(dòng)態(tài)預(yù)測(cè)單元220，而非傳統(tǒng)多層全域動(dòng)態(tài)預(yù)測(cè)的架構(gòu)。如圖6所示，此混成模式全域動(dòng)態(tài)預(yù)測(cè)單元220的包括一位移估計(jì)(Translation Estimation)子單元222、一多層平面轉(zhuǎn)換(HierarchicalAffine Transformation)子單元224、一透視轉(zhuǎn)換(PerspectiveTransformation)子單元226與一適應(yīng)性選擇器(Adaptive Switch)228。
基本上，全域動(dòng)態(tài)預(yù)測(cè)是以逐步細(xì)調(diào)(gradient descent)的方法，比對(duì)背景畫面與前一個(gè)廣域背景畫面中像素的動(dòng)態(tài)變化，以估算其動(dòng)態(tài)參數(shù)(motion parameters)。而為了進(jìn)行此逐步細(xì)調(diào)的方法，本發(fā)明是以位移估計(jì)子單元222，進(jìn)行較為粗略的位移預(yù)測(cè)，以確保起始數(shù)據(jù)是屬收斂(converge)，藉以防止畫面局部最小化造成全域動(dòng)態(tài)預(yù)測(cè)誤差放大，并加速后續(xù)預(yù)測(cè)步驟的進(jìn)行。
位移估計(jì)子單元222是以背景影像的像素位置為基準(zhǔn)，比較前一個(gè)廣域背景畫面中相對(duì)應(yīng)像素的位置，即可產(chǎn)生位移(Translation)參數(shù)m1。就一較佳實(shí)施例而言，本發(fā)明的位移估計(jì)子單元222可以采用三步驟搜尋(3-StepSearch)的方式。如圖7所示，就背景影像的一給定像素而言，此三步驟搜尋的第一步驟，系在廣域背景畫面內(nèi)一預(yù)測(cè)位置四周81個(gè)像素的平面(其邊長為9個(gè)像素)中，搜尋此平面周邊與中心合計(jì)9個(gè)代表點(diǎn)的數(shù)值以為比對(duì)；搜尋出最吻合的代表點(diǎn)后，第二步驟是限縮至25個(gè)像素的平面(其邊長為5個(gè)像素)，同樣搜尋其周邊與中心合計(jì)9個(gè)代表點(diǎn)以為比對(duì)；搜尋出最吻合的代表點(diǎn)后，第三步驟是限縮至9個(gè)像素，依然搜尋其周邊與中心合計(jì)9個(gè)代表點(diǎn)以為比對(duì)。藉由上述三個(gè)步驟，以產(chǎn)生位移(Translation)參數(shù)定義背景影像的動(dòng)態(tài)變化。
多層平面轉(zhuǎn)換子單元224如同圖3的多層全域動(dòng)態(tài)預(yù)測(cè)單元的架構(gòu)，但，其中細(xì)調(diào)單元124是采用平面轉(zhuǎn)換(Affine Transformation)的模式進(jìn)行。平面轉(zhuǎn)換是以背景影像的像素座標(biāo)為基準(zhǔn)，比較前一個(gè)廣域背景畫面中相對(duì)應(yīng)影像的座標(biāo)平面，以細(xì)調(diào)位移參數(shù)m1，并產(chǎn)生包括尺度(Scale)參數(shù)、剪切(shear)參數(shù)與旋轉(zhuǎn)(rotation)參數(shù)在內(nèi)的第一組參數(shù)m2。就一背景影像像素A舉例說明，如圖8所示，透過平面轉(zhuǎn)換可以產(chǎn)生類似平行平面投影(parallel plane projection)的效果，而在廣域背景畫面上形成包括平行四邊形A1(產(chǎn)生剪切)、長方形A2(尺度變化)或是具有移動(dòng)與旋轉(zhuǎn)等變形的相對(duì)圖形A3。
透視轉(zhuǎn)換子單元226用以改善多層平面轉(zhuǎn)換子單元224的輸出結(jié)果。透視轉(zhuǎn)換子單元226是以背景影像的像素座標(biāo)為基準(zhǔn)，比較前一個(gè)廣域背景畫面中相對(duì)應(yīng)的座標(biāo)空間(coordinate space)，以產(chǎn)生包括透視(perspective)參數(shù)在內(nèi)的第二組參數(shù)m3，表達(dá)景深(depth)的變化。因此，透過透視轉(zhuǎn)換子單元226所產(chǎn)生的第二組參數(shù)m3包括細(xì)調(diào)后的尺度參數(shù)、剪切參數(shù)、旋轉(zhuǎn)參數(shù)與位移參數(shù)，以及前述用以表達(dá)景深的透視參數(shù)。就一正方形B舉例而言，如圖9所示，透視轉(zhuǎn)換除了可以表達(dá)前述平面轉(zhuǎn)換所表現(xiàn)的圖形變化，它還可以表達(dá)梯形B1或是其他具有景深特征的圖形如B2，以呈現(xiàn)由近而遠(yuǎn)的視覺效果。
適應(yīng)性選擇器228是位于前述多層平面轉(zhuǎn)換子單元224的后端，以決定是否將多層平面轉(zhuǎn)換子單元224產(chǎn)生的第一組參數(shù)m2直接輸出于全域動(dòng)態(tài)預(yù)測(cè)單元220之外。也就是說，適應(yīng)性選擇器224是用以選擇輸出第一組參數(shù)m2或第二組參數(shù)m3。
如圖10所示，顯示前述適應(yīng)性選擇器228所進(jìn)行的選擇工作一較佳實(shí)施例。首先，如步驟420，第一組參數(shù)m2是輸入透視轉(zhuǎn)換子單元226以進(jìn)行細(xì)調(diào)；接下來，如步驟440，若是經(jīng)透視轉(zhuǎn)換子單元226細(xì)調(diào)后產(chǎn)生的第二組參數(shù)m3大于一預(yù)設(shè)值，或是第二組參數(shù)m3的數(shù)據(jù)無法收斂，則此第二組參數(shù)m3必須重復(fù)步驟420進(jìn)行透視轉(zhuǎn)換的流程。適應(yīng)性選擇器228的工作即是根據(jù)影像的復(fù)雜程度與全域動(dòng)態(tài)預(yù)測(cè)模型，選擇不同的預(yù)設(shè)預(yù)測(cè)次數(shù)，并決定輸出第一組參數(shù)m2或第二組參數(shù)m3。就一較佳實(shí)施例而言，本發(fā)明適應(yīng)性選擇器228預(yù)設(shè)的預(yù)測(cè)次數(shù)為32次。此外，若是尺寸控制單元270發(fā)現(xiàn)廣域背景畫面的尺寸有不合理的擴(kuò)大情形，亦可以要求本發(fā)明混成模式全域動(dòng)態(tài)預(yù)測(cè)單元220忽略透視轉(zhuǎn)換，而直接輸出第一組參數(shù)m2，以保持較佳的壓縮效率。
由于平面轉(zhuǎn)換模式的階層較透視轉(zhuǎn)換模式為低，透過平面轉(zhuǎn)換所產(chǎn)生的第一組參數(shù)m2的數(shù)據(jù)量也就少于透視轉(zhuǎn)換所產(chǎn)生的第二組參數(shù)m3的數(shù)據(jù)量。而在本發(fā)明混成模式全域動(dòng)態(tài)預(yù)測(cè)單元220中，可透過適應(yīng)性選擇器228選擇輸出第一組參數(shù)m2或是第二組參數(shù)m3，換言之，所輸出的數(shù)據(jù)量是多于完全使用平面轉(zhuǎn)換的多層全域動(dòng)態(tài)預(yù)測(cè)單元，而少于完全使用透視轉(zhuǎn)換的多層全域動(dòng)態(tài)預(yù)測(cè)單元。
其次，本發(fā)明的混成模式全域動(dòng)態(tài)預(yù)測(cè)單元220在多層平面轉(zhuǎn)換子單元224的后端，增加一透視轉(zhuǎn)換子單元226對(duì)動(dòng)態(tài)參數(shù)m2進(jìn)行細(xì)調(diào)。因此，此多層平面轉(zhuǎn)換子單元224未必需要如圖3傳統(tǒng)多層全域動(dòng)態(tài)預(yù)測(cè)單元120使用三個(gè)轉(zhuǎn)換層級(jí)，而可以使用二個(gè)轉(zhuǎn)換層級(jí)，甚至于僅使用一個(gè)轉(zhuǎn)換層級(jí)。
除此之外，本發(fā)明的第一快速影像變形(Fast Image Warping)單元250中，使用最近鄰點(diǎn)內(nèi)插法取代傳統(tǒng)廣域背景畫面產(chǎn)生器的雙線性內(nèi)插法(bilinear interpolation)。如圖11所示，是針對(duì)雙線性內(nèi)插法與本發(fā)明所采用的最近鄰點(diǎn)內(nèi)插法舉例說明。圖中A(0，0)，B(1，0)，C(1，1)，D(0，1)四個(gè)點(diǎn)的值分別為1，2，3，4，而P點(diǎn)的座標(biāo)為(0.8，0.2)；若是采用最近鄰點(diǎn)內(nèi)插法，由于P點(diǎn)的值與B點(diǎn)最為接近，P點(diǎn)的值即判斷為與B點(diǎn)(1，0)相同。若是采用雙線性內(nèi)插法，P點(diǎn)的值必須參酌A，B，C，D四點(diǎn)的值，并且以P點(diǎn)的座標(biāo)與A，B，C，D四點(diǎn)的座標(biāo)作加權(quán)計(jì)算?？梢韵胍?，雖然雙線性內(nèi)插法可以提供較為準(zhǔn)確的位置預(yù)測(cè)，但是相對(duì)所耗費(fèi)的時(shí)間也較多。
請(qǐng)參照?qǐng)D12所示，是采用最近鄰點(diǎn)內(nèi)插法與雙線性內(nèi)插法的情況下，將畫面貼入廣域背景畫面的過程中，廣域背景畫面所紀(jì)錄的像素的強(qiáng)度誤差的統(tǒng)計(jì)表。此統(tǒng)計(jì)表是以一常用以測(cè)試廣域背景畫面產(chǎn)生器的影片″Kiel_rev″進(jìn)行測(cè)試的結(jié)果。如表中所示，有六成以上像素強(qiáng)度的誤差小于5階，而有九成以上像素強(qiáng)度的誤差小于20階。
請(qǐng)參照?qǐng)D13所示，是采用不同全域動(dòng)態(tài)預(yù)測(cè)模式與內(nèi)插法的情況下，產(chǎn)生廣域背景畫面所需要的運(yùn)算時(shí)間的比較表。此比較表是以一常用以測(cè)試廣域背景畫面產(chǎn)生器的影片″Stefan″進(jìn)行測(cè)試的結(jié)果。可見，使用最近鄰點(diǎn)內(nèi)插法可以縮短內(nèi)插點(diǎn)運(yùn)算所需耗費(fèi)的時(shí)間，而可以大幅提升廣域背景畫面產(chǎn)生器的運(yùn)算速度。
上述混成模式全域動(dòng)態(tài)預(yù)測(cè)單元220是以多層平面轉(zhuǎn)換子單元224與透視轉(zhuǎn)換子單元226，進(jìn)行低階比對(duì)與高階比對(duì)兩種不同精細(xì)程度的動(dòng)態(tài)預(yù)測(cè)模型。然而亦不限于此，若是所處理的畫面較為簡(jiǎn)單，也可以位移預(yù)測(cè)(只比對(duì)背景影像與前一個(gè)廣域背景畫面中相對(duì)像素的位置變化)取代平面轉(zhuǎn)換；甚至，將透視轉(zhuǎn)換以平面轉(zhuǎn)換取代之。此外，在畫面較為簡(jiǎn)單的情況下，也可以省略前述位移估計(jì)子單元222執(zhí)行粗略預(yù)測(cè)。
請(qǐng)參照?qǐng)D14所示，是本發(fā)明廣域背景畫面的產(chǎn)生方法一較佳實(shí)施例的流程圖。首先，如步驟610，針對(duì)一輸入的視訊物件平面，去除其前景影像以輸出背景影像。隨后，如步驟620，進(jìn)行位移估計(jì)步驟以產(chǎn)生位移參數(shù)m1。然后，如步驟630，以一低階比對(duì)模式估計(jì)背景影像相對(duì)應(yīng)于前一個(gè)廣域背景畫面的動(dòng)態(tài)變化，以產(chǎn)生第一組參數(shù)m2。就一較佳實(shí)施例而言，此低階比對(duì)模式可以是一平面轉(zhuǎn)換模式。
接下來，如步驟640，擷取第一組參數(shù)m2，并以一高階比對(duì)模式比對(duì)背景影像與前一個(gè)廣域背景畫面，微調(diào)第一組參數(shù)m2藉以產(chǎn)生第二組參數(shù)m3。就一較佳實(shí)施例而言，此高階比對(duì)模式可以是一透視轉(zhuǎn)換模式。然后，如步驟650，透過快速影像變形的方法變形背景影像，并以最近鄰點(diǎn)內(nèi)插法搜尋此變形影像對(duì)應(yīng)于前一個(gè)廣域背景畫面上的位置，以更新廣域背景畫面。值得注意的是，此高階比對(duì)模型的比對(duì)步驟必須重復(fù)到第二組參數(shù)m3收斂或是小于一預(yù)設(shè)值，方始依據(jù)所輸出的第二組參數(shù)m3變形背景影像；而若是經(jīng)過一預(yù)設(shè)次數(shù)的重復(fù)，第二組參數(shù)m3仍然無法收斂，則依據(jù)第一組參數(shù)m2變形背景影像。
隨后，如步驟660，擷取前述更新后的廣域背景畫面與前一個(gè)廣域背景畫面，并檢視二者的尺寸是否產(chǎn)生不合理的擴(kuò)張。若是產(chǎn)生不合理的擴(kuò)張，則重新進(jìn)行前述產(chǎn)生第一組參數(shù)的估計(jì)步驟630及其后續(xù)步驟640，650，以求取一較合理的廣域背景畫面。若無不合理的擴(kuò)張，則直接輸出前述更新后的廣域背景畫面。
請(qǐng)參照?qǐng)D15所示，是本發(fā)明混成模式廣域背景畫面產(chǎn)生器200與MPEG-4 OM的廣域背景畫面產(chǎn)生器100產(chǎn)生廣域背景畫面所耗費(fèi)時(shí)間的測(cè)試結(jié)果的比較表。此測(cè)試結(jié)果是以一常用以測(cè)試廣域背景畫面產(chǎn)生器的影片″Stefan-rev″進(jìn)行測(cè)試。如表中所示，本發(fā)明混成模式廣域背景畫面產(chǎn)生器200的運(yùn)算速度是遠(yuǎn)較MPEG-4 OM的廣域背景畫面產(chǎn)生器100來的快。
請(qǐng)參照?qǐng)D16所示，是本發(fā)明廣域背景畫面產(chǎn)生器200與MPEG-4 OM的廣域背景畫面產(chǎn)生器100所產(chǎn)生數(shù)據(jù)量的測(cè)試結(jié)果的比較表。此測(cè)試結(jié)果是以一常用以測(cè)試廣域背景畫面產(chǎn)生器的影片″Foremam″進(jìn)行測(cè)試。如表中所示，本發(fā)明混成模式廣域背景畫面產(chǎn)生器200所產(chǎn)生的數(shù)據(jù)量，略大于MPEG-4 OM多層平面轉(zhuǎn)換廣域背景畫面產(chǎn)生器的數(shù)據(jù)量，而大幅小于MPEG-4 OM多層透視轉(zhuǎn)換廣域背景畫面產(chǎn)生器的數(shù)據(jù)量。這表示，對(duì)本發(fā)明的混成模式廣域背景畫面產(chǎn)生器200而言，廣域背景畫面中僅有小部分的畫面使用到第二組參數(shù)。
綜上所述，本發(fā)明的混成模式廣域背景畫面產(chǎn)生器具有下列優(yōu)點(diǎn)一、本發(fā)明的混成模式廣域背景畫面產(chǎn)生器200使用最近鄰點(diǎn)內(nèi)插法取代傳統(tǒng)的雙線性內(nèi)插法，因此，可以將內(nèi)插點(diǎn)所需的時(shí)間縮短到原本的六分之一。又，如圖4A和4B所示，在產(chǎn)生廣域背景畫面所使用的時(shí)間中，內(nèi)插點(diǎn)步驟往往占據(jù)一半以上的時(shí)間。因此，本發(fā)明的混成模式廣域背景畫面產(chǎn)生器200可透過最近鄰點(diǎn)內(nèi)插法，大幅提高運(yùn)作效率。
二、本發(fā)明的混成模式廣域背景畫面產(chǎn)生器200使用混成模式全域動(dòng)態(tài)預(yù)測(cè)單元220取代圖3傳統(tǒng)多層平面(或透視)轉(zhuǎn)換全域動(dòng)態(tài)預(yù)測(cè)單元120。其中，較之使用多層平面轉(zhuǎn)換全域動(dòng)態(tài)預(yù)測(cè)單元的情況，透過本發(fā)明的混成模式全域動(dòng)態(tài)預(yù)測(cè)單元220進(jìn)行運(yùn)算，雖然必須耗費(fèi)較多的時(shí)間并產(chǎn)生較多的數(shù)據(jù)量，但是，透過透視轉(zhuǎn)換的功能，本發(fā)明的混成模式全域動(dòng)態(tài)預(yù)測(cè)單元220在景深明顯變化的情況下，顯然具有較佳的效果。而較之使用多層透視轉(zhuǎn)換全域動(dòng)態(tài)預(yù)測(cè)單元的情況，本發(fā)明的混成模式全域動(dòng)態(tài)預(yù)測(cè)單元220可以節(jié)省運(yùn)算所需耗費(fèi)之時(shí)間并產(chǎn)生相對(duì)較少的數(shù)據(jù)量，同時(shí)，由于本發(fā)明的混成模式全域動(dòng)態(tài)預(yù)測(cè)單元220在進(jìn)行透視轉(zhuǎn)換之前，是先進(jìn)行平面轉(zhuǎn)換，因此，可以避免畫面局部最小化造成透視轉(zhuǎn)換過程產(chǎn)生誤差放大而導(dǎo)致廣域背景畫面錯(cuò)誤的現(xiàn)象。
三、本發(fā)明的混成模式廣域背景畫面產(chǎn)生器200另具有一適應(yīng)性選擇器228，可以選擇輸出平面轉(zhuǎn)換后的第一組參數(shù)m2或是透視轉(zhuǎn)換后的第二組參數(shù)m3。此適應(yīng)性選擇器228在第二組參數(shù)m3無法收斂的情況下，即選擇輸出第一組參數(shù)m2，因此，可避免透視轉(zhuǎn)換產(chǎn)生的誤差影響廣域背景畫面。同時(shí)，由于第一組參數(shù)m2的數(shù)據(jù)量是少于第二組參數(shù)m3的數(shù)據(jù)量，因此，本發(fā)明混成模式廣域背景畫面產(chǎn)生器200所產(chǎn)生的數(shù)據(jù)量，是小于利用多層透視轉(zhuǎn)換全域動(dòng)態(tài)預(yù)測(cè)單元的廣域背景畫面產(chǎn)生器的數(shù)據(jù)量，也就是可以省去不必要的數(shù)據(jù)傳輸量。
四、當(dāng)廣域背景畫面產(chǎn)生器的運(yùn)算結(jié)果產(chǎn)生不合理的擴(kuò)大情形或是會(huì)造成數(shù)據(jù)傳輸?shù)呢?fù)擔(dān)時(shí)，尺寸控制單元270可透過忽略透視轉(zhuǎn)換或是重置(Reset)動(dòng)態(tài)預(yù)測(cè)的運(yùn)算以保持最佳的壓縮效率。
雖然本發(fā)明已參照當(dāng)前的具體實(shí)施例來描述，但是本技術(shù)領(lǐng)域中的普通技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，以上的實(shí)施例僅是用來說明本發(fā)明，在沒有脫離本發(fā)明精神的情況下還可作出各種等效的變化或替換，因此，只要在本發(fā)明的實(shí)質(zhì)精神范圍內(nèi)對(duì)上述實(shí)施例的變化、變型都將落在本申請(qǐng)的權(quán)利要求書的范圍內(nèi)。
權(quán)利要求
1.一種混成模式廣域背景畫面產(chǎn)生器，包括一影像分區(qū)單元，去除視訊物件平面的前景影像，以輸出背景影像；一畫面記憶單元，儲(chǔ)存前一個(gè)廣域背景畫面；一混成模式全域動(dòng)態(tài)預(yù)測(cè)單元，包括一低階比對(duì)子單元，產(chǎn)生第一組參數(shù)以估計(jì)該背景影像相對(duì)應(yīng)于該前一個(gè)廣域背景畫面的動(dòng)態(tài)變化；一高階比對(duì)子單元，比對(duì)該背景影像與該前一個(gè)廣域背景畫面，以微調(diào)該第一組參數(shù)而產(chǎn)生第二組參數(shù)；一適應(yīng)性選擇器，選擇輸出該第一組參數(shù)或該第二組參數(shù)；第一快速影像變形單元，根據(jù)該適應(yīng)性選擇器所輸出的參數(shù)變形該背景影像，并以最近鄰點(diǎn)內(nèi)插法搜尋該變形影像在該前一個(gè)廣域背景畫面上的位置，以更新廣域背景畫面；以及一尺寸控制單元，檢視該變形影像與該前一個(gè)廣域背景畫面，若是該變形影像的尺寸放大到一預(yù)設(shè)倍數(shù)以上方能配合至該前一個(gè)廣域背景畫面，則通知該混成模式全域動(dòng)態(tài)預(yù)測(cè)單元重置動(dòng)態(tài)預(yù)測(cè)的計(jì)算。
2.如權(quán)利要求1所述的混成模式廣域背景畫面產(chǎn)生器，其特征在于，當(dāng)該高階比對(duì)子單元經(jīng)一預(yù)設(shè)次數(shù)的重復(fù)過程后所產(chǎn)生的該第二組參數(shù)無法收斂，該適應(yīng)性選擇器即選擇輸出該第一組參數(shù)，反之，則輸出該第二組參數(shù)。
3.如權(quán)利要求1所述的混成模式廣域背景畫面產(chǎn)生器，其特征在于，該混成模式全域動(dòng)態(tài)預(yù)測(cè)單元還包括一位移估計(jì)子單元，以該背景影像的像素座標(biāo)為基準(zhǔn)，比較該前一個(gè)廣域背景畫面中相對(duì)應(yīng)像素的位置，以產(chǎn)生位移參數(shù)。
4.如權(quán)利要求3所述的混成模式廣域背景畫面產(chǎn)生器，其特征在于，該低階比對(duì)子單元是一平面轉(zhuǎn)換子單元，該平面轉(zhuǎn)換子單元是以該背景影像的像素座標(biāo)為基準(zhǔn)，比較該前一個(gè)廣域背景畫面中相對(duì)應(yīng)影像的座標(biāo)平面，并擷取該位移參數(shù)，以產(chǎn)生包括尺度參數(shù)、剪切參數(shù)與旋轉(zhuǎn)參數(shù)在內(nèi)的第一組參數(shù)。
5.如權(quán)利要求4所述的混成模式廣域背景畫面產(chǎn)生器，其特征在于，該高階比對(duì)子單元是一透視轉(zhuǎn)換子單元，該透視轉(zhuǎn)換子單元是以該背景影像的像素座標(biāo)為基準(zhǔn)，比較該前一個(gè)廣域背景畫面中相對(duì)應(yīng)的座標(biāo)空間，以產(chǎn)生包括透視參數(shù)在內(nèi)的第二組參數(shù)，表達(dá)景深的變化。
6.如權(quán)利要求5所述的混成模式廣域背景畫面產(chǎn)生器，其特征在于，該透視轉(zhuǎn)換子單元同時(shí)細(xì)調(diào)該尺度參數(shù)、該剪切參數(shù)、該旋轉(zhuǎn)參數(shù)與該位移參數(shù)，而該第二組參數(shù)系包括細(xì)調(diào)后之該尺度參數(shù)、該剪切參數(shù)、該旋轉(zhuǎn)參數(shù)與該位移參數(shù)。
7.如權(quán)利要求1所述的混成模式廣域背景畫面產(chǎn)生器，其特征在于，還包括一混合單元，將部分該視訊物件平面的前景影像混合至該更新的廣域背景畫面內(nèi)，以改善廣域背景畫面的品質(zhì)。
8.一種產(chǎn)生廣域背景畫面的方法，包括提供一視訊物件平面；去除該視訊物件平面的前景影像，以輸出背景影像；以一低階比對(duì)模式比對(duì)該背景影像與前一個(gè)廣域背景畫面，以該背景影像的像素座標(biāo)為基準(zhǔn)，比較該前一個(gè)廣域背景畫面中相對(duì)應(yīng)影像的座標(biāo)平面，以產(chǎn)生包括尺度參數(shù)、剪切參數(shù)與旋轉(zhuǎn)參數(shù)在內(nèi)的第一組參數(shù)；擷取該第一組參數(shù)，并以一高階比對(duì)模式比對(duì)該背景影像與該前一個(gè)廣域背景畫面，擷取該第一組參數(shù)，并以透視轉(zhuǎn)換的方法，以該背景影像的像素座標(biāo)為基準(zhǔn)，比較該前一個(gè)廣域背景畫面中相對(duì)應(yīng)的座標(biāo)空間，以產(chǎn)生包括透視參數(shù)在內(nèi)的第二組參數(shù)，表達(dá)景深的變化；變形該背景影像使與該前一個(gè)廣域背景畫面相配合；以最近鄰點(diǎn)內(nèi)插法搜尋該變形影像對(duì)應(yīng)于該前一個(gè)廣域背景畫面的位置，以更新廣域背景畫面；檢視該更新后的廣域背景畫面與該前一個(gè)廣域背景畫面，若是產(chǎn)生不合理的擴(kuò)張，則重新進(jìn)行前述產(chǎn)生該第一組參數(shù)的估計(jì)步驟及其后續(xù)步驟，若無不合理的擴(kuò)張，則輸出該更新后的廣域背景畫面。
9.如權(quán)利要求8所述的方法，其特征在，該高階比對(duì)模型的比對(duì)步驟必須重復(fù)進(jìn)行，直到該第二組參數(shù)收斂為止，而若是經(jīng)過一預(yù)設(shè)次數(shù)的重復(fù)，該第二組參數(shù)仍然無法收斂，則依據(jù)該第一組參數(shù)變形該背景影像，反之，則依據(jù)該第二組參數(shù)變形該背景影像。
10.如權(quán)利要求8所述的方法，其特征在于，在進(jìn)行平面轉(zhuǎn)換的步驟前，是以該背景影像的像素座標(biāo)為基準(zhǔn)，比較該前一個(gè)廣域背景畫面中相對(duì)應(yīng)像素的位置，以產(chǎn)生位移參數(shù)，并且，該平面轉(zhuǎn)換的步驟系擷取該位移參數(shù)，以產(chǎn)生包括尺度參數(shù)、剪切參數(shù)與旋轉(zhuǎn)參數(shù)在內(nèi)的第一組參數(shù)。
全文摘要
本發(fā)明涉及一種混成模式廣域背景畫面(Sprite)產(chǎn)生器，具有一混成模式全域動(dòng)態(tài)預(yù)測(cè)單元(Hybrid Global Motion Estimation)比對(duì)一當(dāng)前背景影像與一前一個(gè)廣域背景畫面，并以適應(yīng)性選擇器選擇適當(dāng)模式的比對(duì)結(jié)果。而快速影像變形(Fast Image Warping)單元是依據(jù)適應(yīng)性選擇器的比對(duì)結(jié)果，將背景影像變形，并以最近鄰點(diǎn)內(nèi)插(Nearest Neighborhood Interpolation)法搜尋變形影像在前一個(gè)廣域背景畫面上的位置。
文檔編號(hào)H04N7/26GK1791217SQ200410101950
公開日2006年6月21日 申請(qǐng)日期2004年12月15日 優(yōu)先權(quán)日2004年12月15日
發(fā)明者吉正然, 陳進(jìn)興, 楊狄龍, 吳建雄 申請(qǐng)人:華碩電腦股份有限公司