專利名稱:估計(jì)視差矢量的方法以及使用該視差矢量估計(jì)方法對(duì)多視角運(yùn)動(dòng)圖像編碼和解碼的方法 ...的制作方法
估計(jì)視差矢量的方法以及使用該視差矢量估計(jì)方法對(duì)多視角運(yùn)動(dòng)圖像編碼和解碼的方法和設(shè)備技術(shù)領(lǐng)域與本發(fā)明一致的方法和設(shè)備涉及多視角運(yùn)動(dòng)圖像的編碼和解碼,更具體 地講,涉及一種對(duì)多視角運(yùn)動(dòng)圖像快速編碼并提高多視角運(yùn)動(dòng)圖像的可壓縮 性的視差矢量估計(jì)方法,并涉及一種使用該視差矢量估計(jì)方法對(duì)多視角運(yùn)動(dòng) 圖像進(jìn)行編碼和解碼的方法和設(shè)備。
背景技術(shù):
真實(shí)性在實(shí)現(xiàn)高質(zhì)量信息和遠(yuǎn)程通信服務(wù)中是重要的因素??墒褂没谌S(3D)圖像的視頻通信來(lái)實(shí)現(xiàn)真實(shí)性。3D圖像系統(tǒng)在教育、娛樂、醫(yī)療手 術(shù)、視頻會(huì)議等方面具有很多潛在的應(yīng)用。為了向觀看者提供遠(yuǎn)程場(chǎng)景的更 生動(dòng)和準(zhǔn)確的信息,在稍微不同的視點(diǎn)布置三個(gè)或更多攝像機(jī),以產(chǎn)生多視角序列。作為對(duì)3D圖像的當(dāng)前興趣的反映,很多研究組已經(jīng)開發(fā)了 3D圖像處理 和顯示系統(tǒng)。在歐洲,已經(jīng)通過(guò)諸如DISTMA等幾個(gè)項(xiàng)目開始了對(duì)3DTV的 研究,其目的在于開發(fā)一種用于對(duì)數(shù)字立體圖像序列進(jìn)行捕獲、編碼、傳輸 和顯示的系統(tǒng)。這些項(xiàng)目導(dǎo)致了另一項(xiàng)目,即,PANORAMA,其目標(biāo)是增強(qiáng) 3D遠(yuǎn)程呈現(xiàn)通信中的視覺信息。這些項(xiàng)目還導(dǎo)致了另一項(xiàng)目,即,ATTEST, 在ATTEST中研究了用于3D內(nèi)容采集、3D壓縮和傳輸以及3D顯示系統(tǒng)的 各種技術(shù)。在ATTEST項(xiàng)目中,應(yīng)用了運(yùn)動(dòng)圖像專家組2 (MPEG-2)和數(shù)字視 頻廣播(DVB)標(biāo)準(zhǔn),以4吏用時(shí)間可伸縮性來(lái)傳輸3D內(nèi)容。在時(shí)間伸縮中,基 本層用于2D內(nèi)容的傳輸,增強(qiáng)層用于3D內(nèi)容的傳輸。在1996年對(duì)MPEG-2標(biāo)準(zhǔn)進(jìn)行了修改,以定義多視角類(multiview profi]e: MVP)。 MVP按照MPEG-2語(yǔ)法定義了用于多攝像機(jī)序列的時(shí)間可伸縮性模 式的使用和采集攝像機(jī)參數(shù)。當(dāng)基本層流和增強(qiáng)層流均可被獲得時(shí),基本層流和增強(qiáng)層流可被定義以 允許按照全幀率來(lái)進(jìn)行再現(xiàn),其中,基本層流代表能夠以減小的幀率被編碼的多視角視頻信號(hào),增強(qiáng)層流可用于在其間插入另外的幀。對(duì)增強(qiáng)層進(jìn)行編 碼的一種非常有效的方式是基于基本層幀或新近重構(gòu)的增強(qiáng)層幀來(lái)確定用于 對(duì)增強(qiáng)層幀中的每個(gè)宏塊執(zhí)行運(yùn)動(dòng)補(bǔ)償?shù)墓烙?jì)的最佳方法。使用時(shí)間可伸縮性語(yǔ)法來(lái)對(duì)這樣的多視角視頻信號(hào)進(jìn)行立體和多視角信 道編碼的處理是易懂的。為此,來(lái)自特定攝像機(jī)視角的幀(通常是左眼幀)被定 義為基本層,來(lái)自另一攝像機(jī)視角的幀被定義為增強(qiáng)層。對(duì)于增強(qiáng)層,盡管補(bǔ)償了視差(disparity)的估計(jì)在封閉區(qū)域可能失敗,但是仍然可以在同一信道 中使用運(yùn)動(dòng)補(bǔ)償?shù)墓烙?jì)來(lái)保持重構(gòu)的圖像的質(zhì)量。由于主要為了立體序列來(lái) 定義MPEG-2MVP,所以MPEG-2 MVP不支持多視角序列,并且本質(zhì)上也難以擴(kuò)展到多視角序列。圖1是示出MPEG-2MVP的編碼器和解碼器的框圖。參照?qǐng)D1, MPEG-2MVP(13818-2)通過(guò)利用可伸縮編碼解碼器(該編碼解 碼器檢測(cè)左視角圖像和右視角圖像之間的相關(guān)性,并且根據(jù)網(wǎng)絡(luò)狀態(tài)對(duì)左視 角圖像和右視角圖像之間的差可變地進(jìn)行編碼),使用左視角圖像和右視角圖 像來(lái)對(duì)三維(3D)運(yùn)動(dòng)圖像進(jìn)行編碼和再現(xiàn)。這里,左視角圖像被定義為基本 層運(yùn)動(dòng)圖像,右視角圖像被定義為增強(qiáng)層圖像??砂凑栈緦訄D像的原始形 式對(duì)基本層圖像進(jìn)行編碼,增強(qiáng)層圖像被另外編碼和傳輸,以便當(dāng)網(wǎng)絡(luò)狀態(tài) 穩(wěn)定時(shí)提高基本層運(yùn)動(dòng)圖像的質(zhì)量。因此,使用基本層運(yùn)動(dòng)圖像和增強(qiáng)層圖 像的編碼稱為可伸縮編碼。第一運(yùn)動(dòng)補(bǔ)償DCT編碼器110對(duì)左視角圖像進(jìn)行編碼。用于估計(jì)左視角 圖像和右視角圖像之間的視差的差的視差估計(jì)器122以及視差補(bǔ)償器124計(jì) 算左視角圖像和右視角圖像之間的差,然后第二運(yùn)動(dòng)補(bǔ)償DCT編碼器126對(duì) 所述差進(jìn)行編碼。用于對(duì)左視角圖像進(jìn)行編碼的第一運(yùn)動(dòng)補(bǔ)償DCT編碼器 110被稱為基本層圖像編碼器,視差估計(jì)器122、視差補(bǔ)償器124以及用于對(duì) 右視角圖像和左視角圖像之間的視差進(jìn)行編碼的第二運(yùn)動(dòng)補(bǔ)償DCT編碼器 126組成增強(qiáng)層圖像編碼器120。編碼的基本層圖像和增強(qiáng)層圖像被系統(tǒng)復(fù)用 器130復(fù)用,然后被發(fā)送到解碼器。復(fù)用的信號(hào)被系統(tǒng)解復(fù)用器140分解為左視角圖像和右視角圖像。左視 角圖像被第一運(yùn)動(dòng)補(bǔ)償DCT解碼器150解碼。第二運(yùn)動(dòng)補(bǔ)償DCT解碼器164 以及用于對(duì)左視角圖像和右視角圖像之間的視差進(jìn)行補(bǔ)償?shù)囊暡钛a(bǔ)償器162 將視差圖像恢復(fù)為右視角圖像。用于對(duì)左視角圖像進(jìn)行解碼的第一運(yùn)動(dòng)補(bǔ)償DCT解碼器150被稱為基本層圖像解碼器,用于測(cè)量左視角圖像和右視角圖 像之間的視差并對(duì)右視角圖像進(jìn)行解碼的第二運(yùn)動(dòng)補(bǔ)償DCT解碼器164以及 視差補(bǔ)償器162組成增強(qiáng)層圖像解碼器160。圖2是解釋基于視差的估計(jì)編碼的示圖,在該估計(jì)編碼中,對(duì)于雙向運(yùn) 動(dòng)估計(jì)使用兩次視差估計(jì)。左視角圖像被非可伸縮MPEG-2編碼器編碼,右視角圖像基于解碼的左 視角圖像被MPEG-2時(shí)間輔助視角編碼器編碼。即,使用從兩個(gè)參考圖像(例如,兩個(gè)左視角圖像)獲得的估計(jì)結(jié)果來(lái)將 右視角圖像被編碼為雙向(B)圖像。兩個(gè)參考圖像之一是將與右視角圖像同時(shí) 顯示的左視角圖像,另一個(gè)參考圖像是將在時(shí)間上隨后顯示的左視角圖像。另外,與運(yùn)動(dòng)估計(jì)/補(bǔ)償類似,兩次估計(jì)結(jié)果具有三種估計(jì)模式,這三種 估計(jì)模式包括前向模式、后向模式以及插值模式。這里,前向模式指示從等 時(shí)(isochronal)左視角圖像估計(jì)的視差,后向模式指示基于緊隨等時(shí)左視角圖 像的左視角圖像估計(jì)的視差。在該方法中,由于通過(guò)兩個(gè)左視角圖像的視差 矢量來(lái)估計(jì)右視角圖像,所以該估計(jì)方法被稱為基于視差的估計(jì)編碼。因此, 編碼器估計(jì)右視角運(yùn)動(dòng)圖像的每幀的兩個(gè)視差矢量,解碼器使用這兩個(gè)視差 矢量根據(jù)左視角運(yùn)動(dòng)圖像對(duì)右視角圖像進(jìn)行解碼。圖3是解釋使用用于插值估計(jì)的運(yùn)動(dòng)矢量和視差矢量的估計(jì)編碼的示圖。在圖3中,B圖像用于如圖2所示的插值估計(jì)。然而在這里,插值估計(jì) 使用視差估計(jì)和運(yùn)動(dòng)估計(jì)。即,從等時(shí)左視角圖像獲得的視差估計(jì)結(jié)果以及 從前一次從右視角圖像獲得的運(yùn)動(dòng)估計(jì)結(jié)果被使用。與基于視差的估計(jì)編碼相同,使用視差矢量和運(yùn)動(dòng)矢量的估計(jì)編碼也包 括三種估計(jì)模式,這三種估計(jì)模式包括前向模式、后向模式以及插值模式。 這里,前向模式指示從解碼的右視角圖像獲得的運(yùn)動(dòng)估計(jì),后向模式指示從 解碼的左視角圖像獲得的視差估計(jì)。如上所述,由于MPEG-2 MVP規(guī)范本身不考慮用于多視角運(yùn)動(dòng)圖像的編 碼器,所以沒有將MPEG-2MVP規(guī)范設(shè)計(jì)為適合于實(shí)際的立體運(yùn)動(dòng)圖像。因 此,需要這樣一種編碼器,該編碼器能夠有效提供多視角運(yùn)動(dòng)圖像,以便同 時(shí)向多人提供三維效果和真實(shí)性。已經(jīng)開發(fā)出一種新的H.264視頻編碼標(biāo)準(zhǔn),與現(xiàn)有4支術(shù)的標(biāo)準(zhǔn)相比,該新的H.264視頻編碼標(biāo)準(zhǔn)用于高的編碼效率??紤]到16x16和4x4之間的可 變的塊大小、環(huán)路去塊濾波器中的運(yùn)動(dòng)補(bǔ)償?shù)乃牟鏄浣Y(jié)構(gòu)、多個(gè)參考幀、幀 內(nèi)預(yù)測(cè)和上下文自適應(yīng)性熵編碼,并且考慮到一般的B估計(jì)像條(slice),新的 H.264視頻編碼標(biāo)準(zhǔn)耳又決于各種新的特性。與MPEG-2標(biāo)準(zhǔn)、MPEG-4 Part2 標(biāo)準(zhǔn)等不同,在使用從同一方向(前向或后向)獲得的多預(yù)測(cè)的同時(shí),B像條可 以是所參考的不同的像條。但是,上述特性需要用于H.264視頻編碼標(biāo)準(zhǔn)的 運(yùn)動(dòng)信息的大量比特,所述運(yùn)動(dòng)信息包括估計(jì)模式以及估計(jì)模式下的運(yùn)動(dòng)矢 量和參考圖像。為了解決該問題,可將跳躍模式和直接模式分別引入到預(yù)測(cè)(P)像條和B 像條。跳躍模式和直接模式允許使用先前編碼的運(yùn)動(dòng)矢量信息對(duì)當(dāng)前將被編 碼的圖像的任意塊進(jìn)行運(yùn)動(dòng)估計(jì)。因此,用于宏塊(MB)或塊的另外的運(yùn)動(dòng)數(shù) 據(jù)沒有被編碼。使用相鄰MB或圖像的運(yùn)動(dòng)的空間(跳躍)或時(shí)間(直接)相關(guān)性 來(lái)獲得用于這些模式的運(yùn)動(dòng)。圖4是解釋B圖像的直接模式的示圖。在直接模式下,當(dāng)估計(jì)當(dāng)前將被編碼的B圖像的任意塊的運(yùn)動(dòng)時(shí),使用 在時(shí)間上跟隨的P圖像的相同位置塊(co-locatedblock)的運(yùn)動(dòng)矢量來(lái)獲得前向 運(yùn)動(dòng)矢量和后向運(yùn)動(dòng)矢量。為了計(jì)算直接才莫式塊402的前向運(yùn)動(dòng)矢量MVW和后向運(yùn)動(dòng)矢量MVu(所 述直接模式塊402的運(yùn)動(dòng)將在B圖像410中被估計(jì)),檢測(cè)用于參考列表0圖 像430的運(yùn)動(dòng)矢量MV,參考列表0圖像430具有作為在時(shí)間上跟隨的圖像 的參考列表i圖像420中的相同位置塊404,相同位置塊404與直接模式塊 402位于相同位置。因此,使用如下的方程1來(lái)計(jì)算B圖像410的直接模式 塊402的前向運(yùn)動(dòng)矢量MVu>和后向運(yùn)動(dòng)矢量MVL,。<formula>formula see original document page 10</formula>(1) 其中,MV表示參考列表1圖像420的相同位置塊404的運(yùn)動(dòng)矢量,TRD 表示參考列表0圖像430和參考列表1圖像420之間的距離,TRb表示B圖 像410和參考列表0圖像430之間的距離。圖5是解釋在空間區(qū)域估計(jì)運(yùn)動(dòng)矢量的方法的示圖。根據(jù)用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼的H.264標(biāo)準(zhǔn),幀被劃分為多個(gè)塊, 每個(gè)塊具有預(yù)定大小,并且對(duì)與被編碼的相鄰幀最相似的塊的執(zhí)行運(yùn)動(dòng)搜索。 即,當(dāng)前宏塊C的左宏塊4、中上宏塊2、右上宏塊3的運(yùn)動(dòng)矢量的中值被確 定為相應(yīng)運(yùn)動(dòng)矢量的估計(jì)值??墒褂萌缦碌姆匠?來(lái)表示運(yùn)動(dòng)矢量估計(jì)。因此,已經(jīng)提出了使用空間相關(guān)性和時(shí)間相關(guān)性來(lái)對(duì)運(yùn)動(dòng)圖像進(jìn)行編碼 的方法。但是,仍然需要這樣一種方法,該方法提高具有比一般運(yùn)動(dòng)圖像多 大量信息的多視角運(yùn)動(dòng)圖像的可壓縮性和處理速度。
發(fā)明內(nèi)容
技術(shù)方案本發(fā)明提供一種方法和設(shè)備,該方法和設(shè)備使用由多視角攝像機(jī)拍攝的 多視角圖像的視差矢量之間的相關(guān)性對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行編碼,以提高多 視角運(yùn)動(dòng)圖像的可壓縮性并快速執(zhí)行多視角運(yùn)動(dòng)圖像的編碼。本發(fā)明還提供一種方法和設(shè)備,該方法和設(shè)備使用多視角圖像的視差矢 量之間的相關(guān)性對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行解碼,以對(duì)編碼的多視角運(yùn)動(dòng)圖像進(jìn) 行解碼。有益效果根據(jù)本發(fā)明的示例性實(shí)施例,當(dāng)估計(jì)宏塊單元的視差矢量時(shí),通過(guò)使用 為預(yù)定數(shù)量的宏塊估計(jì)的視差矢量而不用估計(jì)所有宏塊的視差矢量,來(lái)計(jì)算 剩余宏塊的視差矢量,可提高多視角運(yùn)動(dòng)圖像的編碼速度。另外,根據(jù)本發(fā)明的示例性實(shí)施例,由于不需要對(duì)所有宏塊的視差矢量 進(jìn)行編碼,所以可提高多視角運(yùn)動(dòng)圖像的可壓縮性。另外,根據(jù)本發(fā)明的示例性實(shí)施例,提供一種多視角運(yùn)動(dòng)圖像解碼方法 和設(shè)備,以用于使用多視角運(yùn)動(dòng)圖像的視差矢量之間的相關(guān)性來(lái)對(duì)編碼的多 視角運(yùn)動(dòng)圖像進(jìn)行解碼。
通過(guò)結(jié)合附圖對(duì)本發(fā)明的示例性實(shí)施例進(jìn)行詳細(xì)描述,本發(fā)明的以上和其它方面將會(huì)變得更加清楚,其中圖1是示出使用MPEG-2多視角類(MVP)的立體運(yùn)動(dòng)圖4象編碼和解碼設(shè) 備的框圖;圖2是解釋基于視差的估計(jì)編碼的示圖,在該估計(jì)編碼中,對(duì)于雙向運(yùn) 動(dòng)估計(jì)使用兩次視差估計(jì);圖3是解釋使用用于插值估計(jì)的視差矢量和運(yùn)動(dòng)矢量的估計(jì)編碼的示圖;圖4是解釋B圖像的直接模式的示圖;圖5是解釋在空間區(qū)域估計(jì)運(yùn)動(dòng)矢量的方法的示圖;圖6是根據(jù)本發(fā)明示例性實(shí)施例的多視角運(yùn)動(dòng)圖像編碼設(shè)備的框圖;圖7是解釋由多視角攝像機(jī)拍攝的幀序列的示圖;圖8是解釋根據(jù)本發(fā)明示例性實(shí)施例的使用編碼的宏塊的視差矢量DV 來(lái)估計(jì)相鄰宏塊的視差矢量的方法的示圖;圖9是示出當(dāng)圖8所示的視差矢量的偏差恒定時(shí)視差矢量的相關(guān)性的圖形;圖10是解釋根據(jù)本發(fā)明另一示例性實(shí)施例的使用編碼的宏塊的視差矢量DV來(lái)估計(jì)相鄰宏塊的視差矢量的方法的示圖;圖11是解釋根據(jù)本發(fā)明另一示例性實(shí)施例的使用編碼的宏塊的視差矢量DV來(lái)估計(jì)相鄰宏塊的^L差矢量的方法的示圖;圖12是解釋根據(jù)本發(fā)明示例性實(shí)施例的估計(jì)視差矢量的方法的示圖; 圖13是根據(jù)本發(fā)明另一示例性實(shí)施例的多視角運(yùn)動(dòng)圖像編碼器的框圖; 圖14是示出根據(jù)本發(fā)明另一示例性實(shí)施例的多視角運(yùn)動(dòng)圖像編碼方法的流程圖;以及圖15是根據(jù)本發(fā)明示例性實(shí)施例的多視角運(yùn)動(dòng)圖像解碼器的框圖。最佳方式根據(jù)本發(fā)明的一方面,提供一種估計(jì)視差矢量以對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行 編碼的方法,所述方法包括為預(yù)定數(shù)量的編碼的宏塊估計(jì)視差矢量;以及 使用估計(jì)的視差矢量計(jì)算與編碼的宏塊相鄰的宏塊的視差矢量。估計(jì)視差矢量的步驟包括使用全搜索方法或快速搜索方法為預(yù)定數(shù)量 的編碼的宏塊估計(jì)視差矢量,并且計(jì)算視差矢量的步驟包括使用預(yù)定的插12值方程對(duì)與編碼的宏塊相鄰的宏塊的視差矢量進(jìn)行插值和計(jì)算。根據(jù)為編碼的宏塊確定的視差矢量的特性來(lái)選擇預(yù)定的插值方程,并且視差矢量的特性包括指示估計(jì)的視差矢量的偏差是否恒定的信息。根據(jù)本發(fā)明的另一方面,提供一種多視角運(yùn)動(dòng)圖像編碼設(shè)備,所述設(shè)備包括直接模式執(zhí)行單元,接收當(dāng)前幀和參考幀,為預(yù)定數(shù)量的編碼的宏塊估計(jì)視差矢量,并使用估計(jì)的視差矢量計(jì)算與編碼的宏塊相鄰的宏塊的視差矢量;插值方程提供單元,將用于計(jì)算與編碼的宏塊相鄰的宏塊的視差矢量 的插值方程提供給直接模式執(zhí)行單元;搜索模式執(zhí)行單元,接收當(dāng)前幀和參 考幀,并且對(duì)當(dāng)前幀和參考幀進(jìn)行搜索以估計(jì)視差矢量;代價(jià)計(jì)算器,根據(jù) 直接模式執(zhí)行單元執(zhí)行的視差矢量確定方法計(jì)算代價(jià),并根據(jù)搜索模式執(zhí)行 單元執(zhí)行的視差矢量確定方法計(jì)算代價(jià);比較器,將計(jì)算的代價(jià)彼此進(jìn)行比 較;模式選擇器,根據(jù)比較結(jié)果選擇編碼模式;以及編碼器,根據(jù)選擇的編 碼模式對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行編碼。直接模式執(zhí)行單元使用全搜索方法或快速搜索方法為預(yù)定數(shù)量的編碼的 宏塊估計(jì)視差矢量,并使用預(yù)定的插值方程對(duì)與編碼的宏塊相鄰的宏塊的視 差矢量進(jìn)行插值和計(jì)算。插值方程提供單元存儲(chǔ)可根據(jù)為預(yù)定數(shù)量的編碼的宏塊估計(jì)的視差矢量 的特性被選擇的至少 一 個(gè)插值方程。代價(jià)計(jì)算單元包括直接模式代價(jià)計(jì)算器,使用由直接模式執(zhí)行單元計(jì) 算的視差矢量DV—d計(jì)算直接模式代價(jià);以及搜索模式代價(jià)計(jì)算器,使用由 搜索模式執(zhí)行單元估計(jì)的視差矢量DV—f計(jì)算搜索模式代價(jià)。代價(jià)計(jì)算單元為直接模式和搜索模式中的每個(gè)計(jì)算比特率和/或峰值信 噪比(PSNR)。比較器將直接模式代價(jià)和搜索模式代價(jià)之間的差與預(yù)定閾值進(jìn)行比較, 并且模式選擇器根據(jù)比較結(jié)果設(shè)置標(biāo)志,并根據(jù)設(shè)置的標(biāo)志選擇編碼模式。當(dāng)直接模式代價(jià)和搜索模式代價(jià)之間的差大于所述預(yù)定閾值時(shí),比較器 將根據(jù)直接模式確定的視差矢量DV_d和根據(jù)搜索模式確定的視差矢量DV一f 之間的差與一預(yù)定閾值進(jìn)行比較。模式選擇器根據(jù)比較結(jié)果設(shè)置標(biāo)志,并根 據(jù)設(shè)置的標(biāo)志選擇編碼模式。如果選擇的編碼模式是直接模式,則編碼器對(duì)殘差圖像進(jìn)行編碼,如果 選擇的編碼模式是搜索模式并且根據(jù)直接模式確定的視差矢量DV d和根據(jù)搜索模式確定的視差矢量DV一f之間的差小于預(yù)定閾值,則編碼器對(duì)殘差圖像以及根據(jù)直接模式確定的視差矢量DV一d和根據(jù)搜索模式確定的視差矢量 D V一f之間的差進(jìn)4亍編碼。如果選擇的編碼模式是搜索模式并且根據(jù)直接模式確定的視差矢量 DV一d和根據(jù)搜索模式確定的視差矢量DV一f之間的差大于所述預(yù)定閾值,則 編碼器對(duì)殘差圖像以及搜索模式的視差矢量進(jìn)行編碼。根據(jù)本發(fā)明的另 一方面,提供一種對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行編碼的方法, 所述方法包括接收當(dāng)前幀和參考幀;執(zhí)行為預(yù)定數(shù)量的編碼的宏塊估計(jì)視 差矢量并使用估計(jì)的視差矢量計(jì)算與編碼的宏塊相鄰的宏塊的視差矢量的直 接模式;執(zhí)行對(duì)當(dāng)前幀和參考幀進(jìn)行搜索并估計(jì)視差矢量的搜索模式;分別 計(jì)算直接模式的代價(jià)和搜索模式的代價(jià);將直接模式的代價(jià)與搜索模式的代 價(jià)進(jìn)行比較;根據(jù)比較結(jié)果選擇編碼模式;以及根據(jù)選擇的編碼模式對(duì)多視 角運(yùn)動(dòng)圖像進(jìn)行編碼。根據(jù)本發(fā)明的另 一方面,提供一種對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行解碼的設(shè)備, 所述設(shè)備包括編碼模式檢驗(yàn)單元,檢驗(yàn)包括在接收的多視角運(yùn)動(dòng)圖像比特 流中的指示編碼模式的模式信息,并檢驗(yàn)編碼模式;視差矢量確定單元,根 據(jù)檢驗(yàn)的編碼模式確定視差矢量;以及解碼器,使用根據(jù)檢驗(yàn)的編碼模式確 定的視差矢量以及包括在所述多視角運(yùn)動(dòng)圖像比特流中的殘差圖像數(shù)據(jù)來(lái)對(duì) 多視角運(yùn)動(dòng)圖像進(jìn)行解碼,其中,視差矢量確定單元使用與在用于對(duì)多視角 運(yùn)動(dòng)圖像進(jìn)行編碼的設(shè)備中使用的視差矢量插值方程相同的視差矢量插值方 程,來(lái)計(jì)算視差矢量。如果由編碼模式檢驗(yàn)單元檢驗(yàn)的編碼模式是殘差圖像被接收的第 一模 式,則視差矢量確定單元使用視差插值方程來(lái)計(jì)算-見差矢量,并且如果由編 碼模式檢驗(yàn)單元檢驗(yàn)的編碼模式是第二模式,在第二模式下,殘差圖像以及根據(jù)直接模式確定的視差矢量DV一d和根據(jù)搜索模式確定的視差矢量DV—f 之間的差被發(fā)送,則視差矢量確定單元通過(guò)對(duì)所述差和使用視差矢量插值方 程計(jì)算的視差矢量進(jìn)行求和,來(lái)計(jì)算視差矢量。根據(jù)本發(fā)明的另 一方面,提供一種對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行解碼的方法, 所述方法包括使用包括在接收的多視角運(yùn)動(dòng)圖像比特流中的指示編碼模式 的模式信息,來(lái)確定編碼模式;根據(jù)編碼模式確定視差矢量;以及使用根據(jù) 編碼模式確定的視差矢量以及包括在所述多視角運(yùn)動(dòng)圖像比特流中的殘差圖像數(shù)據(jù)來(lái)對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行解碼,其中,確定視差矢量的步驟包括使 用與在用于對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行編碼的設(shè)備中使用的視差矢量插值方程相同的視差矢量插值方程,來(lái)計(jì)算視差矢量。
具體實(shí)施方式
下面將參照附圖來(lái)詳細(xì)描述本發(fā)明的示例性實(shí)施例。圖6是根據(jù)本發(fā)明示例性實(shí)施例的多視角運(yùn)動(dòng)圖像編碼設(shè)備的框圖。多視角運(yùn)動(dòng)圖像編碼設(shè)備包括多視角圖像緩沖器610、估計(jì)單元620、視 差/運(yùn)動(dòng)補(bǔ)償器630、殘差圖像編碼器640和熵編碼器650。在圖6中,多視角運(yùn)動(dòng)圖像編碼設(shè)備接收從多個(gè)視頻源(諸如攝像機(jī)系統(tǒng)) 獲得的或使用不同方法獲得的多視角視頻圖像。接收的多視角視頻圖像被存 儲(chǔ)在多視角圖像緩沖器610中。多視角圖像緩沖器610將存儲(chǔ)的多視角視頻 源數(shù)據(jù)或圖像提供給估計(jì)單元620和殘差圖像編碼器640。估計(jì)單元620包括視差估計(jì)器622和運(yùn)動(dòng)估計(jì)器624,并且對(duì)存儲(chǔ)的多 視角視頻圖像執(zhí)行一見差估計(jì)和運(yùn)動(dòng)估計(jì)。視差/運(yùn)動(dòng)補(bǔ)償器630使用由視差估計(jì)器622和運(yùn)動(dòng)估計(jì)器624估計(jì)的視 差矢量和運(yùn)動(dòng)矢量來(lái)執(zhí)行視差和運(yùn)動(dòng)補(bǔ)償。視差/運(yùn)動(dòng)補(bǔ)償器630使用估計(jì)的 運(yùn)動(dòng)矢量和視差矢量來(lái)重構(gòu)圖像,并且將重構(gòu)的圖像提供給殘差圖像編碼器 640。殘差圖像編碼器640對(duì)通過(guò)從由多視角圖像緩沖器610提供的原始圖像 減去由視差/運(yùn)動(dòng)補(bǔ)償器630補(bǔ)償和重構(gòu)的圖像而獲得的殘差圖像進(jìn)行編碼, 并且將編碼的殘差圖像提供給熵編碼器650。熵編碼器650接收由估計(jì)單元620產(chǎn)生的估計(jì)的^L差矢量和運(yùn)動(dòng)矢量, 從殘差圖像編碼器640接收編碼的殘差圖像,并且產(chǎn)生用于多視角視頻源數(shù) 據(jù)的比特流。在圖6所示的視差估計(jì)器622中,與用于傳統(tǒng)編碼解碼器(諸如H.264和 MPEG 2/4標(biāo)準(zhǔn))的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)信息相同,視差信息用于視差 補(bǔ)償。如同在H.264標(biāo)準(zhǔn)中嘗試減少運(yùn)動(dòng)信息并提高編碼效率一樣,嘗試執(zhí) 行在多視角視頻編碼(MVC)中減小視差信息并提高編碼效率。為此,視差估計(jì)器622估計(jì)用于預(yù)先編碼的預(yù)定數(shù)量的宏塊的視差矢量, 并且使用估計(jì)的視差矢量計(jì)算與編碼的宏塊相鄰的宏塊的視差矢量。更詳細(xì)地講,視差估計(jì)器622使用現(xiàn)有技術(shù)的視差估計(jì)方法(諸如全搜索方法或快速搜索方法)來(lái)估計(jì)用于預(yù)先編碼的預(yù)定數(shù)量的宏塊的視差矢量,并且使用預(yù)定 的插值方程來(lái)對(duì)與編碼的宏塊相鄰的宏塊的視差矢量進(jìn)行插值和計(jì)算。下面將參照?qǐng)D7至圖12來(lái)詳細(xì)描述根據(jù)本發(fā)明實(shí)施例的估計(jì)視差矢量的方法。在本說(shuō)明書中,預(yù)先編碼的預(yù)定數(shù)量的宏塊被稱為"種子宏塊"(簡(jiǎn)稱為 "種子MB")。另外,與編碼的宏塊相鄰的宏塊被稱為"非種子宏塊"(簡(jiǎn)稱 為"非種子MB"),其中,使用估計(jì)的視差矢量來(lái)計(jì)算與編碼的宏塊相鄰的 宏塊的視差矢量。另外,在本說(shuō)明書中,使用現(xiàn)有技術(shù)的搜索方法來(lái)估計(jì)視 差矢量的方法被稱為"視差矢量搜索",根據(jù)本發(fā)明實(shí)施例的計(jì)算視差矢量的 方法被稱為"視差矢量插值"或"直接模式"。此外,使用現(xiàn)有技術(shù)的視差估 計(jì)方法來(lái)對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行編碼的方法被稱為"搜索模式編碼",根據(jù)本 發(fā)明實(shí)施例的使用視差矢量插值來(lái)對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行編碼的方法被稱為 "直接模式編碼"。圖7是解釋由多視角攝像機(jī)拍攝的幀序列的示圖。在圖7中,水平軸是視角軸,表示用于拍攝多視角圖像的攝像機(jī)的數(shù)量。 垂直軸是時(shí)間軸,表示時(shí)間序列的數(shù)量。如果多視角攝像機(jī)被平行地布置, 則位于相同時(shí)間序列上的多視角幀之間將存在高相關(guān)性。盡管多視角攝像機(jī) 沒有被平行地布置,但是由于多視角攝像機(jī)拍攝的圖像可被校正為由平行布 置的多視角攝像機(jī)拍攝的狀態(tài),所以拍攝的圖像之間的相關(guān)性仍然存在。因此,當(dāng)多視角幀之間的高相關(guān)性存在時(shí),與在H.264標(biāo)準(zhǔn)中使用的直 接模式一樣,使用根據(jù)本發(fā)明示例性實(shí)施例的"視差矢量插值"可有效估計(jì) 視差矢量。"視差矢量插值"與圖像插值、圖像縮放或圖像重構(gòu)類似,圖像插 值、圖像縮放或圖像重構(gòu)用于提高分辨率。在圖像插值中,通過(guò)使用線性插 值或三次插值對(duì)將被插值的圖像的相鄰圖像進(jìn)行插值,來(lái)獲得插值的圖像。 另外,可通過(guò)與圖像插值類似的矢量插值來(lái)獲得視差矢量。圖8是解釋根據(jù)本發(fā)明示例性實(shí)施例的使用編碼的宏塊的視差矢量DV 來(lái)估計(jì)相鄰宏塊的^L差矢量的方法的示圖。在圖8中,Vc和Vr分別表示相同時(shí)間序列上的任意幀中的宏塊(MB)行, 其中,Vr表示編碼的參考視角幀,Vc表示使用編碼的參考視角巾貞Vr估計(jì)的 幀,并且其中,Vc當(dāng)前將被編碼。由虛線表示的宏塊是估計(jì)的宏塊,即,是"種子MB"。由斜線表示的宏塊是"非種子MB",將使用種子MB來(lái)估計(jì)非 種子MB的視差矢量??墒褂酶鶕?jù)本發(fā)明示例性實(shí)施例的視差矢量插值方法,使用位于Vr幀上 的種子MB來(lái)估計(jì)兩個(gè)種子MB之間的不同MB的3見差矢量(即,非種子MB 的視差矢量)。為了如圖8所示估計(jì)兩個(gè)種子MB之間的不同MB的視差矢量, 使用的下面的方程3。在方程3中,DV。和DVn.,表示神子MB,并且使用現(xiàn)有技術(shù)的方法(諸 如全搜索方法或快速搜索方法)來(lái)估計(jì)DVq和DVn小當(dāng)如圖8所示視差矢量的偏差恒定時(shí),視差矢量的相關(guān)性可被表示為如 圖9所示的圖形。即,如果假設(shè)當(dāng)MB之間的距離為i時(shí)浮見差矢量DV的大 小從DVo改變?yōu)镈V,的比率等于當(dāng)MB之間的距離從i到N-l時(shí)視差矢量DV 的大小從DV,改變?yōu)镈Vw的比率,則可使用下面的方程3-1、 3-2和3-3來(lái) 推導(dǎo)方程3。<formula>formula see original document page 17</formula>圖10是解釋根據(jù)本發(fā)明另一示例性實(shí)施例的使用編碼的宏塊的視差矢 量DV來(lái)估計(jì)相鄰宏塊的視差矢量的方法的示圖。如以上參照?qǐng)D8所述,當(dāng)視差矢量DV的變化(即,視差矢量DV的偏差) 幾乎不變時(shí),方程3是有用的。但是,當(dāng)視差矢量DV的偏差不恒定時(shí),例 如,當(dāng)視差矢量DV的變化具有如圖11所示的曲線形式時(shí),可使用下面的方 程4來(lái)估計(jì)視差矢量DV。<formula>formula see original document page 17</formula>如圖10和方程4所示,使用兩個(gè)或更多個(gè)視差矢量DV來(lái)估計(jì)第i個(gè) MB的視差矢量DV,。在方程4中,DV,+h表示非種子MB的視差矢量,Ch表示用于產(chǎn)生MB的視差矢量DV的插值系數(shù)。為了理解方程4,下面將描述 計(jì)算第i個(gè)視差矢量DVi的操作。例如,如果i二4且N-8,則方程4可被改寫 為方程4-1。<formula>formula see original document page 18</formula>在方程4-l中,如果當(dāng)視差矢量DV,、 DV3、 DVs和DV 與種子MB對(duì) 應(yīng)時(shí),不與種子MB對(duì)應(yīng)的任意視差矢量(即,DV2、 DV4、 DV6和DV8)被設(shè) 置為0,則可確定^L差矢量DV4。圖11是解釋根據(jù)本發(fā)明另一示例性實(shí)施例的使用編碼的宏塊的視差矢 量DV來(lái)估計(jì)相鄰宏塊的視差矢量的方法的示圖。在圖11中,使用下面的方程5來(lái)二維地估計(jì)視差矢量。<formula>formula see original document page 18</formula>在方程5中,C(x,y)是用于產(chǎn)生宏塊的視差矢量DV的二維系數(shù)。如果當(dāng) 視差矢量DV(x+h,y+v)不對(duì)應(yīng)于種子MB時(shí),視差矢量DV(x+h,y+v)被設(shè)置為 0,則可僅使用種子MB的值來(lái)計(jì)算視差矢量DV(x,y)。當(dāng)能夠使用本發(fā)明示 例性實(shí)施例的視差矢量插值方法獲得的區(qū)域很寬時(shí),可使用方程5。圖12是解釋根據(jù)本發(fā)明示例性實(shí)施例的估計(jì)視差矢量的方法的示圖。如上所述,為了估計(jì)視差矢量,首先,可執(zhí)行現(xiàn)有技術(shù)的視差矢量搜索 方法,并且獲得種子MB的視差矢量。為了簡(jiǎn)化計(jì)算,可按照恒定的間隔將 種子MB彼此分隔??稍诋?dāng)前幀和參考幀之間執(zhí)行視差矢量搜索。然后,可 使用根據(jù)本發(fā)明示例性實(shí)施例的視差矢量插值方法以及種子MB來(lái)計(jì)算和獲 得與剩余的種子MB相鄰的MB的視差矢量。另外,可根據(jù)為預(yù)先編碼的宏塊(即,種子MB)確定的視差矢量的特性來(lái) 選擇在根據(jù)本發(fā)明示例性實(shí)施例的視差矢量插值方法中使用的預(yù)定插值方 程。這里,如參照方程3和4所述,視差矢量的特性可以是指示估計(jì)的視差 矢量的偏差是否恒定的信息。另外,在直接模式下,當(dāng)設(shè)計(jì)多視角運(yùn)動(dòng)圖像 編碼設(shè)備和多視角運(yùn)動(dòng)圖像解碼設(shè)備時(shí),優(yōu)先確定方程3、 4和5。另夕卜,方 程3 、4和5必須被多視角運(yùn)動(dòng)圖像編碼設(shè)備和多視角運(yùn)動(dòng)圖像解碼設(shè)備共享。下面將描述根據(jù)本發(fā)明另 一示例性實(shí)施例的用于估計(jì)視差矢量和對(duì)多視 角運(yùn)動(dòng)圖像進(jìn)行編碼的方法。使用根據(jù)本發(fā)明示例性實(shí)施例的視差矢量插值方法獲得的視差矢量是可 靠的值,然而,這些值可能具有錯(cuò)誤。因此,為了獲得高的壓縮性能,可執(zhí) 行根據(jù)本發(fā)明示例性實(shí)施例的視差矢量插值方法以及現(xiàn)有技術(shù)的視差矢量搜 索方法(例如全搜索方法或快速搜索方法)。即,根據(jù)本發(fā)明的示例性實(shí)施例,將視差矢量插值的可壓縮性與視差矢 量搜索的可壓縮性進(jìn)行比較。如果視差矢量插值的可壓縮性等于或高于視差 矢量搜索的可壓縮性,則最終使用視差矢量插值方法的結(jié)果。當(dāng)使用視差矢 量插值的結(jié)果時(shí),接收端可僅使用關(guān)于如何產(chǎn)生視差矢量DV的信息而不使用關(guān)于視差矢量DV的信息,來(lái)重新產(chǎn)生視差矢量插值的結(jié)果。當(dāng)因?yàn)橐暡钍噶克阉鞯目蓧嚎s性高于視差矢量插值的可壓縮性而最終使用視差矢量搜索時(shí),視差矢量DV必須被編碼并被發(fā)送。此時(shí),根據(jù)本發(fā)明 的示例性實(shí)施例,如果通過(guò)視差矢量搜索獲得的視差矢量DV與通過(guò)視差矢 量插值獲得的視差矢量DV之間的差很小,則該差可被發(fā)送。因此,當(dāng)幀被編碼時(shí),必須將通過(guò)視差矢量搜索獲得的宏塊MB與通過(guò) 本發(fā)明的直接模式獲得的宏塊MB進(jìn)行區(qū)分。通過(guò)如下定義直接模式的標(biāo)志 flag—direct,可根據(jù)各種方法來(lái)區(qū)分宏塊MB。通過(guò)視差矢量搜索獲得的DV: flag—direct=0;通過(guò)直4妻才莫式獲得的DV: flag—direct=l。還有可能的是,通過(guò)視差矢量搜索獲得的視差矢量DV的標(biāo)志flag—direct 被設(shè)置為l,通過(guò)直接模式獲得的視差矢量DV的標(biāo)志flag一direct被設(shè)置為0。 如果MB模式的標(biāo)志是直接模式,則解碼端可使用視差矢量插值方程(諸如方 程3、 4和5)來(lái)計(jì)算視差矢量DV。在編碼端和解碼端中預(yù)先定義了方程3、 4 和5中將被使用的方程。同時(shí),為了將通過(guò)視差矢量搜索獲得的視差矢量DV和通過(guò)直接模式獲 得的視差矢量DV之間的差被發(fā)送的情況與通過(guò)基本視差矢量搜索獲得的視 差矢量DV被發(fā)送的情況進(jìn)行區(qū)分,可定義和使用標(biāo)志flag一diff。盡管通過(guò)搜 索模式編碼來(lái)對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行編碼,但是如果通過(guò)視差矢量插值獲得 的視差矢量DV一d與通過(guò)視差矢量搜索獲得的視差矢量DV—f之間的差很小, 則對(duì)該差值編碼能有效提高可壓縮性。如果flag—diff=0,則通過(guò)視差矢量搜索獲得的DV被發(fā)送。如果flag—diff=l,則通過(guò)視差矢量搜索獲得的DV與通過(guò)直接模式獲得的DV之間的差凈皮發(fā)送??砂凑张c以上相反的次序來(lái)設(shè)置標(biāo)志flag—diff的值。 因此,在根據(jù)本發(fā)明示例性實(shí)施例的多視角運(yùn)動(dòng)圖像編碼方法中,可定 義3種不同的模式。第一模式(flag一direct二l)并且(flag—diffK)或1); 第二才莫式(flag-direct-0)并且(flag—diff= 1); 第三模式(flag一direct二0)并且(flag-diff二 0)。由于第 一模式是直接模式,所以只有殘差圖像被編碼并被發(fā)送到解碼器。 在第二模式下,殘差圖像以及通過(guò)直接模式獲得的視差矢量與通過(guò)視差矢量搜索模式獲得的視差矢量之間的差被編碼并被發(fā)送到解碼器。在第三模式下, 殘差圖像和通過(guò)視差矢量搜索獲得的視差矢量被編碼并被發(fā)送到解碼器。圖13是根據(jù)本發(fā)明另一示例性實(shí)施例的多視角運(yùn)動(dòng)圖像編碼設(shè)備的框圖。參照?qǐng)D13,多視角運(yùn)動(dòng)圖像編碼設(shè)備包括直接模式執(zhí)行單元1310、插值 方程提供單元1320、搜索模式執(zhí)行單元1330、代價(jià)計(jì)算單元1340、比較器 1350、模式選擇器1360和編碼器1370,代價(jià)計(jì)算單元1340包括直接模式代 價(jià)計(jì)算器1341和搜索模式代價(jià)計(jì)算器1343。參照?qǐng)D13,當(dāng)前幀和參考幀被輸入到直接模式執(zhí)行單元1310。直接模式 執(zhí)行單元1310預(yù)先對(duì)將被編碼的幀的預(yù)定數(shù)量的宏塊進(jìn)行編碼,并使用現(xiàn)有 技術(shù)的視差矢量搜索方法來(lái)估計(jì)所述預(yù)定數(shù)量的編碼的宏塊的視差矢量,即, 種子MB的視差矢量。然后,直接模式執(zhí)行單元1310使用估計(jì)的視差矢量以及根據(jù)本發(fā)明示例 性實(shí)施例的視差矢量插值方法,來(lái)計(jì)算與編碼的宏塊相鄰的宏塊的視差矢量。 即,通過(guò)使用由插值方程提供單元1320提供的預(yù)定插值方程對(duì)視差矢量進(jìn)行 插值,可計(jì)算根據(jù)直接模式的視差矢量DV一d。另夕卜,直接模式執(zhí)行單元1310使用視差矢量DV一d和參考幀產(chǎn)生補(bǔ)償?shù)?幀,從補(bǔ)償?shù)膸瑴p去原始幀,并產(chǎn)生當(dāng)前幀的殘差圖像。直接模式執(zhí)行單元 1310將產(chǎn)生的視差矢量DV—d和殘差圖像發(fā)送到代價(jià)計(jì)算單元1340的直接模 式代價(jià)計(jì)算器1341。插值方程提供單元1320存儲(chǔ)能夠根據(jù)為預(yù)定數(shù)量的編碼的宏塊估計(jì)的 視差矢量的特性而選擇的至少一個(gè)插值方程,例如方程3、 4或5。因此,直接模式執(zhí)行單元1310可使用由插值方程提供單元1320提供的插值方程確定 視差矢量。當(dāng)前幀和參考幀也被輸入到搜索模式執(zhí)行單元1330。搜索模式執(zhí)行單元 1330使用現(xiàn)有技術(shù)的視差矢量搜索方法來(lái)確定視差矢量DV一f,使用視差矢 量DV—f和參考幀創(chuàng)建補(bǔ)償?shù)膸?,從補(bǔ)償?shù)膸瑴p去原始幀,并產(chǎn)生當(dāng)前幀的 殘差圖像。搜索模式執(zhí)行單元1330將產(chǎn)生的視差矢量DV—f和殘差圖像發(fā)送 到代價(jià)計(jì)算單元1340的搜索模式代價(jià)計(jì)算器1343。直接模式代價(jià)計(jì)算器1341計(jì)算進(jìn)行直接模式的結(jié)果的代價(jià)。即,直接模 式代價(jià)計(jì)算器1341接收視差矢量DV—d和殘差圖像,并計(jì)算使用通過(guò)視差矢 量插值獲得的視差矢量DV一d補(bǔ)償?shù)腗B和相應(yīng)的非種子MB之間的代價(jià)。搜索模式代價(jià)計(jì)算器1343計(jì)算進(jìn)行搜索模式的結(jié)果的代價(jià)。即,搜索模 式代價(jià)計(jì)算器1343接收視差矢量DV一f和殘差圖像,并計(jì)算使用通過(guò)視差搜 索獲得的視差矢量DV補(bǔ)償?shù)腗B和相應(yīng)的非種子MB之間的代價(jià)??赏ㄟ^(guò) 計(jì)算或估計(jì)壓縮圖像的比特率或峰值信噪比(PSNR)來(lái)確定代價(jià)。這里,可僅 使用比特率或僅使用PSNR來(lái)確定代價(jià)?;蛘?,可根據(jù)預(yù)定標(biāo)準(zhǔn)考慮比特率 和PSNR兩者來(lái)確定代價(jià)。比較器1350將直接模式代價(jià)計(jì)算器1341計(jì)算的結(jié)果與搜索模式代價(jià)計(jì) 算器1343計(jì)算的結(jié)果進(jìn)行比較,并且將比較結(jié)果發(fā)送到模式選擇器1360。 比較器1350可將直接模式代價(jià)(即,直接模式代價(jià)計(jì)算器1341計(jì)算的結(jié)果) 和搜索模式代價(jià)(搜索模式代價(jià)計(jì)算器1343計(jì)算的結(jié)果)之間的差與預(yù)定閾值 進(jìn)行比較。如果直接模式代價(jià)和搜索模式代價(jià)之間的差大于所述預(yù)定閾值, 則比較器1350將通過(guò)根據(jù)本發(fā)明示例性實(shí)施例的視差矢量插值獲得的視差 矢量和通過(guò)使用現(xiàn)有技術(shù)的視差矢量搜索方法獲得的視差矢量之間的差與預(yù) 定閾值進(jìn)行比較,并且將比較結(jié)果發(fā)送到模式選擇器1360。模式選擇器1360基于比較結(jié)果確定標(biāo)志,并且根據(jù)確定的標(biāo)志確定編碼 模式。如果模式選擇器1360從比較器1350接收到指示兩個(gè)代價(jià)函數(shù)之間的 差小于預(yù)定閾值的結(jié)果,則模式選擇器1360可將標(biāo)志flag—direct設(shè)置為1, 以根據(jù)依照本發(fā)明示例性實(shí)施例的直接模式進(jìn)行編碼。另外,如果兩個(gè)代價(jià) 函數(shù)之間的差的大于預(yù)定閾值,則模式選擇器1360可將標(biāo)志flag一direct設(shè)置 為0,以使用現(xiàn)有技術(shù)的視差矢量搜索方法來(lái)確定視差矢量并對(duì)多視角圖像 進(jìn)行編碼。如果標(biāo)志flag—direct被設(shè)置為0,則模式選擇器1360從比較器1350接 收通過(guò)將使用根據(jù)本發(fā)明示例性實(shí)施例的視差矢量插值方法荻得的視差矢量 和使用現(xiàn)有技術(shù)的視差矢量搜索方法獲得的視差矢量之間的差與預(yù)定閾值進(jìn) 行比較而獲得的比較結(jié)果,并確定標(biāo)志flag一diff。如果所述差小于預(yù)定閾值, 則模式選擇器1360可將標(biāo)志flag—diff設(shè)置為1。如果所述差大于預(yù)定閾值, 則模式選擇器1360可將標(biāo)志flag一diff設(shè)置為0。如果flag_direct=l并且flag—diff=0或1,則模式選擇器1360可設(shè)置第一 模式。如果flag一direc^O并且flag—diff-l,則模式選擇器1360可設(shè)置第二模 式。如果flag—direct=0并且flag—diff-O,則模式選擇器1360可設(shè)置第三模式。除了使用標(biāo)志之外,也可使用另一可選的方法來(lái)確定編碼模式。模式選 擇器1360可設(shè)置模式信息以指示編碼模式。模式信息被包括在多視角運(yùn)動(dòng)圖 像比特流中并,皮發(fā)送。編碼器1370根據(jù)依照確定的標(biāo)志信息確定的模式來(lái)對(duì)多視角運(yùn)動(dòng)圖像 進(jìn)行編碼并將其發(fā)送。如果flag—direct^(第一模式),則編碼器1370僅對(duì)標(biāo) 志信息和殘差圖像進(jìn)行編碼并將其發(fā)送。如果flag—direct=0并且flag_diff= l(第二模式),則編碼器1370對(duì)殘差圖像以及直接模式的視差矢量和搜索模式 的視差矢量之間的差進(jìn)行編碼并將其發(fā)送。如果flag_direct=0并且flag—diff= O(第三模式),則編碼器1370對(duì)殘差圖像以及搜索模式的視差矢量進(jìn)行編碼并 將其發(fā)送。圖14是示出根據(jù)本發(fā)明另一示例性實(shí)施例的多視角運(yùn)動(dòng)圖像編碼方法 的流程圖。預(yù)先編碼的預(yù)定數(shù)量的宏塊的視差矢量(即,種子MB的視差矢量)使用 現(xiàn)有技術(shù)的視差矢量估計(jì)方法被確定(操作S1410)。然后,在直接模式執(zhí)行單 元1310中,使用預(yù)定的插值方程通過(guò)視差矢量插值來(lái)計(jì)算視差矢量(操作 1420)。接著,直接模式代價(jià)計(jì)算器1341接收由直接模式執(zhí)行單元1310產(chǎn)生 的視差矢量DV_d和殘差圖像,并且計(jì)算通過(guò)使用^L差矢量插值的視差矢量 DV—d而補(bǔ)償?shù)腗B和非種子MB之間的代價(jià)(操作S1430)。同時(shí),搜索模式執(zhí)行單元1330使用現(xiàn)有技術(shù)的視差矢量搜索方法來(lái)確定 視差矢量DV—f(操作S1440)。搜索模式代價(jià)計(jì)算器1343接收由搜索模式執(zhí)行 單元1330產(chǎn)生的殘差圖像和視差矢量DV一f,并且計(jì)算通過(guò)使用視差矢量搜 索的視差矢量DV一f而補(bǔ)償?shù)腗B和非種子MB之間的代價(jià)(操作S1450)。比較器1350將直接模式代價(jià)計(jì)算器1341計(jì)算的結(jié)果和搜索模式代價(jià)計(jì) 算器1343計(jì)算的結(jié)果進(jìn)行比較,并且將比較結(jié)果發(fā)送到模式選擇器1360(操 作S1460)。模式選擇器1360基于比較結(jié)果確定標(biāo)志,并且根據(jù)確定的標(biāo)志確 定編碼模式(操作S1470)。編碼器1370依照確定的標(biāo)志信息根據(jù)編碼模式來(lái) 對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行編碼(操作S1480)。圖15是根據(jù)本發(fā)明示例性實(shí)施例的多視角運(yùn)動(dòng)圖像解碼設(shè)備的框圖。多 視角運(yùn)動(dòng)圖像解碼設(shè)備包括模式檢驗(yàn)單元1510、視差矢量確定單元1520、視 差插值方程提供單元1530和解碼器1540。模式檢驗(yàn)單元1510使用包括在接收的多視角運(yùn)動(dòng)圖像比特流中的指示 多視角運(yùn)動(dòng)圖像的編碼模式的模式信息來(lái)進(jìn)行確定。例如,模式檢驗(yàn)單元1510 檢驗(yàn)包括在接收的多視角運(yùn)動(dòng)圖像比特流中的指示多視角運(yùn)動(dòng)圖像的編碼模 式的標(biāo)志(即,flag一direct和flag—diff),并且確定多視角運(yùn)動(dòng)圖像的編碼模式。視差矢量確定單元1520根據(jù)檢驗(yàn)的編碼模式確定視差矢量。視差插值方 程提供單元1530存儲(chǔ)與存儲(chǔ)在多視角運(yùn)動(dòng)圖像編碼設(shè)備中的視差插值方程 相同的視差插值方程,并且將視差插值方程提供給視差矢量確定單元1520。 視差矢量確定單元1520可使用視差插值方程來(lái)計(jì)算才艮據(jù)直接模式編碼的多 視角運(yùn)動(dòng)圖像的視差矢量。視差插值方程提供單元1530可被包括在視差矢量 確定單元1520中。當(dāng)在第一模式下(即,在直接模式下)確定視差矢量時(shí),因?yàn)闅埐顖D像被 發(fā)送,所以視差矢量確定單元1520可使用與存儲(chǔ)在多視角運(yùn)動(dòng)圖像編碼器中 的插值方程相同的插值方程來(lái)計(jì)算視差矢量。在第二模式下,殘差圖像以及直接模式的視差矢量DV—d與搜索模式的 視差矢量DV—f之間的差被發(fā)送。在第二模式下,視差矢量DV—f是視差矢量 DV—d和直接模式的視差矢量與搜索模式的視差矢量之間的差值的和。因?yàn)榭?使用由視差插值方程提供單元1530提供的視差插值方程來(lái)計(jì)算視差矢量 DV一d,所以可獲得視差矢量DV—f。在第三模式下,由于殘差圖像和搜索模式的視差矢量被發(fā)送。所以發(fā)送 的視差矢量用于解碼。解碼器1540使用根據(jù)各個(gè)模式確定的視差矢量以及包括在接收的和發(fā) 送到模式檢驗(yàn)單元1510的多視角運(yùn)動(dòng)圖像比特流中的殘差運(yùn)動(dòng)圖像數(shù)據(jù),來(lái) 對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行解碼。本發(fā)明也可被實(shí)現(xiàn)為計(jì)算機(jī)可讀記錄介質(zhì)上的計(jì)算機(jī)可讀代碼。計(jì)算機(jī) 可讀記錄介質(zhì)是能夠存儲(chǔ)計(jì)算機(jī)系統(tǒng)其后可讀取的數(shù)據(jù)的任何數(shù)據(jù)存儲(chǔ)裝 置。計(jì)算機(jī)可讀記錄介質(zhì)的示例包括只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、 CD-ROM、磁帶、軟盤、光學(xué)數(shù)據(jù)存儲(chǔ)裝置和載波(諸如通過(guò)互聯(lián)網(wǎng) 的數(shù)據(jù)傳輸)。計(jì)算機(jī)可讀記錄介質(zhì)也可分布在網(wǎng)絡(luò)連接的計(jì)算機(jī)系統(tǒng)中,從 而按照分布式方式來(lái)存儲(chǔ)并執(zhí)行計(jì)算機(jī)可讀代碼。如上所述,根據(jù)本發(fā)明的示例性實(shí)施例,當(dāng)估計(jì)宏塊單元的視差矢量時(shí), 通過(guò)使用為預(yù)定數(shù)量的宏塊估計(jì)的視差矢量而不用估計(jì)所有宏塊的視差矢 量,來(lái)計(jì)算剩余宏塊的視差矢量,可提高多視角運(yùn)動(dòng)圖像的編碼速度。另外,根據(jù)本發(fā)明的示例性實(shí)施例,由于不需要所有宏塊的視差矢量, 所以可提高多視角運(yùn)動(dòng)圖像的可壓縮性。另外,根據(jù)本發(fā)明的示例性實(shí)施例,提供一種多視角運(yùn)動(dòng)圖像解碼方法 和設(shè)備,以用于使用多視角運(yùn)動(dòng)圖像的視差矢量之間的相關(guān)性來(lái)對(duì)編碼的多 視角運(yùn)動(dòng)圖像進(jìn)行解碼。盡管已經(jīng)參照本發(fā)明的示例性實(shí)施例具體顯示和描述了本發(fā)明,但是本 領(lǐng)域的普通技術(shù)人員應(yīng)該理解,在不脫離權(quán)利要求限定的本發(fā)明的精神和范 圍的情況下,可對(duì)其作出形式和細(xì)節(jié)的各種改變。
權(quán)利要求
1、一種估計(jì)視差矢量以對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行編碼的方法,所述方法包括為多個(gè)編碼的宏塊估計(jì)視差矢量;以及使用估計(jì)的視差矢量計(jì)算與編碼的宏塊相鄰的宏塊的視差矢量。
2、 根據(jù)權(quán)利要求1所述的方法,其中,估計(jì)視差矢量的步驟包括使用 全搜索方法或快速搜索方法為編碼的宏塊估計(jì)視差矢量,并且計(jì)算視差矢量的步驟包括使用插值方程對(duì)與編碼的宏塊相鄰的宏塊的 視差矢量進(jìn)行插值和計(jì)算。
3、 根據(jù)權(quán)利要求2所述的方法,其中,根據(jù)為編碼的宏塊確定的視差矢 量的特性來(lái)選擇插值方程,其中,視差矢量的特性包括指示估計(jì)的視差矢量的偏差是否恒定的信息。
4、 一種多視角運(yùn)動(dòng)圖像編碼設(shè)備,包括直接模式執(zhí)行單元,接收當(dāng)前幀和參考幀,為多個(gè)編碼的宏塊估計(jì)視差 矢量,并使用估計(jì)的視差矢量計(jì)算與編碼的宏塊相鄰的宏塊的視差矢量;插值方程提供單元,將用于計(jì)算與編碼的宏塊相鄰的宏塊的視差矢量的 插值方程提供給直接模式執(zhí)行單元;搜索模式執(zhí)行單元,接收當(dāng)前幀和參考幀,并且對(duì)當(dāng)前幀和參考幀進(jìn)行 搜索以估計(jì)視差矢量;代價(jià)計(jì)算單元,根據(jù)直接模式執(zhí)行單元執(zhí)行的視差矢量確定方法計(jì)算直 接模式代價(jià),并根據(jù)搜索模式執(zhí)行單元執(zhí)行的視差矢量確定方法計(jì)算搜索模 式代價(jià);比較器,將直接模式代價(jià)和搜索模式代價(jià)彼此進(jìn)行比較; 模式選擇器,根據(jù)比較器提供的比較結(jié)果選擇編碼模式;以及 編碼器,根據(jù)選擇的編碼模式對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行編碼。
5、 根據(jù)權(quán)利要求4所述的設(shè)備,其中,直接模式執(zhí)行單元使用全搜索方 法或快速搜索方法為編碼的宏塊估計(jì)視差矢量,并使用插值方程對(duì)與編碼的 宏塊相鄰的宏塊的視差矢量進(jìn)行插值和計(jì)算。
6、 根據(jù)權(quán)利要求5所述的設(shè)備,其中,插值方程提供單元存儲(chǔ)能夠根據(jù) 為編碼的宏塊估計(jì)的視差矢量的特性被選擇的至少一個(gè)插值方程。
7、 根據(jù)權(quán)利要求4所述的設(shè)備,其中,代價(jià)計(jì)算單元包括 直接模式代價(jià)計(jì)算器,使用由直接模式執(zhí)行單元計(jì)算的視差矢量DV—d計(jì)算直接模式代價(jià);以及搜索模式代價(jià)計(jì)算器,使用由搜索模式執(zhí)行單元估計(jì)的視差矢量DV—f 計(jì)算搜索模式代價(jià)。
8、 根據(jù)權(quán)利要求4所述的設(shè)備,其中,代價(jià)計(jì)算單元為直接模式和搜索 模式中的每個(gè)計(jì)算比特率和峰值信噪比中的至少一個(gè)。
9、 根據(jù)權(quán)利要求7所述的設(shè)備,其中,比較器將直接模式代價(jià)和搜索模 式代價(jià)之間的差與第一閣值進(jìn)行比較,并且模式選擇器根據(jù)比較結(jié)果設(shè)置標(biāo)志,并根據(jù)設(shè)置的標(biāo)志選擇編碼模式。
10、 根據(jù)權(quán)利要求9所述的設(shè)備,其中,如果直接模式代價(jià)和搜索模式 代價(jià)之間的差大于第一閾值,則比較器將視差矢量DV—d和視差矢量DV—f 之間的差與第二閾值進(jìn)行比較,并且模式選擇器根據(jù)比較結(jié)果設(shè)置標(biāo)志并根 據(jù)設(shè)置的標(biāo)志選擇編碼模式。
11、 根據(jù)權(quán)利要求4所述的設(shè)備,其中,如果選擇的編碼模式是直接模 式,則編碼器對(duì)殘差圖像進(jìn)行編碼,如果選擇的編碼模式是搜索模式并且根 據(jù)直接模式確定的視差矢量DV—d和根據(jù)搜索模式確定的視差矢量DV—f之 間的差小于預(yù)定閾值,則編碼器對(duì)殘差圖像以及根據(jù)直接模式確定的視差矢 量DV—d和根據(jù)搜索模式確定的視差矢量DV一f之間的差進(jìn)行編碼,如果選 擇的編碼模式是搜索模式并且根據(jù)直接模式確定的視差矢量DV—d和根據(jù)搜 索模式確定的視差矢量DV_f之間的差大于所述預(yù)定閾值,則編碼器對(duì)殘差 圖像以及根據(jù)搜索模式確定的視差矢量DV—f進(jìn)行編碼。
12、 一種對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行編碼的方法,所述方法包括 接收當(dāng)前幀和參考幀;通過(guò)為多個(gè)編碼的宏塊估計(jì)視差矢量并使用估計(jì)的視差矢量計(jì)算與編碼 的宏塊相鄰的宏塊的視差矢量,來(lái)執(zhí)行直接模式操作;通過(guò)對(duì)當(dāng)前幀和參考幀進(jìn)行搜索并估計(jì)視差矢量來(lái)執(zhí)行搜索模式操作; 計(jì)算直接模式的代價(jià)和搜索模式的代價(jià); 將直接模式的代價(jià)與搜索模式的代價(jià)進(jìn)行比較; 根據(jù)所述比較的比較結(jié)果選擇編碼模式;以及 根據(jù)選擇的編碼模式對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行編碼。
13、 根據(jù)權(quán)利要求12所述的方法,其中,執(zhí)行直接模式的步驟包括 使用全搜索方法或快速搜索方法為編碼的宏塊估計(jì)視差矢量;以及 使用預(yù)定的插值方程對(duì)與編碼的宏塊相鄰的宏塊的視差矢量進(jìn)行插值和計(jì)算。
14、 根據(jù)權(quán)利要求13所述的方法,其中,對(duì)視差矢量進(jìn)行插值和計(jì)算的 步驟包括使用能夠根據(jù)為編碼的宏塊估計(jì)的視差矢量的特性被選擇的至少 一個(gè)插值方程來(lái)計(jì)算視差矢量。
15、 根據(jù)權(quán)利要求12所述的方法,其中,計(jì)算直接模式的代價(jià)和搜索模 式的代價(jià)的步驟包括使用根據(jù)直接模式估計(jì)的視差矢量DV_d計(jì)算直接模式的代價(jià);以及 使用根據(jù)搜索模式估計(jì)的視差矢量DV—f計(jì)算搜索模式的代價(jià)。
16、 根據(jù)權(quán)利要求12所述的方法,其中,計(jì)算直接模式的代價(jià)和搜索模 式的代價(jià)的步驟包括為直接模式或搜索模式計(jì)算比特率或峰值信噪比。
17、 根據(jù)權(quán)利要求15所述的方法,其中,將直接模式的代價(jià)與搜索模式 的代價(jià)進(jìn)行比較的步驟包括將直接模式的代價(jià)和搜索模式的代價(jià)之間的差 與第一閾值進(jìn)行比一交,并且選擇編碼模式的步驟包括根據(jù)比較結(jié)果設(shè)置標(biāo)志,并根據(jù)設(shè)置的標(biāo)志 選擇編碼模式。
18、 根據(jù)權(quán)利要求17所述的方法,其中,將直接模式的代價(jià)與搜索模式 的代價(jià)進(jìn)行比較的步驟包括如果直接模式代價(jià)和搜索模式代價(jià)之間的差大 于第一閾值,則將根據(jù)直接模式確定的視差矢量DV—d和根據(jù)搜索模式確定 的視差矢量DV—f之間的差與第二閾值進(jìn)行比較,并且選擇編碼模式的步驟包括根據(jù)比較結(jié)果設(shè)置標(biāo)志并根據(jù)設(shè)置的標(biāo)志選 擇編碼模式。
19、 根據(jù)權(quán)利要求12所述的方法,其中,根據(jù)選擇的編碼模式對(duì)多視角 運(yùn)動(dòng)圖像進(jìn)行編碼的步驟包括如果選擇的編碼模式是直接模式,則對(duì)殘差圖像進(jìn)行編碼; 如果選擇的編碼模式是搜索模式并且根據(jù)直接模式確定的視差矢量 DV一d和根據(jù)搜索模式確定的視差矢量DV—f之間的差小于閾值,則對(duì)殘差圖 像以及根據(jù)直接模式確定的視差矢量DV—d和根據(jù)搜索模式確定的視差矢量 DV f之間的差進(jìn)行編碼;以及如果選擇的編碼模式是搜索模式并且根據(jù)直接模式確定的視差矢量DV一d和根據(jù)搜索模式確定的視差矢量DV一f之間的差大于所述閾值,則對(duì)殘 差圖像以及根據(jù)搜索模式確定的視差矢量DV—f進(jìn)行編碼。
20、 一種對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行解碼的設(shè)備,所述設(shè)備包括 編碼模式檢驗(yàn)單元,檢驗(yàn)包括在接收的多視角運(yùn)動(dòng)圖像比特流中的指示編碼模式的模式信息,以確定編碼模式;視差矢量確定單元,根據(jù)由編碼模式檢驗(yàn)單元確定的編碼模式確定視差 矢量;以及解碼器,使用根據(jù)檢驗(yàn)的編碼模式確定的視差矢量以及包括在所述多視 角運(yùn)動(dòng)圖像比特流中的殘差圖像數(shù)據(jù)來(lái)對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行解碼,其中,視差矢量確定單元使用與用于對(duì)接收的多視角運(yùn)動(dòng)圖像進(jìn)行編碼 的視差矢量插值方程相同的視差矢量插值方程,來(lái)計(jì)算視差矢量。
21、 根據(jù)權(quán)利要求20所述的設(shè)備,其中,如果由編碼模式檢驗(yàn)單元檢驗(yàn) 的編碼模式是殘差圖像被接收的第一模式,則視差矢量確定單元使用所述視 差插值方程來(lái)計(jì)算^f見差矢量,并且如果由編碼模式檢驗(yàn)單元檢驗(yàn)的編碼模式是第二模式,在第二模式下, 殘差圖像以及根據(jù)直接模式確定的視差矢量DV一d和根據(jù)搜索模式確定的視 差矢量DV一f之間的差被發(fā)送,則視差矢量確定單元通過(guò)對(duì)所述差和使用所 述視差矢量插值方程計(jì)算的視差矢量進(jìn)行求和,來(lái)計(jì)算視差矢量。
22、 一種對(duì)多^L角運(yùn)動(dòng)圖像進(jìn)行解碼的方法,所述方法包括使用包括在接收的多視角運(yùn)動(dòng)圖像比特流中的指示編碼模式的模式信 息,來(lái)確定編碼模式;根據(jù)編碼模式確定視差矢量;以及使用根據(jù)編碼模式確定的視差矢量以及包括在所述多視角運(yùn)動(dòng)圖像比特 流中的殘差圖像數(shù)據(jù)來(lái)對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行解碼,其中,確定視差矢量的步驟包括使用與用于對(duì)接收的多視角運(yùn)動(dòng)圖像 進(jìn)行編碼的視差矢量插值方程相同的視差矢量插值方程,來(lái)計(jì)算視差矢量。
23、 根據(jù)權(quán)利要求22所述的方法,其中,確定視差矢量的步驟包括 如果編碼模式是殘差圖像被接收的第 一模式,則使用所述視差矢量插值方程來(lái)計(jì)算纟見差矢量;以及如果編碼模式是第二模式,在第二模式下,殘差圖像以及根據(jù)直接模式確定的視差矢量DV—d和根據(jù)搜索模式確定的視差矢量DV_f之間的差被發(fā) 送,則通過(guò)對(duì)所述差和使用所述視差矢量插值方程計(jì)算的視差矢量進(jìn)行求和, 來(lái)計(jì)算視差矢量。
24、 一種計(jì)算機(jī)可讀記錄介質(zhì),其上實(shí)施有用于執(zhí)行估計(jì)視差矢量以對(duì) 多視角運(yùn)動(dòng)圖像進(jìn)行編碼的方法的計(jì)算機(jī)程序,所述方法包括為多個(gè)編碼的宏塊估計(jì)視差矢量;以及使用估計(jì)的視差矢量計(jì)算與編碼的宏塊相鄰的宏塊的視差矢量。
25、 一種計(jì)算機(jī)可讀記錄介質(zhì),其上實(shí)施有用于執(zhí)行對(duì)多視角運(yùn)動(dòng)圖像 進(jìn)行編碼的方法的計(jì)算機(jī)程序,所述方法包括接收當(dāng)前幀和參考帕;通過(guò)為多個(gè)編碼的宏塊估計(jì)視差矢量并使用估計(jì)的視差矢量計(jì)算與編碼 的宏塊相鄰的宏塊的視差矢量,來(lái)執(zhí)行直接模式操作;通過(guò)對(duì)當(dāng)前幀和參考幀進(jìn)行搜索并估計(jì)視差矢量來(lái)執(zhí)行搜索模式操作; 計(jì)算直接模式的代價(jià)和搜索模式的代價(jià); 將直接模式的代價(jià)與搜索模式的代價(jià)進(jìn)行比較; 根據(jù)比較結(jié)果選擇編碼模式;以及 根據(jù)選擇的編碼模式對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行編碼。
26、 一種計(jì)算機(jī)可讀記錄介質(zhì),其上實(shí)施有用于執(zhí)行對(duì)多視角運(yùn)動(dòng)圖像 進(jìn)行解碼的方法的計(jì)算才幾程序,所述方法包^fe:使用包括在接收的多視角運(yùn)動(dòng)圖像比特流中的指示編碼模式的模式信 息,來(lái)確定編碼一莫式;根據(jù)編碼模式確定視差矢量;以及使用根據(jù)編碼模式確定的視差矢量以及包括在所述多視角運(yùn)動(dòng)圖像比特 流中的殘差圖像數(shù)據(jù)來(lái)對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行解碼,其中,確定視差矢量的步驟包括使用與用于對(duì)接收的多視角運(yùn)動(dòng)圖像 進(jìn)行編碼的視差矢量插值方程相同的視差矢量插值方程,來(lái)計(jì)算視差矢量。
全文摘要
提供一種對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行編碼和解碼的方法和設(shè)備。一種估計(jì)視差矢量以對(duì)多視角運(yùn)動(dòng)圖像進(jìn)行編碼的方法包括為預(yù)定數(shù)量的編碼的宏塊估計(jì)視差矢量;以及使用估計(jì)的視差矢量計(jì)算與編碼的宏塊相鄰的宏塊的視差矢量。因此,可快速執(zhí)行多視角運(yùn)動(dòng)圖像的編碼并提高多視角運(yùn)動(dòng)圖像的可壓縮性。
文檔編號(hào)H04N7/24GK101248670SQ200680030828
公開日2008年8月20日 申請(qǐng)日期2006年9月22日 優(yōu)先權(quán)日2005年9月22日
發(fā)明者河泰鉉 申請(qǐng)人:三星電子株式會(huì)社