欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

圖像處理設備和圖像處理方法與流程

文檔序號:12730768閱讀:217來源:國知局
圖像處理設備和圖像處理方法與流程

技術領域

本公開內容涉及一種圖像處理設備和圖像處理方法。具體而言,本公開內容涉及一種能夠提高編碼效率的圖像處理設備和圖像處理方法。



背景技術:

近年來,如下設備已經在廣播站中的信息分發(fā)和普通家庭中的信息接收二者中變得普遍:該設備將圖像信息作為數字數據來處理、在這樣的情況下目的在于以高效率發(fā)送和存儲信息、并且符合用于通過利用圖像信息特有的冗余度、使用正交變換、比如離散余弦變換并且使用運動補償來壓縮圖像信息的方案、比如MPEG(運動圖象專家組)。

具體而言,MPEG2(國際標準化組織和國際電工委員會(ISO/IEC)13818-2)被定義為通用圖像編碼方案并且在用于專業(yè)使用和消費者使用的廣泛應用中當前廣泛用作為用于隔行掃描圖像和順序掃描圖像以及標準和高清晰度圖像的標準。例如通過運用MPEG2壓縮方案,為具有720×480個像素的標準分辨率的隔行掃描圖像分配4至8Mbps的編碼速率(比特率),并且為具有1920×1088個像素的高分辨率的隔行掃描圖像分配18至22Mbps的編碼速率(比特率)。作為結果,可以實現(xiàn)高壓縮比和良好圖像質量。

MPEG2已經主要既定用于適合于廣播的高圖像質量編碼、但是未與用于實現(xiàn)比MPEG1的編碼速率(比特率)更低的編碼速率(比特率)(更高壓縮比)的編碼方案兼容。隨著移動終端的普及,預計對于這樣的編碼方案的需求在將來增加。為了回應這一點,已經確認MPEG4編碼方案的標準化。關于圖像編碼方案,在1998年12月確認其規(guī)范為國際標準ISO/IEC 14496-2。

此外,近年來,原先出于用于電視會議的視頻編碼的目的,稱為H.26L(ITU-T(國際電信聯(lián)盟電信標準化部門)Q6/16VCEG(視頻編碼專家組))的標準的規(guī)范的標準化已有進步。已知H.26L實現(xiàn)更高編碼效率,但是它需要比常規(guī)編碼方案、比如MPEG2和MPEG4更大量的用于編碼和解碼的計算。另外,目前作為MPEG4的活動的部分,進行用于向H.26L中并入H.26L不支持的功能的標準化作為增強壓縮視頻編碼的聯(lián)合模型以實現(xiàn)高編碼效率。

標準化時間表表明,它在2003年3月變成名義為H.264和MPEG-4部分10(下文稱為AVC的高級視頻編碼)的國際標準。

然而將宏塊的尺寸設置成16×16個像素對于將變成下一代編碼方案的對象的、命名為UHD(超高清晰度;4000×2000個像素)的大圖像幀并非最優(yōu)。

因此,作為ITU-T和ISO/IEC的聯(lián)合標準化組織的JCTVC(聯(lián)合協(xié)作團隊-視頻編碼)目前已經開發(fā)稱為HEVC(高效率視頻編碼)的編碼系統(tǒng)的標準化,用于與AVC比較進一步提高編碼效率(例如見非專利文獻1)。

在HEVC編碼方案中,定義編碼單位(CU)為與AVC方案中的宏塊相同的處理單位。不同于AVC方案的宏塊,CU的尺寸未被固定成16×16個像素、但是在相應序列中的圖像壓縮信息中被指明。

然而為了改進使用在AVC方案中定義的中值預測對運動矢量的編碼,已經考慮一種允許使用“時間預測符”和“時空預測符”以及“空間預測符”作為用于預測運動矢量的候選的方法(例如見非專利文獻2)。

另外,提出一種其中發(fā)送merge_flag和merge_left_flag的稱為運動分區(qū)合并的方法,作為用于運動信息的編碼方案之一(例如見非專利文獻3)。

引用列表

非專利文獻

Non-Patent Document 1:Thomas Wiegand,Woo-Jin Han,Benjamin Bross,Jens-Rainer Ohm,Gary J.Sullivan,"Working Draft 1of High-Efficiency Video Coding",JCTVC-C403,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG11 3rd Meeting:Guangzhou,CN,7-15October,2010

Non-Patent Document 2:Joel Jung,Guillaume Laroche,"Competition-Based Scheme for Motion Vector Selection and Coding,"VCEG-AC06,ITU-Telecommunications Standardization Sector STUDY GROUP 16Question 6,Video Coding Experts Group(VCEG)29th Meeting:Klagenfurt,Austria,17-18July,2006

Non-Patent Document 3:Martin Winken,Sebastian Bosse,Benjamin Bross,Philipp Helle,Tobias Hinz,Heiner Kirchhoffer,Haricharan Lakshman,Detlev Marpe,Simon Oudin,Matthias Preiss,Heiko Schwarz,Mischa Siekmann,Karsten Suehring,and Thomas Wiegand,"Description of video coding technology proposed by Fraunhofer HHI,"JCTVC-A116,April,2010



技術實現(xiàn)要素:

本發(fā)明要解決的問題

然而這些技術舉例說明僅在相同視圖中的處理并且不能在多視圖編碼的情況下執(zhí)行視圖間矢量預測。因此,編碼效率可能減少。

本公開內容是鑒于這些情形而產生的并且以抑制編碼效率減少為目標。

對問題的解決方案

根據本公開內容的一個方面,提供一種圖像處理設備,該圖像處理設備包括電路,該電路被配置成操作為:預測運動矢量生成單元,該預測運動矢量生成單元在當前塊的參考畫面的類型與共同定位的畫面中包括的共同定位的塊的參考畫面的類型不同的情況下設置共同定位的塊為不可用,并且生成當前運動矢量的預測運動矢量;以及運動矢量編碼單元,該運動矢量編碼單元使用預測運動矢量生成單元生成的預測運動矢量對當前運動矢量進行編碼。

根據本公開內容的一個方面,提供了一種由圖像處理設備執(zhí)行的圖像處理方法,該圖像處理方法包括:在當前塊的參考畫面的類型與共同定位的畫面中包括的共同定位的塊的參考畫面的類型不同的情況下設置共同定位的塊為不可用,并且生成當前運動矢量的預測運動矢量;以及使用所生成的預測運動矢量對當前運動矢量進行編碼。

根據本公開內容的一個方面,提供一種圖像處理設備,該圖像處理設備包括:預測矢量候選設置單元,該預測矢量候選設置單元在當前塊的編碼矢量以及與當前畫面不同時間的畫面的共同定位的塊的共同定位的矢量中的一方為參考在相同視圖下與當前畫面不同時間的畫面的運動矢量、另一方為利用視圖方向上的相關性的視差矢量時,將共同定位的矢量從針對編碼矢量的預測矢量的候選中排除;預測矢量設置單元,該預測矢量設置單元從通過預測矢量候選設置單元排除共同定位的矢量后的預測矢量的候選中設置針對編碼矢量的預測矢量;以及編碼單元,該編碼單元使用預測矢量設置單元設置的預測矢量對編碼矢量進行編碼。

根據本公開內容的一個方面,提供一種圖像處理設備,該圖像處理設備包括:預測矢量生成單元,預測矢量生成單元在對在使用在視差方向上的相關性的預測中使用的當前塊的當前視差矢量編碼時,使用在生成預測運動矢量時參考的參考視差矢量來生成當前視差矢量的預測矢量;以及差值矢量生成單元,差值矢量生成單元生成當前視差矢量與預測矢量生成單元生成的預測矢量之間的差值矢量。

預測矢量生成單元可以使用在與當前視圖相同的視圖的當前畫面不同的時間的共同定位的畫面中包括的共同定位的塊的視差矢量,生成當前視差矢量的預測矢量。

預測矢量生成單元可以在當前塊的矢量的特性與共同定位的塊的矢量的特性相同時,設置共同定位的塊為可用。

矢量的特性是矢量的類型,并且預測矢量生成單元可以在當前塊的矢量的特性是視差矢量并且共同定位的塊的矢量的特性是視差矢量時,設置共同定位的塊為可用。

預測運動矢量生成單元可以使用指示畫面的輸出順序的畫面順序計數POC,確定當前塊的矢量的特性和共同定位的塊的矢量的特性。

預測運動矢量生成單元可以使用當前畫面的POC、從當前畫面參考的當前參考畫面的POC、共同定位的畫面的POC和從共同定位的畫面參考的共同定位的參考畫面的POC,確定當前塊的矢量的特性和共同定位的塊的矢量的特性。

預測運動矢量生成單元可以在當前畫面的POC與從當前畫面參考的當前參考畫面的POC相同并且共同定位的畫面的POC與從共同定位的畫面參考的共同定位的參考畫面的POC相同時,確定當前塊的矢量的特性和共同定位的塊的矢量的特性是視差矢量。

預測矢量生成單元可以在當前塊的矢量的特性與共同定位的塊的矢量的特性不同時,設置共同定位的塊為不可用。

矢量的特性是參考畫面的類型,并且預測矢量生成單元可以在當前塊的參考畫面的類型與共同定位的塊的參考畫面的類型不同時,設置共同定位的塊為不可用。

矢量的特性是參考畫面的類型,并且預測矢量生成單元可以在當前塊的參考畫面的類型是長參考類型并且共同定位的塊的參考畫面的類型是長參考類型時,略過搜索參考索引的搜索處理。

預測矢量生成單元可以使用在與當前視圖不同的視圖的當前畫面相同的時間的畫面中包括的參考塊的視差矢量,生成當前視差矢量的預測矢量。

預測矢量生成單元可以基于在當前畫面與在生成預測運動矢量時參考的參考畫面之間的位置關系縮放參考視差矢量,以生成當前視差矢量的預測矢量。

預測矢量生成單元可以在對在使用在時間方向上的相關性的預測中使用的當前塊的當前運動矢量編碼時,使用在生成預測運動矢量時參考的參考運動矢量來生成當前運動矢量的預測矢量,并且差值矢量生成單元可以生成當前運動矢量與預測矢量生成單元生成的預測矢量之間的差值矢量。

預測矢量生成單元可以使用在與當前視圖不同的視圖的當前畫面相同的時間的畫面中包括的參考塊的運動矢量,生成當前運動矢量的預測矢量。

預測矢量生成單元可以使用在與當前視圖相同的視圖的當前畫面不同的時間的畫面中包括的參考塊的運動矢量,生成當前運動矢量的預測矢量。

預測矢量生成單元可以基于當前畫面與在生成預測運動矢量時參考的參考畫面之間的位置關系來縮放參考運動矢量,以生成當前運動矢量的預測矢量。

預測矢量生成單元可以在移位與當前視圖不同的視圖的當前畫面相同的時間的畫面的像素的位置的狀態(tài)中,使用與位于當前塊相同的位置的塊的矢量來生成預測矢量。

預測矢量生成單元可以根據當前塊的鄰近區(qū)域的視差矢量,設置圖像的移位量。

預測矢量生成單元可以使用其中在Y方向上的視差矢量的值不是零的鄰近塊的在X方向上的視差矢量,作為移位量。

預測矢量生成單元可以使用根據其中在Y方向上的視差矢量的值不是零的多個鄰近塊的在X方向上的視差矢量計算的值,作為移位量。

預測矢量生成單元可以使用其中在Y方向上的視差矢量的值不是零的多個鄰近塊的在X方向上的視差矢量的平均值或者中值,作為圖像的移位量。

預測矢量生成單元可以根據全局視差矢量設置圖像的移位量。

另外,根據本公開內容的一個方面,提供一種圖像處理設備的圖像處理方法,該圖像處理方法用于允許圖像處理設備執(zhí)行:在對在使用在視差方向上的相關性的預測中使用的當前塊的當前視差矢量編碼時,使用在生成預測運動矢量時參考的參考視差矢量來生成當前視差矢量的預測矢量;并且生成當前視差矢量與所生成的預測矢量之間的差值矢量。

根據本公開內容的另一方面,提供一種圖像處理設備,該圖像處理設備包括:預測矢量生成單元,預測矢量生成單元在對在使用在視差方向上的相關性的預測中使用的當前塊的當前視差矢量解碼時,使用在生成預測運動矢量時參考的參考視差矢量來生成當前視差矢量的預測矢量;以及算術單元,算術單元執(zhí)行將預測矢量生成單元生成的預測矢量和當前視差矢量與預測矢量之間的差值矢量相加的運算,以重建當前視差矢量。

另外,根據本公開內容的一個方面,提供一種圖像處理設備的圖像處理方法,該圖像處理方法用于允許圖像處理設備執(zhí)行:在對在使用在視差方向上的相關性的預測中使用的當前塊的當前視差矢量解碼時,使用在生成預測運動矢量時參考的參考視差矢量來生成當前視差矢量的預測矢量;并且執(zhí)行將所生成的預測矢量和當前視差矢量與預測矢量之間的差值矢量相加的運算,以重建當前視差矢量。

根據本公開內容的又一方面,提供一種圖像處理設備,該圖像處理設備包括:預測矢量生成單元,預測矢量生成單元在對在使用在時間方向上的相關性的預測中使用的當前塊的當前運動矢量編碼時,在當前塊的參考畫面的類型和在與當前畫面不同的時間的共同定位的畫面中包括的共同定位的塊的參考畫面的類型不同時,設置共同定位的塊為不可用,并且使用在生成預測運動矢量時參考的參考運動矢量來生成當前運動矢量的預測矢量;以及差值矢量生成單元,差值矢量生成單元生成當前運動矢量與預測矢量生成單元生成的預測矢量之間的差值矢量。

另外,根據本公開內容的一個方面,提供一種圖像處理設備的圖像處理方法,該圖像處理方法用于允許圖像處理設備執(zhí)行:在對在使用在時間方向上的相關性的預測中使用的當前塊的當前運動矢量編碼時,在當前塊的參考畫面的類型和在與當前畫面不同的時間的共同定位的畫面中包括的共同定位的塊的參考畫面的類型不同時,設置共同定位的塊為不可用,并且使用在生成預測運動矢量時參考的參考運動矢量來生成當前運動矢量的預測矢量;并且生成當前運動矢量與所生成的預測矢量之間的差值矢量。

在本公開內容的一個方面中,在對在使用在視差方向上的相關性的預測中使用的當前塊的當前視差矢量編碼時,使用在生成預測運動矢量時參考的參考視差矢量來生成當前視差矢量的預測矢量;并且生成當前視差矢量與生成的預測矢量之間的差值矢量。

根據本公開內容的另一方面,在對在使用在視差方向上的相關性的預測中使用的當前塊的當前視差矢量解碼時,使用在生成預測運動矢量時參考的參考視差矢量來生成當前視差矢量的預測矢量;并且執(zhí)行將生成的預測矢量和當前視差矢量與預測矢量之間的差值矢量相加以重建當前視差矢量的運算。

根據本公開內容的又一方面,在對在使用在時間方向上的相關性的預測中使用的當前塊的當前運動矢量編碼時,在當前塊的參考畫面的類型和在與當前畫面不同的時間的共同定位的畫面中包括的共同定位的塊的參考畫面的類型不同時,設置共同定位的塊為不可用;使用在生成預測運動矢量時參考的參考運動矢量來生成當前運動矢量的預測矢量;并且生成當前運動矢量與生成的預測矢量之間的差值矢量。

發(fā)明的效果

根據本公開內容,有可能處理圖像。具體而言,有可能抑制編碼效率降低。

附圖說明

圖1是用于描述預測單位類型的示例的圖。

圖2是用于描述用于合并模式時間相關性區(qū)域中的參考圖像索引確定的鄰近區(qū)域的示例的圖。

圖3是用于描述合并模式時間相關性區(qū)域中的參考圖像索引確定條件的示例的圖。

圖4是用于描述時間相關性區(qū)域確定方法的示例的圖。

圖5是用于描述方法的示例的圖,該方法確定包括時間相關性區(qū)域的圖像。

圖6是用于描述在當前區(qū)域與時間相關性區(qū)域之間的位置關系的示例的圖。

圖7是圖示時間相關性區(qū)域的運動矢量的縮放的示例的圖。

圖8是圖示3視圖圖像的參考關系的示例的圖。

圖9是用于描述在關于當前區(qū)域預測視差矢量時分配參考圖像的示例的圖。

圖10是用于描述在關于當前區(qū)域預測運動矢量時分配參考圖像的示例的圖。

圖11是圖示圖像編碼設備的主要配置示例的框圖。

圖12是圖示運動視差預測/補償單元的主要配置示例的框圖。

圖13是圖示時間視差相關性預測矢量生成單元的主要配置示例的框圖。

圖14是用于描述方案選擇的示例的圖。

圖15是用于描述確定共同定位的矢量的可用性的方式的圖。

圖16是用于描述其中共同定位的矢量可用的示例的圖。

圖17是圖示序列參數集的語法的示例的圖。

圖18是圖示切片首部的語法的示例的圖。

圖19圖示預測單位的語法的示例的圖。

圖20是用于描述編碼處理的流程的示例的流程圖。

圖21是用于描述幀間運動預測處理的流程圖的示例的流程圖。

圖22是用于描述合并模式處理的流程的示例的流程圖。

圖23是用于描述視差運動矢量預測處理的流程的示例的流程圖。

圖24是用于描述時間視差相關性預測處理的流程的示例的流程圖。

圖25是用于描述時間視差相關性預測處理的流程的示例的、從圖22繼續(xù)的流程圖。

圖26是用于描述時間視差相關性預測處理的流程的示例的、從圖23繼續(xù)的流程圖。

圖27是用于描述時間視差相關性預測處理的流程的示例的、從圖24繼續(xù)的流程圖。

圖28是用于描述方案1處理的流程的示例的流程圖。

圖29是用于描述方案3處理的流程的示例的流程圖。

圖30是用于描述方案4-2處理的流程的示例的流程圖。

圖31是圖示示例解碼設備的主要配置示例的框圖。

圖32是圖示運動視差補償單元的主要配置示例的框圖。

圖33是用于描述解碼處理的流程的示例的流程圖。

圖34是用于描述預測處理的流程的示例的流程圖。

圖35是用于描述運動視差補償處理的流程的示例的流程圖。

圖36是用于描述運動視差矢量生成處理的流程的示例的流程圖。

圖37是圖示圖像編碼設備的另一配置示例的框圖。

圖38是圖示運動預測/補償單元的主要配置示例的框圖。

圖39是圖示矢量預測單元的主要配置示例的框圖。

圖40是圖示基于不同畫面的預測矢量生成單元的主要配置示例的框圖。

圖41是用于描述運動預測/補償處理的流程的示例的流程圖。

圖42是用于描述矢量預測處理的流程的示例的流程圖。

圖43是用于描述預測矢量生成處理的流程的示例的流程圖。

圖44是用于描述基于不同畫面的預測矢量生成處理的流程的示例的流程圖。

圖45是用于描述移位量確定處理的流程的示例的流程圖。

圖46是圖示當前塊和鄰近塊的布置的示例的圖。

圖47是圖示圖像解碼設備的另一配置示例的框圖。

圖48是圖示運動補償單元的主要配置示例的框圖。

圖49是圖示矢量解碼單元的主要配置示例的框圖。

圖50是圖示基于不同畫面的預測矢量生成單元的主要配置示例的框圖。

圖51是用于描述運動補償處理的流程的示例的流程圖。

圖52是用于描述矢量解碼處理的流程的示例的流程圖。

圖53是用于描述預測矢量生成處理的流程的示例的流程圖。

圖54是用于描述基于不同畫面的預測矢量生成處理的流程的示例的流程圖。

圖55是用于描述移位量確定處理的流程的示例的流程圖。

圖56是圖示生成預測矢量的方式的示例的圖。

圖57是用于描述視差和深度的圖。

圖58是用于描述預測矢量生成方法的示例的圖。

圖59是用于描述預測矢量生成處理的流程的示例的流程圖。

圖60是用于描述基于不同畫面的預測矢量生成處理的流程的示例的流程圖。

圖61是用于描述基于不同畫面的預測矢量生成處理的流程的示例的、從圖60繼續(xù)的流程圖。

圖62是用于描述用于固定背景應用的參考圖像的方面的示例的圖。

圖63是用于描述用于立體應用的參考圖像的方面的示例的圖。

圖64是用于比較參考圖像類型和矢量特性的示例的圖。

圖65是用于描述鄰近塊的示例的圖。

圖66是用于描述處理時間相關性塊和鄰近塊的示例的圖。

圖67是用于描述PU運動(視差)矢量和參考索引生成處理的流程的示例的流程圖。

圖68是用于描述合并(略過)模式處理的流程的示例的流程圖。

圖69是用于描述根據時間相關性塊生成候選運動(視差)矢量的處理的流程的示例的流程圖。

圖70是用于描述處理的流程的示例的流程圖,該處理確定存在用于時間相關性塊的運動(視差)矢量的縮放處理和存在候選。

圖71是用于描述AMVP模式處理的流程的示例的流程圖。

圖72是用于描述根據空間鄰近塊生成候選運動(視差)矢量的處理的流程的示例的流程圖。

圖73是用于描述根據在左側上的塊生成候選運動(視差)矢量的處理的流程的示例的流程圖。

圖74是用于描述根據在左側上的塊生成候選運動(視差)矢量的處理的流程的示例的、從圖73繼續(xù)的流程圖。

圖75是用于描述處理的流程的示例的流程圖,該處理確定存在用于鄰近塊的運動(視差)矢量的縮放處理和存在候選。

圖76是用于描述根據在上側上的塊生成候選運動(視差)矢量的處理的流程的示例的流程圖。

圖77是用于描述根據在上側上的塊生成候選運動(視差)矢量的處理的流程的示例的、從圖76繼續(xù)的流程圖。

圖78是用于描述PU運動(視差)矢量和參考索引生成處理的流程的示例的流程圖。

圖79是用于描述合并(略過)模式處理的流程的示例的流程圖。

圖80是用于描述根據時間相關性塊生成候選運動(視差)矢量的處理的流程的示例的流程圖。

圖81是用于描述AMVP模式處理的流程的示例的流程圖。

圖82是用于描述處理鄰近塊的示例的圖。

圖83是用于描述根據在左側上的塊生成候選運動(視差)矢量的處理的流程的另一示例的流程圖。

圖84是用于描述根據在左側上的塊生成候選運動(視差)矢量的處理的流程的另一示例的、從圖83繼續(xù)的流程圖。

圖85是用于描述處理的流程圖的示例的流程圖,該處理確定存在用于鄰近塊的候選運動(視差)矢量。

圖86是用于描述處理的流程的另一示例的流程圖,該處理用于確定存在用于鄰近塊的運動(視差)矢量的縮放處理和存在候選。

圖87是用于描述根據在上側上的塊生成候選運動(視差)矢量的處理的流程的另一示例的流程圖。

圖88是用于描述根據在上側上的塊生成候選運動(視差)矢量的處理的流程的另一示例的、從圖87繼續(xù)的流程圖。

圖89是用于描述根據在上側上的塊生成候選運動(視差)矢量的處理的流程的另一示例的、從圖88繼續(xù)的流程圖。

圖90是用于描述處理時間相關性塊和鄰近塊的又一示例的圖。

圖91是用于描述根據在左側上的塊生成候選運動(視差)矢量的處理的流程的又一示例的流程圖。

圖92是用于描述根據在左側上的塊生成候選運動(視差)矢量的處理的流程的又一示例的、從圖91繼續(xù)的流程圖。

圖93是用于描述根據在上側上的塊生成候選運動(視差)矢量的處理的流程的又一示例的流程圖。

圖94是用于描述根據在上側上的塊生成候選運動(視差)矢量的處理的流程的又一示例的、從圖93繼續(xù)的流程圖。

圖95是圖示個人計算機的主要配置示例的框圖。

圖96是圖示電視裝置的示意配置的示例的框圖。

圖97是圖示移動電話的示意配置的示例的框圖。

圖98是圖示記錄/再現(xiàn)裝置的示意配置的示例的框圖。

圖99是圖示成像裝置的示意配置的示例的框圖。

具體實施方式

下文將描述用于實現(xiàn)本公開內容的方式(下文稱為實施例)。將按照以下順序給出描述:

1.第一實施例(圖像編碼設備)

2.第二實施例(圖像解碼設備)

3.第三實施例(圖像編碼設備)

4.第四實施例(圖像解碼設備)

5.第五實施例(圖像編碼設備和圖像解碼設備)

6.第六實施例(圖像編碼設備和圖像解碼設備)

7.第七實施例(計算機)

8.第八實施例(應用示例)

[1.第一實施例]

[運動預測]

在圖像編碼、比如AVC(高級視頻編碼)或者HEVC(高效率視頻編碼)中,執(zhí)行使用在時間方向上(在幀之間)的相關性的運動預測。

AVC定義分層塊、比如宏塊或者子宏塊為這樣的預測處理的處理單位,并且HEVC定義編碼單位(CU)。

也稱為編碼樹塊(CTB)的CU是與在AVC中的宏塊發(fā)揮相同作用的、基于畫面的圖像的部分區(qū)域。將宏塊的尺寸固定成16×16個像素,而CU的尺寸未被固定、但是在相應序列中的圖像壓縮信息中被指明。

例如在輸出編碼數據中包括的序列參數集(SPS)中定義CU的最大尺寸(LCU:最大編碼單位)和最小尺寸(SCU:最小編碼單位)。

可以通過設置split_flag=1將每個LCU拆分成更小尺寸的CU,該尺寸不小于SCU的尺寸。在split_flag的值為“1”時,將具有2N×2N的尺寸的CU拆分成具有N×N的下一層尺寸的CU。

另外,將CU拆分成預測單位(PU),這些PU是用作為幀內或者幀間預測的處理單位的區(qū)域(基于畫面的圖像的部分區(qū)域)。另外,將CU拆分成變換單位(TU),這些變換單位是用作為正交變換的處理單位的區(qū)域(基于畫面的圖像的部分區(qū)域)。當前,HEVC除了4×4和8×8正交變換之外還可以使用16×16和32×32正交變換。

在其中如在HEVC中那樣定義CU并且以CU為單位執(zhí)行各種處理的編碼方案中,可以認為在AVC中的宏塊對應于LCU。然而CU具有層結構,一般將在最上層上的LCU的尺寸設置成例如比AVC的宏塊的尺寸更大的128×128個像素。

在以下描述中,“區(qū)域”包括以上描述的所有各種類型的區(qū)域(例如宏塊、子宏塊、LCU、CU、SCU、PU、TU等)(并且可以是區(qū)域中的任何區(qū)域)?!皡^(qū)域”可以自然地包括除了以上描述的單位之外的單位,并且適當排除根據描述內容而不可用的單位。

圖1圖示預測單位(PU)的配置示例,這些PU是用于CU的預測處理單位,這些CU是編碼處理單位。如圖1中所示,可以對于一個CU形成四個類型的PU。圖1中所示四個大方形指示CU,并且在大方形以內的矩形或者方形指示PU。編號指示每個PU的索引、但是未指示圖像的內容。

如圖1中所示,在左上角上的示例中,CU包括一個PU(2N×2N)。也就是說,在這一情況下,CU等效于PU。另外,在右上角上的示例中,CU被豎直拆分成兩個區(qū)域并且包括兩個水平長PU(2N×N)。另外,在左下角上的示例中,CU被水平劃分成兩個區(qū)域并且包括兩個豎直長PU(N×2N)。另外,在右下角上的示例中,CU被豎直和水平拆分成兩個區(qū)域(共計四個區(qū)域)并且包括四個方形PU(N×N)。根據圖像的內容(預測結果的成本函數值)確定在這些圖案之中的待使用的圖案。

非專利文獻3提出一種作為運動信息編碼方案的稱為運動分區(qū)合并的方法(合并模式)。在這一方法中,發(fā)送兩個標志、也就是MergeFlag和MergeLeftFlag作為合并信息,該合并信息是關于合并模式的信息。MergeFlag=1指示作為處理目標的當前區(qū)域(也稱為目標區(qū)域)X的運動信息與當前區(qū)域相鄰的上鄰近區(qū)域T或者與當前區(qū)域相鄰的左鄰近區(qū)域L的運動信息相同。在這一情況下,在合并信息中包括并且發(fā)送MergeLeftFlag。MergeFlag=0指示當前區(qū)域X的運動信息不同于鄰近區(qū)域T和鄰近區(qū)域L中的任一鄰近區(qū)域的運動信息。在這一情況下,發(fā)送當前區(qū)域X的運動信息。

在當前區(qū)域X的運動信息與鄰近區(qū)域L的運動信息相同時,滿足MergeFlag=1和MergeLeftFlag=1。在當前區(qū)域X的運動信息與鄰近區(qū)域T的運動信息相同時,滿足MergeFlag=1和MergeLeftFlag=0。

在這樣的合并模式中,時間鄰近區(qū)域(時間相關性區(qū)域)以及空間鄰近區(qū)域L和T視為用作將與當前區(qū)域X合并的候選區(qū)域。

如圖2中所示,基于與作為待處理的目標的當前區(qū)域(當前塊)相鄰的左鄰近區(qū)域A、上鄰近區(qū)域B、右上鄰近區(qū)域C的參考圖像索引,如在圖3中所示表中那樣確定參考圖像索引。

在圖3中所示表中,從左側起的第二至第四列分別指示鄰近區(qū)域A至C的參考圖像索引的狀態(tài)。從左側起的第一列是確定的參考圖像索引。“x”、“y”和“z”指示可選自然數,并且“-1”指示不能參考鄰近區(qū)域。

在鄰近區(qū)域A至C之中有可以參考的僅一個區(qū)域時,使用該塊的參考圖像索引。另外,在鄰近區(qū)域A至C之中有可以參考的兩個區(qū)域時,使用最小參考圖像索引。另外,在不能參考所有鄰近區(qū)域A至C時,將參考圖像索引設置成0。

如圖4中所示確定在時間上位于作為處理目標的當前區(qū)域周圍的時間相關性區(qū)域。在圖4中,左區(qū)域指示作為待處理的目標的當前畫面(CurrPic)(也稱為目標畫面)的部分區(qū)域,并且在區(qū)域之中的左上矩形是當前區(qū)域(CurrPU)。另外,圖4中的右區(qū)域指示在時間上位于當前畫面周圍的時間相關性畫面(colPic)的部分區(qū)域。在這一時間相關性畫面中,包括在與當前區(qū)域的右下像素相同的位置的像素的區(qū)域是時間相關性區(qū)域(colPU)。在這一區(qū)域不可參考時,設置包括在與解碼區(qū)域的中心像素相同的位置的像素的區(qū)域作為時間相關性區(qū)域(colPU)。

另外,如圖5中所示確定時間相關性畫面。例如在當前畫面是B畫面并且collocated_from_10_flag是“1”時,列表L1的參考圖像索引“0”指示的畫面用作時間相關性畫面。另外,在當前畫面是P畫面或者B畫面并且collocated_from_10_flag是“0”時,列表L0的參考圖像索引“0”指示的畫面用作時間相關性畫面。

另外,根據在當前畫面與時間相關性畫面之間的位置關系如圖6中所示設置跳躍標志。例如,如在圖6的上側上所示,在參考圖像中的時間相關性畫面的時間位置跳過當前畫面(當前畫面存在于時間相關性畫面與參考圖像之間),將跳躍標志設置成“1”。

另外,在參考圖像中的時間相關性畫面的時間位置未跳過當前畫面(當前畫面未存在于時間相關性畫面與參考圖像之間),將跳躍標志設置成“0”。在跳躍標志是“1”時,由于當前區(qū)域變成在時間相關性區(qū)域與時間相關性區(qū)域的參考圖像之間的內插,所以預測矢量的可靠性高。

另外,雖然在生成預測矢量pmv時使用時間相關性區(qū)域的運動矢量mvCol,但是在這一情況下,與圖7中所示示例相似地縮放時間相關性區(qū)域的運動矢量。也就是說,基于在當前區(qū)域與當前區(qū)域的參考圖像之間的時間距離A和在時間相關性區(qū)域與時間相關性區(qū)域的參考圖像之間的時間距離B,如在以下表達式(1)和(2)中那樣執(zhí)行縮放。

如果A和B相同,則pmv=mvCol…(1)

如果A和B不相同,則pmv=mvCol×(A/B)…(2)

然而在多視圖圖像的情況下,圖像包括多個視圖,并且也執(zhí)行使用在視圖之間(在視差方向上)的相關性的視差預測。圖8圖示3視圖圖像的參考關系的示例。

圖8中所示3視圖圖像包括三個視圖0、1和2的圖像。在圖8中,POC指示時間的索引。另外,PicNum指示解碼順序的索引。

視圖0稱為基本視圖并且使用時間預測來編碼,該時間預測使用時間相關性來執(zhí)行預測。視圖1稱為非基本視圖并且使用時間預測和視差預測來編碼。在視差預測中,可以參考編碼視圖0和視圖2。視圖2稱為非基本視圖并且使用時間預測和視差預測來編碼。在視差預測中,可以參考編碼視圖0。

然而如以上描述的那樣,常規(guī)預測矢量僅涉及運動矢量,并且不考慮在跨越視圖的視差預測中生成的視差矢量的編碼(預測),該視差矢量指示在視圖之間相同或者最相似的部分圖像之間的位置關系。視差矢量是與時間預測的運動矢量對應的信息并且用于時間預測,該時間預測使用相同時間的不同視圖的不同圖像來生成當前區(qū)域的預測圖像。因此,不可能適當預測視差矢量,并且編碼效率可能減少。

因此,在本技術中,如以下描述的那樣,執(zhí)行多視圖圖像的視差矢量和運動矢量(運動視差矢量)的預測。

例如與圖9中所示示例相似地執(zhí)行當前區(qū)域的視差矢量(也稱為當前視差矢量)的預測。在這一示例中,向列表1的參考圖像索引0分配相同視圖(view_id=1)的參考圖像,并且向參考圖像索引1分配不同視圖(view_id=2)的參考圖像。

在列表1的參考圖像索引0(RefPicList[0])用于時間相關性畫面時,在參考相同時間的不同視圖的視差矢量期間運用在時間相關性畫面中包括的時間相關性區(qū)域(colPicB)的矢量作為預測矢量。

另外,在列表1的參考圖像索引1(RefPicList[1])用于視圖相關性畫面時,在參考相同時間的不同視圖的視差矢量期間運用在視圖相關性畫面中包括的視圖相關性區(qū)域(colPicA)的矢量作為預測矢量。

也就是說,在本技術中,為了預測當前視差矢量,使用所有參考圖像索引作為用于相關性畫面的候選。另外,與當前區(qū)域的矢量相似地確定每個相關性區(qū)域的矢量是否為視差矢量。

另外,與圖10中所示示例相似地執(zhí)行當前區(qū)域的運動矢量(也稱為當前運動矢量)的預測。在這一示例中,向列表1的參考圖像索引0分配相同視圖(view_id=1)的參考圖像,并且向參考圖像索引1分配不同視圖(view_id=2)的參考圖像。

在列表1的參考圖像索引0(RefPicList[0])用于時間相關性畫面時,在參考相同視圖的不同時間的運動矢量期間運用在時間相關性畫面中包括的時間相關性區(qū)域(colPicB)的矢量作為預測矢量。

另外,在列表1的參考圖像索引1(RefPicList[1])用于視圖相關性畫面時,在參考相同視圖的不同時間的運動矢量期間運用在視圖相關性畫面中包括的視圖相關性區(qū)域(colPicA)的矢量作為預測矢量。

也就是說,在本技術中,為了預測當前運動矢量,使用所有參考圖像索引作為用于相關性畫面的候選。另外,與當前區(qū)域的矢量相似地確定每個相關性區(qū)域的矢量是否為運動矢量。

另外,執(zhí)行在視差矢量用作預測矢量時的縮放處理如下。也就是說,基于在當前區(qū)域與其參考圖像之間的視圖間距離和在相關性區(qū)域與其參考圖像之間的視圖間距離縮放預測矢量。

在常規(guī)技術中,由于僅預測運動矢量,所以僅使用時間距離。然而在多視圖圖像的情況下,有必要預測視差矢量,因此本技術也使用視圖間距離。因而有可能提高編碼效率。

[圖像編碼設備]

圖11是圖示作為圖像處理設備的圖像編碼設備的主要配置示例的框圖。

圖11中所示圖像編碼設備100與編碼方案、比如AVC或者HEVC相似地使用預測處理對圖像數據編碼。然而圖像編碼設備100對包括多個視圖圖像的多視圖圖像編碼。在以下描述中,將描述如下情況,在該情況下處理包括三個視圖圖像的3視圖圖像作為多視圖圖像的示例。然而實際上,圖像編碼設備100可以對包括可選數目的視圖點(視圖)的多視圖圖像編碼。

如圖11中所示,圖像編碼設備100包括A/D轉換器101、屏幕重新排列緩沖器102、算術單元103、正交變化單元104、量化單元105、無損編碼單元106和累積緩沖器107。另外,圖像編碼設備100包括逆量化單元108、逆正交變化單元109、算術單元110、循環(huán)濾波器111、解碼畫面緩沖器112、選擇器113、幀內預測單元114、運動視差預測/補償單元115、預測圖像選擇器116和解碼多視圖畫面緩沖器121。

A/D轉換器101對輸入圖像數據執(zhí)行A/D轉換并且向屏幕重新排列緩沖器102供應轉換的圖像數據(數字數據),該屏幕重新排列緩沖器102存儲圖像數據。屏幕重新排列緩沖器102根據GOP(畫面組)重新排列按照存儲的順序排列的圖像的幀、從而按照用于編碼以獲得如下圖像的順序重新排列幀、并且將圖像與圖像的視圖ID和POC一起供應到算術單元103,在該圖像中重新排列幀順序。

屏幕重新排列緩沖器102將其中重新排列幀順序的圖像與圖像的視圖ID和POC一起供應到幀內預測單元114和運動視差預測/壓縮單元115。視圖ID是用于標識視圖點的信息,并且POC是用于標識時間的信息。

算術單元103從屏幕重新排列緩沖器102讀取的圖像減去經由預測圖像選擇器116從幀內預測單元114或者運動視差預測/壓縮單元115供應的預測圖像,以獲得其差值信息并且向正交變化單元104輸出差值信息。

例如在受到幀內編碼的圖像的情況下,算術單元103從屏幕重新排列緩沖器102讀取的圖像減去從幀內預測單元114供應的預測圖像。另外,例如在受到幀間編碼的圖像的情況下,算術單元103從屏幕重新排列緩沖器102讀取的圖像減去從運動視差預測/補償單元115供應的預測圖像。

正交變換單元104關于從算術單元103供應的差值信息執(zhí)行正交變換、比如離散余弦變換或者Karhunen-Loeve變換。正交變換方法是可選的。正交變換單元104向量化單元105供應變換系數。

量化單元105量化從正交變換單元104供應的變換系數。量化單元104基于關于目標編碼速率的信息設置量化參數并且執(zhí)行量化。量化方法是可選的。量化單元105向無損編碼單元106供應量化的變換系數。

無損編碼單元106根據可選編碼方案對量化單元105量化的變換系數編碼。另外,無損編碼單元106從幀內預測單元114獲取包括指示幀內預測模式的信息等的幀內預測信息、并且從運動視差預測/補償單元115獲取包括指示幀間預測模式的信息、運動視差矢量信息等的幀間預測信息。另外,無損編碼單元106獲取在循環(huán)濾波器111中使用的濾波器系數等。

無損編碼單元106根據可選編碼方案對這些各種類型的信息編碼并且并入(復用)信息作為編碼數據的首部信息的部分。無損編碼單元106向累積緩沖器107供應通過編碼而獲得的編碼數據,該累積緩沖器107累積編碼數據。

無損編碼單元106的編碼方案的示例包括可變長度編碼和算術編碼??勺冮L度編碼的示例包括在H.264/AVC方案中定義的上下文自適應可變長度編碼(CAVLC)。算術編碼的示例包括上下文自適應二進制算術編碼(CABAC)。

累積緩沖器107暫時存儲從無損編碼單元106供應的編碼數據。累積緩沖器107在后續(xù)級、例如在預定定時向記錄設備(記錄介質)(未圖示)、傳輸線等輸出其中存儲的編碼數據為比特流。也就是說,向解碼側供應各種編碼信息項。

另外,也向逆量化單元108供應在量化單元105中量化的變換系數。逆量化單元108根據與量化單元105的量化的對應的方法對量化的變換系數執(zhí)行逆量化。逆量化方法是可選的,只要該方法對應于量化單元105的量化處理。逆量化單元108向逆正交變換單元109供應獲得的變換系數。

逆正交變換單元109根據與正交變換單元104的正交變換處理對應的方法,對從逆量化單元108供應的變換系數執(zhí)行逆正交變換。逆正交變換方法是可選的,只要該方法對應于正交變換單元104的正交變換處理。向算術單元110供應通過逆正交變換而獲得的輸出(局部重建差值信息)。

算術單元110將經由預測圖像選擇器116從幀內預測單元114或者運動視差預測/補償單元115供應的預測圖像與從逆正交變換單元109供應的逆正交變換結果、也就是局部重建差值信息相加,以獲得局部重建圖像(下文稱為重建圖像)。向循環(huán)濾波器111或者解碼畫面緩沖器112供應重建圖像。

循環(huán)濾波器111包括去塊化濾波器、自適應循環(huán)濾波器等,并且關于從算術單元110供應的解碼圖像適當執(zhí)行濾波器處理。例如循環(huán)濾波器111通過對解碼圖像執(zhí)行去塊化濾波處理,去除解碼圖像的塊失真。另外,例如循環(huán)濾波器111通過使用維納濾波器對去塊化濾波結果(其中去除塊失真的解碼圖像)執(zhí)行循環(huán)濾波處理來提高圖像質量。

循環(huán)濾波器111可以對解碼圖像執(zhí)行可選濾波處理。另外,循環(huán)濾波器111按照需要向無損編碼單元106供應信息、比如用于濾波處理的濾波器系數,從而對信息編碼。

循環(huán)濾波器111向解碼畫面緩沖器112供應濾波結果(下文稱為解碼圖像)。

解碼畫面緩沖器112存儲從算術單元110供應的重建圖像和從循環(huán)濾波器111供應的解碼圖像。另外,解碼畫面緩沖器112存儲圖像的視圖ID和POC。

解碼畫面緩沖器112在預定定時或者基于來自外部單元、比如幀內預測單元114的請求,經由選擇器113向幀內預測單元114供應其中存儲的重建圖像(以及圖像的視圖ID和POC)。另外,解碼畫面緩沖器112在預定定時或者基于來自外部單元、比如運動視差預測/補償單元115的請求,經由選擇器113向運動視差預測/補償單元115供應其中存儲的解碼圖像(以及圖像的視圖ID和POC)。

選擇器113指示從解碼畫面緩沖器112輸出的圖像的供應目的地。例如在幀內預測的情況下,選擇器113從解碼畫面緩沖器112讀取未濾波的圖像(重建圖像),并且向幀內預測單元114供應圖像作為鄰近像素。

另外,例如在幀間預測的情況下,選擇器113從解碼畫面緩沖器112讀取濾波圖像(解碼圖像),并且向運動視差預測/補償單元115供應圖像作為參考圖像。

在從解碼畫面緩沖器112獲取位于處理目標區(qū)域周圍的鄰近區(qū)域的圖像(鄰近圖像)時,幀內預測單元114執(zhí)行幀內預測(場內預測),該幀內預測(場內預測)基本上使用預測單位(PU)作為處理單位、使用鄰近圖像的像素值來生成預測圖像。幀內預測單元114在預先準備的多個模式(幀內預測模式)中執(zhí)行幀內預測。

幀內預測單元114在所有候選幀內預測模式中生成預測圖像、使用從屏幕重新排列緩沖器102供應的輸入圖像來評估相應預測圖像的成本函數值并且選擇最優(yōu)模式。在選擇最優(yōu)幀內預測模式時,幀內預測單元114向預測圖像選擇器116供應在最優(yōu)模式中生成的預測圖像。

另外,幀內預測單元114向無損編碼單元106適當供應包括關于幀內預測的信息、比如最優(yōu)幀內預測模式的幀內預測信息,該無損編碼單元對幀內預測信息編碼。

運動視差預測/補償單元115基本上使用PU作為處理單位、使用從屏幕重新排列緩沖器102供應的輸入圖像和從解碼畫面緩沖器112供應的參考圖像來執(zhí)行運動預測和視差預測(幀間預測)、根據檢測的運動視差矢量執(zhí)行補償處理并且生成預測圖像(幀間預測圖像信息)。運動視差預測/補償單元115在預先準備的多個模式(幀間預測模式)中執(zhí)行這樣的幀間預測(幀間預測)。

運動視差預測/補償單元115在所有候選幀間預測模式中生成預測圖像、評估相應預測圖像的成本函數值并且選擇最優(yōu)模式。在選擇最優(yōu)幀間預測模式時,運動視差預測/補償單元115向預測圖像選擇器116供應在最優(yōu)模式中生成的預測圖像。

另外,運動視差預測/補償單元115向無損編碼單元106供應包括關于幀間預測的信息、比如最優(yōu)幀間預測模式的幀間預測信息,該無損編碼單元對幀間預測信息編碼。

預測圖像選擇器116選擇向算術單元103和算術單元110供應的預測圖像的供應源。例如在幀內編碼的情況下,預測圖像選擇器116選擇幀內預測單元114作為預測圖像的供應源,并且向算術單元103和算術單元110供應從幀內預測單元114供應的預測圖像。另外,例如在幀間編碼的情況下,預測圖像選擇器116選擇運動視差預測/補償單元115作為預測圖像的供應源,并且向算術單元103和算術單元110供應從運動視差預測/補償單元115供應的預測圖像。

雖然解碼畫面緩沖器112僅存儲處理目標視圖的圖像(以及圖像的視圖ID和POC),但是解碼多視圖畫面緩沖器121也存儲相應視圖點(視圖)的圖像(以及圖像的視圖ID和POC)。也就是說,解碼多視圖畫面緩沖器121獲取向解碼畫面緩沖器112供應的解碼圖像(以及圖像的視圖ID和POC),并且與解碼畫面緩沖器112一起存儲解碼圖像(以及圖像的視圖ID和POC)。

雖然解碼畫面緩沖器112在處理目標視圖改變時擦除解碼圖像,但是解碼多視圖畫面緩沖器121按原樣存儲解碼圖像。此外,解碼多視圖畫面緩沖器121根據解碼畫面緩沖器112的請求等,向解碼畫面緩沖器112供應存儲的解碼圖像(以及圖像的視圖ID和POC)為“非處理目標視圖的解碼圖像”。解碼畫面緩沖器112經由選擇器113向運動視差預測/補償單元115供應從解碼多視圖畫面緩沖器121讀取的“非處理目標視圖的解碼圖像”(以及圖像的視圖ID和POC)。

[運動視差預測/補償單元]

圖12是圖示圖11的運動視差預測/補償單元的主要配置示例的框圖。

如圖12中所示,運動視差預測/補償單元115包括運動視差矢量搜索單元131、預測圖像生成單元132、編碼信息累積緩沖器133和選擇器134。另外,運動視差預測/補償單元115包括空間相關性預測矢量生成單元135、時間視差相關性預測矢量生成單元136、選擇器137、編碼成本計算單元138和模式確定單元139。

運動視差矢量搜索單元131從解碼畫面緩沖器112獲取解碼圖像像素值,并且從屏幕重新排列緩沖器102獲取原始圖像像素值。運動視差矢量搜索單元131使用這些值來確定作為處理目標的當前區(qū)域的參考圖像索引、在時間方向和視差方向上執(zhí)行運動搜索、并且生成當前運動矢量和當前視差矢量。

在以下描述中,在不必區(qū)分指示在時間方向上(也就是說,在幀(畫面)之間)的運動的運動矢量和指示在視差方向上(也就是說,在視圖之間)的運動的視差矢量或者指示兩個矢量時,矢量將稱為運動視差矢量。當前區(qū)域的運動視差矢量也稱為當前運動視差矢量。

運動視差矢量搜索單元131向預測圖像生成單元132和編碼成本計算單元138供應參考圖像索引和運動視差矢量。

預測圖像生成單元131從運動視差矢量搜索單元131獲取參考圖像索引和運動視差矢量,并且從解碼畫面緩沖器112獲取解碼圖像像素值。預測圖像生成單元132使用這些值來生成當前區(qū)域的預測圖像。預測圖像生成單元132向編碼成本函數計算單元138供應預測圖像像素值。

編碼信息累積緩沖器133存儲指示在模式確定單元139作為最優(yōu)模式而選擇的模式的模式信息、以及模式的參考模式索引和運動視差矢量。編碼信息累積緩沖器133在預定定時或者根據來自外部單元的請求向選擇器134供應存儲的信息。

選擇器134向空間相關性預測矢量生成單元135或者時間視差相關性預測矢量生成單元136供應從編碼信息累積緩沖器133供應的模式信息、參考圖像索引和運動視差矢量。

空間相關性預測矢量生成單元135和時間視差相關性預測矢量生成單元136生成作為處理目標的當前區(qū)域的運動矢量(當前運動矢量)的預測值(預測矢量)。

空間相關性預測矢量生成單元135使用空間相關性來生成預測矢量(空間相關性預測矢量)。更具體而言,空間相關性預測矢量生成單元135經由選擇器134從編碼信息累積緩沖器133獲取:關于與當前區(qū)域相同的幀(當前幀(也稱為目標幀))的在空間上位于當前區(qū)域周圍的鄰近區(qū)域(空間鄰近區(qū)域)的運動信息的信息(模式信息、參考圖像索引、運動視差矢量等)。

例如空間相關性預測矢量生成單元135使用多個空間鄰近區(qū)域的運動矢量(空間鄰近運動矢量)來執(zhí)行中值運算,以生成空間相關性預測矢量。空間相關性預測矢量生成單元135向選擇器137供應生成的空間相關性預測矢量。

時間視差相關性預測矢量生成單元136使用時間相關性或者視差相關性來生成預測矢量(時間視差相關性預測矢量(時間相關性預測矢量或者視差相關性預測矢量))。更具體而言,例如時間視差相關性預測矢量生成單元136經由選擇器134從編碼信息累積緩沖器133獲?。宏P于在時間上位于當前區(qū)域周圍的鄰近區(qū)域(時間鄰近區(qū)域)的運動信息的信息。時間鄰近區(qū)域指示與當前區(qū)域相同的視圖(當前視圖(也稱為目標視圖))的位于與當前幀不同的幀(畫面)的當前區(qū)域對應的位置的區(qū)域(或者其包圍區(qū)域)。

另外,例如時間視差相關性預測矢量生成單元136經由選擇器134從編碼信息累積緩沖器133獲?。宏P于在視差上位于當前區(qū)域周圍的鄰近區(qū)域(視差鄰近區(qū)域)的運動信息的信息。視差鄰近區(qū)域指示與當前區(qū)域的視圖(當前視圖)不同的視圖的位于與當前幀相同的時間的幀(畫面)的當前區(qū)域對應的位置的區(qū)域(或者其包圍區(qū)域)。

例如時間視差相關性預測矢量生成單元136使用多個時間鄰近區(qū)域的運動矢量(時間鄰近運動矢量)來執(zhí)行中值運算,以生成時間相關性預測矢量。另外,例如時間視差相關性預測矢量生成單元136使用多個視差鄰近區(qū)域的運動矢量(視差鄰近運動矢量)來執(zhí)行中值運算,以生成視差相關性預測矢量。

時間視差相關性預測矢量生成單元136向選擇器137供應以這一方式生成的時間視差相關性預測矢量。

空間相關性預測矢量生成單元135和時間視差相關性預測矢量生成單元136分別在每個幀間預測模式中生成預測矢量。

選擇器137向編碼成本函數計算單元138供應:從空間相關性預測矢量生成單元135供應的空間相關性預測矢量和從時間視差相關性預測矢量生成單元136供應的時間視差相關性預測矢量。

編碼成本計算單元138使用從預測圖像生成單元132供應的預測圖像像素值和從屏幕重新排列緩沖器102供應的原始圖像像素值,在每個幀間預測模式中計算預測圖像與原始圖像之間的差值(例如差值圖像)。另外,編碼成本計算單元138使用差值圖像像素值,在每個幀間預測模式中計算成本函數值(也稱為編碼成本值)。

另外,編碼成本計算單元138在從選擇器137供應的空間相關性預測矢量和時間視差相關性預測矢量之中,選擇與從運動視差矢量搜索單元131供應的當前區(qū)域的運動視差矢量更接近的預測矢量作為當前區(qū)域的預測矢量。另外,編碼成本計算單元138生成差值運動視差矢量,該差值運動視差矢量是預測矢量與當前區(qū)域的運動視差矢量之間的差值。編碼成本計算單元138在每個幀間預測模式中生成差值運動視差矢量。

編碼成本計算單元138向模式確定單元139供應每個幀間預測模式的編碼成本值、預測圖像像素值和包括差值運動視差矢量的差值運動視差信息、以及包括預測矢量和參考圖像索引的預測信息。

模式確定單元139選擇其中最小化編碼成本值的幀間預測模式作為最優(yōu)模式。模式確定單元139向預測圖像選擇器116供應作為最優(yōu)模式而選擇的幀間預測模式的預測圖像像素值。

在預測圖像選擇器116選擇幀間預測時,模式確定單元139向無損編碼單元106供應關于作為最優(yōu)模式而選擇的幀間預測模式的信息的模式信息、在幀間預測模式中的差值運動視差信息和預測信息,其中無損編碼單元106對信息編碼。對這些信息項編碼并且向解碼側發(fā)送這些信息項。

另外,模式確定單元139向編碼信息累積緩沖器133供應在作為最優(yōu)模式而選擇的幀間預測模式中的模式信息、差值模式視差信息和預測信息,其中編碼信息累積緩沖器133存儲信息。這些信息項在用于比當前區(qū)域更晚處理的另一區(qū)域的處理中用作關于鄰近區(qū)域的信息。

[時間視差相關性預測矢量生成單元]

圖13是圖示時間視差相關性預測矢量生成單元136的主要配置示例的框圖。

如圖13中所示,時間視差相關性預測矢量生成單元136包括當前區(qū)域處理器(目標區(qū)域處理器)151、相關性區(qū)域處理器152、LI預測處理器153、L0預測處理器154、方案1處理器155、方案2處理器156、方案3處理器157、方案4處理器158和預測矢量生成單元159。

當前區(qū)域處理器151執(zhí)行獲取關于當前區(qū)域的信息的處理。當前區(qū)域處理器151向范圍從相關性區(qū)域處理器152到L0預測處理器154的相應單元供應關于當前區(qū)域的獲取的信息。相關性區(qū)域處理器152執(zhí)行獲取關于相關性區(qū)域的信息的處理。

相關性區(qū)域是為了使用與當前區(qū)域的相關性而參考的區(qū)域。例如時間相關性區(qū)域是為了使用與當前區(qū)域的時間相關性而參考的區(qū)域,并且是具有用于生成時間相關性預測矢量的運動矢量的時間鄰近區(qū)域。另外,視差相關性區(qū)域是為了使用與當前區(qū)域的視差相關性而參考的區(qū)域,并且是具有用于生成視差相關性預測矢量的運動矢量的視差鄰近區(qū)域。相關性區(qū)域包括這些區(qū)域。

相關性區(qū)域處理器152向L1預測處理器153和L0預測處理器154供應關于相關性區(qū)域的信息。

L1預測處理器153在L1方向上執(zhí)行預測處理。L1預測處理器153從屏幕重新排列緩沖器102和解碼畫面緩沖器112獲取必需信息。另外,L1預測處理器153獲取從當前區(qū)域處理器151和相關性區(qū)域處理器152供應的信息。L1預測處理器153使用這些信息項在L1方向上執(zhí)行預測處理。

準備方案1至4的四種方法預備作為預測處理。L1預測處理器選擇方法中的任一方法,并且向在方案1處理器155至方案4處理器158之中選擇的與該方法對應的處理器提供信息。

L0預測處理器154與L1預測處理器153相似地在L0方向上執(zhí)行預測處理。

方案1是如下方案,在該方案中,向列表1的參考圖像索引1分配的與當前視圖不同的視圖的與當前幀相同的時間的幀(參考圖像)用作相關性圖像,并且在相關性區(qū)域的矢量是視差矢量時,運用視差矢量(參考視差矢量)作為預測矢量。方案1處理器155執(zhí)行用于根據這樣的方案生成預測矢量的處理。方案1處理器155向預測矢量生成單元159供應通過該處理獲得的各種參數。

方案2是如下方案,在該方案中,向列表1的參考圖像索引0分配的與當前視圖相同的視圖的與當前幀不同的時間的幀(參考圖像)用作相關性圖像,并且在相關性區(qū)域的矢量是視差矢量時,運用視差矢量(參考視差矢量)作為預測矢量。方案2處理器156執(zhí)行用于根據這樣的方案生成預測矢量的處理。方案2處理器156向預測矢量生成單元159供應通過該處理獲得的各種參數。

方案3是如下方案,在該方案中,向列表1的參考圖像索引1分配的與當前視圖相同的視圖的與當前幀不同的時間的幀(參考圖像)用作相關性圖像,并且在相關性區(qū)域的矢量是運動矢量時,運用運動矢量(參考視差矢量)作為預測矢量。方案3處理器157執(zhí)行用于根據這樣的方案生成預測矢量的處理。方案3處理器157向預測矢量生成單元159供應通過該處理獲得的各種參數。

方案4是如下方案,在該方案中,向列表1的參考圖像索引0分配的與當前視圖相同的視圖的與當前幀不同的時間的幀(參考圖像)用作相關性圖像,并且在相關性區(qū)域的矢量是運動矢量時,運用運動矢量(參考視差矢量)作為預測矢量。方案4處理器158執(zhí)行用于根據這樣的方案生成預測矢量的處理。方案4處理器158向預測矢量生成單元159供應通過該處理獲得的各種參數。

預測矢量生成單元159使用從方案1處理器155至方案4處理器158供應的信息以及從解碼畫面緩沖器112獲取的參考圖像的視圖信息、時間信息等,生成時間視差相關性預測矢量。在這一情況下,預測矢量生成單元159使用從方案1處理器155至方案4處理器158供應的信息來執(zhí)行縮放處理。在這一情況下,預測矢量生成單元159對于運動相關性預測矢量在時間方向上執(zhí)行縮放,并且對于視差相關性預測矢量在視差方向上執(zhí)行縮放。預測矢量生成單元159經由選擇器137向編碼成本計算單元138供應生成的時間視差相關性預測矢量。

通過這樣做,時間視差相關性預測矢量生成單元136可以生成視差相關性預測矢量以及運動相關性預測矢量。因此,運動視差預測/補償單元115即使在當前區(qū)域的矢量是視差矢量時仍然可以生成具有高預測準確度的預測矢量。因而圖像編碼設備100可以抑制編碼效率降低。

[方案選擇示例]

圖14圖示其中選擇每個方案的示例。如圖14中所示,選擇如下區(qū)域作為相關性區(qū)域,該區(qū)域與參考圖像的位置關系(參考圖像在時間方向上或者在視差預測中存在)與當前區(qū)域(目標區(qū)域)相同。也就是說,當前區(qū)域與當前區(qū)域的參考圖像之間的位置關系和相關性區(qū)域與相關性區(qū)域的參考圖像之間的位置關系相同。另外,基于當前區(qū)域與當前區(qū)域的參考圖像之間的位置關系和當前區(qū)域與相關性區(qū)域之間的位置關系確定方案。

在圖14的表中,從底部起的第一至第四行指示相應圖像的位置關系的示例,并且A至E指示每行的視圖ID或者POC的值的示例。也就是說,這里重要的不是值為多少、而是圖像的視圖ID或者PIC是否與其它圖像的視圖ID或者POC相同。

在從底部起的第四行的示例中,當前區(qū)域和相關性區(qū)域二者具有不同參考圖像和視圖ID、但是具有相同POC。也就是說,當前區(qū)域和相關性區(qū)域的矢量是視差矢量。另外,當前區(qū)域和相關性區(qū)域具有不同視圖ID并且具有相同POC。也就是說,相關性區(qū)域是與當前區(qū)域相同的時間的、不同幀的視圖的圖像。因此,如在圖14的表中所示選擇方案1。方案1在如下區(qū)域中有效,在該區(qū)域中,在視圖點之間的視差變化恒定。

在從底部起的第三行的示例中,當前區(qū)域和相關性區(qū)域二者具有不同參考圖像和視圖ID、但是具有相同POC。也就是說,當前區(qū)域和相關性區(qū)域的矢量是視差矢量。另外,當前區(qū)域和相關性區(qū)域具有相同視圖ID并且具有不同POC。也就是說,相關性區(qū)域是與當前區(qū)域相同的視圖的、不同時間的幀的圖像。因此如在圖14的表中所示選擇方案2。方案2在時間運動改變小時有效。

在從底部起的第二行的示例中,當前區(qū)域和相關性區(qū)域二者具有相同參考圖像和視圖ID、但是具有不同POC。也就是說,當前區(qū)域和相關性區(qū)域的矢量是運動矢量。另外,當前區(qū)域和相關性區(qū)域具有不同視圖ID并且具有相同POC。也就是說,相關性區(qū)域是與當前區(qū)域相同的時間的、不同幀的視圖的圖像。如在圖14的表中所示選擇方案3。方案3在視圖點之間的視差數量改變小時有效。

在從底部起的第一行的示例中,當前區(qū)域和相關性區(qū)域二者具有相同參考圖像和視圖ID、但是具有不同POC。也就是說,當前區(qū)域和相關性區(qū)域的矢量是運動矢量。另外,當前區(qū)域和相關性區(qū)域具有相同視圖ID和不同POC。也就是說,相關性區(qū)域是與當前區(qū)域相同的視圖的、不同時間的幀的圖像。因此,如在圖14的表中所示選擇方案4。

也就是說,例如在3D圖像的左和右圖像中的任一圖像(例如左眼圖像)是基本視圖而另一圖像(例如右眼圖像)是依賴視圖、并且依賴視圖中、當前區(qū)域的矢量(編碼矢量)的特性與相同視圖的不同時間的幀的相關性區(qū)域(共同定位的區(qū)域)的矢量(共同定位的矢量)的特性相同時,設置共同定位的塊為可用。換而言之,在依賴視圖中,在編碼矢量和共同定位的矢量的特性不相同時,設置共同定位的塊為不可用。自然地,這同樣可以應用于基本視圖。

例如圖13的L1預測處理器153和L0預測處理器154執(zhí)行這樣的設置。

例如可以通過如圖15中所示比較當前區(qū)域和共同定位的塊的POC與相應參考圖像的POC,確定編碼矢量和共同定位的矢量的特性是否相同。例如圖13的L1預測處理器153和L0預測處理器154執(zhí)行這樣的比較。

例如在當前區(qū)域的POC(CurrPOC)和當前區(qū)域的參考圖像的POC(CurrRefPOC)不相同、并且共同定位的塊的POC(ColPOC)和共同定位的塊的參考圖像的POC(ColRefPOC)不相同((CurrPOC?。紺urrRefPOC)&&(ColPOC!=ColRefPOC))時,L1預測處理器153和L0預測處理器154確定編碼矢量和共同定位的塊二者是運動矢量(圖16的A)。

另外,例如在當前區(qū)域的POC(CurrPOC)和當前區(qū)域的參考圖像的POC(CurrRefPOC)相同并且共同定位的塊的POC(ColPOC)和共同定位的塊的參考圖像的POC(ColRefPOC)相同((CurrPOC=CurrRefPOC)&&(ColPOC=ColRefPOC))時,L1預測處理器153和L0預測處理器154確定編碼矢量和共同定位的塊二者是視差矢量(視圖間矢量)(圖16的B)。

L1預測處理器153和L0預測處理器154基于確定結果,如在圖15的下側上在表中所示設置共同定位的矢量的可用性。

例如在確定編碼矢量和共同定位的塊為運動矢量或者視差矢量(視圖間矢量)時,設置共同定位的矢量為可用(圖16的A或者圖16的B)。

反言之,在確定編碼矢量和共同定位的塊之一為運動矢量而另一個為視差矢量(視圖間矢量)時,設置共同定位的矢量為不可用。

[語法]

圖17圖示這一情況的序列參數集的語法的示例。如在從圖17的底部起的第十行至第三行上所示,在序列參數集中包括信息、比如視圖總數、用于標識視圖的ID、在列表L0中的視差預測數目、在列表0中的視差預測中參考的視圖的ID、在列表L1中的視差預測數目和在列表L1中的視差預測中參考的視圖的ID。這些信息項是多視圖圖像所必需的信息。換而言之,可以應用本技術而未向序列參數集添加新語法。

圖18圖示這一情況的切片首部的語法的示例。如在從圖18的底部起的第八行上所示,在切片首部中包括用于標識視圖的ID。這一信息是多視圖圖像所必需的信息。換而言之,可以應用本技術而未向切片首部添加新語法。

圖19圖示這一情況的預測單位的語法的示例。如圖19中所示,可以應用本技術而未向預測單位添加新語法。然而由于應用本技術與常規(guī)技術比較增加候選相關性區(qū)域數目,所以有必要擴展語法的類型或者改變用于合并模式ID和預測矢量ID的處理的內容。

[編碼處理的流程]

接著將描述具有這樣的配置的圖像編碼設備100執(zhí)行的相應處理的流程。首先將參照圖20的流程圖描述編碼處理的流程的示例。

在步驟S101中,A/D轉換器101對輸入圖像執(zhí)行A/D轉換。在步驟S102中,屏幕重新排列緩沖器102存儲A/D轉換的圖像并且重新排列相應畫面,從而按照編碼順序重新排列按照顯示順序排列的畫面。

在步驟S103中,幀內預測單元114執(zhí)行幀內預測處理。在步驟S104中,運動視差預測/補償單元115執(zhí)行幀間預測處理。在步驟S105中,預測圖像選擇器116選擇通過幀內預測而生成的預測圖像和通過幀間預測而生成的預測圖像中的任一預測圖像。

在步驟S106中,算術單元103計算通過步驟102的處理重新排列的圖像與通過步驟S105的處理選擇的預測圖像之間的差值(生成差值圖像)。生成的差值圖像具有比原始圖像更小的數據量。因此與在原樣對圖像編碼時比較有可能壓縮數據量。

在步驟S107中,正交變化單元104對通過步驟S106的處理生成的差值圖像執(zhí)行正交變換。具體而言,執(zhí)行正交變換、比如離散余弦變換或者Karhunen-Loeve變換,并且輸出正交變換系數。在步驟S108中,量化單元105量化通過步驟S107的處理獲得的正交變換系數。

用以下方式對通過步驟108的處理量化的差值圖像局部解碼。也就是說,在步驟S109中,逆量化單元108根據與量化單元105的特性對應的特性,對通過步驟S108的處理生成的量化正交變換系數(也稱為量化系數)執(zhí)行逆量化。在步驟S110中,逆正交變換單元109根據與正交變換單元104的特性對應的特性,對通過步驟S109的處理獲得的正交變換系數執(zhí)行逆正交變換。以這一方式,重建差值圖像。

在步驟S111中,算術單元110將在步驟S105中選擇的預測圖像與在步驟S110中生成的差值圖像相加,以生成局部解碼圖像(重建圖像)。在步驟S112中,循環(huán)濾波器111關于通過步驟S111的處理獲得的重建圖像適當執(zhí)行包括去塊化濾波處理或者自適應循環(huán)濾波處理的循環(huán)濾波處理。

在步驟S113中,解碼畫面緩沖器112和解碼多視圖畫面緩沖器121存儲通過步驟S112的處理生成的解碼圖像和通過步驟S111的處理生成的重建圖像。

在步驟S114中,無損編碼單元106對通過步驟S108的處理量化的正交變換系數編碼。也就是說,關于差值圖像執(zhí)行無損編碼、比如可變長度編碼或者算術編碼。無損編碼單元106對關于預測的信息、關于量化的信息、關于濾波處理的信息等編碼并且向比特流添加編碼信息。

在步驟S115中,累積緩沖器107累積通過步驟S114的處理獲得的比特流。適當讀取并且經由傳輸線或者記錄介質向解碼側發(fā)送在累積緩沖器107中累積的編碼數據。

在步驟S116中,量化單元105基于通過步驟S115的處理在累積緩沖器107中累積的編碼數據的編碼速率(出現(xiàn)編碼速率),控制量化操作的速率,從而不上溢或者下溢出現(xiàn)。

在步驟S116的處理結束時,編碼處理結束。

[幀間運動預測處理的流程]

接著將參照圖21的流程圖描述在圖20的步驟S104中執(zhí)行的幀間運動預測處理的流程的示例。

在步驟S131中,運動視差矢量搜索單元131關于處理目標的幀間預測模式執(zhí)行運動搜索,以生成作為處理目標的當前區(qū)域的運動視差矢量(運動矢量或者視差矢量)。在步驟S132中,預測圖像生成單元132使用在步驟S131中生成的運動視差矢量來執(zhí)行補償處理,以生成預測圖像。在步驟S133中,編碼成本計算單元138生成在步驟S132中生成的預測圖像與原始圖像(輸入圖像)之間的差值圖像。

在步驟S134中,編碼成本計算單元138使用空間相關性預測矢量生成單元135、時間視差相關性預測矢量生成單元136等來執(zhí)行合并模式處理。

在步驟S135中,編碼成本計算單元138比較在步驟S131中生成的當前區(qū)域的運動視差矢量和通過步驟S134的處理生成的當前區(qū)域的預測矢量,以確定合并模式是否將應用于當前區(qū)域。

在確定二者不相同并且將不應用合并模式時,編碼成本計算單元138繼續(xù)步驟S136的處理,并且使用空間相關性預測矢量生成單元135、時間視差相關性預測矢量生成單元136等來執(zhí)行視差運動矢量預測處理。在步驟S136的處理結束時,編碼成本計算單元138繼續(xù)步驟S137的處理。

另外,在步驟S135中,在確定當前區(qū)域的運動視差矢量和預測矢量相同并且合并模式將應用于當前區(qū)域時,編碼成本計算單元138略過步驟S136的處理并且繼續(xù)步驟S137。

在步驟S137中,編碼成本計算單元138確定是否已經在所有幀間預測模式中執(zhí)行以上處理。在確定未處理的幀間預測模式存在時,流程返回到步驟S131,并且執(zhí)行控制,從而關于未處理的幀間預測模式反復地執(zhí)行后續(xù)處理。也就是說,在相應幀間預測模式中執(zhí)行步驟S131至S137的處理。

在步驟S137中確定已經在所有幀間預測模式中執(zhí)行處理時,編碼成本計算單元138繼續(xù)步驟S138的處理。在步驟S138中,編碼成本計算單元138計算每個幀間預測模式的成本函數值。

在步驟S139中,模式確定單元139確定其中在步驟S138中計算的成本函數值(編碼成本值)最小的幀間預測模式為最優(yōu)模式(最優(yōu)幀間預測模式)。

在步驟S140中,預測圖像生成單元132在最優(yōu)幀間預測模式中生成預測圖像。向預測圖像選擇器116供應預測圖像。

在步驟S141中,編碼信息累積緩沖器133在圖20的步驟S105中選擇幀間預測時,存儲最優(yōu)幀間預測模式的模式信息和運動信息(運動視差矢量、參考圖像索引等)。在選擇幀內預測模式時,存儲零矢量作為運動視差矢量。在圖20的步驟S105中選擇幀間預測時,向無損編碼單元106供應這些信息項,并且無損編碼單元106對這些信息項編碼,并且向解碼側發(fā)送編碼信息。

在步驟S141的處理結束時,編碼信息累積緩沖器133結束幀間運動預測處理,并且流程繼續(xù)圖20的流程圖。

[合并模式處理的流程]

接著將參照圖22的流程圖描述在圖21的步驟S134中執(zhí)行的合并模式處理的流程的示例。

在合并模式處理開始時,在步驟S161中,空間相關性預測矢量生成單元135執(zhí)行空間相關性預測處理,該空間相關性預測處理使用與空間鄰近區(qū)域的相關性來生成空間相關性預測矢量。在步驟S162中,時間視差相關性預測矢量生成單元136執(zhí)行時間相關性預測處理,該時間相關性預測處理使用與空間鄰近區(qū)域或者視差鄰近區(qū)域的相關性來生成時間視差相關性預測矢量。

在步驟S163中,編碼成本計算單元138從在步驟S161中生成的空間相關性預測矢量和在步驟S162中生成的時間視差預測矢量去除重疊矢量。

在步驟S164中,編碼成本計算單元138確定矢量是否存在。在確定存在至少一個空間相關性預測矢量或者時間視差相關性預測矢量時,編碼成本計算單元138繼續(xù)步驟S165的處理。

在步驟S165中,編碼成本計算單元138確定多個矢量是否存在。在確定多個矢量存在時,編碼成本計算單元138繼續(xù)步驟S166的處理以獲取合并索引。在確定多個矢量不存在時,編碼成本計算單元138略過步驟S166的處理。

在與當前區(qū)域的運動矢量相同的空間相關性預測矢量或者時間視差相關性預測矢量存在時,編碼成本計算單元138在步驟S167中獲取相同矢量作為預測矢量并且在步驟S168中獲取參考圖像索引。

在步驟S168的處理結束時,編碼成本計算單元138結束合并模式處理,并且流程返回到圖21的流程圖。

另外,在步驟S164中確定空間相關性預測矢量和時間視差相關性預測矢量均不存在時,編碼成本計算單元138繼續(xù)步驟S169的處理。

在步驟S169中,編碼成本計算單元138向預測矢量指派初始值(例如零矢量)。另外,在步驟S170中,編碼成本計算單元138向參考圖像索引指派初始值(例如0)。

在步驟S170的處理結束時,編碼成本計算單元138結束合并模式處理,并且流程返回到圖21的流程圖。

[視差運動矢量預測處理的流程]

接著將參照圖23的流程圖描述在圖21的步驟S136中執(zhí)行的視差運動矢量預測處理的流程的示例。

在視差運動矢量預測處理開始時,在步驟S191中,空間相關性預測矢量生成單元135執(zhí)行空間相關性預測處理,以生成空間相關性預測矢量。在步驟S192中,時間視差相關性預測矢量生成單元136執(zhí)行時間視差相關性預測處理,以生成時間視差相關性預測矢量。

在步驟S193中,編碼成本計算單元138從在步驟S191中生成的空間相關性預測矢量和在步驟S192中生成的時間視差預測矢量去除重疊矢量。

編碼成本計算單元138選擇在剩余矢量之中的與當前區(qū)域的運動矢量最接近的矢量、在步驟S194中創(chuàng)建指示矢量的預測矢量索引并且在步驟S195中使用該矢量作為預測矢量。在步驟S195的處理結束時,編碼成本計算單元138結束視差運動矢量預測處理,并且流程返回到圖21的流程圖。

[時間視差相關性預測處理的流程圖]

接著將參照圖24至27的流程圖描述在圖22的步驟S162或者圖23的步驟S192中執(zhí)行的時間視差相關性預測處理的流程的示例。

在時間視差相關性預測處理開始時,當前區(qū)域處理器151在圖24的步驟S211中獲取當前區(qū)域的視圖ID和POC。在步驟S212中,當前區(qū)域處理器151確定當前區(qū)域的參考索引。在步驟S213中,當前區(qū)域處理器151獲取參考圖像的視圖ID和POC。

在步驟S214中,相關性區(qū)域處理器152按照列表1的參考圖像索引的升序選擇相關性圖像。在步驟S215中,相關性區(qū)域處理器152確定是否已經搜索所有參考圖像索引。在確定已經搜索所有參考圖像索引時,時間視差相關性預測處理結束,并且流程返回到圖22或者圖23的流程圖。

另外,在步驟S215中確定未處理的參考圖像索引存在時,相關性區(qū)域處理器152繼續(xù)步驟S216的處理。在步驟S216中,相關性區(qū)域處理器152確定相關性區(qū)域,并且流程繼續(xù)圖25的流程圖。

在圖25的步驟S221中,相關性區(qū)域處理器152確定相關性區(qū)域是否為幀內預測區(qū)域或者未參考另一區(qū)域的區(qū)域。在確定相關性區(qū)域是幀內預測區(qū)域或者未參考另一區(qū)域的區(qū)域時,相關性區(qū)域處理器152繼續(xù)圖26的流程圖。

另外,在圖25的步驟S221中確定相關性區(qū)域是幀間預測區(qū)域和未參考另一區(qū)域的區(qū)域時,相關性區(qū)域處理器152繼續(xù)步驟S222的處理。

在步驟S222中,L1預測處理器153獲取相關性區(qū)域的視圖ID和POC。在步驟S223中,L1預測處理器153獲取相關性區(qū)域的L1預測參考圖像的視圖ID和POC。

在步驟S224中,L1預測處理器153確定當前區(qū)域和相關性區(qū)域是否具有相同視圖ID。在二者相同時,相關性區(qū)域是共同定位的塊。在確定當前區(qū)域和相關性區(qū)域具有相同視圖ID時,L1預測處理器153繼續(xù)步驟S225的處理以執(zhí)行方案4-2處理,從而根據方案4或者2生成預測矢量。在步驟S225的處理結束時,流程繼續(xù)圖26的流程圖。

另外,在圖25的步驟S224中確定當前區(qū)域和相關性區(qū)域無相同視圖ID時,L1預測處理器153繼續(xù)步驟S226的處理。

在步驟S226中,L1預測處理器153確定當前區(qū)域和相關性區(qū)域是否具有相同POC。在確定當前區(qū)域和相關性區(qū)域無相同POC時,L1預測處理器153繼續(xù)圖26的流程圖。

然而,在圖25的步驟S226中確定當前區(qū)域和相關性區(qū)域具有相同POC時,L1預測處理器153繼續(xù)步驟S227的處理。

在步驟S227中,L1預測處理器153確定當前區(qū)域的參考圖像和相關性區(qū)域的參考圖像是否具有相同POC。在確定當前區(qū)域的參考圖像和相關性區(qū)域的參考圖像具有相同POC時,L1預測處理器153繼續(xù)步驟S228的處理以執(zhí)行方案1處理,從而根據方案1生成預測矢量。在步驟S228的處理結束時,L1預測處理器153繼續(xù)圖26的流程圖。

另外,在圖25的步驟S227中確定當前區(qū)域的參考圖像和相關性區(qū)域的參考圖像無相同POC時,L1預測處理器153繼續(xù)步驟S229的處理以執(zhí)行方案3處理,從而根據方案3生成預測矢量。在步驟S229的處理結束時,L1預測處理器153繼續(xù)圖26的流程圖。

在圖26中,L0預測處理器154關于相關性區(qū)域的L0預測執(zhí)行與圖25的L1預測相同的處理。也就是說,L0預測處理器154執(zhí)行與圖25的步驟S222至S229的處理相同的步驟S231至S238的處理。

然而在圖26的情況下,相關性區(qū)域的參考圖像是L0預測參考圖像。另外,在步驟S234、S237或者S238的處理結束時,或者在步驟S235中確定當前區(qū)域和相關性區(qū)域無相同POC時,L0預測處理器154繼續(xù)圖27的流程圖。

在圖27的步驟S241中,預測矢量生成單元159確定至少一個預測矢量候選是否存在。在確定無預測矢量候選存在時,預測矢量生成單元159返回到圖24的步驟S214的處理。

另外,在圖27的步驟S241中確定至少一個預測矢量候選存在時,預測矢量生成單元159繼續(xù)步驟S242的處理。在步驟S242中,預測矢量生成單元159確定是否僅L1的跳躍標志是1或者是否L0或者L1的跳躍標志相同,并且參考L1。

在確定僅L1的跳躍標志是1或者L0和L1的跳躍標志相同、并且參考L1時,預測矢量生成單元159繼續(xù)步驟S243的處理。

在步驟S243中,預測矢量生成單元159獲取L1參考矢量。在步驟S2444中,預測矢量生成單元159獲取L1參考的參考圖像索引,并且流程繼續(xù)步驟S247。

另外,在步驟S242中確定L1的跳躍標志不是1或者L0的跳躍標志是0、以及L0和L1的跳躍標志不相同或者未參考L1時,預測矢量生成單元159繼續(xù)步驟S245的處理。

在步驟S245中,預測矢量生成單元159獲取L0參考矢量。在步驟S246中,預測矢量生成單元159獲取L0參考的參考圖像索引,并且流程繼續(xù)步驟S247。

在步驟S247中,預測矢量生成單元159使用獲取的L1參考矢量或者L0參考矢量作為預測矢量。在這一情況下,預測矢量生成單元159使用與在當前區(qū)域或者相關性區(qū)域中的參考圖像的距離來縮放矢量,并且使用縮放結果作為預測矢量。

在步驟S247的處理結束時,預測矢量生成單元159返回到圖24的流程圖以結束時間視差相關性預測處理,并且流程返回到圖22或者圖23的流程圖。

[方案1處理的流程]

接著將參照圖28的流程圖描述在圖25或者圖26中執(zhí)行的方案1處理的流程的示例。

在方案1處理開始時,在步驟S261中,方案1處理器155確定當前區(qū)域和當前區(qū)域的參考圖像的POC是否相同。在確定當前區(qū)域和當前區(qū)域的參考圖像的POC不相同時,方案1處理器155結束方案1處理,并且流程返回到圖25或者圖26的流程圖。

另外,在步驟S261中確定當前區(qū)域和當前區(qū)域的參考圖像相同時,方案1處理器155繼續(xù)步驟S262的處理。

在步驟S262中,方案-1處理器155確定相關性區(qū)域和相關性區(qū)域的參考圖像的POC是否相同。在確定相關性區(qū)域和相關性區(qū)域的參考圖像的POC不相同時,方案-1處理器155結束方案1處理,并且流程返回到圖25或者圖26的流程圖。

另外,在步驟S262中確定相關性區(qū)域和相關性區(qū)域的參考圖像的POC相同時,方案-1處理器155繼續(xù)步驟S263的處理。

在步驟S263中,方案-1處理器155計算當前區(qū)域與當前區(qū)域的參考圖像之間的視圖間距離1。在步驟S264中,方案-1處理器155計算相關性區(qū)域與相關性區(qū)域的參考圖像之間的視圖間距離2。在步驟S265中,方案1處理器155確定參考圖像的跳躍標志,并且流程返回到圖25或者圖26的流程圖。在圖27的處理中使用這些參數(視圖間距離1、視圖間距離2和跳躍標志)。

[方案3處理的流程]

接著將參照圖29的流程圖描述在圖25或者圖26中執(zhí)行的方案3處理的流程的示例。

在方案3處理開始時,在步驟S271中,方案3處理器157確定當前區(qū)域和當前區(qū)域的參考圖像的視圖ID是否相同。在當前區(qū)域和當前區(qū)域的參考圖像的視圖ID不相同時,方案3處理器157結束方案3處理,并且流程返回到圖25或者圖26的流程圖。

另外,在步驟S271中確定當前區(qū)域和當前區(qū)域的參考圖像的視圖ID相同時,方案3處理器157繼續(xù)步驟S272的處理。

在步驟S272中,方案3處理器157確定相關性區(qū)域和相關性區(qū)域的參考圖像的視圖ID是否相同。在確定相關性區(qū)域和相關性區(qū)域的參考圖像的視圖ID不相同時,方案3處理器157結束方案3處理,并且流程返回到圖25或者圖26的流程圖。

另外,在步驟S272中確定相關性區(qū)域和相關性區(qū)域的參考圖像的視圖ID相同時,方案3處理器157繼續(xù)步驟S273的處理。

在步驟S273中,方案3處理器157計算當前區(qū)域與當前區(qū)域的參考圖像之間的視圖間距離1。在步驟S274中,方案3處理器157計算相關性區(qū)域與相關性區(qū)域的參考圖像之間的視圖間距離2。在步驟S275中,方案3處理器157確定參考圖像的跳躍標志,并且流程返回到圖25或者圖26的流程圖。在圖27的處理中使用這些參數(視圖間距離1、視圖間距離2和跳躍標志)。

[方案4-2處理的流程]

接著將參照圖30的流程圖描述在圖25或者圖26中執(zhí)行的方案4-2處理的流程的示例。

在方案4-2處理開始時,在步驟S281中,L1預測處理器153或者L0預測處理器154確定當前區(qū)域和當前區(qū)域的參考圖像的視圖ID是否相同。在二者相同時,編碼矢量是運動矢量。在確定當前區(qū)域和當前區(qū)域的參考圖像的視圖ID相同時,流程繼續(xù)步驟S282。

在步驟S282中,L1預測處理器153或者L0預測處理器154確定相關性區(qū)域(共同定位的塊)和相關性區(qū)域的參考圖像的視圖ID是否相同。在二者不相同時,共同定位的矢量是視差矢量。在確定相關性區(qū)域和相關性區(qū)域的參考圖像的視圖ID不相同時,L1預測處理器153或者L0預測處理器154結束方案4-2處理,并且流程返回到圖25或者圖26的流程圖。

也就是說,在這一情況下,由于編碼矢量是運動矢量并且共同定位的矢量是視差矢量,所以編碼矢量的特性與共同定位的矢量的特性不相同。因此,設置共同定位的塊不可用,并且方案4-2處理結束。

另外,在步驟S282中確定相關性區(qū)域和相關性區(qū)域的參考圖像的視圖ID相同時,L1預測處理器153或者L0預測處理器154繼續(xù)步驟S283的處理。在二者相同時,共同定位的矢量是運動矢量。也就是說,在這一情況下,編碼矢量和共同定位的矢量二者是運動矢量,并且兩個矢量的特性相同。因此,在這一情況下,設置共同定位的矢量為可用。

在步驟S283中,方案4處理器158計算當前區(qū)域與當前區(qū)域的參考圖像之間的視圖間距離1。在步驟S284中,方案4處理器158計算相關性區(qū)域與相關性區(qū)域的參考圖像之間的視圖間距離2。在步驟S285中,方案4處理器158確定參考圖像的跳躍標志,并且流程反饋到圖25或者圖26的流程圖。在圖27的處理中使用這些參數(視圖間距離1、視圖間距離2和跳躍標志)。

另外,在步驟S281中確定當前區(qū)域和當前區(qū)域的參考圖像的視圖ID不相同時,L1預測處理器153或者L0預測處理器154繼續(xù)步驟S286的處理。

在步驟S286中,預測處理器153或者L0預測處理器154確定當前區(qū)域和當前區(qū)域的參考圖像的POC是否相同。在確定當前區(qū)域和當前區(qū)域的參考圖像的POC不相同時,預測處理器153或者L0預測處理器154結束方案4-2處理,并且流程返回到圖25或者圖26的流程圖。

另外,在步驟S286中確定當前區(qū)域和當前區(qū)域的參考圖像的POC相同時,預測處理器153或者L0預測處理器154繼續(xù)步驟S287的處理。在二者相同時,編碼矢量是視差矢量。

在步驟S287中,預測處理器153或者L0預測處理器154確定相關性區(qū)域和相關性區(qū)域的參考圖像的POC是否相同。在二者不相同時,共同定位的矢量是運動矢量。在確定相關性區(qū)域和相關性區(qū)域的參考圖像的POC不相同時,預測處理器153或者L0預測處理器154結束方案4-2處理,并且流程返回到圖25或者圖26的流程圖。

也就是說,在這一情況下,由于編碼矢量是視差矢量并且共同定位的矢量是運動矢量時,編碼矢量的特性與共同定位的矢量的特性不相同。因此,設置共同定位的塊為不可用,并且方案4-2處理結束。

另外,在步驟S287中確定相關性區(qū)域和相關性區(qū)域的參考圖像的POC相同時,L1預測處理器153或者L0預測處理器154返回到步驟S283的處理。在二者相同時,共同定位的矢量是視差矢量。也就是說,在這一情況下,編碼矢量和共同定位的矢量是視差矢量,并且兩個矢量的特性相同。因此,在這一情況下,設置共同定位的矢量為可用。

在這一情況下,方案2處理器156與方案4處理器158相似地執(zhí)行步驟S283至S285的處理。在步驟S285的處理結束時,方案2處理器156結束方案4-2處理,并且流程返回到圖25或者圖26的流程圖。

通過以這一方式執(zhí)行相應處理,時間視差相關性預測矢量生成單元136可以生成視差相關性預測矢量以及運動相關性預測矢量。因此,運動視差預測/補償單元115即使在當前區(qū)域的矢量是視差矢量時仍然可以生成具有高預測準確度的預測矢量。由于這一點,圖像編碼設備100可以抑制編碼效率降低。

[2.第二實施例]

[圖像解碼設備]

圖31是圖示作為圖像處理設備的圖像解碼設備的主要配置示例的框圖。圖31中所示圖像解碼設備300是與圖11的圖像編碼設備100對應的設備。也就是說,圖像解碼設備300根據與圖像編碼設備100的編碼方法對應的解碼方法,對通過圖像編碼設備100對多視圖圖像編碼而生成的編碼數據(比特流)解碼以獲得解碼多視圖圖像。

如圖31中所示,圖像解碼設備300包括累積緩沖器301、無損解碼單元302、逆量化單元303、逆正交變換單元304、算術單元305、循環(huán)濾波器306、屏幕重新排列緩沖器307和D/A轉換器308。另外,圖像解碼設備300包括解碼畫面緩沖器309、選擇器310、幀間預測單元311、運動視差補償單元312和選擇器313。

另外,圖像解碼設備300包括解碼多視圖畫面緩沖器321。

累積緩沖器301累積向它發(fā)送的編碼數據并且在預定定時向無損解碼單元302供應編碼數據。無損解碼單元302根據與無損編碼單元106的編碼方案對應的方案,對從累積緩沖器301供應的由圖11的無損編碼單元106編碼的信息解碼。無損解碼單元302向逆量化單元303供應通過解碼而獲得的差值圖像的量化系數數據。

另外,無損解碼單元302參考通過對編碼數據解碼而獲得的關于最優(yōu)預測模式的信息,以確定是否選擇幀內預測模式或者幀間預測模式作為最優(yōu)預測模式。無損解碼單元302基于確定結果,向幀內預測單元311或者運動視差補償單元312供應關于最優(yōu)預測模式的信息。也就是說,例如在圖像編碼設備100選擇幀內預測模式作為最優(yōu)預測模式時,向幀內預測單元311供應幀內預測信息,該幀內預測信息是關于最優(yōu)預測模式的信息等。另外,例如在圖像編碼設備100選擇幀間預測模式作為最優(yōu)預測模式時,向運動視差補償單元312供應幀間預測信息,該幀間預測信息是關于最優(yōu)預測模式的信息等。

逆量化單元303根據與圖11的量化單元105的量化方案對應的方案,對通過無損解碼單元302的解碼而獲得的量化系數數據執(zhí)行逆量化,并且向逆正交變換單元304供應獲得的系數數據。逆正交變換單元304根據與圖11的正交變換單元104的正交變換方案對應的方案,對從逆量化單元303供應的系數數據執(zhí)行逆正交變換。逆正交變換單元304通過逆正交變換處理獲得與在圖像編碼設備100中受到正交變換之前的差值圖像對應的差值圖像。

向算術單元305供應通過逆正交變換而獲得的差值圖像。另外,經由選擇器313向算術單元305供應來自幀內預測單元311或者運動視差補償單元312的預測圖像。

算術單元305將差值圖像與預測圖像相加,以獲得與圖像編碼設備100的算術單元103減去預測圖像之前的圖像對應的重建圖像。算術單元305向循環(huán)濾波器306供應重建圖像。

循環(huán)濾波器306關于供應的重建圖像執(zhí)行包括去塊化濾波處理、自適應循環(huán)濾波等的循環(huán)濾波處理以生成解碼圖像。例如循環(huán)濾波器306通過對重建圖像執(zhí)行去塊化濾波處理來去除塊失真。另外,例如循環(huán)濾波器306通過關于去塊化濾波處理結果(其中去除塊失真的重建圖像)使用維納濾波器執(zhí)行循環(huán)濾波處理來提高圖像質量。

循環(huán)濾波器306執(zhí)行的濾波處理的類型是可選的,并且可以執(zhí)行除了以上描述的處理之外的濾波處理。另外,循環(huán)濾波器306可以使用從圖11的圖像編碼設備100供應的濾波器系數來執(zhí)行濾波處理。

循環(huán)濾波器306向屏幕重新排列緩沖器307和解碼畫面緩沖器309供應作為濾波處理結果的解碼圖像??梢允÷匝h(huán)濾波器306的濾波處理。即,可以在解碼畫面緩沖器309中存儲算術單元305的輸出而未受到濾波處理。例如幀內預測單元311使用在這一圖像中包括的像素的像素值作為鄰近像素的像素值。

屏幕重新排列緩沖器307重新排列供應的解碼圖像。也就是說,按照原始顯示順序重新排列圖11的屏幕重新排列緩沖器102對于編碼順序而重新排列的幀順序。D/A轉換器308對從屏幕重新排列緩沖器307供應的解碼圖像執(zhí)行D/A轉換、向顯示器(未示出)輸出轉換的圖像并且顯示圖像。

解碼畫面緩沖器309存儲供應的重建圖像(以及圖像的視圖ID和POC)和解碼圖像(以及圖像的視圖ID和POC)。另外,解碼畫面緩沖器309在預定定時或者基于外部單元、比如幀內預測單元311或者運動視差補償單元312的請求,經由選擇器310向幀內預測單元311和運動視差補償單元312供應存儲的重建圖像(以及圖像的視圖ID和POC)和解碼圖像(以及圖像的視圖ID和POC)。

幀內預測單元311執(zhí)行與圖11的幀內預測單元114基本上相同的處理。然而幀內預測單元311僅關于如下區(qū)域執(zhí)行幀內預測,在編碼期間在該區(qū)域中通過幀內預測來生成預測圖像。

運動視差補償單元312基于從無損解碼單元302供應的幀間預測信息,執(zhí)行運動視差補償以生成預測圖像。運動視差補償單元312基于從無損解碼單元302供應的幀間預測信息,僅關于如下區(qū)域執(zhí)行運動視差補償,在編碼期間在該區(qū)域中執(zhí)行幀間預測。

運動視差補償單元312對于預測處理單位的每個區(qū)域,經由選擇器313向算術單元305供應生成的預測圖像。

選擇器313向算術單元305供應從幀內預測單元311供應的預測圖像或者從運動視差補償單元312供應的預測圖像。

雖然解碼畫面緩沖器309僅存儲處理目標視圖的圖像(以及圖像的視圖ID和POC),但是解碼多視圖畫面緩沖器321也存儲相應視圖點(視圖)的圖像(以及圖像的視圖ID和POC)。也就是說,解碼多視圖畫面緩沖器321獲取向解碼畫面緩沖器309供應的解碼圖像(以及圖像的視圖ID和POC),并且與解碼畫面緩沖器309一起存儲解碼圖像(以及圖像的視圖ID和POC)。

雖然解碼畫面緩沖器309在處理目標視圖改變時擦除解碼圖像,但是解碼多視圖畫面緩沖器321原樣存儲解碼圖像。另外,解碼多視圖畫面緩沖器321根據解碼畫面緩沖器309的請求等,向解碼畫面緩沖器309供應存儲的解碼圖像(以及圖像的視圖ID和POC)作為“非處理目標視圖的解碼圖像”。解碼畫面緩沖器309經由選擇器310,向運動視差補償單元312供應從解碼多視圖畫面緩沖器321讀取的“非處理目標視圖的解碼圖像(以及圖像的視圖ID和POC)”。

[運動視差補償單元]

圖32是圖示運動視差補償單元312的主要配置示例的框圖。

如圖32中所示,運動視差補償單元312包括編碼信息累積緩沖器331、空間相關性預測矢量生成單元332、時間視差相關性預測矢量生成單元333、選擇器334、算術單元335和預測圖像生成單元336。

編碼信息累積緩沖器331獲取在無損解碼單元302中獲得的模式信息、差值運動視差信息和預測信息。另外,編碼信息累積緩沖器331存儲在預測圖像生成單元336中使用的解碼運動視差矢量。運動視差矢量在用于另一區(qū)域的處理中用作鄰近區(qū)域的運動視差矢量。

編碼信息累積緩沖器331向與在預測信息中指明的預測矢量的類型(空間相關性預測矢量或者時間視差相關性預測矢量)對應的、空間相關性預測矢量生成單元332和時間視差相關性預測矢量生成單元333之一供應鄰近區(qū)域的模式信息或者解碼運動視差矢量。

另外,編碼信息累積緩沖器331向算術單元335供應在差值運動視差信息中包括的差值運動視差矢量。另外,編碼信息累積緩沖器331向預測圖像生成單元336供應在預測信息中包括的參考圖像索引。

空間相關性預測矢量生成單元332基于從編碼信息累積緩沖器331供應的信息生成空間相關性預測矢量。生成方法與空間相關性預測矢量生成單元135的生成方法相同。然而由于預先確定最優(yōu)幀間預測模式,所以空間相關性預測矢量生成單元332可以僅在該模式中生成空間相關性預測矢量??臻g相關性預測矢量生成單元332經由選擇器334向算術單元335供應生成的空間相關性預測矢量。

時間視差相關性預測矢量生成單元333基于從編碼信息累積緩沖器331供應的信息等、從無損解碼單元302供應的當前區(qū)域的視圖ID和POC等的信息、以及從解碼畫面緩沖器309供應的參考圖像的視圖ID和POC等的信息,生成時間視差相關性預測矢量。生成方法與時間視差相關性預測矢量生成單元136的生成方法相同。然而由于預先確定最優(yōu)幀間預測模式,所以時間視差相關性預測矢量生成單元333可以僅在該模式中生成時間視差相關性預測矢量。時間視差相關性預測矢量生成單元333經由選擇器334,向算術單元335供應生成的時間視差相關性預測矢量。

在從空間相關性預測矢量生成單元332供應空間相關性預測矢量時,選擇器334向算術單元335供應矢量。另外,從時間視差相關性預測矢量生成單元333供應時間視差相關性預測矢量,選擇器334向算術單元335供應該矢量。

算術單元335將從編碼信息累積緩沖器331供應的差值運動視差矢量與從選擇器334供應的空間相關性預測矢量或者時間視差相關性預測矢量相加,以重建當前區(qū)域的運動視差矢量。算術單元335向預測圖像生成單元336供應當前區(qū)域的重建運動視差矢量。

預測圖像生成單元336使用從算術單元335供應的當前區(qū)域的重建運動視差矢量、從編碼信息累積緩沖器331供應的參考圖像索引、從解碼畫面緩沖器309供應的鄰近圖像的像素值來生成預測圖像,這些鄰近圖像是鄰近區(qū)域的圖像。預測圖像生成單元336向選擇器313供應生成的預測圖像像素值。

通過這樣做,時間視差相關性預測矢量生成單元333可以與時間視差相關性預測矢量生成單元136相似地生成視差相關性預測矢量以及運動相關性預測矢量。因此,運動視差補償單元312即使在當前區(qū)域的矢量是視差矢量時仍然可以重建視差相關性預測矢量。也就是說,圖像解碼設備300可以提高編碼效率,因為圖像解碼設備300可以對圖像編碼設備100生成的編碼數據正確解碼。

[解碼處理的流程]

接著將描述具有這樣的配置的圖像解碼設備300執(zhí)行的相應處理的流程。首先將參照圖33的流程圖描述解碼處理的流程。

在解碼處理開始時,在步驟S301中,累積緩沖器301累積向它發(fā)送的比特流。在步驟S302中,無損解碼單元302對從累積緩沖器301供應的比特流(編碼差值圖像信息)解碼。在這一情況下,也解碼除了在比特流中包括的差值圖像信息之外的各種類型的信息、比如幀內預測信息或者幀間預測信息。

在步驟S303中,逆量化單元303對通過步驟S302的處理獲得的量化正交變換系數執(zhí)行逆量化。在步驟S304中,逆正交變換單元304對已經在步驟S303中受到逆量化的正交變換系數執(zhí)行逆正交變換。

在步驟S305中,幀內預測單元311或者運動視差補償單元312使用供應的信息來執(zhí)行預測處理。在步驟S306中,算術單元305將在步驟S305中生成的預測圖像與在步驟S304中通過逆正交變換而獲得的差值圖像信息相加。以這一方式,生成重建圖像。

在步驟S307中,循環(huán)濾波器306關于在步驟S306中獲得的重建圖像,適當執(zhí)行包括去塊化濾波處理、自適應循環(huán)濾波處理等的循環(huán)濾波處理。

在步驟S308中,屏幕重新排列緩沖器307重新排列在步驟S307中通過濾波處理生成的解碼圖像。也就是說,按照原始顯示順序重新排列圖像編碼設備100的屏幕重新排列緩沖器102對于編碼而重新排列的幀順序。

在步驟S309中,D/A轉換器308對其中重新排列幀順序的解碼圖像執(zhí)行D/A轉換。向顯示器(未圖示)輸出并且顯示解碼圖像。

在步驟S310中,解碼畫面緩沖器309存儲在步驟S307中通過濾波處理獲得的解碼圖像。這一解碼圖像在幀間預測處理中用作參考圖像。

在步驟S310的處理結束時,解碼處理結束。

[預測處理的流程]

接著將參照圖34的流程圖描述在圖33的步驟S305中執(zhí)行的預測處理的流程的示例。

在預測處理開始時,在步驟S331中,無損解碼單元302確定處理目標的當前區(qū)域是否已經在編碼期間受到幀內預測。在確定當前區(qū)域已經受到幀內預測時,無損解碼單元302繼續(xù)步驟S332的處理。

在這一情況下,幀內預測單元311在步驟S332中從無損解碼單元302獲取幀內預測模式信息,并且在步驟S333中通過幀內預測來生成預測圖像。在生成預測圖像時,幀內預測單元311結束預測處理,并且流程返回到圖33的流程圖。

另外,在步驟S331中確定當前區(qū)域是已經受到幀間預測的區(qū)域時,無損解碼單元302繼續(xù)步驟S334的處理。在步驟S334中,運動視差補償單元312執(zhí)行運動視差補償處理。在運動視差補償處理結束時,運動視差補償單元312結束預測處理,并且流程返回到圖33的流程圖。

[運動視差補償處理的流程]

接著將參照圖35的流程圖描述在圖34的步驟S334中執(zhí)行的運動視差補償處理的流程的示例。

在運動視差補償處理開始時,在步驟S351中,編碼信息累積緩沖器331存儲在步驟S351中解碼的模式信息、運動視差信息和預測信息。

在步驟S352中,空間相關性預測矢量生成單元332、時間視差相關性預測矢量生成單元333、選擇器334和算術單元335執(zhí)行運動視差矢量生成處理,以重建當前區(qū)域的運動視差矢量。

在重建運動視差矢量時,在步驟S353中,預測圖像生成單元336使用運動視差矢量來生成預測圖像。

在生成預測圖像時,預測圖像生成單元336結束運動視差補償處理,并且流程返回到圖34的流程圖。

[運動視差矢量生成處理的流程]

接著將參照圖36的流程圖描述在圖35的步驟S352中執(zhí)行的運動視差矢量生成處理的流程的示例。

在運動視差矢量生成處理開始時,在步驟S371中,編碼信息累積緩沖器331根據預測信息確定這一模式是否為略過模式。在確定這一模式是略過模式時,編碼信息累積緩沖器331繼續(xù)步驟S372的處理。在步驟S372中,空間相關性預測矢量生成單元332到算術單元335執(zhí)行合并模式處理,以在合并模式中重建運動視差矢量。在合并模式處理中,執(zhí)行與參照圖22的流程圖描述的處理相同的處理。在合并模式處理結束時,算術單元335結束運動視差矢量生成處理,并且流程返回到圖35的流程圖。

另外,在圖36的步驟S371中確定它不是略過模式時,編碼信息累積緩沖器331繼續(xù)步驟S373的處理。在步驟S373中,編碼信息累積緩沖器331根據預測信息確定這一模式是否為合并模式。在確定這一模式是合并模式時,編碼信息累積緩沖器331返回到步驟S372的處理,以執(zhí)行合并模式處理。

另外,在步驟S373中確定這一模式不是合并模式時,編碼信息累積緩沖器331繼續(xù)步驟S374的處理。

在步驟S374中,編碼信息累積緩沖器331獲取參考圖像的索引。在步驟S375中,編碼信息累積緩沖器331獲取差值運動視差矢量。

在步驟S376中,空間相關性預測矢量生成單元332或者時間視差相關性預測矢量生成單元333執(zhí)行視差運動矢量預測處理。以與參照圖23的流程圖描述的方式相同的方式,執(zhí)行這一視差運動矢量預測處理。然而在這一情況下,由于預先確定預測方法,所以執(zhí)行空間相關性預測處理和時間視差相關性預測處理中的任一相關性預測處理(預測信息指明的相關性預測處理)。

在步驟S377中,算術單元335將在步驟S376中重建的預測矢量與差值運動視差矢量相加,以重建運動視差矢量。

在步驟S377的處理結束時,算術單元335結束運動視差矢量生成處理,并且流程返回到圖35的流程圖。

通過以上述方式執(zhí)行相應處理,時間視差相關性預測矢量生成單元333可以與時間視差相關性預測矢量生成單元136相似地生成視差相關性預測矢量以及運動相關性預測矢量。因此,運動視差補償單元312即使在當前區(qū)域的矢量是視差矢量時仍然可以重建視差相關性預測矢量。也就是說,圖像解碼設備300可以提高編碼效率,因為圖像解碼設備300可以對圖像編碼設備100生成的編碼數據正確解碼。

[3.第三實施例]

[要點]

在多視圖圖像的情況下,在視圖之間偏移圖像的位置,從而視差出現(xiàn)。因此,在選擇在視圖方向上的塊時,即使選擇(參考)在相同位置的塊,預測圖像的預測準確度仍然可能降低,并且存在不可能創(chuàng)建適當預測矢量的可能性。

因此,在選擇在視圖方向上的塊以便生成預測矢量時,選擇在移位的位置的塊。也就是說,在移位與當前區(qū)域相同的時間的圖像的位置的狀態(tài)中,使用位于與當前區(qū)域相同的位置的這樣的區(qū)域的矢量來生成預測矢量。

根據鄰近塊的視差矢量按照預定順序計算移位量。通過在編碼側設備和解碼側設備二者中使用相同順序,可以在編碼側和解碼側二者中執(zhí)行相同預測。

可以顯式地指明用于計算移位量的鄰近塊,并且可以從編碼側向解碼側發(fā)送其信息。另外,可以從編碼側向解碼側發(fā)送關于移位量計算方法的信息。

通過這樣做,圖像編碼設備和圖像解碼設備可以根據在視圖之間對準的塊生成預測矢量。因此有可能提高預測圖像的預測準確度并且提高編碼效率。

以下將具體描述這一點。

[圖像編碼設備]

圖37是圖示本技術應用于的圖像編碼設備的另一配置示例的框圖。

圖37中所示圖像編碼設備400是與以上描述的圖像編碼設備100基本上相同的設備。然而圖像編碼設備400根據在視圖之間對準的塊生成預測矢量。

如圖37中所示,圖像編碼設備400包括運動預測/補償單元415和基本視圖編碼器421。

運動預測/補償單元412使用從解碼畫面緩沖器112獲取的解碼圖像和從基本視圖編碼器421獲取的基本視圖的運動信息,生成參考在視圖方向上的塊的預測矢量。

基本視圖編碼器421對基本視圖編碼。基本視圖編碼器421向解碼畫面緩沖器112供應基本視圖的解碼圖像,該解碼畫面緩沖器存儲解碼圖像。解碼畫面緩沖器112也存儲從循環(huán)濾波器111供應的非基本視圖的解碼圖像。

基本視圖編碼器421向運動預測/補償單元412供應基本視圖的運動信息。

[運動預測/補償單元]

圖38是圖示圖37的運動預測/補償單元412的主要配置示例的框圖。

如圖38中所示,運動預測/補償單元412包括幀間模式生成單元431、參考索引確定單元432、矢量預測單元433、矢量預測單元434和模式確定單元435。在相應處理單元之間交換圖38中所示信息。

在幀間預測模式的情況下,矢量預測單元433生成預測矢量以生成其預測圖像。在略過模式、合并模式等的情況下,矢量預測單元434生成預測矢量以生成其預測圖像。向模式確定單元435供應在這些矢量預測單元中生成的預測矢量和預測圖像。

模式確定單元435基于這些信息項確定模式,并且向無損編碼單元106供應指示選擇的模式和模式的預測矢量的信息。另外,向預測圖像選擇器116供應選擇的模式的預測圖像。

[矢量預測單元]

圖39是圖示矢量預測單元433的主要配置示例的框圖。

如圖39中所示,矢量預測單元433包括運動/視差矢量搜索單元451、預測圖像生成單元452、矢量成本計算單元453、矢量確定單元454、矢量信息累積緩沖器455、基于鄰近塊的預測矢量生成單元456、基于不同畫面的預測矢量生成單元457和選擇器458。在相應處理單元之間交換圖39中所示信息。

基于不同畫面的預測矢量生成單元457生成參考不同畫面的預測矢量。也就是說,基于不同畫面的預測矢量生成單元457參考在時間方向和視圖方向上的不同畫面以生成預測矢量。在生成參考在視圖方向上的不同畫面的預測矢量時,基于不同畫面的預測矢量生成單元457從基本視圖編碼器421獲取基本視圖的運動信息,并且使用運動信息來生成預測矢量。

經由選擇器458向矢量成本計算單元453供應基于不同畫面的預測矢量生成單元457生成的預測矢量,并且計算用于模式確定的成本函數值。

[基于不同畫面的預測矢量生成單元]

圖40是圖示基于不同畫面的預測矢量生成單元457的主要配置示例的框圖。

如圖40中所示,基于不同畫面的預測矢量生成單元457包括視差矢量確定單元471、視圖間參考矢量生成單元472和視圖內參考矢量生成單元473。

視差矢量確定單元471根據鄰近塊的視差矢量計算參考圖像的移位量。移位量計算方法是可選的。例如可以選擇并且可以使用鄰近塊的視差矢量中的任一視差矢量作為移位量。另外,例如鄰近塊的視差矢量的平均值或者中值可以用作移位量。

視差矢量確定單元471向視圖間參考矢量生成單元472供應以這一方式獲得的移位量作為視差矢量。

視圖間參考矢量生成單元472生成參考在視圖方向上的不同畫面的預測矢量。

視圖間參考矢量生成單元472使用由視差矢量確定單元471選擇的視差矢量(移位量)、從基本視圖編碼器421供應的基本視圖的運動矢量(也包括非基本視圖的情況下的視差矢量)、和從矢量信息累積緩沖器455讀取的信息、比如參考圖像索引或者視圖間相同時間的運動/視差矢量,通過考慮視差矢量來生成預測矢量。

也就是說,視圖間參考矢量生成單元472使用由視差矢量確定單元471計算的移位量,對準(移位)參考的視圖的圖像。另外,視圖間參考矢量生成單元472根據對準的塊生成預測矢量。

視圖間參考矢量生成單元472經由選擇器458(在圖40中未圖示)向矢量成本計算單元453供應生成的預測矢量。

視圖內參考矢量生成單元473生成參考在時間方向上的不同畫面的預測矢量。

通過這樣做,視圖間參考矢量生成單元472可以創(chuàng)建具有高預測準確度的適當預測矢量。以這一方式,圖像編碼設備400可以提高編碼效率。

[運動預測/補償處理的流程]

將參照圖41的流程圖描述運動預測/補償處理的流程的示例。

在運動預測/補償處理開始時,在步驟S401中,幀間模式生成單元431選擇幀間預測模式、略過模式、合并模式等中的任何模式,并且生成幀間模式,該幀間模式是指明選擇的模式的信息。

在步驟S402中,幀間模式生成單元431確定生成的幀間模式是幀間預測模式。

在幀間模式是幀間預測模式時,幀間模式生成單元431在步驟S403中確定參考圖像,并且矢量預測單元433在步驟S404中執(zhí)行矢量預測處理。

另外,在幀間模式不是幀間預測模式時,在步驟S404中,矢量預測單元434執(zhí)行矢量預測處理。

在步驟S405中,模式確定單元435基于在步驟S404中確定的預測矢量等確定模式。在步驟S401的處理中使用這一模式。

在步驟S405中,無損編碼單元106對在步驟S405中確定的模式的信息編碼。

[矢量預測處理的流程]

將參照圖42的流程圖描述矢量預測單元433在圖41的步驟S404中執(zhí)行的矢量預測處理的流程的示例。

在矢量預測處理開始時,運動/視差矢量搜索單元451在步驟S421中搜索矢量。

在步驟S422中,預測圖像生成單元452生成預測圖像。

在步驟S423中,矢量成本計算單元453生成殘差圖像。

在步驟S424中,基于鄰近塊的預測矢量生成單元456和基于不同畫面的預測矢量生成單元457根據編碼矢量生成預測矢量。

在步驟S425中,矢量成本計算單元453計算矢量的殘差。

在步驟S426中,矢量確定單元454確定具有最小成本的預測矢量。在步驟S424的處理上反應這一處理結果。

在步驟S427中,矢量信息累積緩沖器455累積矢量信息,并且流程返回到圖41的流程圖。

[預測矢量生成處理的流程]

接著將參照圖43的流程圖描述在圖42的步驟S424中執(zhí)行的預測矢量生成處理的流程的示例。

在預測矢量生成處理開始時,在步驟S441中,選擇器458確定將參考哪個塊。

在確定將參考畫面的鄰近塊時,在步驟S442中,基于鄰近塊的預測矢量生成單元456將鄰近塊的編碼矢量設置成預測矢量,并且流程返回到圖42的流程圖。

另外,在步驟S441中確定將參考不同畫面的塊時,選擇器458繼續(xù)步驟S443的處理以確定畫面將被參考的視圖。

在確定將參考不同視圖的畫面時,在步驟S444中,基于不同畫面的預測矢量生成單元457根據在視圖方向上擴展的編碼、共同定位的塊生成視圖方向的預測矢量,并且流程返回到圖42的流程圖。

另外,在步驟S443中確定將參考相同視圖的畫面時,在步驟S445中,基于不同畫面的預測矢量生成單元457根據編碼、共同定位的塊生成時間方向的預測矢量,并且流程返回到圖42的流程圖。

[基于不同畫面的預測矢量生成處理的流程]

接著將參照圖44的流程圖描述在圖43的步驟S444中執(zhí)行的基于不同畫面的預測矢量生成處理的流程的示例。

在基于不同畫面的預測矢量生成處理開始時,在步驟S461中,視差矢量確定單元471根據鄰近塊的視差矢量確定移位矢量。

在步驟S462中,視圖間參考矢量生成單元472選擇在移位的位置的共同定位的塊。

在步驟S463中,視圖間參考矢量生成單元472根據共同定位的塊生成預測矢量,并且流程返回到圖43的流程圖。

[移位量確定處理的流程]

接著將參照圖45的流程圖描述在圖44的步驟S461中執(zhí)行的移位量確定處理的流程的示例。

在步驟S481中,視差矢量確定單元471確定是否有多個塊,在這些塊中,鄰近塊的視差矢量的Y方向矢量的值不是零。

鄰近塊是位于處理目標的當前塊(當前塊)附近(包括“相鄰”)的塊。例如,如圖46中所示,在當前塊(Curr)的左側相鄰的塊(左)、在當前塊以上相鄰的塊(上)和與當前塊的右上角相鄰的塊(右上)用作鄰近塊。自然地,可以在鄰近塊中包括除了這些塊之外的塊,并且這些塊中的部分或者所有塊可以未用作鄰近塊。

鄰近塊的位置可以對于所有塊相同并且可以從塊到塊不同。例如在與屏幕末端相鄰的塊或者切片邊界用作當前塊時,可以設置鄰近塊的部分為不可用。

在步驟S481中確定無其中Y方向矢量的值為非零的多個塊時,視差矢量確定單元471繼續(xù)步驟S482的處理,以使用目標在X方向上的視差矢量作為移位量,并且流程返回到圖44的流程圖。

另外,在步驟S481中確定有其中Y方向矢量的值不為零的多個塊時,視差矢量確定單元471繼續(xù)步驟S483的處理,以設置目標在X方向上的視差矢量的平均值作為移位量,并且流程返回到圖44的流程圖。

通過以上述方式執(zhí)行處理,運動預測/補償單元415可以創(chuàng)建具有高預測準確度的適當預測矢量。以這一方式,圖像編碼設備400可以提高編碼效率。

[4.第四實施例]

[圖像解碼設備]

圖47是圖示本技術應用于的圖像解碼設備的另一配置示例的框圖。

圖47中所示圖像解碼設備500與以上描述的圖像解碼設備300基本上相同。然而圖像解碼設備500與圖像編碼設備400相似地根據在視圖之間對準的塊生成預測矢量。

如圖47中所示,圖像解碼設備500包括運動補償單元512和基本視圖解碼器521。

運動補償單元512使用從解碼畫面緩沖器309獲取的解碼圖像和從基本視圖解碼器521獲取的基本視圖的運動信息,生成參考在視圖方向上的塊的預測矢量。

基本視圖解碼器521對基本視圖編碼?;疽晥D解碼器521向解碼畫面緩沖器309供應基本視圖的解碼圖像,該解碼畫面緩沖器存儲解碼圖像。解碼畫面緩沖器309也存儲從循環(huán)濾波器306供應的非基本視圖的解碼圖像。

基本視圖解碼器521向運動補償單元512供應基本視圖的運動信息。

[運動補償單元]

圖48是圖示圖47的運動補償單元512的主要配置示例的框圖。

如圖48中所示,運動補償單元512包括模式確定單元531、參考索引確定單元532、矢量解碼單元533和矢量解碼單元534。在相應處理單元之間交換圖48中所示信息。

在幀間預測模式的情況下,矢量解碼單元533對從圖像編碼設備400發(fā)送的殘差矢量解碼以生成預測矢量。另外,矢量解碼單元533使用預測矢量來生成預測圖像。向預測圖像選擇器313供應預測圖像。

在略過模式或者合并模式的情況下,矢量解碼單元534對從圖像編碼設備400發(fā)送的殘差矢量解碼以生成預測矢量。另外,矢量解碼單元534使用預測矢量來生成預測圖像。向預測圖像選擇器313供應預測圖像。

[矢量解碼單元]

圖49是圖示矢量解碼單元533的主要配置示例的框圖。

如圖49中所示,矢量解碼單元533包括選擇器551、基于鄰近塊的預測矢量生成單元552、基于不同畫面的預測矢量生成單元553、選擇器554、算術單元555、預測圖像生成單元556和矢量信息累積緩沖器557。在相應處理單元之間交換圖49中所示信息。

選擇器551根據幀間模式,向基于鄰近塊的預測矢量生成單元552(在略過模式、合并模式等的情況下)或者向基于不同畫面的預測矢量生成單元553(在幀間預測模式的情況下)供應從無損解碼單元302供應的矢量索引。

被供應矢量索引的基于鄰近塊的預測矢量生成單元552使用從矢量信息累積緩沖器557獲取的矢量信息,根據在當前畫面中的鄰近塊生成預測矢量。

被供應矢量索引的基于不同畫面的預測矢量生成單元553使用從矢量信息累積緩沖器557獲取的矢量信息,根據在當前視圖中的不同畫面生成預測矢量。另外,基于不同畫面的預測矢量生成單元553使用從矢量信息累積緩沖器557獲取的矢量信息或者從基本視圖解碼器521供應的基本視圖的運動矢量,根據不同視圖的不同畫面生成預測矢量。

基于不同畫面的預測矢量生成單元553是與基于不同畫面的預測矢量生成單元457的視差矢量確定單元471相同的處理單元,并且根據相同方法生成預測矢量。

選擇器554向算術單元555供應:基于鄰近塊的預測矢量生成單元552生成的預測矢量或者基于不同畫面的預測矢量生成單元553生成的預測矢量。

算術單元555將從無損解碼單元302供應的運動/視差矢量的差值(殘差矢量)與預測矢量相加,以生成當前區(qū)域的運動/視差矢量。算術單元555向預測圖像生成單元556供應運動/視差矢量。另外,算術單元555向矢量信息累積緩沖器557供應運動/視差矢量,該矢量信息累積緩沖器存儲運動/視差矢量。

預測圖像生成單元556使用從算術單元555供應的當前區(qū)域的運動/視差矢量、從無損解碼單元302供應的參考圖像索引和從解碼畫面緩沖器309供應的解碼圖像像素值,生成預測圖像。預測圖像生成單元556向預測圖像選擇器313供應生成的預測圖像像素值。

[基于不同畫面的預測矢量生成單元]

圖50是圖示基于不同畫面的預測矢量生成單元553的主要配置示例的框圖。

如圖50中所示,基于不同畫面的預測矢量生成單元553包括視差矢量確定單元571、視圖間參考矢量生成單元572和視圖內參考矢量生成單元573。

視差矢量確定單元571、視圖間參考矢量生成單元572和視圖內參考矢量生成單元573是分別與基于不同畫面的預測矢量生成單元457的視差矢量確定單元471、視圖間參考矢量生成單元472和視圖內參考矢量生成單元473相同的處理單元并且執(zhí)行相同處理。

也就是說,視差矢量確定單元571根據與視差矢量確定單元471相同的方法計算參考目標的視圖的圖像的移位量,并且移位圖像。

因此,基于不同畫面的預測矢量生成單元553可以對殘差矢量正確解碼,以生成與基于不同畫面的預測矢量生成單元457生成的預測矢量相同的具有高預測準確度的適當預測矢量。也就是說,矢量解碼單元533可以生成與矢量預測單元433生成的預測圖像相同的預測圖像。因此,圖像解碼設備500可以提高編碼效率,因為圖像解碼設備500可以對圖像編碼設備400生成的編碼數據正確解碼。

未限制視差矢量確定單元571的移位量計算方法,只要它與視差矢量確定單元471相同,但是該方法是可選的。例如可以選擇鄰近塊的視差矢量中的任何視差矢量,并且選擇的視差矢量可以用作移位量。另外,鄰近塊的視差矢量的平均值或者中值可以用作移位量。

[運動補償處理的流程]

將參照圖51的流程圖描述運動補償處理的流程的示例。

在運動預測/補償處理開始時,模式確定單元531在步驟S501中對幀間模式解碼,并且在步驟S502中確定幀間模式是否為幀間預測模式。

在幀間模式是幀間預測模式時,矢量解碼單元533在步驟S503中確定參考圖像,并且在步驟S504中執(zhí)行矢量解碼處理以對殘差矢量解碼以生成預測圖像。

另外,在幀間模式不是幀間預測模式時,矢量解碼單元534在步驟S504中執(zhí)行矢量解碼處理以對殘差矢量解碼以生成預測圖像。

[矢量解碼處理的流程]

將參照圖52的流程圖描述矢量解碼單元533在圖51的步驟S504中執(zhí)行的矢量解碼處理的流程的示例。

在矢量解碼處理開始時,在步驟S521中,無損解碼單元302對殘差矢量(差值矢量)解碼。

在步驟S522中,無損解碼單元302對參考圖像索引解碼。

在步驟S523中,無損解碼單元302對矢量索引解碼。

在步驟S524中,基于鄰近塊的預測矢量生成單元552和基于不同畫面的預測矢量生成單元553根據編碼矢量生成預測矢量。算術單元555將預測矢量與殘差矢量相加,以生成當前區(qū)域的運動/視差矢量。

在步驟S525中,預測圖像生成單元556使用在步驟S524中生成的運動/視差矢量來生成預測圖像。

在步驟S526中,矢量信息累積緩沖器455累積矢量信息,并且流程返回到圖51的流程圖。

[預測矢量生成處理的流程]

接著將參照圖53的流程圖描述在圖52的步驟S524中執(zhí)行的預測矢量生成處理的流程的示例。

在預測矢量生成處理開始時,在步驟S541中,選擇器554確定將參考的塊。

在確定將參考當前畫面的鄰近塊時,在步驟S542中,基于鄰近塊的預測矢量生成單元552使用鄰近塊的編碼矢量作為預測矢量,并且流程返回到圖52的流程圖。

另外,在步驟S541中確定將參考不同畫面的塊時,選擇器554繼續(xù)步驟S543的處理以確定畫面將被參考的視圖。

在確定將參考不同視圖的畫面時,在步驟S544中,基于不同畫面的預測矢量生成單元553根據在視圖方向上擴展的編碼、共同定位的塊生成視圖方向的預測矢量,并且流程返回到圖52的流程圖。

另外,在步驟S543中確定將參考相同視圖的畫面時,在步驟S545中,基于不同畫面的預測矢量生成單元553根據編碼、共同定位的塊生成時間方向的預測矢量,并且流程返回到圖52的流程圖。

[基于不同畫面的預測矢量生成處理的流程]

接著將參照圖54的流程圖描述在圖53的步驟S544中執(zhí)行的基于不同畫面的預測矢量生成處理的流程的示例。

在基于不同畫面的預測矢量生成處理開始時,在步驟S561中,視差矢量確定單元571根據鄰近塊的視差矢量確定移位量。

在步驟S562中,視圖間參考矢量生成單元572選擇在移位的位置的共同定位的塊。

在步驟S563中,視圖間參考矢量生成單元572根據共同定位的塊生成預測矢量,并且流程返回到圖53的流程圖。

也就是說,在與圖44的流程圖相同的流程中執(zhí)行處理。

[移位量確定處理的流程]

接著將參照圖55的流程圖描述在圖54的步驟S561中執(zhí)行的移位量確定處理的流程的示例。

在步驟S581中,視差矢量確定單元571確定是否有多個塊,在這些塊中,鄰近塊的視差矢量的Y方向矢量的值為非零。

在步驟S581中確定無其中Y方向矢量的值為非零的多個塊時,視差矢量確定單元571繼續(xù)步驟S582的處理以使用目標在X方向上的視差矢量作為移位量,并且流程返回到圖54的流程圖。

另外,在步驟S581中確定有其中Y方向矢量的值為非零的多個塊時,視差矢量確定單元571繼續(xù)步驟S583的處理以使用目標在X方向上的視差矢量的平均值作為移位量,并且流程返回到圖54的流程圖。

也就是說在與圖45的流程圖相同的流程中執(zhí)行處理。這對于鄰近塊同樣成立。

通過以上述方式執(zhí)行處理,運動補償單元512可以創(chuàng)建具有高預測準確度的適當預測矢量。以這一方式,圖像解碼設備500可以提高編碼效率。

如以上描述的那樣,可以從圖像編碼設備400向圖像解碼設備500發(fā)送信息、比如用于計算移位量的鄰近塊和移位量計算方法。

[5.第五實施例]

[預測矢量]

如在第三和第四實施例中描述的那樣,可以在選擇視圖方向的塊時選擇在移位的位置的塊,以便生成預測矢量。

可以使用共同定位的塊的矢量(共同定位的塊)或者全局視差矢量來生成用于預測矢量的候選,該共同定位的塊是與當前區(qū)域相同的視圖的、屬于不同時間的畫面的、在相同位置的塊。

例如,如圖56中所示,3D圖像的右和左圖像中的任一圖像(例如左眼圖像)用作基本視圖,并且另一圖像(例如右眼圖像)用作依賴視圖。

在預測依賴視圖的當前畫面601的當前區(qū)域611的矢量(編碼矢量)621時,可以例如使用與當前區(qū)域相同的視圖的、如下共同定位的畫面602的、在與當前區(qū)域相同的位置的共同定位的塊612的運動矢量(共同定位的矢量)622或者全局視差矢量(未圖示)來獲得預測矢量,該共同定位的畫面是不同時間的畫面。

例如在如下位置的塊613的矢量623可以用作編碼矢量(MV)621的預測矢量(PMV),該位置是從與當前畫面601相同的時間的基本視圖的畫面603的當前區(qū)域11相同的位置通過共同定位的塊622或者全局視差矢量(矢量631)移位的。另外,共同定位的塊622或者全局視差矢量可以用作編碼矢量(MV)621的預測矢量。

通過在編碼側設備和解碼側設備二者中使用相同順序,可以在編碼側和解碼側二者中執(zhí)行相同預測。

可以顯式地指明指示將使用共同定位的塊和全局視差矢量之一的信息、關于共同定位的塊或者全局視差矢量的信息等,并且可以從編碼側向解碼側發(fā)送其信息。另外,可以從編碼側向解碼側發(fā)送關于移位量計算方法的信息。

通過這樣做,圖像編碼設備和圖像解碼設備可以根據在視圖之間相似地對準的塊生成預測矢量。因此,有可能提高預測圖像的預測準確度并且提高編碼效率。

[全局視差矢量]

接著將描述全局視差矢量。全局視差矢量是(對于每個預定單位、如比如畫面、切片、LCU或者CU)全局的有代表性的視差矢量。例如對于每個畫面生成的全局視差矢量指示在視圖之間的視差量。生成全局視差矢量的方法是可選的。

在以下引用中公開全局視差矢量的具體示例:Junghak Nam,Hyomin Choi,Sunmi Yoo,Woong Lim,Donggyu Sim,"3D-HEVC-CE3result on KWU's advanced motion and disparity prediction method based on global disparity,"INTERNATIONAL ORGANISATION FORSTANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11CODING OF MOVING PICTURES AND AUDIO,ISO/IEC JTC1/SC29/WG11MPEG2011/M23620,February 2012,San Jose,CA。

圖57是用于描述視差和深度的圖。

如圖57中所示,在對象M的彩色圖像由設置于位置C1的相機c1和設置于位置C2的相繼c2捕獲時,深度Z由以下表達式(1)定義,該深度是在對象M在深度方向上與相機c1(相機c2)的距離。

Z=(L/d)×f…(1)

“L”是在位置C1與C2之間在水平方向上的距離(下文稱為相機間距離)。另外,“d”是通過從對象M在相機c1捕獲的彩色圖像上的位置距彩色圖像的中心在水平方向上的距離u1減去對象M在相機c2捕獲的彩色圖像上的位置距彩色圖像的中心在水平方向上的距離u2而獲得的值(也就是視差(差距))。另外,“f”是相機c1的焦距,并且在表達式(1)中,假設相機c1和c2的焦距相同。

也就是說,視差d由以下表達式(2)定義。

[數學公式1]

如表達式(1)或者(2)中所示,可以唯一轉換視差d和深度Z。因此,在本說明書中,指示相機c1和c2捕獲的2視圖彩色圖像的視差d的圖像以及指示深度Z的圖像將共同稱為深度圖像(視差圖像)。

深度圖像(視差圖像)可以是指示視差d或者深度Z的圖像??梢赃\用視差d的正規(guī)化值、深度Z的倒數1/Z的正規(guī)化值等、而不是視差d或者深度Z本身作為深度圖像(視差圖像)的像素值。

可以通過以下表達式(3)獲得深度Z。

[數學公式2]

在表達式(3)中,Zfar是深度Z的最大值,并且Znear是深度Z的最小值??梢詫τ谝粋€屏幕單位設置或者可以對于多個屏幕單位設置最大值Zfar和最小值Znear

如以上描述的那樣,在本說明書中,通過考慮可以唯一轉換視差d和深度Z的事實,像素值為視差d的正規(guī)化值I的圖像和像素值為深度Z的倒數1/Z的正規(guī)化值y的圖像將共同稱為深度圖像(視差圖像)。在這一示例中,雖然深度圖像(視差圖像)的色彩格式是YUV420或者YUV400,但是可以使用另一色彩格式。

在聚焦于值I或者y本身而不是深度圖像(視差圖像)的像素值的信息時,使用值I或者y作為深度信息(視差信息)。另外,對值I或者y進行映射的映射用作深度映射(視差映射)。

[生成預測矢量]

例如如在圖58中所示表中那樣根據與編碼矢量和共同定位的矢量二者的特性對應的方法生成預測矢量。

例如如在從圖58的表的底部起的第六行上所示,在編碼矢量和共同定位的矢量是運動矢量時,共同定位的矢量用作預測矢量候選。

另外,例如如在從圖58的表的底部起的第二行上所示,在編碼矢量和共同定位的矢量二者是視差矢量(視圖間矢量)時,共同定位的矢量用作預測矢量候選。

對照而言,例如如在從圖58的表的底部起的第五行上所示,在編碼矢量是運動矢量并且共同定位的矢量是視差矢量(視圖間矢量)時,通過共同定位的矢量移位的塊的基本視圖的運動矢量用作預測矢量候選。

另外,例如如在從圖58的表的底部起的第四行上所示,在編碼矢量是運動矢量并且共同定位的塊是幀內模式時,通過全局視差矢量移位的塊的基本視圖的運動矢量用作預測矢量候選。

另外,例如如在從圖58的表的底部起的第三行上所示,在編碼矢量是視差矢量(視圖間矢量)并且共同定位的矢量是運動矢量時,全局視差矢量用作預測矢量候選。

另外,例如如在從圖58的表的底部起的第一行上所示,在編碼矢量是視差矢量(視圖間矢量)并且共同定位的塊是幀內模式時,全局視差矢量用作預測矢量候選。

通過增加用于生成用于預測矢量的候選的方法數目,有可能提高預測矢量的預測準確度并且提高編碼效率。

[圖像編碼設備]

在這一情況下,圖像編碼設備的配置示例與圖35至38上所示圖像編碼設備400的配置示例相同,并且將不提供其描述。

[處理的流程]

另外,以與參照圖39的流程圖描述的方式相同的方式執(zhí)行這一情況的運動預測/補償處理。另外,以與參照圖40的流程圖描述的方式相同的方式執(zhí)行這一情況的矢量預測處理。因此將不提供這些處理的描述。

將參照圖59的流程圖描述這一情況的預測矢量生成處理的流程的示例。

在預測矢量生成處理開始時,在步驟S601中,選擇器458確定將參考哪個塊。

在確定將參考鄰近塊時,流程繼續(xù)步驟S602。在步驟S602中,基于鄰近塊的預測矢量生成單元456使用鄰近塊的編碼矢量作為預測矢量。在步驟S602的處理結束時,預測矢量生成處理結束,并且流程返回到圖40的流程圖。

另外,在步驟S601中確定選擇不同畫面的塊作為參考目的地時,流程繼續(xù)步驟S603。在步驟S603中,基于不同的畫面的預測矢量生成單元457使用不同時間/視圖的塊的編碼矢量作為預測矢量。在步驟S603的處理結束時,預測矢量生成處理結束,并且流程返回到圖40的流程圖。

接著將參照圖60和61的流程圖描述在圖59的步驟S603中執(zhí)行的基于不同畫面的預測矢量生成處理的流程的示例。

在基于不同畫面的預測矢量生成處理開始時,在步驟S621中,視差矢量確定單元471確定編碼矢量是否為運動矢量。在確定編碼矢量是運動矢量時,流程繼續(xù)步驟S622。

在步驟S622中,視差矢量確定單元471確定共同定位的塊的模式。在確定共同定位的塊的模式是運動矢量時,流程繼續(xù)步驟S623。

在步驟S623中,視圖內參考矢量生成單元473設置共同定位的矢量作為預測矢量。在步驟S623的處理結束時,基于不同畫面的預測矢量生成處理結束,并且流程返回到圖59的流程圖。

另外,在步驟S622中確定共同定位的塊的模式是幀內預測時,流程繼續(xù)步驟S624。

在步驟S624中,視圖間參考矢量生成單元472獲得全局視差矢量,并且設置通過全局視差矢量移位的基本視圖的塊的矢量作為預測矢量。在步驟S624的處理結束時,基于不同畫面的預測矢量生成處理結束,并且流程返回到圖59的流程圖。

另外,在步驟S622中確定共同定位的塊的模式是視差矢量時,流程繼續(xù)步驟S625。

在步驟S625中,視圖間參考矢量生成單元472設置通過共同定位的矢量移位的基本視圖的塊的矢量作為預測矢量。在步驟S625的處理結束時,基于不同畫面的預測矢量生成處理結束,并且流程返回到圖59的流程圖。

另外,在步驟S621中確定編碼矢量是視差矢量時,流程繼續(xù)圖61的流程圖。

在圖61的步驟S631中,視差矢量確定單元471確定共同定位的塊的模式。在確定共同定位的塊的模式是視差矢量時,流程繼續(xù)步驟S632。

在步驟S632中,視圖內參考矢量生成單元473設置共同定位的矢量作為預測矢量。在步驟S632的處理結束時,基于不同畫面的預測矢量生成處理結束,并且流程返回到圖59的流程圖。

另外,在步驟S631中確定共同定位的塊的模式是運動矢量時,流程繼續(xù)步驟S634。在步驟S634中,視圖間參考矢量生成單元472設置全局視差矢量作為預測矢量。在步驟S634的處理結束時,基于不同畫面的預測矢量生成處理結束,并且流程返回到圖59的流程圖。

另外,在步驟S631中確定共同定位的塊的模式是幀內預測時,流程繼續(xù)步驟S635。在步驟S635中,視圖間參考矢量生成單元472設置全局視差矢量作為預測矢量。在步驟S635的處理結束時,基于不同畫面的預測矢量生成處理結束,并且流程返回到圖59的流程圖。

通過以上述方式執(zhí)行相應處理,這一情況的圖像編碼設備可以使用共同定位的塊和全局視差矢量來生成預測矢量。由于這一點,圖像編碼設備可以提高預測矢量的預測準確度并且提高編碼效率。

[圖像解碼設備]

接著將描述與這一情況的圖像編碼設備對應的圖像解碼設備。與圖像編碼設備的情況相似地,這一情況的圖像解碼設備的配置示例與圖45至48中所示圖像解碼設備50的配置示例相同,并且將不提供其描述。

[處理的流程]

接著將描述這一情況的圖像解碼設備執(zhí)行的各種處理的流程。在這一情況下,圖像解碼設備執(zhí)行與圖像編碼設備基本上相同的處理。也就是說,以與參照圖49的流程圖描述的方式相同的方式執(zhí)行運動補償處理。另外,以與參照圖50的流程圖描述的方式相同的方式執(zhí)行矢量解碼處理。

以與參照圖59的流程圖描述的(也就是圖像編碼設備執(zhí)行的)方式相同的方式執(zhí)行預測矢量生成處理。

然而在這一情況下,選擇器551執(zhí)行步驟S601的處理。另外,在步驟S602中,基于鄰近塊的預測矢量生成單元552使用鄰近塊的解碼矢量作為預測矢量。另外,在步驟S603中,基于不同畫面的預測矢量生成單元553使用不同時間/視圖的塊的解碼矢量作為預測矢量。

另外,以與參照圖60和61的流程圖描述的(也就是圖像編碼設備執(zhí)行的)方式相同的方式執(zhí)行基于不同畫面的預測矢量生成處理。

然而在這一情況下,視差矢量確定單元571執(zhí)行步驟S621、S622和S631的處理,視圖內參考矢量生成單元573執(zhí)行步驟S623和S632的處理,并且視圖間參考矢量生成單元572執(zhí)行步驟S624、S625、S634和S635的處理。

通過以這一方式執(zhí)行相應處理,這一情況的圖像解碼設備可以與圖像編碼設備相似地、使用共同定位的塊和全局視差矢量來生成預測矢量。由于這一點,圖像解碼設備可以提高預測矢量的預測準確度并且提高編碼效率。

[6.第六實施例]

[參考圖像類型]

例如在HEVC的情況下,參考圖像具有短參考畫面和長參考畫面這兩個類型。由于短參考畫面是在時間上在編碼畫面附近的畫面,所以對預測矢量執(zhí)行基于時間距離的縮放處理。對照而言,由于長參考畫面是在時間上距編碼畫面遠離的畫面,所以對預測矢量的縮放無意義、因此未被執(zhí)行。

通過根據圖像的運動等適當使用這些參考畫面,有可能進一步降低編碼速率。

雖然編碼矢量和預測矢量的參考畫面的類型(短參考畫面或者長參考畫面)不同,但是設置預測矢量為可用。

在編碼矢量和預測矢量的參考畫面的類型不同時,預計這些矢量的相關性低。因此有可能的是:如果在矢量候選列表中包括矢量則編碼效率降低。例如有可能的是:具有更高相關性的矢量朝著候選列表的后部降級并且用于指明矢量的索引的編碼速率增加。另外,例如有可能的是:具有更高相關性的矢量朝著候選列表的后部降級、從候選列表被排除并且不能被指明。

因此,在編碼矢量和預測矢量的參考畫面的類型(短參考畫面或者長參考畫面)不同時,設置預測矢量為不可用。

由于參考短參考畫面的矢量的特性不同于參考長參考畫面的矢量的特性,所以預計相關性低。因此,通過在這一情況下從候選矢量排除數量,有可能提高編碼效率。

例如圖62是用于描述固定背景應用的參考圖像的方面的示例的圖。在移動物體存在于靜止圖像的背景圖像的前側上這樣的移動圖像(固定背景應用)的情況下,由于作為固定區(qū)域的背景(具體為遮擋區(qū)域)參考長參考畫面,所以運動矢量往往為0。對照而言,由于在前側上的移動物體參考短參考畫面,所以運動矢量出現(xiàn)。如果參考畫面的類型以這一方式不同,則運動矢量的相關性低(圖64的A)。因此,如以上描述的那樣,在編碼矢量和預測矢量的參考畫面的類型不同時,通過從候選矢量排除矢量,有可能提高編碼效率。

另外,例如圖63是用于描述立體應用的參考圖像的方面的示例的圖。在為立體視圖準備用于左眼的圖像(左眼圖像)和用于右眼的圖像(右眼圖像)這樣的移動圖像(立體應用)的情況下,在對依賴視圖(在這一示例中為右眼圖像)編碼時,指明基本視圖(在這一示例中為左眼圖像)為長參考畫面,并且指明依賴視圖的編碼畫面為短參考畫面。

在參考依賴視圖時,可以執(zhí)行縮放,因為參考目的地和參考源的幀ID不同。然而在參考基本視圖時,參考目的地和參考源的幀ID相同。因此,在縮放期間,分母可能變成0并且縮放困難。因此,在HEVC等中,指明基本視圖為其中未執(zhí)行縮放的長參考畫面。

因此,在立體應用的情況下,參考長參考畫面的矢量變成視差矢量,并且參考短參考畫面的矢量變成運動矢量。因此,運動(視差)矢量的相關性在畫面類型之間低(圖64的B)。因此,如以上描述的那樣,在編碼矢量和預測矢量的參考畫面的類型不同時,通過從候選矢量排除矢量,可以提高編碼效率。

在以下描述中,處理目標的塊(CU、PU等)稱為編碼塊(或者當前塊)。另外,在時間上在編碼塊附近的塊(也就是說在時間上在其中存在編碼塊的畫面(當前畫面)附近的畫面的共同定位的塊)稱為時間相關性塊。另外,在空間上在編碼塊附近的塊(也就是說,在當前畫面中的與編碼塊相鄰的塊或者定位于編碼塊附近的塊)稱為鄰近塊。

圖65圖示鄰近塊的示例。在位置A0和A1的塊是編碼塊(當前塊)的鄰近塊并且也稱為左塊。另外,在位置B0、B1和B2的塊是編碼塊(當前塊)的鄰近塊并且也稱為上塊。

[運動(視差)矢量的處理的概述]

圖66是用于描述處理時間相關性塊和鄰近塊的示例的圖。在矢量預測中,如在圖66的A中所示表中那樣,確定是否將在候選矢量中包括時間相關性塊的運動(視差)矢量和是否將執(zhí)行縮放。

也就是說,例如在編碼塊的參考圖像的類型與時間相關性塊的參考圖像的類型相同時(也就是說,在兩個參考圖像是短參考圖像或者長參考圖像時),時間相關性塊的運動(視差)矢量用作候選。在兩個參考圖像的類型不相同時,從候選排除矢量。另外,在編碼塊的參考圖像和時間相關性塊的參考圖像二者是短參考圖像時,執(zhí)行時間相關性塊的運動(視差)矢量的縮放。在兩個參考圖像是長參考圖像時,未執(zhí)行時間相關性塊的運動(視差)矢量的縮放。

另外,在矢量預測中,如在圖66的B中所示表中那樣,確定是否將在候選矢量中包括鄰近塊的運動(視差)矢量和是否將執(zhí)行縮放。也就是說,這與時間相關性塊的情況相同。

也就是說,例如在編碼塊的參考圖像的類型與鄰近塊的參考圖像的類型相同時(也就是說,在兩個參考圖像是短參考圖像或者長參考圖像時),鄰近塊的運動(視差)矢量用作候選。在兩個參考圖像的類型不相同時,從候選排除矢量。另外,在編碼塊的參考圖像和鄰近塊的參考圖像是短參考圖像時,執(zhí)行鄰近塊的運動(視差)矢量的縮放。在兩個參考圖像是長參考圖像時,未執(zhí)行鄰近塊的運動(視差)矢量的縮放。

[在編碼期間的處理的流程]

以下將描述在用于實現(xiàn)這樣的控制的編碼期間的處理的流程的示例。這樣的控制可以由在第三實施例中描述的圖像編碼設備400(圖37)實現(xiàn)。

以與參照圖20的流程圖描述的方式(第一實施例)相同的方式執(zhí)行圖像編碼設備400的編碼處理。

將參照圖67的流程圖描述作為與在圖20的步驟S104中執(zhí)行的幀間運動預測處理對應的處理、而由運動預測/補償單元415執(zhí)行的PU運動(視差)矢量和參考索引生成處理的流程的示例。

在步驟S701中,幀間模式生成單元431(圖38)生成幀間模式。在步驟S702中,幀間模式生成單元431確定幀間模式是否為合并(略過)模式。

在確定幀間模式是合并(略過)模式時,流程繼續(xù)步驟S703。在步驟S703中,參考索引確定單元432和矢量預測單元434執(zhí)行合并(略過)模式的處理,以生成運動(視差)矢量和參考矢量。在步驟S703的處理結束時,流程繼續(xù)步驟S707。

另外,在步驟S702中確定幀間模式不是合并(略過)模式時,處理繼續(xù)步驟S704。在步驟S704中,矢量預測單元433獲取殘差運動(視差)矢量和參考索引。在步驟S705中,矢量預測單元433執(zhí)行AMVP模式的處理以生成預測運動(視差)矢量。在步驟S706中,模式確定單元435將殘差運動(視差)矢量與預測運動(視差)矢量相加。

在步驟S707中,模式確定單元435在處理所有模式之前返回到步驟S701,并且在已經處理所有模式時確定最優(yōu)模式。

在步驟S708中,無損編碼單元106對選擇的信息編碼。在步驟S708的處理結束時,流程返回到圖20的流程圖。

接著將參照圖68的流程圖描述在圖67的步驟S703中執(zhí)行的合并(略過)模式處理的流程圖的示例。

在處理開始時,在步驟S711中,參考索引確定單元432根據空間鄰近塊創(chuàng)建候選模式(視差)矢量和參考索引。

在步驟S712中,參考索引確定單元432生成用于時間相關性塊的參考索引。

在步驟S713中,矢量預測單元434根據時間相關性塊生成候選運動(視差)矢量。

在步驟S714中,矢量預測單元434生成運動(視差)矢量和參考索引的候選列表。這一列表的元素數目稱為Y。

在步驟S715中,矢量預測單元434設置候選列表的最大數目X。

在步驟S716中,矢量預測單元434確定列表的元素數目Y是否小于候選列表的最大數目X(Y<X)。在確定列表的元素數目Y小于候選列表的最大數目(X)(Y<X)時,流程繼續(xù)步驟S717。

在步驟S717中,矢量預測單元434組合候選列表的相應元素以生成新運動(視差)矢量和新參考索引。

在步驟S718中,矢量預測單元434更新候選列表。列表的元素數目在這一情況下稱為Y’。

在步驟S719中,矢量預測單元434確定列表的元素數目Y’是否小于候選列表的最大數目X(Y’<X)。在確定列表的元素數目Y’小于候選列表的最大數目X(Y’<X)時,流程繼續(xù)步驟S720。

在步驟S720中,矢量預測單元434生成新零運動(視差)矢量和新零參考索引。在步驟S720的處理結束時,流程繼續(xù)步驟S721。

另外,在步驟S716中確定列表的元素數目Y大于候選列表的最大數目X(并非Y<X)時,流程繼續(xù)步驟S721。另外,在步驟S719中確定列表的元素數目Y’大于候選列表的最大數目X(并非Y’<X)時,流程繼續(xù)步驟S721。

在步驟S721中,矢量預測單元434生成候選列表的元素索引。

在步驟S722中,矢量預測單元434獲取元素索引指示的運動(視差)矢量和參考索引。在步驟S722的處理結束時,流程返回到圖67的流程圖。

接著將參照圖69的流程圖描述在圖68的步驟S713中執(zhí)行的、根據時間相關性塊生成候選運動(視差)矢量的處理的流程的示例。

在處理開始時,在步驟S731中,矢量預測單元434生成指明時間相關性畫面的索引。

在步驟S732中,矢量預測單元434確定時間相關性畫面。

在步驟S733中,矢量預測單元434選擇在時間相關性畫面中存在的編碼PU(編碼塊)的右下塊。

在步驟S734中,矢量預測單元434確定右下塊是否為幀內模式或者不可用。在確定右下塊是幀內模式或者不可用時,流程繼續(xù)步驟S735。

在步驟S735中,矢量預測單元434選擇在時間相關性畫面中存在的編碼PU的中心塊。

在步驟S736中,矢量預測單元434確定中心塊是否為幀內模式或者不可用。在確定中心塊是幀內模式或者不可用時,流程繼續(xù)步驟S737。

在步驟S737中,矢量預測單元434從候選排除時間相關性塊的運動(視差)矢量。在步驟S737的處理結束時,流程返回到圖68的流程圖。

另外,在步驟S734中確定右下塊不是幀內模式或者不可用時,流程繼續(xù)步驟S738。相似地,在確定中心塊不是幀內模式或者不可用時,流程繼續(xù)步驟S738。

在步驟S738中,矢量預測單元434確定時間相關性塊的運動(視差)矢量和參考索引。

在步驟S739中,矢量預測單元434確定存在用于時間相關性塊的運動(視差)矢量的縮放處理和存在候選。

在步驟S740中,矢量預測單元434基于步驟S739的確定結果,確定是否將從候選排除時間相關性塊的運動(視差)矢量。

在確定將從候選排除運動(視差)矢量時,流程返回到步驟S737。另外,在步驟S740中確定將不從候選排除(將在候選中包括)運動(視差)矢量時,流程繼續(xù)步驟S741。

在步驟S741中,矢量預測單元434基于步驟S739的確定結果,確定縮放對于時間相關性塊的運動(視差)矢量是否為必需。

在確定縮放為必需時,流程繼續(xù)步驟S742。在步驟S742中,矢量預測單元434對于時間相關性塊的運動(視差)矢量執(zhí)行縮放處理。在步驟S742的處理結束時,流程返回到圖68的流程圖。

另外,在步驟S741中確定縮放不是必需時,流程返回到圖68的流程圖。

接著將參照圖70的流程圖描述在圖69的步驟S739中執(zhí)行的處理的流程的示例,該處理確定存在用于時間相關性塊的運動(視差)矢量的縮放處理和存在候選。

在處理開始時,在步驟S751中,矢量預測單元434確定編碼塊的參考圖像是短參考圖像或者長參考圖像。

在步驟S752中,矢量預測單元434確定時間相關性塊的參考圖像是短參考圖像或者長參考圖像。

在步驟S753中,矢量預測單元434基于步驟S751的確定結果,確定編碼塊的參考圖像是否為長參考圖像。

在確定編碼塊的參考圖像是長參考圖像時,流程繼續(xù)步驟S754。在步驟S754中,矢量預測單元434基于步驟S752的確定結果,確定時間相關性塊的參考圖像是否為長參考圖像。

在確定時間相關性塊的參考圖像是長參考圖像時,流程繼續(xù)步驟S755。在這一情況下,編碼塊和時間相關性塊的運動(視差)矢量是長參考圖像。因此,在步驟S755中,矢量預測單元434向候選中包括時間相關性塊的運動(視差)矢量,并且設置縮放為不是必需。在步驟S755的處理結束時,流程返回到圖69的流程圖。

另外,在圖70的步驟S754中確定時間相關性塊的參考圖像是短參考圖像時,流程繼續(xù)步驟S756。在這一情況下,編碼塊和時間相關性塊的運動(視差)矢量的類型不相同。因此,在步驟S756中,矢量預測單元434設置從候選排除時間相關性塊的運動(視差)矢量。在步驟S756的處理結束時,流程返回到圖69的流程圖。

另外,在圖70的步驟S753中確定編碼塊的參考圖像是短參考圖像時,流程繼續(xù)步驟S757。在步驟S757中,矢量預測單元434基于步驟S752的確定結果,確定時間相關性塊的參考圖像是否為長參考圖像。

在確定時間相關性塊的參考圖像是長參考圖像時,流程返回到步驟S756。也就是說,在這一情況下,在編碼塊和時間相關性塊的運動(視差)矢量的類型不相同時,設置從候選排除時間相關性塊的運動(視差)矢量。

另外,在步驟S757中確定時間相關性塊的參考圖像是短參考圖像時,流程繼續(xù)步驟S758。在這一情況下,編碼塊和時間相關性塊的運動(視差)矢量是短參考圖像。因此,在步驟S758中,矢量預測單元434向候選中包括時間相關性塊的運動(視差)矢量,并且設置縮放為必需。在步驟S758的處理結束時,流程返回到圖69的流程圖。

接著將參照圖71的流程圖描述在圖67的步驟S705中執(zhí)行的AMVP模式處理的流程的示例。

在處理開始時,在步驟S761中,矢量預測單元433(圖38)根據空間鄰近塊生成候選運動(視差)矢量。

在步驟S762中,矢量預測單元433生成運動(視差)矢量的候選列表。這一候選列表的元素數目稱為A。

在步驟S763中,矢量預測單元433確定候選列表的元素數目A是否小于2(A<2)。

在確定候選列表的元素數目A小于2(A<2)時,流程繼續(xù)步驟S764。在步驟S764中,矢量預測單元433根據時間相關性塊生成候選運動(視差)矢量。這一處理與參照圖69的流程圖描述的處理相同,并且將不提供其描述。

在步驟S765中,矢量預測單元433生成運動(視差)矢量和參考索引的候選列表。這一候選列表的元素數目稱為A’。

在步驟S766中,矢量預測單元433確定候選列表的元素數目A’是否小于2(A’<2)。

在確定候選列表的元素數目A’小于2(A’<2)時,流程繼續(xù)步驟S767。在步驟S767中,矢量預測單元433生成新的零運動(視差)矢量和新的零參考索引。在步驟S767的處理結束時,流程繼續(xù)步驟S768。

另外,在步驟S763中確定候選列表的元素數目A大于2(不是A<2)時,流程繼續(xù)步驟S768。另外,在步驟S766中確定候選列表的元素數目A’大于2(不是A<2)時,流程繼續(xù)步驟S768。

在步驟S768中,矢量預測單元433生成候選列表的元素索引(標志)。

在步驟S769中,矢量預測單元433獲取元素索引指示的運動(視差)矢量。在步驟S769的處理結束時,流程返回到圖67的流程圖。

接著將參照圖72的流程圖描述在圖71的步驟S761中執(zhí)行的、根據空間相鄰塊生成候選運動(視差)矢量的處理的流程的示例。

在處理開始時,矢量預測單元433在步驟S771中、根據左塊生成候選運動(視差)矢量。

在步驟S772中,矢量預測單元433根據上塊生成候選運動(視差)矢量。

在步驟S722的處理結束時,流程返回到圖71的流程圖。

接著將參照圖73和74的流程圖描述在圖72的步驟S711中執(zhí)行的、根據左塊生成候選運動(視差)矢量的處理的流程的示例。

在處理開始時,矢量預測單元433在步驟S781中、選擇在位置A0的塊。

在步驟S782中,矢量預測單元433確定在位置A0的塊是否為幀內模式或者不可用。

在確定在位置A0的塊不是幀內模式或者不可用時,流程繼續(xù)步驟S783。在步驟S783中,矢量預測單元433確定在位置A0的塊是否參考與編碼塊相同的參考圖像。

在確定在位置A0的塊參考與編碼塊相同的參考圖像時,流程繼續(xù)步驟S784。在步驟S784中,矢量預測單元433使用在位置A0的塊的運動(視差)矢量作為候選。在步驟S784的處理結束時,流程返回到圖72的流程圖。

另外,在圖73的步驟S782中確定在位置A0的塊是幀內模式或者不可用時,流程繼續(xù)步驟S785。另外,在步驟S783中確定在位置A0的塊參考與編碼塊的參考圖像不同的參考圖像時,流程繼續(xù)步驟S785。

在步驟S785中,矢量預測單元433選擇在位置A1的塊。

在步驟S786中,矢量預測單元433確定在位置A1的塊是否為幀內模式或者不可用。

在確定在位置A1的塊是幀內模式或者不可用時,流程繼續(xù)步驟S787。在步驟S787中,矢量預測單元433確定在位置A1的塊是否參考與編碼塊相同的參考圖像。

在確定在位置A1的塊參考與編碼塊相同的參考圖像時,流程繼續(xù)步驟S788。在步驟S788中,矢量預測單元433使用在位置A1的塊的運動(視差)矢量作為候選。在步驟S788的處理結束時,流程返回到圖72的流程圖。

另外,在圖73的步驟S786中確定在位置A1的塊是幀內模式或者不可用時,流程繼續(xù)圖74的步驟S791。另外,在圖73的步驟S787中確定在位置A1的塊參考與編碼塊的參考圖像不同的參考圖像時,流程繼續(xù)圖74的步驟S791。

在圖74的步驟S791中,矢量預測單元433選擇在位置A0的塊。

在步驟S792中,矢量預測單元433確定在位置A0的塊是否為幀內模式或者不可用。

在確定在位置A0的塊不是幀內模式或者不可用時,流程繼續(xù)步驟S793。在步驟S793中,矢量預測單元433使用在位置A0的塊的運動(視差)矢量作為候選。在步驟S793的處理結束時,流程繼續(xù)步驟S797。

另外,在圖7的步驟S792中確定在位置A0的塊是幀內模式或者不可用時,流程繼續(xù)步驟S794。

在步驟S794中,矢量預測單元433選擇在位置A1的塊。

在步驟S795中,矢量預測單元433確定在位置A1的塊是否為幀內模式或者不可用。

在確定在位置A0的塊是幀內模式或者不可用時,流程返回到圖72的流程圖。

另外,在圖74的步驟S795中確定在位置A1的塊不是幀內模式或者不可用時,流程返回到步驟S796。在步驟S796中,矢量預測單元433使用在位置A1的塊的運動(視差)矢量作為候選。在步驟S796的處理結束時,流程繼續(xù)步驟S797。

在步驟S797中,矢量預測單元433確定存在用于鄰近塊的運動(視差)矢量的縮放處理和存在候選。

在步驟S798中,矢量預測單元433基于步驟S797的確定結果,確定是否將從候選排除鄰近塊的運動(視差)矢量。

在確定將從候選排除運動(視差)矢量時,流程繼續(xù)步驟S799。在步驟S799中,矢量預測單元433從候選去除左塊的運動(視差)矢量。在步驟S799的處理結束時,流程返回到圖72的流程圖。

另外,在圖74的步驟S798中確定將不從候選排除(將在候選中包括)運動(視差)矢量時,流程繼續(xù)步驟S800。

在步驟S800中,矢量預測單元433基于步驟S797的確定結果,確定縮放對于鄰近塊的運動(視差)矢量是否為必需。

在確定縮放為必需時,流程繼續(xù)步驟S801。在步驟S801中,矢量預測單元433對于鄰近塊的運動(視差)矢量執(zhí)行縮放處理。在步驟S801的處理結束時,流程返回到圖72的流程圖。

另外,在圖74的步驟S800中確定縮放不是必需時,流程返回到圖72的流程圖。

接著將參照圖75的流程圖描述在圖74的步驟S797中執(zhí)行的處理的流程圖的示例,該處理確定存在用于鄰近塊的運動(視差)矢量的縮放處理和存在候選。

在處理開始時,在步驟S811中,矢量預測單元433確定編碼塊的參考圖像是短參考圖像或者長參考圖像。

在步驟S812中,矢量預測單元433確定鄰近塊的參考圖像是短參考圖像或者長參考圖像。

在步驟S813中,矢量預測單元433基于步驟S811的確定結果,確定編碼塊的參考圖像是否為長參考圖像。

在確定編碼塊的參考圖像是長參考圖像時,流程繼續(xù)步驟S814。在步驟S814中,矢量單元433基于步驟S812的確定結果,確定鄰近塊的參考圖像是否為長參考圖像。

在確定鄰近塊的參考圖像是長參考圖像時,流程繼續(xù)步驟S815。在這一情況下,編碼塊和鄰近塊的運動(視差)矢量是長參考圖像。因此,在步驟S815中,矢量預測單元433向候選中包括鄰近塊的運動(視差)矢量并且設置縮放為非必需。在步驟S815的處理結束時,流程返回到圖74的流程圖。

另外,在圖75的步驟S814中確定鄰近塊的參考圖像是短參考圖像時,流程繼續(xù)步驟S816。在這一情況下,編碼塊和鄰近塊的運動(視差)矢量的類型不相同。因此,在步驟S816中,矢量預測單元433設置從候選排除鄰近塊的運動(視差)矢量。在步驟S816的處理結束時,流程返回到圖74的流程圖。

另外,在圖75的步驟S813中確定編碼塊的參考圖像是短參考圖像時,流程繼續(xù)步驟S817。在步驟S817中,矢量預測單元433基于步驟S812的確定結果,確定鄰近塊的參考圖像是否為長參考圖像。

在確定鄰近塊的參考圖像是長參考圖像時,流程返回到步驟S816。也就是說,在這一情況下,由于編碼塊和鄰近塊的運動(視差)矢量的類型不相同時,因此設置從候選排除鄰近塊的運動(視差)矢量。

另外,在步驟S817中確定鄰近塊的參考圖像是短參考圖像時,流程繼續(xù)步驟S818。在這一情況下,編碼塊和鄰近塊的運動(視差)矢量是短參考圖像。因此,在步驟S818中,矢量預測單元433向候選中包括鄰近塊的運動(視差)矢量并且設置縮放為必需。在步驟S818的處理結束時,流程返回到圖74的流程圖。

接著將參照圖76和77的流程圖描述在圖72的步驟S772中執(zhí)行的、根據上塊生成候選運動(視差)矢量的處理的流程的示例。

在處理開始時,矢量預測單元433在步驟S821中選擇在位置B0的塊。

在步驟S822中,矢量預測單元433確定在位置B0的塊是否為幀內模式或者不可用。

在確定在位置B0的塊不是幀內模式或者不可用時,流程繼續(xù)步驟S823。在步驟S823中,矢量預測單元433確定在位置B0的塊是否參考與編碼塊相同的參考圖像。

在確定在位置B0的塊參考與編碼塊相同的參考圖像時,流程繼續(xù)步驟S824。在步驟S824中,矢量預測單元433使用在位置B0的塊的運動(視差)矢量作為候選。在步驟S824的處理結束時,流程返回到圖72的流程圖。

另外,在圖76的步驟S822中確定在位置B0的塊是幀內模式或者不可用時,流程繼續(xù)步驟S825。另外,在步驟S823中確定在位置B0的塊參考與編碼塊的參考圖像不同的參考圖像時,流程繼續(xù)步驟S825。

在步驟S825中,矢量預測單元433選擇在位置B1的塊。

在步驟S826中,矢量預測單元433確定在位置B1的塊是否為幀內模式或者不可用。

在確定在位置B1的塊不是幀內模式或者不可用時,流程繼續(xù)步驟S827。在步驟S827中,矢量預測單元433確定在位置B1的塊是否參考與編碼塊相同的參考圖像。

在確定在位置B1的塊參考與編碼塊相同的參考圖像時,流程繼續(xù)步驟S828。在步驟S828中,矢量預測單元433使用在位置B1的塊的運動(視差)矢量作為候選。在步驟S828的處理結束時,流程返回到圖72的流程圖。

另外,在圖76的步驟S826確定在位置B1的塊是幀內模式或者不可用時,流程繼續(xù)步驟S829。另外,在步驟S827中確定在位置B1的塊參考與編碼塊的參考圖像不同的參考圖像時,流程繼續(xù)步驟S829。

在步驟S829中,矢量預測單元433選擇在位置B2的塊。

在步驟S830中,矢量預測單元433確定在位置B2的塊是否為幀內模式或者不可用。

在確定在位置B2的塊不是幀內模式或者不可用時,流程繼續(xù)步驟S831。在步驟S831中,矢量預測單元433確定在位置B2的塊是否參考與編碼塊相同的參考圖像。

在確定在位置B2的塊參考與編碼塊相同的參考圖像時,流程繼續(xù)步驟S832。在步驟S832中,矢量預測單元433使用在位置B2的塊的運動(視差)矢量作為候選。在步驟S832的處理結束時,流程返回到圖72的流程圖。

另外,在圖76的步驟S830中確定在位置B2的塊是幀內模式或者不可用時,流程繼續(xù)圖77的步驟S841。另外,在圖76的步驟S831中確定在位置B2的塊參考與編碼塊的參考圖像不同的參考圖像時,流程繼續(xù)圖77的步驟S841。

在圖77的步驟S841中,矢量預測單元433確定是否根據左塊生成候選運動(視差)矢量。

在步驟S842中,矢量預測單元433選擇在位置B0的塊。

在步驟S843中,矢量預測單元433確定在位置B0的塊是否為幀內模式或者不可用。

在確定在位置B0的塊不是幀內模式或者不可用時,流程繼續(xù)步驟S844。在步驟S844中,矢量預測單元433使用在位置B0的塊的運動(視差)矢量作為候選。在步驟S844的處理結束時,流程繼續(xù)步驟S851。

另外,在步驟S843中確定在位置B0的塊是幀內模式或者不可用時,流程繼續(xù)步驟S845。

在步驟S845中,矢量預測單元433選擇在位置B1的塊。

在步驟S846中,矢量預測單元433確定在位置B1的塊是否為幀內模式或者不可用。

在確定在位置B1的塊不是幀內模式或者不可用時,流程繼續(xù)步驟S847。在步驟S847中,矢量預測單元433使用在位置B1的塊的運動(視差)矢量作為候選。在步驟S847的處理結束時,流程繼續(xù)步驟S851。

另外,在步驟S846中確定在位置B1的塊是幀內模式或者不可用時,流程繼續(xù)步驟S848。

在步驟S848中,矢量預測單元433選擇在位置B2的塊。

在步驟S849中,矢量預測單元433確定在位置B2的塊是否為幀內模式或者不可用。

在步驟S849中確定在位置B2的塊是幀內模式或者不可用時,流程返回到圖72的流程圖。

另外,在確定在位置B2的塊不是幀內模式或者不可用時,流程繼續(xù)步驟S850。在步驟S850中,矢量預測單元433使用在位置B2的塊的運動(視差)矢量作為候選。在步驟S850的處理結束時,流程繼續(xù)步驟S851。

在步驟S851中,矢量預測單元433確定存在用于鄰近塊的運動(視差)矢量的縮放處理和存在候選。由于以與參照圖75的流程圖描述的方式相同的方式執(zhí)行這一處理,所以將不提供其描述。在這一情況下,在圖75的流程圖的處理結束時,流程返回到圖77的流程圖而不是圖74的流程圖。

在步驟S852中,矢量預測單元433基于步驟S851的確定結果,確定是否將從候選排除鄰近塊的運動(視差)矢量。

在確定將從候選排除運動(視差)矢量時,流程繼續(xù)步驟S853。在步驟S853中,矢量預測單元433從候選排除上塊的運動(視差)矢量。在步驟S853的處理結束時,流程返回到圖72的流程圖。

另外,在圖77的步驟S852中確定將不從候選排除(將在候選中包括)運動(視差)矢量時,流程繼續(xù)步驟S854。

在步驟S854中,矢量預測單元433基于步驟S851的確定結果,確定縮放對于鄰近塊的運動(視差)矢量是否為必需。

在確定縮放為必需時,流程繼續(xù)步驟S855。在步驟S855中,矢量預測單元433對于鄰近塊的運動(視差)矢量執(zhí)行縮放處理。在步驟S855的處理結束時,流程返回到圖72的流程圖。

另外,在圖77的步驟S854中確定縮放不是必需時,流程返回到圖72的流程圖。

通過以上述方式執(zhí)行相應處理,圖像編碼設備400可以抑制編碼效率降低。

[在解碼期間的處理的流程]

為了對以上述方式通過編碼而獲得的編碼數據正確解碼,可以在解碼側上執(zhí)行與編碼側相同的方法的預測。也就是說,在解碼側上,在編碼矢量和預測矢量的參考畫面的類型(短參考畫面或者長參考畫面)不同時,設置預測矢量不可用。

也就是說,例如在編碼塊的參考圖像的類型與時間相關性塊的參考圖像的類型相同時(也就是說,在兩個參考圖像是短參考圖像或者長參考圖像時),時間相關性塊的運動(視差)矢量用作候選。在兩個參考圖像的類型不相同時,從候選排除矢量。另外,在編碼塊的參考圖像和時間相關性塊的參考圖像二者是短參考圖像時,執(zhí)行時間相關性塊的運動(視差)矢量的縮放。在兩個參考圖像是長參考圖像時,未執(zhí)行時間相關性塊的運動(視差)矢量的縮放。

另外,例如在編碼塊的參考圖像的類型與鄰近塊的參考圖像的類型相同時(也就是說,在兩個參考圖像是短參考圖像或者長參考圖像時),鄰近塊的運動(視差)矢量用作候選。在兩個參考圖像的類型不相同時,從候選排除矢量。另外,在編碼塊的參考圖像和鄰近塊的參考圖像是短參考圖像時,執(zhí)行鄰近塊的運動(視差)矢量的縮放。在兩個參考圖像是長參考圖像時,未執(zhí)行鄰近塊的運動(視差)矢量的縮放。

通過這樣做,有可能抑制解碼效率降低。

以下將描述在用于實現(xiàn)這樣的控制的編碼期間的處理的流程的示例。這樣的控制可以由在第四實施例中描述的圖像解碼設備500(圖47)實現(xiàn)。

以與參照圖33的流程圖描述的方式(第二實施例)相同的方式執(zhí)行圖像解碼設備500的解碼處理。另外,以與參照圖34的流程圖描述的方式相同的方式執(zhí)行圖33的步驟S305的預測處理。

將參照圖78描述作為與在圖34的步驟S334中執(zhí)行的運動視差補償處理對應的處理的、由運動補償單元512執(zhí)行的PU運動(視差)矢量和參考索引生成處理的流程的示例。

以與在編碼側上的處理(圖67)的方式基本上相同的方式執(zhí)行這一處理。然而由于在編碼側上確定預測模式,所以在解碼側上的設備可以執(zhí)行僅所用預測模式的處理。

在處理開始時,在步驟S861中,無損解碼單元302對從編碼側供應的預測模式解碼。

在步驟S862中,模式確定單元531確定預測模式是否為合并(略過)模式。

在確定預測模式是合并(略過)模式時,流程繼續(xù)步驟S863。在步驟S863中,參考索引確定單元532和矢量解碼單元534執(zhí)行合并(略過)模式的處理,以生成運動(視差)矢量和參考索引。在步驟S863的處理結束時,流程返回到圖34的流程圖。

另外,在圖78的步驟S862中確定預測模式不是合并(略過)模式時,流程繼續(xù)步驟S863。在步驟S864中,矢量解碼單元533獲取殘差運動(視差)矢量和參考索引。在步驟S865中,矢量解碼單元533執(zhí)行AMVP模式的處理,以生成預測模式(視差)矢量。在步驟S866中,矢量解碼單元533將殘差運動(視差)矢量與預測運動(視差)矢量相加。在步驟S866的處理結束時,流程返回到圖34的流程圖。

接著將參照圖79的流程圖描述在圖78的步驟S863中執(zhí)行的合并(略過)模式處理的流程的示例。以與在編碼側上的處理(圖68)基本上相同的方式執(zhí)行這一處理。

以與圖68的步驟S711至S714的相應處理相同的方式執(zhí)行步驟S871至S874的相應處理。然而步驟S871和S872的處理由參考索引確定單元532執(zhí)行,并且步驟S873和S874的處理由矢量解碼單元534執(zhí)行。

在步驟S875中,矢量解碼單元534對候選列表的最大值X解碼。

以與圖68的步驟S716至S720的處理相同的方式執(zhí)行步驟S876至S880的處理。然而這些處理由矢量解碼單元534執(zhí)行。

在步驟S881中,矢量解碼單元534對候選列表的元素索引解碼。在步驟S882中,矢量解碼單元534獲取元素索引指示的運動(視差)矢量和參考索引。在步驟S822的處理結束時,流程返回到圖78的流程圖。

接著將參照圖80的流程圖描述在圖79的步驟S873中執(zhí)行的、根據時間相關性塊生成候選運動(視差)矢量的處理的流程的示例。以與在編碼側上的處理(圖69)基本上相同的方式執(zhí)行這一處理。

在處理開始時,矢量解碼單元534在步驟S891中對指示時間相關性畫面的索引解碼。

以與圖69的步驟S732至S742的處理相同的方式執(zhí)行步驟S892至S902的處理。然而這些處理由矢量解碼單元534執(zhí)行。

以與參照圖70的流程圖描述的方式相同的方式執(zhí)行在圖80的步驟S899中執(zhí)行的處理,該處理確定存在用于時間相關性塊的運動(視差)矢量的縮放處理和存在候選,并且將不提供其描述。然而在這一情況下,處理由矢量解碼單元534執(zhí)行,并且在圖70的流程圖的處理結束時,流程返回到圖80的流程圖。

接著將參照圖81的流程圖描述在圖78的步驟S865中執(zhí)行的AMVP模式處理的流程的示例。以與在解碼側上的處理(圖71)基本上相同的方式執(zhí)行這一處理。以與圖71的步驟S761至S767的處理相同的方式執(zhí)行步驟S911至S917的處理。然而這些處理由矢量解碼單元533執(zhí)行。

在步驟S918中,矢量解碼單元533對候選列表的元素索引(標志)解碼。在步驟S919中,矢量解碼單元533獲取元素索引指示的運動(視差)矢量。在步驟S919的處理結束時,流程返回到圖78的流程圖。

以與參照圖72至77的流程圖描述的方式相同的方式執(zhí)行在圖81的步驟S911中執(zhí)行的、根據空間鄰近塊生成候選運動(視差)矢量的處理,并且將不提供其描述。然而在這一情況下,處理由矢量解碼單元533執(zhí)行,并且在圖72的流程圖的處理結束時,流程返回到圖81的處理。

另外,以與參照圖80的流程圖描述的方式相同的方式執(zhí)行在圖81的步驟S914中執(zhí)行的、根據時間相關性塊生成候選運動(視差)矢量的處理,并且將不提供其描述。然而在這一情況下,處理由矢量解碼單元533執(zhí)行,并且在圖80的流程圖的處理結束時,流程返回到圖81的流程圖。

通過以上述方式執(zhí)行處理,圖像解碼設備500可以對編碼數據正確解碼并且抑制編碼效率降低。

[運動(視差)矢量的處理的概述]

在以上示例中,在AMVP模式中根據鄰近塊生成運動(視差)矢量時,例如對于左鄰近塊按照位置A0和A1的順序檢索運動(視差)矢量,并且處理在發(fā)現(xiàn)運動(視差)矢量時結束。相似地,例如對于上鄰近塊按照位置B0、B1和B2的順序檢索運動(視差)矢量,并且處理在發(fā)現(xiàn)運動(視差)矢量時結束。例如在這一情況下,由于可以在此后確定運動(視差)矢量是否可以用作候選,所以即使在某個位置發(fā)現(xiàn)的運動(視差)矢量不能用作候選,仍然未執(zhí)行檢索在后續(xù)位置的運動(視差)矢量。

用于根據鄰近塊生成運動(視差)矢量的方法不限于此。例如可以確定在所有位置A0和A1或者位置B0、B1和B2的運動(視差)矢量是否不能用作候選。也就是說,對于在相應位置的鄰近塊確定存在候選,并且在結束時共同地確定存在縮放處理。

通過這樣做,有可能確定是否將在候選中包括在相應位置的運動(視差)矢量,但是處理變得比以上描述的示例更復雜。也就是說,有可能檢索更適當候選并且進一步提高編碼效率。

圖82是用于描述處理鄰近塊的示例的圖。在矢量預測中,首先如在圖82的A中所示表中那樣確定是否將在候選矢量中包括在每個位置的鄰近塊的運動(視差)矢量。

也就是說,例如在編碼塊的參考圖像和鄰近塊的參考圖像的類型相同時(也就是說,在兩個參考圖像是短參考圖像或者長參考圖像時),時間相關性塊的運動(視差)矢量用作候選。在兩個參考圖像的類型不相同時,從候選排除矢量。

在選擇候選之后,如在圖82的B中所示表中那樣確定是否將對候選矢量執(zhí)行縮放。

也就是說,例如在編碼塊的參考圖像和鄰近塊的參考圖像二者是短參考圖像時,執(zhí)行鄰近塊的運動(視差)矢量的縮放。在其它情況下,未執(zhí)行鄰近塊的運動(視差)矢量的縮放。

[在編碼處理期間的處理的流程]

將參照圖83和84的流程圖描述這一情況的、根據左塊生成候選運動(視差)矢量的處理的流程的示例。由于以與這一情況的處理相同的方式執(zhí)行參照圖67至72的流程圖描述的處理,所以將不提供這些處理的描述。

以與圖73的步驟S781至788的處理相同的方式執(zhí)行圖83的步驟S921至S928的處理。在步驟S924或者S928的處理結束時,根據左塊生成候選運動(視差)矢量的處理結束,并且流程返回到圖72的流程圖。另外,在步驟S926中確定在位置A1的塊是幀內模式或者不可用時,或者在步驟S927中確定在位置A1的塊參考與編碼塊的參考圖像不同的參考圖像時,流程繼續(xù)圖84的步驟S931。

在圖84的步驟S931中,矢量預測單元433選擇在位置A0的塊。

在步驟S932中,矢量預測單元433確定在位置A0的塊是否是幀內模式或者不可用。

在確定在位置A0的塊不是幀內模式或者不可用時,流程繼續(xù)步驟S933。在步驟S933中,矢量預測單元433確定存在在位置A0的塊的候選運動(視差)矢量。

在步驟S934中,矢量預測單元433基于步驟S933的確定結果,確定是否將包括候選。

在確定將包括候選時,流程繼續(xù)步驟S935。在步驟S935中,矢量預測單元433使用在位置A0的運動(視差)矢量作為候選。在步驟S935的處理結束時,流程繼續(xù)步驟S943。

另外,在步驟S934中確定將不包括候選時,流程繼續(xù)步驟S936。在步驟S936中,矢量預測單元433從候選排除在位置A0的塊的運動(視差)矢量。

在步驟S936的處理結束時,流程繼續(xù)步驟S937。另外,在步驟S932中確定在位置A0的塊不是幀內模式也不可用時,流程繼續(xù)步驟S937。

在步驟S937中,矢量預測單元433選擇在位置A1的塊。

在步驟S938中,矢量預測單元433確定在位置A1的塊是否為幀內模式或者不可用。在確定在位置A1的塊是幀內模式或者不可用時,根據左塊生成候選運動(視差)矢量的處理結束,流程返回到圖72的流程圖。

另外,在圖84的步驟S938中確定在位置A1的塊不是幀內模式或者不可用時,流程繼續(xù)步驟S939。在步驟S939中,矢量預測單元433確定存在在位置A1的塊的候選運動(視差)矢量。

在步驟S940中,矢量預測單元433基于步驟S939的確定結果,確定是否是否將包括候選。

在確定將包括候選時,流程繼續(xù)步驟S941。在步驟S941中,矢量預測單元433使用在位置A1的運動(視差)矢量作為候選。在步驟S941的處理結束時,流程繼續(xù)步驟S943。

另外,在步驟S940中確定將不包括候選時,流程繼續(xù)步驟S942。在步驟S942中,矢量預測單元433從候選排除在位置A1的塊的運動(視差)矢量。在步驟S942的處理結束時,根據左塊生成候選運動(視差)矢量的處理結束,流程返回到圖72的流程圖。

在圖84的步驟S943中,矢量預測單元433確定存在用于鄰近塊的運動(視差)矢量的縮放處理。

在步驟S944中,矢量預測單元433基于步驟S943的確定結果,確定縮放對于鄰近塊的運動(視差)矢量是否為必需。

在確定縮放為必需時,流程繼續(xù)步驟S945。在步驟S945中,矢量預測單元433對鄰近塊的運動(視差)矢量執(zhí)行縮放處理。在步驟S945的處理結束時,流程返回到圖72的流程圖。

另外,在圖84的步驟S944中確定縮放不是必需時,流程返回到圖72的流程圖。

接著將參照圖85的流程圖描述在圖84的步驟S933和S939中執(zhí)行的處理的流程的示例,該處理確定存在鄰近塊的候選運動(視差)矢量。

以與圖75的步驟S811至S814和S817的處理相同的方式執(zhí)行圖85的步驟S951至S954和S957的處理。

在步驟S953中確定編碼塊的參考圖像是長參考圖像、并且在步驟S954中確定鄰近塊的參考圖像是長參考圖像時,矢量預測單元433在步驟S955中設置將在候選中包括鄰近塊(在位置A0或者A1的塊)的運動(視差)矢量。

另外,在步驟S953中確定編碼塊的參考圖像是長參考圖像、并且在步驟S954中確定鄰近塊的參考圖像是短參考圖像時,或者在步驟S953中確定編碼塊的參考圖像是短參考圖像、并且在步驟S957中確定鄰近塊的參考圖像是長參考圖像時,由于編碼塊和鄰近塊的參考圖像的類型不同,矢量預測單元433在步驟S956中設置從候選排除鄰近塊(在位置A0或者A1的塊)的運動(視差)矢量。

另外,在步驟S953中確定編碼塊的參考圖像是短參考圖像、并且在步驟S957中確定鄰近塊的參考圖像是短參考圖像時,矢量預測單元433在步驟S958中、設置在候選中包括鄰近塊(在位置A0或者A1的塊)的運動(視差)矢量。

在步驟S955、S956或者S958的處理結束時,流程返回到圖84的流程圖。

接著將參照圖86的流程圖描述在圖84的步驟S943中執(zhí)行的處理的流程的示例,該處理確定存在用于鄰近塊的運動(視差)矢量的縮放處理。

以與圖75的步驟S811至S813和S817的處理相同的方式執(zhí)行圖86的步驟S961至S963和S965的處理。

在步驟S963中確定編碼塊的參考圖像是長參考圖像時、或者在步驟S963中確定編碼塊的參考圖像是短參考圖像并且在步驟S965中確定鄰近塊的參考圖像是長參考圖像時,流程繼續(xù)步驟S964。也就是說,在確定編碼塊的參考圖像和鄰近塊的參考圖像中的至少一個參考圖像是長參考圖像時,流程繼續(xù)步驟S964。

在步驟S964中,矢量預測單元433設置縮放不是必需。在步驟S964的處理結束時,流程返回到圖84的流程圖。

另外,在圖86的步驟S963中確定編碼塊的參考圖像是短參考圖像、并且在步驟S965中確定鄰近塊的參考圖像是短參考圖像時(也就是說,在確定編碼塊和鄰近塊的參考圖像二者是短參考圖像),流程繼續(xù)步驟S966。

在步驟S966中,矢量預測單元433設置縮放為必需。在步驟S966的處理結束時,流程返回到圖84的流程圖。

接著將參照圖87至89的流程圖描述根據上塊生成候選運動(視差)矢量的處理的流程的示例。

以與圖76的步驟S821至S832的處理相同的方式執(zhí)行圖87的步驟S971至S982的處理。在步驟S974、S978或者S982的處理結束時,流程繼續(xù)圖89的步驟S1017。另外,在步驟S980中確定在位置B2的塊是幀內模式或者不可用時、或者在步驟S981中確定在位置B2的塊參考與編碼塊的參考圖像不同的參考圖像時,流程繼續(xù)圖88的步驟S991。

在圖88的步驟S991中,矢量預測單元433確定是否根據左塊生成候選運動(視差)矢量。

在步驟S992中,矢量預測單元433選擇在位置B0的塊。

在步驟S993中,矢量預測單元433確定在位置B0的塊是否為幀內模式或者不可用。

在確定在位置B0的塊不是幀內模式或者不可用時,流程繼續(xù)步驟S994。在步驟S994中,矢量預測單元433確定存在在位置B0的塊的候選運動(視差)矢量。由于以與參照圖85的流程圖描述的方式相同的方式執(zhí)行這一處理,所以將不提供其描述。

在步驟S995中,矢量預測單元433基于步驟S994的確定結果,確定是否將排除候選。

在將從候選排除運動(視差)矢量時,流程繼續(xù)步驟S996。在步驟S996中,矢量預測單元433從候選排除在位置B0的塊的運動(視差)矢量。在步驟S996的處理結束時,流程繼續(xù)步驟S998。

另外,在步驟S995中確定將不從候選排除運動(視差)矢量時,流程繼續(xù)步驟S997。在步驟S997中,矢量預測單元433使用在位置B0的塊的運動(視差)矢量作為候選。在步驟S997的處理結束時,流程繼續(xù)圖89的步驟S1017。

另外,在步驟S993中確定在位置B0的塊是幀內模式或者不可用時,流程繼續(xù)步驟S998。

在步驟S998中,矢量預測單元433選擇在位置B1的塊。

在步驟S999中,矢量預測單元433確定在位置B1的塊是否為幀內模式或者不可用。

在確定在位置B1的塊不是幀內模式或者不可用時,流程繼續(xù)步驟S1000。在步驟S1000中,矢量預測單元433確定存在在位置B1的塊的候選運動(視差)矢量。由于以與關于圖85的流程圖描述的方式相同的方式執(zhí)行這一處理,所以將不提供其描述。

在步驟S1001中,矢量預測單元433基于步驟S1000的確定結果,確定是否將排除候選。

在將從候選排除運動(視差)矢量時,流程繼續(xù)步驟S1002。在步驟S1002中,矢量預測單元433從候選排除在位置B1的塊的運動(視差)矢量。在步驟S1002的處理結束時,流程繼續(xù)圖89的步驟S1011。

另外,在圖88的步驟S1001中確定將不從候選排除運動(視差)矢量時,流程繼續(xù)步驟S1003。在步驟S1003中,矢量預測單元433使用在位置B1的塊的運動(視差)矢量作為候選。在步驟S1003的處理結束時,流程繼續(xù)圖89的步驟S1017。

另外,在步驟S999中確定在位置B1的塊是幀內模式或者不可用時,流程繼續(xù)圖89的步驟S1011。

在圖89的步驟S1011中,矢量預測單元433選擇在位置B2的塊。

在步驟S1012中,矢量預測單元433確定在位置B2的塊是否為幀內模式或者不可用。

在確定在位置B2的塊不是幀內模式或者不可用時,流程繼續(xù)步驟S1013。在步驟S1013中,矢量預測單元433確定存在在位置B2的塊的候選運動(視差)矢量。由于以與參照圖85的流程圖描述的方式相同的方式執(zhí)行這一處理,所以將不提供其描述。

在步驟S1014中,矢量預測單元433基于步驟S1013的確定結果,確定是否將排除候選。

在將從候選排除運動(視差)矢量時,流程繼續(xù)步驟S1015。在步驟S1015中,矢量預測單元433從候選排除在位置B2的塊的運動(視差)矢量。在步驟S1015的處理結束時,流程繼續(xù)步驟S1017。

另外,在步驟S1014中確定將不從候選排除運動(視差)矢量時,流程繼續(xù)步驟S1016。在步驟S1016中,矢量預測單元433使用在位置B2的塊的運動(視差)矢量作為候選。在步驟S1016的處理結束時,流程繼續(xù)步驟S1017。

在步驟S1017中,矢量預測單元433確定存在用于鄰近塊的運動(視差)矢量的縮放處理。由于以與參照圖86的流程圖描述的方式相同的方式執(zhí)行這一處理,所以將不提供其描述。

在步驟S1018中,矢量預測單元433基于步驟S1017的確定結果,確定縮放對于鄰近塊的運動(視差)矢量是否為必需。

在確定縮放為必需時,流程繼續(xù)步驟S1019。在步驟S1019中,矢量預測單元433對鄰近塊的運動(視差)矢量執(zhí)行縮放處理。在步驟S1019的處理結束時,流程返回到圖72的流程圖。

另外,在圖89的步驟S1018中確定縮放不是必需時,流程返回到圖72的流程圖。

通過以上述方式執(zhí)行相應處理,圖像編碼設備400可以抑制編碼效率降低。

由于圖像解碼設備500以與以上描述的圖像編碼設備400相同的方式執(zhí)行這些處理,所以將不提供其描述。由于這一點,圖像解碼設備500可以對編碼數據正確解碼并且抑制編碼效率降低。

[運動(視差)矢量的處理的概述]

在上文中,已經參照圖66至81描述第一示例,并且已經參照圖82至89描述第二示例。

除了這些示例之外,例如在第一示例中,在編碼塊的參考圖像和鄰近塊的參考圖像二者是長參考圖像時,鄰近塊的運動(視差)矢量可以僅在編碼塊和鄰近塊參考相同參考圖像時用作候選。在編碼塊和鄰近塊參考不同參考圖像時,可以從候選排除鄰近塊的運動(視差)矢量,并且可以不提供檢索處理。

如以上描述的那樣,長參考圖像應用于如背景圖像的固定區(qū)域和不同視圖的圖像。因此,即使在編碼塊的參考圖像和鄰近塊的參考圖像是這樣的長參考圖像時,但是如果參考圖像是不同圖像,則預計參考圖像具有低相關性。也就是說,預計在編碼塊和鄰近塊的運動(視差)矢量之間的相關性低。

因此,通過從候選矢量排除其中預計這樣的相關性低的圖案(其中編碼塊和鄰近塊的參考圖像二者是長參考圖像并且兩個圖像是不同圖像的情況),有可能進一步抑制編碼效率降低。另外,通過不提供確定存在候選和存在縮放的處理,有可能降低處理負荷。

圖90是用于描述處置時間相關性塊和鄰近塊的另一示例的圖。在矢量預測中,如在圖90的A中所示表中那樣確定是否將向候選矢量中包括時間相關性塊的運動(視差)矢量和是否將執(zhí)行縮放。

也就是說,這與圖66的A的情況相同。

另外,在矢量預測中,如在圖90的B中所示表中那樣確定是否將在候選矢量中包括鄰近塊的運動(視差)矢量和是否將執(zhí)行縮放。

也就是說,例如在編碼塊和鄰近塊的參考圖像二者是長參考圖像時,鄰近塊的運動(視差)矢量僅在參考圖像相同時用作候選。另外,在這些參考圖像不同時,從候選排除鄰近塊的運動(視差)矢量,并且不提供確定存在候選和存在縮放的處理。

在編碼塊的參考圖像和鄰近塊的參考圖像二者是短參考圖像時,執(zhí)行鄰近塊的運動(視差)矢量的縮放。在兩個參考圖像是長參考圖像時,不執(zhí)行鄰近塊的運動(視差)矢量的縮放。

[在編碼期間的處理的流程]

將參照圖91和92的流程圖描述這一情況的、根據左塊生成候選運動(視差)矢量的處理的流程的示例。由于以與這一情況的處理相同的方式執(zhí)行參照圖67至72的流程圖描述的處理,所以將不提供這些處理的描述。

以與圖73的步驟S781至S788的處理基本上相同的方式執(zhí)行圖91的步驟S1031至S1038的處理。在步驟S1034或者S1038的處理結束時,根據左塊生成候選運動(視差)矢量的處理結束,并且流程返回到圖72的流程圖。另外,在步驟S1035中確定在位置A1的塊是幀內模式或者不可用時,流程繼續(xù)圖92的步驟S1041。

然而在圖91的步驟S1037中確定在位置A1的塊參考與編碼塊的參考圖像不同的參考圖像時,流程繼續(xù)步驟S1039。

在步驟S1039中,矢量預測單元433確定編碼塊和鄰近塊的參考圖像二者是否為長參考圖像。

在確定編碼塊和鄰近塊的兩個參考圖像二者是長參考圖像時,根據左塊生成候選運動(視差)矢量的處理結束,并且流程返回到圖72的流程圖。

另外,在確定編碼塊和鄰近塊的參考圖像中的至少一個參考圖像是短參考圖像時,流程繼續(xù)圖92的步驟S1041。

以與圖74的步驟S791至S799的處理相同的方式執(zhí)行圖92的步驟S1041至S1051的處理。

也就是說,在確定編碼塊和鄰近塊的參考圖像二者是長參考圖像時,不提供圖92的流程圖的所有處理。因此有可能降低處理負荷。

接著將參照圖93和94的流程圖描述這一情況的、根據上塊生成候選運動(視差)矢量的處理的流程的示例。

以與圖76的步驟S821至S832的處理基本上相同的方式執(zhí)行圖93的步驟S1071至S1082的處理。在步驟S1074、S1078或者S1082的處理結束時,根據上塊生成候選運動(視差)矢量的處理結束,并且流程返回到圖72的流程圖。另外,在步驟S1080中確定在位置B2的塊是幀內模式或者不可用時,流程繼續(xù)圖94的步驟S1091。

然而在圖93的步驟S1081中確定在位置B2的塊參考與編碼塊的參考圖像不同的參考圖像時,流程繼續(xù)步驟S1083。

在步驟S1083中,矢量預測單元433確定編碼塊和鄰近塊的參考圖像二者是否是長參考圖像。

在確定編碼塊和鄰近塊的參考圖像二者是長參考圖像時,根據上塊生成候選運動(視差)矢量的處理結束,流程返回到圖72的流程圖。

另外,在確定編碼塊和鄰近塊的參考圖像中的至少一個參考圖像是短參考圖像時,流程繼續(xù)圖94的步驟S1091。

以與圖77的步驟S841至S855的處理相同的方式執(zhí)行圖94的步驟S1091至S1105的處理。

也就是說,在確定編碼塊和鄰近塊的參考圖像二者是長參考圖像時,不提供圖94的流程圖的所有處理。因此有可能降低處理負荷。

系列處理可以應用于多視圖圖像編碼和解碼(多視圖編碼器和解碼器)。也就是說,可以在執(zhí)行多視圖編碼和解碼時提高編碼效率。系列處理可以應用于層圖像編碼(空間可縮放性)和層圖像解碼(多層編碼器和解碼器)。也就是說,可以在執(zhí)行層圖像編碼和解碼時提高編碼效率。

另外,系列處理可以應用于單視圖圖像(1視圖)的所謂2D圖像。

本技術可以應用于如下圖像信息編碼設備和圖像解碼設備:在經由網絡介質、比如衛(wèi)星廣播、線纜TV、因特網或者蜂窩電話接收已經如在MPEG、H.26x等的情況下那樣通過比如離散余弦變換的正交變換和運動補償而壓縮的圖像信息(比特流)時使用該圖像信息編碼設備和圖像解碼設備。另外,本技術可以應用于在存儲介質、比如光盤或者磁盤或者閃存上處理圖像信息(比特流)時使用的圖像編碼設備和圖像解碼設備。另外,本技術可以應用于在圖像編碼設備、圖像解碼設備等中包括的運動預測補償設備。

[7.第七實施例]

[計算機]

以上描述的系列處理可以不僅由硬件而且由軟件執(zhí)行。在系列處理由軟件執(zhí)行時,在軟件中包括的程序安裝于計算機中。這里,計算機可以是向專用硬件或者通用個人計算機中集成的計算機,該計算機可以通過在計算機中安裝各種程序來執(zhí)行各種功能。

在圖95中,個人計算機700的CPU(中央處理單元)701根據ROM(只讀存儲器)702中存儲的程序或者從存儲單元713向RAM(隨機存取存儲器)703中加載的程序來執(zhí)行各種處理。為了CPU 701執(zhí)行各種處理而必需的數據也適當存儲于RAM 703中。

CPU 701、ROM 702和RAM 703經由總線704相互連接。輸入/輸出接口710也連接到總線704。

由鍵盤、鼠標等形成的輸入單元711、由CRT(陰極射線管)和LCD(液晶顯示器)形成的顯示器、揚聲器等形成的輸出單元712、由硬盤等形成的存儲單元713、以及由調制解調器等形成的通信單元714連接到輸入/輸出接口710。通信單元714經由包括因特網的網絡執(zhí)行通信處理。

驅動器715按照需要連接到輸入/輸出接口710,可去除介質721、比如磁盤、光盤、光磁盤和半導體存儲器適當裝配于驅動器上,并且按照需要在存儲單元713上安裝從介質讀取的計算機程序。

在系列處理由軟件執(zhí)行時,經由網絡或者記錄介質安裝在軟件中包括的程序。

例如如圖95中所示,記錄介質不僅由如下可去除介質721而且由如下ROM 702和在如下存儲單元713中包括的硬盤組成,該可去除介質包括磁盤(包括軟盤)、光盤(包括CD-ROM(光盤-只讀存儲器)和DVD(數字萬用盤))、光磁盤(包括MD(迷你盤))和半導體存儲器,在該可去除介質中記錄程序,向用戶分發(fā)該可去除介質用于與裝置主體分離地分發(fā)程序,在該ROM中記錄程序,在預先嵌入于裝置主體中的狀態(tài)中向用戶分發(fā)該存儲單元。

計算機執(zhí)行的程序可以是根據在本說明書中描述的處理以時序方式執(zhí)行處理的程序、并且可以是并行方式或者在必需時間、比如響應于調用來執(zhí)行處理的程序。

這里在本說明書中,描述在記錄介質中記錄的程序的步驟不僅包括根據描述的過程以時序方式執(zhí)行的處理、而且包括并行和/或單獨執(zhí)行的處理、即使未總是以時序方式執(zhí)行它。

在本說明書中,術語“系統(tǒng)”用來意味著作為整體的包括多個設備(裝置)的裝置。

在以上描述中,可以將描述為一個裝置(或者處理器)的配置拆分成多個裝置(或者處理器)。備選地,可以向單個裝置(或者處理器)中集成描述為多個裝置(或者處理器)的配置。另外,可以在每個裝置(或者每個處理器)的以上描述的配置中包括除了以上討論的配置之外的配置。如果作為整體的系統(tǒng)的配置和操作基本上相同,則可以向另一裝置(或者另一處理器)的配置添加裝置(或者處理器)的配置的部分。本公開內容的實施例不限于以上描述的實施例,但是可以在未脫離本公開內容的主旨的范圍內進行各種修改。

[8.第八實施例]

根據以上描述的實施例的圖像編碼設備和圖像解碼設備可以應用于各種電子裝置、比如在線纜廣播(比如衛(wèi)星廣播或者有線電視)上或者在因特網上分發(fā)信號、并且通過蜂窩通信向終端分發(fā)信號的發(fā)送器或者接收器、在介質、比如光盤、磁盤或者閃存上記錄圖像的記錄介質、或者從這些存儲介質再現(xiàn)圖像的再現(xiàn)設備。以下將描述四個應用示例。

[第一應用示例:電視裝置]

圖96圖示以上描述的實施例應用于的電視裝置的示意配置的示例。電視裝置900包括天線901、調諧器902、去復用器903、解碼器904、視頻信號處理器905、顯示單元906、音頻信號處理器907、揚聲器908、外部接口909、控制單元910、用戶接口911和總線912。

調諧器902從經由天線901接收的廣播信號提取所需頻道的信號并且解調提取的信號。然后,調諧器902向去復用器903輸出通過解調而獲得的編碼比特流。也就是說,調諧器902用作電視裝置900中的發(fā)送裝置,該發(fā)送裝置接收其中對圖像編碼的編碼流。

復用器903從編碼比特流分離待觀看的節(jié)目的視頻流和音頻流,并且向解碼器904輸出每個分離的流。另外,復用器903從編碼比特流提取輔助數據、比如EPG(電子節(jié)目指南),并且向控制單元910供應提取的數據。去復用器903可以在編碼比特流被加擾時解擾。

解碼器904對從去復用器903輸入的視頻流和音頻流解碼。然后,解碼器904向視頻信號處理器905輸出通過解碼處理生成的視頻數據。另外,解碼器904向音頻信號處理器907輸出通過解碼處理生成的音頻數據。

視頻信號處理器905再現(xiàn)從解碼器904輸入的視頻數據、并且允許顯示單元906顯示視頻。視頻信號處理器905也可以允許顯示單元906顯示經由網絡供應的應用屏幕。視頻信號處理器905也可以根據設置,對視頻數據執(zhí)行附加處理、例如比如噪聲去除。另外,視頻信號處理器905可以生成GUI(圖形用戶界面)圖像、例如比如菜單、按鈕和光標,并且在輸出圖像上疊加生成的圖像。

顯示單元906由從視頻信號處理器905供應的驅動器信號驅動,以在顯示設備(例如液晶顯示器、等離子體顯示器、OELD(有機電致發(fā)光顯示器(有機EL顯示器))等)的視頻屏幕上顯示視頻或者圖像。

音頻信號處理器907對從解碼器904輸入的音頻數據執(zhí)行再現(xiàn)處理、比如D/A轉換和放大,并且允許揚聲器908輸出音頻。音頻信號處理器907也可以對音頻數據執(zhí)行附加處理、比如噪聲去除。

外部接口909是用于連接電視裝置900和外部設備或者網絡的接口。例如經由外部接口909接收的視頻流或者音頻流可以由解碼器904解碼。也就是說,外部接口909也用作電視裝置900中的發(fā)送裝置,該發(fā)送裝置接收其中對圖像編碼的編碼流。

控制單元910包括處理器如CPU以及存儲器如RAM和ROM。存儲器存儲CPU執(zhí)行程序、程序數據、EPG數據、經由網絡獲得的數據等。在存儲器中存儲的程序例如在電視裝置900啟動時由CPU讀取以執(zhí)行。CPU通過執(zhí)行程序例如根據從用戶接口911輸入的操作信號、控制電視裝置900的操作。

用戶接口911連接到控制單元910。用戶接口911例如包括用于用戶操作電視裝置900的按鈕和開關、遙控信號的接收器等。用戶接口911檢測用戶經由部件輸入的操作以生成操作信號、并且向控制單元910輸出生成的操作信號。

總線912相互連接調諧器902、去復用器903、解碼器904、視頻信號處理器905、音頻信號處理器907、外部接口909和控制單元910。

在以這一方式配置的電視裝置900中,解碼器904具有根據以上描述的實施例的圖像解碼裝置50的功能。因此,在電視裝置900中對圖像解碼時,可以抑制編碼效率降低。

[第二應用示例:移動電話]

圖97圖示以上描述的實施例應用于的移動電話的示意配置的示例。移動電話920包括天線921、通信單元922、音頻編碼解碼器923、揚聲器924、麥克風925、相機單元926、圖像處理器927、復用/分離單元928、記錄/再現(xiàn)單元929、顯示單元930、控制單元931、操作單元932和總線933。

天線921連接到通信單元922。揚聲器924和麥克風925連接到音頻編碼解碼器923。操作單元932連接到控制單元931。總線933相互連接通信單元922、音頻編碼解碼器923、相機單元926、圖像處理器927、復用/分離單元928、記錄/再現(xiàn)單元929、顯示單元930和控制單元931。

移動電話920在包括音頻通信模式、數據通信模式、成像模式和電視-電話模式的各種操作模式中,執(zhí)行操作、比如發(fā)送/接收音頻信號、發(fā)送/接收電子郵件或者圖像數據、圖像拍攝和記錄數據。

在音頻通信模式中,向音頻編碼解碼器923供應麥克風925生成的模擬音頻信號。音頻編碼解碼器923將模擬音頻信號轉換成音頻數據,并且轉換的音頻數據進行A/D轉換以壓縮。然后,音頻編碼解碼器923向通信單元922輸出壓縮的音頻數據。通信單元922對音頻數據編碼和調制以生成發(fā)送信號。然后,通信單元922經由天線921向基站(未圖示)發(fā)送生成的發(fā)送信號。另外,通信單元922放大經由天線921接收的無線信號,并且向無線信號應用頻率轉換以獲得接收信號。然后,通信單元922通過解調和解碼接收信號來生成音頻數據,并且向音頻編碼解碼器923輸出生成的音頻數據。音頻編碼解碼器923擴展音頻數據并且D/A轉換音頻數據以生成模擬音頻信號。然后,音頻編碼解碼器923向揚聲器924供應生成的音頻信號以輸出音頻。

例如在數據通信模式中,控制單元931根據用戶經由操作單元932的操作,生成組成電子郵件的字符數據。另外,控制單元931允許顯示單元930顯示字符。控制單元931根據經由操作單元932來自用戶的傳輸指令生成電子郵件數據,以向通信單元922輸出生成的電子郵件數據。通信單元922對電子郵件數據編碼和調制以生成發(fā)送信號。然后,通信單元922經由天線921向基站(未圖示)發(fā)送生成的發(fā)送信號。另外,通信單元922放大經由天線921接收的無線信號,并且向接收信號應用頻率轉換以獲得接收信號。然后,通信單元922解調和解碼接收信號以恢復電子郵件數據,并且向控制單元931輸出恢復的電子郵件數據。控制單元931允許顯示單元930顯示電子郵件數據的內容,并且允許記錄/再現(xiàn)單元929的存儲介質存儲電子郵件數據。

記錄/再現(xiàn)單元929包括任意可讀/可寫存儲介質。例如存儲介質可以是內置存儲介質、比如RAM和閃存,并且可以是外部裝配的存儲介質、比如硬盤、磁盤、光磁盤、光盤、USB(未分配的空間位圖)存儲器和記憶卡。

例如在成像模式中,相機單元926拍攝物體的圖像以生成圖像數據,并且向圖像處理器927輸出生成的圖像數據。圖像處理器927對從相機單元926輸入的圖像數據編碼,并且在記錄/再現(xiàn)單元929的存儲介質中存儲編碼流。

另外,例如在電視-電話模式中,復用/分離單元928復用圖像處理器927編碼的視頻流和從音頻編碼解碼器923輸入的音頻流,并且向通信單元922輸出復用流。通信單元922對流編碼和調制以生成發(fā)送信號。然后,通信單元922經由天線向基站(未示出)發(fā)送生成的發(fā)送信號。另外,通信單元922放大經由天線921接收的無線信號,并且向無線信號應用頻率轉換以獲得接收信號。發(fā)送信號和接收信號可以包括編碼比特流。然后,通信單元922通過解調和解碼接收信號來恢復流,并且向復用/分離單元928輸出恢復流。復用/分離單元928從輸入流分離視頻流和音頻流,并且分別向圖像處理器927和音頻編碼解碼器923輸出視頻流和音頻流。圖像處理器927對視頻流解碼以生成視頻數據。向顯示單元930供應視頻數據,并且顯示單元930顯示系列圖像。音頻編碼解碼器923擴展音頻流并且D/A轉換音頻流以生成模擬音頻信號。然后,音頻編碼解碼器923向揚聲器924供應生成的音頻信號以輸出音頻。

在以這一方式配置的移動電話920中,圖像處理器927具有根據以上描述的實施例的圖像編碼設備10和圖像解碼設備50的功能。因此,在移動電話920中對圖像編碼和解碼時,可以抑制編碼效率降低。

[第三應用示例:記錄/再現(xiàn)裝置]

圖98圖示以上描述的實施例應用于的記錄/再現(xiàn)裝置的示意配置的示例。記錄/再現(xiàn)裝置940例如對接收的廣播節(jié)目的音頻數據和視頻數據編碼,并且在記錄介質上記錄編碼數據。另外,記錄/再現(xiàn)裝置940例如可以對從另一裝置獲得的音頻數據和視頻數據編碼,并且在記錄介質上記錄編碼數據。另外,記錄/再現(xiàn)裝置940根據用戶的指令,通過監(jiān)視器和揚聲器再現(xiàn)在記錄介質上記錄的數據。在這一情況下,記錄/再現(xiàn)裝置940對音頻數據和視頻數據解碼。

記錄/再現(xiàn)裝置940包括調諧器941、外部接口942、編碼器943、HDD(硬盤驅動器)944、盤驅動器945、選擇器946、解碼器947、OSD(屏上顯示器)948、控制單元949和用戶接口950。

調諧器941從經由天線(未圖示)接收的廣播信號提取所需頻道的信號并且解調提取的信號。然后,調諧器941向選擇器946輸出通過解調而獲得的編碼比特流。也就是說,調諧器941用作記錄/再現(xiàn)裝置940中的發(fā)送裝置。

外部接口942是用于連接記錄/再現(xiàn)裝置940和外部設備或者網絡的接口。外部接口942可以例如是IEEE1394接口、網絡接口、USB接口、閃存接口等。例如向編碼器943輸入經由外部接口942接收的視頻數據和音頻數據。也就是說,外部接口942用作記錄/再現(xiàn)裝置940中的發(fā)送裝置。

在從外部接口942輸入的視頻數據和音頻數據未被編碼時編碼器943對視頻數據和音頻數據編碼。然后,編碼器943向選擇器946輸出編碼比特流。

HDD 944在內部硬盤上記錄其中壓縮內容數據、比如視頻和音頻的編碼比特流、各種程序和其它數據。HDD 944在再現(xiàn)視頻和音頻時從硬盤讀取數據。

盤驅動器945在裝配的記錄介質上記錄和從裝配的記錄介質讀取數據。在盤驅動器945上裝配的記錄介質可以例如是DVD盤(DVD-視頻、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)、藍光(注冊商標)盤等。

在記錄視頻和音頻時,選擇器946選擇從調諧器941或者編碼器943輸入的編碼比特流,并且向HDD 944或者盤驅動器945輸出選擇的編碼比特流。另外,在再現(xiàn)視頻和音頻時,選擇器946向解碼器947輸出從HDD 944或者盤驅動器945輸入的編碼比特流。

解碼器947對編碼比特流解碼以生成視頻數據和音頻數據。然后,解碼器947向OSD 948輸出生成的視頻數據。另外,解碼器904向外部揚聲器輸出生成的音頻數據。

OSD 948再現(xiàn)從解碼器947輸入的視頻數據以顯示視頻。OSD 948也在顯示的視頻上疊加GUI圖像、例如比如菜單、按鈕和光標。

控制單元949包括處理器如CPU以及存儲器如RAM和ROM。存儲器存儲CPU執(zhí)行的程序、程序數據等。在存儲器中存儲的程序例如在記錄/再現(xiàn)裝置940啟動時由CPU讀取以執(zhí)行。CPU通過執(zhí)行程序、例如根據從用戶接口950輸入的操作信號、控制記錄/再現(xiàn)裝置940的操作。

用戶接口950連接到控制單元949。用戶接口950例如包括用于用戶操作記錄/再現(xiàn)裝置940的按鈕和開關、以及遙控信號的接收器。用戶接口950檢測用戶經由部件的操作以生成操作信號,并且向控制單元949輸出生成的操作信號。

在以這一方式配置的記錄/再現(xiàn)裝置940中,編碼器943具有根據以上描述的實施例的圖像編碼設備10的功能。另外,解碼器947具有根據以上描述的實施例的圖像解碼設備50的功能。因此,在記錄/再現(xiàn)裝置940中對圖像編碼和解碼時,可以抑制編碼效率降低。

[第四應用示例:成像裝置]

圖99圖示以上描述的實施例應用于的成像裝置的示意配置的示例。成像裝置960對物體成像以生成圖像、對圖像數據編碼并且在記錄介質上記錄編碼數據。

成像裝置960包括光盤961、成像單元962、信號處理器963、圖像處理器964、顯示單元965、外部接口966、存儲器967、介質驅動器968、OSD 969、控制單元970、用戶接口917和總線972。

光學塊961連接到成像單元962。成像單元962連接到信號處理器963。顯示單元965連接到圖像處理器964。用戶接口971連接到控制單元970。總線972相互連接圖像處理器964、外部接口966、存儲器967、介質驅動器968、OSD 969和控制單元970。

光盤961包括聚焦透鏡、振動膜機制等。光學塊961在成像單元862的成像表面上形成對象的光學圖像。成像單元962包括成像傳感器、比如CCD(電荷耦合器件)和CMOS(互補金屬氧化物半導體),并且通過光電轉換將在成像表面上形成的光學圖像轉換成圖像信號作為電信號。然后,成像單元962向信號處理器963輸出圖像信號。

信號處理器963對從成像單元962輸入的圖像信號執(zhí)行各種相機信號處理、比如拐點校正、伽馬校正和色校正。信號處理器963向圖像處理器964輸出在相機信號處理之后的圖像流數據。

圖像處理器964對從信號處理器963輸入的圖像數據編碼以生成編碼數據。然后,圖像處理器964向外部接口966或者介質驅動器968輸出生成的編碼數據。另外,圖像處理器964對從外部接口966或者介質驅動器968輸入的編碼數據解碼以生成圖像數據。然后,圖像處理器964向顯示單元965輸出生成的圖像數據。圖像處理器964也可以向顯示單元965輸出從信號處理器963輸入的圖像數據以顯示圖像。圖像處理器964也可以在向顯示單元965輸出的圖像上疊加從OSD 969獲得的用于顯示的數據。

OSD 969生成GUI圖像、如比如菜單、按鈕和光標,并且向圖像處理器964輸出生成的圖像。

外部接口966例如被配置為USB輸入/輸出端子。外部接口966例如在打印圖像時連接成像裝置960和打印機。另外,驅動器按照需要連接到外部接口966??扇コ橘|、比如磁盤和光盤例如裝配于驅動器上,并且從可去除介質讀取的程序可以安裝于成像裝置960上。另外,外部接口966可以被配置為連接到網絡、比如LAN和因特網的網絡接口。也就是說,外部接口966用作成像裝置960中的發(fā)送裝置。

在介質驅動器968上裝配的記錄介質可以是任意可讀/可寫可去除介質、如比如磁盤、光磁盤、光盤和半導體存儲器。另外,記錄介質可以固定地裝配于介質驅動器968上以形成非便攜存儲單元、如比如內置硬盤驅動器或者SSD(固態(tài)驅動器)。

控制單元970包括處理器如CPU以及存儲器如RAM和ROM。存儲器存儲CPU執(zhí)行的程序和程序數據。在存儲器中存儲的程序例如在成像裝置960啟動時由CPU讀取執(zhí)行。CPU例如通過執(zhí)行程序、根據從用戶接口971輸入的操作信號、控制成像裝置960的操作。

用戶接口971連接到控制單元970。用戶接口971例如包括用于用戶操作成像裝置960的按鈕、開關等。用戶接口971檢測用戶經由部件的操作以生成操作信號,并且向控制單元970輸出生成的操作信號。

在以這一方式配置的成像裝置960中,圖像處理器964具有根據以上描述的實施例的圖像編碼設備10和圖像解碼設備50的功能。因此,在成像裝置960中對圖像編碼和解碼時,可以抑制編碼效率降低。

在本說明書中,已經描述如下示例,在該示例中,向首部中復用并且從編碼側向解碼側發(fā)送各種類型的信息、比如閾值。然而發(fā)送這些信息項的方法不限于這一示例。例如可以發(fā)送或者記錄這些信息項為與編碼比特流關聯(lián)的單獨數據、而不是向編碼比特流中復用。這里,術語“關聯(lián)”意味著在比特流中包括的圖像(或者圖像的部分、比如切片和塊)、和與圖像對應的信息可以在解碼時相互鏈接。也就是說,可以在傳輸線上發(fā)送除了圖像(或者比特流)的信息之外的信息。另外,信息可以記錄于除了圖像(或者比特流)的記錄介質之外的另一記錄介質(或者相同記錄介質的另一記錄區(qū)域)上、另外,信息和圖像(或者比特流)可以按照可選單位、例如比如多個幀、一幀或者幀的部分相互關聯(lián)。

盡管已經參照附圖具體描述本公開內容的優(yōu)選實施例,但是本公開內容不限于實施例。本領域技術人員將容易理解:可以在未脫離如在權利要求中描述的技術精神實質時在實施例中進行的各種修改和改變。因而,所有這樣的修改和改變旨在于包含于如在權利要求中限定的本公開內容的范圍內。

本技術可以包括以下構成:

(1)一種圖像處理設備,包括:

預測矢量生成單元,預測矢量生成單元在對在使用在視差方向上的相關性的預測中使用的當前塊的當前視差矢量編碼時,使用在生成預測運動矢量時參考的參考視差矢量來生成當前視差矢量的預測矢量;以及

差值矢量生成單元,差值矢量生成單元生成當前視差矢量與預測矢量生成單元生成的預測矢量之間的差值矢量。

(2)根據(1)的圖像處理設備,其中:

預測矢量生成單元使用在與當前視圖相同的視圖的當前畫面不同的時間的共同定位的畫面中包括的共同定位的塊的視差矢量,生成當前視差矢量的預測矢量。

(3)根據(2)的圖像處理設備,其中:

預測矢量生成單元在當前塊的矢量的特性與共同定位的塊的矢量的特性相同時,設置共同定位的塊為可用。

(4)根據(3)的圖像處理設備,其中:

矢量的特性是矢量的類型,并且

預測矢量生成單元在當前塊的矢量的特性是視差矢量并且共同定位的塊的矢量的特性是視差矢量時,設置共同定位的塊為可用。

(5)根據(3)或者(4)的圖像處理設備,其中:

預測運動矢量生成單元使用指示畫面的輸出順序的畫面順序計數POC,確定當前塊的矢量的特性和共同定位的塊的矢量的特性。

(6)根據(5)的圖像處理設備,其中:

預測運動矢量生成單元使用當前畫面的POC、從當前畫面參考的當前參考畫面的POC、共同定位的畫面的POC和從共同定位的畫面參考的共同定位的參考畫面的POC,確定當前塊的矢量的特性和共同定位的塊的矢量的特性。

(7)根據(6)的圖像處理設備,其中:

預測運動矢量生成單元在當前畫面的POC與從當前畫面參考的當前參考畫面的POC相同、并且共同定位的畫面的POC與從共同定位的畫面參考的共同定位的參考畫面的POC相同時,確定當前塊的矢量的特性和共同定位的塊的矢量的特性是視差矢量。

(8)根據(2)至(7)中的任一項的圖像處理設備,其中:

預測矢量生成單元在當前塊的矢量的特性與共同定位的塊的矢量的特性不同時,設置共同定位的塊為不可用。

(9)根據(8)的圖像處理設備,其中:

矢量的特性是參考畫面的類型,并且

預測矢量生成單元在當前塊的參考畫面的類型與共同定位的塊的參考畫面的類型不同時,設置共同定位的塊為不可用。

(10)根據(8)或者(9)的圖像處理設備,其中:

矢量的特性是參考畫面的類型,并且

預測矢量生成單元在當前塊的參考畫面的類型是長參考類型并且共同定位的塊的參考畫面的類型是長參考類型時,略過搜索參考索引的搜索處理。

(11)根據(1)至(10)中的任一項的圖像處理設備,其中:

預測矢量生成單元使用在與當前視圖不同的視圖的當前畫面相同的時間的畫面中包括的參考塊的視差矢量,生成當前視差矢量的預測矢量。

(12)根據(1)至(11)中的任一的圖像處理設備,其中:

預測矢量生成單元基于在當前畫面與在生成預測運動矢量時參考的參考畫面之間的位置關系縮放參考視差矢量,以生成當前視差矢量的預測矢量。

(13)根據(1)至(12)中的任一的圖像處理設備,其中:

預測矢量生成單元在對在使用在時間方向上的相關性的預測中使用的當前塊的當前運動矢量編碼時,使用在生成預測運動矢量時參考的參考運動矢量來生成當前運動矢量的預測矢量,并且

差值矢量生成單元生成當前運動矢量與預測矢量生成單元生成的預測矢量之間的差值矢量。

(14)根據(13)的圖像處理設備,其中:

預測矢量生成單元使用在與當前視圖不同的視圖的當前畫面相同的時間的畫面中包括的參考塊的運動矢量,生成當前運動矢量的預測矢量。

(15)根據(13)或者(14)的圖像處理設備,其中:

預測矢量生成單元使用在與當前視圖相同的視圖的當前畫面不同的時間的畫面中包括的參考塊的運動矢量,生成當前運動矢量的預測矢量。

(16)根據(15)的圖像處理設備,其中:

預測矢量生成單元基于當前畫面與在生成預測運動矢量時參考的參考畫面之間的位置關系來縮放參考運動矢量,以生成當前運動矢量的預測矢量。

(17)根據(1)至(16)中的任一項的圖像處理設備,其中:

預測矢量生成單元在移位與當前視圖不同的視圖的當前畫面相同的時間的畫面的像素的位置的狀態(tài)中,使用與位于當前塊相同的位置的塊的矢量來生成預測矢量。

(18)根據(17)的圖像處理設備,其中:

預測矢量生成單元根據當前塊的鄰近區(qū)域的視差矢量,設置圖像的移位量。

(19)根據(18)的圖像處理設備,其中:

預測矢量生成單元使用其中在Y方向上的視差矢量的值不是零的鄰近塊的在X方向上的視差矢量,作為移位量。

(20)根據(18)或者(19)的圖像處理設備,其中:

預測矢量生成單元使用根據其中在Y方向上的視差矢量的值不是零的多個鄰近塊的在X方向上的視差矢量計算的值,作為移位量。

(21)根據(20)的圖像處理設備,其中:

預測矢量生成單元使用其中在Y方向上的視差矢量的值不是零的多個鄰近塊的在X方向上的視差矢量的平均值或者中值,作為圖像的移位量。

(22)根據(17)至(21)中的任一項的圖像處理設備,其中:

預測矢量生成單元根據全局視差矢量設置圖像的移位量。

(23)一種圖像處理設備的圖像處理方法,用于允許圖像處理設備執(zhí)行:

在對在使用在視差方向上的相關性的預測中使用的當前塊的當前視差矢量編碼時,使用在生成預測運動矢量時參考的參考視差矢量來生成當前視差矢量的預測矢量;并且

生成當前視差矢量與所生成的預測矢量之間的差值矢量。

(24)一種圖像處理設備,包括:

預測矢量生成單元,預測矢量生成單元在對在使用在視差方向上的相關性的預測中使用的當前塊的當前視差矢量解碼時,使用在生成預測運動矢量時參考的參考視差矢量來生成當前視差矢量的預測矢量;以及

算術單元,算術單元執(zhí)行將預測矢量生成單元生成的預測矢量和當前視差矢量與預測矢量之間的差值矢量相加的運算,以重建當前視差矢量。

(25)一種圖像處理設備的圖像處理方法,用于允許圖像處理設備執(zhí)行:

在對在使用在視差方向上的相關性的預測中使用的當前塊的當前視差矢量解碼時,使用在生成預測運動矢量時參考的參考視差矢量來生成當前視差矢量的預測矢量;并且

執(zhí)行將所生成的預測矢量和當前視差矢量與預測矢量之間的差值矢量相加的運算,以重建當前視差矢量。

(26)一種圖像處理設備,包括:

預測矢量生成單元,預測矢量生成單元在對在使用在時間方向上的相關性的預測中使用的當前塊的當前運動矢量編碼時,在當前塊的參考畫面的類型和在與當前畫面不同的時間的共同定位的畫面中包括的共同定位的塊的參考畫面的類型不同時,設置共同定位的塊為不可用,并且使用在生成預測運動矢量時參考的參考運動矢量來生成當前運動矢量的預測矢量;以及

差值矢量生成單元,差值矢量生成單元生成當前運動矢量與預測矢量生成單元生成的預測矢量之間的差值矢量。

(27)一種圖像處理設備的圖像處理方法,用于允許圖像處理設備執(zhí)行:

在對在使用在時間方向上的相關性的預測中使用的當前塊的當前運動矢量編碼時,在當前塊的參考畫面的類型和在與當前畫面不同的時間的共同定位的畫面中包括的共同定位的塊的參考畫面的類型不同時,設置共同定位的塊為不可用,并且使用在生成預測運動矢量時參考的參考運動矢量來生成當前運動矢量的預測矢量;并且

生成當前運動矢量與所生成的預測矢量之間的差值矢量。

附圖標記列表

100 圖像編碼設備

115 運動視差預測/補償單元

121 多視圖解碼畫面緩沖器

131 運動視差矢量搜索單元

132 預測圖像生成單元

133 編碼信息累積緩沖器

134 選擇器

135 空間相關性預測矢量生成單元

136 時間視差相關性預測矢量生成單元

137 選擇器

138 編碼成本計算單元

139 模式確定單元

151 當前區(qū)域處理器

152 相關性區(qū)域處理器

153 L1預測處理器

154 L0預測處理器

155 方案1處理器

156 方案2處理器

157 方案3處理器

158 方案4處理器

159 預測矢量生成單元

300 圖像解碼設備

312 運動視差補償單元

321 解碼多視圖畫面緩沖器

331 編碼信息累積緩沖器

332 空間相關性預測矢量生成單元

333 時間視差相關性預測矢量生成單元

334 選擇器

335 算術單元

336 預測圖像生成單元

400 圖像編碼設備

415 模式預測/補償單元

421 基本視圖編碼器

433,434 矢量預測單元

457 基于不同畫面的預測矢量生成單元

471 視差矢量確定單元

472 視圖間參考矢量生成單元

473 視圖內參考矢量生成單元

500 圖像解碼設備

512 運動補償單元

521 基本視圖解碼器

533,534 矢量解碼單元

553 基于不同畫面的預測矢量生成單元

571 視差矢量確定單元

572 視圖間參考矢量生成單元

573 視圖內參考矢量生成單元

當前第1頁1 2 3 
網友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
新乐市| 唐河县| 张家口市| 贵州省| 尉氏县| 泽普县| 绵竹市| 剑阁县| 宿松县| 儋州市| 通河县| 保靖县| 哈巴河县| 海门市| 濮阳县| 富宁县| 苗栗县| 尚义县| 尚志市| 康保县| 南投市| 莒南县| 大丰市| 苏州市| 临城县| 建水县| 杭锦旗| 景泰县| 巩义市| 浦县| 沁水县| 孟州市| 博罗县| 贺兰县| 穆棱市| 江阴市| 大连市| 平武县| 游戏| 邻水| 邹平县|