技術(shù)領(lǐng)域

本發(fā)明涉及動態(tài)圖像編碼方法和動態(tài)圖像解碼方法。

背景技術(shù)：

在動態(tài)圖像編碼處理中，一般地，利用動態(tài)圖像所具有的空間方向和時間方向的冗長性進行信息量的壓縮。這里，一般地，作為利用空間方向的冗長性的方法，使用針對頻率區(qū)域的變換，作為利用時間方向的冗長性的方法，使用圖片間預(yù)測(以后稱為幀間預(yù)測)編碼處理。在幀間預(yù)測編碼處理中，在對某個圖片進行編碼時，將相對于編碼對象圖片位于顯示時間順序前方或后方的已編碼的圖片用作參照圖片。然后，通過編碼對象圖片相對于該參照圖片的運動檢測而導(dǎo)出運動矢量，取得根據(jù)運動矢量進行運動補償而得到的預(yù)測圖像數(shù)據(jù)與編碼對象圖片的圖像數(shù)據(jù)的差分，由此去除時間方向的冗長性。這里，在運動檢測中，計算編碼圖片內(nèi)的編碼對象塊與參照圖片內(nèi)的塊的差分值，將差分值最小的參照圖片內(nèi)的塊作為參照塊。然后，使用編碼對象塊和參照塊檢測運動矢量。

在已經(jīng)標準化的被稱為H.264的動態(tài)圖像編碼方式中，為了壓縮信息量，使用I圖片、P圖片、B圖片這3種圖片類型。I圖片是不進行幀間預(yù)測編碼處理、即進行圖片內(nèi)預(yù)測(以后稱為幀內(nèi)預(yù)測)編碼處理的圖片。P圖片是參照在顯示時間順序中位于編碼對象圖片的前方或后方的已經(jīng)編碼的1個圖片進行幀間預(yù)測編碼的圖片。B圖片是參照在顯示時間順序中位于編碼對象圖片的前方或后方的已經(jīng)編碼的2個圖片進行幀間預(yù)測編碼的圖片。

在幀間預(yù)測編碼中，生成用于確定參照圖片的參照圖片列表。參照圖片列表是對幀間預(yù)測中參照的已編碼的參照圖片分配參照圖片索引的列表。例如，在B圖片中，由于參照2個圖片進行編碼，所以，保持2個參照圖片列表。然后，根據(jù)參照圖片索引，從參照圖片列表中確定參照圖片。

圖1A是用于說明參照圖片索引針對參照圖片的分配的圖，圖1B和圖1C是示出B圖片中的參照圖片列表的一例的圖。

在圖1A中，例如，關(guān)于顯示順序，假設(shè)按照參照圖片3、參照圖片2、參照圖片1、編碼對象圖片的順序排列的情況。該情況下，參照圖片列表1(以后稱為參照列表L0)是雙方向預(yù)測中的預(yù)測方向1的參照圖片列表的例子，如圖1B所示，對參照圖片索引1的值“0”分配顯示順序2的參照圖片1，對參照圖片索引1的值“1”分配顯示順序1的參照圖片2，對參照圖片索引1的值“2”分配顯示順序0的參照圖片3。即，針對編碼對象圖片，按照顯示順序中時間從近到遠的順序分配參照圖片索引。另一方面，參照圖片列表2(以后稱為參照列表L1)是雙方向預(yù)測中的預(yù)測方向2的參照圖片列表的例子，如圖1C所示，對參照圖片索引2的值“0”分配顯示順序1的參照圖片2，對參照圖片索引2的值“1”分配顯示順序2的參照圖片1，對參照圖片索引2的值“2”分配顯示順序0的參照圖片3。這樣，針對各參照圖片，按照預(yù)測方向能夠分配不同的參照圖片索引(圖1A所示的參照圖片1、2)，也能夠分配相同的參照圖片索引(圖1A所示的參照圖片3)。在B圖片的編碼時，利用參照使用參照列表L0由參照圖片索引1確定的參照圖片的運動矢量(mvL0)以及參照使用參照列表L1由參照圖片索引2確定的參照圖片的運動矢量(mvL1)，進行幀間預(yù)測。在P圖片的情況下，使用一個參照圖片列表。

并且，在被稱為H.264的動態(tài)圖像編碼方式中，在B圖片的編碼中，在導(dǎo)出運動矢量時，能夠選擇被稱為時間直接的編碼模式。使用圖2對時間直接中的幀間預(yù)測編碼方法進行說明。圖2是示出時間直接中的運動矢量的說明圖，示出通過時間直接對圖片B2的塊a進行編碼的情況。該情況下，利用對位于圖片B2后方的參照圖片即圖片P3中的、位于與塊a相同位置的塊b進行編碼時使用的運動矢量a。運動矢量a是對塊b進行編碼時使用的運動矢量，參照圖片P1。使用與運動矢量a平行的運動矢量，從前方向參照圖片即圖片P1和后方參照圖片即圖片P3中取得參照塊，進行雙方向預(yù)測，從而對塊a進行編碼。即，對塊a進行編碼時使用的運動矢量針對圖片P1來說是運動矢量b，針對圖片P3來說是運動矢量c。

現(xiàn)有技術(shù)文獻

非專利文獻

非專利文獻1：ITU-T H.264 03/2010

技術(shù)實現(xiàn)要素：

發(fā)明要解決的課題

但是，在現(xiàn)有的時間直接中，時間直接時利用的運動矢量限定為顯示時間順序中位于編碼對象圖片后方的參照圖片的運動矢量、并且顯示時間順序前方向的運動矢量。

這樣，由于限定了時間直接時利用的運動矢量，很難導(dǎo)出最適于編碼對象圖片的運動矢量，產(chǎn)生導(dǎo)致壓縮率低下的課題。

本發(fā)明的目的在于解決上述課題，其目的在于，提供如下的動態(tài)圖像編碼方法和動態(tài)圖像解碼方法：通過自適應(yīng)地選擇時間直接時利用的運動矢量，能夠?qū)С鲎钸m于編碼對象圖片的運動矢量，并且能夠提高壓縮率。

用于解決課題的手段

為了實現(xiàn)上述目的，本發(fā)明的動態(tài)圖像編碼方法對編碼對象圖片中包含的編碼對象塊進行編碼，其中，該動態(tài)圖像編碼方法包括以下步驟：判斷步驟，判斷包含在與所述編碼對象圖片不同的參照圖片中、且所述參照圖片內(nèi)的位置與編碼對象圖片內(nèi)的編碼對象塊的位置相同的參照塊是否具有2個參照顯示順序前方的參照運動矢量、或者是否具有2個參照顯示順序后方的參照運動矢量；計算步驟，在所述判斷步驟中判斷為所述參照塊具有2個參照運動矢量的情況下，通過分別對2個所述參照運動矢量進行縮放，計算所述編碼對象塊的運動矢量候選；選擇步驟，選擇所述運動矢量候選中的與規(guī)定運動矢量之間的誤差小的運動矢量候選；以及編碼步驟，使用所述規(guī)定運動矢量對所述編碼對象塊進行編碼，對所述規(guī)定運動矢量與選擇出的所述運動矢量候選之間的誤差以及用于確定選擇出的所述運動矢量候選的信息進行編碼。

并且，也可以是，在所述判斷步驟中，在所述參照圖片所具有的第1參照圖片列表和第2參照圖片列表中，在針對能夠參照所述參照圖片的圖片的索引的分配順序相同的情況下，判斷所述參照塊是否具有2個參照顯示順序前方的參照運動矢量、或者是否具有2個參照顯示順序后方的參照運動矢量。

并且，也可以是，在所述計算步驟中，在所述判斷步驟中判斷為所述參照塊不具有2個所述參照運動矢量、且所述參照圖片在顯示順序中位于所述編碼對象圖片之前的情況下，通過對所述參照塊的參照運動矢量中的參照顯示順序后方的所述參照運動矢量進行縮放，計算所述編碼對象塊的所述運動矢量候選，在所述判斷步驟中判斷為所述參照塊不具有2個所述參照運動矢量、且所述參照圖片在顯示順序中位于所述編碼對象圖片之后的情況下，通過對所述參照塊的參照運動矢量中的參照顯示順序前方的所述參照運動矢量進行縮放，計算所述編碼對象塊的所述運動矢量候選。

并且，也可以是，所述規(guī)定運動矢量是通過運動檢測而計算出的運動矢量。

并且，也可以是，用于確定所述運動矢量候選的信息是索引，在所述編碼步驟中，在對所述索引進行編碼時，所述索引的值越大，分配碼元長度越長的碼元串。

并且，也可以是，在所述計算步驟中，在所述參照塊位于所述編碼對象塊的顯示順序前方、且所述參照塊不具有所述參照運動矢量的情況下，使用位于所述編碼對象塊的顯示順序后方的所述參照塊所具有的所述參照運動矢量中的參照顯示順序前方的所述參照運動矢量，計算所述運動矢量候選，在所述參照塊位于所述編碼對象塊的顯示順序后方、且所述參照塊不具有所述參照運動矢量的情況下，使用位于所述編碼對象塊的顯示順序前方的所述參照塊所具有的所述參照運動矢量中的參照顯示順序后方的所述參照運動矢量，計算所述運動矢量候選。

并且，也可以是，在所述計算步驟中，在所述參照塊位于所述編碼對象塊的顯示順序前方、且所述參照塊不具有所述參照運動矢量、進而位于所述編碼對象塊的顯示順序后方的所述參照塊不具有參照顯示順序前方的所述參照運動矢量的情況下，使用位于所述編碼對象塊的顯示順序后方的所述參照塊所具有的參照顯示順序后方的所述參照運動矢量，計算所述運動矢量候選，在所述參照塊位于所述編碼對象塊的顯示順序后方的情況下，在所述參照塊不具有所述參照運動矢量、且位于所述編碼對象塊的顯示順序前方的所述參照塊不具有參照顯示順序后方的所述參照運動矢量的情況下，使用位于所述編碼對象塊的顯示順序前方的所述參照塊所具有的參照顯示順序前方的所述參照運動矢量，計算所述運動矢量候選。

并且，也可以是，在所述計算步驟中，除了所述第1運動矢量候選和所述第2運動矢量候選以外，還將所述編碼對象塊的左側(cè)相鄰的塊的運動矢量作為第3運動矢量候選，將所述編碼對象塊的上側(cè)相鄰的塊的運動矢量作為第4運動矢量候選，將所述編碼對象塊的右上側(cè)相鄰的塊的運動矢量作為第5運動矢量候選，選擇所述第1～5運動矢量候選中的與所述規(guī)定運動矢量之間的誤差最小的運動矢量候選。

并且，本發(fā)明的動態(tài)圖像解碼方法對解碼對象圖片中包含的解碼對象塊進行解碼，其中，該動態(tài)圖像解碼方法包括以下步驟：判斷步驟，判斷包含在與所述解碼對象圖片不同的參照圖片中、且所述參照圖片內(nèi)的位置與解碼對象圖片內(nèi)的解碼對象塊的位置相同的參照塊是否具有2個參照顯示順序前方的參照運動矢量、或者是否具有2個參照顯示順序后方的參照運動矢量；第1計算步驟，在所述判斷步驟中判斷為所述參照塊具有2個參照運動矢量的情況下，通過分別對2個所述參照運動矢量進行縮放，計算所述解碼對象塊的運動矢量候選；生成步驟，生成所述運動矢量候選與運動矢量候選索引的值一對一對應(yīng)的運動矢量候選列表；第1解碼步驟，對確定解碼中使用的所述運動矢量候選的索引信息進行解碼；第2解碼步驟，對規(guī)定運動矢量與所述運動矢量候選的誤差信息進行解碼；第2計算步驟，對所述運動矢量候選列表的所述運動矢量候選中的、由與所述索引信息相同的值的所述運動矢量候選索引確定的所述運動矢量候選和所述誤差信息進行相加，計算運動矢量；以及第3解碼步驟，使用所述運動矢量對解碼對象塊進行解碼。

并且，也可以是，在所述判斷步驟中，在所述參照圖片所具有的第1參照圖片列表和第2參照圖片列表中，在針對能夠參照所述參照圖片的圖片的索引的分配順序相同的情況下，判斷所述參照塊是否具有2個參照顯示順序前方的參照運動矢量、或者是否具有2個參照顯示順序后方的參照運動矢量。

并且，也可以是，在所述第1計算步驟中，在所述判斷步驟中判斷為所述參照塊不具有2個所述參照運動矢量、且所述參照圖片在顯示順序中位于所述解碼對象圖片之前的情況下，通過對所述參照塊的參照運動矢量中的參照顯示順序后方的所述參照運動矢量進行縮放，計算所述解碼對象塊的運動矢量候選，在所述判斷步驟中判斷為所述參照塊不具有2個所述參照運動矢量、且所述參照圖片在顯示順序中位于所述解碼對象圖片之后的情況下，通過對所述參照塊的參照運動矢量中的參照顯示順序前方的所述參照運動矢量進行縮放，計算所述解碼對象塊的所述運動矢量候選。

并且，也可以是，在所述第1計算步驟中，在所述參照塊位于所述解碼對象塊的顯示順序前方、且所述參照塊不具有所述參照運動矢量的情況下，使用位于所述解碼對象塊的顯示順序后方的所述參照塊所具有的所述參照運動矢量中的參照顯示順序前方的所述參照運動矢量，計算所述運動矢量候選，在所述參照塊位于所述解碼對象塊的顯示順序后方、且所述參照塊不具有所述參照運動矢量的情況下，使用位于所述解碼對象塊的顯示順序前方的所述參照塊所具有的所述參照運動矢量中的參照顯示順序后方的所述參照運動矢量，計算所述運動矢量候選。

并且，也可以是，在所述第1計算步驟中，在所述參照塊位于所述解碼對象塊的顯示順序前方、且所述參照塊不具有所述參照運動矢量、進而位于所述解碼對象塊的顯示順序后方的所述參照塊不具有參照顯示順序前方的所述參照運動矢量的情況下，使用位于所述解碼對象塊的顯示順序后方的所述參照塊所具有的參照顯示順序后方的所述參照運動矢量，計算所述運動矢量候選，在所述參照塊位于所述解碼對象塊的顯示順序后方的情況下，在所述參照塊不具有所述參照運動矢量、且位于所述解碼對象塊的顯示順序前方的所述參照塊不具有參照顯示順序后方的所述參照運動矢量的情況下，使用位于所述解碼對象塊的顯示順序前方的所述參照塊所具有的參照顯示順序前方的所述參照運動矢量，計算所述運動矢量候選。

另外，本發(fā)明不僅能夠作為這種動態(tài)圖像編碼方法和動態(tài)圖像解碼方法而實現(xiàn)，還能夠作為將這種動態(tài)圖像編碼方法和動態(tài)圖像解碼方法中包含的特征性步驟作為單元的動態(tài)圖像編碼裝置和動態(tài)圖像解碼裝置而實現(xiàn)，或者，還能夠作為使計算機執(zhí)行這些步驟的程序而實現(xiàn)。而且，這種程序能夠作為計算機可讀取的CD-ROM等的記錄介質(zhì)而實現(xiàn)，或者，還能夠作為表示該程序的信息、數(shù)據(jù)或信號而實現(xiàn)。而且，這些程序、信息、數(shù)據(jù)和信號可以經(jīng)由因特網(wǎng)等通信網(wǎng)絡(luò)發(fā)布。

發(fā)明效果

根據(jù)本發(fā)明，通過自適應(yīng)地選擇時間直接時利用的運動矢量，能夠?qū)С鲎钸m于編碼對象圖片的運動矢量，并且能夠提高壓縮率。

附圖說明

圖1A是用于說明參照圖片索引針對參照圖片的分配的圖。

圖1B是示出B圖片中的參照圖片列表的一例的圖。

圖1C是示出B圖片中的參照圖片列表的一例的圖。

圖2是示出時間直接中的運動矢量的說明圖。

圖3是示出使用本發(fā)明的動態(tài)圖像編碼方法的動態(tài)圖像編碼裝置的一個實施方式的結(jié)構(gòu)的模塊圖。

圖4是示出本發(fā)明的動態(tài)圖像編碼方法的處理流程的概要的流程圖。

圖5A是示出預(yù)測運動矢量候選的一例的圖。

圖5B是示出預(yù)測運動矢量索引的分配方式的一例的圖。

圖6是示出對預(yù)測運動矢量索引進行可變長度編碼時使用的碼元表的一例的圖。

圖7是示出實施方式1的幀間預(yù)測控制部中的預(yù)測運動矢量候選的決定流程的流程圖。

圖8是示出圖4的步驟S102的詳細處理流程的流程圖。

圖9A是示出通過時間直接來導(dǎo)出預(yù)測運動矢量候選的方法的一例的圖。

圖9B是示出通過時間直接來導(dǎo)出預(yù)測運動矢量候選的方法的一例的圖。

圖10A是示出通過時間直接來導(dǎo)出預(yù)測運動矢量候選的方法的一例的圖。

圖10B是示出通過時間直接來導(dǎo)出預(yù)測運動矢量候選的方法的一例的圖。

圖11A是示出通過時間直接來導(dǎo)出預(yù)測運動矢量候選的方法的一例的圖。

圖11B是示出通過時間直接來導(dǎo)出預(yù)測運動矢量候選的方法的一例的圖。

圖12是示出圖4的步驟S102的實施方式2的詳細處理流程的流程圖。

圖13是示出使用本發(fā)明的動態(tài)圖像解碼方法的動態(tài)圖像解碼裝置的一個實施方式的結(jié)構(gòu)的模塊圖。

圖14是示出本發(fā)明的動態(tài)圖像解碼方法的處理流程的概要的流程圖。

圖15是實現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容供給系統(tǒng)的整體結(jié)構(gòu)圖。

圖16是數(shù)字廣播用系統(tǒng)的整體結(jié)構(gòu)圖。

圖17是表示電視機的結(jié)構(gòu)例的模塊圖。

圖18是表示對作為光盤的記錄介質(zhì)進行信息的讀寫的信息再現(xiàn)/記錄部的結(jié)構(gòu)例的模塊圖。

圖19是表示作為光盤的記錄介質(zhì)的構(gòu)造例的圖。

圖20A是表示便攜電話的一例的圖。

圖20B是表示便攜電話的結(jié)構(gòu)例的模塊圖。

圖21是表示復(fù)用數(shù)據(jù)的結(jié)構(gòu)的圖。

圖22是示意地表示各流在復(fù)用數(shù)據(jù)中怎樣被復(fù)用的圖。

圖23是更詳細地表示在PES包序列中視頻流怎樣被保存的圖。

圖24是表示復(fù)用數(shù)據(jù)的TS包和源包的構(gòu)造的圖。

圖25是表示PMT的數(shù)據(jù)結(jié)構(gòu)的圖。

圖26是表示復(fù)用數(shù)據(jù)信息的內(nèi)部結(jié)構(gòu)的圖。

圖27是表示流屬性信息的內(nèi)部結(jié)構(gòu)的圖。

圖28是表示識別影像數(shù)據(jù)的步驟的圖。

圖29是表示實現(xiàn)各實施方式的動態(tài)圖像編碼方法及動態(tài)圖像解碼方法的集成電路的結(jié)構(gòu)例的模塊圖。

圖30是表示切換驅(qū)動頻率的結(jié)構(gòu)的圖。

圖31是表示識別影像數(shù)據(jù)、切換驅(qū)動頻率的步驟的圖。

圖32是表示將影像數(shù)據(jù)的標準與驅(qū)動頻率建立了對應(yīng)的查找表的一例的圖。

圖33A是表示將信號處理部的模塊共用的結(jié)構(gòu)的一例的圖。

圖33B是表示將信號處理部的模塊共用的結(jié)構(gòu)的另一例的圖。

具體實施方式

下面，參照附圖對本發(fā)明的實施方式進行說明。

(實施方式1)

圖3是示出使用本發(fā)明的動態(tài)圖像編碼方法的動態(tài)圖像編碼裝置的一個實施方式的結(jié)構(gòu)的模塊圖。

如圖3所示，動態(tài)圖像編碼裝置100具有正交變換部101、量化部102、逆量化部103、逆正交變換部104、塊存儲器105、幀存儲器106、幀內(nèi)預(yù)測部107、幀間預(yù)測部108、幀間預(yù)測控制部109、圖片類型決定部110、時間直接矢量計算部111、co-located參照方向決定部112和可變長度編碼部113。

正交變換部101針對輸入圖像串進行從圖像區(qū)域到頻率區(qū)域的變換。量化部102對變換為頻率區(qū)域的輸入圖像串進行量化處理。逆量化部103對由量化部102進行量化處理后的輸入圖像串進行逆量化處理。逆正交變換部104針對逆量化處理后的輸入圖像串進行從頻率區(qū)域到圖像區(qū)域的變換。塊存儲器105以塊單位保存輸入圖像串，幀存儲器106以幀單位保存輸入圖像串。圖片類型決定部110決定以I圖片、B圖片、P圖片中的哪個圖片類型對輸入圖像串進行編碼，生成圖片類型信息。幀內(nèi)預(yù)測部107使用塊存儲器105中保存的塊單位的輸入圖像串，通過幀內(nèi)預(yù)測對編碼對象塊進行編碼，生成預(yù)測圖像數(shù)據(jù)。幀間預(yù)測部108使用幀存儲器106中保存的幀單位的輸入圖像和通過運動檢測而導(dǎo)出的運動矢量，通過幀間預(yù)測對編碼對象塊進行編碼，生成預(yù)測圖像數(shù)據(jù)。co-located參照方向決定部112決定將位于編碼對象圖片的顯示時間順序前方的圖片中包含的塊(以后稱為前方參照塊)、或位于編碼對象圖片的顯示時間順序后方的圖片中包含的塊(以后稱為后方參照塊)中的哪個塊作為co-located塊。并且，co-located參照方向決定部112根據(jù)將前方參照塊或后方參照塊中的哪個塊決定為co-located塊，按照每個圖片生成co-located參照方向標志，附加在編碼對象圖片中。這里，co-located塊是與包含編碼對象塊的圖片不同的圖片內(nèi)的塊，并且是圖片內(nèi)的位置位于與編碼對象塊相同的位置的塊。

時間直接矢量計算部111使用co-located塊的參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選。在co-located塊具有2個前方參照運動矢量或2個后方參照的運動矢量的情況下，時間直接矢量計算部111使用co-located塊的2個運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1、時間直接矢量2)。并且，時間直接矢量計算部111對時間直接矢量1、時間直接矢量2分配分別對應(yīng)的預(yù)測運動矢量索引的值。在co-located塊不具有2個前方參照運動矢量或2個后方參照運動矢量的情況下，時間直接矢量計算部111根據(jù)co-located塊是前方參照塊還是后方參照塊，決定時間直接中使用的co-located塊的運動矢量。即，在co-located塊為后方參照塊的情況下，時間直接矢量計算部111使用co-located塊的前方參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1)。這里，在co-located塊不具有前方參照運動矢量的情況下，時間直接矢量計算部111使用后方參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1)。另一方面，在co-located塊為前方參照塊的情況下，時間直接矢量計算部111使用co-located塊的后方參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1)。這里，在co-located塊不具有后方參照運動矢量的情況下，時間直接矢量計算部111使用前方參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1)。

幀間預(yù)測控制部109決定使用多個預(yù)測運動矢量候選中的、與通過運動檢測而導(dǎo)出的運動矢量之間的誤差最小的預(yù)測運動矢量候選進行運動矢量的編碼。這里，誤差表示預(yù)測運動矢量候選與通過運動檢測而導(dǎo)出的運動矢量之間的差分值。并且，按照每個塊生成與所決定的預(yù)測運動矢量對應(yīng)的預(yù)測運動矢量索引。然后，將預(yù)測運動矢量索引和表示預(yù)測運動矢量候選與運動矢量的誤差的誤差信息發(fā)送到可變長度編碼部113。

正交變換部101針對所生成的預(yù)測圖像數(shù)據(jù)與輸入圖像串之間的預(yù)測誤差數(shù)據(jù)進行從圖像區(qū)域到頻率區(qū)域的變換。量化部102對變換為頻率區(qū)域的預(yù)測誤差數(shù)據(jù)進行量化處理?？勺冮L度編碼部113對量化處理后的預(yù)測誤差數(shù)據(jù)、預(yù)測運動矢量索引、預(yù)測運動矢量候選的誤差信息、圖片類型信息、co-located參照方向標志進行可變長度編碼處理，從而生成比特流。

圖4是示出本發(fā)明的動態(tài)圖像編碼方法的處理流程的概要的流程圖。在步驟S101中，co-located參照方向決定部112決定在通過時間直接而導(dǎo)出預(yù)測運動矢量候選時將前方參照塊或后方參照塊中的哪個塊作為co-located塊。并且，co-located參照方向決定部112按照每個圖片生成表示co-located塊是前方參照塊還是后方參照塊的co-located參照方向標志，附加到圖片中。

在步驟S102中，時間直接矢量計算部111使用co-located塊的參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選。即，在co-located塊具有2個前方參照運動矢量或2個后方參照的運動矢量的情況下，時間直接矢量計算部111使用co-located塊的2個運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1、時間直接矢量2)。并且，時間直接矢量計算部111對時間直接矢量1、時間直接矢量2分配分別對應(yīng)的預(yù)測運動矢量索引的值。這里，一般地，在預(yù)測運動矢量索引的值較小的情況下，需要的信息量較少。另一方面，當值增大時，需要的信息量增大。因此，當減小與成為精度更高的運動矢量的可能性高的運動矢量對應(yīng)的預(yù)測運動矢量索引的值時，編碼效率提高。因此，針對使用co-located塊的參照運動矢量1(mvL0)導(dǎo)出的時間直接矢量1的索引的值小于針對使用co-located塊的參照運動矢量2(mvL1)導(dǎo)出的時間直接矢量2的索引的值。在co-located塊具有2個前方參照運動矢量或2個后方參照運動矢量的情況下，與參照運動矢量2相比，優(yōu)先對參照運動矢量1進行運動檢測的可能性高，這是因為，使用參照運動矢量1導(dǎo)出的時間直接矢量的精度優(yōu)良的可能性高。并且，也可以根據(jù)從包含co-located塊的圖片到co-located塊參照的參照圖片為止的距離來分配索引的值。例如，根據(jù)從包含co-located塊的圖片到co-located塊參照的參照圖片為止所包含的圖片數(shù)量來決定距離。在參照運動矢量1的距離比參照運動矢量2的距離短的情況下，使時間直接矢量1的索引的值小于時間直接2的索引的值。也可以根據(jù)參照運動矢量的絕對值的大小來決定索引的值。

另一方面，在co-located塊不具有2個前方參照運動矢量或2個后方參照運動矢量的情況下，時間直接矢量計算部111根據(jù)co-located塊是前方參照塊還是后方參照塊，決定時間直接中使用的co-located塊的運動矢量。即，在co-located塊為后方參照塊的情況下，時間直接矢量計算部111使用co-located塊的前方參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1)。這里，在co-located塊不具有前方參照運動矢量的情況下，時間直接矢量計算部111使用后方參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1)。另一方面，在co-located塊為前方參照塊的情況下，時間直接矢量計算部111使用co-located塊的后方參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1)。這里，在co-located塊不具有后方參照運動矢量的情況下，時間直接矢量計算部111使用前方參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1)。

在步驟S103中，幀間預(yù)測控制部109使用通過運動檢測而導(dǎo)出的運動矢量，通過幀間預(yù)測對圖片進行編碼。并且，幀間預(yù)測控制部109決定使用預(yù)測運動矢量候選中的誤差最小的預(yù)測運動矢量進行運動矢量的編碼。例如，決定將預(yù)測運動矢量候選與通過運動檢測而導(dǎo)出的運動矢量的差分值作為誤差，在進行運動矢量的編碼時使用誤差最小的預(yù)測運動矢量候選。然后，可變長度編碼部113對與選擇出的預(yù)測運動矢量候選對應(yīng)的預(yù)測運動矢量索引和所決定的預(yù)測運動矢量候選的誤差信息進行可變長度編碼。

圖5A是示出預(yù)測運動矢量候選的一例的圖。運動矢量A(MV_A)是位于編碼對象塊的左側(cè)相鄰位置的相鄰塊A的運動矢量。運動矢量B(MV_B)是位于編碼對象塊的上側(cè)相鄰位置的相鄰塊B的運動矢量。運動矢量C(MV_C)是位于編碼對象塊的右上側(cè)相鄰位置的相鄰塊C的運動矢量。并且，Median(MV_A,MV_B,MV_C)表示運動矢量A、B、C的中間值。這里，中間值通過以下所示的(式1)～(式3)導(dǎo)出。

【數(shù)學(xué)式1】

Median(x，y，z)＝x+y+z-Min(x，Min(y，z))-Max(x，Max(y，z))…(式1)

圖5B是示出預(yù)測運動矢量索引的分配方式的一例的圖。關(guān)于預(yù)測運動矢量索引的值，設(shè)與Median(MV_A,MV_B,MV_C)對應(yīng)的值為“0”，設(shè)與運動矢量A對應(yīng)的值為“1”，設(shè)與MV_B對應(yīng)的值為“2”，設(shè)與MV_C對應(yīng)的值為“3”，設(shè)與時間直接矢量1對應(yīng)的值為“4”，設(shè)與時間直接矢量2對應(yīng)的值為“5”。預(yù)測運動矢量索引的分配方式不限于該例。

圖6是示出對預(yù)測運動矢量索引進行可變長度編碼時使用的碼元表的一例的圖。按照預(yù)測運動矢量索引的值從小到大的順序，分配碼元長度較短的碼元。因此，通過減小與預(yù)測精度優(yōu)良的可能性高的預(yù)測運動矢量候選對應(yīng)的預(yù)測運動矢量索引的值，能夠提高編碼效率。

圖7是示出幀間預(yù)測控制部109中的預(yù)測運動矢量候選的決定流程的流程圖。在步驟S201中，設(shè)預(yù)測運動矢量候選索引mvp_idx＝0、最小運動矢量誤差＝∞。在步驟S202中，判斷預(yù)測運動矢量候選索引mvp_idx是否小于預(yù)測運動矢量候選數(shù)。在步驟S202中判斷為預(yù)測運動矢量候選索引mvp_idx小于預(yù)測運動矢量候選數(shù)的情況下(步驟S202：是)，在步驟S203中，根據(jù)通過運動檢測而導(dǎo)出的運動矢量與預(yù)測運動矢量候選之差來計算運動矢量誤差。在步驟S204中，判斷步驟S202中計算出的運動矢量誤差是否小于最小運動矢量誤差。在步驟S204中判斷為運動矢量誤差小于最小運動矢量誤差的情況下(步驟S204：是)，在步驟S205中，設(shè)最小運動矢量誤差為計算出的運動矢量誤差，設(shè)預(yù)測運動矢量索引為預(yù)測運動矢量候選索引mvp_idx。在步驟S206中，在預(yù)測運動矢量候選索引mvp_idx中加上“1”，返回步驟S202。在步驟S202中判斷為預(yù)測運動矢量候選索引mvp_idx不小于預(yù)測運動矢量候選數(shù)的情況下(步驟S202：否)，在步驟S207中，對最小運動矢量誤差和預(yù)測運動矢量索引進行可變長度編碼。如上所述，根據(jù)圖7所示的流程，決定在對運動矢量進行編碼時使用與通過運動檢測而導(dǎo)出的運動矢量之間的誤差最小的預(yù)測運動矢量候選。然后，對所決定的預(yù)測運動矢量候選的誤差信息和表示所決定的預(yù)測運動矢量的預(yù)測運動矢量索引進行可變長度編碼。

圖8是示出圖4的步驟S102的詳細處理流程的流程圖。下面對圖8進行說明。在步驟S301中，時間直接矢量計算部111判斷co-located塊是否具有參照運動矢量。在步驟S301中判斷為co-located塊具有參照運動矢量的情況下(步驟S301：是)，在步驟S302中，時間直接矢量計算部111判斷co-located塊是否2次參照前方或2次參照后方。在步驟S302中判斷為co-located塊2次參照前方或2次參照后方的情況下(步驟S302：是)，在步驟S303中，時間直接矢量計算部111使用co-located塊的運動矢量(mvL0)，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1)。在步驟S304中，時間直接矢量計算部111使用co-located塊的運動矢量(mvL1)，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量2)。在步驟S305中，時間直接矢量計算部111在預(yù)測運動矢量候選中追加時間直接矢量1、2。

在步驟S302中判斷為co-located塊未2次參照前方或2次參照后方的情況下(步驟S302：否)，在步驟S306中，時間直接矢量計算部111判斷co-located塊是否為后方參照塊。在步驟S306中判斷為co-located塊為后方參照塊的情況下(步驟S306：是)，在步驟S307中，時間直接矢量計算部111判斷co-located塊是否具有前方參照運動矢量(mvL0)。在步驟S307中判斷為co-located塊具有前方參照運動矢量(mvL0)的情況下(步驟S307：是)，在步驟S308中，時間直接矢量計算部111使用前方參照運動矢量(mvL0)，通過時間直接而導(dǎo)出時間直接矢量1。另一方面，在步驟S307中判斷為co-located塊不具有前方參照運動矢量(mvL0)的情況下(步驟S307：否)，在步驟S309中，時間直接矢量計算部111使用co-located塊的后方參照運動矢量(mvL1)，通過時間直接而導(dǎo)出時間直接矢量1。在步驟S306中判斷為co-located塊不是后方參照塊、即是前方參照塊的情況下(步驟S306：否)，在步驟S310中，時間直接矢量計算部111判斷co-located塊是否具有后方參照運動矢量(mvL1)。在步驟S310中判斷為co-located塊具有后方參照運動矢量(mvL1)的情況下(步驟S310：是)，在步驟S311中，時間直接矢量計算部111使用后方參照運動矢量(mvL1)，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1)。另一方面，在步驟S310中判斷為co-located塊不具有后方參照運動矢量(mvL1)的情況下(步驟S310：否)，在步驟S312中，時間直接矢量計算部111使用co-located塊的前方參照運動矢量(mvL0)，通過時間直接而導(dǎo)出時間直接矢量1。在步驟S313中，時間直接矢量計算部111在預(yù)測運動矢量候選中追加步驟S308、步驟S309、步驟S311、步驟S312中導(dǎo)出的時間直接矢量1。

在步驟S301中判斷為co-located塊不具有參照運動矢量(mvL0、mvL1)的情況下(步驟S301：否)，在步驟S314中，時間直接矢量計算部111不通過時間直接而導(dǎo)出預(yù)測運動矢量候選，不對預(yù)測運動矢量候選進行追加。

接著，對通過時間直接而導(dǎo)出運動矢量的方法進行詳細說明。

圖9A示出如下方法：在co-located塊2次參照前方的情況下、即具有2個(mvL0、mvL1)前方參照運動矢量的情況下，使用各個運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1、時間直接矢量2)。通過以下的計算式導(dǎo)出預(yù)測運動矢量候選(TemporalMV1、2)。

TemporalMV1＝mvL0×(B8-B4)/(B4-B2)…(式4)

TemporalMV2＝mvL1×(B8-B4)/(B4-B0)…(式5)

這里，(B4-B0)表示圖片B4和圖片B0的顯示時間的時間差信息，(B8-B4)表示圖片B8和圖片B4的顯示時間的時間差信息。

圖9B示出如下方法：在co-located塊2次參照后方的情況下、即具有2個(mvL0、mvL1)后方參照運動矢量的情況下，使用各個運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1、時間直接矢量2)。通過以下的計算式導(dǎo)出預(yù)測運動矢量候選(TemporalMV1、2)。

TemporalMV1＝mvL0×(B2-B0)/(B4-B2)…(式6)

TemporalMV2＝mvL1×(B2-B0)/(B8-B2)…(式7)

這里，(B2-B0)表示圖片B2和圖片B0的顯示時間的時間差信息，(B8-B2)表示圖片B8和圖片B2的顯示時間的時間差信息。

圖10A示出如下方法：在co-located塊為后方參照塊且具有前方參照運動矢量和后方參照運動矢量的情況下，使用前方參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1)。使用前方參照運動矢量，通過以下的計算式導(dǎo)出預(yù)測運動矢量候選(TemporalMV1)。

TemporalMV1＝mvL0×(B2-B0)/(B4-B0)…(式8)

這里，(B2-B0)表示圖片B2和圖片B0的顯示時間的時間差信息，(B4-B0)表示圖片B4和圖片B0的顯示時間的時間差信息。

圖10B示出如下方法：在co-located塊為后方參照塊且僅具有后方參照運動矢量的情況下，使用后方參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1)。使用后方參照運動矢量，通過以下的計算式導(dǎo)出預(yù)測運動矢量候選。

TemporalMV1＝mvL1×(B2-B0)/(B4-B8)…(式9)

圖11A示出如下方法：在co-located塊為前方參照塊且具有前方參照運動矢量和后方參照運動矢量的情況下，使用后方參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1)。使用后方參照運動矢量，通過以下的計算式導(dǎo)出預(yù)測運動矢量候選。

TemporalMV1＝mvL1×(B6-B8)/(B4-B8)…(式10)

圖11B示出如下方法：在co-located塊為前方參照塊且僅具有前方參照運動矢量的情況下，使用前方參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1)。使用前方參照運動矢量，通過以下的計算式導(dǎo)出預(yù)測運動矢量候選。

TemporalMV1＝mvL0×(B6-B8)/(B4-B0)…(式11)

這樣，在本實施方式中，在對運動矢量進行編碼時，通過使用多個預(yù)測運動矢量候選中的誤差最小的預(yù)測運動矢量候選，能夠提高編碼效率。例如，設(shè)基于運動檢測的運動矢量與預(yù)測運動矢量候選的差分值作為誤差。并且，根據(jù)co-located塊的位置和co-located塊所具有的參照運動矢量的數(shù)量，選擇時間直接時使用的co-located塊的參照運動矢量，由此，能夠縮小為高精度的預(yù)測運動矢量候選，能夠減輕編碼、解碼時的處理負荷。具體而言，在co-located塊2次參照前方或2次參照后方的情況下，使用co-located塊的2個運動矢量、通過時間直接而導(dǎo)出的預(yù)測運動矢量候選(時間直接矢量1、時間直接矢量2)的精度近似的可能性高。因此，在這種情況下，將雙方作為預(yù)測運動矢量候選。另一方面，在co-located塊具有前方參照運動矢量和后方參照運動矢量的情況下，根據(jù)co-located塊的位置選擇時間直接中使用的運動矢量。在co-located塊為后方參照塊的情況下，使用前方參照運動矢量。這是因為，前方參照運動矢量是從包含co-located塊的圖片朝向包含編碼對象塊的圖片方向的運動矢量，與后方參照運動矢量相比，預(yù)測誤差較小的可能性高。另一方面，在co-located塊為前方參照塊的情況下，使用后方參照運動矢量。這是因為，后方參照運動矢量是從包含co-located塊的圖片朝向包含編碼對象塊的圖片方向的運動矢量，與前方參照運動矢量相比，預(yù)測誤差較小的可能性高。

另外，在本實施方式中，判斷co-located塊是否2次參照前方或2次參照后方，但是，還可以同時判斷co-located塊的位置。具體而言，在圖8的步驟S302中，判斷是否在co-located塊為前方參照塊的情況下2次參照前方、或者在co-located塊為后方參照塊的情況下2次參照后方。在co-located塊為后方參照塊的情況下，后方參照運動矢量是從包含co-located塊的圖片朝向位于包含編碼對象塊的圖片的相反側(cè)的圖片方向的運動矢量，所以預(yù)測精度降低。在這種情況下，通過導(dǎo)出時間直接矢量1、2雙方，提高預(yù)測精度。這樣，僅在預(yù)測精度降低的情況下，求出時間直接矢量1、2，由此，能夠提高預(yù)測精度并抑制處理量。

并且，在圖8中，在co-located塊不具有參照運動矢量的情況下，不計算時間直接矢量，但是，通過將其他塊作為co-located塊，能夠計算時間直接矢量。例如，在co-located塊為后方參照塊且不具有參照運動矢量的情況下，考慮將前方參照塊作為co-located塊。該情況下，通過使用前方參照塊的參照運動矢量中的顯示順序后方的參照運動矢量，能夠提高預(yù)測精度。并且，在前方參照塊不具有顯示順序后方的參照運動矢量的情況下，通過使用顯示順序前方的參照運動矢量，能夠?qū)С鰰r間直接矢量。另一方面，在co-located塊為前方參照塊且不具有參照運動矢量的情況下，考慮將后方參照塊作為co-located塊。該情況下，通過使用后方參照塊的參照運動矢量中的顯示順序前方的參照運動矢量，能夠提高預(yù)測精度。并且，在后方參照塊不具有顯示順序前方的參照運動矢量的情況下，通過使用顯示順序后方的參照運動矢量，能夠?qū)С鰰r間直接矢量。另外，co-located塊使用編碼對象圖片的參照列表L0的索引的值為“0”的圖片內(nèi)的塊。因此，在參照列表L0的索引的值由“0”確定的co-located塊不具有參照運動矢量的情況下，考慮使用參照列表L1的索引的值由“0”確定的co-located塊的參照運動矢量。

(實施方式2)

本實施方式與實施方式1的不同之處在于圖8所示的判斷步驟S302。下面，以與實施方式1的不同之處為中心進行說明。

圖12是示出圖4的步驟S102的實施方式2的詳細處理流程的流程圖。下面對圖12進行說明。

在圖12的步驟S402中，時間直接矢量計算部111判斷參照列表L0和參照列表L1中的參照圖片索引針對參照圖片的分配方式是否相同。一般地，參照列表L1對顯示時間順序中位于編碼對象圖片后方的圖片分配參照圖片索引。另一方面，參照列表L0對顯示時間順序中位于編碼對象圖片前方的圖片分配參照圖片索引。因此，在參照列表L1和參照列表L0中的參照圖片索引針對參照圖片的分配方式相同的情況下，參照方向被限制為編碼對象圖片的顯示順序前方或后方中的任意一方。

在步驟S402中判斷為參照列表L0和參照列表L1中的參照圖片索引針對參照圖片的分配方式相同的情況下(步驟S402：是)，在步驟S403、步驟S404中，時間直接矢量計算部111使用co-located塊的參照運動矢量mvL0、mvL1，通過時間直接而導(dǎo)出時間直接矢量1、2。由于參照運動矢量mvL0、mvL1為相同參照方向，所以預(yù)測精度近似。因此，通過在預(yù)測運動矢量候選中追加雙方，能夠提高預(yù)測精度。在co-located塊僅具有參照運動矢量mvL0、mvL1中的任意一方的情況下，僅使用任意一方，通過時間直接而導(dǎo)出時間直接矢量1。即，僅執(zhí)行步驟S403、步驟S404中的任意一方。步驟S406以后的處理與實施方式1相同，所以省略說明。

這樣，在本實施方式中，根據(jù)參照圖片列表進行判斷，由此減輕編碼/解碼時的處理量。由于針對每個圖片具有參照圖片列表，所以，以圖片單位進行判斷即可，不需要以塊單位進行判斷，所以能夠減輕處理量。

(實施方式3)

圖13是示出使用本發(fā)明的動態(tài)圖像解碼方法的動態(tài)圖像解碼裝置的一個實施方式的結(jié)構(gòu)的模塊圖。

在本實施方式中，將位于解碼對象圖片的顯示時間順序前方的圖片中包含的塊稱為前方參照塊。并且，將位于解碼對象圖片的顯示時間順序后方的圖片中包含的塊稱為后方參照塊。

如圖13所示，動態(tài)圖像解碼裝置200具有可變長度解碼部201、逆量化部202、逆正交變換部203、塊存儲器204、幀存儲器205、幀內(nèi)預(yù)測部206、幀間預(yù)測部207、幀間預(yù)測控制部208、時間直接矢量計算部209。

可變長度解碼部201對所輸入的比特流進行可變長度解碼處理，生成圖片類型信息、預(yù)測運動矢量索引、co-located參照方向標志、進行可變長度解碼處理后的比特流。逆量化部202對進行可變長度解碼處理后的比特流進行逆量化處理。逆正交變換部203將進行逆量化處理后的比特流從頻率區(qū)域變換為圖像區(qū)域，作為預(yù)測誤差圖像數(shù)據(jù)。塊存儲器204以塊單位保存對預(yù)測誤差圖像數(shù)據(jù)和預(yù)測圖像數(shù)據(jù)進行相加而生成的圖像串，幀存儲器205以幀單位保存圖像串。幀內(nèi)預(yù)測部206通過使用塊存儲器204中保存的塊單位的圖像串進行幀內(nèi)預(yù)測，生成解碼對象塊的預(yù)測誤差圖像數(shù)據(jù)。幀間預(yù)測部207通過使用幀存儲器205中保存的幀單位的圖像串進行幀間預(yù)測，生成解碼對象塊的預(yù)測誤差圖像數(shù)據(jù)。時間直接矢量計算部209使用co-located塊的參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選。在co-located塊具有2個前方參照運動矢量或2個后方參照的運動矢量的情況下，使用co-located塊的2個運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1、時間直接矢量2)。并且，時間直接矢量計算部209對時間直接矢量1、時間直接矢量2分配分別對應(yīng)的預(yù)測運動矢量索引的值。在co-located塊不具有2個前方參照運動矢量或2個后方參照運動矢量的情況下，時間直接矢量計算部209根據(jù)co-located塊是前方參照塊還是后方參照塊，決定時間直接中使用的co-located塊的運動矢量。在co-located塊為后方參照塊的情況下，時間直接矢量計算部209使用co-located塊的前方參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1)。在co-located塊不具有前方參照運動矢量的情況下，時間直接矢量計算部209使用后方參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1)。另一方面，在co-located塊為前方參照塊的情況下，時間直接矢量計算部209使用co-located塊的后方參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1)。在co-located塊不具有后方參照運動矢量的情況下，時間直接矢量計算部209使用前方參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1)。幀間預(yù)測控制部208根據(jù)預(yù)測運動矢量索引，從多個預(yù)測運動矢量候選中決定幀間預(yù)測時使用的運動矢量。并且，幀間預(yù)測控制部208通過在所決定的預(yù)測運動矢量候選的矢量的值中加上預(yù)測運動矢量候選的誤差信息，作為幀間預(yù)測時使用的運動矢量。

最后，通過對解碼后的預(yù)測圖像數(shù)據(jù)和預(yù)測誤差圖像數(shù)據(jù)進行相加，生成解碼圖像串。

圖14是示出本發(fā)明的動態(tài)圖像解碼方法的處理流程的概要的流程圖。在步驟S501中，可變長度解碼部201以圖片單位對co-located參照方向標志進行解碼。

在步驟S502中，時間直接矢量計算部209根據(jù)co-located參照標志，決定將前方參照塊作為co-located塊，還是將后方參照塊作為co-located塊。時間直接矢量計算部209使用co-located塊的參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選。在co-located塊具有2個前方參照運動矢量或2個后方參照運動矢量的情況下，使用co-located塊的2個運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1、時間直接矢量2)。并且，時間直接矢量計算部209對時間直接矢量1、時間直接矢量2分配分別對應(yīng)的預(yù)測運動矢量索引的值。預(yù)測運動矢量索引的分配方式如實施方式1所示。在co-located塊不具有2個前方參照運動矢量或2個后方參照運動矢量的情況下，時間直接矢量計算部209根據(jù)co-located塊是前方參照塊還是后方參照塊，決定時間直接中使用的co-located塊的運動矢量。在co-located塊為后方參照塊的情況下，時間直接矢量計算部209使用co-located塊的前方參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1)。在co-located塊不具有前方參照運動矢量的情況下，時間直接矢量計算部209使用后方參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1)。另一方面，在co-located塊為前方參照塊的情況下，時間直接矢量計算部209使用co-located塊的后方參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1)。在co-located塊不具有后方參照運動矢量的情況下，時間直接矢量計算部209使用前方參照運動矢量，通過時間直接而導(dǎo)出預(yù)測運動矢量候選(時間直接矢量1)。

在步驟S503中，幀間預(yù)測控制部208根據(jù)預(yù)測運動矢量索引，從多個預(yù)測運動矢量候選中決定幀間預(yù)測時使用的運動矢量。并且，幀間預(yù)測控制部208通過在所決定的預(yù)測運動矢量候選中加上誤差信息，導(dǎo)出運動矢量。使用導(dǎo)出的運動矢量，通過幀間預(yù)測進行解碼。

這樣，根據(jù)本實施方式，能夠選擇最適于解碼對象塊的運動矢量，所以，能夠適當對高效壓縮的比特流進行解碼。

并且，根據(jù)co-located塊的位置和co-located塊所具有的參照運動矢量的數(shù)量，選擇時間直接時使用的co-located塊的參照運動矢量，由此，能夠縮小為高精度的預(yù)測運動矢量候選，能夠減輕處理負荷。具體而言，在co-located塊2次參照前方或2次參照后方的情況下，使用co-located塊的2個運動矢量、通過時間直接而導(dǎo)出的預(yù)測運動矢量候選(時間直接矢量1、時間直接矢量2)的精度近似的可能性高。因此，在這種情況下，將雙方作為預(yù)測運動矢量候選。另一方面，在co-located塊具有前方參照運動矢量和后方參照運動矢量的情況下，根據(jù)co-located塊的位置選擇時間直接中使用的運動矢量。在co-located塊為后方參照塊的情況下，使用前方參照運動矢量。這是因為，前方參照運動矢量是從包含co-located塊的圖片朝向包含編碼對象塊的圖片方向的運動矢量，與后方參照運動矢量相比，預(yù)測誤差較小的可能性高。另一方面，在co-located塊為前方參照塊的情況下，使用后方參照運動矢量。這是因為，后方參照運動矢量是從包含co-located塊的圖片朝向包含編碼對象塊的圖片方向的運動矢量，與前方參照運動矢量相比，預(yù)測誤差較小的可能性高。

另外，在本實施方式中，判斷co-located塊是否2次參照前方或2次參照后方，但是，還可以同時判斷co-located塊的位置。具體而言，判斷是否在co-located塊為前方參照塊的情況下2次參照前方、或者在co-located塊為后方參照塊的情況下2次參照后方。在co-located塊為后方參照塊的情況下，后方參照運動矢量是從包含co-located塊的圖片朝向位于包含編碼對象塊的圖片的相反側(cè)的圖片方向的運動矢量，所以預(yù)測精度降低。在這種情況下，通過導(dǎo)出時間直接矢量1、2雙方，提高預(yù)測精度。這樣，僅在預(yù)測精度降低的情況下，求出時間直接矢量1、2，由此，能夠提高預(yù)測精度并抑制處理量。

并且，代替co-located塊是否2次參照前方或2次參照后方的判斷，也可以判斷參照列表L0和參照列表L1中的參照圖片索引針對參照圖片的分配方式是否相同。一般地，參照列表L1對顯示時間順序中位于編碼對象圖片后方的圖片分配參照圖片索引。另一方面，參照列表L0對顯示時間順序中位于編碼對象圖片前方的圖片分配參照圖片索引。因此，在參照列表L1和參照列表L0中的參照圖片索引針對參照圖片的分配方式相同的情況下，參照方向被限制為編碼對象圖片的顯示順序前方或后方中的任意一方。這樣，根據(jù)參照圖片列表進行判斷，由此能夠減輕處理量。這是因為，由于針對每個圖片具有參照圖片列表，所以，以圖片單位進行判斷即可，不需要以塊單位進行判斷。

并且，在co-located塊不具有參照運動矢量的情況下，通過將其他塊作為co-located塊，能夠計算時間直接矢量。例如，在co-located塊為后方參照塊且不具有參照運動矢量的情況下，考慮將前方參照塊作為co-located塊。該情況下，通過使用前方參照塊的參照運動矢量中的顯示順序后方的參照運動矢量，能夠提高預(yù)測精度。并且，在前方參照塊不具有顯示順序后方的參照運動矢量的情況下，通過使用顯示順序前方的參照運動矢量，能夠?qū)С鰰r間直接矢量。另一方面，在co-located塊為前方參照塊且不具有參照運動矢量的情況下，考慮將后方參照塊作為co-located塊。該情況下，通過使用后方參照塊的參照運動矢量中的顯示順序前方的參照運動矢量，能夠提高預(yù)測精度。并且，在后方參照塊不具有顯示順序前方的參照運動矢量的情況下，通過使用顯示順序后方的參照運動矢量，能夠?qū)С鰰r間直接矢量。另外，co-located塊使用編碼對象圖片的參照列表L0的索引的值為“0”的圖片內(nèi)的塊。因此，在參照列表L0的索引的值由“0”確定的co-located塊不具有參照運動矢量的情況下，考慮使用參照列表L1的索引的值由“0”確定的co-located塊的參照運動矢量。

(實施方式4)

通過將用來實現(xiàn)上述各實施方式所示的動態(tài)圖像編碼方法(圖像編碼方法)或動態(tài)圖像解碼方法(圖像解碼方法)的結(jié)構(gòu)的程序記錄到存儲介質(zhì)中，能夠?qū)⑸鲜龈鲗嵤┓绞剿镜奶幚碓讵毩⒌挠嬎銠C系統(tǒng)中簡單地實施。存儲介質(zhì)是磁盤、光盤、光磁盤、IC卡、半導(dǎo)體存儲器等，只要是能夠記錄程序的介質(zhì)就可以。

進而，這里說明在上述各實施方式中示出的動態(tài)圖像編碼方法(圖像編碼方法)及動態(tài)圖像解碼方法(圖像解碼方法)的應(yīng)用例和使用它的系統(tǒng)。該系統(tǒng)的特征在于，具有由使用圖像編碼方法的圖像編碼裝置及使用圖像解碼方法的圖像解碼裝置構(gòu)成的圖像編碼解碼裝置。關(guān)于系統(tǒng)的其他結(jié)構(gòu)，可以根據(jù)情況而適當變更。

圖15是表示實現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容供給系統(tǒng)ex100的整體結(jié)構(gòu)的圖。將通信服務(wù)的提供區(qū)劃分為希望的大小，在各小區(qū)內(nèi)分別設(shè)置有作為固定無線站的基站ex106、ex107、ex108、ex109、ex110。

該內(nèi)容供給系統(tǒng)ex100在因特網(wǎng)ex101上經(jīng)由因特網(wǎng)服務(wù)提供商ex102及電話網(wǎng)ex104、及基站ex107～ex110連接著計算機ex111、PDA(Personal Digital Assistant)ex112、照相機ex113、便攜電話ex114、游戲機ex115等的各設(shè)備。

但是，內(nèi)容供給系統(tǒng)ex100并不限定于圖15那樣的結(jié)構(gòu)，也可以將某些要素組合連接。此外，也可以不經(jīng)由作為固定無線站的基站ex107～ex110將各設(shè)備直接連接在電話網(wǎng)ex104上。此外，也可以將各設(shè)備經(jīng)由近距離無線等直接相互連接。

照相機ex113是能夠進行數(shù)字攝像機等的動態(tài)圖像攝影的設(shè)備，照相機ex116是能夠進行數(shù)字照相機等的靜止圖像攝影、動態(tài)圖像攝影的設(shè)備。此外，便攜電話ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W－CDMA(Wideband－Code Division Multiple Access)方式、或LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)的便攜電話機、或PHS(Personal Handyphone System)等，是哪種都可以。

在內(nèi)容供給系統(tǒng)ex100中，通過將照相機ex113等經(jīng)由基站ex109、電話網(wǎng)ex104連接在流媒體服務(wù)器ex103上，能夠進行現(xiàn)場分發(fā)等。在現(xiàn)場分發(fā)中，對用戶使用照相機ex113攝影的內(nèi)容(例如音樂會現(xiàn)場的影像等)如在上述各實施方式中說明那樣進行編碼處理(即，作為本發(fā)明的一個方式的圖像編碼裝置發(fā)揮作用)，向流媒體服務(wù)器ex103發(fā)送。另一方面，流媒體服務(wù)器ex103將發(fā)送來的內(nèi)容數(shù)據(jù)對有請求的客戶端進行流分發(fā)。作為客戶端，有能夠?qū)⑸鲜鼍幋a處理后的數(shù)據(jù)解碼的計算機ex111、PDAex112、照相機ex113、便攜電話ex114、游戲機ex115等。在接收到分發(fā)的數(shù)據(jù)的各設(shè)備中，將接收到的數(shù)據(jù)解碼處理而再現(xiàn)(即，作為本發(fā)明的一個方式的圖像解碼裝置發(fā)揮作用)。

另外，攝影的數(shù)據(jù)的編碼處理既可以由照相機ex113進行，也可以由進行數(shù)據(jù)的發(fā)送處理的流媒體服務(wù)器ex103進行，也可以相互分擔(dān)進行。同樣，分發(fā)的數(shù)據(jù)的解碼處理既可以由客戶端進行，也可以由流媒體服務(wù)器ex103進行，也可以相互分擔(dān)進行。此外，并不限于照相機ex113，也可以將由照相機ex116攝影的靜止圖像及/或動態(tài)圖像數(shù)據(jù)經(jīng)由計算機ex111向流媒體服務(wù)器ex103發(fā)送。此情況下的編碼處理由照相機ex116、計算機ex111、流媒體服務(wù)器ex103的哪個進行都可以，也可以相互分擔(dān)進行。

此外，這些編碼解碼處理一般在計算機ex111或各設(shè)備具有的LSIex500中處理。LSIex500既可以是單芯片，也可以是由多個芯片構(gòu)成的結(jié)構(gòu)。另外，也可以將動態(tài)圖像編碼解碼用的軟件裝入到能夠由計算機ex111等讀取的某些記錄介質(zhì)(CD－ROM、軟盤、硬盤等)中、使用該軟件進行編碼解碼處理。進而，在便攜電話ex114是帶有照相機的情況下，也可以將由該照相機取得的動態(tài)圖像數(shù)據(jù)發(fā)送。此時的動態(tài)圖像數(shù)據(jù)是由便攜電話ex114具有的LSIex500編碼處理的數(shù)據(jù)。

此外，也可以是，流媒體服務(wù)器ex103是多個服務(wù)器或多個計算機，是將數(shù)據(jù)分散處理、記錄、及分發(fā)的。

如以上這樣，在內(nèi)容供給系統(tǒng)ex100中，客戶端能夠接收編碼的數(shù)據(jù)而再現(xiàn)。這樣，在內(nèi)容供給系統(tǒng)ex100中，客戶端能夠?qū)⒂脩舭l(fā)送的信息實時地接收、解碼、再現(xiàn)，即使是沒有特別的權(quán)利或設(shè)備的用戶也能夠?qū)崿F(xiàn)個人廣播。

另外，并不限定于內(nèi)容供給系統(tǒng)ex100的例子，如圖16所示，在數(shù)字廣播用系統(tǒng)ex200中也能夠裝入上述實施方式的至少動態(tài)圖像編碼裝置(圖像編碼裝置)或動態(tài)圖像解碼裝置(圖像解碼裝置)的某個。具體而言，在廣播站ex201中，將對影像數(shù)據(jù)復(fù)用了音樂數(shù)據(jù)等而得到的復(fù)用數(shù)據(jù)經(jīng)由電波向通信或廣播衛(wèi)星ex202傳送。該影像數(shù)據(jù)是通過上述各實施方式中說明的動態(tài)圖像編碼方法編碼后的數(shù)據(jù)(即，通過本發(fā)明的一個方式的圖像編碼裝置編碼后的數(shù)據(jù))。接受到該數(shù)據(jù)的廣播衛(wèi)星ex202發(fā)出廣播用的電波，能夠?qū)υ撾姴ㄟM行衛(wèi)星廣播接收的家庭的天線ex204接收該電波，通過電視機(接收機)ex300或機頂盒(STB)ex217等的裝置將接收到的復(fù)用數(shù)據(jù)解碼并將其再現(xiàn)(即，作為本發(fā)明的一個方式的圖像解碼裝置發(fā)揮作用)。

此外，可以在將記錄在DVD、BD等的記錄介質(zhì)ex215中的復(fù)用數(shù)據(jù)讀取并解碼、或?qū)⒂跋駭?shù)據(jù)編碼再根據(jù)情況與音樂信號復(fù)用而寫入記錄介質(zhì)ex215中的讀取器/記錄器ex218中也能夠安裝上述各實施方式所示的動態(tài)圖像解碼裝置或動態(tài)圖像編碼裝置。在此情況下，可以將再現(xiàn)的影像信號顯示在監(jiān)視器ex219上，通過記錄有復(fù)用數(shù)據(jù)的記錄介質(zhì)ex215在其他裝置或系統(tǒng)中能夠再現(xiàn)影像信號。此外，也可以在連接在有線電視用的線纜ex203或衛(wèi)星/地面波廣播的天線ex204上的機頂盒ex217內(nèi)安裝動態(tài)圖像解碼裝置，將其用電視機的監(jiān)視器ex219顯示。此時，也可以不是在機頂盒、而在電視機內(nèi)裝入動態(tài)圖像解碼裝置。

圖17是表示使用在上述各實施方式中說明的動態(tài)圖像解碼方法及動態(tài)圖像編碼方法的電視機(接收機)ex300的圖。電視機ex300具備經(jīng)由接收上述廣播的天線ex204或線纜ex203等取得或者輸出對影像數(shù)據(jù)復(fù)用了聲音數(shù)據(jù)的復(fù)用數(shù)據(jù)的調(diào)諧器ex301、將接收到的復(fù)用數(shù)據(jù)解調(diào)或調(diào)制為向外部發(fā)送的編碼數(shù)據(jù)的調(diào)制/解調(diào)部ex302、和將解調(diào)后的復(fù)用數(shù)據(jù)分離為影像數(shù)據(jù)、聲音數(shù)據(jù)或?qū)⒃谛盘柼幚聿籩x306中編碼的影像數(shù)據(jù)、聲音數(shù)據(jù)復(fù)用的復(fù)用/分離部ex303。

此外，電視機ex300具備：具有將聲音數(shù)據(jù)、影像數(shù)據(jù)分別解碼、或?qū)⒏髯缘男畔⒕幋a的聲音信號處理部ex304和影像信號處理部ex305(即，作為本發(fā)明的一個方式的圖像編碼裝置或圖像解碼裝置發(fā)揮作用)的信號處理部ex306；具有將解碼后的聲音信號輸出的揚聲器ex307及顯示解碼后的影像信號的顯示器等的顯示部ex308的輸出部ex309。進而，電視機ex300具備具有受理用戶操作的輸入的操作輸入部ex312等的接口部ex317。進而，電視機ex300具有合并控制各部的控制部ex310、對各部供給電力的電源電路部ex311。接口部ex317也可以除了操作輸入部ex312以外，還具有與讀取器/記錄器ex218等的外部設(shè)備連接的橋接部ex313、用來能夠安裝SD卡等的記錄介質(zhì)ex216的插槽部ex314、用來與硬盤等的外部記錄介質(zhì)連接的驅(qū)動器ex315、與電話網(wǎng)連接的調(diào)制解調(diào)器ex316等。另外，記錄介質(zhì)ex216是能夠通過收存的非易失性/易失性的半導(dǎo)體存儲元件電氣地進行信息的記錄的結(jié)構(gòu)。電視機ex300的各部經(jīng)由同步總線相互連接。

首先，對電視機ex300將通過天線ex204等從外部取得的復(fù)用數(shù)據(jù)解碼、再現(xiàn)的結(jié)構(gòu)進行說明。電視機ex300接受來自遙控器ex220等的用戶操作，基于具有CPU等的控制部ex310的控制，將由調(diào)制/解調(diào)部ex302解調(diào)的復(fù)用數(shù)據(jù)用復(fù)用/分離部ex303分離。進而，電視機ex300將分離的聲音數(shù)據(jù)用聲音信號處理部ex304解碼，將分離的影像數(shù)據(jù)用影像信號處理部ex305使用在上述各實施方式中說明的解碼方法解碼。將解碼后的聲音信號、影像信號分別從輸出部ex309朝向外部輸出。在輸出時，可以暫時將這些信號儲存到緩沖器ex318、ex319等中，以使聲音信號和影像信號同步再現(xiàn)。此外，電視機ex300也可以不是從廣播等、而從磁/光盤、SD卡等的記錄介質(zhì)ex215、ex216讀出編碼的復(fù)用數(shù)據(jù)。接著，對電視機ex300將聲音信號或影像信號編碼、向外部發(fā)送或?qū)懭氲接涗浗橘|(zhì)等中的結(jié)構(gòu)進行說明。電視機ex300接受來自遙控器ex220等的用戶操作，基于控制部ex310的控制，由聲音信號處理部ex304將聲音信號編碼，由影像信號處理部ex305將影像信號使用在上述各實施方式中說明的編碼方法編碼。將編碼后的聲音信號、影像信號用復(fù)用/分離部ex303復(fù)用，向外部輸出。在復(fù)用時，可以暫時將這些信號儲存到緩沖器ex320、ex321等中，以使聲音信號和影像信號同步再現(xiàn)。另外，緩沖器ex318、ex319、ex320、ex321既可以如圖示那樣具備多個，也可以是共用一個以上的緩沖器的結(jié)構(gòu)。進而，在圖示以外，也可以在例如調(diào)制/解調(diào)部ex302或復(fù)用/分離部ex303之間等也作為避免系統(tǒng)的上溢、下溢的緩沖部而在緩沖器中儲存數(shù)據(jù)。

此外，電視機ex300除了從廣播等或記錄介質(zhì)等取得聲音數(shù)據(jù)、影像數(shù)據(jù)以外，也可以具備受理麥克風(fēng)或照相機的AV輸入的結(jié)構(gòu)，對從它們中取得的數(shù)據(jù)進行編碼處理。另外，這里，將電視機ex300作為能夠進行上述編碼處理、復(fù)用、及外部輸出的結(jié)構(gòu)進行了說明，但也可以不能進行這些處理，而是僅能夠進行上述接收、解碼處理、外部輸出的結(jié)構(gòu)。

此外，在由讀取器/記錄器ex218從記錄介質(zhì)將復(fù)用數(shù)據(jù)讀出、或?qū)懭氲那闆r下，上述解碼處理或編碼處理由電視機ex300、讀取器/記錄器ex218的哪個進行都可以，也可以是電視機ex300和讀取器/記錄器ex218相互分擔(dān)進行。

作為一例，將從光盤進行數(shù)據(jù)的讀入或?qū)懭氲那闆r下的信息再現(xiàn)/記錄部ex400的結(jié)構(gòu)表示在圖18中。信息再現(xiàn)/記錄部ex400具備以下說明的單元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光頭ex401對作為光盤的記錄介質(zhì)ex215的記錄面照射激光斑而寫入信息，檢測來自記錄介質(zhì)ex215的記錄面的反射光而讀入信息。調(diào)制記錄部ex402電氣地驅(qū)動內(nèi)置在光頭ex401中的半導(dǎo)體激光器，根據(jù)記錄數(shù)據(jù)進行激光的調(diào)制。再現(xiàn)解調(diào)部ex403將由內(nèi)置在光頭ex401中的光檢測器電氣地檢測到來自記錄面的反射光而得到的再現(xiàn)信號放大，將記錄在記錄介質(zhì)ex215中的信號成分分離并解調(diào)，再現(xiàn)所需要的信息。緩沖器ex404將用來記錄到記錄介質(zhì)ex215中的信息及從記錄介質(zhì)ex215再現(xiàn)的信息暫時保持。盤馬達ex405使記錄介質(zhì)ex215旋轉(zhuǎn)。伺服控制部ex406一邊控制盤馬達ex405的旋轉(zhuǎn)驅(qū)動一邊使光頭ex401移動到規(guī)定的信息軌道，進行激光斑的追蹤處理。系統(tǒng)控制部ex407進行信息再現(xiàn)/記錄部ex400整體的控制。上述的讀出及寫入的處理由系統(tǒng)控制部ex407利用保持在緩沖器ex404中的各種信息、此外根據(jù)需要而進行新的信息的生成、追加、并且一邊使調(diào)制記錄部ex402、再現(xiàn)解調(diào)部ex403、伺服控制部ex406協(xié)調(diào)動作、一邊通過光頭ex401進行信息的記錄再現(xiàn)來實現(xiàn)。系統(tǒng)控制部ex407例如由微處理器構(gòu)成，通過執(zhí)行讀出寫入的程序來執(zhí)行它們的處理。

以上，假設(shè)光頭ex401照射激光斑而進行了說明，但也可以是使用接近場光進行高密度的記錄的結(jié)構(gòu)。

在圖19中表示作為光盤的記錄介質(zhì)ex215的示意圖。在記錄介質(zhì)ex215的記錄面上，以螺旋狀形成有導(dǎo)引槽(溝)，在信息軌道ex230中，預(yù)先通過溝的形狀的變化而記錄有表示盤上的絕對位置的地址信息。該地址信息包括用來確定作為記錄數(shù)據(jù)的單位的記錄塊ex231的位置的信息，通過在進行記錄及再現(xiàn)的裝置中將信息軌道ex230再現(xiàn)而讀取地址信息，能夠確定記錄塊。此外，記錄介質(zhì)ex215包括數(shù)據(jù)記錄區(qū)域ex233、內(nèi)周區(qū)域ex232、外周區(qū)域ex234。為了記錄用戶數(shù)據(jù)而使用的區(qū)域是數(shù)據(jù)記錄區(qū)域ex233，配置在比數(shù)據(jù)記錄區(qū)域ex233靠內(nèi)周或外周的內(nèi)周區(qū)域ex232和外周區(qū)域ex234用于用戶數(shù)據(jù)的記錄以外的特定用途。信息再現(xiàn)/記錄部ex400對這樣的記錄介質(zhì)ex215的數(shù)據(jù)記錄區(qū)域ex233進行編碼的聲音數(shù)據(jù)、影像數(shù)據(jù)或復(fù)用了這些數(shù)據(jù)的編碼數(shù)據(jù)的讀寫。

以上，舉1層的DVD、BD等的光盤為例進行了說明，但并不限定于這些，也可以是多層構(gòu)造、在表面以外也能夠記錄的光盤。此外，也可以是在盤的相同的地方使用不同波長的顏色的光記錄信息、或從各種角度記錄不同的信息的層等、進行多維的記錄/再現(xiàn)的構(gòu)造的光盤。

此外，在數(shù)字廣播用系統(tǒng)ex200中，也可以由具有天線ex205的車ex210從衛(wèi)星ex202等接收數(shù)據(jù)、在車ex210具有的導(dǎo)航儀ex211等的顯示裝置上再現(xiàn)動態(tài)圖像。另外，導(dǎo)航儀ex211的結(jié)構(gòu)可以考慮例如在圖17所示的結(jié)構(gòu)中添加GPS接收部的結(jié)構(gòu)，在計算機ex111及便攜電話ex114等中也可以考慮同樣的結(jié)構(gòu)。

圖20A是表示使用在上述實施方式中說明的動態(tài)圖像解碼方法和動態(tài)圖像編碼方法的便攜電話ex114的圖。便攜電話ex114具有由用來在與基站ex110之間收發(fā)電波的天線ex350、能夠拍攝影像、靜止圖像的照相機部ex365、顯示將由照相機部ex365攝影的影像、由天線ex350接收到的影像等解碼后的數(shù)據(jù)的液晶顯示器等的顯示部ex358。便攜電話ex114還具有包含操作鍵部ex366的主體部、用來進行聲音輸出的揚聲器等的聲音輸出部ex357、用來進行聲音輸入的麥克風(fēng)等的聲音輸入部ex356、保存拍攝到的影像、靜止圖像、錄音的聲音、或者接收到的影像、靜止圖像、郵件等的編碼后的數(shù)據(jù)或者解碼后的數(shù)據(jù)的存儲器部ex367、或者作為與同樣保存數(shù)據(jù)的記錄介質(zhì)之間的接口部的插槽部ex364。

進而，使用圖20B對便攜電話ex114的結(jié)構(gòu)例進行說明。便攜電話ex114對于合并控制具備顯示部ex358及操作鍵部ex366的主體部的各部的主控制部ex360，將電源電路部ex361、操作輸入控制部ex362、影像信號處理部ex355、照相機接口部ex363、LCD(Liquid Crystal Display：液晶顯示器)控制部ex359、調(diào)制/解調(diào)部ex352、復(fù)用/分離部ex353、聲音信號處理部ex354、插槽部ex364、存儲器部ex367經(jīng)由總線ex370相互連接。

電源電路部ex361如果通過用戶的操作使通話結(jié)束及電源鍵成為開啟狀態(tài)，則通過從電池組對各部供給電力，便攜電話ex114起動為能夠動作的狀態(tài)。

便攜電話ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在語音通話模式時，將由聲音輸入部ex356集音的聲音信號通過聲音信號處理部ex354變換為數(shù)字聲音信號，將其用調(diào)制/解調(diào)部ex352進行波譜擴散處理，由發(fā)送/接收部ex351實施數(shù)字模擬變換處理及頻率變換處理后經(jīng)由天線ex350發(fā)送。此外，便攜電話ex114在語音通話模式時，將由天線ex350接收到的接收數(shù)據(jù)放大并實施頻率變換處理及模擬數(shù)字變換處理，用調(diào)制/解調(diào)部ex352進行波譜逆擴散處理，通過聲音信號處理部ex354變換為模擬聲音數(shù)據(jù)后，將其經(jīng)由聲音輸出部ex357輸出。

進而，在數(shù)據(jù)通信模式時發(fā)送電子郵件的情況下，將通過主體部的操作鍵部ex366等的操作輸入的電子郵件的文本數(shù)據(jù)經(jīng)由操作輸入控制部ex362向主控制部ex360送出。主控制部ex360將文本數(shù)據(jù)用調(diào)制/解調(diào)部ex352進行波譜擴散處理，由發(fā)送/接收部ex351實施數(shù)字模擬變換處理及頻率變換處理后，經(jīng)由天線ex350向基站ex110發(fā)送。在接收電子郵件的情況下，對接收到的數(shù)據(jù)執(zhí)行上述處理的大致逆處理，并輸出到顯示部ex350。

在數(shù)據(jù)通信模式時，在發(fā)送影像、靜止圖像、或者影像和聲音的情況下，影像信號處理部ex355將從照相機部ex365供給的影像信號通過上述各實施方式所示的動態(tài)圖像編碼方法進行壓縮編碼(即，作為本發(fā)明的一個方式的圖像編碼裝置發(fā)揮作用)，將編碼后的影像數(shù)據(jù)送出至復(fù)用/分離部ex353。另外，聲音信號處理部ex354對通過照相機部ex365拍攝影像、靜止圖像等的過程中用聲音輸入部ex356集音的聲音信號進行編碼，將編碼后的聲音數(shù)據(jù)送出至復(fù)用/分離部ex353。

復(fù)用/分離部ex353通過規(guī)定的方式，對從影像信號處理部ex355供給的編碼后的影像數(shù)據(jù)和從聲音信號處理部ex354供給的編碼后的聲音數(shù)據(jù)進行復(fù)用，將其結(jié)果得到的復(fù)用數(shù)據(jù)用調(diào)制/解調(diào)部(調(diào)制/解調(diào)電路部)ex352進行波譜擴散處理，由發(fā)送/接收部ex351實施數(shù)字模擬變換處理及頻率變換處理后，經(jīng)由天線ex350發(fā)送。

在數(shù)據(jù)通信模式時接收到鏈接到主頁等的動態(tài)圖像文件的數(shù)據(jù)的情況下，或者接收到附加了影像或者聲音的電子郵件的情況下，為了對經(jīng)由天線ex350接收到的復(fù)用數(shù)據(jù)進行解碼，復(fù)用/分離部ex353通過將復(fù)用數(shù)據(jù)分離，分為影像數(shù)據(jù)的比特流和聲音數(shù)據(jù)的比特流，經(jīng)由同步總線ex370將編碼后的影像數(shù)據(jù)向影像信號處理部ex355供給，并將編碼后的聲音數(shù)據(jù)向聲音信號處理部ex354供給。影像信號處理部ex355通過與上述各實施方式所示的動態(tài)圖像編碼方法相對應(yīng)的動態(tài)圖像解碼方法進行解碼，由此對影像信號進行解碼(即，作為本發(fā)明的一個方式的圖像解碼裝置發(fā)揮作用)，經(jīng)由LCD控制部ex359從顯示部ex358顯示例如鏈接到主頁的動態(tài)圖像文件中包含的影像、靜止圖像。另外，聲音信號處理部ex354對聲音信號進行解碼，從聲音輸出部ex357輸出聲音。

此外，上述便攜電話ex114等的終端與電視機ex300同樣，除了具有編碼器、解碼器兩者的收發(fā)型終端以外，還可以考慮只有編碼器的發(fā)送終端、只有解碼器的接收終端的3種安裝形式。另外，在數(shù)字廣播用系統(tǒng)ex200中，設(shè)為發(fā)送、接收在影像數(shù)據(jù)中復(fù)用了音樂數(shù)據(jù)等得到的復(fù)用數(shù)據(jù)而進行了說明，但除聲音數(shù)據(jù)之外復(fù)用了與影像關(guān)聯(lián)的字符數(shù)據(jù)等的數(shù)據(jù)也可以，不是復(fù)用數(shù)據(jù)而是影像數(shù)據(jù)本身也可以。

這樣，將在上述各實施方式中表示的動態(tài)圖像編碼方法或動態(tài)圖像解碼方法用在上述哪種設(shè)備、系統(tǒng)中都可以，通過這樣，能夠得到在上述各實施方式中說明的效果。

此外，本發(fā)明并不限定于這樣的上述實施方式，能夠不脫離本發(fā)明的范圍而進行各種變形或修正。

(實施方式5)

也可以通過將在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置、與依據(jù)MPEG－2、MPEG4－AVC、VC－1等不同的規(guī)格的動態(tài)圖像編碼方法或裝置根據(jù)需要而適當切換，來生成影像數(shù)據(jù)。

這里，在生成分別依據(jù)不同的規(guī)格的多個影像數(shù)據(jù)的情況下，在解碼時，需要選擇對應(yīng)于各個規(guī)格的解碼方法。但是，由于不能識別要解碼的影像數(shù)據(jù)依據(jù)哪個規(guī)格，所以產(chǎn)生不能選擇適當?shù)慕獯a方法的問題。

為了解決該問題，在影像數(shù)據(jù)中復(fù)用了聲音數(shù)據(jù)等的復(fù)用數(shù)據(jù)采用包含表示影像數(shù)據(jù)依據(jù)哪個規(guī)格的識別信息的結(jié)構(gòu)。以下，說明包括通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)在內(nèi)的復(fù)用數(shù)據(jù)的具體的結(jié)構(gòu)。復(fù)用數(shù)據(jù)是MPEG－2傳輸流形式的數(shù)字流。

圖21是表示復(fù)用數(shù)據(jù)的結(jié)構(gòu)的圖。如圖21所示，復(fù)用數(shù)據(jù)通過將視頻流、音頻流、演示圖形流(PG)、交互圖形流中的1個以上進行復(fù)用而得到。視頻流表示電影的主影像及副影像，音頻流(IG)表示電影的主聲音部分和與該主聲音混合的副聲音，演示圖形流表示電影的字幕。這里，所謂主影像，表示顯示在畫面上的通常的影像，所謂副影像，是在主影像中用較小的畫面顯示的影像。此外，交互圖形流表示通過在畫面上配置GUI部件而制作的對話畫面。視頻流通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置、依據(jù)以往的MPEG－2、MPEG4－AVC、VC－1等規(guī)格的動態(tài)圖像編碼方法或裝置編碼。音頻流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或線性PCM等的方式編碼。

包含在復(fù)用數(shù)據(jù)中的各流通過PID被識別。例如，對在電影的影像中使用的視頻流分配0x1011，對音頻流分配0x1100到0x111F，對演示圖形分配0x1200到0x121F，對交互圖形流分配0x1400到0x141F，對在電影的副影像中使用的視頻流分配0x1B00到0x1B1F，對與主聲音混合的副聲音中使用的音頻流分配0x1A00到0x1A1F。

圖22是示意地表示復(fù)用數(shù)據(jù)怎樣被復(fù)用的圖。首先，將由多個視頻幀構(gòu)成的視頻流ex235、由多個音頻幀構(gòu)成的音頻流ex238分別變換為PES包序列ex236及ex239，并變換為TS包ex237及ex240。同樣，將演示圖形流ex241及交互圖形ex244的數(shù)據(jù)分別變換為PES包序列ex242及ex245，再變換為TS包ex243及ex246。復(fù)用數(shù)據(jù)ex247通過將這些TS包復(fù)用到1條流中而構(gòu)成。

圖23更詳細地表示在PES包序列中怎樣保存視頻流。圖23的第1段表示視頻流的視頻幀序列。第2段表示PES包序列。如圖23的箭頭yy1、yy2、yy3、yy4所示，視頻流中的多個作為Video Presentation Unit的I圖片、B圖片、P圖片按每個圖片被分割并保存到PES包的有效載荷中。各PES包具有PES頭，在PES頭中，保存有作為圖片的顯示時刻的PTS(Presentation Time-Stamp)及作為圖片的解碼時刻的DTS(Decoding Time-Stamp)。

圖24表示最終寫入在復(fù)用數(shù)據(jù)中的TS包的形式。TS包是由具有識別流的PID等信息的4字節(jié)的TS頭和保存數(shù)據(jù)的184字節(jié)的TS有效載荷構(gòu)成的188字節(jié)固定長度的包，上述PES包被分割并保存到TS有效載荷中。在BD－ROM的情況下，對于TS包賦予4字節(jié)的TP_Extra_Header，構(gòu)成192字節(jié)的源包，寫入到復(fù)用數(shù)據(jù)中。在TP_Extra_Header中記載有ATS(Arrival_Time_Stamp)等信息。ATS表示該TS包向解碼器的PID濾波器的轉(zhuǎn)送開始時刻。在復(fù)用數(shù)據(jù)中，源包如圖24下段所示排列，從復(fù)用數(shù)據(jù)的開頭起遞增的號碼被稱作SPN(源包號)。

此外，在復(fù)用數(shù)據(jù)所包含的TS包中，除了影像、聲音、字幕等的各流以外，還有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示在復(fù)用數(shù)據(jù)中使用的PMT的PID是什么，PAT自身的PID被登記為0。PMT具有復(fù)用數(shù)據(jù)所包含的影像、聲音、字幕等的各流的PID、以及與各PID對應(yīng)的流的屬性信息，還具有關(guān)于復(fù)用數(shù)據(jù)的各種描述符。在描述符中，有指示許可/不許可復(fù)用數(shù)據(jù)的拷貝的拷貝控制信息等。PCR為了取得作為ATS的時間軸的ATC(Arrival Time Clock)與作為PTS及DTS的時間軸的STC(System Time Clock)的同步，擁有與該PCR包被轉(zhuǎn)送至解碼器的ATS對應(yīng)的STC時間的信息。

圖25是詳細地說明PMT的數(shù)據(jù)構(gòu)造的圖。在PMT的開頭，配置有記述了包含在該PMT中的數(shù)據(jù)的長度等的PMT頭。在其后面，配置有多個關(guān)于復(fù)用數(shù)據(jù)的描述符。上述拷貝控制信息等被記載為描述符。在描述符之后，配置有多個關(guān)于包含在復(fù)用數(shù)據(jù)中的各流的流信息。流信息由記載有用來識別流的壓縮編解碼器的流類型、流的PID、流的屬性信息(幀速率、縱橫比等)的流描述符構(gòu)成。流描述符存在復(fù)用數(shù)據(jù)中存在的流的數(shù)量。

在記錄到記錄介質(zhì)等中的情況下，將上述復(fù)用數(shù)據(jù)與復(fù)用數(shù)據(jù)信息文件一起記錄。

復(fù)用數(shù)據(jù)信息文件如圖26所示，是復(fù)用數(shù)據(jù)的管理信息，與復(fù)用數(shù)據(jù)一對一地對應(yīng)，由復(fù)用數(shù)據(jù)信息、流屬性信息以及入口映射構(gòu)成。

復(fù)用數(shù)據(jù)信息如圖26所示，由系統(tǒng)速率、再現(xiàn)開始時刻、再現(xiàn)結(jié)束時刻構(gòu)成。系統(tǒng)速率表示復(fù)用數(shù)據(jù)的向后述的系統(tǒng)目標解碼器的PID濾波器的最大轉(zhuǎn)送速率。包含在復(fù)用數(shù)據(jù)中的ATS的間隔設(shè)定為成為系統(tǒng)速率以下。再現(xiàn)開始時刻是復(fù)用數(shù)據(jù)的開頭的視頻幀的PTS，再現(xiàn)結(jié)束時刻設(shè)定為對復(fù)用數(shù)據(jù)的末端的視頻幀的PTS加上1幀量的再現(xiàn)間隔的值。

流屬性信息如圖27所示，按每個PID登記有關(guān)于包含在復(fù)用數(shù)據(jù)中的各流的屬性信息。屬性信息具有按視頻流、音頻流、演示圖形流、交互圖形流而不同的信息。視頻流屬性信息具有該視頻流由怎樣的壓縮編解碼器壓縮、構(gòu)成視頻流的各個圖片數(shù)據(jù)的分辨率是多少、縱橫比是多少、幀速率是多少等的信息。音頻流屬性信息具有該音頻流由怎樣的壓縮編解碼器壓縮、包含在該音頻流中的聲道數(shù)是多少、對應(yīng)于哪種語言、采樣頻率是多少等的信息。這些信息用于在播放器再現(xiàn)之前的解碼器的初始化等中。

在本實施方式中，使用上述復(fù)用數(shù)據(jù)中的、包含在PMT中的流類型。此外，在記錄介質(zhì)中記錄有復(fù)用數(shù)據(jù)的情況下，使用包含在復(fù)用數(shù)據(jù)信息中的視頻流屬性信息。具體而言，在上述各實施方式示出的動態(tài)圖像編碼方法或裝置中，設(shè)置如下步驟或單元，該步驟或單元對包含在PMT中的流類型、或視頻流屬性信息，設(shè)定表示是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)的固有信息。通過該結(jié)構(gòu)，能夠識別通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)、和依據(jù)其他規(guī)格的影像數(shù)據(jù)。

此外，在圖28中表示本實施方式的動態(tài)圖像解碼方法的步驟。在步驟exS100中，從復(fù)用數(shù)據(jù)中取得包含在PMT中的流類型、或包含在復(fù)用數(shù)據(jù)信息中的視頻流屬性信息。接著，在步驟exS101中，判斷流類型、或視頻流屬性信息是否表示是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的復(fù)用數(shù)據(jù)。并且，在判斷為流類型、或視頻流屬性信息是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的復(fù)用數(shù)據(jù)情況下，在步驟exS102中，通過在上述各實施方式中示出的動態(tài)圖像解碼方法進行解碼。此外，在流類型、或視頻流屬性信息表示是依據(jù)以往的MPEG－2、MPEG4－AVC、VC－1等的規(guī)格的復(fù)用數(shù)據(jù)的情況下，在步驟exS103中，通過依據(jù)以往的規(guī)格的動態(tài)圖像解碼方法進行解碼。

這樣，通過在流類型、或視頻流屬性信息中設(shè)定新的固有值，在解碼時能夠判斷是否能夠通過在上述各實施方式中示出的動態(tài)圖像解碼方法或裝置解碼。因而，在被輸入了依據(jù)不同的規(guī)格的復(fù)用數(shù)據(jù)的情況下，也能夠選擇適當?shù)慕獯a方法或裝置，所以能夠不發(fā)生錯誤地進行解碼。此外，將在本實施方式中示出的動態(tài)圖像編碼方法或裝置、或者動態(tài)圖像解碼方法或裝置用在上述任何設(shè)備、系統(tǒng)中。

(實施方式6)

在上述各實施方式中示出的動態(tài)圖像編碼方法及裝置、動態(tài)圖像解碼方法及裝置典型地可以由作為集成電路的LSI實現(xiàn)。作為一例，在圖29中表示1芯片化的LSIex500的結(jié)構(gòu)。LSIex500具備以下說明的單元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各單元經(jīng)由總線ex510連接。電源電路部ex505通過在電源是開啟狀態(tài)的情況下對各部供給電力，起動為能夠動作的狀態(tài)。

例如在進行編碼處理的情況下，LSIex500基于具有CPUex502、存儲器控制器ex503、流控制器ex504、驅(qū)動頻率控制部ex512等的控制部ex501的控制，通過AV I/Oex509從麥克風(fēng)ex117及照相機ex113等輸入AV信號。被輸入的AV信號暫時儲存在SDRAM等的外部的存儲器ex511中?；诳刂撇縠x501的控制，將儲存的數(shù)據(jù)根據(jù)處理量及處理速度適當?shù)胤譃槎啻蔚?，向信號處理部ex507發(fā)送，在信號處理部ex507中進行聲音信號的編碼及/或影像信號的編碼。這里，影像信號的編碼處理是在上述各實施方式中說明的編碼處理。在信號處理部ex507中，還根據(jù)情況而進行將編碼的聲音數(shù)據(jù)和編碼的影像數(shù)據(jù)復(fù)用等的處理，從流I/Oex506向外部輸出。將該輸出的比特流向基站ex107發(fā)送、或?qū)懭氲接涗浗橘|(zhì)ex215中。另外，在復(fù)用時，可以暫時將數(shù)據(jù)儲存到緩沖器ex508中以使其同步。

另外，在上述中，設(shè)存儲器ex511為LSIex500的外部的結(jié)構(gòu)進行了說明，但也可以是包含在LSIex500的內(nèi)部中的結(jié)構(gòu)。緩沖器ex508也并不限定于一個，也可以具備多個緩沖器。此外，LSIex500既可以形成1個芯片，也可以形成多個芯片。

此外，在上述中，假設(shè)控制部ex510具有CPUex502、存儲器控制器ex503、流控制器ex504、驅(qū)動頻率控制部ex512等，但控制部ex510的結(jié)構(gòu)并不限定于該結(jié)構(gòu)。例如，也可以是信號處理部ex507還具備CPU的結(jié)構(gòu)。通過在信號處理部ex507的內(nèi)部中也設(shè)置CPU，能夠進一步提高處理速度。此外，作為其他例，也可以是CPUex502具備信號處理部ex507、或作為信號處理部ex507的一部分的例如聲音信號處理部的結(jié)構(gòu)。在這樣的情況下，控制部ex501為具備具有信號處理部ex507或其一部分的CPUex502的結(jié)構(gòu)。

另外，這里設(shè)為LSI，但根據(jù)集成度的差異，也有稱作IC、系統(tǒng)LSI、超級(super)LSI、特級(ultra)LSI的情況。

此外，集成電路化的方法并不限定于LSI，也可以由專用電路或通用處理器實現(xiàn)。也可以利用在LSI制造后能夠編程的FPGA(Field Programmable Gate Array)、或能夠重構(gòu)LSI內(nèi)部的電路單元的連接及設(shè)定的可重構(gòu)處理器。

進而，如果因半導(dǎo)體技術(shù)的進步或派生的其他技術(shù)而出現(xiàn)代替LSI的集成電路化的技術(shù)，則當然也可以使用該技術(shù)進行功能模塊的集成化。有可能是生物技術(shù)的應(yīng)用等。

(實施方式7)

在將通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)解碼的情況下，考慮到與將依據(jù)以往的MPEG－2、MPEG4－AVC、VC－1等規(guī)格的影像數(shù)據(jù)的情況相比處理量會增加。因此，在LSIex500中，需要設(shè)定為比將依據(jù)以往的規(guī)格的影像數(shù)據(jù)解碼時的CPUex502的驅(qū)動頻率更高的驅(qū)動頻率。但是，如果將驅(qū)動頻率設(shè)得高，則發(fā)生消耗電力變高的問題。

為了解決該問題，電視機ex300、LSIex500等的動態(tài)圖像解碼裝置采用識別影像數(shù)據(jù)依據(jù)哪個規(guī)格、并根據(jù)規(guī)格切換驅(qū)動頻率的結(jié)構(gòu)。圖30表示本實施方式的結(jié)構(gòu)ex800。驅(qū)動頻率切換部ex803在影像數(shù)據(jù)是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的情況下，將驅(qū)動頻率設(shè)定得高。并且，對執(zhí)行在上述各實施方式中示出的動態(tài)圖像解碼方法的解碼處理部ex801指示將影像數(shù)據(jù)解碼。另一方面，在影像數(shù)據(jù)是依據(jù)以往的規(guī)格的影像數(shù)據(jù)的情況下，與影像數(shù)據(jù)是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的數(shù)據(jù)的情況相比，將驅(qū)動頻率設(shè)定得低。并且，對依據(jù)以往的規(guī)格的解碼處理部ex802指示將影像數(shù)據(jù)解碼。

更具體地講，驅(qū)動頻率切換部ex803由圖29的CPUex502和驅(qū)動頻率控制部ex512構(gòu)成。此外，執(zhí)行在上述各實施方式中示出的動態(tài)圖像解碼方法的解碼處理部ex801、以及依據(jù)以往的規(guī)格的解碼處理部ex802對應(yīng)于圖29的信號處理部ex507。CPUex502識別影像數(shù)據(jù)依據(jù)哪個規(guī)格。并且，基于來自CPUex502的信號，驅(qū)動頻率控制部ex512設(shè)定驅(qū)動頻率。此外，基于來自CPUex502的信號，信號處理部ex507進行影像數(shù)據(jù)的解碼。這里，可以考慮在影像數(shù)據(jù)的識別中使用例如在實施方式5中記載的識別信息。關(guān)于識別信息，并不限定于在實施方式5中記載的信息，只要是能夠識別影像數(shù)據(jù)依據(jù)哪個規(guī)格的信息就可以。例如，在基于識別影像數(shù)據(jù)利用于電視機還是利用于盤等的外部信號，來能夠識別影像數(shù)據(jù)依據(jù)哪個規(guī)格的情況下，也可以基于這樣的外部信號進行識別。此外，CPUex502的驅(qū)動頻率的選擇例如可以考慮如圖32所示的將影像數(shù)據(jù)的規(guī)格與驅(qū)動頻率建立對應(yīng)的查找表進行。將查找表預(yù)先保存到緩沖器ex508、或LSI的內(nèi)部存儲器中，CPUex502通過參照該查找表，能夠選擇驅(qū)動頻率。

圖31表示實施本實施方式的方法的步驟。首先，在步驟exS200中，在信號處理部ex507中，從復(fù)用數(shù)據(jù)中取得識別信息。接著，在步驟exS201中，在CPUex502中，基于識別信息識別影像數(shù)據(jù)是否是通過在上述各實施方式中示出的編碼方法或裝置生成的數(shù)據(jù)。在影像數(shù)據(jù)是通過在上述各實施方式中示出的編碼方法或裝置生成的數(shù)據(jù)的情況下，在步驟exS202中，CPUex502向驅(qū)動頻率控制部ex512發(fā)送將驅(qū)動頻率設(shè)定得高的信號。并且，在驅(qū)動頻率控制部ex512中設(shè)定為高的驅(qū)動頻率。另一方面，在表示是依據(jù)以往的MPEG－2、MPEG4－AVC、VC－1等的規(guī)格的影像數(shù)據(jù)的情況下，在步驟exS203中，CPUex502向驅(qū)動頻率控制部ex512發(fā)送將驅(qū)動頻率設(shè)定得低的信號。并且，在驅(qū)動頻率控制部ex512中，設(shè)定為與影像數(shù)據(jù)是通過在上述各實施方式中示出的編碼方法或裝置生成的數(shù)據(jù)的情況相比更低的驅(qū)動頻率。

進而，通過與驅(qū)動頻率的切換連動而變更對LSIex500或包括LSIex500的裝置施加的電壓，由此能夠進一步提高節(jié)電效果。例如，在將驅(qū)動頻率設(shè)定得低的情況下，隨之，可以考慮與將驅(qū)動頻率設(shè)定得高的情況相比，將對LSIex500或包括LSIex500的裝置施加的電壓設(shè)定得低。

此外，驅(qū)動頻率的設(shè)定方法只要是在解碼時的處理量大的情況下將驅(qū)動頻率設(shè)定得高、在解碼時的處理量小的情況下將驅(qū)動頻率設(shè)定得低就可以，并不限定于上述的設(shè)定方法。例如，可以考慮在將依據(jù)MPEG4－AVC規(guī)格的影像數(shù)據(jù)解碼的處理量大于將通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)解碼的處理量的情況下，與上述的情況相反地進行驅(qū)動頻率的設(shè)定。

進而，驅(qū)動頻率的設(shè)定方法并不限定于使驅(qū)動頻率低的結(jié)構(gòu)。例如，也可以考慮在識別信息是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，將對LSIex500或包括LSIex500的裝置施加的電壓設(shè)定得高，在表示是依據(jù)以往的MPEG－2、MPEG4－AVC、VC－1等的規(guī)格的影像數(shù)據(jù)的情況下，將對LSIex500或包括LSIex500的裝置施加的電壓設(shè)定得低。此外，作為另一例，也可以考慮在識別信息表示是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，不使CPUex502的驅(qū)動停止，在表示是依據(jù)以往的MPEG－2、MPEG4－AVC、VC－1等的規(guī)格的影像數(shù)據(jù)的情況下，由于在處理中有富余，所以使CPUex502的驅(qū)動暫停。也可以考慮在識別信息表示是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，也只要在處理中有富余則使CPUex502的驅(qū)動暫停。在此情況下，可以考慮與表示是依據(jù)以往的MPEG－2、MPEG4－AVC、VC－1等的規(guī)格的影像數(shù)據(jù)的情況相比，將停止時間設(shè)定得短。

這樣，根據(jù)影像數(shù)據(jù)所依據(jù)的規(guī)格來切換驅(qū)動頻率，由此能夠?qū)崿F(xiàn)節(jié)電化。此外，在使用電池來驅(qū)動LSIex500或包括LSIex500的裝置的情況下，能夠隨著節(jié)電而延長電池的壽命。

(實施方式8)

在電視機、便攜電話等上述的設(shè)備、系統(tǒng)中，有時被輸入依據(jù)不同的規(guī)格的多個影像數(shù)據(jù)。這樣，為了使得在被輸入了依據(jù)不同的規(guī)格的多個影像數(shù)據(jù)的情況下也能夠解碼，LSIex500的信號處理部ex507需要對應(yīng)于多個規(guī)格。但是，如果單獨使用對應(yīng)于各個規(guī)格的信號處理部ex507，則發(fā)生LSIex500的電路規(guī)模變大、此外成本增加的問題。

為了解決該問題，采用將用來執(zhí)行在上述各實施方式中示出的動態(tài)圖像解碼方法的解碼處理部、和依據(jù)以往的MPEG－2、MPEG4－AVC、VC－1等的規(guī)格的解碼處理部一部分共用的結(jié)構(gòu)。圖33A的ex900表示該結(jié)構(gòu)例。例如，在上述各實施方式中示出的動態(tài)圖像解碼方法和依據(jù)MPEG4－AVC規(guī)格的動態(tài)圖像解碼方法在熵編碼、逆量化、解塊濾波器、運動補償?shù)鹊奶幚碇杏幸徊糠痔幚韮?nèi)容共通?？梢钥紤]如下結(jié)構(gòu)：關(guān)于共通的處理內(nèi)容，共用對應(yīng)于MPEG4－AVC規(guī)格的解碼處理部ex902，關(guān)于不對應(yīng)于MPEG4－AVC規(guī)格的本發(fā)明的一個方式所特有的其他的處理內(nèi)容，使用專用的解碼處理部ex901。關(guān)于解碼處理部的共用，也可以是如下結(jié)構(gòu)：關(guān)于共通的處理內(nèi)容，共用用來執(zhí)行在上述各實施方式中示出的動態(tài)圖像解碼方法的解碼處理部，關(guān)于MPEG4－AVC規(guī)格所特有的處理內(nèi)容，使用專用的解碼處理部。

此外，用圖33B的ex1000表示將處理一部分共用的另一例。在該例中，采用使用與本發(fā)明的一個方式所特有的處理內(nèi)容對應(yīng)的專用的解碼處理部ex1001、和與其他的以往規(guī)格所特有的處理內(nèi)容對應(yīng)的專用的解碼處理部ex1002、和與在本發(fā)明的一個方式的動態(tài)圖像解碼方法和其他的以往規(guī)格的動態(tài)圖像解碼方法中共通的處理內(nèi)容對應(yīng)的共用的解碼處理部ex1003的結(jié)構(gòu)。這里，專用的解碼處理部ex1001、ex1002并不一定是為本發(fā)明的一個方式、或者其他的以往規(guī)格所特有的處理內(nèi)容而特殊化的，可以是能夠執(zhí)行其他的通用處理的結(jié)構(gòu)。此外，也能夠由LSIex500安裝本實施方式的結(jié)構(gòu)。

這樣，對于在本發(fā)明的一個方式的動態(tài)圖像解碼方法和以往的規(guī)格的動態(tài)圖像解碼方法中共通的處理內(nèi)容，共用解碼處理部，由此能夠減小LSI的電路規(guī)模并且降低成本。

產(chǎn)業(yè)上的可利用性

本發(fā)明的動態(tài)圖像編碼方法和動態(tài)圖像解碼方法能夠應(yīng)用于所有的多媒體數(shù)據(jù)，能夠提高壓縮率，例如，作為使用便攜電話、DVD裝置和個人計算機等的蓄積、傳送、通信等中的動態(tài)圖像編碼方法和動態(tài)圖像解碼方法，是有用的。

標號說明

100：動態(tài)圖像編碼裝置；101：正交變換部；102：量化部；103：逆量化部；104：逆正交變換部；105：塊存儲器；106：幀存儲器；107：幀內(nèi)預(yù)測部；108：幀間預(yù)測部；109：幀間預(yù)測控制部；110：圖片類型決定部；111：時間直接矢量計算部；112：co-located參照方向決定部；113：可變長度編碼部；200：動態(tài)圖像解碼裝置；201：可變長度解碼部；202：逆量化部；203：逆正交變換部；204：塊存儲器；205：幀存儲器；206：幀內(nèi)預(yù)測部；207：幀間預(yù)測部；208：幀間預(yù)測控制部；209：時間直接矢量計算部。