技術(shù)領(lǐng)域

本發(fā)明涉及圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及圖像編碼解碼裝置。

背景技術(shù)：

作為已經(jīng)標(biāo)準(zhǔn)化的圖像編碼方式，已知有H.264。在這樣的圖像編碼方式中，作為將圖片(picture)分割編碼的技術(shù)而使用切片(slice)。通過使用切片，圖像解碼裝置能夠?qū)D片中包含的各切片獨立地解碼。

此外，近年來，作為將圖片分割編碼的新的技術(shù)，提出了稱作瓦片(tile)的編碼技術(shù)(例如，參照非專利文獻(xiàn)1)。

現(xiàn)有技術(shù)文獻(xiàn)

非專利文獻(xiàn)

非專利文獻(xiàn)1：“Tiles”(JCTVC－F335)Joint Collaborative Team on Video Coding(JCT－VC)of ITU－T SG16WP3and ISO/IEC JTC1/SC29/WG11 6th Meeting：Torino，IT，14－22July，2011

非專利文獻(xiàn)2：“New results for parallel decoding for Tiles”(JCTVC－F594)Joint Collaborative Team on Video Coding(JCT－VC)of ITU－T SG16 WP3and ISO/IEC JTC1/SC29/WG11 6th Meeting：Torino，IT，14－22July，2011

發(fā)明概要

發(fā)明要解決的問題

在這樣的圖像編碼方法及圖像解碼方法中，要求處理負(fù)荷的降低及編碼效率的提高。

技術(shù)實現(xiàn)要素：

所以，本發(fā)明的目的是提供一種能夠降低處理負(fù)荷或提高編碼效率的圖像編碼方法或圖像解碼方法。

用于解決問題的手段

有關(guān)本發(fā)明的一技術(shù)方案的圖像解碼方法包括：取得步驟，取得包含在比特流中的、通過將分割圖片而得到的多個瓦片中的各個瓦片編碼而生成的多個編碼數(shù)據(jù)；以及解碼步驟，通過將上述多個編碼數(shù)據(jù)分別解碼，生成上述多個瓦片的圖像數(shù)據(jù)；在上述取得步驟中，還從上述比特流取得表示上述多個瓦片的瓦片間的邊界中的每一個邊界是第1邊界還是第2邊界的瓦片邊界獨立信息，上述解碼步驟包括：第1圖像數(shù)據(jù)生成步驟，在將作為上述多個編碼數(shù)據(jù)之一的第1編碼數(shù)據(jù)中包含的第1編碼序列解碼時，在上述瓦片邊界獨立信息表示是第1邊界的情況下，參照其他已解碼瓦片的解碼信息進(jìn)行解碼，在上述瓦片邊界獨立信息表示是第2邊界的情況下，不參照其他已解碼瓦片的解碼信息而進(jìn)行解碼，由此生成作為上述多個瓦片之一的第1瓦片的圖像數(shù)據(jù)。

優(yōu)選地，上述圖像解碼方法包括：跳過步驟，將包含在上述第1編碼數(shù)據(jù)中的、位于上述第1編碼序列之后的預(yù)先設(shè)定的比特序列跳過。

優(yōu)選地，上述圖像解碼方法中，上述第1圖像數(shù)據(jù)生成步驟包括將上述第1編碼序列算術(shù)解碼的算術(shù)解碼步驟；上述算術(shù)解碼步驟包括在上述跳過步驟之前進(jìn)行將對于上述第1編碼序列的算術(shù)解碼處理完結(jié)的終止處理的終止處理步驟。

優(yōu)選地，上述圖像解碼方法中，上述解碼步驟還包括：第2圖像數(shù)據(jù)生成步驟，通過將包含在上述多個編碼數(shù)據(jù)中的、包含在位于上述第1編碼數(shù)據(jù)之后的第2編碼數(shù)據(jù)中的第2編碼序列解碼，生成作為上述多個瓦片之一的第2瓦片的圖像數(shù)據(jù)。

有關(guān)本發(fā)明的一技術(shù)方案的圖像解碼裝置具備：解析部，取得包含在比特流中的、通過將分割圖片而得到的多個瓦片中的各個瓦片編碼而生成的多個編碼數(shù)據(jù)；以及解碼部，通過將上述多個編碼數(shù)據(jù)分別解碼，生成上述多個瓦片的圖像數(shù)據(jù)；上述解析部還從上述比特流取得表示上述多個瓦片的瓦片間的邊界中的每一個邊界是第1邊界還是第2邊界的瓦片邊界獨立信息，上述解碼部，在將作為上述多個編碼數(shù)據(jù)之一的第1編碼數(shù)據(jù)中包含的第1編碼序列解碼時，在上述瓦片邊界獨立信息表示是第1邊界的情況下，參照其他已解碼瓦片的解碼信息進(jìn)行解碼，在上述瓦片邊界獨立信息表示是第2邊界的情況下，不參照其他已解碼瓦片的解碼信息而進(jìn)行解碼，由此生成作為上述多個瓦片之一的第1瓦片的圖像數(shù)據(jù)；以及將包含在上述第1編碼數(shù)據(jù)中的、位于上述第1編碼序列之后的預(yù)先設(shè)定的比特序列跳過。

另外，這些包含性或具體的形態(tài)也可以通過系統(tǒng)、方法、集成電路、計算機(jī)程序或計算機(jī)可讀取的CD－ROM等的記錄介質(zhì)實現(xiàn)，也可以通過系統(tǒng)、方法、集成電路、計算機(jī)程序及記錄介質(zhì)的任意的組合來實現(xiàn)。

發(fā)明效果

本發(fā)明能夠提供能降低處理負(fù)荷或提高編碼效率的圖像編碼方法或圖像解碼方法。

附圖說明

圖1是本發(fā)明的有關(guān)實施方式1的圖像編碼裝置的框圖。

圖2是本發(fā)明的有關(guān)實施方式1的圖片分割處理的流程圖。

圖3A是表示本發(fā)明的有關(guān)實施方式1的瓦片分割模式的一例的圖。

圖3B是表示本發(fā)明的有關(guān)實施方式1的瓦片分割模式的一例的圖。

圖3C是表示本發(fā)明的有關(guān)實施方式1的瓦片分割模式的一例的圖。

圖4A是表示本發(fā)明的有關(guān)實施方式1的瓦片邊界獨立信息的一例的圖。

圖4B是表示本發(fā)明的有關(guān)實施方式1的瓦片邊界獨立信息的一例的圖。

圖5是本發(fā)明的有關(guān)實施方式1的圖像解碼裝置的框圖。

圖6是本發(fā)明的有關(guān)實施方式2的圖像編碼裝置的框圖。

圖7A是表示本發(fā)明的有關(guān)實施方式2的瓦片的掃描順序的一例的圖。

圖7B是表示本發(fā)明的有關(guān)實施方式2的瓦片的掃描順序的一例的圖。

圖7C是表示本發(fā)明的有關(guān)實施方式2的瓦片的掃描順序的一例的圖。

圖7D是表示本發(fā)明的有關(guān)實施方式2的瓦片的掃描順序的一例的圖。

圖8是本發(fā)明的有關(guān)實施方式2的圖像解碼裝置的框圖。

圖9是本發(fā)明的有關(guān)實施方式3的圖像編碼裝置的框圖。

圖10是本發(fā)明的有關(guān)實施方式3的標(biāo)記插入處理的流程圖。

圖11是本發(fā)明的有關(guān)實施方式3的圖像解碼裝置的框圖。

圖12是本發(fā)明的有關(guān)實施方式4的圖像編碼裝置的框圖。

圖13A是本發(fā)明的有關(guān)實施方式4的圖像編碼方法的流程圖。

圖13B是本發(fā)明的有關(guān)實施方式4的編碼處理的流程圖。

圖14是表示本發(fā)明的有關(guān)實施方式4的字節(jié)對齊處理的圖。

圖15是本發(fā)明的有關(guān)實施方式4的圖像解碼裝置的框圖。

圖16A是本發(fā)明的有關(guān)實施方式4的圖像解碼方法的流程圖。

圖16B是本發(fā)明的有關(guān)實施方式4的解碼處理的流程圖。

圖17A是表示瓦片分割模式的一例的圖。

圖17B是瓦片中包含的塊的處理順序的圖。

圖18是實現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容供給系統(tǒng)的整體結(jié)構(gòu)圖。

圖19是數(shù)字廣播用系統(tǒng)的整體結(jié)構(gòu)圖。

圖20是表示電視機(jī)的結(jié)構(gòu)例的模塊圖。

圖21是表示對作為光盤的記錄介質(zhì)進(jìn)行信息的讀寫的信息再現(xiàn)/記錄部的結(jié)構(gòu)例的模塊圖。

圖22是表示作為光盤的記錄介質(zhì)的構(gòu)造例的圖。

圖23A是表示便攜電話的一例的圖。

圖23B是表示便攜電話的結(jié)構(gòu)例的模塊圖。

圖24是表示復(fù)用數(shù)據(jù)的結(jié)構(gòu)的圖。

圖25是示意地表示各流在復(fù)用數(shù)據(jù)中怎樣被復(fù)用的圖。

圖26是更詳細(xì)地表示在PES包序列中視頻流怎樣被保存的圖。

圖27是表示復(fù)用數(shù)據(jù)的TS包和源包的構(gòu)造的圖。

圖28是表示PMT的數(shù)據(jù)結(jié)構(gòu)的圖。

圖29是表示復(fù)用數(shù)據(jù)信息的內(nèi)部結(jié)構(gòu)的圖。

圖30是表示流屬性信息的內(nèi)部結(jié)構(gòu)的圖。

圖31是表示識別影像數(shù)據(jù)的步驟的圖。

圖32是表示實現(xiàn)各實施方式的動態(tài)圖像編碼方法及動態(tài)圖像解碼方法的集成電路的結(jié)構(gòu)例的模塊圖。

圖33是表示切換驅(qū)動頻率的結(jié)構(gòu)的圖。

圖34是表示識別影像數(shù)據(jù)、切換驅(qū)動頻率的步驟的圖。

圖35是表示將影像數(shù)據(jù)的標(biāo)準(zhǔn)與驅(qū)動頻率建立了對應(yīng)的查找表的一例的圖。

圖36A是表示將信號處理部的模塊共用的結(jié)構(gòu)的一例的圖。

圖36B是表示將信號處理部的模塊共用的結(jié)構(gòu)的另一例的圖。

具體實施方式

(作為本發(fā)明的基礎(chǔ)的見解)

首先，使用圖17A及圖17B對瓦片進(jìn)行說明。

圖片被分割為任意的數(shù)量的列(Column)和行(Row)。并且，將用邊界線包圍的各區(qū)域稱作瓦片。

圖17A表示圖片被分割為3個列和3個行的例子。分割的結(jié)果是，在圖片內(nèi)存在T1到T9的9個瓦片。列的寬度可以以LCU(Largest Coding Unit：最大編碼單位)為單位，按照每個列設(shè)定為不同的值。此外，也可以設(shè)定為，使全部列的寬度相同。同樣，行的高度(瓦片的垂直方向的寬度)可以以LCU為單位，按照每個行設(shè)定為不同的值。此外，也可以設(shè)定為，使全部行的高度相同。

當(dāng)將圖片編碼時，將瓦片在圖片內(nèi)以光柵掃描順序處理。即，從左上的瓦片T1起以T2、T3處理，按順序處理到右下的T9。

圖17B表示各瓦片中包含的LCU的例子。各個瓦片包含一個以上的LCU。例如，瓦片T1包含1號到15號的16個LCU。在將圖片編碼時，將LCU在瓦片內(nèi)以光柵掃描順序處理。如上述那樣，將瓦片在圖片內(nèi)以光柵掃描順序處理，所以將多個LCU以圖17B所示的從1號到53號那樣的順序處理。

在這樣將圖片分割為多個瓦片的情況下，有時相對于不將圖片分割的情況LCU的處理順序發(fā)生變化。另一方面，在將圖片分割為多個切片的情況下，相對于不將圖片分割的情況，LCU的處理順序不變化。這樣，通過使用瓦片，能夠進(jìn)行任意的分割，并且能夠最優(yōu)地設(shè)定處理順序，所以與使用切片的情況相比能夠改善編碼效率。

此外，在將處理對象的LCU編碼時，通常利用位于處理對象的LCU的周邊的LCU的編碼信息。例如，在幀內(nèi)(intra)預(yù)測或運動矢量預(yù)測中，參照位于處理對象的LCU的周邊的LCU的信息，將該信息用在處理對象的LCU的編碼中。即，處理對象的LCU依存于周邊的LCU。一般而言，能夠在參照中使用的LCU越多，預(yù)測的精度越高。由此，編碼效率提高。但是，依存于其他LCU的LCU不能與被依存LCU切離而解碼。

此外，設(shè)有表示瓦片邊界處的編碼的依存關(guān)系的標(biāo)志(flag)(瓦片邊界獨立標(biāo)志：tile_boundary_independence_idc)。對于該瓦片邊界獨立標(biāo)志分配了1比特。并且，將該瓦片邊界獨立標(biāo)志以包含在序列參數(shù)集(SPS)或圖片參數(shù)集(PPS)中的狀態(tài)向圖像解碼裝置發(fā)送。

當(dāng)瓦片邊界獨立標(biāo)志為開啟時，各瓦片獨立。即，在將瓦片內(nèi)的某個LCU編碼時，不能參照超過瓦片邊界的LCU的編碼信息，而僅將瓦片內(nèi)的LCU的編碼信息用于預(yù)測。相反，當(dāng)瓦片邊界獨立標(biāo)志為關(guān)閉時，各瓦片具有依存關(guān)系。即，能夠?qū)幚韺ο蟮腖CU的瓦片、以及包含在其他瓦片中的、處于能夠利用的關(guān)系的全部的LCU的信息用于編碼。

另外，瓦片也可以包含1個以上的切片，切片也可以包含1個以上的瓦片。但是，在切片包含1個以上的瓦片的情況下，屬于同一個切片的LCU跨越多個瓦片而存在。結(jié)果，不能保持瓦片間的編碼的獨立性，瓦片邊界獨立標(biāo)志必須設(shè)定為關(guān)閉。

在這樣的圖像編碼方法及圖像解碼方法中，要求處理負(fù)荷的降低及編碼效率的提高。

所以，在本實施方式中，對能夠降低處理負(fù)荷或提高編碼效率的圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置進(jìn)行說明。

為了解決這樣的問題，有關(guān)本發(fā)明的一技術(shù)方案的圖像編碼方法包括：分割步驟，將圖片分割為多個瓦片；編碼步驟，通過將上述多個瓦片分別編碼，生成分別與上述多個瓦片中的各個瓦片對應(yīng)的多個編碼數(shù)據(jù)；以及比特流生成步驟，生成包含上述多個編碼數(shù)據(jù)的比特流；上述編碼步驟包括：編碼序列生成步驟，通過將作為上述多個瓦片之一的第1瓦片不參照在其他瓦片的編碼中已使用的編碼信息而編碼，生成第1編碼序列；以及對齊步驟，通過在上述第1編碼序列之后追加比特序列，使作為上述多個編碼數(shù)據(jù)之一的第1編碼數(shù)據(jù)的比特長度成為預(yù)先設(shè)定的N比特的倍數(shù)，其中N是2以上的整數(shù)。

由此，各瓦片的編碼數(shù)據(jù)成為預(yù)先設(shè)定的比特數(shù)的倍數(shù)。由此，圖像解碼裝置中的編碼數(shù)據(jù)的處置變得容易。此外，圖像解碼裝置能夠容易地確定瓦片的編碼數(shù)據(jù)的開頭位置。這樣，該圖像編碼方法能夠減輕圖像解碼裝置的處理負(fù)荷。

例如，也可以是，上述編碼序列生成步驟包括通過算術(shù)編碼生成上述第1編碼序列的算術(shù)編碼步驟；在上述算術(shù)編碼步驟中，進(jìn)行使上述第1編碼序列完結(jié)的終止處理。

由此，圖像解碼裝置能夠?qū)⒏魍咂木幋a數(shù)據(jù)獨立地處置。

例如，也可以是，在上述分割步驟中，還將上述多個瓦片的瓦片間的邊界分別分類為第1邊界和第2邊界；在上述編碼步驟中，對于上述多個瓦片中的各個瓦片，分別參照與該瓦片鄰接的已編碼的瓦片中的、跨越上述第1邊界的瓦片的編碼信息，并且不參照與該瓦片鄰接的已編碼的瓦片中的、跨越上述第2邊界的瓦片的編碼信息，將該瓦片編碼；在上述比特流生成步驟中，生成包含表示上述多個瓦片的瓦片間的邊界分別是第1邊界還是第2邊界的瓦片邊界獨立信息的上述比特流。

由此，按照每個瓦片邊界設(shè)定瓦片間的依存關(guān)系。由此，與例如以圖片單位設(shè)定瓦片間的依存關(guān)系的情況相比，能改善編碼效率。

例如，也可以是，上述瓦片邊界獨立信息包含在包含于上述比特流中的圖片參數(shù)集或序列參數(shù)集中。

例如，也可以是，在上述分割步驟中，還決定上述多個瓦片的編碼順序；在上述編碼步驟中，將上述多個瓦片以所決定的編碼順序進(jìn)行編碼；在上述比特流生成步驟中，生成包含表示上述編碼順序的瓦片處理順序信息的上述比特流。

由此，能夠任意地設(shè)定圖像解碼裝置中的瓦片的解碼處理順序。由此，例如能夠?qū)趫D片中的多個區(qū)域的圖像中的、優(yōu)先級較高的區(qū)域的圖像在圖像解碼裝置中先解碼。

例如，也可以是，上述瓦片處理順序信息包含在包含于上述比特流中的圖片參數(shù)集或序列參數(shù)集中。

例如，也可以是，在上述比特流生成步驟中，僅對上述多個編碼數(shù)據(jù)的數(shù)據(jù)邊界中的、與夾著該數(shù)據(jù)邊界的兩個編碼數(shù)據(jù)相對應(yīng)的兩個瓦片間的邊界為第2邊界的數(shù)據(jù)邊界，插入用來確定該數(shù)據(jù)邊界的標(biāo)記。

由此，該圖像編碼方法與對全部的瓦片邊界插入標(biāo)記的情況相比，能夠改善編碼效率。

此外，有關(guān)本發(fā)明的一技術(shù)方案的圖像解碼方法包括：取得步驟，取得包含在比特流中的、通過將分割圖片而得到的多個瓦片中的各個瓦片編碼而生成的多個編碼數(shù)據(jù)；以及解碼步驟，通過將上述多個編碼數(shù)據(jù)分別解碼，生成上述多個瓦片的圖像數(shù)據(jù)；上述解碼步驟包括：第1圖像數(shù)據(jù)生成步驟，通過將在作為上述多個編碼數(shù)據(jù)之一的第1編碼數(shù)據(jù)中包含的第1編碼序列不參照在其他瓦片的解碼中已使用的解碼信息而解碼，生成作為上述多個瓦片之一的第1瓦片的圖像數(shù)據(jù)；以及跳過步驟，將包含在上述第1編碼數(shù)據(jù)中的、位于上述第1編碼序列之后的預(yù)先設(shè)定的比特序列跳過。

由此，該圖像解碼方法能夠容易地確定瓦片的編碼數(shù)據(jù)的開頭位置。這樣，該圖像解碼方法能夠減輕圖像解碼裝置的處理負(fù)荷。

例如，也可以是，上述第1圖像數(shù)據(jù)生成步驟包括將上述第1編碼序列算術(shù)解碼的算術(shù)解碼步驟；上述算術(shù)解碼步驟包括在上述跳過步驟之前進(jìn)行將對于上述第1編碼序列的算術(shù)解碼處理完結(jié)的終止處理的終止處理步驟。

由此，圖像解碼裝置能夠?qū)⒏魍咂木幋a數(shù)據(jù)獨立地處置。

例如，也可以是，上述解碼步驟還包括：第2圖像數(shù)據(jù)生成步驟，通過將包含在上述多個編碼數(shù)據(jù)中的、包含在位于上述第1編碼數(shù)據(jù)之后的第2編碼數(shù)據(jù)中的第2編碼序列解碼，生成作為上述多個瓦片之一的第2瓦片圖像數(shù)據(jù)。

此外，有關(guān)本發(fā)明的一技術(shù)方案的圖像編碼裝置具備：分割部，將圖片分割為多個瓦片；編碼部，通過將上述多個瓦片分別編碼，生成分別與上述多個瓦片中的各個瓦片對應(yīng)的多個編碼數(shù)據(jù)；以及比特流生成部，生成包含上述多個編碼數(shù)據(jù)的比特流；上述編碼部通過將作為上述多個瓦片之一的第1瓦片不參照在其他瓦片的編碼中已使用的編碼信息而編碼，生成第1編碼序列；以及通過在上述第1編碼序列之后追加比特序列，使作為上述多個編碼數(shù)據(jù)之一的第1編碼數(shù)據(jù)的比特長度成為預(yù)先設(shè)定的N比特的倍數(shù)，其中N是2以上的整數(shù)。

由此，各瓦片的編碼數(shù)據(jù)成為預(yù)先設(shè)定的比特數(shù)的倍數(shù)。由此，圖像解碼裝置中的編碼數(shù)據(jù)的處置變得容易。此外，圖像解碼裝置能夠容易地確定瓦片的編碼數(shù)據(jù)的開頭位置。這樣，該圖像編碼裝置能夠減輕圖像解碼裝置的處理負(fù)荷。

此外，有關(guān)本發(fā)明的一技術(shù)方案的具備：取得部，取得包含在比特流中的、通過將分割圖片而得到的多個瓦片中的各個瓦片編碼而生成的多個編碼數(shù)據(jù)；以及解碼部，通過將上述多個編碼數(shù)據(jù)分別解碼，生成上述多個瓦片的圖像數(shù)據(jù)；上述解碼部通過將在作為上述多個編碼數(shù)據(jù)之一的第1編碼數(shù)據(jù)中包含的第1編碼序列不參照在其他瓦片的解碼中已使用的解碼信息而解碼，生成作為上述多個瓦片之一的第1瓦片的圖像數(shù)據(jù)；以及將包含在上述第1編碼數(shù)據(jù)中的、位于上述第1編碼序列之后的預(yù)先設(shè)定的比特序列跳過。

由此，該圖像解碼裝置能夠容易地確定瓦片的編碼數(shù)據(jù)的開頭位置。這樣，該圖像解碼裝置能夠減輕圖像解碼裝置的處理負(fù)荷。

此外，有關(guān)本發(fā)明的一技術(shù)方案的圖像編碼解碼裝置具備上述圖像編碼裝置和上述圖像解碼裝置。

另外，這些包含性或具體的形態(tài)也可以通過系統(tǒng)、方法、集成電路、計算機(jī)程序或計算機(jī)可讀取的CD－ROM等的記錄介質(zhì)實現(xiàn)，也可以通過系統(tǒng)、方法、集成電路、計算機(jī)程序及記錄介質(zhì)的任意的組合來實現(xiàn)。

以下，參照附圖對本發(fā)明的實施方式進(jìn)行說明。

另外，以下說明的實施方式都是表示包含性或具體的例子的。在以下的實施方式中表示的數(shù)值、形狀、材料、構(gòu)成要素、構(gòu)成要素的配置位置及連接形態(tài)、步驟、步驟的順序等是一例，并不是限定本發(fā)明的意思。此外，關(guān)于以下的實施方式的構(gòu)成要素中的、在表示最上位概念的獨立權(quán)利要求中沒有記載的構(gòu)成要素，作為任意的構(gòu)成要素進(jìn)行說明。

(實施方式1)

如上述那樣，在以圖片單位設(shè)定瓦片間的依存關(guān)系的情況下，根據(jù)該設(shè)定，將圖片內(nèi)的全部的瓦片間的依存關(guān)系斷絕。由此，本發(fā)明者發(fā)現(xiàn)有編碼效率下降的問題。

對此，有關(guān)本實施方式的圖像編碼裝置將瓦片間的依存關(guān)系以瓦片邊界單位設(shè)定。由此，該圖像編碼裝置與將瓦片間的依存關(guān)系以圖片單位設(shè)定的情況相比能夠提高編碼效率。

圖1是表示使用有關(guān)本實施方式的圖像編碼方法的圖像編碼裝置100的結(jié)構(gòu)的框圖。

圖1所示的圖像編碼裝置100通過將輸入圖像信號120編碼而生成比特流134。該圖像編碼裝置100具備編碼部115、圖片分割控制部112和復(fù)用部114。此外，編碼部115具備減法器101、正交變換部102、量化部103、逆量化部104、逆正交變換部105、加法器106、塊存儲器107、幀存儲器108、幀內(nèi)預(yù)測部109、幀間預(yù)測部110、圖片類型決定部111和可變長編碼部113。

圖片分割控制部112是分割部的一例，將圖片分割為1個以上的瓦片，并決定各瓦片邊界處的瓦片間的依存關(guān)系。并且，圖片分割控制部112將作為關(guān)于該瓦片的分割的信息的圖片分割信息135向復(fù)用部114發(fā)送。具體而言，圖片分割信息135表示圖片的分割模式(pattern)及瓦片間的依存關(guān)系。

此外，圖片分割控制部112將該圖片分割信息135作為序列參數(shù)集(SPS：Sequence Parameter Set)或圖片參數(shù)集(PPS：Picture Parameter Set)的一部分向復(fù)用部114發(fā)送。圖片參數(shù)集是相當(dāng)于圖片的頭(header)的參數(shù)集。序列參數(shù)集是相當(dāng)于能夠在1張以上的圖片中共同使用的頭的參數(shù)集。圖片參數(shù)集包括可變長編碼的類型、量化步長的初始值及參照圖片數(shù)等。在序列參數(shù)集中，包括能夠參照的最大的圖片數(shù)、圖像尺寸及視頻顯示信息(VUI：Video Usability Information)等。

此外，圖片分割控制部112基于圖片的分割模式及瓦片間的依存關(guān)系，生成用來控制幀內(nèi)預(yù)測部109、幀間預(yù)測部110及可變長編碼部113的分割控制信號132。

編碼部115通過將輸入圖像信號120編碼，生成編碼數(shù)據(jù)133。

減法器101通過計算由后述的處理部生成的預(yù)測圖像數(shù)據(jù)131與輸入圖像信號120的差，生成預(yù)測誤差數(shù)據(jù)121。正交變換部102通過將預(yù)測誤差數(shù)據(jù)121從圖像域向頻率域變換，生成變換系數(shù)122。量化部103通過將變換系數(shù)122量化，生成量化系數(shù)123。

逆量化部104通過將量化系數(shù)123逆量化，生成變換系數(shù)124。逆正交變換部105通過將變換系數(shù)124從頻率域向圖像域變換，生成預(yù)測誤差數(shù)據(jù)125。加法器106通過將預(yù)測圖像數(shù)據(jù)131與預(yù)測誤差數(shù)據(jù)125相加，生成解碼圖像數(shù)據(jù)126。塊存儲器107將解碼圖像數(shù)據(jù)126以塊單位作為解碼圖像數(shù)據(jù)127保存。幀存儲器108將解碼圖像數(shù)據(jù)126以幀單位作為解碼圖像數(shù)據(jù)128保存。

幀內(nèi)預(yù)測部109通過使用保存在塊存儲器107中的塊單位的解碼圖像數(shù)據(jù)127進(jìn)行幀內(nèi)預(yù)測，生成編碼對象塊的預(yù)測圖像數(shù)據(jù)129。此外，幀內(nèi)預(yù)測部109基于從圖片分割控制部112送來的分割控制信號132，檢測瓦片間的依存關(guān)系。并且，幀內(nèi)預(yù)測部109不使用在與處理對象的瓦片斷絕了依存關(guān)系的瓦片中包含的塊的像素信息進(jìn)行幀內(nèi)預(yù)測。

幀間預(yù)測部110通過使用保存在幀存儲器108中的幀單位的解碼圖像數(shù)據(jù)128進(jìn)行幀間(inter)預(yù)測，生成編碼對象塊的預(yù)測圖像數(shù)據(jù)130。此外，幀間預(yù)測部110基于從圖片分割控制部112送來的分割控制信號132，檢測瓦片間的依存關(guān)系。并且，幀間預(yù)測部110不使用在與處理對象的瓦片斷絕了依存關(guān)系的瓦片中包含的塊的運動矢量信息進(jìn)行運動矢量預(yù)測。

可變長編碼部113通過將量化系數(shù)123可變長編碼，生成編碼數(shù)據(jù)133。此外，可變長編碼部113基于從圖片分割控制部112送來的分割控制信號132，檢測瓦片間的依存關(guān)系。并且，可變長編碼部113在斷絕了依存關(guān)系的瓦片邊界將熵編碼處理復(fù)位。

復(fù)用部114是比特流生成部的一例，通過取得包含圖片分割信息135的圖片參數(shù)集或序列參數(shù)集、將這些參數(shù)復(fù)用到編碼數(shù)據(jù)133中，生成比特流134。

以下，對將由圖片分割控制部112進(jìn)行的將圖片分割為多個瓦片的處理進(jìn)行說明。圖2是由有關(guān)本實施方式的圖片分割控制部112進(jìn)行的圖片分割處理的流程圖。

首先，圖片分割控制部112決定作為多個瓦片的列的數(shù)量的列數(shù)(S101)。接著，圖片分割控制部112決定作為多個瓦片的行的數(shù)量的行數(shù)(S102)。接著，圖片分割控制部112判斷是否所決定的列數(shù)和行數(shù)兩者都是1(S103)。即，圖片分割控制部112判斷是否圖片被分割為多個瓦片。在列數(shù)及行數(shù)都是1的情況下(S103中“是”)，即在圖片沒有被分割為多個瓦片的情況下，圖片分割控制部112結(jié)束處理。

另一方面，在列數(shù)及行數(shù)的至少其一是2以上的情況下(S103中“否”)，即，在圖片被分割為多個瓦片的情況下，圖片分割控制部112決定瓦片邊界處的編碼的依存關(guān)系，生成表示所決定的依存關(guān)系的瓦片邊界獨立信息(S104)。

接著，圖片分割控制部112使用LCU(Largest Coding Unit：最大編碼單位)作為單位，決定各列的寬度(瓦片的水平方向的寬度)。具體而言，首先，圖片分割控制部112決定是否使圖片中包含的全部的列的寬度相同(S105)。在全部的列的寬度相同的情況下(S105中“是”)，圖片分割控制部112將列寬均等標(biāo)志設(shè)定為“1”(S106)。另一方面，在多個列的寬度在圖片內(nèi)不同的情況下(S105中“否”)，圖片分割控制部112將列寬均等標(biāo)志設(shè)定為“0”(S107)，決定各列的寬度(S108)。

接著，圖片分割控制部112以LCU為單位，決定行的高度。具體而言，首先，圖片分割控制部112決定是否使圖片中包含的全部的行的高度相同(S109)。在全部的行的高度相同的情況下(S109中“是”)，圖片分割控制部112將行高度均等標(biāo)志設(shè)定為“1”(S110)。另一方面，在多個行的高度在圖片內(nèi)不同的情況下(S109中“否”)，圖片分割控制部112將行高度均等標(biāo)志設(shè)定為“0”(S111)，決定各行的高度(S112)。

如以上這樣，圖片分割控制部112將圖片分割為多個瓦片。并且，圖片分割控制部112生成包括表示圖片的分割模式的信息和瓦片邊界獨立信息的圖片分割信息135，將所生成的圖片分割信息135作為序列參數(shù)集(SPS)或圖片參數(shù)集(PPS)的一部分向復(fù)用部114發(fā)送。這里，表示圖片的分割模式的信息例如包括列數(shù)、行數(shù)、列寬均等標(biāo)志及行高度均等標(biāo)志。此外，該信息根據(jù)需要而包括列的寬度及行的高度。

圖3A～圖3C是表示將圖片向瓦片分割的模式的一例的圖。圖3A～圖3C所示的虛線表示該邊界的兩端的瓦片處于依存關(guān)系，實線表示該邊界的兩端的瓦片相互獨立，即斷絕了依存關(guān)系。具體而言，在兩個瓦片處于依存關(guān)系的情況下，圖像編碼裝置100將一方的瓦片參照另一方的瓦片的編碼信息編碼。此外，在兩個瓦片相互獨立的情況下，圖像編碼裝置100將一方的瓦片不參照另一方的瓦片的編碼信息而編碼。這里，所謂編碼信息，是在編碼中使用的信息，具體而言，是幀內(nèi)預(yù)測中的像素信息(像素值)、以及幀間預(yù)測中的運動矢量信息。另外，在以后的說明中，將兩個瓦片處于依存關(guān)系的情況稱作兩個瓦片(瓦片間)依存，將兩個瓦片的依存關(guān)系被斷絕的情況稱作兩個瓦片(瓦片間)獨立。此外，在該邊界的兩端的瓦片依存的情況下，稱作該邊界依存，在該邊界的兩端的瓦片獨立的情況下，稱作該邊界獨立。

在圖3A中，在垂直方向的瓦片間(例如T1與T4之間)瓦片依存，在水平方向的瓦片間(例如T1與T2之間)瓦片獨立。此外，通過被分配了2比特的瓦片邊界獨立信息表示瓦片邊界處的瓦片的依存關(guān)系。例如，第1比特表示水平方向的瓦片間的依存關(guān)系，第2比特表示垂直方向的瓦片間的依存關(guān)系。在瓦片獨立情況下，將比特設(shè)定為“1”，在瓦片依存的情況下將比特設(shè)定為“0”。在此情況下，圖3A中的瓦片邊界獨立信息是“0b10”。

在圖3B中，在水平方向的瓦片間瓦片依存，在垂直方向的瓦片間瓦片獨立。因而，瓦片邊界獨立信息是“0b01”。另外，在全部的瓦片間是獨立的情況下，瓦片邊界獨立信息是“0x11”，在全部的瓦片間依存的情況下，瓦片邊界獨立信息是“0b00”。

在圖3C中，瓦片間的依存關(guān)系按照每個瓦片邊界而不同。雖然是垂直方向的瓦片間，但瓦片T1與瓦片T4是獨立的，瓦片T2與瓦片T5依存。另外，圖3C是一例，也可以按照相鄰接的瓦片的每個邊界任意地設(shè)定編碼或解碼處理中的瓦片間的依存關(guān)系。

圖4A及圖4B是表示按照每個瓦片邊界設(shè)定瓦片間的依存關(guān)系的情況下的瓦片邊界獨立信息的圖。圖4A所示的瓦片邊界獨立信息140包括表示全體的瓦片間的依存關(guān)系的1比特的全體依存信息141、表示水平方向的瓦片間的依存關(guān)系的多個比特((列數(shù)－1)×行數(shù))的水平依存信息142、和表示垂直方向的瓦片間的依存關(guān)系的多個比特(列數(shù)×(行數(shù)－1))的垂直依存信息143。此外，圖4A及圖4B是圖3C所示的依存關(guān)系的情況下的瓦片邊界獨立信息的例子。

水平依存信息142中包含的各個比特從開頭起依次表示T1與T2之間的依存關(guān)系、T2與T3之間的依存關(guān)系、T4與T5之間的依存關(guān)系、T5與T6之間的依存關(guān)系、T7與T8之間的依存關(guān)系、T8與T9之間的依存關(guān)系。此外，垂直依存信息143中包含的各個比特從開頭起依次表示T1與T4之間的依存關(guān)系、T2與T5之間的依存關(guān)系、T3與T6之間的依存關(guān)系、T4與T7之間的依存關(guān)系、T5與T8之間的依存關(guān)系、T6與T9之間的依存關(guān)系。

在圖3C所示的例子中，由于T2與T5、以及T5與T8依存，所以在圖4A所示的瓦片邊界獨立信息140中，將從垂直依存信息143的開頭起第2比特及第5比特設(shè)定為“0”。另外，在全部的瓦片間是獨立的情況下，將開頭的1比特的全體依存信息141設(shè)定為“1”，將水平依存信息142及垂直依存信息143省略。

圖4B是表示瓦片邊界獨立信息的另一例的圖。圖4B所示的瓦片邊界獨立信息145包括表示瓦片間的依存關(guān)系的2比特的全體依存信息146、表示水平方向的瓦片間的依存關(guān)系的多個比特((列數(shù)－1)×行數(shù))的水平依存信息142(在圖4B中被省略)、和表示垂直方向的瓦片間的依存關(guān)系的多個比特(列數(shù)×(行數(shù)－1))的垂直依存信息143。這里，開頭的2比特的全體依存信息146是在圖3A及圖3B中使用的瓦片邊界獨立信息本身。即，全體依存信息146的第1比特表示水平方向的瓦片間的依存關(guān)系，第2比特表示垂直方向的瓦片間的依存關(guān)系。另外，水平依存信息142及垂直依存信息143與在圖4A中說明的信息相同。在圖3C的例子中，在水平方向的瓦片間，瓦片獨立。因而，全體依存信息146是“0b10”。此外，在水平方向的瓦片間，瓦片獨立，所以水平依存信息142被省略。即，在圖4B所示的瓦片邊界獨立信息145中，在水平方向的全部的瓦片間的依存關(guān)系是獨立的情況下，將水平依存信息142省略。此外，在垂直方向的全部的瓦片間的依存關(guān)系是獨立的情況下，將垂直依存信息143省略。由此，能夠削減瓦片邊界獨立信息145的比特數(shù)。

這里，將圖片分割的好處之一是能夠進(jìn)行并行處理。例如，在圖3A～圖3C中，圖片被分割為9個瓦片，如果全部的瓦片獨立，則圖像編碼裝置及圖像解碼裝置能夠?qū)?個瓦片并行編碼或解碼。超過高清的分辨率的稱作超高清(Super Hi－Vision)及UHDTV(Ultra High Definition Television)的高分辨率的圖像的編碼及解碼處理的運算負(fù)荷較高，難以進(jìn)行實時處理。所以，在將高分辨率的圖像編碼及解碼時，并行處理的需要特別高。另一方面，在編碼時，如果瓦片間的依存關(guān)系被斷絕，則預(yù)測精度相應(yīng)地下降。由此，編碼效率下降。因而，將瓦片間的依存關(guān)系斷絕到所需以上的程度從編碼效率這一點上是不希望的。

例如，假設(shè)圖像編碼裝置及圖像解碼裝置能夠用到3個處理器，能夠進(jìn)行3個并行的處理。在該狀況下，在如圖3A～圖3C所示那樣將瓦片分割為9份的情況下，獨立的瓦片群(將包括1個以上的瓦片的組稱作瓦片群)只要是相當(dāng)于能夠并行處理的處理器的數(shù)量的3就足夠。將圖片分割以使獨立的瓦片群變得比3個多，帶來使編碼效率下降到所需以上的程度的情況。即，在按照每個圖片設(shè)定瓦片間的依存關(guān)系(使瓦片間依存還是獨立)的情況下，即使是圖像編碼裝置或圖像解碼裝置僅能夠進(jìn)行3個并行的處理的情況，在圖片內(nèi)的全部的瓦片間也將依存關(guān)系斷絕。由此，導(dǎo)致編碼效率的下降。

另一方面，根據(jù)本實施方式，能夠?qū)⑼咂g的依存關(guān)系按照每個邊界設(shè)定。由此，例如能夠匹配于圖像編碼裝置或圖像解碼裝置能夠并行處理的并行數(shù)而生成獨立的瓦片群。由此，有關(guān)本實施方式的圖像編碼裝置100能夠抑制編碼效率的下降并進(jìn)行任意的并行數(shù)的并行處理。這樣，有關(guān)本實施方式的圖像編碼裝置100能夠提高編碼效率。

如以上這樣，在有關(guān)本實施方式的圖像編碼裝置100中，圖片分割控制部112將圖片分割為多個瓦片。編碼部115通過將多個瓦片分別編碼，生成分別對應(yīng)于多個瓦片的多個編碼數(shù)據(jù)133。復(fù)用部114生成包含多個編碼數(shù)據(jù)133的比特流。

進(jìn)而，圖片分割控制部112將多個瓦片的瓦片間的邊界分別分類為第1邊界(依存)和第2邊界(獨立)。編碼部115對于多個瓦片，分別參照與該瓦片相鄰接的已編碼的瓦片中的、跨越第1邊界的瓦片的編碼信息，并且不參照跨越第2邊界的瓦片的編碼信息，將該瓦片編碼。此外，復(fù)用部114生成包含表示多個瓦片的瓦片間的邊界分別是第1邊界還是第2邊界的瓦片邊界獨立信息的比特流134。

由此，按照瓦片間的每個邊界設(shè)定瓦片的依存關(guān)系。由此，與例如以圖片單位設(shè)定瓦片的依存關(guān)系的情況相比，能夠改善編碼效率。

以下，對有關(guān)本實施方式的圖像解碼裝置進(jìn)行說明。

圖5是使用有關(guān)本實施方式的圖像解碼方法的圖像解碼裝置200的框圖。

圖5所示的圖像解碼裝置200通過將比特流234解碼而生成解碼圖像數(shù)據(jù)226。該圖像解碼裝置200具備解碼部215、解析部201和圖片分割控制部212。此外，解碼部215具備逆量化部204、逆正交變換部205、加法器206、塊存儲器207、幀存儲器208、幀內(nèi)預(yù)測部209、幀間預(yù)測部210、圖片類型決定部211和可變長解碼部213。

這里，比特流234對應(yīng)于由上述圖像編碼裝置100生成的比特流134。

解析部201通過將比特流234解析，取得編碼數(shù)據(jù)233、和在比特流234的序列參數(shù)集或圖片參數(shù)集中包含的圖片分割信息235。圖片分割信息235對應(yīng)于上述圖片分割信息135，表示圖片的分割模式及瓦片的依存關(guān)系。

圖片分割控制部212基于由圖片分割信息235表示的圖片的分割模式及瓦片間的依存關(guān)系，生成用來控制幀內(nèi)預(yù)測部209、幀間預(yù)測部210及可變長解碼部213的分割控制信號232。

解碼部215通過將編碼數(shù)據(jù)233解碼，生成解碼圖像數(shù)據(jù)226。

可變長解碼部213通過將編碼數(shù)據(jù)233可變長解碼，生成量化系數(shù)223。

逆量化部204通過將量化系數(shù)223逆量化，生成變換系數(shù)224。逆正交變換部205通過將變換系數(shù)224從頻率域向圖像域變換，生成預(yù)測誤差數(shù)據(jù)225。加法器206通過將預(yù)測圖像數(shù)據(jù)231與預(yù)測誤差數(shù)據(jù)225相加，生成解碼圖像數(shù)據(jù)226。塊存儲器207將解碼圖像數(shù)據(jù)226以塊單位作為解碼圖像數(shù)據(jù)227保存。幀存儲器208將解碼圖像數(shù)據(jù)226以幀單位作為解碼圖像數(shù)據(jù)228保存。

幀內(nèi)預(yù)測部209通過使用保存在塊存儲器207中的塊單位的解碼圖像數(shù)據(jù)227進(jìn)行幀內(nèi)預(yù)測，生成解碼對象塊的預(yù)測圖像數(shù)據(jù)229。此外，幀內(nèi)預(yù)測部209基于從圖片分割控制部212送來的分割控制信號232，檢測瓦片間的依存關(guān)系。并且，幀內(nèi)預(yù)測部209不使用在斷絕了依存關(guān)系的瓦片中包含的塊的像素信息而進(jìn)行幀內(nèi)預(yù)測。

幀間預(yù)測部210通過使用保存在幀存儲器208中的幀單位的解碼圖像數(shù)據(jù)228進(jìn)行幀間預(yù)測，生成解碼對象塊的預(yù)測圖像數(shù)據(jù)230。此外，幀間預(yù)測部210基于從圖片分割控制部212送來的分割控制信號232，檢測瓦片間的依存關(guān)系。并且，幀間預(yù)測部210不使用在斷絕了依存關(guān)系的瓦片中包含的塊的運動矢量信息而進(jìn)行運動矢量預(yù)測。

通過以上的結(jié)構(gòu)，有關(guān)本實施方式的圖像解碼裝置200能夠?qū)⒂缮鲜鰣D像編碼裝置100生成的比特流解碼。

(實施方式2)

在本實施方式中，對上述有關(guān)實施方式1的圖像編碼裝置100的變形例進(jìn)行說明。另外，以下主要說明與實施方式1的不同點，重復(fù)的說明省略。

圖6是表示使用有關(guān)本實施方式的圖像編碼方法的圖像編碼裝置的結(jié)構(gòu)的框圖。另外，對于與圖1同樣的要素賦予相同的標(biāo)號。

圖6所示的圖像編碼裝置100A除了圖1所示的圖像編碼裝置100的結(jié)構(gòu)以外，還具備輸入圖像控制部150。此外，圖片分割控制部112A的功能與圖片分割控制部112不同。

具體而言，圖片分割控制部112A是分割部的一例，除了如在實施方式1中說明那樣將圖片分割為瓦片的功能以外，還決定將瓦片編碼及解碼處理的順序，生成包含表示所決定的順序的瓦片處理順序信息的圖片分割信息135A。此外，圖片分割控制部112A將包含瓦片處理順序信息的圖片分割信息135A作為序列參數(shù)集(SPS)或圖片參數(shù)集(PPS)的一部分向復(fù)用部114發(fā)送。

此外，圖片分割控制部112A基于圖片的分割模式、瓦片間的依存關(guān)系及編碼處理的順序，生成用來控制幀內(nèi)預(yù)測部109、幀間預(yù)測部110、可變長編碼部113、幀存儲器108及輸入圖像控制部150的分割控制信號132A。另外，基于圖片分割信息135A的幀內(nèi)預(yù)測部109、幀間預(yù)測部110及可變長編碼部113的動作與實施方式1是同樣的。

輸入圖像控制部150將輸入圖像信號120以塊單位排序為規(guī)定的順序，將排序后的圖像信號160向編碼部輸入。在圖片被分割為瓦片的情況下，輸入圖像控制部150按照由從圖片分割控制部112發(fā)送的分割控制信號132A表示的編碼處理的順序決定塊的順序。

幀存儲器108基于分割控制信號132A識別瓦片被處理的順序，將解碼圖像數(shù)據(jù)128保存到適當(dāng)?shù)拇鎯ζ鲄^(qū)域中。

接著，對表示將瓦片處理(掃描)的順序的瓦片處理順序信息進(jìn)行說明。通過使用瓦片處理順序信息，圖像編碼裝置及圖像解碼裝置確定瓦片的掃描方向、列或行的掃描的順序，能夠唯一地確定圖片內(nèi)的瓦片的編碼或解碼處理的順序。

圖7A～圖7D是表示在被分割為9個瓦片的圖片中將瓦片處理(掃描)的順序的圖。另外，將瓦片以T1～T9的順序處理。

圖7A表示光柵掃描的情況。即，選擇上方的行(row)，在所選擇的行中，從左方的瓦片起在水平方向(右方向)上依次選擇瓦片。如果選擇了一個行的全部的瓦片，則選擇一個下方的行，同樣，在所選擇的行中從左的瓦片向右方向依次選擇瓦片。

在圖7B中，選擇左方的列，在所選擇的列(column)中，從上方的瓦片起在垂直方向(下方向)上依次選擇瓦片。如果選擇了一個列的全部的瓦片，則選擇一個左方的列，同樣，在所選擇的列中，從上方的瓦片向下方向依次選擇瓦片。即，將瓦片在垂直方向上掃描。

這樣，掃描方向被大致分為水平方向和垂直方向。接著，對行的掃描的順序進(jìn)行說明。在圖7A中，將瓦片在水平方向上掃描，將行從上向下(以第1行、第2行、第3行的順序)掃描。相對于此，在圖7C中，將瓦片在水平方向上掃描與圖7A是相同的，但將行以中央、上、下(第2行、第1行、第3行)的順序掃描。另外，雖然沒有圖示，但也可以將行以中央、下、上(第2行、第3行、第1行)、或從下向上(第3行、第2行、第1行)的順序掃描。

此外，對于行的掃描的順序預(yù)先分配了規(guī)定的ID，圖像編碼裝置和圖像解碼裝置共享該信息。例如，對于圖7A的順序，作為行掃描ID而分配“1”，對于圖7C的掃描順序，作為行掃描ID而分配“2”。并且，將該行掃描ID從圖像符號裝置向圖像解碼裝置發(fā)送。由此，圖像解碼裝置能夠使用行掃描ID確定行的掃描順序。

關(guān)于列的掃描的順序也與行的掃描的順序是同樣的。在圖7B中，將瓦片在垂直方向上掃描，將列從左向右(以第1列、第2列、第3列的順序)掃描。相對于此，在圖7D中，將瓦片在垂直方向上掃描與圖7B是相同的，但將列以中央、左、右(第2列、第1列、第3列)的順序掃描。另外，雖然沒有圖示，但也可以將列以中央、右、左(第2列、第3列、第1列)、或從右向左(第3列、第2列、第1列)的順序掃描。對于列的掃描的順序也預(yù)先分配了規(guī)定的ID，圖像編碼裝置和圖像解碼裝置共享該信息。

瓦片處理順序信息包括瓦片的掃描方向(水平方向或垂直方向)、列或行的掃描ID。通過使用該瓦片處理順序信息，圖像解碼裝置能夠在圖片內(nèi)唯一地確定瓦片的解碼處理的順序。另外，在圖7A～圖7D中，表示了將圖片分割為9個瓦片的例子，但瓦片的分割的方式(列數(shù)及行數(shù))也可以是除此以外的情況。

這樣，有關(guān)本實施方式的圖像編碼裝置100A能夠變更圖片內(nèi)的瓦片的處理的順序。通過這樣控制瓦片的處理的順序，能夠根據(jù)通信狀況及應(yīng)用而僅發(fā)送開頭的瓦片群。例如，在電視會議等中，能夠?qū)⑴臄z有人物的中央的列的瓦片群最先編碼。

如以上這樣，在有關(guān)本實施方式的圖像編碼裝置100A中，圖片分割控制部112A決定多個瓦片的編碼順序。編碼部115將多個瓦片以由圖片分割控制部112A決定的編碼順序編碼。復(fù)用部114生成包含表示所決定的編碼順序的瓦片處理順序信息的比特流134。

由此，能夠任意地設(shè)定圖像解碼裝置中的瓦片的解碼處理順序。由此，例如能夠?qū)D片中包含的多個區(qū)域的圖像中的、優(yōu)先級較高的區(qū)域的圖像在圖像解碼裝置先解碼。

以下，對有關(guān)本實施方式的圖像解碼裝置進(jìn)行說明。

圖8是表示使用有關(guān)本實施方式的圖像解碼方法的圖像解碼裝置的結(jié)構(gòu)的框圖。另外，對于與圖5同樣的要素賦予相同的標(biāo)號。

這里，比特流234對應(yīng)于由上述圖像編碼裝置100A生成的比特流134。

圖8所示的圖像解碼裝置200A除了圖5所示的圖像解碼裝置200的結(jié)構(gòu)以外，還具備輸出圖像控制部250。此外，解析部201A及圖片分割控制部212A的功能與解析部201及圖片分割控制部212不同。

具體而言，解析部201A通過將比特流234解析，取得編碼數(shù)據(jù)233和圖片分割信息235A。圖片分割信息235A對應(yīng)于上述圖片分割信息135A，包括表示將瓦片解碼的順序的瓦片處理順序信息。

圖片分割控制部212A基于由圖片分割信息235A表示的圖片的分割模式、瓦片間的依存關(guān)系及解碼處理的順序，生成用來控制幀內(nèi)預(yù)測部209、幀間預(yù)測部210、可變長解碼部213、幀存儲器208及輸出圖像控制部250的分割控制信號232A。另外，基于圖片分割信息135A的幀內(nèi)預(yù)測部209、幀間預(yù)測部210及可變長解碼部213的動作與實施方式1是同樣的。

輸出圖像控制部250將解碼圖像數(shù)據(jù)226以塊單位排序為規(guī)定的順序，將排列后的圖像信號260向外部輸出。在圖片被分割為瓦片的情況下，輸出圖像控制部250按照由從圖片分割控制部212發(fā)送的分割控制信號232A表示的解碼處理的順序，決定塊的順序。

幀存儲器208基于分割控制信號232A識別將瓦片處理的順序，將解碼圖像數(shù)據(jù)228保存到適當(dāng)?shù)拇鎯ζ鲄^(qū)域中。

通過以上的結(jié)構(gòu)，有關(guān)本實施方式的圖像解碼裝置200A能夠?qū)⒂缮鲜鰣D像編碼裝置100A生成的比特流解碼。

(實施方式3)

在本實施方式中，對上述有關(guān)實施方式1的圖像編碼裝置100的變形例進(jìn)行說明。另外，以下主要說明與實施方式1的不同點，重復(fù)的說明省略。

如在實施方式1中敘述那樣，超過高清的分辨率的稱作超高清及UHDTV的高分辨率的圖像的解碼處理的運算負(fù)荷較高，難以進(jìn)行實時處理。所以，在將高分辨率的圖像解碼時，圖像解碼裝置需要將比特流并行處理。通過將瓦片間的依存關(guān)系斷絕，圖像解碼裝置能夠與其他瓦片獨立地將瓦片解碼。

但是，圖像解碼裝置在解碼時，如果不能在比特流內(nèi)檢測到瓦片的開頭位置(entry point：入口點)，就不能實現(xiàn)并行處理。已知有解決該問題的方法(例如，參照非專利文獻(xiàn)2)。根據(jù)該方法，圖像編碼裝置將瓦片標(biāo)記(marker)插入到比特流內(nèi)的瓦片的開頭位置。圖像解碼裝置通過將比特流掃描而檢測瓦片標(biāo)記，能夠知道比特流內(nèi)的瓦片的開頭位置(entry point)。

但是，在比特流內(nèi)的全部的瓦片的開頭位置(瓦片邊界)插入瓦片標(biāo)記導(dǎo)致編碼效率的下降。在瓦片邊界，可變長編碼部輸出的比特流沒有被進(jìn)行字節(jié)對齊(byte alignment)處理。因而，為了在瓦片的開頭位置插入瓦片標(biāo)記，必須將由可變長編碼部進(jìn)行的熵編碼(例如，CABAC)處理復(fù)位。并且，將熵處理復(fù)位帶來編碼效率的下降。

相對于此，有關(guān)本實施方式的圖像編碼裝置判斷是否對比特流的各瓦片邊界插入瓦片標(biāo)記，僅在一部分的瓦片邊界插入瓦片標(biāo)記。由此，該圖像編碼裝置能夠減少熵處理的復(fù)位次數(shù)，所以能夠提高編碼效率。

圖9是表示使用有關(guān)本實施方式的圖像編碼方法的圖像編碼裝置100B的結(jié)構(gòu)的框圖。另外，對于與圖1同樣的要素賦予相同的標(biāo)號。

圖9所示的圖像編碼裝置100B除了圖1所示的圖像編碼裝置100的結(jié)構(gòu)以外，還具備標(biāo)記插入部151。此外，可變長編碼部113B及復(fù)用部114B的功能與可變長編碼部113及復(fù)用部114不同。

標(biāo)記插入部151基于從圖片分割控制部112發(fā)送的分割控制信號132，在多個編碼數(shù)據(jù)133的瓦片邊界插入用來識別瓦片邊界的瓦片標(biāo)記161。具體而言，標(biāo)記插入部151通過將獨立的瓦片邊界向可變長編碼部113B通知，控制可變長編碼部113B，以在獨立的瓦片邊界將熵編碼(CABAC)處理復(fù)位。此外，標(biāo)記插入部151在獨立的瓦片邊界，向復(fù)用部114B發(fā)送瓦片標(biāo)記161。

可變長編碼部113B按照來自標(biāo)記插入部151的通知，在被指示的瓦片邊界將熵編碼(CABAC)處理復(fù)位。

復(fù)用部114B通過將由標(biāo)記插入部151發(fā)送的瓦片標(biāo)記161插入到多個編碼數(shù)據(jù)133的指定的瓦片邊界中，生成比特流134。

圖10是由有關(guān)本實施方式的標(biāo)記插入部151進(jìn)行的標(biāo)記插入處理的流程圖。

首先，標(biāo)記插入部151從圖片分割控制部112接收分割控制信號132(S121)。該分割控制信號132表示有關(guān)瓦片的分割的信息。另外，標(biāo)記插入部151也可以代替分割控制信號132而接收圖片分割信息135。另外，不需要將有關(guān)圖片內(nèi)的全部的瓦片的分割的信息一次接收，也可以在由圖像編碼裝置100B處理某個瓦片的定時，僅接收有關(guān)該瓦片的信息。

接著，標(biāo)記插入部151取得分割控制信號132中包含的、當(dāng)前正處理的瓦片與接著要處理的瓦片的邊界的依存關(guān)系(S122)，判斷當(dāng)前正處理的瓦片與接著要處理的瓦片的瓦片邊界的依存關(guān)系(S123)。

在瓦片依存的情況下(S123中“是”)，標(biāo)記插入部151結(jié)束處理。另一方面，在瓦片不依存、即獨立的情況下(S123中“否”)，標(biāo)記插入部151控制可變長編碼部113B，以將熵編碼(CABAC)處理復(fù)位(S124)。由此，可變長編碼部113B在當(dāng)前正處理的瓦片的最后將熵編碼(CABAC)處理復(fù)位，并進(jìn)行字節(jié)對齊。并且，可變長編碼部113B將當(dāng)前正處理的瓦片的編碼數(shù)據(jù)133向復(fù)用部114B發(fā)送。

接著，標(biāo)記插入部151向復(fù)用部114B發(fā)送瓦片標(biāo)記161。復(fù)用部114B在緊接著當(dāng)前正處理的瓦片的比特流之后、即此后要處理的瓦片的比特流的開頭，插入瓦片標(biāo)記161(S125)。

如以上那樣，標(biāo)記插入部151根據(jù)瓦片邊界的依存關(guān)系，切換是否向比特流的瓦片邊界插入瓦片標(biāo)記161。

另外，在由在步驟S121中接收到的分割控制信號132表示圖片內(nèi)的全部的瓦片邊界依存的情況下，標(biāo)記插入部151也可以對該圖片將步驟S122～S125的處理省略。

這樣，有關(guān)本實施方式的圖像編碼裝置100B通過控制向比特流的各瓦片邊界的瓦片標(biāo)記的插入，能夠減少熵編碼(CABAC)處理的復(fù)位次數(shù)。由此，圖像編碼裝置100B能夠提高編碼效率。

如以上這樣，在有關(guān)本實施方式的圖像編碼裝置100B中，標(biāo)記插入部151僅在多個編碼數(shù)據(jù)133的數(shù)據(jù)邊界中的、與夾著該數(shù)據(jù)邊界的兩個編碼數(shù)據(jù)對應(yīng)的兩個瓦片間的邊界是第2邊界(獨立)的數(shù)據(jù)邊界中，插入用來確定該數(shù)據(jù)邊界。

由此，該圖像編碼裝置100B與在全部的瓦片邊界插入標(biāo)記的情況相比能夠改善編碼效率。

以下，對有關(guān)本實施方式的圖像解碼裝置進(jìn)行說明。

圖11是表示使用有關(guān)本實施方式的圖像解碼方法的圖像解碼裝置的結(jié)構(gòu)的框圖。另外，對于與圖5同樣的要素賦予相同的標(biāo)號。

這里，比特流234對應(yīng)于由上述圖像編碼裝置100B生成的比特流134。

圖11所示的圖像解碼裝置200A中，解析部201B的功能與解析部201不同。

具體而言，解析部201B通過將比特流234解析，取得編碼數(shù)據(jù)233和圖片分割信息235。此外，解析部201B檢測插入在瓦片邊界的瓦片標(biāo)記161，將檢測出的位置識別為瓦片邊界。此外，解析部201B將檢測出的瓦片邊界向可變長解碼部213通知。

此外，在解碼部215進(jìn)行并行處理的情況下，解析部201B根據(jù)瓦片邊界，將與各瓦片對應(yīng)的編碼數(shù)據(jù)233從比特流234提取，向解碼部215發(fā)送。

通過以上的結(jié)構(gòu)，有關(guān)本實施方式的圖像解碼裝置200B能夠?qū)⒂缮鲜鰣D像編碼裝置100B生成的比特流解碼。

(實施方式4)

在本實施方式中，對在瓦片邊界進(jìn)行字節(jié)對齊處理的圖像編碼裝置及圖像解碼裝置進(jìn)行說明。

圖12是表示有關(guān)本實施方式的圖像編碼裝置100C的結(jié)構(gòu)的框圖。另外，對于與圖1同樣的要素賦予相同的標(biāo)號。

圖12所示的圖像編碼裝置100C相對于圖1所示的圖像編碼裝置100的結(jié)構(gòu)，圖片分割控制部112C及可變長編碼部113C的功能與圖片分割控制部112及可變長編碼部113不同。

圖片分割控制部112C是分割部的一例，將圖片分割為多個瓦片。此外，在上述實施方式1中，圖片分割控制部112按照每個瓦片邊界切換瓦片的依存關(guān)系，但圖片分割控制部112C處理為全部的瓦片獨立。此外，圖片分割控制部112C生成表示圖片的分割模式的圖片分割信息135C。這里，表示圖片的分割模式的信息例如包括上述列數(shù)、行數(shù)、列寬均等標(biāo)志、行高度均等標(biāo)志、列的寬度及行的高度。

另外，以下說明圖片分割控制部112C將全部的瓦片處理為獨立的例子，但與上述實施方式1同樣，圖片分割控制部112C按照每個瓦片邊界切換瓦片的依存關(guān)系。

并且，圖片分割控制部112C將所生成的圖片分割信息135C作為序列參數(shù)集或圖片參數(shù)集的一部分向復(fù)用部114發(fā)送。

此外，圖片分割控制部112C基于圖片的分割模式，生成用來控制幀內(nèi)預(yù)測部109、幀間預(yù)測部110及可變長編碼部113C的分割控制信號132C。另外，基于圖片分割信息135C的幀內(nèi)預(yù)測部109及幀間預(yù)測部110的動作在實施方式1中與瓦片獨立情況下的動作是同樣的。

可變長編碼部113C在瓦片邊界進(jìn)行將熵編碼復(fù)位的處理和字節(jié)對齊處理。

以下，說明有關(guān)本實施方式的圖像編碼裝置100C的動作的流程。

圖13A是由有關(guān)本實施方式的圖像編碼裝置100C進(jìn)行的圖像編碼方法的流程圖。

首先，圖片分割控制部112C將圖片分割為多個瓦片(S201)。此外，圖片分割控制部112C生成表示圖片的分割模式的圖片分割信息135C。

接著，編碼部115通過將多個瓦片分別編碼，生成分別與多個瓦片對應(yīng)的多個編碼數(shù)據(jù)133(S202)。

接著，復(fù)用部114生成包括多個編碼數(shù)據(jù)133及圖片分割信息135C的比特流134(S203)。

圖13B是由編碼部115進(jìn)行的編碼處理(S202)的流程圖。

首先，編碼部115通過將作為多個瓦片之一的處理對象的瓦片編碼，生成編碼序列(S211)。另外，由編碼部115進(jìn)行的編碼處理的具體的方法例如與上述實施方式1是同樣的。此外，編碼部115將處理對象的瓦片不參照在其他瓦片的編碼中使用的編碼信息而編碼。

這里，該編碼處理包括可變長編碼部113C通過熵編碼(算術(shù)編碼)生成編碼序列的處理。

此外，可變長編碼部113C在處理對象的瓦片的編碼處理結(jié)束后，將熵編碼(算術(shù)編碼)復(fù)位(S212)。這里，所謂復(fù)位，包括算術(shù)編碼中的終止(terminate)處理(也稱作清洗(flush)處理)。所謂終止處理，是使處理對象的瓦片的編碼序列與其他瓦片的編碼序列獨立的處理。換言之，所謂終止處理，是使處理對象的瓦片的編碼序列完結(jié)的處理。具體而言，通過終止處理，將處理中途的編碼序列的全部以能夠獨立解碼的狀態(tài)輸出。

接著，可變長編碼部113C對處理對象的編碼序列進(jìn)行字節(jié)對齊處理(S213)。這里，所謂字節(jié)對齊處理，是通過在處理對象的編碼序列之后追加預(yù)先設(shè)定的比特序列、生成字節(jié)單位的編碼數(shù)據(jù)133的處理。換言之，所謂字節(jié)對齊處理，是調(diào)整處理對象的編碼序列的比特數(shù)、以使編碼數(shù)據(jù)133成為字節(jié)單位的處理。

圖14是表示字節(jié)對齊處理的一例的圖。如圖14所示，可變長編碼部113C通過在處理對象的編碼序列281之后追加比特序列282，生成字節(jié)單位的編碼數(shù)據(jù)133。例如，比特序列282是最初為“1”、然后接著“0”的比特序列。

另外，這里敘述了可變長編碼部113C進(jìn)行對齊處理以使編碼數(shù)據(jù)133成為字節(jié)單位的例子，但該對齊處理只要是將編碼數(shù)據(jù)133調(diào)整為預(yù)先設(shè)定的N(N是2以上的整數(shù))比特的倍數(shù)的處理就可以。例如，可變長編碼部113C也可以進(jìn)行對齊處理編碼數(shù)據(jù)133成為字(word)單位。

此外，這里敘述了在作為熵編碼而進(jìn)行算術(shù)編碼(例如，CABAC)的情況下進(jìn)行對齊處理的例子，但在進(jìn)行算術(shù)編碼以外的熵編碼的情況下也可以同樣進(jìn)行對齊處理。

此外，圖片分割控制部112C也可以生成包含表示編碼數(shù)據(jù)133的開頭位置的信息的圖片分割信息135C。進(jìn)而，表示該開頭位置的信息也可以是用字節(jié)單位(或與對齊處理相同的單位)表示位置的信息。

通過以上，有關(guān)本實施方式的圖像編碼裝置100C在瓦片邊界進(jìn)行字節(jié)對齊處理。由此，各瓦片的編碼數(shù)據(jù)133成為字節(jié)單位。由此，圖像解碼裝置中的編碼數(shù)據(jù)的處置變得容易。此外，圖像解碼裝置能夠容易地確定瓦片的編碼數(shù)據(jù)的開頭位置。這樣，該圖像編碼裝置100C能夠減輕圖像解碼裝置的處理負(fù)荷。

此外，該圖像編碼裝置100C在瓦片邊界將熵編碼復(fù)位。由此，圖像解碼裝置能夠?qū)⒏魍咂木幋a數(shù)據(jù)133獨立地處置。

以下，對有關(guān)本實施方式的圖像解碼裝置進(jìn)行說明。

圖15是表示使用有關(guān)本實施方式的圖像解碼方法的圖像解碼裝置的結(jié)構(gòu)的框圖。另外，對于與圖5同樣的要素賦予相同的標(biāo)號。

這里，比特流234對應(yīng)于由上述圖像編碼裝置100C生成的比特流134。

圖15所示的圖像解碼裝置200C相對于圖5所示的圖像解碼裝置200，解析部201C、圖片分割控制部212C及可變長解碼部213C的功能與解析部201、圖片分割控制部212及可變長解碼部213不同。

具體而言，解析部201C通過將比特流234解析，取得編碼數(shù)據(jù)233和圖片分割信息235C。圖片分割信息235C對應(yīng)于上述圖片分割信息135C，表示圖片的分割模式。

圖片分割控制部212C基于由圖片分割信息235C表示的圖片的分割模式，生成用來控制幀內(nèi)預(yù)測部209、幀間預(yù)測部210及可變長解碼部213C的分割控制信號232C。另外，基于圖片分割信息135C的幀內(nèi)預(yù)測部209及幀間預(yù)測部210的動作在實施方式1中與瓦片獨立情況下的動作是同樣的。

可變長解碼部213C將包含在編碼數(shù)據(jù)233中、位于編碼序列之后的預(yù)先設(shè)定的比特序列跳過(skip)。即，可變長解碼部213C將在瓦片邊界通過對齊處理而插入的比特序列跳過。

以下，說明有關(guān)本實施方式的圖像解碼裝置200C的動作的流程。

圖16A是由有關(guān)本實施方式的圖像解碼裝置200C進(jìn)行的圖像解碼方法的流程圖。

首先，解析部201C取得通過將包含在比特流234中的多個瓦片分別編碼而生成的多個編碼數(shù)據(jù)233、和圖片分割信息235C(S221)。

接著，解碼部215通過將多個編碼數(shù)據(jù)233分別解碼，生成作為多個瓦片的圖像數(shù)據(jù)的解碼圖像數(shù)據(jù)226(S222)。

圖16B是由解碼部215進(jìn)行的解碼處理(S222)的流程圖。此外，圖16B表示對于一個處理對象的編碼數(shù)據(jù)233的解碼處理。

首先，解碼部215通過將在作為多個瓦片中之一的處理對象的編碼數(shù)據(jù)233中包含的編碼序列解碼，生成處理對象的解碼圖像數(shù)據(jù)226(S231)。另外，由解碼部215進(jìn)行的解碼處理的具體的方法例如與上述實施方式1是同樣的。此外，解碼部215將處理對象的瓦片不參照在其他瓦片的解碼中使用的解碼信息而解碼。

這里，該解碼處理包括可變長解碼部213C通過熵解碼(算術(shù)解碼)生成編碼序列(量化系數(shù)223)的處理。

此外，可變長解碼部213C在處理對象的瓦片的解碼處理結(jié)束后，將熵解碼(算術(shù)解碼)復(fù)位(S232)。這里，所謂復(fù)位，是算術(shù)解碼中的終止處理(也稱作清洗處理)。所謂終止處理，是將對于處理對象的編碼序列的算術(shù)解碼處理完結(jié)的處理。

接著，可變長解碼部213C將包含在處理對象的編碼數(shù)據(jù)233中、位于處理對象的編碼序列之后的預(yù)先設(shè)定的比特序列跳過(S233)。該比特序列對應(yīng)于在由圖像編碼裝置100C進(jìn)行的字節(jié)對齊處理中插入的比特序列282。

將以上的處理按照與各瓦片對應(yīng)的每個編碼數(shù)據(jù)233進(jìn)行。即，可變長解碼部213C通過將在作為多個編碼數(shù)據(jù)233之一的第1編碼數(shù)據(jù)中包含的第1編碼序列解碼，生成第1瓦片的圖像數(shù)據(jù)，通過將包含在第1編碼數(shù)據(jù)中、位于第1編碼序列之后的預(yù)先設(shè)定的比特序列跳過，將在位于第1編碼數(shù)據(jù)之后的第2編碼數(shù)據(jù)中包含的第2編碼序列解碼，生成第2瓦片的圖像數(shù)據(jù)。

通過上述處理，可變長解碼部213C能夠?qū)⒃谟蓤D像編碼裝置100C進(jìn)行的字節(jié)對齊處理中插入在位邊界中的比特序列忽視而僅將需要的數(shù)據(jù)解碼。換言之，可變長解碼部213C能夠?qū)⑸鲜霰忍匦蛄刑^而從下個編碼數(shù)據(jù)233的開頭進(jìn)行解碼處理。

通過以上的結(jié)構(gòu)，有關(guān)本實施方式的圖像解碼裝置200C能夠?qū)⑼ㄟ^上述圖像編碼裝置100C生成的比特流解碼。

另外，在上述說明中，敘述了圖像解碼裝置200C將與各瓦片對應(yīng)的編碼數(shù)據(jù)233以時間序列解碼的例子，但圖像解碼裝置200C也可以將多個編碼數(shù)據(jù)233并行地解碼。在此情況下，圖像解碼裝置200C通過參照圖片分割信息235C中包含的表示編碼數(shù)據(jù)233的開頭位置的信息，掌握各編碼數(shù)據(jù)233的開頭位置。此外，也可以是將表示該開頭位置的信息用字節(jié)單位表示位置的信息。

以上，對有關(guān)本發(fā)明的實施方式的圖像編碼裝置及圖像解碼裝置進(jìn)行了說明，但本發(fā)明并不限定于該實施方式。

此外，有關(guān)上述實施方式的圖像編碼裝置及圖像解碼裝置中包含的各處理部典型地作為集成電路即LSI實現(xiàn)。它們既可以單獨地1芯片化，也可以包括一部分或全部而1芯片化。

此外，集成電路化并不限定于LSI，也可以通過專用電路或通用處理器實現(xiàn)。也可以利用在LSI制造后能夠編程的FPGA(Field Programmable Gate Array：現(xiàn)場可編程門陣列)、或能夠再構(gòu)成LSI內(nèi)部的電路單元的連接及設(shè)定的可重構(gòu)處理器。

另外，在上述各實施方式中，各構(gòu)成要素也可以由專用的硬件構(gòu)成、或者通過執(zhí)行適合于各構(gòu)成要素的軟件程序來實現(xiàn)。各構(gòu)成要素也可以通過CPU或處理器等的程序執(zhí)行部將記錄在硬盤或半導(dǎo)體存儲器等的記錄介質(zhì)中的軟件程序并執(zhí)行來實現(xiàn)。

進(jìn)而，本發(fā)明也可以是上述軟件程序，也可以是記錄有上述程序的非暫時性的計算機(jī)可讀取的記錄介質(zhì)。此外，上述程序當(dāng)然能夠經(jīng)由因特網(wǎng)等的傳送媒體流通。

此外，在上述中使用的數(shù)字全部是為了具體地說明本發(fā)明而例示的，本發(fā)明并不限制于例示的數(shù)字。

此外，框圖中的功能塊的分割是一例，也可以將多個功能塊作為一個功能塊實現(xiàn)，或?qū)⒁粋€功能塊分割為多個，或?qū)⒁徊糠值墓δ苻D(zhuǎn)移到其他功能塊中。此外，也可以將具有類似的功能的多個功能塊的功能用單一的硬件或軟件并行或時間劃分處理。

此外，將上述圖像編碼方法或圖像解碼方法中包含的步驟執(zhí)行的順序是為了具體地說明本發(fā)明而用來例示的，也可以是上述以外的順序。此外，也可以將上述步驟的一部分與其他步驟同時(并行)執(zhí)行。

(實施方式5)

通過將用來實現(xiàn)上述各實施方式所示的動態(tài)圖像編碼方法(圖像編碼方法)或動態(tài)圖像解碼方法(圖像解碼方法)的結(jié)構(gòu)的程序記錄到存儲介質(zhì)中，能夠?qū)⑸鲜龈鲗嵤┓绞剿镜奶幚碓讵毩⒌挠嬎銠C(jī)系統(tǒng)中簡單地實施。存儲介質(zhì)是磁盤、光盤、光磁盤、IC卡、半導(dǎo)體存儲器等，只要是能夠記錄程序的介質(zhì)就可以。

進(jìn)而，這里說明在上述各實施方式中示出的動態(tài)圖像編碼方法(圖像編碼方法)及動態(tài)圖像解碼方法(圖像解碼方法)的應(yīng)用例和使用它的系統(tǒng)。該系統(tǒng)的特征在于，具有由使用圖像編碼方法的圖像編碼裝置及使用圖像解碼方法的圖像解碼裝置構(gòu)成的圖像編碼解碼裝置。關(guān)于系統(tǒng)的其他結(jié)構(gòu)，可以根據(jù)情況而適當(dāng)變更。

圖18是表示實現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容供給系統(tǒng)ex100的整體結(jié)構(gòu)的圖。將通信服務(wù)的提供區(qū)劃分為希望的大小，在各小區(qū)內(nèi)分別設(shè)置有作為固定無線站的基站ex106、ex107、ex108、ex109、ex110。

該內(nèi)容供給系統(tǒng)ex100在因特網(wǎng)ex101上經(jīng)由因特網(wǎng)服務(wù)提供商ex102及電話網(wǎng)ex104、及基站ex107～ex110連接著計算機(jī)ex111、PDA(Personal Digital Assistant)ex112、照相機(jī)ex113、便攜電話ex114、游戲機(jī)ex115等的各設(shè)備。

但是，內(nèi)容供給系統(tǒng)ex100并不限定于圖18那樣的結(jié)構(gòu)，也可以將某些要素組合連接。此外，也可以不經(jīng)由作為固定無線站的基站ex107～ex110將各設(shè)備直接連接在電話網(wǎng)ex104上。此外，也可以將各設(shè)備經(jīng)由近距離無線等直接相互連接。

照相機(jī)ex113是能夠進(jìn)行數(shù)字?jǐn)z像機(jī)等的動態(tài)圖像攝影的設(shè)備，照相機(jī)ex116是能夠進(jìn)行數(shù)字照相機(jī)等的靜止圖像攝影、動態(tài)圖像攝影的設(shè)備。此外，便攜電話ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W－CDMA(Wideband－Code Division Multiple Access)方式、或LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)的便攜電話機(jī)、或PHS(Personal Handyphone System)等，是哪種都可以。

在內(nèi)容供給系統(tǒng)ex100中，通過將照相機(jī)ex113等經(jīng)由基站ex109、電話網(wǎng)ex104連接在流媒體服務(wù)器ex103上，能夠進(jìn)行現(xiàn)場分發(fā)等。在現(xiàn)場分發(fā)中，對用戶使用照相機(jī)ex113攝影的內(nèi)容(例如音樂會現(xiàn)場的影像等)如在上述各實施方式中說明那樣進(jìn)行編碼處理(即，作為本發(fā)明的一個方式的圖像編碼裝置發(fā)揮作用)，向流媒體服務(wù)器ex103發(fā)送。另一方面，流媒體服務(wù)器ex103將發(fā)送來的內(nèi)容數(shù)據(jù)對有請求的客戶端進(jìn)行流分發(fā)。作為客戶端，有能夠?qū)⑸鲜鼍幋a處理后的數(shù)據(jù)解碼的計算機(jī)ex111、PDAex112、照相機(jī)ex113、便攜電話ex114、游戲機(jī)ex115等。在接收到分發(fā)的數(shù)據(jù)的各設(shè)備中，將接收到的數(shù)據(jù)解碼處理而再現(xiàn)(即，作為本發(fā)明的一個方式的圖像解碼裝置發(fā)揮作用)。

另外，攝影的數(shù)據(jù)的編碼處理既可以由照相機(jī)ex113進(jìn)行，也可以由進(jìn)行數(shù)據(jù)的發(fā)送處理的流媒體服務(wù)器ex103進(jìn)行，也可以相互分擔(dān)進(jìn)行。同樣，分發(fā)的數(shù)據(jù)的解碼處理既可以由客戶端進(jìn)行，也可以由流媒體服務(wù)器ex103進(jìn)行，也可以相互分擔(dān)進(jìn)行。此外，并不限于照相機(jī)ex113，也可以將由照相機(jī)ex116攝影的靜止圖像及/或動態(tài)圖像數(shù)據(jù)經(jīng)由計算機(jī)ex111向流媒體服務(wù)器ex103發(fā)送。此情況下的編碼處理由照相機(jī)ex116、計算機(jī)ex111、流媒體服務(wù)器ex103的哪個進(jìn)行都可以，也可以相互分擔(dān)進(jìn)行。

此外，這些編碼解碼處理一般在計算機(jī)ex111或各設(shè)備具有的LSIex500中處理。LSIex500既可以是單芯片，也可以是由多個芯片構(gòu)成的結(jié)構(gòu)。另外，也可以將動態(tài)圖像編碼解碼用的軟件裝入到能夠由計算機(jī)ex111等讀取的某些記錄介質(zhì)(CD－ROM、軟盤、硬盤等)中、使用該軟件進(jìn)行編碼解碼處理。進(jìn)而，在便攜電話ex114是帶有照相機(jī)的情況下，也可以將由該照相機(jī)取得的動態(tài)圖像數(shù)據(jù)發(fā)送。此時的動態(tài)圖像數(shù)據(jù)是由便攜電話ex114具有的LSIex500編碼處理的數(shù)據(jù)。

此外，也可以是，流媒體服務(wù)器ex103是多個服務(wù)器或多個計算機(jī)，是將數(shù)據(jù)分散處理、記錄、及分發(fā)的。

如以上這樣，在內(nèi)容供給系統(tǒng)ex100中，客戶端能夠接收編碼的數(shù)據(jù)而再現(xiàn)。這樣，在內(nèi)容供給系統(tǒng)ex100中，客戶端能夠?qū)⒂脩舭l(fā)送的信息實時地接收、解碼、再現(xiàn)，即使是沒有特別的權(quán)利或設(shè)備的用戶也能夠?qū)崿F(xiàn)個人廣播。

另外，并不限定于內(nèi)容供給系統(tǒng)ex100的例子，如圖19所示，在數(shù)字廣播用系統(tǒng)ex200中也能夠裝入上述實施方式的至少動態(tài)圖像編碼裝置(圖像編碼裝置)或動態(tài)圖像解碼裝置(圖像解碼裝置)的某個。具體而言，在廣播站ex201中，將對影像數(shù)據(jù)復(fù)用了音樂數(shù)據(jù)等而得到的復(fù)用數(shù)據(jù)經(jīng)由電波向通信或廣播衛(wèi)星ex202傳送。該影像數(shù)據(jù)是通過上述各實施方式中說明的動態(tài)圖像編碼方法編碼后的數(shù)據(jù)(即，通過本發(fā)明的一個方式的圖像編碼裝置編碼后的數(shù)據(jù))。接受到該數(shù)據(jù)的廣播衛(wèi)星ex202發(fā)出廣播用的電波，能夠?qū)υ撾姴ㄟM(jìn)行衛(wèi)星廣播接收的家庭的天線ex204接收該電波，通過電視機(jī)(接收機(jī))ex300或機(jī)頂盒(STB)ex217等的裝置將接收到的復(fù)用數(shù)據(jù)解碼并將其再現(xiàn)(即，作為本發(fā)明的一個方式的圖像解碼裝置發(fā)揮作用)。

此外，可以在將記錄在DVD、BD等的記錄介質(zhì)ex215中的復(fù)用數(shù)據(jù)讀取并解碼、或?qū)⒂跋駭?shù)據(jù)編碼再根據(jù)情況與音樂信號復(fù)用而寫入記錄介質(zhì)ex215中的讀取器/記錄器ex218中也能夠安裝上述各實施方式所示的動態(tài)圖像解碼裝置或動態(tài)圖像編碼裝置。在此情況下，可以將再現(xiàn)的影像信號顯示在監(jiān)視器ex219上，通過記錄有復(fù)用數(shù)據(jù)的記錄介質(zhì)ex215在其他裝置或系統(tǒng)中能夠再現(xiàn)影像信號。此外，也可以在連接在有線電視用的線纜ex203或衛(wèi)星/地面波廣播的天線ex204上的機(jī)頂盒ex217內(nèi)安裝動態(tài)圖像解碼裝置，將其用電視機(jī)的監(jiān)視器ex219顯示。此時，也可以不是在機(jī)頂盒、而在電視機(jī)內(nèi)裝入動態(tài)圖像解碼裝置。

圖20是表示使用在上述各實施方式中說明的動態(tài)圖像解碼方法及動態(tài)圖像編碼方法的電視機(jī)(接收機(jī))ex300的圖。電視機(jī)ex300具備經(jīng)由接收上述廣播的天線ex204或線纜ex203等取得或者輸出對影像數(shù)據(jù)復(fù)用了聲音數(shù)據(jù)的復(fù)用數(shù)據(jù)的調(diào)諧器ex301、將接收到的復(fù)用數(shù)據(jù)解調(diào)或調(diào)制為向外部發(fā)送的編碼數(shù)據(jù)的調(diào)制/解調(diào)部ex302、和將解調(diào)后的復(fù)用數(shù)據(jù)分離為影像數(shù)據(jù)、聲音數(shù)據(jù)或?qū)⒃谛盘柼幚聿縠x306中編碼的影像數(shù)據(jù)、聲音數(shù)據(jù)復(fù)用的復(fù)用/分離部ex303。

此外，電視機(jī)ex300具備：具有將聲音數(shù)據(jù)、影像數(shù)據(jù)分別解碼、或?qū)⒏髯缘男畔⒕幋a的聲音信號處理部ex304和影像信號處理部ex305(即，作為本發(fā)明的一個方式的圖像編碼裝置或圖像解碼裝置發(fā)揮作用)的信號處理部ex306；具有將解碼后的聲音信號輸出的揚聲器ex307及顯示解碼后的影像信號的顯示器等的顯示部ex308的輸出部ex309。進(jìn)而，電視機(jī)ex300具備具有受理用戶操作的輸入的操作輸入部ex312等的接口部ex317。進(jìn)而，電視機(jī)ex300具有合并控制各部的控制部ex310、對各部供給電力的電源電路部ex311。接口部ex317也可以除了操作輸入部ex312以外，還具有與讀取器/記錄器ex218等的外部設(shè)備連接的橋接部ex313、用來能夠安裝SD卡等的記錄介質(zhì)ex216的插槽部ex314、用來與硬盤等的外部記錄介質(zhì)連接的驅(qū)動器ex315、與電話網(wǎng)連接的調(diào)制解調(diào)器ex316等。另外，記錄介質(zhì)ex216是能夠通過收存的非易失性/易失性的半導(dǎo)體存儲元件電氣地進(jìn)行信息的記錄的結(jié)構(gòu)。電視機(jī)ex300的各部經(jīng)由同步總線相互連接。

首先，對電視機(jī)ex300將通過天線ex204等從外部取得的復(fù)用數(shù)據(jù)解碼、再現(xiàn)的結(jié)構(gòu)進(jìn)行說明。電視機(jī)ex300接受來自遙控器ex220等的用戶操作，基于具有CPU等的控制部ex310的控制，將由調(diào)制/解調(diào)部ex302解調(diào)的復(fù)用數(shù)據(jù)用復(fù)用/分離部ex303分離。進(jìn)而，電視機(jī)ex300將分離的聲音數(shù)據(jù)用聲音信號處理部ex304解碼，將分離的影像數(shù)據(jù)用影像信號處理部ex305使用在上述各實施方式中說明的解碼方法解碼。將解碼后的聲音信號、影像信號分別從輸出部ex309朝向外部輸出。在輸出時，可以暫時將這些信號儲存到緩沖器ex318、ex319等中，以使聲音信號和影像信號同步再現(xiàn)。此外，電視機(jī)ex300也可以不是從廣播等、而從磁/光盤、SD卡等的記錄介質(zhì)ex215、ex216讀出編碼的復(fù)用數(shù)據(jù)。接著，對電視機(jī)ex300將聲音信號或影像信號編碼、向外部發(fā)送或?qū)懭氲接涗浗橘|(zhì)等中的結(jié)構(gòu)進(jìn)行說明。電視機(jī)ex300接受來自遙控器ex220等的用戶操作，基于控制部ex310的控制，由聲音信號處理部ex304將聲音信號編碼，由影像信號處理部ex305將影像信號使用在上述各實施方式中說明的編碼方法編碼。將編碼后的聲音信號、影像信號用復(fù)用/分離部ex303復(fù)用，向外部輸出。在復(fù)用時，可以暫時將這些信號儲存到緩沖器ex320、ex321等中，以使聲音信號和影像信號同步再現(xiàn)。另外，緩沖器ex318、ex319、ex320、ex321既可以如圖示那樣具備多個，也可以是共用一個以上的緩沖器的結(jié)構(gòu)。進(jìn)而，在圖示以外，也可以在例如調(diào)制/解調(diào)部ex302或復(fù)用/分離部ex303之間等也作為避免系統(tǒng)的上溢、下溢的緩沖部而在緩沖器中儲存數(shù)據(jù)。

此外，電視機(jī)ex300除了從廣播等或記錄介質(zhì)等取得聲音數(shù)據(jù)、影像數(shù)據(jù)以外，也可以具備受理麥克風(fēng)或照相機(jī)的AV輸入的結(jié)構(gòu)，對從它們中取得的數(shù)據(jù)進(jìn)行編碼處理。另外，這里，將電視機(jī)ex300作為能夠進(jìn)行上述編碼處理、復(fù)用、及外部輸出的結(jié)構(gòu)進(jìn)行了說明，但也可以不能進(jìn)行這些處理，而是僅能夠進(jìn)行上述接收、解碼處理、外部輸出的結(jié)構(gòu)。

此外，在由讀取器/記錄器ex218從記錄介質(zhì)將復(fù)用數(shù)據(jù)讀出、或?qū)懭氲那闆r下，上述解碼處理或編碼處理由電視機(jī)ex300、讀取器/記錄器ex218的哪個進(jìn)行都可以，也可以是電視機(jī)ex300和讀取器/記錄器ex218相互分擔(dān)進(jìn)行。

作為一例，將從光盤進(jìn)行數(shù)據(jù)的讀入或?qū)懭氲那闆r下的信息再現(xiàn)/記錄部ex400的結(jié)構(gòu)表示在圖21中。信息再現(xiàn)/記錄部ex400具備以下說明的單元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光頭ex401對作為光盤的記錄介質(zhì)ex215的記錄面照射激光斑而寫入信息，檢測來自記錄介質(zhì)ex215的記錄面的反射光而讀入信息。調(diào)制記錄部ex402電氣地驅(qū)動內(nèi)置在光頭ex401中的半導(dǎo)體激光器，根據(jù)記錄數(shù)據(jù)進(jìn)行激光的調(diào)制。再現(xiàn)解調(diào)部ex403將由內(nèi)置在光頭ex401中的光檢測器電氣地檢測到來自記錄面的反射光而得到的再現(xiàn)信號放大，將記錄在記錄介質(zhì)ex215中的信號成分分離并解調(diào)，再現(xiàn)所需要的信息。緩沖器ex404將用來記錄到記錄介質(zhì)ex215中的信息及從記錄介質(zhì)ex215再現(xiàn)的信息暫時保持。盤馬達(dá)ex405使記錄介質(zhì)ex215旋轉(zhuǎn)。伺服控制部ex406一邊控制盤馬達(dá)ex405的旋轉(zhuǎn)驅(qū)動一邊使光頭ex401移動到規(guī)定的信息軌道，進(jìn)行激光斑的追蹤處理。系統(tǒng)控制部ex407進(jìn)行信息再現(xiàn)/記錄部ex400整體的控制。上述的讀出及寫入的處理由系統(tǒng)控制部ex407利用保持在緩沖器ex404中的各種信息、此外根據(jù)需要而進(jìn)行新的信息的生成、追加、并且一邊使調(diào)制記錄部ex402、再現(xiàn)解調(diào)部ex403、伺服控制部ex406協(xié)調(diào)動作、一邊通過光頭ex401進(jìn)行信息的記錄再現(xiàn)來實現(xiàn)。系統(tǒng)控制部ex407例如由微處理器構(gòu)成，通過執(zhí)行讀出寫入的程序來執(zhí)行它們的處理。

以上，假設(shè)光頭ex401照射激光斑而進(jìn)行了說明，但也可以是使用接近場光進(jìn)行高密度的記錄的結(jié)構(gòu)。

在圖22中表示作為光盤的記錄介質(zhì)ex215的示意圖。在記錄介質(zhì)ex215的記錄面上，以螺旋狀形成有導(dǎo)引槽(溝)，在信息軌道ex230中，預(yù)先通過溝的形狀的變化而記錄有表示盤上的絕對位置的地址信息。該地址信息包括用來確定作為記錄數(shù)據(jù)的單位的記錄塊ex231的位置的信息，通過在進(jìn)行記錄及再現(xiàn)的裝置中將信息軌道ex230再現(xiàn)而讀取地址信息，能夠確定記錄塊。此外，記錄介質(zhì)ex215包括數(shù)據(jù)記錄區(qū)域ex233、內(nèi)周區(qū)域ex232、外周區(qū)域ex234。為了記錄用戶數(shù)據(jù)而使用的區(qū)域是數(shù)據(jù)記錄區(qū)域ex233，配置在比數(shù)據(jù)記錄區(qū)域ex233靠內(nèi)周或外周的內(nèi)周區(qū)域ex232和外周區(qū)域ex234用于用戶數(shù)據(jù)的記錄以外的特定用途。信息再現(xiàn)/記錄部ex400對這樣的記錄介質(zhì)ex215的數(shù)據(jù)記錄區(qū)域ex233進(jìn)行編碼的聲音數(shù)據(jù)、影像數(shù)據(jù)或復(fù)用了這些數(shù)據(jù)的編碼數(shù)據(jù)的讀寫。

以上，舉1層的DVD、BD等的光盤為例進(jìn)行了說明，但并不限定于這些，也可以是多層構(gòu)造、在表面以外也能夠記錄的光盤。此外，也可以是在盤的相同的地方使用不同波長的顏色的光記錄信息、或從各種角度記錄不同的信息的層等、進(jìn)行多維的記錄/再現(xiàn)的構(gòu)造的光盤。

此外，在數(shù)字廣播用系統(tǒng)ex200中，也可以由具有天線ex205的車ex210從衛(wèi)星ex202等接收數(shù)據(jù)、在車ex210具有的車載導(dǎo)航儀ex211等的顯示裝置上再現(xiàn)動態(tài)圖像。另外，車載導(dǎo)航儀ex211的結(jié)構(gòu)可以考慮例如在圖20所示的結(jié)構(gòu)中添加GPS接收部的結(jié)構(gòu)，在計算機(jī)ex111及便攜電話ex114等中也可以考慮同樣的結(jié)構(gòu)。

圖23A是表示使用在上述實施方式中說明的動態(tài)圖像解碼方法和動態(tài)圖像編碼方法的便攜電話ex114的圖。便攜電話ex114具有由用來在與基站ex110之間收發(fā)電波的天線ex350、能夠拍攝影像、靜止圖像的照相機(jī)部ex365、顯示將由照相機(jī)部ex365攝影的影像、由天線ex350接收到的影像等解碼后的數(shù)據(jù)的液晶顯示器等的顯示部ex358。便攜電話ex114還具有包含操作鍵部ex366的主體部、用來進(jìn)行聲音輸出的揚聲器等的聲音輸出部ex357、用來進(jìn)行聲音輸入的麥克風(fēng)等的聲音輸入部ex356、保存拍攝到的影像、靜止圖像、錄音的聲音、或者接收到的影像、靜止圖像、郵件等的編碼后的數(shù)據(jù)或者解碼后的數(shù)據(jù)的存儲器部ex367、或者作為與同樣保存數(shù)據(jù)的記錄介質(zhì)之間的接口部的插槽部ex364。

進(jìn)而，使用圖23B對便攜電話ex114的結(jié)構(gòu)例進(jìn)行說明。便攜電話ex114對于合并控制具備顯示部ex358及操作鍵部ex366的主體部的各部的主控制部ex360，將電源電路部ex361、操作輸入控制部ex362、影像信號處理部ex355、照相機(jī)接口部ex363、LCD(Liquid Crystal Display：液晶顯示器)控制部ex359、調(diào)制/解調(diào)部ex352、復(fù)用/分離部ex353、聲音信號處理部ex354、插槽部ex364、存儲器部ex367經(jīng)由總線ex370相互連接。

電源電路部ex361如果通過用戶的操作使通話結(jié)束及電源鍵成為開啟狀態(tài)，則通過從電池組對各部供給電力，便攜電話ex114起動為能夠動作的狀態(tài)。

便攜電話ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在語音通話模式時，將由聲音輸入部ex356集音的聲音信號通過聲音信號處理部ex354變換為數(shù)字聲音信號，將其用調(diào)制/解調(diào)部ex352進(jìn)行波譜擴(kuò)散處理，由發(fā)送/接收部ex351實施數(shù)字模擬變換處理及頻率變換處理后經(jīng)由天線ex350發(fā)送。此外，便攜電話ex114在語音通話模式時，將由天線ex350接收到的接收數(shù)據(jù)放大并實施頻率變換處理及模擬數(shù)字變換處理，用調(diào)制/解調(diào)部ex352進(jìn)行波譜逆擴(kuò)散處理，通過聲音信號處理部ex354變換為模擬聲音數(shù)據(jù)后，將其經(jīng)由聲音輸出部ex357輸出。

進(jìn)而，在數(shù)據(jù)通信模式時發(fā)送電子郵件的情況下，將通過主體部的操作鍵部ex366等的操作輸入的電子郵件的文本數(shù)據(jù)經(jīng)由操作輸入控制部ex362向主控制部ex360送出。主控制部ex360將文本數(shù)據(jù)用調(diào)制/解調(diào)部ex352進(jìn)行波譜擴(kuò)散處理，由發(fā)送/接收部ex351實施數(shù)字模擬變換處理及頻率變換處理后，經(jīng)由天線ex350向基站ex110發(fā)送。在接收電子郵件的情況下，對接收到的數(shù)據(jù)執(zhí)行上述處理的大致逆處理，并輸出到顯示部ex350。

在數(shù)據(jù)通信模式時，在發(fā)送影像、靜止圖像、或者影像和聲音的情況下，影像信號處理部ex355將從照相機(jī)部ex365供給的影像信號通過上述各實施方式所示的動態(tài)圖像編碼方法進(jìn)行壓縮編碼(即，作為本發(fā)明的一個方式的圖像編碼裝置發(fā)揮作用)，將編碼后的影像數(shù)據(jù)送出至復(fù)用/分離部ex353。另外，聲音信號處理部ex354對通過照相機(jī)部ex365拍攝影像、靜止圖像等的過程中用聲音輸入部ex356集音的聲音信號進(jìn)行編碼，將編碼后的聲音數(shù)據(jù)送出至復(fù)用/分離部ex353。

復(fù)用/分離部ex353通過規(guī)定的方式，對從影像信號處理部ex355供給的編碼后的影像數(shù)據(jù)和從聲音信號處理部ex354供給的編碼后的聲音數(shù)據(jù)進(jìn)行復(fù)用，將其結(jié)果得到的復(fù)用數(shù)據(jù)用調(diào)制/解調(diào)部(調(diào)制/解調(diào)電路部)ex352進(jìn)行波譜擴(kuò)散處理，由發(fā)送/接收部ex351實施數(shù)字模擬變換處理及頻率變換處理后，經(jīng)由天線ex350發(fā)送。

在數(shù)據(jù)通信模式時接收到鏈接到主頁等的動態(tài)圖像文件的數(shù)據(jù)的情況下，或者接收到附加了影像或者聲音的電子郵件的情況下，為了對經(jīng)由天線ex350接收到的復(fù)用數(shù)據(jù)進(jìn)行解碼，復(fù)用/分離部ex353通過將復(fù)用數(shù)據(jù)分離，分為影像數(shù)據(jù)的比特流和聲音數(shù)據(jù)的比特流，經(jīng)由同步總線ex370將編碼后的影像數(shù)據(jù)向影像信號處理部ex355供給，并將編碼后的聲音數(shù)據(jù)向聲音信號處理部ex354供給。影像信號處理部ex355通過與上述各實施方式所示的動態(tài)圖像編碼方法相對應(yīng)的動態(tài)圖像解碼方法進(jìn)行解碼，由此對影像信號進(jìn)行解碼(即，作為本發(fā)明的一個方式的圖像解碼裝置發(fā)揮作用)，經(jīng)由LCD控制部ex359從顯示部ex358顯示例如鏈接到主頁的動態(tài)圖像文件中包含的影像、靜止圖像。另外，聲音信號處理部ex354對聲音信號進(jìn)行解碼，從聲音輸出部ex357輸出聲音。

此外，上述便攜電話ex114等的終端與電視機(jī)ex300同樣，除了具有編碼器、解碼器兩者的收發(fā)型終端以外，還可以考慮只有編碼器的發(fā)送終端、只有解碼器的接收終端的3種安裝形式。另外，在數(shù)字廣播用系統(tǒng)ex200中，設(shè)為發(fā)送、接收在影像數(shù)據(jù)中復(fù)用了音樂數(shù)據(jù)等得到的復(fù)用數(shù)據(jù)而進(jìn)行了說明，但除聲音數(shù)據(jù)之外復(fù)用了與影像關(guān)聯(lián)的字符數(shù)據(jù)等的數(shù)據(jù)也可以，不是復(fù)用數(shù)據(jù)而是影像數(shù)據(jù)本身也可以。

這樣，將在上述各實施方式中表示的動態(tài)圖像編碼方法或動態(tài)圖像解碼方法用在上述哪種設(shè)備、系統(tǒng)中都可以，通過這樣，能夠得到在上述各實施方式中說明的效果。

此外，本發(fā)明并不限定于這樣的上述實施方式，能夠不脫離本發(fā)明的范圍而進(jìn)行各種變形或修正。

(實施方式6)

也可以通過將在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置、與依據(jù)MPEG－2、MPEG4－AVC、VC－1等不同的標(biāo)準(zhǔn)的動態(tài)圖像編碼方法或裝置根據(jù)需要而適當(dāng)切換，來生成影像數(shù)據(jù)。

這里，在生成分別依據(jù)不同的標(biāo)準(zhǔn)的多個影像數(shù)據(jù)的情況下，在解碼時，需要選擇對應(yīng)于各個標(biāo)準(zhǔn)的解碼方法。但是，由于不能識別要解碼的影像數(shù)據(jù)依據(jù)哪個標(biāo)準(zhǔn)，所以產(chǎn)生不能選擇適當(dāng)?shù)慕獯a方法的問題。

為了解決該問題，在影像數(shù)據(jù)中復(fù)用了聲音數(shù)據(jù)等的復(fù)用數(shù)據(jù)采用包含表示影像數(shù)據(jù)依據(jù)哪個標(biāo)準(zhǔn)的識別信息的結(jié)構(gòu)。以下，說明包括通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)在內(nèi)的復(fù)用數(shù)據(jù)的具體的結(jié)構(gòu)。復(fù)用數(shù)據(jù)是MPEG－2傳輸流形式的數(shù)字流。

圖24是表示復(fù)用數(shù)據(jù)的結(jié)構(gòu)的圖。如圖24所示，復(fù)用數(shù)據(jù)通過將視頻流、音頻流、演示圖形流(PG)、交互圖形流中的1個以上進(jìn)行復(fù)用而得到。視頻流表示電影的主影像及副影像，音頻流(IG)表示電影的主聲音部分和與該主聲音混合的副聲音，演示圖形流表示電影的字幕。這里，所謂主影像，表示顯示在畫面上的通常的影像，所謂副影像，是在主影像中用較小的畫面顯示的影像。此外，交互圖形流表示通過在畫面上配置GUI部件而制作的對話畫面。視頻流通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置、依據(jù)以往的MPEG－2、MPEG4－AVC、VC－1等標(biāo)準(zhǔn)的動態(tài)圖像編碼方法或裝置編碼。音頻流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或線性PCM等的方式編碼。

包含在復(fù)用數(shù)據(jù)中的各流通過PID被識別。例如，對在電影的影像中使用的視頻流分配0x1011，對音頻流分配0x1100到0x111F，對演示圖形分配0x1200到0x121F，對交互圖形流分配0x1400到0x141F，對在電影的副影像中使用的視頻流分配0x1B00到0x1B1F，對與主聲音混合的副聲音中使用的音頻流分配0x1A00到0x1A1F。

圖25是示意地表示復(fù)用數(shù)據(jù)怎樣被復(fù)用的圖。首先，將由多個視頻幀構(gòu)成的視頻流ex235、由多個音頻幀構(gòu)成的音頻流ex238分別變換為PES包序列ex236及ex239，并變換為TS包ex237及ex240。同樣，將演示圖形流ex241及交互圖形ex244的數(shù)據(jù)分別變換為PES包序列ex242及ex245，再變換為TS包ex243及ex246。復(fù)用數(shù)據(jù)ex247通過將這些TS包復(fù)用到1條流中而構(gòu)成。

圖26更詳細(xì)地表示在PES包序列中怎樣保存視頻流。圖26的第1段表示視頻流的視頻幀序列。第2段表示PES包序列。如圖26的箭頭yy1、yy2、yy3、yy4所示，視頻流中的多個作為Video Presentation Unit的I圖片、B圖片、P圖片按每個圖片被分割并保存到PES包的有效載荷中。各PES包具有PES頭，在PES頭中，保存有作為圖片的顯示時刻的PTS(Presentation Time-Stamp)及作為圖片的解碼時刻的DTS(Decoding Time-Stamp)。

圖27表示最終寫入在復(fù)用數(shù)據(jù)中的TS包的形式。TS包是由具有識別流的PID等信息的4字節(jié)的TS頭和保存數(shù)據(jù)的184字節(jié)的TS有效載荷構(gòu)成的188字節(jié)固定長度的包，上述PES包被分割并保存到TS有效載荷中。在BD－ROM的情況下，對于TS包賦予4字節(jié)的TP_Extra_Header，構(gòu)成192字節(jié)的源包，寫入到復(fù)用數(shù)據(jù)中。在TP_Extra_Header中記載有ATS(Arrival_Time_Stamp)等信息。ATS表示該TS包向解碼器的PID濾波器的轉(zhuǎn)送開始時刻。在復(fù)用數(shù)據(jù)中，源包如圖27下段所示排列，從復(fù)用數(shù)據(jù)的開頭起遞增的號碼被稱作SPN(源包號)。

此外，在復(fù)用數(shù)據(jù)所包含的TS包中，除了影像、聲音、字幕等的各流以外，還有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示在復(fù)用數(shù)據(jù)中使用的PMT的PID是什么，PAT自身的PID被登記為0。PMT具有復(fù)用數(shù)據(jù)所包含的影像、聲音、字幕等的各流的PID、以及與各PID對應(yīng)的流的屬性信息，還具有關(guān)于復(fù)用數(shù)據(jù)的各種描述符。在描述符中，有指示許可/不許可復(fù)用數(shù)據(jù)的拷貝的拷貝控制信息等。PCR為了取得作為ATS的時間軸的ATC(Arrival Time Clock)與作為PTS及DTS的時間軸的STC(System Time Clock)的同步，擁有與該PCR包被轉(zhuǎn)送至解碼器的ATS對應(yīng)的STC時間的信息。

圖28是詳細(xì)地說明PMT的數(shù)據(jù)構(gòu)造的圖。在PMT的開頭，配置有記述了包含在該PMT中的數(shù)據(jù)的長度等的PMT頭。在其后面，配置有多個關(guān)于復(fù)用數(shù)據(jù)的描述符。上述拷貝控制信息等被記載為描述符。在描述符之后，配置有多個關(guān)于包含在復(fù)用數(shù)據(jù)中的各流的流信息。流信息由記載有用來識別流的壓縮編解碼器的流類型、流的PID、流的屬性信息(幀速率、縱橫比等)的流描述符構(gòu)成。流描述符存在復(fù)用數(shù)據(jù)中存在的流的數(shù)量。

在記錄到記錄介質(zhì)等中的情況下，將上述復(fù)用數(shù)據(jù)與復(fù)用數(shù)據(jù)信息文件一起記錄。

復(fù)用數(shù)據(jù)信息文件如圖29所示，是復(fù)用數(shù)據(jù)的管理信息，與復(fù)用數(shù)據(jù)一對一地對應(yīng)，由復(fù)用數(shù)據(jù)信息、流屬性信息以及入口映射構(gòu)成。

復(fù)用數(shù)據(jù)信息如圖29所示，由系統(tǒng)速率、再現(xiàn)開始時刻、再現(xiàn)結(jié)束時刻構(gòu)成。系統(tǒng)速率表示復(fù)用數(shù)據(jù)的向后述的系統(tǒng)目標(biāo)解碼器的PID濾波器的最大轉(zhuǎn)送速率。包含在復(fù)用數(shù)據(jù)中的ATS的間隔設(shè)定為成為系統(tǒng)速率以下。再現(xiàn)開始時刻是復(fù)用數(shù)據(jù)的開頭的視頻幀的PTS，再現(xiàn)結(jié)束時刻設(shè)定為對復(fù)用數(shù)據(jù)的末端的視頻幀的PTS加上1幀量的再現(xiàn)間隔的值。

流屬性信息如圖30所示，按每個PID登記有關(guān)于包含在復(fù)用數(shù)據(jù)中的各流的屬性信息。屬性信息具有按視頻流、音頻流、演示圖形流、交互圖形流而不同的信息。視頻流屬性信息具有該視頻流由怎樣的壓縮編解碼器壓縮、構(gòu)成視頻流的各個圖片數(shù)據(jù)的分辨率是多少、縱橫比是多少、幀速率是多少等的信息。音頻流屬性信息具有該音頻流由怎樣的壓縮編解碼器壓縮、包含在該音頻流中的聲道數(shù)是多少、對應(yīng)于哪種語言、采樣頻率是多少等的信息。這些信息用于在播放器再現(xiàn)之前的解碼器的初始化等中。

在本實施方式中，使用上述復(fù)用數(shù)據(jù)中的、包含在PMT中的流類型。此外，在記錄介質(zhì)中記錄有復(fù)用數(shù)據(jù)的情況下，使用包含在復(fù)用數(shù)據(jù)信息中的視頻流屬性信息。具體而言，在上述各實施方式示出的動態(tài)圖像編碼方法或裝置中，設(shè)置如下步驟或單元，該步驟或單元對包含在PMT中的流類型、或視頻流屬性信息，設(shè)定表示是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)的固有信息。通過該結(jié)構(gòu)，能夠識別通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)、和依據(jù)其他標(biāo)準(zhǔn)的影像數(shù)據(jù)。

此外，在圖31中表示本實施方式的動態(tài)圖像解碼方法的步驟。在步驟exS100中，從復(fù)用數(shù)據(jù)中取得包含在PMT中的流類型、或包含在復(fù)用數(shù)據(jù)信息中的視頻流屬性信息。接著，在步驟exS101中，判斷流類型、或視頻流屬性信息是否表示是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的復(fù)用數(shù)據(jù)。并且，在判斷為流類型、或視頻流屬性信息是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的復(fù)用數(shù)據(jù)情況下，在步驟exS102中，通過在上述各實施方式中示出的動態(tài)圖像解碼方法進(jìn)行解碼。此外，在流類型、或視頻流屬性信息表示是依據(jù)以往的MPEG－2、MPEG4－AVC、VC－1等的標(biāo)準(zhǔn)的復(fù)用數(shù)據(jù)的情況下，在步驟exS103中，通過依據(jù)以往的標(biāo)準(zhǔn)的動態(tài)圖像解碼方法進(jìn)行解碼。

這樣，通過在流類型、或視頻流屬性信息中設(shè)定新的固有值，在解碼時能夠判斷是否能夠通過在上述各實施方式中示出的動態(tài)圖像解碼方法或裝置解碼。因而，在被輸入了依據(jù)不同的標(biāo)準(zhǔn)的復(fù)用數(shù)據(jù)的情況下，也能夠選擇適當(dāng)?shù)慕獯a方法或裝置，所以能夠不發(fā)生錯誤地進(jìn)行解碼。此外，將在本實施方式中示出的動態(tài)圖像編碼方法或裝置、或者動態(tài)圖像解碼方法或裝置用在上述任何設(shè)備、系統(tǒng)中。

(實施方式7)

在上述各實施方式中示出的動態(tài)圖像編碼方法及裝置、動態(tài)圖像解碼方法及裝置典型地可以由作為集成電路的LSI實現(xiàn)。作為一例，在圖32中表示1芯片化的LSIex500的結(jié)構(gòu)。LSIex500具備以下說明的單元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各單元經(jīng)由總線ex510連接。電源電路部ex505通過在電源是開啟狀態(tài)的情況下對各部供給電力，起動為能夠動作的狀態(tài)。

例如在進(jìn)行編碼處理的情況下，LSIex500基于具有CPUex502、存儲器控制器ex503、流控制器ex504、驅(qū)動頻率控制部ex512等的控制部ex501的控制，通過AV I/Oex509從麥克風(fēng)ex117及照相機(jī)ex113等輸入AV信號。被輸入的AV信號暫時儲存在SDRAM等的外部的存儲器ex511中?；诳刂撇縠x501的控制，將儲存的數(shù)據(jù)根據(jù)處理量及處理速度適當(dāng)?shù)胤譃槎啻蔚?，向信號處理部ex507發(fā)送，在信號處理部ex507中進(jìn)行聲音信號的編碼及/或影像信號的編碼。這里，影像信號的編碼處理是在上述各實施方式中說明的編碼處理。在信號處理部ex507中，還根據(jù)情況而進(jìn)行將編碼的聲音數(shù)據(jù)和編碼的影像數(shù)據(jù)復(fù)用等的處理，從流I/Oex506向外部輸出。將該輸出的比特流向基站ex107發(fā)送、或?qū)懭氲接涗浗橘|(zhì)ex215中。另外，在復(fù)用時，可以暫時將數(shù)據(jù)儲存到緩沖器ex508中以使其同步。

另外，在上述中，設(shè)存儲器ex511為LSIex500的外部的結(jié)構(gòu)進(jìn)行了說明，但也可以是包含在LSIex500的內(nèi)部中的結(jié)構(gòu)。緩沖器ex508也并不限定于一個，也可以具備多個緩沖器。此外，LSIex500既可以形成1個芯片，也可以形成多個芯片。

此外，在上述中，假設(shè)控制部ex510具有CPUex502、存儲器控制器ex503、流控制器ex504、驅(qū)動頻率控制部ex512等，但控制部ex510的結(jié)構(gòu)并不限定于該結(jié)構(gòu)。例如，也可以是信號處理部ex507還具備CPU的結(jié)構(gòu)。通過在信號處理部ex507的內(nèi)部中也設(shè)置CPU，能夠進(jìn)一步提高處理速度。此外，作為其他例，也可以是CPUex502具備信號處理部ex507、或作為信號處理部ex507的一部分的例如聲音信號處理部的結(jié)構(gòu)。在這樣的情況下，控制部ex501為具備具有信號處理部ex507或其一部分的CPUex502的結(jié)構(gòu)。

另外，這里設(shè)為LSI，但根據(jù)集成度的差異，也有稱作IC、系統(tǒng)LSI、超級(super)LSI、特級(ultra)LSI的情況。

此外，集成電路化的方法并不限定于LSI，也可以由專用電路或通用處理器實現(xiàn)。也可以利用在LSI制造后能夠編程的FPGA(Field Programmable Gate Array)、或能夠重構(gòu)LSI內(nèi)部的電路單元的連接及設(shè)定的可重構(gòu)處理器。

進(jìn)而，如果因半導(dǎo)體技術(shù)的進(jìn)步或派生的其他技術(shù)而出現(xiàn)代替LSI的集成電路化的技術(shù)，則當(dāng)然也可以使用該技術(shù)進(jìn)行功能模塊的集成化。有可能是生物技術(shù)的應(yīng)用等。

(實施方式8)

在將通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)解碼的情況下，考慮到與將依據(jù)以往的MPEG－2、MPEG4－AVC、VC－1等標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況相比處理量會增加。因此，在LSIex500中，需要設(shè)定為比將依據(jù)以往的標(biāo)準(zhǔn)的影像數(shù)據(jù)解碼時的CPUex502的驅(qū)動頻率更高的驅(qū)動頻率。但是，如果將驅(qū)動頻率設(shè)得高，則發(fā)生消耗電力變高的問題。

為了解決該問題，電視機(jī)ex300、LSIex500等的動態(tài)圖像解碼裝置采用識別影像數(shù)據(jù)依據(jù)哪個標(biāo)準(zhǔn)、并根據(jù)標(biāo)準(zhǔn)切換驅(qū)動頻率的結(jié)構(gòu)。圖33表示本實施方式的結(jié)構(gòu)ex800。驅(qū)動頻率切換部ex803在影像數(shù)據(jù)是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的情況下，將驅(qū)動頻率設(shè)定得高。并且，對執(zhí)行在上述各實施方式中示出的動態(tài)圖像解碼方法的解碼處理部ex801指示將影像數(shù)據(jù)解碼。另一方面，在影像數(shù)據(jù)是依據(jù)以往的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，與影像數(shù)據(jù)是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的數(shù)據(jù)的情況相比，將驅(qū)動頻率設(shè)定得低。并且，對依據(jù)以往的標(biāo)準(zhǔn)的解碼處理部ex802指示將影像數(shù)據(jù)解碼。

更具體地講，驅(qū)動頻率切換部ex803由圖32的CPUex502和驅(qū)動頻率控制部ex512構(gòu)成。此外，執(zhí)行在上述各實施方式中示出的動態(tài)圖像解碼方法的解碼處理部ex801、以及依據(jù)以往的標(biāo)準(zhǔn)的解碼處理部ex802對應(yīng)于圖32的信號處理部ex507。CPUex502識別影像數(shù)據(jù)依據(jù)哪個標(biāo)準(zhǔn)。并且，基于來自CPUex502的信號，驅(qū)動頻率控制部ex512設(shè)定驅(qū)動頻率。此外，基于來自CPUex502的信號，信號處理部ex507進(jìn)行影像數(shù)據(jù)的解碼。這里，可以考慮在影像數(shù)據(jù)的識別中使用例如在實施方式6中記載的識別信息。關(guān)于識別信息，并不限定于在實施方式6中記載的信息，只要是能夠識別影像數(shù)據(jù)依據(jù)哪個標(biāo)準(zhǔn)的信息就可以。例如，在基于識別影像數(shù)據(jù)利用于電視機(jī)還是利用于盤等的外部信號，來能夠識別影像數(shù)據(jù)依據(jù)哪個標(biāo)準(zhǔn)的情況下，也可以基于這樣的外部信號進(jìn)行識別。此外，CPUex502的驅(qū)動頻率的選擇例如可以考慮如圖35所示的將影像數(shù)據(jù)的標(biāo)準(zhǔn)與驅(qū)動頻率建立對應(yīng)的查找表進(jìn)行。將查找表預(yù)先保存到緩沖器ex508、或LSI的內(nèi)部存儲器中，CPUex502通過參照該查找表，能夠選擇驅(qū)動頻率。

圖34表示實施本實施方式的方法的步驟。首先，在步驟exS200中，在信號處理部ex507中，從復(fù)用數(shù)據(jù)中取得識別信息。接著，在步驟exS201中，在CPUex502中，基于識別信息識別影像數(shù)據(jù)是否是通過在上述各實施方式中示出的編碼方法或裝置生成的數(shù)據(jù)。在影像數(shù)據(jù)是通過在上述各實施方式中示出的編碼方法或裝置生成的數(shù)據(jù)的情況下，在步驟exS202中，CPUex502向驅(qū)動頻率控制部ex512發(fā)送將驅(qū)動頻率設(shè)定得高的信號。并且，在驅(qū)動頻率控制部ex512中設(shè)定為高的驅(qū)動頻率。另一方面，在表示是依據(jù)以往的MPEG－2、MPEG4－AVC、VC－1等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，在步驟exS203中，CPUex502向驅(qū)動頻率控制部ex512發(fā)送將驅(qū)動頻率設(shè)定得低的信號。并且，在驅(qū)動頻率控制部ex512中，設(shè)定為與影像數(shù)據(jù)是通過在上述各實施方式中示出的編碼方法或裝置生成的數(shù)據(jù)的情況相比更低的驅(qū)動頻率。

進(jìn)而，通過與驅(qū)動頻率的切換連動而變更對LSIex500或包括LSIex500的裝置施加的電壓，由此能夠進(jìn)一步提高節(jié)電效果。例如，在將驅(qū)動頻率設(shè)定得低的情況下，隨之，可以考慮與將驅(qū)動頻率設(shè)定得高的情況相比，將對LSIex500或包括LSIex500的裝置施加的電壓設(shè)定得低。

此外，驅(qū)動頻率的設(shè)定方法只要是在解碼時的處理量大的情況下將驅(qū)動頻率設(shè)定得高、在解碼時的處理量小的情況下將驅(qū)動頻率設(shè)定得低就可以，并不限定于上述的設(shè)定方法。例如，可以考慮在將依據(jù)MPEG4－AVC標(biāo)準(zhǔn)的影像數(shù)據(jù)解碼的處理量大于將通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)解碼的處理量的情況下，與上述的情況相反地進(jìn)行驅(qū)動頻率的設(shè)定。

進(jìn)而，驅(qū)動頻率的設(shè)定方法并不限定于使驅(qū)動頻率低的結(jié)構(gòu)。例如，也可以考慮在識別信息是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，將對LSIex500或包括LSIex500的裝置施加的電壓設(shè)定得高，在表示是依據(jù)以往的MPEG－2、MPEG4－AVC、VC－1等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，將對LSIex500或包括LSIex500的裝置施加的電壓設(shè)定得低。此外，作為另一例，也可以考慮在識別信息表示是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，不使CPUex502的驅(qū)動停止，在表示是依據(jù)以往的MPEG－2、MPEG4－AVC、VC－1等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，由于在處理中有富余，所以使CPUex502的驅(qū)動暫停。也可以考慮在識別信息表示是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，也只要在處理中有富余則使CPUex502的驅(qū)動暫停。在此情況下，可以考慮與表示是依據(jù)以往的MPEG－2、MPEG4－AVC、VC－1等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況相比，將停止時間設(shè)定得短。

這樣，根據(jù)影像數(shù)據(jù)所依據(jù)的標(biāo)準(zhǔn)來切換驅(qū)動頻率，由此能夠?qū)崿F(xiàn)節(jié)電化。此外，在使用電池來驅(qū)動LSIex500或包括LSIex500的裝置的情況下，能夠隨著節(jié)電而延長電池的壽命。

(實施方式9)

在電視機(jī)、便攜電話等上述的設(shè)備、系統(tǒng)中，有時被輸入依據(jù)不同的標(biāo)準(zhǔn)的多個影像數(shù)據(jù)。這樣，為了使得在被輸入了依據(jù)不同的標(biāo)準(zhǔn)的多個影像數(shù)據(jù)的情況下也能夠解碼，LSIex500的信號處理部ex507需要對應(yīng)于多個標(biāo)準(zhǔn)。但是，如果單獨使用對應(yīng)于各個標(biāo)準(zhǔn)的信號處理部ex507，則發(fā)生LSIex500的電路規(guī)模變大、此外成本增加的問題。

為了解決該問題，采用將用來執(zhí)行在上述各實施方式中示出的動態(tài)圖像解碼方法的解碼處理部、和依據(jù)以往的MPEG－2、MPEG4－AVC、VC－1等的標(biāo)準(zhǔn)的解碼處理部一部分共用的結(jié)構(gòu)。圖36A的ex900表示該結(jié)構(gòu)例。例如，在上述各實施方式中示出的動態(tài)圖像解碼方法和依據(jù)MPEG4－AVC標(biāo)準(zhǔn)的動態(tài)圖像解碼方法在熵編碼、逆量化、解塊濾波器、運動補償?shù)鹊奶幚碇杏幸徊糠痔幚韮?nèi)容共通?？梢钥紤]如下結(jié)構(gòu)：關(guān)于共通的處理內(nèi)容，共用對應(yīng)于MPEG4－AVC標(biāo)準(zhǔn)的解碼處理部ex902，關(guān)于不對應(yīng)于MPEG4－AVC標(biāo)準(zhǔn)的本發(fā)明的一個方式所特有的其他的處理內(nèi)容，使用專用的解碼處理部ex901。特別是，本發(fā)明的一個方式在熵解碼方面具有特征，因此可以考慮例如對于熵解碼使用專用的解碼處理部ex901，對于除此之外的逆量化、解塊過濾、運動補償中的某一個或者全部的處理，共用解碼處理部。關(guān)于解碼處理部的共用，也可以是如下結(jié)構(gòu)：關(guān)于共通的處理內(nèi)容，共用用來執(zhí)行在上述各實施方式中示出的動態(tài)圖像解碼方法的解碼處理部，關(guān)于MPEG4－AVC標(biāo)準(zhǔn)所特有的處理內(nèi)容，使用專用的解碼處理部。

此外，用圖36B的ex1000表示將處理一部分共用的另一例。在該例中，采用使用與本發(fā)明的一個方式所特有的處理內(nèi)容對應(yīng)的專用的解碼處理部ex1001、和與其他的以往標(biāo)準(zhǔn)所特有的處理內(nèi)容對應(yīng)的專用的解碼處理部ex1002、和與在本發(fā)明的一個方式的動態(tài)圖像解碼方法和其他的以往標(biāo)準(zhǔn)的動態(tài)圖像解碼方法中共通的處理內(nèi)容對應(yīng)的共用的解碼處理部ex1003的結(jié)構(gòu)。這里，專用的解碼處理部ex1001、ex1002并不一定是為本發(fā)明的一個方式、或者其他的以往標(biāo)準(zhǔn)所特有的處理內(nèi)容而特殊化的，可以是能夠執(zhí)行其他的通用處理的結(jié)構(gòu)。此外，也能夠由LSIex500安裝本實施方式的結(jié)構(gòu)。

這樣，對于在本發(fā)明的一個方式的動態(tài)圖像解碼方法和以往的標(biāo)準(zhǔn)的動態(tài)圖像解碼方法中共通的處理內(nèi)容，共用解碼處理部，由此能夠減小LSI的電路規(guī)模并且降低成本。

以上，基于實施方式對有關(guān)多個方式的圖像編碼裝置及圖像解碼裝置進(jìn)行了說明，但本發(fā)明并不限定于該實施方式。只要不脫離本發(fā)明的主旨，對本實施方式實施了本領(lǐng)域的技術(shù)人員想到的各種變形后的形態(tài)、或?qū)⒉煌膶嵤┓绞降臉?gòu)成要素組合而構(gòu)建的形態(tài)也可以包含在一個或多個方式的范圍內(nèi)。

產(chǎn)業(yè)上的可利用性

本發(fā)明能夠應(yīng)用到圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置中。此外，本發(fā)明能夠在具備圖像編碼裝置的電視機(jī)、數(shù)字錄像機(jī)、車載導(dǎo)航儀、便攜電話、數(shù)字照相機(jī)及數(shù)字?jǐn)z像機(jī)等的高分辨率的信息顯示設(shè)備或攝像設(shè)備中使用。

標(biāo)號說明

100、100A、100B、100C 圖像編碼裝置

101 減法器

102 正交變換部

103 量化部

104、204 逆量化部

105、205 逆正交變換部

106、206 加法器

107、207 塊存儲器

108、208 幀存儲器

109、209 幀內(nèi)預(yù)測部

110、210 幀間預(yù)測部

111、211 圖片類型決定部

112、112A、112C、212、212A、212C 圖片分割控制部

113、113B、113C 可變長編碼部

114、114B 復(fù)用部

115 編碼部

120 輸入圖像信號

121、125、225 預(yù)測誤差數(shù)據(jù)

122、124、224 變換系數(shù)

123、223 量化系數(shù)

126、127、128、226、227、228 解碼圖像數(shù)據(jù)

129、130、131、229、230、231 預(yù)測圖像數(shù)據(jù)

132、132A、132C、232、232A、232C 分割控制信號

133、233 編碼數(shù)據(jù)

134、234 比特流

135、135A、135C、235、235A、235C 圖片分割信息

140、145 瓦片邊界獨立信息

141、146 全體依存信息

142 水平依存信息

143 垂直依存信息

150 輸入圖像控制部

151 標(biāo)記插入部

160、260 圖像信號

161 瓦片標(biāo)記

200、200A、200B、200C 圖像解碼裝置

201、201A、201B、201C 解析部

213、213C 可變長解碼部

215 解碼部

250 輸出圖像控制部

281 編碼序列

282 比特序列