專利名稱：圖像處理設(shè)備和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備和圖像處理方法，尤其涉及提高多視點(diǎn)圖像編碼的編碼效率。
背景技術(shù)：
最近，把圖像信息處理為數(shù)字?jǐn)?shù)據(jù)，并在把圖像信息處理為數(shù)字?jǐn)?shù)據(jù)的時候，高效地保存或傳送所述信息的設(shè)備，例如利用諸如離散余弦變換之類的正交變換處理和運(yùn)動補(bǔ)償進(jìn)行壓縮的，遵照諸如MPEG(運(yùn)動圖像專家組)之類系統(tǒng)的設(shè)備已開始在廣播電臺和一般家庭中普及。特別地，MPEG-2 (IS0/IEC13818-2)被定義為通用圖像編碼系統(tǒng)，現(xiàn)在廣泛用在專業(yè)用途和消費(fèi)用途的各種應(yīng)用之中。此外，與MPEG-2編碼系統(tǒng)相比，需要更大量的編碼和解碼計(jì)算，但是能夠?qū)崿F(xiàn)更高編碼效率的H. 264和MPEG-4Part 10 (下面記為“H. 264/ AVC(高級視頻編碼)”)圖像編碼系統(tǒng)已標(biāo)準(zhǔn)化。這種圖像編碼系統(tǒng)通過降低時間方向和空間方向的冗余性，壓縮信息量。例如， 就對其進(jìn)行意圖降低空間冗余性的畫面內(nèi)預(yù)測編碼的I畫面來說，利用像素之間的相關(guān)性生成預(yù)測圖像。就對其進(jìn)行意圖降低時間冗余性的畫面間預(yù)測編碼的P畫面來說，以稱為前向圖像的塊單元檢測運(yùn)動向量，并利用檢測的運(yùn)動向量生成預(yù)測圖像。此外，就B畫面來說，以稱為前向畫面和后向畫面的塊單元檢測運(yùn)動向量，并利用檢測的運(yùn)動向量生成預(yù)測圖像。順便提及，就B畫面來說，第一參考畫面被稱為LO預(yù)測的參考畫面，第二參考畫面被稱為Ll預(yù)測的參考畫面。H. ^4/AVC系統(tǒng)允許從多個已編碼畫面中選擇參考畫面。另外，用參考索引管理選擇的參考畫面。參考索引被用作指示檢測的運(yùn)動向量所涉及的畫面，并與指示檢測的運(yùn)動向量的信息一起被編碼。0以上的數(shù)值被設(shè)定為參考索引。另外，參考索引的數(shù)值越小，在參考索引的編碼之后的信息量(代碼量)越小。此外，可以隨意向參考畫面分配參考索引。從而，向大量的運(yùn)動向量所涉及的參考畫面分配較小數(shù)目的參考索引，能夠減少當(dāng)編碼參考索引時的代碼量，從而提高編碼效率。另外，在日本專利公開No. 2010-63092中，當(dāng)對隔行掃描系統(tǒng)的2D圖像進(jìn)行場編碼時，向時間上接近編碼對象畫面的參考畫面分配小數(shù)值的參考索引。

發(fā)明內(nèi)容
在幀連續(xù)(FS) -AVC和多視點(diǎn)視頻編碼(MVC)中，不僅進(jìn)行利用時間方向的圖像之間的相關(guān)性的時間預(yù)測，而且進(jìn)行利用不同視點(diǎn)的圖像之間的相關(guān)性的視差預(yù)測。圖1表示當(dāng)編碼三個視點(diǎn)的移動圖像數(shù)據(jù)時的預(yù)測參考關(guān)系。順便提及，假定 CamO表示左側(cè)的視點(diǎn)的圖像數(shù)據(jù)，Caml表示中央視點(diǎn)的圖像數(shù)據(jù)，Cam2表示右側(cè)的視點(diǎn)的圖像數(shù)據(jù)。另外，假定Caml的圖像數(shù)據(jù)是利用CamO和Cam2的圖像數(shù)據(jù)作為參考畫面的圖像數(shù)據(jù)編碼的從屬視圖的圖像數(shù)據(jù)。此外，當(dāng)編碼從屬視圖的圖像數(shù)據(jù)時所涉及的圖像數(shù)據(jù)被稱為基本視圖的圖像數(shù)據(jù)。另夕卜，Caml的圖像數(shù)據(jù)中的B畫面把在前向預(yù)測中所涉及的Caml的P畫面和在視差預(yù)測中所涉及的CamO的Bs畫面之一設(shè)定為LO預(yù)測(ListJ))中的參考畫面，如點(diǎn)劃線箭頭所示。另外，所述B畫面把在后向預(yù)測中所涉及的Caml的P畫面和在視差預(yù)測中所涉及的Cam2的Bs畫面之一設(shè)定為Ll預(yù)測(List_l)中的參考畫面，如虛線箭頭所示。LIST_X(X為0或1)中可用的兩個畫面是用參考索引ref_idx的編號管理的，并被賦予0以上的值。另外，參考索引ref_idx是變長編碼的，包括在編碼之后的圖像數(shù)據(jù)中。順便提及，圖1圖解說明參考索引ref_idx = 0被分配給時間預(yù)測用參考畫面，參考索引refjdx = 1被分配給視差預(yù)測用參考畫面。另外，參考索引ref_idx的變長編碼使參考索引ref_idx = 0的代碼長度短于參考索引ref_idx = 1的代碼長度。這種參考索引的分配通常在整個序列內(nèi)是固定的。從而，在作為從屬視圖的Caml 的圖像數(shù)據(jù)的編碼中，當(dāng)頻繁使用代碼長度較長的參考索引的參考畫面時，參考索引的信息量增大，從而不能獲得高的編碼效率。從而，理想的是提供一種能夠提高多視點(diǎn)圖像的編碼中的編碼效率的圖像處理設(shè)備和圖像處理方法。按照本發(fā)明的第一實(shí)施例，提供一種圖像處理設(shè)備，包括用于生成特征量的特征量生成部分，所述特征量用作判定利用時間方向的圖像之間的相關(guān)性的時間預(yù)測，和利用不同視點(diǎn)的圖像之間的相關(guān)性的視差預(yù)測中的哪一個在圖像編碼中占優(yōu)勢的判定標(biāo)準(zhǔn)；和參考索引分配部分，所述參考索引分配部分根據(jù)特征量生成部分生成的特征量，向在預(yù)測中使用的參考畫面分配參考索引。在這種技術(shù)中，用通過預(yù)測獲得的信息，或者例如運(yùn)動向量和視差向量，或編碼對象塊和參考塊之間的誤差，生成用作判定利用時間方向的圖像之間的相關(guān)性的時間預(yù)測， 和利用不同視點(diǎn)的圖像之間的相關(guān)性的視差預(yù)測中的哪一個在圖像編碼中占優(yōu)勢的判定標(biāo)準(zhǔn)的特征量。根據(jù)特征量，在占優(yōu)勢的預(yù)測中使用的參考畫面被分配代碼長度比分配給在另一種預(yù)測中使用的參考畫面的參考索引短的參考索引。另外，進(jìn)行圖像切換位置的檢測，例如，場景變化的檢測，或者從多視點(diǎn)圖像到另一個圖像的圖像切換的檢測。當(dāng)檢測到場景變化時，或者檢測到從多視點(diǎn)圖像到另一個圖像的切換時，在視差預(yù)測中使用的參考畫面被分配代碼長度比分配給在時間預(yù)測中使用的參考畫面的參考索引短的參考索引。此外，如果在LO預(yù)測和Ll預(yù)測的每個中，用于時間預(yù)測和視差預(yù)測的參考畫面都被分配參考索引，那么在時間預(yù)測和視差預(yù)測每個之中分配相同的參考索引。按照本發(fā)明的第二實(shí)施例，提供一種圖像處理方法，包括生成特征量，所述特征量用作判定利用時間方向的圖像之間的相關(guān)性的時間預(yù)測，和利用不同視點(diǎn)的圖像之間的相關(guān)性的視差預(yù)測中的哪一個在圖像編碼中占優(yōu)勢的判定標(biāo)準(zhǔn)；和根據(jù)生成的特征量，向在預(yù)測中使用的參考畫面分配參考索引。按照本發(fā)明，生成用作判定利用時間方向的圖像之間的相關(guān)性的時間預(yù)測，和利用不同視點(diǎn)的圖像之間的相關(guān)性的視差預(yù)測中的哪一個在圖像編碼中占優(yōu)勢的判定標(biāo)準(zhǔn)的特征量，根據(jù)特征量，向在預(yù)測中使用的參考畫面分配參考索引。例如，在占優(yōu)勢的預(yù)測中使用的參考畫面被分配代碼長度比分配給在另一種預(yù)測中使用的參考畫面的參考索引短的參考索引。從而，能夠減少參考索引的代碼量，能夠提高多視點(diǎn)圖像的編碼中的編碼效率。


圖1是表示當(dāng)編碼三視點(diǎn)的運(yùn)動圖像數(shù)據(jù)時的預(yù)測參考關(guān)系的示圖
圖2是表示編碼系統(tǒng)的結(jié)構(gòu)例子的示圖3是表示第一實(shí)施例的結(jié)構(gòu)的示圖4是表示第一實(shí)施例的操作的流程圖5是表示第二實(shí)施例的結(jié)構(gòu)的示圖6是圖解說明使用復(fù)雜度作為特征量的情況的示圖7是表示第二實(shí)施例的操作的流程圖8是表示第三實(shí)施例的結(jié)構(gòu)的示圖9是表示第三實(shí)施例的操作的流程圖10是表示第四實(shí)施例的結(jié)構(gòu)的示圖11是表示第四實(shí)施例的操作的流程圖12是圖解說明計(jì)算機(jī)設(shè)備的結(jié)構(gòu)的示圖。
具體實(shí)施例方式下面說明本發(fā)明的優(yōu)選實(shí)施例。順便提及，將按照下述順序進(jìn)行說明。1.編碼系統(tǒng)的結(jié)構(gòu)的例子2.第一實(shí)施例(在預(yù)處理中生成特征量的情況)3.第二實(shí)施例(使用反饋信息作為特征量的情況)4.第三實(shí)施例(使用場景變化檢測結(jié)果作為特征量的情況)5.第四實(shí)施例(使用2D圖像檢測結(jié)果作為特征量的情況)6.第五實(shí)施例(考慮雙向預(yù)測的情況)7.在用軟件處理進(jìn)行圖像編碼的情況下的結(jié)構(gòu)<1.編碼系統(tǒng)的結(jié)構(gòu)的例子〉圖2是表示應(yīng)用本發(fā)明的編碼系統(tǒng)的結(jié)構(gòu)的例子的示圖。編碼系統(tǒng)10具有左視點(diǎn)圖像生成設(shè)備11L，右視點(diǎn)圖像生成設(shè)備11R，中央視點(diǎn)圖像生成設(shè)備11C，和多視點(diǎn)編碼設(shè)備20。左視點(diǎn)圖像生成設(shè)備IlL是生成左視點(diǎn)圖像的圖像數(shù)據(jù)的成像設(shè)備或圖像數(shù)據(jù)生成設(shè)備。右視點(diǎn)圖像生成設(shè)備IlR是生成右視點(diǎn)圖像的圖像數(shù)據(jù)的成像設(shè)備或圖像數(shù)據(jù)生成設(shè)備。中央視點(diǎn)圖像生成設(shè)備IlC是生成中央視點(diǎn)圖像的圖像數(shù)據(jù)的成像設(shè)備或圖像數(shù)據(jù)生成設(shè)備。左視點(diǎn)圖像生成設(shè)備11L，右視點(diǎn)圖像生成設(shè)備IlR和中央視點(diǎn)圖像生成設(shè)備IlC彼此同步工作。多視點(diǎn)編碼設(shè)備20被供給左視點(diǎn)圖像生成設(shè)備IlL生成的左視點(diǎn)圖像的圖像數(shù)據(jù)，右視點(diǎn)圖像生成設(shè)備IlR生成的右視點(diǎn)圖像的圖像數(shù)據(jù)，和中央視點(diǎn)圖像生成設(shè)備IlC 生成的中央視點(diǎn)圖像的圖像數(shù)據(jù)。多視點(diǎn)編碼設(shè)備20對左視點(diǎn)圖像的圖像數(shù)據(jù)，右視點(diǎn)圖像的圖像數(shù)據(jù)和中央視點(diǎn)圖像的圖像數(shù)據(jù)編碼，多路復(fù)用作為結(jié)果的編碼數(shù)據(jù)，并以一個比特流的形式輸出多路復(fù)用數(shù)據(jù)。多視點(diǎn)編碼設(shè)備20具有對作為基本視圖的圖像數(shù)據(jù)，從左視點(diǎn)圖像生成設(shè)備IlL 輸入的左視點(diǎn)圖像的圖像數(shù)據(jù)編碼的圖像處理設(shè)備。另外，多視點(diǎn)編碼設(shè)備20具有對作為基本視圖的圖像數(shù)據(jù)，從右視點(diǎn)圖像生成設(shè)備IlR輸入的右視點(diǎn)圖像的圖像數(shù)據(jù)編碼的圖像處理設(shè)備。此外，多視點(diǎn)編碼設(shè)備20具有按照本發(fā)明的對作為從屬視圖的圖像數(shù)據(jù)，從中央視點(diǎn)圖像生成設(shè)備IlC輸入的中央視點(diǎn)圖像的圖像數(shù)據(jù)編碼的圖像處理設(shè)備。順便提及，對基本視圖的圖像數(shù)據(jù)進(jìn)行時間預(yù)測，而不利用另一個視點(diǎn)的圖像作為參考畫面，對從屬視圖的圖像數(shù)據(jù)進(jìn)行時間預(yù)測和利用基本視圖的圖像作為參考畫面的視差預(yù)測。<2.第一實(shí)施例>下面說明按照本發(fā)明的圖像處理設(shè)備。順便提及，在本實(shí)施例和后面說明的其它實(shí)施例中，將說明每個視點(diǎn)的圖像數(shù)據(jù)獨(dú)立，對從屬視圖的圖像數(shù)據(jù)編碼的圖像處理設(shè)備從對基本視圖的圖像數(shù)據(jù)編碼的圖像處理設(shè)備獲得用于視差預(yù)測等的參考畫面的圖像數(shù)據(jù)的情況。在第一實(shí)施例中，當(dāng)編碼從屬視圖的圖像數(shù)據(jù)時，生成特征量，所述特征量被用作判定利用時間方向的圖像之間的相關(guān)性的時間預(yù)測，和利用不同視點(diǎn)的圖像之間的相關(guān)性的視差預(yù)測中的哪一個在圖像內(nèi)占優(yōu)勢的判定標(biāo)準(zhǔn)。此外，參考索引的分配是根據(jù)生成的特征量確定的。另外，第一實(shí)施例舉例說明通過對編碼對象畫面進(jìn)行預(yù)處理，生成特征量的情況。[第一實(shí)施例的結(jié)構(gòu)]圖3表示第一實(shí)施例的結(jié)構(gòu)。圖像編碼設(shè)備20dv_l是對從屬視圖的圖像數(shù)據(jù)編碼的圖像處理設(shè)備。圖像編碼設(shè)備20dv-l包括模數(shù)轉(zhuǎn)換部分(A/D轉(zhuǎn)換部分)21，畫面重排緩沖器22，減法部分23，正交變換部分M，量化部分25，可逆編碼部分沈，存儲緩沖器27，和速率控制部分觀。圖像編碼設(shè)備20dv-l還包括逆量化部分31，逆正交變換部分32，加法部分33，去塊濾波器34和幀存儲器35。圖像編碼設(shè)備20dv-l還包括特征量生成部分41_1， 參考索引分配部分45-1，幀內(nèi)預(yù)測部分51，運(yùn)動和視差預(yù)測補(bǔ)償部分52，及預(yù)測圖像和最佳模式選擇部分53。A/D轉(zhuǎn)換部分21把模擬圖像信號轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)，并把數(shù)字圖像數(shù)據(jù)輸出給畫面重排緩沖器22。畫面重排緩沖器22重排從A/D轉(zhuǎn)換部分21輸出的各幀圖像數(shù)據(jù)。畫面重排緩沖器22按照編碼處理中涉及的GOP (畫面組)結(jié)構(gòu)，重排各幀，并把重排后的圖像數(shù)據(jù)輸出給減法部分23，特征量生成部分41-1，幀內(nèi)預(yù)測部分51，及運(yùn)動和視差預(yù)測補(bǔ)償部分52。減法部分23被供給從畫面重排緩沖器22輸出的圖像數(shù)據(jù)，和由后面說明的預(yù)測圖像和最佳模式選擇部分53選擇的預(yù)測圖像數(shù)據(jù)。減法部分23計(jì)算指示從畫面重排緩沖器22輸出的圖像數(shù)據(jù)，與從預(yù)測圖像和最佳模式選擇部分53供給的預(yù)測圖像數(shù)據(jù)之間的差的預(yù)測誤差數(shù)據(jù)。減法部分23把預(yù)測誤差數(shù)據(jù)輸出給正交變換部分M。正交變換部分M對從減法部分23輸出的預(yù)測誤差數(shù)據(jù)進(jìn)行正交變換處理，比如離散余弦變換(DCT) ,Karhunen-Loeve變換等等。正交變換部分M把通過進(jìn)行正交變換處理而獲得的變換系數(shù)數(shù)據(jù)輸出給量化部分25。量化部分25被供給從正交變換部分M輸出的變換系數(shù)數(shù)據(jù)，和來自后面說明的速率控制部分觀的速率控制信號。量化部分25量化變換系數(shù)數(shù)據(jù)，并把量化數(shù)據(jù)輸出給可逆編碼部分26和逆量化部分31。另外，量化部分25根據(jù)來自速率控制部分觀的速率控制信號，改變量化參數(shù)(量化位階)，從而改變量化數(shù)據(jù)的比特率?？赡婢幋a部分沈被供給從量化部分25輸出的量化數(shù)據(jù)，和來自后面說明的幀內(nèi)預(yù)測部分51，運(yùn)動和視差預(yù)測補(bǔ)償部分52，及預(yù)測圖像和最佳模式選擇部分53的預(yù)測模式信息。順便提及，預(yù)測模式信息包括指示編碼對象塊的塊大小的宏塊類型，預(yù)測模式，參考索引等等?？赡婢幋a部分26利用變長編碼或算術(shù)編碼，對量化數(shù)據(jù)進(jìn)行編碼處理，從而生成編碼流，并把編碼流輸出給存儲緩沖器27。另外，可逆編碼部分沈可逆地編碼預(yù)測模式信息，并把編碼的預(yù)測模式信息添加到例如編碼流的報(bào)頭信息中。存儲緩沖器27保存來自可逆編碼部分沈的編碼流。另外，存儲緩沖器27以對應(yīng)于傳輸線路的傳輸速度輸出保存的編碼流。速率控制部分觀監(jiān)視存儲緩沖器27的自由空間，按照自由空間生成速率控制信號，并把速率控制信號輸出給量化部分25。例如，速率控制部分觀從存儲緩沖器27獲得指示自由空間的信息。當(dāng)自由空間減少時，速率控制部分觀根據(jù)速率控制信號，使量化數(shù)據(jù)的比特率降低。當(dāng)存儲緩沖器27具有足夠大的自由空間時，速率控制部分觀根據(jù)速率控制信號，使量化數(shù)據(jù)的比特率升高。逆量化部分31對從量化部分25供給的量化數(shù)據(jù)進(jìn)行逆量化處理。逆量化部分31 把通過進(jìn)行逆量化處理而獲得的變換系數(shù)數(shù)據(jù)輸出給逆正交變換部分32。逆正交變換部分32把通過對從逆量化部分31供給的變換系數(shù)數(shù)據(jù)進(jìn)行逆正交變換處理而獲得的數(shù)據(jù)輸出給加法部分33。加法部分33通過相加從逆正交變換部分32供給的數(shù)據(jù)，和從預(yù)測圖像和最佳模式選擇部分53供給的預(yù)測圖像數(shù)據(jù)，生成參考畫面的圖像數(shù)據(jù)。加法部分33把圖像數(shù)據(jù)輸出給去塊濾波器34和幀內(nèi)預(yù)測部分51。去塊濾波器34進(jìn)行濾波處理，以減少在圖像編碼時發(fā)生的塊失真。去塊濾波器34 進(jìn)行濾波處理，以從供給自加法部分33的圖像數(shù)據(jù)中消除塊失真。去塊濾波器34把濾波處理后的圖像數(shù)據(jù)輸出給幀存儲器35。幀存儲器35保持從去塊濾波器34供給的濾波處理之后的圖像數(shù)據(jù)，和從進(jìn)行基本視圖的編碼的圖像編碼設(shè)備20bv供給的參考畫面的圖像數(shù)據(jù)。特征量生成部分41-1生成特征量。特征量是用作判定利用時間方向的圖像之間的相關(guān)性的時間預(yù)測，和利用不同視點(diǎn)的圖像之間的相關(guān)性的視差預(yù)測中的哪一個在圖像內(nèi)占優(yōu)勢，即，在編碼從屬視圖的圖像數(shù)據(jù)時，更頻繁進(jìn)行所述時間預(yù)測和視差預(yù)測中的哪一個的判定標(biāo)準(zhǔn)的信息。特征量生成部分41-1用通過進(jìn)行時間預(yù)測和視差預(yù)測而獲得的信息生成特征量。特征量生成部分41-1利用參考畫面，檢測每個編碼對象塊的運(yùn)動向量和視差向量，并把檢出向量的長度的圖像內(nèi)平均值或方差設(shè)定為特征量。例如，特征量生成部分41-1 把從畫面重排緩沖器22輸出的圖像數(shù)據(jù)中，在時間方向上不同于編碼對象畫面的圖像的圖像數(shù)據(jù)設(shè)定為將用在時間預(yù)測中的參考畫面的圖像數(shù)據(jù)。特征量生成部分41-1通過利用時間預(yù)測用參考畫面，檢測每個編碼塊的運(yùn)動向量，并把所檢出運(yùn)動向量的長度的圖像內(nèi)平均值或方差設(shè)定為特征量。另外，特征量生成部分41-1把從圖像編碼設(shè)備20dv供給的另一個視點(diǎn)的圖像數(shù)據(jù)設(shè)定為將用在視差預(yù)測中的參考畫面的圖像數(shù)據(jù)。特征量生成部分41-1通過利用視差預(yù)測用參考畫面，檢測每個編碼對象塊的視差向量，并把所檢出視差向量的長度的圖像內(nèi)平均值或方差設(shè)定為特征量。特征量生成部分41-1還可把當(dāng)檢測運(yùn)動向量或視差向量時，編碼對象畫面的塊 (編碼對象塊)和參考畫面的塊(參考塊)之間的誤差的圖像內(nèi)合計(jì)值(例如SAD 絕對差值和)或者平均值設(shè)定為特征量。例如，特征量生成部分41-1通過把從畫面重排緩沖器22 輸出的圖像數(shù)據(jù)用作將用在時間預(yù)測中的參考畫面的圖像數(shù)據(jù)，檢測每個編碼對象塊的運(yùn)動向量。特征量生成部分41-1把當(dāng)檢測運(yùn)動向量時，編碼對象塊和參考塊之間的誤差的圖像內(nèi)合計(jì)值或平均值設(shè)定為特征量。另外，特征量生成部分41-1利用從圖像編碼設(shè)備20dv 供給的另一個視點(diǎn)的圖像數(shù)據(jù)，檢測每個編碼對象塊的視差向量。特征量生成部分41-1把當(dāng)檢測視差向量時，編碼對象塊和參考塊之間的誤差的圖像內(nèi)合計(jì)值或平均值設(shè)定為特征量。特征量生成部分41-1從而生成特征量，并把生成的特征量輸出給參考索引分配部分45-1。根據(jù)在特征量生成部分41-1中生成的特征量，參考索引分配部分45-1向保存在幀存儲器35中的參考畫面分配參考索引。根據(jù)特征量，參考索引分配部分45-1向在占優(yōu)勢的預(yù)測中使用的參考畫面，分配代碼長度比分配給在另一種預(yù)測中使用的參考畫面的參考索引短的參考索引。當(dāng)生成向量(運(yùn)動向量和視差向量)的圖像內(nèi)平均值作為特征量時，參考索引分配部分45-1比較當(dāng)使用時間預(yù)測用參考畫面時的平均值，和當(dāng)使用視差預(yù)測用參考畫面時的平均值。參考索引分配部分45-1向平均值較小的參考畫面分配代碼長度較短的參考索引。另外，當(dāng)生成向量的圖像內(nèi)方差作為特征量時，參考索引分配部分45-1比較當(dāng)使用時間預(yù)測用參考畫面時的方差，和當(dāng)使用視差預(yù)測用參考畫面時的方差。參考索引分配部分45-1向方差較小的參考畫面分配代碼長度較短的參考索引。此外，當(dāng)生成參考塊和編碼對象畫面的每個塊之間的誤差作為特征量時，參考索引分配部分45-1比較當(dāng)使用時間預(yù)測用參考畫面時的誤差，和當(dāng)使用視差預(yù)測用參考畫面時的誤差。參考索引分配部分45-1 向誤差較小的參考畫面分配代碼長度較短的參考索引。幀內(nèi)預(yù)測部分51利用從畫面重排緩沖器22輸出的編碼對象畫面的圖像數(shù)據(jù)，和從加法部分33供給的圖像數(shù)據(jù)，按作為候選者的所有幀內(nèi)預(yù)測模式進(jìn)行幀內(nèi)預(yù)測處理。此外，幀內(nèi)預(yù)測部分51計(jì)算每種幀內(nèi)預(yù)測模式的成本函數(shù)值，并選擇計(jì)算的成本函數(shù)值最小的幀內(nèi)預(yù)測模式，即，獲得最佳的編碼效率的幀內(nèi)預(yù)測模式，作為最佳幀內(nèi)預(yù)測模式。幀內(nèi)預(yù)測部分51把用最佳幀內(nèi)預(yù)測模式生成的預(yù)測圖像數(shù)據(jù)，關(guān)于最佳幀內(nèi)預(yù)測模式的預(yù)測模式信息，和最佳幀內(nèi)預(yù)測模式下的成本函數(shù)值輸出給預(yù)測圖像和最佳模式選擇部分53。 另外，為了獲得在成本函數(shù)值的計(jì)算中使用的生成代碼量，在按每種幀內(nèi)預(yù)測模式的幀內(nèi)預(yù)測處理中，幀內(nèi)預(yù)測部分51把關(guān)于幀內(nèi)預(yù)測模式的預(yù)測模式信息輸出給可逆編碼部分 26。順便提及，在成本函數(shù)值的生成方面，可以列舉用稱為JM(聯(lián)合模型)的HJ64/AVC參考軟件實(shí)現(xiàn)的方法。運(yùn)動和視差預(yù)測補(bǔ)償部分52對編碼對象塊的每個塊大小，進(jìn)行運(yùn)動和視差預(yù)測補(bǔ)償處理。對于從畫面重排緩沖器22讀出的圖像中的每個編碼對象塊的每個圖像，運(yùn)動和視差預(yù)測補(bǔ)償部分52利用從幀存儲器35讀取的去塊濾波處理之后的圖像數(shù)據(jù)，檢測運(yùn)動向量，并利用基本視圖的圖像數(shù)據(jù)，檢測視差向量。此外，運(yùn)動和視差預(yù)測補(bǔ)償部分52根據(jù)檢出的向量，進(jìn)行參考畫面補(bǔ)償處理，從而生成預(yù)測圖像。另外，運(yùn)動和視差預(yù)測補(bǔ)償部分52生成編碼對象塊的每個塊大小和每個參考畫面的成本函數(shù)值，并選擇使成本函數(shù)值最小的塊大小和參考畫面作為最佳幀間預(yù)測模式。 運(yùn)動和視差預(yù)測補(bǔ)償部分52把按最佳幀間預(yù)測模式生成的預(yù)測圖像數(shù)據(jù)，關(guān)于最佳幀間預(yù)測模式的預(yù)測模式信息，和最佳幀間預(yù)測模式下的成本函數(shù)值輸出給預(yù)測圖像和最佳模式選擇部分53。另外，為了獲得在成本函數(shù)值的生成中使用的生成代碼量，在每個塊大小的幀間預(yù)測處理中，運(yùn)動和視差預(yù)測補(bǔ)償部分52把關(guān)于幀間預(yù)測模式的預(yù)測模式信息輸出給可逆編碼部分26。預(yù)測圖像和最佳模式選擇部分53比較從幀內(nèi)預(yù)測部分51供給的成本函數(shù)值，和從運(yùn)動和視差預(yù)測補(bǔ)償部分52供給的成本函數(shù)值，并選擇較小的成本函數(shù)值作為其中獲得最佳編碼效率的最佳模式。另外，預(yù)測圖像和最佳模式選擇部分53把按最佳模式生成的預(yù)測圖像數(shù)據(jù)輸出給減法部分23和加法部分33。此外，預(yù)測圖像和最佳模式選擇部分53 把最佳模式的預(yù)測模式信息(宏塊類型，預(yù)測模式，參考索引等等)輸出給可逆編碼部分 26。順序提及，預(yù)測圖像和最佳模式選擇部分53以畫面為單位，或者以切片為單位進(jìn)行幀內(nèi)預(yù)測或幀間預(yù)測。順便提及，當(dāng)其中以幀為單位切換不同視點(diǎn)的圖像的幀連續(xù)-AVC系統(tǒng)的圖像數(shù)據(jù)被編碼時，特征量生成部分41-1利用其圖像數(shù)據(jù)提取自輸入圖像數(shù)據(jù)的另一個視點(diǎn)的圖像數(shù)據(jù)，生成特征量。另外，其圖像數(shù)據(jù)提取自輸入圖像數(shù)據(jù)的其他視點(diǎn)的圖像數(shù)據(jù)， 或者通過對其他視點(diǎn)的圖像數(shù)據(jù)編碼而生成的參考畫面的圖像數(shù)據(jù)被保存在幀存儲器35 中。通過進(jìn)行這樣的處理，也可編碼FS(幀連續(xù))系統(tǒng)的圖像數(shù)據(jù)。[第一實(shí)施例的操作]圖4是表示第一實(shí)施例的操作的流程圖。在步驟ST1，圖像編碼設(shè)備20dv_l判定編碼對象畫面是否是從屬視圖的畫面。當(dāng)編碼對象畫面是從屬視圖的畫面時，圖像編碼設(shè)備20dv-l進(jìn)入步驟ST2，當(dāng)編碼對象畫面是基本視圖的畫面時，圖像編碼設(shè)備20dv-l進(jìn)入步驟STll。在步驟ST2，圖像編碼設(shè)備20dv_l判定編碼對象畫面是否涉及視差或時間的多個平面。當(dāng)編碼對象畫面涉及視差和/或時間的多個平面時，圖像編碼設(shè)備20dv-l進(jìn)入步驟 ST6。當(dāng)編碼對象畫面只涉及一個參考畫面時，圖像編碼設(shè)備20dv-l進(jìn)入步驟ST11。在步驟ST6，圖像編碼設(shè)備20dv_l生成特征量。圖像編碼設(shè)備20dv_l中的特征量生成部分41-1生成利用不同視點(diǎn)的參考畫面，對于每個塊檢測的視差向量的圖像內(nèi)平均值，和利用時間方向的參考畫面，對于每個塊檢測的運(yùn)動向量的圖像內(nèi)平均值，并把這些平均值設(shè)定為特征量。另外，特征量生成部分41-1可把圖像內(nèi)的向量的方差設(shè)定為特征量。 此外，特征量生成部分41-1可對每個塊進(jìn)行時間預(yù)測和視差預(yù)測，并生成編碼對象塊和參考塊之間的誤差的圖像內(nèi)合計(jì)值或平均值，作為特征量。特征量生成部分41-1如此生成特征量，隨后進(jìn)入步驟ST7。在步驟ST7，圖像編碼設(shè)備20dv_l確定參考索引分配方法。圖像編碼設(shè)備20dv_l 中的參考索引分配部分45-1根據(jù)在步驟ST6中生成的特征量，確定參考索引分配方法，隨后進(jìn)入步驟ST8。參考索引分配部分45-1確定分配方法，以致向當(dāng)計(jì)算平均值較小或者方差較小的向量時使用的參考畫面分配代碼長度較短的參考索引。另外，參考索引分配部分 45-1確定分配方法，以致向在時間預(yù)測和視差預(yù)測之中的誤差較小者中使用的參考畫面分配代碼長度較短的參考索引。在步驟ST8，圖像編碼設(shè)備20dv_l判定是否需要改變分配方法。當(dāng)在步驟ST7中確定的分配方法不同于當(dāng)前分配方法時，圖像編碼設(shè)備20dv-l進(jìn)入步驟ST9。當(dāng)在步驟ST7 中確定的分配方法和當(dāng)前分配方法相同時，圖像編碼設(shè)備20dv-l進(jìn)入步驟ST10。在步驟ST9，圖像編碼設(shè)備20dv_l發(fā)出RPLR(參考畫面列表重排序)命令。圖像編碼設(shè)備20dv-l中的參考索引分配部分45-1發(fā)出RPLR命令，以致即使當(dāng)參考索引的分配被改變時，圖像解碼設(shè)備也能夠根據(jù)參考索引，使用正確的參考畫面。具體地說，參考索引分配部分45-1把RPLR作為語法元素提供給可逆編碼部分沈，以把RPLR包括在例如圖像數(shù)據(jù)的編碼流的報(bào)頭中，隨后進(jìn)入步驟ST10。在步驟ST10，圖像編碼設(shè)備20dv_l執(zhí)行對編碼對象畫面編碼的處理。另外，在編碼處理中，參考索引分配部分45-1用在步驟ST7中確定的關(guān)于后續(xù)畫面的分配方法，設(shè)定參考索引。在步驟ST11，圖像編碼設(shè)備20dv_l用預(yù)先設(shè)定的分配方法分配參考索引，并在編碼對象畫面是基本視圖的畫面時，和當(dāng)編碼對象畫面涉及一個參考畫面時，進(jìn)行編碼處理。 例如，如圖1中所示，參考索引ref_idx = 0被分配給時間預(yù)測用參考畫面，參考索引ref_ idx= 1被分配給視差預(yù)測用參考畫面。另外，當(dāng)編碼對象畫面是基本視圖的畫面時，在整個序列內(nèi)，參考索引分配是固定的。對每個編碼畫面重復(fù)這樣的處理。按照第一實(shí)施例，當(dāng)在對于從屬視圖的編碼處理中，進(jìn)行時間預(yù)測或視差預(yù)測時， 能夠向在頻繁執(zhí)行的預(yù)測方式中使用的參考畫面分配代碼長度較短的參考索引。于是能夠提高從屬視圖的編碼效率。<3.第二實(shí)施例>在第一實(shí)施例中，說明了利用對編碼對象畫面的預(yù)處理，生成特征量的情況。在第二實(shí)施例中，將說明把在預(yù)測圖像的生成過程中生成的信息用作特征量來分配參考索引的情況。[第二實(shí)施例的結(jié)構(gòu)]圖5表示第二實(shí)施例的結(jié)構(gòu)。順便提及，與按照第一實(shí)施例的圖像編碼設(shè)備 20dv-l對應(yīng)的部分用相同的附圖標(biāo)記識別。圖像編碼設(shè)備20dv_2是對從屬視圖的圖像數(shù)據(jù)編碼的圖像處理設(shè)備。圖像編碼設(shè)備20dv-2包括模數(shù)轉(zhuǎn)換部分(A/D轉(zhuǎn)換部分)21，畫面重排緩沖器22a，減法部分23，正交變換部分24，量化部分25，可逆編碼部分沈，存儲緩沖器27，和速率控制部分觀。圖像編碼設(shè)備20dv-2還包括逆量化部分31，逆正交變換部分32，加法部分33，去塊濾波器34和幀存儲器35。圖像編碼設(shè)備20dv-2還包括特征量生成部分41-2，參考索引分配部分45_2，幀內(nèi)預(yù)測部分51，運(yùn)動和視差預(yù)測補(bǔ)償部分52a，及預(yù)測圖像和最佳模式選擇部分53。A/D轉(zhuǎn)換部分21把模擬圖像信號轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)，并把數(shù)字圖像數(shù)據(jù)輸出給畫面重排緩沖器22a。畫面重排緩沖器2 重排從A/D轉(zhuǎn)換部分21輸出的各幀圖像數(shù)據(jù)。畫面重排緩沖器2 按照編碼處理中涉及的G0P(畫面組)結(jié)構(gòu)，重排各幀，并把重排后的圖像數(shù)據(jù)輸出給減法部分23，幀內(nèi)預(yù)測部分51，及運(yùn)動和視差預(yù)測補(bǔ)償部分52a。減法部分23被供給從畫面重排緩沖器2 輸出的圖像數(shù)據(jù)，和由后面說明的預(yù)測圖像和最佳模式選擇部分53選擇的預(yù)測圖像數(shù)據(jù)。減法部分23計(jì)算指示從畫面重排緩沖器2 輸出的圖像數(shù)據(jù)，與從預(yù)測圖像和最佳模式選擇部分53供給的預(yù)測圖像數(shù)據(jù)之間的差的預(yù)測誤差數(shù)據(jù)。減法部分23把預(yù)測誤差數(shù)據(jù)輸出給正交變換部分M。正交變換部分M對從減法部分23輸出的預(yù)測誤差數(shù)據(jù)進(jìn)行正交變換處理，比如離散余弦變換(DCT) ,Karhunen-Loeve變換等等。正交變換部分M把通過進(jìn)行正交變換處理而獲得的變換系數(shù)數(shù)據(jù)輸出給量化部分25。量化部分25被供給從正交變換部分M輸出的變換系數(shù)數(shù)據(jù)，和來自后面說明的速率控制部分觀的速率控制信號。量化部分25量化變換系數(shù)數(shù)據(jù)，并把量化數(shù)據(jù)輸出給可逆編碼部分26和逆量化部分31。另外，量化部分25根據(jù)來自速率控制部分觀的速率控制信號，改變量化參數(shù)(量化位階)，從而改變量化數(shù)據(jù)的比特率?？赡婢幋a部分沈被供給從量化部分25輸出的量化數(shù)據(jù)，和來自后面說明的幀內(nèi)預(yù)測部分51，運(yùn)動和視差預(yù)測補(bǔ)償部分52a，及預(yù)測圖像和最佳模式選擇部分53的預(yù)測模式信息。順便提及，預(yù)測模式信息包括指示編碼對象塊的塊大小的宏塊類型，預(yù)測模式，參考索引等等?？赡婢幋a部分26利用變長編碼或算術(shù)編碼，對量化數(shù)據(jù)進(jìn)行編碼處理，從而生成編碼流，并把編碼流輸出給存儲緩沖器27。另外，可逆編碼部分沈可逆地編碼預(yù)測模式信息，并把編碼的預(yù)測模式信息添加到例如編碼流的報(bào)頭信息中。存儲緩沖器27保存來自可逆編碼部分沈的編碼流。另外，存儲緩沖器27以對應(yīng)于傳輸線路的傳輸速度輸出保存的編碼流。速率控制部分觀監(jiān)視存儲緩沖器27的自由空間，按照自由空間生成速率控制信號，并向量化部分25輸出速率控制信號。例如，速率控制部分觀從存儲緩沖器27獲得指示自由空間的信息。當(dāng)自由空間減少時，速率控制部分觀根據(jù)速率控制信號，使量化數(shù)據(jù)的比特率降低。當(dāng)存儲緩沖器27具有足夠大的自由空間時，速率控制部分觀根據(jù)速率控制信號，使量化數(shù)據(jù)的比特率升高。逆量化部分31對從量化部分25供給的量化數(shù)據(jù)進(jìn)行逆量化處理。逆量化部分31 把通過進(jìn)行逆量化處理而獲得的變換系數(shù)數(shù)據(jù)輸出給逆正交變換部分32。逆正交變換部分32把通過對從逆量化部分31供給的變換系數(shù)數(shù)據(jù)進(jìn)行逆正交變換處理而獲得的數(shù)據(jù)輸出給加法部分33。加法部分33通過相加從逆正交變換部分32供給的數(shù)據(jù)，和從預(yù)測圖像和最佳模式選擇部分53供給的預(yù)測圖像數(shù)據(jù)，生成參考畫面的圖像數(shù)據(jù)。加法部分33把圖像數(shù)據(jù)輸出給去塊濾波器34和幀內(nèi)預(yù)測部分51。去塊濾波器34進(jìn)行濾波處理，以減少在圖像編碼時發(fā)生的塊失真。去塊濾波器34 進(jìn)行濾波處理，以從供給自加法部分33的圖像數(shù)據(jù)中消除塊失真。去塊濾波器34把濾波處理后的圖像數(shù)據(jù)輸出給幀存儲器35。幀存儲器35保持從去塊濾波器34供給的濾波處理之后的圖像數(shù)據(jù)，和從進(jìn)行基本視圖的編碼的圖像編碼設(shè)備20bv供給的參考畫面的圖像數(shù)據(jù)。特征量生成部分41-2生成特征量。特征量是用作判定利用時間方向的圖像之間的相關(guān)性的時間預(yù)測，和利用不同視點(diǎn)的圖像之間的相關(guān)性的視差預(yù)測中的哪一個在圖像內(nèi)占優(yōu)勢，即，在編碼從屬視圖的圖像數(shù)據(jù)時，更頻繁進(jìn)行所述時間預(yù)測和視差預(yù)測中的哪一個的判定標(biāo)準(zhǔn)的信息。特征量生成部分41-2用通過進(jìn)行運(yùn)動和視差預(yù)測補(bǔ)償而獲得的信息生成特征量。特征量生成部分41-2把用運(yùn)動和視差預(yù)測檢測的運(yùn)動向量和視差向量的長度的圖像內(nèi)平均值或方差，和/或當(dāng)檢測運(yùn)動向量(視差向量)時，編碼對象塊和參考塊之間的誤差的圖像內(nèi)合計(jì)值或平均值設(shè)定為特征量。另外，特征量生成部分41-2可把成本函數(shù)值，圖像復(fù)雜度，指示編碼畫面中的參考索引的比例的統(tǒng)計(jì)量等之一設(shè)定為特征量。當(dāng)向量的長度的圖像內(nèi)平均值或方差被用作特征量時，特征量生成部分41-2利用為在運(yùn)動和視差預(yù)測補(bǔ)償部分52a中進(jìn)行時間預(yù)測而檢測的每個塊的運(yùn)動向量，計(jì)算所述平均值或方差。另外，特征量生成部分41-2利用為在運(yùn)動和視差預(yù)測補(bǔ)償部分52a中進(jìn)行視差預(yù)測而檢測的每個塊的視差向量，計(jì)算圖像內(nèi)的視差向量的長度的平均值或方差， 并把所述平均值或方差設(shè)定為特征量。順便提及，對于每個宏塊或預(yù)測模式的每個塊大小檢測的運(yùn)動向量(視差向量)被用作運(yùn)動向量(視差向量)。當(dāng)編碼對象塊和參考塊之間的誤差被用作特征量時，特征量生成部分41-2使用當(dāng)在運(yùn)動和視差預(yù)測補(bǔ)償部分52a中，用利用時間預(yù)測用參考畫面的運(yùn)動檢測，檢測運(yùn)動向量時，編碼對象塊和參考塊之間的誤差。另外，特征量生成部分41-2把當(dāng)在運(yùn)動和視差預(yù)測補(bǔ)償部分52a中，利用視差預(yù)測用參考畫面檢測視差向量時，編碼對象塊和參考塊之間的誤差的屏幕內(nèi)合計(jì)值設(shè)定為特征量。當(dāng)成本函數(shù)值被用作特征量時，特征量生成部分41-2把當(dāng)在運(yùn)動和視差預(yù)測補(bǔ)償部分52a中進(jìn)行時間預(yù)測時的成本函數(shù)值的圖像內(nèi)合計(jì)值或平均值，和當(dāng)在運(yùn)動和視差預(yù)測補(bǔ)償部分52a中進(jìn)行視差預(yù)測時的成本函數(shù)值的圖像內(nèi)合計(jì)值或平均值設(shè)定為特征量。當(dāng)編碼畫面的復(fù)雜度被用作特征量時，特征量生成部分41-2根據(jù)等式(1)-(3)， 計(jì)算編碼畫面的復(fù)雜度，并把編碼畫面的復(fù)雜度設(shè)定為特征量。Xi = SiQi . . . (1)Xp = SpQp . . . (2)Xb = SbQb . . . (3)在等式(1)中，Si表示I畫面的生成代碼量，Qi表示在I畫面的編碼時的平均量化位階代碼(量化參數(shù))。類似地，在等式0)-(3)中，Sp和Sb表示P畫面和B畫面的生成代碼量，Qp和Qb表示在P畫面和B畫面的編碼時的平均量化位階代碼(量化參數(shù))。另外，假定在從屬視圖的畫面中，使用基本視圖的I畫面作為單一參考畫面的P畫面的復(fù)雜度為 XpcL當(dāng)指示參考索引的比例的統(tǒng)計(jì)量被用作特征量時，特征量生成部分41-2計(jì)算指示對畫面類型與編碼對象畫面相同的編碼畫面的每個塊設(shè)定的參考索引的比例的統(tǒng)計(jì)量， 并把所述統(tǒng)計(jì)量設(shè)定為特征量。特征量生成部分41-2從而生成特征量，并把生成的特征量輸出給參考索引分配部分45-2。根據(jù)在特征量生成部分41-2中生成的特征量，參考索引分配部分45-2向保存在幀存儲器35中的參考畫面分配參考索引。根據(jù)特征量，參考索引分配部分45-2向在占優(yōu)勢的預(yù)測中使用的參考畫面分配代碼長度比分配給在另一種預(yù)測中使用的參考畫面的參考索引短的參考索引。當(dāng)生成向量的圖像內(nèi)平均值作為特征量時，參考索引分配部分45-2比較當(dāng)使用時間預(yù)測用參考畫面時的平均值，和當(dāng)使用視差預(yù)測用參考畫面時的平均值。參考索引分配部分45-2向平均值較小的參考畫面分配代碼長度較短的參考索引。另外，當(dāng)生成向量的圖像內(nèi)方差作為特征量時，參考索引分配部分45-2比較當(dāng)使用時間預(yù)測用參考畫面時的方差，和當(dāng)使用視差預(yù)測用參考畫面時的方差。參考索引分配部分45-2向方差較小的參考畫面分配代碼長度較短的參考索引。另外，當(dāng)對于每個編碼對象塊生成誤差，作為特征量時，參考索引分配部分45-2比較當(dāng)使用時間預(yù)測用參考畫面時的誤差，和當(dāng)使用視差預(yù)測用參考畫面時的誤差。參考索引分配部分45-2向誤差較小的參考畫面分配代碼長度較短的參考索引。另外，當(dāng)生成成本函數(shù)值作為特征量時，參考索引分配部分45-2比較當(dāng)使用時間預(yù)測用參考畫面時的成本函數(shù)值，和當(dāng)使用視差預(yù)測用參考畫面時的成本函數(shù)值。參考索引分配部分45-2向成本函數(shù)值較小的參考畫面分配代碼長度較短的參考索引。此外，當(dāng)生成復(fù)雜度作為特征量時，參考索引分配部分45-2按照時間復(fù)雜度之間的比率與視差間復(fù)雜度之間的比率的比較結(jié)果，分配參考索引。如圖6中所示，復(fù)雜度之間的比率(Xi/Xp)和復(fù)雜度之間的比率(XiAb)指示時間難度，復(fù)雜度之間的比率(Xi/Xpd) 指示視差間難度。順便提及，復(fù)雜度Xi指示I畫面(Ibl)的復(fù)雜度；復(fù)雜度Xp指示P畫面 (Pbl)的復(fù)雜度；復(fù)雜度脅指示B畫面(Bsbl)的復(fù)雜度；和復(fù)雜度Xpd指示P畫面(Pdvl) 的復(fù)雜度。從而，參考索引分配部分45-2比較時間難度和視差間難度，并向復(fù)雜度較低的參考畫面分配代碼長度較短的參考索引。例如，在把復(fù)雜度Xp的P畫面0 和復(fù)雜度Xpd 的P畫面(Pdvl)作為參考畫面的P畫面(Pdv3)被編碼的情況下，當(dāng)比率(Xi/Xpd)高于比率(Xi/Xp)時，認(rèn)為復(fù)雜度Xpd低于復(fù)雜度Xp。例如假設(shè)關(guān)于P畫面(Pdv3)的視差預(yù)測在難度方面與關(guān)于P畫面(Pdvl)的視差預(yù)測相同，和關(guān)于P畫面(PdU)的時間預(yù)測在難度方面與關(guān)于P畫面(Pb3)的時間預(yù)測相同。這種情況下，估計(jì)與當(dāng)使用時間預(yù)測時相比，當(dāng)使用視差預(yù)測時，P畫面(PdU)的復(fù)雜度較低。從而，參考索引分配部分45-2向用于視差預(yù)測的參考畫面分配代碼長度較短的參考索引。另外，就B畫面(BdW)來說，可根據(jù)比率 (Xi/Xpd)和比率(XiAb)，像在P畫面(Pdv3)的情況下一樣地按照復(fù)雜度分配參考索引。 例如，當(dāng)復(fù)雜度Xpd低于復(fù)雜度脅時，參考索引分配部分45-2向用于視差預(yù)測的參考畫面分配代碼長度較短的參考索引。此外，當(dāng)指示參考索引的比例的統(tǒng)計(jì)量被用作特征量時，參考索引分配部分45-2 向在比例較高的預(yù)測中使用的參考畫面分配代碼長度較短的參考索引。例如，當(dāng)在編碼對象畫面的圖像內(nèi)，指示在時間預(yù)測中使用的參考畫面的參考索引的比例高于在視差預(yù)測中使用的參考畫面的比例，參考索引分配部分45-2向在時間預(yù)測中使用的參考畫面分配代碼長度較短的參考索引。幀內(nèi)預(yù)測部分51利用從畫面重排緩沖器2 輸出的編碼對象畫面的圖像數(shù)據(jù)，和從加法部分33供給的圖像數(shù)據(jù)，按作為候選者的所有幀內(nèi)預(yù)測模式進(jìn)行幀內(nèi)預(yù)測處理。此外，幀內(nèi)預(yù)測部分51計(jì)算每種幀內(nèi)預(yù)測模式的成本函數(shù)值，并選擇計(jì)算的成本函數(shù)值最小的幀內(nèi)預(yù)測模式，即，獲得最佳編碼效率的幀內(nèi)預(yù)測模式，作為最佳幀內(nèi)預(yù)測模式。幀內(nèi)預(yù)
14測部分51把用最佳幀內(nèi)預(yù)測模式生成的預(yù)測圖像數(shù)據(jù)，關(guān)于最佳幀內(nèi)預(yù)測模式的預(yù)測模式信息，和最佳幀內(nèi)預(yù)測模式下的成本函數(shù)值輸出給預(yù)測圖像和最佳模式選擇部分53。另外，為了獲得在成本函數(shù)值的計(jì)算中使用的生成代碼量，在按每種幀內(nèi)預(yù)測模式的幀內(nèi)預(yù)測處理中，幀內(nèi)預(yù)測部分51把關(guān)于幀內(nèi)預(yù)測模式的預(yù)測模式信息輸出給可逆編碼部分26。 順便提及，在成本函數(shù)值的計(jì)算方面，可以列舉用稱為JM(聯(lián)合模型)的H. 264/AVC參考軟件實(shí)現(xiàn)的方法。運(yùn)動和視差預(yù)測補(bǔ)償部分5 對編碼對象塊的每個塊大小，進(jìn)行運(yùn)動和視差預(yù)測補(bǔ)償處理。對于從畫面重排緩沖器2 讀出的圖像中的每個編碼對象塊的每個圖像，運(yùn)動和視差預(yù)測補(bǔ)償部分5 利用從幀存儲器35讀取的去塊濾波處理之后的圖像數(shù)據(jù)和基本視圖的圖像數(shù)據(jù)，檢測運(yùn)動向量和視差向量。此外，運(yùn)動和視差預(yù)測補(bǔ)償部分5 根據(jù)檢出的運(yùn)動向量和檢出的視差向量，進(jìn)行參考畫面補(bǔ)償處理，從而生成預(yù)測圖像。另外，運(yùn)動和視差預(yù)測補(bǔ)償部分5 計(jì)算編碼對象塊的每個塊大小和每個參考畫面的成本函數(shù)值，并選擇使成本函數(shù)值最小的塊大小和參考畫面作為最佳幀間預(yù)測模式。 運(yùn)動和視差預(yù)測補(bǔ)償部分5 把按最佳幀間預(yù)測模式生成的預(yù)測圖像數(shù)據(jù)，關(guān)于最佳幀間預(yù)測模式的預(yù)測模式信息，和最佳幀間預(yù)測模式下的成本函數(shù)值輸出給預(yù)測圖像和最佳模式選擇部分53。另外，為了獲得在成本函數(shù)值的計(jì)算中使用的生成代碼量，在每個塊大小的幀間預(yù)測處理中，運(yùn)動和視差預(yù)測補(bǔ)償部分5 把關(guān)于幀間預(yù)測模式的預(yù)測模式信息輸出給可逆編碼部分26。此外，運(yùn)動和視差預(yù)測補(bǔ)償部分5 把用于生成特征量的信息輸出給特征量生成部分41-2。用于生成特征量的信息是檢出的運(yùn)動向量和檢出的視差向量，或者當(dāng)檢測運(yùn)動向量和視差向量時，編碼對象塊和參考塊之間的誤差。另外，成本函數(shù)值，生成代碼量和量化位階代碼，與按最佳幀間預(yù)測模式進(jìn)行時間預(yù)測和視差預(yù)測的各個塊有關(guān)的信息等等可用作用于生成特征量的信息。預(yù)測圖像和最佳模式選擇部分53比較從幀內(nèi)預(yù)測部分51供給的成本函數(shù)值，和從運(yùn)動和視差預(yù)測補(bǔ)償部分5 供給的成本函數(shù)值，并選擇較小的成本函數(shù)值作為其中獲得最佳編碼效率的最佳模式。另外，預(yù)測圖像和最佳模式選擇部分53把按最佳模式生成的預(yù)測圖像數(shù)據(jù)輸出給減法部分23和加法部分33。此外，預(yù)測圖像和最佳模式選擇部分53 把最佳模式的預(yù)測模式信息(宏塊類型，預(yù)測模式，參考索引等等)輸出給可逆編碼部分 26。順便提及，預(yù)測圖像和最佳模式選擇部分53以畫面為單位，或者以切片為單位進(jìn)行幀內(nèi)預(yù)測或幀間預(yù)測。順便提及，當(dāng)幀連續(xù)-AVC系統(tǒng)的圖像數(shù)據(jù)被編碼時，特征量生成部分41-2利用當(dāng)在運(yùn)動和視差預(yù)測補(bǔ)償部分52a中生成從屬視圖的圖像數(shù)據(jù)的預(yù)測圖像時的信息，生成特征量。另外，其圖像數(shù)據(jù)提取自輸入圖像數(shù)據(jù)的另一個視點(diǎn)的圖像數(shù)據(jù)，或者通過對另一個視點(diǎn)的圖像數(shù)據(jù)編碼而生成的參考畫面的圖像數(shù)據(jù)被保存在幀存儲器35中。通過進(jìn)行這樣的處理，也可編碼幀連續(xù)-AVC系統(tǒng)的圖像數(shù)據(jù)。[第二實(shí)施例的操作]圖7是表示第二實(shí)施例的操作的流程圖。在步驟ST21，圖像編碼設(shè)備20dv_2判定編碼對象畫面是否是從屬視圖的畫面。當(dāng)編碼對象畫面是從屬視圖的畫面時，圖像編碼設(shè)備20dv-2進(jìn)入步驟ST22，當(dāng)編碼對象畫面是基本視圖的畫面時，圖像編碼設(shè)備20dv-2進(jìn)入步驟ST28。在步驟ST22，圖像編碼設(shè)備20dv_2判定編碼對象畫面是否涉及視差或時間的多個平面。當(dāng)編碼對象畫面涉及視差和/或時間的多個平面時，圖像編碼設(shè)備20dv-2進(jìn)入步驟ST23。當(dāng)編碼對象畫面只涉及一個參考畫面時，圖像編碼設(shè)備20dv-2進(jìn)入步驟ST28。例如，在圖6的從屬視圖的圖像數(shù)據(jù)中，第一 P畫面只使用基本視圖的圖像數(shù)據(jù)的I畫面作為參考畫面，于是，圖像編碼設(shè)備20dv-2進(jìn)入步驟SD8。在第一 P畫面之后的B畫面和P畫面使用多個參考畫面，于是，圖像編碼設(shè)備20dv-2進(jìn)入步驟ST23。在步驟ST23，圖像編碼設(shè)備20dv_2確定參考索引分配方法。圖像編碼設(shè)備20dv_2 中的參考索引分配部分45-2根據(jù)在已關(guān)于編碼對象畫面執(zhí)行的編碼處理中生成的信息， 確定參考索引分配方法，隨后進(jìn)入步驟STM。參考索引分配部分45-2確定分配方法，以致向由其獲得向量的長度的較小平均值或較小方差的參考畫面，或者在時間預(yù)測或視差預(yù)測中，由其獲得較小誤差的參考畫面，分配代碼長度較短的參考索引。另外，參考索引分配部分45-2確定分配方法，以致向從其獲得較小成本函數(shù)值的參考畫面分配代碼長度較短的參考索引。在步驟STM，圖像編碼設(shè)備20dv_2判定是否需要改變分配方法。當(dāng)在步驟ST23 中確定的分配方法不同于當(dāng)前分配方法時，圖像編碼設(shè)備20dv-2進(jìn)入步驟ST25。當(dāng)在步驟 ST23中確定的分配方法和當(dāng)前分配方法相同時，圖像編碼設(shè)備20dv-2進(jìn)入步驟SD6。在步驟ST25，圖像編碼設(shè)備20dv_2發(fā)出RPLR(參考畫面列表重排序)命令。圖像編碼設(shè)備20dv-2中的參考索引分配部分45-2發(fā)出RPLR命令，以致即使當(dāng)參考索引的分配被改變時，圖像解碼設(shè)備也能夠根據(jù)參考索引，使用正確的參考畫面。具體地說，參考索引分配部分45-2把RPLR作為語法元素提供給可逆編碼部分26，以把RPLR包括在例如圖像數(shù)據(jù)的編碼流的報(bào)頭中，隨后進(jìn)入步驟SD6。在步驟SD6，圖像編碼設(shè)備20dv_2執(zhí)行對編碼對象畫面編碼的處理。另外，在編碼處理中，參考索引分配部分45-2用在步驟ST23中確定的分配方法，設(shè)定參考索引。在步驟ST27，圖像編碼設(shè)備20dv_2生成特征量。圖像編碼設(shè)備20dv_2中的特征量生成部分41-2根據(jù)在步驟SD6的編碼處理中生成的信息，例如向量(運(yùn)動向量和視差向量)，編碼對象塊和參考塊之間的誤差等等，生成特征量。在步驟ST28，圖像編碼設(shè)備20dv_2用預(yù)先設(shè)定的分配方法分配參考索引，并在編碼對象畫面是基本視圖的畫面時，和當(dāng)視差和時間的多個平面未被用作參考畫面時，進(jìn)行編碼處理。例如，如圖1中所示，參考索引ref_idx = 0被分配給時間預(yù)測用參考畫面，參考索引ref_idx = 1被分配給視差預(yù)測用參考畫面。另外，當(dāng)編碼對象畫面是基本視圖的畫面時，在整個序列內(nèi)，參考索引分配是固定的。對每個編碼對象畫面重復(fù)這樣的處理。按照第二實(shí)施例，當(dāng)在對于從屬視圖的編碼處理中，進(jìn)行時間預(yù)測或視差預(yù)測時， 能夠向在頻繁執(zhí)行的預(yù)測方式中使用的參考畫面分配代碼長度較短的參考索引。于是能夠和第一實(shí)施例中一樣地提高從屬視圖的編碼效率。另外，第二實(shí)施例不需要像第一實(shí)施例中的特征量生成部分中的運(yùn)動檢測，從而能夠容易地分配參考索引。<4.第三實(shí)施例〉下面說明第三實(shí)施例。當(dāng)在移動圖像數(shù)據(jù)中進(jìn)行圖像切換時，在圖像切換之前的圖像和圖像切換之后的圖像之間存在較大的圖像差異，從而時間預(yù)測的性能顯著降低。例如，當(dāng)在移動圖像數(shù)據(jù)中產(chǎn)生場景變化時，在場景變化之前的圖像和場景變化之后的圖像之間存在較大的圖像差異，從而時間預(yù)測的性能顯著降低。從而，當(dāng)發(fā)生圖像切換時，選擇視差預(yù)測，以避免預(yù)測性能大大降低。即，圖像切換的檢測結(jié)果對應(yīng)于用作在判定時間預(yù)測和視差預(yù)測中的哪一個在圖像內(nèi)占優(yōu)勢的判定標(biāo)準(zhǔn)的特征量。從而，在第三實(shí)施例中，將說明場景變化檢測結(jié)果被用作特征量的情況。[第三實(shí)施例的結(jié)構(gòu)]圖8表示第三實(shí)施例的結(jié)構(gòu)。順便提及，圖8圖解說明對第一實(shí)施例設(shè)置當(dāng)檢測到場景變化時，把預(yù)先指定的方法設(shè)定為參考索引分配方法的功能的情況。順便提及，在圖 8中，與按照第一實(shí)施例的圖像編碼設(shè)備20dv-l對應(yīng)的部分用相同的附圖標(biāo)記識別。圖像編碼設(shè)備20dv_3是對從屬視圖的圖像數(shù)據(jù)編碼的圖像處理設(shè)備。圖像編碼設(shè)備20dv-3包括模數(shù)轉(zhuǎn)換部分(A/D轉(zhuǎn)換部分)21，畫面重排緩沖器22，減法部分23，正交變換部分24，量化部分25，可逆編碼部分沈，存儲緩沖器27，和速率控制部分觀。圖像編碼設(shè)備20dv-3還包括逆量化部分31，逆正交變換部分32，加法部分33，去塊濾波器34和幀存儲器35。圖像編碼設(shè)備20dv-3還包括特征量生成部分41-3，場景變化檢測部分42，參考索引分配部分45-3，幀內(nèi)預(yù)測部分51，運(yùn)動和視差預(yù)測補(bǔ)償部分52，及預(yù)測圖像和最佳模式選擇部分53。A/D轉(zhuǎn)換部分21把模擬圖像信號轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)，并把數(shù)字圖像數(shù)據(jù)輸出給畫面重排緩沖器22。畫面重排緩沖器22重排從A/D轉(zhuǎn)換部分21輸出的各幀圖像數(shù)據(jù)。畫面重排緩沖器22按照編碼處理中涉及的GOP (畫面組)結(jié)構(gòu)，重排各幀，并把重排后的圖像數(shù)據(jù)輸出給減法部分23，特征量生成部分41-3，幀內(nèi)預(yù)測部分51，及運(yùn)動和視差預(yù)測補(bǔ)償部分52。減法部分23被供給從畫面重排緩沖器22輸出的圖像數(shù)據(jù)，和由后面說明的預(yù)測圖像和最佳模式選擇部分53選擇的預(yù)測圖像數(shù)據(jù)。減法部分23計(jì)算指示從畫面重排緩沖器22輸出的圖像數(shù)據(jù)，與從預(yù)測圖像和最佳模式選擇部分53供給的預(yù)測圖像數(shù)據(jù)之間的差的預(yù)測誤差數(shù)據(jù)。減法部分23把預(yù)測誤差數(shù)據(jù)輸出給正交變換部分M。正交變換部分M對從減法部分23輸出的預(yù)測誤差數(shù)據(jù)進(jìn)行正交變換處理，比如離散余弦變換(DCT) ,Karhunen-Loeve變換等等。正交變換部分M把通過進(jìn)行正交變換處理而獲得的變換系數(shù)數(shù)據(jù)輸出給量化部分25。量化部分25被供給從正交變換部分M輸出的變換系數(shù)數(shù)據(jù)，和來自后面說明的速率控制部分觀的速率控制信號。量化部分25量化變換系數(shù)數(shù)據(jù)，并把量化數(shù)據(jù)輸出給可逆編碼部分26和逆量化部分31。另外，量化部分25根據(jù)來自速率控制部分觀的速率控制信號，改變量化參數(shù)(量化位階)，從而改變量化數(shù)據(jù)的比特率。可逆編碼部分沈被供給從量化部分25輸出的量化數(shù)據(jù)，和來自后面說明的幀內(nèi)預(yù)測部分51，運(yùn)動和視差預(yù)測補(bǔ)償部分52，及預(yù)測圖像和最佳模式選擇部分53的預(yù)測模式信息。順便提及，預(yù)測模式信息包括指示編碼對象塊的塊大小的宏塊類型，預(yù)測模式，參考索引等等。可逆編碼部分26利用變長編碼或算術(shù)編碼，對量化數(shù)據(jù)進(jìn)行編碼處理，從而生成編碼流，并把編碼流輸出給存儲緩沖器27。另外，可逆編碼部分沈可逆地編碼預(yù)測模式信息，并把編碼的預(yù)測模式信息添加到例如編碼流的報(bào)頭信息中。存儲緩沖器27保存來自可逆編碼部分沈的編碼流。另外，存儲緩沖器27以對應(yīng)于傳輸線路的傳輸速度輸出保存的編碼流。速率控制部分觀監(jiān)視存儲緩沖器27的自由空間，按照自由空間生成速率控制信號，并把速率控制信號輸出給量化部分25。例如，速率控制部分觀從存儲緩沖器27獲得指示自由空間的信息。當(dāng)自由空間減少時，速率控制部分觀根據(jù)速率控制信號，使量化數(shù)據(jù)的比特率降低。當(dāng)存儲緩沖器27具有足夠大的自由空間時，速率控制部分觀根據(jù)速率控制信號，使量化數(shù)據(jù)的比特率升高。逆量化部分31對從量化部分25供給的量化數(shù)據(jù)進(jìn)行逆量化處理。逆量化部分31 把通過進(jìn)行逆量化處理而獲得的變換系數(shù)數(shù)據(jù)輸出給逆正交變換部分32。逆正交變換部分32把通過對從逆量化部分31供給的變換系數(shù)數(shù)據(jù)進(jìn)行逆正交變換處理而獲得的數(shù)據(jù)輸出給加法部分33。加法部分33通過相加從逆正交變換部分32供給的數(shù)據(jù)，和從預(yù)測圖像和最佳模式選擇部分53供給的預(yù)測圖像數(shù)據(jù)，生成參考畫面的圖像數(shù)據(jù)。加法部分33把圖像數(shù)據(jù)輸出給去塊濾波器34和幀內(nèi)預(yù)測部分51。去塊濾波器34進(jìn)行濾波處理，以減少在圖像編碼時發(fā)生的塊失真。去塊濾波器34 進(jìn)行濾波處理，以從供給自加法部分33的圖像數(shù)據(jù)中消除塊失真。去塊濾波器34把濾波處理后的圖像數(shù)據(jù)輸出給幀存儲器35。幀存儲器35保持從去塊濾波器34供給的濾波處理之后的圖像數(shù)據(jù)，和從進(jìn)行基本視圖的編碼的圖像編碼設(shè)備20bv供給的參考畫面的圖像數(shù)據(jù)。特征量生成部分41-3生成特征量。特征量是用作判定利用時間方向的圖像之間的相關(guān)性的時間預(yù)測，和利用不同視點(diǎn)的圖像之間的相關(guān)性的視差預(yù)測中的哪一個在圖像內(nèi)占優(yōu)勢，即，在編碼從屬視圖的圖像數(shù)據(jù)時，更頻繁進(jìn)行所述時間預(yù)測和視差預(yù)測中的哪一個的判定標(biāo)準(zhǔn)的信息。特征量生成部分41-3用通過進(jìn)行時間預(yù)測和視差預(yù)測而獲得的信息生成特征量。特征量生成部分41-3利用參考畫面，檢測每個編碼對象塊的運(yùn)動向量和視差向量，并把檢出向量的長度的圖像內(nèi)平均值或方差設(shè)定為特征量。例如，特征量生成部分41-3 把從畫面重排緩沖器22輸出的圖像數(shù)據(jù)中，在時間方向上不同于編碼對象畫面的圖像的圖像數(shù)據(jù)設(shè)定為將用在時間預(yù)測中的參考畫面的圖像數(shù)據(jù)。特征量生成部分41-3通過利用時間預(yù)測用參考畫面，檢測每個編碼塊的運(yùn)動向量，并把所檢出運(yùn)動向量的長度的圖像內(nèi)平均值或方差設(shè)定為特征量。另外，特征量生成部分41-3把從圖像編碼設(shè)備20dv供給的另一個視點(diǎn)的圖像數(shù)據(jù)設(shè)定為將用在視差預(yù)測中的參考畫面的圖像數(shù)據(jù)。特征量生成部分41-3通過利用視差預(yù)測用參考畫面，檢測每個編碼對象塊的視差向量，并把所檢出視差向量的長度的圖像內(nèi)平均值或方差設(shè)定為特征量。特征量生成部分41-3還可把當(dāng)檢測運(yùn)動向量或視差向量時，編碼對象畫面的塊 (編碼對象塊)和參考畫面的塊(參考塊)之間的誤差的圖像內(nèi)合計(jì)值(例如SAD 絕對差值和)或者平均值設(shè)定為特征量。例如，特征量生成部分41-3通過把從畫面重排緩沖器22 輸出的圖像數(shù)據(jù)用作將用在時間預(yù)測中的參考畫面的圖像數(shù)據(jù)，生成每個編碼對象塊的運(yùn)動向量。特征量生成部分41-3把當(dāng)檢測運(yùn)動向量時，編碼對象塊和參考塊之間的誤差的圖像內(nèi)合計(jì)值或平均值設(shè)定為特征量。另外，特征量生成部分41-3利用從圖像編碼設(shè)備20dv 供給的另一個視點(diǎn)的圖像數(shù)據(jù)，檢測每個編碼對象塊的視差向量。特征量生成部分41-3把當(dāng)檢測視差向量時，編碼對象塊和參考塊之間的誤差的圖像內(nèi)合計(jì)值或平均值設(shè)定為特征量。特征量生成部分41-3從而生成特征量，并把生成的特征量輸出給參考索引分配部分45-3。場景變化檢測部分42進(jìn)行場景變化檢測，并把檢測結(jié)果輸出給參考索引分配部分 45-3。根據(jù)在特征量生成部分41-3中生成的特征量，參考索引分配部分45-3向保存在幀存儲器35中的參考畫面分配參考索引。根據(jù)特征量，參考索引分配部分45-3向在占優(yōu)勢的預(yù)測中使用的參考畫面，分配代碼長度比分配給在另一種預(yù)測中使用的參考畫面的參考索引短的參考索引。當(dāng)生成向量(運(yùn)動向量和視差向量)的圖像內(nèi)平均值作為特征量時，參考索引分配部分45-3比較當(dāng)使用時間預(yù)測用參考畫面時的平均值，和當(dāng)使用視差預(yù)測用參考畫面時的平均值。參考索引分配部分45-3向平均值較小的參考畫面分配代碼長度較短的參考索引。另外，當(dāng)生成向量的圖像內(nèi)方差作為特征量時，參考索引分配部分45-3比較當(dāng)使用時間預(yù)測用參考畫面時的方差，和當(dāng)使用視差預(yù)測用參考畫面時的方差。參考索引分配部分45-3向方差較小的參考畫面分配代碼長度較短的參考索引。此外，當(dāng)生成編碼對象畫面的每個塊和參考塊之間的誤差作為特征量時，參考索引分配部分45-3比較當(dāng)使用時間預(yù)測用參考畫面時的誤差，和當(dāng)使用視差預(yù)測用參考畫面時的誤差。參考索引分配部分45-3 向誤差較小的參考畫面分配代碼長度較短的參考索引。另外，參考索引分配部分45-3按照來自場景變化檢測部分42的場景變化檢測結(jié)果，設(shè)定參考索引分配方法。當(dāng)檢測到場景變化時，參考索引分配部分45-3向在視差預(yù)測中使用的參考畫面，分配代碼長度比分配給在時間預(yù)測中使用的參考畫面的參考索引短的參考索引。幀內(nèi)預(yù)測部分51利用從畫面重排緩沖器22輸出的編碼對象畫面的圖像數(shù)據(jù)，和從加法部分33供給的圖像數(shù)據(jù)，按作為候選者的所有幀內(nèi)預(yù)測模式進(jìn)行幀內(nèi)預(yù)測處理。此外，幀內(nèi)預(yù)測部分51計(jì)算每種幀內(nèi)預(yù)測模式的成本函數(shù)值，并選擇計(jì)算的成本函數(shù)值最小的幀內(nèi)預(yù)測模式，即，獲得最佳的編碼效率的幀內(nèi)預(yù)測模式，作為最佳幀內(nèi)預(yù)測模式。幀內(nèi)預(yù)測部分51把用最佳幀內(nèi)預(yù)測模式生成的預(yù)測圖像數(shù)據(jù)，關(guān)于最佳幀內(nèi)預(yù)測模式的預(yù)測模式信息，和最佳幀內(nèi)預(yù)測模式下的成本函數(shù)值輸出給預(yù)測圖像和最佳模式選擇部分53。 另外，為了獲得在成本函數(shù)值的計(jì)算中使用的生成代碼量，在按每種幀內(nèi)預(yù)測模式的幀內(nèi)預(yù)測處理中，幀內(nèi)預(yù)測部分51把關(guān)于幀內(nèi)預(yù)測模式的預(yù)測模式信息輸出給可逆編碼部分 26。順便提及，在成本函數(shù)值的生成方面，可以列舉用稱為JM(聯(lián)合模型)的HJ64/AVC參考軟件實(shí)現(xiàn)的方法。運(yùn)動和視差預(yù)測補(bǔ)償部分52對編碼對象塊的每個塊大小，進(jìn)行運(yùn)動和視差預(yù)測補(bǔ)償處理。對于從畫面重排緩沖器22讀出的圖像中的每個編碼對象塊的每個圖像，運(yùn)動和視差預(yù)測補(bǔ)償部分52利用從幀存儲器35讀取的去塊濾波處理之后的圖像數(shù)據(jù)，檢測運(yùn)動向量，并利用基本視圖的圖像數(shù)據(jù)，檢測視差向量。此外，運(yùn)動和視差預(yù)測補(bǔ)償部分52根據(jù)檢出的向量，進(jìn)行參考畫面補(bǔ)償處理，從而生成預(yù)測圖像。另外，運(yùn)動和視差預(yù)測補(bǔ)償部分52生成編碼對象塊的每個塊大小和每個參考畫面的成本函數(shù)值，并選擇使成本函數(shù)值最小的塊大小和參考畫面作為最佳幀間預(yù)測模式。 運(yùn)動和視差預(yù)測補(bǔ)償部分52把按最佳幀間預(yù)測模式生成的預(yù)測圖像數(shù)據(jù)，關(guān)于最佳幀間預(yù)測模式的預(yù)測模式信息，和最佳幀間預(yù)測模式下的成本函數(shù)值輸出給預(yù)測圖像和最佳模式選擇部分53。另外，為了獲得在成本函數(shù)值的生成中使用的生成代碼量，在每個塊大小的幀間預(yù)測處理中，運(yùn)動和視差預(yù)測補(bǔ)償部分52把關(guān)于幀間預(yù)測模式的預(yù)測模式信息輸出給可逆編碼部分26。預(yù)測圖像和最佳模式選擇部分53比較從幀內(nèi)預(yù)測部分51供給的成本函數(shù)值，和從運(yùn)動和視差預(yù)測補(bǔ)償部分52供給的成本函數(shù)值，并選擇較小的成本函數(shù)值作為其中獲得最佳編碼效率的最佳模式。另外，預(yù)測圖像和最佳模式選擇部分53把按最佳模式生成的預(yù)測圖像數(shù)據(jù)輸出給減法部分23和加法部分33。此外，預(yù)測圖像和最佳模式選擇部分53 把最佳模式的預(yù)測模式信息(宏塊類型，預(yù)測模式，參考索引等等)輸出給可逆編碼部分 26。順序提及，預(yù)測圖像和最佳模式選擇部分53以畫面為單位，或者以切片為單位進(jìn)行幀內(nèi)預(yù)測或幀間預(yù)測。[第三實(shí)施例的操作]圖9是表示第三實(shí)施例的操作的流程圖。順便提及，在圖9中，與第一實(shí)施例的處理對應(yīng)的處理用相同的附圖標(biāo)記識別。在步驟ST1，圖像編碼設(shè)備20dv_3判定編碼對象畫面是否是從屬視圖的畫面。當(dāng)編碼對象畫面是從屬視圖的畫面時，圖像編碼設(shè)備20dv-3進(jìn)入步驟ST2，當(dāng)編碼對象畫面是基本視圖的畫面時，圖像編碼設(shè)備20dv-l進(jìn)入步驟STl 1。在步驟ST2，圖像編碼設(shè)備20dv_3判定編碼對象畫面是否涉及視差或時間的多個平面。當(dāng)編碼對象畫面涉及視差和/或時間的多個平面時，圖像編碼設(shè)備20dv-3進(jìn)入步驟 ST3。當(dāng)編碼對象畫面只涉及一個參考畫面時，圖像編碼設(shè)備20dv-3進(jìn)入步驟ST11。在步驟ST3，圖像編碼設(shè)備20dv_3判定是否檢測到場景變化。當(dāng)圖像編碼設(shè)備 20dv-3中的場景變化檢測部分42檢測到場景變化，并且判定和編碼對象畫面是場景變化之后的第一圖像時，圖像編碼設(shè)備20dv-3進(jìn)入步驟ST5。當(dāng)判定和編碼對象畫面不是場景變化之后的第一圖像時，圖像編碼設(shè)備20dv-3進(jìn)入步驟ST6。在步驟ST5，圖像編碼設(shè)備20dv_3把預(yù)先指定的方法，即，向視差預(yù)測分配代碼長度較短的參考索引的方法設(shè)定為參考索引分配方法，隨后進(jìn)入步驟ST8。在步驟ST6，圖像編碼設(shè)備20dv_3生成特征量。圖像編碼設(shè)備20dv_3中的特征量生成部分41-3生成利用不同視點(diǎn)的參考畫面，對于每個塊檢測的視差向量的圖像內(nèi)平均值，和利用時間方向的參考畫面，對于每個塊檢測的運(yùn)動向量的圖像內(nèi)平均值，并把這些平均值設(shè)定為特征量。另外，特征量生成部分41-3可把圖像內(nèi)的向量的方差設(shè)定為特征量。 此外，特征量生成部分41-3可對每個塊進(jìn)行時間預(yù)測和視差預(yù)測，并生成編碼對象塊和參考塊之間的誤差的圖像內(nèi)合計(jì)值或平均值，作為特征量。特征量生成部分41-3如此生成特征量，隨后進(jìn)入步驟ST7。在步驟ST7，圖像編碼設(shè)備20dv_3確定參考索引分配方法。圖像編碼設(shè)備20dv_3 中的參考索引分配部分45-3根據(jù)在步驟ST6中生成的特征量，確定參考索引分配方法，隨后進(jìn)入步驟ST8。參考索引分配部分45-3確定分配方法，以致向當(dāng)計(jì)算平均值較小或者方差較小的向量時使用的參考畫面分配代碼長度較短的參考索引。另外，參考索引分配部分45-3確定分配方法，以致向在時間預(yù)測和視差預(yù)測之中的誤差較小者中使用的參考畫面分配代碼長度較短的參考索引。在步驟ST8，圖像編碼設(shè)備20dv_3判定是否需要改變分配方法。當(dāng)在步驟ST5或步驟ST7中確定的分配方法不同于當(dāng)前分配方法時，圖像編碼設(shè)備20dv-3進(jìn)入步驟ST9。 當(dāng)在步驟ST5或步驟ST7中確定的分配方法和當(dāng)前分配方法相同時，圖像編碼設(shè)備20dv-3 進(jìn)入步驟STlO。在步驟ST9，圖像編碼設(shè)備20dv_3發(fā)出RPLR(參考畫面列表重排序)命令。圖像編碼設(shè)備20dv-3中的參考索引分配部分45-3發(fā)出RPLR命令，以致即使當(dāng)參考索引的分配被改變時，圖像解碼設(shè)備也能夠根據(jù)參考索引，使用正確的參考畫面。具體地說，參考索引分配部分45-3把RPLR作為語法元素提供給可逆編碼部分26，以把RPLR包括在例如圖像數(shù)據(jù)的編碼流的報(bào)頭中，隨后進(jìn)入步驟ST10。在步驟ST10，圖像編碼設(shè)備20dv_3執(zhí)行對編碼對象畫面編碼的處理。另外，在編碼處理中，參考索引分配部分45-3用在步驟ST5或步驟ST7中確定的關(guān)于后續(xù)畫面的分配方法，設(shè)定參考索引。在步驟ST11，圖像編碼設(shè)備20dv_3用預(yù)先設(shè)定的分配方法分配參考索引，并在編碼對象畫面是基本視圖的畫面時，和當(dāng)編碼對象畫面涉及一個參考畫面時，進(jìn)行編碼處理。 對每個編碼對象畫面重復(fù)這樣的處理。按照第三實(shí)施例，當(dāng)在對于從屬視圖的編碼中，進(jìn)行時間預(yù)測或視差預(yù)測時，能夠向在頻繁執(zhí)行的預(yù)測方式中使用的參考畫面分配代碼長度較短的參考索引。于是，能夠提高從屬視圖的編碼效率。此外，當(dāng)檢測到場景變化時，選擇視差預(yù)測，以防止預(yù)測性能的顯著降低，從而向在視差預(yù)測中使用的參考畫面分配代碼長度較短的參考索引。從而，即使當(dāng)在從屬視圖中發(fā)生場景變化時，也能夠提高從屬視圖的編碼效率。<5.第四實(shí)施例〉下面說明第四實(shí)施例。移動圖像數(shù)據(jù)不僅能夠代表多視點(diǎn)圖像，而且能夠代表相同視點(diǎn)的圖像OD圖像)。當(dāng)從屬視圖和基本視圖是相同視點(diǎn)的圖像時，與時間預(yù)測相比， 視差預(yù)測的性能非常高，于是，選擇視差預(yù)測。即，從多視點(diǎn)圖像到另一個圖像OD圖像) 的圖像切換的檢測結(jié)果是可用于判定在圖像內(nèi)，更頻繁地進(jìn)行時間預(yù)測和視差預(yù)測中的哪一個的特征量。從而，在第四實(shí)施例中，將說明圖像切換檢測結(jié)果被用作特征量的情況。[第四實(shí)施例的結(jié)構(gòu)]圖10表示第四實(shí)施例的結(jié)構(gòu)。順便提及，圖10圖解說明第一實(shí)施例具備當(dāng)檢測到從多視點(diǎn)圖像到另一個圖像的切換時，把預(yù)先指定的方法設(shè)定為參考索引分配方法的功能的情況。順便提及，在圖10中，與按照第一實(shí)施例的圖像編碼設(shè)備20dv-l對應(yīng)的部分用相同的附圖標(biāo)記識別。圖像編碼設(shè)備20dv_4是對從屬視圖的圖像數(shù)據(jù)編碼的圖像處理設(shè)備。圖像編碼設(shè)備20dv-4包括模數(shù)轉(zhuǎn)換部分(A/D轉(zhuǎn)換部分)21，畫面重排緩沖器22，減法部分23，正交變換部分24，量化部分25，可逆編碼部分沈，存儲緩沖器27，和速率控制部分觀。圖像編碼設(shè)備20dv-4還包括逆量化部分31，逆正交變換部分32，加法部分33，去塊濾波器34和幀存儲器35。圖像編碼設(shè)備20dv-4還包括特征量生成部分41-4，2D圖像檢測部分43，參考索引分配部分45-4，幀內(nèi)預(yù)測部分51，運(yùn)動和視差預(yù)測補(bǔ)償部分52，及預(yù)測圖像和最佳模式選擇部分53。A/D轉(zhuǎn)換部分21把模擬圖像信號轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)，并把數(shù)字圖像數(shù)據(jù)輸出給畫面重排緩沖器22。畫面重排緩沖器22重排從A/D轉(zhuǎn)換部分21輸出的各幀圖像數(shù)據(jù)。畫面重排緩沖器22按照編碼處理中涉及的GOP結(jié)構(gòu)，重排各幀，并把重排后的圖像數(shù)據(jù)輸出給減法部分 23，特征量生成部分41-4，2D圖像檢測部分43，幀內(nèi)預(yù)測部分51，及運(yùn)動和視差預(yù)測補(bǔ)償部分52。減法部分23被供給從畫面重排緩沖器22輸出的圖像數(shù)據(jù)，和由后面說明的預(yù)測圖像和最佳模式選擇部分53選擇的預(yù)測圖像數(shù)據(jù)。減法部分23計(jì)算指示從畫面重排緩沖器22輸出的圖像數(shù)據(jù)，與從預(yù)測圖像和最佳模式選擇部分53供給的預(yù)測圖像數(shù)據(jù)之間的差的預(yù)測誤差數(shù)據(jù)。減法部分23把預(yù)測誤差數(shù)據(jù)輸出給正交變換部分M。正交變換部分M對從減法部分23輸出的預(yù)測誤差數(shù)據(jù)進(jìn)行正交變換處理，比如離散余弦變換(DCT) ,Karhunen-Loeve變換等等。正交變換部分M把通過進(jìn)行正交變換處理而獲得的變換系數(shù)數(shù)據(jù)輸出給量化部分25。量化部分25被供給從正交變換部分M輸出的變換系數(shù)數(shù)據(jù)，和來自后面說明的速率控制部分觀的速率控制信號。量化部分25量化變換系數(shù)數(shù)據(jù)，并把量化數(shù)據(jù)輸出給可逆編碼部分26和逆量化部分31。另外，量化部分25根據(jù)來自速率控制部分觀的速率控制信號，改變量化參數(shù)(量化位階)，從而改變量化數(shù)據(jù)的比特率?？赡婢幋a部分沈被供給從量化部分25輸出的量化數(shù)據(jù)，和來自后面說明的幀內(nèi)預(yù)測部分51，運(yùn)動和視差預(yù)測補(bǔ)償部分52，及預(yù)測圖像和最佳模式選擇部分53的預(yù)測模式信息。順便提及，預(yù)測模式信息包括指示編碼對象塊的塊大小的宏塊類型，預(yù)測模式，參考索引等等?？赡婢幋a部分26利用變長編碼或算術(shù)編碼，對量化數(shù)據(jù)進(jìn)行編碼處理，從而生成編碼流，并把編碼流輸出給存儲緩沖器27。另外，可逆編碼部分沈可逆地編碼預(yù)測模式信息，并把編碼的預(yù)測模式信息添加到例如編碼流的報(bào)頭信息中。存儲緩沖器27保存來自可逆編碼部分沈的編碼流。另外，存儲緩沖器27以對應(yīng)于傳輸線路的傳輸速度輸出保存的編碼流。速率控制部分觀監(jiān)視存儲緩沖器27的自由空間，按照自由空間生成速率控制信號，并把速率控制信號輸出給量化部分25。例如，速率控制部分觀從存儲緩沖器27獲得指示自由空間的信息。當(dāng)自由空間減少時，速率控制部分觀根據(jù)速率控制信號，使量化數(shù)據(jù)的比特率降低。當(dāng)存儲緩沖器27具有足夠大的自由空間時，速率控制部分觀根據(jù)速率控制信號，使量化數(shù)據(jù)的比特率升高。逆量化部分31對從量化部分25供給的量化數(shù)據(jù)進(jìn)行逆量化處理。逆量化部分31 把通過進(jìn)行逆量化處理而獲得的變換系數(shù)數(shù)據(jù)輸出給逆正交變換部分32。逆正交變換部分32把通過對從逆量化部分31供給的變換系數(shù)數(shù)據(jù)進(jìn)行逆正交變換處理而獲得的數(shù)據(jù)輸出給加法部分33。加法部分33通過相加從逆正交變換部分32供給的數(shù)據(jù)，和從預(yù)測圖像和最佳模式選擇部分53供給的預(yù)測圖像數(shù)據(jù)，生成參考畫面的圖像數(shù)據(jù)。加法部分33把圖像數(shù)據(jù)輸出給去塊濾波器34和幀內(nèi)預(yù)測部分51。去塊濾波器34進(jìn)行濾波處理，以減少在圖像編碼時發(fā)生的塊失真。去塊濾波器34進(jìn)行濾波處理，以從供給自加法部分33的圖像數(shù)據(jù)中消除塊失真。去塊濾波器34把濾波處理后的圖像數(shù)據(jù)輸出給幀存儲器35。幀存儲器35保持從去塊濾波器34供給的濾波處理之后的圖像數(shù)據(jù)，和從進(jìn)行基本視圖的編碼的圖像編碼設(shè)備20bv供給的參考畫面的圖像數(shù)據(jù)。特征量生成部分41-4生成特征量。特征量是用作判定利用時間方向的圖像之間的相關(guān)性的時間預(yù)測，和利用不同視點(diǎn)的圖像之間的相關(guān)性的視差預(yù)測中的哪一個在圖像內(nèi)占優(yōu)勢，即，在編碼從屬視圖的圖像數(shù)據(jù)時，更頻繁進(jìn)行所述時間預(yù)測和視差預(yù)測中的哪一個的判定標(biāo)準(zhǔn)的信息。特征量生成部分41-4用通過進(jìn)行時間預(yù)測和視差預(yù)測而獲得的信息生成特征量。特征量生成部分41-4利用參考畫面，檢測每個編碼對象塊的運(yùn)動向量和視差向量，并把檢出向量的長度的圖像內(nèi)平均值或方差設(shè)定為特征量。例如，特征量生成部分41-4 把從畫面重排緩沖器22輸出的圖像數(shù)據(jù)中，在時間方向上不同于編碼對象畫面的圖像的圖像數(shù)據(jù)設(shè)定為將用在時間預(yù)測中的參考畫面的圖像數(shù)據(jù)。特征量生成部分41-4通過利用時間預(yù)測用參考畫面，檢測每個編碼塊的運(yùn)動向量，并把所檢出運(yùn)動向量的長度的圖像內(nèi)平均值或方差設(shè)定為特征量。另外，特征量生成部分41-4把從圖像編碼設(shè)備20dv供給的另一個視點(diǎn)的圖像數(shù)據(jù)設(shè)定為將用在視差預(yù)測中的參考畫面的圖像數(shù)據(jù)。特征量生成部分41-4通過利用視差預(yù)測用參考畫面，檢測每個編碼對象塊的視差向量，并把所檢出視差向量的長度的圖像內(nèi)平均值或方差設(shè)定為特征量。特征量生成部分41-4還可把當(dāng)檢測運(yùn)動向量或視差向量時，編碼對象畫面的塊 (編碼對象塊)和參考畫面的塊(參考塊)之間的誤差的圖像內(nèi)合計(jì)值(例如SAD 絕對差值和)或者平均值設(shè)定為特征量。例如，特征量生成部分41-4通過把從畫面重排緩沖器22 輸出的圖像數(shù)據(jù)用作將用在時間預(yù)測中的參考畫面的圖像數(shù)據(jù)，生成每個編碼對象塊的運(yùn)動向量。特征量生成部分41-4把當(dāng)檢測運(yùn)動向量時，編碼對象塊和參考塊之間的誤差的圖像內(nèi)合計(jì)值或平均值設(shè)定為特征量。另外，特征量生成部分41-4利用從圖像編碼設(shè)備20dv 供給的另一個視點(diǎn)的圖像數(shù)據(jù)，檢測每個編碼對象塊的視差向量。特征量生成部分41-4把當(dāng)檢測視差向量時，編碼對象塊和參考塊之間的誤差的圖像內(nèi)合計(jì)值或平均值設(shè)定為特征量。特征量生成部分41-4從而生成特征量，并把生成的特征量輸出給參考索引分配部分45-4。2D圖像檢測部分43判定編碼對象畫面是否是2D圖像。例如，2D圖像檢測部分43 判定基本視圖的圖像數(shù)據(jù)和編碼對象畫面的圖像數(shù)據(jù)是否相同。當(dāng)基本視圖的圖像數(shù)據(jù)和編碼對象畫面的圖像數(shù)據(jù)不相同時，2D圖像檢測部分43判定編碼對象畫面是多視點(diǎn)圖像。 當(dāng)基本視圖的圖像數(shù)據(jù)和編碼對象畫面的圖像數(shù)據(jù)相同時，2D圖像檢測部分43判定編碼對象畫面是2D圖像。2D圖像檢測部分43把檢測結(jié)果輸出給參考索引分配部分45-4。在用作為圖像數(shù)據(jù)的屬性信息的標(biāo)記等，指示編碼對象畫面是2D圖像還是多視點(diǎn)圖像的情況下，2D圖像檢測部分43可使用該屬性信息作為檢測結(jié)果。根據(jù)在特征量生成部分41-4中生成的特征量，參考索引分配部分45-4向保存在幀存儲器35中的參考畫面分配參考索引。根據(jù)特征量，參考索引分配部分45-4向在占優(yōu)勢的預(yù)測中使用的參考畫面，分配代碼長度比分配給在另一種預(yù)測中使用的參考畫面的參考索引短的參考索引。當(dāng)生成向量(運(yùn)動向量和視差向量)的圖像內(nèi)平均值作為特征量時，參考索引分配部分45-4比較當(dāng)使用時間預(yù)測用參考畫面時的平均值，和當(dāng)使用視差預(yù)測用參考畫面時的平均值。參考索引分配部分45-4向平均值較小的參考畫面分配代碼長度較短的參考索引。另外，當(dāng)生成向量的圖像內(nèi)方差作為特征量時，參考索引分配部分45-4比較當(dāng)使用時間預(yù)測用參考畫面時的方差，和當(dāng)使用視差預(yù)測用參考畫面時的方差。參考索引分配部分45-4向方差較小的參考畫面分配代碼長度較短的參考索引。此外，當(dāng)生成編碼對象畫面的每個塊和參考塊之間的誤差作為特征量時，參考索引分配部分45-5比較當(dāng)使用時間預(yù)測用參考畫面時的誤差，和當(dāng)使用視差預(yù)測用參考畫面時的誤差。參考索引分配部分45-4 向誤差較小的參考畫面分配代碼長度較短的參考索引。另外，參考索引分配部分45-4按照來自2D圖像檢測部分43的檢測結(jié)果，設(shè)定參考索引分配方法。當(dāng)檢測到從多視點(diǎn)圖像到另一個圖像的切換時，參考索引分配部分45-4 向在視差預(yù)測中使用的參考畫面，分配代碼長度比分配給在時間預(yù)測中使用的參考畫面的參考索引短的參考索引。幀內(nèi)預(yù)測部分51利用從畫面重排緩沖器22輸出的編碼對象畫面的圖像數(shù)據(jù)，和從加法部分33供給的圖像數(shù)據(jù)，按作為候選者的所有幀內(nèi)預(yù)測模式進(jìn)行幀內(nèi)預(yù)測處理。此外，幀內(nèi)預(yù)測部分51計(jì)算每種幀內(nèi)預(yù)測模式的成本函數(shù)值，并選擇計(jì)算的成本函數(shù)值最小的幀內(nèi)預(yù)測模式，即，獲得最佳的編碼效率的幀內(nèi)預(yù)測模式，作為最佳幀內(nèi)預(yù)測模式。幀內(nèi)預(yù)測部分51把用最佳幀內(nèi)預(yù)測模式生成的預(yù)測圖像數(shù)據(jù)，關(guān)于最佳幀內(nèi)預(yù)測模式的預(yù)測模式信息，和最佳幀內(nèi)預(yù)測模式下的成本函數(shù)值輸出給預(yù)測圖像和最佳模式選擇部分53。 另外，為了獲得在成本函數(shù)值的計(jì)算中使用的生成代碼量，在按每種幀內(nèi)預(yù)測模式的幀內(nèi)預(yù)測處理中，幀內(nèi)預(yù)測部分51把關(guān)于幀內(nèi)預(yù)測模式的預(yù)測模式信息輸出給可逆編碼部分 26。順便提及，在成本函數(shù)值的生成方面，可以列舉用稱為JM(聯(lián)合模型)的HJ64/AVC參考軟件實(shí)現(xiàn)的方法。運(yùn)動和視差預(yù)測補(bǔ)償部分52對編碼對象塊的每個塊大小，進(jìn)行運(yùn)動和視差預(yù)測補(bǔ)償處理。對于從畫面重排緩沖器22讀出的圖像中的每個編碼對象塊的每個圖像，運(yùn)動和視差預(yù)測補(bǔ)償部分52利用從幀存儲器35讀取的去塊濾波處理之后的圖像數(shù)據(jù)，檢測運(yùn)動向量，并利用基本視圖的圖像數(shù)據(jù)，檢測視差向量。此外，運(yùn)動和視差預(yù)測補(bǔ)償部分52根據(jù)檢出的向量，進(jìn)行參考畫面補(bǔ)償處理，從而生成預(yù)測圖像。另外，運(yùn)動和視差預(yù)測補(bǔ)償部分52生成編碼對象塊的每個塊大小和每個參考畫面的成本函數(shù)值，并選擇使成本函數(shù)值最小的塊大小和參考畫面作為最佳幀間預(yù)測模式。 運(yùn)動和視差預(yù)測補(bǔ)償部分52把按最佳幀間預(yù)測模式生成的預(yù)測圖像數(shù)據(jù)，關(guān)于最佳幀間預(yù)測模式的預(yù)測模式信息，和最佳幀間預(yù)測模式下的成本函數(shù)值輸出給預(yù)測圖像和最佳模式選擇部分53。另外，為了獲得在成本函數(shù)值的生成中使用的生成代碼量，在每個塊大小的幀間預(yù)測處理中，運(yùn)動和視差預(yù)測補(bǔ)償部分52把關(guān)于幀間預(yù)測模式的預(yù)測模式信息輸出給可逆編碼部分26。預(yù)測圖像和最佳模式選擇部分53比較從幀內(nèi)預(yù)測部分51供給的成本函數(shù)值，和從運(yùn)動和視差預(yù)測補(bǔ)償部分52供給的成本函數(shù)值，并選擇較小的成本函數(shù)值作為其中獲得最佳編碼效率的最佳模式。另外，預(yù)測圖像和最佳模式選擇部分53把按最佳模式生成的預(yù)測圖像數(shù)據(jù)輸出給減法部分23和加法部分33。此外，預(yù)測圖像和最佳模式選擇部分53 把最佳模式的預(yù)測模式信息(宏塊類型，預(yù)測模式，參考索引等等)輸出給可逆編碼部分 26。順序提及，預(yù)測圖像和最佳模式選擇部分53以畫面為單位，或者以切片為單位進(jìn)行幀內(nèi)預(yù)測或幀間預(yù)測。[第四實(shí)施例的操作]圖11是表示第四實(shí)施例的操作的流程圖。順便提及，在圖11中，與第一實(shí)施例的處理對應(yīng)的處理用相同的附圖標(biāo)記識別。在步驟ST1，圖像編碼設(shè)備20dv_4判定編碼對象畫面是否是從屬視圖的畫面。當(dāng)編碼對象畫面是從屬視圖的畫面時，圖像編碼設(shè)備20dv-4進(jìn)入步驟ST2，當(dāng)編碼對象畫面是基本視圖的畫面時，圖像編碼設(shè)備20dv-4進(jìn)入步驟STl 1。在步驟ST2，圖像編碼設(shè)備20dv_4判定編碼對象畫面是否涉及視差或時間的多個平面。當(dāng)編碼對象畫面涉及視差和/或時間的多個平面時，圖像編碼設(shè)備20dv-4進(jìn)入步驟 ST4。當(dāng)編碼對象畫面只涉及一個參考畫面時，圖像編碼設(shè)備20dv-4進(jìn)入步驟STl 1。在步驟ST4，圖像編碼設(shè)備20dv_4判定是否檢測到編碼對象畫面是2D圖像。當(dāng)檢測到編碼對象畫面是2D圖像時，圖像編碼設(shè)備20dv-4進(jìn)入步驟ST5。當(dāng)未檢測到編碼對象畫面是2D圖像時，即，當(dāng)檢測到編碼對象畫面是多視點(diǎn)圖像時，圖像編碼設(shè)備20dv-4進(jìn)入步驟ST6。在步驟ST5，圖像編碼設(shè)備20dv_4把預(yù)先指定的方法，即，向在視差預(yù)測中使用的參考畫面分配代碼長度較短的參考索引的方法設(shè)定為參考索引分配方法，隨后進(jìn)入步驟 ST8。在步驟ST6，圖像編碼設(shè)備20dv_4生成特征量。圖像編碼設(shè)備20dv_4中的特征量生成部分41-4生成利用不同視點(diǎn)的參考畫面，對于每個塊檢測的視差向量的圖像內(nèi)平均值，和利用時間方向的參考畫面，對于每個塊檢測的運(yùn)動向量的圖像內(nèi)平均值，并把這些平均值設(shè)定為特征量。另外，特征量生成部分41-4可把圖像內(nèi)的向量的方差設(shè)定為特征量。 此外，特征量生成部分41-4可對每個塊進(jìn)行時間預(yù)測和視差預(yù)測，并生成編碼對象塊和參考塊之間的誤差的圖像內(nèi)合計(jì)值或平均值，作為特征量。特征量生成部分41-4如此生成特征量，隨后進(jìn)入步驟ST7。在步驟ST7，圖像編碼設(shè)備20dv_4確定參考索引分配方法。圖像編碼設(shè)備20dv_4 中的參考索引分配部分45-4根據(jù)在步驟ST6中生成的特征量，確定參考索引分配方法，隨后進(jìn)入步驟ST8。參考索引分配部分45-4確定分配方法，以致向當(dāng)計(jì)算平均值較小或者方差較小的向量時使用的參考畫面分配代碼長度較短的參考索引。另外，參考索引分配部分 45-4確定分配方法，以致向在時間預(yù)測和視差預(yù)測之中的誤差較小者中使用的參考畫面分配代碼長度較短的參考索引。在步驟ST8，圖像編碼設(shè)備20dv_4判定是否需要改變分配方法。當(dāng)在步驟ST5或步驟ST7中確定的分配方法不同于當(dāng)前分配方法時，圖像編碼設(shè)備20dv-4進(jìn)入步驟ST9。 當(dāng)在步驟ST5或步驟ST7中確定的分配方法和當(dāng)前分配方法相同時，圖像編碼設(shè)備20dv-4 進(jìn)入步驟STlO。在步驟ST9，圖像編碼設(shè)備20dv_4發(fā)出RPLR(參考畫面列表重排序)命令。圖像編碼設(shè)備20dv-4中的參考索引分配部分45-4發(fā)出RPLR命令，以致即使當(dāng)參考索引的分配
25被改變時，圖像解碼設(shè)備也能夠根據(jù)參考索引，使用正確的參考畫面。具體地說，參考索引分配部分45-4把RPLR作為語法元素提供給可逆編碼部分26，以把RPLR包括在例如圖像數(shù)據(jù)的編碼流的報(bào)頭中，隨后進(jìn)入步驟ST10。在步驟ST10，圖像編碼設(shè)備20dv_4執(zhí)行對編碼對象畫面編碼的處理。另外，在編碼處理中，參考索引分配部分45-4用在步驟ST5或步驟ST7中確定的關(guān)于后續(xù)畫面的分配方法，設(shè)定參考索引。在步驟ST11，圖像編碼設(shè)備20dv_4用預(yù)先設(shè)定的分配方法分配參考索引，并在編碼對象畫面是基本視圖的畫面時，和當(dāng)編碼對象畫面涉及一個參考畫面時，進(jìn)行編碼處理。 對每個編碼對象畫面重復(fù)這樣的處理。按照第四實(shí)施例，當(dāng)在對于從屬視圖的編碼處理中，進(jìn)行時間預(yù)測或視差預(yù)測時， 能夠向在頻繁執(zhí)行的預(yù)測方式中使用的參考畫面分配代碼長度較短的參考索引。于是，能夠提高從屬視圖的編碼效率。此外，即使當(dāng)進(jìn)行從多視點(diǎn)圖像到2D圖像的切換時，就2D圖像來說，代碼長度較短的參考索引被分配給在視差預(yù)測中使用的參考畫面。從而，即使當(dāng)從屬視圖被切換成2D圖像時，也能夠提高從屬視圖的編碼效率。<6.第五實(shí)施例〉和圖1中的Caml的B畫面中一樣，當(dāng)LO預(yù)測(LIST_0)和Ll預(yù)測(LIST_1)各自指示時間預(yù)測用參考畫面和視差預(yù)測用參考畫面，并且向每個列表獨(dú)立分配參考索引時， LO預(yù)測和Ll預(yù)測中被分配相同參考索引的參考畫面可被用于不同的預(yù)測方式。例如，參考索引ref_idx = 0可被分配給LO預(yù)測(LIST_0)中的時間預(yù)測用參考畫面，ref_idx = 0 可被分配給Ll預(yù)測(LIST_1)中的視差預(yù)測用參考畫面。另外，在B畫面的雙向預(yù)測中，使用LO預(yù)測(LIST_0)和Ll預(yù)測(LIST_1)中的相同參考索引的參考畫面，所述參考畫面的平均值被設(shè)定為預(yù)測圖像。從而，當(dāng)在B畫面的雙向預(yù)測中，把相同的參考索引用于不同的預(yù)測方式時，編碼效率會被降低。例如，當(dāng)在基本視圖和從屬視圖之間存在亮度差時，亮度差的影響出現(xiàn)在預(yù)測圖像中，以致編碼效率會被降低。另外，例如，當(dāng)發(fā)出閃光，從而從屬視圖的亮度隨著時間的過去而變化時，發(fā)出閃光的影響出現(xiàn)在預(yù)測圖像中，以致編碼效率會被降低。因此，上述參考索引分配部分45-1 45-4分配參考索弓丨，以致當(dāng)LO預(yù)測 (LIST_0)和Ll預(yù)測(LIST_1)各自指示時間預(yù)測用參考畫面和視差預(yù)測用參考畫面時，相同參考索引的畫面代表相同預(yù)測方式的參考畫面。這可避免當(dāng)在雙向預(yù)測中，利用相同參考索引的參考畫面生成預(yù)測圖像時，由不同預(yù)測方式的參考畫面的使用而引起的編碼效率的降低。<在用軟件處理執(zhí)行圖像編碼的情況下的結(jié)構(gòu)>此外，圖像處理設(shè)備可以是利用程序執(zhí)行上述一系列處理的計(jì)算機(jī)設(shè)備。圖12是圖解說明用程序執(zhí)行上述一系列處理的計(jì)算機(jī)設(shè)備的結(jié)構(gòu)的示圖。計(jì)算機(jī)設(shè)備60的CPU (中央處理器)61按照保存在ROM(只讀存儲器)62或記錄部分68中的計(jì)算機(jī)程序，執(zhí)行各種處理。RAM(隨機(jī)存取存儲器)63適當(dāng)保存由CPU 61執(zhí)行的計(jì)算機(jī)程序，數(shù)據(jù)等等。CPU 61、ROM 62和RAM 63由總線64互連。CPU 61還經(jīng)總線64與輸入輸出接口 65連接。輸入輸出接口 65與由觸摸面板、鍵盤、鼠標(biāo)、麥克風(fēng)等構(gòu)成的輸入部分66，和由顯示器等構(gòu)成的輸出部分67連接。CPU 61響應(yīng)從輸入部分66輸入的命令，執(zhí)行各種處理。CPU 61隨后把處理結(jié)果輸出給輸出部分67。與輸入輸出接口 65連接的記錄部分68由硬盤或SSD(固態(tài)驅(qū)動器)構(gòu)成。CPU 61執(zhí)行的計(jì)算機(jī)程序和各種數(shù)據(jù)記錄在記錄部分68中。通信部分69經(jīng)有線或無線通信介質(zhì)，比如包括因特網(wǎng)和局域網(wǎng)的網(wǎng)絡(luò)，數(shù)字廣播等等，與外部設(shè)備通信。另外，計(jì)算機(jī)設(shè)備 60可經(jīng)通信部分69獲得計(jì)算機(jī)程序，和把計(jì)算機(jī)程序記錄在ROM 62或記錄部分68中。當(dāng)諸如磁盤、光盤、磁光盤、半導(dǎo)體存儲器之類的可拆卸介質(zhì)72被裝入驅(qū)動器70 中時，驅(qū)動器70驅(qū)動這些可拆卸介質(zhì)72，獲得記錄在可拆卸介質(zhì)72上的計(jì)算機(jī)程序、數(shù)據(jù)等。必要時，獲得的計(jì)算機(jī)程序和數(shù)據(jù)被傳給ROM 62、RAM 63或者記錄部分68。CPU 61讀出和運(yùn)行執(zhí)行上述一系列處理的計(jì)算機(jī)程序，并對記錄在記錄部分68 或可拆卸介質(zhì)72中的多視點(diǎn)圖像的圖像數(shù)據(jù)，或者經(jīng)通信部分69供給的多視點(diǎn)圖像的圖像數(shù)據(jù)編碼。注意，本發(fā)明不應(yīng)被解釋成局限于上述實(shí)施例。例如，多視點(diǎn)圖像并不局限于三個圖像，相反可以是兩個視點(diǎn)的圖像。本發(fā)明的實(shí)施例以舉例說明的形式公開了本發(fā)明的技術(shù)，顯然本領(lǐng)域的技術(shù)人員能夠做出實(shí)施例中的修改和替換，而不脫離本發(fā)明的精神。艮口， 為了確定本發(fā)明的精神，應(yīng)參考權(quán)利要求部分。在按照本發(fā)明的實(shí)施例的圖像處理設(shè)備和圖像處理方法中，生成用作判定利用時間方向的圖像之間的相關(guān)性的時間預(yù)測，和利用不同視點(diǎn)的圖像之間的相關(guān)性的視差預(yù)測中的哪一個在圖像編碼中占優(yōu)勢的判定標(biāo)準(zhǔn)的特征量，根據(jù)所述特征量，向預(yù)測中使用的參考畫面分配參考索引。例如，在優(yōu)勢預(yù)測中使用的參考畫面被分配與分配給用于另一種預(yù)測的參考畫面的參考索引相比，代碼長度較短的參考索引。從而，能夠減少參考索引的代碼量，能夠提高多視點(diǎn)圖像編碼的編碼效率。從而，本發(fā)明適用于生成和編碼多視點(diǎn)圖像的成像設(shè)備，編輯和編碼多視點(diǎn)圖像的編輯設(shè)備，編碼多視點(diǎn)圖像并把多視點(diǎn)圖像記錄在記錄介質(zhì)上的記錄設(shè)備，等等。本發(fā)明包含與在2010年7月16日向日本專利局提交的日本優(yōu)先權(quán)專利申請JP 2010-161303中公開的主題相關(guān)的主題，該專利申請的整個內(nèi)容在此引為參考。
權(quán)利要求
1.一種圖像處理設(shè)備，包括配置成生成特征量的特征量生成部分，所述特征量用作判定利用時間方向的圖像之間的相關(guān)性的時間預(yù)測以及利用不同視點(diǎn)的圖像之間的相關(guān)性的視差預(yù)測中的哪一個在圖像編碼中占優(yōu)勢的判定標(biāo)準(zhǔn)；和參考索引分配部分，所述參考索引分配部分被配置成根據(jù)所述特征量生成部分生成的特征量，向在所述預(yù)測中使用的參考畫面分配參考索引。
2.按照權(quán)利要求1所述的圖像處理設(shè)備，其中所述參考索引分配部分向在占優(yōu)勢的預(yù)測中使用的參考畫面分配代碼長度比分配給在另一種預(yù)測中使用的參考畫面的參考索引短的參考索引。
3.按照權(quán)利要求2所述的圖像處理設(shè)備，其中所述特征量生成部分根據(jù)用所述預(yù)測獲得的信息，生成所述特征量。
4.按照權(quán)利要求3所述的圖像處理設(shè)備，其中所述特征量生成部分進(jìn)行圖像切換位置的檢測，并把檢測結(jié)果用作所述特征量。
5.按照權(quán)利要求3所述的圖像處理設(shè)備，其中所述特征量生成部分在編碼對象畫面的編碼之前利用編碼對象畫面和參考畫面，檢測運(yùn)動向量和視差向量，并根據(jù)檢測的向量、或者當(dāng)檢測向量時編碼對象塊和參考塊之間的誤差，生成所述特征量。
6.按照權(quán)利要求3所述的圖像處理設(shè)備，其中所述特征量生成部分根據(jù)用在編碼對象畫面的編碼之前進(jìn)行的圖像編碼中所述預(yù)測獲得的信息，生成所述特征量。
7.按照權(quán)利要求6所述的圖像處理設(shè)備，其中所述特征量生成部分用利用編碼對象畫面和參考畫面檢測的運(yùn)動向量和視差向量、當(dāng)檢測向量時編碼對象塊和參考塊之間的誤差、成本函數(shù)值和指示參考索引的比例的統(tǒng)計(jì)量中的一個，生成所述特征量。
8.按照權(quán)利要求4所述的圖像處理設(shè)備，其中 所述特征量生成部分進(jìn)行場景變化檢測，作為所述圖像切換位置的檢測，并把檢測結(jié)果用作所述特征量，和當(dāng)檢測到場景變化時，所述參考索引分配部分向在視差預(yù)測中使用的參考畫面分配代碼長度比分配給在時間預(yù)測中使用的參考畫面的參考索引短的參考索引。
9.按照權(quán)利要求4所述的圖像處理設(shè)備，其中所述特征量生成部分進(jìn)行從多視點(diǎn)圖像到另一個圖像的圖像切換的檢測，作為所述圖像切換位置的檢測，并把檢測結(jié)果用作所述特征量，和當(dāng)檢測到從多視點(diǎn)圖像到另一個圖像的圖像切換時，所述參考索引分配部分向在視差預(yù)測中使用的參考畫面分配代碼長度比分配給在時間預(yù)測中使用的參考畫面的參考索引短的參考索引。
10.按照權(quán)利要求2所述的圖像處理設(shè)備，其中當(dāng)所述參考索引分配部分向在LO預(yù)測和Ll預(yù)測每一個中的時間預(yù)測和視差預(yù)測中使用的參考畫面分配參考索引時，所述參考索引分配部分在時間預(yù)測和視差預(yù)測每個之中分配相同的參考索引。
11. 一種圖像處理方法，包括生成特征量，所述特征量用作判定利用時間方向的圖像之間的相關(guān)性的時間預(yù)測以及利用不同視點(diǎn)的圖像之間的相關(guān)性的視差預(yù)測中的哪一個在圖像編碼中占優(yōu)勢的判定標(biāo)準(zhǔn)；和根據(jù)生成的特征量，向在所述預(yù)測中使用的參考畫面分配參考索引。
全文摘要
本發(fā)明提供一種圖像處理設(shè)備和圖像處理方法。所述圖像處理設(shè)備包括配置成生成特征量的特征量生成部分，所述特征量用作判定利用時間方向的圖像之間的相關(guān)性的時間預(yù)測以及利用不同視點(diǎn)的圖像之間的相關(guān)性的視差預(yù)測中的哪一個在圖像編碼中占優(yōu)勢的判定標(biāo)準(zhǔn)，和參考索引分配部分，所述參考索引分配部分被配置成根據(jù)所述特征量生成部分生成的特征量，向在所述預(yù)測中使用的參考畫面分配參考索引。
文檔編號H04N7/50GK102340666SQ20111018997
公開日2012年2月1日 申請日期2011年7月8日 優(yōu)先權(quán)日2010年7月16日
發(fā)明者北村卓也, 鈴木輝彥, 高橋良知 申請人:索尼公司