圖像預(yù)測(cè)編碼裝置和方法以及圖像預(yù)測(cè)解碼裝置和方法
【專利摘要】圖像預(yù)測(cè)編碼裝置和方法以及圖像預(yù)測(cè)解碼裝置和方法。圖像預(yù)測(cè)編碼裝置具有：區(qū)域分割單元，其將輸入圖像分割為多個(gè)區(qū)域；預(yù)測(cè)信號(hào)生成單元，其針對(duì)由所述區(qū)域分割單元分割出的所述多個(gè)區(qū)域中作為處理對(duì)象的對(duì)象區(qū)域的對(duì)象像素信號(hào)，生成預(yù)測(cè)信號(hào)；殘差信號(hào)生成單元，其生成由所述預(yù)測(cè)信號(hào)生成單元生成的預(yù)測(cè)信號(hào)與所述對(duì)象像素信號(hào)的殘差信號(hào)；以及編碼單元，其對(duì)由所述殘差信號(hào)生成單元生成的所述殘差信號(hào)進(jìn)行編碼，生成壓縮數(shù)據(jù)，所述預(yù)測(cè)信號(hào)生成單元根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域來生成紋理信號(hào)，利用預(yù)定的紋理合成方法對(duì)所生成的紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
【專利說明】圖像預(yù)測(cè)編碼裝置和方法以及圖像預(yù)測(cè)解碼裝置和方法
[0001]本發(fā)明專利申請(qǐng)是發(fā)明名稱為“圖像預(yù)測(cè)編碼裝置、圖像預(yù)測(cè)編碼方法、圖像預(yù)測(cè)編碼程序、圖像預(yù)測(cè)解碼裝置、圖像預(yù)測(cè)解碼方法以及圖像預(yù)測(cè)解碼程序”、申請(qǐng)日為2007年04月23日、國(guó)際申請(qǐng)?zhí)枮椤癙CT/JP2007/058723”、國(guó)家申請(qǐng)?zhí)枮椤?00780015355.6”的發(fā)明專利申請(qǐng)的分案申請(qǐng)。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及圖像預(yù)測(cè)編碼裝置、圖像預(yù)測(cè)編碼方法、圖像預(yù)測(cè)編碼程序、圖像預(yù)測(cè)解碼裝置、圖像預(yù)測(cè)解碼方法以及圖像預(yù)測(cè)解碼程序，尤其涉及利用紋理合成方法進(jìn)行預(yù)測(cè)編碼和解碼的圖像預(yù)測(cè)編碼裝置、圖像預(yù)測(cè)編碼方法、圖像預(yù)測(cè)編碼程序、圖像預(yù)測(cè)解碼裝置、圖像預(yù)測(cè)解碼方法以及圖像預(yù)測(cè)解碼程序。
【背景技術(shù)】
[0003]為了高效地對(duì)靜態(tài)圖像和動(dòng)態(tài)圖像進(jìn)行傳送和蓄積而采用壓縮編碼技術(shù)。在動(dòng)態(tài)圖像的情況下，廣泛米用 MPEG — I ?4 或 ITU( International Telecommunication Union:國(guó)際電信聯(lián)盟)H.261?H.264的方式。
[0004]在這些編碼方式中，在將作為編碼對(duì)象的圖像分割成多個(gè)塊之后進(jìn)行編碼/解碼處理。在畫面內(nèi)的預(yù)測(cè)編碼中，利用位于與對(duì)象塊相同的畫面內(nèi)的相鄰的已再現(xiàn)的圖像信號(hào)(將被壓縮的圖像數(shù)據(jù)恢復(fù)后的圖像信號(hào))來生成預(yù)測(cè)信號(hào)，之后對(duì)從對(duì)象塊信號(hào)中減去該預(yù)測(cè)信號(hào)的差分信號(hào)進(jìn)行編碼。在畫面間的預(yù)測(cè)編碼中，通過參照位于與對(duì)象塊不同的畫面內(nèi)的相鄰的已再現(xiàn)的圖像信號(hào)，來對(duì)動(dòng)作進(jìn)行校正，生成預(yù)測(cè)信號(hào)，對(duì)從對(duì)象塊信號(hào)中減去該預(yù)測(cè)信號(hào)的差分信號(hào)進(jìn)行編碼。
[0005]例如，在H.264的畫面內(nèi)預(yù)測(cè)編碼中，采用了沿規(guī)定方向外插與成為編碼對(duì)象的塊相鄰的已再現(xiàn)的像素值來生成預(yù)測(cè)信號(hào)的方法。圖18是用于說明ITU H.264所采用的畫面內(nèi)預(yù)測(cè)方法的示意圖。在圖18 (A)中，對(duì)象塊1802是成為編碼對(duì)象的塊，由與該對(duì)象塊1802的邊界相鄰的像素A?M構(gòu)成的像素組1801是相鄰區(qū)域，是在過去的處理中已再現(xiàn)的圖像信號(hào)。
[0006]在該情況下，向下方拉伸位于對(duì)象塊1802正上方的相鄰像素即像素組1801來生成預(yù)測(cè)信號(hào)。并且在圖18 (B)中，向右拉伸位于對(duì)象塊1804左側(cè)的已再現(xiàn)像素(I?L)來生成預(yù)測(cè)信號(hào)。生成預(yù)測(cè)信號(hào)的具體方法例如記載于專利文獻(xiàn)I中。這樣，取得對(duì)象塊的像素信號(hào)與利用圖18 (A)?(I)所示的方法生成的9個(gè)預(yù)測(cè)信號(hào)的每一個(gè)的差分，將差分值最小的預(yù)測(cè)信號(hào)作為最佳預(yù)測(cè)信號(hào)。如上所述，通過外插像素可以生成預(yù)測(cè)信號(hào)。以上內(nèi)容記載于下述專利文獻(xiàn)I中。
[0007]在通常的畫面間預(yù)測(cè)編碼中，針對(duì)作為編碼對(duì)象的塊，利用從已再現(xiàn)的畫面中搜索與該像素信號(hào)類似的信號(hào)的方法來生成預(yù)測(cè)信號(hào)。然后，對(duì)搜索到的信號(hào)所構(gòu)成的區(qū)域與對(duì)象塊之間的空間位移量即運(yùn)動(dòng)矢量、以及對(duì)象塊的像素信號(hào)與預(yù)測(cè)信號(hào)之間的殘差信號(hào)進(jìn)行編碼。像這樣按照每個(gè)塊來搜索運(yùn)動(dòng)矢量的方法被稱為塊匹配。[0008]圖4是用于說明塊匹配處理的示意圖。這里，以編碼對(duì)象的畫面401上的對(duì)象塊402為例說明預(yù)測(cè)信號(hào)的生成步驟。畫面403已再現(xiàn)完畢，區(qū)域404是在空間上與對(duì)象塊402同一位置的區(qū)域。在塊匹配中，設(shè)定包圍區(qū)域404的搜索范圍405，從該搜索范圍的像素信號(hào)中檢測(cè)與對(duì)象塊402的像素信號(hào)的絕對(duì)值誤差和最小的區(qū)域406。該區(qū)域406的信號(hào)成為預(yù)測(cè)信號(hào)，檢測(cè)從區(qū)域404向區(qū)域406的位移量作為運(yùn)動(dòng)矢量407。在H.264中，為了對(duì)應(yīng)于圖像局部特征的變化，而準(zhǔn)備了用于對(duì)運(yùn)動(dòng)矢量進(jìn)行編碼的、塊大小不同的多個(gè)預(yù)測(cè)類型。H.264的預(yù)測(cè)類型記載于例如專利文獻(xiàn)2中。
[0009]在動(dòng)態(tài)圖像數(shù)據(jù)的壓縮編碼中，各幀的編碼順序可以是任意的。因此，在通過參照已再現(xiàn)畫面來生成預(yù)測(cè)信號(hào)的畫面間預(yù)測(cè)中，還具有針對(duì)編碼順序的3種方法。第I種方法是按照再現(xiàn)順序參照過去的已再現(xiàn)畫面來生成預(yù)測(cè)信號(hào)的前方向預(yù)測(cè)；第2種方法是按照再現(xiàn)順序參照未來的已再現(xiàn)畫面的后方向預(yù)測(cè)；第3種方法是同時(shí)進(jìn)行前方向預(yù)測(cè)和后方向預(yù)測(cè)，并對(duì)2個(gè)預(yù)測(cè)信號(hào)進(jìn)行平均化的雙方向預(yù)測(cè)。畫面間預(yù)測(cè)的種類記載于例如專利文獻(xiàn)3中。
[0010]專利文獻(xiàn)1:美國(guó)專利公報(bào)第6765964號(hào)
[0011]專利文獻(xiàn)2:美國(guó)專利公報(bào)第7003035號(hào)
[0012]專利文獻(xiàn)3:美國(guó)專利公報(bào)第6259739號(hào)
[0013]但是，在現(xiàn)有技術(shù)中，通過復(fù)制包含由編碼引起的失真(例如量子化噪聲)的再現(xiàn)像素值來生成各像素的預(yù)測(cè)信號(hào)，因此預(yù)測(cè)信號(hào)也包含該失真。包含由編碼引起的失真的預(yù)測(cè)信號(hào)成為殘差信號(hào)的編碼量增加和再現(xiàn)圖質(zhì)劣化等使編碼效率下降的主要原因。
[0014]由編碼引起的失真的影響可以通過預(yù)測(cè)信號(hào)的平滑化來抑制，也可以通過對(duì)2個(gè)預(yù)測(cè)信號(hào)進(jìn)行平均化的雙方向預(yù)測(cè)來抑制。但是，雙方向預(yù)測(cè)為了在再現(xiàn)側(cè)生成2個(gè)預(yù)測(cè)信號(hào)，需要對(duì)2個(gè)運(yùn)動(dòng)矢量進(jìn)行編碼，因此，當(dāng)為了提高預(yù)測(cè)信號(hào)的平滑化效果而增加平均化信號(hào)的數(shù)量時(shí)，要進(jìn)行編碼的運(yùn)動(dòng)矢量的個(gè)數(shù)也會(huì)增加。
[0015]并且，在利用現(xiàn)有技術(shù)所采用的基于外插的預(yù)測(cè)信號(hào)的生成方法來生成畫面內(nèi)預(yù)測(cè)信號(hào)的情況下，存在針對(duì)遠(yuǎn)離對(duì)象塊邊界的像素的預(yù)測(cè)精度下降的問題。并且，圖18所示的在幾何學(xué)的方向上拉伸像素值的方法存在不能高效預(yù)測(cè)具有復(fù)雜的紋理信號(hào)(圖案)的圖像信號(hào)的問題。而且，如圖18所示，相鄰的像素組(例如1801、1803、1805…)是解碼后的像素值，包含由編碼引起的失真(例如量子化噪聲)，因此，在基于這些像素組來生成預(yù)測(cè)信號(hào)時(shí)，預(yù)測(cè)信號(hào)中也包含編碼失真。

【發(fā)明內(nèi)容】

[0016]因此，為了解決上述課題，本發(fā)明的目的在于提供可以高效地生成預(yù)測(cè)信號(hào)的圖像預(yù)測(cè)編碼裝置、圖像預(yù)測(cè)編碼方法、圖像預(yù)測(cè)解碼裝置以及圖像預(yù)測(cè)解碼方法。
[0017]為了解決上述課題 ，本發(fā)明的圖像預(yù)測(cè)編碼裝置的特征在于，該圖像預(yù)測(cè)編碼裝置具有:區(qū)域分割單元，其將輸入圖像分割為多個(gè)區(qū)域；預(yù)測(cè)信號(hào)生成單元，其針對(duì)由所述區(qū)域分割單元分割出的所述多個(gè)區(qū)域中作為處理對(duì)象的對(duì)象區(qū)域的對(duì)象像素信號(hào)，生成預(yù)測(cè)信號(hào)；殘差信號(hào)生成單元，其生成由所述預(yù)測(cè)信號(hào)生成單元生成的預(yù)測(cè)信號(hào)與所述對(duì)象像素信號(hào)的殘差信號(hào)；以及編碼單元，其對(duì)由所述殘差信號(hào)生成單元生成的所述殘差信號(hào)進(jìn)行編碼，生成壓縮數(shù)據(jù)，所述預(yù)測(cè)信號(hào)生成單元根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域來生成紋理信號(hào)，利用預(yù)定的紋理合成方法對(duì)所生成的紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
[0018]根據(jù)該發(fā)明，可以將輸入圖像分割為多個(gè)區(qū)域，針對(duì)分割出的所述多個(gè)區(qū)域中作為處理對(duì)象的對(duì)象區(qū)域的對(duì)象像素信號(hào)，生成預(yù)測(cè)信號(hào)，生成所生成的預(yù)測(cè)信號(hào)與所述對(duì)象像素信號(hào)的殘差信號(hào)，對(duì)所生成的所述殘差信號(hào)進(jìn)行編碼來生成壓縮數(shù)據(jù)。這里，在該發(fā)明中，可以根據(jù)由與對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域來生成紋理信號(hào)，并利用預(yù)定的紋理合成方法對(duì)所生成的紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。由此，由于利用圖像的紋理合成方法來生成預(yù)測(cè)信號(hào)，因此可以防止針對(duì)遠(yuǎn)離對(duì)象區(qū)域邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0019]并且，優(yōu)選本發(fā)明的圖像預(yù)測(cè)編碼裝置中的所述預(yù)測(cè)信號(hào)生成單元根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域，來生成與該相鄰區(qū)域相關(guān)性高的多個(gè)紋理信號(hào)，并利用預(yù)定的合成方法對(duì)所生成多個(gè)的紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
[0020]根據(jù)該發(fā)明，可以根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域來生成與該相鄰區(qū)域相關(guān)性高的多個(gè)紋理信號(hào)，并利用預(yù)定的紋理合成方法對(duì)所生成的多個(gè)紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。由此，可以利用對(duì)象區(qū)域與相鄰于該對(duì)象區(qū)域的相鄰區(qū)域相關(guān)性高的性質(zhì)，可以防止針對(duì)遠(yuǎn)離對(duì)象區(qū)域邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0021]并且，優(yōu)選本發(fā)明的圖像預(yù)測(cè)編碼裝置中的所述預(yù)測(cè)信號(hào)生成單元根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的多個(gè)相鄰區(qū)域，來生成與該多個(gè)相鄰區(qū)域的每一個(gè)相關(guān)性高的多個(gè)紋理信號(hào)，并利用預(yù)定的合成方法對(duì)所生成的多個(gè)紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
[0022]根據(jù)該發(fā)明，可以根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的多個(gè)相鄰區(qū)域來生成與該多個(gè)相鄰區(qū)域的每一個(gè)相關(guān)性高的多個(gè)紋理信號(hào)，并利用預(yù)定的紋理合成方法對(duì)所生成的多個(gè)紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。由此，可以利用對(duì)象區(qū)域與相鄰于該對(duì)象區(qū)域的相鄰區(qū)域相關(guān)性高的性質(zhì)，可以防止針對(duì)遠(yuǎn)離對(duì)象區(qū)域邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0023]并且，優(yōu)選本發(fā)明的圖像預(yù)測(cè)編碼裝置中的所述預(yù)測(cè)信號(hào)生成單元還重復(fù)與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素值來形成像素，由此生成外插紋理信號(hào)，并利用預(yù)定的合成方法對(duì)所述紋理信號(hào)和所述外插紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。
[0024]根據(jù)該發(fā)明，可以重復(fù)與對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素值來形成像素，由此生成外插紋理信號(hào)，并利用預(yù)定的合成方法對(duì)紋理信號(hào)和外插紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。由此，可以防止針對(duì)遠(yuǎn)離對(duì)象區(qū)域邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0025]并且，優(yōu)選本發(fā)明的圖像預(yù)測(cè)編碼裝置中的所述預(yù)測(cè)信號(hào)生成單元從預(yù)定的已再現(xiàn)圖像即搜索區(qū)域中搜索與由相鄰于所述對(duì)象像素信號(hào)的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域相關(guān)性高的預(yù)測(cè)相鄰區(qū)域，將根據(jù)該搜索到的預(yù)測(cè)相鄰區(qū)域所決定的圖像區(qū)域作為紋理信號(hào)。[0026]根據(jù)該發(fā)明，可以從預(yù)定的已再現(xiàn)圖像即搜索區(qū)域中搜索與由相鄰于對(duì)象像素信號(hào)的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域相關(guān)性高的預(yù)測(cè)相鄰區(qū)域，將根據(jù)該搜索到的預(yù)測(cè)相鄰區(qū)域所決定的圖像區(qū)域作為紋理信號(hào)。由此，可以利用對(duì)象區(qū)域與相鄰于該對(duì)象區(qū)域的相鄰區(qū)域相關(guān)性高的性質(zhì)，從已再現(xiàn)圖像區(qū)域中檢測(cè)相對(duì)于相鄰區(qū)域誤差最少的區(qū)域，來作為預(yù)測(cè)相鄰區(qū)域，將與該預(yù)測(cè)相鄰區(qū)域相鄰并且與對(duì)象區(qū)域?qū)?yīng)的像素組作為對(duì)象區(qū)域的紋理信號(hào)，由此即使在紋理比較復(fù)雜的情況下也能夠生成與相鄰區(qū)域相同圖案的預(yù)測(cè)信號(hào)，并且即使遠(yuǎn)離對(duì)象區(qū)域邊界，也能夠生成相同圖案的紋理信號(hào)。
[0027]并且，優(yōu)選本發(fā)明的圖像預(yù)測(cè)編碼裝置中的所述編碼單元對(duì)表示所述紋理合成方法的關(guān)聯(lián)信息進(jìn)行編碼，具有發(fā)送單元，該發(fā)送單元將編碼后的所述關(guān)聯(lián)信息與由所述編碼單元編碼的編碼信號(hào)一起進(jìn)行發(fā)送。
[0028]根據(jù)該發(fā)明，可以對(duì)表示紋理合成方法的關(guān)聯(lián)信息進(jìn)行編碼，并與編碼后的編碼信號(hào)一起發(fā)送編碼后的關(guān)聯(lián)信號(hào)。由此，在接收側(cè)可以獲知圖像的紋理合成方法，并在接收側(cè)利用該所獲知的紋理合成方法生成預(yù)測(cè)信號(hào)，因此可以防止針對(duì)遠(yuǎn)離對(duì)象區(qū)域邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0029]并且，優(yōu)選本發(fā)明的圖像預(yù)測(cè)編碼裝置中的所述預(yù)測(cè)信號(hào)生成單元利用預(yù)定的加權(quán)系數(shù)對(duì)針對(duì)所述對(duì)象像素信號(hào)的多個(gè)紋理信號(hào)進(jìn)行加權(quán)平均處理，由此進(jìn)行合成，生成預(yù)測(cè)信號(hào)。
[0030]根據(jù)該發(fā)明，可以利用預(yù)定的加權(quán)系數(shù)對(duì)針對(duì)對(duì)象像素信號(hào)的多個(gè)紋理信號(hào)進(jìn)行加權(quán)平均處理，由此進(jìn)行合成，生成預(yù)測(cè)信號(hào)。由此，通過所生成的紋理信號(hào)的合成(平均化)，可以生成在統(tǒng)計(jì)上誤差少的預(yù)測(cè)信號(hào)。
[0031]而且，根據(jù)相鄰區(qū)域而與已再現(xiàn)圖像區(qū)域之間的差分值不是很大的差的情況下的不確定性的課題例如具有以下效果，即:通過利用例如模板匹配以相關(guān)性高的方式生成的紋理信號(hào)的合成(平均化)，可以生成在統(tǒng)計(jì)上誤差少的預(yù)測(cè)信號(hào)。并且，根據(jù)本發(fā)明，通過對(duì)多個(gè)紋理信號(hào)進(jìn)行加權(quán)平均處理，由此具有可以抑制各紋理中所包含的編碼失真的效果，可以生成誤差少的預(yù)測(cè)信號(hào)。
[0032]并且，優(yōu)選本發(fā)明的圖像預(yù)測(cè)編碼裝置中的所述預(yù)測(cè)信號(hào)生成單元從與對(duì)象像素信號(hào)相同的畫面內(nèi)即第I搜索區(qū)域中，根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域，至少生成一個(gè)與該相鄰區(qū)域相關(guān)性高的紋理信號(hào)，從與所述第I搜索區(qū)域不同的畫面即第2搜索區(qū)域中，根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域，至少生成一個(gè)與該相鄰區(qū)域相關(guān)性高的紋理信號(hào)，并利用預(yù)定的紋理合成方法對(duì)分別生成的紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。
[0033]根據(jù)該發(fā)明，可以從與對(duì)象像素信號(hào)相同的畫面內(nèi)即第I搜索區(qū)域中，根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域，至少生成一個(gè)與該相鄰區(qū)域相關(guān)性高的紋理信號(hào)，從與所述第I搜索區(qū)域不同的畫面即第2搜索區(qū)域中，根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域，至少生成一個(gè)與該相鄰區(qū)域相關(guān)性高的紋理信號(hào)，并利用預(yù)定的紋理合成方法對(duì)分別生成的紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。由此，由于利用圖像的紋理合成方法來生成預(yù)測(cè)信號(hào)，因此可以防止針對(duì)遠(yuǎn)離對(duì)象區(qū)域邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。[0034]并且，本發(fā)明的圖像預(yù)測(cè)編碼裝置的特征在于，該圖像預(yù)測(cè)編碼裝置具有:區(qū)域分割單元，其將輸入圖像分割為多個(gè)區(qū)域；預(yù)測(cè)信號(hào)生成單元，其針對(duì)由所述區(qū)域分割單元分割出的所述多個(gè)區(qū)域中作為處理對(duì)象的對(duì)象區(qū)域的對(duì)象像素信號(hào)，生成預(yù)測(cè)信號(hào)；殘差信號(hào)生成單元，其生成由所述預(yù)測(cè)信號(hào)生成單元生成的預(yù)測(cè)信號(hào)與所述對(duì)象像素信號(hào)的殘差信號(hào)；以及編碼單元，其對(duì)由所述殘差信號(hào)生成單元生成的所述殘差信號(hào)進(jìn)行編碼，生成壓縮信號(hào)，所述預(yù)測(cè)信號(hào)生成單元重復(fù)與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素值來形成像素，由此生成外插紋理信號(hào)，并利用預(yù)定的合成方法對(duì)所述外插紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。
[0035]根據(jù)本發(fā)明，可以將輸入圖像分割為多個(gè)區(qū)域，針對(duì)分割出的所述多個(gè)區(qū)域中作為處理對(duì)象的對(duì)象區(qū)域的對(duì)象像素信號(hào)，生成預(yù)測(cè)信號(hào)，生成所生成的預(yù)測(cè)信號(hào)與所述對(duì)象像素信號(hào)的殘差信號(hào)，對(duì)所生成的所述殘差信號(hào)進(jìn)行編碼來生成壓縮信號(hào)。而且，可以重復(fù)與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素值來形成像素，由此生成外插紋理信號(hào)，并利用預(yù)定的合成方法對(duì)所述外插紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。由此，可以防止針對(duì)遠(yuǎn)離對(duì)象區(qū)域邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0036]此外，本發(fā)明的圖像預(yù)測(cè)解碼裝置的特征在于，該圖像預(yù)測(cè)解碼裝置具有:殘差信號(hào)恢復(fù)單元，其從壓縮數(shù)據(jù)中提取與作為處理對(duì)象的對(duì)象區(qū)域有關(guān)的殘差信號(hào)，并將其恢復(fù)為再現(xiàn)殘差信號(hào)；預(yù)測(cè)信號(hào)生成單元，其針對(duì)所述對(duì)象區(qū)域的對(duì)象像素信號(hào)，生成預(yù)測(cè)信號(hào)；以及圖像恢復(fù)單元，其將由所述預(yù)測(cè)信號(hào)生成單元生成的預(yù)測(cè)信號(hào)與由所述殘差信號(hào)恢復(fù)單元恢復(fù)的再現(xiàn)殘差信號(hào)相加，由此來恢復(fù)所述對(duì)象區(qū)域的像素信號(hào)，所述預(yù)測(cè)信號(hào)生成單元根據(jù)由與對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域，來生成紋理信號(hào)，利用預(yù)定的合成方法對(duì)所生成的紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
[0037]根據(jù)該發(fā)明，可以從壓縮數(shù)據(jù)中提取與作為處理對(duì)象的對(duì)象區(qū)域有關(guān)的殘差信號(hào)，并將其恢復(fù)為再現(xiàn)殘差信號(hào)，針對(duì)所述對(duì)象區(qū)域的對(duì)象像素信號(hào)，生成預(yù)測(cè)信號(hào)，將所生成的預(yù)測(cè)信號(hào)與由所述殘差信號(hào)恢復(fù)單元恢復(fù)的再現(xiàn)殘差信號(hào)相加，由此來恢復(fù)所述對(duì)象區(qū)域的像素信號(hào)，將所恢復(fù)的像素信號(hào)作為參照?qǐng)D像進(jìn)行存儲(chǔ)。然后，可以根據(jù)由所存儲(chǔ)的與對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域來生成紋理信號(hào)，并利用預(yù)定的合成方法對(duì)所生成的紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
[0038]并且，優(yōu)選本發(fā)明的圖像預(yù)測(cè)解碼裝置中的所述預(yù)測(cè)信號(hào)生成單元根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域，來生成與該相鄰區(qū)域相關(guān)性高的多個(gè)紋理信號(hào)，利用預(yù)定的合成方法對(duì)所生成多個(gè)的紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
[0039]根據(jù)該發(fā)明，可以根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域，來生成與該相鄰區(qū)域相關(guān)性高的多個(gè)紋理信號(hào)，利用預(yù)定的合成方法對(duì)所生成的多個(gè)紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。由此，可以利用對(duì)象區(qū)域與相鄰于該對(duì)象區(qū)域的相鄰區(qū)域相關(guān)性高的性質(zhì)，可以防止針對(duì)遠(yuǎn)離對(duì)象區(qū)域邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0040]并且，優(yōu)選本發(fā)明的圖像預(yù)測(cè)解碼裝置中的所述預(yù)測(cè)信號(hào)生成單元根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的多個(gè)相鄰區(qū)域，來生成與該多個(gè)相鄰區(qū)域的每一個(gè)相關(guān)性高的多個(gè)紋理信號(hào)，利用預(yù)定的合成方法對(duì)所生成的多個(gè)紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
[0041]根據(jù)該發(fā)明，可以根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的多個(gè)相鄰區(qū)域，來生成與該多個(gè)相鄰區(qū)域的每一個(gè)相關(guān)性高的多個(gè)紋理信號(hào)，利用預(yù)定的合成方法對(duì)所生成多個(gè)的紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
[0042]由此，可以利用對(duì)象區(qū)域與相鄰于該對(duì)象區(qū)域的相鄰區(qū)域相關(guān)性高的性質(zhì)，可以防止針對(duì)遠(yuǎn)離對(duì)象區(qū)域邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0043]并且，優(yōu)選本發(fā)明的圖像預(yù)測(cè)解碼裝置中的所述預(yù)測(cè)信號(hào)生成單元還重復(fù)與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素值來形成像素，由此生成外插紋理信號(hào)，并利用預(yù)定的合成方法對(duì)所述紋理信號(hào)和所述外插紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。
[0044]根據(jù)該發(fā)明，可以重復(fù)與對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素值來形成像素，由此生成外插紋理信號(hào)，并利用預(yù)定的合成方法對(duì)紋理信號(hào)和外插紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。由此，可以防止針對(duì)遠(yuǎn)離對(duì)象區(qū)域邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0045]并且，優(yōu)選本發(fā)明的圖像預(yù)測(cè)解碼裝置中的所述預(yù)測(cè)信號(hào)生成單元從預(yù)定的已再現(xiàn)圖像即搜索區(qū)域中搜索與由相鄰于所述對(duì)象像素信號(hào)的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域相關(guān)性高的預(yù)測(cè)相鄰區(qū)域，將根據(jù)該搜索到的預(yù)測(cè)相鄰區(qū)域所決定的圖像區(qū)域作為紋理信號(hào)。
[0046]根據(jù)該發(fā)明，可以從預(yù)定的已再現(xiàn)圖像即搜索區(qū)域中搜索與由相鄰于所述對(duì)象像素信號(hào)的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域相關(guān)性高的預(yù)測(cè)相鄰區(qū)域，將根據(jù)該搜索到的預(yù)測(cè)相鄰區(qū)域所決定的圖像區(qū)域作為紋理信號(hào)。由此，可以利用對(duì)象區(qū)域與相鄰于該對(duì)象區(qū)域的相鄰區(qū)域相關(guān)性高的性質(zhì)，從已再現(xiàn)圖像區(qū)域中檢測(cè)相對(duì)于對(duì)象相鄰區(qū)域誤差最少的區(qū)域，來作為預(yù)測(cè)相鄰區(qū)域，將與該預(yù)測(cè)相鄰區(qū)域相鄰?fù)瑫r(shí)與對(duì)象區(qū)域?qū)?yīng)的像素組作為對(duì)象區(qū)域的紋理信號(hào)，由此即使在紋理比較復(fù)雜的情況下也能夠生成與對(duì)象相鄰區(qū)域相同圖案的預(yù)測(cè)信號(hào)，并且即使遠(yuǎn)離對(duì)象區(qū)域邊界，也能夠生成相同圖案的紋理信號(hào)。
[0047]并且，優(yōu)選本發(fā)明的圖像預(yù)測(cè)解碼裝置中的所述壓縮數(shù)據(jù)包含表示紋理合成方法的關(guān)聯(lián)信息，所述預(yù)測(cè)信號(hào)生成單元利用所述關(guān)聯(lián)信息來形成所述對(duì)象區(qū)域的紋理信號(hào)。
[0048]根據(jù)該發(fā)明，可以使壓縮數(shù)據(jù)中包含表示紋理合成方法的關(guān)聯(lián)信息，并利用該關(guān)聯(lián)信息來形成對(duì)象區(qū)域的紋理信號(hào)。由此，在接收側(cè)可以獲知紋理合成方法，并可以利用該所獲知的紋理合成方法生成預(yù)測(cè)信號(hào)，因此可以防止針對(duì)遠(yuǎn)離對(duì)象區(qū)域邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0049]并且，優(yōu)選本發(fā)明的圖像預(yù)測(cè)解碼裝置中的所述預(yù)測(cè)信號(hào)生成單元利用預(yù)定的加權(quán)系數(shù)對(duì)針對(duì)所述對(duì)象像素信號(hào)的多個(gè)紋理信號(hào)進(jìn)行加權(quán)平均處理，由此進(jìn)行合成，生成預(yù)測(cè)信號(hào)。
[0050]根據(jù)該發(fā)明，可以利用預(yù)定的加權(quán)系數(shù)對(duì)針對(duì)所述對(duì)象像素信號(hào)的多個(gè)紋理信號(hào)進(jìn)行加權(quán)平均處理，由此進(jìn)行合成，生成預(yù)測(cè)信號(hào)。由此，具有如下這樣的效果，即:通過利用例如模板匹配以相關(guān)性高的方式生成的紋理信號(hào)的合成(平均化)，可以生成在統(tǒng)計(jì)上誤差少的預(yù)測(cè)信號(hào)。[0051]而且，根據(jù)相鄰區(qū)域而與已再現(xiàn)圖像區(qū)域之間的差分值不是很大的差的情況下的不確定性的課題，例如具有以下效果，即:通過利用例如模板匹配以相關(guān)性高的方式生成的紋理信號(hào)的合成(平均化)，可以生成在統(tǒng)計(jì)上誤差少的預(yù)測(cè)信號(hào)。并且，根據(jù)本發(fā)明，通過對(duì)多個(gè)紋理信號(hào)進(jìn)行加權(quán)平均處理，由此具有可以抑制各紋理中所包含的編碼失真的效果，可以生成誤差少的預(yù)測(cè)信號(hào)。
[0052]并且，本發(fā)明的圖像預(yù)測(cè)解碼裝置的特征在于，該圖像預(yù)測(cè)解碼裝置具有:殘差信號(hào)恢復(fù)單元，其從壓縮數(shù)據(jù)中提取與所述對(duì)象區(qū)域有關(guān)的殘差信號(hào)，并將其恢復(fù)為再現(xiàn)殘差信號(hào)；預(yù)測(cè)信號(hào)生成單元，其針對(duì)所述對(duì)象區(qū)域的對(duì)象像素信號(hào)，生成預(yù)測(cè)信號(hào)；以及圖像恢復(fù)單元，其將所述預(yù)測(cè)信號(hào)與所述再現(xiàn)殘差信號(hào)相加，由此來恢復(fù)所述對(duì)象區(qū)域的像素信號(hào)，所述預(yù)測(cè)信號(hào)生成單元重復(fù)與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素值來形成像素，由此生成外插紋理信號(hào)，并利用預(yù)定的合成方法對(duì)所述外插紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。
[0053]根據(jù)該發(fā)明，可以從壓縮數(shù)據(jù)中提取與所述對(duì)象區(qū)域有關(guān)的殘差信號(hào)，并將其恢復(fù)為再現(xiàn)殘差信號(hào)，針對(duì)所述對(duì)象區(qū)域的對(duì)象像素信號(hào)，生成預(yù)測(cè)信號(hào)，將預(yù)測(cè)信號(hào)與再現(xiàn)殘差信號(hào)相加，由此來恢復(fù)對(duì)象區(qū)域的像素信號(hào)。然后，可以重復(fù)與對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素值來形成像素，由此生成外插紋理信號(hào)，并利用預(yù)定的合成方法對(duì)所述外插紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。由此，可以防止針對(duì)遠(yuǎn)離對(duì)象區(qū)域邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0054]另外，本發(fā)明除了可以描述為如上所述的圖像預(yù)測(cè)編碼裝置和圖像預(yù)測(cè)解碼裝置的發(fā)明之外，還可以描述為如下所述的圖像預(yù)測(cè)編碼方法和圖像預(yù)測(cè)解碼方法的發(fā)明。這只是范疇等的不同，實(shí)質(zhì)上是同一發(fā)明，發(fā)揮相同的作用和效果。
[0055]本發(fā)明的圖像預(yù)測(cè)編碼方法的特征在于，該圖像預(yù)測(cè)編碼方法包括以下步驟:區(qū)域分割步驟，其將輸入圖像分割為多個(gè)區(qū)域；預(yù)測(cè)信號(hào)生成步驟，其針對(duì)由所述區(qū)域分割步驟分割出的所述多個(gè)區(qū)域中作為處理對(duì)象的對(duì)象區(qū)域的對(duì)象像素信號(hào)，生成預(yù)測(cè)信號(hào)；殘差信號(hào)生成步驟，其生成由所述預(yù)測(cè)信號(hào)生成步驟生成的預(yù)測(cè)信號(hào)與所述對(duì)象像素信號(hào)的殘差信號(hào)；以及編碼步驟，其對(duì)由所述殘差信號(hào)生成步驟生成的所述殘差信號(hào)進(jìn)行編碼，生成壓縮數(shù)據(jù)，在所述預(yù)測(cè)信號(hào)生成步驟中，根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域來生成紋理信號(hào)，利用預(yù)定的紋理合成方法對(duì)所生成的紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
[0056]并且，本發(fā)明的圖像預(yù)測(cè)編碼方法的特征在于，該圖像預(yù)測(cè)編碼方法包括以下步驟:區(qū)域分割步驟，其將輸入圖像分割為多個(gè)區(qū)域；預(yù)測(cè)信號(hào)生成步驟，其針對(duì)由所述區(qū)域分割步驟分割出的所述多個(gè)區(qū)域中作為處理對(duì)象的對(duì)象區(qū)域的對(duì)象像素信號(hào)，生成預(yù)測(cè)信號(hào)；殘差信號(hào)生成步驟，其生成由所述預(yù)測(cè)信號(hào)生成步驟生成的預(yù)測(cè)信號(hào)與所述對(duì)象像素信號(hào)的殘差信號(hào)；以及編碼步驟，其對(duì)由所述殘差信號(hào)生成步驟生成的所述殘差信號(hào)進(jìn)行編碼，生成壓縮信號(hào)，在所述預(yù)測(cè)信號(hào)生成步驟中，重復(fù)與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素值來形成像素，由此生成外插紋理信號(hào)，并利用預(yù)定的合成方法對(duì)所述外插紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。
[0057]并且，本發(fā)明的圖像預(yù)測(cè)解碼方法的特征在于，該圖像預(yù)測(cè)解碼方法包括以下步驟:殘差信號(hào)恢復(fù)步驟，其從壓縮數(shù)據(jù)中提取與作為處理對(duì)象的對(duì)象區(qū)域有關(guān)的殘差信號(hào)，并將其恢復(fù)為再現(xiàn)殘差信號(hào)；預(yù)測(cè)信號(hào)生成步驟，其針對(duì)所述對(duì)象區(qū)域的對(duì)象像素信號(hào)，生成預(yù)測(cè)信號(hào)；以及圖像恢復(fù)步驟，其將由所述預(yù)測(cè)信號(hào)生成步驟生成的預(yù)測(cè)信號(hào)與由所述殘差信號(hào)恢復(fù)步驟恢復(fù)的再現(xiàn)殘差信號(hào)相加，由此來恢復(fù)所述對(duì)象區(qū)域的像素信號(hào)，在所述預(yù)測(cè)信號(hào)生成步驟中，根據(jù)由與對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域，來生成紋理信號(hào)，利用預(yù)定的合成方法對(duì)所生成的紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
[0058]并且，本發(fā)明的圖像預(yù)測(cè)解碼方法的特征在于，該圖像預(yù)測(cè)解碼方法包括以下步驟:殘差信號(hào)恢復(fù)步驟，其從壓縮數(shù)據(jù)中提取與所述對(duì)象區(qū)域有關(guān)的殘差信號(hào)，并將其恢復(fù)為再現(xiàn)殘差信號(hào)；預(yù)測(cè)信號(hào)生成步驟，其針對(duì)所述對(duì)象區(qū)域的對(duì)象像素信號(hào)，生成預(yù)測(cè)信號(hào)；以及圖像恢復(fù)步驟，其將所述預(yù)測(cè)信號(hào)與所述再現(xiàn)殘差信號(hào)相加，由此來恢復(fù)所述對(duì)象區(qū)域的像素信號(hào)，在所述預(yù)測(cè)信號(hào)生成步驟中，重復(fù)與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素值來形成像素，由此生成外插紋理信號(hào)，并利用預(yù)定的合成方法對(duì)所述外插紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。
[0059]根據(jù)本發(fā)明的圖像預(yù)測(cè)編碼裝置、圖像預(yù)測(cè)編碼方法、圖像預(yù)測(cè)解碼裝置以及圖像預(yù)測(cè)解碼方法，可以根據(jù)I個(gè)運(yùn)動(dòng)矢量等較少的預(yù)測(cè)關(guān)聯(lián)信息來生成多個(gè)紋理信號(hào)，因此伴隨紋理信號(hào)的平滑化處理可以高效地生成預(yù)測(cè)信號(hào)。
[0060]并且，根據(jù)本發(fā)明，由于利用圖像的紋理合成方法生成預(yù)測(cè)信號(hào)，因此可以防止針對(duì)遠(yuǎn)離對(duì)象區(qū)域邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
【專利附圖】

【附圖說明】
[0061]圖1是示出第I實(shí)施方式所涉及的圖像預(yù)測(cè)編碼裝置的框圖。
[0062]圖2是示出圖1所示的預(yù)測(cè)信號(hào)生成器的框圖。
[0063]圖3是示出圖2所示的紋理合成器的框圖。
[0064]圖4是用于說明預(yù)測(cè)關(guān)聯(lián)信息生成處理(塊匹配處理)的示意圖，(A)示出參照?qǐng)D像，(B)示出編碼對(duì)象的畫面。
[0065]圖5是示出圖3所示的紋理生成器的框圖。
[0066]圖6是與匹配處理和候選紋理生成處理有關(guān)的示意圖，(A)示出參照?qǐng)D像，(B)示出編碼對(duì)象的畫面。
[0067]圖7是與匹配處理和候選紋理生成處理的變形例有關(guān)的第I示意圖，(A)示出參照?qǐng)D像，(B)示出編碼對(duì)象的畫面。
[0068]圖8是與匹配處理和候選紋理生成處理的變形例有關(guān)的第2示意圖，(A)示出參照?qǐng)D像，(B)示出編碼對(duì)象的畫面。
[0069]圖9是與匹配處理和候選紋理生成處理的變形例有關(guān)的第3示意圖，(A)示出參照?qǐng)D像，(B)示出編碼對(duì)象的畫面。
[0070]圖10是與匹配處理和候選紋理生成處理的變形例有關(guān)的第4示意圖，(A)示出參照?qǐng)D像，(B)示出編碼對(duì)象的畫面。
[0071]圖11是模板信號(hào)的形狀與紋理信號(hào)的形狀不同的第I情況下的與匹配處理和候選紋理生成處理有關(guān)的示意圖，(A)示出參照?qǐng)D像，(B)示出編碼對(duì)象的畫面。[0072]圖12是模板信號(hào)的形狀與紋理信號(hào)的形狀不同的第2情況下的與匹配處理和候選紋理生成處理有關(guān)的示意圖，(A)示出參照?qǐng)D像，(B)示出編碼對(duì)象的畫面。
[0073]圖13是用于說明預(yù)測(cè)關(guān)聯(lián)信息生成處理(塊匹配處理)的變形例的示意圖，(A)示出參照?qǐng)D像，(B)示出編碼對(duì)象的畫面。
[0074]圖14是用于說明匹配處理和候選紋理生成處理中采用畫面內(nèi)預(yù)測(cè)方法的變形例的示意圖。
[0075]圖15是用于說明候選紋理信號(hào)的生成方法和合成方法的步驟的流程圖。
[0076]圖16是用于說明候選紋理信號(hào)的選擇方法的步驟的變形例的流程圖。
[0077]圖17是示出圖1所示的圖像預(yù)測(cè)編碼裝置的圖像預(yù)測(cè)編碼方法的步驟的流程圖。
[0078]圖18是用于說明畫面內(nèi)預(yù)測(cè)方法的示意圖。
[0079]圖19是示出本實(shí)施方式所涉及的圖像預(yù)測(cè)解碼裝置的框圖。
[0080]圖20是示出圖19所示的紋理合成器的框圖。
[0081]圖21是示出圖19所示的圖像預(yù)測(cè)解碼裝置的圖像預(yù)測(cè)解碼方法的步驟的流程圖。
[0082]圖22是示出可以執(zhí)行本實(shí)施方式所涉及的圖像預(yù)測(cè)編碼方法的程序的框圖。
[0083]圖23是示出圖22所示的預(yù)測(cè)信號(hào)生成模塊的框圖。
[0084]圖24是示出圖23所示的紋理合成模塊的框圖。
[0085]圖25是示出可以執(zhí)行本實(shí)施方式所涉及的圖像預(yù)測(cè)解碼方法的程序的框圖。
[0086]圖26是示出用于執(zhí)行記錄在記錄介質(zhì)中的程序的計(jì)算機(jī)硬件結(jié)構(gòu)的圖。
[0087]圖27是用于執(zhí)行存儲(chǔ)在記錄介質(zhì)中的程序的計(jì)算機(jī)的立體圖。
[0088]圖28是示出本發(fā)明第2實(shí)施方式所涉及的圖像預(yù)測(cè)編碼裝置的框圖。
[0089]圖29是示出圖像預(yù)測(cè)編碼裝置所使用的預(yù)測(cè)信號(hào)生成器103X的框圖。
[0090]圖30是示出紋理合成器20IX的框圖。
[0091]圖31是用于說明紋理生成方法中的匹配處理的示意圖。
[0092]圖32是示出紋理生成器307X的紋理生成方法的流程圖。
[0093]圖33是示出對(duì)象相鄰區(qū)域的形狀的一例的圖。
[0094]圖34是示出另一對(duì)象相鄰區(qū)域的形狀的一例的圖。
[0095]圖35是示出圖像預(yù)測(cè)編碼裝置100X的圖像預(yù)測(cè)編碼方法的流程圖。
[0096]圖36是示出變形例中的合成紋理信號(hào)的生成方法的流程圖。
[0097]圖37是示出圖像預(yù)測(cè)解碼裝置900X的框圖。
[0098]圖38是示出紋理合成器908X的框圖。
[0099]圖39是示出圖像預(yù)測(cè)解碼裝置900X的圖像預(yù)測(cè)解碼方法的流程圖。是用于執(zhí)行存儲(chǔ)在記錄介質(zhì)中的程序的計(jì)算機(jī)的立體圖。
[0100]圖40是示出可以執(zhí)行圖像預(yù)測(cè)編碼方法的程序的模塊的框圖。
[0101]圖41是示出預(yù)測(cè)信號(hào)生成模塊P103X的模塊的框圖。
[0102]圖42是示出可以執(zhí)行圖像預(yù)測(cè)解碼方法的程序的模塊的框圖。
[0103]符號(hào)說明
[0104]100圖像預(yù)測(cè)編碼裝置；101輸入端子；102塊分割器；103預(yù)測(cè)信號(hào)生成器；104幀存儲(chǔ)器；105減法器；106變換器；107量子化器；108逆量子化器；109逆變換器；110加法器；111熵編碼器；112輸出端子；201預(yù)測(cè)關(guān)聯(lián)信息生成器；202紋理合成器；301模板信號(hào)生成器；302紋理生成器；303合成器；1900圖像預(yù)測(cè)解碼裝置；1901輸入端子；1902數(shù)據(jù)分析器；1903逆量子化器；1904逆變換器；1905加法器；1906輸出端子；1907幀存儲(chǔ)器；1908紋理合成器；2001模板信號(hào)生成器；2002紋理生成器；2003合成器；100X圖像預(yù)測(cè)編碼裝置；IOix輸入端子；102X塊分割器；103X預(yù)測(cè)信號(hào)生成器；104X幀存儲(chǔ)器；105X減法器；106X變換器；107X量子化器；108X逆量子化器；109X逆變換器；IIOX加法器；IllX熵編碼器；112X輸出端子；20IX紋理合成器；202X紋理信號(hào)決定器；30IX合成器；302X加法器；307X紋理生成器；308X紋理生成器；309X第I外插器；310X第N外插器；900X圖像預(yù)測(cè)解碼裝置；901X輸入端子；902X數(shù)據(jù)分析器；903X逆量子化器；904X逆變換器；905X加法器；906X輸出端子；907X幀存儲(chǔ)器；908X紋理合成器；1001X合成器；1007X紋理生成器；1008X紋理生成器；1009X第I外插器；1010X第N外插器。
【具體實(shí)施方式】
[0105]以下，參照附圖詳細(xì)對(duì)本實(shí)施方式進(jìn)行詳細(xì)說明。另外，在【專利附圖】

【附圖說明】中，對(duì)相同或同等的要素賦予相同的符號(hào)，省略重復(fù)的說明。
[0106]〈第I實(shí)施方式〉
[0107]圖1是示出本實(shí)施方式所涉及的圖像預(yù)測(cè)編碼裝置100的框圖。該圖像預(yù)測(cè)編碼裝置100具有:輸入端子101 ;塊分割器102 ;預(yù)測(cè)信號(hào)生成器103 ;幀存儲(chǔ)器104 ;減法器105 ;變換器106 ;量子化器107 ;逆量子化器108 ;逆變換器109 ;加法器110 ;熵編碼器111以及輸出端子112。變換器106和量子化器107作為編碼單元發(fā)揮功能。
[0108]輸入端子101是輸入由多個(gè)圖像構(gòu)成的動(dòng)態(tài)圖像的信號(hào)的端子。
[0109]塊分割器102將從輸入端子101輸入的信號(hào)所表示的作為編碼對(duì)象的圖像分割為多個(gè)區(qū)域。在實(shí)施方式中，分割為由8X8的像素構(gòu)成的塊，但是也可以分割為其他大小或形狀的塊。
[0110]預(yù)測(cè)信號(hào)生成器103是針對(duì)作為編碼處理對(duì)象的對(duì)象區(qū)域(對(duì)象塊)生成預(yù)測(cè)信號(hào)，將該預(yù)測(cè)信號(hào)輸出給減法器105，并將與預(yù)測(cè)方法有關(guān)的信息輸出給熵編碼器111的部分。關(guān)于該預(yù)測(cè)信號(hào)生成器103的具體處理，將在后面進(jìn)行敘述。
[0111]減法器105是從經(jīng)由線L102輸入的由塊分割器102分割而成的對(duì)象區(qū)域中，減去經(jīng)由線L103輸入的由預(yù)測(cè)信號(hào)生成器103生成的預(yù)測(cè)信號(hào)，來生成殘差信號(hào)的部分。減法器105經(jīng)由線L105將相減得到的殘差信號(hào)輸出給變換器106。
[0112]變換器106是對(duì)相減得到的殘差信號(hào)進(jìn)行離散余弦變換的部分。并且，量子化器107是對(duì)由變換器106離散余弦變換后的變換系數(shù)進(jìn)行量子化的部分。熵編碼器111對(duì)由量子化器107量子化后的變換系數(shù)進(jìn)行編碼，并且對(duì)與預(yù)測(cè)方法有關(guān)的信息進(jìn)行編碼，經(jīng)由線Llll輸出編碼后的信息。輸出端子112將從熵編碼器111輸入的信息輸出到外部。
[0113]逆量子化器108對(duì)量子化后的變換系數(shù)進(jìn)行逆量子化。逆變換器109利用逆離散余弦變換來恢復(fù)殘差信號(hào)。加法器110將恢復(fù)后的殘差信號(hào)與從線L103發(fā)送來的預(yù)測(cè)信號(hào)相加，再現(xiàn)對(duì)象塊的信號(hào)，并將其存儲(chǔ)到幀存儲(chǔ)器104中。在本實(shí)施方式中，使用了變換器106和逆變換器109，但是，也可以使用其他變換處理來代替這些變換器。并且，變換器106和逆變換器109不是必須的。這樣，為了進(jìn)行針對(duì)后續(xù)對(duì)象區(qū)域的畫面內(nèi)預(yù)測(cè)或畫面間預(yù)測(cè)，壓縮后的對(duì)象區(qū)域的像素信號(hào)通過逆處理而恢復(fù)，并存儲(chǔ)到幀存儲(chǔ)器104中。
[0114]接著，對(duì)預(yù)測(cè)信號(hào)生成器103進(jìn)行說明。預(yù)測(cè)信號(hào)生成部103針對(duì)作為編碼處理對(duì)象的對(duì)象區(qū)域(以下，稱為對(duì)象塊)生成預(yù)測(cè)信號(hào)。在本實(shí)施方式中，使用2種預(yù)測(cè)方法。即，預(yù)測(cè)信號(hào)生成器103使用后述的畫面間預(yù)測(cè)方法和畫面內(nèi)預(yù)測(cè)方法中的至少一個(gè)方法來生成預(yù)測(cè)信號(hào)。用于選擇畫面間預(yù)測(cè)方法和畫面內(nèi)預(yù)測(cè)方法的選擇信息與量子化后的變換系數(shù)以及與預(yù)測(cè)信號(hào)的生成有關(guān)的預(yù)測(cè)關(guān)聯(lián)信息一起，利用熵編碼器111進(jìn)行編碼，并由輸出端子112輸出。
[0115]圖2是圖1所示的預(yù)測(cè)信號(hào)生成器103的框圖。預(yù)測(cè)信號(hào)生成器103具有預(yù)測(cè)關(guān)聯(lián)信息生成器201和紋理合成器202。
[0116]預(yù)測(cè)關(guān)聯(lián)信息生成器201接受經(jīng)由線L102輸入的對(duì)象塊的信號(hào)，并且接受從幀存儲(chǔ)器104經(jīng)由線L104輸入的、在過去的處理中已經(jīng)再現(xiàn)的圖像信號(hào)(再現(xiàn)圖像信號(hào))。預(yù)測(cè)關(guān)聯(lián)信息生成器201求出根據(jù)再現(xiàn)圖像信號(hào)來生成相對(duì)于對(duì)象塊誤差最小的預(yù)測(cè)信號(hào)所需要的預(yù)測(cè)關(guān)聯(lián)信息。即，預(yù)測(cè)關(guān)聯(lián)信息生成器201生成根據(jù)已再現(xiàn)信號(hào)來生成與對(duì)象區(qū)域的對(duì)象像素信號(hào)相關(guān)性高的信號(hào)的方法，作為預(yù)測(cè)關(guān)聯(lián)信息。預(yù)測(cè)關(guān)聯(lián)信息經(jīng)由線L201發(fā)送給紋理合成器202，并且還經(jīng)由線L113發(fā)送給熵編碼器111。
[0117]這里，對(duì)預(yù)測(cè)關(guān)聯(lián)信息的生成處理進(jìn)行說明。在使用畫面間預(yù)測(cè)方法的情況下，預(yù)測(cè)關(guān)聯(lián)信息生成器201將與對(duì)象塊不同的畫面(幀或場(chǎng))的再現(xiàn)圖像信號(hào)作為參照?qǐng)D像，利用塊匹配處理來檢測(cè)運(yùn)動(dòng)矢量。檢測(cè)出的運(yùn)動(dòng)矢量作為預(yù)測(cè)關(guān)聯(lián)信息從預(yù)測(cè)關(guān)聯(lián)信息生成器201分別輸出到熵編碼器(經(jīng)由線L113)和紋理合成器202 (經(jīng)由線L201)。
[0118]使用圖4更詳細(xì)地說明使用了畫面間預(yù)測(cè)方法的預(yù)測(cè)關(guān)聯(lián)信息的生成方法。圖4是用于說明使用了畫面間預(yù)測(cè)方法的預(yù)測(cè)關(guān)聯(lián)信息的生成方法、即運(yùn)動(dòng)矢量的檢測(cè)方法的示意圖，圖4 (A)示出參照?qǐng)D像，圖4 (B)示出編碼對(duì)象的畫面。這里,說明在編碼對(duì)象的畫面401中，檢測(cè)針對(duì)對(duì)象塊402的運(yùn)動(dòng)矢量的情況。
[0119]首先，將在過去的處理中已經(jīng)再現(xiàn)的畫面403作為參照?qǐng)D像，在參照畫面上設(shè)定搜索區(qū)域405。在圖4中，將搜索區(qū)域405設(shè)定在與對(duì)象塊402空間上位置相同的區(qū)域404的周圍，然而也可以設(shè)定在空間上有所偏離的位置上。接著，在搜索區(qū)域405中，求出對(duì)象塊402與具有相同形狀的像素組之間，對(duì)應(yīng)的像素間的絕對(duì)值誤差和(SAD)，檢索貢獻(xiàn)最小SAD的區(qū)域406。此時(shí)，用于檢索區(qū)域406的評(píng)價(jià)值也可以是SAD以外的其他值。然后，檢測(cè)從區(qū)域404向區(qū)域406的位移量來作為對(duì)象塊的運(yùn)動(dòng)矢量407。
[0120]另外，還可以通過將對(duì)象模塊再次分割，以再次分割出的小區(qū)域?yàn)閱挝粊頇z測(cè)運(yùn)動(dòng)矢量。在該情況下，所選擇的分割方法和各小區(qū)域的運(yùn)動(dòng)矢量包含在預(yù)測(cè)關(guān)聯(lián)信息中。并且，也可以將多個(gè)已再現(xiàn)畫面用作參照?qǐng)D像。針對(duì)多個(gè)參照?qǐng)D像來檢測(cè)最佳運(yùn)動(dòng)矢量，選擇SAD最小的一個(gè)。在該情況下，所選擇的參照?qǐng)D像的幀號(hào)(可以按每個(gè)小區(qū)域，也可以使對(duì)象塊有一個(gè))也包含在預(yù)測(cè)關(guān)聯(lián)信息中。
[0121]另一方面，在使用畫面內(nèi)預(yù)測(cè)方法的情況下，向預(yù)測(cè)關(guān)聯(lián)信息生成器201輸入位于與對(duì)象塊相同畫面內(nèi)的再現(xiàn)圖像信號(hào)，選擇利用圖18所示的預(yù)測(cè)方法向?qū)ο髩K提供最小的預(yù)測(cè)信號(hào)的方法。所選擇的預(yù)測(cè)方法作為預(yù)測(cè)關(guān)聯(lián)信息從預(yù)測(cè)關(guān)聯(lián)信息生成器201分別輸出到熵編碼器(經(jīng)由線L113)和紋理合成器202 (經(jīng)由線L201)。
[0122]接著，使用圖3說明本實(shí)施方式所涉及的紋理信號(hào)的生成/合成處理。圖3是示出圖2所示的紋理合成器202的結(jié)構(gòu)的框圖。紋理合成器202具有模板信號(hào)生成器301、紋理生成器302以及合成器303。模板信號(hào)生成器301接受經(jīng)由線L201輸入的預(yù)測(cè)關(guān)聯(lián)信息，并且接受從幀存儲(chǔ)器104經(jīng)由線L104輸入的再現(xiàn)圖像信號(hào)。然后，模板信號(hào)生成器301基于預(yù)測(cè)關(guān)聯(lián)信息，從再現(xiàn)圖像信號(hào)生成模板信號(hào)，并經(jīng)由線L301向紋理生成器302輸出。
[0123]在紋理合成器202中，紋理生成器302接受從幀存儲(chǔ)器104經(jīng)由線L104輸入的、在過去的處理中已經(jīng)再現(xiàn)的圖像信號(hào)(再現(xiàn)圖像信號(hào))，并且模板信號(hào)生成器301接受經(jīng)由線L201輸入的預(yù)測(cè)關(guān)聯(lián)信息。預(yù)測(cè)關(guān)聯(lián)信息生成器302利用如下所說明的方法生成根據(jù)所輸入的預(yù)測(cè)關(guān)聯(lián)信息而預(yù)先指定的區(qū)域(指定區(qū)域)的信號(hào)，作為模板信號(hào)，利用模板匹配處理從再現(xiàn)圖像信號(hào)生成多個(gè)紋理信號(hào)。進(jìn)而，合成器303對(duì)所生成的多個(gè)紋理信號(hào)進(jìn)行合成，生成針對(duì)對(duì)象塊的預(yù)測(cè)信號(hào)。然后，合成器303通過L103向減法器105輸出所生成的預(yù)測(cè)信號(hào)。
[0124]在本實(shí)施方式中，包含該模板信號(hào)的區(qū)域的形狀是任意的。由于該形狀是通過如上所述的方式而指定的，因此在本實(shí)施方式中將包含模板信號(hào)的區(qū)域稱為“指定區(qū)域”。并且，將利用模板匹配處理而檢測(cè)出的區(qū)域稱為“類似區(qū)域”。而且，將輸入到合成器303中的多個(gè)紋理信號(hào)所屬于的區(qū)域、即與預(yù)測(cè)對(duì)象區(qū)域相同形狀的區(qū)域稱為“紋理區(qū)域”。
[0125]指定區(qū)域的形狀與類似區(qū)域的形狀始終一致。紋理區(qū)域的形狀與預(yù)測(cè)對(duì)象的區(qū)域相同。類似區(qū)域與紋理區(qū)域的位置關(guān)系在同一平面上由“表示2個(gè)區(qū)域的相對(duì)坐標(biāo)位置的位移量”所預(yù)先規(guī)定。使用圖11簡(jiǎn)單地說明。在畫面403中，區(qū)域761是指定區(qū)域，區(qū)域751是紋理區(qū)域。此時(shí)，已經(jīng)預(yù)先規(guī)定了區(qū)域761左上角的坐標(biāo)與區(qū)域751左上角的坐標(biāo)之間的位移量。關(guān)于如圖11所示的類似區(qū)域的形狀與紋理區(qū)域的形狀不同的例子，將在后面進(jìn)行敘述。這里，如圖6所示，對(duì)類似區(qū)域的形狀與紋理區(qū)域的形狀一致的情況進(jìn)行說明。在類似區(qū)域的形狀與紋理區(qū)域的形狀一致的情況下，表示類似區(qū)域與紋理區(qū)域的相對(duì)坐標(biāo)位置的位移量為O。另外，包含模板信號(hào)的區(qū)域的形狀不限于塊狀。
[0126]紋理生成器302搜索再現(xiàn)圖像信號(hào)，針對(duì)具有與模板相同形狀的區(qū)域的區(qū)域，求出與模板對(duì)應(yīng)的像素間的絕對(duì)值誤差和(SAD)。在本實(shí)施方式中，由于與對(duì)象塊的像素信號(hào)相關(guān)性高的信號(hào)被選擇為模板信號(hào)，因此紋理生成器302能夠搜索與對(duì)象塊的像素信號(hào)相近的信號(hào)。
[0127]針對(duì)圖4所示的畫面間預(yù)測(cè)方法的情況，來說明模板信號(hào)生成器301中的模板信號(hào)生成處理。關(guān)于畫面內(nèi)預(yù)測(cè)方法的情況，將在后面敘述(圖17)。在圖4中，示出了生成編碼對(duì)象的畫面401中的對(duì)象塊402的預(yù)測(cè)信號(hào)的情況。對(duì)象塊402的預(yù)測(cè)關(guān)聯(lián)信息是運(yùn)動(dòng)矢量407，其經(jīng)由線L201輸入到模板信號(hào)生成器301中。模板信號(hào)生成器301經(jīng)由線L104訪問保存在圖1的幀存儲(chǔ)器104中的參照?qǐng)D像403，根據(jù)運(yùn)動(dòng)矢量407取得與對(duì)象塊402對(duì)應(yīng)的區(qū)域406。所取得的區(qū)域406 (指定區(qū)域)的信號(hào)作為模板信號(hào)從模板信號(hào)生成器301輸出。
[0128]由運(yùn)動(dòng)矢量407所示的指定區(qū)域406是與對(duì)象塊402的像素信號(hào)的差分最小的信號(hào)。因此，只要將該指定區(qū)域406作為模板信號(hào)，紋理生成器302就能夠檢索到與對(duì)象塊402的像素信號(hào)類似的多個(gè)紋理信號(hào)。另外，由于可以根據(jù)解碼后的動(dòng)作矢量來取得指定區(qū)域406的模板信號(hào)，因此可以利用解碼裝置來檢索相同的紋理信號(hào)。
[0129]在紋理生成器302中，經(jīng)由線L301從模板信號(hào)生成器301輸入模板信號(hào)，并且經(jīng)由線L104從幀存儲(chǔ)器104輸入再現(xiàn)圖像信號(hào)。紋理生成器302根據(jù)所輸入的模板信號(hào)及再現(xiàn)圖像信號(hào)，利用以下說明的設(shè)定來進(jìn)行模板匹配，生成N個(gè)紋理信號(hào)。所生成的N個(gè)紋理信號(hào)經(jīng)由線L302輸出到合成器303。合成器303利用后述的預(yù)定方法對(duì)這N個(gè)紋理信號(hào)進(jìn)行合成來生成預(yù)測(cè)信號(hào)，并經(jīng)由線L103輸出該預(yù)測(cè)信號(hào)。之后，在本實(shí)施方式中，以N的值為5來進(jìn)行說明，但是可以將N的值設(shè)定為I以上的任意值。
[0130]這里，使用圖5和圖6，詳細(xì)說明紋理生成器302中的紋理信號(hào)的生成方法。圖5是圖3所示的紋理生成器302的框圖。圖6是與本實(shí)施方式所涉及的匹配處理和紋理生成處理有關(guān)的示意圖，圖6 (A)示出參照?qǐng)D像，圖6 (B)示出編碼對(duì)象的畫面。
[0131]紋理生成器302具有匹配器501、候選紋理選擇器502以及紋理取得器503。首先，匹配器501接受經(jīng)由線L301輸入的模板信號(hào)。接著，匹配器501經(jīng)由線L104訪問位于幀存儲(chǔ)器104中的再現(xiàn)圖像信號(hào)，利用預(yù)定的步驟實(shí)施匹配處理，依次取得具有與指定區(qū)域相同形狀的像素組。然后，匹配器501針對(duì)所取得的各像素組分別計(jì)算與模板信號(hào)之間對(duì)應(yīng)像素間的絕對(duì)值誤差和(SAD)。所計(jì)算出的各SAD值與用于訪問所取得的像素組的坐標(biāo)信息一起經(jīng)由線L501向候選紋理選擇器502輸出。
[0132]另外，在本實(shí)施方式中，采用SAD作為計(jì)量與模板信號(hào)的類似性的評(píng)價(jià)值，但是并不限定于此，也可以是誤差平方和或 者根據(jù)坐標(biāo)信息和SAD計(jì)算出的值等。
[0133]候選紋理選擇器502將所輸入的多個(gè)SAD值與預(yù)定的閾值進(jìn)行比較，提取SAD值小于閾值的像素組及其坐標(biāo)信息。然后，候選紋理選擇器502從所提取出的像素組中按照SAD值從小到大的順序選擇最大N個(gè)區(qū)域，經(jīng)由線L502向紋理取得器503輸出對(duì)應(yīng)的坐標(biāo)信息。這里，所提取出的N個(gè)區(qū)域是類似區(qū)域。在小于閾值的SAD值不到N個(gè)的情況下，候選紋理選擇器502更新該對(duì)象塊中的N的值。向紋理生成器302輸入的輸入信號(hào)全部是通過解碼裝置解碼的數(shù)據(jù)，因此在解碼裝置中也能夠利用同樣的方法對(duì)N的值進(jìn)行更新。因此，不需要對(duì)更新后的N的值進(jìn)行編碼。另外，坐標(biāo)信息的選擇方法也可以不按照SAD值從小到大的順序。關(guān)于N個(gè)坐標(biāo)信息的選擇方法，將在后面進(jìn)行敘述(圖16)。
[0134]紋理取得器503接受從線L502輸入的N個(gè)坐標(biāo)信息。紋理取得器503經(jīng)由線L104訪問位于幀存儲(chǔ)器104中的再現(xiàn)圖像信號(hào)，根據(jù)N個(gè)坐標(biāo)信息取得N個(gè)與對(duì)象塊相同形狀的區(qū)域、即紋理區(qū)域的信號(hào)(紋理信號(hào))，并經(jīng)由線L302將它們依次輸出到合成器303。另外，在本實(shí)施方式中，由于紋理區(qū)域與類似區(qū)域一致，因此表示類似區(qū)域與紋理區(qū)域的相對(duì)坐標(biāo)位置的位移量為O。因此，紋理取得器503可以從指定區(qū)域的坐標(biāo)信息直接取得紋理信號(hào)。
[0135]在圖6所示的例子中，針對(duì)編碼對(duì)象畫面401中的對(duì)象塊402生成多個(gè)紋理信號(hào)。在圖6中，匹配處理中使用的模板信號(hào)是與對(duì)象塊相同形狀的區(qū)域406 (指定區(qū)域)的信號(hào)，由模板信號(hào)生成器301根據(jù)運(yùn)動(dòng)矢量407決定。
[0136]在匹配器501的匹配處理中，首先利用預(yù)定方法設(shè)定針對(duì)對(duì)象塊402的搜索區(qū)域。在本實(shí)施方式中，將已經(jīng)再現(xiàn)的整個(gè)畫面403設(shè)為搜索區(qū)域。另外，也可以不將整個(gè)畫面設(shè)為搜索區(qū)域，而是將畫面的一部分設(shè)為搜索區(qū)域。
[0137]匹配器501對(duì)整個(gè)搜索區(qū)域403進(jìn)行搜索，求出指定區(qū)域406與具有相同形狀的多個(gè)像素組(區(qū)域601、602…)之間，對(duì)應(yīng)的像素間的絕對(duì)值誤差值的和(SAD)。另外，搜索方法也可以是間除搜索等。[0138]接著，候選紋理選擇器502檢測(cè)SAD值小于閾值的5個(gè)區(qū)域(區(qū)域601、602、603、604和406)來作為類似區(qū)域的候選。這里所使用的閾值可以是預(yù)定的值，也可以是由紋理合成器202決定用于獲得最佳紋理信號(hào)的值并由熵編碼器111對(duì)該值進(jìn)行編碼后的值(未圖示)。在本實(shí)施方式的畫面間預(yù)測(cè)方法中，模板匹配的搜索區(qū)域包含指定區(qū)域406，因此在紋理信號(hào)的候選中必然包含模板信號(hào)。該模板信號(hào)是與對(duì)象塊的像素信號(hào)差分最小的信號(hào)，是為了生成噪聲少且與對(duì)象塊的差分小的預(yù)測(cè)信號(hào)所必須的。
[0139]候選紋理選擇器502檢測(cè)所檢測(cè)出的類似區(qū)域601?604以及406各自左上角的坐標(biāo)，經(jīng)由線L501將這些坐標(biāo)輸出到紋理取得器503。這里所輸出的坐標(biāo)信息是用于訪問幀存儲(chǔ)器的信息，并不一定為各類似區(qū)域的左上角，也可以是右下角等。即，所輸出的坐標(biāo)信息只要是用于確定位置的信息即可。
[0140]這樣，當(dāng)所決定的坐標(biāo)信息被輸入到紋理取得器503時(shí)，紋理取得器503根據(jù)表示類似區(qū)域與紋理區(qū)域的相對(duì)坐標(biāo)位置的位移量，將N個(gè)類似區(qū)域的坐標(biāo)信息分別變換為紋理區(qū)域的坐標(biāo)信息。該變換處理可以由候選紋理選擇器502進(jìn)行。然后，紋理取得器503根據(jù)變換后的坐標(biāo)信息經(jīng)由線L104訪問幀存儲(chǔ)器104的參照?qǐng)D像403，取得N個(gè)紋理信號(hào)的候選。所取得的N個(gè)紋理信號(hào)經(jīng)由線L302向合成器303輸出。另外，在圖6所示的例子中，由于類似信息與紋理區(qū)域一致，因此紋理生成器302在執(zhí)行該例子時(shí)可以省略坐標(biāo)信息的變換處理。
[0141]關(guān)于圖6所示情況的搜索區(qū)域，例如可以按照?qǐng)D4的搜索區(qū)域405所示的部分區(qū)域包圍區(qū)域406的方式進(jìn)行設(shè)定。在搜索區(qū)域沒有包含區(qū)域406的情況下，也可以按照紋理信號(hào)包含模板信號(hào)的方式來設(shè)定搜索對(duì)象。并且，搜索區(qū)域并不限定為一個(gè)畫面區(qū)域，也可將多個(gè)畫面的部分區(qū)域設(shè)定為搜索區(qū)域。此時(shí)，只要預(yù)先決定了用于選擇作為搜索對(duì)象的畫面的規(guī)則，就不需要對(duì)該畫面的信息進(jìn)行編碼。但是，在利用紋理生成器302從多個(gè)候選中選擇搜索區(qū)域的情況下，需要對(duì)與搜索對(duì)象的畫面和搜索區(qū)域有關(guān)的信息進(jìn)行編碼。在進(jìn)行編碼的情況下，從紋理合成器202經(jīng)由線L113向熵編碼器111輸出所選擇的畫面信息和搜索區(qū)域的信息(未圖示)?？梢耘c預(yù)測(cè)關(guān)聯(lián)信息相同地按照每個(gè)對(duì)象塊對(duì)這些關(guān)聯(lián)信息進(jìn)行編碼，但是在每個(gè)塊的變更效果較小的情況下，也可以以幀為單位或以序列為單位來進(jìn)行編碼。
[0142]合成器303接受來自紋理生成器302的N個(gè)紋理信號(hào)的輸入，利用加權(quán)平均處理生成對(duì)象塊的預(yù)測(cè)信號(hào)。合成器303具有加權(quán)器304和加法器305。加權(quán)器304中的權(quán)重值被定為1/N等。加權(quán)器304對(duì)所輸入的紋理信號(hào)分別賦予1/N的權(quán)重，之后經(jīng)由線L304向加法器305輸出。加法器305將加權(quán)處理后的N個(gè)紋理信號(hào)相加，將相加后的紋理信號(hào)作為預(yù)測(cè)信號(hào)經(jīng)由線L103輸出。
[0143]另外，合成器303中的權(quán)重值可以是預(yù)定設(shè)定的，但是也可以利用合成器303以成為最佳預(yù)測(cè)信號(hào)的方式來求出賦予給各紋理信號(hào)的權(quán)重值。在預(yù)先設(shè)定的情況下，權(quán)重值可以是任意的值。例如，合成器303可以按照相對(duì)于模板信號(hào)為1/2、相對(duì)于其他紋理信號(hào)為I/ (2X (N — I))的方式來設(shè)定權(quán)重值。并且，合成器303可以根據(jù)區(qū)域內(nèi)的位置來改變權(quán)重值。在利用合成器303來決定權(quán)重值的情況下，對(duì)象塊的信號(hào)經(jīng)由線L102輸入到合成器303，求出預(yù)測(cè)信號(hào)最小的權(quán)重值，將該值經(jīng)由線L113向圖1的熵編碼器111輸出(未圖示)。熵編碼器111對(duì)權(quán)重值進(jìn)行編碼后從輸出端子112輸出編碼后的權(quán)重值。此時(shí)，可以以塊為單位進(jìn)行權(quán)重值的變更，也可以以幀為單位或以序列為單位進(jìn)行權(quán)重值的變更。
[0144]另外，合成器303不限于圖3的結(jié)構(gòu)。也可以構(gòu)成為，將針對(duì)紋理信號(hào)的權(quán)重值設(shè)為整數(shù)，在將加權(quán)處理處理后的N個(gè)紋理信號(hào)相加后，用相加后的信號(hào)除以N個(gè)權(quán)重值的和。此時(shí)，如果預(yù)先設(shè)定了除法的取整方法，則與運(yùn)算器無關(guān)，都能得到相同的結(jié)果。例如，在將針對(duì)模板信號(hào)的權(quán)重值設(shè)定為N+ 1，并將針對(duì)其他N個(gè)紋理信號(hào)的權(quán)重值設(shè)定為I的情況下，用相加后的信號(hào)以及N除以2 X N。
[0145]這樣，在本實(shí)施方式的預(yù)測(cè)處理中，根據(jù)運(yùn)動(dòng)矢量等預(yù)測(cè)關(guān)聯(lián)信息來生成多個(gè)紋理信號(hào)。由于這些紋理信號(hào)是從畫面的不同區(qū)域中取得的，因此所包含的噪聲成分(主要為高頻成分)彼此的相關(guān)性低。根據(jù)本實(shí)施方式，對(duì)噪聲成分不同的多個(gè)紋理信號(hào)進(jìn)行平均化，因此利用平滑化效果可以生成在統(tǒng)計(jì)上噪聲少的預(yù)測(cè)信號(hào)。
[0146]在目前為止的說明中，將紋理區(qū)域的形狀設(shè)定為與對(duì)象區(qū)域(對(duì)象塊)相同的形狀。但是，只要明確編碼對(duì)象塊與紋理區(qū)域(指定區(qū)域)的位置關(guān)系，則即使對(duì)象區(qū)域與紋理區(qū)域是不同的形狀，也能夠?qū)嵤┍景l(fā)明。下面，示出一些其他例子。與使用圖6的說明同樣，針對(duì)畫面401的對(duì)象塊402說明紋理信號(hào)的生成步驟。
[0147]圖7?圖10是紋理區(qū)域的形狀與對(duì)象區(qū)域的形狀不同的情況下與匹配處理和紋理生成處理有關(guān)的示意圖。另外，在本實(shí)施例中，設(shè)指定區(qū)域和類似區(qū)域與紋理區(qū)域是相同的形狀來進(jìn)行說明。
[0148]在圖1中，小區(qū)域411表示對(duì)象塊402的左上1/4的部分，左上區(qū)域412表示指定區(qū)域。模板信號(hào)生成器301根據(jù)預(yù)測(cè)關(guān)聯(lián)信息從區(qū)域406中切取面積為左上1/4的部分的區(qū)域412，將區(qū)域412的信號(hào)作為模板信號(hào)輸出。此時(shí)，從區(qū)域406的左上角向指定區(qū)域412 (紋理區(qū)域)的左上角的位移量和與指定區(qū)域及紋理區(qū)域的形狀有關(guān)的信息一起記錄在紋理合成器202中。紋理生成器302經(jīng)由線L104訪問參照?qǐng)D像403，利用模板匹配取得多個(gè)與指定區(qū)域412相同形狀的像素組，計(jì)算與模板信號(hào)之間對(duì)應(yīng)像素間的SAD值。然后，紋理生成器302檢測(cè)SAD值小的N個(gè)區(qū)域711、712、713、714以及412作為類似區(qū)域(紋理區(qū)域)的候選(在本實(shí)施方式中N的值為5)。
[0149]在合成器303中對(duì)這N個(gè)紋理區(qū)域的紋理信號(hào)進(jìn)行加權(quán)平均，由此生成小區(qū)域411的預(yù)測(cè)信號(hào)。此時(shí)，從所記錄的位移量和類似區(qū)域的形狀可知對(duì)象塊中的預(yù)測(cè)區(qū)域的位置和形狀。另外，這里省略對(duì)搜索區(qū)域、N的值以及閾值等的設(shè)定方法的說明，但是與圖6的情況相同，可以進(jìn)行編碼。
[0150]使用圖8?圖10說明對(duì)象塊的其他區(qū)域的預(yù)測(cè)信號(hào)的生成處理。在圖8?圖10的情況下，與圖7同樣，圖3的模板信號(hào)生成器301根據(jù)預(yù)測(cè)關(guān)聯(lián)信息從圖7的區(qū)域406中切取面積為1/4的部分的區(qū)域，但是其切取位置不同。
[0151]在圖8中，小區(qū)域421表示對(duì)象塊402的右上1/4的部分，區(qū)域422表示指定區(qū)域。圖3的模板信號(hào)生成器301根據(jù)預(yù)測(cè)關(guān)聯(lián)信息從圖6的區(qū)域406中切取面積為左上1/4的部分的區(qū)域422，將區(qū)域422作為模板信號(hào)輸出。此時(shí)，從區(qū)域406的左上角向指定區(qū)域422(紋理區(qū)域)的左上角的位移量和與指定區(qū)域及紋理區(qū)域的形狀有關(guān)的信息一起記錄在紋理合成器202中。紋理生成器302經(jīng)由線L104訪問參照?qǐng)D像403，利用模板匹配取得多個(gè)與指定區(qū)域422相同形狀的像素組，計(jì)算與模板信號(hào)之間對(duì)應(yīng)像素間的SAD值。然后，紋理生成器302檢測(cè)SAD值小的N個(gè)區(qū)域721、722、723、724以及422作為紋理信號(hào)的候選(在本實(shí)施方式中N的值為5)。
[0152]在合成器303中對(duì)這N個(gè)紋理區(qū)域的紋理信號(hào)進(jìn)行加權(quán)平均，由此生成小區(qū)域421的預(yù)測(cè)信號(hào)。此時(shí)，從所記錄的位移量和類似區(qū)域的形狀可知對(duì)象塊中的預(yù)測(cè)區(qū)域的位置和形狀。
[0153]在圖9中，小區(qū)域431表示對(duì)象塊402的左下1/4的部分，區(qū)域432表示指定區(qū)域。模板信號(hào)生成器301根據(jù)預(yù)測(cè)關(guān)聯(lián)信息從圖6的區(qū)域406中切取面積為左下1/4的部分的區(qū)域432，將區(qū)域432作為模板信號(hào)輸出。此時(shí)，從區(qū)域406的左上角向指定區(qū)域432 (紋理區(qū)域)的左上角的位移量和與指定區(qū)域及紋理區(qū)域的形狀有關(guān)的信息一起記錄在紋理合成器202中。紋理生成器302經(jīng)由線L104訪問參照?qǐng)D像403，利用模板匹配取得多個(gè)與指定區(qū)域432相同形狀的像素組，計(jì)算與模板信號(hào)之間對(duì)應(yīng)像素間的SAD值。然后，紋理生成器302檢測(cè)SAD值小的N個(gè)區(qū)域731、732、733、734以及432作為類似區(qū)域(紋理區(qū)域)的候選(在本實(shí)施方式中N的值為5)。
[0154]在圖3的合成器303中對(duì)這N個(gè)紋理區(qū)域的紋理信號(hào)進(jìn)行加權(quán)平均，由此生成小區(qū)域431的預(yù)測(cè)信號(hào)。此時(shí)，從所記錄的位移量和類似區(qū)域的形狀可知對(duì)象塊中的預(yù)測(cè)區(qū)域的位置和形狀。
[0155]在圖10中，小區(qū)域441表示對(duì)象塊402的右下1/4的部分，區(qū)域442表示指定區(qū)域。模板信號(hào)生成器301根據(jù)預(yù)測(cè)關(guān)聯(lián)信息從圖6的區(qū)域406中切取面積為右下1/4的部分的區(qū)域442，將區(qū)域442作為模板信號(hào)輸出。此時(shí)，從區(qū)域406的左上角向指定區(qū)域442(紋理區(qū)域)的左上角的位移量和與指定區(qū)域及紋理區(qū)域的形狀有關(guān)的信息一起記錄在紋理合成器202中。紋理生成器302經(jīng)由線L104訪問參照?qǐng)D像403，利用模板匹配取得多個(gè)與指定區(qū)域442相同形狀的像素組，計(jì)算與模板信號(hào)之間對(duì)應(yīng)像素間的SAD值。然后，紋理生成器302檢測(cè)SAD值小的N個(gè)區(qū)域741、742、743、744以及442作為類似區(qū)域(紋理區(qū)域)的候選(在本實(shí)施方式中N的值為5)。
[0156]在合成器303中對(duì)這N個(gè)紋理區(qū)域的紋理信號(hào)進(jìn)行加權(quán)平均，由此生成小區(qū)域441的預(yù)測(cè)信號(hào)。此時(shí)，從所記錄的位移量和類似區(qū)域的形狀可知對(duì)象塊中的預(yù)測(cè)區(qū)域的位置和形狀。
[0157]這樣，即使紋理區(qū)域的形狀與對(duì)象塊的形狀不同，但只要預(yù)先決定輸入到紋理取得器503中的坐標(biāo)信息與對(duì)象塊的位置關(guān)系，即可根據(jù)坐標(biāo)信息，取得與對(duì)象塊相同形狀的區(qū)域的信號(hào)。
[0158]在圖7?圖10的處理中，將圖6的對(duì)象塊分割為4個(gè)部分，根據(jù)分割為4個(gè)部分后的模板信號(hào)，按照每個(gè)分割區(qū)域生成預(yù)測(cè)信號(hào)。這樣，在本發(fā)明中，可以對(duì)根據(jù)預(yù)測(cè)關(guān)聯(lián)信息所生成的信號(hào)進(jìn)行分割，從而生成模板信號(hào)。因此，可以在不增加預(yù)測(cè)關(guān)聯(lián)信息的情況下，利用小于對(duì)象塊的區(qū)域單位生成高性能的預(yù)測(cè)信號(hào)。另外，對(duì)象塊的分割數(shù)和分割后的形狀不限于上述變形例，可以任意設(shè)定。
[0159]在圖6?圖10所示的處理中，紋理區(qū)域的形狀與類似區(qū)域的形狀一致。但是，只要明確用于表示類似區(qū)域與紋理區(qū)域的相對(duì)坐標(biāo)位置的位移量，則作為預(yù)測(cè)對(duì)象的區(qū)域的紋理區(qū)域與類似區(qū)域也可以是不同的形狀。圖11和圖12示出紋理區(qū)域與類似區(qū)域的形狀不同的例子。
[0160]圖11是用于說明紋理區(qū)域的形狀與類似區(qū)域的形狀不同的例子的匹配處理和紋理生成處理的示意圖。圖11 (A)示出參照?qǐng)D像，圖11 (B)示出編碼對(duì)象的畫面。在圖11中，區(qū)域462表示指定區(qū)域，區(qū)域461表示與指定區(qū)域?qū)?yīng)的紋理區(qū)域。
[0161]在圖11所示的變形例中，紋理區(qū)域461的形狀與對(duì)象區(qū)域402的形狀相同。模板信號(hào)生成器301根據(jù)預(yù)測(cè)關(guān)聯(lián)信息從圖6所示的區(qū)域406中切取預(yù)先指定的區(qū)域462，經(jīng)由線L301向紋理生成器302輸出屬于指定區(qū)域462的模板信號(hào)。此時(shí)，從紋理區(qū)域461的左上角向指定區(qū)域462的左上角的位移量以及與指定區(qū)域(類似區(qū)域)的形狀和紋理區(qū)域的形狀有關(guān)的信息被記錄在紋理合成器202中。
[0162]匹配器501經(jīng)由線L104訪問參照?qǐng)D像403，利用模板匹配取得多個(gè)與指定區(qū)域462相同形狀的像素組，計(jì)算與模板信號(hào)之間對(duì)應(yīng)像素間的SAD值。然后，候選紋理選擇器502檢測(cè)SAD值小的N個(gè)區(qū)域761、762、763、764以及462作為類似區(qū)域，向紋理取得器503輸出其坐標(biāo)位置(在本實(shí)施方式中N的值為5)。紋理取得器503根據(jù)所輸入的坐標(biāo)信息和所記錄的上述位移量，從參照?qǐng)D像403中取得N個(gè)紋理區(qū)域751、752、753、754以及461的信號(hào)。在合成器303中對(duì)這N個(gè)紋理信號(hào)進(jìn)行加權(quán)平均，由此生成對(duì)象塊402的預(yù)測(cè)信號(hào)。另外，這里省略對(duì)搜索區(qū)域、N的值以及閾值等的設(shè)定方法的說明，但是與圖6的情況相同，可以進(jìn)行編碼。
[0163]這樣，即使紋理區(qū)域與類似區(qū)域的形狀不同，但只要明確用于表示類似區(qū)域與紋理區(qū)域的相對(duì)坐標(biāo)位置的位移量，則也能夠根據(jù)輸入到紋理取得器503中的坐標(biāo)信息來取得紋理區(qū)域(對(duì)象區(qū)域)的區(qū)域信號(hào)。即，可以從根據(jù)預(yù)測(cè)關(guān)聯(lián)信息所生成的區(qū)域(區(qū)域406)的信號(hào)中，切取部分信號(hào)(區(qū)域462的信號(hào))并將其設(shè)定為模板信號(hào)。根據(jù)該方法，具有如下優(yōu)點(diǎn)，即:在根據(jù)預(yù)測(cè)關(guān)聯(lián)信息所得到的區(qū)域(區(qū)域406)的信號(hào)中包含不適于匹配處理的具有較強(qiáng)特征的信號(hào)的情況下，可以從模板信號(hào)中排除該信號(hào)區(qū)域。
[0164]與使用圖11的說明相關(guān)聯(lián)地，在本發(fā)明中，還可以在紋理區(qū)域中，利用不屬于類似區(qū)域的像素和屬于類似區(qū)域的像素來切換加權(quán)處理的權(quán)重系數(shù)。例如，對(duì)與紋理區(qū)域(區(qū)域461)對(duì)應(yīng)的指定區(qū)域(區(qū)域462)的信號(hào)進(jìn)行分析，針對(duì)被認(rèn)定為不需要進(jìn)行平滑化處理的區(qū)域，可以將賦予給指定區(qū)域的模板信號(hào)的權(quán)重值設(shè)定為I，將賦予給其他模板信號(hào)的權(quán)重值設(shè)定為O。
[0165]圖12是用于說明紋理區(qū)域的形狀與類似區(qū)域的形狀不同的另一個(gè)例子的匹配處理和紋理生成處理的示意圖。圖12 (A)示出參照?qǐng)D像，圖12 (B)示出編碼對(duì)象的畫面。在圖12中，區(qū)域472表示指定區(qū)域，區(qū)域471表示與指定區(qū)域?qū)?yīng)的紋理區(qū)域。這樣，在本發(fā)明中，可以將指定區(qū)域設(shè)定為根據(jù)預(yù)測(cè)關(guān)聯(lián)信息所生成的區(qū)域471的外部。并且，指定區(qū)域不一定要與區(qū)域471接觸。在該變形例中，紋理區(qū)域471的形狀與對(duì)象區(qū)域402的形狀相同。
[0166]模板信號(hào)生成器301根據(jù)預(yù)測(cè)關(guān)聯(lián)信息從畫面403中切取區(qū)域472，并將指定區(qū)域472作為模板信號(hào)經(jīng)由線L301向紋理生成器302輸出。此時(shí)，從紋理區(qū)域471的左上角向指定區(qū)域472的左上角的位移量以及與指定區(qū)域(類似區(qū)域)的形狀和紋理區(qū)域的形狀有關(guān)的信息被記錄在紋理合成器202中。
[0167]匹配器501經(jīng)由線L104訪問參照?qǐng)D像403，利用模板匹配取得多個(gè)與指定區(qū)域472相同形狀的像素組，計(jì)算與模板信號(hào)之間對(duì)應(yīng)像素間的SAD值。然后，候選紋理選擇器502檢測(cè)SAD值小的N個(gè)區(qū)域781、782、783、784以及472作為類似區(qū)域，向紋理取得器503輸出其坐標(biāo)位置(在本實(shí)施方式中N的值為5)。紋理取得器503根據(jù)所輸入的坐標(biāo)信息和所記錄的上述位移量，從參照?qǐng)D像403中取得N個(gè)紋理區(qū)域771、772、773、774以及471的信號(hào)。在合成器303中對(duì)這N個(gè)紋理信號(hào)進(jìn)行加權(quán)平均，由此生成對(duì)象塊402的預(yù)測(cè)信號(hào)。另外，這里省略對(duì)搜索區(qū)域、N的值以及閾值等的設(shè)定方法的說明，但是與圖6的情況相同，可以進(jìn)行編碼。
[0168]這樣，在本發(fā)明中，針對(duì)根據(jù)預(yù)測(cè)關(guān)聯(lián)信息而生成的區(qū)域，還可以將其相鄰區(qū)域的信號(hào)設(shè)定為模板信號(hào)。例如，圖12所示的方法對(duì)于希望保持相鄰塊與對(duì)象塊的信號(hào)的連續(xù)性的情況有效。在該情況下，如圖13所示，可以通過使用了對(duì)象塊402的相鄰區(qū)域1301的像素信號(hào)的匹配處理來檢測(cè)作為預(yù)測(cè)關(guān)聯(lián)信息的動(dòng)作矢量408。在該情況下，在已再現(xiàn)畫面403中所設(shè)定的搜索區(qū)域1304中，從與區(qū)域1301相同形狀的像素組中檢測(cè)對(duì)應(yīng)像素間的SAD為最小的區(qū)域1305。然后，檢測(cè)從與對(duì)象塊402相同的空間位置的塊1303向區(qū)域1305的位移量來作為運(yùn)動(dòng)矢量408。另外，沒有對(duì)區(qū)域1305與對(duì)應(yīng)于該區(qū)域的紋理區(qū)域的位置關(guān)系進(jìn)行限定。
[0169]在本發(fā)明中，還可以將圖7?圖10所示的處理與圖11或圖12所示的處理進(jìn)行組合。并且，在本實(shí)施方式中，以各自區(qū)域的左上角為基準(zhǔn)來求出類似區(qū)域與紋理區(qū)域之間的位移量以及紋理區(qū)域與對(duì)象區(qū)域之間的位移量，但是也可以是與左上角不同的預(yù)定基準(zhǔn)。而且，指定區(qū)域與類似區(qū)域及紋理區(qū)域的形狀不限于上述例子，可以任意設(shè)定。例如，指定區(qū)域的形狀可以大于紋理區(qū)域的形狀。
[0170]對(duì)于圖7?圖12的搜索區(qū)域，也可以與圖6同樣地設(shè)定多個(gè)畫面(多個(gè)參照?qǐng)D像)的部分區(qū)域來作為搜索區(qū)域。在該情況下，只要預(yù)先決定了用于選擇作為搜索對(duì)象的畫面的規(guī)則，則也不需要對(duì)該畫面的信息進(jìn)行編碼。
[0171]關(guān)于搜索區(qū)域，可以設(shè)定M個(gè)(M是小于等于N的值)搜索區(qū)域，并預(yù)先決定分別進(jìn)行搜索的候選紋理的數(shù)量。例如，當(dāng)設(shè)M = N，并將M個(gè)搜索區(qū)域設(shè)定在不同的畫面上時(shí)，可以從多個(gè)參照?qǐng)D像中分別搜索候選紋理信號(hào)。此時(shí)，在無法從預(yù)定的參照?qǐng)D像中搜索到滿足SAD閾值等條件的候選紋理信號(hào)的情況下，可以削減N的數(shù)量，并可以預(yù)先決定替代的用于搜索候選紋理信號(hào)的參照?qǐng)D像的優(yōu)先順序。并且，可以將多個(gè)參照?qǐng)D像中所包含的搜索區(qū)域的集合設(shè)定為一個(gè)搜索區(qū)域。例如，可以在P個(gè)參照?qǐng)D像中分別設(shè)置搜索區(qū)域，并在M個(gè)搜索區(qū)域中包含這樣的設(shè)定，即:從P個(gè)搜索區(qū)域中，搜索指定區(qū)域的像素組與對(duì)應(yīng)像素組之間的絕對(duì)值誤差值的和(SAD)小的Q個(gè)(小于N的正整數(shù))的類似區(qū)域。另外，在多個(gè)參照?qǐng)D像中設(shè)定搜索區(qū)域的情況下，在從候選紋理選擇部502向紋理取得部503輸出的坐標(biāo)信息中包含用于識(shí)別參照?qǐng)D像所屬幀的信息(參照?qǐng)D像幀號(hào))。
[0172]接著，敘述畫面內(nèi)預(yù)測(cè)方法的情況。與使用圖6的說明同樣，針對(duì)畫面401的對(duì)象塊402，說明紋理信號(hào)的生成步驟。另外，在本實(shí)施方式中，如圖14所示，以4X4塊為單位來進(jìn)行畫面內(nèi)預(yù)測(cè)處理，因此，這里關(guān)注對(duì)象塊內(nèi)的4X4像素的區(qū)域1402。
[0173]圖14是用于說明畫面內(nèi)預(yù)測(cè)方法的情況下的匹配處理和候選紋理生成處理的示意圖。區(qū)域1402表示指定區(qū)域。模板信號(hào)生成器301按照預(yù)測(cè)關(guān)聯(lián)信息所提供的預(yù)測(cè)方法，根據(jù)對(duì)象塊402的相鄰區(qū)域1401的已再現(xiàn)信號(hào)生成區(qū)域1402的信號(hào)。區(qū)域1402的信號(hào)作為模板信號(hào)輸出。此時(shí)，從區(qū)域402的左上角向指定區(qū)域1402 (紋理區(qū)域)的左上角的位移量以及指定區(qū)域(類似區(qū)域)和紋理區(qū)域的形狀記錄在紋理合成器202中。[0174]紋理生成器302將與對(duì)象塊402相同的畫面401中的已再現(xiàn)信號(hào)設(shè)為搜索區(qū)域。另外，在本實(shí)施方式中，將畫面401內(nèi)的所有已再現(xiàn)區(qū)域設(shè)為搜索區(qū)域，但是也可以將其一部分設(shè)定為搜索區(qū)域。紋理生成器302經(jīng)由線L104進(jìn)行訪問，利用模板匹配取得多個(gè)與指定區(qū)域1402形狀相同的像素組，計(jì)算與模板信號(hào)之間對(duì)應(yīng)像素間的SAD值。然后，紋理生成器302檢測(cè)SAD值小的N -1個(gè)區(qū)域1403、1404、1405以及1406來作為紋理信號(hào)的候選(在本實(shí)施方式中N為5)。在合成器303中對(duì)在這N — I個(gè)紋理信號(hào)中加入模板信號(hào)1402后的N個(gè)信號(hào)進(jìn)行加權(quán)平均，由此生成對(duì)象塊402的左上角1/4的區(qū)域1402的預(yù)測(cè)信號(hào)。此時(shí)，從所記錄的紋理區(qū)域的形狀可知對(duì)象區(qū)域中的紋理區(qū)域的形狀。
[0175]另外，也可以將利用畫面內(nèi)預(yù)測(cè)方法而生成的模板信號(hào)應(yīng)用于畫面間預(yù)測(cè)方法。在該情況下，在圖14所示的例子中，搜索區(qū)域包含已再現(xiàn)的其他畫面。省略對(duì)搜索區(qū)域、N的值以及閾值等的設(shè)定方法的說明，但是與圖6的情況相同，可以進(jìn)行編碼。
[0176]在本實(shí)施方式中，通過變更紋理合成器202的模板信號(hào)生成器301和紋理生成器302的設(shè)定來對(duì)應(yīng)圖6?圖12以及圖14所示的多個(gè)紋理合成方法，但是也可以使圖像預(yù)測(cè)編碼裝置100對(duì)應(yīng)其他方法。例如，可以是準(zhǔn)備模板信號(hào)生成器301和紋理生成器302的設(shè)定不同的多個(gè)紋理合成器202，并通過適當(dāng)?shù)那袚Q來使用的方法。通過將圖像預(yù)測(cè)編碼裝置100構(gòu)成為如下結(jié)構(gòu)，可以對(duì)紋理合成方法進(jìn)行適當(dāng)?shù)膽?yīng)用，即:準(zhǔn)備從多個(gè)紋理合成方法中選擇一個(gè)方法的單元(例如，選擇與對(duì)象塊的誤差最小的方法的單元)(未圖示)，并利用熵編碼器111對(duì)所選擇的紋理合成方法進(jìn)行編碼。
[0177]圖15是示出圖2所示的紋理合成器202中的對(duì)象塊的紋理生成方法的步驟的流程圖。首先，在模板信號(hào)生成器301中，根據(jù)預(yù)測(cè)關(guān)聯(lián)信息來取得指定區(qū)域的模板信號(hào)(步驟 S302)。
[0178]接著，通過紋理生成器302的匹配器501來求出指定區(qū)域與位于搜索區(qū)域中的相同形狀的像素組的絕對(duì)值和(SAD值)(步驟S303)。然后，紋理生成器302的候選紋理選擇器502將SAD值和預(yù)定的閾值進(jìn)行比較(步驟S304)，在判斷為SAD值小于閾值的情況下，進(jìn)入到步驟S305，而在判斷為并非如此的情況下，進(jìn)入到步驟S306。
[0179]在紋理生成器302的候選紋理選擇器502中，將所求出的SAD值和以前的SAD值進(jìn)行比較。然后，在按照所求出的SAD值從小到大的順序直到包含N個(gè)的情況下，將搜索到的類似區(qū)域追加為類似區(qū)域的候選，對(duì)類似區(qū)域的候選進(jìn)行更新(步驟S305)。
[0180]之后，紋理生成器302的匹配器501對(duì)搜索區(qū)域是否已全部搜索完畢進(jìn)行確認(rèn)(步驟S306)。在判斷為還未全部搜索完畢的情況下，返回到步驟S303，通過紋理生成器302的匹配器501來求出指定區(qū)域與位于搜索區(qū)域中的相同形狀的其它像素組的絕對(duì)值和SAD。
[0181]在已全部搜索完畢的時(shí)刻，在紋理生成器302的紋理取得器503中取得多個(gè)紋理信號(hào)的候選，在合成器303中進(jìn)行加權(quán)平均，由此生成紋理信號(hào)(步驟S308)。到這里，針對(duì)一個(gè)對(duì)象塊的處理結(jié)束(步驟S309)。
[0182]在步驟S305中，選擇了 SAD值小的N個(gè)紋理信號(hào)作為紋理信號(hào)的候選，但是也可以是其他方法。由于利用候選紋理信號(hào)的平均化來取得在統(tǒng)計(jì)上噪聲小的紋理信號(hào)，因此多個(gè)紋理信號(hào)候選彼此之間的相關(guān)性越低越好。即，存在優(yōu)選候選信號(hào)具有多樣性的情況。作為使候選紋理信號(hào)具有多樣性的簡(jiǎn)單的方法之一，具有如下這樣的方法，即:從SAD值小于預(yù)定的閾值的類似區(qū)域中，按照與指定區(qū)域之間的空間位置從遠(yuǎn)到近的順序選擇N個(gè)紋理信號(hào)。并且，如圖16所示，還具有以增大成為候選的類似區(qū)域彼此間的空間距離的方式來選擇N個(gè)區(qū)域的方法。
[0183]圖16是示出在圖15所示的步驟S305中選擇N個(gè)類似區(qū)域的一個(gè)方法的步驟的流程圖。在圖16中，A[p] [i]表示SAD值小于預(yù)定的閾值的像素區(qū)域中第P個(gè)被檢索到的像素區(qū)域在參照?qǐng)D像上的坐標(biāo)信息。值i被設(shè)定為表示水平坐標(biāo)的O或表示垂直坐標(biāo)的I。C[k] [i]表示在步驟S305中第k個(gè)被選擇的類似區(qū)域的坐標(biāo)。以下，在不需要區(qū)別水平坐標(biāo)和垂直坐標(biāo)的情況下，記載為A[p]和C[p]。
[0184]首先，將利用模板生成器所得到的指定區(qū)域的坐標(biāo)保存在C[l]中(步驟S502)，將到此為止所選擇的類似區(qū)域的數(shù)量K設(shè)定為I。
[0185]接著，針對(duì)SAD值小于預(yù)定閾值的像素區(qū)域，將參照?qǐng)D像上的坐標(biāo)A[p]與C[l]進(jìn)行比較，選擇其距離差(矢量大小)最大的A[m](步驟S503)。然后，將k的值更新為K+ I(=2)，設(shè)定為C[K] = A[m](步驟S504)。此時(shí)，A[m]確定為類似區(qū)域，因此從選擇對(duì)象中刪除第m個(gè)檢索到的紋理。
[0186]之后，對(duì)K和N進(jìn)行比較(步驟S505)，當(dāng)判斷為K小于N時(shí)，返回到步驟S503，當(dāng)判斷為K = N時(shí)，結(jié)束處理。
[0187]然后，在步驟S503中，將C[l]?C[K]的每一個(gè)與其余的A[p]進(jìn)行比較，選擇距離差的和最大的A[m]。根據(jù)該方法，可以保證所選擇的候選類似區(qū)域間的距離。
[0188]圖17是示出本實(shí)施方式所涉及的圖像預(yù)測(cè)編碼裝置100中的圖像預(yù)測(cè)編碼方法的步驟的流程圖。首先，在預(yù)測(cè)關(guān)聯(lián)信息生成器201中使用對(duì)象塊的像素信號(hào)來實(shí)施預(yù)測(cè)處理，生成預(yù)測(cè)關(guān)聯(lián)信息(步驟S102)。接著，紋理合成器202根據(jù)預(yù)測(cè)關(guān)聯(lián)信息生成多個(gè)紋理信號(hào)的候選，并利用紋理合成處理生成對(duì)象塊的預(yù)測(cè)信號(hào)(步驟S103)。此時(shí)，紋理合成器202可以采用多種紋理生成方法來生成預(yù)測(cè)信號(hào)，并選擇與對(duì)象塊的信號(hào)對(duì)應(yīng)的像素間的誤差平方和最小的預(yù)測(cè)信號(hào)。
[0189]這樣，表示所決定的預(yù)測(cè)信號(hào)與對(duì)象塊的信號(hào)的差分的殘差信號(hào)由變換器106、量子化器107以及熵編碼器111進(jìn)行編碼(步驟S104)。然后，編碼后的殘差信號(hào)、預(yù)測(cè)關(guān)聯(lián)信息以及紋理生成方法的選擇信息(必要的情況下)經(jīng)由輸出端子112輸出(步驟S105)。這里，預(yù)測(cè)關(guān)聯(lián)信息除了包含有畫面間預(yù)測(cè)方法中的運(yùn)動(dòng)矢量和參照?qǐng)D像幀號(hào)、畫面內(nèi)預(yù)測(cè)方法中的預(yù)測(cè)方法以及與畫面內(nèi)預(yù)測(cè)方法和畫面間預(yù)測(cè)方法的選擇有關(guān)的選擇信息之外，有時(shí)還包含紋理信號(hào)候選的生成和選擇所使用的搜索區(qū)域(候選紋理信號(hào)的搜索)、N的值(候選紋理信號(hào)的數(shù)量)、閾值(計(jì)量候選紋理信號(hào)與模板信號(hào)的類似性的評(píng)價(jià)值)以及權(quán)重值(紋理合成時(shí)的權(quán)重系數(shù))等的各種設(shè)定信息。
[0190]為了對(duì)后續(xù)的對(duì)象塊進(jìn)行預(yù)測(cè)編碼，逆量子化器108和逆變換器109在這些處理后或者與這些處理并行地，對(duì)編碼后的殘差信號(hào)進(jìn)行解碼。然后，由加法器110對(duì)解碼后的殘差信號(hào)加上預(yù)測(cè)信號(hào)，對(duì)象塊的信號(hào)被再現(xiàn)，并作為參照?qǐng)D像存儲(chǔ)在幀存儲(chǔ)器104中(步驟S106)。然后，在所有對(duì)象塊的處理未結(jié)束的情況下，返回步驟S102，執(zhí)行針對(duì)下一對(duì)象塊的處理。在所有對(duì)象塊的處理都結(jié)束的情況下，結(jié)束處理(步驟S108)。
[0191]接著，說明本實(shí)施方式所涉及的圖像預(yù)測(cè)解碼方法。圖19是示出本實(shí)施方式所涉及的圖像預(yù)測(cè)解碼裝置1900的框圖。該圖像預(yù)測(cè)解碼裝置1900具有:輸入端子1901、數(shù)據(jù)分析器1902、逆量子化器1903、逆變換器1904、加法器1905、輸出端子1906、幀存儲(chǔ)器1907以及紋理合成器1908。由逆量子化器1903和逆變換器1904所構(gòu)成的解碼單元也可以使用其他部件來構(gòu)成。并且，也可以不具有逆變器1904。
[0192]輸入端子1901輸入利用上述圖像預(yù)測(cè)編碼方法壓縮編碼后的壓縮數(shù)據(jù)。在該壓縮數(shù)據(jù)中包含用于預(yù)測(cè)將圖像分割為多個(gè)塊后的對(duì)象塊并進(jìn)行了編碼的殘差信號(hào)和預(yù)測(cè)關(guān)聯(lián)信息。這里，預(yù)測(cè)關(guān)聯(lián)信息除了包含有畫面內(nèi)預(yù)測(cè)方法中的預(yù)測(cè)方法、與畫面內(nèi)預(yù)測(cè)方法和畫面間預(yù)測(cè)方法的選擇有關(guān)的選擇信息、以及畫面間預(yù)測(cè)方法中的運(yùn)動(dòng)矢量和參照?qǐng)D像幀號(hào)之外，有時(shí)還包含紋理信號(hào)候選的生成和選擇所使用的搜索區(qū)域(候選紋理信號(hào)的搜索)、N的值(候選紋理信號(hào)的數(shù)量)、閾值(計(jì)量候選紋理信號(hào)與模板信號(hào)的類似性的評(píng)價(jià)值)以及權(quán)重值(紋理合成時(shí)的權(quán)重系數(shù))等的各種設(shè)定信息。另外，在預(yù)定方式的情況下，不需要各種設(shè)定信息。
[0193]數(shù)據(jù)分析器1902通過對(duì)輸入到輸入端子1901的壓縮數(shù)據(jù)進(jìn)行分析，來提取對(duì)象塊的殘差信號(hào)、預(yù)測(cè)關(guān)聯(lián)信息以及各種設(shè)定信息(必要的情況下)。
[0194]逆量子化器1903經(jīng)由線L1902a輸入對(duì)象塊的殘差信號(hào)，并進(jìn)行逆量子化。逆變換器1904對(duì)逆量子化后的數(shù)據(jù)進(jìn)行逆離散余弦變換。
[0195]紋理合成器1908經(jīng)由線L1902b從數(shù)據(jù)分析器1902輸入預(yù)測(cè)輔助信號(hào)信息。該紋理合成器1908 (利用后述的方法)根據(jù)預(yù)測(cè)關(guān)聯(lián)信息從幀存儲(chǔ)器907中取得參照?qǐng)D像，生成預(yù)測(cè)信號(hào)。紋理合成器1908經(jīng)由線L1908向加法器1905輸出所生成的預(yù)測(cè)信號(hào)。
[0196]加法器1905將由紋理合成器1908生成的預(yù)測(cè)信號(hào)與由逆量子化器1903和逆變換器1904解碼的殘差信號(hào)相加，經(jīng)由線L1905向輸出端子1906和幀存儲(chǔ)器1907輸出對(duì)象塊的再現(xiàn)圖像信號(hào)。輸出端子1906向外部(例如顯示器)輸出。
[0197]幀存儲(chǔ)器1907作為用于接下來的解碼處理的參照用的再現(xiàn)圖像，存儲(chǔ)從加法器1905輸出的再現(xiàn)圖像來作為參照?qǐng)D像。
[0198]接著，說明紋理合成器1908。紋理合成器1908的詳細(xì)結(jié)構(gòu)如圖20所示，具有基本與圖3所示的結(jié)構(gòu)相同的結(jié)構(gòu)或者與其相當(dāng)?shù)墓δ堋?br> [0199]使用圖20詳細(xì)說明本實(shí)施方式所涉及的紋理信號(hào)的生成/合成處理。圖20是圖19所示的紋理合成器1908的框圖。紋理合成器1908具有模板信號(hào)生成器2001、紋理生成器2002以及合成器2003。模板信號(hào)生成器2001接受經(jīng)由線L2001輸入的預(yù)測(cè)關(guān)聯(lián)信息，并且接受經(jīng)由線L1907輸入的來自幀存儲(chǔ)器1907的再現(xiàn)圖像信號(hào)。模板信號(hào)生成器2001基于預(yù)測(cè)關(guān)聯(lián)信息，從再現(xiàn)圖像信號(hào)生成模板信號(hào)，并經(jīng)由線L2001向紋理生成器2002輸出該模板信號(hào)。模板信號(hào)是根據(jù)針對(duì)畫面內(nèi)預(yù)測(cè)方法和畫面間預(yù)測(cè)方法的選擇信息以及預(yù)測(cè)關(guān)聯(lián)信息，利用畫面內(nèi)預(yù)測(cè)方法或畫面間預(yù)測(cè)方法生成的。
[0200]紋理生成器2002接受從模板信號(hào)生成器2001經(jīng)由線L2001輸入的模板信號(hào)，并且接受從幀存儲(chǔ)器1907經(jīng)由線L1907輸入的再現(xiàn)圖像信號(hào)。紋理生成器2002從模板信號(hào)和再現(xiàn)圖像信號(hào)，利用與編碼裝置的紋理生成器302相同的方法來生成N個(gè)紋理信號(hào)。所生成的N個(gè)紋理信號(hào)經(jīng)由線L2002輸出到合成器2003。合成器2003接受從線L2002輸入的N個(gè)紋理信號(hào)。合成器2003利用與編碼裝置的合成器303相同的方法來對(duì)這N個(gè)紋理信號(hào)進(jìn)行合成，生成預(yù)測(cè)信號(hào)，并經(jīng)由線L1908輸出該預(yù)測(cè)信號(hào)。
[0201]合成器2003接受N個(gè)候選紋理信號(hào)的輸入，利用加權(quán)平均處理生成對(duì)象塊的預(yù)測(cè)信號(hào)。合成器2003具有加權(quán)器2004和加法器2005。加權(quán)器2004的加權(quán)值可以預(yù)先決定，也可以包含在壓縮數(shù)據(jù)中。加權(quán)器2004向所輸入的N個(gè)紋理信號(hào)賦予所決定的權(quán)重值，并經(jīng)由線L2004向加法器2005輸出。加法器2005將加權(quán)處理后的N個(gè)紋理信號(hào)相加，并將相加后的紋理信號(hào)作為預(yù)測(cè)信號(hào)經(jīng)由線L1908輸出。
[0202]紋理合成器1908根據(jù)搜索區(qū)域(候選紋理信號(hào)的搜索)、N的值(候選紋理信號(hào)的數(shù)量)、閾值(計(jì)量候選紋理信號(hào)與模板信號(hào)的類似性的評(píng)價(jià)值)以及權(quán)重值(紋理合成時(shí)的權(quán)重系數(shù))等的各種設(shè)定信息，來執(zhí)行紋理合成處理。需要使所生成的多個(gè)候選紋理信號(hào)與由圖像預(yù)測(cè)編碼裝置生成的信號(hào)一致，并且通過紋理合成而生成的預(yù)測(cè)信號(hào)也必須與由圖像預(yù)測(cè)編碼裝置生成的信號(hào)一致。因此，需要使紋理合成器1908所使用的各種設(shè)定信息與圖像預(yù)測(cè)編碼裝置的紋理合成器202所使用的信息完全一致。所以，沒有被預(yù)先決定的信息從圖像預(yù)測(cè)編碼裝置100傳送，并在圖像預(yù)測(cè)解碼裝置1900中恢復(fù)。
[0203]另外，與圖像預(yù)測(cè)編碼裝置100內(nèi)的合成器303相同，圖像預(yù)測(cè)解碼裝置1900內(nèi)的合成器2003也不限于圖20的結(jié)構(gòu)。例如，可以構(gòu)成為，將針對(duì)加權(quán)紋理信號(hào)的權(quán)重值設(shè)為整數(shù)，在將加權(quán)處理后的N個(gè)紋理信號(hào)相加后，用相加后的信號(hào)除以N個(gè)權(quán)重值的和。
[0204]接著，使用圖21說明圖19所示的圖像預(yù)測(cè)解碼裝置1900中的圖像預(yù)測(cè)解碼方法。首先，經(jīng)由輸入端子1901輸入壓縮后的壓縮數(shù)據(jù)(步驟S1902)。然后，在數(shù)據(jù)分析器1902中，對(duì)壓縮數(shù)據(jù)進(jìn)行熵解碼，提取量子化后變換系數(shù)、預(yù)測(cè)關(guān)聯(lián)信息(步驟S1903)。這里，紋理合成器1908根據(jù)提取出的預(yù)測(cè)關(guān)聯(lián)信息生成多個(gè)紋理信號(hào)，對(duì)所生成的多個(gè)紋理信號(hào)進(jìn)行合成，由此生成預(yù)測(cè)信號(hào)(步驟S1904)。
[0205]另一方面，在逆量子化器1903中使用量子化參數(shù)對(duì)量子化后的變換系數(shù)進(jìn)行逆量子化，在逆變換器1904中進(jìn)行逆變換，生成再現(xiàn)差分信號(hào)(步驟S1905)。然后，通過將所生成的預(yù)測(cè)信號(hào)與再現(xiàn)差分信號(hào)相加來生成再現(xiàn)信號(hào)，由于該再現(xiàn)信號(hào)用于再現(xiàn)接下來的對(duì)象塊，因此存儲(chǔ)在幀存儲(chǔ)器1907中(步驟S1906)。在存在下一個(gè)壓縮數(shù)據(jù)的情況下，再次重復(fù)該過程(步驟S1907)，直到最后處理了所有數(shù)據(jù)為止(步驟S1908)。另外，也可以根據(jù)需要返回到步驟S1902，來取入壓縮數(shù)據(jù)。
[0206]本實(shí)施方式所涉及的圖像預(yù)測(cè)編碼方法和圖像預(yù)測(cè)解碼方法還可以作為程序以記錄在記錄介質(zhì)中的方式來提供。作為記錄介質(zhì)，可以例示出FLOPPY DISC (軟盤)(注冊(cè)商標(biāo))、⑶一 ROM、DVD、或者ROM等記錄介質(zhì)、或者半導(dǎo)體存儲(chǔ)器等。
[0207]圖22是示出可以執(zhí)行圖像預(yù)測(cè)編碼方法的程序的模塊的框圖。圖像預(yù)測(cè)編碼程序PlOO具有:塊分割模塊P102 ;預(yù)測(cè)信號(hào)生成模塊P103 ;存儲(chǔ)模塊P104 ;減法模塊P105 ；變換模塊P106 ;量子化模塊P107 ;逆量子化模塊P108 ;逆變換模塊P109 ;加法模塊PllO以及熵編碼模塊P111。另外，如圖23所示，預(yù)測(cè)信號(hào)生成模塊P103具有預(yù)測(cè)關(guān)聯(lián)信息生成模塊P201以及紋理合成模塊P202。而且，如圖24所示，紋理信號(hào)模塊P202具有模板信號(hào)生成模塊P301、紋理生成模塊P302以及合成模塊P303。
[0208]通過執(zhí)行上述各模塊所實(shí)現(xiàn)的功能與上述圖像預(yù)測(cè)編碼裝置100的功能相同。即，圖像預(yù)測(cè)編碼程序PlOO的各模塊的功能與下述各部分的功能相同:塊分割器102 ;預(yù)測(cè)信號(hào)生成器103 ;幀存儲(chǔ)器104 ;減法器105 ;變換器106 ;量子化器107 ;逆量子化器108 ;逆變換器109 ;加法器110 ;熵編碼器111 ;預(yù)測(cè)關(guān)聯(lián)信息生成器201 ;紋理合成器202 ;模板信號(hào)生成器301 ;紋理生成器302以及合成器303。
[0209]并且，圖25是示出可以執(zhí)行圖像預(yù)測(cè)解碼方法的程序的模塊的框圖。圖像預(yù)測(cè)解碼程序P1900具有數(shù)據(jù)分析模塊P1902、逆量子化模塊P1903、逆變換模塊P1904、加法模塊P1905、存儲(chǔ)模塊P1907以及紋理合成模塊P1908。
[0210]通過執(zhí)行上述各模塊所實(shí)現(xiàn)的功能與上述圖像預(yù)測(cè)解碼裝置1900的各結(jié)構(gòu)要素相同。即，圖像預(yù)測(cè)解碼程序P1900的各模塊的功能與下述各部分的功能相同:數(shù)據(jù)分析器1902、逆量子化器1903、逆變換器1904、加法器1905、幀存儲(chǔ)器1907以及紋理合成器1908。
[0211]如此構(gòu)成的圖像預(yù)測(cè)編碼程序PlOO或者圖像預(yù)測(cè)解碼程序P1900存儲(chǔ)在記錄介質(zhì)10中，由后述的計(jì)算機(jī)來執(zhí)行。
[0212]圖26是示出用于執(zhí)行記錄在記錄介質(zhì)中的程序的計(jì)算機(jī)硬件結(jié)構(gòu)的圖，圖27是用于執(zhí)行存儲(chǔ)在記錄介質(zhì)中的程序的計(jì)算機(jī)的立體圖。另外，執(zhí)行存儲(chǔ)在記錄介質(zhì)中的程序的設(shè)備不限于計(jì)算機(jī)，也可以是具有CPU并且進(jìn)行基于軟件的處理和控制的DVD播放器、機(jī)頂盒、移動(dòng)電話等。
[0213]如圖26所示，計(jì)算機(jī)30具有:軟盤驅(qū)動(dòng)裝置、⑶一ROM驅(qū)動(dòng)裝置以及DVD驅(qū)動(dòng)裝置等讀取裝置12 ;使操作系統(tǒng)常駐的工作用存儲(chǔ)器(RAM =Random AccessMemory:隨機(jī)存取存儲(chǔ)器)14 ;存儲(chǔ)記錄介質(zhì)10中所存儲(chǔ)的程序的存儲(chǔ)器16 ;被稱為顯示器的顯示裝置18 ；作為輸入裝置的鼠標(biāo)20和鍵盤22 ;用于進(jìn)行數(shù)據(jù)等的發(fā)送接收的通信裝置24 ;以及控制程序的執(zhí)行的CPU26。在將記錄介質(zhì)10插入到讀取裝置12中時(shí)，計(jì)算機(jī)30可以從讀取裝置12來訪問存儲(chǔ)在記錄介質(zhì)10中的圖像預(yù)測(cè)編碼/解碼程序，并可以利用該圖像編碼/解碼程序，作為本實(shí)施方式所涉及的圖像編碼裝置或圖像解碼裝置來動(dòng)作。
[0214]如圖27所示，圖像預(yù)測(cè)編碼程序和圖像解碼程序可以作為載波中重疊的計(jì)算機(jī)數(shù)據(jù)信號(hào)40經(jīng)由網(wǎng)絡(luò)提供。在該情況下，計(jì)算機(jī)30將通過通信裝置24接收到的圖像預(yù)測(cè)編碼程序或圖像解碼程序存儲(chǔ)在存儲(chǔ)器16中，從而可以執(zhí)行該圖像預(yù)測(cè)編碼程序或圖像預(yù)測(cè)解碼程序。
[0215]如以上所說明的那樣，根據(jù)本實(shí)施方式所涉及的圖像預(yù)測(cè)編碼裝置，首先，塊分割器102將輸入到輸入端子101中的動(dòng)態(tài)圖像分割為多個(gè)區(qū)域，預(yù)測(cè)信號(hào)生成器103針對(duì)分割出的多個(gè)區(qū)域中作為處理對(duì)象的對(duì)象塊的對(duì)象像素信號(hào)生成預(yù)測(cè)信號(hào)。然后，減法器105生成該預(yù)測(cè)信號(hào)與對(duì)象像素信號(hào)的殘差信號(hào)，熵編碼器111對(duì)該殘差信號(hào)進(jìn)行編碼。這里，利用合成器303將根據(jù)預(yù)測(cè)關(guān)聯(lián)信息而生成的多個(gè)紋理信號(hào)相加，由此來生成預(yù)測(cè)信號(hào)。另外，所生成的預(yù)測(cè)關(guān)聯(lián)信號(hào)也與殘差信號(hào)同樣地由熵編碼器111進(jìn)行編碼。這樣，由于根據(jù)多個(gè)紋理信號(hào)來生成預(yù)測(cè)信號(hào)，因此可以降低預(yù)測(cè)信號(hào)中所包含的噪聲。并且，可以利用較少的預(yù)測(cè)關(guān)聯(lián)信息來高效地生成這些多個(gè)紋理信號(hào)。因此，可以高效地生成噪聲少的預(yù)測(cè)信號(hào)。
[0216]并且，本實(shí)施方式所涉及的圖像預(yù)測(cè)編碼裝置100可以將指定區(qū)域的形狀和對(duì)象區(qū)域的形狀(例如將區(qū)域406的形狀和區(qū)域402的形狀)設(shè)定為相同，因此可以更容易地生成預(yù)測(cè)信號(hào)。
[0217]并且，本實(shí)施方式所涉及的圖像預(yù)測(cè)編碼裝置100可以將對(duì)象區(qū)域402進(jìn)行分割，針對(duì)分割出的各小區(qū)域(小區(qū)域411、421、431以及441)生成預(yù)測(cè)信號(hào)，對(duì)每個(gè)小區(qū)域的預(yù)測(cè)信號(hào)進(jìn)行合成，由此來生成對(duì)象區(qū)域402的預(yù)測(cè)信號(hào)。因此，可以進(jìn)一步提高最終生成的對(duì)象區(qū)域402的預(yù)測(cè)信號(hào)的性能，即，生成噪聲更少的預(yù)測(cè)信號(hào)。
[0218]并且，在本實(shí)施方式所涉及的圖像預(yù)測(cè)編碼裝置100中，候選紋理選擇器502選擇與對(duì)象區(qū)域的像素信號(hào)的差分最小的模板信號(hào)作為紋理信號(hào)中的一個(gè)。即，模板信號(hào)包含在紋理信號(hào)中。因此，可以生成噪聲更少的預(yù)測(cè)信號(hào)。
[0219]并且，在本實(shí)施方式所涉及的圖像預(yù)測(cè)編碼裝置100中，合成器303對(duì)紋理信號(hào)實(shí)施加權(quán)平均處理，因此，多個(gè)紋理信號(hào)被平均化。因此，可以生成統(tǒng)計(jì)上誤差少的預(yù)測(cè)信號(hào)。
[0220]并且，在本實(shí)施方式所涉及的圖像預(yù)測(cè)編碼裝置100中，預(yù)測(cè)關(guān)聯(lián)信息包含表示對(duì)象區(qū)域的空間位移量的運(yùn)動(dòng)矢量。因此可以更容易地導(dǎo)出與對(duì)象區(qū)域的對(duì)象像素信號(hào)相關(guān)性高的信號(hào)，可以更容易地生成預(yù)測(cè)信號(hào)。
[0221]在本實(shí)施方式所涉及的圖像預(yù)測(cè)解碼裝置1900中，數(shù)據(jù)分析器1902從壓縮數(shù)據(jù)中提取預(yù)測(cè)關(guān)聯(lián)信息和殘差信號(hào)。之后，紋理合成器1908根據(jù)預(yù)測(cè)關(guān)聯(lián)信息生成預(yù)測(cè)信號(hào)，逆量子化器1903和逆變換器1904恢復(fù)殘差信號(hào)。然后，加法器1905將預(yù)測(cè)信號(hào)與殘差信號(hào)相加，恢復(fù)對(duì)象區(qū)域的再現(xiàn)像素信號(hào)。這里，合成器2003利用加權(quán)平均處理對(duì)紋理生成器2002根據(jù)恢復(fù)后的預(yù)測(cè)關(guān)聯(lián)信息而生成的多個(gè)紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。這樣，由于根據(jù)多個(gè)紋理信號(hào)來生成預(yù)測(cè)信號(hào)，因此可以降低預(yù)測(cè)信號(hào)中所包含的噪聲。并且，可以利用較少的預(yù)測(cè)關(guān)聯(lián)信息來高效地生成這些多個(gè)紋理信號(hào)。因此，可以高效地生成噪聲少的預(yù)測(cè)信號(hào)。
[0222]并且，本實(shí)施方式所涉及的圖像預(yù)測(cè)解碼裝置1900可以將指定區(qū)域的形狀和對(duì)象區(qū)域的形狀設(shè)定為相同，因此可以更容易地生成預(yù)測(cè)信號(hào)。
[0223]并且，在本實(shí)施方式所涉及的圖像預(yù)測(cè)解碼裝置1900中，可以將對(duì)象區(qū)域進(jìn)行分害I]，針對(duì)分割出的各小區(qū)域生成預(yù)測(cè)信號(hào)，對(duì)每個(gè)小區(qū)域的預(yù)測(cè)信號(hào)進(jìn)行合成，由此來生成對(duì)象區(qū)域的預(yù)測(cè)信號(hào)。因此，可以進(jìn)一步提高最終生成的對(duì)象區(qū)域的預(yù)測(cè)信號(hào)的性能，即，生成噪聲更少的預(yù)測(cè)信號(hào)。
[0224]并且，在本實(shí)施方式所涉及的圖像預(yù)測(cè)解碼裝置1900中，紋理選擇器2002可以生成包含與對(duì)象區(qū)域的像素信號(hào)的差分最小的模板信號(hào)的紋理信號(hào)，因此可以生成噪聲更少的預(yù)測(cè)信號(hào)。
[0225]并且，在本實(shí)施方式所涉及的圖像預(yù)測(cè)解碼裝置1900中，合成器2003對(duì)紋理信號(hào)實(shí)施加權(quán)平均處理，將經(jīng)過該處理的紋理信號(hào)相加來生成預(yù)測(cè)信號(hào)。這樣，在生成預(yù)測(cè)信號(hào)時(shí)，紋理信號(hào)被平均化，因此可以生成統(tǒng)計(jì)上誤差少的預(yù)測(cè)信號(hào)。
[0226]并且，在本實(shí)施方式所涉及的圖像預(yù)測(cè)解碼裝置1900中，數(shù)據(jù)分析器1902可以提取出包含表示對(duì)象區(qū)域的空間位移量的運(yùn)動(dòng)矢量的預(yù)測(cè)關(guān)聯(lián)信息。因此，可以更容易地導(dǎo)出與對(duì)象區(qū)域的對(duì)象像素信號(hào)相關(guān)性高的信號(hào)，可以更容易地生成預(yù)測(cè)信號(hào)。
[0227]以上，根據(jù)該實(shí)施方式對(duì)本發(fā)明進(jìn)行了詳細(xì)說明。但是，本發(fā)明不限于上述實(shí)施方式。在不脫離本發(fā)明的主旨的范圍內(nèi)，可以對(duì)本發(fā)明進(jìn)行各種變形。
[0228]〈第2實(shí)施方式>
[0229]接著，說明本發(fā)明可以在提高針對(duì)遠(yuǎn)離對(duì)象塊邊界的像素的預(yù)測(cè)精度的同時(shí)，高效地生成針對(duì)具有復(fù)雜紋理信號(hào)(圖案)的圖像的預(yù)測(cè)信號(hào)的圖像預(yù)測(cè)編碼裝置、圖像預(yù)測(cè)編碼方法、圖像預(yù)測(cè)編碼程序、圖像預(yù)測(cè)解碼裝置、圖像預(yù)測(cè)解碼方法以及圖像預(yù)測(cè)解碼程序。
[0230]圖28是示出本發(fā)明實(shí)施方式所涉及的圖像預(yù)測(cè)編碼裝置100X的框圖。該圖像預(yù)測(cè)編碼裝置100X構(gòu)成為包括以下部分:輸入端子IOlX ;塊分割器102X ;預(yù)測(cè)信號(hào)生成器103X ;幀存儲(chǔ)器104X ;減法器105X ;變換器106X ;量子化器107X ;逆量子化器108X ;逆變換器109X ;加法器IlOX ;熵編碼器IllX以及輸出端子112X。變換器106X和量子化器107X作為編碼單元發(fā)揮功能。
[0231]對(duì)如上構(gòu)成的圖像預(yù)測(cè)編碼裝置100X的以下結(jié)構(gòu)進(jìn)行說明。
[0232]輸入端子IOlX是輸入由多個(gè)圖像構(gòu)成的動(dòng)態(tài)圖像的信號(hào)的端子。
[0233]塊分割器102X將從輸入端子IOlX輸入的動(dòng)態(tài)圖像的信號(hào)、即作為編碼對(duì)象的圖像分割為多個(gè)區(qū)域。在本發(fā)明所涉及的實(shí)施方式中，分割為由8X8的像素構(gòu)成的塊，但是也可以分割為其他大小或形狀的塊。
[0234]預(yù)測(cè)信號(hào)生成器103X是針對(duì)作為編碼處理對(duì)象的對(duì)象區(qū)域(對(duì)象塊)生成預(yù)測(cè)信號(hào)的部分。關(guān)于該預(yù)測(cè)信號(hào)生成器103X的具體處理，將在后面進(jìn)行敘述。
[0235]減法器105X是從經(jīng)由線L102X輸入的由塊分割器102X分割而成的對(duì)象區(qū)域中，減去經(jīng)由線L103X輸入的由預(yù)測(cè)信號(hào)生成器103X生成的預(yù)測(cè)信號(hào)，來生成殘差信號(hào)的部分。減法器105X經(jīng)由線L105X將相減而得到的殘差信號(hào)輸出給變換器106X。
[0236]變換器106X是對(duì)相減得到的殘差信號(hào)進(jìn)行離散余弦變換的部分。并且，量子化器107X是對(duì)由變換器106X離散余弦變換后的變換系數(shù)進(jìn)行量子化的部分。熵編碼器11IX對(duì)由量子化器107X量子化后的變換系數(shù)進(jìn)行編碼，并經(jīng)由線LlllX將編碼后的變換系數(shù)與有關(guān)預(yù)測(cè)方法的信息一起輸出。輸出端子112X將從熵編碼器IllX輸入的信息輸出到外部。
[0237]逆量子化器108X對(duì)量子化后的變換系數(shù)進(jìn)行逆量子化，逆變換器109X進(jìn)行逆離散余弦變換來恢復(fù)殘差信號(hào)。加法器IlOX將恢復(fù)后的殘差信號(hào)與從線L103X發(fā)送來的預(yù)測(cè)信號(hào)相加，再現(xiàn)對(duì)象塊的信號(hào)，并將其存儲(chǔ)到幀存儲(chǔ)器104X中。在本實(shí)施方式中，使用了變換器106X和逆變換器109X，但是，也可以使用其他變換處理來代替這些變換器。并且，變換器106X和逆變換器109X不是必須的。這樣，為了進(jìn)行后續(xù)的針對(duì)對(duì)象區(qū)域的畫面內(nèi)預(yù)測(cè)或畫面間預(yù)測(cè)，壓縮后的對(duì)象區(qū)域的像素信號(hào)通過逆處理而恢復(fù)，并存儲(chǔ)到幀存儲(chǔ)器104中。
[0238]接著，對(duì)預(yù)測(cè)信號(hào)生成器103X進(jìn)行詳細(xì)說明。預(yù)測(cè)信號(hào)生成部103X針對(duì)作為編碼處理對(duì)象的對(duì)象區(qū)域(以下，稱為對(duì)象塊)生成預(yù)測(cè)信號(hào)。在本發(fā)明所涉及的實(shí)施方式中，使用2種預(yù)測(cè)方法。S卩，預(yù)測(cè)信號(hào)生成器103X使用畫面間預(yù)測(cè)方法和畫面內(nèi)預(yù)測(cè)方法中的至少一個(gè)方法來生成預(yù)測(cè)信號(hào)。
[0239]使用了畫面間預(yù)測(cè)方法的預(yù)測(cè)信號(hào)生成器103X將過去進(jìn)行編碼后而恢復(fù)的再現(xiàn)圖像作為參照?qǐng)D像，從該參照?qǐng)D像，求出給對(duì)象塊給予誤差最小的預(yù)測(cè)信號(hào)的運(yùn)動(dòng)信息。該處理被稱為運(yùn)動(dòng)檢測(cè)。并且，可以根據(jù)情況將對(duì)象塊再次分割，針對(duì)再次分割出的小區(qū)域來決定畫面間預(yù)測(cè)方法。在該情況下，預(yù)測(cè)信號(hào)生成器103X從各種分割方法中，決定對(duì)象塊整體中最高效的分割方法和各自的運(yùn)動(dòng)信息。在本發(fā)明所涉及的實(shí)施方式中，預(yù)測(cè)信號(hào)生成器103X經(jīng)由線L102X輸入對(duì)象塊，經(jīng)由L104X輸入?yún)⒄請(qǐng)D像，以用于生成上述預(yù)測(cè)信號(hào)。并且，作為參照?qǐng)D像，預(yù)測(cè)信號(hào)生成器103X使用在過去被編碼并恢復(fù)后的多個(gè)圖像作為參照?qǐng)D像。詳細(xì)情況與作為現(xiàn)有技術(shù)的MPEG — 2或4、以及ITUH.264中的任意一種方法相同。
[0240]通過這種方式所決定的運(yùn)動(dòng)信息和小區(qū)域的分割方法經(jīng)由線L112X被發(fā)送到熵編碼器IllX中來進(jìn)行編碼，之后從輸出端子112X輸出。在預(yù)測(cè)信號(hào)生成器103X中，根據(jù)小區(qū)域的分割方法和與各小區(qū)域?qū)?yīng)的運(yùn)動(dòng)信息，從幀存儲(chǔ)器104X中取得參照?qǐng)D像，生成畫面間預(yù)測(cè)信號(hào)。通過這種方式生成的畫面間預(yù)測(cè)信號(hào)經(jīng)由線L103X輸出到減法器105X。
[0241]使用了畫面內(nèi)預(yù)測(cè)方法的預(yù)測(cè)信號(hào)生成器103X使用空間上與對(duì)象塊相鄰的已再現(xiàn)像素值來生成畫面內(nèi)預(yù)測(cè)信號(hào)。具體而言，預(yù)測(cè)信號(hào)生成器103X從幀存儲(chǔ)器104X中取得位于相同畫面內(nèi)的已再現(xiàn)的像素信號(hào)，決定利用預(yù)定的方法來生成預(yù)測(cè)信號(hào)的畫面內(nèi)預(yù)測(cè)方法，根據(jù)該所決定的畫面內(nèi)預(yù)測(cè)方法生成畫面內(nèi)預(yù)測(cè)信號(hào)。另一方面，與預(yù)測(cè)方法有關(guān)的信息經(jīng)由線L112X發(fā)送到熵編碼器IllX中來進(jìn)行編碼，之后從輸出端子112X輸出。通過這種方式所生成的畫面間預(yù)測(cè)信號(hào)被發(fā)送到減法器105X。后面對(duì)預(yù)測(cè)信號(hào)生成器103X進(jìn)行詳細(xì)說明。
[0242]針對(duì)通過上述方式所求出的畫面間預(yù)測(cè)信號(hào)和畫面內(nèi)預(yù)測(cè)信號(hào)，選擇誤差最小的預(yù)測(cè)信號(hào)，并將其發(fā)送到減法器105X。但是，由于針對(duì)第一個(gè)圖像而言，不存在過去的圖像，因此利用畫面內(nèi)預(yù)測(cè)對(duì)所有對(duì)象塊進(jìn)行處理。另外，下面所敘述的畫面內(nèi)預(yù)測(cè)信號(hào)的生成方法還可以應(yīng)用于照片等靜態(tài)圖像的編碼/解碼。
[0243]在減法器105X中，從對(duì)象塊信號(hào)(經(jīng)由線L102X)中減去預(yù)測(cè)信號(hào)(經(jīng)由線L103X)，生成殘差信號(hào)。該殘差信號(hào)在變換器106X中進(jìn)行離散余弦變換，其各變換系數(shù)由量子化器107X進(jìn)行量子化。最后，量子化后的變換系數(shù)和有關(guān)預(yù)測(cè)信號(hào)的生成方法的信息一起在熵編碼器IllX中進(jìn)行編碼，并從輸出端子112X輸出。
[0244]接著，對(duì)本發(fā)明所涉及的預(yù)測(cè)信號(hào)生成器103X的處理進(jìn)行說明，并以畫面內(nèi)預(yù)測(cè)方法的情況為中心來進(jìn)行說明。也可以以相同的方式應(yīng)用于畫面間預(yù)測(cè)方法的情況。圖29是示出本發(fā)明實(shí)施方式的圖像預(yù)測(cè)編碼裝置所使用的預(yù)測(cè)信號(hào)生成器103X的框圖，預(yù)測(cè)信號(hào)生成器103X構(gòu)成為具有紋理合成器201X和紋理信號(hào)決定器202X。
[0245]紋理合成器201X經(jīng)由線L104X從圖28的幀存儲(chǔ)器104X輸入在過去的處理中已經(jīng)再現(xiàn)的圖像信號(hào)(再現(xiàn)圖像信號(hào))。并且，紋理合成器201X在使用了畫面內(nèi)預(yù)測(cè)方法的情況下，輸入與對(duì)象塊相同的畫面中的再現(xiàn)圖像信號(hào)，在使用了畫面間預(yù)測(cè)方法的情況下，輸入與對(duì)象塊不同的畫面(幀或者場(chǎng))中的再現(xiàn)圖像信號(hào)。而且，該紋理合成器201X利用如下所說明的方法來生成多個(gè)紋理信號(hào)，并向紋理信號(hào)決定器202X輸出所生成的多個(gè)紋理信號(hào)。
[0246]紋理信號(hào)決定器202X在從紋理合成器201X輸出紋理信號(hào)的同時(shí)，經(jīng)由線L102X輸入對(duì)象塊的圖像信號(hào)。然后，紋理信號(hào)決定器202X將所輸入的多個(gè)紋理信號(hào)的每一個(gè)與對(duì)象塊的圖像信號(hào)進(jìn)行比較，將誤差最小的紋理信號(hào)作為對(duì)象塊的預(yù)測(cè)信號(hào)經(jīng)由線L103X輸出。在本實(shí)施方式中，紋理信號(hào)決定器202X使用對(duì)象塊的圖像信號(hào)與紋理信號(hào)之間的像素值的絕對(duì)差分值的總和來求出誤差值，將給予最小誤差值的紋理信號(hào)決定為預(yù)測(cè)信號(hào)。
[0247]接著，使用圖30來對(duì)紋理合成器20IX進(jìn)行說明。圖30是示出本發(fā)明實(shí)施方式的圖像預(yù)測(cè)編碼裝置100X所使用的紋理合成器201X的框圖。該紋理合成器201X構(gòu)成為包括:合成器301X ;加法器302X ;加權(quán)器303X?306X ;紋理生成器307X?308X ；以及第I外插器309X?第N外插器310X。這里，紋理生成器307X具有第I紋理取得器311X和第I匹配器312X，紋理生成器308X具有第M紋理取得器313X和第M匹配器314X。在圖30中，使用了 M個(gè)紋理生成器和N個(gè)信號(hào)外插器。在本實(shí)施方式中，M=5、N=9，但是也可以是其它數(shù)值。例如，可以為M=0、N=9 ;或者M(jìn)=5、N=0。
[0248]首先，說明紋理生成器307X的動(dòng)作。第I匹配器312X經(jīng)由線L104X訪問幀存儲(chǔ)器104X中的再現(xiàn)圖像信號(hào)，進(jìn)行匹配處理。這里，對(duì)該匹配處理進(jìn)行說明。圖31是用于說明本發(fā)明實(shí)施方式的紋理生成方法中的匹配處理示意圖。這里，說明生成針對(duì)對(duì)象塊402X的預(yù)測(cè)信號(hào)的情況。
[0249]利用預(yù)定的方法對(duì)某對(duì)象塊設(shè)定“對(duì)象相鄰區(qū)域”(也稱為模板)和“搜索區(qū)域”。在本實(shí)施方式中，將與對(duì)象塊402X接觸的、在其之前再現(xiàn)的位于相同畫面內(nèi)的再現(xiàn)圖像的一部分(也可以是全部)設(shè)定為搜索區(qū)域401X。利用與對(duì)象塊402X相鄰的已再現(xiàn)像素組(倒L文字的區(qū)域)406X,來作為“對(duì)象相鄰區(qū)域”。
[0250]另外，搜索區(qū)域401X也可以不與對(duì)象塊402X完全接觸。并且，對(duì)象相鄰區(qū)域406X只要與對(duì)象塊402至少接觸一個(gè)像素即可。并且，在搜索區(qū)域401X中，求出對(duì)象相鄰區(qū)域406X與具有相同形狀的像素組之間，對(duì)應(yīng)像素間的絕對(duì)值誤差和(SAD)，檢索給予最小SAD的區(qū)域，將其設(shè)為“預(yù)測(cè)相鄰區(qū)域”。
[0251]在圖31中，“預(yù)測(cè)相鄰區(qū)域”被決定為預(yù)測(cè)相鄰區(qū)域408X。然后，與預(yù)測(cè)相鄰區(qū)域408X接觸的區(qū)域407X被決定為針對(duì)對(duì)象塊402X的紋理信號(hào)。這里，預(yù)測(cè)相鄰區(qū)域408X與表示紋理信號(hào)的區(qū)域407X的位置關(guān)系，和對(duì)象塊402X與對(duì)象相鄰區(qū)域406X的關(guān)系相同，但也可以不同。
[0252]這樣，當(dāng)決定了紋理信號(hào)時(shí)，第I匹配器312X經(jīng)由L312X向第I紋理取得器311X輸出與預(yù)測(cè)相鄰區(qū)域408X的坐標(biāo)有關(guān)的坐標(biāo)信息或者與作為紋理信號(hào)的區(qū)域407X的坐標(biāo)有關(guān)的坐標(biāo)信息。第I紋理取得器311X根據(jù)上述坐標(biāo)信息經(jīng)由線L314X從幀存儲(chǔ)器104X(參照?qǐng)D28)中取得作為紋理信號(hào)的區(qū)域407X的像素信號(hào)，并經(jīng)由線L307X將其輸出到合成器301X。
[0253]通過這樣的處理，從搜索區(qū)域401X中搜索到與對(duì)象塊402X的相鄰區(qū)域406X相近的(誤差小的)區(qū)域407X，并生成為紋理信號(hào)。
[0254]圖32是示出本發(fā)明實(shí)施方式的紋理生成器307X中的紋理生成方法的流程圖。由第I匹配器312X來取得與對(duì)象塊相鄰的對(duì)象相鄰區(qū)域(S411X)。接著，第I紋理取得器311X針對(duì)由第I匹配器312X取得的對(duì)象相鄰區(qū)域，求出對(duì)象相鄰區(qū)域與位于搜索區(qū)域中的相同形狀的像素組的絕對(duì)值和SAD值(S412X)。第I紋理取得器31IX將SAD值和到目前為止的SAD值的最小值進(jìn)行比較(S413X)，在第I紋理取得器31IX判斷為SAD值小于最小值的情況下，進(jìn)入到S414X，而在判斷為并非如此的情況下，進(jìn)入到S415X。另外，設(shè)最小值的初始值被預(yù)先決定。
[0255]第I紋理取得器31IX將S412X中所求出的SAD值設(shè)定為最小值，第I紋理取得器311X決定與預(yù)測(cè)對(duì)象區(qū)域相鄰區(qū)域的像素信號(hào)是對(duì)象塊的紋理信號(hào)(S414X)。之后，第I匹配器312X對(duì)搜索區(qū)域401X是否已全部搜索完畢進(jìn)行確認(rèn)(S415X)，在判斷為還未全部搜索完畢的情況下，返回到S412X，通過第I紋理取得器31IX來求出對(duì)象相鄰區(qū)域406X與位于搜索區(qū)域401X中的(相同形狀的)另一像素組的絕對(duì)值和SAD。在已全部搜索完畢的情況下，針對(duì)一個(gè)對(duì)象塊(在這里，為對(duì)象塊402X)的處理結(jié)束。然后，對(duì)接下來的對(duì)象塊403X?405X依次進(jìn)行同樣的處理。
[0256]根據(jù)以上處理，在紋理生成器307X中，可以使用與對(duì)象塊402X相鄰的對(duì)象相鄰區(qū)域406X來從搜索區(qū)域401X中搜索預(yù)測(cè)相鄰區(qū)域408X，并通過將與該預(yù)測(cè)相鄰區(qū)域408X相鄰的區(qū)域407X決定為紋理信號(hào)來獲得紋理信號(hào)。[0257]另外，在圖32中，說明了使用位于與對(duì)象塊相同的畫面內(nèi)(可以是幀或場(chǎng)中的任意一個(gè))的搜索區(qū)域401X的處理，但是搜索區(qū)域也可以使用位于與對(duì)象塊不同的畫面內(nèi)的已再現(xiàn)信號(hào)。在該情況下，從與對(duì)象塊不同的畫面中取得預(yù)測(cè)相鄰區(qū)域以及與預(yù)測(cè)相鄰區(qū)域相鄰的紋理信號(hào)。而且，作為搜索區(qū)域，還可以使用位于與對(duì)象塊相同的畫面和不同的畫面的雙方中的已再現(xiàn)的圖像信號(hào)。在該情況下，作為合成對(duì)象的紋理信號(hào)是從與對(duì)象塊相同的畫面內(nèi)搜索到的紋理信號(hào)和從不同的畫面內(nèi)搜索到的紋理信號(hào)。
[0258]接著，說明紋理生成器308X的動(dòng)作。紋理生成器308X的動(dòng)作與紋理生成器307X基本相同，但是該紋理生成器308X使用具有與圖31所示的對(duì)象相鄰區(qū)域406X不同形狀的區(qū)域來進(jìn)行搜索。圖33是示出該不同的對(duì)象相鄰區(qū)域的形狀的一例的圖。如圖33所示，可以考慮到以下形狀:形成在對(duì)象塊502X的左側(cè)的長(zhǎng)方形的區(qū)域501X ;形成在對(duì)象塊504X的上側(cè)的長(zhǎng)方形的區(qū)域503X ;形成在對(duì)象塊504X的左斜上的區(qū)域505X ；以及從對(duì)象塊508X的上側(cè)到左側(cè)形成為三角形狀的區(qū)域507X，但是并不限定于這些形狀。
[0259]然后，紋理生成器308X在采用圖33 (D)的形狀的對(duì)象相鄰區(qū)域中進(jìn)行圖32所示的處理，生成對(duì)應(yīng)的紋理信號(hào)。并且，其他紋理生成器(未圖示)分別使用圖33 (A)、(B)、(C)所示的形狀的對(duì)象相鄰區(qū)域來生成紋理信號(hào)。
[0260]這樣，紋理生成器307X、308X以及其他未圖示的紋理生成器分別生成M個(gè)(M=5)紋理信號(hào)，并向合成器301X輸出。另外，在圖33中，說明了對(duì)象塊由2X2像素構(gòu)成的情況，但是如圖34所示，在對(duì)象塊為4X4像素或者8 X 8像素的情況下，也可以利用相同的處理來生成紋理信號(hào)。另外，針對(duì)對(duì)象塊為4X4像素的情況，可以考慮針對(duì)對(duì)象塊602X的區(qū)域60IX、針對(duì)對(duì)象塊604X的區(qū)域603X、針對(duì)對(duì)象塊606X的區(qū)域605X以及針對(duì)對(duì)象塊608X的區(qū)域607aX和607bX。并且同樣地，針對(duì)8X8像素的情況，可以考慮針對(duì)對(duì)象塊610X的區(qū)域609X、針對(duì)對(duì)象塊612X的區(qū)域61IX、針對(duì)對(duì)象塊614X的區(qū)域613X以及針對(duì)對(duì)象塊616X的區(qū)域615aX和615bX。
[0261]接著，說明第I外插器309X的動(dòng)作。信號(hào)外插器309X外插使用通過直接重復(fù)與對(duì)象塊(例如對(duì)象塊402X)相鄰的已再現(xiàn)像素的值而形成的像素的所謂信號(hào)，由此來生成紋理信號(hào)。圖18是示出使用該方法來生成紋理信號(hào)的示意圖。在圖18 (A)中，沿箭頭方向重復(fù)位于對(duì)象塊1802X上部的已再現(xiàn)像素1801X (A?D)的值，由此來外插信號(hào)。在圖18(B)中，沿箭頭方向重復(fù)已再現(xiàn)像素1803X (I?L)，由此來外插信號(hào)。在圖18 (C)中，用已再現(xiàn)像素1805 (A?D和I?L)的平均值來設(shè)定對(duì)象塊1806X的像素值。
[0262]圖18 (D)到(I)的處理也如圖所示，通過沿箭頭方向重復(fù)已再現(xiàn)像素(1807?1817)來外插信號(hào)，由此形成信號(hào)。圖30所示的N個(gè)(N = 9)第I外插器309X?第N外插器310X利用這些方法來生成N個(gè)紋理信號(hào)，并將所生成的紋理信號(hào)輸出到合成器301X中。
[0263]接著，說明圖30所示的結(jié)構(gòu)。合成器301X對(duì)所輸入的多個(gè)紋理信號(hào)進(jìn)行預(yù)定的運(yùn)算處理，由此對(duì)多個(gè)(M + N個(gè))紋理信號(hào)進(jìn)行合成，并經(jīng)由線L202X輸出。在本實(shí)施方式中，從所輸入的多個(gè)紋理信號(hào)，生成多個(gè)即K個(gè)合成紋理信號(hào)(或紋理信號(hào))。
[0264]即，合成器301X對(duì)來自紋理生成器307X、308X的紋理信號(hào)進(jìn)行平均化，生成第I合成紋理信號(hào)。在該情況下，加權(quán)器303X、304X的權(quán)重值為(1/M)，加權(quán)器305X、306X的權(quán)重值為O。并且，合成器301X使用第I外插器309X的輸出來生成第2合成紋理信號(hào)。在該情況下，加權(quán)器305X的權(quán)重值為I，其他加權(quán)器的權(quán)重值為O。而且，合成器30IX使用第N外插器3IOX的輸出來生成第3合成紋理信號(hào)。在該情況下，加權(quán)器306X的權(quán)重值為I,其他加權(quán)器的權(quán)重值為O。
[0265]并且，合成器301X將使用來自未圖示的其他信號(hào)外插器的輸出而生成的紋理信號(hào)(外插紋理信號(hào))生成為合成紋理信號(hào)并輸出。另外，合成器301X也可以使用上述權(quán)重值以外的權(quán)重值來生成多個(gè)合成紋理信號(hào)。例如，可以使用以下情況:加權(quán)器303X的權(quán)重值為I并且其他加權(quán)器的權(quán)重值為O、加權(quán)器304X的權(quán)重值為I并且其他加權(quán)器的權(quán)重值為O、與信號(hào)外插器連接的加權(quán)器305X、306X的權(quán)重值分別為1/N并且其他加權(quán)器的權(quán)重值為O。并且，作為另一組合，還可以將輸入到合成器301X中的紋理信號(hào)按每2個(gè)一組進(jìn)行組合，通過加權(quán)平均來生成合成紋理信號(hào)。在該情況下，還可以組合基于紋理生成器的紋理信號(hào)和基于信號(hào)外插器的紋理信號(hào)來進(jìn)行合成。
[0266]如上所述，合成器301X只要使用至少一個(gè)紋理信號(hào)來生成合成紋理信號(hào)(即預(yù)測(cè)信號(hào))即可，例如，只要使用從紋理生成器307X?308X以及第I外插器309X?第N外插器310X中的任意一個(gè)紋理生成器或外插器輸出的紋理信號(hào)(或外插紋理信號(hào))來作為合成紋理信號(hào)即可。
[0267]這樣，多個(gè)(K個(gè))合成紋理信號(hào)(或紋理信號(hào))經(jīng)由線L202X發(fā)送到圖29的紋理信號(hào)決定器202，決定在對(duì)象塊中信號(hào)上最相近(S卩，誤差小的)的紋理信號(hào)，作為預(yù)測(cè)信號(hào)經(jīng)由線L103X輸出。
[0268]圖35是示出本發(fā)明實(shí)施方式的圖像預(yù)測(cè)編碼裝置100X中的圖像預(yù)測(cè)編碼方法的流程圖。首先，由紋理生成器308X?309X和第I外插器309X?第N外插器3IOX針對(duì)對(duì)象塊生成(M+N)個(gè)紋理信號(hào)(步驟802X)。接著，由合成器301X對(duì)M個(gè)紋理信號(hào)進(jìn)行合成，由此生成至少2個(gè)紋理信號(hào)(在本實(shí)施方式中為M個(gè))，并生成L個(gè)合成紋理信號(hào)(在本實(shí)施方式中L=I)(步驟803X)。另外，雖然這里生成至少2個(gè)紋理信號(hào)，但是只要生成至少一個(gè)紋理信號(hào)(或者外插紋理信號(hào))即可。
[0269]從N個(gè)紋理信號(hào)和L個(gè)合成紋理信號(hào)這K (=N+L)個(gè)中，選擇與對(duì)象塊最相近的一個(gè)紋理信號(hào)或合成紋理信號(hào)，將選擇出的紋理信號(hào)或合成紋理信號(hào)決定為預(yù)測(cè)信號(hào)(步驟804X)。表示通過這種方式?jīng)Q定的預(yù)測(cè)信號(hào)與對(duì)象塊的信號(hào)的差分的殘差信號(hào)通過變換器106X、量子化器107X以及熵編碼器IllX進(jìn)行編碼(S805X)。然后，編碼后的殘差信號(hào)和預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息經(jīng)由輸出端子112X輸出(S806X)。
[0270]這里，作為預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息，包含以下兩者中的至少一方:與可以利用哪種紋理生成方法來生成預(yù)測(cè)信號(hào)有關(guān)的信息、與所使用的加權(quán)器的權(quán)重值有關(guān)的信息。在接收側(cè)根據(jù)這些信息來生成預(yù)測(cè)信號(hào)。為了對(duì)后續(xù)的對(duì)象塊進(jìn)行預(yù)測(cè)編碼，逆量子器108X和逆變換器109X在這些處理后(或者與這些處理并行地)，對(duì)編碼后的殘差信號(hào)進(jìn)行解碼。然后，由加法器IlOX對(duì)解碼后的殘差信號(hào)加上預(yù)測(cè)信號(hào)，對(duì)象塊的信號(hào)被再現(xiàn)，并作為參照?qǐng)D像存儲(chǔ)在幀存儲(chǔ)器104X中(S807X)。然后，在所有對(duì)象區(qū)域的處理未結(jié)束的情況下，返回到S802X，執(zhí)行針對(duì)下一對(duì)象塊的處理，在所有對(duì)象區(qū)域的處理都結(jié)束的情況下，結(jié)束處理(S808X)。
[0271]接著，說明上述圖31所示的處理的變形例。圖36是示出變形例的合成紋理信號(hào)的生成方法的流程圖。首先，由第I匹配器312X來取得對(duì)象塊相鄰的對(duì)象相鄰區(qū)域(S901X)。接著，第I紋理取得器311X針對(duì)由第I匹配器312X取得的對(duì)象相鄰區(qū)域，求出對(duì)象相鄰區(qū)域與形成在搜索區(qū)域中的相同形狀的像素組的絕對(duì)值和SAD (S902X)。
[0272]第I紋理取得器311X將SAD與預(yù)定的閾值進(jìn)行比較，在判斷為小于閾值的情況下，進(jìn)入到S904X，而在判斷為并非如此的情況下，進(jìn)入到S905X (S903X)。在判斷為小于閾值的情況下，與提供小于閾值的SAD的預(yù)測(cè)相鄰區(qū)域接觸的紋理信號(hào)(例如圖31的407X)被保存為候選紋理信號(hào)(S904X)。然后，第I匹配器312X對(duì)搜索區(qū)域是否已全部搜索完畢進(jìn)行確認(rèn)(S905X)。
[0273]在判斷為還未全部搜索完畢的情況下，返回到S902X，求出對(duì)象相鄰區(qū)域與位于搜索區(qū)域中的另一像素組的絕對(duì)值和SAD(S902X)。在已全部搜索完畢的時(shí)刻，由第I紋理取得器311X將所獲得的一個(gè)或多個(gè)候選紋理信號(hào)全部平均化，由此生成紋理信號(hào)(S906X)。
[0274]針對(duì)該紋理信號(hào)以及由上述紋理生成器308X和第I外插器309X?第N外插器3IOX生成的其他紋理信號(hào)，由圖29所示的紋理信號(hào)決定器202X選擇與對(duì)象塊最相近(誤差最小的)的紋理信號(hào)，所選擇出的紋理信號(hào)被決定為預(yù)測(cè)信號(hào)。
[0275]在該實(shí)施方式中，再現(xiàn)側(cè)也需要使用相同的閾值，并需要在發(fā)送側(cè)和接收側(cè)預(yù)先決定閾值。并且，作為另一實(shí)施方式，閾值可以與壓縮數(shù)據(jù)一起從發(fā)送側(cè)向接收側(cè)傳送，接收側(cè)可以使用接收到的閾值并利用圖36所示的方法來生成合成紋理信號(hào)。S卩，可以采用以下方式:預(yù)測(cè)信號(hào)生成器103X可以經(jīng)由線L112X向熵編碼器IllX輸出表示閾值的信息，熵編碼器IllX將閾值信息與壓縮數(shù)據(jù)一起從輸出端子112X傳送到接收側(cè)，從而將閾值傳送到接收側(cè)。
[0276]而且，除閾值之外，還可以考慮設(shè)定進(jìn)行平均化的候選紋理信號(hào)的個(gè)數(shù)的上限。在該情況下，當(dāng)候選紋理信號(hào)的個(gè)數(shù)超過上限時(shí)，只對(duì)上限值以下的個(gè)數(shù)的候選紋理信號(hào)進(jìn)行平均化。并且，該上限值可以根據(jù)幀來變更，在該情況下，發(fā)送側(cè)按照每個(gè)幀向接收側(cè)發(fā)送上限值。例如，與上述相同，預(yù)測(cè)信號(hào)生成器103X可以經(jīng)由線L112X向熵編碼器IllX輸出，并經(jīng)由輸出端子112X向接收側(cè)發(fā)送。并且，也可以在不使用閾值的情況下來決定進(jìn)行平均化的候選紋理信號(hào)的個(gè)數(shù)，并始終對(duì)該個(gè)數(shù)的候選紋理信號(hào)進(jìn)行合成。與該個(gè)數(shù)有關(guān)的信息可以按照幀內(nèi)的每個(gè)區(qū)域、按照每個(gè)幀或者按照每個(gè)序列來進(jìn)行發(fā)送，也可以使用在發(fā)送側(cè)和接收側(cè)預(yù)先決定的值。
[0277]利用上述方法即模板匹配所求出的SAD值小于某閾值的含義表示這些SAD值沒有較大的差異。這種最佳解的不確定性的課題具有以下效果:通過由模板匹配所生成的類似的多個(gè)紋理信號(hào)的合成(平均化)，可以生成在統(tǒng)計(jì)上誤差少的預(yù)測(cè)信號(hào)。并且，本實(shí)施方式所涉及的圖像預(yù)測(cè)編碼裝置具有這樣的效果:在再現(xiàn)側(cè)(作為接收側(cè)的圖像預(yù)測(cè)解碼裝置)可以唯一地求出這些紋理信號(hào)，從而不需要向再現(xiàn)側(cè)發(fā)送(表示利用哪個(gè)紋理信號(hào)來進(jìn)行合成的)輔助信息，因此可以在不需要處理這樣的輔助信息的情況下進(jìn)行編碼。
[0278]在本發(fā)明所涉及的紋理信號(hào)的加權(quán)平均中，也可以在決定了當(dāng)利用由SAD值的預(yù)定函數(shù)表示的關(guān)系(例如反比例關(guān)系)對(duì)候選紋理信號(hào)進(jìn)行平均化時(shí)所使用的權(quán)重后，來進(jìn)行加權(quán)平均。而且，這些權(quán)重值可以使用以塊單元或幀單位通過學(xué)習(xí)而更新后的值。具體而言，使用與SAD值對(duì)應(yīng)的逐次更新式來進(jìn)行更新。
[0279]另外，作為變形例，可以將圖36中的處理變更為下面的處理。即，在圖像預(yù)測(cè)編碼裝置100X中，取得在步驟904X中所決定的候選紋理信號(hào)在相同幀中的位置信息，將其存儲(chǔ)在緩沖部(未圖示)中，存儲(chǔ)后的位置信息在進(jìn)行熵編碼后，與差分信號(hào)一起發(fā)送到接收側(cè)的圖像預(yù)測(cè)解碼裝置中。
[0280]在接收側(cè)的圖像預(yù)測(cè)解碼裝置中，對(duì)從圖像預(yù)測(cè)編碼裝置100X接收到的位置信息進(jìn)行熵解碼，之后根據(jù)該位置信息，從幀存儲(chǔ)器中取得多個(gè)候選紋理信號(hào)，對(duì)它們進(jìn)行加權(quán)平均，生成紋理信號(hào)。即，在該變形例中，在圖像預(yù)測(cè)解碼裝置中，進(jìn)行根據(jù)所接收到的位置信息從幀存儲(chǔ)器中取得多個(gè)候選紋理信號(hào)的處理，來取代步驟901X?905X的處理。
[0281]并且，作為另一變形例，圖像預(yù)測(cè)編碼裝置100X不在圖36的S901X中取得對(duì)象相鄰區(qū)域(模板)，而是在S902X中，從對(duì)象塊與位于搜索區(qū)域中的像素組求出差分值SAD，在決定候選紋理信號(hào)的同時(shí)，取得該候選紋理信號(hào)的位置信息(例如，畫面中的坐標(biāo)信息)，將其與差分信號(hào)一起發(fā)送到接收側(cè)的圖像預(yù)測(cè)解碼裝置中。在接收側(cè)的圖像預(yù)測(cè)解碼裝置中，在對(duì)所接收到的位置信息進(jìn)行熵解碼后，根據(jù)該位置信息從幀存儲(chǔ)器中取得多個(gè)候選紋理信號(hào)，對(duì)所取得的候選紋理信號(hào)進(jìn)行加權(quán)平均，生成紋理信號(hào)。
[0282]這樣，在圖像預(yù)測(cè)編碼裝置100X中，取得候選紋理信號(hào)的位置信息并將其發(fā)送到接收側(cè)的圖像預(yù)測(cè)解碼裝置中，從而在接收側(cè)的圖像預(yù)測(cè)解碼裝置中可以使用該位置信息來取得候選紋理信號(hào)，可以減輕接收側(cè)的圖像預(yù)測(cè)解碼裝置的處理負(fù)擔(dān)。
[0283]接著，說明本發(fā)明所涉及的圖像預(yù)測(cè)解碼方法。圖37是示出本發(fā)明的實(shí)施方式所涉及的圖像預(yù)測(cè)解碼裝置900X的框圖。該圖像預(yù)測(cè)解碼裝置900X具有:輸入端子901X、數(shù)據(jù)分析器902X、逆量子化器903X、逆變換器904X、加法器905X、輸出端子906X、幀存儲(chǔ)器907X以及紋理合成器908X。逆量子化器903X和逆變換器904X作為解碼單元發(fā)揮功能，但是作為解碼單元也可以使用其它部件。并且，也可以不具有逆變器904X。以下，對(duì)各結(jié)構(gòu)進(jìn)行說明。
[0284]輸入端子901X輸入利用上述圖像預(yù)測(cè)編碼方法壓縮編碼后的壓縮數(shù)據(jù)。在該壓縮數(shù)據(jù)中包含用于對(duì)將圖像分割為多個(gè)塊后的對(duì)象塊進(jìn)行預(yù)測(cè)編碼的殘差信號(hào)和與預(yù)測(cè)信號(hào)的生成相關(guān)聯(lián)的信息。作為與預(yù)測(cè)信號(hào)的生成相關(guān)聯(lián)的預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息包含指示信息，該指示信息表示利用圖30所示的紋理生成器307X、308X和第I外插器309X、第N外插器310X中的哪一個(gè)(一個(gè)或者一個(gè)以上的組合)。并且，還可以包含與配置在合成器301X中的加權(quán)器303X?306X所使用的權(quán)重值有關(guān)的信息。而且，在使用圖36所示的模板匹配方法來生成合成紋理信號(hào)的情況下，上述閾值以及在合成中所使用的紋理信號(hào)個(gè)數(shù)的上限值包含在與預(yù)測(cè)信號(hào)的生成相關(guān)聯(lián)的信息中。
[0285]數(shù)據(jù)分析器902X通過對(duì)輸入端子901X所輸入的壓縮數(shù)據(jù)進(jìn)行分析，來提取對(duì)象塊的殘差信號(hào)、與預(yù)測(cè)信號(hào)的生成相關(guān)聯(lián)的預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息以及量子化參數(shù)。
[0286]逆量子化器903X根據(jù)量子化參數(shù)(經(jīng)由線L902X)對(duì)對(duì)象塊的殘差信號(hào)進(jìn)行逆量子化。逆變換器904X對(duì)逆量子化后的數(shù)據(jù)進(jìn)行逆離散余弦變換。
[0287]紋理合成器908X經(jīng)由線L902bX從數(shù)據(jù)分析器902X輸入與預(yù)測(cè)信號(hào)的生成相關(guān)聯(lián)的信息。該紋理合成器908X (利用后述的方法)根據(jù)與預(yù)測(cè)信號(hào)的生成相關(guān)聯(lián)的預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息從幀存儲(chǔ)器907X中取得參照?qǐng)D像，生成預(yù)測(cè)信號(hào)。紋理合成器908X經(jīng)由線L908X向加法器905X輸出所生成的預(yù)測(cè)信號(hào)。另外，也可以預(yù)先決定預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息，而不用輸入用于生成預(yù)測(cè)信號(hào)的信息。例如，可以預(yù)先存儲(chǔ)圖36所示的閾值和加權(quán)器303X?306X的權(quán)重值。
[0288]加法器905X將由紋理合成器908X生成的預(yù)測(cè)信號(hào)與由逆量子器903X和逆變換器904X恢復(fù)的殘差信號(hào)相加，經(jīng)由線L905X向輸出端子906X和幀存儲(chǔ)器907X輸出作為對(duì)象塊的再現(xiàn)圖像。然后，輸出端子906X向外部(例如顯示器)輸出。
[0289]幀存儲(chǔ)器907X作為用于接下來的解碼處理的參照用的再現(xiàn)圖像而存儲(chǔ)從加法器905X輸出的再現(xiàn)圖像，來作為參照?qǐng)D像。
[0290]接著，說明紋理合成器908X。紋理合成器908X的詳細(xì)結(jié)構(gòu)如圖38所示，具有基本與圖30所示的結(jié)構(gòu)相同的結(jié)構(gòu)或者與其相當(dāng)?shù)墓δ?。利用?jīng)由線L902bX輸入的與預(yù)測(cè)信號(hào)的生成相關(guān)聯(lián)的預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息來控制使用紋理生成器1007X?1008X、第I外插器1009X?第N外插器1010X中的哪一個(gè)來生成紋理信號(hào)。
[0291]例如，在針對(duì)作為再現(xiàn)對(duì)象的對(duì)象塊，接收到表示使用紋理生成器1007X?1008X的預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息的情況下，只有紋理生成器1007X?1008X工作，除此之外的第I外插器1009X?第N外插器1010X不工作。并且，例如，在接收到表示使用第I外插器1009X來生成紋理信號(hào)的預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息的情況下，除此之外的第N外插器1010X以及紋理生成器1007X?1008X不工作。另外，還可以利用除此之外的組合來生成預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息。例如，還可以是表示僅使用紋理生成器1007X和第I外插器1009X的預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息。
[0292]如上所述，合成器1001X只要使用至少一個(gè)紋理信號(hào)來生成合成紋理信號(hào)(即預(yù)測(cè)信號(hào))即可，例如，根據(jù)經(jīng)由線902b X接收到的預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息，只要使用從紋理生成器1007X?1008X以及第I外插器1009X?第N外插器1010X中的任意一個(gè)紋理生成器或外插器輸出的紋理信號(hào)(或外插信號(hào))來作為合成紋理信號(hào)即可。
[0293]紋理生成器1007XU008X分別利用與圖30中的紋理生成器307X、308X相同的處理來生成紋理信號(hào)。詳細(xì)情況如上所述。并且，第I外插器1009X、第N外插器1010X分別利用與圖30中所說明的第I外插器309X、第N外插器310X相同的方法來生成紋理信號(hào)。
[0294]這樣，利用由與預(yù)測(cè)信號(hào)的生成相關(guān)聯(lián)的預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息(經(jīng)由線L902bX)所指定的紋理生成器1007X或1008X、第I外插器1009X或第N外插器1010X來生成紋理信號(hào)，并向合成器1001X發(fā)送。在本實(shí)施方式中，加權(quán)器1003X?1006X利用預(yù)定的權(quán)重值對(duì)發(fā)送來的紋理信號(hào)進(jìn)行加權(quán)處理并將其發(fā)送到加法器1002X中。在加法器1002X中，將加權(quán)處理后的紋理信號(hào)相加，并將相加后的紋理信號(hào)作為預(yù)測(cè)信號(hào)經(jīng)由線L908X輸出。另外，在沒有預(yù)先決定加權(quán)器1003X?1006X所使用的加權(quán)值的情況下，可以使加權(quán)器1003X?1006X應(yīng)用附加在與預(yù)測(cè)信號(hào)的生成相關(guān)聯(lián)的預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息中的權(quán)重值。
[0295]另外，在圖38中，在只利用紋理生成器來生成紋理信號(hào)的情況下，也可以不具有信號(hào)外插器。在該情況下，在與預(yù)測(cè)信號(hào)的生成相關(guān)聯(lián)的預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息中不需要表示使用紋理生成器、第I外插器或第N外插器中的哪個(gè)的指示信息。
[0296]如上所述，在從圖像預(yù)測(cè)編碼裝置100X接收到根據(jù)對(duì)象相鄰區(qū)域或?qū)ο髩K而求出的候選紋理信號(hào)的位置信息的情況下，圖像預(yù)測(cè)解碼裝置900X在對(duì)所接收到的位置信息進(jìn)行熵解碼后，根據(jù)該位置信息，從幀存儲(chǔ)器907X中取得多個(gè)候選紋理信號(hào)，對(duì)所取得的候選紋理信號(hào)進(jìn)行加權(quán)平均，生成紋理信號(hào)。由此，可以減輕候選紋理信號(hào)的生成處理。
[0297]接著，使用圖39說明本發(fā)明的實(shí)施方式所涉及的圖像預(yù)測(cè)解碼裝置900X中的圖像預(yù)測(cè)解碼方法。首先，經(jīng)由輸入端子901X輸入壓縮后的壓縮數(shù)據(jù)(S1102X)。然后，在數(shù)據(jù)分析器902X中，對(duì)壓縮數(shù)據(jù)進(jìn)行熵解碼，提取量子化后變換系數(shù)、量子化參數(shù)以及預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息(S1103X)。這里，紋理合成器908X根據(jù)提取出的預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息生成多個(gè)紋理信號(hào)，對(duì)所生成的多個(gè)紋理信號(hào)進(jìn)行合成，由此生成預(yù)測(cè)信號(hào)(S1104X)。
[0298]另一方面，在逆量子化器903X中使用量子化參數(shù)對(duì)量子化后的變換系數(shù)進(jìn)行逆量子化，在逆變換器904X中進(jìn)行逆變換，生成再現(xiàn)差分信號(hào)(S1105X、S1106X)。然后，將所生成的預(yù)測(cè)信號(hào)與再現(xiàn)差分信號(hào)相加生成再現(xiàn)信號(hào)(S1107X)。該所生成的再現(xiàn)信號(hào)存儲(chǔ)在幀存儲(chǔ)器中用于對(duì)下一對(duì)象塊進(jìn)行再現(xiàn)(S1108X)。在存在下一個(gè)壓縮數(shù)據(jù)的情況下，再次重復(fù)該過程(步驟S1103X)，直到最后處理了所有數(shù)據(jù)為止(步驟S1109X)。另外，也可以根據(jù)需要返回到S1102X，來取入壓縮數(shù)據(jù)。
[0299]本發(fā)明所涉及的圖像預(yù)測(cè)編碼方法和圖像預(yù)測(cè)解碼方法還可以作為程序以存儲(chǔ)在記錄介質(zhì)中的方式來提供。作為記錄介質(zhì)，可以例示出FLOPPY DISC (軟盤K注冊(cè)商標(biāo))、⑶一 ROM、DVD、或者ROM等記錄介質(zhì)、或者半導(dǎo)體存儲(chǔ)器等。
[0300]圖40是示出可以執(zhí)行圖像預(yù)測(cè)編碼方法的程序的模塊的框圖。圖像預(yù)測(cè)編碼程序P100X構(gòu)成為包含以下部分:塊分割模塊P102X ;預(yù)測(cè)信號(hào)生成模塊P103X ;存儲(chǔ)模塊P104X ;減法模塊P105X ;變換模塊P106X ;量子化模塊P107X ;逆量子化模塊P108X ;逆變換模塊P109X ;加法模塊PllOX以及熵編碼模塊P111X。另外，如圖41所示，預(yù)測(cè)信號(hào)生成模塊P103X構(gòu)成為包含以下部分:合成模塊P301X ;紋理生成模塊P311X以及外插模塊P309X。
[0301]通過執(zhí)行上述模塊所實(shí)現(xiàn)的功能與上述圖像預(yù)測(cè)編碼裝置100X的各結(jié)構(gòu)要素相同。即，圖像預(yù)測(cè)編碼程序Pioox的各模塊的功能與下述各部分的功能相同:塊分割器102X ;預(yù)測(cè)信號(hào)生成器103X ;幀存儲(chǔ)器104X ;減法器105X ;變換器106X ;量子化器107X ;逆量子化器108X ;逆變換器109X ;加法器IlOX ;熵編碼器11IX。
[0302]并且，圖42是示出可以執(zhí)行圖像預(yù)測(cè)解碼方法的程序的模塊的框圖。圖像預(yù)測(cè)解碼程序P900X構(gòu)成為包含以下部分:數(shù)據(jù)分析模塊P902X ;逆量子化模塊P903X ;逆變換模塊P904X ;加法模塊P905X ;存儲(chǔ)模塊P907X以及紋理合成模塊P908X。
[0303]通過執(zhí)行上述各模塊所實(shí)現(xiàn)的功能與上述圖像預(yù)測(cè)解碼裝置900X的各結(jié)構(gòu)要素相同。即，圖像預(yù)測(cè)解碼程序P900X的各模塊的功能與下述各部分的功能相同:數(shù)據(jù)分析器902X、逆量子化器903X、逆變換器904X、加法器905X、幀存儲(chǔ)器907X以及紋理合成器908X。
[0304]如此構(gòu)成的圖像預(yù)測(cè)編碼程序P100X或者圖像預(yù)測(cè)解碼程序P900X存儲(chǔ)在記錄介質(zhì)10中，由上述計(jì)算機(jī)來執(zhí)行。
[0305]如上所述，圖17是示出用于執(zhí)行記錄在記錄介質(zhì)中的程序的計(jì)算機(jī)硬件結(jié)構(gòu)的圖，圖18是用于執(zhí)行存儲(chǔ)在記錄介質(zhì)中的程序的計(jì)算機(jī)的立體圖。作為計(jì)算機(jī)，包含具有CPU并且進(jìn)行基于軟件的處理和控制的DVD播放器、機(jī)頂盒、移動(dòng)電話等。
[0306]如圖17所示，計(jì)算機(jī)30具有:軟盤驅(qū)動(dòng)裝置、⑶一ROM驅(qū)動(dòng)裝置以及DVD驅(qū)動(dòng)裝置等讀取裝置12 ;使操作系統(tǒng)常駐的工作用存儲(chǔ)器(RAM) 14 ;存儲(chǔ)記錄介質(zhì)10中所存儲(chǔ)的程序的存儲(chǔ)器16 ;被稱為顯示器的顯示裝置18 ;作為輸入裝置的鼠標(biāo)20和鍵盤22 ;用于進(jìn)行數(shù)據(jù)等的發(fā)送接收的通信裝置24 ;以及控制程序的執(zhí)行的CPU26。在將記錄介質(zhì)10插入到讀取裝置12中時(shí)，計(jì)算機(jī)30可以從讀取裝置12來訪問存儲(chǔ)在記錄介質(zhì)10中的圖像預(yù)測(cè)編碼/解碼程序，并可以利用該圖像編碼/解碼程序，作為本發(fā)明所涉及的圖像編碼裝置或圖像解碼裝置來動(dòng)作。
[0307]如圖18所示，圖像預(yù)測(cè)編碼程序或圖像解碼程序可以作為載波中重疊的計(jì)算機(jī)數(shù)據(jù)信號(hào)40經(jīng)由網(wǎng)絡(luò)提供。在該情況下，計(jì)算機(jī)30將通過通信裝置24接收到的圖像預(yù)測(cè)編碼程序或圖像解碼程序存儲(chǔ)在存儲(chǔ)器16中，從而可以執(zhí)行該圖像預(yù)測(cè)編碼程序或圖像預(yù)測(cè)解碼程序。
[0308]這樣，根據(jù)本發(fā)明所涉及的圖像預(yù)測(cè)編碼裝置、圖像預(yù)測(cè)解碼裝置、圖像預(yù)測(cè)編碼方法、圖像預(yù)測(cè)解碼方法、圖像預(yù)測(cè)編碼程序以及圖像預(yù)測(cè)解碼程序，在使用現(xiàn)有技術(shù)中所使用的外插的方法來生成畫面內(nèi)預(yù)測(cè)信號(hào)的情況下，可以防止針對(duì)遠(yuǎn)離對(duì)象塊邊界的像素的預(yù)測(cè)精度的下降，可以高效地預(yù)測(cè)具有復(fù)雜圖案的圖像信號(hào)。
[0309]接著，說明本實(shí)施方式的圖像預(yù)測(cè)編碼裝置100X的作用效果。在本實(shí)施方式的圖像預(yù)測(cè)編碼裝置100X中，塊分割器102將從輸入端子IOlX輸入的輸入圖像分割為多個(gè)區(qū)域，預(yù)測(cè)信號(hào)生成器103X針對(duì)分割出的上述多個(gè)區(qū)域中作為處理對(duì)象的對(duì)象區(qū)域的對(duì)象像素信號(hào)生成預(yù)測(cè)信號(hào)。然后，減法器105X可以生成所生成的該預(yù)測(cè)信號(hào)與對(duì)象像素信號(hào)的殘差信號(hào)，變換器106X、量子化器107X以及熵編碼器IllX可以對(duì)殘差信號(hào)進(jìn)行編碼，生成壓縮信號(hào)。
[0310]這里，預(yù)測(cè)信號(hào)生成器103X可以根據(jù)由與對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域來生成紋理信號(hào)，并可以利用預(yù)定的紋理合成方法對(duì)所生成的紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。由此，由于利用圖像的紋理合成方法來生成預(yù)測(cè)信號(hào)，因此可以防止針對(duì)遠(yuǎn)離對(duì)象塊邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0311]并且，預(yù)測(cè)信號(hào)生成器103X可以根據(jù)由與對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域來生成與該相鄰區(qū)域相關(guān)性高的多個(gè)紋理信號(hào)，并可以利用預(yù)定的紋理合成方法對(duì)所生成的多個(gè)紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。由此，可以利用對(duì)象塊與相鄰于該對(duì)象塊的“對(duì)象相鄰區(qū)域”相關(guān)性高的性質(zhì)，可以防止針對(duì)遠(yuǎn)離對(duì)象塊邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0312]并且，預(yù)測(cè)信號(hào)生成器103X可以根據(jù)由與對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的多個(gè)相鄰區(qū)域來生成與該多個(gè)相鄰區(qū)域的每一個(gè)相關(guān)性高的多個(gè)紋理信號(hào)，并可以利用預(yù)定的合成方法對(duì)所生成的多個(gè)紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。由此，可以利用對(duì)象塊與相鄰于該對(duì)象塊的“對(duì)象相鄰區(qū)域”相關(guān)性高的性質(zhì)，可以防止針對(duì)遠(yuǎn)離對(duì)象塊邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0313]并且，預(yù)測(cè)信號(hào)生成器103X可以在第I外插器309X或第N外插器310X中，重復(fù)與對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素值來形成像素，由此生成外插紋理信號(hào)，并可以利用預(yù)定的合成方法對(duì)紋理信號(hào)和外插紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。由此，可以防止針對(duì)遠(yuǎn)離對(duì)象塊邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0314]并且，預(yù)測(cè)信號(hào)生成器103X可以從預(yù)定的已再現(xiàn)圖像即搜索區(qū)域中搜索與由相鄰于對(duì)象像素信號(hào)的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域相關(guān)性高的預(yù)測(cè)相鄰區(qū)域，將根據(jù)該搜索到的預(yù)測(cè)相鄰區(qū)域所決定的圖像區(qū)域作為紋理信號(hào)。由此，可以利用對(duì)象塊與相鄰于該對(duì)象塊的“對(duì)象相鄰區(qū)域”相關(guān)性高的性質(zhì)，從已再現(xiàn)圖像區(qū)域中檢測(cè)相對(duì)于對(duì)象相鄰區(qū)域誤差最少的區(qū)域，來作為預(yù)測(cè)相鄰區(qū)域，將與該預(yù)測(cè)相鄰區(qū)域相鄰?fù)瑫r(shí)與對(duì)象塊對(duì)應(yīng)的像素組作為對(duì)象塊的紋理信號(hào)，由此即使在紋理比較復(fù)雜的情況下也能夠生成與相鄰區(qū)域相同圖案的預(yù)測(cè)信號(hào)，并且即使遠(yuǎn)離對(duì)象塊的邊界，也能夠生成相同圖案的紋理信號(hào)。
[0315]并且，熵編碼器IllX可以對(duì)表示紋理合成方法的關(guān)聯(lián)信息(例如，權(quán)重值、表示使用哪個(gè)紋理生成器的信息等)進(jìn)行編碼，并經(jīng)由輸出端子112X將編碼后的關(guān)聯(lián)信息與編碼后的編碼信號(hào)一起輸出。由此，在接收側(cè)可以獲知圖像的紋理合成方法，并在接收側(cè)利用該所獲知的紋理合成方法生成預(yù)測(cè)信號(hào)，因此可以防止針對(duì)遠(yuǎn)離對(duì)象塊邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0316]并且，紋理合成器201X可以針對(duì)由各紋理生成器307X、308X、第I外插器309X以及第N外插器3IOX生成的、針對(duì)像素信號(hào)的多個(gè)紋理信號(hào),在合成器30IX (加權(quán)器303X?306X)中使用預(yù)定的加權(quán)系數(shù)進(jìn)行加權(quán)平均處理，由此進(jìn)行合成，生成預(yù)測(cè)信號(hào)。由此，具有通過利用模板匹配所生成的紋理信號(hào)的合成(平均化)，可以生成在統(tǒng)計(jì)上誤差少的預(yù)測(cè)信號(hào)的效果。
[0317]而且，根據(jù)“對(duì)象相鄰區(qū)域”利用與已再現(xiàn)圖像區(qū)域的匹配(模板匹配)所求出的差分值不是很大的差的情況下的不確定性的課題，具有以下效果，即:通過利用模板匹配所生成的紋理信號(hào)的合成(平均化)，可以生成在統(tǒng)計(jì)上誤差少的預(yù)測(cè)信號(hào)。并且，根據(jù)本發(fā)明，通過對(duì)多個(gè)紋理信號(hào)進(jìn)行合成，由此具有可以抑制各紋理中所包含的編碼失真的效果，可以生成誤差少的預(yù)測(cè)信號(hào)。
[0318]并且，例如紋理生成器307X可以從與對(duì)象像素信號(hào)相同的畫面內(nèi)即第I搜索區(qū)域中，根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域，至少生成一個(gè)與該相鄰區(qū)域相關(guān)性高的紋理信號(hào)，例如紋理生成器308X可以從與所述第I搜索區(qū)域不同的畫面即第2搜索區(qū)域中，根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域，至少生成一個(gè)與該相鄰區(qū)域相關(guān)性高的紋理信號(hào)，并可以利用預(yù)定的紋理合成方法對(duì)分別生成的紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。由此，由于使用圖像的紋理合成方法來生成預(yù)測(cè)信號(hào)，因此可以防止針對(duì)遠(yuǎn)離對(duì)象塊邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0319]并且，塊分割器102X將經(jīng)由輸入端子IOlX輸入的輸入圖像分割為多個(gè)區(qū)域，預(yù)測(cè)信號(hào)生成器103X針對(duì)分割出的所述多個(gè)區(qū)域中作為處理對(duì)象的對(duì)象區(qū)域的對(duì)象像素信號(hào)生成預(yù)測(cè)信號(hào)。然后，減法器105X可以生成所生成的預(yù)測(cè)信號(hào)與所述對(duì)象像素信號(hào)的殘差信號(hào)，變換器106X、量子化器107X以及熵編碼器11IX可以對(duì)所生成的所述殘差信號(hào)進(jìn)行編碼，生成壓縮信號(hào)。然后，在預(yù)測(cè)信號(hào)生成器103X中，第I外插器309X和第N外插器310X可以重復(fù)與對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素值來形成像素，由此生成至少一個(gè)外插紋理信號(hào)，合成器301X可以利用預(yù)定的合成方法對(duì)所述外插紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。由此，可以防止針對(duì)遠(yuǎn)離對(duì)象塊邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0320]接著，說明圖像預(yù)測(cè)解碼裝置900X的作用效果。在圖像預(yù)測(cè)解碼裝置900X中，數(shù)據(jù)分析器902X從由輸入端子901X輸入的壓縮數(shù)據(jù)中提取與作為處理對(duì)象的對(duì)象區(qū)域有關(guān)的殘差信號(hào)，并在逆量子化器903X和逆變換器904X中將其恢復(fù)為再現(xiàn)殘差信號(hào)。然后，紋理合成器908X可以針對(duì)所述對(duì)象區(qū)域的對(duì)象像素信號(hào)生成預(yù)測(cè)信號(hào)，加法器905X可以將所生成的預(yù)測(cè)信號(hào)與所恢復(fù)的殘差信號(hào)相加，由此恢復(fù)所述對(duì)象區(qū)域的像素信號(hào)，并可以將所恢復(fù)的像素信號(hào)作為參照?qǐng)D像存儲(chǔ)到幀存儲(chǔ)器907X中。然后，可以根據(jù)由存儲(chǔ)在幀存儲(chǔ)器907X中的、由與對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域來生成紋理信號(hào)，并利用預(yù)定的合成方法對(duì)所生成的紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
[0321]并且，紋理合成器908X可以根據(jù)由與對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域，來生成與該相鄰區(qū)域相關(guān)性高的多個(gè)紋理信號(hào)，并利用預(yù)定的合成方法對(duì)所生成多個(gè)的紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。由此，可以利用對(duì)象塊與相鄰于該對(duì)象塊的“對(duì)象相鄰區(qū)域”相關(guān)性高的性質(zhì)，可以防止針對(duì)遠(yuǎn)離對(duì)象塊邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0322]并且，紋理合成器908X可以根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的多個(gè)相鄰區(qū)域，來生成與該多個(gè)相鄰區(qū)域的每一個(gè)相關(guān)性高的多個(gè)紋理信號(hào)，并可以利用預(yù)定的合成方法對(duì)所生成多個(gè)的紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。由此，可以利用對(duì)象塊與相鄰于該對(duì)象塊的“對(duì)象相鄰區(qū)域”相關(guān)性高的性質(zhì)，可以防止針對(duì)遠(yuǎn)離對(duì)象塊邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0323]并且，紋理合成器908X的第I外插器1009X或第N外插器1010X可以重復(fù)與對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素值來形成像素，由此生成外插紋理信號(hào)，并可以利用預(yù)定的合成方法對(duì)紋理信號(hào)和外插紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。由此，可以防止針對(duì)遠(yuǎn)離對(duì)象塊邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0324]并且，紋理合成器908X可以從預(yù)定的已再現(xiàn)圖像即搜索區(qū)域中搜索與由相鄰于對(duì)象像素信號(hào)的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域相關(guān)性高的預(yù)測(cè)相鄰區(qū)域，將根據(jù)該搜索到的預(yù)測(cè)相鄰區(qū)域所決定的圖像區(qū)域作為紋理信號(hào)。由此，可以利用對(duì)象塊與相鄰于該對(duì)象塊的“對(duì)象相鄰區(qū)域”相關(guān)性高的性質(zhì)，從已再現(xiàn)圖像區(qū)域中檢測(cè)相對(duì)于對(duì)象相鄰區(qū)域誤差最少的區(qū)域，來作為預(yù)測(cè)相鄰區(qū)域，將與該預(yù)測(cè)相鄰區(qū)域相鄰?fù)瑫r(shí)與對(duì)象塊對(duì)應(yīng)的像素組作為對(duì)象塊的紋理信號(hào)，由此即使在紋理比較復(fù)雜的情況下也能夠生成與對(duì)象相鄰區(qū)域相同圖案的預(yù)測(cè)信號(hào)，并且即使遠(yuǎn)離對(duì)象塊邊界，也能夠生成相同圖案的紋理信號(hào)。
[0325]并且，紋理合成器908X可以利用預(yù)定的加權(quán)系數(shù)對(duì)針對(duì)對(duì)象像素信號(hào)的多個(gè)紋理信號(hào)進(jìn)行加權(quán)平均處理，由此進(jìn)行合成，生成預(yù)測(cè)信號(hào)。由此，具有如下這樣的效果，即:通過利用模板匹配所生成的紋理信號(hào)的合成(平均化)，可以生成在統(tǒng)計(jì)上誤差少的預(yù)測(cè)信號(hào)。
[0326]而且，根據(jù)“對(duì)象相鄰區(qū)域”利用與已再現(xiàn)圖像區(qū)域的匹配(模板匹配)所求出的差分值不是很大的差的情況下的不確定性的課題，具有以下效果，即:通過利用模板匹配所生成的紋理信號(hào)的合成(平均化)，可以生成在統(tǒng)計(jì)上誤差少的預(yù)測(cè)信號(hào)。并且，根據(jù)本發(fā)明，通過對(duì)多個(gè)紋理信號(hào)進(jìn)行合成，由此具有可以抑制各紋理中所包含的編碼失真的效果，可以生成誤差少的預(yù)測(cè)信號(hào)。
[0327]并且，在紋理合成器908X中，例如紋理生成器1007X從與對(duì)象像素信號(hào)相同的畫面內(nèi)即第I搜索區(qū)域中，根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域，至少生成一個(gè)與該相鄰區(qū)域相關(guān)性高的紋理信號(hào)，并且，例如紋理生成器1008X從與所述第I搜索區(qū)域不同的畫面即第2搜索區(qū)域中，根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域，至少生成一個(gè)與該相鄰區(qū)域相關(guān)性高的紋理信號(hào)，合成器IOOlX利用預(yù)定的紋理合成方法對(duì)分別生成的紋理信號(hào)進(jìn)行合成，由此可以生成預(yù)測(cè)信號(hào)。由此，由于利用圖像的紋理合成方法來生成預(yù)測(cè)信號(hào)，因此可以防止針對(duì)遠(yuǎn)離對(duì)象塊邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0328]并且，在圖像預(yù)測(cè)解碼裝置900X中，數(shù)據(jù)分析器902X從壓縮數(shù)據(jù)中提取與所述對(duì)象區(qū)域有關(guān)的殘差信號(hào)，逆量子化器903X和逆變換器904X將其恢復(fù)為再現(xiàn)殘差信號(hào)，紋理合成器908X針對(duì)所述對(duì)象區(qū)域的對(duì)象像素信號(hào)，生成預(yù)測(cè)信號(hào)。然后，加法器905X將預(yù)測(cè)信號(hào)與再現(xiàn)殘差信號(hào)相加，由此可以恢復(fù)對(duì)象區(qū)域的像素信號(hào)。然后，在紋理合成器908X中，第I外插器1009X和第N外插器1010X重復(fù)與對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素值來形成像素，由此生成至少一個(gè)外插紋理信號(hào)，并利用預(yù)定的合成方法對(duì)所述外插紋理信號(hào)進(jìn)行合成，由此可以生成預(yù)測(cè)信號(hào)。由此，可以防止針對(duì)遠(yuǎn)離對(duì)象塊邊界的像素的預(yù)測(cè)精度的下降，即使在紋理信號(hào)比較復(fù)雜的情況下也能夠高效地生成預(yù)測(cè)信號(hào)。
[0329]另外，根據(jù)本實(shí)施方式，還可以理解為以下的圖像預(yù)測(cè)編碼方法和圖像預(yù)測(cè)解碼方法。
[0330]即，在圖像預(yù)測(cè)編碼方法中，優(yōu)選在所述預(yù)測(cè)信號(hào)生成步驟中，根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域，生成與該相鄰區(qū)域相關(guān)性高的多個(gè)紋理信號(hào)，并利用預(yù)定的合成方法對(duì)所生成的多個(gè)紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
[0331]并且，在圖像預(yù)測(cè)編碼方法中，優(yōu)選在所述預(yù)測(cè)信號(hào)生成步驟中，根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的多個(gè)相鄰區(qū)域，來生成與該多個(gè)相鄰區(qū)域的每一個(gè)相關(guān)性高的多個(gè)紋理信號(hào)，利用預(yù)定的合成方法對(duì)所生成多個(gè)的紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
[0332]并且，在圖像預(yù)測(cè)編碼方法中，優(yōu)選在所述預(yù)測(cè)信號(hào)生成步驟中，還重復(fù)與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素值來形成像素，由此生成外插紋理信號(hào)，并利用預(yù)定的合成方法對(duì)所述紋理信號(hào)和所述外插紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。
[0333]并且，在圖像預(yù)測(cè)編碼方法中，優(yōu)選在所述預(yù)測(cè)信號(hào)生成步驟中，從預(yù)定的已再現(xiàn)圖像即搜索區(qū)域中搜索與由相鄰于所述對(duì)象像素信號(hào)的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域相關(guān)性高的預(yù)測(cè)相鄰區(qū)域，將根據(jù)該搜索到的預(yù)測(cè)相鄰區(qū)域所決定的圖像區(qū)域作為紋理信號(hào)。
[0334]并且，在圖像預(yù)測(cè)解碼方法中，優(yōu)選在所述預(yù)測(cè)信號(hào)生成步驟中，根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域，生成與該相鄰區(qū)域相關(guān)性高的多個(gè)紋理信號(hào)，并利用預(yù)定的合成方法對(duì)所生成的多個(gè)紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
[0335]并且，在圖像預(yù)測(cè)解碼方法中，優(yōu)選在所述預(yù)測(cè)信號(hào)生成步驟中，根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的多個(gè)相鄰區(qū)域，來生成與該多個(gè)相鄰區(qū)域的每一個(gè)相關(guān)性高的多個(gè)紋理信號(hào)，利用預(yù)定的合成方法對(duì)所生成的多個(gè)紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
[0336]并且，在圖像預(yù)測(cè)解碼方法中，優(yōu)選在所述預(yù)測(cè)信號(hào)生成步驟中，還重復(fù)與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素值來形成像素，由此生成外插紋理信號(hào)，并利用預(yù)定的合成方法對(duì)所述紋理信號(hào)和所述外插紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。
[0337]并且，在圖像預(yù)測(cè)解碼方法中，優(yōu)選在所述預(yù)測(cè)信號(hào)生成步驟中，從預(yù)定的已再現(xiàn)圖像即搜索區(qū)域中搜索與由相鄰于所述對(duì)象像素信號(hào)的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域相關(guān)性高的預(yù)測(cè)相鄰區(qū)域，將根據(jù)該搜索到的預(yù)測(cè)相鄰區(qū)域所決定的圖像區(qū)域作為紋理信號(hào)。
【權(quán)利要求】
1.一種圖像預(yù)測(cè)編碼裝置，其特征在于，該圖像預(yù)測(cè)編碼裝置具有: 區(qū)域分割單元，其將輸入圖像分割為多個(gè)區(qū)域； 預(yù)測(cè)信號(hào)生成單元，其針對(duì)由所述區(qū)域分割單元分割出的所述多個(gè)區(qū)域中作為處理對(duì)象的對(duì)象區(qū)域的對(duì)象像素信號(hào)，生成預(yù)測(cè)信號(hào)； 殘差信號(hào)生成單元，其生成由所述預(yù)測(cè)信號(hào)生成單元生成的預(yù)測(cè)信號(hào)與所述對(duì)象像素信號(hào)的殘差信號(hào)；以及 編碼單元，其對(duì)由所述殘差信號(hào)生成單元生成的所述殘差信號(hào)進(jìn)行編碼，生成壓縮數(shù)據(jù)， 所述預(yù)測(cè)信號(hào)生成單元根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域來生成紋理信號(hào)，利用預(yù)定的紋理合成方法對(duì)所生成的紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
2.根據(jù)權(quán)利要求1所述的圖像預(yù)測(cè)編碼裝置，其特征在于， 所述預(yù)測(cè)信號(hào)生成單元根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域，來生成與該相鄰區(qū)域相關(guān)性高的多個(gè)紋理信號(hào)，利用預(yù)定的合成方法對(duì)所生成多個(gè)的紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
3.根據(jù)權(quán)利要求1所述的圖像預(yù)測(cè)編碼裝置，其特征在于， 所述預(yù)測(cè)信號(hào)生成單元根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的多個(gè)相鄰區(qū)域，來生成與該多個(gè)相鄰區(qū)域的每一個(gè)相關(guān)性高的多個(gè)紋理信號(hào)，利用預(yù)定的合成方法對(duì)所生成多個(gè)的紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
4.根據(jù)權(quán)利要求1~3中的任意一項(xiàng)所述的圖像預(yù)測(cè)編碼裝置，其特征在于， 所述預(yù)測(cè)信號(hào)生成單元還重復(fù)與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素值來形成像素，由此生成外插紋理信號(hào)，并利用預(yù)定的合成方法對(duì)所述紋理信號(hào)和所述外插紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。
5.根據(jù)權(quán)利要求1~3中的任意一項(xiàng)所述的圖像預(yù)測(cè)編碼裝置，其特征在于， 所述預(yù)測(cè)信號(hào)生成單元從預(yù)定的已再現(xiàn)圖像即搜索區(qū)域中搜索與由相鄰于所述對(duì)象像素信號(hào)的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域相關(guān)性高的預(yù)測(cè)相鄰區(qū)域，將根據(jù)該搜索到的預(yù)測(cè)相鄰區(qū)域所決定的圖像區(qū)域作為紋理信號(hào)。
6.根據(jù)權(quán)利要求1~3中的任意一項(xiàng)所述的圖像預(yù)測(cè)編碼裝置，其特征在于， 所述編碼單元對(duì)表示所述紋理合成方法的關(guān)聯(lián)信息進(jìn)行編碼， 具有發(fā)送單元，該發(fā)送單元將編碼后的所述關(guān)聯(lián)信息與由所述編碼單元編碼的編碼信號(hào)一起進(jìn)行發(fā)送。
7.根據(jù)權(quán)利要求2或3所述的圖像預(yù)測(cè)編碼裝置，其特征在于， 所述預(yù)測(cè)信號(hào)生成單元利用預(yù)定的加權(quán)系數(shù)對(duì)針對(duì)所述對(duì)象像素信號(hào)的多個(gè)紋理信號(hào)進(jìn)行加權(quán)平均處理，由此進(jìn)行合成，生成預(yù)測(cè)信號(hào)。
8.一種圖像預(yù)測(cè)編碼裝置，其特征在于，該圖像預(yù)測(cè)編碼裝置具有: 區(qū)域分割單元，其將輸入圖像分割為多個(gè)區(qū)域； 預(yù)測(cè)信號(hào)生成單元，其針對(duì)由所述區(qū)域分割單元分割出的所述多個(gè)區(qū)域中作為處理對(duì)象的對(duì)象區(qū)域的對(duì)象像素信號(hào)，生成預(yù)測(cè)信號(hào)； 殘差信號(hào)生成單元，其生成由所述預(yù)測(cè)信號(hào)生成單元生成的預(yù)測(cè)信號(hào)與所述對(duì)象像素信號(hào)的殘差信號(hào)；以及 編碼單元，其對(duì)由所述殘差信號(hào)生成單元生成的所述殘差信號(hào)進(jìn)行編碼，生成壓縮信號(hào)， 所述預(yù)測(cè)信號(hào)生成單元重復(fù)與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素值來形成像素，由此生成至少一個(gè)外插紋理信號(hào)，并利用預(yù)定的合成方法對(duì)所述至少一個(gè)外插紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。
9.一種圖像預(yù)測(cè)解碼裝置，其特征在于，該圖像預(yù)測(cè)解碼裝置具有: 殘差信號(hào)恢復(fù)單元，其從壓縮數(shù)據(jù)中提取與作為處理對(duì)象的對(duì)象區(qū)域有關(guān)的殘差信號(hào)，并將其恢復(fù)為再現(xiàn)殘差信號(hào)； 預(yù)測(cè)信號(hào)生成單元，其針對(duì)所述對(duì)象區(qū)域的對(duì)象像素信號(hào)，生成預(yù)測(cè)信號(hào)；以及圖像恢復(fù)單元，其將由所述預(yù)測(cè)信號(hào)生成單元生成的預(yù)測(cè)信號(hào)與由所述殘差信號(hào)恢復(fù)單元恢復(fù)的再現(xiàn)殘差信號(hào)相加，由此來恢復(fù)所述對(duì)象區(qū)域的像素信號(hào)， 所述預(yù)測(cè)信號(hào)生成單元根據(jù)由與對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域來生成紋理信號(hào)，利用 預(yù)定的紋理合成方法對(duì)所生成的紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
10.根據(jù)權(quán)利要求9所述的圖像預(yù)測(cè)解碼裝置，其特征在于， 所述預(yù)測(cè)信號(hào)生成單元根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域，來生成與該相鄰區(qū)域相關(guān)性高的多個(gè)紋理信號(hào)，利用預(yù)定的合成方法對(duì)所生成的多個(gè)紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
11.根據(jù)權(quán)利要求9所述的圖像預(yù)測(cè)解碼裝置，其特征在于， 所述預(yù)測(cè)信號(hào)生成單元根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的多個(gè)相鄰區(qū)域，來生成與該多個(gè)相鄰區(qū)域的每一個(gè)相關(guān)性高的多個(gè)紋理信號(hào)，利用預(yù)定的合成方法對(duì)所生成的多個(gè)紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
12.根據(jù)權(quán)利要求9~11中的任意一項(xiàng)所述的圖像預(yù)測(cè)解碼裝置，其特征在于， 所述預(yù)測(cè)信號(hào)生成單元還重復(fù)與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素值來形成像素，由此生成外插紋理信號(hào)，并利用預(yù)定的合成方法對(duì)所述紋理信號(hào)和所述外插紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。
13.根據(jù)權(quán)利要求9~11中的任意一項(xiàng)所述的圖像預(yù)測(cè)解碼裝置，其特征在于， 所述預(yù)測(cè)信號(hào)生成單元從預(yù)定的已再現(xiàn)圖像即搜索區(qū)域中搜索與由相鄰于所述對(duì)象像素信號(hào)的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域相關(guān)性高的預(yù)測(cè)相鄰區(qū)域，將根據(jù)該搜索到的預(yù)測(cè)相鄰區(qū)域而決定的圖像區(qū)域作為紋理信號(hào)。
14.根據(jù)權(quán)利要求9~11中的任意一項(xiàng)所述的圖像預(yù)測(cè)解碼裝置，其特征在于， 所述壓縮數(shù)據(jù)包含表示紋理合成方法的關(guān)聯(lián)信息， 所述預(yù)測(cè)信號(hào)生成單元利用所述關(guān)聯(lián)信息來形成所述對(duì)象區(qū)域的紋理信號(hào)。
15.根據(jù)權(quán)利要求10或11所述的圖像預(yù)測(cè)解碼裝置，其特征在于， 所述預(yù)測(cè)信號(hào)生成單元利用預(yù)定的加權(quán)系數(shù)對(duì)針對(duì)所述對(duì)象像素信號(hào)的多個(gè)紋理信號(hào)進(jìn)行加權(quán)平均處理，由此進(jìn)行合成，從而生成預(yù)測(cè)信號(hào)。
16.一種圖像預(yù)測(cè)解碼裝置，其特征在于，該圖像預(yù)測(cè)解碼裝置具有:殘差信號(hào)恢復(fù)單元，其從壓縮數(shù)據(jù)中提取與對(duì)象區(qū)域有關(guān)的殘差信號(hào)，并將其恢復(fù)為再現(xiàn)殘差信號(hào)； 預(yù)測(cè)信號(hào)生成單元，其針對(duì)所述對(duì)象區(qū)域的對(duì)象像素信號(hào)，生成預(yù)測(cè)信號(hào)；以及圖像恢復(fù)單元，其將所述預(yù)測(cè)信號(hào)與所述再現(xiàn)殘差信號(hào)相加，由此來恢復(fù)所述對(duì)象區(qū)域的像素信號(hào)， 所述預(yù)測(cè)信號(hào)生成單元重復(fù)與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素值來形成像素，由此生成至少一個(gè)外插紋理信號(hào)，并利用預(yù)定的合成方法對(duì)所述至少一個(gè)外插紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。
17.一種圖像預(yù)測(cè)編碼方法，其特征在于，該圖像預(yù)測(cè)編碼方法包括以下步驟: 區(qū)域分割步驟，其將輸入圖像分割為多個(gè)區(qū)域； 預(yù)測(cè)信號(hào)生成步驟，其針對(duì)由所述區(qū)域分割步驟分割出的所述多個(gè)區(qū)域中作為處理對(duì)象的對(duì)象區(qū)域的對(duì)象像素信號(hào)，生成預(yù)測(cè)信號(hào)； 殘差信號(hào)生成步驟，其生成由所述預(yù)測(cè)信號(hào)生成步驟生成的預(yù)測(cè)信號(hào)與所述對(duì)象像素信號(hào)的殘差信號(hào)；以及 編碼步驟，其對(duì)由所述殘差信號(hào)生成步驟生成的所述殘差信號(hào)進(jìn)行編碼，生成壓縮數(shù)據(jù)， 在所述預(yù)測(cè)信號(hào)生成步驟中，根據(jù)由與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域來生成紋理信號(hào)，利用預(yù)定的紋理合成方法對(duì)所生成的紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
18.一種圖像預(yù)測(cè)編碼方法，其特征在于，該圖像預(yù)測(cè)編碼方法包括以下步驟: 區(qū)域分割步驟，其將輸入圖像分割為多個(gè)區(qū)域； 預(yù)測(cè)信號(hào)生成步驟，其針對(duì)由所述區(qū)域分割步驟分割出的所述多個(gè)區(qū)域中作為處理對(duì)象的對(duì)象區(qū)域的對(duì)象像素信號(hào)，生成預(yù)測(cè)信號(hào)； 殘差信號(hào)生成步驟，其生成由所述預(yù)測(cè)信號(hào)生成步驟生成的預(yù)測(cè)信號(hào)與所述對(duì)象像素信號(hào)的殘差信號(hào)；以及 編碼步驟，其對(duì)由所述殘差信號(hào)生成步驟生成的所述殘差信號(hào)進(jìn)行編碼，生成壓縮信號(hào)， 在所述預(yù)測(cè)信號(hào)生成步驟中， 重復(fù)與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素值來形成像素，由此生成外插紋理信號(hào)， 并利用預(yù)定的合成方法對(duì)所述外插紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。
19.一種圖像預(yù)測(cè)解碼方法，其特征在于，該圖像預(yù)測(cè)解碼方法包括以下步驟: 殘差信號(hào)恢復(fù)步驟，其從壓縮數(shù)據(jù)中提取與作為處理對(duì)象的對(duì)象區(qū)域有關(guān)的殘差信號(hào)，并將其恢復(fù)為再現(xiàn)殘差信號(hào)； 預(yù)測(cè)信號(hào)生成步驟，其針對(duì)所述對(duì)象區(qū)域的對(duì)象像素信號(hào)，生成預(yù)測(cè)信號(hào)；以及圖像恢復(fù)步驟，其將由所述預(yù)測(cè)信號(hào)生成步驟生成的預(yù)測(cè)信號(hào)與由所述殘差信號(hào)恢復(fù)步驟恢復(fù)的再現(xiàn)殘差信號(hào)相加，由此來恢復(fù)所述對(duì)象區(qū)域的像素信號(hào)， 在所述預(yù)測(cè)信號(hào)生成步驟中，根據(jù)由與對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素信號(hào)構(gòu)成的相鄰區(qū)域來生成紋理信號(hào)，利用預(yù)定的合成方法對(duì)所生成的紋理信號(hào)進(jìn)行加工，由此來生成預(yù)測(cè)信號(hào)。
20.一種圖像預(yù)測(cè)解碼方法，其特征在于，該圖像預(yù)測(cè)解碼方法包括以下步驟:殘差信號(hào)恢復(fù)步驟，其從壓縮數(shù)據(jù)中提取與所述對(duì)象區(qū)域有關(guān)的殘差信號(hào)，并將其恢復(fù)為再現(xiàn)殘差信號(hào)； 預(yù)測(cè)信號(hào)生成步驟，其針對(duì)所述對(duì)象區(qū)域的對(duì)象像素信號(hào)，生成預(yù)測(cè)信號(hào)；以及圖像恢復(fù)步驟，其將所述預(yù)測(cè)信號(hào)與所述再現(xiàn)殘差信號(hào)相加，由此來恢復(fù)所述對(duì)象區(qū)域的像素信號(hào)， 在所述預(yù)測(cè)信號(hào)生成步驟中， 重復(fù)與所述對(duì)象像素信號(hào)相鄰的已再現(xiàn)像素值來形成像素，由此生成外插紋理信號(hào)， 并利用預(yù)定的合成 方法對(duì)所述外插紋理信號(hào)進(jìn)行合成，由此來生成預(yù)測(cè)信號(hào)。
【文檔編號(hào)】H04N19/503GK103747263SQ201410049846
【公開日】2014年4月23日 申請(qǐng)日期:2007年4月23日 優(yōu)先權(quán)日:2006年4月28日
【發(fā)明者】文仲丞, 鈴木芳典, 陳朝慶 申請(qǐng)人:株式會(huì)社Ntt都科摩