【相關(guān)申請的交叉引用】

本發(fā)明主張申請于2014年10月28日，序列號為pct/cn2014/089716的pct專利申請，以及申請于2015年1月23日，序列號為pct/cn2015/071440的pct專利申請的優(yōu)先權(quán)。將以上pct專利申請以參考的方式并入本文中。

【技術(shù)領(lǐng)域】

本發(fā)明涉及視頻編碼。特別地，本發(fā)明涉及與用于提高編碼效率的交叉分量殘差預(yù)測的編碼技術(shù)。

背景技術(shù)：

運動補償幀間編碼已經(jīng)被廣泛地應(yīng)用到各種編碼標準中，例如：mpeg-1/2/4以及h.261/h.263/h.264/avc。雖然運動補償幀間編碼可以有效地降低壓縮視頻的比特率，但是需要幀內(nèi)編碼來壓縮具有高運動或場景變化的區(qū)域。此外，幀內(nèi)編碼還被用于處理初始圖片或周期性地插入i圖片(i-picture)或i塊(i-blocks)以用于隨機存取或用于緩解(alleviation)誤差傳播。幀內(nèi)預(yù)測利用圖片內(nèi)或圖片區(qū)域內(nèi)的空間相關(guān)性。于實踐中，圖片或圖片區(qū)域被分割為塊，且?guī)瑑?nèi)預(yù)測是以塊為基礎(chǔ)來執(zhí)行。用于當前塊的幀內(nèi)預(yù)測可依賴于(relyon)已經(jīng)被處理的相鄰塊中的像素。例如，如果圖片或圖片區(qū)域中的塊首先從左至右然后從頂(top)到底(bottom)被逐行處理，則當前塊頂部的相鄰塊以及左側(cè)的相鄰塊可被用于形成用于當前塊中像素的幀內(nèi)預(yù)測。雖然所處理的相鄰塊中的任何像素都可被用作為當前塊中像素的幀內(nèi)預(yù)測子，但是通常只有鄰近當前塊頂部以及左側(cè)邊界的相鄰塊的像素被使用。

幀內(nèi)預(yù)測子通常被設(shè)計以利用圖片的空間特征，例如：平滑區(qū)域(dc模式)、垂直線或邊緣、水平線或邊緣、以及對角線或邊緣。此外，亮度(luma)以及色度(chroma)分量之間通常存在交叉分量相關(guān)(cross-componentscorrelation)。因此，交叉分量預(yù)測通過亮度樣本的線性組合來估計色度樣本，如式子(1)所示，

pc＝α·pl+β。(1)

其中，pc以及pl分別表示色度樣本以及亮度樣本，且α以及β是兩個參數(shù)。

在高效視頻編碼(highefficiencyvideocoding，hevc)的開發(fā)過程中，基于同位(co-located)重建亮度塊的色度幀內(nèi)預(yù)測方法已經(jīng)被揭露(chen，etal.，“chromaintrapredictionbyreconstructedlumasamples”，jointcollaborativeteamonvideocoding(jct-vc)ofitu-tsg16wp3andiso/iecjtc1/sc29/wg13rdmeeting：guangzhou，cn，7-15october，2010，document：jctvc-c206)。色度幀內(nèi)預(yù)測的類型被稱為lm預(yù)測。主要概念是使用重建的亮度像素來產(chǎn)生對應(yīng)色度像素的預(yù)測子。圖1a以及圖1b所示為預(yù)測過程。首先，圖1a中同位亮度塊的相鄰重建像素以及圖1b中的色度塊的相鄰重建像素被用于導(dǎo)出多個塊之間的相關(guān)參數(shù)。接著，如式子(2)所示，使用參數(shù)以及亮度塊的重建像素(即，recl[x，y])來產(chǎn)生色度塊的預(yù)測像素(即，predc[x，y])，

predc[x，y]＝α·recl[x，y]+β。(2)

于參數(shù)導(dǎo)出過程中，當前亮度塊的第一上方重建像素行(abovereconstructedpixelrow)以及第二左側(cè)重建像素列(leftreconstructedpixelcolumn)被使用。亮度塊的特定行以及列被使用以匹配色度分量的4∶2∶0取樣格式。

隨著hevc標準的開發(fā)，hevc的擴展(extension)的開發(fā)也開始進行。hevc擴展包括范圍擴展(rangeextensions，rext)，其針對非4∶2∶0的顏色格式，例如4∶2∶2以及4∶4∶4，以及更高比特深度的視頻，例如，每個樣本12、14以及16比特。一種被開發(fā)用于rext的編碼工具是幀間分量預(yù)測，其可以提高編碼效率，特別是對于多個具有高比特深度的顏色分量。幀間分量預(yù)測可利用多個顏色分量之間的冗余，且因此能提高編碼效率。被開發(fā)用于rext的幀間分量預(yù)測的一種形式是幀間分量殘差預(yù)測(inter-componentresidualprediction，irp)，其由pu等作者于jctvc-n0266(“non-rce1：intercolorcomponentresidualprediction”，injointcollaborativeteamonvideocoding(jct-vc)ofitu-tsg16wp3andiso/iecjtc1/sc29/wg11，14thmeeting：vienna，at，25july-2aug.2013document：jctvc-n0266)中揭露。

于幀間分量殘差預(yù)測中，色度殘差于編碼器側(cè)被預(yù)測為：

rc′(x，y)＝rc(x，y)-(α×rl(x，y))。(3)

于式子(3)中，rc(x，y)表示位置(x，y)的最終色度重建殘差樣本，rc′(x，y)表示來自位置(x，y)的比特流的重建色度殘差樣本，rl(x，y)表示位置(x，y)的亮度分量的重建殘差樣本，且α為縮放參數(shù)(也稱為alpha參數(shù)，或比例因子)?？s放參數(shù)α于編碼器側(cè)被計算，并被標識(signaled)。于解碼器側(cè)，從比特流中恢復(fù)參數(shù)，并根據(jù)式子(4)導(dǎo)出最終色度重建殘差樣本：

rc(x，y)＝rc′(x，y)+(α×rl(x，y))。(4)

雖然使用yuv格式作為示例來說明幀間分量殘差預(yù)測導(dǎo)出，但是也可以使用任何其它顏色格式。例如，可以使用rgb格式。如果r分量首先被編碼，則r分量是以與上述示例中亮度分量相同的方式被處理。類似地，如果g分量首先被編碼，則g分量是以與亮度分量相同的方式被處理。

圖2所示為于當前hevc-rext中，用于當前單元(currentunit)的轉(zhuǎn)換單元(transformunit，tu)的irp的示范性解碼過程。當前編碼單元的所有tu的已解碼系數(shù)都被提供以用于多個分量。對于第一分量(例如，y分量)，已解碼轉(zhuǎn)換系數(shù)被逆轉(zhuǎn)換(方框210)以恢復(fù)第一顏色分量的幀內(nèi)/幀間編碼殘差。接著，幀間/幀內(nèi)編碼第一顏色分量(inter/intracodedfirstcolorcomponent)由第一分量幀間/幀內(nèi)補償220處理以產(chǎn)生最終重建的第一分量。第一分量幀間/幀內(nèi)補償220所需的幀間/幀內(nèi)參考樣本是由緩沖器或存儲器提供。于圖2中，這意味著第一顏色分量是幀間/幀內(nèi)編碼，以使幀間/幀內(nèi)補償被用于從重建的殘差中重建第一分量。對于第二顏色分量，已解碼轉(zhuǎn)換系數(shù)使用第二分量解碼過程(方框212)來解碼，以恢復(fù)幀間分量編碼第二分量(inter-componentcodedsecondcomponent)。由于第二分量是基于第一分量殘差來進行幀間分量殘差預(yù)測，所以基于來自方框210以及方框212的輸出，使用用于第二分量(方框222)的幀間分量預(yù)測來重建第二分量殘差。如上所述，幀間分量殘差預(yù)測需要已編碼的縮放參數(shù)。因此，第一顏色分量以及第二顏色分量之間的已解碼α參數(shù)被提供到方框222。來自方框222的輸出對應(yīng)于第二分量的幀間/幀內(nèi)預(yù)測殘差。因此，使用第二分量幀間/幀內(nèi)補償(塊232)來重建最終的第二分量。對于第三分量，可使用類似的過程(即，方框214、224以及234)來重建最終的第三分量。根據(jù)解碼過程，可以容易地導(dǎo)出編碼過程。

希望能開發(fā)出一種能進一步提高與幀間分量殘差預(yù)測相關(guān)的編碼效率的技術(shù)。

技術(shù)實現(xiàn)要素：

本發(fā)明揭露了一種用于包括兩個或者更多分量的視頻數(shù)據(jù)的交叉分量殘差預(yù)測的方法。根據(jù)本發(fā)明，接收分別用于當前塊的第一分量以及第二分量的第一預(yù)測數(shù)據(jù)以及第二預(yù)測數(shù)據(jù)。交叉分量函數(shù)的一個或多個參數(shù)是基于第一預(yù)測數(shù)據(jù)以及第二預(yù)測數(shù)據(jù)來導(dǎo)出。交叉分量函數(shù)是關(guān)于第一分量以及第二分量，其中，第一分量作為交叉分量函數(shù)的輸入，且第二分量作為交叉分量函數(shù)的輸出。使用以第一分量的第一重建殘差作為交叉分量函數(shù)的輸入的交叉分量函數(shù)來導(dǎo)出用于第二分量的第二殘差的殘差預(yù)測子，其中，第二分量的第二殘差對應(yīng)于原始第二分量與第二預(yù)測數(shù)據(jù)之間的第二差值。編碼或解碼第二分量的第二殘差以及殘差預(yù)測子之間的預(yù)測差值(predicteddifference)。

第一預(yù)測數(shù)據(jù)以及第二預(yù)測數(shù)據(jù)可分別對應(yīng)于用于第一分量以及第二分量的當前塊的運動補償預(yù)測塊、重建的相鄰樣本、或重建相鄰殘差。用于第一分量以及第二分量的當前塊的運動補償預(yù)測塊分別對應(yīng)于用于第一分量以及第二分量的當前塊的幀間、幀間視圖、或幀內(nèi)塊復(fù)制預(yù)測子。視頻數(shù)據(jù)可具有對應(yīng)于yuv、ycrcb、或rgb的三個分量，且第一分量以及第二分量是從三個分量中選擇。例如，當三個分量對應(yīng)于yuv或ycrcb時，第一分量可對應(yīng)于y，且第二分量可對應(yīng)于從uv或crcb中選擇的一個色度分量。于另一示例中，第一分量可對應(yīng)于從uv或crcb中選擇的第一色度分量，且第二分量分別對應(yīng)于從uv或crcb中選擇的第二色度分量。

交叉分量函數(shù)可對應(yīng)于包括α參數(shù)或包括α參數(shù)以及β參數(shù)的線性函數(shù)，其中，α參數(shù)對應(yīng)于與第一分量相乘的縮放項(scalingterm)，且β參數(shù)對應(yīng)于偏置項(offsetterm)。參數(shù)可基于交叉分量函數(shù)并使用最小二乘法來確定，其中，第一預(yù)測數(shù)據(jù)作為交叉分量函數(shù)的輸入，且第二預(yù)測數(shù)據(jù)作為交叉分量函數(shù)的輸出。第一預(yù)測數(shù)據(jù)以及第二預(yù)測數(shù)據(jù)可分別對應(yīng)于用于第一分量以及第二分量的當前塊的運動補償預(yù)測塊、重建的相鄰樣本，或重建相鄰殘差。

本發(fā)明的一個方面解決了第一分量以及第二分量之間不同的空間分辨率的問題。如果第一分量比第二分量具有更精細(finer)的空間分辨率，則可將第一預(yù)測數(shù)據(jù)子取樣(subsample)到與第二分量相同的空間分辨率。例如，第一分量具有n個第一樣本，且第二分量具有m個第二樣本，其中，n＞m。當?shù)谝活A(yù)測數(shù)據(jù)以及第二預(yù)測數(shù)據(jù)分別對應(yīng)于用于第一分量以及第二分量的當前塊的重建的相鄰樣本或重建相鄰殘差時，如果m等于n/2，則用于第一分量的當前塊的每兩個重建的相鄰樣本或重建相鄰殘差的平均值可被用于導(dǎo)出α參數(shù)、β參數(shù)、或α參數(shù)以及β參數(shù)。當?shù)谝活A(yù)測數(shù)據(jù)以及第二預(yù)測數(shù)據(jù)分別對應(yīng)于用于第一分量以及第二分量的當前塊的運動補償預(yù)測塊的預(yù)測樣本(predictedsample)時，如果m等于n/2，則可使用用于第一分量的當前塊的運動補償預(yù)測塊的每兩個垂直相鄰預(yù)測樣本的平均值來導(dǎo)出參數(shù)。當?shù)谝活A(yù)測數(shù)據(jù)以及第二預(yù)測數(shù)據(jù)分別對應(yīng)于用于第一分量以及第二分量的當前塊的運動補償預(yù)測塊的預(yù)測樣本時，如果m等于n/4，則用于第一分量的當前塊的運動補償預(yù)測塊的每四個樣本群集(everyfour-samplecluster)的左上(left-up)以及左下(left-down)樣本的平均值可被用于導(dǎo)出參數(shù)。

對于參數(shù)導(dǎo)出，第一預(yù)測數(shù)據(jù)以及第二預(yù)測數(shù)據(jù)可分別對應(yīng)于用于第一分量以及第二分量的當前塊的子取樣或濾波的(filtered)運動補償預(yù)測塊?？蔀槊總€預(yù)測單元(predictionunit，pu)或編碼單元(codingunit，cu)確定以及傳送參數(shù)?？蔀槊總€幀內(nèi)編碼的cu(intracodedcu)中的每個tu，以及為每個幀間或幀內(nèi)塊復(fù)制編碼的cu中的每個pu或cu確定以及傳送參數(shù)。交叉分量殘差預(yù)測可被應(yīng)用到每個幀內(nèi)編碼cu的每個tu中，以及被應(yīng)用到每個幀間、幀間視圖或幀內(nèi)塊復(fù)制編碼的cu中的每個pu或cu中。用于指示是否應(yīng)用交叉分量殘差預(yù)測的模式旗標可被標識于用于每個幀內(nèi)編碼的cu的tu等級，以及被標識于用于每個幀間、幀間視圖或幀內(nèi)塊復(fù)制編碼的cu的pu或cu等級。

當?shù)谝环至烤哂斜鹊诙至扛叩目臻g分辨率時，為參數(shù)導(dǎo)出提出的子取樣技術(shù)也可被應(yīng)用到用于第二分量的第二殘差的殘差預(yù)測子的導(dǎo)出。例如，當?shù)谝环至康牡谝恢亟埐畎╪個第一樣本，且第二分量的第二殘差包括m個第二樣本(其中，m等于n/4)時，第一分量的第一重建殘差的每四個樣本群集的左上以及左下樣本的平均值可被用于殘差預(yù)測子。第一分量的第一重建殘差的每四個樣本群集的平均值、每四個樣本群集的兩個水平相鄰樣本的平均值、或每四個樣本群集的一個角樣本(cornersample)也可被用于殘差預(yù)測子。

【附圖說明】

圖1a所示為根據(jù)hevcrext的基于重建的亮度像素的色度幀內(nèi)預(yù)測導(dǎo)出的示例。

圖1b所示為根據(jù)hevcrext的相鄰色度像素以及與待預(yù)測的對應(yīng)色度塊相關(guān)聯(lián)的色度像素的示例。

圖2所示為于hevcrext中用于當前單元的tu的irp的解碼過程的示例。

圖3所示為根據(jù)本發(fā)明的引導(dǎo)交叉分量殘差預(yù)測的示范性系統(tǒng)結(jié)構(gòu)。

圖4所示為根據(jù)本發(fā)明實施例的基于重建的相鄰樣本的用于參數(shù)導(dǎo)出的示范性系統(tǒng)結(jié)構(gòu)。

圖5所示為根據(jù)本發(fā)明實施例的基于重建的預(yù)測樣本的每四個樣本群集的左上以及左下樣本的平均值的用于參數(shù)導(dǎo)出的示范性系統(tǒng)結(jié)構(gòu)。

圖6a所示為根據(jù)本發(fā)明實施例的基于重建的預(yù)測樣本的每四個樣本群集的一個角樣本的用于參數(shù)導(dǎo)出的示范性系統(tǒng)結(jié)構(gòu)。

圖6b所示為根據(jù)本發(fā)明實施例的基于重建的預(yù)測樣本的每四個樣本群集的兩個水平樣本的平均值的用于參數(shù)導(dǎo)出的示范性系統(tǒng)結(jié)構(gòu)。

圖6c所示為根據(jù)本發(fā)明實施例的基于重建的預(yù)測樣本的每四個樣本群集的平均值的用于參數(shù)導(dǎo)出的示范性系統(tǒng)結(jié)構(gòu)。

圖7所示為結(jié)合本發(fā)明實施例的用于引導(dǎo)交叉分量殘差預(yù)測的示范性流程圖。

【具體實施方式】

下文的描述是實施本發(fā)明的最佳預(yù)期模式。這種描述是為了說明本發(fā)明的一般原理，而不應(yīng)被理解成對本發(fā)明的限制。本發(fā)明的范圍可通過參考所附權(quán)利要求做最好的確定。

如上所述，于jctvc-c206中揭露的幀間分量預(yù)測被限制于幀內(nèi)色度編碼。此外，參數(shù)導(dǎo)出是基于亮度以及色度塊的重建的相鄰樣本。另一方面，jctvc-n0266揭露了用于幀內(nèi)以及幀間編碼塊的幀間分量殘差預(yù)測，且α參數(shù)總是于編碼器側(cè)被導(dǎo)出且于視頻流中傳送。根據(jù)hevc標準，α參數(shù)被傳送，且不需要在解碼器側(cè)導(dǎo)出參數(shù)。此外，hevc標準還采用了irp以用于4∶4∶4格式的視頻數(shù)據(jù)。然而，對于其它格式(例如：4∶2∶0格式)的視頻數(shù)據(jù)，irp也可提高編碼效率。當irp擴展到4∶2∶0格式時，關(guān)于如何確定亮度以及當前色度樣本之間的對應(yīng)(correspondence)、參數(shù)導(dǎo)出、以及預(yù)測子生成的問題尚未得到解決。因此，本申請中公開了提高irp編碼效率的各種技術(shù)。

雖然現(xiàn)有的irp過程包括tu等級的參數(shù)導(dǎo)出以及預(yù)測子生成，但irp也可被應(yīng)用到cu或pu中，其中，由于標識此模式以及參數(shù)傳送所產(chǎn)生的較小的開銷(smalleroverhead)，irp會更有效率。此外，hevc采用的irp僅利用重建的亮度殘差來預(yù)測當前色度殘差。然而，利用重建的非第一色度殘差來預(yù)測當前色度殘差也是可行的。如上所述，現(xiàn)存的lm模式并不靈活，且當色度像素不對應(yīng)于4∶2∶0取樣格式時，此方法是無效的，其中，lm模式是指使用同位重建亮度塊作為預(yù)測子的幀內(nèi)色度預(yù)測。

因此，基于本發(fā)明的實施例提供了靈活的基于lm的色度幀內(nèi)預(yù)測(lm-basedchromaintraprediction)，其可以自適應(yīng)地支持不同的色度取樣格式。圖3所示為根據(jù)本發(fā)明的幀間分量殘差預(yù)測的基礎(chǔ)結(jié)構(gòu)。預(yù)測數(shù)據(jù)310被用于在參數(shù)估計器320導(dǎo)出一組參數(shù)。接著，參數(shù)被用于當前塊的交叉分量預(yù)測子330。于本公開中，術(shù)語幀間分量以及交叉分量可以互換使用。根據(jù)圖3中的編碼結(jié)構(gòu)，預(yù)測數(shù)據(jù)被用作為當前塊的編碼指引(guide)，其中，預(yù)測數(shù)據(jù)可對應(yīng)于由現(xiàn)有預(yù)測編碼使用的預(yù)測塊。例如，預(yù)測數(shù)據(jù)可對應(yīng)于幀間編碼的參考塊(即，運動補償預(yù)測塊)。然而，其它預(yù)測數(shù)據(jù)也可被使用。根據(jù)本發(fā)明的系統(tǒng)被稱為引導(dǎo)幀間分量預(yù)測。

假設(shè)線性函數(shù)可被用于建模兩個分量px以及pz之間的關(guān)系，即，由式子(5)表示的關(guān)系，

px＝α·pz+β。(5)

以用于預(yù)測信號(predx以及predz)以及重建信號(recox以及recoz)。換句話說，以下關(guān)系成立：

predx＝α·predz+β，(6)以及

recox＝α·recoz+β。(7)

因此，用于分量x的重建以及預(yù)測信號之間的差值可根據(jù)式子(8)通過替換(substituting)式子(6)以及(7)中的預(yù)測以及重建信號來確定：

recox-predx＝α·(recox-predx)，即，resix＝α·resiz，(8)

其中，resix為用于分量x的殘差信號，且resiz為用于分量z的殘差信號。因此，如果用于分量z的殘差信號的函數(shù)(即，f(resiz))被用于預(yù)測用于分量x的殘差，則函數(shù)可被表示為：f(resiz)＝α·resiz。

在一個實施例中，待編碼的分量x的殘差可被計算如下：

resix’＝resix-f(resiz)，(9)

其中，用于分量x的殘差信號(即，resix)對應(yīng)于原始信號(即，origx)以及預(yù)測信號(即，predx)之間的差值，且resiz為用于分量z的重建殘差信號。resix如式子(10)所示被導(dǎo)出：

resix＝origx-predx。(10)

于解碼器側(cè)，用于分量x的重建信號是根據(jù)predx+resix’+f(resiz)來計算。分量z于分量x之前分別于編碼器側(cè)或解碼器側(cè)被編碼或解碼。函數(shù)f可通過分析predx以及predz被導(dǎo)出，其中，predx以及predz分別為用于分量x以及分量z的預(yù)測信號。

在另一實施例中，最小二乘法可被用于通過最小化均方誤差(meansquareerror)并根據(jù)predx＝α·predz+β.來估計參數(shù)。

子取樣預(yù)測塊可被用于參數(shù)估計。例如，預(yù)測數(shù)據(jù)可對應(yīng)于yuv4∶2∶0格式的亮度分量，且當前分量可對應(yīng)于色度分量。在此情況下，子取樣可被應(yīng)用到亮度預(yù)測信號。然而，子取樣也可被應(yīng)用到兩個分量具有相同空間分辨率的情形。在此情形下，子取樣可減少估計參數(shù)所需的計算。

參數(shù)估計還可基于與濾波的運動補償預(yù)測塊對應(yīng)的預(yù)測信號。濾波器可以是平滑濾波器。

在一個實施例中，當分量z具有比分量x更高的分辨率時，子取樣的分量z可被用于參數(shù)估計。

在另一實施例中，旗標可被編碼以指示幀間分量殘差預(yù)測是否被應(yīng)用。例如，旗標被標識于編碼樹單元(codingtreeunit，ctu)、最大編碼單元(largestcodingunit，lcu)，cu等級、pu等級、子pu或tu等級。旗標可被編碼以單獨用于每個預(yù)測的幀間分量，或只有一個旗標被編碼以用于所有預(yù)測的幀間分量。在又一實施例中，旗標僅在分量z的殘差信號有意義(significant)(即，分量z具有至少一個非零殘差)時被編碼。在又一實施例中，旗標是從合并模式繼承(inherited)。在當前塊被編碼于合并模式時，旗標是基于其合并候選被導(dǎo)出，使得旗標不被顯式地編碼。

指示是否應(yīng)用幀間分量殘差預(yù)測的旗標也可從由運動向量(motionvector，mv)、視差向量(disparityvector，dv)、或幀內(nèi)塊復(fù)制位移向量(displacementvector，bv)引用的參考塊繼承。令(x，y)為當前塊的左上(top-left)樣本的位置，w以及h為當前塊的寬度以及高度，且(u，v)為運動向量或位移向量，則參考塊被定位于(x+u，y+v)或(x+w/2+u，y+h/2+v)。

當應(yīng)用色度幀間分量殘差預(yù)測時，用于色度分量的量化參數(shù)(quantizationparameter，qp)可增加n。n可以是0、1、2、3，或任何其它預(yù)定義的整數(shù)數(shù)字。n也可被編碼于序列參數(shù)集(sequenceparameterset，sps)、圖片參數(shù)集(pictureparameterset，pps)、視頻參數(shù)集(videoparameterset，vps)、應(yīng)用參數(shù)集(applicationparameterset、aps)、或條帶標頭(sliceheader)等。

以上揭露的引導(dǎo)交叉分量殘差預(yù)測可被應(yīng)用于ctu、lcu、cu等級、pu等級、或tu等級。

因此，指示是否應(yīng)用引導(dǎo)幀間分量殘差預(yù)測的旗標可被標識于ctu、lcu、cu、pu、子pu、或tu等級。此外，指示是否應(yīng)用引導(dǎo)幀間分量殘差預(yù)測的旗標可被標識于cu等級。然而，引導(dǎo)幀間分量殘差預(yù)測也可被應(yīng)用于pu、tu、或子pu等級。

分量x以及分量z可以從任何顏色空間中選擇。顏色空間可對應(yīng)于(y，u，v)、(y，cb，cr)、(r，g，b)、或其它顏色空間。例如，x可對應(yīng)于cb，且z可對應(yīng)于y。于另一示例中，x可對應(yīng)于cr，且z可對應(yīng)于y。于又一示例中，x可對應(yīng)于y，且z可對應(yīng)于cb。于又一示例中，x可對應(yīng)于y，且z可對應(yīng)于cr。于又一示例中，x可對應(yīng)于y，且z可對應(yīng)于cb以及cr。

引導(dǎo)幀間分量殘差預(yù)測方法可被應(yīng)用到不同的視頻格式，例如：yuv444、yuv420、yuv422、rgb、bgr等。

雖然如式子(1)所示的特定線性模型被舉例，但其它線性模型也可被應(yīng)用。在同位塊(co-locatedblock)的重建的相鄰樣本之外，重建的預(yù)測塊也可被用于參數(shù)估計。例如，重建的預(yù)測塊可對應(yīng)于幀間編碼、幀間視圖編碼、或幀內(nèi)塊復(fù)制編碼中的參考塊，其中，重建的預(yù)測塊表示根據(jù)幀間編碼中的對應(yīng)運動向量、幀間視圖編碼中的位移向量、或幀內(nèi)塊復(fù)制編碼中的塊向量定位的運動補償塊。

雖然使用基于最小二乘法的方法作為示例來估計參數(shù)，但也可采用其它參數(shù)估計方法。

在一個實施例中，不僅是α參數(shù)被使用，根據(jù)rc(x，y)＝rc’(x，y)+(α·r(x，y)+β)，β(也被稱為偏置)參數(shù)也被用于導(dǎo)出幀間分量殘差預(yù)測子，其中，r(x，y)可對應(yīng)于另一色度分量的重建殘差亮度分量、rl(x，y)、或重建的殘差塊。

當幀間分量殘差預(yù)測被使用時，參數(shù)β可于比特流中被傳送。當幀間分量殘差預(yù)測被使用時，可以使用一個或多個附加的旗標于比特流中傳送參數(shù)β。

在另一實施例中，所需參數(shù)可以從當前塊的重建的相鄰樣本、相鄰樣本的重建殘差、或預(yù)測樣本導(dǎo)出。

例如，于解碼器側(cè)，可根據(jù)(α，β)＝f(rnl，rncb)、(α，β)＝f(rnl，rncr)、或(α，β)＝f(rncb，rncr)使用當前塊的重建的相鄰樣本或相鄰樣本的重建殘差來導(dǎo)出參數(shù)，其中，rnl可以是重建的亮度相鄰樣本或亮度相鄰樣本的重建殘差，rncb可以是相鄰重建的第一色度分量樣本或第一色度分量樣本的相鄰重建殘差，且rncr可以是相鄰重建的第二色度分量樣本或第二色度分量樣本的相鄰重建殘差。圖4所示為根據(jù)本發(fā)明實施例的參數(shù)導(dǎo)出的示例，其中，(α，β)是基于塊440中的y分量410以及cr分量430的殘差來導(dǎo)出，且(α，β)是基于塊450的y分量410以及cb分量420的殘差來導(dǎo)出。

于另一示例中，于解碼器側(cè)，可根據(jù)(α，β)＝f(rpl，rpcb)，(α，β)＝f(rpl，rpc.)，或(α，β)＝f(rpcb，rpcr.)使用當前塊的預(yù)測像素(predictedpixel)來導(dǎo)出參數(shù)，其中，rpl對應(yīng)于預(yù)測亮度塊的樣本，rpcb對應(yīng)于預(yù)測cb塊的樣本，且rpcr對應(yīng)于預(yù)測cr塊的樣本。圖5所示為根據(jù)本發(fā)明實施例的參數(shù)導(dǎo)出530的示例，其中，(α，β)是基于塊510的預(yù)測y分量以及塊520的預(yù)測c(cr或cb)分量來導(dǎo)出。

于另一示例中，引導(dǎo)幀間分量殘差預(yù)測被應(yīng)用到非4∶4∶4視頻信號。亮度分量被降取樣(downsample)以與色度分量具有相同的分辨率，以用于參數(shù)導(dǎo)出以及預(yù)測子生成。

例如，當存在n個亮度樣本以及m(m＜n)個對應(yīng)的色度樣本時，進行一個降取樣操作來選擇或產(chǎn)生m個亮度樣本以用于參數(shù)導(dǎo)出的。

于參數(shù)導(dǎo)出過程的另一示例中，n個亮度樣本對應(yīng)于同位亮度塊的n個重建的相鄰亮度樣本，且m(m＜n)個色度樣本對應(yīng)于當前色度塊的m個重建的相鄰色度樣本?？墒褂靡粋€降取樣操作來選擇或產(chǎn)生m個亮度樣本以用于參數(shù)導(dǎo)出。

于參數(shù)導(dǎo)出過程的又一示例中，于降取樣n個亮度相鄰樣本以產(chǎn)生m(m等于n/2)個樣本的過程中，選擇每兩個亮度相鄰樣本的平均值。圖4中的示例對應(yīng)于降取樣n個亮度相鄰樣本以產(chǎn)生m(m等于n/2)個樣本的情形。

于參數(shù)導(dǎo)出過程的又一示例中，于降取樣n個預(yù)測亮度樣本以產(chǎn)生m(m等于n/2)個樣本的過程中，選擇每兩個垂直相鄰亮度樣本的平均值。

于參數(shù)導(dǎo)出過程的又一示例中，于降取樣n個預(yù)測亮度樣本以產(chǎn)生m(m等于n/4)個樣本的過程中，選擇每四個樣本群集540的左上以及左下樣本的平均值。圖5中的示例對應(yīng)于通過使用四個樣本群集的左上樣本以及左下樣本的平均值來降取樣n個預(yù)測亮度樣本以產(chǎn)生m(m等于n/4)個樣本的情形。

于另一示例中，當用于參考塊的總共n個亮度樣本中僅有m(m＜n)個待產(chǎn)生的預(yù)測樣本用于當前色度塊時，可以進行一次降取樣操作來選擇或產(chǎn)生m個亮度樣本以用于預(yù)測子生成。

在本發(fā)明的又一實施例中，對于參數(shù)導(dǎo)出過程或預(yù)測子生成過程，降取樣n個亮度樣本以產(chǎn)生m個樣本可以基于四個點平均、中心點(comer-point)選擇、或水平平均。圖6a至圖6c所示為根據(jù)本實施例的示例。于圖6a中，降取樣過程選擇亮度塊610的每四個樣本群集的左上角樣本來產(chǎn)生所希望的色度塊620的分辨率。圖6b所示為使用亮度塊630的每四個樣本群集的兩個上水平樣本(twoupperhorizontalsample)作為所選擇樣本以產(chǎn)生所希望的色度塊640的分辨率的示例。圖6c所示為使用亮度塊650的每四個樣本群集的四個點平均來作為所選擇樣本以產(chǎn)生所希望的色度塊660的分辨率的示例。

參數(shù)導(dǎo)出過程以及預(yù)測子生成過程可以使用相同的降取樣過程。

在又一實施例中，參數(shù)估計以及幀間分量殘差預(yù)測于pu或cu等級被應(yīng)用到當前色度塊。例如，幀間、幀間視圖、或幀內(nèi)塊復(fù)制編碼的cu中的每個pu或每個cu。

例如，幀間分量殘差預(yù)測模式旗標被傳送于pu或cu等級。于另一示例中，所使用的參數(shù)被傳送于pu或cu等級?？梢詫u或cu的所有(x，y)位置進行式子rc(x，y)＝rc′(x，y)+(α×r(x，y)+β)的殘差補償處理。

于另一示例中，用于幀內(nèi)cu的殘差預(yù)測仍然可以于tu等級進行。然而，對于幀間cu或幀內(nèi)塊復(fù)制cu，殘差預(yù)測是于cu或pu等級進行。

于又一示例中，標識于幀內(nèi)cu的模式旗標信號仍然于tu等級進行。然而，對于幀間或幀內(nèi)塊復(fù)制cu，模式旗標的標識是于cu或pu等級進行。

一個或多個語法元素可以被使用于vps、sps、pps、aps、或條帶標頭，以指示交叉分量殘差預(yù)測是否被啟用。

圖7所示為結(jié)合本發(fā)明實施例的用于引導(dǎo)交叉分量殘差預(yù)測的示范性流程圖。于步驟710中，系統(tǒng)接收分別用于當前塊的第一分量以及第二分量的第一預(yù)測數(shù)據(jù)以及第二預(yù)測數(shù)據(jù)。第一預(yù)測數(shù)據(jù)以及第二預(yù)測數(shù)據(jù)可從存儲器(例如，緩沖器(ram或dram)的計算機存儲器)中獲取。第一分量的重建的殘差還可從處理器(例如：處理單元或數(shù)字信號)中接收。于步驟720中，基于第一預(yù)測數(shù)據(jù)以及第二預(yù)測數(shù)據(jù)，確定交叉分量函數(shù)的一個或多個參數(shù)。交叉分量函數(shù)是關(guān)于第一分量以及第二分量，其中，第一分量作為交叉分量函數(shù)的輸入，且第二分量作為交叉分量函數(shù)的輸出。于步驟730中，使用以第一分量的第一重建殘差作為交叉分量函數(shù)的輸入的交叉分量函數(shù)來導(dǎo)出用于第二分量的第二殘差的殘差預(yù)測子。第二分量的第二殘差對應(yīng)于原始第二分量以及第二預(yù)測數(shù)據(jù)之間的第二差值。接著，于步驟740中，編碼或解碼第二分量的第二殘差與殘差預(yù)測子之間的預(yù)測差值。

結(jié)合本發(fā)明的實施例，以上所示的流程圖旨在說明用于視頻編碼器以及解碼器的引導(dǎo)幀間分量殘差預(yù)測的示例。本領(lǐng)域技術(shù)人員可以在不脫離本發(fā)明的精神實質(zhì)的情況下修改每個步驟，重新排列所述步驟，分割步驟，或合并步驟來實施本發(fā)明。

以上描述可使本領(lǐng)域的普通技術(shù)人員如特定應(yīng)用及其要求的上下文提供的來實踐本發(fā)明。對本領(lǐng)域技術(shù)人員來說，對所描述的實施例的各種修改是顯而易見的，且本文定義的一般原理可被應(yīng)用于其它實施例。因此，本發(fā)明并非意在限定于以上所示及所描述的特定實施例，而是要符合與此公開揭露的原理和新穎特征相一致的最寬范圍。在以上詳細描述中，各種具體細節(jié)被示出以便提供本發(fā)明的徹底理解。然而，本領(lǐng)域技術(shù)人員應(yīng)知曉本發(fā)明是可被實踐的。

如上所述，本發(fā)明的實施例可以由各種硬件，軟件代碼，或兩者的組合來實現(xiàn)。例如，本發(fā)明的實施例可以是被集成到視頻壓縮芯片的電路，或被集成于視頻壓縮軟件的程序代碼以執(zhí)行本文所描述的處理過程。本發(fā)明的實施例還可以是執(zhí)行于數(shù)字信號處理器上的程序代碼，以執(zhí)行本文所描述的處理過程。本發(fā)明還可包含由計算機處理器，數(shù)字信號處理器，微處理器，或現(xiàn)場可編程門陣列執(zhí)行的多個功能。根據(jù)本發(fā)明，通過執(zhí)行定義本發(fā)明所體現(xiàn)的特定方法的機器可讀軟件代碼或固件代碼，這些處理器可被配置為執(zhí)行特定任務(wù)。軟件代碼或固件代碼可被開發(fā)為不同的編程語言以及不同的格式或風(fēng)格。軟件代碼還可被編譯以用于不同的目標平臺。然而，根據(jù)本發(fā)明的不同的軟件代碼的代碼格式、風(fēng)格及語言，以及用于配置代碼以執(zhí)行任務(wù)的其他方式，均不會背離本發(fā)明的精神以及范圍。

在不脫離其精神或本質(zhì)特征的情況下，本發(fā)明可以其它特定形式來體現(xiàn)。所描述的示例在所考慮的所有的方面都只是說明性的而不是限制性的。因此，本發(fā)明的范圍是由其所附的權(quán)利要求來指示的，而不是由上文的描述來指示的。在權(quán)利要求的等效范圍及含義內(nèi)的所有改變均包含于本發(fā)明范圍之內(nèi)。