專利名稱：帶有大量圖象塊和參考圖象的圖象序列的編碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種給一序列帶有大量圖象塊的數(shù)字化圖象編碼的方法以及一種相應的譯碼方法。此外，本發(fā)明還涉及相應的編碼和譯碼裝置。
現(xiàn)實的視頻編碼標準(例如參見文獻(1))使圖象序列的編碼成為可能，此時應用于移動估計的宏圖象塊通過內(nèi)編碼(Intra-Codierungen)進行更新。因此，避免在傳輸誤差時在圖象序列中的誤差傳播。能以有規(guī)則的間隔或基于預先規(guī)定的規(guī)范來進行借助于內(nèi)編碼的更新。此外，在現(xiàn)實的視頻編碼方法中能使用中間編碼(Inter-Codierungen)，它們返回來又與多個以前編碼的參考圖象有關(guān)。然而，有關(guān)容易出錯的網(wǎng)絡，還沒有用中間編碼和內(nèi)更新使有效的視頻編碼成為可能的機理。
因此本發(fā)明的任務是，提供一種給一序列數(shù)字化圖象編碼的方法，該方法應用大量內(nèi)和中間編碼模式及多個參考圖像，并確保在容易出錯的網(wǎng)絡中對數(shù)字化的圖象的可靠的重建。
該任務按照獨立權(quán)利要求的特征部分來解決。本發(fā)明的擴展方案由從屬權(quán)利要求給出。
在本發(fā)明的編碼方法中，將一序列帶有大量圖象塊的數(shù)字化圖象編碼，此時將一部分圖象的圖象塊與預先規(guī)定的規(guī)范有關(guān)地以第一內(nèi)編碼模式進行編碼。此外，將一部分圖象的圖象塊以第二內(nèi)編碼模式或以一個中間編碼模式編碼，此時關(guān)于由以前編碼的該序列的參考圖象的參考圖象塊，以中間編碼模式對圖象塊進行移動估計。在進行移動估計時，在本發(fā)明的方法中只應用參考圖象塊，這些圖象塊在參考圖象編碼后不以第一內(nèi)編碼模式編碼。因此，要避免在中間編碼時涉及在下面至少有一部分要進行內(nèi)編碼的參考圖象范圍。尤其是如果出自誤差不敏感性原因，在有誤差的傳輸時為避免誤差傳播，以第一內(nèi)編碼模式進行編碼，因此要保證不涉及有誤差傳輸?shù)膱D象范圍。這樣，就確保在容易出錯的網(wǎng)絡中的高效和同時是誤差不敏感性的編碼。
在本發(fā)明的一個實施方案中，以有規(guī)則的時間間隔進行以第一內(nèi)編碼模式的編碼。另外，能以隨機的時間間隔重復進行以第一內(nèi)編碼模式的編碼。
在另一個發(fā)展方案中，出自編碼效率原因，進行以第二內(nèi)編碼模式或以中間編碼模式的編碼。此時，如果在圖象序列中的一個目標只是暫時出現(xiàn)在一些圖象中，特別要關(guān)注基于編碼效率原因的一個內(nèi)編碼。
在本發(fā)明的一個特別優(yōu)選的實施方案中，對于所有在第一編碼過程中以內(nèi)編碼模式編碼的圖象塊，在進行第二編碼過程之前，要從編碼模式集合(Menge)中選出為圖象塊編碼要應用的編碼模式。這樣，就能確定一個最佳的編碼模式。
為了確定最佳編碼模式，尤其能規(guī)定速率失真規(guī)范(＝Rate-Distortion-Kriterien)，此時第二內(nèi)編碼模式或中間編碼模式的選擇與速率失真規(guī)范有關(guān)。速率失真規(guī)范的應用，從現(xiàn)有技術(shù)上已經(jīng)十分熟悉，例如在文獻(3)和(4)中有說明。
在本發(fā)明的一個優(yōu)選的實施方案中，將速率失真規(guī)范與在傳輸編碼的圖象時與所期望的誤差速率(Fehlerrate)有關(guān)進行確定。在這種情況，尤其是為了確定這些規(guī)范，要計算圖象的像素值失真。像素值的失真主要包括編碼前的像素值與相應的被譯碼的像素值之間平方差之和。因為在編碼時的失真通常是未知的，在一個特別優(yōu)選的實施方案中，存在對失真進行評估的可能性。
除了上面說明的編碼方法外，本發(fā)明還涉及為一序列數(shù)字化的圖象譯碼的相應方法，該方法的設計要使得可對用本發(fā)明編碼方法編碼的數(shù)字化圖象序列進行譯碼。在譯碼方法的一個優(yōu)選實施方案中，譯碼時應用誤差掩飾。
除了上述編碼和譯碼方法外，本發(fā)明還涉及用于數(shù)字化圖象編碼和譯碼的一種組合方法，在該方法中將上述的編碼方法和譯碼方法組合。此外，本發(fā)明涉及用于一序列數(shù)字化圖象編碼的一種裝置，該裝置的設計可實施上述本發(fā)明的編碼方法。本發(fā)明還包括一種用于數(shù)字化圖象譯碼的相應的裝置，該裝置的設計可實施上述的譯碼方法。
此外，本發(fā)明還涉及一種用于數(shù)字化圖象編碼和譯碼的組合裝置，該裝置包括在前面提到的用于數(shù)字化圖象編碼和譯碼的裝置。
本發(fā)明的實施例在下面用


。
這些附圖是
圖1示出一序列被譯碼的圖象片段，該圖象事先用一種現(xiàn)有技術(shù)的方法編碼；圖2示出與圖1相應的一序列被譯碼的圖象片段，該圖象事先用本發(fā)明的方法編碼。
將在圖1中示出的圖象序列用在文獻(1)中說明的編碼器編碼，該編碼器以有規(guī)則的間隔以內(nèi)編碼模式進行內(nèi)修改，為的是避免圖象序列在有誤差的傳輸情況在譯碼器中的誤差傳播。內(nèi)修改相應在第一內(nèi)編碼模式中按照權(quán)利要求術(shù)語的編碼。
圖象序列的傳輸經(jīng)因特網(wǎng)測試碼格式進行，它們在文獻(2)中有說明。圖象序列在這種情況是以數(shù)據(jù)包傳輸，數(shù)據(jù)包由兩行圖象塊組成。圖象塊在下面是所謂的宏圖象塊，它們的移動在中間編碼時借助于運動矢量確定。圖1示出的圖象序列編碼用的編碼方法，還包括權(quán)利要求術(shù)語含義中的第二內(nèi)編碼模式和中間編碼模式。在中間編碼模式中，與最大五個參考圖象塊有關(guān)進行移動估計。
圖象序列的片段示出這個序列的圖象Nr.9至Nr.12。為了較好地表示圖象序列，還要應用借助于灰度值的簡單的誤差掩飾。在傳輸圖象序列時，在序列的第一圖象中丟失了一個包。這個傳輸誤差在序列的圖象Nr.9中還可看到，就像在圖1的圖象Nr.9中通過水平條紋看到的那樣。在圖象Nr.10中，進行了圖象塊的一部分的內(nèi)修改，使圖象Nr.10中一部分有誤差的圖象范圍消失。在圖象Nr.11中，借助于參考圖象進行中間編碼，此時參考圖象時間上位于圖象Nr.10之前，因而不包含內(nèi)修改。因此，大部分有誤差的范圍又顯現(xiàn)在圖象Nr.11中。相同的現(xiàn)象出現(xiàn)在圖象Nr.12中。通過該現(xiàn)象不僅客觀上將圖象中的失真提高，而且在圖象中的效果從主觀上感覺也是很有妨害的。
上面所述的圖象故障要追溯到，在為圖1的序列所應用的編碼時，將第一內(nèi)編碼與多次應用參考圖象的中間編碼連接。通過在有誤差的傳輸時不返回到反復的參考圖象上去存取，能避免出現(xiàn)這些故障，然而這要明顯降低壓縮的效率。
為了最大限度地避免上述故障，用本發(fā)明的編碼方法對參考圖象進行如下的限制，即在中間編碼時只應用那些在參考圖象編碼后不進行內(nèi)修改的參考圖象塊。本發(fā)明方法的結(jié)果示于圖2中。圖2示出的是與圖1相同的圖象序列，區(qū)別在于應用了本發(fā)明的編碼方法?？梢钥闯?，圖象故障在圖象Nr.11和Nr.12中消失。這是因為，在中間編碼時沒有導致有誤差地傳輸給編碼器的參考圖象。通過本發(fā)明方法產(chǎn)生的位速率增加相對減緩，大約在5％。
下面詳細闡述本發(fā)明示例性的實施例。在本發(fā)明方法的一個實施例中，從可能的中間編碼模式Mp的集合中為每個宏塊編碼模式m和從可供使用的參考圖象R的集合中為每個參考圖象R，從移動矢量v(m)的集合中為移動補償選出最佳移動矢量v(m，r)。選擇是按照速率失真規(guī)范進行的。速率失真規(guī)范數(shù)學上可以如下表示v(m,r)=argminv∈V(m)(DDFD(m,r,v)+λmotionRmotion(m,r,v))---(1)]]>其中DDFD(m，r，v)是移動補償后的失真，Rmotion(m，r，v)包括位的數(shù)量，這些位對于各自移動矢量的編碼是必要的。在函數(shù)((DDFD(m，r，v)+λmotionRmotion(m，r，v)中，涉及的是所謂拉格朗日成本函數(shù)，它包括拉格朗日乘數(shù)λmotion。將該函數(shù)最小化，由此求出關(guān)于失真和移動矢量存儲需求的最佳移動矢量。這樣，作為第一結(jié)果，為每個參考圖象r和每個宏塊編碼模式m得到最佳化的移動矢量v(m，r)。
在下一個步驟，將由中間編碼模式Mp和參考圖象R組成的集合的組合和參考圖象r分開，這樣將限制移動矢量的數(shù)量，在參考圖象情況下，由圖象范圍來參考，它們在以后例如出自誤差不敏感性原因要進行內(nèi)修改。這樣，為移動矢量得到可能數(shù)值m和r的數(shù)量Op，有如下內(nèi)容Op＝{(m，r)∈{Mp，R}|smin fi(v(m，r)，f，k)≥r}，(2)其中k＝1，...，K是圖象塊的編號；f是矢量{f1，....，fk}，變量fi是為第i個圖象塊給出的參考圖象編號的數(shù)，為該參考圖象要進行最后的內(nèi)修改；sminfi(v(m，r)，f，k)是一個運算，它與v(m，r)和f有關(guān)為圖象塊求出參考圖象的編號，該參考圖象基于參考圖象的限制是最后允許的參考圖象。
如果出現(xiàn)最后允許的參考圖象的編號大于參考圖象的編號r，涉及的是一個組合(m，r)，其參考圖象在通過本發(fā)明的方法限制的參考圖象量之內(nèi)。如果最后允許的參考圖象小于參考圖象r，則將相應的組合(m，r)屏棄。
將由上述步驟得出的參考圖象和中間編碼模式m的限制數(shù)量Op，與在本發(fā)明的方法中可應用的內(nèi)編碼模式MI的數(shù)量進行組合，并由結(jié)合在一起的數(shù)量O＝{MI，Op}再借助于速率失真規(guī)范為每個宏塊k求出最佳化的編碼模式O(k)。如果被迫將這個宏塊進行內(nèi)編碼，例如通過正規(guī)的或隨機的內(nèi)修改，則將O的數(shù)量只限制在內(nèi)模式，即O＝MI。當然，在這種情況也能將Op的確定去掉。數(shù)學上又可以將速率失真規(guī)范作為一個拉格朗日成本函數(shù)的最小化問題來表達o(k)=argmino∈O(D(o)+λmotionR(o)),---(3)]]>其中R(o)說明位的數(shù)目，以便將圖象塊以編碼模式o編碼，D(o)代表這個編碼模式的失真。
如果在本發(fā)明的方法中進行有規(guī)則的或隨機的內(nèi)編碼模式，失真作為最初圖象塊與譯碼后得到的圖象塊之間平方差之和產(chǎn)生。如果內(nèi)修改是在后面說明的誤差最佳化的信道適配編碼的基礎(chǔ)上進行，失真作為譯碼器上失真的期望值產(chǎn)生。
在下一個步驟中，還必須查明，是否內(nèi)編碼的圖象塊是由于誤差不敏感性原因為了避免誤差傳播或出自編碼效率原因而進行內(nèi)編碼的。尤其如果目標在圖象序列中只是暫時出現(xiàn)，才會有出自編碼效率原因的內(nèi)編碼。在出自編碼效率原因的內(nèi)編碼時，不希望有個參考圖象限制。為了求出內(nèi)編碼的原因，要再一次按照公式(3)進行速率失真最佳化，但是此時總是應用整個數(shù)量O＝{MI，Op}和作為最初圖象塊與譯碼后得到的圖象塊之間平方差之和作為失真尺度。最佳化的結(jié)果用 表示。隨后置入誤差不敏感性標志ek，其中ek＝δo(k)≠o(k)和δ條件是Kronecker符號，如果條件滿足它等于1，否則其數(shù)值為0。這樣，如果標志置1，就進行了出自誤差不敏感性原因的內(nèi)編碼。
如果處理了圖象的所有圖象塊，則將矢量f為所有的項fk更新，為它們將誤差不敏感性標志ek置到1。因此避免將這種出自編碼效率原因進行的內(nèi)編碼的參考圖象限制，從而物體的出現(xiàn)和消失可通過借助于多個參考圖象的編碼有效地進行。
在下面闡述本發(fā)明方法的一個實施方案，此時進行以速率失真規(guī)范為基礎(chǔ)的信道適配參考圖象選擇。為此，需要評估譯碼器的失真D(o)。評估這個失真的可能性，例如從文獻(5)、(6)和(7)得知。求出失真的可能性是包括在評估失真時將隨機的信道性能C。傳輸圖象n后的信道性能C在此是通過二進制序列{0，1}p(n)給出，其中p(n)是傳輸?shù)陌臄?shù)目，為了傳輸圖象1至n需要這些包。序列中的0，在此表示一個正確接收的包，而1表示丟失的包。將說明二進制序列直至圖象n的隨機變量用Cp(n)表示。譯碼器上的像素失真取決于譯碼器上改造過的像素值，用i表示，它對于進行編碼的編碼器是未知的。像素失真取決于信道性能C和選擇的編碼模式o，就是說i＝i(Cp(n)，o)。將失真作為所有宏塊i的平方像素失真di(o)期望值之和來評估，此時假設信道性能Cp(n)對于編碼器是已知的。為宏塊i的像素失真di(o)得出di(o)=ECp(n-1)|si-s^i(Cp(n-1),o)|2,---(4)]]>其中ECp(n-1)表示原始像素值和經(jīng)過信道Cp(n-1)求出的改造過的像素值平方差之期望值。
為了計算期望值，能應用下面的簡單方法。假設在編碼器中有T個隨機變量“信道性能”的復制件供使用。這些復制件稱作為Cp(n)(t)，t＝1，...，T。此外假設，所有隨機變量Cp(n)(t)都相同，并在統(tǒng)計上獨立分布。因而，對于T→∞時，按照大數(shù)量的強定律得到1TΣi=1T|si-s^i(Cp(n)(t),o)|2=Ecp(n)|si-s^i(Cp(n),o)|2=di(o),(5)]]>用左邊的表達式就能評估期望值di(o)，并在下一個步驟中計算所期望的失真Di(o)。像素值的改造取決于信道各種Cp(n-1)(t)以及譯碼器中的掩飾。通過最后說到的公式能在編碼器中評估出，在譯碼器中的失真究竟有多強。
參考文獻[1]G.Bjontegaard，T.Wiegand，″H.26L Test Model LongTerm Number 8(TML-8) draft 0.″， ITU-T VCEG，Doc.VCEG-N10，September 2001[2]S. Wenger，″Common Conditions for the Intwrnet/H.323Case″，ITU-T VCEG(SG16/Q15)，Doc.Q15-I-61，NinthMeeting，Red Bank，NJ，October 1999[3]T. Stockhammer，T.Oelbaum，D. Marpe，and T.Wiegand，″ H.26L Simulation Results for Common Conditions forH.323/Internet Case″，ITU-T VCEG(SG16/Q6)，Doc.VCEG-N50，F(xiàn)ourteenth Meeting，Santa Barbara，CA，Sep-tember 2001.G.J.Sullivan and T.Wiegand，″Rate-Distortion Opti-mization for Video Compression″，IEEE Signal Process-ing Magazine，vol.15，no.6，pp.74-90，Nov. 1998.R.Zhang，S.L.Regunathan，and K.Rose，″Video Cod-ing with Optimal Inter/Intra-Mode Switching forPacket Loss Resilience″，IEEE JSAC，vol.18，no.6，pp.966-976.G.Cote，S.Shirani，F(xiàn). Kossentini，″Optimal Mode Se-lection and Synchronization for Robust Video Communi-cations over Error-Prone networks″，IEEE JSAC，vol.18，no.6，pp.952-965.T.Wiegand，N.Frber，K.Stuhlmüller，and B.Girod，-″Error-Resilient Video Transmission Using Long-TermMemory Motion-Compensated Prediction″，in IEEE JSAC，vol.18，no.6，pp.1050-1062.
權(quán)利要求
1.給一序列帶有大量圖象塊的數(shù)字化圖象的編碼方法，其中-圖象一部分的圖象塊與預先規(guī)定的規(guī)范有關(guān)地以第一內(nèi)編碼模式進行編碼；-將圖象一部分的圖象塊以第二內(nèi)編碼模式或以中間編碼模式編碼，其中以參考圖象塊為參數(shù)，由以前編碼的序列的參考圖象以中間編碼模式對圖象塊進行移動估計；-在進行移動估計時，只應用參考圖象塊，這些圖象塊在參考圖象編碼后不以第一內(nèi)編碼模式編碼。
2.如權(quán)利要求1的方法，其中為了實施以第一內(nèi)編碼模式編碼的預先規(guī)定的規(guī)范是與編碼圖象的有錯誤傳輸相關(guān)的誤差不敏感性規(guī)范。
3.如權(quán)利要求1或2的方法，其中以有規(guī)則的時間間隔進行以第一內(nèi)編碼模式的編碼。
4.如權(quán)利要求1或2的方法，其中以隨機的時間間隔進行以第一內(nèi)編碼模式的編碼。
5.如上述權(quán)利要求之一的方法，其中出自編碼效率原因，進行以第二內(nèi)編碼模式或以中間編碼模式的編碼。
6.如上述權(quán)利要求之一的方法，其中對于所有在第一編碼過程中以內(nèi)編碼模式編碼的圖象塊，在進行第二編碼過程之前，從編碼模式集合中選出為圖象塊編碼要應用的編碼模式。
7.如權(quán)利要求6的方法，其中確定速率失真規(guī)范并與速率失真規(guī)范有關(guān)地選擇第二內(nèi)編碼模式或中間編碼模式。
8.如上述權(quán)利要求之一的方法，其中確定速率失真規(guī)范與在傳輸已編碼的圖象時所期望的誤差速率有關(guān)。
9.如權(quán)利要求7或8的方法，其中為了確定速率失真規(guī)范，要計算圖象的像素值失真。
10.如權(quán)利要求9的方法，其中像素值的失真包括編碼前的像素值與相應的被譯碼的像素值之間平方差之和。
11.如權(quán)利要求9或10的方法，其中要評估失真。
12.用于一序列數(shù)字化圖象譯碼的方法，其中，該方法的設計使得以上述權(quán)利要求之一方法編碼的數(shù)字化圖象序列進行譯碼。
13.如權(quán)利要求12的方法，其中在被譯碼的圖象中進行誤差掩飾。
14.用于數(shù)字化圖象的編碼和譯碼的方法，包括如權(quán)利要求1至11之一的方法和如權(quán)利要求12或13的方法。
15.用于給一序列數(shù)字化圖象編碼的裝置，其中，裝置的設計使得可實施如權(quán)利要求1至11之一的方法。
16.用于數(shù)字化圖象譯碼的裝置，其中，裝置的設計使得可實施如權(quán)利要求12或13的方法。
17.用于數(shù)字化圖象編碼和譯碼的裝置，包括如權(quán)利要求14的裝置和如權(quán)利要求16的裝置。
全文摘要
在一個編碼方法中，將一序列帶有大量圖象塊的數(shù)字化圖象編碼，其中將一部分圖象的圖象塊與預先規(guī)定的準則相關(guān)地以第一內(nèi)編碼模式進行編碼。此外，將一部分圖象的圖象塊以第二內(nèi)編碼模式或以中間編碼模式編碼，其中參照參考圖象塊，由以前編碼的序列的參考圖象以中間編碼模式對圖象塊進行移動估計。在進行移動估計時，只應用參考圖象塊，這些圖象塊在參考圖象編碼后不曾以第一內(nèi)編碼模式編碼。
文檔編號H04N7/32GK1656819SQ03802678
公開日2005年8月17日 申請日期2003年1月23日 優(yōu)先權(quán)日2002年1月23日
發(fā)明者G·貝斯, D·康托波迪斯, J·潘德爾, T·施托克哈默 申請人:西門子公司