專利名稱：編碼失真消除方法、視頻編碼方法、視頻解碼方法、裝置及其程序的制作方法
技術(shù)領(lǐng)場本發(fā)明涉及用來消除編碼視頻信號時(shí)發(fā)生的編碼失真的編碼失真消除方法，利用該編碼失真消除方法增加壓縮率的編碼方法和解碼方法，以及用來存儲用軟件實(shí)現(xiàn)這些方法的程序的數(shù)據(jù)記錄介質(zhì)。
背景技術(shù)：
通過將數(shù)字技術(shù)與多種音頻、視頻、和其它種類的像素流結(jié)合成單一傳輸流的先進(jìn)技術(shù)，傳統(tǒng)的信息媒介，即，與公眾交流信息的方式，如報(bào)紙、雜志、電視、電臺和電話現(xiàn)在可以用作多媒體通信?！岸嗝襟w”通常是指在單一傳輸流中鏈接在一起的文本、圖形、音頻和視頻，但是傳統(tǒng)的信息媒介必須先進(jìn)行數(shù)字化才能夠用多媒體的格式來處理信息。
當(dāng)轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)時(shí)，存儲傳統(tǒng)信息媒介所攜帶的信息所需的存儲容量估計(jì)對于文本來說每個字符只需要1或2個字節(jié)，而對于1秒鐘電話質(zhì)量的音頻需要64kbits，對于1秒鐘具有當(dāng)前電視接收機(jī)質(zhì)量的視頻需要100Mbits。因此，以數(shù)字形式在上述信息媒介上處理這些大信息量不太實(shí)際。例如，可視電話業(yè)務(wù)可以使用具有64Kbps到1.5Mbps傳輸速率的ISDN(綜合業(yè)務(wù)數(shù)字網(wǎng))線路，而電視攝像機(jī)等級的視頻就不能通過ISDN線路來發(fā)送。
因此數(shù)據(jù)壓縮變得很重要。例如，可視電話業(yè)務(wù)是利用ITU-T(國際電信聯(lián)盟，電信標(biāo)準(zhǔn)化段)的建議書H.261和H.263推薦的國際標(biāo)準(zhǔn)的視頻壓縮技術(shù)實(shí)現(xiàn)可視電話業(yè)務(wù)的。利用MPEG-1規(guī)定的數(shù)據(jù)壓縮方法，視頻信息可以與音頻一起記錄在常規(guī)的音頻CD(密致盤)上。
MPEG(運(yùn)動圖像專家組)是用來數(shù)字地壓縮運(yùn)動圖像信號(視頻)的國際標(biāo)準(zhǔn)。MPEG-1能夠?qū)⒁曨l信號壓縮到1.5Mbps，即，壓縮電視信號中的信息大約為100∶1。另外，因?yàn)镸PEG-1視頻的傳輸速率被限制在大約1.5Mbps，為滿足更高圖像質(zhì)量要求而標(biāo)準(zhǔn)化的MPEG-2能夠?qū)⑦\(yùn)動圖像信號壓縮到2Mbps到15Mbps。
具有更高壓縮率的MPEG-4已經(jīng)由工作組(ISO/IECJTC1/SC29/WG11)制定為比MPEG-1和MPEG-2更先進(jìn)的標(biāo)準(zhǔn)。MPEG-4不僅能夠降低比特率，提高編碼效率，而且還引入了即使在傳輸路徑發(fā)生錯誤時(shí)也能夠降低主觀圖像惡化的強(qiáng)大的錯誤阻止技術(shù)。ITU-T還正在致力于將建議書H.26L作為下一代圖像編碼方法的標(biāo)準(zhǔn)。
與常規(guī)的視頻編碼技術(shù)不同，H.26L使用伴隨有復(fù)雜處理過程的編碼失真消除方法來消除編碼失真。利用象廣泛用于視頻編碼的DCT技術(shù)的正交變換的塊單元編碼方法能夠解決編碼塊邊界塊失真的網(wǎng)格類失真。因?yàn)樵诘皖l分量損失的圖像質(zhì)量比在高頻分量損失的圖像質(zhì)量明顯，所以在塊單元編碼中對低頻分量的編碼比高頻分量更可靠。此外，因?yàn)橛烧障鄼C(jī)捕捉到的自然圖像包含的低頻分量多于高頻分量，所以編碼塊包含的低頻分量比高頻分量多。因此，編碼塊實(shí)際上往往不包含高頻分量，并且塊中相鄰像素實(shí)際上往往具有相同的像素值。
此外，由于編碼是以塊為單位的，因此不能保證相鄰塊邊界具有相同的像素值，就是說，即使像素值在每個塊中是相同的，像素值在穿過塊邊界時(shí)會不斷變化。結(jié)果就是，如圖31中所示的編碼失真消除的概念，當(dāng)像素中的變化在跨越如圖31(a)所示的虛線表示的塊邊界的源圖像中是平滑且連續(xù)，并且通過塊單元對源圖像編碼后，像素值在如圖31(b)所示的每個塊中連續(xù)變化，產(chǎn)生塊失真，即，只在塊邊界的像素值中的不連續(xù)性。塊失真是圖像編碼導(dǎo)致的明顯的圖像質(zhì)量問題，但是可以通過糾正使像素在穿過圖31(c)所示的塊邊界時(shí)連續(xù)來減小塊失真。這個減小塊失真的過程被稱作編碼失真消除(也稱作“去塊”)。
當(dāng)在視頻解碼階段采用“去塊”時(shí)，可以使用去塊濾波器作為如圖32中利用常規(guī)解碼方法的視頻解碼器方框圖中所示的后置濾波器，或者可以用作如圖33中利用常規(guī)解碼方法的視頻解碼器方框圖中所示的環(huán)路(in-loop)濾波器。下面將描述這些方框圖中所示的配置。
在圖32所示的利用常規(guī)解碼方法的視頻解碼器的方框圖中，可變長度解碼器52對編碼后的信號Str進(jìn)行可變長度的解碼并且輸出頻率編碼分量DCoef。去Z字形掃描單元54重新排列二維塊中頻率編碼分量DCoef的頻率分量，并且輸出頻率分量FCoef、塊單元頻率分量。反余弦變換單元56對頻率分量Fcoef進(jìn)行去量化和反DCT操作，然后輸出差分(difference)圖像DifCoef。
運(yùn)動補(bǔ)償器60從存儲器64中累加的參考圖像Ref中輸出由外部輸入運(yùn)動矢量MV表示的位置上的像素作為運(yùn)動補(bǔ)償圖像MCpel。加法器58將差分圖像DifCoef和運(yùn)動補(bǔ)償圖像Mcpel相加，以輸出重構(gòu)的圖像Coef。去塊濾波器62編碼失真消除應(yīng)用于重構(gòu)圖像Coef，并輸出解碼的圖像信號Vout。重構(gòu)的圖像Coef存儲在存儲器64中，并且用作下一個圖像解碼的參考圖像Ref。
圖33中利用常規(guī)解碼方法的視頻解碼器的方框圖與圖32所示的視頻解碼器的方框圖基本相同，不同之處在于去塊濾波器62的位置。如從圖33得知的，從去塊濾波器62輸出的已解碼圖像信號Vout存儲在存儲器64中。
圖32中利用常規(guī)解碼方法的視頻解碼器的方框圖示出了MPEG-1、MPEG-2、MPEG-4和H.263中使用的配置和方法。圖33中利用常規(guī)解碼方法的視頻解碼器的方框圖示出了用于H.261和H.26L TM8的配置和方法。
對于圖32中的利用常規(guī)解碼方法的視頻解碼器的方框圖，存儲在存儲器64中的重構(gòu)圖像Coef不依賴于去塊濾波器62所采用的方法。這樣允許開發(fā)和實(shí)現(xiàn)各種去塊濾波器62，根據(jù)可用硬件和指定應(yīng)用的性能包括復(fù)數(shù)高性能濾波器和效果相對較差的簡單濾波器。它的優(yōu)點(diǎn)在于可使用適合于該設(shè)備的去塊濾波器62。
對于圖33中的利用常規(guī)解碼方法的視頻解碼器的方框圖，存儲在存儲器64中的已解碼圖像信號Vout取決于去塊濾波器62采用的方法。這里的問題終于濾波器不能為適應(yīng)硬件或應(yīng)用程序而改變，但是它的優(yōu)點(diǎn)在于在每個設(shè)備中能夠保證相同等級的編碼失真消除。
圖34是利用常規(guī)編碼失真消除方法的編碼失真消除單元的方框圖。圖34示出了圖32和圖33中去塊濾波器62的詳細(xì)配置。為了有效地從包含編碼失真的圖像信號中只消除編碼失真，關(guān)鍵是確定圖像信號中編碼失真的量和趨勢，然后采用合適的濾波以便不降低實(shí)際的圖像質(zhì)量。
因?yàn)楦哳l分量是導(dǎo)致許多編碼失真的原因，所以編碼失真消除背后的通用概念是調(diào)查圖像信號來確定圖像信號中高頻分量的比例，識別圖像信號像素中通常被認(rèn)為不包含作為編碼失真的高頻分量的高頻分量，然后對編碼失真采用高頻分量抑制濾波。因?yàn)閳D像信號中相鄰像素之間存在很高的相關(guān)性，所以包含高頻分量的像素集中在邊緣區(qū)域，因此，可以認(rèn)為分散的高頻分量為編碼失真。
去塊濾波器62是本發(fā)明的發(fā)明者根據(jù)ITU-T建議書H.26L TML8中內(nèi)容創(chuàng)造的。
濾波像素計(jì)數(shù)控制器84利用重構(gòu)圖像Coef來確定包含編碼失真的像素位置，然后輸出濾波后的像素計(jì)數(shù)FtrPel。濾波器系數(shù)控制器86利用濾波像素計(jì)數(shù)FtrPel和重構(gòu)圖像Coef來確定適合從指示的像素中消除編碼失真的濾波器系數(shù)(包括濾波器抽頭數(shù)量)，然后輸出濾波器系數(shù)FtrTap。濾波處理器88利用濾波器系數(shù)FtrTap指示的濾波器系數(shù)進(jìn)行濾波，以便從重構(gòu)圖像Coef中消除編碼失真，并輸出解碼后的圖像信號Vout。

發(fā)明內(nèi)容
上述常規(guī)的編碼失真消除方法在消除編碼失真時(shí)特別有效，但是過程極其復(fù)雜并且難以實(shí)現(xiàn)。
另一個問題是每個單位時(shí)間的數(shù)據(jù)處理量很大。
另外，無論該編碼失真消除方法多么有效，但是如果沒有其它附加信息它也無法精確地區(qū)分圖像信號和編碼失真，因此，存在著編碼失真消除會降低圖像質(zhì)量的可能性。這個問題對如圖33中利用常規(guī)解碼方法的視頻解碼器的方框圖中所示的配置尤為嚴(yán)重，這是因?yàn)槿K的結(jié)果被用作參考圖像，并因此影響對每個后續(xù)圖面編碼的結(jié)果。
因此，本發(fā)明的一個目的是提供一種簡便的編碼失真消除法。
另一個目的是提供編碼失真消除方法、編碼方法和解碼方法，由此可通過應(yīng)用高性能編碼失真消除，以作為消除編碼失真結(jié)果的圖像信號質(zhì)量降低的可能性比現(xiàn)有技術(shù)小來減小圖像信號質(zhì)量降低的可能性。
為獲得這個目的，根據(jù)本發(fā)明用來從畫面中消除編碼失真的編碼失真消除方法使用不同的方法來消除運(yùn)動補(bǔ)償單元邊界與編碼單元邊界匹配的邊界，以及當(dāng)運(yùn)動補(bǔ)償塊的大小大于編碼塊大小時(shí)，取決于該邊界是否為運(yùn)動補(bǔ)償塊的邊界的編碼失真。
由于在運(yùn)動補(bǔ)償單元邊界處的編碼失真在質(zhì)量上不同于在編碼單元邊界處的編碼失真，因此可以通過根據(jù)單元來改變用于去塊的濾波器來有效地從包含編碼失真的圖像信號中消除編碼失真。
此外，當(dāng)編碼后的運(yùn)動補(bǔ)償錯誤為0時(shí)，最好只在運(yùn)動補(bǔ)償塊邊界消除編碼失真。
本發(fā)明的另一個方面是通過從包含編碼失真的畫面中提取畫面參數(shù)的步驟從畫面中消除編碼失真的編碼失真消除方法；第一步是利用畫面參數(shù)識別要執(zhí)行編碼失真消除的像素；第二步是利用畫面參數(shù)識別要使用的編碼失真消除的方法；第三步是利用由第二步識別的編碼失真消除方法從第一步中識別的像素中消除編碼失真。
通過首先計(jì)算可以在識別要從其消除編碼失真的像素的第一步和識別用于消除編碼失真的方法的第二步中使用的畫面參數(shù)，可利用這些公共畫面參數(shù)簡化第一步和第二步中執(zhí)行的操作，并且可以減少編碼失真消除方法的處理過程而不降低圖像質(zhì)量。
本發(fā)明的另一個方面是用來從畫面消除編碼失真的編碼失真消除方法，由此通過基于塊進(jìn)行的是否以塊為單位消除編碼失真的確定，和針對由基于塊進(jìn)行的確定要消除的確定的塊中的每個像素，基于像素進(jìn)行是否消除編碼失真的確定來識別要進(jìn)行編碼失真消除處理的像素。
通過首先以塊為單位確定是否需要進(jìn)行編碼失真消除，可以省略對那些塊中不需要去塊的像素單元進(jìn)行評估，因此可減少由編碼失真消除方法執(zhí)行的處理。如果使用圖像編碼信息，可以很容易確定不需要去塊的塊(例如，像素與參考圖像完全匹配的靜態(tài)圖像塊)。
本發(fā)明的再一個方面是一種用于對位于具有形成運(yùn)動畫面圖像的多個塊的畫面中的第一個塊和相鄰的第二個塊之間的塊邊界兩側(cè)的區(qū)域中進(jìn)行消除編碼失真的編碼失真消除方法。該方法具有比較步驟，用于將第一個塊的像素值和第二個塊的像素中的像素值的差值與用來確定消除編碼失真方法的參數(shù)比較，該參數(shù)對應(yīng)于第一個塊的量化參數(shù)和第二個塊的量化參數(shù)的平均值；消除步驟，用于根據(jù)比較步驟的結(jié)果來消除編碼失真。
這樣當(dāng)在不同量化參數(shù)之間的塊邊界在編碼失真消除過程中對塊邊界的兩側(cè)進(jìn)行濾波時(shí)能夠使用相鄰塊的量化參數(shù)的平均值。
另一個用于消除位于具有形成運(yùn)動畫面圖像的多個塊的畫面中的第一個塊和相鄰的第二個塊之間的邊界線兩側(cè)的區(qū)域中的編碼失真的編碼失真消除方法具有當(dāng)消除編碼失真時(shí)對參數(shù)進(jìn)行解碼來設(shè)置閾值的解碼步驟；將第一個塊的像素中的像素值和第二個塊的像素中的像素值的差值與基于解碼參數(shù)的指定閾值進(jìn)行比較的比較步驟；以及根據(jù)比較步驟的結(jié)果切換消除編碼失真的方法的消除步驟。
這樣通過向每一個已編碼信號疊加用于編碼失真消除的閾值參數(shù)，然后在編碼失真消除之前檢測適合于每個已編碼信號的閾值并利用它消除編碼失真，可以有效地從包含編碼失真的圖像信號中消除編碼失真。
最好，運(yùn)動畫面包含由多個塊組成的片(slice)；并且參數(shù)存儲在通過對運(yùn)動畫面的圖像數(shù)據(jù)編碼獲得的碼流中的片頭信息中。
本發(fā)明的再一個方面是通過參考多個參考圖像中的至少一個的畫面編碼的運(yùn)動畫面編碼裝置，其中利用多種方法消除編碼失真獲得的多個編碼圖像是參考圖像。
利用由至少兩種方法去塊的多個圖像作為參考圖像并且隨后選擇一個合適的用于參考，可將通過從包含編碼失真的圖像信號中有效地消除編碼失真獲得的畫面用作參考圖像，并且可以增加運(yùn)動圖像編碼的壓縮率。
最好，多種方法中的第一個方法是不消除編碼圖像中的編碼失真的方法，第二個方法是消除編碼圖像中的編碼失真的方法。
本發(fā)明的另一個方面是通過參考多個參考圖像中的至少一個進(jìn)行解碼的運(yùn)動圖像解碼裝置，其中通過利用多種方法消除編碼失真獲得的多個解碼圖像是參考圖像。
利用由至少兩種方法去塊的多個圖像作為參考圖像并且隨后選擇一個合適的用于參考，可將通過從包含編碼失真的圖像信號中有效地消除編碼失真后獲得的畫面用作參考圖像，并且可以正確地解碼編碼信號。
最好，這些方法中的第一個方法是不消除解碼畫面中的編碼失真的方法，第二個方法是消除解碼畫面中的編碼失真的方法。
本發(fā)明的另一個方面是用于消除由奇數(shù)行像素和偶數(shù)行像素組成的隔行畫面中的編碼失真的編碼失真消除方法。該方法具有確定畫面是包含具有指定數(shù)量的奇數(shù)行像素和指定數(shù)量的偶數(shù)行像素的幀結(jié)構(gòu)塊的畫面，還是包含一個場結(jié)構(gòu)由指定數(shù)量的奇數(shù)行像素組成的塊的畫面，或者是包含另一個場結(jié)構(gòu)由指定數(shù)量的偶數(shù)行像素組成的塊的畫面的評估步驟；當(dāng)要進(jìn)行編碼失真消除的目的塊是所有塊都是幀結(jié)構(gòu)塊的畫面中的塊時(shí)用來消除相鄰幀結(jié)構(gòu)塊之間的編碼失真，以及當(dāng)要進(jìn)行編碼失真消除的目的塊是所有塊都是場結(jié)構(gòu)塊的畫面中的塊時(shí)用來消除相鄰場結(jié)構(gòu)塊之間的編碼失真的消除步驟。
這樣根據(jù)塊是幀結(jié)構(gòu)塊的畫面還是場結(jié)構(gòu)塊的畫面可以改變要進(jìn)行編碼失真消除的塊的處理。
最好是，如果要進(jìn)行編碼失真消除的目的塊是包含幀結(jié)構(gòu)塊和場結(jié)構(gòu)塊的畫面的塊，那么編碼失真消除方法也具有將場結(jié)構(gòu)塊轉(zhuǎn)換為幀結(jié)構(gòu)塊的轉(zhuǎn)換步驟；將場結(jié)構(gòu)塊的像素中的像素值和轉(zhuǎn)換塊的像素中的像素值的差值與指定的閾值進(jìn)行比較的比較步驟；以及根據(jù)比較步驟的結(jié)果消除編碼失真的消除步驟。
在另一個用來消除位于具有形成運(yùn)動畫面圖像的多個塊的畫面中的第一個塊和相鄰的第二個塊之間的邊界線兩側(cè)的區(qū)域中的編碼失真的編碼失真消除方法中，第一個塊是在由奇數(shù)行像素和偶數(shù)行像素組成的隔行畫面中具有指定數(shù)量的奇數(shù)行像素和指定數(shù)量的偶數(shù)行像素的幀結(jié)構(gòu)塊，第二個塊是具有在由奇數(shù)行像素和偶數(shù)行像素組成的隔行畫面中由指定數(shù)量的奇數(shù)行像素組成一場，和在由奇數(shù)行像素和偶數(shù)行像素組成的隔行畫面中由指定數(shù)量的偶數(shù)行像素組成的另一場的場結(jié)構(gòu)塊。編碼消除方法包括將幀結(jié)構(gòu)的第一個塊轉(zhuǎn)換成場結(jié)構(gòu)塊的轉(zhuǎn)換步驟；將場結(jié)構(gòu)的第二個塊的像素中的像素值與轉(zhuǎn)換塊的像素中的像素值的差值和指定閾值比較的比較步驟；以及根據(jù)比較步驟的結(jié)果消除編碼失真的消除步驟。
當(dāng)場結(jié)構(gòu)塊和幀結(jié)構(gòu)塊相鄰時(shí)，可以自適應(yīng)地處理要進(jìn)行編碼失真消除的目的塊。
從幀結(jié)構(gòu)的第一塊向場結(jié)構(gòu)的轉(zhuǎn)換最好由宏塊單元和兩個垂直相鄰宏塊的單元來切換。
另外，場結(jié)構(gòu)的第二個塊最好不轉(zhuǎn)換為幀結(jié)構(gòu)塊。
在用來消除位于具有形成運(yùn)動畫面圖像的多個塊的畫面中第一個塊和相鄰的第二個塊之間的邊界線兩側(cè)的區(qū)域中的編碼失真的另一種編碼失真消除方法中，第一個塊是在由奇數(shù)行像素和偶數(shù)行像素組成的隔行畫面中具有指定數(shù)量的奇數(shù)行像素和指定數(shù)量的偶數(shù)行像素的幀結(jié)構(gòu)塊，第二個塊是具有在由奇數(shù)行像素和偶數(shù)行像素組成的隔行畫面中具有由指定數(shù)量的奇數(shù)行像素組成的一個場，和在由奇數(shù)行像素和偶數(shù)行像素組成的隔行畫面由指定數(shù)量的偶數(shù)行像素組成的另一場的場結(jié)構(gòu)塊。編碼消除方法具有確定要進(jìn)行編碼失真消除的目的塊是幀結(jié)構(gòu)塊還是場結(jié)構(gòu)塊的評估步驟；當(dāng)目的塊為場結(jié)構(gòu)的第二個塊時(shí)將幀結(jié)構(gòu)的第一個塊轉(zhuǎn)換為場結(jié)構(gòu)塊，和當(dāng)目的塊為幀結(jié)構(gòu)的第一個塊時(shí)將場結(jié)構(gòu)的第二個塊轉(zhuǎn)換為幀結(jié)構(gòu)塊的轉(zhuǎn)換步驟；比較目的塊的像素中的像素值和指定閾值的比較步驟；以及根據(jù)比較步驟的結(jié)果消除編碼失真的消除步驟。
當(dāng)場結(jié)構(gòu)塊和幀結(jié)構(gòu)塊相鄰時(shí)，可以自適應(yīng)地處理要進(jìn)行編碼失真消除的目的塊。
最好，從幀結(jié)構(gòu)塊到場結(jié)構(gòu)塊的轉(zhuǎn)換步驟中的轉(zhuǎn)換在從幀結(jié)構(gòu)塊中的奇數(shù)行像素轉(zhuǎn)換后產(chǎn)生一個場，在從幀結(jié)構(gòu)塊中的偶數(shù)行像素轉(zhuǎn)換后產(chǎn)生另一個場；比較步驟中差值和閾值的比較是在轉(zhuǎn)換后將第二個塊的一個場中的像素的像素值和第一個塊的一個場中的像素的像素值比較，或在轉(zhuǎn)換后將第二個塊中另一個場的像素中的像素值和第一個塊中另一個場的像素中的像素值比較。
在用來消除位于具有形成運(yùn)動畫面圖像的多個塊的畫面中的第一個塊和相鄰的第二個塊之間的邊界線兩側(cè)的區(qū)域中的編碼失真的另一個編碼失真消除方法中，第一個塊是在由奇數(shù)行像素和偶數(shù)行像素組成的隔行畫面中具有指定數(shù)量的奇數(shù)行像素和指定數(shù)量的偶數(shù)行像素的幀結(jié)構(gòu)塊，而第二個塊是在由奇數(shù)行像素和偶數(shù)行像素組成的隔行畫面中具有指定數(shù)量的奇數(shù)行像素組成的一場，和在由奇數(shù)行像素和偶數(shù)行像素組成的隔行畫面中具有指定數(shù)量的偶數(shù)行像素組成的另一場的結(jié)構(gòu)塊。該編碼消除方法具有用來將場結(jié)構(gòu)的第二個塊轉(zhuǎn)換為幀結(jié)構(gòu)塊的轉(zhuǎn)換步驟；將幀結(jié)構(gòu)的第一個塊的像素中的像素值與轉(zhuǎn)換塊的像素中的像素值的差值和指定閾值比較的比較步驟；以及根據(jù)比較步驟的結(jié)果消除編碼失真的消除步驟。
當(dāng)場結(jié)構(gòu)塊和幀結(jié)構(gòu)塊相鄰時(shí)，可以自適應(yīng)地處理要進(jìn)行編碼失真消除的目的塊。
另外，從場結(jié)構(gòu)的第二塊向場結(jié)構(gòu)的轉(zhuǎn)換最好由宏塊單元和兩個垂直相鄰宏塊的單元來切換。
另外，場結(jié)構(gòu)的第二個塊最好不轉(zhuǎn)換為幀結(jié)構(gòu)塊。
另外，從場結(jié)構(gòu)塊向幀結(jié)構(gòu)塊的轉(zhuǎn)換步驟中，轉(zhuǎn)換從一場的塊中的像素和另一個場的塊中的像素產(chǎn)生一個轉(zhuǎn)換的幀，將轉(zhuǎn)換后的第一個塊中奇數(shù)行像素中的像素值和第二個塊中奇數(shù)行像素中的像素值比較，或者將轉(zhuǎn)換后的第一個塊中偶數(shù)行像素中的像素值和第二個塊偶數(shù)行像素中的像素值比較。
另外，最好比較步驟按在與邊界線對稱的位置沿與邊界線同方向在行中對齊的多個像素的組比較該差值和閾值。
這樣能以多個像素為組來消除編碼失真。
本發(fā)明的另一個方面是畫面編碼裝置，該裝置具有用于對編碼的差分畫面解碼并且輸出差分畫面的解碼單元；用來從參考圖像輸出運(yùn)動補(bǔ)償畫面的運(yùn)動補(bǔ)償單元；用來將差分畫面和運(yùn)動補(bǔ)償畫面相加，和輸出合并畫面的加法器；用來消除合并畫面中的編碼失真，和輸出重構(gòu)畫面的編碼失真消除單元；和用來存儲重構(gòu)畫面作為參考圖像的存儲器。編碼失真消除單元利用本發(fā)明上述任何一種方法來消除編碼失真。
本發(fā)明的另一個方面是利用本發(fā)明上述任何一種方法用來從畫面中消除編碼失真的程序。
本發(fā)明的另一個方面是使用用于對編碼的差分畫面解碼和輸出差分畫面的解碼單元；用來從參考圖像中輸出運(yùn)動補(bǔ)償畫面的運(yùn)動補(bǔ)償單元；用來將差分畫面和運(yùn)動補(bǔ)償畫面相加，并輸出合并畫面的加法器；用來消除合并畫面中的編碼失真，和輸出重構(gòu)畫面的編碼失真消除單元；以及用來存儲重構(gòu)畫面作為參考圖像的存儲器來進(jìn)行畫面編碼的程序。編碼失真消除單元利用本發(fā)明上述任何一種方法來消除編碼失真。
通過結(jié)合附圖參考下面的說明書和權(quán)利要求，本發(fā)明的目的和實(shí)現(xiàn)以及對其更全面的理解將更加明顯。


圖1是利用根據(jù)本發(fā)明解碼方法的視頻解碼裝置的方框圖；圖2是利用根據(jù)本發(fā)明第一個實(shí)施例的編碼失真消除法的編碼失真消除單元的方框圖；圖3(a)、3(b)、3(c)、3(d)、3(e)、3(f)和3(g)顯示了運(yùn)動補(bǔ)償塊大小的實(shí)例；圖4是根據(jù)本發(fā)明第二個實(shí)施例的編碼失真消除方法的流程圖；圖5顯示了本發(fā)明第二個實(shí)施例中的量化參數(shù)QP和編碼失真消除參數(shù)之間的相關(guān)性；圖6是根據(jù)本發(fā)明第二個實(shí)施例用來確定在編碼失真消除方法中要濾波的像素?cái)?shù)量的流程圖；圖7是根據(jù)本發(fā)明第二個實(shí)施例用來確定在編碼失真消除方法中的濾波系數(shù)的流程圖；圖8(a)和8(b)是利用根據(jù)本發(fā)明第二個實(shí)施例的編碼失真消除方法的編碼失真消除單元的方框圖，以及顯示像素調(diào)整的示意圖；圖9是利用根據(jù)本發(fā)明第三個實(shí)施例的編碼方法的編碼裝置方框圖；圖10是利用根據(jù)本發(fā)明第三個實(shí)施例的解碼方法的解碼裝置方框圖；圖11是利用根據(jù)本發(fā)明第四個實(shí)施例的編碼失真消除方法的編碼失真消除單元的方框圖；圖12(a)、12(b)、12(c)和12(d)顯示了根據(jù)本發(fā)明第四個實(shí)施例的編碼失真消除方法中編碼信號Str的結(jié)構(gòu)；
圖13是顯示利用環(huán)路濾波器的視頻編碼過程的方框圖；圖14是顯示視頻編碼環(huán)路中自動閾值選擇的位置的方框圖；圖15是顯示收集用來尋找最佳閾值的數(shù)據(jù)的方法的流程圖；圖16是顯示收集用來尋找最佳閾值的數(shù)據(jù)的另一種方法的流程圖；圖17是顯示用來選擇最佳閾值的方法的流程圖；圖18顯示了具有可以跳過去塊的公共邊界的相鄰塊；圖19顯示了包含多個像素的組；圖20(a)描述了幀結(jié)構(gòu)，圖20(b)描述了場結(jié)構(gòu)；圖21(a)描述了幀結(jié)構(gòu)和場結(jié)構(gòu)混合在一個畫面中的結(jié)構(gòu)，圖21(b)和21(c)描述了在場結(jié)構(gòu)和幀結(jié)構(gòu)邊界的編碼失真消除過程的步驟；圖22是當(dāng)幀和場結(jié)構(gòu)混合時(shí)使用的編碼失真消除過程的流程圖；圖23是圖22中存儲器64和67的步驟組合后的流程圖；圖24是圖23中存儲器65和68的步驟組合后的流程圖；圖25是當(dāng)幀結(jié)構(gòu)塊和場結(jié)構(gòu)塊在塊邊界相對側(cè)時(shí)使用的過程的流程圖；圖26(a)、26(b)和26(c)描述了根據(jù)本發(fā)明第六個實(shí)施例用來存儲實(shí)現(xiàn)本發(fā)明第一和第二實(shí)施例的可變長度編碼和可變長度解碼方法的計(jì)算機(jī)可執(zhí)行程序的記錄介質(zhì)；圖27是顯示內(nèi)容提供系統(tǒng)整體配置的方框圖；圖28顯示了利用視頻編碼方法和視頻解碼方法的典型蜂窩電話的實(shí)例；圖29是蜂窩電話的方框圖；圖30顯示了數(shù)字廣播系統(tǒng)的實(shí)例；圖31(a)、31(b)和31(c)顯示了描述編碼失真消除方法的概念的像素信號電平示意圖；圖32是利用現(xiàn)有技術(shù)的解碼方法的視頻解碼裝置的方框圖；圖33是利用現(xiàn)有技術(shù)的解碼方法的視頻解碼裝置的方框圖；以及圖34是利用根據(jù)現(xiàn)有技術(shù)的編碼失真消除方法的編碼失真消除單元的方框圖。
具體實(shí)施例方式
下面參考附圖描述本發(fā)明的優(yōu)選實(shí)施例。
實(shí)施例1在利用視頻解碼方法的視頻解碼裝置的方框圖中，可變長度解碼器52對編碼信號Str進(jìn)行可變長度地解碼并輸出頻率編碼分量DCoef。去Z字形掃描單元54在二維塊中重新排列頻率編碼分量DCoef的頻率分量，并且輸出頻率分量Fcoef、塊單元頻率分量。反余弦變換單元56對頻率分量實(shí)施去量化和反DCT操作，并輸出差分圖像DifCoef。
運(yùn)動補(bǔ)償器60從存儲器64中累加的參考圖像Ref輸出由外部輸入運(yùn)動矢量MV指示的位置上的像素作為運(yùn)動補(bǔ)償圖像MCpel，和輸出表示運(yùn)動補(bǔ)償塊的大小的運(yùn)動補(bǔ)償塊大小MCsize。加法器58將差分圖像DifCoef和運(yùn)動補(bǔ)償圖像Mcpel相加以輸出重構(gòu)圖像Coef。
去塊濾波器62接收重構(gòu)圖像Coef，運(yùn)動補(bǔ)償塊大小MCsize和差分圖像DifCoef，實(shí)施編碼失真消除，然后輸出解碼后的圖像信號Vout。重構(gòu)圖像Coef存儲在存儲器64中，并且當(dāng)作下一個圖像解碼的參考圖像Ref。
圖2是利用根據(jù)本發(fā)明的編碼失真消除方法的去塊濾波器62(也稱為編碼失真消除單元)的方框圖。該去塊濾波器62是由本發(fā)明的發(fā)明人參考ITU-T建議書H.26L TML8中描述的去塊濾波器的內(nèi)容創(chuàng)造的。
已濾波像素計(jì)數(shù)控制器4確定每個重構(gòu)圖像Coef中包含編碼失真的像素位置，然后輸出已濾波的像素計(jì)數(shù)FtrPel。已濾波的像素計(jì)數(shù)FtrPel表示需要濾波的像素位置。
濾波系數(shù)控制器6利用已濾波像素計(jì)數(shù)FtrPel和重構(gòu)圖像Coef來確定適合從指定像素中消除編碼失真的濾波系數(shù)(包括濾波抽頭的數(shù)量)，然后輸出濾波系數(shù)FtrTap。
濾波處理器8利用由濾波系數(shù)FtrTap指示的濾波系數(shù)，應(yīng)用濾波處理從重構(gòu)圖像Coef中消除編碼失真，并輸出解碼后的圖像信號Vout。
差分圖像DifCoef和運(yùn)動補(bǔ)償塊大小MCsize輸入到運(yùn)動補(bǔ)償塊邊界檢測單元2，運(yùn)動補(bǔ)償塊邊界檢測單元2確定該處理塊的差分圖像DifCoef是否小于或等于給定值，例如，是否為0，檢測運(yùn)動補(bǔ)償塊的邊界，然后輸出運(yùn)動補(bǔ)償塊邊界標(biāo)志IsEdge。
圖3顯示了ITU-T建議書H.26L TML8中使用的運(yùn)動補(bǔ)償塊大小的實(shí)例。如這些例子中所示，最大的運(yùn)動補(bǔ)償塊大小為16×16個像素，與被稱為宏塊的大小相同。圖3(a)到(g)所示的運(yùn)動補(bǔ)償塊大小為4×4、4×8、8×4、8×8、8×16、16×8和16×16個像素。在ITU-T建議書H.26L TML8中，從這七種運(yùn)動補(bǔ)償塊大小中選出適合宏塊單元大小的，然后用于編碼和解碼。應(yīng)該注意的是，編碼和解碼可以應(yīng)用于在垂直方向相鄰的兩個宏塊的適當(dāng)單元，這些宏塊的單元稱為“宏塊對”。
在ITU-T建議書H.26L TML8中用于頻率變換和編碼的單元為4×4像素。該4×4像素的單元被稱為“編碼單元”。如圖3(a)所示，16個塊A到P中的每個塊都是4×4像素的塊。4×4像素編碼單元只在圖3(a)所示情況下于運(yùn)動補(bǔ)償塊的大小匹配。因?yàn)樽鳛榫幋a失真特別特別直觀地分裂的塊失真以4×4像素的最小編碼單元大小出現(xiàn)，所以常規(guī)編碼失真消除方法總是處理4×4像素單元。
如果在運(yùn)動補(bǔ)償編碼后畫面之間的相關(guān)性特別強(qiáng)，那么畫面之間編碼運(yùn)動補(bǔ)償差錯為0。在這種情況下，因?yàn)?×4像素單元中已編碼和解碼的差分圖像DifCoef也是0，所以除了運(yùn)動補(bǔ)償塊邊界外的地方不會發(fā)生在編碼和解碼過程中從編碼失真導(dǎo)致的像素值不連續(xù)。因此，如果選擇如圖3(b)所示的運(yùn)動補(bǔ)償塊，那么在圖3(a)所示的塊AC、BD、EG、FH、IK、JL、MO和NP之間由虛線表示的4×4像素單元邊界不需要編碼失真消除處理。由圖3(a)所示的塊AB、CD、EF、GH、IJ、KL、MN和OP之間的虛線表示的4×4像素單元邊界同樣不需要去塊。如果用于4×4像素單元中編碼/解碼的差分圖像DifCoef也是0，那么只在運(yùn)動補(bǔ)償塊的邊界應(yīng)用去塊，而在運(yùn)動補(bǔ)償塊內(nèi)的4×4像素單元的邊界處不應(yīng)用去塊。與對所有塊邊界進(jìn)行去塊相比，這樣能夠減少編碼失真消除處理中的操作次數(shù)。
如果過程塊的差分圖像DifCoef是0并且不是運(yùn)動補(bǔ)償塊的邊界，那么運(yùn)動補(bǔ)償塊邊界檢測單元2將選擇器10a和10b都設(shè)置為關(guān)閉(由實(shí)線表示)，并且選擇器10b輸出重構(gòu)圖像Coef作為解碼的圖像信號Vout。通過設(shè)置運(yùn)動補(bǔ)償塊邊界標(biāo)志IsEdge來切換選擇器10a和10b。通過關(guān)閉選擇器10a和10b來省略已濾波像素計(jì)數(shù)控制器4、濾波系數(shù)控制器6和濾波處理器8的處理。除了上述情況外，選擇器10a和10b工作(由虛線表示)，來自濾波處理器8的輸出的是從選擇器10b的輸出，作為解碼圖像信號Vout。該選擇器的狀態(tài)也通過施加運(yùn)動補(bǔ)償塊邊界標(biāo)志IsEdge來設(shè)置。
本發(fā)明通過施加恰當(dāng)?shù)卦O(shè)置的運(yùn)動補(bǔ)償塊邊界標(biāo)志IsEdge引入了省略已濾波像素計(jì)數(shù)控制器4、濾波系數(shù)控制器6和濾波處理器8的操作的能力，通過跳過這些單元可以更快地加速進(jìn)行處理并且減小這些處理的功耗。
應(yīng)該注意的是，按照不施加任何編碼失真消除處理簡單地描述了本實(shí)施例，可使用簡單的編碼失真消除處理替代跳過過程，并且可以在復(fù)雜的編碼失真消除處理和4×4像素單元中的編碼失真消除處理之間進(jìn)行切換。
實(shí)施例2下面參考圖4所示的根據(jù)本發(fā)明的編碼失真消除方法的流程圖描述在該實(shí)施例中可以容易地實(shí)現(xiàn)編碼失真消除的特定過程。
首先在步驟S18確定目標(biāo)塊是否為編碼失真消除塊。如果是，控制進(jìn)行到步驟S19。如果不是，控制進(jìn)行到步驟S24。
在步驟S19中選擇合適的編碼失真消除濾波器，在步驟S20中，利用選擇的濾波器實(shí)施編碼失真消除過程，然后在步驟S21中將目的像素改變?yōu)樵搲K中下一個未處理的像素。如果該塊中沒有未處理的像素(步驟S22返回否)，那么控制進(jìn)行到步驟S24，如果有未處理的像素(步驟S22返回是)，那么控制返回到步驟S19重復(fù)該過程。
步驟S24檢測畫面中是否有另一個未處理的塊。如果有，控制進(jìn)行到步驟S23。如果所有塊都已經(jīng)被處理(步驟S24返回否)，那么該畫面的編碼失真消除過程結(jié)束。
如果還有未處理的塊，那么在步驟S23中將目的塊變?yōu)橄乱粋€未處理的塊，控制環(huán)路返回到步驟S18并且重復(fù)該過程。
圖6顯示了在本發(fā)明的編碼失真消除方法中如何確定要濾波的像素?cái)?shù)量(下面稱為“已濾波像素計(jì)數(shù)”)的流程圖。該流程圖描述了圖2所示已濾波像素計(jì)數(shù)控制器4可以操作的實(shí)例。圖6顯示了運(yùn)動補(bǔ)償塊為圖8(a)所示時(shí)的情況。如圖8(b)所示，要進(jìn)行編碼失真消除的目的像素值為如圖8(b)所示的p3、p2、p1、p0、q0、q1、q2、q3，經(jīng)過編碼失真消除后的像素值為P3、P2、P1、P0、Q0、Q1、Q2、Q3。這些像素值按照與像素位置相同的順序依次分配，p0到p3和P0到P3表示同一個塊中對應(yīng)像素，而q0到q3和Q0到Q3表示同一個塊中對應(yīng)像素。
隨著量化參數(shù)QP增加，量化步長變大(更粗糙)并且編碼失真的大小也隨著增加。因此要根據(jù)量化參數(shù)QP的大小有效地改變?yōu)V波器。圖5的表示量化參數(shù)QP和編碼失真消除參數(shù)之間相關(guān)性的表。下面的表1顯示了用來確定表示已濾波像素計(jì)數(shù)的參數(shù)n的去塊過程的參數(shù)П、Ω和n之間相關(guān)性。應(yīng)該注意的是，如果像素差分較大則不應(yīng)該施加濾波器，因?yàn)樗磉吘?，并且最好設(shè)置П以便不對像素差分小于П的像素施加濾波器。另外，如果像素差分較小，隨著像素差分減小，像素不在邊緣的可能性增加，因此，最好設(shè)置Ω，以便根據(jù)像素差分是否極低(小于Ω)或有點(diǎn)小(小于2×Ω)來施加較強(qiáng)的濾波器(即，n較高)。
表1條件A 條件B ndif1a＞П dif2a＜Ω 0dif1a＞П Ω≤dif2a≤2×Ω 0dif1a＞П dif2a≥2×Ω0dif1a≤П dif2a＜Ω2dif1a≤П Ω≤dif2a≤2×Ω 1dif1a≤П dif2a≥2×Ω 0其中dif1＝p0-q0dif2＝p1-q1dif1a＝|dif1|dif2a＝|dif2|
換句話說，表1總結(jié)了本發(fā)明的編碼失真消除方法中確定已濾波像素計(jì)數(shù)的流程。
步驟S27計(jì)算像素差分DifPel，它是要在編碼失真消除過程中重復(fù)計(jì)算的參數(shù)。注意，像素差分DifPel是指步驟S27中計(jì)算的dif1a和dif2a。
然后，在步驟S28比較dif1a和П。如果dif1a大于П，那么在驟S29中設(shè)置n＝0并且不運(yùn)行編碼失真消除處理就結(jié)束該過程。如果dif1a小于或等于П，那么控制進(jìn)行到步驟S30。
在步驟S30比較dif2a和Ω。如果dif2a小于Ω，那么在步驟S3 1中設(shè)置n＝2(就是說，從每個相鄰塊的邊界向第二個像素實(shí)施編碼失真消除)，然后進(jìn)程結(jié)束。如果dif2a大于或等于Ω，那么控制進(jìn)行到步驟S32。
在步驟S32，比較dif2a和2×Ω。如果dif2a小于2×Ω，那么在步驟S33中設(shè)置n＝1(就是說，從每個相鄰塊的邊界向第一個像素實(shí)施編碼失真消除)，然后進(jìn)程結(jié)束。dif2是靠近邊界的像素值中的差分的絕對值，并且因?yàn)殡S著該差分的減小，接近邊界的高頻分量的數(shù)量也減小，所以隨著dif2變小，通過增加為去塊處理的像素的數(shù)量可從邊界區(qū)域有效地消除編碼失真。
圖7是本發(fā)明的編碼失真消除方法中用來確定濾波系數(shù)的過程的流程圖，并且是圖2中濾波系數(shù)控制器的操作實(shí)例。
利用步驟S37中的n、dif1、dif2和φ比較三個條件。如果三個條件都為真，那么在步驟S39設(shè)置三個抽頭濾波處理。即，φ是用來確定濾波抽頭數(shù)量的閾值，當(dāng)高頻分量為低(n＝2)并且在邊界的像素值幾乎沒變化時(shí)(|dif2a-dif1a|＜φ)采用三個抽頭的濾波器。三個抽頭的濾波器通常比一個抽頭的濾波器能提供更強(qiáng)的高頻分量抑制。因?yàn)槔胣值可以改變?yōu)V波過程，所以可以使用參數(shù)n代替施加濾波器的像素?cái)?shù)量來改變?yōu)V波器類型。這樣獲得的參數(shù)n還可以用來改變已濾波的像素?cái)?shù)量和所采用的濾波器類型。
如果在步驟S37中三個條件不為真，則在S38檢測n的值。如果n≥1，步驟S40設(shè)置一個抽頭的濾波過程。如果n＝0，那么步驟S42關(guān)閉濾波器。
應(yīng)該注意的是，可以針對每個塊來改變量化參數(shù)QP。然而，編碼失真消除過程在具有不同量化參數(shù)QP的塊之間的邊界會變得更復(fù)雜。當(dāng)量化參數(shù)QP在邊界塊中改變時(shí)，本發(fā)明利用*相鄰塊的平均量化參數(shù)QP(分?jǐn)?shù)可以四舍五入)，*相鄰塊的最高量化參數(shù)QP，*相鄰塊的最低量化參數(shù)QP，或*左鄰或上鄰塊的量化參數(shù)QP作為用于對邊界兩邊的塊濾波的量化參數(shù)QP來防止其變復(fù)雜。應(yīng)該注意的是，利用這四個量化參數(shù)QP之間的差別很小，可以預(yù)先選定一個使用。
通過上述方法可以很容易地消除編碼失真。
圖8(a)是圖1所示去塊濾波器62的另一個實(shí)施例的方框圖，和圖2中虛線包圍的部分的一個分開實(shí)施例。應(yīng)該注意的是，圖8和圖34所示利用常規(guī)編碼失真消除方法的編碼失真消除單元的方框圖中的相同部分用相同的參考標(biāo)號表示，并且在這里省略了對它們的進(jìn)一步描述。
像素差分計(jì)算器20從重構(gòu)圖像Coef計(jì)算在塊邊界的像素差分，并且輸出像素差分DifPel。該像素差分DifPel包含等同于dif1a和dif2a的信號。通過比較編碼單元塊之間邊界的左右對稱或上下對稱位置的像素，并且利用其之間的差值d1、d2、d3、d4(色差和亮度差)來獲得像素差分DifPel。如果這些差值的平均值(例如，(d1+d2+d3+d4)/4)小于或等于給定值，那么圖像邊界線不可能出現(xiàn)在用來確定d4的寬度范圍中，因此要實(shí)施去塊濾波。另一方面，如果平均值大于或等于給定值，則存在圖像邊界并且不實(shí)施去塊濾波。應(yīng)該注意的是，這種比較可以使用d1、d2、d3和d4中的任何一個、任何兩個，或任何三個。與其說利用平均值，不如說是用最大差分來替代與給定值的比較。
用來確定已濾波像素計(jì)數(shù)的流程圖可以用作已濾波像素計(jì)數(shù)控制器4操作的實(shí)例。圖7所示的用來確定濾波系數(shù)的流程圖中顯示了該實(shí)施例中濾波系數(shù)控制器6的操作實(shí)例。通過參考如圖8(b)所示的像素差分DifPel，可以減小已濾波像素計(jì)數(shù)控制器4和濾波系數(shù)控制器6的像素差分計(jì)算量。已濾波像素計(jì)數(shù)控制器4和濾波系數(shù)控制器6可以因此不參考重構(gòu)圖像Coef而設(shè)置已濾波像素計(jì)數(shù)和濾波系數(shù)。
很明顯，通過重復(fù)利用作為像素差分DifPel計(jì)算的值可以減小計(jì)算量。
實(shí)施例3本發(fā)明的這個實(shí)施例描述了實(shí)施本發(fā)明另一個實(shí)施例中描述的編碼失真消除方法的編碼裝置和解碼裝置。
圖9是編碼裝置的方框圖。
運(yùn)動檢測單元30將分別從第一存儲器38和第二存儲器40輸出的參考圖像Ref1和參考圖像Ref2與圖像信號Vin進(jìn)行比較，并且檢測運(yùn)動矢量MV，即，與參考圖像有關(guān)的圖像信號Vin中的運(yùn)動量。應(yīng)該注意的是，通過參考參考圖像Ref1或參考圖像Ref2表示預(yù)測差錯是否會少的信息也包含在運(yùn)動矢量MV中并且被報(bào)告給運(yùn)動補(bǔ)償單元32。運(yùn)動補(bǔ)償單 32從參考圖像Ref1或參考圖像Ref2中提取由運(yùn)動矢量MV指示的位置上的圖像，然后將它作為運(yùn)動補(bǔ)償后的圖像MCpel輸出。
減法器42獲得圖像信號Vin和運(yùn)動補(bǔ)償圖像MCpel的差分，并且輸出到余弦變換單元(DCT)46。余弦變換單元46計(jì)算DCT并且量化該輸入的差分，然后輸出頻率分量FCoef。Z字形掃描儀48輸出重排頻率分量Fcoef的順序的頻率碼分量DCoef，可變長度編碼單元50對頻率碼分量進(jìn)行可變長度編碼以輸出編碼信號Str。
DCT單元(余弦變換單元)46的輸出也輸入到反DCT單元(反余弦變換單元)44。合成器34合并頻率分量FCoef和從運(yùn)動補(bǔ)償單元32輸出的運(yùn)動補(bǔ)償圖像MCpel，并輸出合并后的圖像。合并后的圖像Coef照原樣存儲到第一存儲器38，并且還由去塊濾波器36處理，并將已被消除編碼失真的解碼圖像信號Vout存儲到第二存儲器40。
圖10是解碼裝置的流程圖。該解碼裝置對由圖9中方框圖所示的編碼裝置編碼的編碼信號Str正確地進(jìn)行解碼。圖10中的操作與圖32或圖33中對應(yīng)部分相同的部分由相同的參考標(biāo)號識別，在此省略對它們的描述。反DCT單元(反余弦變換單元)56去量化頻率分量并且計(jì)算反DCT以輸出差分圖像DifCoef。加法器58將差分圖像DifCoef和運(yùn)動補(bǔ)償圖像MCpel相加以獲得重構(gòu)圖像Coef。重構(gòu)圖像Coef存儲到第一存儲器64，由去塊濾波器62從重構(gòu)圖像Coef消除編碼失真后獲得的解碼圖像信號Vout存儲到第二存儲器66。
這種操作的結(jié)果是沒有被消除編碼失真的圖像存儲到第一存儲器38和第一存儲器64，已被消除編碼失真的圖像存儲到第二存儲器40和第二存儲器66。編碼失真消除過程不總是只消除編碼失真，部分真實(shí)圖像信號也可能會丟失。因此，配置圖9中所示的編碼裝置，以使運(yùn)動檢測單元30總是可以從第一存儲器38和第二存儲器40二者中選擇最好的輸出。
如果利用本實(shí)施例的配置通過消除編碼失真而丟失了一部分原始圖像信號，那么可以通過參考第一存儲器38來選擇合適的參考圖像。同樣，可以由圖10所示的解碼裝置選擇適當(dāng)?shù)膮⒖紙D像。
應(yīng)該注意的是，本發(fā)明中該實(shí)施例使用DCT作為正交變換，也可以使用Hadamard變換或小波變換。
實(shí)施例4圖11是根據(jù)本發(fā)明優(yōu)選實(shí)施例，并且對應(yīng)例如圖1所示的去塊濾波器62的編碼失真消除單元的方框圖。該編碼失真消除單元通過確定用來設(shè)置濾波器的閾值來區(qū)分。應(yīng)該注意的是，執(zhí)行與圖34中所示編碼失真消除單元相同操作的部分具有相同的參考標(biāo)號并且在這里省略了對它們的描述。
濾波器設(shè)置參數(shù)解碼器22對濾波器設(shè)置參數(shù)信號FtrStr解碼，然后輸出濾波器參數(shù)FtrPrm。該濾波器設(shè)置參數(shù)信號FtrStr不是閾值，而是用來設(shè)置閾值的參數(shù)。濾波器參數(shù)FtrPrm等同于圖5中的П、Ω和φ。通過解碼和從濾波器設(shè)置參數(shù)信號FtrStr獲得用來優(yōu)化每個畫面的這些參數(shù)П、Ω和φ的數(shù)據(jù)，可以對圖像進(jìn)行合適的編碼失真消除。
圖12顯示了本發(fā)明的編碼失真消除方法中已編碼信號Str的結(jié)構(gòu)。圖12(a)是一個畫面的編碼信號，并且包含保存一個畫面的數(shù)據(jù)的畫面數(shù)據(jù)PicData，和一個畫面中所有數(shù)據(jù)公共的畫面頭PicHdr。該畫面頭PicHdr包含濾波器設(shè)置參數(shù)信號FtrStr。
圖12(b)顯示了畫面數(shù)據(jù)PicData的結(jié)構(gòu)。該畫面數(shù)據(jù)PicData包含片信號SliceStr，包含一組多個塊單元的一片的編碼信號。
圖12(c)顯示了片信號SliceStr的結(jié)構(gòu)，它包含保存一片的數(shù)據(jù)的片數(shù)據(jù)SliceData，和一片中所有數(shù)據(jù)公用的片頭SliceHdr。通過向片頭SliceHdr寫入濾波器設(shè)置參數(shù)信號FtrStr，可以正確地對片數(shù)據(jù)SliceData單元中接收的編碼信號解碼。
如果在畫面數(shù)據(jù)PicData中包含多個片信號SliceStr，那么濾波器設(shè)置參數(shù)信號FtrStr只能寫入某些片頭SliceHdr，而不能將濾波器設(shè)置參數(shù)信號FtrStr寫入所有片頭SliceHdr。如果濾波器設(shè)置參數(shù)信號FtrStr對每個片公用的，并且濾波器設(shè)置參數(shù)信號FtrStr不寫入如圖12(c)中所示的片頭SliceHdr，那么通過從另一個片頭SliceHdr替換濾波器設(shè)置參數(shù)信號FtrStr可以抑制由于重復(fù)濾波器設(shè)置參數(shù)信號FtrStr所造成的比特?cái)?shù)的增加。
如果編碼信號Str發(fā)送到象分組這樣的小數(shù)據(jù)單元而不是單個連續(xù)的比特流，那么頭和非頭部分可以分開發(fā)送。在這種情況下，頭和數(shù)據(jù)部分如圖12所示不在一個比特流中。然而，即使頭和數(shù)據(jù)部分的發(fā)送順序不是連續(xù)的，但是由于特定數(shù)據(jù)包的頭可以很容易地在另一個分組中發(fā)送，因此即使該發(fā)送不是一個單獨(dú)的比特流，其概念與圖12中所示的比特流相同。
圖13是編碼裝置的方框圖。應(yīng)注意，圖13中與圖9中相同的部分用相同的參考標(biāo)號表示，并且在這里省略了對它的進(jìn)一步描述。
存儲器217存儲圖像信號Vin，即為編碼而輸入的圖像信號。圖像質(zhì)量比較單元216比較從存儲器217讀取的編碼目標(biāo)圖像信號和解碼的圖像信號Vout。從由圖像質(zhì)量比較單元216比較后獲得的差錯大小與用于解碼圖像的去塊濾波閾值一起存儲在比較存儲器218中。選擇單元219將對應(yīng)于存儲在比較存儲器218中最小差錯的去塊濾波的閾值選擇作為優(yōu)化閾值。所選擇的優(yōu)化閾值被作為相對附加比特流復(fù)用到對應(yīng)畫面的比特流中。根據(jù)選擇單元219輸出的優(yōu)化閾值，閾值控制單元215產(chǎn)生用于下一個畫面的去塊濾波的候選閾值，通知去塊濾波器36并且改變編碼失真消除過程的閾值，然后將當(dāng)前正在使用的閾值發(fā)送到比較存儲器218。
圖14是圖13中的方框圖所示的指定編碼裝置的概念表示。在圖14中，優(yōu)化閾值選擇單元226執(zhí)行除了Z字形掃描儀48、可變長度編碼單元50和閾值附加單元220以外的圖13中的件的分操作，相當(dāng)于存儲器27、圖像質(zhì)量比較單元216、比較存儲器218、選擇單元219和閾值控制單元215的操作。視頻解碼器227對應(yīng)圖13中的存儲器217、圖像質(zhì)量比較單元216、比較存儲器218、選擇單元219和閾值控制單元215以外的部件的操作。閾值228等同于上述優(yōu)化閾值。
優(yōu)化閾值選擇單元226選擇優(yōu)化閾值。該優(yōu)化閾值等同于為圖5中的每個量化參數(shù)QP確定的П、Ω和φ值的設(shè)置。所選擇的優(yōu)化閾值存儲在閾值存儲器228，并施加到視頻編碼器227作為濾波器設(shè)置參數(shù)信號FtrStr。圖11中所示的濾波器設(shè)置參數(shù)解碼器22，例如，在解碼器中，處理編碼濾波器設(shè)置參數(shù)信號FtrStr。
應(yīng)該注意的是，優(yōu)化閾值可以存儲在圖13所示的閾值控制單元215中的存儲器中，并且閾值數(shù)據(jù)由閾值控制單元215發(fā)送到閾值附加單元220。
下面描述消除編碼失真時(shí)確定濾波器設(shè)置參數(shù)信號FtrStr的操作。圖15、圖16和圖17顯示了圖13和圖14描述的編碼裝置的操作流程圖。
圖15是測量圖像質(zhì)量的操作的流程圖。
首先設(shè)置目的幀target_frame，并輸出第一個畫面(步驟229)。目的幀target_frame是用來獲得閾值的畫面。
接著閾值控制單元215設(shè)置閾值范圍(步驟230)，然后從閾值控制單元215輸出該范圍一側(cè)的值作為初始閾值(步驟231)。
利用該初始閾值，去塊濾波器36消除編碼失真，開始對目的幀target_frame的畫面編碼(步驟232)，然后，圖像質(zhì)量比較單元216測量該首先被編碼的畫面的畫面質(zhì)量和圖像信號Vin(步驟233)。
該比較結(jié)果存儲在比較存儲器218(步驟234)，然后遞增當(dāng)前幀編號current_frame(步驟235)。就是說，正在被處理的畫面從第一個畫面變?yōu)橄乱粋€畫面，然后，下一個畫面輸出到，例如，圖14所示的優(yōu)化閾值選擇單元226和視頻編碼器227，或圖13所示的存儲器217、運(yùn)動檢測單元30和減法器42。
然后，步驟236確定當(dāng)前幀編號current_frame是否已經(jīng)到達(dá)目的幀target_frame。如果還沒有，重復(fù)步驟233到235。圖像質(zhì)量比較單元216測量輸入畫面的圖像質(zhì)量，將結(jié)果存儲到比較存儲器218。如果當(dāng)前幀編號current_frame等于目的編號target_frame，控制進(jìn)行到步驟237，并且當(dāng)前幀編號current_frame重新設(shè)置為第一個畫面。
然后，閾值控制單元215遞增該閾值(步驟238A)，即，將該閾值設(shè)置為下一個值?！跋乱粋€”值是從第一個值按指定遞增增加后的值。
然后，確定所有閾值是否到了已測試的設(shè)置范圍的另一端的閾值(步驟238B)。如果已經(jīng)測試了所有閾值，則結(jié)束確定優(yōu)化閾值的過程。如果還沒有測試所有的閾值，控制環(huán)路到步驟232并且對目的幀target的畫面進(jìn)行編碼。
這樣可以利用一個閾值通過測量所有目的幀target_frame的圖像質(zhì)量來測量圖像質(zhì)量，然后將閾值遞增指定量，再次測量所有目的幀target_frame的圖像質(zhì)量。
下面參見圖16的流程圖，描述了利用設(shè)置閾值范圍中的所有閾值測量一個畫面中的圖像質(zhì)量，然后進(jìn)行到下一個畫面并且利用設(shè)置閾值范圍中的所有閾值測量圖像質(zhì)量的方法。
首先設(shè)置目的幀target_frame并且輸出第一個畫面(步驟239)。然后將當(dāng)前幀編號current_frame初始化為0(步驟240)。
然后，閾值控制單元215設(shè)置閾值范圍(步驟241)，并將閾值設(shè)置到去塊濾波器36(步驟242)。
此后，利用初始化閾值對第一個畫面編碼(編碼失真消除過程)(步驟243)，由圖像質(zhì)量比較單元216測量編碼畫面的圖像質(zhì)量(步驟244)。
圖像質(zhì)量比較單元216輸出的結(jié)果存儲到比較存儲器218(步驟245)，閾值控制單元215將閾值遞增到下一個值(步驟246A)。
然后確定是否已經(jīng)測試了所有閾值(步驟246B)。如果還沒有測試所有的閾值，控制環(huán)路到步驟242并且利用不同的閾值測量同一個畫面的圖像質(zhì)量。如果已經(jīng)測試了所有閾值，控制進(jìn)行到步驟247。
然后在步驟247遞增當(dāng)前幀編號current_frame。即，正在處理的畫面從第一畫面(第一幀)變?yōu)榈诙嬅?第二幀)，并且下一個畫面輸出到，例如，圖14中所示的優(yōu)化閾值選擇單元226和視頻編碼器227或圖13中所示的存儲器217、運(yùn)動檢測單元30和減法器42。
然后，步驟248確定當(dāng)前幀編號current_frame是否已經(jīng)達(dá)到目的幀target_frame。如果還沒有達(dá)到，重復(fù)步驟241到247。如果current_frame等于target_frame，結(jié)束圖像質(zhì)量測量過程。
圖17是用來根據(jù)圖15或圖16所描述的閾值選擇優(yōu)化閾值的方法的流程圖和以該閾值測量圖像質(zhì)量的結(jié)果。
選擇單元219得到圖像質(zhì)量測量結(jié)果和圖17中步驟249中相應(yīng)的閾值數(shù)據(jù)。
然后，按指定順序排列測量結(jié)果(步驟250)。
然后，根據(jù)指定條件選擇具有最佳圖像質(zhì)量的畫面(步驟251)，選擇這個圖像的閾值作為最佳閾值。這些指定條件可以是下列中的任何一個或組合低S/N比，重構(gòu)圖像(在該閾值被去塊的畫面)和原始畫面(輸入圖像信號Vin)之間的最小差值，和該差值的最低均方。
然后，將所選擇的優(yōu)化閾值作為濾波設(shè)置參數(shù)信號FtrStr輸出到，例如，圖14中的視頻編碼器227(步驟252)。
利用參考圖17描述的方法可以選擇最佳閾值。
如上所述，該優(yōu)選實(shí)施例測量指定范圍內(nèi)所有閾值的圖像質(zhì)量，收集圖像質(zhì)量測量結(jié)果，并且從結(jié)果中選擇優(yōu)化閾值。還可以在閾值范圍內(nèi)按所有閾值的順序測量圖像質(zhì)量，當(dāng)檢測出具有最佳圖像質(zhì)量的點(diǎn)后結(jié)束圖像質(zhì)量的測量，選擇產(chǎn)生該圖像質(zhì)量結(jié)果的閾值作為優(yōu)化閾值。該方法可以減少執(zhí)行圖像質(zhì)量測量的次數(shù)。
給定塊的編碼失真消除過程將該塊中的像素值和相鄰塊中的像素值比較。在這種情況下，相鄰塊是已經(jīng)結(jié)束編碼失真消除過程和已經(jīng)結(jié)束像素值糾正的塊。
當(dāng)從圖18中的塊G消除編碼失真后，例如，可以通過與四個相鄰塊E、D、H和M中任何一個比較來消除編碼失真。但是，通過利用已經(jīng)結(jié)束編碼失真消除過程的塊，可以更精確地消除編碼失真。
最好按掃描順序以線性序列消除編碼失真。就是說，按水平掃描線序列中沿畫面的水平掃描線的掃描方向消除編碼失真。
換句話說，參見圖18，首先對第一掃描行的塊A、B、E、F執(zhí)行編碼失真消除過程，然后處理下一行的塊C、D、G、H，依次類推。每個塊有四個邊界，但是最好利用與上邊界和左邊界接觸的相鄰塊來實(shí)施編碼失真消除過程。
這種情況下，因?yàn)橄噜弶K與它的上邊界或左邊界接觸，所以不對塊A實(shí)施編碼失真消除處理。
同樣，沒有與塊B的上邊界接觸的相鄰塊，因此利用與塊B的左邊界接觸的塊A來實(shí)施去塊。
塊E和D分別與塊G的上邊界和左邊界相鄰，因此當(dāng)不使用塊H和M時(shí)，利用塊E和D從塊G消除編碼失真。
通過從新塊和編碼失真已經(jīng)消除的相鄰塊之間消除編碼失真，并且不參考還沒有進(jìn)行編碼失真處理的相鄰塊，可以更精確地消除編碼失真。
實(shí)施例5本實(shí)施例首先描述將像素分割為分別有多個像素的組，如一列中包含4個像素的組，然后將組配對，對組對實(shí)施編碼失真消除。本實(shí)施例中使用的編碼失真消除過程是指確定是否對塊邊界兩側(cè)的區(qū)域?qū)嵤┤K，以及去塊操作本身這二種過程或其中的一個過程。塊可以是16個像素的4×4塊，即，最小編碼單元，或參考圖3的上述施加運(yùn)動補(bǔ)償?shù)娜魏螇K。
如圖19所示，一個組中的4個像素是利用塊邊界按行排列的4個像素的組。圖19中示出了4個這樣的組，r1、r2、r3和r4。來自這4個組r1、r2、r3和r4的數(shù)據(jù)可以存儲到4個寄存器中(例如，SIMD寄存器)。組r1、r2和組r3、r4對稱地位于塊邊界的左側(cè)和右側(cè)。組r1中的像素值與組r2中的像素值比較，然后利用得到的差值實(shí)施編碼失真消除。
更準(zhǔn)確地說，獲得組r1中的頂端像素和組r2中的頂端像素之間的差值1，組r1中的頂端之次行的像素和組r2中的頂端之次行的像素之間的差值2，組r1中底端之上一行的像素和組r2中底端之上一行的像素的差值3和組r1底端像素和組r2底端像素的差值4。差值1、差值2、差值3和差值4的平均值，或是差值1、差值2、差值3和差值4的絕對值之和用作典型差值，并且將該典型差值與給定的閾值比較。也可以用其它方法。因?yàn)檫@些操作是以同組中的4個像素為單位來執(zhí)行，所以與一次處理一個像素相比，采用并行處理明顯地提高了整體速度。
雖然上面描述了僅利用組r1和組r2進(jìn)行的比較，如果要求更精確，可以比較組r3中的像素亮度和組r4中的像素亮度，然后把來自組r1和組r2的比較結(jié)果的典型差值加到來自組r3和組r4的典型差值，或者與組r3和組r4的典型差值平均來消除編碼失真。
上述操作應(yīng)用于垂直塊邊界，但是也可以通過沿著水平邊界簡單地組配4個像素一組的水平組來實(shí)施實(shí)質(zhì)上相同的操作。
圖20(a)和(b)示出了屏幕上掃描線交替的情況。隔行畫面是指由在不同時(shí)間表示的兩個場組成一幀的畫面?？梢酝ㄟ^將一個幀處理為一個幀，兩個場，或者通過一個幀中的幀結(jié)構(gòu)或場結(jié)構(gòu)來完成對隔行畫面的編碼和解碼。在圖20中，小灰方塊代表奇數(shù)行像素，小白方塊代表偶數(shù)行像素。奇數(shù)行的灰色像素形成一幀的一場，而偶數(shù)行上的白色像素形成同一幀上的另一場。
在隔行畫面信號中，一幀由在不同時(shí)刻的兩場(偶數(shù)場和奇數(shù)場)組成。在靜態(tài)畫面中像素值不隨時(shí)間改變，并且一幀中垂直相鄰行之間的相關(guān)性比一場中垂直相鄰行之間的相關(guān)性強(qiáng)。然而，在運(yùn)動畫面中，畫面隨時(shí)間的變化很大，兩個場中的像素值有很大不同，并且一場中垂直相鄰行之間的相關(guān)性比一幀中垂直相鄰行之間的相關(guān)性強(qiáng)。因此，按幀處理靜態(tài)畫面而按場處理運(yùn)動畫面會更有效。
在隔行畫面中，(1)所有塊都可以是幀結(jié)構(gòu)塊(下面會進(jìn)一步描述幀結(jié)構(gòu)塊)，(2)所有塊都可以是場結(jié)構(gòu)塊(下面會進(jìn)一步描述場結(jié)構(gòu)塊)，或者(3)畫面可以包含幀結(jié)構(gòu)和場結(jié)構(gòu)二者。
如果畫面包含所有幀結(jié)構(gòu)塊(1)，那么由幀結(jié)構(gòu)單元實(shí)施所有去塊。如果畫面包含所有場結(jié)構(gòu)塊(2)，那么由場結(jié)構(gòu)單元實(shí)施所有去塊。如果畫面包含幀結(jié)構(gòu)和場結(jié)構(gòu)塊(3)，那么通過從場結(jié)構(gòu)向幀結(jié)構(gòu)或從幀結(jié)構(gòu)向場結(jié)構(gòu)的自適應(yīng)轉(zhuǎn)換來實(shí)施去塊。下面將更詳細(xì)地描述這些操作。
如圖20(a)(以下稱“幀結(jié)構(gòu)”)所示，用由奇數(shù)場和偶數(shù)場組成的幀單元處理靜止圖像或包含輕微運(yùn)動的隔行畫面。在幀結(jié)構(gòu)中，如圖20(a)的右側(cè)所示，16個像素的塊包含奇數(shù)行像素和偶數(shù)行像素。利用幀結(jié)構(gòu)在塊之間實(shí)施編碼失真消除過程。即，如參考圖8(b)所描述的，對塊邊界實(shí)施編碼失真消除過程。
如圖20(b)(以下稱“場結(jié)構(gòu)”)所示，由分為奇數(shù)場和偶數(shù)場的場單元處理劇烈運(yùn)動的隔行畫面。如圖20(b)的右側(cè)所示，畫面分為奇數(shù)行的奇數(shù)場和偶數(shù)行的偶數(shù)場；奇數(shù)場包含奇數(shù)行的塊，而偶數(shù)場包含偶數(shù)行的塊。只在僅奇數(shù)行的場結(jié)構(gòu)塊或僅偶數(shù)行的場結(jié)構(gòu)塊之間實(shí)施編碼失真消除過程。
圖21(a)示出了隔行畫面的一部分由幀結(jié)構(gòu)塊組成，而另一部分由場結(jié)構(gòu)塊組成的情況。最好是，圖像的運(yùn)動畫面部分包含場結(jié)構(gòu)塊，而靜態(tài)畫面部分包含幀結(jié)構(gòu)塊。由場結(jié)構(gòu)或幀結(jié)構(gòu)形成的最小單位稱為宏塊，即，實(shí)施DCT或其它正交變換或運(yùn)動補(bǔ)償?shù)淖畲髥挝?或多個宏塊的超級宏塊)。下面假設(shè)圖21(a)中包含汽車的長方形中包含場結(jié)構(gòu)塊，而畫面的其余部分包含幀結(jié)構(gòu)塊。
接下來描述如何向場結(jié)構(gòu)部分和幀結(jié)構(gòu)部分之間的邊界實(shí)施編碼失真消除。
參見圖21(b)，列C1、C2、C3和C4中的塊屬于包含汽車的圖像區(qū)域，并且因?yàn)樵谠搱D像區(qū)域中有運(yùn)動所以具有場結(jié)構(gòu)。列C5、C6、C7和C8中的塊屬于汽車不在的圖像區(qū)域，即，靜態(tài)畫面區(qū)域，因此具有有效幀結(jié)構(gòu)。應(yīng)注意，在這個例子中，宏塊在每側(cè)有16個像素，而塊在每側(cè)有4個像素。圖21(b)中所示的列C4和C5是分開的，但實(shí)際上在畫面中是相鄰的。在列C3和C4之間的塊邊界和列C5和C6之間的塊邊界實(shí)施如圖8(b)所示的編碼失真消除。
為處理列C4和C5之間的塊邊界，列C5中的幀結(jié)構(gòu)塊首先被轉(zhuǎn)換為如圖21(c)所示的場結(jié)構(gòu)塊。它是通過將圖21(b)中所示的列C5中的奇數(shù)行像素轉(zhuǎn)換為如圖21(c)中所示的列C5中的灰色像素塊，并且將圖21(b)中所示的列C5中的偶數(shù)行像素轉(zhuǎn)換為如圖21(c)中所示的列C5中的白色像素塊來進(jìn)行的。然后如圖8(b)所示消除列C4和C5之間的塊邊界的編碼失真。
當(dāng)畫面中有運(yùn)動時(shí)因?yàn)槿绻麑鼋Y(jié)構(gòu)塊轉(zhuǎn)換為幀結(jié)構(gòu)塊，那么像素之間的垂直相關(guān)性會丟失，并且如果在垂直相鄰塊之間實(shí)施編碼失真消除過程會發(fā)生非自然衰減，因此要將幀結(jié)構(gòu)塊轉(zhuǎn)換為場結(jié)構(gòu)塊。另一方面，如果在靜態(tài)畫面中將幀結(jié)構(gòu)塊轉(zhuǎn)換為場結(jié)構(gòu)塊，那么會減小在垂直方向上高頻分量的編碼錯誤抑制，因此像素之間的垂直相關(guān)性不會丟失并且也不容易發(fā)生非自然的圖像質(zhì)量下降。
在上述例子中，將幀結(jié)構(gòu)塊轉(zhuǎn)換為場結(jié)構(gòu)塊以減少處理量(只將幀轉(zhuǎn)換為場)。但是，如果不關(guān)心操作次數(shù)，可以使用另一種方法，即將幀轉(zhuǎn)換為場并將場轉(zhuǎn)換為幀，由于需要將場轉(zhuǎn)換為幀的額外處理，因此與前一個例子相比增加了操作次數(shù)。更準(zhǔn)確地說，首先確定要進(jìn)行編碼失真消除的目的像素(即，要通過去塊來改變像素值的當(dāng)前像素)是在幀結(jié)構(gòu)塊中還是在場結(jié)構(gòu)塊中。如果要進(jìn)行編碼失真消除的目的像素在場結(jié)構(gòu)塊中，那么將幀結(jié)構(gòu)塊轉(zhuǎn)換為場結(jié)構(gòu)塊(即，目的像素的塊類型)，而如果要進(jìn)行編碼失真消除的目的像素在幀結(jié)構(gòu)塊中，那么將場結(jié)構(gòu)塊轉(zhuǎn)換為幀結(jié)構(gòu)塊(即，目的像素的塊類型)。
接下來參考圖22中的流程圖描述幀結(jié)構(gòu)和場結(jié)構(gòu)混合在一起時(shí)的操作。
隔行圖像信號流中的幀由兩個在不同時(shí)刻掃描的場組成。因此可以通過將兩個場組合為一個編碼單元對一幀進(jìn)行幀編碼(幀結(jié)構(gòu)編碼)，或者可以利用分開編碼和處理的兩場進(jìn)行場編碼(場結(jié)構(gòu)編碼)。這些編碼方法也可以分組成下面的兩類，固定編碼和自適應(yīng)編碼。對于固定編碼，在幀編碼或場編碼之間切換整個畫面。對于自適應(yīng)編碼，將圖像畫面分割為若干個塊，并且每個塊為幀編碼或場編碼。
固定編碼還包括應(yīng)用在幀結(jié)構(gòu)塊的固定幀編碼，和應(yīng)用在場結(jié)構(gòu)塊的固定場編碼。對于固定編碼，總是用幀編碼或場編碼來對隔行視頻序列編碼，而與內(nèi)容無關(guān)。
但是，對于自適應(yīng)編碼，可以根據(jù)內(nèi)容、畫面、或畫面中的編碼塊單元自適應(yīng)選擇幀編碼或場編碼。這些畫面中的編碼塊可以象宏塊一樣小。對于自適應(yīng)編碼，可以因此利用幀編碼或場編碼對單個宏塊進(jìn)行編碼。用宏塊作為下面的編碼單元。
可以利用應(yīng)用于非隔行視頻的相同技術(shù)對幀編碼塊，即，具有幀結(jié)構(gòu)的塊進(jìn)行編碼失真消除的處理。
對于場編碼塊，即具有場結(jié)構(gòu)的塊，將場劃分為偶數(shù)場和奇數(shù)場，每個場作為單獨(dú)的畫面處理，然后對每個場實(shí)施去塊。
參考圖22中的流程圖，首先要確定目的塊是場編碼還是幀編碼(步驟63)。如果塊是場編碼，運(yùn)行步驟64到69。如果塊是幀編碼，運(yùn)行步驟70到72。
步驟64到66處理偶數(shù)場結(jié)構(gòu)塊，而步驟67到69處理奇數(shù)場結(jié)構(gòu)塊。步驟64到66消除圖21(b)中列C3和C4之間的邊界處白色像素之間的編碼失真，而步驟67到69消除圖21(b)中列C3和C4之間的邊界處灰色像素之間的編碼失真。
更準(zhǔn)確地說，在步驟64中比較像素亮度以確定是否需要編碼失真消除。接著，在步驟65中確定要濾波的像素?cái)?shù)量。然后在步驟66中以場模式消除編碼失真。
步驟67、68和69分別執(zhí)行與步驟64、65和66相同的操作。
步驟70到72處理幀結(jié)構(gòu)塊以消除圖21(b)中列C5和C6之間邊界處的編碼失真。更準(zhǔn)確地說，在步驟70中比較像素亮度以確定是否需要編碼失真消除。然后，在步驟71中確定要濾波的像素?cái)?shù)量。然后在步驟72中以幀模式消除編碼失真。
在步驟73中確定是否所有的塊都已經(jīng)被處理，以及它們的操作是否結(jié)束。
圖23顯示了另一種方法，其中將圖22中的步驟64和67組合為一個單個步驟。更準(zhǔn)確地說，確定是否需要從偶數(shù)場塊和奇數(shù)場塊消除編碼失真，以及是否需要對偶數(shù)和奇數(shù)場塊實(shí)施去塊。這樣做簡化了編碼失真消除過程。
圖24顯示了另一種方法，其中將圖23中的步驟65和68組合為一個單個操作來確定要去塊的偶數(shù)場塊和奇數(shù)場塊中像素的數(shù)量。然后根據(jù)該結(jié)果對偶數(shù)和奇數(shù)場塊實(shí)施編碼失真消除。該方法進(jìn)一步簡化了編碼失真消除過程。
圖25是在幀編碼塊和場編碼塊混合在一個單個畫面中，并且塊邊界在幀結(jié)構(gòu)塊和場結(jié)構(gòu)塊之間時(shí)使用的處理的流程圖。
首先，步驟95確定正在要進(jìn)行編碼失真消除處理的塊之間的邊界線是否為指定的邊界線，即，是否為幀結(jié)構(gòu)塊在該線的一側(cè)而場結(jié)構(gòu)塊在線的另一側(cè)。這與確定該線是否在圖21(b)中列C4和C5之間類似。如果是(步驟95返回是)，那么控制進(jìn)行到步驟96。
然后，將邊界一側(cè)的幀結(jié)構(gòu)塊轉(zhuǎn)換為場結(jié)構(gòu)塊(步驟96)。這個轉(zhuǎn)換過程與圖21(b)中列C5中的塊轉(zhuǎn)換到圖21(c)中列C5中的塊類似。以下稱轉(zhuǎn)換后的塊為“轉(zhuǎn)換塊”。
然后，確定在轉(zhuǎn)換塊和邊界另一側(cè)的場結(jié)構(gòu)塊之間是否需要編碼失真消除(步驟97)。這一步與確定在圖21(c)中的列C4和C5之間邊界是否需要去塊類似。如果需要，控制進(jìn)行到步驟98。
接著確定要濾波的像素?cái)?shù)量(步驟98)，然后以場模式消除編碼失真(步驟99)。
圖25顯示了幀結(jié)構(gòu)塊轉(zhuǎn)換為場結(jié)構(gòu)塊并且當(dāng)自適應(yīng)編碼的幀結(jié)構(gòu)和場結(jié)構(gòu)塊相鄰時(shí)從場中消除編碼失真的方法，但是也可以反過來將場結(jié)構(gòu)塊轉(zhuǎn)換為幀結(jié)構(gòu)塊，然后基于幀消除編碼失真。
如圖25中所示的基于場消除編碼失真的優(yōu)點(diǎn)在于操作可以阻止非自然圖像質(zhì)量的下降，這是因?yàn)榧词乖诳焖龠\(yùn)動的圖像信號中只使用在相同時(shí)刻的像素來消除編碼失真。另一方面，由于在幀中垂直方向上的像素之間的相關(guān)性比具有輕微運(yùn)動的圖像信號中場的強(qiáng)，因此基于幀的去塊產(chǎn)生的高頻分量的惡化比基于場進(jìn)行去塊的惡化要小。兩種方法都有優(yōu)勢，設(shè)備制造商可以選擇提供優(yōu)選的方法或裝置，以便用戶可以選擇想要的方法。
還可以利用畫面單元(幀或場)而不是具有自適應(yīng)編碼的塊單元來實(shí)施編碼失真消除。通過提供用來處理畫面單元的一種場模式或幀模式去塊濾波器來簡化去塊濾波器。濾波器可以固定為場模式或幀模式，或者可以基于畫面切換。如果濾波器是基于畫面切換的，那么編碼裝置可以確定適合的模式，并且表示解碼裝置的去塊濾波器以場模式操作還是以幀模式操作的識別信號可以添加到代碼流頭部然后發(fā)送到解碼器。
另外，當(dāng)場或幀模式操作可以基于塊單元切換，并且禁止基于場的去塊和切換(例如，通過設(shè)置畫面參數(shù)來禁止在畫面中切換)時(shí)，可以由幀單元來消除編碼失真。
應(yīng)該注意的是，上述第一到第五個實(shí)施例中的去塊濾波器可以用作圖32所示的后置濾波器或圖33中所示的環(huán)路濾波器。
通過在去塊操作前將數(shù)據(jù)存儲到存儲器64中，還沒有消除塊失真的圖像在被用作環(huán)路濾波器時(shí)被稱作為預(yù)定畫面，與使用去塊畫面作為預(yù)定畫面相比，編碼圖像質(zhì)量的下降得稍微多一些。
另一方面，當(dāng)用作后置濾波器時(shí)，由于消除編碼失真后的結(jié)果不作為參考圖像，與使用的去塊濾波器的類型無關(guān)，解碼圖像質(zhì)量不會下降很多。例如，可以用執(zhí)行最少操作的簡單濾波器作為優(yōu)先要求低功率消耗的設(shè)備，如蜂窩電話中的去塊濾波器62，而可以用高精度、高圖像質(zhì)量的濾波器作為實(shí)現(xiàn)要求圖像質(zhì)量的固定娛樂系統(tǒng)中的去塊濾波器62。
實(shí)施例6通過將前面實(shí)施例中所述的實(shí)現(xiàn)編碼失真消除方法、編碼方法和解碼方法的步驟的程序記錄在軟盤或其它計(jì)算機(jī)可讀的數(shù)據(jù)記錄介質(zhì)上，可以很容易在獨(dú)立的計(jì)算機(jī)系統(tǒng)上執(zhí)行上面實(shí)施例中描述的過程。
圖26顯示了利用存儲上面第一到第五實(shí)施例所述的編碼失真消除方法、編碼方法和解碼方法的數(shù)據(jù)存儲介質(zhì)(在這個例子中是軟盤)來獲得本發(fā)明另一個實(shí)施例的計(jì)算機(jī)系統(tǒng)。
圖26(b)顯示了從前面看的軟盤，軟盤截面，和實(shí)際的盤介質(zhì)，圖26(a)顯示了典型的軟盤記錄介質(zhì)的物理格式。軟盤FD內(nèi)置在盒F中。從盤表面的外圓周向內(nèi)圓周形成了多個同心軌跡Tr，軌跡沿角方向分成16個扇區(qū)Se。根據(jù)本發(fā)明存儲上述程序的軟盤FD中具有本發(fā)明的編碼失真消除方法、編碼方法和解碼方法作為計(jì)算機(jī)可執(zhí)行程序記錄在軟盤FD中指定的區(qū)域。
圖26(c)顯示了利用軟盤FD記錄和讀取這些程序的裝置。為了將這些程序記錄到軟盤FD上，計(jì)算機(jī)系統(tǒng)Cs通過軟盤驅(qū)動器FDD將編碼失真消除方法、編碼方法、和解碼方法作為程序?qū)懭搿榱嗽谟?jì)算機(jī)系統(tǒng)上從存儲到軟盤FD的程序編碼失真消除方法、編碼方法、和解碼方法，通過軟盤驅(qū)動器從軟盤FD上讀取程序然后傳送到計(jì)算機(jī)系統(tǒng)。
應(yīng)該注意的是，雖然上面描述軟盤作為數(shù)據(jù)記錄介質(zhì)，也可以使用光盤或其它類型的計(jì)算機(jī)可讀介質(zhì)，包括CD-ROM、存儲卡、ROM盒，或其它類似的可記錄程序的任何介質(zhì)。
下面將描述根據(jù)上述實(shí)施例實(shí)施視頻編碼方法和視頻解碼方法的系統(tǒng)。
圖27是表示用來提供內(nèi)容發(fā)布服務(wù)的內(nèi)容提供系統(tǒng)ex100的整體配置的示意圖。該通信系統(tǒng)的服務(wù)區(qū)被分為指定大小的小區(qū)，每個小區(qū)中安裝了基站ex107到ex110(固定無線基站)。
該內(nèi)容提供系統(tǒng)ex100有大量例如通過因特網(wǎng)服務(wù)提供商ex102、電話網(wǎng)ex104，和基站ex107到ex110連接到因特網(wǎng)ex101的獨(dú)立設(shè)備，如計(jì)算機(jī)ex111、PDA(個人數(shù)字助理)ex112、攝像機(jī)ex113、蜂窩電話ex114和帶照相機(jī)的蜂窩電話ex115。
然而，該內(nèi)容提供系統(tǒng)ex100不應(yīng)該僅限于圖27所示的配置，還應(yīng)該可以選擇地連接需要的設(shè)備。單個設(shè)備也可以不通過固定基站ex107到ex110而直接連接到電話網(wǎng)ex104。
攝像機(jī)ex113是數(shù)字視頻攝像機(jī)或其它能捕獲視頻圖像的裝置。蜂窩電話可以使用各種協(xié)議中的任何一種，包括PDC(個人數(shù)字通信)、CDMA(碼分多址)、W-CDMA(寬帶碼分多址)、GSM(全球移動通信系統(tǒng))，和PHS(個人手持系統(tǒng))。
攝像機(jī)ex113可以通過基站ex109和電話網(wǎng)ex104連接到可以將用戶利用攝像機(jī)ex113發(fā)送的已編碼內(nèi)容制作為流實(shí)況廣播的流服務(wù)器ex103。從攝像機(jī)ex113接收的內(nèi)容可以由攝像機(jī)ex113或由服務(wù)器編碼。由照相機(jī)ex116捕獲的視頻數(shù)據(jù)也可以通過計(jì)算機(jī)ex111發(fā)送到流服務(wù)器ex103。該照相機(jī)ex116是數(shù)字照像機(jī)或其它可以捕獲靜態(tài)畫面和視頻的裝置。從照相機(jī)ex116接收的視頻數(shù)據(jù)可以由照相機(jī)ex116或計(jì)算機(jī)ex111編碼。任何一種情況下，視頻數(shù)據(jù)由計(jì)算機(jī)ex111中的LSI裝置ex117或照相機(jī)ex116處理。用于視頻編碼和解碼的軟件可以存儲在任何計(jì)算機(jī)ex111可以訪問的計(jì)算機(jī)可讀數(shù)據(jù)記錄介質(zhì)上(如CD-ROM、軟盤或硬盤)。
視頻數(shù)據(jù)也可以由帶照相機(jī)的蜂窩電話ex115發(fā)送。在這種情況下，視頻數(shù)據(jù)由帶照相機(jī)的蜂窩電話ex115中的LSI裝置來編碼。
利用該內(nèi)容提供系統(tǒng)ex100，可以對由用戶利用攝像機(jī)ex113、照相機(jī)ex116，或其它裝置記錄的內(nèi)容(如內(nèi)容的現(xiàn)場錄制)如本發(fā)明上面實(shí)施例描述的進(jìn)行編碼并發(fā)送到流服務(wù)器ex103中。然后，流服務(wù)器ex103向請求數(shù)據(jù)的客戶端輸出內(nèi)容數(shù)據(jù)?？蛻舳丝梢允侨魏文軌?qū)σ丫幋a內(nèi)容解碼的裝置，包括計(jì)算機(jī)ex111、PDA ex112、攝像機(jī)ex113、以及蜂窩電話ex114。內(nèi)容提供系統(tǒng)ex110可以使客戶端接收和再現(xiàn)已編碼的內(nèi)容數(shù)據(jù)，可以使客戶端實(shí)時(shí)接收、解碼、和播放內(nèi)容，因此是各能夠進(jìn)行個人廣播的系統(tǒng)。
上面實(shí)施例所述的本發(fā)明的視頻編碼裝置和視頻解碼裝置可以通過該內(nèi)容提供系統(tǒng)ex100中的單個裝置來用于編碼和解碼。
下面通過實(shí)例描述用于該內(nèi)容提供系統(tǒng)ex100的蜂窩電話。
圖28顯示了利用根據(jù)本發(fā)明上述視頻編碼方法和視頻解碼方法的蜂窩電話ex115。如圖28所示，這個帶有照相機(jī)的蜂窩電話ex115有一個用來與基站ex110交換RF信號的天線ex201、諸如CCD照相機(jī)之類用來捕獲視頻和靜態(tài)畫面的攝像頭ex203、諸如LCD之類用來顯示由攝像頭ex203捕獲的圖像或由天線ex201接收的圖像然后解碼的顯示單元ex202；具有鍵盤ex204和其它控制的操作面板；諸如揚(yáng)聲器ex208之類用來輸出音頻的音頻輸出單元；麥克風(fēng)ex205或其它類型的音頻輸入裝置；用來存儲由攝像頭ex203捕獲的諸如視頻或靜止圖像之類的已編碼或已解碼數(shù)據(jù)、接收到的e-mail、或其它視頻或靜態(tài)畫面數(shù)據(jù)的記錄介質(zhì)ex207；以及用來將記錄介質(zhì)ex207裝載到蜂窩電話ex115上的插槽ex206。記錄介質(zhì)ex207可以是SD卡或其它類型的閃存裝置，例如內(nèi)置在塑料盒中的EEPROM(電可擦可編程只讀存儲器)。
通過參考圖29進(jìn)一步描述蜂窩電話ex115。通過同步總線ex313連接到主控制器ex311，用于系統(tǒng)地控制包括顯示單元ex202和鍵盤ex204蜂窩電話ex115的每一部分的是電源電路ex310、操作輸入控制器ex304、圖像編碼單元ex312、攝像頭接口ex303、LCD控制器ex302、圖像解碼單元ex309、多路復(fù)用器/多路分解器ex308、讀/寫單元ex307、調(diào)制器/解調(diào)器單元ex306、和音頻處理單元ex305。
當(dāng)用戶將通話結(jié)束和電源鍵設(shè)置為開的位置時(shí)，電源電路ex310從電池組向蜂窩電話ex115的每個部分供電，并且將帶有攝像頭的數(shù)字蜂窩電話設(shè)置為工作模式。
由主控制器ex311控制，通常包括CPU、ROM和RAM的蜂窩電話ex115將通話模式時(shí)由麥克風(fēng)ex205采集的音頻信號由音頻處理單元ex305轉(zhuǎn)換為數(shù)字音頻數(shù)據(jù)。然后調(diào)制器/解調(diào)器單元ex306對音頻處理單元ex305的輸出擴(kuò)頻，通信電路ex301實(shí)施D/A轉(zhuǎn)換和頻率轉(zhuǎn)換處理，然后通過天線ex201輸出。在通話模式時(shí)，蜂窩電話ex115放大通過天線ex201接收到的信號并實(shí)施頻率轉(zhuǎn)換和A/D處理，調(diào)制器/解調(diào)器單元ex306對信號解擴(kuò)展，然后，音頻處理單元ex305將解擴(kuò)展的信號轉(zhuǎn)換為模擬音頻信號，并從揚(yáng)聲器ex208輸出模擬音頻信號。
如果在數(shù)據(jù)通信模式時(shí)發(fā)送電子郵件，利用鍵盤ex204輸入電子郵件消息的文本數(shù)據(jù)，然后通過操作輸入控制器ex304發(fā)送到主控制器ex311。接著，主控制器ex311利用調(diào)制器/解調(diào)器單元ex306對文本數(shù)據(jù)擴(kuò)頻，利用通信電路ex301進(jìn)行D/A轉(zhuǎn)換和頻率轉(zhuǎn)換處理，然后從天線ex201發(fā)送到基站ex110。
為了在數(shù)據(jù)通信模式時(shí)發(fā)送圖像數(shù)據(jù)，利用攝像頭ex203捕獲到的圖像數(shù)據(jù)通過攝像頭接口ex303提供給圖像編碼單元ex312。如果圖像數(shù)據(jù)沒有發(fā)送，那么由攝像頭ex302捕獲到的圖像數(shù)據(jù)可以通過攝像頭接口ex303和LCD控制器ex302直接顯示在顯示單元ex202上。
圖像編碼單元ex312具有根據(jù)本發(fā)明的圖像編碼裝置的配置。它利用前面實(shí)施例中描述的圖像編碼裝置中使用的編碼方法通過壓縮編碼將攝像頭ex203提供的圖像數(shù)據(jù)轉(zhuǎn)換為已編碼圖像數(shù)據(jù)，然后將編碼圖像數(shù)據(jù)輸出到多路復(fù)用器/多路分解器ex308。當(dāng)攝像頭ex203記錄時(shí)，由蜂窩電話ex115的麥克風(fēng)ex205捕獲的音頻由音頻處理單元ex305也發(fā)送到多路復(fù)用器/多路分解器ex308作為數(shù)字音頻數(shù)據(jù)。
多路復(fù)用器/多路分解器ex308將從圖像編碼單元ex312提供的編碼畫面數(shù)據(jù)與從音頻處理單元ex305提供的音頻數(shù)據(jù)多路復(fù)用。然后由調(diào)制器/解調(diào)器單元ex306對多路復(fù)用的數(shù)據(jù)進(jìn)行擴(kuò)頻，由通信電路ex301實(shí)施D/A轉(zhuǎn)換和頻率轉(zhuǎn)換，然后從天線ex201發(fā)送該信號。
如果在數(shù)據(jù)通信模式接收到來自從因特網(wǎng)上的站點(diǎn)訪問的視頻文件的數(shù)據(jù)，那么由調(diào)制器/解調(diào)器單元ex306對通過天線ex201從基站ex110接收到的信號解擴(kuò)頻，并將得到的多路復(fù)用數(shù)據(jù)發(fā)送到多路復(fù)用器/多路分解器ex308。
為了對通過天線ex201接收的多路復(fù)用數(shù)據(jù)解碼，多路復(fù)用器/多路分解器ex308多路分解該多路復(fù)用數(shù)據(jù)以分開編碼視頻數(shù)據(jù)比特流和編碼音頻數(shù)據(jù)比特流。然后，通過同步總線ex313將編碼視頻數(shù)據(jù)比特流提供給圖像解碼單元ex309，和將編碼音頻數(shù)據(jù)比特流提供給音頻處理單元ex305。
圖像解碼單元ex309具有與上面實(shí)施例所述的圖像解碼裝置相同的配置。它利用與上述編碼方法對應(yīng)的解碼方法通過對編碼視頻數(shù)據(jù)比特流解碼來產(chǎn)生重構(gòu)視頻數(shù)據(jù)，并通過LCD控制器ex302將解碼視頻數(shù)據(jù)提供給顯示單元ex202。這樣，可以顯示從因特網(wǎng)上的主頁訪問的視頻文件的視頻數(shù)據(jù)。音頻處理單元ex305還同時(shí)將音頻數(shù)據(jù)轉(zhuǎn)換為模擬音頻信號，并且將結(jié)果提供給揚(yáng)聲器ex208。這樣，從因特網(wǎng)的主頁訪問到的視頻文件中包含的音頻數(shù)據(jù)也可以從揚(yáng)聲器再現(xiàn)。
本發(fā)明的通信系統(tǒng)不僅限于上述配置。例如，該系統(tǒng)可以利用本發(fā)明的圖像編碼裝置和/或圖像解碼裝置采用如圖30所示的數(shù)字廣播系統(tǒng)來訪問通過衛(wèi)星或地面網(wǎng)發(fā)射的數(shù)字廣播。
更具體地說，廣播站ex409通過無線電波向通信或廣播衛(wèi)星ex410發(fā)射編碼的視頻數(shù)據(jù)比特流。接收到該發(fā)射的廣播衛(wèi)星ex410發(fā)射例如利用衛(wèi)星廣播接收機(jī)由家中的天線ex406接收的廣播信號。然后，由電視接收機(jī)ex401、機(jī)頂盒(STB)ex407，或其它裝置對編碼的比特流解碼和重構(gòu)。
本發(fā)明的視頻解碼裝置也可以由用來讀取和解碼記錄在諸如CD、DVD或其它存儲介質(zhì)ex402之類的記錄介質(zhì)上的已編碼比特流的播放裝置ex403來實(shí)現(xiàn)。在這種情況下，重構(gòu)的視頻信號顯示在例如監(jiān)視器ex404上。
本發(fā)明的圖像解碼裝置也可以內(nèi)置在與衛(wèi)星或地面廣播天線ex406或用來接入有線電視的有線天線ex405相連的機(jī)頂盒ex407中。該機(jī)頂盒ex407的輸出也可以顯示在電視機(jī)的顯示器ex408上。
圖像解碼裝置還可以內(nèi)置在電視機(jī)中而不是機(jī)頂盒中。
也可以從天線ex410或基站ex107由具有相應(yīng)天線ex411的汽車ex412接收信號，并將解碼的視頻可以顯示在汽車ex412中的汽車導(dǎo)航系統(tǒng)的顯示器上。
視頻信號還可以由根據(jù)本發(fā)明實(shí)施例的視頻編碼裝置來編碼然并記錄在數(shù)據(jù)記錄介質(zhì)上。更具體地說，DVD記錄機(jī)可以將圖像信號錄制到DVD盤ex421上，或者硬盤記錄器ex420可以記錄圖像信號。視頻信號還可以記錄到SD卡ex422。如果記錄器ex420具有根據(jù)本發(fā)明的視頻解碼裝置，那么它還可以在監(jiān)視器ex408上播放和顯示記錄到DVD盤ex421、SD卡ex422，或其它存儲介質(zhì)上的視頻信號。
應(yīng)該注意的是，汽車導(dǎo)航系統(tǒng)ex413可以不配置圖29中所示的攝像頭ex203、攝像頭接口ex303和圖像編碼單元ex312。這樣也可以應(yīng)用到，例如計(jì)算機(jī)ex111和電視(接收機(jī))ex401。
蜂窩電話ex1 14或其它終端可以作為具有上述編碼器和解碼器的收發(fā)機(jī)終端，或者它可以作為只有編碼器的發(fā)射終端，或只有解碼器的接收終端。
很明顯，本發(fā)明的編碼裝置和解碼裝置不只限于上述第一到第六個實(shí)施例所述的配置，可以有多種變化方式。
上面實(shí)施例描述的視頻編碼方法和視頻解碼方法可以用于上述任何一種裝置和系統(tǒng)，并且獲得這些實(shí)施例的效果。
本發(fā)明的編碼失真消除方法提供了具有簡單處理的編碼失真消除方法，一種幾乎沒有因編碼失真而造成圖像信號的圖像質(zhì)量降低的可能性的編碼失真消除方法，以及可以減小作為消除編碼失真的結(jié)果而降低圖像信號的圖像質(zhì)量的可能性的編碼方法和解碼方法。因此本發(fā)明具有很高的實(shí)用價(jià)值。
雖然已本發(fā)明參考附圖結(jié)合優(yōu)選實(shí)施例進(jìn)行了描述本發(fā)明，應(yīng)該指出，各種變化和改進(jìn)對本領(lǐng)域技術(shù)人員來說是顯而易見的?？梢岳斫猓撟兓透倪M(jìn)包括在由所附權(quán)利要求定義的本發(fā)明的范圍中，除非它們脫離了本發(fā)明的范圍。
權(quán)利要求
1.一種用于從畫面消除編碼失真的編碼失真消除方法，由此在運(yùn)動補(bǔ)償塊的大小大于編碼塊的大小時(shí)，依據(jù)邊界是否是運(yùn)動補(bǔ)償塊的邊界，在塊邊界利用不同的方法消除編碼失真。
2.根據(jù)權(quán)利要求1所述的編碼失真消除方法，其中當(dāng)編碼的運(yùn)動補(bǔ)償差錯是0時(shí)，僅在運(yùn)動補(bǔ)償塊邊界消除編碼失真。
3.一種用于從畫面消除編碼失真的編碼失真消除方法，包括從包含編碼失真的畫面提取畫面參數(shù)的步驟；使用該畫面參數(shù)識別進(jìn)行編碼失真消除的像素的第一步驟；使用該畫面參數(shù)識別進(jìn)行編碼失真消除的方法的第二步驟；和使用由第二步驟識別的編碼失真消除方法，從由第一步驟識別的像素消除編碼失真的第三步驟。
4.一種用于從畫面消除編碼失真的編碼失真消除方法，由此通過基于塊進(jìn)行的是否消除編碼失真的確定，和針對由基于塊進(jìn)行的確定要消除的確定的塊中的每個像素，基于像素進(jìn)行是否消除編碼失真的確定來識別要進(jìn)行編碼失真消除處理的像素。
5.一種用于消除位于畫面中的第一個塊和相鄰的第二個塊之間的塊邊界兩側(cè)的區(qū)域中的編碼失真的編碼失真消除方法，該畫面具有形成運(yùn)動畫面圖像的多個塊，包括將第一個塊的像素值與第二個塊的像素值的差值和與第一個塊的量化參數(shù)和第二個塊的量化參數(shù)的平均值對應(yīng)的參數(shù)比較，以確定消除編碼失真的方法的比較步驟；和根據(jù)比較步驟的結(jié)果消除編碼失真的消除步驟。
6.一種用于消除位于畫面中的第一個塊和相鄰的第二個塊之間的邊界線兩側(cè)的區(qū)域中的編碼失真的編碼失真消除方法，該畫面具有形成運(yùn)動畫面圖像的多個塊，包括用于對在消除編碼失真時(shí)設(shè)置閾值的參數(shù)解碼的解碼步驟；將第一個塊的像素中的像素值與第二個塊的像素中的像素值的差值和與基于解碼參數(shù)的指定閾值比較的比較步驟；和根據(jù)比較步驟的結(jié)果切換消除編碼失真的方法的消除步驟。
7.根據(jù)權(quán)利要求6所述的編碼失真消除方法，其中運(yùn)動畫面包括包含多個塊的片；和該參數(shù)存儲在通過對該運(yùn)動畫面的圖像數(shù)據(jù)進(jìn)行編碼獲得的碼流中的片頭部信息中。
8.一種參考多個參考圖像中的至少一個參考圖像進(jìn)行畫面編碼的運(yùn)動畫面編碼裝置，其中通過使用多種方法消除編碼失真獲得的多個編碼圖像是參考圖像。
9.根據(jù)權(quán)利要求8所述的運(yùn)動畫面編碼裝置，其中該多種方法的第一種方法是不消除編碼畫面中的編碼失真的方法，和第二種方法是消除編碼畫面中的編碼失真的方法。
10.一種參考多個參考圖像中的至少一個參考圖像進(jìn)行解碼的運(yùn)動畫面解碼裝置，其中通過使用多種方法消除編碼失真獲得的多個解碼圖像是參考圖像。
11.根據(jù)權(quán)利要求10所述的運(yùn)動畫面解碼裝置，其中該多種方法的第一種方法是不消除解碼畫面中的編碼失真的方法，和第二種方法是消除解碼畫面中的編碼失真的方法。
12.一種畫面編碼裝置，其中編碼失真消除單元利用如權(quán)利要求1至7中的任何一項(xiàng)所述的方法消除編碼失真，所述畫面編碼裝置包括解碼單元，用于對編碼的差分畫面解碼和輸出該差分畫面；運(yùn)動補(bǔ)償單元，用于從參考圖像輸出運(yùn)動補(bǔ)償畫面；加法器，用于將差分畫面和運(yùn)動補(bǔ)償畫面相加，并輸出合并的畫面；編碼失真消除單元，用于消除合并的畫面中的編碼失真，和輸出重構(gòu)畫面；和存儲器，用于存儲重構(gòu)畫面作為參考圖像。
13.用于從畫面中消除編碼失真的程序，其中利用權(quán)利要求1到7中的任何一項(xiàng)所述的方法消除編碼失真。
14.一種用于畫面編碼的程序，使用用于對編碼的差分畫面解碼并輸出差分畫面的解碼單元；用于從參考圖像輸出運(yùn)動補(bǔ)償畫面的運(yùn)動補(bǔ)償單元；用于將差分畫面和運(yùn)動補(bǔ)償畫面相加，并輸出合并的畫面的加法器；用于消除合并畫面中的編碼失真，并輸出重構(gòu)畫面的編碼失真消除單元；以及用于存儲重構(gòu)畫面作為參考圖像的存儲器；由此在計(jì)算機(jī)上執(zhí)行由編碼失真消除單元使用權(quán)利要求1到7中的任何一項(xiàng)所述的方法進(jìn)行的編碼失真消除。
全文摘要
當(dāng)再現(xiàn)壓縮的視頻信號時(shí)會產(chǎn)生馬賽克狀的塊噪聲。消除這種塊噪聲，但是利用去塊濾波器從每個塊中消除塊噪聲給去塊濾波器增加了明顯的負(fù)荷。通過確定是否需要執(zhí)行編碼失真消除(去塊)，并且只在需要時(shí)實(shí)施去塊濾波來減小這種負(fù)荷。
文檔編號H04N11/02GK1526241SQ02804269
公開日2004年9月1日 申請日期2002年11月29日 優(yōu)先權(quán)日2001年11月29日
發(fā)明者忠 薛, 薛忠, 也, 申省梅, 符式偉, 李作裕, 角野真也 申請人:松下電器產(chǎn)業(yè)株式會社