專利名稱：圖像編碼方法和設(shè)備、圖像解碼方法和設(shè)備及其程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種有效地壓縮運(yùn)動(dòng)圖像的圖像編碼方法、正確解碼這種已壓縮運(yùn)動(dòng)圖像的圖像解碼方法、以及圖像編碼設(shè)備、圖像解碼設(shè)備及其程序。
背景技術(shù)：
近來(lái)，隨著綜合地處理音頻、視頻和像素值的多媒體時(shí)代的到來(lái)，現(xiàn)有信息媒體，即報(bào)紙、雜志、電視、收音機(jī)和電話以及其它借以向人們傳達(dá)信息的裝置，列入了多媒體范圍內(nèi)。一般，多媒體指的是一種表示法不僅字符，而且圖形符號(hào)、音頻，尤其是圖像等，彼此相關(guān)。然而，為了將上述現(xiàn)有信息媒體包括在多媒體范圍內(nèi)，顯然，先決條件是以數(shù)字形式來(lái)表示這種信息。
然而，當(dāng)估計(jì)上述數(shù)字形式信息媒體的每一種中所包含的信息量時(shí)，每字符的信息量需要1-2字節(jié)，而音頻需要超過(guò)每秒64千位(電話質(zhì)量)，并且當(dāng)考慮運(yùn)動(dòng)圖像時(shí)，它需要超過(guò)每秒100兆位(目前電視接收質(zhì)量)。因此，上述信息媒體以數(shù)字形式來(lái)照原樣處理這樣海量的信息是不現(xiàn)實(shí)的。例如，視頻電話已經(jīng)通過(guò)綜合業(yè)務(wù)數(shù)字網(wǎng)(ISDN)而投入實(shí)際使用，其傳輸率為64千位到1.5兆位，然而，不可能直接通過(guò)ISDN來(lái)傳輸在電視屏幕上捕獲的或通過(guò)電視攝影機(jī)拍攝的圖像。
因此，這需要信息壓縮技術(shù)，例如在視頻電話情況下，使用遵照由國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門(ITU-T)進(jìn)行國(guó)際標(biāo)準(zhǔn)化的H.261和H.263標(biāo)準(zhǔn)的視頻壓縮技術(shù)。根據(jù)遵照MPEG-1標(biāo)準(zhǔn)的信息壓縮技術(shù)，可以將圖像信息以及音頻信息存儲(chǔ)在普通音樂(lè)光盤(CD)上。
在此，運(yùn)動(dòng)圖像專家組(MPEG)是一種用于壓縮運(yùn)動(dòng)圖像信號(hào)的國(guó)際標(biāo)準(zhǔn)，MPEG-1是一種將視頻信號(hào)向下壓縮到每秒1.5兆位(比特)的標(biāo)準(zhǔn)，也就是把電視信號(hào)中所包括的信息向下近似壓縮到百分之一。MPEG-1標(biāo)準(zhǔn)的目標(biāo)質(zhì)量是中等質(zhì)量，以便實(shí)現(xiàn)主要1.5兆位左右的傳輸率，因此，滿足更高質(zhì)量圖像要求為目的而標(biāo)準(zhǔn)化的MPEG-2實(shí)現(xiàn)電視廣播質(zhì)量，以2兆位到15兆位的傳輸率來(lái)傳輸運(yùn)動(dòng)圖像信號(hào)。
在當(dāng)前環(huán)境下，先前負(fù)責(zé)MPEG-1/MPEG-2標(biāo)準(zhǔn)化的工作組(ISO/IEC/JTC1/SC29/WG11)進(jìn)一步標(biāo)準(zhǔn)化了MPEG-4，MPEG-4實(shí)現(xiàn)了優(yōu)于MPEG-1/MPEG-2所實(shí)現(xiàn)的壓縮率的壓縮率，允許基于每個(gè)對(duì)象的編碼/解碼操作，并實(shí)現(xiàn)了多媒體時(shí)代所需的新功能。首先，在MPEG-4標(biāo)準(zhǔn)化過(guò)程中，目標(biāo)是標(biāo)準(zhǔn)化低比特率編碼，然而，當(dāng)前目標(biāo)擴(kuò)展為更通用的編碼，包括用于隔行掃描圖像等的高比特率編碼。而且，由ITU-T和國(guó)際標(biāo)準(zhǔn)化組織/國(guó)際電工技術(shù)委員會(huì)(ISO/IEC)共同制定的、作為下一代編碼方法的MPEG-4 AVC(高級(jí)視頻編碼)和ITU H.264的標(biāo)準(zhǔn)化正在進(jìn)行中，它們具有更高的壓縮率。自2002年8月起，下一代編碼方法以委員會(huì)草案(CD)的名義被公布。
在運(yùn)動(dòng)圖像編碼中，通常是通過(guò)消除空間和時(shí)間方向上的冗余來(lái)執(zhí)行信息量壓縮的。因此，目的在于減小時(shí)間冗余的幀間圖像(inter-picture)預(yù)測(cè)編碼估計(jì)運(yùn)動(dòng)，并參考前向和后向圖像逐個(gè)塊來(lái)產(chǎn)生預(yù)測(cè)圖像，然后對(duì)所獲得的預(yù)測(cè)圖像和當(dāng)前要編碼的圖像之間的差值進(jìn)行編碼。在此，“圖像”是表示屏幕上的圖像的術(shù)語(yǔ)，并且當(dāng)用于逐行掃描圖像時(shí)代表幀，而當(dāng)用于隔行掃描圖像時(shí)它代表幀或場(chǎng)。在此，隔行掃描圖像是其中單幀由兩場(chǎng)組成的圖像，每一場(chǎng)都具有不同捕獲時(shí)間。為了對(duì)隔行掃描圖像編碼和解碼，三種處理單幀的方式是可能的作為幀；作為兩場(chǎng)；以及作為幀/場(chǎng)結(jié)構(gòu)，取決于幀中的塊。
在沒(méi)有參考圖像的情況下被執(zhí)行幀內(nèi)圖像(intra-picture)預(yù)測(cè)編碼的圖像被稱為“I圖像”。參考單幅圖像而執(zhí)行幀間圖像預(yù)測(cè)編碼的圖像被稱為“P圖像”。通過(guò)同時(shí)參考兩幅圖像來(lái)執(zhí)行幀間圖像預(yù)測(cè)編碼的圖像被稱為“B圖像”。B圖像可以指按顯示次序從前向或后向圖像中任意選擇的兩幅圖像?？梢詾橛米骰揪幋a/解碼單元的每個(gè)塊指定參考圖像(即參考圖像)。將通過(guò)把要在編碼位流中先描述的參考圖像稱為第一參考圖像，并把要在編碼位流中后描述的參考圖像稱為第二參考圖像，來(lái)區(qū)分這種參考圖像。注意，作為對(duì)這些類型圖像進(jìn)行編碼和解碼的條件，用于參考的圖像必須已經(jīng)被編碼和解碼。
運(yùn)動(dòng)補(bǔ)償幀間圖像預(yù)測(cè)編碼用來(lái)對(duì)P圖像或B圖像編碼。利用運(yùn)動(dòng)補(bǔ)償幀間圖像預(yù)測(cè)的編碼是一種在幀間圖像預(yù)測(cè)編碼中使用運(yùn)動(dòng)補(bǔ)償?shù)木幋a方法。與僅僅根據(jù)參考圖像中的像素值執(zhí)行預(yù)測(cè)的方法不同，運(yùn)動(dòng)補(bǔ)償是一種能夠通過(guò)估計(jì)圖像內(nèi)每一部分的運(yùn)動(dòng)量(以下稱為“運(yùn)動(dòng)矢量”)，并進(jìn)一步考慮到這種運(yùn)動(dòng)量來(lái)執(zhí)行預(yù)測(cè)，來(lái)提高預(yù)測(cè)精度并減少數(shù)據(jù)量的技術(shù)。例如，有可能通過(guò)估計(jì)當(dāng)前要編碼的圖像的運(yùn)動(dòng)矢量，然后對(duì)通過(guò)僅僅使各個(gè)運(yùn)動(dòng)矢量的量偏移而獲得的預(yù)測(cè)值與當(dāng)前要編碼的圖像之間的預(yù)測(cè)殘差進(jìn)行編碼，來(lái)進(jìn)行運(yùn)動(dòng)補(bǔ)償，由此減少數(shù)據(jù)量。在該技術(shù)中，也以編碼形式記錄或發(fā)送運(yùn)動(dòng)矢量，因?yàn)樵诮獯a時(shí)需要運(yùn)動(dòng)矢量信息。
基于每個(gè)宏塊來(lái)估計(jì)運(yùn)動(dòng)矢量。更具體地說(shuō)，應(yīng)該預(yù)先在當(dāng)前要編碼的圖像中固定宏塊，以便通過(guò)在參考圖像中的搜索區(qū)域內(nèi)尋找這種固定宏塊的最相似參考?jí)K來(lái)估計(jì)運(yùn)動(dòng)矢量。
圖1示出了位流示例數(shù)據(jù)結(jié)構(gòu)。如圖1所示，位流具有如下的分層結(jié)構(gòu)。位流(流)由多個(gè)圖像組(GOP)組成。通過(guò)利用GOP作為基本編碼單元，有可能編輯運(yùn)動(dòng)圖像以及進(jìn)行隨機(jī)訪問(wèn)。每個(gè)GOP由多幅圖像組成，每幅圖像是I圖像、P圖像或B圖像。每幅圖像進(jìn)一步由多個(gè)片組成。作為每幅圖像內(nèi)條形區(qū)的每個(gè)片由多個(gè)宏塊組成。而且，每個(gè)流、GOP、圖像和片都包括用于指示每個(gè)單元終點(diǎn)的同步信號(hào)(sync)、以及作為這種單元所共有的數(shù)據(jù)塊的頭(頭)。
在不是在作為流序列的位流中而是在作為逐段數(shù)據(jù)單元(unit ofpiecemeal data)的分組中傳輸數(shù)據(jù)的情況下，可以分別傳送頭和除頭以外的部分的數(shù)據(jù)。在這種情況下，不應(yīng)將頭和數(shù)據(jù)部分并入相同位流中，如圖1所示。然而，在分組的情況下，雖然不得順序地傳輸頭和對(duì)應(yīng)的數(shù)據(jù)部分，但是只是在不同分組中傳送它們。因此，即使在頭和數(shù)據(jù)部分未被并入相同位流中的情況下，如參考圖1所描述的位流的相同概念也可適用。
一般來(lái)講，人類視覺(jué)系統(tǒng)的特征在于與高頻分量相比，它對(duì)圖像中低頻分量的靈敏度。此外，因?yàn)閳D像信號(hào)中低頻分量的能量大于高頻分量能量，所以按從低頻分量到高頻分量的順序來(lái)執(zhí)行圖像編碼。結(jié)果，低頻分量編碼所需的位數(shù)大于高頻分量編碼所需的位數(shù)。
鑒于以上幾點(diǎn)，當(dāng)對(duì)通過(guò)正交變換而獲得的各頻率的變換系數(shù)進(jìn)行量化時(shí)，與低頻分量相比，現(xiàn)有編碼方法將更大的量化步長(zhǎng)用于高頻分量。該技術(shù)使常規(guī)編碼方法有可能在圖像主觀質(zhì)量發(fā)生可忽視的降級(jí)的情況下，實(shí)現(xiàn)壓縮比的大大增加。
因?yàn)榕c低頻分量量化步長(zhǎng)對(duì)比的高頻分量量化步長(zhǎng)取決于圖像信號(hào)，所以按照慣例使用一種逐幅圖像改變各頻率分量量化步長(zhǎng)的技術(shù)。量化矩陣(也稱為“加權(quán)矩陣”)用于推導(dǎo)出各頻率分量的量化步長(zhǎng)。圖2示出了量化矩陣的例子。在該圖中，左上分量為直流分量，而向右分量是水平高頻分量，向下分量是垂直高頻分量。圖2中的量化矩陣也指示，當(dāng)值變得越大時(shí)，量化步長(zhǎng)變得越大。通常，有可能為每幅圖像使用不同的量化矩陣。指示每個(gè)頻率分量量化步長(zhǎng)大小的值是固定長(zhǎng)度編碼的。注意，通常量化矩陣的每個(gè)分量以及每個(gè)量化步長(zhǎng)的值彼此近似成比例，但是不必固守這種關(guān)系，只要清楚地定義它們之間的對(duì)應(yīng)性。
圖3示出了，由常規(guī)圖像編碼設(shè)備或圖像解碼設(shè)備執(zhí)行的、如MPEG-2和MPEG-4中所提出的逆量化的流程圖。
如圖所示，常規(guī)圖像編碼設(shè)備或圖像解碼設(shè)備獲得加權(quán)矩陣Wi，j和量化參數(shù)QP(S11和S12)，計(jì)算量化步長(zhǎng)QStep，并獲得量化值(即量化的頻率系數(shù))fi，j(S14)。然后，圖像編碼設(shè)備通過(guò)計(jì)算fi，j×QStep×Wi，j來(lái)導(dǎo)出逆量化值(S15-S17)。
在圖像編碼設(shè)備所執(zhí)行的量化處理中，使作為正交變換的結(jié)果而獲得的頻率系數(shù)乘以從計(jì)算QStep×Wi，j而產(chǎn)生的值的倒數(shù)。
然而，問(wèn)題在于，常規(guī)量化和逆量化處理強(qiáng)加了許多計(jì)算工作量，因?yàn)樵谔幚碇行枰獔?zhí)行大量的除法和乘法。
發(fā)明內(nèi)容
本發(fā)明的目的是提供一種用于減少量化和逆量化計(jì)算所需工作量的圖像解碼方法、圖像編碼方法、圖像解碼設(shè)備、圖像編碼設(shè)備及程序。
為了實(shí)現(xiàn)以上目的，本發(fā)明的圖像編碼方法是一種通過(guò)逐塊執(zhí)行的逆量化和逆正交變換來(lái)對(duì)編碼圖像進(jìn)行解碼的圖像解碼方法。該方法包括以下作為逆量化處理的步驟將量化矩陣和乘數(shù)相乘，所述量化矩陣指示每個(gè)頻率分量的量化步長(zhǎng)的縮放比，并且所述乘數(shù)是正交變換或量化步長(zhǎng)的系數(shù)；以及將由所述乘法產(chǎn)生的乘積和量化值相乘。
所述乘數(shù)可以與逆正交變換處理中所使用的歸一化因數(shù)有關(guān)。
根據(jù)以上結(jié)構(gòu)，可以減少計(jì)算所需工作量，因?yàn)樵谀嬲蛔儞Q處理中不需要執(zhí)行頻率系數(shù)所需的乘法。也就是說(shuō)，通過(guò)預(yù)計(jì)算為推導(dǎo)量化步長(zhǎng)所需的乘法，有可能減少逆正交變換所需的乘法，以致不增加量化計(jì)算所需的工作量。
可以對(duì)每個(gè)預(yù)定單位的編碼數(shù)據(jù)執(zhí)行量化矩陣和乘數(shù)之間的乘法，并且可以逐塊執(zhí)行乘積和量化值之間的乘法，預(yù)定單位的編碼數(shù)據(jù)包括編碼塊，并且該乘積為編碼塊所共有。
由量化矩陣和乘數(shù)之間的乘法產(chǎn)生的乘積可以被存儲(chǔ)在存儲(chǔ)器中，并且該乘積和量化值之間的乘法可以涉及訪問(wèn)存儲(chǔ)器。
預(yù)定單位的編碼數(shù)據(jù)可以是對(duì)應(yīng)于圖像的數(shù)據(jù)。
根據(jù)以上結(jié)構(gòu)，通過(guò)將處理分成以下兩部分，有可能減少操作數(shù)以便進(jìn)一步減少計(jì)算工作量基于每幅圖像的乘法；以及基于每一塊的乘法。
根據(jù)本發(fā)明的圖像編碼方法、圖像解碼設(shè)備及圖像編碼設(shè)備、程序和半導(dǎo)體器件具有相同的結(jié)構(gòu)，并獲得和上述一樣的效果。
由以下連同說(shuō)明本發(fā)明具體實(shí)施方式
的附圖一起考慮的本發(fā)明描述，本發(fā)明的這些及其它目的、優(yōu)點(diǎn)和特征將變得顯而易見(jiàn)。在附圖中圖1示出了位流的示例數(shù)據(jù)結(jié)構(gòu)；圖2示出了量化矩陣?yán)?；圖3示出了，由常規(guī)圖像編碼設(shè)備執(zhí)行的、如MPEG-2和MPEG-4中所提出的逆量化的流程圖；圖4示出了根據(jù)本發(fā)明第一實(shí)施方式的圖像編碼設(shè)備的結(jié)構(gòu)框圖；圖5示出了在對(duì)宏塊亮度塊執(zhí)行16×16幀內(nèi)圖像預(yù)測(cè)編碼的情況下的塊結(jié)構(gòu)以及要對(duì)塊執(zhí)行的正交變換；圖6示出了在對(duì)宏塊亮度塊執(zhí)行4×4幀內(nèi)圖像預(yù)測(cè)編碼或4×4幀間圖像預(yù)測(cè)編碼的情況下的塊結(jié)構(gòu)以及要對(duì)塊執(zhí)行的正交變換；圖7示出了宏塊色度塊的結(jié)構(gòu)以及要對(duì)塊執(zhí)行的正交變換；圖8示出了Hadamard變換中所使用的方程式；圖9A示出了整數(shù)精度DCT中所使用的方程式；圖9B示出了整數(shù)精度逆DCT中所使用的方程式；圖10A-10D分別示出了量化矩陣中編碼順序的例子；圖11A示出了量化矩陣中的加權(quán)分量陣列，其中為正交變換定義每個(gè)加權(quán)分量；圖11B和11C分別示出了怎樣把通過(guò)對(duì)量化矩陣中每個(gè)分量進(jìn)行編碼所獲得的每個(gè)數(shù)據(jù)放在頭中；圖12示出了量化的輸入-輸出特性曲線；圖13示出了隨量化參數(shù)而變的量化步長(zhǎng)特性曲線；圖14示出了隨量化參數(shù)而變的信噪比特性曲線；圖15A至15C用于說(shuō)明歸一化和逆量化處理；圖16A示出了量化單元第一示例結(jié)構(gòu)的框圖；
圖16B示出了逆量化單元第一示例結(jié)構(gòu)的框圖；圖17A示出了適于加權(quán)矩陣的量化單元第二示例結(jié)構(gòu)的框圖；圖17B示出了使用加權(quán)矩陣的逆量化單元第二示例結(jié)構(gòu)的框圖；圖18A示出了使用加權(quán)矩陣的量化單元第三示例結(jié)構(gòu)的框圖；圖18B示出了使用加權(quán)矩陣的逆量化單元第三示例結(jié)構(gòu)的框圖；圖19示出了，在基于量化參數(shù)QP對(duì)每個(gè)(i，j)分量執(zhí)行包括頻率變換乘法的每個(gè)量化步長(zhǎng)計(jì)算的情況下的逆量化處理流程圖；圖20示出了，在預(yù)先基于量化參數(shù)QP來(lái)執(zhí)行包括頻率變換乘法的每個(gè)量化步長(zhǎng)計(jì)算的情況下的量化流程圖；圖21示出了在根據(jù)需要基于量化參數(shù)QP來(lái)執(zhí)行包括頻率變換乘法的每個(gè)量化步長(zhǎng)計(jì)算的情況下的量化流程圖；圖22示出了圖像解碼設(shè)備結(jié)構(gòu)框圖；圖23A-23C是存儲(chǔ)程序的存儲(chǔ)介質(zhì)的圖解；圖24示出了內(nèi)容供應(yīng)系統(tǒng)總配置框圖；圖25示出了使用圖像編碼和解碼方法的蜂窩電話的具體例子；圖26示出了蜂窩電話框圖；圖27示出了數(shù)字廣播系統(tǒng)例子；圖28-31示出了根據(jù)第二實(shí)施方式、基于8×8加權(quán)矩陣來(lái)推導(dǎo)量化矩陣的例子；圖32-35示出了基于4×4加權(quán)矩陣來(lái)推導(dǎo)量化矩陣的例子；圖36示出了根據(jù)第三實(shí)施方式的逆量化單元框圖；圖37示出了加權(quán)矩陣的例子；圖38示出了逆量化處理；圖39和40示出了逆量化處理；圖41和42分別示出了表的例子；以及圖43示出了對(duì)4×4色度DC塊執(zhí)行的逆量化。
具體實(shí)施例方式
(第一實(shí)施方式)圖4示出了根據(jù)本發(fā)明第一實(shí)施方式的圖像編碼設(shè)備的結(jié)構(gòu)框圖。
圖像編碼設(shè)備1是這樣一種設(shè)備，它輸出通過(guò)對(duì)輸入圖像信號(hào)Vin執(zhí)行壓縮編碼，然后把編碼的圖像信號(hào)轉(zhuǎn)換成如可變長(zhǎng)度碼的位流而獲得的編碼圖像信號(hào)Str。這種圖像編碼設(shè)備1包括運(yùn)動(dòng)估計(jì)單元ME、運(yùn)動(dòng)補(bǔ)償單元MC、減法器Sub、正交變換單元T、量化單元Q、逆量化單元IQ、逆正交變換單元IT、加法器Add、圖像存儲(chǔ)器PicMem、開(kāi)關(guān)SW以及可變長(zhǎng)度編碼單元VLC。
圖像信號(hào)Vin被輸入到減法器Sub和運(yùn)動(dòng)估計(jì)單元ME。減法器Sub計(jì)算輸入圖像信號(hào)Vin中的每幅圖像和每幅預(yù)測(cè)圖像之間的殘差圖像，并把所計(jì)算的殘差圖像輸出到正交變換單元T。
正交變換單元T對(duì)殘差圖像執(zhí)行正交變換，以便將其變換為正交變換系數(shù)或頻率系數(shù)，并把它們輸出到量化單元Q。
量化單元Q利用參考從外面輸入的量化矩陣WM而推導(dǎo)出的量化步長(zhǎng)，來(lái)對(duì)從正交變換單元T輸入的每個(gè)塊的頻率系數(shù)進(jìn)行量化，并把所得到的量化值Qcoef輸出到可變長(zhǎng)度編碼單元VLC。
逆量化單元IQ利用參考量化矩陣WM而推導(dǎo)出的量化步長(zhǎng)，來(lái)對(duì)量化值Qcoef執(zhí)行逆量化，以便將它們變換為頻率系數(shù)，并把它們輸出到逆正交變換單元IT。根據(jù)該實(shí)施方式的逆量化單元IQ分兩步來(lái)執(zhí)行逆量化第一步是，使指示每個(gè)頻率分量的每個(gè)量化步長(zhǎng)縮放比(scaling ratio)的量化矩陣乘以一個(gè)作為正交變換系數(shù)或量化步長(zhǎng)的乘數(shù)，并把乘法結(jié)果存儲(chǔ)到存儲(chǔ)器中；第二步是，使存儲(chǔ)器中存儲(chǔ)的結(jié)果乘以每個(gè)量化值。第一步是基于每幅圖像進(jìn)行操作的，而第二步是基于每個(gè)塊進(jìn)行操作的。用于頻率變換的乘數(shù)包括逆正交變換歸一化因數(shù)。在該情況下，存儲(chǔ)器中存儲(chǔ)的乘法結(jié)果是通過(guò)使每個(gè)量化步長(zhǎng)和逆正交變換歸一化因數(shù)相乘而獲得的值。
逆正交變換單元IT對(duì)頻率系數(shù)執(zhí)行逆頻率變換，以便將它們變換成殘差圖像，并把該殘差圖像輸出到加法器Add。加法器Add將每幅殘差圖像和從運(yùn)動(dòng)補(bǔ)償單元MC輸出的每幅預(yù)測(cè)圖像相加，以便獲得解碼圖像。在指示應(yīng)該存儲(chǔ)這種解碼圖像的情況下，導(dǎo)通開(kāi)關(guān)SW，從而將解碼圖像存儲(chǔ)在圖像存儲(chǔ)器PicMem中。
基于每個(gè)宏塊而被輸入圖像信號(hào)Vin的運(yùn)動(dòng)估計(jì)單元ME在圖像存儲(chǔ)器PicMem中存儲(chǔ)的解碼圖像中檢測(cè)和輸入的圖像信號(hào)Vin最相似的圖像區(qū)，并確定指示這種圖像區(qū)位置的運(yùn)動(dòng)矢量MV。對(duì)通過(guò)進(jìn)一步分割宏塊而獲得的每個(gè)塊執(zhí)行運(yùn)動(dòng)矢量估計(jì)。
運(yùn)動(dòng)補(bǔ)償單元MC利用以上處理中所檢測(cè)到的運(yùn)動(dòng)矢量，來(lái)從圖像存儲(chǔ)器PicMem中存儲(chǔ)的解碼圖像中取出最合適的圖像區(qū)，作為預(yù)測(cè)圖像。
可變長(zhǎng)度編碼單元VLC對(duì)量化矩陣WM、量化值Qcoef和運(yùn)動(dòng)矢量MV的每一個(gè)執(zhí)行可變長(zhǎng)度編碼，以便獲得位流Str。
圖5和6分別示出了按照MPEG-4AVC、通過(guò)正交變換單元T執(zhí)行的正交變換。對(duì)于由16×16組成像素的亮度宏塊，對(duì)基于16×16宏塊的幀內(nèi)圖像預(yù)測(cè)編碼的情況和其它類型編碼的情況，不同地執(zhí)行正交變換和借助于正交變換的塊分割。
圖5示出了在要對(duì)亮度塊執(zhí)行16×16幀內(nèi)圖像預(yù)測(cè)編碼的情況下，宏塊亮度塊的結(jié)構(gòu)和正交變換。在該情況下，正交變換單元T如以下(1)至(4)那樣執(zhí)行正交變換。(1)將16×16像素的亮度塊分成16個(gè)4×4像素塊。(2)對(duì)由分割而產(chǎn)生的每一個(gè)4×4塊執(zhí)行基于整數(shù)精度4×4離散余弦變換(DCT)的正交變換。在此，整數(shù)精度DCT不保持和DCT相同的特性，因?yàn)橹当簧崛?，但是它仍然能夠用作近似于DCT的變換。(3)產(chǎn)生由每一個(gè)正交變換塊中的直流(DC)分量組成的4×4DC塊。(4)對(duì)4×4DC塊執(zhí)行Hadamard變換。正確被稱為“離散Hadamard變換(DHT)”的Hadamard變換是一種只執(zhí)行加法和減法的簡(jiǎn)單正交變換。
圖6示出了在不同于16×16幀內(nèi)圖像預(yù)測(cè)編碼的編碼，如4×4幀內(nèi)圖像預(yù)測(cè)編碼和4×4幀間圖像預(yù)測(cè)編碼的情況下，亮度塊的結(jié)構(gòu)和要對(duì)亮度塊執(zhí)行的正交變換。在該情況下，正交變換單元T如以下(1)和(2)那樣執(zhí)行正交變換。(1)將16×16像素的亮度塊分成16個(gè)4×4像素塊。(2)對(duì)由分割而產(chǎn)生的每一個(gè)4×4塊執(zhí)行基于整數(shù)精度DCT的正交變換。
圖7示出了宏塊色度塊的結(jié)構(gòu)以及要對(duì)色度塊執(zhí)行的正交變換。在該情況下，正交變換單元T如以下(1)至(4)那樣執(zhí)行正交變換。(1)把由8×8像素組成的色度宏塊分成4個(gè)4×4像素塊。(2)對(duì)由分割而產(chǎn)生的每一個(gè)4×4塊執(zhí)行基于整數(shù)精度4×4DCT的正交變換。(3)產(chǎn)生由每個(gè)正交變換塊中的DC分量組成的2×2像素DC塊。(4)對(duì)每個(gè)2×2DC塊執(zhí)行Hadamard變換。
因而，正交變換單元T將對(duì)DC塊使用作為最簡(jiǎn)單正交變換之一的、可以僅僅通過(guò)執(zhí)行加法和減法來(lái)實(shí)現(xiàn)的Hadamard變換。
圖8示出了在Hadamard變換中使用的方程和波形圖，每一幅波形圖代表相應(yīng)的方程。在圖中，“h0”-“h3”表示4個(gè)輸入信號(hào)，而“H0”-“H3”分別表示被執(zhí)行Hadamard變換的分量。“H0”是被執(zhí)行Hadamard變換的DC分量，而“H3”是被執(zhí)行Hadamard變換的最高頻分量。Hadamard變換的逆變換是Hadamard變換。也就是說(shuō)，可以通過(guò)再次對(duì)“H0”-“H3”執(zhí)行Hadamard變換來(lái)獲得“h0”-“h3”。
注意，可以利用以下方程來(lái)獲得對(duì)2×2DC亮度塊執(zhí)行的Hadamard變換。即，對(duì)2×2DC塊中的每行和每列使用一次以下方程。
H0=(h0+h1)/2]]>H1=(h0-h1)/2]]>圖9A示出了正交變換單元T為整數(shù)精度DCT使用的方程以及波形圖，每幅波形圖都代表相應(yīng)的方程?！癲0”-“d3”表示4個(gè)輸入信號(hào)，而“D0”-“D3”表示被執(zhí)行整數(shù)精度DCT的分量。在整數(shù)精度4×4DCT中，對(duì)4×4像素塊中的每行和每列使用一次圖9A所示的4輸入DCT。
“D0”是DC分量，而“D3”是最高頻分量。在頻率分量H1和D1之間，整數(shù)精度DCT的波形圖和圖8A所示Hadamard變換的波形圖之間的差異是顯而易見(jiàn)的。也就是說(shuō)，與頻率分量H1相比，頻率分量D1(最低頻率的電流分量)表示得更平滑(即從最大值逐漸變?yōu)樽钚≈?。
圖9B示出了正交變換單元T為整數(shù)精度逆DCT使用的方程。在圖中，需要實(shí)際運(yùn)算以便利用頻率分量D1和D3來(lái)獲得D1’和D3’。在該實(shí)施方式中，預(yù)先使逆量化處理中的量化步長(zhǎng)乘以某些值(如上所述由逆量化單元IQ所取的第一步長(zhǎng))，目的在于避免整數(shù)精度逆DCT中的實(shí)際運(yùn)算。從而，為整數(shù)精度逆DCT執(zhí)行的乘法數(shù)目減少了，并且計(jì)算所需的工作量也減小了。結(jié)果，在逆量化處理中，奇數(shù)次數(shù)頻率分量的量化步長(zhǎng)等于偶數(shù)次數(shù)頻率分量的量化步長(zhǎng)的 倍或8/5倍。
圖10A-10D分別示出了量化矩陣中編碼順序的例子。該順序用于編碼或解碼量化矩陣，并且量化矩陣按實(shí)際上要在量化和逆量化過(guò)程中被操作的分量的順序重新排列。在圖像編碼中所執(zhí)行的正交變換中，4×4像素和8×8像素是最經(jīng)常使用的兩種單元。圖10A和10C示出了使用4×4像素單元的例子，而圖10B和10D示出了使用8×8像素單元的例子。在從低頻分量開(kāi)始向高頻分量進(jìn)行的編碼中，壓縮效率高，如圖10A和10B所示，但是在某些情況下，可以使用按水平順序的編碼，如圖10C和10D所示。
圖11A-11C示出了量化矩陣，以及在形成流(streaming)時(shí)被編碼的量化矩陣(即加權(quán)矩陣)的數(shù)據(jù)結(jié)構(gòu)。在圖中，“頭”表示圖1所示的“GOP”或“圖像”的頭，或等效信息。圖11A示出了量化矩陣中的頻率分量陣列?！癢i，j”表示量化矩陣中行“i”和列“j”中的分量。圖11B和11C分別示出了量化矩陣中每個(gè)分量的編碼數(shù)據(jù)怎樣被放在頭中的例子?！癢eightingMatrix(加權(quán)矩陣)”表示通過(guò)對(duì)量化矩陣進(jìn)行編碼而獲得的位流。圖11B示出了通過(guò)按圖10B所示的順序?qū)α炕仃囘M(jìn)行編碼而獲得的流，而圖11C示出了通過(guò)按圖10D所示的順序?qū)α炕仃囘M(jìn)行編碼而獲得的流。注意，圖11B和11C中所示的流中的“Wi，j”表示量化矩陣中“Wi，j”所表示的位置處的編碼可變長(zhǎng)度碼。
圖12示出了由量化單元Q和逆量化單元IQ所執(zhí)行的量化(或逆量化)的輸入-輸出特性。量化意謂，對(duì)通過(guò)量化步長(zhǎng)分割正交變換頻率分量(圖12中要量化的值)的結(jié)果進(jìn)行舍入，以便將頻率分量變成整數(shù)。舍入的整數(shù)被稱為量化值。相反，把要量化的值變回為頻率分量被稱為“逆量化”。通過(guò)改變量化步長(zhǎng)的大小，有可能增加或減少由編碼而產(chǎn)生的位數(shù)量。因而，通過(guò)改變量化步長(zhǎng)的大小，有可能保持相同的壓縮比(即每單位時(shí)間的碼量)。
圖13示出了量化步長(zhǎng)對(duì)量化參數(shù)的特性曲線。量化參數(shù)用于導(dǎo)出量化步長(zhǎng)，并被調(diào)節(jié)，以便讓碼量對(duì)應(yīng)于比特率。逆量化單元IQ和量化單元Q利用要編碼的量化參數(shù)來(lái)導(dǎo)出量化步長(zhǎng)，因?yàn)椴恢苯訉?duì)量化步長(zhǎng)進(jìn)行編碼。在圖13所示的例子中，當(dāng)量化參數(shù)QP增加6時(shí)，量化步長(zhǎng)加倍。結(jié)果，在量化參數(shù)QP變化的情況下，量化參數(shù)QP變得與信噪(SN)比成比例，并且SN比的變化量維持在相同水平，如圖14所示，而與量化參數(shù)QP的值無(wú)關(guān)。
注意，在量化參數(shù)指示從0到51變動(dòng)的值時(shí)，量化步長(zhǎng)的最大值指示等于最小值256倍的值。
圖15A至15C用于說(shuō)明歸一化和逆量化。以下描述一種簡(jiǎn)化逆量化處理中把 用于圖9B所示正交變換中歸一化的乘法的方法。如圖9B所示，分量D1和D3位于第N位置(N為奇數(shù))。使在水平和垂直方向上都位于第N位置的分量乘以兩次 這意謂分量乘以8/5?；诖?，對(duì)于在逆量化處理中預(yù)先進(jìn)行的歸一化，應(yīng)該預(yù)先乘以量化步長(zhǎng)，如以下的(a)至(c)。
(a)在分量在水平和垂直方向上都位于第M(M為偶數(shù))位置的情況下，不執(zhí)行歸一化乘法。
(b)在分量在水平或垂直方向上位于第N(N為奇數(shù))位置的情況下，使分量乘以 (c)在分量在水平和垂直方向上都位于第N(N為奇數(shù))位置的情況下，使分量乘以8/5。
現(xiàn)在，給定β=α×8/5,]]>γ＝α×8/5，(a)至(c)變成了以下(A)至(C)。
(A)在分量在水平和垂直方向上都位于第M(M為偶數(shù))位置的情況下，使分量乘以α。
(B)在分量在水平或垂直方向上位于第N(N為奇數(shù))位置的情況下，使分量乘以β。
(C)在分量在水平和垂直方向上都位于第N(N為奇數(shù))位置的情況下，使分量乘以γ。
利用這種簡(jiǎn)單規(guī)則，有可能在逆量化處理中一起實(shí)現(xiàn)歸一化。在逆DCT和量化處理中，專門的歸一化乘法變得不必要。
當(dāng)量化參數(shù)QP增加6時(shí)，量化步長(zhǎng)加倍。因此，用以下方程式來(lái)表示通過(guò)包括歸一化乘法的計(jì)算所獲得的量化參數(shù)QP與量化步長(zhǎng)之間的關(guān)系。
量化步長(zhǎng)＝(QP％6的量化步長(zhǎng))×(2(QP/6))基于此，如圖15B所示，通過(guò)使“QP％6的量化步長(zhǎng)”向左移位“QP/6”位，可以容易地獲得涉及歸一化的量化步長(zhǎng)，作為與任意量化參數(shù)QP相對(duì)應(yīng)的量化步長(zhǎng)(即涉及歸一化乘法的量化步長(zhǎng))。這可以通過(guò)僅僅分別為α、β和γ所對(duì)應(yīng)的“QP％6的量化步長(zhǎng)”保留總共18個(gè)量化步長(zhǎng)，來(lái)實(shí)現(xiàn)，如圖15C所示。在該實(shí)施方式中，亮度信號(hào)的量化參數(shù)大小和色度信號(hào)的量化參數(shù)大小之比將基于逐片地變化。由于顏色(尤其是紅色)的退化在視覺(jué)上比亮度退化明顯，所以優(yōu)選地色度信號(hào)的量化參數(shù)QP小于亮度信號(hào)的量化參數(shù)。
顯然，由于可以通過(guò)使量化步長(zhǎng)移位QP/6位來(lái)表示量化步長(zhǎng)，所以可以用乘法和移位操作的組合來(lái)表示量化和逆量化。圖16A和16B示出了量化單元Q和逆量化單元IQ的第一示例結(jié)構(gòu)的框圖。在第一例子中，在不使用加權(quán)矩陣的情況下，只使用乘法和移位運(yùn)算。量化單元Q1包括乘法單元Q11和右移位器Q12。乘法單元Q11將正交變換系數(shù)乘以Q1?！癚1”是量化步長(zhǎng)(QP％6的量化步長(zhǎng))的倒數(shù)的倍數(shù)。量化步長(zhǎng)通常用于量化中所執(zhí)行的除法，然而，量化步長(zhǎng)的倒數(shù)被預(yù)先計(jì)算以便相乘，因?yàn)槌ㄟ\(yùn)算比乘法運(yùn)算更復(fù)雜。逆量化單元IQ1包括乘法單元IQ11和左移位器IQ12。
量化單元Q1操作如下。右移位器Q12使乘法單元Q11所執(zhí)行的乘法結(jié)果向右移位S 1位。也就是說(shuō)，右移位器Q12使乘法單元Q11所執(zhí)行的乘法結(jié)果除以2S1。S1值與QP/6成比例地變化。逆量化單元IQ1操作如下。乘法單元IQ11使正交變換系數(shù)乘以Q2?！癚2”值與QP％6的量化步長(zhǎng)成比例地變化。左移位器IQ12使乘法單元IQ11所執(zhí)行的乘法結(jié)果向左移位S1位。也就是說(shuō)，左移位器IQ12使乘法單元IQ11所執(zhí)行的乘法結(jié)果乘以2S2?！癝2”值與QP/6成比例地變化。
在此，“S1”和“S2”是對(duì)于所有頻率系數(shù)都固定的值，它們每一個(gè)都隨量化參數(shù)QP而變?！癚1”和“Q2”具有取決于量化參數(shù)QP和頻率系數(shù)位置的值。在該情況下，要求滿足由Q1×(2-S1)×Q2×(2S2)＝1所表示的關(guān)系。在該情況下，Q1×Q2導(dǎo)致二進(jìn)制的指數(shù)，并且S2-S1被獲得為固定值。
圖17A和17B示出了，在使用加權(quán)矩陣的情況下量化單元Q和逆量化單元IQ第二示例結(jié)構(gòu)的框圖。量化單元Q2包括乘法單元Q21，該乘法單元Q21使頻率系數(shù)乘以Q1；乘法單元Q22，該乘法單元Q22使乘法單元Q21所執(zhí)行的乘法結(jié)果乘以Qa；右移位器Q23，該右移位器Q23使乘法單元Q22所執(zhí)行的乘法結(jié)果向右移位S1位；以及右移位器Q24，該右移位器Q24使右移位器Q23所執(zhí)行的移位結(jié)果向右移位Sa位。逆量化單元IQ2包括乘法單元IQ21，該乘法單元IQ21使量化頻率系數(shù)乘以Q2；左移位器Q22，該左移位器Q22使乘法結(jié)果向左移位S2位；乘法單元IQ23，該乘法單元IQ23使左移位器Q22所執(zhí)行的移位結(jié)果乘以Qb；以及右移位器IQ24，該右移位器IQ24使左移位器Q22所執(zhí)行的移位結(jié)果向右移位Sb位。
在此，“Qa”和“Sa”對(duì)應(yīng)于指定加權(quán)矩陣中的加權(quán)分量Wi，j，并且可以建立以下關(guān)系Qa×2-Sa×Qb×2-Sb＝1。
圖18A和18B示出了量化單元Q和逆量化單元IQ第三示例結(jié)構(gòu)的框圖，其中圖17A和17B所示的結(jié)構(gòu)被簡(jiǎn)化了，以便一起執(zhí)行乘法和移位操作。圖中的量化單元Q3包括乘法單元Q31，該乘法單元Q31使正交變換系數(shù)乘以Q1a；以及右移位器Q32，該右移位器Q32使乘法單元Q31所執(zhí)行的乘法結(jié)果向右移位“S1+Sa”位。逆量化矩陣IQ3包括乘法單元IQ31，該乘法單元IQ31使量化的正交變換系數(shù)乘以Q2a；以及右移位器IQ32，該右移位器IQ32使乘法單元IQ31所執(zhí)行的乘法結(jié)果向右移位“Sb-S2”位。乘法單元IQ31通過(guò)執(zhí)行與Q1a的一次乘法，來(lái)執(zhí)行圖17A所示的分別與Q1和Qa的兩次乘法。即，利用以下方程Q1b＝Q1×Qb來(lái)完成執(zhí)行。右移位器Q32通過(guò)執(zhí)行一次移位，來(lái)執(zhí)行分別向右S1位和Sa位的兩次右移位。乘法單元IQ31通過(guò)執(zhí)行與Q2b的一次乘法，來(lái)執(zhí)行分別與Q2和Qb的兩次乘法。即，利用以下方程Q2b＝Q2×Qb，來(lái)完成執(zhí)行。右移位器IQ32通過(guò)執(zhí)行一次移位，來(lái)執(zhí)行向左移位S2位和向右移位Sb位。
圖19示出了，在基于量化參數(shù)QP對(duì)每個(gè)(i，j)分量執(zhí)行包括頻率變換乘法的量化步長(zhǎng)計(jì)算的情況下的逆量化流程圖。例如，通過(guò)逆量化單元IQ3(或IQ2)，基于塊來(lái)執(zhí)行逆量化。
首先，逆量化單元IQ3獲得加權(quán)矩陣{Wi，j}和量化參數(shù)QP(S31、S32)。然后，逆量化單元IQ3進(jìn)一步從量化參數(shù)QP導(dǎo)出{Q2i，j}和S2(S33)，如通過(guò)包括頻率變換乘法的計(jì)算所獲得的量化步長(zhǎng)，并獲得量化值(量化的頻率系數(shù)){fi，j}(S34)。在此，{Q2i，j}被獲得作為QP％6的量化步長(zhǎng)。利用QP/6來(lái)獲得S2b。
接著，逆量化單元IQ3在循環(huán)1(S35-S40)中對(duì)塊中的每個(gè)頻率系數(shù)執(zhí)行量化。即，逆量化單元IQ3根據(jù)加權(quán)矩陣{Wi，j}來(lái)導(dǎo)出{Qbi，j}和Sb(S36)，并通過(guò)使Qbi，j和Q2i，j相乘來(lái)獲得等級(jí)尺度(level scale)LSi，j(S37)。逆量化單元IQ3進(jìn)一步通過(guò)從Sb減去S2來(lái)獲得要移位的位數(shù)S2b(S38)，以便同時(shí)移位，并通過(guò)使量化值fi，j和等級(jí)尺度(level scale)LSi，j相乘來(lái)計(jì)算逆量化值，然后使乘法結(jié)果向左移位S2b位(S40)。
從而，可以通過(guò)以下簡(jiǎn)單方法來(lái)執(zhí)行逆量化對(duì)通過(guò)包括頻率變換乘法的計(jì)算所獲得的量化步長(zhǎng)執(zhí)行逆量化，同時(shí)利用量化參數(shù)QP來(lái)計(jì)算量化步長(zhǎng)。
圖20示出了，在預(yù)先利用量化參數(shù)QP來(lái)計(jì)算通過(guò)包括頻率變換乘法的計(jì)算所獲得的量化步長(zhǎng)的情況下的量化處理流程圖。例如，通過(guò)逆量化單元IQ3(或IQ2)來(lái)執(zhí)行逆量化。圖20和圖19之間的差別在于，基于每幅圖像把每一個(gè)都是通過(guò)包括頻率變換乘法的計(jì)算而獲得的所有量化步長(zhǎng)LSi，j都存儲(chǔ)在存儲(chǔ)器中作為表(循環(huán)1中S43c)，以及從表中讀出LSi，j(循環(huán)2中的S49a)。其它操作幾乎和圖19一樣，從而省略對(duì)它們的描述。根據(jù)該實(shí)施方式的逆量化，在循環(huán)1中，把每一個(gè)都是通過(guò)包括頻率變換乘法的計(jì)算而獲得的所有量化步長(zhǎng)LSi，j都存儲(chǔ)在存儲(chǔ)器中作為表，它適于基于塊來(lái)高速地計(jì)算逆量化值。
圖21示出了，在根據(jù)需要基于量化參數(shù)QP來(lái)計(jì)算通過(guò)包括頻率變換乘法的計(jì)算所獲得的量化步長(zhǎng)的情況下的量化處理流程圖。例如，通過(guò)逆量化單元IQ3(或IQ2)來(lái)執(zhí)行逆量化。圖19和圖21之間的差別在于，在初始化時(shí)為存儲(chǔ)器中的表分配自由區(qū)(free area)，以及通過(guò)包括頻率變換乘法的計(jì)算所獲得的量化步長(zhǎng)LSi，j是否被存儲(chǔ)在表中(S56)。在判斷量化步長(zhǎng)LSi，j和要移位的位數(shù)S2b未被存儲(chǔ)的情況下，計(jì)算LSi，j和S2b(S57a-S57c)，并把所獲得的LSi，j和S2b加到表上(S57d)，而在判斷量化步長(zhǎng)LSi，j被存儲(chǔ)了的情況下，從表中讀出LSi，j和S2b(S57e)。根據(jù)該實(shí)施方式的逆量化，與圖20相比，有可能將計(jì)算量減小到共同使用量化參數(shù)QP的隨后塊所要求的最小計(jì)算量，盡管對(duì)于第一塊，計(jì)算量或多或少地隨分量而變。
圖22示出了根據(jù)該實(shí)施方式的圖像解碼設(shè)備的結(jié)構(gòu)框圖。在圖中，相同的附圖標(biāo)記被賦予按照和圖4框圖所示的圖像編碼設(shè)備中所包括的單元一樣的方式進(jìn)行操作的單元，并省略對(duì)它們的說(shuō)明。逆量化單元IQ和逆正交變換單元IT和圖4所示的一樣，在那里已經(jīng)說(shuō)明了這些操作。
此外，通過(guò)把用于實(shí)現(xiàn)以上實(shí)施方式的每一個(gè)中所描述的運(yùn)動(dòng)圖像編碼/解碼方法的程序記錄在存儲(chǔ)介質(zhì)如軟盤等上，可以在獨(dú)立計(jì)算機(jī)系統(tǒng)中容易地執(zhí)行以上實(shí)施方式中所示的處理。
圖23A、23B和23C是利用諸如計(jì)算機(jī)系統(tǒng)中軟盤的存儲(chǔ)介質(zhì)中所存儲(chǔ)的程序，來(lái)實(shí)現(xiàn)以上實(shí)施方式中所描述的運(yùn)動(dòng)圖像編碼/解碼方法的圖解。
圖23B示出了軟盤的完整外觀、其橫截面結(jié)構(gòu)及軟盤自身，而圖23A示出了作為存儲(chǔ)介質(zhì)主體的軟盤的物理格式。軟盤FD被容納在外殼F中，多個(gè)磁道Tr從外到內(nèi)同心地形成在盤的表面上，并且每個(gè)磁道在角方向上被分成16個(gè)扇區(qū)Se。因而，運(yùn)動(dòng)圖像編碼方法和運(yùn)動(dòng)圖像解碼方法作為程序被記錄在軟盤FD上為它分配的區(qū)中。
圖23C示出了用于把程序記錄在軟盤FD上以及再現(xiàn)軟盤FD上的程序的配置。當(dāng)把程序記錄在軟盤FD上時(shí)，計(jì)算機(jī)系統(tǒng)Cs通過(guò)軟盤驅(qū)動(dòng)器FDD寫入運(yùn)動(dòng)圖像編碼和解碼方法作為程序。當(dāng)利用軟盤上的程序來(lái)在計(jì)算機(jī)系統(tǒng)中構(gòu)造運(yùn)動(dòng)圖像編碼和解碼方法時(shí)，通過(guò)軟盤驅(qū)動(dòng)器FDD從軟盤讀出程序，然后將其傳送給計(jì)算機(jī)系統(tǒng)。
在存儲(chǔ)介質(zhì)是軟盤的假定之下進(jìn)行了以上說(shuō)明，但是也可以利用光盤來(lái)執(zhí)行相同處理。另外，存儲(chǔ)介質(zhì)不限于軟盤和光盤，而可以使用能夠記錄程序的其它任何介質(zhì)，如集成電路(IC)卡和只讀存儲(chǔ)器(ROM)盒式磁帶。
以下描述上述實(shí)施方式中所說(shuō)明的運(yùn)動(dòng)圖像編碼和解碼方法的應(yīng)用以及使用該運(yùn)動(dòng)圖像編碼和解碼方法的系統(tǒng)。
圖24示出了用于實(shí)現(xiàn)內(nèi)容傳送服務(wù)的內(nèi)容供應(yīng)系統(tǒng)ex100的總體配置框圖。用于提供通信服務(wù)的區(qū)被分成具有期望大小的小區(qū)，并且作為固定無(wú)線電臺(tái)的小區(qū)站點(diǎn)(cell site)ex107～ex110位于各自小區(qū)中。
該內(nèi)容供應(yīng)系統(tǒng)ex100例如通過(guò)因特網(wǎng)ex101、因特網(wǎng)服務(wù)供應(yīng)商ex102、電話網(wǎng)ex104以及小區(qū)站點(diǎn)ex107～ex110連接到各種設(shè)備，如計(jì)算機(jī)ex111、個(gè)人數(shù)字助理(PDA)ex112、照相機(jī)ex113、蜂窩電話ex114和具有照相機(jī)的蜂窩電話ex115。
然而，內(nèi)容供應(yīng)系統(tǒng)ex100不限于圖24所示的配置，而可以連接到任何設(shè)備的組合。而且，每個(gè)設(shè)備可以不通過(guò)小區(qū)站點(diǎn)ex107～ex110而直接連接到電話網(wǎng)ex104。
照相機(jī)ex113是一種能夠拍攝視頻的設(shè)備，如數(shù)字?jǐn)z像機(jī)。蜂窩電話ex114可以是以下任一系統(tǒng)的蜂窩電話個(gè)人數(shù)字通信(PDC)系統(tǒng)、碼分多址(CDMA)系統(tǒng)、寬帶碼分多址(W-CDMA)系統(tǒng)或全球移動(dòng)通信系統(tǒng)(GMS)、個(gè)人手持電話系統(tǒng)(PHS)等。
流式傳輸服務(wù)器ex103通過(guò)電話網(wǎng)ex104以及小區(qū)站點(diǎn)ex109連接到照相機(jī)ex113，根據(jù)發(fā)自用戶的編碼數(shù)據(jù)，利用照相機(jī)ex113來(lái)實(shí)現(xiàn)實(shí)況播送分發(fā)等。照相機(jī)ex113和發(fā)送數(shù)據(jù)的服務(wù)器等的任何一個(gè)都可以對(duì)數(shù)據(jù)進(jìn)行編碼。由照相機(jī)ex116拍攝的運(yùn)動(dòng)圖像數(shù)據(jù)可以通過(guò)計(jì)算機(jī)ex111被發(fā)送給流式傳輸服務(wù)器ex103。在該情況下，照相機(jī)ex116或計(jì)算機(jī)ex111可以對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼。計(jì)算機(jī)ex111中所包括的大規(guī)模集成電路(LSI)ex117和照相機(jī)ex116執(zhí)行編碼處理?？梢园延糜诰幋a和解碼運(yùn)動(dòng)圖像的軟件集成到可以通過(guò)計(jì)算機(jī)ex111等讀取的任何類型存儲(chǔ)介質(zhì)(如只讀光盤(CD-ROM)、軟盤和硬盤)中。此外，具有照相機(jī)ex115的蜂窩電話可以發(fā)送運(yùn)動(dòng)圖像數(shù)據(jù)。該運(yùn)動(dòng)圖像數(shù)據(jù)是通過(guò)蜂窩電話ex115中所包括的LSI編碼的數(shù)據(jù)。
內(nèi)容供應(yīng)系統(tǒng)ex100用和如上述實(shí)施方式所示的一樣的方法，對(duì)用戶利用照相機(jī)ex113、照相機(jī)ex116等拍攝的內(nèi)容(如音樂(lè)實(shí)況播送視頻)進(jìn)行編碼，并把它們發(fā)送給流式傳輸服務(wù)器ex103，同時(shí)一旦客戶請(qǐng)求，流式傳輸服務(wù)器ex103就以流方式把內(nèi)容數(shù)據(jù)傳送給客戶?？蛻舭軌?qū)ι鲜鼍幋a數(shù)據(jù)進(jìn)行解碼的計(jì)算機(jī)ex111、PDAex112、照相機(jī)ex113、蜂窩電話ex114等。從而，在內(nèi)容供應(yīng)系統(tǒng)ex100中，客戶能夠接收和再現(xiàn)編碼數(shù)據(jù)，并且進(jìn)一步能夠?qū)崟r(shí)接收、解碼和再現(xiàn)數(shù)據(jù)，以便實(shí)現(xiàn)個(gè)人廣播。
當(dāng)該系統(tǒng)中的每個(gè)設(shè)備執(zhí)行編碼或解碼時(shí)，可以使用上述實(shí)施方式中所示的運(yùn)動(dòng)圖像編碼設(shè)備和運(yùn)動(dòng)圖像解碼設(shè)備。
將對(duì)蜂窩電話進(jìn)行說(shuō)明，作為這種設(shè)備的一個(gè)例子。
圖25示出了使用上述實(shí)施方式中所說(shuō)明的運(yùn)動(dòng)圖像編碼和解碼方法的蜂窩電話ex115。蜂窩電話ex115具有天線ex201，用于通過(guò)無(wú)線電波和小區(qū)站點(diǎn)ex110通信；能夠拍攝運(yùn)動(dòng)和靜態(tài)圖像的照相機(jī)單元ex203，如電荷耦合器件(CCD)相機(jī)；顯示單元ex202，如液晶顯示器，用于顯示通過(guò)照相機(jī)單元ex203拍攝的或通過(guò)天線ex201接收的數(shù)據(jù)、如解碼的圖像等；包括一組操作鍵ex204的主體單元；語(yǔ)音輸出單元ex208，如揚(yáng)聲器，用于輸出語(yǔ)音；語(yǔ)音輸入單元ex205，如麥克風(fēng)，用于輸入語(yǔ)音；存儲(chǔ)介質(zhì)ex207，用于記錄編碼或解碼數(shù)據(jù)，如通過(guò)照相機(jī)拍攝的運(yùn)動(dòng)或靜態(tài)圖像數(shù)據(jù)、所接收的電子郵件數(shù)據(jù)、以及運(yùn)動(dòng)或靜態(tài)圖像數(shù)據(jù)；以及插槽單元ex206，用于把存儲(chǔ)介質(zhì)ex207附加到蜂窩電話ex115上。存儲(chǔ)介質(zhì)ex207是一種放在在諸如安全數(shù)字存儲(chǔ)卡(SD卡)的塑料盒中的快速存儲(chǔ)元件，該快速存儲(chǔ)元件是一種作為電可擦除可重寫非易失性存儲(chǔ)器的電可擦除可編程只讀存儲(chǔ)器(EEPROM)。
接下來(lái)，將參考圖26來(lái)說(shuō)明蜂窩電話ex115。在蜂窩電話ex115中，被設(shè)計(jì)成全面控制包括顯示單元ex202和操作鍵ex204的主體的每個(gè)單元的主控制單元ex311，通過(guò)同步總線ex313互連到電源電路單元ex310、操作輸入控制單元ex304、圖像編碼單元ex312、相機(jī)接口單元ex303、液晶顯示器(LCD)控制單元ex302、圖像解碼單元ex309、復(fù)用/解復(fù)用單元ex308、讀/寫單元ex307、調(diào)制解調(diào)器電路單元ex306和語(yǔ)音處理單元ex305。
當(dāng)通過(guò)用戶的操作接通呼叫結(jié)束(call-end)鍵或電源鍵，則電源電路單元ex310從電池組向各單元供電，以便把具有照相機(jī)的數(shù)字蜂窩電話ex115激活為就緒狀態(tài)。
在蜂窩電話ex115中，語(yǔ)音處理單元ex305在包括中央處理器(CPU)、只讀存儲(chǔ)器(ROM)和隨機(jī)存儲(chǔ)器(RAM)的主控制單元ex311的控制下，把在會(huì)話模式下通過(guò)語(yǔ)音輸入單元ex205接收的語(yǔ)音信號(hào)轉(zhuǎn)換成數(shù)字語(yǔ)音數(shù)據(jù)，調(diào)制解調(diào)器電路單元ex306對(duì)數(shù)字語(yǔ)音數(shù)據(jù)執(zhí)行擴(kuò)展頻譜處理，并且通信電路單元ex301對(duì)數(shù)據(jù)執(zhí)行數(shù)模轉(zhuǎn)換和頻率轉(zhuǎn)換，以便通過(guò)天線ex201來(lái)發(fā)送數(shù)據(jù)。同樣，在蜂窩電話ex115中，通信電路單元ex301對(duì)在會(huì)話模式下通過(guò)天線ex201接收的數(shù)據(jù)進(jìn)行放大，并對(duì)數(shù)據(jù)執(zhí)行頻率轉(zhuǎn)換和模數(shù)轉(zhuǎn)換，調(diào)制解調(diào)器電路單元ex306對(duì)數(shù)據(jù)執(zhí)行逆擴(kuò)展頻譜處理，并且語(yǔ)音處理單元ex305將數(shù)據(jù)轉(zhuǎn)換成模擬語(yǔ)音數(shù)據(jù)，以便通過(guò)語(yǔ)音輸出單元ex208輸出模擬語(yǔ)音數(shù)據(jù)。
此外，當(dāng)在數(shù)據(jù)通信模式下發(fā)送電子郵件時(shí)，通過(guò)操作主體的操作鍵ex204輸入的電子郵件文本數(shù)據(jù)通過(guò)操作輸入控制單元ex304被發(fā)送到主控制單元ex311。在主控制單元ex311中，在調(diào)制解調(diào)器電路單元ex306對(duì)文本數(shù)據(jù)執(zhí)行擴(kuò)展頻譜處理并且通信電路單元ex301對(duì)文本數(shù)據(jù)執(zhí)行數(shù)模轉(zhuǎn)換和頻率轉(zhuǎn)換之后，數(shù)據(jù)通過(guò)天線ex201被發(fā)送到小區(qū)站點(diǎn)ex110。
當(dāng)在數(shù)據(jù)通信模式下發(fā)送圖像數(shù)據(jù)時(shí)，通過(guò)照相機(jī)單元ex203拍攝的圖像數(shù)據(jù)通過(guò)相機(jī)接口單元ex303被提供給圖像編碼單元ex312。當(dāng)不發(fā)送圖像數(shù)據(jù)時(shí)，也有可能通過(guò)相機(jī)接口單元ex303和LCD控制單元ex302，把照相機(jī)單元ex203所拍攝的圖像數(shù)據(jù)直接顯示在顯示單元ex202上。
包括如本發(fā)明所述的運(yùn)動(dòng)圖像編碼設(shè)備的圖像編碼單元ex312利用如上述實(shí)施方式所示的運(yùn)動(dòng)圖像編碼設(shè)備所采用的編碼方法，來(lái)對(duì)照相機(jī)單元ex203所提供的圖像數(shù)據(jù)進(jìn)行壓縮和編碼，以便將其轉(zhuǎn)換成編碼圖像數(shù)據(jù)，并將其發(fā)送到復(fù)用/解復(fù)用單元ex308。此時(shí)，在利用照相機(jī)單元ex203拍攝的期間，蜂窩電話ex115把通過(guò)語(yǔ)音輸入單元ex205收到的語(yǔ)音通過(guò)語(yǔ)音處理單元ex305發(fā)送到復(fù)用/解復(fù)用單元ex308，作為數(shù)字語(yǔ)音數(shù)據(jù)。
復(fù)用/解復(fù)用單元ex308利用預(yù)定方法，對(duì)圖像編碼單元ex312所提供的編碼圖像數(shù)據(jù)和語(yǔ)音處理單元ex305所提供的語(yǔ)音數(shù)據(jù)進(jìn)行復(fù)用，然后調(diào)制解調(diào)器電路單元ex306對(duì)作為復(fù)用結(jié)果而獲得的復(fù)用數(shù)據(jù)執(zhí)行擴(kuò)展頻譜處理，最后通信電路單元ex301對(duì)數(shù)據(jù)執(zhí)行數(shù)模轉(zhuǎn)換和頻率變換，以便通過(guò)天線ex201發(fā)送。
關(guān)于在數(shù)據(jù)通信模式下接收鏈接到網(wǎng)頁(yè)等上的運(yùn)動(dòng)圖像文件數(shù)據(jù)，調(diào)制解調(diào)器電路單元ex306對(duì)通過(guò)天線ex201從小區(qū)站點(diǎn)ex110收到的數(shù)據(jù)執(zhí)行逆擴(kuò)展頻譜處理，并發(fā)送作為逆擴(kuò)展頻譜處理的結(jié)果所獲得的復(fù)用數(shù)據(jù)。
為了對(duì)通過(guò)天線ex201收到的復(fù)用數(shù)據(jù)進(jìn)行解碼，復(fù)用/解復(fù)用單元ex308把復(fù)用數(shù)據(jù)解復(fù)用為編碼的圖像數(shù)據(jù)流和編碼的語(yǔ)音數(shù)據(jù)流，并分別通過(guò)同步總線ex313把編碼圖像數(shù)據(jù)提供給圖像解碼單元ex309，把語(yǔ)音數(shù)據(jù)提供給語(yǔ)音處理單元ex305。
接著，包括如本發(fā)明所述的運(yùn)動(dòng)圖像解碼設(shè)備的圖像解碼單元ex309利用如上述實(shí)施方式所示的編碼方法所對(duì)應(yīng)的編碼方法，對(duì)編碼的圖像數(shù)據(jù)流進(jìn)行解碼，以產(chǎn)生再現(xiàn)的運(yùn)動(dòng)圖像數(shù)據(jù)，并通過(guò)LCD控制單元ex302將該數(shù)據(jù)提供給顯示單元ex202，從而例如鏈接到萬(wàn)維網(wǎng)頁(yè)的運(yùn)動(dòng)圖像文件中所包括的圖像數(shù)據(jù)被顯示。同時(shí)，語(yǔ)音處理單元ex305將語(yǔ)音數(shù)據(jù)轉(zhuǎn)換成模擬語(yǔ)音數(shù)據(jù)，并將該數(shù)據(jù)提供給語(yǔ)音輸出單元ex208，從而例如鏈接到萬(wàn)維網(wǎng)頁(yè)的運(yùn)動(dòng)圖像文件中所包括的語(yǔ)音數(shù)據(jù)被再現(xiàn)。
本發(fā)明不限于上述系統(tǒng)，因?yàn)榈鼗蛐l(wèi)星數(shù)字廣播最近已被報(bào)道，并且至少可以將上述實(shí)施方式中所描述的運(yùn)動(dòng)圖像編碼設(shè)備或運(yùn)動(dòng)圖像解碼設(shè)備集成到如圖27所示的數(shù)字廣播系統(tǒng)中。更具體地說(shuō)，編碼視頻信息流通過(guò)無(wú)線電波從廣播電臺(tái)ex409被發(fā)送到廣播衛(wèi)星ex410，或者和廣播衛(wèi)星ex410通信。一旦收到該編碼視頻信息流，廣播衛(wèi)星ex410就發(fā)射無(wú)線電波進(jìn)行廣播。然后，具有衛(wèi)星廣播接收功能的家用天線ex406接收無(wú)線電波，并且電視機(jī)(接收器)ex401或機(jī)頂盒(STB)ex407對(duì)編碼位流進(jìn)行解碼以便再現(xiàn)?？梢栽谠佻F(xiàn)設(shè)備ex403中實(shí)現(xiàn)如上述實(shí)施方式所示的運(yùn)動(dòng)圖像解碼設(shè)備，以便讀出和解碼存儲(chǔ)介質(zhì)ex402如CD和數(shù)字通用光盤(DVD)上記錄的編碼流。在該情況下，再現(xiàn)的運(yùn)動(dòng)圖像信號(hào)被顯示在監(jiān)視器ex404上。也可以想象在連接到用于有線電視的電纜ex405或用于衛(wèi)星和/或地基廣播的天線ex406的STB ex407中，實(shí)現(xiàn)運(yùn)動(dòng)圖像解碼設(shè)備，以便將它們?cè)佻F(xiàn)在電視機(jī)ex401的監(jiān)視器ex408上。也可以將運(yùn)動(dòng)圖像解碼設(shè)備并入電視機(jī)中，而不是機(jī)頂盒中。同樣，具有天線ex411的汽車ex412能夠從衛(wèi)星ex410或小區(qū)站點(diǎn)ex107接收信號(hào)，以便在顯示設(shè)備如汽車ex412中所設(shè)置的汽車導(dǎo)航系統(tǒng)ex413上重放運(yùn)動(dòng)圖像。
此外，如上述實(shí)施方式所示的運(yùn)動(dòng)圖像編碼設(shè)備可以對(duì)圖像信號(hào)進(jìn)行編碼，并將它們記錄在存儲(chǔ)介質(zhì)上。作為具體的例子，可以引用用于把圖像信號(hào)記錄在DVD盤ex421上的記錄器ex420，如DVD記錄器，以及用于把圖像信號(hào)記錄在硬盤上的盤記錄器?？梢园阉鼈冇涗浽赟D卡ex422上。當(dāng)記錄器ex420包括如上述實(shí)施方式所述的運(yùn)動(dòng)圖像解碼設(shè)備時(shí)，可以再現(xiàn)DVD盤ex421或SD卡ex422上記錄的圖像信號(hào)，以便將它們顯示在監(jiān)視器ex408上。
對(duì)于汽車導(dǎo)航系統(tǒng)ex413的結(jié)構(gòu)，可以想象圖26所示的部件中沒(méi)有照相機(jī)單元ex203、相機(jī)接口單元ex303和圖像編碼單元ex312的結(jié)構(gòu)。上述情況也適用于計(jì)算機(jī)ex111、電視機(jī)(接收器)ex401等。
另外，對(duì)于諸如蜂窩電話ex114的終端，可以設(shè)想三種類型的實(shí)現(xiàn)用編碼器和解碼器實(shí)現(xiàn)的發(fā)送/接收終端，只用編碼器實(shí)現(xiàn)的發(fā)送終端，以及只用解碼器實(shí)現(xiàn)的接收終端。
注意，圖4、16A、16B、17A、17B、18A、18B和22所示框圖中的每個(gè)功能塊都可以被實(shí)現(xiàn)為作為集成電路設(shè)備的LSI?？梢砸砸粋€(gè)或多個(gè)芯片的形式來(lái)集成這種LSI(例如可以把除存儲(chǔ)器以外的功能塊集成到單個(gè)芯片中)。在此，取LSI作為例子，然而，取決于集成度，它可以被稱為“IC”、“系統(tǒng)LSI”、“超級(jí)LSI”和“ultra LSI”。
集成電路集成方法不限于LSI，可以用專用線或一般處理器來(lái)實(shí)現(xiàn)它。在制造LSI之后，可以利用可編程的現(xiàn)場(chǎng)可編程門陣列(FPGA)、或能夠?yàn)長(zhǎng)SI中的電路單元重新配置連接和設(shè)置的可重新配置處理器。
此外，隨著由于半導(dǎo)體技術(shù)或不同于半導(dǎo)體技術(shù)的另一種技術(shù)的進(jìn)展而代替LSI的集成電路集成技術(shù)的到來(lái)，可以利用新出現(xiàn)的技術(shù)來(lái)實(shí)施功能塊的集成?？梢砸蒙锛夹g(shù)應(yīng)用作為例子之一。
在功能塊中，只有用于存儲(chǔ)數(shù)據(jù)的單元可以在不以芯片形式進(jìn)行集成的情況下，被單獨(dú)構(gòu)造為該實(shí)施方式中所述的存儲(chǔ)介質(zhì)115。
注意，可以通過(guò)處理器或程序，來(lái)實(shí)現(xiàn)圖4和22中所示的功能塊或圖19至21中所示的流程圖中的主要部分。
如上所述，有可能在任一上述設(shè)備或系統(tǒng)中使用以上實(shí)施方式中提出的圖像編碼方法和圖像解碼方法。因此，有可能獲得上述實(shí)施方式中描述的效果。
(第二實(shí)施方式)以下描述本發(fā)明第二實(shí)施方式。
<基于整數(shù)的無(wú)除法量化方案>
為了減小計(jì)算復(fù)雜性，希望利用q矩陣的量化只使用乘法和移位操作。換句話說(shuō)，實(shí)際上應(yīng)該避免計(jì)算量大的除法操作。所提出的基于整數(shù)的無(wú)除法非均勻高效量化方法一般可應(yīng)用于視頻編碼系統(tǒng)中任何尺寸的塊變換和量化。
在圖16A和16B中，說(shuō)明了在只使用乘法和移位操作的情況下的變換系數(shù)的量化和解量化(de-quantization)操作。對(duì)于給定的QP，S1和S2的值對(duì)于所有系數(shù)都是固定的，而Q1和Q2的值取決于QP值和系數(shù)位置(參見(jiàn)Ref.1ISO/IEC MPEG&ITU-T VCEG的聯(lián)合視頻小組(JVT)，“Draft of ITU-T Recommendation and Final DraftInternational Standard of Joint Video Specification(聯(lián)合視頻規(guī)范的ITU-T建議和最終草案國(guó)際標(biāo)準(zhǔn)草案)(ITU-T Rec.H.264|ISO/IEC14496-10AVC)”，JVT-G050r1.doc，Geneva，Switzerland，May 2003)。注意，這不是加權(quán)量化機(jī)制，而只不過(guò)是歸一化問(wèn)題，因?yàn)樵谝曨l編碼標(biāo)準(zhǔn)中整數(shù)變換的行是正交的，但是沒(méi)有相同范數(shù)(norm)(見(jiàn)Ref.1)。
把q矩陣集成到無(wú)除法量化和解量化中首先可以被看作是在這兩個(gè)處理中引入另一對(duì)乘法和移位。在圖17A和17B中對(duì)此進(jìn)行了說(shuō)明。注意，Qa和Qb的值取決于指定的q矩陣項(xiàng)以及指定的Sa值。
為了減小計(jì)算復(fù)雜性，可以只利用乘法和移位操作來(lái)近似除法操作。對(duì)于指定的q矩陣項(xiàng)Mq和給定的(或編碼器和解碼器都同意的)Sa值，整數(shù)Qa的值被定義為(1＜＜(Sa+Bn))/Mq。相應(yīng)地，整數(shù)Qb的值被定義為Mq＜＜(Sa-Bn)。例如，可以把Bn設(shè)定為4。顯然，在該情況下，利用所有項(xiàng)都等于16的q矩陣的量化將和視頻編碼標(biāo)準(zhǔn)中的均勻量化一樣(見(jiàn)Ref.1)。注意，Sa＞Bn，并且通常Sa＞＝8。這種設(shè)計(jì)用于保持一定水平的整數(shù)計(jì)算精度，因?yàn)镼a和Qb都是整數(shù)?？紤]這種利用q矩陣的量化的設(shè)計(jì)，可以證明所有操作和存儲(chǔ)器存取都可以用16位來(lái)計(jì)算。注意，如果在存儲(chǔ)之前數(shù)據(jù)被縮放/移位，則中間結(jié)果允許超過(guò)16位。較大的Sa值允許更好的整數(shù)量化計(jì)算精度，然而，應(yīng)該相對(duì)于硬件設(shè)計(jì)，關(guān)于中間結(jié)果的動(dòng)態(tài)范圍來(lái)約束值。
<解量化和歸一化逆變換的單次乘法>
根據(jù)圖17A和17B，直接的做法是據(jù)此組合乘法和移位操作，由此減小計(jì)算復(fù)雜性。圖18A和18B示出了利用q矩陣量化的進(jìn)一步集成度。具體地說(shuō)，整數(shù)Q1a被定義為Q1*(1＜＜(Sa+Bn))/Mq，且整數(shù)Q2a等于Q2*Mq＜＜(Sa-Bn)。因?yàn)镼1和Q2是從查找表獲得的，所以q矩陣的集成基本上導(dǎo)致執(zhí)行過(guò)程中的查找表更新。
在初始化階段，可以容易地根據(jù)指定的q矩陣來(lái)改變表。注意，整數(shù)S2的值被定義為QP/6，并且它總是小于8，因?yàn)樵谝曨l編碼標(biāo)準(zhǔn)中QP必須在
的范圍內(nèi)(見(jiàn)Ref.1)。重要的是，所建議的集成有助于使Q1a值對(duì)于每個(gè)q矩陣項(xiàng)的不同值(例如典型地為[1，255])都是可區(qū)分的。從編碼器設(shè)計(jì)的觀點(diǎn)來(lái)看，這是所希望的一種特性，因?yàn)樗试S依據(jù)量化進(jìn)行更精細(xì)調(diào)諧的靈活性。
<基于q矩陣推導(dǎo)的新查找表例子>
我們得到以下一般形式的量化公式量化Cij＝sign(xij)*(abs(xij)*Qq(QP％6，i，j)+(1＜＜n)*f)＞＞n解量化yij＝sign(cij)*((abs(cij)*Qd(QP％6，i，j))＞＞m)在此，xij、cij、 yij分別表示原始、量化和解量化的系數(shù)。Qq和Qd分別是在量化和解量化中使用的矩陣?？紤]整數(shù)變換的歸一化，Qq和Qd不同。注意，在均勻量化的情況下，Qq和Qd將是平坦矩陣(flatmatrix)。如果x為正，則sign(x)等于1，如果x＝0，則sign(x)等于0，或者如果x為負(fù)，則sign(x)等于-1。abs(x)是x的絕對(duì)值。m和n的值取決于QP、塊變換尺寸和Sa值。f值通常取決于塊編碼類型；例如，對(duì)于幀內(nèi)編碼塊它等于3/8，對(duì)于幀間編碼塊它等于1/6。
<與8×8q矩陣關(guān)聯(lián)的新查找表/矩陣>
考慮Bn＝4、Sa＝8，且如圖30和31推導(dǎo)矩陣Qq和Qd的情況。對(duì)于行正交且具有相同范數(shù)的8×8整數(shù)變換，利用q矩陣推導(dǎo)查找表是簡(jiǎn)單的。采用圖28所示的8×8q矩陣。
基于8×8整數(shù)變換，分別得到如圖29所示的量化和解量化縮放因數(shù)(scaling factor)表。
在QP＝20的情況下，用于量化的縮放因數(shù)(用作乘數(shù))將等于1979，用于解量化的縮放因數(shù)將等于19。注意，在均勻量化的情況下，這些值對(duì)于所有變換系數(shù)都是相同的。當(dāng)使用q矩陣時(shí)，縮放因數(shù)實(shí)質(zhì)上分別變成了如圖30和31所示的矩陣。當(dāng)指定q矩陣時(shí)，可以對(duì)每個(gè)縮放因數(shù)進(jìn)行初始化。
<與4×4q矩陣關(guān)聯(lián)的新查找表/矩陣>
考慮Bn＝4、Sa＝8，且如圖34和35所示推導(dǎo)矩陣Qq和Qd的情況。對(duì)于行正交但具有不同范數(shù)的4×4整數(shù)變換(參見(jiàn)Ref.1)，利用q矩陣推導(dǎo)查找表需要考慮矩陣中系數(shù)的位置。采用圖32所示的4×4q矩陣。如圖33所示確定量化和解量化縮放因數(shù)表(考慮整數(shù)變換的歸一化)。
在QP＝20的情況下，用于量化和解量化的縮放因數(shù)(用作乘數(shù))矩陣將分別如圖34和35所示。
當(dāng)指定4×4q矩陣時(shí)，可以相對(duì)圖33中列出的矩陣w和v的每一行來(lái)初始化這些矩陣。
<分別處理DC塊量化>
在使用Hadamard變換的情況下，所提議的利用q矩陣的量化不適用于第二級(jí)變換，即亮度和色度的DC分量變換。這是一些原因。在編碼器中，量化緊跟變換之后，而在解碼器中，解量化緊跟逆變換之后、而不是之前。這是為了在逆變換期間保持可能的動(dòng)態(tài)范圍(整數(shù)計(jì)算精度)。結(jié)果，量化和解量化實(shí)際上是在不同的域中。這對(duì)于均勻量化不是問(wèn)題，但是在使用加權(quán)q矩陣的過(guò)程中將造成系數(shù)的縮放因數(shù)的不對(duì)準(zhǔn)。另外，Hadamard變換本身不必保持和第一級(jí)中一樣的DCT(或近似整數(shù)變換)特性。Hadamard變換域中的加權(quán)量化可能不是同樣地有意義。
該創(chuàng)新將均勻量化方案擴(kuò)展到使用q矩陣的加權(quán)量化方案，同時(shí)維持整數(shù)操作，并將復(fù)雜性保持到最小限度。作為重要的例子，該解決方案允許在可忽略的復(fù)雜性增加和最小限度句法改變的情況下，把量化矩陣方案集成到當(dāng)前視頻編碼系統(tǒng)(參見(jiàn)Ref.1)實(shí)現(xiàn)中。
(第三實(shí)施方式)
以下描述本發(fā)明第三實(shí)施方式。
在視頻編碼系統(tǒng)中，默認(rèn)地定義一組量化矩陣，使得解碼器實(shí)施量化方案和矩陣。當(dāng)編碼的位流使用量化加權(quán)方案時(shí)，它們將用于解碼。用戶可以定義他們自己的量化矩陣，并將它們發(fā)送到解碼器。該創(chuàng)新將規(guī)定怎樣將量化矩陣發(fā)送到解碼器。
該創(chuàng)新也定義在各種編碼模式選擇中的變換選擇。
在量化加權(quán)方案中，我們描述以下主要特征1.完全基于整數(shù)的無(wú)除法量化加權(quán)方案的規(guī)范，在解碼器處只需要16位存儲(chǔ)器操作，與均勻量化方案相比，這沒(méi)有引入復(fù)雜性的增加。
2.所提議的非均勻量化方案是基于對(duì)亮度的8×8變換，因?yàn)槲覀冋J(rèn)為這是更好地保護(hù)圖像紋理的變換，圖像紋理是影響高質(zhì)量圖像主觀印象的最重要內(nèi)容要素之一。
非均勻量化加權(quán)應(yīng)用于幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)中的殘差。該創(chuàng)新提供一組新的編碼工具，并將均勻量化方案擴(kuò)展到使用q矩陣的加權(quán)量化方案，同時(shí)維持整數(shù)操作，并將復(fù)雜性保持到最小限度。這使視頻編碼在高質(zhì)量和高比特率編碼應(yīng)用中變得尤其有效。
AVC的專業(yè)擴(kuò)展曲線(逼真度范圍曲線)(Professional ExtensionProfiles)(Fidelity Range Profiles))旨在對(duì)高分辨率圖像編碼，包括高清晰(HD)圖像。同樣，在HD圖像表示中，很大程度上意識(shí)到高視覺(jué)逼真度。當(dāng)使用AVC專業(yè)擴(kuò)展曲線(Professional Extension Profiles)時(shí)，自然希望允許AVC的優(yōu)秀編碼效率最大限度地直接有益于視覺(jué)質(zhì)量。為了提高HD主觀質(zhì)量，在此我們建議一種使能對(duì)于塊變換系數(shù)的非均勻量化加權(quán)的量化加權(quán)方案。由于以下原因，我們認(rèn)為非均勻量化工具是關(guān)鍵性的1.提高編碼圖像的視覺(jué)逼真度。
2.非均勻量化使與人類視覺(jué)靈敏度成比例地執(zhí)行量化調(diào)節(jié)成為可能，這提高了圖像逼真度的編碼效率。
3.提供控制最終圖像質(zhì)量的靈活選擇，這是高質(zhì)量?jī)?nèi)容生成工業(yè)所強(qiáng)烈要求的。
在此提議的量化加權(quán)方案包括以下主要特征
1.完全基于整數(shù)的無(wú)除法量化加權(quán)方案的規(guī)范，在解碼器處只需要16位存儲(chǔ)器操作，與均勻量化方案相比，這沒(méi)有引入復(fù)雜性的增加。
2.所提議的非均勻量化方案是基于對(duì)亮度的8×8變換，因?yàn)槲覀冋J(rèn)為這是更好地保護(hù)圖像紋理的變換，圖像紋理是影響高質(zhì)量圖像主觀印象的最重要內(nèi)容要素之一。
3.非均勻量化加權(quán)應(yīng)用于幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)中的殘差。
我們?cè)诟鞣NHD顯示設(shè)備中的模擬和觀看都顯示出所有視頻序列的主觀質(zhì)量提高以及許多測(cè)試視頻的大大提高，包括我們從電影攝影棚獲得的一些JVT序列和電影內(nèi)容。
<8×8變換和量化加權(quán)矩陣的建議范圍>
根據(jù)以前提交給JVT的許多JVT投稿都顯示良好的編碼效率，我們將建議包括8×8變換。更重要的是，已經(jīng)顯示出由使用8×8變換而得到的主觀質(zhì)量提供更好的圖像紋理保護(hù)。因?yàn)槲覀兙哂幸郧霸S多投稿和以前AVC委員會(huì)草案所基于的、制定完善的8×8變換(參見(jiàn)Ref.2S.Gordon，D.Marpe，T.Wiegand，“Simplified use of 8×8transform(8×8變換的簡(jiǎn)化使用)，”ISO/IEC JTC1/SC29/WG11 and ITU-TQ6/SG16，文檔JVT-J029，December 2003..)，所以我們?cè)谖覀兊慕ㄗh中使用該變換。然而，如果使用其它的8×8整數(shù)變換矩陣選擇，我們不認(rèn)為結(jié)果有較大差異。
<8×8亮度幀內(nèi)預(yù)測(cè)>
在此，除現(xiàn)有模式幀內(nèi)16×16、幀內(nèi)4×4以外，對(duì)于亮度8×8幀內(nèi)預(yù)測(cè)建議一種新的宏塊模式mb_type I_8×8。有9種幀內(nèi)8×8預(yù)測(cè)模式。在Ref.2中對(duì)它們進(jìn)行了規(guī)定。將低通濾波應(yīng)用于參考像素，以便提高預(yù)測(cè)有效性。同樣在Ref.2中的ABT 8×8幀內(nèi)預(yù)測(cè)部分中規(guī)定了濾波。
<色度幀內(nèi)預(yù)測(cè)>
取決于色度采樣格式，應(yīng)該使用不同的量化加權(quán)。對(duì)于4:2:0和4:2:2格式，使用4×4量化加權(quán)，其中在下面定義量化方案。對(duì)于4:4:4格式，對(duì)色度樣本應(yīng)用相同的變換和量化方案。
<8×8幀間預(yù)測(cè)>
8×8變換用于所有16×16、16×8和8×16的P和B宏塊類型。另外，對(duì)于P片，8×8變換用于sub_mb_type等于P_L0_8×8的任何8×8子宏塊，或者對(duì)于B片，用于B_Direct_8×8、B_L0_8×8、B_L1_8×8或B_Bi_8×8。
<量化加權(quán)矩陣的句法元素>
量化加權(quán)矩陣的附加句法元素包括在位流之初定義用戶定義的加權(quán)矩陣。通過(guò)圖像參數(shù)集中的矩陣標(biāo)識(shí)符(ID)來(lái)引用量化加權(quán)矩陣。
<量化加權(quán)矩陣>
量化加權(quán)矩陣正好在解碼器中的逆變換之前，應(yīng)用于量化步長(zhǎng)。每一個(gè)系數(shù)索引處的加權(quán)可以不同，以提供均勻量化。加權(quán)是附加到句法中定義的QP上的，從而所應(yīng)用的量化實(shí)際上是量化加權(quán)和QP的組合(圖36)。加權(quán)矩陣能夠減小和增大相對(duì)于QP的量化量。
在AVC規(guī)范中，通過(guò)解量化縮放的乘法及隨后的移位，來(lái)執(zhí)行解量化，其中通過(guò)QP模6來(lái)計(jì)算解量化。每一解量化操作有一次整數(shù)乘法。當(dāng)使用量化加權(quán)矩陣時(shí)，類似地定義量化。
在量化加權(quán)矩陣中，為了將權(quán)重維持在從大于1到小于1變化的范圍，量化加權(quán)矩陣的值實(shí)際上是實(shí)際加權(quán)值乘16的舍入整數(shù)值。例如，量化權(quán)值1.2對(duì)應(yīng)于量化加權(quán)矩陣值19。圖37示出了量化加權(quán)矩陣的例子。
<8×8亮度的量化加權(quán)>
對(duì)于8×8亮度，dij表示量化的變換系數(shù)。W(i，j)表示量化加權(quán)矩陣。于是，我們得到如圖38所示的解量化操作。
<4×4塊變換的量化加權(quán)>
對(duì)于4:2:0和4:2:2色度格式，將色度變換到4×4DCT域。4×4量化加權(quán)矩陣只應(yīng)用于交流系數(shù)。對(duì)于每一個(gè)8×8色度塊，形成2×2DC塊，并進(jìn)一步應(yīng)用其中系數(shù)被均勻量化的變換。這和當(dāng)前規(guī)范一樣。
Ref.3ITU-T建議H.264和ISO/IEC國(guó)際標(biāo)準(zhǔn)14496-10AVC，文檔JVT-J010d7，October 2003中的色度QP推導(dǎo)過(guò)程在此保持一樣。然而，對(duì)于2×2色度DC部分的解量化定義如下，dcCij＝(fij*M(QPC％6，0，0)＜＜QPC/6-5，對(duì)于QPC/6≥5(5)dcCij＝(fij*M(QPC％6，0，0)+1＜＜(4-QPC/6))＞＞5-QPC/6，對(duì)于QPC/6＜5 (6)其中M(QPC％6，0，0)＝W(0，0)＝W(0，0)*LevelScale(QPC％6，0，0)(7)加權(quán)矩陣只應(yīng)用于量化系數(shù)的交流部分。類似地，如圖38中的方程式(1)和(2)來(lái)定義解量化，除了如圖39和40所示的Ref.3中的8.5.8那樣定義LevelScale函數(shù)。
解碼過(guò)程的其余部分和Ref.3中的規(guī)范一樣。在4:4:4色度采樣情況下，用和亮度相同的方式來(lái)變換和量化每一個(gè)8×8色度塊。
在場(chǎng)編碼模式下，宏塊對(duì)中的場(chǎng)宏塊使用一樣的量化矩陣組。在場(chǎng)編碼方式下的B_Direct_8×8模式情況下，當(dāng)運(yùn)動(dòng)搜索塊模式小于8×8塊時(shí)，我們也愿意建議允許對(duì)4×4變換塊的殘差使用4×4量化加權(quán)。
在應(yīng)用量化加權(quán)方案中，必須注意，在與QP相結(jié)合來(lái)設(shè)計(jì)量化加權(quán)矩陣時(shí)必須特別謹(jǐn)慎。應(yīng)該保證量化加權(quán)不擴(kuò)展任何系數(shù)的位長(zhǎng)。最希望的是維持矩陣系數(shù)之間的某一平衡，雖然這是編碼器的責(zé)任。
<基于量化加權(quán)矩陣來(lái)推導(dǎo)解量化縮放表>
當(dāng)用戶定義的量化加權(quán)矩陣被發(fā)送到解碼器時(shí)，解碼器需要根據(jù)量化加權(quán)和QP％6來(lái)構(gòu)造解量化縮放表。每一個(gè)QP％6都對(duì)應(yīng)于一個(gè)縮放表?？梢酝ㄟ^(guò)使當(dāng)前AVC規(guī)范中的均勻解量化和縮放表的每一項(xiàng)和量化加權(quán)矩陣相乘，來(lái)計(jì)算表。它的一個(gè)例子是圖41所示的基于Ref.2中所建議的變換的解量化表推導(dǎo)。如果我們得到具有圖41所示值的量化矩陣，接著另外向左移位4次。
QP％6＝0時(shí)的解量化系數(shù)表將如圖42所示。
<復(fù)雜性>
一旦根據(jù)量化加權(quán)矩陣和QP/6產(chǎn)生了量化縮放表M(QP％6，0，0)，則與當(dāng)前的均勻量化相比，引入一個(gè)量化矩陣就沒(méi)有附加的復(fù)雜性。每8×8量化有64次整數(shù)乘法，并且每4×4量化矩陣有16次整數(shù)乘法，來(lái)產(chǎn)生縮放表M(QP％6，0，0)。每8×8量化矩陣有最大768字節(jié)(64*2*6)的總存儲(chǔ)量，并且每4×4量化矩陣有最大192字節(jié)的總存儲(chǔ)量。
<量化加權(quán)矩陣的位流句法>
編碼器應(yīng)該能夠選擇是否使用量化加權(quán)。為允許這樣做，需要在使用量化加權(quán)矩陣的序列參數(shù)集中設(shè)置use_weighting_matrix標(biāo)志。
象在MPEG-2中一樣，除默認(rèn)的矩陣組外，用戶可以定義量化加權(quán)矩陣?？梢岳胮ic_parameter_set將用戶提供的量化加權(quán)矩陣加載到解碼器中。隨后，所加載的量化加權(quán)矩陣可以被其它pic_parameter_set引用。所加載的矩陣將用于產(chǎn)生將被保存在解碼器中的解量化表。所加載的矩陣用ID來(lái)編號(hào)。可以將加權(quán)矩陣保存在當(dāng)前圖像內(nèi)的存儲(chǔ)器中(可用于當(dāng)前幀中的片)，或者長(zhǎng)期保存。將只被保存在當(dāng)前圖像內(nèi)的存儲(chǔ)器中的加權(quán)矩陣是局部加權(quán)矩陣?？梢酝ㄟ^(guò)加權(quán)矩陣ID＝0-1來(lái)把它們和長(zhǎng)期矩陣區(qū)分開(kāi)。4×4和8×4大小的加權(quán)矩陣可以具有相同的ID。
對(duì)于沒(méi)有用戶定義的加權(quán)矩陣的情況，可以利用一組默認(rèn)的量化加權(quán)矩陣。這組默認(rèn)的量化加權(quán)矩陣為解碼器所知。為這組默認(rèn)加權(quán)矩陣預(yù)先定義所有量化縮放表，因此不需要預(yù)計(jì)算。這組默認(rèn)量化加權(quán)矩陣包括兩個(gè)亮度量化矩陣(幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè))和兩個(gè)色度量化矩陣(4×4)。
隨后可以用標(biāo)識(shí)號(hào)來(lái)引用加權(quán)矩陣。我們建議，對(duì)于每一圖像參數(shù)集，每幀間和每幀內(nèi)預(yù)測(cè)方式最多有一個(gè)亮度量化矩陣。類似地，每幀間和每幀內(nèi)預(yù)測(cè)方式最多有一個(gè)4×4量化矩陣。
<句法>
以下描述所建議的pic_parameter_set_rbsp，它具有用于定義8×8或4×4幀間預(yù)測(cè)、幀內(nèi)預(yù)測(cè)宏塊的量化矩陣的嵌入項(xiàng)。
pic_parameter_set_rbsp(){…new_quantization_matrices_definedif(new_quantization_matrices_defined)def_quant_weighting_matrix…intra_quant_mat8_updateif(intra_quant_mat8_update)quant_mat8_idinter_quant_mat8_updateif(inter_quant_mat8_update)quant_mat8_idintra_quant_mat4_updateif(intra_quant_mat4_update)quant_mat4_idinter_quant_mat4_updateif(inter_quant_mat4_update)quant_mat4_id…}def_quant_weighting_matrix(){load_quant_mat8if(load_quant_mat8){
num_quant_mat8for(k=0;k＜num_quant_mat8;k++){quant_mat8_idfor(i=0;i＜8;++i)for(j=0;j＜8;++j)quant_mat8[i][j]}}load_quant_mat4if(load_quant_mat4)num_quant_mat4for(k=0;k＜num_quant_mat4;k++){quant_mat4_idfor(i=0;i＜4;++i)for(j=0;j＜4;++j)quant_mat4[i][j]}}}(第四實(shí)施方式)以下描述本發(fā)明第四實(shí)施方式。
<對(duì)于Intra_16×16(幀內(nèi)16×16)宏塊類型亮度DC變換系數(shù)的縮放和變換處理>
注意，以下公式可用于解量化縮放函數(shù)操作。
如果QP’Y大于或等于36，則縮放結(jié)果將被推導(dǎo)為dcYij＝(fij*LevelScale4×4L，intra(QP’Y％6，0，0))＜＜(QP’Y/6-6)，i，j＝0...3否則(QP’Y小于36)，縮放結(jié)果將被推導(dǎo)為dcYij=(fij*LevelScale4×4C,intra(QP′Y%6,0,0)+25-QP′Y/6)>>(6-QP′Y/6),]]>i，j＝0...3
<對(duì)于4:2:0色度格式色度DC變換系數(shù)的縮放和變換處理>
注意，以下公式可用于解量化縮放函數(shù)操作。
如果QP’C大于或等于30，則縮放結(jié)果將被推導(dǎo)為dcCij＝(fij*LevelScale4×4C，Intra(QP’C％6，0，0))＜＜(QP’C/6-5)，i，j＝0，1否則(QP’C小于30)，縮放結(jié)果將被推導(dǎo)為dcCij=((fij*LevelScale4×4C,intra(QP′C%6,0,0)+24-QP′C/6)>>(5-QP′C/6),]]>i，j＝0，1<對(duì)于4:2:2色度格式色度DC變換系數(shù)的縮放和變換處理>
該處理的輸入是宏塊一個(gè)色度分量的色度DC變換系數(shù)的變換系數(shù)電平值，作為具有元素Cij的2×4陣列C，其中i和j形成二維頻率索引。
該處理的輸出是作為具有元素dcCij的2×4陣列dcC的8個(gè)縮放DC值。
通過(guò)以下來(lái)規(guī)定2×4色度DC變換系數(shù)的逆變換位流應(yīng)該不包含導(dǎo)致f的任何元素fij超過(guò)[-215，215-1]整數(shù)值范圍的數(shù)據(jù)。
變量QP’C，DC＝QP’C+3在逆變換之后，執(zhí)行縮放如下。
如果QP’C，DC大于或等于36，則縮放結(jié)果將被推導(dǎo)為dcCij＝(f*LevelScale4×4C，Intra(QP’C，DC％6，0，0，0))＜＜(QP’C，DC/6-6)，i＝0...3，j＝0，1否則(QP’C，DC小于36)，縮放結(jié)果將被推導(dǎo)為dcCij=(f*LevelScale4×4C,Intra(QP′C,DC%6,0,0,0)+25-QP′C,DC/6)>>(6-QP′C,DC/6),]]>i＝0...3，j＝0，1位流應(yīng)該不包含導(dǎo)致dcC的任何元素dcCij超過(guò)[-215，215-1]整數(shù)值范圍的數(shù)據(jù)。
<對(duì)于4:4:4色度格式色度DC變換系數(shù)的縮放和變換處理>
該處理的輸入是宏塊一個(gè)色度分量的色度DC變換系數(shù)的變換系數(shù)電平值，作為具有元素Cij的4×4陣列C，其中i和j形成二維頻率索引。
該處理的輸出是作為具有元素dcCij的4×4陣列dcC的16個(gè)縮放DC值。
如圖43所示規(guī)定4×4色度DC變換系數(shù)的逆變換。
位流應(yīng)該不包含導(dǎo)致f的任何元素fij超過(guò)[-215，215-1]整數(shù)值范圍的數(shù)據(jù)。
在逆變換之后，執(zhí)行縮放如下。
如果QP’C大于或等于36，則縮放結(jié)果將被推導(dǎo)為dcCij＝(f*LevelScale4×4C，Intra(QP’C％6，0，0，0))＜＜(QP’C/6-6)，i＝0...3，j＝0，1否則(QP’C小于36)，縮放結(jié)果將被推導(dǎo)為dcCij=(f*LevelScale4×4C,Intra(QP′C%6,0,0,0)+25-QP′C,DC/6)>>(6-QP′C/6),]]>i＝0...3，j＝0，1位流應(yīng)該不包含導(dǎo)致dcC的任何元素dcCij超過(guò)[-215，215-1]整數(shù)值范圍的數(shù)據(jù)。
<對(duì)于殘差8×8塊的縮放和變換處理>
該處理的輸入是具有元素cij的8×8陣列c，它是關(guān)于亮度分量8×8殘差塊的陣列。
該過(guò)程的輸出是作為具有元素rij的8×8陣列r的殘差采樣值。
函數(shù)LevelScale64推導(dǎo)如下—如果宏塊預(yù)測(cè)模式為幀內(nèi)預(yù)測(cè)模式，且輸入為8×8亮度殘差，則LevelScale64()＝LevelScale8×8，Intra()。
—如果宏塊預(yù)測(cè)模式為幀間預(yù)測(cè)模式，且輸入為8×8亮度殘差塊，則LevelScale64()＝LevelScale8×8，Inter()。
8×8塊變換系數(shù)電平cij的縮放執(zhí)行如下。
—如果QPY大于或等于36，則8×8塊變換系數(shù)電平cij的縮放將被執(zhí)行為
dij＝(cij*LevelScale64(QPY％6，i，j))＜＜(QPY/6-6)，i，j＝0...7—否則(QPY小于36)，8×8塊變換系數(shù)電平cij的縮放將被執(zhí)行為dij=(cij*LevelScale64(QPY%6,i,j)+2(5-QPY/6))>>(6-QPY/6),]]>i，j＝0...7以上公式反映了為合并來(lái)自q矩陣的縮放系數(shù)所需的附加右移位，因?yàn)榻饬炕?量化加權(quán)被定義為w(i，j)＝QuantizationMatrix(i，j)/16。在把QuantizationMatrix(i，j)結(jié)合到LevelScale函數(shù)中之后，我們需要進(jìn)行附加的4位右移位，以反映除以16。
變換處理將以一種在數(shù)學(xué)上等效于以下的方式，把縮放變換系數(shù)塊轉(zhuǎn)換成輸出樣本塊。
首先，利用如下的一維逆變換來(lái)變換每一(水平)行縮放變換系數(shù)。
—通過(guò)以下來(lái)推導(dǎo)一組中間值eijei0＝di0+di4，i＝0...7ei1＝-di3+di5-di7-(di7＞＞1)，i＝0...7ei2＝di0-di4，i＝0...7ei3＝di1+di7-di3-(di3＞＞1)，i＝0...7ei4＝(di2＞＞1)-di6，i＝0...7ei5＝-di1+di7+di5+(di5＞＞1)，i＝0...7ei6＝di2+(di6＞＞1)，i＝0...7ei7＝di3+di5+di1-(di1＞＞1)，i＝0...7—從中間值eij計(jì)算第二組中間結(jié)果fij為fi0＝ei0+ei6，i＝0...7fi1＝ei1+(ei7＞＞2)，i＝0...7fi2＝ei2+ei4，i＝0...7fi3＝ei3+(ei5＞＞2)，i＝0...7fi4＝ei2-ei4，i＝0...7fi5＝(ei3＞＞2)-ei5，i＝0...7fi6＝ei0-ei6，i＝0...7fi7＝ei7-(ei1＞＞2)，i＝0...7
然后，從這些中間值fij計(jì)算變換結(jié)果gij為gi0＝fi0+fi7，i＝0...7gi1＝fi2+fi5，i＝0...7gi2＝fi4+fi3，i＝0...7gi3＝fi6-fi1，i＝0...7gi4＝fi6-fi1，i＝0...7gi5＝fi4-fi3，i＝0...7gi6＝fi2-fi5，i＝0...7gi7＝fi0-fi7，i＝0...7然后，利用如下的相同一維逆變換來(lái)變換所得矩陣的每一(垂直)列。
—從水平變換值gij計(jì)算一組中間值hij為hi0＝gi0+gi4，i＝0...7hi1＝-gi3+gi5-gi7-(gi7＞＞1)，i＝0...7hi2＝gi0-di4，i＝0...7hi3＝gi1+gi7-gi3-(gi3＞＞1)，i＝0...7hi4＝(gi2＞＞1)-gi6，i＝0...7hi5＝-gi1+gi7+gi5+(gi5＞＞1)，i＝0...7hi6＝gi2+(gi6＞＞1)，i＝0...7hi7＝gi3+gi5+gi1+(gi1＞＞1)，i＝0...7—從中間值hij計(jì)算第二組中間結(jié)果kij為ki0＝hi0+hi6，i＝0...7ki1＝hi1+(hi7＞＞2)，i＝0...7ki2＝hi2+hi4，i＝0...7ki3＝hi3+(hi5＞＞2)，i＝0...7ki4＝hi2-hi4，i＝0...7ki5＝(hi3＞＞2)-hi5，i＝0...7ki6＝hi0-hi6，i＝0...7ki7＝hi7-(hi1＞＞2)，i＝0...7—從中間值kij計(jì)算變換結(jié)果mii為
mi0＝ki0+ki7，i＝0...7mi1＝ki2+ki5，i＝0...7mi2＝ki4+ki3，i＝0...7mi3＝ki6+ki1，i＝0...7mi4＝ki6-ki1，i＝0...7mi5＝ki4-ki3，i＝0...7mi6＝ki2-ki5，i＝0...7mi7＝ki0-ki7，i＝0...7在執(zhí)行一維水平和一維垂直逆變換以產(chǎn)生變換樣本陣列之后，最終構(gòu)造的殘差樣本值將被推導(dǎo)為ri7＝(mij+25)＞＞6，i，j＝0...7由這樣描述的本發(fā)明，顯然可以用多種方式來(lái)改變本發(fā)明的實(shí)施方式。這種變化不應(yīng)被認(rèn)為脫離本發(fā)明的精神和范圍，對(duì)于本領(lǐng)域技術(shù)人員，顯然所有這種更改都應(yīng)該被包括在以下權(quán)利要求的范圍內(nèi)。
工業(yè)實(shí)用性本發(fā)明適用于對(duì)圖像編碼或解碼的編碼設(shè)備，并且也適用于分發(fā)運(yùn)動(dòng)圖像的網(wǎng)絡(luò)服務(wù)器、接收運(yùn)動(dòng)圖像的網(wǎng)絡(luò)終端，乃至能夠記錄和重放運(yùn)動(dòng)圖像的數(shù)碼相機(jī)、裝備有照相機(jī)的蜂窩電話、DVD記錄器/播放器、PDA和個(gè)人計(jì)算機(jī)。
權(quán)利要求
1.一種通過(guò)逐塊執(zhí)行的逆量化和逆正交變換來(lái)對(duì)編碼圖像進(jìn)行解碼的圖像解碼方法，所述方法包括以下作為逆量化處理的步驟將量化矩陣和乘數(shù)相乘，所述量化矩陣定義每個(gè)分量的量化步長(zhǎng)的縮放比，并且所述乘數(shù)是正交變換或量化步長(zhǎng)的系數(shù)；以及將由所述乘法產(chǎn)生的乘積和量化值相乘。
2.根據(jù)權(quán)利要求1所述的圖像解碼方法，其中對(duì)每個(gè)預(yù)定單位的編碼數(shù)據(jù)執(zhí)行量化矩陣和乘數(shù)之間的乘法，以及逐塊執(zhí)行所述乘積和所述量化值之間的乘法，所述預(yù)定單位的編碼數(shù)據(jù)包括編碼塊，并且所述乘積為所述編碼塊所共有。
3.根據(jù)權(quán)利要求2所述的圖像解碼方法，其中由所述量化矩陣和所述乘數(shù)之間的乘法產(chǎn)生的所述乘積被存儲(chǔ)在存儲(chǔ)器中，以及所述乘積和所述量化值之間的乘法涉及訪問(wèn)所述存儲(chǔ)器。
4.根據(jù)權(quán)利要求2所述的圖像解碼方法，其中預(yù)定單位的編碼數(shù)據(jù)是對(duì)應(yīng)于圖像的數(shù)據(jù)。
5.根據(jù)權(quán)利要求2所述的圖像解碼方法，其中所述乘數(shù)與逆正交變換處理中所使用的歸一化因數(shù)有關(guān)。
6.一種通過(guò)逐塊執(zhí)行的正交變換和量化來(lái)對(duì)圖像進(jìn)行編碼的圖像編碼方法，所述方法包括以下作為量化處理的步驟將量化矩陣中的縮放比的倒數(shù)和乘數(shù)相乘，所述量化矩陣定義每個(gè)分量的量化步長(zhǎng)的縮放比，并且所述乘數(shù)是正交變換或量化步長(zhǎng)的系數(shù)；以及將由所述乘法產(chǎn)生的所述乘積和要量化的值相乘。
7.根據(jù)權(quán)利要求6所述的圖像編碼方法，其中基于預(yù)定單位來(lái)執(zhí)行所述縮放比的倒數(shù)和所述乘數(shù)之間的乘法，以及逐塊執(zhí)行所述乘積和所述要量化的值之間的乘法，所述預(yù)定單位包括塊，并且所述乘積為所述塊所共有。
8.根據(jù)權(quán)利要求7所述的圖像編碼方法，其中由所述縮放比的倒數(shù)和所述乘數(shù)之間的乘法產(chǎn)生的乘積被存儲(chǔ)在存儲(chǔ)器中，以及所述乘積和所述要量化的值之間的乘法涉及訪問(wèn)所述存儲(chǔ)器。
9.根據(jù)權(quán)利要求7所述的圖像編碼方法，其中所述預(yù)定單位對(duì)應(yīng)于圖像。
10.根據(jù)權(quán)利要求7所述的圖像編碼方法，其中所述乘數(shù)與逆正交變換處理中所使用的歸一化因數(shù)有關(guān)。
11.一種通過(guò)逐塊執(zhí)行的逆量化和逆正交變換來(lái)對(duì)編碼圖像進(jìn)行解碼的圖像解碼設(shè)備，所述設(shè)備包括第一和第二乘法單元，所述第一和第二乘法單元操作用于執(zhí)行逆量化，其中所述第一乘法單元將量化矩陣和乘數(shù)相乘，所述量化矩陣定義每個(gè)分量的量化步長(zhǎng)的縮放比，并且所述乘數(shù)是正交變換或量化步長(zhǎng)的系數(shù)，以及所述第二乘法單元將由所述第一乘法單元所執(zhí)行的乘法而產(chǎn)生的乘積和量化值相乘。
12.一種通過(guò)逐塊執(zhí)行的正交變換和量化來(lái)對(duì)圖像進(jìn)行編碼的圖像編碼設(shè)備，所述設(shè)備包括第一和第二乘法單元，所述第一和第二乘法單元操作用于執(zhí)行量化，其中所述第一乘法單元將量化矩陣中的縮放比的倒數(shù)和乘數(shù)相乘，所述量化矩陣指示每個(gè)分量的量化步長(zhǎng)的縮放比，并且所述乘數(shù)是正交變換或量化步長(zhǎng)的系數(shù)，以及所述第二乘法單元將由所述第一乘法單元所執(zhí)行的乘法而產(chǎn)生的乘積和要量化的值相乘。
13.一種通過(guò)逐塊執(zhí)行的逆量化和逆正交變換來(lái)對(duì)編碼圖像進(jìn)行解碼的程序，所述程序使計(jì)算機(jī)執(zhí)行以下作為逆量化處理的步驟將量化矩陣和乘數(shù)相乘，所述量化矩陣定義每個(gè)分量的量化步長(zhǎng)的縮放比，并且所述乘數(shù)是正交變換或量化步長(zhǎng)的系數(shù)；以及將由所述乘法產(chǎn)生的乘積和量化值相乘。
14.一種通過(guò)逐塊執(zhí)行的正交變換和量化來(lái)對(duì)圖像進(jìn)行編碼的程序，所述程序使計(jì)算機(jī)執(zhí)行以下作為量化處理的步驟將量化矩陣中的縮放比的倒數(shù)和乘數(shù)相乘，所述量化矩陣定義每個(gè)分量的量化步長(zhǎng)的縮放比，并且所述乘數(shù)是正交變換或量化步長(zhǎng)的系數(shù)；以及將由所述乘法產(chǎn)生的乘積和要量化的值相乘。
15.一種通過(guò)逐塊執(zhí)行的逆量化和逆正交變換來(lái)對(duì)編碼圖像進(jìn)行解碼的半導(dǎo)體器件，所述器件包括第一和第二乘法單元，所述第一和第二乘法單元操作用于執(zhí)行逆量化，其中所述第一乘法單元將量化矩陣和乘數(shù)相乘，所述量化矩陣定義每個(gè)分量的量化步長(zhǎng)的縮放比，并且所述乘數(shù)是正交變換或量化步長(zhǎng)的系數(shù)，以及所述第二乘法單元將由所述乘法產(chǎn)生的乘積和量化值相乘。
16.一種通過(guò)逐塊執(zhí)行的正交變換和量化來(lái)對(duì)圖像進(jìn)行編碼的半導(dǎo)體器件，所述器件包括所述第一和第二乘法單元，所述第一和第二乘法單元操作用于執(zhí)行量化，其中所述第一乘法單元將量化矩陣中的縮放比的倒數(shù)和乘數(shù)相乘，所述量化矩陣定義每個(gè)分量的量化步長(zhǎng)的縮放比，并且所述乘數(shù)是正交變換或量化步長(zhǎng)的系數(shù)，以及所述第二乘法單元將由所述第一乘法單元所執(zhí)行的乘法而產(chǎn)生的乘積和要量化的值相乘。
全文摘要
根據(jù)本發(fā)明的圖像解碼方法是一種通過(guò)逆量化和逆正交變換來(lái)對(duì)編碼圖像進(jìn)行解碼的解碼方法，其中，作為逆量化處理，將定義每個(gè)分量量化步長(zhǎng)的縮放比的量化矩陣乘以作為頻率變換或量化步長(zhǎng)系數(shù)的某一乘數(shù)，并且將乘法結(jié)果乘以量化值。
文檔編號(hào)H04N7/12GK1910921SQ200580003035
公開(kāi)日2007年2月7日 申請(qǐng)日期2005年1月26日 優(yōu)先權(quán)日2004年1月30日
發(fā)明者陳濤, 路久懷, 柏木吉一郎, 角野真也, 林宗順 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社