專利名稱：用于對圖像編碼和解碼的設備及其方法
技術領域：
本發(fā)明涉及圖像編碼和解碼，更具體地說，本發(fā)明涉及一種圖像編碼和/或解碼設備及其方法，所述設備用于利用通過使用不具有主觀損耗的容許噪聲確定的量化參數(shù)對圖像編碼，并對編碼的比特流解碼。
背景技術：
到目前為止，已經(jīng)進行了許多將人類視覺系統(tǒng)應用于圖像編碼的試驗。這些研究是基于評價恢復的圖像的畫面質(zhì)量的人類視覺能力與信號處理的簡單透視不匹配。然而，在圖像編碼領域，許多提案仍舊以人類感覺的噪聲與信號噪聲相同的假設來開始它們的研究。具體說來，可將均方差(MSE)稱為最廣泛使用的信號噪聲，通過峰值信號噪聲比(PSNR，peak signal to noiseratio)用數(shù)字表示對根據(jù)MSE恢復的圖像的畫面質(zhì)量等級的評價。
最少可察失真(JND)值作為通常廣泛使用的視覺特征指數(shù)。對一個像素值通過考慮鄰近像素值的相對改變程度來計算JND值，并且JND值對人們無法識別復雜背景下的較大噪聲的特征進行建模。在圖像的編碼中，在每個像素中獲得的JND值被用于在量化處理中額外調(diào)整量化參數(shù)。通過這一處理，使得人類視覺特征敏感的區(qū)域產(chǎn)生較少的噪聲，并使得人類視覺特征不敏感的區(qū)域產(chǎn)生較多的噪聲，從而可提高壓縮率。
同時，除JND值之外，可考慮頻域中的人類視覺特征。為此，從各種測試圖像依據(jù)經(jīng)驗獲得人類視覺特征的調(diào)制傳遞函數(shù)，通過使用該函數(shù)，用于離散余弦變換(DCT)系數(shù)的每個頻帶的量化權值被提取。
這些通過使用JND值或量化權重將人類視覺特征應用于圖像編碼的方法具有許多限制。當使用量化權重時，出現(xiàn)僅涉及頻率分量的權值被均勻應用的問題。此外，因為人類視覺特征不僅依賴于與鄰近像素值的相對值，所以JND值的應用存在問題。此外，由于應該對于每個像素值計算JND值，所以應該以像素為單位來更改量化參數(shù)，其中，量化參數(shù)主要被提供以用于控制比特的數(shù)量。因此，在更改之前的單獨的信息應該被傳遞到解碼器，或者解碼器中的JND值應該被計算為與編碼器中的JND值相同的值。此時，主要問題在于解碼器僅具有再現(xiàn)的值，因此，編碼器應該利用如在解碼器中的再現(xiàn)的值來計算JND值。
涉及應用人類視覺特征的圖像編碼的文檔包括Bowonkoon Chitprasrt和K.R.Rao的論文“Human Visual Weighted Progressive Image Transmission”(IEEE Trans.Communications，vol.38，pp.1040-1044，1990年7月)，ISO/IEC1172-2，Information Technology-Coding of Moving Pictures and AssociatedAudio for Digital Storage Media at Up to About 1.5 Mbits/s Part 2Video，1993以及King N.Ngan，Kin S.Leong和H.Singh的論文“Adaptive Cosine TransformCoding of Image in Perceptual Domain”(IEEE Trans.Acoustics，Speech andSignal Processing，vol.37，pp.1743-1750，1989年11月)。

發(fā)明內(nèi)容
發(fā)明的技術目的本發(fā)明提供一種圖像編碼和解碼方法以及圖像解碼設備及其方法，其中，所述圖像編碼和解碼方法用于利用通過使用不具有任何主觀損耗的容許噪聲確定的量化參數(shù)對圖像編碼。
本發(fā)明還提供一種圖像編碼和解碼方法以及圖像解碼設備及其方法，其中，通過所述圖像編碼和解碼方法，利用通過使用不具有任何主觀損耗的容許噪聲確定的量化參數(shù)將圖像量化，將每個編碼塊劃分為質(zhì)量層，按照每個質(zhì)量層的掃描順序?qū)α炕膱D像編碼。
發(fā)明公開根據(jù)本發(fā)明的一方面，提供一種圖像編碼設備，包括變換單元，通過變換正輸入的原始圖像來去除空間冗余；容許噪聲獲得單元，從原始圖像獲得容許噪聲；量化參數(shù)確定單元，通過使用容許噪聲確定量化參數(shù)；量化單元，通過使用量化參數(shù)對從變換單元提供的變換系數(shù)進行量化來產(chǎn)生量化的系數(shù)；以及熵編碼單元，對量化的系數(shù)進行熵編碼以去除統(tǒng)計冗余。
根據(jù)本發(fā)明的另一方面，提供一種圖像編碼設備，包括變換單元，通過變換正輸入的原始圖像來去除空間冗余；容許噪聲獲得單元，從原始圖像獲得容許噪聲；量化參數(shù)確定單元，通過使用容許噪聲確定量化參數(shù)；量化單元，通過使用量化參數(shù)對從變換單元提供的變換系數(shù)進行量化來產(chǎn)生量化的系數(shù)；質(zhì)量層確定單元，通過使用容許噪聲確定質(zhì)量層；以及熵編碼單元，按照對于質(zhì)量層的掃描順序?qū)α炕南禂?shù)進行熵編碼以去除統(tǒng)計冗余。
根據(jù)本發(fā)明的另一方面，提供一種圖像編碼方法，包括通過變換正輸入的原始圖像來去除空間冗余；從原始圖像獲得容許噪聲；通過使用容許噪聲確定量化參數(shù)；通過使用量化參數(shù)對從變換單元提供的變換系數(shù)進行量化來產(chǎn)生量化的系數(shù)；以及對量化的系數(shù)進行熵編碼以去除統(tǒng)計冗余。
根據(jù)本發(fā)明的另一方面，提供一種圖像編碼方法，包括通過變換正輸入的原始圖像來去除空間冗余；從原始圖像獲得容許噪聲；通過使用容許噪聲確定量化參數(shù)；通過使用量化參數(shù)對從變換單元提供的變換系數(shù)進行量化來產(chǎn)生量化的系數(shù)；確定對于使用容許噪聲確定的質(zhì)量層的掃描順序；以及按照對于質(zhì)量層的掃描順序?qū)α炕南禂?shù)進行熵編碼以去除統(tǒng)計冗余。
根據(jù)本發(fā)明的另一方面，提供一種圖像解碼設備，包括熵解碼單元，通過對輸入比特流進行熵解碼來產(chǎn)生量化的系數(shù)；反量化單元，通過對量化的系數(shù)進行反量化來產(chǎn)生變換系數(shù)；以及反變換單元，通過對變換系數(shù)進行反變換來產(chǎn)生恢復的圖像。
根據(jù)本發(fā)明的另一方面，提供一種圖像解碼方法，包括通過對輸入比特流進行熵解碼來產(chǎn)生量化的系數(shù)；通過對量化的系數(shù)進行反量化來產(chǎn)生變換系數(shù)；以及通過對變換系數(shù)進行反變換來產(chǎn)生恢復的圖像。
根據(jù)本發(fā)明的另一方面，提供一種包含用于執(zhí)行所述方法的計算機程序的計算機可讀記錄介質(zhì)。
發(fā)明的效果根據(jù)本發(fā)明，通過利用使用不具有任何主觀損耗的容許噪聲確定的量化參數(shù)對圖像編碼和解碼，從而可顯著提高編碼效率以及恢復的圖像的主觀畫面質(zhì)量。
此外，利用通過使用不具有任何主觀損耗的容許噪聲確定的量化參數(shù)將圖像量化，將每個編碼塊劃分為質(zhì)量層，并按照每個質(zhì)量層的掃描順序?qū)α炕膱D像編碼。通過這樣處理，提供可分級功能，并且可顯著提高編碼效率以及恢復的圖像的主觀畫面質(zhì)量。
盡管已經(jīng)參照本發(fā)明的示例性實施例具體示出并描述了本發(fā)明，但是本領域的技術人員應理解在不脫離由權利要求限定的本發(fā)明的精神和范圍的情況下，可進行形式和細節(jié)上的各種改變。應該將所述優(yōu)選實施例理解為僅具有示例性作用，而不是為了限制的目的。因此，本發(fā)明的范圍并不由對本發(fā)明的詳細描述來限定，而是由權利要求限定，所述范圍內(nèi)的所有差異將被解釋為包括在本發(fā)明中。


圖1是示出根據(jù)本發(fā)明實施例的圖像編碼設備的結(jié)構(gòu)的框圖；圖2示出根據(jù)本發(fā)明實施例對樹葉進行彩色量化的結(jié)果；圖3示出原始圖像與根據(jù)本發(fā)明實施例的圖2所示的彩色量化結(jié)果之間的誤差圖像；圖4示出根據(jù)本發(fā)明實施例的在圖1的容許噪聲獲得單元中相對于原始圖像以編碼塊為單位獲得的容許噪聲；圖5示出根據(jù)本發(fā)明實施例的圖1的量化參數(shù)確定單元的操作；圖6示出根據(jù)本發(fā)明實施例為了設置上下文在圖1的熵編碼單元中使用的3×3窗；圖7示出根據(jù)本發(fā)明實施例的在圖1的熵編碼單元中用于位平面編碼的lazy比特；圖8示出根據(jù)本發(fā)明實施例的圖1的掃描順序確定單元的操作；圖9示出根據(jù)本發(fā)明實施例的取決于在圖8中確定的質(zhì)量層的掃描順序；圖10是根據(jù)本發(fā)明實施例的圖像解碼設備的結(jié)構(gòu)的框圖；圖11的(a)到(d)示出根據(jù)本發(fā)明實施例的用于評價圖像編碼和解碼算法的性能的測試圖像；圖12的(a)到(d)示出對于圖10的(a)測試圖像根據(jù)本發(fā)明實施例的圖像編碼和解碼算法與JPEG2000的圖像編碼和解碼算法的比較；圖13的(a)到(d)示出對于圖10的(b)測試圖像根據(jù)本發(fā)明實施例的圖像編碼和解碼算法與JPEG2000的圖像編碼和解碼算法的比較；圖14的(a)到(d)示出對于圖10的(c)測試圖像根據(jù)本發(fā)明實施例的圖像編碼和解碼算法與JPEG2000的圖像編碼和解碼算法的比較；以及圖15的(a)到(d)示出對于圖10的(d)測試圖像根據(jù)本發(fā)明實施例的圖像編碼和解碼算法與JPEG2000的圖像編碼和解碼算法的比較。
具體實施例方式
現(xiàn)在將參照附圖更加全面地描述本發(fā)明，在附圖中示出本發(fā)明的示例性實施例。
圖1是示出根據(jù)本發(fā)明實施例的圖像編碼設備的結(jié)構(gòu)的框圖。圖像編碼設備包括變換單元110、容許噪聲獲得單元130、量化參數(shù)確定單元150、量化單元170和熵編碼單元190。此外，可選地，可包括掃描順序確定單元180。
參照圖1，將變換單元110設置為用于去除在正輸入的幀圖像中的空間和時間冗余，并且變換單元110可使用在商業(yè)化的圖像或視頻壓縮標準中使用或設置的DCT、小波變換、預測或整數(shù)變換。然而，變換方法并不受限于這些。優(yōu)選地，可采用小波變換。
將容許噪聲獲得單元130設置為用于從輸入的原始圖像獲得容許噪聲，并將獲得的容許噪聲提供給量化參數(shù)確定單元150。這里，容許噪聲所起的作用類似于在基于感知的音頻編碼中使用的掩蔽閾值所起的作用。通過使用彩色量化算法作為實施例，獲得容許噪聲。
將量化參數(shù)確定單元150設置為用于通過使用在容許噪聲獲得單元130中獲得的容許噪聲來對于每個編碼塊單位確定一個量化參數(shù)，并將量化參數(shù)提供給量化單元170。也就是說，量化參數(shù)確定單元150確定每個編碼塊的量化參數(shù)，從而作為編碼塊的量化結(jié)果而產(chǎn)生的量化噪聲可等于或小于容許噪聲。
對于變換單元110提供的每個編碼塊的變換系數(shù)，將量化單元170設置為用于通過使用在量化參數(shù)確定單元150中確定的編碼塊的量化參數(shù)對編碼塊進行量化，并將編碼塊的量化的變換系數(shù)提供給熵編碼單元190。
將掃描順序確定單元180設置為用于通過使用任意數(shù)量的質(zhì)量層來確定掃描順序，每個質(zhì)量層包括通過使用對于該層的容許噪聲確定的位平面。這里，質(zhì)量層指示邊界，當傳輸中出現(xiàn)由于嵌入式編碼產(chǎn)生的損耗時，該邊界可影響恢復的圖像的畫面質(zhì)量，即，圖像的質(zhì)量。首先，在最高比特率的情況下，通過可滿足確保第一質(zhì)量的第一代價函數(shù)的色數(shù)(k)來確定第一容許噪聲(τk)。通過使用第二容許噪聲(τm)來確定第一質(zhì)量層，其中，通過小于確定第一容許噪聲(τk)的色數(shù)(k)的色數(shù)(m)來獲得所述第二容許噪聲(τm)，從而可滿足確保低于第一質(zhì)量的第二質(zhì)量的第二代價函數(shù)。同樣地，通過使用第三容許噪聲(τn)來確定第二質(zhì)量層，其中，通過小于確定第二容許噪聲(τm)的色數(shù)(m)的色數(shù)(n)來獲得所述第三容許噪聲(τn)，從而可滿足確保低于第二質(zhì)量的第三質(zhì)量的第三代價函數(shù)。此時，可在編碼的初始階段，預先將質(zhì)量層的數(shù)量以及與每個質(zhì)量層相應的代價函數(shù)輸入掃描順序確定單元180。也就是說，掃描順序為從較高的質(zhì)量層到較低的質(zhì)量層。
熵編碼單元190通過去除由量化單元170提供的每個編碼塊的量化的變換系數(shù)中的統(tǒng)計冗余來產(chǎn)生比特流。此時，在最高比特率，通過以編碼塊為單位來掃描數(shù)據(jù)，執(zhí)行熵編碼。同時，在次比特率(sub bitrate)，通過根據(jù)在掃描順序確定單元180中確定的掃描順序以質(zhì)量層為單位掃描數(shù)據(jù)來執(zhí)行熵編碼。熵編碼單元190可執(zhí)行嵌入式編碼，以便提供可分級功能。此時，應用在提供精細粒度可分級(FGS)功能的MPEG-4音頻編解碼器中使用的比特分片算術編碼(BSAC)算法。此外，可應用自適應算術編碼，通過自適應算術編碼，自適應地更新基本上下文(basic context)，以便增強BSAC算法的壓縮效率。因此，應用于本發(fā)明的熵編碼算法將被稱為基于上下文的自適應算術編碼算法。
圖2示出根據(jù)本發(fā)明實施例對樹葉進行彩色量化的結(jié)果。圖2的(a)示出原始圖像，圖2(b)示出利用色數(shù)10進行彩色量化的結(jié)果，圖2的(c)示出利用色數(shù)30進行彩色量化的結(jié)果，并且圖2的(d)示出利用色數(shù)41進行彩色量化的結(jié)果。圖3示出原始圖像與根據(jù)本發(fā)明實施例的圖2所示的彩色量化結(jié)果之間的誤差圖像。圖3的(a)示出原始圖像，圖3的(b)示出原始圖像與利用色數(shù)10進行彩色量化的圖像之間的誤差圖像，圖3的(c)示出原始圖像與利用色數(shù)30進行彩色量化的圖像之間的誤差圖像，并且圖3的(d)示出原始圖像與利用色數(shù)40進行彩色量化的圖像之間的誤差圖像。這里，通過將128的偏移量添加到R、G和B色中的每一個來獲得每個誤差圖像。
在解釋容許噪聲獲得單元130的詳細操作之前，現(xiàn)將簡要解釋彩色量化算法。
在通常廣泛使用的圖像中，像素由R、G、B三分量組成，每個分量由8比特表示。在這種情況下，表示圖像的彩色的總數(shù)是224，這意味著可被表示的彩色數(shù)量非常大。然而，人類感知無法區(qū)分該數(shù)量的彩色中的每一種，而且這種感知根據(jù)鄰近像素的彩色分布以及色值本身而以各種方式改變。作為彩色量化算法的示例，有一種彩色量化算法使用Fibonacci Lattice以及對于彩色的人類視覺距離相對匹配Lab空間中的數(shù)值距離的特征(AleksandraMojsilovic和Emina Soljanin，“Color Quantization and Processing by FibonacciLattices”，IEEE Trans.Image Processing，vol.10，pp.1712-1725，2001年11月)。根據(jù)該算法，利用較少的彩色數(shù)量，即，512或1024，可產(chǎn)生觀察者無法容易地將其與原始圖像區(qū)分的恢復的圖像。在彩色量化算法的另一示例中，通過使用對像素的校正、亮度噪聲、亮度對比噪聲來定義新的圖像噪聲(ZhouWang和Alan C.Bovik，“Universal Image Quality Index”，IEEE SignalProcessing Letters，vol.9，pp.81-84，2002年3月)。在彩色量化算法的另一示例中，利用同質(zhì)性(homogeneity)和獨特性(distinctiveness)對人類感知進行建模，并且將每個圖像中對于感知的敏感度表示為權值。通過使用這一權值，利用較少數(shù)量的彩色來表示圖像(Kuk-Jin Yoon和In-So Kweon，“HumanPerception Based Color Image Quantization”，17th International Conference onPattern Recognition，2004年8月)。這一算法的特征在于在使用通過使用視覺特征提取的圖像權值的彩色量化中，根據(jù)漸進彩色量化和定義的代價函數(shù)來確定最優(yōu)色數(shù)(n)。因此，通過這一處理，可從包括2種顏色的量化圖像單位獲得最多包括n種顏色的量化的圖像。同時，關于彩色矢量量化概念使用圖像編碼中的彩色量化算法。也就是說，在執(zhí)行彩色量化之后，通過熵編碼對用于將量化的值映射到實際像素值的映射表以及由量化的像素組成的索引圖像進行壓縮(Zhu Li和Aggelos K.Katsaggelos，“Color VectorQuantization based Video Coder”，IEEE International Conference on ImageProcessing，vol.3，pp.673-676，2002年10月)。
容許噪聲獲得單元130通過使用以幀為單位或者以預定塊為單位的原始圖像的彩色量化結(jié)果來獲得容許噪聲?，F(xiàn)在將對此進行更加詳細的解釋。假設原始圖像是α(x，y)(以下，稱為α)，經(jīng)過利用色數(shù)k進行彩色量化的圖像是βk(x，y)(以下，稱為βk)，其中，假設α和βk在視覺上等同。這里，α和βk相對于任意整數(shù)k可表示為以下的等式1α＝βk+τk...(1)這里，τk是原始圖像(α)和經(jīng)過利用色數(shù)k進行彩色量化的圖像(βk)的誤差圖像。
此時，可獲得滿足以下等式的整數(shù)hh＝mink[k；α≈βk]...(2)
在等式2中，可存在用于找到整數(shù)h的多種方式。例如，定義可滿足等式2的適當?shù)拇鷥r函數(shù)，并且通過將色數(shù)從2逐漸增加到n，確定原始圖像和彩色量化圖像的誤差圖像可滿足代價函數(shù)的最小色數(shù)。
同時，對于任意整數(shù)k(≥h)，即使通過用滿足下面等式3的任意噪聲(e)來代替誤差圖像(τk)來產(chǎn)生圖像(γ)，仍舊存在關系α≈βk≈γe≤τk...(3)這里，將誤差圖像(τh)定義為容許噪聲，當?shù)扔诨蛐∮谌菰S噪聲的噪聲被包括時，原始圖像和量化的圖像是等同的。也就是說，在所述兩種圖像之間不存在主觀損耗。作為示例，通過以編碼塊為單位將存在于預定誤差圖像(τh)中的各個像素值或它們的絕對值劃分為預定塊來獲得容許噪聲。
圖4示出在圖1的容許噪聲獲得單元130中相對于原始圖像以像素為單位獲得的容許噪聲。這里，在曲線圖中，以編碼塊為單位來獲取并表示誤差圖像(τk)中的像素值的絕對值。
圖5示出根據(jù)本發(fā)明實施例的圖1的量化參數(shù)確定單元150的操作。對于每個編碼塊確定一個量化參數(shù)。例如，編碼塊B0具有量化參數(shù)Qp0，編碼塊B8具有量化參數(shù)Qp8，并且編碼塊B16具有量化參數(shù)Qp16。參照圖5，現(xiàn)在將解釋通過使用容許噪聲確定最大量化參數(shù)，以便產(chǎn)生等于或小于容許噪聲的量化噪聲(即，編碼誤差)的方法。
在通過使用量化參數(shù)(Qp)對原始圖像(α)進行量化之后，通過使用同樣的量化參數(shù)(Qp)經(jīng)由反量化來恢復圖像(α′)?？蓪⒒謴偷膱D像(α′)表示為以下的等式4α′＝Ψ(α，Qp)...(4)這里，ψ是指示通過使用量化參數(shù)(Qp)對原始圖像(α)進行量化，然后通過使用同樣的量化參數(shù)(Qp)進行反量化的處理。這里，可通過應用各種算法來執(zhí)行量化和反量化。例如，可應用具有靜區(qū)的均勻量化算法。此時，可將量化和反量化表示為下面的等式5和6。等式5和6被設計用于通過將通過對量化參數(shù)加倍獲得的值劃分為6個相等部分來執(zhí)行量化X′＝sign(X)*|X|*2Qp*(-1/6)+0.5...(5)X＝sign(X′)*|X′|*2Qp*(-1/6)...(6)同時，可將量化噪聲表示為下面的等式7Δ＝α′-α...(7)
由于量化參數(shù)(Qp)是將被編碼的信息，所以分別對所有像素的量化參數(shù)(Qp)進行編碼是非常沒有效率的。因此，將原始圖像(α)劃分為預定大小的塊單位(例如，編碼塊單位)，并對于每個編碼塊單位確定量化參數(shù)。假設任意編碼塊為αb，編碼塊αb的量化參數(shù)為Qpb?？蓪⒌仁?和5表示為下面的等式8和9αb′＝Ψ(αb，Qpb)...(8)Δb＝αb′-αb＝Ψ(αb，Qpb)-αb...(9)如果等式9與容許噪聲相關，則可將編碼塊的量化參數(shù)表示為下面的等式10Qpb=minQpb(τb-Δb)]]>=minQpb(τb-(αb′-αb))]]>=minQpb(τb-(Ψ(αb,Qpb)-Δb))]]>=minQpb(τb-Δb-(Ψ(αb,Qpb))]]>=minQpb(ηb-(Ψ(αb,Qpb))...(10)]]>這里，τb和Δb是存在于整個誤差圖像中的編碼塊的容許噪聲，以及編碼塊(τb)的量化噪聲。由于可在獲得容許噪聲之后得知這些值，所以可將其設置為常數(shù)ηb。
為了確定每個編碼塊的量化參數(shù)(Qpb)，采用按照預定的變化步長從較小的值逐漸增大到較大的值的方法，但是本發(fā)明并不必然受限于此。編碼塊的量化參數(shù)(Qpb)的初始值和變化步長具有計算量和精確度的權衡關系。在圖5所示的容許噪聲曲線圖中，為每個編碼塊(B0～B17)標記的粗線指示為該編碼塊設置的容許噪聲的極限值。也就是說，確定每個編碼塊的量化噪聲，從而可產(chǎn)生等于或小于為每個編碼塊設置的容許噪聲極限值的量化噪聲。
同時，可將使用容許噪聲的圖像編碼應用于各種類型的編碼器。例如，假設將在編碼中使用的變換處理和反變換處理分別定義為下面的等式11和12y＝Φ(X)...(11)x＝Φ-1(y)...(12)此時，通過使用變換的概念，可將等式1表示為下面的等式13Φ(α)＝Φ(βk+τk)...(13)
如果變換概念的線性被使用，則可將等式13表示為下面的等式14Φ(α)＝Φ(βk)+Φ(τk)...(14)如果塊的概念被引入，則可將等式14表示為下面的等式15Φb(α)＝Φb(βk)+Φb(τk)...(15)從等式14和15可知可在以整個圖像為單位的變換以及以塊為單位的變換兩種情況下使用容許噪聲的概念。
再次參照圖1，考慮到壓縮效率、可分級功能和復雜度，熵編碼單元190通過使用基于上下文的自適應算術編碼的嵌入式編碼來執(zhí)行熵編碼。此時，對于基于上下文的自適應算術編碼，設置上下文。從處理的數(shù)據(jù)的上下文來預測當前符號的概率值，并將其應用于算術編碼。因此，需要解釋上下文，以便可適當?shù)仡A測概率值。在上下文的選擇中，選擇與當前符號高度相關的上下文。
同時，為了對于原始圖像形成多個層的結(jié)構(gòu)以進行嵌入式編碼，變換單元110可執(zhí)行多層小波濾波。由于每一層提供關于不同分辨率的信息連同關于上層的信息，所以多層小波濾波可提供空間分級。頂層僅由低-低(LL)子帶組成，剩余的較低層分別由低-高(LH)子帶、高-低(HL)子帶和高-高(HH)子帶組成。為了再現(xiàn)每一層，關于上層的信息全部被提供。因此，用于熵編碼的層的順序從頂層開始向較低層進行。
同時，為了對形成每一層的子帶執(zhí)行熵編碼，定義編碼塊。編碼塊的大小可相對于層而變化，當編碼被執(zhí)行時，可利用編碼參數(shù)來定義編碼塊。編碼塊可用作用于確定量化參數(shù)的單位、用于提供關于與量化的系數(shù)值有關的最高有效位(MSB)的信息的單位、用于提供關于lazy比特的信息的單位以及用于掃描塊的單位。熵編碼單元190按照塊掃描單位，即，以編碼塊為單位來執(zhí)行位平面編碼。也就是說，通過按照掃描線順序從MSB到最低有效位(LSB)掃描像素的比特來執(zhí)行編碼。
現(xiàn)在，將更加詳細地解釋被應用于熵編碼單元190的基于上下文的自適應算術編碼。
當對于量化的系數(shù)進行熵編碼的最小輸入單位被稱為符號時，因為BSAC算法用于對量化的系數(shù)的位平面編碼，所以所述符號具有0和1中的任何一個值。因此，應用于本發(fā)明的BSAC算法基本上是二進制算術編碼。作為為了選擇每個符號的上下文而應該考慮的要素，每個上下文與每個符號的相關性應該被考慮。也就是說，如果上下文與每個符號的相關性較高，則可更加精確地預測符號的概率值，根據(jù)精確的概率值，可在執(zhí)行算術編碼時增加壓縮效率。作為為了選擇上下文而應該連同相關性考慮的要素，上下文的可發(fā)生性(causability)應該被考慮。也就是說，由于在編碼器中使用的上下文應該包括與將在解碼器中使用的上下文的值相等的值，所以上下文包括已經(jīng)被處理和編碼的符號或附加信息項。同時，作為為了選擇上下文而應該連同相關性考慮的另一要素，復雜度應該被考慮。由于BSAC算法將所有量化的系數(shù)的從MSB到LSB的所有比特看作符號，所以將被處理的符號的數(shù)量非常大。如果每個符號的上下文的類型過多，則壓縮效率可被提高，但是這樣會對于編碼器和解碼器中的存儲器容量和處理速度的各方面施加較重的負擔。具體說來，在自適應算術編碼的情況下，過多的各種上下文相對于新的比特模式可降低自適應速度，從而可降低壓縮效率。
為了對每個符號設置上下文，通過考慮鄰近像素之間的相關性較高的圖像的復雜度和特征，作為示例，熵編碼單元190在一個編碼塊中設置以每個符號的像素為中心的3×3窗。根據(jù)這一處理，可建立關于包括在一個窗中的像素的上下文。圖6示出在圖1的熵編碼單元190中為了設置上下文而應用于任意編碼塊的3×3窗。
接著，為了執(zhí)行位平面編碼，通過按照下面的等式16預測任意位平面(j)的概率值來執(zhí)行二進制算術編碼P(j)＝f(l，b，j-L，vj，wj)，j≥L＝1/2，j＜L...(16)這里，j是符號的位平面號碼，l是層號碼，b是子帶號碼。L是lazy比特，vj是在第(j+1)位平面中出現(xiàn)的1的數(shù)量，wj是已經(jīng)在第j位平面中處理的位模式。
同時，根據(jù)下面的等式17來確定lazy比特(L)L＝MSB(m)...(17)這里，m是包括在編碼塊中的像素的平均值，MSB(x)是在表示x的位平面中具有值1的最高比特位置。
圖7示出根據(jù)本發(fā)明實施例在圖1的熵編碼單元190中用于位平面的編碼的上下文。
參照圖7，例如，通過使用就在第j位平面上面的第(j+1)位平面的比特720和在第j位平面中已經(jīng)處理的4比特模式710來確定包括在第j位平面中的符號710的上下文。同時，在低于lazy比特(L)的位平面(即，lazy平面)中，將概率值設置為固定值1/2。由于對低于lazy比特(L)的位平面中的符號沒有執(zhí)行單獨的上下文計算，所以可同樣減少計算量。如果存在利用不同的量化參數(shù)值量化的各種系數(shù)，則lazy比特的使用提供相對位平面值(j-L)，從而可顯著提高編碼效率。
圖8示出根據(jù)本發(fā)明實施例的圖1的掃描順序確定單元180的操作。
在熵編碼單元190中，可在最高比特率獲得噪聲在主觀上被最小化的恢復的圖像。此外，由于通過基于上下文的算術編碼提供空間和SNR分級，所以一旦產(chǎn)生比特流，就可關于目的按照需要來截斷比特流，并且該比特流可用于再現(xiàn)?，F(xiàn)在，將解釋當部分比特流如此使用時出現(xiàn)的畫面質(zhì)量優(yōu)化的問題。
為了優(yōu)化從部分比特流再現(xiàn)的圖像的畫面質(zhì)量，可考慮在建立比特流時將重要信息置于前面的部分，以及在主觀畫面質(zhì)量方面優(yōu)化具有任意大小的比特流。也就是說，當部分比特流被截斷時，從整個比特流的末端執(zhí)行截斷。因此，將對于畫面質(zhì)量具有較大影響的重要信息置于前面的部分。這些均與熵編碼的掃描順序密切相關。
在熵編碼單元190中，在最高比特率，根據(jù)基于上下文的自適應算術編碼以編碼塊為單位來掃描數(shù)據(jù)，并關于每個位平面在掃描線方向掃描每個編碼塊。為了優(yōu)化次比特率，可考慮編碼塊的掃描順序、編碼塊中像素的掃描順序以及位平面中的掃描順序。對于編碼塊的掃描順序以及編碼塊中像素的掃描順序，存儲器使用量或復雜度方面應被一起考慮。此外，當必要時，可使用用于設置掃描順序以便優(yōu)先掃描重要編碼塊和重要像素的表，或者可自適應地改變掃描順序。
在基于上下文的自適應算術編碼中，一個編碼塊中從MSB到LSB的所有比特平面被掃描，然后另一掃描塊被掃描。這種掃描方法涉及均方差(MSE)的概念，并且基于以下假設每個像素相對于位平面的重要性隨著到MSB的距離的減少而增加。因此，在最高比特率，可應用這一假設，但是這一假設可限制性應用于次比特率。
為了解決這一問題，在掃描順序確定單元180中，關于量化的系數(shù)來確定質(zhì)量層。質(zhì)量層是在優(yōu)化截斷的嵌入式塊編碼(EBCOT)算法中采用的方法(David Taubman，“High Performance Scalable Image Compression withEBCOT”，IEEE Trans.Image Processing，vol.9，pp.1158-1170，2000年7月)。在掃描順序確定單元180中，用于位平面編碼的任意數(shù)量的質(zhì)量層被安置。一個質(zhì)量層包括通過對于該層使用容許噪聲確定的位平面。在構(gòu)建的質(zhì)量層中，從最高質(zhì)量層開始執(zhí)行掃描。
現(xiàn)在將解釋如何通過使用容許噪聲在次比特率實現(xiàn)視覺噪聲方面的優(yōu)化。
假設質(zhì)量層的數(shù)量是n，包括n個質(zhì)量層(即，圖9的L0、L1等)的比特流(v)可被表示為v＝v0v1，...，vn-1。這里，假設對比特流(v)解碼的處理是ω＝Γ(v)，可通過可分級功能獲得n個再現(xiàn)圖像，即，ω0＝Γ(v0)、ω1＝Γ(v0v1)、...、ωn-1＝Γ(v0v1...vn-1)＝Γ(v)。此時，可將關于每個再現(xiàn)圖像的誤差圖像表示為ε0＝ω0-α、ε1＝ω1-α、...、εn-1＝ωn-1-α。為了獲得將在每個階段使用的容許噪聲(圖8的830和850)，首先獲得從原始圖像經(jīng)過彩色量化的圖像。這些彩色量化的圖像β0、β1、...、βn-1具有如下面的等式18的特征α≈βn-1Ψ(βp)＜Ψ(βq)，p＜q...(18)這里，Ψ(β)是圖像β中顏色的數(shù)量。
根據(jù)下面的等式19來獲得關于每個彩色量化的圖像的容許噪聲(τi)τi＝α-βi，i＝0，...n-1...(19)假設在等式13中的每個階段經(jīng)過彩色量化的圖像βi對于給定的色數(shù)(i)再現(xiàn)視覺上的最佳圖像，如果等式19被滿足，則可以說在基于人類視覺特征的R-D曲線上的每個次比特率實現(xiàn)了對于每個質(zhì)量層的優(yōu)化。也就是說，存在如等式20的關系εi＝τii＝0，...，n-1...(20)圖10是根據(jù)本發(fā)明實施例的圖像解碼設備的結(jié)構(gòu)的框圖。解碼設備包括熵解碼單元1010、反量化單元1030以及反變換單元1050。
參照圖10，熵解碼單元通過對輸入比特流進行熵解碼來產(chǎn)生量化的系數(shù)。熵解碼處理相應于圖1所示的圖像編碼設備的熵編碼處理的反處理。
反量化單元1030通過對由熵解碼單元1010提供的量化的系數(shù)進行反量化來產(chǎn)生變換系數(shù)。反量化處理相應于圖1所示的圖像編碼設備的量化處理的反處理。
反變換單元1050通過對由反量化單元1030提供的變換系數(shù)進行反變換來產(chǎn)生恢復的圖像。反變換處理相應于圖1所示的圖像編碼設備的變換處理的反處理。
接著，現(xiàn)在將解釋為了評價根據(jù)本發(fā)明實施例的圖像編碼和解碼算法的性能而執(zhí)行的比較試驗。測試圖像具有512×512的大小，并且使用彩色的YUV444格式。對于小波分解和合成，9/7濾波器用于Y分量，5/3濾波器用于U和V分量。所使用的濾波器的系數(shù)值與用于JPEG2000的相同。同時，所有小波濾波器被實現(xiàn)為具有提升結(jié)構(gòu)。小波分解可被執(zhí)行到第5步驟，并且總共6步驟的空間可分級圖像可被恢復。此時，按照下面的表1來設置編碼塊表1

用于比較試驗的JPEG2000軟件是在JPEG2000網(wǎng)站(http//www.jpeg.org/jpeg2000/index.html)公開的參考軟件，即，Jasper版本1.701.0。此時，將編碼器選項設為默認值，并執(zhí)行試驗。
圖11的(a)到(d)分別示出作為測試圖像的示例的狒狒、回形針、鸚鵡和樹葉。每個圖像具有512×512的大小，并且R、G和B分量中的每一個有8比特長。
當執(zhí)行根據(jù)本發(fā)明的編碼和解碼算法時沒有執(zhí)行MSE概念中的R-D優(yōu)化處理，而在JPEG2000中執(zhí)行MSE中的R-D優(yōu)化處理。關于在這種環(huán)境下測量的PSNR，在亮度分量的情況下，根據(jù)JEPG2000解碼的圖像關于測試圖像的類型和壓縮率顯示出大約高出0.8dB的值。
下面的表2示出分別通過本發(fā)明和JPEG2000解碼的圖像的PSNR值的比較，并顯示出在數(shù)據(jù)中存在PSNR差表2


同時，圖12的(a)和(c)是當將本發(fā)明應用于狒狒時分別通過20∶1和50∶1的壓縮率進行編碼和解碼而獲得的圖像，并且圖12的(b)和(d)是當將JPEG2000應用于狒狒時分別通過20∶1和50∶1的壓縮率進行編碼和解碼而獲得的圖像。圖13的(a)和(c)是當將本發(fā)明應用于回形針時分別通過20∶1和50∶1的壓縮率進行編碼和解碼而獲得的圖像，并且圖13的(b)和(d)是當將JPEG2000應用于回形針時分別通過20∶1和50∶1的壓縮率進行編碼和解碼而獲得的圖像。圖14的(a)和(c)是當將本發(fā)明應用于鸚鵡時分別通過20∶1和50∶1的壓縮率進行編碼和解碼而獲得的圖像，并且圖14的(b)和(d)是當將JPEG2000應用于鸚鵡時分別通過20∶1和50∶1的壓縮率進行編碼和解碼而獲得的圖像。圖15的(a)和(c)是當將本發(fā)明應用于樹葉時分別通過20∶1和50∶1的壓縮率進行編碼和解碼而獲得的圖像，并且圖15的(b)和(d)是當將JPEG2000應用于樹葉時分別通過20∶1和50∶1的壓縮率進行編碼和解碼而獲得的圖像。
因此，圖12到圖15證實根據(jù)本發(fā)明和JPEG2000解碼的圖像是主觀上等同或相似的圖像。
還可將本發(fā)明實現(xiàn)為計算機可讀記錄介質(zhì)上的計算機可讀代碼。計算機可讀記錄介質(zhì)是可存儲數(shù)據(jù)的任何數(shù)據(jù)存儲裝置，所述數(shù)據(jù)其后可通過計算機系統(tǒng)讀取。計算機可讀記錄介質(zhì)的示例包括只讀存儲器(ROM)、隨機存取存儲器(RAM)、CD-ROM、磁帶、軟盤、光學數(shù)據(jù)存儲裝置和載波(諸如通過互聯(lián)網(wǎng)的數(shù)據(jù)傳輸)。還可通過聯(lián)網(wǎng)的計算機系統(tǒng)分布計算機可讀記錄介質(zhì)，從而以分布方式存儲并執(zhí)行計算機可讀代碼。此外，本發(fā)明所屬領域的編程技術人員可容易地解釋用于實現(xiàn)本發(fā)明的功能程序、代碼和代碼段。
權利要求
1.一種圖像編碼設備，包括變換單元，通過變換正輸入的原始圖像來去除空間冗余；容許噪聲獲得單元，從原始圖像獲得容許噪聲；量化參數(shù)確定單元，通過使用容許噪聲確定量化參數(shù)；量化單元，通過使用量化參數(shù)對從變換單元提供的變換系數(shù)進行量化來產(chǎn)生量化的系數(shù)；以及熵編碼單元，對量化的系數(shù)進行熵編碼以去除統(tǒng)計冗余。
2.一種圖像編碼設備，包括變換單元，通過變換正輸入的原始圖像來去除空間冗余；容許噪聲獲得單元，從原始圖像獲得容許噪聲；量化參數(shù)確定單元，通過使用容許噪聲確定量化參數(shù)；量化單元，通過使用量化參數(shù)對從變換單元提供的變換系數(shù)進行量化來產(chǎn)生量化的系數(shù)；掃描順序確定單元，確定對于使用容許噪聲確定的質(zhì)量層的掃描順序；以及熵編碼單元，按照對于質(zhì)量層的掃描順序?qū)α炕南禂?shù)進行熵編碼以去除統(tǒng)計冗余。
3.一種圖像編碼方法，包括通過變換正輸入的原始圖像來去除空間冗余；從原始圖像獲得容許噪聲；通過使用容許噪聲確定量化參數(shù)；通過使用量化參數(shù)對從變換單元提供的變換系數(shù)進行量化來產(chǎn)生量化的系數(shù)；以及對量化的系數(shù)進行熵編碼以去除統(tǒng)計冗余。
4.一種圖像編碼方法，包括通過變換正輸入的原始圖像來去除空間冗余；從原始圖像獲得容許噪聲；通過使用容許噪聲確定量化參數(shù)；通過使用量化參數(shù)對從變換單元提供的變換系數(shù)進行量化來產(chǎn)生量化的系數(shù)；確定對于使用容許噪聲確定的質(zhì)量層的掃描順序；以及按照對于質(zhì)量層的掃描順序?qū)α炕南禂?shù)進行熵編碼以去除統(tǒng)計冗余。
5.一種圖像解碼設備，包括熵解碼單元，通過對由權利要求1和2中的任何一個的方法產(chǎn)生的比特流進行熵解碼來產(chǎn)生量化的系數(shù)；反量化單元，通過對量化的系數(shù)進行反量化來產(chǎn)生變換系數(shù)；以及反變換單元，通過對變換系數(shù)進行反變換來產(chǎn)生恢復的圖像。
6.一種圖像解碼方法，包括通過對由權利要求3和4中的任何一個的方法產(chǎn)生的比特流進行熵解碼來產(chǎn)生量化的系數(shù)；通過對量化的系數(shù)進行反量化來產(chǎn)生變換系數(shù)；以及通過對變換系數(shù)進行反變換來產(chǎn)生恢復的圖像。
全文摘要
提供一種圖像編碼和/或解碼設備和方法。所述圖像編碼設備包括變換單元，通過變換正輸入的原始圖像來去除空間冗余；容許噪聲獲得單元，從原始圖像獲得容許噪聲；量化參數(shù)確定單元，通過使用容許噪聲確定量化參數(shù)；量化單元，通過使用量化參數(shù)對從變換單元提供的變換系數(shù)進行量化來產(chǎn)生量化的系數(shù)；以及熵編碼單元，對量化的系數(shù)進行熵編碼以去除統(tǒng)計冗余。
文檔編號H04N7/34GK101080931SQ200580043002
公開日2007年11月28日 申請日期2005年12月14日 優(yōu)先權日2004年12月14日
發(fā)明者李時和, 金道均, 金惠妍, 權仁昭 申請人:三星電子株式會社