專利名稱：圖像編碼/解碼方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像編碼/解碼方法和裝置，并且，更具體地，涉及用于通過使用考慮到頻率和空間域中的人類視覺系統(tǒng)(HVS)而確定的視覺權(quán)重而對小波轉(zhuǎn)換圖像編碼的圖像編碼方法和裝置、以及圖像解碼方法和裝置。

背景技術(shù)：
在寬帶無線網(wǎng)絡(luò)中的正在進(jìn)行的信道容量的增加已經(jīng)導(dǎo)致廣泛的努力以適應(yīng)在無線網(wǎng)絡(luò)領(lǐng)域的更高質(zhì)量的圖像/視頻應(yīng)用。由于信道的動態(tài)特性，為傳送的整個流量獲得充足的帶寬是不可能的。為了實(shí)現(xiàn)有效的信道自適應(yīng)，多數(shù)面向?qū)ο蠡蛘叻謱拥木幋a算法通過分配額外的編碼資源給感興趣的對象或者區(qū)域而增進(jìn)主觀質(zhì)量。
在過去的幾年里，已經(jīng)提出了幾個基于小波的圖像壓縮算法。傳統(tǒng)的基于小波的圖像壓縮算法使用每個頻帶中的系數(shù)之間的相關(guān)性。小波系數(shù)的公知的壓縮算法是使用小波系數(shù)的零樹(Zero-tree)的嵌入圖像編碼(EZW)，并且，在分層樹(SPIHT)算法中設(shè)置分區(qū)。
小波分解的分層結(jié)構(gòu)提供了從圖像序列中捕捉全局特征的較好的框架。即，由于小波域具有可以同時評定空間域信息和頻域信息的分層結(jié)構(gòu)，所以，從單個子頻帶信息訪問整個圖像特性是有用的。此外，由于小波域基本上具有多分辨率(multi-resolution)特征，所以，當(dāng)其被應(yīng)用于漸進(jìn)式(progressive)圖像編碼器時，基于小波框架的圖像編碼是優(yōu)選的。
在人類視網(wǎng)膜中，光感受器的空間分布是非均勻的。即，光感受器大部分密集地集中于視網(wǎng)膜的中央凹(fovea)，并且，該密度隨著與視網(wǎng)膜的中央凹的距離而迅速增大。因此，由光感受器檢測的本地視覺頻率頻帶也隨著與視網(wǎng)膜的中央凹的距離而背離。
傳統(tǒng)的圖像編碼器主要針對于通過考慮到人類視覺系統(tǒng)(HVS)的特性，增加視覺重要性信息的信道容量而增進(jìn)主觀圖像的質(zhì)量，但沒有提出特定的參考值以選擇考慮到HVS的空間和視覺分辨率的視覺重要性信息。


發(fā)明內(nèi)容
技術(shù)方案 本發(fā)明提供了:圖像編碼方法和裝置，其中，考慮到空間與頻域中的人類視覺系統(tǒng)(HVS)的靈敏度而設(shè)定小波變換系數(shù)的視覺權(quán)重，并且，基于視覺權(quán)重而確定小波變換系數(shù)的編碼順序，由此，在低信道容量上增進(jìn)編碼后的圖像的質(zhì)量；以及圖像解碼方法和裝置。
有利效果 根據(jù)本發(fā)明，根據(jù)考慮頻率和空間域中的HVS特征而產(chǎn)生的視覺權(quán)重，而順序地編碼并且傳送小波系數(shù)，使得具有進(jìn)一步增進(jìn)的視覺質(zhì)量的圖像可以在低信道容量上被編碼和傳送。



圖1A和1B分別圖解了原始圖像a(x)和凹式圖像

的例子； 圖2A和2B分別圖解了通過在曲線坐標(biāo)Φ(x)上映射在圖1A中圖解的原始圖像a(x)和和圖1B中描述的凹式圖像

而獲得的原始圖像b(Φ(x))和凹式圖像

(Φ(x))的例子； 圖3圖解了典型的視網(wǎng)膜離心率和視覺幾何； 圖4圖解了小波分解結(jié)構(gòu)； 圖5是根據(jù)本發(fā)明的實(shí)施例的圖像編碼裝置的框圖； 圖6是根據(jù)本發(fā)明的實(shí)施例的圖像編碼方法的流程圖； 圖7是示出根據(jù)本發(fā)明的實(shí)施例的圖像解碼裝置的框圖； 圖8是示出根據(jù)本發(fā)明的實(shí)施例的圖像解碼方法的流程圖； 圖9A是示出當(dāng)根據(jù)目標(biāo)比特率測定圖像質(zhì)量時、通過在分層樹(SPIHT)算法中的傳統(tǒng)的設(shè)置分區(qū)而編碼和重建的圖像； 圖9B示出當(dāng)當(dāng)根據(jù)目標(biāo)比特率測定圖像質(zhì)量時、按照本發(fā)明的視覺權(quán)重的幅度的順序而編碼和重建的圖像； 圖10是示出當(dāng)使用本發(fā)明的實(shí)施例的通過參考根據(jù)信道容量的視覺權(quán)重重新組織小波系數(shù)而執(zhí)行傳送的方法(1)、以及根據(jù)傳統(tǒng)的SPIHT算法執(zhí)行傳送的針對于關(guān)于線性投影的信道容量方法(2)時，所傳送的視覺熵(visualentropy)的量的圖；以及 圖11是示出當(dāng)通過參考根據(jù)本發(fā)明的實(shí)施例的信道容量的視覺權(quán)重重新組織小波系數(shù)而進(jìn)行傳送時、以及當(dāng)根據(jù)傳統(tǒng)的SPIHT算法進(jìn)行傳送時的視覺熵增益的圖。

具體實(shí)施例方式 最佳模式 根據(jù)本發(fā)明的一個方面，提供了圖像編碼的方法，包括:通過變換輸入圖像而產(chǎn)生小波變換系數(shù)；考慮到空間域和頻域中的人類視覺系統(tǒng)(HVS)的靈敏度而產(chǎn)生小波變換系數(shù)的視覺權(quán)重；通過使用所產(chǎn)生的視覺權(quán)重而確定小波變換系數(shù)的編碼順序；以及根據(jù)所確定的編碼順序來編碼小波變換系數(shù)。
根據(jù)本發(fā)明的另一方面，提供了圖像編碼裝置，包括:變換器，其通過變換輸入圖像而產(chǎn)生小波變換系數(shù)；視覺權(quán)重產(chǎn)生器，其考慮到空間域和頻域中的人類視覺系統(tǒng)(HVS)的靈敏度而產(chǎn)生小波變換系數(shù)的視覺權(quán)重；編碼順序確定單元，其通過使用所產(chǎn)生的視覺權(quán)重而確定小波變換系數(shù)的編碼順序；以及順序小波系數(shù)編碼器，根據(jù)確定的編碼順序來編碼小波變換系數(shù)。
根據(jù)本發(fā)明的另一方面，提供了圖像解碼方法，包括:對按照考慮到空間域和時域中的人類視覺系統(tǒng)(HVS)的靈敏度而產(chǎn)生的視覺權(quán)重的幅度的順序編碼的小波變換系數(shù)進(jìn)行解碼；基于所解碼的小波變換系數(shù)來執(zhí)行反向小波變換；以及通過使用每個子頻帶的反向小波變換后的系數(shù)而重建圖像。
根據(jù)本發(fā)明的另一方面，提供了圖像解碼裝置，包括:順序小波系數(shù)解碼器，對按照考慮到空間域和時域中的人類視覺系統(tǒng)(HVS)的靈敏度而產(chǎn)生的視覺權(quán)重的幅度的順序編碼的小波變換系數(shù)進(jìn)行解碼；反向變換器，基于所解碼的小波變換系數(shù)來執(zhí)行反向小波變換；以及圖像重建單元，通過使用每個子頻帶的反向小波變換后的系數(shù)重建圖像。
本發(fā)明的模式 下文中，為了方便理解用于考慮到空間域和頻域中的人類視覺系統(tǒng)(HVS)的靈敏度而確定小波變換系數(shù)的視覺權(quán)重的視覺熵，將首先描述熵的定義、空間域中的視覺熵以及小波域中的視覺熵，隨后是圖像編碼/解碼方法和裝置的描述。
熵的定義 在圖像編碼的處理中，標(biāo)量量化器(scalar quantizer)量化具有實(shí)數(shù)的隨機(jī)變量X，以產(chǎn)生量化的變量。如果變量X存在于范圍[y-，y+]內(nèi)、且范圍[y-，y+]被分為M個間隔，則每個間隔被表示為[ym-1，ym](1≤m≤M，y0＝y(tǒng)-，yM＝y(tǒng)+)。在該情況下，如果x∈[ym-1，ym]，則Q(x)＝xm。將假設(shè):在M個間隔中的每個中的第m個值的概率pm被表示為pm＝P{X∈[ym-1，ym]}＝Pr(＝xm)。那么，量化后的隨機(jī)變量

的熵被表示為: 此處，

表示編碼量化后的隨機(jī)變量

所需要的平均比特?cái)?shù)目的最小值。
一般地，如果隨機(jī)變量X的概率密度函數(shù)(PDF)為P(x)，則隨機(jī)變量X的微分熵可以由方程1表示: 方程1 如果在標(biāo)量量化器Q中產(chǎn)生的量化誤差被定義為D，則確定得以滿足。在方程1中，當(dāng)標(biāo)量量化器Q是均勻量化器(uniform quantizer)時，該相等得以滿足。即，可以使用均勻量化器來最小化編碼量化隨機(jī)變量

所需要的平均比特?cái)?shù)目。如果在均勻量化器中使用的單個量化箱(quantization bin)的幅度為Δ，則D＝(Δ2/12)，并且，最小平均比特率Rx由下式給出: 如果信號A可以通過使用變換系數(shù)a[m]和正交基本函數(shù)gm而由給出(此處，N是變換域中的信號A的樣值的總數(shù))，則a[m]的量化系數(shù)為 并且，熵為 執(zhí)行優(yōu)化比特分配處理，以便最小化編碼量化的變化系數(shù)a[m]所需要的總比特?cái)?shù)R，即 (Rm是編碼a[m]所需要的總比特?cái)?shù))，此處，a[m]的總量化誤差為D。每個樣值產(chǎn)生的平均比特?cái)?shù)由下式給出 R＝(R/N)。
在該情況下，如果確定各自的變換系數(shù)a[m]的量化誤差Dm(即，

彼此相同，則對于每個樣值所產(chǎn)生的比特的平均總數(shù)R具有最小值。平均微分熵

由N個采樣的變換系數(shù)的微分熵的平均值所定義，即如果信號A是高斯隨機(jī)值、且小波系數(shù)a[m]的離差為

則高斯隨機(jī)值的熵由方程2表示: 方程2 如果a[m]表示拉普拉斯隨機(jī)變量，則a[m]的熵由方程3表示 方程3 空間域中的視覺熵 如上所述，人眼通過與視網(wǎng)膜中的非均勻光感受器的密度相符的非均勻采樣處理而獲得視覺信息。因此，人眼根據(jù)注視點(diǎn)而接收非均勻分辨率視覺信息，并且，創(chuàng)建修改的圖像，其中，通過使用非線性采樣處理而從所述修改的圖像移除無法檢測到的高頻。所述修改的圖像被定義為凹式圖像(foveated image)。
一般地，根據(jù)內(nèi)容或者應(yīng)用，注視點(diǎn)可以是點(diǎn)、多點(diǎn)、對象、多個對象或者特定的區(qū)域。
為了比較原始圖像與凹式圖像，圖1A和1B分別圖解了原始圖像a(x)和凹式圖像

的例子。
在圖1A和1B中，假設(shè)網(wǎng)球運(yùn)動員是感興趣的區(qū)域(ROI)。在這種情況中，凹區(qū)域被定義為該網(wǎng)球運(yùn)動員周圍的區(qū)域。如圖1B所示，由于光感受器的非線性特性，由光感受器察覺的視覺分辨率以相對視網(wǎng)膜的對稱的圖案的方式呈指數(shù)衰減。從這樣的非線性映射結(jié)構(gòu)獲得新坐標(biāo)，并且將其定義為曲線坐標(biāo)Φ(x)。
圖2A和2B分別圖解了通過在曲線坐標(biāo)Φ(x)上映射在圖1A中圖解的原始圖像a(x)和和圖1B中描述的凹式圖像

而獲得的原始圖像b(Φ(x))和凹式圖像

的例子。即，通過考慮到凹形人眼而對在圖1A中描述的原始圖像a(x)和在圖1B中描述的凹式圖像

進(jìn)行坐標(biāo)變換，來獲得圖像b(Φ(x))和 當(dāng)比較圖2A和圖2B時，實(shí)際的光感受器所察覺的原始圖像b(Φ(x))和凹式圖像

在視覺上幾乎彼此相同。
如果圖1A的原始圖像的空間域?yàn)椴⑶?，在笛卡爾坐?biāo)中的對應(yīng)于原始圖像的面積為A0，則已被映射在曲線坐標(biāo)上的在圖2A中圖解的原始圖像b(Φ(x))和在圖2B中圖解的凹式圖像

的面積可以被表示為 此處，Jφ(x)是代表從x到Φ(x)的坐標(biāo)變換的雅可比函數(shù)。在離散域中，

與本地頻率的平方

成比例，并且，因此由方程4表述: 方程4 此處，c是常量。如果給定圖像的一個像素的變換系數(shù)是隨機(jī)變量X，則如上所述，通過方程1獲得Hd(x)。圖像的總微分熵

由方程5表述: 方程5 類似地，映射在曲線坐標(biāo)上的凹式圖像

的微分熵Hd(φ)和總視覺熵可以通過方程6和7表示: 方程6 Hd(φ)＝-∫φp(φ)logp(φ)dφ 方程7 由于圖像a(x)和

由本地帶寬Ω0限制頻帶，所以，可以假設(shè)原始圖像a(x)和凹式圖像

具有相同概率密度函數(shù)和相同的微分熵。即 p(x)＝p(φ)，Hd(x)＝Hd(φ) 因此，可以通過使用映射在曲線坐標(biāo)上的原始圖像的面積A0和凹式圖像的面積Ac之間的差，來確定代表考慮到人類視覺系統(tǒng)(HVS)特征的、通過變換映射在曲線坐標(biāo)上的原始圖像獲得的凹式圖像所需要的信息的冗余度。即，當(dāng)通過使用映射在曲線坐標(biāo)上的凹式圖像而編碼圖像時，與在笛卡爾坐標(biāo)上編碼原始圖像形成相比，熵節(jié)省了量(A0-Ac)H(x)(此處，A0≥Ac)。
理論上，節(jié)省的熵對應(yīng)于:在不損失任何視覺信息的情況下的編碼中的圖像數(shù)據(jù)減少的上界。因此，當(dāng)考慮到HVS特征對曲線坐標(biāo)上的凹式圖像進(jìn)行編碼時獲得的正歸化增益Gm可以被表述為Gm＝(A0-Ac)/A0。
小波系數(shù)的微分熵 首先，假設(shè)W(X)是小波變換函數(shù)。在圖1A中，原始圖像a(X)被變換到小波域。小波系數(shù)a[m](m是小波系數(shù)索引)則由方程8表述: 方程8 如上所述，gm表示正交基函數(shù)。
在b(Φ(x))和

(Φ(x))由本地帶寬Ω0限制頻帶的假定下，可以近似 b(Φ(x))的小波系數(shù)b[m]可以由方程9表述。
方程9 通過使用方程1和6，在笛卡爾坐標(biāo)中的小波變換系數(shù)a[m]、以及曲線坐標(biāo)中的小波轉(zhuǎn)換系數(shù)b[m]可以由方程10表示。
方程10 小波域中的視覺熵 假設(shè)考慮到在空間域和頻域中的HVS特征確定視覺權(quán)重ωm。對于給定的視覺權(quán)重ωm，視覺熵

可以表述為方程11。
方程11 如上所述，ωm的特性在于兩個視覺分量:一個用于空間域，另一個用于頻域。
方程4中的本地頻率fn用作空間域中的視覺權(quán)重。令fm為小波域中的本地頻率，則fm可以由方程12表述: 方程12 fm＝min(fc，fd)(周期/度) 此處，m是小波變換系數(shù)a[m]的索引.進(jìn)一步，在方程12中，fc指示臨界頻率，并且fd表示顯示奈奎斯特頻率?，F(xiàn)在，將描述臨界頻率和顯示奈奎斯特頻率。
已經(jīng)執(zhí)行心理試驗(yàn)，以測定作為HVS的視網(wǎng)膜離心率的函數(shù)的對比度靈敏度。滿足試驗(yàn)數(shù)據(jù)的模型可以由方程13表述: 方程13 此處，f是空間頻率(周期/度)，e是視網(wǎng)膜離心率(度)，CT0是最小對比閾值，α是空間頻率衰減常量，e2是半分辨率離心率常量，并且，CT(f，e)是作為f和e的函數(shù)的視覺常量閾值。對比度靈敏度CS(f，e)被定義為對比度閾值的倒數(shù)，即，1/CT(f，e)。
對于給定的離心率e，方程13可以用于發(fā)現(xiàn)它的臨界頻率fc。臨界頻率fc指示可以由人類察覺的空間頻率分量的極限。任何超出臨界頻率fc的更高頻率分量是不可視的。
由方程14表示的臨界頻率fc可以通過在方程13中將CT(f，e)設(shè)置為1(最大可能的對比度)而獲得。
方程14 圖3圖解了典型的視網(wǎng)膜離心率和視覺幾何。為了簡單起見，假設(shè)所觀察的圖像平面300是N像素寬，并且，從中央凹到注視點(diǎn)310的線垂直于圖像平面300。還假設(shè)從中央凹到觀察者的眼睛的距離被正歸化以滿足圖像大小，并且，定義正歸化值為v。
參考圖3，離心率e被定義為觀察者的注視點(diǎn)310與由x指示的任意點(diǎn)320之間的角度差，并且，與注視點(diǎn)310分離預(yù)定距離u(其通過正歸化而測定，以符合圖像大小)。因此，當(dāng)觀察圖像平面300中的注視點(diǎn)310時，處于與圖像平面300空間分離距離v的位置的觀察者觀察的離心率e由下式給出: 在真實(shí)世界的數(shù)字圖像中，最大感受分辨率也由下式給出的顯示分辨率所限制:
根據(jù)采樣理論，可由顯示設(shè)備不失真地表示的最高頻率或者顯示奈奎斯特頻率fd為顯示分辨率r的一半。因此，顯示奈奎斯特頻率fd可以由方程15表示: 方程15
在二維空間域中，通過使用方程16正歸化的本地頻率fm的平方可以被用作空間域中的權(quán)重
方程16 圖4示出了小波分解結(jié)構(gòu)。
參考圖4，可替換地施加橫向和縱向小波分解，從而產(chǎn)生LL、HL、LH和HH子頻帶。LL子頻帶可以被進(jìn)一步分解。處理可以被重復(fù)幾次。
在不同子頻帶和位置的小波系數(shù)提供可變的感受重要性信息給HVS。存在在頻域中考慮HVS特征測定每個小波系數(shù)的視覺重要性的需要。在本發(fā)明的實(shí)施例中，作為視覺權(quán)重ωm的頻域分量的頻域上的權(quán)重

由每個小波子頻帶所確定。進(jìn)行了試驗(yàn)以測定視覺的可檢測到的噪聲閾值Y，其由方程17表示: 方程17 log Y＝log a+k(log f-log gθf0)2 此處，θ是代表小波子頻帶的索引，f是空間頻率(周期/度)，并且gθ、fo以及k是常量。使用給定的顯示分辨率r和小波分解級別λ，來獲得由f＝r2λ表示的空間頻率。
在這種情況下，在任何小波分解級別λ以及子頻帶θ的小波系數(shù)的誤差檢測閾值Tλ，θ可以由方程18表示: 方程18 此處，Aλ，θ是基函數(shù)幅度。典型地，在單個頻帶上定義誤差靈敏度Sω(λ，θ)為誤差檢測閾值Tλ，θ的倒數(shù)，即，1/Tλ，θ。
在本發(fā)明的實(shí)施例中，通過使用方程19正歸化的誤差靈敏度Sω(λ，θ)用作頻域中的權(quán)重
方程19 方程16和19用以最終定義由方程20表示的視覺權(quán)重ωm，其在空間域和頻域中考慮到HVS特征而被設(shè)置。
方程20 考慮到視覺權(quán)重的圖像編碼/解碼方法和裝置 此后，將描述使用上述空間域權(quán)重與頻域權(quán)重的積的視覺權(quán)重的圖像編碼/解碼方法、以及使用該圖像編碼/解碼方法的圖像編碼裝置。
圖5是根據(jù)本發(fā)明的實(shí)施例的圖像編碼裝置的框圖。圖6是根據(jù)本發(fā)明的實(shí)施例的圖像編碼方法的流程圖。
參考圖5，圖像編碼裝置500包括變換器510、視覺權(quán)重產(chǎn)生器520、感興趣區(qū)域(ROI)確定單元530、編碼順序確定單元540、以及順序小波系數(shù)編碼器550。
在操作610中，變換器510為輸入圖像變換小波，以便將輸入圖像劃分為低頻子頻帶和高頻子頻帶，由此為輸入圖像的每個像素獲得小波變換系數(shù)。
在操作620中，視覺權(quán)重產(chǎn)生器520產(chǎn)生在空間域和頻域中考慮到HVS的靈敏度的小波變換系數(shù)的視覺權(quán)重。
如上所述，視覺權(quán)重產(chǎn)生器520可以使用方程4中的本地頻率fn作為空間域中的視覺權(quán)重?？商鎿Q地，視覺權(quán)重產(chǎn)生器520可以在小波域中的臨界頻率fc和顯示奈奎斯特頻率fd之間選擇最小值，作為本地頻率fm，并且，可以通過使用方程16正歸化的本地頻率fm的平方作為空間域中的權(quán)重

即，視覺權(quán)重產(chǎn)生器520選擇由表示的小波域中的臨界頻率、以及由

表示的顯示奈奎斯特頻率之間的最小值，作為可以由顯示設(shè)備無失真地顯示的最大頻率。所選擇的頻率通過使用方程16而正歸化，由此產(chǎn)生空間域中的權(quán)重

進(jìn)一步，視覺權(quán)重產(chǎn)生器520通過使用方程19，正歸化具有在子頻帶中的誤差檢測閾值Tλ，θ的倒數(shù)(即，1/Tλ，θ)的誤差靈敏度Sω(λ，θ)，以產(chǎn)生頻域中的權(quán)重

然后，視覺權(quán)重產(chǎn)生器520將空間域中的權(quán)重

乘以頻域中的權(quán)重

以便產(chǎn)生作為用于確定小波系數(shù)的編碼順序的參考值的視覺權(quán)重。
ROI確定單元530確定當(dāng)產(chǎn)生視覺權(quán)重時眼睛所注視的區(qū)域。因此，ROI確定單元530確定可以由光感受器視覺感受的圖像區(qū)域，即，凹式(foveated)區(qū)域。通過使用運(yùn)動檢測，ROI確定單元530可以確定移動或動作易于被察覺的圖像區(qū)域。ROI確定單元530可以通過類似于由監(jiān)視攝像機(jī)的應(yīng)用程序采用的方式來跟蹤觀察者的瞳孔，而移動確定圖像的ROI。
在操作630中，編碼順序確定單元540通過使用所產(chǎn)生的視覺權(quán)重來確定小波變換系數(shù)的編碼順序。在操作640中，順序小波系數(shù)編碼器550通過根據(jù)由順序小波系數(shù)編碼器550確定的編碼順序來對小波變換系數(shù)進(jìn)行量化和熵編碼，而產(chǎn)生比特流。例如，編碼順序確定單元540按照視覺權(quán)重的幅度的順序，在單個幀內(nèi)使用由視覺權(quán)重產(chǎn)生器520產(chǎn)生的視覺權(quán)重，以重新組織每個子頻帶的小波系數(shù)。然后，順序小波系數(shù)編碼器550從具有最高視覺權(quán)重的小波系數(shù)開始，編碼要被傳送的小波系數(shù)。
通過使用當(dāng)前信道容量和小波系數(shù)的微分熵，編碼順序確定單元540可以計(jì)算可以以當(dāng)前信道容量傳送的小波系數(shù)的總數(shù)，并且，可以按照所產(chǎn)生的視覺系數(shù)的幅度的順序來選擇小波變換系數(shù)。
同時，所傳遞的視覺信息量取決于所傳送的視覺熵的總和。為了對于有限的信道容量最大化視覺吞吐量，有必要首先傳送包含較高重要性的視覺信息的系數(shù)值。如上所述，包含在單個比特中的視覺信息取決于作為空間權(quán)重與視覺權(quán)重之間的積的視覺權(quán)重，其通過考慮到HVS特征的頻域和空間域而被特征化。方程20用以定義由方程21表示的視覺熵: 方程21 給定信道容量C，傳送的小波系數(shù)M的總的熵可以由方程22所表示: 方程22 令k為根據(jù)本發(fā)明的實(shí)施例的按照視覺權(quán)重的幅度的順序重新組織的小波系數(shù)的索引。隨后，由方程23獲得可傳送的視覺熵: 方程23 此處，k表示當(dāng)信道容量限制為C時可以傳送的小波變換系數(shù)的最大數(shù)目?；谝曈X重要性而傳送的小波系數(shù)的視覺熵可以由方程24所表示: 方程24 此處，Cω是對于給定信道容量C的傳遞的視覺熵的總和。如果使用本發(fā)明的實(shí)施例的視覺權(quán)重

則相關(guān)的視覺熵增益Gt由方程25所表示: 方程25 此處， 在方程25中，

是考慮視覺權(quán)重計(jì)算的小波系數(shù)的總的視覺權(quán)重。即，此處，MT是總的小波系數(shù)數(shù)目。
圖7是示出根據(jù)本發(fā)明的實(shí)施例的圖像解碼裝置的框圖。圖8是示出根據(jù)本發(fā)明的實(shí)施例的圖像解碼方法的流程圖。
參考圖7，圖像解碼裝置700包括順序小波系數(shù)解碼器710、反向變換器720以及圖像重建單元730。
在操作810中，根據(jù)上述的圖像編碼方法，順序小波系數(shù)解碼器710對已經(jīng)按照考慮到空間域和頻域中的HVS的靈敏度而產(chǎn)生的小波變換系數(shù)的視覺權(quán)重的幅度的順序被編碼的小波轉(zhuǎn)換系數(shù)進(jìn)行解碼。即，順序小波系數(shù)解碼器710通過熵解碼和去量化(de-quantize)包括在比特流中的小波變換系數(shù)，來輸出小波變換系數(shù)。
在操作820中，反向變換器720通過對解碼后的小波變換系數(shù)執(zhí)行反向小波變換，來輸出每個子頻帶的小波系數(shù)。
在操作830中，圖像重建單元730通過使用每個子頻帶的反向小波變換系數(shù)來重建圖像。
圖9A示出了當(dāng)根據(jù)目標(biāo)比特率測定圖像質(zhì)量時、通過傳統(tǒng)的SPIHT算法置而編碼和重建的圖像。圖9B示出了當(dāng)根據(jù)目標(biāo)比特率測定圖像質(zhì)量時、按照本發(fā)明的實(shí)施例的視覺權(quán)重的幅度的順序而編碼和重建的圖像。
峰值信噪比(PSNR)以及凹式圖像質(zhì)量指數(shù)(FWQI)用作質(zhì)量測定的單位。FWQI被詳細(xì)披露在“A uni versal image quality index(Z.Wang及A.C.Bovik，IEEE Signal Processing Letters)”中，因此，將省略其詳細(xì)描述。
圖9A和9B示出了:與通過使用傳統(tǒng)的SPIHT算法而編碼和重建的圖像相比，根據(jù)本發(fā)明的實(shí)施例的參考視覺權(quán)重而編碼和重建的圖像的視覺質(zhì)量具有顯著的改進(jìn)。隨著比特率的增加，可傳送的小波系數(shù)的數(shù)目增加。因此，本發(fā)明的實(shí)施例可以提供具有提高的視覺質(zhì)量的圖像，特別是在低信道帶寬下。
圖10是示出當(dāng)使用本發(fā)明的實(shí)施例的通過參考根據(jù)信道容量的視覺權(quán)重重新組織小波系數(shù)而執(zhí)行傳送的方法、以及根據(jù)傳統(tǒng)的SPIHT算法執(zhí)行傳送的針對于關(guān)于線性投影的信道容量方法時，所傳送的視覺熵的量的圖。
圖11是當(dāng)通過參考根據(jù)本發(fā)明的實(shí)施例的信道容量的視覺權(quán)重重新組織小波系數(shù)而進(jìn)行傳送時、以及當(dāng)根據(jù)傳統(tǒng)的SPIHT算法執(zhí)行傳送時的在方程25中定義的視覺熵增益的圖。在圖10和11中，x軸代表由

正歸化的加權(quán)的信道容量。
參考圖10，根據(jù)本發(fā)明的實(shí)施例的圖像編碼方法，視覺熵的傳送容量在低信道容量下迅速增加，并且在1的信道容量逐漸收斂于傳統(tǒng)技術(shù)。參考圖11，可以重新確認(rèn)，當(dāng)使用本發(fā)明的實(shí)施例的圖像編碼方法時的視覺熵比使用傳統(tǒng)的SPIHT算法高很多。在圖11中，視覺熵增益迅速增加到大約0.1的信道容量處的大約0.23。在從0.1到0.45的信道容量范圍中，所獲得的增益比的傳統(tǒng)的SPIHT算法高大約0.2。
本發(fā)明也可以在計(jì)算機(jī)可讀記錄介質(zhì)上表現(xiàn)為計(jì)算機(jī)可讀代碼。計(jì)算機(jī)可讀記錄介質(zhì)是任何的可以存儲由計(jì)算機(jī)系統(tǒng)此后讀出的數(shù)據(jù)的數(shù)據(jù)存儲裝置。計(jì)算機(jī)可讀記錄介質(zhì)的例子包括只讀存儲器(ROM)、隨機(jī)訪問存儲器(RAM)、CD-ROM、磁帶、軟盤、光數(shù)據(jù)存儲裝置以及載波。
雖然已經(jīng)具體的展示本發(fā)明，并且參考示例性的實(shí)施例描述，但本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解在不脫離所附權(quán)利要求定義的本發(fā)明的精神和范圍的前提下，可以做出各種形式和細(xì)節(jié)的變化。示例性的實(shí)施例應(yīng)當(dāng)視為僅僅描述的感覺而非限制的目的。因此，本發(fā)明的范圍并不是由本發(fā)明的具體描述而是由所附的權(quán)利要求所定義，并且在該范圍的所有的不同將被解釋為包括在本發(fā)明之中。
權(quán)利要求
1、一種圖像編碼方法，包括:
通過變換輸入圖像，來產(chǎn)生小波變換系數(shù)；
考慮到空間域和頻域中的人類視覺系統(tǒng)(HVS)的靈敏度，來產(chǎn)生小波變換系數(shù)的視覺權(quán)重；
通過使用所產(chǎn)生的視覺權(quán)重，來確定小波變換系數(shù)的編碼順序；以及
根據(jù)所確定的編碼順序，來編碼小波變換系數(shù)。
2、如權(quán)利要求1所述的圖像編碼方法，其中，產(chǎn)生小波變換系數(shù)的視覺權(quán)重還包括:
通過使用根據(jù)小波變換后的輸入圖像的感興趣的區(qū)域而被正歸化的本地帶寬，來確定小波變換系數(shù)的空間域權(quán)重
通過使用小波變換后的輸入圖像的子頻帶上的誤差靈敏度，來確定小波變換系數(shù)的頻域權(quán)重
；以及
通過計(jì)算空間域權(quán)重和頻域權(quán)重的積，來產(chǎn)生視覺權(quán)重。
3、根據(jù)權(quán)利要求2的圖像編碼方法，其中，通過使用指示可以由人視覺感受到的空間頻率的限制的臨界頻率fc、以及作為可以在顯示器上無失真地呈現(xiàn)的最大頻率的顯示奈奎斯特頻率fd之間的最小值，來確定空間域權(quán)重
4、根據(jù)權(quán)利要求3的圖像編碼方法，其中，如果e是由
定義的離心率，(此處，N是像素的總數(shù)，v是眼睛和圖像之間的距離、并根據(jù)圖像大小而被正歸化，并且，d是與小波變換系數(shù)相關(guān)聯(lián)的像素位置和凹點(diǎn)之間的距離)，CT0是最小對比度閾值，α是空間頻率衰減常量，并且，e2是半分辨率離心率常量，則臨界頻率fc被定義為
顯示奈奎斯特頻率fd被定義為
并且，如果臨界頻率fc和顯示奈奎斯特頻率fd之間的最小值被定義為小波域上的本地頻率fm(m是小波系數(shù)索引)，則空間域權(quán)重
被定義為
5、根據(jù)權(quán)利要求2的圖像編碼方法，其中，頻域權(quán)重
具有在小波系數(shù)所屬的子頻帶上的誤差靈敏度Sω(λ，θ)的正歸化值，此處，λ是小波分解級別，并且，θ是代表小波子頻帶的索引。
6、根據(jù)權(quán)利要求5的圖像編碼方法，其中，誤差靈敏度Sω(λ，θ)具有小波系數(shù)的誤差檢測閾值Tλ，θ的倒數(shù)的正歸化值，其中誤差檢測閾值Tλ，θ被定義為
此處，Aλ，θ是基函數(shù)幅度，f是空間頻率(周期/度)，并且，gθ、fo以及k是常量。
7、根據(jù)權(quán)利要求2的圖像編碼方法，其中，確定小波變換系數(shù)的編碼順序包括:
通過使用當(dāng)前信道容量和小波系數(shù)的微分熵，計(jì)算可以以當(dāng)前信道容量傳送的小波系數(shù)的總數(shù)；以及
按照所產(chǎn)生的視覺權(quán)重的幅度的順序，選擇和小波系數(shù)的總數(shù)一樣多的小波變換系數(shù)用于傳送。
8、如權(quán)利要求2所述的圖像編碼方法，其中，通過運(yùn)動檢測，輸入圖像的感興趣的區(qū)域被確定為運(yùn)動或動作易于被察覺的圖像區(qū)域，或者，通過跟蹤觀察者的瞳孔移動而確定輸入圖像的感興趣的區(qū)域，或者，通過用戶的選擇而確定輸入圖像的感興趣的區(qū)域。
9、一種圖像編碼裝置，包括:
變換器，其通過變換輸入圖像，來產(chǎn)生小波變換系數(shù)；
視覺權(quán)重產(chǎn)生器，其考慮到空間域和頻域中的人類視覺系統(tǒng)(HVS)的靈敏度，來產(chǎn)生小波變換系數(shù)的視覺權(quán)重；
編碼順序確定單元，其通過使用所產(chǎn)生的視覺權(quán)重，來確定小波變換系數(shù)的編碼順序；以及
順序小波系數(shù)編碼器，其根據(jù)所確定的編碼順序，來編碼小波變換系數(shù)。
10、如權(quán)利要求9的圖像編碼裝置，其中，視覺權(quán)重產(chǎn)生器包括:空間域權(quán)重確定單元，其通過使用根據(jù)小波變換后的輸入圖像的感興趣的區(qū)域而被正歸化的本地帶寬，來確定小波變換系數(shù)的空間域權(quán)重
頻域權(quán)重確定單元，其通過使用小波變換后的輸入圖像的子頻帶上的誤差靈敏度，來確定小波變換系數(shù)的頻域權(quán)重
；以及
乘法單元，其通過計(jì)算空間域權(quán)重和頻域權(quán)重的積，來產(chǎn)生視覺權(quán)重。
11、如權(quán)利要求10的圖像編碼裝置，其中，通過使用指示可以由人視覺感受到的空間頻率的限制的臨界頻率fc、以及作為可以在顯示器上無失真地呈現(xiàn)的最大頻率的顯示奈奎斯特頻率fd之間的最小值，來確定空間域權(quán)重
12、如權(quán)利要求11的圖像編碼裝置，其中，，如果e是由
定義的離心率，(此處，N是像素的總數(shù)，v是眼睛和圖像之間的距離、并根據(jù)圖像大小而被正歸化，并且，d是與小波變換系數(shù)相關(guān)聯(lián)的像素位置和凹點(diǎn)之間的距離)，CT0是最小對比度閾值，α是空間頻率衰減常量，并且，e2是半分辨率離心率常量，隨后，臨界頻率fc被定義為
顯示奈奎斯特頻率fd被定義為
并且，如果臨界頻率fc和顯示奈奎斯特頻率fd之間的最小值被定義為小波域上的本地頻率fm(m是小波系數(shù)索引)，則空間域權(quán)重
被定義為
13、如權(quán)利要求10的圖像編碼裝置，其中，頻域權(quán)重
具有在小波系數(shù)所屬的子頻帶上的誤差靈敏度Sω(λ，θ)的正歸化值，此處，λ是小波分解級別，并且，θ是代表小波子頻帶的索引。
14、如權(quán)利要求13的圖像編碼裝置，其中，誤差靈敏度Sω(λ，θ)具有小波系數(shù)的誤差檢測閾值Tλ，θ的倒數(shù)的正歸化值，其中誤差檢測閾值Tλ，θ被定義為
此處，Aλ，θ是基函數(shù)幅度，f是空間頻率(周期/度)，并且，gθ、fo以及k是常量。
15、如權(quán)利要求9的圖像編碼裝置，其中，編碼順序確定單元通過使用當(dāng)前信道容量和小波系數(shù)的微分熵，計(jì)算可以以當(dāng)前信道容量傳送的小波系數(shù)的總數(shù)，并且，按照所產(chǎn)生的視覺權(quán)重的幅度的順序，選擇和小波系數(shù)的總數(shù)一樣多的小波變換系數(shù)用于傳送。
16、如權(quán)利要求9的圖像編碼裝置，還包括感興趣區(qū)域確定單元，其通過運(yùn)動檢測將感興趣的區(qū)域確定為運(yùn)動或動作易于被察覺的圖像區(qū)域，或者，通過跟蹤觀察者的瞳孔移動而確定感興趣的區(qū)域，或者，通過用戶的選擇而確定感興趣的區(qū)域。
17、一種圖像解碼方法，包括:
對按照考慮到空間域和時域中的人類視覺系統(tǒng)(HVS)的靈敏度而產(chǎn)生的視覺權(quán)重的幅度的順序被編碼的小波變換系數(shù)進(jìn)行解碼；
對所解碼的小波變換系數(shù)執(zhí)行反向小波變換；以及
通過使用每個子頻帶的反向小波變換后的系數(shù)，來重建圖像。
18、如權(quán)利要求17的圖像解碼方法，其中，將視覺權(quán)重確定為空間域權(quán)重
和頻域權(quán)重
之間的積，其中，通過使用指示可以由人視覺感受到的空間頻率的限制的臨界頻率fc、以及作為可以在顯示器上無失真地呈現(xiàn)的最大頻率的顯示奈奎斯特頻率fd之間的最小值，來確定空間域權(quán)重
，并且，頻域權(quán)重
具有在小波系數(shù)所屬的子頻帶上的誤差靈敏度Sω(λ，θ)的正歸化值，此處，λ是小波分解級別，并且，θ是代表小波子頻帶的索引。
19、一種圖像解碼裝置，包括:
順序小波系數(shù)解碼器，其對按照考慮到空間域和頻域中的人類視覺系統(tǒng)(HVS)的靈敏度而產(chǎn)生的視覺權(quán)重的幅度的順序被編碼的小波變換系數(shù)進(jìn)行解碼；
反向變換器，其對所解碼的小波變換系數(shù)執(zhí)行反向小波變換；以及
圖像重建單元，其通過使用每個子頻帶的反向小波變換后的系數(shù)，來重建圖像。
20、如權(quán)利要求19的圖像解碼裝置，其中，將視覺權(quán)重確定為空間域權(quán)重
和頻域權(quán)重
之間的積，其中，通過使用指示可以由人視覺感受到的空間頻率的限制的臨界頻率fc、以及作為可以在顯示器上無失真地呈現(xiàn)的最大頻率的顯示奈奎斯特頻率fd之間的最小值，來確定空間域權(quán)重
，并且，頻域權(quán)重
具有在小波系數(shù)所屬的子頻帶上的誤差靈敏度Sω(λ，θ)的正歸化值，此處，λ是小波分解級別，并且，θ是代表小波子頻帶的索引。
全文摘要
提供用于編碼考慮到頻率和空間域中的人類視覺系統(tǒng)(HVS)的小波變換圖像的方法和裝置。通過計(jì)算通過使用根據(jù)HVS而正歸化的本地帶寬而產(chǎn)生的空間域權(quán)重與通過使用小波域上的子帶寬的錯誤靈敏度而產(chǎn)生的頻域的權(quán)重的積產(chǎn)生視覺權(quán)重。根據(jù)基于產(chǎn)生的視覺權(quán)重而確定的編碼順序編碼并傳送小波系數(shù)，由此在低信道容量提供增進(jìn)視覺質(zhì)量的圖像。
文檔編號H04N7/26GK101379831SQ200780004829
公開日2009年3月4日 申請日期2007年2月23日 優(yōu)先權(quán)日2006年2月24日
發(fā)明者李相勛, 李亨極 申請人:三星電子株式會社