專利名稱：圖像信號的混合波形和基于模型的編碼和解碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對圖像信號編碼和解碼的混合波形和基于模型的編碼器和解碼器。本發(fā)明還涉及傳送圖像信號的方法。傳送在此還被理解為編碼后的圖像信號在諸如光盤或磁盤和磁帶之類的存儲媒介上的存儲。本發(fā)明特別適用于醫(yī)學(xué)X射線血管造影圖像序列的編碼和壓縮。
背景技術(shù)：
波形編碼是用于傳送視頻圖像的。一種熟知編碼技術(shù)。波形編碼的目的在于盡可能地以可用比特率對原始輸入信號的波形進(jìn)行近似。一般來說，重建信號的質(zhì)量隨著比特率的減少而下降。例如，廣泛接受的MPEG標(biāo)準(zhǔn)是先對像素塊進(jìn)行離散余弦變換(DCT)，然后對由該變換得到的系數(shù)進(jìn)行量化和可變長度編碼。其它的變換方法也正處于研究之中。例如，重疊變換，諸如疊式正交變換(LOT)，有希望適用于醫(yī)學(xué)X射線圖像的編碼和壓縮。甚至在壓縮比很高時，在壓縮后的圖像中仍存在著相關(guān)的臨床信息。
基于模型的編碼是圖像數(shù)據(jù)壓縮的一個相對較新的概念。在基于模型的編碼中，首先對原始輸入信號模型化，然后將量化后的模型參數(shù)傳送給解碼器。解碼器并不生成原始波形的復(fù)制物，而是生成一個非常類于原始信號的，但其波形完全不同的信號。采用基于模型的編碼可以獲得很高的壓縮比。
熟知的混合波形和基于模型的編碼器和解碼器公開于“對視頻電話圖像的基于模型/波形混合編碼”，國際聲學(xué)會議，語音和信號處理(ICASSP)91；1991年第4卷；第2741-2744頁。該熟知的方案采用對半身圖像進(jìn)行基于模型的編碼，而對未能被模型化的背景圖像進(jìn)行波形編碼。波形編碼也用于消除基于模型的分析系統(tǒng)的誤差。
發(fā)明目的和概要本發(fā)明的目的在于進(jìn)一步提高波形編碼后的圖像，特別是醫(yī)學(xué)X射線圖像的質(zhì)量。
根據(jù)本發(fā)明，為圖像信號的編碼提供了一個混合波形和基于模型的編碼器，該編碼器包括對圖像信號進(jìn)行波形編碼的波形編碼器和對圖像信號的一個分量進(jìn)行基于模型編碼的基于模型編碼器，至少在所說分量不存在于波形編碼后的圖像信號中。
本發(fā)明基于這樣的認(rèn)識，即在非常高的壓縮比的情況下，可以觀察到原始圖像中的特征的改變。當(dāng)圖像的高頻分量的量化非常粗糙或者這些分量被完全去除時，尤其會出現(xiàn)這種情況。根據(jù)本發(fā)明的混合編碼器提供了一個再生所說分量的特征的可行的且有效的途徑。
更具體地，圖像信號中的噪聲通過波形編碼得以減少或消除。這會導(dǎo)致清晰度下降，在醫(yī)學(xué)應(yīng)用中這一點(diǎn)是非常不可取的。盡管看起來大多數(shù)臨床信息均出現(xiàn)在壓縮后的X射線血管造影圖像中，但是心臟科專家仍偏愛清晰的圖像。由于他習(xí)慣于噪聲的存在，因此噪聲的不存在會使專家們認(rèn)為圖像嚴(yán)重失真?；谀Ｐ偷木幋a噪聲的傳送需要極低的比特率，而且該噪聲也易于在解碼器中再生。甚至在壓縮比很高時，原始的和解碼后的圖像在感覺上幾何是一樣的。
在本發(fā)明的一個實(shí)施方案中，基于模型的編碼器被安排用于對圖像信號的功率譜密度進(jìn)行編碼。在接收機(jī)端確定波形解碼信號的功率譜密度，然后對兩個譜進(jìn)行比較，其差用于控制噪聲的再生。
在另一個實(shí)施方案中，波形編碼信號在發(fā)送端解碼，并確定原始圖像信號和波形解碼信號之間的差值。然后對所說差信號進(jìn)行基于模型的編碼。
優(yōu)選對圖像信號進(jìn)行變換編碼。這是特別有吸引力的，因為同一變換電路可用于波形編碼和基于模型編碼。
值得注意的是，上述公開文本“對視頻電話圖像的基于模型/波形混合編碼”認(rèn)為，波形編碼器的性能可以通過與基于模型編碼的結(jié)合得以提高。但是，這一點(diǎn)還有待研究。并未公開對信號分量進(jìn)行基于模型編碼的特定優(yōu)點(diǎn)，這一信號分量也許會被波形編碼和壓縮所丟失。
附圖簡述

圖1和2給出包含根據(jù)本發(fā)明的混合編碼器和解碼器的系統(tǒng)的第一和第二實(shí)施方案的簡圖。
圖3和4分別給出圖1和2所示系統(tǒng)的更為詳細(xì)的實(shí)施方案。
圖5-7給出幅值譜，以便示意說明圖3和4所示系統(tǒng)的運(yùn)作。
圖8是用于改進(jìn)圖3和4所示系統(tǒng)的亮度適應(yīng)性換算因子的圖。
優(yōu)選實(shí)施方案說明圖1給出包含根據(jù)本發(fā)明的混合編碼器和解碼器(下文有時略寫為編解碼器“codec”)的系統(tǒng)的第一實(shí)施方案的框圖。該系統(tǒng)包括一個混合編碼器1，一個傳送或存儲媒介2，和一個混合解碼器3。在混合編碼器中，輸入圖像信號被送往波形編碼器11和基于模型編碼器?；谀Ｐ途幋a器包括一個估算電路12，用于估計代表圖像信號的全局信息的模型參數(shù)，諸如其功率譜密度的形狀或在該信號中的噪聲分量的能量，和一個編碼級13。然后，將波形編碼信號和基于模型編碼信號送往傳送或存儲媒介2。在混合解碼器中，波形編碼圖像信號由波形解碼器3 1解碼，而基本模型編碼信號由解碼級32解碼。波形解碼信號被送往估算電路33，該電路被安排用于對與編碼器的電路12所估計的相同的模型參數(shù)進(jìn)行估計。在比較電路34中，解碼后的模型參數(shù)與估算電路33所算得的參數(shù)進(jìn)行比較。如此得到的差值表征了不能由波形codec充分代表的信息。該信息在再生級35中重新生成，并通過加法電路36添加到波形解碼圖像信號中。
圖2給出該codec的第二實(shí)施方案的框圖。對于與圖1所示電路元件相同的元件，采用相同的參考標(biāo)號?，F(xiàn)在混合編碼器1包括一個波形解碼器14，它對波形編碼圖像信號進(jìn)行局部解碼，和一個減法器15，它將原始圖像波形減去局部解碼的波形。由估算電路12和編碼級13完成的基于模型的編碼現(xiàn)在被應(yīng)用到差值信號。該實(shí)施方案在比特率方面更為有效，因為基于模型的編碼僅在相關(guān)分量實(shí)際上不存在于波形編碼信號中的情況下才進(jìn)行。此外，相應(yīng)的解碼器并不那么復(fù)雜了，這是因為估算電路和比較電路(在圖1中分別為33和34)現(xiàn)在可以省去。
現(xiàn)在參照圖3所示系統(tǒng)，詳細(xì)解釋噪聲的基于模型編碼的一個例子。在該實(shí)施方案中，圖像被成許多像素塊，然后對經(jīng)過所說像素塊變換編碼(例如DCT或LOT)后得到的變換系數(shù)進(jìn)行噪聲的基于模型編碼。該系統(tǒng)或多或少與圖1的實(shí)施方案類似，只在一點(diǎn)上不同，即模型參數(shù)是在變換域計算的。
在圖3的混合編碼器1中，波形編碼器包括一個變換電路101、一個量化器102和一個可變長度編碼器103。這樣的波形編碼器是眾所周知的經(jīng)常被描述的，例如“關(guān)于數(shù)字視頻記錄的適應(yīng)性DCT編碼技術(shù)中”，該文章刊登于IEEE Proc.，第七屆視頻、音頻及數(shù)據(jù)處理國際會議，三月22-24日，約克郡(UK)，第199-204頁。下文將采用疊式正交變換(LOT)。該LOT方法將2M*2N個像素重疊塊變換為M*N個系數(shù)塊。這樣重疊像素塊被記為Pi，j，其中i表示塊在圖像中的垂直位置(i＝1…Nv)，而j表示水平位置j(j＝1…Nh)。系數(shù)被記為Ci，j[m，n](m＝0…M-1，N＝0…N-1)。對LOT的更為完整的描述，可以參考文章“LOT沒有截斷效應(yīng)的變換編碼”，IEEE聲學(xué)、語音及信號處理會刊，1989年4月第37卷第4冊。
圖5示意了原始X射線圖像的一個典型幅度譜(作為譜頻率的函數(shù)的平均能量的平方根)。變換系數(shù)的平方值代表能量，給出一個類似的分布。圖6給出經(jīng)波形編碼和解碼后的譜的情況。從中可以清楚地看到大多數(shù)高頻信息均已丟失。圖3所示系統(tǒng)用這些頻率處的丟失能量代替在解碼器端產(chǎn)生的噪聲。
圖3的基于模型編碼器包括一個變換電路101、一個估算電路104、和一個編碼級105。對于當(dāng)前的圖像，估算電路104首先根據(jù)下式計算除DC系數(shù)Ci，j
外的所有變換系數(shù)Ci，j[m，n]的能量。
這里假定Ci，j[m，n]的均值等于零。整個MN-1能量σ2[m，n]表明了原始圖像中的能量在不同空間頻率的分布情況。通過采用眾所周知的差分編碼和可變長度編碼技術(shù)，可以在編碼級105對能量σ2[m，n]進(jìn)行無損編碼。與量化的變換系數(shù)所需的所有比特數(shù)相比，所需的比特率較小。對于分辨率為512*512個像素的圖像，并且M＝N＝32，應(yīng)當(dāng)傳送的量化變換系數(shù)有5122個，其中所需要的噪聲能量數(shù)僅有322-1個。這樣噪聲能量僅占參數(shù)總數(shù)的約0.4％。此外，MN-1個噪聲能量塊看起來非常光滑，如圖7所示。它們可以按變換編碼領(lǐng)域中已知的方法進(jìn)行Z字形掃描，然后進(jìn)行差分編碼。
在圖3的混合解碼器3中，波形解碼器包括周知的電路元件，諸如可變長度解碼級301、逆量化器302，和逆變換電路303。基于模型的解碼器包括估算電路304，解碼級305，減法器306和噪聲生成器307。應(yīng)用于估算電路304的系數(shù)記為
估算電路304按與編碼器中的估算電路104類似的方式計算重建后的系數(shù)
的能量
。即
解碼級305對基于模型編碼器傳送的能量σ2[m，n]進(jìn)行解碼。減法器306計算差值
根據(jù)上述算得的差信號，噪聲生成電路307生成代表方差為σΔ2的隨機(jī)噪聲的系數(shù)。
其中K是常數(shù)。對于所有像素塊位置i和j，由加法器308將噪聲系數(shù)添加到變換系數(shù)
中。
可選地，噪聲的再生可以視下列條件而定p[m，n]＞t[m，n]方程5其中t[m，n]是一個預(yù)定閾值，它可與空間頻率m和n有關(guān)，而p[m，n]是損失能量的百分比，定義為
將原始的和編碼后的圖像感性一致性作為依據(jù)，可以通過實(shí)驗求得值K和t[m，n]。對于不同的空間頻率m和n，常數(shù)K甚至可選擇為不同值。
作為加法器308的加法的結(jié)果，新的系數(shù)
根據(jù)下式生成
這里Xi，j[m，n]代表方差為σΔ2[m，n]的隨機(jī)噪聲生成器的一個樣本，其概率密度函數(shù)盡可能與原始圖像的噪聲的密度函數(shù)相同。
應(yīng)予以注意的是損失能量的計算是“非對稱的”Δ[m，n]的負(fù)值被舍入成零。這是由于量化所造成的LOT系數(shù)的能量的增加并不能通過加入隨機(jī)噪聲信號給以補(bǔ)償。
圖3所示系統(tǒng)可被轉(zhuǎn)換成與圖2所示非常相似的系統(tǒng)。另一個實(shí)施方案如圖4所示。前已討論過的估算電路104是根據(jù)方程1來計算能量σ2[m，n]。另一個估算電路106則根據(jù)方程2計算由量化器102應(yīng)用的系數(shù)
的能量
。然后用編碼器中的計算電路107而不是解碼器中的計算電路，依據(jù)方程4-6計算隨機(jī)噪聲方差σΔ2[m，n]和百分比p[m，n](如果p[m，n]＜t[m，n]則會σΔ2[m，n]＝0)。隨機(jī)噪聲方差σΔ2[m，n]經(jīng)編碼級105進(jìn)行無損編碼，并傳送給解碼器。在解碼器中，由解碼級305和噪聲生成器307進(jìn)行噪聲生成，其過程類似于圖3的系統(tǒng)。
此前對X射線圖像假定的噪聲模型是一個非常簡單的模型。實(shí)際上，在一個圖像中噪聲不一定具有平穩(wěn)統(tǒng)計特性。例如，可以看到噪聲能量與圖像的局部亮度有關(guān)。此外，也可以看到噪聲的功率譜密度也與局部亮度有關(guān)。它在低亮度區(qū)較平，而在高亮度區(qū)則呈現(xiàn)更明顯的低通特性。
在沒有噪聲再生的情況下，在低亮度區(qū)中噪聲的損失最為明顯。模擬表明噪聲編碼方法有時不能在這些區(qū)域加入足夠的噪聲，而在亮區(qū)則加入了過多的噪聲。當(dāng)然，對于每個變換系數(shù)塊，關(guān)于噪聲譜的形狀的更為詳細(xì)的信息可以傳送給解碼器。但是，這將顯著增加比特率。不需要額外比特率的相當(dāng)簡單的解決方案是，調(diào)整在解碼器內(nèi)再生的噪聲的方差與圖像內(nèi)的局部亮度相適應(yīng)。正如眾所周知的，DC系數(shù)DCi，i＝
代表相似塊Pi，j的平均亮度。這里加入的噪聲方差為s(DCi，j)·σΔ2[m，n] 方程8而不是方差為σΔ2[m，n]的噪聲。其中S(DCi，j)是取決于DCi，j的換算因子。圖8給出一個由實(shí)驗確定的函數(shù)，它被用于將解碼器內(nèi)再生的噪聲方差調(diào)整與局部亮度相適應(yīng)。在圖8中，垂直軸表示換算因子S(DCi，j)，而水平軸表示亮度值。
總之，本文說明了一個混合波形和基于模型圖像信號編碼器和解碼器。對圖像信號進(jìn)行波形編碼，以便在壓縮之后盡可能地近似原始輸入信號的波形。為了補(bǔ)償其損失，對信號的噪聲分量(或者更一般地，波形編碼所丟失的信號分量)進(jìn)行基于模型編碼，并分開傳送或存儲。在解碼器中，噪聲被再生并加入到波形解碼后的圖像信號中。本發(fā)明特別適用于X射線血管造影圖像的壓縮，因為在這種場合下，噪聲的丟失會使心臟科專家或放射學(xué)家認(rèn)為圖像是失真的。
權(quán)利要求
1.對圖像信號編碼的混合波形和基于模型的編碼器，包括對圖像信號進(jìn)行波形編碼的波形編碼器和至少在圖像信號的某分量不存在于波形編碼后的圖像信號的情況下，對所說分量作基于模型編碼的基于模型編碼器。
2.權(quán)利要求1所說的編碼器，其中所說分量由存在于所說圖像信號中的噪聲形成。
3.權(quán)利要求1或2所說的編碼器，其中基于模型的編碼器被安排用于對圖像信號的功率譜密度編碼。
4.權(quán)利要求1或2所說的編碼器，包括對波形編碼圖像信號解碼的波形解碼器，確定圖像信號和波形解碼后的圖像信號之間的差信號的裝置，所說差信號被送往基于模型的編碼器。
5.權(quán)利要求4所說的編碼器，其中基于模型編碼器被安排用于對所說差信號中噪聲的方差編碼。
6.權(quán)利要求1-5任何一條中所說的編碼器，包括將圖像信號變換成系數(shù)的變換裝置，其中基于模型編碼器被安排用于對所說系數(shù)作基于模型編碼。
7.對圖像信號解碼的混合波形和基于模型解碼器，包括對波形編碼后的圖像信號解碼的波形解碼器，對基于模型編碼后的圖像信號解碼的基于模型解碼器，確定圖像信號中某分量在波形解碼圖像信號中不存在的程度的裝置，將所說缺少的分量加入到波形解碼圖像信號之中的裝置。
8.對圖像信號解碼的混合波形和基于模型解碼器，包括對波形編碼圖像信號解碼的波形解碼器，對不存在于波形編碼圖像信號中的基于模型編碼分量解碼的基于模型解碼器，和將所說解碼后的分量加入到波形解碼圖像信號的裝置。
9.權(quán)利要求7或8所說的解碼器，其中所說分量代表在所說波形編碼信號中不存在的噪聲。
10.權(quán)利要求7、8或9所說的解碼器，其中基于模型解碼器安排用于對基于模型編碼圖像信號的功率譜密度解碼。
11.傳送圖像信號的方法，包括步驟對圖像信號作波形編碼，在圖像信號的某分量不存在于波形編碼圖像信號中的情況下對所說分量作基于模型編碼，傳送所說波形編碼圖像信號和所說基于模型編碼分量，對所說波形編碼圖像信號和基于模型編碼分量解碼，以及合并所說解碼圖像信號和基于模型解碼分量。
12.權(quán)利要求11所說的方法，其中所說預(yù)定分量由存在于所說圖像信號中的噪聲形成。
13.權(quán)利要求11或12所說的方法，其中基于模型編碼的步驟包括對圖像信號的功率譜密度編碼的步驟。
10.權(quán)利要求11或12所說的方法，包括步驟對波形編碼圖像信號作波形解碼，確定圖像信號和波形解碼圖像信號之間的差信號，并對所說差信號作基于模型編碼。
15.權(quán)利要求14所說的方法，其中基于模型編碼的步驟應(yīng)用于所說差信號中的噪聲方差。
16.權(quán)利要求11-15中任一條所說的方法，包括將圖像信號變換成系數(shù)的步驟，應(yīng)用于所說系數(shù)的基于模型編碼。
17.圖像信號，包括波形編碼圖像信號，和在圖像信號的至少某預(yù)定分量不存在于波形編碼圖像信號中的情況下，代表所說分量的基于模型編碼信號。
18.存儲媒介，其中存放了如權(quán)利要求17所說的圖像信號。
全文摘要
描述了混合波形和基于模型圖像信號編碼器和解碼器。對圖像信號作波形編碼(11)和解碼(31)，以便在壓縮之后盡可能地近似原始輸入信號的波形。為了補(bǔ)償其損失，對信號的噪聲分量(或更一般地，經(jīng)波形編碼丟失的信號分量)進(jìn)行基于模型編碼(12、13)，并分布傳送或存放。在解碼器中，噪聲被再生(32-34)并加入(36)至波形解碼圖像信號中。本發(fā)明特別應(yīng)用于醫(yī)學(xué)X射線血管造影圖像的壓縮，在此場合下噪聲的丟失會使心臟科專家或放射專家認(rèn)為該圖像是失真的。
文檔編號H04N7/30GK1165607SQ96191058
公開日1997年11月19日 申請日期1996年9月2日 優(yōu)先權(quán)日1995年9月12日
發(fā)明者M·布里華, P·J·范奧特魯 申請人:菲利浦電子有限公司