專利名稱：圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種配置用來(lái)根據(jù)壓縮基本流和增強(qiáng)流構(gòu)造視頻流的圖像處理裝置。
根據(jù)PCT專利申請(qǐng)no IB02/04297(在本申請(qǐng)的優(yōu)先權(quán)日期內(nèi)沒(méi)有公開)，以壓縮基本流和增強(qiáng)流的形式發(fā)送圖像信息是已知的，所述增強(qiáng)流用來(lái)校正在可以從基本流解碼的圖像和來(lái)自原始視頻流的圖像之間的差異。所述基本流具有比原始視頻流更低的空間和/或時(shí)間分辨率，并且所述增強(qiáng)流提供該信息以獲得原始分辨率。
在編碼增強(qiáng)流之前，將壓縮流和原始流之間的差異乘以圖像位置相關(guān)因子以便降低增強(qiáng)流所需的比特率。該因子依據(jù)圖像中的位置而變化，并被選擇以便衰減在具有很少空間細(xì)節(jié)的區(qū)域中的增強(qiáng)流中的圖像信息。為了從基本流中解碼視頻信息以及從基本流中解碼增強(qiáng)流信息，在圖像的每一個(gè)位置對(duì)增強(qiáng)流進(jìn)行求和。
根據(jù)PCT專利申請(qǐng)no IB02/04297，其還使用增強(qiáng)流來(lái)進(jìn)行清晰度控制。通過(guò)相對(duì)于基本流加強(qiáng)或削弱增強(qiáng)信息的圖像強(qiáng)度來(lái)實(shí)現(xiàn)銳化(sharpened)或平淡(flattened)效果。為此，將增強(qiáng)流的圖像信息乘以另外一個(gè)因子，該因子是由用戶選擇來(lái)控制清晰度的。關(guān)于用戶應(yīng)該如何選擇該因子的細(xì)節(jié)沒(méi)有被給出。顯然，該因子是人工設(shè)置的。
本發(fā)明的目的尤其在于提供感覺的視頻流的圖像質(zhì)量的進(jìn)一步改善，所述視頻流是從基本視頻流和增強(qiáng)視頻流中獲得的。
本發(fā)明提供一種根據(jù)權(quán)利要求1的視頻處理裝置。用來(lái)組合來(lái)自接收的基本流和增強(qiáng)流的圖像信息的相對(duì)加權(quán)隨著圖像內(nèi)容的變化而改變，以便減少可視偽像(artifact)。該加權(quán)例如可以通過(guò)改變來(lái)自增強(qiáng)流的信息在被添加到來(lái)自基本流的信息之前所乘的因子而進(jìn)行改變。(采用如在此所使用的相對(duì)加權(quán)不需要將來(lái)自兩個(gè)流的信息乘以共計(jì)為1的各自因子)。
基本視頻流和增強(qiáng)流可以通過(guò)任何已知的傳輸信道接收，例如，通過(guò)廣播信道、電纜系統(tǒng)、因特網(wǎng)或諸如磁盤或光盤之類的流存儲(chǔ)介質(zhì)。當(dāng)增強(qiáng)視頻流用來(lái)增加基本視頻流的空間或時(shí)間分辨率時(shí)，本發(fā)明尤其有用，但是當(dāng)以其它方式壓縮基本視頻流時(shí)，例如通過(guò)根據(jù)內(nèi)插圖像或信息的量化進(jìn)行編碼來(lái)壓縮時(shí)，當(dāng)增強(qiáng)信息提供由內(nèi)插或量化丟失的信息時(shí)，也可以應(yīng)用本發(fā)明。
在一個(gè)實(shí)施例中，所述裝置支持一定范圍的加權(quán)值，其可選地提供衰減和過(guò)分強(qiáng)調(diào)來(lái)自增強(qiáng)流的高分辨率信息。這可以例如用于在圖像環(huán)境下建立對(duì)極其清晰圖像的感覺，這種環(huán)境阻止對(duì)于干擾偽像的感覺，例如圖像內(nèi)容的快速空間或時(shí)間變化。
在一個(gè)實(shí)施例中，所述裝置根據(jù)視頻流中的空間和/或時(shí)間變化量來(lái)改變應(yīng)用到增強(qiáng)流的加權(quán)值。在高變化的區(qū)域中應(yīng)用比在低變化區(qū)域中更大的加權(quán)。已知人眼對(duì)于低變化區(qū)域中的偽像尤其敏感，因此，可能產(chǎn)生偽像的增強(qiáng)信息在這種區(qū)域中被衰減得更厲害。例如，可以使用邊緣檢測(cè)濾波器來(lái)檢測(cè)空間變化量。可以使用有關(guān)用于圖像內(nèi)插的運(yùn)動(dòng)矢量的信息來(lái)檢測(cè)時(shí)間變化量(缺少可選地指示零運(yùn)動(dòng)的運(yùn)動(dòng)矢量)。在壓縮增強(qiáng)流之前，還可以使用空間和/或時(shí)間變化量來(lái)控制位置相關(guān)衰減。
在另一個(gè)實(shí)施例中，所述裝置還依據(jù)局部亮度來(lái)改變相對(duì)加權(quán)，以便在高亮度區(qū)域中賦予增強(qiáng)流相對(duì)較小的加權(quán)。在這里，人眼對(duì)于偽像最敏感。
根據(jù)下面的附圖及其描述，這些和其它目的以及其它有利方面將變得明顯。


圖1顯示視頻處理系統(tǒng)；圖2顯示解碼器；圖3顯示編碼器。
圖1顯示視頻處理系統(tǒng)。該系統(tǒng)包括通過(guò)介質(zhì)11連接的復(fù)合編碼器10和復(fù)合解碼器12。作為例子，介質(zhì)11被顯示為一對(duì)通信連接。復(fù)合編碼器10具有用于例如從照相機(jī)或記錄設(shè)備接收視頻流的輸入101，而復(fù)合解碼器具有連接到例如顯示屏(沒(méi)有示出)以用來(lái)在解碼視頻信息的控制下驅(qū)動(dòng)顯示屏的內(nèi)容的輸出。
復(fù)合編碼器10包括第一編碼器100、解碼器102、因子選擇單元105、乘法器104、減法器106和第二編碼器108。復(fù)合編碼器10的圖像輸入101被連接到減法器106的第一輸入以及第一編碼器100，該第一編碼器100具有連接到介質(zhì)11和減法器106的第二輸入的輸出。減法器106具有連接到乘法器104的第一輸入的輸出。因子選擇單元105具有連接到圖像輸入101的輸入和連接到乘法器104的第二輸入的輸出。乘法器104具有連接到第二編碼器108的輸出，該第二編碼器108具有連接到介質(zhì)的輸出。
在運(yùn)行時(shí)，第一編碼器10對(duì)來(lái)自輸入101的圖像信息應(yīng)用有損編碼，在一個(gè)特別的例子中，第一編碼器構(gòu)造所接收?qǐng)D像的低空間和/或時(shí)間分辨率版本，并編碼該低分辨率版本，但是在其它實(shí)施例中，可以使用其它形式的有損編碼。將所得的第一編碼圖像發(fā)送到介質(zhì)11以供解碼器使用。由于是有損編碼，所以解碼的信息只是近似與原始圖像信息一致。
復(fù)合編碼器10的剩余部分用于產(chǎn)生增強(qiáng)信息，該增強(qiáng)信息編碼由第一解碼器產(chǎn)生的誤差。該增強(qiáng)流可選地提供給解碼器使用來(lái)改進(jìn)從第一編碼圖像信息中解碼的圖像信息，以便所述結(jié)果更接近地近似于原始圖像信息。在第一編碼器100編碼圖像的低分辨率版本的例子中，增強(qiáng)流包含用于獲得更清晰高分辨率圖像所需的信息。
作為例子，使用解碼器102示意性地說(shuō)明增強(qiáng)信息的產(chǎn)生，該解碼器102重構(gòu)來(lái)自編碼圖像的圖像信息，但是由于壓縮損失，所以原始圖像信息將以原始分辨率進(jìn)行重構(gòu)。減法器106例如在逐個(gè)像素和逐個(gè)幀的基礎(chǔ)上確定由于編碼所產(chǎn)生的誤差。因子選擇單元105為適應(yīng)于圖像內(nèi)容的每個(gè)像素和幀選擇因子。例如在低對(duì)比度的圖像區(qū)域內(nèi)選擇低因子。乘法器104將像素與所選因子相乘，并將結(jié)果應(yīng)用到第二編碼器，該第二編碼器對(duì)該信息進(jìn)行編碼，并將其應(yīng)用到介質(zhì)11。
圖3顯示編碼器的可選實(shí)施例，其包含變化檢測(cè)器30，該檢測(cè)器檢測(cè)在連續(xù)圖像中相應(yīng)區(qū)域的內(nèi)容中的變化。變化檢測(cè)器20例如可以計(jì)算在各個(gè)像素位置周圍的多個(gè)區(qū)域中每一個(gè)中的像素之間的累積差異。在該實(shí)施例中，因子選擇單元105依據(jù)變化量選擇因子，例如通過(guò)局部地減少在一個(gè)位置周圍的圖像中的因子，在所述位置中，該圖像從一個(gè)圖像到另一個(gè)圖像圍繞該位置進(jìn)行變化。
雖然介質(zhì)11被顯示為一對(duì)連接，但是應(yīng)該明白，可以使用任何介質(zhì)，例如，在其上發(fā)送第一編碼信息和增強(qiáng)信息的單個(gè)連接，或在其中存儲(chǔ)二者或其混合的存儲(chǔ)介質(zhì)。
復(fù)合解碼器12包括第一解碼器120、第二解碼器122、因子選擇器123、乘法器124和加法器126。第一解碼器120連接到介質(zhì)11來(lái)接收第一編碼信息，并具有連接到加法器126的第一輸入的第一輸出。第二輸出連接到因子選擇器123，該因子選擇器123具有連接到乘法器124的第一輸入的輸出。第二解碼器122連接到介質(zhì)11來(lái)接收增強(qiáng)信息，并具有連接到乘法器124的第二輸入的輸出。乘法器124具有連接到加法器126的第二輸入的輸出。
在運(yùn)行時(shí)，第一解碼器120解碼第一編碼信息，并將其提供給加法器126。第二解碼器122解碼增強(qiáng)信息，并將所解碼的信息例如在逐個(gè)像素和逐個(gè)幀的基礎(chǔ)上提供給乘法器124。乘法器124將解碼信息乘以由因子選擇器123提供的因子，并將乘積提供給加法器126，在加法器中，將其加到從第一編碼信息中解碼的信息上。
可以在因子選擇器123中實(shí)現(xiàn)各種選擇因子g的方式。在第一實(shí)施例中，因子選擇器123根據(jù)在解碼圖像中檢測(cè)的“運(yùn)動(dòng)”量修改因子g。當(dāng)?shù)谝痪幋a信息是MPEG編碼信息時(shí)，例如該信息包含運(yùn)動(dòng)矢量D，該運(yùn)動(dòng)矢量D描述在從一個(gè)圖像的像素到另一個(gè)圖像中不同位置的像素的塊中的位移信息。在該實(shí)施例中，因子選擇器123根據(jù)gi＝F(Di)使像素i的因子gi適應(yīng)與圖像相關(guān)的運(yùn)動(dòng)矢量Di的長(zhǎng)度。
其中函數(shù)F(Di)例如可以使用查找表或使用計(jì)算作為Di的函數(shù)的F(Di)的運(yùn)算電路進(jìn)行定義。有用函數(shù)的例子是F(x)＝Di*Di/(1+Di*Di)。優(yōu)選地，函數(shù)F(D)隨著Di的降低而趨向于零降低。因此抑制在稍微運(yùn)動(dòng)就能使人眼對(duì)于偽像敏感的區(qū)域內(nèi)由增強(qiáng)信息產(chǎn)生的這種偽象。作為與一個(gè)像素相關(guān)的Di，例如可以采用該像素所屬的塊的運(yùn)動(dòng)矢量來(lái)編碼該幀，該幀正在被解碼，或是暫時(shí)的相鄰幀?？蛇x地，Di可以根據(jù)塊的運(yùn)動(dòng)矢量而使用在該像素所屬的區(qū)域上移位的或移位到該區(qū)域的塊的運(yùn)動(dòng)矢量，但是這可能需要更多的開銷。
使用來(lái)自第一編碼信息的運(yùn)動(dòng)矢量具有這樣的優(yōu)點(diǎn)，即在復(fù)合解碼器12中不必單獨(dú)確定運(yùn)動(dòng)。然而，將理解到，運(yùn)動(dòng)量還可以以其它方式進(jìn)行確定，例如，通過(guò)確定從一個(gè)幀到下一個(gè)幀在像素i周圍的區(qū)域中的變化量。
在另一個(gè)實(shí)施例中，因子選擇器123根據(jù)圍繞像素位置或在其附近的圖像區(qū)域內(nèi)的細(xì)節(jié)A的量來(lái)選擇像素位置i的因子gi。
圖2顯示了包含為此目的連接在第一解碼器120和因子選擇器123之間的邊緣檢測(cè)器20的解碼器。例如可以由拉普拉斯型算子通過(guò)將在像素位置和其周圍位置的矩陣中的像素值乘以下述因子-1-1 -1-18-1-1-1 -1(像素i的像素值乘以8)并對(duì)該乘積求和來(lái)獲得細(xì)節(jié)A的量的測(cè)量。當(dāng)然，也可以使用對(duì)于圖像內(nèi)容的空間變化敏感的其它類型的算子。優(yōu)選地，可以根據(jù)工作良好的第一解碼器120解碼的圖像來(lái)確定細(xì)節(jié)A的量，但是也可以使用通過(guò)組合由第一解碼器解碼的圖像和增強(qiáng)信息而獲得的圖像。因子選擇器123根據(jù)gi＝H(A)選擇因子gi，其中H是例如可以使用查找表或運(yùn)算電路實(shí)現(xiàn)的函數(shù)。例如，根據(jù)H(x)＝x*x/(1+x*x)，當(dāng)細(xì)節(jié)量降低時(shí)，H降低。結(jié)果，在具有很少細(xì)節(jié)并且人眼對(duì)于偽像敏感的圖像區(qū)域內(nèi)的增強(qiáng)被抑制。
在另一個(gè)實(shí)施例中，因子選擇器123可以根據(jù)在像素位置i周圍區(qū)域中的平均亮度L修改因子gi。已知人眼的敏感性在某一亮度級(jí)上具有最大值。通過(guò)在平均亮度L等于該級(jí)別時(shí)使因子gi＝K(L)最小以及在平均亮度不同于該級(jí)別時(shí)使該因子較高，所看到的偽象被減少。具體來(lái)說(shuō)，對(duì)于在相對(duì)較暗的區(qū)域內(nèi)的像素位置，可以相對(duì)于較亮的區(qū)域增加因子gi。
在因子選擇器123的另一個(gè)實(shí)施例中，例如可以通過(guò)采用各種因子G、H、K的乘積或使用對(duì)于不同亮度級(jí)L的不同函數(shù)G和或H來(lái)組合改變因子gi的這些方法。
本發(fā)明在第一編碼圖像是低分辨率圖像并且增強(qiáng)信息用來(lái)將該圖像恢復(fù)到較高分辨率的情況中尤其有用。在該情況下，自適應(yīng)因子有效地實(shí)現(xiàn)了一種形式的圖像的自適應(yīng)空間濾波。
在第一實(shí)施例中，因子選擇器123選擇在0和1之間范圍的因子，以便增強(qiáng)信息至多被完全添加到由第一解碼器解碼的信息上，以及至少不添加任何信息。在此情況下，在眼睛對(duì)于偽像不太敏感的圖像區(qū)域內(nèi)，恢復(fù)沒(méi)有有效濾波的高分辨率圖像，而在眼睛對(duì)于偽像比較敏感的地方，對(duì)圖像進(jìn)行低通濾波。然而，在第二實(shí)施例中，因子可以局部地選擇為高于1。在此情況下，在眼睛對(duì)于偽像不太敏感的圖像區(qū)域內(nèi)，夸大圖像的清晰度以實(shí)現(xiàn)銳化圖像的感覺，而不會(huì)產(chǎn)生干擾偽像。
將會(huì)理解，各種編碼器、解碼器、加法器/減法器和乘法器可以作為專用電路以一個(gè)或多個(gè)集成電路來(lái)實(shí)現(xiàn)，但是代之以，這些功能也可以至少部分地使用適當(dāng)?shù)木幊烫幚砥麟娐穪?lái)執(zhí)行。這同樣適用于因子選擇器123，其可以通過(guò)計(jì)算作為例如運(yùn)動(dòng)矢量的解碼圖像信息和/或編碼信息的函數(shù)的因子g的編程處理器來(lái)實(shí)現(xiàn)，但是其也可以通過(guò)專用電路來(lái)實(shí)現(xiàn)，例如用來(lái)計(jì)算運(yùn)動(dòng)和/或細(xì)節(jié)的量的圖像濾波器和或用來(lái)計(jì)算因子g的一個(gè)或多個(gè)查找存儲(chǔ)器。
還將會(huì)理解，本發(fā)明在增強(qiáng)信息用于附加空間分辨率時(shí)尤其有用。因此，增加和減少增強(qiáng)信息的加權(quán)分別相應(yīng)于高通和低通濾波。然而，本發(fā)明還適用于以其它方式增強(qiáng)基本視頻流的情況中。例如，如果通過(guò)提供增強(qiáng)信息增強(qiáng)時(shí)間分辨率來(lái)產(chǎn)生以更高速率的圖像或幀，那么當(dāng)所檢測(cè)的空間變化指示這不會(huì)導(dǎo)致可強(qiáng)烈感覺到的偽像時(shí)，可以使用增強(qiáng)信息加權(quán)的時(shí)間和空間變化來(lái)降低閃爍或提供更平滑的運(yùn)動(dòng)效果。
權(quán)利要求
1.一種圖像處理裝置，包括-用來(lái)連接到傳輸信道(11)以接收視頻信息的輸入，所述視頻信息包括基本視頻流和增強(qiáng)視頻流，所述增強(qiáng)視頻流包含用來(lái)可選地改善從基本視頻流得到的輸出流的質(zhì)量的信息；-加法器(126)，其被配置用來(lái)通過(guò)相加從基本視頻流和增強(qiáng)視頻流得到的圖像位置的圖像信息值來(lái)形成輸出流；-乘法器(124)，用來(lái)功能性地連接在所述輸入和加法器(126)之間以便調(diào)整相對(duì)加權(quán)，利用所述加權(quán)，基本視頻流和增強(qiáng)視頻流中的信息值被彼此相加；-加權(quán)選擇單元(123)，其被配置用來(lái)選擇相對(duì)加權(quán)作為圖像位置和/或視頻信息中的時(shí)間的函數(shù)，以適應(yīng)視頻信息的本地內(nèi)容。
2.根據(jù)權(quán)利要求1的圖像處理裝置，其中所述增強(qiáng)視頻流提供用于增加由基本視頻流提供的空間和/或時(shí)間分辨率的信息。
3.根據(jù)權(quán)利要求2的圖像處理裝置，其中所述加權(quán)選擇單元(123)被配置用來(lái)從包含不同加權(quán)的范圍中選擇加權(quán)，利用所述加權(quán)可以相對(duì)于基本視頻流分別衰減和過(guò)分強(qiáng)調(diào)來(lái)自增強(qiáng)流的信息值。
4.根據(jù)權(quán)利要求1的圖像處理裝置，其中所述加權(quán)選擇單元(123)被配置用來(lái)響應(yīng)于在一個(gè)區(qū)域中檢測(cè)的包括位置的視頻信息的時(shí)間和/或空間變化量而選擇在視頻信息中該位置的相對(duì)加權(quán)，以便在所述量相對(duì)較高時(shí)相對(duì)于從基本視頻流得到的信息值增加來(lái)自增強(qiáng)流的信息值的加權(quán)，并在所述量相對(duì)較低時(shí)降低該加權(quán)。
5.根據(jù)權(quán)利要求4的圖像處理裝置，其中所述加權(quán)選擇單元(123)還響應(yīng)于在所述區(qū)域內(nèi)的亮度，以便在所述亮度相對(duì)較高時(shí)相對(duì)于基本流的信息值增加來(lái)自增強(qiáng)流的信息值的加權(quán)，并在亮度相對(duì)較低時(shí)降低該加權(quán)。
6.根據(jù)權(quán)利要求4的圖像處理裝置，包括響應(yīng)于區(qū)域中的空間變化的空間變化傳感器(20)，所述空間變化傳感器(20)被連接到加權(quán)選擇單元(123)以響應(yīng)于空間變化來(lái)控制相對(duì)加權(quán)。
7.根據(jù)權(quán)利要求4的圖像處理裝置，其中使用運(yùn)動(dòng)矢量來(lái)對(duì)所述基本視頻流進(jìn)行編碼，所述加權(quán)選擇單元(123)被配置用來(lái)根據(jù)編碼以選擇取決于與該區(qū)域相關(guān)的運(yùn)動(dòng)矢量值的大小的加權(quán)。
8.一種圖像處理裝置，包括-視頻編碼器(10)，其被配置用來(lái)將視頻信息編碼成基本視頻流和來(lái)自視頻信息的增強(qiáng)視頻流，所述增強(qiáng)視頻流用于提供在基本視頻流中丟失的一部分視頻信息；-時(shí)間變化檢測(cè)器(30)，其被連接以檢測(cè)在圖像的公共區(qū)域中的視頻信息中的連續(xù)圖像之間的時(shí)間變化量，所述區(qū)域包含位置；-因子選擇單元(105)，用來(lái)響應(yīng)于時(shí)間變化量為所述位置選擇時(shí)間和位置相關(guān)因子，以便所述因子隨著變化的增加而增加；-乘法器(104)，其被功能性地連接以在編碼之前將位置和時(shí)間相關(guān)因子應(yīng)用到增強(qiáng)視頻流中的圖像信息。
9.一種處理視頻流的方法，所述方法包括-接收基本視頻流和增強(qiáng)視頻流，所述增強(qiáng)視頻流包含用來(lái)可選地改善從基本視頻流得到的輸出流的質(zhì)量的信息；-適應(yīng)于視頻流中的圖像信息，選擇相對(duì)加權(quán)作為視頻流中的圖像位置和/或視頻流中的時(shí)間的函數(shù)；-將從基本視頻流和增強(qiáng)視頻流得到的圖像位置的圖像信息值相加；-適應(yīng)于在作為位置和/或時(shí)間的函數(shù)的所述位置周圍的視頻流的內(nèi)容來(lái)調(diào)整相對(duì)加權(quán)，利用所述相對(duì)加權(quán)，在基本視頻流和增強(qiáng)視頻流中的信息值被彼此相加。
全文摘要
一種圖像處理裝置接收基本視頻流和增強(qiáng)視頻流，所述增強(qiáng)視頻流包含用來(lái)可選地改善從基本視頻流得到的輸出流的質(zhì)量的信息。加法器(126)通過(guò)相加從基本視頻流和增強(qiáng)視頻流得到的圖像位置的圖像信息值來(lái)形成輸出流。連接在所述輸入和所述加法器之間的乘法器(124)調(diào)整相對(duì)加權(quán)，利用所述相對(duì)加權(quán)，基本視頻流和增強(qiáng)視頻流中的信息值被彼此相加。加權(quán)選擇單元(123)適應(yīng)于視頻信息的本地內(nèi)容來(lái)選擇相對(duì)加權(quán)以作為在圖像位置和/或視頻信息中的時(shí)間的函數(shù)。
文檔編號(hào)H04N7/50GK1781312SQ200480011557
公開日2006年5月31日 申請(qǐng)日期2004年4月28日 優(yōu)先權(quán)日2003年4月29日
發(fā)明者P·W·G·維勒斯, W·H·A·布魯斯 申請(qǐng)人:皇家飛利浦電子股份有限公司