專利名稱：用于編碼器輔助式預(yù)處理的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本申請案大體上針對多媒體數(shù)據(jù)處理，且更特定來說，針對使用解碼器處理技術(shù)來 編碼視頻。
背景技術(shù)：
對將高分辨率多媒體數(shù)據(jù)傳輸?shù)斤@示裝置(例如，蜂窩式電話、計算機(jī)和PDA的 顯示裝置)存在不斷增長的需求。為了最佳地觀看某些多媒體數(shù)據(jù)(例如，體育、視頻、 電視廣播饋送和其它此類圖像)而需要高分辨率(一術(shù)語，本文中用以指示查看某些所 要的細(xì)節(jié)和特征所需的分辨率)。提供高分辨率多媒體數(shù)據(jù)通常需要增加發(fā)送到顯示裝 置的數(shù)據(jù)的量，這是需要更多通信資源和傳輸帶寬的過程。
空間可縮放性是用以增強(qiáng)分辨率的典型方法，其中高分辨率信息(特定來說，高頻 率數(shù)據(jù))經(jīng)編碼并作為一增強(qiáng)層傳輸?shù)捷^低分辨率數(shù)據(jù)的基礎(chǔ)層。然而，空間可縮放性 較低效，因為此類數(shù)據(jù)具有噪聲狀統(tǒng)計特征且具有較差的編碼效率。另外，空間可縮放 性是高度限制性的，因為上取樣分辨率在創(chuàng)建/編碼增強(qiáng)層時已預(yù)先確定。因此，需要其 它方法來克服空間可縮放性和此項技術(shù)中已知的其它分辨率增強(qiáng)方法的不足。

發(fā)明內(nèi)容
本文中描述的每一設(shè)備和方法均具有若干方面，所述方面中并無單一者完全負(fù)責(zé)其 所需的屬性。在不限制此揭示案的范圍的情況下，現(xiàn)將簡要論述其較突出的特征。在考 慮了此論述內(nèi)容后，且特定來說，在閱讀了題為"實施方式"的章節(jié)后，將理解此揭示 案的特征如何提供對多媒體數(shù)據(jù)處理設(shè)備和方法的改進(jìn)。
在一實施例中， 一種處理多媒體數(shù)據(jù)的方法，所述方法包括識別多媒體數(shù)據(jù)的至 少一個圖像中的至少一個像素強(qiáng)度范圍；修改所述多媒體數(shù)據(jù)的至少一部分以減小所述
7至少一個像素強(qiáng)度范圍；以及編碼所述經(jīng)修改的多媒體數(shù)據(jù)以形成經(jīng)編碼的多媒體數(shù) 據(jù)。修改所述至少一個像素強(qiáng)度范圍可包括反向直方圖均衡化操作、伽瑪校正或至少部 分基于像素值的所檢測范圍和界定像素強(qiáng)度值的范圍的極限的閾值來修改所述至少一 個像素強(qiáng)度范圍。所述方法可進(jìn)一步包含將所述經(jīng)編碼的多媒體數(shù)據(jù)傳輸?shù)浇K端裝置。
解碼器中所使用的后處理技術(shù)可包含直方圖均衡化、伽瑪校正、對比度增強(qiáng)方法或 另一個像素強(qiáng)度重新映射操作。所述方法可包括維持指示對所述多媒體數(shù)據(jù)進(jìn)行的用 以減小所述至少一個像素強(qiáng)度范圍的修改的指示符；以及編碼所述指示符以供傳輸?shù)浇K 端裝置。在一些實施例中，所述終端裝置可經(jīng)配置以使用所述指示符來調(diào)整多媒體數(shù)據(jù) 的所述至少一個像素強(qiáng)度范圍。而且，所述方法可包括將所述指示符多媒體數(shù)據(jù)傳輸?shù)?終端裝置。也可存儲指示符，所述指示符指示在終端裝置的解碼器中用以修改像素強(qiáng)度 范圍的后處理技術(shù)，且在編碼前基于所述指示符修改所述多媒體數(shù)據(jù)的所述至少一個像 素強(qiáng)度范圍。
在另一實施例中， 一種用于處理多媒體數(shù)據(jù)的系統(tǒng)包括圖像處理模塊，其經(jīng)配置 以識別多媒體數(shù)據(jù)的一部分的像素強(qiáng)度范圍，所述圖像處理模塊進(jìn)一步經(jīng)配置以修改所 述多媒體數(shù)據(jù)以減小所述像素強(qiáng)度范圍；和編碼器，其經(jīng)配置以編碼所述經(jīng)修改的多媒 體數(shù)據(jù)以形成經(jīng)編碼的多媒體數(shù)據(jù)。所述圖像處理模塊可產(chǎn)生指示對所述多媒體數(shù)據(jù)進(jìn) 行的用以減小所述像素強(qiáng)度范圍的修改的指示符，且其中所述編碼器經(jīng)配置以編碼所述 指示符。在一些實施例中，使用所述經(jīng)編碼的多媒體數(shù)據(jù)傳輸所述指示符以用于解碼所 述經(jīng)編碼的多媒體數(shù)據(jù)。所述系統(tǒng)可進(jìn)一步包括存儲裝置，其經(jīng)配置以存儲在終端裝置 的解碼器中用以修改像素強(qiáng)度范圍的后處理技術(shù)的指示符，且在編碼前基于所述指示符
修改所述多媒體數(shù)據(jù)的所述至少一個像素強(qiáng)度范圍。
在另一實施例中， 一種用于處理多媒體數(shù)據(jù)的系統(tǒng)包括用于識別多媒體數(shù)據(jù)的至 少一個圖像中的至少一個像素強(qiáng)度范圍的裝置；用于修改所述多媒體數(shù)據(jù)的至少一部分 以減小所述至少一個像素強(qiáng)度范圍的裝置；以及用于編碼所述經(jīng)修改的多媒體數(shù)據(jù)以形 成經(jīng)編碼的多媒體數(shù)據(jù)的裝置。
在另一實施例中， 一種機(jī)器可讀媒體包括用于處理多媒體數(shù)據(jù)的指令，所述指令在 執(zhí)行時促使機(jī)器識別多媒體數(shù)據(jù)的至少一個圖像中的至少一個像素強(qiáng)度范圍、修改所述 多媒體數(shù)據(jù)的至少一部分以減小所述至少一個像素強(qiáng)度范圍，并編碼所述經(jīng)修改的多媒 體數(shù)據(jù)以形成經(jīng)編碼的多媒體數(shù)據(jù)。


8圖1為說明用于傳遞多媒體的通信系統(tǒng)的方框圖。 圖2為說明用于編碼多媒體的通信系統(tǒng)的特定組件的方框圖。 圖3為說明用于編碼多媒體的通信系統(tǒng)的特定組件的另一實施例的方框圖。 圖4為說明用于編碼多媒體的特定組件的另一實施例的方框圖。 圖5為說明具有經(jīng)配置用于編碼多媒體數(shù)據(jù)的處理器的編碼裝置的方框圖。 圖6為說明具有經(jīng)配置用于編碼多媒體數(shù)據(jù)的處理器的編碼裝置的另一實施例的方 框圖。
圖7為說明編碼多媒體數(shù)據(jù)的過程的流程圖。 圖8為說明內(nèi)插濾波器系數(shù)因子的實例的表格。
圖9為說明用以指定將在解碼器處執(zhí)行的后處理操作的類型和其參數(shù)的指示符的表格。
圖10為說明通過重新映射多媒體數(shù)據(jù)的至少一部分的像素亮度值來編碼多媒體數(shù) 據(jù)的過程的流程圖。
圖11為具有經(jīng)配置以在編碼前修改多媒體數(shù)據(jù)的預(yù)處理器的編碼裝置的方框圖。
具體實施例方式
在以下描述中，給出具體細(xì)節(jié)以提供對所描述的方面的徹底理解。然而，所屬領(lǐng)域 的技術(shù)人員應(yīng)理解，可在沒有這些具體細(xì)節(jié)的情況下實踐所述方面。舉例來說，可以方 框圖展示電路，以便不會因為不必要的細(xì)節(jié)而使所述方面難懂。在其它情況中，可不詳 細(xì)地展示眾所周知的電路、結(jié)構(gòu)和技術(shù)以便不會使所述方面難懂。
本文中對"一個方面"、"一方面"、"一些方面"或"某些方面"和使用術(shù)語"實施 例"或"多個實施例"的類似短語的參考意味著結(jié)合方面所描述的特定特征、結(jié)構(gòu)或特 性中的一者或一者以上可包括于至少一方面中。在本說明書中各處出現(xiàn)的此類短語未必 都指同一方面也非為與其它方面相互排斥的單獨或替代方面。此外，描述了可通過一些 方面且非通過其它方面加以展現(xiàn)的各種特征。類似地，描述了可能為對一些方面而非其 它方面的要求的各種要求。
如本文中所使用的"多媒體數(shù)據(jù)"或僅"多媒體"為廣義術(shù)語，其包括視頻數(shù)據(jù)(其 可包括音頻數(shù)據(jù))、音頻數(shù)據(jù)或視頻數(shù)據(jù)和音頻數(shù)據(jù)兩者，且也可包括圖形數(shù)據(jù)。如本 文中所使用的"視頻數(shù)據(jù)"或"視頻"為廣義術(shù)語，其指含有文本信息或圖像信息和/ 或音頻數(shù)據(jù)的圖像的序列。為了將所要的高分辨率多媒體數(shù)據(jù)提供到一個或一個以上顯示裝置，空間可縮放性 和上取樣算法通常包括圖像或邊緣增強(qiáng)技術(shù)，所述技術(shù)采用邊緣檢測，隨后為線性或自
適應(yīng)(有時為非線性)濾波過程。然而，經(jīng)由具有高百分比置信度的這些機(jī)制無法檢測 在編碼器處在壓縮和下取樣期間丟失的關(guān)鍵和精細(xì)細(xì)節(jié)邊緣，或者在解碼和上取樣期間 無法有效地重新創(chuàng)建關(guān)鍵和精細(xì)細(xì)節(jié)邊緣。本文中描述的方法和系統(tǒng)的某些特征包括用 以識別關(guān)于歸因于壓縮而丟失的多媒體數(shù)據(jù)的細(xì)節(jié)的信息的過程。其它特征涉及通過使 用此信息在經(jīng)解碼的多媒體數(shù)據(jù)中恢復(fù)此類細(xì)節(jié)。關(guān)于圖1至圖7進(jìn)一步描述和說明此 處引入的此類系統(tǒng)和方法。在一示范性實施例中，為了促進(jìn)編碼多媒體數(shù)據(jù)的過程，編 碼方法可使用關(guān)于后處理或解碼過程(例如，在顯示裝置處)的信息來編碼多媒體數(shù)據(jù) 以慮及由特定的編碼和/或解碼過程(例如，在編碼器中實施的下取樣和/或在解碼器中 實施的上取樣算法)所產(chǎn)生的數(shù)據(jù)差異性。
在一實例中，多媒體數(shù)據(jù)首先經(jīng)編碼(例如，經(jīng)下取樣和壓縮)，以形成隨后將被 傳輸?shù)街辽僖伙@示裝置的經(jīng)壓縮數(shù)據(jù)。使用已知的解碼器解碼和上取樣算法來解壓縮和 上取樣經(jīng)編碼數(shù)據(jù)的副本，且將所得數(shù)據(jù)與原始接收(未經(jīng)壓縮)的多媒體數(shù)據(jù)進(jìn)行比 較。將原始多媒體數(shù)據(jù)與經(jīng)解壓縮后的經(jīng)上取樣數(shù)據(jù)之間的差異表示為"差異信息"。 并入在后處理技術(shù)(例如，下取樣和上取樣濾波器)中的增強(qiáng)過程可移除噪聲、增強(qiáng)特 征(例如，皮膚、面部特征、指示"快速移動"對象的數(shù)據(jù)中的快速改變區(qū))或減小在 所產(chǎn)生的差異信息中的熵。將差異信息編碼為"輔助信息"。輔助信息也被傳輸?shù)浇獯a 器，在解碼器處其用以增強(qiáng)在編碼期間可能已經(jīng)降級的經(jīng)解碼圖像的細(xì)節(jié)?？山又鴮⒃?br> 強(qiáng)的圖像呈現(xiàn)在顯示裝置上。
圖1為用于傳遞串流或其它類型的多媒體數(shù)據(jù)的通信系統(tǒng)10的方框圖。此技術(shù)可 應(yīng)用于數(shù)字傳輸設(shè)施12中，數(shù)字傳輸設(shè)施12將經(jīng)數(shù)字壓縮的多媒體數(shù)據(jù)傳輸?shù)皆S多顯 示裝置或終端16。由傳輸設(shè)施12接收的多媒體數(shù)據(jù)可為數(shù)字視頻源，例如，數(shù)字電纜 饋送或經(jīng)數(shù)字化的模擬高信/噪比源。視頻源在傳輸設(shè)施12中經(jīng)處理且調(diào)制到載波上以 用于經(jīng)由網(wǎng)絡(luò)14傳輸?shù)揭粋€或一個以上終端16。
網(wǎng)絡(luò)14可為適合于傳輸數(shù)據(jù)的任一類型的有線或無線網(wǎng)絡(luò)，包括以太網(wǎng)、電話(例 如，POTS)、電纜、電力線和光纖系統(tǒng)和/或無線系統(tǒng)中的一者或一者以上，其中無線系 統(tǒng)包含以下系統(tǒng)中的一者或一者以上碼分多址(CDMA或CDMA2000)通信系統(tǒng)、 頻分多址(FDMA)系統(tǒng)、正交頻分多址(OFDM)系統(tǒng)、例如GSM/GPRS (通用分組 無線電服務(wù))/EDGE (增強(qiáng)型數(shù)據(jù)GSM環(huán)境)的分時多址(TDMA)系統(tǒng)、TETRA (陸 地集群無線電)移動電話系統(tǒng)、寬帶碼分多址(WCDMA)系統(tǒng)、高數(shù)據(jù)速率(lxEV-DO
10或lxEV-DO黃金多播)系統(tǒng)、IEEE 802.11系統(tǒng)、MediaFLOTM系統(tǒng)、DMB系統(tǒng)或DVB-H
系統(tǒng)。舉例來說，所述網(wǎng)絡(luò)可為蜂窩式電話網(wǎng)絡(luò)、例如因特網(wǎng)的全球計算機(jī)通信網(wǎng)絡(luò)、 廣域網(wǎng)、城域網(wǎng)、局域網(wǎng)和衛(wèi)星網(wǎng)絡(luò)，以及這些和其它類型網(wǎng)絡(luò)的部分或組合。
從網(wǎng)絡(luò)14接收經(jīng)編碼的多媒體數(shù)據(jù)的每一終端16可為任一類型的通信裝置，包括 (但不限于)無線電話、個人數(shù)字助理(PDA)、個人計算機(jī)、電視、機(jī)頂盒、臺式、膝 上型或掌上型計算機(jī)、(PDA)、視頻/圖像存儲裝置(例如卡帶式視頻錄放機(jī)(VCR)、 數(shù)字視頻錄放機(jī)(DVR)等)以及這些和其它裝置的部分或組合。
圖2為說明用于編碼多媒體的數(shù)字傳輸設(shè)施12中的通信系統(tǒng)的特定組件的方框圖。 傳輸設(shè)施12包括多媒體源26，所述多媒體源26經(jīng)配置以基于其例如從存儲裝置接收或 以其它方式存取的多媒體，而將多媒體數(shù)據(jù)提供到編碼裝置20。編碼裝置20 (至少部 分)基于關(guān)于解碼算法的信息來編碼多媒體數(shù)據(jù)，所述解碼算法隨后用于或可用于例如 終端16的下游接收裝置中。
編碼裝置20包括用于編碼多媒體數(shù)據(jù)的第一編碼器21。第一編碼器21將經(jīng)編碼的 多媒體數(shù)據(jù)提供到通信模塊25，用于傳輸?shù)浇K端16中的一者或一者以上。第一編碼器 21也將經(jīng)編碼數(shù)據(jù)的副本提供到解碼器22。解碼器22經(jīng)配置以解碼經(jīng)編碼的數(shù)據(jù)并應(yīng) 用優(yōu)選也用于接收裝置中的解碼過程中的后處理技術(shù)。解碼器22將經(jīng)解碼的數(shù)據(jù)提供 到比較器23。
指示符經(jīng)識別以供解碼器22使用，所述指示符指示后處理技術(shù)。如在前述句子中 使用的"經(jīng)識別"是指解碼器維持、存儲、選擇或存取指示符。在一些實施例中，所述 指示符可維持或存儲于解碼器22的存儲器裝置中，或維持或存儲于與解碼器22通信的 另一裝置中。在一些實施例中，所述指示符可選自多個指示符，每一指示符指示一后處 理技術(shù)。在一些實施例中，在不知曉接收裝置中的解碼器所使用的具體處理技術(shù)的情況 下，解碼器22也可使用其它已知或典型的處理技術(shù)。
解碼器22可經(jīng)配置以執(zhí)行一種或一種以上后處理技術(shù)。在一些實施例中，解碼器 22經(jīng)配置以基于指示采用哪一技術(shù)的輸入來使用多種后處理技術(shù)中的一者。通常，作為 在用于編碼多媒體數(shù)據(jù)的第一編碼器21中所使用的壓縮和下取樣過程，以及在用于解 碼多媒體數(shù)據(jù)的解碼器22中所使用的解壓縮和上取樣過程的結(jié)果，經(jīng)解碼的數(shù)據(jù)將可 能與原始多媒體數(shù)據(jù)至少有些不同(且從原始多媒體數(shù)據(jù)降級)。比較器23經(jīng)配置以接 收和比較原始多媒體數(shù)據(jù)與經(jīng)解碼的多媒體數(shù)據(jù)，且確定比較信息。比較信息可包括通 過比較原始多媒體數(shù)據(jù)與經(jīng)解碼的多媒體數(shù)據(jù)而確定的任何信息。在一些實施例中，比 較數(shù)據(jù)包含兩個數(shù)據(jù)組中的差異且被稱作"差異信息"。舉例來說，可基于逐幀地產(chǎn)生差異信息。也可基于逐區(qū)塊地進(jìn)行比較。本文中所涉及的區(qū)塊可從一像素(lxl)的一 "區(qū)塊"變化到MxN任意大小的像素的一 "區(qū)塊"。區(qū)塊的形狀未必為正方形。
"差異信息"表示作為編碼/解碼過程的結(jié)果而在終端16處顯示的多媒體數(shù)據(jù)中看得 到的圖像降級。比較器23將比較信息提供到第二編碼器24。在第二編碼器24中編碼比 較信息，且將經(jīng)編碼的"輔助信息"提供到通信模塊25。通信模塊25可將包含經(jīng)編碼 多媒體和經(jīng)編碼輔助信息的數(shù)據(jù)18傳輸?shù)浇K端裝置16 (圖1)。終端裝置中的解碼器使 用"輔助信息"將增強(qiáng)添加(例如，添加細(xì)節(jié))到在編碼或解碼期間受到影響或降級的 經(jīng)解碼的多媒體數(shù)據(jù)。此增強(qiáng)了所接收的經(jīng)編碼多媒體數(shù)據(jù)的圖像質(zhì)量，且使得可將較 高分辨率經(jīng)解碼圖像呈現(xiàn)于顯示裝置上。在一些實施例中，可將第一編碼器21和第二 編碼器24實施為單一編碼器。
后處理技術(shù)可包含增強(qiáng)多媒體數(shù)據(jù)中的某些特征(例如，皮膚和面部特征)的一種 或一種以上技術(shù)。將經(jīng)編碼的差異信息傳輸?shù)浇邮昭b置。接收裝置使用輔助信息將細(xì)節(jié) 添加至經(jīng)解碼圖像以補(bǔ)償在編碼和解碼期間受到影響的細(xì)節(jié)。因此，可將較高分辨率和 /或較高質(zhì)量圖像呈現(xiàn)于接收裝置上。
將差異信息識別為主要經(jīng)編碼的位流中的輔助信息。使用者數(shù)據(jù)或"填料(filler)" 分組可用以使經(jīng)編碼數(shù)據(jù)的大小適合于經(jīng)編碼媒體數(shù)據(jù)的傳輸協(xié)議分組大小(例如，IP 數(shù)據(jù)報或MTU)的大小以輸送輔助信息。在一些實施例中，可將差異信息識別為低分 辨率經(jīng)編碼數(shù)據(jù)中的現(xiàn)有信息的一組關(guān)系(例如，等式、決策邏輯、量化殘差系數(shù)的數(shù) 目和位置、模糊邏輯規(guī)則)，且可將對此類關(guān)系的索引編碼為輔助信息。由于并非所有 差異信息都必須經(jīng)編碼且可將此信息的格式精簡為關(guān)系的査詢表的索引，所以編碼器輔 助式上取樣元數(shù)據(jù)較有效率地編碼，且利用接收裝置中的信息以減小需要被傳輸?shù)男畔?的熵。
也涵蓋所描述的編碼裝置20的其它配置。舉例來說，圖3說明使用一編碼器31替 代兩個編碼器(如圖2中所示)的編碼裝置30的一替代實施例。在此實施例中，比較 器23將差異信息提供到單一編碼器31以用于編碼。編碼器31將經(jīng)編碼的多媒體數(shù)據(jù) (例如，第一經(jīng)編碼數(shù)據(jù))和經(jīng)編碼的輔助信息(例如，第二經(jīng)編碼數(shù)據(jù))提供到通信 模塊25以用于傳輸?shù)浇K端16。
圖4為說明圖2和圖3中所示的系統(tǒng)的一部分(特定來說，是編碼器21、解碼器 40和比較器23)的一實例的方框圖。解碼器40經(jīng)配置以用于解碼經(jīng)編碼的多媒體數(shù)據(jù) 并應(yīng)用在接收終端16 (圖1)中使用的后處理技術(shù)?？蓪⒔獯a器40的功能性實施于本 文中所描述的編碼器中，例如，圖2和圖3中所說明的解碼器22。解碼器22從編碼器21接收經(jīng)編碼的多媒體數(shù)據(jù)。解碼器40中的解碼器模塊41解碼經(jīng)編碼的多媒體數(shù)據(jù)， 且將經(jīng)解碼數(shù)據(jù)提供到解碼器40中的后處理模塊。在此實例中，后處理模塊包括噪聲 抑制器模塊42和數(shù)據(jù)增強(qiáng)器模塊43。
通常假定視頻序列中的噪聲為加成性白高斯。然而，視頻信號在時間和空間上均高 度相關(guān)。因此，通過在時間上和空間上均利用其白色度，可從信號部分移除噪聲。在一 些實施例中，噪聲抑制器模塊42包括時間噪聲抑制，例如，卡爾曼(Kalman)濾波器。 噪聲抑制器模塊42可包括其它噪聲抑制方法，例如，小波收縮濾波器和/或小波維納 (Wiener)濾波器。小波為用以使給定信號局限于空間域和縮放域兩者中的 一類功能。 小波的基礎(chǔ)理念在于分析不同標(biāo)度或分辨率下的信號，使得小波表示中的較小改變產(chǎn)生 原始信號中的對應(yīng)的較小改變。也可將小波收縮或小波維納濾波器應(yīng)用為噪聲抑制器 42。小波收縮噪聲抑制可涉及小波變換域中的收縮，且通常包含三個步驟線性正向小 波變換、非線性收縮噪聲抑制和線性反向小波變換。維納濾波器為MSE優(yōu)化線性濾波 器，其可用以改進(jìn)因加成性噪聲和模糊而降級的圖像。在一些方面中，噪聲抑制濾波器 是基于(4, 2)雙正交三次B樣條小波濾波器的一方面。
噪聲抑制器模塊42將經(jīng)噪聲抑制的經(jīng)解碼數(shù)據(jù)提供到數(shù)據(jù)增強(qiáng)器模塊43。數(shù)據(jù)增 強(qiáng)器模塊43可經(jīng)配置以增強(qiáng)被認(rèn)為是觀看(例如)皮膚、面部特征和快速改變數(shù)據(jù)(例 如，用于與體育事件相關(guān)聯(lián)的多媒體數(shù)據(jù))所需要的數(shù)據(jù)的某些特征。數(shù)據(jù)增強(qiáng)器模塊 的主要功能在于在數(shù)據(jù)的回放或消耗期間提供圖像或視頻增強(qiáng)。典型的圖像增強(qiáng)包括銳 化、色域/飽和度/色調(diào)改進(jìn)、對比度改進(jìn)、直方圖均衡化和高頻強(qiáng)調(diào)。關(guān)于增強(qiáng)皮膚特 征，存在若干膚色檢測方法。 一旦識別了圖像中具有膚色的區(qū)域，則可修改對應(yīng)于此區(qū) 域的色度分量以改進(jìn)色調(diào)，從而適合所要的調(diào)色板。
關(guān)于改進(jìn)面部特征，如果在面部特征中檢測到振鈴噪聲(ringing noise),例如經(jīng)由 膚色檢測加以識別，則可應(yīng)用去振鈴(de-ringing)濾波器和/或適當(dāng)?shù)钠交?噪聲減少濾 波器以使這些偽像最小化且執(zhí)行上下文/內(nèi)容選擇性圖像增強(qiáng)。視頻增強(qiáng)包括閃爍減少、 幀速率提高等。在視頻中的一組幀上發(fā)送平均亮度的指示符可幫助關(guān)于閃爍減少的解碼 器/后解碼器/后處理。閃爍常由DC量化造成，從而導(dǎo)致在具有相同發(fā)光條件/亮度的原 始存在的那些幀上平均亮度水平有波動的經(jīng)重新建構(gòu)的視頻。閃爍減少通常涉及鄰近幀 的平均亮度(例如，DC直方圖)的計算，和在所討論中的幀上應(yīng)用平均化濾波器以使 每一幀的平均亮度返回到所計算的平均亮度。在此情況下，差異信息可為將要應(yīng)用于每 一幀的經(jīng)預(yù)計算的平均亮度偏移量。數(shù)據(jù)增強(qiáng)器模塊43將經(jīng)增強(qiáng)的經(jīng)解碼多媒體數(shù)據(jù) 提供到比較器23。圖5為說明具有經(jīng)配置用于編碼多媒體數(shù)據(jù)的處理器51的編碼裝置50的一實例的 方框圖。編碼裝置50可實施于傳輸設(shè)施中，例如，數(shù)字傳輸設(shè)施12 (圖l)。編碼裝置 50包括存儲媒體58,其經(jīng)配置與處理器51通信且經(jīng)配置與通信模塊59通信。在一些 實施例中，處理器51經(jīng)配置而以與圖2中所說明的編碼器20類似的方式來編碼多媒體 數(shù)據(jù)。處理器51使用第一編碼器模塊52編碼所接收的多媒體數(shù)據(jù)。接著使用解碼器模 塊53解碼經(jīng)編碼的多媒體數(shù)據(jù)，解碼器模塊53經(jīng)配置以使用實施于終端16 (圖1)中 的至少一后處理技術(shù)來解碼多媒體數(shù)據(jù)。處理器51使用噪聲抑制器模塊55移除經(jīng)解碼 的多媒體數(shù)據(jù)中的噪聲。處理器51可包括數(shù)據(jù)增強(qiáng)器模塊56，其經(jīng)配置以增強(qiáng)經(jīng)解碼 的多媒體數(shù)據(jù)以用于例如面部特征或皮膚的預(yù)定特征。
由比較器模塊54來確定經(jīng)解碼的(且經(jīng)增強(qiáng)的)多媒體數(shù)據(jù)與原始多媒體數(shù)據(jù)之 間的差異，所述比較器模塊54產(chǎn)生表示經(jīng)解碼的多媒體數(shù)據(jù)與原始多媒體數(shù)據(jù)之間的 差異的差異信息。由第二編碼器57編碼經(jīng)增強(qiáng)的差異信息。第二編碼器57產(chǎn)生提供到 通信模塊59的經(jīng)編碼輔助信息。經(jīng)編碼的多媒體數(shù)據(jù)也被提供到通信模塊59。經(jīng)編碼 的多媒體數(shù)據(jù)和輔助信息兩者均可被傳送到顯示裝置(例如，圖1中的終端16)，顯示 裝置使用輔助信息來解碼多媒體數(shù)據(jù)以產(chǎn)生增強(qiáng)的多媒體數(shù)據(jù)。
圖6為說明具有經(jīng)配置用于編碼多媒體數(shù)據(jù)的處理器61的編碼裝置60的另一實施 例的方框圖。此實施例可類似于圖5來編碼多媒體數(shù)據(jù)，除了處理器61含有編碼多媒 體數(shù)據(jù)和差異信息兩者的一個編碼器62外。經(jīng)編碼的多媒體數(shù)據(jù)和輔助信息接著由通 信模塊59傳送到顯示裝置(例如，圖1中的終端16)。顯示裝置中的解碼器接著使用輔 助信息解碼多媒體數(shù)據(jù)以產(chǎn)生增強(qiáng)的分辨率的數(shù)據(jù)且顯示此數(shù)據(jù)。
下文列出可實施于解碼器中的某些后處理技術(shù)的實例，然而，對這些實例的描述并 不意味著將揭示內(nèi)容限制于僅那些描述的技術(shù)。如上所述，解碼器22可實施眾多后處 理技術(shù)中的任一者來識別差異信息并產(chǎn)生對應(yīng)的輔助信息。
色度處理
后處理技術(shù)的一實例為色度處理，其涉及關(guān)于將要顯示的多媒體數(shù)據(jù)的色度的操 作。色彩空間轉(zhuǎn)換為此一實例。典型的壓縮操作(解碼、解塊等)和一些后處理操作(例 如，獨立于色度來修改由亮度或Y分量表示的強(qiáng)度的功能，例如，直方圖均衡化)發(fā)生 于YCbCr或YUV域或色彩空間中，而顯示器通常在RGB色彩空間中操作。在后處理 器和顯示處理器中執(zhí)行色彩空間轉(zhuǎn)換以解決此差異。如果維持相同的位深度，則RGB 與YCC/YUV之間的數(shù)據(jù)轉(zhuǎn)換可導(dǎo)致數(shù)據(jù)壓縮，因為當(dāng)將R、 G和B中的強(qiáng)度信息變換 為Y分量時，其中的冗余減少，從而導(dǎo)致源信弓的相當(dāng)大的壓縮。因此，任一基于后處
14理的壓縮將潛在地在YCC/YUV域中操作。
色度子取樣涉及對于亮度(表示其的量)比對色彩(表示其的量)實施較多分辨率 的實踐。其用于許多視頻編碼方案(模擬和數(shù)字)中且也用于JPEG編碼中。在色度子 取樣中，亮度和色度分量經(jīng)形成為伽瑪校正(三色激勵)R'G'B'分量的加權(quán)和，而非線 性(三色激勵)RGB分量的加權(quán)和。通常將子取樣方案表達(dá)為三部分比(例如，4:2:2)， 但有時表達(dá)為四部分(例如，4:2:2:4)。四個部分為(按其各自次序)第--部分亮度水平 取樣參考(最初，在NTSC電視系統(tǒng)中為3.579 MHz的倍數(shù))；第二部分Cb和Cr (色 度)水平因子(相對于第一數(shù)字)；與第二數(shù)字相同(除了當(dāng)為零時，其指示Cb和Cr 經(jīng)垂直地2:1子取樣)的第三部分；和如果存在，與亮度數(shù)字相同的第四部分(指示a "鍵(key)"分量)。后處理技術(shù)可包括色度上取樣(例如，將4:2:0數(shù)據(jù)轉(zhuǎn)換為4:2:2數(shù) 據(jù))或下取樣(例如，將4:4:4數(shù)據(jù)轉(zhuǎn)換為4:2:0數(shù)據(jù))。通常對4:2:0視頻執(zhí)行低到中等 位速率壓縮。如果源多媒體數(shù)據(jù)具有比4:2:0高的色度(例如，4:4:4或4:2:2)，則在后 處理操作期間可將其下取樣到4:2:0、編碼、傳輸、解碼和接著上取樣回到原始色度。在 顯示裝置處，當(dāng)變換為RGB以用于顯示時，將色度恢復(fù)到其完整的4:4:4比。可使用此 類后處理操作來配置解碼器22以重復(fù)可能發(fā)生于下游顯示裝置處的解碼/處理操作。
圖形操作
關(guān)于圖形處理的后處理技術(shù)也可實施于解碼器22中。 一些顯示裝置包括圖形處理 器，例如，支持多媒體和2D或3D游戲的顯示裝置。圖形處理器的功能性可包括像素 處理操作，可合適地應(yīng)用其中的一些(或全部)操作以改進(jìn)視頻質(zhì)量或潛在地并入在包 括壓縮/解壓縮的視頻處理中。
a混合
a混合為通常用于兩個場景之間的轉(zhuǎn)變中或用于在一GUI上的現(xiàn)有屏幕上的視頻的 重疊中的操作，其為也可實施于解碼器22中的像素操作后處理技術(shù)的一實例。在ot混 合中，色碼中的a值范圍為從O.O至1.0，其中O.O表示完全透明色彩，而1.0表示完全 不透明色彩。為了 "混合"，將從圖片緩沖器讀取的像素乘以"a"。將從顯示緩沖器讀 取的像素乘以負(fù)(x。將兩者加在一起且顯示結(jié)果。視頻內(nèi)容含有各種形式的轉(zhuǎn)變效應(yīng)， 包括從/到黑色或其它均勻/恒定色彩的淡化轉(zhuǎn)變(fade transition)、場景之間的交叉淡 化(cross fade)和內(nèi)容類型之間的接合點(例如，動畫到商業(yè)視頻等)。H.264標(biāo)準(zhǔn)具有 使用用于轉(zhuǎn)變的幀數(shù)目或POC (圖片序列號)傳送a值和用于開始和停止點的指示符的 規(guī)定。也可指定用于轉(zhuǎn)變的均勻色彩。
轉(zhuǎn)變區(qū)域可難以編碼，因為其并非突發(fā)的場景改變，其中可將新場景的開始(第一幀)編碼為I幀，并將隨后的幀編碼為預(yù)測幀。歸因于通常用于解碼器中的運動評估/ 補(bǔ)償技術(shù)的性質(zhì)，可將運動跟蹤作為數(shù)據(jù)塊，且恒定的亮度偏移量被吸收到殘差內(nèi)(加 權(quán)預(yù)測可在一定程度上解決此問題)。交叉淡化具有較大的問題，因為亮度和正跟蹤的 運動中的改變并非真實運動，而是從一個圖像到另一圖像的逐漸切換，其導(dǎo)致較大的殘 差。這些較大的殘差在量化(低位速率的過程)后導(dǎo)致大規(guī)模運動和區(qū)塊化偽像。相對 于誘發(fā)區(qū)塊化偽像的情況，對于類似或較佳的感知/視覺質(zhì)量，編碼界定轉(zhuǎn)變區(qū)域的完整 圖像且指定a混合配置以影響淡化/交叉淡化將導(dǎo)致轉(zhuǎn)變的無偽像回放和壓縮效率/比率 的改進(jìn)或位速率的減小。
在編碼器處知曉解碼器的a混合能力可有助于將轉(zhuǎn)變效應(yīng)編碼為元數(shù)據(jù)而非經(jīng)由常 規(guī)編碼將位消耗在大的殘差上。除了a值外，此類元數(shù)據(jù)的一些實例也包括對在解碼器 /后處理器處支持的一組轉(zhuǎn)變效應(yīng)(例如，縮放、旋轉(zhuǎn)、漸隱和淡化)的索引。
透明度
"透明度"為可包括于編碼裝置20的解碼器22中的另一相對簡單的后處理像素操 作。在透明度過程中，從顯示緩沖器讀出像素值，且從圖片緩沖器讀出另一像素值(將 要顯示的幀)。如果從圖片緩沖器讀出的值匹配透明度值，則將從顯示緩沖器讀取的值 寫入顯示器。否則，將從圖片緩沖器讀取的值寫入顯示器。
視頻縮放(x2、 /2、 /4、任意比例)
視頻縮放("放大(upscaling)"或"縮小(downscaling)")的意圖通常為在將一信 號格式或分辨率下傳達(dá)的信息遷移到另一不同信號格式或分辨率時，保持同樣多的原始 信號信息和質(zhì)量。其在二 (2)或四(4)倍的縮放下工作，且經(jīng)由像素值的簡單平均化 加以執(zhí)行。放大涉及內(nèi)插濾波器且可在兩個軸上進(jìn)行。對Y值執(zhí)行雙三次內(nèi)插，且對色 度值執(zhí)行最近相鄰濾波。
舉例來說，可通過以下等式來計算Y的內(nèi)插值-
Y[i J—-Y[i-3，j] + 9Y[i-1，j] + 9Y[i + l，j]-Y[i + 3,j]
16 等式l
對于一行中的每一內(nèi)插的Y，以及
Y〖i — Y[i,j — 3] + 9Y[i,j — l] + 9Y[i,j + l]—Y[i，j + 3]
16 等式2
16對于一列中的每一內(nèi)插的Y。
從并排比較，雙線性和雙三次內(nèi)插方案展示極小的可視差異。雙三次內(nèi)插得到略銳利的圖像。必須建置較大的線緩沖器，以便進(jìn)行雙三次內(nèi)插。所有的雙三次濾波器均為一維的，其中系數(shù)僅取決于縮放比率。在一實例中，8位足以編碼系數(shù)來保證圖像質(zhì)量。僅需將所有的系數(shù)編碼為不帶正負(fù)號的，且使用電路可能難以編碼正負(fù)號。對于雙三次內(nèi)插，系數(shù)的正負(fù)號始終為[-++-]。
圖8展示對于給定比例縮放因子的濾波器的各種選擇。圖8中列出的比例縮放因子
為在移動裝置中最常遇到的比例縮放因子的實例。對于每一比例縮放因子，可基于檢測
到的邊緣的類型和所要的滑離(roll off)特征來選擇濾波器的不同相位。對于某些紋理和邊緣區(qū)域， 一些濾波器比其它濾波器更好地工作。基于實驗結(jié)果和視覺估計導(dǎo)出濾波器分接頭(filtert叩)。在一些實施例中，在接收器(解碼器/顯示器驅(qū)動器)處的適度復(fù)雜的縮放器可基于區(qū)塊/瓦片(tile)自適應(yīng)地在濾波器之間選擇。了解接收器的縮放器中的特征的編碼器可指示(基于與原始的比較)針對每一區(qū)塊選擇濾波器中的哪一者(例如，提供對濾波器的表格的索引)。此方法可為對解碼器經(jīng)由邊緣檢測決定適當(dāng)?shù)臑V波器的替代方案。其使處理循環(huán)和解碼器中的功率最小化，因為其并不必須執(zhí)行與邊緣檢測相關(guān)聯(lián)的決策邏輯(例如，消耗許多處理器循環(huán)的修剪和定向操作)。伽瑪校正
伽瑪校正、伽瑪非線性、伽瑪編碼或通常簡稱的伽瑪為用以編碼和解碼視頻或靜態(tài)圖像系統(tǒng)中的亮度或三色激勵值的非線性操作的名稱，且其也為可在解碼器22中實施的另一種后處理技術(shù)。伽瑪校正控制圖像的整體亮度。未經(jīng)適當(dāng)校正的圖像可能看起來褪色或者太暗。試圖準(zhǔn)確地再現(xiàn)色彩也需要對伽瑪校正有些了解。改變伽瑪校正的量不僅改變亮度，也改變紅綠藍(lán)的比率。在最簡單的情況下，伽瑪校正由以下冪律表達(dá)式定義
其中輸入和輸出值為非負(fù)實值，通常處于例如o到i的預(yù)定范圍內(nèi)。通常將y〈i的情況
稱作伽瑪壓縮，并將7"稱作伽瑪擴(kuò)展。在其中解碼器后處理包括伽瑪校正的實施方案中，可在解碼器22中實施對應(yīng)的伽瑪后處理技術(shù)。通常，在LCD面板內(nèi)的模擬域中進(jìn)行伽瑪校正。通常，伽瑪校正后跟隨抖動(dithering),但在一些情況下，首先執(zhí)行抖動。
直方圖均衡化
直方圖均衡化為使用像素值的直方圖修改圖像中的像素的動態(tài)范圍的方法。通常，
圖像中的信息并非均勻地分布在可能的值范圍上?？赏ㄟ^繪示像素的數(shù)目(y軸)對每一像素的亮度(例如，對于八位單色圖像為從0到255) (x軸)的關(guān)系以形成圖像直方圖來說明圖像的此像素強(qiáng)度頻率分布。圖像直方圖展示圖像中落在各種亮度水平邊界內(nèi)的像素數(shù)目的圖形表示。動態(tài)范圍為直方圖的所占據(jù)部分的寬度的測量。通常，具有小的動態(tài)范圍的圖像也具有低對比度，且具有大的動態(tài)范圍的圖像具有高對比度。使用映射操作(例如，直方圖均衡化、對比度或伽瑪調(diào)整或者另一重新映射操作)可改變圖像的動態(tài)范圍。當(dāng)減小了圖像的動態(tài)范圍時，可使用較少的位表示(和編碼)所得的"平坦化(flattened)"圖像。
可對像素強(qiáng)度范圍(例如，像素亮度值的范圍)執(zhí)行動態(tài)范圍調(diào)整。雖然通常對整個圖像執(zhí)行，但也可對一圖像的一部分(例如，表示所述圖像的一部分的經(jīng)識別的像素強(qiáng)度范圍)進(jìn)行動態(tài)范圍調(diào)整。在一些實施例中，圖像可具有兩個或兩個以上識別部分(例如，由不同圖像標(biāo)的物內(nèi)容、空間位置或由圖像直方圖的不同部分而區(qū)分)，且可單獨地調(diào)整每一部分的動態(tài)范圍。
直方圖均衡化可用以增加圖像的局部對比度，尤其當(dāng)圖像的可用數(shù)據(jù)由緊密的對比度值表示時。經(jīng)由此調(diào)整，可將強(qiáng)度優(yōu)選分布于直方圖上。此允許較低局部對比度的區(qū)域獲得較高的對比度，而不影響整體對比度。通過有效地展開像素強(qiáng)度值，直方圖均衡化實現(xiàn)此情形。所述方法可用于具有均為亮或均為暗的背景與前景的圖像中。
雖然直方圖均衡化改進(jìn)對比度，但其也降低了圖像的壓縮效率。在一些編碼方法中，在編碼前可使用直方圖均衡化特性的"反向"以大體上改進(jìn)壓縮效率。在反向直方圖均衡化過程中，重新映射像素亮度值以減小對比度；所得的圖像直方圖具有較小的(壓縮的)動態(tài)范圍。在此過程的一些實施例中，可在編碼圖像之前導(dǎo)出每一圖像的直方圖。多媒體的圖像中的像素的亮度范圍可經(jīng)縮放以有效地將圖像直方圖壓縮到較窄范圍的亮度值。因此，可減小圖像的對比度。當(dāng)壓縮此圖像時，歸因于低/小范圍的亮度值，編碼效率高于無直方圖壓縮的情況。當(dāng)在終端裝置處解碼所述圖像時，在所述終端裝置上運行的直方圖均衡化過程將圖像的對比度恢復(fù)到原始分布。在一些實施例中，編碼器可維持(或接收)識別用于終端裝置處的解碼器中的直方圖均衡化算法的指示符。在此情況下，編碼器可使用直方圖均衡化算法的反向以改進(jìn)壓縮效率，且接著將足夠的信息提供到解碼器以用于對比度的恢復(fù)。
18圖11說明編碼裝置1120的一實施例，其可在編碼多媒體數(shù)據(jù)之前減小多媒體數(shù)據(jù) 的動態(tài)范圍，以便使用較少位來編碼多媒體數(shù)據(jù)。在圖11中，多媒體源1126將多媒體 數(shù)據(jù)提供到編碼裝置1120。編碼裝置1120包括預(yù)處理器1118，其接收多媒體數(shù)據(jù)且減 小所述多媒體數(shù)據(jù)中所含的至少一個圖像的動態(tài)范圍。所得的數(shù)據(jù)"壓縮"減小了多媒 體數(shù)據(jù)的大小，且相應(yīng)地減少了需編碼的多媒體數(shù)據(jù)的量。將所得的數(shù)據(jù)提供到編碼器 1121。
編碼器1121編碼經(jīng)調(diào)整的多媒體數(shù)據(jù)且將經(jīng)編碼的數(shù)據(jù)提供到通信模塊1125,以 用于傳輸?shù)饺鐖D1中所說明的終端裝置16 (例如，手持機(jī))。在一些實施例中，也將與 動態(tài)范圍調(diào)整相關(guān)聯(lián)的信息提供到編碼器1121?？蓪⑺鲂畔⒕S持于編碼裝置1121中 以作為指示對像素強(qiáng)度范圍進(jìn)行的修改的指示符。如果提供了與動態(tài)范圍調(diào)整相關(guān)聯(lián)的 信息(或指示符)，則編碼器1121也可編碼此信息且將其提供到通信模塊1125，以用于 傳輸?shù)浇K端裝置16。隨后，終端裝置16在顯示圖像前重新映射(擴(kuò)展)所述圖像的動 態(tài)范圍。在一些實施例中，例如圖2的編碼器21的編碼器可經(jīng)配置以執(zhí)行此預(yù)處理動 態(tài)范圍調(diào)整。在一些實施例中，除了其它編碼實施例(包括本文中例如參考圖1到圖9 所描述的編碼實施例)之外，可執(zhí)行預(yù)處理動態(tài)范圍調(diào)整。
圖9中說明用以指定將在解碼器處執(zhí)行的后處理操作的類型和其參數(shù)的元數(shù)據(jù)(或 指示符)。對縮放的選項為圖9中所描述的用于內(nèi)插濾波器的不同組的系數(shù)。功能指定 符為在圖9中所說明的表格的第2列中列出的一組后處理功能的索引。編碼器可從此組 選擇產(chǎn)生將要編碼的差異信息的最小熵的功能(基于區(qū)塊)。視情況，選擇標(biāo)準(zhǔn)也可為 最高質(zhì)量，經(jīng)由一些目標(biāo)裝置(例如，PSNR、 SSIM、 PQR等)測量所述質(zhì)量。另外， 對于每一指定的功能，基于用于此功能的方法提供一組選項。舉例來說，使用邊緣檢測 方法(例如， 一組Sobd濾波器或者3x3或5x5高斯掩模)，接著使用高頻強(qiáng)調(diào)，邊緣 增強(qiáng)可發(fā)生于回路外。在一些實施例中，通過使用回路內(nèi)解塊器電路，邊緣增強(qiáng)可發(fā)生 于回路內(nèi)。在后者情況下，在回路內(nèi)解塊期間使用的邊緣檢測方法用以識別邊緣，且對 由解塊濾波器進(jìn)行的常規(guī)低通濾波的補(bǔ)充功能將為用以增強(qiáng)邊緣的銳化濾波器。類似 地，直方圖均衡化具有選項，以在全部范圍的強(qiáng)度值或部分強(qiáng)度值上均衡化，且伽瑪校 正具有用于抖動的選項。
圖7說明通過編碼結(jié)構(gòu)(例如，編碼裝置20(圖2)、編碼裝置30(圖3)、編碼裝 置40 (圖4)和編碼裝置50 (圖5))編碼多媒體數(shù)據(jù)的過程70的一實例。在狀態(tài)71 處，所述過程維持后處理技術(shù)的指示符。舉例來說，所述后處理技術(shù)可用于顯示裝置(例 如，終端16 (圖l))的解碼器中。元數(shù)據(jù)也可在不具體知曉在接收顯示裝置處執(zhí)行什
19么后處理技術(shù)(如果有)的情況下指示眾所周知或普遍的處理技術(shù)。在狀態(tài)72處，所 接收的第一多媒體數(shù)據(jù)首先經(jīng)編碼以形成第一經(jīng)編碼多媒體數(shù)據(jù)。
在狀態(tài)73處，通過解碼第一經(jīng)編碼多媒體數(shù)據(jù)并應(yīng)用由指示符識別的后處理技術(shù)， 過程70產(chǎn)生第二多媒體數(shù)據(jù)。所述后處理技術(shù)可為本文中描述的后處理技術(shù)中的一者 或另一后處理技術(shù)。在狀態(tài)74處，過程70將第二多媒體數(shù)據(jù)與第一多媒體數(shù)據(jù)進(jìn)行比 較以確定比較信息。所述比較信息可為指示所述第二多媒體數(shù)據(jù)與所述第一多媒體數(shù)據(jù) 之間的差異的差異信息。在狀態(tài)75處，過程70接著編碼所述比較信息以形成輔助信息 (第二經(jīng)編碼數(shù)據(jù))。隨后可將輔助信息和經(jīng)編碼的多媒體數(shù)據(jù)傳送到顯示裝置，所述顯 示裝置可使用所述輔助信息以解碼多媒體數(shù)據(jù)。
圖10為說明通過在編碼多媒體數(shù)據(jù)前減小所述多媒體數(shù)據(jù)的至少一部分的像素亮 度強(qiáng)度范圍來編碼多媒體數(shù)據(jù)(例如，由圖11的編碼器1120執(zhí)行)的過程1000的流 程圖。在狀態(tài)1005處，過程IOOO識別多媒體數(shù)據(jù)中的像素亮度強(qiáng)度范圍。舉例來說， 如果所述多媒體數(shù)據(jù)包含一圖像，則過程IOOO可識別或確定那個圖像的像素強(qiáng)度范圍。 如果多媒體數(shù)據(jù)包含圖像序列(例如，視頻)，則可識別所述圖像中的一者或一者以上 的像素強(qiáng)度范圍。舉例來說，像素強(qiáng)度范圍可為含有909b (或者，例如，95%或99%) 的亮度值的圖像中的像素的亮度值范圍。在一些實施例中，如果一圖像序列中的圖像類 似，則可識別所述圖像序列中的所有(或至少許多)圖像的相同的像素強(qiáng)度范圍。在一 些實施例中，可識別和平均化兩個或兩個以上圖像的像素亮度強(qiáng)度范圍。
在狀態(tài)1010處，過程IOOO修改多媒體數(shù)據(jù)的一部分以減小像素亮度強(qiáng)度范圍。通 常，圖像的像素亮度值集中于可用強(qiáng)度范圍的一部分上。減小(或重新映射)像素值以 覆蓋較小的范圍可大大地減少圖像中的數(shù)據(jù)量，其有助于較有效的數(shù)據(jù)編碼和傳輸。減 小像素亮度強(qiáng)度范圍的實例包括"反向"直方圖均衡化、伽瑪校正或?qū)碜?全部"范 圍(例如，對于八位圖像為0-255)的亮度值重新映射到原始強(qiáng)度范圍的僅一部分的減 小的范圍。
在狀態(tài)1015處，過程IOOO編碼經(jīng)修改的多媒體數(shù)據(jù)以形成經(jīng)編碼數(shù)據(jù)?？蓪⒔?jīng)編 碼數(shù)據(jù)傳輸?shù)浇獯a經(jīng)編碼數(shù)據(jù)的終端裝置16 (圖1)。終端裝置中的解碼器執(zhí)行用于擴(kuò) 展多媒體數(shù)據(jù)的強(qiáng)度范圍的過程。舉例來說，在一些實施例中，解碼器執(zhí)行直方圖均衡 化、伽瑪校正或另一圖像重新映射過程，以擴(kuò)展在一像素強(qiáng)度范圍上的多媒體數(shù)據(jù)的像 素值。所得的經(jīng)擴(kuò)展多媒體數(shù)據(jù)可能看起來類似于其原始外觀，或者至少在終端裝置的 顯示器上觀看是令人愉悅的。在一些實施例中，指示強(qiáng)度范圍減小的指示符可經(jīng)產(chǎn)生、 編碼并傳輸?shù)浇K端裝置。終端裝置中的解碼器可使用所述指示符作為用于解碼所接收多
20媒體數(shù)據(jù)的輔助信息。
應(yīng)注意，可將所述方面描述為描繪為流程圖、流程圖表、結(jié)構(gòu)圖或方框圖的過程。 雖然流程圖可將所述操作描述為一連續(xù)過程，但可并行或同時執(zhí)行許多所述操作。另外， 可重新布置所述操作的次序。當(dāng)一過程的操作完成時，終止所述過程。過程可對應(yīng)于方 法、函數(shù)、程序、例行程序、子程序等。當(dāng)過程對應(yīng)于函數(shù)時，其終止對應(yīng)于所述函數(shù) 返回到調(diào)用函數(shù)或主函數(shù)。
所屬領(lǐng)域的技術(shù)人員也應(yīng)了解，在不影響裝置的操作的情況下，可重新布置本文中 所揭示的裝置的一個或一個以上元件。類似地，在不影響裝置的操作的情況下，可組合 本文中所揭示的裝置的一個或一個以上元件。所屬領(lǐng)域的技術(shù)人員應(yīng)理解，可使用多種 不同科技和技術(shù)中的任一者來表示信息和信號。所屬領(lǐng)域的技術(shù)人員應(yīng)進(jìn)一步了解，可 將結(jié)合本文中所揭示的實例所描述的各種說明性邏輯區(qū)塊、模塊和算法步驟實施為電子 硬件、固件、計算機(jī)軟件、中間件、微代碼或其組合。為了清楚地說明硬件和軟件的此 互換性，在上文已大體上根據(jù)其功能性而描述了各種說明性組件、區(qū)塊、模塊、電路和 步驟。將此功能性實施為硬件還是軟件取決于特定應(yīng)用和強(qiáng)加在整個系統(tǒng)上的設(shè)計約 束。所屬領(lǐng)域的技術(shù)人員可針對每一特定應(yīng)用以不同方式實施所描述的功能性，但不應(yīng) 將此類實施決策解釋為造成脫離所揭示的方法的范圍。
結(jié)合本文中所揭示的實例所描述的方法或算法的步驟可直接包含在硬件中、由處理 器執(zhí)行的軟件模塊中，或兩者的組合中。軟件模塊可駐留在RAM存儲器、快閃存儲器、 ROM存儲器、EPROM存儲器、EEPROM存儲器、寄存器、硬盤、可移除盤、CD-ROM， 或此項技術(shù)中己知的任何其它形式的存儲媒體中。將示范性存儲媒體耦合到處理器以使 得所述處理器可從所述存儲媒體讀取信息，以及將信息寫入所述存儲媒體。在替代方案 中，存儲媒體可整合到所述處理器。處理器和存儲媒體可駐留于專用集成電路(ASIC) 中。所述ASIC可駐留于無線調(diào)制解調(diào)器中。在替代方案中，處理器和存儲媒體可作為 離散組件而駐留于無線調(diào)制解調(diào)器中。
此外，可通過經(jīng)設(shè)計以執(zhí)行本文中所描述的功能的通用處理器、數(shù)字信號處理器 (DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)或其它可編程邏輯裝置、 離散門或晶體管邏輯、離散硬件組件或其任何組合來實施或執(zhí)行結(jié)合本文中所揭示的實 例而描述的各種說明性邏輯區(qū)塊、組件、模塊和電路。通用處理器可為微處理器，但在 替代方案中，所述處理器可為任-常規(guī)處理器、控制器、微控制器或狀態(tài)機(jī)。也可將處 理器實施為計算裝置的組合，例如，DSP與微處理器的組合、多個微處理器、 一個或一 個以上微處理器結(jié)合DSP核心或者任一其它此類配置。所揭示的實例的先前描述經(jīng)提供以使任何所屬領(lǐng)域的技術(shù)人員能夠制造或使用揭 示的方法和設(shè)備。所屬領(lǐng)域的技術(shù)人員將容易明白對這些實例的各種修改，且在不脫離 所揭示的方法和設(shè)備的精神或范圍的情況下，可將本文中界定的原理應(yīng)用于其它實例或 可添加額外的元件。希望對所述方面的描述是說明性的，且不限制權(quán)利要求書的范圍。
權(quán)利要求
1. 一種處理多媒體數(shù)據(jù)的方法，所述方法包含識別多媒體數(shù)據(jù)的至少一個圖像中的至少一個像素強(qiáng)度范圍；修改所述多媒體數(shù)據(jù)的至少一部分以減小所述至少一個像素強(qiáng)度范圍；以及編碼所述經(jīng)修改的多媒體數(shù)據(jù)以形成經(jīng)編碼的多媒體數(shù)據(jù)。
2. 根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包含將所述經(jīng)編碼的多媒體數(shù)據(jù)傳輸?shù)浇K端 裝置。
3. 根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包含維持指示對所述多媒體數(shù)據(jù)進(jìn)行的用以減小所述至少一個像素強(qiáng)度范圍的所述 修改的指示符；以及編碼所述指示符以供傳輸?shù)浇K端裝置。
4. 根據(jù)權(quán)利要求3所述的方法，其進(jìn)一步包含將所述指示符多媒體數(shù)據(jù)傳輸?shù)浇K端裝 置。
5. 根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包含存儲在終端裝置的解碼器中用以修改像 素強(qiáng)度范圍的后處理技術(shù)的指示符，以及在編碼前基于所述指示符修改所述多媒體 數(shù)據(jù)的所述至少一個像素強(qiáng)度范圍。
6. 根據(jù)權(quán)利要求1所述的方法，其中修改所述至少一個像素強(qiáng)度范圍包含反向直方圖 均衡化操作。
7. 根據(jù)權(quán)利要求1所述的方法，其中修改所述至少一個像素強(qiáng)度范圍包含伽瑪校正。
8. 根據(jù)權(quán)利要求1所述的方法，其中至少部分基于所檢測的像素值范圍和界定像素強(qiáng) 度值范圍的極限的閾值來修改所述至少一個像素強(qiáng)度范圍。
9. 根據(jù)權(quán)利要求1所述的方法，其中所述識別包含識別所述多媒體數(shù)據(jù)的至少一個圖 像中的兩個或兩個以上像素強(qiáng)度范圍，且其中所述修改包含修改所述多媒體數(shù)據(jù)以減小所述兩個或兩個以上像素強(qiáng)度范圍。
10. 根據(jù)權(quán)利要求9所述的方法，其中所述兩個或兩個以上像素強(qiáng)度范圍表示所述至少 一個圖像的不同圖像標(biāo)的物內(nèi)容。
11. 根據(jù)權(quán)利要求9所述的方法，其中所述兩個或兩個以上像素強(qiáng)度范圍表示所述至少 一個圖像的像素的不同空間位置。
12. 根據(jù)權(quán)利要求9所述的方法，其中所述兩個或兩個以上像素強(qiáng)度范圍表示所述至少 一個圖像的圖像直方圖的不同部分。
13. —種用于處理多媒體數(shù)據(jù)的系統(tǒng)，其包含圖像處理模塊，其經(jīng)配置以識別多媒體數(shù)據(jù)的一部分的像素強(qiáng)度范圍，所述圖像處理模塊進(jìn)一步經(jīng)配置以修改所述多媒體數(shù)據(jù)，以減小所述像素強(qiáng)度范圍；以及 編碼器，其經(jīng)配置以編碼所述經(jīng)修改的多媒體數(shù)據(jù)，以形成經(jīng)編碼的多媒體數(shù)據(jù)。
14. 根據(jù)權(quán)利要求13所述的系統(tǒng)，其中所述圖像處理模塊產(chǎn)生指示對所述多媒體數(shù)據(jù) 進(jìn)行的用以減小所述像素強(qiáng)度范圍的所述修改的指示符，且其中所述編碼器經(jīng)配置 以編碼所述指示符以供與所述經(jīng)編碼的多媒體數(shù)據(jù)一起傳輸。
15. 根據(jù)權(quán)利要求13所述的系統(tǒng)，其進(jìn)一步包含存儲裝置，所述存儲裝置經(jīng)配置以存 儲在終端裝置的解碼器中用以修改像素強(qiáng)度范圍的后處理技術(shù)的指示符，以及在編 碼前基于所述指示符修改所述多媒體數(shù)據(jù)的所述至少一個像素強(qiáng)度范圍。
16. 根據(jù)權(quán)利要求13所述的系統(tǒng)，其中修改所述至少一個像素強(qiáng)度范圍包含反向直方 圖均衡化操作。
17. 根據(jù)權(quán)利要求13所述的系統(tǒng)，其中修改所述至少一個像素強(qiáng)度范圍包含伽瑪校正。
18. 根據(jù)權(quán)利要求13所述的系統(tǒng)，其中所述圖像處理模塊經(jīng)配置以識別所述多媒體數(shù) 據(jù)的至少一個圖像中的兩個或兩個以上像素強(qiáng)度范圍，以及修改所述多媒體數(shù)據(jù)以 減小所述兩個或兩個以上像素強(qiáng)度范圍。
19. 根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述兩個或兩個以上像素強(qiáng)度范圍表示所述至 少一個圖像的不同圖像標(biāo)的物內(nèi)容。
20. 根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述兩個或兩個以上像素強(qiáng)度范圍表示所述至 少一個圖像的像素的不同空間位置。
21. 根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述兩個或兩個以上像素強(qiáng)度范圍表示所述全 少一個圖像的圖像直方圖的不同部分。
22. —種用于處理多媒體數(shù)據(jù)的系統(tǒng)，其包含用于識別多媒體數(shù)據(jù)的至少一個圖像中的至少一個像素強(qiáng)度范圍的裝置； 用于修改所述多媒體數(shù)據(jù)的至少一部分以減小所述至少一個像素強(qiáng)度范圍的裝 置以及用于編碼所述經(jīng)修改的多媒體數(shù)據(jù)以形成經(jīng)編碼的多媒體數(shù)據(jù)的裝置。
23. 根據(jù)權(quán)利要求22所述的系統(tǒng)，其進(jìn)一步包含用于將所述經(jīng)編碼的多媒體數(shù)據(jù)傳輸 到終端裝置的裝置。
24. 根據(jù)權(quán)利要求22所述的系統(tǒng)，其進(jìn)一步包含用于維持指示對所述多媒體數(shù)據(jù)進(jìn)行的用以減小所述至少一個像素強(qiáng)度范圍的 所述修改的指示符的裝置；以及用于編碼所述指示符以供傳輸?shù)浇K端裝置的裝置。
25. 根據(jù)權(quán)利要求22所述的系統(tǒng)，其中所述用于修改所述至少一個像素強(qiáng)度范圍的裝 置包含用于執(zhí)行反向直方圖均衡化操作的裝置。
26. 根據(jù)權(quán)利要求22所述的系統(tǒng)，其中所述用于修改所述至少一個像素強(qiáng)度范圍的裝 置包含用于執(zhí)行伽瑪校正的裝置。
27. 根據(jù)權(quán)利要求22所述的系統(tǒng)，其中至少部分基于所檢測的像素值范圍和界定像素 強(qiáng)度值范圍的極限的閾值來修改所述至少一個像素強(qiáng)度范圍。
28. 根據(jù)權(quán)利要求22所述的系統(tǒng)，其中所述用于識別的裝置包含用于識別所述多媒體 數(shù)據(jù)的至少一個圖像中的兩個或兩個以上像素強(qiáng)度范圍的裝置，且其中所述用于修 改的裝置包含用于修改所述多媒體數(shù)據(jù)以減小所述兩個或兩個以上像素強(qiáng)度范圍 的裝置。
29. —種機(jī)器可讀媒體，其包含存儲于其上的指令，其中所述指令可在一個或一個以上機(jī)器上執(zhí)行，且其中所述指令包含用于識別多媒體數(shù)據(jù)的至少一個圖像中的至少一個像素強(qiáng)度范圍的指令 用于修改所述多媒體數(shù)據(jù)的至少一部分以減小所述至少一個像素強(qiáng)度范圍的指令；以及用于編碼所述經(jīng)修改的多媒體數(shù)據(jù)以形成經(jīng)編碼的多媒體數(shù)據(jù)的指令。
30. 根據(jù)權(quán)利要求29所述的機(jī)器可讀媒體，其進(jìn)一步包含用于將所述經(jīng)編碼的多媒體數(shù)據(jù)傳輸?shù)浇K端裝置的指令。
31. 根據(jù)權(quán)利要求29所述的機(jī)器可讀媒體，其進(jìn)一步包含用于維持指示對所述多媒體數(shù)據(jù)進(jìn)行的用以減小所述至少一個像素強(qiáng)度范圍的所述修改的指示符的指令；以及用于編碼所述指示符以供傳輸?shù)浇K端裝置的指令。
32. 根據(jù)權(quán)利要求29所述的機(jī)器可讀媒體，其中所述用于修改所述至少一個像素強(qiáng)度 范圍的指令包含用于執(zhí)行反向直方圖均衡化操作的指令。
33. 根據(jù)權(quán)利要求29所述的機(jī)器可讀媒體，其中所述用于修改所述至少一個像素強(qiáng)度 范圍的指令包含用于執(zhí)行伽瑪校正的指令。
34. 根據(jù)權(quán)利要求29所述的機(jī)器可讀媒體，其中至少部分基于所檢測的像素值范圍和 界定像素強(qiáng)度值范圍的極限的閾值來修改所述至少一個像素強(qiáng)度范圍。
35. 根據(jù)權(quán)利要求29所述的機(jī)器可讀媒體，其中所述用于識別的指令包含用于識別所 述多媒體數(shù)據(jù)的至少一個圖像中的兩個或兩個以上像素強(qiáng)度范圍的指令，且其中所述用于修改的指令包含用于修改所述多媒體數(shù)據(jù)以減小所述兩個或兩個以上像素 強(qiáng)度范圍的指令。
全文摘要
本申請案包括用于基于編碼器輔助式預(yù)處理來處理多媒體數(shù)據(jù)以在接收器處產(chǎn)生增強(qiáng)的多媒體數(shù)據(jù)的裝置和方法。在一方面中，處理多媒體數(shù)據(jù)包括識別多媒體數(shù)據(jù)的至少一個圖像中的至少一個像素強(qiáng)度范圍；修改所述多媒體數(shù)據(jù)的至少一部分以減小所述像素強(qiáng)度范圍；以及編碼所述經(jīng)修改的多媒體數(shù)據(jù)以形成經(jīng)編碼的多媒體數(shù)據(jù)。
文檔編號H04N7/26GK101491103SQ200780027205
公開日2009年7月22日 申請日期2007年7月19日 優(yōu)先權(quán)日2006年7月20日
發(fā)明者維賈雅拉克希米·R·拉溫德朗 申請人:高通股份有限公司