專利名稱：光變編碼的制作方法
技術領域：
本發(fā)明涉及用于編碼包含某些類型的光變(light change)的視頻幀的方法，并且更具體地涉及利用向后預測的方法。
背景技術：
一般地，視頻序列中的光變難以編碼并且通常會導致得到的經(jīng)解碼視頻中預想的視頻畫質降低。這是由于用于產(chǎn)生對發(fā)生光變的幀的良好預測的運動補償?shù)哪芰Φ南拗疲?因為一般只有運動被考慮。為了解決此問題，一些視頻編碼器利用加權預測，其中，加權因子和偏移因子被計算并被應用于經(jīng)運動補償?shù)膸瑏砀纳朴糜诰幋a的參考預測幀。然而，某些類型的光變非常難以編碼。這些類型的光變以強的光強情形開始，之后光強逐漸減弱，從而展示視覺內(nèi)容。對于相反的情況，以非常低的光強開始，之后光強逐漸增強，從而展示特定場景的視覺內(nèi)容。涵蓋了這兩種情況的定義可利用如自信息(self-information)或熵的信息理論概念來表達。在此情況中，目標光變可被定義為幀的集合，其中信息內(nèi)容(或自信息)的量沿著光變行為中所涉及的幀而逐漸增大。參見用作光變的示例的圖1。典范示例包括黑色淡入(fade in)和白色淡入幀序列。參考圖1，在黑色淡入中，某連續(xù)幀組以黑色幀19 (或者接近黑色)開始，并且在隨后的幀20、21、22和23期間，這些幀的光強逐漸增強，直到被認為是淡變行為結束的特定對比度為止。在白色淡入(也稱為閃入)中，某連續(xù)幀組以白色幀(或者接近白色)而非黑色幀開始，并且在隨后的幀期間，這些幀的光強逐漸減弱，直到被認為是淡變行為結束的特定對比度為止。滿足上述定義的這些類型的光變將被表示為目標光變或TLC。視頻編碼器中的向前預測編碼方式是用于運動估計和運動補償?shù)哪J方式。在基于MPEG的視頻標準中，它們通過P幀來表示，并且它們是通過從在前的I幀或在前的P幀生成的。對于TLC光變，向前預測編碼方式的利用可能在重構視頻中產(chǎn)生畫質失真。這可能在直觀上很明顯，因為預測根據(jù)的是比用作用于預測的參考的幀具有更高細節(jié)(更高信息內(nèi)容)的幀。在實踐中，如果向前預測被應用于TLC幀，則結果要么是劣質的幀間預測， 要么不能有效利用幀內(nèi)方式來編碼這些幀。因此，在恒定比特率(CBR)編碼的情形中，TLC 幀示出比非TLC幀低的預想畫質。另一方面，如果結合加權預測對TLC幀采用逆向編碼順序，更準確的預測可被產(chǎn)生以用于編碼這些幀。一般地，已經(jīng)利用加權預測技術來解決對于普通光變行為的嘗試處理。一般地，這些嘗試計算加權預測參數(shù)，從而使得把它們應用于經(jīng)運動補償?shù)膸捎行У販p少由于光變幀引起的失真。

發(fā)明內(nèi)容
—種編碼方法被提供用于視頻編碼器，以對TLC幀編碼來改善得到的經(jīng)解碼視頻的畫質。向后預測而非向前預測被應用于被檢測為TLC幀的幀。另外，最后檢測出的TLC幀(按照顯示順序)被強迫只利用幀內(nèi)編碼方式。一種編碼一系列視頻幀的方法被提供，該方法包括檢測此系列中以極端光幀開始的光變模式；緩存此系列的幀；選擇此系列中的末尾光變幀，所述末尾光變幀比所述極端光幀具有更多的信息內(nèi)容；以及從光變幀的末尾到所述極端光幀向后地對幀進行編碼。所述極端光幀可以是黑色或基本黑色的幀，或者白色或基本白色的幀。所述末尾光變幀可通過幀內(nèi)編碼方式來被編碼。所緩存的幀的數(shù)量可依賴于緩存器的大小和/或所緩存的幀的數(shù)量可依賴于畫面組中所允許的幀的最大數(shù)量。一種裝置被提供，該裝置適于生成或接收包含一系列經(jīng)編碼的視頻幀的信號，所述經(jīng)編碼的視頻幀是通過檢測此系列中以極端光幀開始的光變模式；選擇此系列中末尾光變幀，所述末尾光變幀比所述極端光幀具有更多的信息內(nèi)容；以及從光變幀的末尾到所述極端光幀向后地對幀進行編碼而被編碼的。所述信號可表示數(shù)字信息，并且可以是電磁波的形式。所述信號可以是基帶信號。一種能夠編碼視頻幀的設備被提供，該設備包括預分析模塊，該預分析模塊具有光變檢測裝置；編碼模塊，該編碼模塊具有畫面組(GOP)模式?jīng)Q定子模塊，該畫面組(GOP) 模式?jīng)Q定子模塊建立屬于GOP的幀的編碼順序和顯示順序，從而為被預分析模塊檢測為具有光變的幀設置向后預測編碼順序。


現(xiàn)在將參考附圖借助于示例來描述本發(fā)明，其中圖1是具有光變的一系列視頻幀；圖2是根據(jù)本發(fā)明的編碼系統(tǒng)的框圖；圖3示意性地示出根據(jù)本發(fā)明的幀編碼方法；圖4也示意性地示出根據(jù)本發(fā)明的幀編碼方法；以及圖5也示意性地示出根據(jù)本發(fā)明的幀編碼方法。
具體實施例方式圖2表示簡化的視頻編碼器25的框圖，視頻編碼器25包括預分析模塊30和編碼模塊40，它們將在下面的段落中更詳細地被描述。預分析模塊30具有光變檢測算法32，其識別光變中所涉及的那些幀19-23并且以特殊的標志標記這些幀，特殊的標志指示它們所屬的光變類型。假設被分類作為光變的部分的幀可被如此標記并使得編碼器25知道它們。這些幀19-23稍后被用于改善運動補償幀的預測。值得注意的是，在此描述的用于光變編碼的實現(xiàn)方式獨立于用于光變檢測的算法而起作用。光變算法雖然在此被描述為作為預分析模塊的一部分，但是不是必須駐留在預分析模塊中。替代地，依賴于編碼器的實現(xiàn)方式，光變算法可駐留在編碼器內(nèi)，或者可以是搜集用于要被編碼的幀的元數(shù)據(jù)的外部模塊的一部分。方法包括作為第一步，強制最后檢測到的TLC幀(在圖1中的23或圖3中的 TLC6)只利用幀內(nèi)編碼方式來被編碼。此決定是在方式選擇模塊44中做出的。方式選擇模塊44檢查光行為標記來看當前幀是否是一系列檢測到的TLC幀中的最后的幀。如果是，則禁用除了幀內(nèi)編碼方式以外的所有編碼方式。詳盡的實驗表明，如果不做此強迫，則用于產(chǎn)生預測的(一個或多個)幀在時間上相距很遠，從而導致差的預測。如果不利用此技術的話，就所涉及的幀的數(shù)量方面而言光變越長，則預測可能越差。因此，在給定此類型的序列的情況下，只利用幀內(nèi)編碼方式來編碼此幀實現(xiàn)了較高的畫質。在圖2的示例中，畫面組(GOP)模式?jīng)Q定子模塊42建立屬于GOP的所有幀的編碼順序和顯示順序。第二步發(fā)生在子模塊42中。此子模塊42現(xiàn)在考慮在光變檢測中所收集的信息，并且對于檢測到的TLC巾貞，在圖3中的TLC6和TLCl之間設置向后預測編碼順序。 此GOP模式?jīng)Q定的結果是，編碼器將更準確地遵循所定義的編碼順序并且任何TLC幀(即， TLC1-TLC6)將自動地利用向后預測被編碼。此方法由于不需要對任何其他視頻編碼器模塊進行修改，因此是所希望的。圖3示出GOP模式?jīng)Q定如何在TLC行為中指定利用向后預測。 在圖3-圖5中，應當注意，TLC幀19-23被稱為TLC1. . . . TLCn。對于到H. ^4/AVC視頻編碼器的應用，對于被向后預測的一系列幀的最大長度存在兩個不同的限制。第一個限制與解碼畫面緩存器(DPB)有關。DPB緩存器的大小強制了利用向后預測編碼方式編碼的一系列幀TLCl-TLCn的最大長度。因為編碼/解碼順序與顯示順序的不相配，向后預測編碼方式的利用強制編碼器和解碼器二者將多個經(jīng)解碼的畫面緩存在緩存器(DPB)中。因為DPB具有與存儲器緩存器約束有關的限制，所以可利用向后預測被編碼的幀的最大數(shù)量也因此被限制。這在圖4中被示出。實驗表明，最顯著的益處發(fā)生在TLC 行為的初始幀(前面的第2-4個幀)TLC1-TLC4中。因此，DPB限制不可能顯著影響此方法的益處。第二個限制由最大GOP大小引起。如果GOP達到最大大小，而TLC行為已經(jīng)開始但是還沒有結束，則向后預測編碼方式被強制以GOP的結束而結束。對于仍被檢測為TLC 幀但是被指派給新GOP的幀，有兩種可能的方式來進行。向前預測編碼方式可被強制用于當前TLC行為的幀中的余下的幀，或者新的向后預測的一系列幀可被指派從新GOP的IDR 之后的幀開始。圖5示出第一種方法。再次，因為預想視頻畫質的最大益處發(fā)生在初始TLC 幀(按照顯示順序)TLC1-TLC4中，所以，即使GOP邊界TLC6之后的幀在新的獨立TLC行為中被向后預測，也不能獲得更多的益處。最后，我們注意到，大多數(shù)實現(xiàn)方式將只利用P幀，而不利用用于編碼TLC幀的B 幀。某些所描述的技術用在B幀中會由于此類型幀中固有的雙向預測而是復雜的。如果B 幀被使用，則一些宏塊可利用來自具有不同光強的幀的參考宏塊，潛在地會引起重構視頻中的視覺馬賽克失真。當然，一些實施方式也可利用B幀。具有具體特征和方面的一個或多個實現(xiàn)方式由此被提供。然而，所描述的實現(xiàn)方式的特征和方面也可適用于其他實現(xiàn)方式。雖然在此描述的實現(xiàn)方式可能是在具體環(huán)境背景中描述的，但是這些描述絕不應被認為是將特征和概念限制于這些實現(xiàn)方式或環(huán)境背
旦
ο在此描述的實現(xiàn)方式例如可實現(xiàn)在方法或處理、裝置或者軟件程序中。即使是在單一形式的實現(xiàn)方式的環(huán)境背景中論述的(例如，僅論述為方法)，但是所論述的實現(xiàn)方式或特征也可以其他形式實現(xiàn)(例如，裝置或程序)。裝置例如可以適當?shù)挠布?、軟件和固件來實現(xiàn)。方法例如可被實現(xiàn)在諸如計算機或其他處理設備之類的裝置中。另外，方法可通過由處理設備或其他裝置執(zhí)行的指令來實現(xiàn)，并且這樣的指令可存儲在例如CD之類的計算機可讀介質、或其他計算機可讀存儲設備或集成電路中。此外，計算機可讀介質可存儲實現(xiàn)方式所產(chǎn)生的數(shù)據(jù)值。對于本領域技術人員而言應當很明顯，這些實現(xiàn)方式還可產(chǎn)生被格式化以承載信息的例如可被存儲或被發(fā)送的信號。所述信息例如可包括用于執(zhí)行方法的指令或者由所描述的實現(xiàn)方式之一產(chǎn)生的數(shù)據(jù)。另外，多種實現(xiàn)方式可實現(xiàn)在編碼器、編碼器的預處理器、解碼器、或解碼器的預處理器的一個或多個中。所描述和所預期到的實現(xiàn)方式可用在各種不同的應用和產(chǎn)品中。 這些應用和產(chǎn)品的一些示例包括通過因特網(wǎng)或其他通信鏈路流傳輸數(shù)據(jù)和點播視頻的機頂盒、蜂窩電話、個人數(shù)字助理(PDA)、電視機、個人記錄設備(例如，PVR、運行記錄軟件的計算機、VHS記錄設備)、便攜攝像機。此外，還可預期到其他實現(xiàn)方式。例如，另外的實現(xiàn)方式可通過組合、刪除、修改或增補所公開的實現(xiàn)方式的各種特征來被創(chuàng)建。下面的列表提供了多種實現(xiàn)方式的簡短列表。此列表并不旨在是排他性的，而是僅僅提供對許多可能的實現(xiàn)方式中的少量實現(xiàn)方式的簡短描述。1. 一種用于包含某種光變的幀的新的編碼方法，其利用向后預測編碼方式來改善畫質并減少失真。2.實現(xiàn)方式1中，所檢測到的光變行為中的最后幀僅利用幀內(nèi)編碼方式來被編碼，以改善此幀的預測。3. 一種新的GOP模式選擇，其利用光變檢測信息來有效地選擇在這樣的光變中所涉及的幀中要采用向前預測或是向后預測。4.實現(xiàn)方式1和/或2中，光變是以強光強情形開始，之后光強逐漸減弱，從而展示視覺內(nèi)容的光變，或者反之，是以非常低的光強開始，之后光強逐漸增強從而展示特定場景的視覺內(nèi)容的光變(分別也被稱為淡入或閃入)。5.實現(xiàn)方式1和/或2，基于GOP中允許的幀的最大數(shù)量以及經(jīng)解碼畫面緩存器 (DPB)的緩存器限制，對利用向后預測的幀的最大數(shù)量進行限制。6.從本公開中描述的實現(xiàn)方式中的任何一種實現(xiàn)方式產(chǎn)生的信號。7.根據(jù)本公開中描述的一種或多種實現(xiàn)方式，創(chuàng)建、組合、存儲、發(fā)送、接收和/或處理視頻編碼信息。8. 一種能夠根據(jù)所描述的實現(xiàn)方式中的一種實現(xiàn)方式或者與其結合來進行操作的設備(例如，編碼器、解碼器、預處理器或后處理器)。9.根據(jù)本公開中描述的一種或多種實現(xiàn)方式的一種用于存儲一個或多個編碼或者用于執(zhí)行編碼的指令集的設備(例如，計算機可讀介質)。10.根據(jù)本公開中描述的一種或多種實現(xiàn)方式的一種被格式化為包括有關編碼的
信息的信號。11.實現(xiàn)方式10中，所述信號表示數(shù)字信息。12.實現(xiàn)方式10中，所述信號是電磁波。13.實現(xiàn)方式10中，所述信號是基帶信號。14.實現(xiàn)方式10中，所述信息包括殘差數(shù)據(jù)、運動矢量數(shù)據(jù)和參考指示符數(shù)據(jù)中的一種或多種。
實驗表明，此經(jīng)組合的技術顯著改善了這樣的幀的可感知視頻編碼畫質。前面說明了實施本發(fā)明的一種或多種可能性。在本發(fā)明的精神和范圍內(nèi)，許多其他實施例是可能的。因此，前面的描述旨在被認為是說明性的，而非限制性的，并且本發(fā)明的范圍由所附權利要求以及它們的全部等同范圍來給定。前面說明了用于實現(xiàn)本發(fā)明的可能性中的一些。在本發(fā)明的精神和范圍內(nèi)，許多其他實施例是可能的。因此，前面的描述旨在被認為是說明性的，而非限制性的，并且本發(fā)明的范圍由所附權利要求以及它們的全部等同范圍來給定。
權利要求
1.一種對一系列視頻幀進行編碼的方法，包括 檢測此系列中以極端光幀開始的光變模式；緩存此系列的幀；選擇此系列中的末尾光變幀，所述末尾光變幀比所述極端光幀具有更多的信息內(nèi)容；以及從光變幀的末尾到所述極端光幀向后地對幀進行編碼。
2.根據(jù)權利要求1所述的方法，其中，所述極端光幀是基本黑色的幀。
3.根據(jù)權利要求1所述的方法，其中，所述極端光幀是基本白色的幀。
4.根據(jù)權利要求1所述的方法，其中，所述末尾光變幀通過幀內(nèi)編碼方式來被編碼。
5.根據(jù)權利要求1所述的方法，其中，所緩存的幀的數(shù)量依賴于緩存器的大小。
6.根據(jù)權利要求1所述的方法，其中，所緩存的幀的數(shù)量依賴于畫面組中允許的幀的最大數(shù)量。
7.—種適于生成或接收包含一系列經(jīng)編碼視頻幀的信號的裝置，所述經(jīng)編碼視頻幀是通過檢測此系列中以極端光幀開始的光變模式；選擇此系列中的末尾光變幀，所述末尾光變幀比所述極端光幀具有更多的信息內(nèi)容；以及從光變幀的末尾到所述極端光幀向后地對幀進行編碼而被編碼的。
8.根據(jù)權利要求7所述的裝置，其中，所述信號表示數(shù)字信息。
9.根據(jù)權利要求7所述的裝置，其中，所述信號是電磁波。
10.根據(jù)權利要求7所述的裝置，其中，所述信號是基帶信號。
11.一種能夠編碼視頻幀的設備，包括 預分析模塊，所述預分析模塊具有光變檢測裝置；編碼模塊，所述編碼模塊具有畫面組(GOP)模式?jīng)Q定子模塊，所述畫面組(GOP)模式?jīng)Q定子模塊建立屬于GOP的幀的編碼順序和顯示順序，從而為被預分析模塊檢測為具有光變的幀設置向后預測編碼順序。
全文摘要
一種用于視頻編碼器的編碼方法對目標光變(TLC)幀進行編碼來改善得到的經(jīng)解碼視頻的畫質。向后預測替代向前預測被應用于被檢測為TLC幀的幀。另外，TLC行為的最后幀被強制只利用幀內(nèi)編碼方式。
文檔編號H04B1/66GK102318203SQ200980145291
公開日2012年1月11日 申請日期2009年11月10日 優(yōu)先權日2008年11月12日
發(fā)明者弗蘭德·瓦爾多瑟拉, 楊華, 艾倫·杰伊·斯坦 申請人:湯姆遜許可證公司