專利名稱：小波變換多媒體編碼中的內插技術的制作方法
技術領域：
本發(fā)明涉及多媒體編碼和解碼，且更明確地說，涉及用于小波變換編碼方案的解碼 技術。
技術背景已經建立了許多不同的用于對數字多媒體序列進行編碼的多媒體編碼技術和標準。 許多當前技術利用基于區(qū)塊的編碼。在基于區(qū)塊的編碼中，多媒體序列的幀被劃分成離 散的數據區(qū)塊，且基于與其它區(qū)塊的差異而對所述區(qū)塊進行編碼?；谶\動的區(qū)塊編碼技術基于相對于多媒體序列中其它幀的區(qū)塊內的像素的運動而 利用運動向量來對多媒體幀的區(qū)塊進行編碼。所述運動向量識別用于對當前多媒體區(qū)塊 進行編碼的不同幀的區(qū)塊。通過使用所述運動向量，可通過發(fā)送指示正被編碼的當前區(qū) 塊與由所述運動向量識別的預測性區(qū)塊之間的差異的差異信息來減少傳送多媒體序列所 需的信息。某些基于空間的編碼技術也依靠區(qū)塊編碼技術。具體地說，基于空間的編碼可使用 給定幀內的區(qū)塊來預測正被編碼的相應區(qū)塊。另外，離散余弦變換(DCT)技術通常對 像素區(qū)塊進行操作。DCT技術通常用于圖像和視頻壓縮，且可單獨使用或結合其它基于 區(qū)塊的編碼技術而使用。小波變換編碼是一種對例如DCT技術的基于區(qū)塊的編碼技術的可行替代。小波變換 編碼有時被稱為離散小波變換(DWT)。使用小波變換編碼的視頻或圖像多媒體壓縮可消 除區(qū)塊假像(blockiness artifact)(有時被稱為平鋪)，所述區(qū)塊假像通常隨DCT編碼而 展現。此外，基于小波的多媒體壓縮的工作性能通常優(yōu)于基于區(qū)塊的DCT壓縮，特別是 在使用峰值信噪比(PSNR)或均方誤差(MSE)度量進行評估時。此外，對于同一壓縮 比，以基于小波的編碼來壓縮的多媒體幀或圖像的主觀質量可能看起來比以區(qū)塊DCT方 法壓縮的多媒體幀或圖像的主觀質量好。發(fā)明內容本發(fā)明描述小波變換編碼方案內的幀內插技術。所述幀內插技術可用于在根據小波 變換編碼方案而編碼的兩個連續(xù)幀或兩個連續(xù)低頻幀之間產生一個或一個以上內插的 幀。所述內插可用于增加經由小波變換而編碼的多媒體序列的有效幀速率，從而提供所 謂的幀速率上轉換(FRUC)。而且，所述技術可用于內插丟失的幀，例如，可能在無線 傳輸期間丟失的幀。本發(fā)明的技術可能對內插當在傳輸期間丟失一個或一個以上高頻分量時原本會丟失 的幀非常有用。舉例來說，如果使用多級小波變換編碼，那么若干原始幀可表示為一個 低頻分量、若干高頻分量和運動場(motion field)。與所述高頻分量相比，可用更多的位 來對低頻分量進行編碼，且可用更高的功率來傳輸所述低頻分量以確保接收。由于在此 類高頻分量在傳輸期間被丟失或破壞的情況下可使用丟失幀的內插，所以可用較少的保 證措施來編碼或傳輸所述高頻分量。在一些實施例中，本發(fā)明提供一種方法，其包括接收與多媒體序列的經編碼的幀 相關聯的小波信息；對所述多媒體序列的所述經編碼的幀進行解碼；以及基于所述小波 信息，在所述經解碼的幀之間內插一個或一個以上額外幀。在一些實施例中，本發(fā)明提供一種設備，其包括接收器，其接收與多媒體序列的 經編碼的幀相關聯的小波信息；以及解碼器，其對所述多媒體序列的所述經編碼的幀進 行解碼，并基于所述小波信息，在所述經解碼的幀之間內插一個或一個以上額外幀。在一些實施例中，本發(fā)明提供一種處理器，其經配置以對多媒體序列的幀進行解 碼，經由小波信息根據小波變換編碼方案對所述幀進行編碼；以及基于小波信息，在所 述經解碼的幀之間內插一個或一個以上額外幀。在一些實施例中，本發(fā)明提供一種設備，其包括用于接收與多媒體序列的經編碼 的幀相關聯的小波信息的裝置；用于對所述多媒體序列的所述經編碼的幀進行解碼的裝 置；以及用于基于所述小波信息而在所述經解碼的幀之間內插一個或一個以上額外幀的 裝置。本文所描述的技術可在硬件、軟件、固件或其任一組合中實施。如果在軟件中實施， 那么所述軟件可在數字信號處理器(DSP)或其它類型的處理器中執(zhí)行。執(zhí)行所述技術 的軟件最初可存儲在機器可讀媒體(例如計算機可讀媒體)中，且加載在處理器或其它 機器中并在其中執(zhí)行，以允許具有如本文所描述的過渡效應的視頻編碼或解碼。因此，本發(fā)明還涵蓋一種機器可讀媒體，其包括指令，所述指令在執(zhí)行后立即致使機器接收與多媒體序列的經編碼的幀相關聯的小波信息；對所述多媒體序列的所述經 編碼的幀進行解碼；以及基于所述小波信息，在所述經解碼的幀之間內插一個或一個以 上額外幀。附圖和下文的描述內容中陳述一個或一個以上實施例的細節(jié)。從所述描述內容和圖 式且從權利要求書中將明白其它特征、目的和優(yōu)點。


圖1是說明可實施根據本發(fā)明的小波變換編碼技術的視頻編碼與解碼系統(tǒng)的框圖。圖2是說明小波變換編碼的概念的概念圖。圖3是說明根據本發(fā)明的小波變換解碼技術的流程圖。圖4是說明在小波變換解碼過程期間在兩個低頻幀之間內插一個幀的概念圖。 圖5是說明在小波變換解碼過程期間在兩個低頻幀之間內插三個幀的概念圖。 圖6是說明可實施根據本發(fā)明的小波變換編碼技術的視頻編碼與解碼系統(tǒng)的另一框圖。
具體實施方式
本發(fā)明描述小波變換編碼方案內的幀內插技術。小波變換編碼是對例如離散余弦變 換(DCT)技術的基于區(qū)塊的編碼技術的替代，且通常工作性能優(yōu)于基于區(qū)塊的DCT壓 縮?；谛〔ǖ木幋a涉及對多媒體序列的連續(xù)幀進行組合以產生低頻和高頻小波分量(有 時稱為"子頻帶幀")。低頻分量和高頻分量是低頻和高頻小波信息的實例，其可用于根 據小波變換編碼方案對多媒體幀進行編碼。具體地說，所述低頻小波信息是正被編碼的幀的粗略或低時間分辨率版本，且通常 表示為兩個正被編碼的幀的平均像素值。高頻小波信息提供正被編碼的幀的附加細節(jié)， 且通常表示為正被編碼的幀的像素之間的差。用于兩個連續(xù)幀的基于小波的編碼信息包 含低頻小波信息、高頻小波信息和指示所述兩個連續(xù)幀的像素之間的運動的運動場。通常，小波變換編碼過程在多個等級上重復，且在編碼過程的每個相應等級處相對 于兩個連續(xù)低頻子頻帶幀而應用。舉例來說，如果使用多級小波變換編碼，那么若干原 始幀可表示為一個低頻分量、若干高頻分量和運動場。根據本發(fā)明，在基于小波的解碼過程期間使用幀內插，以便在兩個連續(xù)幀或兩個連 續(xù)低頻幀之間產生一個或一個以上額外的內插幀。所述內插可用于增加經由小波變換而 編碼的多媒體序列的有效幀速率，支持所謂的幀速率上轉換(FRUC)。而且，所述技術 可用于內插丟失的幀，例如，可能在無線傳輸期間丟失的幀。同樣，當使用多級小波變換編碼時，若干原始幀可表示為一個低頻分量、若干高頻分量和運動場。在這種情況下， 本發(fā)明的技術可能對內插當在傳輸期間丟失一個或一個以上高頻分量時原本會丟失的幀 非常有用。
圖1是說明可實施根據本發(fā)明的小波變換編碼技術的視頻編碼與解碼系統(tǒng)10的框 圖。如圖所示，系統(tǒng)10包含視頻編碼器裝置2和視頻解碼器裝置4。經編碼的多媒體序 列可從視頻編碼器裝置2通過通信信道5傳輸到視頻解碼器裝置4。為此，視頻編碼器 裝置2和視頻解碼器裝置4分別包含發(fā)射器12和接收器16，以促進所述通信，所述通 信可以是有線通信或無線通信。
舉例來說，視頻編碼器裝置2可形成廣播網絡裝置的一部分，所述廣播網絡裝置用 來將一個或一個以上視頻信道廣播到無線訂戶裝置。在這種情況下，視頻編碼器裝置2 可將經編碼的數據傳輸到若干視頻解碼器裝置(即，廣播服務的許多訂戶)。然而，為簡 明起見，圖1說明單個視頻解碼器裝置4。視頻編碼器裝置2和視頻解碼器裝置4可實 施為一個或一個以上處理器、數字信號處理器、專用集成電路(ASIC)、現場可編程門 陣列(FPGA)、離散邏輯、軟件、硬件、固件或其任一組合。
視頻編碼器裝置2的實例可包含無線基站或用于廣播經編碼的視頻數據的任何基礎 結構節(jié)點。另一方面，視頻解碼器裝置4可包括用戶裝置，所述用戶裝置接收經編碼的 視頻。舉例來說，視頻解碼器裝置4可實施為數字電視、無線通信裝置、便攜式數字助 理(PDA)、膝上型計算機或桌上型計算機、數字音樂與視頻裝置(例如以"iPod"為商 標出售的那些裝置)或無線電話(例如蜂窩式、衛(wèi)星或基于地面的無線電話)的一部分。 在其它實例中，視頻編碼器裝置2和視頻解碼器裝置4兩者都可包括用戶裝置，其經由 視頻電話技術(或類似技術)在此類裝置之間傳送視頻數據。
所說明的系統(tǒng)IO中的組件是那些可應用于實施本文所描述的技術的組件的實例，盡 管編碼器裝置2和解碼器裝置4可包含許多其它組件(如果需要的話)。此外，本發(fā)明的 技術不一定限于在與系統(tǒng)IO類似的系統(tǒng)中使用，也不限于在廣播系統(tǒng)中使用。所述技術 可應用于使用小波變換編碼技術來對多媒體序列進行編碼的任何視頻編碼環(huán)境。
如圖1所示，視頻編碼器裝置2包含小波變換CODEC 14，其執(zhí)行多媒體序列的小 波變換編碼。所述多媒體序列可原先存儲在存儲器位置中，為了簡明起見，圖1中未說 明所述存儲器位置。所述存儲器可以是視頻編碼器裝置2的一部分，或可以是向視頻編 碼器裝置2提供多媒體序列的外部存儲器。由小波變換CODEC 14編碼的多媒體序列可 包括待編碼且作為廣播而傳輸的實況實時視頻或視頻與音頻序列，或可包括待編碼且作為廣播傳輸或在要求時傳輸的預先記錄并存儲的視頻或視頻與音頻序列。
小波變換CODEC 14可對多媒體序列的幀實施一個或一個以上等級的小波變換編 碼。具體地說，小波變換CODEC 14對多媒體序列的連續(xù)幀進行組合以產生低頻和高頻 分量(子頻帶幀)。低頻分量(低頻子頻帶幀)是正被編碼的幀的粗略或低時間分辨率版 本，且通常表示為兩個正被編碼的連續(xù)幀的平均像素值。高頻分量(高頻子頻帶幀)提 供正被編碼的幀的附加細節(jié)，且通常表示為所述兩個正被編碼的連續(xù)幀的像素之間的差。 小波變換CODEC 14產生低頻分量、高頻分量和指示所述兩個連續(xù)幀的像素之間的運動 的運動場。而且，在一些情況下，小波變換CODEC 14在多個等級上重復小波編碼過程， 且在所述編碼過程的每個相應等級處相對于兩個連續(xù)低頻子頻帶幀應用所述過程。舉例 來說，如果使用多級小波變換編碼，那么若干原始幀可表示為一個低頻分量、若干高頻 分量和運動場。
小波變換CODEC 14可用比高頻分量多的位來對低頻分量進行編碼。而且，發(fā)射器 12可通過信道5用比高頻分量多的功率來傳輸低頻分量。本發(fā)明的技術可能在內插當在 所述傳輸期間丟失一個或一個以上高頻分量時原本會丟失的幀方面非常有用。本發(fā)明的 技術還可能在將幀內插在原始幀之間以便在解碼器處獲得具有比編碼器處的原始多媒體 序列高的幀速率的多媒體輸出方面非常有用。
視頻解碼器裝置4的接收器16接收小波信息，其根據小波變換編碼方案對多媒體序 列的幀進行編碼。接著，小波變換CODEC 18基于所述小波信息對所述多媒體序列的幀 進行解碼。具體地說，小波變換CODEC 18對所述幀進行解碼，以重構由小波變換CODEC 14編碼的原始幀。根據本發(fā)明，小波變換CODEC 18包含內插單元15。在解碼過程期間， 內插單元15基于所述小波信息在經解碼的幀或經解碼的低頻幀之間內插一個或一個以 上額外幀。下文提供此解碼與內插過程的額外細節(jié)。
圖2是說明小波變換編碼的概念的概念圖。所述基于小波的編碼可由編碼側的小波 變換CODEC 14和解碼側的基于小波的變換CODEC 18來執(zhí)行。更具體地說，圖2說明 三段式運動補償時域濾波(MCTF) 20，其產生基于倍頻程的四頻帶分解。所述過程可使 用哈爾濾波器(Haar filter)或類似物，像基于小波的編碼中常見的那樣。
圖2的符號如下。幀t-l、 t-2、 t-3、 t-4、 t-5、 t-6、 t-7和t-8表示正被編碼的視頻序 列的時間上相鄰的幀。圖2中未針對此第一分解等級處幀之間的運動而展示運動場。幀 t-Ll和t-Hl表示與幀t-l和t-2的基于小波的編碼相關聯的低頻分量和高頻分量。幀t-L2 和t-H2表示與幀t-3和t-4的基于小波的編碼相關聯的低頻分量和高頻分量。幀t-L3和t-H3表示與幀t-5和t-6的基于小波的編碼相關聯的低頻分量和高頻分量。幀t-L4和t-H4 表示與幀t-7和t-8的基于小波的編碼相關聯的低頻分量和高頻分量。
在第二編碼等級處，幀t-LLl和t-LHl表示與子頻帶幀t-Ll和t-L2的基于小波的編 碼相關聯的低頻分量和高頻分量。標記"mf2"是指幀t-Ll與t-L2之間的運動場。幀t-LL2 和t-LH2表示與子頻帶幀t-L3和t-L4的基于小波的編碼相關聯的低頻分量和高頻分量。 標記"mf3"是指幀t-L3與t-L4之間的運動場。
在第三編碼等級處，幀t-LLLl和t-LLHl表示與子頻帶幀t-LLl和t-LL2的基于小波 的編碼相關聯的低頻分量和高頻分量。標記"mfl"是指幀t-LLl與t-LL2之間的運動場。
在圖2所示的三段式MCTF 20中，在幀t-l到t-8的編碼過程中產生并傳輸八個時域 子頻帶幀 一個t-LLL幀、 一個t-LLH幀、兩個t-LH幀和四個t-H幀。存在七個運動場 t-LLI與t-LL2之間的運動場mfl， t-Ll與t-L2之間的運動場mf2， t-L3與t-L4之間的運 動場mf3以及在第一分解等級處的四個其它運動場(為簡明起見未標記)。因此，為了以 小波編碼的三個階段來對幀t-l到t-8進行編碼，小波信息包含一個低頻分量和七個不同 的高頻分量。
在每個等級處，對于每兩個連續(xù)幀或每兩個連續(xù)低頻幀，可如下執(zhí)行哈爾濾波
<formula>formula see original document page 10</formula>'
其中L[m， n]和H[m, n]是時域低頻和高頻幀，A[m, n]和B[m, n]是第一和第二幀，且 (dmdn)是運動向量。
所述分解在編碼過程中是自上而下的程序，而重構在解碼過程中是由下而上的程序。
<formula>formula see original document page 10</formula>運動信息在MCTF中起主要作用。沿運動軌跡執(zhí)行時域濾波。解碼器處需要MCTF 期間編碼器所使用的運動信息。
根據本發(fā)明的內插利用越過不同等級處的運動場的冗余。舉例來說，mfl還含有mf2 的信息。此類冗余為編碼器輔助的幀速率上轉換(EA-FRUC)提供良好的情況。具體地 說，可使用所述內插技術從其它運動場導出至少一個運動場。
圖3是說明根據本發(fā)明的小波變換解碼技術的流程圖。如圖3所示，接收器16接收 與多媒體序列的經編碼的幀相關聯的小波信息(31)。舉例來說，所述小波信息可以是對 多媒體序列的幀進行編碼的信息，且可包含低頻小波信息、高頻小波信息和運動信息。 如上文所描述，低頻小波信息可包括一個或一個以上低頻子頻帶幀，且與高頻小波信息 相比，可使用更多的位和更高的能量來發(fā)送低頻小波信息，以確保所述低頻小波信息的 傳輸。
高頻小波信息也可包括子頻帶幀，即， 一個或一個以上高頻子頻帶幀。與低頻小波 信息相比，可用更少的位和/或更低的能量來發(fā)送高頻小波信息，因為高頻信息的重要 性較小，且內插可尋址一個或一個以上缺失的高頻子頻帶幀。運動信息可包括指示兩個 連續(xù)低頻幀和/或子頻帶幀之間的運動的運動場。
一旦接收到小波信息(31),小波變換CODEC 18就對所述多媒體序列的經編碼的幀 進行解碼(32)。具體地說，(參看圖2)，接收器16可接收t-LLLl、 t-Hl、 t-LHl、 t-H2、 t-LLHl、 t-H3、 t-LH2、 t-H4和所述運動場。小波變換CODEC 18可基于t-LLLl和t-LLHl 而產生t-LLl禾卩t-!X2，基于t-!Xl和t-LHl而產生t-Ll和t-L2，且基于t-IX2和t-LH2 而產生t-L3和t-L4。小波變換CODEC 18還可基于t-Ll和t-Hl而產生t-l和t-2，基于 t-L2和t-H2而產生t-3和t-4，基于t-L3和t-H3而產生t-5和t-6，且基于t-L4和t-H4而 產生t-7和t-8。
接下來，小波變換CODEC 18的內插單元15基于所述小波信息而在經解碼的幀之間 內插一個或一個以上額外幀(33)。可執(zhí)行此內插以產生一個或一個以上缺失的幀，或引 入額外幀以增加經解碼的多媒體序列的有效幀速率。舉例來說，如果未接收到t-Hl、t-LHl 或t-H2中的任一者，那么可使用t-LLl與t-LL2之間的內插來重構t-2、 t-3和t-4?；蛘撸?可使用內插來產生額外幀，例如在t-l與t-2之間、在t-2與t-3之間、在t-3與t-4之間 等等。
一般來說，內插單元15可基于兩個經解碼的低頻幀與表示所述兩個經解碼的低頻幀 之間的運動的運動軌跡來內插一個或一個以上低頻幀。在一些情況下，將一個或一個以上額外幀內插在兩個時間上相鄰的經解碼的幀之間?？梢源朔绞絻炔迦魏螖的總€幀。在 內插過程中，基于兩個時間上相鄰的經解碼的幀的像素之間的運動軌跡產生所述一個或 一個以上額外幀的像素值。包括在運動場中的運動信息提供兩個時間上相鄰的經解碼的 幀的像素之間的運動軌跡。所述運動軌跡在所述兩個時間上相鄰的經解碼的幀之間通常 是線性的，盡管本發(fā)明不一定限于線性內插，且還可延伸到非線性內插。
內插可基于時間上相鄰的經解碼的幀的經解碼的像素相對于被內插的幀的每一像素 而進行。換句話說，內插可包含基于兩個時間上相鄰的經解碼的幀的經解碼的像素與所 述兩個時間上相鄰的經解碼的幀的經解碼的像素之間的運動軌跡內插一個或一個以上額 外幀的每一像素。
圖4是說明包含在兩個低頻幀之間內插一個幀的小波變換解碼的概念圖。在此實例 中，所述低頻幀是t-LLI和t-LL2,其可從t-LLLl和t-LLHl產生(如所說明)。使用包 含在運動場"mfl"中的運動信息來定義幀t-LL2的像素45與幀t-LLl的對應像素46之 間的線性運動軌跡48。在這種情況下，被內插的幀42的相應像素的內插是沿運動軌跡 48的像素44。為了簡明起見，圖4展示幀42的一個像素(像素44)的內插。然而，實 際上，可以類似方式基于經解碼的幀t-LLl和t-LL2中的對應像素和所述幀之間的運動軌 跡內插幀42的每一像素。
在一些情況下，可沿經解碼的幀(即，兩個或兩個以上幀)之間的運動軌跡內插若 干個幀。圖5是說明包含在兩個低頻幀之間內插三個幀的小波變換解碼的概念圖。如果 需要，還可內插額外的幀。
在圖5的實例中，說明低頻幀為t-LLl和t-LL2，其從t-LLLl和t-LLHl產生。使用 包含在運動場"mfl"中的運動信息來定義幀t-LL2的像素55與幀t-LL1的對應像素56 之間的線性運動軌跡58。在這種情況下，被內插的幀52A、 52B和52C的相應像素的內 插分別形成被內插的像素54A、 54B和54C，所有所述內插像素都沿運動軌跡58。如同 圖4，圖5只展示每幀一個像素(幀52A、 52B和52C的像素54A、 54B和54C)的內插。 然而，同樣可以類似方式基于經解碼的幀t-LLl和t-LL2中的對應像素和由所述幀之間的 不同像素定義的運動軌跡內插幀52A、 52B和52C的每一像素。
圖6是說明可實施根據本發(fā)明的小波變換編碼技術的視頻編碼與解碼系統(tǒng)的另一框 圖。如圖6所示，系統(tǒng)60包含視頻編碼器裝置62和視頻解碼器裝置64。經編碼的多媒 體序列從編碼器裝置62通過通信信道65傳輸到視頻解碼器裝置64，所述通信信道65 可以是有線的或無線的。視頻編碼器裝置62包含用于小波變換編碼的模塊74，其執(zhí)行多媒體序列的小波變 換編碼。具體地說，用于小波變換編碼的模塊74可對多媒體序列的幀實施一個或一個以 上等級的小波變換編碼，例如，通過對多媒體序列的連續(xù)幀進行組合以產生低頻和高頻 分量(子頻帶幀)，以及指示連續(xù)幀的像素之間的運動的運動場。此外，用于小波變換編 碼的模塊74可在多個等級上重復小波編碼過程，并在編碼過程的每個相應等級處，相對 于兩個連續(xù)低頻子頻帶幀而應用所述過程。用于發(fā)射的模塊72將所述經編碼的小波信息 (例如， 一個或一個以上低頻分量、 一個或一個以上高頻分量和一個或一個以上運動場) 發(fā)射到視頻解碼裝置64。用于小波變換編碼的模塊74可包括編碼器，所述編碼器根據 小波變換編碼方案而執(zhí)行編碼。用于發(fā)射的模塊72可包括發(fā)送信息的發(fā)射器或既發(fā)送信 息又接收信息的收發(fā)器。
用于接收的模塊76接收小波信息，使用所述小波信息來根據小波變換編碼方案對多 媒體序列的幀進行編碼。接著，用于小波變換解碼的模塊78基于所述小波信息而對所述 多媒體序列的幀進行解碼。具體地說，用于小波變換解碼的模塊78對所述幀進行解碼， 以重構由用于小波變換編碼的模塊74編碼的原始幀。根據本發(fā)明，用于小波變換解碼的 模塊78包含用于內插的模塊75。因此，在解碼過程期間，用于內插的模塊75基于所述 小波信息而在所述經解碼的幀之間內插一個或一個以上額外幀。此內插可用來添加額外 幀，以增加經解碼的視頻的幀速率，或內插一個或一個以上可能在傳輸所述小波信息期 間已經丟失的幀。用于小波變換解碼的模塊78可包括解碼器，所述解碼器根據小波變換 編碼方案而執(zhí)行解碼，但經由用于內插的模塊75來實施本文中的內插技術。用于接收的 模塊76可包括接收信息的接收器或既發(fā)送信息又接收信息的收發(fā)器。
根據本發(fā)明，用于發(fā)射的裝置可包括發(fā)射器12 (圖1)或用于發(fā)射的模塊72(圖6)。 類似地，用于接收的模塊可包括接收器16 (圖1)或用于接收的模塊76 (圖6)。用于小 波變換編碼的裝置可包括小波變換CODEC 14 (圖1)或用于變換編碼的模塊74 (圖6)。 用于小波變換解碼的裝置可包括小波變換CODEC 18 (圖1)或用于變換解碼的模塊78 (圖6)。用于內插的裝置可包括內插單元15 (圖1)或用于內插的模塊75 (圖6)。
已經在小波變換編碼的上下文中針對內插幀描述了許多實施例。本文所描述的技術 可實施在硬件、軟件、固件或其任一組合中。如果實施在軟件中，那么所述技術可部分 地由包括含有指令的程序代碼的計算機可讀媒體(或其它機器可讀媒體)來實現，所述 指令在被執(zhí)行時會執(zhí)行本文所描述的技術中的一者或一者以上。在這種情況下，所述計 算機可讀媒體可包括隨機存取存儲器(RAM)(例如同步動態(tài)隨機存取存儲器(SDRAM))、只讀存儲器(ROM)、非易失性隨機存取存儲器(NVRAM)、電可擦除可 編程只-讀存儲器(EEPROM)，快閃存儲器、磁性或光學數據存儲媒體等等。
所述指令可由一個或一個以上處理器或其它機器執(zhí)行，例如一個或一個以上數字信 號處理器(DSP)、通用微處理器、專用集成電路(ASIC)、現場可編程門陣列(FPGA) 或其它等效集成或離散邏輯電路。通常，執(zhí)行所述指令的機器可包括設備。在一些實施 例中，本文所描述的功能性可在經配置以用于編碼和解碼的專用軟件模塊或硬件單元中 提供，或并入組合視頻編解碼器(CODEC)中。
盡管如此，可在不脫離所附權利要求書的范圍的情況下，對所描述的技術作出各種 修改。因此，上文所描述的特定實施例以及其它實施例在所附權利要求書的范圍內。
權利要求
1. 一種方法，其包括接收與多媒體序列的經編碼的幀相關聯的小波信息； 對所述多媒體序列的所述經編碼的幀進行解碼；以及 基于所述小波信息在所述經解碼的幀之間內插一個或一個以上額外幀。
2. 根據權利要求l所述的方法，其中所述小波信息包含低頻小波信息、高頻小波信息 和運動信息。
3. 根據權利要求1所述的方法，其中內插包括基于兩個經解碼的低頻幀和表示所述兩 個經解碼的低頻幀之間的運動的運動軌跡而內插一個或一個以上低頻幀。
4. 根據權利要求1所述的方法，其進一步包括在兩個時間上相鄰的經解碼的幀之間內 插兩個或兩個以上額外幀。
5. 根據權利要求1所述的方法，其中使用所述小波信息來根據小波變換編碼方案對所 述多媒體序列的所述經編碼的幀進行編碼。
6. 根據權利要求l所述的方法，其中內插包括基于兩個時間上相鄰的經解碼的幀的像 素之間的運動軌跡定義所述一個或一個以上額外幀的像素值。
7. 根據權利要求6所述的方法，其中所述運動軌跡在所述兩個時間上相鄰的經解碼的 幀之間是線性的。
8. 根據權利要求2所述的方法，其中以與所述高頻小波信息不同的位速率對所述低頻 小波信息進行編碼。
9. 根據權利要求2所述的方法，其中以與所述高頻小波信息不同的功率電平傳輸所述 低頻小波信息。
10. 根據權利要求l所述的方法，其中內插包括基于兩個時間上相鄰的經解碼的幀的經 解碼的像素與所述兩個時間上相鄰的經解碼的幀的所述經解碼的像素之間的運動 軌跡內插所述或所述額外幀的每一像素。
11. 一種設備，其包括接收器，其接收與多媒體序列的經編碼的幀相關聯的小波信息；以及 解碼器，其對所述多媒體序列的所述經編碼的幀進行解碼，并基于所述小波信息 在所述經解碼的幀之間內插一個或一個以上額外幀。
12. 根據權利要求11所述的設備，其中所述小波信息包含低頻小波信息、高頻小波信息和運動信息。
13. 根據權利要求11所述的設備，其中所述解碼器基于兩個經解碼的低頻幀與表示所述 兩個經解碼的低頻幀之間的運動的運動軌跡內插一個或一個以上低頻幀。
14. 根據權利要求11所述的設備，其中所述解碼器在兩個時間上相鄰的經解碼的幀之間 內插兩個或兩個以上額外幀。 '
15. 根據權利要求11所述的設備，其中使用所述小波信息來根據小波變換編碼方案對所 述多媒體序列的所述經編碼的幀進行編碼。
16. 根據權利要求11所述的設備，其中所述解碼器通過基于兩個時間上相鄰的經解碼的 幀的像素之間的運動軌跡定義所述一個或一個以上額外幀的像素值來內插所述一 個或一個以上額外幀。
17. 根據權利要求16所述的設備，其中所述運動軌跡在所述兩個時間上相鄰的經解碼 的幀之間是線性的。
18. 根據權利要求12所述的設備，其中以與所述高頻小波信息不同的位速率對所述低 頻小波信息進行編碼。
19. 根據權利要求12所述的設備，其中以與所述高頻小波信息不同的功率電平來傳輸 所述低頻小波信息。
20. 根據權利要求11所述的設備，其中所述解碼器基于兩個時間上相鄰的經解碼的幀的 經解碼的像素與所述兩個時間上相鄰的經解碼的幀的所述經解碼的像素之間的運 動軌跡內插所述一個或一個以上額外幀的每一像素。
21. —種包括指令的機器可讀媒體，所述指令在執(zhí)行后立即致使機器接收與多媒體序列的經編碼的幀相關聯的小波信息； 對所述多媒體序列的所述經編碼的幀進行解碼；以及 基于所述小波信息在所述經解碼的幀之間內插一個或一個以上額外幀。
22. 根據權利要求21所述的機器可讀媒體，其中所述小波信息包含低頻小波信息、高 頻小波信息和運動信息。
23. 根據權利要求21所述的機器可讀媒體，其中機器可讀指令基于兩個經解碼的低頻 幀與表示所述兩個經解碼的低頻幀之間的運動的運動軌跡內插一個或一個以上低 頻幀。
24. 根據權利要求21所述的機器可讀媒體，其中所述機器可讀指令通過基于兩個時間 上相鄰的經解碼的幀的像素之間的運動軌跡定義所述一個或一個以上額外幀的像素值來內插所述一個或一個以上額外幀。
25. —種處理器，其經配置以對多媒體序列的幀進行解碼，經由小波信息根據小波變換編碼方案對所述幀進行 編碼；以及基于所述小波信息在所述經解碼的幀之間內插一個或一個以上額外幀。
26. 根據權利要求25所述的處理器，其中所述小波信息包含低頻小波信息、高頻小波 信息和運動信息。
27. 根據權利要求25所述的處理器，其中所述處理器基于兩個經解碼的低頻幀與表示 所述兩個經解碼的低頻幀之間的運動的運動軌跡內插一個或一個以上低頻幀。
28. 根據權利要求25所述的處理器，其中所述處理器通過基于兩個時間上相鄰的經解 碼的幀的像素之間的運動軌跡定義所述一個或一個以上額外幀的像素值來內插所 述一個或一個以上額外幀。
29. —種設備，其包括用于接收與多媒體序列的經編碼的幀相關聯的小波信息的裝置； 用于對所述多媒體序列的所述經編碼的幀進行解碼的裝置；以及 用于基于所述小波信息在所述經解碼的幀之間內插一個或一個以上額外幀的裝 置。
全文摘要
本發(fā)明描述小波變換編碼方案內的幀內插技術。幀內插可用于在根據小波變換編碼方案編碼的兩個連續(xù)低頻幀之間產生一個或一個以上內插的幀。所述內插可用于增加經由小波變換編碼的多媒體序列的幀速率。而且，所述技術可用于內插丟失的幀，例如，可能在無線傳輸期間丟失的幀。
文檔編號H04N7/26GK101313586SQ200680043668
公開日2008年11月26日 申請日期2006年9月27日 優(yōu)先權日2005年9月27日
發(fā)明者方 石, 維賈雅拉克希米·R·拉韋恩德拉恩, 陳培松 申請人:高通股份有限公司