專利名稱：多層視頻編碼的制作方法
技術(shù)領(lǐng)域：
本揭示案針對(duì)一種用以處理多層視頻數(shù)據(jù)的方法和設(shè)備。
背景技術(shù)：
由于因特網(wǎng)和無線通信的蓬勃增長和極大成功，以及對(duì)于多媒體服務(wù)的越來越多的 需求，因此經(jīng)由因特網(wǎng)和移動(dòng)/無線信道的串流媒體已引起極大的注意。在異質(zhì)因特網(wǎng)協(xié) 議(IP)網(wǎng)絡(luò)中，視頻由服務(wù)器提供且可由一個(gè)或一個(gè)以上客戶端串流。有線連接包括 撥號(hào)、ISDN、電纜、xDSL、光纖、LAN (局域網(wǎng))、WAN (廣域網(wǎng))和其它連接。傳輸 模式可為單播或多播。包括PDA(個(gè)人數(shù)字助理)、膝上型計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、機(jī)頂盒、 TV、 HDTV (高清晰度電視)、移動(dòng)電話和其它裝置在內(nèi)的個(gè)別客戶端裝置的多樣性，需 要同時(shí)針對(duì)相同內(nèi)容而具有不同帶寬的位流。連接帶寬可隨時(shí)間(從9.6 kbps到100 Mbps 和以上)快速變化，且可快于服務(wù)器的反應(yīng)。
與異質(zhì)IP網(wǎng)絡(luò)相似的是移動(dòng)/無線通信。經(jīng)由移動(dòng)/無線信道的多媒體內(nèi)容的傳送非 常具有挑戰(zhàn)性，因?yàn)檫@些信道通常由于多路徑衰退、遮蔽、符號(hào)間干擾和噪音擾動(dòng)而嚴(yán) 重減損。例如遷移率和競爭業(yè)務(wù)等某些其它原因也導(dǎo)致帶寬變動(dòng)和損耗。信道噪音和所 服務(wù)的用戶數(shù)目決定信道環(huán)境的時(shí)變性。除環(huán)境條件以外，目的地網(wǎng)絡(luò)可由于地理位置 以及移動(dòng)漫游的緣故而從第二到第三代蜂窩式網(wǎng)絡(luò)變動(dòng)到寬帶僅數(shù)據(jù)網(wǎng)絡(luò)(broadband data-only network)。所有這些變化需要對(duì)甚至在運(yùn)行中的多媒體內(nèi)容進(jìn)行自適應(yīng)速率調(diào) 整。因此，經(jīng)由異質(zhì)有線/無線網(wǎng)絡(luò)成功地傳輸視頻需要有效的編碼，以及對(duì)于變動(dòng)網(wǎng)絡(luò) 條件、裝置特性和用戶偏好的適應(yīng)性，同時(shí)還對(duì)損耗有彈性。
為了滿足不同用戶需求且適應(yīng)信道變動(dòng)，可產(chǎn)生多個(gè)獨(dú)立版本的位流，每一者滿足 基于傳輸帶寬、用戶顯示和/或計(jì)算能力的一個(gè)等級(jí)的約束，但這對(duì)于服務(wù)器存儲(chǔ)和多播 應(yīng)用來說效率不佳。在可縮放編碼中，在服務(wù)器處建立適應(yīng)高端用戶的單個(gè)宏位流，用于低端應(yīng)用的位流被嵌入作為所述宏位流的子集。如此，通過選擇性地傳輸子位流，單 個(gè)位流可適應(yīng)不同的應(yīng)用環(huán)境。由可縮放編碼提供的另一優(yōu)點(diǎn)是在易出錯(cuò)信道上進(jìn)行穩(wěn) 健的視頻傳輸?？奢p易處理錯(cuò)誤保護(hù)和錯(cuò)誤隱匿?？蓪⑤^可靠的傳輸信道或較好的錯(cuò)誤 保護(hù)應(yīng)用于含有最重要信息的基礎(chǔ)層位。
在例如MPEG-1、 MPEG-2、 MPEG-4 (統(tǒng)稱為MPEG-x)、 H.261、 H.262、 H.263和 H.264 (統(tǒng)稱為H.26x)的混合編碼器中存在空間、時(shí)間和信噪比(SNR)可縮放性。在 混合編碼中，通過運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)(MCP)來去除時(shí)間冗余。視頻通常被分為一系列圖片 組(GOP),其中每一GOP始于幀內(nèi)編碼幀(1)，之后是前向(和/或后向)預(yù)測(cè)幀(P) 與雙向預(yù)測(cè)幀(B)的配置。P幀和B幀兩者均是采用MCP的幀間預(yù)測(cè)幀?；A(chǔ)層可以 較低質(zhì)量等級(jí)含有I幀、P幀或B幀的最重要信息，且增強(qiáng)層可含有相同幀的較高質(zhì)量 信息或基礎(chǔ)層中所不含有的額外時(shí)間縮放幀。SNR可縮放性可在解碼器處通過在解碼基 礎(chǔ)層數(shù)據(jù)的同時(shí)選擇性地略去對(duì)增強(qiáng)層中的較高質(zhì)量數(shù)據(jù)的解碼而實(shí)現(xiàn)。視如何在基礎(chǔ) 層與增強(qiáng)層之間剖析數(shù)據(jù)而定，對(duì)基礎(chǔ)層加增強(qiáng)層數(shù)據(jù)的解碼可引入增加的復(fù)雜性和存 儲(chǔ)器要求。增加的計(jì)算復(fù)雜性和增加的存儲(chǔ)器要求可對(duì)功率受限和計(jì)算能力受限的裝置 (例如PDA (個(gè)人數(shù)字助理)、移動(dòng)電話和類似物)的性能有害。理想的是對(duì)基礎(chǔ)層加 增強(qiáng)層的解碼并不顯著增加此類裝置的計(jì)算復(fù)雜性和存儲(chǔ)器要求。

發(fā)明內(nèi)容
因此，開發(fā)一種用于解碼基礎(chǔ)層加增強(qiáng)層而不顯著增加計(jì)算復(fù)雜性和所需的存儲(chǔ)器 的系統(tǒng)和方法將是有利的。
一個(gè)實(shí)施例包括一種用于處理多媒體數(shù)據(jù)的方法。所述方法包含接收表示至少一 個(gè)視頻幀的第一組量化系數(shù)；接收表示至少一個(gè)視頻幀的第二組量化系數(shù)；以及使用第 一組量化系數(shù)和第二組量化系數(shù)產(chǎn)生表示至少一個(gè)視頻幀的第三組量化系數(shù)。
在某些實(shí)施例中，所述方法進(jìn)一步包含接收表示至少一個(gè)視頻幀的可變長度系數(shù) (VLC)數(shù)據(jù)；以及處理所述VLC數(shù)據(jù)以產(chǎn)生所述第一組量化系數(shù)和所述第二組量化系 數(shù)，其中導(dǎo)致所述第一組和第二組量化系數(shù)的產(chǎn)生的VLC數(shù)據(jù)處理由單個(gè)處理器執(zhí)行。 在某些實(shí)施例中，第二組量化系數(shù)指示對(duì)第一組量化系數(shù)的至少一個(gè)改進(jìn)。在某些實(shí)施 例中，通過將所述第一組量化系數(shù)添加到所述第二組量化系數(shù)而產(chǎn)生第三組量化系數(shù)。 在某些實(shí)施例中，所述第一組量化系數(shù)與所述第二組量化系數(shù)組合以產(chǎn)生所述第三組量 化系數(shù)部分基于與所述第一組量化系數(shù)相關(guān)聯(lián)的第一量化參數(shù)和與所述第二組量化系數(shù) 相關(guān)聯(lián)的第二量化參數(shù)。在某些實(shí)施例中，第一量化參數(shù)和第二量化參數(shù)具有除1之外的公分母。
另一實(shí)施例包括一種用于處理多媒體數(shù)據(jù)的設(shè)備。所述設(shè)備包含用于接收表示至 少一個(gè)視頻幀的第一組量化系數(shù)的裝置；用于接收表示至少一個(gè)視頻幀的第二組量化系 數(shù)的裝置；以及用于使用第一組量化系數(shù)和第二組量化系數(shù)產(chǎn)生表示至少一個(gè)視頻幀的 第三組量化系數(shù)的裝置。
在某些實(shí)施例中，所述設(shè)備進(jìn)一步包含用于接收表示至少一個(gè)視頻幀的VLC數(shù)據(jù) 的裝置；以及用于處理所述VLC數(shù)據(jù)以產(chǎn)生第一組量化系數(shù)和第二組量化系數(shù)的裝置， 其中導(dǎo)致所述第一組和第二組量化系數(shù)的產(chǎn)生的VLC數(shù)據(jù)處理由單個(gè)處理器執(zhí)行。在某 些實(shí)施例中，與所述第一組量化系數(shù)和所述第二組量化系數(shù)相關(guān)聯(lián)的量化參數(shù)具有除1 之外的公分母。在某些實(shí)施例中，所述公分母為6。在某些實(shí)施例中，用于產(chǎn)生所述第 三組量化系數(shù)的裝置使用添加到第二組量化系數(shù)的第一組量化系數(shù)。在某些實(shí)施例中， 將所述第一組量化系數(shù)添加到所述第二組量化系數(shù)以產(chǎn)生所述第三組量化系數(shù)部分基于 與所述第一組量化系數(shù)相關(guān)聯(lián)的第一量化參數(shù)和與所述第二組量化系數(shù)相關(guān)聯(lián)的第二量 化參數(shù)。在某些實(shí)施例中，第二組量化系數(shù)指示對(duì)所述第一組量化系數(shù)的至少一個(gè)改進(jìn)。
另一實(shí)施例包括一種用于處理多媒體數(shù)據(jù)的設(shè)備。所述設(shè)備包含接收模塊，其經(jīng) 配置以接收表示至少一個(gè)視頻幀的第一組量化系數(shù)和表示至少一個(gè)視頻幀的第二組量化 系數(shù)；以及處理模塊，其經(jīng)配置以使用第一組量化系數(shù)和第二組量化系數(shù)產(chǎn)生表示至少 一個(gè)視頻幀的第三組量化系數(shù)。
另一實(shí)施例包括一種包含用于處理多媒體數(shù)據(jù)的指令的機(jī)器可讀媒體，其中所述指 令在執(zhí)行時(shí)導(dǎo)致一機(jī)器確定表示至少一個(gè)視頻幀的第一組量化系數(shù)；確定表示至少一 個(gè)視頻幀的第二組量化系數(shù)；且使用第一組量化系數(shù)和第二組量化系數(shù)編碼表示至少一 個(gè)視頻幀的第三組量化系數(shù)。
另一實(shí)施例包括一種用于處理多媒體的處理器。所述處理器經(jīng)配置以確定表示至少 一個(gè)視頻幀的第一組量化系數(shù)；確定表示至少一個(gè)視頻幀的第二組量化系數(shù)；且使用第
一組量化系數(shù)和第二組量化系數(shù)編碼表示至少一個(gè)視頻幀的第三組量化系數(shù)。 此概述和以下詳細(xì)描述均不意圖界定本發(fā)明。本發(fā)明由權(quán)利要求書界定。


圖1A是用于遞送串流視頻的編碼系統(tǒng)的實(shí)例的說明；
圖1B是圖1A的編碼系統(tǒng)的例示性第一處理器和第二處理器的說明；
圖2是編碼視頻的一個(gè)實(shí)例的流程圖；圖3是圖1A的第一處理器所執(zhí)行的一個(gè)例示性過程的流程圖；以及
圖4是產(chǎn)生表示起初由第一和第二組量化系數(shù)表示的視頻的第三組量化系數(shù)的一個(gè)
例示性過程的流程圖。
具體實(shí)施例方式
本發(fā)明描述以降低的解碼器額外開銷提供包括基礎(chǔ)層和一個(gè)或一個(gè)以上增強(qiáng)層的多 個(gè)視頻層的方法和設(shè)備?；A(chǔ)層和增強(qiáng)層系數(shù)可在解量化之前在兩層均可用于解碼時(shí)根 據(jù)本文所揭示的某些實(shí)施例通過解碼器裝置進(jìn)行組合，從而改進(jìn)解碼效率。
在以下描述中，給出特定細(xì)節(jié)以提供對(duì)實(shí)施例的徹底理解。然而，所屬領(lǐng)域的一般 技術(shù)人員將了解，可在沒有這些特定細(xì)節(jié)的情況下實(shí)踐所述實(shí)施例。舉例來說，電子組 件可以框圖展示，以便不致因不必要的細(xì)節(jié)而使實(shí)施例難以理解。在其它實(shí)例中，可詳 細(xì)展示此類組件、其它結(jié)構(gòu)和技術(shù)以進(jìn)一步解釋所述實(shí)施例。
還應(yīng)注意，實(shí)施例可描述為一過程，所述過程描繪為流程圖、流程圖表、結(jié)構(gòu)圖表， 或框圖。盡管流程圖可將操作描述為一順序過程，但所述操作中的許多操作可并行或同 時(shí)執(zhí)行且所述過程可重復(fù)。另外，操作的次序可重新配置。當(dāng)一過程的操作完成時(shí)，所 述過程終止。 一過程可對(duì)應(yīng)于方法、函數(shù)、程序、子例程、子程序等。當(dāng)一過程對(duì)應(yīng)于 函數(shù)時(shí)，所述過程的終止對(duì)應(yīng)于所述函數(shù)返回到調(diào)用函數(shù)或主函數(shù)。
在常規(guī)單層解碼器中，I幀、P幀和B幀的解碼均遵循相似路徑。無論表示幀內(nèi)編碼 視頻還是殘余錯(cuò)誤的系數(shù)均經(jīng)解量化、逆變換且然后分別與空間預(yù)測(cè)系數(shù)或最佳匹配宏 區(qū)塊系數(shù)組合。
下文中描述的編碼和解碼過程以增加效率的方式使基礎(chǔ)層和/或增強(qiáng)層的可縮放解 碼對(duì)于負(fù)責(zé)解碼視頻數(shù)據(jù)的組件來說為透明的。替代于在每一層的自身通過中單獨(dú)解碼 每一層，且然后組合經(jīng)解碼的層(其為低效的使雙層解碼透明的兩次通過方式)，對(duì)解碼 器有效的透明性可通過例如使用預(yù)處理器(例如數(shù)字信號(hào)處理器(DSP))在組合數(shù)據(jù)在 單次通過中在硬件視頻核心中解碼之前，組合基礎(chǔ)層數(shù)據(jù)和增強(qiáng)層對(duì)基礎(chǔ)層數(shù)據(jù)的修改 而完成，從而提供較高效率。
圖1A是用于解碼多個(gè)視頻層的解碼器裝置100的一實(shí)例的說明。解碼器裝置100
含有視頻核心110，其包括解量化組件120和逆變換組件115;存儲(chǔ)器組件130;通信
組件140;第一處理器180;和第二處理器135。所述解碼器裝置IOO接合到(a)存儲(chǔ) 組件145，其可在解碼器裝置100的內(nèi)部或外部；和(b)顯示組件190。出于與圖1相 關(guān)聯(lián)進(jìn)行論述和說明的目的，假設(shè)存儲(chǔ)組件145在解碼器裝置IOO的外部。解碼器裝置IOO接收來自外部存儲(chǔ)裝置145或來自從網(wǎng)絡(luò)150接收的傳輸?shù)慕?jīng)編碼 數(shù)據(jù)。經(jīng)編碼數(shù)據(jù)可包含經(jīng)變換數(shù)據(jù)、量化數(shù)據(jù)、可變長度編碼(VLC)數(shù)據(jù)或其任意 組合。此外，經(jīng)編碼數(shù)據(jù)可包含用于單獨(dú)視頻層的數(shù)據(jù)，例如基礎(chǔ)層數(shù)據(jù)和增強(qiáng)層數(shù)據(jù)。 舉例來說，通信組件140可接收表示基礎(chǔ)層、增強(qiáng)層的VLC數(shù)據(jù)，和用于將針對(duì)所述兩 層的VLC數(shù)據(jù)變換為量化系數(shù)的査找表。通信組件140含有用以與網(wǎng)絡(luò)150協(xié)同接收 (Rx)經(jīng)編碼數(shù)據(jù)的邏輯，以及用于接收來自外部存儲(chǔ)裝置145的經(jīng)編碼數(shù)據(jù)的邏輯。外 部存儲(chǔ)裝置145可為(例如)外部RAM或ROM，或遠(yuǎn)程服務(wù)器。
第一處理器180含有用于處理VLC數(shù)據(jù)的邏輯。第一處理器180含有用于VLC符 號(hào)產(chǎn)生(也稱為執(zhí)行VLC表査找)、VLC運(yùn)行長度(run length)擴(kuò)充和逆Z字形掃描的 邏輯。因此，第一處理器180可當(dāng)給定表示量化(或殘余)系數(shù)的VLC數(shù)據(jù)時(shí)產(chǎn)生非壓 縮(unpacked)的量化(或殘余)系數(shù)。在某些實(shí)施例中，第一處理器為精簡指令集計(jì) 算機(jī)(RISC)處理器。
第二處理器135含有用于組合表示基礎(chǔ)層和增強(qiáng)層的數(shù)據(jù)(例如量化系數(shù))的邏輯， 使得經(jīng)組合的數(shù)據(jù)可稍后在單個(gè)層中解碼(如在下文中參看圖3更詳細(xì)地討論)。在某些 實(shí)施例中，第二處理器135可含有用于在(例如)未接收到或以一毀壞狀態(tài)接收到增強(qiáng) 層時(shí)或?yàn)榱斯?jié)省電池電力或節(jié)省處理能力而產(chǎn)生基礎(chǔ)層可解碼數(shù)據(jù)的邏輯。在某些實(shí)施 例中，第二處理器135為DSP。
當(dāng)接收幀內(nèi)編碼數(shù)據(jù)時(shí)，第二處理器135首先處理數(shù)據(jù)且然后將經(jīng)處理的數(shù)據(jù)發(fā)送 到視頻核心110的解量化組件120進(jìn)行解量化，之后由視頻核心110的逆變換組件115 進(jìn)行逆變換，得到可顯示于顯示組件190上的經(jīng)解碼的圖片。另一方面，幀間編碼數(shù)據(jù) 在參考幀(從所述參考幀預(yù)測(cè)幀間編碼數(shù)據(jù))被解碼之后予以解碼。殘余錯(cuò)誤系數(shù)由第 二處理器135、解量化組件120和逆變換組件115處理，得到經(jīng)解碼的殘余錯(cuò)誤。然后， 所述殘余錯(cuò)誤與來自參考幀的最佳匹配宏區(qū)塊組合。經(jīng)解碼的幀可由顯示組件190顯示、 存儲(chǔ)于外部存儲(chǔ)裝置145中或存儲(chǔ)于內(nèi)部存儲(chǔ)器130中。
顯示組件190可為含有例如視頻顯示硬件和邏輯的部分的解碼裝置的集成部分(包 括顯示屏幕)，或其可為外部外圍裝置。通信組件175也含有用以將經(jīng)解碼的幀傳遞到外 部存儲(chǔ)組件185或顯示組件190的邏輯。解碼器裝置100的一個(gè)或一個(gè)以上元件可重新 配置和/或組合。
視頻核心IIO含有兩個(gè)組件解量化組件120和逆變換組件115。在某些實(shí)施例中， 視頻核心110可實(shí)施為專用集成電路(ASIC)。解量化組件120和逆變換組件115分別執(zhí)行解量化和逆變換。這些逆操作系經(jīng)執(zhí)行以允許重建表示原始視頻數(shù)據(jù)的系數(shù)和視頻幀， 以使得殘余錯(cuò)誤計(jì)算和增強(qiáng)層系數(shù)計(jì)算盡可能精確。
當(dāng)執(zhí)行逆量化時(shí)，解量化組件120將經(jīng)分配以表示經(jīng)變換系數(shù)中的每一者的位的數(shù) 目用作量化系數(shù)以重新產(chǎn)生經(jīng)變換系數(shù)。所述經(jīng)變換系數(shù)的量化/解量化可針對(duì)每一區(qū)塊 或每一宏區(qū)塊而不同。宏區(qū)塊可為16x16像素區(qū)塊(由一 16x16 Luma區(qū)塊，和兩個(gè)8x8 Chroma區(qū)塊組成)。量化參數(shù)(QP)確定當(dāng)變換系數(shù)量化為量化系數(shù)時(shí)所執(zhí)行的量化等 級(jí)。通過增加QP而實(shí)現(xiàn)較多數(shù)字壓縮，借此提供對(duì)系數(shù)的較低質(zhì)量的數(shù)字表示。在一 個(gè)實(shí)例中，較低質(zhì)量系數(shù)可在SNR可縮放視頻流的基礎(chǔ)層中進(jìn)行編碼。減少Q(mào)P實(shí)現(xiàn)系 數(shù)的較高質(zhì)量的數(shù)字表示。這些較高質(zhì)量系數(shù)可在SNR可縮放視頻流的增強(qiáng)層中進(jìn)行編 碼。
當(dāng)執(zhí)行逆變換時(shí)，逆變換組件115將經(jīng)變換系數(shù)變換為來自空間域的視頻數(shù)據(jù)，例 如經(jīng)解碼的視頻幀。如果使用DCT(離散余弦變換)，那么經(jīng)變換系數(shù)可表示頻域。經(jīng)變 換系數(shù)可為其中變換實(shí)際視頻數(shù)據(jù)的幀內(nèi)編碼數(shù)據(jù)，或其可為其中變換空間預(yù)測(cè)殘余的 幀內(nèi)編碼數(shù)據(jù)，或其可為其中變換殘余錯(cuò)誤的幀間編碼數(shù)據(jù)。其它數(shù)字變換包括 Hadamard變換、DWT(離散小波變換)，和例如H.264中所使用的整數(shù)變換。
在視頻解碼中，例如可使用視頻核心的硬件實(shí)施例來加速計(jì)算密集解碼過程，尤其 是解量化和逆變換。硬件視頻核心可含有能夠同時(shí)執(zhí)行(管線操作)若干功能的特殊電 路和/或處理器。管線操作可使解碼時(shí)間減少。標(biāo)準(zhǔn)管線流中的任何中斷，例如額外逆變 換、額外解量化操作或甚至額外加法可使整個(gè)過程減慢。所屬領(lǐng)域的技術(shù)人員將了解， 視頻核心的一個(gè)或一個(gè)以上實(shí)施例可由硬件、軟件、固件、中間件、微碼或其任意組合 實(shí)施。
通信組件140含有用以從外部源(例如網(wǎng)絡(luò)150)接收經(jīng)編碼數(shù)據(jù)的邏輯。外部源 也可為(例如)外部存儲(chǔ)裝置145、實(shí)況視頻和/或音頻饋入，且接收所述數(shù)據(jù)可包括有 線和/或無線通信。如上所述，經(jīng)編碼數(shù)據(jù)可包含經(jīng)變換數(shù)據(jù)、量化數(shù)據(jù)、可變長度編碼 數(shù)據(jù)或其任意組合。網(wǎng)絡(luò)150可為例如電話系統(tǒng)、電纜系統(tǒng)或光纖系統(tǒng)的有線系統(tǒng)的一 部分，或所述網(wǎng)絡(luò)150可為無線系統(tǒng)。在無線通信系統(tǒng)的狀況下，網(wǎng)絡(luò)150可包含(例 如)碼分多址(CDMA或CDMA2000)通信系統(tǒng)的一部分，或者所述系統(tǒng)可為頻分多址 (FDMA)系統(tǒng)、時(shí)分多址(TDMA)系統(tǒng)(例如GSM/GPRS (通用無線分組業(yè)務(wù))/EDGE (增強(qiáng)數(shù)據(jù)GSM環(huán)境)或用于服務(wù)業(yè)的TETRA (地面中繼無線電)移動(dòng)電話技術(shù))、寬 帶碼分多址(WCDMA)、高數(shù)據(jù)速率(lxEV-DO或lxEV-DO黃金多播)系統(tǒng)，或大體來說任何采用技術(shù)組合的無線通信系統(tǒng)。可重新配置和/或組合解碼器裝置IOO的一個(gè)或 一個(gè)以上元件。舉例來說，通信組件140可在解碼器裝置100的外部。
圖1B是圖1A的編碼系統(tǒng)的例示性第一處理器180和第二處理器135的說明。第一 處理器180包括用于接收VLC數(shù)據(jù)的模塊181和用于處理VLC數(shù)據(jù)的模塊182。第二處 理器135包括用于接收第一組量化系數(shù)的模塊136、用于接收第二組量化系數(shù)的模塊137， 和用于產(chǎn)生第三組量化系數(shù)的模塊138。
在某些實(shí)施例中，第一處理器180經(jīng)由其用于接收VLC數(shù)據(jù)的模塊181接收VLC 數(shù)據(jù)。在某些實(shí)施例中，所述VLC數(shù)據(jù)可表示單層或多層視頻數(shù)據(jù)。舉例來說，可從如 圖l中所示的解碼器裝置IOO的通信組件140接收VLC數(shù)據(jù)。在某些實(shí)施例中，用于接 收表示至少一個(gè)視頻幀的VLC數(shù)據(jù)的裝置包含用于接收VLC數(shù)據(jù)的模塊181。用于接收 VLC數(shù)據(jù)的模塊181進(jìn)一步經(jīng)配置以將VLC數(shù)據(jù)發(fā)送到用于處理VLC數(shù)據(jù)的模塊182。 在某些實(shí)施例中，用于處理VLC數(shù)據(jù)以產(chǎn)生第一組量化系數(shù)和第二組量化系數(shù)的裝置包 含用于處理VLC數(shù)據(jù)的模塊182,其中導(dǎo)致所述第一組和第二組量化系數(shù)的產(chǎn)生的VLC 數(shù)據(jù)處理由單個(gè)處理器執(zhí)行。用于處理VLC數(shù)據(jù)的模塊182經(jīng)配置以使用VLC數(shù)據(jù)中 所包括的信息擴(kuò)充VLC數(shù)據(jù)。舉例來說，用于處理VLC數(shù)據(jù)的模塊182可含有用于產(chǎn) 生VLC符號(hào)，也稱為使用VLC數(shù)據(jù)中所包括的VLC表信息執(zhí)行VLC表查找的邏輯。 用于處理VLC數(shù)據(jù)的模塊182可進(jìn)一步含有VLC運(yùn)行長度擴(kuò)充，和逆Z字形掃描。VLC 處理器可進(jìn)一步經(jīng)配置以將經(jīng)擴(kuò)充的VLC數(shù)據(jù)、量化系數(shù)發(fā)送到第二處理器135。在某 些實(shí)施例中，經(jīng)擴(kuò)充的VLC數(shù)據(jù)可包括表示多個(gè)視頻數(shù)據(jù)層的多組量化系數(shù)。
在某些實(shí)施例中，第二處理器135經(jīng)由用于接收第一組量化系數(shù)的模塊136和用于 接收第二組量化系數(shù)的模塊137來接收量化系數(shù)數(shù)據(jù)，例如多組量化系數(shù)。在某些實(shí)施 例中，用于接收表示至少一個(gè)視頻幀的第一組量化系數(shù)的裝置包含用于接收第一組量化 系數(shù)的模塊136。在某些實(shí)施例中，用于接收表示至少一個(gè)視頻幀的第二組量化系數(shù)的 裝置包含用于接收第二組量化系數(shù)的模塊137。第一和第二組量化系數(shù)可(例如)分別 表示基礎(chǔ)層和增強(qiáng)層視頻數(shù)據(jù)。接收模塊136和137可進(jìn)一步經(jīng)配置以將所接收的量化 系數(shù)數(shù)據(jù)發(fā)送到用于產(chǎn)生第三組量化系數(shù)的模塊138。在某些實(shí)施例中，用于使用第一 組量化系數(shù)和第二組量化系數(shù)產(chǎn)生表示至少一個(gè)視頻幀的第三組量化系數(shù)的裝置包含用 于產(chǎn)生第三組量化系數(shù)的模塊138。在某些實(shí)施例中，用于產(chǎn)生第三組量化系數(shù)的模塊 138經(jīng)配置以使用本文中所討論的多層視頻編碼技術(shù)(例如參看圖4所揭示的過程)將 第一組量化系數(shù)與第二組量化系數(shù)組合。因此，用于產(chǎn)生第三組量化系數(shù)的模塊138可產(chǎn)生表示第一和第二組量化系數(shù)的第三組量化系數(shù)。在某些其它實(shí)施例中，用于產(chǎn)生第 三組量化系數(shù)的模塊138經(jīng)配置以在即使未從兩個(gè)接收模塊136和137中的一者處接收 一組系數(shù)的狀況下也產(chǎn)生第三組量化系數(shù)。
所屬領(lǐng)域的一般技術(shù)人員將了解，可使用多種不同的技藝和技術(shù)中的任一者表示信 息和信號(hào)。舉例來說，在整個(gè)以上描述中可能引用的數(shù)據(jù)、指令、命令、信息、信號(hào)、 位、符號(hào)和碼片可由電壓、電流、電磁波、磁場或粒子、光場或粒子，或其任一組合來 表示。
圖2是根據(jù)本發(fā)明一個(gè)實(shí)施例解碼SNR可縮放視頻的過程的流程圖。雖然圖2展示 一個(gè)使用本文所揭示的多層視頻編碼的實(shí)施例解碼SNR可縮放視頻的過程，但其它過程 也可與本文所討論的多層視頻編碼的某些實(shí)施例結(jié)合使用，例如題為"Scalable Video Coding with Two Layer Encoding and Single Layer Decoding"且全文以弓i用的方式并入本 文中的第60/660,877號(hào)美國專利申請(qǐng)案中描述的那些過程。
過程200描繪使用多層視頻編碼來解碼由基礎(chǔ)層和增強(qiáng)層組成的視頻流的流程。在 步驟201中，解碼器裝置的通信模塊從網(wǎng)絡(luò)接收針對(duì)SNR可縮放視頻流的VLC數(shù)據(jù)。 所述SNR可縮放視頻流具有兩層基礎(chǔ)層和增強(qiáng)層。然后，通信模塊在步驟202中將 VLC數(shù)據(jù)發(fā)送到第一處理器180。在步驟203中，第一處理器1S0使用VLC符號(hào)產(chǎn)生過 程(也稱為VLC表查找)之后是VLC運(yùn)行長度擴(kuò)充連同逆Z字形掃描來擴(kuò)充VLC數(shù)據(jù)， 以產(chǎn)生非壓縮的量化系數(shù)。因此，第一處理器180為基礎(chǔ)層和增強(qiáng)層兩者產(chǎn)生單獨(dú)量化 系數(shù)組。然后所述兩組量化系數(shù)發(fā)送到第二處理器135。在步驟204中，第二處理器135 使用在下文中將參看圖3討論的某些發(fā)明特征將表示基礎(chǔ)層的第一組量化系數(shù)和表示增 強(qiáng)層的第二組量化系數(shù)組合為第三組量化系數(shù)。在其它實(shí)施例中，替代于第一處理器180 執(zhí)行擴(kuò)充VLC數(shù)據(jù)的整個(gè)過程，第一處理器180改為可執(zhí)行VLC符號(hào)產(chǎn)生且接著第二 處理器135可執(zhí)行VLC運(yùn)行長度擴(kuò)充和逆Z字形掃描以便得到表示基礎(chǔ)層和增強(qiáng)層的兩 組量化系數(shù)。
將第三組量化系數(shù)發(fā)送到視頻核心的解量化組件，其中在步驟205中，所述組件對(duì) 所述組執(zhí)行解量化，產(chǎn)生表示第三組量化系數(shù)的一組經(jīng)變換系數(shù)。然后將經(jīng)變換系數(shù)發(fā) 送到逆變換組件，其中在步驟206中，現(xiàn)將應(yīng)用于視頻流以產(chǎn)生經(jīng)變換系數(shù)的初始變換 函數(shù)的逆函數(shù)應(yīng)用于經(jīng)變換系數(shù)以顛倒所述過程且重新產(chǎn)生視頻流。接著將視頻流放置 于內(nèi)部存儲(chǔ)器中且使用通信組件傳遞到顯示器，且過程200完成。
圖3是接收且組合表示兩個(gè)單獨(dú)視頻數(shù)據(jù)層的兩組量化系數(shù)的一個(gè)例示性過程的流程圖。所說明的過程提供圖2的步驟203的更多細(xì)節(jié)。在某些實(shí)施例中，例如圖l中所 展示的系統(tǒng)和圖2中所展示的流程圖，可由RISC處理器執(zhí)行所述過程。在其它實(shí)施例中， 可使用另一類型的處理器。在另外實(shí)施例中，可使用多個(gè)處理器接收和組合量化系數(shù)數(shù) 據(jù)。所述過程在步驟301中始于首先接收第一組量化系數(shù)。在某些實(shí)施例中，所述第一 組量化系數(shù)可表示視頻數(shù)據(jù)層。舉例來說，第一組系數(shù)可表示基礎(chǔ)層。接著，在步驟302 中，接收第二組量化系數(shù)。在某些實(shí)施例中，所述第二組量化系數(shù)也可表示視頻數(shù)據(jù)層。 舉例來說，第二組系數(shù)可表示增強(qiáng)層。在其它實(shí)施例中，可在第二組系數(shù)之后接收第一 組系數(shù)。在另外實(shí)施例中，可同時(shí)接收兩組系數(shù)。在步驟303中，使用第一組系數(shù)和第二組系數(shù)產(chǎn)生第三組系數(shù)。在某些實(shí)施例中， 可通過將第一組系數(shù)與第二組系數(shù)組合而產(chǎn)生第三組系數(shù)。在某些實(shí)施例中，如將在下 文中參看圖4進(jìn)一步討論，可使用與第一組系數(shù)和/或第二組系數(shù)相關(guān)聯(lián)的量化參數(shù)來產(chǎn) 生第三組系數(shù)。在產(chǎn)生第三組系數(shù)之后，所述過程完成。圖4是為起初由第一和第二組量化系數(shù)表示的視頻產(chǎn)生第三組量化系數(shù)的一個(gè)例示 性過程的流程圖。所展示的過程是針對(duì)其中與系數(shù)組相關(guān)聯(lián)的量化參數(shù)具有公分母6的 實(shí)施例。在其它實(shí)施例中，量化參數(shù)可不具有公分母。在一個(gè)實(shí)施例中，解碼器裝置100 可在將表示基礎(chǔ)層與增強(qiáng)層兩者的量化系數(shù)組組合時(shí)動(dòng)態(tài)地確定QP。在步驟401中，過程始于基礎(chǔ)層系數(shù)組中的第一系數(shù)。然后，在步驟402中，所述 過程移動(dòng)進(jìn)入迭代回路(iterative lo叩)，其中組合基礎(chǔ)層和增強(qiáng)層系數(shù)組中的每一系數(shù)。 明確地說，始于基礎(chǔ)層系數(shù)組中的第一系數(shù)Bi，組合系數(shù)組中的相應(yīng)系數(shù)C,的值基于涉 及Bi、增強(qiáng)層系數(shù)組中的相應(yīng)系數(shù)E！以及相關(guān)于基礎(chǔ)層系數(shù)組QPB和增強(qiáng)層系數(shù)組QPe 的量化系數(shù)的等式。明確地說，在步驟403中，等式為O ((QPB-QPE) /3) *Bi+Ei，其 中/=l...n，且其中n為基礎(chǔ)層系數(shù)組與增強(qiáng)層系數(shù)組之間的最長系數(shù)組中的系數(shù)的數(shù)目。 所說明的過程利用基礎(chǔ)層和增強(qiáng)層量化，其中QPb〉QPe，且兩個(gè)QP均具有公分母6。等 式因此通過將系數(shù)向左移(縮放的一種形式) 一個(gè)位而將基礎(chǔ)層系數(shù)轉(zhuǎn)換到增強(qiáng)層標(biāo)度。在步驟404中針對(duì)基礎(chǔ)層系數(shù)組中的每一系數(shù)重復(fù)將來自基礎(chǔ)層和增強(qiáng)層的系數(shù)相 加以使用以上等式產(chǎn)生組合層的系數(shù)的這一過程，所述基礎(chǔ)層系數(shù)組在所展示的實(shí)施例 中與增強(qiáng)層系數(shù)組在長度上相等。接著，當(dāng)基礎(chǔ)層系數(shù)組中無剩余待處理的系數(shù)時(shí)，所 述過程結(jié)束。在其它實(shí)施例中，可使用其它等式計(jì)算組合系數(shù)組值，其可涉及具有不同 公分母或無公分母的量化參數(shù)。一般技術(shù)人員將進(jìn)一步了解結(jié)合本文所揭示的實(shí)例描述的各種說明性邏輯區(qū)塊、模塊和算法步驟可實(shí)施為電子硬件、計(jì)算機(jī)軟件，或兩者的組合。為了清晰地說明硬件 與軟件的此可互換性，以上已大體上關(guān)于其功能性描述了各種說明性組件、區(qū)塊、模塊、 電路和步驟。此功能性實(shí)施為硬件還是軟件視特定應(yīng)用和施加于整個(gè)系統(tǒng)的設(shè)計(jì)約束而 定。熟練的技術(shù)人員可針對(duì)每一特定應(yīng)用以變動(dòng)的方式實(shí)施所描述的功能性，但此實(shí)施 決策不應(yīng)被解釋為導(dǎo)致脫離所揭示的方法的范圍。結(jié)合本文所揭示的實(shí)例所描述的各種說明性邏輯區(qū)塊、模塊和電路可通過經(jīng)設(shè)計(jì)以 執(zhí)行本文中所描述的功能的通用處理器、DSP、 ASIC、現(xiàn)場可編程門陣列(FPGA)或其 它可編程邏輯裝置、離散門或晶體管邏輯、離散硬件組件，或其任一組合來實(shí)施或執(zhí)行。 通用處理器可為微處理器，但在替代方案中，所述處理器可為任一常規(guī)處理器、控制器、 微控器或狀態(tài)機(jī)。處理器也可實(shí)施為計(jì)算裝置的組合，例如DSP與微處理器的組合、多 個(gè)微處理器、 一個(gè)或一個(gè)以上與DSP核心結(jié)合的微處理器，或任一其它此種配置。結(jié)合本文所揭示的實(shí)例描述的方法或算法的步驟可直接實(shí)施于硬件中、由處理器執(zhí) 行的軟件模塊中，或兩者的組合中。軟件模塊可駐留于RAM存儲(chǔ)器、快閃存儲(chǔ)器、ROM 存儲(chǔ)器、EPROM存儲(chǔ)器、EEPROM存儲(chǔ)器、寄存器、硬盤、可移除式磁盤、CD-ROM， 或此項(xiàng)技術(shù)中已知的任何其它形式的存儲(chǔ)媒體中。例示性存儲(chǔ)媒體耦合到處理器以使得 所述處理器可從所述存儲(chǔ)媒體讀取信息且將信息寫入到所述存儲(chǔ)媒體。在替代方案中， 存儲(chǔ)媒體可與處理器成一體式。所述處理器和所述存儲(chǔ)媒體可駐留于ASIC中。所述ASIC 可駐留于無線調(diào)制解調(diào)器中。在替代方案中，處理器和存儲(chǔ)媒體可作為離散組件駐留于 無線調(diào)制解調(diào)器中。提供對(duì)所揭示實(shí)例的先前描述以使所屬領(lǐng)域的一般技術(shù)人員能夠制作或使用所揭示 的方法和設(shè)備。所屬領(lǐng)域的技術(shù)人員將易于了解對(duì)這些實(shí)例的多種修改，且本文中所定 義的原理可應(yīng)用于其它實(shí)例而不脫離所揭示的方法和設(shè)備的精神或范圍。因此，已描述一種通過產(chǎn)生單個(gè)表示基礎(chǔ)層和增強(qiáng)層兩層的量化系數(shù)組，而以最小 解碼器額外開銷在基礎(chǔ)層處提供可接受質(zhì)量視頻且在增強(qiáng)層處提供較高質(zhì)量視頻的方法和設(shè)備。
權(quán)利要求
1. 一種用于處理多媒體數(shù)據(jù)的方法，其包含接收表示至少一個(gè)視頻幀的可變長度系數(shù)(VLC)數(shù)據(jù)；處理所述VLC數(shù)據(jù)以產(chǎn)生表示至少一個(gè)視頻幀的第一組量化系數(shù)和表示所述至少一個(gè)視頻幀的第二組量化系數(shù)，其中由單個(gè)處理器執(zhí)行導(dǎo)致產(chǎn)生所述第一組和第二組量化系數(shù)的所述VLC數(shù)據(jù)處理；接收所述第一組量化系數(shù)； 接收所述第二組量化系數(shù)；以及使用所述第一組量化系數(shù)和第二組量化系數(shù)產(chǎn)生表示所述至少一個(gè)視頻幀的第 三組量化系數(shù)。
2. 根據(jù)權(quán)利要求l所述的方法，其中所述第二組量化系數(shù)指示對(duì)所述第一組量化系數(shù) 的至少一個(gè)改進(jìn)。
3. 根據(jù)權(quán)利要求1所述的方法，其中通過將所述第一組量化系數(shù)添加到所述第二組量 化系數(shù)而產(chǎn)生所述第三組量化系數(shù)。
4. 根據(jù)權(quán)利要求3所述的方法，其中將所述第一組量化系數(shù)與所述第二組量化系數(shù)組 合以產(chǎn)生所述第三組量化系數(shù)是部分基于與所述第一組量化系數(shù)相關(guān)聯(lián)的第一量 化參數(shù)和與所述第二組量化系數(shù)相關(guān)聯(lián)的第二量化參數(shù)。
5. 根據(jù)權(quán)利要求4所述的方法，其中所述第一量化參數(shù)并非所述第二量化參數(shù)的因子。
6. 根據(jù)權(quán)利要求4所述的方法，其中所述第一量化參數(shù)和第二量化參數(shù)不具有公分母。
7. 根據(jù)權(quán)利要求4所述的方法，其中所述第一量化參數(shù)和第二量化參數(shù)具有除1之外 的公分母。
8. 根據(jù)權(quán)利要求7所述的方法，其中所述公分母為6。
9. 一種用于處理多媒體數(shù)據(jù)的設(shè)備，其包含用于接收表示至少一個(gè)視頻幀的VLC數(shù)據(jù)的裝置；用于處理所述VLC數(shù)據(jù)以產(chǎn)生表示至少一個(gè)視頻幀的第一組量化系數(shù)和表示所 述至少一個(gè)視頻幀的第二組量化系數(shù)的裝置，其中由單個(gè)處理器執(zhí)行導(dǎo)致產(chǎn)生所述第一組和第二組量化系數(shù)的所述VLC數(shù)據(jù)處理； 用于接收所述第一組量化系數(shù)的裝置； 用于接收所述第二組量化系數(shù)的裝置；以及用于使用所述第一組量化系數(shù)和第二組量化系數(shù)產(chǎn)生表示所述至少一個(gè)視頻幀 的第三組量化系數(shù)的裝置。
10. 根據(jù)權(quán)利要求9所述的設(shè)備，其中所述第一量化參數(shù)和第二量化參數(shù)不具有公分母。
11. 根據(jù)權(quán)利要求9所述的設(shè)備，其中與所述第一組量化系數(shù)和所述第二組量化系數(shù)相 關(guān)聯(lián)的量化參數(shù)具有除1之外的公分母。
12. 根據(jù)權(quán)利要求ll所述的設(shè)備，其中所述公分母為6。
13. 根據(jù)權(quán)利要求9所述的設(shè)備，其中所述用于產(chǎn)生所述第三組量化系數(shù)的裝置使用添 加到所述第二組量化系數(shù)的所述第一組量化系數(shù)。
14. 根據(jù)權(quán)利要求13所述的設(shè)備，其中將所述第一組量化系數(shù)添加到所述第二組量化 系數(shù)以產(chǎn)生所述第三組量化系數(shù)是部分基于與所述第一組量化系數(shù)相關(guān)聯(lián)的第一 量化參數(shù)和與所述第二組量化系數(shù)相關(guān)聯(lián)的第二量化參數(shù)。
15. 根據(jù)權(quán)利要求9所述的設(shè)備，其中所述第二組量化系數(shù)指示對(duì)所述第一組量化系數(shù) 的至少一個(gè)改進(jìn)。
16. —種用于處理多媒體數(shù)據(jù)的設(shè)備，其包含VLC接收模塊，其經(jīng)配置以接收表示至少一個(gè)視頻幀的可變長度系數(shù)(VLC)數(shù) 據(jù)處理模塊，其經(jīng)配置以處理所述VLC數(shù)據(jù)以產(chǎn)生表示至少一個(gè)視頻幀的第一組量 化系數(shù)和表示所述至少一個(gè)視頻幀的第二組量化系數(shù)，其中由單個(gè)處理器執(zhí)行導(dǎo)致 產(chǎn)生所述第一組和第二組量化系數(shù)的所述VLC數(shù)據(jù)處理；量化系數(shù)接收模塊，其經(jīng)配置以接收所述第一組量化系數(shù)和所述第二組量化系 數(shù)；以及產(chǎn)生模塊，其經(jīng)配置以使用所述第一組量化系數(shù)和第二組量化系數(shù)產(chǎn)生表示所述 至少一個(gè)視頻幀的第三組量化系數(shù)。
17. —種機(jī)器可讀媒體，其包含用于處理多媒體數(shù)據(jù)的指令，其中所述指令在執(zhí)行時(shí)導(dǎo) 致一機(jī)器接收表示至少一個(gè)視頻幀的可變長度系數(shù)(VLC)數(shù)據(jù)；處理所述VLC數(shù)據(jù)以產(chǎn)生表示至少一個(gè)視頻幀的第一組量化系數(shù)和表示所述至 少一個(gè)視頻幀的第二組量化系數(shù)，其中由單個(gè)處理器執(zhí)行導(dǎo)致產(chǎn)生所述第一組和第 二組量化系數(shù)的所述VLC數(shù)據(jù)處理；接收所述第一組量化系數(shù)；接收所述第二組量化系數(shù)；且使用所述第一組量化系數(shù)和第二組量化系數(shù)產(chǎn)生表示所述至少一個(gè)視頻幀的第 三組量化系數(shù)。
18. —種用于處理多媒體的處理器，所述處理器經(jīng)配置以-接收表示至少一個(gè)視頻幀的可變長度系數(shù)(VLC)數(shù)據(jù)；處理所述VLC數(shù)據(jù)以產(chǎn)生表示至少一個(gè)視頻幀的第一組量化系數(shù)和表示所述至 少一個(gè)視頻幀的第二組量化系數(shù)，其中由單個(gè)處理器執(zhí)行導(dǎo)致產(chǎn)生所述第一組和第 二組量化系數(shù)的所述VLC數(shù)據(jù)處理；接收所述第一組量化系數(shù)；接收所述第二組量化系數(shù)；且使用所述第一組量化系數(shù)和第二組量化系數(shù)產(chǎn)生表示所述至少一個(gè)視頻幀的第 三組量化系數(shù)。
全文摘要
本文所揭示的某些實(shí)施例提供用于處理多媒體數(shù)據(jù)的系統(tǒng)和方法。所述系統(tǒng)和方法包含接收表示至少一個(gè)視頻幀的第一組量化系數(shù)；接收表示所述至少一個(gè)視頻幀的第二組量化系數(shù)；以及使用所述第一組量化系數(shù)和第二組量化系數(shù)產(chǎn)生表示所述至少一個(gè)視頻幀的第三組量化系數(shù)。在某些實(shí)施例中，將與所述第一組和第二組相關(guān)聯(lián)的量化參數(shù)用于產(chǎn)生所述第三組量化系數(shù)。
文檔編號(hào)H04N7/26GK101313583SQ200680043362
公開日2008年11月26日 申請(qǐng)日期2006年9月27日 優(yōu)先權(quán)日2005年9月27日
發(fā)明者方 石, 維賈雅拉克希米·R·拉韋恩德拉恩 申請(qǐng)人:高通股份有限公司