用于可伸縮視頻編碼空間模式的帶寬節(jié)省架構(gòu)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及可伸縮視頻應(yīng)用且更具體來說涉及最小化可伸縮視頻應(yīng)用中的帶寬。
[0002] 背景
[0003] 目前，使用家用電子裝置進(jìn)行的視頻數(shù)據(jù)的遠(yuǎn)程傳送和顯示已成為重要開發(fā)領(lǐng) 域。通常，需要允許在具有不同顯示能力的裝置之間進(jìn)行這種流式傳輸。隨著更高分辨率 視頻的出現(xiàn)，需要壓縮視頻流以增大可傳送數(shù)據(jù)的量，還需要允許用僅可以允許更低分辨 率視頻流或可以具有不適當(dāng)?shù)爻尸F(xiàn)這些更高分辨率信號的通量或緩慢處理能力的裝置查 看這些視頻流。因此，可伸縮視頻流越來越受歡迎。大體來說，視頻位流在所述流的部分可 按所得子流形成另一有效位流用于某個目標(biāo)解碼器的方式移除時稱為可伸縮，且所述子流 表示具有小于完整原始位流的重建質(zhì)量的源內(nèi)容，但在考慮更低剩余數(shù)據(jù)量時為高。
[0004] 可伸縮性的常見模式為時間可伸縮性、空間可伸縮性和質(zhì)量可伸縮性?？臻g可伸 縮性（也稱為空間分辨率）描述其中位流子集表示具有縮小的圖片大小的源內(nèi)容的情況。 時間可伸縮性（也稱為時間分辨率）描述其中位流子集表示具有縮小的幀率的源內(nèi)容的情 況。在質(zhì)量可伸縮性下，子流提供與完整位流相同的空間一時間分辨率，但具有更低保真 度一其中保真度通常非正式地稱為信噪比（SNR)。質(zhì)量可伸縮性也俗稱為保真度或SNR可 伸縮性。
[0005] 在實(shí)時支持空間、質(zhì)量和空間可伸縮性的系統(tǒng)中，存儲器帶寬可成為總系統(tǒng)性能 的限制因素。因此，需要一種用于減小或消除可增大存儲器帶寬問題的讀取/寫入活動的 影響的方法。
[0006] 實(shí)施方案概述
[0007] 在本文中所描述的實(shí)施方案的一些中，一種用于可伸縮視頻編碼的系統(tǒng)和方法包 括第一編碼引擎，其用于使用幀數(shù)據(jù)將幀編碼到小于最優(yōu)層分辨率的第一層分辨率。第一 編碼引擎生成數(shù)據(jù)用于預(yù)測幀到最優(yōu)層分辨率的編碼。第二編碼引擎將幀編碼到大于第一 分辨率層的第二層分辨率。第二編碼引擎使用來自第一編碼引擎的預(yù)測數(shù)據(jù)來改善視頻壓 縮速率。在這些描述的實(shí)施方案中，所述系統(tǒng)和方法包括使用在第一編碼引擎與第二編碼 引擎之間傳送的較少預(yù)測數(shù)據(jù)，從而可通過使用較少幀數(shù)據(jù)來減小消耗的功率。
[0008] 在一些實(shí)施方案中，所述系統(tǒng)和方法還包括在編碼器中用于存儲和檢索幀數(shù)據(jù)和 預(yù)測數(shù)據(jù)的存儲器。相較于標(biāo)準(zhǔn)AVC，第二編碼器將更多存儲器用于預(yù)測數(shù)據(jù)，其中添加的 存儲小于第二層分辨率的一個數(shù)據(jù)幀。
[0009] 附圖簡述
[0010] 從在結(jié)合附圖考慮時進(jìn)行的本發(fā)明的下文詳細(xì)描述，本發(fā)明的其它方面、優(yōu)點(diǎn)和 新穎特征將變得更加顯而易見，其中：
[0011] 圖1為根據(jù)本發(fā)明的計(jì)算系統(tǒng)的方框圖；
[0012] 圖2為根據(jù)本發(fā)明的空間編碼引擎的方框圖；
[0013] 圖3為根據(jù)本發(fā)明的空間編碼器的方框圖；
[0014] 圖4為根據(jù)本發(fā)明的圖3的空間編碼器的邏輯圖；
[0015] 圖5為根據(jù)本發(fā)明的增強(qiáng)層和基本層的圖解視圖；和
[0016] 圖6為根據(jù)本發(fā)明的經(jīng)處理幀的方框圖。
[0017] 優(yōu)選實(shí)施方案詳述
[0018] 如本文中所描述的本發(fā)明的實(shí)施方案提供一種解決常規(guī)方法問題的方案。在下文 描述中，各個實(shí)例是出于說明目的而給出，但無一實(shí)例意在限制性。實(shí)施方案包括使用標(biāo) 準(zhǔn)、非定制編碼解碼器實(shí)施遠(yuǎn)程視頻會議系統(tǒng)（有線或無線）。這些實(shí)施方案的優(yōu)點(diǎn)涉及具 有不同連接帶寬和/或不同接收裝置的三個或三個以上用戶之間的通信，其中兩個或兩個 以上不同分辨率顯示器從相同用戶的視頻源接收對應(yīng)視頻信號。示例性視頻分辨率流可以 包括但不限于表示每種可伸縮性模式的高及低分辨率值的以下高及低分辨率實(shí)例。
[0019]
[0020] 那些本領(lǐng)域的技術(shù)人員▲明白，雖然在各-高及低視頻▲中示出每種-式的高及 低分辨率實(shí)例，但可以混合可伸縮性模式使得高及低可伸縮性選項(xiàng)的所有組合可行。
[0021] 在本發(fā)明的一些實(shí)施方案中，體現(xiàn)本發(fā)明的可伸縮視頻編碼（SVC)用于其中涉及 兩個以上用戶的網(wǎng)絡(luò)會議。在一個視頻源服務(wù)具有不同顯示分辨率的一個以上客戶端的范 例中，本發(fā)明在發(fā)送視頻流以支持這些不同時間分辨率和/或空間分辨率的環(huán)境中運(yùn)作。 SVC還可用于用戶與服務(wù)器之間的點(diǎn)對點(diǎn)流式傳輸應(yīng)用，其中服務(wù)器將視頻存儲成SVC格 式。用戶接著可根據(jù)可用帶寬和接收裝置在可能的可用分辨率中間進(jìn)行挑選。
[0022] 出于本描述的目的，"H. 264"指代也稱為MPEG-4Part10或MPEG-4AVC(高級視頻 編碼）的視頻壓縮標(biāo)準(zhǔn)。H. 264為由ITU-T視頻編碼專家組（VCEG)連同IS0/IEC活動圖片 專家組（MPEG)開發(fā)的面向塊、基于運(yùn)動估計(jì)的編碼解碼器中的一種。
[0023]H. 264的特征內(nèi)包括越來越受歡迎的視頻會議類型應(yīng)用的可伸縮視頻編碼 (SVC)。諸多業(yè)界一流公司已在UCIF(全球通信互操作論壇）中使用SVC對視頻會議進(jìn)行 標(biāo)準(zhǔn)化。
[0024] 預(yù)期將廣泛地采用基于SVC的視頻會議。然而，SVC，尤其是SVC的空間模式（即， SVC空間）對存儲器帶寬相當(dāng)嚴(yán)格。減小存儲器讀取和寫入（R/W)帶寬和相關(guān)聯(lián)功率消耗 需要在集成電路（諸如ASIC(專用集成電路））中（尤其是在低端筆記型計(jì)算機(jī)/平板型 計(jì)算機(jī)芯片中）實(shí)施SVC空間模式。有利地，本發(fā)明的實(shí)施方案通過單獨(dú)或一起實(shí)施以下 四個新穎特征而得以解決這些問題：
[0025] 1.在增強(qiáng)層編碼器處執(zhí)行上采樣。相較于分離這些任務(wù)的常規(guī)方法，此可節(jié)省寫 入帶寬高達(dá)75%。
[0026] 2.如果硬件架構(gòu)包括內(nèi)部緩沖器，那么使用內(nèi)部緩沖器來消除與存儲器進(jìn)行的數(shù) 據(jù)交換。以此方式，上述點(diǎn)1還可用于顯著地減小內(nèi)部緩沖器大小。
[0027] 3.在編碼非頂級（意指非最優(yōu)或非最高級）分辨率層的16x16像素微塊（MB)之 后，接著僅將中間層的內(nèi)部重建數(shù)據(jù)或中間層的中間殘余數(shù)據(jù)寫出到根據(jù)當(dāng)前MB類型的 一個緩沖器。這個緩沖器的每個條目為16位，使得由增強(qiáng)型層對這個緩沖器進(jìn)行的讀取直 接存儲器定址（DMA)得以簡化。這是因?yàn)楦鶕?jù)SVC標(biāo)準(zhǔn)，重建數(shù)據(jù)的數(shù)據(jù)大小為8位，而殘 余數(shù)據(jù)的數(shù)據(jù)大小為9位。運(yùn)用這種方法，讀取/寫入帶寬節(jié)省高達(dá)從常規(guī)方法實(shí)現(xiàn)的帶 寬的1/3。
[0028] 4.為了改善存儲和傳送效率，符號位與殘余數(shù)據(jù)分離，8位而非16位可用于殘余 數(shù)據(jù)。
[0029] 5.為了進(jìn)一步節(jié)省存儲器帶寬，視需要使用常規(guī)數(shù)據(jù)壓縮算法（諸如但不限于 ZIP檔案格式壓縮）壓縮寫出的中間層數(shù)據(jù)。
[0030] 在下文描述中，介紹諸多特定詳情以便透徹了解實(shí)施低延時應(yīng)用的實(shí)施方案和描 述實(shí)施低延時應(yīng)用的實(shí)施方案。然而，那些本領(lǐng)域的技術(shù)人員應(yīng)認(rèn)識到，可在沒有所述特定 詳情中的一個或多個的情況下或在具有其它組件、系統(tǒng)等的情況下實(shí)行這些實(shí)施方案。在 其它范例中，未展示或未詳細(xì)描述熟知結(jié)構(gòu)或操作，以免使所公開實(shí)施方案的方面不清楚。
[0031] 計(jì)算機(jī)和其它這種數(shù)據(jù)處理裝置具有俗稱為控制處理單元（CPU)的至少一個控 制處理器。這些計(jì)算機(jī)和處理裝置在通常可具有存儲器、存儲裝置、輸入裝置和輸出裝置的 環(huán)境中操作。這些計(jì)算機(jī)和處理裝置還可具有其它處理器，諸如用于各種類型的專用處理 且可以與處理裝置共位或定位在其外部（諸如包括輸出裝置）的圖形處理單元（GPU)。例 如，GPU被設(shè)計(jì)成特別適于圖形處理操作。GPU通常包括理想上適于對平行數(shù)據(jù)流執(zhí)行相同 指令的多個處理元件。大體來說，CPU用作主機(jī)或控制處理器且不干涉對其它處理器（諸 如GPU)的特殊功能，諸如圖形處理。
[0032] 借助于其中每個CPU具有多個處理核心的多核心CPU，還可用于特殊功能的實(shí)質(zhì) 性處理能力可用于CPU。多核心CPU或GPU的計(jì)算核心中的一個或多個可為相同裸片（例 如，AMDFusion?)的部分或在不同裸片（例如，具有NVIDIAGPU的IntelXeon?)中。最 近，大體上已提議具有CPU和GPU兩者（例如，CellSPE?、IntelLarrabee?)的特性的混合 核心用于通用GPU(GPGPU)樣式計(jì)算。GPGPU樣式計(jì)算主張使用CPU來主要執(zhí)行控制代碼和 將性能關(guān)鍵數(shù)據(jù)平行代碼卸載到GPU。GPU主要用作加速計(jì)。多核心CPU和GPGPU計(jì)算模 型的組合涵蓋作為加速計(jì)目標(biāo)的CPU核心和GPU核心兩者。在諸多領(lǐng)域中，諸多多核心CPU 核心具有比得上GPU的性能。例如，諸多CPU核心的每秒浮點(diǎn)運(yùn)算速度（FLOPS)現(xiàn)比得上 一些GPU核心的FLOPS。
[0033] 本發(fā)明的實(shí)施方案可以通過使