在可縮放視頻譯碼中減少取樣相位信息的發(fā)信的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻譯碼，包含視頻內(nèi)容的編碼和解碼，且特別涉及峽內(nèi)和峽間預(yù)測。
【背景技術(shù)】
[0002] 數(shù)字視頻能力可并入到廣泛范圍的裝置中，包括數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣 播系統(tǒng)、個人數(shù)字助理（PDA)、膝上型或桌上型計算機、數(shù)碼相機、數(shù)字記錄裝置、數(shù)字媒體 播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電電話、視頻電話會議裝置和 類似者。數(shù)字視頻裝置可實施視頻壓縮技術(shù)，例如，在由MPEG-2、MPEG-4、口U-TH. 263、 ITU-TH. 264/MPEG-4第10部分高級視頻譯碼（AVC)、目前正在開發(fā)的高效率視頻譯碼 (肥VC)標(biāo)準(zhǔn)和此些標(biāo)準(zhǔn)的擴展定義的標(biāo)準(zhǔn)中描述的技術(shù)，W更高效地發(fā)射、接收和存儲數(shù) 字視頻信息。
[0003] 視頻譯碼技術(shù)包含空間（圖片內(nèi)）預(yù)測和/或時間（圖片間）預(yù)測W減少或移除 視頻序列中固有的兀余。對于基于塊的視頻譯碼，視頻切片（即，視頻峽或視頻峽的一部 分）可分割成視頻塊，視頻塊還可被稱作樹塊、譯碼單元（CU)和/或譯碼節(jié)點。高效率視 頻譯碼（HVEC)包含包含H個塊概念的信息的單元表示：譯碼單元（CU)、預(yù)測單元（PU)和 變換單元（TU)。使用關(guān)于同一圖片中的相鄰塊中的參考樣本的空間預(yù)測編碼圖片的經(jīng)峽內(nèi) 譯碼（I)切片中的視頻塊。圖片的經(jīng)峽間譯碼（P或B)切片中的視頻塊可使用關(guān)于同一圖 片中的相鄰塊中的參考樣本的空間預(yù)測或關(guān)于其它參考圖片中的參考樣本的時間預(yù)測。圖 片可被稱作峽，且參考圖片可被稱作參考中貞。
[0004] 空間或時間預(yù)測導(dǎo)致用于待譯碼的塊的預(yù)測性塊。殘余數(shù)據(jù)表示待譯碼的原始塊 與預(yù)測性塊之間的像素差。經(jīng)峽間譯碼塊是根據(jù)指向形成預(yù)測性塊的參考樣本塊的運動向 量和指示經(jīng)譯碼塊與預(yù)測塊之間的差的殘余數(shù)據(jù)編碼的。經(jīng)峽內(nèi)譯碼塊是根據(jù)峽內(nèi)譯碼模 式和殘余數(shù)據(jù)來編碼的。為了進一步壓縮，可將殘余數(shù)據(jù)從像素域變換到變換域，從而導(dǎo)致 殘余變換系數(shù)，接著可對殘余變換系數(shù)進行量化?？蓲呙枰婚_始按二維陣列排列的經(jīng)量化 變換系數(shù)，W便產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用賭譯碼W達成更多壓縮。

【發(fā)明內(nèi)容】

[0005]為了總結(jié)本發(fā)明的目的，本文中已描述某些方面、優(yōu)勢和新穎特征。應(yīng)理解，根據(jù) 本文中掲示的任何特定實施例，未必可達成全部該些優(yōu)勢。因此，可W按照如本文所教示來 達成或優(yōu)化一個優(yōu)勢或一群優(yōu)勢而未必達成如本文可能教示或建議的其它優(yōu)勢的方式來 體現(xiàn)或進行本文中掲示的特征。
[0006] 根據(jù)一些實施例，一種用于譯碼視頻信息的裝置包含處理器及存儲器。所述存儲 器可經(jīng)配置W存儲視頻數(shù)據(jù)，且所述視頻數(shù)據(jù)可包括視頻信息的第一層。所述處理器可經(jīng) 配置W:確定視頻信息的第二層相對于所述第一層的相位位移信息；至少部分基于所述相 位位移信息選擇圖像濾波器集合；W及使用所述第一層和所述識別的圖像濾波器集合產(chǎn)生 所述第一層的經(jīng)修改版本。
[0007] 先前段落的用于譯碼視頻信息的裝置可包含w下特征中的一或多者：所述第一層 可包括基礎(chǔ)層；所述第二層可包括增強層；所述選定圖像濾波器集合可包括增加取樣圖像 濾波器；W及且所述處理器可進一步經(jīng)配置W接收從發(fā)信所述相位位移信息的經(jīng)編碼視頻 位流提取的語法元素。替代地，所述第一層可包括增強層；所述第二層可包括基礎(chǔ)層；所述 選定圖像濾波器集合可包括減少取樣圖像濾波器；且所述處理器可進一步經(jīng)配置W產(chǎn)生用 于經(jīng)編碼視頻位流的語法元素W發(fā)信所述相位位移信息。
[0008] 所述相位位移信息可包括所述第一層中的像素的位置與所述第二層中的所述像 素的對應(yīng)的位置之間的差。所述相位位移信息可包括指示所述第一層與所述第二層之間的 零相位關(guān)系或?qū)ΨQ相位關(guān)系中的一者的二元值。所述相位位移信息可包括第一語法元素W 指示水平相位位移信息和第二語法元素W指示垂直相位位移信息。此外，所述第一語法元 素和所述第二語法元素中的至少一者可包括非二元值。所述處理器可進一步經(jīng)配置W;女口 果所述相位位移信息未在位流中發(fā)信，那么選擇默認(rèn)圖像濾波器集合；W及如果所述相位 位移信息在位流中發(fā)信，那么基于所述相位位移信息選擇圖像濾波器集合。所述默認(rèn)圖像 濾波器集合可至少部分基于所述第一層與所述第二層之間的對稱相位關(guān)系。替代地，所述 默認(rèn)圖像濾波器集合可至少部分基于所述第一層與所述第二層之間的零相位關(guān)系。所述相 位位移信息可包括對準(zhǔn)信息。例如，所述對準(zhǔn)信息可模型化為將X像素坐標(biāo)和y像素坐標(biāo) 映射到相位偏移的函數(shù)。所述相位位移信息可包括指示色度相位位移信息的視頻參數(shù)集 (VP巧語法元素。所述選定圖像濾波器集合可包括作為位流的部分發(fā)信的系數(shù)。所述裝置 可進一步包括下列中的至少一者；桌上型計算機、筆記本計算機、平板計算機、機頂盒、電話 手持機、電視、相機、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺和包括存儲器和處理器的 視頻流式傳輸裝置。
[0009] 所述選定圖像濾波器集合可包括用于零相移的系數(shù){0,0,0,64,0,0,0,0}、用于一 相移的系數(shù){〇，1，-3,63,4, -2，1，0}、用于二相移的系數(shù)（0,2, -6,61，9, -3，1，0}、用于H 相移的系數(shù){-1，3, -8,60，13, -4，1，0}、用于四相移的系數(shù){-1，4, -10,58，17, -5，1，0}、用 于五相移的系數(shù){-1，4，-11，53,25，-8,3，-1}、用于六相移的系數(shù){-1,4，-11，50,29，-9， 3，-1}、用于走相移的系數(shù){-1,4，-11，45,34，-10,4，-1}、用于八相移的系數(shù){-1,4，-11， 40,40, -11,4, -1}、用于九相移的系數(shù){-1，4, -10,34,45, -11,4, -1}、用于十相移的系數(shù) {-l，3，-9,29,50，-ll，4，-l}、用于^^一相移的系數(shù){-1，3，-8,25,53，-11，4，-1}、用于十二 相移的系數(shù){〇, 1，-5,17,58, -10,4, -1}、用于十H相移的系數(shù){0,1，-4,13,60, -8,3, -1}、 用于十四相移的系數(shù){〇，1，-3,8,62, -6,2,0}和用于十五相移的系數(shù){0，1，-2,4,63, -3， 1，〇}。所述選定圖像濾波器集合可包括用于零相移的系數(shù){〇,64,0,0}、用于一相移的系數(shù) {-2,62,4,0}、用于二相移的系數(shù){-2, 58,10, -2}、用于H相移的系數(shù){-4, 56,14, -2}、用于 四相移的系數(shù){-4, 54,16,-2}、用于五相移的系數(shù){-6, 52, 20,-2}、用于六相移的系數(shù){-6， 48, 26, -4}、用于走相移的系數(shù){-4,42, 30, -4}、用于八相移的系數(shù){-4, 36, 36, -4}、用于九 相移的系數(shù){-4, 30,42,-4}、用于十相移的系數(shù){-4, 26,48,-6}、用于十一相移的系數(shù){-2， 20, 52,-6}、用于十二相移的系數(shù){-2,16, 54,-4}、用于十H相移的系數(shù){-2,14, 56,-4}、用 于十四相移的系數(shù){-2,10, 58,-2}和用于十五相移的系數(shù){0,4,62,-2}。
[0010] 根據(jù)一些實施例，一種解碼視頻信息的方法可包含：獲得視頻信息的基礎(chǔ)層；接 收從經(jīng)編碼視頻位流提取的語法元素，所述語法元素包括視頻信息的所述基礎(chǔ)層相對于增 強層的相位位移信息；至少部分基于所述相位位移信息選擇圖像濾波器集合；w及使用所 述基礎(chǔ)層和所述識別的圖像濾波器集合產(chǎn)生所述增強層的經(jīng)增加取樣版本。
[0011] 根據(jù)一些實施例，一種編碼視頻信息的方法可包含：獲得視頻信息的增強層；選 擇減少取樣圖像濾波器集合；使用所述增強層和所述選定圖像濾波器集合產(chǎn)生基礎(chǔ)層；W 及產(chǎn)生包括所述基礎(chǔ)層相對于所述增強層的相位位移信息的語法元素。
[0012] 根據(jù)一些實施例，一種用于譯碼視頻位流的設(shè)備可包含；用于獲得視頻信息的增 強層的裝置；用于產(chǎn)生包括視頻信息的基礎(chǔ)層相對于所述增強層的相位位移信息的語法元 素的裝置；用于至少部分基于所述相位位移信息選擇圖像濾波器集合的裝置；用于使用所 述增強層和所述識別的圖像濾波器集合產(chǎn)生所述增強層的經(jīng)減少取樣版本的裝置；W及用 于存儲所述增強層的所述經(jīng)減少取樣版本的裝置。
[0013]根據(jù)一些實施例，一種非暫時性計算機可讀媒體可具有存儲于其上的指令，所述 在由處理器執(zhí)行時使所述處理器；獲得視頻信息的基礎(chǔ)層；接收從經(jīng)編碼視頻位流提取的 語法元素，所述語法元素包括視頻信息的基礎(chǔ)層相對于增強層的相位位移信息；至少部分 基于所述相位位移信息選擇圖像濾波器集合；W及使用所述增強層和所述識別的圖像濾波 器集合產(chǎn)生所述增強層的經(jīng)增加取樣版本。
【附圖說明】
[0014] 圖1為說明可利用本發(fā)明的技術(shù)的實例視頻編碼系統(tǒng)的框圖。
[0015] 圖2為說明可經(jīng)配置W實施本發(fā)明的技術(shù)的實例視頻編碼器的框圖。
[0016] 圖3為說明可經(jīng)配置W實施本發(fā)明的技術(shù)的實例視頻編碼器的框圖。
[0017] 圖4為說明在H個不同維度上的可縮放性的曲線圖。
[0018] 圖5說明SVC位流的實例結(jié)構(gòu)的示意圖。
[0019] 圖6A說明位元串流中的SVC存取單元的實例的示意圖。
[0020] 圖她說明峽內(nèi)化模式預(yù)測的實例的示意圖。
[0021] 圖6C說明原始和經(jīng)2x減少取樣視頻的相對亮度取樣格柵。
[0022] 圖抓說明原始和經(jīng)1. 5x減少取樣視頻的相對亮度取樣格柵。
[0023] 圖7為說明用于譯碼視頻信息的過程700的實施例的流程圖。
[0024] 圖8A說明像素信息的未對準(zhǔn)的實例的示意圖。
[00巧]圖8B說明像素信息的未對準(zhǔn)的實例的另一示意圖。
[0026] 圖9說明色度采樣位置的實例的示意圖。
【具體實施方式】
[0027] 可縮放視頻譯碼（SVC)指使用基礎(chǔ)層（有時被稱作參考層）和一或多個可縮放增 強層的視頻譯碼。對于SVC，基礎(chǔ)層可攜載具有基礎(chǔ)質(zhì)量水平的視頻數(shù)據(jù)。一或多個增強層 可攜載額外的視頻數(shù)據(jù)W支持較高的空間、時間和/或信噪SNR水平?？上鄬τ谙惹熬幋a 的層來定義增強層。
[0028] 基礎(chǔ)層與增強層可具有不同分辨率。例如，可將增加取樣濾波（有時被稱作再取 樣濾波）應(yīng)用于基礎(chǔ)層W便匹配增強層的空間縱橫比。此過程可叫作空間可縮放性。可將 增加取樣濾波器集合應(yīng)用于基礎(chǔ)層，且可基于相位（有時被稱作分?jǐn)?shù)像素偏移）從所述集 合選擇一個濾波器。可基于基礎(chǔ)層與增強層圖片之間的空間縱橫比來計算所述相位。
[0029]在一些系統(tǒng)中，將單一固定增加取樣濾波器集合應(yīng)用于基礎(chǔ)層W產(chǎn)生經(jīng)縮放內(nèi)容W用于層間預(yù)測。對于所有層間預(yù)測類型，固定增加取樣可能不夠有效率。例如，在一些系 統(tǒng)中，在增加取樣濾波器中使用的相位和參考像素僅通過空間可縮放比率來確定，其假設(shè) 在減少取樣過程中產(chǎn)生的基礎(chǔ)層始終具有相同相位。該些系統(tǒng)遺憾地在增加取樣基礎(chǔ)層時 遭受缺乏靈活性的問題。此外，在一些系統(tǒng)中，不在位流中發(fā)信減少取樣濾波器的相位（例 女口，減少取樣位置）。在該些系統(tǒng)中，假定按正確相位（例如，與增加取樣相位匹配的相位） 執(zhí)行減少取樣。如果存在增加取樣與減少取樣之間的相位不匹配，那么可能存在20%或 20%W上的譯碼效率損失。
[0030]在本發(fā)明的一些實施例中，本發(fā)明的技術(shù)增加了在增加取樣和減少取樣視頻數(shù)據(jù) 過程中的靈活性和性能?？赏ㄟ^（例如）至少部分基于視頻信息的第二層（例如，經(jīng)降低 取樣基礎(chǔ)層）相對于第一層（例如，增強層）的相位位移信息控制或改變用W譯碼視頻數(shù) 據(jù)的濾波器按自適應(yīng)方式來有利地執(zhí)行增加取樣和減少取樣過程?？蓪⑾辔晃灰菩畔⒆鳛?語法元素嵌入于視頻位流中。因此，本文中描述的實施例可高效地傳達用于減少取樣濾波 器的相位信息，由此高效地消除當(dāng)選擇具有不正確相位的減少取樣濾波器時可出現(xiàn)的任何 譯碼損失。
[0031]本文中描述的某些實施例涉及在先進視頻編碼解碼器的情況下的針對例如 肥VC(高效率視頻譯碼）的可縮放視頻譯碼的層間預(yù)測。更具體地說，本發(fā)明涉及用于在 HEVC的可縮放視頻譯碼（SVC)擴展中的層間預(yù)測的改良的性能的系統(tǒng)和方法。在W下描述 中，描述與某些實施例有關(guān)的H. 264/AVC技術(shù)；還論述肥VC標(biāo)準(zhǔn)和有關(guān)技術(shù)。雖然本文中 在肥VC和/或H. 264標(biāo)準(zhǔn)和情況下描述某些實施例，但所屬領(lǐng)域的技術(shù)人員可了解，本文 中掲示的系統(tǒng)和方法可適用于任何合適的視頻譯碼標(biāo)準(zhǔn)。例如，本文中掲示的實施例可適 用于W下標(biāo)準(zhǔn)中的一或多者JTU-TH. 261、IS0/IECMPEG-lVisual、口U-T比 262 或ISO/ IECMPEG-2Visual、ITU-TH. 263、IS0/IECMPEG-4Visual和口U-TH. 264(也被稱作ISO/ IECMPEG-4AVC)，包含其可縮放視頻譯碼（SVC)和多視圖視頻譯碼（MVC)擴展。
[0032]SVC擴展可包含多個視頻信息層。例如，底層可充當(dāng)基礎(chǔ)層炬L)，而頂層可充當(dāng)增 強型層巧L)。術(shù)語"增強型層"在本文中根據(jù)其寬泛和普通意義來使用，且可與術(shù)語"增強 層"互換使用。中間層可充當(dāng)化或參考層巧L)或兩者。舉例而言，在中間的層可為在其下 方的層（例如，基礎(chǔ)層或任何插入增強層）的6以且同時充當(dāng)在其上方的一或多個增強層的 RL。
[0033]為了僅說明的目的，用包