基于高效率視頻譯碼對視頻信息的可縮放譯碼的裝置和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻譯碼和壓縮、基于高效率視頻譯碼(HEVC)的可縮放譯碼和基于HEVC的多視圖和3DV(三維視頻)譯碼的領(lǐng)域。
【背景技術(shù)】
[0002]數(shù)字視頻能力可并入到廣泛范圍的裝置中，所述裝置包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣播系統(tǒng)、個(gè)人數(shù)字助理(PDA)、膝上型或桌上型計(jì)算機(jī)、數(shù)字相機(jī)、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲主機(jī)、蜂窩式或衛(wèi)星無線電電話、視頻電話會議裝置和其類似者。數(shù)字視頻裝置實(shí)施視頻壓縮技術(shù)，例如在由MPEG-2、MPEG-4、ITU-TH.263、ITU-T H.264/MPEG-4部分10先進(jìn)視頻譯碼(AVC)定義的標(biāo)準(zhǔn)、目前正在開發(fā)的高效率視頻譯碼(HEVC)標(biāo)準(zhǔn)和這些標(biāo)準(zhǔn)的擴(kuò)展中所描述的視頻壓縮技術(shù)。視頻裝置可通過實(shí)施這些視頻譯碼技術(shù)來更有效地發(fā)射、接收、編碼、解碼和/或存儲數(shù)字視頻信息。
[0003]視頻壓縮技術(shù)執(zhí)行空間(圖片內(nèi))預(yù)測和/或時(shí)間(圖片間)預(yù)測以減少或去除視頻序列中固有的冗余。對于基于塊的視頻譯碼來說，可將視頻圖塊(例如，視頻幀、視頻幀的一部分等)分割成視頻塊，所述視頻塊也可被稱作樹型塊、譯碼單元(CU)和/或譯碼節(jié)點(diǎn)。使用相對于在相同圖片中的相鄰塊中的參考樣本的空間預(yù)測來編碼圖片的幀內(nèi)譯碼
(I)圖塊中的視頻塊。圖片的幀間譯碼(P或B)圖塊中的視頻塊可使用相對于在相同圖片中的相鄰塊中的參考樣本的空間預(yù)測或相對于在其它參考圖片中的參考樣本的時(shí)間預(yù)測?？蓪D片稱作幀，且可將參考圖片稱作參考幀。
[0004]空間預(yù)測或時(shí)間預(yù)測產(chǎn)生待譯碼塊的預(yù)測性塊。殘余數(shù)據(jù)表示待譯碼的原始塊與預(yù)測性塊之間的像素差。根據(jù)指向形成預(yù)測性塊的參考樣本的塊的運(yùn)動向量和指示經(jīng)譯碼塊與預(yù)測性塊間的差的殘余數(shù)據(jù)來編碼幀間譯碼塊。根據(jù)幀內(nèi)譯碼模式和殘余數(shù)據(jù)來編碼幀內(nèi)譯碼塊。為了進(jìn)行另外的壓縮，可將殘余數(shù)據(jù)從像素域變換到變換域，從而產(chǎn)生殘余變換系數(shù)，可接著量化所述殘余變換系數(shù)?？蓲呙枳畛醪贾贸啥S陣列的經(jīng)量化的變換系數(shù)以便產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用熵編碼以達(dá)成甚至更多壓縮。

【發(fā)明內(nèi)容】

[0005]可縮放視頻譯碼(SVC)指其中使用基礎(chǔ)層(BL)(有時(shí)稱作參考層(RL))和一或多個(gè)可縮放增強(qiáng)層(EL)的視頻譯碼。對于SVC來說，基礎(chǔ)層可攜載具有基礎(chǔ)質(zhì)量電平的視頻數(shù)據(jù)。一或多個(gè)增強(qiáng)層可攜載額外視頻數(shù)據(jù)以支持較高的空間、時(shí)間和/或信噪比SNR等級。可相對于先前編碼層來定義增強(qiáng)層。例如，底層可充當(dāng)BL，而頂層可充當(dāng)EL。中間層可充當(dāng)EL抑或RL，或充當(dāng)EL與RL兩者。例如，位于中間的層對于位于其下方的層(例如，基礎(chǔ)層或任何介入增強(qiáng)層)來說可為EL，且同時(shí)可充當(dāng)位于其上方的一或多個(gè)增強(qiáng)層的RL。類似地，在HEVC標(biāo)準(zhǔn)的多視圖或3D擴(kuò)展中，可存在多個(gè)視圖，且可利用一個(gè)視圖的信息來譯碼(例如，編碼或解碼)另一視圖的信息(例如，運(yùn)動估計(jì)、運(yùn)動向量預(yù)測和/或其它冗余)。
[0006]在HEVC擴(kuò)展中，增強(qiáng)層或另一視圖中的當(dāng)前塊可使用基礎(chǔ)層或視圖中的對應(yīng)塊加以預(yù)測。例如，當(dāng)前塊的語法元素、運(yùn)動信息(例如，運(yùn)動向量)或模式信息(例如，幀內(nèi)模式)可基于基礎(chǔ)層中的對應(yīng)塊。例如，可將基礎(chǔ)層運(yùn)動向量(MV)用作增強(qiáng)層合并模式/AMVP候選者列表中的候選者。候選者列表是待由譯碼器用來預(yù)測當(dāng)前塊的空間和時(shí)間運(yùn)動向量預(yù)測子的陣列。例如，視頻編碼器可編碼并傳達(dá)關(guān)于已知(或可知)的運(yùn)動向量的運(yùn)動向量差(MVD)，而非編碼并傳達(dá)運(yùn)動向量自身。在H.264/AVC中，已知的運(yùn)動向量(其可與MVD—起用來定義當(dāng)前運(yùn)動向量)可由所謂的運(yùn)動向量預(yù)測子(MVP)來定義，所述MVP是作為與相鄰塊相關(guān)聯(lián)的運(yùn)動向量的中值而導(dǎo)出。然而，更先進(jìn)的MVP技術(shù)可允許視頻編碼器選擇根據(jù)哪一相鄰者來定義MVP0
[0007]然而，例如，當(dāng)經(jīng)譯碼幀大小大于可能顯示于裝置上的實(shí)際幀大小時(shí)，或當(dāng)基礎(chǔ)層通過另一視頻標(biāo)準(zhǔn)(例如，AVC或MPEG2)譯碼時(shí)，基礎(chǔ)層的對應(yīng)塊可位于基礎(chǔ)層幀外部。在這些情形中，不能使用對應(yīng)塊的信息來預(yù)測增強(qiáng)層或視圖中的當(dāng)前塊，這是因?yàn)椴淮嬖诳捎糜趯?yīng)塊的信息。換句話說，不能使用來自基礎(chǔ)層或視圖的信息來譯碼不對應(yīng)于基礎(chǔ)層圖片的實(shí)際幀大小或經(jīng)譯碼幀大小內(nèi)的區(qū)域的增強(qiáng)層或視圖部分，且因此可降低譯碼效率。通過允許使用從基礎(chǔ)層或視圖導(dǎo)出的信息來預(yù)測增強(qiáng)層或視圖的這些部分，本發(fā)明中所描述的技術(shù)可改善譯碼效率和/或降低與譯碼視頻數(shù)據(jù)的方法相關(guān)聯(lián)的計(jì)算復(fù)雜性。
[0008]本發(fā)明的系統(tǒng)、方法和裝置各自具有若干創(chuàng)新方面，所述方面皆不單獨(dú)負(fù)責(zé)本文中所揭示的所要屬性。
[0009]在一個(gè)實(shí)施例中，一種經(jīng)配置以譯碼視頻信息的設(shè)備包含存儲器單元和與所述存儲器單元通信的處理器。所述存儲器單元經(jīng)配置以存儲與具有第一塊的增強(qiáng)層和具有第二塊的基礎(chǔ)層相關(guān)聯(lián)的視頻信息，所述基礎(chǔ)層中的第二塊對應(yīng)于所述增強(qiáng)層中的第一塊。所述處理器經(jīng)配置以基于從基礎(chǔ)層中的第二塊導(dǎo)出的信息通過層間預(yù)測來預(yù)測增強(qiáng)層中的第一塊。第二塊的至少一部分位于基礎(chǔ)層的參考區(qū)域外部，所述參考區(qū)域可供用于第一塊的層間預(yù)測。從基礎(chǔ)層中的第二塊導(dǎo)出的信息可包含對應(yīng)于最接近第二塊的相鄰塊的信息?？赏ㄟ^將第二塊的坐標(biāo)信息截割到基礎(chǔ)層的參考區(qū)域的范圍(例如，在水平與垂直兩方面)來定位所述相鄰塊。替代地，可在進(jìn)行位置映射過程以確定基礎(chǔ)層的第二塊之前首先將第一塊的坐標(biāo)信息截割到基礎(chǔ)層的當(dāng)前經(jīng)解碼或經(jīng)裁剪圖片的范圍。在第二塊(或其一部分)經(jīng)確定為位于基礎(chǔ)層的參考區(qū)域外部的狀況下，可針對第一塊而停用語法元素和殘余信息的層間預(yù)測，或替代地，可將默認(rèn)的語法值用于第一塊的層間預(yù)測。在另一實(shí)施例中，可將相鄰塊的語法值用于第一塊的層間預(yù)測。增強(qiáng)層的最小譯碼單元(SCU)大小可經(jīng)配置成與基礎(chǔ)層的S⑶不同。增強(qiáng)層的每一圖片邊界的邊界填補(bǔ)(padding)大小可經(jīng)配置成與基礎(chǔ)層的每一對應(yīng)的圖片邊界的邊界填補(bǔ)大小不同。
[0010]在另一實(shí)施例中，一種編碼視頻信息的方法包含:接收與基礎(chǔ)層和增強(qiáng)層相關(guān)聯(lián)的視頻信息；和基于從基礎(chǔ)層中的第二塊導(dǎo)出的信息通過層間預(yù)測來預(yù)測增強(qiáng)層中的第一塊，所述基礎(chǔ)層中的第二塊對應(yīng)于所述增強(qiáng)層中的第一塊；和基于從基礎(chǔ)層中的第二塊導(dǎo)出的信息通過層間預(yù)測來預(yù)測增強(qiáng)層中的第一塊。第二塊的至少一部分位于基礎(chǔ)層的參考區(qū)域外部，所述參考區(qū)域可供用于第一塊的層間預(yù)測。從基礎(chǔ)層中的第二塊導(dǎo)出的信息可包含對應(yīng)于最接近第二塊的相鄰塊的信息?？赏ㄟ^將第二塊的坐標(biāo)信息截割到基礎(chǔ)層的參考區(qū)域的范圍(例如，在水平與垂直兩方面)來定位所述相鄰塊。替代地，可在進(jìn)行位置映射過程以確定基礎(chǔ)層的第二塊之前首先將第一塊的坐標(biāo)信息截割到基礎(chǔ)層的當(dāng)前經(jīng)解碼或經(jīng)裁剪圖片的范圍。在第二塊(或其一部分)經(jīng)確定為位于基礎(chǔ)層的參考區(qū)域外部的狀況下，可針對第一塊而停用語法元素和殘余信息的層間預(yù)測，或替代地，可將默認(rèn)的語法值用于第一塊的層間預(yù)測。在另一實(shí)施例中，可將相鄰塊的語法值用于第一塊的層間預(yù)測。增強(qiáng)層的最小譯碼單元(SCU)大小可經(jīng)配置成與基礎(chǔ)層的SCU不同。增強(qiáng)層的每一圖片邊界的邊界填補(bǔ)大小可經(jīng)配置成與基礎(chǔ)層的每一對應(yīng)的圖片邊界的邊界填補(bǔ)大小不同。
[0011]在另一實(shí)施例中，一種解碼視頻信息的方法包含:接收從經(jīng)編碼視頻位流所提取的語法元素，其中所述語法元素包括與具有第一塊的增強(qiáng)層和具有第二塊的基礎(chǔ)層相關(guān)聯(lián)的視頻信息，所述第二塊對應(yīng)于所述第一塊；和基于從基礎(chǔ)層中的第二塊導(dǎo)出的信息通過層間預(yù)測來預(yù)測增強(qiáng)層中的第一塊，其中所述第二塊的至少一部分位于所述基礎(chǔ)層的參考區(qū)域外部，所述參考區(qū)域可供用于第一塊的層間預(yù)測。從基礎(chǔ)層中的第二塊導(dǎo)出的信息可包含對應(yīng)于最接近第二塊的相鄰塊的信息?？赏ㄟ^將第二塊的坐標(biāo)信息截割到基礎(chǔ)層的參考區(qū)域的范圍(例如，在水平與垂直兩方面)來定位所述相鄰塊。替代地，可在進(jìn)行位置映射過程以確定基礎(chǔ)層的第二塊之前首先將第一塊的坐標(biāo)信息截割到基礎(chǔ)層的當(dāng)前經(jīng)解碼或經(jīng)裁剪圖片的范圍。在第二塊(或其一部分)經(jīng)確定為位于基礎(chǔ)層的參考區(qū)域外部的狀況下，可針對第一塊而停用語法元素和殘余信息的層間預(yù)測，或替代地，可將默認(rèn)的語法值用于第一塊的層間預(yù)測。在另一實(shí)施例中，可將相鄰塊的語法值用于第一塊的層間預(yù)測。增強(qiáng)層的最小譯碼單元(SCU)大小可經(jīng)配置成與基礎(chǔ)層的SCU不同。增強(qiáng)層的每一圖片邊界的邊界填補(bǔ)大小可經(jīng)配置成與基礎(chǔ)層的每一對應(yīng)的圖片邊界的邊界填補(bǔ)大小不同。
[0012]在另一實(shí)施例中，一種非暫時(shí)性計(jì)算機(jī)可讀媒體包含代碼，所述代碼在執(zhí)行時(shí)使設(shè)備執(zhí)行以下步驟:存儲與具有第一塊的增強(qiáng)層和具有第二塊的基礎(chǔ)層相關(guān)聯(lián)的視頻信息，所述第二塊對應(yīng)于所述第一塊；和基于從基礎(chǔ)層中的第二塊導(dǎo)出的信息通過層間預(yù)測來預(yù)測增強(qiáng)層中的第一塊，其中第二塊的至少一部分位于基礎(chǔ)層的參考區(qū)域外部，所述參考區(qū)域可供用于第一塊的層間預(yù)測。
[0013]在另一實(shí)施例中，一種經(jīng)配置以譯碼視頻信息的視頻譯碼裝置包含:用于存儲與具有第一塊的增強(qiáng)層和具有第二塊的基礎(chǔ)層相關(guān)聯(lián)的視頻信息的裝置，所述第二塊對應(yīng)于所述第一塊；和用于基于從基礎(chǔ)層中的第二塊導(dǎo)出的信息通過層間預(yù)測來預(yù)測增強(qiáng)層中的第一塊的裝置，其中第二塊的至少一部分位于基礎(chǔ)層的參考區(qū)域外部，所述參考區(qū)域可供用于第一塊的層間預(yù)測。
【附圖說明】
[0014]圖1為說明視頻編碼和解碼系統(tǒng)的實(shí)例的框圖，所述視頻編碼和解碼系統(tǒng)可利用根據(jù)本發(fā)明中所描述的方面的技術(shù)。
[0015]圖2為說明視頻編碼器的實(shí)例的框圖，所述視頻編碼器可實(shí)施根據(jù)本發(fā)明中所描述的方面的技術(shù)。
[0016]圖3為說明視頻解碼器的實(shí)例的框圖，所述視頻解碼器可實(shí)施根據(jù)本發(fā)明中所描述的方面的技術(shù)。
[0017]圖4為說明基礎(chǔ)層和增強(qiáng)層中的各種幀的圖。
[0018]圖5為說明根據(jù)本發(fā)明的一個(gè)實(shí)施例的譯碼視頻信息的方法的流程圖。
【具體實(shí)施方式】
[0019]本文中所描述的某些實(shí)施例涉及在先進(jìn)的視頻編碼解碼器(例如，HEVC(高效率視頻譯碼))的內(nèi)容脈絡(luò)中用于可縮放視頻譯碼的層間預(yù)測。更具體地說，本發(fā)明涉及用于在HEVC的可縮放視頻譯碼(SVC)擴(kuò)展中改善層間預(yù)測的性能的系統(tǒng)和方法。
[0020]在以下的描述中，描述了與某些實(shí)施例相關(guān)的H.264/AVC技術(shù)；也論述了 HEVC標(biāo)準(zhǔn)和相關(guān)技術(shù)。雖然本文中在HEVC和/或H.264標(biāo)準(zhǔn)的內(nèi)容脈絡(luò)中來描述某些實(shí)施例，但一般所屬領(lǐng)域的技術(shù)人員可了解，本文中所揭示的系統(tǒng)和方法可適用于任何合適的視頻譯碼標(biāo)準(zhǔn)。例如，本文中所揭示的實(shí)施例可適用于以下標(biāo)準(zhǔn)中的一或多者:ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262 或 ISO/IEC MPEG_2Visual、ITU-T Η.263、ISO/IECMPEG-4Visual 和 ITU-T H.264(也稱為 ISO/IEC MPEG-4AVC)(包含所述 ITU-T H.264 的可縮放視頻譯碼(SVC)和多視圖視頻譯碼(MVC)擴(kuò)展)。
[0021]僅為了說明的目的，通過僅包含兩個(gè)層(例如，例如基礎(chǔ)層的較低層級的層，和例如增強(qiáng)層的較高層級的層)的實(shí)例來描述本文中所揭示的某些實(shí)施例。應(yīng)理解，這些實(shí)例可適用于包含多個(gè)基礎(chǔ)層和/或增強(qiáng)層的配置。另外，為了解釋的容易性，以下揭示內(nèi)容包含關(guān)于某些實(shí)施例的術(shù)語“幀”或“塊”。然而，這些術(shù)語并不意謂具限制性。例如，可將下文所描述的技術(shù)與任何合適的視頻單元(例如，塊(例如，CU、PU、TU、宏塊等)、圖塊、幀等)一起使用。
[0022]HEVC大體上在許多方面遵循先前視頻譯碼標(biāo)準(zhǔn)的構(gòu)架。HEVC中的預(yù)測單元與某些先前視頻譯碼標(biāo)準(zhǔn)中的預(yù)測單元(例如，宏塊)不同。事實(shí)上，宏塊的概念并不像在某些先前視頻譯碼標(biāo)準(zhǔn)中所理解一般存在于HEVC中。宏塊由基于四分樹方案的階層式結(jié)構(gòu)來替代，所述四分樹方案可提供高靈活性以及其它可能的益處。例如，在HEVC方案內(nèi)，定義三種塊類型，即，譯碼單元(CU)、預(yù)測單元(PU)和變換單元(TU)。CU可指區(qū)域分裂的基本單元?？蓪U視為類似于宏塊的概念，但CU并不限制最大大小且可允許遞歸分裂成四個(gè)相等大小的CU以改善內(nèi)容自適應(yīng)性?？蓪U視為幀間/幀內(nèi)預(yù)測的基本單元且PU可在單一PU內(nèi)含有多個(gè)任意形狀的分割區(qū)以有效地譯碼不規(guī)則圖像圖案?？蓪U視為變換的基本單元?？瑟?dú)立于PU來定義TU;然而，TU的大小可受限于其所屬的CU。將塊結(jié)構(gòu)以此方式分成三種不同概念可允許每一者根據(jù)其作用而被優(yōu)化，從而可導(dǎo)致改善的譯碼效率。
[0023]視頻譯碼標(biāo)準(zhǔn)
[0024]數(shù)字圖像(例如，視頻圖像、TV圖像、靜態(tài)圖像或由視頻記錄器或計(jì)算機(jī)所產(chǎn)生的圖像)可由按多個(gè)水平和垂直行布置的像素組成。單一圖像中的像素的數(shù)目通常為數(shù)萬個(gè)。每一像素通常含有明度和色度信息。在不壓縮的情況下，待從圖像編碼器傳遞到圖像解碼器的信息的數(shù)量如此龐大，以致于其使實(shí)時(shí)圖像傳輸不可能實(shí)現(xiàn)。為了減少待傳輸?shù)男畔⒌牧?，已開發(fā)了若干不同壓縮方法(例如，JPEG, MPEG和H.263標(biāo)準(zhǔn))。
[0025]視頻譯碼標(biāo)準(zhǔn)包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262 或 ISO/IEC MPEG-2Visual、ITU-T H.263、IS0/IEC MPEG_4Visual 和 ITU-T H.264 (也稱為 ISO/IECMPEG-4AVC)(包含所述ITU-T H.264的可縮放視頻譯碼(SVC)和多視圖視頻譯碼(MVC)擴(kuò)展)，以上各者皆以全文引用的方式而并入本文。
[0026]另外，正由ITU-T視頻譯碼專家群(VCEG)和ISO/IEC運(yùn)動圖片專家群(MPEG