層間運動數(shù)據(jù)繼承的制作方法
【專利說明】層間運動數(shù)據(jù)繼承
[0001]相關申請
[0002]本申請要求享有于2013年I月4日提交的、發(fā)明名稱為“層間移動數(shù)據(jù)繼承”的美國臨時申請N0.61/748，872的權益。
【背景技術】
[0003]視頻編碼器壓縮視頻信息，以便能夠通過給定的帶寬發(fā)送更多的信息。壓縮信號可以接著被傳輸?shù)浇邮掌?，該接收器在對該信號進行顯示之前對其進行解碼或解壓縮。
[0004]目前正在由ISO/IEC運動圖像專家組(MPEG)和ITU-T視頻編碼專家組(VCEG)形成的關于視頻編碼(JCT-VC)的聯(lián)合協(xié)作團隊開發(fā)的高效率視頻編碼(HEVC)，是預計在2013年完成的視頻壓縮標準。類似于先前的視頻編碼標準，HEVC包括基本功能模塊，例如幀內/幀間預測、變換、量化、環(huán)路濾波和熵編碼。HEVC針對圖像定義了最大編碼單元(LCU)，接著將該最大編碼單元劃分為采取具有可變大小的矩形塊形式的編碼單元(CU)。在每個LCU內，基于四叉樹的分開方案指定了 CU劃分模式。HEVC還定義了分別指定如何劃分給定的CU用于預測和轉換目的的預測單元(PU)和轉換單元(TU)。CU通常包括一個亮度編碼塊(CB)和兩個色度CB連同相關聯(lián)的句法，并且PU可以被進一步分為其大小范圍從64X64采樣向下至4x4采樣的預測塊(PB)。在幀內或幀間預測之后，轉換操作被應用于剩余塊以生成系數(shù)。接著，該系數(shù)被量化和掃描為一維順序，并且最后被熵編碼。
[0005]還期望HEVC包括可縮放視頻編碼(SVC)擴展。HEVC SVC比特流包括代表處于不同的空間分辨率、幀速率、質量、比特深度等等的源視頻內容的若干子集比特流。接著，使用多層編碼結構來實現(xiàn)可縮放性，在一般情況下，該多層編碼結構包括基礎層(BL)以及至少一個增強層(EL)。這允許屬于EL的諸如PU的圖像或者圖像的部分被從較低層圖像(例如，BL圖像)或者從相同層中的先前編碼的圖像進行預測。
【附圖說明】
[0006]在附圖中，通過示例的方式而不是限制的方式說明了本申請中描述的資料。為了說明的簡單性和清楚性，在附圖中說明的元件不一定按比例繪制。例如，為了清楚起見，一些元件的尺寸相對于其他元件可能被放大。進而，在認為合適的情況下，在附圖之間重復了附圖標記以指示相應或類似的元件。在附圖中:
[0007]圖1是不例視頻編碼系統(tǒng)的說明圖；
[0008]圖2是不例視頻編碼系統(tǒng)的說明圖；
[0009]圖3是不例視頻解碼系統(tǒng)的說明圖；
[0010]圖4是說明示例過程的流程圖；
[0011 ] 圖5是示例系統(tǒng)的說明圖；
[0012]圖6是示例編碼方案的說明圖；
[0013]圖7是示例比特流的說明圖；
[0014]圖8是不例過程的流程圖；
[0015]圖9是示例系統(tǒng)的說明圖；以及
[0016]圖10說明了示例設備；
[0017]圖11是說明示例視頻編碼過程的流程圖；
[0018]圖12是運行中的示例視頻編碼過程的說明圖；以及
[0019]圖13是示例視頻編碼系統(tǒng)的說明圖，其全部根據(jù)本公開的至少一些實現(xiàn)來布置。
【具體實施方式】
[0020]現(xiàn)在將參考所包含的圖來說明一個或多個實施例或實現(xiàn)。盡管討論了具體的配置和布置，但是應當理解的是，這僅是為了說明的目的。相關領域的技術人員將認識到，在不偏離本說明書的精神和范圍的情況下，可以采用其它配置和布置。對于相關領域的技術人員顯而易見的是，也可以在與本申請中描述的系統(tǒng)和應用不同的各種其它系統(tǒng)和應用中采用在本申請中描述的技術和/或布置。
[0021]盡管下面的描述闡明了各種實現(xiàn)可以在例如以片上系統(tǒng)(SoC)架構為例的架構中體現(xiàn)，但是本申請中描述的技術和/或布置的實現(xiàn)并不局限于特定的架構和/或計算系統(tǒng)，并且可以由任意架構和/或計算系統(tǒng)實現(xiàn)用于類似的目的。例如，多個集成電路(IC)芯片和/或封裝和/或各種計算設備和/或諸如機頂盒、智能電話等等的消費類電子(CE)設備可以實現(xiàn)本申請中描述的技術和/或布置。進而，盡管下面的描述可以闡述諸如邏輯實現(xiàn)、系統(tǒng)組件的類型和相互關系、邏輯劃分/集成選擇等等的許多具體細節(jié)，但是可以在沒有這些具體細節(jié)的情況下實施請求保護的主題。在其他實例中，可能沒有詳細示出例如以控制結構和完整的軟件指令序列為例的一些資料，以便不混淆本申請中公開的資料。
[0022]本申請中公開的資料可以以硬件、固件、軟件或其任意組合來實現(xiàn)。本申請中公開的資料也可以被實現(xiàn)為存儲在機器可讀介質上的指令，該指令可以由一個或多個處理器讀取和執(zhí)行。機器可讀介質可以包括用于以機器(例如，計算設備)可讀的形式存儲或傳輸信息的任何介質和/或機制。例如，機器可讀介質可以包括只讀存儲器(ROM);隨機存取存儲器(RAM);磁盤存儲介質；光學存儲介質；閃存設備；電學、光學、聲學或其它形式的傳播信號(例如，載波、紅外信號、數(shù)字信號等等)，以及其他。
[0023]在說明書中對“一個實現(xiàn)”，“實現(xiàn)”，“示例實現(xiàn)”等等的引用指代所描述的實現(xiàn)可以包括特定的特征、結構或特性，但是每個實施例可能不一定都包括該特定的特征、結構或特性。而且，這樣的短語不一定指代同一實現(xiàn)。進而，當結合實施例描述特定的特征、結構或特性時，應當主張的是，結合其它實現(xiàn)來實現(xiàn)這樣的特征、結構或特性在本領域的熟練技術人員的知識范圍內，無論在本申請中是否明確描述了該其他實現(xiàn)。
[0024]下文描述了可縮放視頻編碼系統(tǒng)、裝置、物品和方法。在可縮放視頻編碼系統(tǒng)中，多層編碼用于支持若干種類的可縮放性，包括空間可縮放性、時間可縮放性、質量可縮放性、比特深度可縮放性，等等。根據(jù)本公開，各種層間運動數(shù)據(jù)繼承方案可以用于增加可縮放視頻編碼系統(tǒng)中的可縮放視頻編碼效率和/或靈活性。在各種實現(xiàn)中，層間運動數(shù)據(jù)繼承可以由視頻編解碼器、視頻編碼器、視頻處理器、媒體處理器等等中的一個或多個采用以能夠例如實現(xiàn)可縮放視頻編碼中的層間預測。
[0025]下面描述與包括層間運動數(shù)據(jù)繼承的視頻編碼有關的系統(tǒng)、裝置、物品以及方法。
[0026]如上所述，高效率視頻編碼(HEVC)被預期包括可縮放視頻編碼(SVC)擴展。HECVSVC比特流可以包括處于不同的空間分辨率、幀速率、質量、比特深度等等的源視頻內容的若干子集比特流。接著，可以使用多層編碼結構來實現(xiàn)可縮放性，在一般情況下，該多層編碼結構包括基礎層(BL)以及至少一個增強層(EL)，這可以允許屬于EL的諸如預測單元(PU)的圖象或者圖像的部分被從較低層圖象(例如，BL圖象)或者從相同層中的先前編碼的圖像進行預測。這樣的技術可以應對現(xiàn)代視頻服務環(huán)境中的網絡和設備的異構性。例如，SVC比特流可以包含若干子集比特流，這些子集比特流自身可以被解碼使得該子流可以代表具有不同的分辨率、幀速率、質量、比特深度等等的源視頻內容。因此，在各種網絡和設備場景中，可以例如基于帶寬或設備約束來實現(xiàn)不同的視頻質量。
[0027]如將在下面更詳細描述的，可以經由視頻編碼裝置(例如，編碼器或解碼器)在視頻數(shù)據(jù)的參考層(即，基礎層或較低級別增強層)處確定運動數(shù)據(jù)?；诨蛘卟糠值鼗谠撨\動數(shù)據(jù)，可以在增強層(即，在比參考層更高的層處的任何增強層)處執(zhí)行運動補償。從而，在增強層處的運動補償可以被簡化且計算資源可以被節(jié)省。在一些示例中，運動補償可以在編碼器處執(zhí)行且可以部分地基于在增強層處的運動補償來對比特流進行編碼。在其它示例中，例如，運動補償可以在解碼器處執(zhí)行，并且可以部分地基于在該增強層處的運動補償來生成增強層輸出幀，用于經由顯示設備呈現(xiàn)。
[0028]如在本文中使用的，術語“編碼裝置”可以指代編碼器和/或解碼器。類似地，如在本文中使用的，術語“編碼”可以指代經由編碼器執(zhí)行視頻編碼和/或經由解碼器執(zhí)行視頻解碼。例如，視頻編碼器和視頻解碼器二者都可以是能夠對視頻數(shù)據(jù)進行編碼的編碼裝置的示例。此外，如本文使用的，術語“編解碼器”可以指代任何過程、程序或操作組，例如以可以實現(xiàn)編碼器和/或解碼器的軟件、固件和/或硬件的任意組合為例。進而，如本文使用的，短語“運動數(shù)據(jù)”可以指代與幀間預測相關聯(lián)的任何類型的數(shù)據(jù)，包括但不局限于一個或多個運動矢量、參考索引和/或幀間方向。
[0029]圖1說明了根據(jù)本公開至少一些實現(xiàn)布置的示例可縮放視頻編碼(SVC)編碼系統(tǒng)100。在一般情況下，系統(tǒng)100可以提供用于執(zhí)行可縮放視頻編碼的計算機實現(xiàn)的方法。在各種實現(xiàn)中，系統(tǒng)100可以根據(jù)一個或多個標準或規(guī)范承擔視頻壓縮和解壓縮和/或實現(xiàn)視頻編解碼，該一個或多個標準或規(guī)范例如以高效率視頻編碼(HEVC)標準(參見ISO/IEC JTC/SC29/WG11和ITU-T SG16 WP3，“高效率視頻編碼(HEVC)文本規(guī)范草案8”(JCTVC-J1003_d7)，2012年7月)及其任何可縮放視頻編碼(SVC)擴展為例。盡管在本文中可以在HEVC標準的SVC擴展的上下文中描述系統(tǒng)100和/或其他系統(tǒng)、方案或過程，但是本公開不局限于任何特定的視頻編碼標準或規(guī)范或其擴展。
[0030]HEVC標準指定了針對圖像的最大編碼單元(LCU)，接著該最大編碼單元被劃分為采取具有可變大小的矩形塊形式的編碼單元(CU)。在每個LCU內，基于四叉樹的分開方案可以指定CU劃分模式。HECV還定義了分別指定如何劃分給定的CU用于預測和轉換目的的預測單元(PU)和轉換單元(TU)。CU通?？梢园ㄒ粋€亮度編碼塊(CB)和兩個色度CB連同相關聯(lián)的句法，并且PU可以被進一步分為其大小范圍從64X64采樣向下到4x4采樣的預測塊(PB)。如本文使用的，術語“塊”可以指代視頻圖像的任何劃分或子劃分。例如，塊可以指代PU、PB、TU、⑶或CB等等。
[0031]如所說明的，系統(tǒng)100可以包括編碼器子系統(tǒng)101，該編碼器子系統(tǒng)101可以具有多個視頻編碼器，包括層O或基礎層(BL)編碼器102、層I或第一增強層(EL)編碼器104以及層2或第二 EL編碼器106。系統(tǒng)100還可以包括解碼器子系統(tǒng)103的相對應的視頻解碼器，包括層O(BL)解碼器108、層I(EL)解碼器110、和層2 (EL)解碼器112。在一般情況下，BL可以是HEVC兼容編碼的。當使用等于N的層標識(ID)對EL進行編碼時，例如，SVC編碼方案提供具有層ID小于N的所有編碼層用于在層間預測方案中使用，以使得屬于特定EL的圖像可以被從較低層圖像(例如在BL或者一個或多個較低層EL中)或者從相同EL中的先前編碼的圖像來預測。
[0032]根據(jù)本公開，如將在下面更詳細解釋的，EL編碼器104和106中的一個或二者可以使用運動數(shù)據(jù)，例如但不局限于從編碼器102或104獲得的一個或多個運動矢量、參考索引和/或幀間方向，來執(zhí)行運動補償。例如，在一些實現(xiàn)中，編碼器104可以至少部分地使用從編碼器102獲得的運動數(shù)據(jù)114來執(zhí)行運動補償。此外，在一些實現(xiàn)中，編碼器106可以至少部分地使用分別從編碼器102和/或編碼器104獲得的運動數(shù)據(jù)114和/或運動數(shù)據(jù)118來執(zhí)行運動補償。
[0033]如本文使用的，術語“層間預測”指代當至少部分地使用與較低層圖像的一個或多個相對應的塊(例如，BL或較低EL層圖像的一個或多個PU)相關聯(lián)的運動數(shù)據(jù)對諸如預測單元(PU)的EL塊的一部分進行幀間預測時執(zhí)行運動補償。通過允許編碼系統(tǒng)重用運動數(shù)據(jù)來代替針對各種EL塊提供單獨的運動數(shù)據(jù)，在EL幀間預測中使用繼承的運動數(shù)據(jù)可以改善諸如系統(tǒng)100的SVC系統(tǒng)的壓縮效率和編碼靈活性。在根據(jù)本公開的各種實現(xiàn)中，可以在時間、空間、比特深度和/或質量可縮放視頻編碼應用的任意組合中應用層間預測。
[0034]如所討論的，EL可以使用繼承的運動數(shù)據(jù)來執(zhí)行運動補償。也如所討論的，可以在EL處從BL或者較低級的EL(或二者)接收運動數(shù)據(jù)。如在本文中使用的，術語“參考層”(RL)指代可以向接收和使用運動數(shù)據(jù)來執(zhí)行運動補償?shù)腅L提供該運動數(shù)據(jù)的BL或者EL0在一般情況下，可以接收和使用運動數(shù)據(jù)來執(zhí)行運動補償?shù)腅L被認為是“目標EL”或者簡單地認為是EL。
[0035]米用編碼器102、104和106中的任意一個或多個，編碼器子系統(tǒng)101可以向摘編碼器124提供單獨的比特流。熵編碼器124接著可以