可伸縮視頻編碼中的運動預測的制作方法
【專利摘要】所公開的是用于使用基本層的運動向量信息預測增強層的待重構(gòu)預測單元的技術。視頻編碼器或解碼器包括具有預測器列表插入模塊的增強層編碼循環(huán)。預測器列表插入模塊可以生成運動向量預測器列表，或修改已有的運動向量預測器列表，使得列表包括根據(jù)由基本層編碼循環(huán)生成的輔助信息導出的并且已經(jīng)提升了的至少一個預測器。
【專利說明】可伸縮視頻編碼中的運動預測
[0001]相關申請的交叉引用
[0002]本申請要求2011 年 6 月 30 日提交的題為 “Motion Prediction in ScalableVideo Coding (可伸縮視頻編碼中的運動預測)”的美國序列號第61/503,092的優(yōu)先權,該公開通過整體引用合并于此。
【技術領域】
[0003]本申請涉及視頻編碼技術，其中視頻以基本層和一個或多個附加層的形式表示且其中基本層的運動向量信息可以用于預測。
【背景技術】
[0004]使用可伸縮技術的視頻壓縮在此處使用的意義上允許數(shù)字視頻信號以多個層的形式表示。可伸縮視頻編碼技術被提議和/或標準化已有多年。
[0005]例如，ITU-TRec.H.26202/2000 (可從瑞士 日內(nèi)瓦 20Place des Nationsl211 國際電信聯(lián)盟(ITU)獲得并通過整體引用結(jié)合于此處)，也稱為MPEG-2，在某些方面包括了允許對一個基本層和一個或多個增強層編碼的可伸縮編碼技術。增強層就諸如增加的幀速之類的時間分辨率(時間可伸縮性)、空間分辨率(空間可伸縮性)或在給定幀速和分辨率的質(zhì)量(質(zhì)量可伸縮性，也稱為SNR可伸縮性)而言可以增強基本層。
[0006]ITU Rec.H.263版本2 (1998)及之后的版本(可從瑞士日內(nèi)瓦20Place desNationsl211國際電信聯(lián)盟(ITU)獲得并通過整體引用結(jié)合于此處)也包括了允許某些可伸縮性的可伸縮性機制。
[0007]ITU-T Rec.H.264版本2 (2005)及之后的版本(可從瑞士日內(nèi)瓦20Place desNationsl211國際電信聯(lián)盟(ITU)獲得并通過整體引用結(jié)合于此處)和它們相應的ISO-1EC對應物IS0/IEC14496第10部分在其附錄G中包括了稱為可伸縮視頻編碼或SVC的可伸縮性機制。SVC包括運動向量(和其它輔助信息，諸如幀內(nèi)預測模式、運動分區(qū)、參考圖片索引)的預測機制，如在例如 Segall C.和 Sullivan G.的 “Spatial Scalability Within theH.264/AVC Scalable Video Coding Extension(H.264/AVC 可伸縮視頻編碼擴展中的空間可伸縮性)” (IEEE CSVT,卷17N0.9，2007年9月)和其特別子節(jié)II1.B中解釋的。
[0008]視頻壓縮的一個方面是運動向量的預測。例如，SVC對每個增強層運動分區(qū)規(guī)定了通過將baSe_m0de_f lag (基本層_模式_標志)設置為零來表示的模式，此樣本的運動向量預測器可以是相對應的基本層空間區(qū)域的經(jīng)提升的運動向量。對增強層數(shù)據(jù)的每個運動分區(qū)，motion_prediction_flag (運動_預測_標志)可以判斷經(jīng)提升的基本層運動向量是否用作預測器，或當前層的空間預測的中間值運動向量是否用作預測器。此預測器可以通過如下所述的根據(jù)比特流而解碼的增強層運動向量差別和其它運動預測技術來修改，以生成所應用的運動向量。
[0009]SVC還規(guī)定了第二模式,通過base_mode_flag等于一來表示。對此層間運動預測模式，整個增強層宏塊的運動信息可以根據(jù)相對應的基本層的塊來預測。在此情況中，經(jīng)提升的信息“不予改變”地使用；運動向量、參考圖片列表索引(可以等于運動向量中的時間維度)和分區(qū)信息(應用運動向量的“塊”的大小和形狀)全部是直接從基本層導出的。
[0010]在兩種模式中，可以有表示運動向量預測存在或不存在的開銷；通常是對motion_prediction_flags標志多達每增強層宏塊4比特，加上當使用CAVLC編碼時對base_mode_flag的一個附加比特。
[0011]在SVC中，運動向量是在比特流中作為由搜索算法找到的運動向量與運動向量預測器之間的差別而編碼的。預測器可以作為三個相鄰塊的運動向量的中間值而計算，如果有鄰居可用的話。如果特定鄰居不可用，例如作為幀內(nèi)編碼或在圖片或片的邊界之外，則可以用不同的鄰居位置代替，或者用(0，0)的值代替。
[0012]在本寫作的時間，高效率視頻編碼(HEVC)在由視頻編碼聯(lián)合協(xié)作團隊(JCT-VT)開發(fā)。在本寫作的時間，JCT-VC的工作草案可以作為“Bross et.al., High efficiencyvideo coding (HEVC) text specification draft6, JCTVC-H1003_dK, Feb2012 (Bross 等，高效率視頻編碼(HEVC)文本規(guī)范草案6，JCTVC-H1003_dK，2012年2月)”(此后稱為“WD6”或“HEVC”)找到，從
[0013]http://phenix.1nt-evry.fr/jet/doc_end_user/documents/8_SanJose/wglI/JCTVC-H1003-vdK.zip (此后稱為“WD6”)可以得到，該草案通過整體引用結(jié)合于此。
[0014]WD6描述了用于非可伸縮視頻壓縮的技術，并一般地對運動預測提供如下:
[0015]WD6定義預測單元(PU)為預測可以應用的最小單元。相關于運動補償，粗略地等于H.264稱為運動分區(qū)或較老的視頻編碼標準稱為塊的內(nèi)容。對每個形成了具有一個或多個候選預測器的預測列表，候選預測器可以稱為運動競爭的候選。候選預測器包括相鄰塊運動向量和參考圖片中的空間相對應塊。如果候選預測器不可用(例如幀內(nèi)或在圖片或片的邊界之外)或者與已經(jīng)在列表中的另一個候選預測器相同，則它不包括在預測器列表中。
[0016]在編碼和解碼期間都可以創(chuàng)建列表。如果列表中只有一個候選(編碼器可以通過與相鄰運動向量的比較而達到的狀態(tài))，那么此向量是用于該PU的預測向量。然而，如果列表中有更多的候選MV (運動向量)，則編碼器可以在比特流中顯式地表示候選的索引(從而在列表中標識它)。解碼器可以使用與編碼器所使用的相同的機制來重新創(chuàng)建列表，并可以根據(jù)比特流解析關于或者不存在索引(在該情況中選擇單個列表項目)或者索引指向列表的信息。
[0017]編碼器可以根據(jù)從預測器列表可得到的預測器來選擇用于當前的運動向量的預測器。預測器的選擇可以是基于本領域技術人員已知的速率-失真優(yōu)化原則的。折衷可以如下:(以比特計的)成本與列表中的預測器的選擇相關聯(lián)。列表中的索引越高，對索引編碼的成本可以越高(例如以比特計量)。然而，PU的實際運動向量可能不是正好是任何列表項目中可得到的，并且因此可以有利地以可以添加到預測器向量的差別向量形式編碼。此差別編碼也可以占用某個數(shù)量的比特。最后，經(jīng)運動補償?shù)念A測之后的殘留也可能需要編碼，這也涉及比特。編碼器可以選擇預測器選擇器編碼、差別向量編碼和殘留編碼的組合，以便最小化為給定質(zhì)量所利用的比特的數(shù)量。此過程在McCann、Boss、Sekiguchi> Han的“HM6:High Efficiency Video Coding(HEVC)Test Model6Encoder Description (HM6:高效率視頻編碼(HEVC)測試模型6編碼器描述)”(兀1';(:-!11002，2012年2月，可從http://phenix.1nt-evry.fr/jet/doc_end—user/documents/8_SanJose/wgll/JCTVC-H1002-vl.zip獲得，此后稱HM6)中描述，具體地在5.4.1和5.4.2節(jié)中。
[0018]列表中較前的運動向量可以用比列表中較后的那些運動向量少的比特來編碼。
[0019]當對圖片解碼時，可以存儲運動向量以便使它們稍后可用作作為解碼的輔助效果而創(chuàng)建的參考圖片中的空間上位于同處的運動向量。
[0020]空間和SNR可伸縮性可以在如下意義上緊密相關，即至少在一些實現(xiàn)中和對一些視頻壓縮方案和標準而言，SNR可伸縮性可以看作在X和Y兩維度中都有為I的空間伸縮因子的空間可伸縮性，而空間可伸縮性可以通過例如每個維度中1.5到2.0的因子將基本層的圖片大小增強到更大的格式。由于此密切相關性，此后僅描述空間可伸縮性。
[0021]由于非可伸縮規(guī)范基礎的不同術語和/或不同編碼工具以及用于實現(xiàn)可伸縮性的不同工具，全部三個前述標準中的空間可伸縮性的規(guī)范自然地不同。然而，配置為對基本層和一個增強層編碼的可伸縮編碼器的示例性實施策略是，包括兩個編碼循環(huán)，一個用于基本層，另一個用于增強層?？梢酝ㄟ^添加更多編碼循環(huán)來添加附加的增強層。這已經(jīng)在例如 Dugad, R 和 Ahuja, N 的 “A Scheme for Spatial Scalability Using NonscalableEncoders (使用非可伸縮編碼器的空間可伸縮性的方案)” (IEEE CSVT卷13N0.10，2003年10月)中討論過了，該方案通過整體引用結(jié)合于此。
[0022]參考圖1，示出了這樣的示例性現(xiàn)有技術的可伸縮編碼器的框圖，該編碼器包括視頻信號輸入(101)、下取樣單元(102)、基本層編碼循環(huán)(103)、可以是基本層編碼循環(huán)的一部分但也可以充當對參考圖片上取樣單元(105)的輸入的基本層參考圖片緩沖區(qū)(104)、增強層編碼循環(huán)(106)和比特流生成器(107)。
[0023]視頻信號輸入(101)可以接收任何適合的數(shù)字格式的待編碼的視頻，例如根據(jù)ITU-R Rec.BT.601 (1982 年)(可從瑞士 日內(nèi)瓦 20Place des Nationsl211 國際電信聯(lián)盟(ITU)獲得并通過整體引用結(jié)合于此處)的格式。術語“接收”應當被寬泛地解釋，并可以涉及預處理步驟，諸如過濾、重取樣成例如預期的增強層空間分辨率和其它操作。此處假定了輸入信號的空間圖片大小與增強層的空間圖片大小相同。輸入信號可以以增強層編碼循環(huán)(106 )中的未修改格式(108 )使用，增強層編碼循環(huán)耦合到視頻信號輸入。
[0024]耦合到視頻信號輸入的還可以是下取樣單元(102)。下取樣單元(102)的目的是將增強層分辨率的由視頻信號輸入(101)接收的圖片下取樣成基本層分辨率。視頻編碼標準和應用限制可以對基本層分辨率設置限制。例如，H.264/SVC的可伸縮基線框架允許X和Y兩維度中1.5或2.0的下取樣率。2.0的下取樣率意味著下取樣的圖片僅包括未下取樣的圖片樣本的四分之一。在某些視頻編碼標準中，可以獨立于上取樣機制而自由地選擇下取樣機制的細節(jié)。作為對比，這樣的視頻編碼標準通常規(guī)定了用于上取樣的過濾器，以便避免增強層編碼循環(huán)(105)中的漂移。
[0025]下取樣單元(102)的輸出是由視頻信號輸入產(chǎn)生的圖片的下取樣版本(109)。
[0026]基本層編碼循環(huán)(103)收取由下取樣單元(102)產(chǎn)生的下取樣圖片并將它編碼進基本層比特流(I 10)。
[0027]許多視頻壓縮技術在其它因素之外依賴于圖片間預測技術以達到高壓縮效率。圖片間預測允許在對當前圖片的解碼中使用涉及一個和多個先前解碼的(或另外地處理的)圖片(稱為參考圖片)的信息。圖片間預測機制的示例包括運動補償，其中在重構(gòu)期間將來自先前解碼的圖片的像素塊在根據(jù)運動向量移動之后復制或另外地采用；或殘留編碼，其中，代之以對像素值解碼，參考圖片的(在一些情況中包括經(jīng)運動補償?shù)?像素和重構(gòu)像素值之間的潛在量化差別包含在比特流中并用于重構(gòu)。圖片間預測是可以啟用現(xiàn)代視頻編碼中的良好編碼效率的關鍵技術。
[0028]相反地，編碼器也可以在它的編碼循環(huán)中創(chuàng)建參考圖片。
[0029]當在非可伸縮編碼中使用參考圖片與圖片間預測有特定相關性時，在可伸縮編碼的情況中參考圖片也可以對跨層預測相關?？鐚宇A測可以涉及使用基本層重構(gòu)圖片和基本層參考圖片作為增強層圖片的預測中的參考圖片。此重構(gòu)圖片或參考圖片可以與用于圖片間預測的參考圖片相同。然而，即使基本層是以諸如僅圖片內(nèi)編碼之類的不使用可伸縮編碼、不要求參考圖片的方式編碼的，也可以要求生成這樣的基本層參考圖片。
[0030]盡管基本層參考圖片可以在增強層編碼循環(huán)中使用，這里為簡明起見僅示出使用重構(gòu)圖片(最新的參考圖片)(111)供增強層編碼循環(huán)使用?；緦泳幋a循環(huán)(103)可以生成前述意義的參考圖片，并將它存儲在參考圖片緩沖區(qū)(104)中。
[0031]存儲在重構(gòu)圖片緩沖區(qū)(111)中的圖片可以由上取樣單元(105)上取樣成由增強層編碼循環(huán)(106)使用的分辨率。增強層編碼循環(huán)(106)可以使用如由上取樣單元(105)結(jié)合來自視頻輸入(101)的輸入圖片所產(chǎn)生的上取樣的基本層參考圖片，和在其編碼過程中作為增強層編碼循環(huán)的一部分而創(chuàng)建的參考圖片(112)。這些使用的本質(zhì)取決于視頻編碼標準，并在以上已經(jīng)就一些視頻壓縮標準簡要介紹了。增強層編碼循環(huán)(106)可以創(chuàng)建增強層比特流(113)，增強層比特流可以和基本層比特流(110)和控制信息(未示出)一起處理以便創(chuàng)建可伸縮比特流(114)。
[0032]增強層編碼循環(huán)(106)可以包括運動向量編碼單元(115)，該單元可以根據(jù)以上概括的WD6操作。

【發(fā)明內(nèi)容】

[0033]所公開的主題提供了用于使用基本層的運動向量信息預測待重構(gòu)的塊的技術，其中視頻以基本層和一個或多個附加層的形式表示。
[0034]在一個實施例中，視頻編碼器包括具有預測器列表插入模塊的增強層編碼循環(huán)。
[0035]在一個實施例中，解碼器可以包括具有預測器列表插入模塊的增強層解碼器。
[0036]在一個實施例中，增強層編碼器/解碼器中的預測器列表插入模塊可以生成運動向量預測器的列表，或修改運動向量預測器的已有列表，使得列表包括根據(jù)由基本層編碼循環(huán)生成的輔助信息導出并經(jīng)提升的至少一個預測器。
【專利附圖】

【附圖說明】
[0037]所公開的主題的更多特征、本質(zhì)和各種優(yōu)點從以下【具體實施方式】和附圖中將更顯而易見，附圖中:
[0038]圖1是根據(jù)現(xiàn)有技術的示例性可伸縮視頻編碼器的示意圖；
[0039]圖2是根據(jù)本公開的實施例的示例性編碼器的示意圖；
[0040]圖3是根據(jù)本公開的實施例的示例性解碼器的示意圖；
[0041]圖4是根據(jù)本公開的實施例的示例性預測器列表插入模塊的示意圖；[0042]圖5是根據(jù)本公開的實施例的示例性預測器列表插入模塊的過程；以及
[0043]圖6示出了根據(jù)本公開的實施例的示例性計算系統(tǒng)。
[0044]附圖被結(jié)合并構(gòu)成本公開的一部分。除非另外說明，貫穿附圖相同的附圖標號和標記用來指示所示實施例的相似的特征、元素、組件或部分。而且，盡管現(xiàn)在將參考附圖詳細地描述所公開的主題，這是結(jié)合說明性實施例而進行的。
【具體實施方式】
[0045]圖2示出了根據(jù)所公開的主題的示例性兩層可伸縮編碼器的框圖。編碼器可以通過添加附加增強層編碼循環(huán)而擴展為支持多于兩個層。此編碼器的設計中的一個設計考慮是，通過重新使用基本未變更的盡可能多的基本層編碼循環(huán)的功能構(gòu)建塊，使增強層編碼循環(huán)就它的操作而言保持盡可能接近基本層編碼循環(huán)。這樣做可以節(jié)省設計和實現(xiàn)時間，這是有商業(yè)優(yōu)勢的。
[0046]貫穿所公開的主題的描述，術語“基本層”指層分層結(jié)構(gòu)中增強層基于其上的層。在有多于兩個增強層的環(huán)境中，按此描述中所使用的基本層不必是最低可能層。
[0047]編碼器可以接收未壓縮的輸入視頻(201)，這可以在下取樣模塊(202)中下取樣成基本層空間分辨率，并可以以下取樣的形式充當對基本層編碼循環(huán)(203)的輸入。下取樣因子可以是1.0，在該情況中基本層圖片的空間維度與增強層圖片的空間維度相同(并且下取樣操作基本是不操作(no-op))，從而導致質(zhì)量可伸縮性，也稱為SNR可伸縮性。大于1.0的下取樣因子導致基本層空間分辨率低于增強層分辨率。視頻編碼標準可以在下取樣因子的允許范圍上施加限制。因子還可以依賴于應用。
[0048]基本層編碼循環(huán)可以生成以下在編碼器的其它模塊中使用的輸出信號:
[0049]A)基本層編碼的比特流比特(204)，其可以形成它們自己的、可能自我包含的、可以變得對例如解碼器(未示出)可用的基本層比特流，或可以用增強層比特和控制信息聚集到可伸縮比特流生成器(205 )，該可伸縮比特流生成器可以進而生成可伸縮比特流(206 )。
[0050]B)基本層編碼循環(huán)的重構(gòu)圖片(或其部分)(207)(因此是基本層圖片)，在可以用于跨層預測的基本層編碼循環(huán)的像素域中?；緦訄D片可以處于基本層分辨率，該基本層分辨率在SNR可伸縮性的情況中可以與增強層分辨率相同。在空間可伸縮性的情況中，基本層分辨率可以不同于例如低于增強層分辨率。
[0051]C)參考圖片輔助信息(208)。此輔助信息可以包括，例如涉及與參考圖片的編碼、宏塊或編碼單元(CU)編碼模式、幀內(nèi)預測模式等相關聯(lián)的運動向量的信息?！爱斍啊眳⒖紙D片(重構(gòu)的當前圖片或其部分)可以有比較老的參考圖片更多的與其相關聯(lián)的這種輔助信
肩、O
[0052]基本層圖片和輔助信息可以分別由上取樣單元(209)和提升單元(210)處理，在基本層圖片和空間可伸縮性的情況中這些單元可以使用例如可以在視頻壓縮標準中規(guī)定的內(nèi)插過濾器將樣本上取樣成增強層的空間分辨率。在提升單元(210)和參考圖片輔助信息的情況中，可以使用等價的例如伸縮的轉(zhuǎn)換。例如，運動向量可以通過在X和Y兩維度中乘以基本層編碼循環(huán)(203)中所生成的向量來伸縮。
[0053]增強層編碼循環(huán)(211)可以包含它自己的參考圖片緩沖區(qū)(212)，參考圖片緩沖區(qū)可以包含通過重構(gòu)先前生成的編碼的增強層圖片而生成的參考圖片樣本數(shù)據(jù)及相關聯(lián)的輔助信息。
[0054]增強層編碼循環(huán)(211)還可以包括運動向量編碼模塊，該模塊的功能已經(jīng)描述過了。
[0055]在所公開的主題的實施例中，增強層編碼循環(huán)還包括預測器列表插入模塊(214)。預測器列表插入模塊(214)可以耦合到提升單元(210)的輸出，從這里它可以接收包括運動向量、潛在地包括第三維度組件(諸如可以用作對當前PU編碼的預測器的對參考圖片列表的索引)的輔助信息。它還可以耦合到運動向量編碼模塊，以及具體地，可以訪問并操縱可以存儲于其中的運動向量預測器列表。預測器列表插入模塊(214)可以在增強層編碼(211)的上下文中操作，并且因此可以有對處理當前期間(例如諸如運動向量搜索的結(jié)果)和先前處理的PU期間(例如，諸如可以用作對當前PU的運動向量編碼的預測器的環(huán)繞PU的運動向量)生成的運動向量預測可用的信息。
[0056]在所公開的主題的同一或另一實施例中，預測器列表模塊(214)的一個目的是，生成運動向量預測器列表，或修改已有的運動向量預測器列表，使得列表包括根據(jù)已經(jīng)由提升單元(210)提升了的輔助信息(208)所導出的至少一個預測器。
[0057]在使用增強層運動向量的情況中，例如較早在描述WD6 ( [0011]到[0013])的上下文中描述的，運動向量預測器列表的生成或修改可以遵循已經(jīng)在增強層編碼循環(huán)中使用的技術。
[0058]運動向量編碼可以通過，例如，選擇使用例如速率-失真優(yōu)化技術而修改或生成的運動向量預測器列表中的預測器之一、將指示運動向量預測器的索引編碼進運動向量預測器列表中、并可選地對可以被解釋為涉及所選擇的運動向量預測器的增量信息的運動向量編碼來執(zhí)行。
[0059]前述操作的結(jié)果可以是，預測器可以基于例如指層間預測(根據(jù)基本層參考圖片預測)或?qū)觾?nèi)預測(根據(jù)增強層參考圖片預測)的速率-失真優(yōu)化技術而選擇。根據(jù)基本層的可能預測允許了編碼效率的潛在增長。
[0060]盡管以上在編碼器的上下文中描述了預測器列表插入模塊(214)，但在同一或另一實施例中，類似的模塊可以存在于解碼器中。
[0061]參考圖3，示出了配置為對基本層和增強層(例如空間或SNR增強層)解碼的可伸縮解碼器。解碼器可以包括基本層解碼器(301)和增強層解碼器(302)?；緦咏獯a器(301),作為它解碼過程的一部分并在其它事物之外可以根據(jù)基本層比特流(308)生成諸如重構(gòu)圖片樣本(309)，這可以是由提升單元(310)提升的并以上取樣的形式(311)在增強層編碼器中輸入的。在一些應用中，重構(gòu)的基本層樣本還可以直接地輸出(以虛線示出從而強調(diào)它是個可選項)(312)。此外，基本層解碼器(301)可以創(chuàng)建輔助信息(303)，該信息可以由提升單元(304)提升以反映基本層和增強層之間的圖片大小比率。經(jīng)提升的輔助信息
(305)可以包括運動向量。基本層解碼器(302)可以是基于圖片間預測原則的，對此它可以使用可以存儲在基本層解碼器參考圖片緩沖區(qū)(303)中的參考圖片。
[0062]增強層解碼器(302)可以包括運動向量解碼模塊(306)，該模塊被配置為對PU創(chuàng)建可以由增強層解碼器(302)的其它部分用于運動補償?shù)倪\動向量。運動向量解碼模塊
(306)可以在候選運動向量預測器列表上操作。列表可以包含可以使用例如已經(jīng)解碼的空間或時間鄰近的PU的運動向量根據(jù)增強層比特流重新創(chuàng)建的運動向量候選。此列表的內(nèi)容可以與在對相同PU編碼時由編碼器創(chuàng)建的列表相同。
[0063]在所公開的主題的實施例中，增強層解碼器還可以包括預測器列表插入模塊
(307)。此模塊的目的和操作可以與編碼器的預測器列表插入模塊(圖2，214)相同。具體地，預測器列表模塊(307)的一個目的是，生成運動向量預測器列表，或修改已有的運動向量預測器列表，使得列表包括根據(jù)由基本層解碼器重新創(chuàng)建的經(jīng)提升的輔助信息所導出的至少一個預測器。
[0064]增強層解碼器對增強層比特流(314)解碼，并可以對圖片間預測使用一個或多個可以存儲在增強層參考圖片緩沖區(qū)(315)中的增強層參考圖片。
[0065]參考圖4，示出了如已經(jīng)描述的預測器列表插入模塊(可以在編碼器(214)或解碼器(307)中找到)的操作。
[0066]在同一或另一實施例中，預測器列表插入模塊(401)接收一個或多個經(jīng)提升的運動向量(402)。運動向量可以是二維的或三維的，包括例如參考圖片列表中的索引或另一形式的參考圖片選擇。
[0067]預測器列表插入模塊(401)還有對運動向量預測器列表(403)的訪問，該列表可以存儲在別處例如運動編碼模塊中。列表可以包括零個、一個或多個項目(示出了兩個項目(404)和(405))。
[0068]在同一或另一實施例中，預測器列表插入模塊(401)如下將單個運動向量插入導出的列表中。
[0069]圖5示出了根據(jù)所公開的主題的實施例的預測器列表插入模塊的過程。確定當前被編碼的增強層PU的中心的空間地址(501)。將此空間地址下縮到基本層分辨率(這是提升機制的逆轉(zhuǎn))(502)。取舍(503)之后的結(jié)果是基本層中像素的空間位置。確定此基本層像素的運動向量(504)，并將此基本層像素的運動向量提升到增強層分辨率(505)。
[0070]基本層中的運動向量的確定(504 )可以涉及在用于基本層運動向量預測的所存儲的基本層運動向量信息中查找。
[0071]再次參考圖4，在同一或另一實施例中，在運動向量預測器列表(403)的末尾(406)插入單個運動向量。
[0072]已經(jīng)指出了運動向量預測器在列表中的位置確定了在形成比特流時它被編碼的比特數(shù)?？梢赃x擇列表的末尾是因為，對一些內(nèi)容，經(jīng)提升的基本向量被選擇為預測器的可能性可以低于其它候選，諸如鄰近于當前被編碼的PU的增強層的向量。
[0073]在同一或另一實施例中，插入的位置是通過諸如⑶頭、片頭或參數(shù)組中的項目之類的高層語法結(jié)構(gòu)確定的。
[0074]在同一或另一實施例中，插入的位置是在I3U頭中顯式地表示的。
[0075]在同一或另一實施例中，多于一個經(jīng)提升的基本層運動向量在運動向量預測器列表中的合適位置作為候選預測器插入。例如，在同一或另一實施例中，在基本層PU(包括在步驟(502)和(503)中確定的基本層像素的基本層PU)編碼期間已經(jīng)確定的所有運動預測器候選可以被提升并在運動向量預測器列表的合適的位置例如末尾插入。
[0076]以上所描述的用于可伸縮視頻編碼中的運動預測的方法可以實現(xiàn)為使用計算機可讀指令并物理地存儲在計算機可讀介質(zhì)中的計算機軟件。計算機軟件可以使用任何合適的計算機語言編碼。軟件指令可以在各種類型的計算機上執(zhí)行。例如，圖6示出了適用于實現(xiàn)本公開的實施例的計算機系統(tǒng)600。
[0077]圖6中示出的計算機系統(tǒng)600的組件在本質(zhì)上是示例性的，并且不旨在對實現(xiàn)本公開的實施例的計算機軟件的使用或功能的范圍提出任何限制。也不應將該組件的配置解釋為對計算機系統(tǒng)的示例性實施例中示出的任一組件或其組合有任何依賴性或要求。計算機系統(tǒng)600可以具有許多物理形式，包括集成電路、印刷電路板、小型手持式設備(諸如移動電話或PDA)、個人計算機或超級計算機。
[0078]計算機系統(tǒng)600包括顯示632、一個或多個輸入設備633(例如小鍵盤、鍵盤、鼠標、指不筆等)、一個或多個輸出設備634 (例如揚聲器)、一個和多個存儲設備635、各種類型的存儲介質(zhì)636。
[0079]系統(tǒng)總線640鏈接各種子系統(tǒng)。如本領域技術人員所理解的，“總線”指提供公共功能的多種數(shù)字信號線。系統(tǒng)總線640可以是幾種類型的總線結(jié)構(gòu)中的任一種，包括存儲器總線、外圍總線、以及使用各種總線架構(gòu)中的任一種的局部總線。作為示例而非限制，這樣的架構(gòu)包括工業(yè)標準架構(gòu)(ISA)總線、增強型ISA (EISA)總線、微通道架構(gòu)(MCA)總線、視頻電子標準協(xié)會局部總線(VLB)、外圍組件互連(PCI)總線、快速PCI總線(PC1-X)和加速圖形端口(AGP)總線。
[0080]處理器601 (也稱為中央處理單元或CPU)可選地包含用于臨時本地存儲指令、數(shù)據(jù)或計算機地址的高速緩存存儲器單元602。處理器601耦合到包括存儲器603的存儲設備。存儲器603包括隨機訪問存儲器(RAM)604和只讀存儲器(R0M)605。如本領域內(nèi)周知的，R0M605用于將數(shù)據(jù)和指令單向地傳輸給處理器601，且RAM604通常用來以雙向方式傳輸數(shù)據(jù)和指令。這些類型的存儲器都可以包括任何合適的以下所描述的計算機可讀介質(zhì)。
[0081]固定存儲608也雙向耦合到處理器601，可選地經(jīng)由存儲控制單元607。它提供附加數(shù)據(jù)存儲能力并且也可以包括任何以下所描述的計算機可讀介質(zhì)。存儲608可以用來存儲操作系統(tǒng)609、可執(zhí)行文件(EXEC) 610、應用程序612、數(shù)據(jù)611等等，并通常是比主存儲慢的次存儲介質(zhì)(諸如硬盤)。應理解，在合適的情況下存儲608中保留的信息可以如存儲器603中的虛擬存儲器合并進標準方式。
[0082]處理器601也耦合到各種接口，諸如圖形控制621、視頻接口 622、輸入接口 623、輸出接口 624、存儲接口 625，并且這些接口進而耦合到合適的設備。一般地，輸入/輸出設備可以是任何視頻顯示、跟蹤球、鼠標、鍵盤、話筒、觸敏顯示、傳感器讀卡器、磁或紙帶讀取器、平板機、指示筆、語音或手寫識別器、生物測定讀取器或其它計算機。處理器601可以耦合到另一計算機或使用網(wǎng)絡接口 620耦合到電信網(wǎng)絡630。有了這樣的網(wǎng)絡接口 620，可以構(gòu)想CPU601在執(zhí)行以上描述的方法的過程中可以從網(wǎng)絡630接收信息，或可以輸出信息到網(wǎng)絡。而且，本公開的方法實施例可以單在CPU601上執(zhí)行，或可以結(jié)合共享該處理的一部分的遠程CPU601在諸如因特網(wǎng)之類的網(wǎng)絡630上執(zhí)行。
[0083]根據(jù)各種實施例，當在網(wǎng)絡環(huán)境中時，即當計算機系統(tǒng)600連接到網(wǎng)絡630時，計算機系統(tǒng)600可以與也連接到網(wǎng)絡630的其它設備通信。通信可以經(jīng)由網(wǎng)絡接口 620從計算機系統(tǒng)600發(fā)送或發(fā)送到計算機系統(tǒng)600。例如，一個或多個分組形式的傳入通信，諸如來自另一設備的請求或響應，可以在網(wǎng)絡接口 620從網(wǎng)絡630接收并存儲在存儲器603的所選的區(qū)中用于處理。也是一個或多個分組形式的傳出通信，諸如給另一設備的請求或響應，也可以存儲在存儲器603的所選的區(qū)中并在網(wǎng)絡接口 620發(fā)送出去給網(wǎng)絡630。處理器601可以訪問這些存儲在存儲器603中用于處理的通信分組。
[0084]而且，本公開的實施例還涉及有計算機可讀介質(zhì)的計算機存儲產(chǎn)品，計算機可讀介質(zhì)其上有用于執(zhí)行各種計算機實現(xiàn)的操作的計算機代碼。介質(zhì)和計算機代碼可以是那些為了本公開的目的特別設計和構(gòu)造的，或可以是在計算機軟件領域中的技術人員周知和可用的類型。計算機可讀介質(zhì)的示例包括但不限于:磁介質(zhì)諸如硬盤、軟盤和磁帶；光學介質(zhì)諸如⑶-ROM和全息設備；磁光介質(zhì)諸如光盤；和特別配置為存儲和執(zhí)行程序代碼的硬件設備，諸如專用集成電路(ASIC)、可編程邏輯設備(PLD)及ROM和RAM設備。計算機代碼的示例包括機器代碼諸如由編譯器生成的，和包含由計算機使用解釋器執(zhí)行的更高級代碼的文件。本領域技術人員還應理解，如結(jié)合本公開主題所使用的術語“計算機可讀介質(zhì)”不涵蓋傳輸介質(zhì)、載波或其它瞬態(tài)信號。
[0085]作為示例而非限制的方式，具有架構(gòu)600的計算機系統(tǒng)可以提供功能作為處理器601執(zhí)行體現(xiàn)在一個或多個有形的計算機可讀介質(zhì)(諸如存儲器603)中的軟件的結(jié)果。實現(xiàn)本公開的各種實施例的軟件可以存儲在存儲器603中并由處理器601執(zhí)行。根據(jù)特定需求計算機可讀介質(zhì)可以包括一個或多個存儲器設備。存儲器603可以從一個或多個其它計算機可讀介質(zhì)(諸如大容量存儲設備635)或經(jīng)由通信接口從一個或多個其它源讀取軟件。軟件可以導致處理器(601)執(zhí)行此處描述的特定過程或特定過程的特定部分，包括定義存儲在存儲器603中的數(shù)據(jù)結(jié)構(gòu)并根據(jù)由軟件定義的過程修改這些數(shù)據(jù)結(jié)構(gòu)；作為補充或替換，計算機系統(tǒng)可以提供功能作為硬連線或另外體現(xiàn)在電路中的邏輯的結(jié)果，邏輯可以在軟件的位置中或與軟件一起執(zhí)行此處所描述的特定過程或特定過程的特定部分。當合適的時候，對軟件的引用可以涵蓋邏輯，并且反之亦然。當合適的時候，對計算機可讀介質(zhì)的引用可以涵蓋存儲用于執(zhí)行的軟件的電路(諸如集成電路(1C))、體現(xiàn)用于執(zhí)行的邏輯的電路、或二者。本公開涵蓋任何合適的硬件和軟件的組合。
[0086]盡管本公開描述了數(shù)個示例性實施例，但落入本公開的范圍的更改、排列和各種替換性等價方案是存在的。因此應理解，本領域技術人員將能夠設想許多盡管此處沒有顯式地示出或描述但體現(xiàn)本公開的原則并因此在其精神和范圍之內(nèi)的系統(tǒng)和方法。
【權利要求】
1.一種方法，用于對包括基本層和至少一個增強層的視頻解碼，所述方法包括: 對所述基本層的至少一個運動向量解碼； 使用所述基本層的所述至少一個運動向量作為所述增強層的運動向量的候選；以及 選擇運動向量的所述候選作為所述增強層的運動向量。
2.如權利要求1所述的方法，其特征在于，還包括: 提升所述基本層的所述運動向量。
3.如權利要求1所述的方法，其特征在于，所述使用所述基本層的所述運動向量還包括將所述運動向量在增強層運動向量候選列表中插入。
4.如權利要求3所述的方法，其特征在于，所述使用所述基本層的所述運動向量包括將所述運動向量在增強層運動向量候選列表的末尾處插入。
5.如權利要求3所述的方法，其特征在于，所述使用所述基本層的所述運動向量包括將所述運動向量在增強層運動向量候選列表中由語法元素所指示的位置處插入。
6.如權利要求5所述的方法，其特征在于，所述語法元素是高層語法結(jié)構(gòu)的一部分。
7.一種方法，用于對包括基本層和至少一個增強層的視頻編碼，所述方法包括: 確定所述基本層的至 少一個運動向量； 對所述基本層的所述至少一個運動向量編碼； 使用所述基本層的所述至少一個運動向量作為所述增強層的運動向量的候選；以及 選擇運動向量的所述候選作為所述增強層的運動向量。
8.如權利要求7所述的方法，其特征在于，還包括: 提升所述基本層的所述運動向量。
9.如權利要求7所述的方法，其特征在于，所述使用所述基本層的所述運動向量還包括將所述運動向量在增強層運動向量候選列表中插入。
10.如權利要求9所述的方法，其特征在于，所述使用所述基本層的所述運動向量包括將所述運動向量在增強層運動向量候選列表的末尾處插入。
11.如權利要求9所述的方法，其特征在于，所述使用所述基本層的所述運動向量包括將所述運動向量在增強層運動向量候選列表中由語法元素所指示的位置處插入。
12.如權利要求11所述的方法，其特征在于，所述語法元素是高層語法結(jié)構(gòu)的一部分。
13.一種增強層視頻解碼器，所述解碼器包括: 預測器列表插入模塊，所述模塊被配置為: 從提升單元接收經(jīng)提升的基本層運動向量， 將所述經(jīng)提升的基本層運動向量插入到增強層運動向量候選列表中，以及耦合到所述插入模塊的運動補償模塊，所述補償模塊被配置為用基于所述運動向量候選列表的至少一個項目的運動向量對至少一個預測單元進行運動補償。
14.如權利要求13所述的增強層視頻解碼器，其特征在于，所述預測器列表插入模塊還被配置為將所述經(jīng)提升的基本層運動向量在所述增強層運動向量候選列表的末尾處插入。
15.如權利要求13所述的增強層視頻解碼器，其特征在于，所述預測器列表插入模塊還被配置為將所述經(jīng)提升的基本層運動向量在所述增強層運動向量候選列表中由語法元素所指示的位置處插入。
16.一種增強層視頻編碼器，所述編碼器包括: 預測器列表插入模塊，所述模塊被配置為: 從提升單元接收經(jīng)提升的基本層運動向量， 將所述經(jīng)提升的基本層運動向量插入到增強層運動向量候選列表中，以及 運動補償模塊，所述補償模塊被配置為用基于所述運動向量候選列表的至少一個項目的運動向量對至少一個預測單元進行運動補償。
17.如權利要求16所述的增強層視頻編碼器，其特征在于，所述預測器列表插入模塊還被配置為將所述經(jīng)提升的基本層運動向量在所述增強層運動向量候選列表的末尾處插入。
18.如權利要求10所述的增強層視頻編碼器，其特征在于，所述預測器列表插入模塊還被配置為將所述經(jīng)提 升的基本層運動向量在所述增強層運動向量候選列表中由語法元素所指示的位置處插入。
19.一種非瞬態(tài)計算機可讀介質(zhì)，所述介質(zhì)包括用于指導處理器執(zhí)行權利要求1-12之一的方法的一組指令。
【文檔編號】H04N7/12GK103931173SQ201280032209
【公開日】2014年7月16日 申請日期:2012年6月20日 優(yōu)先權日:2011年6月30日
【發(fā)明者】D·洪, J·博伊斯 申請人:維德約股份有限公司