用于視頻編碼的非序列變換單元的制作方法
【專利摘要】一種關(guān)于4:2:2色度子采樣格式的視頻編碼的方法，包括：將圖像數(shù)據(jù)分成變換單元；在非正方形變換單元的情況下，在應用空間頻率變換之前將非正方形變換單元分成正方形塊；并且將空間頻率變換應用到正方形塊以生成空間頻率系數(shù)的相應集合。
【專利說明】用于視頻編碼的非序列變換單元
[0001] 相關(guān)申請的交叉引用
[0002] 本申請要求于在先 申請日期:2012年4月26日提交給英國知識產(chǎn)權(quán)局的GB 1207459. 7的權(quán)益，通過引用將其全部內(nèi)容結(jié)合在此。

【技術(shù)領域】
[0003] 本公開內(nèi)容涉及用于在視頻編碼和解碼中進行色度處理的方法和設備。

【背景技術(shù)】
[0004] 本文中所提供的"【背景技術(shù)】"說明為用于對本公開的背景作一般性說明為目的。發(fā) 明人的某些工作（即已在此【背景技術(shù)】部分中作出描述的工作）以及說明書中關(guān)于某些尚未 成為申請日之前的現(xiàn)有技術(shù)的內(nèi)容，無論是以明確或隱含的方式均不被視為相對于本發(fā)明 的現(xiàn)有技術(shù)。
[0005] 當前視頻編解碼器（編碼器-解碼器），諸如H. 264/MPEG-4高級視頻編碼（AVC) 主要通過僅編碼連續(xù)視頻幀之間的差（difference，差分）實現(xiàn)數(shù)據(jù)壓縮。這些編解碼器使 用所謂宏塊的規(guī)則陣列，每個宏塊用作與以前視頻幀中的對應宏塊比較的區(qū)域，然后根據(jù) 視頻序列中對應的當前和以前的宏塊之間或視頻序列的單個幀內(nèi)的相鄰宏塊之間建立的 運動度（degree of motion)對宏塊內(nèi)的圖像區(qū)域進行編碼。
[0006] 高效率視頻編碼（HEVC)，也被稱為H. 265或MPEG-Η部分2,是H. 264/MPEG-4AVC 的推薦接替者。與H. 264相比，HEVC旨在改善視頻質(zhì)量并使數(shù)據(jù)壓縮率加倍，并且像素分 辨率可從128X96伸縮至7680X4320,大致相當于從128kbit/s到800Mbit/s的比特率。
[0007] HEVC將在現(xiàn)有H. 264和MPEG標準中建立的宏塊替換為基于編碼單元（CU)的更靈 活的方案，該編碼單元是可變大小的結(jié)構(gòu)。
[0008] 因此，當編碼視頻幀中的圖像數(shù)據(jù)時，可響應于表觀圖像復雜度或檢測的運動級 來選擇⑶尺寸，而不是使用均勻分布的宏塊。因此，在幀之間運動很少以及幀內(nèi)具有很少 變化的區(qū)域中能夠?qū)崿F(xiàn)更大的壓縮，同時在高幀間運動或圖像復雜度的區(qū)域中能夠保持更 好的圖像質(zhì)量。
[0009] 每個CU包含圖像內(nèi)或圖像間預測類型的一個或多個塊尺寸可變的預測單元（PU) 以及包含用于空間塊變換和量化的系數(shù)的一個或多個變換單元（TU)。
[0010] ro的目的是包圍所有的采樣相對于先前編碼圖像（幀間編碼）具有共同的運動或 與直接鄰近PU的采樣（幀內(nèi)編碼）具有一致關(guān)系處的圖像的區(qū)域。這樣，在空間頻率變換 之前從所包圍的區(qū)域中移去最大信息量。PU級是指定的定義預測操作的參數(shù)。
[0011] 類似地，TU的目的是包圍包含最少不同空間頻率的最大可能區(qū)域。TU尺寸的選擇 是在能夠編碼的圖像數(shù)據(jù)量（因此最大可能尺寸）與需要編碼的比特數(shù)（因此最少不同空 間頻率）之間的權(quán)衡。在圖像的詳細區(qū)域中，TU必須小因為只有小區(qū)域的采樣會共有類似 的特性。相反，在平面區(qū)域中，TU可以是大的因為所有的采樣共有類似的特性。
[0012] 此外，TU尺寸通過變換尺寸上的實際限制來支配，因為TU尺寸增加，變換的計算 復雜度指數(shù)地增加。從實施的立場看也希望僅具有幾個不同的預設尺寸，這樣使得需要存 儲較少的變換矩陣而且使得使用其自身的專門的硬件/軟件能計算每個尺寸。在AVC中， 僅4 X 4和8 X 8變換是可行的；在HEVC中，這已經(jīng)被擴展至也包括16 X 16和32 X 32變換。
[0013] 此外，為三個通道中的每個設置TO和TU塊；亮度（Y)，亮度（luminance)或亮度 (brightness)通道，其可被認為是灰度通道，以及兩個色差或色度（色品）通道；Cb和Cr。 這些通道為亮度通道的灰度圖像提供顏色。術(shù)語Y和亮度在本文中可互換使用，并且類似 地術(shù)語Cb和Cr、以及色度視情況可互換地使用。
[0014] 在HEVC中，所謂的4:2:0塊結(jié)構(gòu)被提出用于消費者設備，其中在每個色度通道中 使用的數(shù)據(jù)量是亮度通道中數(shù)據(jù)量的四分之一。這是因為人們主觀地對亮度變化比顏色變 化更敏感，因此可以在顏色通道中使用較大的壓縮和/或較少信息，而沒有主觀的質(zhì)量損 失。
[0015] 然而，對于專業(yè)廣播和數(shù)字影院設備，希望在色度通道中具有較少壓縮（或更多 的信息），這可能會影響當前處理（諸如HEVC處理）操作。


【發(fā)明內(nèi)容】

[0016] 本公開解決或減輕該處理引發(fā)的問題。
[0017] 在所附權(quán)利要求中限定本公開的各個方面和特征。
[0018] 應當理解，本發(fā)明的前述總體描述和以下【具體實施方式】對于本技術(shù)是示例性的而 不是限制性的。

【專利附圖】

【附圖說明】
[0019] 在結(jié)合附圖參照以下詳細描述更好地理解本發(fā)明時，可以更容易獲得對本發(fā)明以 及其許多附帶優(yōu)點的更加全面的理解。
[0020] 圖1A是針對HEVC中不同的4:2:0方案的⑶大小的編碼單元、預測單元和變換單 元塊大小的示意圖。
[0021] 圖1B是針對HEVC中不同的4:2:0方案的⑶大小的編碼單元、預測單元和變換單 元塊大小的示意圖。
[0022] 圖2是針對HEVC中的4:2:0方案的幀內(nèi)預測模式方向的示意圖。
[0023] 圖3是示出用于通過運動矢量進行選擇的4:2:0方案亮度和色度PU內(nèi)插的示意 圖。
[0024] 圖4是示出了根據(jù)本公開實施方式用于通過運動矢量進行選擇的4:2:2方案亮度 和色度TO內(nèi)插的示意圖。
[0025] 圖5是針對HEVC中4:2:0方案的量化參數(shù)關(guān)聯(lián)表的示意圖。
[0026] 圖6是根據(jù)本公開實施方式的HEVC編碼器的示意圖。
[0027] 圖7A至圖7T是根據(jù)本公開的實施方式的高效率視頻編碼的各個方法的流程圖。

【具體實施方式】
[0028] 公開了一種在高效率視頻編解碼器中進行色度處理的設備和方法。在以下描述 中，為了提供本公開的實施方式的徹底了解而呈現(xiàn)了大量細節(jié)。然而，對于本領域的普通技 術(shù)人員顯然的是不必采用這些特定細節(jié)來實施本發(fā)明。相反，在適當?shù)那闆r下，出于清楚的 目的省略對本領域技術(shù)人員已知的細節(jié)。
[0029] 將僅通過實例描述根據(jù)HEVC標準和/或建議的所謂高效率編解碼器。術(shù)語HEVC 或"高效率"并不視為對本公開或?qū)嵤┓绞降募夹g(shù)本質(zhì)的限制。
[0030] 以下論述的該類型的視頻編碼和解碼，利用對表示圖像塊與該圖像塊的預測版本 之間的差的殘差圖像塊編碼的正向編碼路徑。用于產(chǎn)生預測圖像塊的圖像塊實際上是圖 像塊的解碼版本而不是原始圖像塊。原因是考慮到在解碼器處不能獲得原始輸入圖像塊， 為了確保編碼器和解碼器都用相同的源數(shù)據(jù)工作。所以，編碼器也包括反向解碼路徑，如下 面參考圖6所述。編碼器的反向解碼路徑和解碼器的相應正向解碼路徑的操作應該是相同 的。因此，在如下編碼器的上下文中描述的至少一些技術(shù)特征（例如，那些與圖像塊的預測 有關(guān)的技術(shù)特征）也適用于解碼器的操作。在適當?shù)那闆r下，編碼器和解碼器兩者都被認 為是本公開的實施方式。
[0031] 塊結(jié)構(gòu)
[0032] 如上所述，提出的HEVC標準使用已知為4:2:0方案的特定色度采樣方案。4:2:0 方案可被用于家用/消費者設備。然而，其他幾個方案也是可以的。
[0033] 具體地，所謂的4:4:4方案將會適合于專業(yè)廣播、母帶處理（mastering)和數(shù)字影 院，原則上會具有最高的質(zhì)量和數(shù)據(jù)速率。
[0034] 類似地，所謂的4:2:2方案能夠用于專業(yè)廣播、母帶處理和數(shù)字影院，但具有一些 保真度損失。
[0035] 下面將描述這些方案和它們相應的TO和TU塊結(jié)構(gòu)。
[0036] 此外，其他方案包括4:0:0單色方案。
[0037] 在4:4:4方案中，Y、Cb和Cr三個通道中的每個具有相同的采樣率。因此，原則上， 在這種方案中，色度數(shù)據(jù)將是亮度數(shù)據(jù)的兩倍。
[0038] 因此，在HEVC中，在這種方案中，三個Y、Cb和Cr通道中的每個將具有尺寸相同的 PU和TU塊；例如，8X8亮度塊將會具有針對兩個色度通道中的每個的相應8X8色度塊。
[0039] 因此，在這種方案中，每個通道中塊尺寸之間通常會是直接1:1的關(guān)系。
[0040] 在4:2:2中，以亮度的一半采樣率對兩個色度分量進行采樣（例如，使用垂直或水 平子采樣）。因此，原則上，在這種方案中，色度數(shù)據(jù)將與亮度數(shù)據(jù)一樣多。
[0041] 因此，在HEVC中，在這種方案中，Cb和Cr通道將與亮度通道具有不同尺寸的PU和 TU塊；例如，8X8亮度塊將具有針對每個色度通道的相應4寬X8高的色度塊。
[0042] 因此，應注意，在這種方案中，色度塊會是非正方形的。
[0043] 在當前提出的HEVC4:2:0方案中，以四分之一的亮度采樣率（例如，使用垂直與水 平子采樣）對兩個色度分量進行采樣。因此，原則上，在這種方案中，色度數(shù)據(jù)將是亮度數(shù) 據(jù)的一半。
[0044] 因此，在HEVC中，在這種方案中，Cb和Cr通道再次具有與亮度通道不同尺寸的PU 和TU塊。例如，8X8亮度塊將具有針對每個色度通道的相應的4X4色度塊。因此，一般而 言，在這種方案中，尤其對于幀內(nèi)預測，⑶、PU和TU塊都是正方形的。
[0045] 在本領域中，以上方案統(tǒng)稱為'通道比'，如在'4:2:0通道比'中；然而，從以上說 明書中應當理解，實際上這并不總意味著Y、Cb和Cr通道以所述比壓縮，也可能另外設置。 因此，當被稱為通道比時，這不應該假設為字面意思。事實上，對于4:2:0方案的比率是 4:1:1 (4:2:2方案和4:4:4方案的比率實際上是正確的）。
[0046] 4:2:0 塊結(jié)構(gòu)
[0047] 參考圖1A和圖1B，對于4:2:0方案可能的不同塊尺寸被概括為⑶、PU和TU塊， 'Y'指亮度塊，'C'指兩色度塊，數(shù)字是指像素。'間（inter)'指幀間預測PU(與幀內(nèi)預測 TO相反）。
[0048] 簡單地說，最大編碼單元（IXU)是根圖片對象。其通常覆蓋相當于64X64亮度像 素的區(qū)域并遞歸地分割（split)以形成編碼單元（⑶）為64X64、32X32、16X16或8X8 像素的樹形層次結(jié)構(gòu)。三個通道具有相同的⑶樹形層次結(jié)構(gòu)。最小允許遞歸降至8X8像 素的CU。
[0049] 然后葉⑶被分成預測單元（PU)。三個通道具有相同的PU結(jié)構(gòu)（一個可能的例外 是PU是幀內(nèi)預測的4 X 4亮度像素）。
[0050] 這些葉⑶也被分成變換單元（TU)，接著可以再分割，直到每⑶最大16個TU。最 小的TU尺寸是4X4像素；最大是32X32像素。三個通道具有相同的TU結(jié)構(gòu)（再一次，可 能的例外是TU是4X4亮度像素）。
[0051] 4:4:4塊結(jié)構(gòu)奪形
[0052] 應理解4:2:0和4:4:4方案都具有針對幀內(nèi)預測編碼的正方形的PU塊。此外，目 前，4:2:0方案允許4X4像素 PU&TU塊。
[0053] 在本公開的實施方式中，因此對于4:4:4方案提出，允許⑶塊的遞歸降至4 X 4像 素而不是8 X 8像素，如上所述，因為在4:4:4模式中，亮度和色度塊將是相同的尺寸（不對 色度數(shù)據(jù)進行子采樣），并因此，對于4X 4⑶，PU或TU不必低于已經(jīng)允許的最小4 X 4像素。
[0054] 類似地，在4:4:4方案中，在本公開實施方式中，Y、Cr、Cb通道中的每個，或Y和兩 個Cr、Cb通道一起能夠具有各自⑶樹形層次結(jié)構(gòu)。然后可以使用標記作信號通知將使用 哪個層次結(jié)構(gòu)或?qū)哟谓Y(jié)構(gòu)的配置。這種方法也可用于4:4:4RGB顏色空間方案。
[0055] 4:2:2塊結(jié)構(gòu)奪形
[0056] 在4:2:0方案中的8X8⑶的實例中，這產(chǎn)生4個4X4亮度PU和1個4X4色度 PU。因此，在4:2:2方案中，具有色度數(shù)據(jù)的兩倍，在這種情況下一個選擇就是具有2個4 X 4 色度PU。然而，應理解在這種情況下使用一個非正方形4X8色度PU將會更與其他非正方 形 4:2:2PU-致。
[0057] 如從圖1A和圖1B可以看出，在4:2:0方案中，原則上存在一些允許用于某些類型 的幀間預測編碼而不是幀內(nèi)預測編碼的非正方形TU塊。然而，在幀間預測編碼中，當非正 方形四叉樹變換（NSQT)被禁用時（這是對4:2:0方案的當前默認），所有的TU是正方形 的。因此，實際上，4:2:0方案目前執(zhí)行正方形TU。例如，16X164:2:0亮度TU將符合各個 Cb&Cr 8X84:2:0 色度 TU。
[0058] 然而，如以前所述，4:2:2方案可具有非正方形PU。因此，在本公開的實施方式中， 建議對于4:2:2方案允許非正方形TU。
[0059] 例如，當16X164:2:2亮度TU能夠符合每個色度通道（Cb&Cr)的兩個8X84:2:2 色度TU時，在這個實施方式中，反而符合用于每個色度通道（Cb&Cr)的一個8X164:2:2色 度TU。
[0060] 類似地，四個4X44:2:2亮度TU能夠符合每個色度通道（Cb&Cr)的兩個 4X44:2:2色度TU時，或者在這個實施方式中，反而符合用于每個色度通道（Cb&Cr)的一個 4X84:2:2色度TU。這里，4X8TU是矩形TU的實例。這是在水平方向上的采樣是垂直方向 上的兩倍的4:2: 2TU的實例。可以使用其他尺寸的TU，例如，水平方向的采樣是垂直方向的 兩倍的其他矩形TU和/或其他TU。例如，可以考慮以下尺寸：2X4、8X16、16X32等。
[0061] 具有非正方形色度TU，因此TU較少，由于他們可能包含較少的信息可能更有效。 然而，如后面將要描述的，這可能會影響這種TU的變換和掃描過程。
[0062] 最后，對于4:4:4方案，可優(yōu)選具有與通道獨立的TU結(jié)構(gòu)，并且在序列、圖片、切片 (slice)或更細級（finer level)是可選的。
[0063] 如上所述，在HEVC的4:2:0方案中目前NSQT被禁用。然而，如果對于圖片間預測， 支持NSQT并允許非對稱運動劃分（AMP)，這允許PU被非對稱地劃分；因此例如，16 X 16⑶ 可具有4 X 16PU和12 X 16PU。在這些情況下，對于4:2:0和4:2:2方案中的每個，塊結(jié)構(gòu)的 進一步考慮是重要的。
[0064] 對于4:2:0方案，在NSQT中，TU的最小寬度/高度限于4個亮度/色度采樣：
[0065] 因此，在非限制性實例中，16 X 4/16 X 12亮度PU結(jié)構(gòu)具有四個16 X 4亮度TU和四 個4X 4色度TU，其中，亮度TU在1 X 4垂直塊布置中并且色度TU在2 X 2塊布置中。
[0066] 在類似的布置中，其中，劃分是垂直的而不是水平的，4X16/12X 16亮度PU結(jié)構(gòu) 具有四個4X16亮度TU和四個4X4色度TU，其中，亮度TU在4X1水平塊布置中并且色度 TU在2X2塊布置中。
[0067] 對于4:2:2方案，在NSQT中，作為非限制性實例，4X 16/12 X 16亮度PU結(jié)構(gòu)具有 四個4X16亮度TU和四個4X8色度TU，其中，亮度TU在4X1水平塊布置中；色度TU是 在2X2塊布置中。
[0068] 然而，應理解對于一些情況可以考慮不同的結(jié)構(gòu)。因此，在本公開的實施方式中， 在NSQT中，作為非限制性實例，16 X 4/16 X 12亮度PU結(jié)構(gòu)具有四個16 X 4亮度TU和四個 8 X 4色度TU，但是現(xiàn)在亮度和色度TU在1 X 4垂直塊布置中，與PU布局對齊（與2 X 2塊 布置中的四個4X8色度TU的4:2:0式布置相反）。
[0069] 類似地，32 X 8PU可具有四個16 X 4亮度TU和四個8 X 4色度TU，但現(xiàn)在亮度和色 度TU在2X2塊布置中。
[0070] 因此，更一般地，對于4:2:2方案，在NSQT中，選擇TU塊大小與非對稱的PU塊的 布局對齊。因此，NSQT有效地允許TU邊界與PU邊界對齊，這減少了可能另外出現(xiàn)的高頻 偽像。
[0071] 帔內(nèi)預測丨
[0072] 4:2:0帔內(nèi)預測現(xiàn)在參考圖2,對于幀內(nèi)預測，HEVC允許角色度預測。圖2示出35 個預測模式，它們中的33個指定當前預測采樣位置100的參考采樣的方向。
[0073] HEVC允許色度具有DC、垂直、水平、平面、DM_CHR0MA和LM_CHR0MA模式。
[0074] DM_CHR0MA表示要使用的預測模式與共定位的亮度PU的模式相同（圖2中示出的 35個之一）。
[0075] LM_CHR0MA表示共定位的亮度采樣被用于得出預測色度采樣。在這種情況下，如果 根據(jù)其將采用DM_CHR0MA預測模式的亮度PU選擇DC、垂直、水平或平面，則使用模式34替 換色度預測列表中的條目。
[0076] 值得注意的是，預測模式2至34在45度至225度的范圍內(nèi)對角度采樣，就是說， 正方形的一條對角線。這在4:2:0方案的情況下是有用的，如上所述對于圖片內(nèi)預測，僅使 用正方形色度TO。
[0077] 4:2:2帔內(nèi)預測奪形
[0078] 然而，同樣如上所述，4:2:2方案可具有矩形（非正方形）色度PU。
[0079] 因此，在本公開的實施方式中，對于矩形色度對于方向，可能會需要映射表。假 定矩形PU是1比2的長寬比，然后，例如模式18 (當前是135度的角）可能重映射至123 度?？商鎿Q地，當前模式18的選擇可能被重映射至當前模式22的選擇，效果幾乎相同。
[0080] 因此，更一般地，對于非正方形PU，與正方形PU相比，可提供參考采樣的方向與所 選擇的幀內(nèi)預測模式之間的不同映射。
[0081] 然而，更一般地，包括非方向性模式的任何模式同樣可以基于經(jīng)驗證據(jù)被重映射。
[0082] 這種映射會產(chǎn)生多對一的關(guān)系是可能的，這使對于4:2:2色度PU所有組的模式的 詳述變得冗余。在這種情況下，例如，僅需要17個模式（對應一半的角分辨率）?？商鎿Q地 或者此外，這些模式可以非均勻的方式成角度地分布。
[0083] 類似地，當預測采樣位置處的像素時可不同地使用在參考采樣上使用的平滑濾波 器；在4:2:0方案中，僅用于使亮度像素而非色度像素平滑。然而，在4:2:2和4:4:4方案 中，該濾波器同樣可以用于色度PU。在4:2:2方案中，再次，可響應于PU的不同長寬比改變 濾波器，例如，僅用于近水平模式的子集。模式的示例性子集優(yōu)選地為2至18和34,或者更 優(yōu)選地7至14。
[0084] 4:4:4帔內(nèi)預測奪形
[0085] 在4:4:4方案中，色度和亮度PU大小相同，因此，色度PU的幀內(nèi)預測模式可與共 定位亮度PU相同（所以節(jié)約比特流中的一些開銷）或者更優(yōu)選地，其可獨立地選擇。
[0086] 在后一種情況下，因此，在本公開的實施方式中，在⑶中，對于TO可具有1、2或3 個不同的預測模式；
[0087] 在第一實例中，Y、Cb和Cr PU可以都使用相同的幀內(nèi)預測模式。
[0088] 在第二實例中,Y HJ可以使用一個巾貞內(nèi)模式，而Cb和Cr PU兩者使用另一種單獨 選擇的幀內(nèi)預測模式。
[0089] 在第三實例中，Y、Cb和Cr PU各自使用各自獨立選擇的幀內(nèi)預測模式。
[0090] 應理解具有色度通道（或者各個色度通道）的獨立預測模式將會提高色度預測準 確度。
[0091] 在高級語法（例如，序列、圖片、或切片級）中指示模式數(shù)目的選擇?？商鎿Q地，能 夠從視頻格式得出獨立模式的數(shù)目；例如，GBR能夠具有高達3個，而YCbCr限于高達2個。
[0092] 除了獨立選擇模式以外，4:4:4方案中，可允許可用模式區(qū)別于的4:2:0方案。
[0093] 例如，由于亮度和色度TO是相同的大小，色度PU可受益于對所有可用的35+LM_ CHR0MA+DM_CHR0MA方向的訪問（access)。因此，對于各自具有獨立預測模式的Y、Cb和Cr 的情況，那么Cb通道能夠訪問DM_CHR0MA&LM_CHR0MA，而Cr通道能夠訪問DM_CHR0MA_Y、 DM_CHR0MA_Cb、LM_CHR0MA_Y和LM_CHR0MA_Cb，其中，這些利用對Y或Cb色度通道的參考替 換對亮度通道的參考。
[0094] 在此通過得出最可能的模式的列表并發(fā)送列表的索引來發(fā)出信號通知亮度預測 模式，則如果色度預測模式是獨立的，獲得針對每個通道的獨立的最可能的模式的列表可 能是必要的。
[0095] 最后，按照與以上所述4:2:2的情況類似的方式，在4:4:4方案中，當預測采樣位 置處的像素時在參考樣本上使用的平滑濾波器可以與亮度PU類似的方式用于色度ro。 [0096] 帔間預測丨
[0097] 視頻圖像的每幀是真實場景的離散采樣，因此，每個像素在顏色和亮度上都是現(xiàn) 實世界梯度的逐步逼近。
[0098] 認識到這一點，當根據(jù)先前視頻幀中的值預測新的視頻幀中的像素的Y、Cb或Cr 值時，將在先前視頻幀中的像素內(nèi)插以創(chuàng)建對原始現(xiàn)實世界梯度的更好估計，從而使得允 許為新的像素更準確地選擇亮度或顏色。因此，用于視頻幀之間的點的運動矢量不限于整 數(shù)像素分辨率。相反，它們可指向內(nèi)插的圖像內(nèi)的子像素位置。
[0099] 4:2:0帔間預測
[0100] 現(xiàn)參考圖3,在如上所述的4:2:0方案中，通常8X8亮度PU將與Cb和Cr 4X4色 度PU相關(guān)聯(lián)。因此，為了內(nèi)插亮度和色度像素數(shù)據(jù)直到相同的有效分辨率，使用不同的內(nèi) 插濾波器。
[0101] 例如，對于8X84:2:0亮度PU，內(nèi)插是1/4像素，因此，首先水平地應用8-抽頭X4 濾波器，并且然后垂直地應用同樣的8-抽頭X 4濾波器，使得如圖3所示，在每個方向上亮 度PU有效地擴展了 4倍。同時，相應的4X44:2:0色度PU是內(nèi)插1/8像素以生成相同的 最終的分辨率，因此水平地先應用4-抽頭X 8濾波器，然后垂直地應用同樣的4-抽頭X 8 濾波器，因此，同樣如圖3所示，在每個方向上色度PU有效地擴展了 8倍。
[0102] 4:2:2帔間預測奪形
[0103] 現(xiàn)在也參考圖4,如先前所述，在4:2:2方案中，色度PU可以是非正方形，并且如 圖4所示，在8 X 84:2:2亮度PU的情況下，對于Cb和Cr通道中的每個，通常是4寬X 8高 4:2:2 色度 PU。
[0104] 因而，雖然可以在色度TO上垂直地使用現(xiàn)有的8-抽頭X 4亮度濾波器，在本公開 的實施方式中，應理解現(xiàn)有的4-抽頭X 8色度濾波器就足夠用于如在實踐中一個僅對內(nèi)插 的色度PU的連分數(shù)位置感興趣的垂直插值。
[0105] 因此，圖4示出了 8X84:2:2亮度PU像以前那樣用一個8抽頭X4的濾波器進 行內(nèi)插，并且4X84:2:2色度PU在水平方向和垂直方向上利用現(xiàn)有的4-抽頭X8色度濾 波器內(nèi)插，但只有用于在垂直方向上用于形成內(nèi)插圖像的連分數(shù)的結(jié)果（even fractional result)〇
[0106] 4:4:4帔間奪形
[0107] 通過擴展，僅對現(xiàn)有4-抽頭Χ8色度濾波器使用連分數(shù)結(jié)果的相同的原理能夠垂 直并水平地應用于8 X 84:4:4色度PU。
[0108] 另一帔間預測奪形
[0109] 在運動矢量（MV)推導的一個實施中，對于Ρ切片中的PU產(chǎn)生一個矢量以及對于 Β切片中的TO產(chǎn)生兩個矢量（其中，按類似MPEG Ρ和Β幀的方式，Ρ切片根據(jù)先前幀進行 預測，B切片根據(jù)先前和后續(xù)幀進行預測）。應注意，在該實施中，在4:2:0方案中，矢量對 所有通道都是共同的，此外，色度數(shù)據(jù)不用于計算運動矢量。換言之，所有的通道使用基于 亮度數(shù)據(jù)的運動矢量。
[0110] 在本公開的實施方式中，在4:2:2方案中，色度矢量可與亮度獨立（能夠分別得出 Cb和Cr通道的矢量），并且在4:4:4方案中，色度矢量可進一步與Cb和Cr通道中的每個 獨立。
[0111] 奪換
[0112] 在HEVC中，使用相對于先前編碼/解碼幀的運動矢量對大多數(shù)圖像編碼，運動矢 量告訴解碼器在這些其他解碼的幀中從哪復制當前圖像的良好近似。結(jié)果是當前圖像的近 似版本。然后HEVC編碼所謂的殘差，這是近似版本與正確的圖像之間的誤差。與直接指定 實際圖像相比，該殘差需要更少的信息。然而，一般而言，仍優(yōu)選壓縮該殘差信息以進一步 減小總體比特率。
[0113] 在包括HEVC的很多編碼方法中，使用整數(shù)余弦變換（ICT)將這種數(shù)據(jù)變換成空間 頻率域，并且通常根據(jù)期望壓縮等級通過保持低空間頻率數(shù)據(jù)并丟棄高空間頻率數(shù)據(jù)來實 現(xiàn)一些壓縮。
[0114] 4:2:0 奪換
[0115] 用于HEVC中的空間頻率變換通常是生成4的冪的系數(shù)的（例如，64個頻率系數(shù)） 變換，因為這尤其適合于常用量化/壓縮法。4:2:0方案中的正方形TU都是4的冪，因此這 可簡單實現(xiàn)。
[0116] 甚至在目前不啟用NSQT的情況下，一些非正方形變化可用于非正方形TU，如， 4X16,但應注意這些再次產(chǎn)生64系數(shù)，也是4的冪。
[0117] 4:2:2 和 4:4:4 奪換奪形
[0118] 4:2:2方案能到產(chǎn)生不是4的冪的非正方形TU ;例如，4X8TU具有32個像素，但 32不是4的冪。
[0119] 因此在本公開實施方式中，可以使用不是4的冪個系數(shù)的非正方形變換，確認可 能需要對后續(xù)量化處理進行修改。
[0120] 可替換地，在本公開的實施方式中，非正方形TU被分成具有用于變換的4的冪的 正方形塊，并且然后所得到的系數(shù)能夠進行交織。
[0121] 例如，對于4 X 8塊（8行4個采樣），例如，采樣的奇數(shù)/偶數(shù)行可被分成兩個正方 形塊，以便正方形塊中的一個采用偶數(shù)行并且另一個采用奇數(shù)行。可替換地，對于4X8塊， 頂部4X4像素和底部4X4像素能夠形成兩個正方形塊，換言之，通過分割TU的中心軸周 圍的TU(在該實例中的橫軸）。還可替換地，對于4X8塊，可使用哈爾小波分解來形成下 部和上部頻率4X4塊。使用相應的重組技術(shù)來在解碼器（或者在編碼器的反向解碼路徑 中）處將解碼的正方形塊重組到TU中。
[0122] 這可使用這些選項中的任何一個，并且特定替代的選擇可用信號通知解碼器或可 由解碼器得出。
[0123] 因此，在編碼器側(cè)，這表示涉及4:2:2色度子采樣格式或其他格式的視頻編碼的 方法的實例，該方法包括：
[0124] 將圖像數(shù)據(jù)分成變換單元；
[0125] 在非正方形變換單元的情況下，在應用空間頻率變換之前將非正方形變換單元分 割（split)成正方形塊；以及
[0126] 將空間頻率變換應用到正方形塊以生成空間頻率系數(shù)的相應集合。
[0127] 在實施方式中，相對于幀內(nèi)預測單元的變換單元，在相對于預測單元生成預測圖 像數(shù)據(jù)之前可能進行分割步驟。這是有用的，因為對于幀內(nèi)編碼，預測潛在地基于最近解碼 的TU，它們可能是相同PU中的其他TU。
[0128] 可選地，與從變換單元導出的涉及正方形塊的空間頻率系數(shù)的集合可在進行變換 之后重組。但是在其他實施例中，可對與變換的方形塊有關(guān)的系數(shù)分別進行編碼、存儲和/ 或傳輸。
[0129] 如上所述，分割可以包括應用哈爾變換?？商鎿Q地，在非正方形變換單元是矩形的 情況下，分割可以包括選擇矩形變換單元的中心軸線兩邊的各個正方形塊。可替換地，在非 正方形變換單元是矩形的情況下，分隔可以包括選擇變換單元的采樣的交替的行或列。
[0130] 在實施方式中，相對于幀內(nèi)預測單元的變換單元，在相對于預測單元生成預測圖 像數(shù)據(jù)之前可能進行分割步驟。這是有用的，因為對于幀內(nèi)編碼，預測潛在地基于最近解碼 的TU，它們可能是相同PU中的其他TU。
[0131] 4X8TU是矩形TU的實例。這是在水平方向上的采樣是垂直方向上的兩倍的TU的 實例。
[0132] 在解碼器側(cè)，相對于4:2:2色度子采樣格式或其他格式的視頻解碼方法可以包括 將空間頻率變換應用于空間頻率系數(shù)的塊以生成兩個或更多相應的采樣的正方形塊；并將 兩個或更多采樣的方形塊組合到非正方形變換單元。
[0133] 換言之，可分別（至少通過變換處理）處理方形塊的空間頻率系數(shù)，所得到的采樣 的正方形塊被合并成非正方形TU。
[0134] 在應用變換處理之前，可傳輸系數(shù)作為各個集合（每個對應于正方形塊）或組合 的系數(shù)的集合。在后一種情況下，方法可以包括將空間頻率系數(shù)的塊分成兩個或更多子塊； 并將空間頻率變換分別應用于子塊中的每個。
[0135] 如上，提出組合操作的各種選項。組合可以包括應用逆哈爾變換。可替換地，在非 正方形變換是矩形的情況下，組合可以包括將矩形變換單元的中心軸線兩邊的相應方形塊 連接起來。可替換地，在非正方形變換單元是矩形的情況下，組合可以包括從正方形塊中交 替的方形塊選擇變換單元的采樣的交替行或列。
[0136] 其他奪換樽式
[0137] 在4:2:0方案中，存在建議的標記（所謂的'cjpprime_y_zero_transquant_ bypaSS_flag'）允許殘差數(shù)據(jù)無損包含在比特流中（未經(jīng)變換、量化或進一步濾波的）。在 4:2:0方案中，將標記應用至所有的通道。
[0138] 在本公開的實施方式中，建議亮度通道的標記與色度通道的獨立。因此，對于 4:2:2方案，應當單獨地為亮度通道和色度通道設置這種標記，并且對于4:4:4方案，分別 為亮度和色度通道設置這種標記，或者為三個通道中的每個設置一個標記。這識別與4:2:2 和4:4:4方案相關(guān)聯(lián)的增大的色度數(shù)據(jù)速率，并啟用例如無損亮度數(shù)據(jù)以及壓縮的色度數(shù) 據(jù)。
[0139] 對于幀內(nèi)預測編碼，依賴于模式的方向性變換（MDDT)允許TU的水平或垂直 ICT(或兩者的ICT)被替換為根據(jù)幀內(nèi)預測方向的整數(shù)正弦變換。在4:2:0方案中，這未應 用于色度TU。然而，在本公開的實施方式中，建議將其應用至4:2:2和4:4:4色度TU。
[0140] 量化
[0141] 在4:2:0方案中，量化的計算對于亮度及對于色度是相同的，。只有量化參數(shù)（QP) 不同。
[0142] 下面由亮度QP計算色度的QP :
[0143]

【權(quán)利要求】
1. 一種視頻編碼的方法，所述方法包括： 將圖像數(shù)據(jù)分成變換單元； 在非正方形變換單元的情況下，在應用空間頻率變換之前將所述非正方形變換單元分 割成正方形塊；并且 對所述正方形塊應用空間頻率變換以生成空間頻率系數(shù)的相應集合。
2. 根據(jù)權(quán)利要求1所述的方法，包括以下步驟： 組合與從變換單元導出的所述正方形塊有關(guān)的所述空間頻率系數(shù)的集合。
3. 根據(jù)權(quán)利要求1或2所述的方法，其中，所述分割的步驟包括應用哈爾變換。
4. 根據(jù)權(quán)利要求1或2所述的方法，其中，所述非正方形變換單元是矩形，并且所述分 割的步驟包括選擇該矩形變換單元的中心軸線的任一側(cè)的各自的正方形塊。
5. 根據(jù)權(quán)利要求1或2所述的方法，其中，所述非正方形變換單元是矩形，并且所述分 割的步驟包括選擇所述變換單元的采樣的交替行或列。
6. 根據(jù)前述權(quán)利要求中任一項所述的方法，其中，所述變換單元在水平方向上具有兩 倍于垂直方向上的米樣。
7. 根據(jù)前述權(quán)利要求中任一項所述的方法，其中，對于幀內(nèi)預測單元的變換單元，在生 成關(guān)于所述預測單元的預測圖像數(shù)據(jù)之前執(zhí)行所述分割的步驟。
8. 根據(jù)前述權(quán)利要求中任一項所述的方法，包括以下步驟： 啟用非正方形四叉樹變換； 啟用非對稱運動劃分；并且 選擇變換單元塊大小以與所得到的非對稱預測單元塊布局對齊。
9. 根據(jù)前述權(quán)利要求中任一項所述的方法，包括以下步驟： 將用于正方形預測單元的幀內(nèi)預測模式角與用于非正方形預測單元的不同幀內(nèi)預測 模式角相關(guān)聯(lián)。
10. 根據(jù)前述權(quán)利要求中任一項所述的方法，對于4:2:2色度子采樣格式，所述方法包 括以下步驟： 使用對相應4:2:0格式預測單元采用的色度濾波器內(nèi)插色度幀內(nèi)預測單元，所述色度 幀內(nèi)預測單元具有兩倍于所述相應4:2:0格式預測單元的高度的高度；并且 僅使用內(nèi)插的所述色度預測單元的交替垂直值。
11. 根據(jù)前述權(quán)利要求中任一項所述的方法，包括以下步驟： 導出用于預測單元的亮度運動矢量；并且 獨立導出用于所述預測單元的色度運動矢量。
12. 根據(jù)前述權(quán)利要求中任一項所述的方法，包括以下步驟： 指示亮度殘差數(shù)據(jù)將被無損地包含于比特流中；并且 獨立指示色度殘差數(shù)據(jù)將被無損地包含于所述比特流中。
13. 根據(jù)前述權(quán)利要求中任一項所述的方法，包括以下步驟： 提供亮度與色度量化參數(shù)之間的量化參數(shù)關(guān)聯(lián)表，其中，最大色度量化參數(shù)值比最大 亮度量化參數(shù)小6。
14. 根據(jù)前述權(quán)利要求中任一項所述的方法，包括以下步驟： 定義一個或多個量化矩陣作為關(guān)于針對不同色度子采樣格式定義的量化矩陣的差值。
15. 根據(jù)前述權(quán)利要求中任一項所述的方法，包括以下步驟： 從與色度變換單元一起使用的亮度上下文變量圖映射熵編碼上下文變量；并且 使用映射的所述上下文變量來熵編碼色度變換單元的一個或多個系數(shù)。
16. 根據(jù)前述權(quán)利要求中任一項所述的方法，包括以下步驟： 啟用自適應環(huán)路濾波；并且 將各自的色度采樣分類到均具有各自的濾波器的多個種類中的一個。
17. 根據(jù)前述權(quán)利要求中任一項所述的方法，包括以下步驟： 啟用自適應環(huán)路濾波；并且 為色度通道提供至少第一自適應環(huán)路濾波控制標記。
18. -種視頻解碼的方法，所述方法包括： 將空間頻率變換應用于空間頻率系數(shù)的塊以生成兩個或更多的采樣的相應正方形塊； 并且 將所述兩個或更多的采樣的正方形塊組合為非正方形變換單元。
19. 根據(jù)權(quán)利要求18所述的方法，包括以下步驟： 將空間頻率系數(shù)的塊分割成兩個或更多子塊；并且 將所述空間頻率變換分別應用于各個所述子塊。
20. 根據(jù)權(quán)利要求18或19所述的方法，其中，所述組合的步驟包括應用逆哈爾變換。
21. 根據(jù)權(quán)利要求18或19所述的方法，其中，所述非正方形變換單元是矩形，并且所述 組合的步驟包括將該矩形變換單元的中心軸線的任一側(cè)的各自的正方形塊連接。
22. 根據(jù)權(quán)利要求18或19所述的方法，其中，所述非正方形變換單元是矩形，并且所述 組合的步驟包括從所述正方形塊的交替正方形塊選擇所述變換單元的采樣的交替行或列。
23. 根據(jù)權(quán)利要求18至22中任一項所述的方法，其中，所述變換單元在水平方向上具 有兩倍于垂直方向上的采樣。
24. 根據(jù)前述權(quán)利要求中任一項所述的方法，其中，所述視頻編碼是關(guān)于4:2:2色度子 采樣格式的視頻編碼。
25. -種計算機軟件，在由計算機執(zhí)行時使所述計算機實施前述權(quán)利要求中任一項所 述的方法。
26. -種視頻編碼設備，所述設備包括： 分配器，被配置為將圖像數(shù)據(jù)分成變換單元； 分割器，能在非正方形變換單元的情況下操作并且被配置為在應用空間頻率變換之前 將所述非正方形變換單元分割成正方形塊；以及 空間頻率變換器，被配置為將空間頻率變換應用于所述正方形塊以生成空間頻率系數(shù) 的相應集合。
27. -種視頻解碼設備，所述設備包括： 空間頻率變換器，被配置為對空間頻率系數(shù)的塊應用空間頻率變換以生成兩個或更多 的采樣的相應正方形塊；以及 組合器，被配置為將所述兩個或更多的采樣的正方形塊組合為非正方形變換單元。
28. 根據(jù)權(quán)利要求26或27所述的設備，能關(guān)于4:2:2色度子采樣格式操作。
29. -種視頻捕捉、存儲、顯示、傳輸和/或接收設備，包括：根據(jù)權(quán)利要求27所述的解 碼設備和/或根據(jù)權(quán)利要求26所述的編碼設備。
【文檔編號】H04N19/119GK104247425SQ201380021815
【公開日】2014年12月24日 申請日期:2013年4月26日 優(yōu)先權(quán)日:2012年4月26日
【發(fā)明者】詹姆斯·亞歷山大·戈梅, 尼古拉斯·里安·桑德斯, 卡爾·詹姆斯·沙曼, 保羅·詹姆斯·西爾考克 申請人:索尼公司