視頻編碼裝置、視頻解碼裝置、視頻系統(tǒng)、視頻編碼方法、視頻解碼方法以及程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及視頻編碼裝置、視頻解碼裝置、視頻系統(tǒng)、視頻編碼方法、視頻解碼方 法W及程序。
【背景技術(shù)】
[0002] 已提議將肥VCXHigh Efficien巧Video Coding,高效率視頻編碼)作為采用帖內(nèi) 預(yù)測、帖間預(yù)測和殘差變換(例如，參見非專利文獻1)的視頻編碼方法。
[0003] [視頻編碼裝置MM的配置和操作]
[0004] 圖15是根據(jù)采用W上提及的視頻編碼方法來對視頻圖像進行編碼的常規(guī)示例的 視頻編碼裝置MM的框圖。視頻編碼裝置MM包括帖間預(yù)測單元10、帖內(nèi)預(yù)測單元20、變換及量 化單元30、賭編碼單元40、逆量化及逆變換單元50、環(huán)內(nèi)濾波單元60、第一緩沖單元70和第 二緩沖單元80。
[0005] 將輸入圖像a和后續(xù)描述的由第一緩沖單元70提供的本地解碼圖像g輸入給帖間 預(yù)測單元10。該帖間預(yù)測單元10利用輸入圖像a和本地解碼圖像g進行帖間預(yù)測（inter-打ame predict ion，帖間預(yù)測），W生成并輸出帖間預(yù)測圖像b。
[0006] 將輸入圖像a和后續(xù)描述的由第二緩沖單元80提供的本地解碼圖像f輸入給帖內(nèi) 預(yù)測單元20。該帖內(nèi)預(yù)測單元20利用輸入圖像a和本地解碼圖像f進行帖內(nèi)預(yù)測（intra-打ame prediction,帖內(nèi)預(yù)測），W生成并輸出帖內(nèi)預(yù)測圖像C。
[0007] 將輸入圖像a與帖間預(yù)測圖像b或帖內(nèi)預(yù)測圖像C的誤差(殘差)信號輸入到變換及 量化單元30。該變量及量化單元30對輸入的殘差信號進行變換和量化，W生成并輸出量化 系數(shù)d。
[000引將量化系數(shù)d和邊信息（未示出）輸入到賭編碼單元40。該賭編碼單元40對輸入的 信號進行賭編碼，并將經(jīng)賭編碼的信號作為比特流Z輸出。
[0009] 將量化系數(shù)d輸入到逆量化及逆變換單元50。該逆量化及逆變換單元50對量化系 數(shù)d進行逆量化和逆變換，W生成并輸出經(jīng)逆變換的殘差信號e。
[0010] 第二緩沖單元80累積本地解碼圖像f并將累積的本地解碼圖像f適當?shù)靥峁┙o帖 內(nèi)預(yù)測單元20和環(huán)內(nèi)濾波單元60。本地解碼圖像f為通過使帖間預(yù)測圖像b或帖內(nèi)預(yù)測圖像 C與經(jīng)逆變換的殘差信號e相加而得到的信號。
[0011] 將本地解碼圖像巧俞入給環(huán)內(nèi)濾波單元60。該環(huán)內(nèi)濾波單元60對本地解碼圖像f進 行濾波(例如去塊濾波），W生成并輸出本地解碼圖像g。
[0012] 第一緩沖單元70累積本地解碼圖像g并將累積的本地解碼圖像g適當?shù)靥峁┙o帖 間預(yù)測單元10。
[OOU][視頻解碼裝置NN的配置和操作]
[0014]圖16是根據(jù)從由視頻編碼裝置MM生成的比特流Z中解碼出視頻圖像的常規(guī)示例的 視頻解碼裝置NN的框圖。視頻解碼裝置NN包括賭解碼單元110、逆變換及逆量化單元120、帖 間預(yù)測單元130、帖內(nèi)預(yù)測單元140、環(huán)內(nèi)濾波器150、第一緩沖單元160和第二緩沖單元170。
[0015] 將比特流Z輸入給賭解碼單元110。該賭解碼單元110對比特流Z進行賭解碼，生成 并輸出量化系數(shù)B。
[0016] 逆變換及逆量化單元120、帖間預(yù)測單元130、帖內(nèi)預(yù)測單元140、環(huán)內(nèi)濾波單元 150、第一緩沖單元160和第二緩沖單元170分別與在圖15中所示的逆量化及逆變換單元50、 帖間預(yù)測單元10、帖內(nèi)預(yù)測單元20、環(huán)內(nèi)濾波單元60、第一緩沖單元70和第二緩沖單元80執(zhí) 行相似的動作。
[0017](帖內(nèi)預(yù)測的細節(jié)）
[0018] 下面將詳細描述W上提及的帖內(nèi)預(yù)測。關(guān)于帖內(nèi)預(yù)測，非專利文獻1指出針對每個 色彩分量，利用作為已被編碼的重構(gòu)像素的參考像素的像素值來預(yù)測編碼目標塊中的像素 值。另外，亮度分量預(yù)測方法共有35種模式，即DC、平面W及針對在圖17中所示的33個方向 的方向預(yù)測。對于色度分量預(yù)測方法，方法采用與亮度分量相同的預(yù)測分類、W及與所表示 的針對亮度分量的方法不同的DC、平面、水平和垂直方法。根據(jù)W上結(jié)構(gòu)，可減少針對每個 色彩分量的空間冗余。
[0019] 非專利文獻2描述了作為用于減少色彩分量之間的冗余的技術(shù)的LM模式。例如，現(xiàn) 在將利用圖18來描述針對YUV420格式的圖像使用LM模式的情況。
[0020] 圖18A示出了色度分量像素，圖18B示出了亮度分量像素。在LM模式中，采用已被在 圖18B中的16個白色圓圈表示的像素中重構(gòu)的亮度分量W及如下式（1)表示的預(yù)測式來線 性預(yù)測色度分量。
[0021] 試1]
[0022] predc[x，y]=aX((PL[2x，巧]+PL[2x，2y+l])>>0 ? ? ? (1)
[0023] 在式（1)中，Pl表示亮度分量的像素值，predc表示色度分量的預(yù)測像素值。a和0分 別表不可利用由在圖18A中的8個黑色圓圈和在圖18B中的8個黑色圓圈表不的參考像素而 獲取的參數(shù)，其可通過下面的式(2)和式(3)來確定。
[0028] 式(2)中的R表示內(nèi)積運算，式(3)中的M表示均值運算，并且式(2)和式(3)中的P'c 表示亮度分量的參考像素的像素值。P~L表示在考慮到亮度和色度的相位的情況下得到的 亮度分量的像素值，其可通過下式(4)來確定。
[0029] 試4] ..女
[0030] 戶4義>、)&的良《革*如巧怎.、.如*嗦》!，**編
[0031] 要注意的是，上部的參考像素的相位有相移，W減少存儲器訪問。針對每個被稱為 TU(變換單元)的最小處理塊進行色度預(yù)測。
[0032] 在擴展針對W上提及的YUV420格式的圖像的LM模式，并將經(jīng)擴展的LM模式用于 YUV422格式的圖像的情況下，會增加豎直方向上的參考像素的數(shù)量，如圖19所示。
[0033] 圖20是采用W上提及的LM模式進行帖內(nèi)預(yù)測的帖內(nèi)預(yù)測單元20,140的框圖。每個 帖內(nèi)預(yù)測單元20,140包括亮度參考像素獲取單元21、色度參考像素獲取單元22、預(yù)測系數(shù) 推導(dǎo)單元23和色度線性預(yù)測單元24。
[0034] 將本地解碼圖像f的亮度分量輸入到亮度參考像素獲取單元21。該亮度參考像素 獲取單元21獲取鄰近與色度預(yù)測目標塊相對應(yīng)的亮度塊的每個參考像素的像素值，調(diào)整所 獲取的像素值的相位，并將經(jīng)相位調(diào)整的像素值作為亮度參考像素值h進行輸出。
[0035] 將本地解碼圖像f的色度分量輸入到色度參考像素獲取單元22。該色度參考像素 獲取單元22獲取鄰近色度預(yù)測目標塊的每個參考像素的像素值，并將所獲取的像素值作為 色度參考像素值i進行輸出。
[0036] 將亮度參考像素值h和色度參考像素值i輸入到預(yù)測系數(shù)推導(dǎo)單元23。該預(yù)測系數(shù) 推導(dǎo)單元23利用運些輸入的像素值由W上的式(2)至式(4)得到參數(shù)a和0，并將參數(shù)a和0作 為預(yù)測系數(shù)j進行輸出。
[0037] 將本地解碼圖像f的亮度分量和預(yù)測系數(shù)j輸入到色度線性預(yù)測單元24。該色度線 性預(yù)測單元24利用運些輸入的信號由上式（1)得到色度分量的預(yù)測像素值，并將所得到的 預(yù)測像素值作為色度預(yù)測像素值k進行輸出。
[0038] 順便指出，隨著半導(dǎo)體技術(shù)的發(fā)展，可用的存儲器容量得W增加。然而，隨著存儲 器容量的增加，存儲器訪問的粒度也變大了。同時，與存儲器容量的增加相比，存儲器帶寬 并沒有明顯變寬。由于在對視頻圖像進行編碼和解碼的過程中要用到存儲器，因此存儲器 訪問的粒度和存儲器帶寬已成為瓶頸。
[0039] 此外，接近計算核屯、的存儲器(例如SRAM)的制造成本和功率消耗要高于外部存儲 器(例如DRAM)的制造成本和功率消耗。為此，有利的是可盡可能地減少接近計算核屯、的存 儲器的存儲容量。然而，由于即使在說明書提供的最壞值處也需要能夠?qū)σ曨l圖像進行解 碼，因此接近計算核屯、的存儲器需要能夠滿足在最壞值處的存儲需求，而不是平均存儲需 求(粒度、大小、數(shù)量等）。
[0040] 在LM模式中，由于要針對W上提及的每個TU都進行參數(shù)推導(dǎo)，因此參考像素的數(shù) 量增加了，并且計算次數(shù)和存儲器訪問次數(shù)也增加了。
[0041] 例如，下面將考慮在針對YUV420格式的圖像采用LM模式的情況下用于推導(dǎo)參數(shù)的 計算次數(shù)和參考像素的數(shù)量。在非專利文獻1的主文件中，作為最大處理塊的LCU(最大編碼 單元）的大小為64 X 64，作為最小處理塊的最小CU的大小為4 X 4。另外，因為在YUV420格式 下的色度像素的數(shù)量為1/4,所W亮度分量的最小計算塊為8X8。為此，用于進行參數(shù)推導(dǎo) 的計算次數(shù)為(64/8) 2 = 64次，參考像素的數(shù)量為28 X 64次。
[0042] 非專利文獻2描述了用于針對每個CU(編碼單元)進行參數(shù)推導(dǎo)，W減少用于針對 非YUV420格式的圖像進行參數(shù)推導(dǎo)的計算次數(shù)的最壞值的技術(shù)。圖21示出了在針對每個TU 進行參數(shù)推導(dǎo)的情況下W及在針對每個CU進行參數(shù)推導(dǎo)的情況下的計算次數(shù)和參考像素 的數(shù)量。
[0043] 如上所述，在LM模式中可減少色彩分量之間的冗余。然而，當考慮到CTU單元時，就 出現(xiàn)了在推導(dǎo)參數(shù)時所用的最壞值的參考像素的數(shù)量較多的問題。
[0044] 非專利文獻3描述了用于在LM模式下減少針對非YUV420格式的圖像的參考像素的 數(shù)量的技術(shù)。
[0045] 例如，現(xiàn)在將采用圖22來描述將非專利文獻3中的技術(shù)應(yīng)用于YUV422格式的圖像 的情況。在此種情況下，與在圖19中所示的情況相比，鄰近預(yù)測目標塊的長邊的參考像素的 數(shù)量減半。為此，如圖24所示，亮度參考像素的數(shù)量和色度參考像素的數(shù)量均為8像素。
[0046] 另外，將采用圖23來描述將非專利文獻3中的技術(shù)應(yīng)用于YUV444格式的圖像的情 況。同樣在此種情況下，鄰近預(yù)測目標塊的長邊的參考像素的數(shù)量減半。為此，如圖24所示， 亮度參考像素的數(shù)量和色度參考像素的數(shù)量均為8像素。
[0047] 現(xiàn)有技術(shù)文件 [004引非專利文獻
[0049] 非專利文獻 1:JCTVC-L1003,High Efficiency Video Coding(肥VORange Extensions text specific曰tion:Dr曰ft 2(for PDAM)。
[0050] 非專利文獻2: JCTVC-M0097 ,RCEl performance of extended chroma mode for non-4:2=Oformstc
[0051] 非專利文獻 3: JCTVC-M0412,AHG5: CU based chroma in1:ra prediction with reduced reference。

【發(fā)明內(nèi)容】

[0052] 本發(fā)明待解決的問題
[0053] 在非專利文獻3中描述的技術(shù)通過統(tǒng)一地對參考像素進行子采樣來實現(xiàn)參考像素 數(shù)量的減少。為此，當對參考像素進行子采樣時，不會考慮到圖像特征，且有可能造成編碼 性能的下降。
[0054] 本發(fā)明是針對上述問題而完成的，且本發(fā)明的目的在于在抑制編碼性能下降的同 時，減少為了減少色彩分量之間的冗余而供參考的參考像素的數(shù)量。
[0055] 解決問題的方法
[0056] 為了解決上述問題，本發(fā)明提出了 W下各項。
[0057] (1)本發(fā)明提出了一種用于對配置成包括多個色彩分量的視頻圖像進行編碼的視 頻編碼裝置(