圖像編碼裝置、圖像編碼方法、圖像解碼裝置和圖像解碼方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及高效地對圖像進行編碼的圖像編碼裝置、圖像編碼方法、圖像解碼裝 置和圖像解碼方法。
【背景技術(shù)】
[0002] 例如，在下面的非專利文獻1中記載的現(xiàn)有的圖像編碼裝置中，將輸入的彩色圖 像分割為規(guī)定大小的最大編碼塊，并進一步將最大編碼塊分層分割為更細小的編碼塊。
[0003] 并且，通過將該編碼塊進一步分割為更細小的預(yù)測塊，實施針對該預(yù)測塊的畫面 內(nèi)預(yù)測和/或運動補償預(yù)測，由此生成預(yù)測誤差。
[0004] 并且，在編碼塊內(nèi)將該預(yù)測誤差分層地分割為變換塊，對各自的變換系數(shù)進行賭 編碼，由此達成較高的壓縮率。
[0005] 在現(xiàn)有的圖像編碼裝置中，為了實現(xiàn)利用時間相關(guān)性的高效編碼，例如通過圖37 等的編碼構(gòu)造，從已經(jīng)編碼的圖片中捜索與編碼對象塊之間的相關(guān)性較高的塊，實現(xiàn)利用 將作為其捜索對象的塊作為預(yù)測值的運動補償預(yù)測的編碼。一般情況下，將作為此時的捜 索（參照）對象的圖片稱為參照圖片。特別是如圖37所示，公知參照在顯示順序中過去和 未來雙方的圖片的運動補償即雙向預(yù)測能夠?qū)崿F(xiàn)高精度的預(yù)測。但是，通過運樣使圖片間 具有參照關(guān)系，將在各圖片的解碼中產(chǎn)生依賴性，無法實現(xiàn)從編碼比特流的中途進行解碼 的序列的中途再現(xiàn)。
[0006] 因此，在應(yīng)用圖37等的利用雙向運動補償預(yù)測的編碼構(gòu)造的情況下，有時要準備 用于即使從編碼比特流的中途進行解碼也能夠正確再現(xiàn)的隨機接入點。例如考慮設(shè)定在圖 37的顯示順序中編號8(在解碼（編碼）順序中編號1)的灰色（網(wǎng)格）圖片是非專利文獻 1中記載的能夠隨機接入的圖片（非專利文獻1記載的Intra Random Access Point(IRAP) 圖片）的情況。在非專利文獻I中，將與IRAP圖片相比解碼順序（在解碼裝置中為解碼 序，與編碼裝置中的編碼順序意思相同）在后且顯示順序在前的圖片（在圖37的顯示順序 中編號1~7的圖片）定義為"leading picture(首位圖片）"，將與IRAP圖片相比解碼順 序和顯示順序均在后的圖片（在圖37的顯示順序中編號9~16的圖片）定義為"trailing picture(末位圖片）"。當在圖37的顯示順序中編號8 (在解碼（編碼）順序中編號1)的 灰色（網(wǎng)格）圖片是一種IRAP圖片即CRA (Clean Random Access)圖片的情況下，在從CRA 圖片開始解碼時，無法保證能夠?qū)κ孜粓D片進行正確解碼，但是，始終能夠?qū)δ┪粓D片進行 正確解碼。為了保證該動作，定義相關(guān)的各圖片的限制事項。具體而言，在非專利文獻1中， 禁止利用首位圖片作為末位圖片的參照圖片，還禁止存在與IRAP圖片相比顯示順序在后 且解碼順序在前的圖片。進而，在非專利文獻1中定義成首位圖片必須在末位圖片之前解 碼（編碼）。在運種定義下，通過使用CRA圖片，在從編碼比特流的中途開始解碼時，只要從 CRA開始進行解碼，則始終能夠?qū)εcCRA圖片相比顯示順序在后的圖片進行正確解碼，能夠 實現(xiàn)編碼序列的中途再現(xiàn)。并且，在CRA圖片的情況下，僅保證能夠?qū)δ┪粓D片進行正確解 碼，因此，首位圖片能夠進行包含CRA圖片的雙向預(yù)測，能夠抑制由于插入能夠隨機接入的 圖片而導致的編碼效率的降低。
[0007] 現(xiàn)有技術(shù)文獻
[0008] 非專利文獻
[0009]非專利文獻1 :B. Bross, W.-J. Han, J.-R. Ohm, G. J. Sullivan, Y.-K. Wang and T.Wiegand, "High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS&Consent)", doc. JCTVC-L1003, Joint Collaborative Team on Video Coding(JCT-VC)OfmJ-TSG16 WP3 and ISO/IEC JTC1/SC29/WG11, 12th Meeting, 2013

【發(fā)明內(nèi)容】

[0010] 發(fā)明要解決的課題
[0011] 由于現(xiàn)有的圖像編碼裝置如上所述地構(gòu)成，因此，對于1帖由1個圖片構(gòu)成的逐 行（progressive)視頻，能夠?qū)崿F(xiàn)如下的隨機接入：即使從編碼比特流的中途起，也能夠通 過從特定圖片開始解碼，對在顯示順序中從該圖片起的圖片進行正確解碼。另一方面，在1 帖由頂場和底場運兩個場構(gòu)成的隔行（interlace)視頻的情況下，有時將該場設(shè)定成作為 編碼單位的圖片，并且，利用考慮到由兩個場構(gòu)成的帖的場對構(gòu)造對參照構(gòu)造進行編碼。圖 33示出使用雙向預(yù)測的場對構(gòu)造的一例。在本例中，在想要設(shè)定圖33的在顯示順序中編號 32(在解碼（編碼）順序中編號18)的灰色所示的頂場作為能夠隨機接入的圖片的情況下， 相當于首位圖片的圖片的一部分參照在顯示順序中編號32的頂場和在顯示順序中編號33 的底場，因此，需要是對在顯示順序中編號32的頂場進行解碼后立即對末位圖片即在顯示 順序中編號33的底場進行解碼然后再對首位圖片進行解碼運樣的解碼順序，但是，根據(jù)非 專利文獻1的首位圖片必須在末位圖片之前解碼（編碼）運樣的定義，無法將在顯示順序 中編號32的頂場設(shè)定成CRA圖片。換言之，當基于非專利文獻1的首位圖片必須在末位 圖片之前解碼（編碼）運樣的定義時，在對被設(shè)定成CRA圖片的在顯示順序中編號32的頂 場進行解碼后，無法立即對末位圖片即在顯示順序中編號33的底場進行解碼，因此，無法 采取圖33的參照構(gòu)造。因此，在想要在非專利文獻1的定義范圍內(nèi)實現(xiàn)使用CRA圖片的隨 機接入的情況下，例如，需要變更成首位圖片不參照在顯示順序中編號33的底場的參照構(gòu) 造，并且在首位圖片解碼后對在顯示順序中編號33的底場進行解碼，或者，需要將在顯示 順序中編號33的底場定義成CRA圖片。因此，在前者的情況下，與圖33的參照構(gòu)造相比， 首位圖片的參照圖片受到限制，因此存在預(yù)測效率降低運樣的課題。在后者的情況下，在從 編碼比特流的開頭進行再現(xiàn)的情況下從頂場開始再現(xiàn)，在從編碼比特流的中途進行再現(xiàn)的 情況下從底場進行再現(xiàn)。目P，與編碼比特流的解碼開始位置無關(guān)，無法始終從相同場進行解 碼，在顯示裝置中，需要應(yīng)對運種再現(xiàn)，存在顯示處理變得復(fù)雜運樣的課題。
[0012] 本發(fā)明正是為了解決上述課題而完成的，其目的在于，得到一種圖像編碼裝置、圖 像編碼方法、圖像解碼裝置和圖像解碼方法，在隔行視頻的場對編碼中，也能夠生成與編碼 比特流的解碼開始位置無關(guān)而能夠始終從相同場正確再現(xiàn)的編碼比特流并進行編碼。
[0013] 用于解決課題的手段
[0014] 在本發(fā)明的圖像編碼裝置中，各帖由第一場和第二場運兩個場構(gòu)成，將各場作為 圖片進行編碼，其特征在于，所述圖像編碼裝置具有：編碼單元，其將特定帖的第一場作為 僅通過內(nèi)部預(yù)測進行預(yù)測的內(nèi)部圖片進行編碼，并且，按照所述特定帖的第一場、所述特定 帖的第二場、與所述特定帖的第一場相比編碼順序在后且顯示順序在前的圖片、與所述特 定帖的第一場相比編碼順序和顯示順序均在后的圖片的順序進行編碼；W及復(fù)用單元，其 將表示所述特定帖的第一場是能夠從比特流的中途開始解碼的圖片的信息復(fù)用到所述比 特流。 陽〇1引發(fā)明效果
[0016] 根據(jù)本發(fā)明，在隔行視頻的場對編碼中，也生成與編碼比特流的解碼開始位置無 關(guān)而能夠始終從相同場正確再現(xiàn)的編碼比特流，因此，在隔行視頻的場對編碼中，顯示解碼 圖像的顯示裝置也與編碼比特流的解碼開始位置無關(guān)而始終從相同場起進行顯示即可，具 有能夠簡易地進行顯示處理的效果。
【附圖說明】
[0017] 圖1是示出本發(fā)明的實施方式1的圖像編碼裝置的結(jié)構(gòu)圖。
[0018] 圖2是示出本發(fā)明的實施方式1的圖像編碼裝置的處理內(nèi)容（圖像編碼方法）的 流程圖。
[0019] 圖3是示出本發(fā)明的實施方式1的圖像解碼裝置的結(jié)構(gòu)圖。
[0020] 圖4是示出本發(fā)明的實施方式1的圖像解碼裝置的處理內(nèi)容（圖像解碼方法）的 流程圖。
[0021] 圖5是示出最大編碼塊被分層地分割為多個編碼塊的示例的說明圖。 陽02引圖6的（a)是示出分割后的編碼塊化及預(yù)測塊的分布的說明圖，化）是示出通過 分層分割來分配編碼模式m度。）的情況的說明圖。
[002引圖7是示出編碼塊B"內(nèi)的各預(yù)測塊P1"可選擇的內(nèi)部預(yù)測模式的一例的說明圖。 [0024] 圖8是示出在Ii"=Hii"= 4的情況下生成預(yù)測圖像生成塊內(nèi)的像素的預(yù)測值時使 用的像素的一例的說明圖。
[00巧]圖9是示出W預(yù)測圖像生成塊內(nèi)的左上像素為原點的相對坐標的說明圖。
[00%] 圖10是示出量化矩陣的一例的說明圖。
[0027] 圖11是示出本發(fā)明的實施方式1的在圖像編碼裝置的環(huán)路濾波部中使用多個環(huán) 路濾波處理的情況下的結(jié)構(gòu)例的說明圖。
[0028] 圖12是示出本發(fā)明的實施方式1的在圖像解碼裝置的環(huán)路濾波部中使用多個環(huán) 路濾波處理的情況下的結(jié)構(gòu)例的說明圖。
[0029] 圖13是示出編碼比特流的一例的說明圖。
[0030] 圖14是示出像素自適應(yīng)偏移處理的類別分類方法的索引的說明圖。
[0031] 圖15是示出16X16像素尺寸的正交變換中的變換系數(shù)的編碼順序的說明圖。
[0032] 圖16是示出16X16像素尺寸的正交變換中的變換系數(shù)的分布的一例的說明圖。
[0033] 圖17是示出平均值預(yù)測時的濾波處理的濾波器切換區(qū)域的說明圖。
[0034] 圖18是示出平均值預(yù)測時的濾波處理的參照像素配置的說明圖。
[0035] 圖19是示出場編碼時對內(nèi)部預(yù)測圖像的濾波處理的說明圖。
[0036] 圖20是示出實施YUV4:2:0格式的信號中的亮度信號W及色差信號的壓縮處理時 的變換塊尺寸的說明圖。
[0037] 圖21是示出實施YUV4:2:2格式的信號中的亮度信號W及色差信號的壓縮處理時 的變換塊尺寸的說明圖。
[0038] 圖22是示出實施YUV4:4:4格式的信號中的亮度信號W及色差信號的壓縮處理時 的變換塊尺寸的說明圖。
[0039] 圖23是示出色差信號的內(nèi)部預(yù)測參數(shù)與色差內(nèi)部預(yù)測模式的對應(yīng)示例的說明 圖。
[0040] 圖24是示出不使用LM模式的情況下的色差信號的內(nèi)部預(yù)測參數(shù)與色差內(nèi)部預(yù)測 模式的對應(yīng)示例的說明圖。
[0041] 圖25是示出在YUV4:2:0格式的信號中亮度信號和色差信號使用相同的方向性預(yù) 測的情況的說明圖。
[0042] 圖26是示出在YUV4:2:2格式的信號中亮度信號和色差信號使用相同的方向性預(yù) 測的情況的說明圖。
[0043] 圖27是示出YUV4:4:4格式與YUV4:2:2格式之間的關(guān)系的說明圖。
[0044] 圖28是示出與在YUV4:4:4格式的信號中亮度信號和色差信號使用相同的方向性 預(yù)測等效的、YUV4:2:2格式下的方向性預(yù)測的示例的說明圖。
[0045] 圖29是示出YUV4:2:2格式的信號的方向性預(yù)測的預(yù)測方向矢量的說明圖。
[0046] 圖30是示出方向性預(yù)測與角度之間的關(guān)系的說明圖。
[0047]圖31是示出在YUV4:2:2格式的信號中亮度信號的內(nèi)部預(yù)測模式索引與色差信號 的內(nèi)部預(yù)測模式索引之間的關(guān)系的說明圖。
[0048] 圖32是示出內(nèi)部預(yù)測模式索引與tan 0之間的關(guān)系的說明圖。
[0049] 圖33是示出在隔行信號的場對編碼中使用雙向預(yù)測的編碼構(gòu)造的一例的說明 圖。
[0050] 圖34是示出在隔行信號的場對編碼中使用雙向預(yù)測的編碼構(gòu)造的一例的說明 圖。
[0051] 圖35是示出在隔行信號的場對編碼中使用雙向預(yù)測的編碼構(gòu)造的一例的說明 圖。
[0052] 圖36是示出在隔行信號的場對編碼中使用雙向預(yù)測的編碼構(gòu)造的一例的說明 圖。
[0053] 圖37是示出使用雙向預(yù)測的編碼構(gòu)造的一例的說明圖。
[0054] 圖38是示出RecoveiT Point SEI Message的語法的說明圖。
【具體實施方式】 陽0對實施方式1
[0056] 圖1是示出本發(fā)明的實施方式1的圖像編碼裝置的結(jié)構(gòu)圖。
[0057] 被該實施方式1的圖像編碼裝置作為處理對象的視頻信號是視頻帖由水平/垂直 的二維數(shù)字采樣（像素）串構(gòu)成的任意的視頻信號，包含由亮度信號和2個色差信號構(gòu)成 的YUV信號、從數(shù)字攝像元件輸出的RGB信號等任意顏色空間的彩色視頻信號、單色圖像信 號、紅外線圖像信號等。
[0058] 各像素的灰度可W是8位，也可W是10位、12位等的灰度。
[0059] 并且，由于靜態(tài)圖像信號能夠被解釋為僅由I帖構(gòu)成的視頻信號，因此當然輸入 信號也可W不是視頻信號而是靜態(tài)圖像信號。
[0060] 在下面的說明中，為了方便起見，在沒有特別指定的情況下，設(shè)輸入的視頻信號是 如下格式的信號：相對于亮度成分Y，2個色差成分U、V在縱橫方向上均被子采樣為1/2的 YUV4:2:0格式；相對于亮度成分Y，2個色差成分U、V在橫向上被子采樣為1/2的YUV4:2:2 格式；或者2個色差成分U、V與亮度成分Y采樣數(shù)相同的YUV4:4:4格式。并且，關(guān)于由紅 色（R)、綠色（G)、藍色度）運S原色的信號構(gòu)成的RGB4:4:4格式的信號，將各個信號視為 YUV4:4:4格式的信號而進行與YUV4:4:4格式相同的編碼。但是，關(guān)于RGB4:4:4格式的各 信號（RGB)如何與YUV4:4:4格式的各信號（YUV)對應(yīng)并不作限定（可W任意設(shè)定）。并 且，在YUV4 :4 :4格式信號或RGB4 :4 :4格式信號的情況下，也可W將各信號視為單色圖像 信號而分別獨立地進行單色（YUV4 :0:0)編碼并生成比特流。運樣，能夠W各信號并列的方 式進行編碼處理。
[0061] 另外，將與視頻的各帖對應(yīng)的處理數(shù)據(jù)單位稱為"圖片（picture)"，在該實施方式 1中，"圖片"作為被依次掃描（圖像順序掃描（progressivescan))的視頻帖的信號進行 說明。但是，在視頻信號為隔行（interlace)信號的情況下，"圖片"也可W是作為構(gòu)成視頻 帖的單位的場（field)圖像信號。
[0062] 在圖1中，片分割部14在輸入視頻信號作為輸入圖像時，實施依照由編碼控制部 2決定的片分割信息將該輸入圖像分割為一個W上的被稱為"片（slice)"的部分圖像的處 理。片的分割單位能夠細小至后文敘述的編碼塊單位。
[0063] 每當輸入由片分割部14分割得到的片時，塊分割部1實施如下處理：將該片分割 為由編碼控制部2決定的最大尺寸的編碼塊即最大編碼塊，并且將該最大編碼塊分層分割 為各個編碼塊，直至達到由編碼控制部2決定出的上限層數(shù)。
[0064] 目P，塊分割部1實施根據(jù)由編碼控制部2決定的分割將片分割為各個編碼塊并輸 出該編碼塊的處理。并且，各個編碼塊被分割為作為預(yù)測處理單位的一個或多個預(yù)測塊。 陽0化]編碼控制部2實施如下處理：決定作為實施編碼處理時的處理單位的編碼塊的最 大尺寸，并且決定分層分割最大尺寸的編碼塊時的上限分層數(shù)，由此決定各個編碼塊的尺 寸。
[0066] 另外，編碼控制部2實施從可選擇的一個W上的編碼模式（表示預(yù)測處理單位的 預(yù)測塊的尺寸等不同的一個W上的內(nèi)部編碼模式、預(yù)測塊的尺寸等不同的一個W上的帖間 (Inter)編碼模式）中選擇適用于從塊分割部1輸出的編碼塊的編碼模式的處理。作為選 擇方法的例子，有從可選擇的一個W上的編碼模式中選擇對從塊分割部1輸出的編碼塊的 編碼效率最高的編碼模式的方法。
[0067]另外，編碼控制部2實施如下處理：在編碼效率最高的編碼模式是內(nèi)部編碼模式 的情況下，按照每個預(yù)測塊決定W該內(nèi)部編碼模式對編碼塊實施內(nèi)部預(yù)測處理時使用的內(nèi) 部預(yù)測參數(shù)，其中，該預(yù)測塊是上述內(nèi)部編碼模式所示的預(yù)測處理單位；在編碼效率最高的 編碼模式是帖間編碼模式的情況下，按照每個預(yù)測塊決定W該帖間編碼模式對編碼塊實施 帖間預(yù)測處理時使用的帖間預(yù)測參數(shù)，其中，該預(yù)測塊是上述帖間編碼模式所示的預(yù)測處 理單位。 W側(cè)另外，編碼控制部2實施決定提供給變換/量化部7W及逆量化/逆變換部8的 預(yù)測差分編碼參數(shù)的處理。預(yù)測差分編碼參數(shù)包含表示編碼塊中的成為正交變換處理單位 的變換塊的分割信息的變換塊分割信息、規(guī)定進行變換系數(shù)量化時的量化步階大小的量化 參數(shù)等。
[0069] 在此，圖20是示出實施YUV4:2:0格式的信號中的亮度信號W及色差信號的壓縮 處理（變換處理、量化處理）時的變換塊尺寸的說明圖。
[0070] 如圖20所示，變換塊尺寸由W四叉樹（如adtree)狀對編碼塊進行分層分割的情 況來決定。
[0071]例如，根據(jù)在分割變換塊的情況下和不分割變換塊的情況下的編碼量、考慮到編 碼誤差的評價尺度等，來決定是否分割變換塊W使評價值最小，由此能夠從編碼量和編碼 誤差折衷的觀點出發(fā)來決定最佳的變換塊的分割形狀。
[0072] 關(guān)于亮度信號，例如，如圖20所示，構(gòu)成為編碼塊被分層分割為一個或多個正方 形的變換塊。
[0073] 關(guān)于色差信號，如圖20所示，在輸入信號格式為YUV4:2:0信號的情況下，與亮度 信號同樣地，構(gòu)成為編碼塊被分層分割為一個或多個正方形的變換塊。
[0074] 在該情況下，色差信號的變換塊尺寸在縱橫方向上均為對應(yīng)的亮度信號的變換塊 的一半的尺寸。
[00巧]如圖21所示，在輸入信號格式為YUV4:2:2信號的情況下，進行與亮度信號同樣的 四叉樹狀的分層分割。并且，分割后的塊的形狀成為垂直方向的像素數(shù)為水平方向的像素 數(shù)的2倍的長方形，因此通過進一步在上下方向上對分割后的塊一分為二，成為由2個與 YUV4:2:0信號的色差信號相同塊尺寸（縱橫方向上均為亮度信號的變換塊的一半的尺寸） 的變換塊構(gòu)成。
[0076] 另外，如圖22所示，在輸入信號格式為YUV4:4:4信號的情況下，色差信號的變換 塊始終進行與亮度信號的變換塊同樣的分割，構(gòu)成為相同尺寸的變換塊。
[0077] 亮度信號的變換塊的分割信息例如作為表示是否按照每層進行分割的變換塊分 割標志輸出給可變長度編碼部13。
[0078] 切換開關(guān)3實施如下處理：如果由編碼控制部2決定的編碼模式為內(nèi)部編碼模式， 則將從塊分割部1輸出的編碼塊輸出給內(nèi)部預(yù)測部4,如果由編碼控制部2決定的編碼模式 為帖間編碼模式，則將從塊分割部1輸出的編碼塊輸出給運動補償預(yù)測部5。
[0079] 內(nèi)部預(yù)測部4實施如下處理：在編碼控制部2選擇內(nèi)部編碼模式作為與從切換開 關(guān)3輸出的編碼塊對應(yīng)的編碼模式的情況下，參照存儲在內(nèi)部預(yù)測用存儲器10中的局域解 碼圖像，實施利用由編碼控制部2決定的內(nèi)部預(yù)測參數(shù)的內(nèi)部預(yù)測處理（帖內(nèi)預(yù)測處理）， 生成內(nèi)部預(yù)測圖像。另外，內(nèi)部預(yù)測部4構(gòu)成內(nèi)部預(yù)測單元。
[0080]旨P，內(nèi)部預(yù)測部4對于亮度信號實施使用亮度信號的內(nèi)部預(yù)測參數(shù)的內(nèi)部預(yù)測處 理（帖內(nèi)預(yù)測處理），生成亮度信號的預(yù)測圖像。
[0081] 另一方面，對于色差信號，在色差信號的內(nèi)部預(yù)測參數(shù)示出使用與針對亮度信號 的內(nèi)部預(yù)測模式相同的預(yù)測模式的情況下（內(nèi)部預(yù)測參數(shù)示出亮度色差公共內(nèi)部預(yù)測模 式值M模式）的情況下），實施與亮度信號相同的帖內(nèi)預(yù)測，生成色差信號的預(yù)測圖像。
[0082]另外，在色差信號的內(nèi)部預(yù)測參數(shù)示出垂直方向預(yù)測模式或水平方向預(yù)測模式的 情況下，實施針對色差信號的方向性預(yù)測，生成色差信號的預(yù)測圖像。
[0083]另外，在色差信號的內(nèi)部預(yù)測參數(shù)示出利用與亮度的相關(guān)性的色差信號預(yù)測模 式（LM模式）的情況下，使用與預(yù)測圖像的生成對象塊的上側(cè)和左側(cè)相鄰的多個像素的亮 度信號和色差信號，計算示出亮度信號與色差信號之間的相關(guān)性的相關(guān)性參數(shù)，使用該相 關(guān)性參數(shù)和與作為預(yù)測處理對象的色差信號的塊對應(yīng)的亮度信號，生成色