圖像處理裝置及方法
【專利摘要】本發(fā)明涉及被配置成能夠提高編碼效率的圖像處理設(shè)備及方法。該圖像處理設(shè)備及方法包括：權(quán)重模式確定單元，針對(duì)每個(gè)指定區(qū)域確定作為加權(quán)預(yù)測(cè)的模式的權(quán)重模式，在使用權(quán)重系數(shù)執(zhí)行加權(quán)的同時(shí)執(zhí)行用于對(duì)圖像進(jìn)行編碼的幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理；權(quán)重模式信息生成單元，針對(duì)每個(gè)所述區(qū)域生成表示由權(quán)重模式確定單元確定的權(quán)重模式的權(quán)重模式信息；以及編碼單元，對(duì)由權(quán)重模式信息生成單元生成的權(quán)重模式信息進(jìn)行編碼。本公開可以應(yīng)用于圖像處理設(shè)備。
【專利說明】圖像處理裝置及方法【技術(shù)領(lǐng)域】
[0001]本公開涉及圖像處理裝置及方法，更具體地涉及能夠提高編碼效率的圖像處理裝置及方法。
【背景技術(shù)】
[0002]近年來，圖像信息被作為數(shù)字來處理，在這種情況下，出于高效地傳輸和累積信息的目的，基于用于基于正交變換如離散余弦變換和利用圖像信息所獨(dú)有的冗余的運(yùn)動(dòng)補(bǔ)償?shù)膲嚎s的比如MPEG (運(yùn)動(dòng)圖像專家組)方法的裝置不僅能夠廣泛地用于如廣播站等的信息分發(fā)而且還能夠用于普通家庭的信息接收。
[0003]具體地，MPEG2 (ISO (國際標(biāo)準(zhǔn)化組織)/IEC (國際電工委員會(huì))13818-2)被定義為一種通用圖像編碼方法，并且利用覆蓋交錯(cuò)掃描圖像和順序掃描圖像以及標(biāo)準(zhǔn)分辨率圖像和高清圖像的標(biāo)準(zhǔn)，MPEG2現(xiàn)廣泛地用于針對(duì)專業(yè)用戶和消費(fèi)者的許多應(yīng)用。當(dāng)使用MPEG2壓縮方法時(shí)，高壓縮率和高圖像質(zhì)量可以通過例如分配4Mbps到8Mbps作為對(duì)于具有720X480像素的標(biāo)準(zhǔn)分辨率的交錯(cuò)掃描圖像的編碼量(比特率)以及分配18Mbps到22Mbps作為對(duì)于具有1920X1088像素的高分辨率的交錯(cuò)掃描圖像的編碼量(比特率)來實(shí)現(xiàn)。 [0004]MPEG2主要是針對(duì)適合于廣播的高圖像質(zhì)量編碼，但不支持編碼量(比特率)小于MPEGl的編碼方法。換言之，MPEG2不支持更高的壓縮率。隨著便攜式終端日益廣泛地流行，對(duì)這樣的編碼方法的需求被認(rèn)為在未來會(huì)增長，并且為了響應(yīng)這樣的需求，對(duì)MPEG4編碼方法進(jìn)行了標(biāo)準(zhǔn)化。關(guān)于圖像編碼方法，該規(guī)范在1998年12月被承認(rèn)為國際標(biāo)準(zhǔn)中的IS0/IEC14496-2。
[0005]此外，近年來，稱為H.26L的標(biāo)準(zhǔn)(ITU-T (國際電信聯(lián)盟電信標(biāo)準(zhǔn)化組織)Q6/16VCEG (視頻編碼專家組))首先針對(duì)電信會(huì)議的圖像編碼的目的進(jìn)行了標(biāo)準(zhǔn)化。與傳統(tǒng)編碼方法如MPEG2和MPEG4相比，已知H.26L在其編碼及解碼中需要較高的計(jì)算量，但是實(shí)現(xiàn)了更高程度的編碼效率。此外，當(dāng)前，作為MPEG4的活動(dòng)之一，基于H.26L通過結(jié)合
H.26L不支持的功能來實(shí)現(xiàn)更高程度的效率的標(biāo)準(zhǔn)化正在增強(qiáng)型壓縮視頻編碼的聯(lián)合模型中完成。
[0006]關(guān)于標(biāo)準(zhǔn)化的進(jìn)度表，其已經(jīng)在2003年3月以H.264和MPEG-4部分10 (高級(jí)視頻編碼，下文中稱為AVC)的名義進(jìn)入了國際標(biāo)準(zhǔn)。
[0007]此外，作為其擴(kuò)展，包括8X8DCT (離散余弦變換)和由MPEG-2定義的量化矩陣的FRExt (保真度范圍擴(kuò)展)以及如RGB、4:2:2和4:4:4等業(yè)務(wù)所需的編碼的標(biāo)準(zhǔn)化在2005年2月完成。因此，使用AVC，可以使其成為能夠以優(yōu)選的方式表達(dá)包括在電影里的影片噪音并且被開始廣泛地被應(yīng)用比如應(yīng)用在藍(lán)光盤中的編碼方法。
[0008]但是，最近，以更高程度的壓縮率編碼的需求在不斷增長。例如，期望對(duì)為高視覺系統(tǒng)圖像四倍的大約為4000X2000像素的圖像進(jìn)行壓縮以及在如互聯(lián)網(wǎng)的有限傳輸容量環(huán)境下對(duì)高視覺圖像進(jìn)行分發(fā)。因此，在根據(jù)ITU-T的VCEG (視頻編碼專家組)中，一直考慮提聞編碼效率。[0009]順便提及，如上所述，使宏塊尺寸為16像素X 16像素可能不適合大的圖像幀比如作為下一代編碼方法的UHD (超高清；4000像素X2000像素)。
[0010]從而，當(dāng)前為了以高于AVC的水平進(jìn)一步提高編碼效率，作為ITU-T和IS0/IEC的聯(lián)合標(biāo)準(zhǔn)組織的JCTVC (聯(lián)合協(xié)作組-視頻編碼)已經(jīng)致力于制定稱為HEVC (高效視頻編碼)的編碼方法標(biāo)準(zhǔn)(例如，參見非專利文獻(xiàn)I)。
[0011]在該HEVC編碼方法中，編碼單元(⑶)被定義為與AVC中的宏塊相同的處理單元。不同于AVC的宏塊，該⑶的尺寸不限于16X 16像素，并且在每個(gè)序列中，該尺寸在圖像壓縮信息中指定。
[0012]順便提及，在MPEG2和MPEG4中，例如，像淡入淡出場(chǎng)景等運(yùn)動(dòng)存在，但是在亮度變化的序列中，沒有準(zhǔn)備編碼工具來吸收亮度的變化，因此，存在編碼效率降低的問題。
[0013]為了解決這樣的問題，在AVC中，提供了權(quán)重預(yù)測(cè)處理(例如,參見非專利文獻(xiàn)2)。在AVC中，以片段為單位，可以指定是否使用該權(quán)重預(yù)測(cè)。
[0014]引用列表
[0015]非專利文獻(xiàn)
[0016]非專利文獻(xiàn)1:Thomas ffiegand, Woo-Jin Han, Benjamin Bross, Jens-RainerOhm,Gary J.Sullivan, "Working Draftlof High-Efficiency VideoCoding", JCTVC-C403，Joint Collaborative Team on Video Coding(JCT-VC) of ITU-TSG16WP3and IS0/IEC JTC1/SC29/WG11 第三次會(huì)議:廣州，中國，2010 年 10 月 7 日至 15 日
[0017]非專利文獻(xiàn)2:Yoshihiro Kikuchi, Takeshi Chujoh, "Improved multiple framemotion compensation using frame interpolation'JVT-B075, Joint Video Team(JVT)of IS0/IEC MPEG&ITU-T VCEG(IS0/IEC JTCl/SC29/WGlland ITU-T SG16Q.6)第二次會(huì)議:日內(nèi)瓦，瑞士，2002年I月29日至2月I日

【發(fā)明內(nèi)容】

[0018]本發(fā)明要解決的問題
[0019]順便提及，亮度變化可能發(fā)生在畫面的一部分中，而在其他部分卻沒有變化。但是，AVC中的權(quán)重預(yù)測(cè)不能應(yīng)對(duì)該狀況，因此，權(quán)重預(yù)測(cè)的效率降低。例如，在比如其中畫面的端部是無亮度變化的以黑色繪制的圖像的信箱的圖像中，即使在畫面的中央出現(xiàn)了亮度變化，對(duì)整個(gè)圖片應(yīng)用權(quán)重預(yù)測(cè)在畫面的沒有亮度變化的端部不適當(dāng)，從而編碼效率可能降低。即使當(dāng)亮度變化在整個(gè)畫面中不是均勻地變化時(shí)，權(quán)重預(yù)測(cè)的預(yù)測(cè)精度也部分地降低，并且這可以導(dǎo)致編碼效率的降低。
[0020]本公開是鑒于這樣的情況而做出的。本公開的一個(gè)目標(biāo)是能夠通過減小權(quán)重預(yù)測(cè)的控制單位的區(qū)域的尺寸來抑制權(quán)重預(yù)測(cè)的預(yù)測(cè)精度的降低以及抑制編碼效率的降低。
[0021]技術(shù)方案
[0022]本公開的一個(gè)方面是一種圖像處理設(shè)備，包括:權(quán)重模式確定單元，被配置成針對(duì)每個(gè)預(yù)定區(qū)域來確定作為權(quán)重預(yù)測(cè)的模式的權(quán)重模式，在該權(quán)重預(yù)測(cè)中，在使用權(quán)重系數(shù)給出權(quán)重的同時(shí)執(zhí)行用于對(duì)圖像進(jìn)行編碼的幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理；權(quán)重模式信息生成單元，被配置成針對(duì)每個(gè)所述區(qū)域生成表示由權(quán)重模式確定單元確定的權(quán)重模式的權(quán)重模式信息；以及編碼單元，被配置成對(duì)由權(quán)重模式信息生成單元生成的權(quán)重模式信息進(jìn)行編碼。[0023]權(quán)重模式可以包括使用權(quán)重系數(shù)來執(zhí)行幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理的權(quán)重開(ON)模式以及不使用權(quán)重系數(shù)來執(zhí)行幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理的權(quán)重(OFF)模式。
[0024]權(quán)重模式可以包括使用權(quán)重系數(shù)并且在傳輸權(quán)重系數(shù)的顯式模式下執(zhí)行幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理的模式和使用權(quán)重系數(shù)并且在不傳輸所述權(quán)重系數(shù)的隱式模式下執(zhí)行幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理的模式。
[0025]權(quán)重模式可以包括使用彼此不同的權(quán)重系數(shù)來執(zhí)行幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理的多個(gè)權(quán)重ON模式。
[0026]權(quán)重模式信息生成單元可以生成表示權(quán)重模式和幀間預(yù)測(cè)模式的組合的模式信息替代權(quán)重模式信息，幀間預(yù)測(cè)模式表示幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理的模式。
[0027]圖像處理設(shè)備還可以包括限定單元，用于對(duì)權(quán)重模式信息生成單元生成權(quán)重模式信息的區(qū)域的尺寸進(jìn)行限定。
[0028]所述區(qū)域可以是幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理的處理單位的區(qū)域。
[0029]所述區(qū)域可以是最大編碼單位、編碼單位或預(yù)測(cè)單位。
[0030]所述編碼單元可以通過CABAC來對(duì)權(quán)重模式信息進(jìn)行編碼。
[0031]本公開的一個(gè)方面是一種圖像處理設(shè)備的圖像處理方法，其中，權(quán)重模式確定單元針對(duì)每個(gè)預(yù)定區(qū)域確定作為權(quán)重預(yù)測(cè)的模式的權(quán)重模式，在權(quán)重預(yù)測(cè)中，在使用權(quán)重系數(shù)給出權(quán)重的同時(shí)執(zhí)行用于對(duì)圖像進(jìn)行編碼的幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理；權(quán)重模式信息生成單元針對(duì)每個(gè)所述區(qū)域生成表示由所述權(quán)重模式確定單元確定的權(quán)重模式的權(quán)重模式信息；以及編碼單元對(duì)生成的權(quán)重模式信息進(jìn)行編碼。
[0032]本公開的另一個(gè)方面是圖像處理設(shè)備，包括:解碼單元，被配置成對(duì)比特流進(jìn)行解碼，并提取包括在比特流中的權(quán)重模式信息，該比特流是通過在圖像的編碼期間，針對(duì)每個(gè)預(yù)定區(qū)域確定作為權(quán)重預(yù)測(cè)的模式的權(quán)重模式，針對(duì)每個(gè)區(qū)域生成表示權(quán)重模式的權(quán)重模式信息，并與圖像一起編碼獲得的，其中，在權(quán)重預(yù)測(cè)中，在使用權(quán)重系數(shù)給出權(quán)重的同時(shí)，執(zhí)行幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理；以及運(yùn)動(dòng)補(bǔ)償單元，被配置成通過在通過解碼單元的解碼而提取的權(quán)重模式信息中指示的權(quán)重模式下執(zhí)行運(yùn)動(dòng)補(bǔ)償處理來生成預(yù)測(cè)圖像。
[0033]所述權(quán)重模式可以包括使用權(quán)重系數(shù)執(zhí)行幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理的權(quán)重ON模式以及不使用權(quán)重系數(shù)執(zhí)行運(yùn)動(dòng)補(bǔ)償處理的權(quán)重OFF模式。
[0034]所述權(quán)重模式可以包括使用權(quán)重系數(shù)在傳輸權(quán)重系數(shù)的顯式模式下執(zhí)行運(yùn)動(dòng)補(bǔ)償處理的模式以及使用權(quán)重系數(shù)在不傳輸權(quán)重系數(shù)的隱式模式下執(zhí)行運(yùn)動(dòng)補(bǔ)償處理的模式。
[0035]所述權(quán)重模式可以包括使用彼此不同的權(quán)重系數(shù)執(zhí)行運(yùn)動(dòng)補(bǔ)償處理的多個(gè)權(quán)重ON模式。
[0036]在不傳輸權(quán)重系數(shù)的隱式模式的情況下，圖像處理設(shè)備還可以包括被配置成計(jì)算權(quán)重系數(shù)的權(quán)重系數(shù)計(jì)算單元。
[0037]所述圖像處理設(shè)備還可以包括限定信息獲取單元，被配置成獲取對(duì)權(quán)重模式信息存在的區(qū)域的尺寸進(jìn)行限定的限定信息。
[0038]所述區(qū)域可以是幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理的處理單位的區(qū)域。
[0039]所述區(qū)域可以是最大編碼單位、編碼單位或預(yù)測(cè)單位。
[0040]包括權(quán)重模式信息的比特流可以通過CABAC編碼，并且解碼單元可以通過CABAC對(duì)比特流進(jìn)行解碼。
[0041]本公開的另一個(gè)方面是用于圖像處理設(shè)備的圖像處理方法，包括:使解碼單元對(duì)比特流進(jìn)行解碼并且提取包括在比特流中的權(quán)重模式信息，該比特流是通過在圖像的編碼期間，針對(duì)每個(gè)預(yù)定區(qū)域確定作為權(quán)重預(yù)測(cè)的模式的權(quán)重模式，針對(duì)每個(gè)區(qū)域生成表示權(quán)重模式的權(quán)重模式信息，并與圖像一起編碼獲得的，其中，在權(quán)重預(yù)測(cè)中，在使用權(quán)重系數(shù)給出權(quán)重的同時(shí)，執(zhí)行幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理；以及使運(yùn)動(dòng)補(bǔ)償單元通過在通過解碼提取的所述權(quán)重模式信息中指示的權(quán)重模式下執(zhí)行運(yùn)動(dòng)補(bǔ)償處理來生成預(yù)測(cè)圖像。
[0042]在本公開的另一個(gè)方面中，針對(duì)每個(gè)預(yù)定區(qū)域確定作為其中在以權(quán)重系數(shù)給出權(quán)重的同時(shí)執(zhí)行用于對(duì)圖像編碼的幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理的權(quán)重預(yù)測(cè)的模式的權(quán)重模式；針對(duì)每個(gè)所述區(qū)域確定表示權(quán)重模式的權(quán)重模式信息；以及對(duì)所生成的權(quán)重模式信息進(jìn)行編碼。
[0043]在本公開的另一個(gè)方面中，在圖像的編碼期間，針對(duì)每個(gè)預(yù)定區(qū)域確定權(quán)重模式，該權(quán)重模式是在以權(quán)重系數(shù)給出權(quán)重的同時(shí)執(zhí)行幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理的權(quán)重預(yù)測(cè)的模式；針對(duì)每個(gè)所述區(qū)域生成表示權(quán)重模式的權(quán)重模式信息；對(duì)與圖像一起編碼的比特流進(jìn)行解碼；提取包括在該比特流中的權(quán)重模式信息；以及通過在經(jīng)由解碼提取的權(quán)重模式信息中表明的權(quán)重模式下執(zhí)行運(yùn)動(dòng)補(bǔ)償處理來生成預(yù)測(cè)圖像。
[0044]發(fā)明效果
[0045]根據(jù)本公開，可以處理圖像。具體地，可以提高編碼效率。
【專利附圖】

【附圖說明】
[0046]圖1是示出了圖像編碼設(shè)備的主配置的示例的框圖；
[0047]圖2是示出了小數(shù)點(diǎn)像素精度的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理的示例的圖；
[0048]圖3是示出了宏塊的示例的圖；
[0049]圖4是用于說明中值操作的示例的圖；
[0050]圖5是用于說明多參考幀的示例的圖；
[0051]圖6是用于說明運(yùn)動(dòng)搜索方法的示例的圖；
[0052]圖7是用于說明權(quán)重預(yù)測(cè)的示例的圖；
[0053]圖8是用于說明編碼單元的配置的示例的圖；
[0054]圖9是用于說明圖像的示例的圖；
[0055]圖10是用于說明圖像編碼設(shè)備的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元、權(quán)重預(yù)測(cè)單元和權(quán)重模式確定單元的主配置的示例的框圖；
[0056]圖11是用于說明編碼處理流程的示例的流程圖；
[0057]圖12是用于說明編碼處理的幀間運(yùn)動(dòng)預(yù)測(cè)處理的流程的示例的流程圖；
[0058]圖13是用于說明圖像解碼設(shè)備的主配置的示例的框圖；
[0059]圖14是用于說明圖像解碼設(shè)備的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元的主配置的示例的框圖；
[0060]圖15是用于說明解碼處理流程的示例的流程圖；
[0061]圖16是用于說明預(yù)測(cè)處理流程的示例的流程圖；
[0062]圖17是用于說明預(yù)測(cè)處理的幀間運(yùn)動(dòng)預(yù)測(cè)處理的流程的示例的流程圖；
[0063]圖18是用于說明圖像編碼設(shè)備的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元、權(quán)重預(yù)測(cè)單元和權(quán)重模式確定單元的配置的另一個(gè)示例和區(qū)域尺寸限定單元的配置的示例的框圖。
[0064]圖19是用于說明編碼處理的幀間運(yùn)動(dòng)預(yù)測(cè)處理的流程的另一個(gè)示例的流程圖；
[0065]圖20是用于說明圖像解碼設(shè)備的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元的配置的另一個(gè)示例的框圖；
[0066]圖21是用于說明預(yù)測(cè)處理的幀間運(yùn)動(dòng)預(yù)測(cè)處理的流程的示例的流程圖；
[0067]圖22是用于說明圖像編碼設(shè)備的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元和權(quán)重預(yù)測(cè)單元的又一個(gè)示例的框圖。
[0068]圖23是用于說明編碼處理的幀間運(yùn)動(dòng)預(yù)測(cè)處理的流程的再一個(gè)示例的流程圖；
[0069]圖24是用于說明圖像編碼設(shè)備的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元、權(quán)重預(yù)測(cè)單元和權(quán)重模式確定單元的主配置的又一個(gè)示例的框圖；
[0070]圖25是用于說明編碼處理的幀間運(yùn)動(dòng)預(yù)測(cè)處理的流程的再一個(gè)示例的流程圖；
[0071]圖26是用于說明個(gè)人計(jì)算機(jī)的主配置的示例的框圖；
[0072]圖27是示出了電視設(shè)備的示意性配置的示例的框圖；
[0073]圖28是示出了蜂窩電話的示意性配置的示例的框圖； [0074]圖29是示出了記錄/再現(xiàn)設(shè)備的示意性配置的示例的框圖；以及
[0075]圖30是示出了 圖像拍攝設(shè)備的示意性配置的示例的框圖。
【具體實(shí)施方式】
[0076]下文中，將說明用于執(zhí)行本發(fā)明的模式(下文稱為實(shí)施方式)。應(yīng)當(dāng)注意，將按照以下順序來進(jìn)行說明。
[0077]1.第一實(shí)施方式(圖像編碼設(shè)備)
[0078]2.第二實(shí)施方式(圖像解碼設(shè)備)
[0079]3.第三實(shí)施方式(圖像編碼設(shè)備)
[0080]4.第四實(shí)施方式(圖像解碼設(shè)備)
[0081]5.第五實(shí)施方式(圖像編碼設(shè)備)
[0082]6.第六實(shí)施方式(圖像編碼設(shè)備)
[0083]7.第七實(shí)施方式(個(gè)人計(jì)算機(jī))
[0084]8.第八實(shí)施方式(電視接收機(jī))
[0085]9.第九實(shí)施方式(蜂窩電話)
[0086]10.第十實(shí)施方式(記錄/再現(xiàn)設(shè)備)
[0087]11.第H^一實(shí)施方式(圖像拍攝設(shè)備)
[0088]〈1.第一實(shí)施方式>
[0089][圖像編碼設(shè)備]
[0090]圖1是示出了圖像編碼設(shè)備的主配置的示例的框圖。
[0091]如圖1所示的圖像編碼設(shè)備100使用像H.264和MPEG (移動(dòng)圖片專家組)4部分10 (AVC (高級(jí)視頻編碼))編碼方法等預(yù)測(cè)處理來對(duì)圖像數(shù)據(jù)進(jìn)行編碼。
[0092]如圖1所示，圖像編碼設(shè)備100包括A/D轉(zhuǎn)換單元101、畫面排序緩沖器102、計(jì)算單元103、正交變換單元104、量化單元105、無損編碼單元106和累積緩沖器107。圖像編碼設(shè)備100包括逆量化單元108、逆正交變換單元109、計(jì)算單元110、環(huán)路濾波器111、幀存儲(chǔ)器112、選擇單元113、幀內(nèi)預(yù)測(cè)單元114、運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115、預(yù)測(cè)圖像選擇單元116和速率控制單元117。
[0093]此外，圖像編碼設(shè)備100包括權(quán)重預(yù)測(cè)單元121和權(quán)重模式確定單元122。
[0094]A/D轉(zhuǎn)換單元101對(duì)所接收的圖像數(shù)據(jù)進(jìn)行A/D轉(zhuǎn)換，并且將經(jīng)轉(zhuǎn)換的圖像數(shù)據(jù)(數(shù)字?jǐn)?shù)據(jù))提供給畫面排序緩沖器102以將圖像數(shù)據(jù)存儲(chǔ)在其中。畫面排序緩沖器102將按照存儲(chǔ)顯示順序的幀的圖像排序成用于根據(jù)GOP (圖片組)編碼的幀的順序，并且將幀順序已經(jīng)排序的圖像提供給計(jì)算單元103。畫面排序緩沖器102還將幀順序已經(jīng)排序的圖像提供給幀內(nèi)預(yù)測(cè)單元114和運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115。
[0095]計(jì)算單元103將預(yù)測(cè)圖像從自畫面排序緩沖器102讀取的圖像中減去，該預(yù)測(cè)圖像從幀內(nèi)預(yù)測(cè)單元114或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115中通過預(yù)測(cè)圖像選擇單元116來提供，并且計(jì)算單元103將其差信息提供給正交變換單元104。
[0096]例如，在幀內(nèi)編碼圖像的情況下，計(jì)算單元103將從幀內(nèi)預(yù)測(cè)單元114提供的預(yù)測(cè)圖像從自畫面排序緩沖器102讀取的圖像中減去。例如，在幀間編碼圖像的情況下，計(jì)算單元103將從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115提供的預(yù)測(cè)圖像從自畫面排序緩沖器102讀取的圖像中減去。
[0097]正交變換單元104對(duì)從計(jì)算單元103提供的差信息應(yīng)用如離散余弦變換和卡洛(Karhunen-Loeve)變換等正交變換。應(yīng)當(dāng)注意，該正交變換的方法可以是任何方法。正交變換單元104將轉(zhuǎn)換系數(shù)提供給量化單元105。
[0098]量化單元105對(duì)來自正交變換單元104的轉(zhuǎn)換系數(shù)進(jìn)行量化。量化單元105基于關(guān)于由速率控制單元117提供的代碼量的目標(biāo)值的信息來對(duì)量化參數(shù)進(jìn)行設(shè)置并且量化。應(yīng)當(dāng)注意，量化的方法可以是任何方法。量化單元105將經(jīng)量化的轉(zhuǎn)換系數(shù)提供給無損編碼單元106。
[0099]無損編碼單元106使用任何編碼方法對(duì)由量化單元105量化的轉(zhuǎn)換系數(shù)進(jìn)行編碼。系數(shù)數(shù)據(jù)在速率控制單元117的控制之下進(jìn)行量化，因此，代碼量變?yōu)橛伤俾士刂茊卧?17設(shè)置的目標(biāo)值(或變得接近該目標(biāo)值)。
[0100]無損編碼單元106從幀內(nèi)預(yù)測(cè)單元114獲得包括表示幀內(nèi)預(yù)測(cè)的模式等信息的幀內(nèi)預(yù)測(cè)信息，并且從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115獲得包括表明幀間預(yù)測(cè)的模式、運(yùn)動(dòng)向量信息等信息的幀間預(yù)測(cè)信息。此外，無損編碼單元106獲得由環(huán)路濾波器111使用的濾波器系數(shù)等。
[0101]無損編碼單元106使用編碼方法對(duì)如上所述的各種信息進(jìn)行編碼，并且使其成為編碼數(shù)據(jù)的頭部信息的一部分(復(fù)用)。無損編碼單元106將通過編碼獲得的編碼數(shù)據(jù)提供給累積緩沖器107以將編碼數(shù)據(jù)累積在其中。
[0102]無損編碼單元106的編碼方法的示例包括可變長度編碼或算術(shù)編碼?？勺冮L度編碼的示例包括在H.264/AVC方法中定義的CAVLC (上下文自適應(yīng)可變長度編碼)等等。算術(shù)編碼的示例包括CABAC (上下文自適應(yīng)二進(jìn)制算術(shù)編碼)。
[0103]累積緩沖器107臨時(shí)保存由無損編碼單元106提供的編碼數(shù)據(jù)。采用預(yù)定定時(shí)，累積緩沖器107將保存在其中的編碼數(shù)據(jù)作為比特流輸出至流入后續(xù)階段中設(shè)置的未示出的記錄設(shè)備(記錄介質(zhì))、傳輸路徑等。
[0104]由量化單元105量化的轉(zhuǎn)換系數(shù)還提供給逆量化單元108。逆量化單元108根據(jù)與量化單元105的量化對(duì)應(yīng)的方法來對(duì)量化的轉(zhuǎn)換系數(shù)進(jìn)行解量化。逆量化的方法可以是任何方法，只要其是與量化單元105的量化處理對(duì)應(yīng)的方法。逆量化單元108將獲得的轉(zhuǎn)換系數(shù)提供給逆正交變換單元109。
[0105]逆正交變換單元109根據(jù)與正交變換單元104的正交變換處理對(duì)應(yīng)的方法來對(duì)由逆量化單元108提供的轉(zhuǎn)換系數(shù)執(zhí)行逆正交變換。逆正交變換的方法可以是任何方法，只要其是與正交變換單元104的正交變換處理對(duì)應(yīng)的方法。從逆正交變換獲得的輸出(局部恢復(fù)的差信息)被提供給計(jì)算單元110。
[0106]計(jì)算單元110將從幀內(nèi)預(yù)測(cè)單元114或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115經(jīng)由預(yù)測(cè)圖像選擇單元116提供的預(yù)測(cè)圖像加到從逆正交變換單元109提供的逆正交變換結(jié)果(即，局部恢復(fù)的差信息)，從而獲得局部重構(gòu)圖像(重構(gòu)圖像)。重構(gòu)圖像被提供給環(huán)路濾波器111或幀存儲(chǔ)器112。
[0107]環(huán)路濾波器111包括解塊濾波器、自適應(yīng)環(huán)路濾波器等，并且在必要時(shí)將濾波器處理應(yīng)用于從計(jì)算單元110提供的解碼圖像。例如，環(huán)路濾波器111將解塊濾波器處理應(yīng)用至解碼圖像以從該解碼圖像中去除塊噪聲。例如，環(huán)路濾波器111使用維納濾波器將環(huán)路濾波器處理應(yīng)用于解塊濾波器處理結(jié)果(僅從其去除了塊噪聲的解碼圖像)，從而提高圖
像質(zhì)量。
[0108]應(yīng)當(dāng)注意，環(huán)路濾波器111可以將任何給定濾波器處理應(yīng)用至解碼圖像。必要時(shí)，環(huán)路濾波器111將如用在濾波器處理中的濾波器系數(shù)等信息提供給無損編碼單元106以使得無損編碼單元106對(duì)其進(jìn)行編碼。
[0109]環(huán)路濾波器111將濾波器處理結(jié)果(下文稱為解碼圖像)提供給幀存儲(chǔ)器112。
[0110]幀存儲(chǔ)器112存儲(chǔ)由計(jì)算單元110提供的重構(gòu)圖像和由環(huán)路濾波器111提供的解碼圖像。幀存儲(chǔ)器112將所存儲(chǔ)的重構(gòu)圖像通過選擇單元113以預(yù)定定時(shí)或基于如幀內(nèi)預(yù)測(cè)單元114等的外部請(qǐng)求提供給幀內(nèi)預(yù)測(cè)單元114。幀存儲(chǔ)器112將所存儲(chǔ)的解碼圖像通過選擇單元113以預(yù)定定時(shí)或基于如運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115等的外部請(qǐng)求提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115。
[0111]選擇單元113指示從幀存儲(chǔ)器113輸出的圖像的目的地。例如，在幀內(nèi)預(yù)測(cè)的情況下，選擇單元113從幀存儲(chǔ)器112讀取尚未濾波的圖像(重構(gòu)圖像)，并且將其作為周圍像素提供給幀內(nèi)預(yù)測(cè)單元114。
[0112]例如，在幀間預(yù)測(cè)的情況下，選擇單元113從幀存儲(chǔ)器112讀取經(jīng)濾波的圖像(解碼圖像)，并且將其作為參考圖像提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115。
[0113]當(dāng)幀內(nèi)預(yù)測(cè)單元114從幀存儲(chǔ)器112獲得處理目標(biāo)區(qū)域周圍的周圍區(qū)域的圖像(周圍圖像)時(shí)，幀內(nèi)預(yù)測(cè)單元114使用周圍圖像中的像素值通過基本地采用預(yù)測(cè)單元(PU)作為處理單元來進(jìn)行幀內(nèi)預(yù)測(cè)(畫面內(nèi)的預(yù)測(cè))以生成預(yù)測(cè)圖像。幀內(nèi)預(yù)測(cè)單元114以預(yù)先準(zhǔn)備的多個(gè)模式(幀內(nèi)預(yù)測(cè)模式)來執(zhí)行該幀內(nèi)預(yù)測(cè)。
[0114]幀內(nèi)預(yù)測(cè)單元114采用可以是候選的所有幀內(nèi)預(yù)測(cè)模式生成預(yù)測(cè)圖像，并且使用從畫面排序緩沖器102提供的輸入圖像來評(píng)估每個(gè)預(yù)測(cè)圖像的代價(jià)函數(shù)值，從而選擇最佳模式。當(dāng)選擇了最佳幀內(nèi)預(yù)測(cè)模式時(shí)，幀內(nèi)預(yù)測(cè)單元114將采用最佳模式生成的預(yù)測(cè)圖像提供給預(yù)測(cè)圖像選擇單元116。
[0115]幀內(nèi)預(yù)測(cè)單元114在必要時(shí)將包括表明最佳幀內(nèi)預(yù)測(cè)模式的信息的幀內(nèi)預(yù)測(cè)信息提供給無損編碼單元106，并且使得無損編碼單元106執(zhí)行編碼。
[0116]運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115使用從畫面排序緩沖器102提供的輸入圖像和從幀存儲(chǔ)器112提供的參考圖像來通過基本采用PU作為處理單元執(zhí)行運(yùn)動(dòng)預(yù)測(cè)(幀間預(yù)測(cè))，根據(jù)所檢測(cè)的運(yùn)動(dòng)向量來執(zhí)行運(yùn)動(dòng)補(bǔ)償處理并且生成預(yù)測(cè)圖像(幀間預(yù)測(cè)圖像信息)。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115采用預(yù)先準(zhǔn)備的多個(gè)模式(幀間預(yù)測(cè)模式)來執(zhí)行這樣的幀間預(yù)測(cè)。
[0117]運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115采用可以是候選的所有幀間預(yù)測(cè)模式來生成預(yù)測(cè)圖像并且對(duì)每個(gè)預(yù)測(cè)圖像的代價(jià)函數(shù)值進(jìn)行評(píng)估，從而選擇最佳模式。當(dāng)選擇了最佳幀間預(yù)測(cè)模式時(shí)，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115將采用最佳模式生成的預(yù)測(cè)圖像提供給預(yù)測(cè)圖像選擇單元116。
[0118]運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115將包括表明最佳幀間預(yù)測(cè)模式的信息的幀間預(yù)測(cè)信息提供給無損編碼單元106，并且使得無損編碼單元106執(zhí)行編碼。
[0119]預(yù)測(cè)圖像選擇單元116選擇提供給計(jì)算單元103和計(jì)算單元110的預(yù)測(cè)圖像的源。例如，在幀內(nèi)編碼的情況下，預(yù)測(cè)圖像選擇單元116選擇幀內(nèi)預(yù)測(cè)單元114作為預(yù)測(cè)圖像的源，并且將從幀內(nèi)預(yù)測(cè)單元114提供的預(yù)測(cè)圖像提供給計(jì)算單元103和計(jì)算單元110。例如，在幀間編碼的情況下，預(yù)測(cè)圖像選擇單元116選擇運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115作為預(yù)測(cè)圖像的源，并且將從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115提供的預(yù)測(cè)圖像提供給計(jì)算單元103和計(jì)算單元110。
[0120]速率控制單元117基于累積在累積緩沖器107中的編碼數(shù)據(jù)的代碼量控制量化單元105的量化操作的速率以免造成上溢(overflow)或下溢(underflow)。
[0121]權(quán)重預(yù)測(cè)單元121執(zhí)行關(guān)注于由運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115執(zhí)行的幀間預(yù)測(cè)模式下的權(quán)重預(yù)測(cè)的處理。權(quán)重模式確定單元122針對(duì)由權(quán)重預(yù)測(cè)單元121執(zhí)行的權(quán)重預(yù)測(cè)確定最佳模式。
[0122]權(quán)重預(yù)測(cè)單元121和權(quán)重模式確定單元122使用小于片段的單位作為處理單位來控制權(quán)重預(yù)測(cè)的模式。如此，圖像編碼設(shè)備100可以提高權(quán)重預(yù)測(cè)的預(yù)測(cè)精度，并且提高編碼效率。
[0123][1/4像素運(yùn)動(dòng)預(yù)測(cè)]
[0124]圖2是用于說明在AVC編碼方法中定義的1/4像素的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理的示例的圖。在圖2中，每個(gè)矩形代表像素。其中，A表示存儲(chǔ)在幀存儲(chǔ)器112中的整數(shù)精度像素的位置，并且b、C、d表示1/2像素的位置以及el、e2、e3表示1/4像素的位置。
[0125]在以下說明中，如在以下表達(dá)式(I)中所示來定義函數(shù)Clipl O。
[0126][數(shù)學(xué)表達(dá)式I]
[0127]
【權(quán)利要求】
1.一種圖像處理設(shè)備，包括: 權(quán)重模式確定單元，被配置成針對(duì)每個(gè)預(yù)定區(qū)域確定作為權(quán)重預(yù)測(cè)的模式的權(quán)重模式，在所述權(quán)重預(yù)測(cè)中，在使用權(quán)重系數(shù)給出權(quán)重的同時(shí)，執(zhí)行用于對(duì)圖像進(jìn)行編碼的幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理； 權(quán)重模式信息生成單元，被配置成針對(duì)每個(gè)所述區(qū)域生成權(quán)重模式信息，所述權(quán)重模式信息表示由所述權(quán)重模式確定單元確定的權(quán)重模式；以及 編碼單元，被配置成對(duì)由所述權(quán)重模式信息生成單元生成的所述權(quán)重模式信息進(jìn)行編碼。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述權(quán)重模式包括使用所述權(quán)重系數(shù)執(zhí)行所述幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理的權(quán)重開模式、和不使用所述權(quán)重系數(shù)執(zhí)行所述幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理的權(quán)重關(guān)模式。
3.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述權(quán)重模式包括使用所述權(quán)重系數(shù)并且在傳輸所述權(quán)重系數(shù)的顯式模式下執(zhí)行所述幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理的模式和使用所述權(quán)重系數(shù)并且在不傳輸所述權(quán)重系數(shù)的隱式模式下執(zhí)行所述幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理的模式。
4.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述權(quán)重模式包括使用互不相同的權(quán)重系數(shù)執(zhí)行所述幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理的多個(gè)權(quán)重開模式。
5.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述權(quán)重模式信息生成單元生成表示所述權(quán)重模式和幀間預(yù)測(cè)模式的組合的模式信息替代所述權(quán)重模式信息，所述幀間預(yù)測(cè)模式表示所述幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理的模式。
6.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括:限定單元，用于對(duì)所述權(quán)重模式信息生成單元生成所述權(quán)重模式信息的區(qū)域的尺寸進(jìn)行限定。
7.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述區(qū)域是所述幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理的處理單位的區(qū)域。
8.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述區(qū)域是最大編碼單位、編碼單位或預(yù)測(cè)單位。
9.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述編碼單元通過CABAC對(duì)所述權(quán)重模式信息進(jìn)行編碼。
10.一種圖像處理設(shè)備的圖像處理方法， 其中，權(quán)重模式確定單元針對(duì)每個(gè)預(yù)定區(qū)域確定作為權(quán)重預(yù)測(cè)的模式的權(quán)重模式，在所述權(quán)重預(yù)測(cè)中，在使用權(quán)重系數(shù)給出權(quán)重的同時(shí)，執(zhí)行用于對(duì)圖像進(jìn)行編碼的幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理； 權(quán)重模式信息生成單元針對(duì)每個(gè)所述區(qū)域生成權(quán)重模式信息，所述權(quán)重模式信息表示由所述權(quán)重模式確定單元確定的權(quán)重模式；以及 編碼單元對(duì)生成的所述權(quán)重模式信息進(jìn)行編碼。
11.一種圖像處理設(shè)備，包括: 解碼單元，被配置成對(duì)比特流進(jìn)行解碼，并提取包括在所述比特流中的權(quán)重模式信息，所述比特流是通過在圖像的編碼期間，針對(duì)每個(gè)預(yù)定區(qū)域確定作為權(quán)重預(yù)測(cè)的模式的權(quán)重模式，針對(duì)每個(gè)所述區(qū)域生成表示所述權(quán)重模式的權(quán)重模式信息，并與所述圖像一起編碼獲得的，其中，在所述權(quán)重預(yù)測(cè)中，在使用權(quán)重系數(shù)給出權(quán)重的同時(shí)，執(zhí)行幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理；以及 運(yùn)動(dòng)補(bǔ)償單元，被配置成通過在通過所述解碼單元的解碼而提取的所述權(quán)重模式信息中指示的權(quán)重模式下執(zhí)行運(yùn)動(dòng)補(bǔ)償處理來生成預(yù)測(cè)圖像。
12.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，其中，所述權(quán)重模式包括使用所述權(quán)重系數(shù)執(zhí)行所述運(yùn)動(dòng)補(bǔ)償處理的權(quán)重開模式和不使用所述權(quán)重系數(shù)執(zhí)行所述運(yùn)動(dòng)補(bǔ)償處理的權(quán)重關(guān)模式。
13.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，其中，所述權(quán)重模式包括:使用所述權(quán)重系數(shù)在傳輸所述權(quán)重系數(shù)的顯式模式下執(zhí)行所述運(yùn)動(dòng)補(bǔ)償處理的模式；以及使用所述權(quán)重系數(shù)在不傳輸所述權(quán)重系數(shù)的隱式模式下執(zhí)行所述運(yùn)動(dòng)補(bǔ)償處理的模式。
14.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，其中，所述權(quán)重模式包括使用互不相同的權(quán)重系數(shù)執(zhí)行所述運(yùn)動(dòng)補(bǔ)償處理的多個(gè)權(quán)重開模式。
15.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，其中，在不傳輸所述權(quán)重系數(shù)的隱式模式的情況下，所述圖像處理設(shè)備還包括被配置成計(jì)算所述權(quán)重系數(shù)的權(quán)重系數(shù)計(jì)算單元。
16.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，還包括:限定信息獲取單元，被配置成獲取對(duì)存在權(quán)重模式信息的區(qū)域的尺寸進(jìn)行限定的限定信息。
17.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，其中，所述區(qū)域是所述幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理的處理單位的區(qū)域。
18.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，其中，所述區(qū)域是最大編碼單位、編碼單位或預(yù)測(cè)單位。
19.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，其中，包括所述權(quán)重模式信息的比特流通過CABAC來編碼，并且所述解碼單元通過CABAC對(duì)所述比特流進(jìn)行解碼。
20.一種用于圖像處理設(shè)備的圖像處理方法，包括: 使解碼單元對(duì)比特流進(jìn)行解碼并且提取包括在所述比特流中的權(quán)重模式信息，所述比特流是通過在圖像的編碼期間，針對(duì)每個(gè)預(yù)定區(qū)域確定作為權(quán)重預(yù)測(cè)的模式的權(quán)重模式，針對(duì)每個(gè)所述區(qū)域生成表示所述權(quán)重模式的權(quán)重模式信息，并與所述圖像一起編碼獲得的，其中，在所述權(quán)重預(yù)測(cè)中，在使用權(quán)重系數(shù)給出權(quán)重的同時(shí)，執(zhí)行幀間運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理；以及 使運(yùn)動(dòng)補(bǔ)償單元通過在通過解碼提取的所述權(quán)重模式信息中指示的權(quán)重模式下執(zhí)行運(yùn)動(dòng)補(bǔ)償處理來生成預(yù)測(cè)圖像。
【文檔編號(hào)】H04N19/567GK103548355SQ201280022773
【公開日】2014年1月29日 申請(qǐng)日期:2012年5月11日 優(yōu)先權(quán)日:2011年5月18日
【發(fā)明者】佐藤數(shù)史 申請(qǐng)人:索尼公司