圖像解碼設(shè)備、圖像解碼方法、圖像編碼設(shè)備和圖像編碼方法
【專利摘要】實(shí)現(xiàn)使得能夠通過使用瓦片分割來進(jìn)行部分解碼的方案。提供了一種圖像解碼設(shè)備，包括如下單元：獲取單元，用于從通過將圖像分割為多個瓦片而編碼的編碼流中獲取指示哪個瓦片是目標(biāo)區(qū)域瓦片的第一參數(shù)；以及解碼單元，基于由所述獲取單元獲取的所述第一參數(shù)，解碼目標(biāo)區(qū)域瓦片和非目標(biāo)區(qū)域瓦片中的至少一個。
【專利說明】
圖像解碼設(shè)備、圖像解碼方法、圖像編碼設(shè)備和圖像編碼方法

【技術(shù)領(lǐng)域】
[0001]本公開內(nèi)容涉及圖像解碼設(shè)備、圖像解碼方法、圖像編碼設(shè)備和編碼方法。

【背景技術(shù)】
[0002]為了提高超過H.264/AVC的編碼效率，由JCTVC(聯(lián)合協(xié)作小組-視頻編碼)(ITU-T和IS0/IEC的聯(lián)合標(biāo)準(zhǔn)化組織)制定的被稱為HEVC (高效視頻編碼)的圖像編碼方案的標(biāo)準(zhǔn)化當(dāng)前正在進(jìn)行中。對于HEVC標(biāo)準(zhǔn)，在2012年2月頒布了作為第一草案說明書的委員會草案(例如參見下面的非專利文獻(xiàn)I)。
[0003]在HEVC的標(biāo)準(zhǔn)化中，提出了將圖像分割為多個瓦片(tile)并對每個瓦片執(zhí)行編碼處理和解碼處理的方法(例如參見下面的非專利文獻(xiàn)2)。瓦片分割使得能夠輕松地執(zhí)行高級并行處理、以及與傳輸?shù)木幋a流的MTU(最大傳輸單位)尺寸的匹配，其中該高級并行處理被執(zhí)行以提高要執(zhí)行的處理速度。
[0004]引用列表
[0005]非專利文獻(xiàn)
[0006]非專利文獻(xiàn)1:Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, GaryJ.Sullivan, Thomas Wiegand, 〃High efficiency video coding (HEVC) text specificat1ndraft 6"(JCTVC-H1003ver20, 2012 年 2 月 17 日)
[0007]非專利文獻(xiàn)2:Arild Fuldseth, Michael Horowitz, Shilin Xu, AndrewSegall1Minhua Zhou, "Tiles" (JCTVC-F335，6th Meeting: Torino, IT，2011 年7 月 14 日至22曰)


【發(fā)明內(nèi)容】

[0008]技術(shù)問題
[0009]當(dāng)引入了 HEVC方案時，可以以高編碼效率來壓縮高分辨率圖像，以便可以傳輸或累積經(jīng)過壓縮的圖像。然而，所有終端不一定都具有處理高分辨率圖像的能力。相應(yīng)地，為了向具有高能力的終端提供高分辨率圖像并向具有相對低能力的終端提供低分辨率圖像，實(shí)現(xiàn)所謂的部分解碼是有利的。前述瓦片分割對于部分解碼而言可以說是適當(dāng)?shù)模驗(yàn)榉謩e地逐個瓦片地執(zhí)行解碼處理。然而，還沒有提出使得能夠使用瓦片分割進(jìn)行部分解碼的結(jié)構(gòu)。
[0010]問題的解決方案
[0011]根據(jù)本公開內(nèi)容，提供了一種圖像解碼設(shè)備，包括:獲取部分，被配置為從通過將圖像分割為多個瓦片而編碼的編碼流中獲取指示哪個瓦片是關(guān)注區(qū)域瓦片的第一參數(shù)；以及解碼部分，被配置為基于由所述獲取部分獲取的第一參數(shù)，解碼所述圖像的所述關(guān)注區(qū)域瓦片和非關(guān)注區(qū)域瓦片中的至少一個。
[0012]另外，根據(jù)本公開內(nèi)容，提供了一種圖像解碼方法，包括:從通過將圖像分割為多個瓦片而編碼的編碼流中獲取指示哪個瓦片是關(guān)注區(qū)域瓦片的第一參數(shù)；以及基于獲取的第一參數(shù)，解碼所述圖像的所述關(guān)注區(qū)域瓦片和非關(guān)注區(qū)域瓦片中的至少一個。
[0013]另外，根據(jù)本公開內(nèi)容，提供了一種圖像編碼設(shè)備，包括:分割部分，被配置為將圖像分割為包括關(guān)注區(qū)域瓦片的多個瓦片；以及編碼部分，被配置為將指示哪個瓦片是所述關(guān)注區(qū)域瓦片的第一參數(shù)插入到通過針對所述瓦片中的每個瓦片編碼所述圖像而生成的編碼流中。
[0014]另外，根據(jù)本公開內(nèi)容，提供了一種圖像編碼方法，包括:將圖像分割為包括關(guān)注區(qū)域瓦片的多個瓦片；以及將指示哪個瓦片是所述關(guān)注區(qū)域瓦片的第一參數(shù)插入到通過針對所述瓦片中的每個瓦片編碼所述圖像而生成的編碼流中。
[0015]發(fā)明的有益效果
[0016]根據(jù)本公開內(nèi)容中的技術(shù)，通過使用瓦片分割，實(shí)現(xiàn)了使得能夠進(jìn)行部分解碼的結(jié)構(gòu)。

【專利附圖】

【附圖說明】
[0017][圖1]圖1是示出瓦片分割的示例的說明圖。
[0018][圖2]圖2是示出在相關(guān)技術(shù)的方法中對瓦片施加的參考關(guān)系的約束的說明圖。
[0019][圖3A]圖3A是示出可以在實(shí)施例中設(shè)置的ROI(關(guān)注區(qū)域)瓦片的第一示例的說明圖。
[0020][圖3B]圖3B是示出可以在實(shí)施例中設(shè)置的ROI瓦片的第二示例的說明圖。
[0021][圖4]圖4是示出在一個實(shí)施例中對瓦片施加的參考關(guān)系的約束的說明圖。
[0022][圖5]圖5是示出在圖像中設(shè)置ROI瓦片的方法的示例的說明圖。
[0023][圖6A]圖6A是示出ROI瓦片的第三示例的說明圖。
[0024][圖6B]圖6B是示出ROI瓦片的第四示例的說明圖。
[0025][圖7]圖7是示出根據(jù)第一實(shí)施例的圖像編碼設(shè)備的配置的示例的框圖。
[0026][圖8]圖8是示出瓦片分割部分的詳細(xì)配置的示例的框圖。
[0027][圖9]圖9是示出可以在第一實(shí)施例中生成的編碼流的配置的示例的說明圖。
[0028][圖10]圖10是示出根據(jù)第一實(shí)施例的在編碼時的處理流的示例的流程圖。
[0029][圖11]圖11是示出瓦片分割處理的詳細(xì)流程的示例的流程圖。
[0030][圖12]圖12是示出根據(jù)第一實(shí)施例的圖像解碼設(shè)備的配置的示例的框圖。
[0031][圖13]圖13是示出根據(jù)第一實(shí)施例的在解碼時的處理流的示例的流程圖。
[0032][圖14]圖14是示出根據(jù)第二實(shí)施例的圖像編碼設(shè)備的整體配置的示例的框圖。
[0033][圖15]圖15是示出圖14中所示出的第一編碼部分的配置的示例的框圖。
[0034][圖16]圖16是示出圖14中所示出的第二編碼部分的配置的示例的框圖。
[0035][圖17]圖17是示出可以在第二實(shí)施例中生成的多路復(fù)用流的配置的示例的說明圖。
[0036][圖18]圖18是示出根據(jù)第二實(shí)施例的在編碼時的處理流的示例的流程圖。
[0037][圖19]圖19是示出根據(jù)第二實(shí)施例的圖像解碼設(shè)備的整體配置的示例的框圖。
[0038][圖20]圖20是示出圖19中所示出的第一解碼部分的配置的示例的框圖。
[0039][圖21]圖21是示出圖19中所示出的第二解碼部分的配置的示例的框圖。
[0040][圖22]圖22是示出根據(jù)第二實(shí)施例的在解碼時的處理流的示例的流程圖。
[0041][圖23]圖23是示出電視機(jī)的示意性配置的示例的框圖。
[0042][圖24]圖24是示出移動電話的示意性配置的示例的框圖。
[0043][圖25]圖25是示出記錄/再現(xiàn)設(shè)備的示意性配置的示例的框圖。
[0044][圖26]圖26是示出圖像拍攝設(shè)備的示意性配置的示例的框圖。

【具體實(shí)施方式】
[0045]下文中，將參考各個附圖來詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。注意，在本說明書和附圖中，具有基本上相同的功能和結(jié)構(gòu)的元件將用相同的參考符號來表示，并省略重復(fù)的說明。
[0046]將按下列順序來進(jìn)行描述。
[0047]1.概要
[0048]1-1.瓦片分割的結(jié)構(gòu)
[0049]1-2.ROI (關(guān)注區(qū)域)瓦片的引入
[0050]1-3.基于ROI檢測的瓦片分割[0051 ] 1-4.ROI瓦片中的變化
[0052]2.第一實(shí)施例
[0053]2-1.編碼器的配置的示例
[0054]2-2.流的配置的示例
[0055]2-3.編碼時的處理流
[0056]2-4.解碼器的配置的示例
[0057]2-5.解碼時的處理流
[0058]3.第二實(shí)施例
[0059]3-1.編碼器的配置的示例
[0060]3-2.流的配置的示例[0061 ] 3~3.編碼時的處理流
[0062]3-4.解碼器的配置的示例
[0063]3-5.解碼時的處理流
[0064]4.應(yīng)用示例
[0065]5.結(jié)論
[0066]〈1.概要 >
[0067][1-1.瓦片分割的結(jié)構(gòu)]
[0068]根據(jù)上面的非專利文獻(xiàn)2中所描述的瓦片分割的結(jié)構(gòu)，允許一個圖片被分割為多個矩形瓦片。瓦片尺寸在圖片中可以是均勻的，或者可以是不均勻的。瓦片分割是根據(jù)瓦片列的數(shù)量、瓦片行的數(shù)量、每個瓦片列的寬度、以及每個瓦片行的高度而確定的。當(dāng)瓦片尺寸是均勻的時候，瓦片列的數(shù)量以及瓦片行的數(shù)量是在SPS(序列參數(shù)集)或PPS(圖片參數(shù)集)中指定的。在此情況下，可以通過將圖片的寬度和高度分別除以瓦片列的數(shù)量和瓦片行的數(shù)量，確定瓦片列的寬度和瓦片行的高度。當(dāng)瓦片尺寸是不均勻的時候，除SPS或PPS中的瓦片列的數(shù)量和瓦片行的數(shù)量之外，還指定每個瓦片列的寬度和每個瓦片行的高度。還在SPS或PPS中指定指示瓦片尺寸是否是均勻的標(biāo)志。一個切片可以包括至少一個瓦片。
[0069]圖1是示出瓦片分割的示例的說明圖。參考圖1，圖片PICO被分割為具有不均勻的尺寸的9個瓦片Ttltl到1；8。左上瓦片Ttltl包括4X3 = 12個IXU0XU1到IXU12)。中上瓦片 T01 包括 6X3 = 18 個 LCU(LCU13 到 LCU30)。右上瓦片 T02 包括 3X3 = 9 個 LCU(LCU31到IXU39)。中左瓦片=16個IXU。中間瓦片Ttl4包括6X4 = 24個IXU。中右瓦片Ttl5包括3X4 = 12個IXU。左下瓦片Ttl6包括4X3 = 12個IXU。中下瓦片Ttl7包括6X3 = 18個LCU。右下瓦片T08包括3X3 = 9個LCU。
[0070]按光柵掃描順序處理每個瓦片中的IXU (最大編碼單位)。例如，按附加到IXU的編號的增加的順序處理瓦片Tcitl中的12個IXU。原則上按光柵掃描順序處理圖片中的瓦片。然而，由于在幀內(nèi)預(yù)測中禁止瓦片之間的參考，因此，可以并行地解碼相同圖片中的多個瓦片。例如，可以根據(jù)諸如解碼器的并行處理性能或要被傳輸?shù)木幋a流的MTU尺寸之類的條件，確定瓦片尺寸。
[0071]圖2是示出在相關(guān)技術(shù)的方法中對瓦片施加的參考關(guān)系的約束的說明圖。參考圖2，示出了作為編碼(解碼)目標(biāo)圖像的圖片PICO和作為圖片PICO的參考圖像的圖片PIClo圖片PICO被分割為包括瓦片Ttl4的多個瓦片。圖片PICl也被分割為多個瓦片。當(dāng)在瓦片Ttl4中以PU(預(yù)測單位)執(zhí)行幀內(nèi)預(yù)測時，圖片PICO中的其他瓦片的像素被禁止用作參考像素(箭頭Rai和Ra2)。同一個瓦片中的像素被允許用作參考像素(箭頭Ra3)。對瓦片末尾的I3U施加與被施加于切片末尾的I3U的約束相同的預(yù)測模式約束。然而，與切片相t匕，瓦片通常具有更接近于正方形的形狀。因此，通過使用瓦片而并非切片，減輕了由于預(yù)測模式的約束而導(dǎo)致的預(yù)測準(zhǔn)確度的劣化。當(dāng)執(zhí)行幀間預(yù)測時，圖片PICl的某一瓦片的像素也被允許用作參考像素(箭頭Rbi)。
[0072]順便說一句，視頻內(nèi)容的分辨率每年都有增大。HEVC方案是適用于以高編碼效率進(jìn)行高分辨率圖像的壓縮的圖像編碼方案。然而，所有的當(dāng)前所使用的終端和將來要使用的終端不一定都具有處理高分辨率圖像的能力。例如，過高的分辨率對于具有低處理性能處理器的終端、通過具有窄帶寬的通信信道接收圖像的終端、或包括具有低分辨率的顯示器的終端相當(dāng)不利。因此，為了向具有高能力的終端提供高分辨率圖像并向具有相對低的能力的終端提供低分辨率圖像，實(shí)現(xiàn)所謂的部分解碼是有利的。瓦片分割對于部分解碼是適當(dāng)?shù)?，因?yàn)榉謩e地逐個瓦片地執(zhí)行解碼過程。因此，在本公開內(nèi)容中的技術(shù)通過使用上文所描述的瓦片分割，提供使得能夠進(jìn)行部分解碼的結(jié)構(gòu)。
[0073][1-2.ROI (關(guān)注區(qū)域)瓦片的引入]
[0074]在本說明書中，整個圖像中的通過部分解碼而解碼的區(qū)域被稱為ROI (關(guān)注區(qū)域)。圖像中的除ROI之外的區(qū)域被稱為非ROI (非關(guān)注區(qū)域)。ROI—般是指在圖像的單個使用中被特別聚焦的區(qū)域。例如，在監(jiān)視攝像機(jī)視頻的使用中，可以將圖像中檢測到的人物區(qū)域設(shè)置為R0I。另外，在視頻會議的使用中，可以將圖像中檢測到的發(fā)言者區(qū)域設(shè)置為ROI。
[0075]在本公開內(nèi)容的技術(shù)中，根據(jù)在圖像中設(shè)置的ROI的位置，確定瓦片分割。作為一個示例，參考圖3A，在圖片PIC2的中間設(shè)置通過對角線畫陰影線的矩形R0I。沿著ROI的邊緣形成瓦片邊界。結(jié)果，圖片PIC2被分割為9個瓦片T2tl到T28。瓦片T24是ROI瓦片。瓦片T2tl到T23和T25到T28是非ROI瓦片。作為另一個示例，參考圖3B，通過對角線畫陰影線的矩形ROI被設(shè)置為與圖片PIC3的左下角接觸。沿著ROI的邊緣形成瓦片邊界。結(jié)果，圖片PIC3被分割為4個瓦片T3tl到T33。瓦片T32是ROI瓦片。瓦片T3(1、T31和T33是非ROI瓦片。
[0076]在本公開內(nèi)容的技術(shù)中，為了僅部分解碼ROI瓦片，對瓦片施加新參考關(guān)系的約束。
[0077]圖4是示出在一個實(shí)施例中對瓦片施加的參考關(guān)系的約束的說明圖。參考圖4，示出了作為編碼(解碼)目標(biāo)圖像的圖片PICO和作為圖片PICO的參考圖像的圖片PIC4。圖片PICO被分割為包括瓦片Ttl4的多個瓦片。瓦片Ttl4是圖片PICO的ROI瓦片。圖片PIC4被分割為包括瓦片T43的多個瓦片。瓦片T43是圖片PIC4的ROI瓦片。當(dāng)在ROI瓦片Ttl4中以PU執(zhí)行幀內(nèi)預(yù)測時，圖片PICO中的非ROI瓦片的像素被禁止用作參考像素(箭頭Rai)。同樣，ROI瓦片中的像素被允許用作參考像素(箭頭Ra3)。當(dāng)在ROI瓦片Ttl4中以PU執(zhí)行幀間預(yù)測時，圖片PIC4中的非ROI瓦片的像素被禁止用作參考像素(箭頭Rbi)。圖片PIC4中的ROI瓦片T43的像素被允許用作參考像素(箭頭Rb2)。
[0078]對非ROI瓦片施加的參考關(guān)系的約束可以與參考圖2所描述的相關(guān)技術(shù)的方法相同。即，當(dāng)在非ROI瓦片中以PU執(zhí)行幀內(nèi)預(yù)測時，其他瓦片的像素被禁止用作參考像素，而同一瓦片的像素被允許用作參考像素。當(dāng)在非ROI瓦片中以PU執(zhí)行幀間預(yù)測時，參考圖像的ROI瓦片和非ROI瓦片兩者的像素被允許用作參考像素。
[0079]通過引入上文所描述的對ROI瓦片的約束，當(dāng)解碼器解碼ROI瓦片時，解碼器根本不參考非ROI瓦片。結(jié)果，可以從編碼流解碼僅顯示ROI瓦片的一系列部分圖像。下面將詳細(xì)地描述能夠執(zhí)行這樣的部分解碼的編碼器和解碼器的兩個實(shí)施例。
[0080][1-3.基于ROI的檢測的瓦片分割]
[0081]圖5是示出在圖像中設(shè)置ROI瓦片的方法的示例的說明圖。參考圖5的左上部分，在編碼目標(biāo)圖像PICO中拍攝了人物。例如，通過向編碼目標(biāo)圖像PICO應(yīng)用相關(guān)技術(shù)的人物檢測方法(諸如特征量匹配方法、背景微分提取方法或膚色區(qū)域提取方法)來識別人物。在圖5的示例中，將作為人物檢測處理的結(jié)果檢測到的人物區(qū)域RGl設(shè)置為ROI (關(guān)注區(qū)域)。根據(jù)所設(shè)置的ROI的位置，確定瓦片分割。例如，可以分割圖像，使得矩形ROI的上、下、右和左邊緣與瓦片邊界一致?？梢哉{(diào)整瓦片邊界的位置，使得ROI瓦片的尺寸在多個圖像中相同。參考圖5的右下部分，編碼目標(biāo)圖像PICO被分割為9個瓦片，使得人物區(qū)域RGl的邊緣與瓦片邊界一致。
[0082][1-4.ROI瓦片中的變化]
[0083]上文主要描述了在一個圖像中設(shè)置一個ROI瓦片的示例。然而，本公開內(nèi)容的實(shí)施例不限于這些示例，并且可以在一個圖像中設(shè)置多個ROI瓦片。
[0084]參考圖6Α，圖片PIC5被分割為9個瓦片T50到T58。瓦片T53和T55是ROI瓦片。瓦片T5tl到Τ52、Τ54、和T56到T58是非ROI瓦片。如此，可以在一個圖像中設(shè)置兩個或更多個相互獨(dú)立的ROI瓦片。為了識別某一圖片的哪個ROI對應(yīng)于隨后的圖片的哪個R0I，可以貫穿多個圖像跟蹤每個R0I。當(dāng)在ROI瓦片中以I3U執(zhí)行幀內(nèi)預(yù)測時，同一個圖片中的其他ROI瓦片的像素被禁止用作參考像素。當(dāng)在ROI瓦片中以執(zhí)行幀間預(yù)測時，對應(yīng)于參考圖像的ROI瓦片的像素被允許用作參考像素，而參考圖像的其他ROI瓦片和非ROI瓦片的像素被禁止用作參考像素。
[0085]參考圖6B，圖片PIC6被分割為包括ROI瓦片T6tl到T65的15個瓦片。ROI瓦片T64是第一級別ROI瓦片。ROI瓦片T6tl到T63、和T65是第二級別ROI瓦片。第一級別ROI瓦片對應(yīng)于在圖像的單個使用中被最大限度地聚焦的區(qū)域。第二級別ROI瓦片對應(yīng)于比包圍第一級別ROI的區(qū)域更寬的區(qū)域。如此，可以在一個圖像中設(shè)置與具有不同區(qū)域的多個級別的ROI對應(yīng)的ROI瓦片。例如，第一級別ROI可以是人物的面部區(qū)域，而第二級別ROI可以是人物的整個身體的區(qū)域。當(dāng)在ROI瓦片中以執(zhí)行幀間預(yù)測時，具有與參考圖像相同級別或比參考圖像更高的級別的ROI瓦片的像素被允許用作參考圖像，而較低級別的ROI瓦片和非ROI瓦片的像素被禁止用作參考像素。
[0086]在要在隨后的部分中描述的兩個實(shí)施例中，為描述的簡潔起見，假設(shè)在一個圖像中設(shè)置一個最聞的ROI瓦片。
[0087]<2.第一實(shí)施例>
[0088]在第一實(shí)施例中，假設(shè)在一個編碼流中編碼ROI瓦片和非ROI瓦片兩者。
[0089][2-1.編碼器的配置的示例]
[0090](I)總體配置
[0091]圖7是示出根據(jù)第一實(shí)施例的圖像編碼設(shè)備I的配置的示例的框圖。參考圖7，圖像編碼設(shè)備I包括排序緩沖器11、瓦片分割部分12、減法部分13、正交變換部分14、量化部分15、無損編碼部分16、累積緩沖器17、速率控制部分18、逆量化部分21、逆正交變換部分
22、加法部分23、去塊濾波器24、幀存儲器25、選擇器26和27、幀內(nèi)預(yù)測部分30、幀間預(yù)測部分35、以及預(yù)測控制部分40。
[0092]將具有數(shù)字格式的一系列原始圖像數(shù)據(jù)輸入到排序緩沖器11。原始圖像數(shù)據(jù)中所包括的每個圖像都是編碼目標(biāo)圖像。排序緩沖器11根據(jù)GOP(圖片組)結(jié)構(gòu)，按編碼/解碼順序排序原始圖像中所包括的圖像。然后，排序緩沖器11將其中編碼目標(biāo)圖像按照排序之后的順序排列的原始圖像數(shù)據(jù)輸出到減法部分13、幀內(nèi)預(yù)測部分30、以及幀間預(yù)測部分35。
[0093]瓦片分割部分12將輸入到排序緩沖器11的編碼目標(biāo)圖像分割為包括ROI (關(guān)注區(qū)域)瓦片的多個瓦片。例如，瓦片分割部分12可以在每個圖像中設(shè)置R0I，并根據(jù)所設(shè)置的ROI的位置來確定瓦片分割。瓦片分割部分12可以根據(jù)圖像的用途，在圖像中設(shè)置任何類型的R0I。例如，瓦片分割部分12可以對每個圖像執(zhí)行人物檢測，并將檢測到的人物區(qū)域設(shè)置為R0I。瓦片分割部分12生成指示如何分割每個圖像以及哪個瓦片是ROI瓦片的瓦片參數(shù)。然后，瓦片分割部分12將所生成的瓦片參數(shù)輸出到無損編碼部分16、幀內(nèi)預(yù)測部分
30、幀間預(yù)測部分35、以及預(yù)測控制部分40。稍后將進(jìn)一步描述瓦片分割部分12的詳細(xì)配置的示例。
[0094]從排序緩沖器11輸入的原始圖像數(shù)據(jù)以及稍后要描述的預(yù)測圖像數(shù)據(jù)被提供給減法部分13。減法部分13計算預(yù)測誤差數(shù)據(jù)，該預(yù)測誤差數(shù)據(jù)是原始圖像數(shù)據(jù)和預(yù)測圖像數(shù)據(jù)之間的差，并將計算出的預(yù)測誤差數(shù)據(jù)輸出到正交變換部分14。
[0095]正交變換部分14對從減法部分13輸入的預(yù)測誤差數(shù)據(jù)執(zhí)行正交變換。由正交變換部分14執(zhí)行的正交變換例如可以是DCT(離散余弦變換)或卡南洛維(Karhunen-Loeve)變換。正交變換部分14將通過正交變換處理獲取的變換系數(shù)數(shù)據(jù)輸出到量化部分15。
[0096]從正交變換部分14輸入的變換系數(shù)數(shù)據(jù)和稍后描述的來自速率控制部分18的速率控制信號被提供給量化部分15。量化部分15量化變換系數(shù)數(shù)據(jù)，并將已經(jīng)被量化的變換系數(shù)數(shù)據(jù)(在下文中被稱為為經(jīng)過量化的數(shù)據(jù))輸出到無損編碼部分16和逆量化部分
21。此外，量化部分15基于來自速率控制部分18的速率控制信號，切換量化參數(shù)(量化比例)，由此更改輸入到無損編碼部分16的經(jīng)過量化的數(shù)據(jù)的比特率。
[0097]從量化部分15輸入的經(jīng)過量化的數(shù)據(jù)和要被插入到編碼流的頭部區(qū)域中的各種參數(shù)被提供給無損編碼部分16。提供給無損編碼部分16的參數(shù)可包括由瓦片分割部分12生成的瓦片參數(shù)、關(guān)于由幀內(nèi)預(yù)測部分30生成的幀內(nèi)預(yù)測的信息、以及關(guān)于由幀間預(yù)測部分35生成的幀間預(yù)測的信息。無損編碼部分16對每個瓦片的經(jīng)過量化的數(shù)據(jù)執(zhí)行無損編碼處理，以生成編碼流。由無損編碼部分16執(zhí)行的無損編碼例如可以是可變長度編碼或算術(shù)編碼。無損編碼部分16將包括瓦片參數(shù)的各種參數(shù)插入到編碼流的頭部區(qū)域中。然后，無損編碼部分16將所生成的編碼流輸出到累積緩沖器17。
[0098]累積緩沖器17使用諸如半導(dǎo)體存儲器之類的存儲介質(zhì)，臨時累積從無損編碼部分16輸入的編碼流。然后，累積緩沖器17以符合傳輸路徑(或來自圖像編碼設(shè)備I的輸出線)的帶寬的速率輸出累積的編碼流。
[0099]速率控制部分18監(jiān)視累積緩沖器17的空閑空間。然后，速率控制部分18根據(jù)累積緩沖器17上的空閑空間，生成速率控制信號，并將所生成的速率控制信號輸出到量化部分15。例如，當(dāng)在累積緩沖器17上沒有大量的空閑空間時，速率控制部分18生成用于降低經(jīng)過量化的數(shù)據(jù)的比特率的速率控制信號。此外，例如，當(dāng)累積緩沖器17上的空閑空間充分大時，速率控制部分18生成用于提高經(jīng)過量化的數(shù)據(jù)的比特率的速率控制信號。
[0100]逆量化部分21對從量化部分15輸入的經(jīng)過量化的數(shù)據(jù)執(zhí)行逆量化處理。然后，逆量化部分21將通過逆量化處理獲取的變換系數(shù)數(shù)據(jù)輸出到逆正交變換部分22。
[0101]逆正交變換部分22對從逆量化部分21輸入的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換處理，由此恢復(fù)預(yù)測誤差數(shù)據(jù)。然后，逆正交變換部分22將恢復(fù)的預(yù)測誤差數(shù)據(jù)輸出到加法部分23。
[0102]加法部分23將從逆正交變換部分22輸入的恢復(fù)的預(yù)測誤差數(shù)據(jù)與從選擇器27輸入的預(yù)測圖像數(shù)據(jù)相加，由此生成解碼圖像數(shù)據(jù)(也被稱為重建的圖像數(shù)據(jù))。然后，力口法部分23將所生成的解碼圖像數(shù)據(jù)輸出到去塊濾波器24和幀存儲器25。
[0103]去塊濾波器24執(zhí)行用于降低在對圖像編碼時發(fā)生的塊失真的濾波處理。去塊濾波器24進(jìn)行濾波以去除塊失真，并將在濾波之后從中去除了塊失真的解碼圖像數(shù)據(jù)輸出到幀存儲器25。
[0104]幀存儲器25使用存儲介質(zhì)，存儲從加法部分23輸入的解碼圖像數(shù)據(jù)和從去塊濾波器24輸入的濾波之后的解碼圖像數(shù)據(jù)。
[0105]選擇器26從幀存儲器25中讀取用于幀內(nèi)預(yù)測的濾波之前的解碼圖像數(shù)據(jù)，并將讀取的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)提供到幀內(nèi)預(yù)測部分30。選擇器26從幀存儲器25中讀取用于幀間預(yù)測的濾波之后的解碼圖像數(shù)據(jù)，并將讀取的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)提供到幀間預(yù)測部分35。
[0106]選擇器27在幀內(nèi)預(yù)測模式和幀間預(yù)測模式之間切換。在幀內(nèi)預(yù)測模式下，選擇器27將從幀內(nèi)預(yù)測部分30輸入的預(yù)測圖像數(shù)據(jù)輸出到減法部分13和加法部分23，并將關(guān)于幀內(nèi)預(yù)測的信息輸出到無損編碼部分16。在幀間預(yù)測模式下，選擇器27將從幀間預(yù)測部分35輸入的預(yù)測圖像數(shù)據(jù)輸出到減法部分13和加法部分23，并將關(guān)于幀間預(yù)測的信息輸出到無損編碼部分16。例如，選擇器27可以根據(jù)成本函數(shù)值的大小，在幀內(nèi)預(yù)測模式和幀間預(yù)測模式之間切換。
[0107]幀內(nèi)預(yù)測部分30基于從排序緩沖器11輸入的原始圖像數(shù)據(jù)和從選擇器26提供的解碼圖像數(shù)據(jù)執(zhí)行幀內(nèi)預(yù)測處理。例如，幀內(nèi)預(yù)測部分30使用預(yù)定的成本函數(shù)，評估多個預(yù)測模式的預(yù)測結(jié)果，并選擇成本函數(shù)值最小的預(yù)測模式作為最佳預(yù)測模式。幀內(nèi)預(yù)測部分30生成關(guān)于幀內(nèi)預(yù)測的信息，包括指示所選最佳預(yù)測模式的預(yù)測模式信息。然后，幀內(nèi)預(yù)測部分30將關(guān)于幀內(nèi)預(yù)測的信息、預(yù)測的圖像數(shù)據(jù)、以及成本函數(shù)值輸出到選擇器27。
[0108]幀間預(yù)測部分35基于從排序緩沖器11輸入的原始圖像數(shù)據(jù)和從選擇器26提供的解碼圖像數(shù)據(jù)執(zhí)行幀間預(yù)測處理。例如，幀間預(yù)測部分35使用預(yù)定的成本函數(shù)，評估多個預(yù)測模式的預(yù)測結(jié)果，并選擇成本函數(shù)值最小的預(yù)測模式作為最佳預(yù)測模式。幀間預(yù)測部分35生成關(guān)于幀間預(yù)測的信息，包括指示所選最佳預(yù)測模式的預(yù)測模式信息、運(yùn)動向量信息、以及參考圖像信息。然后，幀間預(yù)測部分35將關(guān)于幀間預(yù)測的信息、預(yù)測圖像數(shù)據(jù)、以及成本函數(shù)值輸出到選擇器27。
[0109]預(yù)測控制部分40控制對幀內(nèi)預(yù)測和幀間預(yù)測施加的參考關(guān)系的約束。例如，預(yù)測控制部分40控制幀內(nèi)預(yù)測部分30，使得當(dāng)以每個執(zhí)行幀內(nèi)預(yù)測時不參考與所屬的瓦片不同的瓦片。當(dāng)參考圖像不包括ROI瓦片時，預(yù)測控制部分40不使得幀間預(yù)測部分35在編碼目標(biāo)圖像的ROI瓦片中以執(zhí)行幀間預(yù)測。
[0110]例如，當(dāng)在ROI瓦片中以執(zhí)行幀間預(yù)測時，預(yù)測控制部分40控制幀間預(yù)測部分35，使得不參考參考圖像的非ROI瓦片。另一方面，當(dāng)在非ROI瓦片中以每個執(zhí)行幀間預(yù)測時，預(yù)測控制部分40可以使得幀間預(yù)測部分35參考參考圖像的任何瓦片，而不管參考圖像的任何瓦片是否是ROI瓦片。
[0111]當(dāng)在ROI瓦片中以PU執(zhí)行幀間預(yù)測時，幀間預(yù)測部分35可以根據(jù)參考圖像的ROI瓦片的位置使運(yùn)動向量信息偏移。這里，例如，偏移量可以對應(yīng)于編碼目標(biāo)圖像的ROI瓦片的左上端的位置和參考圖像的ROI瓦片的左上端的位置之間的差。通過如此使運(yùn)動向量信息偏移，可以減少ROI從運(yùn)動向量信息的運(yùn)動并降低運(yùn)動向量信息的編碼量。因此，可以改善編碼效率。
[0112](2)瓦片分割部分的詳細(xì)配置
[0113]圖8是示出瓦片分割部分12的詳細(xì)配置的示例的框圖。參考圖8，瓦片分割部分12包括ROI尺寸設(shè)置部分122、人物檢測部分124以及瓦片參數(shù)生成部分126。
[0114]例如，ROI尺寸設(shè)置部分122基于由用戶輸入的或預(yù)先存儲的系統(tǒng)設(shè)置來設(shè)置ROI瓦片的瓦片尺寸。人物檢測部分124通過對編碼目標(biāo)圖像應(yīng)用相關(guān)技術(shù)的人物檢測方法來執(zhí)行人物檢測。人物檢測部分124在編碼目標(biāo)圖像中設(shè)置包括檢測到的人物區(qū)域的ROI (關(guān)注區(qū)域)。瓦片參數(shù)生成部分126根據(jù)由人物檢測部分124設(shè)置的ROI的位置來確定瓦片分割，并生成指定確定的瓦片分割和ROI瓦片的瓦片參數(shù)。然后，瓦片參數(shù)生成部分126將所生成的瓦片參數(shù)輸出到無損編碼部分16、幀內(nèi)預(yù)測部分30、幀間預(yù)測部分35、以及預(yù)測控制部分40。
[0115]表I示出了可以由瓦片參數(shù)生成部分126生成的瓦片參數(shù)的示例。表I的第一列示出了參數(shù)名稱。第二列示出了每個參數(shù)可以被插入到其中的位置。在第三列，指示“是”的參數(shù)是在本公開內(nèi)容的技術(shù)中新定義的參數(shù)。
[0116][表 I]
[0117]表1.瓦片參數(shù)
[0118]
參數(shù)名稱[I

num—tile—columns—minusISPS，PPS
num—tile—rows—minusISPS, PPS
uniform—spacing—flagSPS, PPS
column—width[i]SPS, PPS
row—height[i]SPS, PPS
roi—tile—present—flagSPS, PPS(SEI)是

coord—roi—tile—hor—minusl SPS, PPS(SEI) 是
coord—roi tile ver—minusl SPS, PPS(SEI) 是
roitileindicator [i]切片頭部是
[0119]參數(shù)“num_tile_columns_minusl”指示瓦片列的數(shù)量。當(dāng)此參數(shù)是零時,瓦片列的數(shù)量是I。參數(shù)“num_tile_r0WS_minuSl”指示瓦片行的數(shù)量。當(dāng)此參數(shù)是零時，瓦片行的數(shù)量是I。參數(shù)“uniform_spacing_flag”是指示圖像中的瓦片尺寸是否均勻的標(biāo)志。參數(shù)“column_width[i] ”指示第i瓦片列的寬度。參數(shù)“row_height [i] ”指示第i瓦片行的高度。在非專利文獻(xiàn)2中也描述了這些參數(shù)。
[0120]參數(shù)“roi_tiIe_present_flag”、“coord_roi_tiIe_hor_minusl”、“coord_roi_tile_ver_minusl，，和 “roi_tile_indicator [i] ” 是新定義的參數(shù)。參數(shù) “roi_tile_present_flag”是指示ROI瓦片是否被包括在編碼目標(biāo)圖像中的標(biāo)志。當(dāng)在一個圖像中可以設(shè)置多個ROI瓦片時，可以生成指示所設(shè)置的ROI瓦片的數(shù)量的參數(shù)，代替此標(biāo)志。參數(shù)“(30(^(1_1'0；[_1:；[16_1101'_111；[111181” 和“(30(^(1_1'0；[_1:；[16_^1'_111；[111181” 指不 ROI 瓦片的位置(R0I瓦片位于哪一行和哪一列)。例如，當(dāng)兩個參數(shù)都是零時，位于第一行和第一列的瓦片是ROI瓦片。當(dāng)參數(shù)“roi_tile_preSent_flag”指示假(沒有ROI瓦片)時，可以省略參數(shù)“coord_roi_tile_hor_minusl，，和“coord_roi_tile_ver_minusl”。參 ^i“roi_tile_present_flag，，、“coord_roi_tile_hor_minusl，，^P“coord_roi_tile_ver_minusl，，'S]^|J插入到SPS或PPS中。相反，可以將這些參數(shù)插入到SEI (補(bǔ)充增強(qiáng)信息)中。indiCator[i]”是可被插入到切片頭部中的參數(shù)。此參數(shù)是指示每個切片中的第i個瓦片是否是ROI瓦片的標(biāo)志。
[0121]此處所描述的瓦片參數(shù)只是示例。可以省略上文所描述的參數(shù)中的一些或可以生成附加參數(shù)?？梢陨刹煌拿Q或類型的其他參數(shù)代替上文所描述的參數(shù)。當(dāng)瓦片參數(shù)針對每個圖片頻繁改變時，瓦片參數(shù)可以存儲在APS (適應(yīng)參數(shù)集)而并非SPS或PPS中。
[0122][2-2.流的配置的示例]
[0123]圖9是示出可以在實(shí)施例中生成的編碼流的配置的示例的說明圖。參考圖9，編碼流STl被示為示例。編碼流STl包括多個圖片PIC11、PIC12、PIC13等的圖像數(shù)據(jù)。圖片PICll是不包括ROI瓦片的圖片。涉及圖片PICll的PPS可包括指示不包括ROI瓦片的標(biāo)志(例如，“roi_tile_present_flag”=假)。圖片PIC12和PIC13是包括ROI瓦片的圖片。涉及這些圖片的PPS可包括指示包括了 ROI瓦片的標(biāo)志(例如，“roi_tile_present_flag”=真)和指不ROI瓦片的位置的參數(shù)(例如，“coord_roi_tile_hor_minusl”和“coord_roi_tile_ver_minusl，，)。
[0124]從圖9可理解，在實(shí)施例中，無損編碼部分16生成一個編碼流，包括ROI瓦片的圖像數(shù)據(jù)和非ROI瓦片的圖像數(shù)據(jù)兩者。當(dāng)對編碼流進(jìn)行部分解碼時，忽略非ROI瓦片的圖像數(shù)據(jù)，可以根據(jù)ROI瓦片的圖像數(shù)據(jù)僅解碼ROI瓦片。
[0125][2-3.編碼時的處理流]
[0126](I)整體流程
[0127]圖10是示出根據(jù)實(shí)施例的在編碼時的處理流的示例的流程圖。對于每個編碼目標(biāo)圖像，重復(fù)圖10中所示出的處理。為描述簡潔起見，從圖中省略了不是特別地與根據(jù)相關(guān)技術(shù)的方法的處理不同的部分。
[0128]參考圖10，瓦片分割部分12首先執(zhí)行瓦片分割處理(步驟S110)。作為瓦片分割處理的結(jié)果，可以將編碼目標(biāo)圖像分割為包括ROI瓦片的多個瓦片。下面將進(jìn)一步描述瓦片分割處理的詳細(xì)流程。
[0129]接下來，預(yù)測控制部分40確定是否在編碼目標(biāo)圖像中設(shè)置ROI瓦片(步驟S120)。當(dāng)通過瓦片分割部分12在編碼目標(biāo)圖像中設(shè)置ROI瓦片時，處理轉(zhuǎn)到步驟S125。相反，當(dāng)在編碼目標(biāo)圖像中不設(shè)置ROI瓦片時，處理轉(zhuǎn)到步驟S150。
[0130]在步驟S125中，預(yù)測控制部分40確定編碼目標(biāo)圖像是否是幀內(nèi)預(yù)測幀(步驟S125)。例如，當(dāng)編碼目標(biāo)圖像是一個圖片時，編碼目標(biāo)圖像是幀內(nèi)預(yù)測幀。在此情況下，不執(zhí)行幀間預(yù)測，并且處理轉(zhuǎn)到步驟S140。相反，當(dāng)編碼目標(biāo)圖像不是幀內(nèi)預(yù)測幀時，處理轉(zhuǎn)到步驟S130。
[0131]在步驟S130中，預(yù)測控制部分40確定參考圖像中是否包括ROI瓦片(步驟S130)。這里，當(dāng)參考圖像中包括ROI瓦片時，處理轉(zhuǎn)到步驟S135。當(dāng)參考圖像中不包括ROI瓦片時，處理轉(zhuǎn)到步驟S140。
[0132]在步驟S135中，幀間預(yù)測部分35執(zhí)行幀間預(yù)測(步驟S135)。例如，當(dāng)在ROI瓦片中以PU執(zhí)行幀間預(yù)測時，預(yù)測控制部分40控制幀間預(yù)測部分35，使得不參考參考圖像的非ROI瓦片。另一方面，當(dāng)在非ROI瓦片中以執(zhí)行幀間預(yù)測時，預(yù)測控制部分40允許幀間預(yù)測部分35參考參考圖像的任何瓦片。
[0133]在步驟S140中，幀內(nèi)預(yù)測部分30執(zhí)行幀內(nèi)預(yù)測(步驟S140)。當(dāng)以每個I3U執(zhí)行幀內(nèi)預(yù)測時，預(yù)測控制部分40控制幀內(nèi)預(yù)測部分30不參考與PU所屬的瓦片不同的瓦片。
[0134]接下來，在步驟S145中，無損編碼部分16編碼每個瓦片的經(jīng)過量化的數(shù)據(jù)，以生成編碼流。無損編碼部分16將可包括瓦片參數(shù)、關(guān)于幀內(nèi)預(yù)測的信息、以及關(guān)于幀間預(yù)測的信息的各種參數(shù)插入到編碼流的頭部區(qū)域中(步驟S145)。
[0135]在步驟S150中，由于不在編碼目標(biāo)圖像中設(shè)置ROI瓦片，因此，圖像編碼設(shè)備I如在相關(guān)技術(shù)的方法中那樣生成編碼流(步驟S150)。指示編碼目標(biāo)圖像不包括ROI瓦片的瓦片參數(shù)被插入到編碼流的頭部區(qū)域中。
[0136](2)瓦片分割處理
[0137]圖11是示出瓦片分割處理的詳細(xì)流程的示例的流程圖。參考圖11，瓦片分割部分12首先對編碼目標(biāo)圖像執(zhí)行ROI檢測(例如，人物檢測)(步驟S111)。接下來，瓦片分割部分12確定是否作為ROI檢測的結(jié)果檢測到ROI (步驟S112)。當(dāng)檢測到ROI時，瓦片分割部分12將編碼目標(biāo)圖像分割為包括ROI瓦片和非ROI瓦片的多個瓦片(步驟S113)。然后，瓦片分割部分12生成包括指示ROI瓦片的位置的參數(shù)的瓦片參數(shù)(步驟S114)。相反，當(dāng)沒有檢測到ROI時，瓦片分割部分12生成包括指示ROI瓦片不存在的參數(shù)的瓦片參數(shù)(即，編碼目標(biāo)圖像不包括ROI瓦片)(步驟S115)。
[0138]當(dāng)沒有檢測到人物區(qū)域或其他ROI時，瓦片分割部分12可以在編碼目標(biāo)圖像中設(shè)置臨時ROI瓦片。例如，瓦片分割部分12可以在預(yù)先確定的位置(圖像的中間等)或與最后設(shè)置的ROI瓦片的位置相同的位置處設(shè)置臨時ROI瓦片。相應(yīng)地，至少一個ROI瓦片可以被包括在全部圖像中。結(jié)果，在解碼器僅對ROI瓦片執(zhí)行部分解碼時，可以去除不存在ROI瓦片的時間。
[0139][2-4.解碼器的配置的示例]
[0140]圖12是示出根據(jù)實(shí)施例的圖像解碼設(shè)備6的配置的示例的框圖。參考圖12，圖像解碼設(shè)備6包括流獲取部分61、瓦片區(qū)別部分62、無損解碼部分63、逆量化部分64、逆正交變換部分65、加法部分66、去塊濾波器67、排序緩沖器68、分辨率調(diào)整部分69、幀存儲器70、以及選擇器71和72、幀內(nèi)預(yù)測部分80、幀間預(yù)測部分85、以及確定部分90。
[0141]流獲取部分61獲取經(jīng)由傳輸路徑輸入的編碼流，并使用存儲介質(zhì)來緩沖編碼流。流獲取部分61解析編碼流并獲取插入到頭部區(qū)域中的瓦片參數(shù)。此處獲取的瓦片參數(shù)可包括指示每個解碼目標(biāo)圖像是否包括ROI瓦片的參數(shù)。當(dāng)解碼目標(biāo)圖像包括ROI瓦片時，瓦片參數(shù)還包括指示哪個瓦片是ROI瓦片的參數(shù)。流獲取部分61可以從編碼流的SPS、PPS、或切片頭部獲取瓦片參數(shù)。相反，流獲取部分61可以從編碼流的SEI獲取瓦片參數(shù)。
[0142]瓦片區(qū)別部分62從流獲取部分61獲取上文所描述的瓦片參數(shù)。瓦片區(qū)別部分62基于獲取的瓦片參數(shù)，區(qū)別每個解碼目標(biāo)圖像的瓦片分割和ROI瓦片的位置。例如，基于表 I 中所例不的參數(shù) “num_tile_columns_minusl ”、“num_tile_rows_minusl ”、“uniform_spacing_flag”、“column_width[i] ” 和 “row_height [i] ”,可以如在相關(guān)技術(shù)的方法中那樣識別瓦片分割。新定義的參數(shù)“roi_tile_present_flag”指示ROI瓦片是否存在。基于新定義的參數(shù)“。0<^(1_1'0；[_1:;[16_1101'_111；[111181”、“(30(^(1_1'0；[_1:;[16_^1'_111；[111181” 和 “roi_tile_indicator[i] ”,可以識別ROI瓦片的位置。
[0143]無損解碼部分63解碼由流獲取部分61緩沖的編碼流。更具體地，無損解碼部分63解碼基于上文所描述的瓦片參數(shù)區(qū)別的ROI瓦片的圖像數(shù)據(jù)。當(dāng)確定部分90給出執(zhí)行整體解碼的指令時，無損解碼部分63也解碼非ROI瓦片的圖像數(shù)據(jù)。當(dāng)確定部分90給出執(zhí)行部分解碼的指令時，無損解碼部分63不解碼非ROI瓦片的圖像數(shù)據(jù)。無損解碼部分63將解碼圖像數(shù)據(jù)(經(jīng)過量化的數(shù)據(jù))輸出到逆量化部分64。無損解碼部分63將關(guān)于幀內(nèi)預(yù)測的信息輸出到幀內(nèi)預(yù)測部分80。無損解碼部分63將關(guān)于幀間預(yù)測的信息輸出到幀間預(yù)測部分85。
[0144]逆量化部分64對在由無損解碼部分63執(zhí)行的解碼之后的經(jīng)過量化的數(shù)據(jù)執(zhí)行逆量化。逆正交變換部分65根據(jù)在編碼時使用的正交變換方案，對從逆量化部分64輸入的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換，以生成預(yù)測誤差數(shù)據(jù)。然后，逆正交變換部分65將所生成的預(yù)測誤差數(shù)據(jù)輸出到加法部分66。
[0145]加法部分66將從逆正交變換部分65輸入的預(yù)測誤差數(shù)據(jù)與從選擇器72輸入的預(yù)測圖像數(shù)據(jù)相加，以生成解碼圖像數(shù)據(jù)(重建的圖像數(shù)據(jù))。然后，加法部分66將所生成的解碼圖像數(shù)據(jù)輸出到去塊濾波器67和幀存儲器70。
[0146]去塊濾波器67執(zhí)行濾波處理，以去除在解碼圖像中發(fā)生的塊失真。然后，去塊濾波器67將從中去除了塊失真的濾波的解碼圖像數(shù)據(jù)輸出到排序緩沖器68和幀存儲器70。
[0147]排序緩沖器68按呈現(xiàn)順序排序從去塊濾波器67按解碼順序輸入的圖像。然后，排序緩沖器68將排序之后的一系列解碼圖像數(shù)據(jù)輸出到分辨率調(diào)整部分69。
[0148]分辨率調(diào)整部分69調(diào)整從排序緩沖器68輸入的每個解碼圖像的分辨率。例如，分辨率調(diào)整部分69可以通過根據(jù)顯示器的分辨率提高通過部分解碼生成的ROI瓦片的解碼圖像的分辨率，生成顯示圖像。相反，分辨率調(diào)整部分69可以通過減小通過整體解碼生成的(包括ROI瓦片和非ROI瓦片)的解碼圖像的分辨率，生成顯示圖像。分辨率調(diào)整部分69將調(diào)整了分辨率的解碼圖像數(shù)據(jù)輸出到，例如，連接到圖像解碼設(shè)備6的顯示器(未示出)。
[0149]幀存儲器70使用存儲介質(zhì)，存儲從加法部分66輸入的濾波之前的解碼圖像數(shù)據(jù)和從去塊濾波器6輸入的濾波之后的解碼圖像數(shù)據(jù)。
[0150]選擇器71根據(jù)由無損解碼部分63解碼的模式信息，在幀內(nèi)預(yù)測部分80和幀間預(yù)測部分85之間切換來自幀存儲器70的數(shù)據(jù)的輸出目的地。例如，當(dāng)指定了幀內(nèi)預(yù)測模式時，選擇器71將從幀存儲器70提供的濾波之前的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)輸出到幀內(nèi)預(yù)測部分80。當(dāng)指定了幀間預(yù)測模式時，選擇器71將從幀存儲器70提供的濾波之后的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)輸出到幀間預(yù)測部分85。
[0151]選擇器72根據(jù)由無損解碼部分63解碼的模式信息，在幀內(nèi)預(yù)測部分80和幀間預(yù)測部分85之間切換要被提供給加法部分66的預(yù)測圖像數(shù)據(jù)的輸出源。例如，當(dāng)指定了幀內(nèi)預(yù)測模式時，選擇器72將從幀內(nèi)預(yù)測部分80輸出的預(yù)測圖像數(shù)據(jù)提供到加法部分66。當(dāng)指定了幀間預(yù)測模式時，選擇器72將從幀間預(yù)測部分85輸出的預(yù)測圖像數(shù)據(jù)提供到加法部分66。
[0152]幀內(nèi)預(yù)測部分80基于從無損解碼部分63輸入的關(guān)于幀內(nèi)預(yù)測的信息和來自幀存儲器70的參考圖像數(shù)據(jù)，執(zhí)行幀內(nèi)預(yù)測，以生成預(yù)測圖像數(shù)據(jù)。然后，幀內(nèi)預(yù)測部分80將所生成的預(yù)測圖像數(shù)據(jù)輸出到選擇器72。
[0153]幀間預(yù)測部分85基于從無損解碼部分63輸入的關(guān)于幀間預(yù)測的信息和來自幀存儲器70的參考圖像數(shù)據(jù)，執(zhí)行幀間預(yù)測，以生成預(yù)測圖像數(shù)據(jù)。然后，幀間預(yù)測部分85將所生成的預(yù)測圖像數(shù)據(jù)輸出到選擇器72。關(guān)于幀間預(yù)測的信息通常包括預(yù)測模式信息、運(yùn)動向量信息、以及參考圖像信息。
[0154]當(dāng)在編碼器側(cè)根據(jù)ROI瓦片的位置使得在解碼目標(biāo)圖像的ROI瓦片中以獲取的運(yùn)動向量信息偏移時，幀間預(yù)測部分85可以根據(jù)參考圖像和解碼目標(biāo)圖像的ROI瓦片的位置之間的差，消除運(yùn)動向量信息的偏移。然后，幀間預(yù)測部分85可以使用消除了偏移的運(yùn)動向量信息，執(zhí)行幀間預(yù)測。
[0155]確定部分90確定圖像解碼設(shè)備6是否執(zhí)行部分解碼和整體解碼中的一項(xiàng)。例如，當(dāng)處理器、存儲器、或顯示器的性能不足以解碼整個解碼目標(biāo)圖像時，確定部分90可以確定執(zhí)行部分解碼。當(dāng)傳輸編碼流的設(shè)備的通信信道的帶寬窄時，確定部分90可以確定執(zhí)行部分解碼。在此情況下，確定部分90可以向傳輸編碼流的設(shè)備發(fā)出只傳輸ROI瓦片的圖像數(shù)據(jù)的請求。當(dāng)由用戶指定部分解碼時(例如，由于用戶可能不一定瀏覽非ROI瓦片的圖像)，確定部分90可以確定執(zhí)行部分解碼。
[0156]當(dāng)確定部分90確定執(zhí)行部分解碼時，確定部分90指示無損解碼部分63執(zhí)行部分解碼。相反，當(dāng)確定部分90確定執(zhí)行整體解碼時，確定部分90指示無損解碼部分63執(zhí)行整體解碼。當(dāng)無損解碼部分63接收到執(zhí)行部分解碼的指令時，無損解碼部分63只解碼解碼目標(biāo)圖像的ROI瓦片。相反，當(dāng)無損解碼部分63接收到執(zhí)行整體解碼的指令時，除ROI瓦片之外，無損解碼部分63還解碼非ROI瓦片。當(dāng)分辨率調(diào)整部分69從確定部分90接收到部分解碼的指令時，分辨率調(diào)整部分69基于ROI瓦片的尺寸和顯示器的尺寸，調(diào)整ROI瓦片的圖像的分辨率。相反，當(dāng)分辨率調(diào)整部分69從確定部分90接收到整體解碼的指令時，分辨率調(diào)整部分69基于解碼圖像的整體尺寸和顯示器的尺寸，調(diào)整解碼圖像的分辨率。
[0157][2-5.解碼時的處理流]
[0158]圖13是示出根據(jù)實(shí)施例的在解碼時的處理流的示例的流程圖。對每個解碼目標(biāo)圖像，重復(fù)圖13中所示出的處理。為描述簡潔起見，從圖中省略了不是特別地與根據(jù)相關(guān)技術(shù)的方法的處理不同的部分。
[0159]參考圖13，流獲取部分61首先從編碼流獲取瓦片參數(shù)(步驟S160)。接下來，瓦片區(qū)別部分62確定是否對解碼目標(biāo)圖像進(jìn)行瓦片分割(步驟S165)。當(dāng)對解碼目標(biāo)圖像進(jìn)行瓦片分割時，處理轉(zhuǎn)到步驟S170。相反，當(dāng)不對解碼目標(biāo)圖像進(jìn)行瓦片分割時，處理轉(zhuǎn)到步驟S190。
[0160]在步驟S170中，瓦片區(qū)別部分62基于瓦片參數(shù)，區(qū)別解碼目標(biāo)圖像的瓦片分割和ROI瓦片的位置(步驟S170)。
[0161]接下來，確定部分90確定是否執(zhí)行部分解碼(步驟S175)。這里，當(dāng)確定執(zhí)行部分解碼時，處理轉(zhuǎn)到步驟S180。相反，當(dāng)確定不執(zhí)行部分解碼時，處理轉(zhuǎn)到步驟S195。
[0162]在步驟S180中，無損解碼部分63只從緩沖的編碼流中提取全部瓦片之中的ROI瓦片的圖像數(shù)據(jù)(步驟S180)，并解碼ROI瓦片的提取的圖像數(shù)據(jù)(步驟S185)。
[0163]另一方面，在步驟S190中，無損解碼部分63解碼緩沖的編碼流的ROI瓦片和非ROI瓦片的圖像數(shù)據(jù)(步驟S190)。
[0164]此后，分辨率調(diào)整部分69根據(jù)顯示器的分辨率，調(diào)整從排序緩沖器68輸入的解碼圖像的分辨率(步驟S195)。然后，將分辨率被調(diào)整的圖像顯示在顯示器上。
[0165]〈3.第二實(shí)施例〉
[0166]在第二實(shí)施例中，實(shí)現(xiàn)所謂的可縮放編碼。SVC(可縮放視頻編碼)是指這樣的技術(shù):對傳輸粗略的圖像信號的層和傳輸精細(xì)的圖像信號的層分層次地編碼。存在各種類型的可縮放編碼。例如，空間分辨率是分層次的情況被稱為空間可縮放性，幀速率是分層次的情況被稱為時間可縮放性，而SN(信噪比)是分層次的情況被稱為SNR可縮放性。
[0167]在本公開內(nèi)容的技術(shù)中實(shí)現(xiàn)的可縮放編碼可被表示為區(qū)域性的可縮放性，與上文所描述的相關(guān)技術(shù)的可縮放性不同。在區(qū)域性的可縮放性中，基本層的編碼流只包括ROI瓦片的圖像數(shù)據(jù)。在增強(qiáng)層的編碼流中，省略了 ROI瓦片的圖像數(shù)據(jù)。增強(qiáng)層的編碼流只包括非ROI瓦片的圖像數(shù)據(jù)。執(zhí)行部分解碼的解碼器解碼基本層的編碼流，以生成只包括ROI瓦片的解碼圖像數(shù)據(jù)。
[0168][3-1.編碼器的配置的示例]
[0169](I)總體配置
[0170]圖14是示出根據(jù)實(shí)施例的圖像編碼設(shè)備10的整體配置的框圖。參考圖14，圖像編碼設(shè)備10包括排序緩沖器11、瓦片分割部分12、第一編碼部分la、第二編碼部分lb、公用存儲器2、以及多路復(fù)用部分3。
[0171]排序緩沖器11根據(jù)GOP結(jié)構(gòu)，按編碼/解碼順序排序一系列原始圖像中所包括的編碼目標(biāo)圖像。瓦片分割部分12將編碼目標(biāo)圖像分割為包括ROI瓦片的多個瓦片。瓦片分割部分12生成指示如何分割每個圖像以及指示哪個瓦片是ROI瓦片的瓦片參數(shù)。瓦片分割部分12將對應(yīng)于編碼目標(biāo)圖像中的ROI瓦片的部分圖像(下文中被稱為ROI瓦片圖像)以及瓦片參數(shù)輸出到第一編碼部分la。瓦片分割部分12將對應(yīng)于非ROI瓦片的部分圖像(下文中被稱為非ROI瓦片圖像)輸出到第二編碼部分lb。瓦片參數(shù)可以由公用存儲器2存儲。
[0172]第一編碼部分Ia編碼ROI瓦片圖像，以生成基本層的編碼流。第二編碼部分Ib編碼非ROI瓦片圖像，以生成增強(qiáng)層的編碼流。公用存儲器2存儲各層之間共同使用的信息。多路復(fù)用部分3多路復(fù)用由第一編碼部分Ia生成的基本層的編碼流和由第二編碼部分Ib生成的增強(qiáng)層的編碼流，以生成多路復(fù)用的多層流。
[0173](2)基本層的編碼
[0174]圖15是示出圖14中所示出的第一編碼部分Ia的配置的示例的框圖。參考圖15，第一編碼部分Ia包括減法部分13、正交變換部分14、量化部分15、無損編碼部分16a、累積緩沖器17、速率控制部分18、逆量化部分21、逆正交變換部分22、加法部分23、去塊濾波器24、幀存儲器25、選擇器26和27、幀內(nèi)預(yù)測部分30a、幀間預(yù)測部分35a、以及預(yù)測控制部分40ao
[0175]向減法部分13提供從圖14中所示出的瓦片分割部分12輸入的ROI瓦片圖像的預(yù)測圖像數(shù)據(jù)和原始圖像數(shù)據(jù)。減法部分13計算預(yù)測誤差數(shù)據(jù)，該預(yù)測誤差數(shù)據(jù)是原始圖像數(shù)據(jù)和預(yù)測圖像數(shù)據(jù)之間的差。正交變換部分14對從減法部分13輸入的預(yù)測誤差數(shù)據(jù)執(zhí)行正交變換。量化部分15量化從正交變換部分14輸入的變換系數(shù)數(shù)據(jù)，以生成經(jīng)過量化的數(shù)據(jù)。
[0176]無損編碼部分16a對ROI瓦片的經(jīng)過量化的數(shù)據(jù)執(zhí)行無損編碼處理，以生成基本層的編碼流。無損編碼部分16a將包括瓦片參數(shù)的各種參數(shù)插入到基本層的編碼流的頭部區(qū)域中。累積緩沖器17臨時累積由無損編碼部分16a生成的基本層的編碼流，并將累積的編碼流輸出到圖14中所示出的多路復(fù)用部分3。
[0177]速率控制部分18通過監(jiān)視累積緩沖器17的空閑空間來控制經(jīng)過量化的數(shù)據(jù)的比特速率。逆量化部分21對從量化部分15輸入的經(jīng)過量化的數(shù)據(jù)執(zhí)行逆量化處理。逆正交變換部分22對從逆量化部分21輸入的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換處理，以恢復(fù)預(yù)測誤差數(shù)據(jù)。加法部分23通過將從逆正交變換部分22輸入的預(yù)測誤差數(shù)據(jù)與從選擇器27輸入的預(yù)測圖像數(shù)據(jù)相加，生成解碼圖像數(shù)據(jù)。去塊濾波器24執(zhí)行濾波處理，以減少在對圖像編碼時發(fā)生的塊失真。幀存儲器25存儲濾波之前的解碼圖像數(shù)據(jù)和濾波之后的解碼圖像數(shù)據(jù)。
[0178]幀內(nèi)預(yù)測部分30a基于從瓦片分割部分12輸入的ROI瓦片圖像的原始圖像數(shù)據(jù)和經(jīng)由選擇器26提供的解碼圖像數(shù)據(jù)，對ROI瓦片圖像執(zhí)行幀內(nèi)預(yù)測處理。幀間預(yù)測部分35a基于從瓦片分割部分12輸入的ROI瓦片圖像的原始圖像數(shù)據(jù)和經(jīng)由選擇器26提供的解碼圖像數(shù)據(jù)，對ROI瓦片圖像執(zhí)行幀間預(yù)測處理。
[0179]預(yù)測控制部分40a控制對幀內(nèi)預(yù)測和幀間預(yù)測施加的參考關(guān)系的約束。例如，當(dāng)在ROI瓦片中以每個執(zhí)行幀內(nèi)預(yù)測時，預(yù)測控制部分40a控制幀內(nèi)預(yù)測部分30a，使得不參考其他瓦片。當(dāng)參考圖像不包括ROI瓦片時，預(yù)測控制部分40a使得幀間預(yù)測部分35a不執(zhí)行幀間預(yù)測。例如，當(dāng)在ROI瓦片中以每個PU執(zhí)行幀間預(yù)測時，預(yù)測控制部分40a控制幀間預(yù)測部分35a，使得只參考參考圖像的ROI瓦片。
[0180](3)增強(qiáng)層的編碼
[0181]圖16是示出圖14中所示出的第二編碼部分Ib的配置的示例的框圖。參考圖16，第二編碼部分Ib包括減法部分13、正交變換部分14、量化部分15、無損編碼部分16b、累積緩沖器17、速率控制部分18、逆量化部分21、逆正交變換部分22、加法部分23、去塊濾波器
24、幀存儲器25、選擇器26和27、幀內(nèi)預(yù)測部分30b、幀間預(yù)測部分35b、以及預(yù)測控制部分40b。
[0182]向減法部分13提供從圖14中所示出的瓦片分割部分12輸入的非ROI瓦片圖像的預(yù)測圖像數(shù)據(jù)和原始圖像數(shù)據(jù)。減法部分13計算預(yù)測誤差數(shù)據(jù)，該預(yù)測誤差數(shù)據(jù)是原始圖像數(shù)據(jù)和預(yù)測圖像數(shù)據(jù)之間的差。正交變換部分14對從減法部分13輸入的預(yù)測誤差數(shù)據(jù)執(zhí)行正交變換。量化部分15量化從正交變換部分14輸入的變換系數(shù)數(shù)據(jù)，以生成經(jīng)過量化的數(shù)據(jù)。
[0183]無損編碼部分16b對非ROI瓦片的經(jīng)過量化的數(shù)據(jù)執(zhí)行無損編碼處理，以生成增強(qiáng)層的編碼流。由于瓦片參數(shù)可以在各層之間重復(fù)使用，因此，無損編碼部分16b可以不將瓦片參數(shù)插入到增強(qiáng)層的編碼流的頭部區(qū)域中。累積緩沖器17臨時累積由無損編碼部分16b生成的增強(qiáng)層的編碼流，并將累積的編碼流輸出到圖14中所示出的多路復(fù)用部分3。
[0184]速率控制部分18通過監(jiān)視累積緩沖器17的空閑空間來控制經(jīng)過量化的數(shù)據(jù)的比特速率。逆量化部分21對從量化部分15輸入的經(jīng)過量化的數(shù)據(jù)執(zhí)行逆量化處理。逆正交變換部分22對從逆量化部分21輸入的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換處理，以恢復(fù)預(yù)測誤差數(shù)據(jù)。加法部分23通過將從逆正交變換部分22輸入的預(yù)測誤差數(shù)據(jù)與從選擇器27輸入的預(yù)測圖像數(shù)據(jù)相加，生成解碼圖像數(shù)據(jù)。去塊濾波器24執(zhí)行濾波處理，以減少在對圖像編碼時發(fā)生的塊失真。在對增強(qiáng)層編碼時，幀存儲器25存儲包括ROI瓦片和非ROI瓦片兩者的所有的解碼圖像數(shù)據(jù)(濾波之前和濾波之后)。
[0185]幀內(nèi)預(yù)測部分30b基于從瓦片分割部分12輸入的非ROI瓦片圖像的原始圖像數(shù)據(jù)和經(jīng)由選擇器26提供的解碼圖像數(shù)據(jù)，對非ROI瓦片圖像執(zhí)行幀內(nèi)預(yù)測處理。幀間預(yù)測部分35b基于從瓦片分割部分12輸入的非ROI瓦片圖像的原始圖像數(shù)據(jù)和經(jīng)由選擇器26提供的解碼圖像數(shù)據(jù)，對非ROI瓦片圖像執(zhí)行幀間預(yù)測處理。
[0186]當(dāng)在非ROI瓦片中以每個執(zhí)行幀內(nèi)預(yù)測時，預(yù)測控制部分40b控制幀內(nèi)預(yù)測部分30b，使得不參考其他瓦片。當(dāng)在非ROI瓦片中以每個執(zhí)行幀間預(yù)測時，預(yù)測控制部分40b可以使得幀間預(yù)測部分35b參考參考圖像的任何瓦片，而不管參考圖像的任何瓦片是否是ROI瓦片。
[0187][3-2.流的配置的示例]
[0188]圖17是示出可以在實(shí)施例中生成的多路復(fù)用流的配置的示例的說明圖。參考圖
17,多路復(fù)用流ST2被示出為示例。多路復(fù)用流ST2包括基本層的編碼流和增強(qiáng)層的編碼流。除諸如SPS、PPS、以及切片頭部之類的頭部數(shù)據(jù)之外，基本層的編碼流還包括僅ROI瓦片的圖像數(shù)據(jù)。另一方面，增強(qiáng)層的編碼流只包括非ROI瓦片的圖像數(shù)據(jù)。例如，圖片PIC21的ROI瓦片的圖像數(shù)據(jù)被包括在基本層的編碼流中，而圖片PIC21的一個或多個非ROI瓦片的圖像數(shù)據(jù)被包括在增強(qiáng)層的編碼流中。當(dāng)由解碼器執(zhí)行部分解碼時，只解碼基本層的編碼流。當(dāng)由解碼器執(zhí)行整體解碼時，解碼基本層的編碼流和增強(qiáng)層的編碼流兩者，并組合分別地生成的ROI瓦片圖像和非ROI瓦片圖像。
[0189][3~3.編碼時的處理流]
[0190]圖18是示出根據(jù)實(shí)施例的在編碼時的處理流的示例的流程圖。對每個編碼目標(biāo)圖像，重復(fù)圖18中所示出的處理。
[0191]參考圖18，瓦片分割部分12首先執(zhí)行參考圖11所描述的瓦片分割處理(步驟S210)。作為瓦片分割處理的結(jié)果，可以將編碼目標(biāo)圖像分割為ROI瓦片圖像和非ROI瓦片圖像。這里，例如，假設(shè)在全部編碼目標(biāo)圖像中設(shè)置一個ROI瓦片。
[0192]接下來，第一編碼部分Ia編碼ROI瓦片圖像，以生成基本層的編碼流(步驟S220)。ROI瓦片的重建的圖像被存儲在幀存儲器25中(步驟S225)。
[0193]接下來，第二編碼部分Ib編碼非ROI瓦片圖像，以生成增強(qiáng)層的編碼流(步驟S230)。
[0194]接下來，多路復(fù)用部分3多路復(fù)用由第一編碼部分Ia生成的基本層的編碼流和由第二編碼部分Ib生成的增強(qiáng)層的編碼流，以生成多路復(fù)用的多層流(步驟S235)。
[0195]正如從前面的描述理解的，第一編碼部分Ia可能不一定認(rèn)識到由第一編碼部分Ia編碼的圖像是對應(yīng)于原始圖像的一部分的ROI瓦片圖像。即，第一編碼部分Ia可以將ROI瓦片圖像作為未經(jīng)過瓦片分割的單一編碼目標(biāo)圖像來處理。這意味著，第一編碼部分Ia可以根據(jù)除HEVC方案之外的圖像編碼方案，執(zhí)行基本層的編碼處理。例如，第一編碼部分Ia可以根據(jù)不支持瓦片分割的諸如AVC(高級視頻編碼)方案或MPEG2方案之類的圖像編碼方案，生成基本層的編碼流。另一方面，第二編碼部分Ib根據(jù)支持瓦片分割的HEVC方案，識別每個瓦片的位置，并生成其中省略了 ROI瓦片的圖像數(shù)據(jù)的增強(qiáng)層的編碼流。
[0196][3-4.解碼器的配置的示例]
[0197](I)總體配置
[0198]圖19是示出根據(jù)實(shí)施例的圖像解碼設(shè)備60的整體配置的示例的框圖。參考圖19，圖像解碼設(shè)備60包括多路解復(fù)用部分5、第一解碼部分6a、第二解碼部分6b、公用存儲器7、組合部分8、分辨率調(diào)整部分9、以及確定部分90。
[0199]多路解復(fù)用部分5將多路復(fù)用的多層流多路解復(fù)用為基本層的編碼流和增強(qiáng)層的編碼流。第一解碼部分6a解碼來自基本層的編碼流的ROI瓦片圖像。當(dāng)由確定部分90給出整體解碼的指令時，第二解碼部分6b解碼來自增強(qiáng)層的編碼流的非ROI瓦片圖像。公用存儲器7存儲各層之間共同使用的信息。
[0200]當(dāng)由確定部分90給出整體解碼的指令時，組合部分8組合由第一解碼部分6a生成的ROI瓦片圖像和由第二解碼部分6b生成的非ROI瓦片圖像，以恢復(fù)整個原始圖像。
[0201]分辨率調(diào)整部分9調(diào)整由第一解碼部分6a生成的ROI瓦片的解碼圖像的分辨率，或調(diào)整包括ROI瓦片和非ROI瓦片兩者并由組合部分8生成的整個解碼圖像的分辨率。分辨率調(diào)整部分9將調(diào)整了分辨率的解碼圖像數(shù)據(jù)輸出到，例如，連接到圖像解碼設(shè)備60的顯示器(未示出)。
[0202]確定部分90例如根據(jù)設(shè)備的性能或類型、通信帶寬、或用戶指定，確定圖像解碼設(shè)備60是否執(zhí)行部分解碼和整體解碼中的一項(xiàng)。當(dāng)確定部分90確定執(zhí)行部分解碼時，確定部分90使得第一解碼部分6a只解碼ROI瓦片圖像。相反，當(dāng)確定部分90確定執(zhí)行整體解碼時，確定部分90使得第二解碼部分6b進(jìn)一步解碼來自增強(qiáng)層的編碼流的非ROI瓦片圖像，并使得組合部分8組合ROI瓦片圖像和非ROI瓦片圖像。
[0203]第一解碼部分6a可以根據(jù)不支持瓦片分割的諸如AVC方案或MPEG2方案之類的圖像編碼方案，解碼來自基本層的編碼流的ROI圖像。
[0204](2)基本層的解碼
[0205]圖20是示出圖19中所示出的第一解碼部分6a的配置的示例的框圖。參考圖20，第一解碼部分6a包括無損解碼部分63a、逆量化部分64、逆正交變換部分65、加法部分66、去塊濾波器67、排序緩沖器68、幀存儲器70、選擇器71和72、幀內(nèi)預(yù)測部分80、以及幀間預(yù)測部分85。
[0206]無損解碼部分63a解碼從多路解復(fù)用部分5輸入的基本層的編碼流中的ROI瓦片的圖像數(shù)據(jù)。無損解碼部分63a將解碼圖像數(shù)據(jù)(經(jīng)過量化的數(shù)據(jù))輸出到逆量化部分64。無損解碼部分63a獲取被插入到編碼流的頭部區(qū)域中的瓦片參數(shù)，并將獲取的瓦片參數(shù)存儲在公用存儲器7中。無損解碼部分63a將關(guān)于幀內(nèi)預(yù)測的信息輸出到幀內(nèi)預(yù)測部分80。無損解碼部分63a將關(guān)于幀間預(yù)測的信息輸出到幀間預(yù)測部分85。
[0207]逆量化部分64對在由無損解碼部分63a執(zhí)行的解碼之后的經(jīng)過量化的數(shù)據(jù)執(zhí)行逆量化。逆正交變換部分65對從逆量化部分64輸入的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換，以生成預(yù)測誤差數(shù)據(jù)。加法部分66將從逆正交變換部分65輸入的預(yù)測誤差數(shù)據(jù)與從選擇器72輸入的預(yù)測圖像數(shù)據(jù)相加，以生成ROI瓦片的解碼圖像數(shù)據(jù)。去塊濾波器67執(zhí)行濾波處理，以去除在解碼圖像中發(fā)生的塊失真。排序緩沖器68按呈現(xiàn)順序排序從去塊濾波器67按解碼順序輸入的ROI瓦片圖像。然后，排序緩沖器68將排序之后的ROI瓦片的一系列解碼圖像數(shù)據(jù)輸出到組合部分8或分辨率調(diào)整部分9。
[0208]幀存儲器70存儲ROI瓦片的解碼圖像數(shù)據(jù)(在濾波之前和在濾波之后)。選擇器71根據(jù)由無損解碼部分63a解碼的模式信息，在幀內(nèi)預(yù)測部分80和幀間預(yù)測部分85之間切換來自幀存儲器70的數(shù)據(jù)的輸出目的地。選擇器72根據(jù)由無損解碼部分63a解碼的模式信息，在幀內(nèi)預(yù)測部分80和幀間預(yù)測部分85之間切換要被提供給加法部分66的預(yù)測圖像數(shù)據(jù)的輸出源。
[0209]幀內(nèi)預(yù)測部分80基于從無損解碼部分63a輸入的關(guān)于幀內(nèi)預(yù)測的信息和來自幀存儲器70的參考圖像數(shù)據(jù)，執(zhí)行幀內(nèi)預(yù)測，并將預(yù)測圖像數(shù)據(jù)輸出到選擇器72。幀間預(yù)測部分85基于從無損解碼部分63a輸入的關(guān)于幀間預(yù)測的信息和來自幀存儲器70的參考圖像數(shù)據(jù)，執(zhí)行幀間預(yù)測，并將預(yù)測圖像數(shù)據(jù)輸出到選擇器72。
[0210](3)增強(qiáng)層的解碼
[0211]圖21是示出圖19中所示出的第二解碼部分6b的配置的示例的框圖。參考圖21，第二解碼部分6b包括參數(shù)獲取部分62b、無損解碼部分63b、逆量化部分64、逆正交變換部分65、加法部分66、去塊濾波器67、排序緩沖器68、幀存儲器70、選擇器71和72、幀內(nèi)預(yù)測部分80、以及幀間預(yù)測部分85。
[0212]參數(shù)獲取部分62b從公用存儲器7獲取上文所描述的瓦片參數(shù)?；讷@取的瓦片參數(shù)，參數(shù)獲取部分62b區(qū)別每個解碼目標(biāo)圖像的瓦片分割、以及ROI瓦片和非ROI瓦片的位置。參數(shù)獲取部分62b可以通過參考多路復(fù)用流或基本層的編碼流的頭部區(qū)域來獲取瓦片參數(shù)，代替從公用存儲器7獲取瓦片參數(shù)。
[0213]無損解碼部分63b解碼從多路解復(fù)用部分5輸入的增強(qiáng)層的編碼流中的非ROI瓦片的圖像數(shù)據(jù)。然后，無損解碼部分63b將解碼圖像數(shù)據(jù)(經(jīng)過量化的數(shù)據(jù))輸出到逆量化部分64。無損解碼部分63b將關(guān)于幀內(nèi)預(yù)測的信息輸出到幀內(nèi)預(yù)測部分80。無損解碼部分63b將關(guān)于幀間預(yù)測的信息輸出到幀間預(yù)測部分85。
[0214]逆量化部分64對在由無損解碼部分63b執(zhí)行的解碼之后的經(jīng)過量化的數(shù)據(jù)執(zhí)行逆量化。逆正交變換部分65對從逆量化部分64輸入的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換，以生成預(yù)測誤差數(shù)據(jù)。加法部分66將從逆正交變換部分65輸入的預(yù)測誤差數(shù)據(jù)與從選擇器72輸入的預(yù)測圖像數(shù)據(jù)相加，以生成非ROI瓦片的解碼圖像數(shù)據(jù)。去塊濾波器67執(zhí)行濾波處理，以去除在解碼圖像中發(fā)生的塊失真。排序緩沖器68按呈現(xiàn)順序排序從去塊濾波器67按解碼順序輸入的非ROI瓦片圖像。然后，排序緩沖器68將排序之后的非ROI瓦片的一系列解碼圖像數(shù)據(jù)輸出到組合部分8。
[0215]在對增強(qiáng)層編碼時，幀存儲器70存儲包括ROI瓦片和非ROI瓦片兩者的所有的解碼圖像數(shù)據(jù)(濾波之前和濾波之后)。選擇器71根據(jù)由無損解碼部分63b解碼的模式信息，在幀內(nèi)預(yù)測部分80和幀間預(yù)測部分85之間切換來自幀存儲器70的數(shù)據(jù)的輸出目的地。選擇器72根據(jù)由無損解碼部分63b解碼的模式信息，在幀內(nèi)預(yù)測部分80和幀間預(yù)測部分85之間切換要被提供給加法部分66的預(yù)測圖像數(shù)據(jù)的輸出源。
[0216]幀內(nèi)預(yù)測部分80基于從無損解碼部分63b輸入的關(guān)于幀內(nèi)預(yù)測的信息和來自幀存儲器70的參考圖像數(shù)據(jù)，執(zhí)行幀內(nèi)預(yù)測，并將預(yù)測圖像數(shù)據(jù)輸出到選擇器72。幀間預(yù)測部分85基于從無損解碼部分63b輸入的關(guān)于幀間預(yù)測的信息和來自幀存儲器70的參考圖像數(shù)據(jù)，執(zhí)行幀間預(yù)測，并將預(yù)測圖像數(shù)據(jù)輸出到選擇器72。
[0217][3-5.解碼時的處理流]
[0218]圖22是示出根據(jù)實(shí)施例的在解碼時的處理流的示例的流程圖。對每個解碼目標(biāo)圖像，重復(fù)圖22中所示出的處理。
[0219]參考圖22，第一解碼部分6a首先從基本層的編碼流獲取瓦片參數(shù)(步驟S260)。經(jīng)由公用存儲器7，將此處獲取的瓦片參數(shù)與第二解碼部分6b交換。
[0220]接下來，第一解碼部分6a解碼來自基本層的編碼流的ROI瓦片圖像(步驟S265)。ROI瓦片的重建的圖像被存儲在幀存儲器70中(步驟S270)。
[0221]然后，確定部分90確定是否執(zhí)行部分解碼(步驟S275)。這里，當(dāng)確定執(zhí)行部分解碼時，處理轉(zhuǎn)到步驟S295。相反，當(dāng)確定執(zhí)行整體解碼時，處理轉(zhuǎn)到步驟S280。
[0222]當(dāng)確定執(zhí)行整體解碼時，第二解碼部分6b解碼來自增強(qiáng)層的編碼流的非ROI瓦片圖像(步驟S280)。第二解碼部分6b基于在步驟S260中獲取的瓦片參數(shù)，區(qū)別ROI瓦片和非ROI瓦片的位置，并跳過對已經(jīng)由第一解碼部分6a解碼的ROI瓦片的解碼處理。接下來，組合部分8組合由第一解碼部分6a生成的ROI瓦片圖像和由第二解碼部分6b生成的非ROI瓦片圖像(步驟S285)。然后，分辨率調(diào)整部分9調(diào)整組合的整個解碼圖像的分辨率(步驟 S290)。
[0223]相反，當(dāng)確定執(zhí)行部分解碼時，第二解碼部分6b不解碼非ROI瓦片圖像。分辨率調(diào)整部分9調(diào)整由第一解碼部分6a生成的ROI瓦片的解碼圖像的分辨率(步驟S295)。
[0224]然后，將分辨率在步驟S290中或步驟S295中被調(diào)整的圖像顯示在顯示器上。
[0225]<4.示例應(yīng)用>
[0226]根據(jù)本公開內(nèi)容的各實(shí)施例的技術(shù)可以應(yīng)用于各種電子電器，例如，用于衛(wèi)星廣播、諸如有線電視之類的有線廣播、因特網(wǎng)上的分發(fā)、經(jīng)由蜂窩式通信分發(fā)到終端等的發(fā)射器或接收器，將圖像記錄到諸如光盤、磁盤、或閃存之類的介質(zhì)上的記錄設(shè)備，或從這樣的存儲介質(zhì)再現(xiàn)圖像的再現(xiàn)設(shè)備，等等。下面將描述四個示例應(yīng)用。
[0227][4-1.第一應(yīng)用示例]
[0228]圖23示出應(yīng)用如前所述的第一或第二實(shí)施例的電視設(shè)備的示意性配置的示例。電視設(shè)備900包括天線901、調(diào)諧器902、多路解復(fù)用器903、解碼器904、視頻信號處理單元905、顯示器906、音頻信號處理單元907、揚(yáng)聲器908、外部接口 909、控制單元910、用戶接口911、以及總線912。
[0229]調(diào)諧器902從通過天線901接收到的廣播信號提取期望頻道的信號，并解調(diào)所提取的信號。然后，調(diào)諧器902向多路解復(fù)用器903輸出通過解調(diào)獲得的編碼的比特流。SP，調(diào)諧器902在電視設(shè)備900中具有作為接收其中編碼了圖像的編碼流的傳輸裝置的作用。
[0230]多路解復(fù)用器903從編碼的比特流分離要觀看的節(jié)目的視頻流和音頻流，并將每個分離的流輸出到解碼器904。多路解復(fù)用器903還從編碼的比特流提取諸如EPG(電子節(jié)目指南)之類的輔助數(shù)據(jù)，并將所提取的數(shù)據(jù)提供到控制單元910。這里，當(dāng)編碼的比特流被加擾時，多路解復(fù)用器903可以解擾編碼的比特流。
[0231]解碼器904解碼從多路解復(fù)用器903輸入的視頻流和音頻流。然后，解碼器904將通過解碼處理生成的視頻數(shù)據(jù)輸出到視頻信號處理單元905。此外，解碼器904還將通過解碼處理生成的音頻數(shù)據(jù)輸出到音頻信號處理單元907。
[0232]視頻信號處理單元905再現(xiàn)從解碼器904輸入的視頻數(shù)據(jù)，并在顯示器906上顯示視頻。視頻信號處理單元905也可以在顯示器906上顯示通過網(wǎng)絡(luò)提供的應(yīng)用屏幕。視頻信號處理單元905還可以根據(jù)設(shè)置，對視頻數(shù)據(jù)進(jìn)一步執(zhí)行諸如噪聲降低之類的額外處理。此外，視頻信號處理單元905還可以生成諸如菜單、按鈕或光標(biāo)之類的⑶I (圖形用戶界面)的圖像，并將所生成的圖像重疊到輸出的圖像上。
[0233]顯示器906由從視頻信號處理單元905提供的驅(qū)動信號來驅(qū)動，并在顯示設(shè)備(諸如，液晶顯示器、等離子體顯示器、OELD(有機(jī)電致發(fā)光顯示器))的視頻屏幕上顯示視頻或圖像。
[0234]音頻信號處理單元907對從解碼器904輸入的音頻數(shù)據(jù)執(zhí)行再現(xiàn)處理(諸如D/A轉(zhuǎn)換和放大)，并從揚(yáng)聲器908輸出音頻。音頻信號處理單元907也可以對音頻數(shù)據(jù)執(zhí)行諸如噪聲降低之類的額外處理。
[0235]外部接口 909是將電視設(shè)備900與外部設(shè)備或網(wǎng)絡(luò)連接的接口。例如，解碼器904可以解碼通過外部接口 909接收到的視頻流或音頻流。這意味著，外部接口 909還在電視設(shè)備900中具有作為接收其中編碼了圖像的編碼流的傳輸裝置的作用。
[0236]控制單元910包括諸如中央處理單元(CPU)之類的處理器和諸如RAM和ROM之類的存儲器。存儲器存儲要被CPU執(zhí)行的程序、節(jié)目數(shù)據(jù)、EPG數(shù)據(jù)、以及通過網(wǎng)絡(luò)獲取的數(shù)據(jù)。例如，存儲在存儲器中的程序在電視設(shè)備900啟動時由CPU讀取并執(zhí)行。通過執(zhí)行程序，CPU例如根據(jù)從用戶接口 911輸入的操作信號，控制電視設(shè)備900的操作。
[0237]用戶接口 911連接到控制單元910。例如，用戶接口 911包括供用戶操作電視設(shè)備900的按鈕和開關(guān)、以及接收遙控信號的接收部分。用戶接口 911通過這些組件來檢測用戶操作，生成操作信號，并將所生成的操作信號輸出到控制單元910。
[0238]總線912將調(diào)諧器902、多路解復(fù)用器903、解碼器904、視頻信號處理單元905、音頻信號處理單元907、外部接口 909、以及控制單元910相互連接。
[0239]在具有這樣的配置的電視設(shè)備900中，解碼器904具有根據(jù)上文所描述的實(shí)施例的部分解碼的功能。如此，當(dāng)在電視設(shè)備900中解碼圖像時，可以動態(tài)地選擇只解碼ROI瓦片或解碼整個圖像。
[0240][4-2.第二應(yīng)用示例]
[0241]圖24示出應(yīng)用如前所述的第一或第二實(shí)施例的移動電話的示意性配置的示例。移動電話920包括天線921、通信單元922、音頻編解碼器923、揚(yáng)聲器924、麥克風(fēng)925、相機(jī)單元926、圖像處理單元927、多路解復(fù)用單元928、記錄/再現(xiàn)單元929、顯示器930、控制單元931、操作單元932、以及總線933。
[0242]天線921連接到通信單元922。揚(yáng)聲器924和麥克風(fēng)925連接到音頻編解碼器923。操作單元932連接到控制單元931?？偩€933將通信單元922、音頻編解碼器923、相機(jī)單元926、圖像處理單元927、多路解復(fù)用單元928、記錄/再現(xiàn)單元929、顯示器930、以及控制單元931相互連接。
[0243]移動電話920在各種操作模式(包括音頻呼叫模式、數(shù)據(jù)通信模式、攝影模式、以及可視電話模式)下執(zhí)行諸如發(fā)送/接收音頻信號、發(fā)送/接收電子郵件或圖像數(shù)據(jù)、對圖像進(jìn)行成像、或記錄數(shù)據(jù)之類的操作。
[0244]在音頻呼叫模式下，由麥克風(fēng)925生成的模擬音頻信號被提供給音頻編解碼器923。然后，音頻編解碼器923將模擬音頻信號轉(zhuǎn)換為音頻數(shù)據(jù)，對轉(zhuǎn)換后的音頻數(shù)據(jù)執(zhí)行A/D轉(zhuǎn)換，并壓縮該數(shù)據(jù)。然后，音頻編解碼器923將經(jīng)過壓縮的音頻數(shù)據(jù)輸出到通信單元922。通信單元922編碼并調(diào)制音頻數(shù)據(jù)，以生成傳輸信號。然后，通信單元922通過天線921將所生成的傳輸信號傳輸?shù)交?未示出)。此外，通信單元922還放大通過天線921接收到的無線電信號，轉(zhuǎn)換信號的頻率，并獲取接收信號。此后，通信單元922解調(diào)并解碼接收信號，以生成音頻數(shù)據(jù)，并將所生成的音頻數(shù)據(jù)輸出到音頻編解碼器923。音頻編解碼器923擴(kuò)展音頻數(shù)據(jù)，對該數(shù)據(jù)執(zhí)行D/A轉(zhuǎn)換，并生成模擬音頻信號。然后，音頻編解碼器923通過將所生成的音頻信號提供到揚(yáng)聲器924來輸出音頻。
[0245]在數(shù)據(jù)通信模式下，例如，控制單元931根據(jù)通過操作單元932的用戶操作，生成構(gòu)成電子郵件的字符數(shù)據(jù)?？刂茊卧?31還在顯示器930上顯示字符。此外，控制單元931還根據(jù)用戶通過操作單元932發(fā)出的傳輸指令，生成電子郵件數(shù)據(jù)，并將所生成的電子郵件數(shù)據(jù)輸出到通信單元922。通信單元922編碼并調(diào)制電子郵件數(shù)據(jù)，以生成傳輸信號。然后，通信單元922通過天線921將所生成的傳輸信號傳輸?shù)交?未示出)。此外，通信單元922還放大通過天線921接收到的無線電信號，轉(zhuǎn)換信號的頻率，并獲取接收信號。此后，通信單元922解調(diào)并解碼接收信號，還原電子郵件數(shù)據(jù)，并將還原的電子郵件數(shù)據(jù)輸出到控制單元931。控制單元931在顯示器930上顯示電子郵件的內(nèi)容，以及將電子郵件數(shù)據(jù)存儲在記錄/再現(xiàn)單元929的存儲介質(zhì)中。
[0246]記錄/再現(xiàn)單元929包括可讀和可寫的任意存儲介質(zhì)。例如，存儲介質(zhì)可以是內(nèi)置式存儲介質(zhì)(諸如RAM或閃存)、或者也可以是外置式存儲介質(zhì)(諸如硬盤、磁盤、磁光盤、光盤、USB (未分配的空間位圖)存儲器、或存儲器卡。
[0247]在攝影模式下，例如，相機(jī)單元926對被攝體進(jìn)行成像，生成圖像數(shù)據(jù)，并將所生成的圖像數(shù)據(jù)輸出到圖像處理單元927。圖像處理單元927編碼從相機(jī)單元926輸入的圖像數(shù)據(jù)，并將編碼流存儲在存儲/再現(xiàn)單元929的存儲介質(zhì)中。
[0248]在可視電話模式下，例如，多路解復(fù)用單元928多路復(fù)用由圖像處理單元927編碼的視頻流和從音頻編解碼器923輸入的音頻流，并將多路復(fù)用流輸出到通信單元922。通信單元922編碼并調(diào)制流，以生成傳輸信號。然后，通信單元922通過天線921將所生成的傳輸信號傳輸?shù)交?未示出)。此外，通信單元922放大通過天線921接收到的無線電信號，轉(zhuǎn)換信號的頻率，并獲取接收信號。傳輸信號和接收信號可包括編碼的比特流。然后，通信單元922解調(diào)并解碼接收信號以恢復(fù)流，并將恢復(fù)的流輸出到多路解復(fù)用單元928。多路解復(fù)用單元928從輸入的流分離視頻流和音頻流，并將視頻流和音頻流分別輸出到圖像處理單元927和音頻編解碼器923。圖像處理單元927解碼視頻流，以生成視頻數(shù)據(jù)。然后，視頻數(shù)據(jù)被提供給顯示器930，該顯示器930顯示一系列圖像。音頻編解碼器923擴(kuò)展音頻流并對其進(jìn)行D/A轉(zhuǎn)換，以生成模擬音頻信號。然后，音頻編解碼器923將所生成的音頻信號提供到揚(yáng)聲器924，以輸出音頻。
[0249]以如前所述的方式配置的移動電話920中的圖像處理單元927具有根據(jù)如前所述的實(shí)施例的部分解碼的功能。如此，當(dāng)在移動電話920中解碼圖像或在與移動電話920進(jìn)行通信的設(shè)備中解碼圖像時，可以動態(tài)地選擇只解碼ROI瓦片或解碼整個圖像。
[0250][4-3.第二應(yīng)用不例]
[0251]圖25示出應(yīng)用如前所述的第一或第二實(shí)施例的記錄/再現(xiàn)設(shè)備的示意性配置的示例。例如，記錄/再現(xiàn)設(shè)備940編碼接收到的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)，并將數(shù)據(jù)記錄到記錄介質(zhì)中。例如，記錄/再現(xiàn)設(shè)備940還可編碼從其他設(shè)備獲取的音頻數(shù)據(jù)和視頻數(shù)據(jù)，并將數(shù)據(jù)記錄到記錄介質(zhì)中。例如，響應(yīng)于用戶指令，記錄/再現(xiàn)設(shè)備940在監(jiān)視器和揚(yáng)聲器上再現(xiàn)記錄在記錄介質(zhì)中的數(shù)據(jù)。此時，記錄/再現(xiàn)設(shè)備940解碼音頻數(shù)據(jù)和視頻數(shù)據(jù)。
[0252]記錄/再現(xiàn)設(shè)備940包括調(diào)諧器941、外部接口 942、編碼器943、HDD (硬盤驅(qū)動器)944、盤驅(qū)動器945、選擇器946、解碼器947、OSD (屏幕上顯示)948、控制單元949、以及用戶接口 950。
[0253]調(diào)諧器941從通過天線(未示出)接收到的廣播信號提取期望頻道的信號，并解調(diào)所提取的信號。然后，調(diào)諧器941向選擇器946輸出通過解調(diào)獲得的編碼的比特流。SP，調(diào)諧器941具有作為記錄/再現(xiàn)設(shè)備940中的傳輸裝置的作用。
[0254]外部接口 942是將記錄/再現(xiàn)設(shè)備940與外部設(shè)備或網(wǎng)絡(luò)連接的接口。外部接口942例如可以是IEEE 1394接口、網(wǎng)絡(luò)接口、USB接口、或閃存接口。例如，向編碼器943輸入通過外部接口 942接收到的視頻數(shù)據(jù)和音頻數(shù)據(jù)。即，外部接口 942具有作為記錄/再現(xiàn)設(shè)備940中的傳輸裝置的作用。
[0255]當(dāng)從外部接口 942輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)沒有被編碼時，編碼器943編碼視頻數(shù)據(jù)和音頻數(shù)據(jù)。此后，編碼器943將編碼的比特流輸出到選擇器946。
[0256]HDD 944將其中壓縮了諸如視頻和音頻之類的內(nèi)容數(shù)據(jù)的編碼比特流、各種程序、和其他數(shù)據(jù)記錄到內(nèi)部硬盤中。當(dāng)再現(xiàn)視頻和音頻時，HDD 944從硬盤中讀取這些數(shù)據(jù)。
[0257]盤驅(qū)動器945從安裝到盤驅(qū)動器的記錄介質(zhì)讀取數(shù)據(jù)并將數(shù)據(jù)記錄到記錄介質(zhì)中。安裝到盤驅(qū)動器945的記錄介質(zhì)例如可以是DVD盤(諸如DVD-視頻，DVD-RAM, DVD-R,DVD-Rff, DVD+R, DVD+RW)或藍(lán)光(注冊商標(biāo))盤。
[0258]選擇器946在記錄視頻和音頻時選擇從調(diào)諧器941或編碼器943輸入的編碼的比特流，并將所選的編碼的比特流輸出到HDD單元944或者盤驅(qū)動器945。另一方面，當(dāng)再現(xiàn)視頻和音頻時，選擇器946還將從HDD 944或盤驅(qū)動器945輸入的編碼的比特流輸出到解碼器947。
[0259]解碼器947解碼編碼的比特流，以生成視頻數(shù)據(jù)和音頻數(shù)據(jù)。然后，解碼器904將所生成的視頻數(shù)據(jù)輸出到OSD 948，并且將所生成的音頻數(shù)據(jù)輸出到外接揚(yáng)聲器。
[0260]OSD 948再現(xiàn)從解碼器947輸入的視頻數(shù)據(jù)，并顯示視頻。OSD 948還可將諸如菜單、按鈕或光標(biāo)之類的⑶I的圖像重疊到顯示的視頻上。
[0261]控制單元949包括諸如CPU之類的處理器、以及諸如RAM和ROM之類的存儲器。存儲器存儲由CPU執(zhí)行的程序以及程序數(shù)據(jù)。例如，存儲在存儲器中的程序在記錄/再現(xiàn)設(shè)備940啟動時由CPU讀取并執(zhí)行。例如,通過執(zhí)行程序,CPU根據(jù)從用戶接口 950輸入的操作信號，控制記錄/再現(xiàn)設(shè)備940的操作。
[0262]用戶接口 950連接到控制單元949。例如，用戶接口 950包括供用戶操作記錄/再現(xiàn)設(shè)備940的按鈕和開關(guān)、以及接收遙控信號的接收單元。用戶接口 950通過這些組件來檢測用戶操作，生成操作信號，并將所生成的操作信號輸出到控制單元949。
[0263]以如前所述的方式配置的記錄/再現(xiàn)設(shè)備940中的編碼器943和解碼器947具有根據(jù)如前所述的實(shí)施例的部分解碼的功能。如此，當(dāng)在記錄/再現(xiàn)設(shè)備940中解碼圖像或在其他設(shè)備中解碼由記錄/再現(xiàn)設(shè)備940記錄的圖像時，可以動態(tài)地選擇只解碼ROI瓦片或解碼整個圖像。
[0264][4-4.第四應(yīng)用示例]
[0265]圖26示出應(yīng)用如前所述的第一或第二實(shí)施例的圖像拍攝設(shè)備的示意性配置的示例。成像設(shè)備960對被攝體進(jìn)行成像，生成圖像，編碼圖像數(shù)據(jù)，并將數(shù)據(jù)記錄到記錄介質(zhì)中。
[0266]成像設(shè)備960包括光學(xué)組件961、成像單元962、信號處理單元963、圖像處理單元964、顯示器965、外部接口 966、存儲器967、介質(zhì)驅(qū)動器968、OSD 969，控制單元970、用戶接口 971、以及總線972。
[0267]光學(xué)組件961連接到成像單元962。成像單元962連接到信號處理單元963。顯示器965連接到圖像處理單元964。用戶接口 971連接到控制單元970。總線972將圖像處理單元964、外部接口 966、存儲器967、介質(zhì)驅(qū)動器968、0SD 969、以及控制單元970相互連接。
[0268]光學(xué)組件961包括聚焦透鏡和光圈機(jī)構(gòu)。光學(xué)組件961在成像單元962的成像表面上形成目標(biāo)的光學(xué)圖像。成像單元962包括諸如CXD (電荷耦合器件)或CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)之類的圖像傳感器，并執(zhí)行光電轉(zhuǎn)換，以將在成像平面上形成的光學(xué)圖像轉(zhuǎn)換為作為電信號的圖像信號。隨后，成像單元962將圖像信號輸出到信號處理單元963。
[0269]信號處理單兀963對從成像單兀962輸入的圖像信號執(zhí)行各種相機(jī)信號處理,諸如拐點(diǎn)校正、灰度校正、以及色彩校正。信號處理單元963將對其執(zhí)行了相機(jī)信號處理的圖像數(shù)據(jù)輸出到圖像處理單元964。
[0270]圖像處理單元964編碼從信號處理單元963輸入的圖像數(shù)據(jù)，并生成編碼數(shù)據(jù)。然后，圖像處理單元964將所生成的編碼數(shù)據(jù)輸出到外部接口 966或介質(zhì)驅(qū)動器968。圖像處理單元964還解碼從外部接口 966或介質(zhì)驅(qū)動器968輸入的編碼數(shù)據(jù)，以生成圖像數(shù)據(jù)。然后，圖像處理單元964將所生成的圖像數(shù)據(jù)輸出到顯示器965。此外，圖像處理單元964還可以將從信號處理單元963輸入的圖像數(shù)據(jù)輸出到顯示器965，以顯示圖像。此外，圖像處理單元964還可以將從0SD969獲取的顯示數(shù)據(jù)重疊到在顯示器965上輸出的圖像上。
[0271]OSD 969生成諸如菜單、按鈕或光標(biāo)之類的⑶I的圖像，并將所生成的圖像輸出到圖像處理單元964。
[0272]例如，外部接口 966被配置為USB輸入/輸出端子。例如，當(dāng)打印圖像時，外部接口 966連接成像設(shè)備960和打印機(jī)。此外，驅(qū)動器根據(jù)需要連接到外部接口 966。例如，諸如磁盤或光盤之類的可移動介質(zhì)被安裝到驅(qū)動器，以便從可移動介質(zhì)中讀取的程序可被安裝到成像設(shè)備960。外部接口 966還可被配置為連接到諸如LAN或因特網(wǎng)之類的網(wǎng)絡(luò)的網(wǎng)絡(luò)接口。S卩，外部接口 966具有作為成像設(shè)備960中的傳輸裝置的作用。
[0273]安裝到介質(zhì)驅(qū)動器968的記錄介質(zhì)可以是任意的可讀和可寫的可移動介質(zhì)，諸如磁盤、磁光盤、光盤、或半導(dǎo)體存儲器。此外，例如，記錄介質(zhì)還可被固定地安裝到介質(zhì)驅(qū)動器968，以便配置諸如內(nèi)置的硬盤驅(qū)動器或SSD(固態(tài)驅(qū)動器)之類的不能移動的存儲單元。
[0274]控制單元970包括諸如CPU之類的處理器和諸如RAM和ROM之類的存儲器。存儲器存儲由CPU執(zhí)行的程序以及程序數(shù)據(jù)。例如，存儲在存儲器中的程序在成像設(shè)備960啟動時由CPU讀取并執(zhí)行。例如，通過執(zhí)行程序，CPU根據(jù)從用戶接口 971輸入的操作信號，控制成像設(shè)備960的操作。
[0275]用戶接口 971連接到控制單元970。例如，用戶接口 971包括供用戶操作成像設(shè)備960的按鈕和開關(guān)。用戶接口 971通過這些組件來檢測用戶操作，生成操作信號，并將所生成的操作信號輸出到控制單元970。
[0276]以如前所述的方式配置的成像設(shè)備960中的圖像處理單元964具有根據(jù)如前所述的實(shí)施例的部分解碼的功能。因此，當(dāng)解碼成像設(shè)備960中拍攝到的圖像或記錄的圖像時，可以動態(tài)地選擇只解碼ROI瓦片或解碼整個圖像。
[0277]<5.結(jié)論〉
[0278]上文參考圖3A到圖26詳細(xì)描述了本公開內(nèi)容中的技術(shù)的各實(shí)施例。在本公開內(nèi)容的技術(shù)中，通過使用HEVC方案的瓦片分割，將圖像分割為ROI (關(guān)注區(qū)域)瓦片和非ROI瓦片，并將指示哪個瓦片是ROI瓦片的瓦片參數(shù)插入到編碼流中。相應(yīng)地，實(shí)現(xiàn)了解碼器可以只對ROI瓦片執(zhí)行部分解碼的結(jié)構(gòu)。因此，可以將高分辨率圖像提供給具有高能力的終端，并且可以將低分辨率圖像提供給具有相對低的能力的終端，而不用針對相應(yīng)的單個分辨率冗余地準(zhǔn)備編碼流。
[0279]可以將指示可以只對ROI瓦片執(zhí)行部分解碼的新瓦片參數(shù)插入到編碼流的SPS、PPS、SE1、或切片頭部中。相應(yīng)地，例如，可以根據(jù)部分解碼的使用，靈活地指定ROI瓦片的存在或不存在、和ROI瓦片的位置。例如，在全部圖像包括至少一個ROI瓦片的使用中，可以通過綜合地指示在SPS中存在ROI瓦片來降低瓦片參數(shù)的編碼量。
[0280]根據(jù)上文所描述的各實(shí)施例，根據(jù)在編碼目標(biāo)圖像中設(shè)置的ROI的位置，確定瓦片分割。相應(yīng)地，在暫時移動ROI的使用中，也可以通過部分解碼來獲得適當(dāng)?shù)馗櫼苿拥腞OI的運(yùn)動圖像。例如，通過將在圖像中檢測到的人物區(qū)域作為ROI來處理，可以利用具有低性能的終端僅瀏覽監(jiān)視相機(jī)的圖像中拍攝的人物圖像。另外，當(dāng)多個站點(diǎn)與具有不同帶寬的通信信道連接時，例如，在視頻會議系統(tǒng)的使用中，可以在具有充分大的帶寬的站點(diǎn)完全解碼來自其他站點(diǎn)的高分辨率圖像，而在具有窄帶寬的站點(diǎn)僅部分地解碼高分辨率圖像中拍攝的發(fā)言者的區(qū)域。
[0281]根據(jù)上文所描述的各實(shí)施例，當(dāng)編碼器側(cè)對ROI瓦片執(zhí)行幀間預(yù)測時，禁止參考參考圖像的非ROI瓦片。當(dāng)參考圖像不包括ROI瓦片時，不執(zhí)行幀間預(yù)測，而僅執(zhí)行幀內(nèi)預(yù)測。相應(yīng)地，可以解碼ROI瓦片的一系列圖像數(shù)據(jù)，而不參考非ROI瓦片。
[0282]根據(jù)第二實(shí)施例，作為一種可縮放編碼，實(shí)現(xiàn)區(qū)域可縮放性。在此情況下，可以根據(jù)不支持瓦片分割的圖像編碼方案來編碼和解碼基本層的編碼流。相應(yīng)地，只將ROI圖像提供給只支持相關(guān)技術(shù)的圖像編碼方案(諸如MPEG2方案或AVC方案)的終端，并且也可以將包括ROI圖像的整個高分辨率圖像提供給支持HEVC方案的終端。由于在增強(qiáng)層的編碼流中省略了 ROI瓦片的圖像數(shù)據(jù)，因此可以確保圖像編碼方案之間的部分兼容性，同時避免ROI瓦片圖像的冗余編碼并抑制編碼量的增大。
[0283]本說明書中所描述的術(shù)語“⑶”、“PU”和“TU”指的是包括與HEVC中的單個塊相關(guān)聯(lián)的語法的邏輯單位。當(dāng)只聚焦于作為圖像的一部分的單個塊時，塊可以用術(shù)語“編碼塊(CB)”、“預(yù)測塊(PB)”和“變換塊(TB)”代替。CB是通過以四叉樹形狀分層次地劃分編碼樹塊(CTB)而形成的。一個四叉樹對應(yīng)于CTB，并且對應(yīng)于CTB的邏輯單位被稱為編碼樹單位(CTU)。HEVC中的CTB和CB具有與H.264/AVC中的宏塊的作用類似的作用，因?yàn)镃TB和CB是編碼處理的處理單位。然而，CTB和CB與宏塊的不同之處在于，CTB和CB的尺寸不是固定的(宏塊的尺寸通常具有16X16個像素)。從16X16個像素的尺寸、32X32個像素的尺寸和64X64個像素的尺寸中選擇CTB的尺寸，并通過編碼流中的參數(shù)來指定?？梢愿鶕?jù)CTB的劃分深度來更改CB的尺寸。
[0284]此處主要描述了這樣的示例:將諸如涉及幀內(nèi)預(yù)測的信息和涉及幀間預(yù)測的信息之類的各種信息多路復(fù)用到編碼流的頭部中，并從編碼側(cè)傳輸?shù)浇獯a側(cè)。然而，傳輸這些信息的方法不限于這樣的示例。例如，這些信息可以作為與編碼的比特流相關(guān)聯(lián)的單獨(dú)的數(shù)據(jù)傳輸或記錄，而不是多路復(fù)用到編碼的比特流。這里，術(shù)語“關(guān)聯(lián)”意味著當(dāng)解碼時允許比特流中所包括的圖像(可以是圖像的一部分，諸如切片或塊)和對應(yīng)于當(dāng)前圖像的信息建立鏈接。即，信息可以與圖像(或比特流)在不同的傳輸路徑上傳輸。信息也可以與圖像(或比特流)記錄在不同的記錄介質(zhì)中(或記錄在相同記錄介質(zhì)的不同的記錄區(qū)域中)。此外，信息和圖像(或比特流)還可通過通過任何單位(例如，多個幀、一個幀或一個幀中的一部分)彼此相關(guān)聯(lián)。
[0285]上文參考各個附圖描述了本公開內(nèi)容的優(yōu)選實(shí)施例，當(dāng)然，本公開內(nèi)容不限于上述示例。在所附權(quán)利要求書的范圍內(nèi)，所屬【技術(shù)領(lǐng)域】的技術(shù)人員可以發(fā)現(xiàn)各種替換和修改，并且應(yīng)該理解，它們將自然地歸入本公開內(nèi)容的技術(shù)范圍內(nèi)。
[0286]另外，本技術(shù)也可被如下配置。
[0287](I) 一種圖像解碼設(shè)備，包括:
[0288]獲取部分，被配置為從通過將圖像分割為多個瓦片而編碼的編碼流中獲取指示哪個瓦片是關(guān)注區(qū)域瓦片的第一參數(shù)；以及
[0289]解碼部分，被配置為基于由所述獲取部分獲取的第一參數(shù)，解碼所述圖像的所述關(guān)注區(qū)域瓦片和非關(guān)注區(qū)域瓦片中的至少一個。
[0290](2)根據(jù)(I)所述的圖像解碼設(shè)備，其中，所述獲取部分從所述編碼流的序列參數(shù)集SPS或圖片參數(shù)集PPS獲取第一參數(shù)。
[0291](3)根據(jù)⑴所述的圖像解碼設(shè)備，其中，所述獲取部分從所述編碼流的補(bǔ)充增強(qiáng)信息SEI獲取第一參數(shù)。
[0292](4)根據(jù)⑴所述的圖像解碼設(shè)備，其中，所述獲取部分從所述編碼流的切片頭部獲取第一參數(shù)。
[0293](5)根據(jù)⑴到(4)中的任一項(xiàng)所述的圖像解碼設(shè)備，其中，所述獲取部分針對由第二參數(shù)指示的圖像獲取第一參數(shù)，第二參數(shù)是從所述編碼流獲取的并且指示包括所述關(guān)注區(qū)域瓦片。
[0294](6)根據(jù)(I)到(5)中的任一項(xiàng)所述的圖像解碼設(shè)備，其中，根據(jù)所述圖像中設(shè)置的所述關(guān)注區(qū)域的位置，在編碼時將所述圖像分割為所述多個瓦片。
[0295](7)根據(jù)(6)所述的圖像解碼設(shè)備，其中，所述關(guān)注區(qū)域瓦片是包括人物區(qū)域的瓦片，所述人物區(qū)域是在每個圖像中檢測到的。
[0296](8)根據(jù)⑴到(6)中的任一項(xiàng)所述的圖像解碼設(shè)備，還包括:
[0297]幀間預(yù)測部分，被配置為消除偏移，該偏移取決于所述關(guān)注區(qū)域瓦片的位置并且是從所述編碼流中獲取的運(yùn)動向量信息的偏移，以及基于消除了所述偏移的運(yùn)動向量信息來執(zhí)行幀間預(yù)測。
[0298](9)根據(jù)⑴到⑶中的任一項(xiàng)所述的圖像解碼設(shè)備，其中，當(dāng)部分解碼被執(zhí)行時，所述解碼部分解碼所述關(guān)注區(qū)域瓦片，而不解碼所述非關(guān)注區(qū)域瓦片。
[0299](10)根據(jù)⑴到⑶中的任一項(xiàng)所述的圖像解碼設(shè)備，
[0300]其中，所述解碼部分解碼所述編碼流，以生成所述非關(guān)注區(qū)域瓦片的圖像數(shù)據(jù)，該編碼流是省略了所述關(guān)注區(qū)域瓦片的圖像數(shù)據(jù)的增強(qiáng)層的流，以及
[0301]其中，所述圖像解碼設(shè)備還包括:
[0302]基本層解碼部分，被配置為解碼基本層的流，以生成所述關(guān)注區(qū)域瓦片的圖像數(shù)據(jù)；以及
[0303]組合部分，被配置為組合所述關(guān)注區(qū)域瓦片的圖像數(shù)據(jù)和所述非關(guān)注區(qū)域瓦片的圖像數(shù)據(jù)，以恢復(fù)所述圖像。
[0304](11)根據(jù)(10)所述的圖像解碼設(shè)備，其中，所述基本層解碼部分根據(jù)不支持瓦片分割的編碼方案來解碼所述基本層的流。
[0305](12)根據(jù)(11)所述的圖像解碼設(shè)備，
[0306]其中，所述解碼部分根據(jù)高效視頻編碼HEVC方案來解碼所述增強(qiáng)層的流，以及
[0307]其中，所述基本層解碼部分根據(jù)MPEG2方案或高級視頻編碼AVC方案來解碼所述基本層的流。
[0308](13)根據(jù)(9)到(12)中的任一項(xiàng)所述的圖像解碼設(shè)備，還包括:
[0309]確定部分，被配置為確定是否根據(jù)設(shè)備的性能或類型、通信帶寬、或用戶指定來執(zhí)行部分解碼，
[0310]其中，當(dāng)所述確定部分確定執(zhí)行所述部分解碼時，只解碼所述圖像的所述關(guān)注區(qū)域瓦片。
[0311](14)根據(jù)(13)所述的圖像解碼設(shè)備，還包括:
[0312]分辨率調(diào)整部分，被配置為通過提高經(jīng)由所述部分解碼生成的所述關(guān)注區(qū)域瓦片的解碼圖像的分辨率來生成顯示圖像。
[0313](15)根據(jù)(13)所述的圖像解碼設(shè)備，還包括:
[0314]分辨率調(diào)整部分，被配置為通過降低經(jīng)由整體解碼生成的所述關(guān)注區(qū)域瓦片和所述非關(guān)注區(qū)域瓦片的解碼圖像的分辨率來生成顯示圖像。
[0315](16) —種圖像解碼方法，包括:
[0316]從通過將圖像分割為多個瓦片而編碼的編碼流中獲取指示哪個瓦片是關(guān)注區(qū)域瓦片的第一參數(shù)；以及
[0317]基于獲取的第一參數(shù)，解碼所述圖像的所述關(guān)注區(qū)域瓦片和非關(guān)注區(qū)域瓦片中的至少一個。
[0318](17) —種圖像編碼設(shè)備，包括:
[0319]分割部分，被配置為將圖像分割為包括關(guān)注區(qū)域瓦片的多個瓦片；以及
[0320]編碼部分，被配置為將指示哪個瓦片是所述關(guān)注區(qū)域瓦片的第一參數(shù)插入到通過針對所述瓦片中的每個瓦片編碼所述圖像而生成的編碼流中。
[0321](18)根據(jù)(17)所述的圖像編碼設(shè)備，其中，所述編碼部分將第一參數(shù)插入到所述編碼流的序列參數(shù)集SPS或圖片參數(shù)集PPS中。
[0322](19)根據(jù)(17)所述的圖像編碼設(shè)備，其中，所述編碼部分將第一參數(shù)插入到所述編碼流的補(bǔ)充增強(qiáng)信息SEI中。
[0323](20)根據(jù)(17)所述的圖像編碼設(shè)備，其中，所述編碼部分將第一參數(shù)插入到所述編碼流的切片頭部中。
[0324](21)根據(jù)(17)所述的圖像編碼設(shè)備，其中，所述編碼部分還將指示每個圖像中包括所述關(guān)注區(qū)域瓦片的第二參數(shù)插入到所述編碼流中。
[0325](22)根據(jù)(17)到(21)中的任一項(xiàng)所述的圖像編碼設(shè)備，其中，所述分割部分在每個圖像中設(shè)置關(guān)注區(qū)域，并根據(jù)設(shè)置的所述關(guān)注區(qū)域的位置來確定所述瓦片分割。
[0326](23)根據(jù)(22)所述的圖像編碼設(shè)備，其中，所述分割部分通過對每個圖像執(zhí)行人物檢測，在每個圖像中設(shè)置所述關(guān)注區(qū)域。
[0327](24)根據(jù)(17)到(23)中的任一項(xiàng)所述的圖像編碼設(shè)備，其中，所述圖像編碼設(shè)備還包括:幀間預(yù)測部分，被配置為對編碼目標(biāo)圖像執(zhí)行幀間預(yù)測；以及控制部分，被配置為使得所述幀間預(yù)測部分在所述編碼目標(biāo)圖像的關(guān)注區(qū)域瓦片中以預(yù)測單位來執(zhí)行所述幀間預(yù)測，而不參考參考圖像的非關(guān)注區(qū)域瓦片。
[0328](25)根據(jù)(24)所述的圖像編碼設(shè)備，其中，所述幀間預(yù)測部分在所述編碼目標(biāo)圖像的所述關(guān)注區(qū)域瓦片中以預(yù)測單位生成運(yùn)動向量信息偏移，該運(yùn)動向量信息偏移取決于所述參考圖像的關(guān)注區(qū)域瓦片的位置。
[0329](26)根據(jù)(24)或(25)所述的圖像編碼設(shè)備，其中，所述控制部分使得所述幀間預(yù)測部分在所述編碼目標(biāo)圖像的所述非關(guān)注區(qū)域瓦片中以預(yù)測單位執(zhí)行所述幀間預(yù)測，而不管所述參考圖像的任何瓦片是否是所述關(guān)注區(qū)域瓦片。
[0330](27)根據(jù)(24)到(26)中的任一項(xiàng)所述的圖像編碼設(shè)備，其中，當(dāng)所述參考圖像不包括所述關(guān)注區(qū)域瓦片時，所述控制部分使得所述幀間預(yù)測部分不在所述編碼目標(biāo)圖像的所述關(guān)注區(qū)域瓦片中以預(yù)測單位執(zhí)行所述幀間預(yù)測。
[0331](28)根據(jù)(17)到(27)中的任一項(xiàng)所述的圖像編碼設(shè)備，其中，所述編碼部分將所述關(guān)注區(qū)域瓦片的圖像數(shù)據(jù)和所述非關(guān)注區(qū)域瓦片的圖像數(shù)據(jù)編碼在一個編碼流中。
[0332](29)根據(jù)(17)到(27)中的任一項(xiàng)所述的圖像編碼設(shè)備，其中，所述編碼部分生成編碼流，作為省略了所述關(guān)注區(qū)域瓦片的圖像數(shù)據(jù)的增強(qiáng)層的流，圖像編碼設(shè)備還包括:基本層編碼部分，被配置為通過編碼所述關(guān)注區(qū)域瓦片的圖像數(shù)據(jù)來生成基本層的流；以及多路復(fù)用部分，被配置為通過多路復(fù)用所述基本層的流和所述增強(qiáng)層的流來生成多路復(fù)用的流。
[0333](30)根據(jù)(29)所述的圖像編碼設(shè)備，其中，所述基本層編碼部分根據(jù)不支持所述瓦片分割的編碼方案，生成所述基本層的流。
[0334](31)根據(jù)(30)所述的圖像編碼設(shè)備，其中，所述編碼部分根據(jù)高效視頻編碼HEVC方案來生成所述增強(qiáng)層的流，所述基本層編碼部分根據(jù)MPEG2方案或高級視頻編碼AVC方案來生成所述基本層的流。
[0335](32) —種圖像編碼方法，包括:
[0336]將圖像分割為包括關(guān)注區(qū)域瓦片的多個瓦片；以及
[0337]將指示哪個瓦片是所述關(guān)注區(qū)域瓦片的第一參數(shù)插入到通過針對所述瓦片中的每個瓦片編碼所述圖像而生成的編碼流中。
[0338]參考符號列表
[0339]I, 10圖像編碼設(shè)備
[0340]3多路復(fù)用部分
[0341]12瓦片分割部分
[0342]16, 16a, 16b無損編碼部分
[0343]30, 30a, 30b幀內(nèi)預(yù)測部分
[0344]35, 35a, 35b幀間預(yù)測部分
[0345]40, 40a, 40b預(yù)測控制部分
[0346]6，60圖像解碼設(shè)備
[0347]8組合部分
[0348]63, 63a, 63b無損解碼部分
[0349]69，9分辨率調(diào)整部分
[0350]80幀內(nèi)預(yù)測部分
[0351]85幀間預(yù)測部分
[0352]90確定部分
【權(quán)利要求】
1.一種圖像解碼設(shè)備，包括: 獲取部分，被配置為從通過將圖像分割為多個瓦片而編碼的編碼流中獲取指示哪個瓦片是關(guān)注區(qū)域瓦片的第一參數(shù)；以及 解碼部分，被配置為基于由所述獲取部分獲取的第一參數(shù)，解碼所述圖像的所述關(guān)注區(qū)域瓦片和非關(guān)注區(qū)域瓦片中的至少一個。
2.根據(jù)權(quán)利要求1所述的圖像解碼設(shè)備，其中，所述獲取部分從所述編碼流的序列參數(shù)集SPS或圖片參數(shù)集PPS獲取第一參數(shù)。
3.根據(jù)權(quán)利要求1所述的圖像解碼設(shè)備，其中，所述獲取部分從所述編碼流的補(bǔ)充增強(qiáng)信息SEI獲取第一參數(shù)。
4.根據(jù)權(quán)利要求1所述的圖像解碼設(shè)備，其中，所述獲取部分從所述編碼流的切片頭部獲取第一參數(shù)。
5.根據(jù)權(quán)利要求1所述的圖像解碼設(shè)備，其中，所述獲取部分針對由第二參數(shù)指示的圖像獲取第一參數(shù)，第二參數(shù)是從所述編碼流獲取的并且指示包括所述關(guān)注區(qū)域瓦片。
6.根據(jù)權(quán)利要求1所述的圖像解碼設(shè)備，其中，根據(jù)所述圖像中設(shè)置的所述關(guān)注區(qū)域的位置，在編碼時將所述圖像分割為所述多個瓦片。
7.根據(jù)權(quán)利要求6所述的圖像解碼設(shè)備，其中，所述關(guān)注區(qū)域瓦片是包括人物區(qū)域的瓦片，所述人物區(qū)域是在每個圖像中檢測到的。
8.根據(jù)權(quán)利要求1所述的圖像解碼設(shè)備，還包括: 幀間預(yù)測部分，被配置為消除偏移，該偏移取決于所述關(guān)注區(qū)域瓦片的位置并且是從所述編碼流中獲取的運(yùn)動向量信息的偏移，以及基于消除了所述偏移的運(yùn)動向量信息來執(zhí)行幀間預(yù)測。
9.根據(jù)權(quán)利要求1所述的圖像解碼設(shè)備，其中，當(dāng)部分解碼被執(zhí)行時，所述解碼部分解碼所述關(guān)注區(qū)域瓦片，而不解碼所述非關(guān)注區(qū)域瓦片。
10.根據(jù)權(quán)利要求1所述的圖像解碼設(shè)備， 其中，所述解碼部分解碼所述編碼流，以生成所述非關(guān)注區(qū)域瓦片的圖像數(shù)據(jù)，該編碼流是省略了所述關(guān)注區(qū)域瓦片的圖像數(shù)據(jù)的增強(qiáng)層的流，以及 其中，所述圖像解碼設(shè)備還包括: 基本層解碼部分，被配置為解碼基本層的流，以生成所述關(guān)注區(qū)域瓦片的圖像數(shù)據(jù)；以及 組合部分，被配置為組合所述關(guān)注區(qū)域瓦片的圖像數(shù)據(jù)和所述非關(guān)注區(qū)域瓦片的圖像數(shù)據(jù)，以恢復(fù)所述圖像。
11.根據(jù)權(quán)利要求10所述的圖像解碼設(shè)備，其中，所述基本層解碼部分根據(jù)不支持瓦片分割的編碼方案來解碼所述基本層的流。
12.根據(jù)權(quán)利要求11所述的圖像解碼設(shè)備， 其中，所述解碼部分根據(jù)高效視頻編碼HEVC方案來解碼所述增強(qiáng)層的流，以及 其中，所述基本層解碼部分根據(jù)MPEG2方案或高級視頻編碼AVC方案來解碼所述基本層的流。
13.根據(jù)權(quán)利要求9所述的圖像解碼設(shè)備，還包括: 確定部分，被配置為確定是否根據(jù)設(shè)備的性能或類型、通信帶寬、或用戶指定來執(zhí)行部分解碼， 其中，當(dāng)所述確定部分確定執(zhí)行所述部分解碼時，只解碼所述圖像的所述關(guān)注區(qū)域瓦片。
14.根據(jù)權(quán)利要求13所述的圖像解碼設(shè)備，還包括: 分辨率調(diào)整部分，被配置為通過提高經(jīng)由所述部分解碼生成的所述關(guān)注區(qū)域瓦片的解碼圖像的分辨率來生成顯示圖像。
15.根據(jù)權(quán)利要求13所述的圖像解碼設(shè)備，還包括: 分辨率調(diào)整部分，被配置為通過降低經(jīng)由整體解碼生成的所述關(guān)注區(qū)域瓦片和所述非關(guān)注區(qū)域瓦片的解碼圖像的分辨率來生成顯示圖像。
16.一種圖像解碼方法，包括: 從通過將圖像分割為多個瓦片而編碼的編碼流中獲取指示哪個瓦片是關(guān)注區(qū)域瓦片的第一參數(shù)；以及 基于獲取的第一參數(shù)，解碼所述圖像的所述關(guān)注區(qū)域瓦片和非關(guān)注區(qū)域瓦片中的至少一個。
17.一種圖像編碼設(shè)備，包括: 分割部分，被配置為將圖像分割為包括關(guān)注區(qū)域瓦片的多個瓦片；以及編碼部分，被配置為將指示哪個瓦片是所述關(guān)注區(qū)域瓦片的第一參數(shù)插入到通過針對所述瓦片中的每個瓦片編碼所述圖像而生成的編碼流中。
18.根據(jù)權(quán)利要求17所述的圖像編碼設(shè)備，其中，所述編碼部分將第一參數(shù)插入到所述編碼流的序列參數(shù)集SPS或圖片參數(shù)集PPS中。
19.根據(jù)權(quán)利要求17所述的圖像編碼設(shè)備，其中，所述編碼部分還將指示每個圖像中包括所述關(guān)注區(qū)域瓦片的第二參數(shù)插入到所述編碼流中。
20.一種圖像編碼方法，包括: 將圖像分割為包括關(guān)注區(qū)域瓦片的多個瓦片；以及 將指示哪個瓦片是所述關(guān)注區(qū)域瓦片的第一參數(shù)插入到通過針對所述瓦片中的每個瓦片編碼所述圖像而生成的編碼流中。
【文檔編號】H04N19/167GK104170384SQ201380013757
【公開日】2014年11月26日 申請日期:2013年5月10日 優(yōu)先權(quán)日:2012年6月25日
【發(fā)明者】佐藤數(shù)史 申請人:索尼公司