專(zhuān)利名稱(chēng)：圖像處理設(shè)備和方法
圖像處理設(shè)備和方法技術(shù)領(lǐng)域
本公開(kāi)涉及圖像處理設(shè)備和方法，尤其涉及配置為在輸入是交錯(cuò)信號(hào)的情況下能夠?qū)崿F(xiàn)有效編碼或解碼的圖像處理設(shè)備和方法。
背景技術(shù)：
近年來(lái)，如下這樣的設(shè)備劇增:通過(guò)數(shù)字方式處理圖像信息并且在這樣做時(shí)壓縮圖像以有效地傳遞和存儲(chǔ)信息。這種設(shè)備通過(guò)執(zhí)行使用專(zhuān)用于圖像信息的冗余的編碼格式來(lái)壓縮圖像，通過(guò)正交變換(例如離散余弦變換)以及通過(guò)運(yùn)動(dòng)補(bǔ)償來(lái)壓縮信息。這種編碼格式例如包括運(yùn)動(dòng)圖像專(zhuān)家組(MPEG )的編碼格式。
特別地，將MPEG-2( IS0/IEC 13818-2)定義為通用圖像編碼格式，并且是包括隔行掃描圖像和逐行掃描圖像兩者以及標(biāo)準(zhǔn)清晰度圖像和聞清晰度圖像的標(biāo)準(zhǔn)。例如，MPEG-2目前廣泛用于專(zhuān)業(yè)用途和消費(fèi)者用途的寬范圍應(yīng)用。通過(guò)使用MPEG-2壓縮格式，如果給定例如具有720X480像素的標(biāo)準(zhǔn)清晰度隔行掃描圖像，則分配從4Mbps到8Mbps的比特率。此外，通過(guò)使用MPEG-2壓縮格式，如果給定例如具有1920 X 1088像素的高清晰度隔行掃描圖像，則分配從18 Mbps到22 Mbps的比特率。因此，可以實(shí)現(xiàn)高壓縮率和良好的圖像質(zhì)量。
雖然MPEG-2的主要目標(biāo)是適合于廣播的高圖像質(zhì)量編碼，但是它與比特率低于MPEG-1 (或者換言之，高壓縮率)的編碼格式不兼容，。由于移動(dòng)裝置的劇增，相信將來(lái)對(duì)這種編碼格式的需求會(huì)增加，并且作為響應(yīng)，已經(jīng)將MPEG-4編碼格式標(biāo)準(zhǔn)化。1998年12月，MPEG-4作為IS0/IEC 14496-2被指定為圖像編碼的國(guó)際標(biāo)準(zhǔn)。
作為標(biāo)準(zhǔn)化方案的一部分，在2003年3月，H.264和MPEG-4 Part 10 (高級(jí)視頻編碼，下面縮寫(xiě)為AVC)被國(guó)際標(biāo)準(zhǔn)化。
此外，作為AVC格式的擴(kuò)展，在2005年2月完成了 FRExt (保真度范圍擴(kuò)展)的標(biāo)準(zhǔn)化。FRExt包括用于商業(yè)用途的編碼工具，例如RGB，4:2:2和4:4: 4，以及8 X 8DCT和MPEG-2中定義的量化矩陣。結(jié)果，AVC格式可用于能夠良好表達(dá)的圖像編碼(即使電影中包括膠片噪聲)，這使得它用于寬范圍的應(yīng)用中(例如藍(lán)光盤(pán)(商標(biāo)))。
但是，對(duì)于以更高壓縮率編碼的需求正在不斷增長(zhǎng)，例如對(duì)于壓縮具有大約4000X4000像素的圖像(四倍于高清晰度圖像)的需求，或者對(duì)于在傳輸能力有限的環(huán)境下(例如互聯(lián)網(wǎng))傳送高清晰度圖像的需求。因此，正在進(jìn)行關(guān)于通過(guò)ITU-T的視頻編碼專(zhuān)家組(VCEG)來(lái)提高編碼效率的研究。
同時(shí)，已經(jīng)關(guān)注到，設(shè)置為16X16像素的宏塊尺寸對(duì)于諸如超高清晰度(UHD)(4000X 2000像素)的大圖像尺寸不一定最佳，其中UHD將是下一代編碼格式的目標(biāo)。
因此，通過(guò)聯(lián)合協(xié)作小組-視頻編碼(JCTVC) (ITU-T與IS0/IEC之間的聯(lián)合標(biāo)準(zhǔn)組)的努力，稱(chēng)為高效視頻編碼(HEVC)的編碼格式的標(biāo)準(zhǔn)化正在進(jìn)展中，目的是進(jìn)一步提高通過(guò) AVC 的編碼效率。(例如，參見(jiàn) Joel Jung, Guillaume Laroche, “Competition-BasedScheme for Motion Vector Selection and Coding”, VCEG-ACO6, ITU-電信標(biāo)準(zhǔn)化部門(mén)STUDY GROUP 16 Question6視頻編碼專(zhuān)家組(VCEG)第29次會(huì)議:Klagenfurt，奧地利，2006 年 7 月 17-18)
通過(guò)HEVC編碼格式，將編碼單位(⑶)定義為類(lèi)似于A(yíng)VC格式中的宏塊的處理單位。CU不像AVC格式中一樣固定于16X16像素的尺寸，而是在各個(gè)序列中的圖像壓縮信息中指定。此外，還在各個(gè)序列中規(guī)定最大CU (最大編碼單位或LCU)和最小CU (最小編碼單位或SCU)的尺寸。
CU被分為預(yù)測(cè)單位(PU)，PU是用作幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)期間的處理單位的區(qū)域(即，針對(duì)單個(gè)圖片的圖像的部分區(qū)域)，并進(jìn)一步分為變換單位(TU)，TU是用作正交變換過(guò)程中的處理單位的區(qū)域(即，用于單個(gè)圖片的圖像的部分區(qū)域)。
通過(guò)幀間PU，可以將2NX2N尺寸的單個(gè)CU分為2NX 2N、2NXN、NX 2N或NXN尺寸。
同時(shí),通過(guò)AVC格式,在輸入圖像是交錯(cuò)信號(hào)(interlaced signal)的情況下,在可以在以圖片或宏塊對(duì)為單位的幀編碼與場(chǎng)編碼之間選擇。在交錯(cuò)信號(hào)中，幀和宏塊由具有不同奇偶性(頂和底)的交替場(chǎng)組成，稱(chēng)為頂場(chǎng)和底場(chǎng)。
場(chǎng)編碼是將頂場(chǎng)和底場(chǎng)分別編碼的方法，而幀編碼是不將幀分為頂場(chǎng)和底場(chǎng)的編碼方法。
此外，在通過(guò)AVC格式進(jìn)行場(chǎng)編碼的情況下，當(dāng)被處理的場(chǎng)不同于參考場(chǎng)時(shí)，用于色度信號(hào)的運(yùn)動(dòng)矢量的垂直分量被移位。發(fā)明內(nèi)容
可以預(yù)期，與交錯(cuò)信號(hào)相關(guān)的上述功能也被應(yīng)用于HEVC。但是，在輸入是交錯(cuò)信號(hào)的情況下，如果選擇是進(jìn)行以宏塊對(duì)為單位的場(chǎng)編碼還是進(jìn)行幀編碼的處理被應(yīng)用于HEVC中定義的處理單位CU，則處理可能變得更復(fù)雜。
在這種情況下，在輸入是交錯(cuò)信號(hào)的情況下實(shí)現(xiàn)有效的編碼或解碼是期望的。
根據(jù)本公開(kāi)實(shí)施例的圖像處理設(shè)備包括:接收器，用于接收編碼流和針對(duì)每個(gè)序列發(fā)送的、指示是否進(jìn)行場(chǎng)編碼的場(chǎng)編碼標(biāo)志；以及解碼器，用于通過(guò)根據(jù)所述接收器接收的所述場(chǎng)編碼標(biāo)志將所述接收器接收的編碼流解碼，來(lái)產(chǎn)生圖像。
也可以配置為使得接收器接收奇偶標(biāo)志，奇偶標(biāo)志指示各個(gè)場(chǎng)的奇偶性并且針對(duì)每個(gè)圖片發(fā)送，并且在所述接收器接收的場(chǎng)編碼標(biāo)志指示進(jìn)行場(chǎng)編碼的情況下，解碼器通過(guò)根據(jù)所述接收器接收的奇偶標(biāo)志將接收器接收的編碼流解碼，來(lái)產(chǎn)生圖像。
可以在序列參數(shù)集中設(shè)置場(chǎng)編碼標(biāo)志。
可以在適應(yīng)參數(shù)集中設(shè)置奇偶標(biāo)志。
也可以配置為使得接收器接收用于作為交錯(cuò)信號(hào)顯示的指令信息，指令信息在補(bǔ)充增強(qiáng)信息消息中被設(shè)置和發(fā)送，以及在接收器接收的場(chǎng)編碼標(biāo)志指示進(jìn)行幀編碼的情況下，解碼器通過(guò)根據(jù)接收器接收的指令信息將所述接收器接收的編碼流解碼，來(lái)產(chǎn)生圖像，并將產(chǎn)生的圖像作為交錯(cuò)信號(hào)輸出。
根據(jù)本公開(kāi)實(shí)施例的圖像處理方法包括:接收編碼流和針對(duì)每個(gè)序列發(fā)送的、指示是否進(jìn)行場(chǎng)編碼的場(chǎng)編碼標(biāo)志；以及通過(guò)根據(jù)接收的場(chǎng)編碼標(biāo)志將接收的編碼流解碼，來(lái)產(chǎn)生圖像。
根據(jù)本公開(kāi)另一實(shí)施例的圖像處理設(shè)備包括:編碼器，用于根據(jù)是否要對(duì)圖像進(jìn)行場(chǎng)編碼，將圖像編碼，并產(chǎn)生編碼流；設(shè)置單元，用于針對(duì)每個(gè)序列，設(shè)置指示是否對(duì)圖像進(jìn)行場(chǎng)編碼的場(chǎng)編碼標(biāo)志；以及發(fā)送器，用于發(fā)送由編碼器產(chǎn)生的編碼流以及由設(shè)置單元針對(duì)每個(gè)序列設(shè)置的場(chǎng)編碼標(biāo)志。
也可以配置為使得設(shè)定單元在要對(duì)圖像進(jìn)行場(chǎng)編碼的情況下，針對(duì)每個(gè)圖片設(shè)置指示各個(gè)場(chǎng)的奇偶性的奇偶標(biāo)志，以及發(fā)送器發(fā)送由設(shè)置單元針對(duì)每個(gè)圖片設(shè)置的奇偶標(biāo)O
設(shè)置單元可以在序列參數(shù)集中設(shè)置場(chǎng)編碼標(biāo)志。
設(shè)置單元在適應(yīng)參數(shù)集中設(shè)置奇偶標(biāo)志。
也可以配置為使得在要要對(duì)圖像進(jìn)行幀編碼但是該圖像顯示為交錯(cuò)信號(hào)的情況下，設(shè)置單元在補(bǔ)充增強(qiáng)信息消息中設(shè)置用于作為交錯(cuò)信號(hào)顯示的指令信息。
根據(jù)本公開(kāi)另一實(shí)施例的圖像處理方法包括:根據(jù)是否要對(duì)圖像進(jìn)行場(chǎng)編碼，將圖像編碼，并產(chǎn)生編碼流；針對(duì)每個(gè)序列設(shè)置指示是否對(duì)所述圖像進(jìn)行場(chǎng)編碼的場(chǎng)編碼標(biāo)志；以及發(fā)送產(chǎn)生的編碼流和針對(duì)每個(gè)序列設(shè)置的場(chǎng)編碼標(biāo)志。
根據(jù)本公開(kāi)的實(shí)施例，接收編碼流以及針對(duì)每個(gè)序列發(fā)送的指示、是否進(jìn)行場(chǎng)編碼的場(chǎng)編碼標(biāo)志，并通過(guò)根據(jù)接收到的場(chǎng)編碼標(biāo)志將接收到的編碼流解碼，來(lái)產(chǎn)生圖像。
根據(jù)本公開(kāi)另一實(shí)施例，根據(jù)是否要對(duì)圖像進(jìn)行場(chǎng)編碼將圖像編碼，并產(chǎn)生編碼流。然后針對(duì)每個(gè)序列設(shè)置指示是否進(jìn)行場(chǎng)編碼的場(chǎng)編碼標(biāo)志，并發(fā)送產(chǎn)生的編碼流以及針對(duì)每個(gè)序列設(shè)置的場(chǎng)編碼標(biāo)志。
注意，上述圖像處理設(shè)備可以是獨(dú)立設(shè)備、或者構(gòu)成單個(gè)圖像編碼設(shè)備或圖像解碼設(shè)備的內(nèi)部塊。
根據(jù)本公開(kāi)的實(shí)施例，可將圖像解碼。特別地，在輸入是交錯(cuò)信號(hào)的情況下，可以提聞解碼效率。
根據(jù)本公開(kāi)另一實(shí)施例，可將圖像編碼。特別地，在輸入是交錯(cuò)信號(hào)的情況下，可以提高編碼效率。



圖1是示出圖像編碼設(shè)備的示例性基本構(gòu)造的方框圖2示出編碼單位的示例性結(jié)構(gòu)；
圖3示出以圖片為單位將交錯(cuò)信號(hào)編碼的示例；
圖4示出以宏塊對(duì)為單位中將交錯(cuò)信號(hào)編碼的示例；
圖5示出用于A(yíng)VC格式中的序列參數(shù)集的語(yǔ)法示例；
圖6示出用于A(yíng)VC格式中的序列參數(shù)集的語(yǔ)法示例；
圖7示出用于A(yíng)VC格式中的條帶頭(slice header)的語(yǔ)法示例；
圖8示出用于A(yíng)VC格式中的條帶頭的語(yǔ)法示例；
圖9示出用于A(yíng)VC格式中的條帶數(shù)據(jù)的語(yǔ)法示例；
圖10示出運(yùn)動(dòng)矢量移位的示例；
圖11示出運(yùn)動(dòng)矢量移位的示例；
圖12示出根據(jù)本技術(shù)實(shí)施例的語(yǔ)法示例；
圖13示出根據(jù)本技術(shù)實(shí)施例的語(yǔ)法示例；
圖14是示出交錯(cuò)參數(shù)編碼器和無(wú)損編碼器的示例性基本構(gòu)造的方框圖15是示出編碼處理的示例性流程的流程圖16是示出VCL中編碼處理的示例性流程的流程圖17是示出幀間預(yù)測(cè)處理的示例性流程的流程圖18是示出圖像解碼設(shè)備的示例性基本構(gòu)造的方框圖19是示出交錯(cuò)參數(shù)接收器和無(wú)損解碼器的示例性基本構(gòu)造的方框圖20是示出解碼處理的示例性流程的流程圖21是示出VCL中解碼處理的示例性流程的流程圖22是示出計(jì)算機(jī)的示例性基本構(gòu)造的方框圖23是示出電視機(jī)的示意性構(gòu)造的示例的方框圖24是示出移動(dòng)電話(huà)的示意性構(gòu)造的示例的方框圖25是示出記錄和重放設(shè)備的示意性構(gòu)造的示例的方框圖；以及
圖26是示出成像設(shè)備的示意性構(gòu)造的示例的方框圖。
具體實(shí)施方式
根據(jù)本發(fā)明的實(shí)施例，提供一種圖像處理設(shè)備，包括:接收器，用于接收編碼流和針對(duì)每個(gè)序列發(fā)送的、指示是否進(jìn)行場(chǎng)編碼的場(chǎng)編碼標(biāo)志；以及解碼器，用于通過(guò)根據(jù)所述接收器接收的場(chǎng)編碼標(biāo)志將接 收器接收的編碼流解碼，來(lái)產(chǎn)生圖像。
根據(jù)本發(fā)明的實(shí)施例，提供一種圖像處理方法，包括:接收編碼流和針對(duì)每個(gè)序列發(fā)送的、指示是否進(jìn)行場(chǎng)編碼的場(chǎng)編碼標(biāo)志；以及通過(guò)根據(jù)接收的場(chǎng)編碼標(biāo)志將接收的編碼流解碼，來(lái)產(chǎn)生圖像。
根據(jù)本發(fā)明的實(shí)施例，提供一種圖像處理設(shè)備，包括:編碼器，用于根據(jù)是否要對(duì)圖像進(jìn)行場(chǎng)編碼，將所述圖像編碼，并產(chǎn)生編碼流；設(shè)置單元，用于針對(duì)每個(gè)序列，設(shè)置指示是否對(duì)所述圖像進(jìn)行場(chǎng)編碼的場(chǎng)編碼標(biāo)志；以及發(fā)送器，用于發(fā)送由所述編碼器產(chǎn)生的所述編碼流以及由所述設(shè)置單元針對(duì)每個(gè)序列設(shè)置的所述場(chǎng)編碼標(biāo)志。
根據(jù)本發(fā)明的實(shí)施例，提供一種圖像處理方法，包括:根據(jù)是否要對(duì)圖像進(jìn)行場(chǎng)編碼，將所述圖像編碼，并產(chǎn)生編碼流；針對(duì)每個(gè)序列設(shè)置指示是否對(duì)所述圖像進(jìn)行場(chǎng)編碼的場(chǎng)編碼標(biāo)志；以及發(fā)送產(chǎn)生的編碼流和針對(duì)每個(gè)序列設(shè)置的所述場(chǎng)編碼標(biāo)志。
下面，描述實(shí)現(xiàn)本公開(kāi)的實(shí)施例(下面指定的實(shí)施例)。按照以下順序進(jìn)行描述。
1.第一實(shí)施例(圖像編碼設(shè)備)
2.第二實(shí)施例(圖像解碼設(shè)備)
3.第三實(shí)施例(計(jì)算機(jī))
4.示例性應(yīng)用
1.第一實(shí)施例
圖像編碼設(shè)備
圖1是示出圖像編碼設(shè)備的示例性基本構(gòu)造的方框圖。
圖1所示圖像編碼設(shè)備100例如通過(guò)在符合高效視頻編碼(HEVC)的格式中使用預(yù)測(cè)處理來(lái)將圖像數(shù)據(jù)編碼。
如圖1所示，圖像編碼設(shè)備100包括A/D轉(zhuǎn)換器101、幀分類(lèi)緩沖器102、算術(shù)單元103、正交變換單元104、量化器105、無(wú)損編碼器106、累積緩沖器107、逆量化器108以及逆正交變換單元109。此外，圖像編碼設(shè)備100包括算術(shù)單元110、去塊濾波器111、幀存儲(chǔ)器112、選擇器113、幀內(nèi)預(yù)測(cè)單元114、運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115、預(yù)測(cè)圖像選擇器116以及速率控制器117。
圖像編碼設(shè)備100另外還包括交錯(cuò)參數(shù)編碼器(interlace parameter encoder)121和運(yùn)動(dòng)矢量移位器122。
A/D轉(zhuǎn)換器101對(duì)輸入圖像數(shù)據(jù)進(jìn)行A/D轉(zhuǎn)換，并將轉(zhuǎn)換后的圖像數(shù)據(jù)(數(shù)字?jǐn)?shù)據(jù))提供給幀分類(lèi)緩沖器102用于存儲(chǔ)。
這里假定在圖像編碼設(shè)備100中輸入和輸出是通過(guò)交錯(cuò)信號(hào)來(lái)處理的。通過(guò)交錯(cuò)信號(hào)，兩個(gè)場(chǎng)構(gòu)成單個(gè)幀，在空間上較高的場(chǎng)稱(chēng)為頂場(chǎng)，而在空間上較低的場(chǎng)稱(chēng)為底場(chǎng)。給定場(chǎng)的特定類(lèi)型(頂或底)稱(chēng)為它的奇偶性。
此外，在圖像編碼設(shè)備100中，在輸入圖像是交錯(cuò)信號(hào)的情況下，可以設(shè)置是進(jìn)行場(chǎng)編碼還是幀編碼。在輸入圖像是交錯(cuò)信號(hào)的情況下，經(jīng)由用戶(hù)輸入單元或者其他裝置(圖中未示出)將指示是否進(jìn)行場(chǎng)編碼的場(chǎng)編碼信息輸入幀分類(lèi)緩沖器102。
基于場(chǎng)編碼信息，幀分類(lèi)緩沖器102按照存儲(chǔ)的顯示順序提取幀的圖像并根據(jù)圖片組(GOP)將它們按照編碼的幀順序重新分類(lèi)。然后幀分類(lèi)緩沖器102按照重新分類(lèi)的幀順序?qū)D像提供給算術(shù)單元103。幀分類(lèi)緩沖器102還按照重新分類(lèi)的幀順序?qū)D像提供給幀內(nèi)預(yù)測(cè)單元114和運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115。
此外，幀分類(lèi)緩沖器102將場(chǎng)編碼信息提供給交錯(cuò)參數(shù)編碼器121。同時(shí)，在場(chǎng)編碼的情況下，幀分類(lèi)緩沖器102還將每個(gè)場(chǎng)的奇偶性信息提供給交錯(cuò)參數(shù)編碼器121。
算術(shù)單元103從自幀分類(lèi)緩沖器102檢索到的圖像中減去經(jīng)由預(yù)測(cè)圖像選擇器116從幀內(nèi)預(yù)測(cè)單元114或者運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115提供的預(yù)測(cè)圖像。
例如，在幀間編碼的圖像的情況下，算術(shù)單元103從自幀分類(lèi)緩沖器102檢索到的圖像中減去運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115提供的預(yù)測(cè)圖像。
正交變換單元104對(duì)于從算術(shù)單元103輸出的錯(cuò)誤信息進(jìn)行正交變換，例如離散余弦變換或者Karhunen-Loeve變換。這里的正交變換方法是任意的。正交變換單元104將變換系數(shù)提供給量化器105。
量化器105對(duì)從正交變換單元104提供的變換系數(shù)進(jìn)行量化。量化器105基于與從速率控制器117提供的比特率的目標(biāo)值相關(guān)的信息，設(shè)置量化參數(shù)，并因此進(jìn)行量化。這里的量化方法是任意的。量化器105將量化后的變換系數(shù)提供給無(wú)損編碼器106。
無(wú)損編碼器106根據(jù)任意的編碼格式將通過(guò)量化器105量化的變換系數(shù)編碼。因?yàn)橐呀?jīng)在速率控制器117的控制下將系數(shù)數(shù)據(jù)量化，所以其比特率等于(或者近似于)由速率控制器117設(shè)置的目標(biāo)值。
無(wú)損編碼器106從交錯(cuò)參數(shù)編碼器121獲取指示是否進(jìn)行場(chǎng)編碼的場(chǎng)編碼信息(即標(biāo)志)。此外，在場(chǎng)編碼的情況下，無(wú)損編碼器106還從交錯(cuò)參數(shù)編碼器121獲取每個(gè)場(chǎng)的奇偶性信息(即標(biāo)志)。無(wú)損編碼器106還從幀內(nèi)預(yù)測(cè)單元114獲取指示幀內(nèi)預(yù)測(cè)模式的信息等等，并從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115獲取指示幀間預(yù)測(cè)模式的信息和差分運(yùn)動(dòng)矢量信息等等。
無(wú)損編碼器106根據(jù)任意編碼格式將以上各種信息編碼，并將編碼數(shù)據(jù)(又稱(chēng)為編碼流)設(shè)定(復(fù)用)為頭部信息的一部分。無(wú)損編碼器106將通過(guò)編碼獲得的編碼數(shù)據(jù)提供給累積緩沖器107，用于緩沖。
無(wú)損編碼器106的編碼格式例如可以是可變長(zhǎng)度編碼或者算術(shù)編碼。可變長(zhǎng)度編碼的示例例如包括在A(yíng)VC格式中規(guī)定的上下文自適應(yīng)可變長(zhǎng)度編碼(CAVLC)。算術(shù)編碼的示例例如包括上下文自適應(yīng)二進(jìn)制算術(shù)編碼(CABAC)。
累積緩沖器107臨時(shí)保存從無(wú)損編碼器106提供的編碼數(shù)據(jù)。累積緩沖器107例如將存儲(chǔ)的編碼數(shù)據(jù)在給定定時(shí)輸出到下游記錄設(shè)備(記錄介質(zhì))或傳輸信道。換言之，累積緩沖器107也是發(fā)送編碼數(shù)據(jù)的發(fā)送器。
此外，通過(guò)量化器105量化的變換系數(shù)還被提供給逆量化器108。逆量化器108根據(jù)與量化器105的量化相對(duì)應(yīng)的方法將量化數(shù)據(jù)逆量化。逆量化方法可以是任何方法，只要它是與量化器105的量化處理相對(duì)應(yīng)的方法即可。逆量化器108將獲得的變換系數(shù)提供給逆正交變換單元109。
逆正交變換單元109將從逆量化器108提供的變換系數(shù)進(jìn)行與正交變換單元104的正交變換處理相對(duì)應(yīng)的逆正交變換。逆正交變換方法可以是任何方法，只要它是與正交變換單元104的正交變換處理相對(duì)應(yīng)的方法即可。經(jīng)過(guò)逆正交變換的輸出(即恢復(fù)的錯(cuò)誤信息)被提供給算術(shù)單元110。
算術(shù)單元110將恢復(fù)的錯(cuò)誤信息(即，從逆正交變換單元109提供的逆正交變換結(jié)果)加入經(jīng)由預(yù)測(cè)圖像選擇器116自幀內(nèi)預(yù)測(cè)單元114或者運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115提供的預(yù)測(cè)圖像并且獲取局部解碼的圖像。該解碼圖像被提供給去塊濾波器111或者幀存儲(chǔ)器112。
去塊濾波器111對(duì)從算術(shù)單元110提供的解碼圖像適當(dāng)?shù)剡M(jìn)行去塊濾波。例如，通過(guò)對(duì)解碼圖像進(jìn)行去塊濾波，去塊濾波器111可從解碼圖像去除塊效應(yīng)。
去塊濾波器111將濾波結(jié)果(即，濾波之后的解碼圖像)提供給幀存儲(chǔ)器112。但是，如上所述，也可以繞過(guò)去塊濾波器111，將從算術(shù)單元110輸出的解碼圖像提供給幀存儲(chǔ)器112。換言之，可以省略通過(guò)去塊濾 波器111的濾波。
幀存儲(chǔ)器112存儲(chǔ)提供的解碼圖像，并且在給定定時(shí)將存儲(chǔ)的解碼圖像提供給選擇器113作為參考圖像。
選擇器113為從幀存儲(chǔ)器112提供的參考圖像選擇提供目的地(supplydestination)。例如,在巾貞間預(yù)測(cè)的情況下,選擇器113可以向運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115提供從幀存儲(chǔ)器112提供的參考圖像。
幀內(nèi)預(yù)測(cè)單元114使用正在被處理的圖片(B卩，經(jīng)由選擇器113從幀存儲(chǔ)器112提供的參考圖像)中的像素值進(jìn)行幀內(nèi)預(yù)測(cè)(幀內(nèi)的預(yù)測(cè))，幀內(nèi)預(yù)測(cè)通過(guò)主要將預(yù)測(cè)單元(PU)作為處理單元來(lái)產(chǎn)生預(yù)測(cè)圖像。幀內(nèi)預(yù)測(cè)單元114在多個(gè)預(yù)設(shè)幀內(nèi)預(yù)測(cè)模式中進(jìn)行幀內(nèi)預(yù)測(cè)。
幀內(nèi)預(yù)測(cè)單元114在所有候選幀內(nèi)預(yù)測(cè)模式中產(chǎn)生預(yù)測(cè)圖像，利用從幀分類(lèi)緩沖器102提供的輸入圖像評(píng)估每個(gè)預(yù)測(cè)圖像的成本函數(shù)值，并選擇最佳模式。當(dāng)選擇最佳幀內(nèi)預(yù)測(cè)模式時(shí)，幀內(nèi)預(yù)測(cè)單元114將通過(guò)最佳模式產(chǎn)生的預(yù)測(cè)圖像提供給預(yù)測(cè)圖像選擇器116。
此外，如上所述，幀內(nèi)預(yù)測(cè)單元114將指示所執(zhí)行的幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)信息等等提供給無(wú)損編碼器106，用于編碼。
運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115利用從幀分類(lèi)緩沖器102提供的輸入圖像以及經(jīng)由選擇器113從幀存儲(chǔ)器112提供的參考圖像進(jìn)行運(yùn)動(dòng)預(yù)測(cè)(幀間預(yù)測(cè))，其主要將PU作為處理單元。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115根據(jù)檢測(cè)到的運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償并產(chǎn)生預(yù)測(cè)圖像(幀間預(yù)測(cè)圖像信息)。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115在多個(gè)預(yù)設(shè)幀間預(yù)測(cè)模式中進(jìn)行這種幀間預(yù)測(cè)。
運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115利用從幀分類(lèi)緩沖器102提供的輸入圖像以及運(yùn)動(dòng)矢量信息等等來(lái)評(píng)估每個(gè)預(yù)測(cè)圖像的成本函數(shù)值，并選擇最佳模式。當(dāng)選擇最佳幀間預(yù)測(cè)模式時(shí)，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115在最佳模式中產(chǎn)生預(yù)測(cè)圖像，并將由此產(chǎn)生的預(yù)測(cè)圖像提供給預(yù)測(cè)圖像選擇器116。
在場(chǎng)編碼的情況下，將用于亮度信號(hào)的運(yùn)動(dòng)矢量信息以及關(guān)于參考的信息從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115提供給運(yùn)動(dòng)矢量移位器122。響應(yīng)于被提供這些信息，通過(guò)運(yùn)動(dòng)矢量移位器122進(jìn)行運(yùn)動(dòng)矢量移位，并且從運(yùn)動(dòng)矢量移位器122提供移位的色度信號(hào)運(yùn)動(dòng)矢量信息。因此，在場(chǎng)編碼的情況下，在產(chǎn)生預(yù)測(cè)圖像時(shí)使用已經(jīng)通過(guò)運(yùn)動(dòng)矢量移位器122移位的色度信號(hào)運(yùn)動(dòng)矢量信息。
在將編碼數(shù)據(jù)或者用于指示執(zhí)行的幀間預(yù)測(cè)模式的信息解碼時(shí)，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115將關(guān)于該幀間預(yù)測(cè)模式中處理的信息提供給無(wú)損編碼器106，用于編碼。
預(yù)測(cè)圖像選擇器116選擇從其向算術(shù)單元103和算術(shù)單元110提供預(yù)測(cè)圖像的源。例如，在幀間編碼的情況下，預(yù)測(cè)圖像選擇器116選擇運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115作為預(yù)測(cè)圖像提供源，并將從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115提供的預(yù)測(cè)圖像提供給算術(shù)單元103和算術(shù)單元110。
速率控制器117基于在累積緩沖器107中緩沖的編碼數(shù)據(jù)的比特率，來(lái)控制量化器105的量化操作的速率，以使得不發(fā)生上溢或下溢。
交錯(cuò)參數(shù)編碼器121從幀分類(lèi)緩沖器102獲取指示是否對(duì)每個(gè)序列進(jìn)行場(chǎng)編碼的場(chǎng)編碼信息。交錯(cuò)參數(shù)編碼器 121在給定定時(shí)將獲取的場(chǎng)編碼信息提供給運(yùn)動(dòng)矢量移位器122。交錯(cuò)參數(shù)編碼器121還將獲取的場(chǎng)編碼信息設(shè)置為場(chǎng)編碼標(biāo)志，將針對(duì)每個(gè)序列的該場(chǎng)編碼標(biāo)志提供給無(wú)損編碼器106。
在場(chǎng)編碼信息指示要進(jìn)行場(chǎng)編碼的情況下，交錯(cuò)參數(shù)編碼器121從幀分類(lèi)緩沖器102獲取每個(gè)場(chǎng)的奇偶性信息。交錯(cuò)參數(shù)編碼器121在給定定時(shí)將獲取的奇偶性信息提供給運(yùn)動(dòng)矢量移位器122。此外交錯(cuò)參數(shù)編碼器121將獲取的奇偶性信息設(shè)置為奇偶標(biāo)志，將針對(duì)每個(gè)圖片的該奇偶標(biāo)志提供給無(wú)損編碼器106。
當(dāng)從交錯(cuò)參數(shù)編碼器121獲取每個(gè)場(chǎng)的奇偶性信息時(shí)，運(yùn)動(dòng)矢量移位器122從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115獲取亮度信號(hào)運(yùn)動(dòng)矢量信息。利用獲取的亮度信號(hào)運(yùn)動(dòng)矢量信息，運(yùn)動(dòng)矢量移位器122根據(jù)來(lái)自交錯(cuò)參數(shù)編碼器121的每個(gè)場(chǎng)的奇偶性信息將色度信號(hào)運(yùn)動(dòng)矢量移位。此時(shí)，還從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115獲取關(guān)于參考PU的信息，并用于處理。運(yùn)動(dòng)矢量移位器122將移位的色度信號(hào)運(yùn)動(dòng)矢量提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115。
編碼單位
下面描述在HEVC格式中規(guī)定的編碼單位。被設(shè)置為16X16像素的宏塊尺寸對(duì)于諸如超高清晰度(UHD) (4000X2000像素)的大圖像尺寸不一定最佳，其中UHD將是下一代編碼格式的目標(biāo)。
因此，雖然在A(yíng)VC格式中規(guī)定宏塊和子宏塊的分層結(jié)構(gòu)，但是編碼單位(CU)例如通過(guò)HEVC格式來(lái)規(guī)定，如圖2所示。
CU又稱(chēng)為編碼樹(shù)塊(CTB)，其是用于單個(gè)圖片的圖像的部分區(qū)域，并與AVC格式中的宏塊起相似的作用。盡管宏塊被固定于16X16像素的尺寸，但是CU的尺寸不是固定的，而是在各個(gè)序列中的圖像壓縮信息中指定。
例如，在輸出編碼數(shù)據(jù)中包括的序列參數(shù)集(SPS)中規(guī)定最大⑶(最大編碼單位或IXU)和最?、?最小編碼單位或S⑶)的尺寸。
在各個(gè)IXU中，通過(guò)設(shè)定split_f lag=l，可以將⑶細(xì)分為更小的尺寸，只要細(xì)分的⑶不小于SCU的尺寸即可。在圖2所示的示例中，IXU的尺寸的128，并且最大層深度是5。當(dāng)split_flag的值為I時(shí)，尺寸為2NX2N的⑶被分為下方一層的尺寸為NXN的⑶。
此外，CU被分為預(yù)測(cè)單位(PU)，PU是用作幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)期間的處理單位的區(qū)域(即，用于單個(gè)圖片的圖像的部分區(qū)域)，然后PU被分為變換單位(TU)，TU是用作正交變換期間的處理單位的區(qū)域(即，用于單個(gè)圖片的圖像的部分區(qū)域)。目前，通過(guò)HEVC格式，除了 4X4和8X8之外，還可以使用16X16和32X32正交變換。
通過(guò)幀間PU，可以將尺寸為2NX2N的單個(gè)CU分為2NX2N、2NXN、NX2N或者NXN的尺寸。在上述序列參數(shù)集中定義inter_4x4_enable_flag,并且通過(guò)將其值設(shè)定為O,就變得可以禁止具有4X4塊尺寸的幀間⑶的使用。
在其中定義了⑶并且以這些⑶為單位進(jìn)行各種處理的編碼格式的情況下，如同在上述HEVC格式中，可以將AVC格式中的宏塊視作等同于LCU，并將塊(子塊)視作等同于⑶。此外，可以將AVC格式中的運(yùn)動(dòng)補(bǔ)償塊視作等同于PU。但是，因?yàn)棰蔷哂蟹謱咏Y(jié)構(gòu)，所以，通常將最上層中的IXU尺寸設(shè)置為比AVC格式中的宏塊的尺寸更大的值，例如128X128像素。
編碼交錯(cuò)信號(hào)
下面描述AVC格式中的交 錯(cuò)信號(hào)的編碼。在交錯(cuò)信號(hào)中，圖片由具有不同奇偶性(頂和底)的交替場(chǎng)組成，稱(chēng)為頂場(chǎng)和底場(chǎng)。此外，通過(guò)AVC格式，在輸入圖像是交錯(cuò)信號(hào)的情況下，可以在以圖片或宏塊對(duì)為單位的幀編碼與場(chǎng)編碼之間選擇。下面視情況將這種交錯(cuò)信號(hào)的編碼指定為幀編碼/場(chǎng)編碼。
圖3示出以圖片為單位將交錯(cuò)信號(hào)編碼的示例。圖3中的示例示出幀編碼圖片和場(chǎng)編碼圖片。有陰影的場(chǎng)表示頂場(chǎng)，沒(méi)有陰影的場(chǎng)表示底場(chǎng)。
通過(guò)幀編碼，圖片按照原來(lái)的樣子編碼，并且包含從頂場(chǎng)到底場(chǎng)的交替線(xiàn)。與之不同，通過(guò)場(chǎng)編碼，將圖片分為頂場(chǎng)和底場(chǎng)，或者換言之，通過(guò)不同的奇偶值將圖片編碼。
圖4示出以宏塊對(duì)為單位將交錯(cuò)信號(hào)編碼的示例。在A(yíng)VC格式中，通常使用由16X16像素組成的宏塊。將圖4中所示的各個(gè)正方形作為各個(gè)宏塊?？梢园凑諒膱D像左上方開(kāi)始的順序來(lái)設(shè)置宏塊。在本示例中，將最左上方的宏塊作為O號(hào)宏塊，將O號(hào)宏塊下面的相鄰宏塊作為I號(hào)宏塊。此外，將O號(hào)宏塊右邊的相鄰宏塊作為2號(hào)宏塊，將I號(hào)宏塊右邊的相鄰宏塊作為3號(hào)宏塊.
在A(yíng)VC格式中，配置為使得可以適應(yīng)性地針對(duì)每個(gè)宏塊對(duì)選擇幀編碼或者場(chǎng)編碼，每個(gè)宏塊對(duì)包括圖像中的兩個(gè)垂直相鄰的宏塊。在本示例中，由號(hào)碼為O和I的兩個(gè)宏塊形成一個(gè)宏塊對(duì)，由號(hào)碼為2和3的兩個(gè)宏塊形成另一個(gè)宏塊對(duì)等等。
圖4所示宏塊對(duì)的情況仍然類(lèi)似于前面通過(guò)圖3所述圖片的情況。換言之，通過(guò)幀編碼，宏塊對(duì)按照原來(lái)的樣子編碼，并且包含從頂場(chǎng)到底場(chǎng)的交替線(xiàn)。與之不同，通過(guò)場(chǎng)編碼，宏塊對(duì)被分為頂場(chǎng)和底場(chǎng)，或者換言之，通過(guò)不同的奇偶值將宏塊對(duì)編碼。
對(duì)于交錯(cuò)信號(hào)的這種編碼，將圖5至圖9所示的信息規(guī)定為AVC格式中的語(yǔ)法元素。
AVC格式中的語(yǔ)法示例
圖5和圖6示出用于通過(guò)圖像編碼設(shè)備100產(chǎn)生的序列參數(shù)集的語(yǔ)法示例。每一行左邊的數(shù)字是行號(hào)，加上行號(hào)以幫助說(shuō)明。
在圖5和圖6的示例中，當(dāng)?shù)?6行的frame_mbs_only_flag的值為I時(shí)指示只進(jìn)行幀編碼，當(dāng)值為O時(shí)指示以圖片為單位或者以宏塊為單位進(jìn)行幀編碼/場(chǎng)編碼。
當(dāng)?shù)?6 行的 frame_mbs_only_flag 為 O 時(shí)，指定第 48 行的 mb_adaptive_frame_field_flag。第48行的mb_adaptive_frame_field_flag是指示是否進(jìn)行以宏塊對(duì)為單位的中貞編碼/場(chǎng)編碼的標(biāo)志。當(dāng)mb_adaptive_frame_field_flag的值為I時(shí)，進(jìn)行以宏塊對(duì)為單位的幀編碼/場(chǎng)編碼。
圖7和圖8示出用于通過(guò)圖像編碼設(shè)備100產(chǎn)生的條帶頭的語(yǔ)法示例。每一行左邊的數(shù)字是行號(hào)，加上行號(hào)以幫助說(shuō)明。
在圖7和圖8的示例中，第9行的field_pic_flag是當(dāng)上述圖5和圖6中第46行的frame_mbs_only_flag為O時(shí)發(fā)送的標(biāo)志。當(dāng)該值為I時(shí)，field_pic_flag指示要進(jìn)行以圖片為單位的幀編碼/場(chǎng)編碼，如前面 參照?qǐng)D3所述。
當(dāng)?shù)?1行的bottom_field_flag的值為O時(shí),指示對(duì)應(yīng)的條帶是與頂場(chǎng)相關(guān)的數(shù)據(jù)，當(dāng)值為I時(shí)，指示對(duì)應(yīng)的條帶是與底場(chǎng)相關(guān)的數(shù)據(jù)。
圖9示出用于通過(guò)圖像編碼設(shè)備100產(chǎn)生的條帶數(shù)據(jù)的語(yǔ)法示例。每一行左邊的數(shù)字是行號(hào)，加上行號(hào)以幫助說(shuō)明。
在圖9的示例中，當(dāng)?shù)?3行的mb_field_decoding_flag的值為I時(shí)，指示要將對(duì)應(yīng)的宏塊對(duì)進(jìn)行編碼，當(dāng)值為O時(shí)，指示要將對(duì)應(yīng)的宏塊對(duì)進(jìn)行幀編碼。
同時(shí)，第22行的if語(yǔ)句是語(yǔ)法元素，其表述在已經(jīng)針對(duì)宏塊對(duì)中的其中一個(gè)宏塊發(fā)送第23行的mb_field_decoding_flag的情況下,不針對(duì)該宏塊對(duì)中的另外一個(gè)宏塊發(fā)送標(biāo)志O
運(yùn)動(dòng)矢量移位
通過(guò)AVC格式，在前面參照?qǐng)D3或圖4描述場(chǎng)編碼的情況下，用于色度信號(hào)的運(yùn)動(dòng)矢量的垂直分量被移位。
圖10示出在正在被處理場(chǎng)是頂場(chǎng)而參考場(chǎng)是底場(chǎng)的情況下的示例性運(yùn)動(dòng)矢量移位。圖11示出在正在被處理場(chǎng)是底場(chǎng)而參考場(chǎng)是頂場(chǎng)的情況下的示例性運(yùn)動(dòng)矢量移位。
圖10和圖11示出輸入被4:2:0場(chǎng)編碼的情況的示例。虛線(xiàn)表示亮度信號(hào)的像素間隔，而實(shí)線(xiàn)矩形表示運(yùn)動(dòng)補(bǔ)償塊(PU)。白色圓表示亮度信號(hào)像素，而白色正方形表示色度信號(hào)像素。黑色正方形表示與具有移位的垂直分量的色度信號(hào)運(yùn)動(dòng)矢量對(duì)應(yīng)的色度信號(hào)像素。
例如，在頂場(chǎng)中的色度信號(hào)像素位于從頂部開(kāi)始的第一和第三亮度信號(hào)像素位置的情況下，底場(chǎng)中的色度信號(hào)像素將位于第二和第四亮度信號(hào)像素位置。
換言之，如圖10所示，如果亮度信號(hào)運(yùn)動(dòng)矢量MV被縮放以獲得色度信號(hào)運(yùn)動(dòng)矢量MVa,則對(duì)應(yīng)的色度信號(hào)像素相比于亮度信號(hào)像素將移位-1/4。因此，在這種情況下，將色度信號(hào)運(yùn)動(dòng)矢量MVa移位以變成移位的色度信號(hào)運(yùn)動(dòng)矢量MVb，因此像素a被移位-1/4，并且對(duì)應(yīng)的色度信號(hào)像素變成像素b。因此，使得亮度信號(hào)運(yùn)動(dòng)矢量MV與色度信號(hào)運(yùn)動(dòng)矢量MVb在相位上一致。
類(lèi)似地，在圖11中，如果亮度信號(hào)運(yùn)動(dòng)矢量MV被縮放以獲得色度信號(hào)運(yùn)動(dòng)矢量MVc，則對(duì)應(yīng)的色度信號(hào)像素c相比于亮度信號(hào)像素將移位1/4。因此，在這種情況下，色度信號(hào)運(yùn)動(dòng)矢量MVc被移位變成移位的色度信號(hào)運(yùn)動(dòng)矢量MVd，從而像素c被移位-1/4，并且對(duì)應(yīng)的色度信號(hào)像素變成像素d。因此，使得亮度信號(hào)運(yùn)動(dòng)矢量MV與色度信號(hào)運(yùn)動(dòng)矢量MVd在相位上一致。
如上，作為參照?qǐng)D3和圖4所述的用于交錯(cuò)信號(hào)的AVC格式的功能的幀編碼/場(chǎng)編碼也可應(yīng)用于HEVC格式。但是，如果在上面參照?qǐng)D4所述的以宏塊對(duì)為單位的幀編碼/場(chǎng)編碼應(yīng)用于HEVC中定義的⑶，則處理變得復(fù)雜，并且因此不能實(shí)現(xiàn)。
與之不同，通過(guò)本技術(shù)，只進(jìn)行圖3所示的以圖片為單位的幀編碼和場(chǎng)編碼。但是，如果在相同序列中將圖3所示的幀編碼和場(chǎng)編碼混合，則去塊濾波器應(yīng)用以及用于運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償?shù)膮⒖缄P(guān)系變得更加復(fù)雜。
此外，通過(guò)AVC格式，圖片參數(shù)集包含相同圖片中使用的參數(shù)的混合，例如量化參數(shù)以及在相同圖 片中有可能改變的參數(shù)，例如自適應(yīng)環(huán)路濾波器參數(shù)。因此，在后面的參數(shù)變化的情況下，前面的未變參數(shù)也被重新發(fā)送。
本技術(shù)和語(yǔ)法示例的概述
因此，在本技術(shù)中，在通過(guò)圖12的語(yǔ)法元素所示的序列參數(shù)集中設(shè)置field_coding_flag并將其發(fā)送給解碼器(field_coding_flag是指示是否進(jìn)行場(chǎng)編碼的場(chǎng)編碼信息)。
在圖12的序列參數(shù)集中設(shè)置的field_coding_flag的值為I的情況下，將前面參照?qǐng)D3所述的場(chǎng)編碼應(yīng)用于正在被處理的全部序列。在field_coding_flag的值為O的情況下，將幀編碼應(yīng)用于正在被處理的全部序列。
同時(shí)，HEVC采用稱(chēng)為適應(yīng)參數(shù)集(APS)的語(yǔ)法元素，APS存儲(chǔ)以圖片為單位應(yīng)用的參數(shù)，例如自適應(yīng)環(huán)路濾波器參數(shù)。
因此，在field_coding_flag為I的情況下，在通過(guò)圖13的語(yǔ)法元素所示的APS中設(shè)定bottom_field_flag并將其發(fā)送給解碼器(bottom_field_flag是指示場(chǎng)是否是底場(chǎng)的奇偶性信息)。
當(dāng)圖13的APS中設(shè)置的bottom_field_flag的值為O時(shí)指示對(duì)應(yīng)的場(chǎng)是頂場(chǎng)，當(dāng)值為I時(shí)指示對(duì)應(yīng)的場(chǎng)是底場(chǎng)。
此外,在圖像編碼設(shè)備100中，根據(jù)通過(guò)bottom_field_flag給定的奇偶性信息的值進(jìn)行有關(guān)交錯(cuò)的編碼處理，例如前面參照?qǐng)D10和圖11所述的色度信號(hào)運(yùn)動(dòng)矢量移位。
換言之，將圖片中統(tǒng)一使用的參數(shù)集合在圖片參數(shù)集等等中，并將其發(fā)送給解碼器。相反，將每個(gè)場(chǎng)不同的奇偶性信息與APS捆綁并發(fā)送，APS用于發(fā)送圖片中有可能變化的參數(shù)，例如自適應(yīng)環(huán)路濾波器參數(shù)。這樣做時(shí)，可以避免重新發(fā)送圖片參數(shù)集。
因此，通過(guò)將如同上述的語(yǔ)法結(jié)構(gòu)應(yīng)用于HEVC，就變得可以減少關(guān)于A(yíng)VC格式的語(yǔ)法冗余，并有效地將交錯(cuò)信號(hào)編碼或解碼。
注意，即使輸入信號(hào)是交錯(cuò)信號(hào)，field_coding_flag的值仍然可以為O。在這種情況下，可以連同編碼流一起將補(bǔ)充增強(qiáng)信息(SEI)發(fā)送給解碼器，并使得編碼流作為交錯(cuò)信號(hào)輸出(顯示)。作為響應(yīng)，在解碼器，基于field_Coding_flag進(jìn)行對(duì)應(yīng)于幀編碼的解碼，以產(chǎn)生圖像，并將產(chǎn)生的圖像作為交錯(cuò)信號(hào)輸出(顯示)。
交錯(cuò)參數(shù)編碼器和無(wú)損編碼器的示例性構(gòu)造
圖14是示出交錯(cuò)參數(shù)編碼器121和無(wú)損編碼器106的示例性基本構(gòu)造的方框圖。
圖14的示例中的交錯(cuò)參數(shù)編碼器121被配置為包括場(chǎng)編碼緩沖器151和奇偶緩沖器152。
無(wú)損編碼器106被配置為至少包括語(yǔ)法寫(xiě)入器161。
場(chǎng)編碼緩沖器151從幀分類(lèi)緩沖器102獲取指示是否對(duì)圖像進(jìn)行場(chǎng)編碼的場(chǎng)編碼信息。獲取的場(chǎng)編碼信息被暫時(shí)存儲(chǔ)，并在給定定時(shí)提供給奇偶緩沖器152。此時(shí)，場(chǎng)編碼緩沖器151將場(chǎng)編碼信息設(shè)置為場(chǎng)編碼標(biāo)志(field_coding_flag),該場(chǎng)編碼標(biāo)志被提供給語(yǔ)法寫(xiě)入器161。
在來(lái)自場(chǎng)編碼緩沖器151的場(chǎng)編碼信息指示場(chǎng)編碼的情況下，奇偶緩沖器152從幀分類(lèi)緩沖器102獲取每個(gè)場(chǎng)的奇偶性信息，并暫時(shí)存儲(chǔ)獲取的奇偶性信息。然后奇偶緩沖器152在給定定時(shí)將每個(gè)場(chǎng)的奇偶性信息提供給運(yùn)動(dòng)矢量移位器122。此時(shí)，奇偶緩沖器152將每個(gè)場(chǎng)的奇偶性信息設(shè)置為奇偶標(biāo)志(bottom_field_flag),該奇偶標(biāo)志被提供給語(yǔ)法寫(xiě)入器161。
語(yǔ)法寫(xiě)入器161將來(lái)自場(chǎng)編碼緩沖器151的場(chǎng)編碼標(biāo)志加入編碼流中的序列參數(shù)集，如圖12所示。此外語(yǔ)法寫(xiě)入器161將來(lái)自奇偶緩沖器152的奇偶標(biāo)志加入編碼流中的APS，如圖13所示。
同時(shí)，當(dāng)從奇偶緩沖器152獲取每個(gè)場(chǎng)的奇偶性信息時(shí)，運(yùn)動(dòng)矢量移位器122從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115獲取亮度信號(hào)運(yùn)動(dòng)矢量信息，并將色度信號(hào)運(yùn)動(dòng)矢量移位。換言之，如前面參照?qǐng)D10所述，基于獲取的每個(gè)場(chǎng)的奇偶性信息，利用來(lái)自運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115的亮度信號(hào)運(yùn)動(dòng)矢量信息將色度信號(hào)運(yùn)動(dòng)矢量移位。
編碼處理流程
下面將描述通過(guò)上述圖像編碼設(shè)備100執(zhí)行的處理的流程。首先，將參照?qǐng)D15中的流程圖描述示例性編碼處理流程。
在輸入圖像是交錯(cuò)信號(hào)的情況下，將指示是否進(jìn)行場(chǎng)編碼的場(chǎng)編碼信息經(jīng)由用戶(hù)輸入單元或者附圖未示出的其他裝置輸入幀分類(lèi)緩沖器102。幀分類(lèi)緩沖器102基于場(chǎng)編碼信息將幀分類(lèi)，并將場(chǎng)編碼信息提供給場(chǎng)編碼緩沖器151。
場(chǎng)編碼緩沖器151從幀分類(lèi)緩沖器102獲取指示是否對(duì)圖像進(jìn)行場(chǎng)編碼的場(chǎng)編碼信息，并暫時(shí)存儲(chǔ)獲取的場(chǎng)編碼信息。然后場(chǎng)編碼緩沖器151將存儲(chǔ)的場(chǎng)編碼信息提供給語(yǔ)法寫(xiě)入器 161,作為 field_coding_flag。
作為響應(yīng),在步驟S101,語(yǔ)法寫(xiě)入器161將f ield_coding_f lag加入編碼流的序外參數(shù)集，用于發(fā)送。換言之，將field_coding_flag加入編碼流中的序外參數(shù)集,如圖12所示。
將field_coding_flag加入序列參數(shù)集的編碼流提供給累積緩沖器107并發(fā)送給下述圖18中的圖像解碼設(shè)備200。
在步驟S102，語(yǔ)法寫(xiě)入器161確定f ield_coding_f lag是否為I。如果在步驟S102確定f ield_Coding_f lag為1，或者換言之，要對(duì)當(dāng)前序列進(jìn)行場(chǎng)編碼，則處理進(jìn)行到步驟S103。
在場(chǎng)編碼的情況下，幀分類(lèi)緩沖器102還將每個(gè)場(chǎng)的奇偶性信息提供給奇偶緩沖器152。奇偶緩沖器152從幀分類(lèi)緩沖器102獲取每個(gè)場(chǎng)的奇偶性信息，并暫時(shí)存儲(chǔ)獲取的奇偶性信息。然后奇偶緩沖器152將存儲(chǔ)的奇偶性信息提供給語(yǔ)法寫(xiě)入器161，作為bottom_field_flag。此時(shí),奇偶性信息還被提供給運(yùn)動(dòng)矢量移位器122,用于下述圖17的步驟S155。
在步驟S103,語(yǔ)法寫(xiě)入器161將bottom_field_flag加入編碼流的APS,用于發(fā)送。換言之，將bottom_field_flag加入編碼流中的APS,如圖13所示。
將bottom_field_flag加入APS的編碼流被提供給累積緩沖器107并發(fā)送給下述圖18中的圖像解碼設(shè)備200。
同時(shí),如果在步驟S102確定field_coding_flag不是I,或者換言之,要對(duì)當(dāng)前序列進(jìn)行幀編碼，則跳過(guò)步驟S103，處理進(jìn)行到步驟S104。
在步驟S104，圖像編碼設(shè)備100的各個(gè)單元在視頻編碼層(VCL)中進(jìn)行編碼處理。VCL中的編碼處理指的是條帶頭下信息的編碼，例如DCT系數(shù)和運(yùn)動(dòng)矢量。下面參照?qǐng)D16討論VCL中的這種編碼處理。
由于步驟S104的VCL中的編碼處理，VCL中以及VCL下面的信息被編碼并發(fā)送給圖像解碼設(shè)備200。
在步驟S105，語(yǔ)法寫(xiě)入器161確定是否已經(jīng)完成序列。如果在步驟S105確定還沒(méi)有完成序列，則處理返回步驟S102，并重復(fù)之后的處理。
如果在步驟S105確定 已經(jīng)完成序列，則圖像編碼設(shè)備100的編碼處理結(jié)束。
VCL中編碼處理的流程
下面參照?qǐng)D16中的流程圖描述圖15的步驟S104中的VCL中的編碼處理。
在步驟S121，A/D轉(zhuǎn)換器101對(duì)輸入圖像進(jìn)行A/D轉(zhuǎn)換。在步驟S122，幀分類(lèi)緩沖器102存儲(chǔ)經(jīng)A/D轉(zhuǎn)換的圖像，并對(duì)圖片進(jìn)行從它們的顯示順序到編碼順序的重新分類(lèi)。在步驟S123，幀內(nèi)預(yù)測(cè)單元114在幀內(nèi)預(yù)測(cè)模式中進(jìn)行幀內(nèi)預(yù)測(cè)處理。
在步驟S124，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115在幀間預(yù)測(cè)模式中進(jìn)行執(zhí)行運(yùn)動(dòng)預(yù)測(cè)和運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)處理。下面參照?qǐng)D17詳細(xì)描述幀間預(yù)測(cè)處理。
根據(jù)步驟S124中的處理，找到正在被處理的的亮度信號(hào)運(yùn)動(dòng)矢量，計(jì)算成本函數(shù)值，以及從所有幀間預(yù)測(cè)模式中確定最佳幀間預(yù)測(cè)模式。然后，在最佳幀間預(yù)測(cè)模式中產(chǎn)生預(yù)測(cè)圖像。同時(shí)，在場(chǎng)編碼的情況下，將色度信號(hào)運(yùn)動(dòng)矢量移位，并利用亮度信號(hào)運(yùn)動(dòng)矢量和移位的色度信號(hào)運(yùn)動(dòng)矢量產(chǎn)生預(yù)測(cè)圖像。
將預(yù)測(cè)圖像以及這樣確定的最佳幀間預(yù)測(cè)模式的成本函數(shù)值從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115提供給預(yù)測(cè)圖像選擇器116。此外，將這樣確定的關(guān)于最佳幀間預(yù)測(cè)模式的信息以及運(yùn)動(dòng)矢量信息提供給無(wú)損編碼器106，并在下述步驟S134無(wú)損地編碼。
在步驟S125，預(yù)測(cè)圖像選擇器116基于從幀內(nèi)預(yù)測(cè)單元114以及運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115輸出的成本函數(shù)值，確定最佳模式。換言之，預(yù)測(cè)圖像選擇器116選擇通過(guò)幀內(nèi)預(yù)測(cè)單元114產(chǎn)生的預(yù)測(cè)圖像，或者選擇通過(guò)運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115產(chǎn)生的預(yù)測(cè)圖像。
在步驟S126，算術(shù)單元103計(jì)算通過(guò)步驟S122中的處理分類(lèi)的圖像與通過(guò)步驟S125中的處理選擇的預(yù)測(cè)圖像之差。通過(guò)差分?jǐn)?shù)據(jù)，數(shù)據(jù)尺寸相比于原始圖像數(shù)據(jù)減少了。因此，相比于直接編碼圖像的情況，可以壓縮數(shù)據(jù)尺寸。
在步驟S127，正交變換單元104將通過(guò)步驟S126中的處理產(chǎn)生的差異信息進(jìn)行正交變換。特別地，進(jìn)行諸如離散余弦變換或者Karhunen-Loeve變換這樣的正交變換，并輸出變換系數(shù)。
在步驟S128，量化器105利用來(lái)自速率控制器117的量化參數(shù)，將通過(guò)步驟S127的處理獲得的正交變換系數(shù)進(jìn)行量化。
將通過(guò)步驟S128中的處理量化的差異信息進(jìn)行如下的局部解碼。在步驟S129，逆量化器108利用與量化器105的特性相對(duì)應(yīng)的特性，對(duì)通過(guò)步驟S128中的處理產(chǎn)生的量化的正交變換系數(shù)(又稱(chēng)為量化系數(shù))進(jìn)行逆量化。在步驟S130，逆正交變換單元109利用與正交變換單元104的特性相對(duì)應(yīng)的特性，對(duì)通過(guò)步驟S129中的處理獲得的正交變換系數(shù)進(jìn)行逆正交變換。
在步驟S131，算術(shù)單元110將預(yù)測(cè)圖像加入局部解碼的差異信息，并產(chǎn)生局部解碼圖像(即，與算術(shù)單元103的輸入相對(duì)應(yīng)的圖像)。在步驟S132，去塊濾波器111視情況對(duì)于通過(guò)步驟S131中的處理獲得的局部解碼圖像進(jìn)行去塊濾波。
在步驟S133，幀存儲(chǔ)器112存儲(chǔ)通過(guò)步驟S132中的處理進(jìn)行去塊濾波的解碼圖像。但是，沒(méi)有通過(guò)去塊濾波器111濾波的圖像也從算術(shù)單元Iio提供給幀存儲(chǔ)器112并存儲(chǔ)。
在步驟S134，無(wú)損編碼器106將通過(guò)步驟S128中的處理量化的變換系數(shù)編碼。換言之，對(duì)差分圖像進(jìn)行諸如可變長(zhǎng)度編碼或算術(shù)編碼這樣的無(wú)損編碼。
此外，此時(shí)無(wú)損編碼器106將與通過(guò)步驟S125中的處理選擇的預(yù)測(cè)圖像的預(yù)測(cè)模式相關(guān)的信息編碼，并將編 碼信息加入通過(guò)將差分圖像編碼獲得的編碼數(shù)據(jù)。換言之，無(wú)損編碼器106也將諸如從幀內(nèi)預(yù)測(cè)單元114提供的最佳幀內(nèi)預(yù)測(cè)模式信息或者從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115提供的最佳幀間預(yù)測(cè)模式信息這樣的信息編碼，并將編碼信息加入編碼數(shù)據(jù)。
在步驟S135，累積緩沖器107緩沖通過(guò)步驟S134中的處理獲得的編碼數(shù)據(jù)。視情況讀取在累積緩沖器107中緩沖的編碼數(shù)據(jù)并將其經(jīng)由傳輸通道或者記錄介質(zhì)發(fā)送給解碼器。
在步驟S136，速率控制器基于通過(guò)步驟S135中的處理在累積緩沖器107中緩沖的編碼數(shù)據(jù)的比特率，來(lái)控制量化器105的量化操作的速率，從而使得不發(fā)生上溢或下溢。
當(dāng)步驟S136中的處理完成時(shí)，編碼處理結(jié)束。
幀間預(yù)測(cè)處理流程
下面參照?qǐng)D17中的流程圖描述圖16的步驟S124中執(zhí)行的幀間預(yù)測(cè)處理的示例性流程。
在步驟S151，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115搜索每個(gè)幀間預(yù)測(cè)模式中的運(yùn)動(dòng)。
在步驟S152，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115利用諸如來(lái)自幀分類(lèi)緩沖器102的輸入圖像和找到的運(yùn)動(dòng)矢量信息這樣的信息，計(jì)算與每個(gè)幀間預(yù)測(cè)模式相關(guān)的成本函數(shù)值。
在步驟S153，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115將各個(gè)預(yù)測(cè)模式中具有最小成本函數(shù)值的預(yù)測(cè)模式確定為最佳幀間預(yù)測(cè)模式。通過(guò)運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115將亮度信號(hào)運(yùn)動(dòng)矢量信息以及與最佳幀間預(yù)測(cè)模式中的參考PU相關(guān)的信息提供給運(yùn)動(dòng)矢量移位器122。
同時(shí)，將來(lái)自場(chǎng)編碼緩沖器151的每個(gè)序列的場(chǎng)編碼信息提供給奇偶緩沖器152。
在步驟S154，奇偶緩沖器152基于來(lái)自場(chǎng)編碼緩沖器151的場(chǎng)編碼信息，確定是否要對(duì)當(dāng)前序列進(jìn)行場(chǎng)編碼。如果在步驟S154確定要對(duì)當(dāng)前序列進(jìn)行場(chǎng)編碼，則處理進(jìn)行到步驟S155。此時(shí)，對(duì)于每個(gè)場(chǎng)，奇偶緩沖器152將來(lái)自幀分類(lèi)緩沖器102的每個(gè)場(chǎng)的奇偶性信息提供給運(yùn)動(dòng)矢量移位器122。
在步驟S155，運(yùn)動(dòng)矢量移位器122將色度信號(hào)運(yùn)動(dòng)矢量移位。換言之，縮放來(lái)自運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115的亮度信號(hào)運(yùn)動(dòng)矢量信息，以產(chǎn)生色度信號(hào)運(yùn)動(dòng)矢量。然后，通過(guò)步驟S155中的處理將色度信號(hào)運(yùn)動(dòng)矢量移位，從而基于每個(gè)場(chǎng)的奇偶性信息將色度信號(hào)運(yùn)動(dòng)矢量的垂直分量移位，如上述參照?qǐng)D10討論地。運(yùn)動(dòng)矢量移位器122將移位的色度信號(hào)運(yùn)動(dòng)矢量提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115。
如果在步驟S154確定要對(duì)當(dāng)前序列進(jìn)行幀編碼，則跳過(guò)步驟S155，處理進(jìn)行到步驟S156。換言之，在這種情況下，在下一步驟S156中使用通過(guò)縮放亮度信號(hào)運(yùn)動(dòng)矢量產(chǎn)生的色度信號(hào)運(yùn)動(dòng)矢量，而不移位。
在步驟S156，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115利用亮度信號(hào)和色度信號(hào)運(yùn)動(dòng)矢量信息在最佳幀間預(yù)測(cè)模式中產(chǎn)生預(yù)測(cè)圖像，該預(yù)測(cè)圖像被提供給預(yù)測(cè)圖像選擇器116。
在步驟S157，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115將有關(guān)于最佳幀間預(yù)測(cè)模式的信息提供給無(wú)損編碼器106，使得有關(guān)于最佳幀間預(yù)測(cè)模式的信息被編碼。
注意，有關(guān)于最佳幀間預(yù)測(cè)模式的信息例如可包括最佳幀間預(yù)測(cè)模式信息、有關(guān)于運(yùn)動(dòng)矢量的信息以及最佳幀間預(yù)測(cè)模式參考圖片信息。
響應(yīng)于步驟S156中的處理，在圖16的步驟S134中將提供的信息編碼。
如上，在圖像編碼設(shè)備100中，確定是否對(duì)全部序列進(jìn)行場(chǎng)編碼，并且將指示是否進(jìn)行場(chǎng)編碼的標(biāo)志加入編碼流的序列參數(shù)集并將其發(fā)送給解碼器。
在確定場(chǎng)編碼的情況下，利用每個(gè)場(chǎng)的奇偶性信息，例如可將運(yùn)動(dòng)矢量移位，并且將指示奇偶性信息的標(biāo)志加入編碼流的APS并將其發(fā)送給解碼器。
這樣做，在輸入是交錯(cuò)信號(hào)的情況下，可以有效地進(jìn)行編碼處理，沒(méi)有附加的復(fù)雜性。
2.第二實(shí)施例
圖像解碼設(shè)備
下面描述已經(jīng)如上編碼的編碼數(shù)據(jù)(編碼流)的解碼。圖18是示出對(duì)應(yīng)于圖1中圖像編碼設(shè)備100的圖像解碼設(shè)備的示例性基本構(gòu)造的方框圖。
圖18中示出的圖像解碼設(shè)備200根據(jù)對(duì)應(yīng)于編碼方法的解碼方法，將通過(guò)圖像編碼設(shè)備100產(chǎn)生的編碼數(shù)據(jù)解碼。這里，類(lèi)似于圖像編碼設(shè)備100，使用圖像解碼設(shè)備200進(jìn)行以預(yù)測(cè)單位(PU)為單位的幀間預(yù)測(cè)。
如圖22所示，圖像解碼設(shè)備200包括累積緩沖器201、無(wú)損解碼器202、逆量化器203、逆正交變換單元204、算術(shù)單元205、去塊濾波器206、幀分類(lèi)緩沖器207以及D/A轉(zhuǎn)換器208。此外，圖像解碼設(shè)備200包括幀存儲(chǔ)器209、選擇器210、幀內(nèi)預(yù)測(cè)單元211、運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212以及選擇器213。
此外，圖像解碼設(shè)備200包括交錯(cuò)參數(shù)接收器221和運(yùn)動(dòng)矢量移位器222。
累積緩沖器201也是接收發(fā)送給它的編碼數(shù)據(jù)的接收器。累積緩沖器201接收和緩沖發(fā)送給它的編碼數(shù)據(jù)，并在給定定時(shí)將編碼數(shù)據(jù)提供給無(wú)損解碼器202。
在編碼數(shù)據(jù)的序列參數(shù)集中，包括用于每個(gè)序列的指示是否進(jìn)行場(chǎng)編碼的標(biāo)志(field_coding_flag)。此外,在進(jìn)行場(chǎng)編碼的情況下,在編碼數(shù)據(jù)的APS中包括表示場(chǎng)奇偶性信息的標(biāo)志(bottom_field_flag)。
無(wú)損解碼器202將場(chǎng)編碼標(biāo)志和任意場(chǎng)奇偶標(biāo)志提供給交錯(cuò)參數(shù)接收器221。
此外，除了 DCT系數(shù)之外，在編碼數(shù)據(jù)的條帶頭下，在VCL信息中還包括解碼相關(guān)信息，例如預(yù)測(cè)模式信息和運(yùn)動(dòng)矢量信息。無(wú)損解碼器202根據(jù)與無(wú)損編碼器106的編碼格式相對(duì)應(yīng)的格式，將已經(jīng)通過(guò)圖1中的無(wú)損編碼器106編碼并通過(guò)累積緩沖器201提供的信息解碼。無(wú)損解碼器202將通過(guò)解碼獲得的用于差分圖像的量化系數(shù)數(shù)據(jù)提供給逆量化器203。
此外，無(wú)損解碼器202確定是否已經(jīng)選擇幀內(nèi)預(yù)測(cè)模式或者幀間預(yù)測(cè)模式用于最佳預(yù)測(cè)模式。根據(jù)確定為已經(jīng)選擇的模式，無(wú)損解碼器202將有關(guān)于最佳預(yù)測(cè)模式的信息提供給幀內(nèi)預(yù)測(cè)單元211或者運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212。換言之，在圖像編碼設(shè)備100中選擇幀間預(yù)測(cè)模式作為最佳預(yù)測(cè)模式的情況下，例如將有關(guān)于最佳預(yù)測(cè)模式的信息提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212。
逆量化器203提取通過(guò)無(wú)損解碼器202中的解碼獲得的量化系數(shù)數(shù)據(jù)，并且對(duì)以與圖1中量化器105的量化格式相對(duì)應(yīng)的格式將量化系數(shù)數(shù)據(jù)逆量化。獲得的系數(shù)數(shù)據(jù)被提供給逆正交變換單元204。
逆正交變換單元204在與圖1中正交變換單元104的正交變換格式相對(duì)應(yīng)的格式中對(duì)逆量化器203提供的系數(shù)數(shù)據(jù)進(jìn)行逆正交變換。通過(guò)進(jìn)行逆正交變換，逆正交變換單元204在圖像編碼設(shè)備100中的正交變換之前獲得與殘余數(shù)據(jù)相對(duì)應(yīng)的解碼殘余數(shù)據(jù)。
通過(guò)進(jìn)行逆正交變換獲得的解碼殘余數(shù)據(jù)被提供給算術(shù)單元205。經(jīng)由選擇器213，還將來(lái)自幀內(nèi)預(yù)測(cè)單元211或者運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212的預(yù)測(cè)圖像提供給算術(shù)單元205。
算術(shù)單元205將解碼殘余數(shù)據(jù)加入預(yù)測(cè)圖像，并在通過(guò)圖像編碼設(shè)備100的算術(shù)單元103減去預(yù)測(cè)圖像之前，獲得與圖像數(shù)據(jù)相對(duì)應(yīng)的解碼圖像數(shù)據(jù)。算術(shù)單元205將解碼圖像數(shù)據(jù)提供給去塊濾波器206。
去塊濾波器206視情況對(duì)提供給它的解碼圖像進(jìn)行去塊濾波，并將結(jié)果提供給幀分類(lèi)緩沖器207。通過(guò)對(duì)解碼圖像進(jìn)行去塊濾波，去塊濾波器206可從解碼圖像移除塊效應(yīng)。
去塊濾波器206將濾波結(jié)果(即，濾波之后的解碼圖像)提供給幀分類(lèi)緩沖器207和幀存儲(chǔ)器209。但是，也可繞過(guò)去塊濾波器206，將算術(shù)單元205輸出的解碼圖像提供給幀分類(lèi)緩沖器207和幀存儲(chǔ)器209。換言之，可以省略去塊濾波器206的濾波。
幀分類(lèi)緩沖器207將圖像分類(lèi)。雖然圖18中未示出，但是幀分類(lèi)緩沖器207被供以來(lái)自諸如交錯(cuò)參數(shù)接收器221這樣的源的場(chǎng)編碼信息，并基于場(chǎng)編碼信息將圖像分類(lèi)。換言之，通過(guò)圖1中幀分類(lèi)緩沖器102以編碼順序重新分類(lèi)的幀序列被按照原始顯示順序重新分類(lèi)。D/A轉(zhuǎn)換器208將幀分類(lèi)緩沖器207提供的圖像進(jìn)行D/A轉(zhuǎn)換，并將圖像輸出到顯示器(未示出)進(jìn)行顯示。
幀存儲(chǔ)器209存儲(chǔ)提供的解碼圖像，并在給定定時(shí)或者基于來(lái)自諸如幀內(nèi)預(yù)測(cè)單元211或者運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212這樣的單元的外部請(qǐng)求，將存儲(chǔ)的解碼圖像提供給選擇器210作為參考圖像。
選擇器210選擇為從幀存儲(chǔ)器209提供的參考圖像選擇提供目的地。在將幀內(nèi)編碼圖像解碼的情況下，選擇器210將幀存儲(chǔ)器209提供的參考圖像提供給幀內(nèi)預(yù)測(cè)單元211?；蛘撸趯g編碼圖像解碼的情況下，選擇器210將幀存儲(chǔ)器209提供的參考圖像提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212。
視情況從無(wú)損解碼器202向幀內(nèi)預(yù)測(cè)單元211提供指示幀內(nèi)預(yù)測(cè)模式的信息，通過(guò)將頭部信息解碼獲得該信息。幀內(nèi)預(yù)測(cè)單元211通過(guò)在圖1中的幀內(nèi)預(yù)測(cè)單元114使用的幀內(nèi)預(yù)測(cè)模式中、利用從幀存儲(chǔ)器209獲取的參考圖像進(jìn)行幀內(nèi)預(yù)測(cè)，來(lái)產(chǎn)生預(yù)測(cè)圖像。幀內(nèi)預(yù)測(cè)單元211將產(chǎn)生的預(yù)測(cè)圖像提供給選擇器213。
運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212從無(wú)損解碼器202獲取通過(guò)將頭部信息解碼獲得的信息(例如最佳預(yù)測(cè)模式信息、運(yùn)動(dòng)矢量信息和參考圖像信息)。
在通過(guò)從無(wú)損解碼器202獲取的最佳預(yù)測(cè)模式信息指示的幀間預(yù)測(cè)模式中，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212通過(guò)利用從幀存儲(chǔ)器209獲取的參考圖像進(jìn)行的幀間預(yù)測(cè)，產(chǎn)生預(yù)測(cè)圖像。在場(chǎng)編碼的情況下，將 亮度信號(hào)運(yùn)動(dòng)矢量信息以及有關(guān)于參考PU的信息提供給運(yùn)動(dòng)矢量移位器222。作為響應(yīng)，將通過(guò)運(yùn)動(dòng)矢量移位器222移位的色度信號(hào)運(yùn)動(dòng)矢量提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212，并將移位的色度信號(hào)運(yùn)動(dòng)矢量用于預(yù)測(cè)圖像的產(chǎn)生。
選擇器213將來(lái)自幀內(nèi)預(yù)測(cè)單元211的預(yù)測(cè)圖像或者來(lái)自運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212的預(yù)測(cè)圖像提供給算術(shù)單元205。然后，在算術(shù)單元205中，將利用運(yùn)動(dòng)矢量產(chǎn)生的預(yù)測(cè)圖像加入來(lái)自逆正交變換單元204的解碼殘余數(shù)據(jù)(差分圖像信息)，并將原始圖像解碼。換言之，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212、無(wú)損解碼器202、逆量化器203、逆正交變換單元204以及算術(shù)單元205還是利用運(yùn)動(dòng)矢量將編碼數(shù)據(jù)解碼并產(chǎn)生原始圖像的解碼單元。
交錯(cuò)參數(shù)接收器221基本上類(lèi)似于圖1中的交錯(cuò)參數(shù)接收器121來(lái)配置。交錯(cuò)參數(shù)接收器221獲取指示是否對(duì)來(lái)自無(wú)損解碼器202的特定序列進(jìn)行場(chǎng)編碼的場(chǎng)編碼標(biāo)志。在給定定時(shí)，交錯(cuò)參數(shù)接收器221將獲取的場(chǎng)編碼標(biāo)志作為場(chǎng)編碼信息提供給運(yùn)動(dòng)矢量移位器222。
此外，在場(chǎng)編碼信息指示要進(jìn)行場(chǎng)編碼的情況下，交錯(cuò)參數(shù)接收器221從無(wú)損解碼器202獲取每個(gè)場(chǎng)的奇偶標(biāo)志。在給定定時(shí)，交錯(cuò)參數(shù)接收器221將獲取的奇偶標(biāo)志提供給運(yùn)動(dòng)矢量移位器222作為奇偶性信息。
運(yùn)動(dòng)矢量移位器222基本上類(lèi)似于圖1中的運(yùn)動(dòng)矢量移位器122來(lái)配置。當(dāng)從交錯(cuò)參數(shù)接收器221獲取每個(gè)場(chǎng)的奇偶性信息時(shí)，運(yùn)動(dòng)矢量移位器222從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212獲取亮度信號(hào)運(yùn)動(dòng)矢量信息。
利用獲取的亮度信號(hào)運(yùn)動(dòng)矢量信息，運(yùn)動(dòng)矢量移位器222根據(jù)來(lái)自交錯(cuò)參數(shù)接收器221的每個(gè)場(chǎng)的奇偶性信息將色度信號(hào)運(yùn)動(dòng)矢量移位。換言之，運(yùn)動(dòng)矢量移位器222像前面參照?qǐng)D10討論的一樣將運(yùn)動(dòng)矢量移位。此時(shí)，還從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212獲取關(guān)于參考PU的信息并將其用于處理。運(yùn)動(dòng)矢量移位器222將移位的色度信號(hào)運(yùn)動(dòng)矢量信息提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212。
無(wú)損解碼器和交錯(cuò)參數(shù)接收器的示例性構(gòu)造
圖19是示出無(wú)損解碼器202和交錯(cuò)參數(shù)接收器221的示例性基本構(gòu)造的方框圖。
在圖19的示例中，無(wú)損解碼器202被配置為包括語(yǔ)法接收器251。
交錯(cuò)參數(shù)接收器221被配置為包括場(chǎng)解碼緩沖器261和奇偶緩沖器262。
語(yǔ)法接收器251從編碼流的序列參數(shù)集獲取指示是否對(duì)序列進(jìn)行場(chǎng)編碼的場(chǎng)編碼標(biāo)志，并將獲取的標(biāo)志提供給場(chǎng)解碼緩沖器261。此外，在將對(duì)序列進(jìn)行場(chǎng)編碼的情況下，語(yǔ)法接收器251從場(chǎng)編碼的編碼流的APS獲取每個(gè)場(chǎng)的奇偶標(biāo)志，并將獲取的奇偶標(biāo)志提供給奇偶緩沖器262。
場(chǎng)解碼緩沖器261從語(yǔ)法接收器251獲取場(chǎng)編碼標(biāo)志，暫時(shí)存儲(chǔ)場(chǎng)編碼標(biāo)志作為場(chǎng)編碼信息，并在給定定時(shí)將場(chǎng)編碼信息提供給奇偶緩沖器262。
在來(lái)自場(chǎng)解碼緩沖器261的場(chǎng)編碼信息指示場(chǎng)編碼的情況下，奇偶緩沖器262從語(yǔ)法接收器251獲取每個(gè)場(chǎng)的奇偶標(biāo)志，并暫時(shí)存儲(chǔ)獲取的奇偶標(biāo)志作為奇偶性信息。然后，對(duì)于每個(gè)場(chǎng)，奇偶緩沖器262將該場(chǎng)的奇偶性信息提供給運(yùn)動(dòng)矢量移位器222。
作為響應(yīng)，當(dāng)從奇偶緩沖器262獲取每個(gè)場(chǎng)的奇偶性信息時(shí)，運(yùn)動(dòng)矢量移位器222從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212獲取亮度信號(hào)運(yùn)動(dòng)矢量信息，并將色度信號(hào)運(yùn)動(dòng)矢量移位。換言之，基于獲取的每個(gè)場(chǎng)的奇偶性信息，利用來(lái)自運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212的亮度信號(hào)運(yùn)動(dòng)矢量信息將色度信號(hào)運(yùn)動(dòng)矢量移位，如前面參照?qǐng)D10所討論的。
解碼處理流程
下面描述通過(guò)如上圖像解碼設(shè)備200執(zhí)行的處理的流程。首先，參照?qǐng)D20中的流程圖描述示例性解碼處理流程。
在步驟S201，語(yǔ)法接收器251從編碼流的序列參數(shù)集接收表示場(chǎng)編碼信息的標(biāo)志(field_COding_flag)，場(chǎng)編碼信息指示是否對(duì)序列進(jìn)行場(chǎng)編碼。語(yǔ)法接收器251將接收的標(biāo)志提供給場(chǎng)解碼緩沖器261。
在步驟S202，語(yǔ)法接收器251確定在步驟S201接收的、指示是否進(jìn)行場(chǎng)編碼的標(biāo)志的值是否為I。在步驟S202確定標(biāo)志為1，或者換言之，對(duì)序列進(jìn)行場(chǎng)編碼的情況下，處理進(jìn)行到步驟S203。
在步驟S203，語(yǔ)法接收器251在編碼流的APS中接收表示特定場(chǎng)的奇偶性信息的標(biāo)志(bottom_field_flag),并將接收的奇偶標(biāo)志提供給奇偶緩沖器262。
同時(shí)，在確定指示是否進(jìn)行場(chǎng)編碼的標(biāo)志不是1，或者換言之，將對(duì)當(dāng)前序列進(jìn)行幀編碼的情況下，跳過(guò)步驟S203且處理進(jìn)行到步驟S204。
在步驟S204，圖像解碼設(shè)備200的各個(gè)單元在VCL中進(jìn)行解碼處理。下面將參照?qǐng)D21討論VCL中的解碼處理，但是作為步驟S204中VCL中的解碼處理的結(jié)果，條帶頭下的流被解碼。
在步驟S205，語(yǔ)法接收器251確定是否已經(jīng)完成了序列。如果在步驟S205確定還沒(méi)有完成序列，則處理返回步驟S202，并重復(fù)之后的處理。
如果在步驟S205確定已經(jīng)完成序列，則圖像解碼設(shè)備200的解碼處理結(jié)束。
VCL中解碼處理的流程
下面參照?qǐng)D21中的流程圖描述圖20的步驟S204中VCL中的解碼處理。
當(dāng)VCL中的解碼處理開(kāi)始時(shí)，在步驟S221，累積緩沖器201接收和緩沖發(fā)送給它的編碼流。在步驟S222，無(wú)損解碼器202將從累積緩沖器201提供的編碼流(即，編碼的差分圖像信息)解碼。換言之，將已經(jīng)通過(guò)圖1中的無(wú)損編碼器106編碼的I圖片、P圖片和B圖片解碼。
此時(shí)，還將編碼流中包括的、除了差分圖像信息之外的各種信息(例如頭部信息)解碼。無(wú)損解碼器202例如可以獲取預(yù)測(cè)模式信息和運(yùn)動(dòng)矢量信息。無(wú)損解碼器202將獲取的信息提供給對(duì)應(yīng)的單元。
在步驟S223，逆量化器203將通過(guò)步驟S202中的處理獲得的量化的正交變換系數(shù)逆量化。注意，通過(guò)下面要討論的步驟S228中的處理獲得用于該逆量化處理的量化參數(shù)。在步驟S224，逆正交變換單元204對(duì)步驟S223中逆量化的正交變換系數(shù)進(jìn)行逆正交變換。
在步驟S225，無(wú)損解碼器202基于在步驟S222中解碼的、與最佳預(yù)測(cè)模式相關(guān)的信息，確定正在處理的編碼數(shù)據(jù)是否被幀內(nèi)編碼。在確定正在被處理的編碼數(shù)據(jù)被幀內(nèi)編碼的情況下，處理進(jìn)行到步驟S226。
在步驟S226，幀內(nèi)預(yù)測(cè)單元211獲取幀內(nèi)預(yù)測(cè)模式信息。在步驟S227，幀內(nèi)預(yù)測(cè)單元211利用在步驟S226獲取的幀內(nèi)預(yù)測(cè)模式信息進(jìn)行幀內(nèi)預(yù)測(cè)，并產(chǎn)生預(yù)測(cè)圖像。
同時(shí)，如果在步驟S226確定正在處理的編碼數(shù)據(jù)不是被幀內(nèi)編碼，或者換言之，其被幀間編碼，則處理進(jìn)行到步驟S228。
在步驟S228，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212獲取幀間預(yù)測(cè)模式信息。此時(shí)，還獲取運(yùn)動(dòng)矢量 目息。
在步驟S229，奇偶緩沖器262基于來(lái)自場(chǎng)解碼緩沖器261的場(chǎng)編碼信息，確定當(dāng)前序列是否被場(chǎng)編碼。如果在步驟S2 29確定當(dāng)前序列被場(chǎng)編碼，則處理進(jìn)行到步驟S230。此時(shí)，對(duì)于每個(gè)場(chǎng)，奇偶緩沖器262將來(lái)自語(yǔ)法接收器251的每個(gè)場(chǎng)的奇偶標(biāo)志提供給運(yùn)動(dòng)矢量移位器222作為奇偶性信息。
在步驟S230，運(yùn)動(dòng)矢量移位器222將色度信號(hào)運(yùn)動(dòng)矢量移位。換言之，縮放來(lái)自運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212的亮度信號(hào)運(yùn)動(dòng)矢量信息，以產(chǎn)生色度信號(hào)運(yùn)動(dòng)矢量。然后，通過(guò)步驟S230中的處理將色度信號(hào)運(yùn)動(dòng)矢量移位，從而基于前面參照?qǐng)D10討論的每個(gè)場(chǎng)的奇偶性信息將色度信號(hào)運(yùn)動(dòng)矢量的垂直分量移位。運(yùn)動(dòng)矢量移位器222將移位的色度信號(hào)運(yùn)動(dòng)矢量信息提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212。
如果在步驟S229確定當(dāng)前序列被幀編碼，則跳過(guò)步驟S230，處理進(jìn)行到步驟S231。換言之，在這種情況下，在下一步驟S231中使用通過(guò)縮放亮度信號(hào)運(yùn)動(dòng)矢量產(chǎn)生的色度信號(hào)運(yùn)動(dòng)矢量。
在步驟S231，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212利用亮度信號(hào)和色度信號(hào)運(yùn)動(dòng)矢量，產(chǎn)生預(yù)測(cè)圖像。將這樣產(chǎn)生的預(yù)測(cè)圖像提供給選擇器213。
在步驟S232，選擇器213選擇步驟S227或者步驟S231中產(chǎn)生的預(yù)測(cè)圖像。在步驟S233，算術(shù)單元205將步驟S232中選擇的預(yù)測(cè)圖像加入通過(guò)步驟S224中的逆正交變換獲得的差分圖像信息。通過(guò)這樣做，將原始圖像解碼。換言之，通過(guò)利用運(yùn)動(dòng)矢量產(chǎn)生預(yù)測(cè)圖像，并將這樣產(chǎn)生的預(yù)測(cè)圖像加入來(lái)自逆正交變換單元204的差分圖像信息，將原始圖像解碼。
在步驟S234，去塊濾波器206視情況對(duì)步驟S233中獲得的解碼圖像進(jìn)行去塊濾波。
在步驟S235，幀分類(lèi)緩沖器207將步驟S234中濾波的圖像分類(lèi)。換言之，將通過(guò)圖像編碼設(shè)備100的幀分類(lèi)緩沖器102按編碼順序分類(lèi)的幀序列按照原始顯示順序重新分類(lèi)。
在步驟S236，D/A轉(zhuǎn)換器208將步驟S235中按照幀序列重新分類(lèi)的圖像進(jìn)行D/A轉(zhuǎn)換。將圖像輸出到顯示器(附圖中未示出)，并顯示圖像。
在步驟S237，幀存儲(chǔ)器209存儲(chǔ)在步驟S236中D/A轉(zhuǎn)換的圖像。
當(dāng)步驟S237中的處理完成時(shí)，解碼處理結(jié)束。
通過(guò)進(jìn)行如上處理，圖像解碼設(shè)備200能夠?qū)⒁呀?jīng)通過(guò)圖像編碼設(shè)備100編碼的編碼數(shù)據(jù)正確地解碼，并可以實(shí)現(xiàn)編碼效率的提高。
換言之，在圖像解碼設(shè)備200中，從編碼流的序列參數(shù)集獲取指示是否進(jìn)行場(chǎng)編碼的標(biāo)志，并基于此將編碼流解碼。
在確定進(jìn)行場(chǎng)編碼的情況下，還從編碼流的APS獲取指示奇偶性信息的標(biāo)志，并基于此例如進(jìn)行諸如運(yùn)動(dòng)矢量移位這樣的處理。
通過(guò)這樣做，在輸入是交錯(cuò)信號(hào)的情況下，可以有效地進(jìn)行解碼處理，而沒(méi)有增加復(fù)雜度。
此外，因?yàn)橹甘酒媾夹孕畔⒌臉?biāo)志通過(guò)插入到APS來(lái)發(fā)送，所以變得可以減少在A(yíng)VC格式的情況下存在的語(yǔ)法冗余，并有效地將交錯(cuò)信號(hào)編碼或解碼。
注意，雖然前面將運(yùn)動(dòng)矢量移位描述為在場(chǎng)編碼的情況下利用奇偶性信息的處理的示例，但是運(yùn)動(dòng)矢量移位只是示例。換言之，本技術(shù)也可應(yīng)用于其他處理，只要它們是在場(chǎng)編碼的情況下利用奇偶性信息 的處理。
此外，雖然前面將符合HEVC的情況描述為示例，但是本技術(shù)的適用范圍不限于只符合HEVC的示例。本技術(shù)也可應(yīng)用于使用其他編碼格式的設(shè)備，只要它們是將交錯(cuò)信號(hào)作為輸入來(lái)進(jìn)行編碼和解碼的設(shè)備。
此外，本技術(shù)可應(yīng)用于在接收通過(guò)離散余弦變換或者其他正交變換以及運(yùn)動(dòng)補(bǔ)償(例如，如同在MPEG和H.26x中)壓縮的圖像信息(比特流)的情況下使用的圖像編碼設(shè)備和圖像解碼設(shè)備?？山?jīng)由諸如衛(wèi)星廣播、有線(xiàn)電視、互聯(lián)網(wǎng)或者移動(dòng)電話(huà)這樣的聯(lián)網(wǎng)介質(zhì)接收這種圖像信息。此外，本技術(shù)可應(yīng)用于在諸如光盤(pán)、磁盤(pán)或閃存這樣的存儲(chǔ)介質(zhì)上處理信息時(shí)使用的圖像編碼設(shè)備和圖像解碼設(shè)備。此外，本技術(shù)可應(yīng)用于這種圖像編碼設(shè)備和圖像解碼設(shè)備中包括的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償設(shè)備。
3.第三實(shí)施例
計(jì)算機(jī)
前面的系列操作可以在硬件中執(zhí)行，也可以在軟件中執(zhí)行。在軟件中執(zhí)行系列操作的情況下，可將構(gòu)成這種軟件的程序安裝在計(jì)算機(jī)中。這里，術(shù)語(yǔ)計(jì)算機(jī)包括例如內(nèi)置于專(zhuān)用硬件的計(jì)算機(jī)，以及通過(guò)在上面安裝各種程序而能夠執(zhí)行各種功能的計(jì)算機(jī)，例如通用個(gè)人計(jì)算機(jī)。
圖22是示出根據(jù)程序執(zhí)行前面的系列操作的計(jì)算機(jī)的示例性硬件構(gòu)造的方框圖。
在計(jì)算機(jī)500中，中央處理器(CPU) 501、只讀存儲(chǔ)器(ROM) 502、隨機(jī)存取存儲(chǔ)器(RAM) 503通過(guò)總線(xiàn)504相互連接。
此外，輸入/輸出接口 510連接到總線(xiàn)504。輸入單元511、輸出單元512、存儲(chǔ)單元513、通信單元514以及驅(qū)動(dòng)器515連接到輸入/輸出接口 510。
輸入單元511可包括鍵盤(pán)、鼠標(biāo)和麥克風(fēng)。輸出單元512可包括顯示器和揚(yáng)聲器。存儲(chǔ)單元513可包括硬盤(pán)和非易失性存儲(chǔ)器。通信單元514可包括網(wǎng)絡(luò)接口。驅(qū)動(dòng)器515驅(qū)動(dòng)可移動(dòng)介質(zhì)521，例如磁盤(pán)、光盤(pán)、磁光盤(pán)或半導(dǎo)體存儲(chǔ)器。
在如上配置的計(jì)算機(jī)中，例如由于CPU 501將存儲(chǔ)單元513中存儲(chǔ)的程序經(jīng)由輸入/輸出接口 510和總線(xiàn)504載入RAM 503并執(zhí)行程序，來(lái)進(jìn)行前面的系列操作。
通過(guò)記錄在例如作為封裝介質(zhì)的示例的可移動(dòng)介質(zhì)521上，可以提供計(jì)算機(jī)500(CPU 501)執(zhí)行的程序。此外，可以經(jīng)由諸如局域網(wǎng)、互聯(lián)網(wǎng)或者數(shù)字衛(wèi)星廣播這樣的有線(xiàn)或無(wú)線(xiàn)傳輸介質(zhì)，提供程序。
在計(jì)算機(jī)中，可通過(guò)將可移動(dòng)介質(zhì)521裝入驅(qū)動(dòng)器515，將程序經(jīng)由輸入/輸出接口 510安裝在存儲(chǔ)單元513中。也可經(jīng)由有線(xiàn)或無(wú)線(xiàn)傳輸介質(zhì)，通過(guò)通信單元514接收程序，并將其安裝在存儲(chǔ)單元513中?；蛘撸蓪⒊绦蝾A(yù)安裝在ROM 502或存儲(chǔ)單元513中。
注意，計(jì)算機(jī)執(zhí)行的程序可以是按照本說(shuō)明書(shū)所述順序以時(shí)間系列進(jìn)行操作的程序，也可以是其中并行進(jìn)行操作或者在期望定時(shí)(例如被呼叫時(shí))下進(jìn)行操作的程序。
此外，在本說(shuō)明書(shū)中，描述記錄到記錄介質(zhì)的程序的步驟顯然包括按照所述順序以時(shí)間系列進(jìn)行的處理操作，但是也包括并行或單獨(dú)執(zhí)行的操作，而不嚴(yán)格按照時(shí)間系列處理。
此外，在本說(shuō)明書(shū)中，術(shù)語(yǔ)“系統(tǒng)”表示包括多個(gè)裝置(子設(shè)備)的設(shè)備的集合。
此外，前面作為單個(gè)設(shè) 備(或處理器)描述的構(gòu)造可以分開(kāi)并構(gòu)造為多個(gè)設(shè)備(或處理器)。相對(duì)地，前面作為多個(gè)設(shè)備(或處理器)描述的構(gòu)造可以合在一起并配置為單個(gè)設(shè)備(或處理器)。當(dāng)然也可將除了前面所述元件或組件之外的元件或組件加入每個(gè)設(shè)備(或處理器)的構(gòu)造。此外，也可將特定設(shè)備(或處理器)的構(gòu)造的一部分合并在其他設(shè)備(或其他處理器)的構(gòu)造中，只要作為整體的系統(tǒng)的構(gòu)造和操作實(shí)際上相同。換言之，本技術(shù)不限于前面的實(shí)施例，在不脫離本技術(shù)主題的范圍內(nèi)各種修改都可以。
根據(jù)前面實(shí)施例的圖像編碼設(shè)備和圖像解碼設(shè)備可應(yīng)用于各種電子裝備，例如用于經(jīng)由衛(wèi)星廣播、有線(xiàn)廣播(例如有線(xiàn)電視)、互聯(lián)網(wǎng)上或者蜂窩網(wǎng)絡(luò)上的傳播、將圖像記錄在介質(zhì)(例如光盤(pán)、磁盤(pán)和閃存)上的記錄設(shè)備、或者重放來(lái)自這些存儲(chǔ)介質(zhì)的圖像的重放設(shè)備，向客戶(hù)端裝置傳送內(nèi)容的傳輸器和接收器。下面描述四種示例性應(yīng)用。
4.示例性應(yīng)用
第一示例性應(yīng)用:電視機(jī)
圖23示出已經(jīng)應(yīng)用前面實(shí)施例的電視機(jī)的示例性構(gòu)造。電視機(jī)900配備有天線(xiàn)901、調(diào)諧器902、解多路復(fù)用器903、解碼器904、視頻信號(hào)處理器905、顯示單元906、音頻信號(hào)處理器907、一個(gè)或多個(gè)揚(yáng)聲器908、外部接口 909、控制器910、用戶(hù)接口 911和總線(xiàn)912。
調(diào)諧器902從經(jīng)由天線(xiàn)901接收的廣播信號(hào)提取用于期望頻道的信號(hào)，并將提取的信號(hào)解調(diào)。然后調(diào)諧器902將通過(guò)解調(diào)獲得的編碼比特流輸出到解多路復(fù)用器903。換言之，調(diào)諧器902在電視機(jī)900中起通信器件的作用，接收其中圖像被編碼的編碼流。
解多路復(fù)用器903從編碼比特流將用于要觀(guān)看的節(jié)目的視頻流和音頻流分離，并將分離流輸出到解碼器904。此外解多路復(fù)用器903從編碼比特流提取補(bǔ)充數(shù)據(jù)(例如電子節(jié)目指南(EPG))，并將提取的數(shù)據(jù)提供給控制器910。注意，在編碼比特流被加擾的情況下，解多路復(fù)用器903還可以進(jìn)行解擾。
解碼器904將從解多路復(fù)用器903輸入的視頻流和音頻流解碼。然后解碼器904將通過(guò)解碼處理產(chǎn)生的視頻數(shù)據(jù)輸出到視頻信號(hào)處理器905。此外，解碼器904將通過(guò)解碼處理產(chǎn)生的音頻數(shù)據(jù)輸出到音頻信號(hào)處理器907。
視頻信號(hào)處理器905重放從解碼器904輸入的視頻數(shù)據(jù)，使得顯示單元906顯示圖片。視頻信號(hào)處理器905還可以使得顯示單元906顯示經(jīng)由網(wǎng)絡(luò)提供的應(yīng)用屏幕。此外，根據(jù)設(shè)置，視頻信號(hào)處理器905例如還可以對(duì)視頻數(shù)據(jù)進(jìn)行附加處理，例如去噪。此外，視頻信號(hào)處理器905例如還可以產(chǎn)生圖形用戶(hù)接口(⑶I)圖像，例如菜單、按鈕或指針，并將產(chǎn)生的圖像覆蓋在輸出圖像上。
顯示單元906通過(guò)從視頻信號(hào)處理器905提供的驅(qū)動(dòng)信號(hào)來(lái)驅(qū)動(dòng)，并在顯示裝置(例如液晶顯示器、等離子體顯示器或者有機(jī)電致發(fā)光顯示器(OELD))的屏幕上顯示視頻或圖像。
音頻信號(hào)處理器907對(duì)于從解碼器904輸入的音頻數(shù)據(jù)進(jìn)行重放處理，例如D/A轉(zhuǎn)換和放大，并使得音頻從一個(gè)或多個(gè)揚(yáng)聲器908輸出。音頻信號(hào)處理器907還可以對(duì)音頻數(shù)據(jù)進(jìn)行附加處理，例如去噪。
外部接口 909是用于將電視機(jī)900連接到外部設(shè)備或網(wǎng)絡(luò)的接口。例如，也可以通過(guò)解碼器904將經(jīng)由外部接口 909接收的視頻流和音頻流解碼。換言之，外部接口 909在電視機(jī)900中也起通信裝置的作用，用于接收其中圖像被編碼的編碼流。
控制器910包括處理器 (例如CPU)以及存儲(chǔ)器(例如RAM和ROM)。存儲(chǔ)器存儲(chǔ)信息，例如通過(guò)CPU執(zhí)行的程序、程序數(shù)據(jù)、EPG數(shù)據(jù)以及經(jīng)由網(wǎng)絡(luò)獲取的數(shù)據(jù)。例如當(dāng)啟動(dòng)電視機(jī)900時(shí)，讀取通過(guò)存儲(chǔ)器存儲(chǔ)的程序并通過(guò)CPU執(zhí)行。通過(guò)執(zhí)行這種程序，CPU例如根據(jù)從用戶(hù)接口 911輸入的操作信號(hào)，控制電視機(jī)900的操作。
用戶(hù)接口 911連接到控制器910。用戶(hù)接口 911例如可包括用戶(hù)操作電視機(jī)900以及遙控信號(hào)接收器的按鈕和開(kāi)關(guān)。用戶(hù)接口 911經(jīng)由這些組件檢測(cè)用戶(hù)進(jìn)行的操作，產(chǎn)生操作信號(hào)，并將產(chǎn)生的操作信號(hào)輸出到控制器910。
總線(xiàn)912將調(diào)諧器902、解多路復(fù)用器903、解碼器904、視頻信號(hào)處理器905、音頻信號(hào)處理器907、外部接口 909以及控制器910相互連接。
在通過(guò)這種方式配置的電視機(jī)900中，解碼器904包括根據(jù)前面實(shí)施例的圖像解碼設(shè)備的功能。因此，當(dāng)在電視機(jī)900中解碼圖像時(shí)，在輸入是交錯(cuò)信號(hào)的情況下，可以有效地進(jìn)行解碼。
第二示例性應(yīng)用:移動(dòng)電話(huà)
圖24示出已經(jīng)應(yīng)用前面實(shí)施例的移動(dòng)電話(huà)的示例性構(gòu)造。移動(dòng)電話(huà)920配備有天線(xiàn)921、通信單元922、音頻編解碼器923、揚(yáng)聲器924、麥克風(fēng)925、相機(jī)926、圖像處理器927、多路復(fù)用器/解復(fù)用器(mux/demux) 928、記錄/重放單元929、顯示單元930、控制器931、可操作單元932以及總線(xiàn)933。
天線(xiàn)921連接到通信單元922。揚(yáng)聲器924和麥克風(fēng)925連接到音頻編解碼器923?？刹僮鲉卧?32連接到控制器931?？偩€(xiàn)933將通信單元922、音頻編解碼器923、相機(jī)926、圖像處理器927、多路復(fù)用器/解復(fù)用器928、記錄/重放單元929、顯示單元930以及控制器931相互連接。
移動(dòng)電話(huà)920有各種操作模式，包括音頻電話(huà)模式、數(shù)據(jù)通信模式、成像模式和視頻電話(huà)模式。在這些模式中，移動(dòng)電話(huà)920進(jìn)行諸如傳輸和接收音頻信號(hào)、傳輸和接收電子郵件或圖像數(shù)據(jù)、用相機(jī)拍照以及記錄數(shù)據(jù)這樣的操作。
在音頻電話(huà)模式中，將通過(guò)麥克風(fēng)925產(chǎn)生的模擬音頻信號(hào)提供給音頻編解碼器923。音頻編解碼器923將模擬音頻信號(hào)轉(zhuǎn)換為音頻數(shù)據(jù)，并對(duì)轉(zhuǎn)換后的音頻數(shù)據(jù)進(jìn)行A/D轉(zhuǎn)換和壓縮。然后音頻編解碼器923將壓縮的音頻數(shù)據(jù)輸出到通信單元922。通信單元922將音頻數(shù)據(jù)編碼和調(diào)制，以產(chǎn)生發(fā)送信號(hào)。然后，通信單元922經(jīng)由天線(xiàn)921將產(chǎn)生的發(fā)送信號(hào)發(fā)送到基站(未示出)。此外，通信單元922將經(jīng)由天線(xiàn)921接收的無(wú)線(xiàn)電信號(hào)放大和頻率轉(zhuǎn)換，以獲取接收信號(hào)。然后，通信單元922將接收的信號(hào)解調(diào)和解碼，以產(chǎn)生音頻數(shù)據(jù)，并將產(chǎn)生的音頻數(shù)據(jù)輸出到音頻編解碼器923。音頻編解碼器923將音頻數(shù)據(jù)解壓縮和D/A轉(zhuǎn)換，以產(chǎn)生模擬音頻信號(hào)。然后音頻編解碼器923將產(chǎn)生的音頻信號(hào)提供給揚(yáng)聲器924,用于作為音頻輸出。
同時(shí)，在數(shù)據(jù)通信模式中，控制器931例如可以根據(jù)用戶(hù)經(jīng)由可操作單元932進(jìn)行的操作，產(chǎn)生構(gòu)成電子郵件消息的文本數(shù)據(jù)。控制器931使得文本在顯示單元930上顯示?？刂破?31根據(jù)用戶(hù)經(jīng)由可操作單元932發(fā)出的發(fā)送指令，產(chǎn)生電子郵件數(shù)據(jù)，并將產(chǎn)生的電子郵件數(shù)據(jù)輸出到通信單元922。通信單元922將電子郵件數(shù)據(jù)編碼和調(diào)制，以產(chǎn)生發(fā)送信號(hào)。然后，通信單元922將產(chǎn)生的發(fā)送信號(hào)經(jīng)由天線(xiàn)921發(fā)送到基站(未示出)。此外，通信單元922將經(jīng)由天線(xiàn)921接收的無(wú)線(xiàn)電信號(hào)放大并進(jìn)行頻率轉(zhuǎn)換，以獲取接收信號(hào)。然后，通信單元922將接收信號(hào)解調(diào)和解碼，以恢復(fù) 電子郵件數(shù)據(jù)，并將恢復(fù)的電子郵件數(shù)據(jù)輸出到控制器931?？刂破?31使得電子郵件的內(nèi)容通過(guò)顯示單元930顯示，同時(shí)還使得電子郵件數(shù)據(jù)存儲(chǔ)在記錄/重放單元929的存儲(chǔ)介質(zhì)中。
記錄/重放單元929包括任意的可讀和可寫(xiě)存儲(chǔ)介質(zhì)。例如，存儲(chǔ)介質(zhì)可以是諸如RAM或閃存這樣的內(nèi)部存儲(chǔ)介質(zhì)，也可以是諸如硬盤(pán)、磁盤(pán)、磁光盤(pán)、光盤(pán)、通用串行總線(xiàn)(USB)存儲(chǔ)器或存儲(chǔ)卡這樣的外部插入存儲(chǔ)介質(zhì)。
同時(shí)，在成像模式下，相機(jī)926例如可以拍攝目標(biāo)的圖像并產(chǎn)生圖像數(shù)據(jù)，以及將產(chǎn)生的圖像數(shù)據(jù)輸出到圖像處理器927。圖像處理器927將從相機(jī)926輸入的圖像數(shù)據(jù)編碼，并使得編碼流存儲(chǔ)在記錄/重放單元929的存儲(chǔ)介質(zhì)中。
同時(shí)，在視頻電話(huà)模式下，多路復(fù)用器/解復(fù)用器928例如可以通過(guò)從音頻編解碼器923輸入的音頻流將通過(guò)圖像處理器927編碼的視頻流復(fù)用，并將復(fù)用流輸出到通信單元922。通信單元922將該流編碼和調(diào)制，以產(chǎn)生發(fā)送信號(hào)。然后，通信單元922經(jīng)由天線(xiàn)921將產(chǎn)生的發(fā)送信號(hào)發(fā)送到基站(未示出)。此外，通信單元922將經(jīng)由天線(xiàn)921接收的無(wú)線(xiàn)電信號(hào)放大并進(jìn)行頻率轉(zhuǎn)換，以獲取接收信號(hào)。編碼比特流可包括在這些發(fā)送信號(hào)和接收信號(hào)中。然后，通信單元922將接收信號(hào)解調(diào)和解碼，以恢復(fù)流，并將恢復(fù)的流輸出到多路復(fù)用器/解復(fù)用器928。多路復(fù)用器/解復(fù)用器928將視頻流和音頻流從輸入流分離(解復(fù)用)，將視頻流輸出到圖像處理器927以及將音頻流輸出到音頻編解碼器923。圖像處理器927將視頻流解碼，以產(chǎn)生視頻數(shù)據(jù)。視頻數(shù)據(jù)被提供給顯示單元930，并通過(guò)顯示單元930顯示一系列圖像。音頻編解碼器923將音頻流解壓縮并進(jìn)行D/A轉(zhuǎn)換，以產(chǎn)生模擬音頻信號(hào)。然后音頻編解碼器923將產(chǎn)生的音頻信號(hào)提供給揚(yáng)聲器924，用于作為音頻輸出。
在通過(guò)這種方式配置的移動(dòng)電話(huà)920中，圖像處理器927包括根據(jù)前面實(shí)施例的圖像編碼設(shè)備和圖像解碼設(shè)備的功能。因此，在移動(dòng)電話(huà)920中將圖像編碼和解碼時(shí)，在輸入是交錯(cuò)信號(hào)的情況下，可以有效地進(jìn)行編碼和解碼。
第三示例性應(yīng)用:記錄和重放設(shè)備
圖25示出已經(jīng)應(yīng)用前面實(shí)施例的記錄和重放設(shè)備的示例性構(gòu)造。記錄和重放設(shè)備940例如可將來(lái)自接收到的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)編碼，并將編碼數(shù)據(jù)記錄在記錄介質(zhì)。記錄和重放設(shè)備940例如還可將從其他設(shè)備獲取的音頻數(shù)據(jù)和視頻數(shù)據(jù)編碼，并將編碼的數(shù)據(jù)記錄在記錄介質(zhì)。記錄和重放設(shè)備940例如還可根據(jù)用戶(hù)指令，經(jīng)由監(jiān)視器以及一個(gè)或多個(gè)揚(yáng)聲器，重放記錄在記錄介質(zhì)的數(shù)據(jù)。此時(shí)，記錄和重放設(shè)備940將音頻數(shù)據(jù)和視頻數(shù)據(jù)解碼。
記錄和重放設(shè)備940配備有調(diào)諧器941、外部接口 942、編碼器943、硬盤(pán)驅(qū)動(dòng)器(HDD)944、盤(pán)驅(qū)動(dòng)器 945、選擇器 946、解碼器 947、屏幕顯示(on screen display, OSD)948>控制器949以及用戶(hù)接口 950。
調(diào)諧器941從經(jīng)由天線(xiàn)(未示出)接收的廣播信號(hào)提取用于期望頻道的信號(hào)，并將提取的信號(hào)解調(diào)。然后調(diào)諧器941將通過(guò)解調(diào)獲得的編碼比特流輸出到選擇器946。換言之，調(diào)諧器941在記錄和重放設(shè)備940中起通信裝置的作用。
外部接口 942是用于將記錄和重放設(shè)備940連接到外部設(shè)備或網(wǎng)絡(luò)的接口。外部接口 942例如可以是IEEE 1394接口、網(wǎng)絡(luò)接口、USB接口或者閃存接口。例如，可將經(jīng)由外部接口 942接收的視頻數(shù)據(jù)和音頻數(shù)據(jù)輸入編碼器943。換言之，外部接口 942在記錄和重放設(shè)備940中起通信裝置的 作用。
如果從外部接口 942輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)沒(méi)有被編碼，編碼器943將視頻數(shù)據(jù)和音頻數(shù)據(jù)編碼。然后編碼器943將編碼的比特流輸出到選擇器946。
HDD 944將編碼的比特流(其中將視頻和音頻或其他內(nèi)容的數(shù)據(jù)壓縮)、各種程序以及其他數(shù)據(jù)記錄到內(nèi)部的硬盤(pán)。此外，在視頻和音頻重放過(guò)程中，HDD 944從硬盤(pán)讀取這些數(shù)據(jù)。
磁盤(pán)驅(qū)動(dòng)器945將數(shù)據(jù)記錄在插入的記錄介質(zhì)，以及從插入的記錄介質(zhì)讀取數(shù)據(jù)。插入磁盤(pán)驅(qū)動(dòng)器945的記錄介質(zhì)例如可以是DVD盤(pán)(例如DVD-Video、DVD-RAM、DVD-R、DVD-Rff, DVD+R或者DVD+RW)、或者藍(lán)光盤(pán)(注冊(cè)商標(biāo))。
在視頻和音頻記錄過(guò)程中，選擇器946選擇從調(diào)諧器941或者編碼器943輸入的編碼比特流，并將這樣選擇的編碼比特流輸出到HDD 944或者盤(pán)驅(qū)動(dòng)器945。此外，在視頻和音頻重放過(guò)程中，選擇器946將從HDD 944或者盤(pán)驅(qū)動(dòng)器945輸入的編碼比特流輸出到解碼器947。
解碼器947將編碼比特流解碼，并產(chǎn)生視頻數(shù)據(jù)和音頻數(shù)據(jù)。然后解碼器947將產(chǎn)生的視頻數(shù)據(jù)輸出到OSD 948。此外，解碼器947將產(chǎn)生的音頻數(shù)據(jù)輸出到一個(gè)或多個(gè)外部揚(yáng)聲器。
OSD 948重放從解碼器947輸入的視頻數(shù)據(jù)并顯示圖片。OSD 948也可將諸如菜單、按鈕或者指針這樣的GUI圖像覆蓋顯示的圖片。
控制器949包括處理器(例如CPU)以及存儲(chǔ)器(例如RAM和ROM)。存儲(chǔ)器存儲(chǔ)信息，例如通過(guò)CPU執(zhí)行的程序和程序數(shù)據(jù)。例如當(dāng)啟動(dòng)記錄和重放設(shè)備940時(shí)，讀取通過(guò)存儲(chǔ)器存儲(chǔ)的程序并通過(guò)CPU執(zhí)行。通過(guò)執(zhí)行這些程序，CPU例如根據(jù)從用戶(hù)接口 950輸入的操作信號(hào)，控制記錄和重放設(shè)備940的操作。
用戶(hù)接口 950連接到控制器949。用戶(hù)接口 950例如可包括用戶(hù)操作記錄和重放設(shè)備940以及遙控信號(hào)接收器的按鈕和開(kāi)關(guān)。用戶(hù)接口 950經(jīng)由這些組件檢測(cè)用戶(hù)進(jìn)行的操作，產(chǎn)生操作信號(hào)，并將產(chǎn)生的操作信號(hào)輸出到控制器949。
在通過(guò)這種方式配置的記錄和重放設(shè)備940中，編碼器943包括根據(jù)前面實(shí)施例的圖像編碼設(shè)備的功能。此外，解碼器947包括根據(jù)前面實(shí)施例的圖像解碼設(shè)備的功能。因此，當(dāng)在記錄和重放設(shè)備940中編碼和解碼圖像時(shí)，在輸入是交錯(cuò)信號(hào)的情況下，可以有效地進(jìn)行編碼或解碼。
第四示例性應(yīng)用:成像設(shè)備
圖26示出已經(jīng)應(yīng)用前面實(shí)施例的成像設(shè)備的示例性構(gòu)造。成像設(shè)備960將目標(biāo)成像以產(chǎn)生圖像，將圖像數(shù)據(jù)編碼，并將編碼數(shù)據(jù)記錄在記錄介質(zhì)。
成像設(shè)備960配備有光學(xué)塊961、成像單元962、信號(hào)處理器963、圖像處理器964、顯示單元965、外部接口 966、存儲(chǔ)器967、介質(zhì)驅(qū)動(dòng)器968、OSD 969、控制器970、用戶(hù)接口971以及總線(xiàn)972。
光學(xué)塊961連接到成像單元962。成像單元962連接到信號(hào)處理器963。顯示單元965連接到圖像處理器964。用戶(hù)接口 971連接到控制器970?？偩€(xiàn)972將圖像處理器964、外部接口 966、存儲(chǔ)器967、介質(zhì)驅(qū)動(dòng)器968、OSD 969以及控制器970相互連接。
光學(xué)塊961包括諸如聚焦透鏡和隔膜機(jī)構(gòu)這樣的組件。光學(xué)塊961在成像單元962的成像表面上形成目標(biāo)的光學(xué)圖像。成像單元962包括諸如電荷耦合裝置(CXD)或者互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)這樣的圖像傳感器，并通過(guò)光電轉(zhuǎn)換將成像表面上形成的光學(xué)圖像轉(zhuǎn)換為以電信號(hào)表示的圖像信 號(hào)。然后成像單元962將圖像信號(hào)輸出到信號(hào)處理器963。
信號(hào)處理器963對(duì)于從成像單兀962輸入的圖像信號(hào)進(jìn)行各種相機(jī)信號(hào)處理,例如knee校正、伽馬校正和顏色校正。信號(hào)處理器963將由相機(jī)信號(hào)處理得到的圖像數(shù)據(jù)輸出到圖像處理器964。
圖像處理器964將從信號(hào)處理器963輸入的圖像數(shù)據(jù)編碼，并產(chǎn)生編碼數(shù)據(jù)。然后圖像處理器964將這樣產(chǎn)生的編碼數(shù)據(jù)輸出到外部接口 966或者介質(zhì)驅(qū)動(dòng)器968。此外，圖像處理器964通過(guò)將從外部接口 966或者介質(zhì)驅(qū)動(dòng)器968輸入的編碼數(shù)據(jù)解碼，產(chǎn)生圖像數(shù)據(jù)。然后圖像處理器964將產(chǎn)生的圖像數(shù)據(jù)輸出到顯示單元965。圖像處理器964也可將從信號(hào)處理器963輸入的圖像數(shù)據(jù)輸出到顯示單元965，并使得顯示圖像。圖像處理器964也可將從OSD 969獲取的顯示數(shù)據(jù)覆蓋在輸出到顯示單元965的圖像上。
OSD 969例如可以產(chǎn)生諸如菜單、按鈕或者指針這樣的⑶I圖像，并將產(chǎn)生的圖像輸出到圖像處理器964。
外部接口 966例如可包括USB輸入/輸出端口。例如在打印圖像時(shí)，外部接口 966可將成像設(shè)備960連接到打印機(jī)。也可視情況將驅(qū)動(dòng)器連接到外部接口 966。例如可將諸如磁盤(pán)或光盤(pán)這樣的可移動(dòng)介質(zhì)插入驅(qū)動(dòng)器，并且可將從可移動(dòng)介質(zhì)讀取的程序安裝在成像設(shè)備960上。此外，外部接口 966還可包括連接到諸如LAN或者互聯(lián)網(wǎng)這樣的網(wǎng)絡(luò)的網(wǎng)絡(luò)接口。換言之，外部接口 966在成像設(shè)備960中起通信器件的作用。
插入介質(zhì)驅(qū)動(dòng)器968的記錄介質(zhì)可以是任意的可讀寫(xiě)的可移動(dòng)介質(zhì)，例如磁盤(pán)、磁光盤(pán)、光盤(pán)或者半導(dǎo)體存儲(chǔ)器。此外，例如可將記錄介質(zhì)永久性安裝在介質(zhì)驅(qū)動(dòng)器968中，以形成諸如內(nèi)部硬盤(pán)或者固態(tài)驅(qū)動(dòng)器(SSD)這樣的固定存儲(chǔ)單元，
控制器970包括處理器(例如CPU)以及存儲(chǔ)器(例如RAM和ROM)。存儲(chǔ)器存儲(chǔ)信息,例如通過(guò)CPU執(zhí)行的程序和程序數(shù)據(jù)。例如當(dāng)啟動(dòng)成像設(shè)備960時(shí)，讀取通過(guò)存儲(chǔ)器存儲(chǔ)的程序并通過(guò)CPU執(zhí)行該程序。通過(guò)執(zhí)行這些程序，CPU例如根據(jù)從用戶(hù)接口 971輸入的操作信號(hào)，控制成像設(shè)備960的操作。
用戶(hù)接口 971連接到控制器970。用戶(hù)接口 971例如可包括用戶(hù)操作成像設(shè)備960的按鈕和開(kāi)關(guān)。用戶(hù)接口 971經(jīng)由這些組件檢測(cè)用戶(hù)進(jìn)行的操作，產(chǎn)生操作信號(hào)，并將產(chǎn)生的操作信號(hào)輸出到控制器970。
在通過(guò)這種方式配置的成像設(shè)備960中，圖像處理器964包括根據(jù)前面實(shí)施例的圖像編碼設(shè)備和圖像解碼設(shè)備的功能。因此，當(dāng)在成像設(shè)備960中編碼和解碼圖像時(shí)，在輸入是交錯(cuò)信號(hào)的情況下，可以有效地進(jìn)行編碼或解碼。
在本說(shuō)明書(shū)中，描述了這樣的示例，其中將諸如表示場(chǎng)編碼信息的標(biāo)志、表示奇偶性信息的標(biāo)志、運(yùn)動(dòng)矢量信息以及預(yù)測(cè)模式信息的各種信息復(fù)用到編碼流，并將其從編碼器發(fā)送到解碼器。但是，發(fā)送這些信息的技術(shù)不限于這樣的示例。例如，也可將這樣的信息作為與編碼比特流相關(guān)聯(lián)的單獨(dú)數(shù)據(jù)發(fā)送或記錄，而不復(fù)用到編碼比特流。這里，術(shù)語(yǔ)“相關(guān)聯(lián)”指的是在解碼時(shí)，可將比特流中包括的圖像(也包括諸如條帶或塊這樣的部分圖像)與對(duì)應(yīng)于該圖像的信息鏈接。換言之，可以根據(jù)圖像(或比特流)在單獨(dú)的發(fā)送通道上發(fā)送信息。此外，可以根據(jù)圖像(或比特流)將信息記錄于單獨(dú)的記錄介質(zhì)(或者相同記錄介質(zhì)上的單獨(dú)記錄區(qū)域)。此外，信息與圖像(或比特流)例如可以以諸如多個(gè)幀、單個(gè)幀或者幀中的一部分這樣的任意單位相關(guān) 聯(lián)。
因此，前面參照附圖詳細(xì)描述了本公開(kāi)的優(yōu)選實(shí)施例。但是，本公開(kāi)不限于這些示例。對(duì)于本領(lǐng)域技術(shù)人員而言，顯然可以出現(xiàn)各種修改或變化，只要它們落入權(quán)利要求書(shū)所述技術(shù)構(gòu)思的范圍，并且應(yīng)當(dāng)理解，這些修改和變化顯然屬于本公開(kāi)的技術(shù)范圍。
本技術(shù)也可以采用如下構(gòu)造。
(I) 一種圖像處理設(shè)備，包括
接收器，用于接收編碼流和針對(duì)每個(gè)序列發(fā)送的、指示是否進(jìn)行場(chǎng)編碼的場(chǎng)編碼標(biāo)志；以及
解碼器，用于通過(guò)根據(jù)接收器接收的場(chǎng)編碼標(biāo)志將接收器接收的編碼流解碼，來(lái)產(chǎn)生圖像。
( 2 )根據(jù)(I)的圖像處理設(shè)備，其中
接收器接收奇偶標(biāo)志，該奇偶標(biāo)志指示各個(gè)場(chǎng)的奇偶性并且針對(duì)每個(gè)圖片發(fā)送，以及
在所述接收器接收的場(chǎng)編碼標(biāo)志指示進(jìn)行場(chǎng)編碼的情況下，解碼器通過(guò)根據(jù)接收器接收的奇偶標(biāo)志將接收器接收的編碼流解碼，來(lái)產(chǎn)生圖像。
(3)根據(jù)(2)的圖像處理設(shè)備，其中
場(chǎng)編碼標(biāo)志被設(shè)置在序列參數(shù)集中。
(4)根據(jù)(2)或(3)的圖像處理設(shè)備，其中
奇偶標(biāo)志被設(shè)置在適應(yīng)參數(shù)集中。
(5)根據(jù)(I)至(4)中任一項(xiàng)的圖像處理設(shè)備，其中
接收器接收用于作為交錯(cuò)信號(hào)顯示的指令信息，該指令信息在補(bǔ)充增強(qiáng)信息消息中被設(shè)置和發(fā)送，以及
在接收器接收的場(chǎng)編碼標(biāo)志指示進(jìn)行幀編碼的情況下，解碼器通過(guò)根據(jù)接收器接收的指令信息將所述接收器接收的編碼流解碼，來(lái)產(chǎn)生圖像，并將產(chǎn)生的圖像作為交錯(cuò)信號(hào)輸出。
(6) 一種圖像處理方法，包括
接收編碼流和針對(duì)每個(gè)序列發(fā)送的、指示是否進(jìn)行場(chǎng)編碼的場(chǎng)編碼標(biāo)志；以及
通過(guò)根據(jù)接收的場(chǎng)編碼標(biāo)志將接收的編碼流解碼，來(lái)產(chǎn)生圖像。
(7)—種圖像處理設(shè)備，包括
編碼器，用于根據(jù)是否要對(duì)圖像進(jìn)行場(chǎng)編碼，將圖像編碼，并產(chǎn)生編碼流；
設(shè)置單元，用于針對(duì)每個(gè)序列，設(shè)置指示是否對(duì)圖像進(jìn)行場(chǎng)編碼的場(chǎng)編碼標(biāo)志；以及
發(fā)送器，用于發(fā)送由所述編碼器產(chǎn)生的編碼流以及由設(shè)置單元針對(duì)每個(gè)序列設(shè)置的場(chǎng)編碼標(biāo)志。
(8)根據(jù)(7)的圖像處理設(shè)備，其中
設(shè)置單元在要對(duì)圖像進(jìn)行場(chǎng)編碼的情況下，針對(duì)每個(gè)圖片設(shè)置指示各個(gè)場(chǎng)的奇偶性的奇偶標(biāo)志，以及
發(fā)送器發(fā)送由設(shè)置單元針對(duì)每個(gè)圖片設(shè)置的奇偶標(biāo)志。
(9)根據(jù)(7)或(8)的圖像處理設(shè)備，其中
設(shè)置單元在序列參數(shù)集 中設(shè)置場(chǎng)編碼標(biāo)志。
(10)根據(jù)(8)或(9)的圖像處理設(shè)備，其中
設(shè)置單元在適應(yīng)參數(shù)集中設(shè)置奇偶標(biāo)志。
( 11)根據(jù)(7 )至(10 )任一項(xiàng)的圖像處理設(shè)備，其中
在要對(duì)圖像進(jìn)行幀編碼但是圖像顯示為交錯(cuò)信號(hào)的情況下，設(shè)置單元在補(bǔ)充增強(qiáng)信息消息中設(shè)置用于作為交錯(cuò)信號(hào)顯示的指令信息，以及
發(fā)送器發(fā)送其中已經(jīng)由設(shè)置單元設(shè)置指令信息的補(bǔ)充增強(qiáng)信息。
(12)—種圖像處理方法，包括
根據(jù)是否要對(duì)圖像進(jìn)行場(chǎng)編碼，將圖像編碼，并產(chǎn)生編碼流；
針對(duì)每個(gè)序列設(shè)置指示是否對(duì)圖像進(jìn)行場(chǎng)編碼的場(chǎng)編碼標(biāo)志；以及
發(fā)送產(chǎn)生的編碼流和針對(duì)每個(gè)序列設(shè)置的場(chǎng)編碼標(biāo)志。
本公開(kāi)包含的主題與2012年I月18日在日本專(zhuān)利局提交的日本優(yōu)先權(quán)專(zhuān)利申請(qǐng)JP 2012-008461中公開(kāi)的主題相關(guān)，因此通過(guò)參考將該申請(qǐng)的全部?jī)?nèi)容合并于此。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計(jì)要求和其他因素，可以出現(xiàn)各種修改、組合、子組合和變化，只要它們落入所附權(quán)利要求書(shū)或其等同物的范圍。
權(quán)利要求
1.一種圖像處理設(shè)備，包括: 接收器，用于接收編碼流和針對(duì)每個(gè)序列發(fā)送的、指示是否進(jìn)行場(chǎng)編碼的場(chǎng)編碼標(biāo)志；以及 解碼器，用于通過(guò)根據(jù)所述接收器接收的所述場(chǎng)編碼標(biāo)志將所述接收器接收的編碼流解碼，來(lái)產(chǎn)生圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中 所述接收器接收奇偶標(biāo)志，所述奇偶標(biāo)志指示各個(gè)場(chǎng)的奇偶性并且針對(duì)每個(gè)圖片發(fā)送，以及 在所述接收器接收的所述場(chǎng)編碼標(biāo)志指示進(jìn)行場(chǎng)編碼的情況下，所述解碼器通過(guò)根據(jù)所述接收器接收的所述奇偶標(biāo)志將所述接收器接收的編碼流解碼，來(lái)產(chǎn)生圖像。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中 所述場(chǎng)編碼標(biāo)志被設(shè)置在序列參數(shù)集中。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中 所述奇偶標(biāo)志被設(shè)置在適應(yīng)參數(shù)集中。
5.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其中 所述接收器接收用于作為交錯(cuò)信號(hào)顯示的指令信息，所述指令信息在補(bǔ)充增強(qiáng)信息消息中被設(shè)置和發(fā)送，以及 在所述接收器接收的場(chǎng)編碼標(biāo)志指示進(jìn)行幀編碼的情況下，所述解碼器通過(guò)根據(jù)所述接收器接收的所述指令信息將所述接收器接收的編碼流解碼，來(lái)產(chǎn)生圖像，并將產(chǎn)生的圖像作為交錯(cuò)信號(hào)輸出。
6.—種圖像處理方法,包括: 接收編碼流和針對(duì)每個(gè)序列發(fā)送的、指示是否進(jìn)行場(chǎng)編碼的場(chǎng)編碼標(biāo)志；以及 通過(guò)根據(jù)接收的場(chǎng)編碼標(biāo)志將接收的編碼流解碼，來(lái)產(chǎn)生圖像。
7.一種圖像處理設(shè)備，包括: 編碼器，用于根據(jù)是否要對(duì)圖像進(jìn)行場(chǎng)編碼，將所述圖像編碼，并產(chǎn)生編碼流； 設(shè)置單元，用于針對(duì)每個(gè)序列，設(shè)置指示是否對(duì)所述圖像進(jìn)行場(chǎng)編碼的場(chǎng)編碼標(biāo)志；以及 發(fā)送器，用于發(fā)送由所述 編碼器產(chǎn)生的所述編碼流以及由所述設(shè)置單元針對(duì)每個(gè)序列設(shè)置的所述場(chǎng)編碼標(biāo)志。
8.根據(jù)權(quán)利要求7所述的圖像處理設(shè)備，其中 所述設(shè)置單元在要對(duì)所述圖像進(jìn)行場(chǎng)編碼的情況下，針對(duì)每個(gè)圖片設(shè)置指示各個(gè)場(chǎng)的奇偶性的奇偶標(biāo)志，以及 所述發(fā)送器發(fā)送由所述設(shè)置單元針對(duì)每個(gè)圖片設(shè)置的所述奇偶標(biāo)志。
9.根據(jù)權(quán)利要求8所述的圖像處理設(shè)備，其中 所述設(shè)置單元在序列參數(shù)集中設(shè)置所述場(chǎng)編碼標(biāo)志。
10.根據(jù)權(quán)利要求9所述的圖像處理設(shè)備，其中 所述設(shè)置單元在適應(yīng)參數(shù)集中設(shè)置所述奇偶標(biāo)志。
11.根據(jù)權(quán)利要求10所述的圖像處理設(shè)備，其中 在要對(duì)所述圖像進(jìn)行幀編碼但是所述圖像顯示為交錯(cuò)信號(hào)的情況下，所述設(shè)置單元在補(bǔ)充增強(qiáng)信息消息中設(shè)置用于作為交錯(cuò)信號(hào)顯示的指令信息，以及 所述發(fā)送器發(fā)送其中已經(jīng)由所述設(shè)置單元設(shè)置所述指令信息的所述補(bǔ)充增強(qiáng)信息。
12.—種圖像處理方法，包括: 根據(jù)是否要對(duì)圖像進(jìn)行場(chǎng)編碼，將所述圖像編碼，并產(chǎn)生編碼流； 針對(duì)每個(gè)序列設(shè)置指示是否對(duì)所述圖像進(jìn)行場(chǎng)編碼的場(chǎng)編碼標(biāo)志；以及 發(fā)送產(chǎn)生的編碼流和針對(duì)每個(gè) 序列設(shè)置的所述場(chǎng)編碼標(biāo)志。
全文摘要
本公開(kāi)提供一種圖像處理設(shè)備和圖像處理方法。圖像處理設(shè)備包括接收器，用于接收編碼流和針對(duì)每個(gè)序列發(fā)送的、指示是否進(jìn)行場(chǎng)編碼的場(chǎng)編碼標(biāo)志；以及解碼器，用于通過(guò)根據(jù)接收器接收的場(chǎng)編碼標(biāo)志將所述接收器接收的編碼流解碼，來(lái)產(chǎn)生圖像。
文檔編號(hào)H04N7/50GK103220513SQ20131001225
公開(kāi)日2013年7月24日 申請(qǐng)日期2013年1月11日 優(yōu)先權(quán)日2012年1月18日
發(fā)明者佐藤數(shù)史 申請(qǐng)人:索尼公司