圖像處理裝置和圖像處理方法、程序和成像設(shè)備的制作方法
【專利摘要】本發(fā)明涉及一種圖像處理裝置和圖像處理方法、程序和成像設(shè)備。該圖像處理裝置包括：分割單元，將圖像數(shù)據(jù)的每個(gè)圖片分割成多種布置；多個(gè)編碼單元，多個(gè)編碼單元中的每個(gè)對從由分割單元進(jìn)行的分割得到的相互不同的布置中的圖片進(jìn)行編碼；以及合成單元，合成通過多個(gè)編碼單元中的每個(gè)對每個(gè)圖片進(jìn)行編碼而得到的布置中的流，其中，在對當(dāng)前圖片進(jìn)行編碼時(shí)，編碼單元使用第一全局運(yùn)動向量GMV執(zhí)行幀間預(yù)測，第一全局運(yùn)動向量GMV是從關(guān)于在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的完成了處理的部分的運(yùn)動信息推導(dǎo)出的，該圖像數(shù)據(jù)存在于正被分割單元分割的圖像數(shù)據(jù)之前，并且該圖像數(shù)據(jù)的處理正在不同的編碼單元中進(jìn)行。
【專利說明】圖像處理裝置和圖像處理方法、程序和成像設(shè)備
[0001]相關(guān)申請的交叉引用
[0002]本申請要求于2013年6月11日提交的日本在先專利申請JP2013-123122的優(yōu)先權(quán),其全部內(nèi)容通過引用合并于此。

【技術(shù)領(lǐng)域】
[0003]本公開內(nèi)容涉及一種圖像處理裝置、圖像處理方法、程序和成像設(shè)備，尤其涉及一種能夠抑制由于圖像的編碼而導(dǎo)致的圖像質(zhì)量的下降的圖像處理裝置、圖像處理方法、程序和成像設(shè)備。

【背景技術(shù)】
[0004]在現(xiàn)有技術(shù)中，存在一種例如在對運(yùn)動圖像進(jìn)行編碼時(shí)使用多個(gè)編碼器在圖片單元中執(zhí)行并行處理的方法(例如，參見日本未審專利申請公開N0.2012-253516、N0.2007-16619(對應(yīng)的美國專利申請公開 N0.US 2007/0133678)、N0.10-313463 (對應(yīng)的美國專利 N0.US6, 553，068)和 N0.8-265164 (對應(yīng)的美國專利 N0.US 5，646，687))。


【發(fā)明內(nèi)容】

[0005]但是，如果采用現(xiàn)有技術(shù)的方法以這樣的方式并行地執(zhí)行編碼，則存在在作為某一編碼器中的處理目標(biāo)的當(dāng)前圖片之前的圖片的處理將處于在不同編碼器中正在進(jìn)行編碼的可能性。在這種情況下，難以使用關(guān)于其編碼處理正在進(jìn)行的圖片的運(yùn)動信息來推導(dǎo)出全局運(yùn)動向量(GMV)，并且必須使用關(guān)于比這種圖片早的圖片的運(yùn)動信息來推導(dǎo)出該GMV。由此，GMV精度降低，并且存在對GMV精度將降低并且圖像質(zhì)量劣化將增加的擔(dān)心。
[0006]希望抑制由于圖像的編碼而導(dǎo)致的圖像質(zhì)量的下降。
[0007]根據(jù)本公開內(nèi)容的實(shí)施例，提供一種圖像處理裝置，該圖像處理裝置包括:分割單元，將圖像數(shù)據(jù)的每個(gè)圖片分割成多種布置；多個(gè)編碼單元，所述多個(gè)編碼單元中的每個(gè)對從由分割單元進(jìn)行的分割得到的相互不同的布置中的圖片進(jìn)行編碼；以及合成單元，合成通過所述多個(gè)編碼單元中的每個(gè)對每個(gè)圖片進(jìn)行編碼而得到的布置中的流，其中，在對當(dāng)前圖片進(jìn)行編碼時(shí)，編碼單元使用第一全局運(yùn)動向量GMV執(zhí)行幀間預(yù)測，所述第一全局運(yùn)動向量GMV是從關(guān)于在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的完成了處理的部分的運(yùn)動信息推導(dǎo)出的，在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片存在于正被分割單元分割的圖片之前，并且在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的處理正在不同的編碼單元中進(jìn)行。
[0008]在圖像處理裝置中，如果與GMV的參考距離最接近的圖片當(dāng)中的與當(dāng)前圖片最接近的圖片的處理正在不同的編碼單元中進(jìn)行，則編碼單元可從關(guān)于正在進(jìn)行處理的圖片的完成了處理的部分的運(yùn)動信息推導(dǎo)出第一 GMV。
[0009]在圖像處理裝置中，如果與第一 GMV相對應(yīng)的圖片的處理在用于開始當(dāng)前圖片的編碼的時(shí)間點(diǎn)處正在進(jìn)行，則編碼單元可從關(guān)于完成了處理的部分的運(yùn)動信息推導(dǎo)出第一GMV。
[0010]在圖像處理裝置中，編碼單元可使用第一 GMV來推導(dǎo)出幀間預(yù)測的搜索區(qū)域偏移。
[0011]在圖像處理裝置中，編碼單元可使用從關(guān)于圖像數(shù)據(jù)中的與第一 GMV對應(yīng)的圖片之前的整個(gè)圖片的運(yùn)動信息推導(dǎo)出的GMV來推導(dǎo)出搜索區(qū)域偏移，圖像數(shù)據(jù)中的與第一GMV對應(yīng)的圖片之前的整個(gè)圖片存在于正被分割單元分割的圖片之前，并且圖像數(shù)據(jù)中的與第一 GMV對應(yīng)的圖片之前的整個(gè)圖片的編碼在該編碼單元自身或者不同的編碼單元中完成。
[0012]在圖像處理裝置中，編碼單元使用第二 GMV和第三GMV兩者作為從關(guān)于整個(gè)圖片的運(yùn)動信息推導(dǎo)出的GMV來推導(dǎo)出搜索區(qū)域偏移，第二 GMV是從關(guān)于與完成了編碼的對應(yīng)于第一 GMV的圖片的完成了處理的部分對應(yīng)的部分的運(yùn)動信息推導(dǎo)出的，第三GMV是從關(guān)于與完成了編碼的圖片的完成了處理的部分對應(yīng)的部分不同的部分的運(yùn)動信息推導(dǎo)出的。
[0013]在圖像處理裝置中，編碼單元可通過將第一 GMV和第二 GMV之間的差與第二 GMV和第三GMV的平均值相加來推導(dǎo)出搜索區(qū)域偏移。
[0014]在圖像處理設(shè)備中，分割單元可將圖像數(shù)據(jù)的圖片分割成兩種布置，S卩，偶數(shù)編號的圖片布置和奇數(shù)編號的圖片布置，其中，每個(gè)編碼單元可在兩個(gè)圖片的垂直同步周期期間對與編碼單元自身對應(yīng)的布置中的每個(gè)圖片進(jìn)行編碼，其中，在進(jìn)行編碼時(shí)，每個(gè)編碼單元可從關(guān)于存在于正被分割單元分割的圖片之前并且正在不同的編碼單元中進(jìn)行處理的、在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的上半部分的運(yùn)動信息推導(dǎo)出第一 GMV，以及每個(gè)編碼單元可從關(guān)于存在于正被分割單元分割的圖片之前并且在編碼單元自身和不同的編碼單元中完成了編碼的、在圖像數(shù)據(jù)中的與第一 GMV對應(yīng)的圖片之前的圖片的上半部分的運(yùn)動信息推導(dǎo)出第二 GMV，并且從關(guān)于該圖片的下半部分的運(yùn)動信息推導(dǎo)出第三GMV，其中，每個(gè)編碼單元可使用第一 GMV至第三GMV來推導(dǎo)出當(dāng)前圖片的搜索區(qū)域偏移，并可使用推導(dǎo)出的搜索區(qū)域偏移來執(zhí)行幀間預(yù)測，以及其中，合成單元可合成由每個(gè)編碼單元產(chǎn)生的偶數(shù)編號的圖片布置中的流和奇數(shù)編號的圖片布置中的流，并且產(chǎn)生輸出流。
[0015]在圖像處理裝置中，編碼單元可從關(guān)于在開始當(dāng)前圖片的編碼時(shí)正在進(jìn)行處理并且比當(dāng)前圖片先前一個(gè)圖片的圖片的上半部分的運(yùn)動信息推導(dǎo)出第一 GMV，以及編碼單元可從關(guān)于在開始當(dāng)前圖片的編碼時(shí)完成了處理并且比當(dāng)前圖片先前兩個(gè)或更多個(gè)圖片的圖片的上半部分的運(yùn)動信息推導(dǎo)出第二 GMV，并且從關(guān)于該圖片的下半部分的運(yùn)動信息推導(dǎo)出第三GMV。
[0016]在圖像處理裝置中，編碼單元可從關(guān)于比當(dāng)前圖片先前三個(gè)圖片的圖片的上半部分的運(yùn)動信息推導(dǎo)出第二 GMV，并且可從關(guān)于該圖片的下半部分的運(yùn)動信息推導(dǎo)出第三GMV。
[0017]在圖像處理裝置中，編碼單元可使用第一 GMV推導(dǎo)出當(dāng)前圖片的第一開始點(diǎn)，該第一開始點(diǎn)是用于與對應(yīng)于第一 GMV的圖片的完成了處理的部分對應(yīng)的部分的幀間預(yù)測的推測執(zhí)行點(diǎn)的開始點(diǎn)。
[0018]在圖像處理裝置中，編碼單元可將第一 GMV設(shè)置為第一開始點(diǎn)。
[0019]在圖像處理裝置中，在處理當(dāng)前圖片的與對應(yīng)于第一 GMV的圖片的完成了處理的部分對應(yīng)的部分之后，使用從關(guān)于與對應(yīng)于第一 GMV的圖片的完成了處理的部分對應(yīng)的部分不同的部分的運(yùn)動信息推導(dǎo)出的第二 GMV，編碼單元可推導(dǎo)出當(dāng)前圖片的第二開始點(diǎn)，該第二開始點(diǎn)是用于與對應(yīng)于第一 GMV的圖片的不同的部分對應(yīng)的部分的幀間預(yù)測的推測執(zhí)行點(diǎn)的開始點(diǎn)。
[0020]在圖像處理裝置中，編碼單元可將第二 GMV設(shè)置為第二開始點(diǎn)。
[0021]在圖像處理設(shè)備中，分割單元可將圖像數(shù)據(jù)的圖片分割成兩種布置，S卩，偶數(shù)編號的圖片布置和奇數(shù)編號的圖片布置，其中，每個(gè)編碼單元可在兩個(gè)圖片的垂直同步周期期間對與編碼單元自身對應(yīng)的布置中的每個(gè)圖片進(jìn)行編碼，其中，在對當(dāng)前圖片開始編碼處理時(shí)，每個(gè)編碼單元可從關(guān)于存在于正被分割單元分割的圖片之前并且正在不同的編碼單元中進(jìn)行處理的、在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的上半部分的運(yùn)動信息推導(dǎo)出第一GMV，可使用第一 GMV推導(dǎo)出第一開始點(diǎn)，可使用第一開始點(diǎn)對當(dāng)前圖片的上半部分執(zhí)行幀間預(yù)測，可在處理上半部分之后從關(guān)于對應(yīng)于第一 GMV的圖片的完成了處理的下半部分的運(yùn)動信息推導(dǎo)出第二 GMV，可使用第一 GMV推導(dǎo)出第二開始點(diǎn)，并且可使用第二開始點(diǎn)對當(dāng)前圖片的下半部分執(zhí)行幀間預(yù)測，以及其中，合成單元可合成由每個(gè)編碼單元產(chǎn)生的偶數(shù)編號的圖片布置中的流和奇數(shù)編號的圖片布置中的流，并且可產(chǎn)生輸出流。
[0022]在圖像處理裝置中，編碼單元可從關(guān)于比當(dāng)前圖片先前一個(gè)圖片的圖片的上半部分的運(yùn)動信息推導(dǎo)出第一 GMV，并且可從關(guān)于該圖片的下半部分的運(yùn)動信息推導(dǎo)出第二GMV。
[0023]根據(jù)本公開內(nèi)容的另一個(gè)實(shí)施例，提供一種圖像處理方法，該圖像處理方法包括:將圖像數(shù)據(jù)的每個(gè)圖片分割成多種布置；對從分割得到的每種布置中的圖片進(jìn)行編碼；在對每個(gè)圖片進(jìn)行編碼時(shí)，使用第一全局運(yùn)動向量GMV對當(dāng)前圖片執(zhí)行幀間預(yù)測，所述第一全局運(yùn)動向量GMV是從關(guān)于在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的完成了處理的部分的運(yùn)動信息推導(dǎo)出的，在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片存在于正被分割的圖片之前，并且在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的處理正在不同的編碼單元中進(jìn)行；以及合成通過對每個(gè)圖片進(jìn)行編碼獲得的布置中的流。
[0024]根據(jù)本公開內(nèi)容的另一個(gè)實(shí)施例，提供一種程序，使得計(jì)算機(jī)執(zhí)行:將圖像數(shù)據(jù)的每個(gè)圖片分割成多種布置；對從分割得到的每種布置中的圖片進(jìn)行編碼；在對每個(gè)圖片進(jìn)行編碼時(shí)，使用第一全局運(yùn)動向量GMV對當(dāng)前圖片執(zhí)行幀間預(yù)測，所述第一全局運(yùn)動向量GMV是從關(guān)于在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的完成了處理的部分的運(yùn)動信息推導(dǎo)出的，在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片存在于正被分割的圖片之前，并且在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的處理正在不同的編碼單元中進(jìn)行；以及合成通過對每個(gè)圖片進(jìn)行編碼獲得的布置中的流。
[0025]根據(jù)本公開內(nèi)容的另一個(gè)實(shí)施例，提供一種成像設(shè)備，該成像設(shè)備包括:成像單元，對被攝體進(jìn)行成像；分割單元，將通過成像單元對被攝體進(jìn)行成像而獲得的圖像數(shù)據(jù)的每個(gè)圖片分割成多種布置；多個(gè)編碼單元，所述多個(gè)編碼單元中的每個(gè)對從由分割單元進(jìn)行的分割得到的相互不同的布置中的圖片進(jìn)行編碼；以及合成單元，合成通過所述多個(gè)編碼單元中的每個(gè)對每個(gè)圖片進(jìn)行編碼而獲得的布置中的流，其中，在對當(dāng)前圖片進(jìn)行編碼時(shí)，編碼單元使用第一全局運(yùn)動向量GMV執(zhí)行幀間預(yù)測，所述第一全局運(yùn)動向量GMV是從關(guān)于在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的完成了處理的部分的運(yùn)動信息推導(dǎo)出的，在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片存在于正被分割單元分割的圖片之前，并且在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的處理正在不同的編碼單元中進(jìn)行。
[0026]根據(jù)本公開內(nèi)容的實(shí)施例，圖像數(shù)據(jù)的每個(gè)圖片被分成多種布置，對從分割得到的每種布置中的圖片進(jìn)行編碼，并且在對每個(gè)圖片進(jìn)行編碼時(shí)，使用從關(guān)于在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的處理完成的一部分的運(yùn)動信息推導(dǎo)出的第一全局運(yùn)動向量GMV來對當(dāng)前圖片執(zhí)行幀間預(yù)測，并且將通過對每個(gè)圖片進(jìn)行編碼而得到的布置中的流合成，其中，在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片存在于正被分割的圖片之前，并且在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的處理正在不同的編碼單元中進(jìn)行。
[0027]根據(jù)本公開內(nèi)容的實(shí)施例，對被攝體進(jìn)行成像，將通過對被攝體進(jìn)行成像得到的圖像數(shù)據(jù)的每個(gè)圖片分割成多種布置，對從分割得到的每種布置中的圖片進(jìn)行編碼，并且在對每個(gè)圖片進(jìn)行編碼時(shí)，使用從關(guān)于在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的處理完成的一部分的運(yùn)動信息推導(dǎo)出的第一全局運(yùn)動向量(GMV)來對當(dāng)前圖片執(zhí)行幀間預(yù)測，并且將通過對每個(gè)圖片進(jìn)行編碼得到的布置中的流合成，其中，在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片存在于正被分割的圖片之前，并且在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的處理正在不同的編碼單元中進(jìn)行。
[0028]根據(jù)本公開內(nèi)容，可以對圖像進(jìn)行處理。特別地，可以抑制由于圖像的編碼而導(dǎo)致的圖像質(zhì)量的下降。

【專利附圖】

【附圖說明】
[0029]圖1A和圖1B是示出從非參考圖片推導(dǎo)出GMV的狀態(tài)的示例的示圖。
[0030]圖2A和圖2B是示出從參考圖片推導(dǎo)出GMV的狀態(tài)的示例的示圖。
[0031]圖3是描述并行編碼的狀態(tài)的示例的示圖。
[0032]圖4A和圖4B是示出從參考圖片推導(dǎo)出GMV的狀態(tài)的另一示例的示圖。
[0033]圖5是描述并行編碼的狀態(tài)的另一示例的示圖。
[0034]圖6A和圖6B是示出從非參考圖片推導(dǎo)出GMV的狀態(tài)的另一示例的示圖。
[0035]圖7A和圖7B是示出從參考圖片推導(dǎo)出GMV的狀態(tài)的另一示例的示圖。
[0036]圖8是示出根據(jù)本公開內(nèi)容的圖像編碼裝置的主要配置示例的框圖。
[0037]圖9是示出第一編碼單元的主要配置示例的框圖。
[0038]圖10是示出并行編碼處理的流程的示例的流程圖。
[0039]圖11是示出上半部分的GMV推導(dǎo)處理的流程的示例的流程圖。
[0040]圖12是示出編碼處理的流程的示例的流程圖。
[0041]圖13是示出下半部分的GMV推導(dǎo)處理的流程的示例的流程圖。
[0042]圖14是示出計(jì)算機(jī)的主要配置示例的框圖。
[0043]圖15是示出成像設(shè)備的主要配置示例的框圖。

【具體實(shí)施方式】
[0044]下面描述根據(jù)本公開內(nèi)容的實(shí)施例(在下文中被稱為實(shí)施例)。提供描述的順序如下。
[0045]1.GMV推導(dǎo)的狀態(tài)的示例的描述
[0046]2.第一實(shí)施例(圖像編碼裝置)
[0047]3.第二實(shí)施例(計(jì)算機(jī))
[0048]4.第三實(shí)施例(成像設(shè)備)
[0049]1.GMV推導(dǎo)的狀態(tài)的示例的描述
[0050]第一 GMV推導(dǎo)示例
[0051]在圖像編碼中存在當(dāng)通過幀間預(yù)測(畫面間預(yù)測)產(chǎn)生預(yù)測圖像時(shí)使用全局運(yùn)動向量(GMV)的方法。
[0052]GMV是指示整個(gè)圖片的運(yùn)動的運(yùn)動向量。更具體地，例如，GMV是圖片中的針對每個(gè)宏塊產(chǎn)生的運(yùn)動向量當(dāng)中頻率最高的運(yùn)動向量。
[0053]例如，在用于在從其推導(dǎo)出GMV的幀、時(shí)間上晚于區(qū)段(field)被處理的幀或者該區(qū)段的運(yùn)動預(yù)測中搜索對其執(zhí)行運(yùn)動向量的搜索的搜索區(qū)域的運(yùn)動(偏移)或運(yùn)動向量(用于推測執(zhí)行點(diǎn)的開始點(diǎn))的基點(diǎn)中也使用GMV?；旧希谟糜陂_始運(yùn)動預(yù)測的時(shí)間點(diǎn)處，GMV預(yù)測具有某一精度的運(yùn)動向量。通過以這樣的方式使用GMV，可以預(yù)見到以較高的效率執(zhí)行對于運(yùn)動向量的搜索。
[0054]在整個(gè)圖片中將運(yùn)動向量的直方圖相加起來，并且例如，頻率最高的運(yùn)動向量被選擇作為GMV。在該GMV推導(dǎo)處理中，對于直方圖的產(chǎn)生、對于頻率高的運(yùn)動向量的搜索等等，存在重的負(fù)荷。
[0055]使用關(guān)于接近參考距離且接近作為處理目標(biāo)的當(dāng)前圖片的整個(gè)圖片的運(yùn)動信息來推導(dǎo)出GMV。
[0056]例如，在圖像數(shù)據(jù)中，如果交替地重復(fù)由下述圖片參考的參考圖片(Ref P)和沒有參考的非參考圖片(Non-Ref P)，則當(dāng)作為處理目標(biāo)的當(dāng)前圖片(CurP)是非參考圖片(N)時(shí)，對GMV原樣地應(yīng)用關(guān)于緊鄰的前一個(gè)非參考圖片(N)的GMV(O)，如圖1A所示?；旧?，如圖1B所示，使用關(guān)于整個(gè)緊鄰的前一個(gè)非參考圖片(N)的運(yùn)動信息，推導(dǎo)出關(guān)于當(dāng)前圖片的GMV。因此，關(guān)于緊鄰的前一個(gè)非參考圖片(N)的GMV(O)被原樣地應(yīng)用于用于當(dāng)前圖片的推測執(zhí)行點(diǎn)(speculative_gmv)的開始點(diǎn)、或者搜索區(qū)域的偏移(search_area_offset)(其是使用關(guān)于整個(gè)緊鄰的前一個(gè)非參考圖片(N)的運(yùn)動信息推導(dǎo)出的)。
[0057]此外，在當(dāng)前圖片(CurP)是參考圖片(R)時(shí)，如圖2A所示，使用關(guān)于緊鄰的前一個(gè)非參考圖片(N)的GMV(O)來推導(dǎo)出GMV?；旧希鐖D2B所示，根據(jù)圖片之間的距離來調(diào)整關(guān)于緊鄰的前一個(gè)非參考圖片(N)的GMV (O)。也就是說，同樣，在這種情況下，使用關(guān)于整個(gè)緊鄰的前一個(gè)非參考圖片(N)的運(yùn)動信息來推導(dǎo)出關(guān)于當(dāng)前圖片的GMV。也以相同的方式使用關(guān)于緊鄰的前一個(gè)非參考圖片(N)的GMV(O)(關(guān)于整個(gè)緊鄰的前一個(gè)非參考圖片(N)的運(yùn)動信息)來推導(dǎo)出用于當(dāng)前圖片的推測執(zhí)行點(diǎn)(speculative_gmv)的開始點(diǎn)、或者搜索區(qū)域的偏移(search_area_offset)。
[0058]第二 GMV推導(dǎo)示例
[0059]順便說一句，如H本未審專利申請公開N0.2012-253516, N0.2007-166192 (對應(yīng)的美國專利申請公開N0.US 2007/0133678)、N0.10-313463 (對應(yīng)的美國專利N0.US6，553，068)和N0.8-265164(對應(yīng)的美國專利N0.US 5，646，687)中所公開的，在運(yùn)動圖像編碼中例如存在使用多個(gè)編碼器在圖片單元中執(zhí)行并行處理的方法。
[0060]例如，如圖3所示，第一編碼單元和第二編碼單元用于編碼。也就是說，由第一編碼單元對運(yùn)動圖像上的圖像數(shù)據(jù)的偶數(shù)編號的圖片(也被稱為“偶數(shù)編號的圖像”)進(jìn)行編碼，并且由第二編碼單元對奇數(shù)編號的圖片(也被稱為“奇數(shù)編號的圖像”)進(jìn)行編碼。然后，第一編碼單元和第二編碼單元被設(shè)定為在兩個(gè)圖片的垂直同步周期(2V)內(nèi)對每個(gè)圖片進(jìn)行編碼。
[0061]在這種情況下，如圖3所示，在開始當(dāng)前圖片的處理的時(shí)間點(diǎn)處，對緊鄰的前一個(gè)圖片的處理(編碼)正在進(jìn)行。因此，難以使用關(guān)于整個(gè)緊鄰的前一個(gè)圖片的運(yùn)動信息來推導(dǎo)出GMV。例如，如果第三圖片(Pic3)被設(shè)定為當(dāng)前圖片，則因?yàn)閷Φ诙D片(Pic2)的處理正在進(jìn)行，所以難以使用關(guān)于整個(gè)第二圖片(Pic2)的運(yùn)動信息來推導(dǎo)出GMV。當(dāng)關(guān)于整個(gè)第二圖片(Pic2)的運(yùn)動信息被設(shè)定為要使用時(shí)，該處理等待直到Picl的處理完成，發(fā)生不必要的延遲，并且存在對編碼處理將失敗而沒有趕上圖像數(shù)據(jù)(幀率)的擔(dān)心。
[0062]相反，因?yàn)楸犬?dāng)前圖片先前兩個(gè)或更多個(gè)圖片的圖片的處理(編碼)在開始當(dāng)前圖片的處理的時(shí)間點(diǎn)處完成了，所以可以使用關(guān)于這樣的整個(gè)圖片的運(yùn)動信息。例如，如果第三圖片(Pic3)被設(shè)定為當(dāng)前圖片，則因?yàn)榈谝粓D片(Picl)或第O圖片(PicO)的處理完成了，所以可以使用關(guān)于這樣的整個(gè)圖片的信息來推導(dǎo)出GMV。
[0063]基本上，在當(dāng)前圖片(CurP)是非參考圖片(N)時(shí)，可以用與圖1A和圖1B中示出的方式相同的方式來推導(dǎo)出GMV。
[0064]但是，在當(dāng)前圖片(CurP)是參考圖片(R)時(shí)，因?yàn)槿鐖D4A和圖4B所示，對關(guān)于緊鄰的前一個(gè)非參考圖片(N)的GMV(O)的推導(dǎo)未完成，所以使用關(guān)于比當(dāng)前圖片(CurP)先前一個(gè)圖片的非參考圖片(N)的GMV⑴來推導(dǎo)出GMV?；旧?，由于其運(yùn)動信息在GMV的推導(dǎo)中被使用的圖片遠(yuǎn)離當(dāng)前圖片，所以存在對GMV精度將下降并且圖像質(zhì)量的劣化將增加的擔(dān)心。
[0065]第三GMV推導(dǎo)示例
[0066]順便說一句，如果通過并行處理以這樣的方式執(zhí)行圖像編碼，則使用關(guān)于正在進(jìn)行處理的圖片的處理完成的一部分的運(yùn)動信息來推導(dǎo)出GMV，并且在編碼中使用該GMV。例如，如圖5所示，如果以與圖3中示出的方式相同的方式通過并行化來執(zhí)行編碼，則在使用關(guān)于緊鄰的前一個(gè)圖片的運(yùn)動信息來推導(dǎo)出GMV時(shí)，關(guān)于緊鄰的前一個(gè)圖片的在開始當(dāng)前圖片的處理的時(shí)間點(diǎn)處完成處理的一部分(例如，上半部分)的運(yùn)動信息被設(shè)定為要使用。換句話說，在沒有使用關(guān)于緊鄰的前一個(gè)圖片的在開始當(dāng)前圖片的處理的時(shí)間點(diǎn)處沒有完成處理的一部分的運(yùn)動信息的情況下推導(dǎo)出GMV。
[0067]在以這樣的方式進(jìn)行時(shí)，即使通過并行化執(zhí)行編碼，但是由于使用關(guān)于接近當(dāng)前圖片的圖片的運(yùn)動信息來推導(dǎo)出GMV，所以可以抑制GMV精度的下降。也就是說，可以抑制由于編碼而導(dǎo)致的圖像質(zhì)量的下降。
[0068]而且，此時(shí)，不僅可以使用關(guān)于正在進(jìn)行處理的圖片的運(yùn)動信息來推導(dǎo)出GMV，而且可以使用關(guān)于比當(dāng)前圖片先前兩個(gè)或更多個(gè)圖片的整個(gè)圖片的運(yùn)動信息來推導(dǎo)出GMV。當(dāng)以這樣的方式進(jìn)行時(shí)，可以進(jìn)一步抑制GMV精度的下降，并且可以進(jìn)一步抑制由于編碼而導(dǎo)致的圖像質(zhì)量的下降。
[0069]例如，在圖像數(shù)據(jù)中，在當(dāng)前圖片(CurP)是非參考圖片(N)時(shí)，對緊鄰的前一個(gè)非參考圖片(N)的處理完成。因此，如圖6A所示，關(guān)于緊鄰的前一個(gè)非參考圖片(N)的上半部分的GMV(GMV_t(0))被原樣地應(yīng)用于關(guān)于當(dāng)前圖片的上半部分的GMV (GMV_t)(使用關(guān)于緊鄰的前一個(gè)非參考圖片(N)的上半部分的運(yùn)動信息來推導(dǎo)出關(guān)于當(dāng)前圖片的GMV_T)。此夕卜，如圖6A所示，關(guān)于緊鄰的前一個(gè)非參考圖片(N)的下半部分的GMV(GMV_b(0))被原樣地應(yīng)用于關(guān)于當(dāng)前圖片的下半部分的GMV(GMV_b)(使用關(guān)于緊鄰的前一個(gè)非參考圖片(N)的下半部分的運(yùn)動信息來推導(dǎo)出關(guān)于當(dāng)前圖片的GMV_b)。
[0070]因此，如圖6B所示，例如，關(guān)于緊鄰的前一個(gè)非參考圖片(N)的GMV_t (O)被原樣地應(yīng)用于用于當(dāng)前圖片的上半部分的推測執(zhí)行點(diǎn)(SpeCulatiVe_gmV_t)的開始點(diǎn)(其是使用關(guān)于緊鄰的前一個(gè)非參考圖片(N)的上半部分的運(yùn)動信息推導(dǎo)出的)。此外，如圖6B所示，例如，關(guān)于緊鄰的前一個(gè)非參考圖片(N)的GMV_b(0)被原樣地應(yīng)用于用于當(dāng)前圖片的下半部分的推測執(zhí)行點(diǎn)(speculative_gmv_b)的開始點(diǎn)(其是使用關(guān)于緊鄰的前一個(gè)非參考圖片(N)的下半部分的運(yùn)動信息推導(dǎo)出的)。
[0071]然后，如圖6B所示，關(guān)于緊鄰的前一個(gè)非參考圖片(N)的GMV_T(0)和GMV_b (O)二者的平均值被應(yīng)用于搜索區(qū)域的偏移(search_area_offset)(其是使用關(guān)于整個(gè)緊鄰的前一個(gè)非參考圖片(N)的運(yùn)動信息(關(guān)于上半部分的運(yùn)動信息和關(guān)于下半部分的運(yùn)動信息二者)推導(dǎo)出的)。
[0072]相反，在當(dāng)前圖片(CurP)是參考圖片(R)時(shí)，由于緊鄰的前一個(gè)非參考圖片(N)的處理正在進(jìn)行，所以難以使用關(guān)于整個(gè)緊鄰的前一個(gè)非參考圖片(N)的運(yùn)動信息。但是，如圖5所示，在開始當(dāng)前圖片的處理的時(shí)間點(diǎn)處，上半部分的處理完成了。因此，對于關(guān)于當(dāng)前圖片的上半部分的GMV(GMV_t)，如圖7A所示，關(guān)于緊鄰的前一個(gè)非參考圖片(N)的上半部分的GMV(GMV_t(0))可以被原樣地應(yīng)用(使用關(guān)于緊鄰的前一個(gè)非參考圖片(N)的上半部分的運(yùn)動信息來推導(dǎo)出關(guān)于當(dāng)前圖片的GMV_T)。
[0073]此外，如圖5所示，在開始當(dāng)前圖片的下半部分的處理的時(shí)間點(diǎn)處，緊鄰的前一個(gè)非參考圖片(N)的處理完成了。因此，關(guān)于緊鄰的前一個(gè)非參考圖片(N)的下半部分的GMV(GMV_b(0))也可被原樣地應(yīng)用于關(guān)于當(dāng)前圖片的下半部分的GMV(GMV_b)(使用關(guān)于緊鄰的前一個(gè)非參考圖片(N)的下半部分的運(yùn)動信息來推導(dǎo)出關(guān)于當(dāng)前圖片的GMV_b)。
[0074]因此，如圖7B所示，例如，關(guān)于緊鄰的前一個(gè)非參考圖片(N)的GMV_t(0)可被原樣地應(yīng)用于用于當(dāng)前圖片的上半部分的推測執(zhí)行點(diǎn)(speculative_gmv_t)的開始點(diǎn)(其是使用關(guān)于緊鄰的前一個(gè)非參考圖片(N)的上半部分的運(yùn)動信息推導(dǎo)出的)。此外，如圖7B所示，例如，關(guān)于緊鄰的前一個(gè)非參考圖片(N)的GMV_b(0)也可被原樣地應(yīng)用于用于當(dāng)前圖片的下半部分的推測執(zhí)行點(diǎn)(SpeCUlative_gmv_b)的開始點(diǎn)(其是使用關(guān)于緊鄰的前一個(gè)非參考圖片(N)的下半部分的運(yùn)動信息推導(dǎo)出的)。
[0075]相反，因?yàn)楸仨氃陂_始當(dāng)前圖片的時(shí)間點(diǎn)處推導(dǎo)出搜索區(qū)域的偏移(search_area_0ffSet)，所以難以使用關(guān)于緊鄰的前一個(gè)非參考圖片(N)的下半部分的運(yùn)動信息。因此，為了抑制圖像質(zhì)量劣化的增加，使用關(guān)于緊鄰的前一個(gè)非參考圖片(N)的上半部分的GMV (GMV_t (O)) (B卩，關(guān)于正在進(jìn)行處理的圖片的處理完成的一部分的運(yùn)動信息)來推導(dǎo)出搜索區(qū)域的偏移。
[0076]更具體地，為了進(jìn)一步提高GMV精度，如圖7A所示，也使用關(guān)于比當(dāng)前圖片先前一個(gè)圖片的整個(gè)非參考圖片(N)的GMV(GMV(1))(例如，關(guān)于比當(dāng)前圖片先前一個(gè)圖片的非參考圖片(N)的上半部分的GMV(GMV_t(l))和關(guān)于比當(dāng)前圖片先前一個(gè)圖片的非參考圖片(N)的下半部分的GMV(GMV_b(l)))來推導(dǎo)出搜索區(qū)域的偏移。例如，獲得GMV_t (I)和GMV_Ml)的平均值作為比當(dāng)前圖片先前一個(gè)圖片的整個(gè)非參考圖片(N)的GMV，并且GMV_t(l)和GMV_t(0)之間的差，即在比當(dāng)前圖片先前一個(gè)圖片的非參考圖片(N)和緊鄰的前一個(gè)非參考圖片(N)之間的上半部分中的運(yùn)動的差被反映在整個(gè)圖片中。
[0077]更具體地，如圖7B所示，GMV_t (I)和GMV_t (O)之間的差與GMV_t (I)和GMV_b (I)的平均值相加。通過以這樣的方式推導(dǎo)出搜索區(qū)域的偏移(search_area_offset),可以進(jìn)一步抑制GMV精度的下降，并且可以進(jìn)一步抑制由于編碼而導(dǎo)致的圖像質(zhì)量的下降。
[0078]2.第一實(shí)施例
[0079]圖像編碼裝置
[0080]接下來，描述應(yīng)用上述的本技術(shù)的圖像處理裝置。圖8是示出根據(jù)本公開內(nèi)容的第一實(shí)施例的圖像編碼裝置100的配置的一個(gè)示例的框圖。圖8中示出的圖像編碼裝置100將作為運(yùn)動圖像的輸入圖像分割成用于每個(gè)圖片的并行化的兩種布置，并且對這兩種布置中的圖像進(jìn)行編碼。
[0081]如圖8所示，圖像編碼裝置100包括圖像分割單元101、第一編碼單元102、第二編碼單元103和流合成單元104。
[0082]圖像分割單元101將輸入圖像交替地分成兩種布置。也就是說，圖像分割單元101將輸入圖像的偶數(shù)編號的圖片(偶數(shù)編號的圖像)供應(yīng)到第一編碼單元102，并且將奇數(shù)編號的圖片(奇數(shù)編號的圖像)供應(yīng)到第二編碼單元103。此外，在下文中，輸入圖像是指在圖像分割單元101進(jìn)行分割之前存在的、被輸入到圖像編碼裝置100中的一種布置中的運(yùn)動圖像(或者圖像的圖片)。
[0083]第一編碼單元102對作為一種布置中的運(yùn)動圖像的所供應(yīng)的偶數(shù)編號的圖像組進(jìn)行編碼。例如，第一編碼單元102通過執(zhí)行與高級視頻編碼(AVC)或高效視頻編碼(HEVC)相同的幀內(nèi)預(yù)測或幀間預(yù)測來產(chǎn)生預(yù)測圖像，并且通過對預(yù)測圖像和輸入的偶數(shù)編號的圖像的差圖像執(zhí)行正交變換、量化等并且對該結(jié)果執(zhí)行可逆編碼來產(chǎn)生流(第一流)。第一編碼單元102將產(chǎn)生的第一流(關(guān)于偶數(shù)編號的圖像組的編碼數(shù)據(jù))供應(yīng)到流合成單元104。
[0084]第二編碼單元103對供應(yīng)的奇數(shù)編號的圖像組執(zhí)行與第一編碼單元102相同的編碼，并且產(chǎn)生第二流。第二編碼單元103將產(chǎn)生的第二流(關(guān)于奇數(shù)編號的圖像組的編碼數(shù)據(jù))供應(yīng)到流合成單元104。
[0085]流合成單元104將供應(yīng)的第一流和第二流合成，并且產(chǎn)生一種布置中的輸出流。也就是說，流合成單元104將關(guān)于包括在第一流中的每個(gè)偶數(shù)編號的圖像的編碼數(shù)據(jù)和關(guān)于包括在第二流中包括的每個(gè)奇數(shù)編號的圖像的編碼數(shù)據(jù)，按照這些圖片在輸入圖像中布置的順序重排為一種布置。此時(shí)，流合成單元104通過適當(dāng)?shù)亟M合關(guān)于第一流的頭部信息和關(guān)于第二流的頭部信息并且執(zhí)行適當(dāng)?shù)膮?shù)轉(zhuǎn)換來產(chǎn)生關(guān)于輸出流的頭部信息?；旧希ㄟ^合成第一流和第二流，流合成單元104與在沒有并行化的情況下對輸入圖像進(jìn)行編碼時(shí)一樣產(chǎn)生流。流合成單元104將產(chǎn)生的輸出流輸出到圖像編碼裝置100的外部。
[0086]而且，第一編碼單元102和第二編碼單元103可以相互并行地執(zhí)行處理?；旧希诘谝痪幋a單元102對作為輸入圖像的圖片進(jìn)行編碼的同時(shí)，第二編碼單元103可以對作為輸入圖像的下一圖片執(zhí)行編碼。在以這樣的方式進(jìn)行時(shí)，第一編碼單元102和第二編碼單元103中的每個(gè)可以在對一個(gè)圖片進(jìn)行編碼時(shí)使用兩個(gè)圖片的垂直同步周期。換句話說，第一編碼單元102和第二編碼單元103在兩個(gè)圖片的垂直同步周期內(nèi)對一個(gè)圖片執(zhí)行編碼，由此可以實(shí)時(shí)地(及時(shí)地)(即，以與輸入圖像的幀率相對應(yīng)的速度)將輸出流輸出而沒有上溢。
[0087]基本上，因?yàn)榈谝痪幋a單元102和第二編碼單元103可以并行地執(zhí)行處理，并且由此可以確保用于編碼處理的較長時(shí)間，所以即使輸入圖像例如可以是比如4K圖像的具有大量數(shù)據(jù)(大量像素、大量比特等)的圖片，圖像編碼裝置100也可以實(shí)時(shí)地執(zhí)行編碼。
[0088]此外，第一編碼單元102和第二編碼單元103可以適當(dāng)?shù)叵嗷ソ粨Q關(guān)于編碼的信息，例如，關(guān)于參考圖像的信息或GMV。也就是說，第一編碼單元102和第二編碼單元103中的一個(gè)可以在由第一編碼單元102和第二編碼單元103中的一個(gè)執(zhí)行編碼時(shí)使用關(guān)于由另一個(gè)執(zhí)行的編碼的信息。例如，第一編碼單元102和第二編碼單元103中的一個(gè)可以使用關(guān)于在另一個(gè)編碼單元中先前編碼的圖片的運(yùn)動信息來推導(dǎo)出GMV，并且可以在對當(dāng)前圖片進(jìn)行編碼時(shí)使用這種GMV。
[0089]第一編碼單元
[0090]圖9是示出圖8中的第一編碼單元102的主要配置示例的框圖。
[0091]圖9中示出的第一編碼單元102通過執(zhí)行諸如AVC或HEVC的預(yù)測處理來對圖像數(shù)據(jù)進(jìn)行編碼。
[0092]如圖9所示，第一編碼單元102包括A/D轉(zhuǎn)換單元151、圖像重排緩沖器152、算術(shù)運(yùn)算單元153、正交變換單元154、量化單元155、可逆編碼單元156和累積緩沖器157。此夕卜，第一編碼單元102包括逆量化單元158、逆正交變換單元159、算術(shù)運(yùn)算單元160、去塊濾波器161、幀存儲器162、選擇單元163、幀內(nèi)預(yù)測單元164、運(yùn)動預(yù)測和補(bǔ)償單元165、預(yù)測圖像選擇單元166和速率控制單元167。
[0093]第一編碼單元102另外具有GMV推導(dǎo)單元171。
[0094]A/D轉(zhuǎn)換單元151對輸入的圖像數(shù)據(jù)執(zhí)行A/D轉(zhuǎn)換，并且將轉(zhuǎn)換后的圖像數(shù)據(jù)(數(shù)字?jǐn)?shù)據(jù))供應(yīng)到圖像重排緩沖器152并在圖像重排緩沖器152中存儲轉(zhuǎn)換后的圖像數(shù)據(jù)(數(shù)字?jǐn)?shù)據(jù))。而且，如果輸入的圖像是數(shù)字圖像，則不需要A/D轉(zhuǎn)換單元151。根據(jù)圖片組(GOP)，圖像重排緩沖器152以存儲的顯示順序(S卩，以用于編碼的幀順序)重排各幀中的圖像，并且將以重排的幀順序的圖像供應(yīng)到算術(shù)運(yùn)算單元153。此外，圖像重排緩沖器152將以重排的幀順序的圖像供應(yīng)到幀內(nèi)預(yù)測單元164，并且還供應(yīng)到運(yùn)動預(yù)測和補(bǔ)償單元 165。
[0095]算術(shù)運(yùn)算單元153從自圖像重排緩沖器152讀取的圖像中減去通過預(yù)測圖像選擇單元166從幀內(nèi)預(yù)測單元164或運(yùn)動預(yù)測和補(bǔ)償單元165供應(yīng)的預(yù)測圖像，并且將作為結(jié)果的差信息輸出到正交變換單元154。
[0096]例如，如果對圖像執(zhí)行幀間編碼，則算術(shù)運(yùn)算單元153從自圖像重排緩沖器152讀取的圖像中減去從運(yùn)動預(yù)測和補(bǔ)償單元165供應(yīng)的預(yù)測圖像。
[0097]正交變換單元154對從算術(shù)運(yùn)算單元153供應(yīng)的差信息執(zhí)行正交變換，例如，離散余弦變換或Karhunen-Loeve變換。而且，這種正交變換方法是任意的。正交變換單元154將這種變換系數(shù)供應(yīng)到量化單元155。
[0098]量化單元155對從正交變換單元154供應(yīng)的變換系統(tǒng)進(jìn)行量化。量化單元155基于與從速率控制單元167供應(yīng)的編碼量的目標(biāo)值有關(guān)的信息來設(shè)定量化參數(shù)，并且對量化參數(shù)執(zhí)行量化。而且，這種量化方法是任意的。量化單元155將量化變換系數(shù)供應(yīng)到可逆編碼單元156。
[0099]可逆編碼單元156使用任意的編碼方法對在量化單元155中量化的變換系數(shù)進(jìn)行編碼。由于在速率控制單元167的控制下對系數(shù)數(shù)據(jù)進(jìn)行量化，所以這種編碼量是由速率控制單元167設(shè)定的目標(biāo)值(或者接近目標(biāo)值)。
[0100]此外，可逆編碼單元156從幀內(nèi)預(yù)測單元164獲得指示幀內(nèi)預(yù)測模式等的信息，并且從運(yùn)動預(yù)測和補(bǔ)償單元165獲得指示幀間預(yù)測模式的信息、運(yùn)動向量信息等。另外，可逆編碼單元156可以獲得在去塊濾波器161中使用的濾波器系數(shù)等。
[0101]可逆編碼單元156使用任意的編碼方法對這樣的各種信息進(jìn)行編碼，并且將編碼的結(jié)果設(shè)定(多路復(fù)用)為關(guān)于編碼數(shù)據(jù)的頭部信息的一部分?？赡婢幋a單元156將編碼的和獲得的編碼數(shù)據(jù)供應(yīng)到累積緩沖器157，并將其累積在累積緩沖器157中。
[0102]例如，作為由可逆編碼單元156使用的編碼方法，可以列舉可變長度編碼、算術(shù)編碼等。例如，作為可變長度編碼，可以列舉利用H.264/AVD方法等確定的上下文自適應(yīng)可變長度編碼(CAVLC)。例如，作為算術(shù)編碼，可以列舉上下文自適應(yīng)二進(jìn)制算術(shù)編碼(CABAC)
坐寸ο
[0103]累積緩沖器157臨時(shí)保留從可逆編碼單元156供應(yīng)的編碼數(shù)據(jù)。累積緩沖器157在預(yù)定的定時(shí)將保留的編碼數(shù)據(jù)作為比特流(第一流)輸出。
[0104]此外,在量化單元155中量化的變換系數(shù)也被供應(yīng)到逆量化單元158。逆量化單元158使用與量化單元155的量化相對應(yīng)的方法對量化的變換系數(shù)進(jìn)行逆量化。這種逆量化方法可以是與量化單元155的量化處理相對應(yīng)的任何方法。逆量化單元158將獲得的變換系數(shù)供應(yīng)到逆正交變換單元159。
[0105]逆正交變換單元159使用與正交變換單元154的正交變換處理相對應(yīng)的方法對從逆量化單元158供應(yīng)的變換系數(shù)執(zhí)行逆正交變換。這種逆正交變換方法可以是與正交變換單元154的正交變換處理相對應(yīng)的任何方法。將經(jīng)過逆正交變換的輸出(恢復(fù)的差信息)供應(yīng)到算術(shù)運(yùn)算單元160。
[0106]算術(shù)運(yùn)算單元160將通過預(yù)測圖像選擇單元166從幀內(nèi)預(yù)測單元164或運(yùn)動預(yù)測和補(bǔ)償單元165供應(yīng)的預(yù)測圖像與從逆正交變換單元159供應(yīng)的逆正交變換的結(jié)果(即，恢復(fù)的差信息)相加，并且獲得局部解碼的圖像(解碼圖像)。這種解碼圖像被供應(yīng)到去塊濾波器161或幀存儲器162。
[0107]去塊濾波器161通過對從算術(shù)運(yùn)算單元160供應(yīng)的解碼圖像執(zhí)行去塊濾波處理來去除解碼圖像中的塊畸變。如果需要的話，去塊濾波器161將在濾波處理中使用的諸如濾波器系數(shù)的信息供應(yīng)到可逆編碼單元156，并且可以對這種信息進(jìn)行編碼。
[0108]去塊濾波器161將濾波處理的結(jié)果(在濾波處理之后的解碼圖像)供應(yīng)到幀存儲器162。而且，如上所述，從算術(shù)運(yùn)算單元160輸出的解碼圖像可以被供應(yīng)到幀存儲器162，而沒有通過去塊濾波器161。基本上，可以省略由去塊濾波器161進(jìn)行的濾波處理。
[0109]幀存儲器162存儲供應(yīng)的解碼圖像，并且在預(yù)定的定時(shí)將存儲的解碼圖像作為參考圖像供應(yīng)到選擇單元163。
[0110]選擇單元163選擇從幀存儲器162供應(yīng)的參考圖像的供應(yīng)目的地。例如，在幀間預(yù)測的情況下，選擇單元163將從幀存儲器162供應(yīng)的參考圖像供應(yīng)到運(yùn)動預(yù)測和補(bǔ)償單元 165。
[0111]幀內(nèi)預(yù)測單元164使用作為通過選擇單元163從幀存儲器162供應(yīng)的參考圖像的處理目標(biāo)圖片內(nèi)的像素值，執(zhí)行產(chǎn)生預(yù)測圖像的幀內(nèi)預(yù)測(圖像間預(yù)測)。幀內(nèi)預(yù)測單元164在預(yù)先準(zhǔn)備的多種模式(幀內(nèi)預(yù)測模式)中執(zhí)行這種幀內(nèi)預(yù)測。
[0112]幀內(nèi)預(yù)測單元164在所有的候選的幀內(nèi)預(yù)測模式中產(chǎn)生預(yù)測圖像，使用從圖像重排緩沖器152供應(yīng)的輸入圖像來評估每個(gè)預(yù)測圖像的成本函數(shù)值，并且選擇最佳模式。在選擇了最佳幀內(nèi)預(yù)測模式時(shí)，幀內(nèi)預(yù)測單元164將在這種最佳模式中產(chǎn)生的預(yù)測圖像供應(yīng)到預(yù)測圖像選擇單元166。
[0113]此外，如上所述，幀內(nèi)預(yù)測單元164將指示所采用的幀內(nèi)預(yù)測模式的幀內(nèi)預(yù)測模式信息等供應(yīng)到適當(dāng)?shù)目赡婢幋a單元156，并且對這種信息進(jìn)行編碼。
[0114]運(yùn)動預(yù)測和補(bǔ)償單元165使用從圖像重排緩沖器152供應(yīng)的輸入圖像和通過選擇單元163從幀存儲器162供應(yīng)的參考圖像來執(zhí)行運(yùn)動預(yù)測(幀間預(yù)測)，根據(jù)檢測到的運(yùn)動向量執(zhí)行運(yùn)動補(bǔ)償處理，并且產(chǎn)生預(yù)測圖像(幀間預(yù)測圖像信息)。運(yùn)動預(yù)測和補(bǔ)償單元165在預(yù)先準(zhǔn)備的多種模式(幀間預(yù)測模式)中執(zhí)行這種幀間預(yù)測。
[0115]運(yùn)動預(yù)測和補(bǔ)償單元165在所有的候選的幀間預(yù)測模式中產(chǎn)生預(yù)測圖像，評估每個(gè)預(yù)測圖像的成本函數(shù)值，并且選擇最佳模式。在選擇了最佳幀間預(yù)測模式時(shí)，運(yùn)動預(yù)測和補(bǔ)償單元165將在這種最佳模式中產(chǎn)生的預(yù)測圖像供應(yīng)到預(yù)測圖像選擇單元166。
[0116]此外，在對指示所采用的幀間預(yù)測模式的信息或編碼數(shù)據(jù)進(jìn)行解碼時(shí)，運(yùn)動預(yù)測和補(bǔ)償單元165將用于在這種幀間預(yù)測模式中執(zhí)行處理所需的信息等供應(yīng)到可逆編碼單元156，并且對這種信息等進(jìn)行編碼。
[0117]預(yù)測圖像選擇單元166選擇被供應(yīng)到算術(shù)運(yùn)算單元153或算術(shù)運(yùn)算單元160的預(yù)測圖像的供應(yīng)目的地。例如，在幀間編碼的情況下，預(yù)測圖像選擇單元166選擇運(yùn)動預(yù)測和補(bǔ)償單元165作為預(yù)測圖像的供應(yīng)目的地，并且將從運(yùn)動預(yù)測和補(bǔ)償單元165供應(yīng)的預(yù)測圖像供應(yīng)到算術(shù)運(yùn)算單元153或算術(shù)運(yùn)算單元160。
[0118]速率控制單元167基于在累積緩沖器157中累積的編碼數(shù)據(jù)的編碼量，以使得不會發(fā)生上溢或下溢的方式控制由量化單元155進(jìn)行的量化操作的速率。
[0119]GMV推導(dǎo)單元171使用關(guān)于比作為處理目標(biāo)的當(dāng)前圖片更早編碼的圖片的運(yùn)動信息來推導(dǎo)出GMV，使用這種GMV來推導(dǎo)出在由運(yùn)動預(yù)測和補(bǔ)償單元165進(jìn)行的幀間預(yù)測中使用的參數(shù)，并且將推導(dǎo)出的參數(shù)提供給運(yùn)動預(yù)測和補(bǔ)償單元165。
[0120]例如，如果使用關(guān)于先前編碼的偶數(shù)編號的圖像的運(yùn)動信息，則GMV推導(dǎo)單元171從第一編碼單元102的運(yùn)動預(yù)測和補(bǔ)償單元165獲得關(guān)于這種圖片的運(yùn)動信息，從這種運(yùn)動信息推導(dǎo)出GMV，并且使用這種GMV來推導(dǎo)出用于幀間預(yù)測的推測執(zhí)行點(diǎn)的開始點(diǎn)或搜索區(qū)域的偏移。此外，例如，如果使用關(guān)于先前編碼的奇數(shù)編號的圖像的運(yùn)動信息，則GMV推導(dǎo)單元171從第二編碼單元103 (的運(yùn)動預(yù)測和補(bǔ)償單元165)獲得關(guān)于這種圖片的運(yùn)動信息，從這種運(yùn)動信息推導(dǎo)出GMV，并且使用這種GMV來推導(dǎo)出用于幀間預(yù)測的推測執(zhí)行點(diǎn)的開始點(diǎn)或搜索區(qū)域的偏移。
[0121]此時(shí)，如上面與“第三GMV推導(dǎo)示例”相關(guān)聯(lián)地描述的，如果第二編碼單元103對從其獲得運(yùn)動信息的奇數(shù)編號的圖像的處理正在進(jìn)行，則GMV推導(dǎo)單元171獲得關(guān)于這種圖片的編碼完成的一部分(例如，該圖片的上半部分)的運(yùn)動信息，并且使用這種GMV來推導(dǎo)出用于幀間預(yù)測的推測執(zhí)行點(diǎn)的開始點(diǎn)或者搜索區(qū)域的偏移。
[0122]此外，如上面與“第三GMV推導(dǎo)示例”相關(guān)聯(lián)地示出的，在GMV推導(dǎo)單元171中，如果需要的話，也可以使用關(guān)于編碼完成并且接近參考距離的整個(gè)圖片(即，接近參考距離的圖片當(dāng)中的第二或此后最接近當(dāng)前圖片的圖片)的運(yùn)動信息。例如，通過執(zhí)行參照圖7B示出的算術(shù)運(yùn)算，GMV推導(dǎo)單元171可以不僅使用GMV_t (O)而且使用GMV_t(l)或GMV_b(l)來推導(dǎo)出搜索區(qū)域的偏移。
[0123]運(yùn)動預(yù)測和補(bǔ)償單元165使用由GMV推導(dǎo)單元171推導(dǎo)出的參數(shù)(用于推測執(zhí)行點(diǎn)的開始點(diǎn)或者搜索區(qū)域的偏移)來執(zhí)行幀間預(yù)測，并且產(chǎn)生預(yù)測圖像。而且，運(yùn)動預(yù)測和補(bǔ)償單元165根據(jù)第二編碼單元103的(GMV推導(dǎo)單元171的)請求來提供關(guān)于完成處理的圖片的運(yùn)動信息。
[0124]在以這樣的方式進(jìn)行時(shí)，第一編碼單元102可以抑制GMV精度的下降，并且可以抑制由于圖像編碼的編碼而導(dǎo)致的圖像質(zhì)量的下降。
[0125]第二編碼單元
[0126]而且，除了對奇數(shù)編號的圖像而不是偶數(shù)編號的圖像進(jìn)行編碼以外，第二編碼單元103是與第一編碼單元102相同的處理單元，因此，第二編碼單元103執(zhí)行與第一編碼單元102相同的處理?；旧希诙幋a單元103具有與第一編碼單元102相同的配置(參照圖9)。因此，在描述第二編碼單元103時(shí)可以參照圖9。
[0127]例如，即使在第二編碼單元103的情況下，GMV推導(dǎo)單元171也使用關(guān)于比作為處理目標(biāo)的當(dāng)前圖片更早編碼的圖片的運(yùn)動信息來推導(dǎo)出GMV，使用這種GMV來推導(dǎo)出在由第二編碼單元103的運(yùn)動預(yù)測和補(bǔ)償單元165進(jìn)行的幀間預(yù)測中使用的參數(shù)，并且將推導(dǎo)出的參數(shù)提供給第二編碼單元103的運(yùn)動預(yù)測和補(bǔ)償單元165。
[0128]例如，如在第二編碼單元103的情況下一樣，如果使用關(guān)于先前編碼的偶數(shù)編號的圖像的運(yùn)動信息，則GMV推導(dǎo)單元171從第一編碼單元102的運(yùn)動預(yù)測和補(bǔ)償單元165獲得關(guān)于這種圖片的運(yùn)動信息，從這種運(yùn)動信息推導(dǎo)出GMV，并且使用這種GMV來推導(dǎo)出用于幀間預(yù)測的推測執(zhí)行點(diǎn)的開始點(diǎn)或搜索區(qū)域的偏移。此外，例如，如果使用關(guān)于過去編碼的奇數(shù)編號的圖像的運(yùn)動信息，則GMV推導(dǎo)單元171從第二編碼單元103的運(yùn)動預(yù)測和補(bǔ)償單元165獲得關(guān)于這種圖片的運(yùn)動信息，從這種運(yùn)動信息推導(dǎo)出GMV，并且使用這種GMV來推導(dǎo)出用于幀間預(yù)測的推測執(zhí)行點(diǎn)的開始點(diǎn)或搜索區(qū)域的偏移。
[0129]此時(shí)，如上面與“第三GMV推導(dǎo)示例”相關(guān)聯(lián)地描述的，如果第一編碼單元102對從其獲得運(yùn)動信息的偶數(shù)編號的圖像的處理正在進(jìn)行，則GMV推導(dǎo)單元171獲得關(guān)于這種圖片的編碼完成的一部分(例如，該圖片的上半部分)的運(yùn)動信息，并且使用這種GMV來推導(dǎo)出用于幀間預(yù)測的推測執(zhí)行點(diǎn)的開始點(diǎn)或者搜索區(qū)域的偏移。
[0130]此外，如上面與“第三GMV推導(dǎo)示例”相關(guān)聯(lián)地示出的，在GMV推導(dǎo)單元171中，如果需要的話，也可以使用關(guān)于編碼完成并且接近參考距離的整個(gè)圖片(即，接近參考距離的圖片當(dāng)中的第二或此后最接近當(dāng)前圖片的圖片)的運(yùn)動信息。例如，通過執(zhí)行參照圖7B示出的算術(shù)運(yùn)算，GMV推導(dǎo)單元171可以不僅使用GMV_t (O)而且使用GMV_t(l)或GMV_b(l)來推導(dǎo)出搜索區(qū)域的偏移。
[0131]第二編碼單元103的運(yùn)動預(yù)測和補(bǔ)償單元165使用由第二編碼單元103的GMV推導(dǎo)單元171推導(dǎo)出的參數(shù)(用于推測執(zhí)行點(diǎn)的開始點(diǎn)或者搜索區(qū)域的偏移)來執(zhí)行幀間預(yù)測，并且產(chǎn)生預(yù)測圖像。而且，第二編碼單元103的運(yùn)動預(yù)測和補(bǔ)償單元165根據(jù)第一編碼單元102的GMV推導(dǎo)單元171的請求來提供關(guān)于完成處理的圖片的運(yùn)動信息。
[0132]在以這樣的方式進(jìn)行時(shí)，第二編碼單元103可以抑制GMV精度的下降，并且可以抑制由于圖像編碼的編碼而導(dǎo)致的圖像質(zhì)量的下降。因?yàn)榈谝痪幋a單元102和第二編碼單元103可以用這種方式來抑制GMV精度的下降，所以圖像編碼裝置100可以抑制由于圖像的編碼而導(dǎo)致的圖像質(zhì)量的下降。
[0133]處理的流程
[0134]接下來，描述由圖像編碼裝置100執(zhí)行的處理的流程。
[0135]并行編碼處理的流程
[0136]參照圖10中的流程圖來描述由圖像編碼裝置100執(zhí)行的并行編碼處理的流程的示例。
[0137]在步驟SlOl中，圖像編碼裝置100的圖像分割單元101將輸入圖像的每個(gè)圖片順序地分割成偶數(shù)編號的圖像和奇數(shù)編號的圖像。對偶數(shù)編號的圖像執(zhí)行步驟S102至S108中的處理操作。對奇數(shù)編號的圖像執(zhí)行步驟S109至S115中的處理操作。對偶數(shù)編號的圖像執(zhí)行的步驟S102至S108中的處理操作和對奇數(shù)編號的圖像執(zhí)行的步驟S109至S115中的處理操作可以相互并行地執(zhí)行。
[0138]在步驟S102中，第一編碼單元102的A/D轉(zhuǎn)換單元151對輸入的偶數(shù)編號的圖像執(zhí)行A/D轉(zhuǎn)換。在步驟S103中，第一編碼單元102的圖像重排緩沖器152存儲執(zhí)行了 A/D轉(zhuǎn)換的圖像，并且，如果需要的話，以使得圖片被顯示的順序改變?yōu)閳D片被編碼的順序的方式對圖片進(jìn)行重排。
[0139]在步驟S104中，第一編碼單元102的GMV推導(dǎo)單元171對當(dāng)前圖片的上半部分執(zhí)行推導(dǎo)GMV的GMV推導(dǎo)處理。在步驟S105中，第一編碼單元102對當(dāng)前圖片的上半部分執(zhí)行編碼。
[0140]在步驟S106中，第一編碼單元102的GMV推導(dǎo)單元171對當(dāng)前圖片的下半部分執(zhí)行推導(dǎo)GMV的GMV推導(dǎo)處理。在步驟S107中，第一編碼單元102對當(dāng)前圖片的下半部分執(zhí)行編碼。
[0141]在步驟S108中，第一編碼單元102確定屬于偶數(shù)編號的圖像組的所有圖片(即，所有偶數(shù)編號的圖像)是否都被處理了。如果確定存在尚未處理的圖片，則處理返回到步驟S102。第一編碼單元102對每個(gè)圖片執(zhí)行步驟S102至S108中的處理操作。然后，在步驟S108中，如果確定所有圖片都被處理了，則處理前進(jìn)到步驟S116。
[0142]此外，在步驟S109中，第二編碼單元103的A/D轉(zhuǎn)換單元151對輸入的奇數(shù)編號的圖像執(zhí)行A/D轉(zhuǎn)換。在步驟SllO中，第二編碼單元103的圖像重排緩沖器152存儲執(zhí)行了 A/D轉(zhuǎn)換的圖像，并且，如果需要的話，以使得圖片被顯示的順序改變?yōu)閳D片被編碼的順序的方式對圖片進(jìn)行重排。
[0143]在步驟Slll中，第二編碼單元103的GMV推導(dǎo)單元171對當(dāng)前圖片的上半部分執(zhí)行推導(dǎo)GMV的GMV推導(dǎo)處理。在步驟S112中，第二編碼單元103對當(dāng)前圖片的上半部分執(zhí)行編碼。
[0144]在步驟S113中，第二編碼單元103的GMV推導(dǎo)單元171對當(dāng)前圖片的下半部分執(zhí)行推導(dǎo)GMV的GMV推導(dǎo)處理。在步驟S114中，第二編碼單元103對當(dāng)前圖片的下半部分執(zhí)行編碼。
[0145]在步驟S115中，第二編碼單元103確定屬于奇數(shù)編號的圖像組的所有圖片(即，所有奇數(shù)編號的圖像)是否都被處理了。如果確定存在尚未處理的圖片，則處理返回到步驟S109。第二編碼單元103對每個(gè)圖片執(zhí)行步驟S109至S115中的處理操作。然后，在步驟S115中，如果確定所有的圖片都被處理了，則處理前進(jìn)到步驟S116。
[0146]在步驟SI 16中，流合成單元104將通過步驟S102到S108中的處理操作產(chǎn)生的第一流和通過步驟S109至S115中的處理操作產(chǎn)生的第二流合成，并且產(chǎn)生輸出流。而且，流合成單元104可以順序地合成所供應(yīng)的每個(gè)圖片的流。基本上，步驟S116中的處理可以與重復(fù)地執(zhí)行的步驟S102至S108中的處理操作和步驟S109和SI 15中的處理操作并行地執(zhí)行。
[0147]當(dāng)?shù)谝涣骱偷诙魅勘缓铣刹⑶彝瓿闪瞬襟ES116中的處理時(shí)，并行編碼處理完成了。
[0148]上半部分的GMV推導(dǎo)處理的流程
[0149]接下來，參照圖11中的流程圖來描述在圖10中的步驟S104中執(zhí)行的上半部分的GMV推導(dǎo)處理的流程的示例。如圖10所示，在對當(dāng)前圖片開始執(zhí)行編碼時(shí)，執(zhí)行上半部分的GMV推導(dǎo)處理。
[0150]當(dāng)開始上半部分的GMV推導(dǎo)處理時(shí)，在步驟S131中，第一編碼單元102的GMV推導(dǎo)單元171指定使用GMV(運(yùn)動信息)的幀(圖片)，并且確定這種圖片的處理是否正在進(jìn)行(由第二編碼單元103進(jìn)行的編碼是否正在進(jìn)行)。GMV推導(dǎo)單元171指定接近參考距離的圖片當(dāng)中的最接近當(dāng)前圖片的圖片作為使用GMV(運(yùn)動信息)的圖片。然后，GMV推導(dǎo)單元171確定例如這種圖片是否為緊鄰的前一個(gè)圖片、以及由第二編碼單元103對這種圖片進(jìn)行的編碼是否正在進(jìn)行。如果確定處理正在進(jìn)行，則處理前進(jìn)到步驟S132。而且，圖片的處理是否正在進(jìn)行的確定并不限于基于指示處理實(shí)際上是否正在進(jìn)行的信息，并且該確定可以通過使用關(guān)于在處理目標(biāo)圖片之前的圖片(參考圖片或非參考圖片)的信息來估計(jì)處理正在進(jìn)行來進(jìn)行。
[0151]在步驟S132中，使用關(guān)于處理正在進(jìn)行的這種圖片的上半部分的運(yùn)動信息(或者關(guān)于這種圖片的上半部分的GMV_t (O))，GMV推導(dǎo)單元171執(zhí)行例如圖7B中示出的算術(shù)運(yùn)算，并且針對當(dāng)前圖片的上半部分推導(dǎo)出用于幀間預(yù)測的推測執(zhí)行點(diǎn)(SpeCUlative_gmv_t)的開始點(diǎn)。
[0152]在步驟S133中，例如，GMV推導(dǎo)單元171執(zhí)行圖7A和圖7B中示出的算術(shù)運(yùn)算，并且針對整個(gè)當(dāng)前圖片推導(dǎo)出巾貞間預(yù)測的搜索區(qū)域偏移(search_area_offset)。這通過如下來進(jìn)行:除了關(guān)于正在進(jìn)行處理的這種圖片的上半部分的運(yùn)動信息(或者，關(guān)于這種圖片的上半部分的GMV_t(0))以外，還使用關(guān)于接近參考距離的圖片當(dāng)中的正在進(jìn)行處理的圖片之前的整個(gè)圖片的運(yùn)動信息(或者，關(guān)于整個(gè)圖片的GMV⑴)，或者使用關(guān)于上半部分的運(yùn)動信息(或者，關(guān)于上半部分的GMV_t(l))和關(guān)于下半部分的運(yùn)動信息(或者，關(guān)于下半部分的 GMV_b(l))。
[0153]當(dāng)步驟S133中的處理完成時(shí)，對上半部分的GMV推導(dǎo)處理完成了，并且該處理返回到圖10中的流程圖。此外，在步驟S131中，如果確定使用GMV(運(yùn)動信息)的圖片的處理沒有正在進(jìn)行，則該處理前進(jìn)到步驟S134。
[0154]在步驟S134中，使用關(guān)于處理完成的這種圖片的上半部分的運(yùn)動信息(或者關(guān)于這種圖片的上半部分的GMV_t(0))，GMV推導(dǎo)單元171執(zhí)行例如圖6B中示出的算術(shù)操作，并且針對當(dāng)前圖片的上半部分推導(dǎo)出用于幀間預(yù)測的推測執(zhí)行點(diǎn)(SpeCUlative_gmv_t)的開始點(diǎn)。
[0155]在步驟S135中，GMV推導(dǎo)單元171執(zhí)行例如圖6B中示出的算術(shù)運(yùn)算，并且針對整個(gè)當(dāng)前圖片推導(dǎo)出巾貞間預(yù)測的搜索區(qū)域偏移(search_area_offset)。這使用關(guān)于處理完成的整個(gè)圖片的運(yùn)動信息(或者關(guān)于整個(gè)圖片的GMV(O))、或者使用關(guān)于上半部分的運(yùn)動信息(或者關(guān)于上半部分的GMV_t(0))和關(guān)于下半部分的運(yùn)動信息(或者關(guān)于下半部分的GMV_b (O))來進(jìn)行。
[0156]當(dāng)步驟S135中的處理完成時(shí)，對上半部分的GMV推導(dǎo)處理完成了，并且該處理返回到圖10中的流程圖。
[0157]而且，在圖10中的步驟Slll中，第二編碼單元103的GMV推導(dǎo)單元171以與圖11中的流程圖中的方式相同的方式來執(zhí)行上半部分的GMV推測處理。
[0158]上半部分的編碼處理的流程
[0159]接下來，參照圖12中的流程圖來描述在圖10中的步驟S105中執(zhí)行的當(dāng)前圖片的編碼處理的流程的示例。
[0160]在編碼處理開始時(shí)，在步驟S151中，幀內(nèi)預(yù)測單元164在幀內(nèi)預(yù)測模式中執(zhí)行幀內(nèi)預(yù)測處理。在步驟S152中，運(yùn)動預(yù)測和補(bǔ)償單元165在幀間預(yù)測模式中執(zhí)行幀間運(yùn)動預(yù)測處理，該幀間運(yùn)動預(yù)測處理執(zhí)行運(yùn)動預(yù)測或運(yùn)動補(bǔ)償。在幀間預(yù)測時(shí)，運(yùn)動預(yù)測和補(bǔ)償單元165使用由GMV推導(dǎo)單元171推導(dǎo)出的GMV(用于幀間預(yù)測的推測執(zhí)行點(diǎn)(speculative,gmv_t)的開始點(diǎn))或巾貞間預(yù)測的搜索區(qū)域偏移(search_area_offset)。
[0161]在步驟S153中，預(yù)測圖像選擇單元166基于從幀內(nèi)預(yù)測單元164以及運(yùn)動預(yù)測和補(bǔ)償單元165輸出的每個(gè)成本函數(shù)值來確定最佳預(yù)測模式?；旧?，預(yù)測圖像選擇單元166選擇由幀內(nèi)預(yù)測單元164產(chǎn)生的預(yù)測圖像或者由運(yùn)動預(yù)測和補(bǔ)償單元165產(chǎn)生的預(yù)測圖像中的任一個(gè)。
[0162]在步驟S154中，算術(shù)運(yùn)算單元153執(zhí)行算術(shù)運(yùn)算以獲得重排的圖像和通過步驟S153中的處理選擇的預(yù)測圖像之間的差。與原始的圖像數(shù)據(jù)相比，在數(shù)據(jù)量方面減少了差數(shù)據(jù)。因此，與原樣地對圖像進(jìn)行編碼的情況相比，可以壓縮數(shù)據(jù)量。
[0163]在步驟S155中，正交變換單元154對通過步驟S154中的處理產(chǎn)生的差信息執(zhí)行正交變換。更具體地，執(zhí)行諸如離散余弦變換或Karhunen-Loeve變換的正交變換，并且輸出變換系數(shù)。在步驟S156中，量化單元155對通過步驟S155中的處理獲得的正交變換系數(shù)執(zhí)行量化。
[0164]如下地對通過步驟S156中的處理量化的差信息進(jìn)行局部解碼。也就是說，在步驟S157中，逆量化單元158使用與步驟S156中的量化相對應(yīng)的方法，對通過步驟S156中的處理量化的正交變換系數(shù)進(jìn)行逆量化。在步驟S158中，逆正交變換單元159使用與在步驟S155中的處理相對應(yīng)的方法，對通過步驟S157中的處理獲得的正交變換系數(shù)執(zhí)行逆正交變換。
[0165]在步驟S159中，算術(shù)運(yùn)算單元160將預(yù)測圖像與局部解碼的差信息相加，并且產(chǎn)生局部解碼的圖像(與算術(shù)運(yùn)算單元153的輸入相對應(yīng)的圖像)。在步驟S160中，去塊濾波器161對通過步驟S159中的處理產(chǎn)生的圖像執(zhí)行去塊濾波處理。通過這樣做，去除了塊畸變。
[0166]在步驟S161中，幀存儲器162存儲通過步驟S160中的處理對其執(zhí)行塊畸變等的圖像。此外，沒有由去塊濾波器161執(zhí)行濾波處理的圖像從算術(shù)運(yùn)算單元160供應(yīng)到幀存儲器162，并被存儲在幀存儲器162中。存儲在幀存儲器162中的圖像用于步驟S151中的處理或步驟S152中的處理。
[0167]在步驟S162中，可逆編碼單元156對通過步驟S156中的處理量化的變換系數(shù)進(jìn)行編碼并且產(chǎn)生編碼數(shù)據(jù)。也就是說，對差圖像(在幀間預(yù)測的情況下，第二差圖像)執(zhí)行諸如可變長度編碼或算術(shù)編碼的可逆編碼。
[0168]而且，可逆編碼單元156對與通過步驟S153中的處理選擇的預(yù)測圖像的預(yù)測模式有關(guān)的信息進(jìn)行解碼，并且將其與通過對差圖像進(jìn)行編碼而獲得的編碼數(shù)據(jù)相加。例如，如果選擇了幀內(nèi)預(yù)測模式，則可逆編碼單元156對幀內(nèi)預(yù)測模式信息進(jìn)行編碼。此外，例如，如果選擇了幀間預(yù)測模式，則可逆編碼單元156對幀間預(yù)測模式信息進(jìn)行編碼。例如，這種信息作為頭部信息等與編碼數(shù)據(jù)相加(多路復(fù)用)。
[0169]在步驟S163中，累積緩沖器157對通過步驟S162中的處理產(chǎn)生的編碼數(shù)據(jù)進(jìn)行累積。在累積緩沖器157中累積的編碼數(shù)據(jù)被適當(dāng)?shù)刈x取，并且通過任意的傳輸路徑(不僅包括通信路徑而且包括存儲介質(zhì)等)發(fā)送到解碼側(cè)的裝置。
[0170]在步驟S164中，速率控制單元167基于通過步驟S163中的處理在累積緩沖器157中累積的壓縮數(shù)據(jù)，以使得不會發(fā)生上溢或下溢的方式控制由量化單元155進(jìn)行的量化操作的速率。
[0171]當(dāng)在步驟S164中完成處理時(shí)，編碼處理完成，并且該處理返回到圖10中的流程圖。第一編碼單元102通過執(zhí)行上述的編碼處理對當(dāng)前圖片的上半部分執(zhí)行編碼處理。
[0172]而且，在圖10中的步驟S112中，第二編碼單元103以與圖12中的步驟相同的方式執(zhí)行編碼處理。
[0173]下半部分的GMV推導(dǎo)處理的流程
[0174]接下來，參照圖13中的流程圖來描述在圖10中的步驟S106中執(zhí)行的下半部分的GMV推導(dǎo)處理的流程的示例。如圖10所示，在對當(dāng)前圖片的上半部分執(zhí)行的編碼完成之后，執(zhí)行對下半部分的GMV推導(dǎo)處理。
[0175]當(dāng)對下半部分的GMV推導(dǎo)處理開始時(shí)，在步驟S181中，第一編碼單元102的GMV推導(dǎo)單元171例如執(zhí)行圖7B中示出的算術(shù)運(yùn)算，并且針對當(dāng)前圖片的下半部分推導(dǎo)出用于中貞間預(yù)測的推測執(zhí)行點(diǎn)(speculative_gmv_t)的開始點(diǎn)。這通過指定使用GMV (運(yùn)動信息)的幀(圖片)并且使用關(guān)于這種圖片的下半部分的運(yùn)動信息(或者，關(guān)于這種圖片的下半部分的GMV_b(0))來進(jìn)行。
[0176]當(dāng)步驟S181中的處理完成時(shí)，對下半部分的GMV推導(dǎo)處理完成，并且該處理返回到圖10中的步驟。
[0177]而且，在圖10中的步驟S113中，第二編碼單元103的GMV推導(dǎo)單元171以與圖13中的步驟中的方式相同的方式來執(zhí)行下半部分的GMV推測處理。
[0178]下半部分的編碼處理的流程
[0179]而且，在圖10中的步驟S107中，第一編碼單元102以與圖12中的步驟相同的方式對當(dāng)前圖片的下半部分執(zhí)行編碼處理。此外，在圖10中的步驟S114中，第二編碼單元103以與圖12中的步驟相同的方式對當(dāng)前圖片的下半部分執(zhí)行編碼處理。
[0180]通過執(zhí)行上述的每個(gè)處理，圖像編碼裝置100可以進(jìn)一步抑制圖像質(zhì)量的下降。
[0181]其它方面
[0182]圖像分割單元101在上面被描述為將輸入圖像分配為兩種布置，S卩，偶數(shù)編號的圖像和奇數(shù)編號的圖像，并且第一編碼單元102和第二編碼單元103分別被描述為對這兩種布置中的圖像進(jìn)行編碼。但是，圖像編碼裝置100可以具有可相互并行地執(zhí)行處理的任意數(shù)量的編碼單元。基本上，圖像分割單元101可以將第一布置中的輸入圖像分割成任意數(shù)量的布置。
[0183]此外，輸入圖像中的參考圖片和非參考圖片的配置是任意的，并且不限于圖6A和圖6B或者圖7A和圖7B中的示例。此外，正在進(jìn)行處理的圖片的處理完成的部分(由GMV推導(dǎo)單元使用關(guān)于這種部分的運(yùn)動信息)是任意的，并且取決于參考圖片、非參考圖片或者編碼單元的數(shù)量(圖像分割單元101將輸入圖像分割成的布置的數(shù)量)等的配置。
[0184]另外，用于推導(dǎo)出用于幀間預(yù)測的推測執(zhí)行點(diǎn)的開始點(diǎn)或者搜索區(qū)域偏移的方法不限于圖6A和圖6B或者圖7A和圖7B中的示例，并且是任意的。
[0185]3.第二實(shí)施例
[0186]計(jì)算機(jī)
[0187]上述的系列處理操作可以以硬件來執(zhí)行或者可以以軟件來執(zhí)行。在這種情況下，例如，系列處理操作可以以在圖14中示出的計(jì)算機(jī)中執(zhí)行的方式來配置。
[0188]在圖14中，計(jì)算機(jī)900的中央處理單元(CPU)901根據(jù)在只讀存儲器(R0M)902中存儲的程序或者從存儲單元913加載到隨機(jī)存取存儲器(RAM)903的程序來執(zhí)行各種處理操作。CPU901為執(zhí)行各種處理操作所需的數(shù)據(jù)等也被適當(dāng)?shù)卮鎯υ赗AM903中。
[0189]CPU901、R0M902和RAM903通過總線904相互連接。輸入/輸出接口 910也連接到總線904。
[0190]輸入單元911、輸出單元912、存儲單元913和通信單元914連接到輸入/輸出接口 910。輸入單元911由鍵盤、鼠標(biāo)、觸摸面板和輸入終端構(gòu)成。輸出單元912由諸如陰極射線管(CRT)、液晶顯示器(LCD)或有機(jī)電致發(fā)光顯示器(OLED)的顯示器，諸如揚(yáng)聲器或輸出終端的任意的輸出裝置等構(gòu)成。存儲單元913由諸如硬盤或閃存的任意的存儲介質(zhì)、控制這種存儲介質(zhì)的輸入和輸出的控制單元等構(gòu)成。通信單元914由諸如調(diào)制解調(diào)器、LAN接口、通用串行總線(USB)和藍(lán)牙(Bluetooth，注冊商標(biāo))裝置的任意的有線或無線通信裝置構(gòu)成。例如，通信單元914執(zhí)行通過包括因特網(wǎng)的網(wǎng)絡(luò)與其它通信裝置通信的處理。
[0191]在需要的時(shí)候，驅(qū)動器915連接到輸入/輸出接口 910。諸如磁盤、光盤或磁光盤或半導(dǎo)體存儲器的可移動介質(zhì)921適當(dāng)?shù)匕惭b在驅(qū)動器915中。例如，驅(qū)動器915在CPU901的控制下從安裝在驅(qū)動器915中的可移動介質(zhì)921讀取計(jì)算機(jī)程序、數(shù)據(jù)等。例如，讀取的數(shù)據(jù)或計(jì)算機(jī)程序被供應(yīng)到RAM903。此外，如果需要的話，在存儲單元913中安裝從可移動介質(zhì)921讀取的計(jì)算機(jī)程序。
[0192]如果上述的系列處理操作以軟件來執(zhí)行，則從網(wǎng)絡(luò)或記錄介質(zhì)安裝提供這種軟件的主體的程序。
[0193]如圖14所示，例如，記錄介質(zhì)可以不僅由可移動介質(zhì)921構(gòu)成，還可以由在存儲單元913中包括的R0M902或硬盤構(gòu)成?？梢苿咏橘|(zhì)921由磁盤(包括軟盤)、光盤(包括壓縮盤-只讀存儲器(CD-ROM)和數(shù)字多功能盤(DVD))、磁光盤(包括迷你盤(MD))、半導(dǎo)體存儲器等構(gòu)成，其中的每個(gè)被分發(fā)用于將程序傳送到與設(shè)備的主體分開的用戶并且其上存儲有程序。其上存儲有程序的R0M902在被預(yù)先內(nèi)置于設(shè)備的主體中的狀態(tài)下被傳送到用戶。
[0194]而且，由計(jì)算機(jī)執(zhí)行的程序可以是按照本說明書中描述的順序以時(shí)間序列執(zhí)行處理的程序，或者可以是在需要的定時(shí)(例如，在執(zhí)行調(diào)用時(shí))并行地執(zhí)行處理的程序。
[0195]此外，在本說明書中，描述存儲在記錄介質(zhì)上的程序的步驟不僅包括根據(jù)描述的順序以時(shí)間序列執(zhí)行的處理，而且包括即使不必以時(shí)間序列執(zhí)行處理也并行地或各自地執(zhí)行的處理。
[0196]4.第三實(shí)施例
[0197]成像設(shè)備
[0198]例如，根據(jù)實(shí)施例的上述的圖像編碼裝置100可以被應(yīng)用于各種電子設(shè)備，例如，發(fā)送器或接收器、記錄設(shè)備或再現(xiàn)設(shè)備。發(fā)送器或接收器用在通過衛(wèi)星廣播、諸如有線TV的有線廣播和因特網(wǎng)的傳送中、用在通過蜂窩通信到終端的傳送中等。記錄裝置在諸如光盤、磁盤、柔性存儲器等的介質(zhì)上記錄圖像。再現(xiàn)設(shè)備從記錄介質(zhì)再現(xiàn)圖像。
[0199]圖15示出應(yīng)用上述實(shí)施例的成像設(shè)備的概略配置的一個(gè)示例。成像設(shè)備960對被攝體進(jìn)行成像，產(chǎn)生被攝體的圖像，對圖像上的圖像數(shù)據(jù)進(jìn)行編碼，并且將編碼的圖像數(shù)據(jù)存儲在記錄介質(zhì)中。
[0200]成像設(shè)備960包括光學(xué)塊961、成像單元962、信號處理單元963、圖像處理單元
964、顯示單元965、外部接口(I/F)單元966、存儲器967、介質(zhì)驅(qū)動器968、0SD969、控制單元970、用戶接口 (I/F)單元971和總線972。
[0201]光學(xué)塊961與成像單元962連接。成像單元962與信號處理單元963連接。顯示單元965與圖像處理單元964連接。用戶接口單元971與控制單元970連接?？偩€972提供圖像處理單元964、外部接口單元966、存儲器967、介質(zhì)驅(qū)動器968、0SD969和控制單元970之間的連接。
[0202]光學(xué)塊961具有聚焦透鏡、光闌機(jī)構(gòu)等。光學(xué)塊961使得被攝體的光學(xué)圖像被成像到成像單元962的成像表面上。成像單元962具有諸如電荷耦合器件(CXD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)的圖像傳感器，并且通過光電轉(zhuǎn)換將在成像表面上成像的光學(xué)圖像轉(zhuǎn)換為作為電信號的圖像信號。然后，成像單元962將圖像信號輸出到信號處理單元963。
[0203]信號處理單元963對從成像單元962輸入的圖像信號執(zhí)行各種照相機(jī)信號處理操作，例如，拐點(diǎn)校正(KNEE correct1n)、伽馬校正和顏色校正。信號處理單元963將通過照相機(jī)信號處理的圖像數(shù)據(jù)輸出到圖像處理單元964。
[0204]圖像處理單元964對從信號處理單元963輸入的圖像數(shù)據(jù)進(jìn)行編碼，并且產(chǎn)生編碼數(shù)據(jù)。然后，圖像處理單元964將產(chǎn)生的編碼數(shù)據(jù)輸出到外部接口單元966或介質(zhì)驅(qū)動器968。此外，圖像處理單元964對從外部接口單元966或介質(zhì)驅(qū)動器968輸入的編碼數(shù)據(jù)進(jìn)行解碼，并且產(chǎn)生圖像數(shù)據(jù)。然后，圖像處理單元964將產(chǎn)生的圖像數(shù)據(jù)輸出到顯示單元
965。此外，圖像處理單元964可以將從信號處理單元963輸入的圖像數(shù)據(jù)輸出到顯示單元965并在顯示單元965上顯示圖像。此外，圖像處理單元964可以將從0SD969獲得的顯示數(shù)據(jù)輸出到顯示單元965并將顯示數(shù)據(jù)疊加到圖像上。
[0205]例如，0SD969產(chǎn)生諸如菜單、按鈕或光標(biāo)的⑶I圖像，并且將產(chǎn)生的圖像輸出到圖像處理單元964。
[0206]例如，外部接口單元966被配置為USB輸入/輸出端子。例如，在打印圖像時(shí)，夕卜部接口單元966與成像設(shè)備960和打印機(jī)連接。此外，在需要的時(shí)候，驅(qū)動器與外部接口單元966連接。例如，諸如磁盤或光盤的可移動介質(zhì)被安裝在驅(qū)動器中，并且從可移動介質(zhì)讀取的程序可以被安裝在成像設(shè)備960中。另外，外部接口單元966可以被構(gòu)造為網(wǎng)絡(luò)接口，該網(wǎng)絡(luò)接口與諸如LAN或因特網(wǎng)的網(wǎng)絡(luò)連接。也就是說，外部接口單元966起到成像設(shè)備960中的發(fā)送單元的作用。
[0207]例如，在介質(zhì)驅(qū)動器968中安裝的記錄介質(zhì)可以是任意的可讀可寫的可移動介質(zhì)，例如，磁盤、磁光盤、光盤或半導(dǎo)體存儲器。此外，記錄介質(zhì)可以被固定地安裝在介質(zhì)驅(qū)動器968中。例如，非便攜式存儲單元可以被構(gòu)造為諸如內(nèi)置的硬盤驅(qū)動器或固態(tài)驅(qū)動器(SSD)。
[0208]控制單元970具有諸如CPU的處理器以及諸如RAM和ROM的存儲器。存儲器存儲由CPU執(zhí)行的程序、程序數(shù)據(jù)等。例如，在啟動成像設(shè)備960時(shí)，CPU讀取和執(zhí)行在存儲器中存儲的程序。例如，通過執(zhí)行該程序，CPU根據(jù)從用戶接口單元971輸入的操作信號來控制成像設(shè)備960的操作。
[0209]用戶接口單元971與控制單元970連接。例如，用戶接口單元971具有用戶用來操作成像設(shè)備960的按鈕和開關(guān)。用戶接口單元971通過這種組成元件來檢測用戶的操作，由此產(chǎn)生操作信號并將產(chǎn)生的操作信號輸出到控制單元970。
[0210]在具有這種配置的成像設(shè)備960中，圖像處理單元964具有與根據(jù)實(shí)施例的上述的圖像編碼裝置100 (參照圖8)相同的功能。因此，可以抑制成像設(shè)備960中的由于圖像的編碼而導(dǎo)致的圖像質(zhì)量的下降。
[0211]而且，在本說明書中，系統(tǒng)是指由多個(gè)裝置構(gòu)成的整個(gè)系統(tǒng)。
[0212]此外，上述的具有一個(gè)裝置(或處理單元)的配置可以被改變?yōu)榫哂卸鄠€(gè)裝置(或處理單元)的配置。相反，上述的具有多個(gè)裝置(或處理單元)的配置可以被改變?yōu)榫哂幸粋€(gè)裝置(或處理單元)的配置。此外，當(dāng)然，除了上述的配置以外的配置可以被添加到每個(gè)裝置(或每個(gè)處理單元)的配置。而且，當(dāng)配置和操作基本上與整個(gè)系統(tǒng)相同時(shí)，某一裝置(或某一處理單元)的配置的一部分可以被包括在另一個(gè)裝置(或另一個(gè)處理單元)的配置中?；旧?，本技術(shù)的實(shí)施例不限于上述的實(shí)施例，并且可以在不脫離本技術(shù)的主旨的范圍內(nèi)進(jìn)行各種修改。
[0213]此外，本技術(shù)也可以具有下述配置。
[0214](I) 一種圖像處理裝置，包括:分割單元，將圖像數(shù)據(jù)的每個(gè)圖片分割成多種布置；多個(gè)編碼單元，所述多個(gè)編碼單元中的每個(gè)對從由分割單元進(jìn)行的分割得到的相互不同的布置中的圖片進(jìn)行編碼；以及合成單元，合成通過所述多個(gè)編碼單元中的每個(gè)對每個(gè)圖片進(jìn)行編碼而得到的布置中的流，其中，在對當(dāng)前圖片進(jìn)行編碼時(shí)，編碼單元使用第一全局運(yùn)動向量GMV執(zhí)行幀間預(yù)測，所述第一全局運(yùn)動向量GMV是從關(guān)于在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的完成了處理的部分的運(yùn)動信息推導(dǎo)出的，在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片存在于正被分割單元分割的圖片之前，并且在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的處理正在不同的編碼單元中進(jìn)行。
[0215](2)根據(jù)(I)和(3)至(16)中的任何一項(xiàng)的圖像處理裝置，其中，如果與GMV的參考距離最接近的圖片當(dāng)中的與當(dāng)前圖片最接近的圖片的處理正在不同的編碼單元中進(jìn)行，則編碼單元從關(guān)于正在進(jìn)行處理的圖片的完成了處理的部分的運(yùn)動信息推導(dǎo)出第一 GMV。
[0216](3)根據(jù)(I)、⑵和(4)至(16)中的任何一項(xiàng)的圖像處理裝置，其中，如果與第一 GMV相對應(yīng)的圖片的處理在用于開始當(dāng)前圖片的編碼的時(shí)間點(diǎn)處正在進(jìn)行，則編碼單元從關(guān)于完成了處理的部分的運(yùn)動信息推導(dǎo)出第一 GMV。
[0217](4)根據(jù)⑴至(3)和(5)至(16)中的任何一項(xiàng)的圖像處理裝置，其中，編碼單元使用第一 GMV來推導(dǎo)出幀間預(yù)測的搜索區(qū)域偏移。
[0218](5)根據(jù)⑴至(4)和(6)至(16)中的任何一項(xiàng)的圖像處理裝置，其中，編碼單元使用從關(guān)于圖像數(shù)據(jù)中的與第一 GMV對應(yīng)的圖片之前的整個(gè)圖片的運(yùn)動信息推導(dǎo)出的GMV來推導(dǎo)出搜索區(qū)域偏移，圖像數(shù)據(jù)中的與第一 GMV對應(yīng)的圖片之前的整個(gè)圖片存在于正被分割單元分割的圖片之前，并且圖像數(shù)據(jù)中的與第一 GMV對應(yīng)的圖片之前的整個(gè)圖片的編碼在該編碼單元自身或者不同的編碼單元中完成。
[0219](6)根據(jù)⑴至(5)和(7)至(16)中的任何一項(xiàng)的圖像處理裝置，其中，編碼單元使用第二 GMV和第三GMV兩者作為從關(guān)于整個(gè)圖片的運(yùn)動信息推導(dǎo)出的GMV來推導(dǎo)出搜索區(qū)域偏移，第二 GMV是從關(guān)于與完成了編碼的對應(yīng)于第一 GMV的圖片的完成了處理的部分對應(yīng)的部分的運(yùn)動信息推導(dǎo)出的，第三GMV是從關(guān)于與完成了編碼的圖片的完成了處理的部分對應(yīng)的部分不同的部分的運(yùn)動信息推導(dǎo)出的。
[0220](7)根據(jù)⑴至(6)和⑶至(16)中的任何一項(xiàng)的圖像處理裝置，其中，編碼單元通過將第一 GMV和第二 GMV之間的差與第二 GMV和第三GMV的平均值相加來推導(dǎo)出搜索區(qū)域偏移。
[0221](8)根據(jù)⑴至(7)和(9)至(16)中的任何一項(xiàng)的圖像處理裝置，其中，分割單元將圖像數(shù)據(jù)的圖片分割成兩種布置，即，偶數(shù)編號的圖片布置和奇數(shù)編號的圖片布置，其中，每個(gè)編碼單元在兩個(gè)圖片的垂直同步周期期間對與編碼單元自身對應(yīng)的布置中的每個(gè)圖片進(jìn)行編碼，其中，在進(jìn)行編碼時(shí)，每個(gè)編碼單元從關(guān)于存在于正被分割單元分割的圖片之前并且正在不同的編碼單元中進(jìn)行處理的、在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的上半部分的運(yùn)動信息推導(dǎo)出第一 GMV，以及每個(gè)編碼單元從關(guān)于存在于正被分割單元分割的圖片之前并且在編碼單元自身和不同的編碼單元中完成了編碼的、在圖像數(shù)據(jù)中的與第一GMV對應(yīng)的圖片之前的圖片的上半部分的運(yùn)動信息推導(dǎo)出第二 GMV，并且從關(guān)于該圖片的下半部分的運(yùn)動信息推導(dǎo)出第三GMV，其中，每個(gè)編碼單元使用第一 GMV至第三GMV來推導(dǎo)出當(dāng)前圖片的搜索區(qū)域偏移，并使用推導(dǎo)出的搜索區(qū)域偏移來執(zhí)行幀間預(yù)測，以及其中，合成單元合成由每個(gè)編碼單元產(chǎn)生的偶數(shù)編號的圖片布置中的流和奇數(shù)編號的圖片布置中的流,并且產(chǎn)生輸出流。
[0222](9)根據(jù)⑴至⑶和(10)至(16)中的任何一項(xiàng)的圖像處理裝置，其中，編碼單元從關(guān)于在開始當(dāng)前圖片的編碼時(shí)正在進(jìn)行處理并且比當(dāng)前圖片先前一個(gè)圖片的圖片的上半部分的運(yùn)動信息推導(dǎo)出第一 GMV，以及編碼單元從關(guān)于在開始當(dāng)前圖片的編碼時(shí)完成了處理并且比當(dāng)前圖片先前兩個(gè)或更多個(gè)圖片的圖片的上半部分的運(yùn)動信息推導(dǎo)出第二GMV，并且從關(guān)于該圖片的下半部分的運(yùn)動信息推導(dǎo)出第三GMV。
[0223](10)根據(jù)⑴至(9)和(11)至(16)中的任何一項(xiàng)的圖像處理裝置，其中，編碼單元從關(guān)于比當(dāng)前圖片先前三個(gè)圖片的圖片的上半部分的運(yùn)動信息推導(dǎo)出第二 GMV，并且從關(guān)于該圖片的下半部分的運(yùn)動信息推導(dǎo)出第三GMV。
[0224](11)根據(jù)⑴至(10)和(12)至(16)中的任何一項(xiàng)的圖像處理裝置，其中，編碼單元使用第一 GMV推導(dǎo)出當(dāng)前圖片的第一開始點(diǎn)，該第一開始點(diǎn)是用于與對應(yīng)于第一 GMV的圖片的完成了處理的部分對應(yīng)的部分的幀間預(yù)測的推測執(zhí)行點(diǎn)的開始點(diǎn)。
[0225](12)根據(jù)⑴至(11)和(13)至(16)中的任何一項(xiàng)的圖像處理裝置，其中，編碼單元將第一 GMV設(shè)置為第一開始點(diǎn)。
[0226](13)根據(jù)(I)至(12)和(14)至(16)中的任何一項(xiàng)的圖像處理裝置，其中，在處理當(dāng)前圖片的與對應(yīng)于第一 GMV的圖片的完成了處理的部分對應(yīng)的部分之后，使用從關(guān)于與對應(yīng)于第一 GMV的圖片的完成了處理的部分對應(yīng)的部分不同的部分的運(yùn)動信息推導(dǎo)出的第二 GMV，編碼單元推導(dǎo)出當(dāng)前圖片的第二開始點(diǎn)，該第二開始點(diǎn)是用于與對應(yīng)于第一 GMV的圖片的不同的部分對應(yīng)的部分的幀間預(yù)測的推測執(zhí)行點(diǎn)的開始點(diǎn)。
[0227](14)根據(jù)⑴至(13)、(15)至(16)中的任何一項(xiàng)的圖像處理裝置，其中，編碼單元將第二 GMV設(shè)置為第二開始點(diǎn)。
[0228](15)根據(jù)⑴至(14)和(16)中的任何一項(xiàng)的圖像處理裝置，其中，分割單元將圖像數(shù)據(jù)的圖片分割成兩種布置，即，偶數(shù)編號的圖片布置和奇數(shù)編號的圖片布置，其中，每個(gè)編碼單元在兩個(gè)圖片的垂直同步周期期間對與編碼單元自身對應(yīng)的布置中的每個(gè)圖片進(jìn)行編碼，其中，在對當(dāng)前圖片開始編碼處理時(shí)，每個(gè)編碼單元從關(guān)于存在于正被分割單元分割的圖片之前并且正在不同的編碼單元中進(jìn)行處理的、在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的上半部分的運(yùn)動信息推導(dǎo)出第一 GMV，使用第一 GMV推導(dǎo)出第一開始點(diǎn)，使用第一開始點(diǎn)對當(dāng)前圖片的上半部分執(zhí)行幀間預(yù)測，在處理上半部分之后從關(guān)于對應(yīng)于第一 GMV的圖片的完成了處理的下半部分的運(yùn)動信息推導(dǎo)出第二 GMV，使用第一 GMV推導(dǎo)出第二開始點(diǎn)，并且使用第二開始點(diǎn)對當(dāng)前圖片的下半部分執(zhí)行幀間預(yù)測，以及其中，合成單元合成由每個(gè)編碼單元產(chǎn)生的偶數(shù)編號的圖片布置中的流和奇數(shù)編號的圖片布置中的流，并且產(chǎn)生輸出流。
[0229](16)根據(jù)(I)至(15)中的任何一項(xiàng)的圖像處理裝置，其中，編碼單元從關(guān)于比當(dāng)前圖片先前一個(gè)圖片的圖片的上半部分的運(yùn)動信息推導(dǎo)出第一 GMV，并且從關(guān)于該圖片的下半部分的運(yùn)動信息推導(dǎo)出第二 GMV。
[0230](17) 一種圖像處理方法，包括:將圖像數(shù)據(jù)的每個(gè)圖片分割成多種布置；對從分割得到的每種布置中的圖片進(jìn)行編碼；在對每個(gè)圖片進(jìn)行編碼時(shí)，使用第一全局運(yùn)動向量GMV對當(dāng)前圖片執(zhí)行幀間預(yù)測，所述第一全局運(yùn)動向量GMV是從關(guān)于在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的完成了處理的部分的運(yùn)動信息推導(dǎo)出的，在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片存在于正被分割的圖片之前，并且在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的處理正在不同的編碼單元中進(jìn)行；以及合成通過對每個(gè)圖片進(jìn)行編碼獲得的布置中的流。
[0231](18) 一種程序，用于使得計(jì)算機(jī)執(zhí)行:將圖像數(shù)據(jù)的每個(gè)圖片分割成多種布置；對從分割得到的每種布置中的圖片進(jìn)行編碼；在對每個(gè)圖片進(jìn)行編碼時(shí)，使用第一全局運(yùn)動向量GMV對當(dāng)前圖片執(zhí)行幀間預(yù)測，所述第一全局運(yùn)動向量GMV是從關(guān)于在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的完成了處理的部分的運(yùn)動信息推導(dǎo)出的，在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片存在于正被分割的圖片之前，并且在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的處理正在不同的編碼單元中進(jìn)行；以及
[0232]合成通過對每個(gè)圖片進(jìn)行編碼獲得的布置中的流。
[0233](19) 一種成像設(shè)備，包括:成像單元，對被攝體進(jìn)行成像；分割單元，將通過成像單元對被攝體進(jìn)行成像而得到的圖像數(shù)據(jù)的每個(gè)圖片分成多種布置；多個(gè)編碼單元，所述多個(gè)編碼單元中的每個(gè)對從由分割單元進(jìn)行的分割得到的相互不同的布置中的圖片進(jìn)行編碼；以及合成單元，將通過所述多個(gè)編碼單元中的每個(gè)對每個(gè)圖片進(jìn)行編碼而得到的布置中的流合成，其中，在對當(dāng)前的圖片進(jìn)行編碼時(shí)，編碼單元使用在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的從關(guān)于其處理完成的一部分的運(yùn)動信息推導(dǎo)出的第一全局運(yùn)動向量(GMV)來執(zhí)行幀間預(yù)測，該圖像數(shù)據(jù)在由分割單元進(jìn)行分割之前存在，并且其處理在不同的編碼單元中正進(jìn)行。
[0234](19) 一種成像設(shè)備，包括:成像單元，對被攝體進(jìn)行成像；分割單元，將通過成像單元對被攝體進(jìn)行成像而獲得的圖像數(shù)據(jù)的每個(gè)圖片分割成多種布置；多個(gè)編碼單元，所述多個(gè)編碼單元中的每個(gè)對從由分割單元進(jìn)行的分割得到的相互不同的布置中的圖片進(jìn)行編碼；以及合成單元，合成通過所述多個(gè)編碼單元中的每個(gè)對每個(gè)圖片進(jìn)行編碼而獲得的布置中的流，其中，在對當(dāng)前圖片進(jìn)行編碼時(shí)，編碼單元使用第一全局運(yùn)動向量GMV執(zhí)行幀間預(yù)測，所述第一全局運(yùn)動向量GMV是從關(guān)于在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的完成了處理的部分的運(yùn)動信息推導(dǎo)出的，在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片存在于正被分割單元分割的圖片之前，并且在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的處理正在不同的編碼單元中進(jìn)行。
[0235]本領(lǐng)域的技術(shù)人員應(yīng)該理解，可以根據(jù)設(shè)計(jì)要求和其它因素進(jìn)行各種修改、組合、子組合和替換，只要它們在所附權(quán)利要求或其等同物的范圍內(nèi)即可。
【權(quán)利要求】
1.一種圖像處理裝置，包括: 分割單元，將圖像數(shù)據(jù)的每個(gè)圖片分割成多種布置； 多個(gè)編碼單元，所述多個(gè)編碼單元中的每個(gè)對從由分割單元進(jìn)行的分割得到的相互不同的布置中的圖片進(jìn)行編碼；以及 合成單元，合成通過所述多個(gè)編碼單元中的每個(gè)對每個(gè)圖片進(jìn)行編碼而得到的布置中的流， 其中，在對當(dāng)前圖片進(jìn)行編碼時(shí)，編碼單元使用第一全局運(yùn)動向量GMV執(zhí)行幀間預(yù)測，所述第一全局運(yùn)動向量GMV是從關(guān)于在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的完成了處理的部分的運(yùn)動信息推導(dǎo)出的，在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片存在于正被分割單元分割的圖片之前，并且在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的處理正在不同的編碼單元中進(jìn)行。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置， 其中，如果與GMV的參考距離最接近的圖片當(dāng)中的與當(dāng)前圖片最接近的圖片的處理正在不同的編碼單元中進(jìn)行，則編碼單元從關(guān)于正在進(jìn)行處理的圖片的完成了處理的部分的運(yùn)動信息推導(dǎo)出第一 GMV。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置， 其中，如果與第一 GMV相對應(yīng)的圖片的處理在用于開始當(dāng)前圖片的編碼的時(shí)間點(diǎn)處正在進(jìn)行，則編碼單元從關(guān)于完成了處理的部分的運(yùn)動信息推導(dǎo)出第一 GMV。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置， 其中，編碼單元使用第一 GMV來推導(dǎo)出幀間預(yù)測的搜索區(qū)域偏移。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置， 其中，編碼單元使用從關(guān)于圖像數(shù)據(jù)中的與第一 GMV對應(yīng)的圖片之前的整個(gè)圖片的運(yùn)動信息推導(dǎo)出的GMV來推導(dǎo)出搜索區(qū)域偏移，圖像數(shù)據(jù)中的與第一 GMV對應(yīng)的圖片之前的整個(gè)圖片存在于正被分割單元分割的圖片之前，并且圖像數(shù)據(jù)中的與第一 GMV對應(yīng)的圖片之前的整個(gè)圖片的編碼在該編碼單元自身或者不同的編碼單元中完成。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置， 其中，編碼單元使用第二 GMV和第三GMV兩者作為從關(guān)于整個(gè)圖片的運(yùn)動信息推導(dǎo)出的GMV來推導(dǎo)出搜索區(qū)域偏移，第二 GMV是從關(guān)于與完成了編碼的對應(yīng)于第一 GMV的圖片的完成了處理的部分對應(yīng)的部分的運(yùn)動信息推導(dǎo)出的，第三GMV是從關(guān)于與完成了編碼的圖片的完成了處理的部分對應(yīng)的部分不同的部分的運(yùn)動信息推導(dǎo)出的。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置， 其中，編碼單元通過將第一 GMV和第二 GMV之間的差與第二 GMV和第三GMV的平均值相加來推導(dǎo)出搜索區(qū)域偏移。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置， 其中，分割單元將圖像數(shù)據(jù)的圖片分割成兩種布置，即，偶數(shù)編號的圖片布置和奇數(shù)編號的圖片布置， 其中，每個(gè)編碼單元在兩個(gè)圖片的垂直同步周期期間對與編碼單元自身對應(yīng)的布置中的每個(gè)圖片進(jìn)行編碼， 其中，在進(jìn)行編碼時(shí)，每個(gè)編碼單元從關(guān)于存在于正被分割單元分割的圖片之前并且正在不同的編碼單元中進(jìn)行處理的、在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的上半部分的運(yùn)動信息推導(dǎo)出第一 GMV，以及每個(gè)編碼單元從關(guān)于存在于正被分割單元分割的圖片之前并且在編碼單元自身和不同的編碼單元中完成了編碼的、在圖像數(shù)據(jù)中的與第一 GMV對應(yīng)的圖片之前的圖片的上半部分的運(yùn)動信息推導(dǎo)出第二 GMV，并且從關(guān)于該圖片的下半部分的運(yùn)動信息推導(dǎo)出第三GMV， 其中，每個(gè)編碼單元使用第一 GMV至第三GMV來推導(dǎo)出當(dāng)前圖片的搜索區(qū)域偏移，并使用推導(dǎo)出的搜索區(qū)域偏移來執(zhí)行幀間預(yù)測，以及 其中，合成單元合成由每個(gè)編碼單元產(chǎn)生的偶數(shù)編號的圖片布置中的流和奇數(shù)編號的圖片布置中的流，并且產(chǎn)生輸出流。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置， 其中，編碼單元從關(guān)于在開始當(dāng)前圖片的編碼時(shí)正在進(jìn)行處理并且比當(dāng)前圖片先前一個(gè)圖片的圖片的上半部分的運(yùn)動信息推導(dǎo)出第一 GMV，以及編碼單元從關(guān)于在開始當(dāng)前圖片的編碼時(shí)完成了處理并且比當(dāng)前圖片先前兩個(gè)或更多個(gè)圖片的圖片的上半部分的運(yùn)動信息推導(dǎo)出第二 GMV，并且從關(guān)于該圖片的下半部分的運(yùn)動信息推導(dǎo)出第三GMV。
10.根據(jù)權(quán)利要求9所述的圖像處理裝置， 其中，編碼單元從關(guān)于比當(dāng)前圖片先前三個(gè)圖片的圖片的上半部分的運(yùn)動信息推導(dǎo)出第二 GMV，并且從關(guān)于該圖片的下半部分的運(yùn)動信息推導(dǎo)出第三GMV。
11.根據(jù)權(quán)利要求1所述的圖像處理裝置， 其中，編碼單元使用第一 GMV推導(dǎo)出當(dāng)前圖片的第一開始點(diǎn)，該第一開始點(diǎn)是用于與對應(yīng)于第一 GMV的圖片的完成了處理的部分對應(yīng)的部分的幀間預(yù)測的推測執(zhí)行點(diǎn)的開始點(diǎn)。
12.根據(jù)權(quán)利要求11所述的圖像處理裝置， 其中，編碼單元將第一 GMV設(shè)置為第一開始點(diǎn)。
13.根據(jù)權(quán)利要求11所述的圖像處理裝置， 其中，在處理當(dāng)前圖片的與對應(yīng)于第一 GMV的圖片的完成了處理的部分對應(yīng)的部分之后，使用從關(guān)于與對應(yīng)于第一 GMV的圖片的完成了處理的部分對應(yīng)的部分不同的部分的運(yùn)動信息推導(dǎo)出的第二 GMV，編碼單元推導(dǎo)出當(dāng)前圖片的第二開始點(diǎn)，該第二開始點(diǎn)是用于與對應(yīng)于第一 GMV的圖片的不同的部分對應(yīng)的部分的幀間預(yù)測的推測執(zhí)行點(diǎn)的開始點(diǎn)。
14.根據(jù)權(quán)利要求13所述的圖像處理裝置， 其中，編碼單元將第二 GMV設(shè)置為第二開始點(diǎn)。
15.根據(jù)權(quán)利要求13所述的圖像處理裝置， 其中，分割單元將圖像數(shù)據(jù)的圖片分割成兩種布置，即，偶數(shù)編號的圖片布置和奇數(shù)編號的圖片布置， 其中，每個(gè)編碼單元在兩個(gè)圖片的垂直同步周期期間對與編碼單元自身對應(yīng)的布置中的每個(gè)圖片進(jìn)行編碼， 其中，在對當(dāng)前圖片開始編碼處理時(shí)，每個(gè)編碼單元從關(guān)于存在于正被分割單元分割的圖片之前并且正在不同的編碼單元中進(jìn)行處理的、在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的上半部分的運(yùn)動信息推導(dǎo)出第一 GMV，使用第一 GMV推導(dǎo)出第一開始點(diǎn)，使用第一開始點(diǎn)對當(dāng)前圖片的上半部分執(zhí)行幀間預(yù)測，在處理上半部分之后從關(guān)于對應(yīng)于第一 GMV的圖片的完成了處理的下半部分的運(yùn)動信息推導(dǎo)出第二 GMV，使用第一 GMV推導(dǎo)出第二開始點(diǎn)，并且使用第二開始點(diǎn)對當(dāng)前圖片的下半部分執(zhí)行幀間預(yù)測，以及 其中，合成單元合成由每個(gè)編碼單元產(chǎn)生的偶數(shù)編號的圖片布置中的流和奇數(shù)編號的圖片布置中的流，并且產(chǎn)生輸出流。
16.根據(jù)權(quán)利要求15所述的圖像處理裝置， 其中，編碼單元從關(guān)于比當(dāng)前圖片先前一個(gè)圖片的圖片的上半部分的運(yùn)動信息推導(dǎo)出第一 GMV，并且從關(guān)于該圖片的下半部分的運(yùn)動信息推導(dǎo)出第二 GMV。
17.—種圖像處理方法,包括: 將圖像數(shù)據(jù)的每個(gè)圖片分割成多種布置； 對從分割得到的每種布置中的圖片進(jìn)行編碼； 在對每個(gè)圖片進(jìn)行編碼時(shí)，使用第一全局運(yùn)動向量GMV對當(dāng)前圖片執(zhí)行幀間預(yù)測，所述第一全局運(yùn)動向量GMV是從關(guān)于在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的完成了處理的部分的運(yùn)動信息推導(dǎo)出的，在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片存在于正被分割的圖片之前，并且在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的處理正在不同的編碼單元中進(jìn)行；以及 合成通過對每個(gè)圖片進(jìn)行編碼獲得的布置中的流。
18.—種程序，用于使得計(jì)算機(jī)執(zhí)行: 將圖像數(shù)據(jù)的每個(gè)圖片分割成多種布置； 對從分割得到的每種布置中的圖片進(jìn)行編碼； 在對每個(gè)圖片進(jìn)行編碼時(shí)，使用第一全局運(yùn)動向量GMV對當(dāng)前圖片執(zhí)行幀間預(yù)測，所述第一全局運(yùn)動向量GMV是從關(guān)于在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的完成了處理的部分的運(yùn)動信息推導(dǎo)出的，在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片存在于正被分割的圖片之前，并且在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的處理正在不同的編碼單元中進(jìn)行；以及 合成通過對每個(gè)圖片進(jìn)行編碼獲得的布置中的流。
19.一種成像設(shè)備，包括: 成像單元，對被攝體進(jìn)行成像； 分割單元，將通過成像單元對被攝體進(jìn)行成像而獲得的圖像數(shù)據(jù)的每個(gè)圖片分割成多種布置； 多個(gè)編碼單元，所述多個(gè)編碼單元中的每個(gè)對從由分割單元進(jìn)行的分割得到的相互不同的布置中的圖片進(jìn)行編碼；以及 合成單元，合成通過所述多個(gè)編碼單元中的每個(gè)對每個(gè)圖片進(jìn)行編碼而獲得的布置中的流， 其中，在對當(dāng)前圖片進(jìn)行編碼時(shí)，編碼單元使用第一全局運(yùn)動向量GMV執(zhí)行幀間預(yù)測，所述第一全局運(yùn)動向量GMV是從關(guān)于在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的完成了處理的部分的運(yùn)動信息推導(dǎo)出的，在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片存在于正被分割單元分割的圖片之前，并且在圖像數(shù)據(jù)中的當(dāng)前圖片之前的圖片的處理正在不同的編碼單元中進(jìn)行。
【文檔編號】H04N19/436GK104244005SQ201410242746
【公開日】2014年12月24日 申請日期:2014年6月4日 優(yōu)先權(quán)日:2013年6月11日
【發(fā)明者】小鷹直彥 申請人:索尼公司