圖像處理設(shè)備和圖像處理方法
【專利摘要】本發(fā)明涉及一種使得具有不同分辨率的彩圖圖像和深度圖像能夠被一起編碼的圖像處理設(shè)備和圖像處理方法。圖像幀轉(zhuǎn)換單元將深度圖像的分辨率轉(zhuǎn)換為與彩色圖像相同的分辨率。附加信息生成單元生成附加信息，該附加信息包括：標(biāo)識(shí)彩色圖像的信息或者標(biāo)識(shí)深度圖像的信息；表示在經(jīng)過(guò)分辨率轉(zhuǎn)換的深度圖像中包含的黑色區(qū)域的圖像幀轉(zhuǎn)換信息；以及標(biāo)識(shí)彩色圖像與深度圖像的分辨率是否不同的分辨率信息。本發(fā)明例如可以應(yīng)用到用于多視點(diǎn)圖像的圖像處理設(shè)備。
【專利說(shuō)明】圖像處理設(shè)備和圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本技術(shù)涉及一種圖像處理設(shè)備和圖像處理方法，并且特別地涉及一種能夠?qū)哂胁煌直媛实牟噬珗D像和深度圖像共同進(jìn)行編碼或解碼的圖像處理設(shè)備和圖像處理方法。
【背景技術(shù)】
[0002]最近，3D圖像受到關(guān)注。通常是通過(guò)戴眼鏡觀看兩個(gè)視點(diǎn)的交替顯示的圖像的方法來(lái)觀看3D圖像，在該眼鏡中，當(dāng)顯示兩個(gè)視點(diǎn)的圖像之一時(shí)，用于左眼的快門(mén)打開(kāi)，并且當(dāng)顯示另一圖像時(shí)，用于右眼的快門(mén)打開(kāi)(在下文中，稱為戴眼鏡的方法)。
[0003]然而，在這種戴眼鏡的方法中，觀看者除了購(gòu)買(mǎi)3D圖像顯示設(shè)備外還要購(gòu)買(mǎi)眼鏡，使得觀看者的購(gòu)買(mǎi)動(dòng)機(jī)降低。在觀看時(shí)，觀看者應(yīng)當(dāng)戴眼鏡，使得觀看變得繁瑣。因此，對(duì)能夠在不戴眼鏡的情況下觀看3D圖像的觀看方法(在下文中，稱為不戴眼鏡的方法)的需求增加。
[0004]在不戴眼鏡的方法中，三個(gè)或者更多個(gè)視點(diǎn)的圖像被顯示，使得對(duì)每個(gè)視點(diǎn)的可視角度不同，并且通過(guò)由右眼和左眼觀看任選的兩個(gè)視點(diǎn)的每個(gè)圖像，觀看者可以不戴眼鏡觀看3D圖像。
[0005]獲得預(yù)定視點(diǎn)的彩色圖像和深度圖像并且使用該彩色圖像和該深度圖像生成包括不同于預(yù)定視點(diǎn)的視點(diǎn)的多個(gè)視點(diǎn)的彩色圖像來(lái)進(jìn)行顯示的方法被研究，作為通過(guò)不戴眼鏡的方法來(lái)顯示3D圖像的方法。同時(shí)，術(shù)語(yǔ)“多視點(diǎn)”想要表達(dá)的是三個(gè)或者更多個(gè)視點(diǎn)。
[0006]對(duì)彩色圖像和深度圖像單獨(dú)地進(jìn)行編碼的方法被提出作為對(duì)具有多視點(diǎn)的彩色圖像和深度圖像進(jìn)行編碼的方法(例如，參考專利文獻(xiàn)I)。
[0007]引f列表
[0008]非專利文獻(xiàn)
[0009]非專利文獻(xiàn)INTERNATIONAL ORGANIZATION FOR STANDARDISATION ORGANISATIONINTERNATIONALE DE NORMALISATION IS0/IEC JTC1/SC29/WG11C0DING OF MOVING PICTURESAND AUDIO，廣州，中國(guó)，2010年10月。

【發(fā)明內(nèi)容】

[0010]發(fā)明要解決的問(wèn)題
[0011 ] 在傳統(tǒng)的MVC (多視點(diǎn)視頻編碼)標(biāo)準(zhǔn)中，假定要編碼的圖像的分辨率相同。因此，如圖1A所示，當(dāng)符合MVC標(biāo)準(zhǔn)的編碼設(shè)備對(duì)相同分辨率的彩色圖像(彩色)和深度圖像(深度)進(jìn)行編碼時(shí)，編碼設(shè)備可以對(duì)彩色圖像和深度圖像共同進(jìn)行編碼。
[0012]然而，如圖1B所示，當(dāng)符合MVC標(biāo)準(zhǔn)的編碼設(shè)備對(duì)分辨率不同的彩色圖像(彩色)和深度圖像(深度)進(jìn)行編碼時(shí)，不可以對(duì)深度圖像和彩色圖像共同進(jìn)行編碼。因此，需要設(shè)置對(duì)彩色圖像進(jìn)行編碼的編碼器和對(duì)深度圖像進(jìn)行編碼的編碼器。類似地，解碼設(shè)備應(yīng)當(dāng)設(shè)置有對(duì)彩色圖像進(jìn)行解碼的解碼器和對(duì)深度圖像進(jìn)行解碼的解碼器。[0013]因此，期望編碼設(shè)備對(duì)分辨率不同的彩色圖像和深度圖像共同進(jìn)行編碼，并且期望解碼設(shè)備對(duì)編碼結(jié)果進(jìn)行解碼。
[0014]本技術(shù)是在考慮到該情況的情形下實(shí)現(xiàn)的，從而使得可以對(duì)分辨率不同的彩色圖像和深度圖像共同進(jìn)行編碼或者解碼。
[0015]問(wèn)題的解決方案
[0016]根據(jù)本技術(shù)第一方面的圖像處理設(shè)備是一種圖像處理設(shè)備，包括:分辨率轉(zhuǎn)換單元，其將深度圖像的分辨率轉(zhuǎn)換為與彩色圖像的分辨率相同的分辨率；生成單元，其生成附加信息，該附加信息包括指定彩色圖像或者深度圖像的信息，指示在分辨率經(jīng)過(guò)分辨率轉(zhuǎn)換單元轉(zhuǎn)換的深度圖像中包括的圖像的區(qū)域的轉(zhuǎn)換信息，以及辨別彩色圖像的分辨率與深度圖像的分辨率是否彼此不同的分辨率信息；以及發(fā)送單元，其發(fā)送彩色圖像、深度圖像以及由生成單元生成的附加信息。
[0017]根據(jù)本技術(shù)第一方面的圖像處理方法對(duì)應(yīng)于根據(jù)本技術(shù)第一方面的圖像處理設(shè)備。
[0018]在本技術(shù)的第一方面中，將深度圖像的分辨率轉(zhuǎn)換為與彩色圖像的分辨率相同的分辨率；生成附加信息，該附加信息包括:指定彩色圖像或者深度圖像的信息，指示在分辨率被轉(zhuǎn)換的深度圖像中包括的圖像的區(qū)域的轉(zhuǎn)換信息，以及辨別彩色圖像的分辨率與深度圖像的分辨率是否彼此不同的分辨率信息；以及發(fā)送彩色圖像、深度圖像以及附加信息。
[0019]根據(jù)本技術(shù)第二方面的圖像處理設(shè)備是一種圖像處理設(shè)備，包括:接收單元，其接收彩色圖像，分辨率被轉(zhuǎn)換為與彩色圖像的分辨率相同的分辨率的深度圖像，以及附加信息，該附加信息包括指定彩色圖像或者深度圖像的信息，指示在深度圖像中包括的圖像的區(qū)域的轉(zhuǎn)換信息以及辨別彩色圖像的分辨率與深度圖像的分辨率是否彼此不同的分辨率信息；提取單元，其基于由接收單元接收的附加信息來(lái)從深度圖像提取分辨率轉(zhuǎn)換前的深度圖像；以及生成單元，其使用彩色圖像和由提取單元提取的深度圖像來(lái)生成新的彩色圖像。
[0020]根據(jù)本技術(shù)第二方面的圖像處理方法對(duì)應(yīng)于根據(jù)本技術(shù)第二方面的圖像處理設(shè)備。
[0021]在本技術(shù)的第二方面中，接收彩色圖像、分辨率被轉(zhuǎn)換為與彩色圖像的分辨率相同的分辨率的深度圖像、以及附加信息，該附加信息包括指定彩色圖像或者深度圖像的信息，指示在深度圖像中包括的圖像的區(qū)域的轉(zhuǎn)換信息，以及辨別彩色圖像的分辨率與深度圖像的分辨率是否彼此不同的分辨率信息；基于接收的附加信息來(lái)從深度圖像中提取分辨率轉(zhuǎn)換前的深度圖像；以及使用彩色圖像和提取的深度圖像生成新的彩色圖像。
[0022]同時(shí)，可以通過(guò)使計(jì)算機(jī)執(zhí)行程序來(lái)實(shí)現(xiàn)根據(jù)第一方面和第二方面的圖像處理設(shè)備。
[0023]用于實(shí)現(xiàn)根據(jù)第一方面和第二方面的圖像處理設(shè)備的由計(jì)算機(jī)執(zhí)行的程序可以經(jīng)由傳輸介質(zhì)被傳輸或者記錄在記錄介質(zhì)上從而被提供。
[0024]發(fā)明的效果
[0025]根據(jù)本技術(shù)的第一方面，可以對(duì)分辨率不同的彩色圖像和深度圖像共同進(jìn)行編碼。
[0026]根據(jù)本技術(shù)的第二方面，可以對(duì)經(jīng)共同編碼的、分辨率不同的彩色圖像和深度圖像進(jìn)行解碼。
【專利附圖】

【附圖說(shuō)明】
[0027]圖1是例示在MVC標(biāo)準(zhǔn)下進(jìn)行編碼的視圖。
[0028]圖2是例示作為本技術(shù)應(yīng)用于的圖像處理設(shè)備的編碼設(shè)備的第一實(shí)施方式的結(jié)構(gòu)示例的框圖。
[0029]圖3是例示由圖2中的圖像幀轉(zhuǎn)換單元執(zhí)行的圖像幀轉(zhuǎn)換處理的視圖。
[0030]圖4是例示圖像幀轉(zhuǎn)換信息的結(jié)構(gòu)示例的視圖。
[0031]圖5是例示編碼比特流的訪問(wèn)單元的結(jié)構(gòu)示例的視圖。
[0032]圖6是例示圖5中的SEI的一部分的描述示例的視圖。
[0033]圖7是例示圖2中的編碼設(shè)備的編碼處理的流程圖。
[0034]圖8是詳細(xì)例示圖7中的附加信息生成處理的流程圖。
[0035]圖9是詳細(xì)例不圖7中的多視點(diǎn)編碼處理的流程圖。
[0036]圖10是例示作為本技術(shù)應(yīng)用于的圖像處理設(shè)備的解碼設(shè)備的第一實(shí)施例的結(jié)構(gòu)示例的框圖。
[0037]圖11是例示圖10中的解碼設(shè)備的解碼處理的流程圖。
[0038]圖12是詳細(xì)例示圖11中的多視點(diǎn)解碼處理的流程圖。
[0039]圖13是詳細(xì)例示圖11中的提取處理的流程圖。
[0040]圖14是例示作為本技術(shù)應(yīng)用于的圖像處理設(shè)備的編碼設(shè)備的第二實(shí)施例的結(jié)構(gòu)示例的框圖。
[0041]圖15是例示編碼比特流的訪問(wèn)單元的另一結(jié)構(gòu)示例的視圖。
[0042]圖16是例示圖15中的SPS的一部分的描述示例的視圖。
[0043]圖17是例示由圖14中編碼設(shè)備生成的SPS的一部分的描述示例的視圖。
[0044]圖18是例示圖15中的子集(Subset) SPS的一部分的描述示例的視圖。
[0045]圖19是例示由圖14中編碼設(shè)備生成的子集SPS的一部分的描述示例的視圖。
[0046]圖20是例示圖15中的SEI的一部分的描述示例的視圖。
[0047]圖21是詳細(xì)例示圖14中的編碼設(shè)備的多視點(diǎn)編碼處理的流程圖。
[0048]圖22是例示作為本技術(shù)應(yīng)用于的圖像處理設(shè)備的解碼設(shè)備的第二實(shí)施例的結(jié)構(gòu)示例的框圖。
[0049]圖23是詳細(xì)例示圖22中的解碼設(shè)備的多視點(diǎn)解碼處理的流程圖。
[0050]圖24是例示視差和深度的視圖。
[0051 ] 圖25是例示計(jì)算機(jī)的一個(gè)實(shí)施例的結(jié)構(gòu)示例的視圖。
[0052]圖26是例示本技術(shù)應(yīng)用于的電視設(shè)備的示意性結(jié)構(gòu)示例的視圖。
[0053]圖27是例示本技術(shù)應(yīng)用于的移動(dòng)電話的示意性結(jié)構(gòu)示例的視圖。
[0054]圖28是例示本技術(shù)應(yīng)用于的記錄/再現(xiàn)設(shè)備的示意性結(jié)構(gòu)示例的視圖。
[0055]圖29是例示本技術(shù)應(yīng)用于的圖像拍攝設(shè)備的示意性結(jié)構(gòu)示例的視圖。
【具體實(shí)施方式】
[0056]〈本說(shuō)明書(shū)中的深度圖像的描述〉[0057]圖24是例不視差和深度的視圖。
[0058]如圖24所示，當(dāng)被攝體M的彩色圖像通過(guò)布置在位置Cl的照相機(jī)cl和布置在位置C2照相機(jī)c2進(jìn)行拍攝時(shí)，作為在深度方向上從照相機(jī)Cl (照相機(jī)c2)到被攝體M的距離的深度Z由如下的式子(a)定義:
[0059]Z = (L/d) Xf...(a)
[0060]同時(shí)，L表示在水平方向上位置Cl和位置C2之間的距離(在下文中，稱為照相機(jī)間距離)。此外，d表示通過(guò)從距離Ul中減去距離u2所獲得的值，Ul為被攝體M在由照相機(jī)Cl拍攝的圖像上的位置與所拍攝的圖像的中心之間在水平方向上的距離，u2為被攝體M在由照相機(jī)c2拍攝的圖像上的位置與所拍攝的圖像的中心之間在水平方向上的距離，也就是說(shuō)，d表示視差。此外f表示照相機(jī)Cl的焦距，并且假定在式子(a)中照相機(jī)Cl的焦距與照相機(jī)c2的焦距相同。
[0061]如式子(a)所示，視差d和深度Z可以進(jìn)行唯一轉(zhuǎn)換。因此，在本說(shuō)明書(shū)中，指示由照相機(jī)Cl和c2拍攝的兩個(gè)視點(diǎn)的彩色圖像的視差d的圖像與指示深度Z的圖像共同稱作為深度圖像。
[0062]同時(shí)，指示視差d或者深度Z的圖像可以用作為深度圖像，不是視差d或者深度Z本身，而是通過(guò)對(duì)視差d進(jìn)行正規(guī)化所獲得的值、通過(guò)對(duì)深度Z的倒數(shù)1/Z進(jìn)行正規(guī)化所獲得的值等可以被采用作為深度圖像的像素值。
[0063]通過(guò)將視差d正規(guī)化為8比特(O到255)所獲得的值I可以由如下式子(b)獲得。同時(shí)，視差d未必要正規(guī)化為8比特，視差d也可以正規(guī)化為10比特、12比特等。
[0064][式3]
【權(quán)利要求】
1.一種圖像處理設(shè)備，包括:分辨率轉(zhuǎn)換單元，其將深度圖像的分辨率轉(zhuǎn)換為與彩色圖像的分辨率相同的分辨率；生成單元，其生成附加信息，所述附加信息包括:指定所述彩色圖像或者所述深度圖像的信息，指示在分辨率經(jīng)過(guò)所述分辨率轉(zhuǎn)換單元轉(zhuǎn)換的所述深度圖像中包括的圖像的區(qū)域的轉(zhuǎn)換信息，以及辨別所述彩色圖像的分辨率與所述深度圖像的分辨率是否彼此不同的分辨率信息；以及 發(fā)送單元，其發(fā)送所述彩色圖像、所述深度圖像以及由所述生成單元生成的所述附加信息。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括: 編碼單元，其對(duì)所述彩色圖像和所述深度圖像進(jìn)行編碼以生成比特流，其中， 所述發(fā)送單元發(fā)送由所述編碼單元編碼的所述比特流以及由所述生成單元生成的所述附加信息。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中， 所述編碼單元使用MVC (多視點(diǎn)視頻編碼)方案對(duì)所述彩色圖像和所述深度圖像進(jìn)行編碼，并且生成所述附加信息，以作為SEI (補(bǔ)充增強(qiáng)信息)，所述SEI是所述比特流的補(bǔ)充信息。
4.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中， 所述編碼單元使用MVC (多視點(diǎn)視頻編碼)方案對(duì)所述彩色圖像和所述深度圖像進(jìn)行編碼，生成指定所述彩色圖像或者所述深度圖像的信息以作為SEI (補(bǔ)充增強(qiáng)信息)，所述SEI是所述比特流的補(bǔ)充信息，并且生成所述轉(zhuǎn)換信息和所述分辨率信息以作為所述比特流的子集SPS (序列參數(shù)集)。
5.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中， 所述分辨率轉(zhuǎn)換單元通過(guò)將所述圖像添加到分辨率比所述彩色圖像的分辨率低的所述深度圖像來(lái)將所述深度圖像的分辨率轉(zhuǎn)換為與所述彩色圖像的分辨率相同的分辨率。
6.—種圖像處理方法,包括:分辨率轉(zhuǎn)換步驟，將深度圖像的分辨率轉(zhuǎn)換為與彩色圖像的分辨率相同的分辨率；生成步驟，生成附加信息，所述附加信息包括:指定所述彩色圖像或者所述深度圖像的信息，指示在分辨率通過(guò)所述分辨率轉(zhuǎn)換步驟的處理而被轉(zhuǎn)換的所述深度圖像中包括的圖像的區(qū)域的轉(zhuǎn)換信息，以及辨別所述彩色圖像的分辨率與所述深度圖像的分辨率是否彼此不同的分辨率信息；以及 發(fā)送步驟，發(fā)送所述彩色圖像、所述深度圖像以及通過(guò)圖像處理設(shè)備的所述生成步驟的處理而生成的所述附加信息。
7.一種圖像處理設(shè)備，包括: 接收單元，其接收彩色圖像，分辨率被轉(zhuǎn)換為與所述彩色圖像的分辨率相同的分辨率的深度圖像，以及附加信息，所述附加信息包括:指定所述彩色圖像或者所述深度圖像的信息，指示在所述深度圖像中包括的圖像的區(qū)域的轉(zhuǎn)換信息，以及辨別所述彩色圖像的分辨率與所述深度圖像的分辨率是否彼此不同的分辨率信息； 提取單元，其基于由所述接收單元接收的所述附加信息來(lái)從所述深度圖像中提取分辨率轉(zhuǎn)換前的深度圖像；以及生成單元，其使用所述彩色圖像和由所述提取單元提取的所述深度圖像來(lái)生成新的彩色圖像。
8.根據(jù)權(quán)利要求7所述的圖像處理設(shè)備，還包括: 解碼單元，其對(duì)通過(guò)編碼所述彩色圖像和所述深度圖像而獲得的比特流進(jìn)行解碼，其中， 所述接收單元接收所述比特流和所述附加信息， 所述解碼單元對(duì)由所述接收單元接收的所述比特流進(jìn)行解碼以生成所述彩色圖像和所述深度圖像，并且 所述提取單元基于所述附加信息從由所述解碼單元生成的所述深度圖像中提取所述分辨率轉(zhuǎn)換前的深度圖像。
9.根據(jù)權(quán)利要求8所述的圖像處理設(shè)備，其中， 所述接收單元接收通過(guò)使用MVC (多視點(diǎn)視頻編碼)方案對(duì)所述彩色圖像和所述深度圖像進(jìn)行編碼而獲得的所述比特流，以及被生成為SEI (補(bǔ)充增強(qiáng)信息)的所述附加信息，所述SEI是所述比特流的補(bǔ)充信息。
10.根據(jù)權(quán)利要求8所述的圖像處理設(shè)備，其中， 所述接收單元接收通過(guò)使用MVC (多視點(diǎn)視頻編碼)方案對(duì)所述彩色圖像和所述深度圖像進(jìn)行編碼而獲得的所述比特流，被生成為作為所述比特流的補(bǔ)充信息的SEI (補(bǔ)充增強(qiáng)信息)、指定所述彩色圖像或者所述深度圖像的信息，以及被生成為所述比特流的子集SPS (序列參數(shù)集)的所述分辨率信息和所述轉(zhuǎn)換信息。
11.根據(jù)權(quán)利要求7所述的圖像處理設(shè)備，其中， 通過(guò)將所述圖像添加到分辨率比所述彩色圖像的分辨率低的所述深度圖像來(lái)將所述深度圖像的分辨率轉(zhuǎn)換為與所述彩色圖像的分辨率相同的分辨率。
12.—種圖像處理方法，包括: 接收步驟，接收彩色圖像、分辨率被轉(zhuǎn)換為與所述彩色圖像的分辨率相同的分辨率的深度圖像、以及附加信息，所述附加信息包括:指定所述彩色圖像或者所述深度圖像的信息，指示在所述深度圖像中包括的圖像的區(qū)域的轉(zhuǎn)換信息，以及辨別所述彩色圖像的分辨率與所述深度圖像的分辨率是否彼此不同的分辨率信息； 提取步驟，基于通過(guò)所述接收步驟的處理而接收的所述附加信息來(lái)從所述深度圖像中提取分辨率轉(zhuǎn)換前的深度圖像；以及 生成步驟，使用所述彩色圖像和通過(guò)圖像處理設(shè)備的所述提取步驟的處理而提取的所述深度圖像來(lái)生成新的彩色圖像。
【文檔編號(hào)】H04N15/00GK103430557SQ201280012936
【公開(kāi)日】2013年12月4日 申請(qǐng)日期:2012年3月9日 優(yōu)先權(quán)日:2011年3月18日
【發(fā)明者】高橋良知, 服部忍 申請(qǐng)人:索尼公司