發(fā)送設(shè)備、發(fā)送方法、接收設(shè)備以及接收方法
【專利摘要】為了使得能夠在接收側(cè)實(shí)現(xiàn)適當(dāng)且高效的處理，發(fā)送具有預(yù)定格式的容器，其中以時(shí)間分割方式包含針對(duì)二維圖像顯示的單個(gè)視圖的視頻流和針對(duì)三維圖像顯示的多個(gè)視圖的視頻流。例如，具有各種格式的容器是適合的，諸如數(shù)字廣播標(biāo)準(zhǔn)中采用的傳輸流（MPEG-2TS）和互聯(lián)網(wǎng)串流中使用的MP4。將包含在容器中的針對(duì)每個(gè)視圖的視頻流的配置信息插入該容器中。
【專利說(shuō)明】發(fā)送設(shè)備、發(fā)送方法、接收設(shè)備以及接收方法
【技術(shù)領(lǐng)域】
[0001]本技術(shù)涉及一種發(fā)送設(shè)備、一種發(fā)送方法、一種接收設(shè)備以及一種接收方法，具體地涉及一種以時(shí)間分割方式發(fā)送針對(duì)二維圖像顯示和三維圖像顯示的相應(yīng)視圖的視頻流的發(fā)送設(shè)備等。
【背景技術(shù)】
[0002]一般地，已知顯示各種三維圖像(立體圖像)的各種類型的系統(tǒng)。例如,如PTLl中所述，已知如下方法:在顯示器上以預(yù)定周期交替地顯示其間具有視差的左圖像和右圖像，并使用包括與顯示器同步驅(qū)動(dòng)的液晶快門的快門眼鏡來(lái)觀看左圖像和右圖像。
[0003]引用列表
[0004]專利文獻(xiàn)
[0005]PTLl:日本未審專利申請(qǐng)公開(kāi)N0.9-138384號(hào)。

【發(fā)明內(nèi)容】

[0006]技術(shù)問(wèn)題
[0007]在假定將內(nèi)容諸如電視節(jié)目從廣播站發(fā)送至用戶的電視接收機(jī)的情況下，已考慮到切換并顯示針對(duì)三維(3D)圖像顯示的多個(gè)視圖的視頻流和針對(duì)二維(2D)圖像顯示的單個(gè)視圖的視頻流。
[0008]例如，已考慮如下情況:其中，針對(duì)事件(節(jié)目)的主要部分發(fā)送針對(duì)三維圖像顯示的多個(gè)視圖的視頻流，并針對(duì)商業(yè)消息(CM)發(fā)送針對(duì)二維圖像顯示的單個(gè)視圖的視頻流。另外，例如，已考慮如下情況:其中，針對(duì)一定的事件(節(jié)目)發(fā)送針對(duì)二維圖像顯示的單個(gè)視圖的視頻流，并在針對(duì)其他事件(節(jié)目)的時(shí)段的至少一部分時(shí)段內(nèi)發(fā)送針對(duì)三維圖像顯示的多個(gè)視圖的視頻流。
[0009]在此情況下，優(yōu)選的是，用戶側(cè)的電視接收機(jī)識(shí)別從發(fā)送側(cè)發(fā)送的視頻流的配置。換句話說(shuō)，如果這樣的視頻流配置的識(shí)別是可能的，則可以執(zhí)行適當(dāng)且高效的處理。
[0010]期望的是，接收側(cè)能夠執(zhí)行適當(dāng)且高效的處理。
[0011]問(wèn)題的解決方案
[0012]本技術(shù)提供一種發(fā)送設(shè)備，包括:
[0013]發(fā)送單元，所述發(fā)送單元發(fā)送預(yù)定格式的容器，在所述容器中以時(shí)間分割方式包括針對(duì)二維圖像顯示的單個(gè)視圖的視頻流和針對(duì)三維圖像顯示的多個(gè)視圖的視頻流；以及
[0014]配置信息插入單元，所述配置信息插入單元將每個(gè)視圖的包括在所述容器中的視頻流的配置信息插入所述容器中。
[0015]在本技術(shù)中，通過(guò)發(fā)送單元發(fā)送預(yù)定格式的容器，該預(yù)定格式的容器以時(shí)間分割方式包括針對(duì)二維圖像顯示的單個(gè)視圖的視頻流和針對(duì)三維圖像顯示的多個(gè)視圖的視頻流。例如，容器可以是數(shù)字廣播標(biāo)準(zhǔn)中采用的傳輸流(MPEG-2TS)。此外，例如，針對(duì)三維圖像顯示的多個(gè)視圖可以是左視圖和右視圖這兩個(gè)視圖。[0016]通過(guò)配置信息插入單元將每個(gè)視圖的包括在容器中的視頻流的配置信息插入容器中。例如，該配置信息可以包括用于標(biāo)識(shí)包括在該容器中的視頻流是針對(duì)二維圖像顯示的單個(gè)視圖的視頻流還是針對(duì)三維圖像顯示的多個(gè)視圖的視頻流的信息。
[0017]此外，例如，該配置信息可以包括表示多個(gè)視圖的視頻流是否被插入在單個(gè)視頻基本流中的信息。此外，例如，該配置信息可以包括表示多個(gè)視圖的視頻流的數(shù)據(jù)是否被交織在單個(gè)畫面中的信息。
[0018]此外，例如，該配置信息可以包括表示視圖分配的信息。此外，例如，該配置信息可以包括表示視頻流是否具有二維圖像顯示所需要的視圖的信息。此外，例如，該配置信息可以包括關(guān)于預(yù)定水平和/或垂直分辨率的像素比信息。
[0019]以該方式，在本技術(shù)中，每個(gè)視圖的包括在容器中的視頻流的配置信息被插入容器中，從而在接收側(cè)適當(dāng)且高效的處理是可能的。
[0020]另外，本技術(shù)還可以包括例如插入層選擇單元，該插入層選擇單元選擇配置信息被插入其中的單個(gè)層或多個(gè)層。例如，容器的層和視頻流的層包括在配置信息的插入層的選項(xiàng)中。在該情況下，能夠?qū)⑴渲眯畔⒉迦朐诟鶕?jù)服務(wù)所需要的層中，并且可以在接收側(cè)實(shí)現(xiàn)處理方便。
[0021]此外，在本技術(shù)中，例如，在該多個(gè)視圖的視頻流被插入在單個(gè)視頻基本流中的情況下，表示視圖之間的邊界的信息可以位于相應(yīng)視圖的視頻流之間。
[0022]此外，本技術(shù)的其他構(gòu)思是一種接收設(shè)備，包括:
[0023]接收單元，所述接收單元接收預(yù)定格式的容器，在所述容器中以時(shí)間分割方式包括針對(duì)二維圖像顯示的單個(gè)視圖的視頻流和針對(duì)三維圖像顯示的多個(gè)視圖的視頻流，
[0024]其中每個(gè)視圖的包括在所述容器中的視頻流的配置信息被插入所述容器中，以及
[0025]其中所述接收設(shè)備還包括圖像數(shù)據(jù)獲取單元，所述圖像數(shù)據(jù)獲取單元從所述容器中基于所述配置信息對(duì)每個(gè)視圖的視頻流進(jìn)行解碼以獲取圖像數(shù)據(jù)。
[0026]在本技術(shù)中，通過(guò)接收單元接收預(yù)定格式的容器，在所述容器中以時(shí)間分割方式包括針對(duì)二維圖像顯示的單個(gè)視圖的視頻流和針對(duì)三維圖像顯示的多個(gè)視圖的視頻流。每個(gè)視圖的包括在容器中的視頻流的配置信息被插入在容器中。然后，基于該配置信息來(lái)對(duì)每個(gè)視圖的視頻流進(jìn)行解碼，并通過(guò)圖像數(shù)據(jù)獲取單元獲得圖像數(shù)據(jù)。此時(shí)，基于被插入例如在事件單元中或在比所述事件單元小的時(shí)間單元中的所述配置信息來(lái)確保解碼緩沖區(qū)域。
[0027]例如，當(dāng)與事件(節(jié)目)的整個(gè)時(shí)段對(duì)應(yīng)地來(lái)發(fā)送針對(duì)二維圖像顯示的單個(gè)視圖的視頻流時(shí)，確保用于單個(gè)視圖的視頻流的緩沖的解碼緩沖區(qū)域。相比之下，當(dāng)在針對(duì)事件(節(jié)目)的時(shí)段的至少一部分時(shí)段內(nèi)對(duì)應(yīng)地發(fā)送針對(duì)三維圖像顯示的多個(gè)視圖的視頻流時(shí)，確保用于多個(gè)視圖的視頻流的緩沖的解碼緩沖區(qū)域。
[0028]在該方式下，在本技術(shù)中，基于每個(gè)視圖的包括在容器中的視頻流的配置信息來(lái)對(duì)每個(gè)視圖的視頻流進(jìn)行解碼以獲得圖像數(shù)據(jù)，從而適當(dāng)且高效的處理是可能的。
[0029]本發(fā)明的有益效果
[0030]根據(jù)本技術(shù)，在接收側(cè)適當(dāng)且高效的處理是可能的。
【專利附圖】

【附圖說(shuō)明】[0031]圖1是示出了作為實(shí)施方式的圖像發(fā)送和接收系統(tǒng)的配置示例的框圖。
[0032]圖2是示出了針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流包括在一個(gè)或兩個(gè)視頻基本流中的示例的圖。
[0033]圖3是示出了構(gòu)成圖像發(fā)送和接收系統(tǒng)的廣播站的發(fā)送數(shù)據(jù)生成單元的配置示例的框圖。
[0034]圖4是示出了包括有在一個(gè)視頻基本流中的左眼和右眼兩個(gè)視圖的視頻流的AVC流的示例的圖。
[0035]圖5是示出了傳輸流TS在針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流作為子流包括在一個(gè)視頻基本流中的情況下的配置示例的圖。
[0036]圖6是示出了傳輸流TS在針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流分別包括在獨(dú)立的視頻基本流中的情況下的配置示例的圖。
[0037]圖7是示出了傳輸流TS在針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流包括在分離的視頻基本流中的情況下的配置示例的圖。
[0038]圖8是示出了子流配置描述符的結(jié)構(gòu)示例(語(yǔ)法)的圖。
[0039]圖9 是不出 了 “substream_configuration_data() ” 的結(jié)構(gòu)不例(語(yǔ)法)的圖。
[0040]圖10是不出了“substream_configuration_data() ”的結(jié)構(gòu)不例中的每條信息的內(nèi)容(語(yǔ)義)的圖(1/2)。
[0041]圖11是示出了“substream_configuration_data() ”的結(jié)構(gòu)示例中的每條信息的內(nèi)容(語(yǔ)義)的圖(2/2)。
[0042]圖12是用于說(shuō)明子流配置數(shù)據(jù)作為“子流配置SEI消息”插入在訪問(wèn)單元的“SEIs”的部分中的圖。
[0043]圖13 是不出 了“子流配置 SEI 消息”和 “userdata_for_substream_configuration_dataO ”的結(jié)構(gòu)示例(語(yǔ)法)的圖。
[0044]圖14是示出了 “user_data() ”的結(jié)構(gòu)示例(語(yǔ)法)的圖。
[0045]圖15是示出了包括在子流配置描述符和子流配置數(shù)據(jù)中的信息的時(shí)間修改示例的圖。
[0046]圖16是示出了包括在子流配置描述符和子流配置數(shù)據(jù)中的信息的時(shí)間修改示例的圖。
[0047]圖17是示出了包括在子流配置描述符和子流配置數(shù)據(jù)中的信息的時(shí)間修改示例的圖。
[0048]圖18是示出了包括在子流配置描述符和子流配置數(shù)據(jù)中的信息的時(shí)間修改示例的圖。
[0049]圖19是示出了構(gòu)成圖像發(fā)送和接收系統(tǒng)的接收機(jī)的配置示例的框圖。
【具體實(shí)施方式】
[0050]下面描述實(shí)現(xiàn)本發(fā)明的模式(在后文中稱為“實(shí)施方式”)。另外，將按照以下順序進(jìn)行描述。
[0051]1.實(shí)施方式
[0052]2.修改示例[0053]〈1.實(shí)施方式〉
[0054][圖像發(fā)送和接收系統(tǒng)]
[0055]圖1示出了作為實(shí)施方式的圖像發(fā)送和接收系統(tǒng)10的配置示例。圖像發(fā)送和接收系統(tǒng)10包括廣播站100和接收機(jī)200。廣播站100在廣播波上發(fā)送作為容器的傳輸流
TSo
[0056]針對(duì)二維圖像顯示的單個(gè)視圖的視頻流(圖像數(shù)據(jù))和針對(duì)三維圖像顯示的多個(gè)視圖的視頻流(圖像數(shù)據(jù))以時(shí)間分割方式包括在傳輸流TS中。針對(duì)三維圖像顯示的多個(gè)視圖的視頻流包括在一個(gè)基本流中從而被發(fā)送，或者包括在各個(gè)分離的基本流中并被發(fā)送。在實(shí)施方式中，多個(gè)視圖表示包括左視圖(左圖像)和右視圖(右圖像)的兩個(gè)視圖。
[0057]例如，考慮如下情況:其中，針對(duì)事件(節(jié)目)的主要部分發(fā)送針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流，并針對(duì)商業(yè)消息(CM)發(fā)送針對(duì)二維圖像顯示的單個(gè)視圖的視頻流。另外，例如，考慮如下情況:其中，在一定的事件(節(jié)目)中僅發(fā)送針對(duì)二維圖像顯示的單個(gè)視圖的視頻流，并在其他事件(節(jié)目)中在時(shí)段的至少一部分時(shí)段內(nèi)發(fā)送針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流。
[0058]每個(gè)視圖的包括在傳輸流TS中的視頻流的配置信息被插入在傳輸流TS中。該配置信息包括標(biāo)識(shí)包括在傳輸流TS中的視頻流是針對(duì)二維圖像顯示的單個(gè)視圖的視頻流還是針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流的信息等。
[0059]該配置信息被選擇性地插入在傳輸流TS的單個(gè)層或多個(gè)層中。插入層的選項(xiàng)包括例如傳輸流的層。在該情況下，該配置信息被插入包括在傳輸流TS內(nèi)的節(jié)目映射表(PMT)的視頻基本環(huán)(視頻ES環(huán))下或事件信息表(EIT)下等。
[0060]此外，插入層的選項(xiàng)包括例如視頻流的層(畫面層和序列層)。在該情況下，配置信息被插入視頻流的畫面頭部或序列頭部的用戶數(shù)據(jù)區(qū)域中等。后續(xù)將對(duì)配置信息的細(xì)節(jié)進(jìn)行描述。
[0061]接收機(jī)200接收從廣播站100在廣播波上發(fā)送的傳輸流TS。此外，接收機(jī)200提取插入在所接收的傳輸流TS中的配置信息。然后，接收機(jī)200基于該配置信息從所接收的傳輸流TS中獲得視頻流(圖像數(shù)據(jù))。
[0062]換句話說(shuō)，當(dāng)傳輸流TS包括針對(duì)二維圖像顯示的單個(gè)視圖的視頻流(圖像數(shù)據(jù))時(shí)，接收機(jī)200獲得單個(gè)視圖的視頻流。此外，當(dāng)傳輸流TS包括針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流(圖像數(shù)據(jù))時(shí)，接收機(jī)200獲得這兩個(gè)視圖的視頻流。
[0063]圖2 (a)示出了針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流包括在一個(gè)視頻基本流中的示例。在該示例中，該視頻基本流配置有以PMT的“Stream_Type=Oxlb”來(lái)發(fā)送的AVC流。
[0064]圖2 (b)示出了針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的相應(yīng)視頻流包括在分離的視頻基本流中的示例。在該示例中，該視頻基本流配置有以PMT的“Stream_Type=0xlb”來(lái)發(fā)送的MVC的基礎(chǔ)視圖的流和以PMT的“Stream_Type=0x20”來(lái)發(fā)送的MVC的非基礎(chǔ)視圖的流。
[0065]圖2 (c)示出了針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的相應(yīng)視頻流包括在分離的視頻基本流中的示例。在該示例中，該視頻基本流配置有以PMT的“Stream_Type=0x02” 發(fā)送的 MPEG2 視頻流和以 PMT 的 “Stream_Type=Oxlb” 發(fā)送的 AVC 流。[0066]發(fā)送數(shù)據(jù)生成單元的配置示例
[0067]圖3示出了廣播站100中的生成上述傳輸流TS的發(fā)送數(shù)據(jù)生成單元110的配置示例。發(fā)送數(shù)據(jù)生成單元Iio包括數(shù)據(jù)提取單元(存檔單元)111、視頻編碼器112、視差信息編碼器113和音頻編碼器114。此外，發(fā)送數(shù)據(jù)生成單元110包括圖形生成單元115、圖形編碼器116和多路復(fù)用器117。
[0068]數(shù)據(jù)記錄介質(zhì)Illa例如可拆卸地安裝在數(shù)據(jù)提取單元111上。在傳輸流TS上發(fā)送的預(yù)定事件(節(jié)目)的視頻流(圖像數(shù)據(jù))和與該視頻流(圖像數(shù)據(jù))對(duì)應(yīng)的語(yǔ)音數(shù)據(jù)被記錄在數(shù)據(jù)記錄介質(zhì)Illa中。
[0069]例如，根據(jù)事件(節(jié)目)將該視頻流切換成針對(duì)二維圖像顯示的單個(gè)視圖的視頻流或針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流。此外，例如，甚至在事件(節(jié)目)中，根據(jù)內(nèi)容諸如主要部分或商業(yè)部分來(lái)將圖像數(shù)據(jù)切換成針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流或針對(duì)二維圖像顯示的單個(gè)視圖的視頻流。
[0070]當(dāng)視頻流是左眼和右眼兩個(gè)視圖的視頻流(圖像數(shù)據(jù))時(shí)，還在數(shù)據(jù)記錄介質(zhì)Illa中與視頻流關(guān)聯(lián)地記錄視差信息。該視差信息是深度數(shù)據(jù)或表示左視圖(左圖像)與右視圖(右圖像)之間的視差的視差矢量等。通過(guò)預(yù)定變換使該深度數(shù)據(jù)能夠作為視差矢量被處理。
[0071]視差信息是例如通過(guò)按照預(yù)定數(shù)目來(lái)分割視圖(圖像)而獲得的每個(gè)分割區(qū)域的視差信息。使用該視差信息通過(guò)調(diào)節(jié)在接收側(cè)分別疊加在左視圖和右視圖上的相同的疊加信息(圖形信息等)的位置來(lái)給出視差。數(shù)據(jù)記錄介質(zhì)Illa是盤形的記錄介質(zhì)或半導(dǎo)體存儲(chǔ)器等。數(shù)據(jù)提取單元111從數(shù)據(jù)記錄介質(zhì)Illa中提取視頻流(圖像數(shù)據(jù))、語(yǔ)音數(shù)據(jù)和視差信息等，使得將其輸出。
[0072]視頻編碼器112對(duì)從數(shù)據(jù)提取單元111輸出的視頻流執(zhí)行編碼諸如MPEG4-AVC(MVC)和MPEG2視頻以獲得編碼視頻數(shù)據(jù)。此外，當(dāng)視頻流是針對(duì)二維圖像顯示的單個(gè)視圖的視頻流時(shí)，視頻編碼器112通過(guò)后階段中提供的流格式器(未示出)來(lái)生成包括作為子流的視頻流的視頻基本流。
[0073]此外，當(dāng)視頻流是針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流時(shí)，視頻編碼器112通過(guò)后階段中提供的流格式器(未示出)來(lái)生成包括作為子流的視頻流的視頻基本流。這里，針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流包括在一個(gè)視頻基本流中(見(jiàn)圖2 (a))，或者分別包括在分離的視頻基本流中(見(jiàn)圖2 (b)和(C))。
[0074]這里，將對(duì)左眼和右眼兩個(gè)視圖的視頻流包括在一個(gè)視頻基本流中的情況進(jìn)行描述。圖4 (a)和(b)示出了一個(gè)視圖的數(shù)據(jù)(SPS至編碼片)被置于每個(gè)訪問(wèn)單元的第一半部分中且其他視圖的數(shù)據(jù)(子集SPS至編碼片)被置于每個(gè)訪問(wèn)單元的第二半部分中的示例。另外，該示例是MPEG4-AVC的編碼的示例，并且附圖中的十六進(jìn)制數(shù)字表示“NAL單元類型”。
[0075]當(dāng)左眼和右眼兩個(gè)視圖的視頻流共同存在于一個(gè)視頻基本流中時(shí)，需要各個(gè)視圖的畫面的邊界是可識(shí)別的。使得能夠僅在一個(gè)訪問(wèn)單元的開(kāi)始處分配訪問(wèn)單元定界符(AUD)0
[0076]從而，如圖4 (b)所示，考慮定義表示視圖之間的邊界的稱為“視圖分割標(biāo)記”的新的NAL單元并將其布置在兩個(gè)視圖的數(shù)據(jù)之間。從而，可以立即訪問(wèn)每個(gè)視圖的畫面的開(kāi)始數(shù)據(jù)。另外，圖4 (a)示出了兩個(gè)視圖的數(shù)據(jù)之間未布置“視圖分割標(biāo)記”的示例。
[0077]視差信息編碼器113生成包括從數(shù)據(jù)提取單元111輸出的視差信息的視差信息基本流。音頻編碼器114對(duì)從數(shù)據(jù)提取單元111輸出的語(yǔ)音數(shù)據(jù)執(zhí)行編碼諸如MPEG-2音頻和AAC以生成音頻基本流。
[0078]圖形生成單元115生成待疊加在圖像上的圖形信息(包括子標(biāo)題信息)的數(shù)據(jù)(圖形數(shù)據(jù))。圖形編碼器116生成包括在圖形生成單元115中生成的圖形數(shù)據(jù)的圖形基本流。這里，圖形信息形成疊加信息以及例如標(biāo)志等。例如，子標(biāo)題信息是子標(biāo)題。
[0079]圖形數(shù)據(jù)是位圖數(shù)據(jù)。在圖形數(shù)據(jù)中，增加了示出圖像上的疊加位置的空閑偏移信息。該空閑偏移信息表示在垂直方向和水平方向上例如從圖像左上方的原點(diǎn)到圖形信息的疊加位置的左上方處的像素的偏移值。另外，對(duì)用于發(fā)送作為位圖數(shù)據(jù)的子標(biāo)題數(shù)據(jù)的標(biāo)準(zhǔn)進(jìn)行標(biāo)準(zhǔn)化并將其用作例如作為歐洲數(shù)字廣播標(biāo)準(zhǔn)的DVB中的“DVB_Subtitling”。
[0080]多路復(fù)用器117對(duì)通過(guò)視頻編碼器112、視差信息編碼器113、音頻編碼器114和圖形編碼器116所生成的各個(gè)基本流進(jìn)行打包和多路復(fù)用使得將其生成為傳輸流TS。
[0081]傳輸流TS意于在以下時(shí)段中具有以下視頻基本流:從數(shù)據(jù)提取單元111提取針對(duì)二維圖像顯示的單個(gè)視圖的視頻流的預(yù)定事件的時(shí)段或在該事件期間的預(yù)定時(shí)段。換句話說(shuō)，在該時(shí)段內(nèi)，傳輸流TS意于具有一個(gè)視頻基本流，其中視頻流作為子流包括在其中。
[0082]此外，在從數(shù)據(jù)提取單元111提取針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流的預(yù)定事件的時(shí)段內(nèi)或在該事件期間的預(yù)定時(shí)段內(nèi)，傳輸流TS意于具有以下的視頻基本流。換句話說(shuō)，在該時(shí)段內(nèi)，傳輸流TS意于具有包括作為子流的兩個(gè)視頻流的一個(gè)視頻基本流，或者具有分別包括作為子流的視頻流的兩個(gè)視頻基本流。
[0083]多路復(fù)用器117將上述配置信息插入傳輸流TS中。例如，基于根據(jù)用戶的選擇操作的插入層信息來(lái)將該配置信息選擇性地插入傳輸流TS的單個(gè)層或多個(gè)層中。例如，作為插入層的選項(xiàng)，存在傳輸流的層和視頻流(子流)的層等。
[0084]配置信息被插入PMT的視頻基本回路(視頻ES回路)下或傳輸流的層中的EIT下。此外，配置信息被插入視頻流內(nèi)的層(畫面層或序列層)中的畫面頭部或序列頭部的用戶數(shù)據(jù)區(qū)域中等。后續(xù)將對(duì)多路復(fù)用器117中的配置信息的插入的詳細(xì)描述進(jìn)行說(shuō)明。
[0085]將簡(jiǎn)要描述圖3所示的發(fā)送數(shù)據(jù)生成單元110的操作。將從數(shù)據(jù)提取單元111輸出的數(shù)據(jù)流提供至視頻編碼器112。在該情況下，數(shù)據(jù)流是針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的數(shù)據(jù)流或針對(duì)二維圖像顯示的單個(gè)視圖的數(shù)據(jù)流。
[0086]視頻編碼器112對(duì)該數(shù)據(jù)流執(zhí)行編碼諸如MPEG4-AVC (MVC)和MPEG2視頻，并生成包括編碼視頻數(shù)據(jù)的視頻基本流從而將其提供至多路復(fù)用器117。這里，當(dāng)提供針對(duì)二維圖像顯示的單個(gè)視圖的視頻流時(shí)，生成包括作為子流的視頻流的一個(gè)視頻基本流。
[0087]相比之下，當(dāng)提供針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流時(shí)，生成以下視頻基本流。換句話說(shuō)，生成包括兩個(gè)視圖的兩個(gè)視頻流的一個(gè)視頻基本流、或分別包括兩個(gè)視圖的視頻流的兩個(gè)視頻基本流。
[0088]此外，當(dāng)從數(shù)據(jù)提取單元111輸出針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流時(shí)，還從數(shù)據(jù)提取單元111輸出與視頻流對(duì)應(yīng)的視差信息。將視差信息提供至視差信息編碼器113。視差信息編碼器113對(duì)視差信息執(zhí)行預(yù)定編碼以生成包括編碼數(shù)據(jù)的視差信息基本流。將視差信息基本流提供至多路復(fù)用器117。[0089]此外，當(dāng)從數(shù)據(jù)提取單元111輸出視頻流時(shí)，還從數(shù)據(jù)提取單元111輸出與該視頻流對(duì)應(yīng)的語(yǔ)音數(shù)據(jù)。將該語(yǔ)音數(shù)據(jù)提供至音頻編碼器114。該音頻編碼器114對(duì)該語(yǔ)音數(shù)據(jù)執(zhí)行編碼諸如MPEG-2或MPEG-4音頻AAC以生成包括編碼音頻數(shù)據(jù)的音頻基本流。將該音頻基本流提供至多路復(fù)用器117。
[0090]此外，圖形生成單元115生成疊加在與從數(shù)據(jù)提取單元111輸出的視頻流對(duì)應(yīng)的圖像(視圖)上的圖形信息(包括子標(biāo)題信息)的數(shù)據(jù)(圖形數(shù)據(jù))。將圖形數(shù)據(jù)提供至圖形編碼器116。圖形編碼器116對(duì)該圖形數(shù)據(jù)執(zhí)行預(yù)定編碼以生成包括編碼數(shù)據(jù)的圖形基本流。將該圖形基本流提供至多路復(fù)用器117。
[0091]多路復(fù)用器117對(duì)從每個(gè)編碼器提供的基本流進(jìn)行打包和多路復(fù)用以生成傳輸流TS。此外，多路復(fù)用器117將每個(gè)視圖的包括在傳輸流TS中的視頻流的配置信息插入該傳輸流TS中。
[0092][配置信息及其插入]
[0093]如上所述，多路復(fù)用器117將配置信息插入傳輸流TS中?；诟鶕?jù)用戶的選擇操作的插入層信息來(lái)將該配置信息選擇性地插入傳輸流TS的單個(gè)層或多個(gè)層例如傳輸流的層和視頻流的層等中。
[0094]當(dāng)將配置信息插入傳輸流的層中時(shí)，包括該配置信息的子流配置描述符(Substream_configuration_descriptor)被插入例如PMT的視頻基本回路(視頻ES回路)下或EIT下。此外，將配置信息插入視頻流的層中，包括配置信息的子流配置數(shù)據(jù)(Substream_configuration_data())被插入例如用戶數(shù)據(jù)區(qū)域中。
[0095]圖5示出了傳輸流TS的配置示例。另外，在該配置示例中，為了簡(jiǎn)單起見(jiàn)，從圖示中省略了視差信息、音頻和圖形。該配置示例示出了針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流作為子流包括在一個(gè)視頻基本流中的示例。該視頻基本流是以“Stream_Type=0xlb”來(lái)發(fā)送的AVC流(見(jiàn)圖2 (a))。該配置示例包括視頻基本流的PES包“視頻PES1”。該P(yáng)ES包具有左眼和右眼兩個(gè)視圖的數(shù)據(jù)。
[0096]此外，傳輸流TS包括作為節(jié)目特定信息(PSI)的節(jié)目映射表(PMT)。PSI是描述包括在傳輸流中的每個(gè)基本流所屬于的節(jié)目的信息。此外，傳輸流包括作為服務(wù)信息(SI)的事件信息表(EIT)，該服務(wù)信息(SI)用于執(zhí)行事件單位的管理。
[0097]在PMT中存在具有與每個(gè)基本流關(guān)聯(lián)的信息的基本回路。在配置示例中存在視頻基本回路(視頻ES回路)。信息諸如包標(biāo)識(shí)符(PID)和流類型(Stream_Type)以及描述與基本流關(guān)聯(lián)的信息的描述符被置于基本回路中的每個(gè)流處。
[0098]在該配置示例中，與每個(gè)視圖的視頻流對(duì)應(yīng)地將子流配置數(shù)據(jù)(Substream_conf iguration_data ())插入視頻基本流的用戶數(shù)據(jù)(user_data)區(qū)域中。此外,在該配置示例中，子流配置描述符(Substream_configuration_descriptor())被插入PMT的視頻基本循環(huán)(視頻ES循環(huán))中。另外，還考慮了將子流配置描述符插入EIT下。
[0099]圖6還示出了傳輸流TS的配置示例。另外，在該配置示例中，為了簡(jiǎn)單起見(jiàn)，從圖示中省略了視差信息、音頻和圖形。該配置示例示出了針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流分別包括在分離的視頻基本流中的示例。兩個(gè)視頻基本流是以“Stream_Type=0xlb”來(lái)發(fā)送的MVC的基礎(chǔ)視圖的流和以“Stream_Type=0x20”來(lái)發(fā)送的MVC的非基礎(chǔ)視圖的流(見(jiàn)圖2 (b))。該配置示例包括視頻基本流的PES包“視頻PES1”和PES包“視頻PES2”，并且每個(gè)PES包具有左眼和右眼兩個(gè)視圖的數(shù)據(jù)。
[0100]此外，傳輸流TS包括作為節(jié)目特定信息(PSI)的節(jié)目映射表(PMT)。PSI是描述包括在傳輸流中的每個(gè)基本流所屬于的節(jié)目的信息。此外，傳輸流包括作為服務(wù)信息(SI)的事件信息表(EIT)，該服務(wù)信息(SI)用于執(zhí)行事件單位的管理。
[0101]在PMT中存在具有與每個(gè)基本流關(guān)聯(lián)的信息的基本回路。在配置示例中存在視頻基本回路(視頻ES回路)。信息諸如包標(biāo)識(shí)符(PID)和流類型(Stream_Type)以及描述與基本流關(guān)聯(lián)的信息的描述符被置于基本回路中的每個(gè)流處。
[0102]在該配置示例中，子流配置數(shù)據(jù)(Substream_configuration_data())被插入每個(gè)視頻基本流的用戶數(shù)據(jù)(uSer_data)區(qū)域中。此外，在該配置示例中，子流配置描述符(Substream_configuration_descriptor)在每個(gè)流處被插入PMT的視頻基本回路(視頻ES循環(huán))中。另外，還考慮:將子流配置描述符插入EIT下。
[0103]圖7還示出了傳輸流TS的配置示例。另外，在該配置示例中，為了簡(jiǎn)單起見(jiàn)，從圖示中省略了視差信息、音頻和圖形。該配置示例示出了針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流分別包括在分離的視頻基本流中的示例。兩個(gè)視頻基本流是以“Stream_Type=0x02 ”來(lái)發(fā)送的MPEG2視頻流和以“ Stream_Type=Oxlb ”來(lái)發(fā)送的AVC流(見(jiàn)圖2( c ))。該配置示例包括視頻基本流的PES包“視頻PES1”和PES包“視頻PES2”，并且每個(gè)PES包具有左眼和右眼兩個(gè)視圖的數(shù)據(jù)。
[0104]此外，傳輸流TS包括作為節(jié)目特定信息(PSI)的節(jié)目映射表(PMT)。PSI是描述包括在傳輸流中的每個(gè)基本流所屬于的節(jié)目的信息。此外，傳輸流包括作為服務(wù)信息(SI)的事件信息表(EIT)，該服務(wù)信息(SI)用于執(zhí)行事件單位的管理。
[0105]在PMT中存在具有與每個(gè)基本流關(guān)聯(lián)的信息的基本回路。在配置示例中存在視頻基本回路(視頻ES回路)。信息諸如包標(biāo)識(shí)符(PID)和流類型(Stream_Type)以及描述與基本流關(guān)聯(lián)的信息的描述符被置于基本流中的每個(gè)流處。
[0106]在該配置示例中，子流配置數(shù)據(jù)(Substream_configuration_data())被插入每個(gè)視頻基本流的用戶數(shù)據(jù)(uSer_data)區(qū)域中。此外，在該配置示例中，子流配置描述符(Substream_configuration_descriptor)在每個(gè)流處被插入PMT的視頻基本循環(huán)(視頻ES循環(huán))中。另外，還考慮:將子流配置描述符插入EIT下。
[0107]圖8示出了子流配置描述符的結(jié)構(gòu)示例(語(yǔ)法)。“substream_configuration_tag”是表示描述符類型的8位數(shù)據(jù)，并且在本文中表示描述符類型是子流配置描述符?！皊ubstream_configuration_data_length”是表示描述符的長(zhǎng)度(大小)的8位數(shù)據(jù)。該數(shù)據(jù)表示后面要描述的“substream_configuration_data() ”的字節(jié)數(shù)。
[0108]圖9 不出了“substream_configuration_data() ” 的結(jié)構(gòu)不例(語(yǔ)法)。圖 10 和圖11示出了圖9所示的結(jié)構(gòu)示例中的每條信息的內(nèi)容(語(yǔ)義)。一位字段“3D_flag”表示待編碼的視頻是否為3D?！癐”表示待編碼的視頻為3D，S卩，具有針對(duì)三維(3D)圖像顯示的左眼和右眼兩個(gè)視圖的視頻流包括在傳輸流TS中。相比之下，“O”表示待編碼的視頻不是3D而是2D，S卩，針對(duì)二維(2D)圖像顯示的單個(gè)視圖的視頻流包括在傳輸流TS中。
[0109]此外，當(dāng)確立了“3D_flag=l”時(shí)存在以下信息。I位字段“single_view_es_flag”表示是否僅一個(gè)視圖被編碼在一個(gè)視頻基本流中。換句話說(shuō)，該I位字段“single_view_es_flag”表示是否多個(gè)視圖的視頻流(子流)被插入一個(gè)視頻基本流中?！癐”表示僅一個(gè)視圖被編碼在一個(gè)視頻基本流中。相比之下，“O”表示兩個(gè)或更多個(gè)視圖被編碼在一個(gè)視頻基本流中。
[0110]I位字段“View_interleaving_flag”表示是否多個(gè)視圖的視頻流的數(shù)據(jù)被交織在一個(gè)畫面中。“I”表示該數(shù)據(jù)被交織。相比之下，“O”表示該數(shù)據(jù)未被交織。
[0111]3位字段“VieW_all0Cati0n”表示視圖的視頻流的視圖分配。“001”表示視圖對(duì)應(yīng)于立體視圖配置的右視圖。“010”表示視圖對(duì)應(yīng)于多視圖配置的中心視圖或2D的視圖。“011”表示與在多視圖配置時(shí)的“最右視圖” “001”相比更接近中心的右視圖。
[0112]“100”表示視圖對(duì)應(yīng)于立體視圖配置的左視圖?！?01”表示一個(gè)畫面配置有多個(gè)視圖數(shù)據(jù)，并表示左視圖和右視圖被并排布置的畫面。這僅在確立了 “View_interleaving_flag=l”時(shí)是有效的。
[0113]“110”表示與在多視圖配置時(shí)的“最左視圖” “100”相比更接近中心的左視圖。“111”表示一個(gè)畫面配置有多個(gè)視圖數(shù)據(jù)，并表示左視圖、中心視圖和右視圖共同存在于水平分割位置處的畫面。這僅在確立了 “View_interleaving_flag=l”時(shí)是有效的。
[0114]I位字段“display_prompting_flag”表示在執(zhí)行2D顯示時(shí)的顯示是否需要該視圖?！癐”表示顯示需要該視圖。相比之下，“O”表示顯示不需要該視圖。
[0115]4 位字段“indication_of_picture_size_scaling_horizontal”表不針對(duì)全 HD(1920)的解碼畫面的水平像素比?！?000”、“0001”、“0010”、“0011”、“0100”、“0101”、“0110”和 “0111” 分別表示 100%、80%、75%、66%、50%、33%、25% 和 20%。
[0116]4 位字段 “ indication_of_picture_size_scaling_vertical，，表不針對(duì)全 HD(1080)的解碼畫面的垂直像素比?！?000”、“0001”、“0010”、“0011”、“0100”、“0101”、“0110”和 “0111” 分別表示 100%、80%、75%、66%、50%、33%、25% 和 20%。
[0117]另外，解碼畫面最終被顯示的比取決于再現(xiàn)裝備。例如，在電視接收機(jī)(TV)的情況下，考慮:L/R在后續(xù)階段被頻繁縮放至100%。此外，例如，在機(jī)頂盒(STB)的情況下，當(dāng)解碼畫面使用數(shù)字接口諸如HDMI被發(fā)送至電視接收機(jī)(TV)時(shí)，L/R在水平方向上被縮放至50%使得作為并排畫面來(lái)發(fā)送。
[0118]接下來(lái)，將描述如下情況:將子流配置數(shù)據(jù)(Substream_configuration_data())插入視頻基本流的用戶數(shù)據(jù)區(qū)域中。在該情況下，子流配置數(shù)據(jù)使用用戶數(shù)據(jù)區(qū)域被插入例如畫面的單元中或GOP的單元中。
[0119]例如，當(dāng)編碼方法是AVC時(shí)，子流配置數(shù)據(jù)作為“子流配置SEI消息”被插入訪問(wèn)單元的“SEIS”的部分中。圖12 (a)示出了畫面組(Groupof Pictures, G0P)的開(kāi)始部分的訪問(wèn)單元。圖12 (b)示出了除GOP的開(kāi)始部分以外的訪問(wèn)單元。當(dāng)子流配置數(shù)據(jù)被插入GOP的單元中時(shí)，“子流配置SEI消息”僅被插入GOP的開(kāi)始部分的訪問(wèn)單元中。
[0120]圖13(a)示出了“子流配置SEI消息”的結(jié)構(gòu)示例(語(yǔ)法)?！皍uid_iSO_ieC_11578”具有通過(guò)“IS0/IEC11578:1996AnnexA” 表不的 UUID 值?！皍serdata_for_substream_configuration_data O，，被插入字段 “user_data_payload_byte，，中。圖 13(b)不出了“userdata_for_substream_conf iguration_data () ” 的結(jié)構(gòu)不例(語(yǔ)法)，并且子流配置數(shù)據(jù)(Substream_configuration_data())被插入其中(參照?qǐng)D 9)?！皊tream_association_id”是子流配置數(shù)據(jù)的標(biāo)識(shí)符，其用無(wú)符號(hào)16位來(lái)表示。
[0121]此外，例如，當(dāng)編碼方法是MPEG2視頻時(shí)，子流配置數(shù)據(jù)作為用戶數(shù)據(jù)“uSer_也仏0”被插入畫面頭部部分的用戶數(shù)據(jù)區(qū)域中。圖14(幻示出了 “1！861也仏0”的結(jié)構(gòu)示例(語(yǔ)法〉。32位字段“11861^(1511:181:511*1^00(16”是用戶數(shù)據(jù)的開(kāi)始代碼并且具有“0x00000182”的固定值。
[0122]在開(kāi)始代碼之后的32位字段是用于標(biāo)識(shí)用戶數(shù)據(jù)的內(nèi)容的標(biāo)識(shí)符。這里，該標(biāo)識(shí)符是表示用戶數(shù)據(jù)是子流配置數(shù)據(jù)的'”。作為該標(biāo)識(shí)符之后的數(shù)據(jù)主體，() ” 作為流關(guān)聯(lián)信息被插入。圖14()3)不出了 “8111381:1~6細(xì)1⑶即'腦1:1011 () ”的不例結(jié)構(gòu)(語(yǔ)法)，并且該子流配置數(shù)據(jù)(511)381^621111⑶)被插入其中(見(jiàn)圖9〉。
[0123]如上所述，在圖2所示的發(fā)送數(shù)據(jù)生成單元110中，多路復(fù)用器117能夠?qū)⒚總€(gè)視圖的包括在傳輸流了3中的視頻流的配置信息(511)381^621111⑶)插入傳輸流13中。因此，接收側(cè)能夠基于該配置信息來(lái)執(zhí)行適當(dāng)且高效的處理。
[0124]此外，圖2中的發(fā)送數(shù)據(jù)生成單元110能夠?qū)⒆恿髋渲脭?shù)據(jù)(如匕廿60011^18111-^1: 1())作為配置信息選擇性插入傳輸流的層以及視頻流的層的單個(gè)或多個(gè)層中。因此，可以將配置信息插入根據(jù)服務(wù)所需要的層中，從而可以在接收側(cè)實(shí)現(xiàn)處理方便。
[0125]例如，包括子流配置數(shù)據(jù)的子流配置描述符在事件單位或時(shí)間內(nèi)被置于靜態(tài)或動(dòng)態(tài)使用序列中的適當(dāng)位置處。另外，通過(guò)使用用戶數(shù)據(jù)區(qū)域等作為在畫面單位或場(chǎng)景單位(對(duì)應(yīng)于隨機(jī)訪問(wèn))中進(jìn)行動(dòng)態(tài)切換時(shí)的信令將子流配置數(shù)據(jù)置于視頻基本流中的適當(dāng)位置處。
[0126]圖15示出了包括在插入傳輸流的層中的子流配置描述符內(nèi)或插入視頻流的層中的子流配置數(shù)據(jù)內(nèi)的信息的時(shí)間修改示例。該示例示出了針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流被包括在一個(gè)視頻基本流中的示例(見(jiàn)圖2 (￡1)和圖5)0在該示例中，一個(gè)視頻基本流是以“3廿62111117？6二0^113”來(lái)發(fā)送的抓流。
[0127]該示例示出了事件1 “—冊(cè)1^1”、事件2 “—冊(cè)1^2”和事件3 “―冊(cè)!'』”的視頻流(圖像數(shù)據(jù))以此順序來(lái)發(fā)送的例子。整個(gè)事件1是20服務(wù)的事件。在事件1 的服務(wù)時(shí)段內(nèi)，在傳輸流13中發(fā)送包括針對(duì)二維圖像顯示的單個(gè)視圖的視頻流的一個(gè)視頻基本流。 [0128]事件2 “是包括30服務(wù)的事件。在事件2 “的20服務(wù)時(shí)段內(nèi)，在傳輸流13中發(fā)送包括針對(duì)二維圖像顯示的單個(gè)視圖的視頻流的一個(gè)視頻基本流。此外，在事件2 的30服務(wù)時(shí)段內(nèi)，在傳輸流13中發(fā)送包括針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流的一個(gè)視頻基本流。
[0129]與事件1 “―別丁」”類似，整個(gè)事件3 “―別丁』”是20服務(wù)的事件。在事件3 的服務(wù)時(shí)段內(nèi)，在傳輸流13中發(fā)送包括針對(duì)二維圖像顯示的單個(gè)視圖的視頻流的一個(gè)視頻基本流。
[0130]在該示例中，子流配置描述符被插入￡11下，并且配置信息的內(nèi)容以事件單位被改變。例如，在事件1 “和事件3 “―冊(cè)!'』”中，“3031叫二0”，使得表示出這些事件都是20服務(wù)而不包括30服務(wù)。此外，在事件2 “2%見(jiàn)^2”中，“30^1叫二1”，使得表示出該事件包括30服務(wù)。接收側(cè)能夠通過(guò)“30^1叫”的信息來(lái)執(zhí)行適當(dāng)?shù)目刂埔源_保例如在事件的單位中所需要的解碼緩沖區(qū)域。[0131]此外，與每個(gè)視圖的視頻流對(duì)應(yīng)的子流配置數(shù)據(jù)被插入視頻基本流的用戶數(shù)據(jù)區(qū)域中，并且配置信息的內(nèi)容在畫面單位或GOP單位中被改變。例如，在事件I “EVENT_r’和事件3 “EVENT_3”中，“3D_flag=0”，使得表示出這些事件都是2D服務(wù)。
[0132]此外，在事件2 “EVENT_2”中，在3D服務(wù)時(shí)段內(nèi)，“3D_flag=l”，并且在2D服務(wù)時(shí)段內(nèi)，“3D_flag=0”，使得表示出這些事件在畫面單位中或在GOP單位中是3D服務(wù)還是2D服務(wù)。接收側(cè)能夠通過(guò)“3D_flag”的信息來(lái)對(duì)接收處理執(zhí)行適當(dāng)?shù)那袚Q控制。
[0133]此外,在這時(shí),接收側(cè)通過(guò)“display_prompting_flag”的信息能夠了解在3D服務(wù)時(shí)段內(nèi)2D顯示是可能的，并且能夠了解在這是可能的情況下應(yīng)當(dāng)顯示哪個(gè)視圖，從而對(duì)2D顯示執(zhí)行適當(dāng)?shù)目刂啤?br> [0134]此外，在該示例中，例如，在事件2“EVENT_2”的第一 3D服務(wù)時(shí)段內(nèi)，“2D_display_allowed”，即2D顯示是可能的,并且“2D_display=viewO”，即顯示2D顯示中的左視圖(ViewO)0在3D服務(wù)時(shí)段內(nèi)，針對(duì)左視圖(ViewO)將上述“display_prompting_flag”置I并且針對(duì)右視圖(Viewl)將其置O。
[0135]此外，在該示例中，例如，在事件2“EVENT_2”的第二 3D服務(wù)時(shí)段內(nèi)，“2D_display_allowed”，即2D顯示是可能的，并且2D_display=viewl,即顯示2D顯示中的右視圖(ViewO)0在3D服務(wù)時(shí)段內(nèi)，針對(duì)右視圖(Viewl)將上述“display_prompting_flag”置I并且針對(duì)左視圖(ViewO)將其置O。
[0136]圖16還示出了包括在插入傳輸流的層中的子流配置描述符內(nèi)或插入視頻流的層中的子流配置數(shù)據(jù)內(nèi)的信息的時(shí)間修改示例。該示例示出了針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流被分別包括在分離的視頻基本流中的示例(見(jiàn)圖2 (b)和圖6)。在該示例中，兩個(gè)視頻基本流是以“ Stream_Type=Oxlb ”來(lái)發(fā)送的MVC的基礎(chǔ)視圖的流和以PMT的“Stream_Type=0X20”來(lái)發(fā)送的MVC的非基礎(chǔ)視圖的流。
[0137]該示例示出了事件I “EVENT_1”、事件2 “EVENT_2”和事件3 “EVENT_3”的視頻流(圖像數(shù)據(jù))以此順序來(lái)發(fā)送的例子。整個(gè)事件I “EVENT_1”是2D服務(wù)的事件。在事件I “EVENT_1”的服務(wù)時(shí)段內(nèi)，在傳輸流TS中發(fā)送包括針對(duì)二維圖像顯示的單個(gè)視圖的視頻流的一個(gè)視頻基本流。
[0138]事件2 “EVENT_2”是包括3D服務(wù)的事件。在事件2 “EVENT_2”的2D服務(wù)時(shí)段內(nèi)，在傳輸流TS中發(fā)送包括針對(duì)二維圖像顯示的單個(gè)視圖的視頻流的一個(gè)視頻基本流。此外，在事件2 “EVENT_2”的3D服務(wù)時(shí)段內(nèi)，在傳輸流TS中發(fā)送分別包括針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流的分離的視頻基本流。
[0139]與事件I “EVENT_1”類似，整個(gè)事件3 “EVENT_3”是2D服務(wù)的事件。在事件3 “EVENT_3”的服務(wù)時(shí)段內(nèi)，在傳輸流TS中發(fā)送包括針對(duì)二維圖像顯示的單個(gè)視圖的視頻流的一個(gè)視頻基本流。
[0140]在該示例中，子流配置描述符被插入EIT下，并且配置信息的內(nèi)容以事件單位被改變。例如，在事件I “EVENT_1”和事件3 “EVENT_3”中，“3D_flag=0”，使得表示出這些事件都是2D服務(wù)而不包括3D服務(wù)。此外，在事件2 “EVENT_2”中，“3D_flag=l”，使得表示出該事件包括3D服務(wù)。接收側(cè)能夠使用“3D_flag”的信息執(zhí)行適當(dāng)?shù)目刂埔源_保在事件單位中例如所需要的解碼緩沖區(qū)域。
[0141]此外，與每個(gè)視圖的視頻流對(duì)應(yīng)的子流配置數(shù)據(jù)被插入每個(gè)視頻基本流的用戶數(shù)據(jù)區(qū)域中，并且配置信息的內(nèi)容在畫面單位或GOP單位中被改變。例如，在事件1“EVENT_1”和事件3 “EVENT_3”中，“3D_flag=0”，使得表示出這些事件都是2D服務(wù)。
[0142]此外，在事件2 “EVENT_2”中，在3D服務(wù)時(shí)段內(nèi)，“3D_flag=l”，并且在2D服務(wù)時(shí)段內(nèi)，“3D_flag=0”，使得表示出這些事件在畫面單位中或在GOP單位中是3D服務(wù)還是2D服務(wù)。接收側(cè)能夠通過(guò)“3D_flag”的信息來(lái)對(duì)接收處理執(zhí)行適當(dāng)?shù)那袚Q控制。
[0143]此外，在這時(shí)，接收側(cè)通過(guò)“display_prompting_flag”的信息能夠了解在3D服務(wù)時(shí)段內(nèi)2D顯示是可能的，并且能夠了解在這是可能的情況下應(yīng)當(dāng)顯示哪個(gè)視圖，從而對(duì)2D顯示執(zhí)行適當(dāng)?shù)目刂?。在該示例中，與圖15的示例類似，表示出在3D服務(wù)時(shí)段內(nèi)“2D_display_allowed”,換句話說(shuō),2D顯示是可能的。
[0144]圖17還示出了包括在插入傳輸流的層中的子流配置描述符內(nèi)或插入視頻流的層中的子流配置數(shù)據(jù)內(nèi)的信息的時(shí)間修改示例。該示例示出了針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流被分別包括在分離的視頻基本流中的示例(見(jiàn)圖2 (c)和圖7)。在該示例中，兩個(gè)視頻基本流是以“Stream_Type=0X02”來(lái)發(fā)送的MPEG2視頻流的流和以PMT的“Stream_Type=Oxlb”來(lái)發(fā)送的AVC流的流。盡管省略了描述，然而其他內(nèi)容與圖16的示例中的內(nèi)容相同。
[0145]圖18還示出了包括在插入傳輸流的層中的子流配置描述符內(nèi)或插入視頻流的層中的子流配置數(shù)據(jù)內(nèi)的信息的時(shí)間修改示例。該示例示出了針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流被分別包括在分離的視頻基本流中的示例(見(jiàn)圖2 (b)和圖6)。
[0146]即使在該示例中，與上述每個(gè)示例類似地，接收側(cè)能夠通過(guò)“3D_flag”的信息來(lái)執(zhí)行適當(dāng)?shù)目刂埔郧袚Q接收處理。此外，在這時(shí)，接收側(cè)通過(guò)“display_prompting_flag”的信息能夠了解在3D服務(wù)時(shí)段內(nèi)2D顯示是可能的以及在這是可能的情況下應(yīng)當(dāng)顯示哪個(gè)視圖，從而對(duì)2D顯示執(zhí)行適當(dāng)?shù)目刂啤?br> [0147]在該示例中，例如，在事件2 “EVENT_2”的每個(gè)3D服務(wù)時(shí)段內(nèi)，2D_display_NOTallowed,即不允許2D顯示從而2D顯示是不可能的。在3D服務(wù)時(shí)段內(nèi)，針對(duì)左視圖(ViewO)和右視圖(Viewl) 二者將上述 “display_prompting_f lag” 置 I。
[0148]盡管未詳細(xì)描述，但其他內(nèi)容與圖16的示例中的內(nèi)容相同。
[0149]接收機(jī)的配置示例
[0150]圖19示出了接收機(jī)200的配置示例。該接收機(jī)200包括CPU201、快閃R0M202、DRAM203、內(nèi)部總線204、遠(yuǎn)程控制接收單元205和遠(yuǎn)程控制發(fā)送器206。此外，接收機(jī)200包括天線端子211、數(shù)字調(diào)諧器212、傳輸流緩沖器(TS緩沖器)213和多路解復(fù)用器214。
[0151]此外，接收機(jī)200包括編碼緩沖器215、視頻解碼器216a和216b、視頻緩沖器217a和217b、縮放器218a和218b，以及視頻疊加單元(顯示緩沖器)219a和219b。此外，接收機(jī)200包括圖形解碼器221、圖形生成單元222、視差信息解碼器223、圖形緩沖器224a和224b、音頻解碼器225和通道處理單元226。
[0152]CPU201控制接收機(jī)200的每個(gè)單元的操作?？扉WR0M202存儲(chǔ)控制軟件和數(shù)據(jù)。DRAM203形成CPU201的工作區(qū)域。CPU201發(fā)展從快閃R0M202讀取到DRAM203上的軟件和數(shù)據(jù)以激活軟件并控制接收機(jī)200的每個(gè)單元。遠(yuǎn)程控制接收單元205接收從遠(yuǎn)程控制發(fā)送器206發(fā)送的遠(yuǎn)程控制信號(hào)(遠(yuǎn)程控制代碼)從而將其提供至CPU201。CPU201基于該遠(yuǎn)程控制代碼來(lái)控制接收機(jī)200的每個(gè)單元。CPU201、快閃R0M202和DRAM203連接至內(nèi)部總線 204。
[0153]天線端子211是輸入在接收天線(未示出)中接收到的電視廣播信號(hào)的端子。數(shù)字調(diào)諧器212對(duì)輸入至天線端子211的電視廣播信號(hào)進(jìn)行處理，并輸出與用戶的選擇通道對(duì)應(yīng)的預(yù)定傳輸流(位流數(shù)據(jù))TS。傳輸流緩沖器(TS緩沖器)213臨時(shí)累積從數(shù)字調(diào)諧器212輸出的傳輸流TS。
[0154]如上所述，傳輸流TS包括針對(duì)二維圖像顯示的單個(gè)視圖的視頻流或針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流。另外，左眼和右眼兩個(gè)視圖的視頻流被包括在一個(gè)視頻基本流中或分別包括在分離的視頻流中。如上所述，每個(gè)視圖的包括在傳輸流TS中的視頻流的配置信息被插入在該傳輸流TS中。
[0155]換句話說(shuō)，基于根據(jù)用戶的選擇操作的插入層信息來(lái)將該配置信息選擇性地插入傳輸流TS的單個(gè)層或多個(gè)層例如傳輸流的層、視頻流的層等中。當(dāng)將配置信息插入傳輸流的層中時(shí)，例如，包括該配置信息的子流配置描述符被插入PMT的視頻基本回路(視頻ES回路)下或EIT下。此外，當(dāng)將配置信息插入視頻流的層中時(shí)，例如，包括配置信息的子流配置數(shù)據(jù)被插入用戶數(shù)據(jù)區(qū)域中。
[0156]多路解復(fù)用器214從臨時(shí)累積在TS緩沖器213中的傳輸流TS提取視頻、視差信息、圖形和音頻的每個(gè)基本流。僅當(dāng)包括在傳輸流TS中的視頻基本流包括針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流(圖像數(shù)據(jù))時(shí)才提取視差信息基本流。在多路解復(fù)用器214中提取的一個(gè)或兩個(gè)視頻基本流被臨時(shí)累積在編碼緩沖器215中。
[0157]傳輸流TS以時(shí)間分割方式包括針對(duì)二維圖像顯示的單個(gè)視圖的視頻流和針對(duì)三維圖像顯示的多個(gè)視圖的視頻流(圖像數(shù)據(jù))。針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流在被包括在一個(gè)基本流中的情況下來(lái)發(fā)送，或在被包括在各個(gè)分離的基本流中的情況下來(lái)發(fā)送。
[0158]例如，考慮如下情況:其中，針對(duì)事件(節(jié)目)的主要部分發(fā)送針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流，并針對(duì)商業(yè)消息(CM)發(fā)送針對(duì)二維圖像顯示的單個(gè)視圖的視頻流。另外，例如，考慮如下情況:其中，在一定的事件(節(jié)目)中發(fā)送針對(duì)二維圖像顯示的單個(gè)視圖的視頻流，并在其他事件(節(jié)目)中的時(shí)段的至少一部分時(shí)段內(nèi)發(fā)送針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流。
[0159]此外，多路解復(fù)用器214提取被插入在傳輸流TS的層下例如PMT的視頻基本回路下或EIT下的子流配置描述符，使得將其提供至CPU201。如上所述，每個(gè)視圖的包括在傳輸流TS中的視頻流的配置信息(Substream_configuration_data())(見(jiàn)圖9)被插入在該描述符中。
[0160]如上所述，表示待編碼視頻是否為3D的I位字段“3D_flag”存在于配置信息中。CPU201基于例如被插入EIT下的子流配置描述符的“3D_flag”執(zhí)行控制以在事件(節(jié)目)的單位中確保所需區(qū)域，作為編碼緩沖器215的區(qū)域(解碼緩沖區(qū)域)。換句話說(shuō)，在表示事件包括3D服務(wù)的“3D_flag=l”的情況下，確保3D的緩沖空間。相比之下，在表示整個(gè)事件是2D服務(wù)的“3D_flag=0”的情況下，確保用于2D的緩沖空間。
[0161]視頻解碼器216a和216b在CPU201的控制下對(duì)存儲(chǔ)在編碼緩沖器215中的視頻基本流執(zhí)行解碼處理以獲得預(yù)定視圖的視頻流(圖像數(shù)據(jù))。這里，視頻解碼器216a獲得針對(duì)二維圖像顯示的視圖的視頻流或針對(duì)三維圖像顯示的左視圖的視頻流。相反，視頻解碼器21613獲得針對(duì)三維圖像顯示的右視圖的視頻流。
[0162]此外，視頻解碼器2163和2166使用視頻流的層例如用戶數(shù)據(jù)區(qū)域來(lái)提取被插入畫面單位或60？單位中的子流配置數(shù)據(jù)⑶)從而將其提供至0^201。如上所述，每個(gè)視圖的包括在傳輸流13中的視頻流的配置信息(見(jiàn)圖9)被插入數(shù)據(jù)中。
[0163]如上所述，表示待編碼視頻是否為30的1位字段“30^1叫”存在于配置信息中。此外，存在表示是否僅一個(gè)視圖被編碼在一個(gè)視頻基本流中的1位字段“
叫”。在配置信息中存在表示視圖分配的3位字段“VI冊(cè)」111%社1011”。0^201基于該信息控制在畫面單位或⑶？單位中的視頻解碼器2163和2166的操作。
[0164]例如，當(dāng)一個(gè)視圖的數(shù)據(jù)配置有一個(gè)基本流時(shí)，0^201能夠通過(guò)被描述在與每個(gè)流對(duì)應(yīng)的描述符中或在基本流內(nèi)的用戶數(shù)據(jù)中的3位字段“^16^^1110(^1:1011 ”來(lái)識(shí)別左視圖和右視圖(見(jiàn)圖6和圖了)。另外，例如，當(dāng)兩個(gè)視圖的數(shù)據(jù)配置有一個(gè)基本流時(shí)，0？^201能夠通過(guò)被描述在基本流內(nèi)的用戶數(shù)據(jù)中的3位字段“VI冊(cè)」!1100社10??！”來(lái)識(shí)別左視圖和右視圖(見(jiàn)圖5〉。
[0165]從而，在20服務(wù)時(shí)段內(nèi)，通過(guò)視頻解碼器2163獲得針對(duì)二維圖像顯示的視圖的視頻流(圖像數(shù)據(jù)此外，在30服務(wù)時(shí)段內(nèi)，通過(guò)視頻解碼器2163獲得針對(duì)三維圖像顯示的左視圖的視頻流(圖像數(shù)據(jù)),并且通過(guò)視頻解碼器2166獲得針對(duì)三維圖像顯示的右視圖的視頻流(圖像數(shù)據(jù)
[0166]此外，在配置信息中存在表示在執(zhí)行20顯示時(shí)的顯示是否需要每個(gè)視圖的1位字段當(dāng)用戶在30服務(wù)時(shí)段內(nèi)選擇20顯示模式時(shí)，0？11201基于該信息來(lái)控制視頻解碼器2163和2166的操作。
[0167]換句話說(shuō)，當(dāng)存在顯示所需要的視圖并且20顯示是可能的時(shí)，通過(guò)視頻解碼器
相比之下，當(dāng)不存
在顯示所需要的視圖且不允許20顯示時(shí)，用戶對(duì)20顯示模式的選擇是無(wú)效的，并且通過(guò)視頻解碼器2163和2166分別獲得左眼和右眼的各個(gè)視圖的視頻流(圖像數(shù)據(jù)
[0168]視頻緩沖器2173和2176臨時(shí)累積通過(guò)視頻解碼器216&和2166所獲得的各個(gè)視圖的視頻流(圖像數(shù)據(jù)
[0169]圖形解碼器221執(zhí)行上述發(fā)送數(shù)據(jù)生成單元110的圖形編碼器116 (見(jiàn)圖3)的相反處理。換句話說(shuō)，圖形解碼器221對(duì)包括在通過(guò)多路解復(fù)用器214所提取的圖形基本流中的編碼圖形數(shù)據(jù)執(zhí)行解碼處理以獲得解碼圖形數(shù)據(jù)(包括子標(biāo)題數(shù)據(jù))。
[0170]視差信息解碼器223執(zhí)行上述發(fā)送數(shù)據(jù)生成單元110的視差信息編碼器113 (見(jiàn)圖3)的相反處理。換句話說(shuō)，視差信息解碼器223對(duì)包括在通過(guò)多路解復(fù)用器214所提取的視差彳目息基本流中的編碼視差彳目息執(zhí)行解碼處理以獲得解碼視差信息。該視差彳目息是深度數(shù)據(jù)或表示左視圖(左圖像)與右視圖(右圖像)之間的視差的視差矢量等。深度數(shù)據(jù)變得能夠通過(guò)預(yù)定轉(zhuǎn)換作為視差矢量來(lái)被處理。該視差信息是例如通過(guò)按照預(yù)定數(shù)目來(lái)分割視圖(圖像)所獲得的每個(gè)分割區(qū)域的視差信息。
[0171]圖形生成單元222基于通過(guò)圖形解碼器221所獲得的圖形數(shù)據(jù)來(lái)生成待疊加在視圖(圖像)上的圖形信息的數(shù)據(jù)。圖形生成單元222在30服務(wù)(除20顯示模式之外)時(shí)生成分別待疊加在左視圖和右視圖上的圖形信息的數(shù)據(jù)。在該情況下，圖形生成單元222基于通過(guò)視差信息解碼器223所獲得的視差信息通過(guò)調(diào)節(jié)圖形信息待疊加在每個(gè)視圖上的疊加位置來(lái)給出視差。此外，圖形生成單元222在2D服務(wù)(包括3D服務(wù)時(shí)的2D顯示模式)時(shí)生成待疊加在針對(duì)二維圖像顯示的視圖上的圖形信息的數(shù)據(jù)。
[0172]圖形緩沖器224a臨時(shí)累積在圖形生成單元222中在3D服務(wù)(除2D顯示模式之夕卜)時(shí)生成的待疊加在左視圖上的圖形信息的數(shù)據(jù)。此外，圖形緩沖器224a臨時(shí)累積在服務(wù)圖形生成單元222中在2D服務(wù)(包括3D服務(wù)時(shí)的2D顯示模式)時(shí)生成的待疊加在針對(duì)二維圖像顯示的視圖上的圖形信息的數(shù)據(jù)。此外，圖形緩沖器224b臨時(shí)累積在圖形生成單元222中在3D服務(wù)(除2D顯示模式之外)時(shí)生成的待疊加在右視圖上的圖形信息的數(shù)據(jù)。
[0173]縮放器218a和218b分別將從視圖緩沖器217a和217b輸出的各個(gè)視圖的視頻流(圖像數(shù)據(jù))的輸出分辨率調(diào)節(jié)至預(yù)定分辨率。在上述配置信息中存在表示解碼畫面的水平像素比的 4 位字段“ indication_of_picture_size_scaling_horizontal ”和表不解碼畫面的垂直像素比的 4 位字段“indication_of_picture_size_scaling_vertical”。CPU201 基于像素比信息來(lái)控制縮放器218a和218b中的縮放比，并獲得預(yù)定分辨率。
[0174]視頻疊加單元219a輸出用于顯示在3D服務(wù)(除2D顯示模式之外)時(shí)圖形信息疊加在其上的左視圖(左圖像)的視頻流(圖像數(shù)據(jù))SL。在這時(shí)，視頻疊加單元219a將在圖形緩沖器224a中累積的圖形信息的數(shù)據(jù)疊加在累積在視圖緩沖器217a中并在縮放器218a中經(jīng)歷了縮放處理的左視圖的視頻流上以獲得視頻流SL。
[0175]此外，視頻疊加單元219a輸出用于顯示在2D服務(wù)(包括3D服務(wù)時(shí)的2D顯示模式)時(shí)圖形信息疊加在其上的針對(duì)二維圖像顯示的視圖的視頻流(圖像數(shù)據(jù))SV。在這時(shí)，視頻疊加單元219a將在圖形緩沖器224a中累積的圖形信息的數(shù)據(jù)疊加在累積在視圖緩沖器217a中并在縮放器218a中經(jīng)歷了縮放處理的針對(duì)二維圖像顯示的視圖的視頻流上以獲得視頻流SV。
[0176]此外，視頻疊加單元219b輸出用于顯示在3D服務(wù)(除2D顯示模式之外)時(shí)圖形信息疊加在其上的右視圖(右圖像)的視頻流(圖像數(shù)據(jù))SR。在這時(shí)，視頻疊加單元219b將在圖形緩沖器224b中累積的圖形信息的數(shù)據(jù)疊加在累積在視圖緩沖器217b中并在縮放器218b中經(jīng)歷了縮放處理的右視圖的視頻流上以獲得視頻流SR。
[0177]音頻解碼器225執(zhí)行上述發(fā)送數(shù)據(jù)生成單元110的音頻編碼器114 (見(jiàn)圖3)的相反處理。換句話說(shuō)，音頻解碼器225對(duì)包括在通過(guò)多路解復(fù)用器214所提取的音頻基本流中的編碼語(yǔ)音數(shù)據(jù)執(zhí)行解碼處理以獲得解碼語(yǔ)音數(shù)據(jù)。通道處理單元226針對(duì)在音頻解碼器225中所獲得的語(yǔ)音數(shù)據(jù)生成并輸出每個(gè)通道的語(yǔ)音數(shù)據(jù)SA以產(chǎn)生例如5.1通道環(huán)繞
坐寸ο
[0178]另外，如果從視圖緩沖器217a和217b中讀取每個(gè)視圖的視頻流(圖像數(shù)據(jù))，則基于時(shí)間戳PTS來(lái)執(zhí)行讀取與來(lái)自圖形緩沖器224a和224b的每個(gè)視圖對(duì)應(yīng)的圖形信息的數(shù)據(jù)，從而實(shí)現(xiàn)傳送同步。
[0179]將簡(jiǎn)要描述接收機(jī)200的操作。將輸入至天線端子211的電視廣播信號(hào)提供至數(shù)字調(diào)諧器212。數(shù)字調(diào)諧器212對(duì)該電視廣播信號(hào)進(jìn)行處理以輸出與用戶的選擇通道對(duì)應(yīng)的預(yù)定傳輸流TS。將傳輸流TS臨時(shí)累積在TS緩沖器213中。
[0180]多路解復(fù)用器214從臨時(shí)累積在TS緩沖器213中的傳輸流TS提取視頻、視差信息、圖形和音頻的每個(gè)基本流。僅當(dāng)包括在傳輸流TS中的視頻基本流包括針對(duì)三維圖像顯示的左眼和右眼兩個(gè)視圖的視頻流(圖像數(shù)據(jù))時(shí)才提取視差信息基本流。
[0181]此外，多路解復(fù)用器214提取被插入在傳輸流13的層下例如？II的視頻基本回路下或￡11下的子流配置描述符，使得將其提供至0^201。0^201基于描述符執(zhí)行控制以在事件(節(jié)目)的單位中確保作為編碼緩沖器215的區(qū)域(解碼緩沖區(qū)域)的所需區(qū)域。另外，考慮:在比事件單位小的時(shí)間單位例如場(chǎng)景單位中執(zhí)行用于確保解碼緩沖區(qū)域的控制。在該情況下，例如，能夠在比事件單位小的時(shí)間單位中基于被插入視頻流的層中的子流配置數(shù)據(jù)⑶)來(lái)執(zhí)行該控制。
[0182]將通過(guò)多路解復(fù)用器214所提取的視頻基本流臨時(shí)累積在編碼緩沖器215中。視頻解碼器2163和2166對(duì)存儲(chǔ)在編碼緩沖器215中的視頻基本流執(zhí)行解碼處理以獲得預(yù)定視圖的視頻流(圖像數(shù)據(jù)這里，視頻解碼器2163獲得針對(duì)二維圖像顯示的視圖的視頻流或針對(duì)三維圖像顯示的左視圖的視頻流。相比之下，視頻解碼器2166獲得針對(duì)三維圖像顯不的右視圖的視頻流。[0183]此后，視頻解碼器2163和2166使用視頻流的層例如用戶數(shù)據(jù)區(qū)域來(lái)提取被插入畫面的單位或⑶？的單位中的子流配置數(shù)據(jù)⑶)使得將其提供至0^201。0^201基于該數(shù)據(jù)來(lái)控制在畫面的單位或在60？的單位中的視頻解碼器2163和2166等的操作。
[0184]下面，將首先對(duì)30服務(wù)時(shí)的操作(除20顯示模式以外)進(jìn)行描述。從視頻解碼器2168獲得針對(duì)三維圖像顯示的左視圖的視頻流(圖像數(shù)據(jù)),并且將該視頻流臨時(shí)累積在視頻緩沖器2173中。此外，從視頻解碼器2166獲得針對(duì)三維圖像顯示的右視圖的視頻流(圖像數(shù)據(jù)),并且將該視頻流臨時(shí)累積在視頻緩沖器2176中。
[0185]將通過(guò)多路解復(fù)用器214所提取的圖形基本流提供至圖形解碼器221。圖形解碼器221對(duì)包括在圖形基本流中的編碼圖形數(shù)據(jù)執(zhí)行解碼處理以獲得解碼圖形數(shù)據(jù)(包括子標(biāo)題數(shù)據(jù)將圖形數(shù)據(jù)提供至圖形生成單元222。
[0186]將通過(guò)多路解復(fù)用器214所提取的視差信息基本流提供至視差信息解碼器223。視差信息解碼器223對(duì)包括在視差信息基本流中的編碼視差信息執(zhí)行解碼處理以獲得解碼視差信息。將視差信息提供至圖形生成單元222。
[0187]圖形生成單元222基于通過(guò)圖形解碼器221所獲得的圖形數(shù)據(jù)生成待疊加在圖像上的圖形信息的數(shù)據(jù)。在該情況下，圖形生成單元222基于在視差信息解碼器223中所獲得的視差信息通過(guò)調(diào)節(jié)圖形信息待疊加在左視圖(左圖像)和右視圖(右圖像)中的每個(gè)視圖上的疊加位置來(lái)給出視差。
[0188]將在圖形生成單元222中生成并且待疊加在左視圖上的圖形信息的數(shù)據(jù)臨時(shí)累積在圖形緩沖器22?中。此外，將在圖形生成單元222中生成并且待疊加在右視圖上的圖形信息的數(shù)據(jù)臨時(shí)累積在圖形緩沖器22仙中。
[0189]視頻疊加單元21%將累積在圖形緩沖器22?中的圖形信息的數(shù)據(jù)疊加在被累積在視圖緩沖器2173中并在縮放器21?中經(jīng)歷了縮放處理的左視圖的視頻流(圖像數(shù)據(jù))上以獲得左視圖的視頻流(圖像數(shù)據(jù))31.輸出該視頻流31作為用于顯示圖形信息疊加在其上的左視圖(左圖像)的視頻流。
[0190]此外，視頻疊加單元21%將在圖形緩沖器22仙中累積的圖形信息的數(shù)據(jù)疊加在累積在視圖緩沖器2176中并在縮放器21?中經(jīng)歷了縮放處理的右視圖的視頻流(圖像數(shù)據(jù))上以獲得右視圖的視頻流(圖像數(shù)據(jù))SR。輸出該視頻流SR作為用于顯示圖形信息疊加在其上的右視圖(左圖像)的視頻流。
[0191]接下來(lái)將對(duì)2D服務(wù)時(shí)的操作(包括3D服務(wù)時(shí)的2D顯示模式)進(jìn)行描述。從視頻解碼器216a獲得針對(duì)二維圖像顯示的視圖的視頻流(圖像數(shù)據(jù))，并且將該視頻流臨時(shí)累積在視圖緩沖器217a中。
[0192]將在多路解復(fù)用器214中提取的圖形基本流提供至圖形解碼器221。圖形解碼器221對(duì)包括在圖形基本流中的編碼圖像數(shù)據(jù)執(zhí)行解碼處理以獲得解碼圖形數(shù)據(jù)(包括子標(biāo)題)。將圖形數(shù)據(jù)提供至圖形生成單元222。
[0193]圖形生成單元222基于在圖形解碼器221中所獲得的圖形數(shù)據(jù)生成待疊加在視圖(圖像)上的圖形信息的數(shù)據(jù)。將該圖形信息的數(shù)據(jù)臨時(shí)累積在圖形緩沖器224a中。
[0194]視頻疊加單元219a將累積在圖形緩沖器224a中的圖形信息的數(shù)據(jù)疊加在被累積在視圖緩沖器217a中并在縮放器218a中經(jīng)歷了縮放處理的針對(duì)二維圖像顯示的視圖的視頻流(圖像數(shù)據(jù))上以獲得針對(duì)二維圖像顯示的視圖的視頻流(圖像數(shù)據(jù))SV。輸出該視頻流SV作為用于顯示圖形信息疊加在其上的針對(duì)二維圖像顯示的視圖(圖像)的視頻流。
[0195]此外，將通過(guò)多路解復(fù)用器214所提取的音頻基本流提供至音頻解碼器225。音頻解碼器225對(duì)包括在音頻基本流中的編碼語(yǔ)音數(shù)據(jù)執(zhí)行解碼處理以獲得解碼語(yǔ)音數(shù)據(jù)。將語(yǔ)音數(shù)據(jù)提供至通道處理單元226。通道處理單元226針對(duì)語(yǔ)音數(shù)據(jù)生成并輸出每個(gè)聲道的語(yǔ)音數(shù)據(jù)SA以產(chǎn)生例如5.1聲道環(huán)繞等。
[0196]另外，在圖19所示的接收機(jī)200中，編碼緩沖器215被示出為一個(gè)塊。盡管以上未描述，但是編碼緩沖器215可以具有兩個(gè)方面，包括:由兩個(gè)視頻解碼器216a和216b根據(jù)基本流配置來(lái)共享編碼緩沖器215的一個(gè)方面，以及通過(guò)以被各個(gè)視頻解碼器216a和216b占用的形式將編碼緩沖器分割成兩部分來(lái)管理的另一方面。
[0197]如上所述，包括每個(gè)視圖的視頻流的配置信息在內(nèi)的子流配置描述符和子流配置數(shù)據(jù)被插入在通過(guò)圖19所示的接收機(jī)200所接收到的傳輸流TS中。在接收機(jī)200中，基于配置信息來(lái)控制每個(gè)單元的處理。因此，適當(dāng)且高效的處理是可能的。
[0198]〈2.修改示例〉
[0199]另外，在上述實(shí)施方式中，本技術(shù)被應(yīng)用于處理左眼和右眼兩個(gè)視圖的示例。然而，當(dāng)然，即便在處理多視圖的情況下，也能夠類似地應(yīng)用本技術(shù)。
[0200]另外，在上述實(shí)施方式中，描述了容器為傳輸流(MPEG-2TS)的示例。然而，本技術(shù)能夠類似地甚至應(yīng)用于如下配置的系統(tǒng):其中使用網(wǎng)絡(luò)諸如因特網(wǎng)來(lái)將容器遞送至接收端子。在通過(guò)因特網(wǎng)的遞送中，可能在MP4或其他格式的容器中遞送傳輸流TS。換句話說(shuō)，容器對(duì)應(yīng)于可變格式的容器，諸如數(shù)字廣播標(biāo)準(zhǔn)中所采用的傳輸流(MPEG-2TS)、在通過(guò)因特網(wǎng)的遞送中使用的MP4。
[0201]此外，盡管在上述實(shí)施方式中描述了疊加信息是圖形的示例，但是類似地考慮其他類型的疊加信息諸如隱藏式字幕的情況。而且，盡管上述實(shí)施方式中描述了從發(fā)送側(cè)發(fā)送圖像數(shù)據(jù)以及圖形數(shù)據(jù)的示例，但是考慮疊加信息的數(shù)據(jù)是在接收側(cè)生成的OSD顯示的情況。
[0202]此外，本技術(shù)能夠采用以下配置。
[0203](I) 一種發(fā)送設(shè)備，包括:[0204]發(fā)送單元，所述發(fā)送單元發(fā)送預(yù)定格式的容器，在所述容器中以時(shí)間分割方式包括針對(duì)二維圖像顯示的單個(gè)視圖的視頻流和針對(duì)三維圖像顯示的多個(gè)視圖的視頻流；以及
[0205]配置信息插入單元，所述配置信息插入單元將每個(gè)視圖的包括在所述容器中的視頻流的配置信息插入所述容器中。
[0206]( 2 )根據(jù)(1)所述的發(fā)送設(shè)備，還包括:
[0207]插入層選擇單元，所述插入層選擇單元選擇所述配置信息被插入其中的單個(gè)層或多個(gè)層。
[0208](3)根據(jù)(2)所述的發(fā)送設(shè)備，
[0209]其中所述容器的層和所述視頻流的層包括在所述配置信息的插入層的選項(xiàng)中。
[0210]( 4 )根據(jù)(1)至(3 )中任一項(xiàng)所述的發(fā)送設(shè)備，
[0211]其中所述配置信息包括標(biāo)識(shí)包括在所述容器中的視頻流是針對(duì)所述二維圖像顯示的單個(gè)視圖的視頻流還是針對(duì)所述三維圖像顯示的多個(gè)視圖的視頻流的信息。
[0212]( 5 )根據(jù)(1)至(4 )中任一項(xiàng)所述的發(fā)送設(shè)備，
[0213]其中所述配置信息包括表示所述多個(gè)視圖的視頻流是否被插入在單個(gè)視頻基本流中的彳目息。
[0214]( 6 )根據(jù)(1)至(5 )中任一項(xiàng)所述的發(fā)送設(shè)備，
[0215]其中所述配置信息包括表示所述多個(gè)視圖的視頻流的數(shù)據(jù)是否被交織在單個(gè)畫面中的信息。
[0216]( 7 )根據(jù)(1)至(6 )中任一項(xiàng)所述的發(fā)送設(shè)備，
[0217]其中所述配置信息包括表示視圖分配的信息。
[0218]( 8 )根據(jù)(1)至(7 )中任一項(xiàng)所述的發(fā)送設(shè)備，
[0219]其中所述配置信息包括表示視頻流是否具有二維圖像顯示所需要的視圖的信息。
[0220](9)根據(jù)(1)至(8)中任一項(xiàng)所述的發(fā)送設(shè)備，
[0221]其中所述配置信息包括關(guān)于預(yù)定水平和/或垂直分辨率的像素比信息。
[0222](10)根據(jù)(1)至(9)中任一項(xiàng)所述的發(fā)送設(shè)備，
[0223]其中所述容器是傳輸流。
[0224](11)根據(jù)(1)至(10)中任一項(xiàng)所述的發(fā)送設(shè)備，
[0225]其中針對(duì)所述三維圖像顯示的多個(gè)視圖是包括左視圖和右視圖的兩個(gè)視圖。
[0226](12)根據(jù)(1)至(11)中任一項(xiàng)所述的發(fā)送設(shè)備，
[0227]其中在所述多個(gè)視圖的視頻流被插入在單個(gè)視頻基本流中的情況下，表示視圖之間的邊界的信息位于各個(gè)視圖的視頻流之間。
[0228](13) 一種發(fā)送方法，包括:
[0229]發(fā)送預(yù)定格式的容器的發(fā)送步驟，其中在所述容器中以時(shí)間分割方式包括針對(duì)二維圖像顯示的單個(gè)視圖的視頻流和針對(duì)三維圖像顯示的多個(gè)視圖的視頻流；以及
[0230]將每個(gè)視圖的包括在所述容器中的視頻流的配置信息插入所述容器中的配置信息插入步驟。
[0231](14) 一種接收設(shè)備，包括:
[0232]接收單元，所述接收單元接收預(yù)定格式的容器，在所述容器中以時(shí)間分割方式包括針對(duì)二維圖像顯示的單個(gè)視圖的視頻流和針對(duì)三維圖像顯示的多個(gè)視圖的視頻流，[0233]其中每個(gè)視圖的包括在所述容器中的視頻流的配置信息被插入所述容器中，以及
[0234]其中所述接收設(shè)備還包括圖像數(shù)據(jù)獲取單元，所述圖像數(shù)據(jù)獲取單元從所述容器基于所述配置信息對(duì)每個(gè)視圖的視頻流進(jìn)行解碼以獲取圖像數(shù)據(jù)。
[0235]( 15)根據(jù)(14)所述的接收設(shè)備，
[0236]其中所述圖像數(shù)據(jù)獲取單元基于被插入在事件單位或在比所述事件單位小的時(shí)間單位中的所述配置信息來(lái)確保解碼緩沖區(qū)域。
[0237](16) 一種接收方法，包括:
[0238]接收預(yù)定格式的容器的接收步驟，在所述容器中以時(shí)間分割方式包括針對(duì)二維圖像顯示的單個(gè)視圖的視頻流和針對(duì)三維圖像顯示的多個(gè)視圖的視頻流；
[0239]其中每個(gè)視圖的包括在所述容器中的視頻流的配置信息被插入所述容器中，以及
[0240]其中所述接收方法還包括圖像數(shù)據(jù)獲取步驟，其中從所述容器基于所述配置信息對(duì)每個(gè)視圖的視頻流進(jìn)行解碼以獲取圖像數(shù)據(jù)。
[0241]本技術(shù)的主要特性是:當(dāng)在容器諸如2D服務(wù)和3D服務(wù)中的傳輸流(圖5至圖7)中發(fā)送每個(gè)視圖的視頻傳輸流時(shí)，通過(guò)使表示每個(gè)視圖的視頻流的配置的配置信息能夠插入所選擇的預(yù)定層中，來(lái)使得能夠在接收側(cè)實(shí)現(xiàn)適當(dāng)且高效的處理。
[0242]附圖標(biāo)記列表
[0243]10圖像發(fā)送和接收系統(tǒng)
[0244]100廣播站
[0245]110發(fā)送數(shù)據(jù)生成單元
[0246]111數(shù)據(jù)提取單元
[0247]Illa數(shù)據(jù)記錄介質(zhì)
[0248]112視頻編碼器
[0249]113視差信息編碼器
[0250]114音頻編碼器
[0251]115圖形生成單元
[0252]116圖形編碼器
[0253]117多路復(fù)用器
[0254]200接收機(jī)
[0255]201 CPU
[0256]202 快閃 ROM
[0257]203 DRAM
[0258]204內(nèi)部總線
[0259]205遠(yuǎn)程控制接收單元
[0260]206遠(yuǎn)程控制發(fā)送器
[0261]211天線端子
[0262]212數(shù)字調(diào)諧器
[0263]213傳輸流緩沖器(TS緩沖器)
[0264]214多路解復(fù)用器
[0265]215編碼緩沖器[0266]2168,216b視頻解碼器
[0267]2178,217b視圖緩沖器
[0268]2188,218b 縮放器
[0269]2198,219b視頻疊加單元
[0270]221圖形解碼器
[0271]222圖形生成單元
[0272]223視差信息解碼器
[0273]2248、22牝圖形緩沖器
[0274]225音頻解碼器
[0275]226通道處理單元
【權(quán)利要求】
1.一種發(fā)送設(shè)備，包括: 發(fā)送單元，所述發(fā)送單元發(fā)送預(yù)定格式的容器，在所述容器中以時(shí)間分割方式包括針對(duì)二維圖像顯示的單個(gè)視圖的視頻流和針對(duì)三維圖像顯示的多個(gè)視圖的視頻流；以及配置信息插入單元，所述配置信息插入單元將每個(gè)視圖的包括在所述容器中的視頻流的配置信息插入所述容器中。
2.根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備，還包括: 插入層選擇單元，所述插入層選擇單元選擇所述配置信息被插入其中的單個(gè)層或多個(gè)層。
3.根據(jù)權(quán)利要求2所述的發(fā)送設(shè)備， 其中所述容器的層和所述視頻流的層包括在所述配置信息的插入層的選項(xiàng)中。
4.根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備， 其中所述配置信息包括標(biāo)識(shí)包括在所述容器中的視頻流是針對(duì)所述二維圖像顯示的單個(gè)視圖的視頻流還是針對(duì)所述三維圖像顯示的多個(gè)視圖的視頻流的信息。
5.根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備， 其中所述配置信息包括表示所述多個(gè)視圖的視頻流是否被插入在單個(gè)視頻基本流中的信息。
6.根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備， 其中所述配置信息包括表示所述多個(gè)視圖的視頻流的數(shù)據(jù)是否被交織在單個(gè)畫面中的信息。
7.根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備， 其中所述配置信息包括表示視圖分配的信息。
8.根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備， 其中所述配置信息包括表示視頻流是否具有二維圖像顯示所需要的視圖的信息。
9.根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備， 其中所述配置信息包括關(guān)于預(yù)定水平和/或垂直分辨率的像素比信息。
10.根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備， 其中所述容器是傳輸流。
11.根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備， 其中針對(duì)所述三維圖像顯示的多個(gè)視圖是包括左視圖和右視圖的兩個(gè)視圖。
12.根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備， 其中在所述多個(gè)視圖的視頻流被插入在單個(gè)視頻基本流中的情況下，表示視圖之間的邊界的信息位于各個(gè)視圖的視頻流之間。
13.—種發(fā)送方法,包括: 發(fā)送預(yù)定格式的容器的發(fā)送步驟，其中在所述容器中以時(shí)間分割方式包括針對(duì)二維圖像顯示的單個(gè)視圖的視頻流和針對(duì)三維圖像顯示的多個(gè)視圖的視頻流；以及 將每個(gè)視圖的包括在所述容器中的視頻流的配置信息插入所述容器中的配置信息插入步驟。
14.一種接收設(shè)備，包括: 接收單元，所述接收單元接收預(yù)定格式的容器，在所述容器中以時(shí)間分割方式包括針對(duì)二維圖像顯示的單個(gè)視圖的視頻流和針對(duì)三維圖像顯示的多個(gè)視圖的視頻流， 其中每個(gè)視圖的包括在所述容器中的視頻流的配置信息被插入所述容器中，以及其中所述接收設(shè)備還包括圖像數(shù)據(jù)獲取單元，所述圖像數(shù)據(jù)獲取單元從所述容器基于所述配置信息對(duì)每個(gè)視圖的視頻流進(jìn)行解碼以獲取圖像數(shù)據(jù)。
15.根據(jù)權(quán)利要求14所述的接收設(shè)備， 其中所述圖像數(shù)據(jù)獲取單元基于被插入在事件單位或在比所述事件單位小的時(shí)間單位中的所述配置信息來(lái)確保解碼緩沖區(qū)域。
16.一種接收方法，包括: 接收預(yù)定格式的容器的接收步驟，在所述容器中以時(shí)間分割方式包括針對(duì)二維圖像顯示的單個(gè)視圖的視頻流和針對(duì)三維圖像顯示的多個(gè)視圖的視頻流； 其中每個(gè)視圖的包括在所述容器中的視頻流的配置信息被插入所述容器中，以及其中所述接收方法還包括圖像數(shù)據(jù)獲取步驟，其中從所述容器基于所述配置信息對(duì)每個(gè)視圖的視頻 流進(jìn)行解碼以獲取圖像數(shù)據(jù)。
【文檔編號(hào)】H04N21/236GK103843330SQ201280049287
【公開(kāi)日】2014年6月4日 申請(qǐng)日期:2012年10月5日 優(yōu)先權(quán)日:2011年10月13日
【發(fā)明者】塚越郁夫 申請(qǐng)人:索尼公司