專利名稱：圖像處理設備和方法
技術領域：
本發(fā)明涉及圖像處理設備和方法，具體地，涉及這樣的圖像處理設備和方法等，例如在由用于立體視覺的多個視點的成像數(shù)據(jù)構成的內容顯示為2D圖像的情況下，其可以顯示內容制作者想要的圖像等。
背景技術：
近年來，符合如MPEG (運動圖像專家組)的系統(tǒng)的設備在信息發(fā)布(如廣播站) 和普通家庭中的信息接收中已經變得更普及，該MPEG此時用于處理作為數(shù)字信號的圖像信息，并且以高效的信息傳輸和累積為目的利用圖像信息獨有的冗余，從而通過如離散余弦變換等的正交變換和運動補償來壓縮圖像信息。具體地，例如，已經變成在經由網絡介質(如衛(wèi)星廣播、有線電視、因特網等)接收由采用正交變換(如離散余弦變換、Karhimen-Lc^ve變換等)和運動補償?shù)木幋a系統(tǒng)(如 MPEG、H. 26x等)壓縮的圖像信息(比特流)時，或者在處理記錄介質(如光、磁盤或閃存) 上的圖像信息時廣泛使用的編碼設備和解碼設備。例如，MPEG2(IS0/IEC 13818-2)定義為通用的圖像編碼系統(tǒng)，并且是包括隔行掃描圖像和逐行掃描圖像、以及標準分辨率圖像和高分辨率圖像兩者的標準，并且現(xiàn)在被用于專業(yè)用途和消費者用途的大范圍應用廣泛采用。通過采用MPEG2壓縮系統(tǒng)，例如分配在具有720X480像素(寬度X長度)的標準分辨率的隔行掃描圖像的情況下的4到8Mbps、 在具有1920 X 1088像素的高分辨率的隔行掃描圖像的情況下的18到22Mbps的代碼量(比特率)，從而可以實現(xiàn)高壓縮率和優(yōu)異的圖像質量。在MPEG2的情況下，適于廣播用途的高圖像質量編碼是主要目標，但是沒有處理比MPEGl的代碼量更低的代碼量(比特率)，即，具有高壓縮率的編碼系統(tǒng)。從現(xiàn)在起，變得廣泛應用的個人數(shù)字助理將最可能導致對于這樣的編碼系統(tǒng)的增加需要，并且響應于此， MPEG4編碼系統(tǒng)已經標準化。關于圖像編碼系統(tǒng)，其規(guī)范在1998年12月確定為作為ISO/ IEC 14496-2的國際標準。此外，近年來，以用于電視會議用途的圖像編碼作為對象，稱為H.264(ITU_T Q6/16 VCEG)的標準的標準化正在發(fā)展。在H. 264的情況下，已知的是與傳統(tǒng)編碼系統(tǒng)(如 MPEG2或MPEG4)相比，盡管其編碼和解碼要求更大的計算量，但是實現(xiàn)了更高的編碼效率。 此外，目前作為關于MPEG4的活動的部分，已經進行了以H. 264為基礎、利用該H. 264不支持的功能來實現(xiàn)更高編碼效率的標準化作為增強壓縮視頻編碼的聯(lián)合模式。關于正由聯(lián)合視頻團隊執(zhí)行的其中執(zhí)行標準化的編碼系統(tǒng)(JVT編解碼)，為了與現(xiàn)有技術(如MPEG2、MPEG4等)相比改進編碼效率，已經研究了各種改進。例如，在離散余弦變換的情況下，以4X4像素的塊作為對象執(zhí)行到整數(shù)變換系數(shù)的變換。此外，關于運動補償，塊大小可變，并且可以執(zhí)行更優(yōu)化的運動補償。然而，用于編碼的基本算法與現(xiàn)有技術(如MPEG2、MPEG4等)相同。順帶提及，關于作為用于如上所述編碼的對象的圖像內容，除了 2D圖像內容外，還存在其中立體視覺可用的立體視覺圖像內容。為了顯示立體視覺圖像，需要專用設備(以下，用于立體視覺的設備)，并且關于這樣的用于立體視覺的設備，例如存在由NHK(日本廣播公司)開發(fā)的IP(整體拍攝)立體圖像系統(tǒng)。立體視覺圖像的圖像數(shù)據(jù)由多個視點的圖像數(shù)據(jù)(從多個視點拍攝的圖像的圖像數(shù)據(jù))構成，視點數(shù)越多，此外視點的范圍越廣，可以照原樣從各個方向觀看被攝體，可以實現(xiàn)“可以深入(look into)的電視”。這里，在PTL 1中描述了立體視覺圖像的圖像數(shù)據(jù)的示例(即，多個視點的圖像數(shù)據(jù)的編碼和解碼方法)。引用列表專利文獻PTL 1 日本未審專利申請公開No. 2008-182669

發(fā)明內容
技術問題在立體視覺圖像中，其視點數(shù)最少的圖像是其視點數(shù)為兩個視點的立體圖像，并且立體圖像的圖像數(shù)據(jù)由要由左眼觀察的圖像(以下稱為“用于左眼的圖像”)的圖像數(shù)據(jù)和要由右眼觀察的圖像(以下稱為“用于右眼的圖像”)的圖像數(shù)據(jù)構成。關于包括立體圖像的立體視覺圖像，用于立體視覺的設備可以進行立體視覺，但是即使在用于顯示2D圖像的設備(以下也稱為2D顯示設備)的情況下，即，例如如普通 TV(電視接收器)的顯示器可以顯示為2D圖像。具體地，通過顯示多視點圖像的一個視點圖像，包括立體圖像的立體視覺圖像可以顯示為2D圖像。順帶提及，在2D顯示設備上將立體視覺圖像顯示為2D圖像導致關于顯示多視點圖像的哪一個視點的圖像的問題。具體地，例如立體圖像的用于左眼的圖像和用于右眼的圖像是具有稍微不同的視差的相同場景的圖像，但是在亮度(光的反射)、顏色等不同。因此，例如在2D顯示設備上將立體圖像顯示為2D圖像的情況下，存在來自立體圖像的內容制作者的請求是符合他/她自身的意圖，通過以自適應方式切換來顯示用于左眼的圖像和用于右眼的圖像。然而，傳統(tǒng)上，在將由包括立體圖像的多視點圖像構成的立體視覺圖像顯示為2D 圖像的情況下，關于多視點圖像還沒有提出用于控制要顯示為2D圖像的圖像的安排。因此，在2D顯示設備上將立體圖像顯示為2D圖像的情況下，例如，預測根據(jù)2D 顯示設備的規(guī)范連續(xù)顯示用于左眼的圖像和用于右眼的圖像之一，而不管內容制作者的意圖。已經考慮這種情形完成了本發(fā)明，并且本發(fā)明允許在將立體圖像內容顯示為2D 圖像的情況下顯示內容制作者想要的圖像等。解決問題的技術方案根據(jù)本發(fā)明第一方面的圖像處理設備是一種圖像處理設備，包括變換部件，其配置為根據(jù)用于從大于1的N個視點的圖像數(shù)據(jù)中指定用于2D圖像的顯示的圖像數(shù)據(jù)的標志，通過切換所述N個視點的圖像數(shù)據(jù)中的一個視點的圖像數(shù)據(jù)和另一視點的圖像數(shù)據(jù)， 將所述N個視點的圖像數(shù)據(jù)變換為一條基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)，該基本圖像數(shù)據(jù)是用于2D圖像的顯示的圖像數(shù)據(jù)；以及傳輸部件，配置為傳輸通過所述變換部件變換的一條基本圖像數(shù)據(jù)和所述N-I條額外圖像數(shù)據(jù)以及所述標志。所述圖像處理設備還可以包括標志設置部件，配置為設置用于從所述N個視點的圖像數(shù)據(jù)中指定用于2D圖像的顯示的圖像數(shù)據(jù)。所述傳輸部件可以通過將所述位流和所述標志兩者連接來傳輸它們。所述標志設置部件可以對一個或多個連續(xù)畫面的每個設置所述標志。所述N個視點的圖像數(shù)據(jù)可以是要由左眼觀察的用于左眼的視點圖像數(shù)據(jù)和要由右眼觀察的用于右眼的視點圖像數(shù)據(jù)。所述圖像處理設備還可以包括編碼部件，配置為編碼N個視點的圖像數(shù)據(jù)以生成位流。根據(jù)本發(fā)明第一方面的圖像處理方法是一種圖像處理方法，包括變換步驟，安排為根據(jù)用于從大于1的N個視點的圖像數(shù)據(jù)中指定用于2D圖像的顯示的圖像數(shù)據(jù)的標志， 通過切換所述N個視點的圖像數(shù)據(jù)中的一個視點的圖像數(shù)據(jù)和另一視點的圖像數(shù)據(jù)，將所述N個視點的圖像數(shù)據(jù)變換為一條基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)，該基本圖像數(shù)據(jù)是用于2D圖像的顯示的圖像數(shù)據(jù)；以及傳輸步驟，安排為傳輸在所述變換步驟中變換的一條基本圖像數(shù)據(jù)和所述N-I條額外圖像數(shù)據(jù)以及所述標志。利用本發(fā)明第一方面，根據(jù)用于從大于1的N個視點的圖像數(shù)據(jù)中指定用于2D圖像的顯示的圖像數(shù)據(jù)的標志，通過切換所述N個視點的圖像數(shù)據(jù)中的一個視點的圖像數(shù)據(jù)和另一視點的圖像數(shù)據(jù)，將所述N個視點的圖像數(shù)據(jù)變換為一條基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)，該基本圖像數(shù)據(jù)是用于2D圖像的顯示的圖像數(shù)據(jù)，并且傳輸已經變換的一條基本圖像數(shù)據(jù)和所述N-I條額外圖像數(shù)據(jù)以及所述標志。根據(jù)本發(fā)明第二方面的圖像處理設備是一種圖像處理設備，包括接收部件，配置為接收用于從大于1的N個視點的圖像數(shù)據(jù)中指定用于2D圖像的顯示的圖像數(shù)據(jù)的標志、 一條基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)，該基本圖像數(shù)據(jù)是用于2D圖像的顯示的圖像數(shù)據(jù)，其中通過根據(jù)所述標志切換所述N個視點的圖像數(shù)據(jù)中的一個視點的圖像數(shù)據(jù)和另一視點的圖像數(shù)據(jù)獲得所述一條基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)；以及恢復部件，配置為根據(jù)由所述接收部件接收的標志，將一條基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)恢復為N 個視點的圖像數(shù)據(jù)。所述圖像處理設備還可以包括立體視覺圖像變換部件，配置為將所述N個視點的圖像數(shù)據(jù)變換為用于立體視覺的立體視覺圖像數(shù)據(jù)。根據(jù)本發(fā)明第二方面的圖像處理方法是一種圖像處理方法，包括接收步驟，安排為接收用于從大于1的N個視點的圖像數(shù)據(jù)中指定用于2D圖像的顯示的圖像數(shù)據(jù)的標志、 一條基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)，該基本圖像數(shù)據(jù)是用于2D圖像的顯示的圖像數(shù)據(jù)，其中通過根據(jù)所述標志切換所述N個視點的圖像數(shù)據(jù)中的一個視點的圖像數(shù)據(jù)和另一視點的圖像數(shù)據(jù)獲得所述一條基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)；以及恢復步驟，安排為根據(jù)在所述接收步驟中接收的標志，將一條基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)恢復為N個視點的圖像數(shù)據(jù)。利用本發(fā)明第二方面，接收用于從大于1的N個視點的圖像數(shù)據(jù)中指定用于2D圖像的顯示的圖像數(shù)據(jù)的標志、一條基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)，該基本圖像數(shù)據(jù)是用于2D圖像的顯示的圖像數(shù)據(jù)，其中通過根據(jù)所述標志切換所述N個視點的圖像數(shù)據(jù)中的一個視點的圖像數(shù)據(jù)和另一視點的圖像數(shù)據(jù)獲得所述一條基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)，并且根據(jù)接收的標志，將類似地接收的一條基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)恢復為N個視點的圖像數(shù)據(jù)。根據(jù)本發(fā)明第三方面的圖像處理設備是一種圖像處理設備，包括標志設置部件， 配置為根據(jù)大于1的N個視點的圖像數(shù)據(jù)的制作者的意圖設置用于從所述N個視點的圖像數(shù)據(jù)中指定用于2D圖像的顯示的圖像數(shù)據(jù)的標志；以及傳輸部件，配置為傳輸通過編碼所述N個視點的圖像數(shù)據(jù)獲得的位流和通過所述設置部件設置的標志。所述傳輸部件可以通過將所述位流和所述標志兩者連接來傳輸它們。所述標志設置部件可以對一個或多個連續(xù)畫面的每個設置所述標志。所述N個視點的圖像數(shù)據(jù)可以是要由左眼觀察的用于左眼的視點圖像數(shù)據(jù)和要由右眼觀察的用于右眼的視點圖像數(shù)據(jù)。所述圖像處理設備還可以包括編碼部件，配置為編碼N個視點的圖像數(shù)據(jù)以生成位流。根據(jù)本發(fā)明第三方面的圖像處理方法是一種圖像處理方法，包括標志設置步驟， 安排為根據(jù)大于1的N個視點的圖像數(shù)據(jù)的制作者的意圖設置用于從所述N個視點的圖像數(shù)據(jù)中指定用于2D圖像的顯示的圖像數(shù)據(jù)的標志；以及傳輸步驟，安排為傳輸通過編碼所述N個視點的圖像數(shù)據(jù)獲得的位流和在所述設置步驟中設置的標志。利用本發(fā)明的第三方面，根據(jù)大于1的N個視點的圖像數(shù)據(jù)的制作者的意圖設置用于從所述N個視點的圖像數(shù)據(jù)中指定用于2D圖像的顯示的圖像數(shù)據(jù)的標志，并且傳輸通過編碼所述N個視點的圖像數(shù)據(jù)獲得的位流和設置的標志。根據(jù)本發(fā)明第四方面的圖像處理設備是一種圖像處理設備，包括接收部件，配置為接收通過編碼大于1的N個視點的圖像數(shù)據(jù)獲得的位流和根據(jù)所述N個視點的圖像數(shù)據(jù)的制作者的意圖設置的、用于從所述N個視點的圖像數(shù)據(jù)中指定用于2D圖像的顯示的圖像數(shù)據(jù)的標志；以及選擇部件，配置為根據(jù)由所述接收部件接收的所述標志，從由所述接收部件接收的所述位流中包括的N個視點的圖像數(shù)據(jù)中選擇用于2D圖像的顯示的圖像數(shù)據(jù)?？梢詫⑺鑫涣骱退鰳酥具B接。所述圖像處理設備還可以包括解碼部件，配置為解碼由所述選擇部件選擇的圖像數(shù)據(jù)。根據(jù)本發(fā)明第四方面的圖像處理方法是一種圖像處理方法，包括接收步驟，安排為接收通過編碼大于1的N個視點的圖像數(shù)據(jù)獲得的位流和根據(jù)所述N個視點的圖像數(shù)據(jù)的制作者的意圖設置的、用于從所述N個視點的圖像數(shù)據(jù)中指定用于2D圖像的顯示的圖像數(shù)據(jù)的標志；以及選擇步驟，安排為根據(jù)在所述接收步驟中接收的所述標志，從在所述接收步驟中接收的所述位流中包括的N個視點的圖像數(shù)據(jù)中選擇用于2D圖像的顯示的圖像數(shù)據(jù)。利用本發(fā)明第四方面，接收通過編碼大于1的N個視點的圖像數(shù)據(jù)獲得的位流和根據(jù)所述N個視點的圖像數(shù)據(jù)的制作者的意圖設置的、用于從所述N個視點的圖像數(shù)據(jù)中指定用于2D圖像的顯示的圖像數(shù)據(jù)的標志，并且根據(jù)接收的所述標志，從類似地接收的所述位流中包括的N個視點的圖像數(shù)據(jù)中選擇用于2D圖像的顯示的圖像數(shù)據(jù)。注意，上述圖像處理設備可以是單機設備，或者可以是構成單個設備的內部塊。本發(fā)明的有利效果根據(jù)本發(fā)明第一到第四方面，可以指定用于2D圖像的顯示的圖像數(shù)據(jù)。作為其結果，例如在將立體視覺圖像內容顯示為2D圖像的情況下，可以顯示內容制作者想要的圖像寸。


圖1是圖示對其應用本發(fā)明的編碼設備的第一實施例的配置示例的框圖。圖2是圖示編碼單元Il1的配置示例的框圖。圖3是用于描述通過標志設置單元12的視圖切換標志的設置的圖。圖4是用于描述根據(jù)第一實施例的編碼處理的流程圖。圖5是圖示對其應用本發(fā)明的解碼設備的第一實施例的配置示例的框圖。圖6是圖示解碼單元4 的配置示例的框圖。圖7是用于描述在將立體圖像顯示為2D圖像的情況下的解碼設備的處理的圖。圖8A是用于描述根據(jù)第一實施例的解碼處理的流程圖。圖8B是用于描述根據(jù)第一實施例的解碼處理的流程圖。圖9是圖示對其應用本發(fā)明的編碼設備的第二實施例的配置示例的框圖。圖10是用于描述根據(jù)第二實施例的切換單元71的處理的圖。圖11用于描述根據(jù)第二實施例的編碼處理的流程圖。圖12是圖示對其應用本發(fā)明的解碼設備的第二實施例的配置示例的框圖。圖13A是用于描述根據(jù)第二實施例的解碼處理的流程圖。圖13B是用于描述根據(jù)第二實施例的解碼處理的流程圖。圖14是圖示對其應用本發(fā)明的編碼設備的第三實施例的配置示例的框圖。圖15是用于描述根據(jù)第三實施例的編碼處理的流程圖。圖16是圖示對其應用本發(fā)明的解碼設備的第三實施例的配置示例的框圖。圖17A是用于描述根據(jù)第三實施例的解碼處理的流程圖。圖17B是用于描述根據(jù)第三實施例的解碼處理的流程圖。圖18是圖示對其應用本發(fā)明的編碼設備的第四實施例的配置示例的框圖。圖19是用于描述根據(jù)第四實施例的切換單元71的處理的圖。圖20是用于描述根據(jù)第四實施例的編碼處理的流程圖。圖21是圖示對其應用本發(fā)明的解碼設備的第四實施例的配置示例的框圖。圖22A是用于描述根據(jù)第四實施例的解碼處理的流程圖。圖22B是用于描述根據(jù)第四實施例的解碼處理的流程圖。圖23是圖示對其應用本發(fā)明的計算機的實施例的配置示例的框圖。圖M是圖示對其應用本發(fā)明的電視接收機的主要配置示例的框圖。圖25是圖示對其應用本發(fā)明的蜂窩式電話的主要配置示例的框圖。
圖沈是圖示對其應用本發(fā)明的硬盤記錄器的主要配置示例的框圖。圖27是圖示對其應用本發(fā)明的相機的主要配置示例的框圖。圖觀是圖示宏塊大小的示例的圖。
具體實施例方式第一實施例編碼設備的第一實施例圖1是圖示對其應用本發(fā)明的編碼設備的第一實施例的配置示例的框圖。在圖1中，編碼設備編碼由用于左眼的圖像的圖像數(shù)據(jù)(以下也稱為用于左眼的視點圖像數(shù)據(jù))和用于右眼的圖像的圖像數(shù)據(jù)(以下也稱為用于右眼的視點圖像數(shù)據(jù))構成的立體圖像的圖像數(shù)據(jù)。具體地，在圖1中，編碼設備由大于1的兩個編碼單元Il1和Il2、標志設置單元12 和生成單元13配置。立體圖像的用于左眼的視點圖像數(shù)據(jù)提供到編碼單元Il115編碼單元Il1根據(jù)預定編碼系統(tǒng)(例如如MPEG2、AVC/H. 264系統(tǒng)等)編碼對其提供的用于左眼的視點圖像數(shù)據(jù)，并且將作為其結果獲得的編碼數(shù)據(jù)(以下也稱為“用于左眼的編碼數(shù)據(jù)”)提供到生成單元13。立體圖像的用于右眼的視點圖像數(shù)據(jù)提供到編碼單元112。編碼單元Il2例如以和編碼單元Il1相同的方式編碼對其提供的用于右眼的視點圖像數(shù)據(jù)，并且將作為其結果獲得的編碼數(shù)據(jù)(以下也稱為“用于右眼的編碼數(shù)據(jù)”)提供到生成單元13。例如，響應于用戶(如立體圖像制作者等)的操作，在作為立體圖像的兩個視點的用于左眼的視點圖像數(shù)據(jù)和用于右眼的視點圖像數(shù)據(jù)中，標志設置單元12例如設置視圖切換標志(view switching flag)，其是用于例如對于每個場景等指定用于2D圖像的顯示的圖像數(shù)據(jù)的標志，并且將該標志提供到生成單元。生成單元13生成并輸出包括立體圖像的圖像數(shù)據(jù)的位流和視圖切換標志。具體地，生成單元13復用來自編碼單元Il1的用于左眼的編碼數(shù)據(jù)和來自編碼單元Il2的用于右眼的編碼數(shù)據(jù)以生成復用數(shù)據(jù)，將來自標志設置單元12的視圖切換標志包括在復用數(shù)據(jù)的報頭等中，并且輸出。編碼單元Il1的配置示例圖2是圖示圖1中的編碼單元Il1的配置示例的框圖。注意，圖1中的編碼單元Il2也以與編碼單元Il1相同方式配置。編碼單元Il1是用于通過正交變換(例如，如離散余弦變換、Karhunen-Lc^ve變換等)和運動補償實現(xiàn)圖像壓縮的圖像信息編碼設備。要編碼的圖像數(shù)據(jù)提供到A/D(模擬/數(shù)字)轉換單元21。在對其提供的圖像數(shù)據(jù)是模擬信號的圖像數(shù)據(jù)的情況下，A/D轉換單元21通過A/D轉換將其圖像數(shù)據(jù)轉換為數(shù)字信號的圖像數(shù)據(jù)，并且提供到圖像分類緩沖器22。圖像分類緩沖器22暫時存儲來自A/D轉換器21的圖像數(shù)據(jù)，并且根據(jù)需要讀出該數(shù)據(jù)，從而根據(jù)作為編碼單元Il1的輸出的編碼數(shù)據(jù)的GOP(畫面組)結構執(zhí)行圖像數(shù)據(jù)的畫面(幀)(場)的分類。在從圖像分類緩沖器22讀出的畫面中，要經歷幀內編碼的幀內畫面提供到計算單元23。計算單元23從根據(jù)需要從圖像分類緩沖器22提供的幀內畫面的像素值減去從幀內預測單元22提供的預測圖像的像素值，并且提供到正交變換單元M。正交變換單元M使得幀內畫面(或從其減去預測圖像的減法值)經歷正交變換 (如離散余弦變換、Karhimen-Lc^ve變換等)，并且將作為其結果獲得的變換系數(shù)提供到量化單元25。量化單元25量化來自正交變換單元M的變換系數(shù)，并且將作為其結果獲得的量化值提供到無損編碼單元26。無損編碼單元沈使得來自量化單元25的量化值經歷可變長度編碼或無損編碼 (如算術編碼等)，并且將作為其結果獲得的編碼數(shù)據(jù)提供到累積緩沖器27。累積緩沖器27暫時存儲來自無損編碼單元沈的編碼數(shù)據(jù)，并且以預定速率輸出。速率控制單元觀監(jiān)視累積緩沖器27的編碼數(shù)據(jù)的累積量，并且基于其累積量控制量化單元25的行為，如量化單元25的量化步驟等。在量化單元25獲得的量化值提供到無損編碼單元沈，并且還提供到逆量化單元四。逆量化單元四將來自量化單元25的量化值逆量化為變換系數(shù)，并且提供到逆正交變換單元30。逆正交變換單元30使得來自逆量化單元四的變換系數(shù)經歷逆正交變換，并且提供到計算單元31。計算單元31通過根據(jù)需要將從幀內預測單元33提供的預測圖像的像素值加到從逆正交變換單元30提供的數(shù)據(jù)，獲得幀內畫面的解碼圖像，并且提供到幀存儲器32。幀存儲器32暫時存儲從計算單元31提供的解碼圖像，并且根據(jù)需要將該解碼圖像提供到幀內預測單元33和運動預測/運動補償單元34，作為用于生成預測圖像的參考圖像。在幀內畫面內用作要在計算單元23處理的對象的部分(塊)附近的像素中，幀內預測單元33從已經存儲在幀存儲器32中的像素生成預測圖像，并且提供到計算單元23和 31。關于要經歷幀內編碼的畫面，如上所述，在預測圖像從幀內預測單元33提供到計算單元23的情況下，從由圖像分類緩沖器22提供的畫面減去從幀內預測單元33提供的預測圖像。此外，利用計算單元31，在計算單元23減去的預測圖像被加到從逆正交變換單元 30提供的數(shù)據(jù)。另一方面，要經歷幀間編碼的非幀內畫面從圖像分類緩沖器22提供到計算單元 23和運動預測/運動補償單元34。運動預測/運動補償單元34從幀存儲器32讀出在來自圖像分類緩沖器22的非幀內畫面的運動預測時要參考的解碼圖像的畫面作為參考圖像。此外，運動預測/運動補償單元34使用來自幀存儲器32的參考圖像檢測關于來自圖像分類緩沖器22的非幀內畫面的運動矢量。
隨后，運動預測/運動補償單元34通過使得參考圖像經歷根據(jù)運動矢量的運動補償生成非幀內畫面的預測圖像，并且提供到計算單元23和31。利用計算單元23，從由圖像分類緩沖器22提供的幀內畫面減去從幀內預測單元 33提供的預測圖像，此后，以與幀內畫面的情況相同的方式執(zhí)行編碼。注意，作為幀內預測單元33生成預測圖像的模式的幀內預測模式從幀內預測單元33提供到無損編碼單元26。此外，在運動預測/運動補償單元34獲得的運動矢量和作為用于運動預測/運動補償單元34執(zhí)行運動補償?shù)哪Ｊ降倪\動補償預測模式，從運動預測 /運動補償單元34提供到無損編碼單元26。利用無損編碼單元26，除了幀內預測模式、運動矢量和運動補償模式，解碼所需的信息(如每個畫面的畫面類型等)以無損方式編碼，并且包括在編碼數(shù)據(jù)的報頭中。通過標志設置單元12的視圖切換標志的設置的描述接著，參考圖3，將進行關于通過圖1中的標志設置單元12的視圖切換標志的設置的描述?，F(xiàn)在，假設要在圖1的編碼設備中編碼的立體圖像由圖3所示的場景#1、#2和#3 構成。此外，在將立體圖像顯示為2D圖像的情況下，假設立體圖像的制作者已經操作標志設置單元12以便選擇關于場景#1的用于左眼的圖像、關于場景#2的用于右眼的圖像和關于場景#3的用于左眼的圖像作為要顯示為2D圖像的圖像(以下也稱為“呈現(xiàn)圖像”)。在該情況下，標志設置單元12例如設置0作為關于場景#1和#3的視圖切換標志， 0是用于指定用于左眼的圖像作為呈現(xiàn)圖像的值。此外，標志設置單元12例如設置1作為關于場景#2的視圖切換標志，1是用于指定用于右眼的圖像作為呈現(xiàn)圖像的值。相應地，這里可以采用一位標志作為視圖切換標志。這里，場景是一個或多個(連續(xù)的)畫面(組)，并且例如從緊接在場景改變后的畫面到緊接在下一場景改變前的畫面、GOP等可以當作一個場景。注意，為了使得能夠對每個場景選擇呈現(xiàn)圖像，利用圖1中的編碼單元111，在通過AVC/H. 264系統(tǒng)執(zhí)行編碼的情況下，將場景的頭部畫面編碼為IDR畫面。同樣適用于編碼單元Il2O此外，利用在圖1的編碼設置單元12的視圖切換標志的設置，例如，可以對每個場景設置一個視圖切換標志，或者可以對每個畫面設置一個場景切換標志。相應地，關于場景的視圖切換標志的設置可以通過對場景設置一個視圖切換標志來執(zhí)行，或者可以通過對構成場景的每個畫面設置視圖切換標志來執(zhí)行。注意，利用圖1中的生成單元13，例如視圖切換標志包括在復用數(shù)據(jù)的系統(tǒng)層或畫面層的報頭等中。具體地，例如視圖切換標志可以包括在例如作為用戶數(shù)據(jù)的SEI (補充增強信息)中。編碼設備的處理的描述將參考圖4描述圖1中的編碼設備的處理(編碼處理)。利用圖1中的編碼設備，在立體圖像的制作者操作標志設置單元12時，在步驟 S11，標志設置單元12根據(jù)立體圖像的制作者的操作，對于立體圖像的每個場景設置視圖切換標志，并且提供到生成單元13。隨后，在等待作為立體圖像的圖像數(shù)據(jù)的用于左眼的視點圖像數(shù)據(jù)和用于右眼的視點圖像數(shù)據(jù)提供到編碼設備后，處理從步驟Sll進行到步驟S12，其中編碼單元Il1和Il2 執(zhí)行編碼。具體地，編碼單元Il1編碼用于左眼的視點圖像數(shù)據(jù)，并且將作為其結果獲得的用于左眼的編碼數(shù)據(jù)提供到生成單元13。此外，編碼單元Il2編碼用于右眼的視點圖像數(shù)據(jù)， 并且將作為其結果獲得的用于右眼的編碼數(shù)據(jù)提供到生成單元13。隨后，處理從步驟S12進行到步驟S13，其中生成單元13復用來自編碼單元Il1的用于左眼的編碼數(shù)據(jù)和來自編碼單元Ii2的用于右眼的編碼數(shù)據(jù)，以便獲得復用數(shù)據(jù)。此外，生成單元13將來自標志設置單元12的視圖切換標志包括在復用數(shù)據(jù)的報頭中，并且輸出復用數(shù)據(jù)。隨后，處理從步驟S13進行到步驟S14，其中編碼設備確定是否存在要編碼的立體圖像的圖像數(shù)據(jù)，并且在確定存在圖像數(shù)據(jù)的情況下，處理返回步驟S12，此后重復步驟 S12到步驟S14中的處理。這里，例如以對其設置視圖切換標志的場景等為增量執(zhí)行步驟S12到S14的處理。另一方面，在步驟S14中確定不存在要編碼的立體圖像的圖像數(shù)據(jù)的情況下，編碼設備結束編碼處理。如上所述，包括生成單元13輸出的復用數(shù)據(jù)(即，從立體圖像的圖像數(shù)據(jù)編碼的編碼數(shù)據(jù))和視圖切換標志的位流例如經由傳輸介質傳輸，或者記錄在記錄介質中。解碼設備的第一實施例圖5是圖示對其應用本發(fā)明的解碼設備的第一實施例的配置示例的框圖。在圖5中，解碼設備解碼圖1中的編碼設備輸出的復用數(shù)據(jù)。具體地，在圖5中，解碼設備由提取單元41、大于1的兩個解碼單元4 和422、立體視覺圖像變換單元43、選擇單元44和解碼單元45配置。提取單元41從復用數(shù)據(jù)提取視圖切換標志，并且提供到選擇單元44。此外，提取單元41從復用數(shù)據(jù)中分離(逆復用)用于左眼的編碼數(shù)據(jù)和用于右眼的編碼數(shù)據(jù)，并且分別將用于左眼的編碼數(shù)據(jù)提供到解碼單元42i，將用于右眼的編碼數(shù)據(jù)提供到解碼單元422。此外，提取單元41將用于左眼的編碼數(shù)據(jù)和用于右眼的編碼數(shù)據(jù)提供到選擇單元44。解碼單元4 解碼來自提取單元41的用于左眼的編碼數(shù)據(jù)，并且將作為其結果獲得的用于左眼的視點圖像數(shù)據(jù)提供到立體視覺圖像變換單元43。解碼單元4 解碼來自提取單元41的用于右眼的編碼數(shù)據(jù)，并且將作為其結果獲得的用于右眼的視點圖像數(shù)據(jù)提供到立體視覺圖像變換單元43。立體視覺圖像變換單元43將來自解碼單元42i的用于左眼的視點圖像數(shù)據(jù)和來自解碼單元4 的用于右眼的視點圖像數(shù)據(jù)變換為用于立體視覺的立體視覺圖像數(shù)據(jù)，其具有可以在用于立體視覺的設備上處理的格式，并且提供到未示出的用于立體視覺的設備。選擇單元44以其中設置了視圖切換標志的場景或畫面等為增量，根據(jù)同樣從提
12取單元41提供的視圖切換標志，選擇從提取單元41提供的用于左眼的編碼數(shù)據(jù)和用于右眼的編碼數(shù)據(jù)之一，作為用于2D圖像的顯示的圖像數(shù)據(jù)的編碼數(shù)據(jù)，并且提供到解碼單元 45。解碼單元45解碼從選擇單元44提供的編碼數(shù)據(jù)(用于左眼的編碼數(shù)據(jù)或用于右眼的編碼數(shù)據(jù))，并且將作為其結果獲得的圖像數(shù)據(jù)(用于左眼的視點圖像數(shù)據(jù)或用于右眼的視點圖像數(shù)據(jù))提供到未示出的2D顯示設備。注意，在圖5中，選擇單元44配置為選擇來自提取單元41的作為解碼前數(shù)據(jù)的用于左眼的編碼數(shù)據(jù)或用于右眼的編碼數(shù)據(jù)，但是除此以外，例如，可以在選擇單元44選擇解碼后數(shù)據(jù)，即在解碼單元42i獲得的用于左眼的視點圖像數(shù)據(jù)或在解碼單元442獲得的用于右眼的視點圖像數(shù)據(jù)。在該情況下，圖5中的解碼設備可以配置為不提供解碼單元45。 同樣對于稍后描述的圖16也適用。解碼單元42i的配置示例圖6是圖示圖5中的解碼單元42i的配置示例的框圖。注意，圖5中的解碼單元422和45同樣以與解碼單元42i相同的方式配置。解碼單元42i例如是用于解碼在圖像信息編碼設備獲得的編碼數(shù)據(jù)的圖像信息解碼設備，該圖像信息編碼設備通過正交變換(如離散余弦變換、Karhimen-Lc^ve變換等)和運動補償實現(xiàn)圖像壓縮。要解碼的編碼數(shù)據(jù)提供到累積緩沖器51。累積緩沖器51暫時存儲對其提供的編碼數(shù)據(jù)，并且提供到無損代碼解碼單元52。無損代碼解碼單元52使得來自累積緩沖器51的編碼數(shù)據(jù)基于該編碼數(shù)據(jù)的格式經歷如可變長度解碼、算術解碼等的處理，從而獲得圖像解碼所需的解碼信息，如量化值和編碼數(shù)據(jù)的報頭中包括的幀內預測模式、運動矢量、運動補償預測模式，此外，還有每個畫面的畫面類型等。在無損代碼解碼單元52獲得的量化值提供到逆量化單元53，并且?guī)瑑阮A測模式提供到幀內預測單元57。此外，在無損代碼解碼單元52獲得的運動矢量(MV)、運動補償預測模式和畫面類型提供到運動預測/運動補償單元58。逆量化單元53、逆正交變換單元54、計算單元55、幀存儲器56、幀內預測單元57 和運動預測/運動補償單元58分別執(zhí)行與圖2中的逆量化單元29、逆正交變換單元30、計算單元31、幀存儲器32、幀內預測單元33和運動預測/運動補償單元34相同的處理，從而解碼圖像(獲得解碼圖像)。具體地，逆量化單元53將來自無損代碼解碼單元52的量化值逆量化為變換系數(shù)， 并且提供到逆正交變換單元54。逆正交變換單元54使得來自逆量化單元53的變換系數(shù)經歷逆正交變換，并且提供到計算單元55。在從逆正交變換單元54提供的數(shù)據(jù)中，關于幀內畫面的數(shù)據(jù)，計算單元55通過根據(jù)需要加上從幀內預測單元57提供的預測圖像的像素值，獲得幀內畫面的解碼圖像。此外，在從逆正交變換單元54提供的數(shù)據(jù)中，關于非幀內畫面的數(shù)據(jù)，計算單元55通過加上從運動預測/運動補償單元58提供的預測圖像的像素值，獲得非幀內畫面的解碼圖像。在計算單元55獲得的解碼圖像根據(jù)需要提供到幀存儲器56，并且還根據(jù)需要提供到圖像分類緩沖器59。幀存儲器56暫時存儲從計算單元55提供的解碼圖像，并且將該解碼圖像提供到幀內預測單元57和運動預測/運動補償單元34，作為用于生成預測圖像的參考圖像。在要在計算單元55處理的數(shù)據(jù)是幀內畫面的數(shù)據(jù)的情況下，幀內預測單元57根據(jù)需要使用來自幀存儲器56的用作參考圖像的解碼圖像來生成該幀內畫面的預測圖像， 并且提供到計算單元55。具體地，幀內預測單元57根據(jù)來自無損代碼解碼單元52的幀內預測模式，從用作要在計算單元55處理的對象的部分(塊)附近的像素中的已經存儲在幀存儲器56中的像素生成預測圖像，并且提供到計算單元55。另一方面，在要在計算單元55處理的數(shù)據(jù)是非幀內畫面的數(shù)據(jù)的情況下，運動預測/運動補償單元58生成該非幀內畫面的預測圖像，并且提供到計算單元55。具體地，運動預測/運動補償單元58根據(jù)來自無損代碼解碼單元52的畫面類型等，從幀存儲器56讀出用于生成預測圖像的解碼圖像的畫面作為參考圖像。此外，運動預測/運動補償單元58根據(jù)來自無損代碼解碼單元52的運動矢量和運動補償預測模式，使得來自幀存儲器56的參考圖像經歷運動補償，從而生成預測圖像，并且提供到計算單元 55。利用計算單元55，如上所述，通過將從幀內預測單元57或運動預測/運動補償單元58提供的預測圖像加到從逆正交變換單元54提供的數(shù)據(jù)，解碼畫面(的像素值)。圖像分類緩沖器59暫時存儲并讀出來自計算單元55的畫面(解碼圖像)，從而將畫面的行分類為原始行，并且提供到D/A (數(shù)字/模擬)轉換單元60。在需要使用模擬信號從圖像分類緩沖器59輸出解碼圖像的情況下，D/A轉換單元 60使得該解碼圖像經歷D/A轉換，并且輸出它。在顯示2D圖像的情況下的解碼設備的處理接著，將參考圖7描述在將立體圖像顯示為2D圖像的情況下圖5中的解碼設備的處理。注意，在圖7中，I表示I (幀內)畫面，并且P表示P(預測)畫面。圖7的A圖示圖5中的提取單元41輸出的用于左眼的編碼數(shù)據(jù)和用于右眼的編碼數(shù)據(jù)。在用于左眼的編碼數(shù)據(jù)的情況下，場景的頭部畫面是I畫面(IDR畫面)，并且其它畫面是P畫面。同樣適用于用于右眼的編碼數(shù)據(jù)。圖7的B圖示復用圖7的A中的用于左眼的編碼數(shù)據(jù)和用于右眼的編碼數(shù)據(jù)的狀態(tài)下的復用數(shù)據(jù)。在圖7的B中，對于每個場景復用用于左眼的編碼數(shù)據(jù)和用于右眼的編碼數(shù)據(jù)。此外，在圖7的B中，對場景設置的視圖切換標志包括在復用數(shù)據(jù)中。在圖7的B中，對場景 #1設置其值為0的視圖切換標志，并且對場景#2設置其值為1的視圖切換標志。圖7的C圖示要顯示為2D圖像的畫面。對場景#1設置其值為0的視圖切換標志，并且在該情況下，圖5中的選擇單元44 選擇從提取單元41提供的用于左眼的編碼數(shù)據(jù)或用于右眼的編碼數(shù)據(jù)中的用于左眼的編碼數(shù)據(jù)，并且提供到解碼單元45。
相應地，在該情況下，關于場景#1，在2D顯示設備上顯示對應于通過解碼用于左眼的編碼數(shù)據(jù)獲得的圖像數(shù)據(jù)的用于左眼的圖像。另一方面，對場景#2設置其值為1的視圖切換標志，并且在該情況下，選擇單元44 選擇從提取單元41提供的用于左眼的編碼數(shù)據(jù)或用于右眼的編碼數(shù)據(jù)中的用于右眼的編碼數(shù)據(jù)，并且提供到解碼單元45。相應地，在該情況下，關于場景#2，在2D顯示設備上顯示對應于通過解碼用于右眼的編碼數(shù)據(jù)獲得的圖像數(shù)據(jù)的用于右眼的圖像。解碼設備的處理的描述將參考圖8A和圖8B描述圖5中的解碼設備的處理(解碼處理)。圖8A是用于描述在執(zhí)行立體視覺圖像的顯示的情況下圖5中的解碼設備的解碼處理的流程圖。在執(zhí)行立體視覺圖像的顯示的情況下，在步驟S21中，提取單元41從對其提供的復用數(shù)據(jù)分離用于左眼的編碼數(shù)據(jù)和用于右眼的編碼數(shù)據(jù)。此外，提取單元41分別將用于左眼的編碼數(shù)據(jù)提供到解碼單元42i，將用于右眼的編碼數(shù)據(jù)提供到解碼單元422，并且處理從步驟S21進行到步驟S22。在步驟S22，解碼復用成復用數(shù)據(jù)的所有編碼數(shù)據(jù)，并且處理進行到步驟S23。具體地，解碼單元42i解碼來自提取單元41的用于左眼的編碼數(shù)據(jù)，并且將作為其結果獲得的用于左眼的視點圖像數(shù)據(jù)提供到立體視覺圖像變換單元43。此外，解碼單元 422解碼來自提取單元41的用于右眼的編碼數(shù)據(jù)，并且將作為其結果獲得的用于右眼的視點圖像數(shù)據(jù)提供到立體視覺圖像變換單元43。在步驟S23，立體視覺圖像變換單元43將來自解碼單元42i的用于左眼的視點圖像數(shù)據(jù)和來自解碼單元422的用于右眼的視點圖像數(shù)據(jù)變換為立體視覺圖像數(shù)據(jù)，提供給用于立體視覺的未示出設備，并且處理進行到步驟S24。在步驟S24，提取單元41確定是否還存在未處理的復用數(shù)據(jù)，并且確定還存在未處理的復用數(shù)據(jù)時，處理返回到步驟S21，此后重復步驟S21到S24的處理。此外，在步驟S24確定不存在未處理的復用數(shù)據(jù)時，解碼設備結束解碼處理。圖8B是用于描述在執(zhí)行2D圖像的顯示的情況下圖5中的解碼設備的解碼處理的流程圖。在執(zhí)行2D圖像的顯示的情況下，在步驟S31，提取單元41從對其提供的復用數(shù)據(jù)提取視圖切換標志，提供到選擇單元44，并且處理進行到步驟S32。在步驟S32，提取單元41從復用數(shù)據(jù)分離用于左眼的編碼數(shù)據(jù)和用于右眼的編碼數(shù)據(jù)，提供到選擇單元44，并且處理進行到步驟S33。在步驟S33，選擇單元44確定來自提取單元41的視圖切換標志是0或1。在步驟S33中確定視圖切換標志是0的情況下，即，在將用于左眼的圖像數(shù)據(jù)指定為要用于2D圖像的顯示的圖像數(shù)據(jù)的情況下，處理進行到步驟S34，其中選擇單元44在來自提取單元41的用于左眼的編碼數(shù)據(jù)或用于右眼的編碼數(shù)據(jù)中選擇用于左眼的編碼數(shù)據(jù)作為選擇的編碼數(shù)據(jù)，提供到解碼單元45，并且處理進行到步驟S36。在該情況下，在步驟S36，解碼單元45解碼從選擇單元44提供的用于左眼的編碼數(shù)據(jù)(選擇的編碼數(shù)據(jù))，將作為其結果獲得的用于左眼的視點圖像數(shù)據(jù)提供到未示出的2D顯示設備，并且處理進行到步驟S37。相應地，在該情況下，在2D顯示設備上顯示對應于用于左眼的視點圖像數(shù)據(jù)的用于左眼的圖像作為2D圖像。另一方面，在步驟S33中確定視圖切換標志是1的情況下，即，在將用于右眼的圖像數(shù)據(jù)指定為要用于2D圖像的顯示的圖像數(shù)據(jù)的情況下，處理進行到步驟S35，其中選擇單元44在來自提取單元41的用于左眼的編碼數(shù)據(jù)或用于右眼的編碼數(shù)據(jù)中選擇用于右眼的編碼數(shù)據(jù)作為選擇的編碼數(shù)據(jù)，提供到解碼單元45，并且處理進行到步驟S36。在該情況下，在步驟S36，解碼單元45解碼從選擇單元44提供的用于右眼的編碼數(shù)據(jù)(選擇的編碼數(shù)據(jù))，將作為其結果獲得的用于右眼的視點圖像數(shù)據(jù)提供到未示出的 2D顯示設備，并且處理進行到步驟S37。相應地，在該情況下，在2D顯示設備上顯示對應于用于右眼的視點圖像數(shù)據(jù)的用于右眼的圖像作為2D圖像。在步驟S37，提取單元41確定是否存在未處理的復用數(shù)據(jù)，并且在確定存在未處理的復用數(shù)據(jù)的情況下，處理返回步驟S31，此后重復步驟S31到S37的處理。這里，以其中設置視圖切換標志的場景等為增量執(zhí)行步驟S31到S37的處理。另一方面，在步驟S37中確定不存在未處理的復用數(shù)據(jù)時，解碼設備結束解碼處理。如上所述，利用圖1中的編碼設備，生成復用數(shù)據(jù)，其包括作為兩個視點的圖像數(shù)據(jù)的用于左眼的視點圖像數(shù)據(jù)和用于右眼的視點圖像數(shù)據(jù)、以及視圖切換標志。隨后，利用圖5中的解碼設備，從該復用數(shù)據(jù)提取視圖切換標志，并且根據(jù)該視圖切換標志，以場景等為增量，從用于左眼的視點圖像數(shù)據(jù)和用于右眼的視點圖像數(shù)據(jù)中選擇用于2D圖像的顯示的圖像數(shù)據(jù)。相應地，可以以場景等為增量，通過視圖切換標志指定用于2D圖像的顯示的圖像數(shù)據(jù)，并且相應地，在將立體圖像內容顯示為2D圖像的情況下，在用于左眼的圖像或用于右眼的圖像中，可以以場景等為增量，顯示內容制作者想要的圖像。注意，視圖切換標志是用于指定要用于2D圖像的顯示的圖像數(shù)據(jù)的標志，但是利用圖5中的解碼設備，根據(jù)視圖切換標志，將要顯示為2D圖像的圖像切換為用于左眼的圖像或用于右眼的圖像。相應地，利用圖5中的解碼設備，視圖切換標志用作用于切換要顯示為2D圖像的圖像的標志。第二實施例編碼設備的第二實施例圖9是圖示對其應用本發(fā)明的編碼設備的第二實施例的配置示例的框圖。注意，在圖中，對應于圖1的情況的部分用相同參考標號表示，此后，將適當?shù)厥÷云涿枋?。圖9中的編碼設備與圖1的情況共同之處是編碼設備包括編碼單元Il1和Il2、標志設置單元12、和生成單元13，但與圖1的情況不同在于該編碼設備還包括切換單元71。立體圖像的用于左眼的視點圖像數(shù)據(jù)和用于右眼的視點圖像數(shù)據(jù)提供到切換單元71。此外，視圖切換標志從標志設置單元12提供到切換單元71。
切換單元71根據(jù)來自標志設置單元12的視圖切換標志，切換作為兩個視點的圖像數(shù)據(jù)的用于左眼的視點圖像數(shù)據(jù)和用于右眼的視點圖像數(shù)據(jù)中的一個視點的圖像數(shù)據(jù)和另一個視點的圖像數(shù)據(jù)，從而將兩個視點的圖像數(shù)據(jù)變換為一條基本圖像數(shù)據(jù)和一條額外圖像數(shù)據(jù)，該基本圖像數(shù)據(jù)是用于2D圖像的顯示的圖像數(shù)據(jù)，該額外圖像數(shù)據(jù)是不用于 2D圖像的顯示的圖像數(shù)據(jù)。注意，切換單元71將基本圖像數(shù)據(jù)提供到編碼單元Il1,并且將額外圖像數(shù)據(jù)提供到編碼單元Il2。因此，在圖9中，編碼單元Il1編碼來自切換單元71的基本圖像數(shù)據(jù)而不是用于左眼的視點圖像數(shù)據(jù)，并且將作為其結果獲得的編碼數(shù)據(jù)(以下也稱為“基本編碼數(shù)據(jù)”)提供到生成單元13。此外，編碼單元Il2編碼來自切換單元71的額外圖像數(shù)據(jù)而不是用于右眼的視點圖像數(shù)據(jù)，并且將作為其結果獲得的編碼數(shù)據(jù)(以下也稱為“額外編碼數(shù)據(jù)”)提供到生成單元13。隨后，生成單元13復用來自編碼單元Il1的基本編碼數(shù)據(jù)和來自編碼單元Il2的額外編碼數(shù)據(jù)以獲得復用數(shù)據(jù)，并且將來自標志設置單元12的視圖切換標志包括在該復用數(shù)據(jù)的報頭等中。也就是說，在圖9中，在生成單元13獲得的復用數(shù)據(jù)包括基本圖像數(shù)據(jù)、額外圖像數(shù)據(jù)和視圖切換標志。切換單元71的處理的描述將參考圖10描述圖9中的切換單元71的處理?，F(xiàn)在，假設要在圖9中的編碼設備中編碼的立體圖像由圖3所示的場景#1、#2和 #3構成。此外，在將立體圖像顯示為2D圖像的情況下，假設立體圖像的制作者已經操作標志設置單元12，以便選擇關于場景#1的用于左眼的圖像、關于場景#2的用于右眼的圖像和關于場景#3的用于左眼的圖像的每個作為要顯示為2D圖像的圖像(呈現(xiàn)圖像)。在該情況下，標志設置單元12例如設置0作為關于場景#1和#3的視圖切換標志， 0是用于指定用于左眼的圖像作為呈現(xiàn)圖像的值。此外，標志設置單元12例如設置1作為關于場景#2的視圖切換標志，1是用于指定用于右眼的圖像作為呈現(xiàn)圖像的值。這里，上述描述與圖3中的描述相同。如上所述，切換單元71根據(jù)視圖切換標志，切換作為兩個視點的圖像數(shù)據(jù)的用于左眼的視點圖像數(shù)據(jù)和用于右眼的視點圖像數(shù)據(jù)中的一個視點的圖像數(shù)據(jù)和另一個視點的圖像數(shù)據(jù)，從而將兩個視點的圖像數(shù)據(jù)變換為一條基本圖像數(shù)據(jù)和一條額外圖像數(shù)據(jù)， 該基本圖像數(shù)據(jù)是用于2D圖像的顯示的圖像數(shù)據(jù)，該額外圖像數(shù)據(jù)是不用于2D圖像的顯示的圖像數(shù)據(jù)。也就是說，在作為用于左眼的一個視點的圖像數(shù)據(jù)的用于左眼的視點圖像數(shù)據(jù)和用于右眼的視點圖像數(shù)據(jù)的場景中，切換單元71切換其中視圖切換標志沒有指定用于左眼的視點圖像數(shù)據(jù)的場景，即，關于其中指定用于右眼的視點圖像數(shù)據(jù)的場景，對于該場景，用于左眼的視點圖像數(shù)據(jù)與用于右眼的視點圖像數(shù)據(jù)切換(手動切換用于左眼的視點圖像數(shù)據(jù)和用于右眼的視點圖像數(shù)據(jù))。在圖10中，在用于左眼的視點圖像數(shù)據(jù)的場景#1到#3中，場景#2是其中通過視圖切換標志指定用于右眼的視點圖像數(shù)據(jù)的場景，相應地，在用于左眼的視點圖像數(shù)據(jù)的場景#1到#3中，場景#2的數(shù)據(jù)與用于右眼的視點圖像數(shù)據(jù)的場景#2的數(shù)據(jù)切換，并且該切換后的圖像數(shù)據(jù)當作基本圖像數(shù)據(jù)。隨后，在用于右眼的視點圖像數(shù)據(jù)的場景#1到#3中，場景#2的數(shù)據(jù)與用于左眼的視點圖像數(shù)據(jù)的場景#2的數(shù)據(jù)切換，并且該切換后的圖像數(shù)據(jù)當作額外圖像數(shù)據(jù)。在該情況下，在基本圖像數(shù)據(jù)的情況下，場景#1和#3的數(shù)據(jù)是用于左眼的視點圖像數(shù)據(jù)，并且場景#2的數(shù)據(jù)是用于右眼的視點圖像數(shù)據(jù)?；緢D像數(shù)據(jù)是通過視圖切換標志指定為用于2D圖像的顯示的圖像數(shù)據(jù)。相應地，在將立體圖像顯示為2D圖像的情況下，顯示對應于基本圖像數(shù)據(jù)的圖像，從而可以以場景等為增量顯示內容制作者想要的內容的圖像。另一方面，在額外圖像數(shù)據(jù)的情況下，場景#1和#3的數(shù)據(jù)是用于右眼的視點圖像數(shù)據(jù)，并且#2的數(shù)據(jù)是用于左眼的視點圖像數(shù)據(jù)。額外圖像數(shù)據(jù)不用于2D圖像的顯示，并且在顯示立體視覺圖像(立體圖像)時與基本圖像數(shù)據(jù)一起使用。編碼設備的處理的描述將參考圖11描述圖9中的編碼設備的處理(編碼處理)。利用圖9的編碼設備，在通過立體圖像的制作者操作標志設置單元12時，在步驟 S51，標志設置單元12根據(jù)立體圖像的制作者的操作，對于立體圖像的每個場景設置視圖切換標志，并且提供到生成單元13和切換單元71。隨后，在等待作為立體圖像的圖像數(shù)據(jù)的用于左眼的視點圖像數(shù)據(jù)和用于右眼的視點圖像數(shù)據(jù)提供到編碼設備后，處理從步驟S51進行到步驟S52，其中切換單元71根據(jù)如圖10所示的來自標志設置單元12的視圖切換標志，切換用于左眼的視點圖像數(shù)據(jù)和用于右眼的視點圖像數(shù)據(jù)，從而將用于左眼的視點圖像數(shù)據(jù)和用于右眼的圖像數(shù)據(jù)轉換為一條基本圖像數(shù)據(jù)和一條額外圖像數(shù)據(jù)(從用于左眼的視點圖像數(shù)據(jù)和用于右眼的圖像數(shù)據(jù)生成基本圖像數(shù)據(jù)和額外圖像數(shù)據(jù))。注意，這里已經進行了描述，其中用于左眼的視點圖像數(shù)據(jù)和用于右眼的視點圖像數(shù)據(jù)切換，從而將用于左眼的視點圖像數(shù)據(jù)和用于右眼的圖像數(shù)據(jù)變換為基本圖像數(shù)據(jù)和額外圖像數(shù)據(jù)，但是相反地，可以進行這樣的安排，其中用于右眼的視點圖像數(shù)據(jù)和用于左眼的圖像數(shù)據(jù)切換，從而將用于左眼的視點圖像數(shù)據(jù)和用于右眼的圖像數(shù)據(jù)變換為基本圖像數(shù)據(jù)和額外圖像數(shù)據(jù)。此外，例如可以以與其中設置視圖切換標志的增量相同的場景增量，執(zhí)行用于左眼的視點圖像數(shù)據(jù)和用于右眼的圖像數(shù)據(jù)之間的切換。在步驟S52的處理后，切換單元71將基本圖像數(shù)據(jù)提供到編碼單元Il1,并且還將額外圖像數(shù)據(jù)提供到編碼單元112。隨后，處理順序進行到步驟S53到S55，其中執(zhí)行與圖4中的步驟S12到S14的情況相同的處理。具體地，在步驟S53，編碼單元Il1編碼來自切換單元71的基本圖像數(shù)據(jù)，并且將作為其結果獲得的基本編碼數(shù)據(jù)提供到生成單元13。此外，在步驟S53，編碼單元Il2編碼來自切換單元71的額外圖像數(shù)據(jù)，并且將作為其結果獲得的額外編碼數(shù)據(jù)提供到生成單元13，并且處理進行到步驟S54。在步驟S54，生成單元13復用來自編碼單元Il1的基本編碼數(shù)據(jù)和來自編碼單元 Il2的額外編碼數(shù)據(jù)以獲得復用數(shù)據(jù)。此外，生成單元13將來自標志設置單元12的視圖切換標志包括在復用數(shù)據(jù)的報頭中，并且輸出復用數(shù)據(jù)。隨后，處理從步驟S54進行到步驟S55，其中編碼設備確定是否存在要編碼的立體圖像的圖像數(shù)據(jù)，并且在確定存在要編碼的立體圖像的圖像數(shù)據(jù)的情況下，處理返回步驟 S52，并且此后重復步驟S52到S55中處理。另一方面，在步驟S55中確定不存在要編碼的立體圖像的圖像數(shù)據(jù)的情況下，編碼設備結束編碼處理。如上所述，包括生成單元13輸出的復用數(shù)據(jù)(即，從由立體圖像的圖像數(shù)據(jù)變換的基本圖像數(shù)據(jù)和額外圖像數(shù)據(jù)(編碼的編碼數(shù)據(jù)))和視圖切換標志的位流例如經由傳輸介質傳輸，或者記錄在記錄介質中。解碼設備的第二實施例圖12是圖示對其應用本發(fā)明的解碼設備的第二實施例的配置示例的框圖。注意，在圖中，對應于圖5的情況的部分用相同參考標號表示，并且此后將適當?shù)厥÷云涿枋?。圖12中的解碼設備與圖5的情況的共同之處在于解碼設備包括提取單元41、解碼單元42i和422、以及立體視覺圖像變換單元43。然而，圖12的解碼設備與圖5的情況不同在于既不提供圖5中的選擇單元44，也不提供解碼單元45，并且新提供恢復單元81。在圖12中，解碼設備解碼圖9中的編碼設備輸出的復用數(shù)據(jù)。這里，圖9中的編碼設備輸出的復用數(shù)據(jù)包括基本編碼數(shù)據(jù)和額外編碼數(shù)據(jù)，而不是用于左眼的編碼數(shù)據(jù)和用于右眼的編碼數(shù)據(jù)。因此，利用圖12的解碼設備，提取單元41從復用數(shù)據(jù)分離基本編碼數(shù)據(jù)和額外編碼數(shù)據(jù)。隨后，提取單元41分別將基本編碼數(shù)據(jù)提供到解碼單元421;將額外編碼數(shù)據(jù)提供到解碼單元422。解碼單元42i解碼來自提取單元41的基本編碼數(shù)據(jù)而不是用于左眼的編碼數(shù)據(jù)。 此外，解碼單元422解碼來自提取單元41的額外編碼數(shù)據(jù)而不是用于右眼的編碼數(shù)據(jù)。通過解碼單元42i解碼基本編碼數(shù)據(jù)獲得的基本圖像數(shù)據(jù)和通過解碼單元422解碼額外編碼數(shù)據(jù)獲得的額外圖像數(shù)據(jù)提供到恢復單元81。這里，在將立體圖像顯示為2D圖像的情況下，通過解碼單元42i解碼基本編碼數(shù)據(jù)獲得的基本圖像數(shù)據(jù)提供到未示出的2D顯示設備。隨后，在2D顯示設備上顯示對應來自解碼單元42i的基本圖像數(shù)據(jù)的圖像。如上所述，基本圖像數(shù)據(jù)從解碼單元42i提供到恢復單元81，并且還從解碼單元 422提供額外圖像數(shù)據(jù)，此外，從復用數(shù)據(jù)提取的視圖切換標志從提取單元41提供。恢復單元81根據(jù)來自提取單元41的視圖切換標志，在來自解碼單元42i的基本圖像數(shù)據(jù)和來自解碼單元422的額外圖像數(shù)據(jù)之間切換，從而將基本圖像數(shù)據(jù)和額外圖像數(shù)據(jù)變換為原始的用于左眼的圖像數(shù)據(jù)和用于右眼的圖像數(shù)據(jù)。
具體地，恢復單元81根據(jù)來自提取單元41的視圖切換標志，將基本圖像數(shù)據(jù)和額外圖像數(shù)據(jù)作為對象，執(zhí)行圖9中的切換單元71的情況的逆切換，從而恢復用于左眼的圖像數(shù)據(jù)和用于右眼的圖像數(shù)據(jù)。隨后，恢復單元81將用于左眼的圖像數(shù)據(jù)和用于右眼的圖像數(shù)據(jù)提供到立體視覺圖像變換單元43。解碼設備的處理的描述將參考圖13A和圖13B描述圖12中的解碼設備的處理(解碼處理)。圖13A是用于描述在執(zhí)行立體視覺圖像的顯示的情況下圖12中的解碼設備的解碼處理的流程圖。在執(zhí)行立體視覺圖像的顯示的情況下，在步驟S61，提取單元61從對其提供的復用數(shù)據(jù)提取視圖切換標志，提供到恢復單元81，并且處理進行到步驟S62。在步驟S62，提取單元41從復用數(shù)據(jù)分離基本編碼數(shù)據(jù)和額外編碼數(shù)據(jù)，分別將基本編碼數(shù)據(jù)提供到解碼單元42i，將額外編碼數(shù)據(jù)提供到解碼單元422，并且處理進行到步驟S63。在步驟S63，解碼復用數(shù)據(jù)中復用的所有編碼數(shù)據(jù)，并處理進行到步驟S64。具體地，解碼單元42i解碼來自提取單元41的基本編碼數(shù)據(jù)，并且將作為其結果獲得的基本圖像數(shù)據(jù)提供到恢復單元81。此外，解碼單元422解碼來自提取單元41的額外編碼數(shù)據(jù)，并且將作為其結果獲得的額外圖像數(shù)據(jù)提供到恢復單元81。在步驟S64，恢復單元81根據(jù)來自提取單元41的視圖切換標志，將基本圖像數(shù)據(jù)和額外圖像數(shù)據(jù)作為對象，執(zhí)行圖9中的切換單元71的情況的逆切換，從而恢復用于左眼的圖像數(shù)據(jù)和用于右眼的圖像數(shù)據(jù)。隨后，恢復單元81將用于左眼的圖像數(shù)據(jù)和用于右眼的圖像數(shù)據(jù)提供到立體視覺圖像變換單元43。隨后，處理順序地從步驟S64進行到步驟S65和S66，其中執(zhí)行與圖8A中的步驟 S23和S24的情況相同的處理。具體地，在步驟S65，立體視覺圖像變換單元43將來自恢復單元81的用于左眼的視點圖像數(shù)據(jù)和用于右眼的視點圖像數(shù)據(jù)變換為立體視覺圖像數(shù)據(jù)，提供到用于立體視覺的未示出設備，并且處理進行到步驟S66。在步驟S66，提取單元41確定是否存在未處理的復用數(shù)據(jù)，并且在確定存在未處理的復用數(shù)據(jù)的情況下，處理進行到步驟S61，此后重復步驟S61到S66的處理。此外，在步驟S66確定不存在未處理的復用數(shù)據(jù)的情況下，解碼設備結束解碼處理。圖13B是用于描述在執(zhí)行2D圖像的顯示的情況下圖12中的解碼設備的解碼處理的流程圖。在執(zhí)行2D圖像的顯示的情況下，在步驟S71，提取單元41從對其提供的復用數(shù)據(jù)分離基本編碼數(shù)據(jù)，提供到編碼單元421;并且處理進行到步驟S72。在步驟S72，解碼單元42i解碼從提取單元41提供的基本編碼數(shù)據(jù)，并且將作為其結果獲得的基本圖像數(shù)據(jù)提供到未示出的2D顯示設備。相應地，在2D顯示設備上顯示對應基本圖像數(shù)據(jù)的圖像作為2D圖像。
隨后，處理從步驟S72進行到步驟S73，其中提取單元41確定是否存在未處理的復用數(shù)據(jù)，并且在確定存在未處理的復用數(shù)據(jù)的情況下，處理返回步驟S71，此后重復步驟 S71到S73的處理。另一方面，在步驟S73中確定不存在未處理的復用數(shù)據(jù)時，解碼設備結束解碼處理。如上所述，利用圖9中的編碼設備，根據(jù)用于指定要用于2D圖像的顯示的圖像數(shù)據(jù)的視圖切換標志，用于左眼的圖像數(shù)據(jù)和用于右眼的圖像數(shù)據(jù)中的一個和另一個切換， 從而將用于左眼的圖像數(shù)據(jù)和用于右眼的圖像數(shù)據(jù)轉換為基本圖像數(shù)據(jù)和額外圖像數(shù)據(jù)， 并且生成包括基本圖像數(shù)據(jù)和額外圖像數(shù)據(jù)以及視圖切換標志的復用數(shù)據(jù)。相應地，利用圖12中的解碼設備，在將立體圖像內容顯示為2D圖像的情況下，在用于左眼的圖像和用于右眼的圖像中，通過顯示對應于基本圖像數(shù)據(jù)的圖像，可以以場景等為增量顯示內容的制作者想要的圖像。此外，利用圖12的解碼設備，從該復用數(shù)據(jù)提取視圖切換標志，并且根據(jù)該視圖切換標志，將基本圖像數(shù)據(jù)和額外圖像數(shù)據(jù)恢復為原始的用于左眼的視點圖像數(shù)據(jù)和用于右眼的視點圖像數(shù)據(jù)。相應地，可以在用于立體視覺的設備上顯示立體圖像。注意，視圖切換標志是用于指定用于2D圖像的顯示的圖像數(shù)據(jù)的標志，但是利用圖12的解碼設備，根據(jù)視圖切換標志，分別從基本圖像數(shù)據(jù)和額外圖像數(shù)據(jù)分離用于左眼的視點圖像數(shù)據(jù)和用于右眼的視點圖像數(shù)據(jù)。相應地，利用圖12的解碼設備，視圖切換標志用作在基本圖像數(shù)據(jù)和額外圖像數(shù)據(jù)中，分別指定用于左眼的視點圖像數(shù)據(jù)和用于右眼的視點圖像數(shù)據(jù)的標志。此外，利用圖9的編碼設備，作為立體圖像的圖像數(shù)據(jù)的用于左眼的視點圖像數(shù)據(jù)和用于右眼的視點圖像數(shù)據(jù)變換為基本圖像數(shù)據(jù)和額外圖像數(shù)據(jù)，然后編碼該基本圖像數(shù)據(jù)和額外圖像數(shù)據(jù)的每個。相應地，關于基本圖像數(shù)據(jù)的整體，可以通過采用編碼參數(shù)執(zhí)行編碼，以便抑制解碼圖像的圖像質量的劣化(量化參數(shù)、熵編碼系統(tǒng)等)。具體地，在編碼用于左眼的視點圖像數(shù)據(jù)和用于右眼的視點圖像數(shù)據(jù)的每個的情況下，即使關于用于左眼的圖像數(shù)據(jù)和用于右眼的圖像數(shù)據(jù)之一采用用于抑制解碼圖像的圖像質量的劣化的編碼參數(shù)，也不需要在解碼設備處抑制要顯示為2D圖像的圖像的整體的圖像質量的劣化。另一方面，利用圖9的編碼設備，為了編碼基本圖像數(shù)據(jù)和額外圖像數(shù)據(jù)的每個， 用于抑制解碼圖像的圖像質量的劣化的編碼參數(shù)被用于要用于2D圖像的顯示的基本圖像數(shù)據(jù)的編碼，從而可以在解碼設備處抑制要顯示為2D圖像的圖像的整體的圖像質量的劣化。如上所述，利用第一和第二實施例，已經將由作為兩個視點的圖像數(shù)據(jù)的用于左眼的視點圖像數(shù)據(jù)和用于右眼的視點圖像數(shù)據(jù)的構成的立體圖像的圖像數(shù)據(jù)當作要編碼的對象，但是可以采用超過兩個的N個視點的圖像數(shù)據(jù)作為要編碼的對象。因此，以下將描述其中將超過兩個的N個視點的圖像數(shù)據(jù)當作要編碼的對象的實施例。
第三實施例編碼設備的第三實施例圖14是圖示對其應用本發(fā)明的編碼設備的第三實施例的配置示例的框圖。注意，圖14中，對應圖1的情況的部分用相同參考標號表示，此后將適當?shù)厥÷云涿枋觥D14的編碼設備以與圖1的情況相同的方式配置，除了提供N個編碼單元Ilp Il2........Hn替代兩個編碼單元Il1和112。在圖14中，編碼設備編碼由N個(三個或更多)視點的圖像數(shù)據(jù)構成的立體視覺圖像的圖像數(shù)據(jù)(也下稱為視點圖像數(shù)據(jù))。也就是說，在立體視覺圖像的圖像數(shù)據(jù)中，作為第η個視點圖像數(shù)據(jù)的第η個視點圖像數(shù)據(jù)提供到編碼單元11η。編碼單元Iln根據(jù)預定編碼系統(tǒng)(例如如MPEG2、AVC/H. 264系統(tǒng)等)編碼對其提供的第η個視點圖像數(shù)據(jù)，并且將作為其結果獲得的編碼數(shù)據(jù)(以下也稱為“第η個視點編碼數(shù)據(jù)”)提供到生成單元13。例如，標志設置單元12響應于通過用戶(如立體視覺圖像的制作者)的操作設置視圖切換標志，其是用于在立體視覺圖像的N個視點的圖像數(shù)據(jù)中指定要用于顯示2D圖像的標志，并且提供到生成單元13。注意，在第一實施例和第二實施例的情況下，對于視圖切換標志，如上所述，可以采用一位標志，但是在第三實施例(和稍后描述的第四實施例)的情況下，對于視圖切換標志，可以采用其位數(shù)為Iog2N或更多的標志?，F(xiàn)在，在要用于2D圖像的顯示的圖像數(shù)據(jù)是第η個視點圖像數(shù)據(jù)的情況下，例如假設將視圖切換標志的值設為η-1。注意，在關于用來拍攝第η個視點圖像數(shù)據(jù)的相機的情況下，附加用于識別該相機的索引，關于用于指定第η個視點圖像數(shù)據(jù)作為用于2D圖像的顯示的圖像數(shù)據(jù)的視圖切換標志的值，可以采用用來拍攝該第η個視點圖像數(shù)據(jù)的相機的索引。生成單元13生成并輸出包括立體視覺圖像的圖像數(shù)據(jù)和視圖切換標志的位流。也就是說，生成單元13復用分別來自編碼單元Il1到IIn的第一視點編碼數(shù)據(jù)到第N視點編碼數(shù)據(jù)以獲得復用數(shù)據(jù)，并且將來自標志設置單元12的視圖切換標志包括在該復用數(shù)據(jù)的報頭等中。編碼設備的處理的描述將參考圖15描述圖14的編碼設備的處理(編碼處理)。利用圖14的編碼設備，在立體圖像的制作者操作標志設置單元12時，在步驟SlOl 中，根據(jù)立體視覺圖像的制作者的操作，標志設置單元12關于立體視覺圖像的每個場景設置視圖切換標志，并且提供到生成單元13。隨后，在等待將作為立體視覺圖像的圖像數(shù)據(jù)的第一視點圖像數(shù)據(jù)到第N視點圖像數(shù)據(jù)提供到編碼設備后，處理從步驟SlOl進行到步驟S102，其中編碼單元Il1到IIn執(zhí)行編碼。具體地，編碼單元Iln編碼第η個視點圖像數(shù)據(jù)，并且將作為其結果獲得的第η個視點編碼數(shù)據(jù)提供到生成單元13。
隨后，處理從步驟S102進行到步驟S103，其中生成單元13復用分別來自編碼單元 Il1到IIn的第一視點編碼數(shù)據(jù)到第N視點編碼數(shù)據(jù)以獲得復用數(shù)據(jù)。此外，生成單元13將來自標志設置單元12的視圖切換標志包括在復用數(shù)據(jù)的報頭中，并且輸出復用數(shù)據(jù)。隨后，處理從步驟S103進行到步驟S104，其中編碼設備確定是否存在要編碼的立體視覺圖像的圖像數(shù)據(jù)，并且在確定存在圖像數(shù)據(jù)的情況下，處理返回到步驟S102，此后重復步驟S102到S104的處理。另一方面，在步驟S104中確定不存在要編碼的立體視覺圖像的圖像數(shù)據(jù)的情況下，編碼設備結束編碼處理。以此方式，包括生成單元13輸出的復用數(shù)據(jù)(S卩，(從)由立體圖像的圖像數(shù)據(jù) (編碼的編碼數(shù)據(jù)))和視圖切換標志的位流例如經由傳輸介質傳輸，或者記錄在記錄介質中。解碼設備的第三實施例圖16是圖示對其應用本發(fā)明的解碼設備的第三實施例的配置示例的框圖。注意，在圖16中，對應于圖5的情況的部分用相同參考標號表示，并且此后將適當?shù)厥÷云涿枋?。圖16中的解碼設備以與圖5的情況相同的方式配置，除了提供N個解碼單元42p 422........42n替代解碼單元42i和422。在圖16中，解碼設備解碼圖14中的編碼設備輸出的復用數(shù)據(jù)。具體地，提取單元41從對其提供的復用數(shù)據(jù)提取視圖切換標志，并且提供到選擇單元44。此外，提取單元41從復用數(shù)據(jù)分離第一視點編碼數(shù)據(jù)到第N視點編碼數(shù)據(jù)，并且提供第η個視點編碼數(shù)據(jù)到解碼單元42η。此外，提取單元41將所有的第一視點編碼數(shù)據(jù)到第N視點編碼數(shù)據(jù)提供到選擇單元44。解碼單元42η解碼來自提取單元41的第η個視點編碼數(shù)據(jù)，并且將作為其結果獲得的第η個視點圖像數(shù)據(jù)提供到立體視覺圖像變換單元43。立體視覺圖像變換單元43將分別從解碼單元42i到42N提供的第一視點圖像數(shù)據(jù)到第N視點圖像數(shù)據(jù)變換為立體視覺圖像數(shù)據(jù)，并且提供到未示出的用于立體視覺的設備。根據(jù)從提取單元41提供的用于每個場景等的視圖切換標志，選擇單元44選擇類似地從提取單元41提供的第一視點編碼數(shù)據(jù)到第N視點編碼數(shù)據(jù)的一條作為要用于2D圖像的顯示的圖像數(shù)據(jù)的編碼數(shù)據(jù)，并且提供到解碼單元45作為選擇的編碼數(shù)據(jù)。解碼單元45解碼從選擇單元44提供的選擇的編碼數(shù)據(jù)，并且將作為其結果獲得的圖像數(shù)據(jù)(第一視點編碼數(shù)據(jù)到第N視點編碼數(shù)據(jù)之一)提供到未示出的2D顯示設備。解碼設備的處理的描述將參考圖17A和圖17B描述圖16的解碼設備的處理(解碼處理)。圖17A是用于描述在執(zhí)行立體視覺圖像的顯示的情況下圖16的解碼設備的解碼處理的流程圖。在執(zhí)行立體視覺圖像的顯示的情況下，在步驟Sl 11中，提取單元41從對其提供的復用數(shù)據(jù)分離第一視點編碼數(shù)據(jù)到第N視點編碼數(shù)據(jù)的每個。此外，提取單元41提供第η 個視點編碼數(shù)據(jù)到解碼單元42η，并且處理從步驟Slll進行到步驟Sl 12。在步驟S112，解碼復用成復用數(shù)據(jù)的所有的第一視點編碼數(shù)據(jù)到第N視點編碼數(shù)據(jù)，并且處理進行到步驟S113。具體地，解碼單元42η解碼來自提取單元41的第η個視點編碼數(shù)據(jù)，并且將作為其結果獲得的第η個視點圖像數(shù)據(jù)提供到立體視覺圖像變換單元43。在步驟S113，立體視覺圖像變換單元43將分別從解碼單元42i到42N提供的第一視點圖像數(shù)據(jù)到第N視點圖像數(shù)據(jù)變換為立體視覺圖像數(shù)據(jù)，并且提供到未示出的用于立體視覺的設備，并且處理進行到步驟S114。在步驟S114，提取單元41確定是否存在未處理的復用數(shù)據(jù)，并且在確定存在未處理的復用數(shù)據(jù)的情況下，處理返回步驟S111，此后重復步驟Slll到S114的處理。此外，在步驟S114中確定不存在未處理的復用數(shù)據(jù)時，解碼設備結束解碼處理。圖17B是用于描述在執(zhí)行2D圖像的顯示的情況下圖16中的解碼設備的解碼處理的流程圖。在執(zhí)行2D圖像的顯示的情況下，在步驟S121，提取單元41從對其提供的復用數(shù)據(jù)提取視圖切換標志，提供到選擇單元44，并且處理進行到步驟S122。在步驟S122，提取單元41從復用數(shù)據(jù)分離第一視點編碼數(shù)據(jù)到第N視點編碼數(shù)據(jù)，提供到選擇單元44，并且處理進行到步驟S123。在步驟S123，選擇單元44根據(jù)來自提取單元41的視圖切換標志，選擇來自提取單元41的第一視點編碼數(shù)據(jù)到第N視點編碼數(shù)據(jù)之一作為選擇的編碼數(shù)據(jù)。具體地，在來自提取單元41的視圖切換標志的值是n-1的情況下，在來自提取單元41的第一視點編碼數(shù)據(jù)到第N視點編碼數(shù)據(jù)中，選擇單元44選擇第η個視點編碼數(shù)據(jù)作為選擇的編碼數(shù)據(jù)。隨后，選擇單元44將選擇的編碼數(shù)據(jù)提供到解碼單元45，并且處理從步驟S123進行到步驟S124。在步驟S124，解碼單元45解碼從選擇單元44提供的選擇的編碼數(shù)據(jù)，將作為其結果獲得的圖像數(shù)據(jù)提供到未示出的2D顯示設備，并且處理進行到步驟S125。在步驟S125，提取單元41確定是否存在未處理的復用數(shù)據(jù)，并且在確定存在未處理的復用數(shù)據(jù)的情況下，處理返回步驟S121，此后重復步驟S121到S125的處理。另一方面，在步驟S125中確定不存在未處理的復用數(shù)據(jù)時，解碼設備結束解碼處理。以此方式，利用圖14中的編碼設備，生成復用數(shù)據(jù)，其包括作為N個視點的圖像數(shù)據(jù)的第一視點圖像數(shù)據(jù)到第N視點圖像數(shù)據(jù)、以及視圖切換標志。隨后，利用圖16中的解碼設備，從該復用數(shù)據(jù)提取視圖切換標志，并且根據(jù)該視圖切換標志，以場景等為增量，從第一視點圖像數(shù)據(jù)到第N視點圖像數(shù)據(jù)中選擇用于2D圖像的顯示的圖像數(shù)據(jù)。相應地，可以通過視圖切換標志指定用于2D圖像的顯示的圖像數(shù)據(jù)，并且相應地，在將立體圖像內容顯示為2D圖像的情況下，在第一視點圖像數(shù)據(jù)到第N視點圖像數(shù)據(jù)中，可以以場景等為增量，顯示內容制作者想要的圖像。第四實施例
編碼設備的第四實施例圖18是圖示對其應用本發(fā)明的編碼設備的第四實施例的配置示例的框圖。注意，在圖中，對應于圖9或圖14的情況的部分用相同參考標號表示，此后，將適當?shù)厥÷云涿枋觥D18中的編碼設備以與圖9相同的方式配置，除了提供N個編碼單元Il1. Il2........IIn替代編碼單元Il1和Il2。立體視覺圖像的第一視點圖像數(shù)據(jù)到第N視點圖像數(shù)據(jù)提供到切換單元71。切換單元71根據(jù)來自標志設置單元12的視圖切換標志，切換作為N個視點圖像數(shù)據(jù)的第一視點圖像數(shù)據(jù)到第N個視點圖像數(shù)據(jù)中的一個視點圖像數(shù)據(jù)和另一視點圖像數(shù)據(jù)，從而將N條的第一視點圖像數(shù)據(jù)到第N個視點圖像數(shù)據(jù)變換為一條基本圖像數(shù)據(jù)和 N-I條額外圖像數(shù)據(jù)#1到#化1，該基本圖像數(shù)據(jù)是用于顯示2D圖像的圖像數(shù)據(jù)，該額外圖像數(shù)據(jù)不是用于顯示2D圖像的圖像數(shù)據(jù)。注意，切換開關71將基本圖像數(shù)據(jù)提供到編碼單元Il1,并且將額外圖像數(shù)據(jù)#n 提供到編碼單元Iin+1。因此，在圖18中，編碼單元Il1編碼來自切換單元71的基本圖像數(shù)據(jù)，并將作為其結果獲得的編碼數(shù)據(jù)(基本編碼數(shù)據(jù))提供到生成單元13。此外，編碼單元1 ln+1編碼來自切換單元71的額外圖像數(shù)據(jù)#n，并且將作為其結果獲得的編碼數(shù)據(jù)(以下也稱為“額外編碼數(shù)據(jù)#n”)提供到生成單元13。隨后，生成單元13復用來自編碼單元Il1的基本編碼數(shù)據(jù)和來自編碼單元Il2到 IIn的額外編碼數(shù)據(jù)#1到刪-1，以獲得復用數(shù)據(jù)，并且將來自標志設置單元12的視圖切換標志包括在該復用數(shù)據(jù)的報頭等中。因此，在圖18中，在生成單元13獲得的復用數(shù)據(jù)包括一條基本圖像數(shù)據(jù)、N-I條額外圖像數(shù)據(jù)#1到#N-1和視圖切換標志。切換單元71的處理的描述將參考圖19描述圖18中的切換單元71的處理。注意，以下對應于第η個視點圖像數(shù)據(jù)的圖像也將稱為第η個視點圖像?，F(xiàn)在，假設要在圖18中的編碼設備編碼的立體視覺圖像由例如場景#1、#2、#3、#4 和#5構成，此外，圖像數(shù)據(jù)由作為三個視點的圖像數(shù)據(jù)的第一視點圖像數(shù)據(jù)、第二視點圖像數(shù)據(jù)和第三視點圖像數(shù)據(jù)構成。此外，在將立體視覺圖像顯示為2D圖像的情況下，假設立體視覺圖像的制作者已經操作標志設置單元12，以便選擇關于場景#1和場景#4的第一視點圖像、關于場景#2和 #3的第二視點圖像、關于場景#5的第三視點圖像作為要顯示為2D圖像的圖像(呈現(xiàn)圖像)，如圖中用厚框圍繞所示。在該情況下，關于場景#1和#4，標志設置單元12例如設置0作為視圖切換標志， 0是用于指定第一視點圖像作為呈現(xiàn)圖像的值。此外，關于場景#2和#3，標志設置單元12例如設置1作為視圖切換標志，1是用于指定第二視點圖像作為呈現(xiàn)圖像的值。此外，關于場景#5，標志設置單元12例如設置2作為視圖切換標志，2是用于指定第三視點圖像作為呈現(xiàn)圖像的值。
如上所述，切換單元71根據(jù)視圖切換標志，切換作為三個視點的圖像數(shù)據(jù)的第一視點圖像數(shù)據(jù)到第三視點圖像數(shù)據(jù)中的一個視點的圖像數(shù)據(jù)和另一視點的圖像數(shù)據(jù)，從而通過以視圖切換標志設置的場景等為增量進行切換，將三條的第一視點圖像數(shù)據(jù)到第三視點圖像數(shù)據(jù)變換為一條基本圖像數(shù)據(jù)和兩條額外圖像數(shù)據(jù)#1和#2。具體地，例如，以作為三條的第一視點圖像數(shù)據(jù)到第三視點圖像數(shù)據(jù)中的一條的第二視點圖像數(shù)據(jù)為參考，關于其視圖切換標志沒有指定作為參考的第二視點圖像數(shù)據(jù)的第二視點圖像數(shù)據(jù)的場景，即，其視圖切換標志指定第一視點圖像數(shù)據(jù)或第三視點圖像數(shù)據(jù)的場景，切換單元71切換該場景的第二視點圖像數(shù)據(jù)和由視圖切換標志指定的圖像數(shù)據(jù)。在圖19中，在作為參考的第二視點圖像數(shù)據(jù)的場景#1到#5中，場景#1和#4是其視圖切換標志沒有指定第二視點圖像數(shù)據(jù)而是第一視點圖像數(shù)據(jù)的場景。因此，在第二視點圖像數(shù)據(jù)的場景#1到#5中，場景#1和#4的數(shù)據(jù)分別與第一視點圖像數(shù)據(jù)的場景#1 和#4的數(shù)據(jù)切換。此外，在圖19中，在作為參考的第二視點圖像數(shù)據(jù)的場景#1到#5中，場景#5是其切換標志沒有指定第二視點圖像數(shù)據(jù)而是第三視點圖像數(shù)據(jù)的場景。因此，在第二視點圖像數(shù)據(jù)的場景#1到#5中，場景#5的數(shù)據(jù)與第三視點圖像數(shù)據(jù)的場景#5的數(shù)據(jù)切換。隨后，關于第二視點圖像數(shù)據(jù)，通過切換場景的圖像數(shù)據(jù)和不同于參考的第一視點圖像數(shù)據(jù)或第三視點圖像數(shù)據(jù)獲得的圖像數(shù)據(jù)用作基本圖像數(shù)據(jù)。此外，關于第一視點圖像數(shù)據(jù)，通過切換場景的圖像數(shù)據(jù)和作為參考的第二視點圖像數(shù)據(jù)獲得的圖像數(shù)據(jù)用作額外圖像數(shù)據(jù)#1。此外，關于第三視點圖像數(shù)據(jù)，通過切換場景的圖像數(shù)據(jù)和作為參考的第二視點圖像數(shù)據(jù)獲得的圖像數(shù)據(jù)用作額外圖像數(shù)據(jù)#2。在該情況下，對于基本圖像數(shù)據(jù)，場景#1和#4的數(shù)據(jù)用作第一視點圖像數(shù)據(jù)，場景#2和#3的數(shù)據(jù)用作第二視點圖像數(shù)據(jù)，并且場景#5的數(shù)據(jù)用作第三視點圖像數(shù)據(jù)。也就是說，基本圖像數(shù)據(jù)是視圖切換標志指定作為用于2D圖像的顯示的圖像數(shù)據(jù)的數(shù)據(jù)。因此，在將立體視覺圖像顯示為2D圖像的情況下，可以僅通過顯示對應于基本圖像數(shù)據(jù)的圖像，以場景等為單位顯示內容制作者想要的圖像。另一方面，對于額外圖像數(shù)據(jù)#1，場景#1和#4的數(shù)據(jù)是第二視點圖像數(shù)據(jù)，并且場景#2、#3和#5的數(shù)據(jù)是第一視點圖像數(shù)據(jù)。此外，對于額外圖像數(shù)據(jù)#2，場景#1到#4的數(shù)據(jù)是第三視點圖像數(shù)據(jù)，并且場景 #5的數(shù)據(jù)是第二視點圖像數(shù)據(jù)。額外圖像數(shù)據(jù)#1和#2對于2D圖像的顯示是不必要的，并且在顯示立體視覺圖像 (立體視覺圖像)時與基本圖像數(shù)據(jù)一起使用。編碼設備的處理的描述將參考圖20描述圖18中的編碼設備的處理(編碼處理)。利用圖18中的編碼設備，在立體視覺圖像的制作者操作標志設置單元12時，在步驟S141，標志設置單元12根據(jù)立體視覺圖像的制作者的操作，關于立體視覺圖像的每個場景設置視圖切換標志，并且提供到生成單元13和切換單元71。隨后，在等待作為立體視覺圖像的圖像數(shù)據(jù)的第一視點圖像數(shù)據(jù)到第N個視點圖像數(shù)據(jù)提供到編碼設備后，處理從步驟S141進行到步驟S142，其中如圖19所述，切換單元 71根據(jù)來自標志設置單元12的視圖切換標志，切換第一視點圖像數(shù)據(jù)到第N個視點圖像數(shù)據(jù)中的一個視點的圖像數(shù)據(jù)與另一視點的圖像數(shù)據(jù)，從而將第一視點圖像數(shù)據(jù)到第N個視點圖像數(shù)據(jù)變換為一條基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)#1到刪_1 (從第一視點圖像數(shù)據(jù)到第N個視點圖像數(shù)據(jù)生成一條基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)#1到刪-1)。在步驟S142的處理后，切換單元71將基本圖像數(shù)據(jù)提供到編碼單元Il1,并且還將額外圖像數(shù)據(jù)#n提供到編碼單元lln+1。隨后，處理進行到步驟S143，其中編碼單元Il1編碼來自切換單元71的基本圖像數(shù)據(jù)，并且將作為其結果獲得的基本編碼數(shù)據(jù)提供到生成單元13。此外，在步驟S143，編碼單元lln+1編碼來自切換單元71的額外圖像數(shù)據(jù)#n，并且將作為其結果獲得的額外編碼數(shù)據(jù)#n提供到生成單元13，并且處理進行到步驟S144。在步驟S144，生成單元13復用來自編碼單元Il1的基本編碼數(shù)據(jù)和來自編碼單元 Il2到IIn的額外編碼數(shù)據(jù)#1到刪-1，以從每個獲得復用數(shù)據(jù)。此外，生成單元13將來自標志設置單元12的視圖切換標志包括在復用數(shù)據(jù)的報頭中，并且輸出復用數(shù)據(jù)。隨后，處理從步驟S144進行到步驟S145，其中編碼設備確定是否存在要編碼的立體視覺圖像，并且在確定存在要編碼的立體視覺圖像的圖像數(shù)據(jù)的情況下，處理返回步驟 S142，此后重復步驟S142到S145中的處理。另一方面，在步驟S145確定不存在要編碼的立體視覺圖像的圖像數(shù)據(jù)的情況下， 編碼設備結束編碼處理。如上所述，包括生成單元13輸出的復用數(shù)據(jù)(S卩，(從)由立體視覺圖像的圖像數(shù)據(jù)變換的一條基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)(編碼的編碼數(shù)據(jù)))和視圖切換標志的位流例如經由傳輸介質傳輸，或記錄在記錄介質中。解碼設備的第四實施例圖21是圖示對其應用本發(fā)明的解碼設備的第四實施例的配置示例的框圖。注意，在圖中，對應于圖12或圖16中的情況的部分用相同參考標號表示，并且此后將適當?shù)厥÷云涿枋觥D21中的解碼設備以與圖12的情況相同的方式配置，除了提供N個解碼單元42i 到42n替代兩個解碼單元42i和422。在圖12中，解碼設備解碼圖18中的編碼設備輸出的復用數(shù)據(jù)。這里，圖18中的編碼設備輸出的復用數(shù)據(jù)包括一條基本編碼數(shù)據(jù)和N-I條額外編碼數(shù)據(jù)#1到謝-1。因此，利用圖21中的解碼設備，提取單元41從復用數(shù)據(jù)分離一條基本編碼數(shù)據(jù)和 N-I條額外編碼數(shù)據(jù)#1到刪_1的每個。隨后，提取單元41分別將基本編碼數(shù)據(jù)提供到解碼單元421;并且將額外編碼數(shù)據(jù)#n提供到解碼單元42n+1。解碼單元42i解碼來自提取單元41的基本編碼數(shù)據(jù)，并且解碼單元42n+1解碼來自提取單元41的額外編碼數(shù)據(jù)#n。通過解碼單元421解碼基本編碼數(shù)據(jù)獲得的基本圖像數(shù)據(jù)和通過解碼單元42n+1解碼額外編碼數(shù)據(jù)#n獲得的額外圖像數(shù)據(jù)#n提供到恢復單元81。這里，在將立體視覺圖像顯示為2D圖像的情況下，通過解碼單元42i解碼基本編碼數(shù)據(jù)獲得的基本圖像數(shù)據(jù)提供到未示出的2D顯示設備。隨后，對應于來自解碼單元42i 的基本圖像數(shù)據(jù)的圖像顯示在2D顯示設備上。如上所述，基本圖像數(shù)據(jù)從解碼單元42i提供到恢復單元81，并且也從解碼單元 42n+1提供額外圖像數(shù)據(jù)#n，并且另外地，從提取單元41提供從復用數(shù)據(jù)提取的視圖切換標志。恢復單元81根據(jù)來自提取單元41的視圖切換標志，在來自解碼單元42J々基本圖像數(shù)據(jù)和來自解碼單元42n+1的額外圖像數(shù)據(jù)#n之間切換，從而將基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)#1到刪_1變換為原始的N條第一視點圖像數(shù)據(jù)到第N個視點圖像數(shù)據(jù)。具體地，恢復單元81根據(jù)來自提取單元41的視圖切換標志，以基本圖像數(shù)據(jù)和 N-I條額外圖像數(shù)據(jù)#1到刪_1為對象，執(zhí)行圖18中的切換單元71的情況的逆切換，從而恢復N條的第一視點圖像數(shù)據(jù)到第N個視點圖像數(shù)據(jù)。隨后，恢復單元81將第一視點圖像數(shù)據(jù)到第N個視點圖像數(shù)據(jù)提供到立體視覺圖像變換單元43。立體視覺圖像變換單元43將來自恢復單元81的第一視點圖像數(shù)據(jù)到第N個視點圖像數(shù)據(jù)變換為立體視覺圖像數(shù)據(jù)，并且提供到未示出的用于立體視覺的設備。解碼設備的處理的描述將參考圖22A和圖22B描述圖21的解碼設備的處理(解碼處理)。圖22A是用于描述在執(zhí)行立體視覺圖像的顯示的情況下圖21的解碼設備的解碼處理的流程圖。在執(zhí)行立體視覺圖像的顯示的情況下，在步驟S151中，提取單元41從對其提供的復用數(shù)據(jù)提取視圖切換標志，并且提供到恢復單元81，并且處理進行到步驟S152。在步驟S152，提取單元41從復用數(shù)據(jù)分離基本編碼數(shù)據(jù)和N_1條額外編碼數(shù)據(jù) #1到#N-1，并且分別將基本編碼數(shù)據(jù)提供到解碼單元42”并且將額外編碼數(shù)據(jù)#n提供到解碼單元42n+1，并且處理進行到步驟S153。在步驟S153，解碼復用數(shù)據(jù)中復用的所有編碼數(shù)據(jù)，并且處理進行到步驟S154。具體地，解碼單元42i解碼來自提取單元41的基本編碼數(shù)據(jù)，并且將作為其結果獲得的基本圖像數(shù)據(jù)提供到恢復單元81。此外，解碼單元42n+1解碼來自提取單元41的額外編碼數(shù)據(jù)#n，并且將作為其結果獲得的額外圖像數(shù)據(jù)#n提供到恢復單元81。在步驟S154，恢復單元81根據(jù)來自提取單元41的視圖切換標志，以基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)#1到刪_1為對象，執(zhí)行圖18中的切換單元71的情況的逆切換，從而恢復N條的第一視點圖像數(shù)據(jù)到第N個視點圖像數(shù)據(jù)。隨后，恢復單元81將第一視點圖像數(shù)據(jù)到第N個視點圖像數(shù)據(jù)提供到立體視覺圖像變換單元43。隨后，處理順序地從步驟S154進行到步驟S155，其中，立體視覺圖像變換單元43 將來自恢復單元81的第一視點圖像數(shù)據(jù)到第N個視點圖像數(shù)據(jù)變換為立體視覺圖像數(shù)據(jù)， 提供到未示出的用于立體視覺的設備，并且處理進行到步驟S156。在步驟S156，提取單元41確定是否存在未處理的復用數(shù)據(jù)，并且在確定存在未處理的復用數(shù)據(jù)的情況下，處理返回步驟S151，此后重復步驟S151到S156的處理。此外，在步驟S156中確定不存在未處理的復用數(shù)據(jù)時，解碼設備結束解碼處理。
圖22B是用于描述在執(zhí)行2D圖像的顯示的情況下圖21中的解碼設備的解碼處理的流程圖。在執(zhí)行2D圖像的顯示的情況下，在步驟S161，提取單元41從對其提供的復用數(shù)據(jù)分離基本編碼數(shù)據(jù)，提供到解碼單元421，并且處理進行到步驟S162。在步驟S162，解碼單元42i解碼從提取單元41提供的基本編碼數(shù)據(jù)，并且將作為其結果獲得的基本圖像數(shù)據(jù)提供到未示出的2D顯示設備。因此，利用2D顯示設備，將對應于基本圖像數(shù)據(jù)的圖像顯示為2D圖像。隨后，處理從步驟S162進行到步驟S163，其中提取單元41確定是否存在未處理的復用數(shù)據(jù)，并且在確定存在未處理的復用數(shù)據(jù)的情況下，處理返回步驟S161，此后重復步驟 S161到S163中的處理。另一方面，在步驟S163確定不存在未處理的復用數(shù)據(jù)的情況下，解碼設備結束解碼處理。如上所述，利用圖18中的編碼設備，在N條的第一視點圖像數(shù)據(jù)到第N個視點圖像數(shù)據(jù)中，根據(jù)用于指定要用于2D圖像的顯示的圖像數(shù)據(jù)的視圖切換標志，一個視點的圖像數(shù)據(jù)與另一個視點的圖像數(shù)據(jù)切換，從而將N條的第一視點圖像數(shù)據(jù)到第N個視點圖像數(shù)據(jù)變換為一條基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)#1到刪_1，并且生成包括基本圖像數(shù)據(jù)、額外圖像數(shù)據(jù)#1到刪_1和視圖切換標志的復用數(shù)據(jù)。相應地，利用圖21中的解碼設備，在將立體視覺圖像內容顯示為2D圖像的情況下，在N條的第一視點圖像數(shù)據(jù)到第N個視點圖像數(shù)據(jù)中，可以通過顯示對應于基本圖像數(shù)據(jù)的圖像，以場景等為增量，顯示內容制作者想要的圖像。此外，利用圖21中的解碼設備，從該復用數(shù)據(jù)提取視圖切換標志，并且根據(jù)該視圖切換標志，將基本圖像數(shù)據(jù)和N-I條的額外圖像數(shù)據(jù)#1到#N-1恢復為原始的N條的第一視點圖像數(shù)據(jù)到第N個視點圖像數(shù)據(jù)。因此，可以在用于立體視覺的設備上顯示立體視覺圖像。注意，利用上述編碼設備和解碼設備，還可以用多個視點圖像而不是立體視覺圖像作為對象執(zhí)行處理。具體地，利用上述編碼設備和解碼設備，例如可以利用通過以特定表演者A為主體拍攝圖像的相機獲得的圖像的兩視點圖像VB、和通過以另一表演者B為主體拍攝圖像的相機獲得的圖像VA作為對象，執(zhí)行處理。在該情況下，例如為解碼設備提供用于根據(jù)用戶的操作選擇圖像VA和VB之一的部件，從而用戶可以觀看以用戶感興趣的表演者為主體的圖像。然而，在該情況下，圖像VA和VB不是立體視覺圖像，因此，圖像的顯示限制為2D 圖像的顯示，并且不允許立體視覺圖像的顯示。應用本發(fā)明的計算機的實施例接著，上述一系列處理可以通過硬件執(zhí)行，或者可以通過軟件執(zhí)行。在一系列處理通過軟件執(zhí)行的情況下，將構成該軟件的程序安裝到通用計算機等中。因此，圖23圖示將執(zhí)行上述一系列處理的程序安裝到其中的計算機的實施例的配置示例。程序可以記錄在用作預先內置在計算機中的記錄介質的硬盤105或R0M103中。
可替代地，程序可以存儲(記錄)在可移除記錄介質111中。這樣的可移除記錄介質111可以提供為所謂的封裝軟件。這里，可移除記錄介質111的示例包括軟盤、CD-ROM(致密盤只讀存儲器)、MO (磁光)盤、DVD (數(shù)字多功能盤)、磁盤、半導體存儲器等。注意，程序可以從如上所述的可移除記錄介質111安裝到計算機中，并且還可以經由通信網絡或廣播網絡下載到計算機中，并且安裝到內置的硬盤105中。也就是說，程序可以經由用于數(shù)字衛(wèi)星廣播的人造衛(wèi)星無線地從下載站點傳送到計算機，或者可以經由網絡(如LAN(局域網)或因特網)通過線纜傳送到計算機。計算機容納CPU(中央處理單元)102，并且輸入/輸出接口 110經由總線101連接到 CPU 102。在經由輸入/輸出接口 110由用戶操作的輸入單元107輸入命令時，CPU102根據(jù)該命令執(zhí)行R0M(只讀存儲器)103中存儲的程序。可替代地，CPU102將硬盤105中存儲的程序加載到RAM(隨機存取存儲器)104中，并且執(zhí)行該程序。因此，CPU 102執(zhí)行根據(jù)上述流程圖的處理、或要由上述框圖的配置執(zhí)行的處理。 隨后，CPU 102經由輸入/輸出接口 110從輸出單元106輸出該處理結果，或者根據(jù)需要例如從通信單元108發(fā)送并進一步記錄在硬盤105中。注意，輸入單元107由鍵盤、鼠標、麥克風等配置。此外，輸出單元106由IXD(液晶顯示器)、揚聲器等配置。現(xiàn)在，在本說明書的情況下，計算機根據(jù)程序執(zhí)行的處理不需要沿著作為流程圖描述的順序按照時間順序執(zhí)行。也就是說，計算機根據(jù)程序執(zhí)行的處理包括要并行或獨立地執(zhí)行的處理(例如，并行處理或按照對象的處理)。此外，程序可以由單個計算機(處理器)執(zhí)行，或者可以經歷通過多個計算機的分散處理。此外，程序可以是傳送到遠程計算機用于執(zhí)行的程序。注意，本發(fā)明實施例不限于上述實施例，并且可以進行各種修改而不偏離本發(fā)明的基本。具體地，例如，在本實施例的情況下，圖像數(shù)據(jù)已經通過AVC/H. 264系統(tǒng)等編碼和解碼，但是可以不執(zhí)行圖像數(shù)據(jù)的編碼和解碼。此外，在本實施例的情況下，已經進行了這樣的描述，其中將標志復用(描述)到位流中，但是除了復用外，標志和圖像數(shù)據(jù)(或位流)可以被傳輸(記錄)。此外，可以存在這樣的模式，其中將標志和圖像數(shù)據(jù)(或位流)連接。在本實施例的情況下，連接將定義如下。連接可以是這樣的狀態(tài)，其中圖像數(shù)據(jù) (或位流)和標志相互鏈接。例如，圖像數(shù)據(jù)(或位流)和標志可以通過分離的傳輸路徑傳輸。可替代地，圖像數(shù)據(jù)(或位流)和標志可以記錄在相互不同的記錄介質(或相同記錄介質內分開的記錄區(qū)域)中。注意，對圖像數(shù)據(jù)(或位流)和標志之間的鏈接的增量可以設為編碼處理增量(如一幀、多幀等)?，F(xiàn)在，利用圖1等的編碼設備，可以認為編碼單元Il1和Il2以及生成單元13用作用于編碼N(大于1)個視點的圖像數(shù)據(jù)以生成位流的部件。此外，可以認為標志設置單元 12用作用于生成視圖切換標志的生成部件，該視圖切換標志用于指定N個視點的圖像數(shù)據(jù)中用于2D圖像的顯示的圖像數(shù)據(jù)。此外，可以認為生成單元13用作用于傳輸通過編碼N 個視點的圖像數(shù)據(jù)獲得的位流和視圖切換標志的傳輸部件。
此外，利用圖5等的解碼設備，可以認為提取單元41用作用于接收通過解碼N(大于1)個視點圖像數(shù)據(jù)獲得的位流、和用于指定N視點圖像中用于2D圖像的顯示的圖像數(shù)據(jù)的視圖切換標志的接收部件。此外，可以認為選擇單元44用作選擇部件，用于根據(jù)視圖切換標志選擇位流中包括的N個視點的圖像數(shù)據(jù)中用于2D圖像的顯示的圖像數(shù)據(jù)。應用本發(fā)明的電子設備的實施例例如，上述編碼設備和解碼設備可以應用于任意電子設備。以下，將描述其示例。圖24是圖示對其應用本發(fā)明的電視接收機的主要配置示例的框圖。圖24所示的電視接收機1000包括地面調諧器1013、視頻解碼器1015、視頻信號處理電路1018、圖形生成電路1019、面板驅動電路1020和顯示面板1021。地面調諧器1013經由天線接收地面模擬廣播的廣播波信號，解調，獲得視頻信號，并且將其提供給視頻解碼器1015。視頻解碼器1015使得從地面調諧器1013提供的視頻信號經歷解碼處理，并且將獲得的數(shù)字分量信號提供給視頻信號處理電路1018。視頻信號處理電路1018使得從視頻解碼器1015提供的視頻數(shù)據(jù)經歷如噪聲移除的預定處理，并且將獲得的視頻數(shù)據(jù)提供給圖形生成電路1019。圖形生成電路1019生成要在顯示面板1021上顯示的節(jié)目的視頻數(shù)據(jù)、由于基于要經由網絡等提供的應用的處理的圖像數(shù)據(jù)等，并且將生成的視頻數(shù)據(jù)或圖像數(shù)據(jù)提供給面板驅動電路1020。此外，圖形生成電路1019還適當?shù)貓?zhí)行用于將以下視頻數(shù)據(jù)提供給面板驅動電路1020、并且將該視頻數(shù)據(jù)疊加在節(jié)目的視頻數(shù)據(jù)上的處理，該視頻數(shù)據(jù)通過生成用于顯示要用于用戶選擇項目等的屏幕的視頻數(shù)據(jù)(圖形)而獲得。面板驅動電路1020基于從圖形生成電路1019提供的數(shù)據(jù)驅動顯示面板1021，以在顯示面板1021上顯示節(jié)目的視頻或上述各種類型的屏幕。顯示面板1021由IXD (液晶顯示器)等構成，并且根據(jù)面板驅動電路1020的控制
顯示節(jié)目視頻等。此外，電視接收機1000還包括音頻A/D (模擬/數(shù)字)轉換電路1014、音頻信號處理電路1022、回聲消除/音頻合成電路1023、音頻放大器電路1024和揚聲器1025。地面調諧器1013解調接收的廣播波信號，從而不僅獲得視頻信號而且獲得音頻信號。地面調諧器1013將獲得的音頻信號提供給音頻A/D轉換電路1014。音頻A/D轉換電路1014使得從地面調諧器1013提供的音頻信號經歷A/D轉換處理，并且將獲得的數(shù)字音頻信號提供給音頻信號處理電路1022。音頻信號處理電路1022使得從音頻A/D轉換電路1014提供的音頻數(shù)據(jù)經歷如噪聲移除等的預定處理，并且將獲得的音頻數(shù)據(jù)提供給回聲消除/音頻合成電路1023?；芈曄?音頻合成電路1023將從音頻信號處理電路1022提供的音頻數(shù)據(jù)提供到音頻放大器電路1024。音頻放大器電路1024使得從回聲消除/音頻合成電路1023提供的音頻數(shù)據(jù)經歷 D/A轉換處理和放大處理，調整到預定音量，然后從揚聲器1025輸出音頻。此外，電視接收器1000還包括數(shù)字調諧器1016和MPEG解碼器1017。數(shù)字調諧器1016經由天線接收數(shù)字廣播(地面數(shù)字廣播、BS (廣播衛(wèi)星)/CS (通信衛(wèi)星)數(shù)字廣播)的廣播波信號，解調，獲得MPEG-TS (運動圖像專家組-傳送流)，并且將其提供到MPEG解碼器1017。
MPEG解碼器1017解擾經歷從數(shù)字調諧器1016提供的MPEG-TS的擾頻，并且提取包括用作回放對象(觀看對象)的節(jié)目的數(shù)據(jù)的流。MPEG解碼器1017解碼構成提取的流的音頻分組，將獲得的音頻數(shù)據(jù)提供到音頻信號處理電路1022，并且還解碼構成流的音頻分組，并且將獲得的視頻數(shù)據(jù)提供到視頻信號處理電路1018。此外，MPEG解碼器1017將從 MPEG-TS提取的EPG(電子節(jié)目指南)數(shù)據(jù)經由未示出的路由提供給CPU 1032。電視接收機1000使用上面參考圖5、圖12、圖16或圖21描述的解碼設備作為用于以此方式解碼視頻分組的MPEG解碼器1017。注意，要通過廣播站等傳輸?shù)腗PEG-TS已經通過上面參考圖1、圖9、圖14或圖18描述的編碼設備編碼，其中多個圖像數(shù)據(jù)編碼在單個位流中。MPEG解碼器1017以與圖5、圖12、圖16或圖21中的解碼設備相同的方式，基于視圖切換標志選擇并解碼要顯示為2D圖像的編碼數(shù)據(jù)的圖像數(shù)據(jù)，或者解碼通過編碼要用于2D圖像顯示的基本圖像數(shù)據(jù)獲得的基本編碼數(shù)據(jù)，編碼設備在基于視圖切換標志的指定切換圖像的同時已經生成該基本編碼數(shù)據(jù)。相應地，MPEG解碼器1017允許顯示由多個視點的圖像數(shù)據(jù)構成的內容的制作者想要的圖像。以與從視頻解碼器1015提供的視頻數(shù)據(jù)的情況相同的方式，從MPEG解碼器1017 提供的視頻數(shù)據(jù)在視頻信號處理電路1018經歷預定處理，在圖形生成電路1019處將生成的視頻數(shù)據(jù)等適當?shù)丿B加在視頻數(shù)據(jù)上，并且該視頻數(shù)據(jù)經由面板驅動電路1020提供到顯示面板1021，并且顯示其圖像。以與從音頻A/D轉換電路1014提供的音頻數(shù)據(jù)的情況相同的方式，從MPEG解碼器1017提供的音頻數(shù)據(jù)在音頻信號電路1022經歷預定處理，經由回聲消除/音頻合成電路1023提供到音頻放大器電路1024，并且經歷D/A轉換處理或放大處理。結果，調節(jié)到預定音量的音頻從揚聲器1025輸出。此外，電視接收機1000包括麥克風1026和A/D轉換電路1027。A/D轉換電路1027接收通過麥克風1026加載的用戶的音頻信號，該用戶的音頻信號作為用于語音轉換的對象提供給電視接收機1000，該A/D轉換電路1027使得接收的音頻信號經歷A/D轉換處理，并且將獲得的數(shù)字音頻數(shù)據(jù)提供給回聲抵消/音頻合成電路1023。在從A/D轉換電路1027提供電視接收機1000的用戶(用戶A)的音頻數(shù)據(jù)的情況下，回聲抵消/音頻合成電路1023以用戶A的音頻數(shù)據(jù)作為對象執(zhí)行回聲抵消，并且經由音頻放大器電路1024輸出通過與另一條音頻數(shù)據(jù)合成而獲得的音頻數(shù)據(jù)到揚聲器1025。此外，電視接收機1000還包括音頻編解碼器1028、內部總線1029、SDRAM(同步動態(tài)隨機存取存儲器)1030、閃存1031、CPU 1032、USB (通用串行總線)I/F 1033和網絡I/F 1034。A/D轉換電路1027接收通過麥克風1026加載的用戶的音頻信號，該用戶的音頻信號作為用于語音轉換的對象提供給電視接收機1000，該A/D轉換電路1027使得接收的音頻信號經歷A/D轉換處理，并且將獲得的數(shù)字音頻數(shù)據(jù)提供給音頻編解碼器1028。音頻編解碼器1028將從A/D轉換電路1027提供的音頻數(shù)據(jù)轉換為預定格式的數(shù)據(jù)，用于經由網絡傳輸，并且經由內部總線1029提供到網絡I/F1034。網絡I/F 1034經由連接到網絡端子1035的電纜連接到網絡。網絡I/F 1034將從音頻編解碼器1028提供的音頻數(shù)據(jù)傳輸?shù)嚼邕B接到該網絡的另一設備。此外，網絡I/F 1034例如經由網絡端子1035接收從經由網絡連接的另一設備傳輸?shù)囊纛l數(shù)據(jù)，并且將其經由內部總線1029提供到音頻編解碼器1028。音頻編解碼器1028將從網絡I/F 1034提供的音頻數(shù)據(jù)轉換為預定格式的數(shù)據(jù)， 并且將其提供到回聲抵消/音頻合成電路1023?；芈暤窒?音頻合成電路1023以從音頻編解碼器1028提供的音頻數(shù)據(jù)作為對象執(zhí)行回聲抵消，并且經由音頻放大器電路1024輸出通過與另一條音頻數(shù)據(jù)合成而獲得的音頻數(shù)據(jù)到揚聲器1025。SDRAM 1030存儲CPU 1032執(zhí)行處理所需的各種類型的數(shù)據(jù)。閃存1031存儲CPU 1032要執(zhí)行的程序。CPU 1032在預定定時(如在電視接收機 1000激活時)讀出閃存1031中存儲的程序。閃存1031還存儲經由數(shù)字廣播獲得的EPG數(shù)據(jù)、經由網絡從預定服務器獲得的數(shù)據(jù)等。例如，包括在CPU 1032的控制下經由網絡從預定服務器獲得的內容數(shù)據(jù)的 MPEG-TS存儲在閃存1031中。閃存1031例如通過CPU 1032的控制，經由內部總線1029將該MPEG-TS提供給MPEG解碼器1017。以與從數(shù)字調諧器1016提供的MPEG-TS的情況相同的方式，MEPG解碼器1017處理該MPEG-TS。以此方式，電視接收機1000經由網絡接收由視頻、音頻等構成的內容數(shù)據(jù)， 使用MPEG解碼器1017解碼，從而可以顯示該視頻或可以輸出該音頻。此外，電視接收機1000還包括光接收單元1037，用于接收從遙控器1051發(fā)送的紅
外信號。光接收機1037接收來自遙控器1051的紅外光，解調，并且輸出代表用戶的操作內容的控制代碼到CPU 1032。CPU 1032根據(jù)從光接收單元1037提供的控制代碼等，執(zhí)行閃存1031中存儲的程序以控制電視接收機1000的整體操作。CPU 1032和電視接收機1000的每個單元經由未示
出的路由連接。USB I/F 1033與要經由連接到USB端子1036的USB電纜連接的電視接收機1000 的外部設備執(zhí)行數(shù)據(jù)的發(fā)送/接收。網絡I/F 1034經由連接到網絡端子1035的電纜連接到網絡，并且還與要連接網絡的各種類型的設備執(zhí)行不同于音頻數(shù)據(jù)的數(shù)據(jù)的發(fā)送/接收。電視接收機1000使用上面參考圖5、圖12、圖16或圖21描述的解碼設備作為MPEG 解碼器1017，從而可以顯示由多個視點的圖像數(shù)據(jù)構成的內容的制作者想要的圖像。圖25是圖示對其應用本發(fā)明的使用編碼設備和解碼設備的蜂窩式電話的主要配置示例的框圖。圖25所示的蜂窩式電話1100包括整體地控制每個單元的主控制單元1150、電源電路1151、操作輸入控制單元1152、圖像編碼器1153、相機I/F單元1154、IXD控制單元 1155、圖像解碼器1156、復用/分離單元1157、記錄/播放單元1162、調制/解調電路單元 1158和音頻編解碼器1159。這些經由總線1160相互連接。此外，蜂窩式電話1100包括操作鍵1119、CXD(電荷耦合器件)相機1116、液晶顯示器1118、存儲單元1123、發(fā)送/接收電路單元1163、天線1114、麥克風(MIC) 1121和揚聲器 1117。
在通過用戶的操作將通話結束和電源鍵設為開狀態(tài)時，從電池組提供電源給每個單元，從而電源電路單元1151激活蜂窩式電話1100處于可操作狀態(tài)。蜂窩式電話1100基于由CPU、ROM、RAM等構成的主控制單元1150的控制，在各種類型的模式(如音頻通話模式、數(shù)據(jù)通信模式等)中，執(zhí)行各種類型的操作(如音頻信號的發(fā)送/接收、電子郵件或圖像數(shù)據(jù)的發(fā)送/接收、圖像拍攝、數(shù)據(jù)記錄等)。例如，在音頻通話模式的情況下，蜂窩式電話1100通過音頻編解碼器1159將由麥克風(MIC) 1121收集的音頻信號轉換為數(shù)字音頻數(shù)據(jù)，使其在調制/解調電路單元1158經歷頻譜擴展處理，并且使其在發(fā)送/接收電路單元1163經歷數(shù)字/模擬轉換處理和頻率轉換處理。蜂窩式電話1100將通過該轉換處理獲得的用于發(fā)送的信號經由天線1114發(fā)送到未示出的基站。發(fā)送到基站的用于發(fā)送的信號(音頻信號)經由撥號線網絡提供到通話對方的蜂窩式電話。此外，例如在音頻通話模式的情況下，蜂窩式電話1100在發(fā)送/接收電路單元 1163放大在天線1114接收的接收信號，并且還經歷頻率轉換處理和模擬/數(shù)字轉換處理， 在調制/解調電路單元1158經歷頻譜逆擴展處理，并且在音頻編解碼器1159轉換為模擬音頻信號。蜂窩式電話1100將通過該轉換獲得的模擬音頻信號輸出到揚聲器1117。此外，例如在數(shù)據(jù)通信模式中發(fā)送電子郵件的情況下，蜂窩式電話1100在操作輸入控制單元1152接受通過操作鍵1119的操作輸入的電子郵件的文本數(shù)據(jù)。蜂窩式電話 1100在主控制單元1150處理該文本數(shù)據(jù)，并且經由IXD控制單元1155在液晶顯示器1118 上顯示為圖像。此外，蜂窩式電話1100基于在輸入控制單元1152接受的文本數(shù)據(jù)或用戶指令等， 在主控制單元1150生成電子郵件數(shù)據(jù)。蜂窩式電話1100使得該電子郵件數(shù)據(jù)在調制/解調電路單元1158經歷頻譜擴展處理，并且在發(fā)送/接收電路單元1163經歷數(shù)字/模擬轉換處理和頻率轉換處理。蜂窩式電話1100經由天線1114將通過該轉換處理獲得的用于發(fā)送的信號發(fā)送到未示出的基站。發(fā)送到基站的用于發(fā)送的信號(電子郵件)經由網絡和電子郵件服務器等提供到預定目的地。此外，例如在數(shù)據(jù)通信模式中接收電子郵件的情況下，蜂窩式電話1100經由天線 1114在發(fā)送/接收電路單元1163接收從基站發(fā)送的信號，放大，并且進一步經歷頻率轉換處理和模擬/數(shù)字轉換處理。蜂窩式電話1100在調制/解調電路單元1158使得該接收信號經歷頻譜逆擴展處理以恢復原始電子郵件數(shù)據(jù)。蜂窩式電話1100經由LCD控制單元 1155在液晶顯示器1118上顯示該恢復的電子郵件數(shù)據(jù)。注意，蜂窩式電話1100還能夠經由記錄/播放單元1162將接收的電子郵件數(shù)據(jù)記錄在存儲單元1123中。該存儲單元1123是任意的可重寫存儲介質。存儲單元1123例如可以是半導體存儲器(如RAM)或內置型閃存等，或者可以是硬盤，或者可以是可移除介質(如磁盤、磁光盤、光盤、USB存儲器、存儲卡等)。不用說存儲單元1123可以不同于此。此外，例如在數(shù)據(jù)傳輸模式中發(fā)送圖像數(shù)據(jù)的情況下，蜂窩式電話1100通過成像在C⑶相機1116生成圖像數(shù)據(jù)。C⑶相機1116包括光學設備(如鏡頭、光圈等)和用作光電轉換元件的CCD，成像被攝體，將接收的光的強度轉換為電信號，并且生成被攝體圖像的圖像數(shù)據(jù)。C⑶相機1116經由相機I/F單元1154在圖像編碼器1153編碼該圖像數(shù)據(jù)，并且轉換為編碼圖像數(shù)據(jù)。蜂窩式電話1100使用上面參考圖1、圖9、圖14或圖18描述的編碼設備作為執(zhí)行這樣的處理的圖像編碼器1153。以與這些編碼設備的情況相同的方式，圖像編碼器1153編碼多個視點的圖像數(shù)據(jù)的每個，并且將這些條編碼數(shù)據(jù)與視圖切換標志復用。因此，圖像編碼器1053使用視圖切換標志允許解碼側顯示內容制作者想要的圖像。注意，此時，同時地蜂窩式電話1100使得在C⑶相機1116的成像期間在麥克風 (MIC) 1121收集的音頻在音頻編解碼器1159經歷模擬/數(shù)字轉換，并且進一步編碼。蜂窩式電話1100使用預定方法，在復用/分離單元1157復用從圖像編碼器1153 提供的編碼圖像數(shù)據(jù)和從音頻編解碼器1159提供的數(shù)字音頻數(shù)據(jù)。蜂窩式電話1100在調制/解調電路單元1158使得作為其結果獲得的復用數(shù)據(jù)經歷頻譜擴展處理，并且在發(fā)送/ 接收電路1163經歷數(shù)字/模擬轉換處理和頻率轉換處理。蜂窩式電話1100經由天線1114 將通過該轉換處理獲得的用于發(fā)送的信號發(fā)送到未示出的基站。發(fā)送到基站的用于發(fā)送的信號(圖像數(shù)據(jù))經由網絡等提供到通話對方。注意，在不發(fā)送圖像數(shù)據(jù)的情況下，蜂窩式電話1100可以不經由圖像編碼器1153 而是經由IXD控制單元1155，將在C⑶相機1116生成的圖像數(shù)據(jù)顯示在液晶顯示器1118上。此外，例如在數(shù)據(jù)通信模式中接收鏈接到簡化站點等的運動圖像文件的數(shù)據(jù)的情況下，蜂窩式電話1100經由天線1114在發(fā)送/接收電路單元1163接收從基站發(fā)送的信號， 放大，并且進一步經歷頻率轉換和模擬/數(shù)字轉換處理。蜂窩式電話1100使得該接收信號在調制/解調電路單元1158經歷頻譜逆擴展處理，以恢復原始復用數(shù)據(jù)。蜂窩式電話1100 在復用/分離單元1157將該復用數(shù)據(jù)分離為編碼圖像數(shù)據(jù)和音頻數(shù)據(jù)。蜂窩式電話1100在圖像解碼器1156解碼編碼圖像數(shù)據(jù)以生成回放運動圖像數(shù)據(jù)，并且經由IXD控制單元1155將其顯示在液晶顯示器1118上。因此，例如鏈接到簡化站點的運動圖像文件中包括的運動圖像數(shù)據(jù)顯示在液晶顯示器1118上。蜂窩式電話1100使用上面參考圖5、圖12、圖16或圖21描述的解碼設備作為執(zhí)行這樣的處理的圖像解碼器1156。具體地，與這些解碼設備的情況相同的方式，圖像解碼器1156基于視圖切換標志選擇并解碼要顯示為2D圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)，或者解碼從要用于2D圖像顯示的基本圖像數(shù)據(jù)編碼的基本編碼數(shù)據(jù)，編碼設備在基于視圖切換標志的指定切換圖像的同時生成該基本編碼數(shù)據(jù)。因此，圖像解碼器1156允許顯示由多個視點的圖像數(shù)據(jù)構成的內容的制作者想要的圖像。此時，同時地蜂窩式電話1100在音頻編解碼器1159將數(shù)字音頻數(shù)據(jù)轉換為模擬音頻信號，并且將其從揚聲器1117輸出。因此，例如播放鏈接到簡化站點的運動圖像文件中包括的音頻數(shù)據(jù)。注意，以與電子郵件的情況相同的方式，蜂窩式電話1100可以經由記錄/播放單元1162將鏈接到簡化站點等的接收數(shù)據(jù)記錄(存儲)在存儲單元1123中。此外，蜂窩式電話1100可以使得主控制單元1150分析在CXD相機1116成像并獲得的2D代碼，以獲得以2D代碼記錄的信息。此外，蜂窩式電話1100可以使用紅外線在紅外線通信單元1181與外部設備通信。通過使用上面參考圖1、圖9、圖14或圖18描述的編碼設備作為圖像編碼器1153，蜂窩式電話1100允許解碼器側使用視圖切換標志顯示內容制作者想要的圖像。此外，通過使用上面參考圖5、圖12、圖16或圖21描述的解碼設備作為圖像解碼器1156，蜂窩式電話1100允許顯示由多個視點的圖像數(shù)據(jù)構成的內容的制作者想要的內容。注意，迄今已經進行了蜂窩式電話1100使用C⑶相機1116的描述，但是可以采用使用CMOS (互補金屬氧化物半導體)的圖像傳感器(CMOS圖像傳感器)替代該CCD相機 1116。同樣在該情況下，以與使用C⑶相機1116相同的方式，蜂窩式電話1100可以成像被攝體以生成被攝體圖像的圖像數(shù)據(jù)。此外，迄今已經關于蜂窩式電話1100進行了描述，但是上述編碼設備和解碼設備可以以與蜂窩式電話1100的情況相同的方式應用于任何種類的設備，只要它是具有與蜂窩式電話1100相同的成像功能和通信功能的設備，例如如PDA(個人數(shù)字助理)、智能電話、 UMPC(超級移動個人計算機)、上網本、筆記本型個人計算機等。圖26是圖示對其應用本發(fā)明的使用編碼設備和解碼設備的硬盤記錄器的主要配置示例的框圖。圖26所示的硬盤記錄器(HDD記錄器)1200是這樣的設備，其將通過調諧器接收的廣播波信號(電視信號)中包括的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)保存在內置硬盤中， 并且在根據(jù)用戶指令的定時將保存的數(shù)據(jù)提供給用戶，該廣播波信號由衛(wèi)星或地基天線發(fā)送。例如，可以進行這樣的安排，其中硬盤記錄器1200從廣播波信號提取音頻數(shù)據(jù)和視頻數(shù)據(jù)，適當?shù)亟獯a這些，并且將這些存儲在內置硬盤中。此外，例如可以進行這樣的安排，其中硬盤記錄器1200經由網絡從另一設備獲得音頻數(shù)據(jù)和視頻數(shù)據(jù)，適當?shù)亟獯a這些，并且將這些存儲在內置硬盤中。此外，例如可以進行這樣的安排，其中硬盤記錄器1200解碼內置硬盤中記錄的音頻數(shù)據(jù)和視頻數(shù)據(jù)，提供到監(jiān)視器1260，在監(jiān)視器1260的屏幕上顯示該圖像，并且將該音頻從監(jiān)視器1260的揚聲器輸出。此外，例如可以進行這樣的安排，其中硬盤記錄器1200 解碼從經由調諧器獲得的廣播波信號提取的音頻數(shù)據(jù)和視頻數(shù)據(jù)、或者經由網絡從另一設備獲取的音頻數(shù)據(jù)和視頻視頻數(shù)據(jù)，提供到監(jiān)視器1260，在監(jiān)視器1260的屏幕上顯示該圖像，并且將該音頻從監(jiān)視器1260的揚聲器輸出。不必說不同于上面的操作可以是可用的。如圖26所示，硬盤記錄器1200包括接收單元1221、解調單元1222、解復用器 1223、音頻解碼器1224、視頻解碼器1225和記錄器控制單元1226。硬盤記錄器1200還包括EPG數(shù)據(jù)存儲器1227、程序存儲器1228、工作存儲器1229、顯示轉換器1230、OSD (屏上顯示)控制單元1231、顯示控制單元1232、記錄/播放單元1233、D/A轉換器1234和通信單元1235。此外，顯示轉換器1230包括視頻編碼器1241。記錄/播放單元1233包括編碼器 1251和解碼器1252。接收單元1221接收來自遙控器(未示出)的紅外線信號，轉換為電信號，并且輸出到記錄器控制單元1226。記錄器控制單元1226例如由微處理器等配置，并且根據(jù)程序存儲器1228中存儲的程序執(zhí)行各種類型的處理。此時，記錄器控制單元1226根據(jù)需要使用
36工作存儲器1229。通信單元1235連接到網絡，并且經由網絡執(zhí)行與另一設備的通信處理。例如，由記錄器控制單元1226控制的通信單元1235與調諧器(未示出)通信，并且主要輸出頻道選擇控制信號到調諧器。解調單元1222解調從調諧器提供的信號，并且輸出到解復用器1223。解復用器 1223將從解調單元1222提供的數(shù)據(jù)分離為音頻數(shù)據(jù)、視頻數(shù)據(jù)和EPG數(shù)據(jù)，并且分別輸出到音頻解碼器1224、視頻解碼器1225和記錄器控制單元1226。音頻解碼器1224解碼輸入的音頻數(shù)據(jù)，并且輸出到記錄/播放單元1233。視頻解碼器1225解碼輸入的視頻數(shù)據(jù)，并且輸出到顯示轉換器1230。記錄器控制單元1226提供并存儲輸入的EPG數(shù)據(jù)到EPG數(shù)據(jù)存儲器1227。顯示轉換器1230在視頻編碼器1241將從視頻解碼器1225或記錄器控制單元 1226提供的視頻數(shù)據(jù)編碼為符合例如NTSC(國家電視標準委員會)系統(tǒng)的視頻數(shù)據(jù)，并且輸出到記錄/播放單元1233。此外，顯示轉換器1230將從視頻解碼器1225或記錄器控制單元1226提供的視頻數(shù)據(jù)的屏幕大小轉換為對應監(jiān)視器1260的大小的大小，通過視頻編碼器1241轉換為符合NTSC系統(tǒng)的視頻數(shù)據(jù)，轉換為模擬信號，并且輸出到顯示控制單元 1232。在記錄器控制單元1226的控制下，顯示控制單元1232將OSD (屏上顯示)控制單元1231輸出的OSD信號疊加在從顯示轉換器1230輸入的視頻信號上，以便輸出到監(jiān)視器 1260的顯示器用于顯示。此外，音頻解碼器1224輸出的音頻數(shù)據(jù)通過D/A轉換器1234轉換為模擬信號，并且提供到監(jiān)視器1260。監(jiān)視器1260從內置揚聲器輸出音頻信號。記錄/播放大于1233包括硬盤作為用于記錄視頻數(shù)據(jù)、音頻數(shù)據(jù)等的存儲介質。記錄/播放單元1233例如使用編碼器1251編碼從音頻解碼器1224提供的音頻數(shù)據(jù)。此外，記錄/播放單元1233使用編碼器1251編碼從顯示轉換器1230的視頻編碼器 1241提供的視頻數(shù)據(jù)。記錄/播放單元1233使用復用器合成該音頻數(shù)據(jù)的編碼數(shù)據(jù)和該視頻數(shù)據(jù)的編碼數(shù)據(jù)。記錄/播放單元1233使得該合成數(shù)據(jù)經歷信道編碼，放大，并且將該數(shù)據(jù)經由記錄頭寫入硬盤中。記錄/播放單元1233經由播放頭播放硬盤中記錄的數(shù)據(jù)，放大，并且使用解復用器分離為音頻數(shù)據(jù)和視頻數(shù)據(jù)。記錄/播放單元1233使用解碼器1252解碼音頻數(shù)據(jù)和視頻數(shù)據(jù)。記錄/播放單元1233使得解碼的音頻數(shù)據(jù)經歷D/A轉換，并且輸出到監(jiān)視器1260 的揚聲器。此外，記錄/播放單元1233使得解碼的視頻數(shù)據(jù)經歷D/A轉換，并且輸出到監(jiān)視器1260的顯示器。記錄器控制單元1226基于經由接收單元1221接收的、由來自遙控器的紅外線信號指示的用戶的指令，從EPG數(shù)據(jù)存儲器1227讀出最新EPG數(shù)據(jù)，并且將其提供到OSD控制單元1231。OSD控制單元1231生成對應于輸入的EPG數(shù)據(jù)的圖像數(shù)據(jù)，并且輸出到顯示控制單元1232。顯示控制單元1232將從OSD控制單元1231輸入的視頻數(shù)據(jù)輸出到監(jiān)視器 1260的顯示器用于顯示。因此，EPG (電子節(jié)目指南)在監(jiān)視器1260的顯示器上顯示。此外，硬盤記錄器1200可以經由網絡(如因特網等)獲得從另一設備提供的各種類型的數(shù)據(jù)(如視頻數(shù)據(jù)、音頻數(shù)據(jù)、EPG數(shù)據(jù)等)。
由記錄器控制單元1226控制的通信單元1235經由網絡獲得從另一設備發(fā)送的編碼數(shù)據(jù)(如視頻數(shù)據(jù)、音頻數(shù)據(jù)、EPG數(shù)據(jù)等)，并且提供到記錄器控制單元1226。記錄器控制單元1226例如將獲得的視頻數(shù)據(jù)和音頻數(shù)據(jù)的編碼數(shù)據(jù)提供到記錄/播放單元1233， 并且存儲在硬盤中。此時，記錄器控制單元1226和記錄/播放單元1233可以根據(jù)需要執(zhí)行如重新編碼等的處理。此外，記錄器控制單元1226解碼獲得的視頻數(shù)據(jù)和音頻數(shù)據(jù)的編碼數(shù)據(jù)，并且將獲得的視頻數(shù)據(jù)提供到顯示轉換器1230。以與從視頻解碼器1225提供的視頻數(shù)據(jù)相同的方式，顯示轉換器1230處理從記錄器控制單元1226提供的視頻數(shù)據(jù)，經由顯示控制單元 1232提供到監(jiān)視器1260，并且顯示該圖像。此外，與該圖像顯示同步地，記錄器控制單元1226可以經由D/A轉換器1234將解碼的音頻數(shù)據(jù)提供到監(jiān)視器1260，以從揚聲器輸出該音頻。此外，記錄器控制單元1226解碼獲得的EPG數(shù)據(jù)的編碼數(shù)據(jù)，并且將解碼的EPG 數(shù)據(jù)提供到EPG數(shù)據(jù)存儲器1227。這樣配置的硬盤記錄器1200使用上面參考圖5、圖12、圖16或圖21描述的解碼設備作為視頻解碼器1225、解碼器1252和容納在記錄器控制單元1226中的解碼器。也就是說，以與這些解碼設備相同的方式，視頻解碼器1225、解碼器1252和容納在記錄器控制單元1226中的解碼器基于視圖切換標志，選擇并解碼要顯示為2D圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)，或者解碼從要用于2D圖像顯示的基本圖像數(shù)據(jù)編碼的基本編碼數(shù)據(jù)，編碼設備在基于視圖切換標志的指定切換圖像的同時生成該基本編碼數(shù)據(jù)。相應地，視頻解碼器1225、解碼器1252和容納在記錄器控制單元1226中的解碼器的每個允許顯示由多個視點的圖像數(shù)據(jù)構成的內容的制作者想要的圖像。相應地，例如在通過調諧器或通信單元1235接收視頻數(shù)據(jù)(編碼數(shù)據(jù))時，或者在通過記錄/播放單元1233從硬盤的視頻數(shù)據(jù)(編碼數(shù)據(jù))回放時，硬盤記錄器1200允許顯示由多個視點的圖像數(shù)據(jù)構成的內容的制作者想要的圖像。此外，硬盤記錄器1200使用上面參考圖1、圖9、圖14或圖18描述的編碼設備作為編碼器1251。相應地，以與這些編碼設備的情況相同的方式，編碼器1251編碼多個視點的圖像數(shù)據(jù)的每個，并且將該編碼數(shù)據(jù)與視圖切換標志復用。相應地，硬盤記錄器1200例如允許解碼器側使用視圖切換標志顯示內容制作者想要的圖像。注意，迄今已經關于將視頻數(shù)據(jù)和音頻數(shù)據(jù)記錄在硬盤中的硬盤記錄器1200進行了描述，但是不必說記錄介質可以是任何種類的介質。以與上述音頻記錄器1200的情況相同的方式，上述編碼設備和解碼設備甚至可應用于對其應用不同于硬盤的記錄介質(例如如閃存、光盤、錄像帶等)的記錄器。圖27是圖示對其應用本發(fā)明的使用編碼設備和解碼設備的相機的主要配置示例的框圖。圖27所示的相機1300成像被攝體，在IXD 1316上顯示被攝體的圖像，或者將其記錄在記錄介質1333中作為圖像數(shù)據(jù)。鏡頭塊1311允許光(即，被攝體的視頻)輸入到CCD/CMOS 1312。CCD/CMOS 1312 是使用CCD或CMOS的圖像傳感器，將接收光的強度轉換為電信號，并且提供到相機信號處理單元1313。
相機信號處理單元1313將從(XD/CM0S 1312提供的電信號轉換為Y、Cr和Cb的色差信號，并且提供到圖像信號處理單元1314。圖像信號處理單元1314在控制器1321的控制下，使得從相機信號處理單元1313提供的圖像信號經歷預定處理，或者使用編碼器1341 編碼該圖像信號。圖像信號處理單元1314將通過編碼圖像信號生成的編碼數(shù)據(jù)提供到解碼器1315。此外，圖像信號處理單元1314獲得在屏幕顯示(OSD) 1320生成的用于顯示的數(shù)據(jù)，并且將其提供到解碼器1315。利用上述處理，相機信號處理單元1313適當?shù)厥褂靡浻煽偩€1317連接的 DRAM(動態(tài)隨機存取存儲器)1318，并且根據(jù)需要將圖像數(shù)據(jù)、通過編碼該圖像數(shù)據(jù)獲得的編碼數(shù)據(jù)等保持在該DRAM 1318中。解碼器1315解碼從圖像信號處理單元1314提供的編碼數(shù)據(jù)，并且將獲得的圖像數(shù)據(jù)(解碼的圖像數(shù)據(jù))提供到IXD 1316。此外，解碼器1315將從圖像信號處理單元1314 提供的用于顯示的數(shù)據(jù)提供到IXD 1316。IXD1316適當?shù)睾铣蓮慕獯a器1315提供的解碼的圖像數(shù)據(jù)的圖像和用于顯示的數(shù)據(jù)的圖像，并且顯示該合成的圖像。屏上顯示1320在控制器1321的控制下，經由總線1317輸出用于顯示的數(shù)據(jù)(如由符號、字符和圖構成的菜單屏幕或圖標等)到圖像信號處理單元1314。控制器1321基于指示用戶使用操作單元1322指令的內容的信號執(zhí)行各種類型的處理，此外經由總線1317控制圖像信號處理單元1314、DRAM 1318、外部接口 1319、屏上顯示1320、介質驅動器1323等。執(zhí)行各種類型的處理的控制器1321所需的程序、數(shù)據(jù)等存儲在閃速ROM 1324中。例如，替代圖像信號處理單元1314和解碼器1315，控制器1321可以編碼DRAM 1318中存儲的圖像數(shù)據(jù)或解碼DRAM 1318中存儲的編碼數(shù)據(jù)。此時，控制器1321可以根據(jù)與圖像信號處理單元1314和解碼器1315的編碼和解碼系統(tǒng)相同的系統(tǒng)執(zhí)行編碼和解碼處理，或者可以根據(jù)不同于圖像信號處理單元1314和解碼器1315可以處理的系統(tǒng)的系統(tǒng)執(zhí)行編碼和解碼處理。此外，例如在已經從操作單元1322指令開始圖像打印的情況下，控制器1321從 DRAM 1318讀出圖像數(shù)據(jù)，并且經由總線1317將其提供到要連接到外部接口 1319的打印機 1334用于打印。此外，例如在已經從操作單元1322指令圖像記錄的情況下，控制器1321從DRAM 1318讀出編碼數(shù)據(jù)，并且經由總線1317將其提供到要安裝到介質驅動器1323上的記錄介質1333用于存儲。記錄介質1333是任意的可讀可寫可移除介質，例如如磁盤、磁光盤、光盤、半導體存儲器等。關于記錄介質1333，不必說用作可移除介質的類型是任意的，可以是帶設備，可以是盤，或者可以是存儲卡。不必說這可以是非接觸IC卡等。此外，介質驅動器1323和記錄介質1333可以集成以便由非便攜式存儲介質(如內置硬盤驅動器、SSD (固態(tài)驅動器)等)配置。外部接口 1319例如由USB輸入/輸出端子等配置，并且在執(zhí)行圖像打印的情況下連接到打印機1334。此外，驅動器1331根據(jù)需要連接到外部接口 1319，可以適當?shù)貙⒖梢瞥橘|(如磁盤、光盤、磁光盤等)安裝到驅動器1331上，并且從驅動器1331讀出的計算機程序根據(jù)需要安裝到閃速R0M1324中。
此外，外部總線1319包括要連接到預定網絡(如LAN、因特網等)的網絡接口。可以進行這樣的安排，其中控制器1321例如根據(jù)來自操作單元1322的指令從DRAM 1318讀出編碼數(shù)據(jù)，并且將其從外部接口 1319提供到要經由網絡連接的另一設備。此外，可以進行這樣的安排，其中控制器1321經由外部接口 1319獲得經由網絡從另一設備提供的編碼數(shù)據(jù)或圖像數(shù)據(jù)，并且將其保持在DRAM 1318中或將其提供到圖像信號處理單元1314。這樣配置的相機1300使用上面參考圖5、圖12、圖16或圖21描述的解碼設備作為解碼器1315。也就是說，以與這些解碼設備相同的方式，解碼器1315基于視圖切換標志， 選擇并解碼要顯示為2D圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)，或者解碼從要用于2D圖像顯示的基本圖像數(shù)據(jù)編碼的基本編碼數(shù)據(jù)，編碼設備在基于視圖切換標志的指定切換圖像的同時生成該基本編碼數(shù)據(jù)。相應地，解碼器1315允許顯示由多個視點的圖像數(shù)據(jù)構成的內容的制作者想要的圖像。相應地，例如在讀出在(XD/CM0S 1312生成的圖像數(shù)據(jù)、或來自DRAM1318或記錄介質1333的視頻數(shù)據(jù)的編碼數(shù)據(jù)時，或者在經由網絡獲得視頻數(shù)據(jù)的編碼數(shù)據(jù)時，相機 1300允許顯示由多個視點的圖像數(shù)據(jù)構成的內容的制作者想要的圖像。此外，相機1300使用上面參考圖1、圖9、圖14或圖18描述的編碼設備作為編碼器1341。以與這些編碼設備的情況相同的方式，編碼器1341編碼多個視點的圖像數(shù)據(jù)的每個，并且將該編碼數(shù)據(jù)與視圖切換標志復用。因此，編碼器1341例如允許解碼器側使用視圖切換標志顯示內容制作者想要的圖像。相應地，例如在將編碼數(shù)據(jù)記錄在DRAM 1318或記錄介質1333中時，或者在提供編碼數(shù)據(jù)給另一設備時，相機1300允許解碼器側使用視圖切換標志顯示內容制作者想要的圖像。注意，上述解碼設備的解碼方法可以應用于控制器1321執(zhí)行的解碼處理。類似地，上述編碼設備的編碼方法可應用于控制器1321執(zhí)行的編碼處理。此外，相機1300成像的圖像數(shù)據(jù)可以是運動圖像或者可以是靜態(tài)圖像。不必說上述編碼設備和解碼設備可以應用于不同于上述設備的設備或系統(tǒng)。擴展宏塊此外，宏塊的大小是任意的。本發(fā)明例如可應用于如圖28所示的所有大小的宏塊。例如，本發(fā)明不僅可應用于如通常的16X16像素的宏塊，而且可應用于如32X32像素的擴展的宏塊(擴展宏塊)。在圖28中，上級從左邊順序地圖示劃分為32 X 32像素、32 X 16像素、16 X 32像素和16X16像素的塊(分區(qū))的、由32X32像素構成的宏塊。此外，中間級從左邊順序地圖示劃分為16X16像素、16X8像素、8X16像素和8X8像素的塊(分區(qū))的、由16X16像素構成的宏塊。此外，下級從左邊順序地圖示劃分為8X8像素、8X4像素、4X8像素和4X4 像素的塊(分區(qū))的、由8X8像素構成的宏塊。也就是說，關于32 X 32像素的宏塊，上級所示的32 X 32像素、32 X 16像素、16 X 32 像素和16X16像素的塊中的處理是可用的。關于上級的右邊所示的16X 16像素的宏塊，以與H. 264/AVC系統(tǒng)相同的方式，中間級所示的16 X 16像素、16 X 8像素、8 X 16像素和8X8像素的塊中的處理是可用的。關于中間級的右邊所示的8X8像素的宏塊，以與H. 264/AVC系統(tǒng)相同的方式，下級所示的8 X 8像素、8 X 4像素、4 X 8像素和4 X 4像素的塊中的處理是可用的。這些塊可分類為以下三層。具體地，圖28的上級所示的32X32像素、32X 16像素和16X32像素的塊將稱為第一層。上級的右邊所示的16X16像素的塊和中間級所示的 16 X 16像素、16 X 8像素、8 X 16像素的塊將稱為第二層。中間級的右邊所示的8X8像素的塊和下級所示的8X8像素、8X4像素、4X8像素和4X4像素的塊將稱為第三層。采用這樣的分層配置，從而可以在保持與H/264/AVC系統(tǒng)的兼容性的同時，將更大的塊定義為關于等于或小于16X 16像素的塊的其超集。例如，對其應用本發(fā)明的編碼設備和解碼設備可以為每層計算濾波器系數(shù)。此外， 例如對其應用本發(fā)明的編碼設備和解碼設備可以將對應于第一層的濾波器系數(shù)設為第二層，該第一層的塊大小大于第二層的塊大小。此外，例如對其應用本發(fā)明的編碼設備和解碼設備可以關于過去的相同層設置濾波器系數(shù)。如同第一層和第二層，其中使用相對大的宏塊執(zhí)行編碼的宏塊相對地排除高頻分量。另一方面，如同第三層，其中使用相對小的宏塊執(zhí)行編碼的宏塊被認為相對地包括高頻分量。因此，根據(jù)具有不同塊大小的每層分開計算濾波器系數(shù)允許實現(xiàn)適于圖像具有的局部屬性的編碼性能的改進。注意，每層的濾波器抽頭的數(shù)量可以不同。參考標號列表Il1到IIn編碼單元，12標志設置單元，13生成單元，21A/D轉換單元，22圖像分類緩沖器，23計算單元，24正交變換單元，25量化單元，26無損編碼單元，27累積緩沖器， 28速率控制單元，29逆量化單元，30逆正交變換單元，31計算單元，32幀存儲器，33幀內預測單元，34運動預測/運動補償單元，41提取單元，42i到42N解碼單元，43立體視覺圖像變換單元，44選擇單元，45解碼單元，51累積緩沖器，52無損代碼解碼單元，53逆量化單元，54逆正交變換單元，55計算單元，56幀存儲器，57幀內預測單元，58運動預測/運動補償單元，59圖像分類緩沖器，60D/A轉換單元，71切換單元，81恢復單元，101總線，102CPU， 103R0M, 104RAM, 105硬盤，106輸出單元，107輸入單元，108通信單元，109驅動器，110輸入 /輸出接口，111可移除記錄介質
4權利要求
1.一種圖像處理設備，包括變換部件，配置為根據(jù)用于從大于1的N個視點的圖像數(shù)據(jù)中指定用于2D圖像的顯示的圖像數(shù)據(jù)的標志，通過切換所述N個視點的圖像數(shù)據(jù)中的一個視點的圖像數(shù)據(jù)和另一視點的圖像數(shù)據(jù)，將所述N個視點的圖像數(shù)據(jù)變換為一條基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)，所述基本圖像數(shù)據(jù)是用于2D圖像的顯示的圖像數(shù)據(jù)；以及傳輸部件，配置為傳輸通過所述變換部件變換的一條基本圖像數(shù)據(jù)和所述N-I條額外圖像數(shù)據(jù)以及所述標志。
2.如權利要求1所述的圖像處理設備，還包括標志設置部件，配置為設置用于從所述N個視點的圖像數(shù)據(jù)中指定用于2D圖像的顯示的圖像數(shù)據(jù)的標志。
3.如權利要求2所述的圖像處理設備，其中所述傳輸部件通過將所述位流和所述標志兩者連接來傳輸它們。
4.如權利要求2所述的圖像處理設備，其中所述標志設置部件對一個或多個連續(xù)畫面的每個設置所述標志。
5.如權利要求1所述的圖像處理設備，其中所述N個視點的圖像數(shù)據(jù)是要由左眼觀察的用于左眼的視點圖像數(shù)據(jù)和要由右眼觀察的用于右眼的視點圖像數(shù)據(jù)。
6.如權利要求1所述的圖像處理設備，還包括編碼部件，配置為編碼N個視點的圖像數(shù)據(jù)以生成位流。
7.一種圖像處理方法，包括變換步驟，安排為根據(jù)用于從大于1的N個視點的圖像數(shù)據(jù)中指定用于2D圖像的顯示的圖像數(shù)據(jù)的標志，通過切換所述N個視點的圖像數(shù)據(jù)中的一個視點的圖像數(shù)據(jù)和另一視點的圖像數(shù)據(jù)，將所述N個視點的圖像數(shù)據(jù)變換為一條基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)，所述基本圖像數(shù)據(jù)是用于2D圖像的顯示的圖像數(shù)據(jù)；以及傳輸步驟，安排為傳輸在所述變換步驟中變換的一條基本圖像數(shù)據(jù)和所述N-I條額外圖像數(shù)據(jù)以及所述標志。
8.一種圖像處理設備，包括接收部件，配置為接收用于從大于1的N個視點的圖像數(shù)據(jù)中指定用于2D圖像的顯示的圖像數(shù)據(jù)的標志、一條基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)，所述基本圖像數(shù)據(jù)是用于 2D圖像的顯示的圖像數(shù)據(jù)，其中通過根據(jù)所述標志切換所述N個視點的圖像數(shù)據(jù)中的一個視點的圖像數(shù)據(jù)和另一視點的圖像數(shù)據(jù)獲得所述一條基本圖像數(shù)據(jù)和所述N-I條額外圖像數(shù)據(jù)；以及恢復部件，配置為根據(jù)由所述接收部件接收的標志，將由所述接收部件接收的一條基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)恢復為N個視點的圖像數(shù)據(jù)。
9.如權利要求8所述的圖像處理設備，還包括立體視覺圖像變換部件，配置為將所述N個視點的圖像數(shù)據(jù)變換為用于立體視覺的立體視覺圖像數(shù)據(jù)。
10.一種圖像處理方法，包括接收步驟，安排為接收用于從大于1的N個視點的圖像數(shù)據(jù)中指定用于2D圖像的顯示的圖像數(shù)據(jù)的標志、一條基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)，所述基本圖像數(shù)據(jù)是用于2D圖像的顯示的圖像數(shù)據(jù)，其中通過根據(jù)所述標志切換所述N個視點的圖像數(shù)據(jù)中的一個視點的圖像數(shù)據(jù)和另一視點的圖像數(shù)據(jù)獲得所述一條基本圖像數(shù)據(jù)和所述N-I條額外圖像數(shù)據(jù)；以及恢復步驟，安排為根據(jù)在所述接收步驟中接收的標志，將在所述接收步驟中接收的一條基本圖像數(shù)據(jù)和N-I條額外圖像數(shù)據(jù)恢復為N個視點的圖像數(shù)據(jù)。
11.一種圖像處理設備，包括標志設置部件，配置為根據(jù)大于1的N個視點的圖像數(shù)據(jù)的制作者的意圖，設置用于從所述N個視點的圖像數(shù)據(jù)中指定用于2D圖像的顯示的圖像數(shù)據(jù)的標志；以及傳輸部件，配置為傳輸通過編碼所述N個視點的圖像數(shù)據(jù)獲得的位流和通過所述設置部件設置的標志。
12.如權利要求11所述的圖像處理設備，其中所述傳輸部件通過將所述位流和所述標志兩者連接來傳輸它們。
13.如權利要求11所述的圖像處理設備，其中所述標志設置部件對一個或多個連續(xù)畫面的每個設置所述標志。
14.如權利要求11所述的圖像處理設備，其中所述N個視點的圖像數(shù)據(jù)是要由左眼觀察的用于左眼的視點圖像數(shù)據(jù)和要由右眼觀察的用于右眼的視點圖像數(shù)據(jù)。
15.如權利要求11所述的圖像處理設備，還包括編碼部件，配置為編碼N個視點的圖像數(shù)據(jù)以生成位流。
16.一種圖像處理方法，包括標志設置步驟，安排為根據(jù)大于1的N個視點的圖像數(shù)據(jù)的制作者的意圖，設置用于從所述N個視點的圖像數(shù)據(jù)中指定用于2D圖像的顯示的圖像數(shù)據(jù)的標志；以及傳輸步驟，安排為傳輸通過編碼所述N個視點的圖像數(shù)據(jù)獲得的位流和在所述設置步驟中設置的標志。
17.一種圖像處理設備，包括接收部件，配置為接收通過編碼大于1的N個視點的圖像數(shù)據(jù)獲得的位流和根據(jù)所述N 個視點的圖像數(shù)據(jù)的制作者的意圖設置的、用于從所述N個視點的圖像數(shù)據(jù)中指定用于2D 圖像的顯示的圖像數(shù)據(jù)的標志；以及選擇部件，配置為根據(jù)由所述接收部件接收的所述標志，從由所述接收部件接收的所述位流中包括的N個視點的圖像數(shù)據(jù)中選擇用于2D圖像的顯示的圖像數(shù)據(jù)。
18.如權利要求17所述的圖像處理設備，其中將所述位流和所述標志連接。
19.如權利要求17所述的圖像處理設備，還包括解碼部件，配置為解碼由所述選擇部件選擇的圖像數(shù)據(jù)。
20.一種圖像處理方法，包括接收步驟，安排為接收通過編碼大于1的N個視點的圖像數(shù)據(jù)獲得的位流和根據(jù)所述N 個視點的圖像數(shù)據(jù)的制作者的意圖設置的、用于從所述N個視點的圖像數(shù)據(jù)中指定用于2D 圖像的顯示的圖像數(shù)據(jù)的標志；以及選擇步驟，安排為根據(jù)在所述接收步驟中接收的所述標志，從在所述接收步驟中接收的所述位流中包括的N個視點的圖像數(shù)據(jù)中選擇用于2D圖像的顯示的圖像數(shù)據(jù)。
全文摘要
公開了一種圖像處理設備和方法，當將立體圖像內容顯示為二維圖像時，可以用其顯示內容制作者想要的內容。生成單元(13)生成包括兩條視點圖像數(shù)據(jù)和視圖切換標志的復用數(shù)據(jù)，該兩條視點圖像數(shù)據(jù)是用于左眼的視點圖像數(shù)據(jù)和用于右眼的視點圖像數(shù)據(jù)，該視圖切換標志在用于左眼的視點圖像數(shù)據(jù)和用于右眼的視點圖像數(shù)據(jù)中指定用于二維圖像的顯示的圖像數(shù)據(jù)。利用復用數(shù)據(jù)的解碼，從復用數(shù)據(jù)中提取視圖切換標志，并且根據(jù)視圖切換標志從用于左眼的視點圖像數(shù)據(jù)和用于右眼的視點圖像數(shù)據(jù)中選擇用于二維圖像的顯示的圖像數(shù)據(jù)。該設備和方法例如可以應用于編碼包括來自多個視點的圖像的立體圖像的編碼設備。
文檔編號H04N13/02GK102301723SQ200980155980
公開日2011年12月28日 申請日期2009年12月9日 優(yōu)先權日2008年12月9日
發(fā)明者北村卓也, 矢崎陽一, 米滿潤, 鈴木輝彥, 高橋良知 申請人:索尼公司