靜止和運動圖像的數字立體觀看已經變得普遍，并且用于觀看3D(三維)電影的裝備更廣泛地可用。劇院提供基于利用特殊的眼鏡觀看電影的3D電影，該特殊的眼鏡確保針對每一幀的電影左眼和右眼觀看不同的圖像。有3D能力的玩家和電視機，相同的方法已經帶到家庭使用。在實踐中，電影由對相同場景的兩幅視圖(分別針對左眼和右眼)組成。這些視圖是通過使用直接創(chuàng)建適合立體觀看的該內容的特殊立體相機拍攝電影而創(chuàng)建的。當視圖呈現給兩只眼睛時，人類視覺系統(tǒng)創(chuàng)建了場景的3D視圖。該技術的缺點在于觀看區(qū)域(電影屏幕或電視)僅占據視場的一部分，因此3D視圖的體驗受到限制。

為了更逼真的體驗，已經創(chuàng)建了占據整個視場的較大觀看區(qū)域的設備。存在旨在用于佩戴在頭上的立體觀看鏡，使得它們用小屏幕和鏡頭布置覆蓋眼睛并顯示針對左眼和右眼的圖像。這種技術的優(yōu)點還在于，與通常用于3D觀看的相當大的電視機相比，它可以在小空間中使用，甚至是在移動時。

因此，需要能夠記錄數字圖像/視頻以便觀看具有廣泛視場的3D視頻或圖像的解決方案。

技術實現要素：

現在已經發(fā)明了一種實現該方法的改進方法和技術裝備，借此緩解了上述問題。本發(fā)明的各個方面包括以獨立權利要求中所述的特征為特征的相機裝置。在從屬權利要求中公開了本發(fā)明的各種實施例。

本說明書涉及相機設備。相機設備具有觀看方向并且包括多個相機(至少一個中央相機和至少兩個外圍相機)。每個所述相機具有相應的視場，并且每個所述視場覆蓋相機設備的觀看方向。相機相對于彼此定位，使得中央相機和外圍相機形成具有自然差距和立體視場的至少兩個立體相機對，每個所述立體視場覆蓋相機設備的觀看方向。相機設備具有中央視場和外圍視場，該中央視場包括立體相機對的組合的立體視場，該外圍視場包括相機的至少部分在中央視場外的視場。

相機設備可以包括在基本上對應于以下中的至少一些的定位處的相機：人類頭部在正常解剖姿勢下的眼睛定位、人類頭部在最大屈曲解剖姿勢下的眼睛定位、人類頭部在最大伸展解剖姿勢下的眼睛定位、和/或人類頭部在最大左右旋轉解剖姿勢下的眼睛定位。

相機設備可以包括至少三個相機，這些相機被設置成使得它們在相應相機的視場方向上的光軸落入半球視場內，該相機設備不包括其光軸在半球視場外的相機，并且該相機設備具有覆蓋整個球體的總視場。

上述描述可以描述相同的相機設備或不同的相機設備。這樣的照相機設備可以具有它們具有在相機設備的觀看方向上設置的相機的屬性，即它們的視場不是對稱的，例如不以相同質量或相等數目的相機覆蓋整個球體。這可能帶來的好處是，可以使用更多的相機來捕獲在觀看方向上和周圍(中央視場)上的視覺上重要的區(qū)域，同時以較低的質量覆蓋其余的，例如沒有立體圖像能力。同時，相機的這種不對稱放置可能在設備的背面留下用于電子和機械結構的空間。

這里描述的相機設備可以具有帶有廣角鏡頭的相機。相機設備可能適合于創(chuàng)建立體觀看圖像數據，其包括用于多個相機的多個視頻序列。相機設備可以使得至少三個相機中的任何一對相機具有對應于用于創(chuàng)建立體圖像的人眼的視差(差距)的視差。至少三個相機可以重疊視場，使得由所述至少三個相機捕獲每個部分的重疊區(qū)域被定義，并且這樣的重疊區(qū)域可以用于形成用于立體觀看的圖像。

本發(fā)明還涉及觀看立體圖像，例如立體視頻圖像，也稱為3D視頻。使用具有重疊視場的至少三個相機來捕獲場景，使得該場景的區(qū)域被至少三個相機覆蓋。在觀看者處，從多個相機中選擇相機對，以創(chuàng)建如果它們位于相機源的位置時與用戶眼睛的位置最佳匹配的立體相機對。也就是說，選擇相機對，使得由相機源產生的差距類似于用戶的眼睛在該位置處本有的差距。如果用戶傾斜他的頭部，或者視圖方向被改變，則可以形成一對新的對，例如通過切換另一個相機。然后，觀看者設備隨后通過為每個圖像的每個區(qū)域挑選最佳的來源來形成用于左眼和右眼的視頻幀的圖像，以獲得逼真的立體差距。

附圖說明

在下文中，將參照附圖更詳細地描述本發(fā)明的各種實施例，其中

圖1a、1b、1c和1d示出了用于對用戶形成立體圖像的設置；

圖2a示出了用于立體觀看的系統(tǒng)和裝置；

圖2b示出了用于立體觀看的立體相機設備；

圖2c示出了用于立體觀看的頭戴式顯示器；

圖2d圖示了相機；

圖3a、3b和3c圖示了從圖像源形成針對第一眼和第二眼的立體圖像；

圖4a和4b示出了用作圖像源的相機設備的示例；

圖5a、5b、5c和5d示出了用于立體觀看的源和目標坐標系的使用；

圖6a、6b、6c、6d、6e、6f、6g和6h示出了用于立體圖像捕獲的示例性相機設備；

圖7a和7b圖示了用于立體觀看的圖像源數據的傳輸；

圖8示出了用于立體觀看的方法的流程圖。

具體實施方式

在下文中，將在具有3D眼鏡的立體觀看的上下文中描述本發(fā)明的若干實施例。然而，應當注意，本發(fā)明不限于任何特定的顯示技術。事實上，不同的實施例在需要立體觀看的任何環(huán)境中都有應用，例如電影和電視。此外，雖然說明書使用某些相機設置作為示例，但是也可以使用不同的相機設置。

圖1a、1b、1c和1d示出了用于對用戶形成立體圖像的設置。在圖1a中，示出了人們使用雙眼E1和E2觀看兩個球體A1和A2的情況。球體A1比球體A2更靠近觀看者，到第一眼E1的相應距離為L_E1,A1和L_E1,A2。不同的物體駐留在由坐標系SZ、SY和SZ定義的各自的(x,y,z)坐標的空間中。人的眼睛之間的距離d₁₂可以平均約為62-64mm，并且在人與人之間在55和74mm之間變化。該距離被稱為視差(parallax)，人的視覺的立體視圖基于該視差。觀看方向(光軸)DIR1和DIR2通常基本上是平行的，可能具有與平行的小的偏差，并且限定了眼睛的視場。用戶的頭部具有相對于周圍環(huán)境的取向(頭部取向)，其最容易由眼睛在直視前方時的共同方向定義。即，頭部取向指示關于用戶所在場景的坐標系的頭部的偏擺、俯仰和滾轉。

當觀看者的身體(胸部)不移動時，觀看者的頭部取向受到頸椎運動的正常解剖范圍的限制。

在圖1a的設置中，球體A1和A2處于雙眼的視場中。眼睛與球體之間的中心點O₁₂在同一條線上。即，從該中心點，球體A2在球體A1的后面。然而，每只眼睛均看到A1后面的球體A2的一部分，因為球體與任何一只眼睛都不在所視的同一條線上。

在圖1b中，示出了一設置，其中眼睛已被被相機C1和C2替代，且相機C1和C2定位在圖1a中眼睛所處的位置處。該設置的距離和方向在其他方面也相同。自然地，圖1b的設置的目的是能夠拍攝球體A1和A2的立體圖像。由圖像捕捉產生的兩個圖像是F_C1和F_C2?！白笱邸眻D像F_C1示出了在球體A1的圖像S_A1的左側上部分可見的球體A2的圖像S_A2?！坝已邸眻D像F_C2示出了在球體A1的圖像S_A1的右側上部分可見的球體A2的圖像S_A2。右圖像與左圖像之間的差異被稱為差距(disparity)，且該差距是人類視覺系統(tǒng)確定深度信息并創(chuàng)建場景的3D視圖的基本機制，其可用于創(chuàng)建3D圖像的錯覺。

在圖1b的該設置中，其中眼間距離對應于圖1a中的眼睛的距離，相機對C1和C2具有自然視差，即其具有在相機的兩個圖像中產生自然差距的屬性。即使形成立體相機對的兩個相機之間的距離稍微小于或大于人眼之間的正常距離(視差)，例如基本上在40mm與100mm之間或甚至30mm與120mm之間，自然差距也可被理解為被創(chuàng)建。

在圖1c中，示出了該3D錯覺的創(chuàng)建。由相機C1和C2捕獲的圖像F_C1和F_C2分別使用顯示器D1和D2顯示給眼睛E1和E2。圖像之間的差距由人類視覺系統(tǒng)處理，從而創(chuàng)造出對深度的理解。即，當左眼看到球體A1的圖像S_A1的左側上的球體A2的圖像S_A2，并且右眼分別看到右側上的A2的圖像時，人類視覺系統(tǒng)產生了以下認識：在三維世界中的球體V1后面存在球體V2。這里，需要理解的是，圖像F_C1和F_C2也可以是合成的，即由計算機創(chuàng)建的。如果它們攜帶差距信息，合成圖像也將被人類視覺系統(tǒng)視為三維的。即，可以形成一對計算機生成的圖像，使得它們可以用作立體圖像。

圖1d示出了將立體圖像顯示給眼睛的原理如何可以用來創(chuàng)建具有三維的錯覺的3D電影或虛擬現實場景。圖像F_X1和F_X2用立體相機捕獲或從模型中計算，使得圖像具有適當的差距。通過使用顯示器D1和D2以對雙眼顯示每秒大量的幀(例如30幀)，使得左眼與右眼之間的圖像具有差距，人類視覺系統(tǒng)將創(chuàng)建移動的三維圖像的認知。當相機轉動或者用來計算合成圖像的觀看方向發(fā)生變化時，圖像的變化會創(chuàng)建觀看方向正在變化的錯覺，即觀看者的頭部正在旋轉。觀看方向(即頭部取向)可以例如由安裝在頭部上的取向檢測器或者由諸如操縱桿或鼠標之類的控制設備確定的虛擬取向來確定為頭部的實際取向，該控制設備可以用來操縱觀看方向，而不用用戶實際上移動他的頭。即，術語“頭部取向”可以用于指代用戶的頭部的實際的物理取向和其變化，或者可以用于指代由計算機程序或計算機輸入設備確定的用戶視圖的虛擬方向。

圖2a示出了用于立體觀看的系統(tǒng)和裝置，即用于3D視頻和3D音頻數字捕獲和回放。該系統(tǒng)的任務是從特定位置捕獲足夠的視覺和聽覺信息，使得一個或多個物理上位于不同位置的觀看者以及可能在將來的時間可以實現令人信服地再現在該位置的體驗或存在。這樣的再現需要比由單個相機或麥克風捕獲到的更多的信息，以便觀看者可以使用他們的眼睛和他們的耳朵來確定場景內的對象的距離和位置。如在圖1a至1d的上下文中所解釋的，為了創(chuàng)建具有差距的一對圖像，使用兩個相機源。以類似的方式，對于能夠感測到聲音方向的人類聽覺系統(tǒng)，使用至少兩個麥克風(通過記錄兩個音頻通道創(chuàng)建通常所知的立體聲)。人類聽覺系統(tǒng)可以例如在音頻信號的計時差異中檢測提示，以檢測聲音的方向。

圖2a的系統(tǒng)可以由三個主要部分組成：圖像源、服務器和呈現(rendering)設備。視頻捕獲設備SRC1包括具有重疊視場的多個(例如，8個)相機CAM1、CAM2……CAMN，使得從至少兩個相機捕獲圍繞視頻捕獲設備的視圖的區(qū)域。設備SRC1可以包括多個麥克風以捕獲源自不同方向的音頻的計時和相位差。該設備可以包括高分辨率取向傳感器，使得可以檢測和記錄多個相機的取向(觀看方向)。設備SRC1包括或功能上連接到計算機處理器PROC1和存儲器MEM1，該存儲器包括用于控制捕獲設備的計算機程序PROGR1代碼。由設備捕獲的圖像流可以存儲在存儲器設備MEM2上以用于另一設備，例如觀看器，和/或使用通信接口COMM1發(fā)送到服務器。

需要理解的是，雖然這里描述了一個8相機立方體設置作為系統(tǒng)的一部分，但是可以使用另一相機設備來代替系統(tǒng)的一部分。

可替代地或除了創(chuàng)建圖像流的視頻捕獲設備SRC1之外，合成圖像的一個或多個源SRC2可以存在于系統(tǒng)中。合成圖像的這種源可以使用虛擬世界的計算機模型來計算其發(fā)送的各種圖像流。例如，源SRC2可以計算與位于虛擬觀看定位的N個虛擬相機對應的N個視頻流。當這樣一組合成的視頻流被用于觀看時，觀看者可以看到三維虛擬世界，如前面對于圖1d所解釋的。設備SRC2包括或者功能上連接到計算機處理器PROC2和存儲器MEM2，該存儲器包括用于控制合成源設備SRC2的計算機程序PROGR2代碼。由設備捕獲到的圖像流可以存儲在存儲器設備MEM5(例如存儲卡CARD1)上，以用于另一設備，例如觀看器，或者使用通信接口COMM2發(fā)送到服務器或觀看器。

除了捕獲設備SRC1之外，還可以存在服務于網絡的存儲、處理和數據流。例如，可以存在存儲來自捕獲設備SRC1或計算設備SRC2的輸出的服務器SERV或多個服務器。該設備包括或者功能上連接到計算機處理器PROC3和存儲器MEM3，該存儲器包括用于控制服務器的計算機程序PROGR3代碼。服務器可以通過有線或無線網絡連接或二者而連接到源SRC1和/或SRC2，以及通過通信接口COMM3連接到觀看器設備VIEWER1和VIEWER2。

為了觀看所捕獲或創(chuàng)建的視頻內容，可能有一個或多個觀看器設備VIEWER1和VIEWER2。這些設備可以具有呈現模塊和顯示模塊，或者這些功能可以組合在單個設備中。這些設備可以包括或者功能上連接到計算機處理器PROC4和存儲器MEM4，該存儲器包括用于控制觀看設備的計算機程序PROGR4代碼。觀看器(回放)設備可以由用于從服務器接收視頻數據流并用于解碼視頻數據流的數據流接收器組成。數據流可以通過通信接口COMM4在網絡連接上，或者從諸如存儲卡CARD2之類的存儲器設備MEM6而被接收。觀看器設備可以具有圖形處理單元，其用于將數據處理為如圖1c和1d所描述的用于觀看的適當格式。觀看器VIEWER1包括用于觀看所呈現的立體視頻序列的高分辨率立體圖像頭戴式顯示器。頭戴式設備可以具有取向傳感器DET1和立體聲音頻耳機。觀看器VIEWER2包括啟用了3D技術的顯示器(用于顯示立體視頻)，并且呈現設備可以具有與其連接的頭部取向檢測器DET2。任何設備(SRC1、SRC2、SERVER、RENDERER、VIEWER1、VIEWER2)均可以是計算機或便攜式計算設備，或者連接到這些設備。這樣的呈現設備可以具有用于執(zhí)行根據本文中描述的各種示例的方法的計算機程序代碼。

圖2b示出了用于立體觀看的相機設備。相機包括三個或更多個相機，被配置成用于創(chuàng)建左眼圖像和右眼圖像的相機對，或者可以被布置成這樣的對。相機之間的距離可以對應于人眼之間的通常距離。相機可以被布置成使得它們在它們的視場中具有顯著的重疊。例如，可以使用180度或更大的廣角鏡頭，并且可以存在3、4、5、6、7、8、9、10、12、16或20個相機。相機可以在整個視場球體范圍內規(guī)則地或不規(guī)則地間隔開，或者它們可以僅覆蓋整個球體的一部分。例如，可以有三個相機布置成三角形并且具有朝向三角形的一邊的不同觀看方向，使得所有三個相機覆蓋觀看方向中間的重疊區(qū)域。作為另一個示例，8個相機具有廣角鏡頭并且規(guī)則地布置在虛擬立方體的拐角并且覆蓋整個球體，使得整個或基本上整個球體在所有方向上被至少3或4個相機覆蓋。在圖2b中，示出了三個立體相機對。

可以使用具有其他類型相機布局的相機設備。例如，可以使用所有相機都在一個半球中的照相機設備。相機的數目可以是例如3、4、6、8、12或更多。相機可以被放置以創(chuàng)建中央視場，其中立體圖像可以由兩個或更多個相機的圖像數據和外圍(極端)視場形成，在該外圍視場中一個相機覆蓋場景并且只有正常的非立體圖像可以被形成。可以在本說明書中稍后描述可以在系統(tǒng)中使用的不同相機設備的示例。

圖2c示出了用于立體觀看的頭戴式顯示器。頭戴式顯示器包含兩個屏幕部分或兩個屏幕DISP1和DISP2，用于顯示左眼和右眼圖像。顯示器靠近眼睛，因此透鏡用于使圖像容易觀看并且用于將圖像擴展到盡可能多地覆蓋眼睛的視場。該設備附接到用戶的頭部，使得即使用戶轉動頭部，該設備仍然保持在原位。該設備可以具有用于確定頭部移動和頭部方向的取向檢測模塊ORDET1。這里要注意的是，在該類型的設備中，跟蹤頭部運動可以完成，但是由于顯示器覆蓋大面積的視場，所以不需要眼睛運動檢測。頭部取向可能與用戶頭部的實際物理取向相關，并且可以由傳感器跟蹤以用于確定用戶頭部的實際取向?？商娲鼗蚋郊拥兀^部取向可以與用戶的觀看方向的虛擬取向相關，由計算機程序或者由諸如操縱桿之類的計算機輸入設備控制。即，用戶可能能夠用輸入設備改變所確定的頭部取向，或者計算機程序可以改變觀看方向(例如在游戲中，游戲程序可以代替或除了真實的頭部取向之外控制所確定的頭部取向)。

圖2d示出了相機CAM1。相機具有相機檢測器CAMDET1，其包括用于感測撞擊傳感器元件的光的強度的多個傳感器元件。相機具有鏡頭OBJ1(或多個鏡頭的鏡頭布置)，該鏡頭被定位成使得擊中傳感器元件的光穿過鏡頭傳播到傳感器元件。相機檢測器CAMDET1具有作為多個傳感器元件的中點的標稱中心點CP1，例如對于矩形傳感器是對角線的交叉點。鏡頭具有標稱中心點PP1，并且例如位于鏡頭的對稱軸線上。相機的取向的方向由穿過相機傳感器的中心點CP1的線和鏡頭的中心點PP1定義。相機的方向是沿著該線指向從相機傳感器到鏡頭的方向的矢量。相機的光軸被理解為這條線CP1-PP1。

上述系統(tǒng)可以如下工作。首先用捕獲設備記錄時間同步的視頻、音頻和取向數據。這可以由如上所述的多個并發(fā)視頻和音頻流組成。然后將它們立即或稍后傳送到存儲裝置和處理網絡以用于進行處理并轉換成適合于隨后傳送到回放設備的格式。該轉換可以涉及音頻和視頻數據的后處理步驟，以便提高質量和/或減少數據量，同時將質量保持在期望的水平。最后，每個回放設備從網絡接收數據流，并將其呈現為用頭戴式顯示器和耳機可以體驗的原始位置的立體觀看再現。

通過如下所述創(chuàng)建用于觀看的立體圖像的新穎方式，用戶可能能夠在多個方向上轉動他們的頭部，并且回放設備能夠創(chuàng)建高頻(例如，每秒60幀)立體視頻和對應于該特定取向的場景的音頻視圖，如它將從原始記錄的位置出現一樣。也可以使用創(chuàng)建用于從相機數據觀看的立體圖像的其他方法。

圖3a、3b和3c示出了通過使用動態(tài)源選擇和動態(tài)拼接位置從圖像源形成針對第一眼和第二眼的立體圖像。為了為特定的頭部取向創(chuàng)建立體視圖，使用來自至少2個不同相機的圖像數據。通常，單個相機不能覆蓋整個視場。因此，根據本解決方案，可以使用多個相機通過將來自不同相機的圖像的部分拼接在一起來創(chuàng)建用于立體觀看的兩個圖像。通過拼接進行圖像創(chuàng)建，使得圖像具有適當的差距，使得可以創(chuàng)建3D視圖。這將在下面進行解釋。

為了使用最好的圖像源，使用相機和眼睛定位的模型。相機可以具有相機空間中的定位，并且將眼睛的定位投影到該空間中，使得眼睛出現在相機中。逼真(自然)的視差(眼睛之間的距離)被采用。例如，在所有相機位于球體上的設置中，眼睛也可以投射在球體上。解決方案首先選擇最接近每只眼睛的相機。頭戴式顯示器可以具有每個眼睛的大視場，使得不存在覆蓋眼睛的整個視圖的單個圖像(來自一個相機)。在該情況下，使用沿著在縫合在一起的兩個圖像中包含幾乎相同內容的線將圖像“拼接”在一起的已知技術，必須從多個圖像的部分中創(chuàng)建視圖。圖3a示出了用于立體觀看的兩個顯示器。來自相機IS2、IS3和IS6的圖像數據將左眼顯示器的圖像放在一起。來自相機IS1、IS3和IS8的圖像數據將右眼顯示器的圖像放在一起。要注意，在該示例中，相同的圖像源IS3用于左眼和右眼圖像兩者，但是這樣做是為了使雙眼中的相機IS3不被相同的視圖區(qū)域所覆蓋。這確保了整個視圖的恰當差距——即，在視圖中的每個位置處，左眼與右眼圖像之間存在差距。

針對每個頭部取向動態(tài)地改變縫合點，以使得從距離眼睛定位最近的相機拍攝到的視圖的中心區(qū)域周圍的區(qū)域得以最大化。同時，要注意確保不同的相機用于針對不同眼睛的兩個圖像中相同的視圖區(qū)域。在圖3b中，對應于視圖中相同區(qū)域的區(qū)域PXA1和PXA2分別取自不同的相機IS1和IS2。兩個相機被間隔開，所以區(qū)域PXA1和PXA2顯示了差距的效果，從而在人類視覺系統(tǒng)中產生3D錯覺。接縫(可以更加可見)STITCH1和STITCH2也避免被放置在視圖的中心，因為最近的相機通常會覆蓋中心周圍的區(qū)域。該方法導致動態(tài)選擇用于根據頭部取向為視圖的某個區(qū)域創(chuàng)建圖像的一對相機?？梢允褂脵z測到的頭部取向對每個像素和每個幀進行選擇。

縫合是用算法完成的，該算法確保所有縫合的區(qū)域具有適當的立體差距。在圖3c中，左圖像和右圖像被縫合在一起，使得場景中的對象繼續(xù)跨越來自不同相機源的區(qū)域。例如，場景中最近的立方體已經從一個相機取到左眼圖像，并從兩個不同的相機取到右眼視圖，并縫合在一起。存在用于針對左眼和右眼的立方體的所有部分的不同的相機，這創(chuàng)建了差距(立方體的右側在右眼圖像中更加可見)。

相同的相機圖像可以部分地用于左眼和右眼兩者，但不能用于相同的區(qū)域。例如，只要那些視圖區(qū)域不重疊，并且不同的相機(IS1和IS2)被用于在另一只眼睛中呈現那些區(qū)域，可以從相機IS3縫合左眼視圖的右側，并且可以從相同的相機IS3縫合右眼的左側。換言之，相同的相機源(在圖3a中，IS3)可用于左眼圖像和右眼圖像的立體觀看。在傳統(tǒng)的立體觀看中，相反，左相機用于左圖像，右相機用于右圖像。因此，本方法允許更充分地利用源數據。這可以用于捕獲視頻數據，由此在不同的時間實例(具有一定的采樣率，例如30幀每秒)的情況下由不同的相機捕獲的圖像被用于創(chuàng)建用于觀看的左立體圖像和右立體圖像。這可以以這樣一種方式使得在某一時間實例中捕獲的相同相機圖像用于創(chuàng)建針對左眼的圖像的一部分和針對右眼的圖像的一部分，該左眼圖像和右眼圖像被一起使用以形成用于觀看的立體視頻流的一個立體幀。在不同的時間實例中，可以使用不同的相機來創(chuàng)建視頻的幀的左眼部分和右眼部分。這使得能夠更有效地利用所捕獲的視頻數據。

圖4a和4b示出了用作圖像源的相機設備的示例。要創(chuàng)建一個完整的360度立體全景，視圖的每個方向都需要從兩個位置拍攝，一個用于左眼，一個用于右眼。在視頻全景的情況下，需要同時拍攝這些圖像以保持眼睛彼此同步。由于一個相機無法物理地覆蓋整個360度視角(至少不會被另一個相機遮擋)，因此需要有多個相機來形成整個360度全景圖。然而，附加的相機增加了系統(tǒng)的成本和尺寸，并增加了待處理的更多數據流。當將相機安裝在球體或柏拉圖實體(platonic solid)形狀的布置上以獲得更垂直的視場時，這個問題變得更加顯著。然而，即使通過在諸如八面體或十二面體之類的球體或柏拉圖實體上布置多個相機對，該相機對也不會在眼睛視圖之間實現自由角視差。眼睛之間的視差固定在成對的各個相機的定位，即在與相機對垂直的方向上，不能實現視差。當使用允許圍繞z軸自由旋轉視角的頭戴式顯示器觀看立體內容時，這是有問題的。

對多個相機覆蓋捕獲設備周圍的每一個點的需求將需要捕獲設備中的非常大量的相機。該解決方案中使用的一種新技術是利用具有180度(半球)或更大視場的鏡頭，并且在捕獲設備周圍布置仔細選擇的相機。這種布置在圖4a中示出，其中相機已被定位在虛擬立方體的拐角處，具有基本上指向從立方體的中心點背離的取向DIR_CAM1、DIR_CAM2……DIR_CAMN。自然地，可以使用其他形狀，例如立方八面體的形狀，或其他布置，甚至不規(guī)則的形狀。

可以使用重疊的超寬視場鏡頭，使得相機可以用作相機對的左眼視圖和另一相機對的右眼視圖。這將所需相機的數目減少到一半。令人驚奇的優(yōu)點是，以這種方式減少相機的數目增加了立體觀看質量，因為它也允許在所有相機中任意選擇左眼和右眼相機，只要它們彼此間具有足夠的重疊視圖。使用不同數目的相機和不同的相機布置(如球體和柏拉圖實體)的這種技術使得能夠為每只眼睛拾取最匹配的相機(如前所述)，從而實現眼睛之間的垂直視差。這是有益的，特別是當使用頭戴式顯示器觀看內容時。所描述的相機設置以及先前描述的縫合技術可以允許以更高的保真度和更小的相機設備的費用來創(chuàng)建立體觀看。

寬視野范圍允許根據當前視圖方向將來自一個相機的圖像數據選擇為不同眼睛的源數據，從而最小化所需的攝像機數目。在不需要設備上方和下方的高圖像質量且視圖取向也不從垂直于環(huán)軸傾斜的情況下，間隔可以在一個軸上的5個或更多個相機的環(huán)中。

如果需要高質量的圖像和各個方向的自由視圖傾斜，例如可以使用(具有6個相機的)立方體、(具有8個相機的)八面體或(具有12個相機的)十二面體。其中，八面體或立方體的拐角(圖4a)是可能的選擇，因為它可以在最小化相機數目而同時最大化可用于不同視圖取向的相機對組合的數目之間提供良好的權衡。使用8個相機構建的實際相機設備如圖4b所示。相機設備使用185度廣角鏡頭，使得相機的總體覆蓋范圍超過4個完整球體。這意味著場景中的所有點都被至少4個相機覆蓋。相機具有指向從設備的中心背離的取向DIR_CAM1、DIR_CAM2……DIR_CAMN。

即使使用較少的相機，也可以實現這樣的過覆蓋范圍(例如具有6個相機和相同的185度鏡頭)，可以實現3倍的覆蓋范圍。當場景正在被呈現并且最接近的相機正在為特定像素而被選擇時，該過覆蓋范圍意味著總是存在至少3個相機來覆蓋一個點，并且因此可以形成至少3個用于該點的不同相機對。因此，根據觀看取向(頭部取向)，可以更容易地找到具有良好視差的相機對。

相機設備可以包括以相對于彼此的方式定位的規(guī)則或不規(guī)則設置的至少三個相機，所述至少三個相機中的任何一對相機具有差距以用于創(chuàng)建具有差距的立體圖像。該至少三個相機具有重疊的視場，使得限定了針對由所述至少三個相機捕獲的每個部分的重疊區(qū)域。至少三個相機中的任何一對相機可以具有對應于人眼的視差的視差，以用于創(chuàng)建立體圖像。例如，一對相機之間的視差(距離)可以在5.0cm與12.0cm之間，例如大約6.5cm。由于與人的正常眼間距離的距離相似，這樣的視差可以被理解為自然視差或接近自然視差。至少三個相機可以具有不同的光軸方向。重疊區(qū)域可以具有簡單連接的拓撲，意味著其形成沒有孔或基本沒有孔的連續(xù)表面，從而可以在整個觀看表面上或至少對于重疊區(qū)域的大部分獲得差距。在一些相機設備中，該重疊區(qū)域可以是圍繞相機設備的觀看方向的中央視場。所述至少三個相機中的每一個的視場可以大致對應于半球。相機設備可以包括三個相機，該三個相機被布置成三角形設置，由此任何一對相機之間的光軸的方向形成小于90度的角度。該至少三個相機可以包括基本上位于虛擬立方體的拐角處的八個寬視場相機，并且每個相機具有基本上以規(guī)則方式從虛擬立方體的中心點到拐角的光軸方向，其中每個所述寬視場相機的視場至少為180度，使得整個球體視圖的每個部分被至少四個相機覆蓋(參見圖4b)。

成人的瞳孔間距離(IPD)可以從52mm到到78mm變化，取決于人和性別。兒童的IPD自然比成人要小。人的大腦適應人的確切IPD，但在呈現立體視圖時可以容忍相當的一些差異。對不同差距的寬容度也是個人的，但是例如，對于大多數成人來說，圖像觀看的80mm差距似乎不會導致立體視覺中的問題。因此，相機之間的最佳距離大概是成人的天然60-70mm的差距，但視觀看者而定，本發(fā)明的工作距離范圍更廣，例如距離為40mm至100mm甚至從30mm到120mm。例如，可以使用80mm能夠在相機設備中具有用于光學器件和電子器件的足夠空間，但是對于立體觀看而言，仍然能夠具有真實的自然差距。

圖5a和5b示出了用于立體觀看的源和目標坐標系的使用。這里使用的技術是記錄與重疊的視頻數據同步的捕獲設備取向，并且使用取向信息來校正呈現給用戶的視圖的取向——在回放期間有效地消除捕獲設備的旋轉——使得用戶控制觀看方向，而不是捕獲設備。如果觀看者反而想要體驗捕獲設備的原始動作，則可以禁用校正。如果觀看者希望體驗原始動作的極限版本——可以使用濾鏡動態(tài)地應用校正，使得跟隨原始動作，但是更慢或偏離正常取向的偏差較小。

圖5a示出了相機設備的旋轉以及相機坐標系的旋轉。自然地，每個相機的視圖和取向也在變化，因此，即使觀看者保持與以前相同的取向，他也將看到向左旋轉。如果同時，如圖5b所示，用戶將其頭部向左旋轉，產生的視圖甚至將向左轉得更多，這可能將觀看方向改變180度。然而，如果相機設備的移動被消除，則用戶的頭部移動(參見圖5c和5d)將是控制視圖的頭部移動。在水肺潛水員的例子中，無論潛水員看到什么，觀看者都可以選擇進行觀看的對象。即，圖像源的取向與用戶的頭部的取向一起使用以確定待向用戶顯示的圖像。

在下文中，描述了使用4和12個相機之間的相機設備的相關多相機布置系列，例如廣角魚眼鏡頭。這種相機設備系列可有利于創(chuàng)建用于使用頭戴式顯示器進行觀看的3D視頻記錄。

圖6a示出了形成為模仿具有頭部轉動的人類視覺的相機設備。在目前情況下，我們已經觀察到，當用頭戴式顯示器觀看場景時，頭部的運動的典型范圍(身體的其余部分不轉動)被限制在一個半球。即，使用頭戴式顯示器的人正在使用他們的頭部在這個半球中將他們的頭部轉動，但是沒有使用他們的身體以轉向觀看后面。由于眼睛的視場，頭部的這種半球運動仍然使得完整的球體易于觀察，但是以3D所觀看到的該球體的面積只比半球略大，因為后方區(qū)域只由一只眼睛看見。

圖6a示出了當頭部分別向左、向中和向右旋轉時的3D視覺610、611和612的范圍?？偟娜S視場615稍大于水平面中的半圓。頭部的背面可以看作區(qū)域620、621、622、630、631和632的組合(減去了3D區(qū)域)，導致2D觀看區(qū)域625。由于受到限制的到背面的視圖，除了無法看到他的頭部內部(眼睛后面)，該人也不能看到在背面的小的楔形區(qū)域645，其也覆蓋了頭部外面的一個區(qū)域。當廣角相機被放置在眼睛的位置650、661、652、653、654和655中的某些位置時，可以捕獲類似的中央視場615和外圍視場625以用于立體觀看。

類似地，當頭部向上和/或向下傾斜時，相機可以放置在眼睛的位置。例如，相機設備可以包括位于基本對應于正常解剖姿勢下的人類頭部的眼睛定位以及如上所述的最大左右旋轉解剖姿勢的位置處的相機，并且還包括在最大屈曲解剖姿勢(向下傾斜)處、最大伸展解剖姿勢(向上傾斜)的位置處的相機。眼睛定位也可以投射在半徑為50-100mm、例如80mm的虛擬球體上，以使相機的間隔更緊湊(即減小相機設備的尺寸)。

當觀看者的身體(胸部)不移動時，觀看者的頭部取向受到頸椎運動的正常解剖范圍的限制。這些可以例如如下。頭部可以通常能夠圍繞垂直軸線繞任一側旋轉90度。正常的屈曲范圍可以高達90度，即，觀看者可能能夠將頭部向下傾斜90度，這取決于他的個人解剖結構。伸展的正常范圍可以高達70度，即，觀看者可以能夠將他的頭部向上傾斜70度。橫向屈曲的正常范圍可以在任一側高達45度或更小(例如30度)，即用戶可能能夠將頭部向側面傾斜最多30-45度。胸部(和下脊椎)的任何旋轉、屈曲或伸展都可能增加這些正常的運動范圍。

應注意的是，較早的解決方案沒有利用人的正常中央視場(具有頭部移動)的這種觀察來優(yōu)化用于3D觀看的相機設備的相機的數目和定位。相機設備可以包括至少三個相機，這些相機被設置成使得它們在相應相機的視場的方向上的光軸落在半球視場內。這樣的相機設置可以避免使相機具有位于所述半球視場外(即朝向背面)的光軸。然而，使用廣角鏡頭，相機設備可以具有覆蓋完整球體的總視場。例如，各個相機的視場可以大于180度，并且相機可以布置在相機設備中，使得其他相機不會遮擋其視場。

在圖6b的示例性實施例中，4個相機661、662、663和664被布置在正六邊形的4個相鄰頂點上，其中光軸穿過六邊形的中心點，其距離使得每個相機系統(tǒng)的焦點位于相鄰相機不小于64mm且不大于90mm的距離處。

對于在兩個相機之間的平均方向觀看的3D圖像，由圖6b中的距離“a”(視差)引起的差距最大，并且匹配這些相機的焦點之間的距離。該距離通常略大于65mm，使得系統(tǒng)的平均差距與人眼分離的平均值相匹配。

當觀看方向接近3D場的極端邊緣時，由于系統(tǒng)的幾何形狀，視差(圖6b中的距離“b”)——以及因此的人類深度感知——減小。超過預定的觀看角度，由兩個相機做出的3D視圖被來自單個相機的2D視圖代替。在該變化之前自然的差距減小是有利的，因為它導致從3D到2D觀看的更平滑和更不明顯的轉換。

在相機系統(tǒng)后面存在不可見的區(qū)域，其準確程度由極端(外圍)相機661和664的定位和方向以及它們的視場來確定。該區(qū)域是有利的，因為它表示可以用于例如在最終捕獲的視覺環(huán)境中不可見的力學、電池、數據存儲裝置或其他支持裝備的顯著體積。

在圖6a-6h的上下文中描述的相機設備具有觀看方向，例如圖6a和6b的相機設備具有直接向前的觀看方向(在附圖中是直立的)。相機設備具有多個相機，包括至少一個中央相機和至少兩個外圍相機。例如，在圖6b中，相機662和663是中央相機，并且661和664是外圍(極端)相機。每個相機具有由其光軸和鏡頭的視場限定的相應視場。在這些相機設備中，由于使用了廣角鏡頭，所以每個所述視場都覆蓋相機設備的觀看方向。多個相機相對于彼此定位，使得中央和外圍相機形成具有自然差距的至少兩個立體相機對，使得根據觀看方向可以使用適當的立體相機對以用于創(chuàng)建立體圖像。每個立體相機對具有相應的立體視場。當相機適當地定位時，立體視場也覆蓋相機設備的觀看方向。整個相機設備具有中央視場615，這是立體相機對的立體視場的組合立體視場。中央視場615包括觀看方向。相機設備還具有外圍視場625，這是除了中央視場之外所有相機的視場的組合視場(即至少部分在中央視場之外)。作為示例，相機設備可以具有至少在包括相機設備的觀看方向的一個平面中的相機設備的觀看方向的兩側上延伸100到120度的中央視場。

在這里，中央視場可以被理解為可以使用由至少一個相機對捕獲到的圖像來形成立體圖像的視場。外圍視場是可以使用至少一個相機形成圖像的視場，但由于不存在合適的立體相機對，所以不能形成立體圖像。關于相機的視場的可行布置使得相機設備具有中心區(qū)域或中心點，并且多個相機使得其相應光軸相對于彼此不平行并穿過中心。即，相機從中心直接指向外。

立方八面體形狀如圖6c所示。立方八面體由六邊形組成，六邊形上方和下方具有等邊三角形，這些三角形的頂點連接到六邊形的最接近的頂點。所有頂點與其最近的相鄰物均等地間隔開。上下三角形中的一個三角形可以相對于另一個三角形圍繞垂直軸線旋轉30度，以獲得相對于中間六邊形平面呈現對稱性的改進的立方八面體形狀。相機可以放置在立方八面體的前半球。四個相機CAM1、CAM2、CAM3、CAM4位于中間六邊形的頂點，兩個相機CAM5、CAM6位于其上方，并且三個相機CAM7、CAM8、CAM9位于其下方。

圖6d中的示例性八相機系統(tǒng)被示為3D機械圖，其中存在相機設備支撐結構。相機附接到具有針對相機的定位的支撐結構。在該相機系統(tǒng)中，立方八面體的下三角形已被旋轉以在相機設備的觀看方向(圖6e中描繪的鏡像)的半球內具有兩個相機。

在圖6a-6h的這個和其他相機設備中，相機設備具有多個相機，并且它們可以被放置在基本上球形的虛擬表面(例如，圍繞觀看方向DIR_VIEW的半球)。在這種布置中，全部或一些相機可以使它們各自的光軸穿過或近似穿過虛擬球體的中心點。如圖6c和6d所示，相機設備可以具有第一中央相機CAM2和第二中央相機CAM1，其光軸DIR_CAM2和DIR_CAM1在水平面(中間六邊形的平面)上移位并且具有自然的差距。還可以存在第一外圍相機CAM3，其水平面上的光軸DIR_CAM3定向到中央相機DIR_CAM2的光軸的左側，并且存在第二外圍相機，其水平面上的光軸DIR_CAM4定向到中央相機DIR_CAM1的光軸的右側。在這種布置中，第一外圍相機和第一中央相機的光軸、第一中央相機和第二中央相機的光軸以及第二中央相機和第二外圍相機的光軸分別形成大約60度角。在圖6d的設置中，兩個外圍相機彼此相反(或大致相反)，并且它們的光軸對準，盡管在相反的方向。在這種布置中，對于廣角鏡頭，兩個外圍相機的場可以覆蓋整個球體，可能具有一些重疊。

在圖6d中，相機設備還具有兩個中央相機CAM1和CAM2，以及四個外圍相機CAM3、CAM4、CAM5、CAM6，它們設置在虛擬立方八面體的上前四分之一的頂點處，以及兩個外圍相機CAM7和CAM8，它們設置在相對于立方八面體的上前四分之一的赤道平面(中六邊形的平面)鏡像的位置處。這些赤道外相機的光軸DIR_CAM5、DIR_CAM6、DIR_CAM7、DIR_CAM8也可能穿過相機設備的中心。

以下關于圖6g的球體坐標系對圖6d的各個相機的方向和位置進行了描述。相機CAM1-CAM8的位置(r，θ，)的坐標分別為：(R，90°，60°)，(R，90°，120°)，(R，90°，180°)，(R，90°，0°)，(R，35.3°，30°)，(R，35.3°，30°)，(R，144.7°，30°)，(R，144.7°，150°)，其中R＝70mm。光軸的方向(θ，)分別為：(90°，60°)，(90°，120°)，(90°，180°)，(90°，0°)，(35.3°，30°)，(35.3°，150°)，(144.7°，30°)，(144.7°，150°)。

圖6e和6f示出了針對相機設備的不同的相機設置，其中相機設備(和包含相機的半球)的觀看方向直接朝向附圖的觀看者。

如圖6e所示，最小的八面體相機設置由中間平面上的四個相機CAM1、CAM2、CAM3、CAM4組成。因此，觀看方向是中央相機CAM1和CAM2的光學方向的平均值。可以以多種方式放置附加的相機以增加可能收集的有用數據。在六相機配置中，一對相機CAM5和CAM6可以放置在六邊形上方的兩個三角形頂點上，其中光軸在系統(tǒng)的中心處會合，并且相對于主六邊形環(huán)的中央兩個相機CAM1和CAM2形成正方形。在8個相機配置中，另外兩個相機CAM7和CAM8可以相對于中間六邊形平面對兩個相機CAM5和CAM6進行鏡像。使用如圖6e所描繪的4個相機，3D范圍通過前相機從向前方向的偏移角度延伸。典型的每個相機的角度分離將是60度——這向相機視場增加了60度，以給出超過240度的整體3D視場，并且在典型的可商購的195度視場鏡頭的情況下高達255度。六相機系統(tǒng)允許頭部從中心定位的向上俯仰期間顯示高質量的3D視圖。八相機系統(tǒng)允許下面相同，并且是給出了正常頭部運動(包括垂直運動)的良好整體匹配的布置。

也可以使用不均勻的相機布置。例如，可以設想在相機之間具有大于60度的光軸分離的相機設備，或者具有較小的分離度但具有附加相機。

只有3個相機，1個在相機設備(圖6f左下方的CAM1)的觀看方向面向前方并且2個在每側90度(CAMX1、CAMX2)，3D視覺的范圍受前相機的視場限制，但是通常由于頭部運動而小于3D視覺范圍。此外，使用這種相機設置，不能創(chuàng)建垂直差距(觀看者將他的頭部傾斜到一側)。該垂直差距可以通過將垂直位移的相機添加到設置來實現，例如在圖6f的右上設置中，其中外圍相機CAMX1和CAMX3在半球的頂部和底部處于或接近于半球的邊緣，并且外圍相機CAMX2和CAMX4在水平面上。再次，中央相機CAM1指向相機設備的觀看方向。左上設置具有六個外圍相機CAMX1、CAMX2、CAMX3、CAMX4、CAMX5和CAMX6，處于或接近于半球的邊緣。使用兩個、三個、四個或更多個中央相機CAM1、CAM2、CAM3，如圖6f的右下設置也是可行的。這可以增加立體圖像在相機設備的觀看方向上的質量，因為可以使用兩個或更多個中央相機，并且觀看方向基本上被捕獲在這些相機的視場的中心，使得在圖像中間不需要縫合(縫合如前所述)。

在圖6a-6h的相機設備中，各個相機設置在球體或基本上球體的虛擬表面上。相機位于虛擬表面的一個半球上，或者在空間角度上比半球稍微(例如20度)更小或更大的區(qū)域上。虛擬球體的另一半球上沒有設置有相機。如上所述，這為背面的機械器件和電子器件留下了光學上不可見的空間。在相機設備中，中央相機設置在半球的中間(靠近相機設備的觀看方向)，并且外圍相機靠近半球的邊緣設置。

也可以使用具有不同分離值的不均勻布置，但是這些或者是降低了用于再現頭部運動的數據的質量，或者是需要增加更多的相機來增加實現的復雜性。

圖6g示出了球體坐標系，相對于其已經在上面描述了相機位置和它們的光軸方向。與中心點的距離由坐標r給出。從參考方向來看，圍繞空間中的點的垂直軸線的旋轉由角度(phi)給出。從垂直軸的旋轉偏移由角度θ(theta)給出。

圖6h示出了相機設備的示例結構及其視場。存在具有用于電子器件的殼體或空間的支撐結構690，以及用于相機691的支撐臂或支架。此外，可以存在用于相機設備的支撐件693，并且在支撐件的另一端處存在用于保持的手柄或固定板695或用于將相機設備保持或固定到物體(例如汽車或支座)的其他設備。如前所述，相機設備具有觀看方向DIR_VIEW和中央視場(3D)以及外圍視場(2D)。在相機設備的背面，可能存在用于保持電子器件、機械器件等的空間、外殼等。由于不對稱的相機布置，其中相機被放置在相機設備的一個半球中(圍繞觀看方向)，在相機設備背面存在不可見的空間(在圖6h中標記為不可見)。

圖7a和7b圖示了用于立體觀看的圖像源數據的傳輸。本申請中呈現的立體觀看系統(tǒng)可以采用多視圖視頻編碼以用于將源視頻數據發(fā)送給觀看者。即，服務器可以具有編碼器，或者視頻數據可以在服務器處以編碼形式存在，使得視頻數據中的冗余針對帶寬的減少而被利用。然而，由于廣角鏡頭引起的大量失真，編碼效率可能會降低。在這種情況下，可以將不同的源信號V1-V8組合到一個視頻信號，如圖7a所示，并作為一個編碼視頻流傳輸。然后，觀看設備可以選擇用于呈現針對左眼和右眼的圖像所需的像素值。

整個場景的視頻數據可能需要被傳輸(和/或在觀看器處解碼)，因為在回放期間，觀看器需要立即對觀看者的頭部的角度運動做出響應并且從正確的角度呈現內容。為了能夠這樣做，整個360度全景視頻可能需要從服務器傳輸到觀看設備，因為用戶可以隨時轉動他的頭。這需要大量的數據帶傳輸，其消耗帶寬并需要解碼功率。

該應用中使用的技術是將當前和預測的未來觀看角度報告回具有視圖信令的服務器，并允許該服務器根據觀看角度來適配編碼參數。服務器可以傳輸數據，使得可見區(qū)域(主動圖像源)使用更多的可用帶寬并具有更好的質量，同時對于基于頭部運動(被動圖像源)當前不可見或短期內不預期可見的區(qū)域使用較小部分的帶寬(和較低質量)。實際上，這意味著當用戶快速地明顯轉頭時，內容將首先具有較差的質量，但是一旦服務器已經接收到新的觀看角度并且相應地適配了流，則該內容將變得更好。優(yōu)點可以在于，當頭部移動較少時，與場景上均等的靜態(tài)帶寬分配的情況相比，圖像質量將得到改善。這在圖7b中示出，其中主動源信號V1、V2、V5和V7以比其余的源信號(被動圖像源)V3、V4、V6和V8更好的質量被編碼。

在廣播情況下(具有多個觀看者)，服務器可以廣播其中每個流具有球形全景圖的不同區(qū)域被重度壓縮的多個流，而不是其中所有都被均等地壓縮的一個流。然后，觀看設備可以根據觀看角度來選擇哪個流進行解碼和觀看。這樣，服務器不需要知道個人觀看者的觀看角度，并且內容可以廣播到任何數目的接收者。

為了節(jié)省帶寬，可以處理圖像數據，使得部分視圖以較低的質量被傳送。這可以在服務器處例如作為預處理步驟完成，使得傳輸時間的計算要求更小。

在觀看者與服務器之間的一對一連接(即不廣播)的情況下，選擇以較低質量傳送的視圖的部分，使得它在當前觀看角度中不可見?？蛻舳丝梢詫⑵溆^看角度連續(xù)地報告回服務器。同時，客戶端還可以發(fā)送回關于其希望接收的流的質量和帶寬的其他提示。

在廣播(一對多連接)的情況下，服務器可以廣播其中以較低質量傳輸視圖的不同部分的多個流，并且客戶端然后選擇其解碼及觀看的流，使得較低質量的區(qū)域以其當前的觀看角度而在視圖之外。

降低視圖的某一特定區(qū)域的質量的一些方法例如包括：

-降低空間分辨率和/或縮小圖像數據；

-降低顏色編碼分辨率或位深度；

-降低幀率；

-增加壓縮；和/或

-刪除像素數據的附加源，并保留像素的僅僅一個源，有效地使該區(qū)域單視而不是立體視覺。

例如，可以以高分辨率傳送一些或所有中央相機數據，并且可以以低分辨率傳送一些或所有外圍相機數據。如果沒有足夠的帶寬來傳送所有數據，例如，在圖6d中，可以傳送來自側面相機CAM3和CAM4的數據，并且可以省略其他數據。不管看者的觀看方向，仍然允許顯示單視鏡圖像。

所有這些可以單獨地、組合地、或者甚至全部在同一時間、例如通過將流破壞成為高質量流或低質量流并且包含每一流一個或多個源的兩個或更多個獨立流來被個體完成的。

即使所有源都以相同的流傳輸，也可以應用這些方法。例如，在八面體布置中包含8個的源的流可以通過保持4個源完好無損地覆蓋當前的觀察方向(和更多)，剩下的4個來源完全覆蓋目前的觀察方向，并將其余兩個按比例縮小。在圖6d的半鏡立方體設置中，中央相機CAM1和CAM2可以以高分辨率發(fā)送，CAM3和CAM4以較低分辨率發(fā)送，并且其余的相機可以被放棄。此外，服務器可以只在每隔一個幀上更新這兩個低質量的源，使得壓縮算法可以非常緊密地壓縮未改變的連續(xù)幀，并且還可能設置壓縮的感興趣的區(qū)域來僅覆蓋4個完整的源。通過這樣做，服務器設法使所有可見的源保持高質量，但是通過使不可見的區(qū)域單視野、較低分辨率、較低幀率和更多地壓縮來顯著降低所需的帶寬。如果他/她迅速地改變觀看方向，則用戶將可以看到這點，但隨后客戶端將適應新的觀看角度并選擇具有高質量的新觀看角度的流，或者在一對一流傳輸情況下，服務器將適應流，以為新的觀看角度提供高質量數據，并為隱藏的源提供較低的質量。

在圖8中，示出了用于觀看諸如立體視頻的立體圖像的方法。在階段810中，選擇一個、兩個或更多個相機或全部相機來捕獲諸如視頻之類的圖像數據。此外，可以設置捕獲的參數和分辨率。例如，可以將中央相機設置為捕獲高分辨率數據，并且可以將外圍相機設置為捕獲正常分辨率數據。階段810也可以省略，在這種情況下所有相機都捕獲圖像數據。

在階段815中，選擇要發(fā)送到觀看端的圖像數據通道(對應于相機)。即，可以做出不發(fā)送所有數據的決定。在階段820中，可以選擇要以高分辨率發(fā)送的通道和要以低分辨率發(fā)送的通道?？梢允÷噪A段815和/或820，在這種情況下，所有圖像數據通道可以以其原始分辨率和參數發(fā)送。

階段810或815可以包括選擇與觀看方向上的半球相對應的相機設備的這種相機。即，可以選擇使用其光軸在所選擇的半球中的相機。以該方式，虛擬半球相機設備可以由例如完整球體相機設備以編程方式構造。

在階段830中，來自相機設備的圖像數據在觀看器處被接收。在階段835中，可以選擇要在圖像構造中使用的圖像數據。在階段840中，如前所述，隨后從圖像數據形成用于立體觀看的圖像。

各種實施例可以提供多個優(yōu)點。例如，當相機設備的相機集中在一個半球時，例如在圖6d的設備中時，例如與圖4a的立體8相機布置相比，這些相機可以在角度上更接近。因此，在視圖的中間可能需要較少的縫合，從而改善感知到的3D圖像質量。在圖6b的設置中，朝向相機設備背面的縮小的差距是現實世界人類視覺中也存在的自然現象。各種半球布置可以允許使用更少的相機，從而降低成本，但仍然保持中央視場被很好地覆蓋并且在整個球體上提供2D圖像。圖6a-6h中的半球布置的非對稱設計允許在相機設備背面具有更多的機械器件和電子器件的空間，因為形成了比在完整球體相機中更大的不可見區(qū)域。在圖6d的設計中，中央相機的立體差距是高質量的，因為中央相機具有6個相鄰的相機，它們可以由此形成立體相機對。這些對中的4對具有自然差距，并且這些對中的2對具有視差(相機之間的距離)是自然的1.4倍的差距。

可以借助位于存儲器中的計算機程序代碼來實現本發(fā)明的各種實施例，并使相關設備實現本發(fā)明。例如，相機設備可以包括用于處理、接收和發(fā)送數據的電路和電子器件，存儲器中的計算機程序代碼，以及當運行計算機程序代碼時使該設備執(zhí)行實施例的特征的處理器。此外，諸如服務器的網絡設備可以包括用于處理、接收和發(fā)送數據的電路和電子器件，存儲器中的計算機程序代碼，以及當運行計算機程序代碼時使網絡設備執(zhí)行實施例的特征的處理器。

明顯的是，本發(fā)明不僅限于上述實施例，而是可以在所附權利要求的范圍內進行修改。