專利名稱：用于360度立體視頻捕捉的底架組件的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于360度立體視頻捕捉的底架組件。
背景技術(shù)：
人類視覺使用了各種提示來感知真實(shí)世界中的三維(3D)深度。這些提示之一是視網(wǎng)膜差異，其中眼間距離導(dǎo)致左眼和右眼接收到外界投影略微不同。立體成像嘗試通過向每個眼睛呈現(xiàn)略微不同的圖像來創(chuàng)建人為的3D深度感知。從彼此隔開一距離的不同有利地點(diǎn)捕捉兩個圖像，該距離近似于人眼的眼間距離。假定圖像被正確地同步且有利地點(diǎn)近似眼間距離，則大腦以創(chuàng)建圖像中深度幻象的方式來處理這些圖像。常規(guī)的3D相機(jī)包括用于生成兩個場景視圖的一對間隔開的圖像傳感器。盡管適用于場景的正視圖或場景的某些其它部分，但是常規(guī)的3D相機(jī)不能獲得場景的全景360度視圖。這至少是因?yàn)樵趪@360°全景的某一視角，第一圖像傳感器會捕捉第二圖像傳感器的視野，反之亦然，導(dǎo)致了 360°視野內(nèi)的堵塞。另一選擇是旋轉(zhuǎn)這對圖像傳感器以便在沒有任何相機(jī)堵塞的情況下捕捉完全的360°視野，但該技術(shù)不能正確地捕捉動態(tài)場景。

發(fā)明內(nèi)容
本文公開了一種底架組件，包括底架以及固定安裝到底架的多個圖像傳感器。圖像傳感器的數(shù)量可以變化，但是在一個示例中，存在三個圖像傳感器，在底架內(nèi)排列成等邊三角形。每個圖像傳感器包括相機(jī)(其可以是視頻相機(jī))和反折射(catadioptric)鏡。每個視頻傳感器中的鏡子可以經(jīng)由用于將鏡子安裝到底架的桿和環(huán)(collar)相對于相機(jī)來固定安裝。在實(shí)施例中，每個圖像傳感器中的鏡子具有等角表面。圖像傳感器用于捕捉全景圖像，例如360°全景。在一個示例中，第一圖像傳感器捕捉全景的第一部分的視圖以及捕捉全景第的二部分的視圖，全景的第一部分的視圖用于第一部分的立體視圖的左視角，全景的第二部分的視圖用于第二部分的立體視圖的右視角。第一圖像傳感器不用于捕捉全景的第三部分的視圖。第二圖像傳感器捕捉全景的第一部分的視圖以及捕捉全景的第三部分的視圖，全景的第一部分的視圖用于第一部分的立體視圖的右視角，全景的第三部分的視圖用于第三部分的立體視圖的左視角。第二圖像傳感器不用于捕捉第二部分的視圖。第三圖像傳感器捕捉全景的第三部分的視圖以及捕捉全景的第二部分的視圖，全景的第三部分的視圖用于第三部分的立體視圖的右視角，全景的第二部分的視圖用于第二部分的立體視圖的左視角。第三圖像傳感器不用于捕捉第一部分的視圖。在一個示例中，本技術(shù)涉及用于捕捉立體圖像數(shù)據(jù)的系統(tǒng)，包括彼此結(jié)合操作以捕捉全景的左、右視圖用于生成全景的立體視圖。在另一個示例中，本技術(shù)涉及用于捕捉立體圖像數(shù)據(jù)的反折射底架組件，包括底架，包括三個容納器(receptacle);以及三個圖像傳感器，在底架的每個容納器中固定安裝一個，三個圖像傳感器一起工作以捕捉用于提供全景的立體視圖的圖像數(shù)據(jù)。
在另一示例中，本技術(shù)涉及用于捕捉立體圖像數(shù)據(jù)的反折射組件，包括三個圖像傳感器，它們彼此固定安裝并且一起工作以捕捉用于提供全景的立體視圖的圖像數(shù)據(jù)， 三個圖像傳感器中的每個圖像傳感器包括用于捕捉圖像的相機(jī)，以及用于將繞反折射鏡 360°的圖像引導(dǎo)到相機(jī)中的反折射鏡。提供本發(fā)明內(nèi)容以便以簡化形式介紹在以下詳細(xì)描述中進(jìn)一步描述的概念精選。 本發(fā)明內(nèi)容不旨在標(biāo)識所要求保護(hù)主題的關(guān)鍵或必要特征，也不旨在用于幫助確定所要求保護(hù)主題的范圍。此外，所要求保護(hù)的主題并不受限于解決在本公開任何部分提到的任何或全部缺點(diǎn)的實(shí)現(xiàn)。


圖I是包括反折射底架組件和計(jì)算系統(tǒng)的本系統(tǒng)的示意圖。圖2是反折射底架組件的透視圖。圖3是反折射底架的透視圖。圖4是移除了凸鏡的反折射底架組件的一部分的透視圖。圖5是在反折射底架組件的圖像傳感器內(nèi)使用的鏡子的俯視圖。圖6是反折射底架組件的圖像傳感器的截面?zhèn)纫晥D。圖7是捕捉全景視圖的反折射底架組件的俯視圖。圖8是捕捉圖7中全景的不同部分的視圖的反折射底架組件的俯視圖。圖8A是圖7中反折射底架組件的示意圖，示出了遮擋角的計(jì)算。圖9是示出圖8的反折射底架組件的圖像傳感器的左視圖、右視圖和遮擋視圖的圖表。圖10-12是根據(jù)本系統(tǒng)替代實(shí)施例的反折射底架組件的俯視圖。圖13是本系統(tǒng)的一實(shí)施例的操作流程圖。圖14是捕捉反折射圖像的凸鏡的仰視圖。圖15是從圖14的反折射圖像彎曲的柱形圖像的透視圖。圖16是圖14中凸鏡的仰視圖，示出凸鏡的多種參數(shù)。圖17是圖15中柱形圖像的展平視圖。圖18-20是由三個圖像傳感器捕捉的柱形圖像，示出可以出于校準(zhǔn)目的而在不同圖像之間匹配的提示。圖21是示出圖13中步驟208的進(jìn)一步細(xì)節(jié)的流程圖。圖22是示出圖13中步驟212的進(jìn)一步細(xì)節(jié)的流程圖。圖23是來自不同圖像傳感器的柱形圖像被分成左視圖和右視圖的示意圖。圖24和25是在從全景的不同部分接收圖像數(shù)據(jù)時區(qū)分明顯的眼間距離的兩個示 例。圖26是左圖像被組合成全景左圖像且右圖像被組合成全景右圖像的示意圖。圖27是示出圖13中步驟218的進(jìn)一步細(xì)節(jié)的流程圖。圖28是示出圖27中步驟274的進(jìn)一步細(xì)節(jié)的流程圖。圖29是待組合的左圖像對或右圖像對的示意圖。圖30是圖29的圖像被組合成帶有重疊區(qū)域的示意圖。
圖31是示出圖30的圖像在重疊區(qū)域中以第一方向通過而彎曲的示意圖。圖32是示出圖30的圖像在重疊區(qū)域中以第二方向通過而彎曲的示意圖。圖33是可在其上實(shí)現(xiàn)本系統(tǒng)實(shí)施例的示例計(jì)算設(shè)備的框圖。
具體實(shí)施例方式現(xiàn)在參考附圖1-33描述本技術(shù)的多個實(shí)施例，這些實(shí)施例一般涉及用于生成全景立體圖像的系統(tǒng)和方法。在各實(shí)施例中，本系統(tǒng)包括硬件和軟件組件。硬件組件包括計(jì)算設(shè)備以及在底架中彼此固定的三個或更多圖像傳感器的組件。每個圖像傳感器生成全景的圖像，諸如場景的360°視圖。軟件組件將反折射圖像處理成全景的柱形圖像，將來自不同圖像傳感器的柱形圖像彼此在空間上校準(zhǔn)并且在時間上同步，將柱形圖像分成用于左眼的圖像和用于右眼的圖像，然后將來自不同傳感器的左眼圖像以及來自不同傳感器的右眼圖像縫合在一起。結(jié)果是可以向用戶顯示以便提供例如360°全景的3D立體視圖的全景左視圖和右視圖。在示例中，系統(tǒng)中所使用的圖像可以是真實(shí)事件、人物、地點(diǎn)或事物的圖像。僅在一些非限制性的示例中，圖像可以是體育事件或音樂會的圖像，其中用戶能夠觀看來自競技場、舞臺或者圖像收集設(shè)備所位于的任何地方的事件。下面說明用于生成場景的立體全景視圖的硬件和軟件組件。圖1-4示出用于捕捉全景立體圖像的系統(tǒng)100的一個示例。系統(tǒng)100包括能夠與計(jì)算系統(tǒng)110通信的反折射底架組件104。下面參照圖33更詳細(xì)地說明了計(jì)算系統(tǒng)110的實(shí)施例，但通常，計(jì)算系統(tǒng)110可以是一個或多個臺式計(jì)算機(jī)、膝上型計(jì)算機(jī)、服務(wù)器、多處理器系統(tǒng)、大型計(jì)算機(jī)、分布式計(jì)算環(huán)境或其它處理系統(tǒng)。反折射底架組件104可以經(jīng)由物理連接或者無線地與計(jì)算系統(tǒng)110通信。在實(shí)施例中，計(jì)算系統(tǒng)110可以是與組件104分離的組件。在這樣的實(shí)施例中，計(jì)算系統(tǒng)110可以直接連到組件104，或者計(jì)算系統(tǒng)110和組件104可以經(jīng)由例如LAN或因特網(wǎng)這樣的網(wǎng)絡(luò)連接相連。在進(jìn)一步的實(shí)施例中，計(jì)算系統(tǒng)可以被集成為反折射底架組件104的一部分，以形成單個組件。在圖1-4的示例實(shí)施例中，反折射底架組件104包括三個反折射圖像傳感器112、 114和116。每個反折射圖像傳感器可以一起安裝在底架120中以使圖像傳感器彼此保持固定。圖3是沒有圖像傳感器112、114、116的底架120的視圖。底架120可以包括容納器，一般為柱形的圖像傳感器112、114、116的每一個可以被容納并且例如通過一個或多個螺桿或其它扣件扣緊在容納器中。一旦被扣緊，圖像傳感器112、114和116就相對于彼此保持基本上固定。在所示的實(shí)施例中，底架120被配置成容納三個反折射圖像傳感器。如下面說明的，底架120可以被配置成容納三個以上的圖像傳感器。底架120例如可以安裝在三腳架122上。每個圖像傳感器112、114、116包括中心軸，每個中心軸在此被稱為傳感器112、 114、116的光軸。傳感器112、114、116固定在底架120內(nèi)，使得光軸一起限定了等邊三角形的頂點(diǎn)。在其它實(shí)施例中，相應(yīng)傳感器的軸可以形成其它配置的三角形。底架120可由金屬、塑料或其它剛性材料形成。在包括三個以上圖像傳感器的實(shí)施例中，底架120可被相應(yīng)地配置成將組件內(nèi)的每個圖像傳感器保持為彼此固定關(guān)系。由于反折射圖像傳感器112、114、116的每一個彼此相同，以下對其一的說明應(yīng)用于陣列104中的每一個反折射圖像傳感器。如圖1-2、4-6所示，每個反折射圖像傳感器可以包括相機(jī)124以及經(jīng)由桿132和環(huán)133固定安裝到相機(jī)124的凸鏡130。鏡子130包括頂部130a和與桿132相鄰的底部130b。桿132可以是關(guān)于反折射圖像傳感器的光軸而同軸的，并且可以支撐鏡子使得鏡子的底部130b距離相機(jī)約為7英寸，然而在其它實(shí)施例中也可以更大或更小。桿132可以是直徑為四分之一英寸到二分之一英寸的圓形，然而在其它實(shí)施例中，它也可以具有其它直徑并且可以是其它截面形狀。鏡子130和桿132可以通過環(huán)133相對于相機(jī)124而固定，環(huán)133可以附加到底架 120的容納器。鏡子130和桿132可以通過各種其它附加方法來附加到底架120和/或相機(jī) 124。在 2008 年 7 月 15 日頒發(fā)的題為“Apparatus For Mounting a Panoramic Mirror (用于安裝全景鏡的裝置)”的第7399095號美國專利中公開了一種這樣的方法，該專利整體結(jié)合于此。構(gòu)想了其它安裝結(jié)構(gòu)，用于以使安裝結(jié)構(gòu)在由反折射圖像傳感器所捕捉的圖像中最少出現(xiàn)的方式將鏡子安裝到相機(jī)。相機(jī)124可以是用于捕捉圖像并將圖像數(shù)字化為像素數(shù)據(jù)的已知數(shù)字相機(jī)。在一個示例中，相機(jī)可以是具有IEEE-1394接口的IIDC數(shù)字相機(jī)。 可使用其它類型的數(shù)字相機(jī)。凸鏡130可以關(guān)于光軸對稱，并且通常可用來捕捉來自360°全景的圖像數(shù)據(jù)并將該圖像數(shù)據(jù)向下引導(dǎo)至相機(jī)124。具體而言，如圖5、6中所示的，鏡子130的表面被設(shè)置成使入射到鏡子130的部分上的光線LR被引導(dǎo)到相機(jī)124中的透鏡134。透鏡又將光線聚焦到圖像傳感設(shè)備138上，圖像傳感設(shè)備138可以例如是圖6示意性示出的CCD或CMOS傳感器。在下面描述的實(shí)施例中，每個反折射圖像傳感器112、114、116所捕捉的全景可以是 360°全景。然而，由圖像傳感器所產(chǎn)生的全景可以小于360°，諸如在90°與360°之間， 但在其它實(shí)施例中也可以小于90°。在實(shí)施例中，鏡子130的表面可以關(guān)于圖像傳感器的光軸對稱?？梢允褂迷谂c相機(jī)光學(xué)元件組合時真正等角的鏡形狀。在這一等角的鏡/相機(jī)系統(tǒng)中，圖像中的每個像素可以跨越相等的角度，而不考慮它距由反折射圖像傳感器112、114、116所創(chuàng)建的圓形圖像中心的距離。由此，圖像的徑向彎曲是統(tǒng)一的。可以修改鏡子形狀，以便補(bǔ)償在與鏡子組合時相機(jī)透鏡添加的透視效果，從而提供經(jīng)改進(jìn)的高分辨率全景圖像。關(guān)于凸鏡130形狀的一個示例的進(jìn)一步細(xì)節(jié)在2006年6月6日向Singh等人頒發(fā)的題為“System and Method for Panoramic Imaging(用于全景成像的系統(tǒng)和方法)”第7058239號美國專利中有闡述， 該專利通過引用整體結(jié)合于此。下面提供了鏡子130的形狀的一些細(xì)節(jié)。圖5、6示出等角鏡130的示例的幾何形狀。所反射的光線LR由常數(shù)增益α來放大，而不管沿著鏡子130的垂直輪廓的位置。這些鏡子的一般形式在公式(I)中給出
權(quán)利要求
1.一種用于捕捉立體圖像數(shù)據(jù)的系統(tǒng)(100)，包括三個或更多個圖像傳感器(104)，它們彼此結(jié)合操作以捕捉全景的左視圖和右視圖用于生成立體全景視圖。
2.如權(quán)利要求I所述的用于捕捉立體圖像數(shù)據(jù)的系統(tǒng)，其特征在于，所述三個或更多個圖像傳感器捕捉360°全景。
3.如權(quán)利要求I所述的用于捕捉立體圖像數(shù)據(jù)的系統(tǒng)，其特征在于，所述三個或更多個圖像傳感器中的圖像傳感器包括反折射凸鏡和從所述鏡子接收反折射圖像的相機(jī)。
4.如權(quán)利要求3所述的用于捕捉立體圖像數(shù)據(jù)的系統(tǒng)，其特征在于，所述反折射凸鏡包括等角表面。
5.如權(quán)利要求I所述的用于捕捉立體圖像數(shù)據(jù)的系統(tǒng)，其特征在于，所述三個或更多個圖像傳感器包括四個至六個之間的圖像傳感器。
6.一種用于捕捉立體圖像數(shù)據(jù)的反折射底架組件(104)，包括底架(120)，其包括三個容納器；以及三個圖像傳感器(112，114，116)，在所述底架的每個容納器中固定安裝一個，所述三個圖像傳感器一起工作以捕捉用于提供全景的立體視圖的圖像數(shù)據(jù)。
7.如權(quán)利要求6所述的反折射底架組件，其特征在于，所述三個容納器支撐所述三個圖像傳感器，其中圖像傳感器的光軸一起定義等邊三角形。
8.如權(quán)利要求6所述的反折射底架組件，其特征在于，所述三個或更多個圖像傳感器捕捉360°全景。
9.一種用于捕捉立體圖像數(shù)據(jù)的反折射組件(104)，包括三個圖像傳感器(112，114，116)，它們被彼此固定安裝并且一起工作以捕捉用于提供全景的立體視圖的圖像數(shù)據(jù)，所述三個圖像傳感器中的每個圖像傳感器包括相機(jī)(124)，用于捕捉圖像，以及反折射鏡(130)，用于將圍繞所述反折射鏡360°的圖像向下引導(dǎo)到所述相機(jī)(124)。
10.如權(quán)利要求9所述的反折射組件，其特征在于，所述三個圖像傳感器包括第一圖像傳感器，用于捕捉a)全景的第一部分的視圖，用于第一部分的立體視圖的左視角，以及b)全景的第二部分的視圖，用于第二部分的立體視圖的右視角；第二圖像傳感器，用于捕捉a)全景的第一部分的視圖，用于第一部分的立體視圖的右視角，以及b)全景的第三部分的視圖，用于第三部分的立體視圖的左視角；第三圖像傳感器，用于捕捉a)全景的第三部分的視圖，用于第三部分的立體視圖的右視角，以及b)全景的第二部分的視圖，用于第二部分的立體視圖的左視角；
全文摘要
本發(fā)明描述了用于360度立體視頻捕捉的底架組件。公開了一種底架組件，包括底架以及固定安裝到底架的多個圖像傳感器。圖像傳感器的數(shù)量可以變化，但是在一個示例中，存在三個圖像傳感器，在底架內(nèi)排列成等邊三角形。每個圖像傳感器包括相機(jī)(其可以是視頻相機(jī))和反折射鏡。每個圖像傳感器中的鏡子可以經(jīng)由用于將鏡子安裝到底架的桿和環(huán)相對于相機(jī)固定安裝。
文檔編號G03B17/56GK102595169SQ20111044429
公開日2012年7月18日 申請日期2011年12月16日 優(yōu)先權(quán)日2010年12月17日
發(fā)明者A·加登, B·沃特, H·扎爾加坡, M·龍迪內(nèi)利 申請人:微軟公司