專利名稱：立體全景圖像捕捉裝置的制作方法
技術(shù)領(lǐng)域：
一般來說，本發(fā)明的實(shí)施例涉及全景圖像捕捉裝置，更具體地說，涉及用于產(chǎn)生立體全景圖像的全景圖像捕捉裝置。
背景本領(lǐng)域中已知全景照相機(jī)。這種照相機(jī)通常使用單個可旋轉(zhuǎn)的照相機(jī)。雖然這種裝置適于靜態(tài)圖像，但是當(dāng)這種裝置用于捕捉非靜態(tài)對象時，通常產(chǎn)生模糊或失真的圖像。本領(lǐng)域中使用具有多個圖像捕捉裝置的圖像捕捉系統(tǒng)也是已知的。以這種方式，可以基本上同時捕捉多個圖像并且使用本領(lǐng)域中已知的處理將其接合在一起。雖然這種系統(tǒng)基本消除了與捕捉動態(tài)對象相關(guān)的問題，但是這種系統(tǒng)沒有提供用于產(chǎn)生立體圖像的裝置。
本領(lǐng)域中使用“魚眼”透鏡捕捉全景圖像也是已知的。然而，這種圖像將大量失真引入所產(chǎn)生的圖像中，并且捕捉相對較低質(zhì)量的圖像。因此，期望產(chǎn)生較低失真和較高質(zhì)量的全景圖像。
通常，為捕捉立體圖像，相互接近地設(shè)置兩個成像系統(tǒng)以捕捉特定圖像?？上У氖牵@種方法不能夠推廣到產(chǎn)生立體全景圖像，因?yàn)橐粋€圖像捕捉裝置一定會落入相鄰圖像捕捉裝置的視場。因此，期望提供全景圖像捕捉系統(tǒng)，可使用該系統(tǒng)以產(chǎn)生用于特定圖像的立體顯示的立體的一對全景圖像。
發(fā)明概述在本發(fā)明提供的優(yōu)點(diǎn)中，圖像捕捉系統(tǒng)產(chǎn)生立體全景圖像對。
有利的是，本發(fā)明提供用于產(chǎn)生無縫全景圖像的圖像捕捉系統(tǒng)。
有利的是，本發(fā)明提供用于產(chǎn)生動態(tài)立體全景圖像的圖像捕捉系統(tǒng)。
有利的是，本發(fā)明提供最小失真的立體全景圖像。
有利的是，本發(fā)明提供用于全動感、實(shí)時、全景立體成像的成像系統(tǒng)。
有利的是，在本發(fā)明的優(yōu)選實(shí)例中，提供了成像系統(tǒng)，它包括第一圖像捕捉裝置、第二圖像捕捉裝置和第三圖像捕捉裝置。還提供用于將使用第一圖像捕捉裝置捕捉的第一圖像的至少第一部分與使用第二圖像捕捉裝置捕捉的第二圖像的一部分組合以產(chǎn)生第一組合圖像的裝置。還提供用于將第一圖像的至少第二部分與使用第三圖像捕捉裝置捕捉的第三圖像的至少一部分組合以產(chǎn)生第二組合圖像的裝置。
在優(yōu)選實(shí)施例中，利用多個圖像捕捉裝置產(chǎn)生多個圖像，將每個圖像的一部分與相鄰圖像的一部分組合以產(chǎn)生第一組合全景圖像。類似地，每個圖像的第二部分與相鄰圖像的另外部分組合以產(chǎn)生第二組合全景圖像。優(yōu)選的是，在立體方位顯示第一組合全景圖像和第二組合全景圖像以產(chǎn)生立體全景圖像。本發(fā)明的成像系統(tǒng)可用于捕捉多個圖像，以產(chǎn)生全動感立體全景圖像。
附圖簡述現(xiàn)在參照附圖、通過實(shí)例描述本發(fā)明，其中
圖1說明本發(fā)明的成像系統(tǒng)的前視圖；圖2說明本發(fā)明的成像系統(tǒng)的相鄰圖像捕捉裝置的圖像捕捉區(qū)域的圖解法；圖3說明在屏幕上顯示的最終全景立體圖像的底部透視圖，以及用于觀看圖像的偏光眼鏡；圖4A-4B說明左全景圖像和右全景圖像；以及圖5A-5B說明與第一圖像緩沖區(qū)和第二圖像緩沖區(qū)相關(guān)的圖像；
圖6A-6C是與本裝置的成像系統(tǒng)聯(lián)合使用的轉(zhuǎn)換過程的流程圖，用于將利用成像裝置捕捉的多個圖像轉(zhuǎn)換成笫一全景圖像和第二全景圖像，從而產(chǎn)生立體全景圖像；以及圖7說明使用圖1的照相機(jī)建立的360度無阻全景立體圖像的透視圖。
優(yōu)選實(shí)施例的詳細(xì)描述參照圖1，示出了具有由塑料或其它類似輕型材料構(gòu)成的主體(12)的照相機(jī)(10)。在優(yōu)選實(shí)施例中，主體(12)基本上是球形的，具有優(yōu)選在大約0.001與大約500厘米之間、更優(yōu)選在大約10和大約50厘米之間的直徑。倘若在主體(12)表面上基本相等間隔的是多個透鏡(14)。透鏡(14)優(yōu)選是具有優(yōu)選在大約5埃與大約10厘米之間、更優(yōu)選在大約0.5與大約5厘米之間的直徑的圓形透鏡。在優(yōu)選實(shí)施例中，透鏡是由位于55Mall Drive，Commack，NY 11725的CBC America制造的型號為BCL38C 3.8毫米微透鏡。如圖2所示，透鏡(14)均與本領(lǐng)域中眾所周知的那些電荷耦合器件(CCD)部件(16)相關(guān)聯(lián)。雖然在優(yōu)選實(shí)施例中使用Panasonic制造的并從Rock2000.com可得到的GP-CX171/LM CCD色板照相機(jī)，但是可使用任何已知的圖像捕捉系統(tǒng)。因此，為了本公開的目的，透鏡(14)和/或CCD部件(16)還可被描述為“圖像捕捉單元”(26)、(40)和(54)。如圖2所示，所有圖像捕捉單元(26)、(40)和(54)在操作上耦合到處理單元(CPU)(22)，處理單元由此可接收來自圖像捕捉裝置(14)和/或(16)的圖像。在優(yōu)選實(shí)施例中，CPU(22)是900MHz Pentium4級個人計算機(jī)，該個人計算機(jī)配備由480Pontrero，Sunnyvale，CA 94086的3Dlabs制造的OxygenGVX210圖形卡。雖然CPU可以是本領(lǐng)域中已知的任何類型，但是它優(yōu)選是能夠采用諸如本領(lǐng)域中已知的方式進(jìn)行四邊形緩沖和利用翻頁軟件。CPU(22)可耦合到頭戴顯示器(24)，在優(yōu)選實(shí)施例中，頭戴顯示器是由位于2166Brighton Henrietta Townline Road，Rochester，NY 14623的Interactive Imaging Systems公司制造的VFX3D。
如圖2所示，透鏡(14)相互之間是離散的，并且沿主體(12)確定的基本弧形路徑或線相互之間偏離大約20度?？梢匝鼗净⌒温窂降姆较驈拇蠹s5度到大約45度的這種偏離允許各透鏡(14)和/或圖像捕捉單元(26)、(40)、(54)具有基本相似的焦點(diǎn)。各透鏡(14)具有大約53度的視場，從而側(cè)面相鄰?fù)哥R的視場交迭在大約10％與大約90％之間，優(yōu)選在大約50％與大約05％之間。如圖2所示，第一圖像捕捉單元(26)與光軸(28)相關(guān)聯(lián)，光軸將一側(cè)以左側(cè)平面(30)為界并且另一側(cè)以右側(cè)平面(32)為界的圖像平分。圖像捕捉單元(26)的透鏡(14)聚焦在分為左圖像平面(36)和右圖像平面(38)的定義的圖像平面(34)上。
類似地，第二圖像捕捉單元(40)也具有光軸(42)、左側(cè)平面(44)、右側(cè)平面(46)、定義的圖像平面(48)、左圖像平面(50)和右圖像平面(52)。在第一圖像捕捉單元(26)的右側(cè)的第三圖像捕捉單元(54)具有光軸(56)、左側(cè)平面(58)、右側(cè)平面(60)、定義的圖像平面(62)、左圖像平面(64)和右圖像平面(66)。
如圖2所示，通過提供多個圖像捕捉單元(26)、(40)和(54)，將定義的圖像平面(34)、(48)和(62)分為多個部分，例如平分，并且定向圖像捕捉單元(26)、(40)和(54)，與最終全景圖像相關(guān)的各點(diǎn)在至少兩個相鄰的圖像捕捉單元(26)、(40)和/或(54)定義的圖像平面之內(nèi)。如圖5A-5B所示，相鄰圖像捕捉單元定義的圖像平面垂直交迭，優(yōu)選大約1％-20％，更優(yōu)選大約5％-10％，并且在優(yōu)選實(shí)施例中大約7％。類似地，相鄰圖像捕捉單元定義的圖像平面水平交迭，優(yōu)選大約20％，更優(yōu)選大約5％-10％，并且在優(yōu)選實(shí)施例中大約6％。這些交迭在下面描述的“接合”過程中有幫助。
為產(chǎn)生本發(fā)明的可顯示大約180度場景(例如，半球)的最終全景圖像(68)，建立第一全景圖像(72)和第二全景圖像(74)。(圖3和4A-4B)。各全景圖像(72)、(74)可顯示大約90度場景(例如，大約半球的一半)。為建立第一全景圖像(72)，將與第一圖像捕捉單元(26)的左圖像平面(36)相關(guān)聯(lián)的圖像(76)和與第二圖像捕捉單元(40)的左圖像平面(50)相關(guān)聯(lián)的圖像(78)以及與第三圖像捕捉單元(54)的左圖像平面(64)相關(guān)聯(lián)的圖像(80)組合。(圖2、4A和5A)。如圖2所示，相關(guān)的圖像平面(36)、(50)和(64)優(yōu)選交迭大約0.5％-30％，更優(yōu)選地交迭大約10％-20％，并且在優(yōu)選實(shí)施例中大約13％，但這些圖像平面并不相互平行，并且不一定相切于定義第一全景圖像(72)的曲面。(圖2和4A)。因此，必須轉(zhuǎn)換與平面(36)、(50)和(64)相關(guān)的圖像(76)、(78)、(80)、(82)、(84)和(86)，以便在將它們?nèi)缦旅嫠鼋雍显谝黄鸲纬勺罱K全景圖像(68)之前，消除與它們非平行取向相關(guān)的失真。(圖2，3，4A-4B和5A-5B)。
一旦從所有的圖像捕捉單元(26)、(40)和(54)收集并接收到與左圖像平面(38)、(52)、(66)相關(guān)聯(lián)的圖像(76)、(78)、(80)以及與右圖像平面(36)、(50)和(64)相關(guān)聯(lián)的圖像(82)、(84)、(86)，則可以經(jīng)由硬連線的、無線的或任何預(yù)期的連接將圖像傳送到CPU(22)。CPU(22)則可工作以便依照圖6A-6C描述的過程轉(zhuǎn)換圖像。如塊(88)所示，在優(yōu)選實(shí)施例中的源圖像基本上是直線圖像，但是當(dāng)然也可以是由CPU(22)從圖像捕捉單元(26)、(40)和(54)獲得或接收的任何類型的圖像。(圖2、4A、4B和6A-6C)。如塊(94)所示，CPU(22)則可定義用于未轉(zhuǎn)換的源圖像的配準(zhǔn)像素對。
此后，如塊(96)所示，CPU(22)建立輸入文件。輸入文件包括最終全景圖像(68)的高度和寬度、源信息和配準(zhǔn)點(diǎn)信息。源信息包括源圖像的文件名和路徑、以像素為單位的源圖像的高度和寬度、以及相關(guān)的圖像捕捉單元的源的偏航角、俯仰角和橫搖角。圖像捕捉單元的水平視場優(yōu)選地在大約1度與大約80度之間，更優(yōu)選地在大約30度與大約60度之間，并且在優(yōu)選實(shí)施例中大約53度，水平視場由源圖像的相關(guān)的左側(cè)平面、右側(cè)平面、X偏移、Y偏移和縮放值來定義。與配準(zhǔn)點(diǎn)相關(guān)聯(lián)的信息包括關(guān)于與配準(zhǔn)點(diǎn)的第一像素位置相關(guān)聯(lián)的源圖像的信息、第一源圖像中水平的和垂直的像素位置、關(guān)于與第二像素位置相關(guān)聯(lián)的源圖像的信息的列表索引以及在第二源圖像中水平的和垂直的像素位置。
與圖像平面(36，38，50，52，64和66)相關(guān)聯(lián)的圖像(76-86)基本上是直線標(biāo)準(zhǔn)平面場圖像，全景圖像(72和74)至少部分是等矩形(equirectangular)的，表示以諸如圖4A-4B所示的方式將像素映射到球面。因此，一旦CPU(22)建立輸入文件，如塊(98)所示，可轉(zhuǎn)換配準(zhǔn)像素對以便將它們的位置定位在最終全景圖像(68)上。
以任意源圖像開始，定義表示在三維空間中給定配準(zhǔn)像素對的第一像素的向量，將其定位在最終全景圖像(68)上。這是通過將下面的矩陣轉(zhuǎn)換應(yīng)用到各像素來實(shí)現(xiàn)的定義段x改變源圖像中像素的水平位置，使得它與圖像的中心相關(guān)。然后補(bǔ)償源圖像的x偏移和縮放變量。
定義段y改變源圖像中像素的垂直位置，使得它與圖像的中心相關(guān)。然后補(bǔ)償源圖像的y偏移和縮放變量。
定義段z使用各種源圖像變量，確定對應(yīng)于圖像以像素表示的大小所提供的比例的z段。
轉(zhuǎn)換向量，使得它對應(yīng)于源照相機(jī)的旋轉(zhuǎn)角。這是通過三個旋轉(zhuǎn)矩陣中的每一個來轉(zhuǎn)換向量而計算的繞x軸旋轉(zhuǎn) 繞y軸旋轉(zhuǎn) 繞z軸旋轉(zhuǎn)
一進(jìn)行矩陣轉(zhuǎn)換，像素向量表示在三維空間中的該點(diǎn)的全局globX、globY、globZ位置。CPU(22)則將這些位置轉(zhuǎn)換成球面坐標(biāo)并且將它們直接應(yīng)用于最終全景坐標(biāo)。向量的偏航角表示它的水平全景位置newX，并且它的俯仰角表示它的垂直全景位置newY。
如塊(100)所示，一旦以這種方式將配準(zhǔn)像素對映射到最終全景圖像(68)上，CPU(22)計算配準(zhǔn)像素對之間的距離。如果對于給定源圖像的配準(zhǔn)像素對的平均距離還不是最小(如在最初轉(zhuǎn)換時的情況下)，如塊(102)所示，稍微改變源圖像的偏航角，此后，過程返回到塊(98)并且再次將配準(zhǔn)像素對轉(zhuǎn)換為最終全景圖像(68)中的像素點(diǎn)。該過程繼續(xù)，改變偏航角，直到源圖像配準(zhǔn)像素對的平均距離最小。此后，改變俯仰角、橫搖角、X偏移、Y偏移和縮放，直到相關(guān)的配準(zhǔn)像素對的平均距離最小。一旦特定源圖像的偏航角、俯仰角、橫搖角、X偏移、Y偏移和縮放是最佳的，如塊(104)所示，則對所有源圖像重復(fù)轉(zhuǎn)換過程，直到它們從而都是最佳的。
如塊(106)所示，一旦這樣優(yōu)化了所有的源圖像，計算了所有源圖像配準(zhǔn)像素對的平均距離，如果它們還不是最小，則如塊(108)所示，改變源圖像的偏航角、俯仰角、橫搖角、X偏移、Y偏移和縮放，并且處理返回到塊(98)，其中處理繼續(xù)，直到在所有源圖像上配準(zhǔn)像素對之間的距離最小。
一旦所有源圖像上的配準(zhǔn)像素對之間的平均距離已經(jīng)最小，如塊(110)所示，則建立輸出文件，它標(biāo)識第一全景圖像(72)的高度和寬度、相對于各特定源圖像的偏航角、俯仰角、橫搖角、X偏移、Y偏移和縮放轉(zhuǎn)換圖像信息。此后，如塊(112)所示，對于在給定源圖像內(nèi)的各像素，使用上面描述的向量轉(zhuǎn)換來定義表示在三維空間中特定像素的位置的向量。
一旦定義了向量，如塊(114)所示，轉(zhuǎn)換向量以反映與如在輸出文件中定義的源圖像相關(guān)聯(lián)的偏航角、俯仰角、橫搖角、X偏移、Y偏移和縮放信息。在完成向量的轉(zhuǎn)換之后，如塊(116)所示，轉(zhuǎn)換的向量與最終全景圖像(68)中的像素相關(guān)聯(lián)。如塊(118)所示，重復(fù)該過程，直到特定源圖像中的所有像素都已轉(zhuǎn)化為向量，并且它們的位置位于最終全景圖像(68)上。
如塊(120)所示，一旦給定的源圖像的所有像素已位于最終全景圖像(68)上，則建立兩個圖像緩沖區(qū)(90)和(92)，它們均具有大體等于最終全景圖像(68)的高度和寬度的高度和寬度。(圖3、5A-5B和6B)。如塊(122)所示，一旦建立了圖像緩沖區(qū)(90)和(92)，則利用與特定源圖像的四個相鄰像素的四邊形相關(guān)聯(lián)的向量轉(zhuǎn)換信息將像素的四邊形畫到適當(dāng)?shù)膱D像緩沖區(qū)(90)或(92)上。(圖5A-5B和6C)。如果像素在左圖像平面(38)、(52)或(66)內(nèi)，則將像素寫入左圖像緩沖區(qū)(90)。如果像素在右圖像平面(36)、(50)或(64)內(nèi)，則像素在右圖像緩沖區(qū)(92)內(nèi)。(圖2和5A-5B)。
如塊(124)所示，由于轉(zhuǎn)換有可能展開圖像緩沖區(qū)中像素的四邊形，因此在相關(guān)的圖像緩沖區(qū)(90)或(92)中將像素從它們的直線位置轉(zhuǎn)換為它們的等矩形位置時，像素之間可能存在間隙。(圖5A-5B和6C)。當(dāng)像素的四邊形位于相關(guān)的圖像緩沖區(qū)(90)或(92)中時，采用諸如本領(lǐng)域中眾所周知的方式，可能使用角像素顏色的線性梯度，由此創(chuàng)建的間隙盡可能平滑地被填充。已知的線性梯度填充技術(shù)也可用于減少圖像間的可視縫。當(dāng)將附加源圖像信息應(yīng)用于圖像緩沖區(qū)(90)和(92)時，對于已充滿像素數(shù)據(jù)的圖像緩沖區(qū)(90)和(92)的區(qū)域，新交迭像素的阿爾法透明度是線性下降的，如下所述使產(chǎn)生的縫變得平滑。
因此，當(dāng)將四邊形映射到相關(guān)的圖像緩沖區(qū)(90)或(92)時，CPU(22)可通過使用本領(lǐng)域中任何已知的方法通過內(nèi)插內(nèi)部像素值來消除間隙，所述方法可包括比較到相鄰像素的間隙，或通過利用運(yùn)動捕捉系統(tǒng)中直接前面幀和直接后繼幀“白盒化”間隙，從而推斷用于間隙的最合適的像素值。如塊(126)、塊(122)和(124)所示，重復(fù)它們直到所有源圖像像素已映射到適當(dāng)?shù)膱D像緩沖區(qū)(90)或(92)。
一旦映射了所有的像素，如塊(128)所示，將第一圖像緩沖區(qū)像素與第一全景圖像像素進(jìn)行比較。如果第一全景圖像(72)沒有與第一圖像緩沖區(qū)(90)中的像素相關(guān)聯(lián)的像素，則CPU(22)將第一圖像緩沖區(qū)(90)中的像素設(shè)置到最大可見性。如果第一全景圖像(72)已具有與第一圖像緩沖區(qū)(90)中的像素相關(guān)聯(lián)的像素，則將現(xiàn)有的像素與第一圖像緩沖區(qū)(90)中的對應(yīng)像素進(jìn)行比較。如果第一圖像緩沖區(qū)(90)中的像素比現(xiàn)有像素具有到其各自源圖像的中心更近的距離，將第一圖像緩沖區(qū)(90)中的像素設(shè)置為最大可見度。相反地，如果第一圖像緩沖區(qū)(90)中的像素比現(xiàn)有像素具有到其各自源圖像的中心更遠(yuǎn)的距離，則將第一圖像緩沖區(qū)(90)中的像素設(shè)置為最小可見度。重復(fù)該過程，以便將第二圖像緩沖區(qū)(92)中的像素合并到第二全景圖像(74)。
如塊(130)所示，通過降低在交迭區(qū)域上的像素的可見性來使圖像緩沖區(qū)(90)和(92)中的圖像的交迭邊均齊。一旦從圖像緩沖區(qū)(90)和(92)將圖像合并成到全景圖像(72)和(74)中，這種均齊使圖像的交迭區(qū)域變得平滑。如塊(132)所示，一旦圖像緩沖區(qū)像素被設(shè)為適當(dāng)?shù)目梢姸?，并且圖像緩沖區(qū)的圖像被均齊，則將圖像緩沖區(qū)中的圖像合并到第一和第二全景圖像(72)和(74)中。如塊(134)所示，重復(fù)塊(122)到(132)，直到所有的源圖像已合并到第一和第二全景圖像(72)和(74)中。如上所述，與圖像捕捉單元(26)、(40)和(54)的左圖像平面(36)、(50)和(64)相關(guān)聯(lián)的圖像(76)、(78)和(80)用于建立第一全景圖像(72)，并且與圖像捕捉單元(26)、(40)和(54)的右圖像平面(38)、(52)和(66)相關(guān)聯(lián)的圖像(82)、(84)和(86)用于建立第二全景圖像(74)。
一旦建立了最終全景圖像(72)和(74)，如塊(138)所示，可將全景圖像(72)和(74)一起顯示為最終全景圖像(68)。(圖3、4A和4B)。全景圖像(72)和(74)可以是在標(biāo)準(zhǔn)全景屏幕(140)上顯示的相反偏光的，例如圖3所示，并且使用具有相反偏光的透鏡的眼鏡(142)來觀看?；蛘撸蓪⑷皥D像(72)和(74)傳送到圖1所示的頭戴顯示器(24)。CPU(22)可使用已知的“翻頁”技術(shù)將多個全景圖像發(fā)送到頭戴顯示器(24)，以發(fā)送并根據(jù)需要在頭戴顯示器(24)的左側(cè)和右側(cè)顯示器上分別顯示圖像。該過程可用于讓顯示動畫為完整24幀每秒動畫，或者顯示多個可視圖像到各個顯示器。因此，成像系統(tǒng)(參照圖2)可包括捕捉第一圖像(36)的第一圖像捕捉單元(26)、捕捉第二圖像(50)的第二圖像捕捉單元(40)和捕捉第三圖像(64)的第三圖像捕捉單元(54)、將第一圖像(36)的第一部分與第二圖像(50)的一部分組合以產(chǎn)生第一組合圖像的裝置(22)、以及將第一圖像(36)的第二部分與第三圖像(64)的一部分組合以產(chǎn)生第二組合圖像的裝置(22)。第一圖像的第一部分可以是最多為整個第一圖像的任何量，或可以在第一圖像的大約20％和大約80％之間。第二圖像的這部分可以是最多為整個第二圖像的任何量，或可以在第二圖像的大約20％和大約80％之間?？芍貜?fù)產(chǎn)生并顯示第一和第二組合圖像以便傳達(dá)立體動作。
成像系統(tǒng)還可包括用于提供圖像的圖像捕捉單元(26)、用于使用所述圖像的第一部分以提供第一立體圖像的裝置(22)、用于使用所述圖像的第二部分以提供第二立體圖像的裝置(22)。
頭戴顯示器單元(24)也可配備諸如本領(lǐng)域中眾所周知的那些方位傳感器(144)，以便當(dāng)傳感器(144)移動時改變提供給頭戴顯示器(24)的圖像。以這種方式，用戶(未示出)可向上看、向下看、以及在任何方向查看與用戶的視線向量相關(guān)聯(lián)的最終全景圖像(68)部分，并且具有實(shí)際查看三維空間的感覺。
在本發(fā)明的備選實(shí)施例中，照相機(jī)(10)可具有多個圖像捕捉對，圖像捕捉對具有在方向上基本相互平行的基本直線捕捉系統(tǒng)?？砂搭A(yù)定的因子補(bǔ)償所述對以獲得預(yù)期的立體圖像。因?yàn)槌蓪Φ夭蹲綀D像，與該實(shí)施例相關(guān)聯(lián)的轉(zhuǎn)換過程與上面描述的轉(zhuǎn)換過程是相同的，雖然不是將圖像分半，并且將每一半中的像素發(fā)送到分開的圖像緩沖區(qū)，而是將與來自各圖像捕捉裝置對的“左”圖像捕捉裝置的圖像相關(guān)聯(lián)的所有像素發(fā)送到一個圖像緩沖區(qū)，與來自“右”圖像捕捉裝置的圖像相關(guān)聯(lián)的所有像素發(fā)送到另一個圖像緩沖區(qū)。
在本發(fā)明的另一個備選實(shí)施例中，可利用照相機(jī)(10)和CPU(22)來捕捉每秒24幀或更多的幀，并且實(shí)時地將最終立體全景圖像(68)顯示為動畫。
而在本發(fā)明的另一個備選實(shí)施例中，在CPU(22)中可以將以諸如本領(lǐng)域內(nèi)眾所周知的方式產(chǎn)生的計算機(jī)生成的圖形信息與最終全景圖像(72)和(74)結(jié)合，以提供利用照相機(jī)(10)捕捉的實(shí)際圖像的無縫結(jié)合，和數(shù)字化虛擬現(xiàn)實(shí)圖像(146)。(圖3)這種組合產(chǎn)生真實(shí)和虛擬的全景立體虛擬圖像的無縫顯示。
而在本發(fā)明的另一個備選實(shí)施例中，可利用上面的轉(zhuǎn)換過程轉(zhuǎn)換照相機(jī)(10)捕捉的圖像，以產(chǎn)生無縫360度全景專題圖像。如圖1所示，照相機(jī)(10)設(shè)有支柱(148)和諸如遙控車架(150)的運(yùn)輸單元，運(yùn)輸單元類似于或等同于與遙控車等相關(guān)聯(lián)使用的那些。與圖像捕捉單元的左圖像平面相關(guān)聯(lián)的圖像可用于產(chǎn)生組合圖像，并且與圖像捕捉單元的右圖像平面相關(guān)聯(lián)的圖像可用于蓋寫和填充組合圖像，以便隱藏支柱(148)、車架(150)和任何其它照相機(jī)裝置，否則它們在組合圖像中是可見的。前面的轉(zhuǎn)換過程可用于這種蓋寫和填充。以這種方式，僅有那些不包括非所需的信息的圖像被映射到最終全景圖像(152)上，最終全景圖像可在球形顯示屏(154)或在頭戴顯示器(24)上顯示。(圖1和7)。對于反映車架(150)的覆蓋區(qū)所覆蓋的區(qū)域的圖像的部分，可利用上面詳述的內(nèi)插和均齊過程來近似估計位于車架(150)之下的圖像，以便產(chǎn)生完整無阻的360度圖像的外觀。
雖然關(guān)于本發(fā)明的優(yōu)選實(shí)施例描述了本發(fā)明，但也應(yīng)當(dāng)理解這些優(yōu)選實(shí)施例不是對本發(fā)明的限制，因?yàn)樵诒景l(fā)明的全部預(yù)期范圍內(nèi)可進(jìn)行變化和修改，本發(fā)明的全部預(yù)期范圍通過所附權(quán)利要求來定義。
權(quán)利要求
1.一種成像系統(tǒng)，包括捕捉第一圖像的第一圖像捕捉單元；捕捉第二圖像的第二圖像捕捉單元；捕捉第三圖像的第三圖像捕捉單元；用于將第一圖像的第一部分與第二圖像的一部分組合以產(chǎn)生第一組合圖像的裝置；以及用于將第一圖像的第二部分與第三圖像的一部分組合以產(chǎn)生第二組合圖像的裝置。
2.如權(quán)利要求1所述的成像系統(tǒng)，其特征在于，所述第一圖像捕捉單元、所述第二圖像捕捉單元和所述第三圖像捕捉單元沿弧形相對于彼此設(shè)置，相隔大約5度到大約45度。
3.如權(quán)利要求1所述的成像系統(tǒng)，其特征在于，與所述第一圖像相關(guān)聯(lián)的圖像平面和與所述第二圖像相關(guān)聯(lián)的圖像平面交迭大約0.5％到大約30％。
4.如權(quán)利要求1所述的成像系統(tǒng)，其特征在于，與所述第一圖像相關(guān)聯(lián)的圖像平面和與所述第二圖像相關(guān)聯(lián)的圖像平面垂直交迭大約1％到大約20％。
5.如權(quán)利要求1所述的成像系統(tǒng)，其特征在于，所述第一圖像和所述第二圖像基本上是直線的。
6.如權(quán)利要求1所述的成像系統(tǒng)，其特征在于，所述第一組合圖像和所述第二組合圖像至少部分是等矩形的。
7.如權(quán)利要求1所述的成像系統(tǒng)，其特征在于，可顯示第一和第二組合圖像以提供立體圖像。
8.如權(quán)利要求1所述的成像系統(tǒng)，其特征在于，還包括用于將所述第一組合圖像和所述第二組合圖像顯示為立體圖像的裝置。
9.如權(quán)利要求1所述的成像系統(tǒng)，其特征在于，還包括用于順序地將多個第一和第二組合圖像顯示為移動立體圖像的裝置。
10.如權(quán)利要求1所述的成像系統(tǒng)，其特征在于，還包括用于將所述第一組合圖像與足夠的多個圖像組合以產(chǎn)生表示至少大約90度場景的第一組合全景圖像以及將所述第二組合圖像與足夠的多個其它圖像組合以產(chǎn)生表示大約90度場景的第二組合全景圖像的裝置，以及用于顯示所述第一組合全景圖像和所述第二組合全景圖像以提供立體全景圖像的裝置。
11.如權(quán)利要求10所述的成像系統(tǒng)，其特征在于，還包括接連地顯示組合全景圖像的第一集和組合全景圖像的第二集以提供移動立體全景圖像的裝置。
12.如權(quán)利要求1所述的成像系統(tǒng)，其特征在于，將所述第一組合圖像和所述第二組合圖像與數(shù)字圖像組合以產(chǎn)生包括所述數(shù)字圖像的立體圖像。
13.一種成像系統(tǒng)，包括用于提供圖像的圖像捕捉單元；使用所述圖像的第一部分以提供第一立體圖像的裝置；以及使用所述圖像的第二部分以提供第二立體圖像的裝置。
14.如權(quán)利要求13所述的成像系統(tǒng)，其特征在于，還包括用于將所述第一立體圖像和所述第二立體圖像組合為全景立體圖像的裝置。
15.如權(quán)利要求13所述的成像系統(tǒng)，其特征在于，還包括提供多個圖像的多個圖像捕捉單元；用于將多個圖像中選定的一些與圖像組合以產(chǎn)生組合圖像的裝置；用于將所述組合圖像組合成第一全景圖像和第二全景圖像的裝置；以及用于顯示所述第一全景圖像和所述第二全景圖像以提供全景立體圖像的裝置。
16.如權(quán)利要求15所述的成像系統(tǒng)，其特征在于，所述第一全景圖像顯示大約90度場景。
17.如權(quán)利要求15所述的成像系統(tǒng)，其特征在于，所述全景立體圖像顯示大約180度場景。
18.一種方法，包括獲取第一圖像；獲取第二圖像；獲取第三圖像；將所述第一圖像的第一部分與所述第二圖像的一部分組合以產(chǎn)生第一組合圖像；將所述第一圖像的第二部分與所述第三圖像的一部分組合以產(chǎn)生第二組合圖像；以及將所述第一組合圖像以及所述第二組合圖像顯示為立體圖像。
19.如權(quán)利要求18所述的方法，其特征在于，還包括從沿弧形設(shè)置的多個圖像捕捉單元獲取所述第一圖像、所述第二圖像和所述第三圖像。
20.如權(quán)利要求19所述的方法，其特征在于，在沿弧形的單一方向上相隔大約5度到大約45度設(shè)置所述多個圖像捕捉單元。
21.如權(quán)利要求18所述的方法，其特征在于，還包括依次顯示多個第一組合圖像并依次顯示多個第二組合圖像以提供移動立體圖像。
22.如權(quán)利要求21所述的方法，其特征在于，所述移動立體圖像表示大約180度場景。
23.如權(quán)利要求18所述的方法，其特征在于，還包括定義多個配準(zhǔn)像素對。
24.如權(quán)利要求23所述的方法，其特征在于，還包括轉(zhuǎn)換所述多個配準(zhǔn)像素對以使圖像配準(zhǔn)的距離最小。
25.如權(quán)利要求23所述的方法，其特征在于，還包括定義表示多個配準(zhǔn)像素對其中之一的像素的向量。
26.如權(quán)利要求25所述的方法，其特征在于，還包括將所述向量轉(zhuǎn)換為轉(zhuǎn)換的向量以對應(yīng)于源旋轉(zhuǎn)角。
27.如權(quán)利要求26所述的方法，其特征在于，還包括將轉(zhuǎn)換的向量與全景圖像中的像素相關(guān)聯(lián)。
28.如權(quán)利要求27所述的方法，其特征在于，還包括通過將與全景圖像中的像素相關(guān)聯(lián)的距離和與圖像緩沖區(qū)中的像素相關(guān)聯(lián)的距離進(jìn)行比較來調(diào)整圖像緩沖區(qū)中像素的可見性。
29.如權(quán)利要求21所述的方法，其特征在于，還包括通過降低在交迭區(qū)中像素的可見性使圖像緩沖區(qū)中的圖像的交迭邊均齊。
30.一種成像系統(tǒng)，包括捕捉第一圖像的第一圖像捕捉單元；捕捉第二圖像的第二圖像捕捉單元；捕捉第三圖像的第三圖像捕捉單元；以及在操作上耦合到第一、第二和第三圖像捕捉單元以接收第一、第二和第三圖像的處理單元，其中可將第一圖像的第一部分與第二圖像的一部分組合以提供第一組合圖像，其中可將第一圖像的第二部分與第三圖像的一部分組合以提供第二組合圖像，并且其中可顯示第一和第二組合圖像以提供立體圖像。
31.如權(quán)利要求30所述的成像系統(tǒng)，其特征在于，沿基本上弧形的路徑相互之間近似等距離地設(shè)置所述第一、第二和第三圖像捕捉單元。
32.如權(quán)利要求31所述的成像系統(tǒng)，其特征在于，由基本上球狀體定義所述基本上弧形的路徑。
33.如權(quán)利要求30所述的成像系統(tǒng)，其特征在于，所述第一和所述第二圖像捕捉單元沿弧形相互分離大約5度到大約45度的角距離，并且所述第二和所述第三圖像捕捉單元沿弧形相互分離大約所述角距離。
34.如權(quán)利要求30所述的成像系統(tǒng)，其特征在于，與所述第一圖像捕捉單元相關(guān)聯(lián)的視場和與所述第二圖像捕捉單元相關(guān)聯(lián)的視場交迭一定的交迭量，并且與所述第二圖像捕捉單元相關(guān)聯(lián)的視場和與所述第三圖像捕捉單元相關(guān)聯(lián)的視場交迭所述交迭量。
35.如權(quán)利要求34所述的成像系統(tǒng)，其特征在于，所述交迭量為大約10％到大約90％。
36.如權(quán)利要求30所述的成像系統(tǒng)，其特征在于，與所述第一圖像捕捉單元相關(guān)聯(lián)的定義的圖像平面和與所述第二圖像捕捉單元相關(guān)聯(lián)的定義的圖像平面交迭大約1％到大約20％。
37.如權(quán)利要求30所述的成像系統(tǒng)，其特征在于，所述第一圖像的所述第一部分在所述第一圖像的大約20％與大約80％之間，并且所述第二圖像的所述部分在所述第二圖像的大約20％與大約80％之間。
38.如權(quán)利要求30所述的成像系統(tǒng)，其特征在于，依次顯示多個所述第一和所述第二組合圖像以傳達(dá)動作。
39.如權(quán)利要求30所述的成像系統(tǒng)，其特征在于，將第一組合圖像與足夠的多個圖像組合以產(chǎn)生表示大約90度場景的第一組合全景圖像，并且將第二組合圖像與足夠的多個其它圖像組合以產(chǎn)生表示大約90度場景的第二組合全景圖像，并且顯示所述第一組合全景圖像和所述第二組合全景圖像以提供立體全景圖像。
40.如權(quán)利要求39所述的成像系統(tǒng)，其特征在于，依次顯示第一組合全景圖像集和第二組合全景圖像集以提供移動立體全景圖像。
41.一種成像系統(tǒng)，包括提供圖像的圖像捕捉單元；耦合到圖像捕捉單元的處理單元，用以接收所述圖像的第一部分以提供第一立體圖像，并接收所述圖像的第二部分以提供第二立體圖像。
42.如權(quán)利要求41所述的成像系統(tǒng)，其特征在于，將所述第一立體圖像和所述第二立體圖像組合成全景立體圖像。
43.如權(quán)利要求41所述的成像系統(tǒng)，其特征在于，還包括耦合到所述處理單元的多個圖像捕捉單元，所述多個圖像捕捉單元提供多個圖像，其中將多個圖像中選定的一些與至少一個其它圖像組合以產(chǎn)生多個組合圖像，其中組合多個組合圖像以提供第一全景圖像和第二全景圖像，并且其中組合第一全景圖像和第二全景圖像以提供全景立體圖像。
44.如權(quán)利要求43所述的成像系統(tǒng)，其特征在于，所述第一全景圖像顯示大約90度場景。
45.如權(quán)利要求43所述的成像系統(tǒng)，其特征在于，所述全景立體圖像顯示大約180度場景。
46.如權(quán)利要求41所述的成像系統(tǒng)，其特征在于，還包括耦合到處理單元的成像單元。
全文摘要
包括多個第一圖像捕捉裝置的成像系統(tǒng)。捕捉并平分交疊直線圖像，接合左半面并將其轉(zhuǎn)換為第一等矩形圖像，接合右半面并將其轉(zhuǎn)換為第二等矩形圖像。在立體方位顯示第一等矩形圖像和第二等矩形圖像，以產(chǎn)生立體等矩形圖像?？衫贸上裣到y(tǒng)來捕捉多個連續(xù)圖像，從而產(chǎn)生全動感立體等矩形圖像。
文檔編號H04N13/00GK1771740SQ03826185
公開日2006年5月10日 申請日期2003年1月24日 優(yōu)先權(quán)日2003年1月24日
發(fā)明者D·皮爾斯, S·赫爾恩斯塔德特, T·格羅弗, F·古德 申請人:米科伊公司