專利名稱：立體圖像捕獲方法、系統(tǒng)和攝像機(jī)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于記錄圖像數(shù)據(jù)的系統(tǒng)、用于記錄圖像數(shù)據(jù)的方法以及用于記錄圖像數(shù)據(jù)的攝像機(jī)。
背景技術(shù)：
在3-D圖像顯示器上提供3-D圖像最近備受關(guān)注。據(jù)認(rèn)為，3-D成像將是在彩色成像之后在成像方面的下一個重大創(chuàng)新。我們現(xiàn)在處于開始引入3D顯示器用于消費(fèi)市場的時候。3-D顯示設(shè)備通常具有顯示屏幕，圖像顯示在該顯示屏幕上?；旧希ㄟ^使用立體圖像，即指向觀看者的兩只眼睛的兩個略微不同圖像，可以形成三維印象。這種設(shè)備的實(shí)例是自動立體顯示器。在其它設(shè)備中，圖像在所有方向上被發(fā)送并且眼鏡被用于阻擋某些圖像以給出3D感知。無論使用何種類型的3-D顯示器，3-D圖像信息必須被提供到顯示設(shè)備。這通常是以包含數(shù)字?jǐn)?shù)據(jù)的3-D圖像信號的形式完成的。3-D圖像的生成傳統(tǒng)上是通過添加深度圖完成的，所述深度圖提供關(guān)于圖像中像素的深度的信息并且因此提供3D信息。使用用于圖像的深度圖，可以構(gòu)造提供3D圖像的左和右圖像。從圖像恢復(fù)3D信息是與3-D成像有關(guān)的基本任務(wù)之一。計(jì)算深度圖的最常見方式是使用立體視覺。盡管在立體視覺中已經(jīng)取得許多進(jìn)展，在現(xiàn)實(shí)世界應(yīng)用中基本對應(yīng)問題仍是困難的。特別是，兩個攝像機(jī)之間的超精密對準(zhǔn)要求阻礙了廉價(jià)的消費(fèi)應(yīng)用。已經(jīng)有一些方法被提出以從單一圖像提取3-D信息。這些方法其中之一為諸如使用“離焦深度(cbpth from defocus)”原理。在這種方法中，可變鏡頭(lens)被用于掃過通過場景的焦平面，并且確定在哪個焦點(diǎn)位置每個對象被最銳利地觀察到。然而，盡管這對于單一圖像可以非常好地起作用，對于其中對象四處移動的視頻圖像，這變得非常困難。使用可變鏡頭而同時記錄具有變化內(nèi)容的視頻圖像構(gòu)成了一項(xiàng)艱巨任務(wù)，其需要非?？斓目勺冪R頭以及大量計(jì)算能力。另外，如果它不具有這樣的可變鏡頭，該可變鏡頭具有所要求的焦點(diǎn)變化速度和范圍，則它無法在已知攝像機(jī)中使用。另一方法是利用所謂飛行時間(ToF)原理。光被調(diào)制并且發(fā)送到對象，并且攝像機(jī)測量發(fā)送和接收的光之間的時間延遲。由于光以固定速度c傳播，利用這種方法可以測量距離。3DV Systems、Mesa Imaging和Canesta已經(jīng)開發(fā)出基于ToF技術(shù)的攝像機(jī)。然而它們通常是昂貴的并且具有有限空間分辨率(例如，對于Canesta傳感器，6虹64)。它們也不，或者非常難以應(yīng)用于已知攝像機(jī)。在短的距離，由于飛行時間短，它根本難以測量任何結(jié)果。再另外的系統(tǒng)使用單個攝像機(jī)，通過利用快門擋住圖像之一而二選一地記錄左和右圖像。二選一地記錄左和右圖像對于靜態(tài)對象正常工作，但是缺點(diǎn)為對于運(yùn)動對象，左和右圖像不相同，因?yàn)樵诓杉瘓D像之間對象已經(jīng)移動。左和右圖像之間的對象位置差異于是依賴于對象到鏡頭的距離，但是也依賴于對象的運(yùn)動。為了獲得距離的準(zhǔn)確確定，必須執(zhí)行準(zhǔn)確運(yùn)動估計(jì)加上立體匹配。距離以及運(yùn)動兩個參數(shù)都是先驗(yàn)未知的，并且也以未知方式隨時間變化。在準(zhǔn)確運(yùn)動估計(jì)是有可能之前，需要若干幀。在比如運(yùn)動重復(fù)模式或者以高速運(yùn)動或具有不規(guī)則運(yùn)動的對象的情形中，準(zhǔn)確運(yùn)動估計(jì)是很難或者根本不可能的。因此需要基于單個攝像機(jī)的系統(tǒng)，其有可能以比較簡單方式提供3-D信息并且可以用于現(xiàn)有攝像機(jī)，并且對于其而言上述問題減少。

發(fā)明內(nèi)容
為此，本發(fā)明的方法、系統(tǒng)和攝像機(jī)特征在于，在鏡頭和用于記錄圖像的圖像傳感器前方提供光學(xué)設(shè)備，該光學(xué)設(shè)備用于在該傳感器上產(chǎn)生包括同一對象的同時采集的兩個或更多個疊加的圖像的復(fù)合圖像，其中復(fù)合圖像中公共圖像傳感器上相應(yīng)對象之間的距離依賴于所述被成像的對象與鏡頭的距離，以及其中復(fù)合圖像被分析以確定傳感器上復(fù)合圖像中相應(yīng)對象之間的空間距離。發(fā)明人已經(jīng)意識到，通過使用一種光學(xué)設(shè)備，其形成復(fù)合圖像，即包含同時采集的左和右(或者從更多方向采集的)圖像的圖像，則有可能確定記錄的對象到鏡頭的距離，并且由此形成所記錄的圖像的深度圖。不需要兩個攝像機(jī)，并且因此不出現(xiàn)攝像機(jī)準(zhǔn)確對準(zhǔn)的需求。圖像同時被采集，并且由于在左和右圖像被采集的時間之間對象運(yùn)動引起的運(yùn)動對象的偏移相關(guān)的問題因而被消除。對復(fù)合圖像的分析允許，例如通過去卷積該復(fù)合圖像， 提取該復(fù)合圖像的兩個或更多個同時采集的構(gòu)成圖像。這允許確定所記錄的復(fù)合圖像中單位為像素或cm的相應(yīng)對象之間的距離。復(fù)合圖像中的距離于是可以容易地轉(zhuǎn)變?yōu)榈界R頭的距離，因?yàn)樗鼉H僅由此距離確定。存在許多形成雙重圖像的光學(xué)設(shè)備，諸如
-光柵。光柵通過衍射在記錄平面中形成挨著對象的主圖像的側(cè)圖像。主圖像中以及側(cè)圖像中對象之間的距離直接依賴于到鏡頭的距離。除了這個依存性之外，所述距離也依賴于光的波長。利用波長已知的光或者利用近似單色光的這個實(shí)施例是非常有用的，因?yàn)檫@簡化了計(jì)算。-雙折射板。雙折射板可以用于依賴于光的偏振而形成兩個圖像。圖像的兩個光軸之間存在小的角度，并且這意味著記錄平面中對象之間的距離為它們與公共鏡頭的距離的函數(shù)。與使用光柵相比，這類型的設(shè)備的優(yōu)點(diǎn)在于它不依賴于或者僅僅適度依賴于光的波長。-棱鏡模式。使用棱鏡模式有可能形成同一對象的分隔一距離的兩個或更多個圖像。這類型的設(shè)備的優(yōu)點(diǎn)在于它不依賴于或者僅僅適度依賴于光的波長。-包含鏡和分束器以形成第一視圖和第二視圖的配置。兩個視圖定向朝向圖像對象的角度不同。這類型的設(shè)備的優(yōu)點(diǎn)在于它根本不依賴于或者幾乎不依賴于光的波長。-兩個鏡的配置，至少一個鏡具有彼此相距一距離的兩個反射表面。這類型的設(shè)備的優(yōu)點(diǎn)在于它根本不依賴于或者幾乎不依賴于光的波長?；旧洗嬖趦蓚€主要類型
在一個類型中，比如光柵，來自對象上的點(diǎn)的光轉(zhuǎn)入兩個或更多個方向并且在不同位置撞擊傳感器。單個視圖由此分割為兩個或更多個圖像，其中傳感器上圖像的距離為用于對象到鏡頭或傳感器的距離的度量。在另一類型中，比如鏡和分束器的配置，光來自由某一基線分隔開的兩個不同位置但是轉(zhuǎn)入同一方向。兩個略微不同的視圖被記錄在傳感器上的復(fù)合圖像中。與第一類型相比，后一種類型的優(yōu)點(diǎn)在于，有可能在一定程度上看到前景對象后方，因?yàn)槭褂昧寺晕⒉煌^看點(diǎn)的兩個圖像。這兩個不同類型具有不同的到傳感器的距離和傳感器上相應(yīng)圖像之間的距離之間的關(guān)系。公共的發(fā)明構(gòu)思是使用定位在攝像機(jī)前方的光學(xué)設(shè)備，在圖像傳感器上形成包含同一對象的兩個或更多個圖像的復(fù)合圖像，其中復(fù)合圖像的兩個或更多個圖像同時被采集，其中在所記錄的復(fù)合圖像中，構(gòu)成圖像在空間上相對于彼此偏移，其中空間偏移依賴于對象到攝像機(jī)的距離。所記錄的圖像隨后被分析以確定在傳感器上的距離，并且對象到攝像機(jī)的距離可以被計(jì)算。這使得能夠制作深度圖。在優(yōu)選實(shí)施例中，更進(jìn)一步地進(jìn)行該分析從所記錄的復(fù)合圖像重構(gòu)構(gòu)成圖像其中之一。這允許用戶看到他被用于看到的圖像。簡言之，軟件執(zhí)行下述任務(wù)
-估計(jì)由于衍射過程(對于光柵)或偏移(對于鏡和分束器)引起的兩個或更多個構(gòu)成圖像之間的位移，
-基于此位移計(jì)算深度圖，以及可選地 -基于所發(fā)現(xiàn)的深度圖重構(gòu)不失真圖像。在多個實(shí)施例中，重構(gòu)圖像被示于系統(tǒng)或攝像機(jī)的顯示器上，深度圖也可以制成是可見的，或者在實(shí)施例中可以示出將兩個組合到單個圖像中的圖像?？商鎿Q地，如果攝像機(jī)包含用于立體視覺的裝置，則立體圖像可以被顯示。在視頻信息記錄在多個幀中的多個實(shí)施例中，本發(fā)明的系統(tǒng)和攝像機(jī)在多個實(shí)施例中通過控制光學(xué)設(shè)備的操作而被布置成記錄多個幀，該多個幀包含多個簡單圖像和多個復(fù)合圖像。如果單一圖像即非復(fù)合圖像已知，在簡單圖像上獲得的信息允許比較更容易地從復(fù)合圖像提取構(gòu)成圖像，并且/或者比較可靠檢查結(jié)果，并且/或者比較容易重構(gòu)構(gòu)成圖像其中之一。然而，本發(fā)明至關(guān)重要的是復(fù)合圖像被采集，其中
1.構(gòu)成圖像同時被采集
2.圖像記錄在同一傳感器上。第一特征，即同時記錄構(gòu)成圖像，消除了在構(gòu)成圖像被采集的時間之間由于對象運(yùn)動引起的對象位置偏移的任何問題。第二特征消除了傳感器的對準(zhǔn)不精確或者傳感器之間差異引起的任何問題。優(yōu)選地，構(gòu)成圖像也是通過同一鏡頭采集以避免與鏡頭對準(zhǔn)有關(guān)的任何問題。 優(yōu)選地，構(gòu)成圖像或者強(qiáng)度不同或者顏色內(nèi)容不同，其中該不同比較小。如果兩個圖像具有相同內(nèi)容，則難以去卷積該復(fù)合圖像。


本發(fā)明的這些和另外方面將通過實(shí)例的方式并且參考附圖進(jìn)行更詳細(xì)解釋，在附圖中
圖1說明用于記錄電子圖像數(shù)據(jù)的標(biāo)準(zhǔn)方法； 圖2說明依據(jù)本發(fā)明的方法、系統(tǒng)和攝像機(jī)； 圖3說明示出在鏡頭前方使用光柵的實(shí)施例；
圖4說明光柵間距d、到鏡頭的距離以及復(fù)合圖像中構(gòu)成圖像之間的距離之間的關(guān)系； 圖5說明各衍射模式的強(qiáng)度；
圖6說明傳感器上相應(yīng)圖像的像素距離和到傳感器的距離之間的關(guān)系； 圖7說明使用包含鏡和分束器的布置的第二實(shí)施例； 圖8說明傳感器上相應(yīng)圖像的像素距離和到傳感器的距離之間的關(guān)系； 圖9說明用于根據(jù)復(fù)合圖像確定相應(yīng)對象之間的空間距離的方法； 圖10說明用于確定的距離的質(zhì)量的度量。各圖未按比例繪制。通常，在各圖中使用相同附圖標(biāo)記表示相同部件。
具體實(shí)施例方式圖1示意性說明記錄圖像的系統(tǒng)、方法和攝像機(jī)。對象1由攝像機(jī)2的鏡頭3捕獲。圖像被聚焦在諸如CXD的傳感器4上。此設(shè)備產(chǎn)生信號，該信號由諸如編碼器5轉(zhuǎn)換為信號6。編碼器5可以進(jìn)行一些圖像增強(qiáng)或者以其它方式改進(jìn)圖像信號。信號可以或者在編碼形式中或者直接地被發(fā)送到具有顯示器7的顯示設(shè)備，在該顯示器上圖像1’是可見的。信號6也可以存儲在某一類型的存儲介質(zhì)上。圖2示意性說明依據(jù)本發(fā)明的記錄圖像數(shù)據(jù)的系統(tǒng)、方法和攝像機(jī)。光學(xué)設(shè)備8定位在鏡頭前方。光學(xué)設(shè)備可以定位在距攝像機(jī)某一距離或者附連到攝像機(jī)。光學(xué)設(shè)備在傳感器上形成兩個或更多個疊加圖像。在顯示器7上將看到兩個或更多個構(gòu)成圖像，所述構(gòu)成圖像相對于彼此略微偏移。偏移d為對象到鏡頭的距離ζ的度量。 構(gòu)成圖像同時被記錄。復(fù)合圖像的信號6被導(dǎo)向分析器9，該分析器分析該圖像以確定復(fù)合圖像中對象的距離d，并且根據(jù)距離d計(jì)算該圖像的ζ圖10。此分析器可以是系統(tǒng)、設(shè)備和攝像機(jī)的一部分以直接確定ζ圖。可替換地，用于復(fù)合圖像的信號可以被發(fā)送到單獨(dú)的分析器以確定ζ圖。諸如攝像機(jī)可以記錄該圖像并且該信號經(jīng)由互聯(lián)網(wǎng)被發(fā)送到與互聯(lián)網(wǎng)網(wǎng)址關(guān)聯(lián)的分析器。信號6也可以首先存儲在電子存儲介質(zhì)上并且隨后被發(fā)送到分析器供分析。圖3說明本發(fā)明的實(shí)施例，其中光學(xué)設(shè)備8定位在鏡頭前方，在此實(shí)例中光學(xué)設(shè)備為光柵。光柵8通過衍射不僅在傳感器上形成一個直接圖像R (即，通常的標(biāo)準(zhǔn)圖像)，而且在傳感器上形成多個更高階衍射圖像Vl和V2。如在數(shù)據(jù)中提供的圖像因而不僅包含直接圖像，而且包含兩個側(cè)圖像VI’和V2’。為了簡化起見，這些側(cè)圖像將分別被稱為“鬼影圖像"VI和V2。直接圖像R和鬼影圖像Vl和V2之間的距離d可以表達(dá)為光的波長和對象到傳感器的距離的函數(shù)。直接圖像在下文中也稱為真實(shí)對象并且鬼影圖像稱為虛擬對象。這在圖4中說明，圖4示意性示出一階衍射圖像的主線，其導(dǎo)致位移d。傳感器4 在位置0 (零)，鏡頭3在位置L，光柵8在位置G，以及對象1在對象位置0。
6
已經(jīng)理解此效果如何定性地起作用，現(xiàn)在可以推斷定量關(guān)系。從圖4中的示意圖開始，可以將傳感器上真實(shí)對象和虛擬對象之間的距離(我們稱其為位移。與(光軸和光柵偏轉(zhuǎn)點(diǎn)之間的)距離力關(guān)聯(lián)
權(quán)利要求
1.一種用于記錄圖像數(shù)據(jù)的方法，其中在用于記錄圖像的圖像傳感器(4)前方提供光學(xué)設(shè)備(8)以用于在該傳感器(4)上產(chǎn)生復(fù)合圖像(1’)，該復(fù)合圖像包含同一對象的同時采集的兩個或更多個疊加的圖像，其中該復(fù)合圖像中在公共圖像傳感器上相應(yīng)對象之間的空間距離(d)依賴于所述被成像對象與該鏡頭的距離(0)，并且其中該復(fù)合圖像被分析(9) 以確定在該傳感器上該復(fù)合圖像中的相應(yīng)對象之間的空間距離(d)。
2.如權(quán)利要求1所述的方法，其中對于圖像窗口中的像素，關(guān)聯(lián)中的峰被計(jì)算以得到圖像窗口的偏移(d)。
3.如權(quán)利要求1所述的方法，其中在迭代過程中，在每一迭代中，根據(jù)組合圖像 Isensor(x, y)計(jì)算直接圖像近似I。ut(x，y)和深度圖近似d。ut(x，y)，以及根據(jù)該深度圖近似 d(x, y)計(jì)算該直接圖像近似I (X，y)的先前值。
4.如前述權(quán)利要求中任意一項(xiàng)所述的方法，其中該光學(xué)設(shè)備(8)包含光柵(G)。
5.如權(quán)利要求1至3中任意一項(xiàng)所述的方法，其中該光學(xué)設(shè)備包含鏡(72)和分束器 (74)。
6.如前述權(quán)利要求中任意一項(xiàng)所述的方法，其中該光學(xué)設(shè)備布置成可在單一圖像被記錄的第一工作狀態(tài)和復(fù)合圖像被記錄的第二工作狀態(tài)之間切換。
7.如權(quán)利要求3所述的方法，其中具有第一強(qiáng)度(Idirert)的第一視圖被記錄以及具有第二強(qiáng)度(Iside)的第二視圖被記錄，其中所述強(qiáng)度之間的比例介于1. 04和2. 57或者介于 1/2. 57 和 1/1. 04。
8.一種用于記錄圖像數(shù)據(jù)的系統(tǒng)，該系統(tǒng)包含鏡頭(3)和圖像傳感器(4)以及在該鏡頭前方的用于在該傳感器(4)上產(chǎn)生復(fù)合圖像(1’ )的光學(xué)設(shè)備(8)，該復(fù)合圖像包含同一對象的同時采集的兩個或更多個疊加的圖像，其中該復(fù)合圖像中在公共圖像傳感器(4)上的相應(yīng)對象之間的空間距離(d)依賴于所述被成像的對象與該鏡頭的距離(0)。
9.如權(quán)利要求8所述的系統(tǒng)，其中該光學(xué)設(shè)備可在單一圖像被記錄的第一工作狀態(tài)和復(fù)合圖像被記錄的第二工作狀態(tài)之間切換。
10.如權(quán)利要求8或9所述的系統(tǒng)，其中該系統(tǒng)包含分析器(9)，其用于分析該復(fù)合圖像以確定在該傳感器上該復(fù)合圖像中的相應(yīng)對象之間的空間距離(d)。
11.如權(quán)利要求8至10中任意一項(xiàng)所述的系統(tǒng)，其中該光學(xué)設(shè)備(8)包含光柵。
12.如權(quán)利要求8至10中任意一項(xiàng)所述的系統(tǒng)，其中該光學(xué)設(shè)備包含鏡(72)和分束器 (74)。
13.一種用于記錄圖像數(shù)據(jù)的攝像機(jī)，該攝像機(jī)包含鏡頭(3)和圖像傳感器(4)，并且在該鏡頭前方提供用于在該傳感器(4)產(chǎn)生復(fù)合圖像(1’ )的光學(xué)設(shè)備(8)，該復(fù)合圖像包含同一對象的同時采集的兩個或更多個疊加的圖像，其中該復(fù)合圖像中在公共圖像傳感器上的相應(yīng)對象之間的空間距離(d)依賴于所述被成像的對象與該鏡頭的距離(0)，并且該攝像機(jī)包含輸出端，以用于輸出對應(yīng)于所記錄的復(fù)合圖像的圖像信號(6)。
14.如權(quán)利要求13所述的用于記錄圖像數(shù)據(jù)的攝像機(jī)，該攝像機(jī)具有顯示器，非復(fù)合圖像和/或估計(jì)的深度圖和/或提供圖像和深度信息的圖像顯示在攝像機(jī)的該顯示器上。
15.一種計(jì)算機(jī)程序，其包含程序代碼裝置以用于當(dāng)所述程序在計(jì)算機(jī)上運(yùn)行時執(zhí)行如權(quán)利要求1至7中任意一項(xiàng)所述的方法。
全文摘要
一種攝像機(jī)和攝像機(jī)系統(tǒng)設(shè)有光學(xué)設(shè)備(8)。該光學(xué)設(shè)備在傳感器(4)上同時形成對象的兩個或更多個圖像，所述兩個或更多個圖像形成復(fù)合圖像。復(fù)合圖像中對象的構(gòu)成圖像之間的距離d依賴于到攝像機(jī)的距離Z。復(fù)合圖像被分析(9)，例如被去卷積，以確定雙重圖像之間的距離d。這些距離隨后轉(zhuǎn)換為深度圖(10)。
文檔編號H04N13/00GK102461186SQ201080028614
公開日2012年5月16日 申請日期2010年6月21日 優(yōu)先權(quán)日2009年6月25日
發(fā)明者N. 茲納門斯基 D., J. 德布魯伊恩 F., 夫盧特斯 R. 申請人:皇家飛利浦電子股份有限公司