專利名稱：用單部手持攝像機獲取三維景象的制作方法
本申請要求1999年6月11日提出的臨時申請?zhí)枮?0/138,965、題為“用單部手持攝像機獲取三維景象”中公開的發(fā)明。在此提出符合美國法典第35篇119節(jié)(e)條之規(guī)定的權(quán)利要求，并引用上述申請供本申請參考。
這種立體圖像過去一直是利用一部攝像機上的間隔大致相當于人的兩眼間距的兩個透鏡制作的。在二十世紀50年代流行的StereoRealistTM牌系列35mm靜態(tài)攝像機就是這類成像的一個例子，它是通過兩個透鏡/快門同時將左、右圖像一幀幀交替地記錄在35mm膠片上。以后問世的NimsloTM牌攝像系統(tǒng)與上述的基本相同，但使用了四個透鏡。
二十世紀50年代出現(xiàn)了立體電影。其影像通常用兩部同步攝影機或者一部攝影機的兩個透鏡系統(tǒng)拍攝的。同樣，各種立體電視系統(tǒng)通常也使用兩部攝像機(例如Lipton等人的美國專利4,583,117)或者使用帶兩個透鏡的一部攝橡機(例如Lipton等人的美國專利4,523,226)。
用立體器材獲取三維景象，涉及兩個信號處理任務(wù)攝像機對的校準[1]和圖像對對應(yīng)像素的測定[5]。
攝像機校準有兩種不同的方法固定校準和自校準。在固定校準中，攝像機的全部參數(shù)都是在機外獲得，即已知幾何形狀的特別物體放在攝像機前面，然后對攝像機圖像進行處理[1,2]。此法提供了十分精確的完整結(jié)果(可取得所有的參數(shù))。另外，校準可將對應(yīng)性測定從二維搜索簡化到更有效、更可靠的一維搜索[5]。
固定校準也存在一些缺點。需要使用特別的校準物體和使用者的配合。每當攝像機參數(shù)改變，例如，變焦距或者改變會聚角，必須重復(fù)校準。
然而，自校準能夠克服這些缺點。在自校準方法中，首先測定一景象對的對應(yīng)性。然后，從找到的對應(yīng)場[4]中提取攝像機參數(shù)。這樣做付出的代價有兩方面，一是由于不能應(yīng)用由二維簡化到一維搜索，對應(yīng)性測定任務(wù)比較艱巨；二是在使用通常的一對立體攝像機自校準方法中沒有標準的SI計可參照，因而現(xiàn)有的方法不能取得三維模型的標度[3]。
本發(fā)明的公開本發(fā)明公開了用單部手持攝像機獲取三維景象的技術(shù)。該攝像機最好是安裝在帶有四個反射鏡的透鏡附屬裝置上，以便能夠獲取立體景象。同時，還公開了所涉及的信號處理任務(wù)、攝像機校準和像素對應(yīng)測定。使用透鏡附屬裝置拍攝景象。對攝像機的固定校準和自校準都有利。特別是，可以實現(xiàn)攝像機的全自校準，而不會像現(xiàn)有技術(shù)那樣在進行立體自校準中損失絕對標度。用本發(fā)明的方法可獲得精確的三維模型。
圖2為表示本發(fā)明裝置中反射鏡作用示意圖。
圖3為立體攝像機模型示意圖。
圖4為按照本發(fā)明獲取三維景象模型的全流程圖。
圖5a表示本發(fā)明校準板的圖像。
圖5b表示按照本發(fā)明得到的實景圖像。
圖6表示按照本發(fā)明得到的修整后的一圖像對。
圖7表示按照本發(fā)明的圖像差異場示意圖。
圖8為按照本發(fā)明的方法所取得的三維模型示意圖。
本發(fā)明的詳細描述本發(fā)明公開了用一部特殊的立體攝像機獲取三維景象的方法。利用攝像機校準參數(shù)，建立來自一對應(yīng)像素對的兩束光線，于是，這兩束光線的交叉提供了一個像點的三維坐標。
本發(fā)明裝置如

圖1所示。單部手持攝像機(1)安裝在帶有多個反射鏡的透鏡附屬裝置(2)上，已在美國專利5,532,777、5,828,913和5,883,662上公開，見本文引入的參考文獻[7-9]。簡言之，該透鏡附屬裝置最好是有一組反射鏡，共4個，分成兩對，放置在攝像機透鏡的前面。外側(cè)兩個反射鏡(6)和(7)通常沿透鏡光軸面朝外，內(nèi)側(cè)兩個反射鏡(3)和(4)通常對著透鏡面朝里。外側(cè)兩個反射鏡(6)和(7)的中心的間距大約等于兩眼間距。內(nèi)側(cè)兩個反射鏡(3)和(4)相加在一起的大小足以覆蓋透鏡的全部視野，每個內(nèi)側(cè)反射鏡正好覆蓋一半透鏡的視野。外側(cè)的兩個反射鏡(6)和(7)最好比內(nèi)側(cè)的兩個反射鏡(3)和(4)大，大到足以覆蓋內(nèi)側(cè)兩個反射鏡(3)和(4)的視野，從而避免減小視野。通過一個同軸機構(gòu)同時且等量地沿其中心線旋轉(zhuǎn)外側(cè)兩個反射鏡(6)和(7)，則可調(diào)整它們的會聚。中間的兩個反射鏡(3)和(4)可以是固定的，也可以是可旋轉(zhuǎn)調(diào)整的，使一個反射鏡的一面與另一個反射鏡的一面沿攝像機透鏡光軸保持緊密接觸，而且兩個反射鏡的這每一面均與透鏡光軸成45°角或者略小于45°角。
假設(shè)入射光(5)的方向被反轉(zhuǎn)，則中間的兩個反射鏡(3)和(4)把來自攝像機的光束(5)分成兩部分。外側(cè)兩個反射鏡(6)和(7)分別把一束光線轉(zhuǎn)向景物(8)。兩束光線的會聚點(9)可通過旋轉(zhuǎn)外側(cè)反射鏡(6)和(7)進行調(diào)整。圖像(10)如圖所示。
這種立體攝像機體積小、重量輕，用戶便于移動。另外，使用單部攝像機經(jīng)濟，又沒有象使用一對攝像機那樣需要快門同步。在存儲方面只需一架普通的記錄器。這種獨特的裝置也有利于進行校準和對應(yīng)性測定。
對應(yīng)性測定是建立在對應(yīng)像素的光測量相似性基礎(chǔ)上的。使用多部立體攝像機，光測量不平衡會產(chǎn)生誤差，而使用單部攝像機則在很大程度上可以避免。如在本發(fā)明背景技術(shù)中所述，攝像機校準有兩種不同的方法固定校準和自校準。有利于這兩種校準的裝置如圖1所示。現(xiàn)有技術(shù)使用兩部普通立體攝像機進行的自校準方法，沒有標準的SI計可參照，因而不能取得三維模型的標度[3]。本發(fā)明裝置已知的幾何形狀提供了標度。使用帶透鏡附屬裝置的單部攝像機，簡化了立體攝像機模型而又不失其通用性。
立體攝像機模型本發(fā)明裝置的攝像機模型是一種立體攝像機的通用性模型的新型，關(guān)于通用性模型詳見參考文獻[4]。圖2為表示透鏡附屬裝置中反射鏡(13)、(14)、(16)和(17)的作用。單部實攝像機(11)分成兩部虛攝像機(12)和(15)，原來的電荷耦合器件(CCD)芯片分屬于每部虛攝像機一半。兩個半CCD的中心不在左(12)、右(15)虛攝像機的光軸(20)和(21)上。兩側(cè)反射鏡(16)和(17)的旋轉(zhuǎn)在機械上是成對的。要取得兩個虛攝像機圖像的某種重疊，則應(yīng)使α=45°+Δα，其中Δα＞0。如果外側(cè)反射鏡(16)和(17)分別繞點P和Q旋轉(zhuǎn)，則兩部虛攝像機(12)和(15)各以雙倍的速度繞點P和Q旋轉(zhuǎn)。
圖3所示為一般的立體攝像機模型，取自參考文獻[4]。圖中示出了五個參考座標系立體座標系(22)，左/右透鏡座標系(23)和(24)及左/右投影座標系(25)和(26)。攝像機基準線是B。立體座標系SF(22)定義為右手座標系，在其x軸上對稱于原點有兩個光學(xué)中心，即，在立體座標系中左攝像機座標為(-1/2B,0,0)，右攝像機座標為(+1/2B,0,0)。由圖2得到B=2w+2(h+w)sin2Δα+ε0(1)由此建立長度(米)與角度的關(guān)系。這就提供了用米，而不是用未知的單位，進行自校準的方法。ε0模型還不完善，這里被假定是個小量值。
左、右透鏡座標系的定向由兩組歐拉角(Euler angles)(φx,φy,φz)來定義。透鏡處于左透鏡座標系LF-L和右透鏡座標系LF-R的原點，向著各自的xy平面。假定透鏡是徑向?qū)ΨQ的。此時，角φz無意義。角φz不能被拋棄，還要用它定義CCD的方位。立體參考座標系SF(22)被設(shè)定繞x軸的旋轉(zhuǎn)。引入一任意方程式，消除φx；L或者φx；R，例如φx；L+φx；R=O，最理想的是兩者皆為零，但由于該裝置和手動凸輪之不完善，也可能不是φx；L=ε1，φx；R=-ε1(2)對φy；L或者φy；R而言，最理想的是φy；L=2Δα和φy；R=-2Δα?？紤]到有些不完善，則可寫成φy；L=2Δα+ε2，φx；R=-2Δα+ε3(3)假設(shè)，CCD是十分平的，并具有完全垂直的像軸。成像是不變的，因為標定了三個一組的焦距、水平和垂直像素的大小。因此，為了不失其通用性，選擇像素水平大小等于1，像素垂直大小等于R(像素高寬比)。相對于透鏡座標系LFL/R的投影座標系PFL/R(總CCD芯片)的位置都用一單個向量OPFXLF,OPFYLF,OPFZLF]]>來定義，因為它們指的是同一個實際攝像機。前面兩個數(shù)定義為透鏡光軸與總CCD的交會(錯誤定位)，第三個數(shù)是焦距fOPFXLF=ϵ4,OPFYLF=ϵ5,OPFZLF=f----(4)]]>因為攝像機焦距的變動通常是通過移動透鏡而不是CCD芯片來實現(xiàn)的，故在方程式(1)中把辦設(shè)計為f的線性函數(shù)h=a+bf(5)口和b是兩個測定的參數(shù)，用來建立w與k之間的關(guān)系。相對于透鏡座標系LFL/R的投影座標系PFL/R(總CCD芯片)的方位，由一組歐拉角(Euler angles)(θx，θy，θz)來定義。θz與投影座標系旋轉(zhuǎn)有關(guān)。已用φz作出模型，因而令θz=0。
對于φz有φz；L=ε6,φz；R=ε7(6)用θx,θy作出相對于光軸的非正交CCD定位模型。于是θx=ε8,θy=ε9,θz=0 (7)由于在方程式(4)和(7)中包括了CCD的定位誤差及定向誤差，可以比參考文獻[6]中更簡單地建立透鏡失真模型。引入徑向失真參數(shù)K3K3=ε10(8)最好是，立體攝像機模型包括以下參數(shù)。對于固定校準，有基準線B、會聚角Δα、焦距f、像素高寬比R以及十項誤差參數(shù)(假設(shè)它們是微小的)ε1……ε10。
對于自校準，基準線B在校準中設(shè)定為1[4]，在模型中被拋棄。以后只要先確定出w、a和b，基準線B即可由方程式(1)求得。
獲取三維景象流程圖4表示獲取三維景象的全流程。首先，把手動凸輪安裝在透鏡附屬裝置上。然后，進行固定校準，求得會聚角Δα和焦距(變焦距)f幾個數(shù)值，以便得到a、b和w。另外，求得諸如像素高寬比R的壽命期常數(shù)。這些求得的常數(shù)在記錄實景過程中是不變的。
實驗本實驗使用一部象素數(shù)為1024×768的JPEG圖像格式數(shù)字攝像機。圖5a表示校準板的圖像(30)，圖5b表示得到的實景圖像(31)。用不同數(shù)值的會聚角和焦距進行多次固定校準。對不同數(shù)值的B、f和Δα，利用最小二乘法來測算w、a和b。
利用固定校準得到的參數(shù)，從圖5b所示的景象(31)獲得一優(yōu)良的三維模型。在把景象圖像分成一左圖像對和一右圖像對之后，這些圖像得到了修整[5]，如圖6所示?，F(xiàn)在，所有的對應(yīng)點都在等同的掃描線上，并進行了一維差異測定。利用馬可夫隨機場(MarkovRandom Field)差異測定器[5]來獲得如圖7所示的差異場。在對所有的對應(yīng)的像素對進行三角測量之后，得到三維模型(40)。圖8示出其面部細節(jié)。
利用一個特殊的裝置獲取三維景象[7]，可以讓單部手持攝像機的圖像(見圖1)具有立體視覺。該系統(tǒng)具有多個優(yōu)點。體積小，移動方便，只需要一部普通的記錄器即可存儲，且只使用一部攝像機，比較經(jīng)濟。
攝像機校準和對應(yīng)性測定都得益于這個裝置。對應(yīng)性測定依賴于對應(yīng)像素之間的光測量相似性。就這種裝置而言，不存在左攝像機和右攝像機之間的測光差異。此外，通過限定，保證左快門和右快門同步。在攝像機校準方面已證明，由于左虛攝像機和右虛攝像機都具有單部實攝像機的某些物理特性，因而可以使用比較簡單的立體攝像機模型。另外，該裝置許可采用自校準方法，同時又具有獲取絕對標度的手段。
實驗表明用該裝置獲得了優(yōu)良的三維模型。目前最好是用固定校準法，雖然也可以使用自校準法。所得到的攝像機參數(shù)非常適宜于獲取三維模型。
應(yīng)該知道，本文描述的本發(fā)明的實施例僅僅是舉例說明本發(fā)明原理的應(yīng)用。這里舉例的實施例細節(jié)，并不意味著限定權(quán)利要求的保護范圍，這些權(quán)利要求的特點對本發(fā)明來說是至關(guān)重要的。
參考文獻[1]O.Faugeras，“三維計算機視覺，一種幾何觀察點”，MIT Press,1993.F.Pedersini,D.Pele,A.Sarti and S.Tubaro，“多目鏡攝像機系統(tǒng)的校準和自校準”，in proceedings of the International Workshop onSynthetic-Natural Hybrid Coding and Three Dimensional Imaging(IWSNHC3DI′97),Rhodos,Greece,PP.81-84,1997.M.Pollefeys,R.Koch,M.Vergauwen and L.van Gool，“從運動中靈活獲取三維結(jié)構(gòu)”，in proceedings of the IEEE Image andMultidimensional Digital Signal Processing(IMDSP)Workshop′98,pp.195-198,1998.P.A.Redert and E.A.Hendriks，“立體攝像機透鏡失真校準”，Proceedings of the IEEE Image and Multidimensional Digital SignalProcessing(IMDSP)Workshop′98,pp.163-166,1998.P.A.Redert,E.A.Hendriks and J.Biemond,“圖像對的對應(yīng)性測定”，IEEE Signal Precessing Magazine,special issue on 3D andstereoscopic visual communication,Vol.16,No.3,pp.29-46,May 1999.J.Weng,P.Cohen and M.Hemiou，“具有失真模型及精度鑒定的攝像機校準”，in IEEE Transactions on PAMI,Vol.14,No.10,pp.965-980,1992.P.O.Zanen，“帶有焦點相關(guān)會聚補償?shù)娜S圖像單透鏡裝置”，US Patent No.5,532,777,July 2,1996.P.O.Zanen，“三維測量方法與帶有焦點相關(guān)會聚補償?shù)膱D像”，US Patent No.5,828,913,October 27,1998.P.O.Zanen，“三維測量裝置與帶有焦點相關(guān)會聚補償?shù)膱D像”，US Patent No.5,883,662,March 16,1999.
權(quán)利要求
1．用單部手持攝像機獲取三維景象的方法，單部手持攝像機有一個透鏡，安裝在一個透鏡附屬裝置上，附屬裝置包括一左和一右內(nèi)側(cè)反射鏡，兩個內(nèi)側(cè)反射鏡置于透鏡前面，沿透鏡光軸面朝里朝向透鏡，基本上覆蓋了透鏡的全部視野，兩個內(nèi)側(cè)反射鏡的一邊緣在透鏡光軸處連接在一起，形成一個與透鏡光軸對稱的銳角，在兩個內(nèi)側(cè)反射鏡外側(cè)有左、右各有一個外側(cè)反射鏡，其面積都比內(nèi)側(cè)反射鏡大，向外朝向景象，覆蓋內(nèi)側(cè)反射鏡的全部視野，且可繞縱軸旋轉(zhuǎn)，一個同軸機構(gòu)使兩個外側(cè)反射鏡同時繞它們的縱軸相背地旋轉(zhuǎn)，同軸機構(gòu)由一個控制輸入驅(qū)動，使左、右兩個外側(cè)反射鏡同時作等量的相背旋轉(zhuǎn)，控制輸入在一個方向運動使左、右外側(cè)反射鏡視野收斂，控制輸入在相反方向運動則使左、右外側(cè)反射鏡視野擴散，并且有一個適配器，它根據(jù)透鏡聚焦機構(gòu)的動作帶動同軸機構(gòu)的控制輸入運動，適配器連接同軸機構(gòu)的控制輸入和透鏡的聚焦機構(gòu)，這樣，當透鏡聚焦在選定的距離上時，外側(cè)反射鏡的視野就收斂在該選定的距離上，包括如下步驟a)至少對一個會聚角(Δα)數(shù)值以及至少對一個焦距(f)進行固定校準以得出a、b和w的值，其中w定義為單部手持攝像機光學(xué)中心和每部虛攝像機光學(xué)中心的距離，a和b是測定的兩個參數(shù)，用以建立w和h間的關(guān)系，h是單部手持攝像機光學(xué)中心與兩個內(nèi)側(cè)反射鏡交交會點之間的距離；b)用單部手持攝像機和透鏡附屬裝置記錄景象圖像；c)用壽命期常數(shù)、會聚角(Δα)和焦距f來處理被記錄的圖像；和d)存儲業(yè)經(jīng)處理的三維圖像。
2．如權(quán)利要求1所述的方法，其特征在于步驟a)還包括以下步驟ⅰ)至少記錄一個校準板；ⅱ)將校準板圖像分成左圖像和右圖像；ⅲ)檢測校準板；和ⅳ)對校準板進行校準。
3．如權(quán)利要求1所述的方法，其特征在于步驟c)還包括以下步驟ⅰ)將景象圖像分成左圖像和右圖像；ⅱ)對左圖像和右圖像進行對應(yīng)性測定；ⅲ)進行自校準；和ⅳ)進行三角測量。
4．如權(quán)利要求1所述的方法，其特征在于還包括以下計算步驟用方程式B=2w+2(h+w)sin2Δα+ε0來計算長度(米)與角度之間的關(guān)系，方程式中B定義為攝像機基準線，ε0定義為誤差參數(shù)。
5．如權(quán)利要求1所述的方法，其特征在于還包括在步驟b)之前，定義五個參考座標系的步驟。
6．如權(quán)利要求5所述的方法，其特征在于五個參考座標系包括a)一個立體座標系；b)一個左透鏡座標系；c)一個右透鏡座標系；d)一個左投影座標系；和e)一個右投影座標系。
7．如權(quán)利要求6所述的方法，其特征在于左、右透鏡座標系的定向由兩組歐拉角(Euler angles)(φx,φy,φz)來定義。
8．如權(quán)利要求7所述的方法，其特征在于還包括引入一個消除φx；L或者φx；R的方程式的步驟。
9．如權(quán)利要求8所述的方法，其特征在于所述的方程式是φx；L+φx；R=0。
10．如權(quán)利要求8所述的方法，其特征在于歐拉角(Euler angles)均不等于零時，利用另外的方程式φx；L=ε1,φx；R=-ε1，式中ε1是一個微小的誤差參數(shù)。
11．如權(quán)利要求10所述的方法，其特征在于還包括以下計算方程式的步驟φy；L=2Δα+ε2,φx；R=-2Δα+ε3。
12．如權(quán)利要求6所述的方法，其特征在于相對左、右透鏡座標系的左、右投影座標系的位置用一個向量OPFXLF,OPFYLF,OPFZLF]]>來定義，其中 和 定義透鏡光軸和總CCD的交會，而 等于焦距f。
13．如權(quán)利要求1所述的方法，其特征在于還包括使用方程式h=a+bf來計算單部手持攝像機光學(xué)中心和兩個內(nèi)側(cè)反射鏡交會之間的距離h。
14．如權(quán)利要求6所述的方法，其特征在于相對于左、右透鏡座標系的左、右投影座標系的方位，由一組歐拉角(Euler angles)(θx,θv,θz)來定義。
15．如權(quán)利要求14所述的方法，其特征在于用θx,θy作出相對于光軸的非正交CCD定位模型，于是θx=ε8,θy=ε9,θz=0，其中ε8和ε9均定義為誤差參數(shù)。
16．如權(quán)利要求14所述的方法，其特征在于θz與投影座標系旋轉(zhuǎn)有關(guān)。
17．如權(quán)利要求1所述的方法，其特征在于還包括用方程式K3=ε10來計算徑向失真參數(shù)K3的步驟，式中ε10定義為誤差參數(shù)。
18．如權(quán)利要求1所述的方法，其特征在于步驟a)中的多個參數(shù)還包括基準線B、像素高寬比R以及十項微小的誤差參數(shù)ε1、ε2、ε3、ε4、ε5、ε6、ε7、ε8、ε9及ε10。
19．如權(quán)利要求1所述的方法，其特征在于還包括使用多個參數(shù)包括等于1的基準線B、會聚角Δα、焦距f、像素高寬比R以及十項微小的誤差參數(shù)ε1、ε2、ε3、ε4、ε5、ε6、ε7、ε8、ε9及ε10對景象進行自校準的步驟。
20．用權(quán)利要求1所述的方法形成的三維景象。
全文摘要
本發(fā)明公開了用單部手持攝像機獲取三維景象的技術(shù)。攝像機安裝在帶有四個反射鏡的透鏡附屬裝置上,可以獲取立體景象。同時還公開了所涉及的信號處理任務(wù)、攝像機校準和像素對應(yīng)測定。使用透鏡附屬裝置拍攝景象,對攝像機的固定校準和自校準都有利,特別是可以實現(xiàn)攝像機的全自校準,而不會像現(xiàn)有技術(shù)那樣在進行立體自校準中會損失絕對標度。利用本發(fā)明方法可獲取精確的三維模型。
文檔編號H04N15/00GK1314056SQ00801065
公開日2001年9月19日 申請日期2000年6月9日 優(yōu)先權(quán)日1999年6月11日
發(fā)明者埃米爾·亨德里克斯, 安德烈·雷德爾特 申請人:埃米爾·亨德里克斯, 安德烈·雷德爾特