專利名稱：組合立體視像、彩色3d數(shù)字化和運(yùn)動(dòng)捕捉的系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種組合目標(biāo)物體的立體視像(stereovision)、彩色3D數(shù)字化和運(yùn)動(dòng)捕捉功能的數(shù)字化器，一種利用該數(shù)字化器的數(shù)字化系統(tǒng)以及相應(yīng)的數(shù)字化和運(yùn)動(dòng)尋跡的方法。
新型的光學(xué)彩色3D數(shù)字化器，如本發(fā)明的生產(chǎn)線，已經(jīng)出現(xiàn)。這些系統(tǒng)利用了與CCD照相機(jī)組合的構(gòu)造的白色光投影器，可進(jìn)行表面的3D幾何和彩色紋理的測(cè)量。透射的構(gòu)成的光(由一相機(jī)從不同于光投射角觀察的)由于3D表面的起伏而變形?？赏ㄟ^分析該變形來計(jì)算該表面的3D坐標(biāo)。這些系統(tǒng)可用于計(jì)算機(jī)模擬，特技和電子游戲中。
另一方面，無源光學(xué)三角測(cè)量(例如立體視像)被廣泛的用于運(yùn)動(dòng)捕捉。由于只需測(cè)量有限數(shù)目的點(diǎn)，因此該應(yīng)用中對(duì)應(yīng)問題(通常從兩個(gè)光學(xué)傳感器、照相機(jī)自動(dòng)尋找物體表面上的一個(gè)點(diǎn))不是主要的問題。這些點(diǎn)通常利用可見標(biāo)記進(jìn)行標(biāo)示。
立體視像的其它應(yīng)用為立體3D顯示。不需在3D空間判斷物體上一些點(diǎn)的3D坐標(biāo)，它只是簡(jiǎn)單的需要在監(jiān)視器(TV或計(jì)算機(jī)監(jiān)視器)上顯示一對(duì)立體圖，從而可看到一圖像的3D透視圖。一個(gè)可能的結(jié)構(gòu)是利用兩個(gè)照相機(jī)捕捉一對(duì)圖像，它們可觀察到該物體的視差效應(yīng)。然后，用左眼觀察這對(duì)立體圖像中的一幅圖像，用右眼觀察另一幅圖像。人腦可很容易的將這兩幅圖像合成，從而就看到該物體的3D圖像。
通常，該現(xiàn)有的3D數(shù)字化系統(tǒng)和光學(xué)運(yùn)動(dòng)捕捉系統(tǒng)對(duì)因特網(wǎng)應(yīng)用和大多數(shù)消費(fèi)者應(yīng)用來說復(fù)雜和過于昂貴。大多數(shù)這些系統(tǒng)引入了光學(xué)、光電、機(jī)械、和電子元件。因此需要特殊技術(shù)人員來操作這種數(shù)字化器。另外，現(xiàn)有的系統(tǒng)只能分別進(jìn)行3D數(shù)字化和運(yùn)動(dòng)捕捉功能。
本發(fā)明的另一個(gè)目的是提供一利用該數(shù)字化器的系統(tǒng)，它的結(jié)構(gòu)簡(jiǎn)單，可簡(jiǎn)單使用和用于因特網(wǎng)和大眾消費(fèi)者的應(yīng)用，如通過因特網(wǎng)、3D網(wǎng)頁、電子商務(wù)、脫機(jī)和網(wǎng)上游戲以及其它需要3D數(shù)字化和/或運(yùn)動(dòng)捕捉措施的應(yīng)用。
本發(fā)明的另一目的是提供用于目標(biāo)物體數(shù)字化和運(yùn)動(dòng)尋跡的方法，它可利用個(gè)人計(jì)算機(jī)和簡(jiǎn)單的發(fā)光和視頻照相機(jī)部件實(shí)現(xiàn)。
根據(jù)本發(fā)明，提供一種組合有目標(biāo)物體的立體視像、彩色3D數(shù)字化和運(yùn)動(dòng)捕捉的數(shù)字化器，包括一第一照相機(jī)；一第二照相機(jī)；一第一投影部分，具有一向各照相機(jī)的有源3D距離傳感器提供光的第一光投影器，和在第一光投影器前面用于在目標(biāo)物體的表面投影一編碼圖案的光柵部分；一第二投影部分，具有一提供用于獲取目標(biāo)物體的紋理信息的照明的第二光投影器；一底部，第一和第二照相機(jī)與第一和第二投影部分彼此以固定的相互位置關(guān)系安裝于其上，照相機(jī)的光軸匯聚于同一點(diǎn)，光投影器中的一個(gè)的光軸與照相機(jī)的光軸在該點(diǎn)正交；且一通信端口，與照相機(jī)和光投影器相連，用于接收設(shè)定照相機(jī)和光投影器的操作的控制信號(hào)和傳送來自照相機(jī)的視頻信號(hào)。
根據(jù)本發(fā)明，還提供一種數(shù)字化系統(tǒng)，該系統(tǒng)包括一上述的數(shù)字化器和一具有與數(shù)字化器的通信端口連接的端口的計(jì)算機(jī)，該系統(tǒng)通過產(chǎn)生對(duì)立體視像、彩色3D數(shù)字化和運(yùn)動(dòng)捕捉的控制信號(hào)，控制數(shù)字化器的操作，并用于處理通過端口接收到的視頻信號(hào)和產(chǎn)生作為處理結(jié)果的數(shù)字化數(shù)據(jù)。
根據(jù)本發(fā)明，還提供了一種用于數(shù)字化目標(biāo)物體的方法，包括以下步驟在物體沒有其它照明的情況下利用第一和第二照相機(jī)捕捉物體的基礎(chǔ)圖像，照相機(jī)的光軸匯聚于同一點(diǎn)，且光軸彼此呈一定角度，從而使照相機(jī)的視野在包括該同一點(diǎn)的測(cè)量深度上有一顯著重疊部分；利用具有投影的編碼圖案的光照明該物體；利用照相機(jī)捕捉結(jié)構(gòu)圖像；利用不具有圖案的光照明該物體；利用照相機(jī)捕捉紋理圖像；識(shí)別結(jié)構(gòu)圖像中的編碼圖案元素；確定這些元素的位置從而產(chǎn)生一組測(cè)量的點(diǎn)；利用關(guān)于照相機(jī)的位置和校正的校準(zhǔn)信息，確定測(cè)量的點(diǎn)的3D坐標(biāo)；確定對(duì)應(yīng)紋理圖像中的各測(cè)量點(diǎn)的坐標(biāo)，并產(chǎn)生該物體的數(shù)字化圖像。
根據(jù)本發(fā)明，還提供一種用于跟蹤目標(biāo)物體的運(yùn)動(dòng)的方法，包括以下步驟利用光軸匯聚于同一點(diǎn)且彼此以一定角度方向排列的第一和第二照相機(jī)，并行的捕捉目標(biāo)物體的圖像序列，從而使照相機(jī)的視野在包括該同一點(diǎn)的測(cè)量深度上具有顯著的重疊區(qū)域；
檢測(cè)各序列中的第一圖像中的控制點(diǎn)；跟蹤圖像序列中的控制點(diǎn)；判斷第一照相機(jī)的圖像和第二照相機(jī)的圖像中的控制點(diǎn)之間的不一致；利用該不一致和包括照相機(jī)的相對(duì)位置和角度排列的校正信息，判斷對(duì)應(yīng)第一和第二照相機(jī)同時(shí)采集的一些圖像的控制點(diǎn)的3D位置；和分別按照控制點(diǎn)的3D位置的順序，產(chǎn)生控制點(diǎn)的軌跡。
最好是，本發(fā)明的系統(tǒng)將引入實(shí)時(shí)或準(zhǔn)實(shí)時(shí)地捕捉并傳輸一對(duì)立體圖像、獲得表面的3D坐標(biāo)與彩色紋理和捕捉一定數(shù)目的給定點(diǎn)的位移的元件組合。該數(shù)據(jù)捕捉過程被簡(jiǎn)化以使數(shù)字化器的操作盡可能的自動(dòng)化。根據(jù)本發(fā)明的系統(tǒng)，該3D模型可先由一些位于模塊表面的可識(shí)別控制點(diǎn)來創(chuàng)建。然后，可實(shí)時(shí)或準(zhǔn)實(shí)時(shí)的獲得這些控制點(diǎn)的3D位置，從而控制或動(dòng)畫制作整個(gè)模型。
照相機(jī)可觀察有源光投影器產(chǎn)生的不一致。而且兩個(gè)照相機(jī)捕捉的一對(duì)圖像之間也存在不一致。該數(shù)字化器可通過數(shù)字端口，如USB或其它標(biāo)準(zhǔn)高速連接器與計(jì)算機(jī)相連。計(jì)算機(jī)控制照相機(jī)和相應(yīng)光投影器。可利用一快照按鈕啟動(dòng)以3D測(cè)量過程。數(shù)字化器可被安裝在一旋轉(zhuǎn)桌面上，利用計(jì)算機(jī)直接控制該旋轉(zhuǎn)桌面的旋轉(zhuǎn)。還可以將目標(biāo)物體放置在旋轉(zhuǎn)桌面上，從而可以得知該旋轉(zhuǎn)物體的角度位置。
最好是，系統(tǒng)提供至少三種功能。
首先，一對(duì)照相機(jī)可以以視頻速率捕捉一對(duì)立體視像圖像。當(dāng)這兩個(gè)圖像被顯示在監(jiān)視器上時(shí)，該監(jiān)視器向左眼發(fā)送一個(gè)圖像，向右眼發(fā)送另一圖像，從而產(chǎn)生一立體3D圖像。這些圖像可通過高速鏈接(例如因特網(wǎng)、T1、T3)傳輸?shù)搅硪挥?jì)算機(jī)。
第二，組合光投影器和兩個(gè)照相機(jī)，數(shù)字化器向一表面的3D坐標(biāo)的測(cè)量提供紋理信息。通過一光投影器和兩個(gè)照相機(jī)將編碼的圖案投影到物體的表面。根據(jù)物體的表面起伏，從照相機(jī)的角度看投影的圖案變形。利用細(xì)微的校正技術(shù)，通過測(cè)量投影的圖案的變形，可確定該表面上一些點(diǎn)的3D坐標(biāo)。原則上，一個(gè)照相機(jī)和一個(gè)光投影器的結(jié)合可執(zhí)行該3D坐標(biāo)的測(cè)量。覆蓋一共同空間的兩個(gè)或多個(gè)照相機(jī)與一個(gè)光投影器的結(jié)合使用可以實(shí)現(xiàn)三個(gè)主要優(yōu)點(diǎn)。首先，各照相機(jī)獲得的3D測(cè)量的加權(quán)平均值可實(shí)現(xiàn)更好的3D測(cè)量。第二，該結(jié)構(gòu)克服了由堵塞效應(yīng)引起的很多問題。第三，兩個(gè)照相機(jī)從不同視角觀察投影的圖案，從而可以獲得對(duì)投影圖案在不連續(xù)表面的變形的更好解釋。測(cè)量的3D坐標(biāo)可通過高速鏈接傳送到另一計(jì)算機(jī)。
第三功能是進(jìn)行3D空間中有限數(shù)目點(diǎn)的運(yùn)動(dòng)捕捉。當(dāng)在一表面上使用一些標(biāo)記時(shí)，可以相對(duì)較容易的確定這些點(diǎn)的3D位置。還可能利用物體上的一些公知的點(diǎn)，如外皮，嘴唇、眼瞼、眼睛等的特性。當(dāng)然，照相機(jī)觀察的3D空間必須被校正，且照相機(jī)捕捉到的給定點(diǎn)的不一致可進(jìn)行誤差估計(jì)，從而計(jì)算出它的3D位置。當(dāng)被測(cè)量的點(diǎn)的數(shù)目很低時(shí)，甚至可能每秒幾次的確定這些點(diǎn)的3D位置。該數(shù)據(jù)可用于控制物體或模型的運(yùn)動(dòng)。該數(shù)據(jù)可通過高速鏈接傳送到其它計(jì)算機(jī)。
運(yùn)動(dòng)軌跡跟蹤，即分析由任何一個(gè)或兩個(gè)安裝在旋轉(zhuǎn)桌上的照相機(jī)捕捉到的場(chǎng)景中的一物體的動(dòng)態(tài)運(yùn)動(dòng)，可利用本發(fā)明的系統(tǒng)而實(shí)現(xiàn)?？衫靡凰欧刂苼砜刂?實(shí)時(shí)的)旋轉(zhuǎn)桌的旋轉(zhuǎn)，從而使數(shù)字化器可跟蹤物體的動(dòng)態(tài)運(yùn)動(dòng)。一用戶，現(xiàn)場(chǎng)的或異地的，也可向計(jì)算機(jī)發(fā)送指令，從而指導(dǎo)數(shù)字化器到所需的方向。由于伺服控制提供了旋轉(zhuǎn)桌的確切位置，因此很顯然旋轉(zhuǎn)桌上安裝的數(shù)字化器覆蓋的整個(gè)3D空間被校正為該數(shù)字化器的已知的幾何空間。這個(gè)功能使覆蓋一更大空間以執(zhí)行本裝置的三個(gè)基本功能成為可能。
除了將數(shù)字化器安裝在旋轉(zhuǎn)桌上，有時(shí)，還可以將物體方便地安裝在該桌上。這種結(jié)構(gòu)簡(jiǎn)化了將3D物體的多個(gè)視圖合成以創(chuàng)建一完整的3D模型的操作。一個(gè)3D數(shù)字化器能測(cè)量一個(gè)目標(biāo)的一個(gè)單個(gè)視圖的3D表面。為了創(chuàng)建一完整的物體模型，需要捕捉該物體的不同視圖。當(dāng)物體被放置在受控的旋轉(zhuǎn)桌面上時(shí)，可以獲知各視圖相對(duì)其它視圖的精確位置。從而很容易的在公共的3D坐標(biāo)系統(tǒng)中記錄多個(gè)視圖，并將它們合成創(chuàng)建一完整的3D模型。


下面將參照

本發(fā)明最佳實(shí)施例，其中相同的附圖標(biāo)記表示相同的元件。
圖1為本發(fā)明數(shù)字化系統(tǒng)的可能工作環(huán)境的示意圖。
圖2A為本發(fā)明數(shù)字化器的前視圖。
圖2B為簡(jiǎn)要的示出本發(fā)明數(shù)字化器的內(nèi)部方塊圖。
圖3為本發(fā)明的數(shù)字化系統(tǒng)，該系統(tǒng)具有一安裝在旋轉(zhuǎn)桌上的數(shù)字化器。
圖4示出本發(fā)明數(shù)字化系統(tǒng)，該系統(tǒng)具有一置于旋轉(zhuǎn)桌上的目標(biāo)物體。
圖5示出本發(fā)明數(shù)字化器中可能的使用的圖案。
圖6示出本發(fā)明數(shù)字化器的可能的控制系統(tǒng)。
參照?qǐng)D2A，使具有投影透鏡4、7的投影部分最好垂直放置，且一個(gè)位于另一個(gè)的上面并彼此成一定角度排列，從而使兩個(gè)投射的光區(qū)域在指定的測(cè)量距離內(nèi)彼此覆蓋。同樣的，具有投影透鏡9、11的照相機(jī)最好水平放置，且彼此相距一定空間。這樣，照相機(jī)和投影部分就以十字相互對(duì)稱形式排列。
參照?qǐng)D2B，光柵元件5用投影透鏡4投影的光可控制的產(chǎn)生一條紋圖案36，例如圖5所示的圖案。該照相機(jī)8、10位于投影透鏡4和7的側(cè)邊，且彼此成一定角度，從而使照相機(jī)8、10具有指向被照明物體表面的視域19、20(見圖1)，且這兩個(gè)視域在物體測(cè)量的深度上彼此最大化的重疊。照相機(jī)8、10的各視頻輸出端產(chǎn)生的視頻信號(hào)表示具有彼此重疊的視域19、20產(chǎn)生的共同圖像部分的物體的互補(bǔ)圖像。照相機(jī)8、10可為CCD照相機(jī)，它們各自的視頻輸出與端口15連接，該端口最好位于殼體18的后側(cè)。
參照?qǐng)D5，編碼的投影圖案36包括一2D圖案。該圖案為一彩色線序列。最佳的圖案為白、黑、黃、黑、綠、黑、青、和黑序列的重復(fù)。該序列重復(fù)，例如10次。在第五序列中紅紫色參考條紋37替換了最后的黑線。線的方向可為垂直、水平或任何角度。線的寬度在圖案的任何地方都相同。它們也可以不同。紅紫色線作為識(shí)別參考條紋，該參考線具有可利用預(yù)定函數(shù)在照相機(jī)8、10捕捉的圖像中可確定的絕對(duì)3D位置。參考條紋37最好定位為可使照相機(jī)8、10在目標(biāo)17、35(如圖1和4)的整體范圍內(nèi)捕捉參考條紋37。
參照?qǐng)D2B，投影透鏡4的光軸應(yīng)該與投影圖案的表面垂直。該透鏡4的孔徑和它的焦距應(yīng)該被調(diào)節(jié)為使投影的圖案在整個(gè)測(cè)量的深度都足夠清晰。
照相機(jī)透鏡9、11的光軸與投影透鏡4、7的光軸在距離裝置的同一距離處交叉。這四個(gè)光軸在同一點(diǎn)交叉，該點(diǎn)通常為該裝置的光學(xué)中心。照相機(jī)8的光軸和投影透鏡4的光軸確定了距離測(cè)量的靈敏度，特指投影透鏡4的光軸方向上的深度。該角度越大，深度測(cè)量的靈敏度越高。相反，為了保持兩個(gè)照相機(jī)8、10覆蓋的一定測(cè)量深度上的重疊區(qū)域至少等于各照相機(jī)8、10的視域19、20的80-90％，該角度不應(yīng)太大。由于投影的圖案36為彩色線的重復(fù)圖案，因此不可能對(duì)相同顏色的線進(jìn)行區(qū)分。因此，該測(cè)量只在超過特定測(cè)量深度時(shí)才變得不模糊。投影部分和相機(jī)8、10的光軸之間的角度越大，不模糊的深度就越小。
一但數(shù)字化器1被安裝，系統(tǒng)的光學(xué)和機(jī)械結(jié)構(gòu)就固定了。為了獲得3D數(shù)據(jù)，要校準(zhǔn)系統(tǒng)。在校準(zhǔn)過程中，投影圖案36的元件的位置和它們距離與測(cè)量系統(tǒng)之間的關(guān)系就被確定。
參照?qǐng)D6，數(shù)字化器1的照相機(jī)8、10、光投影器3、6和主控制板14可由一具有，例如，三個(gè)提供適當(dāng)電壓的輸出21、22、23的電源供電，該電源通過最好位于殼體18的后側(cè)的連接器24接收能量。
參照?qǐng)D1和6，本發(fā)明利用數(shù)字化器1的系統(tǒng)具有計(jì)算機(jī)2，該計(jì)算機(jī)有一端口38，用于從照相機(jī)8、10獲取視頻信號(hào)，并從計(jì)算機(jī)2向主控制板14發(fā)送指令。計(jì)算機(jī)2可處理照相機(jī)8、10處傳來的視頻信號(hào)。計(jì)算機(jī)2還可以獲得具有投影圖案36的圖像、不具有圖案的圖像和具有均勻白光照明的圖像的方式初始化測(cè)量序列，并控制兩個(gè)光投影器3、6。這種獲取和投影器的控制最好通過主控制板14，由計(jì)算機(jī)2通過與端口15連接的線纜16進(jìn)行控制。
最好是，3D數(shù)字化的測(cè)量過程如下。首先沒有照明的情況下由照相機(jī)8、10獲取圖像。然后光投影器3被供電，從而產(chǎn)生將投影到物體17上的圖案。照相機(jī)8、10獲取具有投影圖案的圖像。然后，斷開投影部分3的光源的電源和給投影部分6的光源供電，從而產(chǎn)生一測(cè)量空間的均勻白色光照明。照相機(jī)8、10獲取具有均勻白色照明的圖像。在具有投影圖案的將被測(cè)量的物體的圖像中識(shí)別投影圖案的元素。在具有投影圖案的將被測(cè)量的物體的圖像中確定投影圖案的元素的位置。該步驟產(chǎn)生一組測(cè)量的點(diǎn)。通過校準(zhǔn)信息確定所有測(cè)量點(diǎn)的3D坐標(biāo)。另外進(jìn)一步確定對(duì)應(yīng)獲得的具有均勻白色照明的紋理圖像中各測(cè)量的點(diǎn)的坐標(biāo)。
對(duì)每一個(gè)記錄序列，在適當(dāng)?shù)能浖绦蛑刑幚硪唤M視頻圖像，從而從該結(jié)構(gòu)圖像中獲得3D信息以及紋理信息?？梢岳貌煌乃惴?，從利用投影的結(jié)構(gòu)光的視頻圖像中獲得形狀和紋理信息。大多數(shù)這些算法都是基于條紋或線的識(shí)別和定位。
這些算法的第一步驟是檢測(cè)所得圖像中的投影的條紋。圖像處理算法用于分割這些條紋，從而確定圖像的各像素所屬哪個(gè)條紋的一部分。一旦這些條紋被分割，則可通過搜索條紋的最大密度或計(jì)算一條紋的密度分配重心，確定圖像中所有條紋中所有條紋的位置。如果使用彩色條紋，則可確定各條紋的彩色。
編碼為投影圖案的參考條紋37(見圖5)最好是可通過它的彩色被唯一識(shí)別。3D數(shù)字化處理中的下一步驟是分割和定位獲得的圖像中的參考條紋37。對(duì)大多數(shù)線，參考條紋的位置是隨后知道的。對(duì)圖像中的各線，根據(jù)它們的顏色，將條紋從參考條紋到圖像的邊緣進(jìn)行編號(hào)。只要物體不大于非含糊的深度，則該彩色可正確對(duì)條紋編號(hào)。然后將被識(shí)別的條紋的位置從實(shí)際坐標(biāo)轉(zhuǎn)換為實(shí)際單元，如毫米。對(duì)與光投影器3一起工作的各照相機(jī)8、10，在獨(dú)立校準(zhǔn)步驟中創(chuàng)建一校準(zhǔn)表。該校準(zhǔn)表可用幾何單元中的3D坐標(biāo)轉(zhuǎn)換被識(shí)別的條紋的測(cè)量位置。
該轉(zhuǎn)換函數(shù)可為(x，y，z)T＝f(u，j，n)其中(x，y，z)T為實(shí)際坐標(biāo)；n是被識(shí)別的條紋的數(shù)目；j是圖像中的一條線，該圖像中條紋n被識(shí)別；u是線j中條紋n的位置。
當(dāng)根據(jù)相機(jī)8或10獲得的一組圖像的所有3D坐標(biāo)測(cè)量值產(chǎn)生一點(diǎn)云(point cloud)時(shí)，對(duì)點(diǎn)云的各點(diǎn)，對(duì)只有均勻白色光照明獲得的坐標(biāo)和紋理圖像進(jìn)行計(jì)算，確定一彩色紋理向量。
對(duì)各像素，計(jì)算機(jī)2可確定只有白色光投影時(shí)獲得的圖像的各像素的彩色，從而確定紅、綠和藍(lán)色信道對(duì)應(yīng)三個(gè)信道中最大一個(gè)的比率。然后通過向結(jié)構(gòu)光投影時(shí)獲得的圖像中對(duì)應(yīng)像素提供這些比率的倒數(shù)，實(shí)現(xiàn)彩色增強(qiáng)。
對(duì)相機(jī)8和10執(zhí)行3D數(shù)字化處理，產(chǎn)生兩個(gè)獨(dú)立的3D模型。在最后一個(gè)步驟中，合成這兩個(gè)模型?？赏ㄟ^校準(zhǔn)處理得到模型的相對(duì)位置，從而通過利用圓柱投影或立方投影算法，實(shí)現(xiàn)模型和紋理的合成。
然后獲得目標(biāo)的一個(gè)單獨(dú)全部數(shù)字化圖像，該圖像作為結(jié)構(gòu)光投影時(shí)圖像的各線中的檢測(cè)到的最大條紋的實(shí)際3D位置和結(jié)構(gòu)光投影的實(shí)際3D位置、合成到數(shù)字化圖像中的紋理圖像之間的空間關(guān)系函數(shù)。
參照?qǐng)D4，當(dāng)將被測(cè)量的目標(biāo)物置于通過電纜34與計(jì)算機(jī)2連接的用于捕捉多面視圖的旋轉(zhuǎn)桌面32上時(shí)，計(jì)算機(jī)2精確控制旋轉(zhuǎn)的位置，從而可得到各視圖之間的相對(duì)位置。直接將多個(gè)部分模型放在一起即可創(chuàng)造一完整的模型。
參照?qǐng)D6，主控制板14通過線纜16與計(jì)算機(jī)2之間接收和發(fā)射信號(hào)。在所述實(shí)施例中，主控制板14具有一CPU26、一USB接口27、用于數(shù)據(jù)和程序的RAM和PROM存儲(chǔ)器28以及輸入/輸出單元29。該主控制板識(shí)別的命令為，例如重置數(shù)字化器1；將光投影器3的光打開和關(guān)閉；將光投影器6的光打開和關(guān)閉；開始數(shù)字化過程。
燈驅(qū)動(dòng)器板12、13通過主控制板14接收開/關(guān)信號(hào)。光投影器3、6的密度可通過分壓器30、31手動(dòng)調(diào)節(jié)。
參照?qǐng)D1和2，為了實(shí)現(xiàn)立體顯示，兩個(gè)照相機(jī)8、10獲得的圖像首先被傳送到主計(jì)算機(jī)2，然后計(jì)算出一對(duì)立體圖像，該圖像在被傳送到另一計(jì)算機(jī)(圖中未示出)前最好被壓縮。如果需要，第二計(jì)算機(jī)接收到的圖像被解壓縮并顯示在監(jiān)視屏幕33上。為了看到一3D立體圖像，這兩個(gè)圖像中一個(gè)需要用左眼看，另一個(gè)需要用右眼看。這可通過利用LCD百葉窗鏡片(圖中未示出)同步顯示這兩個(gè)圖像來實(shí)現(xiàn)。
對(duì)運(yùn)動(dòng)捕捉功能，照相機(jī)8、10觀察到的不一致在這些照相機(jī)8、10的共同的3D空間校準(zhǔn)。然后可以確定兩個(gè)照相機(jī)捕捉到的一個(gè)對(duì)應(yīng)點(diǎn)的3D位置。還開發(fā)一種實(shí)時(shí)的不一致測(cè)量的方法，從而確保以準(zhǔn)視頻率進(jìn)行有限的點(diǎn)的運(yùn)動(dòng)捕捉。
參照?qǐng)D3，可以對(duì)運(yùn)動(dòng)中的物體進(jìn)行尋跡。計(jì)算機(jī)2控制的旋轉(zhuǎn)桌32的使用是為了使數(shù)字化器1追隨運(yùn)動(dòng)的物體。該裝置具有有限的測(cè)量空間。為了將物體保持在測(cè)量空間的中心，圖像由照相機(jī)8、10獲得，并被傳送到計(jì)算機(jī)2。隨后的視頻圖像之間的差別被判斷并用于計(jì)算物體的位移。計(jì)算機(jī)2控制旋轉(zhuǎn)桌32，從而將物體保持在測(cè)量空間的中心。
在運(yùn)動(dòng)捕捉模式中，計(jì)算機(jī)2可操作，從而從第一和第二照相機(jī)8、10輸出的視頻信號(hào)中并行的獲得圖像序列。當(dāng)檢測(cè)到相機(jī)8的圖像和相機(jī)10的圖像中的控制點(diǎn)之間不同時(shí)，然后檢測(cè)各序列中的第一圖像中的控制點(diǎn)，并在圖像序列中對(duì)其進(jìn)行跟蹤。也可利用這些不同和包括照相機(jī)的相對(duì)位置和角度排列的信息，確定對(duì)應(yīng)從相機(jī)8、10中同時(shí)獲得的圖像的控制點(diǎn)的3D位置。可以分別產(chǎn)生控制點(diǎn)的軌道作為控制點(diǎn)的3D位置的序列?？刂泣c(diǎn)可由例如物體上的特別標(biāo)記或物體圖像中具有高密度導(dǎo)數(shù)的點(diǎn)形成。
控制器2具有可用于數(shù)字化數(shù)據(jù)的壓縮和解壓縮功能，以及通過計(jì)算機(jī)2的通信端口傳送數(shù)字化數(shù)據(jù)的功能。
雖然最好對(duì)投影器3和6使用白色光，但其它顏色的光根據(jù)需要也可使用。投影器3、6中可具有孔徑和快門機(jī)構(gòu)(圖中未示出)。如果需要，數(shù)字化器1中使用的照相機(jī)8、10可具有可調(diào)節(jié)的增益特性。
通過上面結(jié)合附圖的最佳實(shí)施例的說明，本領(lǐng)域技術(shù)人員很容易在不脫離本發(fā)明實(shí)質(zhì)的基礎(chǔ)上進(jìn)行改變和修改。所有這些改變和修改都應(yīng)被認(rèn)為處于附加權(quán)利要求中限定的本發(fā)明的范圍內(nèi)。
權(quán)利要求
1.一種組合有目標(biāo)物體的立體視像、彩色3D數(shù)字化和運(yùn)動(dòng)捕捉功能的數(shù)字化器，包括一第一照相機(jī)；一第二照相機(jī)；一第一投影部分，具有一向各照相機(jī)的有源3D距離傳感器提供光的第一光投影器，和在第一光投影器器前面用于在目標(biāo)物體的表面投影一編碼圖案的光柵部分；一第二投影部分，具有一提供用于獲取目標(biāo)物體的紋理信息的照明的第二光投影器；一底部，第一和第二照相機(jī)和第一和第二投影部分彼此以固定的相互位置關(guān)系安裝于底部上，照相機(jī)的光軸匯聚于同一點(diǎn)，光投影器中的一個(gè)的光軸與照相機(jī)的光軸在該點(diǎn)相交；和一通信端口，與照相機(jī)和光投影器相連，用于接收設(shè)定照相機(jī)和光投影器的操作的控制信號(hào)和傳送來自照相機(jī)的視頻信號(hào)。
2.如權(quán)利要求1所述的數(shù)字化器，其特征在于第一和第二投影部分彼此以一定角度排列，從而使投影的光的范圍在從投影部分起的一定測(cè)量距離內(nèi)彼此重疊，第一和第二照相機(jī)彼此以一定角度排列，從而使照相機(jī)的視野在測(cè)量距離周圍的測(cè)量深度上具有一顯著重疊部分。
3.如權(quán)利要求2所述的數(shù)字化器，其特征在于光投影器為白色光投影器；照相機(jī)為彩色照相機(jī)；和編碼的圖案包括重復(fù)的彩色線系列，彩色線中的一個(gè)作為可識(shí)別的參考，該可識(shí)別的參考具有在利用上述功能的第一投影部分提供光照明時(shí)由照相機(jī)捕捉的圖像中可確定的絕對(duì)3D位置。
4.如權(quán)利要求3所述的數(shù)字化器，其特征在于彩色線序列包括白、黑、黃、黑、綠、黑、青、和黑，最接近第一投影部分光軸的黑線由一紅紫色參考線代替。
5.如權(quán)利要求1所述的數(shù)字化器，其特征在于第一投影部分具有一投影透鏡，該透鏡與第一光投影器光耦合，且其光軸基本上垂直于編碼圖案的表面。
6.如權(quán)利要求2所述的數(shù)字化器，其特征在于第一和第二光投影器中的另一個(gè)的光軸在同一點(diǎn)與照相機(jī)的光軸相交，對(duì)稱安裝的投影部分和照相機(jī)以十字形排列。
7.如權(quán)利要求6所述的數(shù)字化器，其特征在于第一投影部分具有一與第一光投影器光耦合的投影透鏡，第一照相機(jī)的光軸與該投影透鏡的投影軸呈一定角度，該角度被調(diào)節(jié)為使各照相機(jī)的視野有大于或等于80％重疊。
8.如權(quán)利要求1所述的數(shù)字化器，其特征在于照相機(jī)工作，通信端口傳輸照相機(jī)響應(yīng)與立體視像功能相關(guān)的控制信號(hào)中的控制數(shù)據(jù)以視頻速率捕捉到的立體圖像。
9.如權(quán)利要求1所述的數(shù)字化器，其特征在于第一光投影器接通，通信端口傳輸照相機(jī)響應(yīng)與彩色3D數(shù)字化功能相關(guān)的控制信號(hào)中的控制數(shù)據(jù)捕捉到的圖像。
10.如權(quán)利要求1所述的數(shù)字化器，其特征在于通信端口傳輸照相機(jī)響應(yīng)與運(yùn)動(dòng)捕捉功能相關(guān)的控制信號(hào)中的控制數(shù)據(jù)而捕捉到的圖像。
11.如權(quán)利要求1所述的數(shù)字化器，其特征在于還包括燈驅(qū)動(dòng)器板，燈驅(qū)動(dòng)器板分別與燈投影器相連并控制相應(yīng)燈投影器，和一主控板，主觀控板連接在通信端口和燈驅(qū)動(dòng)板之間。
12.如權(quán)利要求1所述的數(shù)字化器，其特征在于還包括一封裝照相機(jī)和投影部分的殼體，底部為殼體的構(gòu)成整體所需要的部分。
13.一種數(shù)字化系統(tǒng)，包括一組合目標(biāo)物體的立體視像、彩色3D數(shù)字化和運(yùn)動(dòng)捕捉功能的數(shù)字化器，包括一第一照相機(jī)；一第二照相機(jī)；一第一投影部分，具有一向各照相機(jī)的有源3D距離傳感器提供光的第一光投影器，和在第一光投影器前面用于在目標(biāo)物體的表面投影一編碼圖案的光柵部分；一第二投影部分，具有一提供用于獲取目標(biāo)物體的紋理信息的照明的第二光投影器；一底部，第一和第二照相機(jī)與第一和第二投影部分彼此以固定的相互位置關(guān)系安裝于底部上，照相機(jī)的光軸匯聚于同一點(diǎn)，光投影器中之一的光軸與照相機(jī)的光軸在該點(diǎn)正交；和一通信端口，與照相機(jī)和光投影器相連，用于接收設(shè)定照相機(jī)和光投影器的操作的控制信號(hào)和傳送照相機(jī)的視頻信號(hào)；和一具有與數(shù)字化器的通信端口連接的端口的計(jì)算機(jī)，該計(jì)算機(jī)通過產(chǎn)生對(duì)立體視像、彩色3D數(shù)字化和運(yùn)動(dòng)捕捉的控制信號(hào)，來控制數(shù)字化器的操作，并且計(jì)算機(jī)用于處理通過端口接收到的視頻信號(hào)和產(chǎn)生作為處理結(jié)果的數(shù)字化數(shù)據(jù)。
14.如權(quán)利要求13所述的數(shù)字化系統(tǒng)，其特征在于彩色3D數(shù)字化功能包括一使計(jì)算機(jī)連續(xù)進(jìn)行的建模過程在投影器沒有對(duì)物體照明的情況下從照相機(jī)的視頻信號(hào)中獲取基礎(chǔ)圖像；在第一投影器對(duì)物體照明的情況下從照相機(jī)的視頻信號(hào)中獲取結(jié)構(gòu)圖像；在第二投影器對(duì)物體照明的情況下從照相機(jī)的視頻信號(hào)中獲取紋理圖像；識(shí)別結(jié)構(gòu)圖像中的編碼圖案元素；確定這些元素的位置從而產(chǎn)生一組測(cè)量的點(diǎn)；利用存儲(chǔ)在計(jì)算機(jī)中的校準(zhǔn)信息，確定測(cè)量的點(diǎn)的3D坐標(biāo)；確定對(duì)應(yīng)紋理圖像中的各測(cè)量點(diǎn)的坐標(biāo)，以產(chǎn)生該物體的數(shù)字化圖像，數(shù)字化數(shù)據(jù)包括物體的數(shù)字化圖像。
15.如權(quán)利要求14所述的數(shù)字化系統(tǒng)，其特征在于通過檢測(cè)結(jié)構(gòu)圖像中投影的條紋識(shí)別各元素，投影的條紋形成結(jié)構(gòu)圖像中識(shí)別的編碼圖案的元素，投影的條紋被分割；通過尋找條紋的最大密度或計(jì)算條紋密度分配的重心，確定結(jié)構(gòu)圖像的線性條紋的相對(duì)位置，從而確定元件的位置，條紋的位置形成測(cè)量的點(diǎn)；和通過以下步驟確定3D坐標(biāo)根據(jù)其特征的一個(gè)區(qū)別特征定位結(jié)構(gòu)圖像中的參考條紋，計(jì)算對(duì)應(yīng)該特征的從結(jié)構(gòu)圖像的參考條紋到邊緣的條紋，將條紋的相對(duì)位置轉(zhuǎn)換為對(duì)應(yīng)參考條紋的現(xiàn)實(shí)世界的實(shí)際坐標(biāo)，并利用對(duì)應(yīng)各照相機(jī)各校準(zhǔn)操作中創(chuàng)建的校準(zhǔn)表，將實(shí)際坐標(biāo)位置轉(zhuǎn)換為幾何單元中的3D坐標(biāo)，該校準(zhǔn)表形成校準(zhǔn)信息。
16.如權(quán)利要求15所述的數(shù)字化系統(tǒng)，其特征在于該特征的一個(gè)區(qū)別特征為彩色，根據(jù)彩色對(duì)條紋進(jìn)行計(jì)數(shù)；利用以下函數(shù)進(jìn)行轉(zhuǎn)換(x，y，z)T＝f(u，j，n)其中(x，y，z)T為實(shí)際坐標(biāo)的位置；n是條紋的數(shù)目；j是圖像中對(duì)應(yīng)條紋n的線的數(shù)目；u是線j中條紋n的位置。通過根據(jù)從相機(jī)之一獲得的一組圖像中獲得的3D坐標(biāo)產(chǎn)生一點(diǎn)云，并通過從對(duì)應(yīng)該點(diǎn)云的各點(diǎn)的坐標(biāo)和條紋圖像確定一彩色紋理向量，來確定條紋圖像中的坐標(biāo)。
17.如權(quán)利要求16所述的數(shù)字化系統(tǒng)，其特征在于計(jì)算機(jī)還可判斷對(duì)應(yīng)點(diǎn)云中各點(diǎn)，各紅、綠和藍(lán)色信道與信道最大值的比率，并將向結(jié)構(gòu)圖像中對(duì)應(yīng)點(diǎn)提供這些比率的倒數(shù)。
18.如權(quán)利要求16所述的數(shù)字化系統(tǒng)，其特征在于對(duì)第一和第二照相機(jī)得到的圖像分別執(zhí)行建模過程，從而產(chǎn)生以后將組合在一起的兩個(gè)獨(dú)立的3D模型組合。
19.如權(quán)利要求13所述的數(shù)字化系統(tǒng)，其特征在于還包括一由計(jì)算機(jī)控制的旋轉(zhuǎn)桌面，用于在物體的條紋3D模型創(chuàng)建中數(shù)字化器和物體中一個(gè)的旋轉(zhuǎn)，數(shù)字化的數(shù)據(jù)包括物體的條紋3D模型。
20.如權(quán)利要求13所述的數(shù)字化系統(tǒng)，其特征在于立體視像功能使計(jì)算機(jī)計(jì)算一對(duì)具有3D情景印象的立體圖像，數(shù)字化的數(shù)據(jù)包括立體圖像對(duì)。
21.如權(quán)利要求13所述的數(shù)字化系統(tǒng)，其特征在于運(yùn)動(dòng)捕捉使計(jì)算機(jī)從第一和第二照相機(jī)的視頻信號(hào)中并行的獲取圖像序列；檢測(cè)各序列中的第一圖像中的控制點(diǎn)；跟蹤圖像序列中的控制點(diǎn)；判斷第一照相機(jī)的圖像和第二照相機(jī)的圖像中的控制點(diǎn)之間的不一致；利用該不一致和包括照相機(jī)的相對(duì)位置和角度排列的校正信息，判斷對(duì)應(yīng)第一和第二照相機(jī)同時(shí)采集的一些圖像的控制點(diǎn)的3D位置；和分別按照控制點(diǎn)的3D位置的順序，產(chǎn)生控制點(diǎn)的軌跡，數(shù)字化的數(shù)據(jù)包括3D位置和控制點(diǎn)的軌跡。
22.如權(quán)利要求21所述的數(shù)字化系統(tǒng)，其特征在于該控制點(diǎn)包括位于物體上的特殊標(biāo)記。
23.如權(quán)利要求21所述的數(shù)字化系統(tǒng)，其特征在于控制點(diǎn)包括具有高的密度導(dǎo)數(shù)的物體的圖像中的點(diǎn)。
24.如權(quán)利要求13所述的數(shù)字化系統(tǒng)，其特征在于計(jì)算機(jī)還具有對(duì)數(shù)字化數(shù)據(jù)的壓縮和解壓縮功能。
25.如權(quán)利要求13所述的數(shù)字化系統(tǒng)，其特征在于計(jì)算機(jī)還通過計(jì)算機(jī)的通信端口傳送數(shù)字化數(shù)據(jù)。
26.一種數(shù)字化目標(biāo)物體的方法，包括以下步驟在沒有對(duì)物體照明的情況下用第一和第二照相機(jī)獲取物體的基礎(chǔ)圖像，照相機(jī)的光軸匯聚于一點(diǎn)，且彼此以一定角度排列，從而使照相機(jī)在包括該點(diǎn)的測(cè)量深度上，具有顯著的重疊視野；用具有投影的編碼圖案的光照明物體；利用照相機(jī)捕捉結(jié)構(gòu)圖像；用不具有圖案的光照明物體；利用照相機(jī)捕捉紋理圖像；識(shí)別結(jié)構(gòu)圖像中的編碼圖案元素；確定這些元素的位置從而產(chǎn)生一組測(cè)量的點(diǎn)；利用關(guān)于照相機(jī)的位置和排列的校準(zhǔn)信息，確定測(cè)量的點(diǎn)的3D坐標(biāo)；確定對(duì)應(yīng)紋理圖像中各測(cè)量點(diǎn)的座標(biāo)，以產(chǎn)生物體的數(shù)字化圖象。
27.如權(quán)利要求26所述的方法，其特征在于通過檢測(cè)結(jié)構(gòu)圖像中投影的條紋識(shí)別各元素，投影的條紋形成結(jié)構(gòu)圖像中識(shí)別的編碼圖案的元素，投影的條紋被分割；通過尋找條紋的最大密度或計(jì)算條紋密度分配的重心，確定結(jié)構(gòu)圖像的線性條紋的相對(duì)位置，從而確定元件的位置，條紋的位置形成測(cè)量的點(diǎn)；和通過以下步驟確定3D坐標(biāo)根據(jù)其特征的一個(gè)區(qū)別特征定位結(jié)構(gòu)圖像中的參考條紋，計(jì)算對(duì)應(yīng)該特征的從結(jié)構(gòu)圖像的參考條紋到邊緣的條紋，將條紋的相對(duì)位置轉(zhuǎn)換為對(duì)應(yīng)參考條紋的現(xiàn)實(shí)世界的實(shí)際坐標(biāo)，并利用對(duì)應(yīng)各照相機(jī)在各校準(zhǔn)操作中創(chuàng)建的校準(zhǔn)表，將實(shí)際坐標(biāo)位置轉(zhuǎn)換為幾何單元中的3D坐標(biāo)，該校準(zhǔn)表形成校準(zhǔn)信息。
28.如權(quán)利要求27所述的方法，其特征在于特征的一個(gè)區(qū)別特征為彩色，根據(jù)彩色對(duì)條紋進(jìn)行計(jì)數(shù)；利用以下函數(shù)進(jìn)行轉(zhuǎn)換(x，y，z)T＝f(u，j，n)其中(x，y，z)T為實(shí)際坐標(biāo)的位置；n是條紋的數(shù)目；j是圖像中對(duì)應(yīng)條紋n的線的數(shù)目；u是線j中條紋n的位置。通過根據(jù)從相機(jī)之一獲得的一組圖像中獲得的3D坐標(biāo)產(chǎn)生一點(diǎn)云，并從對(duì)應(yīng)該點(diǎn)云的各點(diǎn)的坐標(biāo)和條紋圖像確定一彩色紋理向量，確定條紋圖像中的坐標(biāo)。
29.如權(quán)利要求28所述的方法，還包括以下步驟對(duì)點(diǎn)云中的各點(diǎn)，確定各紅、綠和藍(lán)色信道與信道最大值的比率；和向結(jié)構(gòu)圖像中對(duì)應(yīng)點(diǎn)提供這些比率的倒數(shù)。
30.一種用于跟蹤目標(biāo)物體的運(yùn)動(dòng)的方法，包括以下步驟利用第一和第二照相機(jī)并行獲取目標(biāo)物體的圖像序列，照相機(jī)的光軸匯聚于一點(diǎn)，且彼此以一定角度排列，從而使照相機(jī)在包括該點(diǎn)的測(cè)量深度上，具有顯著的重疊視野；檢測(cè)各序列中的第一圖像中的控制點(diǎn)；跟蹤圖像序列中的控制點(diǎn)；判斷第一照相機(jī)的圖像和第二照相機(jī)的圖像中的控制點(diǎn)之間的不一致；利用該不一致和包括照相機(jī)的相對(duì)位置和角度排列的校正信息，判斷對(duì)應(yīng)第一和第二照相機(jī)同時(shí)采集的一些圖像的控制點(diǎn)的3D位置；和分別按照控制點(diǎn)的3D位置的順序，產(chǎn)生控制點(diǎn)的軌跡。
31.如權(quán)利要求30所述的方法，其特征在于該控制點(diǎn)包括位于物體上的特殊標(biāo)記。
32.如權(quán)利要求31所述的數(shù)字化系統(tǒng)，其特征在于控制點(diǎn)包括具有高的密度導(dǎo)數(shù)的物體的圖像中的點(diǎn)。
全文摘要
一種組合了目標(biāo)物體的立體視像、彩色3D數(shù)字化和運(yùn)動(dòng)捕捉功能的數(shù)字化器。該數(shù)字化器具有一支撐兩個(gè)照相機(jī)和兩個(gè)具有投影器的投影部分的底部，投影器中的一個(gè)具有用于在目標(biāo)物體表面上投影編碼圖案的光柵元件，并用于有源3D范圍感應(yīng)，另一個(gè)投影器用于獲取目標(biāo)物體的紋理信息。照相機(jī)和光投影器彼此呈一定角度排列，從而使其光軸匯聚于一點(diǎn)。一計(jì)算機(jī)操作投影器，并根據(jù)所選功能處理照相機(jī)產(chǎn)生的視頻信號(hào)。
文檔編號(hào)H04N13/02GK1426527SQ01808586
公開日2003年6月25日 申請(qǐng)日期2001年4月20日 優(yōu)先權(quán)日2000年4月25日
發(fā)明者漢斯耶爾格·格特納, 多米尼克·比徹姆, 伊瓦恩·布拉薩, 馬丁·布雷頓, 李·桑, 古伊萊恩·勒梅林, 帕特里克·魯洛 申請(qǐng)人:英斯派克公司