在空間編碼幻燈片圖像上的模式的對(duì)準(zhǔn)方法和系統(tǒng)的制作方法
【專利摘要】一種用于制備空間編碼幻燈片圖像的方法，其中，在一個(gè)用于3D測量的系統(tǒng)中，沿著一個(gè)投影儀的輸出處的核線對(duì)準(zhǔn)該空間編碼幻燈片圖像的一種模式，包括：獲取用于投影儀坐標(biāo)的失真向量，每個(gè)向量表示由該投影儀引起的來自預(yù)測坐標(biāo)的一個(gè)失真；檢索一個(gè)理想模式圖像，所述理想模式圖像是在理想核線上對(duì)準(zhǔn)的該空間編碼模式的一個(gè)理想圖像；對(duì)于一個(gè)真實(shí)幻燈片圖像的每個(gè)真實(shí)像素坐標(biāo)，通過以下方式創(chuàng)建該真實(shí)幻燈片圖像，檢索一個(gè)當(dāng)前失真向量；使用該當(dāng)前失真向量從該真實(shí)像素坐標(biāo)去除失真從而在該理想模式圖像中獲得理想像素坐標(biāo)；在該理想模式圖像中，在該理想像素坐標(biāo)處提取一個(gè)像素值；在該真實(shí)幻燈片圖像中，在該真實(shí)像素坐標(biāo)處復(fù)制該像素值。
【專利說明】在空間編碼幻燈片圖像上的模式的對(duì)準(zhǔn)方法和系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明總體上涉及對(duì)象的表面幾何圖形的三維掃描領(lǐng)域，并且更具體地，涉及結(jié)構(gòu)光立體視覺。
【背景技術(shù)】
[0002]對(duì)象的表面幾何圖形的三維掃描和數(shù)字化在許多行業(yè)和服務(wù)中是常用的，并且它們的應(yīng)用非常廣泛。此類應(yīng)用的幾個(gè)示例是在工業(yè)生產(chǎn)體系中的形狀一致性的檢查和測量、用于工業(yè)設(shè)計(jì)和造型應(yīng)用的粘土模型的數(shù)字化、具有復(fù)雜幾何圖形的現(xiàn)有零件的逆向工程、在多媒體應(yīng)用中的對(duì)象的交互式可視化、藝術(shù)品和手工藝品的三維文檔、為了更好的矯正適配的人體掃描、生物統(tǒng)計(jì)學(xué)或定制服裝。
[0003]使用測距傳感器掃描并數(shù)字化對(duì)象的形狀，該測距傳感器測量該傳感器和表面上的一個(gè)點(diǎn)集之間的距離。已經(jīng)為測距傳感器開發(fā)了不同的原理。在這些原理中，干涉測量、飛行時(shí)間和基于三角測量原理是已知的原理，取決于對(duì)精度的要求、傳感器和對(duì)象之間的相隔距離以及所需要的景深，這些原理的每一個(gè)都是或多或少適當(dāng)?shù)摹?br> [0004]一些基于三角測量的測距傳感器通常適合于近距離測量，如不足幾米。使用這種類型的裝置，從被一個(gè)基線距離分隔開的兩個(gè)不同的視點(diǎn)獲得至少兩條匯聚到對(duì)象上的同一特征點(diǎn)的光線?？梢詮脑摶€和這兩個(gè)光線方向恢復(fù)觀測點(diǎn)的相對(duì)位置。使用三角形中的一條長邊和兩個(gè)角的知識(shí)來確定兩條光線的交點(diǎn)，這實(shí)際上是立體視覺中的三角測量的原理。立體視覺中的難題是在每個(gè)圖像中高效地識(shí)別哪些像素相互對(duì)應(yīng)。
[0005]為了簡化這個(gè)問題，可以用一個(gè)在已知方向上輸出一組光線的光投影儀來代替這些光檢測器(攝像機(jī))中的一個(gè)。在這種情況下，采用這些投影光線的方向以及反射到對(duì)象表面上的每個(gè)檢測光線來求解該三角形是可能的。那么，計(jì)算每個(gè)觀測特征點(diǎn)相對(duì)于該三角形的底邊的坐標(biāo)是可能的。
[0006]盡管可以使用專門的光檢測器，但是典型地使用數(shù)字CXD或CMOS攝像機(jī)。
[0007]對(duì)于投影儀，光源可以是投影一個(gè)點(diǎn)的相干光源(激光)或者非相干光源(例如，白光)、一個(gè)光平面或者許多其他可能的投影模式，包括全場模式。全場模式是一種2D模式，該模式可以覆蓋投影儀的2D照明場的一部分或者全部。在這種情況下，可以在每個(gè)圖像中匹配對(duì)應(yīng)點(diǎn)的一個(gè)密集。光投影儀的使用有助于在該對(duì)象表面上各處的反射點(diǎn)的檢測，從而提供測量表面點(diǎn)的一個(gè)密集。然而，模式越復(fù)雜，高效地識(shí)別相應(yīng)的像素和光線的挑戰(zhàn)越大。
[0008]因?yàn)檫@個(gè)原因，將進(jìn)一步采用來自投影幾何學(xué)理論的特性。與在整個(gè)圖像中進(jìn)行搜索相反的是，可以采用核線約束來限制對(duì)與一條單一直線相對(duì)應(yīng)的像素的搜索，這在兩個(gè)視圖的情況下在本領(lǐng)域中至少已經(jīng)公知了 30年。在被動(dòng)和主動(dòng)(帶有一個(gè)投影儀)立體視覺中都廣泛地采用這一原理。這種用法的一個(gè)示例是如下系統(tǒng)，在該系統(tǒng)中使用兩個(gè)攝像機(jī)和一個(gè)投影十字模式的激光投影儀。如此安排這兩個(gè)攝像機(jī)以及該激光使得組成該十字的激光平面中的每一個(gè)在這些攝像機(jī)的每一個(gè)的核線平面內(nèi)被對(duì)準(zhǔn)。因此，獨(dú)立于所觀察到的幾何圖形，這些激光平面之一將總是被成像在一個(gè)圖像的同一個(gè)位置。然后，在該圖像中，在兩個(gè)激光平面之間消除歧義是可能的。這是對(duì)極幾何在結(jié)構(gòu)光系統(tǒng)中的一種非傳統(tǒng)應(yīng)用。
[0009]可以從校準(zhǔn)參數(shù)或者在兩個(gè)圖像中匹配一個(gè)點(diǎn)集之后計(jì)算該對(duì)極幾何。因此，在一個(gè)圖像中給定一個(gè)點(diǎn)，在將要放置該對(duì)應(yīng)點(diǎn)的第二圖像中計(jì)算直線(核線)方程的參數(shù)是可能的。另一種方法在于校正這兩個(gè)圖像，這意味著所有核線將是水平的和對(duì)準(zhǔn)的。由于不需要在核線上執(zhí)行進(jìn)一步的計(jì)算用于識(shí)別像素，因此校正圖像是有利的。可以通過軟件或者甚至通過謹(jǐn)慎地對(duì)準(zhǔn)一個(gè)或兩個(gè)攝像機(jī)(或投影儀)的相對(duì)定向來應(yīng)用圖像校正。在這種情況下，這種方法被稱為硬件對(duì)準(zhǔn)。
[0010]硬件對(duì)準(zhǔn)攝像機(jī)和投影儀的若干示例存在于以下情況中，其中投影儀投影垂直條紋并且攝像機(jī)被對(duì)準(zhǔn)，其方式為使得這些核線是水平的。已經(jīng)在若干其他采用格雷碼垂直模式的結(jié)構(gòu)光系統(tǒng)中使用了這種類型的對(duì)準(zhǔn)。在投影儀和攝像機(jī)的對(duì)準(zhǔn)上，投影垂直條紋的要求不高，但是其降低了來自一個(gè)單一投影幀的點(diǎn)的空間密度。也可以投影一個(gè)全場代碼。再次對(duì)準(zhǔn)投影儀和攝像機(jī)，其方式為使得在投影儀幻燈片中沿著核線投影沿著每條線的編碼模式。在這些情況下，該場景幾何圖形對(duì)行編碼模式的方向和垂直間隔幾乎沒有影響。這些編碼模式將保持沿著獨(dú)立于到該對(duì)象的距離的一條單線。然而，將在代碼的形變中沿著核線來檢索捕捉3D測量的相關(guān)信息。與核線的這一對(duì)準(zhǔn)使得沿著每條線來投影一個(gè)不同的代碼成為可能。
[0011]不幸的是，伴隨著對(duì)極幾何原理的應(yīng)用有一個(gè)懸而未決的問題。其可靠性根據(jù)投影儀透鏡的類型和質(zhì)量而不同。實(shí)際上，其不是鏡頭失真的原因。在無論是對(duì)于投影儀還是攝像機(jī)的透鏡失真面前，核線將不是直線。它們將被彎曲并且不能被假定為嚴(yán)格地起因于核線平面與圖像平面的交點(diǎn)。失真通常對(duì)于要求透鏡具有短焦距的短距離系統(tǒng)來說更加重要。盡管對(duì)于攝像機(jī)來說可以通過軟件計(jì)算的校準(zhǔn)之后來修正該失真，但是對(duì)于投影儀來說該失真不能事后修正。在這種情況下，在投影儀圖像(下文稱為幻燈片圖像)中沿著一條直線(核線)初始地對(duì)準(zhǔn)的代碼不會(huì)沿著透鏡后的直線被物理地投影，并且因此不會(huì)導(dǎo)致沿著攝像機(jī)圖像中的核線的良好對(duì)準(zhǔn)。對(duì)于大多數(shù)透鏡而言，圖像的邊和角的失真增力口。要么失去這些點(diǎn)，用更大的頻帶補(bǔ)償以沿著失真的核線編碼信號(hào)(從而降低測量的分辨率)，要么應(yīng)用將偏離簡化匹配的初始目標(biāo)的更復(fù)雜的計(jì)算。
發(fā)明概述
[0012]根據(jù)本發(fā)明的一個(gè)廣泛的方面，提供了一種用于制備空間編碼幻燈片圖像的方法，其中，在一個(gè)用于對(duì)象的形狀的3D測量的系統(tǒng)中，沿著一個(gè)投影儀的輸出處的核線對(duì)準(zhǔn)該空間編碼幻燈片圖像的一種模式，將該投影儀和一個(gè)攝相機(jī)放置在一個(gè)全場結(jié)構(gòu)光中，包括:獲取用于該投影儀的投影儀坐標(biāo)的一個(gè)失真向量集合，每個(gè)失真向量表示由該投影儀引起的來自預(yù)測坐標(biāo)的一個(gè)失真；檢索一個(gè)理想模式圖像，其中該理想模式圖像是在理想核線上對(duì)準(zhǔn)的該空間編碼模式的一個(gè)理想圖像；對(duì)于一個(gè)真實(shí)幻燈片圖像的每個(gè)真實(shí)像素坐標(biāo)，通過以下方式創(chuàng)建該真實(shí)幻燈片圖像，使用真實(shí)像素坐標(biāo)從該設(shè)置檢索一個(gè)當(dāng)前失真向量；使用該當(dāng)前失真向量從該真實(shí)像素坐標(biāo)去除失真從而在該理想模式圖像中獲得理想像素坐標(biāo)；在該理想模式圖像中，在該理想像素坐標(biāo)處提取一個(gè)像素值；在該真實(shí)幻燈片圖像中，在該真實(shí)像素坐標(biāo)處復(fù)制該像素值。[0013]在一個(gè)實(shí)施例中，創(chuàng)建一個(gè)真實(shí)幻燈片圖像的步驟包括創(chuàng)建該真實(shí)幻燈片圖像的一個(gè)電子版本以及將該電子版本提供給一個(gè)可編程投影儀。
[0014]在一個(gè)實(shí)施例中，提取一個(gè)像素值的步驟包括對(duì)該像素值進(jìn)行插值。
[0015]在一個(gè)實(shí)施例中，該像素值是一個(gè)水平值。
[0016]根據(jù)本發(fā)明的另一個(gè)廣泛的方面，提供了一種用于在用于對(duì)象的形狀的3D測量的系統(tǒng)中促進(jìn)投影圖像和捕捉圖像之間的編碼模式的匹配的方法，將一個(gè)投影儀和一個(gè)攝相機(jī)放置在全場結(jié)構(gòu)光中，包括:校準(zhǔn)該投影儀和該攝相機(jī)的固有和非固有參數(shù)；制備一個(gè)空間編碼幻燈片圖像，其中，通過沿著核線對(duì)準(zhǔn)該空間編碼幻燈片圖像的一種模式；使用該投影儀將該空間編碼模式投影到一個(gè)場景對(duì)象上；使用該攝相機(jī)觀察該對(duì)象上的空間編碼模式從而生成一個(gè)攝相機(jī)圖像；處理該攝像機(jī)圖像從而將代碼與該投影圖像進(jìn)行匹配。
[0017]在一個(gè)實(shí)施例中，該方法進(jìn)一步包括在處理該攝像機(jī)圖像之前去失真和校正該攝像機(jī)圖像。
[0018]仍然根據(jù)本發(fā)明的另一個(gè)廣泛的方面，提供了一種用于為對(duì)象的形狀的3D測量系統(tǒng)進(jìn)行設(shè)置的方法，將模式代碼一個(gè)帶有固定幻燈片掩模的投影儀和一個(gè)攝像機(jī)放置在全場結(jié)構(gòu)光中，包括:設(shè)置透鏡孔徑和焦點(diǎn)；制備一張帶有空間編碼幻燈片圖像的幻燈片，牢固地安裝所述幻燈片與該投影儀透鏡并且將所述幻燈片的中心與該透鏡的光軸對(duì)準(zhǔn)；調(diào)整圍繞該透鏡的光軸的旋轉(zhuǎn)以及沿著該透鏡的光軸的投影儀的平移從而沿著這些核線對(duì)準(zhǔn)該模式代碼。
附圖簡要說明
[0019]通過參閱以下說明和與其一起的附圖，本披露的上述特征和目的將變得更加明顯，其中相似的參考數(shù)字指代相似的元素并且其中:
[0020]圖1包括圖1A、圖1B和圖1C，其中圖1A是一個(gè)網(wǎng)格的圖示，圖1B是一個(gè)桶形徑向鏡頭失真效果的圖示以及圖1C是一個(gè)枕形徑向鏡頭失真效果的圖示；
[0021 ] 圖2是對(duì)極幾何的一個(gè)展示；
[0022]圖3包括圖3A和圖3B，其中圖3A描繪了校正配置的一個(gè)后視圖以及圖3B描繪了校正配置的一個(gè)俯視圖；
[0023]圖4是校正過程的一個(gè)圖示；
[0024]圖5展示了應(yīng)用于幻燈片圖像的失真補(bǔ)償；
[0025]圖6展示了由一個(gè)真實(shí)透鏡導(dǎo)致的核線的形變；
[0026]圖7是一個(gè)用于產(chǎn)生真實(shí)模式的示例方法的流程圖；
[0027]圖8包括圖8A和圖8B，其中圖8A是一個(gè)二值模式的圖示以及圖8B是一個(gè)插值后的閾值效果的圖示；
[0028]圖9包括圖9A和圖9B，其中圖9A描繪了連同其相應(yīng)理想部分的一個(gè)預(yù)失真幻燈片部分，圖9B描繪了該相應(yīng)的理想部分；
[0029]圖10是一種用于適配固定幻燈片掩模的示例方法的流程圖。
詳細(xì)說明
[0030]為了在投影儀投影的模式和在攝像機(jī)所捕捉的圖像中檢測的模式之間找到相應(yīng)的匹配，本發(fā)明允許對(duì)準(zhǔn)更高分辨率的代碼，即使接近圖像的邊和角。投影儀透鏡將使在投影儀幻燈片上創(chuàng)建的圖像失真?；脽羝俏锢沓上駜x組件，其位于投影儀的光學(xué)器件之間。其或者是透射成像儀組件或者是反射成像儀組件。因此，在幻燈片上沿著理想核線對(duì)準(zhǔn)的模式代碼一旦通過透鏡投影將導(dǎo)致曲線而非直線。因此，該方法用在透鏡之后的實(shí)際核線來對(duì)準(zhǔn)模式代碼而非在投影儀幻燈片上的假設(shè)的非失真直線上對(duì)準(zhǔn)模式代碼。首先對(duì)投影儀的透鏡光學(xué)器件導(dǎo)致的失真進(jìn)行建模，然后應(yīng)用該失真模型來使沿著直線初始地對(duì)準(zhǔn)的編碼模式變形。因此，在幻燈片上產(chǎn)生的編碼模式是預(yù)彎曲的。然后，投影儀透鏡的失真在建模時(shí)發(fā)生并且在由攝像機(jī)捕捉的圖像上的編碼模式被校直。
[0031]圖1示出了圖1A中所示的在規(guī)則柵格101上的徑向透鏡失真的一個(gè)效果。徑向失真會(huì)導(dǎo)致或者桶型失真(圖1B中102處所示)，或者枕形失真(圖1C中103處所示)。該效果是眾所周知的。直線被彎曲并且對(duì)于短焦距來說效果將更加重要。盡管徑向失真是在機(jī)器視覺和攝影測量補(bǔ)償中的一種非常普遍的失真類型，其他類型的透鏡失真也可以得到補(bǔ)償。另一個(gè)此類示例透鏡失真是切向失真。
[0032]用于攝像機(jī)和投影儀這兩者的投影模型是一個(gè)帶有透鏡失真補(bǔ)償?shù)尼樋?。該針孔模型描述了在世界參考坐?biāo)系w中的一個(gè)3D點(diǎn)Iiw = [x,y,z,l]r和該相應(yīng)圖像點(diǎn)S = [?,V,if
之間的關(guān)系。此處，波浪線上標(biāo)表示齊次坐標(biāo)。該關(guān)系式是被定義為= t]P的一
個(gè)投影。在這個(gè)方程式中，矩陣
【權(quán)利要求】
1.一種用于制備空間編碼幻燈片圖像的方法，其中，在一個(gè)用于對(duì)象的形狀的3D測量的系統(tǒng)中，沿著一個(gè)投影儀的輸出處的核線對(duì)準(zhǔn)所述空間編碼幻燈片圖像的一種模式，將該投影儀和一個(gè)攝相機(jī)放置在全場結(jié)構(gòu)光中，包括: 獲取用于所述投影儀的投影儀坐標(biāo)的一個(gè)失真向量集合，每個(gè)所述失真向量表示由所述投影儀引起的來自預(yù)測坐標(biāo)的一個(gè)失真； 檢索一個(gè)理想的模式圖像，其中，所述理想模式圖像是在理想核線上對(duì)準(zhǔn)的該空間編碼模式的一個(gè)理想圖像； 對(duì)于一個(gè)真實(shí)幻燈片圖像的每個(gè)真實(shí)像素坐標(biāo)，通過以下方式創(chuàng)建該真實(shí)幻燈片圖像， 使用所述真實(shí)像素坐標(biāo)從所述集合檢索一個(gè)當(dāng)前失真向量； 使用該當(dāng)前失真向量從所述真實(shí)像素坐標(biāo)去除失真從而在該理想模式圖像中獲得理想像素坐標(biāo)； 在該理想模式圖像中，在該理想像素坐標(biāo)處提取一個(gè)像素值； 在該真實(shí)幻燈片圖像中，在該真實(shí)像素坐標(biāo)處復(fù)制該像素值。
2.如權(quán)利要求1所述的方法，其中所述創(chuàng)建一個(gè)真實(shí)幻燈片圖像包括創(chuàng)建所述真實(shí)幻燈片圖像的一個(gè)電子版本以及將所述電子版本提供給一個(gè)可編程投影儀。
3.如權(quán)利要求1和2中任一項(xiàng)所述的方法，其中所述提取一個(gè)像素值包括對(duì)所述像素值進(jìn)行插值。
4.如權(quán)利要求1至3中任一項(xiàng)所述的方法，其中所述像素值是一個(gè)水平值。
5.一種用于在用于對(duì)象的形狀的3D測量的系統(tǒng)中促進(jìn)投影圖像和捕捉圖像之間的編碼模式的匹配的方法，將一個(gè)投影儀和一個(gè)攝相機(jī)放置在全場結(jié)構(gòu)光中，包括: 校準(zhǔn)該投影儀和該攝相機(jī)的固有和非固有參數(shù)； 制備一個(gè)空間編碼幻燈片圖像，其中，通過執(zhí)行權(quán)利要求1的步驟沿著核線對(duì)準(zhǔn)所述空間編碼幻燈片圖像的一種模式； 使用該投影儀將該空間編碼模式投影到一個(gè)場景對(duì)象上； 使用該攝相機(jī)觀察該對(duì)象上的空間編碼模式從而生成一個(gè)攝相機(jī)圖像； 處理該攝像機(jī)圖像從而將代碼與該投影圖像進(jìn)行匹配。
6.如權(quán)利要求5所述的方法，進(jìn)一步包括在所述處理該攝像機(jī)圖像之前去失真和校正該攝像機(jī)圖像。
7.一種用于為對(duì)象的形狀的3D測量系統(tǒng)進(jìn)行設(shè)置的方法，將一個(gè)帶有固定幻燈片掩模的投影儀和一個(gè)攝像機(jī)放置在全場結(jié)構(gòu)光中，包括: 設(shè)置透鏡孔徑和焦點(diǎn)； 執(zhí)行權(quán)利要求1的步驟； 牢固地安裝所述幻燈片與該投影儀透鏡并且將所述幻燈片的中心與該透鏡的光軸對(duì)準(zhǔn)； 調(diào)整圍繞該透鏡的光軸的旋轉(zhuǎn)以及沿著該透鏡的光軸的投影儀的平移從而沿著這些核線對(duì)準(zhǔn)該模式代碼。
【文檔編號(hào)】G01B11/245GK103988048SQ201280049264
【公開日】2014年8月13日 申請(qǐng)日期:2012年11月2日 優(yōu)先權(quán)日:2011年11月23日
【發(fā)明者】P·赫伯特, F·羅謝特 申請(qǐng)人:形創(chuàng)有限公司