用于測(cè)量表面的三維結(jié)構(gòu)的方法和設(shè)備的制作方法
【專利摘要】本發(fā)明公開了一種方法，所述方法包括使用至少一個(gè)成像傳感器來對(duì)表面進(jìn)行成像，其中表面和成像傳感器處于相對(duì)平移運(yùn)動(dòng)中。成像傳感器包括透鏡，所述透鏡具有相對(duì)于表面坐標(biāo)系的x-y平面以非零角度對(duì)準(zhǔn)的焦平面。將表面的圖像序列進(jìn)行配準(zhǔn)并且沿相機(jī)坐標(biāo)系的z方向進(jìn)行堆疊以形成體。確定體中的每個(gè)(x,y)位置的聚焦銳度值，其中(x,y)位置位于與相機(jī)坐標(biāo)系的z方向垂直的平面中。利用聚焦銳度值，確定體中的每個(gè)(x,y)位置沿相機(jī)坐標(biāo)系中的z方向的最大聚焦深度zm，并且可基于最大聚焦深度zm來確定表面上的每個(gè)點(diǎn)的三維位置。
【專利說明】用于測(cè)量表面的三維結(jié)構(gòu)的方法和設(shè)備
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求2012年I月31日提交的美國(guó)臨時(shí)申請(qǐng)N0.61/593，197的權(quán)益，該臨時(shí)申請(qǐng)的公開內(nèi)容全文以引用方式并入本文。

【技術(shù)領(lǐng)域】
[0003]本發(fā)明涉及用于確定表面的三維結(jié)構(gòu)的方法和光學(xué)檢測(cè)設(shè)備。在另一方面，本公開涉及材料檢測(cè)系統(tǒng)，例如用于檢測(cè)材料幅材移動(dòng)的計(jì)算機(jī)化系統(tǒng)。

【背景技術(shù)】
[0004]當(dāng)在生產(chǎn)線上制造產(chǎn)品時(shí)，已使用在線測(cè)量和檢測(cè)系統(tǒng)來連續(xù)地監(jiān)測(cè)產(chǎn)品質(zhì)量。檢測(cè)系統(tǒng)可提供實(shí)時(shí)反饋，以使操作員能夠快速地識(shí)別有缺陷產(chǎn)品并且評(píng)價(jià)工藝變量變化的影響。還已使用基于成像的檢測(cè)系統(tǒng)來監(jiān)測(cè)通過制造工藝進(jìn)行的已制造產(chǎn)品的質(zhì)量。
[0005]檢測(cè)系統(tǒng)使用諸如CCD或CMOS相機(jī)之類的傳感器來捕獲產(chǎn)品材料的選定部分的數(shù)字圖像。檢測(cè)系統(tǒng)中的處理器應(yīng)用算法來快速地評(píng)價(jià)材料樣本的捕獲的數(shù)字圖像，以確定樣本或其選定區(qū)域是否適于無缺陷地出售給顧客。
[0006]在線檢測(cè)系統(tǒng)可分析制造工藝中的幅材材料的移動(dòng)表面的二維(2D)圖像特征，并且可檢測(cè)例如相對(duì)大級(jí)別的不均勻的因素，例如化妝點(diǎn)缺陷和條痕。諸如三角點(diǎn)傳感器之類的其他技術(shù)可在生產(chǎn)線速度下實(shí)現(xiàn)微米級(jí)的表面結(jié)構(gòu)的深度分辨率，但僅覆蓋幅材表面上的單個(gè)點(diǎn)(因?yàn)樗鼈優(yōu)辄c(diǎn)傳感器)，并且由此提供出有關(guān)表面特征的極其有限數(shù)量的可用三維(3D)信息。諸如激光線三角系統(tǒng)之類的其他技術(shù)可在生產(chǎn)線速度下實(shí)現(xiàn)幅材表面的全3D覆蓋，但具有低空間分辨率，并且由此僅可用于監(jiān)測(cè)大級(jí)別表面偏差，例如幅材卷曲和浮置。
[0007]諸如激光輪廓法、干涉測(cè)量法和3D顯微鏡法(基于對(duì)焦深度法(DFF))之類的3D檢測(cè)技術(shù)已用于表面分析。DFF表面分析系統(tǒng)使用具有窄視野深度的相機(jī)和透鏡來對(duì)物體進(jìn)行成像。當(dāng)物體保持靜止時(shí)，相機(jī)和透鏡在沿z軸(即，平行于透鏡的光軸)的不同位置上的進(jìn)行深度掃描，由此捕獲每個(gè)位置處的圖像。當(dāng)相機(jī)通過多個(gè)z軸位置進(jìn)行掃描時(shí)，物體表面上的點(diǎn)聚焦在不同的圖像切片處，這取決于其在表面上方的高度。使用這種信息，可相對(duì)精確地估計(jì)物體表面的3D結(jié)構(gòu)。


【發(fā)明內(nèi)容】

[0008]在一個(gè)方面，本公開涉及一種方法，所述方法包括使用至少一個(gè)成像傳感器來對(duì)表面進(jìn)行成像，其中表面和成像傳感器處于相對(duì)平移運(yùn)動(dòng)中，并且其中傳感器包括具有相對(duì)于表面坐標(biāo)系中的x-y平面以非零視角對(duì)準(zhǔn)的焦平面的透鏡；配準(zhǔn)表面的圖像序列?’沿著相機(jī)坐標(biāo)系中的z方向來堆疊配準(zhǔn)的圖像以形成體；確定體中的每個(gè)(x，y)位置的聚焦銳度值，其中(X，y)位置位于與相機(jī)坐標(biāo)系中的z方向垂直的平面中；使用聚焦銳度值來確定體中的每個(gè)(X，y)位置沿相機(jī)坐標(biāo)系中的z方向的最大聚焦深度Zm;以及基于最大聚焦深度Zm來確定表面上的每個(gè)點(diǎn)的三維位置。
[0009]在另一方面，本公開涉及一種方法，所述方法包括使用成像傳感器來捕獲表面的圖像序列，其中表面和成像傳感器處于相對(duì)平移運(yùn)動(dòng)中，并且其中成像傳感器包括具有相對(duì)于表面坐標(biāo)系中的x-y平面以非零視角對(duì)準(zhǔn)的焦平面的遠(yuǎn)心透鏡；在序列中的每個(gè)圖像中對(duì)準(zhǔn)表面上的基準(zhǔn)點(diǎn)以形成配準(zhǔn)的圖像序列；沿著相機(jī)坐標(biāo)系中的z方向來堆疊配準(zhǔn)的圖像序列以形成體，其中配準(zhǔn)的圖像序列中的每個(gè)圖像包括體中的層；計(jì)算體內(nèi)的每個(gè)像素的聚焦銳度值，其中像素位于與相機(jī)坐標(biāo)系中的z方向垂直的平面中；基于聚焦銳度值來計(jì)算體內(nèi)的每個(gè)像素的最大聚焦深度值z(mì)m;基于最大聚焦深度\來確定表面上的每個(gè)點(diǎn)的三維位置；以及基于三維點(diǎn)位置來構(gòu)造表面的三維模型。
[0010]在另一方面，本公開涉及一種設(shè)備，所述設(shè)備包括具有遠(yuǎn)心透鏡的成像傳感器，其中透鏡具有相對(duì)于表面坐標(biāo)系中的x-y平面以非零視角對(duì)準(zhǔn)的焦平面，其中表面和成像傳感器處于相對(duì)平移運(yùn)動(dòng)中，并且其中傳感器對(duì)表面進(jìn)行成像以形成其圖像序列；處理器，所述處理器:在序列中的每個(gè)圖像中對(duì)準(zhǔn)表面上的基準(zhǔn)點(diǎn)以形成配準(zhǔn)的圖像序列；沿著相機(jī)坐標(biāo)系中的z方向來堆疊配準(zhǔn)的圖像序列以形成體，其中配準(zhǔn)的圖像序列中的每個(gè)圖像包括體中的層；計(jì)算體內(nèi)的每個(gè)像素的聚焦銳度值，其中像素位于與相機(jī)坐標(biāo)系中的Z方向垂直的平面中；基于聚焦銳度值來計(jì)算體內(nèi)的每個(gè)像素的最大聚焦深度值Zm ;基于最大聚焦深度Zm來確定表面上的每個(gè)點(diǎn)的三維位置；以及基于三維位置來構(gòu)造表面的三維模型。
[0011]在另一方面，本公開涉及一種方法，所述方法包括相對(duì)于移動(dòng)的幅材材料以非零視角定位靜止成像傳感器，其中成像傳感器包括遠(yuǎn)心透鏡以對(duì)移動(dòng)幅材的表面進(jìn)行成像并且形成其圖像序列；處理所述圖像序列以:配準(zhǔn)圖像；沿著相機(jī)坐標(biāo)系中的Z方向來堆疊配準(zhǔn)的圖像以形成體；確定體中的每個(gè)(x，y)位置的聚焦銳度值，其中(x，y)位置位于與相機(jī)坐標(biāo)系中的z方向垂直的平面中；確定體中的每個(gè)(X，y)位置沿相機(jī)坐標(biāo)系中的z方向的最大聚焦深度Zm ；以及基于最大聚焦深度Zm來確定移動(dòng)幅材的表面上的每個(gè)點(diǎn)的三維位置。
[0012]在另一方面，本公開涉及一種用于實(shí)時(shí)檢測(cè)幅材材料的移動(dòng)表面并且計(jì)算表面的三維模型的方法，所述方法包括使用靜止傳感器來捕獲表面的圖像序列，其中成像傳感器包括相機(jī)和具有相對(duì)于表面坐標(biāo)系中的x-y平面以非零視角對(duì)準(zhǔn)的焦平面的遠(yuǎn)心透鏡；在序列中的每個(gè)圖像中對(duì)準(zhǔn)表面上的基準(zhǔn)點(diǎn)以形成配準(zhǔn)的圖像序列；沿著相機(jī)坐標(biāo)系中的z方向來堆疊配準(zhǔn)的圖像序列以形成體，其中配準(zhǔn)的圖像序列中的每個(gè)圖像包括體中的層；計(jì)算體內(nèi)的每個(gè)像素的聚焦銳度值，其中像素位于與相機(jī)坐標(biāo)系中的Z方向垂直的平面中；基于聚焦銳度值來計(jì)算體內(nèi)的每個(gè)像素的最大聚焦深度值Zm ;基于最大聚焦深度\來確定表面上的每個(gè)點(diǎn)的三維位置；以及基于三維位置來構(gòu)造表面的三維模型。
[0013]在另一方面，本公開涉及一種用于實(shí)時(shí)檢測(cè)幅材材料的在線計(jì)算機(jī)化檢測(cè)系統(tǒng)，所述系統(tǒng)包括靜止成像傳感器，所述靜止成像傳感器包括相機(jī)和遠(yuǎn)心透鏡，其中透鏡具有相對(duì)于移動(dòng)表面的平面以非零視角對(duì)準(zhǔn)的焦平面，并且其中傳感器對(duì)表面進(jìn)行成像以形成其圖像序列；處理器，所述處理器:在序列中的每個(gè)圖像中對(duì)準(zhǔn)表面上的基準(zhǔn)點(diǎn)以形成配準(zhǔn)的圖像序列；沿著相機(jī)坐標(biāo)系中的z方向來堆疊配準(zhǔn)的圖像序列以形成體，其中配準(zhǔn)的圖像序列中的每個(gè)圖像包括體中的層；計(jì)算體內(nèi)的每個(gè)像素的聚焦銳度值，其中像素位于與相機(jī)坐標(biāo)系中的Z方向垂直的平面中；基于聚焦銳度值來計(jì)算體內(nèi)的每個(gè)像素的最大聚焦深度值Zm ;基于最大聚焦深度Zm來確定表面上的每個(gè)點(diǎn)的三維位置；以及基于三維位置來構(gòu)造表面的三維模型。
[0014]在另一方面，本發(fā)明涉及一種非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)，所述非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)包括軟件指令，所述軟件指令用于使計(jì)算機(jī)處理器:使用在線計(jì)算機(jī)化檢測(cè)系統(tǒng)來接收幅材材料的移動(dòng)表面的圖像序列，其中使用包括相機(jī)和遠(yuǎn)心透鏡的靜止成像傳感器來捕獲圖像序列，所述遠(yuǎn)心透鏡具有相對(duì)于表面坐標(biāo)系的x-y平面以非零視角對(duì)準(zhǔn)的焦平面；在序列中的每個(gè)圖像中對(duì)準(zhǔn)表面上的基準(zhǔn)點(diǎn)以形成配準(zhǔn)的圖像序列；沿著相機(jī)坐標(biāo)系中的z方向來堆疊配準(zhǔn)的圖像序列以形成體，其中配準(zhǔn)的圖像序列中的每個(gè)圖像包括體中的層；計(jì)算體內(nèi)的每個(gè)像素的聚焦銳度值，其中像素位于與相機(jī)坐標(biāo)系中的Z方向垂直的平面中；基于聚焦銳度值來計(jì)算體內(nèi)的每個(gè)像素的最大聚焦深度值Zm ;基于最大聚焦深度Zm來確定表面上的每個(gè)點(diǎn)的三維位置；以及基于三維位置來構(gòu)造表面的三維模型。
[0015]在另一方面，本公開涉及一種方法，所述方法包括相對(duì)于表面來平移成像傳感器，其中所述傳感器包括具有相對(duì)于表面坐標(biāo)系中的x-y平面以非零視角對(duì)準(zhǔn)的焦平面的透鏡；使用成像傳感器來對(duì)表面進(jìn)行成像以采集圖像序列；對(duì)表面上的點(diǎn)的三維位置進(jìn)行估計(jì)以提供代表表面的一組三維點(diǎn)；以及處理所述一組三維點(diǎn)以在選定的坐標(biāo)系中產(chǎn)生表面的范圍圖。
[0016]在另一方面，本公開涉及一種方法，所述方法包括:(a)使用至少一個(gè)成像傳感器來對(duì)表面進(jìn)行成像以采集圖像序列，其中表面和成像傳感器處于相對(duì)平移運(yùn)動(dòng)中，并且其中傳感器包括透鏡，所述透鏡具有相對(duì)于表面坐標(biāo)系中的x-y平面以非零視角對(duì)準(zhǔn)的焦平面；(b)確定圖像序列中的最后圖像中的每個(gè)像素的聚焦銳度值；(c)計(jì)算表面坐標(biāo)系中的I坐標(biāo)，焦平面與I軸在I坐標(biāo)處相交；(d)基于最后圖像中的表面的表觀移位來確定表面上的過渡點(diǎn)，其中過渡點(diǎn)在最后圖像中已離開透鏡的視野，但在最后圖像之前的序列中的圖像中處于透鏡的視野中；(e)確定表面上的所有過渡點(diǎn)在相機(jī)坐標(biāo)系中的三維位置；(f)對(duì)于由成像傳感器采集的每個(gè)新圖像重復(fù)步驟(a)至(f);以及(g)累積來自序列中的圖像的過渡點(diǎn)在相機(jī)坐標(biāo)系中的三維位置以形成代表平移表面的點(diǎn)云。
[0017]在另一實(shí)施例中，本公開涉及一種設(shè)備，所述設(shè)備包括具有透鏡的成像傳感器，所述透鏡包括具有相對(duì)于表面坐標(biāo)系中的x-y平面以非零視角對(duì)準(zhǔn)的焦平面，其中表面和成像傳感器處于相對(duì)平移運(yùn)動(dòng)中，并且其中傳感器對(duì)表面進(jìn)行成像以形成其圖像序列；處理器，所述處理器包括:(a)確定圖像序列中的最后圖像中的每個(gè)像素的聚焦銳度值；(b)計(jì)算表面坐標(biāo)系中的y坐標(biāo)，焦平面與y軸在y坐標(biāo)處相交；(C)基于最后圖像中的表面的表觀移位來確定表面上的過渡點(diǎn)，其中過渡點(diǎn)在最后圖像中已離開透鏡的視野，但在最后圖像之前的序列中的圖像中處于透鏡的視野中；(d)確定表面上的所有過渡點(diǎn)在相機(jī)坐標(biāo)系中的三維位置；(e)對(duì)于由成像傳感器采集的每個(gè)新圖像重復(fù)步驟(a)至⑷；以及(f)累積來自序列中的圖像的過渡點(diǎn)在相機(jī)坐標(biāo)系中的三維位置以形成代表平移表面的點(diǎn)云。
[0018]在另一方面，本公開涉及一種用于實(shí)時(shí)檢測(cè)幅材材料的在線計(jì)算機(jī)化檢測(cè)系統(tǒng)，所述系統(tǒng)包括靜止成像傳感器，所述靜止成像傳感器包括相機(jī)和遠(yuǎn)心透鏡，其中透鏡具有相對(duì)于移動(dòng)表面的x-y平面以非零視角對(duì)準(zhǔn)的焦平面，并且其中傳感器對(duì)表面進(jìn)行成像以形成其圖像序列；處理器，所述處理器包括:(a)確定圖像序列中的最后圖像中的每個(gè)像素的聚焦銳度值；(b)計(jì)算表面坐標(biāo)系中的y坐標(biāo)，焦平面與y軸在y坐標(biāo)處相交；(C)基于最后圖像中的表面的表觀移位來確定表面上的過渡點(diǎn)，其中過渡點(diǎn)在最后圖像中已離開透鏡的視野，但在最后圖像之前的序列中的圖像中處于透鏡的視野中；(d)確定表面上的所有過渡點(diǎn)在相機(jī)坐標(biāo)系中的三維位置；(e)對(duì)于由成像傳感器采集的每個(gè)新圖像重復(fù)步驟(a)至(d);以及(f)累積來自序列中的圖像的過渡點(diǎn)在相機(jī)坐標(biāo)系中的三維位置以形成代表平移表面的點(diǎn)云。
[0019]在另一個(gè)方面，本公開涉及一種包括軟件指令的非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)，所述軟件指令用于使計(jì)算機(jī)處理器:(a)使用在線計(jì)算機(jī)化檢測(cè)系統(tǒng)來接收幅材材料的移動(dòng)表面的圖像序列，其中使用包括相機(jī)和遠(yuǎn)心透鏡的靜止成像傳感器來捕獲圖像序列，所述遠(yuǎn)心透鏡具有相對(duì)于表面坐標(biāo)系的x-y平面以非零視角對(duì)準(zhǔn)的焦平面；(b)確定圖像序列中的最后圖像中的每個(gè)像素的聚焦銳度值；(c)計(jì)算表面坐標(biāo)系中的y坐標(biāo)，焦平面與y軸在y坐標(biāo)處相交；(d)基于最后圖像中的表面的表觀移位來確定表面上的過渡點(diǎn)，其中過渡點(diǎn)在最后圖像中已離開透鏡的視野，但在最后圖像之前的序列中的圖像中處于透鏡的視野中；(e)確定表面上的所有過渡點(diǎn)在相機(jī)坐標(biāo)系中的三維位置；(f)對(duì)于由成像傳感器采集的每個(gè)新圖像重復(fù)步驟(a)至(e);以及(g)累積來自序列中的圖像的過渡點(diǎn)在相機(jī)坐標(biāo)系中的三維位置以形成代表平移表面的點(diǎn)云。
[0020]本發(fā)明的一個(gè)或多個(gè)實(shí)施例的細(xì)節(jié)在附圖和以下【具體實(shí)施方式】中說明。通過【具體實(shí)施方式】和附圖以及權(quán)利要求書，本發(fā)明的其他特征、目標(biāo)和優(yōu)點(diǎn)將顯而易見。

【專利附圖】

【附圖說明】
[0021]圖1為光學(xué)檢測(cè)設(shè)備的示意圖。
[0022]圖2為示出使用圖1的設(shè)備來確定表面的結(jié)構(gòu)的方法的流程圖。
[0023]圖3為示出使用圖1的設(shè)備來確定表面的結(jié)構(gòu)的另一個(gè)方法的流程圖。
[0024]圖4為示出用于處理從圖3獲得的點(diǎn)云以產(chǎn)生表面的圖的方法的流程圖。
[0025]圖5為示例性幅材制造廠中的檢測(cè)系統(tǒng)的示例性實(shí)施例的示意性框圖。
[0026]圖6為通過實(shí)例I中的光學(xué)檢測(cè)設(shè)備獲得的三個(gè)圖像的照片。
[0027]圖7A-7C為通過實(shí)例I中的光學(xué)檢測(cè)設(shè)備確定的樣本的表面的三個(gè)不同視圖。
[0028]圖8A-C分別為如實(shí)例3所述的使用圖1的設(shè)備分別在22.3。,38.1。和46.5。的視角Θ下形成的表面重建圖。
[0029]圖9A-C分別為如實(shí)例3所述的使用圖1的設(shè)備分別在22.3。,38.1。和46.5。的視角Θ下形成的表面重建圖。

【具體實(shí)施方式】
[0030]現(xiàn)有的表面檢測(cè)系統(tǒng)還不能提供有關(guān)表面的3D表面結(jié)構(gòu)的可用在線信息，這是因?yàn)槠涫艿椒直媛?、速度、或視野方面的限制。本公開涉及包括靜止傳感器的在線檢測(cè)系統(tǒng)，并且與DFF系統(tǒng)不同，不需要傳感器的成像透鏡的焦平面的平移。相反，描述于本公開中的系統(tǒng)利用表面的平移運(yùn)動(dòng)來使表面上的點(diǎn)自動(dòng)地穿過各個(gè)焦平面以快速地提供表面的3D模型，并且由此可用于在線檢測(cè)應(yīng)用，其中當(dāng)在生產(chǎn)線上處理幅材材料時(shí)對(duì)其進(jìn)行連續(xù)地監(jiān)測(cè)。
[0031]圖1為用于對(duì)材料12的表面14進(jìn)行成像的傳感器系統(tǒng)10的示意圖。相對(duì)于至少一個(gè)成像傳感器系統(tǒng)18來平移表面14。使用成像傳感器系統(tǒng)18 (其在圖1中為靜止的)來對(duì)表面14進(jìn)行成像，但在其他實(shí)施例中，傳感器系統(tǒng)18可處于運(yùn)動(dòng)狀態(tài)而表面14保持靜止。為了進(jìn)一步闡明下面的論述，假設(shè)成像傳感器系統(tǒng)18和表面14的相對(duì)運(yùn)動(dòng)還在彼此之間的相對(duì)運(yùn)動(dòng)中產(chǎn)生兩個(gè)坐標(biāo)系。例如，如圖1所示，成像傳感器系統(tǒng)18可相對(duì)于相機(jī)坐標(biāo)系來進(jìn)行描述，其中z方向z。與CCD或CMOS相機(jī)22的透鏡20的光軸對(duì)準(zhǔn)。再次參見圖1，表面14可相對(duì)于表面坐標(biāo)系來進(jìn)行描述,其中軸Zs為高出表面的高度。
[0032]在圖1所示的實(shí)施例中，表面14在沿方向73的箭頭A的方向上以已知的速度移向成像傳感器系統(tǒng)18，并且包括具有三維(3D)結(jié)構(gòu)的多個(gè)特征16(沿著％方向延伸)。然而，在其他實(shí)施例中，表面14可以已知的速度移動(dòng)遠(yuǎn)離成像傳感器系統(tǒng)18。表面14相對(duì)于成像傳感器系統(tǒng)18的平移方向、或者成像傳感器18相對(duì)于表面14的數(shù)量和/或位置可根據(jù)需要進(jìn)行改變，以使得成像傳感器系統(tǒng)18可獲得表面14的區(qū)域或特征16的特定部分的較完整視圖。成像傳感器系統(tǒng)18包括透鏡系統(tǒng)20和包括在例如CCD或CMOS相機(jī)22中的傳感器。至少一個(gè)任選的光源32可用于照亮表面14。
[0033]透鏡20具有相對(duì)于表面14的表面坐標(biāo)系的x-y平面以非零角度Θ對(duì)準(zhǔn)的焦平面24。透鏡焦平面和表面坐標(biāo)系的x-y平面之間的視角Θ可根據(jù)有待通過系統(tǒng)10分析的表面14和特征16的特性來進(jìn)行選擇。在一些實(shí)施例中，Θ為小于90°的銳角，假設(shè)出如圖1所示的布置方式，其中平移表面14朝成像傳感器系統(tǒng)18移動(dòng)。在其中表面14朝成像傳感器系統(tǒng)18移動(dòng)的其他實(shí)施例中，視角Θ為約20°至約60°，并且約40°的角度已被發(fā)現(xiàn)為可用的。在一些實(shí)施例中，當(dāng)對(duì)表面14進(jìn)行成像時(shí)，可周期性或不斷地改變視角Θ，以提供特征16的較均勻和/或較完整的視圖。
[0034]透鏡系統(tǒng)20可根據(jù)設(shè)備10的預(yù)期應(yīng)用而包括多種透鏡，但遠(yuǎn)心透鏡已被發(fā)現(xiàn)為尤其可用的。在本專利申請(qǐng)中，術(shù)語(yǔ)遠(yuǎn)心透鏡是指接近正交投影的任何透鏡或透鏡系統(tǒng)。遠(yuǎn)心透鏡提供不隨著距透鏡的距離而變化的放大倍數(shù)。距遠(yuǎn)心透鏡過近或過遠(yuǎn)的物體可為失焦的，但所得的模糊圖像將與正確聚焦的圖像具有同樣的尺寸。
[0035]傳感器系統(tǒng)10包括可在內(nèi)部、外部、或遠(yuǎn)離成像傳感器系統(tǒng)18的處理器30。處理器30分析移動(dòng)表面14的一系列圖像，所述圖像是通過成像傳感器系統(tǒng)18獲得的。
[0036]處理器30首先配準(zhǔn)由成像傳感器系統(tǒng)18獲得的序列中的一系列圖像。這種圖像配準(zhǔn)被計(jì)算以使對(duì)應(yīng)于表面14上的同一物理點(diǎn)的一系列圖像中的點(diǎn)對(duì)準(zhǔn)。如果系統(tǒng)10所使用的透鏡20為遠(yuǎn)心的，則由成像傳感器系統(tǒng)18收集的圖像的放大倍數(shù)不隨著距透鏡的距離而變化。因此，由成像傳感器系統(tǒng)18獲得的圖像可通過使一個(gè)圖像相對(duì)于另一個(gè)圖像平移來進(jìn)行配準(zhǔn)，并且不需要縮放或其他幾何變形。盡管非遠(yuǎn)心透鏡20可用于成像傳感器系統(tǒng)18中，但此類透鏡可使得圖像配準(zhǔn)較困難和較復(fù)雜，并且需要處理器30的更多處理能力。
[0037]為使圖像與序列中的另一個(gè)圖像配準(zhǔn)而必須平移該圖像的量取決于圖像之間的表面14的平移。如果表面14的平移速度為已知的，則由成像傳感器系統(tǒng)18獲得的表面14樣本從一個(gè)圖像到下一個(gè)圖像的運(yùn)動(dòng)也為已知的，并且處理器30僅需確定圖像應(yīng)在表面14的每單位運(yùn)動(dòng)上平移的數(shù)量和方向。由處理器30作出的這種確定取決于例如成像傳感器系統(tǒng)18的特性、透鏡20的焦點(diǎn)、焦平面24相對(duì)于表面坐標(biāo)系的x-y平面的視角Θ和相機(jī)22的旋轉(zhuǎn)(如果有的話)。
[0038]假設(shè)兩個(gè)參數(shù)Dx和Dy，其給出圖像在物理表面14的每單位運(yùn)動(dòng)上沿X方向和y方向的平移。量Dj^P Dy的單位為像素/毫米。如果兩個(gè)圖像Itl(x，y)和It2(x，y)分別在時(shí)間h和t2獲得，并且處理器30提供有樣本表面14從h到t2移動(dòng)的距離d，則這些圖像應(yīng)通過根據(jù)下述公式平移It2 U，y)來進(jìn)行配準(zhǔn):
[0039]I,., (,I；, y) = 11、(；?； — dDx.y — d D υ)。
[0040]還可通過校準(zhǔn)程序來離線地估計(jì)縮放系數(shù)Dx和Dy。當(dāng)特征性的關(guān)鍵點(diǎn)平移穿過由成像傳感器系統(tǒng)18獲得的圖像序列時(shí)，處理器30自動(dòng)地選擇和跟蹤圖像序列中的特征性的關(guān)鍵點(diǎn)。然后處理器使用此信息來計(jì)算特征點(diǎn)在表面14的物理樣本的每單位平移上的預(yù)期位移(以像素為單位)。處理器可使用標(biāo)準(zhǔn)化的模板匹配算法來執(zhí)行跟蹤。
[0041]一旦表面14的所有圖像已得到對(duì)準(zhǔn)，處理器30隨后就沿著垂直于透鏡20的焦平面的方向z。來將配準(zhǔn)的圖像序列堆疊在一起以形成體。此體中的每個(gè)層為序列中的圖像，所述圖像如在配準(zhǔn)中所計(jì)算的在沿X方向和y方向偏移。由于在采集序列中的每個(gè)圖像時(shí)已知表面14的相對(duì)位置，則體中的每個(gè)層代表表面14沿焦平面24的快照，因?yàn)榻蛊矫娲藭r(shí)在特定位移位置處以角度Θ切過樣本14(參見圖1)。
[0042]一旦圖像序列已得到對(duì)準(zhǔn)，處理器30隨后就計(jì)算體中的每個(gè)(X，y)位置處的聚焦銳度，其中(x，y)位置的平面垂直于體中的z。方向。體中不包括圖像數(shù)據(jù)的位置被忽略不計(jì)，因?yàn)樗鼈兛杀灰暈榫哂辛沅J度。處理器30使用銳度尺度來確定聚焦銳度。若干合適的銳度尺度在 Nayar 和 Nakagawa 的 Shape from Focus, IEEE Transact1ns on PatternRecognit1n and Machine Intelligence, vol.16, n0.8, pages 824-831 (1994)( “來自聚焦的形狀”，《IEEE模式識(shí)別和機(jī)器智能匯刊》，第16卷，第8期，第824-831頁(yè)(1994年))中有所描述。
[0043]例如,可應(yīng)用改進(jìn)的拉普拉斯(Laplacian)銳度尺度來計(jì)算序列中的所有圖像的每個(gè)像素處的量
12II 12I
[0044]Ψλ// = ^ + hj-j
[0045]可使用有限差分來計(jì)算偏導(dǎo)數(shù)。此尺度內(nèi)在的客觀事實(shí)為其可被視為邊緣檢測(cè)器---顯而易見的是，銳聚焦區(qū)域?qū)⒕哂斜仁Ы箙^(qū)域更清晰的邊緣。在計(jì)算此尺度之后，可使用中值濾波器來聚集局部地圍繞圖像序列中的每個(gè)像素的結(jié)果。
[0046]—旦處理器30已計(jì)算出序列中的所有圖像的聚焦銳度值，處理器30就計(jì)算聚焦銳度體，這類似于與先前步驟中通過沿z。方向堆疊配準(zhǔn)圖像形成的體。為了形成聚焦銳度體，處理器將配準(zhǔn)圖像體中的每個(gè)(x，y)像素值替換成此像素的對(duì)應(yīng)聚焦銳度測(cè)量值。此配準(zhǔn)疊堆中的每個(gè)層(對(duì)應(yīng)于平面Xc;_y。中的x-y平面)現(xiàn)在為“聚焦銳度”圖像，其中各個(gè)層如前所述進(jìn)行配準(zhǔn)，使得對(duì)應(yīng)于表面14上的相同物理位置的圖像位置得以對(duì)準(zhǔn)。由此，如果選定體中的一個(gè)位置(X，y)，由于在z。方向上移動(dòng)穿過不同層來觀察聚焦銳度值，則聚焦銳度當(dāng)在此位置進(jìn)行成像的點(diǎn)聚焦時(shí)(即，當(dāng)其與相機(jī)22的焦平面24相交時(shí))達(dá)到最大值，并且銳度值將隨著沿z。軸的任一方向遠(yuǎn)離該層而降低。
[0047]聚焦銳度體中的每個(gè)層(對(duì)應(yīng)于X-y平面)對(duì)應(yīng)于在焦平面24的位置穿過表面14的一個(gè)切片，使得當(dāng)樣本14沿著方向A移動(dòng)時(shí)，收集到位于沿其表面的不同位置處的穿過表面14的各個(gè)切片。由此，由于聚焦銳度體中的每個(gè)圖像對(duì)應(yīng)于在不同相對(duì)位置穿過表面14的物理切片，則理想的是，使點(diǎn)(x，y)實(shí)現(xiàn)最銳聚焦的切片確定相應(yīng)點(diǎn)在樣本上的三維(3D)位置。然而，在實(shí)施過程中，聚焦銳度體包括離散切片組，所述離散切片可并非沿著表面14密集或均勻間隔開。因此最有可能的是，最大聚焦的實(shí)際(理論)深度(聚焦銳度最大化的深度)將出現(xiàn)在切片之間。
[0048]處理器30隨后通過使用穿過該點(diǎn)的最銳聚焦近似計(jì)算切片在聚焦銳度體中的理論位置來估計(jì)
[0049]表面14上的每個(gè)點(diǎn)的3D位置。
[0050]在一個(gè)實(shí)施例中，處理器通過對(duì)穿過聚焦銳度體中的切片深度z。的每個(gè)位置(X, Y)處的測(cè)得聚焦銳度值進(jìn)行高斯(Gaussian)曲線擬合來近似計(jì)算最銳聚焦的這種理論位置。用于聚焦銳度值的模型作為切片深度z。的函數(shù)給定如下:
[0051]/(.,.,(,)(■-) = (----)
[0052]其中Zm為體中的位置(x，y)的最大聚焦的理論深度，并且σ為至少部分地源自成像透鏡的視野深度的高斯函數(shù)標(biāo)準(zhǔn)差(參見圖1中透鏡20)?？赏ㄟ^將簡(jiǎn)單的最小二乘法價(jià)值函數(shù)最小化來實(shí)現(xiàn)這種曲線擬合。
[0053]在另一個(gè)實(shí)施例中，如果高斯算法對(duì)于特定應(yīng)用而言具有過度消耗的計(jì)算量或者為耗時(shí)的，則可使用較快速地執(zhí)行而不顯著犧牲計(jì)算精度的近似算法?？蓪?duì)每個(gè)位置U，y)處的銳度分布樣本進(jìn)行二次函數(shù)擬合，但其中僅使用具有最大銳度值的位置附近的樣本。因此，對(duì)于表面上的每個(gè)點(diǎn)而言，首先發(fā)現(xiàn)具有最高銳度值的深度，并且在此深度的任一側(cè)選擇一些樣本。使用可以封閉形式求解的標(biāo)準(zhǔn)最小二乘法公式來對(duì)這些樣本進(jìn)行二次函數(shù)擬合。在極少情況下，如果數(shù)據(jù)中存在噪聲，則二次函數(shù)中的拋物線可開口向上在這種情況下，丟棄擬合的結(jié)果，并且作為替代僅使用最大銳度樣本的深度。否則，將深度當(dāng)作二次函數(shù)的理論最大值的位置，所述位置通?？晌挥陔x散樣本中的兩者之間。
[0054]一旦針對(duì)體中的每個(gè)位置(x，y)近似計(jì)算出最大聚焦的理論深度zm，處理器30就估計(jì)樣本的表面上的每個(gè)點(diǎn)的3D位置。然后使用標(biāo)準(zhǔn)的三角形網(wǎng)格算法來將這種點(diǎn)云轉(zhuǎn)換成表面14的表面模型。
[0055]圖2為示出操作圖1的設(shè)備以表征材料12的表面14的樣本區(qū)域中的表面的批處理方法200的流程圖。在步驟202中，使用傳感器來對(duì)平移表面進(jìn)行成像，所述傳感器包括具有相對(duì)于表面的平面以非零角度對(duì)準(zhǔn)的焦平面的透鏡。在步驟204中，處理器配準(zhǔn)表面的圖像序列，同時(shí)在步驟206中，沿著z。方向來堆疊配準(zhǔn)的圖像以形成體。在步驟208中，處理器確定體中的每個(gè)(x，y)位置的聚焦銳度值，其中(x，y)位置位于與z。方向垂直的平面中。在步驟210中，處理器使用聚焦銳度值來確定體中的每個(gè)(x，y)位置沿z。方向的最大聚焦深度zm。在步驟212中，處理器基于最大聚焦深度Zm來確定表面上的每個(gè)點(diǎn)的三維位置。在任選的步驟214中，處理器可基于三維位置來形成表面的三維模型。
[0056]在圖2所述的整個(gè)工序中，處理器30工作在批處理模式下，這意味著所有的圖像在由成像傳感器系統(tǒng)18采集之后一起來進(jìn)行處理。然而，在其他實(shí)施例中，由成像傳感器系統(tǒng)18獲得的圖像數(shù)據(jù)可在這些數(shù)據(jù)變?yōu)榭捎脮r(shí)進(jìn)行增量處理。如在下面的圖3中進(jìn)一步所示，增量處理方法采用以兩個(gè)階段進(jìn)行的算法。首先，執(zhí)行在線處理階段，當(dāng)表面14平移和連續(xù)地采集新圖像時(shí)，處理器30估計(jì)表面14上的點(diǎn)在進(jìn)行成像時(shí)的3D位置。來自此在線處理的結(jié)果為代表樣本材料12的表面14的一組3D點(diǎn)(S卩，點(diǎn)云)。然后，執(zhí)行離線處理階段，(在已采集所有圖像并且估計(jì)3D位置之后)，對(duì)這種點(diǎn)云進(jìn)行后處理(圖4)以在適當(dāng)?shù)淖鴺?biāo)系中產(chǎn)生平滑范圍圖。
[0057]參見圖3中的方法500，當(dāng)表面14相對(duì)于成像傳感器系統(tǒng)18平移時(shí)，由成像傳感器系統(tǒng)18采集圖像序列。每當(dāng)在序列中采集新圖像時(shí)，在步驟502中處理器30就使用適當(dāng)?shù)乃惴?例如，在上述的批處理方法中詳細(xì)描述的改進(jìn)的拉普拉斯銳度尺度)來近似計(jì)算新采集圖像中的每個(gè)像素的聚焦銳度。隨后在步驟504中，處理器30計(jì)算表面坐標(biāo)系中的I坐標(biāo)，焦平面24與y軸在I坐標(biāo)處相交。在步驟506中，基于序列中的最后圖像的表面的表觀位移，處理器找到表面14上的過渡點(diǎn)，所述過渡點(diǎn)剛已離開透鏡20的視野，但在序列中的前一圖像的視野中。隨后在步驟508中，處理器估計(jì)所有此類過渡點(diǎn)的3D位置。每當(dāng)在序列中接收新圖像時(shí)，處理器就重復(fù)估計(jì)過渡點(diǎn)的3D位置，然后累積這些3D位置以形成表征表面14的點(diǎn)云。
[0058]盡管圖3中的步驟是按順序來描述的，但為了增加效率，也可作為多線程系統(tǒng)來實(shí)現(xiàn)增量處理方法。例如，步驟502可在一個(gè)線程中來執(zhí)行，而步驟504-508在另一個(gè)線程中來進(jìn)行。在步驟510中，按照?qǐng)D4所述的方式來進(jìn)一步地處理點(diǎn)云以形成表面14的范圍圖。
[0059]參見圖4中的方法550，在步驟552中，處理器30通過平行于相機(jī)20的成像平面24對(duì)矩形網(wǎng)格上的點(diǎn)云中的點(diǎn)進(jìn)行重取樣來形成第一范圍圖。在步驟554中，處理器任選地檢測(cè)并且抑制第一范圍圖中的異常值。在步驟556中，處理器執(zhí)行任選的附加去噪步驟以除去重建表面的圖中的噪聲。在步驟558中，旋轉(zhuǎn)重建的表面并且將其提供在表面坐標(biāo)系上,其中X-Y平面xs_ys與表面14的運(yùn)動(dòng)平面對(duì)準(zhǔn),且表面坐標(biāo)系中的zs軸垂直于表面14。在步驟560中，處理器在表面坐標(biāo)系中的網(wǎng)格上進(jìn)行插值和重取樣以形成第二范圍圖。在此第二范圍圖中，對(duì)于表面上的每個(gè)(x，y)位置而言，X軸(Xs)垂直于方向A(圖1)并且Y軸(ys)平行于方向A，Z坐標(biāo)(Zs)給定特征16在表面14上的表面高度。
[0060]例如，本文所述的表面分析方法和設(shè)備尤其適于但不限于檢測(cè)和表征樣本材料12 (其包括零件，例如特征16(圖1))的幅材狀卷的結(jié)構(gòu)化表面14。一般來講，幅材卷可包括制造的幅材材料，所述幅材材料可為在一個(gè)方向上(大體垂直于圖1中的方向A的橫維方向)具有固定尺寸并且在正交方向上(大體平行于圖1中的方向A的順維方向)具有預(yù)定的或不確定的長(zhǎng)度的任何片狀材料。例子包括但不限于具有紋理化的、不透明的表面的材料，例如，金屬、紙材、織造材料、非織造材料、玻璃、磨料、柔性電路、或它們的組合。在一些實(shí)施例中，圖1的設(shè)備可用于一個(gè)或多個(gè)檢測(cè)系統(tǒng)中以檢測(cè)和表征制造過程中的幅材材料。為了生產(chǎn)準(zhǔn)備轉(zhuǎn)換成用于組裝到產(chǎn)品中的各片材的成品幅材卷，可在多條生產(chǎn)線上加工非成品幅材卷，這些生產(chǎn)線可在一個(gè)幅材制造廠內(nèi)，也可在多個(gè)制造廠內(nèi)。對(duì)于每個(gè)加工過程，幅材卷用作原料卷，幅材從原料卷送入制造工藝中。在每個(gè)加工過程之后，可將幅材轉(zhuǎn)換成片材或零件，或者再次收集到幅材卷內(nèi)并且移向不同的生產(chǎn)線或運(yùn)送到不同的制造廠，隨后在此處進(jìn)行展開、處理、并且再次收集成卷。重復(fù)這種過程直至最終生產(chǎn)出成品片材、零件或幅材卷。對(duì)于許多應(yīng)用而言，用于片材、零件或幅材卷中的每一個(gè)的幅材材料可具有多個(gè)涂層，所述涂層是在一個(gè)或多個(gè)幅材制造廠的一條或多條生產(chǎn)線處涂覆的。就第一制備工藝而言，涂層通常涂覆至基礎(chǔ)幅材材料的暴露表面，或者就后續(xù)制備工藝而言，涂層通常涂覆至先前涂覆的涂層。涂層的例子包括粘合劑、硬涂層、低粘附力背面涂層、金屬化涂層、中密度涂層、導(dǎo)電或不導(dǎo)電涂層，或者它們的組合。
[0061]在圖5所示的檢測(cè)系統(tǒng)300的示例性實(shí)施例中，幅材312的樣本區(qū)域定位在兩個(gè)支撐輥323、325之間。檢測(cè)系統(tǒng)300包括基準(zhǔn)標(biāo)記控制器301，所述基準(zhǔn)標(biāo)記控制器301控制基準(zhǔn)標(biāo)記閱讀器302從樣本區(qū)域312收集卷和位置信息。此外，基準(zhǔn)標(biāo)記控制器301可接收來自一個(gè)或多個(gè)高精度編碼器的位置信號(hào)，所述一個(gè)或多個(gè)高精度編碼器與幅材312的選定樣本區(qū)域和/或支承輥323、325接合?；谶@些位置信號(hào)，基準(zhǔn)標(biāo)記控制器301確定每一個(gè)檢測(cè)到的基準(zhǔn)標(biāo)記的位置信息?；鶞?zhǔn)標(biāo)記控制器301將卷和位置信息傳輸?shù)椒治鲇?jì)算機(jī)329以便與有關(guān)幅材312的表面314上的特征尺寸的檢測(cè)數(shù)據(jù)相關(guān)聯(lián)。
[0062]系統(tǒng)300還包括一個(gè)或多個(gè)靜止傳感器系統(tǒng)318A-318N，所述一個(gè)或多個(gè)靜止傳感器系統(tǒng)318A-318N各自包括任選的光源332和具有相對(duì)于移動(dòng)幅材312的表面314以銳角對(duì)準(zhǔn)的焦平面的遠(yuǎn)心透鏡320。在幅材被加工時(shí)，傳感器系統(tǒng)318靠近連續(xù)移動(dòng)幅材312的表面314定位，并且掃描幅材312的表面314以獲取數(shù)字圖像數(shù)據(jù)。
[0063]圖像數(shù)據(jù)捕獲計(jì)算機(jī)327從傳感器系統(tǒng)318中的每一個(gè)來收集圖像數(shù)據(jù)，并且將圖像數(shù)據(jù)傳輸?shù)椒治鲇?jì)算機(jī)329。分析計(jì)算機(jī)329處理來自圖像捕獲計(jì)算機(jī)327的圖像數(shù)據(jù)流，并且使用上文所述的批處理或增量圖像處理算法中的一個(gè)或多個(gè)來分析數(shù)字圖像。分析計(jì)算機(jī)329可將結(jié)果顯示在適當(dāng)?shù)挠脩艚缑嫔虾?或可將結(jié)果存儲(chǔ)在數(shù)據(jù)庫(kù)331中。
[0064]圖5中所示的檢測(cè)系統(tǒng)300可用于幅材制造廠內(nèi)以測(cè)量幅材表面314的3D特征并且識(shí)別可能有缺陷的材料。一旦表面的3D結(jié)構(gòu)得到估計(jì)，檢測(cè)系統(tǒng)300就可提供多種類型的可用信息，例如，幅材表面314上的特征的位置、形狀、高度、保真度等等。檢測(cè)系統(tǒng)300還可提供輸出數(shù)據(jù)，所述輸出數(shù)據(jù)在制造幅材時(shí)實(shí)時(shí)地指示這些表面特征中的任何一個(gè)的缺陷的嚴(yán)重性。例如，計(jì)算機(jī)化檢測(cè)系統(tǒng)可向幅材制造廠內(nèi)的用戶(例如，生產(chǎn)工程師)提供有關(guān)幅材表面314中所存在的結(jié)構(gòu)化缺陷、異常、或不合規(guī)格材料(在下文中通稱為缺陷)及其嚴(yán)重性的實(shí)時(shí)反饋，從而允許用戶通過調(diào)整生產(chǎn)條件對(duì)于出現(xiàn)在特定材料批次或一系列批次中的缺陷來作出快速地響應(yīng)以解決問題，由此不會(huì)明顯地延遲生產(chǎn)或生產(chǎn)大量的不可用材料。計(jì)算機(jī)化檢測(cè)系統(tǒng)300可應(yīng)用算法來計(jì)算嚴(yán)重級(jí)別，方法是最終指定缺陷的等級(jí)標(biāo)簽(如，“好”或“壞”)，或以連續(xù)比例或更精確采樣的比例生成給定樣本不均勻度嚴(yán)重性的量度。
[0065]分析計(jì)算機(jī)329可存儲(chǔ)缺陷等級(jí)或有關(guān)幅材314的樣本區(qū)域的表面特征的其他信息，所述信息包括數(shù)據(jù)庫(kù)331內(nèi)的幅材314的卷識(shí)別信息和每個(gè)測(cè)得特征的可能位置信息。例如，分析計(jì)算機(jī)329可利用由基準(zhǔn)標(biāo)記控制器301生成的位置數(shù)據(jù)，來確定包括缺陷的每個(gè)測(cè)得區(qū)域在生產(chǎn)線坐標(biāo)系內(nèi)的空間位置或圖像區(qū)域。即，基于來自基準(zhǔn)標(biāo)記控制器301的位置數(shù)據(jù)，分析計(jì)算機(jī)329確定每個(gè)非均勻性區(qū)域在當(dāng)前生產(chǎn)線所用的坐標(biāo)系內(nèi)的xs、ys和可能的zs位置或范圍。例如，可定義坐標(biāo)系，使得X維度(Xs)表示幅材312的橫向距離，y維度(ys)表示幅材的縱向距離，并且z維度(Zs)表示幅材的高度，所述高度取決于涂層的數(shù)量、材料或此前涂覆到幅材的其他層。此外，可以限定x、y、z坐標(biāo)系在生產(chǎn)線內(nèi)物理位置處的原點(diǎn)，其通常與幅材312的初始進(jìn)料位置相關(guān)。
[0066]數(shù)據(jù)庫(kù)331可以許多不同形式中的任一種形式實(shí)現(xiàn)，包括數(shù)據(jù)存儲(chǔ)文件或在一個(gè)或多個(gè)數(shù)據(jù)庫(kù)服務(wù)器上實(shí)現(xiàn)的一個(gè)或多個(gè)數(shù)據(jù)庫(kù)管理系統(tǒng)(DBMS)。數(shù)據(jù)庫(kù)管理系統(tǒng)可以是例如關(guān)系(RDBMS)、分層(HDBMS)、多維(MDBMS)、面向?qū)ο?ODBMS或OODBMS)或?qū)ο箨P(guān)系(ORDBMS)數(shù)據(jù)庫(kù)管理系統(tǒng)。作為一個(gè)例子，數(shù)據(jù)庫(kù)331可以被實(shí)現(xiàn)為關(guān)系數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)可在華盛頓雷德蒙微軟公司(Microsoft Corporat1n, Redmond, WA)的商業(yè)名稱為SQL的服務(wù)器下找到。
[0067]一旦該過程結(jié)束，分析計(jì)算機(jī)329就可將收集在數(shù)據(jù)庫(kù)331中的數(shù)據(jù)通過網(wǎng)絡(luò)339傳輸至轉(zhuǎn)換控制系統(tǒng)340。例如，分析計(jì)算機(jī)329可將卷信息以及結(jié)構(gòu)尺寸和/或異常信息以及每個(gè)結(jié)構(gòu)的相應(yīng)子圖像發(fā)送到轉(zhuǎn)換控制系統(tǒng)340，用于后續(xù)的離線詳細(xì)分析。例如，結(jié)構(gòu)尺寸信息可通過數(shù)據(jù)庫(kù)331與轉(zhuǎn)換控制系統(tǒng)340之間的數(shù)據(jù)庫(kù)同步方式發(fā)送。
[0068]在一些實(shí)施例中，轉(zhuǎn)換控制系統(tǒng)340，而非分析計(jì)算機(jī)329，可確定每一個(gè)異常可在產(chǎn)品中引起缺陷的那些產(chǎn)品。一旦將成品幅材卷的數(shù)據(jù)收集在數(shù)據(jù)庫(kù)331中，就可將所述數(shù)據(jù)發(fā)送至轉(zhuǎn)換站點(diǎn)和/或使用所述數(shù)據(jù)標(biāo)記幅材卷上的異常，標(biāo)記方式為以可移除或可擦洗標(biāo)記直接在幅材表面上進(jìn)行標(biāo)記或者在覆蓋片材上進(jìn)行標(biāo)記，所述覆蓋片材可在幅材上進(jìn)行異常標(biāo)注之前或期間被施加至幅材。
[0069]分析計(jì)算機(jī)329的組件可以至少部分地實(shí)現(xiàn)為由分析計(jì)算機(jī)329的一個(gè)或多個(gè)處理器執(zhí)行的軟件指令，所述處理器包括一個(gè)或多個(gè)硬件微處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)、或任何其它等同的集成或離散邏輯電路、以及此類組件的任何組合?？梢詫④浖噶畋４嬖诜撬矔r(shí)性計(jì)算機(jī)可讀介質(zhì)中，例如隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、可編程只讀存儲(chǔ)器(PROM)、可擦可編程只讀存儲(chǔ)器(EPROM)、電可擦可編程只讀存儲(chǔ)器(EEPROM)、閃存、硬盤、CD-ROM、軟盤、盒式磁帶、磁性介質(zhì)、光學(xué)介質(zhì)、或其它計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
[0070]雖然出于示例性目的顯示為設(shè)置在制造廠內(nèi)部，但分析計(jì)算機(jī)329可以在制造廠外部，如在中央位置或在轉(zhuǎn)換站點(diǎn)處。例如，分析計(jì)算機(jī)329可以在轉(zhuǎn)換控制系統(tǒng)340內(nèi)部運(yùn)行。又如，所述組件在單個(gè)計(jì)算平臺(tái)上執(zhí)行并且可以集成到同一個(gè)軟件系統(tǒng)中。
[0071]現(xiàn)在參考以下非限制性例子描述本公開的主題。
[0072]SM
[0073]實(shí)例I
[0074]根據(jù)圖1中的示意圖來構(gòu)造設(shè)備。將包括遠(yuǎn)心透鏡的CXD相機(jī)對(duì)準(zhǔn)可移動(dòng)塔板上的樣本磨料。遠(yuǎn)心透鏡的焦平面相對(duì)于樣本材料的表面坐標(biāo)系中的x-y平面取向成約40°的視角(圖1中的Θ )。將樣本材料在塔板上以約300 μ m的增量水平地平移，并且在每個(gè)增量處利用相機(jī)來捕獲圖像。圖6示出了當(dāng)樣本材料經(jīng)由一系列300μπι增量進(jìn)行移動(dòng)時(shí)由相機(jī)拍攝的樣本材料的表面的三個(gè)圖像。
[0075]與分析計(jì)算機(jī)相關(guān)聯(lián)的處理器分析由相機(jī)采集的樣本表面的圖像。處理器配準(zhǔn)圖像序列，沿著ζ。方向堆疊配準(zhǔn)的圖像以形成體，并且使用上文所述的改進(jìn)的拉普拉斯聚焦銳度尺度來確定體中的每個(gè)(x，y)位置的聚焦銳度值。使用聚焦銳度值，處理器計(jì)算體中的每個(gè)(X，y)位置沿z。方向的最大聚焦深度Zm，并且基于最大聚焦深度Zm來確定樣本的表面上的每個(gè)點(diǎn)的三維位置。計(jì)算機(jī)基于三維位置來形成圖6的表面的三維模型，所述三維模型以三個(gè)不同的視角示于圖7A-7C中。
[0076]圖7A-7C所示的圖像中的重建表面為實(shí)際的和精確的，并且可從此表面計(jì)算出多個(gè)感興趣量，例如就諸如磨料之類的幅材材料而言的特征銳度、尺寸和取向。然而，圖7C示出在重建表面中存在若干間隙或小孔。這些小孔為樣本成像方式的結(jié)果。如圖1中示意性所示，樣本上的高特征的背側(cè)表面的部分(在這種情況下，磨料上的磨粒)可因相對(duì)較低的視角而永遠(yuǎn)不能被相機(jī)觀察到。可通過同時(shí)使用兩個(gè)相機(jī)從不同角度觀察樣本來潛在地減輕這種數(shù)據(jù)缺失。
[0077]實(shí)例2
[0078]通過描述于本公開中的增量方法來掃描若干磨料樣本。另外通過采用共焦傳感器的離線激光輪廓曲線儀來掃描樣本。然后由來自不同方法的數(shù)據(jù)集來重建每個(gè)樣本的兩個(gè)表面輪廓，并且通過如方式來比較結(jié)果:使用描述于Chen和Med1ni的Object Modelingby Registrat1n of Multiple Range Images, Proceedings of the IEEE Internat1nalConference on Robotics and Automat1n, 1991 ( “通過多范圍圖像的配準(zhǔn)的物體建?！保禝EEE機(jī)器人和自動(dòng)化國(guó)際會(huì)議論文集》，1991年)中的迭代最近點(diǎn)(ICP)匹配算法配準(zhǔn)兩個(gè)重建結(jié)果。然后比較樣本上的每個(gè)位置(x，y)的表面高度估計(jì)值z(mì)s。使用具有放大倍數(shù)2的透鏡，樣本I顯示12 μ m的中間范圍殘值，而樣本2顯示具有9 μ m的中間范圍殘值。甚至在使用不精確配準(zhǔn)的情況下，來自上文所述的增量處理技術(shù)的掃描也能相對(duì)緊密地匹配由離線激光輪廓曲線儀捕捉的掃描。
[0079]實(shí)例3
[0080]在此實(shí)例中，通過重建8個(gè)不同樣本(具有不同類型)來評(píng)價(jià)相機(jī)入射角Θ (圖1)對(duì)重建的相機(jī)3D表面的影響，其中每個(gè)樣本來自三個(gè)不同的視角:Θ =22:3° ;38:1° ；以及46:5° (樣本的表面正在移向相機(jī),如圖1所不)。兩個(gè)不同表面在由這些不同視角22:3°、38:1°和46:5°的3D重建的實(shí)例分別示于圖8A-8C和圖9A-9C中。基于這些結(jié)果、以及其他樣本(未在圖8-9中示出)的重建，可作出一些定性觀察。
[0081]首先，在估計(jì)的表面中，使用較小視角重建的表面顯示具有較大的洞。這在高峰值后面為尤其明顯的，如圖9A所示。這是能夠預(yù)期到的，因?yàn)楫?dāng)Θ較小時(shí)這些峰值后面的多個(gè)表面對(duì)相機(jī)不可見。結(jié)果在于整體表面重建不如較高視角情況下完整。
[0082]第二，還可觀察到，盡管較大視角(例如，在圖SC和9C中)產(chǎn)生較完整的重建，但它們也導(dǎo)致表面估計(jì)中的較高噪聲水平。這在表面上的陡峭豎直邊緣上更明顯。這最可能是由于，因?yàn)橐暯歉幼皂斚蛳拢诙盖拓Q直邊緣上具有較少的目標(biāo)像素，由此可增加對(duì)噪聲的敏感度。
[0083]基于這些觀察結(jié)果、以及此實(shí)驗(yàn)的全部結(jié)果的主觀視覺檢測(cè)，看起中等視角(38:1° )產(chǎn)生此實(shí)例中所評(píng)價(jià)的全部構(gòu)型的最有利結(jié)果。以此方式重建的序列看起來在完整性和低噪聲水平之間取得平衡。
[0084]已經(jīng)描述了本發(fā)明的各種實(shí)施例。這些和其他實(shí)施例均在所附權(quán)利要求書的范圍內(nèi)。
【權(quán)利要求】
1.一種方法，包括: 使用至少一個(gè)成像傳感器來對(duì)表面進(jìn)行成像，其中所述表面和所述成像傳感器處于相對(duì)平移運(yùn)動(dòng)中，并且其中所述傳感器包括透鏡，所述透鏡具有相對(duì)于表面坐標(biāo)系中的x-y平面以非零視角對(duì)準(zhǔn)的焦平面； 配準(zhǔn)所述表面的圖像序列； 沿著相機(jī)坐標(biāo)系中的z方向來堆疊所述配準(zhǔn)的圖像以形成體； 確定所述體中的每個(gè)(x，y)位置的聚焦銳度值，其中所述(x，y)位置位于與所述相機(jī)坐標(biāo)系中的z方向垂直的平面中； 利用所述聚焦銳度值來確定所述體中的每個(gè)(X，y)位置沿所述相機(jī)坐標(biāo)系中的z方向的最大聚焦深度Znl ；以及 基于所述最大聚焦深度Zm來確定所述表面上的每個(gè)點(diǎn)的三維位置。
2.根據(jù)權(quán)利要求1所述的方法，其中通過對(duì)準(zhǔn)在所述表面上的基準(zhǔn)點(diǎn)來配準(zhǔn)圖像。
3.根據(jù)權(quán)利要求1所述的方法，還包括基于所述三維位置來形成所述表面的三維模型。
4.根據(jù)權(quán)利要求1所述的方法，其中所述透鏡包括遠(yuǎn)心透鏡。
5.根據(jù)權(quán)利要求1所述的方法，其中當(dāng)所述表面朝靜止成像傳感器移動(dòng)時(shí)，所述視角小于90°。
6.根據(jù)權(quán)利要求1所述的方法，其中通過在每個(gè)(x，y)位置處應(yīng)用改進(jìn)的拉普拉斯銳度尺度來確定所述聚焦銳度值。
7.根據(jù)權(quán)利要求1所述的方法，其中通過沿所述z方向進(jìn)行高斯曲線擬合以估計(jì)所述最大聚焦深度Zm來確定所述表面上的每個(gè)點(diǎn)的深度。
8.根據(jù)權(quán)利要求1所述的方法，其中通過對(duì)所述體中的每個(gè)位置(x，y)處的所述聚焦銳度值進(jìn)行二次函數(shù)擬合來確定所述表面上的每個(gè)點(diǎn)的深度。
9.根據(jù)權(quán)利要求3所述的方法，包括對(duì)三維點(diǎn)位置應(yīng)用三角網(wǎng)格算法以形成所述表面的模型。
10.根據(jù)權(quán)利要求1所述的方法，其中所述成像傳感器包括CXD或CMOS相機(jī)。
11.一種方法，包括: 使用成像傳感器來捕獲表面的圖像序列，其中所述表面和所述成像傳感器處于相對(duì)平移運(yùn)動(dòng)中，并且其中所述成像傳感器包括遠(yuǎn)心透鏡，所述遠(yuǎn)心透鏡具有相對(duì)于表面坐標(biāo)系中的X-y平面以非零視角對(duì)準(zhǔn)的焦平面； 在所述序列中的每個(gè)圖像中對(duì)準(zhǔn)所述表面上的基準(zhǔn)點(diǎn)以形成配準(zhǔn)的圖像序列； 沿著相機(jī)坐標(biāo)系中的z方向來堆疊所述配準(zhǔn)的圖像序列以形成體，其中所述配準(zhǔn)的圖像序列中的每個(gè)圖像包括所述體中的層； 計(jì)算所述體內(nèi)的每個(gè)像素的聚焦銳度值，其中所述像素位于與所述相機(jī)坐標(biāo)系中的z方向垂直的平面中； 基于所述聚焦銳度值來計(jì)算所述體內(nèi)的每個(gè)像素的最大聚焦深度值Zm ; 基于所述最大聚焦深度Zm來確定所述表面上的每個(gè)點(diǎn)的三維位置；以及任選地 基于三維點(diǎn)位置來構(gòu)造所述表面的三維模型。
12.根據(jù)權(quán)利要求11所述的方法，其中通過在每個(gè)(x，y)位置處應(yīng)用改進(jìn)的拉普拉斯銳度尺度來確定所述聚焦銳度值。
13.根據(jù)權(quán)利要求11所述的方法，其中通過沿所述z方向進(jìn)行高斯曲線擬合以估計(jì)所述聚焦銳度值Zm來確定所述表面上的每個(gè)點(diǎn)的深度。
14.根據(jù)權(quán)利要求11所述的方法，其中通過對(duì)所述體中的每個(gè)位置(x，y)處的所述聚焦銳度值進(jìn)行二次函數(shù)擬合來確定所述表面上的每個(gè)點(diǎn)的深度。
15.根據(jù)權(quán)利要求11所述的方法，包括對(duì)所述三維點(diǎn)位置應(yīng)用三角網(wǎng)格算法以形成所述表面的模型。
16.—種設(shè)備,包括: 具有遠(yuǎn)心透鏡的成像傳感器，其中所述透鏡具有相對(duì)于表面坐標(biāo)系中的x-y平面以非零視角對(duì)準(zhǔn)的焦平面，其中所述表面和所述成像傳感器處于相對(duì)平移運(yùn)動(dòng)中，并且其中所述傳感器對(duì)所述表面進(jìn)行成像以形成其圖像序列； 處理器，所述處理器: 在所述序列中的每個(gè)圖像中對(duì)準(zhǔn)所述表面上的基準(zhǔn)點(diǎn)以形成配準(zhǔn)的圖像序列； 沿著相機(jī)坐標(biāo)系中的z方向來堆疊所述配準(zhǔn)的圖像序列以形成體，其中所述配準(zhǔn)的圖像序列中的每個(gè)圖像包括所述體中的層； 計(jì)算所述體內(nèi)的每個(gè)像素的聚焦銳度值，其中所述像素位于與所述相機(jī)坐標(biāo)系中的所述z方向垂直的平面中； 基于所述聚焦銳度值來計(jì)算所述體內(nèi)的每個(gè)像素的最大聚焦深度值Zm ; 基于所述最大聚焦深度Zm來確定所述表面上的每個(gè)點(diǎn)的三維位置；以及 基于所述三維位置來構(gòu)造所述表面的三維模型。
17.根據(jù)權(quán)利要求16所述的設(shè)備，其中所述表面為幅材材料。
18.根據(jù)權(quán)利要求16所述的設(shè)備，還包括光源以照亮所述表面。
19.根據(jù)權(quán)利要求16所述的設(shè)備，其中所述傳感器包括CCD或CMOS相機(jī)。
20.根據(jù)權(quán)利要求19所述的設(shè)備，其中所述處理器在所述相機(jī)內(nèi)部。
21.根據(jù)權(quán)利要求19所述的設(shè)備，其中所述處理器遠(yuǎn)離所述相機(jī)。
22.—種方法,包括: 相對(duì)于移動(dòng)的幅材材料以非零視角定位靜止成像傳感器，其中所述成像傳感器包括遠(yuǎn)心透鏡以對(duì)移動(dòng)幅材的表面進(jìn)行成像并且形成其圖像序列； 處理所述圖像序列以: 配準(zhǔn)所述圖像； 沿著相機(jī)坐標(biāo)系中的z方向來堆疊所述配準(zhǔn)的圖像以形成體； 確定所述體中的每個(gè)(x，y)位置的聚焦銳度值，其中所述(x，y)位置位于與所述相機(jī)坐標(biāo)系中的z方向垂直的平面中； 確定所述體中的每個(gè)(X，y)位置沿所述相機(jī)坐標(biāo)系中的z方向的最大聚焦深度Zm;以及 基于所述最大聚焦深度Zm來確定所述移動(dòng)幅材的表面上的每個(gè)點(diǎn)的三維位置。
23.根據(jù)權(quán)利要求22所述的方法，其中所述成像傳感器包括CCD或CMOS相機(jī)。
24.根據(jù)權(quán)利要求22所述的方法，其中所述處理器在CCD相機(jī)外部。
25.根據(jù)權(quán)利要求22所述的方法，還包括基于所述三維位置來形成所述移動(dòng)幅材的所述表面的三維模型。
26.根據(jù)權(quán)利要求22所述的方法，其中通過在每個(gè)(x，y)位置處應(yīng)用改進(jìn)的拉普拉斯銳度尺度來確定所述聚焦銳度值。
27.根據(jù)權(quán)利要求22所述的方法，其中通過沿所述z方向進(jìn)行高斯曲線擬合以估計(jì)所述最大聚焦深度Zm來確定所述表面上的每個(gè)點(diǎn)的深度。
28.根據(jù)權(quán)利要求22所述的方法，其中通過對(duì)所述體中的每個(gè)位置(x，y)處的所述聚焦銳度值進(jìn)行二次函數(shù)擬合來確定所述表面上的每個(gè)點(diǎn)的深度。
29.根據(jù)權(quán)利要求22所述的方法，包括對(duì)三維點(diǎn)位置應(yīng)用三角網(wǎng)格算法以形成所述表面的模型。
30.一種用于實(shí)時(shí)檢測(cè)幅材材料的移動(dòng)表面并且計(jì)算所述表面的三維模型的方法，所述方法包括: 使用靜止傳感器來捕獲所述表面的圖像序列，其中所述成像傳感器包括相機(jī)和遠(yuǎn)心透鏡，所述遠(yuǎn)心透鏡具有相對(duì)于表面坐標(biāo)系中的x-y平面以非零視角對(duì)準(zhǔn)的焦平面； 在所述序列中的每個(gè)圖像中對(duì)準(zhǔn)所述表面上的基準(zhǔn)點(diǎn)以形成配準(zhǔn)的圖像序列； 沿著相機(jī)坐標(biāo)系中的z方向來堆疊所述配準(zhǔn)的圖像序列以形成體，其中所述配準(zhǔn)的圖像序列中的每個(gè)圖像包括所述體中的層； 計(jì)算所述體內(nèi)的每個(gè)像素的聚焦銳度值，其中所述像素位于與所述相機(jī)坐標(biāo)系中的所述Z方向垂直的平面中； 基于所述聚焦銳度值來計(jì)算所述體內(nèi)的每個(gè)像素的最大聚焦深度值Zm ; 基于所述最大聚焦深度Zm來確定所述表面上的每個(gè)點(diǎn)的三維位置；以及 基于所述三維位置來構(gòu)造所述表面的三維模型。
31.根據(jù)權(quán)利要求30所述的方法，其中通過在每個(gè)(x，y)位置處應(yīng)用改進(jìn)的拉普拉斯銳度尺度來確定所述聚焦銳度值。
32.根據(jù)權(quán)利要求30所述的方法，其中通過沿所述z方向進(jìn)行高斯曲線擬合以估計(jì)所述最大聚焦深度Zm來確定所述表面上的每個(gè)點(diǎn)的深度。
33.根據(jù)權(quán)利要求30所述的方法，其中通過對(duì)所述體中的每個(gè)位置(x，y)處的所述聚焦銳度值進(jìn)行二次函數(shù)擬合來確定所述表面上的每個(gè)點(diǎn)的深度。
34.根據(jù)權(quán)利要求30所述的方法，包括對(duì)三維點(diǎn)位置應(yīng)用三角網(wǎng)格算法以形成所述表面的模型。
35.一種用于實(shí)時(shí)檢測(cè)幅材材料的在線計(jì)算機(jī)化檢測(cè)系統(tǒng)，所述系統(tǒng)包括: 靜止成像傳感器，所述靜止成像傳感器包括相機(jī)和遠(yuǎn)心透鏡，其中所述透鏡具有相對(duì)于移動(dòng)表面的平面以非零視角對(duì)準(zhǔn)的焦平面，并且其中所述傳感器對(duì)所述表面進(jìn)行成像以形成其圖像序列； 處理器，所述處理器: 在所述序列中的每個(gè)圖像中對(duì)準(zhǔn)所述表面上的基準(zhǔn)點(diǎn)以形成配準(zhǔn)的圖像序列； 沿著相機(jī)坐標(biāo)系中的z方向來堆疊所述配準(zhǔn)的圖像序列以形成體，其中所述配準(zhǔn)的圖像序列中的每個(gè)圖像包括所述體中的層； 計(jì)算所述體內(nèi)的每個(gè)像素的聚焦銳度值，其中所述像素位于與所述相機(jī)坐標(biāo)系中的所述Z方向垂直的平面中； 基于所述聚焦銳度值來計(jì)算所述體內(nèi)的每個(gè)像素的最大聚焦深度值Zm ; 基于所述最大聚焦深度Zm來確定所述表面上的每個(gè)點(diǎn)的三維位置；以及 基于所述三維位置來構(gòu)造所述表面的三維模型。
36.一種非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)，包括軟件指令，所述軟件指令用于使計(jì)算機(jī)處理器: 使用在線計(jì)算機(jī)化檢測(cè)系統(tǒng)來接收幅材材料的移動(dòng)表面的圖像序列，其中使用包括相機(jī)和遠(yuǎn)心透鏡的靜止成像傳感器來捕獲圖像序列，所述遠(yuǎn)心透鏡具有相對(duì)于表面坐標(biāo)系的χ-y平面以非零視角對(duì)準(zhǔn)的焦平面； 在所述序列中的每個(gè)圖像中對(duì)準(zhǔn)所述表面上的基準(zhǔn)點(diǎn)以形成配準(zhǔn)的圖像序列； 沿著相機(jī)坐標(biāo)系中的z方向來堆疊所述配準(zhǔn)的圖像序列以形成體，其中所述配準(zhǔn)的圖像序列中的每個(gè)圖像包括所述體中的層； 計(jì)算所述體內(nèi)的每個(gè)像素的聚焦銳度值，其中所述像素位于與所述相機(jī)坐標(biāo)系中的所述Z方向垂直的平面中； 基于所述聚焦銳度值來計(jì)算所述體內(nèi)的每個(gè)像素的最大聚焦深度值Zm ; 基于所述最大聚焦深度Zm來確定所述表面上的每個(gè)點(diǎn)的三維位置；以及 基于所述三維位置來構(gòu)造所述表面的三維模型。
37.一種方法,包括: 相對(duì)于表面平移成像傳感器，其中所述傳感器包括透鏡，所述透鏡具有相對(duì)于表面坐標(biāo)系的χ-y平面以非零視角對(duì)準(zhǔn)的焦平面； 使用所述成像傳感器來對(duì)所述表面進(jìn)行成像以采集圖像序列； 對(duì)所述表面上的點(diǎn)的三維位置進(jìn)行估計(jì)以提供代表所述表面的一組三維點(diǎn)；以及 處理所述一組三維點(diǎn)以在選定的坐標(biāo)系中產(chǎn)生所述表面的范圍圖。
38.一種方法,包括: (a)使用至少一個(gè)成像傳感器來對(duì)表面進(jìn)行成像以采集圖像序列，其中所述表面和所述成像傳感器處于相對(duì)平移運(yùn)動(dòng)中，并且其中所述傳感器包括透鏡，所述透鏡具有相對(duì)于表面坐標(biāo)系中的χ-y平面以非零視角對(duì)準(zhǔn)的焦平面； (b)確定所述圖像序列中的最后圖像中的每個(gè)像素的聚焦銳度值； (C)計(jì)算所述表面坐標(biāo)系中的y坐標(biāo)，所述焦平面與y軸在所述y坐標(biāo)處相交； (d)基于所述最后圖像中的所述表面的表觀移位來確定所述表面上的過渡點(diǎn)，其中所述過渡點(diǎn)在所述最后圖像中已離開所述透鏡的視野，但在所述最后圖像之前的所述序列中的圖像中處于所述透鏡的視野中； (e)確定所述表面上的所有過渡點(diǎn)在相機(jī)坐標(biāo)系中的三維位置； (f)對(duì)于由所述成像傳感器采集的每個(gè)新圖像重復(fù)步驟(a)至(f);以及 (g)累積來自所述序列中的圖像的過渡點(diǎn)在所述相機(jī)坐標(biāo)系中的三維位置以形成代表平移表面的點(diǎn)云。
39.根據(jù)權(quán)利要求38所述的方法，其中通過應(yīng)用改進(jìn)的拉普拉斯銳度尺度來確定所述聚焦銳度值。
40.根據(jù)權(quán)利要求38所述的方法，其中通過沿所述相機(jī)坐標(biāo)系中的所述z方向進(jìn)行高斯曲線擬合以估計(jì)所述最大聚焦深度Zm來確定所述表面上的每個(gè)過渡點(diǎn)的三維位置。
41.根據(jù)權(quán)利要求38所述的方法，其中通過對(duì)每個(gè)像素的所述聚焦銳度值進(jìn)行二次函數(shù)擬合來確定所述表面上的每個(gè)過渡點(diǎn)的三維位置。
42.根據(jù)權(quán)利要求38所述的方法，還包括通過在所述相機(jī)坐標(biāo)系中的矩形網(wǎng)格上對(duì)點(diǎn)云中的點(diǎn)進(jìn)行重取樣來形成所述平移表面的第一范圍圖。
43.根據(jù)權(quán)利要求42所述的方法，還包括從所述第一范圍圖中除去噪聲。
44.根據(jù)權(quán)利要求38所述的方法，還包括將所述第一范圍圖旋轉(zhuǎn)到所述表面坐標(biāo)系。
45.根據(jù)權(quán)利要求44所述的方法，還包括通過在所述表面坐標(biāo)系中的網(wǎng)格上對(duì)第一范圍圖進(jìn)行重取樣來形成第二范圍圖。
46.根據(jù)權(quán)利要求38所述的方法，其中當(dāng)所述表面朝靜止成像傳感器移動(dòng)時(shí)，所述視角為約38°。
47.根據(jù)權(quán)利要求38所述的方法，其中所述透鏡為遠(yuǎn)心透鏡。
48.一種設(shè)備，包括: 包括透鏡的成像傳感器，其中所述透鏡具有相對(duì)于表面坐標(biāo)系的x-y平面以非零視角對(duì)準(zhǔn)的焦平面，其中所述表面和所述成像傳感器處于相對(duì)平移運(yùn)動(dòng)中，并且其中所述傳感器對(duì)所述表面進(jìn)行成像以形成其圖像序列； 處理器，所述處理器: (a)確定所述圖像序列中的最后圖像中的每個(gè)像素的聚焦銳度值； (b)計(jì)算所述表面坐標(biāo)系中的y坐標(biāo)，所述焦平面與y軸在所述y坐標(biāo)處相交； (c)基于所述最后圖像中的所述表面的表觀移位來確定所述表面上的過渡點(diǎn)，其中所述過渡點(diǎn)在所述最后圖像中已離開所述透鏡的視野，但在所述最后圖像之前的所述序列中的圖像中處于所述透鏡的視野中； (d)確定所述表面上的所有過渡點(diǎn)在相機(jī)坐標(biāo)系中的三維位置； (e)對(duì)于由所述成像傳感器采集的每個(gè)新圖像重復(fù)步驟(a)至(d);以及 (f)累積來自所述序列中的圖像的過渡點(diǎn)在所述相機(jī)坐標(biāo)系中的三維位置以形成代表平移表面的點(diǎn)云。
49.根據(jù)權(quán)利要求48所述的設(shè)備，其中所述表面為幅材材料。
50.根據(jù)權(quán)利要求48所述的設(shè)備，其中所述透鏡為遠(yuǎn)心透鏡。
51.一種用于實(shí)時(shí)檢測(cè)幅材材料的移動(dòng)表面并且計(jì)算所述表面的三維模型的方法，所述方法包括: (a)使用靜止傳感器來捕獲所述表面的圖像序列，其中所述成像傳感器包括相機(jī)和遠(yuǎn)心透鏡，所述遠(yuǎn)心透鏡具有相對(duì)于表面坐標(biāo)系中的x-y平面以非零視角對(duì)準(zhǔn)的焦平面； (b)確定所述圖像序列中的最后圖像中的每個(gè)像素的聚焦銳度值； (C)計(jì)算所述表面坐標(biāo)系中的y坐標(biāo)，所述焦平面與y軸在所述y坐標(biāo)處相交； (d)基于所述最后圖像中的所述表面的表觀移位來確定所述表面上的過渡點(diǎn)，其中所述過渡點(diǎn)在所述最后圖像中已離開所述透鏡的視野，但在所述最后圖像之前的所述序列中的圖像中處于所述透鏡的視野中； (e)確定所述表面上的所有過渡點(diǎn)在相機(jī)坐標(biāo)系中的三維位置； (f)對(duì)于由所述成像傳感器采集的每個(gè)新圖像重復(fù)步驟(a)至(f);以及 (g)累積來自所述序列中的圖像的過渡點(diǎn)在所述相機(jī)坐標(biāo)系中的三維位置以形成代表平移表面的點(diǎn)云。
52.根據(jù)權(quán)利要求51所述的方法，其中通過應(yīng)用改進(jìn)的拉普拉斯銳度尺度來確定所述聚焦銳度值。
53.根據(jù)權(quán)利要求51所述的方法，其中通過沿所述相機(jī)坐標(biāo)系中的所述z方向進(jìn)行高斯曲線擬合以估計(jì)最大聚焦深度Zm來確定所述表面上的每個(gè)過渡點(diǎn)的三維位置。
54.根據(jù)權(quán)利要求51所述的方法，其中通過對(duì)每個(gè)像素的所述聚焦銳度值進(jìn)行二次函數(shù)擬合來確定所述表面上的每個(gè)過渡點(diǎn)的三維位置。
55.根據(jù)權(quán)利要求51所述的方法，還包括通過在所述相機(jī)坐標(biāo)系中的矩形網(wǎng)格上對(duì)點(diǎn)云中的點(diǎn)進(jìn)行重取樣來形成所述平移表面的第一范圍圖。
56.根據(jù)權(quán)利要求55所述的方法，還包括從所述第一范圍圖中除去噪聲。
57.根據(jù)權(quán)利要求51所述的方法，還包括將所述第一范圍圖旋轉(zhuǎn)到表面坐標(biāo)系。
58.根據(jù)權(quán)利要求57所述的方法，還包括通過在所述表面坐標(biāo)系中的網(wǎng)格上對(duì)第一范圍圖進(jìn)行重取樣來形成第二范圍圖。
59.根據(jù)權(quán)利要求51所述的方法，其中當(dāng)所述表面朝靜止成像傳感器移動(dòng)時(shí)，所述視角為約38°。
60.一種用于實(shí)時(shí)檢測(cè)幅材材料的在線計(jì)算機(jī)化檢測(cè)系統(tǒng)，所述系統(tǒng)包括: 靜止成像傳感器，所述靜止成像傳感器包括相機(jī)和遠(yuǎn)心透鏡，其中所述透鏡具有相對(duì)于移動(dòng)表面的χ-y平面以非零視角對(duì)準(zhǔn)的焦平面，并且其中所述傳感器對(duì)所述表面進(jìn)行成像以形成其圖像序列； 處理器，所述處理器: (a)確定所述圖像序列中的最后圖像中的每個(gè)像素的聚焦銳度值； (b)計(jì)算所述表面坐標(biāo)系中的y坐標(biāo)，所述焦平面與y軸在所述y坐標(biāo)處相交； (c)基于所述最后圖像中的所述表面的表觀移位來確定所述表面上的過渡點(diǎn)，其中所述過渡點(diǎn)在所述最后圖像中已離開所述透鏡的視野，但在所述最后圖像之前的所述序列中的圖像中處于所述透鏡的視野中； (d)確定所述表面上的所有過渡點(diǎn)在相機(jī)坐標(biāo)系中的三維位置； (e)對(duì)于由所述成像傳感器采集的每個(gè)新圖像重復(fù)步驟(a)至(d);以及 (f)累積來自所述序列中的圖像的過渡點(diǎn)在所述相機(jī)坐標(biāo)系中的三維位置以形成代表平移表面的點(diǎn)云。
61.一種非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)，包括軟件指令，所述軟件指令用于使計(jì)算機(jī)處理器: (a)使用在線計(jì)算機(jī)化檢測(cè)系統(tǒng)來接收幅材材料的移動(dòng)表面的圖像序列，其中使用包括相機(jī)和遠(yuǎn)心透鏡的靜止成像傳感器來捕獲所述圖像序列，所述遠(yuǎn)心透鏡具有相對(duì)于表面坐標(biāo)系的x-y平面以非零視角對(duì)準(zhǔn)的焦平面； (b)確定所述圖像序列中的最后圖像中的每個(gè)像素的聚焦銳度值； (C)計(jì)算所述表面坐標(biāo)系中的y坐標(biāo)，所述焦平面與y軸在所述y坐標(biāo)處相交； (d)基于所述最后圖像中的所述表面的表觀移位來確定所述表面上的過渡點(diǎn)，其中所述過渡點(diǎn)在所述最后圖像中已離開所述透鏡的視野，但在所述最后圖像之前的所述序列中的圖像中處于所述透鏡的視野中； (e)確定所述表面上的所有過渡點(diǎn)在相機(jī)坐標(biāo)系中的三維位置； (f)對(duì)于由所述成像傳感器采集的每個(gè)新圖像重復(fù)步驟(a)至(e);以及 (g)累積來自所述序列中的圖像的過渡點(diǎn)在所述相機(jī)坐標(biāo)系中的三維位置以形成代表平移表面的點(diǎn)云。
【文檔編號(hào)】G01N21/86GK104254768SQ201380007293
【公開日】2014年12月31日 申請(qǐng)日期:2013年1月30日 優(yōu)先權(quán)日:2012年1月31日
【發(fā)明者】埃文·J·瑞博尼克, 喬軼, 杰克·W·萊, 大衛(wèi)·L·霍費(fèi)爾特 申請(qǐng)人:3M創(chuàng)新有限公司