專利名稱：基于局部圖像紋理特征匹配的焊縫自動識別視覺方法
技術領域：
本發(fā)明涉及一種基于局部圖像紋理特征匹配的焊縫自動識別視覺方法，可 廣泛應用于待焊區(qū)檢測和焊縫自動跟蹤等焊接自動化、智能化方面，屬于先 進制造與自動化領域。
技術背景焊縫識別和焊縫自動跟蹤在焊接自動化、智能化發(fā)展中具有重要地位。而 常用并且比較實用的是通過視覺來實現(xiàn)，主要包括兩種方法主動視覺和被 動視覺。主動視覺采用激光掃描、結構光等主動發(fā)光裝置在焊縫坡口上形成 一條包含坡口形狀信息的光亮條紋，該方法系統(tǒng)較復雜、成本較高。被動視 覺是依靠自然光或弧光條件下，取得包含焊縫的圖像，通過圖像處理，獲得 焊縫的邊緣，這種方法常常需要焊縫圖像具有明顯的灰度突變特征。對于厚板焊接，常常采用多層焊、多道焊方法，焊接時首先在坡口中進行 打底焊，然后采用填充焊填充坡口，在填充焊時根據(jù)需要可采用多道焊，最 后再進行蓋面焊。打底焊后，隨著焊接過程的進行，焊縫坡口的特征越來越 不明顯，即不利于結構光視覺方法和一般的被動視覺方法坡口的三維結構 特征不明顯，使得結構光在坡口上不能形成具有明顯轉折光亮條紋，從而不 易確定焊縫中心，并極易受焊縫旁邊飛濺、油污等影響；焊縫圖像上焊縫邊 緣沒有明顯的灰度梯度，不能通過簡單的圖像處理方法(如邊緣提取、灰度 閾值分割)來實現(xiàn)確定焊縫邊緣。而由于焊縫圖像沿焊接方向具有一定的相似性，因此可以采用模板匹配的 方法來實現(xiàn)焊縫的跟蹤，即在焊縫初始位置選定一個已知焊縫中心位置的模 板圖像，用這個模板圖像在后續(xù)的焊縫圖像上進行相關匹配，從而獲得后續(xù) 焊縫圖像上的焊縫中心位置。且由于焊縫圖像常常沒有明顯的灰度突變特征， 故直接采用灰度圖像或二值化圖像匹配的效果不好，往往要先對焊縫圖像進 行一定的處理，獲得一個焊縫區(qū)域和母材區(qū)域差異明顯的特征，再進行匹配。 文獻[黃軍芬，殷樹言，蔣力培.管道多層自動焊焊縫記憶跟蹤系統(tǒng)研究.電焊機.2005， 35(1): 45-47]采用小波變換對模板圖像和后續(xù)焊縫圖像進行處理并進 行二值化，再進行匹配，從而獲得多層焊的焊縫中心。但對圖像進行小波變 換較復雜，且采用了一個包含整個焊縫的模板圖像，使得該方法只能適應等 寬度的焊縫，同時必須確保攝像機與焊縫的距離保持不變，導致適用性較差。 發(fā)明內(nèi)容本發(fā)明的目的在于克服現(xiàn)有技術不足，提出了基于局部圖像紋理特征匹 配的焊縫自動識別視覺方法，以便實現(xiàn)待焊區(qū)檢測(如多層焊的焊縫識別) 問題。為了實現(xiàn)這一目的，本發(fā)明的技術方案中，首先使用攝像機拍攝焊縫區(qū)域 圖像，拍攝時使該圖像包含焊縫的邊緣區(qū)域，然后在焊縫起始位置的圖像中 分別提取出包含焊縫左右邊緣在內(nèi)的模板，并且在后續(xù)焊縫圖像中根據(jù)已知 焊縫邊緣位置自動給出包含兩個焊縫邊緣在內(nèi)、且比模板寬的左右邊緣區(qū)域， 之后同時對模板圖像和邊緣區(qū)域圖像進行相同的紋理特征分析，提取紋理特 征，再用得到的紋理特征模板和邊緣區(qū)域紋理特征矩陣進行相關匹配，從而 在焊縫邊緣區(qū)域內(nèi)確定焊縫邊緣位置。本發(fā)明的基于局部圖像紋理特征匹配的焊縫識別方法主要包括以下幾個 步驟。1、 圖像獲取。使用攝像機拍攝焊縫區(qū)域圖像，拍攝時使該圖像包括焊縫 的邊緣區(qū)域。2、 模板圖像提取。在焊縫起始位置圖像中分別提取出包含焊縫左右邊緣 在內(nèi)的圖像區(qū)域作為模板圖像，模板圖像中的焊縫位置盡可能處于居中(焊 縫橫向)位置，見圖2中左模板圖像21和右模板圖像23。3、 模板圖像紋理特征分析。對兩個模板圖像進行相同的紋理特征分析， 計算紋理特征值，形成兩個紋理特征模板，如圖4所示，包括左紋理特征模 板41和右紋理特征模板42;在對模板進行子圖像劃分時，為了提高焊縫識別 的位置準確性，可以使子圖像具有一定的位置重疊，如圖3中左模板圖像上 的子圖像劃分，子圖像31和子圖像32之間有一個重疊區(qū)域33。但也可以不 重疊，子圖像具有一定的位置重疊只是優(yōu)化方案。紋理特征值采用基于共生矩陣的紋理特征描述符[章毓晉編著，圖像工 程(中冊)——圖像分析.第2版，北京清華大學出版社，2005.10]，常用的 描述符有能量(二階矩)WM、對比度Wc、摘We、逆差矩Wh等，如式(1) ~ (4)所示。 <formula>formula see original document page 5</formula>,是(子)圖像,"，力的共生矩陣，h， k圖像/"力中像素的灰度值，#代表像 素的數(shù)量。4、 焊縫邊緣區(qū)域圖像自動確定。在后續(xù)焊縫圖像中，根據(jù)己知焊縫邊緣 自動確定一個包含焊縫邊緣在內(nèi)、且比模板圖像寬的局部圖像確定為當前的 焊縫邊緣區(qū)域，該區(qū)域沿焊縫方向與模板同樣長度，如圖2中的左焊縫邊緣 區(qū)域22，右焊縫邊緣區(qū)域24。在自動確定焊縫區(qū)域時，根據(jù)已知的焊縫邊緣 位置調整焊縫邊緣區(qū)域位置，使已知的焊縫邊緣位置在待識別的焊縫邊緣區(qū) 域的中部，從而在一般情況下使焊縫邊緣區(qū)域包含當前的焊縫邊緣位置。5、 邊緣區(qū)域圖像紋理特征分析。對兩個邊緣區(qū)域進行與模板圖像相同的 紋理特征分析，計算紋理特征值，形成邊緣區(qū)域紋理特征矩陣，具體紋理分 析方法同步驟3。6、 模板匹配與焊縫邊緣位置確定。分別用兩個紋理特征模板在對應的邊 緣區(qū)域紋理特征矩陣內(nèi)進行相關匹配，當相關系數(shù)最大時，焊縫邊緣區(qū)域上 對應于模板圖像中的焊縫邊緣位置的像素點即為該段焊縫邊緣位置，圖5顯 示了左紋理特征模板與左焊縫邊緣區(qū)域紋理特征矩陣的匹配結果。7、 重復步驟4) 、 5)和6)，即可得到整條焊縫的邊緣位置，分別連接 上述的左、右焊縫邊緣位置即可獲得焊縫的左、右邊緣，圖6中顯示了焊縫 左邊緣的模板最佳匹配的模板中心在圖像上的位置61和識別得到的焊縫右邊 緣62。本發(fā)明提出的基于局部圖像紋理特征匹配的焊縫自動識別視覺方法，利 用焊縫圖像紋理特征從焊縫區(qū)域到母材區(qū)域的分布特點，通過局部圖像紋理 特征模板匹配的方法分別確定焊縫的兩個邊緣位置，能夠實現(xiàn)焊縫識別問題，
特別是對于多層焊中的填充焊和蓋面焊的焊縫識別較結構光方法和一般被動 光視覺方法具有明顯優(yōu)勢，并且具有較強的適用性。


圖1基于局部圖像紋理特征匹配的焊縫自動識別視覺方法流程圖2焊縫圖像中的模板圖像與焊縫邊緣區(qū)域圖像 圖3左模板圖像及其子圖像劃分(放大)示意 圖4左、右紋理特征模板圖5左紋理特征模板與左邊緣焊縫紋理特征矩陣的匹配結果 圖6最佳匹配的模板中心在圖像上位置和識別的焊縫邊緣具體實施方式
為了更好地講解本發(fā)明的技術方案，以下結合實施例作進一步的詳細描述。
圖l所示為本發(fā)明的焊縫識別方法流程，包括以下幾個步驟。
1、 圖像獲取。使用攝像機拍攝焊縫區(qū)域圖像，拍攝時使該圖像包括焊縫 的邊緣區(qū)域。
2、 模板圖像提取。在焊縫起始位置圖像中分別提取出包含焊縫左、右邊 緣在內(nèi)的圖像區(qū)域作為模板圖像，模板圖像中的焊縫位置盡量處于居中(在 焊縫橫向)位置，如圖2中左模板圖像21和右模板圖像23，其中模板尺寸在 焊縫縱向和焊縫橫向分別為48像素和60像素，左右模板大小相同，并且使已知焊縫邊緣位置在模板中部，本實例的焊縫邊緣位置在模板圖像中各行的 列值y0「30，(b1,2,…48)(焊縫橫向的位置為列，焊縫縱向的位置為行，下同)。如果焊縫邊緣在圖像中與圖像縱向有一定夾角，可使焊縫邊緣通過模 板的中心，實現(xiàn)焊縫邊緣位置處于模板中部。
3、 模板圖像紋理特征分析。對兩個模板圖像進行相同的紋理特征分析， 計算紋理特征值，形成兩個紋理特征模板。在模板劃分時，為了提高焊縫識 別的位置準確性，使子圖像具有一定的位置重疊，如圖3中左模板圖像上的 子圖像劃分，子圖像31和子圖像32之間有一個重疊區(qū)域33，其中子圖像尺 寸為24X10 (焊縫縱向像素數(shù)X焊縫橫向像素數(shù))，重疊部分寬度為5像素， 從而在左右模板圖像中各獲得2行、每行l(wèi)l個子圖像。計算每個子圖像的共 生矩陣時計算參數(shù)為灰度級32、灰度步長l、方向0度，即先將子圖像/"力
變換為灰度級為32的圖像，計算似化"時令公式(5)中的像素點"，")、"，A)滿足^-x,+l,h"0;再基于該共生矩陣M^"用公式(3)計算各個子圖像的紋理特征值——熵『￡，得到如圖4所示的左、右紋理特征模板。4、 焊縫邊緣區(qū)域圖像自動確定。在后續(xù)焊縫圖像中，根據(jù)已知焊縫邊緣 自動確定一個包含焊縫邊緣在內(nèi)、且比模板圖像寬的局部圖像確定為當前的 焊縫邊緣區(qū)域，該區(qū)域沿焊縫方向與模板同樣長度，即焊縫邊緣區(qū)域尺寸為 48X100 (焊縫縱向像素數(shù)X焊縫橫向像素數(shù))；在自動確定焊縫區(qū)域時，根 據(jù)已知的焊縫邊緣位置調整焊縫邊緣區(qū)域位置，使得已知的焊縫邊緣位置在 待識別焊縫邊緣區(qū)域的中部，在本實例中令焊縫邊緣區(qū)域的第50列與前一次 相關匹配中得到最佳匹配時模板中心在圖像上的橫向位置(初始時采用取模 板的位置)對齊，然后確定待識別的焊縫邊緣區(qū)域圖像的范圍，如圖2中的 左焊縫邊緣區(qū)域22、右焊縫邊緣區(qū)域24所示，其中左焊縫邊緣區(qū)域22中心 在焊縫圖像上的列值yk =70 ，右焊縫邊緣區(qū)域24中心在原圖上的列值為5、 邊緣區(qū)域圖像紋理特征分析。對兩個邊緣區(qū)域進行與模板圖像相同的 紋理特征分析，即采用同樣的子圖像劃分方法，同樣的計算共生矩陣參數(shù)， 同樣計算紋理特征值——熵『￡，形成邊緣區(qū)域紋理特征矩陣。由于焊縫邊緣區(qū)域寬度有100像素，故獲得的左、右邊緣區(qū)域紋理特征矩陣均為2行19列。6、 模板匹配與焊縫邊緣位置確定。分別用兩個紋理特征模板在對應的邊 緣區(qū)域紋理特征矩陣內(nèi)進行相關匹配，當相關系數(shù)最大時，焊縫邊緣區(qū)域上 對應于模板圖像中的焊縫邊緣位置的像素點即為該段焊縫邊緣位置。圖5顯 示了本實例中左紋理特征模板與左焊縫邊緣區(qū)域紋理特征矩陣的匹配結果， 其中第5次匹配結果的相關系數(shù)最大，從而此時模板圖像在焊縫邊緣區(qū)域的 位置(橫向位置)可用模板圖像中心距離的焊縫邊緣區(qū)域左邊緣的距離"(像 素)來表示"可通過下式計算"=(相關匹配次序-1)x(子圖像寬度-重疊像素數(shù))+模板中心在模板上的列值.(6 )代入相關匹配次序(值為5)、子圖像寬度(值為10)、重疊像素數(shù)(值為5) 和模板中心在模板上的列值(值為30)，計算得到d-(5-l)x(10-5) + 30 = 50;再根據(jù)模板中的焊縫邊緣的各行列值^'和式(7)可以確定當前焊縫邊緣區(qū) 域中的各行圖像上焊縫邊緣的列值乂, 乂 模板中心在模板上的列值+;0,- (7)代入_/0,.=30, (/ = 1,2,...48)和模板中心在模板上的列值(值為30) 、 ^ = 50，可 得乂 = 50 - 30+/0, = 20 + 30 = 50 ;進一步的，根據(jù)左焊縫邊緣區(qū)域中心在焊縫圖像上的列值^和式(8)，可獲 得焊縫圖像上的各行的焊縫邊緣列值A:厶=人2—焊縫邊緣區(qū)域半寬+ 乂. (8)代入厶2 (值為70)、左焊縫邊緣區(qū)域半寬(值為50)和/,=50，可得 厶,,=70 - 50+乂 = 20 + 50 = 70 。7、重復步驟4) 、 5)和6)，即可得到整條焊縫的邊緣位置，分別連接 上述的左、右焊縫邊緣位置即可獲得焊縫的左、右邊緣，圖6中顯示了焊縫 左邊緣的模板最佳匹配的模板中心在圖像上的位置61和識別得到的焊縫右邊 緣62。最后應說明的是以上實施例僅用以說明本發(fā)明而并非限制本發(fā)明所描 述的技術方案；因此，盡管本說明書參照上述的各個實施例對本發(fā)明己進行 了詳細的說明，但是，本領域的普通技術人員應當理解，仍然可以對本發(fā)明 進行修改或等同替換；而一切不脫離發(fā)明的精神和范圍的技術方案及其改進， 其均應涵蓋在本發(fā)明的權利要求范圍當中。
權利要求
1、基于局部圖像紋理特征匹配的焊縫自動識別視覺方法，其特征在于，包括以下步驟1)、圖像獲取使用攝像機拍攝焊縫區(qū)域圖像，拍攝時使該圖像包含焊縫的左右邊緣區(qū)域；2)、模板圖像提取在焊縫起始位置圖像中分別提取出包含焊縫左右邊緣在內(nèi)的圖像區(qū)域作為模板圖像，包括左模板圖像和右模板圖像，在模板圖像中已知焊縫的左右邊緣位置；模板圖像中的焊縫位置盡量處于居中位置；3)、模板圖像紋理特征分析對左模板圖像和右模板圖像進行相同的紋理特征分析，計算紋理特征值，形成兩個紋理特征模板；4)、焊縫邊緣區(qū)域圖像自動確定在后續(xù)焊縫圖像中，根據(jù)已知焊縫邊緣位置自動確定一個包含待識別焊縫邊緣在內(nèi)、且比模板圖像寬的局部圖像作為當前的焊縫邊緣區(qū)域，該區(qū)域沿焊縫方向與模板同樣長度；自動確定待識別焊縫邊緣區(qū)域時，使待識別焊縫邊緣區(qū)域圖像的中心位置在焊縫橫向與已知的焊縫邊緣位置對齊；5)、邊緣區(qū)域圖像紋理特征分析對兩個邊緣區(qū)域進行與模板圖像相同的紋理特征分析，計算紋理特征值，形成邊緣區(qū)域圖像的紋理特征矩陣；6)、模板匹配與焊縫邊緣位置確定分別用兩個紋理特征模板分別在對應的邊緣區(qū)域紋理特征矩陣內(nèi)進行相關匹配，且根據(jù)匹配結果確定焊縫兩個邊緣的位置當相關系數(shù)最大時，焊縫邊緣區(qū)域圖像上對應于模板圖像中的焊縫邊緣位置的像素點即為該段焊縫的邊緣位置；進而依據(jù)焊縫邊緣區(qū)域圖像在焊縫圖像上的位置確定焊縫邊緣位置；7)、重復步驟4)、5)和6)，即可得到整條焊縫的邊緣位置，分別連接上述的左、右焊縫邊緣位置即可獲得焊縫的左、右邊緣。
2、 如權利要求1所述的基于局部圖像紋理特征匹配的焊縫自動識別視覺 方法，其特征在于，所述的步驟3)或步驟5)紋理特征分析，其方法是先將 所述的步驟2)的模板圖像和步驟4)的焊縫邊緣區(qū)域局部圖像進行子圖像劃 分，然后計算各個子圖像的共生矩陣，再用共生矩陣的紋理特征描述符表征 紋理特征。
3、 如權利要求2所述的基于局部圖像紋理特征匹配的焊縫自動識別視覺 方法，其特征在于，在子圖像劃分時，使子圖像具有一定重疊。
全文摘要
一種基于局部圖像紋理特征匹配的焊縫自動識別視覺方法，適用焊縫檢測與跟蹤屬先進制造與自動化領域。本發(fā)明先用攝像機拍攝焊縫區(qū)域圖像，拍攝時使該圖像包括焊縫兩個邊緣區(qū)域；然后在焊縫起始位置的焊縫圖像中分別提取出包含焊縫左右邊緣在內(nèi)的左、右模板圖像，在后續(xù)焊縫圖像中據(jù)已知的焊縫邊緣位置自動給出包含兩個焊縫邊緣在內(nèi)、且比模板圖像寬的左右邊緣區(qū)域圖像；之后同時對模板圖像和邊緣區(qū)域圖像進行相同的紋理特征分析，提取紋理特征；用紋理特征模板和邊緣區(qū)域紋理特征矩陣進行相關匹配，確定焊縫邊緣位置。本發(fā)明實現(xiàn)焊縫識別，特別對于多層焊中的填充焊和蓋面焊的焊縫識別較結構光方法和一般被動光視覺方法有明顯優(yōu)勢，有較強適用性。
文檔編號G06K9/00GK101159017SQ20071017813
公開日2008年4月9日 申請日期2007年11月27日 優(yōu)先權日2007年11月27日
發(fā)明者凱 曾, 力 王, 王勝華, 鄒怡蓉, 東 都 申請人:清華大學