本發(fā)明涉及多譜融合技術(shù)，尤其涉及一種基于光學(xué)多譜融合的在線質(zhì)量監(jiān)測方法及系統(tǒng)。

背景技術(shù)：

1、光學(xué)多譜檢測技術(shù)在工業(yè)產(chǎn)品質(zhì)量監(jiān)測中發(fā)揮重要作用。傳統(tǒng)的單一光譜檢測方法難以全面反映產(chǎn)品表面和內(nèi)部的質(zhì)量狀態(tài)，而多光譜融合檢測可同時獲取可見光和紅外等不同波段的圖像信息。但目前的多譜檢測技術(shù)存在以下問題：一是不同光譜圖像的配準(zhǔn)精度不足，影響后續(xù)分析的準(zhǔn)確性；二是多譜數(shù)據(jù)的融合方法較為簡單，未能充分利用不同光譜的互補信息；三是缺陷檢測方法主要基于淺層特征，難以準(zhǔn)確識別復(fù)雜背景下的缺陷區(qū)域；四是缺乏對缺陷形成機理的分析能力，無法為質(zhì)量改進提供有效指導(dǎo)。因此，亟需開發(fā)一種能夠?qū)崿F(xiàn)高精度多譜圖像配準(zhǔn)、深度特征融合以及缺陷機理分析的在線質(zhì)量監(jiān)測方法。

技術(shù)實現(xiàn)思路

1、本發(fā)明實施例提供一種基于光學(xué)多譜融合的在線質(zhì)量監(jiān)測方法及系統(tǒng)，能夠解決現(xiàn)有技術(shù)中的問題。

2、本發(fā)明實施例的第一方面，

3、提供一種基于光學(xué)多譜融合的在線質(zhì)量監(jiān)測方法，包括：

4、采集待測物體在檢測工位的多譜圖像數(shù)據(jù)，在所述檢測工位設(shè)置可見光相機組和紅外相機組，所述可見光相機組和所述紅外相機組的觸發(fā)信號由同步控制模塊統(tǒng)一調(diào)度，對采集的多譜圖像數(shù)據(jù)進行預(yù)處理，并采用特征點匹配算法結(jié)合相機標(biāo)定參數(shù)對不同光譜圖像進行配準(zhǔn)，得到配準(zhǔn)后的多譜圖像數(shù)據(jù)；

5、將所述配準(zhǔn)后的多譜圖像數(shù)據(jù)輸入變分自編碼器進行概率分布建模并引入相對熵約束，通過最小化重構(gòu)誤差得到光譜基向量和初始豐度圖，對所述初始豐度圖構(gòu)建多尺度形態(tài)學(xué)特征金字塔，計算非局部特征相似度矩陣，結(jié)合空間位置信息構(gòu)建區(qū)域親和力圖，采用圖割算法對所述區(qū)域親和力圖進行分割得到局部一致性區(qū)域，將所述局部一致性區(qū)域與所述初始豐度圖進行自適應(yīng)融合得到增強豐度特征，采用多頭交叉注意力機制將所述光譜基向量與所述增強豐度特征進行特征對齊和互補增強，得到多譜融合特征；

6、構(gòu)建動態(tài)神經(jīng)網(wǎng)絡(luò)，將多譜融合特征映射為網(wǎng)絡(luò)節(jié)點特征，基于特征距離構(gòu)建節(jié)點間拓?fù)溥B接關(guān)系，通過動態(tài)神經(jīng)網(wǎng)絡(luò)使節(jié)點從鄰近節(jié)點獲取關(guān)鍵信息得到傳播后特征，對傳播后特征進行多層次降維得到結(jié)構(gòu)化表示，構(gòu)建特征判別準(zhǔn)則對所述結(jié)構(gòu)化特征表示進行判別性增強，根據(jù)判別性增強后的結(jié)構(gòu)化特征表示計算節(jié)點顯著性分布，將節(jié)點顯著性分布中顯著性高于預(yù)設(shè)閾值的區(qū)域確定為質(zhì)量缺陷區(qū)域，同時基于傳播后的網(wǎng)絡(luò)節(jié)點特征的傳播路徑分析質(zhì)量缺陷的形成機理，根據(jù)所述質(zhì)量缺陷區(qū)域的空間分布和所述質(zhì)量缺陷的形成機理生成質(zhì)量監(jiān)測報告。

7、在一種可選的實施例中，

8、對采集的多譜圖像數(shù)據(jù)進行預(yù)處理，并采用特征點匹配算法結(jié)合相機標(biāo)定參數(shù)對不同光譜圖像進行配準(zhǔn)，得到配準(zhǔn)后的多譜圖像數(shù)據(jù)包括：

9、通過滑動窗口計算局部累積分布函數(shù)，利用所述局部累計分布函數(shù)對可見光圖像和紅外光圖像進行局部自適應(yīng)直方圖均衡化處理，得到對比度增強圖像；

10、對所述對比度增強圖像進行雙邊濾波，結(jié)合小波變換的噪聲抑制處理，得到降噪處理圖像，基于相機成像模型對所述降噪處理圖像進行幾何畸變校正，得到預(yù)處理圖像；

11、對所述預(yù)處理圖像構(gòu)建多層圖像金字塔，在多層圖像金字塔的每一層圖像中基于尺度空間提取圖像特征點，并通過角點響應(yīng)值對所述圖像特征點進行篩選，得到篩選特征點；

12、對所述篩選特征點通過鄰域分塊提取梯度方向直方圖與局部二值模式，生成特征描述向量，基于最近鄰比值法和隨機一致性檢驗對所述特征描述向量進行匹配，得到特征匹配點對集合；

13、基于標(biāo)定板圖像序列對所述可見光圖像和所述紅外光圖像對應(yīng)的相機進行標(biāo)定，獲取相機參數(shù)矩陣和畸變參數(shù)，同時根據(jù)所述特征匹配點對集合計算單應(yīng)性矩陣，采用迭代優(yōu)化算法對所述單應(yīng)性矩陣的變換參數(shù)進行優(yōu)化，得到優(yōu)化單應(yīng)性矩陣；

14、利用所述優(yōu)化單應(yīng)性矩陣和所述相機參數(shù)矩陣對所述預(yù)處理圖像進行雙線性插值重采樣，得到配準(zhǔn)后的可見光圖像和紅外光圖像。

15、在一種可選的實施例中，

16、對所述篩選特征點通過鄰域分塊提取梯度方向直方圖與局部二值模式，生成特征描述向量，基于最近鄰比值法和隨機一致性檢驗對所述特征描述向量進行匹配，得到特征匹配點對集合包括：

17、以所述篩選特征點為中心劃分特征描述區(qū)域，將所述特征描述區(qū)域劃分為多個特征子塊；

18、在所述特征子塊中計算梯度幅值和梯度方向，構(gòu)建梯度方向直方圖得到梯度特征向量，在所述特征子塊中提取局部二值模式并采用旋轉(zhuǎn)不變的均勻模式編碼得到紋理特征向量，對所述梯度特征向量和所述紋理特征向量進行歸一化處理并級聯(lián)，形成特征描述向量；

19、對所述特征描述向量構(gòu)建樹形索引結(jié)構(gòu)，采用最近鄰搜索方法獲取每個特征點的最近鄰點集合；根據(jù)最近鄰比值閾值對所述最近鄰點集合進行篩選得到初始匹配點對集合；采用隨機采樣方法從所述初始匹配點對集合中選取多組匹配點計算透視變換模型，統(tǒng)計滿足所述透視變換模型的匹配點數(shù)量，將匹配點數(shù)量最多的透視變換模型確定為最優(yōu)變換模型，獲取滿足所述最優(yōu)變換模型的候選特征匹配點對；

20、將包含所述候選匹配點對的圖像劃分為多個網(wǎng)格區(qū)域，統(tǒng)計每個網(wǎng)格區(qū)域內(nèi)特征匹配點的數(shù)量得到空間分布方差，計算所述特征匹配點對之間的距離比值和角度差值得到幾何一致性參數(shù)；

21、根據(jù)所述空間分布方差和所述幾何一致性參數(shù)構(gòu)建加權(quán)投票函數(shù)，對所述特征匹配點對進行投票篩選，剔除不滿足空間分布約束和幾何一致性約束的特征匹配點對，得到最終特征匹配點對集合。

22、在一種可選的實施例中，

23、將所述配準(zhǔn)后的多譜圖像數(shù)據(jù)輸入變分自編碼器進行概率分布建模并引入相對熵約束，通過最小化重構(gòu)誤差得到光譜基向量和初始豐度圖，對所述初始豐度圖構(gòu)建多尺度形態(tài)學(xué)特征金字塔，計算非局部特征相似度矩陣，結(jié)合空間位置信息構(gòu)建區(qū)域親和力圖包括：

24、將配準(zhǔn)后的多譜圖像數(shù)據(jù)重構(gòu)為二維矩陣，所述二維矩陣的行數(shù)為圖像像素點數(shù)量，列數(shù)為光譜波段數(shù)量，對所述二維矩陣進行歸一化處理得到歸一化矩陣；

25、將所述歸一化矩陣輸入編碼器進行特征提取得到均值向量和方差向量，基于所述均值向量和所述方差向量采樣得到潛在變量，將所述潛在變量輸入解碼器進行重構(gòu)，通過反卷積操作和上采樣還原數(shù)據(jù)維度得到重構(gòu)矩陣；

26、構(gòu)造包含重構(gòu)誤差項和相對熵約束項的損失函數(shù)，通過最小化損失函數(shù)得到光譜基向量和初始豐度圖，對所述光譜基向量進行非負(fù)約束和歸一化處理得到標(biāo)準(zhǔn)化光譜基向量；

27、基于所述初始豐度圖執(zhí)行開運算，依次提取暗區(qū)域特征得到多尺度暗區(qū)域特征圖集合，同時執(zhí)行閉運算依次提取亮區(qū)域特征得到多尺度亮區(qū)域特征圖集合；將每個像素位置在所述多尺度暗區(qū)域特征圖集合和所述多尺度亮區(qū)域特征圖集合中的響應(yīng)值組合得到當(dāng)前像素位置的多尺度特征向量；

28、計算所述多尺度特征向量的協(xié)方差矩陣，基于所述協(xié)方差矩陣計算像素點對之間的馬氏距離，將所述馬氏距離通過高斯核函數(shù)映射得到特征相似度矩陣；計算局部區(qū)域的梯度方差得到紋理復(fù)雜度，將所述紋理復(fù)雜度作為權(quán)重因子，將所述特征相似度矩陣與像素點的空間距離進行加權(quán)組合得到區(qū)域親和力圖的邊權(quán)重，對所述邊權(quán)重設(shè)置閾值保留最大連接值得到最終區(qū)域親和力圖。

29、在一種可選的實施例中，

30、采用圖割算法對所述區(qū)域親和力圖進行分割得到局部一致性區(qū)域，將所述局部一致性區(qū)域與所述初始豐度圖進行自適應(yīng)融合得到增強豐度特征，采用多頭交叉注意力機制將所述光譜基向量與所述增強豐度特征進行特征對齊和互補增強，得到多譜融合特征包括：

31、將區(qū)域親和力圖構(gòu)造為加權(quán)無向圖，其中頂點集為圖像像素點的空間位置，邊集為相鄰像素點的連接關(guān)系，邊權(quán)重值由區(qū)域親和力圖中對應(yīng)像素點對的關(guān)聯(lián)強度確定，得到權(quán)重矩陣；

32、基于所述權(quán)重矩陣構(gòu)造度矩陣，所述度矩陣的對角元素為所述權(quán)重矩陣中對應(yīng)行的元素之和，根據(jù)所述權(quán)重矩陣和所述度矩陣構(gòu)建規(guī)范化拉普拉斯矩陣，求解所述規(guī)范化拉普拉斯矩陣的特征值方程，獲得特征向量；

33、根據(jù)所述特征向量的符號值將頂點集劃分為互不相交的子圖，計算各個子圖之間的割代價值和子圖體積值，當(dāng)所述割代價值小于割代價閾值且所述子圖體積值大于體積閾值時，對所述子圖執(zhí)行遞歸劃分，直至得到局部一致性區(qū)域集合；

34、計算所述局部一致性區(qū)域集合中每個區(qū)域內(nèi)像素點的初始豐度向量的算術(shù)平均值，得到區(qū)域豐度向量，計算所述局部一致性區(qū)域內(nèi)像素點的初始豐度向量與區(qū)域豐度向量之間的歐式距離，將所述歐式距離轉(zhuǎn)換為融合權(quán)重系數(shù)；

35、利用所述融合權(quán)重系數(shù)將像素點的初始豐度向量與區(qū)域豐度向量進行線性加權(quán)組合，得到增強豐度特征矩陣，并將光譜基向量通過查詢變換得到查詢特征矩陣，將所述增強豐度特征矩陣分別通過鍵變換和值變換得到鍵特征矩陣和值特征矩陣，將所述查詢特征矩陣與鍵特征矩陣相乘并進行歸一化，經(jīng)過激活函數(shù)得到注意力權(quán)重矩陣，將注意力權(quán)重矩陣與值特征矩陣相乘得到交互特征矩陣；

36、將多個所述交互特征矩陣在特征維度上拼接后映射得到融合特征矩陣；將所述融合特征矩陣與所述增強豐度特征矩陣相加并歸一化，得到多譜融合特征矩陣。

37、在一種可選的實施例中，

38、構(gòu)建特征判別準(zhǔn)則對所述結(jié)構(gòu)化特征表示進行判別性增強，根據(jù)判別性增強后的結(jié)構(gòu)化特征表示計算節(jié)點顯著性分布，將節(jié)點顯著性分布中顯著性高于預(yù)設(shè)閾值的區(qū)域確定為質(zhì)量缺陷區(qū)域，同時基于傳播后的網(wǎng)絡(luò)節(jié)點特征的傳播路徑分析質(zhì)量缺陷的形成機理，根據(jù)所述質(zhì)量缺陷區(qū)域的空間分布和所述質(zhì)量缺陷的形成機理生成質(zhì)量監(jiān)測報告包括：

39、構(gòu)建特征判別準(zhǔn)則，所述特征判別準(zhǔn)則包含基于節(jié)點特征向量計算的成對特征距離項、基于圖拉普拉斯矩陣的局部結(jié)構(gòu)保持項、基于高階矩的全局特征分布約束項和基于稀疏表示的特征正則化項，將所述特征判別準(zhǔn)則作為優(yōu)化目標(biāo)；

40、采用分塊坐標(biāo)下降的交替優(yōu)化策略對所述特征判別準(zhǔn)則進行優(yōu)化，通過自適應(yīng)核函數(shù)計算節(jié)點特征相似度得到節(jié)點特征權(quán)重矩陣，基于所述節(jié)點特征權(quán)重矩陣構(gòu)建圖拉普拉斯矩陣并進行特征分解得到特征映射矩陣，利用所述特征映射矩陣更新節(jié)點特征得到判別性增強特征；

41、將不同尺度的判別性增強特征通過注意力權(quán)重進行組合得到多尺度融合特征，計算所述多尺度融合特征與標(biāo)準(zhǔn)特征之間的馬氏距離和余弦距離，并通過加權(quán)融合得到顯著性分?jǐn)?shù)；

42、對所述顯著性分?jǐn)?shù)執(zhí)行雙閾值分割得到候選缺陷區(qū)域，通過形態(tài)學(xué)處理對所述候選缺陷區(qū)域進行優(yōu)化得到目標(biāo)質(zhì)量缺陷區(qū)域；

43、構(gòu)建雙層特征傳播網(wǎng)絡(luò)，在局部層基于所述多尺度融合特征的差異計算邊權(quán)重，在全局層基于節(jié)點重要性計算邊權(quán)重，將所述雙層網(wǎng)絡(luò)的邊權(quán)重組合提取所述目標(biāo)質(zhì)量缺陷區(qū)域的傳播路徑；

44、基于所述傳播路徑構(gòu)建循環(huán)神經(jīng)網(wǎng)絡(luò)，將所述多尺度融合特征沿著所述傳播路徑編碼為狀態(tài)序列，通過解碼所述狀態(tài)序列得到特征狀態(tài)轉(zhuǎn)移概率，從所述特征狀態(tài)轉(zhuǎn)移概率中提取顯著轉(zhuǎn)移模式，將所述顯著轉(zhuǎn)移模式與預(yù)設(shè)的材料知識庫進行匹配分析得到缺陷形成機理；

45、基于目標(biāo)質(zhì)量缺陷區(qū)域的空間分布特征、傳播路徑的網(wǎng)絡(luò)拓?fù)涮卣骱腿毕菪纬蓹C理的演化特征生成質(zhì)量監(jiān)測報告。

46、在一種可選的實施例中，

47、從所述特征狀態(tài)轉(zhuǎn)移概率中提取顯著轉(zhuǎn)移模式，將所述顯著轉(zhuǎn)移模式與預(yù)設(shè)的材料知識庫進行匹配分析得到缺陷形成機理包括：

48、對特征狀態(tài)轉(zhuǎn)移概率矩陣進行特征值分解得到特征值矩陣和特征向量矩陣，從所述特征向量矩陣中選取最大特征值對應(yīng)的特征向量作為轉(zhuǎn)移模式，基于所述特征值矩陣中的特征值與所述轉(zhuǎn)移模式的一階范數(shù)和二階范數(shù)的比值計算轉(zhuǎn)移特征得分，選取所述轉(zhuǎn)移特征得分最高的轉(zhuǎn)移模式構(gòu)建顯著轉(zhuǎn)移模式集合；

49、構(gòu)建包含材料物理性質(zhì)層和缺陷形成機理層的分層知識庫，基于所述顯著轉(zhuǎn)移模式集合中的狀態(tài)轉(zhuǎn)移序列特征和物理屬性特征計算與所述分層知識庫中缺陷形成機理的缺陷相似度；

50、將顯著轉(zhuǎn)移模式集合和缺陷形成機理分別作為兩個頂點集構(gòu)建二部圖，將缺陷相似度作為邊權(quán)重，采用最大權(quán)重匹配算法得到最優(yōu)匹配對；

51、從所述最優(yōu)匹配對中提取目標(biāo)狀態(tài)序列，將所述目標(biāo)狀態(tài)序列映射至對應(yīng)缺陷形成機理的演化階段，基于所述分層知識庫分析所述演化階段的物理過程，構(gòu)建包含所述關(guān)鍵狀態(tài)序列的成分場和溫度場的定量模型，計算所述定量模型的模式匹配概率和物理合理性概率得到機理可信度，基于所述機理可信度確定缺陷形成機理。

52、本發(fā)明實施例的第二方面，

53、提供一種基于光學(xué)多譜融合的在線質(zhì)量監(jiān)測系統(tǒng)，包括：

54、第一單元，用于采集待測物體在檢測工位的多譜圖像數(shù)據(jù)，在所述檢測工位設(shè)置可見光相機組和紅外相機組，所述可見光相機組和所述紅外相機組的觸發(fā)信號由同步控制模塊統(tǒng)一調(diào)度，對采集的多譜圖像數(shù)據(jù)進行預(yù)處理，并采用特征點匹配算法結(jié)合相機標(biāo)定參數(shù)對不同光譜圖像進行配準(zhǔn)，得到配準(zhǔn)后的多譜圖像數(shù)據(jù)；

55、第二單元，用于將所述配準(zhǔn)后的多譜圖像數(shù)據(jù)輸入變分自編碼器進行概率分布建模并引入相對熵約束，通過最小化重構(gòu)誤差得到光譜基向量和初始豐度圖，對所述初始豐度圖構(gòu)建多尺度形態(tài)學(xué)特征金字塔，計算非局部特征相似度矩陣，結(jié)合空間位置信息構(gòu)建區(qū)域親和力圖，采用圖割算法對所述區(qū)域親和力圖進行分割得到局部一致性區(qū)域，將所述局部一致性區(qū)域與所述初始豐度圖進行自適應(yīng)融合得到增強豐度特征，采用多頭交叉注意力機制將所述光譜基向量與所述增強豐度特征進行特征對齊和互補增強，得到多譜融合特征；

56、第三單元，用于構(gòu)建動態(tài)神經(jīng)網(wǎng)絡(luò)，將多譜融合特征映射為網(wǎng)絡(luò)節(jié)點特征，基于特征距離構(gòu)建節(jié)點間拓?fù)溥B接關(guān)系，通過動態(tài)神經(jīng)網(wǎng)絡(luò)使節(jié)點從鄰近節(jié)點獲取關(guān)鍵信息得到傳播后特征，對傳播后特征進行多層次降維得到結(jié)構(gòu)化表示，構(gòu)建特征判別準(zhǔn)則對所述結(jié)構(gòu)化特征表示進行判別性增強，根據(jù)判別性增強后的結(jié)構(gòu)化特征表示計算節(jié)點顯著性分布，將節(jié)點顯著性分布中顯著性高于預(yù)設(shè)閾值的區(qū)域確定為質(zhì)量缺陷區(qū)域，同時基于傳播后的網(wǎng)絡(luò)節(jié)點特征的傳播路徑分析質(zhì)量缺陷的形成機理，根據(jù)所述質(zhì)量缺陷區(qū)域的空間分布和所述質(zhì)量缺陷的形成機理生成質(zhì)量監(jiān)測報告。

57、本發(fā)明實施例的第三方面，

58、提供一種電子設(shè)備，包括：

59、處理器；

60、用于存儲處理器可執(zhí)行指令的存儲器；

61、其中，所述處理器被配置為調(diào)用所述存儲器存儲的指令，以執(zhí)行前述所述的方法。

62、本發(fā)明實施例的第四方面，

63、提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序指令，所述計算機程序指令被處理器執(zhí)行時實現(xiàn)前述所述的方法。

64、在本實施例中，通過多譜圖像融合技術(shù)，結(jié)合可見光和紅外信息，能夠更全面地獲取待測物體的表面特征信息。利用變分自編碼器、多尺度形態(tài)學(xué)特征、圖割算法等技術(shù)，有效降低了噪聲和背景干擾，提升了特征提取的精度。同時，采用多頭交叉注意力機制對光譜基向量和增強豐度特征進行特征對齊和互補增強，進一步提高了融合特征的質(zhì)量，從而提高了質(zhì)量缺陷檢測的精度和可靠性。通過構(gòu)建動態(tài)神經(jīng)網(wǎng)絡(luò)，將多譜融合特征映射為網(wǎng)絡(luò)節(jié)點特征，并基于節(jié)點間拓?fù)溥B接關(guān)系進行信息傳播，能夠更準(zhǔn)確地定位缺陷區(qū)域。同時，通過分析傳播路徑，可以深入了解質(zhì)量缺陷的形成機理，為后續(xù)的工藝改進提供指導(dǎo)，這超越了單純的缺陷檢測，實現(xiàn)了更深層次的質(zhì)量分析。采用在線多譜圖像采集和處理方式，能夠?qū)崟r監(jiān)測生產(chǎn)過程中的產(chǎn)品質(zhì)量。通過節(jié)點顯著性分布判斷缺陷區(qū)域，并結(jié)合缺陷形成機理自動生成質(zhì)量監(jiān)測報告，實現(xiàn)了質(zhì)量監(jiān)測的自動化和智能化，提高了生產(chǎn)效率，降低了人工成本。