本發(fā)明屬于工業(yè)紡織品瑕疵質檢領域，具體涉及一種條件擴散模型調制下參數(shù)演化的跨域紡織品質檢方法。

背景技術：

1、在紡織制造領域，紡織品質量的穩(wěn)定性對于確保生產效率和產品質量至關重要。然而，在織物生產的過程中，由于機器故障或者紗線問題，不可避免地會出現(xiàn)各種瑕疵(例如，破洞、污紗、斷經、斷緯等)，這些瑕疵將導致產品降級、客戶投訴等問題。為減少質量問題和生產損失，需要基于已有的生產狀態(tài)數(shù)據，實現(xiàn)對紡織品瑕疵的快速識別分類，以便及時采取適當?shù)募m正措施。

2、目前紡織行業(yè)對于織物瑕疵的識別還主要停留在人工目視識別方式，需要大量人工、實時性差，而且人工處理方式容易存在主觀干擾，工人的資歷經驗、情緒狀態(tài)等等都會影響紡織品瑕疵識別的準確率，常常出現(xiàn)漏檢、誤檢問題。為降低人工成本，提高質檢效率，部分紡織企業(yè)開始嘗試引入深度學習技術，實現(xiàn)紡織品瑕疵的自動化識別。

3、目前對于紡織品瑕疵自動識別的研究已經有了一些工作，例如，中國發(fā)明專利申請?zhí)朿n201711352882.8的專利文獻公開了一種基于gabor濾波器與rbf支持向量機的紡織品瑕疵識別方法，包括以下步驟：采集紡織品圖像，并進行預處理；生成gabor濾波器組，并對紡織品圖像進行濾波處理；對濾波圖像組進行擇優(yōu)融合；對融合后的圖像，進行二值化處理，使得瑕疵區(qū)域顯現(xiàn)；對瑕疵區(qū)域生成特征向量；利用事先訓練好的rbf核函數(shù)支持向量機分類器，對所述特征向量進行分類。本發(fā)明利用gabor濾波器對圖像進行分析，確保每個尺度及角度的紋理信息都能被覆蓋，利用rb支持向量機分析瑕疵類別。

4、又如，中國發(fā)明專利申請?zhí)朿n202011399329.1的專利文獻公開了一種織物圖像瑕疵分類方法，包括步驟：s1、將待檢測織物圖像切割成m×m像素，并將待檢測織物圖像轉化為灰度圖像；s2、對步驟s1中得到的灰度圖像通過灰度共生矩陣和梯度方向直方圖融合的方法進行特征提取以得到數(shù)據集；s3、對步驟s2中特征提取后得到的數(shù)據集采用線性判別分析的方法進行特征選取以生成新的數(shù)據集；s4、將步驟s3中得到的新的數(shù)據集輸入支持向量機進行測試，以得到待檢測織物圖像的分類結果。

5、但是，上述方法大多局限于某種特定的布料和織物生產環(huán)境，一旦織物的花色紋理或者生產環(huán)境的光照強度發(fā)生變化而導致測試數(shù)據分布出現(xiàn)偏移，這些基于傳統(tǒng)深度學習算法訓練的模型在這些數(shù)據上將難以準確識別織物的瑕疵類別。此外，這些方法往往考慮的是靜態(tài)不變的織物生產工況，模型也采用的是非增量訓練方式。每當織物生產線迭代一段周期后收集了新的紡織品瑕疵訓練數(shù)據，這些方法需要重頭開始訓練模型，無法復用之前學到的織物瑕疵特征知識，模型優(yōu)化升級效率低。

6、總的來說，目前基于傳統(tǒng)深度學習技術的紡織品質檢方法存在兩個主要問題：1)模型遷移能力差，難以適應多樣的織物和多變的車間生產環(huán)境；2)模型優(yōu)化升級效率低，難以高效利用新增訓練數(shù)據對模型進行性能提升。因此，研究具有強泛化性和可持續(xù)學習能力的跨領域瑕疵分類模型對于應對復雜多變的車間生產環(huán)境和跨布料遷移具有重要的實際意義?；诂F(xiàn)有技術存在的上述問題，本發(fā)明提出一種條件擴散模型調制下參數(shù)演化的跨域紡織品質檢方法。

技術實現(xiàn)思路

1、本發(fā)明的目的是針對背景技術中存在的問題，提供一種條件擴散模型調制下參數(shù)演化的跨域紡織品質檢方法。

2、所述條件擴散模型調制下參數(shù)演化的跨域紡織品質檢方法，包括:

3、步驟1，紡織品瑕疵圖片數(shù)據采集；

4、步驟2，領域劃分和瑕疵數(shù)據標注；

5、步驟3，搭建紡織品瑕疵識別系統(tǒng)；

6、步驟4，紡織品瑕疵識別系統(tǒng)組件初始化；

7、步驟5，紡織品瑕疵識別系統(tǒng)進行模型訓練；

8、步驟6，紡織品瑕疵識別系統(tǒng)對目標領域的紡織品圖片進行瑕疵識別分類。

9、進一步地，步驟1所述紡織品瑕疵圖片數(shù)據采集：梭織機上安裝的邊緣側視覺傳感器采集多個不同的織物生產工況和織物花色紋理下的各瑕疵類別對應的紡織品瑕疵圖片。

10、進一步地，步驟2所述領域劃分和瑕疵數(shù)據標注：紡織品瑕疵數(shù)據劃分模塊將采集到的紡織品瑕疵圖片按照織物的生產工況和花色紋理，劃分成不同領域，其中每個領域代表了紡織品瑕疵數(shù)據的一種數(shù)據分布，劃分后的領域將用于后續(xù)的紡織品瑕疵識別系統(tǒng)的模型訓練階段和測試階段。

11、進一步地，步驟2中，劃分成不同領域包括：用于訓練的領域數(shù)量為ts，用于測試的領域數(shù)量為tt，其中ts+tt＝t；則前ts個領域作為源領域用于訓練，剩下的tt個領域作為目標領域用于測試，之后，對于每個源領域中的紡織品瑕疵圖片，標注其瑕疵類別，構造后的各領域滿足標簽空間相同但數(shù)據分布不同。

12、進一步地，步驟3所述搭建紡織品瑕疵識別系統(tǒng)包括：紡織品瑕疵特征提取器學習模塊搭建瑕疵特征提取器，紡織品瑕疵分類器學習模塊搭建瑕疵分類器和參照點隊列，條件擴散模型訓練模塊搭建條件擴散模型，擴散模型訓練樣本收集模塊搭建錨點隊列和原型隊列。

13、進一步地，步驟4所述紡織品瑕疵識別系統(tǒng)組件初始化：紡織品瑕疵特征提取器學習模塊初始化瑕疵特征提取器的參數(shù)，紡織品瑕疵分類器學習模塊初始化瑕疵分類器的參數(shù)并將參照點隊列初始化為空的先進先出隊列，條件擴散模型訓練模塊初始化條件擴散模型的參數(shù)，擴散模型訓練樣本收集模塊初始化錨點隊列和原型隊列為空的先進先出隊列。

14、進一步地步驟5所述紡織品瑕疵識別系統(tǒng)進行模型訓練：在源領域持續(xù)到來的場景下，基于紡織品瑕疵分類器參數(shù)擴散生成的方法進行模型訓練，具體包括如下步驟：

15、步驟5.1，隊列重置和參數(shù)狀態(tài)繼承：擴散模型訓練樣本收集模塊將錨點隊列和原型隊列初始化為空的先進先出隊列。當?shù)趖個源領域到來之后，如果t>1，則紡織品瑕疵特征提取器學習模塊、紡織品瑕疵分類器學習模塊和條件擴散模型訓練模塊分別將瑕疵特征提取器的參數(shù)、瑕疵分類器的參數(shù)、條件擴散模型的參數(shù)設置為在上一個源領域上訓練結束后的狀態(tài)；

16、步驟5.2，紡織品瑕疵特征提取器學習模塊從當前源領域中隨機采樣b個樣本：其中是來自第t個源領域的第i個采樣圖片，而是圖片的瑕疵類別標簽；

17、步驟5.3，紡織品瑕疵特征提取器學習模塊將隨機采樣的b個圖片數(shù)據輸入瑕疵特征提取器，得到深度特征圖，對深度特征圖進行全局平均池化操作，得到這b個圖片數(shù)據對應的深度特征向量

18、步驟5.4，紡織品瑕疵分類器學習模塊將深度特征向量作為瑕疵分類器的輸入，得到當前瑕疵分類器對這b個圖片數(shù)據的瑕疵類別概率預測向量

19、步驟5.5，紡織品瑕疵分類器學習模塊基于瑕疵類別概率預測向量和真實的瑕疵類別標簽計算交叉熵損失

20、步驟5.6，如果參照點隊列非空，則紡織品瑕疵特征提取器學習模塊基于參照點隊列中保存的歷史源領域的瑕疵分類器參數(shù)計算一致性損失否則，進入步驟5.7；

21、步驟5.7，紡織品瑕疵識別系統(tǒng)計算總體損失并利用隨機梯度下降算法進行反向傳播，以更新瑕疵特征提取器的參數(shù)和瑕疵分類器的參數(shù)，來最小化總體損失，提升紡織品瑕疵識別的性能；

22、步驟5.8，如果當前源領域上的訓練熱身階段已經結束，則擴散模型訓練樣本收集模塊計算并更新當前源領域的原型矩陣μt，并將原型矩陣μt和步驟5.7中更新后的瑕疵分類器參數(shù)wt分別存入原型隊列和錨點隊列中；否則，進入步驟5.9；

23、步驟5.9，如果錨點隊列滿了，則條件擴散模型訓練模塊計算條件擴散模型的噪聲估計損失

24、步驟5.10，條件擴散模型訓練模塊通過隨機梯度下降算法來反向傳播梯度，更新條件擴散模型的參數(shù)，以最小化噪聲估計損失；否則，進入步驟5.11；

25、步驟5.11，重復上述步驟5.2-5.10，直至紡織品瑕疵識別系統(tǒng)里的模型收斂或達到最大訓練步數(shù)；

26、步驟5.12，紡織品瑕疵分類器學習模塊將在當前源領域上訓練結束后的瑕疵分類器參數(shù)存入參照點隊列；

27、步驟5.13，如果t<ts(ts為源領域的數(shù)量)，則紡織品瑕疵識別系統(tǒng)加載下一個源領域，跳轉到步驟5.1，否則跳轉到步驟5.14；

28、步驟5.14，紡織品瑕疵識別系統(tǒng)返回參照點隊列和最后一個源領域訓練結束后的瑕疵特征提取器參數(shù)及條件擴散模型參數(shù)。

29、進一步地，步驟5.3中，瑕疵特征提取器輸出的深度特征圖經過全局平均池化操作后得到的深度特征向量具有式(1)的形式：

30、

31、其中，df表示深度特征向量的維度。

32、進一步地，步驟5.4中，瑕疵類別概率預測向量具有式(2)的形式：

33、

34、其中，c是瑕疵類別總數(shù)，是瑕疵類別概率預測向量的第k個位置處的值，含義是樣本屬于第k類瑕疵的概率。

35、進一步地，步驟5.5中，交叉熵損失的公式表示如式(3)所示：

36、

37、其中，nt是源領域的訓練樣本總數(shù)，wt是瑕疵分類器在源領域上訓練時的參數(shù)，是樣本經特征提取器處理后得到的深度特征向量，是樣本的瑕疵類別標簽，softmax(·)表示歸一化指數(shù)函數(shù)，用于將多分類的結果以概率的形式展現(xiàn)，crossentropy(·)表示交叉熵函數(shù)。

38、進一步地，步驟5.6中，一致性損失的公式表示如式(4)至(5)所示：

39、

40、其中，|qr|是參照點隊列qr的長度，是參照點隊列qr中保存的歷史源領域訓練結束后的瑕疵分類器參數(shù)，kl(·,·)是kullback-leibler散度函數(shù)，sg(·)是梯度截斷操作，以穩(wěn)定訓練過程。

41、進一步地，步驟5.7中，總體損失的公式表示如式(6)所示：

42、

43、其中，是第t個源領域上的交叉熵損失，是第t個源領域上的一致性損失，λ是權衡損失貢獻的超參數(shù)。

44、進一步地，步驟5.8中，原型矩陣μt的公式表示如式(7)至(8)所示：

45、

46、nt:＝nt+b......(8)，

47、其中,nt記錄在第t個源領域上訓練時，從訓練熱身階段結束到當前訓練迭代次數(shù)為止的訓練樣本數(shù)量；μt[k]是原型矩陣μt的第k行，含義是第k類瑕疵的中心特征向量。

48、進一步地，步驟5.9中，噪聲估計損失的公式表示如式(9)至(12)所示：

49、

50、其中，qa是錨點隊列，是錨點隊列qa中保存的第m個在源領域訓練過程中的瑕疵分類器參數(shù)，是原型隊列qp中保存的第m個在源領域訓練過程中的原型矩陣,是各向同性的標準多元高斯分布，∈是采樣自分布的隨機噪聲，s是加噪步數(shù)，εθ是參數(shù)為θ的條件擴散模型，βs'是條件擴散模型加噪過程中第s'步所采用的方差，⊕表示拼接操作。

51、進一步地，步驟6，紡織品瑕疵識別系統(tǒng)對目標領域的紡織品圖片進行瑕疵識別分類，具體包括：

52、步驟6.1，紡織品瑕疵識別系統(tǒng)記測試領域為當前的目標領域；

53、步驟6.2，估計測試領域的原型矩陣：領域定制化的紡織品瑕疵分類器參數(shù)生成模塊根據輸入的測試領域的圖像，利用經瑕疵特征提取器處理后的深度特征向量估計原型矩陣μtest；

54、步驟6.3，構造測試領域的瑕疵分類器參數(shù)：領域定制化的紡織品瑕疵分類器參數(shù)生成模塊基于參照點隊列、條件擴散模型和測試領域的原型矩陣，生成多組瑕疵分類器參數(shù)，并通過平均函數(shù)集成所有的瑕疵分類器參數(shù)，得到最終用于測試領域的瑕疵分類器參數(shù)

55、步驟6.4，測試領域上的瑕疵類別預測：領域定制化的紡織品瑕疵分類器參數(shù)生成模塊用訓練結束后的瑕疵特征提取器和瑕疵分類器參數(shù)對測試領域的圖片進行瑕疵類別預測，選擇瑕疵類別概率預測向量中分類置信度最大的那一瑕疵類別作為最終分類結果；

56、步驟6.5，紡織品瑕疵識別系統(tǒng)加載下一個目標領域，直至所有目標領域均已測試完畢。

57、進一步地，步驟6.2中，原型矩陣μtest表示式如式(13)至(14)所示：

58、

59、其中，ntest是測試領域的測試樣本總數(shù)，是測試領域的第i個樣本的深度特征向量。

60、進一步地，步驟6.3中，分類器參數(shù)的公式表示如式(15)所示：

61、

62、其中，是基于歷史源領域的瑕疵分類器參數(shù)和測試領域的原型矩陣μtest，構造條件利用條件擴散模型生成的第j個瑕疵分類器參數(shù)殘差，mg表示每個條件下生成瑕疵分類器參數(shù)的次數(shù)。

63、與現(xiàn)有技術相比，本發(fā)明的優(yōu)越效果在于：

64、1.本發(fā)明所述方法并非針對某一專門織物生產工況或者專一織物花色紋理的瑕疵識別方法，本發(fā)明提出的條件擴散模型調制下參數(shù)演化的跨域紡織品質檢方法具有普適性和通用性，能夠用于不同的織物生產工況或花色紋理的跨領域紡織品瑕疵識別任務；

65、2.本發(fā)明所述方法的訓練過程模擬了源領域持續(xù)到來的情景，紡織品瑕疵識別系統(tǒng)在增量學習過程中，不用完全重頭開始訓練，能夠復用上一階段的模型參數(shù)值作為優(yōu)化起點，極大地節(jié)省了模型收斂所需的訓練時間，同時，無需人工為目標領域數(shù)據進行標注，減輕了人力成本。

66、3.本發(fā)明所述方法利用條件擴散模型強大的分布建模和生成能力，能夠實現(xiàn)領域定制化的瑕疵分類器參數(shù)生成，提供更為精確和魯棒的紡織品瑕疵類別預測。