本發(fā)明涉及計算機(jī)視覺和深度學(xué)習(xí)，尤其涉及一種缺陷圖像生成方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、缺陷檢測對確保工業(yè)生產(chǎn)過程中的產(chǎn)品質(zhì)量至關(guān)重要。傳統(tǒng)的缺陷檢測方法依賴于人工檢查或簡單的圖像處理技術(shù)，這些方法不僅效率低下，而且準(zhǔn)確率受限于操作者的經(jīng)驗(yàn)和疲勞程度。

2、近年來，基于深度學(xué)習(xí)的方法顯著提高了缺陷檢測的速度和準(zhǔn)確性。然而，這些方法的性能在很大程度上依賴于大量、多樣化且標(biāo)注精確的訓(xùn)練數(shù)據(jù)。在真實(shí)工業(yè)場景中，尤其是對于特定類型的缺陷，我們無法獲取足夠多的缺陷數(shù)據(jù)，并且標(biāo)注這些數(shù)據(jù)既困難又昂貴。

3、受限于數(shù)據(jù)問題，許多無監(jiān)督、半監(jiān)督、弱監(jiān)督方法被提出并應(yīng)用于缺陷檢測。無監(jiān)督方法雖然節(jié)省了標(biāo)注成本且大多數(shù)情況下只需要正常樣本，但由于缺乏缺陷的先驗(yàn)知識，不能對缺陷進(jìn)行分類。半監(jiān)督方法利用大量無標(biāo)注數(shù)據(jù)及少量標(biāo)注數(shù)據(jù)，在降低標(biāo)注成本的同時得到不錯的檢測效果，但如果未標(biāo)記數(shù)據(jù)的分布與標(biāo)記數(shù)據(jù)不一致，可能會導(dǎo)致模型偏差，影響最終的性能。弱監(jiān)督方法相較于無監(jiān)督方法，使用粗粒度標(biāo)簽改善缺陷識別，但是其識別精度較弱，監(jiān)督方法仍需改進(jìn)。分析上述方法不難發(fā)現(xiàn)，這些方法可以看作是在工業(yè)應(yīng)用中當(dāng)獲取足夠多的標(biāo)記良好的缺陷數(shù)據(jù)不可行且成本高昂時，相對于監(jiān)督缺陷檢測方法的一種妥協(xié)。

4、為了解決數(shù)據(jù)問題，許多方法被提出。在近年來的研究和實(shí)踐中，生成對抗網(wǎng)絡(luò)(gans)已經(jīng)展現(xiàn)出其在多個領(lǐng)域的強(qiáng)大潛力，尤其是在圖像生成、圖像修復(fù)和風(fēng)格轉(zhuǎn)換等方面。gans利用其對抗學(xué)習(xí)的特性，能夠擬合真實(shí)數(shù)據(jù)的高層特征分布，許多方法嘗試基于gan去解決缺陷數(shù)據(jù)問題。然而，這些方法大多面臨如下問題：

5、第一，方法本身就需要大量的缺陷數(shù)據(jù)。

6、第二，無法在生成缺陷數(shù)據(jù)的同時提供缺陷圖像的像素級標(biāo)簽；少部分方法可以在生成缺陷圖像的同時提供其像素級標(biāo)簽，但是這些方法要么仍需要人工的參與，要么無法保證生成的缺陷圖像和像素級標(biāo)簽的嚴(yán)格對齊。

7、第三，方法只適用于紋理類別缺陷。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種缺陷圖像生成方法、裝置、設(shè)備及介質(zhì)，解決現(xiàn)有技術(shù)中的缺陷檢測方法依賴于大量的缺陷數(shù)據(jù)，而缺陷圖像生成方法無法在生成缺陷數(shù)據(jù)的同時提供缺陷圖像的像素級標(biāo)簽，成本高，且適用范圍窄，只適用于紋理類別缺陷的問題。

2、為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案是提供一種缺陷圖像生成方法，包括步驟：獲取多個正常樣本圖像，將所述正常樣本圖像和高斯噪聲輸入第一生成網(wǎng)絡(luò)中；根據(jù)多個所述正常樣本圖像和高斯噪聲，計算獲取每個所述正常樣本圖像對應(yīng)的缺陷掩碼；將所述正常樣本圖像和其對應(yīng)的所述缺陷掩碼輸入第二生成網(wǎng)絡(luò)中，計算獲取每個所述正常樣本圖像對應(yīng)的缺陷樣本圖像。

3、在一些實(shí)施例中，在所述根據(jù)多個所述正常樣本圖像和高斯噪聲，計算獲取每個所述正常樣本圖像對應(yīng)的缺陷掩碼的步驟中，具體包括：對所述正常樣本圖像進(jìn)行特征提取，獲取每個所述正常樣本圖像對應(yīng)的中間缺陷特征；對所述中間缺陷特征進(jìn)行上采樣處理，并將所得的值進(jìn)行歸一化，根據(jù)所述高斯噪聲的引導(dǎo)，得到每個所述正常樣本圖像對應(yīng)的多個所述缺陷掩碼。

4、在一些實(shí)施例中，在所述計算獲取每個所述正常樣本圖像對應(yīng)的缺陷樣本圖像的步驟中，具體包括：提取所述正常樣本圖像的特征并進(jìn)行調(diào)制激活，通過所述缺陷掩碼，引導(dǎo)生成所述正常樣本圖像對應(yīng)的缺陷前景；將所述正常樣本圖像、缺陷掩碼以及缺陷前景進(jìn)行融合，得到每個所述正常樣本圖像對應(yīng)的所述缺陷樣本圖像。

5、在一些實(shí)施例中，所述第一生成網(wǎng)絡(luò)通過第一初始生成網(wǎng)絡(luò)訓(xùn)練得到，訓(xùn)練方法包括步驟：獲取真實(shí)缺陷樣本圖像對應(yīng)的真實(shí)缺陷掩碼，并通過所述第一初始生成網(wǎng)絡(luò)生成所述正常樣本圖像對應(yīng)的訓(xùn)練缺陷掩碼；使用第一區(qū)域?qū)箵p失函數(shù)，對所述真實(shí)缺陷掩碼和訓(xùn)練缺陷掩碼進(jìn)行比對，并根據(jù)比對結(jié)果相應(yīng)的修改優(yōu)化所述第一初始生成網(wǎng)絡(luò)的參數(shù)；根據(jù)所述真實(shí)缺陷樣本圖像和所述真實(shí)缺陷掩碼，計算獲取真實(shí)缺陷掩碼化圖像；根據(jù)所述正常樣本圖像和訓(xùn)練缺陷掩碼，計算獲取訓(xùn)練缺陷掩碼化圖像；使用第一圖像對抗損失函數(shù)，對所述真實(shí)缺陷掩碼化圖像和訓(xùn)練缺陷掩碼化圖像進(jìn)行比對，并根據(jù)比對結(jié)果相應(yīng)的修改優(yōu)化所述第一初始生成網(wǎng)絡(luò)的參數(shù)；當(dāng)所述第一區(qū)域?qū)箵p失函數(shù)和第一圖像對抗損失函數(shù)的值均達(dá)到最小化，即得到訓(xùn)練好的所述第一生成網(wǎng)絡(luò)。

6、在一些實(shí)施例中，所述第一生成網(wǎng)絡(luò)的訓(xùn)練方法還包括步驟：對所述正常樣本圖像進(jìn)行閾值處理，得到所述正常樣本圖像對應(yīng)的分割掩碼；使用目標(biāo)邊界感知損失函數(shù)，對所述分割掩碼和訓(xùn)練缺陷掩碼進(jìn)行比對，并根據(jù)比對結(jié)果相應(yīng)的修改優(yōu)化所述第一初始生成網(wǎng)絡(luò)的參數(shù)；當(dāng)所述第一區(qū)域?qū)箵p失函數(shù)、第一圖像對抗損失函數(shù)以及目標(biāo)邊界感知損失函數(shù)的值均達(dá)到最小化，即得到訓(xùn)練好的所述第一生成網(wǎng)絡(luò)。

7、在一些實(shí)施例中，所述第二生成網(wǎng)絡(luò)通過第二初始生成網(wǎng)絡(luò)訓(xùn)練得到，訓(xùn)練方法包括步驟：獲取真實(shí)缺陷樣本圖像，并通過所述第二初始生成網(wǎng)絡(luò)生成所述正常樣本圖像對應(yīng)的訓(xùn)練缺陷樣本圖像；使用第二圖像對抗損失函數(shù)，對所述真實(shí)缺陷樣本圖像和訓(xùn)練缺陷樣本圖像進(jìn)行比對，并根據(jù)比對結(jié)果相應(yīng)的修改優(yōu)化所述第二初始生成網(wǎng)絡(luò)的參數(shù)；獲取所述真實(shí)缺陷樣本圖像對應(yīng)的真實(shí)缺陷掩碼，利用所述真實(shí)缺陷掩碼分別提取所述真實(shí)缺陷樣本圖像和訓(xùn)練缺陷樣本圖像的缺陷區(qū)域，形成對應(yīng)的真實(shí)缺陷區(qū)域圖和訓(xùn)練缺陷區(qū)域圖；使用第二區(qū)域?qū)箵p失函數(shù)，對所述真實(shí)缺陷區(qū)域圖和訓(xùn)練缺陷區(qū)域圖進(jìn)行比對，并根據(jù)比對結(jié)果相應(yīng)的修改優(yōu)化所述第二初始生成網(wǎng)絡(luò)的參數(shù)；當(dāng)所述第二區(qū)域?qū)箵p失函數(shù)和第二圖像對抗損失函數(shù)的值均達(dá)到最小化，即得到訓(xùn)練好的所述第二生成網(wǎng)絡(luò)。

8、本發(fā)明還提供一種缺陷圖像生成裝置，包括：獲取單元，用于獲取多個正常樣本圖像；第一生成網(wǎng)絡(luò)，用于根據(jù)多個所述正常樣本圖像和高斯噪聲，計算獲取每個所述正常樣本圖像對應(yīng)的缺陷掩碼；第二生成網(wǎng)絡(luò)，用于根據(jù)所述正常樣本圖像和其對應(yīng)的所述缺陷掩碼，計算獲取每個所述正常樣本圖像對應(yīng)的缺陷樣本圖像。

9、在一些實(shí)施例中，所述第一生成網(wǎng)絡(luò)包括第一生成器和第一雙層次判別器，所述第二生成網(wǎng)絡(luò)包括第二生成器和第二雙層次判別器；所述第一生成器用于根據(jù)多個所述正常樣本圖像和高斯噪聲，計算獲取每個所述正常樣本圖像對應(yīng)的缺陷掩碼，所述第一雙層次判別器用于根據(jù)所述缺陷掩碼訓(xùn)練所述第一生成網(wǎng)絡(luò)；所述第二生成器用于根據(jù)所述正常樣本圖像和其對應(yīng)的所述缺陷掩碼，計算獲取每個所述正常樣本圖像對應(yīng)的缺陷樣本圖像，所述第二雙層次判別器用于根據(jù)所述缺陷樣本圖像訓(xùn)練所述第二生成網(wǎng)絡(luò)；所述第一生成器包括依次相連的第一編碼器和第一解碼器，所述第一雙層次判別器包括第一缺陷圖像級判別器和第一缺陷區(qū)域級判別器；所述第二生成器包括依次相連的第二編碼器、第二解碼器和缺陷聚焦模塊，所述第二雙層次判別器包括第二缺陷圖像級判別器和第二缺陷區(qū)域級判別器；所述第二解碼器包括兩個依次相連的特征調(diào)制模塊。

10、本發(fā)明還提供一種電子設(shè)備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運(yùn)行的計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序時實(shí)現(xiàn)如上述所述方法的步驟。

11、本發(fā)明還提供一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如上述所述方法的步驟。

12、本發(fā)明的有益效果是：本技術(shù)提供了一種缺陷圖像生成方法、裝置、設(shè)備及介質(zhì)。該方法包括步驟：獲取多個正常樣本圖像，將正常樣本圖像和高斯噪聲輸入第一生成網(wǎng)絡(luò)中；根據(jù)多個正常樣本圖像和高斯噪聲，計算獲取每個正常樣本圖像對應(yīng)的缺陷掩碼；將正常樣本圖像和其對應(yīng)的缺陷掩碼輸入第二生成網(wǎng)絡(luò)中，計算獲取每個正常樣本圖像對應(yīng)的缺陷樣本圖像。本技術(shù)通過利用大量現(xiàn)有的正常樣本圖像，生成大量高質(zhì)量、種類多樣且合理的缺陷掩碼和缺陷樣本圖像，進(jìn)一步將大量的缺陷掩碼和缺陷樣本圖像用于下游的缺陷檢測任務(wù)(如缺陷分類、缺陷分割等)，不僅適用范圍廣，還能在生成缺陷樣本圖像的同時提供缺陷樣本圖像的像素級標(biāo)簽(即缺陷掩碼)，有效提升了下游任務(wù)的性能。