本發(fā)明屬于異常聲音檢測(cè)領(lǐng)域，涉及一種用于帶式輸送機(jī)故障診斷的異常聲音檢測(cè)方法。

背景技術(shù)：

1、隨著科技的不斷發(fā)展以及勞動(dòng)力短缺現(xiàn)象的出現(xiàn)，大規(guī)模使用工業(yè)設(shè)備來代替人工進(jìn)行生產(chǎn)變得越來越普及。利用聲音信號(hào)來對(duì)工業(yè)設(shè)備進(jìn)行的故障檢測(cè)技術(shù)具有非接觸測(cè)量，設(shè)備簡(jiǎn)單以及檢測(cè)信號(hào)容易獲取等優(yōu)點(diǎn)，具有較大的發(fā)展?jié)摿?。異常聲音檢測(cè)(asd)是識(shí)別給定聲音是正常還是異常的任務(wù)。由于異常聲音數(shù)據(jù)較少，且種類繁多，因此通常使用正常聲音來進(jìn)行訓(xùn)練。然后，他們根據(jù)聲音與學(xué)習(xí)模型的擬合程度來計(jì)算觀察到的聲音的之間的誤差。如果誤差超過預(yù)設(shè)閾值，則聲音被識(shí)別為異常。

2、傳統(tǒng)的asd系統(tǒng)使用自動(dòng)編碼器(ae)，例如插值深度神經(jīng)網(wǎng)絡(luò)(idnn)和id條件自動(dòng)編碼器。他們通過最小化重建誤差并使用重建誤差作為檢測(cè)異常的分?jǐn)?shù)來學(xué)習(xí)正常聲音的特征。然而，由于訓(xùn)練過程不涉及異常聲音，因此這種模型的有效性可能受到限制。與基于自動(dòng)編碼器(ae)的無監(jiān)督分類方法比，如插值深度神經(jīng)網(wǎng)絡(luò)(idnn)[4]和id條件自動(dòng)編碼器等。采用自監(jiān)督分類的方法表現(xiàn)更好?；谧员O(jiān)督的分類方法能夠利用豐富的數(shù)據(jù)自動(dòng)生成標(biāo)簽，在檢測(cè)精度上更高。但是這種方法并不總是穩(wěn)定，即使對(duì)于相同類型的機(jī)器，其性能也不同。為了解決緩解這個(gè)問題，研究人員提出了基于流的自監(jiān)督密度估計(jì)(即glowaff)，使用歸一化流，例如生成流(glow)或掩模自回歸流(maf)。通過引入輔助任務(wù)來區(qū)分該機(jī)器id的聲音數(shù)據(jù)(目標(biāo)數(shù)據(jù))與具有相同機(jī)器類型的其他機(jī)器id的聲音數(shù)據(jù)(異常值數(shù)據(jù))，從而提高了對(duì)一個(gè)機(jī)器id的檢測(cè)性能。因此，這種方法需要針對(duì)每種機(jī)器類型的不同機(jī)器id使用不同的訓(xùn)練模型，這對(duì)于一般應(yīng)用來說是不希望的。

3、log-mel譜圖是基于人類聽覺感知而設(shè)計(jì)的，使用梅爾濾波器組來捕獲各種頻率的信息，因此被廣泛應(yīng)用在asd中。然而，它可能會(huì)過濾掉可能存在明顯特征的異常聲音的高頻成分。此外，單一的使用log-mel聲譜圖可能無法完全區(qū)分正常聲音和異常聲音，導(dǎo)致與自監(jiān)督方法一起使用時(shí)性能不穩(wěn)定。針對(duì)以上論述，本發(fā)明旨在通過基于深度學(xué)習(xí)的異常聲音檢測(cè)方法監(jiān)測(cè)嘈雜環(huán)境中帶式輸送機(jī)運(yùn)行狀態(tài)。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)以上論述，本發(fā)明提出一種基于多尺度特征融合的異常聲音檢測(cè)方法用于帶式輸送機(jī)皮帶運(yùn)行檢測(cè)。它以原始聲音數(shù)據(jù)作為輸入，采用自監(jiān)督方法來進(jìn)行檢測(cè)識(shí)別，在log-mel的基礎(chǔ)上，利用卷積神經(jīng)網(wǎng)絡(luò)(cnn)來提取時(shí)間特征，彌補(bǔ)根據(jù)對(duì)數(shù)梅爾頻譜圖中無法獲取到的異常信息。采用mobilefacenet(mfn)作為分類器，將融合后的信息輸入到mfn中，以學(xué)習(xí)正常聲音中的細(xì)節(jié)特征。最后我們拼接時(shí)間與空間特征下的卷積信息，并生成最終的特征信息，通過這些信息輸入網(wǎng)絡(luò)，判斷是否發(fā)生故障以及故障類型。

2、本發(fā)明提供一種用于帶式輸送機(jī)故障診斷的異常聲音檢測(cè)方法，包括下述步驟：

3、第一步，構(gòu)建數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集由mimii和toyadmos中的訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)構(gòu)成，包括不同工況下的故障類型；

4、第二步，利用訓(xùn)練數(shù)據(jù)集對(duì)預(yù)設(shè)的多尺度特征融合的異常聲音檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；多尺度特征融合的異常聲音檢測(cè)網(wǎng)絡(luò)包括：譜時(shí)特征融合模塊、基于卷積神經(jīng)網(wǎng)絡(luò)的時(shí)間信息特征提取網(wǎng)絡(luò)模塊；

5、第三步，將異常聲音輸入訓(xùn)練后的多尺度特征融合的異常聲音檢測(cè)網(wǎng)絡(luò)，完成異常聲音檢測(cè)的故障診斷。

6、優(yōu)選的，所述第二步中的對(duì)多尺度特征融合的異常聲音檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的方法包括：利用短時(shí)傅里葉變換來獲取頻譜圖的頻帶數(shù)，并根據(jù)這些頻帶來獲取異常聲音數(shù)據(jù)；對(duì)數(shù)梅爾頻譜圖將線性頻譜圖的頻率軸通過對(duì)數(shù)變換轉(zhuǎn)換為梅爾頻率軸，增加抵抗環(huán)境噪聲的影響，提高特征的區(qū)分度；

7、使用時(shí)間信息特征提取網(wǎng)絡(luò)模塊補(bǔ)償對(duì)數(shù)梅爾頻譜圖中所缺失的異常信息，豐富異常特征；使用三層帶有一維卷積核的卷積層，不同的卷積核具有不同的尺寸，利用這些卷積層提取原始輸入聲音數(shù)據(jù)的特征信息；特征信息包括音頻閾值、音頻在時(shí)間上以及空間上的對(duì)應(yīng)信息；通過不同程度上的卷積方式將淺層特征轉(zhuǎn)化為不同尺度的特征映射；其中，使用大內(nèi)核一維卷積，其次使用較小的卷積塊，每個(gè)塊由一個(gè)層歸一化、一個(gè)relu激活函數(shù)和一個(gè)具有較小內(nèi)核大小的一維卷積組成；通過不同卷積核大小的組合，有效地提取時(shí)間序列中的細(xì)微特征以及局部信息；

8、最后將的對(duì)數(shù)梅爾頻譜圖獲得時(shí)間軸相關(guān)卷積與信息補(bǔ)償網(wǎng)絡(luò)獲得的空間信息相加得到最終圖像，完成訓(xùn)練。

9、優(yōu)選的，在完成第二步后，進(jìn)行特征補(bǔ)全操作，表達(dá)式為：

10、xi＝σ[wi·x(τ)+bi]

11、fs＝log(wm·||stft(x)||2)

12、其中wi表示第i個(gè)尺寸的卷積核的向量權(quán)重，σ表示激活函數(shù),bi表示第i個(gè)尺寸的卷積核的偏置向量,x(τ)表示單聲道的原始輸入聲音信號(hào)，xi表示第i個(gè)尺寸的卷積核的輸出，i∈(1,3,5)；其中表示梅爾濾波器組，b是通過短時(shí)傅立葉變換(stft)獲得的頻譜圖的頻帶數(shù)。

13、優(yōu)選的：

14、xc＝add(x1,x3,x3)

15、xz＝concat(xc,xm)

16、其中x1,x3,x3表示相對(duì)應(yīng)的卷積核大小的cnn層的輸出，add表示特征融合策略，特征圖以相同通道數(shù)相加，xc表示時(shí)間特征融合的輸出，xm表示log-mel譜圖，concat表示不改變特征圖大小和增加通道數(shù)的特征融合策略；xz表示時(shí)譜信息融合的輸入特征。

17、優(yōu)選的，在完成第二步后，計(jì)量對(duì)多尺度特征融合的異常聲音檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練中的損失，損失函數(shù)為：

18、

19、該損失函數(shù)將特征向量映射到半徑為s的超球面上，作為輸入特征和目標(biāo)權(quán)重之間的角度，并在輸入特征和目標(biāo)權(quán)重之間添加附加角度間隔m,θyi+m以增強(qiáng)類內(nèi)緊湊性以及階級(jí)間的變異性。

20、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點(diǎn)和技術(shù)效果：

21、在本發(fā)明中，主要通過提出的簡(jiǎn)單有效的多尺度特征融合模塊(stasd)實(shí)現(xiàn)不同分支的信息提取、異常噪點(diǎn)消除，同時(shí)通過簡(jiǎn)單的分類模塊(mfn)融合不同尺度的特征，實(shí)現(xiàn)聲音的異常檢測(cè)。具體說來：

22、stasd將時(shí)間信息與空間信息結(jié)合，通過對(duì)數(shù)梅爾頻譜圖提取的時(shí)間維度上與之相對(duì)應(yīng)的特征信息，以及通過時(shí)間信息特征提取網(wǎng)絡(luò)模塊提取特征補(bǔ)償所缺失的異常信息，實(shí)現(xiàn)了信息的相互補(bǔ)充，提高了模型的特征提取能力。通過mfn進(jìn)行輕量化分析，對(duì)有限的移動(dòng)資源進(jìn)行分析，具有較小的模型參數(shù)量和計(jì)算復(fù)雜度。mobilefacenet的設(shè)計(jì)考慮了實(shí)時(shí)性的需求，在移動(dòng)設(shè)備上可以實(shí)現(xiàn)快速的推理速度。這意味著mobilefacenet能夠快速地處理數(shù)據(jù)，快速準(zhǔn)確地進(jìn)行故障診斷，適用于需要低延遲的場(chǎng)景。最終取得令人滿意的檢測(cè)效果。

技術(shù)特征：

1.一種用于帶式輸送機(jī)故障診斷的異常聲音檢測(cè)方法，其特征在于：包括下述步驟：

2.根據(jù)權(quán)利要求1所述的一種用于帶式輸送機(jī)故障診斷的異常聲音檢測(cè)方法，其特征在于：所述第二步中的對(duì)多尺度特征融合的異常聲音檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的方法包括：

3.根據(jù)權(quán)利要求1所述的一種用于帶式輸送機(jī)故障診斷的異常聲音檢測(cè)方法，其特征在于：在完成第二步后，進(jìn)行特征補(bǔ)全操作，表達(dá)式為：

4.根據(jù)權(quán)利要求2所述的一種用于帶式輸送機(jī)故障診斷的異常聲音檢測(cè)方法，其特征在于：

5.根據(jù)權(quán)利要求1所述的一種用于帶式輸送機(jī)故障診斷的異常聲音檢測(cè)方法，其特征在于：在完成第二步后，計(jì)量對(duì)多尺度特征融合的異常聲音檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練中的損失，損失函數(shù)為：

技術(shù)總結(jié)
本發(fā)明公開一種用于帶式輸送機(jī)故障診斷的異常聲音檢測(cè)方法，包括：構(gòu)建訓(xùn)練集；所述訓(xùn)練集包括：正常聲音和異常聲音；利用所述訓(xùn)練集對(duì)預(yù)設(shè)的帶式輸送機(jī)故障診斷聲音異常檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。預(yù)設(shè)的帶式輸送機(jī)故障診斷的聲音異常檢測(cè)方法主要包括：對(duì)數(shù)梅爾頻譜圖模塊、譜時(shí)特征融合模塊、基于流的自監(jiān)督估計(jì)模塊；將所述的帶式輸送機(jī)在嘈雜環(huán)境下的運(yùn)行聲音提取有效特征并進(jìn)行故障診斷，判斷是否發(fā)生故障以及發(fā)生故障類型。本發(fā)明在基于流的自監(jiān)督密度估計(jì)模塊上融合了對(duì)數(shù)梅爾頻譜圖模塊以及譜時(shí)特征融合模塊，實(shí)現(xiàn)了多尺度的特征融合，豐富了提取的特征，并取得極好的帶式輸送機(jī)故障診斷的異常聲音檢測(cè)效果。

技術(shù)研發(fā)人員：肖文東,趙澤,袁亮,陶慶,冉騰,何麗,呂凱
受保護(hù)的技術(shù)使用者：新疆大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/28