本發(fā)明涉及豬只叫聲監(jiān)控，特別涉及一種異常豬只叫聲監(jiān)控系統(tǒng)的構(gòu)建方法。

背景技術(shù)：

1、隨著人工智能的發(fā)展，各行各業(yè)都涌入了越來(lái)越多的智能設(shè)備。傳統(tǒng)動(dòng)物養(yǎng)殖業(yè)中，最大的難點(diǎn)在于看護(hù)，工作人員需要密切關(guān)注豬只等動(dòng)物可能出現(xiàn)的病毒、撕咬斗毆等可能存在的異?，F(xiàn)象，需要耗費(fèi)大量的人力來(lái)監(jiān)管，且還可能出現(xiàn)監(jiān)管不及時(shí)的情況。因此，養(yǎng)殖業(yè)引入了人工智能，提出了“豬叫識(shí)別”技術(shù)，通過(guò)豬叫聲來(lái)初步判斷豬的異常，并在第一時(shí)間進(jìn)行疫病預(yù)警，匯報(bào)給豬場(chǎng)的獸醫(yī)或飼養(yǎng)員。

2、目前，豬聲音識(shí)別方法主要使用復(fù)雜音頻特征的組合，對(duì)豬叫聲進(jìn)行分析處理，其計(jì)算成本高，還需要計(jì)算機(jī)網(wǎng)絡(luò)的分布式計(jì)算技術(shù)來(lái)提高系統(tǒng)的運(yùn)行效率。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述問(wèn)題，本發(fā)明提供了一種異常豬只叫聲監(jiān)控系統(tǒng)的構(gòu)建方法，可有效提升整個(gè)異常豬只叫聲的識(shí)別精度和系統(tǒng)運(yùn)行效率。

2、為此，本發(fā)明的技術(shù)方案是：一種異常豬只叫聲監(jiān)控系統(tǒng)的構(gòu)建方法，包括以下步驟：

3、s1、設(shè)置音頻分割節(jié)點(diǎn)、音頻特征提取節(jié)點(diǎn)和深度學(xué)習(xí)分析計(jì)算節(jié)點(diǎn)，并在每個(gè)節(jié)點(diǎn)在啟動(dòng)時(shí)注冊(cè)其功能和狀態(tài)信息至集群管理器；

4、s2、音頻分割節(jié)點(diǎn)接收原始音頻數(shù)據(jù)，進(jìn)行預(yù)處理，并使用雙閾值端點(diǎn)檢測(cè)技術(shù)準(zhǔn)確切分音頻為單獨(dú)的叫聲片段，最小化無(wú)效數(shù)據(jù)輸入；

5、s3、音頻特征提取節(jié)點(diǎn)從處理后的音頻片段中提取關(guān)鍵頻譜圖數(shù)據(jù)，待所有音頻特征計(jì)算完畢后，將其進(jìn)行融合形成音頻特征矩陣；音頻特征提取節(jié)點(diǎn)將各個(gè)音頻特征矩陣分別打包成深度學(xué)習(xí)分析計(jì)算任務(wù)，并發(fā)送至深度學(xué)習(xí)分析計(jì)算節(jié)點(diǎn)用于提取數(shù)據(jù)的消息隊(duì)列中，等待集群管理器計(jì)算深度學(xué)習(xí)分析計(jì)算節(jié)點(diǎn)的負(fù)載并分配計(jì)算任務(wù)；

6、s4、深度學(xué)習(xí)分析計(jì)算節(jié)點(diǎn)接收來(lái)自音頻特征提取節(jié)點(diǎn)的數(shù)據(jù)，使用音頻特征矩陣對(duì)數(shù)據(jù)進(jìn)行深入分析，專(zhuān)注于異常叫聲的檢測(cè)；深度學(xué)習(xí)分析的整體過(guò)程如下：

7、s4.1、整個(gè)特征矩陣被切分為多個(gè)n*n個(gè)元素的數(shù)據(jù)塊，確保局部頻率特征能夠被保存，同時(shí)這些數(shù)據(jù)塊的時(shí)間和頻率維度也存在重疊，用于平滑數(shù)據(jù)塊的邊界和保證音頻連續(xù)性。

8、s4.2、通過(guò)一層補(bǔ)丁嵌入層將每個(gè)數(shù)據(jù)塊轉(zhuǎn)換為1維的向量用于學(xué)習(xí)和捕捉更深層的特征；

9、補(bǔ)丁嵌入層vi,j＝conv(bi,j)，卷積層conv通過(guò)應(yīng)用一組學(xué)習(xí)得到的濾波器來(lái)提取數(shù)據(jù)塊中的關(guān)鍵特征，并將其壓縮成一維向量；卷積核的大小、步長(zhǎng)和填充可以根據(jù)需要調(diào)整，以控制輸出向量的維度和特征覆蓋范圍；

10、同時(shí)，通過(guò)二維位置編碼層對(duì)數(shù)據(jù)塊相對(duì)于原本特征矩陣的位置進(jìn)行編碼并疊加在1維向量上，形成嵌入向量；二維位置向量的計(jì)算方式如下：

11、

12、

13、

14、

15、2i和2i+1遍歷到時(shí)間編碼的維度dt的一半，2j和2j+1遍歷到頻率編碼的維度df的一半，dt和df通常設(shè)置為d/2，以平均分配嵌入向量維度到時(shí)間和頻率；t和f分別代表時(shí)間和頻率的具體索引位置；

16、10000^2i/dt和10000^2j/df是縮放因子，用于調(diào)整不同頻率的正弦和余弦波的周期，讓位置編碼覆蓋較大范圍的位置索引；

17、s4.3、使用多個(gè)疊加的注意力機(jī)制編碼層處理嵌入向量，注意力機(jī)制編碼層使用多頭的注意力機(jī)制，使嵌入向量中各個(gè)維度的數(shù)據(jù)塊間的相關(guān)性能夠得到計(jì)算和處理；

18、使用多頭注意力機(jī)制multihead(q,k,v)對(duì)嵌入向量進(jìn)行處理，其中q、k、v分別是查詢(xún)(query)、鍵(key)和值(value)矩陣：

19、a＝multihead(v'i,j,v'i,j,v'i,j)

20、

21、s4.4、經(jīng)過(guò)變換器編碼器處理的向量輸出到一個(gè)全連接層，該層將特征映射到不同的類(lèi)別，正?；虍惓＝新?；使用激活函數(shù)sigmoid生成每個(gè)類(lèi)別的預(yù)測(cè)概率。

22、在上述方案的基礎(chǔ)上并作為上述方案的優(yōu)選方案：所述步驟s2中，音頻處理步驟如下：

23、s2.1、分幀加窗平滑：設(shè)定幀長(zhǎng)和幀移將音頻分為多個(gè)短時(shí)幀，相鄰短時(shí)幀之間存在重疊的部分用于減少幀邊界效益，通過(guò)在短時(shí)幀上應(yīng)用漢寧窗函數(shù)減少非周期性邊界的影響；

24、s2.2、加窗對(duì)數(shù)短時(shí)能量計(jì)算：短時(shí)能量用來(lái)區(qū)分聲音和靜音部分，通過(guò)對(duì)固定窗口內(nèi)的音頻樣本平方求和來(lái)計(jì)算短時(shí)能量，

25、

26、其中：y[n+im]表示音頻信號(hào)的樣本值，n是當(dāng)前幀內(nèi)的樣本索引，im表示第i幀的起點(diǎn)，m是幀移或步長(zhǎng)，即兩個(gè)相鄰幀之間的樣本數(shù)偏移；

27、w[n]是應(yīng)用于每個(gè)樣本的窗函數(shù)值，用于減少幀邊界的頻譜泄漏，窗函數(shù)在每幀的開(kāi)始和結(jié)束處逐漸減小到零，以平滑數(shù)據(jù)；

28、∈是一個(gè)很小的正數(shù)，添加到能量求和中以避免對(duì)數(shù)運(yùn)算時(shí)除零的錯(cuò)誤；

29、s2.3、有效音頻提?。豪糜?jì)算得到的移動(dòng)平均和移動(dòng)標(biāo)準(zhǔn)差，結(jié)合一個(gè)預(yù)先設(shè)定的靈敏度系數(shù)k來(lái)計(jì)算每個(gè)點(diǎn)的閾值t[m]：

30、t[m]＝μ[m]+k·σ[m]

31、

32、

33、其中：t[m]是在時(shí)間點(diǎn)m的閾值，用于判斷該點(diǎn)是否為異常點(diǎn)，若某個(gè)數(shù)據(jù)點(diǎn)的值超過(guò)這個(gè)閾值，則可能被標(biāo)記為異常；

34、μ[m]是離時(shí)間點(diǎn)m最近m個(gè)數(shù)據(jù)點(diǎn)的平均值，這個(gè)平均值反映了最近m個(gè)點(diǎn)的中心趨勢(shì)；

35、σ[m]是離時(shí)間點(diǎn)m的最近m個(gè)數(shù)據(jù)點(diǎn)的標(biāo)準(zhǔn)差，k是一個(gè)系數(shù)，用于調(diào)整閾值以控制異常檢測(cè)的靈敏度；

36、基于計(jì)算得到的t[m]，計(jì)算輸入音頻片段中有效音頻片段的起止點(diǎn)，起點(diǎn)即為start[m1]為1時(shí)的m1值，終點(diǎn)即為end[m2]為1時(shí)的m2值，其中m1、m2用于表示分幀序列中的索引；

37、

38、

39、s2.4、音頻分割節(jié)點(diǎn)將有效音頻片段提取并打包成計(jì)算任務(wù)，并發(fā)送至特征提取節(jié)點(diǎn)用于提取數(shù)據(jù)的消息隊(duì)列中，等待集群管理器計(jì)算特征提取節(jié)點(diǎn)的負(fù)載并分配計(jì)算任務(wù)。

40、在上述方案的基礎(chǔ)上并作為上述方案的優(yōu)選方案：所述步驟s2.4中，每個(gè)計(jì)算任務(wù)中的信息包括：有效音頻序列數(shù)組、攝像頭或原始音頻數(shù)據(jù)來(lái)源的唯一編碼、每條有效音頻序列的采集時(shí)間、需求的計(jì)算資源量。

41、在上述方案的基礎(chǔ)上并作為上述方案的優(yōu)選方案：所述步驟s3中，整個(gè)特征提取的過(guò)程包括如下步驟：

42、s3.1、音頻特征提取節(jié)點(diǎn)管理：當(dāng)一個(gè)音頻特征提取節(jié)點(diǎn)成功運(yùn)行后，向集群管理器發(fā)送網(wǎng)絡(luò)請(qǐng)求進(jìn)行節(jié)點(diǎn)注冊(cè)，由集群管理器分配一個(gè)唯一的計(jì)算節(jié)點(diǎn)編號(hào)，集群管理器使用心跳機(jī)制來(lái)判斷一個(gè)節(jié)點(diǎn)是否可用；

43、s3.2、集群管理器分配計(jì)算任務(wù)：在音頻特征提取消息隊(duì)列中的任務(wù)集合，用t＝{t1,t2,...tn}進(jìn)行表示，而每個(gè)任務(wù)ti所需的計(jì)算資源量標(biāo)記為ri，

44、同時(shí)對(duì)于集群管理器所管理的音頻特征提取計(jì)算節(jié)點(diǎn)，用n＝{n1,n2,...,nm}進(jìn)行表示，每個(gè)節(jié)點(diǎn)nj的最大資源容量為cj，當(dāng)前負(fù)載為lj，通過(guò)最小化各個(gè)節(jié)點(diǎn)負(fù)載的標(biāo)準(zhǔn)差來(lái)保證負(fù)載均衡，對(duì)每個(gè)新任務(wù)ti，計(jì)算其分配到每個(gè)節(jié)點(diǎn)nj后的新負(fù)載lj′＝lj+ri；

45、評(píng)估每個(gè)lj與平均負(fù)載l的差的絕對(duì)值，選擇最小差值的節(jié)點(diǎn)進(jìn)行分配并更新節(jié)點(diǎn)的當(dāng)前負(fù)載lj：

46、

47、s3.3、音頻特征計(jì)算節(jié)點(diǎn)計(jì)算過(guò)程：在音頻特征提取的過(guò)程中，分別提取有效音頻片段的多種音頻特征，提取完畢后將所有音頻特征進(jìn)行連接操作形成一個(gè)特征矩陣，用于后續(xù)的深度學(xué)習(xí)分析；

48、s3.4、音頻特征提取節(jié)點(diǎn)將各個(gè)音頻特征矩陣分別打包成深度學(xué)習(xí)分析計(jì)算任務(wù)，并發(fā)送至深度學(xué)習(xí)分析計(jì)算節(jié)點(diǎn)用于提取數(shù)據(jù)的消息隊(duì)列中，等待集群管理器計(jì)算深度學(xué)習(xí)分析計(jì)算節(jié)點(diǎn)的負(fù)載并分配計(jì)算任務(wù)；其中每個(gè)計(jì)算任務(wù)中的信息包括：音頻特征矩陣數(shù)組、音頻特征矩陣來(lái)源的唯一編碼、音頻特征矩陣來(lái)源的有效音頻的采集時(shí)間、需求的計(jì)算資源量。

49、在上述方案的基礎(chǔ)上并作為上述方案的優(yōu)選方案：所述步驟s3.1中，心跳是節(jié)點(diǎn)定期向集群管理器發(fā)送的信號(hào)，心跳信號(hào)包含節(jié)點(diǎn)的當(dāng)前狀態(tài)信息，即cpu負(fù)載、內(nèi)存使用、網(wǎng)絡(luò)狀態(tài)；所述心跳信號(hào)可定期發(fā)送，當(dāng)集群管理器在預(yù)定的時(shí)間窗口內(nèi)沒(méi)有收到某個(gè)節(jié)點(diǎn)的心跳，將判定該節(jié)點(diǎn)為不可用或故障狀態(tài)。

50、在上述方案的基礎(chǔ)上并作為上述方案的優(yōu)選方案：所述心跳機(jī)制包括心跳發(fā)生器、心跳接收器和超時(shí)檢測(cè)器；

51、所述心跳發(fā)生器在每個(gè)節(jié)點(diǎn)上運(yùn)行，負(fù)責(zé)定期生成和發(fā)送心跳信號(hào)；

52、所述心跳接收器、超時(shí)檢測(cè)器均位于集群管理器內(nèi)，心跳接收器負(fù)責(zé)接收所有節(jié)點(diǎn)發(fā)送的心跳信號(hào)，心跳接收器可記錄每次接收到的心跳的時(shí)間戳，以便進(jìn)行超時(shí)檢測(cè)；

53、所述超時(shí)檢測(cè)器負(fù)責(zé)監(jiān)控心跳接收的時(shí)間間隔，若超過(guò)預(yù)定的閾值沒(méi)有收到某個(gè)節(jié)點(diǎn)的心跳，超時(shí)檢測(cè)器會(huì)觸發(fā)警報(bào)或其他響應(yīng)措施，響應(yīng)措施包括重新調(diào)度該節(jié)點(diǎn)上的任務(wù)到其他健康節(jié)點(diǎn)。

54、在上述方案的基礎(chǔ)上并作為上述方案的優(yōu)選方案：所述步驟s3.3中，需要提取的音頻特征包括：對(duì)數(shù)梅爾頻譜特征、梅爾頻率倒譜系數(shù)、頻譜色度特征、音網(wǎng)圖、譜對(duì)比度、譜rolloff值、譜帶寬；待所有音頻特征計(jì)算完畢后，將其進(jìn)行融合形成音頻特征矩陣，由于各個(gè)音頻特征在時(shí)間幀上是對(duì)齊的，各個(gè)音頻特征在時(shí)間維度上是相同的，而在信息的維度上則不同，可以在信息的維度上將各個(gè)特征矩陣直接拼接，將所有音頻的列并排排列形成用于深度學(xué)習(xí)分析的特征矩陣。

55、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

56、1、系統(tǒng)通過(guò)消息隊(duì)列實(shí)現(xiàn)高效的數(shù)據(jù)傳輸與同步，確保數(shù)據(jù)在節(jié)點(diǎn)間的可靠性和傳輸效率；消息隊(duì)列支持?jǐn)?shù)據(jù)的異步處理和響應(yīng)，提高系統(tǒng)整體的響應(yīng)速度和處理能力；集群的容錯(cuò)與恢復(fù)機(jī)制確保系統(tǒng)穩(wěn)定運(yùn)行，通過(guò)自動(dòng)故障檢測(cè)和任務(wù)重分配功能，即使部分節(jié)點(diǎn)發(fā)生故障，也能迅速將任務(wù)重新分配給其他健康節(jié)點(diǎn)。

57、2、利用音頻分割節(jié)點(diǎn)通過(guò)自適應(yīng)閾值端點(diǎn)檢測(cè)技術(shù)高效地處理原始音頻數(shù)據(jù)，極大地減少無(wú)效數(shù)據(jù)輸入，提高整體系統(tǒng)的處理效率。

58、3、通過(guò)對(duì)處理后的音頻進(jìn)行多維度音頻特征的提取，有效融合多種頻譜特征提取方法的先進(jìn)效果，形成更加精細(xì)的特征。

59、4、采用先進(jìn)的深度學(xué)習(xí)分析模型在音頻特征提取節(jié)點(diǎn)和處理節(jié)點(diǎn)上進(jìn)行深入的音頻分析，專(zhuān)門(mén)針對(duì)音頻分類(lèi)任務(wù)，有效地識(shí)別和分類(lèi)異常叫聲。

60、5、通過(guò)對(duì)多維音頻特征矩陣的精細(xì)分塊和補(bǔ)丁嵌入，捕捉音頻的局部和深層特征，利用變換器編碼器的多頭自注意力機(jī)制優(yōu)化特征表達(dá)。