本發(fā)明涉及時間序列數(shù)據(jù)預(yù)測領(lǐng)域，具體涉及一種基于小波時頻域的時序數(shù)據(jù)預(yù)測方法和裝置。

背景技術(shù)：

1、在工業(yè)生產(chǎn)中，工業(yè)設(shè)備及其傳感器會產(chǎn)生大量的時間序列數(shù)據(jù)，工業(yè)網(wǎng)關(guān)收集這些數(shù)據(jù)，生成多維度的工業(yè)時間序列數(shù)據(jù)集。通過對這些數(shù)據(jù)進(jìn)行分析和學(xué)習(xí)，可以對關(guān)鍵數(shù)據(jù)進(jìn)行準(zhǔn)確預(yù)測，從而實(shí)現(xiàn)統(tǒng)籌優(yōu)化生產(chǎn)決策。因此，預(yù)測的準(zhǔn)確性對提高工業(yè)生產(chǎn)效率和保障生產(chǎn)安全至關(guān)重要。高準(zhǔn)確度的預(yù)測不僅能夠優(yōu)化資源配置，減少浪費(fèi)，還能提前發(fā)現(xiàn)潛在的故障和風(fēng)險，提升生產(chǎn)過程的穩(wěn)定性和可靠性。

2、現(xiàn)有的技術(shù)中，主流方法采用深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)學(xué)習(xí)與預(yù)測，但是這些方法通?；趩我坏臅r域或頻域提取特征，難以全面捕捉工業(yè)場景下多維度數(shù)據(jù)間復(fù)雜的關(guān)系。工業(yè)數(shù)據(jù)中的細(xì)節(jié)和近似數(shù)據(jù)信息具有不同的特征，將其統(tǒng)一送入網(wǎng)絡(luò)模型中會導(dǎo)致模型參數(shù)訓(xùn)練不充分，從而降低預(yù)測結(jié)果的準(zhǔn)確性。部分方法通過在序列上應(yīng)用移動平均核來提取近似數(shù)據(jù)，但這種方法往往導(dǎo)致數(shù)據(jù)過于平滑，進(jìn)而損失了近似特征的關(guān)鍵信息。

3、因此有必要提供一種新的方法解決上述問題。

技術(shù)實(shí)現(xiàn)思路

1、基于現(xiàn)有技術(shù)中存在的上述問題，本發(fā)明實(shí)施例的目的在于提供一種基于小波時頻域的時序數(shù)據(jù)預(yù)測方法和裝置，用于對多維度的工業(yè)時序數(shù)據(jù)進(jìn)行學(xué)習(xí)和預(yù)測，以提高預(yù)測準(zhǔn)確性，優(yōu)化生產(chǎn)過程。

2、本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的：一種基于小波時頻域的時序數(shù)據(jù)預(yù)測方法，包括：

3、獲取生產(chǎn)過程中的時間序列數(shù)據(jù)，選取與生產(chǎn)相關(guān)的參數(shù)作為任務(wù)目標(biāo)的實(shí)際值；

4、將所述時間序列數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)模型，得到任務(wù)預(yù)測目標(biāo)的回歸值；

5、基于所述實(shí)際值和所述回歸值，通過損失函數(shù)迭代優(yōu)化方法得到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型。

6、進(jìn)一步地，所述獲取生產(chǎn)過程中的時間序列數(shù)據(jù)，包括：

7、通過工業(yè)網(wǎng)關(guān)獲取部署在工作區(qū)域內(nèi)的不同類型工業(yè)傳感器的數(shù)據(jù)；

8、對數(shù)據(jù)進(jìn)行預(yù)處理，并將不同類型不同維度的信息在時間軸上進(jìn)行對齊，得到整體的多維度時間序列數(shù)據(jù)集。

9、進(jìn)一步地，所述神經(jīng)網(wǎng)絡(luò)包括小波分解模塊、時域線性預(yù)測模塊、頻域注意力插值預(yù)測模塊和線性數(shù)據(jù)投影模塊；

10、將所述時間序列數(shù)據(jù)送入小波分解模塊，對數(shù)據(jù)中的細(xì)節(jié)特征和近似特征進(jìn)行分離；

11、將分離出的細(xì)節(jié)特征數(shù)據(jù)輸入時域線性預(yù)測模塊中，學(xué)習(xí)細(xì)節(jié)數(shù)據(jù)的特征；

12、將分離出的近似特征數(shù)據(jù)輸入頻域注意力插值預(yù)測模塊，學(xué)習(xí)近似數(shù)據(jù)的特征；

13、將學(xué)習(xí)到的細(xì)節(jié)與近似特征結(jié)合后，送入線性數(shù)據(jù)投影模塊，得到任務(wù)預(yù)測目標(biāo)的回歸值。

14、進(jìn)一步地，基于所述實(shí)際值和所述回歸值，通過損失函數(shù)迭代優(yōu)化方法得到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，包括：

15、使用任務(wù)預(yù)測目標(biāo)的回歸值和任務(wù)目標(biāo)的實(shí)際值計算均方誤差mse指標(biāo)，將該值作為損失函數(shù)；

16、對每批樣本計算損失函數(shù)的梯度，并對其進(jìn)行平滑處理；將平滑處理后的梯度反向傳播到各級模塊網(wǎng)絡(luò)的參數(shù)中，更新網(wǎng)絡(luò)參數(shù)，作為對整個網(wǎng)絡(luò)的一次訓(xùn)練；通過這種方式對整個網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練；完成訓(xùn)練后，保存網(wǎng)絡(luò)模型和經(jīng)過訓(xùn)練后的最佳參數(shù)。

17、進(jìn)一步地，將實(shí)際采集的工業(yè)時序數(shù)據(jù)輸入訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，得到任務(wù)目標(biāo)的預(yù)測結(jié)果。

18、進(jìn)一步地，所述小波分解模塊采用haar小波作為小波基函數(shù)。

19、進(jìn)一步地，所述時域線性預(yù)測模塊由一個線性變換層的神經(jīng)網(wǎng)絡(luò)組成，其輸出為數(shù)據(jù)中提取到的細(xì)節(jié)特征信息。

20、進(jìn)一步地，所述頻域注意力插值預(yù)測模塊包括一個傅里葉變換層，一個包含若干個并行自注意力頭的自注意力網(wǎng)絡(luò)模塊，一個殘差連接歸一化層，一個前饋網(wǎng)絡(luò)層，一個后殘差連接歸一化層，一個線性網(wǎng)絡(luò)投影層，一個傅里葉逆變換層；

21、其中自注意力網(wǎng)絡(luò)模塊的公式為，對于一個具有d個隱藏通道變量，h個自注意力頭的注意力模型，其第i個頭上的query,key,value對應(yīng)于qi，ki，vi，qi,ki,vi∈，woutput表示學(xué)習(xí)參數(shù)，其過程如下所示：

22、

23、headi＝attention(qi,ki,vi)

24、multihead(q,k,v)＝woutput*concat(head1,···,headh)

25、上標(biāo)t表示轉(zhuǎn)置；

26、其中殘差連接歸一化層和后殘差連接歸一化層將頻域輸入數(shù)據(jù)和經(jīng)過dropout處理后的上一層輸出數(shù)據(jù)相加，形成殘差連接；之后對這一結(jié)果進(jìn)行歸一化處理，穩(wěn)定訓(xùn)練過程；

27、其中前饋網(wǎng)絡(luò)層由第一次線性變換，激活函數(shù)，第二次線性變換組成，用于引入模型的非線性表示能力，增強(qiáng)模型處理復(fù)雜數(shù)據(jù)的能力；

28、所述的近似特征數(shù)據(jù)經(jīng)過傅里葉變換層轉(zhuǎn)換為頻域數(shù)據(jù)，再依次通過自注意力模塊、殘差連接歸一化層、前饋網(wǎng)絡(luò)層和后殘差連接歸一化層，學(xué)習(xí)頻域高維特征；通過線性網(wǎng)絡(luò)投影層規(guī)范頻域插值特征規(guī)模，最后通過傅里葉逆變換層轉(zhuǎn)換回時域空間，輸出提取到的數(shù)據(jù)近似特征信息。

29、進(jìn)一步地，所述線性數(shù)據(jù)投影模塊由一層線性神經(jīng)網(wǎng)絡(luò)層組成，輸入時域線性預(yù)測模塊和頻域注意力插值預(yù)測模塊提取的細(xì)節(jié)特征信息和近似特征信息，輸出任務(wù)預(yù)測目標(biāo)的回歸值。

30、本發(fā)明還提供了一種基于小波時頻域的時序數(shù)據(jù)預(yù)測裝置，包括：

31、數(shù)據(jù)采集模塊，用于獲取生產(chǎn)過程中的時間序列數(shù)據(jù)，選取與生產(chǎn)相關(guān)的參數(shù)作為任務(wù)目標(biāo)的實(shí)際值；

32、模型訓(xùn)練模塊，用于將所述時間序列數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)模型，得到任務(wù)預(yù)測目標(biāo)的回歸值；基于所述實(shí)際值和所述回歸值，通過損失函數(shù)迭代優(yōu)化方法得到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型；

33、目標(biāo)預(yù)測模塊，用于將實(shí)際采集的工業(yè)時序數(shù)據(jù)輸入訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型，得到任務(wù)目標(biāo)的預(yù)測結(jié)果。

34、本發(fā)明的有益效果是：本發(fā)明的一種基于小波時頻域的時序數(shù)據(jù)預(yù)測方法包括：工業(yè)網(wǎng)關(guān)采集傳感器信息，數(shù)據(jù)預(yù)處理得到整體的多維度時間序列數(shù)據(jù)集；選取部分與生產(chǎn)決策相關(guān)的關(guān)鍵參數(shù)作為任務(wù)目標(biāo)；通過小波分解模塊將數(shù)據(jù)中的細(xì)節(jié)特征和近似特征進(jìn)行分離；將分離出的不同特征數(shù)據(jù)輸入數(shù)據(jù)預(yù)測模塊中，通過損失函數(shù)優(yōu)化方法訓(xùn)練網(wǎng)絡(luò)參數(shù)并保存最佳模型參數(shù)；將工業(yè)生產(chǎn)環(huán)境實(shí)時數(shù)據(jù)輸入預(yù)測模型得到相關(guān)數(shù)據(jù)的預(yù)測結(jié)果。本發(fā)明使用小波分解模塊，有效分離細(xì)節(jié)特征數(shù)據(jù)和近似特征數(shù)據(jù)，對細(xì)節(jié)與近似數(shù)據(jù)分別采用時域線性預(yù)測模塊和頻域注意力插值預(yù)測模塊，根據(jù)不同數(shù)據(jù)特點(diǎn)訓(xùn)練合適的預(yù)測模型，提高多維度工業(yè)時序數(shù)據(jù)預(yù)測的準(zhǔn)確性。

技術(shù)特征：

1.一種基于小波時頻域的時序數(shù)據(jù)預(yù)測方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取生產(chǎn)過程中的時間序列數(shù)據(jù)，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)包括小波分解模塊、時域線性預(yù)測模塊、頻域注意力插值預(yù)測模塊和線性數(shù)據(jù)投影模塊；

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于所述實(shí)際值和所述回歸值，通過損失函數(shù)迭代優(yōu)化方法得到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，將實(shí)際采集的工業(yè)時序數(shù)據(jù)輸入訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，得到任務(wù)目標(biāo)的預(yù)測結(jié)果。

6.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述小波分解模塊采用haar小波作為小波基函數(shù)。

7.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述時域線性預(yù)測模塊由一個線性變換層的神經(jīng)網(wǎng)絡(luò)組成，其輸出為數(shù)據(jù)中提取到的細(xì)節(jié)特征信息。

8.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述頻域注意力插值預(yù)測模塊包括一個傅里葉變換層，一個包含若干個并行自注意力頭的自注意力網(wǎng)絡(luò)模塊，一個殘差連接歸一化層，一個前饋網(wǎng)絡(luò)層，一個后殘差連接歸一化層，一個線性網(wǎng)絡(luò)投影層，一個傅里葉逆變換層；

9.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述線性數(shù)據(jù)投影模塊由一層線性神經(jīng)網(wǎng)絡(luò)層組成，輸入時域線性預(yù)測模塊和頻域注意力插值預(yù)測模塊提取的細(xì)節(jié)特征信息和近似特征信息，輸出任務(wù)預(yù)測目標(biāo)的回歸值。

10.一種基于小波時頻域的時序數(shù)據(jù)預(yù)測裝置，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明提供了一種基于小波時頻域的時序數(shù)據(jù)預(yù)測方法和裝置，該預(yù)測方法包括以下步驟：通過部署在工作區(qū)域內(nèi)的工業(yè)網(wǎng)關(guān)獲取多維度時間序列工業(yè)數(shù)據(jù)；對采集到的數(shù)據(jù)進(jìn)行預(yù)處理，得到整體的多維工業(yè)時序數(shù)據(jù)集；選擇影響生產(chǎn)決策的關(guān)鍵指標(biāo)作為任務(wù)預(yù)測目標(biāo)；通過小波分解模塊將數(shù)據(jù)中的細(xì)節(jié)特征和近似特征進(jìn)行分離；將分離出的細(xì)節(jié)與近似數(shù)據(jù)輸入不同的數(shù)據(jù)預(yù)測模塊中；通過損失函數(shù)迭代優(yōu)化方法訓(xùn)練網(wǎng)絡(luò)模型并保存最佳參數(shù)；將實(shí)際采集的工業(yè)時序數(shù)據(jù)輸入預(yù)測模型得到任務(wù)目標(biāo)的預(yù)測結(jié)果。本發(fā)明能夠提供工業(yè)多維度時間序列數(shù)據(jù)的準(zhǔn)確預(yù)測，以優(yōu)化生產(chǎn)決策，并提高工業(yè)生產(chǎn)效率。

技術(shù)研發(fā)人員：貝毅君,徐國寧
受保護(hù)的技術(shù)使用者：浙江大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23