本發(fā)明屬于數(shù)據(jù)處理，更進(jìn)一步涉及電子數(shù)據(jù)處理中的一種基于通道獨(dú)立性和雙向歸一化的長時(shí)間序列預(yù)測方法。本發(fā)明可廣泛應(yīng)用于電力負(fù)荷預(yù)測、交通流量預(yù)測、天氣預(yù)測、經(jīng)濟(jì)預(yù)測的長時(shí)間序列預(yù)測場景。

背景技術(shù)：

1、深度神經(jīng)網(wǎng)絡(luò)在長時(shí)間序列預(yù)測領(lǐng)域ltsf(long-term?time?seriesforecasting)的多個(gè)應(yīng)用場景中起著至關(guān)重要的作用，例如，基于深度學(xué)習(xí)的電力預(yù)測、交通流量預(yù)測、天氣預(yù)測和經(jīng)濟(jì)預(yù)測。然而，時(shí)間序列數(shù)據(jù)往往隨著時(shí)間的推移呈現(xiàn)出統(tǒng)計(jì)分布的變化，這種現(xiàn)象被稱為“分布位移”(distribution?shift)。該問題的存在使得深度學(xué)習(xí)模型在訓(xùn)練階段與測試階段的數(shù)據(jù)分布不一致，進(jìn)而影響預(yù)測的準(zhǔn)確性和穩(wěn)定性，因此是基于深度學(xué)習(xí)的長期預(yù)測領(lǐng)域的一個(gè)重大挑戰(zhàn)。在長期時(shí)間序列預(yù)測任務(wù)中，分布位移主要體現(xiàn)在三個(gè)方面：第一方面，輸入序列之間的分布位移：在同一時(shí)間序列的不同時(shí)間點(diǎn)，輸入數(shù)據(jù)的統(tǒng)計(jì)分布可能會(huì)發(fā)生顯著變化。例如，在電力負(fù)荷預(yù)測中，冬季和夏季的電力需求模式通常不同，這會(huì)導(dǎo)致訓(xùn)練數(shù)據(jù)與預(yù)測數(shù)據(jù)的分布不一致。第二方面，輸入與輸出之間的分布位移：輸入序列和預(yù)測目標(biāo)之間的關(guān)系也會(huì)因?yàn)橥獠凯h(huán)境的變化而發(fā)生位移。舉例來說，在天氣預(yù)測中，輸入的歷史天氣數(shù)據(jù)和預(yù)測的未來天氣情況之間的統(tǒng)計(jì)關(guān)系可能會(huì)因?yàn)闅夂蜃兓蛲话l(fā)事件而改變。第三方面，通道之間的分布位移：在多變量時(shí)間序列中，不同變量之間的統(tǒng)計(jì)關(guān)系可能會(huì)隨著時(shí)間的推移發(fā)生變化。這種協(xié)變量位移在多通道時(shí)間序列預(yù)測中尤為常見，傳統(tǒng)的混合通道處理方法往往難以應(yīng)對(duì)這種復(fù)雜的分布變化。

2、傳統(tǒng)的時(shí)間序列預(yù)測方法，如自回歸綜合滑動(dòng)平均模型(autoregressiveintegrated?moving?average?model，arima)等，主要依賴于歷史數(shù)據(jù)的統(tǒng)計(jì)特性，并假設(shè)數(shù)據(jù)分布在預(yù)測周期內(nèi)相對(duì)穩(wěn)定。然而，現(xiàn)實(shí)中的時(shí)間序列數(shù)據(jù)由于外部環(huán)境的變化，往往會(huì)導(dǎo)致分布的動(dòng)態(tài)變化，從而導(dǎo)致傳統(tǒng)方法在面對(duì)分布位移時(shí)效果不佳。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，諸如循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent?neural?networks,rnn)、卷積神經(jīng)網(wǎng)絡(luò)(convolutional?neural?network,cnn)和基于transformer的模型逐漸被應(yīng)用于時(shí)間序列預(yù)測中。但是，這些方法在進(jìn)行長時(shí)間序列預(yù)測時(shí)，并未在模型基礎(chǔ)上對(duì)分布位移問題進(jìn)行處理，因此，仍然面臨著由于分布位移問題導(dǎo)致的預(yù)測精度下降、模型不穩(wěn)定的問題。

3、kim等人在其發(fā)表的論文“reversible?instance?normalization?for?accuratetime-series?forecasting?against?distribution?shift”(international?conferenceon?learning?representations(iclr)，2021)中提出了一種基于簡單線性網(wǎng)絡(luò)的可學(xué)習(xí)歸一化方法進(jìn)行時(shí)間序列預(yù)測方法。該方法采用了兩階段形式，其實(shí)現(xiàn)步驟是，首先，對(duì)輸入序列進(jìn)行線性神經(jīng)網(wǎng)絡(luò)的處理，獲得波動(dòng)項(xiàng)與規(guī)模項(xiàng)；從而對(duì)輸入序列進(jìn)行歸一化操作將其轉(zhuǎn)換到統(tǒng)一分布的空間。其次，在經(jīng)過時(shí)序預(yù)測網(wǎng)絡(luò)預(yù)測之后，利用之前的波動(dòng)項(xiàng)與規(guī)模項(xiàng)再對(duì)模型輸出進(jìn)行逆歸一化，轉(zhuǎn)換回原始空間。該方法使得不同時(shí)間序列通過非線性變換在同一分布空間中完成模型運(yùn)算，緩解了不同輸入序列間的分布不均問題。但是，該方法仍然存在的不足之處是，使用的簡單線性網(wǎng)絡(luò)在處理復(fù)雜非線性數(shù)據(jù)時(shí)表現(xiàn)有限，且僅對(duì)輸入序列進(jìn)行自適應(yīng)的放縮，因此不能有效解決輸入與輸出之間以及通道之間的分布位移問題。

4、杭州電子科技大學(xué)在其申請(qǐng)的專利文獻(xiàn)“一種基于多元長期時(shí)間序列分析的時(shí)間序列預(yù)測方法”(申請(qǐng)?zhí)枺篶n?202410603210.3，申請(qǐng)公布號(hào)：cn?118349806?a)中公開了一種通過多步驟實(shí)現(xiàn)的時(shí)間序列預(yù)測方法。該方法的實(shí)現(xiàn)步驟是，首先，進(jìn)行數(shù)據(jù)預(yù)處理與分割，根據(jù)不同應(yīng)用場景設(shè)定歷史序列和預(yù)測序列的長度，并將數(shù)據(jù)劃分為訓(xùn)練集和測試集。其次，基于統(tǒng)計(jì)值線性擬合網(wǎng)絡(luò)對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，結(jié)合偏置生成網(wǎng)絡(luò)、多維度圖學(xué)習(xí)網(wǎng)絡(luò)和雙數(shù)據(jù)流學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行特征學(xué)習(xí)和預(yù)測，最終生成預(yù)測序列。該方法通過多維度圖學(xué)習(xí)網(wǎng)絡(luò)和雙數(shù)據(jù)流學(xué)習(xí)網(wǎng)絡(luò)，可以更好地捕捉時(shí)間序列中的復(fù)雜關(guān)系，并使用偏置生成網(wǎng)絡(luò)擬合統(tǒng)計(jì)值，在revin的基礎(chǔ)上解決分布位移問題。但是，該方法仍然存在的不足之處是，需要預(yù)訓(xùn)練線性擬合網(wǎng)絡(luò)，步驟較為復(fù)雜。同時(shí)，該方法僅處理了輸入序列間的分布位移放縮，仍未能有效解決多變量時(shí)間序列中輸入與輸出之間以及通道之間的分布位移問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是針對(duì)上述現(xiàn)有技術(shù)的不足，提出一種基于通道獨(dú)立性和雙向歸一化的長時(shí)間序列預(yù)測方法，旨在解決長期時(shí)間序列預(yù)測中由于三類分布位移問題導(dǎo)致的預(yù)測準(zhǔn)確性下降和訓(xùn)練不穩(wěn)定的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明的思路是，引入一種結(jié)合雙向歸一化的可學(xué)習(xí)子網(wǎng)絡(luò)與基于通道獨(dú)立的雙路預(yù)測子網(wǎng)絡(luò)的新模型架構(gòu)方法。其中，雙向歸一化的可學(xué)習(xí)子網(wǎng)絡(luò)采用兩個(gè)結(jié)構(gòu)相同的多層感知機(jī)模塊分別預(yù)測輸入序列與輸出序列的波動(dòng)項(xiàng)與規(guī)模項(xiàng)，并分別對(duì)輸入序列與模型輸出序列進(jìn)行歸一化與逆歸一化，從而能夠有效應(yīng)對(duì)輸入序列之間、輸入與輸出序列之間的分布位移問題。本發(fā)明引入了基于通道獨(dú)立的雙路預(yù)測子網(wǎng)絡(luò)，采用雙路的方法，一路進(jìn)行通道獨(dú)立的方法獨(dú)立預(yù)測各通道模式，另一路采用稀疏注意力機(jī)制融合通道間的信息，兩者自適應(yīng)融合，以此解決通道間分布位移的問題，并提高相關(guān)通道的特征捕獲。本發(fā)明在訓(xùn)練過程中，通過對(duì)模型參數(shù)的自適應(yīng)調(diào)整策略，能夠有效應(yīng)對(duì)長期時(shí)間序列預(yù)測中的分布位移問題，從而提高長期時(shí)間序列預(yù)測的準(zhǔn)確性和穩(wěn)定性。

3、本發(fā)明包括以下步驟：

4、步驟1，搭建兩個(gè)結(jié)構(gòu)相同的多層感知機(jī)模塊，將其中一個(gè)多層感知機(jī)模塊設(shè)置為正向歸一化學(xué)習(xí)模塊，將另一個(gè)多層感知機(jī)模塊設(shè)置為逆向歸一化學(xué)習(xí)模塊，得到雙向歸一化的可學(xué)習(xí)子網(wǎng)絡(luò)；

5、步驟2，搭建多層感知機(jī)預(yù)測模塊與稀疏注意力預(yù)測模塊并聯(lián)后，再與雙路輸出融合模塊串聯(lián)組成基于通道獨(dú)立的雙路預(yù)測子網(wǎng)絡(luò)；

6、步驟3，將正向歸一化學(xué)習(xí)模塊、基于通道獨(dú)立的雙路預(yù)測子網(wǎng)絡(luò)、逆向歸一化學(xué)習(xí)模塊依次串聯(lián)組成長時(shí)間序列預(yù)測網(wǎng)絡(luò)；

7、步驟4，采用滑窗分割法，分割預(yù)測未來時(shí)間序列的歷史數(shù)據(jù)s＝{si∣i∈[1,t],si∈r1×m}，得到多元時(shí)間序列數(shù)據(jù)集x＝{x1,x2...,xn}；按時(shí)間順序?qū)?shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測試集，其中，m為歷史數(shù)據(jù)的維度,si為第i個(gè)時(shí)刻的多維歷史數(shù)據(jù)，t為歷史數(shù)據(jù)序列的長度，n為多元時(shí)間序列數(shù)據(jù)集中樣本的總數(shù)；

8、步驟5，對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行自適應(yīng)調(diào)整：

9、設(shè)置長時(shí)間序列預(yù)測網(wǎng)絡(luò)的訓(xùn)練環(huán)境，將訓(xùn)練集輸入到長時(shí)間序列預(yù)測網(wǎng)絡(luò)計(jì)算，使用梯度函數(shù)迭代更新網(wǎng)絡(luò)參數(shù)，期間通過驗(yàn)證集對(duì)模型進(jìn)行調(diào)優(yōu)，直至網(wǎng)絡(luò)損失函數(shù)收斂為止，通過測試集評(píng)價(jià)模型的性能指標(biāo)，得到訓(xùn)練好的時(shí)間序列預(yù)測網(wǎng)絡(luò)；

10、步驟6，采用與步驟4相同的方法，對(duì)待預(yù)測的長時(shí)間序列的數(shù)據(jù)滑窗分割后輸入到訓(xùn)練好的時(shí)間序列預(yù)測網(wǎng)絡(luò)中，輸出預(yù)測結(jié)果。

11、本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點(diǎn)：

12、第一，本發(fā)明通過雙向歸一化的可學(xué)習(xí)子網(wǎng)絡(luò)，利用自適應(yīng)調(diào)整歸一化和逆向歸一化的參數(shù)，有效解決了長期時(shí)間序列預(yù)測中輸入序列之間及輸入與輸出之間的分布位移問題。使得本發(fā)明能夠在保證數(shù)據(jù)尺度一致性的同時(shí)，顯著提升模型的預(yù)測精度和穩(wěn)定性，減少了對(duì)人工設(shè)定參數(shù)的依賴，降低了模型對(duì)數(shù)據(jù)分布變化的敏感性。

13、第二，本發(fā)明通過基于通道獨(dú)立的雙路預(yù)測子網(wǎng)絡(luò)，成功應(yīng)對(duì)了多變量時(shí)間序列預(yù)測中通道之間的分布位移問題。一路基于通道獨(dú)立的多層感知機(jī)預(yù)測模塊，使得各通道的特征提取更加準(zhǔn)確；另一路的稀疏注意力預(yù)測模塊，則通過重點(diǎn)關(guān)注相關(guān)性較高的通道特征，有效融合了不同通道間的信息，使得本發(fā)明提高了預(yù)測結(jié)果的整體準(zhǔn)確性，同時(shí)減少了計(jì)算復(fù)雜度，適應(yīng)了高維數(shù)據(jù)的處理需求。

14、第三，本發(fā)明通過對(duì)模型參數(shù)的自適應(yīng)調(diào)整策略，能夠有效應(yīng)對(duì)長期時(shí)間序列預(yù)測中的分布位移問題，使得本發(fā)明顯著提高預(yù)測模型的準(zhǔn)確性和魯棒性，尤其是在多通道時(shí)間序列的復(fù)雜應(yīng)用場景中，具有顯著的應(yīng)用優(yōu)勢。