本發(fā)明屬于短期電力負(fù)荷概率預(yù)測(cè)，具體涉及一種基于timesnet-crossformer-lstm的短期電力負(fù)荷預(yù)測(cè)方法。

背景技術(shù)：

1、由于現(xiàn)有技術(shù)的局限性，電能無法進(jìn)行大量存儲(chǔ)，電能的產(chǎn)生、傳輸、分配和消費(fèi)幾乎是同時(shí)進(jìn)行的。因此，電力系統(tǒng)的供電端和需求端應(yīng)該需要時(shí)刻保持平衡。故高效精準(zhǔn)的負(fù)荷預(yù)測(cè)不但能夠?yàn)殡娏ο到y(tǒng)平穩(wěn)調(diào)度帶來便利，還能提高經(jīng)濟(jì)效益和社會(huì)效益，為人們的正常生活和生產(chǎn)提供更好的電力保障。通常電力負(fù)荷預(yù)測(cè)按時(shí)間跨度和運(yùn)行決策可分為短期、中期和長(zhǎng)期預(yù)測(cè),它們所對(duì)應(yīng)的職責(zé)也有所不同。長(zhǎng)期預(yù)測(cè)是為了電力系統(tǒng)的規(guī)劃，中期預(yù)測(cè)是為了電力系統(tǒng)能夠更好的進(jìn)行維護(hù)，短期預(yù)測(cè)的職責(zé)是為電力系統(tǒng)的日常運(yùn)行提供更準(zhǔn)確的負(fù)荷信息。

2、在過去的時(shí)間里，許多單一的模型被應(yīng)用于短期電力負(fù)荷預(yù)測(cè)。其中多元線性回歸通過對(duì)負(fù)荷曲線進(jìn)行擬合而完成預(yù)測(cè)任務(wù)的方法，通過對(duì)輸入變量和輸出變量不斷擬合，得到未來變量，實(shí)現(xiàn)短期負(fù)荷預(yù)測(cè)。而時(shí)間序列分析法是經(jīng)典的處理負(fù)荷預(yù)測(cè)的方法。對(duì)歷史負(fù)荷序列的隨機(jī)過程進(jìn)行分析、設(shè)立相應(yīng)參數(shù)并建立模型，再對(duì)模型中參數(shù)的大小進(jìn)行估計(jì)。機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，其已經(jīng)被廣泛應(yīng)用于負(fù)荷預(yù)測(cè)中，其中包括支持向量機(jī)(svm)、隨機(jī)森林等，而遞歸神經(jīng)網(wǎng)絡(luò)(rnn)的出現(xiàn)，衍生出了一系列可用于時(shí)間序列預(yù)測(cè)的模型。rnn可以很好記憶短序列變化的數(shù)據(jù)，但對(duì)長(zhǎng)序列的處理時(shí)容易發(fā)生梯度消失和梯度爆炸等問題；而與對(duì)所有輸入信息重復(fù)的進(jìn)行疊加的rnn不同，長(zhǎng)短期記憶網(wǎng)絡(luò)(lstm)可以將不重要的時(shí)序信息進(jìn)行遺忘，在解決rnn梯度爆炸的同時(shí)也在處理長(zhǎng)序列記憶任務(wù)上顯現(xiàn)出了優(yōu)勢(shì)，故其在時(shí)序電力負(fù)荷預(yù)測(cè)中得到了廣泛的應(yīng)用。門控循環(huán)神經(jīng)網(wǎng)絡(luò)(gru)則是將lstm模型中的遺忘門和輸入門進(jìn)行合并，將單元狀態(tài)和隱藏狀態(tài)進(jìn)行合并，這便使得其結(jié)構(gòu)比lstm更加簡(jiǎn)便。雙向長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(bilstm)對(duì)時(shí)間序列實(shí)現(xiàn)向前和向后兩次lstm訓(xùn)練，進(jìn)一步提高特征提取的全局性和完整性。卷積神經(jīng)網(wǎng)絡(luò)(cnn)能夠共享卷積核，在處理多維特征向量時(shí)具有一定的優(yōu)勢(shì)，通過卷積與池化可以很好的挖掘和提取出歷史數(shù)據(jù)中的隱藏信息。隨著transformer的出現(xiàn)，通過自注意力機(jī)制對(duì)序列中的不同位置進(jìn)行加權(quán)處理使得其在處理時(shí)間序列預(yù)測(cè)有明顯的優(yōu)勢(shì)并取得了廣泛的應(yīng)用。crossformer通過二階段注意力來提取特征與時(shí)間、特征與特征之間的關(guān)系，在處理高維時(shí)間序列預(yù)測(cè)取得了很好的效果。autoformer使用季節(jié)-趨勢(shì)的方法將時(shí)間序列分解成了季節(jié)分量和趨勢(shì)分量，然后再利用時(shí)間序列的自相關(guān)系數(shù)，尋找時(shí)間序列最相關(guān)的片段。informer、pyraformer通過稀疏注意力降低復(fù)雜度，但是沒有考慮到時(shí)間序列的多分量性。時(shí)間二維變分模型(timesnet)沒有局限于時(shí)間序列的一維性，通過對(duì)一維時(shí)序數(shù)據(jù)擴(kuò)展至二維空間中進(jìn)行分析，通過對(duì)周期內(nèi)和周期間進(jìn)行特征提取，使其在長(zhǎng)、短期時(shí)間預(yù)測(cè)中有很好的效果，但卻容易忽略特征與時(shí)間、特征與特征之間的關(guān)系。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)的不足，提供一種基于timesnet-crossformer-lstm的短期電力負(fù)荷預(yù)測(cè)方法，timesnet模塊將一維時(shí)間序列轉(zhuǎn)換到二維空間進(jìn)行分析，再通過2d卷積對(duì)二維張量進(jìn)行信息提取，再聚合成一維張量后對(duì)序列進(jìn)行了二階段的注意力，最大程度的挖掘出序列與時(shí)間、特征于特征之間的關(guān)系，最后再通過lstm模塊對(duì)預(yù)測(cè)結(jié)果進(jìn)行修正，且在一定程度上幫助解決整體模型在處理長(zhǎng)序列過程中的梯度消失和梯度爆炸等問題，從而在短期電力負(fù)荷預(yù)測(cè)任務(wù)中擁有更好的效果和精度。

2、為實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明采用如下技術(shù)方案。

3、一種基于timesnet-crossformer-lstm的短期電力負(fù)荷預(yù)測(cè)方法，包括以下步驟：

4、步驟s1、對(duì)導(dǎo)入的數(shù)據(jù)集進(jìn)行特征篩選，采用皮爾遜相關(guān)系數(shù)分析法進(jìn)行特征選擇；并對(duì)所選特征進(jìn)行歸一化處理；

5、步驟s2、將篩選、處理后的數(shù)據(jù)集以8:1:1的比例劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集，并將訓(xùn)練集和驗(yàn)證集輸入模型進(jìn)行訓(xùn)練；

6、步驟s3、使用timesnet-crossformer-lstm模型進(jìn)行訓(xùn)練，通過模型的特殊結(jié)構(gòu)將輸入的一維時(shí)間序列轉(zhuǎn)化到二維空間進(jìn)行信息提取，提取到時(shí)間序列中周期內(nèi)和周期間的關(guān)系；

7、步驟s4、采用adam算法來調(diào)整神經(jīng)網(wǎng)絡(luò)的參數(shù)，利用反向傳播來訓(xùn)練網(wǎng)絡(luò)，通過觀察驗(yàn)證集上的損失值來評(píng)估模型參數(shù)的訓(xùn)練效果；

8、步驟s5、對(duì)timesnet-crossformer-lstm模型進(jìn)行激活函數(shù)的消融實(shí)驗(yàn)，選取tanshark作為模型的激活函數(shù)；

9、步驟s6、將測(cè)試集輸入到訓(xùn)練好的模型當(dāng)中，獲得點(diǎn)預(yù)測(cè)的結(jié)果，并通過四個(gè)評(píng)價(jià)指標(biāo)對(duì)模型預(yù)測(cè)效果進(jìn)行評(píng)價(jià)。

10、進(jìn)一步地，步驟s1中所述采用皮爾遜相關(guān)系數(shù)分析法進(jìn)行特征選擇，所述皮爾遜相關(guān)系數(shù)分析法的公式如下：

11、

12、上式中，{xi,,i＝1,2,···,n}和{yi,,i＝1,2,···,n}分別為兩組長(zhǎng)度為n的數(shù)列，和是兩組長(zhǎng)度為n的數(shù)列平均值，rxy是變量相關(guān)系數(shù)。

13、所述對(duì)所選特征進(jìn)行歸一化處理，歸一化處理的公式如下：

14、

15、上式中，其中：z為某一維度下的原始數(shù)據(jù)；zmin為數(shù)據(jù)集中該維度的最小值；zmax為數(shù)據(jù)集中該維度的最大值；z′為z歸一化后的數(shù)據(jù)。

16、進(jìn)一步地，步驟s2中所述將訓(xùn)練集和驗(yàn)證集輸入模型進(jìn)行訓(xùn)練，模型的輸入表示為x＝[x1···xi-1,xi···xz]t；并設(shè)置batch?size＝516。

17、進(jìn)一步地，步驟s3中所述提取到時(shí)間序列中周期內(nèi)和周期間的關(guān)系，過程如下：

18、首先將預(yù)處理過后的時(shí)間序列輸入到timesnet-crossformer-lstm模型當(dāng)中，經(jīng)timesnet模塊將原始序列通過快速傅里葉分解將一維時(shí)間序列分解，并快速的將序列的周期性計(jì)算出來，進(jìn)而將輸入數(shù)據(jù)轉(zhuǎn)換到頻域來對(duì)時(shí)間序列進(jìn)行分析，然后再通過2d卷積對(duì)二維張量進(jìn)行信息提取，再通過信息聚合回到一維，之后再通過crossformer模塊中dwg將時(shí)間序列分割成patch形式，得到的patch?embedding作為二階段注意力的輸入，在對(duì)序列與時(shí)間、特征與特征之間進(jìn)行二階段注意力后輸入到lstm模塊中進(jìn)行預(yù)測(cè)修正，輸出最后的結(jié)果；

19、所述timesnet模塊是在選定周期和頻率的情況下得到的二維時(shí)間序列張量，當(dāng)選定的周期或頻率不同時(shí)，得到的二維時(shí)間序列張量也不相同，所述timesnet模塊通過二維卷積對(duì)分解后的時(shí)間序列進(jìn)行信息挖掘；

20、所述crossformer模塊將時(shí)間序列分割成patch的形式后，將每個(gè)變量的時(shí)間序列按照一定的窗口大小劃分為多個(gè)區(qū)塊，每個(gè)區(qū)塊通過全連接進(jìn)行映射，再通過兩階段關(guān)注層，關(guān)注時(shí)間序列的兩個(gè)階段，即時(shí)間維度關(guān)注和變量維度關(guān)注，捕捉并預(yù)測(cè)時(shí)間序列中周期內(nèi)和周期間的關(guān)系；

21、所述lstm模塊對(duì)預(yù)測(cè)結(jié)果進(jìn)行修正，輸出修正后的時(shí)間序列中周期內(nèi)和周期間的關(guān)系。

22、進(jìn)一步地，步驟s5中所述對(duì)timesnet-crossformer-lstm模型進(jìn)行激活函數(shù)的消融實(shí)驗(yàn)，所述激活函數(shù)包括handtanh、silu、tanh、tanhshrink、gelu、relu，消融實(shí)驗(yàn)得出tanhshrink在模型預(yù)測(cè)任務(wù)中的精度最高。

23、進(jìn)一步地，步驟s6中所述通過四個(gè)評(píng)價(jià)指標(biāo)對(duì)模型預(yù)測(cè)效果進(jìn)行評(píng)價(jià)，四個(gè)評(píng)價(jià)指標(biāo)分別是：平均絕對(duì)百分比誤差mape、均方根誤差rmse、平均絕對(duì)誤差mae以及決定系數(shù)r2，其中：

24、

25、

26、上式中，式中：ys為s時(shí)刻的預(yù)測(cè)值；yrs為s時(shí)刻的實(shí)際值，yaverage為真實(shí)值中的平均值，n為樣本個(gè)數(shù)。

27、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

28、1、本發(fā)明提供的timesnet模塊通過快速傅里葉分解將一維時(shí)間序列進(jìn)行分解，并快速的將序列的周期性計(jì)算出來，將輸入數(shù)據(jù)轉(zhuǎn)換到頻域來對(duì)時(shí)間序列進(jìn)行分析，巧妙的將一維時(shí)間序列轉(zhuǎn)換到二維空間進(jìn)行分析，之后再通過2d卷積對(duì)二維張量進(jìn)行信息提取，再通過信息聚合回到一維，這很大程度上挖掘了每個(gè)時(shí)間段與時(shí)間段之間的關(guān)系，相較現(xiàn)有技術(shù)在短期序列預(yù)測(cè)上擁有更好的精度。

29、2、本發(fā)明提供的crossformer模塊先經(jīng)過dwg，將時(shí)間序列分割成patch形式，得到的patch?embedding作為后續(xù)步驟的輸入，之后再經(jīng)過二階段注意力進(jìn)行時(shí)間維度上的注意力和特征維度之間的注意力，找尋序列與時(shí)間、特征于特征之間的關(guān)系后輸出，經(jīng)過lstm模塊對(duì)預(yù)測(cè)結(jié)果的修正后，在一定程度上解決了整體模型在處理長(zhǎng)序列過程中的梯度消失和梯度爆炸等問題，使得整體模型具有更高的魯棒性。