本發(fā)明的實施例涉及電力系統(tǒng)領(lǐng)域，尤其涉及一種基于深度置信網(wǎng)絡(luò)的電力系統(tǒng)負(fù)荷預(yù)測方法及裝置。

背景技術(shù)：

電力系統(tǒng)負(fù)荷預(yù)測是電力系統(tǒng)規(guī)劃的重要組成部分，也是電力系統(tǒng)經(jīng)濟運行的基礎(chǔ)，它從已知的用電需求出發(fā)，充分考慮政治、經(jīng)濟、氣候等相關(guān)因素的影響，預(yù)測未來的用電需求。精確的負(fù)荷預(yù)測數(shù)據(jù)有助于電網(wǎng)調(diào)度控制和安全運行，制定合理的電源建設(shè)規(guī)劃以及提高電力系統(tǒng)的經(jīng)濟效益和社會效益。在負(fù)荷預(yù)測中，常采用回歸模型、時間序列預(yù)測技術(shù)和灰色理論預(yù)測技術(shù)等方法。近年來，隨著人工神經(jīng)網(wǎng)絡(luò)研究的興起，利用神經(jīng)網(wǎng)絡(luò)進行電力系統(tǒng)負(fù)荷預(yù)測，使預(yù)測誤差有很大的降低，引起負(fù)荷預(yù)測工作者的高度重視。

現(xiàn)有技術(shù)中利用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)來進行電力系統(tǒng)的負(fù)荷預(yù)測。然而，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)是一種典型的全局逼近網(wǎng)絡(luò)，網(wǎng)絡(luò)的一個或多個權(quán)值對每個輸出都有影響；另一方面，網(wǎng)絡(luò)在確定權(quán)值時具有隨機性，導(dǎo)致每次訓(xùn)練后輸入、輸出間的關(guān)系不定，預(yù)測結(jié)果存在差異?？梢姮F(xiàn)有技術(shù)的方案存在收斂速度慢且預(yù)測誤差大的問題。

技術(shù)實現(xiàn)要素：

本發(fā)明的實施例提供一種基于深度置信網(wǎng)絡(luò)的電力系統(tǒng)負(fù)荷預(yù)測方法及裝置，能夠提高收斂速度，降低預(yù)測誤差。

為了達成上述目的，本申請的實施例采用如下技術(shù)方案：

第一方面，提供一種基于DBN的電力系統(tǒng)負(fù)荷預(yù)測方法，DBN由多層受限玻爾茲曼機RBM構(gòu)成，包括至少一個隱層和一個可見層，所述電力系統(tǒng)負(fù)荷預(yù)測方法包括：

獲取訓(xùn)練樣本和測試樣本；構(gòu)造RBM模型的能量函數(shù)；

利用所述訓(xùn)練樣本逐層訓(xùn)練所述至少一個隱層和可見層，得到所述訓(xùn)練樣本在所述至少一個隱層和可見層節(jié)點間的權(quán)值；

將由所述訓(xùn)練樣本得到的輸出數(shù)據(jù)，以及所述測試樣本輸入經(jīng)過訓(xùn)練后的DBN，得到對電力系統(tǒng)負(fù)荷的預(yù)測值。

第二方面，提供一種基于DBN的電力系統(tǒng)負(fù)荷預(yù)測裝置，用于執(zhí)行第一方面所提供的方法。

本發(fā)明的實施例所提供的基于深度置信網(wǎng)絡(luò)的電力系統(tǒng)負(fù)荷預(yù)測方法及裝置，利用多層受限玻爾茲曼機構(gòu)成深度置信網(wǎng)絡(luò)，包括若干隱層和一個可見層，可以通過采用層次無監(jiān)督貪婪預(yù)訓(xùn)練方法分層預(yù)訓(xùn)練RBM，并將得到的結(jié)果作為監(jiān)督學(xué)習(xí)訓(xùn)練概率模型的初始值，從而極大改善學(xué)習(xí)性能，提高收斂速度，降低預(yù)測誤差。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明的實施例所提供的基于深度置信網(wǎng)絡(luò)的電力系統(tǒng)負(fù)荷預(yù)測方法流程示意圖；

圖2為RBM包括一個可見層和一個隱含層時的說明示意圖；

圖3為本發(fā)明的實施例中對三種模型不同結(jié)構(gòu)下的最優(yōu)錯誤識別率的說明示意圖；

圖4本發(fā)明的實施例中對平均絕對百分誤差隨迭代次數(shù)變化的曲線圖；

圖5本發(fā)明的實施例所提供的基于DBN的電力系統(tǒng)負(fù)荷預(yù)測裝置的結(jié)構(gòu)示意圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

針對傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的負(fù)荷預(yù)測收斂速度慢，預(yù)測誤差大的問題，本文提出一種基于深度置信網(wǎng)絡(luò)(英文全稱：Deep Belief Network，英文簡稱：DBN)的電力系統(tǒng)負(fù)荷預(yù)測方案，結(jié)合圖1所示，該方法包括以下步驟：

101、獲取訓(xùn)練樣本和測試樣本。

102、構(gòu)造RBM模型的能量函數(shù)。

103、利用訓(xùn)練樣本逐層訓(xùn)練至少一個隱層和可見層，得到訓(xùn)練樣本在至少一個隱層和可見層節(jié)點間的權(quán)值。

104、將由訓(xùn)練樣本得到的輸出數(shù)據(jù)，以及測試樣本輸入經(jīng)過訓(xùn)練后的DBN，得到對電力系統(tǒng)負(fù)荷的預(yù)測值。

本發(fā)明的具體實施例中，DBN由多層受限玻爾茲曼機(英文全稱：Restricted Boltzmann Machine，RBM)構(gòu)成，包括至少一個隱層和一個可見層，通過采用層次無監(jiān)督貪婪預(yù)訓(xùn)練方法分層預(yù)訓(xùn)練RBM，并將得到的結(jié)果作為監(jiān)督學(xué)習(xí)訓(xùn)練概率模型的初始值，從而極大改善學(xué)習(xí)性能，說明如下：

一、數(shù)據(jù)預(yù)處理

S1、對訓(xùn)練樣本進行預(yù)處理：

假設(shè)所有訓(xùn)練樣本為X＝{X₁,X₂,...,X_M}，其中X_i表示一組負(fù)荷數(shù)據(jù)，M表示負(fù)荷數(shù)據(jù)的個數(shù)，對于輸入樣本，算法采用4個步驟進行歸一化：

①計算均值：

其中，u表示樣本的均值。

②計算方差：

其中，δ表示樣本的方差。

③白化：

其中，X_i'表示樣本數(shù)據(jù)的白化參數(shù)。

④歸一化：

其中，X_i,n表示樣本數(shù)據(jù)的歸一化參數(shù)；

S2、對測試樣本進行預(yù)處理：

測試樣本的預(yù)處理需要將其按照訓(xùn)練樣本的均值和方差白化，然后按照訓(xùn)練樣本的最大、最小值均勻歸一化到0到1之間，假設(shè)單個測試樣本為T，則歸一化步驟為：

①白化：

其中，T'表示測試樣本數(shù)據(jù)的白化參數(shù)，T為單個測試樣本，u表示訓(xùn)練樣本的均值，δ表示訓(xùn)練樣本的方差。

②歸一化：

其中，T_n表示測試樣本數(shù)據(jù)的歸一化參數(shù)。

此處，白化的原因是因為自然數(shù)據(jù)相鄰元素之間有較大的相關(guān)性，因此通過白化可以降低數(shù)據(jù)的冗余性，類似于主成分分析(英文全稱：Principal Component Analysis，英文間稱：PCA)降維。

二、深度置信網(wǎng)絡(luò)的基本原理及構(gòu)成

DBN是一種能量模型，它的特征學(xué)習(xí)能力非常強大，是一種很早便得到研究的深度網(wǎng)絡(luò)。其學(xué)習(xí)方法是由Hinton等人提出的，實質(zhì)是通過構(gòu)建具有很多隱層的機器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測的準(zhǔn)確性。

DBN可以看成由多層RBM構(gòu)成的復(fù)雜神經(jīng)網(wǎng)絡(luò)，它包括一個可見層和若干隱層，采用對比散度的方法訓(xùn)練RBM的預(yù)權(quán)值。深度神經(jīng)網(wǎng)絡(luò)用層次無監(jiān)督貪婪預(yù)訓(xùn)練方法分層預(yù)訓(xùn)練RBM，將得到的結(jié)果作為監(jiān)督學(xué)習(xí)訓(xùn)練概率模型的初始值，學(xué)習(xí)性能得到很大改善。

RBM是生成式的隨機神經(jīng)網(wǎng)絡(luò)，用來學(xué)習(xí)關(guān)于輸入數(shù)據(jù)的概率分布，可以根據(jù)需要使用在監(jiān)督和非監(jiān)督兩種方式訓(xùn)練，其在很多方面都有廣泛運用。如圖2所示RBM有兩層網(wǎng)絡(luò)分別表示為：向量h＝(h₁,h₂,…h(huán)_m)表示隱層單元，共有m個元素；向量v＝(v₁,v₂,…,v_n)表示可見層，共有n個元素。因為層內(nèi)部元素之間是無連接的，所以層內(nèi)各個元素之間是互相獨立的，即有：

p(h|v)＝p(h₁|v)p(h₂|v)…p(h_m|v)；

p(v|h)＝p(v₁|h)p(v₂|h)…p(v_n|h)。

一般可見層和隱層單元的分布滿足伯努利形式，那么有：

由此可知，通過每一層的概率分布就可以求出整個模型的概率分布，從而可以逐層進行無監(jiān)督的訓(xùn)練。將下層RBM的輸出作為上層RBM的輸入。直到最后一層隱含層，將最后一層隱含層輸入到softmax分類器，然后計算估計誤差進行反向微調(diào)。

S3、構(gòu)造RBM模型的能量函數(shù)：

隱層和可見層的滿足伯努利分布的RBM模型的能量函數(shù)定義為：

其中，a_i和b_j表示偏置項，w_ij表示可見單元與隱層單元之間的連接權(quán)值。θ＝(a,b,w)是RBM模型的權(quán)值參數(shù)，向量h＝(h₁,h₂,…h(huán)_m)表示隱層單元，共有m個元素，向量v＝(v₁,v₂,…,v_n)表示可見層，共有n個元素。

S4、計算可見層、隱層單元的聯(lián)合概率分布：

給定模型參數(shù)，可見、隱層單元的聯(lián)合概率分布可以表示為：

其中，是一個歸一化因子，-E(v,h)是隱層和可見層的RBM模型的能量函數(shù)，向量h＝(h₁,h₂,…h(huán)_m)表示隱層單元，共有m個元素。

根據(jù)式(7)和式(8)可以推導(dǎo)出：

式中，

S5、計算可見層與隱層的邊緣分布：

根據(jù)可見層與隱層的聯(lián)合概率分布P(v,h)，可以得到邊緣分布：

其中，是一個歸一化因子，E(v,h)是隱層和可見層的RBM模型的能量函數(shù)，向量h＝(h₁,h₂,…h(huán)_m)表示隱層單元，共有m個元素。

S6、構(gòu)造對數(shù)似然函數(shù)為：

其中，l是訓(xùn)練樣本的數(shù)目，θ＝(a,b,w)是RBM模型的權(quán)值參數(shù)，P(v_i)是可見層與隱層的邊緣分布。

S7、計算對數(shù)似然函數(shù)的梯度：

根據(jù)梯度下降法對對數(shù)似然函數(shù)進行求導(dǎo)，可得：

整理可得：

其中，lnL(θ)是對數(shù)似然函數(shù)，l是訓(xùn)練樣本的數(shù)目，θ＝(a,b,w)是RBM模型的權(quán)值參數(shù)，P(h|v_i)是可見層與隱層的邊緣分布，E(v,h)是隱層和可見層的RBM模型的能量函數(shù)，P(h,v_i)是可見層、隱層單元的聯(lián)合概率分布。

三、利用深度置信網(wǎng)絡(luò)預(yù)測電力系統(tǒng)負(fù)荷的流程

對于深度學(xué)習(xí)來說，其思想就是對堆疊多個層，也就是說這一層的輸出作為下一層的輸入。比如有一個系統(tǒng)S，它有n層(S1,…Sn)，它的輸入是I，輸出是O，可表示為：I＝>S1＝>S2＝>…..＝>Sn＝>O，通過調(diào)整系統(tǒng)中參數(shù)，使得輸出O仍然是輸入I，那么就可以自動地獲取得到輸入I的一系列層次特征，即S1，…,Sn。通過這種方式，可以實現(xiàn)對輸入信息進行分級表達。利用深度置信網(wǎng)絡(luò)預(yù)測電力系統(tǒng)負(fù)荷的過程本質(zhì)上就是一個深度學(xué)習(xí)的過程。

利用深度置信網(wǎng)絡(luò)預(yù)測電力系統(tǒng)負(fù)荷的流程為：采用對比散度的方法訓(xùn)練RBM的預(yù)權(quán)值。通過分析，算法采用三層隱含層，并采用層次無監(jiān)督貪婪預(yù)訓(xùn)練方法分層預(yù)訓(xùn)練RBM，將得到的結(jié)果作為監(jiān)督學(xué)習(xí)訓(xùn)練概率模型的初始值，從而提高學(xué)習(xí)性能。仿真數(shù)據(jù)顯示，與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法相比，該算法收斂快，預(yù)測誤差小。

①采用對比散度的方法訓(xùn)練RBM的預(yù)權(quán)值。KL-散度是非對稱度量，所以KL(Q||P)與KL(P||Q)的值是不同的。兩個分布的差別越大，KL-散度的值也越大。RBM模型的對數(shù)似然函數(shù)的最大值最終演化為計算兩個概率分布的KL-散度之差：

KL(Q||P)-KL(P_k||P) (式15)

其中，Q是先驗分布，P_k是k步Gibbs采樣后的分布。若Gibbs鏈達到平穩(wěn)狀態(tài)(由于初始狀態(tài)v⁽⁰⁾＝v，已經(jīng)為平穩(wěn)狀態(tài))，則有P_k＝P，也即KL(P_k||P)＝0。這樣對比散度算法得到的估計誤差等于0。

②將得到的結(jié)果作為監(jiān)督學(xué)習(xí)訓(xùn)練概率模型的初始值，相對熵又稱為KL-散度常用來衡量兩個概率分布的距離。兩個概率Q和P分布在狀態(tài)空間中的KL-散度定義如下：

KL(Q||P)是兩個概率Q和P分布在狀態(tài)空間中的KL-散度。

③將得到的預(yù)權(quán)值和初始值作為輸入數(shù)據(jù)，傳遞至下一層，在下一層中再進行訓(xùn)練。每次訓(xùn)練一層網(wǎng)絡(luò)，逐層訓(xùn)練。具體的，先用無標(biāo)定數(shù)據(jù)訓(xùn)練第一層，訓(xùn)練時先學(xué)習(xí)第一層的參數(shù)(這一層可以看作是得到一個使得輸出和輸入差別最小的三層神經(jīng)網(wǎng)絡(luò)的隱層)，在學(xué)習(xí)得到第n-1層后，將n-1層的輸出作為第n層的輸入，訓(xùn)練第n層，由此分別得到各層的參數(shù)。因此，訓(xùn)練過程就是一個重復(fù)迭代的過程。當(dāng)所有層訓(xùn)練完后，使用wake-sleep算法進行調(diào)優(yōu)。

wake階段：認(rèn)知過程，通過外界的特征和向上的權(quán)重(認(rèn)知權(quán)重)產(chǎn)生每一層的抽象表示(結(jié)點狀態(tài))，并且使用梯度下降修改層間的下行權(quán)重(生成權(quán)重)。

sleep階段：生成過程，通過頂層表示和向下權(quán)重，生成底層的狀態(tài)，同時修改層間向上的權(quán)重。

④在預(yù)訓(xùn)練后，DBN可以通過利用帶標(biāo)簽數(shù)據(jù)用BP算法去對判別性能做調(diào)整。在這里，一個標(biāo)簽集將被附加到頂層(推廣聯(lián)想記憶)，通過一個自下向上的，學(xué)習(xí)到的識別權(quán)值獲得一個網(wǎng)絡(luò)的分類面。這個性能會比單純的BP算法訓(xùn)練的網(wǎng)絡(luò)好。這可以很直觀的解釋，DBNs的BP算法只需要對權(quán)值參數(shù)空間進行一個局部的搜索，這相比前向神經(jīng)網(wǎng)絡(luò)來說，訓(xùn)練是要快的，而且收斂的時間也少。

⑤當(dāng)訓(xùn)練和調(diào)優(yōu)步驟結(jié)束后，在最高兩層(即最后一層隱層和可見層)，權(quán)值被連接到一起，這樣更低層的輸出將會提供一個參考的線索或者關(guān)聯(lián)給頂層，這樣頂層就會將其聯(lián)系到它的記憶內(nèi)容。從而，進行電力系統(tǒng)的負(fù)荷值預(yù)測。

在一種具體的實施方式中，S8：根據(jù)式16計算可見層、隱層兩個概率Q和P分布在狀態(tài)空間中的KL-散度；S9：根據(jù)式15將RBM模型的對數(shù)似然函數(shù)的最大值最終演化為計算兩個概率分布Q和P的KL-散度之差。S10：S1-S9是通過RBM模型對訓(xùn)練樣本進行分層訓(xùn)練，得到訓(xùn)練樣本在可見層節(jié)點和隱層節(jié)點間的權(quán)值，權(quán)值從隱層輸入到可見層，可見層會記憶該權(quán)值內(nèi)容并得出訓(xùn)練樣本的負(fù)荷預(yù)測值，用于電力系統(tǒng)的負(fù)荷的預(yù)測過程。S11、測試樣本加上S10得到的訓(xùn)練樣本的平均負(fù)荷值、最大負(fù)荷值、平均氣溫、數(shù)值天氣預(yù)報的預(yù)測日平均氣溫作為深度神經(jīng)網(wǎng)絡(luò)算法的輸入數(shù)據(jù)，通過S1-S9的計算，輸出的數(shù)據(jù)即是預(yù)測電力系統(tǒng)的負(fù)荷值。

四、實驗設(shè)置

負(fù)荷測試使用EUNITE競賽所提供的東斯洛伐克電力公司2007年1月～10月負(fù)荷數(shù)據(jù)作訓(xùn)練數(shù)據(jù)，11月～12月數(shù)據(jù)用作預(yù)測對比數(shù)據(jù)。其中神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)包括：前一天48個采樣點(每半小時的平均負(fù)荷數(shù)據(jù))、前一天的平均溫度、前一天負(fù)荷峰值、前一天負(fù)荷谷值、前一天平均值、預(yù)測日平均溫度。預(yù)測算法一次性預(yù)測第二天的48點數(shù)據(jù)。

在負(fù)荷預(yù)測的應(yīng)用中，一般需要0小時～24小時內(nèi)每半小時的負(fù)荷預(yù)測數(shù)據(jù)，算法取預(yù)測日前一天0點～24點一共48個歷史數(shù)據(jù)，加上預(yù)測日前一天平均負(fù)荷值、最大負(fù)荷值、平均氣溫、數(shù)值天氣預(yù)報的預(yù)測日平均氣溫作為深度神經(jīng)網(wǎng)絡(luò)算法的輸入數(shù)據(jù)。輸出數(shù)據(jù)是預(yù)測日0點～24點每半小時的負(fù)荷數(shù)據(jù)。

為了比較算法性能，選用了BP神經(jīng)網(wǎng)絡(luò)、自組織模糊神經(jīng)網(wǎng)絡(luò)(英文全稱：Self-organizing Fuzzy Neural Network，英文簡稱：SOFNN)和深度置信網(wǎng)絡(luò)進行對比。BP神經(jīng)網(wǎng)絡(luò)具有良好的捕捉非線性規(guī)律的特性，當(dāng)隱層的神經(jīng)元足夠多時，3層感知器模型可以實現(xiàn)任何非線性函數(shù)的逼近。SOFNN算法的主要優(yōu)點在于能夠自動地決定網(wǎng)絡(luò)結(jié)構(gòu)并且給出模型參數(shù)，具有很好的預(yù)測精度。

評判標(biāo)準(zhǔn)為平均絕對百分誤差(MAPE)，定義如下：

其中，D_i和分別為1997年某月第i天最大負(fù)荷的真實值和預(yù)測值，n為1997年某月的天數(shù)。

五、性能評價

(1)網(wǎng)絡(luò)結(jié)構(gòu)對算法性能的影響

首先，實驗研究網(wǎng)絡(luò)結(jié)構(gòu)(隱含層即神經(jīng)元數(shù)目)對預(yù)測效果的影響，取2007年1月～10月負(fù)荷數(shù)據(jù)作訓(xùn)練數(shù)據(jù)，11月負(fù)荷數(shù)據(jù)作為測試數(shù)據(jù)。網(wǎng)絡(luò)結(jié)構(gòu)分別使用1、2、3層隱含層。神經(jīng)元數(shù)目分別使用20、50、100、200、400。此處，為方便比較，每層的神經(jīng)元數(shù)目相同。對于初始參數(shù)的設(shè)置，下列參數(shù)的選擇將從這些范圍內(nèi)手動選擇以獲取最優(yōu)識別率：BP學(xué)習(xí)率(0.1，0.05，0.02，0.01，0.005)，預(yù)訓(xùn)練學(xué)習(xí)率(0.01，0.005，0.002，0.001)。圖3顯示了三種模型不同結(jié)構(gòu)下的最優(yōu)錯誤識別率。由圖3可知，當(dāng)隱含層數(shù)較少或者神經(jīng)元個數(shù)較少時沒有經(jīng)過預(yù)訓(xùn)練的BP網(wǎng)絡(luò)性能較優(yōu)，當(dāng)只有1層隱含層時，神經(jīng)元個數(shù)達到200時SOFNN的錯誤率才和BP的相當(dāng)，而當(dāng)隱含層數(shù)為2層和3層時，神經(jīng)元個數(shù)達到100和50時SOFNN的性能就將接近并超過BP。DBN也同樣，可以發(fā)現(xiàn)神經(jīng)元數(shù)目較少的情況下SOFNN的性能與DBN相比較優(yōu)，神經(jīng)元數(shù)目較多的情況下則相反。并且當(dāng)隱含層數(shù)相同時，因為過擬合問題。BP網(wǎng)絡(luò)的性能并不是隨著節(jié)點個數(shù)遞增，當(dāng)節(jié)點數(shù)過多時反而下降，而深度模型則一直遞增并趨于穩(wěn)定，這說明經(jīng)過預(yù)訓(xùn)練的深度網(wǎng)絡(luò)的性能隨著網(wǎng)絡(luò)規(guī)模的擴大(包括隱含層數(shù)增多或節(jié)點數(shù)增多)是逐漸優(yōu)化的?？梢钥吹?，過少的隱含層數(shù)及隱含節(jié)點數(shù)會降低深度模型的性能。原因可以這樣解釋，預(yù)訓(xùn)練模型的作用是提取輸入特征中的核心特征，由于稀疏性條件的限制，假設(shè)神經(jīng)元個數(shù)過少，對于一些輸入樣本的輸入，只有少量的神經(jīng)元被激活，而這些特征無法代表原始的輸入，因此丟失了一些信息量，造成了性能的下降。雖然網(wǎng)絡(luò)規(guī)模越大深度模型的性能越好，但同時訓(xùn)練時間也加長了，因此需要在性能與訓(xùn)練時間進行權(quán)衡。

(2)算法收斂性比較

圖4是平均絕對百分誤差隨迭代次數(shù)變化曲線。算法采用三層隱含層，每層100每層100個神經(jīng)元的模型。預(yù)訓(xùn)練時學(xué)習(xí)率都取0.01。微調(diào)時學(xué)習(xí)率取0.1，動量項系數(shù)取0.5。2007年1月～11月負(fù)荷數(shù)據(jù)作訓(xùn)練數(shù)據(jù)，12月負(fù)荷數(shù)據(jù)作為測試數(shù)據(jù)。比較迭代1000次下的BP、SOFNN、DBN的平均絕對百分誤差變化。

分析圖4可以看到隨著迭代次數(shù)的增加，三種模型的錯誤率都逐漸下降，這是由于隨著訓(xùn)練次數(shù)增加網(wǎng)絡(luò)參數(shù)的分布越來越接近最小值點。但是BP網(wǎng)絡(luò)在達到一定的訓(xùn)練次數(shù)后錯誤率出現(xiàn)震蕩并且有逐漸增加的趨勢，而經(jīng)過預(yù)訓(xùn)練DBN網(wǎng)絡(luò)的錯誤率穩(wěn)定下降，這間接的證明了預(yù)訓(xùn)練可以使網(wǎng)絡(luò)初始參數(shù)的分布區(qū)域更加接近最小值點，并且有效地避免了局部震蕩。

負(fù)荷預(yù)測為配電網(wǎng)管理決策和運行方式提供了重要依據(jù)。本發(fā)明提出采用深度置信網(wǎng)絡(luò)的負(fù)荷預(yù)測算法，改進現(xiàn)有神經(jīng)網(wǎng)絡(luò)算法學(xué)習(xí)速率較慢，預(yù)測效率低的問題。仿真結(jié)果顯示，相比于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法，基于深度置信網(wǎng)絡(luò)的算法的電力負(fù)荷預(yù)測效果明顯。

本發(fā)明的實施例還提供一種基于DBN的電力系統(tǒng)負(fù)荷預(yù)測裝置，用于執(zhí)行上述實施例中所描述的電力系統(tǒng)負(fù)荷預(yù)測方法，結(jié)合圖5所示，電力系統(tǒng)負(fù)荷預(yù)測裝置包括：

數(shù)據(jù)處理單元501，用于獲取訓(xùn)練樣本和測試樣本；構(gòu)造RBM模型的能量函數(shù)；

訓(xùn)練單元502，用于利用訓(xùn)練樣本逐層訓(xùn)練至少一個隱層和可見層，得到訓(xùn)練樣本在至少一個隱層和可見層節(jié)點間的權(quán)值；

預(yù)測單元503，用于將由訓(xùn)練樣本得到的輸出數(shù)據(jù)，以及測試樣本輸入經(jīng)過訓(xùn)練后的DBN，得到對電力系統(tǒng)負(fù)荷的預(yù)測值。

可選的，數(shù)據(jù)處理單元501，還用于對由負(fù)荷數(shù)據(jù)X_i構(gòu)成的訓(xùn)練樣本X＝{X₁,X₂,...,X_M}進行歸一化；其中X_i表示一組負(fù)荷數(shù)據(jù)，M表示負(fù)荷數(shù)據(jù)的個數(shù)；還用于將測試樣本按照訓(xùn)練樣本的均值和方差白化，并按照訓(xùn)練樣本的最大、最小值均勻歸一化到0到1之間。

可選的，可見層和隱層單元的分布滿足伯努利形式；

數(shù)據(jù)處理單元501所定義的可見層和隱層的滿足伯努利分布的RBM模型的能量函數(shù)為：

其中，a_i和b_j表示偏置項，w_ij表示可見單元與隱層單元之間的連接權(quán)值。θ＝(a,b,w)是RBM模型的權(quán)值參數(shù)，向量h＝(h₁,h₂,…h(huán)_m)表示隱層單元，共有m個元素，向量v＝(v₁,v₂,…,v_n)表示可見層，共有n個元素。

可選的，訓(xùn)練單元502，具體用于采用對比散度的裝置訓(xùn)練RBM的預(yù)權(quán)值，將得到的結(jié)果作為監(jiān)督學(xué)習(xí)訓(xùn)練概率模型的初始值；將得到的預(yù)權(quán)值和初始值作為輸入數(shù)據(jù)，傳遞至下一層網(wǎng)絡(luò)，在下一層網(wǎng)絡(luò)中再進行訓(xùn)練；每次訓(xùn)練一層網(wǎng)絡(luò)，逐層訓(xùn)練至少一個隱層和可見層。

可選的，由訓(xùn)練樣本得到的輸出數(shù)據(jù)，至少包括訓(xùn)練樣本的平均負(fù)荷值、最大負(fù)荷值、平均氣溫、數(shù)值天氣預(yù)報的預(yù)測日平均氣溫。

本發(fā)明的實施例所提供的基于深度置信網(wǎng)絡(luò)的電力系統(tǒng)負(fù)荷預(yù)測方法及裝置，利用多層受限玻爾茲曼機構(gòu)成深度置信網(wǎng)絡(luò)，包括若干隱層和一個可見層，可以通過采用層次無監(jiān)督貪婪預(yù)訓(xùn)練方法分層預(yù)訓(xùn)練RBM，并將得到的結(jié)果作為監(jiān)督學(xué)習(xí)訓(xùn)練概率模型的初始值，從而極大改善學(xué)習(xí)性能，提高收斂速度，降低預(yù)測誤差，改進現(xiàn)有神經(jīng)網(wǎng)絡(luò)算法學(xué)習(xí)速率較慢，預(yù)測效率低的問題。仿真結(jié)果顯示，相比于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法，基于深度置信網(wǎng)絡(luò)的算法的電力負(fù)荷預(yù)測效果明顯。

以上，僅為本發(fā)明的具體實施方式，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應(yīng)以權(quán)利要求的保護范圍為準(zhǔn)。