基于遺傳算法的多階段神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于數(shù)據(jù)挖掘技術(shù)領(lǐng)域，具體涉及一種基于遺傳算法的多階段神經(jīng)網(wǎng)絡(luò)模 型訓(xùn)練方法。
【背景技術(shù)】
[0002] 隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，特別是Internet技術(shù)的不斷應(yīng)用，人們利用網(wǎng)絡(luò)信 息技術(shù)產(chǎn)生和搜集數(shù)據(jù)的能力有了很大幅度的提高，數(shù)據(jù)呈現(xiàn)了飛快的增長趨勢。如何從 海量的數(shù)據(jù)中獲取所需要的信息成為了一個(gè)迫切需要研究的問題。面對這樣的挑戰(zhàn)，數(shù)據(jù) 挖掘（Data Mining)技術(shù)應(yīng)運(yùn)而生，使用數(shù)據(jù)挖掘技術(shù)能夠從這些海量數(shù)據(jù)中獲取隱含的 有用信息。然而，由于數(shù)據(jù)的爆炸性增長，如何使用數(shù)據(jù)挖掘技術(shù)快速有效地從海量數(shù)據(jù)中 獲取隱含有用的信息變得越來越重要。因此，數(shù)據(jù)挖掘技術(shù)成為大數(shù)據(jù)技術(shù)中核心技術(shù)之 〇
[0003] 在工程控制中，存在很多輸入?yún)?shù)分階段影響輸出的情況。比較典型的就是在鋼 鐵企業(yè)的多輥熱連乳機(jī)質(zhì)量控制中，如何在熱連乳產(chǎn)品物理性能指標(biāo)給定的情況下，確定 影響熱連乳過程的煉鋼參數(shù)、乳制參數(shù)等變量的變化范圍，達(dá)到所要求的質(zhì)量標(biāo)準(zhǔn)，這是長 期困擾工程技術(shù)人員的難題。隨著數(shù)據(jù)挖掘技術(shù)的興起，數(shù)據(jù)挖掘方法成為解決這一問題 的有效途徑。但是由于產(chǎn)品加工工序的特殊性，即存在先后順序的特點(diǎn)，如熱乳產(chǎn)品的質(zhì)量 主要決定于煉鋼、乳鋼等過程中的眾多參數(shù)，在煉鋼過程結(jié)束后，煉鋼過程中的全部參數(shù)由 鋼鐵質(zhì)量體現(xiàn)，這時(shí)熱乳板材的質(zhì)量取決于鋼鐵質(zhì)量參數(shù)和熱乳過程中的其他參數(shù)，將所 有輸入變量作為同等輸入的一般數(shù)據(jù)挖掘方法很難達(dá)到理想的效果。只有將不同階段的參 數(shù)作為不同的輸入層才更能描述這一問題，多階段的神經(jīng)網(wǎng)絡(luò)算法應(yīng)運(yùn)而生。
[0004] 神經(jīng)網(wǎng)絡(luò)算法的模型優(yōu)劣受初始權(quán)重影響很大，傳統(tǒng)的隨機(jī)生成初始權(quán)重的方法 很難保證模型的穩(wěn)健性。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于遺傳算法的多階段神經(jīng)網(wǎng) 絡(luò)模型訓(xùn)練方法，解決工程中輸入?yún)?shù)分階段影響輸出的控制問題。
[0006] 本發(fā)明解決其技術(shù)問題是采取以下技術(shù)方案實(shí)現(xiàn)的：
[0007] -種基于遺傳算法的多階段神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法，包括以下步驟：
[0008] 步驟1、對數(shù)據(jù)進(jìn)行預(yù)處理以消除字段的量綱影響；
[0009] 步驟2、根據(jù)輸入層、隱含層、輸出層節(jié)點(diǎn)數(shù)，構(gòu)建多輸入層網(wǎng)絡(luò)結(jié)構(gòu)；
[0010] 步驟3、采用遺傳算法訓(xùn)練初始權(quán)重和閾值；
[0011] 步驟4、利用迭代算法更新權(quán)重；
[0012] 步驟5、根據(jù)迭代次數(shù)及模型誤差判斷是否滿足模型終止條件：如果迭代次數(shù)達(dá) 到設(shè)置值時(shí)，則模型結(jié)束；否則計(jì)算模型誤差，如果模型誤差小于閾值，則模型結(jié)束，否則轉(zhuǎn) 到步驟4。
[0013] 所述步驟1對數(shù)據(jù)進(jìn)行預(yù)處理包括去掉訓(xùn)練集目標(biāo)字段取值為空的記錄、對字段 缺失值進(jìn)行處理、字符字段二值化及數(shù)值字段正則化。
[0014] 所述步驟3的具體方法包括以下步驟：
[0015] (1)設(shè)置基因的雜交概率和基因的變異概率；
[0016] (2)對神經(jīng)網(wǎng)絡(luò)的權(quán)重和閾值進(jìn)行編碼；
[0017] (3)根據(jù)誤差精確度確定基因碼長；
[0018] ⑷初始化種群；
[0019] (5)種群評估；
[0020] (5)根據(jù)種群評估結(jié)果，如果最優(yōu)個(gè)體與最差個(gè)體的評估值之差小于閾值，則轉(zhuǎn)至 步驟（9)，否則轉(zhuǎn)至步驟（6);
[0021] (6)雜交操作；
[0022] (7)變異操作；
[0023] (8)適應(yīng)度評估；
[0024] (9)遺傳算法終止，選擇誤差最小的個(gè)體為最優(yōu)個(gè)體作為初始權(quán)重。
[0025] 所述步驟（2)對神經(jīng)網(wǎng)絡(luò)的權(quán)重和閾值進(jìn)行編碼采用二進(jìn)制編碼，將權(quán)值和閾值 的取值區(qū)間限定在了 [-1，1]之間。
[0026] 所述步驟（4)初始化種群規(guī)模設(shè)定為100。
[0027] 所述步驟（5)種群評估采用適應(yīng)度函數(shù)作為總誤差，并計(jì)算每個(gè)個(gè)體的誤差。
[0028] 所述步驟（6)雜交操作的方法為：通過將原有的最優(yōu)的兩個(gè)個(gè)體進(jìn)行交叉，生成 新個(gè)體，并替代最差的個(gè)體。
[0029] 所述步驟（7)變異操作的方法為：通過對最差的個(gè)體進(jìn)行變異，產(chǎn)生新個(gè)體。
[0030] 所述步驟（8)適應(yīng)度評估的方法為：對交叉和變異后產(chǎn)生的新個(gè)體進(jìn)行解碼，轉(zhuǎn) 換為[-1，1]的權(quán)重取值后對新個(gè)體進(jìn)行評估。
[0031] 所述步驟4是采用BFGS迭代算法更新權(quán)重的，在迭代過程中采用采用黃金分割法 搜索步長。
[0032] 本發(fā)明的優(yōu)點(diǎn)和積極效果是：
[0033] 1、本發(fā)明采用遺傳算法為神經(jīng)網(wǎng)絡(luò)訓(xùn)練初始權(quán)值，降低網(wǎng)絡(luò)訓(xùn)練進(jìn)入局部極小的 可能性，在其它條件不變的情況下，采用初始權(quán)重隨機(jī)取值和GA訓(xùn)練初始權(quán)重兩種方法， 分別進(jìn)行20次試驗(yàn)，利用GA選擇初始權(quán)重所得的結(jié)果優(yōu)于隨機(jī)產(chǎn)生初始權(quán)重所得的結(jié)果。
[0034] 2、本發(fā)明引入了多階段輸入的思想，通過對傳統(tǒng)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)改造，使其能夠適 應(yīng)類似產(chǎn)品工藝流程改進(jìn)等影響因素分成多個(gè)階段對目標(biāo)進(jìn)行影響的應(yīng)用場景，使得相應(yīng) 問題預(yù)測效果更優(yōu)。
【附圖說明】
[0035] 圖1為本發(fā)明的多階段神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖；
[0036] 圖2為本發(fā)明的算法流程圖。
【具體實(shí)施方式】
[0037] 以下結(jié)合附圖對本發(fā)明實(shí)施例做進(jìn)一步詳述：
[0038] 一種基于遺傳算法的多階段神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法，是針對多階段神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn) 的，多階段神經(jīng)網(wǎng)絡(luò)是具有多個(gè)輸入層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。多階段神經(jīng)網(wǎng)絡(luò)系統(tǒng)主要用于工 程控制中輸入?yún)?shù)具有前后時(shí)間順序的情況，即產(chǎn)品加工工序前后不同，只有一個(gè)輸入層 的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)無法得到準(zhǔn)確的參數(shù)控制結(jié)果。神經(jīng)網(wǎng)絡(luò)模型的優(yōu)劣受初始權(quán)重和閾值影 響很大，采用遺傳算法，憑借其全局搜索的特點(diǎn)，為神經(jīng)網(wǎng)絡(luò)選擇一組較合理的初值權(quán)重， 從而盡可能地將網(wǎng)絡(luò)初始權(quán)重設(shè)置在局部極小點(diǎn)附近?；谶z傳算法產(chǎn)生的初始權(quán)重和閾 值，進(jìn)一步訓(xùn)練迭代多階段神經(jīng)網(wǎng)絡(luò)模型，優(yōu)化初始權(quán)重和閾值。
[0039] 下面結(jié)合一個(gè)實(shí)施例對本方法進(jìn)行說明：
[0040] 在鋼鐵企業(yè)的多輥熱連乳機(jī)質(zhì)量控制中，困擾工程技術(shù)人員的難題是熱連乳產(chǎn)品 物理性能指標(biāo)給定的情況下，如何確定在熱連乳過程中能夠影響它的煉鋼參數(shù)、乳制參數(shù) 等變量的變化范圍，達(dá)到所要求的質(zhì)量標(biāo)準(zhǔn)。針對產(chǎn)品加工工序的前后不同，多階段神經(jīng)網(wǎng) 絡(luò)可以很好地解決這一問題。將前后不同階段的參數(shù)作為不同的輸入層，一般來說，具有兩 個(gè)輸入層的神經(jīng)網(wǎng)絡(luò)基本可以比較精確的反映熱乳產(chǎn)品的質(zhì)量。另外，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)訓(xùn) 練方法對初始網(wǎng)絡(luò)權(quán)重和閾值較為依賴，而初始網(wǎng)絡(luò)權(quán)重和閾值又都是隨機(jī)產(chǎn)生，因此模 型結(jié)果很不穩(wěn)定。因此，本實(shí)施方案中采用遺傳算法初步優(yōu)化初始網(wǎng)絡(luò)權(quán)重和閾值。
[0041] 具有兩個(gè)輸入層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，輸入層有Ii1個(gè)輸入結(jié)點(diǎn)，第一隱含 層有n2個(gè)隱結(jié)點(diǎn)和m個(gè)輸入結(jié)點(diǎn)，第二隱含層有n/h隱結(jié)點(diǎn)。由輸入層的結(jié)點(diǎn)i到第一隱含 層的隱結(jié)點(diǎn)j的連接權(quán)值為
由第一隱含層的隱結(jié)點(diǎn)i到第 二隱含層的隱結(jié)點(diǎn)j的連接權(quán)值為
由第一隱含層的輸入 結(jié)點(diǎn)i到第二隱含層的隱結(jié)點(diǎn)j的連接權(quán)值為Wu (i = n2+l, n2+2,…，n2+m ; j = 1，2,…，n3)。 由第二隱含層的隱結(jié)點(diǎn)i到輸出結(jié)點(diǎn)的連接權(quán)值為Wfi = …w;)。
[0042] 設(shè)X= (kXl)N>Knl+ni)為輸入矩陣，共有N組輸入數(shù)據(jù)，kXl表示第k組輸入數(shù)據(jù)的第 i個(gè)輸入?yún)?shù)的值A(chǔ) (X)為第i層的激活函數(shù)α = 1，2, 3);第k組輸入數(shù)據(jù)的第q層第i 個(gè)神經(jīng)元的輸入為kSiq_1>,輸出為kY"，閾值為
則有
[0047] 其中ky( θ )為對應(yīng)于第k組輸入數(shù)據(jù)計(jì)算所得的網(wǎng)絡(luò)輸出，Θ為所有權(quán)值和閾值 構(gòu)成的向量空間。
[0048] 記對應(yīng)于第k組輸入數(shù)據(jù)，訓(xùn)練樣本的擬合誤差為
[0049] ke ( Θ ) = ky-ky ( θ )
[0050] 定義總誤差為
[0052] 所謂訓(xùn)練網(wǎng)絡(luò)，就是利用訓(xùn)練數(shù)據(jù)，選擇一定的優(yōu)化算法，不斷調(diào)整權(quán)值和閾值， 從而使總誤差Ε( Θ )達(dá)到最小。
[0053] 總誤差E ( Θ )分別對各層權(quán)值和閾值求偏導(dǎo)數(shù)，結(jié)果為
[0056] 其中q = 1，2, 3。因此，只需算
[0060] 神經(jīng)網(wǎng)絡(luò)模型的優(yōu)劣受初始權(quán)重和閾值影響很大，初始權(quán)重和閾值選取合適，模 型能夠較快的收斂并且具有較好的模型效果。
[0061] 遺傳算法是根據(jù)達(dá)爾文的進(jìn)化論設(shè)計(jì)的算法，是一種啟發(fā)式的搜索算法。將遺傳 算法用于多階段神經(jīng)網(wǎng)絡(luò)初始權(quán)重和閾值的訓(xùn)練，憑借其全局搜索的特點(diǎn)，從而盡可能的 防止網(wǎng)絡(luò)訓(xùn)練進(jìn)入局部極小點(diǎn)。
[0062] 基于遺傳算法的多階段神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法，如圖2所示，包括以下步驟：
[0063] 步驟1、數(shù)據(jù)預(yù)處理。
[0064] 在任何一種數(shù)據(jù)處理的問題中，對數(shù)據(jù)進(jìn)行合理的預(yù)處理也是一個(gè)必不可少，而 且也不容忽視的步驟。合理而有效的對數(shù)據(jù)進(jìn)行預(yù)處理，能使數(shù)據(jù)處理更有效，更準(zhǔn)確。在 本實(shí)施例中，對數(shù)據(jù)進(jìn)行預(yù)處理包括去掉訓(xùn)練集目標(biāo)字段