一種步長遞減的進化策略優(yōu)化算法
【專利摘要】一種步長遞減的進化策略優(yōu)化算法，是一種源于種群競爭、繁殖和進化的智能優(yōu)化算法，屬于優(yōu)化方法技術領域。本發(fā)明用種群中的個體表示待優(yōu)化問題的解，初始的進化強度由問題的可行域大小決定，初始的進化方向設置為各向同性的。隨著種群的不斷進化，種群的進化強度和進化方向逐漸與當前的環(huán)境壓力相適應，從而有利于下一代繁殖出更優(yōu)秀的種群。種群中個體的優(yōu)劣由適應度值決定，而環(huán)境壓力由適應度函數(shù)的局部形態(tài)決定。對于非線性，存在大量局部極值點的優(yōu)化問題或者凸問題，該算法均具有很高的求解效率，且能以任意精度收斂，其實現(xiàn)簡單，全局搜索能力很強，收斂速度快。
【專利說明】
一種步長遞減的進化策略優(yōu)化算法
技術領域
[0001] 本發(fā)明涉及一種步長遞減的進化策略優(yōu)化算法，屬于智能優(yōu)化算法技術領域。
【背景技術】
[0002] 目前，廣泛使用的經(jīng)典優(yōu)化算法，如：線性規(guī)劃法、負梯度法、牛頓法和內點法等， 的主要適用范圍是一類線性的、連續(xù)的以及凸的優(yōu)化問題。而應用這類優(yōu)化算法的主要問 題在于，絕大部分的工程優(yōu)化問題均具有非線性、非凸和多局部極值點的特性。雖然已有理 論證明，對于凸優(yōu)化問題，這類算法能快速地收斂到該問題全局最優(yōu)解;但是對于非凸和多 局部極值點的優(yōu)化問題，這類算法往往只能保證隨機地收斂到該問題的某個局部極值點， 而該局部極值點對初始值的選取極為敏感，且往往不是全局最優(yōu)解。近年，隨著智能計算領 域的飛速發(fā)展，眾多學者采用諸如遺傳算法、蟻群算法、差分進化等智能優(yōu)化算法來解決此 類問題。雖然這類算法通常能得到更好的結果，但是它們并不能保證精確地取到極值點。于 是，一部分學者開始致力于研究進化策略。這類算法的全局搜索能力極強，且能保證精確地 收斂到某個局部最優(yōu)解，而該局部最優(yōu)解通常就是我們所需要的全局最優(yōu)解。然而，目前主 流的進化策略面臨著實施困難的問題。這是因為其每步迭代中，對步長和協(xié)方差矩陣的更 新策略極其復雜，這導致了算法的有效實施需要整定很多獨立的自由參數(shù)。

【發(fā)明內容】

[0003] 針對目前主流的進化策略面臨的實現(xiàn)困難的問題，如：步長和協(xié)方差矩陣更新策 略復雜，具體實現(xiàn)及其效果依賴于眾多參數(shù)的選擇，改進并發(fā)明了一種新的智能優(yōu)化算法， 即步長遞減的進化策略。該優(yōu)化算法應該具有如下特點，即實現(xiàn)簡單，需要整定的自由參數(shù) 少，全局搜索能力強，收斂速度快，收斂精度高，且采用罰函數(shù)方法處理約束。
[0004] 本發(fā)明的技術方案如下：
[0005] -種步長遞減的進化策略優(yōu)化算法，其特征在于，它包括以下步驟：
[0006] 1)參數(shù)的初始化
[0007]假設優(yōu)化問題的適應度函數(shù)為f (X)，其中X = (XI，X2，…，xd )τ取值于D維的實數(shù)空 間，待優(yōu)化問題的自變量的上界為：
[0008] Xu=(xu,i,Xu,2,··· ,Xu,d)t
[0009] 待優(yōu)化問題的自變量的下界為：
[0010] xi=(xi,i,xi,2,··· ,xi,d)T
[0011] 種群規(guī)模λ為：
[00?2 ] λ = kD或λ = kD2，其中k為正整數(shù)，D為待優(yōu)化問題的自變量的維數(shù)，
[0013] 選擇壓力μ為：
[0015] 初始步長σ(())為：
[0017] 初始協(xié)方差矩陣C⑶為：
[0018] (：(()) = 1，其中1為單位矩陣，
[0019] 步長遞減速率α為：
[0020] α = 〇·55
[0021] 協(xié)方差矩陣學習速率τ。為：
[0025] 且rand為0到1之間均勻分布的隨機數(shù)，
[0026]評價每個個體的適應度值：
[0027] f(x)^yk = 1,2,-,1
[0028] 然后對上述適應度值進行排序，選出最好的μ個個體作為其子代種群的父代，記 為：
[0029] Χ(°1，? = 1,2,->μ
[0030] 并記初始種群的代數(shù)為:g = 0,停止條件為:σω<σ〇,其中〇?>0，
[0031] 2)產(chǎn)生下一代種群，計算其適應度值，并選出父代
[0032] 2.1)記父代種群為第g代，子代種群為第g+Ι代，則子代種群為：
[0035] 2.2)評價的適應度值為?以及每個子代個體的適應度值：
[0037]假設適應度值越大越好，反之，依然成立，
[0038]若對于每個子代個體，均滿足：
[0040] 則:〇(g)-a〇(g)，且回到步驟2.1)重新開始執(zhí)行，反之，則執(zhí)行下面的操作：
[0041] 2.3)對該子代種群的適應度值進行排序，選出最好的μ個個體作為其子代種群的 父代，記為：
[0042] = 1,2,· ·,μ
[0043] 3)數(shù)據(jù)更新
[0044] 3.1)更新協(xié)方差矩陣：
[0046] 3.2)由于協(xié)方差矩陣是對稱矩陣，運用特征值分解可得：[0047] c(g+i)=B(g+i)( λ (g+1))2(B(g+1))T[0048] 其中，矩陣Λ (g+1)中包含了矩陣C(g+1)的全部特征值，
[0054] 若〇(g)彡〇〇,則令g-g+Ι，并回到步驟2)，反之，則停止計算，并返回結果。
[0055]本發(fā)明具有以下優(yōu)點及突出性的技術效果:本發(fā)明其實現(xiàn)簡單，需要整定的自由 參數(shù)少，全局搜索能力強，收斂速度快，收斂精度任意，采用罰函數(shù)方法處理約束。
【附圖說明】
[0056]圖1是步長遞減的進化策略的流程圖。
[0057] 圖2是測試函數(shù)1的步長遞減的進化策略尋優(yōu)過程目標函數(shù)變化情況。
[0058] 圖3是測試函數(shù)2的步長遞減的進化策略尋優(yōu)過程目標函數(shù)變化情況。
[0059] 圖4是測試函數(shù)3的步長遞減的進化策略尋優(yōu)過程目標函數(shù)變化情況。
【具體實施方式】
[0060] 為了更清晰直觀地表達本發(fā)明的方法思路，下面對步長遞減的進化策略進行詳細 說明：
[0061] 在步長遞減的進化策略中，初始種群的進化強度，即步長，由可行域的大小決定， 而初始種群的進化方向，即協(xié)方差矩陣，是各向同性的。隨著種群的不斷進化，各代種群的 進化強度和進化方向自適應于周圍環(huán)境的變化，即自適應于不同位置處適應度函數(shù)性質的 變化。適應度函數(shù)通常取為待求優(yōu)化問題目標函數(shù)。在涉及等式或不等式約束的問題時，需 要對相應的約束引入罰函數(shù)，并將適應度函數(shù)取為目標函數(shù)和罰函數(shù)的加權和。種群中每 個個體代表待求優(yōu)化問題的一個潛在的解，而各個個體對當前環(huán)境的適應程度取決于該個 體適應度函數(shù)的值。
[0062] 由于該算法不要求優(yōu)化問題的目標函數(shù)及約束連續(xù)可微，以及其實現(xiàn)簡單等特 點，在求解非線性、多局部極值點的優(yōu)化問題中取得了廣泛應用。進化策略的思想源于種群 競爭和進化的規(guī)律，種群中對環(huán)境適應能力較強的個體得以生存，并繁殖后代，而競爭能力 較弱的個體走向滅亡，以使得整個種群朝著適應環(huán)境的方向進化。
[0063] 1)參數(shù)的初始化。
[0064] 確定種群規(guī)模λ:種群規(guī)模和優(yōu)化問題的維數(shù)有關，優(yōu)化問題的維數(shù)越高，其解空 間越復雜，因此需要的種群規(guī)模便越大，一般地，可取種群規(guī)模隨著問題維數(shù)呈線性或平方 增長，即取X = kD或X = kD2，k為正整數(shù)。
[0065] 選擇壓力為：/i = 大量實驗表明，該選擇壓力取法的效果較好。
[0066] 確定待優(yōu)化問題的自變量的上界為：
[0067] xu=(xu,i,Xu,2,··· ,Xu,d)T
[0068] 確定待優(yōu)化問題的自變量的下界為：
[0069] xi=(xi,i,xi,2,··· ,xi,d)T
[0070] 初始步長σ(())的選取由問題定義域的大小決定，可取為：
[0072] 初始協(xié)方差矩陣C(())可取為單位矩陣I。
[0073] 經(jīng)大量實驗表明，α的比較好的取值范圍一般為[0.4,0.6]，對于大多數(shù)問題，α取 為0.55即可。協(xié)方差矩陣學習速率1。的選取主要取決于待優(yōu)化問題的維數(shù)D和選擇壓力μ， 其較好的取法為
[0077] 且，rand為0到1之間均勻分布的隨機數(shù)。
[0078]評價每個個體的適應度值：
[0080]然后對適應度值進行排序，選出最好的μ個個體作為其子代種群的父代，記為：
[0082]記初始種群的代數(shù)為g = 0。
[0083] 2)產(chǎn)生子代種群，計算其適應度值，并選出其子代種群的父代。
[0084] 在父代種群的基礎上，根據(jù)當前的步長和協(xié)方差矩陣隨機地產(chǎn)生子代種群。然后 評價該子代種群中每個個體的適應度，并繼續(xù)從中選出用于繁殖其子代種群的父代。實際 操作中，由于該算法在比較每個個體的優(yōu)劣時只涉及到排序，故可直接將優(yōu)化問題的目標 函數(shù)作為適應度函數(shù)。若優(yōu)化問題存在等式或不等式約束，則可以將其以罰函數(shù)的形式與 目標函數(shù)相加，并把其整體作為適應度函數(shù)。在判別優(yōu)劣時，可根據(jù)實際問題，取適應度函 數(shù)值越大越好或越小越好。由于該算法只涉及排序決定優(yōu)劣，故不同的適應度函數(shù)形式不 會對該優(yōu)化算法的性能產(chǎn)生影響，只要保序即可。具體地，
[0085] 2.1)根據(jù)其父代，以及步長和協(xié)方差矩陣，按正太分布隨機生成下一代個體，這里 記父代種群為第g代，子代種群為第g+Ι代，則產(chǎn)生子代種群的具體方式為：
[0088] 且，zk為服從正太分布N(0，C(g))的隨機向量。
[0089] 2.2)評價<4^}的適應度值/(^：>; (5))，以及每個子代個體的適應度值：
[0091]為了敘述方便，假設適應度值越大越好，對于適應度值越小越好的情況該算法依 然成立。若對于每個子代個體，均滿足：
[0093] 那么減小步長，即：
[0094] o(g)<-ao(g)
[0095] 且回到步驟2.1)重新開始執(zhí)行。反之，則繼續(xù)執(zhí)行下面的操作。
[0096] 2.3)對該子代種群的適應度值進行排序，選出最好的μ個個體作為產(chǎn)生其子代種 群的父代，記為：
[0097] χ^,? = 1,2,-, μ
[0098] 3)數(shù)據(jù)更新
[0099] 每次產(chǎn)生新的種群后，需要根據(jù)當前情況對步長進行更新。即若產(chǎn)生的新種群中， 不存在優(yōu)秀的個體，則需要減小步長重新產(chǎn)生本代的種群。每次代迭代過程產(chǎn)生父代之后， 需要利用這些父代個體對協(xié)方差矩陣進行更新，以保證協(xié)方差矩陣能夠準確反映當前的進 化方向。
[0100] 3.1)根據(jù)步驟2.3)中選出的父代種群，更新協(xié)方差矩陣：
[0102]上式中，τ。為有關協(xié)方差矩陣更新速率時間常數(shù)，它決定了協(xié)方差矩陣更新的速 度。一般地，τ。的取值越小，其更新的速率越快。
[0103] 3.2)在協(xié)方差矩陣更新之后，需要對其進行歸一化處理，使其滿足最小的特征值 等于1的約束，該目的主要通過對協(xié)方差矩陣進行特征值分解來實現(xiàn)。由于協(xié)方差矩陣是對 稱矩陣，所以能分解為：
[0104] c(g+1)=B(g+1)( Λ (g+1))2(B(g+1))T
[0105] 其中，矩陣A(g+1)中包含了矩陣C(g+1)的全部特征值。這里假設：
[0107]其中，#+1)為矩陣C(g+1)的特征值，則可以作如下的歸一化處理：
[0110] 4)若未滿足預設的終止條件，通常是步長小于某個預定的小常量，則g = g+l并回 到步驟2)，若已經(jīng)滿足迭代的終止條件，則停止計算。迭代停止后，輸出各變量的最終優(yōu)化 結果，以及目標函數(shù)的最優(yōu)值。
[0111] 具體實施案例：
[0112] 測試函數(shù)1:
[0114] 該測試函數(shù)的最優(yōu)值是0,最優(yōu)解為x = 0。此函數(shù)為非線性的凸函數(shù)，不同維度之 間可分離，用于測試算法的尋優(yōu)精度。
[0115] 測試函數(shù)2:
[0117] 該函數(shù)的最優(yōu)值是0,最優(yōu)解為x = 0。該函數(shù)的條件數(shù)達到106,一般算法極難準確 地搜索到其最優(yōu)解。該測試函數(shù)主要用于評價該優(yōu)化算法的性能，用于說明即使待優(yōu)化問 題的條件數(shù)極高，該算法仍能準確地以任意精度搜索到其最優(yōu)解。
[0118] 測試函數(shù)3:
[0120] 其中，-100 彡 Xi 彡100，i = l，2，."，D
[0121] 該函數(shù)的最優(yōu)值是0,最優(yōu)解為x = 0。該測試函數(shù)的局部極值數(shù)目極多，目的是為 了說明該算法的全局搜索能力。
[0122] 針對以上的測試函數(shù)，步長遞減進化策略的參數(shù)設置如下：
[0123] 問題的規(guī)模取為D = 20。對于測試函數(shù)1和測試函數(shù)2,種群大小為取為λ = 4?，算法 停止條件為求解精度達到ΚΓ1(Χ);對于測試函數(shù)3，為了增強該算法的全局搜索能力，種群大 小取為λ = 4?2,算法停止條件為步長小于10-16。針對每個測試函數(shù)，該算法均重復執(zhí)行51 次。
[0124] 從圖2、圖3和圖4容易看出，該算法的收斂速度快，精度高，隨機性較小，全局搜索 能力較強。對于測試函數(shù)1，計算得到的均值為8.6381 \10_1()1，最大值為9.9401\10_1()1，最 小值為6.7434 X 10-1(31，中值為9.0496 X 10-1(31，標準差為9.0175 X 10-1Q2。對于測試函數(shù)2，計 算得到的均值為8.6904 X 10-1(31，最大值為9.9446 X 10-1(31，最小值為6.4732 X 10一1(31
[0125] 中值為7.3299 X 10-1(31，標準差為8.6793 X 10-1(32。對于測試函數(shù)3，得算得到的均值 為3 · 0128 X 10-15，最大值為4 · 4409 X 10-15，最小值為8 · 8818 X 10-16，中值為4 · 4409 X 10-15， 標準差為1.7412ΧΠΓ15。通過與測試函數(shù)的最優(yōu)值的對比可知，步長遞減的進化策略的求 解精度極高，該算法是一種切實可行的優(yōu)化算法。上述的具體實施例的目的僅為說明本發(fā) 明的實現(xiàn)效果，并不用于限制本發(fā)明。凡在本發(fā)明所提出的方法的基本思路和框架之內所 作的任何非實質性的修改、轉換和改進，均應包含在本發(fā)明的保護范圍之內。
【主權項】
1. 一種步長遞減的進化策略優(yōu)化算法，其特征在于，它包括W下步驟： 1) 參數(shù)的初始化 假設優(yōu)化問題的適應度函數(shù)為f(x)，其中^=^1，^，-|，祉)了取值于0維的實數(shù)空間，待 優(yōu)化問題的自變量的上界為： Xu= (xu,l,Xu,2, · ,Xu,d)^ 待優(yōu)化問題的自變量的下界為： Xl= (X1'1,X1'2, ... ,X1'D)T 種群規(guī)模λ為： 入=kD或A = kD2,其中k為正整數(shù)，D為待優(yōu)化問題的自變量的維數(shù)， 選擇壓力μ為：且rand為0到1之間均勻分布的隨機數(shù)， 評價每個個體的適應度值：然后對上述適應度值進行排序，選出最好的μ個個體作為其子代種群的父代，記為：并記初始種群的代數(shù)為:g = 〇，停止條件為:σ W<〇〇，其中〇〇〉〇， 2) 產(chǎn)生下一代種群，計算其適應度值，并選出父代 2.1) 記父代種群為第g代，子代種群為第g+1代，則子代種群為：其中且zk為服從正太分布N(0，C W)的隨機向量， 2.2) 評價細》P的適應度值W及每個子代個體的適應度值：假設適應度值越大越好，反之，依然成立， 若對于每個子代個體，均滿足：則且回到步驟2.1)重新開始執(zhí)行，反之，則執(zhí)行下面的操作： 2.3)對該子代種群的適應度值進行排序，選出最好的μ個個體作為其子代種群的父代， 記為：3) 數(shù)據(jù)更新 3.1) 更新協(xié)方差矩陣：3.2) 由于協(xié)方差矩陣是對稱矩陣，運用特征值分解可得：其中，矩陣中包含了矩陣的全部特征值，其中，％所有特征值的最小值， 4) 若則令g^g+1，并回到步驟2)，反之，則停止計算，并返回結果。
【文檔編號】G06N3/12GK106096731SQ201610382294
【公開日】2016年11月9日
【申請日】2016年6月1日 公開號201610382294.8, CN 106096731 A, CN 106096731A, CN 201610382294, CN-A-106096731, CN106096731 A, CN106096731A, CN201610382294, CN201610382294.8
【發(fā)明人】陳曦, 楊卓
【申請人】清華大學