一種基于機器學習的主動式隊列管理方法生成器的制造方法
【專利摘要】本發(fā)明涉及一種基于機器學習的主動式隊列管理方法生成器，利用用戶對網(wǎng)絡(luò)環(huán)境的模糊描述，通過機器學習中強化學習的方法在該網(wǎng)絡(luò)環(huán)境下進行離線學習，以生成符合用戶定制需求的主動式隊列管理方法。本發(fā)明避免了對不同網(wǎng)絡(luò)場景手工設(shè)計主動隊式管理方法的繁瑣，且生成的方法具有高吞吐率低延時的特征。
【專利說明】一種基于機器學習的主動式隊列管理方法生成器

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及網(wǎng)絡(luò)擁塞控制，特別是一種基于機器學習的主動式隊列管理方法生成 器。

【背景技術(shù)】
[0002] 隨著近年來計算機網(wǎng)絡(luò)規(guī)模的急劇膨脹，特別是層出不窮的多媒體應(yīng)用對網(wǎng)絡(luò)服 務(wù)質(zhì)量的要求越來越高，控制網(wǎng)絡(luò)擁塞，提高網(wǎng)絡(luò)服務(wù)質(zhì)量變得尤為重要。網(wǎng)絡(luò)擁塞控制主 要由兩部分組成：一是端到端的傳輸協(xié)議，比如TCP協(xié)議，二是部署在中間節(jié)點的主動式隊 列管理算法。在網(wǎng)絡(luò)傳輸過程中，中間節(jié)點的隊列過短，會導致新到的數(shù)據(jù)包無法入隊而被 丟棄；過長，會導致排隊時延太大。同時，中間節(jié)點適時丟包可以作為一種擁塞信號反饋給 發(fā)送端，使其降低發(fā)送速率，避免擁塞。因此，如何管理隊列是網(wǎng)絡(luò)擁塞控制的關(guān)鍵。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的是提供一種基于機器學習的主動式隊列管理方法生成器，能自動為 用戶定制的網(wǎng)絡(luò)生成高效的主動式隊列管理算法。
[0004] 本發(fā)明采用以下技術(shù)方案實現(xiàn)：一種基于機器學習的主動式隊列管理 方法生成器，其特征在于，包括以下步驟：步驟S01 :根據(jù)用戶對網(wǎng)絡(luò)環(huán)境的模 糊描述模擬出一仿真網(wǎng)絡(luò)場景；步驟S02 :定義規(guī)則為狀態(tài)空間到動作的映射

【權(quán)利要求】
1. 一種基于機器學習的主動式隊列管理方法生成器，其特征在于，包括以下步驟： 步驟SOl :根據(jù)用戶對網(wǎng)絡(luò)環(huán)境的模糊描述模擬出一仿真網(wǎng)絡(luò)場景； 步驟S02 :定義規(guī)則為狀態(tài)空間到動作的映射
，將現(xiàn)有的規(guī)則集合初始化為一條規(guī)則； 步驟S03 :將所述規(guī)則集合作為隊列管理方法應(yīng)用到所述仿真網(wǎng)絡(luò)場景中，該隊列管 理方法在所述仿真網(wǎng)絡(luò)場景運行固定時間后計算出所述規(guī)則集合反饋值； 步驟S04 :對所述規(guī)則集合內(nèi)的所有規(guī)則進行規(guī)則優(yōu)化后跳回步驟S03,直至無法得到 更高的規(guī)則集合的反饋值后執(zhí)行步驟S05 ; 步驟S05 :選擇獲得最大規(guī)則反饋值的規(guī)則進行規(guī)則分裂，將該規(guī)則分裂成若干子規(guī) 則； 步驟S06 :返回步驟S03,直至達到規(guī)定的迭代次數(shù)后退出，最終得到的規(guī)則集合為生 成的隊列管理方法。
2. 根據(jù)權(quán)利要求1所述的基于機器學習的主動式隊列式管理方法生成器，其特征在 于：所述仿真網(wǎng)絡(luò)場景中的每個發(fā)送端部署了隨機開關(guān)的FTP，使得每個發(fā)送端隨機關(guān)閉 一段時間后發(fā)送隨機數(shù)量的數(shù)據(jù)包，再隨機關(guān)閉，再隨機發(fā)送，如此循環(huán)。
3. 根據(jù)權(quán)利要求1所述的基于機器學習的主動式隊列式管理方法生成器，其特征 在于：所述狀態(tài)空間為隊列長度的指數(shù)加權(quán)移動平均值ewma_qlen和接收到包的時間 間隔的指數(shù)加權(quán)移動平均值ewma_inter所組成的二維空間（ewma_qlen，ewma_inter );所述動作〈k，b >表示對瞬時最大隊列長度window的更新，更新公式為： wtalkw = IX WfeliOTV + t,其中k，b為二維動作空間中的一個點（k, b)的組成。
4. 根據(jù)權(quán)利要求1所述的基于機器學習的主動式隊列式管理方法生成器，其特征在 于：所述規(guī)則集合的數(shù)據(jù)結(jié)構(gòu)為樹形結(jié)構(gòu)。
5. 要求1所述的基于機器學習的主動式隊列式管理方法生成器，其特征在于：步驟S03 中所述規(guī)則集合的反饋值的為：
，其中throughput是指全局的吞吐率， delay是指每個包的平均端到端時延；所述規(guī)則集合的反饋值越大，表示其所構(gòu)成的隊列 管理算法性能越好。
6. 權(quán)利要求1所述的基于機器學習的主動式隊列式管理方法生成器，其特征在于：步 驟S04中所述的規(guī)則優(yōu)化包括以下步驟：將需要進行優(yōu)化的規(guī)則的動作替換成其他動作， 然后應(yīng)用到仿真網(wǎng)絡(luò)中，直至不能獲得更高的反饋值。
7. 根據(jù)權(quán)利要求1所述的基于機器學習的主動式隊列式管理方法生成器，其特征在 于：步驟S05中所述規(guī)則的反饋值定義為
其中used_cmmt表示該 條規(guī)則在仿真運行時被用到的次數(shù)，total_eount所有規(guī)則被用到的次數(shù)，R為所述規(guī)則集 合的反饋值。
8. 根據(jù)權(quán)利要求1所述的基于機器學習的主動式隊列式管理方法生成器，其特征在 于：所述步驟S05中的規(guī)則分裂包括以下步驟：現(xiàn)有規(guī)則為父規(guī)則，將所述父規(guī)則的狀態(tài)空 間在每個維度二分，得到若干個子空間；將所述子空間對應(yīng)到父規(guī)則的動作，這樣就產(chǎn)生了 若干個不同空間相同動作的子規(guī)則。
【文檔編號】H04L12/835GK104283809SQ201410622752
【公開日】2015年1月14日 申請日期:2014年11月8日 優(yōu)先權(quán)日:2014年11月8日
【發(fā)明者】張棟, 林新安 申請人:福州大學