本發(fā)明屬于網(wǎng)絡(luò)管理,具體涉及一種基于5g嵌入式網(wǎng)管軟件的網(wǎng)絡(luò)管理方法。
背景技術(shù):
1、現(xiàn)有的5g嵌入式網(wǎng)管軟件通常具備實(shí)時(shí)監(jiān)控、故障管理、配置管理、安全管理、性能管理等功能,以支持5g網(wǎng)絡(luò)的穩(wěn)定運(yùn)行和高效管理?,F(xiàn)有部分5g嵌入式網(wǎng)管軟件存在的技術(shù)缺陷為:智能化水平不足,即現(xiàn)有部分5g嵌入式網(wǎng)管軟件雖然引入了ai和大數(shù)據(jù)技術(shù),但在實(shí)際應(yīng)用中,這些技術(shù)的融合和應(yīng)用還不夠深入,嵌入式網(wǎng)管軟件在網(wǎng)絡(luò)故障預(yù)測(cè)、性能優(yōu)化等方面還存在一定的局限性。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明要解決的技術(shù)問題是:提供一種基于5g嵌入式網(wǎng)管軟件的網(wǎng)絡(luò)管理方法,解決現(xiàn)有部分5g嵌入式網(wǎng)管軟件存在智能化水平不足的技術(shù)問題。
2、為實(shí)現(xiàn)上述目的,本發(fā)明采用的技術(shù)方案如下:
3、一種基于5g嵌入式網(wǎng)管軟件的網(wǎng)絡(luò)管理方法,包括如下步驟:
4、步驟1:使用scrapy框架從靜態(tài)或動(dòng)態(tài)生成的網(wǎng)頁(yè)中抓取結(jié)構(gòu)化數(shù)據(jù),使用selenium工具從需要用戶登錄或交互才能訪問的頁(yè)面中抓取需要用戶交互才能訪問的數(shù)據(jù);
5、步驟2:將scrapy框架抓取到的結(jié)構(gòu)化數(shù)據(jù)和selenium工具抓取到的需要用戶交互才能訪問的數(shù)據(jù)存儲(chǔ)于hdfs系統(tǒng)內(nèi);
6、步驟3:使用spark框架內(nèi)的spark?sql模塊讀取hdfs系統(tǒng)內(nèi)存儲(chǔ)的數(shù)據(jù),sparksql模塊對(duì)讀取到的數(shù)據(jù)進(jìn)行預(yù)處理;
7、步驟4:在eclipse?rcp框架上實(shí)現(xiàn)強(qiáng)化學(xué)習(xí)算法,在hadoop框架上使用mahout工具實(shí)現(xiàn)監(jiān)督學(xué)習(xí)算法;
8、步驟5:將步驟3中預(yù)處理后的數(shù)據(jù)輸入強(qiáng)化學(xué)習(xí)算法和監(jiān)督學(xué)習(xí)算法,強(qiáng)化學(xué)習(xí)算法對(duì)接收到的數(shù)據(jù)進(jìn)行分析處理,監(jiān)督學(xué)習(xí)算法根據(jù)接收到的數(shù)據(jù)對(duì)網(wǎng)絡(luò)運(yùn)行狀態(tài)進(jìn)行學(xué)習(xí)和預(yù)測(cè);
9、步驟6:強(qiáng)化學(xué)習(xí)算法基于對(duì)數(shù)據(jù)的分析處理結(jié)果生成網(wǎng)絡(luò)性能優(yōu)化建議,并自動(dòng)對(duì)網(wǎng)絡(luò)進(jìn)行配置調(diào)整;
10、步驟7:基于監(jiān)督學(xué)習(xí)算法對(duì)網(wǎng)絡(luò)運(yùn)行狀態(tài)的預(yù)測(cè),對(duì)故障點(diǎn)進(jìn)行核實(shí)檢測(cè);步驟8:基于對(duì)故障點(diǎn)的核實(shí)檢測(cè)結(jié)果,發(fā)出告警通知和進(jìn)行故障恢復(fù)。
11、進(jìn)一步地,在步驟1中,scrapy框架從網(wǎng)絡(luò)設(shè)備的管理界面、網(wǎng)絡(luò)狀態(tài)儀表板或api接口中抓取數(shù)據(jù),獲得網(wǎng)絡(luò)設(shè)備的運(yùn)行狀態(tài)數(shù)據(jù)、流量統(tǒng)計(jì)數(shù)據(jù)、報(bào)和事件日志數(shù)據(jù)、網(wǎng)絡(luò)拓?fù)鋽?shù)據(jù)。
12、進(jìn)一步地,在步驟1中,selenium工具通過模擬用戶與網(wǎng)頁(yè)的交互以獲取需要用戶交互才能訪問的數(shù)據(jù)。
13、進(jìn)一步地,在步驟3中,spark?sql對(duì)讀取到的數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換和聚合處理,并對(duì)處理后的數(shù)據(jù)進(jìn)行保存。
14、進(jìn)一步地,在步驟5中,使用hadoop框架上的mapreduce編程模型實(shí)現(xiàn)強(qiáng)化學(xué)習(xí)算法和監(jiān)督學(xué)習(xí)算法的并行化。
15、進(jìn)一步地,在步驟7中,使用異常檢測(cè)算法對(duì)故障點(diǎn)進(jìn)行核實(shí)檢測(cè)。
16、進(jìn)一步地,在步驟8中,使用故障恢復(fù)策略進(jìn)行故障恢復(fù)。
17、進(jìn)一步地,在步驟5中,使用osgi框架上的動(dòng)態(tài)模塊系統(tǒng)來管理和更新強(qiáng)化學(xué)習(xí)算法和監(jiān)督學(xué)習(xí)算法。
18、與現(xiàn)有技術(shù)相比,本發(fā)明具有以下有益效果:
19、本發(fā)明結(jié)構(gòu)簡(jiǎn)單、設(shè)計(jì)科學(xué)合理,使用方便,在網(wǎng)絡(luò)故障預(yù)測(cè)和網(wǎng)絡(luò)性能優(yōu)化管理方面,本發(fā)明引入機(jī)器學(xué)習(xí)算法中的監(jiān)督學(xué)習(xí)算法來對(duì)網(wǎng)絡(luò)故障進(jìn)行預(yù)測(cè),引入機(jī)器學(xué)習(xí)算法中的強(qiáng)化學(xué)習(xí)算法來對(duì)網(wǎng)絡(luò)配置進(jìn)行調(diào)整,以優(yōu)化網(wǎng)絡(luò)性能,使用機(jī)器學(xué)習(xí)算法能夠更準(zhǔn)確地預(yù)測(cè)網(wǎng)絡(luò)故障和優(yōu)化網(wǎng)絡(luò)性能,相對(duì)于現(xiàn)有技術(shù),本發(fā)明提高了網(wǎng)絡(luò)管理的智能化水平。
1.一種基于5g嵌入式網(wǎng)管軟件的網(wǎng)絡(luò)管理方法,其特征在于,包括如下步驟:
2.根據(jù)權(quán)利要求1所述的一種基于5g嵌入式網(wǎng)管軟件的網(wǎng)絡(luò)管理方法,其特征在于,在步驟1中,scrapy框架從網(wǎng)絡(luò)設(shè)備的管理界面、網(wǎng)絡(luò)狀態(tài)儀表板或api接口中抓取數(shù)據(jù),獲得網(wǎng)絡(luò)設(shè)備的運(yùn)行狀態(tài)數(shù)據(jù)、流量統(tǒng)計(jì)數(shù)據(jù)、報(bào)和事件日志數(shù)據(jù)、網(wǎng)絡(luò)拓?fù)鋽?shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的一種基于5g嵌入式網(wǎng)管軟件的網(wǎng)絡(luò)管理方法,其特征在于,在步驟1中,selenium工具通過模擬用戶與網(wǎng)頁(yè)的交互以獲取需要用戶交互才能訪問的數(shù)據(jù)。
4.根據(jù)權(quán)利要求1所述的一種基于5g嵌入式網(wǎng)管軟件的網(wǎng)絡(luò)管理方法,其特征在于,在步驟3中,spark?sql對(duì)讀取到的數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換和聚合處理,并對(duì)處理后的數(shù)據(jù)進(jìn)行保存。
5.根據(jù)權(quán)利要求1所述的一種基于5g嵌入式網(wǎng)管軟件的網(wǎng)絡(luò)管理方法,其特征在于,在步驟5中,使用hadoop框架上的mapreduce編程模型實(shí)現(xiàn)強(qiáng)化學(xué)習(xí)算法和監(jiān)督學(xué)習(xí)算法的并行化。
6.根據(jù)權(quán)利要求1所述的一種基于5g嵌入式網(wǎng)管軟件的網(wǎng)絡(luò)管理方法,其特征在于,在步驟7中,使用異常檢測(cè)算法對(duì)故障點(diǎn)進(jìn)行核實(shí)檢測(cè)。
7.根據(jù)權(quán)利要求1所述的一種基于5g嵌入式網(wǎng)管軟件的網(wǎng)絡(luò)管理方法,其特征在于,在步驟8中,使用故障恢復(fù)策略進(jìn)行故障恢復(fù)。
8.根據(jù)權(quán)利要求1所述的一種基于5g嵌入式網(wǎng)管軟件的網(wǎng)絡(luò)管理方法,其特征在于,在步驟5中,使用osgi框架上的動(dòng)態(tài)模塊系統(tǒng)來管理和更新強(qiáng)化學(xué)習(xí)算法和監(jiān)督學(xué)習(xí)算法。