24小時)和采樣點(diǎn)時 長(sample_time,默認(rèn)為5分鐘），建立各個web服務(wù)的錯誤日志比率基線，該基線包括各個 web服務(wù)平均錯誤日志比率的正常值和波動范圍。設(shè)企業(yè)網(wǎng)絡(luò)中的web服務(wù)的序列為：
[0063] WS= {WS0，WS1，WS2，WS3，WS4，WS5,......WSn}
[0064] 則平均錯誤日志比率基線為：
[0065] BL
[0066] 其中，米樣點(diǎn)個數(shù) 1 = learn_time/sample_time;
[0067] 其中，BL是平均錯誤日志比率基線，是一個矩陣，每一個數(shù)據(jù)點(diǎn)aerii表示web服務(wù) η在采樣點(diǎn)時刻1的平均錯誤日志比率，1 earn_t ime為學(xué)習(xí)周期，samp 1 e_t ime為采樣點(diǎn)時 長。
[0068] (2)性能檢測階段:根據(jù)基線建立階段建立的各個web服務(wù)系統(tǒng)平均錯誤日志比率 的正常值，判斷當(dāng)前web服務(wù)系統(tǒng)的平均錯誤日志比率是否異常，并根據(jù)當(dāng)前的平均錯誤日 志比率值，動態(tài)更新基線。
[0069] 優(yōu)選的，所述系統(tǒng)的web服務(wù)異常定位模塊，其實現(xiàn)步驟如下：
[0070] (1)提取相關(guān)web日志元數(shù)據(jù):根據(jù)檢測階段獲得web服務(wù)系統(tǒng)《81在某采樣時間段 出現(xiàn)了服務(wù)異常，從web日志元數(shù)據(jù)索引中獲得web服務(wù)系統(tǒng)界81在該采樣時間段的所有web 日志元數(shù)據(jù)；
[0071] (2)檢索重復(fù)次數(shù)最多的日志:按照[訪問主機(jī)，被訪問主機(jī)，授權(quán)用戶，服務(wù)狀態(tài)] 對元數(shù)據(jù)進(jìn)行分組，獲得重復(fù)次數(shù)最多的分組，即重復(fù)次數(shù)最多的日志。
[0072] (3)定位服務(wù)異常故障點(diǎn)：從重復(fù)次數(shù)最多的日志中提取服務(wù)狀態(tài)的錯誤碼即為 服務(wù)異常類型，訪問主機(jī)、被訪問主機(jī)即為服務(wù)異常故障點(diǎn)。
[0073]本發(fā)明還提供一種多節(jié)點(diǎn)web服務(wù)異常檢測方法，包括如下步驟：
[0074]對sys log協(xié)議或者日志文本讀取，獲取全網(wǎng)各節(jié)點(diǎn)web服務(wù)器日志元數(shù)據(jù)；
[0075]對不同種類web服務(wù)器的異構(gòu)日志進(jìn)行格式化，統(tǒng)一數(shù)據(jù)格式，采用 ElasticSearch技術(shù)對web元數(shù)據(jù)進(jìn)行索引；
[0076]周期性計算各個web服務(wù)器節(jié)點(diǎn)的錯誤日志比率，并構(gòu)建錯誤日志比率的基線數(shù) 據(jù)模型，當(dāng)web服務(wù)的當(dāng)前錯誤日志比率與該web服務(wù)的錯誤日志比率基線模型偏離較大 時，確定為web服務(wù)異常；
[0077]通過web元數(shù)據(jù)索引檢索異常web服務(wù)在故障時間點(diǎn)的所有日志元數(shù)據(jù)，檢索日志 嚴(yán)重等級最高且重復(fù)次數(shù)最多的日志為web服務(wù)異常事件內(nèi)容。
[0078]本發(fā)明的實施方式不限于此，在本發(fā)明上述基本技術(shù)思想前提下，按照本領(lǐng)域的 普通技術(shù)知識和慣用手段對本
【發(fā)明內(nèi)容】
所做出其它多種形式的修改、替換或變更，均落在 本發(fā)明權(quán)利保護(hù)范圍之內(nèi)。
【主權(quán)項】
1. 一種多節(jié)點(diǎn)web服務(wù)異常檢測系統(tǒng)，其特征在于包括:元數(shù)據(jù)采集模塊、元數(shù)據(jù)索引 模塊、web服務(wù)異常檢測模塊和web服務(wù)異常定位模塊，其中： A、 元數(shù)據(jù)采集模塊對syslog協(xié)議或者日志文本讀取，獲取全網(wǎng)各節(jié)點(diǎn)web服務(wù)器日志 元數(shù)據(jù)； B、 元數(shù)據(jù)索引模塊:對不同種類web服務(wù)器的異構(gòu)日志進(jìn)行格式化，統(tǒng)一數(shù)據(jù)格式，采 用ElasticSearch技術(shù)對web元數(shù)據(jù)進(jìn)行索引； C、 web服務(wù)異常檢測模塊:周期性計算各個web服務(wù)器節(jié)點(diǎn)的錯誤日志比率，并構(gòu)建錯 誤日志比率的基線數(shù)據(jù)模型，當(dāng)web服務(wù)的當(dāng)前錯誤日志比率與該web服務(wù)的錯誤日志比率 基線模型偏離較大時，確定為web服務(wù)異常； D、 web服務(wù)異常定位模塊:通過web元數(shù)據(jù)索引檢索異常web服務(wù)在故障時間點(diǎn)的所有 日志元數(shù)據(jù)，檢索日志嚴(yán)重等級最高且重復(fù)次數(shù)最多的日志為web服務(wù)異常事件內(nèi)容。2. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于:所述數(shù)據(jù)采集模塊采集web服務(wù)器日志的 方式為通過syslog協(xié)議采集或通過讀取web服務(wù)器日志文件采集。3. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于:元數(shù)據(jù)索引模塊對不同種類web服務(wù)器的 異構(gòu)日志進(jìn)行格式化的具體步驟如下： 采用W3C擴(kuò)展日志格式(ExLF)，元數(shù)據(jù)采用字節(jié)碼方式，統(tǒng)一的web服務(wù)元數(shù)據(jù)格式設(shè) 計如下表1: 0^3 , remotehost 訪問主機(jī)remote'host顯示主機(jī)的IP _ Ultl ^__地址或者已解析的域名_ Cl , Ident： 由identd或直接由瀏覽器返回瀏覽 __U1犯___者的EMAIL,或其他唯一標(biāo)示_ 8^11 . authuser 授權(quán)用戶authuser用于記錄瀏覽者 _ U1___進(jìn)行身份驗證時提供的名字_ 12~1.5_ , ? date 格式形為 __細(xì)犯___[22/Feb/2010:09:51:46 +0800] 16^19 . 00 request 在網(wǎng)站上通過何種方式獲取了哪些信 uintaz 2(T23 + ui.nt32 + Protocol 顯示協(xié)議及版本信息 24^27 u：int32 status |用于表示服務(wù)器的響應(yīng)狀態(tài)：lxx的 狀:態(tài)碼表示繼續(xù)消息；2xx表示請求 成功；3xx表示請求的重定向；4xx 表示客戶端錯誤；5xx表示服務(wù)器錯 ____?_ 28~31 uint3：2 bytes 該次請求.中一共傳輸?shù)淖止?jié)數(shù) 32^35 uint:32 serverhost 被訪問主機(jī) IP 36 uint8 pad pad 表1。4. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于:在索引web日志元數(shù)據(jù)，對元數(shù)據(jù)序列按照 時間以增量方式向索引庫添加數(shù)據(jù)，建立索引采用分布式檢索工具ElasticSearch完成。5. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于:web服務(wù)的平均錯誤日志比率計算過程為： 先計算某個web服務(wù)器節(jié)點(diǎn)的錯誤日志比率： er =(服務(wù)器響應(yīng)狀態(tài)status為4XX和5XX的日志個數(shù))/日志總數(shù) 設(shè)該支撐該web服務(wù)(web service)的各個web服務(wù)器節(jié)點(diǎn)(web server node)的錯誤 日志比率為： {ero, eri, er2, er, er4, er5,......ern} 貝lj，該web服務(wù)的平均錯誤日志比率為： aer = (1? ^)/?ι6. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于:所述系統(tǒng)的web服務(wù)異常檢測模塊，實現(xiàn)步 驟如下： (1) 基線構(gòu)建階段:根據(jù)設(shè)定的學(xué)習(xí)周期和采樣點(diǎn)時長，建立各個web服務(wù)的錯誤日志 比率基線，該基線包括各個web服務(wù)平均錯誤日志比率的正常值和波動范圍，設(shè)企業(yè)網(wǎng)絡(luò)中 的web服務(wù)的序列為： WS= {WS0，WS1，WS2,WS3，WS4，WS5,......WSn} 則平均錯誤日志比率基線為： 〇e'ru>h,oeq4、.，J I ^ t4 aer: ^ i7 °er,; Si'' - *er^ ? 1 .i; i …… I 既=l[識:t誠.；i漢? 於,?.er,i4 a 其中，米樣點(diǎn)個數(shù)1= learn_time/sample_time; 其中，BL是平均錯誤日志比率基線，是一個矩陣，每一個數(shù)據(jù)點(diǎn)aernl表示web服務(wù)n在采 樣點(diǎn)時亥1J1的平均錯誤日志比率，1 earn_t ime為學(xué)習(xí)周期，samp 1 e_t ime為采樣點(diǎn)時長； (2) 性能檢測階段:根據(jù)基線建立階段建立的各個web服務(wù)系統(tǒng)平均錯誤日志比率的正 常值，判斷當(dāng)前web服務(wù)系統(tǒng)的平均錯誤日志比率是否異常，并根據(jù)當(dāng)前的平均錯誤日志比 率值，動態(tài)更新基線。7. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于:所述系統(tǒng)的web服務(wù)異常定位模塊，其實現(xiàn) 步驟如下： (1) 提取相關(guān)web日志元數(shù)據(jù):根據(jù)檢測階段獲得web服務(wù)系統(tǒng)WSl在某采樣時間段出現(xiàn) 了服務(wù)異常，從web日志元數(shù)據(jù)索引中獲得web服務(wù)系統(tǒng)界 81在該采樣時間段的所有web日志 元數(shù)據(jù)； (2) 檢索重復(fù)次數(shù)最多的日志：按照[訪問主機(jī)，被訪問主機(jī)，授權(quán)用戶，服務(wù)狀態(tài)]對元 數(shù)據(jù)進(jìn)行分組，獲得重復(fù)次數(shù)最多的分組，即重復(fù)次數(shù)最多的日志； (3) 定位服務(wù)異常故障點(diǎn)：從重復(fù)次數(shù)最多的日志中提取服務(wù)狀態(tài)的錯誤碼即為服務(wù) 異常類型，訪問主機(jī)、被訪問主機(jī)即為服務(wù)異常故障點(diǎn)。8. -種多節(jié)點(diǎn)web服務(wù)異常檢測方法，其特征在于包括如下步驟： 對syslog協(xié)議或者日志文本讀取，獲取全網(wǎng)各節(jié)點(diǎn)web服務(wù)器日志元數(shù)據(jù)； 對不同種類web服務(wù)器的異構(gòu)日志進(jìn)行格式化，統(tǒng)一數(shù)據(jù)格式，采用ElasticSearch技 術(shù)對web元數(shù)據(jù)進(jìn)行索引； 周期性計算各個web服務(wù)器節(jié)點(diǎn)的錯誤日志比率，并構(gòu)建錯誤日志比率的基線數(shù)據(jù)模 型，當(dāng)web服務(wù)的當(dāng)前錯誤日志比率與該web服務(wù)的錯誤日志比率基線模型偏離較大時，確 定為web服務(wù)異常； 通過web元數(shù)據(jù)索引檢索異常web服務(wù)在故障時間點(diǎn)的所有日志元數(shù)據(jù)，檢索日志嚴(yán)重 等級最高且重復(fù)次數(shù)最多的日志為web服務(wù)異常事件內(nèi)容。
【專利摘要】本發(fā)明的目的在于提供一種多節(jié)點(diǎn)web服務(wù)異常檢測系統(tǒng)，包括元數(shù)據(jù)采集模塊、元數(shù)據(jù)索引模塊、web服務(wù)異常檢測模塊和web服務(wù)異常定位模塊；元數(shù)據(jù)采集模塊獲取全網(wǎng)各節(jié)點(diǎn)web服務(wù)器日志元數(shù)據(jù)；元數(shù)據(jù)索引模塊對不同種類web服務(wù)器的異構(gòu)日志進(jìn)行格式化；web服務(wù)異常檢測模塊周期性計算各個web服務(wù)器節(jié)點(diǎn)的錯誤日志比率；web服務(wù)異常定位模塊通過web元數(shù)據(jù)索引檢索異常web服務(wù)在故障時間點(diǎn)的所有日志元數(shù)據(jù)。本發(fā)明創(chuàng)新性的采用web日志元數(shù)據(jù)技術(shù)，基于數(shù)據(jù)視角，采用大數(shù)據(jù)全文檢索技術(shù)，對web服務(wù)系統(tǒng)性能進(jìn)行實時分析與關(guān)聯(lián)性分析，從而對web服務(wù)系統(tǒng)有全面的掌控。
【IPC分類】G06F17/30
【公開號】CN105468765
【申請?zhí)枴緾N201510884649
【發(fā)明人】呂華輝, 梁志宏, 關(guān)澤武, 歐陽可萃, 胡岸波, 張延佳
【申請人】中國南方電網(wǎng)有限責(zé)任公司信息中心, 北京啟明星辰信息安全技術(shù)有限公司
【公開日】2016年4月6日
【申請日】2015年12月3日