專(zhuān)利名稱(chēng)：：一種網(wǎng)絡(luò)日志數(shù)據(jù)管理方法、系統(tǒng)及裝置的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及通信
技術(shù)領(lǐng)域：
，尤其涉及一種網(wǎng)絡(luò)日志數(shù)據(jù)管理方法、系統(tǒng)及裝置。
背景技術(shù)：
：隨著網(wǎng)絡(luò)的發(fā)展，用戶(hù)對(duì)于網(wǎng)絡(luò)的需求也從網(wǎng)絡(luò)基礎(chǔ)服務(wù)向精細(xì)化、應(yīng)用分析和網(wǎng)絡(luò)服務(wù)管理轉(zhuǎn)變，網(wǎng)絡(luò)的運(yùn)行狀態(tài)，流量數(shù)據(jù)被逐漸重視，而這些信息被淹沒(méi)在大量的網(wǎng)絡(luò)日志中，對(duì)網(wǎng)絡(luò)行為的分析帶來(lái)巨大的挑戰(zhàn)。網(wǎng)絡(luò)日志指包括網(wǎng)絡(luò)行為信息并符合一定格式規(guī)范的日志記錄，這些日志具有多種形式，可以是網(wǎng)絡(luò)報(bào)文或特定格式的日志文件。由于網(wǎng)絡(luò)日志內(nèi)容繁雜，且形式各異，屬于典型的異構(gòu)數(shù)據(jù)，給日志數(shù)據(jù)的管理帶來(lái)較大難度。目前，對(duì)于網(wǎng)絡(luò)日志多采用原始日志存入數(shù)據(jù)庫(kù)或提取部分信息后丟棄原始日志的處理方式?，F(xiàn)有技術(shù)中，網(wǎng)絡(luò)日志保存在數(shù)據(jù)庫(kù)中，如圖l所示，以數(shù)據(jù)庫(kù)為核心，將日志文件及網(wǎng)絡(luò)報(bào)文接收處理后保存到數(shù)據(jù)庫(kù)中，Web服務(wù)器從數(shù)據(jù)庫(kù)中查詢(xún)用戶(hù)需要的信息，進(jìn)行數(shù)據(jù)展示。這種日志處理方案嚴(yán)重依賴(lài)于數(shù)據(jù)庫(kù)，所有數(shù)據(jù)都存放在數(shù)據(jù)庫(kù)中，由于數(shù)據(jù)以原始形態(tài)存放，占用較多的磁盤(pán)空間，提高了系統(tǒng)的部署成本，同時(shí)數(shù)據(jù)庫(kù)過(guò)大還會(huì)導(dǎo)致查詢(xún)性能下降，數(shù)據(jù)文件無(wú)法收縮從而導(dǎo)致磁盤(pán)空間耗盡，引起數(shù)據(jù)庫(kù)系統(tǒng)異常，進(jìn)而影響整個(gè)應(yīng)用系統(tǒng)的穩(wěn)定性。因此，現(xiàn)有技術(shù)中的網(wǎng)絡(luò)日志數(shù)據(jù)管理方式存在如下缺陷1、由于日志數(shù)據(jù)以原始形態(tài)存在數(shù)據(jù)庫(kù)中，雖然查詢(xún)速度較快，但占用大量的磁盤(pán)空間，限制了日志數(shù)據(jù)的保存時(shí)間。2、日志數(shù)據(jù)全部存放在數(shù)據(jù)庫(kù)中，隨著系統(tǒng)運(yùn)行，數(shù)據(jù)庫(kù)會(huì)不斷膨脹，如果用戶(hù)不進(jìn)行控制或控制不當(dāng)，會(huì)造成歷史數(shù)據(jù)丟失或磁盤(pán)空間耗盡進(jìn)而導(dǎo)致業(yè)務(wù)中斷。53、現(xiàn)有系統(tǒng)的日志數(shù)據(jù)保存和清理需要用戶(hù)手工干預(yù)，雖然具有一些日志定期清理的功能，但是當(dāng)突發(fā)大數(shù)據(jù)量產(chǎn)生時(shí)，不能根據(jù)磁盤(pán)當(dāng)前狀況，確定日志處理方式，進(jìn)行智能化的日志管理。
發(fā)明內(nèi)容本發(fā)明提供了一種網(wǎng)絡(luò)日志數(shù)據(jù)管理方法、系統(tǒng)及裝置，綜合日志空間監(jiān)控、日志空間分析和趨勢(shì)預(yù)測(cè)、空間管理措施執(zhí)行的智能日志數(shù)據(jù)管理方案，提供自動(dòng)智能的日志數(shù)據(jù)管理功能。本發(fā)明提供了一種網(wǎng)絡(luò)日志數(shù)據(jù)管理方法，應(yīng)用于包括日志處理器、數(shù)據(jù)庫(kù)、日志管理裝置和WEB服務(wù)器的系統(tǒng)中，所述方法包括以下步驟所述日志處理器從網(wǎng)絡(luò)報(bào)文和日志文件獲取日志數(shù)據(jù)，并存儲(chǔ)于所述數(shù)據(jù)庫(kù)；所述日志管理裝置統(tǒng)一對(duì)所述日志數(shù)據(jù)進(jìn)行存儲(chǔ)、讀取或清理，使所述WEB服務(wù)器從所述日志管理裝置讀取日志數(shù)據(jù)，對(duì)所述日志數(shù)據(jù)進(jìn)行操作。所述日志管理裝置統(tǒng)一對(duì)所述日志數(shù)據(jù)進(jìn)行存儲(chǔ)、讀取或清理，具體包括對(duì)數(shù)據(jù)庫(kù)中的日志數(shù)據(jù)所使用的空間進(jìn)行^r測(cè)；根據(jù)空間使用情況對(duì)空間使用增長(zhǎng)趨勢(shì)進(jìn)行分析和預(yù)測(cè)；根據(jù)分析和預(yù)測(cè)結(jié)果及預(yù)定義策略或用戶(hù)自定義的管理策略執(zhí)行存儲(chǔ)、讀取或清理操作。所述對(duì)數(shù)據(jù)庫(kù)中的日志數(shù)據(jù)所使用的空間進(jìn)行檢測(cè)，具體包括按照預(yù)設(shè)周期定時(shí)啟動(dòng)空間檢測(cè)操作，在每個(gè)空間檢測(cè)執(zhí)行周期開(kāi)始時(shí)檢測(cè)數(shù)據(jù)庫(kù)使用情況和磁盤(pán)使用情況，將檢測(cè)結(jié)果存入數(shù)據(jù)庫(kù)中；所述對(duì)空間使用增長(zhǎng)趨勢(shì)進(jìn)行分析和預(yù)測(cè)，具體包括根據(jù)空間檢測(cè)結(jié)果，分析當(dāng)前日志數(shù)據(jù)空間狀態(tài)，并結(jié)合歷史信息通過(guò)增量分析和基線(xiàn)分析預(yù)測(cè)空間變化趨勢(shì)；所述分析和預(yù)測(cè)結(jié)果及預(yù)定義策略或用戶(hù)自定義的管理策略執(zhí)行存儲(chǔ)、讀取或清理操作，具體包括在接收到日志空間分析/預(yù)測(cè)結(jié)果后，根據(jù)結(jié)果在策略列表中查找符合條件的策略并執(zhí)行。所述檢測(cè)數(shù)據(jù)庫(kù)使用情況，具體包括查詢(xún)數(shù)據(jù)庫(kù)的大小、數(shù)據(jù)庫(kù)已使用空間和數(shù)據(jù)庫(kù)位置；所述檢測(cè)磁盤(pán)使用情況，具體包括根據(jù)數(shù)據(jù)庫(kù)位置和轉(zhuǎn)儲(chǔ)路徑，確定需要檢測(cè)的^i盤(pán)分巻；檢測(cè)所述分巻的容量大小、分巻已使用空間的大小。所述結(jié)合歷史信息通過(guò)增量分析和基線(xiàn)分析預(yù)測(cè)空間變化趨勢(shì)，具體包括根據(jù)空間檢測(cè)結(jié)果判斷數(shù)據(jù)庫(kù)當(dāng)前空間使用量是否達(dá)到閾值，如果達(dá)到，將空間信息提交策略執(zhí)行模塊；如果沒(méi)有達(dá)到，獲取周期內(nèi)數(shù)據(jù)庫(kù)的變化量，讀取增量基線(xiàn)數(shù)據(jù)，根據(jù)基線(xiàn)判斷增量值是否在正常范圍內(nèi)，如果不在，發(fā)出數(shù)據(jù)空間使用量增量告警，如果在，讀取數(shù)據(jù)空間使用量歷史值，使用本次空間信息和歷史信息進(jìn)行空間趨勢(shì)預(yù)測(cè)，將預(yù)測(cè)結(jié)果提交策略執(zhí)行模塊。本發(fā)明提供了一種網(wǎng)絡(luò)日志數(shù)據(jù)管理系統(tǒng)，包括日志處理器、數(shù)據(jù)庫(kù)、WEB服務(wù)器和日志管理裝置；所述日志處理器，用于從網(wǎng)絡(luò)報(bào)文和日志文件獲取日志數(shù)據(jù)，并存儲(chǔ)于所述數(shù)據(jù)庫(kù)；所述日志管理裝置，與所述日志處理器、所述數(shù)據(jù)庫(kù)和所述WEB服務(wù)器連接，用于對(duì)所述日志數(shù)據(jù)進(jìn)行存儲(chǔ)、讀取或清理；所述WEB服務(wù)器，與所述日志管理裝置連接，用于從所述日志管理模塊讀取日志數(shù)據(jù)，對(duì)所述日志數(shù)據(jù)進(jìn)行操作。還包括壓縮文件存儲(chǔ)器，與所述數(shù)據(jù)庫(kù)和所述日志管理裝置連接，用于存儲(chǔ)數(shù)據(jù)庫(kù)中的日志數(shù)據(jù)轉(zhuǎn)換成的壓縮文件。本發(fā)明提供了一種日志管理裝置，應(yīng)用于包括日志處理器、數(shù)據(jù)庫(kù)和WEB服務(wù)器的系統(tǒng)中，所述裝置包括數(shù)據(jù)查詢(xún)模塊，用于通過(guò)日志數(shù)據(jù)操作接口查詢(xún)數(shù)據(jù)庫(kù)中的日志數(shù)據(jù)；空間管理模塊，用于通過(guò)日志數(shù)據(jù)操作接口操作原始日志數(shù)據(jù)，對(duì)數(shù)據(jù)庫(kù)中的日志數(shù)據(jù)所使用的空間進(jìn)行檢測(cè)，對(duì)其增長(zhǎng)趨勢(shì)進(jìn)行分析和預(yù)測(cè)，根據(jù)空間使用情況，預(yù)定義策略和用戶(hù)自定義的管理策略執(zhí)行存儲(chǔ)、讀取或清理操作。所述空間管理模塊包括空間檢測(cè)子模塊，用于按照預(yù)設(shè)周期定時(shí)啟動(dòng)空間;險(xiǎn)測(cè)操作，在每個(gè)空間檢測(cè)執(zhí)行周期開(kāi)始時(shí)檢測(cè)數(shù)據(jù)庫(kù)使用情況和磁盤(pán)使用情況，將檢測(cè)結(jié)果存入數(shù)據(jù)庫(kù)中；空間分析和預(yù)測(cè)子模塊，與所述空間檢測(cè)子模塊連接，用于根據(jù)空間檢測(cè)結(jié)果，分析當(dāng)前日志數(shù)據(jù)空間狀態(tài)，并結(jié)合歷史信息通過(guò)增量分析和基線(xiàn)分析預(yù)測(cè)空間變化趨勢(shì)；管理策略執(zhí)行模塊，與所述空間分析和預(yù)測(cè)模塊連接，用于在接收到日志空間分析/預(yù)測(cè)結(jié)果后，根據(jù)結(jié)果在策略列表中查找符合條件的策略并執(zhí)行；管理策略注冊(cè)模塊，與所述管理策略執(zhí)行模塊連接，用于維護(hù)策略列表，提供用戶(hù)增加策略或刪除策略的功能。所述空間檢測(cè)子模塊，具體用于查詢(xún)數(shù)據(jù)庫(kù)的大小、數(shù)據(jù)庫(kù)已使用空間和數(shù)據(jù)庫(kù)位置，然后根據(jù)數(shù)據(jù)庫(kù)位置和轉(zhuǎn)儲(chǔ)路徑，確定需要檢測(cè)的磁盤(pán)分巻，檢測(cè)所述分巻的容量大小、分巻已使用空間的大小。所述空間分析和預(yù)測(cè)子模塊，具體用于根據(jù)空間;險(xiǎn)測(cè)結(jié)果判斷數(shù)據(jù)庫(kù)當(dāng)前空間使用量是否達(dá)到閾值，如果達(dá)到，將空間信息提交策略執(zhí)行模塊；如果沒(méi)有達(dá)到，獲取周期內(nèi)數(shù)據(jù)庫(kù)的變化量，讀取增量基線(xiàn)數(shù)據(jù)，根據(jù)基線(xiàn)判斷增量值是否在正常范圍內(nèi)，如果不在，發(fā)出數(shù)據(jù)空間使用量增量告警，如果在，讀取數(shù)據(jù)空間使用量歷史值，使用本次空間信息和歷史信息進(jìn)行空間趨勢(shì)預(yù)測(cè)，將預(yù)測(cè)結(jié)果提交策略執(zhí)行模塊。與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)本發(fā)明中，基于增量基線(xiàn)分析和空間使用情況預(yù)測(cè)的方法達(dá)到對(duì)日志數(shù)據(jù)空間的提前預(yù)警，盡早處理，避免日志空間滿(mǎn)而導(dǎo)致的數(shù)據(jù)丟失。另外，可以預(yù)置多種日志數(shù)據(jù)處理方法，并根據(jù)空間使用情況動(dòng)態(tài)執(zhí)行空間管理策略，達(dá)到自動(dòng)智能的日志數(shù)據(jù)管理功能。并且可以提供開(kāi)放的處理策略定制機(jī)制，用戶(hù)可以定義自己的處理策略。圖1是現(xiàn)有技術(shù)中以數(shù)據(jù)庫(kù)為中心的日志管理系統(tǒng)結(jié)構(gòu)示意圖2是本發(fā)明中日志管理系統(tǒng)圖3是本發(fā)明中曰志管理模塊關(guān)系圖4是本發(fā)明中日志數(shù)據(jù)空間管理功能示意圖5是本發(fā)明中數(shù)據(jù)空間檢測(cè)模塊示意圖6是本發(fā)明中空間分析和預(yù)測(cè)-漠塊示意圖7是本發(fā)明中日志分析/預(yù)測(cè)處理流程圖8是本發(fā)明中日志空間管理策略執(zhí)行示意圖9是本發(fā)明中一種網(wǎng)絡(luò)日志數(shù)據(jù)管理方法流程圖。具體實(shí)施例方式本發(fā)明中的核心思想是在現(xiàn)有的系統(tǒng)中增加日志管理裝置，統(tǒng)一曰志數(shù)據(jù)的存儲(chǔ)、讀取和清理，WEB服務(wù)器通過(guò)日志管理裝置讀取日志數(shù)據(jù)，并且基于增量基線(xiàn)分析和空間使用情況預(yù)測(cè)的方法達(dá)到對(duì)日志數(shù)據(jù)空間的提前預(yù)警，盡早處理，避免日志空間滿(mǎn)而導(dǎo)致的數(shù)據(jù)丟失。本發(fā)明提供了一種網(wǎng)絡(luò)日志數(shù)據(jù)管理系統(tǒng)，如圖2所示，包括日志處理器210、數(shù)據(jù)庫(kù)220、日志管理裝置230、WEB服務(wù)器240和壓縮文件存儲(chǔ)器250。其中，日志處理器210,用于從網(wǎng)絡(luò)報(bào)文和日志文件獲取日志數(shù)據(jù)，并存儲(chǔ)于數(shù)據(jù)庫(kù)220;日志管理裝置230,用于統(tǒng)一日志數(shù)據(jù)的存儲(chǔ)、讀取和清理，并將日志文件自動(dòng)轉(zhuǎn)換為壓縮文件，存儲(chǔ)到壓縮文件存儲(chǔ)器250;WEB服務(wù)器240,從日志管理裝置230讀取日志數(shù)據(jù)。日志管理裝置230可以與WEB服務(wù)器240設(shè)置在一起，也可以與數(shù)據(jù)庫(kù)220設(shè)置在一起，也可以獨(dú)立設(shè)置。壓縮文件存儲(chǔ)器250可以是內(nèi)部存儲(chǔ)設(shè)備，例如，隨機(jī)存儲(chǔ)器，也可以是外掛存儲(chǔ)設(shè)備，例如移動(dòng)硬盤(pán)等。曰志管理裝置如圖3所示，包括數(shù)據(jù)查詢(xún)模塊310和日志空間管理模塊320。其中，數(shù)據(jù)查詢(xún)模塊310,用于通過(guò)日志數(shù)據(jù)操作接口查詢(xún)數(shù)據(jù)庫(kù)中的日志數(shù)據(jù)；日志空間管理沖莫塊320,通過(guò)日志數(shù)據(jù)操作接口操作原始日志數(shù)據(jù)，包括數(shù)據(jù)庫(kù)操作和文件操作。其中，數(shù)據(jù)庫(kù)操作為對(duì)數(shù)據(jù)庫(kù)中的日志數(shù)據(jù)所使用的空間進(jìn)行定期不間斷的檢測(cè)，對(duì)其增長(zhǎng)趨勢(shì)進(jìn)行分析和預(yù)測(cè)，根據(jù)空間使用情況，預(yù)定義策略和用戶(hù)自定義的管理策略執(zhí)行相關(guān)的控制操作，例如將數(shù)據(jù)庫(kù)中的日志數(shù)據(jù)自動(dòng)轉(zhuǎn)存為壓縮文件，存儲(chǔ)到壓縮文件存儲(chǔ)器中，以釋放數(shù)據(jù)空間，同時(shí)增加了系統(tǒng)的數(shù)據(jù)保存時(shí)間，以確保數(shù)據(jù)空間的可持續(xù)性，保證應(yīng)用系統(tǒng)持續(xù)正常運(yùn)行。文件操作為通過(guò)顯示界面選擇對(duì)日志數(shù)據(jù)進(jìn)行操作或通過(guò)輸入命令行對(duì)日志數(shù)據(jù)進(jìn)行相應(yīng)操作。日志空間管理模塊320具體如圖4所示，包括空間檢測(cè)子模塊420、空間分析和預(yù)測(cè)子模塊410、管理策略執(zhí)行子模塊430和管理策略注冊(cè)子模塊440。其中，空間檢測(cè)模塊410，按照預(yù)設(shè)周期(例如10分鐘)定時(shí)啟動(dòng)空間檢測(cè)操作，如圖5所示，在每個(gè)空間檢測(cè)執(zhí)行周期開(kāi)始時(shí)檢測(cè)數(shù)據(jù)庫(kù)使用情況和磁盤(pán)使用情況，將檢測(cè)結(jié)果存入數(shù)據(jù)庫(kù)中，并提交給空間分析和預(yù)測(cè)模塊420。其中，數(shù)據(jù)庫(kù)使用情況檢測(cè)包括查詢(xún)數(shù)據(jù)庫(kù)的大小、已使用數(shù)據(jù)庫(kù)空間和數(shù)據(jù)庫(kù)位置等信息；磁盤(pán)使用情況檢測(cè)包括1,根據(jù)數(shù)據(jù)庫(kù)位置和轉(zhuǎn)儲(chǔ)路徑，確定需要檢測(cè)的磁盤(pán)分巻。由于整個(gè)磁盤(pán)可能很大，可能分成多個(gè)分區(qū)(也可以稱(chēng)為分巻，在windows系統(tǒng)中相當(dāng)于盤(pán)符，一旦創(chuàng)建則其大小是相對(duì)固定的值)。而空間管理只關(guān)心與日志數(shù)據(jù)相關(guān)的分區(qū)的使用情況，比如磁盤(pán)有C、D、E、F4個(gè)分區(qū)，其中數(shù)據(jù)庫(kù)存放10在D盤(pán)，轉(zhuǎn)儲(chǔ)文件存放在F盤(pán)，因此只需要檢測(cè)這兩個(gè)分區(qū)的使用情況。2,檢測(cè)這些分巻的容量大小、分巻已使用空間的大小等信息。磁盤(pán)空間是物理磁盤(pán)所提供的存儲(chǔ)二進(jìn)制數(shù)據(jù)的介質(zhì)，通常用可以存放的字節(jié)數(shù)來(lái)衡量，例如一個(gè)磁盤(pán)500GB?？臻g檢測(cè)就是檢測(cè)一下磁盤(pán)上存儲(chǔ)了多少內(nèi)容(已使用空間)，還能存儲(chǔ)多少內(nèi)容(剩余空間)?？臻g分析和預(yù)測(cè)子模塊420，與空間檢測(cè)子模塊410連接，根據(jù)空間檢測(cè)結(jié)果，分析當(dāng)前日志數(shù)據(jù)空間狀態(tài)，并結(jié)合歷史信息通過(guò)增量分析和基線(xiàn)分析預(yù)測(cè)空間變化趨勢(shì)(基線(xiàn)算法和預(yù)測(cè)算法均使用已有標(biāo)準(zhǔn)實(shí)現(xiàn)，不再詳述)。其中，根據(jù)檢測(cè)結(jié)果，分析當(dāng)前數(shù)據(jù)空間使用狀況是否達(dá)到預(yù)定告警值，如果達(dá)到，則轉(zhuǎn)到管理策略執(zhí)行模塊430,如果沒(méi)有達(dá)到，則繼續(xù)進(jìn)行變化趨勢(shì)分析。空間使用趨勢(shì)具體說(shuō)就是一系列的數(shù)據(jù)記錄，比如XX日10點(diǎn)數(shù)據(jù)空間l吏用了400G,剩余空間100G;XX日IO點(diǎn)IO分凄t據(jù)空間-使用了410G剩余空間90G.....這些數(shù)據(jù)也需要存放起來(lái)，供用戶(hù)查看，了解空間變化的歷史和趨勢(shì)。這些數(shù)據(jù)可以存放在數(shù)據(jù)庫(kù)中，也可以以文件的形式存放?？臻g分析和預(yù)測(cè)^t塊420工作原理如圖6所示，計(jì)算本周期內(nèi)日志數(shù)據(jù)空間增量，并對(duì)日志數(shù)據(jù)空間進(jìn)行基線(xiàn)異常判斷，如果增量在正常范圍則將當(dāng)前空間使用情況信息用于數(shù)據(jù)空間趨勢(shì)預(yù)測(cè)，并將預(yù)測(cè)結(jié)果發(fā)送給管理策略執(zhí)行模塊430進(jìn)行管理策略執(zhí)行，如果增量超過(guò)基線(xiàn)則發(fā)送增量告警，提醒用戶(hù)數(shù)據(jù)空間使用情況異常。本發(fā)明中，日志分析/預(yù)測(cè)處理流程如圖7所示，包括以下步驟步驟701,根據(jù)空間檢測(cè)結(jié)杲判斷數(shù)據(jù)庫(kù)當(dāng)前空間使用量是否達(dá)到閾值，例如，數(shù)據(jù)庫(kù)總空間為500G,使用量到達(dá)450G時(shí)為閾值，如果達(dá)到，則轉(zhuǎn)步驟708，如果沒(méi)有達(dá)到，則轉(zhuǎn)步驟702;另外，上述閾值可以包括多個(gè)，分別對(duì)應(yīng)策略執(zhí)行子模塊的多個(gè)執(zhí)行策略，例如表1所示表1:<table>tableseeoriginaldocumentpage11</column></row><table><table>tableseeoriginaldocumentpage12</column></row><table>步驟702,計(jì)算本周期內(nèi)增量，獲取周期內(nèi)數(shù)據(jù)庫(kù)的變化量，例如本周期開(kāi)始前數(shù)據(jù)庫(kù)使用量為400G，而本周期結(jié)束時(shí)數(shù)據(jù)庫(kù)使用量為410G，則本周期內(nèi)增量為10G;步驟703,讀取增量基線(xiàn)數(shù)據(jù)；基線(xiàn)就是根據(jù)歷史信息確定當(dāng)前值是否在可信范圍內(nèi)。例如，第一周期數(shù)據(jù)庫(kù)^f吏用量增加2G,第二周期數(shù)據(jù)庫(kù)使用量增加3G，第三周期數(shù)據(jù)庫(kù)4吏用量增加4G,則第四周期數(shù)據(jù)庫(kù)使用量增加在5G以?xún)?nèi)，可以認(rèn)為是可信范圍。上述基線(xiàn)是一個(gè)變化值，隨著新增量的不斷獲得，基線(xiàn)也隨之變化。步驟704，根據(jù)基線(xiàn)判斷增量值是否在正常范圍內(nèi)，如果不在，轉(zhuǎn)步驟705,如果在，轉(zhuǎn)步驟706;步驟705,發(fā)出數(shù)據(jù)庫(kù)使用量增量告警，并結(jié)束；步驟706,讀取數(shù)據(jù)庫(kù)空間使用量歷史值；步驟707，使用本次空間信息和歷史信息進(jìn)行空間趨勢(shì)預(yù)測(cè)；例如，本次數(shù)據(jù)庫(kù)空間使用量為2G,而歷史信息為使用量420G,則可預(yù)測(cè)下次空間使用量為424G。通過(guò)趨勢(shì)預(yù)測(cè)可以為數(shù)據(jù)庫(kù)預(yù)留空間，便于統(tǒng)一管理。步驟708,將空間信息提交策略執(zhí)行模塊，并結(jié)束日志分析/預(yù)測(cè)處理流程。管理策略執(zhí)行模塊430,與空間分析和預(yù)測(cè)模塊420連接，在接收到日志空間分析/預(yù)測(cè)結(jié)果后，根據(jù)結(jié)果在策略列表中查找符合條件的策略并執(zhí)行。管理策略注冊(cè)模塊440,與管理策略執(zhí)行模塊430連接，提供用戶(hù)定義空間使用量達(dá)到特定值之后執(zhí)行某一動(dòng)作的能力，用戶(hù)可以根據(jù)實(shí)際需要定制空間處理策略。策略注冊(cè)模塊負(fù)責(zé)維護(hù)策略列表，提供用戶(hù)增加策略或刪除策略的功能，如圖8所示。其中，策略列表中包括發(fā)出告警、刪除日志、數(shù)據(jù)轉(zhuǎn)存、文件清理、*接收器啟動(dòng)或停止、聚合策略調(diào)整及其他處理策略。例如，確?？臻g管理的高效和穩(wěn)定具體的空間管理策略如下當(dāng)數(shù)據(jù)空間使用率達(dá)到80%時(shí)發(fā)送空間告警，提醒用戶(hù)剩余數(shù)據(jù)空間已經(jīng)不多；當(dāng)數(shù)據(jù)空間使用率達(dá)到90%時(shí)啟動(dòng)數(shù)據(jù)轉(zhuǎn)儲(chǔ)，將數(shù)據(jù)庫(kù)中的日志數(shù)據(jù)轉(zhuǎn)儲(chǔ)為壓縮文件。以釋放數(shù)據(jù)空間；當(dāng)數(shù)據(jù)空間使用率達(dá)到95%時(shí)調(diào)整聚合策略，使用更長(zhǎng)的聚合時(shí)間，減少日志數(shù)據(jù)生成量；當(dāng)婆:據(jù)空間使用率達(dá)到98%時(shí)從數(shù)據(jù)庫(kù)中刪除歷史日志(當(dāng)天的日志不刪除)，釋放數(shù)據(jù)空間等。本發(fā)明提供了一種網(wǎng)絡(luò)日志數(shù)據(jù)管理方法，應(yīng)用于包括日志處理器、數(shù)據(jù)庫(kù)、日志管理裝置和WEB服務(wù)器的系統(tǒng)中，所述方法如圖9所示，包括以下步驟步驟901，所述日志處理器從網(wǎng)絡(luò)報(bào)文和日志文件獲取日志數(shù)據(jù)，并存儲(chǔ)于所述數(shù)據(jù)庫(kù)；步驟902，所述日志管理裝置統(tǒng)一日志數(shù)據(jù)的存儲(chǔ)、讀取和清理，使所述WEB服務(wù)器從所述日志管理裝置讀取日志數(shù)據(jù)，對(duì)所述日志數(shù)據(jù)進(jìn)行操作。其中，所述日志管理裝置統(tǒng)一日志數(shù)據(jù)的存儲(chǔ)、讀取和清理，具體包括(1)，對(duì)數(shù)據(jù)庫(kù)中的日志數(shù)據(jù)所使用的空間進(jìn)行檢測(cè)，具體包括按照預(yù)設(shè)周期定時(shí)啟動(dòng)空間檢測(cè)操作，在每個(gè)空間檢測(cè)執(zhí)行周期開(kāi)始時(shí)檢測(cè)數(shù)據(jù)庫(kù)使用情況和磁盤(pán)使用情況。其中檢測(cè)數(shù)據(jù)庫(kù)使用情況為查詢(xún)數(shù)據(jù)庫(kù)的大小、數(shù)據(jù)庫(kù)已使用空間、數(shù)據(jù)庫(kù)位置；檢測(cè)磁盤(pán)使用為根據(jù)數(shù)據(jù)庫(kù)位置和轉(zhuǎn)儲(chǔ)路徑，確定需要檢測(cè)的磁盤(pán)分巻，檢測(cè)所述分巻的容量大小、已使用分巻的大小。(2),根據(jù)空間使用情況對(duì)空間使用增長(zhǎng)趨勢(shì)進(jìn)行分析和預(yù)測(cè)；具體包括根據(jù)空間檢測(cè)結(jié)果，分析當(dāng)前日志數(shù)據(jù)空間狀態(tài)，并結(jié)合歷史信息通過(guò)增量分析和基線(xiàn)分析預(yù)測(cè)空間變化趨勢(shì)。根據(jù)空間檢測(cè)結(jié)果判斷數(shù)據(jù)庫(kù)當(dāng)前空間使用量是否達(dá)到闊值，如杲達(dá)到，將空間信息提交策略執(zhí)行模塊；如果沒(méi)有達(dá)到，獲取周期內(nèi)數(shù)據(jù)庫(kù)的變化量，讀取增量基線(xiàn)數(shù)據(jù)，根據(jù)基線(xiàn)判斷增量值是否在正常范圍內(nèi)，如果不在，發(fā)出數(shù)據(jù)空間使用量增量告警，如果在，讀取數(shù)據(jù)庫(kù)空間使用量歷史值，使用本次空間信息和歷史信息進(jìn)行空間趨勢(shì)預(yù)測(cè)，將空間信息提交策略執(zhí)行模塊。(3),根據(jù)分析和預(yù)測(cè)結(jié)果及預(yù)定義策略或用戶(hù)自定義的管理策略執(zhí)行相關(guān)的控制操作。具體包括在接收到日志空間分析/預(yù)測(cè)結(jié)果后，根據(jù)結(jié)果在策略列表中查找符合條件的策略并執(zhí)行。本發(fā)明中，基于增量基線(xiàn)分析和空間使用情況預(yù)測(cè)的方法達(dá)到對(duì)日志數(shù)據(jù)空間的提前預(yù)警，盡早處理，避免日志空間滿(mǎn)而導(dǎo)致的數(shù)據(jù)丟失。另外，可以預(yù)置多種日志數(shù)據(jù)處理方法，并根據(jù)空間使用情況動(dòng)態(tài)執(zhí)行空間管理策略，達(dá)到自動(dòng)智能的日志數(shù)據(jù)管理功能。并且可以提供開(kāi)放的處理策略定制機(jī)制，用戶(hù)可以定義自己的處理策略。通過(guò)以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可以通過(guò)硬件實(shí)現(xiàn)，也可以借助軟件加必要的通用硬件平臺(tái)的方式來(lái)實(shí)現(xiàn)?；谶@樣的理解，本發(fā)明的技術(shù)方案可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該軟件產(chǎn)品可以存儲(chǔ)在一個(gè)非易失性存儲(chǔ)介質(zhì)(可以是CD-ROM,U盤(pán)，移動(dòng)硬盤(pán)等)中，包括若千指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述的方法。本領(lǐng)域技術(shù)人員可以理解附圖只是一個(gè)優(yōu)選實(shí)施例的示意圖，附圖中的模塊或流程并不一定是實(shí)施本發(fā)明所必須的。本領(lǐng)域技術(shù)人員可以理解實(shí)施例中的裝置中的模塊可以按照實(shí)施例描述進(jìn)行分布于實(shí)施例的裝置中，也可以進(jìn)行相應(yīng)變化位于不同于本實(shí)施例的一個(gè)或多個(gè)裝置中。上述實(shí)施例的模塊可以合并為一個(gè)模塊，也可以進(jìn)一步拆分成多個(gè)子模塊。上述本發(fā)明序號(hào)僅僅為了描述，不代表實(shí)施例的優(yōu)劣。以上公開(kāi)的僅為本發(fā)明的幾個(gè)具體實(shí)施例，但是，本發(fā)明并非局限于此，任何本領(lǐng)域的技術(shù)人員能思之的變化都應(yīng)落入本發(fā)明的保護(hù)范圍。1權(quán)利要求1、一種網(wǎng)絡(luò)日志數(shù)據(jù)管理方法，應(yīng)用于包括日志處理器、數(shù)據(jù)庫(kù)、日志管理裝置和WEB服務(wù)器的系統(tǒng)中，其特征在于，所述方法包括以下步驟所述日志處理器從網(wǎng)絡(luò)報(bào)文和日志文件獲取日志數(shù)據(jù)，并存儲(chǔ)于所述數(shù)據(jù)庫(kù)；所述日志管理裝置統(tǒng)一對(duì)所述日志數(shù)據(jù)進(jìn)行存儲(chǔ)、讀取或清理，使所述WEB服務(wù)器從所述日志管理裝置讀取日志數(shù)據(jù)，對(duì)所述日志數(shù)據(jù)進(jìn)行操作。2、如權(quán)利要求l所述的方法，其特征在于，所述日志管理裝置統(tǒng)一對(duì)所述日志數(shù)據(jù)進(jìn)行存儲(chǔ)、讀取或清理，具體包括對(duì)數(shù)據(jù)庫(kù)中的日志數(shù)據(jù)所使用的空間進(jìn)行檢測(cè)；根據(jù)空間使用情況對(duì)空間使用增長(zhǎng)趨勢(shì)進(jìn)行分析和預(yù)測(cè)；根據(jù)分析和預(yù)測(cè)結(jié)果及預(yù)定義策略或用戶(hù)自定義的管理策略執(zhí)行存儲(chǔ)、讀取或清理操作。3、如權(quán)利要求2所述的方法，其特征在于，所述對(duì)數(shù)據(jù)庫(kù)中的日志數(shù)據(jù)所使用的空間進(jìn)行4企測(cè)，具體包括按照預(yù)設(shè)周期定時(shí)啟動(dòng)空間檢測(cè)操作，在每個(gè)空間;險(xiǎn)測(cè)執(zhí)行周期開(kāi)始時(shí)檢測(cè)數(shù)據(jù)庫(kù)使用情況和磁盤(pán)使用情況，將檢測(cè)結(jié)果存入數(shù)據(jù)庫(kù)中；所述對(duì)空間使用增長(zhǎng)趨勢(shì)進(jìn)行分析和預(yù)測(cè)，具體包括根據(jù)空間檢測(cè)結(jié)果，分析當(dāng)前日志數(shù)據(jù)空間狀態(tài)，并結(jié)合歷史信息通過(guò)增量分析和基線(xiàn)分析預(yù)測(cè)空間變化趨勢(shì)；所述分析和預(yù)測(cè)結(jié)果及預(yù)定義策略或用戶(hù)自定義的管理策略執(zhí)行存儲(chǔ)、讀取或清理操作，具體包括在接收到日志空間分析/預(yù)測(cè)結(jié)果后，根據(jù)結(jié)果在策略列表中查找符合條件的策略并執(zhí)行。4、如權(quán)利要求3所述的方法，其特征在于，所述檢測(cè)數(shù)據(jù)庫(kù)使用情況，具體包括查詢(xún)數(shù)據(jù)庫(kù)的大小、數(shù)據(jù)庫(kù)已使用空間和數(shù)據(jù)庫(kù)位置；所述檢測(cè)磁盤(pán)使用情況，具體包括根據(jù)數(shù)據(jù)庫(kù)位置和轉(zhuǎn)儲(chǔ)路徑，確定需要檢測(cè)的磁盤(pán)分巻；檢測(cè)所述分巻的容量大小、分巻已使用空間的大小。5、如權(quán)利要求3所述的方法，其特征在于，所述結(jié)合歷史信息通過(guò)增量分析和基線(xiàn)分析預(yù)測(cè)空間變化趨勢(shì)，具體包括根據(jù)空間檢測(cè)結(jié)果判斷數(shù)據(jù)庫(kù)當(dāng)前空間使用量是否達(dá)到閾值，如果達(dá)到，將空間信息提交策略執(zhí)行模塊；如杲?jīng)]有達(dá)到，獲取周期內(nèi)數(shù)據(jù)庫(kù)的變化量，讀取增量基線(xiàn)數(shù)據(jù)，根據(jù)基線(xiàn)判斷增量值是否在正常范圍內(nèi)，如果不在，發(fā)出數(shù)據(jù)空間使用量增量告警，如果在，讀取數(shù)據(jù)空間使用量歷史值，使用本次空間信息和歷史信息進(jìn)行空間趨勢(shì)預(yù)測(cè)，將預(yù)測(cè)結(jié)果提交策略執(zhí)行沖莫塊。6、一種網(wǎng)絡(luò)日志數(shù)據(jù)管理系統(tǒng)，其特征在于，包括日志處理器、數(shù)據(jù)庫(kù)、WEB服務(wù)器和日志管理裝置；所述日志處理器，用于從網(wǎng)絡(luò)報(bào)文和日志文件獲取日志數(shù)據(jù)，并存儲(chǔ)于所述數(shù)據(jù)庫(kù)；所述日志管理裝置，與所述日志處理器、所述數(shù)據(jù)庫(kù)和所述WEB服務(wù)器連接，用于對(duì)所述日志數(shù)據(jù)進(jìn)行存儲(chǔ)、讀取或清理；所述WEB服務(wù)器，與所述日志管理裝置連接，用于從所述日志管理模塊讀取日志數(shù)據(jù)，對(duì)所述日志數(shù)據(jù)進(jìn)行操作。7、如權(quán)利要求6所述的系統(tǒng)，其特征在于，還包括壓縮文件存儲(chǔ)器，與所述數(shù)據(jù)庫(kù)和所述日志管理裝置連接，用于存儲(chǔ)數(shù)據(jù)庫(kù)中的日志數(shù)據(jù)轉(zhuǎn)換成的壓縮文件。8、一種日志管理裝置，應(yīng)用于包括日志處理器、數(shù)據(jù)庫(kù)和WEB服務(wù)器的系統(tǒng)中，其特征在于，所述裝置包括數(shù)據(jù)查詢(xún)模塊，用于通過(guò)日志數(shù)據(jù)操作接口查詢(xún)數(shù)據(jù)庫(kù)中的日志數(shù)據(jù)；空間管理模塊，用于通過(guò)日志數(shù)據(jù)操作接口操作原始日志數(shù)據(jù)，對(duì)數(shù)據(jù)庫(kù)中的日志數(shù)據(jù)所使用的空間進(jìn)行檢測(cè)，對(duì)其增長(zhǎng)趨勢(shì)進(jìn)行分析和預(yù)測(cè)，根據(jù)空間使用情況，預(yù)定義策略和用戶(hù)自定義的管理策略執(zhí)行存儲(chǔ)、讀取或清理操作。9、如權(quán)利要求8所述的裝置，其特征在于，所述空間管理模塊包括空間檢測(cè)子模塊，用于按照預(yù)設(shè)周期定時(shí)啟動(dòng)空間檢測(cè)操作，在每個(gè)空間檢測(cè)執(zhí)行周期開(kāi)始時(shí)檢測(cè)數(shù)據(jù)庫(kù)使用情況和磁盤(pán)使用情況，將檢測(cè)結(jié)果存入數(shù)據(jù)庫(kù)中；空間分析和預(yù)測(cè)子模塊，與所述空間檢測(cè)子模塊連接，用于根據(jù)空間檢測(cè)結(jié)果，分析當(dāng)前日志數(shù)據(jù)空間狀態(tài)，并結(jié)合歷史信息通過(guò)增量分析和基線(xiàn)分析預(yù)測(cè)空間變化趨勢(shì)；管理策略執(zhí)行模塊，與所述空間分析和預(yù)測(cè)模塊連接，用于在接收到日志空間分析/預(yù)測(cè)結(jié)果后，根據(jù)結(jié)果在策略列表中查找符合條件的策略并執(zhí)行；管理策略注冊(cè)模塊，與所述管理策略執(zhí)行模塊連接，用于維護(hù)策略列表，提供用戶(hù)增加策略或刪除策略的功能。10、如權(quán)利要求9所述的裝置，其特征在于，所述空間檢測(cè)子模塊，具體用于查詢(xún)數(shù)據(jù)庫(kù)的大小、數(shù)據(jù)庫(kù)已使用空間和數(shù)據(jù)庫(kù)位置，然后根據(jù)數(shù)據(jù)庫(kù)位置和轉(zhuǎn)儲(chǔ)路徑，確定需要檢測(cè)的磁盤(pán)分巻，檢測(cè)所述分巻的容量大小、分巻已使用空間的大小。11、如權(quán)利要求9所述的裝置，其特征在于，所述空間分析和預(yù)測(cè)子模塊，具體用于根據(jù)空間檢測(cè)結(jié)果判斷數(shù)據(jù)庫(kù)當(dāng)前空間使用量是否達(dá)到閾值，如果達(dá)到，將空間信息提交策略執(zhí)行模塊；如果沒(méi)有達(dá)到，獲取周期內(nèi)數(shù)據(jù)庫(kù)的變化量，讀取增量基線(xiàn)數(shù)據(jù)，根據(jù)基線(xiàn)判斷增量值是否在正常范圍內(nèi)，如果不在，發(fā)出數(shù)據(jù)空間使用量增量告警，如果在，讀取數(shù)據(jù)空間使用量歷史值，使用本次空間信息和歷史信息進(jìn)行空間趨勢(shì)預(yù)測(cè)，將預(yù)測(cè)結(jié)果提交策略執(zhí)行模塊。全文摘要本發(fā)明公開(kāi)了一種網(wǎng)絡(luò)日志數(shù)據(jù)管理方法，應(yīng)用于包括日志處理器、數(shù)據(jù)庫(kù)、日志管理裝置和WEB服務(wù)器的系統(tǒng)中，其中，所述方法包括以下步驟所述日志處理器從網(wǎng)絡(luò)報(bào)文和日志文件獲取日志數(shù)據(jù)，并存儲(chǔ)于所述數(shù)據(jù)庫(kù)；所述日志管理裝置統(tǒng)一日志數(shù)據(jù)的存儲(chǔ)、讀取和清理，使所述WEB服務(wù)器從所述日志管理裝置讀取日志數(shù)據(jù)，對(duì)所述日志數(shù)據(jù)進(jìn)行操作。本發(fā)明中，可以預(yù)置多種日志數(shù)據(jù)處理方法，并根據(jù)空間使用情況動(dòng)態(tài)執(zhí)行空間管理策略，達(dá)到自動(dòng)智能的日志數(shù)據(jù)管理功能。并且可以提供開(kāi)放的處理策略定制機(jī)制，用戶(hù)可以定義自己的處理策略。文檔編號(hào)H04L12/24GK101635651SQ20091016967公開(kāi)日2010年1月27日申請(qǐng)日期2009年8月31日優(yōu)先權(quán)日2009年8月31日發(fā)明者楊靜濤申請(qǐng)人:杭州華三通信技術(shù)有限公司