專利名稱：一種管理日志的方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息安全領(lǐng)域，尤其涉及一種管理日志的方法及系統(tǒng)。
背景技術(shù)：
隨著電子商務(wù)的應(yīng)用，產(chǎn)生了大量的業(yè)務(wù)信息，需要大量的安全系統(tǒng)來保證業(yè)務(wù)信息的安全。而安全系統(tǒng)的部署將產(chǎn)生了大量的日志信息，這其中不僅有數(shù)據(jù)庫中的關(guān)系型信息，而且還有大量的非結(jié)構(gòu)化的日志文件。大量的信息資源分散在各處，按照不同的分類、格式存放，而且受到不同的安全機(jī)制所控制管理。因此，審計(jì)部門對日志信息的搜索是安全審計(jì)的重要手段。
現(xiàn)有的大部分審計(jì)系統(tǒng)是利用數(shù)據(jù)庫技術(shù)，把日志導(dǎo)入數(shù)據(jù)庫，然后利用結(jié)構(gòu)化查詢語言(Structured Query Language，SQL)查詢。利用數(shù)據(jù)庫技術(shù)，可以對大部分日志數(shù)據(jù)進(jìn)行查詢，并導(dǎo)出結(jié)果，在數(shù)據(jù)量不大的情況下，是常用的查詢手段。
發(fā)明人在使用數(shù)據(jù)庫查詢技術(shù)的過程中發(fā)現(xiàn)，數(shù)據(jù)庫SQL查詢是基于字符串匹配，需要對查詢字段進(jìn)行徹底對比，導(dǎo)致查詢效率極低，對于TB(Tera Bytes，兆兆字節(jié))級數(shù)據(jù)的查詢需要小時(shí)級的時(shí)間。數(shù)據(jù)庫查詢返回大量的數(shù)據(jù)，但沒有按照一定的規(guī)律排序，對審計(jì)人員來說，大量無規(guī)律的結(jié)果很難找到最符合條件的記錄。再則，數(shù)據(jù)庫查詢必須明確知道表結(jié)構(gòu)，要求維護(hù)人員掌握一定的數(shù)據(jù)庫知識，按照一定的語法查詢，這對安全審計(jì)人員來說，查詢條件太復(fù)雜，效率低下，消耗的資源將越多。
數(shù)據(jù)查詢的另一技術(shù)就是搜索引擎技術(shù)，提高了查詢速度，適用于大量數(shù)據(jù)的快速、模糊查詢，主要應(yīng)用在網(wǎng)站搜索方面，支持大量的用戶頻繁查詢。發(fā)明人在實(shí)施過程中發(fā)現(xiàn)，搜索引擎技術(shù)搜索出來的結(jié)果比較模糊，夾雜了很多干擾信息，不利于安全審計(jì)的日志搜索。

發(fā)明內(nèi)容
本發(fā)明的實(shí)施例的目的在于，提供一種管理日志的方法及系統(tǒng)，可以實(shí)現(xiàn)精確查詢，提高查詢效率。
為了解決上述技術(shù)問題，本發(fā)明的實(shí)施例提供了一種管理日志的方法，該方法包括管理系統(tǒng)將具有同一關(guān)鍵字段的原始日志記錄映射成一條合并記錄作為搜索數(shù)據(jù)源；當(dāng)管理系統(tǒng)接收到用戶的查詢條件時(shí)，根據(jù)所述查詢條件查找到所述搜索數(shù)據(jù)源中與所述查詢條件對應(yīng)的合并記錄，并根據(jù)所述合并記錄獲取與所述查詢條件對應(yīng)的原始日志記錄。
相應(yīng)地，本發(fā)明的實(shí)施例還提供了一種日志管理系統(tǒng)，包括日志搜集預(yù)處理模塊用于搜集原始日志記錄，并把具有同一關(guān)鍵字段的原始日志記錄映射成一條合并記錄，作為搜索數(shù)據(jù)源保存到數(shù)據(jù)庫中；搜索處理模塊用于根據(jù)用戶的查詢條件查找到所述搜索數(shù)據(jù)源中與所述查詢條件對應(yīng)的合并記錄，并根據(jù)所述合并記錄獲取與所述查詢條件對應(yīng)的原始日志記錄。
其中，所述系統(tǒng)還包括索引文件產(chǎn)生模塊與日志搜集預(yù)處理模塊和搜索處理模塊耦接，用于根據(jù)所述搜索數(shù)據(jù)源產(chǎn)生索引文件。
實(shí)施本發(fā)明，具有如下有益效果在本發(fā)明的實(shí)施例提供的一種管理日志的方法及系統(tǒng)的技術(shù)方案中，通過數(shù)據(jù)庫映射將具有同一關(guān)鍵字段的原始日志記錄映射成一條合并記錄，然后經(jīng)過搜索處理單元一次查詢得到合并記錄，將該記錄拆分成多條原始記錄，再經(jīng)過第二次查詢處理，過濾掉不符合條件的原始日志記錄，得到需要原始日志記錄，這樣提高了查詢的精度。另外，將多條具有相同關(guān)鍵字的原始日志記錄映射成一條合并記錄，并以該合并記錄為索引單元創(chuàng)建索引文件，減少了索引記錄，也即節(jié)約了大量索引空間，也減少了處理次數(shù)，可以顯著提高處理速度，解決了數(shù)據(jù)庫查詢技術(shù)中查詢速度慢的技術(shù)問題，同時(shí)，降低了部署成本，提高了系統(tǒng)性能。


圖1是本發(fā)明實(shí)施例的一種日志管理系統(tǒng)實(shí)施例的結(jié)構(gòu)示意圖；圖2是本發(fā)明實(shí)施例的一種日志管理系統(tǒng)的優(yōu)選實(shí)施例的結(jié)構(gòu)示意圖；圖3是本發(fā)明實(shí)施例的一種管理日志的方法的主要流程圖；圖4是圖3中步驟S21的具體流程圖；圖5是本發(fā)明實(shí)施例中生成索引文件的步驟的具體流程圖；圖6是圖3步驟S22的具體流程圖。
具體實(shí)施例方式
在本發(fā)明的實(shí)施例提供的一種管理日志的方法及系統(tǒng)的技術(shù)方案中，通過數(shù)據(jù)庫映射將具有同一關(guān)鍵字段的原始日志記錄映射成一條合并記錄，然后經(jīng)過搜索處理單元一次查詢得到合并記錄，將該記錄拆分成多條原始記錄，再經(jīng)過第二次查詢處理，過濾掉不符合條件的原始日志記錄，得到需要的原始日志記錄。
下面結(jié)合附圖，具體闡述本發(fā)明具體實(shí)施例的技術(shù)方案。
參考圖1，是本發(fā)明實(shí)施例的一種日志管理系統(tǒng)實(shí)施例的結(jié)構(gòu)示意圖。由該圖可知，該日志管理系統(tǒng)包括日志搜集預(yù)處理模塊1用于搜集原始日志記錄，并把具有同一關(guān)鍵字段(如時(shí)間字段)的原始日志記錄映射成一條合并記錄，作為搜索數(shù)據(jù)源保存到數(shù)據(jù)庫中；搜索處理模塊3用于根據(jù)用戶的查詢條件查找到所述搜索數(shù)據(jù)源中與所述查詢條件對應(yīng)的合并記錄，并根據(jù)所述合并記錄獲取與所述查詢條件對應(yīng)的原始日志記錄，返回給用戶端4。
為了進(jìn)一步闡述本發(fā)明實(shí)施例的具體技術(shù)方案，下面給出了一種日志管理系統(tǒng)的一個(gè)優(yōu)選實(shí)施例。
參考圖2，圖示了本發(fā)明實(shí)施例的一種日志管理系統(tǒng)的優(yōu)選實(shí)施例的結(jié)構(gòu)示意圖。該日志管理系統(tǒng)包括日志搜集預(yù)處理模塊1和搜索處理模塊3，其中所述系統(tǒng)還包括，索引文件產(chǎn)生模塊2與日志搜集預(yù)處理模塊1和搜索處理模塊3耦接，用于根據(jù)所述搜索數(shù)據(jù)源產(chǎn)生索引文件。
其中，日志搜集預(yù)處理模塊1包括
日志搜集代理101用于定期搜集新產(chǎn)生的原始日志，并進(jìn)行轉(zhuǎn)碼處理，轉(zhuǎn)換成統(tǒng)一的數(shù)據(jù)格式；合并記錄單元102與日志搜集代理101耦接，用于將經(jīng)轉(zhuǎn)碼處理后的具有同一關(guān)鍵字段的原始日志記錄映射成一條合并記錄，作為搜索數(shù)據(jù)源保存到數(shù)據(jù)庫103中。
在上述實(shí)施例中，如圖2所示，索引文件產(chǎn)生模塊2包括爬蟲處理單元201從數(shù)據(jù)庫103中獲取合并記錄信息，并保存到專用數(shù)據(jù)庫204中；解析處理單元202與爬蟲處理單元201耦接，用于對所述合并記錄信息進(jìn)行解析處理，并保存到臨時(shí)文件中，同時(shí)清除專用數(shù)據(jù)庫204的數(shù)據(jù)；索引創(chuàng)建單元203與解析處理單元202耦接，用于對所述合并記錄信息進(jìn)行分詞處理，然后對分詞處理后的內(nèi)容進(jìn)行統(tǒng)計(jì)，以合并記錄為索引單元創(chuàng)建索引文件。
搜索處理模塊3包括查詢單元301用于從所述索引文件中提取與用戶輸入的查詢條件相對應(yīng)的合并記錄；記錄拆分單元302與所述查詢單元301耦接，用于對合并記錄進(jìn)行拆分處理，還原成多條原始記錄；過濾單元303與記錄拆分單元302耦接，用于從所述多條原始記錄中提取與所述查詢條件對應(yīng)的原始記錄，返回給用戶端4。
上面具體闡述了本發(fā)明實(shí)施例的一種日志管理系統(tǒng)的具體技術(shù)方案，下面結(jié)合附圖，進(jìn)一步闡述本發(fā)明實(shí)施例的一種搜索日志的方法的具體技術(shù)方案。
參考圖3，是本發(fā)明實(shí)施例的一種管理日志的方法的主要流程圖，該方法包括步驟S21，管理系統(tǒng)將具有同一關(guān)鍵字段的原始日志記錄映射成一條合并記錄作為搜索數(shù)據(jù)源；步驟S22，當(dāng)管理系統(tǒng)接收到用戶的查詢條件時(shí)，根據(jù)所述查詢條件查找到所述搜索數(shù)據(jù)源中與所述查詢條件對應(yīng)的合并記錄，并根據(jù)所述合并記錄獲取與所述查詢條件對應(yīng)的原始日志記錄。
如圖4所示，步驟S21具體包括
步驟S211，日志搜集代理定期搜集新產(chǎn)生的原始日志，并進(jìn)行轉(zhuǎn)碼處理，具體為在各種日志源上部署日志搜集代理(Agent)，負(fù)責(zé)搜集新產(chǎn)生的日志，為了方便用戶搜索時(shí)能夠按照時(shí)間段查詢，將所有日志的時(shí)間轉(zhuǎn)換成統(tǒng)一的格式。
步驟S212，日志搜集代理將經(jīng)過轉(zhuǎn)碼處理后的原始日志以單條記錄的形式保存到原始記錄表中，具體為日志搜集代理把原始日志記錄傳輸?shù)胶喜⒂涗泦卧膶Ｓ萌罩緮?shù)據(jù)庫(LogDB)中，如表1所示，原始日志以單條記錄的形式存放在相應(yīng)的原始記錄表中。
表1、原始記錄表

步驟S213，合并記錄單元對每張?jiān)加涗洷碜鲆晥D映射，把具有同一關(guān)鍵字段的原始日志記錄映射成一條合并記錄，作為搜索數(shù)據(jù)源，保存到數(shù)據(jù)庫中，具體包括對于每一張?jiān)加涗洷?，?chuàng)建視圖，其格式如表2所示，把相同時(shí)間字段映射到視圖同樣的字段中，并且把日期倒換成大整數(shù)，例如2006525122439，數(shù)據(jù)類型采用字符型，為了便于以后拆分記錄，各個(gè)原始日志記錄之間采用XML標(biāo)記分隔。
視圖的字段和原始記錄表一樣，包含相同的時(shí)間字段，但字段類型和長度要調(diào)整，根據(jù)具體記錄的長度和每秒鐘內(nèi)的記錄數(shù)，調(diào)整視圖中字段大小。
表2、視圖格式


在本實(shí)施例中，一種管理日志的方法還包括生成索引文件的步驟，如圖5所示，生成索引文件的步驟具體包括步驟S221，手工啟動或定時(shí)啟動數(shù)據(jù)庫爬蟲從所述搜索數(shù)據(jù)源中獲取記錄信息，并保存到專用數(shù)據(jù)庫中，具體為爬蟲處理單元連接數(shù)據(jù)庫，從數(shù)據(jù)庫中獲取合并記錄信息，提取文本內(nèi)容保存在系統(tǒng)專用數(shù)據(jù)庫中。該數(shù)據(jù)庫需要保存日志原始內(nèi)容(原始日志記錄)，并且記錄日志記錄的uri地址，通過該地址標(biāo)識日志。爬蟲提取視圖中所有信息，把每條記錄保存在索引文件產(chǎn)生模塊的數(shù)據(jù)庫中，然后進(jìn)入下一步處理。
步驟S222，解析處理單元對所述合并記錄信息進(jìn)行解析處理，并保存到臨時(shí)文件中，同時(shí)清除專用數(shù)據(jù)庫的數(shù)據(jù)。
步驟S223，索引創(chuàng)建單元對經(jīng)過解析處理后的合并記錄信息進(jìn)行分詞處理，然后對分詞處理后的內(nèi)容進(jìn)行統(tǒng)計(jì)，以合并記錄為索引單元創(chuàng)建索引文件。
其中，索引文件中包含原始日志的全部信息，以及分詞索引信息。
將數(shù)據(jù)源排序存儲的同時(shí)，有另一個(gè)排好序的關(guān)鍵詞列表(字典)，用于存儲關(guān)鍵詞與記錄的映射關(guān)系。
如圖6所示，步驟S22具體包括步驟S231，管理系統(tǒng)根據(jù)查詢語法對用戶的查詢條件進(jìn)行解析，拆分出系統(tǒng)查詢條件，具體為搜索處理模塊接收到用戶輸入的用戶查詢條件之后，利用查詢單元根據(jù)查詢語法對用戶查詢條件進(jìn)行解析，拆分出系統(tǒng)查詢條件，如時(shí)間<2006525122438 and用戶名＝“張三”。
步驟S232，查尋單元根據(jù)系統(tǒng)查詢條件從所述索引文件中提取與該系統(tǒng)查詢條件相對應(yīng)的合并記錄具體為查詢單元判斷同時(shí)滿足時(shí)間是2006525122438和用戶名是張三的只有合并記錄1(參考表2)，因此，返回該合并記錄1。返回的合并記錄可以按照時(shí)間、頻率等參數(shù)排序顯示，并且可以返回結(jié)果數(shù)。
步驟S233，記錄拆分單元將所述合并記錄進(jìn)行拆分處理，還原成多條原始記錄，具體為搜索程序按照xml標(biāo)記把合并記錄1進(jìn)行拆分，還原出多條原始記錄，如表3所示。
表3、還原出來的原始記錄格式

步驟S234，過濾單元從所述多條原始記錄中提取與所述系統(tǒng)查詢條件對應(yīng)的原始日志記錄，過濾掉不符合所述系統(tǒng)查詢條件的其它原始日志記錄，具體為根據(jù)查詢條件，如時(shí)間<2006525122438 and用戶名＝“張三”，對每條原始日志記錄再次進(jìn)行查詢，把最終符合條件的記錄返回。因此，只有一條記錄返回給用戶，如表4所示。
表4、最終的搜索結(jié)果的原始日志記錄

由上述可知，在索引文件中包含了完整的日志數(shù)據(jù)，所以搜索結(jié)果也包含了完整的日志記錄。通過該功能，日志數(shù)據(jù)源可以只保存臨時(shí)數(shù)據(jù)，當(dāng)索引文件產(chǎn)生模塊處理完數(shù)據(jù)之后，日志數(shù)據(jù)就保存在索引文件中，在此之前的數(shù)據(jù)可以清除。經(jīng)過二次搜索，用戶可以得到最符合條件的原始日志記錄，可以選擇保存方式，導(dǎo)出xml、csv、html等格式。
上述實(shí)施例是根據(jù)時(shí)間關(guān)鍵字段來進(jìn)行日志管理的，但本發(fā)明實(shí)施例不限于此，還可以根據(jù)IP地址、主機(jī)名、消息字段等關(guān)鍵字段進(jìn)行日志管理。
實(shí)施本發(fā)明的具體實(shí)施例具有以下技術(shù)效果在本發(fā)明的實(shí)施例提供的一種管理日志的方法及系統(tǒng)的技術(shù)方案中，通過數(shù)據(jù)庫映射將具有同一關(guān)鍵字段的原始日志記錄映射成一條合并記錄，然后經(jīng)過搜索處理單元一次查詢得到合并記錄，將該記錄拆分成多條原始記錄，再經(jīng)過第二次查詢處理，過濾掉不符合條件的原始日志記錄，得到需要的原始日志記錄，這樣提高了查詢的精度。另外，將多條具有相同關(guān)鍵字的原始日志記錄映射成一條合并記錄，并以該合并記錄為索引單元創(chuàng)建索引文件，減少了索引記錄，也即節(jié)約了大量索引空間，也減少了處理次數(shù)，可以顯著提高查詢速度，同時(shí)，降低了部署成本，提高了系統(tǒng)性能。
以上所揭露的僅為本發(fā)明較佳實(shí)施例而已，當(dāng)然不能以此來限定本發(fā)明之權(quán)利范圍，因此依本發(fā)明權(quán)利要求所作的等同變化，仍屬本發(fā)明所涵蓋的范圍。
權(quán)利要求
1.一種管理日志的方法，其特征在于，該方法包括管理系統(tǒng)將具有同一關(guān)鍵字段的原始日志記錄映射成一條合并記錄作為搜索數(shù)據(jù)源；當(dāng)管理系統(tǒng)接收到用戶的查詢條件時(shí)，根據(jù)所述查詢條件查找到所述搜索數(shù)據(jù)源中與所述查詢條件對應(yīng)的合并記錄，根據(jù)所述合并記錄獲取與所述查詢條件對應(yīng)的原始日志記錄。
2.如權(quán)利要求1所述的方法，其特征在于，所述管理系統(tǒng)將具有同一關(guān)鍵字段的原始日志記錄映射成一條合并記錄作為搜索數(shù)據(jù)源，具體包括a1、定期搜集新產(chǎn)生的原始日志，將所述原始日志以單條記錄的形式保存到原始記錄表中；a2、將所述原始記錄表中具有同一關(guān)鍵字段的原始日志記錄映射成一條合并記錄作為搜索數(shù)據(jù)源。
3.如權(quán)利要求1或2所述的方法，其特征在于，所述方法還包括生成索引文件的步驟b1、手工啟動或定時(shí)啟動數(shù)據(jù)庫爬蟲從所述搜索數(shù)據(jù)源中獲取合并記錄信息；b2、對所述記錄信息進(jìn)行解析處理；b3、對經(jīng)過解析處理后的合并記錄信息進(jìn)行分詞處理，然后對分詞處理后的內(nèi)容進(jìn)行統(tǒng)計(jì)，以合并記錄為索引單元創(chuàng)建索引文件。
4.如權(quán)利要求3所述的方法，其特征在于，所述當(dāng)管理系統(tǒng)接收到用戶的查詢條件時(shí)，根據(jù)所述查詢條件查找到所述搜索數(shù)據(jù)源中對應(yīng)的合并記錄，并根據(jù)所述合并記錄獲取與所述查詢條件對應(yīng)的原始日志記錄，具體包括c1、根據(jù)所述查詢條件從所述索引文件中提取與該查詢條件相對應(yīng)的合并記錄；c2、將所述合并記錄進(jìn)行拆分處理，還原成多條原始記錄；c3、從所述多條原始記錄中提取與所述查詢條件相對應(yīng)的原始記錄。
5.一種日志管理系統(tǒng)，其特征在于，該系統(tǒng)包括日志搜集預(yù)處理模塊用于搜集原始日志記錄，并把具有同一關(guān)鍵字段的原始日志記錄映射成一條合并記錄，作為搜索數(shù)據(jù)源保存到數(shù)據(jù)庫中；搜索處理模塊用于根據(jù)用戶的查詢條件查找到所述搜索數(shù)據(jù)源中與所述查詢條件對應(yīng)的合并記錄，并根據(jù)所述合并記錄獲取與所述查詢條件對應(yīng)的原始日志記錄。
6.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括索引文件產(chǎn)生模塊與日志搜集預(yù)處理模塊和搜索處理模塊耦接，用于根據(jù)所述搜索數(shù)據(jù)源產(chǎn)生索引文件。
7.如權(quán)利要求5或6所述的系統(tǒng)，其特征在于，所述日志搜集預(yù)處理模塊包括日志搜集代理用于定期搜集新產(chǎn)生的原始日志，并進(jìn)行轉(zhuǎn)碼處理，轉(zhuǎn)換成統(tǒng)一編碼格式；合并記錄單元與日志搜集代理耦接，用于將經(jīng)轉(zhuǎn)碼處理后的具有同一關(guān)鍵字段的原始日志記錄映射成一條合并記錄，作為搜索數(shù)據(jù)源存到數(shù)據(jù)庫中。
8.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述索引文件產(chǎn)生模塊包括爬蟲處理單元從所述數(shù)據(jù)庫中獲取合并記錄信息，并保存到專用數(shù)據(jù)庫中；解析處理單元與爬蟲處理單元耦接，用于對所述合并記錄信息進(jìn)行語法處理，并保存到臨時(shí)文件中，同時(shí)清除專用數(shù)據(jù)庫的數(shù)據(jù)；索引創(chuàng)建單元與解析處理單元耦接，用于對所述合并記錄信息進(jìn)行分詞處理，然后對分詞處理后的內(nèi)容進(jìn)行統(tǒng)計(jì)，以合并記錄為索引單元創(chuàng)建索引文件。
9.如權(quán)利要求8所述的系統(tǒng)，其特征在于，所述搜索處理單元包括查詢單元用于從所述索引文件中提取與用戶輸入的查詢條件相對應(yīng)的合并記錄；記錄拆分單元與所述查詢單元耦接，用于將所述合并記錄拆分還原成多條原始記錄；過濾單元與所述記錄拆分單與耦接，用于從所述多條原始記錄中提取與所述查詢條件相對應(yīng)的原始記錄。
全文摘要
本發(fā)明實(shí)施例提供一種管理日志的方法和系統(tǒng)，該方法包括管理系統(tǒng)將具有同一關(guān)鍵字段的原始日志記錄映射成一條合并記錄作為搜索數(shù)據(jù)源；當(dāng)管理系統(tǒng)接收到用戶的查詢條件時(shí)，根據(jù)所述查詢條件查找到所述搜索數(shù)據(jù)源中與所述查詢條件對應(yīng)的合并記錄，并根據(jù)所述合并記錄獲取與所述查詢條件對應(yīng)的原始日志記錄。利用該方法可以解決現(xiàn)有技術(shù)查詢結(jié)果模糊的技術(shù)問題，以實(shí)現(xiàn)快速、精確的日志搜索，提高系統(tǒng)工作性能。
文檔編號G06Q30/00GK1975725SQ200610124170
公開日2007年6月6日 申請日期2006年12月12日 優(yōu)先權(quán)日2006年12月12日
發(fā)明者高獻(xiàn)偉 申請人:華為技術(shù)有限公司