專利名稱：一種可并發(fā)和斷續(xù)分析的日志事件關(guān)聯(lián)分析方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉 信息安全領(lǐng)域內(nèi)事件關(guān)聯(lián)分析技術(shù)領(lǐng)域，特別涉及一種對(duì)多個(gè)不同的日志進(jìn)行并發(fā)分析和斷續(xù)分析的日志事件關(guān)聯(lián)分析方法和裝置。
背景技術(shù)：
近年來(lái)，由于信息技術(shù)的快速發(fā)展，企業(yè)信息技術(shù)基礎(chǔ)設(shè)施建設(shè)規(guī)模不斷擴(kuò)大，IT 監(jiān)控、運(yùn)維系統(tǒng)也得到廣泛運(yùn)用，此類系統(tǒng)針對(duì)網(wǎng)絡(luò)設(shè)備、主機(jī)、操作系統(tǒng)、數(shù)據(jù)庫(kù)系統(tǒng)以及各種應(yīng)用系統(tǒng)進(jìn)行監(jiān)控，其技術(shù)手段主要是對(duì)各種日志數(shù)據(jù)進(jìn)行采集，并通過(guò)對(duì)這些數(shù)據(jù)進(jìn)行有效地分析，使用者或管理員就能夠提前發(fā)現(xiàn)和避開(kāi)災(zāi)難，并且找到安全事件的根本原因。這里的日志是指系統(tǒng)對(duì)某些對(duì)象的某些操作和其操作結(jié)果，比如用戶登錄或者是其在系統(tǒng)上的行為按時(shí)間有序的集合。每條日志記錄存儲(chǔ)著一次單獨(dú)的事件，記錄中一般包含一個(gè)時(shí)間戳和一個(gè)消息。目前流行的日志分析的方法可分為三種(1)字串查找方法這是最簡(jiǎn)單的方法， 即從日志文件中搜尋特征字串，并根據(jù)搜尋的結(jié)果來(lái)判斷是否需要報(bào)警。這種方法提取速度快，但無(wú)分析功能，功能簡(jiǎn)單，智能化不高。(2)正則表達(dá)式方法利用正則表達(dá)式對(duì)日志文件進(jìn)行分析，正則表達(dá)式實(shí)際上也是一種規(guī)則表達(dá)式，這種方法能夠?qū)崿F(xiàn)單個(gè)日志內(nèi)的復(fù)雜字串分析，但是無(wú)法適用于多日志聯(lián)合分析。(3)事件關(guān)聯(lián)分析事先按一定的定義規(guī)則腳本，利用規(guī)則腳本進(jìn)行日志審計(jì)，能夠在整體上將日志文件中不同信息行在時(shí)間和事件上進(jìn)行關(guān)聯(lián)，這種方式現(xiàn)在已逐漸成為日志分析的主流技術(shù)。但是目前的事件關(guān)聯(lián)分析方法均沒(méi)有從多日志的并發(fā)分析和斷續(xù)分析上考慮，日志并發(fā)分析是指單個(gè)分析模塊能夠在同一時(shí)間間隔內(nèi)對(duì)多個(gè)不同來(lái)源的日志進(jìn)行分析，并能夠在不同日志之間進(jìn)行事件關(guān)聯(lián)分析，日志斷續(xù)分析是指分析模塊能夠保存前一次日志分析的狀態(tài)，當(dāng)新的日志片段到來(lái)時(shí)，能夠結(jié)合所保存的前一次的分析狀態(tài)繼續(xù)運(yùn)行?，F(xiàn)有的方法均沒(méi)有給出實(shí)現(xiàn)上述功能的啟示。因此，研究一種可對(duì)多個(gè)不同的日志進(jìn)行并發(fā)分析和斷續(xù)分析的日志分析方法和裝置具有極大的理論和實(shí)用價(jià)值。

發(fā)明內(nèi)容
本發(fā)明的主要目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種可并發(fā)和斷續(xù)分析的日志事件關(guān)聯(lián)分析方法和裝置，使得單一事件關(guān)聯(lián)分析裝置能夠在同一時(shí)間間隔內(nèi)對(duì)不同來(lái)源的日志進(jìn)行分析，并能夠保證日志分析中斷后能從斷點(diǎn)開(kāi)始繼續(xù)分析，從而實(shí)現(xiàn)單個(gè)日志內(nèi)以及多個(gè)日志之間的事件關(guān)聯(lián)分析。本發(fā)明的一個(gè)目的通過(guò)以下的技術(shù)方案實(shí)現(xiàn)一種可并發(fā)和斷續(xù)分析的日志事件關(guān)聯(lián)分析方法，具體包括以下步驟(1)準(zhǔn)備階段首先根據(jù)所分析事件的性質(zhì)在規(guī)則定義模塊中定義分析規(guī)則，分析規(guī)則被傳送至事件關(guān)聯(lián)分析模塊，然后日志報(bào)文采集模塊依次采集各個(gè)日志來(lái)源的日志報(bào)文，并根據(jù)狀態(tài)保存模塊所保存的日志最近時(shí)間戳，即日志報(bào)文的最后一行的時(shí)間戳，每次只采集上一次采集后新增的日志內(nèi)容，采集完成后更新?tīng)顟B(tài)保存模塊所保存的該日志最近時(shí)間戳；(2)事件關(guān)聯(lián)分析事件關(guān)聯(lián)分析模塊接收到日志報(bào)文采集模塊采集到的日志報(bào)文后按照順序送入緩存區(qū)，根據(jù)規(guī)則的需求判斷是否需要對(duì)多個(gè)日志進(jìn)行合并分析，是則 將多個(gè)日志進(jìn)行合并然后進(jìn)行解析，否則直接進(jìn)行解析；(3)狀態(tài)信息保存將當(dāng)前事件關(guān)聯(lián)分析的中間狀態(tài)變量值保存到狀態(tài)保存模塊；(4)分析結(jié)果輸出事件關(guān)聯(lián)分析過(guò)程中如觸發(fā)某關(guān)聯(lián)事件，就將該關(guān)聯(lián)事件傳送至報(bào)警輸出模塊，發(fā)出該關(guān)聯(lián)事件的報(bào)警信號(hào)，然后繼續(xù)進(jìn)行日志報(bào)文的采集，如果觸發(fā)另一子規(guī)則，則導(dǎo)入該子規(guī)則，轉(zhuǎn)入步驟(2)。所述步驟(1)中，定義的分析規(guī)則由下面的一個(gè)或若干個(gè)子規(guī)則組成，子規(guī)則的內(nèi)容包括(1-1)子規(guī)則名，用于對(duì)各個(gè)規(guī)則進(jìn)行標(biāo)記；(1-2)日志來(lái)源，日志來(lái)源由一個(gè)或若干個(gè)日志名組成；(1-3)觸發(fā)動(dòng)作前提，即在滿足設(shè)定的條件下才觸發(fā)動(dòng)作；(1-4)動(dòng)作，即步驟(1-3)所采用的觸發(fā)動(dòng)作前提被滿足后所需完成的動(dòng)作。所述步驟(1-3)中所述的觸發(fā)動(dòng)作前提為以下四種(1-3-1)某正則表達(dá)式被匹配則觸發(fā)動(dòng)作；(1-3-2)某正則表達(dá)式在時(shí)間戳A和時(shí)間戳B之間被匹配則觸發(fā)動(dòng)作，時(shí)間戳A小于時(shí)間戳B;(1-3-3)計(jì)算某正則表達(dá)式在規(guī)定時(shí)間內(nèi)被匹配的次數(shù)，如在時(shí)間戳C和時(shí)間戳D 之間被匹配的次數(shù)達(dá)到一定閾值則觸發(fā)動(dòng)作，時(shí)間戳C小于時(shí)間戳D ；(1-3-4)正則表達(dá)式1被匹配的前提下，接著又匹配正則表達(dá)式2，則觸發(fā)動(dòng)作。所述步驟(1-4)中，所述的動(dòng)作分為兩種形式，一種是從一個(gè)子規(guī)則觸發(fā)另一個(gè)子規(guī)則，此時(shí)需在此子規(guī)則中寫(xiě)入下一個(gè)子規(guī)則的規(guī)則名；另一種是從一個(gè)子規(guī)則觸發(fā)一個(gè)關(guān)聯(lián)事件，此時(shí)需在這一個(gè)子規(guī)則中寫(xiě)入此關(guān)聯(lián)事件的事件名。所述步驟(2)中，解析具體是指根據(jù)規(guī)則和上次保存的中間狀態(tài)信息依次對(duì)日志報(bào)文進(jìn)行解析，具體解析流程如下(2-1)讀取規(guī)則中的第一個(gè)子規(guī)則，如日志來(lái)源只包含一個(gè)日志名，就將所采集的該名稱的日志報(bào)文傳入事件關(guān)聯(lián)分析模塊；如日志來(lái)源包含多個(gè)日志名，就將名稱在日志來(lái)源中的所有日志報(bào)文合并成單個(gè)報(bào)文再傳入事件關(guān)聯(lián)分析模塊；(2-2)根據(jù)子規(guī)則中的觸發(fā)動(dòng)作前提對(duì)日志報(bào)文進(jìn)行正則表達(dá)式匹配；(2-3)完成此子規(guī)則所讀入的日志報(bào)文的所有行的匹配后，將中間狀態(tài)變量保存到狀態(tài)保存模塊，(2-4)在該條子規(guī)則解析過(guò)程中如觸發(fā)動(dòng)作，則根據(jù)觸發(fā)對(duì)象不同采用不同的處理方式，具體如下若觸發(fā)另一子規(guī)則，則立即轉(zhuǎn)入此子規(guī)則并進(jìn)行解析，解析方法如上； 若觸發(fā)關(guān)聯(lián)事件，將該關(guān)聯(lián)事件傳送至報(bào)警輸出模塊。所述步驟(2-3)中所述的中間狀態(tài)變量包括
(2-3-1)當(dāng)前正在解析的子規(guī)則名；(2-3-2)根據(jù)觸發(fā) 動(dòng)作前提的種類不同，所保存的匹配信息也不同，具體分類如下觸發(fā)動(dòng)作前提為步驟(1-3-1)或(1-3-2)所述類型時(shí)，不記錄匹配信息；觸發(fā)動(dòng)作前提為步驟(1-3-3)所述類型時(shí)，保存匹配次數(shù)；觸發(fā)動(dòng)作前提為步驟(1-3-4)所述類型時(shí)，記錄正則表達(dá)式1是否被匹配。一種實(shí)現(xiàn)上述方法的可并發(fā)和斷續(xù)分析的日志事件關(guān)聯(lián)分析裝置，包括規(guī)則定義模塊，用于提供用戶可以進(jìn)行規(guī)則定義的人機(jī)交互接口 ；日志報(bào)文采集模塊，用于根據(jù)設(shè)定的時(shí)間間隔和狀態(tài)保存模塊中的日志最近時(shí)間戳依次采集不同來(lái)源的日志報(bào)文，在采集完畢后將此次所采集的日志最近時(shí)間戳發(fā)送至狀態(tài)保存模塊；事件關(guān)聯(lián)分析模塊，用于根據(jù)定義好的規(guī)則對(duì)日志報(bào)文進(jìn)行解析，如需要同時(shí)解析多個(gè)日志來(lái)源，就首先對(duì)多個(gè)日志報(bào)文進(jìn)行合并，然后再進(jìn)行解析，在對(duì)日志進(jìn)行分析時(shí)使用上一次分析所保存的各種中間狀態(tài)變量值，并更新?tīng)顟B(tài)保存模塊中的中間狀態(tài)變量；狀態(tài)保存模塊，用于保存日志分析中的中間狀態(tài)變量和每一個(gè)日志的最近時(shí)間戳；報(bào)警輸出模塊，用于在事件關(guān)聯(lián)分析過(guò)程中觸發(fā)某關(guān)聯(lián)事件時(shí)，發(fā)出該關(guān)聯(lián)事件的報(bào)警信號(hào)；其中規(guī)則定義模塊、日志報(bào)文采集模塊、日志報(bào)文采集模塊、報(bào)警輸出模塊均分別與事件關(guān)聯(lián)分析模塊相連，日志報(bào)文采集模塊也與狀態(tài)保存模塊相連。所述日志報(bào)文采集模塊有兩種方式，一種是在服務(wù)器上安裝單個(gè)日志報(bào)文采集模塊，采集不同來(lái)源的日志報(bào)文；另一種是將多個(gè)日志報(bào)文采集模塊分散部署到日志來(lái)源所在的系統(tǒng)上，多個(gè)日志報(bào)文采集模塊同時(shí)運(yùn)行采集。本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點(diǎn)和有益效果1、本發(fā)明可同時(shí)采集多個(gè)日志，然后通過(guò)一個(gè)事件關(guān)聯(lián)分析裝置進(jìn)行分析，能夠更好的將采集的數(shù)據(jù)進(jìn)行綜合分析，把分散的異常事件痕跡關(guān)聯(lián)起來(lái)，從而給出完整的事件描述，例如對(duì)于黑客入侵行為，因?yàn)楹诳腿肭中袨椴⒉皇仟?dú)立的，而都是有關(guān)聯(lián)的，所以要保護(hù)網(wǎng)絡(luò)的安全及在黑客入侵時(shí)做出提前報(bào)警，就需要對(duì)入侵行為進(jìn)行全面分析，而入侵痕跡大多是以日志的形式表現(xiàn)，因此能夠?qū)⒍嗳罩具M(jìn)行同時(shí)分析，可提高預(yù)測(cè)的準(zhǔn)確性。2、本發(fā)明將事件關(guān)聯(lián)分析后的值以中間狀態(tài)值的形式存入狀態(tài)保存模塊，同時(shí)還保存最后的日志時(shí)間，從而可使日志分析中斷后能從斷點(diǎn)開(kāi)始繼續(xù)分析，能夠解決現(xiàn)有技術(shù)在日志采集不是實(shí)時(shí)連續(xù)時(shí)會(huì)導(dǎo)致分析中斷的問(wèn)題，能夠提高分析的準(zhǔn)確度。3、本發(fā)明為網(wǎng)絡(luò)監(jiān)控、網(wǎng)絡(luò)管理系統(tǒng)提供了多個(gè)日志的并發(fā)分析功能、以及斷續(xù)分析功能，實(shí)現(xiàn)單個(gè)日志內(nèi)以及多個(gè)日志之間的事件關(guān)聯(lián)分析，增強(qiáng)了網(wǎng)絡(luò)監(jiān)控、網(wǎng)絡(luò)管理系統(tǒng)的日志審計(jì)功能，并能夠提高網(wǎng)絡(luò)預(yù)警的準(zhǔn)確度，進(jìn)而保障網(wǎng)絡(luò)監(jiān)控和管理系統(tǒng)的安全。


圖1是本發(fā)明裝置的結(jié)構(gòu)示意圖；圖2是本發(fā)明方法的流程示意圖。
具體實(shí)施例方式
下面結(jié)合實(shí)施例及附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)的描述，但本發(fā)明的實(shí)施方式不限于此。實(shí)施例1如圖1所示，一種實(shí)現(xiàn)可并發(fā)和斷續(xù)分析的日志事件關(guān)聯(lián)分析裝置，包括規(guī)則定義模塊，用于提供用戶可以進(jìn)行規(guī)則定義的人機(jī)交互接口 ；日志報(bào)文采集模塊，用于根據(jù)設(shè)定的時(shí)間間隔和狀態(tài)保存模塊中的日志最近時(shí)間戳依次采集不同來(lái)源的日志報(bào)文，在采集完畢后將此次所采集的日志最近時(shí)間戳發(fā)送至狀態(tài)保存模塊；事件關(guān)聯(lián)分析模塊，用于根據(jù)定義好的規(guī)則對(duì)日志報(bào)文進(jìn)行解析，如需要同時(shí)解析多個(gè)日志來(lái)源，就首先對(duì)多個(gè)日志報(bào)文進(jìn)行合并，然后再進(jìn)行解析，在對(duì)日志進(jìn)行分析時(shí)使用上一次分析所保存的各種中間狀態(tài)變量值，并更新?tīng)顟B(tài)保存模塊中的中間狀態(tài)變量；狀態(tài)保存模塊，用于保存日志分析中的中間狀態(tài)變量和每一個(gè)日志的最近時(shí)間戳；報(bào)警輸出模塊，用于在事件關(guān)聯(lián)分析過(guò)程中觸發(fā)某關(guān)聯(lián)事件時(shí)，發(fā)出該關(guān)聯(lián)事件的報(bào)警信號(hào)；其中規(guī)則定義模塊、日志報(bào)文采集模塊、日志報(bào)文采集模塊、報(bào)警輸出模塊均分別與事件關(guān)聯(lián)分析模塊相連，日志報(bào)文采集模塊也與狀態(tài)保存模塊相連。所述日志報(bào)文采集模塊有兩種方式，一種是在服務(wù)器上安裝單個(gè)日志報(bào)文采集模塊，采集不同來(lái)源的日志報(bào)文；另一種是將多個(gè)日志報(bào)文采集模塊分散部署到日志來(lái)源所在的系統(tǒng)上，多個(gè)日志報(bào)文采集模塊同時(shí)運(yùn)行采集。如圖2所示，本實(shí)施例中通過(guò)對(duì)三個(gè)日志來(lái)源(L0g_A、Log_B、Log_C)進(jìn)行日志事件關(guān)聯(lián)分析，來(lái)說(shuō)明本發(fā)明方法是如何實(shí)現(xiàn)并發(fā)和斷續(xù)分析，具體包括以下步驟(1)準(zhǔn)備階段首先根據(jù)所分析事件的性質(zhì)在規(guī)則定義模塊中定義分析規(guī)則，分析規(guī)則具體包含4個(gè)子規(guī)則，分別是(1-1)子規(guī)則 1 規(guī)則名Rule_A日志來(lái)源Log_A觸發(fā)動(dòng)作前提正則表達(dá)式Reg_A被觸發(fā)動(dòng)作轉(zhuǎn)入子規(guī)則Rule_B(1-2)子規(guī)則 2 規(guī)則名Rule_A日志來(lái)源Log_B觸發(fā)動(dòng)作前提正則表達(dá)式Reg_B在時(shí)間戳Time_A和Time_B之間被匹配動(dòng)作轉(zhuǎn)入子規(guī)則Rule_C(1-3)子規(guī)則 3 規(guī)則名Rule_C
日志來(lái)源Log_A和 Log_B觸發(fā)動(dòng)作前提正則表達(dá)式Reg_C在時(shí)間戳Time_C和Time_D
之間被匹配5次以上動(dòng)作轉(zhuǎn)入子規(guī)則Rule_D(1-4)子規(guī)則 4 規(guī)則名Rule_D日志來(lái)源Log_C觸發(fā)動(dòng)作前提首先匹配正則表達(dá)式Reg_D，接著又匹配正則表達(dá)式 Reg_E動(dòng)作觸發(fā)關(guān)聯(lián)事件EVent_A然后將這4個(gè)子規(guī)則傳送至事件關(guān)聯(lián)分析模塊，然后日志報(bào)文采集模塊依次采集 Log_A、Log_B> Log_C的日志報(bào)文，并將采集的日志報(bào)文傳送至事件關(guān)聯(lián)分析模塊，同時(shí)將 L0g_A、Log_B、Log_C的日志報(bào)文最后一行的時(shí)間戳ts_A、ts_B、ts_C保存在狀態(tài)保存模塊。(2)事件關(guān)聯(lián)分析事件關(guān)聯(lián)分析模塊接收到日志報(bào)文采集模塊采集到的日志報(bào)文后按照順序送入緩存區(qū)，根據(jù)規(guī)則的需求判斷是否需要對(duì)多個(gè)日志進(jìn)行合并分析，是則將多個(gè)日志進(jìn)行合并然后進(jìn)行解析，否則直接進(jìn)行解析。對(duì)于本實(shí)施例，根據(jù)4個(gè)子規(guī)則不同，具體解析過(guò)程描述如下(2-1)讀入子規(guī)則Rule_A，規(guī)則中日志來(lái)源為L(zhǎng)og_A，所以僅對(duì)Log_A的日志報(bào)文進(jìn)行分析，如果日志報(bào)文中的內(nèi)容使得正則表達(dá)式Reg_A被觸發(fā)，則觸發(fā)動(dòng)作前提成立轉(zhuǎn)入動(dòng)作，即轉(zhuǎn)入子規(guī)則Rule_B，進(jìn)行步驟(2-2)的操作；否則結(jié)束分析，等待最新采集的日志報(bào)文；(2-2)讀入子規(guī)則Rule_B，規(guī)則中日志來(lái)源為L(zhǎng)og_B，所以僅對(duì)Log_B的日志報(bào)文進(jìn)行分析，如果日志報(bào)文中的內(nèi)容使得正則表達(dá)式Reg B在時(shí)間戳Time_B之間被匹配，則觸發(fā)動(dòng)作前提成立轉(zhuǎn)入動(dòng)作，即轉(zhuǎn)入子規(guī)則Rule C，進(jìn)行步驟(2-3)的操作；否則結(jié)束分析，等待最新采集的日志報(bào)文；(2-3)讀入子規(guī)則Rule_C，規(guī)則中日志來(lái)源為L(zhǎng)og_A和Log_B，所以需先將Log_ A和Log_B進(jìn)行合并，然后再對(duì)合并后的日志報(bào)文進(jìn)行分析，如果合并后的日志報(bào)文中的內(nèi)容使得正則表達(dá)式時(shí)間戳Time_(^nTime_D之間被匹配5次以上，則觸發(fā)動(dòng)作前提成立轉(zhuǎn)入動(dòng)作，即轉(zhuǎn)入子規(guī)則Rule_D，進(jìn)行步驟(2-4)的操作；否則結(jié)束分析，將Reg_C· 配成功的次數(shù)存儲(chǔ)到狀態(tài)保存模塊，用于下次連續(xù)分析，然后等待最新采集的日志報(bào)文；(2-4)讀入子規(guī)則Rule_D，規(guī)則中日志來(lái)源為L(zhǎng)og_C，所以僅對(duì)Log_C的日志報(bào)文進(jìn)行分析，如果該日志報(bào)文中的內(nèi)容首先匹配了正則表達(dá)式Reg_D，接著又匹配了正則表達(dá)式Reg_E，則觸發(fā)動(dòng)作前提成立從而觸發(fā)關(guān)聯(lián)事件EVent_A ；否則結(jié)束分析，在狀態(tài)保存模塊中記錄正則表達(dá)式Reg_D是否被匹配，用于下次連續(xù)分析，然后等待最新采集的日志報(bào)文。(3)分析結(jié)果輸出對(duì)于步驟(2-1)、(2-2)、(2-3)所述的動(dòng)作均為觸發(fā)另一子規(guī)貝1J，則分析過(guò)程立即轉(zhuǎn)入此子規(guī)則并進(jìn)行解析；對(duì)于步驟(2-4)所述的動(dòng)作為觸發(fā)關(guān)聯(lián)事件Event_A，就將該關(guān)聯(lián)事件傳送至報(bào)警輸出模塊，發(fā)出該關(guān)聯(lián)事件的報(bào)警信號(hào)。(4)日志報(bào)文采集模塊繼續(xù)依次采集時(shí)間戳ts_A、ts_B> ts_C后的Log_A、Log_B>Log_C的日志報(bào)文，并將Log_A、Log_B> Log_C的日志報(bào)文最后一行的時(shí)間戳ts_A'、ts_ B'、ts_C'保存在狀態(tài)保存模塊，然后按照上述步驟繼續(xù)對(duì)新的日志報(bào)文進(jìn)行分析。
上述實(shí)施例為本發(fā)明較佳的實(shí)施方式，但本發(fā)明的實(shí)施方式并不受上述實(shí)施例的限制，其他的任何未背離本發(fā)明的精神實(shí)質(zhì)與原理下所作的改變、修飾、替代、組 合、簡(jiǎn)化， 均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種可并發(fā)和斷續(xù)分析的日志事件關(guān)聯(lián)分析方法，其特征在于，具體包括以下步驟(1)準(zhǔn)備階段首先根據(jù)所分析事件的性質(zhì)在規(guī)則定義模塊中定義分析規(guī)則，分析規(guī)則被傳送至事件關(guān)聯(lián)分析模塊，然后日志報(bào)文采集模塊依次采集各個(gè)日志來(lái)源的日志報(bào)文，并根據(jù)狀態(tài)保存模塊所保存的日志最近時(shí)間戳，即日志報(bào)文的最后一行的時(shí)間戳，每次只采集上一次采集后新增的日志內(nèi)容，采集完成后更新?tīng)顟B(tài)保存模塊所保存的該日志最近時(shí)間戳；(2)事件關(guān)聯(lián)分析事件關(guān)聯(lián)分析模塊接收到日志報(bào)文采集模塊采集到的日志報(bào)文后按照順序送入緩存區(qū)，根據(jù)規(guī)則的需求判斷是否需要對(duì)多個(gè)日志進(jìn)行合并分析，是則將多個(gè)日志進(jìn)行合并然后進(jìn)行解析，否則直接進(jìn)行解析；(3)狀態(tài)信息保存將當(dāng)前事件關(guān)聯(lián)分析的中間狀態(tài)變量值保存到狀態(tài)保存模塊；(4)分析結(jié)果輸出事件關(guān)聯(lián)分析過(guò)程中如觸發(fā)某關(guān)聯(lián)事件，就將該關(guān)聯(lián)事件傳送至報(bào)警輸出模塊，發(fā)出該關(guān)聯(lián)事件的報(bào)警信號(hào)，然后繼續(xù)進(jìn)行日志報(bào)文的采集，如果觸發(fā)另一子規(guī)則，則導(dǎo)入該子規(guī)則，轉(zhuǎn)入步驟O)。
2.根據(jù)權(quán)利要求1所述的可并發(fā)和斷續(xù)分析的日志事件關(guān)聯(lián)分析方法，其特征在于， 所述步驟(1)中，定義的分析規(guī)則由下面的一個(gè)或若干個(gè)子規(guī)則組成，子規(guī)則的內(nèi)容包括(1-1)子規(guī)則名，用于對(duì)各個(gè)規(guī)則進(jìn)行標(biāo)記；(1-2)日志來(lái)源，日志來(lái)源由一個(gè)或若干個(gè)日志名組成；(1-3)觸發(fā)動(dòng)作前提，即在滿足設(shè)定的條件下才觸發(fā)動(dòng)作；(1-4)動(dòng)作，即步驟(1-3)所采用的觸發(fā)動(dòng)作前提被滿足后所需完成的動(dòng)作。
3.根據(jù)權(quán)利要求2所述的可并發(fā)和斷續(xù)分析的日志事件關(guān)聯(lián)分析方法，其特征在于， 所述步驟(1-3)中所述的觸發(fā)動(dòng)作前提為以下四種(1-3-1)某正則表達(dá)式被匹配則觸發(fā)動(dòng)作；(1-3-2)某正則表達(dá)式在時(shí)間戳A和時(shí)間戳B之間被匹配則觸發(fā)動(dòng)作，時(shí)間戳A小于時(shí)間戳B;(1-3- 計(jì)算某正則表達(dá)式在規(guī)定時(shí)間內(nèi)被匹配的次數(shù)，如在時(shí)間戳C和時(shí)間戳D之間被匹配的次數(shù)達(dá)到一定閾值則觸發(fā)動(dòng)作，時(shí)間戳C小于時(shí)間戳D ；(1-3-4)正則表達(dá)式1被匹配的前提下，接著又匹配正則表達(dá)式2，則觸發(fā)動(dòng)作。
4.根據(jù)權(quán)利要求2所述的可并發(fā)和斷續(xù)分析的日志事件關(guān)聯(lián)分析方法，其特征在于， 所述步驟(1-4)中，所述的動(dòng)作分為兩種形式，一種是從一個(gè)子規(guī)則觸發(fā)另一個(gè)子規(guī)則，此時(shí)需在此子規(guī)則中寫(xiě)入下一個(gè)子規(guī)則的規(guī)則名；另一種是從一個(gè)子規(guī)則觸發(fā)一個(gè)關(guān)聯(lián)事件，此時(shí)需在這一個(gè)子規(guī)則中寫(xiě)入此關(guān)聯(lián)事件的事件名。
5.根據(jù)權(quán)利要求1所述的可并發(fā)和斷續(xù)分析的日志事件關(guān)聯(lián)分析方法，其特征在于， 所述步驟O)中，解析具體是指根據(jù)規(guī)則和上次保存的中間狀態(tài)信息依次對(duì)日志報(bào)文進(jìn)行解析，具體解析流程如下(2-1)讀取規(guī)則中的第一個(gè)子規(guī)則，如日志來(lái)源只包含一個(gè)日志名，就將所采集的該名稱的日志報(bào)文傳入事件關(guān)聯(lián)分析模塊；如日志來(lái)源包含多個(gè)日志名，就將名稱在日志來(lái)源中的所有日志報(bào)文合并成單個(gè)報(bào)文再傳入事件關(guān)聯(lián)分析模塊；(2-2)根據(jù)子規(guī)則中的觸發(fā)動(dòng)作前提對(duì)日志報(bào)文進(jìn)行正則表達(dá)式匹配；(2-3)完成此子規(guī)則所讀入的日志報(bào)文的所有行的匹配后，將中間狀態(tài)變量保存到狀態(tài)保存模塊；(2-4)在該條子規(guī)則解析過(guò)程中如觸發(fā)動(dòng)作，則根據(jù)觸發(fā)對(duì)象不同采用不同的處理方式，具體如下若觸發(fā)另一子規(guī)則，則立即轉(zhuǎn)入此子規(guī)則并進(jìn)行解析，解析方法如上；若觸發(fā)關(guān)聯(lián)事件，將該關(guān)聯(lián)事件傳送至報(bào)警輸出模塊。
6.根據(jù)權(quán)利要求5所述的可并發(fā)和斷續(xù)分析的日志事件關(guān)聯(lián)分析方法，其特征在于， 所述步驟0-3)中所述的中間狀態(tài)變量包括(2-3-1)當(dāng)前正在解析的子規(guī)則名；(2-3-2)根據(jù)觸發(fā)動(dòng)作前提的種類不同，所保存的匹配信息也不同，具體分類如下觸發(fā)動(dòng)作前提為步驟(1-3-1)或(1-3-2)所述類型時(shí)，不記錄匹配信息；觸發(fā)動(dòng)作前提為步驟 (1-3-3)所述類型時(shí)，保存匹配次數(shù)；觸發(fā)動(dòng)作前提為步驟(1-3-4)所述類型時(shí)，記錄正則表達(dá)式1是否被匹配。
7.一種實(shí)現(xiàn)權(quán)利要求1所述方法的可并發(fā)和斷續(xù)分析的日志事件關(guān)聯(lián)分析裝置，包括規(guī)則定義模塊，用于提供用戶可以進(jìn)行規(guī)則定義的人機(jī)交互接口 ；日志報(bào)文采集模塊，用于根據(jù)設(shè)定的時(shí)間間隔和狀態(tài)保存模塊中的日志最近時(shí)間戳依次采集不同來(lái)源的日志報(bào)文，在采集完畢后將此次所采集的日志最近時(shí)間戳發(fā)送至狀態(tài)保存模塊；事件關(guān)聯(lián)分析模塊，用于根據(jù)定義好的規(guī)則對(duì)日志報(bào)文進(jìn)行解析，如需要同時(shí)解析多個(gè)日志來(lái)源，就首先對(duì)多個(gè)日志報(bào)文進(jìn)行合并，然后再進(jìn)行解析，在對(duì)日志進(jìn)行分析時(shí)使用上一次分析所保存的各種中間狀態(tài)變量值，并更新?tīng)顟B(tài)保存模塊中的中間狀態(tài)變量；狀態(tài)保存模塊，用于保存日志分析中的中間狀態(tài)變量和每一個(gè)日志的最近時(shí)間戳；報(bào)警輸出模塊，用于在事件關(guān)聯(lián)分析過(guò)程中觸發(fā)某關(guān)聯(lián)事件時(shí)，發(fā)出該關(guān)聯(lián)事件的報(bào)警信號(hào)；其中規(guī)則定義模塊、日志報(bào)文采集模塊、日志報(bào)文采集模塊、報(bào)警輸出模塊均分別與事件關(guān)聯(lián)分析模塊相連，日志報(bào)文采集模塊也與狀態(tài)保存模塊相連。
8.根據(jù)權(quán)利要求7所述的可并發(fā)和斷續(xù)分析的日志事件關(guān)聯(lián)分析裝置，其特征在于， 所述日志報(bào)文采集模塊有兩種方式，一種是在服務(wù)器上安裝單個(gè)日志報(bào)文采集模塊，采集不同來(lái)源的日志報(bào)文；另一種是將多個(gè)日志報(bào)文采集模塊分散部署到日志來(lái)源所在的系統(tǒng)上，多個(gè)日志報(bào)文采集模塊同時(shí)運(yùn)行采集。
全文摘要
本發(fā)明公開(kāi)了一種可并發(fā)和斷續(xù)分析的日志事件關(guān)聯(lián)分析方法和裝置，該方法是首先定義分析規(guī)則，將規(guī)則傳入事件關(guān)聯(lián)分析模塊，然后依次采集各個(gè)日志來(lái)源的日志報(bào)文，將日志報(bào)文傳入事件關(guān)聯(lián)分析模塊，事件關(guān)聯(lián)分析模塊對(duì)日志進(jìn)行解析，在解析過(guò)程中將當(dāng)前事件關(guān)聯(lián)分析的中間狀態(tài)變量值保存到狀態(tài)保存模塊；如果解析過(guò)程中觸發(fā)某關(guān)聯(lián)事件，就對(duì)外發(fā)出該關(guān)聯(lián)事件的報(bào)警信號(hào)。該裝置包括規(guī)則定義模塊、日志報(bào)文采集模塊、日志報(bào)文采集模塊、報(bào)警輸出模塊和事件關(guān)聯(lián)分析模塊。本發(fā)明能同時(shí)對(duì)多個(gè)日志進(jìn)行并發(fā)和斷續(xù)分析，增強(qiáng)了網(wǎng)絡(luò)監(jiān)控、網(wǎng)絡(luò)管理系統(tǒng)的日志審計(jì)功能，提高了網(wǎng)絡(luò)預(yù)警的準(zhǔn)確度，保障了網(wǎng)絡(luò)監(jiān)控和管理系統(tǒng)的安全。
文檔編號(hào)H04L12/24GK102158355SQ201110058800
公開(kāi)日2011年8月17日 申請(qǐng)日期2011年3月11日 優(yōu)先權(quán)日2011年3月11日
發(fā)明者司徒新紅, 周鐵道, 楊東曉, 梁英宏, 王玉中, 龔春媚 申請(qǐng)人:廣州藍(lán)科科技股份有限公司