本發(fā)明涉及網(wǎng)絡審計日志處理技術領域，尤其涉及一種網(wǎng)絡審計日志的傳輸保存系統(tǒng)和方法。

背景技術：

隨著科學技術的不斷發(fā)展，人們的生活和工作已離不開互聯(lián)網(wǎng)。在互聯(lián)網(wǎng)飛速發(fā)展壯大并成為全球最重要的基礎設施的今天，由于缺乏必要的管制，互聯(lián)網(wǎng)上開始充斥著色情暴力、侵權行為、造謠誹謗、虛假廣告等一系列影響國家安全、社會穩(wěn)定及個人健康發(fā)展的負面內容。為了維護國家安全，給互聯(lián)網(wǎng)營造一個良好的發(fā)展環(huán)境互聯(lián)網(wǎng)安全審計系統(tǒng)勢在必行。在網(wǎng)絡審計系統(tǒng)中，日志消息扮演著至關重要的角色。日志消息能夠給出系統(tǒng)運行情況的重要信息，這些信息有助于正確檢測系統(tǒng)運行情況。然而在網(wǎng)絡數(shù)據(jù)審計系統(tǒng)中，除了一般的摘要日志信息量比較少、比較規(guī)整外，還需要傳輸和保存網(wǎng)頁內容、網(wǎng)絡中傳輸?shù)奈募热莸葍热菪畔?，這些內容信息容量大，形式各異不容易統(tǒng)一的保存和傳輸，在傳輸和保存時對內存和網(wǎng)絡帶寬的消耗較大，對磁盤IO性能要求也比較高。

技術實現(xiàn)要素：

本發(fā)明的目的在于提供一種網(wǎng)絡審計日志的傳輸保存系統(tǒng)和方法以減少統(tǒng)一網(wǎng)絡日志的保存格式，降低在傳輸和保存大量網(wǎng)絡日志時對內存和網(wǎng)絡帶寬的消耗。

一方面，本發(fā)明實施例提供一種網(wǎng)絡審計日志的傳輸保存系統(tǒng)，包括日志審計探針、日志處理服務器和日志存放設備，其中：

所述日志審計探針，用于將采集到的內容信息以文件的形式和摘要日志的形式分類保存，并將所述文件和所述摘要日志上傳到所述日志處理服務器；

所述日志處理服務器，連接于所述日志審計探針，用于根據(jù)所述文件和所述摘要日志合成日志記錄；

所述日志存放設備，連接于所述日志處理服務器，用于保存所述日志記錄，并提供日志查詢服務。

優(yōu)選地，所述摘要日志中保存有文件路徑信息。

優(yōu)選地，所述日志審計探針包括：

采集模塊，用于采集日志，并將采集到的內容信息進行分類；

第一內存文件系統(tǒng)，連接于所述采集模塊，用于存儲所述文件；

共享內存，連接于所述采集模塊，用于存儲所述摘要日志；

文件上傳模塊，連接于所述第一內存文件系統(tǒng)，用于將所述文件上傳至所述日志處理服務器；以及

日志上傳模塊，連接于所述共享內存，用于將所述摘要日志上傳至所述日志處理服務器。

優(yōu)選地，所述日志存放設備包括文件保存模塊和日志保存模塊，所述日志處理服務器包括：

文件接收模塊，用于接收來自所述日志審計探針的所述文件；

日志接收模塊，用于接收來自所述日志審計探針的所述摘要日志；

第二內存文件系統(tǒng)，連接于所述文件接收模塊，用于保存所述文件；

第三內存文件系統(tǒng)，連接于所述日志接收模塊，用于以文件的形式保存所述摘要日志；

日志合成模塊，連接于所述第二內存文件系統(tǒng)和所述第三內存文件系統(tǒng)，用于掃描所述第三內存文件系統(tǒng)保存的所述摘要日志的文件，對每條摘要日志，根據(jù)所述摘要日志里的所述文件路徑信息獲取保存在所述第二內存文件系統(tǒng)中的文件路徑，提取文件內容形成索引信息和摘要信息一起合成所述日志記錄，并將所述日志記錄保存至所述日志存放設備的所述日志保存模塊，同時發(fā)送入庫完成信號至所述第二文件內存系統(tǒng)；以及

所述第二內存文件系統(tǒng)，還用于根據(jù)所述入庫完成信號，為對應的文件生成入庫標記。

優(yōu)選地，所述日志處理服務器還包括：

文件移動模塊，連接于所述第二內存文件系統(tǒng)，用于掃描所述第二內存文件系統(tǒng)的目錄，把所述文件搬移到所述日志存放設備的所述文件保存模塊中，并發(fā)送保存完成信號至所述第二內存文件系統(tǒng)；

所述第二內存文件系統(tǒng)，還用于根據(jù)所述保存完成信號，為對應的文件生成保存標記。

優(yōu)選地，所述日志處理服務器還包括：

文件刪除模塊，連接于所述第二內存文件系統(tǒng)，用于掃描所述第二內存文件系統(tǒng)的目錄，刪除同時具有所述入庫標記和所述保存標記的文件。

優(yōu)選地，所述日志存放設備還包括：

文件訪問模塊，連接于所述文件保存模塊和所述日志保存模塊，用于用戶根據(jù)所述日志保存模塊的信息，獲取保存于所述文件保存模塊的對應的完整文件內容。

相應地，本發(fā)明還提供一種用于網(wǎng)絡審計日志的傳輸保存方法，包括以下步驟：

由日志審計探針將采集到的內容信息以文件的形式和摘要日志的形式分類保存，并將所述文件和所述摘要日志上傳到日志處理服務器；

由所述日志處理服務器根據(jù)所述文件和所述摘要日志合成日志記錄；以及

由日志存放設備保存所述日志記錄，并提供日志查詢服務。

優(yōu)選地，所述摘要日志中保存有文件路徑信息，由所述日志處理服務器根據(jù)所述文件和所述摘要日志合成日志記錄的所述步驟包括：

由所述日志處理服務器的文件接收模塊接收來自所述日志審計探針的所述文件，將所述文件保存至所述日志處理服務器的第二內存文件系統(tǒng)；

由所述日志處理服務器的日志接收模塊接收來自所述日志審計探針的所述摘要日志，將所述摘要日志保存至所述日志處理服務器的第三內存文件系統(tǒng)；

由所述日志處理服務器的日志合成模塊掃描所述第三內存文件系統(tǒng)保存的所述摘要日志的文件，對每條摘要日志，根據(jù)所述摘要日志里的所述文件路徑信息獲取保存在所述第二內存文件系統(tǒng)中的文件路徑，提取文件內容形成索引信息和摘要信息一起合成所述日志記錄；

將所述日志記錄保存至所述日志存放設備的日志保存模塊，同時發(fā)送入庫完成信號至所述第二文件內存系統(tǒng)；

所述第二內存文件系統(tǒng)根據(jù)所述入庫完成信號為對應的文件生成入庫標記；

由所述日志處理服務器的文件移動模塊掃描所述第二內存文件系統(tǒng)的目錄，把所述文件搬移到所述日志存放設備的文件保存模塊中，并發(fā)送保存完成信號至所述第二內存文件系統(tǒng)；以及

所述第二內存文件系統(tǒng)根據(jù)所述保存完成信號為對應的文件生成保存標記。

優(yōu)選地，還包括：

所述日志處理服務器的文件刪除模塊掃描所述第二內存文件系統(tǒng)的目錄，刪除同時具有所述入庫標記和所述保存標記的文件。

實施本發(fā)明實施例，具有如下有益效果：本發(fā)明提供的網(wǎng)絡審計日志的傳輸保存系統(tǒng)和方法，網(wǎng)絡審計探針負責日志采集，日志處理服務器負責日志合成處理及保存內容文件，日志存放設備負責保存日志，并提供日志查詢服務，由此將摘要日志和文件內容分開存放，統(tǒng)一了網(wǎng)絡日志的保存格式，降低了在傳輸和保存大量網(wǎng)絡日志時對內存和網(wǎng)絡帶寬的消耗。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明一實施例提供的網(wǎng)絡審計日志的傳輸保存系統(tǒng)的原理圖；

圖2是本發(fā)明一實施例提供的網(wǎng)絡審計日志的傳輸保存系統(tǒng)的架構圖；

圖3是本發(fā)明一實施例提供的網(wǎng)絡審計日志的傳輸保存方法的流程圖。

具體實施方式

下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領域普通技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

本發(fā)明實施例提供了一種網(wǎng)絡審計日志的傳輸保存系統(tǒng)。參見圖1，該網(wǎng)絡審計日志的傳輸保存系統(tǒng)包括日志審計探針10、日志處理服務器20和日志存放設備30，日志處理服務器20連接于所述日志審計探針10，日志存放設備30連接于所述日志處理服務器20。其中，所述日志審計探針10用于將采集到的內容信息以文件的形式和摘要日志的形式分類保存，并將所述文件和所述摘要日志上傳到所述日志處理服務器20；所述日志處理服務器20用于根據(jù)所述文件和所述摘要日志合成日志記錄；日志存放設備30用于保存所述日志記錄，并提供日志查詢服務。

進一步地，如圖2所示，所述日志審計探針10包括：

采集模塊110，用于采集日志，并將采集到的內容信息進行分類；

第一內存文件系統(tǒng)120，連接于所述采集模塊110，用于存儲所述文件；

共享內存130，連接于所述采集模塊110，用于存儲所述摘要日志，其中，摘要日志中保存有文件路徑信息；

文件上傳模塊140，連接于所述第一內存文件系統(tǒng)120，用于將所述文件上傳至所述日志處理服務器20；以及

日志上傳模塊150，連接于所述共享內存130，用于將所述摘要日志上傳至所述日志處理服務器20。

在本實施例中，網(wǎng)絡審計探針采集了日志之后，將日志進行分類保存，將日志內容文件暫存在內存文件系統(tǒng)中，無需寫入磁盤；將包含有文件路徑信息的摘要日志保存在共享內存中，再分別上傳至日志處理服務器，由此，降低了帶寬消耗。

進一步地，如圖2所示，所述日志存放設備30包括文件保存模塊310和日志保存模塊320，所述日志處理服務器20包括：

文件接收模塊210，用于接收來自所述日志審計探針10的所述文件；

日志接收模塊220，用于接收來自所述日志審計探針10的所述摘要日志；

第二內存文件系統(tǒng)230，連接于所述文件接收模塊210，用于保存所述文件；

第三內存文件系統(tǒng)240，連接于所述日志接收模塊220，用于以文件的形式保存所述摘要日志；

日志合成模塊250，連接于所述第二內存文件系統(tǒng)230和所述第三內存文件系統(tǒng)240，用于掃描所述第三內存文件系統(tǒng)240保存的所述摘要日志的文件，對每條摘要日志，根據(jù)所述摘要日志里的所述文件路徑信息獲取保存在所述第二內存文件系統(tǒng)230中的文件路徑，提取文件內容形成索引信息和摘要信息一起合成所述日志記錄，并將所述日志記錄保存至所述日志存放設備30的所述日志保存模塊320，同時發(fā)送入庫完成信號至所述第二文件內存系統(tǒng)230；以及

所述第二內存文件系統(tǒng)230，還用于根據(jù)所述入庫完成信號，為對應的文件生成入庫標記。

在本實施例中，日志處理服務器將文件內容和摘要日志分別暫存在不同的內存文件系統(tǒng)中，利用摘要日志中的文件路徑信息查詢對應的文件內容，然后提取部分文件內容，利用這部分文件內容和摘要日志生成最終的日志記錄，保存至日志存放設備進行永久保存，由此，日志記錄中包含了獲取對應完整文件內容的路徑信息，便于查找到完整的關聯(lián)文件。同時為已經(jīng)生成了日志記錄的對應文件進行入庫標記，表明該日志記錄對應的文件已經(jīng)經(jīng)過了入庫處理。

進一步地，所述日志處理服務器20還包括：

文件移動模塊260，連接于所述第二內存文件系統(tǒng)230，用于掃描所述第二內存文件系統(tǒng)230的目錄，把所述文件搬移到所述日志存放設備30的所述文件保存模塊310中，并發(fā)送保存完成信號至所述第二內存文件系統(tǒng)230；

所述第二內存文件系統(tǒng)230，還用于根據(jù)所述保存完成信號，為對應的文件生成保存標記。

在本實施例中，日志處理服務器將所有文件內容都移動到日志存放設備中進行永久保存，并為已經(jīng)被移動的文件生成保存標記，表明該文件內容已經(jīng)被永久保存。

進一步地，所述日志處理服務器20還包括：

文件刪除模塊270，連接于所述第二內存文件系統(tǒng)，用于掃描所述第二內存文件系統(tǒng)的目錄，刪除同時具有所述入庫標記和所述保存標記的文件。

在本實施例中，日志處理服務器將已經(jīng)入庫并且已經(jīng)保存的文件刪除，釋放內存文件系統(tǒng)的內存。

進一步地，所述日志存放設備30還包括：

文件訪問模塊330，連接于所述文件保存模塊310和所述日志保存模塊320，用于用戶根據(jù)所述日志保存模塊的信息，獲取保存于所述文件保存模塊的對應的完整文件內容。

在本實施例中，用戶查詢日志時，首先根據(jù)輸入的查詢條件在日志保存模塊320中查詢到對應的摘要日志，再根據(jù)摘要日志中的文件路徑信息，去文件保存模塊310中獲取對應的完整文件。

本發(fā)明還提供一種用于網(wǎng)絡審計日志的傳輸保存方法，如圖3所示，該網(wǎng)絡審計日志的傳輸保存方法包括以下步驟：

步驟S1：由日志審計探針將采集到的內容信息以文件的形式和摘要日志的形式分類保存，并將所述文件和所述摘要日志上傳到日志處理服務器；

步驟S2：由所述日志處理服務器根據(jù)所述文件和所述摘要日志合成日志記錄；以及

步驟S3：由日志存放設備保存所述日志記錄，并提供日志查詢服務。

進一步地，所述摘要日志中保存有文件路徑信息，步驟S2包括：

由所述日志處理服務器的文件接收模塊接收來自所述日志審計探針的所述文件，將所述文件保存至所述日志處理服務器的第二內存文件系統(tǒng)；

由所述日志處理服務器的日志接收模塊接收來自所述日志審計探針的所述摘要日志，將所述摘要日志保存至所述日志處理服務器的第三內存文件系統(tǒng)；

由所述日志處理服務器的日志合成模塊掃描所述第三內存文件系統(tǒng)保存的所述摘要日志的文件，對每條摘要日志，根據(jù)所述摘要日志里的所述文件路徑信息獲取保存在所述第二內存文件系統(tǒng)中的文件路徑，提取文件內容形成索引信息和摘要信息一起合成所述日志記錄；

將所述日志記錄保存至所述日志存放設備的日志保存模塊，同時發(fā)送入庫完成信號至所述第二文件內存系統(tǒng)；

所述第二內存文件系統(tǒng)根據(jù)所述入庫完成信號為對應的文件生成入庫標記；

由所述日志處理服務器的文件移動模塊掃描所述第二內存文件系統(tǒng)的目錄，把所述文件搬移到所述日志存放設備的文件保存模塊中，并發(fā)送保存完成信號至所述第二內存文件系統(tǒng)；以及

所述第二內存文件系統(tǒng)根據(jù)所述保存完成信號為對應的文件生成保存標記；

所述日志處理服務器的文件刪除模塊掃描所述第二內存文件系統(tǒng)的目錄，刪除同時具有所述入庫標記和所述保存標記的文件。

本領域普通技術人員可以理解實現(xiàn)上述實施例的全部或部分步驟可以通過硬件來完成，也可以通過程序來指令相關的硬件完成，所述的程序可以存儲于一種計算機可讀存儲介質中，上述提到的存儲介質可以是只讀存儲器，磁盤或光盤等。

以上所揭露的僅為本發(fā)明一種較佳實施例而已，當然不能以此來限定本發(fā)明之權利范圍，本領域普通技術人員可以理解實現(xiàn)上述實施例的全部或部分流程，并依本發(fā)明權利要求所作的等同變化，仍屬于發(fā)明所涵蓋的范圍。