一種大數(shù)據(jù)驅(qū)動(dòng)的網(wǎng)絡(luò)安全態(tài)勢(shì)監(jiān)測(cè)及可視化方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于網(wǎng)絡(luò)技術(shù)、信息安全技術(shù)領(lǐng)域，具體涉及一種大數(shù)據(jù)驅(qū)動(dòng)的網(wǎng)絡(luò)安全態(tài)勢(shì)監(jiān)測(cè)及可視化方法。
【背景技術(shù)】
[0002]當(dāng)代信息技術(shù)的發(fā)展推動(dòng)了數(shù)據(jù)的產(chǎn)生、收集、傳輸、共享與分析，使得科學(xué)與工程研究日益成為數(shù)據(jù)密集型的工作。伴隨著網(wǎng)絡(luò)流量的日益增加，攻擊的類型和復(fù)雜度也逐漸提升，部署在網(wǎng)絡(luò)上的各種安全系統(tǒng)、設(shè)備和平臺(tái)所提供的安全數(shù)據(jù)具有廣泛分布、跨組織、格式差異大、海量、非數(shù)值型等特點(diǎn)，數(shù)據(jù)維度從單一維度提升至多維，無論從存儲(chǔ)還是計(jì)算方面，都不能利用傳統(tǒng)的存儲(chǔ)整合技術(shù)完成網(wǎng)絡(luò)安全態(tài)勢(shì)的實(shí)時(shí)精確判斷。
[0003]另一方面，高維海量的數(shù)據(jù)增加了安全人員的工作難度:(I)認(rèn)知負(fù)擔(dān)過重，通過傳統(tǒng)的日志分析方式分析人員在一天有限的時(shí)間內(nèi)很難對(duì)上億條報(bào)警做出詳盡的分析和判斷；(2)交互性不夠，當(dāng)發(fā)現(xiàn)可疑事件時(shí)，現(xiàn)有的分析方式不能夠提供相關(guān)數(shù)據(jù)過濾、事件細(xì)節(jié)顯示等功能以幫助分析人員作出進(jìn)一步有效的判斷；(3)缺乏對(duì)網(wǎng)絡(luò)全局的認(rèn)識(shí)，分析人員往往看到的都是單一的數(shù)據(jù)記錄，很難識(shí)別出一些復(fù)雜的、協(xié)作式的和周期漫長的網(wǎng)絡(luò)異常事件。(4)基于傳統(tǒng)數(shù)據(jù)庫的日志分析難以發(fā)現(xiàn)一些新的攻擊模式，不能提前對(duì)攻擊的趨勢(shì)做出預(yù)測(cè)或提前防范。

【發(fā)明內(nèi)容】

[0004]基于以上的問題，本發(fā)明提出了一種實(shí)時(shí)大數(shù)據(jù)驅(qū)動(dòng)的網(wǎng)絡(luò)安全態(tài)勢(shì)監(jiān)測(cè)及可視化方法，能夠有效地監(jiān)測(cè)網(wǎng)絡(luò)安全態(tài)勢(shì)，并全方位展現(xiàn)網(wǎng)絡(luò)安全態(tài)勢(shì)的可視化結(jié)果。
[0005]本發(fā)明采用的技術(shù)方案如下:
[0006]—種大數(shù)據(jù)驅(qū)動(dòng)的網(wǎng)絡(luò)安全態(tài)勢(shì)監(jiān)測(cè)及可視化方法，包括如下步驟:
[0007]I)提取不同維度的網(wǎng)絡(luò)安全基礎(chǔ)數(shù)據(jù)，包括實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)；
[0008]2)采用實(shí)時(shí)計(jì)算系統(tǒng)Storm與分布式計(jì)算系統(tǒng)Hadoop對(duì)網(wǎng)絡(luò)安全基礎(chǔ)數(shù)據(jù)進(jìn)行存儲(chǔ)和處理，其中Hadoop用于處理歷史數(shù)據(jù)，Strom用于處理實(shí)時(shí)數(shù)據(jù)；
[0009]3)分布式計(jì)算系統(tǒng)Hadoop利用大數(shù)據(jù)處理方法從歷史數(shù)據(jù)中抽取出關(guān)鍵的安全特征項(xiàng)，并建立數(shù)據(jù)庫表結(jié)構(gòu)，形成網(wǎng)絡(luò)安全特征知識(shí)庫；
[0010]4)實(shí)時(shí)計(jì)算系統(tǒng)Strom從實(shí)時(shí)數(shù)據(jù)中提取出相關(guān)的安全特征項(xiàng)，將其與所述網(wǎng)絡(luò)安全特征知識(shí)庫進(jìn)行特征匹配，并根據(jù)匹配結(jié)果判定網(wǎng)絡(luò)安全態(tài)勢(shì)；
[0011 ] 5)對(duì)實(shí)時(shí)計(jì)算系統(tǒng)Strom判定的網(wǎng)絡(luò)安全態(tài)勢(shì)進(jìn)行動(dòng)態(tài)可視化展示。
[0012]進(jìn)一步地，步驟I)所述不同維度的網(wǎng)絡(luò)安全基礎(chǔ)數(shù)據(jù)包括網(wǎng)站、主機(jī)、經(jīng)瑋度、IP地址、漏洞、安全等;所述歷史數(shù)據(jù)包括每季度網(wǎng)站掃描評(píng)估報(bào)告和每季度主機(jī)掃描評(píng)估報(bào)生口 ο
[0013]進(jìn)一步地，步驟2)對(duì)于實(shí)時(shí)數(shù)據(jù)的處理過程是:首先將實(shí)時(shí)數(shù)據(jù)將發(fā)送至海量日志聚合系統(tǒng)Flume，同時(shí)在HDFS系統(tǒng)上進(jìn)行數(shù)據(jù)備份;Flume將收集到的實(shí)時(shí)數(shù)據(jù)發(fā)送至分布式消息系統(tǒng)Kafka以做進(jìn)一步處理；經(jīng)過Kafka處理后的數(shù)據(jù)流逐條送入實(shí)時(shí)計(jì)算系統(tǒng)Storm，在Strom中完成所有的實(shí)時(shí)業(yè)務(wù)邏輯;最后將處理結(jié)果以類似桟的形式壓入Redi s存儲(chǔ)系統(tǒng)，同時(shí)Web前端從Redis中提取結(jié)果并進(jìn)行顯示。
[0014]進(jìn)一步地，步驟2)對(duì)于歷史數(shù)據(jù)的處理過程是:將歷史數(shù)據(jù)送至預(yù)處理整合模塊進(jìn)行簡(jiǎn)單的格式處理后，送到分布式計(jì)算系統(tǒng)Hadoop進(jìn)行大數(shù)據(jù)分析處理，然后將統(tǒng)計(jì)的簡(jiǎn)單數(shù)據(jù)存至Mysql數(shù)據(jù)庫，將非結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)至Hbase數(shù)據(jù)庫，Web前端無需再進(jìn)行邏輯處理，直接讀取數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行展示。
[0015]進(jìn)一步地，步驟3)所述大數(shù)據(jù)處理方法包括下列中的一種或多種:聚類與融合、關(guān)聯(lián)分析、熵分析、態(tài)勢(shì)預(yù)測(cè);所述安全特征項(xiàng)包括:1P源地址、IP目標(biāo)地址、事件名稱、事件類另U、安全等級(jí)、漏洞代號(hào)。
[0016]進(jìn)一步地，步驟5)所述可視化展示包括基于網(wǎng)絡(luò)實(shí)時(shí)流量的網(wǎng)絡(luò)安全可視化和基于歷史報(bào)告的網(wǎng)絡(luò)安全可視化，具體的可視化展示的內(nèi)容包括全球動(dòng)態(tài)攻擊圖、國內(nèi)動(dòng)態(tài)攻擊圖、國內(nèi)安全態(tài)勢(shì)圖、全國安全漏洞分布圖、公告欄及其他功能等。
[0017]本發(fā)明的有益效果如下:
[0018]本發(fā)明為了實(shí)現(xiàn)強(qiáng)大的底層分析能力，采用了Hhadoop+Storm分布式架構(gòu);為了全面完整反映網(wǎng)絡(luò)安全態(tài)勢(shì)，提取了網(wǎng)站、主機(jī)、經(jīng)瑋度、IP地址、漏洞、安全事件等不同維度的網(wǎng)絡(luò)安全基礎(chǔ)數(shù)據(jù);為了得到實(shí)時(shí)有效的安全態(tài)勢(shì)評(píng)判結(jié)果，建立了自學(xué)習(xí)的安全異常特征庫;為了全方位展現(xiàn)網(wǎng)絡(luò)安全態(tài)勢(shì)結(jié)果，采用了動(dòng)態(tài)可視化技術(shù)。
[0019]本發(fā)明借助強(qiáng)大的底層分布式存儲(chǔ)與并行計(jì)算能力，智能化處理各個(gè)網(wǎng)絡(luò)流量和來自各種安全設(shè)備的安全日志，得出當(dāng)前最有效的網(wǎng)絡(luò)安全態(tài)勢(shì)評(píng)判標(biāo)準(zhǔn)，并在實(shí)時(shí)數(shù)據(jù)的驅(qū)動(dòng)下進(jìn)行實(shí)時(shí)評(píng)判篩選，將結(jié)果快速可視化，使安全分析人員能夠在第一時(shí)間監(jiān)測(cè)當(dāng)前全網(wǎng)的全局安全態(tài)勢(shì)、關(guān)注重點(diǎn)風(fēng)險(xiǎn)輿情。
【附圖說明】
[0020]圖1是本發(fā)明整體方案的技術(shù)架構(gòu)圖。
[0021]圖2是Storm實(shí)現(xiàn)的實(shí)時(shí)數(shù)據(jù)網(wǎng)絡(luò)安全態(tài)勢(shì)分析的整體處理邏輯圖。
[0022]圖3是ReadBolt模塊的處理流程圖。
[0023]圖4是IPBolt模塊的處理流程圖。
[0024]圖5是RolICountBolt模塊的處理流程圖。
[0025]圖6是FieldRankBolt模塊的處理流程圖。
[0026]圖7是GlobalRankBolt模塊的處理流程圖。
[0027]圖8是海量數(shù)據(jù)可視化方案示意圖。
[0028]圖9是國內(nèi)動(dòng)態(tài)攻擊圖示意圖。
【具體實(shí)施方式】
[0029]下面通過具體實(shí)施例和附圖，對(duì)本發(fā)明做進(jìn)一步說明。
[0030]本發(fā)明的實(shí)時(shí)大數(shù)據(jù)驅(qū)動(dòng)的網(wǎng)絡(luò)安全態(tài)勢(shì)監(jiān)測(cè)及可視化方法，其整體技術(shù)架構(gòu)如圖1所示，其總體上采用hadoop+storm分布式架構(gòu)，以實(shí)現(xiàn)強(qiáng)大的底層分析能力。本發(fā)明的基礎(chǔ)數(shù)據(jù)源主要包括:安全設(shè)備實(shí)時(shí)數(shù)據(jù)，每季度網(wǎng)站掃描評(píng)估報(bào)告(HTML)，每季度主機(jī)掃描評(píng)估報(bào)告(HTML)。其中安全設(shè)備實(shí)時(shí)數(shù)據(jù)可以采用網(wǎng)絡(luò)中心的IDS( Intrus1nDetect1n Systems入侵檢測(cè)系統(tǒng))數(shù)據(jù)等。
[0031]如圖1所示，從硬件層面的數(shù)據(jù)收發(fā)服務(wù)器收集上述三種數(shù)據(jù)，其中，實(shí)時(shí)數(shù)據(jù)(如SYSLOG，即系統(tǒng)日志)將發(fā)送至Flume，同時(shí)，在HDFS上進(jìn)行數(shù)據(jù)備份。Flume根據(jù)定制方案收集到數(shù)據(jù)后，將其發(fā)送至Kafka，進(jìn)行進(jìn)一步處理。Flume是一種海量日志聚合系統(tǒng)，支持在系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)，同時(shí)，提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫到各種數(shù)據(jù)接收方(可定制)的能力。Kafka是一種分布式消息系統(tǒng)，可以處理消費(fèi)者規(guī)模的網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)，根據(jù)吞吐量的要求而通過處理日志和日志聚合來解決。經(jīng)過Kafka處理后的數(shù)據(jù)流將逐條送入實(shí)時(shí)計(jì)算系統(tǒng)Storm，在Strom中，完成所有的實(shí)時(shí)業(yè)務(wù)邏輯，比如IP地址-機(jī)構(gòu)信息匹配、地理定位、安全事件類型分類統(tǒng)計(jì)、高危研究所信息提取等。最后，將這些處理結(jié)果以類似棧的形式壓入Redis存儲(chǔ)系統(tǒng)，同時(shí)，Web前端從Redis中提取結(jié)果顯不O
[0032]而每季度網(wǎng)站掃描評(píng)估報(bào)告(HTML)和每季度主機(jī)掃描評(píng)估報(bào)告(HTML)，即圖1中的Net.log和Server, log，將送至預(yù)處理整合模塊進(jìn)行簡(jiǎn)單的格式處理后，送到分布式計(jì)算系統(tǒng)Hadoop進(jìn)行大數(shù)據(jù)分析處理，處理的過程包括聚類、關(guān)聯(lián)、統(tǒng)計(jì)等，為了提高分析結(jié)果的存儲(chǔ)效率，將統(tǒng)計(jì)的簡(jiǎn)單數(shù)據(jù)存至Mysql數(shù)據(jù)庫，而將非結(jié)構(gòu)化的數(shù)據(jù)(即圖1中的非關(guān)系型數(shù)據(jù))將存至Hbase數(shù)據(jù)庫，Web前端無需再進(jìn)行邏輯處理，直接讀取數(shù)據(jù)庫中的數(shù)據(jù)展示即可。
[0033]下面說明本發(fā)明技術(shù)方案的詳細(xì)設(shè)計(jì)。
[0034]1.多維網(wǎng)絡(luò)安全態(tài)勢(shì)數(shù)據(jù)的提取、整合與存儲(chǔ)方案
[0035]目前中國科學(xué)院已在各所部署大量探針用于提取互連網(wǎng)絡(luò)設(shè)備的安全日志和網(wǎng)絡(luò)流量，將其格式化統(tǒng)一存儲(chǔ)于傳統(tǒng)數(shù)據(jù)庫或存儲(chǔ)設(shè)備。這種強(qiáng)制格式化將丟失一些關(guān)鍵信息，并且，為了迎合傳統(tǒng)的關(guān)系型存儲(chǔ)模式，必然給數(shù)據(jù)查詢與分析機(jī)制帶來很大程度的局限性。
[0036]因此，本發(fā)明通過分析各類數(shù)據(jù)的特點(diǎn)，以保留最完整原始數(shù)據(jù)為目標(biāo)，建立多維模型完成維和度量的映射，得到能夠反映網(wǎng)絡(luò)安全態(tài)勢(shì)的全方位數(shù)據(jù)。而這些數(shù)據(jù)的存儲(chǔ)，則使用HDFS+Mysql+Hbase的多層次存儲(chǔ)。
[0037]實(shí)時(shí)數(shù)據(jù)與流量接入后，經(jīng)過簡(jiǎn)單處理并完成歸類，分發(fā)到各個(gè)接收方消息隊(duì)列中，等待下一步的存儲(chǔ)處理。每個(gè)消息隊(duì)列以topic(會(huì)話)為標(biāo)志進(jìn)行管理，發(fā)布到每個(gè)topi C的消息會(huì)被均勾的分布到多個(gè)parti t 1n (區(qū)域)，在接收到訂閱消息時(shí)，將數(shù)據(jù)流發(fā)布到實(shí)時(shí)計(jì)算系統(tǒng)Storm中，為了系統(tǒng)的可靠性，同時(shí)進(jìn)行HDFS存儲(chǔ)。
[0038]靜態(tài)數(shù)據(jù)/歷史數(shù)據(jù)接入后，進(jìn)行關(guān)鍵詞提取與預(yù)處理，根據(jù)內(nèi)容/數(shù)據(jù)格式分類存儲(chǔ)，形成一