專(zhuān)利名稱(chēng)：海量事件安全分析方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種海量事件安全分析方法及裝置。
背景技術(shù)：
隨著計(jì)算機(jī)和通訊技術(shù)的高速發(fā)展，網(wǎng)絡(luò)的開(kāi)放性、互連性、共享性程度的擴(kuò)大，企業(yè)越來(lái)越依賴(lài)信息和網(wǎng)絡(luò)技術(shù)來(lái)支持他們?cè)谌蚴袌?chǎng)中的迅速成長(zhǎng)和擴(kuò)大。但隨之而來(lái)的威脅也越來(lái)越多一黑客攻擊、惡意代碼、蠕蟲(chóng)病毒?，F(xiàn)有的網(wǎng)絡(luò)安全設(shè)備，如防火墻，入侵檢測(cè)系統(tǒng)，殺毒軟件等，在網(wǎng)絡(luò)異常的情況下會(huì)產(chǎn)生各種各樣的告警信息，加上服務(wù)器本身的系統(tǒng)和應(yīng)用程序的產(chǎn)生的告警，這些告警錯(cuò)綜復(fù)雜，而且數(shù)量龐大。但是對(duì)于每種網(wǎng)絡(luò)的異常情況在單一的網(wǎng)絡(luò)設(shè)備上是不能確定的，只有將各種設(shè)備的海量告警綜合在一起才分析才有可能確定異常的情況。而這個(gè)工作對(duì)于網(wǎng)絡(luò)管理員來(lái)說(shuō)是不可能完成的，但隨·著云計(jì)算的成熟，云平臺(tái)和云計(jì)算已經(jīng)不斷在各個(gè)領(lǐng)域被利用，通過(guò)對(duì)海量事件安全分析才能準(zhǔn)確的發(fā)現(xiàn)這些異常情況并且對(duì)異常情況提出解決方案。而現(xiàn)有的關(guān)聯(lián)分析產(chǎn)品主要是安全管理中心(SOC)或者是安全信息管理系統(tǒng)。(SIM)，其主要是實(shí)現(xiàn)了以下的五功能事件采集、事件儲(chǔ)存、事件查詢(xún)、事件關(guān)聯(lián)分析以及告警通知?，F(xiàn)有的分析方法存在以下的局限性I.分析的方式局限為了達(dá)到關(guān)聯(lián)分析的實(shí)時(shí)和準(zhǔn)確性，目前大部分的關(guān)聯(lián)分析是基于內(nèi)存的分析，設(shè)備的內(nèi)存大小永遠(yuǎn)對(duì)于設(shè)備來(lái)說(shuō)只是一個(gè)臨時(shí)的存儲(chǔ)，并且是所有進(jìn)程共用的，并不能達(dá)到對(duì)海量臨時(shí)信息的存儲(chǔ)，這樣無(wú)法對(duì)海量的事件進(jìn)行更深入的分析。2.分析范圍的狹窄傳統(tǒng)的分析方式為了追求安全管理平臺(tái)的可見(jiàn)性和易用性，只能對(duì)一些常見(jiàn)的異常和一些短時(shí)間的攻擊，而對(duì)于現(xiàn)在越來(lái)越流行的0-day攻擊和低速的拒絕服務(wù)攻擊是沒(méi)有無(wú)法進(jìn)行發(fā)現(xiàn)。3.沒(méi)有完整的攻擊表示方式隨著攻擊的方式越來(lái)越隱蔽和多樣化用戶接到攻擊告警后仍然需要到實(shí)際的環(huán)境中尋找攻擊的實(shí)際路徑。

發(fā)明內(nèi)容本發(fā)明要解決的技術(shù)問(wèn)題之一，在于提供一種海量事件安全分析方法，分析準(zhǔn)確、完整、迅速。本發(fā)明要解決的技術(shù)問(wèn)題之一是這樣實(shí)現(xiàn)的一種海量事件安全分析方法，包括如下步驟步驟10、對(duì)海量的原始事件進(jìn)行存儲(chǔ)；步驟20、獲取原始事件，對(duì)原始事件進(jìn)行初步的基礎(chǔ)分析，生成初步的分析結(jié)果，然后儲(chǔ)存初步的分析結(jié)果；其中，該基礎(chǔ)分析是對(duì)原始日志事件進(jìn)行基礎(chǔ)漏洞分析、規(guī)則分析和一些信息的確認(rèn)；
步驟30、將初步的分析結(jié)果與原始事件進(jìn)入分布式文件系統(tǒng)HDFS通過(guò)SQOOP進(jìn)行并行分析，該并行分析的過(guò)程包括通過(guò)腳本語(yǔ)言對(duì)所有原始事件和初步的分析結(jié)果中一些對(duì)挖掘無(wú)意義的信息進(jìn)行過(guò)濾；以及通過(guò)腳本語(yǔ)言對(duì)所有源地址、源端口、目的地址、目的端口以及事件類(lèi)型均相同的原始事件和初步分析結(jié)果進(jìn)行歸并操作，并按條件進(jìn)行統(tǒng)計(jì)；步驟40、通過(guò)一系列的配置和一系列的調(diào)度規(guī)則來(lái)從深入挖掘腳本庫(kù)調(diào)用合適的深入挖掘腳本；該挖掘腳本是用于查看“基于源地址、目的地址或事件分類(lèi)而進(jìn)行的各類(lèi)攻擊”;步驟50、在hadoop平臺(tái)上借助輕度腳本語(yǔ)言(輕度腳本語(yǔ)言是指一種基于原始腳本語(yǔ)言封裝后，并且只能在hadoop平臺(tái)上執(zhí)行的簡(jiǎn)單腳本語(yǔ)言)執(zhí)行所調(diào)用的挖掘腳本，完成所有事件的源和目標(biāo)IP的關(guān)聯(lián)以及挖掘腳本之間的關(guān)聯(lián)，形成挖掘結(jié)果；最后根據(jù)挖掘結(jié)果發(fā)現(xiàn)的異常情況在網(wǎng)絡(luò)中進(jìn)行定位；步驟60、將異常情況和解決方案通過(guò)各種響應(yīng)方式通知用戶?！て渲?，所述步驟20中，所述基礎(chǔ)漏洞分析是對(duì)事件本身由于某些漏洞引起的而需要進(jìn)行的基礎(chǔ)分析；所述規(guī)則分析是在短時(shí)間內(nèi)對(duì)一些有相同屬性的事件進(jìn)行關(guān)聯(lián)分析；所述一些信息的確認(rèn)是指將原始事件中的地址和端口信息與防火墻上的NAT信息進(jìn)行比對(duì)確認(rèn)，以達(dá)到分析重要因素的準(zhǔn)確性。所述步驟30中，所述對(duì)挖掘無(wú)意義的信息包括平臺(tái)未識(shí)別事件和防火墻允許的用戶事件。所述步驟50中在網(wǎng)絡(luò)中進(jìn)行定位是通過(guò)對(duì)異常目標(biāo)反查的方式完成，該異常目標(biāo)反查的方式是指將異常的事件源做為目標(biāo)，對(duì)這些目標(biāo)相關(guān)事件繼續(xù)進(jìn)行深入挖掘分析，重復(fù)上述過(guò)程，到相關(guān)的目標(biāo)不存在事件為止。本發(fā)明要解決的技術(shù)問(wèn)題之二，在于提供一種海量事件安全分析裝置，分析準(zhǔn)確、完整、迅速。本發(fā)明要解決的技術(shù)問(wèn)題之二是這樣實(shí)現(xiàn)的一種海量事件安全分析裝置，包括海量事件存儲(chǔ)庫(kù)用于存放海量的原始事件；基礎(chǔ)分析引擎用于對(duì)原始日志事件進(jìn)行基礎(chǔ)漏洞，規(guī)則的分析和一些信息的確認(rèn)生成完整和準(zhǔn)確的初步分析結(jié)果；初步分析結(jié)果庫(kù)用于存放初步的分析結(jié)果；數(shù)據(jù)庫(kù)與HDFS交互引擎通過(guò)SQOOP完成數(shù)據(jù)庫(kù)和分布式文件系統(tǒng)HDFS的交互，將所有原始事件、初步的分析結(jié)果在分布式文件系統(tǒng)HDFS和數(shù)據(jù)庫(kù)之間進(jìn)行交互，該數(shù)據(jù)庫(kù)包括海量事件存儲(chǔ)庫(kù)和初步分析結(jié)果庫(kù)；事件過(guò)濾引擎通過(guò)腳本語(yǔ)言對(duì)所有原始事件和初步的分析結(jié)果中一些對(duì)挖掘無(wú)意義的信息進(jìn)行過(guò)濾；事件歸并引擎通過(guò)腳本語(yǔ)言對(duì)原始事件和初步的分析結(jié)果按照一些條件進(jìn)行歸并,主要按照原始事件的源地址,源端口，目的地址，目的端口，事件分類(lèi)對(duì)事件進(jìn)行一些歸并操作；事件統(tǒng)計(jì)引擎通過(guò)腳本語(yǔ)言對(duì)原始事件按條件進(jìn)行統(tǒng)計(jì)；
深入挖掘腳本庫(kù)用于存放各類(lèi)挖掘腳本，該挖掘腳本是用于查看“基于源地址、目的地址或事件分類(lèi)而進(jìn)行的各類(lèi)攻擊”;腳本調(diào)度引擎通過(guò)一系列的配置和一系列的調(diào)度規(guī)則來(lái)從深入挖掘腳本庫(kù)調(diào)用合適的深入挖掘腳本；該挖掘腳本是用于查看“基于源地址、目的地址或事件分類(lèi)而進(jìn)行的各類(lèi)攻擊”;攻擊拓?fù)渖梢鎴?zhí)行所調(diào)用的挖掘腳本，完成所有原始事件和初步的分析結(jié)果的源和目標(biāo)IP的關(guān)聯(lián)以及挖掘腳本之間的關(guān)聯(lián)并輸出異常情況；安全經(jīng)驗(yàn)庫(kù)用于存放各類(lèi)異常情況的解決方案；響應(yīng)模塊通過(guò)所述攻擊拓?fù)渖梢孑敵龅漠惓Ｇ闆r，在安全經(jīng)驗(yàn)庫(kù)匹配解決方案，并將異常情況和解決方案通過(guò)各種響應(yīng)方式通知用戶。
·
其中，所述基礎(chǔ)漏洞分析是對(duì)事件本身由于某些漏洞引起的而需要進(jìn)行的基礎(chǔ)分析；所述規(guī)則分析是在短時(shí)間內(nèi)對(duì)一些有相同屬性的事件進(jìn)行關(guān)聯(lián)分析；所述一些信息的確認(rèn)是指將原始事件中的地址和端口信息與防火墻上的NAT信息進(jìn)行比對(duì)確認(rèn)，以達(dá)到分析重要因素的準(zhǔn)確性。所述對(duì)挖掘無(wú)意義的信息包括平臺(tái)未識(shí)別事件和防火墻允許的用戶事件。所述攻擊拓?fù)渖梢媸峭ㄟ^(guò)對(duì)異常目標(biāo)反查的方式完成在網(wǎng)絡(luò)中進(jìn)行定位，該異常目標(biāo)反查的方式是指將異常的事件源做為目標(biāo)，對(duì)這些目標(biāo)相關(guān)事件繼續(xù)進(jìn)行深入挖掘分析，重復(fù)上述過(guò)程，到相關(guān)的目標(biāo)不存在事件為止。所述腳本調(diào)度引擎涉及到的調(diào)度規(guī)則包括安排不同的深入挖掘腳本之間的時(shí)序關(guān)系。本發(fā)明具有如下優(yōu)點(diǎn)(I)基于云平臺(tái)的HDFS實(shí)現(xiàn)了對(duì)海量事件的存儲(chǔ)，擴(kuò)大對(duì)原始事件和初步分析結(jié)果的存儲(chǔ)，可以大大增加海量事件安全分析的準(zhǔn)確性和完整性。(2)采用了 SQOOP技術(shù)使數(shù)據(jù)在不同介質(zhì)的傳輸更為迅速和準(zhǔn)確，大大提高了海
量事件處理的效率。(3)基于輕度腳本語(yǔ)言的實(shí)現(xiàn)對(duì)海量事件進(jìn)行深度挖掘，實(shí)現(xiàn)了挖掘的可視化和便捷化。(4)基于HADOOP平臺(tái)的海量事件云分析，通過(guò)HADOOP實(shí)現(xiàn)云分析不同階段的監(jiān)控和管理，實(shí)現(xiàn)分析海量事件云分析的完整性和可用性，并且實(shí)現(xiàn)了分析的延續(xù)性和可追溯性，完成對(duì)每個(gè)異常的完整分析。(這條優(yōu)點(diǎn)不知在技術(shù)方案中哪能地方有體現(xiàn)，請(qǐng)申請(qǐng)人稍作分析)(5)基于攻擊溯源的網(wǎng)絡(luò)拓?fù)洌瑢⒚總€(gè)攻擊細(xì)化到復(fù)雜的網(wǎng)絡(luò)系統(tǒng)中，將復(fù)雜的攻擊圖像化和具體化。

下面參照附圖結(jié)合實(shí)施例對(duì)本發(fā)明作進(jìn)一步的說(shuō)明。圖I為本發(fā)明方法執(zhí)行流程圖。圖2為本發(fā)明異常目標(biāo)反查所得的信息的拓?fù)鋱D示例圖示。圖3為本發(fā)明裝置執(zhí)行本發(fā)明方法的流程框圖。
具體實(shí)施方式如圖I所示，本發(fā)明的海量事件安全分析方法，包括如下步驟步驟10、對(duì)海量的原始事件進(jìn)行存儲(chǔ)。步驟20、獲取原始事件，對(duì)原始事件進(jìn)行初步的基礎(chǔ)分析，生成初步的分析結(jié)果，然后儲(chǔ)存初步的分析結(jié)果；其中，該基礎(chǔ)分析是對(duì)原始日志事件進(jìn)行基礎(chǔ)漏洞分析、規(guī)則分析和一些信息的確認(rèn)。所述基礎(chǔ)漏洞分析是對(duì)事件本身由于某些漏洞引起的而需要進(jìn)行的基礎(chǔ)分析。所述規(guī)則分析是在短時(shí)間內(nèi)對(duì)一些有相同屬性的事件進(jìn)行關(guān)聯(lián)分析；例如對(duì)同一個(gè)設(shè)備在秒級(jí)的時(shí)間內(nèi)存在信息的探測(cè)和嘗試的登錄行為。所述一些信息的確認(rèn)是指將原始事件中的地址和端口信息與防火墻上的NAT信息進(jìn)行比對(duì)確認(rèn)，以達(dá)到分析重要因素的準(zhǔn)確性。步驟30、將初步的分析結(jié)果與原始事件進(jìn)入分布式文件系統(tǒng)HDFS通過(guò)SQOOP進(jìn)·行并行分析，該并行分析的過(guò)程包括通過(guò)腳本語(yǔ)言對(duì)所有原始事件和初步的分析結(jié)果中一些對(duì)挖掘無(wú)意義的信息進(jìn)行過(guò)濾；以及通過(guò)腳本語(yǔ)言對(duì)所有源地址、源端口、目的地址、目的端口以及事件類(lèi)型均相同的原始事件和初步分析結(jié)果進(jìn)行歸并操作，并按條件進(jìn)行統(tǒng)計(jì)；其中，并行分析是通過(guò)SQOOP完成數(shù)據(jù)庫(kù)和HDFS的交互，SQOOP技術(shù)使數(shù)據(jù)在不同介質(zhì)的傳輸更為迅速和準(zhǔn)確，大大提高了海量事件處理的效率。相關(guān)的腳本示例如下records=L0AD' /user/hadoop/event/20120523, txt' AS(ch:chararray, in:int);filtered_records=FILTER records BY ch!=’ 192. 168. 22. 11’。再通過(guò)腳本語(yǔ)言對(duì)所有源地址、源端口、目的地址、目的端口以及事件類(lèi)型均相同的原始事件和初步分析結(jié)果進(jìn)行歸并操作，并按條件進(jìn)行統(tǒng)計(jì)。歸并的腳本示例如下records=L0AD，/user/hadoop/event/20120523, txt' AS(ch:chararray, in:int);grouped_records=GR0UP fiItered_records BY ch。統(tǒng)計(jì)腳本示例如下records=L0AD' /user/hadoop/event/20120523, txt’ AS(ch:chararray, chi: chararray, in:int)；grouped_records=GR0UP fiItered_records BY ch;filtered_records=FILTER grouped_records BY ch!=’ 192. 168. 22. 11’。步驟40、通過(guò)一系列的配置和一系列的調(diào)度規(guī)則來(lái)從深入挖掘腳本庫(kù)調(diào)用合適的深入挖掘腳本；該挖掘腳本是用于查看“基于源地址、目的地址或事件分類(lèi)而進(jìn)行的各類(lèi)攻擊”。以下是挖掘腳本的例子腳本A:records=L0AD' /user/hadoop/event/20120523, txt，AS(ch:chararray, chi: chararray, in:int);grouped_records=GR0UP fiItered_records BY ch;filtered_records=FILTER grouped_records BY in〉=:a;max_in=F0REACH fiItered_records腳本B records=L0AD' /user/hadoop/event/20120523, txt’ AS(ch:chararray, chi: chararray, in:int);filtered_records=FILTER records BY chl>=:b。步驟50、執(zhí)行所調(diào)用的挖掘腳本，完成所有事件的源和目標(biāo)IP的關(guān)聯(lián)以及挖掘腳本之間的關(guān)聯(lián)，形成挖掘結(jié)果；最后根據(jù)挖掘結(jié)果發(fā)現(xiàn)的異常情況在網(wǎng)絡(luò)中進(jìn)行定位；該在網(wǎng)絡(luò)中進(jìn)行定位是通過(guò)對(duì)異常目標(biāo)反查的方式完成，該異常目標(biāo)反查的方式是指將異常的事件源做為目標(biāo)，對(duì)這些目標(biāo)相關(guān)事件繼續(xù)進(jìn)行深入挖掘分析，重復(fù)上述過(guò)程，到相關(guān)的目標(biāo)不存在事件為止。如圖2所示，所述異常目標(biāo)反查所得的信息可以用拓?fù)鋱D的方式在用戶端進(jìn)行展示，以更加直觀。步驟60、將異常情況和解決方案通過(guò)各種響應(yīng)方式通知用戶。其中解決方案可以預(yù)先存儲(chǔ)在一個(gè)專(zhuān)門(mén)的數(shù)據(jù)庫(kù)中，以備調(diào)用。結(jié)合圖I至圖3所示，本發(fā)明的海量事件安全分析裝置，包括·
海量事件存儲(chǔ)庫(kù)I :用于存放海量的原始事件；該海量事件存儲(chǔ)庫(kù)基于云平臺(tái)的HDFS實(shí)現(xiàn)了對(duì)海量事件的存儲(chǔ)，擴(kuò)大對(duì)原始事件和初步分析結(jié)果的存儲(chǔ)，可以大大增加海量事件安全分析的準(zhǔn)確性和完整性?；A(chǔ)分析引擎2 :用于對(duì)原始日志事件進(jìn)行基礎(chǔ)漏洞，規(guī)則的分析和一些信息的確認(rèn)生成完整和準(zhǔn)確的初步分析結(jié)果；其中，所述基礎(chǔ)漏洞分析是對(duì)事件本身由于某些漏洞引起的而需要進(jìn)行的基礎(chǔ)分析；所述規(guī)則分析是在短時(shí)間內(nèi)對(duì)一些有相同屬性的事件進(jìn)行關(guān)聯(lián)分析，例如對(duì)同一個(gè)設(shè)備在秒級(jí)的時(shí)間內(nèi)存在信息的探測(cè)和嘗試的登錄行為。所述一些信息的確認(rèn)是指將原始事件中的地址和端口信息與防火墻上的NAT信息進(jìn)行比對(duì)確認(rèn)，以達(dá)到分析重要因素的準(zhǔn)確性。本引擎還結(jié)合安全管理平臺(tái)中對(duì)設(shè)備安全健康檢查的結(jié)果，對(duì)事件中相關(guān)設(shè)備性能方面的告警進(jìn)行確認(rèn)。初步分析結(jié)果庫(kù)3 :用于存放初步的分析結(jié)果。數(shù)據(jù)庫(kù)與HDFS交互引擎4 :通過(guò)SQOOP完成數(shù)據(jù)庫(kù)和分布式文件系統(tǒng)HDFS的交互，將所有原始事件、初步的分析結(jié)果在分布式文件系統(tǒng)HDFS和數(shù)據(jù)庫(kù)之間進(jìn)行交互，該數(shù)據(jù)庫(kù)包括海量事件存儲(chǔ)庫(kù)和初步分析結(jié)果庫(kù)。其中，SQOOP技術(shù)使數(shù)據(jù)在不同介質(zhì)的傳輸更為迅速和準(zhǔn)確，大大提高了海量事件處理的效率。事件過(guò)濾引擎5 :通過(guò)腳本語(yǔ)言對(duì)所有原始事件和初步的分析結(jié)果中一些對(duì)挖掘無(wú)意義的信息進(jìn)行過(guò)濾，所述對(duì)挖掘無(wú)意義的信息包括平臺(tái)未識(shí)別事件和防火墻允許的用戶事件；相關(guān)的腳本示例如下records=L0AD，/user/hadoop/event/20120523, txt' AS(ch:chararray, in:int);filtered_records=FILTER records BY ch!=’ 192. 168. 22. 11’。事件歸并引擎6 :通過(guò)腳本語(yǔ)言對(duì)原始事件和初步分析結(jié)果按照一些條件進(jìn)行歸并,主要按照原始事件的源地址,源端口，目的地址，目的端口，事件分類(lèi)對(duì)事件進(jìn)行一些歸并操作；歸并的腳本示例如下records=L0AD’/user/hadoop/event/20120523, txt' AS(ch:chararray, in:int);grouped_records=GR0UP fiItered_records BY ch。事件統(tǒng)計(jì)引擎7 :通過(guò)腳本語(yǔ)言對(duì)原始事件按條件進(jìn)行統(tǒng)計(jì)；統(tǒng)計(jì)的腳本示例如下records=L0AD' /user/hadoop/event/20120523, txt，AS(ch:chararray, chi: chararray, in:int);grouped_records=GROUP fiItered_records BY ch;filtered_records=FILTER grouped_records BY ch!=’ 192. 168. 22. 11’ ;深入挖掘腳本庫(kù)8 :用于存放各類(lèi)挖掘腳本，該挖掘腳本是用于查看“基于源地址、目的地址或事件分類(lèi)而進(jìn)行的各類(lèi)攻擊”；深入挖掘的腳本示例如下腳本A records=L0AD' /user/hadoop/event/20120523, txt，AS(ch:chararray, chi: chararray, in:int);grouped_records=GROUP fiItered_records BY ch;·filtered_records=FILTER grouped_records BY in〉=:a;max_in=F0REACH fiItered_records腳本B records=L0AD' /user/hadoop/event/20120523, txt，AS(ch:chararray, chi: chararray, in:int);filtered_records=FILTER records BY chl>=:b。腳本調(diào)度引擎9 :通過(guò)一系列的配置和一系列的調(diào)度規(guī)則來(lái)從深入挖掘腳本庫(kù)調(diào)用合適的深入挖掘腳本；該挖掘腳本是用于查看“基于源地址、目的地址或事件分類(lèi)而進(jìn)行的各類(lèi)攻擊”;所述腳本調(diào)度引擎涉及到的調(diào)度規(guī)則包括安排不同的深入挖掘腳本之間的時(shí)序關(guān)系。攻擊拓?fù)渖梢?1 :執(zhí)行所調(diào)用的挖掘腳本，完成所有原始事件和初步分析結(jié)果的源和目標(biāo)IP的關(guān)聯(lián)以及挖掘腳本之間的關(guān)聯(lián)并以拓?fù)鋱D的方式輸出異常情況；所述攻擊拓?fù)渖梢媸峭ㄟ^(guò)對(duì)異常目標(biāo)反查的方式完成在網(wǎng)絡(luò)中進(jìn)行定位，該異常目標(biāo)反查的方式是指將異常的事件源做為目標(biāo)，對(duì)這些目標(biāo)相關(guān)事件繼續(xù)進(jìn)行深入挖掘分析，重復(fù)上述過(guò)程，到相關(guān)的目標(biāo)不存在事件為止。安全經(jīng)驗(yàn)庫(kù)12 :用于存放各類(lèi)異常情況的解決方案；異常情況的解決方案可以是安全管理平臺(tái)在不斷運(yùn)行過(guò)程中積累而得的。響應(yīng)模塊13 :通過(guò)所述攻擊拓?fù)渖梢孑敵龅漠惓Ｇ闆r，在安全經(jīng)驗(yàn)庫(kù)匹配解決方案，并將異常情況和解決方案通過(guò)各種響應(yīng)方式通知用戶。本發(fā)明具有如下優(yōu)點(diǎn)(6)基于云平臺(tái)的HDFS實(shí)現(xiàn)了對(duì)海量事件的存儲(chǔ)，擴(kuò)大對(duì)原始事件和初步分析結(jié)果的存儲(chǔ)，可以大大增加海量事件安全分析的準(zhǔn)確性和完整性。(7)采用了 SQ00P技術(shù)使數(shù)據(jù)在不同介質(zhì)的傳輸更為迅速和準(zhǔn)確，大大提高了海
量事件處理的效率。(8)基于輕度腳本語(yǔ)言的實(shí)現(xiàn)對(duì)海量事件進(jìn)行深度挖掘，實(shí)現(xiàn)了挖掘的可視化和便捷化。(9)基于HADOOP平臺(tái)的海量事件云分析，通過(guò)HADOOP實(shí)現(xiàn)云分析不同階段的監(jiān)控和管理，實(shí)現(xiàn)分析海量事件云分析的完整性和可用性，并且實(shí)現(xiàn)了分析的延續(xù)性和可追溯性，完成對(duì)每個(gè)異常的完整分析。(這條優(yōu)點(diǎn)不知在技術(shù)方案中哪能地方有體現(xiàn)，請(qǐng)申請(qǐng)人稍作分析)
基于攻擊溯源的網(wǎng)絡(luò)拓?fù)?，將每個(gè)攻擊細(xì)化到復(fù)雜的網(wǎng)絡(luò)系統(tǒng)中，將復(fù)雜的攻擊圖像化和具體化。雖然以上描述了本發(fā)明的具體實(shí)施方式
，但是熟悉本技術(shù)領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，我們所描述的具體的實(shí)施例只是說(shuō)明性的，而不是用于對(duì)本發(fā)明的范圍的限定，熟悉本領(lǐng)域的技術(shù)人員在依照本發(fā)明的精神所作的等效的修飾以及變化，都應(yīng)當(dāng)涵蓋在本發(fā)明的權(quán)利要求所保護(hù)的范圍內(nèi)?！?br> 權(quán)利要求
1.一種海量事件安全分析方法，其特征在于包括如下步驟 步驟10、對(duì)海量的原始事件進(jìn)行存儲(chǔ)； 步驟20、獲取原始事件，對(duì)原始事件進(jìn)行初步的基礎(chǔ)分析，生成初步的分析結(jié)果，然后儲(chǔ)存初步的分析結(jié)果；其中，該基礎(chǔ)分析是對(duì)原始日志事件進(jìn)行基礎(chǔ)漏洞分析、規(guī)則分析和一些信息的確認(rèn)； 步驟30、將初步的分析結(jié)果與原始事件進(jìn)入分布式文件系統(tǒng)HDFS通過(guò)SQOOP進(jìn)行并行分析，該并行分析的過(guò)程包括 通過(guò)腳本語(yǔ)言對(duì)所有原始事件和初步的分析結(jié)果中一些對(duì)挖掘無(wú)意義的信息進(jìn)行過(guò)濾；以及 通過(guò)腳本語(yǔ)言對(duì)所有源地址、源端口、目的地址、目的端口以及事件類(lèi)型均相同的原始事件和初步分析結(jié)果進(jìn)行歸并操作，并按條件進(jìn)行統(tǒng)計(jì)；步驟40、通過(guò)一系列的配置和一系列的調(diào)度規(guī)則來(lái)從深入挖掘腳本庫(kù)調(diào)用合適的深入挖掘腳本；該挖掘腳本是用于查看“基于源地址、目的地址或事件分類(lèi)而進(jìn)行的各類(lèi)攻擊”；步驟50、在hadoop平臺(tái)上借助輕度腳本語(yǔ)言執(zhí)行所調(diào)用的挖掘腳本，完成所有事件的源和目標(biāo)IP的關(guān)聯(lián)以及挖掘腳本之間的關(guān)聯(lián)，形成挖掘結(jié)果；最后根據(jù)挖掘結(jié)果發(fā)現(xiàn)的異常情況在網(wǎng)絡(luò)中進(jìn)行定位； 步驟60、將異常情況和解決方案通過(guò)各種響應(yīng)方式通知用戶。
2.根據(jù)權(quán)利要求I所述的海量事件安全分析方法，其特征在于所述步驟20中， 所述基礎(chǔ)漏洞分析是對(duì)事件本身由于某些漏洞引起的而需要進(jìn)行的基礎(chǔ)分析； 所述規(guī)則分析是在短時(shí)間內(nèi)對(duì)一些有相同屬性的事件進(jìn)行關(guān)聯(lián)分析； 所述一些信息的確認(rèn)是指將原始事件中的地址和端口信息與防火墻上的NAT信息進(jìn)行比對(duì)確認(rèn)。
3.根據(jù)權(quán)利要求I所述的海量事件安全分析方法，其特征在于所述步驟30中，所述對(duì)挖掘無(wú)意義的信息包括平臺(tái)未識(shí)別事件和防火墻允許的用戶事件。
4.根據(jù)權(quán)利要求I所述的海量事件安全分析方法，其特征在于所述步驟50中在網(wǎng)絡(luò)中進(jìn)行定位是通過(guò)對(duì)異常目標(biāo)反查的方式完成，該異常目標(biāo)反查的方式是指將異常的事件源做為目標(biāo)，對(duì)這些目標(biāo)相關(guān)事件繼續(xù)進(jìn)行深入挖掘分析，重復(fù)上述過(guò)程，到相關(guān)的目標(biāo)不存在事件為止。
5.一種海量事件安全分析裝置，其特征在于包括 海量事件存儲(chǔ)庫(kù)用于存放海量的原始事件，該海量事件存儲(chǔ)庫(kù)是基于云平臺(tái)的HDFS實(shí)現(xiàn)了對(duì)海量事件的存儲(chǔ)； 基礎(chǔ)分析引擎用于對(duì)原始日志事件進(jìn)行基礎(chǔ)漏洞，規(guī)則的分析和一些信息的確認(rèn)生成完整和準(zhǔn)確的初步分析結(jié)果； 初步分析結(jié)果庫(kù)用于存放初步的分析結(jié)果； 數(shù)據(jù)庫(kù)與HDFS交互引擎通過(guò)SQOOP完成數(shù)據(jù)庫(kù)和分布式文件系統(tǒng)HDFS的交互，將所有原始事件、初步的分析結(jié)果在分布式文件系統(tǒng)HDFS和數(shù)據(jù)庫(kù)之間進(jìn)行交互，該數(shù)據(jù)庫(kù)包括海量事件存儲(chǔ)庫(kù)和初步分析結(jié)果庫(kù)； 事件過(guò)濾引擎通過(guò)腳本語(yǔ)言對(duì)所有原始事件和初步的分析結(jié)果中一些對(duì)挖掘無(wú)意義的信息進(jìn)行過(guò)濾；事件歸并引擎通過(guò)腳本語(yǔ)言對(duì)原始事件和初步的分析結(jié)果按照一些條件進(jìn)行歸并，主要按照原始事件的源地址，源端口，目的地址，目的端口，事件分類(lèi)對(duì)事件進(jìn)行一些歸并操作； 事件統(tǒng)計(jì)引擎通過(guò)腳本語(yǔ)言對(duì)原始事件按條件進(jìn)行統(tǒng)計(jì)； 深入挖掘腳本庫(kù)用于存放各類(lèi)挖掘腳本，該挖掘腳本是用于查看“基于源地址、目的地址或事件分類(lèi)而進(jìn)行的各類(lèi)攻擊”; 腳本調(diào)度引擎通過(guò)一系列的配置和一系列的調(diào)度規(guī)則來(lái)從深入挖掘腳本庫(kù)調(diào)用合適的深入挖掘腳本；該挖掘腳本是用于查看“基于源地址、目的地址或事件分類(lèi)而進(jìn)行的各類(lèi)攻擊”; 攻擊拓?fù)渖梢鎴?zhí)行所調(diào)用的挖掘腳本，完成所有原始事件和初步的分析結(jié)果的 源和目標(biāo)IP的關(guān)聯(lián)以及挖掘腳本之間的關(guān)聯(lián)并輸出異常情況； 安全經(jīng)驗(yàn)庫(kù)用于存放各類(lèi)異常情況的解決方案； 響應(yīng)模塊通過(guò)所述攻擊拓?fù)渖梢孑敵龅漠惓Ｇ闆r，在安全經(jīng)驗(yàn)庫(kù)匹配解決方案，并將異常情況和解決方案通過(guò)各種響應(yīng)方式通知用戶。
6.根據(jù)權(quán)利要求5所述的海量事件安全分析裝置，其特征在于 所述基礎(chǔ)漏洞分析是對(duì)事件本身由于某些漏洞引起的而需要進(jìn)行的基礎(chǔ)分析； 所述規(guī)則分析是在短時(shí)間內(nèi)對(duì)一些有相同屬性的事件進(jìn)行關(guān)聯(lián)分析； 所述一些信息的確認(rèn)是指將原始事件中的地址和端口信息與防火墻上的NAT信息進(jìn)行比對(duì)確認(rèn)。
7.根據(jù)權(quán)利要求5所述的海量事件安全分析裝置，其特征在于所述對(duì)挖掘無(wú)意義的信息包括平臺(tái)未識(shí)別事件和防火墻允許的用戶事件。
8.根據(jù)權(quán)利要求5所述的海量事件安全分析裝置，其特征在于所述攻擊拓?fù)渖梢媸峭ㄟ^(guò)對(duì)異常目標(biāo)反查的方式完成在網(wǎng)絡(luò)中進(jìn)行定位，該異常目標(biāo)反查的方式是指將異常的事件源做為目標(biāo)，對(duì)這些目標(biāo)相關(guān)事件繼續(xù)進(jìn)行深入挖掘分析，重復(fù)上述過(guò)程，到相關(guān)的目標(biāo)不存在事件為止。
9.根據(jù)權(quán)利要求5所述的海量事件安全分析裝置，其特征在于所述腳本調(diào)度引擎涉及到的調(diào)度規(guī)則包括安排不同的深入挖掘腳本之間的時(shí)序關(guān)系。
全文摘要
本發(fā)明提供一種海量事件安全分析方法和裝置，方法包括對(duì)海量的原始事件進(jìn)行存儲(chǔ)；對(duì)原始事件進(jìn)行初步的基礎(chǔ)分析，生成初步的分析結(jié)果并儲(chǔ)存；將初步的基礎(chǔ)分析結(jié)果與海量原始事件進(jìn)入分布式文件系統(tǒng)HDFS進(jìn)行并行分析，并行分析包括交互、過(guò)濾、歸并以及統(tǒng)計(jì)等從深入挖掘腳本庫(kù)調(diào)用合適的深入挖掘腳本；用于查看“基于源地址、目的地址或事件分類(lèi)而進(jìn)行的各類(lèi)攻擊”；執(zhí)行所調(diào)用的挖掘腳本，完成所有事件的源和目標(biāo)IP的關(guān)聯(lián)以及挖掘腳本之間的關(guān)聯(lián)，在網(wǎng)絡(luò)中進(jìn)行定位異常情況；最后將異常情況和解決方案通過(guò)各種響應(yīng)方式通知用戶。裝置則包括執(zhí)行上述方法的各虛擬模塊，本發(fā)明的優(yōu)點(diǎn)在于對(duì)海量事件的分析更加準(zhǔn)確、完整、迅速。
文檔編號(hào)H04L12/26GK102790706SQ201210265238
公開(kāi)日2012年11月21日 申請(qǐng)日期2012年7月27日 優(yōu)先權(quán)日2012年7月27日
發(fā)明者唐敏, 涂大志, 王豐, 陳冬冬, 黃震奇 申請(qǐng)人:福建富士通信息軟件有限公司