一種安全漏洞回溯分析方法及裝置的制造方法
【專利摘要】本發(fā)明提供了一種安全漏洞回溯分析方法及裝置。方法包括:采集網(wǎng)絡中安全設備的日志數(shù)據(jù)和路由交換設備的Netflow數(shù)據(jù);將采集到的日志數(shù)據(jù)和Netflow數(shù)據(jù)一同進行格式化處理,獲得時序網(wǎng)絡數(shù)據(jù)流;將獲得的時序網(wǎng)絡數(shù)據(jù)流存儲于HDFS中;通過網(wǎng)絡爬蟲器獲取到最新的安全漏洞數(shù)據(jù),將所述安全漏洞數(shù)據(jù)轉(zhuǎn)化為回溯分析規(guī)則;從HDFS中提取出時序網(wǎng)絡數(shù)據(jù)流,并根據(jù)所述回溯分析規(guī)則計算得到受安全漏洞影響的IP資產(chǎn)相關數(shù)據(jù);根據(jù)所述受安全漏洞影響的IP資產(chǎn)相關數(shù)據(jù)計算得到安全漏洞影響指數(shù)。本發(fā)明能夠?qū)崿F(xiàn)針對單一安全漏洞對特定企業(yè)網(wǎng)絡的影響性進行動態(tài)分析,且本發(fā)明基于大數(shù)據(jù)的回溯分析來分析安全漏洞的潛在影響。
【專利說明】
一種安全漏洞回溯分析方法及裝置
技術領域
[0001 ]本發(fā)明涉及信息安全技術領域,更具體地說,涉及一種安全漏洞回溯分析方法及 裝置。
【背景技術】
[0002] 在互聯(lián)網(wǎng)+的發(fā)展趨勢下,網(wǎng)絡的復雜程度逐日增加,這就使得網(wǎng)絡故障的排查難 度與日倶增,未來網(wǎng)絡攻擊的模式會越來越多地以高級持續(xù)性威脅(Advanced Persistent Threat,APT)的方式實施。APT攻擊是攻擊者以竊取核心資料為目的,針對客戶所發(fā)動的網(wǎng) 絡攻擊和侵襲行為,是一種蓄謀已久的惡意商業(yè)間諜威脅。這種行為往往經(jīng)過長期的經(jīng)營 與策劃,并具備高度的隱蔽性。APT攻擊的特征是采用新型未公開的漏洞(Oday漏洞)執(zhí)行且 攻擊周期長。
[0003] 為了保護信息的安全,企業(yè)可以投資購買世界上最好的情報信息,部署最好的技 術來抵御威脅,然而其信息系統(tǒng)仍有可能受安全管理程序錯過的簡單漏洞的影響。而且在 實際應用時,大多數(shù)企業(yè)沒有足夠的人員、時間、資金、和精力來應對威脅,企業(yè)安全投入資 源有限。因此,對安全漏洞情報數(shù)據(jù)的合理甄別,對于安全漏洞針對本企業(yè)網(wǎng)絡的威脅程度 進行有效判定是以對抗為主體的安全防御體系下非常重要的環(huán)節(jié)。
[0004] 目前國內(nèi)外安全漏洞影響性分析的成果較少,且可使用性差。有些公司已經(jīng)發(fā)布 了網(wǎng)絡安全指數(shù),但該網(wǎng)絡安全指數(shù)是針對整個互聯(lián)網(wǎng)的安全態(tài)勢,針對企業(yè)網(wǎng)絡不具備 實用價值。本發(fā)明的發(fā)明人就現(xiàn)有的安全漏洞影響分析方法來說,其主要存在以下幾個問 題:
[0005] 1、現(xiàn)有提供的安全漏洞影響分析方法基于的是網(wǎng)絡宏觀指數(shù),沒有針對具體的漏 洞和具體的企業(yè)網(wǎng)絡做針對性分析,針對性差。
[0006] 2、現(xiàn)有提供的安全漏洞影響分析方法往往只分析當前態(tài)勢,無法體現(xiàn)潛在影響。 而實際上,APT類攻擊往往潛伏周期長,必須基于網(wǎng)絡歷史數(shù)據(jù)的回溯分析,才能體現(xiàn)安全 漏洞的真正影響。
【發(fā)明內(nèi)容】
[0007] 有鑒于此,本發(fā)明提供一種安全漏洞回溯分析方法及裝置,以解決現(xiàn)有安全漏洞 影響分析方法針對性差、無法體現(xiàn)潛在影響的問題。技術方案如下:
[0008] 基于本發(fā)明的一方面,本發(fā)明提供一種安全漏洞回溯分析方法,包括:
[0009] 采集網(wǎng)絡中安全設備的日志數(shù)據(jù)和路由交換設備的Netflow數(shù)據(jù);
[0010]將采集到的日志數(shù)據(jù)和Netflow數(shù)據(jù)一同進行格式化處理,獲得時序網(wǎng)絡數(shù)據(jù)流;
[0011] 將所述時序網(wǎng)絡數(shù)據(jù)流存儲于分布式文件存儲系統(tǒng)HDFS中;
[0012] 通過網(wǎng)絡爬蟲器獲取最新的安全漏洞數(shù)據(jù),并將所述安全漏洞數(shù)據(jù)轉(zhuǎn)化為回溯分 析規(guī)則;
[0013] 從所述HDFS中提取出所述時序網(wǎng)絡數(shù)據(jù)流,并根據(jù)所述回溯分析規(guī)則計算得到受 安全漏洞影響的IP資產(chǎn)相關數(shù)據(jù);
[0014] 根據(jù)所述受安全漏洞影響的IP資產(chǎn)相關數(shù)據(jù)計算得到安全漏洞影響指數(shù)。
[0015] 優(yōu)選地,所述將所述安全漏洞數(shù)據(jù)轉(zhuǎn)化為回溯分析規(guī)則包括:
[0016] 采用正則表達式,將所述安全漏洞數(shù)據(jù)轉(zhuǎn)化為回溯分析規(guī)則;
[0017] 其中,所述正則表達式中的規(guī)則內(nèi)容至少包括以下一種:漏洞名稱、漏洞編號、廠 商、漏洞等級、影響協(xié)議、影響端口、影響操作系統(tǒng)、漏洞詳情。
[0018] 優(yōu)選地,所述從所述HDFS中提取出所述時序網(wǎng)絡數(shù)據(jù)流,并根據(jù)所述回溯分析規(guī) 則計算得到受安全漏洞影響的IP資產(chǎn)相關數(shù)據(jù)包括:
[0019] 采用批處理算法,從HDFS中提取出所述時序網(wǎng)絡數(shù)據(jù)流;
[0020] 根據(jù)所述回溯分析規(guī)則,獲取與所述時序網(wǎng)絡數(shù)據(jù)流相匹配的時序網(wǎng)絡數(shù)據(jù)序 列;
[0021] 按照IP地址聚合計算方法,對所述時序網(wǎng)絡數(shù)據(jù)序列進行計算,獲得所述受安全 漏洞影響的IP資產(chǎn)相關數(shù)據(jù);其中,所述IP資產(chǎn)相關數(shù)據(jù)包括受安全漏洞影響的IP地址和 所述IP地址的統(tǒng)計信息;所述IP地址的統(tǒng)計信息包括:所述IP地址匹配命中的安全日志數(shù) 量、所述IP地址匹配命中的流量和所述IP地址受影響的總時長。
[0022] 優(yōu)選地,所述根據(jù)所述受安全漏洞影響的IP資產(chǎn)相關數(shù)據(jù)計算得到安全漏洞影響 指數(shù)包括:
[0023]
f算得到所述安全漏洞 影響指數(shù)f(x);
[0024] 其中,U為IPi的安全日志數(shù)量;
[0025] Pfi為IPi的影響流量占回溯分析周期內(nèi)總流量的比值,取值范圍為0~1;
[0026] ?。為1&的影響時長占回溯分析周期內(nèi)總時長的比值,取值范圍為0~1;
[0027] IPi為受安全漏洞影響的IP序列中的第i個,i為正整數(shù)。
[0028]優(yōu)選地,所述采集網(wǎng)絡中安全設備的日志數(shù)據(jù)和路由交換設備的Netflow數(shù)據(jù)包 括:
[0029]通過系統(tǒng)日志syslog協(xié)議采集企業(yè)網(wǎng)絡中安全設備的日志數(shù)據(jù);
[0030] 通過Netflow協(xié)議及類Netflow協(xié)議采集路由交換設備的Netflow數(shù)據(jù)。
[0031 ]優(yōu)選地,將所述時序網(wǎng)絡數(shù)據(jù)流存儲于HDFS中包括:
[0032] 以預設時間為周期,周期性地將獲得的時序網(wǎng)絡數(shù)據(jù)流存儲于HDFS中。
[0033] 優(yōu)選地,所述將所述時序網(wǎng)絡數(shù)據(jù)流存儲于HDFS中后,所述方法還包括:
[0034] 為存儲的時序網(wǎng)絡數(shù)據(jù)流增加時間戳。
[0035] 優(yōu)選地,所述通過網(wǎng)絡爬蟲器獲取最新的安全漏洞數(shù)據(jù)包括:
[0036] 通過網(wǎng)絡爬蟲器持續(xù)、定時地從互聯(lián)網(wǎng)安全漏洞庫中獲取最新的安全漏洞數(shù)據(jù)。 [0037]基于本發(fā)明的另一方面,本發(fā)明還提供一種安全漏洞回溯分析裝置,包括:
[0038]數(shù)據(jù)采集單元,用于采集網(wǎng)絡中安全設備的日志數(shù)據(jù)和路由交換設備的Netflow 數(shù)據(jù);
[0039] 格式化處理單元,用于將采集到的日志數(shù)據(jù)和Netflow數(shù)據(jù)一同進行格式化處理, 獲得時序網(wǎng)絡數(shù)據(jù)流;
[0040] 存儲單元,用于將所述時序網(wǎng)絡數(shù)據(jù)流存儲于分布式文件存儲系統(tǒng)HDFS中;
[0041] 回溯分析規(guī)則生成單元,用于通過網(wǎng)絡爬蟲器獲取最新的安全漏洞數(shù)據(jù),并將所 述安全漏洞數(shù)據(jù)轉(zhuǎn)化為回溯分析規(guī)則;
[0042]第一處理單元,用于從所述HDFS中提取出所述時序網(wǎng)絡數(shù)據(jù)流,并根據(jù)所述回溯 分析規(guī)則計算得到受安全漏洞影響的IP資產(chǎn)相關數(shù)據(jù);
[0043] 第二處理單元,用于根據(jù)所述受安全漏洞影響的IP資產(chǎn)相關數(shù)據(jù)、所述日志數(shù)據(jù) 和所述Netflow數(shù)據(jù)計算得到安全漏洞影響指數(shù)。
[0044] 優(yōu)選地,所述回溯分析規(guī)則生成單元具體用于,采用正則表達式,將所述安全漏洞 數(shù)據(jù)轉(zhuǎn)化為回溯分析規(guī)則;
[0045] 其中,所述正則表達式中的規(guī)則內(nèi)容至少包括以下一種:漏洞名稱、漏洞編號、廠 商、漏洞等級、影響協(xié)議、影響端口、影響操作系統(tǒng)、漏洞詳情。
[0046] 優(yōu)選地,所述第一處理單元包括:
[0047] 第一處理子單元,用于采用批處理算法,從HDFS中提取出所述時序網(wǎng)絡數(shù)據(jù)流; [0048]第二處理子單元,用于根據(jù)所述回溯分析規(guī)則,獲取與所述時序網(wǎng)絡數(shù)據(jù)流相匹 配的時序網(wǎng)絡數(shù)據(jù)序列;
[0049]第三處理子單元,用于按照IP地址聚合計算方法,對所述時序網(wǎng)絡數(shù)據(jù)序列進行 計算,獲得所述受安全漏洞影響的IP資產(chǎn)相關數(shù)據(jù);其中,所述IP資產(chǎn)相關數(shù)據(jù)包括受安全 漏洞影響的IP地址和所述IP地址的統(tǒng)計信息;所述IP地址的統(tǒng)計信息包括:所述IP地址匹 配命中的安全日志數(shù)量、所述IP地址匹配命中的流量和所述IP地址受影響的總時長。
[0050] 娜也,臓第二麵單元具體用于 計算得到所述安全漏洞影響指數(shù)f(x);
[0051 ]其中,Li為IPi的安全日志數(shù)量;
[0052] Pfi為IPi的影響流量占回溯分析周期內(nèi)總流量的比值,取值范圍為0~1;
[0053] ?^為1匕的影響時長占回溯分析周期內(nèi)總時長的比值,取值范圍為0~1;
[0054] IPi為受安全漏洞影響的IP序列中的第i個,i為正整數(shù)。
[0055] 優(yōu)選地,所述數(shù)據(jù)采集單元包括:
[0056] 第一數(shù)據(jù)采集子單元,用于通過系統(tǒng)日志syslog協(xié)議采集企業(yè)網(wǎng)絡中安全設備的 日志數(shù)據(jù);
[0057] 第二數(shù)據(jù)采集子單元,用于通過Netf low協(xié)議及類Netf low協(xié)議采集路由交換設備 的Netf low數(shù)據(jù)。
[0058] 優(yōu)選地,所述存儲單元具體用于,以預設時間為周期,周期性地將獲得的時序網(wǎng)絡 數(shù)據(jù)流存儲于HDFS中。
[0059] 優(yōu)選地,所述通過網(wǎng)絡爬蟲器獲取最新的安全漏洞數(shù)據(jù)包括:
[0060] 通過網(wǎng)絡爬蟲器持續(xù)、定時地從互聯(lián)網(wǎng)安全漏洞庫中獲取最新的安全漏洞數(shù)據(jù)。
[0061] 應用本發(fā)明提供的安全漏洞回溯分析方法,本發(fā)明通過采集網(wǎng)絡中安全設備的日 志數(shù)據(jù)和路由交換設備的Netflow數(shù)據(jù),進而將采集到的日志數(shù)據(jù)和Netflow數(shù)據(jù)一同進行 格式化處理,獲得時序網(wǎng)絡數(shù)據(jù)流,并將獲得的時序網(wǎng)絡數(shù)據(jù)流存儲于HDFS(Had〇〇p Distributed File System,分布式文件存儲系統(tǒng))中。當本發(fā)明通過網(wǎng)絡爬蟲器獲取到最 新的安全漏洞數(shù)據(jù)時,便將所述安全漏洞數(shù)據(jù)轉(zhuǎn)化為回溯分析規(guī)則,且進一步從HDFS中提 取出時序網(wǎng)絡數(shù)據(jù)流,并根據(jù)所述回溯分析規(guī)則計算得到受安全漏洞影響的IPdnternet Protocol,網(wǎng)絡之間互連的協(xié)議)資產(chǎn)相關數(shù)據(jù)。最后根據(jù)所述受安全漏洞影響的IP資產(chǎn)相 關數(shù)據(jù)計算得到安全漏洞影響指數(shù)。本發(fā)明能夠?qū)崿F(xiàn)針對單一安全漏洞對特定企業(yè)網(wǎng)絡或 者某具體業(yè)務部門網(wǎng)絡的影響性進行動態(tài)分析,且本發(fā)明基于大數(shù)據(jù)的回溯分析,針對APT 類攻擊能夠分析出其安全漏洞的潛在影響。
【附圖說明】
[0062] 為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案,下面將對實施例或現(xiàn) 有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本 發(fā)明的實施例,對于本領域普通技術人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù) 提供的附圖獲得其他的附圖。
[0063] 圖1為本發(fā)明提供的一種安全漏洞回溯分析方法的流程圖;
[0064] 圖2為本發(fā)明提供的一種安全漏洞回溯分析方法的另一種流程圖;
[0065] 圖3為本發(fā)明提供的一種安全漏洞回溯分析裝置的結構示意圖。
【具體實施方式】
[0066] 下面將結合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術方案進行清楚、完 整地描述,顯然,所描述的實施例僅僅是本發(fā)明一部分實施例,而不是全部的實施例?;?本發(fā)明中的實施例,本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他 實施例,都屬于本發(fā)明保護的范圍。
[0067] 請參閱圖1,其示出了本發(fā)明提供的一種安全漏洞回溯分析方法的流程圖,包括: [0068]步驟101,采集網(wǎng)絡中安全設備的日志數(shù)據(jù)和路由交換設備的Netf low數(shù)據(jù)。
[0069] 在本發(fā)明中,可以通過系統(tǒng)日志syslog協(xié)議采集企業(yè)網(wǎng)絡中安全設備的日志數(shù) 據(jù),并通過Netf low協(xié)議及類Netf low協(xié)議采集路由交換設備的Netflow數(shù)據(jù)。其中,類 如七;1^1〇¥協(xié)議可以包括如七31:代&111,3?1〇¥、1??1父等。
[0070] 作為本發(fā)明優(yōu)選的,本發(fā)明實時采集網(wǎng)絡中安全設備的日志數(shù)據(jù)和路由交換設備 的Netflow數(shù)據(jù)。當然,本發(fā)明也可周期性、或不定時地采集網(wǎng)絡中安全設備的日志數(shù)據(jù)和 路由交換設備的Netf low數(shù)據(jù)。
[0071] 步驟102,將采集到的日志數(shù)據(jù)和Netflow數(shù)據(jù)一同進行格式化處理,獲得時序網(wǎng) 絡數(shù)據(jù)流。
[0072]本發(fā)明會將采集到的日志數(shù)據(jù)和Netf low數(shù)據(jù)同時進行格式化處理,從而獲得時 序網(wǎng)絡數(shù)據(jù)流。
[0073] 本發(fā)明中時序網(wǎng)絡數(shù)據(jù)流的格式可以設計為如下統(tǒng)一格式:
[0074] Option Field lType= "數(shù)據(jù)分類" index = 0;
[0075] Option Field 2Type= "源地址" index = l;
[0076] Option Field 3Type= "目的地址" index = 2;
[0077] Option Field 4Type= "源端口" index = 3;
[0078] Option Field 5Type= "目的端口" index = 4;
[0079] Option Field 6Type= "協(xié)議" index = 5;
[0080] Option Field 7Type= "應用協(xié)議" index = 6;
[0081] Option Field 8Type= "事件分類" index = 7;
[0082] Option Field 9Type= "事件等級" index = 8;
[0083] Option Field 10Type= "資產(chǎn)分類" index = 9;
[0084] Option Field llType= "資產(chǎn)操作系統(tǒng)" index = 10;
[0085] Option Field 12Type= "發(fā)生時間" index = 11。
[0086] 步驟103,將所述時序網(wǎng)絡數(shù)據(jù)流存儲于HDFS中。
[0087] 在本發(fā)明中,本發(fā)明會將獲得的時序網(wǎng)絡數(shù)據(jù)流及時、持續(xù)地存儲在HDFS中。其中 作為本發(fā)明優(yōu)選的,本發(fā)明可以以預設時間為周期,周期性地將獲得的時序網(wǎng)絡數(shù)據(jù)流存 儲于HDFS中。例如,以天為周期,將每天獲得的時序網(wǎng)絡數(shù)據(jù)流存儲于HDFS中的一個分區(qū), 或以一小時為周期,將每小時獲得的時序網(wǎng)絡數(shù)據(jù)流存儲于HDFS中的一個分區(qū)等。
[0088] 此外,本發(fā)明在將時序網(wǎng)絡數(shù)據(jù)流存儲于HDFS中后,還可以為存儲的時序網(wǎng)絡數(shù) 據(jù)流增加時間戳。例如,在以天為周期,將每天獲得的時序網(wǎng)絡數(shù)據(jù)流存儲于HDFS中的一個 分區(qū)后,可以在存儲的時序網(wǎng)絡數(shù)據(jù)流上增加 day的時間戳,在以一小時為周期,將每小時 獲得的時序網(wǎng)絡數(shù)據(jù)流存儲于HDFS中的一個分區(qū)后,可以在存儲的時序網(wǎng)絡數(shù)據(jù)流上增加 hour的時間戳。本發(fā)明為存儲的時序網(wǎng)絡數(shù)據(jù)流增加時間戳,以便于本發(fā)明進行回溯分析 時可以高效地提取出需要的時序網(wǎng)絡數(shù)據(jù)流。
[0089] 步驟104,通過網(wǎng)絡爬蟲器獲取最新的安全漏洞數(shù)據(jù),并將所述安全漏洞數(shù)據(jù)轉(zhuǎn)化 為回溯分析規(guī)則。
[0090] 在本發(fā)明中,可以采用互聯(lián)網(wǎng)安全漏洞庫,如CNCERT國家互聯(lián)網(wǎng)應急中心提供的 漏洞公告,通過網(wǎng)絡爬蟲器持續(xù)、定時地從互聯(lián)網(wǎng)安全漏洞庫中獲取最新的安全漏洞數(shù)據(jù)。 本發(fā)明中,每當獲取到最新的安全漏洞數(shù)據(jù)時,便將該獲得的安全漏洞數(shù)據(jù)轉(zhuǎn)化為回溯分 析規(guī)則。
[0091] 具體的,本發(fā)明采用正則表達式,將獲得的最新的安全漏洞數(shù)據(jù)轉(zhuǎn)化為回溯分析 規(guī)則。其中,所述正則表達式中的規(guī)則內(nèi)容至少包括以下一種:漏洞名稱、漏洞編號、廠商、 漏洞等級、影響協(xié)議、影響端口、影響操作系統(tǒng)、漏洞詳情。
[0092] 在本發(fā)明中,安全漏洞的格式可以設計為如下統(tǒng)一格式:
[0093] Option Field lType= "漏洞名稱" index = 0;
[0094] Option Field 2Type= "漏洞編號" index = l;
[0095] Option Field 3Type= "廠商" index = 2;
[0096] Option Field 4Type= "漏洞等級" index = 3;
[0097] Option Field 5Type= "影響協(xié)議" index = 4;
[0098] Option Field 6Type= "影響端口" index = 5;
[0099] Option Field 7Type= "影響操作系統(tǒng)" index = 6;
[0100] Option Field 8Type= "漏洞詳情" index = 7〇
[0101] 步驟105,從所述HDFS中提取出所述時序網(wǎng)絡數(shù)據(jù)流,并根據(jù)所述回溯分析規(guī)則計 算得到受安全漏洞影響的IP資產(chǎn)相關數(shù)據(jù)。
[0102] 在本發(fā)明中,每當通過網(wǎng)絡爬蟲器獲取到最新的安全漏洞數(shù)據(jù),并將所述安全漏 洞數(shù)據(jù)轉(zhuǎn)化為回溯分析規(guī)則后,便從HDFS中提取出時序網(wǎng)絡數(shù)據(jù)流,進而根據(jù)所述回溯分 析規(guī)則計算得到受安全漏洞影響的IP資產(chǎn)相關數(shù)據(jù)。
[0103] 具體地,本發(fā)明中的步驟105包括,如圖2所示:
[0104] 步驟1051,采用批處理算法,從HDFS中提取出所述時序網(wǎng)絡數(shù)據(jù)流。
[0105] 本發(fā)明采用批處理算法,從HDFS中提取出時序網(wǎng)絡數(shù)據(jù)流。同時,本發(fā)明還可以采 用逐段分析的策略,將每小時提取出的時序網(wǎng)絡數(shù)據(jù)流存儲至計算機內(nèi)存。
[0106] 步驟1052,根據(jù)所述回溯分析規(guī)則,獲取與所述時序網(wǎng)絡數(shù)據(jù)流相匹配的時序網(wǎng) 絡數(shù)據(jù)序列。
[0107] 步驟1053,按照IP地址聚合計算方法,對所述時序網(wǎng)絡數(shù)據(jù)序列進行計算,獲得所 述受安全漏洞影響的IP資產(chǎn)相關數(shù)據(jù)。
[0108] 其中,所述IP資產(chǎn)相關數(shù)據(jù)包括受安全漏洞影響的IP地址和所述IP地址的統(tǒng)計信 息。所述IP地址的統(tǒng)計信息進一步包括:所述IP地址匹配命中的安全日志數(shù)量、所述IP地址 匹配命中的流量和所述IP地址受影響的總時長。
[0109] 作為本發(fā)明優(yōu)選地,本發(fā)明可以將所述受安全漏洞影響的IP資產(chǎn)相關數(shù)據(jù)存儲至 計算機內(nèi)存中。
[0110] 步驟106,根據(jù)所述受安全漏洞影響的IP資產(chǎn)相關數(shù)據(jù)計算得到安全漏洞影響指 數(shù)。
[0111] 在本發(fā)明中,根據(jù)回溯分析結果,假設受安全漏洞影響的IP序列為{IPhlP^IPs, IP4JP5.......,IPn},其中,IPi為受安全漏洞影響的IP序列中的第i個,i為正整數(shù)。
[0112] 那么,其對應的安全日志數(shù)量的序列為:{Li,L2,L3,L4,L5.......L n},Li為IPi的安 全日志數(shù)量。
[0113] 其對應的流量占比序列為:{ Pf i,Pf 2,Pf 3,Pf 4,Pf 5.......,Pf n },Pf i為I Pi的影響流 量占回溯分析周期內(nèi)總流量的比值,取值范圍為〇~1;
[0114] 其對應的影響總時長序列為JPthPthPthPthPts.......,Ptn},Pti為IPi的影響 時長占回溯分析周期內(nèi)總時長的比值,取值范圍為0~1;
[0115] 此外,本發(fā)明中定義IPi的事件影響頻度計算為:
,取值范圍為〇 ~1 〇
[0116] 此時,
計算得到所述安全 漏洞影響指數(shù)f(x)。
[0117] 在本發(fā)明中,安全漏洞影響指數(shù)f(x)的取值范圍為0~100。本發(fā)明可以預先設定 不同的判定標準,例如,當f (X)的值位于7 6~10 0之間時,表示當前受安全漏洞影響較高;當 f(x)的值位于51~75之間時,表示當前受安全漏洞影響中等;當f(x)的值位于26~50之間 時,表示當前受安全漏洞影響較低;當f(x)的值位于〇~25之間時,表示當前受安全漏洞影 響非常低。當然,本發(fā)明也可以根據(jù)不同的網(wǎng)絡環(huán)境,對判定標準進行相應調(diào)整。
[0118] 因此應用本發(fā)明上述技術方案,本發(fā)明通過采集網(wǎng)絡中安全設備的日志數(shù)據(jù)和路 由交換設備的Netflow數(shù)據(jù),進而將采集到的日志數(shù)據(jù)和Netflow數(shù)據(jù)一同進行格式化處 理,獲得時序網(wǎng)絡數(shù)據(jù)流,并將獲得的時序網(wǎng)絡數(shù)據(jù)流存儲于HDFS中。當本發(fā)明通過網(wǎng)絡爬 蟲器獲取到最新的安全漏洞數(shù)據(jù)時,便將所述安全漏洞數(shù)據(jù)轉(zhuǎn)化為回溯分析規(guī)則,且進一 步從HDFS中提取出時序網(wǎng)絡數(shù)據(jù)流,并根據(jù)所述回溯分析規(guī)則計算得到受安全漏洞影響的 IP資產(chǎn)相關數(shù)據(jù)。最后根據(jù)所述受安全漏洞影響的IP資產(chǎn)相關數(shù)據(jù)計算得到安全漏洞影響 指數(shù)。本發(fā)明能夠?qū)崿F(xiàn)針對單一安全漏洞對特定企業(yè)網(wǎng)絡或者某具體業(yè)務部門網(wǎng)絡的影響 性進行動態(tài)分析,且本發(fā)明基于大數(shù)據(jù)的回溯分析,針對APT類攻擊能夠分析出其安全漏洞 的潛在影響。
[0119] 基于前文本發(fā)明提供的一種安全漏洞回溯分析方法,本發(fā)明還提供一種安全漏洞 回溯分析裝置,如圖3所示,包括:數(shù)據(jù)采集單元100、格式化處理單元200、存儲單元300、回 溯分析規(guī)則生成單元400、第一處理單元500和第二處理單元600。其中,
[0120] 數(shù)據(jù)采集單元100,用于采集網(wǎng)絡中安全設備的日志數(shù)據(jù)和路由交換設備的 Netf low 數(shù)據(jù)。
[0121] 在本發(fā)明中,數(shù)據(jù)采集單元100進一步包括:
[0122] 第一數(shù)據(jù)采集子單元101,用于通過系統(tǒng)日志syslog協(xié)議采集企業(yè)網(wǎng)絡中安全設 備的日志數(shù)據(jù);
[0123] 第二數(shù)據(jù)采集子單元102,用于通過Netf low協(xié)議及類Netf low協(xié)議采集路由交換 設備的Netf low數(shù)據(jù)。
[0124] 作為本發(fā)明優(yōu)選的,本發(fā)明中的第一數(shù)據(jù)采集子單元101實時采集企業(yè)網(wǎng)絡中安 全設備的日志數(shù)據(jù),第二數(shù)據(jù)采集子單元102實時采集企業(yè)網(wǎng)絡中路由交換設備的Netflow 數(shù)據(jù)。當然,本發(fā)明也可周期性、或不定時地采集網(wǎng)絡中安全設備的日志數(shù)據(jù)和路由交換設 備的Netf low數(shù)據(jù)。
[0125] 格式化處理單元200,用于將采集到的日志數(shù)據(jù)和Netf low數(shù)據(jù)一同進行格式化處 理,獲得時序網(wǎng)絡數(shù)據(jù)流。
[0126] 本發(fā)明中時序網(wǎng)絡數(shù)據(jù)流的格式可以設計為如下統(tǒng)一格式:
[0127] Option Field lType= "數(shù)據(jù)分類" index = 0;
[0128] Option Field 2Type= "源地址" index = l;
[0129] Option Field 3Type= "目的地址" index = 2;
[0130] Option Field 4Type= "源端口" index = 3;
[0131] Option Field 5Type= "目的端口" index = 4;
[0132] Option Field 6Type= "協(xié)議" index = 5;
[0133] Option Field 7Type= "應用協(xié)議" index = 6;
[0134] Option Field 8Type= "事件分類" index = 7;
[0135] Option Field 9Type= "事件等級" index = 8;
[0136] Option Field 10Type= "資產(chǎn)分類" index = 9;
[0137] Option Field llType= "資產(chǎn)操作系統(tǒng)" index = 10;
[0138] Option Field 12Type= "發(fā)生時間" index = 11。
[0139]存儲單元300,用于將所述時序網(wǎng)絡數(shù)據(jù)流存儲于HDFS中。
[0140] 本發(fā)明中,存儲單元300會將獲得的時序網(wǎng)絡數(shù)據(jù)流及時、持續(xù)地存儲在HDFS中。 其中作為本發(fā)明優(yōu)選的,存儲單元300還具體用于,以預設時間為周期,周期性地將獲得的 時序網(wǎng)絡數(shù)據(jù)流存儲于HDFS中。例如,以天為周期,將每天獲得的時序網(wǎng)絡數(shù)據(jù)流存儲于 HDFS中的一個分區(qū),或以一小時為周期,將每小時獲得的時序網(wǎng)絡數(shù)據(jù)流存儲于HDFS中的 一個分區(qū)等。
[0141] 回溯分析規(guī)則生成單元400,用于通過網(wǎng)絡爬蟲器獲取最新的安全漏洞數(shù)據(jù),并將 所述安全漏洞數(shù)據(jù)轉(zhuǎn)化為回溯分析規(guī)則。
[0142] 在本發(fā)明中,可以采用互聯(lián)網(wǎng)安全漏洞庫,如CNCERT國家互聯(lián)網(wǎng)應急中心提供的 漏洞公告,通過網(wǎng)絡爬蟲器持續(xù)、定時地從互聯(lián)網(wǎng)安全漏洞庫中獲取最新的安全漏洞數(shù)據(jù)。
[0143] 具體在本發(fā)明中,回溯分析規(guī)則生成單元400具體用于,采用正則表達式,將所述 安全漏洞數(shù)據(jù)轉(zhuǎn)化為回溯分析規(guī)則。其中,所述正則表達式中的規(guī)則內(nèi)容至少包括以下一 種:漏洞名稱、漏洞編號、廠商、漏洞等級、影響協(xié)議、影響端口、影響操作系統(tǒng)、漏洞詳情。
[0144] 在本發(fā)明中,安全漏洞的格式可以設計為如下統(tǒng)一格式:
[0145] Option Field lType= "漏洞名稱" index = 0;
[0146] Option Field 2Type= "漏洞編號" index = l;
[0147] Option Field 3Type= "廠商" index = 2;
[0148] Option Field 4Type= "漏洞等級" index = 3;
[0149] Option Field 5Type= "影響協(xié)議" index = 4;
[0150] Option Field 6Type= "影響端口" index = 5;
[0151] Option Field 7Type= "影響操作系統(tǒng)" index = 6;
[0152] Option Field 8Type= "漏洞詳情" index = 7〇
[0153] 第一處理單元500,用于從所述HDFS中提取出所述時序網(wǎng)絡數(shù)據(jù)流,并根據(jù)所述回 溯分析規(guī)則計算得到受安全漏洞影響的IP資產(chǎn)相關數(shù)據(jù)。
[0154] 在本發(fā)明中,每當回溯分析規(guī)則生成單元400將安全漏洞數(shù)據(jù)轉(zhuǎn)化為回溯分析規(guī) 則后,第一處理單元500便從HDFS中提取出時序網(wǎng)絡數(shù)據(jù)流,進而根據(jù)所述回溯分析規(guī)則計 算得到受安全漏洞影響的IP資產(chǎn)相關數(shù)據(jù)。
[0155] 具體地,本發(fā)明中第一處理單元500包括:
[0156] 第一處理子單元501,用于采用批處理算法,從HDFS中提取出所述時序網(wǎng)絡數(shù)據(jù) 流;
[0157] 第二處理子單元502,用于根據(jù)所述回溯分析規(guī)則,獲取與所述時序網(wǎng)絡數(shù)據(jù)流相 匹配的時序網(wǎng)絡數(shù)據(jù)序列;
[0158] 第三處理子單元503,用于按照IP地址聚合計算方法,對所述時序網(wǎng)絡數(shù)據(jù)序列進 行計算,獲得所述受安全漏洞影響的IP資產(chǎn)相關數(shù)據(jù);其中,所述IP資產(chǎn)相關數(shù)據(jù)包括受安 全漏洞影響的IP地址和所述IP地址的統(tǒng)計信息;所述IP地址的統(tǒng)計信息包括:所述IP地址 匹配命中的安全日志數(shù)量、所述IP地址匹配命中的流量和所述IP地址受影響的總時長。
[0159] 第二處理單元600,用于根據(jù)所述受安全漏洞影響的IP資產(chǎn)相關數(shù)據(jù)、所述日志數(shù) 據(jù)和所述Netflow數(shù)據(jù)計算得到安全漏洞影響指數(shù)。
[0160] 在本發(fā)明中,第二處理單元600具體用于:
計算得到所述安全漏洞影響指數(shù)f(x);
[0161] 其中,U為IPi的安全日志數(shù)量;
[0162] Pfi為IPi的影響流量占回溯分析周期內(nèi)總流量的比值,取值范圍為0~1;
[0163] ?^為1匕的影響時長占回溯分析周期內(nèi)總時長的比值,取值范圍為0~1;
[0164] IPi為受安全漏洞影響的IP序列中的第i個,i為正整數(shù)。
[0165] 需要說明的是,本說明書中的各個實施例均采用遞進的方式描述,每個實施例重 點說明的都是與其他實施例的不同之處,各個實施例之間相同相似的部分互相參見即可。 對于裝置類實施例而言,由于其與方法實施例基本相似,所以描述的比較簡單,相關之處參 見方法實施例的部分說明即可。
[0166] 最后,還需要說明的是,在本文中,諸如第一和第二等之類的關系術語僅僅用來將 一個實體或者操作與另一個實體或操作區(qū)分開來,而不一定要求或者暗示這些實體或操作 之間存在任何這種實際的關系或者順序。而且,術語"包括"、"包含"或者其任何其他變體意 在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那 些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者 設備所固有的要素。在沒有更多限制的情況下,由語句"包括一個……"限定的要素,并不排 除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。
[0167] 以上對本發(fā)明所提供的一種安全漏洞回溯分析方法及裝置進行了詳細介紹,本文 中應用了具體個例對本發(fā)明的原理及實施方式進行了闡述,以上實施例的說明只是用于幫 助理解本發(fā)明的方法及其核心思想;同時,對于本領域的一般技術人員,依據(jù)本發(fā)明的思 想,在【具體實施方式】及應用范圍上均會有改變之處,綜上所述,本說明書內(nèi)容不應理解為對 本發(fā)明的限制。
【主權項】
1. 一種安全漏桐回溯分析方法,其特征在于,包括: 采集網(wǎng)絡中安全設備的日志數(shù)據(jù)和路由交換設備的化tflow數(shù)據(jù); 將采集到的日志數(shù)據(jù)和化tflow數(shù)據(jù)一同進行格式化處理,獲得時序網(wǎng)絡數(shù)據(jù)流; 將所述時序網(wǎng)絡數(shù)據(jù)流存儲于分布式文件存儲系統(tǒng)皿FS中; 通過網(wǎng)絡爬蟲器獲取最新的安全漏桐數(shù)據(jù),并將所述安全漏桐數(shù)據(jù)轉(zhuǎn)化為回溯分析規(guī) 則; 從所述HDFS中提取出所述時序網(wǎng)絡數(shù)據(jù)流,并根據(jù)所述回溯分析規(guī)則計算得到受安全 漏桐影響的IP資產(chǎn)相關數(shù)據(jù); 根據(jù)所述受安全漏桐影響的IP資產(chǎn)相關數(shù)據(jù)計算得到安全漏桐影響指數(shù)。2. 根據(jù)權利要求1所述的方法,其特征在于,所述將所述安全漏桐數(shù)據(jù)轉(zhuǎn)化為回溯分析 規(guī)則包括: 采用正則表達式,將所述安全漏桐數(shù)據(jù)轉(zhuǎn)化為回溯分析規(guī)則; 其中,所述正則表達式中的規(guī)則內(nèi)容至少包括W下一種:漏桐名稱、漏桐編號、廠商、漏 桐等級、影響協(xié)議、影響端口、影響操作系統(tǒng)、漏桐詳情。3. 根據(jù)權利要求1所述的方法,其特征在于,所述從所述皿FS中提取出所述時序網(wǎng)絡數(shù) 據(jù)流,并根據(jù)所述回溯分析規(guī)則計算得到受安全漏桐影響的IP資產(chǎn)相關數(shù)據(jù)包括: 采用批處理算法,從皿FS中提取出所述時序網(wǎng)絡數(shù)據(jù)流; 根據(jù)所述回溯分析規(guī)則,獲取與所述時序網(wǎng)絡數(shù)據(jù)流相匹配的時序網(wǎng)絡數(shù)據(jù)序列; 按照IP地址聚合計算方法,對所述時序網(wǎng)絡數(shù)據(jù)序列進行計算,獲得所述受安全漏桐 影響的IP資產(chǎn)相關數(shù)據(jù);其中,所述IP資產(chǎn)相關數(shù)據(jù)包括受安全漏桐影響的IP地址和所述 IP地址的統(tǒng)計信息;所述IP地址的統(tǒng)計信息包括:所述IP地址匹配命中的安全日志數(shù)量、所 述IP地址匹配命中的流量和所述IP地址受影響的總時長。4. 根據(jù)權利要求1-3任一項所述的方法,其特征在于,所述根據(jù)所述受安全漏桐影響的 IP資產(chǎn)相關數(shù)據(jù)計算得到安全漏桐影響指數(shù)包括: 利用公式開算得到所述安全漏桐影響 指數(shù)f(x); 其中,Li為IPi的安全日志數(shù)量; Pf功IPi的影響流量占回溯分析周期內(nèi)總流量的比值,取值范圍為0~1; Pti為IPi的影響時長占回溯分析周期內(nèi)總時長的比值,取值范圍為0~1; IPi為受安全漏桐影響的IP序列中的第i個,i為正整數(shù)。5. 根據(jù)權利要求1所述的方法,其特征在于,所述采集網(wǎng)絡中安全設備的日志數(shù)據(jù)和路 由交換設備的化tf low數(shù)據(jù)包括: 通過系統(tǒng)日志syslog協(xié)議采集企業(yè)網(wǎng)絡中安全設備的日志數(shù)據(jù); 通過化tf low協(xié)議及類化tf low協(xié)議采集路由交換設備的化tf low數(shù)據(jù)。6. 根據(jù)權利要求1所述的方法,其特征在于,將所述時序網(wǎng)絡數(shù)據(jù)流存儲于皿FS中包 括: W預設時間為周期,周期性地將獲得的時序網(wǎng)絡數(shù)據(jù)流存儲于皿FS中。7. 根據(jù)權利要求6所述的方法,其特征在于,所述將所述時序網(wǎng)絡數(shù)據(jù)流存儲于HDFS中 后,所述方法還包括: 為存儲的時序網(wǎng)絡數(shù)據(jù)流增加時間戳。8. 根據(jù)權利要求1所述的方法,其特征在于,所述通過網(wǎng)絡爬蟲器獲取最新的安全漏桐 數(shù)據(jù)包括: 通過網(wǎng)絡爬蟲器持續(xù)、定時地從互聯(lián)網(wǎng)安全漏桐庫中獲取最新的安全漏桐數(shù)據(jù)。9. 一種安全漏桐回溯分析裝置,其特征在于,包括: 數(shù)據(jù)采集單元,用于采集網(wǎng)絡中安全設備的日志數(shù)據(jù)和路由交換設備的化tflow數(shù)據(jù); 格式化處理單元,用于將采集到的日志數(shù)據(jù)和化tflow數(shù)據(jù)一同進行格式化處理,獲得 時序網(wǎng)絡數(shù)據(jù)流. 存儲單元,用于將所述時序網(wǎng)絡數(shù)據(jù)流存儲于分布式文件存儲系統(tǒng)皿FS中; 回溯分析規(guī)則生成單元,用于通過網(wǎng)絡爬蟲器獲取最新的安全漏桐數(shù)據(jù),并將所述安 全漏桐數(shù)據(jù)轉(zhuǎn)化為回溯分析規(guī)則; 第一處理單元,用于從所述HDFS中提取出所述時序網(wǎng)絡數(shù)據(jù)流,并根據(jù)所述回溯分析 規(guī)則計算得到受安全漏桐影響的IP資產(chǎn)相關數(shù)據(jù); 第二處理單元,用于根據(jù)所述受安全漏桐影響的IP資產(chǎn)相關數(shù)據(jù)、所述日志數(shù)據(jù)和所 述化tflow數(shù)據(jù)計算得到安全漏桐影響指數(shù)。10. 根據(jù)權利要求9所述的裝置,其特征在于,所述回溯分析規(guī)則生成單元具體用于,采 用正則表達式,將所述安全漏桐數(shù)據(jù)轉(zhuǎn)化為回溯分析規(guī)則; 其中,所述正則表達式中的規(guī)則內(nèi)容至少包括W下一種:漏桐名稱、漏桐編號、廠商、漏 桐等級、影響協(xié)議、影響端口、影響操作系統(tǒng)、漏桐詳情。11. 根據(jù)權利要求9所述的裝置,其特征在于,所述第一處理單元包括: 第一處理子單元,用于采用批處理算法,從皿FS中提取出所述時序網(wǎng)絡數(shù)據(jù)流; 第二處理子單元,用于根據(jù)所述回溯分析規(guī)則,獲取與所述時序網(wǎng)絡數(shù)據(jù)流相匹配的 時序網(wǎng)絡數(shù)據(jù)序列. 第Ξ處理子單元,用于按照IP地址聚合計算方法,對所述時序網(wǎng)絡數(shù)據(jù)序列進行計算, 獲得所述受安全漏桐影響的IP資產(chǎn)相關數(shù)據(jù);其中,所述IP資產(chǎn)相關數(shù)據(jù)包括受安全漏桐 影響的IP地址和所述IP地址的統(tǒng)計信息;所述IP地址的統(tǒng)計信息包括:所述IP地址匹配命 中的安全日志數(shù)量、所述IP地址匹配命中的流量和所述IP地址受影響的總時長。12. 根據(jù)權利要求9-11任一項所述的裝置,其特征在于,所述第二處理單元具體用于, 利用公式十算得到所述安全漏桐影響指數(shù) f (x); 其中,Li為IPi的安全日志數(shù)量; Pf功IPi的影響流量占回溯分析周期內(nèi)總流量的比值,取值范圍為0~1; Pti為IPi的影響時長占回溯分析周期內(nèi)總時長的比值,取值范圍為0~1; IPi為受安全漏桐影響的IP序列中的第i個,i為正整數(shù)。13. 根據(jù)權利要求9所述的裝置,其特征在于,所述數(shù)據(jù)采集單元包括: 第一數(shù)據(jù)采集子單元,用于通過系統(tǒng)日志syslog協(xié)議采集企業(yè)網(wǎng)絡中安全設備的日志 數(shù)據(jù); 第二數(shù)據(jù)采集子單元,用于通過Netflow協(xié)議及類化tf low協(xié)議采集路由交換設備的 Netf low 數(shù)據(jù)。14. 根據(jù)權利要求9所述的裝置,其特征在于,所述存儲單元具體用于,W預設時間為周 期,周期性地將獲得的時序網(wǎng)絡數(shù)據(jù)流存儲于皿FS中。15. 根據(jù)權利要求9所述的裝置,其特征在于,所述通過網(wǎng)絡爬蟲器獲取最新的安全漏 桐數(shù)據(jù)包括: 通過網(wǎng)絡爬蟲器持續(xù)、定時地從互聯(lián)網(wǎng)安全漏桐庫中獲取最新的安全漏桐數(shù)據(jù)。
【文檔編號】G06F21/56GK106096406SQ201610371183
【公開日】2016年11月9日
【申請日】2016年5月30日
【發(fā)明人】張延佳
【申請人】北京啟明星辰信息安全技術有限公司, 啟明星辰信息技術集團股份有限公司