本發(fā)明涉及計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)領(lǐng)域，具體涉及一種威脅數(shù)據(jù)的處理方法及系統(tǒng)。

背景技術(shù)：

網(wǎng)絡(luò)惡意行為是指網(wǎng)絡(luò)系統(tǒng)的硬件、軟件及其系統(tǒng)中的數(shù)據(jù)受到惡意代碼攻擊而遭到破壞、更改、泄露，致使系統(tǒng)不能連續(xù)可靠正常地運(yùn)行，網(wǎng)絡(luò)服務(wù)中斷的行為。隨著信息化的普及，網(wǎng)絡(luò)新應(yīng)用的大量出現(xiàn)，網(wǎng)絡(luò)惡意代碼所表現(xiàn)出的行為也層出不窮，目前最流行的網(wǎng)絡(luò)惡意行為是網(wǎng)頁掛馬、盜取帳號、端口掃描、漏洞掃描、ARP(Address Resolution Protocol，地址解析協(xié)議)欺騙、IP(Internet Protocol，因特網(wǎng)協(xié)議)劫持、DDOS(Distributed Denial of Service，分布式拒絕服務(wù))攻擊、溢出攻擊、木馬攻擊等。

針對大量的這些網(wǎng)絡(luò)惡意行為分析，大致可以把網(wǎng)絡(luò)惡意行為分為四類：信息探測行為(如端口和漏洞掃描)、信息欺騙行為(如ARP欺騙和IP劫持)、信息淹沒行為(如DDOS攻擊)、信息偽傳遞行為(溢出攻擊、IMCP木馬、HTTP隧道木馬)。

在現(xiàn)有技術(shù)中，針對不同類型的網(wǎng)絡(luò)惡意行為，有專門的處理引擎負(fù)責(zé)處理分析，產(chǎn)生威脅數(shù)據(jù)，由人工對威脅數(shù)據(jù)進(jìn)行進(jìn)一步分析，獲取各種網(wǎng)絡(luò)惡意行為的行為特點(diǎn)，根據(jù)行為特點(diǎn)提出應(yīng)對策略。各個處理引擎之間是相互獨(dú)立的，在實(shí)際應(yīng)用中可以通過并行的方式或者串行的方式進(jìn)行威脅數(shù)據(jù)檢測，網(wǎng)絡(luò)惡意行為的分析被隔離化，分析得到的威脅數(shù)據(jù)比較分散，數(shù)據(jù)格式不統(tǒng)一，不能進(jìn)行統(tǒng)一化管理，無法形成一套有效地、標(biāo)準(zhǔn)化的針對網(wǎng)絡(luò)惡意行為的威脅數(shù)據(jù)處理系統(tǒng)。

技術(shù)實(shí)現(xiàn)要素：

鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的威脅數(shù)據(jù)的處理方法及系統(tǒng)。

根據(jù)本發(fā)明的一個方面，提供了一種威脅數(shù)據(jù)的處理方法，包括：

收集原始威脅數(shù)據(jù)；

通過關(guān)聯(lián)分析對原始威脅數(shù)據(jù)進(jìn)行篩選；

根據(jù)經(jīng)過篩選的原始威脅數(shù)據(jù)建立威脅檢測任務(wù)，將威脅檢測任務(wù)下發(fā)給調(diào)度節(jié)點(diǎn)；

由調(diào)度節(jié)點(diǎn)將威脅檢測任務(wù)分發(fā)給分布式集群系統(tǒng)，由分布式集群系統(tǒng)對威脅檢測任務(wù)進(jìn)行分析，得到鑒定日志；

對鑒定日志作解析和規(guī)則判定，對威脅數(shù)據(jù)的危害級別進(jìn)行評定。

根據(jù)本發(fā)明的另一方面，提供了一種威脅數(shù)據(jù)的處理系統(tǒng)，包括：

威脅數(shù)據(jù)收集模塊，用于收集原始威脅數(shù)據(jù)；

威脅數(shù)據(jù)篩選模塊，用于通過關(guān)聯(lián)分析對原始威脅數(shù)據(jù)進(jìn)行篩選；

威脅任務(wù)建立模塊，用于根據(jù)經(jīng)過篩選的原始威脅數(shù)據(jù)建立威脅檢測任務(wù)，將威脅檢測任務(wù)下發(fā)給調(diào)度節(jié)點(diǎn)；

威脅任務(wù)調(diào)度模塊，位于調(diào)度節(jié)點(diǎn)中，用于將威脅檢測任務(wù)分發(fā)給分布式集群系統(tǒng)；

威脅任務(wù)分析模塊，位于分布式集群系統(tǒng)中，用于對威脅檢測任務(wù)進(jìn)行分析，得到鑒定日志；

分析結(jié)果評定模塊，用于對鑒定日志作解析和規(guī)則判定，對威脅數(shù)據(jù)的危害級別進(jìn)行評定。

根據(jù)本發(fā)明提供的威脅數(shù)據(jù)的處理方法及系統(tǒng)，收集針對各種類型的網(wǎng)絡(luò)惡意行為產(chǎn)生的原始威脅數(shù)據(jù)，通過關(guān)聯(lián)分析對原始威脅數(shù)據(jù)進(jìn)行篩選；根據(jù)經(jīng)過篩選的原始威脅數(shù)據(jù)建立威脅檢測任務(wù)，將威脅檢測任務(wù)下發(fā)給調(diào)度節(jié)點(diǎn)；由調(diào)度節(jié)點(diǎn)將威脅檢測任務(wù)分發(fā)給分布式集群系統(tǒng)，由分布式集群系統(tǒng)對威脅檢測任務(wù)進(jìn)行分析，得到鑒定日志；對鑒定日志作解析和規(guī)則判定，對威脅數(shù)據(jù)的危害級別進(jìn)行評定。本發(fā)明提供了一套有效地、標(biāo)準(zhǔn)的針對網(wǎng)絡(luò)惡意行為的威脅數(shù)據(jù)處理流程，能夠?qū)Ψ稚⒒耐{數(shù)據(jù)進(jìn)行統(tǒng)一管理和分析，實(shí)現(xiàn)對威脅數(shù)據(jù)的危害級別評定，該評定結(jié)果可做成產(chǎn)品用于指導(dǎo)如何提出對網(wǎng)絡(luò)惡意行為有效的應(yīng)對策略。

上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本發(fā)明的具體實(shí)施方式。

附圖說明

通過閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的，而并不認(rèn)為是對本發(fā)明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中：

圖1示出了根據(jù)本發(fā)明一個實(shí)施例的威脅數(shù)據(jù)的處理方法的流程圖；

圖2示出了根據(jù)本發(fā)明另一個實(shí)施例的威脅數(shù)據(jù)的處理方法的流程圖；

圖3示出了根據(jù)本發(fā)明一個實(shí)施例的威脅數(shù)據(jù)的處理系統(tǒng)的功能框圖。

具體實(shí)施方式

下面將參照附圖更詳細(xì)地描述本公開的示例性實(shí)施例。雖然附圖中顯示了本公開的示例性實(shí)施例，然而應(yīng)當(dāng)理解，可以以各種形式實(shí)現(xiàn)本公開而不應(yīng)被這里闡述的實(shí)施例所限制。相反，提供這些實(shí)施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。

圖1示出了根據(jù)本發(fā)明一個實(shí)施例的威脅數(shù)據(jù)的處理方法的流程圖。如圖1所示，該方法包括如下步驟：

步驟S101，收集原始威脅數(shù)據(jù)。

基于現(xiàn)有技術(shù)中存在的網(wǎng)絡(luò)惡意行為的分析隔離化和分析得到的威脅數(shù)據(jù)分散化的問題，本方法首先將原始威脅數(shù)據(jù)收集起來，所收集的原始威脅數(shù)據(jù)包含針對各種類型的網(wǎng)絡(luò)惡意行為的分析結(jié)果，例如包含有關(guān)惡意網(wǎng)頁的URL以及有關(guān)各種漏洞、病毒、木馬、攻擊的樣本目標(biāo)。除此之外，樣本目標(biāo)還包括：0Day，NDay，暴露期0Day，位置掛馬信息，重要網(wǎng)站，位置掛馬跟進(jìn)等等。其中，0Day是已經(jīng)被發(fā)現(xiàn)(有可能未被公開)，而官方還沒有相關(guān)補(bǔ)丁的漏洞。這些漏洞被發(fā)現(xiàn)后立即被惡意利用，例如利用0Day可以修改注冊表、下載文件、運(yùn)行系統(tǒng)文件。樣本目標(biāo)的格式可以是文件、可執(zhí)行程序等，本發(fā)明對此不作限制。

所收集的原始威脅數(shù)據(jù)可以是客戶端上傳的數(shù)據(jù)。在實(shí)際應(yīng)用中，客戶端可以通過預(yù)設(shè)的進(jìn)程列表對登錄過程或支付過程中的危險進(jìn)程進(jìn)行監(jiān)控；或者通過預(yù)設(shè)的安全的文件列表對登錄過程或支付過程中傳輸?shù)奈募M(jìn)行監(jiān)控；或者對登錄過程或支付過程中的瀏覽器調(diào)用行為進(jìn)行監(jiān)控；或者對登錄過程或支付過程中的鍵盤輸入內(nèi)容的調(diào)用進(jìn)行監(jiān)控；或者對登錄過程或支付過程中客戶端傳輸?shù)臄?shù)據(jù)對象進(jìn)行監(jiān)控，例如，當(dāng)監(jiān)控到客戶端向與登錄過程或支付過程無關(guān)的對象傳輸與登錄或支付相關(guān)的數(shù)據(jù)時，則應(yīng)當(dāng)攔截所傳輸?shù)臄?shù)據(jù)對象；或者對登錄過程或支付過程中所開啟的網(wǎng)頁進(jìn)行監(jiān)控，例如，在登錄過程或支付過程中，用戶可能開啟的支付網(wǎng)頁為惡意第三方偽造的與真實(shí)支付網(wǎng)頁類似的網(wǎng)頁，因此需要對所開啟的網(wǎng)頁進(jìn)行監(jiān)控。其中，在監(jiān)控可執(zhí)行文件等文件時，不僅可以監(jiān)控到文件的實(shí)時下載情況，還可以監(jiān)控文件被啟動時以及被啟動后的實(shí)時運(yùn)行情況。

另外，還可以收集第三方平臺發(fā)送的原始威脅數(shù)據(jù)。或者，收集通過爬蟲技術(shù)爬取到的原始威脅數(shù)據(jù)。本發(fā)明對原始威脅數(shù)據(jù)的收集方式不作限制。

步驟S102，通過關(guān)聯(lián)分析對原始威脅數(shù)據(jù)進(jìn)行篩選。

鑒于收集的原始威脅數(shù)據(jù)的數(shù)據(jù)量龐大，如果將這些原始威脅數(shù)據(jù)全部進(jìn)行后續(xù)處理，將會影響系統(tǒng)處理效率。因此本步驟通過關(guān)聯(lián)分析對原始威脅數(shù)據(jù)進(jìn)行篩選，主要借助后臺提供的黑數(shù)據(jù)和預(yù)設(shè)站點(diǎn)列表進(jìn)行關(guān)聯(lián)分析，確定哪些數(shù)據(jù)應(yīng)被過濾掉，以減少后續(xù)處理的數(shù)據(jù)量，提升系統(tǒng)處理效率。

步驟S103，根據(jù)經(jīng)過篩選的原始威脅數(shù)據(jù)建立威脅檢測任務(wù)，將威脅檢測任務(wù)下發(fā)給調(diào)度節(jié)點(diǎn)。

本步驟主要對待分析的威脅數(shù)據(jù)(樣本目標(biāo)或者URL)進(jìn)行管理，建立威脅檢測任務(wù)。一旦威脅檢測任務(wù)建立，后續(xù)無論是進(jìn)行自動化沙箱分析，還是人工分析，都會對該威脅檢測任務(wù)給出分析結(jié)論。具體地，根據(jù)原始威脅數(shù)據(jù)的來源信息和/或經(jīng)篩選確定的可靠度，建立威脅檢測任務(wù)，并為威脅檢測任務(wù)確定檢測優(yōu)先級。如果經(jīng)篩選確定的可靠度比較高，該可靠度與屬于黑數(shù)據(jù)的可能性和與重要站點(diǎn)的關(guān)聯(lián)性有關(guān)，那么則為該威脅檢測任務(wù)確定較高的檢測優(yōu)先級；如果經(jīng)篩選確定的可靠度比較低，則為該威脅檢測任務(wù)確定較低的檢測優(yōu)先級。另外，對原始威脅數(shù)據(jù)的來源信息進(jìn)行分析，認(rèn)為可能需要利用不同的環(huán)境或引擎對該原始威脅數(shù)據(jù)進(jìn)行分析，就需要建立不同的威脅檢測任務(wù)，即針對同一原始威脅數(shù)據(jù)建立一個或多個威脅檢測任務(wù)，原始威脅數(shù)據(jù)與威脅檢測任務(wù)是一對一或一對多的關(guān)系。

所建立的威脅檢測任務(wù)下發(fā)給調(diào)度節(jié)點(diǎn)，通常當(dāng)天產(chǎn)生的威脅檢測任務(wù)當(dāng)天下發(fā)給調(diào)度節(jié)點(diǎn)，提升響應(yīng)速度。

步驟S104，由調(diào)度節(jié)點(diǎn)將威脅檢測任務(wù)分發(fā)給分布式集群系統(tǒng)，由分布式集群系統(tǒng)對威脅檢測任務(wù)進(jìn)行分析，得到鑒定日志。

調(diào)度節(jié)點(diǎn)在接收到下發(fā)的威脅檢測任務(wù)后，將威脅檢測任務(wù)分發(fā)給分布式集群系統(tǒng)。為了進(jìn)一步提升威脅數(shù)據(jù)檢測的安全性，本發(fā)明中分布式集群系統(tǒng)可具體為分布式沙箱集群系統(tǒng)或分布式蜜罐系統(tǒng)。分布式沙箱集群系統(tǒng)采用沙箱技術(shù)進(jìn)行檢測分析，分布式蜜罐系統(tǒng)采用蜜罐技術(shù)進(jìn)行檢測分析，其目的都是在一個隔離的虛擬環(huán)境下開展檢測分析工作，保護(hù)系統(tǒng)不受影響。

步驟S105，對鑒定日志作解析和規(guī)則判定，對威脅數(shù)據(jù)的危害級別進(jìn)行評定。

在得到鑒定日志后，將各種需要的日志信息抓取出來，進(jìn)行解析和規(guī)則判定。其中規(guī)則是預(yù)先在系統(tǒng)內(nèi)部配置的規(guī)則，通過規(guī)則判定實(shí)現(xiàn)對威脅數(shù)據(jù)的危害級別的定級。

根據(jù)本實(shí)施例提供的威脅數(shù)據(jù)的處理方法，收集針對各種類型的網(wǎng)絡(luò)惡意行為產(chǎn)生的原始威脅數(shù)據(jù)，通過關(guān)聯(lián)分析對原始威脅數(shù)據(jù)進(jìn)行篩選；根據(jù)經(jīng)過篩選的原始威脅數(shù)據(jù)建立威脅檢測任務(wù)，將威脅檢測任務(wù)下發(fā)給調(diào)度節(jié)點(diǎn)；由調(diào)度節(jié)點(diǎn)將威脅檢測任務(wù)分發(fā)給分布式集群系統(tǒng)，由分布式集群系統(tǒng)對威脅檢測任務(wù)進(jìn)行分析，得到鑒定日志；對鑒定日志作解析和規(guī)則判定，對威脅數(shù)據(jù)的危害級別進(jìn)行評定。本方法提供了一套有效地、標(biāo)準(zhǔn)的針對網(wǎng)絡(luò)惡意行為的威脅數(shù)據(jù)處理流程，能夠?qū)Ψ稚⒒耐{數(shù)據(jù)進(jìn)行統(tǒng)一管理和分析，實(shí)現(xiàn)對威脅數(shù)據(jù)的危害級別評定，該評定結(jié)果可做成產(chǎn)品用于指導(dǎo)如何提出對網(wǎng)絡(luò)惡意行為有效的應(yīng)對策略。

圖2示出了根據(jù)本發(fā)明另一個實(shí)施例的威脅數(shù)據(jù)的處理方法的流程圖。如圖2所示，該方法包括如下步驟：

步驟S201，收集原始威脅數(shù)據(jù)。

本實(shí)施例所收集的原始威脅數(shù)據(jù)包含針對各種類型的網(wǎng)絡(luò)惡意行為的分析結(jié)果，例如包含有關(guān)惡意網(wǎng)頁的URL以及有關(guān)各種漏洞、病毒、木馬、攻擊的樣本目標(biāo)。除此之外，樣本目標(biāo)還包括：0Day，NDay，暴露期0Day，位置掛馬信息，重要網(wǎng)站，位置掛馬跟進(jìn)等等。其中，0Day是已經(jīng)被發(fā)現(xiàn)(有可能未被公開)，而官方還沒有相關(guān)補(bǔ)丁的漏洞。這些漏洞被發(fā)現(xiàn)后立即被惡意利用，例如利用0Day可以修改注冊表、下載文件、運(yùn)行系統(tǒng)文件。樣本目標(biāo)的格式可以是文件、可執(zhí)行程序等，本發(fā)明對此不作限制。

所收集的原始威脅數(shù)據(jù)可以是客戶端上傳的數(shù)據(jù)。這里的客戶端可以是用于檢測各種網(wǎng)絡(luò)惡意行為的用戶端。在實(shí)際應(yīng)用中，客戶端可以通過預(yù)設(shè)的進(jìn)程列表對登錄過程或支付過程中的危險進(jìn)程進(jìn)行監(jiān)控；或者通過預(yù)設(shè)的安全的文件列表對登錄過程或支付過程中傳輸?shù)奈募M(jìn)行監(jiān)控；或者對登錄過程或支付過程中的瀏覽器調(diào)用行為進(jìn)行監(jiān)控；或者對登錄過程或支付過程中的鍵盤輸入內(nèi)容的調(diào)用進(jìn)行監(jiān)控；或者對登錄過程或支付過程中客戶端傳輸?shù)臄?shù)據(jù)對象進(jìn)行監(jiān)控，例如，當(dāng)監(jiān)控到客戶端向與登錄過程或支付過程無關(guān)的對象傳輸與登錄或支付相關(guān)的數(shù)據(jù)時，則應(yīng)當(dāng)攔截所傳輸?shù)臄?shù)據(jù)對象；或者對登錄過程或支付過程中所開啟的網(wǎng)頁進(jìn)行監(jiān)控，例如，在登錄過程或支付過程中，用戶可能開啟的支付網(wǎng)頁為惡意第三方偽造的與真實(shí)支付網(wǎng)頁類似的網(wǎng)頁，因此需要對所開啟的網(wǎng)頁進(jìn)行監(jiān)控。其中，在監(jiān)控可執(zhí)行文件等文件時，不僅可以監(jiān)控到文件的實(shí)時下載情況，還可以監(jiān)控文件被啟動時以及被啟動后的實(shí)時運(yùn)行情況?？蛻舳嗽跈z測得到威脅數(shù)據(jù)之后，生成日志暫存于日志緩沖清單中。客戶端的日志記錄線程輪詢?nèi)罩揪彌_清單并依照先進(jìn)先出的方式依次處理日志，將日志內(nèi)容追加寫入日志記錄文件中，由外部相關(guān)調(diào)度模塊進(jìn)程獲取并處理該日志文件并進(jìn)行上傳。例如，可以由客戶端發(fā)送消息獲取請求，根據(jù)消息獲取請求中的請求推送時間和已接收消息列表，從消息隊(duì)列中獲取未向該客戶端發(fā)送過的新消息，并向客戶端反饋響應(yīng)消息，該響應(yīng)消息中包括第二推送時間和新消息列表，新消息列表中包括本次向客戶端下發(fā)的所有新消息的消息ID和消息內(nèi)容，第二推送時間為新消息的推送時間。所上傳的威脅數(shù)據(jù)可以包含環(huán)境和文件基本信息、檢出功能點(diǎn)觸發(fā)數(shù)據(jù)等。其中環(huán)境和文件基本信息以流水日志等形式輸出，檢出功能點(diǎn)觸發(fā)數(shù)據(jù)以行為日志actions.log的形式輸出。以樣本為例，環(huán)境和文件基本信息具體為樣本進(jìn)程文件MD5，樣本進(jìn)程文件路徑，主要系統(tǒng)模塊名稱和文件版本等；檢出功能點(diǎn)觸發(fā)數(shù)據(jù)具體為所涉及的進(jìn)程ID和/或線程ID，被篡改函數(shù)的名稱，篡改后的指針值，檢出時所在Hooked API等。

另外，還可以收集第三方平臺發(fā)送的原始威脅數(shù)據(jù)。或者，收集通過爬蟲技術(shù)爬取到的原始威脅數(shù)據(jù)。本發(fā)明對原始威脅數(shù)據(jù)的收集方式不作限制。

步驟S202，對原始威脅數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理。

由于原始威脅數(shù)據(jù)包含針對各種類型的網(wǎng)絡(luò)惡意行為的分析結(jié)果，因此原始威脅數(shù)據(jù)的數(shù)據(jù)信息不相同，數(shù)據(jù)格式也不相同。為了便于后續(xù)處理，需要對原始威脅數(shù)據(jù)的數(shù)據(jù)格式進(jìn)行統(tǒng)一處理，使其成為后續(xù)可識別處理的標(biāo)準(zhǔn)化結(jié)構(gòu)。

步驟S203，通過關(guān)聯(lián)分析對原始威脅數(shù)據(jù)進(jìn)行篩選。

鑒于收集的原始威脅數(shù)據(jù)的數(shù)據(jù)量龐大，如果將這些原始威脅數(shù)據(jù)全部進(jìn)行后續(xù)處理，將會影響系統(tǒng)處理效率。因此本步驟通過關(guān)聯(lián)分析對原始威脅數(shù)據(jù)進(jìn)行篩選，主要借助后臺提供的黑數(shù)據(jù)和預(yù)設(shè)站點(diǎn)列表進(jìn)行關(guān)聯(lián)分析，確定哪些數(shù)據(jù)應(yīng)被過濾掉，以減少后續(xù)處理的數(shù)據(jù)量，提升系統(tǒng)處理效率。

具體地說，對于URL，可利用黑名單數(shù)據(jù)庫對URL進(jìn)行關(guān)聯(lián)分析，確定是否過濾掉URL。其中，黑名單數(shù)據(jù)庫包含：URL黑名單數(shù)據(jù)庫，IP黑名單數(shù)據(jù)庫，和/或域名黑名單數(shù)據(jù)庫等等。例如，針對某個上傳過來的URL，獲取該URL對應(yīng)的IP和域名，比對URL是否屬于URL黑名單數(shù)據(jù)庫，和/或，比對URL對應(yīng)的IP是否屬于IP黑名單數(shù)據(jù)庫，和/或，比對URL對應(yīng)的域名是否屬于域名黑名單數(shù)據(jù)庫，若屬于，則不應(yīng)過濾掉該URL；若都不屬于，則可過濾掉該URL。

對于樣本，根據(jù)樣本文件格式特征和/或病毒名稱對樣本進(jìn)行關(guān)聯(lián)分析，確定是否過濾掉樣本。例如，對于某個宏文件，其包含URL數(shù)據(jù)，可將URL數(shù)據(jù)與上述黑名單數(shù)據(jù)庫進(jìn)行關(guān)聯(lián)，比對URL及其相關(guān)信息(IP或域名)是否屬于黑名單數(shù)據(jù)庫，若屬于，則不應(yīng)過濾掉該宏文件。另外，還可選用自帶引擎對樣本進(jìn)行預(yù)掃描獲得病毒名稱，根據(jù)病毒名稱來判斷是否需要對該樣本進(jìn)行過濾。

另外，還可對原始威脅數(shù)據(jù)與預(yù)設(shè)站點(diǎn)列表中的站點(diǎn)的關(guān)系進(jìn)行關(guān)聯(lián)分析，確定是否過濾掉原始威脅數(shù)據(jù)。預(yù)設(shè)站點(diǎn)列表中記錄的是優(yōu)先級較高的重要站點(diǎn)，如政府網(wǎng)站等，如果原始威脅數(shù)據(jù)與重要站點(diǎn)有關(guān)聯(lián)，則不應(yīng)過濾。

在對原始威脅數(shù)據(jù)進(jìn)行篩選的同時，還可根據(jù)篩選過程確定可靠度，該可靠度與屬于黑數(shù)據(jù)的可能性和與重要站點(diǎn)的關(guān)聯(lián)性有關(guān)，以便后續(xù)確定威脅檢測任務(wù)的優(yōu)先級。

步驟S204，根據(jù)經(jīng)過篩選的原始威脅數(shù)據(jù)建立威脅檢測任務(wù)，將威脅檢測任務(wù)下發(fā)給調(diào)度節(jié)點(diǎn)。

本步驟主要對待分析的威脅數(shù)據(jù)(樣本目標(biāo)或者URL)進(jìn)行管理，建立威脅檢測任務(wù)。一旦威脅檢測任務(wù)建立，后續(xù)無論是進(jìn)行自動化沙箱分析，還是人工分析，都會對該威脅檢測任務(wù)給出分析結(jié)論。具體地，根據(jù)原始威脅數(shù)據(jù)的來源信息和/或經(jīng)篩選確定的可靠度，建立威脅檢測任務(wù)，并為威脅檢測任務(wù)確定檢測優(yōu)先級。如果經(jīng)篩選確定的可靠度比較高，該可靠度與屬于黑數(shù)據(jù)的可能性和與重要站點(diǎn)的關(guān)聯(lián)性有關(guān)，那么則為該威脅檢測任務(wù)確定較高的檢測優(yōu)先級；如果經(jīng)篩選確定的可靠度比較低，則為該威脅檢測任務(wù)確定較低的檢測優(yōu)先級。另外，對原始威脅數(shù)據(jù)的來源信息進(jìn)行分析，認(rèn)為可能需要利用不同的環(huán)境或引擎對該原始威脅數(shù)據(jù)進(jìn)行分析，就需要建立不同的威脅檢測任務(wù)，即針對同一原始威脅數(shù)據(jù)建立一個或多個威脅檢測任務(wù)，原始威脅數(shù)據(jù)與威脅檢測任務(wù)是一對一或一對多的關(guān)系。

所建立的威脅檢測任務(wù)下發(fā)給調(diào)度節(jié)點(diǎn)，通常當(dāng)天產(chǎn)生的威脅檢測任務(wù)當(dāng)天下發(fā)給調(diào)度節(jié)點(diǎn)，提升響應(yīng)速度。

步驟S205，由調(diào)度節(jié)點(diǎn)將威脅檢測任務(wù)分發(fā)給分布式集群系統(tǒng)，由分布式集群系統(tǒng)對威脅檢測任務(wù)進(jìn)行分析，得到鑒定日志。

調(diào)度節(jié)點(diǎn)在接收到下發(fā)的威脅檢測任務(wù)后，將威脅檢測任務(wù)分發(fā)給分布式集群系統(tǒng)。為了進(jìn)一步提升威脅數(shù)據(jù)檢測的安全性，本發(fā)明中分布式集群系統(tǒng)可具體為分布式沙箱集群系統(tǒng)或分布式蜜罐系統(tǒng)。分布式沙箱集群系統(tǒng)采用沙箱技術(shù)進(jìn)行檢測分析，沙箱為可疑樣本日志提供了一個封閉的運(yùn)行環(huán)境，這樣，即使可疑樣本日志對應(yīng)的樣本確實(shí)存在漏洞，也不會對服務(wù)器側(cè)造成損害。分布式蜜罐系統(tǒng)采用蜜罐技術(shù)進(jìn)行檢測分析，其目的都是在一個隔離的虛擬環(huán)境下開展檢測分析工作，保護(hù)系統(tǒng)不受影響。

在分布式集群系統(tǒng)中部署有靜態(tài)引擎和動態(tài)引擎分別對威脅檢測任務(wù)進(jìn)行靜態(tài)分析和動態(tài)分析。其中，靜態(tài)引擎可抽取URL信息和/或樣本格式信息進(jìn)行靜態(tài)分析。所抽取的URL信息包含但不限于：IP、域名、URL的MD5值等等，樣本格式信息包含但不限于：漏洞/病毒名稱、URL信息、PE樣本的字符串相似度等等。動態(tài)引擎主要抓取操作系統(tǒng)行為數(shù)據(jù)、漏洞相關(guān)行為數(shù)據(jù)和/或網(wǎng)絡(luò)相關(guān)行為數(shù)據(jù)進(jìn)行動態(tài)分析。以內(nèi)核漏洞為例，動態(tài)引擎對關(guān)鍵行為或功能的相關(guān)API的調(diào)用進(jìn)行hook，比對相關(guān)函數(shù)的名稱或?qū)傩允欠癖淮鄹幕蛱鎿Q，從而得到內(nèi)核漏洞的鑒定日志。

通過云查殺的PE文件利用沙箱檢測方式進(jìn)行再次完整分析檢測。對于非PE文件，如富文本格式(Rich Text Format，以下簡稱為RTF格式)、PDF格式、Doc(一種文件擴(kuò)展名)格式、docx(一種文件擴(kuò)展名)格式以及excel格式等等，若文件為能夠繼續(xù)解壓縮的文檔，則返回繼續(xù)進(jìn)行解壓縮操作，若文件為可檢測的元數(shù)據(jù)，則進(jìn)行QEX靜態(tài)分析、填充數(shù)據(jù)(shellcode)半動態(tài)檢測以及l(fā)ightVM輕量動態(tài)分析。之后，利用沙箱檢測對通過以上三種檢測的元數(shù)據(jù)再次進(jìn)行檢測。在對文件是否具有惡意行為的檢測時，優(yōu)選地，本發(fā)明實(shí)施例中，可以將惡意行為的危險等級分為三個等級。第一，高危，即能夠確認(rèn)元數(shù)據(jù)為惡意代碼，如確定的木馬樣本、明顯的惡意行為或者能夠觸發(fā)的漏洞利用等。第二，中危，即存在疑似惡意行為，但無法確定的，或者疑似漏洞利用，但尚沒有確定的惡意行為，例如發(fā)現(xiàn)樣本會訪問以下敏感的位置，或者樣本導(dǎo)致程序崩潰，但沒有觸發(fā)執(zhí)行。第三，低危，即非經(jīng)過確認(rèn)的無惡意文件，可能會危害系統(tǒng)安全，可以理解為存在風(fēng)險的文件。

本實(shí)施例中，分布式集群系統(tǒng)除了利用自己的引擎做分析以外，還可獲取第三方平臺或第三方引擎提供的鑒定信息，從而豐富鑒定結(jié)果。

另外，分布式集群系統(tǒng)還可進(jìn)行關(guān)聯(lián)分析，具體分析URL之間，樣本之間是否具有關(guān)聯(lián)性，通過分析黑數(shù)據(jù)之間的關(guān)聯(lián)性，隨著數(shù)據(jù)越來越多，積累的黑數(shù)據(jù)也越來越多。

步驟S206，將鑒定日志進(jìn)行緩存后，存儲到hadoop集群系統(tǒng)中。

分布式集群系統(tǒng)得到鑒定日志之后，將鑒定日志反饋給調(diào)度節(jié)點(diǎn)，調(diào)度節(jié)點(diǎn)對鑒定日志進(jìn)行緩存，同時調(diào)度節(jié)點(diǎn)將緩存的鑒定日志同步存儲到hadoop集群系統(tǒng)中。

步驟S207，從緩存中提取出鑒定日志，對鑒定日志作解析和規(guī)則判定，對威脅數(shù)據(jù)的危害級別進(jìn)行評定。

調(diào)度節(jié)點(diǎn)從緩存中提取出鑒定日志，將鑒定日志分類派發(fā)給相應(yīng)的模塊做解析和規(guī)則判定，其中在模塊內(nèi)部預(yù)先設(shè)置有各種規(guī)則，本發(fā)明對具體規(guī)則和規(guī)則數(shù)量不作限定，通常情況下所設(shè)置的規(guī)則能達(dá)到數(shù)百條。

通過設(shè)置規(guī)則，利用規(guī)則進(jìn)行判定能夠快速解決因惡意程序的各種實(shí)體變種、行為變種帶來的不確定性導(dǎo)致安全軟件查殺率下降問題。具體來講，規(guī)則設(shè)置功能可包括語言描述、可視化規(guī)則編程界面、語言解析器、動態(tài)匹配器等部分。語言描述包含了規(guī)則的類型、規(guī)則編號、規(guī)則id、隨機(jī)匹配比率、匹配最大次數(shù)限制、匹配后返回值和匹配條件組。匹配條件組包含多個匹配條件的與、或、非的編程組合。每個匹配條件包含匹配關(guān)鍵詞、匹配操作符、匹配目標(biāo)數(shù)據(jù)三個部分。

客戶端來云端請求樣本的安全級別時，會進(jìn)行云規(guī)則動態(tài)匹配，主要匹配如文件名、路徑、大小、FileDNA、IconDNA、MD5、ip等所有可疑程序運(yùn)行環(huán)境的相關(guān)的特征從而達(dá)到動態(tài)規(guī)則匹配查殺的目的。

舉例而言，接收到客戶端上傳文件樣本的特征后，得到一個key/value(鍵/值)對的hash_map(哈希圖)。通過規(guī)則管理接口將文件樣本的特征與匹配規(guī)則進(jìn)行匹配比較。具體地，文件樣本的特征可以包括：文件名、路徑、大小、FileDNA(文件特征)、IconDNA(圖標(biāo)特征)、MD5、IP(IP地址)。規(guī)則管理接口中各個匹配規(guī)則還可以包括下列屬性中至少一種：應(yīng)用比例、命中限制、日志回傳比例、以及分組標(biāo)簽。

本步驟中，先對鑒定日志進(jìn)行解析，得到解析結(jié)果；按照預(yù)先設(shè)置的規(guī)則，利用鑒定日志的解析結(jié)果進(jìn)行評分得到評分結(jié)果；根據(jù)評分結(jié)果對威脅數(shù)據(jù)的危害級別進(jìn)行評定得到評定結(jié)果；按照評定結(jié)果生成評定文件。概括來說，根據(jù)預(yù)先設(shè)置的規(guī)則，結(jié)合靜態(tài)和動態(tài)分析得到的結(jié)果，對威脅數(shù)據(jù)的危害級別進(jìn)行評定，例如評定為黑、白、灰三個級別，然后形成可交換的評定文件，如pdf格式的文件。

步驟S208，將評定文件和評定文件對應(yīng)的原始威脅數(shù)據(jù)存儲到黑數(shù)據(jù)庫中。

步驟S209，將評分結(jié)果高于預(yù)設(shè)閾值或評定結(jié)果高于預(yù)設(shè)級別的評定文件對應(yīng)的原始威脅數(shù)據(jù)按照類別推送給對應(yīng)的客戶端進(jìn)行進(jìn)一步分析。

由于每日處理的數(shù)據(jù)量很大，對于普通的黑數(shù)據(jù)可直接存儲到黑數(shù)據(jù)庫中；對于高可疑的威脅數(shù)據(jù)，例如命中0Day、NDay或者信息木馬變種的數(shù)據(jù)，需要推送給客戶端進(jìn)行進(jìn)一步的分析。每個客戶端都成為分布在互聯(lián)網(wǎng)中的一個收集可能存在漏洞的指定類型文件的探針，使得漏洞挖掘范圍較為廣泛、全面，客戶端與服務(wù)器端進(jìn)行配合，能夠及時發(fā)現(xiàn)各指定類型文件中存在的漏洞。其中將評分結(jié)果高于預(yù)設(shè)閾值或評定結(jié)果高于預(yù)設(shè)級別的評定文件對應(yīng)的威脅數(shù)據(jù)認(rèn)定為高可疑威脅數(shù)據(jù)。另外，對于通過反調(diào)試或反分析手段導(dǎo)致分析失敗的樣本，也需要推送給客戶端進(jìn)行進(jìn)一步分析。這些威脅數(shù)據(jù)可分類推送給不同的引擎進(jìn)行處理。

步驟S210，將進(jìn)一步分析得到的結(jié)果反饋給黑數(shù)據(jù)庫進(jìn)行存儲。

本實(shí)施例的方法提供了一套有效地、標(biāo)準(zhǔn)的針對網(wǎng)絡(luò)惡意行為的威脅數(shù)據(jù)自動化分析和處理流程，能夠?qū)Ψ稚⒒耐{數(shù)據(jù)進(jìn)行統(tǒng)一管理和分析，實(shí)現(xiàn)對威脅數(shù)據(jù)的危害級別評定，該評定結(jié)果可做成產(chǎn)品用于指導(dǎo)如何提出對網(wǎng)絡(luò)惡意行為有效的應(yīng)對策略。進(jìn)一步的，本實(shí)施例中采用分布式集群系統(tǒng)實(shí)現(xiàn)對威脅數(shù)據(jù)的靜態(tài)分析、動態(tài)分析和關(guān)聯(lián)分析，從這三個方面得出的鑒定結(jié)果，準(zhǔn)確度有所提升，解決了誤報(bào)率較高的問題。而且，本方法為威脅數(shù)據(jù)建立對應(yīng)的威脅檢測任務(wù)，通過高效的任務(wù)分發(fā)，大大提升了響應(yīng)速度。通過關(guān)聯(lián)分析對威脅數(shù)據(jù)進(jìn)行篩選，減少了后續(xù)處理的數(shù)據(jù)量，提高了處理效率；對于可靠度較高的威脅數(shù)據(jù)，提升其威脅檢測任務(wù)的檢測優(yōu)先級，優(yōu)先處理這些任務(wù)，進(jìn)一步提升了高效性和可靠性。本發(fā)明可以應(yīng)用于網(wǎng)絡(luò)安全、終端安全、云安全、應(yīng)用安全、安全管理和安全服務(wù)等多個領(lǐng)域。產(chǎn)品包括高中低端下一代防火墻、入侵防御系統(tǒng)、DDoS攻擊防御系統(tǒng)、虛擬綜合業(yè)務(wù)網(wǎng)關(guān)、沙箱、大數(shù)據(jù)安全分析系統(tǒng)等產(chǎn)品，以及相應(yīng)的針對傳統(tǒng)威脅及未知威脅的解決方案。

圖3示出了根據(jù)本發(fā)明一個實(shí)施例的威脅數(shù)據(jù)的處理系統(tǒng)的功能框圖。如圖3所示，該系統(tǒng)包括：威脅數(shù)據(jù)收集模塊310，威脅數(shù)據(jù)篩選模塊320，威脅任務(wù)建立模塊330，威脅任務(wù)調(diào)度模塊340，威脅任務(wù)分析模塊350，以及分析結(jié)果評定模塊360。

威脅數(shù)據(jù)收集模塊310用于收集原始威脅數(shù)據(jù)。威脅數(shù)據(jù)收集模塊310所收集的原始威脅數(shù)據(jù)包含針對各種類型的網(wǎng)絡(luò)惡意行為的分析結(jié)果，例如包含有關(guān)惡意網(wǎng)頁的URL以及有關(guān)各種漏洞、病毒、木馬、攻擊的樣本目標(biāo)。除此之外，樣本目標(biāo)還包括：0Day，NDay，暴露期0Day，位置掛馬信息，重要網(wǎng)站，位置掛馬跟進(jìn)等等。其中，0Day是已經(jīng)被發(fā)現(xiàn)(有可能未被公開)，而官方還沒有相關(guān)補(bǔ)丁的漏洞。這些漏洞被發(fā)現(xiàn)后立即被惡意利用，例如利用0Day可以修改注冊表、下載文件、運(yùn)行系統(tǒng)文件。樣本目標(biāo)的格式可以是文件、可執(zhí)行程序等，本發(fā)明對此不作限制。

威脅數(shù)據(jù)收集模塊310進(jìn)一步用于：收集客戶端上傳的原始威脅數(shù)據(jù)。在實(shí)際應(yīng)用中，客戶端可以通過預(yù)設(shè)的進(jìn)程列表對登錄過程或支付過程中的危險進(jìn)程進(jìn)行監(jiān)控；或者通過預(yù)設(shè)的安全的文件列表對登錄過程或支付過程中傳輸?shù)奈募M(jìn)行監(jiān)控；或者對登錄過程或支付過程中的瀏覽器調(diào)用行為進(jìn)行監(jiān)控；或者對登錄過程或支付過程中的鍵盤輸入內(nèi)容的調(diào)用進(jìn)行監(jiān)控；或者對登錄過程或支付過程中客戶端傳輸?shù)臄?shù)據(jù)對象進(jìn)行監(jiān)控，例如，當(dāng)監(jiān)控到客戶端向與登錄過程或支付過程無關(guān)的對象傳輸與登錄或支付相關(guān)的數(shù)據(jù)時，則應(yīng)當(dāng)攔截所傳輸?shù)臄?shù)據(jù)對象；或者對登錄過程或支付過程中所開啟的網(wǎng)頁進(jìn)行監(jiān)控，例如，在登錄過程或支付過程中，用戶可能開啟的支付網(wǎng)頁為惡意第三方偽造的與真實(shí)支付網(wǎng)頁類似的網(wǎng)頁，因此需要對所開啟的網(wǎng)頁進(jìn)行監(jiān)控。其中，在監(jiān)控可執(zhí)行文件等文件時，不僅可以監(jiān)控到文件的實(shí)時下載情況，還可以監(jiān)控文件被啟動時以及被啟動后的實(shí)時運(yùn)行情況。另外，威脅數(shù)據(jù)收集模塊310進(jìn)一步用于：收集第三方平臺發(fā)送的原始威脅數(shù)據(jù)?；蛘?，收集通過爬蟲技術(shù)爬取到的原始威脅數(shù)據(jù)。

威脅數(shù)據(jù)篩選模塊320用于通過關(guān)聯(lián)分析對原始威脅數(shù)據(jù)進(jìn)行篩選。

威脅數(shù)據(jù)篩選模塊320進(jìn)一步用于：對于惡意URL，利用黑名單數(shù)據(jù)庫對惡意URL進(jìn)行關(guān)聯(lián)分析，確定是否過濾掉所述惡意URL；其中，所述黑名單數(shù)據(jù)庫包含：URL黑名單數(shù)據(jù)庫，IP黑名單數(shù)據(jù)庫，和/或域名黑名單數(shù)據(jù)庫。例如，針對某個上傳過來的URL，獲取該URL對應(yīng)的IP和域名，比對URL是否屬于URL黑名單數(shù)據(jù)庫，和/或，比對URL對應(yīng)的IP是否屬于IP黑名單數(shù)據(jù)庫，和/或，比對URL對應(yīng)的域名是否屬于域名黑名單數(shù)據(jù)庫，若屬于，則不應(yīng)過濾掉該URL；若都不屬于，則可過濾掉該URL。

威脅數(shù)據(jù)篩選模塊320進(jìn)一步用于：對于樣本，根據(jù)樣本文件格式特征和/或病毒名稱對樣本進(jìn)行關(guān)聯(lián)分析，確定是否過濾掉所述樣本。例如，對于某個宏文件，其包含URL數(shù)據(jù)，可將URL數(shù)據(jù)與上述黑名單數(shù)據(jù)庫進(jìn)行關(guān)聯(lián)，比對URL及其相關(guān)信息(IP或域名)是否屬于黑名單數(shù)據(jù)庫，若屬于，則不應(yīng)過濾掉該宏文件。另外，還可選用自帶引擎對樣本進(jìn)行預(yù)掃描獲得病毒名稱，根據(jù)病毒名稱來判斷是否需要對該樣本進(jìn)行過濾。

威脅數(shù)據(jù)篩選模塊320進(jìn)一步用于：對原始威脅數(shù)據(jù)與預(yù)設(shè)站點(diǎn)列表中的站點(diǎn)的關(guān)系進(jìn)行關(guān)聯(lián)分析，確定是否過濾掉所述原始威脅數(shù)據(jù)。預(yù)設(shè)站點(diǎn)列表中記錄的是優(yōu)先級較高的重要站點(diǎn)，如政府網(wǎng)站等，如果原始威脅數(shù)據(jù)與重要站點(diǎn)有關(guān)聯(lián)，則不應(yīng)過濾。

威脅數(shù)據(jù)篩選模塊320在對原始威脅數(shù)據(jù)進(jìn)行篩選的同時，還可根據(jù)篩選過程確定可靠度，該可靠度與屬于黑數(shù)據(jù)的可能性和與重要站點(diǎn)的關(guān)聯(lián)性有關(guān)，以便后續(xù)確定威脅檢測任務(wù)的優(yōu)先級。

威脅任務(wù)建立模塊330用于根據(jù)經(jīng)過篩選的原始威脅數(shù)據(jù)建立威脅檢測任務(wù)，將威脅檢測任務(wù)下發(fā)給調(diào)度節(jié)點(diǎn)。

威脅任務(wù)建立模塊330要對待分析的威脅數(shù)據(jù)(樣本目標(biāo)或者URL)進(jìn)行管理，建立威脅檢測任務(wù)。一旦威脅檢測任務(wù)建立，后續(xù)無論是進(jìn)行自動化沙箱分析，還是人工分析，都會對該威脅檢測任務(wù)給出分析結(jié)論。威脅任務(wù)建立模塊330進(jìn)一步用于：根據(jù)原始威脅數(shù)據(jù)的來源信息和/或經(jīng)篩選確定的可靠度，建立威脅檢測任務(wù)，并為威脅檢測任務(wù)確定檢測優(yōu)先級。如果經(jīng)篩選確定的可靠度比較高，該可靠度與屬于黑數(shù)據(jù)的可能性和與重要站點(diǎn)的關(guān)聯(lián)性有關(guān)，那么則為該威脅檢測任務(wù)確定較高的檢測優(yōu)先級；如果經(jīng)篩選確定的可靠度比較低，則為該威脅檢測任務(wù)確定較低的檢測優(yōu)先級。另外，對原始威脅數(shù)據(jù)的來源信息進(jìn)行分析，認(rèn)為可能需要利用不同的環(huán)境或引擎對該原始威脅數(shù)據(jù)進(jìn)行分析，就需要建立不同的威脅檢測任務(wù)，即針對同一原始威脅數(shù)據(jù)建立一個或多個威脅檢測任務(wù)，原始威脅數(shù)據(jù)與威脅檢測任務(wù)是一對一或一對多的關(guān)系。

所建立的威脅檢測任務(wù)下發(fā)給調(diào)度節(jié)點(diǎn)，通常當(dāng)天產(chǎn)生的威脅檢測任務(wù)當(dāng)天下發(fā)給調(diào)度節(jié)點(diǎn)，提升響應(yīng)速度。

威脅任務(wù)調(diào)度模塊340，位于調(diào)度節(jié)點(diǎn)中，用于將威脅檢測任務(wù)分發(fā)給分布式集群系統(tǒng)。

威脅任務(wù)分析模塊350，位于分布式集群系統(tǒng)中，用于對威脅檢測任務(wù)進(jìn)行分析，得到鑒定日志。

為了進(jìn)一步提升威脅數(shù)據(jù)檢測的安全性，本發(fā)明中分布式集群系統(tǒng)可具體為分布式沙箱集群系統(tǒng)或分布式蜜罐系統(tǒng)。分布式沙箱集群系統(tǒng)采用沙箱技術(shù)進(jìn)行檢測分析，沙箱為可疑樣本日志提供了一個封閉的運(yùn)行環(huán)境，這樣，即使可疑樣本日志對應(yīng)的樣本確實(shí)存在漏洞，也不會對服務(wù)器側(cè)造成損害。分布式蜜罐系統(tǒng)采用蜜罐技術(shù)進(jìn)行檢測分析，其目的都是在一個隔離的虛擬環(huán)境下開展檢測分析工作，保護(hù)系統(tǒng)不受影響。

威脅任務(wù)分析模塊350進(jìn)一步用于：對威脅檢測任務(wù)進(jìn)行靜態(tài)分析、動態(tài)分析和/或關(guān)聯(lián)分析，得到鑒定日志。

威脅任務(wù)分析模塊350進(jìn)一步用于：利用靜態(tài)引擎抽取URL信息和/或樣本格式信息進(jìn)行靜態(tài)分析；和/或，獲取第三方平臺或第三方引擎提供的鑒定信息。靜態(tài)引擎可抽取URL信息和/或樣本格式信息進(jìn)行靜態(tài)分析。所抽取的URL信息包含但不限于：IP、域名、URL的MD5值等等，樣本格式信息包含但不限于：漏洞/病毒名稱、URL信息、PE樣本的字符串相似度等等。

威脅任務(wù)分析模塊350進(jìn)一步用于：利用動態(tài)引擎抓取操作系統(tǒng)行為數(shù)據(jù)、漏洞相關(guān)行為數(shù)據(jù)和/或網(wǎng)絡(luò)相關(guān)行為數(shù)據(jù)進(jìn)行動態(tài)分析；和/或，獲取第三方平臺或第三方引擎提供的鑒定信息。以內(nèi)核漏洞為例，動態(tài)引擎對關(guān)鍵行為或功能的相關(guān)API的調(diào)用進(jìn)行hook，比對相關(guān)函數(shù)的名稱或?qū)傩允欠癖淮鄹幕蛱鎿Q，從而得到內(nèi)核漏洞的鑒定日志。

通過云查殺的PE文件利用沙箱檢測方式進(jìn)行再次完整分析檢測。對于非PE文件，如富文本格式(Rich Text Format，以下簡稱為RTF格式)、PDF格式、Doc(一種文件擴(kuò)展名)格式、docx(一種文件擴(kuò)展名)格式以及excel格式等等，若文件為能夠繼續(xù)解壓縮的文檔，則返回繼續(xù)進(jìn)行解壓縮操作，若文件為可檢測的元數(shù)據(jù)，則進(jìn)行QEX靜態(tài)分析、填充數(shù)據(jù)(shellcode)半動態(tài)檢測以及l(fā)ightVM輕量動態(tài)分析。之后，利用沙箱檢測對通過以上三種檢測的元數(shù)據(jù)再次進(jìn)行檢測。在對文件是否具有惡意行為的檢測時，優(yōu)選地，本發(fā)明實(shí)施例中，可以將惡意行為的危險等級分為三個等級。第一，高危，即能夠確認(rèn)元數(shù)據(jù)為惡意代碼，如確定的木馬樣本、明顯的惡意行為或者能夠觸發(fā)的漏洞利用等。第二，中危，即存在疑似惡意行為，但無法確定的，或者疑似漏洞利用，但尚沒有確定的惡意行為，例如發(fā)現(xiàn)樣本會訪問以下敏感的位置，或者樣本導(dǎo)致程序崩潰，但沒有觸發(fā)執(zhí)行。第三，低危，即非經(jīng)過確認(rèn)的無惡意文件，可能會危害系統(tǒng)安全，可以理解為存在風(fēng)險的文件。

威脅任務(wù)分析模塊350還可進(jìn)行關(guān)聯(lián)分析，具體分析URL之間，樣本之間是否具有關(guān)聯(lián)性，通過分析黑數(shù)據(jù)之間的關(guān)聯(lián)性，隨著數(shù)據(jù)越來越多，積累的黑數(shù)據(jù)也越來越多。

分析結(jié)果評定模塊360用于對鑒定日志作解析和規(guī)則判定，對威脅數(shù)據(jù)的危害級別進(jìn)行評定。

分析結(jié)果評定模塊360進(jìn)一步用于：對鑒定日志進(jìn)行解析，得到解析結(jié)果；按照預(yù)先設(shè)置的規(guī)則，利用鑒定日志的解析結(jié)果進(jìn)行評分得到評分結(jié)果；根據(jù)評分結(jié)果對威脅數(shù)據(jù)的危害級別進(jìn)行評定得到評定結(jié)果；按照評定結(jié)果生成評定文件。

通過設(shè)置規(guī)則，利用規(guī)則進(jìn)行判定能夠快速解決因惡意程序的各種實(shí)體變種、行為變種帶來的不確定性導(dǎo)致安全軟件查殺率下降問題。具體來講，規(guī)則設(shè)置功能可包括語言描述、可視化規(guī)則編程界面、語言解析器、動態(tài)匹配器等部分。語言描述包含了規(guī)則的類型、規(guī)則編號、規(guī)則id、隨機(jī)匹配比率、匹配最大次數(shù)限制、匹配后返回值和匹配條件組。匹配條件組包含多個匹配條件的與、或、非的編程組合。每個匹配條件包含匹配關(guān)鍵詞、匹配操作符、匹配目標(biāo)數(shù)據(jù)三個部分。

客戶端來云端請求樣本的安全級別時，會進(jìn)行云規(guī)則動態(tài)匹配，主要匹配如文件名、路徑、大小、FileDNA、IconDNA、MD5、ip等所有可疑程序運(yùn)行環(huán)境的相關(guān)的特征從而達(dá)到動態(tài)規(guī)則匹配查殺的目的。

舉例而言，接收到客戶端上傳文件樣本的特征后，得到一個key/value(鍵/值)對的hash_map(哈希圖)。通過規(guī)則管理接口將文件樣本的特征與匹配規(guī)則進(jìn)行匹配比較。具體地，文件樣本的特征可以包括：文件名、路徑、大小、FileDNA(文件特征)、IconDNA(圖標(biāo)特征)、MD5、IP(IP地址)。規(guī)則管理接口中各個匹配規(guī)則還可以包括下列屬性中至少一種：應(yīng)用比例、命中限制、日志回傳比例、以及分組標(biāo)簽。

進(jìn)一步的，該系統(tǒng)還可包括：結(jié)構(gòu)化處理模塊370，用于對原始威脅數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理。

進(jìn)一步的，該系統(tǒng)還可包括：存儲系統(tǒng)380，位于hadoop集群系統(tǒng)中，用于存儲鑒定日志。

進(jìn)一步的，該系統(tǒng)還包括：黑數(shù)據(jù)庫390，用于存儲評定文件和評定文件對應(yīng)的原始威脅數(shù)據(jù)。

由于每日處理的數(shù)據(jù)量很大，對于普通的黑數(shù)據(jù)可直接存儲到黑數(shù)據(jù)庫390中；對于高可疑的威脅數(shù)據(jù)，例如命中0Day、NDay或者信息木馬變種的數(shù)據(jù)，需要推送給客戶端進(jìn)行進(jìn)一步的分析。每個客戶端都成為分布在互聯(lián)網(wǎng)中的一個收集可能存在漏洞的指定類型文件的探針，使得漏洞挖掘范圍較為廣泛、全面，客戶端與服務(wù)器端進(jìn)行配合，能夠及時發(fā)現(xiàn)各指定類型文件中存在的漏洞。其中將評分結(jié)果高于預(yù)設(shè)閾值或評定結(jié)果高于預(yù)設(shè)級別的評定文件對應(yīng)的威脅數(shù)據(jù)認(rèn)定為高可疑威脅數(shù)據(jù)。另外，對于通過反調(diào)試或反分析手段導(dǎo)致分析失敗的樣本，也需要推送給客戶端進(jìn)行進(jìn)一步分析。這些威脅數(shù)據(jù)可分類推送給不同的引擎進(jìn)行處理。

具體地，該系統(tǒng)還可包括：威脅數(shù)據(jù)推送模塊391和反饋模塊392。威脅數(shù)據(jù)推送模塊391，用于將評分結(jié)果高于預(yù)設(shè)閾值或評定結(jié)果高于預(yù)設(shè)級別的評定文件對應(yīng)的原始威脅數(shù)據(jù)按照類別推送給對應(yīng)的客戶端進(jìn)行進(jìn)一步分析；反饋模塊392，用于將進(jìn)一步分析得到的結(jié)果反饋給黑數(shù)據(jù)庫進(jìn)行存儲。

本實(shí)施例提供了一套有效地、標(biāo)準(zhǔn)的針對網(wǎng)絡(luò)惡意行為的威脅數(shù)據(jù)自動化分析和處理系統(tǒng)，能夠?qū)Ψ稚⒒耐{數(shù)據(jù)進(jìn)行統(tǒng)一管理和分析，實(shí)現(xiàn)對威脅數(shù)據(jù)的危害級別評定，該評定結(jié)果可做成產(chǎn)品用于指導(dǎo)如何提出對網(wǎng)絡(luò)惡意行為有效的應(yīng)對策略。進(jìn)一步的，本實(shí)施例中采用分布式集群系統(tǒng)實(shí)現(xiàn)對威脅數(shù)據(jù)的靜態(tài)分析、動態(tài)分析和關(guān)聯(lián)分析，從這三個方面得出的鑒定結(jié)果，準(zhǔn)確度有所提升，解決了誤報(bào)率較高的問題。而且，本系統(tǒng)為威脅數(shù)據(jù)建立對應(yīng)的威脅檢測任務(wù)，通過高效的任務(wù)分發(fā)，大大提升了響應(yīng)速度。通過關(guān)聯(lián)分析對威脅數(shù)據(jù)進(jìn)行篩選，減少了后續(xù)處理的數(shù)據(jù)量，提高了處理效率；對于可靠度較高的威脅數(shù)據(jù)，提升其威脅檢測任務(wù)的檢測優(yōu)先級，優(yōu)先處理這些任務(wù)，進(jìn)一步提升了高效性和可靠性。本系統(tǒng)各個功能模塊的功能可靈活化擴(kuò)展，擴(kuò)展的功能不會影響其它模塊的正常工作，提升了系統(tǒng)的適用性。本發(fā)明可以應(yīng)用于網(wǎng)絡(luò)安全、終端安全、云安全、應(yīng)用安全、安全管理和安全服務(wù)等多個領(lǐng)域。產(chǎn)品包括高中低端下一代防火墻、入侵防御系統(tǒng)、DDoS攻擊防御系統(tǒng)、虛擬綜合業(yè)務(wù)網(wǎng)關(guān)、沙箱、大數(shù)據(jù)安全分析系統(tǒng)等產(chǎn)品，以及相應(yīng)的針對傳統(tǒng)威脅及未知威脅的解決方案。

在此提供的算法和顯示不與任何特定計(jì)算機(jī)、虛擬系統(tǒng)或者其它設(shè)備固有相關(guān)。各種通用系統(tǒng)也可以與基于在此的示教一起使用。根據(jù)上面的描述，構(gòu)造這類系統(tǒng)所要求的結(jié)構(gòu)是顯而易見的。此外，本發(fā)明也不針對任何特定編程語言。應(yīng)當(dāng)明白，可以利用各種編程語言實(shí)現(xiàn)在此描述的本發(fā)明的內(nèi)容，并且上面對特定語言所做的描述是為了披露本發(fā)明的最佳實(shí)施方式。

在此處所提供的說明書中，說明了大量具體細(xì)節(jié)。然而，能夠理解，本發(fā)明的實(shí)施例可以在沒有這些具體細(xì)節(jié)的情況下實(shí)踐。在一些實(shí)例中，并未詳細(xì)示出公知的方法、結(jié)構(gòu)和技術(shù)，以便不模糊對本說明書的理解。

類似地，應(yīng)當(dāng)理解，為了精簡本公開并幫助理解各個發(fā)明方面中的一個或多個，在上面對本發(fā)明的示例性實(shí)施例的描述中，本發(fā)明的各個特征有時被一起分組到單個實(shí)施例、圖、或者對其的描述中。然而，并不應(yīng)將該公開的方法解釋成反映如下意圖：即所要求保護(hù)的本發(fā)明要求比在每個權(quán)利要求中所明確記載的特征更多的特征。更確切地說，如下面的權(quán)利要求書所反映的那樣，發(fā)明方面在于少于前面公開的單個實(shí)施例的所有特征。因此，遵循具體實(shí)施方式的權(quán)利要求書由此明確地并入該具體實(shí)施方式，其中每個權(quán)利要求本身都作為本發(fā)明的單獨(dú)實(shí)施例。

本領(lǐng)域那些技術(shù)人員可以理解，可以對實(shí)施例中的設(shè)備中的模塊進(jìn)行自適應(yīng)性地改變并且把它們設(shè)置在與該實(shí)施例不同的一個或多個設(shè)備中?？梢园褜?shí)施例中的模塊或單元或組件組合成一個模塊或單元或組件，以及此外可以把它們分成多個子模塊或子單元或子組件。除了這樣的特征和/或過程或者單元中的至少一些是相互排斥之外，可以采用任何組合對本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的所有特征以及如此公開的任何方法或者設(shè)備的所有過程或單元進(jìn)行組合。除非另外明確陳述，本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的每個特征可以由提供相同、等同或相似目的的替代特征來代替。

此外，本領(lǐng)域的技術(shù)人員能夠理解，盡管在此所述的一些實(shí)施例包括其它實(shí)施例中所包括的某些特征而不是其它特征，但是不同實(shí)施例的特征的組合意味著處于本發(fā)明的范圍之內(nèi)并且形成不同的實(shí)施例。例如，在下面的權(quán)利要求書中，所要求保護(hù)的實(shí)施例的任意之一都可以以任意的組合方式來使用。

本發(fā)明的各個部件實(shí)施例可以以硬件實(shí)現(xiàn)，或者以在一個或者多個處理器上運(yùn)行的軟件模塊實(shí)現(xiàn)，或者以它們的組合實(shí)現(xiàn)。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，可以在實(shí)踐中使用微處理器或者數(shù)字信號處理器(DSP)來實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的威脅數(shù)據(jù)的處理系統(tǒng)中的一些或者全部部件的一些或者全部功能。本發(fā)明還可以實(shí)現(xiàn)為用于執(zhí)行這里所描述的方法的一部分或者全部的設(shè)備或者裝置程序(例如，計(jì)算機(jī)程序和計(jì)算機(jī)程序產(chǎn)品)。這樣的實(shí)現(xiàn)本發(fā)明的程序可以存儲在計(jì)算機(jī)可讀介質(zhì)上，或者可以具有一個或者多個信號的形式。這樣的信號可以從因特網(wǎng)網(wǎng)站上下載得到，或者在載體信號上提供，或者以任何其他形式提供。

應(yīng)該注意的是上述實(shí)施例對本發(fā)明進(jìn)行說明而不是對本發(fā)明進(jìn)行限制，并且本領(lǐng)域技術(shù)人員在不脫離所附權(quán)利要求的范圍的情況下可設(shè)計(jì)出替換實(shí)施例。在權(quán)利要求中，不應(yīng)將位于括號之間的任何參考符號構(gòu)造成對權(quán)利要求的限制。單詞“包含”不排除存在未列在權(quán)利要求中的元件或步驟。位于元件之前的單詞“一”或“一個”不排除存在多個這樣的元件。本發(fā)明可以借助于包括有若干不同元件的硬件以及借助于適當(dāng)編程的計(jì)算機(jī)來實(shí)現(xiàn)。在列舉了若干裝置的單元權(quán)利要求中，這些裝置中的若干個可以是通過同一個硬件項(xiàng)來具體體現(xiàn)。單詞第一、第二、以及第三等的使用不表示任何順序?？蓪⑦@些單詞解釋為名稱。

本發(fā)明公開了：A1、一種威脅數(shù)據(jù)的處理方法，包括：

收集原始威脅數(shù)據(jù)；

通過關(guān)聯(lián)分析對原始威脅數(shù)據(jù)進(jìn)行篩選；

根據(jù)經(jīng)過篩選的原始威脅數(shù)據(jù)建立威脅檢測任務(wù)，將威脅檢測任務(wù)下發(fā)給調(diào)度節(jié)點(diǎn)；

由調(diào)度節(jié)點(diǎn)將威脅檢測任務(wù)分發(fā)給分布式集群系統(tǒng)，由分布式集群系統(tǒng)對威脅檢測任務(wù)進(jìn)行分析，得到鑒定日志；

對鑒定日志作解析和規(guī)則判定，對威脅數(shù)據(jù)的危害級別進(jìn)行評定。

A2、根據(jù)A1所述的方法，所述收集原始威脅數(shù)據(jù)進(jìn)一步包括：收集客戶端上傳的原始威脅數(shù)據(jù)；其中，所述原始威脅數(shù)據(jù)包含惡意URL和/或惡意樣本。

A3、根據(jù)A2所述的方法，所述收集原始威脅數(shù)據(jù)還包括：

收集第三方平臺發(fā)送的原始威脅數(shù)據(jù)；和/或

收集通過爬蟲技術(shù)爬取到的原始威脅數(shù)據(jù)。

A4、根據(jù)A1-A3中任一項(xiàng)所述的方法，在所述通過關(guān)聯(lián)分析對原始威脅數(shù)據(jù)進(jìn)行篩選之前，所述方法還包括：對所述原始威脅數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理。

A5、根據(jù)A1-A4中任一項(xiàng)所述的方法，所述通過關(guān)聯(lián)分析對原始威脅數(shù)據(jù)進(jìn)行篩選進(jìn)一步包括：

對于惡意URL，利用黑名單數(shù)據(jù)庫對惡意URL進(jìn)行關(guān)聯(lián)分析，確定是否過濾掉所述惡意URL；

其中，所述黑名單數(shù)據(jù)庫包含：URL黑名單數(shù)據(jù)庫，IP黑名單數(shù)據(jù)庫，和/或域名黑名單數(shù)據(jù)庫。

A6、根據(jù)A1-A4中任一項(xiàng)所述的方法，所述通過關(guān)聯(lián)分析對原始威脅數(shù)據(jù)進(jìn)行篩選進(jìn)一步包括：

對于樣本，根據(jù)樣本文件格式特征和/或病毒名稱對樣本進(jìn)行關(guān)聯(lián)分析，確定是否過濾掉所述樣本。

A7、根據(jù)A5或A6所述的方法，所述通過關(guān)聯(lián)分析對原始威脅數(shù)據(jù)進(jìn)行篩選還包括：

對原始威脅數(shù)據(jù)與預(yù)設(shè)站點(diǎn)列表中的站點(diǎn)的關(guān)系進(jìn)行關(guān)聯(lián)分析，確定是否過濾掉所述原始威脅數(shù)據(jù)。

A8、根據(jù)A1-A7中任一項(xiàng)所述的方法，所述根據(jù)經(jīng)過篩選的原始威脅數(shù)據(jù)建立威脅檢測任務(wù)進(jìn)一步包括：

根據(jù)原始威脅數(shù)據(jù)的來源信息和/或經(jīng)篩選確定的可靠度，建立威脅檢測任務(wù)，并為所述威脅檢測任務(wù)確定檢測優(yōu)先級；其中，針對同一原始威脅數(shù)據(jù)建立一個或多個威脅檢測任務(wù)。

A9、根據(jù)A1-A8中任一項(xiàng)所述的方法，所述由分布式集群系統(tǒng)對威脅檢測任務(wù)進(jìn)行分析進(jìn)一步包括：由分布式集群系統(tǒng)對威脅檢測任務(wù)進(jìn)行靜態(tài)分析、動態(tài)分析和/或關(guān)聯(lián)分析。

A10、根據(jù)A9所述的方法，所述由分布式集群系統(tǒng)對威脅檢測任務(wù)進(jìn)行靜態(tài)分析進(jìn)一步包括：

由分布式集群系統(tǒng)的靜態(tài)引擎抽取URL信息和/或樣本格式信息進(jìn)行靜態(tài)分析；

和/或，獲取第三方平臺或第三方引擎提供的鑒定信息。

A11、根據(jù)A9所述的方法，所述由分布式集群系統(tǒng)對威脅檢測任務(wù)進(jìn)行動態(tài)分析進(jìn)一步包括：

由分布式集群系統(tǒng)的動態(tài)引擎抓取操作系統(tǒng)行為數(shù)據(jù)、漏洞相關(guān)行為數(shù)據(jù)和/或網(wǎng)絡(luò)相關(guān)行為數(shù)據(jù)進(jìn)行動態(tài)分析；

和/或，獲取第三方平臺或第三方引擎提供的鑒定信息。

A12、根據(jù)A1-A11中任一項(xiàng)所述的方法，在所述得到鑒定日志之后，所述方法還包括：將所述鑒定日志進(jìn)行緩存后，存儲到hadoop集群系統(tǒng)中。

A13、根據(jù)A1-A12中任一項(xiàng)所述的方法，所述對鑒定日志作解析和規(guī)則判定，對威脅數(shù)據(jù)的危害級別進(jìn)行評定進(jìn)一步包括：

對鑒定日志進(jìn)行解析，得到解析結(jié)果；

按照預(yù)先設(shè)置的規(guī)則，利用鑒定日志的解析結(jié)果進(jìn)行評分得到評分結(jié)果；

根據(jù)評分結(jié)果對威脅數(shù)據(jù)的危害級別進(jìn)行評定得到評定結(jié)果；

按照評定結(jié)果生成評定文件。

A14、根據(jù)A13所述的方法，在所述按照評定結(jié)果生成評定文件之后，所述方法還包括：將所述評定文件和所述評定文件對應(yīng)的原始威脅數(shù)據(jù)存儲到黑數(shù)據(jù)庫中。

A15、根據(jù)A14所述的方法，在所述按照評定結(jié)果生成評定文件之后，所述方法還包括：將評分結(jié)果高于預(yù)設(shè)閾值或評定結(jié)果高于預(yù)設(shè)級別的評定文件對應(yīng)的原始威脅數(shù)據(jù)按照類別推送給對應(yīng)的客戶端進(jìn)行進(jìn)一步分析；將進(jìn)一步分析得到的結(jié)果反饋給黑數(shù)據(jù)庫進(jìn)行存儲。

本發(fā)明還公開了：B16、一種威脅數(shù)據(jù)的處理系統(tǒng)，包括：

威脅數(shù)據(jù)收集模塊，用于收集原始威脅數(shù)據(jù)；

威脅數(shù)據(jù)篩選模塊，用于通過關(guān)聯(lián)分析對原始威脅數(shù)據(jù)進(jìn)行篩選；

威脅任務(wù)建立模塊，用于根據(jù)經(jīng)過篩選的原始威脅數(shù)據(jù)建立威脅檢測任務(wù)，將威脅檢測任務(wù)下發(fā)給調(diào)度節(jié)點(diǎn)；

威脅任務(wù)調(diào)度模塊，位于調(diào)度節(jié)點(diǎn)中，用于將威脅檢測任務(wù)分發(fā)給分布式集群系統(tǒng)；

威脅任務(wù)分析模塊，位于分布式集群系統(tǒng)中，用于對威脅檢測任務(wù)進(jìn)行分析，得到鑒定日志；

分析結(jié)果評定模塊，用于對鑒定日志作解析和規(guī)則判定，對威脅數(shù)據(jù)的危害級別進(jìn)行評定。

B17、根據(jù)B16所述的系統(tǒng)，所述威脅數(shù)據(jù)收集模塊進(jìn)一步用于：收集客戶端上傳的原始威脅數(shù)據(jù)；其中，所述原始威脅數(shù)據(jù)包含惡意URL和/或惡意樣本。

B18、根據(jù)B17所述的系統(tǒng)，所述威脅數(shù)據(jù)收集模塊進(jìn)一步用于：

收集第三方平臺發(fā)送的原始威脅數(shù)據(jù)；和/或

收集通過爬蟲技術(shù)爬取到的原始威脅數(shù)據(jù)。

B19、根據(jù)B16-B18中任一項(xiàng)所述的系統(tǒng)，還包括：結(jié)構(gòu)化處理模塊，用于對所述原始威脅數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理。

B20、根據(jù)B16-B19中任一項(xiàng)所述的系統(tǒng)，所述威脅數(shù)據(jù)篩選模塊進(jìn)一步用于：對于惡意URL，利用黑名單數(shù)據(jù)庫對惡意URL進(jìn)行關(guān)聯(lián)分析，確定是否過濾掉所述惡意URL；其中，所述黑名單數(shù)據(jù)庫包含：URL黑名單數(shù)據(jù)庫，IP黑名單數(shù)據(jù)庫，和/或域名黑名單數(shù)據(jù)庫。

B21、根據(jù)B16-B19中任一項(xiàng)所述的系統(tǒng)，所述威脅數(shù)據(jù)篩選模塊進(jìn)一步用于：對于樣本，根據(jù)樣本文件格式特征和/或病毒名稱對樣本進(jìn)行關(guān)聯(lián)分析，確定是否過濾掉所述樣本。

B22、根據(jù)B20或B21所述的系統(tǒng)，所述威脅數(shù)據(jù)篩選模塊進(jìn)一步用于：對原始威脅數(shù)據(jù)與預(yù)設(shè)站點(diǎn)列表中的站點(diǎn)的關(guān)系進(jìn)行關(guān)聯(lián)分析，確定是否過濾掉所述原始威脅數(shù)據(jù)。

B23、根據(jù)B16-B22中任一項(xiàng)所述的系統(tǒng)，所述威脅任務(wù)建立模塊進(jìn)一步用于：根據(jù)原始威脅數(shù)據(jù)的來源信息和/或經(jīng)篩選確定的可靠度，建立威脅檢測任務(wù)，并為所述威脅檢測任務(wù)確定檢測優(yōu)先級；其中，針對同一原始威脅數(shù)據(jù)建立一個或多個威脅檢測任務(wù)。

B24、根據(jù)B16-B23中任一項(xiàng)所述的系統(tǒng)，所述威脅任務(wù)分析模塊進(jìn)一步用于：對威脅檢測任務(wù)進(jìn)行靜態(tài)分析、動態(tài)分析和/或關(guān)聯(lián)分析，得到鑒定日志。

B25、根據(jù)B24所述的系統(tǒng)，所述威脅任務(wù)分析模塊進(jìn)一步用于：利用靜態(tài)引擎抽取URL信息和/或樣本格式信息進(jìn)行靜態(tài)分析；和/或，獲取第三方平臺或第三方引擎提供的鑒定信息。

B26、根據(jù)B24所述的系統(tǒng)，所述威脅任務(wù)分析模塊進(jìn)一步用于：利用動態(tài)引擎抓取操作系統(tǒng)行為數(shù)據(jù)、漏洞相關(guān)行為數(shù)據(jù)和/或網(wǎng)絡(luò)相關(guān)行為數(shù)據(jù)進(jìn)行動態(tài)分析；和/或，獲取第三方平臺或第三方引擎提供的鑒定信息。

B27、根據(jù)B16-B26中任一項(xiàng)所述的系統(tǒng)，還包括：存儲系統(tǒng)，位于hadoop集群系統(tǒng)中，用于存儲所述鑒定日志。

B28、根據(jù)B16-B27中任一項(xiàng)所述的系統(tǒng)，所述分析結(jié)果評定模塊進(jìn)一步用于：

對鑒定日志進(jìn)行解析，得到解析結(jié)果；

按照預(yù)先設(shè)置的規(guī)則，利用鑒定日志的解析結(jié)果進(jìn)行評分得到評分結(jié)果；

根據(jù)評分結(jié)果對威脅數(shù)據(jù)的危害級別進(jìn)行評定得到評定結(jié)果；

按照評定結(jié)果生成評定文件。

B29、根據(jù)B28所述的系統(tǒng)，還包括：黑數(shù)據(jù)庫，用于存儲所述評定文件和所述評定文件對應(yīng)的原始威脅數(shù)據(jù)。

B30、根據(jù)B29所述的系統(tǒng)，還包括：

威脅數(shù)據(jù)推送模塊，用于將評分結(jié)果高于預(yù)設(shè)閾值或評定結(jié)果高于預(yù)設(shè)級別的評定文件對應(yīng)的原始威脅數(shù)據(jù)按照類別推送給對應(yīng)的客戶端進(jìn)行進(jìn)一步分析；

反饋模塊，用于將進(jìn)一步分析得到的結(jié)果反饋給黑數(shù)據(jù)庫進(jìn)行存儲。