一種網(wǎng)絡(luò)攻擊異常檢測方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及信息安全技術(shù)領(lǐng)域，尤其是一種基于行為特征的網(wǎng)絡(luò)異常行為檢測方 法。
【背景技術(shù)】
[0002] 在互聯(lián)網(wǎng)迅速普及當中，人們在感受網(wǎng)絡(luò)所帶來的便利的同時，也面臨著各種各 樣的進攻和威脅:機密泄漏、數(shù)據(jù)丟失、網(wǎng)絡(luò)濫用、身份冒用、非法入侵等。網(wǎng)絡(luò)與系統(tǒng)存在 的漏桐給攻擊者帶來了可乘之機，隨著計算機技術(shù)的不斷發(fā)展，新的攻擊層出不窮，給政 府、銀行甚至軍事系統(tǒng)帶來了極大的損失。據(jù)最新的一項統(tǒng)計表明，在美國因數(shù)據(jù)泄露所引 發(fā)的安全事故平均帶來的經(jīng)濟損失達到700多萬美元。網(wǎng)絡(luò)空間安全已上升到國家安全甚 至是軍事安全層面，最大程度地保護網(wǎng)絡(luò)和信息系統(tǒng)的安全已成為當今一個非常重要非常 迫切的任務(wù)。
[0003] 在網(wǎng)絡(luò)入侵檢測中，行為建模與異常檢測是重要的技術(shù)手段。異常檢測建立系統(tǒng)、 用戶、網(wǎng)絡(luò)或應(yīng)用等正常行為模型，當待檢測的行為在一定程度上偏離該模型，則認為存在 異常。在網(wǎng)絡(luò)流量監(jiān)測中，行為建模與異常檢測不僅可W及時發(fā)現(xiàn)網(wǎng)絡(luò)攻擊行為，還能探測 到非法行為，如超大文件的P2P傳送。同時，與誤用檢測相比，異常檢測不僅能檢測出已知的 網(wǎng)絡(luò)攻擊行為，還能探測到未知的或變種的網(wǎng)絡(luò)攻擊。
[0004] 在互聯(lián)網(wǎng)應(yīng)用中，基于web的應(yīng)用不斷增長。與此同時，與web有關(guān)的漏桐也與日俱 增。Cenz i C公司最新的調(diào)查報告顯示，在2010年大約50 %的網(wǎng)絡(luò)漏桐來自于Web，73 %的網(wǎng) 絡(luò)管理員承認曾經(jīng)遭受過Web攻擊。拒絕服務(wù)攻擊(Dos)、網(wǎng)絡(luò)掃描、網(wǎng)絡(luò)蠕蟲等大型攻擊給 關(guān)鍵系統(tǒng)及整個網(wǎng)絡(luò)的正常使用帶來極大的危害。因此，基于Web的攻擊檢測變得尤其重 要。同時，大數(shù)據(jù)時代的到來，我們面臨的是高速的并且不斷進化的海量數(shù)據(jù)流，如何從海 里數(shù)據(jù)流中找到網(wǎng)絡(luò)攻擊行為的蛛絲馬跡也是一個難題。
[0005] 在異常檢測方面，早期的異常檢測主要是通過監(jiān)聽系統(tǒng)日志，如CPU使用率、用戶 連接時間、訪問的文件等，來實現(xiàn)對系統(tǒng)和用戶行為的建模。Schonlau等人使用用戶的命令 序列來檢測內(nèi)部的偽裝攻擊行為并發(fā)布了他們的數(shù)據(jù)。近10年來很多異常檢測方法都已用 于該命令序列數(shù)據(jù)，如Oka等人使用EigenCo-Occurrence Matrix(^ECM)檢測內(nèi)部攻擊。中科 院奮起濱教授帶領(lǐng)的團隊里面Markov模型進行異常行為檢測。北京郵電大學(xué)的王偉教授帶 領(lǐng)的團隊基于命令序列數(shù)據(jù)成果應(yīng)用了非負矩陣分解、主成分分析等方法來檢測攻擊，并 取得了較好的檢測效果。同時，對網(wǎng)絡(luò)行為建模W檢測網(wǎng)絡(luò)異常也得到了廣泛的應(yīng)用。 Heberlein等人第一次直接將網(wǎng)絡(luò)數(shù)據(jù)包作為信息源檢測入侵。Lee等人從DARPA提供的網(wǎng) 絡(luò)數(shù)據(jù)中提取了 41個特征并建立網(wǎng)絡(luò)入侵檢測模型，運些特征集被發(fā)布為KDD'1999CUP數(shù) 據(jù)，并一度成為了網(wǎng)絡(luò)入侵檢測的研究中應(yīng)用最廣的標準數(shù)據(jù)集之一。國內(nèi)中科院李洋等 人使用基于直推信度機的最近鄰方法在K孤'1999數(shù)據(jù)上進行網(wǎng)絡(luò)入侵檢測。南京郵電大學(xué) 的徐沖等人集成改進的BP神經(jīng)網(wǎng)絡(luò)算法和支持向量機并將其應(yīng)用于KDD'1999網(wǎng)絡(luò)數(shù)據(jù)W 檢測入侵。
[0006] 在對Web攻擊檢測方面，2003年Kruegel等人首次使用HTTP數(shù)據(jù)流來檢測基于Web 的攻擊。他們通過分析客戶端的查詢及其參數(shù)，使用6種不同的統(tǒng)計方法來檢測潛在的異常 或攻擊行為。In曲am等人收集了一些HTTP攻擊，并基于Kruegel工作的基礎(chǔ)上比較了幾種 Web攻擊檢測方法。Song等人基于n-gram方法，利用混合Markov模型來識別Web攻擊。
[0007] 同時，基于IP網(wǎng)絡(luò)流量的異常檢測是今年來的一個研究熱點。Barford等人通過IP 流量分析了四種不同的網(wǎng)絡(luò)異常。LakMna等人使用PCA檢測基于化tflow的網(wǎng)絡(luò)流量異常 行為。Ringberg等人和化auckhoff等人的研究表明PCA在檢測異常時對參數(shù)設(shè)置較為敏感， 會帶來檢測的不穩(wěn)定性。基于此問題，Brauc化off等人設(shè)計了一種擴展的PCA算法W試圖解 決運個問題。北京大學(xué)和中科院的李臻等人提出了一種在網(wǎng)絡(luò)數(shù)據(jù)鏈中發(fā)現(xiàn)大業(yè)務(wù)流的識 別方法。西安交通大學(xué)管曉宏等人提出了一種檢測網(wǎng)絡(luò)流量特征變化的方法。
[000引在自適應(yīng)異常檢測方面，Cretu等人嘗試在訓(xùn)練環(huán)節(jié)讓檢測模型隨著被保護對象 的行為變化而自適應(yīng)地改變。Rehak等人通過不斷插入新的網(wǎng)絡(luò)流量對檢測模型進行優(yōu)化 W實現(xiàn)實時網(wǎng)絡(luò)監(jiān)測。Robertson等人試圖解決異常檢測中訓(xùn)練數(shù)據(jù)嚴重不足的問題，通過 提取HTT內(nèi)青求中的參數(shù)值，在較大數(shù)據(jù)集上通過訓(xùn)練建立一個檢測模型。
[0009] 近年來，在基于Web攻擊的異常檢測方面已取得了明顯的進展，但在實際應(yīng)用中還 存在W下一些問題：
[0010] 1.針對具體的攻擊，目前已有的方法存在較高的誤報率，過多的誤報降低了檢測 系統(tǒng)的可信度，運在一定程度上導(dǎo)致了運些檢測方法的不可用性。
[0011] 2.在大數(shù)據(jù)時代，面臨的都是高速的海量數(shù)據(jù)流，現(xiàn)有的方法在快速處理高維海 量數(shù)據(jù)流方面還存在問題。
[0012] 3.在正常行為建模方面，針對處理的數(shù)據(jù)是高速流動的，檢測主體的行為也是多 樣變化的，現(xiàn)有的很多檢測方法采用離線標定、離線學(xué)習的方式進行建模，很難適應(yīng)動態(tài)變 化的網(wǎng)絡(luò)行為。

【發(fā)明內(nèi)容】

[0013 ]為了克服上述現(xiàn)有方法的不足，本發(fā)明提供了一種Web攻擊異常檢測方法，通過在 網(wǎng)絡(luò)層和應(yīng)用層建立正常網(wǎng)絡(luò)行為模型，在應(yīng)用層上主要監(jiān)聽服務(wù)器上的80端口并WHTTP 流量作為信息輸入，而在網(wǎng)絡(luò)層上主要監(jiān)聽IP流量并W路由器收集到的化tflow流量作為 信息輸入，利用大數(shù)據(jù)技術(shù)對Web異常行為進行挖掘。結(jié)合兩個層面的檢測結(jié)果進行綜合分 析，可有效降低對Web攻擊檢測的誤報率和漏報率。
[0014] 本發(fā)明所提供的一種Web攻擊異常檢測方法，包含W下步驟：
[0015] 步驟1:在網(wǎng)絡(luò)流量匯聚節(jié)點部署流量數(shù)據(jù)采集設(shè)備；
[0016] 步驟2:從采集到的流量數(shù)據(jù)中提取網(wǎng)絡(luò)行為特征值；
[0017] 步驟3:對網(wǎng)絡(luò)行為特征值進行降維及標準化；
[0018] 步驟4:確定正常的網(wǎng)絡(luò)行為特征值，基于正常的網(wǎng)絡(luò)行為特征值的集合建立正常 行為模型；
[0019] 步驟5:基于正常行為模型對其他網(wǎng)絡(luò)行為特征值進行檢測，判斷是否出現(xiàn)異常網(wǎng) 絡(luò)行為；
[0020] 在進行異常網(wǎng)絡(luò)行為檢測的同時，根據(jù)新的正常網(wǎng)絡(luò)行為特征值對所述正常行為 模型進行更新。
[0021] 優(yōu)選地，步驟1中，流量數(shù)據(jù)采集設(shè)備包括應(yīng)用層流量數(shù)據(jù)采集設(shè)備及網(wǎng)絡(luò)層流量 數(shù)據(jù)采集設(shè)備；
[0022] 相應(yīng)的，步驟4:分別確定正常的應(yīng)用層網(wǎng)絡(luò)行為特征值及正常的網(wǎng)絡(luò)層網(wǎng)絡(luò)行為 特征值，基于正常的應(yīng)用層網(wǎng)絡(luò)行為特征值的集合建立應(yīng)用層正常行為模型；基于正常的 網(wǎng)絡(luò)層網(wǎng)絡(luò)行為特征值的集合建立網(wǎng)絡(luò)層正常行為模型.
[0023] 步驟5:基于應(yīng)用層正常行為模型對其他應(yīng)用層網(wǎng)絡(luò)行為特征值進行檢測，判斷是 否出現(xiàn)異常網(wǎng)絡(luò)行為;基于網(wǎng)絡(luò)層正常行為模型對其他網(wǎng)絡(luò)層網(wǎng)絡(luò)行為特征值進行檢測， 判斷是否出現(xiàn)異常網(wǎng)絡(luò)行為；
[0024] 若應(yīng)用層與網(wǎng)絡(luò)層均檢測到異常網(wǎng)絡(luò)行為時則斷定該事件為異常并告警;如果應(yīng) 用層與網(wǎng)絡(luò)層中只有一個檢測到異常網(wǎng)絡(luò)行為時則將該事件標定為可疑事件。
[0025] 優(yōu)選地，對于從應(yīng)用層流量數(shù)據(jù)提取的網(wǎng)絡(luò)行為特征值:步驟4確定正常的應(yīng)用層 網(wǎng)絡(luò)行為特征值的集合，利用K-means聚類算法將集合中的特征值分為若干聚類，并確定運 些聚類的中屯、。
[0026] 進一步，逐一計算其他的應(yīng)用層網(wǎng)絡(luò)行為特征值與所述各個聚類中屯、的距離，當 該應(yīng)用層網(wǎng)絡(luò)行為特征值到各個聚類中屯、的最小值大于設(shè)定的闊值，則認為該應(yīng)用層網(wǎng)絡(luò) 行為特征值為異常。
[0027] 進一步，進行異常網(wǎng)絡(luò)行為檢測的同時，將確定為正常的新的應(yīng)用層網(wǎng)絡(luò)行為特 征值加入到原有的應(yīng)用層正常網(wǎng)絡(luò)行為特征值集合中，利用K-means聚類算法將應(yīng)用層正 常網(wǎng)絡(luò)行為特征值重新分為若干聚類，并確定運些聚類的中屯、從而得到更新后的應(yīng)用層正 常行為模型。
[0028] 進一步，對于從網(wǎng)絡(luò)層流量數(shù)據(jù)提取的網(wǎng)絡(luò)行為特征值:步驟4確定正常的網(wǎng)絡(luò)層 網(wǎng)絡(luò)行為特征值的集合，計算集合中樣本分布的均值[61，62，...61^]，4網(wǎng)絡(luò)層網(wǎng)絡(luò)行為特征 值的維度。
[0029] 進一步，逐一計算其他的網(wǎng)絡(luò)層網(wǎng)絡(luò)行為特征值[di，d2, .. .dk]是否與所述樣本分 布的均值[ei，e2，...ek]同分布:計算/=X的-非/6,，判斷X2是否大于X 2(Q),蝴預(yù)設(shè)的 置信水平，若大于則認為該網(wǎng)絡(luò)層網(wǎng)絡(luò)行為特征值為異常。
[0030] 進一步，進行異常網(wǎng)絡(luò)行為檢測的同時，將確定為正常的新的網(wǎng)絡(luò)層網(wǎng)絡(luò)行為特 征值加入到原有的網(wǎng)絡(luò)層正常網(wǎng)絡(luò)行為特征值集合中，重新計算該集合的樣本分布均值， 從而得到更新后的網(wǎng)絡(luò)層正常行為模型。
[0031] 用于采用了上述技術(shù)手段，本發(fā)明的有益效果是：
[00創(chuàng) 1.誤報率低
[0033] 本發(fā)明通過采集應(yīng)用層HTTP流量和網(wǎng)絡(luò)層化tflow數(shù)據(jù)，結(jié)合兩個層面的檢測結(jié) 果進行綜合分析，可有效降低對web攻擊檢測的誤報率。
[0034] 2.具備自適應(yīng)能力
[0035] 本發(fā)明基于動態(tài)聚類實現(xiàn)正常行為模型的構(gòu)建和自適應(yīng)調(diào)整，能夠及時發(fā)現(xiàn)網(wǎng)絡(luò) 行為的變化而自動對檢測模型進行重建，并根據(jù)檢測性能自動調(diào)整模型參數(shù)。
【附圖說明】
[0036] 本發(fā)明將通過例子并參照附圖的方式說明，其中：
[0037] 圖1為本發(fā)明提供的一種Web攻擊異常檢測方法實施流程圖。
[0038] 圖2為本發(fā)明提供的一種Web攻擊異常檢測方法中的流量數(shù)據(jù)采集設(shè)備的部署圖。
【具體實施方式】
[0039] 本說明書中公開的所有特征，或公開的所有方法或過程中的步驟，除了互相排斥 的特征和/或步驟W外，均可W W任何方式組合。
[0040] 本說明書中公開的任一特征，除非特別敘述，均可被其他等效或具有類似目的的 替代特征加 W替換。即，除非特別敘述，每個特征只是一系列等效或類似特征中的一個例子 而已。
[0041] 如圖1所示，本發(fā)明提供的一種web攻擊異常檢測方法，包括W下步驟：
[0042] 步驟1:在網(wǎng)絡(luò)流量匯聚節(jié)點部署流量數(shù)據(jù)采集設(shè)備；
[0043] 步驟2:從采集到的流量數(shù)據(jù)中提取網(wǎng)絡(luò)行為特征值；
[0044] 步驟3:對網(wǎng)絡(luò)行為特征值進行降維及標準化；
[0045] 步驟4:確定正常的網(wǎng)絡(luò)行為特征值，基于正常的網(wǎng)絡(luò)行為特征值的集合建立正常