公共信息平臺(tái)中的數(shù)據(jù)安全異常監(jiān)測(cè)方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)據(jù)安全領(lǐng)域，特別是指一種公共信息平臺(tái)中的數(shù)據(jù)安全異常監(jiān)測(cè)方 法及系統(tǒng)。
【背景技術(shù)】
[0002] 傳統(tǒng)的防火墻等技術(shù)已經(jīng)存在了二、三十年，雖然一直在改變，但本質(zhì)和架構(gòu)沒(méi) 變，未來(lái)將無(wú)法適應(yīng)大數(shù)據(jù)環(huán)境下的安全要求。隨著云計(jì)算、大數(shù)據(jù)等應(yīng)用模式的出現(xiàn)，安 全的架構(gòu)也將發(fā)生巨大的變化。例如，用戶都在使用智能設(shè)備，所有的數(shù)據(jù)都存到云端，所 有信息做到集中存儲(chǔ)，如何保證這些信息的安全使用，這就要靠大數(shù)據(jù)分析，靠機(jī)器學(xué)習(xí)建 模。因此，以大數(shù)據(jù)的收集、處理與分析技術(shù)為驅(qū)動(dòng)，幫助企業(yè)實(shí)時(shí)、自動(dòng)偵測(cè)已經(jīng)發(fā)生或即 將發(fā)生的數(shù)據(jù)安全存在的內(nèi)部與外部安全威脅，提高安全事件處理的效率，最大限度的保 護(hù)企業(yè)信息資產(chǎn)安全是未來(lái)發(fā)展趨勢(shì)。
[0003] 廣東電網(wǎng)有限責(zé)任公司信息中心的鄒洪、錢揚(yáng)、陳銳忠等發(fā)明的"一種數(shù)據(jù)安全管 控方法及平臺(tái)"，它給出：根據(jù)數(shù)據(jù)類別和密級(jí)對(duì)數(shù)據(jù)進(jìn)行劃分(S1);根據(jù)數(shù)據(jù)劃分結(jié)果對(duì) 數(shù)據(jù)的加密、身份認(rèn)證、訪問(wèn)控制、安全審計(jì)以及跟蹤與取證分配相應(yīng)的安全防護(hù)工具并進(jìn) 行安全防護(hù)(S2);收集安全防護(hù)工具產(chǎn)生的日志信息，并進(jìn)行歸一化處理，建立數(shù)據(jù)的全生 命周期的安全視圖（S3)。
[0004] 該專利和方案具有很大的局限性，主要在于：（1)實(shí)用于針對(duì)特定單位、特定系統(tǒng)， 數(shù)據(jù)變化較小，數(shù)據(jù)屬性、類別和密級(jí)容易定義的信息系統(tǒng)，進(jìn)行安全管控；（2)劃分?jǐn)?shù)據(jù)類 別和密級(jí)的主要目的是進(jìn)行安全保護(hù)，建立安全視圖的主要方式是根據(jù)安全日志；（3)應(yīng)用 加密等傳統(tǒng)手段難以適用于開放的公共平臺(tái)的數(shù)據(jù)安全保護(hù)中。
[0005] 企業(yè)希望借助移動(dòng)、云計(jì)算和大數(shù)據(jù)等新興技術(shù)，在新常態(tài)下謀求新的發(fā)展機(jī)遇。 但是，在企業(yè)希望獲得快速發(fā)展的同時(shí)，一直被安全問(wèn)題困擾，尤其是更加隱蔽的安全手段 (例如，APT攻擊等），比病毒、木馬等更具威脅性。傳統(tǒng)的防火墻、殺毒軟件、IDS所很難發(fā)現(xiàn) 這些安全威脅，特別是內(nèi)部人員對(duì)核心資源的異常訪問(wèn)、異常竊取。在當(dāng)今，很多業(yè)界同行 都意識(shí)到這個(gè)問(wèn)題，開始思索新的解決方案。
[0006] 大數(shù)據(jù)時(shí)代的到來(lái)，讓不少行業(yè)已經(jīng)發(fā)現(xiàn)了自身數(shù)據(jù)的巨大內(nèi)在價(jià)值:它們能揭 示傳統(tǒng)手段所看不到的新變化趨勢(shì)，如深入理解消費(fèi)者行為、廣告效果、業(yè)務(wù)趨勢(shì)等，而在 企業(yè)IT市場(chǎng)卻鮮有標(biāo)桿案例。隨著數(shù)據(jù)價(jià)值的日益提升，針對(duì)數(shù)據(jù)的安全事件也在呈快速 的上升趨勢(shì)。僅在2014年，全球就發(fā)生了多起信息數(shù)據(jù)遭攻擊與泄露事件，如JPMorgan 7600萬(wàn)用戶受影響、美國(guó)家得寶5600萬(wàn)用戶受影響、攜程網(wǎng)用戶信息泄露等，這些網(wǎng)絡(luò)攻擊 事件也人們更加清楚的認(rèn)識(shí)到數(shù)據(jù)安全保護(hù)的重要意義。也有部分企業(yè)開始從事這方面的 研究，例如:廣東電網(wǎng)有限責(zé)任公司信息中心的鄒洪、錢揚(yáng)、陳銳忠等發(fā)明的"一種數(shù)據(jù)安全 管控方法及平臺(tái)"等，這些發(fā)明都只適用于特定的環(huán)境，很難適應(yīng)公共信息平臺(tái)中的數(shù)據(jù)安 全保護(hù)，主要體現(xiàn)在以下幾個(gè)方面：
[0007] 1.采用加密等防范手段來(lái)保證開放平臺(tái)的數(shù)據(jù)安全不可行，因?yàn)檫@不僅會(huì)帶來(lái)極 大系統(tǒng)開銷，影響用戶的體驗(yàn)感，而且開放環(huán)境下用戶密鑰管理困難。因此，以監(jiān)控代替加 密等傳統(tǒng)手段是未來(lái)開放的大數(shù)據(jù)平臺(tái)中保護(hù)數(shù)據(jù)安全的一種行之有效的手段；
[0008] 2.公共信息平臺(tái)（例如，智慧城市信息處理平臺(tái)等）中很難進(jìn)行數(shù)據(jù)類別的識(shí)別， 因此應(yīng)用現(xiàn)有方法很難將分類分級(jí)思想落實(shí)在公共信息平臺(tái)中；
[0009] 3.在公共信息平臺(tái)中，數(shù)據(jù)量非常大，且變化頻繁，現(xiàn)有的算法難以實(shí)時(shí)響應(yīng)； [0010] 4.現(xiàn)有的方法中，數(shù)據(jù)分類分級(jí)主要應(yīng)用于數(shù)據(jù)的細(xì)粒度保護(hù)中，很少將其用于 數(shù)據(jù)的安全異常訪問(wèn)識(shí)別中；
[0011]當(dāng)前，數(shù)據(jù)安全異常監(jiān)測(cè)的主要方法是從日志中去分析異常，很少將數(shù)據(jù)的訪問(wèn) 行為、業(yè)務(wù)操作、日志等進(jìn)行關(guān)聯(lián)分析，難以準(zhǔn)確識(shí)別APT等復(fù)雜攻擊。
[0012] 數(shù)據(jù)是智慧城市信息處理平臺(tái)等公共信息平臺(tái)的核心資產(chǎn)，關(guān)鍵保護(hù)對(duì)象，本專 利采用異常行為監(jiān)控方式，構(gòu)建數(shù)據(jù)安全異常行為監(jiān)控系統(tǒng)，防止數(shù)據(jù)的流失。需要解決以 下幾個(gè)技術(shù)難題：
[0013] 1)在開放公共信息平臺(tái)中，數(shù)據(jù)量非常大且是不斷變化的，如何快速的識(shí)別用戶 訪問(wèn)行為是否存在異常是非常困難的；
[0014] 2)在大數(shù)據(jù)環(huán)境中，有些數(shù)據(jù)的安全屬性是顯性的，有些數(shù)據(jù)的安全屬性是隱性 的(例如，單個(gè)數(shù)據(jù)是非敏感的，但多個(gè)數(shù)據(jù)聚合在一起就變?yōu)槊舾袛?shù)據(jù)），如何識(shí)別并阻止 隱性敏感數(shù)據(jù)泄露也是大數(shù)據(jù)安全異常行為監(jiān)控的一個(gè)難題；
[0015] 3)APT攻擊的識(shí)別和防范都是當(dāng)前信息安全的一個(gè)難題，如何應(yīng)用大數(shù)據(jù)分析方 法識(shí)別針對(duì)數(shù)據(jù)的APT也是本專利需要解決的一個(gè)難題。

【發(fā)明內(nèi)容】

[0016] 本發(fā)明提出一種公共信息平臺(tái)中的數(shù)據(jù)安全異常監(jiān)測(cè)方法及系統(tǒng)，能夠?qū)?shù)據(jù)的 操作行為進(jìn)行逐級(jí)分析，深度逐級(jí)挖掘其異常行為。
[0017] 本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：一種公共信息平臺(tái)中的數(shù)據(jù)安全異常監(jiān)測(cè)方法 及系統(tǒng)，包括負(fù)責(zé)數(shù)據(jù)采集的數(shù)據(jù)層、進(jìn)行三級(jí)數(shù)據(jù)分析的分析層以及進(jìn)行可視化展示及 威脅預(yù)測(cè)的展示層;所述數(shù)據(jù)層的數(shù)據(jù)采集為多源數(shù)據(jù)采集方法，具體包括a.旁路分流對(duì) 數(shù)據(jù)的操作行為，進(jìn)行協(xié)議分析得到其行為數(shù)據(jù)b.獲取系統(tǒng)日志、設(shè)備日志、應(yīng)用日志和數(shù) 據(jù)庫(kù)日志等;c .同時(shí)采集內(nèi)網(wǎng)安全日志信息;所述分析層采取三級(jí)分析方式對(duì)數(shù)據(jù)進(jìn)行不 同粒度的分析;所述展示層主要然后運(yùn)用可視化技術(shù)，對(duì)安全威脅進(jìn)行可視化展示，幫助決 策者直觀了解系統(tǒng)的安全威脅趨勢(shì)和動(dòng)態(tài)，執(zhí)行人員也可以通過(guò)多層下拉表單來(lái)了解具體 細(xì)節(jié)。
[0018] 作為優(yōu)選，所述多源數(shù)據(jù)采集方法中，進(jìn)行日志收集的設(shè)備為日志采集服務(wù)器，其 主要使用Syslog4j、JDBC接口進(jìn)行收集，日志采集服務(wù)器還進(jìn)行日志規(guī)范化處理、審計(jì)對(duì)象 管理、日志查詢?nèi)蝿?wù)。
[0019] 作為優(yōu)選，所述三級(jí)數(shù)據(jù)分析包括d.基于規(guī)則的流式數(shù)據(jù)異常檢測(cè)方法，快速檢 測(cè)訪問(wèn)行為是否存在異常;e.將操作數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，防止隱性敏感數(shù)據(jù)泄露;f.將歷史 數(shù)據(jù)和當(dāng)前數(shù)據(jù)進(jìn)行深度融合，深度挖掘其是否存在APT等攻擊方式。
[0020] 作為優(yōu)選，所述步驟d中，采用基于流式數(shù)據(jù)快速聚類方法，分為快速計(jì)算、數(shù)據(jù)概 念漂移檢測(cè)、聚類三個(gè)模塊;快速計(jì)算模塊首先進(jìn)行數(shù)據(jù)流數(shù)據(jù)過(guò)濾，然后進(jìn)行數(shù)據(jù)特征的 抽取，最后將數(shù)據(jù)快速聚類;數(shù)據(jù)概念漂移檢測(cè)模塊負(fù)責(zé)對(duì)數(shù)據(jù)進(jìn)行概念漂移的分析和檢 測(cè)，通過(guò)對(duì)快速計(jì)算層提供的中間數(shù)據(jù)進(jìn)行相關(guān)計(jì)算，進(jìn)而判斷數(shù)據(jù)是否發(fā)生概念漂移，進(jìn) 而觸發(fā)聚類層的聚類操作并提供相應(yīng)的數(shù)據(jù)參數(shù);聚類模塊，框架中處理聚類的一個(gè)核心 模塊，其實(shí)被動(dòng)式觸發(fā)型聚類模塊。只有在被觸發(fā)時(shí)候，利用前面的中間的結(jié)果和相關(guān)的參 數(shù)信息進(jìn)行精細(xì)化的正式聚類計(jì)算，并在執(zhí)行聚類后返回合適的聚類結(jié)果。
[0021] 作為優(yōu)選，所述步驟e中，將把相關(guān)數(shù)據(jù)進(jìn)行深度融合分析，挖掘系統(tǒng)是否存在隱 含隱私泄露的情況發(fā)生，如果存在隱性敏感泄露路徑，將該路徑中的敏感數(shù)據(jù)進(jìn)行匿名處 理，防止隱性敏感泄露;采取局部鞅差方法對(duì)隱性敏感的涌現(xiàn)進(jìn)行發(fā)現(xiàn)，并通過(guò)定義有限停 時(shí)的隨機(jī)過(guò)程，在有限的時(shí)間內(nèi)解決大規(guī)模數(shù)據(jù)的隱性敏感甄別和控制優(yōu)化問(wèn)題，當(dāng)檢測(cè) 到系統(tǒng)存在隱性敏感信息泄露時(shí)，對(duì)隱性敏感信息進(jìn)行匿名處理，防止再度泄露。
[0022] 作為優(yōu)選，所述可視化展示，具體為通過(guò)對(duì)日志、操作行為等數(shù)據(jù)進(jìn)行提取分析和 統(tǒng)計(jì)，對(duì)數(shù)據(jù)按照一定的算法原則進(jìn)行圖形元素的屬性計(jì)算，然后將其顯示，并結(jié)合用戶的 參數(shù)調(diào)節(jié)，對(duì)顯示模型效果可以進(jìn)行各種調(diào)整，以便發(fā)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)詳盡的信息;可視化展示 子系統(tǒng)分為四個(gè)模塊，分別為:數(shù)據(jù)提取統(tǒng)計(jì)模塊、節(jié)點(diǎn)坐標(biāo)計(jì)算模塊、圖形顯示模塊和參 數(shù)調(diào)整模塊。
[0023]作為優(yōu)選，所述數(shù)據(jù)統(tǒng)計(jì)模塊的目的是對(duì)原始數(shù)據(jù)進(jìn)行的初步統(tǒng)計(jì)分析，采用哈 希表進(jìn)行存儲(chǔ)，哈希表中關(guān)鍵字Key采用字符串形式，字符串由源IP、操作主體、證據(jù)鏈以及 操作時(shí)間四項(xiàng)組成，把這四項(xiàng)作為一個(gè)新建元素插入到哈希表中，每一個(gè)元素在將來(lái)的圖 形化表示中都是一個(gè)節(jié)點(diǎn)，表示證據(jù)鏈之間的操作關(guān)系;Key對(duì)應(yīng)的值表示該次連接通信活 動(dòng)中的數(shù)據(jù)總量。
[0024]作為優(yōu)選，所述節(jié)點(diǎn)坐標(biāo)計(jì)算模塊采用IP地址、行