本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，涉及利用機(jī)器學(xué)習(xí)算法對(duì)帶狀態(tài)流計(jì)算系統(tǒng)的特征屬性進(jìn)行分析處理，具體涉及一種帶狀態(tài)流計(jì)算系統(tǒng)中的異常監(jiān)控及預(yù)測(cè)方法。

背景技術(shù)：

近年來(lái)，隨著社會(huì)數(shù)據(jù)量的日益膨脹，流式計(jì)算系統(tǒng)已經(jīng)成為計(jì)算機(jī)工業(yè)界和學(xué)術(shù)界的關(guān)注熱點(diǎn)，并在各領(lǐng)域受到廣泛使用，從生產(chǎn)應(yīng)用方面來(lái)看，流計(jì)算已經(jīng)初步走入大型電信系統(tǒng)，電力電網(wǎng)系統(tǒng)，銀行金融交易系統(tǒng)等重要應(yīng)用領(lǐng)域，同時(shí)在學(xué)術(shù)界，流計(jì)算系統(tǒng)在各類國(guó)際頂級(jí)學(xué)術(shù)會(huì)議中獲得高度關(guān)注。數(shù)據(jù)流式計(jì)算是一種實(shí)時(shí)產(chǎn)生、實(shí)時(shí)處理的一個(gè)數(shù)據(jù)處理模式，并且數(shù)據(jù)的價(jià)值隨著時(shí)間的推移而降低，所以當(dāng)一個(gè)事件發(fā)生后需要立即進(jìn)行處理，與批處理技術(shù)有顯著的區(qū)別。但是流式計(jì)算系統(tǒng)處理的事件流是簡(jiǎn)單的、無(wú)狀態(tài)的，其事件流所含信息量往往相對(duì)較少，只能解決簡(jiǎn)單的統(tǒng)計(jì)、預(yù)處理以及初級(jí)的流計(jì)算任務(wù)，導(dǎo)致流式計(jì)算系統(tǒng)不能處理一些復(fù)雜任務(wù)，因此需要考慮事件流之間的關(guān)聯(lián)，并將這些有關(guān)聯(lián)的事件流在一個(gè)時(shí)間窗口內(nèi)進(jìn)行計(jì)算、聚合等操作，形成復(fù)雜的事件流，從而生成更高抽象層次、符合業(yè)務(wù)需求的高級(jí)事件，提高系統(tǒng)上層的決策能力。

帶狀態(tài)的流式計(jì)算是實(shí)時(shí)處理有狀態(tài)事件流的重要方式。在該系統(tǒng)中，基本事件為監(jiān)控到系統(tǒng)運(yùn)行時(shí)的系統(tǒng)特征，異常事件包括計(jì)算機(jī)重新啟動(dòng)、系統(tǒng)參數(shù)變化、電源故障、通信中斷等。經(jīng)過事件解析和內(nèi)存數(shù)據(jù)庫(kù)的交互得到具有語(yǔ)義的基本事件流，經(jīng)過流計(jì)算引擎的聚合、篩選和計(jì)算形成高級(jí)的復(fù)雜事件，就可以檢測(cè)出系統(tǒng)的故障。系統(tǒng)連續(xù)監(jiān)控每個(gè)組件的行為，周期性收集系統(tǒng)日志數(shù)據(jù)，例如，CPU空閑時(shí)間、可用內(nèi)存，空閑的處理器時(shí)間等作為特征流元組，元組的狀態(tài)可以分為兩類：正常和異常。如果發(fā)現(xiàn)系統(tǒng)出現(xiàn)異常，則監(jiān)控系統(tǒng)對(duì)當(dāng)前的系統(tǒng)數(shù)據(jù)進(jìn)行備份。面對(duì)安全性需求很高的領(lǐng)域，把復(fù)雜事件處理技術(shù)應(yīng)用其中，這將導(dǎo)致該行業(yè)面臨著嚴(yán)重的安全威脅，所以安全問題仍然是制約流式計(jì)算系統(tǒng)發(fā)展的主要因素。

由于流計(jì)算系統(tǒng)處理的事件都是有狀態(tài)的，但狀態(tài)的轉(zhuǎn)換需要等待下一狀態(tài)事件的發(fā)生，在該事件發(fā)生的過程中外部進(jìn)入系統(tǒng)的事件流會(huì)急劇增高，對(duì)系統(tǒng)造成極大的負(fù)荷，并且事件發(fā)生的狀態(tài)是不可控的，即事件在內(nèi)存中等待的時(shí)間是不確定的，容易引起內(nèi)存的聚集，如何解決對(duì)帶狀態(tài)流計(jì)算系統(tǒng)的異常監(jiān)控及預(yù)測(cè)是當(dāng)中亟待解決的問題。如果無(wú)法保證系統(tǒng)高效可靠的運(yùn)行，云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)互連、社交媒體等新興信息技術(shù)的發(fā)展將遭受很大的阻礙。目前帶狀態(tài)流計(jì)算系統(tǒng)的異常監(jiān)控主要存在以下幾個(gè)問題：(1)只能查看系統(tǒng)的當(dāng)前狀態(tài)，無(wú)法對(duì)系統(tǒng)之前監(jiān)控?cái)?shù)據(jù)進(jìn)行查詢和比對(duì)，從而不能完成合理的系統(tǒng)性能評(píng)估分析、優(yōu)化以及系統(tǒng)集群規(guī)模伸縮性預(yù)測(cè)。(2)現(xiàn)有異常檢測(cè)方式比較被動(dòng)，使得故障發(fā)生之后才能得到解決，不但延長(zhǎng)了故障時(shí)間，而且大大降低了集群系統(tǒng)的可用性。(3)缺少對(duì)整個(gè)集群系統(tǒng)的全方面狀態(tài)信息監(jiān)控，無(wú)法了解系統(tǒng)之間的聯(lián)系，缺少多故障發(fā)生時(shí)定位故障源的參考依據(jù)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供一種帶狀態(tài)流計(jì)算系統(tǒng)中的異常監(jiān)控及預(yù)測(cè)方法和系統(tǒng)，根據(jù)監(jiān)控到系統(tǒng)當(dāng)前的運(yùn)行狀態(tài)預(yù)測(cè)下一時(shí)刻系統(tǒng)的狀態(tài)，判定系統(tǒng)是否會(huì)發(fā)生異常，從而提高帶狀態(tài)流計(jì)算系統(tǒng)的可靠性和穩(wěn)定性。

為了實(shí)現(xiàn)帶狀態(tài)流計(jì)算系統(tǒng)的大規(guī)模應(yīng)用，本發(fā)明的目的是提供一種帶狀態(tài)流計(jì)算系統(tǒng)中的異常監(jiān)控及預(yù)測(cè)方法，其主要思想大致可分為三步，首先分析帶狀態(tài)流計(jì)算系統(tǒng)的特征并采集可以表征系統(tǒng)性能的特征屬性，其次利用采集到的特征屬性進(jìn)行降維處理并訓(xùn)練分類器，得到最優(yōu)分類平面，最后再根據(jù)預(yù)測(cè)的系統(tǒng)下一時(shí)刻運(yùn)行狀態(tài)所構(gòu)成的平面與最優(yōu)分類平面進(jìn)行比較，然后進(jìn)行預(yù)警判定。而分類結(jié)果可以進(jìn)一步加以利用，通過將異常樣本數(shù)據(jù)回溯到歷史樣本集中，可以為系統(tǒng)提供高效、精準(zhǔn)的異常判定。

鑒于此本發(fā)明采用的技術(shù)方案如下：一種帶狀態(tài)流計(jì)算系統(tǒng)中的異常監(jiān)控及預(yù)測(cè)方法，包括以下步驟：

S1：對(duì)帶狀態(tài)流計(jì)算系統(tǒng)的運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控，采集系統(tǒng)運(yùn)行時(shí)的特征屬性E，并將這些特征屬性存儲(chǔ)在歷史樣本集中。

S2：對(duì)歷史樣本集中的數(shù)據(jù)進(jìn)行歸一化處理，將歸一化處理后的數(shù)據(jù)進(jìn)行降維處理，得到降維空間F。

S3：對(duì)降維空間F的特征向量進(jìn)行分類處理。將降維空間F的特征向量作為支持向量機(jī)(Support Vector Machines,SVM)分類器的輸入，輸出最優(yōu)分類平面S₁，得到訓(xùn)練好的SVM分類器。

S4：利用馬爾科夫模型計(jì)算歷史樣本集的轉(zhuǎn)移概率并得到轉(zhuǎn)移矩陣，然后統(tǒng)計(jì)初始時(shí)刻數(shù)據(jù)的分布狀況并對(duì)系統(tǒng)下一時(shí)刻運(yùn)行狀態(tài)進(jìn)行預(yù)測(cè)；根據(jù)預(yù)測(cè)的系統(tǒng)下一時(shí)刻運(yùn)行狀態(tài)，輸出系統(tǒng)狀態(tài)所構(gòu)成的平面S₂。

S5：對(duì)系統(tǒng)狀態(tài)所構(gòu)成的平面S₂與最優(yōu)分類平面S₁進(jìn)行比較，如果系統(tǒng)狀態(tài)構(gòu)成的平面S₂與最優(yōu)分類平面S₁之間的距離大于閾值β，則進(jìn)行預(yù)警，判定系統(tǒng)狀態(tài)為異常。

S6：如果判定系統(tǒng)狀態(tài)為異常，則將異常樣本數(shù)據(jù)回溯到歷史樣本集，并隨機(jī)去掉當(dāng)前歷史樣本集中正常樣本數(shù)據(jù)，更新分類器。縮小歷史樣本集的空間，縮短分類器更新時(shí)間。

步驟S1中所述特征屬性E包括，E＝[可用字節(jié)，平均磁盤隊(duì)列長(zhǎng)度，數(shù)據(jù)包速率，線程數(shù)，當(dāng)前磁盤隊(duì)列長(zhǎng)度，處理器時(shí)間，狀態(tài)轉(zhuǎn)換，系統(tǒng)響應(yīng)時(shí)間，吞吐量，CPU占用率，內(nèi)存使用率，磁盤I/O，網(wǎng)絡(luò)I/O，進(jìn)程數(shù)，每個(gè)進(jìn)程的消耗時(shí)間，虛擬內(nèi)存字節(jié)數(shù)，每個(gè)元組的處理時(shí)間，原子事件實(shí)例序列長(zhǎng)度，狀態(tài)機(jī)處理速率，事件響應(yīng)時(shí)間，事件到達(dá)率]。

步驟S2中降維處理的步驟如下：

S21：將特征屬性E利用核函數(shù)抽象到高維空間中；

S22：將高維空間進(jìn)行歸一化處理；

S23：按照多種劃分方式(如距離、密度等本領(lǐng)域常用的方式)分別劃分高維空間，然后在每個(gè)空間中進(jìn)行降維處理；

S24：重復(fù)S23的過程，直到當(dāng)前降維空間與前一降維空間相差小于閾值λ，則停止；

S25：得到最終的降維空間F。

本發(fā)明還提供一種帶狀態(tài)流計(jì)算系統(tǒng)中的異常監(jiān)控及預(yù)測(cè)系統(tǒng)，包括系統(tǒng)監(jiān)控模塊、數(shù)據(jù)處理模塊、系統(tǒng)預(yù)測(cè)模塊和結(jié)果檢測(cè)模塊。

所述系統(tǒng)監(jiān)控模塊用于對(duì)帶狀態(tài)流計(jì)算系統(tǒng)的運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控，采集系統(tǒng)運(yùn)行時(shí)的特征屬性E，并將這些特征屬性存儲(chǔ)在歷史樣本集中。

所述數(shù)據(jù)處理模塊用于對(duì)歷史樣本集中的數(shù)據(jù)進(jìn)行歸一化處理，將歸一化處理后的數(shù)據(jù)進(jìn)行降維，訓(xùn)練出分類器。

所述系統(tǒng)預(yù)測(cè)模塊利用馬爾科夫模型計(jì)算歷史樣本集的轉(zhuǎn)移概率并得到轉(zhuǎn)移矩陣，然后統(tǒng)計(jì)初始時(shí)刻數(shù)據(jù)的分布狀況并對(duì)系統(tǒng)下一時(shí)刻運(yùn)行狀態(tài)進(jìn)行預(yù)測(cè)。

所述結(jié)果檢測(cè)模塊用于判斷系統(tǒng)是否處于異常狀態(tài)。

本系統(tǒng)還包括分類器更新模塊，用于在系統(tǒng)狀態(tài)異常時(shí)，更新分類器，使其能夠自適應(yīng)系統(tǒng)運(yùn)行狀態(tài)的變化。

所述系統(tǒng)預(yù)測(cè)模塊包括狀態(tài)機(jī)預(yù)判斷模塊和系統(tǒng)運(yùn)行狀態(tài)預(yù)測(cè)模塊；狀態(tài)機(jī)預(yù)判斷模塊預(yù)判斷下一時(shí)刻狀態(tài)機(jī)的事件到達(dá)率的概率，如果預(yù)測(cè)狀態(tài)機(jī)狀態(tài)正常，則系統(tǒng)運(yùn)行狀態(tài)預(yù)測(cè)模塊根據(jù)歷史樣本集中的數(shù)據(jù)計(jì)算系統(tǒng)下一時(shí)刻狀態(tài)的轉(zhuǎn)移概率和轉(zhuǎn)移矩陣，得到系統(tǒng)下一時(shí)刻運(yùn)行狀態(tài)，并得到該時(shí)刻系統(tǒng)運(yùn)行狀態(tài)所構(gòu)成的狀態(tài)平面；否則認(rèn)為系統(tǒng)下一時(shí)刻出現(xiàn)異常，直接進(jìn)行預(yù)警。

所述判斷系統(tǒng)是否處于異常狀態(tài)為：對(duì)系統(tǒng)預(yù)測(cè)模塊中的系統(tǒng)狀態(tài)所構(gòu)成的平面S₂與數(shù)據(jù)處理模塊中的最優(yōu)分類平面S₁進(jìn)行比較，如果系統(tǒng)狀態(tài)構(gòu)成的平面S₂與最優(yōu)分類平面S₁之間的距離大于閾值β，則進(jìn)行預(yù)警，判定系統(tǒng)狀態(tài)為異常。

本發(fā)明通過對(duì)高維系統(tǒng)性能數(shù)據(jù)進(jìn)行降維處理，不僅實(shí)現(xiàn)了降維的目的，減少特征向量的維數(shù)，而且縮短了訓(xùn)練時(shí)間，并且計(jì)算量并沒有隨著維數(shù)升高而增加很多；本發(fā)明通過提出一種帶狀態(tài)流計(jì)算系統(tǒng)中的異常監(jiān)控及預(yù)測(cè)方法，有效地利用海量帶標(biāo)簽樣本數(shù)據(jù)提高分類器的準(zhǔn)確率，并將異常分類結(jié)果回溯到歷史樣本集中對(duì)分類器進(jìn)行更新，提高了分類效率。

附圖說(shuō)明

本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)將結(jié)合下面附圖對(duì)實(shí)施例的描述中變得明顯和容易理解，其中：

圖1是本發(fā)明的整體流程結(jié)構(gòu)示意圖；

圖2是本發(fā)明中的高維空間數(shù)據(jù)進(jìn)行降維處理流程圖；

圖3是本發(fā)明中帶狀態(tài)流式計(jì)算系統(tǒng)所用的狀態(tài)機(jī)異常判斷的流程圖；

圖4是本發(fā)明提出的一種帶狀態(tài)流計(jì)算系統(tǒng)中的異常監(jiān)控及預(yù)測(cè)方法流程圖。

具體實(shí)施方式

下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的含義。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。

圖1是本發(fā)明的整體流程結(jié)構(gòu)示意圖。目前有很多應(yīng)用場(chǎng)景都是基于帶狀態(tài)流計(jì)算框架建立的，可以應(yīng)用于監(jiān)控、欺詐檢測(cè)、預(yù)處理等環(huán)境，實(shí)現(xiàn)智能化、自動(dòng)化的業(yè)務(wù)流程管理。根據(jù)上述對(duì)帶狀態(tài)流式計(jì)算系統(tǒng)的特點(diǎn)進(jìn)行分析，本申請(qǐng)?zhí)岢龅谋O(jiān)控及預(yù)測(cè)方法整體框架主要分為五個(gè)模塊：包括系統(tǒng)監(jiān)控模塊、數(shù)據(jù)處理模塊、系統(tǒng)預(yù)測(cè)模塊、結(jié)果檢測(cè)模塊和分類器更新模塊。系統(tǒng)監(jiān)控模塊用于對(duì)帶狀態(tài)流計(jì)算系統(tǒng)的運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控，采集系統(tǒng)運(yùn)行時(shí)的特征屬性E，并將這些特征屬性存儲(chǔ)在歷史樣本集中。數(shù)據(jù)處理模塊用于對(duì)歷史樣本集中的數(shù)據(jù)進(jìn)行歸一化處理，將歸一化處理后的數(shù)據(jù)進(jìn)行降維，訓(xùn)練出分類器。系統(tǒng)預(yù)測(cè)模塊用于根據(jù)歷史樣本集中的數(shù)據(jù)利用馬爾科夫模型計(jì)算轉(zhuǎn)移概率并得到轉(zhuǎn)移矩陣，然后統(tǒng)計(jì)初始時(shí)刻數(shù)據(jù)的分布狀況并對(duì)系統(tǒng)下一時(shí)刻運(yùn)行狀態(tài)進(jìn)行預(yù)測(cè)。結(jié)果檢測(cè)模塊用于判斷系統(tǒng)是否處于異常狀態(tài)。分類器更新模塊用于在系統(tǒng)狀態(tài)異常時(shí)，更新分類器，使其能夠自適應(yīng)系統(tǒng)運(yùn)行狀態(tài)的變化。

如圖4所示，本發(fā)明提供一種帶狀態(tài)流計(jì)算系統(tǒng)中的異常監(jiān)控及預(yù)測(cè)方法。首先，對(duì)帶狀態(tài)的流計(jì)算系統(tǒng)進(jìn)行全面實(shí)時(shí)監(jiān)控，提取能夠反映系統(tǒng)性能的指標(biāo)，如可用字節(jié)、平均磁盤隊(duì)列長(zhǎng)度、數(shù)據(jù)包速率、線程數(shù)、當(dāng)前磁盤隊(duì)列長(zhǎng)度、處理器時(shí)間、狀態(tài)轉(zhuǎn)換、系統(tǒng)響應(yīng)時(shí)間，吞吐量，CPU占用率，內(nèi)存使用率，磁盤I/O，網(wǎng)絡(luò)I/O，進(jìn)程數(shù)，每個(gè)進(jìn)程的消耗時(shí)間，虛擬內(nèi)存字節(jié)數(shù)，每個(gè)元組的處理時(shí)間，原子事件實(shí)例序列長(zhǎng)度，狀態(tài)機(jī)處理速率，事件響應(yīng)時(shí)間，事件到達(dá)率等，并將這些特征屬性存儲(chǔ)在歷史樣本集中；然后對(duì)系統(tǒng)特征屬性數(shù)據(jù)進(jìn)行歸一化處理，對(duì)帶狀態(tài)流計(jì)算系統(tǒng)進(jìn)行實(shí)時(shí)監(jiān)控，提取可以反映系統(tǒng)性能的特征指標(biāo)，為了避免不同數(shù)量級(jí)的數(shù)字之間相互影響，所以需要對(duì)采集到的歷史樣本集進(jìn)行歸一化處理，并且歸一化能有效提高分類器的分類準(zhǔn)確率。接著通過對(duì)采集的高維數(shù)據(jù)進(jìn)行降維處理，提取數(shù)據(jù)的主要特征分量，得到降維空間F的特征向量；其次，對(duì)降維空間F的特征向量進(jìn)行分類，得到訓(xùn)練好的分類器及最優(yōu)分類平面S₁；然后利用預(yù)測(cè)模型對(duì)降維空間F進(jìn)行預(yù)測(cè)，可以得到系統(tǒng)下一時(shí)刻的運(yùn)行狀態(tài)，并得到運(yùn)行狀態(tài)所構(gòu)成的平面S₂；最后，將預(yù)測(cè)到的系統(tǒng)狀態(tài)所構(gòu)成的平面S₂與最優(yōu)分類平面S₁進(jìn)行比較，如果系統(tǒng)狀態(tài)構(gòu)成的平面與最優(yōu)分類平面的距離大于閾值β，則進(jìn)行預(yù)警；判斷系統(tǒng)是否出現(xiàn)異常，然后根據(jù)更新規(guī)則對(duì)分類器進(jìn)行更新，如果判定系統(tǒng)狀態(tài)為異常，則將異常分類樣本回溯到歷史樣本集，并隨機(jī)去掉當(dāng)前歷史樣本集中正常樣本，縮小歷史樣本集的空間，縮短分類器更新時(shí)間。

具體包括以下步驟：

S1：對(duì)帶狀態(tài)流計(jì)算系統(tǒng)的運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控，采集系統(tǒng)運(yùn)行時(shí)的特征屬性E，并將這些特征屬性存儲(chǔ)在歷史樣本集中；

S2：預(yù)處理原始系統(tǒng)特征屬性數(shù)據(jù)，經(jīng)過歸一化處理后，將原始系統(tǒng)特征屬性數(shù)據(jù)按運(yùn)行狀態(tài)分類，分別遍歷所有存儲(chǔ)系統(tǒng)原始高維性能指標(biāo)數(shù)據(jù)的樣本，將這些樣本數(shù)據(jù)作為輸入進(jìn)行降維處理，提取特征屬性數(shù)據(jù)的主要特征分量，輸出結(jié)果為降維空間F的特征向量；

S3：對(duì)降維空間F的特征向量進(jìn)行分類處理。將降維空間F的特征向量作為SVM分類器的輸入，輸出最優(yōu)分類平面S₁，得到訓(xùn)練好的SVM分類器。

S4：預(yù)測(cè)系統(tǒng)下一時(shí)刻運(yùn)行狀態(tài)，利用馬爾科夫模型計(jì)算歷史樣本集的轉(zhuǎn)移概率并得到轉(zhuǎn)移矩陣，然后統(tǒng)計(jì)初始時(shí)刻數(shù)據(jù)的分布狀況并對(duì)系統(tǒng)下一時(shí)刻運(yùn)行狀態(tài)進(jìn)行預(yù)測(cè)；

S5：根據(jù)馬爾科夫預(yù)測(cè)模型預(yù)測(cè)系統(tǒng)下一時(shí)刻運(yùn)行狀態(tài)，輸出系統(tǒng)狀態(tài)所構(gòu)成的平面S₂；

S6：對(duì)預(yù)測(cè)到的系統(tǒng)狀態(tài)所構(gòu)成的平面S₂與由分類器得到的最優(yōu)分類平面S₁進(jìn)行比較，如果系統(tǒng)狀態(tài)構(gòu)成的平面與最優(yōu)分類平面之間的距離小于閾值β，則進(jìn)行預(yù)警；

S7：更新歷史樣本集，反饋系統(tǒng)出現(xiàn)異常的樣本數(shù)據(jù)，如果判定系統(tǒng)狀態(tài)為異常，則將異常樣本回溯到歷史樣本集，并隨機(jī)去掉當(dāng)前歷史樣本集中正常樣本，縮小歷史樣本集的空間，縮短分類器更新時(shí)間。

本發(fā)明是對(duì)采集的帶狀態(tài)流計(jì)算系統(tǒng)的性能數(shù)據(jù)進(jìn)行異常檢測(cè)，然后對(duì)高維系統(tǒng)性能數(shù)據(jù)進(jìn)行降維處理，不僅實(shí)現(xiàn)了降維的目的，減少特征向量的維數(shù)，而且縮短了訓(xùn)練時(shí)間，滿足非線性特征的需求，并且計(jì)算量并沒有隨著維數(shù)升高而增加；本發(fā)明通過提出一種帶狀態(tài)流計(jì)算系統(tǒng)中的異常監(jiān)控及預(yù)測(cè)方法，有效地利用海量帶標(biāo)簽樣本數(shù)據(jù)提高分類器的準(zhǔn)確率，并將異常分類結(jié)果回溯到歷史樣本集中對(duì)分類器進(jìn)行更新，提高了分類效率，在實(shí)際中更加具有應(yīng)用價(jià)值。

圖2為本發(fā)明中高維空間數(shù)據(jù)進(jìn)行降維處理的流程圖。首先將監(jiān)控到的系統(tǒng)性能屬性E利用核函數(shù)抽象到高維空間中；其次將性能屬性E構(gòu)成的矩陣進(jìn)行歸一化處理；再次按照距離、密度等方式對(duì)高維特征空間進(jìn)行隨機(jī)劃分，得到n個(gè)子空間；最后對(duì)劃分后的n個(gè)子空間數(shù)據(jù)集進(jìn)行降維處理，得到多個(gè)低維空間，判斷由不同劃分方式產(chǎn)生的低維空間，相差在給定的誤差范圍內(nèi)，則得到最終的降維空間F。

圖3為本發(fā)明中帶狀態(tài)流式計(jì)算系統(tǒng)所用的狀態(tài)機(jī)異常判斷的流程圖，首先監(jiān)控采集狀態(tài)機(jī)處理速度，建立時(shí)間為T的數(shù)據(jù)窗口。然后篩選連續(xù)1分鐘狀態(tài)機(jī)處理速率低于20％的進(jìn)程數(shù)據(jù)進(jìn)入待處理數(shù)據(jù)窗口。每發(fā)生一次上述事件，警告級(jí)別加1，如果警告級(jí)別超過10次，系統(tǒng)發(fā)出告警。如果T時(shí)刻內(nèi)，狀態(tài)機(jī)沒有達(dá)到錯(cuò)誤級(jí)別，認(rèn)為系統(tǒng)正常，數(shù)據(jù)過期。

在上述具體實(shí)施例中，具體數(shù)據(jù)處理和預(yù)測(cè)模型的處理流程具體如下：

S31：對(duì)帶狀態(tài)的流計(jì)算系統(tǒng)進(jìn)行監(jiān)控，采集m條樣本記錄(每條記錄有n個(gè)屬性)，將m條樣本記錄分為訓(xùn)練集X；

S32：將X中的數(shù)據(jù)利用降維訓(xùn)練得到維度約簡(jiǎn)后的訓(xùn)練集X′；

S33：將訓(xùn)練集X′代入分類器中進(jìn)行分類訓(xùn)練，得到最優(yōu)分類平面S₁；

S34：根據(jù)系統(tǒng)當(dāng)前運(yùn)行狀態(tài)得到轉(zhuǎn)移概率矩陣，利用初始時(shí)刻的運(yùn)行分布狀況建立預(yù)測(cè)模型，可以預(yù)測(cè)系統(tǒng)下一時(shí)刻運(yùn)行狀態(tài)，并得到運(yùn)行狀態(tài)構(gòu)成的平面S₂；

S35：將預(yù)測(cè)到的系統(tǒng)狀態(tài)所構(gòu)成的平面S₂與最優(yōu)分類平面S₁進(jìn)行比較，如果系統(tǒng)狀態(tài)構(gòu)成的平面S₂與最優(yōu)分類平面S₁的距離小于閾值β，則進(jìn)行預(yù)警。

盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，本領(lǐng)域的普通技術(shù)人員可以理解：在不脫離本發(fā)明的原理和宗旨的情況下可以對(duì)這些實(shí)施例進(jìn)行多種變化、修改、替換和變型，本發(fā)明的范圍由權(quán)利要求及其等同物限定。