一種分布式集群設(shè)備故障預(yù)警方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于分布式數(shù)據(jù)處理領(lǐng)域，尤其涉及一種分布式集群設(shè)備故障預(yù)警方法。
【背景技術(shù)】
[0002]近幾年來，隨著廉價(jià)集群集成理論完善，實(shí)施技術(shù)的實(shí)踐經(jīng)驗(yàn)逐步提高。但由于其理論基礎(chǔ)就是采用廉價(jià)、通用服務(wù)器進(jìn)行水平擴(kuò)充，廉價(jià)的通用單個服務(wù)器的故障出現(xiàn)頻率較商用服務(wù)器高。為了應(yīng)對數(shù)據(jù)及服務(wù)的穩(wěn)定的需求，需要進(jìn)行節(jié)點(diǎn)冗余。因?yàn)榇祟惣簶?gòu)建容易、成本相對較低，因此云平臺的使用范圍不斷擴(kuò)大，集群內(nèi)服務(wù)器數(shù)量動輒幾十、幾百個。大型局點(diǎn)甚至達(dá)到千臺以上規(guī)模。
[0003]根據(jù)概率學(xué)的研宄成果，即使是小概率事件，在相應(yīng)數(shù)量級上事件發(fā)生的次數(shù)就會顯著增加，為此基本可以得出結(jié)論:一定時(shí)間的范圍內(nèi)大規(guī)模集群必定會出現(xiàn)單點(diǎn)服務(wù)器故障。隨著故障機(jī)的數(shù)量不停增長，會造成剩余機(jī)器的負(fù)載不斷加大，又促使剩余機(jī)器的故障出現(xiàn)頻率增加。
[0004]為應(yīng)對以上問題，可以設(shè)定專門的運(yùn)維人員進(jìn)行定期巡檢處理、或者在此基礎(chǔ)上添加自動監(jiān)控腳本做實(shí)時(shí)通知，但這種方案都屬于事后補(bǔ)救，不能預(yù)先判斷哪些機(jī)器可能會需要重點(diǎn)運(yùn)維。
[0005]其次，一般運(yùn)維過程都是處理故障、發(fā)布處理故障。沒有將集群狀態(tài)與節(jié)點(diǎn)狀態(tài)之間建立時(shí)間、空間上的聯(lián)系。
[0006]另外，集群規(guī)劃時(shí)，其硬件配置、節(jié)點(diǎn)數(shù)量、流量拓?fù)?、運(yùn)算負(fù)載均衡、存儲負(fù)載均衡都和其集群承載的業(yè)務(wù)性質(zhì)、規(guī)模有直接關(guān)系。但一般集群規(guī)劃時(shí)基本上依賴于方案提出人的經(jīng)驗(yàn)。不能做定性分析、定量結(jié)論。

【發(fā)明內(nèi)容】

[0007]本發(fā)明所要解決的技術(shù)問題是提供一種分布式集群設(shè)備故障預(yù)警方法，進(jìn)行現(xiàn)網(wǎng)故障預(yù)警，為設(shè)備的運(yùn)行維護(hù)提供依據(jù)，從而可以查找出需要重點(diǎn)維護(hù)的設(shè)備，防止設(shè)備出現(xiàn)故障。
[0008]為了解決上述技術(shù)問題，本發(fā)明提供了一種分布式集群設(shè)備故障預(yù)警方法，包括:
[0009]獲得集群和節(jié)點(diǎn)的即時(shí)信息數(shù)據(jù)，將所述即時(shí)信息數(shù)據(jù)存儲到系統(tǒng)數(shù)據(jù)庫，補(bǔ)充為歷史數(shù)據(jù)；
[0010]根據(jù)評估模型的需要，到系統(tǒng)數(shù)據(jù)庫中獲得需要的數(shù)據(jù)，形成知識庫，將所述知識庫定期輸入到實(shí)施評估系統(tǒng)；
[0011]實(shí)施評估系統(tǒng)根據(jù)所述即時(shí)信息數(shù)據(jù)、評估模型，知識庫，輸出故障預(yù)警信息。
[0012]優(yōu)選的，所述獲得集群和節(jié)點(diǎn)的即時(shí)信息數(shù)據(jù)，包括:
[0013]在網(wǎng)絡(luò)節(jié)點(diǎn)部署網(wǎng)絡(luò)探針，采集即時(shí)的網(wǎng)絡(luò)相關(guān)數(shù)據(jù)；在各個節(jié)點(diǎn)系統(tǒng)上部署系統(tǒng)探針，采集系統(tǒng)信息數(shù)據(jù)；在各業(yè)務(wù)節(jié)點(diǎn)上部署業(yè)務(wù)探針，通過業(yè)務(wù)層軟件接口采集業(yè)務(wù)數(shù)據(jù)。
[0014]優(yōu)選的，所述系統(tǒng)信息數(shù)據(jù)包括以下中的一種或者一種以上的組合:cpu、內(nèi)存、溫度、磁盤數(shù)據(jù)。
[0015]優(yōu)選的，所述方法還包括:
[0016]將所述故障預(yù)警信息反饋到系統(tǒng)數(shù)據(jù)庫，補(bǔ)充為故障樣本數(shù)據(jù)。
[0017]本發(fā)明通過集群和節(jié)點(diǎn)的即時(shí)信息，結(jié)合歷史數(shù)據(jù)、運(yùn)維結(jié)論等多維度數(shù)據(jù)，進(jìn)行現(xiàn)網(wǎng)故障預(yù)警，為設(shè)備的運(yùn)行維護(hù)提供依據(jù)，從而可以查找出需要重點(diǎn)維護(hù)的設(shè)備，防止設(shè)備出現(xiàn)故障。本發(fā)明并通過歷史數(shù)據(jù)建立集群與硬件配置、節(jié)點(diǎn)數(shù)量、流量拓?fù)?、運(yùn)算負(fù)載均衡、存儲負(fù)載均衡等相關(guān)業(yè)務(wù)拓展的關(guān)聯(lián)，為集群的規(guī)劃提供方案設(shè)計(jì)依據(jù)。在集群規(guī)劃時(shí)，可以查找歷史數(shù)據(jù)，看看每個節(jié)點(diǎn)的故障情況，或者負(fù)載能力等，根據(jù)歷史數(shù)據(jù)進(jìn)行規(guī)劃。
【附圖說明】
[0018]圖1為本發(fā)明實(shí)施例中一種分布式集群設(shè)備故障預(yù)警系統(tǒng)構(gòu)建方法流程圖。
【具體實(shí)施方式】
[0019]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅是本發(fā)明一部分實(shí)施例，而不是全部?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0020]本發(fā)明的主要思想是:首先部署相關(guān)的數(shù)據(jù)探針程序采集相關(guān)的數(shù)據(jù)，其中I)在相關(guān)的網(wǎng)絡(luò)節(jié)點(diǎn)部署網(wǎng)絡(luò)探針，采集即時(shí)的網(wǎng)絡(luò)相關(guān)數(shù)據(jù)，2)在各個節(jié)點(diǎn)系統(tǒng)上部署系統(tǒng)探針，采集cpu、內(nèi)存、溫度、磁盤等信息數(shù)據(jù)，3)各業(yè)務(wù)節(jié)點(diǎn)上部署業(yè)務(wù)探針，通過業(yè)務(wù)層軟件接口采集業(yè)務(wù)數(shù)據(jù)。通過實(shí)時(shí)收集模塊將上述數(shù)據(jù)存儲到系統(tǒng)數(shù)據(jù)庫中。
[0021]參照圖1所示，為本發(fā)明實(shí)施例中一種分布式集群設(shè)備故障預(yù)警方法流程圖。所示方法包括:
[0022]101，獲得集群和節(jié)點(diǎn)的即時(shí)信息數(shù)據(jù)，將所述即時(shí)信息數(shù)據(jù)存儲到系統(tǒng)數(shù)據(jù)庫，補(bǔ)充為歷史數(shù)據(jù)；
[0023]102，根據(jù)評估模型的需要，到系統(tǒng)數(shù)據(jù)庫中獲得需要的數(shù)據(jù)，形成知識庫，將所述知識庫定期輸入到實(shí)施評估系統(tǒng)；
[0024]103，實(shí)施評估系統(tǒng)根據(jù)所述即時(shí)信息數(shù)據(jù)、評估模型，知識庫，輸出故障預(yù)警信息。
[0025]在本發(fā)明的一個優(yōu)選實(shí)施例中，所述獲得集群和節(jié)點(diǎn)的即時(shí)信息數(shù)據(jù)，包括:
[0026]在網(wǎng)絡(luò)節(jié)點(diǎn)部署網(wǎng)絡(luò)探針，采集即時(shí)的網(wǎng)絡(luò)相關(guān)數(shù)據(jù)；在各個節(jié)點(diǎn)系統(tǒng)上部署系統(tǒng)探針，采集系統(tǒng)信息數(shù)據(jù)；在各業(yè)務(wù)節(jié)點(diǎn)上部署業(yè)務(wù)探針，通過業(yè)務(wù)層軟件接口采集業(yè)務(wù)數(shù)據(jù)。
[0027]在本發(fā)明的一個優(yōu)選實(shí)施例中，所述系統(tǒng)信息數(shù)據(jù)包括以下中的一種或者一種以上的組合:cpu、內(nèi)存、溫度、磁盤數(shù)據(jù)。
[0028]在本發(fā)明的一個優(yōu)選實(shí)施例中，所述方法還包括:
[0029]將所述故障預(yù)警信息反饋到系統(tǒng)數(shù)據(jù)庫，補(bǔ)充為故障樣本數(shù)據(jù)。
[0030]本發(fā)明由數(shù)據(jù)挖掘模塊根據(jù)評估模型、根據(jù)歷史數(shù)據(jù)挖掘相關(guān)的知識庫，定期輸入到實(shí)施評估系統(tǒng)。同時(shí)實(shí)施評估系統(tǒng)根據(jù)采集的實(shí)時(shí)信息、評估模型，結(jié)合挖掘出的知識庫，輸出相關(guān)的故障預(yù)警。最后預(yù)警系統(tǒng)處理的結(jié)果進(jìn)行反饋，補(bǔ)充為故障樣本數(shù)據(jù)。整個系統(tǒng)由此自我迭代，逐步形成穩(wěn)定的評估網(wǎng)絡(luò)。
[0031]以上所述的【具體實(shí)施方式】，對本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的【具體實(shí)施方式】而已，并不用于限定本發(fā)明的保護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種分布式集群設(shè)備故障預(yù)警方法，其特征在于，包括: 獲得集群和節(jié)點(diǎn)的即時(shí)信息數(shù)據(jù)，將所述即時(shí)信息數(shù)據(jù)存儲到系統(tǒng)數(shù)據(jù)庫，補(bǔ)充為歷史數(shù)據(jù)； 根據(jù)評估模型的需要，到系統(tǒng)數(shù)據(jù)庫中獲得需要的數(shù)據(jù)，形成知識庫，將所述知識庫定期輸入到實(shí)施評估系統(tǒng)； 實(shí)施評估系統(tǒng)根據(jù)所述即時(shí)信息數(shù)據(jù)、評估模型，知識庫，輸出故障預(yù)警信息。2.如權(quán)利要求1所述的方法，其特征在于，所述獲得集群和節(jié)點(diǎn)的即時(shí)信息數(shù)據(jù)，包括: 在網(wǎng)絡(luò)節(jié)點(diǎn)部署網(wǎng)絡(luò)探針，采集即時(shí)的網(wǎng)絡(luò)相關(guān)數(shù)據(jù)；在各個節(jié)點(diǎn)系統(tǒng)上部署系統(tǒng)探針，采集系統(tǒng)信息數(shù)據(jù)；在各業(yè)務(wù)節(jié)點(diǎn)上部署業(yè)務(wù)探針，通過業(yè)務(wù)層軟件接口采集業(yè)務(wù)數(shù)據(jù)。3.如權(quán)利要求1所述的方法，其特征在于，所述系統(tǒng)信息數(shù)據(jù)包括以下中的一種或者一種以上的組合:cpu、內(nèi)存、溫度、磁盤數(shù)據(jù)。4.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括: 將所述故障預(yù)警信息反饋到系統(tǒng)數(shù)據(jù)庫，補(bǔ)充為故障樣本數(shù)據(jù)。
【專利摘要】本發(fā)明提供了一種分布式集群設(shè)備故障預(yù)警方法，包括：獲得集群和節(jié)點(diǎn)的即時(shí)信息數(shù)據(jù)，將所述即時(shí)信息數(shù)據(jù)存儲到系統(tǒng)數(shù)據(jù)庫，補(bǔ)充為歷史數(shù)據(jù)；根據(jù)評估模型的需要，到系統(tǒng)數(shù)據(jù)庫中獲得需要的數(shù)據(jù)，形成知識庫，將所述知識庫定期輸入到實(shí)施評估系統(tǒng)；實(shí)施評估系統(tǒng)根據(jù)所述即時(shí)信息數(shù)據(jù)、評估模型，知識庫，輸出故障預(yù)警信息。本發(fā)明通過集群和節(jié)點(diǎn)的即時(shí)信息，結(jié)合歷史數(shù)據(jù)、運(yùn)維結(jié)論等多維度數(shù)據(jù)，進(jìn)行現(xiàn)網(wǎng)故障預(yù)警，為設(shè)備的運(yùn)行維護(hù)提供依據(jù)，從而可以查找出需要重點(diǎn)維護(hù)的設(shè)備，防止設(shè)備出現(xiàn)故障。
【IPC分類】H04L12/24, H04L29/08
【公開號】CN104954181
【申請?zhí)枴緾N201510307233
【發(fā)明人】葛祺, 于勇新
【申請人】北京集奧聚合網(wǎng)絡(luò)技術(shù)有限公司
【公開日】2015年9月30日
【申請日】2015年6月8日