一種基于并行管道實(shí)現(xiàn)網(wǎng)管性能采集系統(tǒng)及其工作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于網(wǎng)網(wǎng)管系統(tǒng)技術(shù)領(lǐng)域，尤其涉及到一種基于并行管道實(shí)現(xiàn)網(wǎng)管性能采集系統(tǒng)及其工作方法。
【背景技術(shù)】
[0002]網(wǎng)管系統(tǒng)包含多個(gè)業(yè)務(wù)領(lǐng)域，性能采集是其中一個(gè)比較重要的領(lǐng)域，在本專利方面所針對的網(wǎng)管系統(tǒng)中，網(wǎng)管系統(tǒng)主要采用SNMP系統(tǒng)對下級設(shè)備進(jìn)行各種性能指標(biāo)的采集。每一次采集都是一次很復(fù)雜、周期很長的歷程，當(dāng)對當(dāng)規(guī)模的設(shè)備進(jìn)行并發(fā)采集的時(shí)候(例如要在5分鐘內(nèi)完成對20萬設(shè)備的所有指標(biāo)采集一次)，就會形成洪水的趨勢，對網(wǎng)管系統(tǒng)的虛擬機(jī)內(nèi)存和整體性能造成很大的破壞作用。
[0003]網(wǎng)管性能采集一般處理流程為采集調(diào)度_>指標(biāo)采集_>采集轉(zhuǎn)換_>告警處理_>入庫處理。
[0004]采集調(diào)度:采集調(diào)度采用任務(wù)定時(shí)觸發(fā)的方式(默認(rèn)是5分鐘)，當(dāng)任務(wù)觸發(fā)時(shí)，采集調(diào)度首先去檢查當(dāng)前設(shè)備是否在線，同時(shí)當(dāng)前采集的指標(biāo)是否處于激活狀態(tài)(如果設(shè)備離線、或者指標(biāo)處用停止采集狀態(tài)，則取消本次采集)。
[0005]指標(biāo)采集通過SNMP協(xié)議到設(shè)備側(cè)采集對應(yīng)的性能指標(biāo)，這一步設(shè)計(jì)到網(wǎng)絡(luò)10交互的過程，采集時(shí)間會受到當(dāng)時(shí)網(wǎng)絡(luò)環(huán)境以及設(shè)備差異的影響(比如正常情況下，采集時(shí)間在10毫秒左右的，如果網(wǎng)絡(luò)阻塞或者震蕩的情況下，可能會達(dá)到秒級別，或者超過設(shè)置的3秒超時(shí)時(shí)間，程序判斷米集失敗)。
[0006]采集轉(zhuǎn)換:采集裝換是將采集上來的具體值轉(zhuǎn)換為網(wǎng)管需要的指標(biāo)(類似計(jì)算某個(gè)設(shè)備速率指標(biāo)值時(shí)，從設(shè)備端采集過來的是字節(jié)數(shù)，需要通過兩個(gè)時(shí)間段的字節(jié)數(shù)差值和時(shí)間段差值相除)。
[0007]告警處理:告警處理流程是對經(jīng)過采集轉(zhuǎn)換后的指標(biāo)進(jìn)行分析，是否超過網(wǎng)管配置的告警閥值，如果超過則需要調(diào)用告警模塊服務(wù)接口進(jìn)行告警流程處理。然后進(jìn)入下一環(huán)節(jié)。
[0008]入庫處理:入庫流程是性能采集指標(biāo)經(jīng)過層層處理后進(jìn)入的最后一個(gè)環(huán)節(jié)，采集指標(biāo)需要保存在網(wǎng)管數(shù)據(jù)庫供業(yè)務(wù)查詢和業(yè)務(wù)分析使用。
[0009]上述過程中，只要任何一個(gè)步驟失敗，那么整個(gè)處理流程就會終止。同時(shí)，上面流程的主要問題是:每一步的處理都是按照順序進(jìn)行的，會導(dǎo)致整個(gè)流程走完需要花很長的時(shí)間，特別是某些步驟需要進(jìn)行遠(yuǎn)程調(diào)用的時(shí)候，例如通過SNMP協(xié)議到設(shè)備側(cè)采集對應(yīng)的性能指標(biāo)。同時(shí)，這種方式在設(shè)計(jì)上存在無法擴(kuò)展的問題，在處理過程中，下一步都要依賴上一步的結(jié)果來執(zhí)行，如果上一步失敗，那么下一步就不走了。

【發(fā)明內(nèi)容】

[0010]為解決上述問題，本發(fā)明提供了一種基于并行管道實(shí)現(xiàn)網(wǎng)管性能采集系統(tǒng)，包括性能采集模塊、與性能采集模塊連接的業(yè)務(wù)處理管道，所述業(yè)務(wù)處理管道包括通過服務(wù)端點(diǎn)順次連接的采集調(diào)度管道、指標(biāo)采集管道、告警分析管道、指標(biāo)入庫管道。
[0011]性能采集模塊、采集調(diào)度管道、指標(biāo)采集管道、告警分析管道、指標(biāo)入庫管道均設(shè)置有任務(wù)邊界。
[0012]采集調(diào)度管道、指標(biāo)采集管道、告警分析管道、指標(biāo)入庫管道均設(shè)置了任務(wù)隊(duì)列、任務(wù)接收單、具有任務(wù)執(zhí)行數(shù)量閾值的任務(wù)執(zhí)行單元、任務(wù)流轉(zhuǎn)單元。
[0013]任務(wù)邊界為任務(wù)執(zhí)行的起始位置及執(zhí)行結(jié)果最終反饋的目的地，且用于在其對應(yīng)任務(wù)隊(duì)列達(dá)到閾值后對新傳來的任務(wù)進(jìn)行異?；幚恚覍⑷蝿?wù)執(zhí)行結(jié)果傳遞給下一個(gè)環(huán)
Τ ο
[0014]任務(wù)接收模塊用于接收任務(wù)。
[0015]任務(wù)隊(duì)列用于存放任務(wù)。
[0016]執(zhí)行任務(wù)單元用于不斷的讀取對應(yīng)任務(wù)列隊(duì)中的任務(wù)并對已讀取任務(wù)進(jìn)行異步、同時(shí)執(zhí)行，直到達(dá)到任務(wù)執(zhí)行數(shù)量閾值。
[0017]任務(wù)流轉(zhuǎn)單元用于將執(zhí)行完成的任務(wù)的執(zhí)行結(jié)果返回給對應(yīng)的任務(wù)邊界。
[0018]所述性能采集模塊用于通過任務(wù)邊界向采集調(diào)度管道定時(shí)發(fā)送初次信息采集任務(wù)，所述初次信息采集任務(wù)指定了網(wǎng)管系統(tǒng)需要采集的網(wǎng)絡(luò)設(shè)備及需要采集的指標(biāo)，并通過任務(wù)邊界接收指標(biāo)入庫管道的反饋結(jié)果，將反饋結(jié)果傳遞到網(wǎng)管數(shù)據(jù)庫中。
[0019]所述采集調(diào)度管道用于接收初次信息采集任務(wù)，將初次信息采集任務(wù)存放到其任務(wù)隊(duì)列中，并不斷根據(jù)任務(wù)要求去檢查對應(yīng)的網(wǎng)絡(luò)設(shè)備是否在線，以及當(dāng)前需要采集的指標(biāo)是否處于激活狀態(tài)，當(dāng)網(wǎng)絡(luò)設(shè)備是在線且指標(biāo)處于激活狀態(tài)時(shí)則將對應(yīng)初次信息采集任務(wù)作為二次采集請求通過任務(wù)邊界傳遞到指標(biāo)采集管道。
[0020]所述指標(biāo)采集管道用于接收二次信息采集任務(wù)，將二次信息采集任務(wù)存放到其任務(wù)隊(duì)列中，并不斷根據(jù)任務(wù)要求進(jìn)行相關(guān)信息采集，轉(zhuǎn)化為網(wǎng)管系統(tǒng)需要的指標(biāo)數(shù)值，并將指標(biāo)數(shù)值通過任務(wù)邊界傳遞給告警分析管道。
[0021]所述告警分析管道用于將指標(biāo)數(shù)值存到到其任務(wù)隊(duì)列中，不斷讀取，分析其是否超過網(wǎng)管系統(tǒng)配置的告警閾值，當(dāng)未超過時(shí)，則通過任務(wù)邊界給指標(biāo)入庫管道，當(dāng)超過時(shí)則進(jìn)行進(jìn)行告警流程處理后再通過任務(wù)邊界傳遞給指標(biāo)入庫管道。
[0022]所述指標(biāo)入庫管道用于將各個(gè)指標(biāo)數(shù)值和/或經(jīng)過處理后的指標(biāo)數(shù)值作為任務(wù)存放到其任務(wù)隊(duì)列中，其任務(wù)執(zhí)行單元不斷從任務(wù)隊(duì)列中讀取指標(biāo)數(shù)值，并通過任務(wù)邊界反饋給性能采集模塊。
[0023]進(jìn)一步的，各個(gè)任務(wù)隊(duì)列中的各個(gè)任務(wù)按照優(yōu)先級別高低順序排列。
[0024]上述的基于并行管道實(shí)現(xiàn)網(wǎng)管性能采集系統(tǒng)的工作方法包括如下步驟:
步驟一:性能采集模塊定時(shí)向采集調(diào)度管道發(fā)送初次信息采集任務(wù)，所述初次信息采集任務(wù)指定了該任務(wù)下網(wǎng)管系統(tǒng)需要采集的網(wǎng)絡(luò)設(shè)備及需要采集的指標(biāo)；
步驟二:采集調(diào)度管道接收初次信息采集任務(wù)，確定是否超過任務(wù)列隊(duì)的閾值，如未超過，則將初次?目息米集任務(wù)存放到其任務(wù)隊(duì)列中，否則由任務(wù)邊界進(jìn)行異?；幚?；任務(wù)執(zhí)行單元不斷根據(jù)任務(wù)要求去檢查對應(yīng)的網(wǎng)絡(luò)設(shè)備是否在線，以及當(dāng)前需要采集的指標(biāo)是否處于激活狀態(tài)，當(dāng)網(wǎng)絡(luò)設(shè)備是在線且指標(biāo)處于激活狀態(tài)時(shí)則將對應(yīng)初次信息采集任務(wù)作為二次采集請求傳遞到指標(biāo)采集管道；
步驟三:所述指標(biāo)采集管道用于接收二次信息采集任務(wù)，確定是否超過任務(wù)列隊(duì)的閾值，如未超過，則將二次信息采集任務(wù)存放到其任務(wù)隊(duì)列中，否則由任務(wù)邊界進(jìn)行異?；幚?；任務(wù)執(zhí)行單元不斷根據(jù)任務(wù)要求進(jìn)行相關(guān)信息采集，轉(zhuǎn)化為網(wǎng)管系統(tǒng)需要的指標(biāo)數(shù)值，并將指標(biāo)數(shù)值傳遞給告警分析管道；
步驟四:告警分析管道接收指標(biāo)數(shù)值，確定是否超過任務(wù)列隊(duì)的閾值，如未超過，則將指標(biāo)數(shù)值作為任務(wù)放到其任務(wù)隊(duì)列中，否則由任務(wù)邊界進(jìn)行異?；幚?；任務(wù)執(zhí)行單元不斷讀取任務(wù)，分析對應(yīng)指標(biāo)數(shù)值是否超過網(wǎng)管系統(tǒng)配置的告警閾值，如未超過，則通過任務(wù)邊界傳遞給指標(biāo)入庫管道，否則進(jìn)行告警流程處理后再通過任務(wù)邊界傳遞給指標(biāo)入庫管道;
步驟五:指標(biāo)入庫管道將各個(gè)指標(biāo)數(shù)值和/或經(jīng)過處理后的指標(biāo)數(shù)值作為任務(wù)存放到其任務(wù)隊(duì)列中，其任務(wù)執(zhí)行單元不斷從任務(wù)隊(duì)列中讀取指標(biāo)數(shù)值，通過任務(wù)邊界反饋回性能采集模塊；
步驟六:性能采集模塊將反饋數(shù)據(jù)傳輸?shù)骄W(wǎng)管系統(tǒng)數(shù)據(jù)庫。
【附圖說明】
[0025]圖1為本發(fā)明所述系統(tǒng)的工作流程圖。
【具體實(shí)施方式】
[0026]本發(fā)明的設(shè)計(jì)構(gòu)思為:本發(fā)明利用并行管道的思想，將性能采集整個(gè)流程碎片化，分拆成多個(gè)子任務(wù)，然后將這些子任務(wù)之間用隊(duì)列進(jìn)行連接，并且把每個(gè)子任務(wù)的處理都放在單獨(dú)的組件中。實(shí)現(xiàn)管道模式關(guān)鍵的是對業(yè)務(wù)流程的拆分，把一個(gè)業(yè)務(wù)流程拆分成多個(gè)子任務(wù)。拆分的核心思想是“搞清業(yè)務(wù)邊界”和遵循“單一職責(zé)原則”，在數(shù)據(jù)傳遞方面采用隊(duì)列的方式，實(shí)現(xiàn)“分流”和“臨時(shí)存水”的效果。任務(wù)邊界對并行管道模式來說很重要，是任務(wù)執(zhí)行的起始位置，也是執(zhí)行結(jié)果最終反饋的目的地。
[0027]任務(wù)邊界需要有一定的異常處理機(jī)制，如果其對應(yīng)任務(wù)隊(duì)列已經(jīng)滿了，任務(wù)邊界需要對后面進(jìn)入的任務(wù)進(jìn)行處理(常見的方法有持久化處理、拒絕接收任務(wù)、錯誤反饋等機(jī)制)。基于管道機(jī)制拆分后的多個(gè)子任務(wù)，在任何一個(gè)子任務(wù)執(zhí)行出錯后，都有可能會終止當(dāng)前任務(wù)執(zhí)行，從而返回到當(dāng)前任務(wù)邊界。
[0028]下面對本發(fā)明進(jìn)行說明。
[0029]本發(fā)明所述基于并行管道實(shí)現(xiàn)網(wǎng)管性能采集系統(tǒng)，包括性能采集模塊、與性能采集模塊連接的業(yè)務(wù)處理管道，所述業(yè)務(wù)處理管道包括通過服務(wù)端點(diǎn)順次連接的采集調(diào)度管道、指標(biāo)采集管道、告警分析管道、指標(biāo)入庫管道。
[0030]性能采集模塊、采集調(diào)度管道、指標(biāo)采集管道、告警分析管道、指標(biāo)入庫管道均設(shè)置有任務(wù)邊界。任務(wù)邊界為任務(wù)執(zhí)行的起始位置及執(zhí)行結(jié)果最終反饋的目的地，且用于在其對應(yīng)任務(wù)隊(duì)列達(dá)到閾值后對新傳來的任務(wù)進(jìn)行異?；幚恚覍⑷蝿?wù)執(zhí)行結(jié)果傳遞給下一個(gè)環(huán)節(jié)
采集調(diào)度管道、指標(biāo)采集管道、告警分析管道、指標(biāo)入庫管道均設(shè)置了任務(wù)隊(duì)列、任務(wù)接收單、具有任務(wù)執(zhí)行數(shù)量閾值的任務(wù)執(zhí)行單元、任務(wù)流轉(zhuǎn)單元。
[0031]任務(wù)接收模塊用于接收任務(wù)。
[0032]任務(wù)隊(duì)列用于存放任務(wù)。
[0033]執(zhí)行任務(wù)單元用于不斷的讀取對應(yīng)任務(wù)列隊(duì)中的任務(wù)并對已讀取任務(wù)進(jìn)行異步、同時(shí)執(zhí)行，直到達(dá)到任務(wù)執(zhí)行數(shù)量閾值。執(zhí)行