云計(jì)算系統(tǒng)中高頻次連續(xù)失效任務(wù)的在線識(shí)別方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于云計(jì)算技術(shù)領(lǐng)域，具體設(shè)及一種云計(jì)算系統(tǒng)中高頻次連續(xù)失效任務(wù)的 在線識(shí)別方法和系統(tǒng)。
【背景技術(shù)】
[0002] 云計(jì)算W其按需使用的消費(fèi)模式，逐漸被廣泛應(yīng)用于金融、商務(wù)等各個(gè)領(lǐng)域，云計(jì) 算環(huán)境下系統(tǒng)的高可用性也日益成為云計(jì)算技術(shù)走向成熟的關(guān)鍵。然而，由于云計(jì)算系統(tǒng) 規(guī)模逐漸擴(kuò)大，異構(gòu)性逐漸增強(qiáng)，各種類型的失效在云計(jì)算系統(tǒng)中頻繁發(fā)生，運(yùn)成為威脅云 計(jì)算系統(tǒng)可用性和可靠性的關(guān)鍵因素之一。在云計(jì)算系統(tǒng)中，任務(wù)作為運(yùn)行在單節(jié)點(diǎn)上的 最小調(diào)度單元，是用戶應(yīng)用正常執(zhí)行的基本保證，也是失效普遍發(fā)生的層次。為了提高系統(tǒng) 可用性，提升容錯(cuò)性和自動(dòng)恢復(fù)能力，目前云計(jì)算系統(tǒng)處理任務(wù)失效使其快速恢復(fù)的常用 方法是重新提交調(diào)度。
[0003] 然而，云計(jì)算系統(tǒng)中往往存在某些任務(wù)，運(yùn)類任務(wù)通常具有W下特點(diǎn)：1)高頻次 失效：由于它們?cè)谏芷趦?nèi)反復(fù)發(fā)生失效事件，其失效總頻次遠(yuǎn)大于其他任務(wù)；2)失效 連續(xù)性：它們?cè)谑Ш鬅o法通過重啟進(jìn)行快速恢復(fù)，因而任意兩次失效之間幾乎不存在正 常運(yùn)行狀態(tài)，即失效狀態(tài)連續(xù)。因此，我們將此類任務(wù)稱為"高頻次連續(xù)失效任務(wù)"。
[0004] 經(jīng)過分析發(fā)現(xiàn)，高頻次連續(xù)失效任務(wù)表現(xiàn)出W下特定模式：1)資源使用模式：高 頻次連續(xù)失效任務(wù)在失效時(shí)刻和運(yùn)行時(shí)刻的資源使用量存在顯著差異，又由于其失效呈現(xiàn) 連續(xù)性，因此它們的資源消耗在時(shí)間序列上存在明顯分段趨勢(shì)；2)失效頻率特征：高頻率 連續(xù)失效任務(wù)的單位時(shí)間失效次數(shù)（失效頻率）遠(yuǎn)大于其他任務(wù)。運(yùn)些模式是高頻次連續(xù) 失效任務(wù)區(qū)別于其他任務(wù)的重要特征。但是，現(xiàn)有技術(shù)還沒有識(shí)別高頻次連續(xù)失效任務(wù)的 有效方法。而高頻次連續(xù)失效任務(wù)雖然會(huì)在每次失效后立刻被系統(tǒng)重新調(diào)度，但卻無法通 過重啟而快速恢復(fù)，反而會(huì)在重復(fù)調(diào)度后反復(fù)發(fā)生失效。反復(fù)失效不僅造成系統(tǒng)資源的大 量浪費(fèi)，還會(huì)增加集群調(diào)度器的負(fù)載，給云計(jì)算系統(tǒng)帶來潛在危害，難W滿足云計(jì)算系統(tǒng)對(duì) 高可用性的需求。

【發(fā)明內(nèi)容】
陽〇化]為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供一種云計(jì)算系統(tǒng)中高頻次連續(xù)失效任 務(wù)的在線識(shí)別系統(tǒng)與方法，實(shí)現(xiàn)云計(jì)算系統(tǒng)中頻繁失效且無法快速修復(fù)的任務(wù)的實(shí)時(shí)準(zhǔn)確 識(shí)別，提前通知云計(jì)算系統(tǒng)采取前攝性失效恢復(fù)措施，為云計(jì)算系統(tǒng)節(jié)約系統(tǒng)資源，減輕系 統(tǒng)調(diào)度器負(fù)載，提高云計(jì)算系統(tǒng)的可靠性與可用性。
[0006]本發(fā)明的原理是：從事件和資源兩個(gè)角度對(duì)云計(jì)算系統(tǒng)中的任務(wù)進(jìn)行分析，其中 事件角度指時(shí)間周期內(nèi)失效事件發(fā)生頻率，資源角度為時(shí)間周期內(nèi)任務(wù)消耗的系統(tǒng)資源 (如CPU、內(nèi)存和磁盤等），通過分析高頻次連續(xù)失效任務(wù)和非高頻次連續(xù)失效任務(wù)的失效 頻率特征和資源使用時(shí)間序列模式，實(shí)時(shí)識(shí)別云計(jì)算系統(tǒng)中反復(fù)失效且難W修復(fù)的高頻次 連續(xù)失效任務(wù)，可避免不必要的資源浪費(fèi)和調(diào)度負(fù)載，提高云計(jì)算系統(tǒng)的可靠性和可用性。 陽007] 本發(fā)明提供的技術(shù)方案是：
[0008] 一種云計(jì)算系統(tǒng)中高頻次連續(xù)失效任務(wù)的在線識(shí)別方法，根據(jù)離線監(jiān)控?cái)?shù)據(jù)進(jìn)行 基于時(shí)間序列的離線分析與學(xué)習(xí)，得到在一定置信水平上能代表所有非高頻次連續(xù)失效任 務(wù)失效頻率特征的失效頻率闊值，再識(shí)別得到在線數(shù)據(jù)中的高頻次連續(xù)失效任務(wù)；包括如 下步驟：
[0009] 1)從離線監(jiān)控?cái)?shù)據(jù)中抽取出事件和資源時(shí)間序列數(shù)據(jù)，通過轉(zhuǎn)換為特定格式得到 離線數(shù)據(jù)格式轉(zhuǎn)換結(jié)果，包括任務(wù)失效頻次和資源使用量；
[0010] 2)配置參數(shù)值，所述參數(shù)包括失效頻次闊值、失效連續(xù)指數(shù)闊值、資源變動(dòng)闊值和 置信度闊值；所述失效頻次闊值和失效連續(xù)指數(shù)闊值用于定義高頻次連續(xù)失效任務(wù)；
[0011] 3)根據(jù)步驟1)所述離線數(shù)據(jù)格式轉(zhuǎn)換結(jié)果和步驟2)所述高頻次連續(xù)失效任務(wù)定 義參數(shù)（失效頻次闊值和失效連續(xù)指數(shù)闊值），將離線數(shù)據(jù)中的任務(wù)標(biāo)記為高頻次連續(xù)失 效任務(wù)或非高頻次連續(xù)失效任務(wù)；
[0012] 4)利用步驟2)所述資源變動(dòng)闊值和置信度闊值，分析得到非高頻次連續(xù)失效任 務(wù)的資源使用模式和失效頻率特征，學(xué)習(xí)得到在一定置信水平上能代表所有非高頻次連續(xù) 失效任務(wù)失效頻率特征的失效頻率闊值；
[0013] 5)將在線監(jiān)控?cái)?shù)據(jù)實(shí)時(shí)輸入，抽取出任務(wù)的事件和資源時(shí)間序列數(shù)據(jù)，轉(zhuǎn)換為特 定格式，得到在線數(shù)據(jù)格式轉(zhuǎn)換結(jié)果，包括任務(wù)失效頻次和資源使用量；
[0014] 6)根據(jù)步驟5)獲取的在線數(shù)據(jù)格式轉(zhuǎn)換結(jié)果和步驟4)得到的失效頻率闊值，實(shí) 時(shí)地識(shí)別得到在線數(shù)據(jù)中的高頻次連續(xù)失效任務(wù)。
[0015] 針對(duì)上述云計(jì)算系統(tǒng)中高頻次連續(xù)失效任務(wù)的在線識(shí)別方法，進(jìn)一步地，步驟1) 所述將事件和資源時(shí)間序列數(shù)據(jù)轉(zhuǎn)換為特定格式，具體是：
[0016]設(shè)定所述事件和資源時(shí)間序列數(shù)據(jù)中存在n個(gè)任務(wù)，任務(wù)i(l《i《n)在ti。時(shí) 刻提交進(jìn)入系統(tǒng)，在系統(tǒng)中駐留時(shí)間為Ti個(gè)時(shí)間周期；為每個(gè)任務(wù)i抽取出T1個(gè)S元組
[0017] 針對(duì)所述事件和資源時(shí)間序列數(shù)據(jù)，得到特定格式為四元組{i，t，F(xiàn)i,t，Ri,t}列表； 其中，tG{tw，Tw+l，…，tw+Ti-U表征任務(wù)i(l《i《n)在系統(tǒng)中駐留的每一個(gè)時(shí)間周 期；Fi,t為任務(wù)i在第t個(gè)時(shí)間周期內(nèi)的失效頻次，通過統(tǒng)計(jì)離線數(shù)據(jù)中的失效事件求得，若 任務(wù)i在第t個(gè)時(shí)間周期內(nèi)沒有發(fā)生失效事件，則！\,為0;R為任務(wù)i在第t個(gè)時(shí)間周 期內(nèi)的資源使用量，由監(jiān)控系統(tǒng)獲取并通過離線數(shù)據(jù)源傳入。 陽018] 針對(duì)上述云計(jì)算系統(tǒng)中高頻次連續(xù)失效任務(wù)的在線識(shí)別方法，進(jìn)一步地，步驟3) 所述將離線數(shù)據(jù)中的任務(wù)標(biāo)記為高頻次連續(xù)失效任務(wù)或非高頻次連續(xù)失效任務(wù)，具體為：[0019]根據(jù)步驟1)所述離線數(shù)據(jù)中的任務(wù)的失效頻次，計(jì)算得到任務(wù)的失效總頻次；根 據(jù)連續(xù)的失效次數(shù)占該任務(wù)失效總頻次的百分比求得失效連續(xù)指數(shù)；將所述失效總頻次大 于步驟2)所述失效頻次闊值而且所述任務(wù)失效連續(xù)指數(shù)大于步驟2)所述失效連續(xù)指數(shù)闊 值的任務(wù)，標(biāo)記為高頻次連續(xù)失效任務(wù)；否則標(biāo)記為非高頻次連續(xù)失效任務(wù)。 陽020] 針對(duì)上述云計(jì)算系統(tǒng)中高頻次連續(xù)失效任務(wù)的在線識(shí)別方法，進(jìn)一步地，步驟4) 所述通過學(xué)習(xí)得到在一定置信水平上能代表所有非高頻次連續(xù)失效任務(wù)失效頻率特征的 失效頻率闊值，具體包括如下步驟：
[0021] 41)劃分資源異常窗口；
[0022] 根據(jù)資源使用量得到資源異常程度，通過步驟2)所設(shè)定的資源異常闊值，根據(jù)資 源異常程度將非高頻次連續(xù)失效任務(wù)在系統(tǒng)中的駐留時(shí)間劃分為多個(gè)資源異常窗口，得到 每個(gè)任務(wù)的資源異常窗口的劃分結(jié)果；
[0023] 42)計(jì)算得到失效頻率；
[0024] 根據(jù)步驟41)得到的每個(gè)任務(wù)的資源異常窗口的劃分結(jié)果，計(jì)算得到每個(gè)任務(wù)在 每個(gè)資源異常窗口內(nèi)的失效頻率；再將每個(gè)任務(wù)在所有窗口內(nèi)失效頻率的最大值設(shè)定為該 任務(wù)的失效頻率；
[00巧]43)通過學(xué)習(xí)得到失效頻率闊值；
[00%] 根據(jù)步驟42)得到的所有非高頻次連續(xù)失效任務(wù)的失效頻率，擬合出任務(wù)失效頻 率的累積分布函數(shù)，通過步驟2)所設(shè)定的置信度闊值，計(jì)算得到在一定置信水平上能代表 所有非高頻次連續(xù)失效任務(wù)失效頻率的失效頻率闊值。
[0027] 針對(duì)上述云計(jì)算系統(tǒng)中高頻次連續(xù)失效任務(wù)的在線識(shí)別方法，進(jìn)一步地，步驟41) 所述資源異常窗口的劃分方法具體如下：
[0028] 若任務(wù)在第t個(gè)時(shí)間周期內(nèi)的資源使用量與t-1存在顯著差異，則設(shè)定第t個(gè)時(shí) 間周期屬于一個(gè)新的資源異常窗口，否則t與t-1屬于同一窗口；
[0029] 通過資源使用變動(dòng)量來度量資源使用量是否存在顯著差異，所述資源使用變動(dòng)量 Vi,1由任務(wù)i在時(shí)刻t的資源使用量R1, t通過式1計(jì)算得到：
[0030]
(式1) 陽03U式1中，Vi,為資源使用變動(dòng)量；Ri,t1為任務(wù)i在時(shí)刻t-1的資源使用量；Ri,t為任 務(wù)i在時(shí)刻t的資源使用量；P巧1)表示任務(wù)i的資源使用數(shù)量級(jí)，用于標(biāo)準(zhǔn)化資源使用變 動(dòng)量，避免因不同任務(wù)資源使用數(shù)量級(jí)不同而對(duì)資源使用變動(dòng)量造成負(fù)面影響；若Vi,t大 于資源變動(dòng)闊值，則開啟一個(gè)新窗口，否則繼續(xù)保留在上一窗口。
[0032] 針對(duì)上述云計(jì)算系統(tǒng)中高頻次連續(xù)失效任務(wù)的在線識(shí)別方法，進(jìn)一步地，步驟42) 所述計(jì)算得到每個(gè)任務(wù)的失效頻率的方法如下：
[0033] 首先計(jì)算每個(gè)任務(wù)在每個(gè)資源異常窗口內(nèi)的失效頻率；假設(shè)任務(wù)i的第j個(gè)資源 異常窗口的起始時(shí)間為Si，，結(jié)束時(shí)間為Ei,;F為任務(wù)i在第t個(gè)時(shí)間周期內(nèi)的失效頻次； 則任務(wù)i在第j個(gè)窗口內(nèi)的失效頻率化e,，通過式2得到：
[0034]
(式2) 陽的日]通過式3設(shè)定任務(wù)i的總體失效頻率化e;為任務(wù)i在所有窗口內(nèi)失效頻率的最 大值，作為區(qū)分高頻次連續(xù)失效任務(wù)和非高頻次連續(xù)失效任務(wù)的判定值：
[0036]化6;=max(Rre。） （式 3)
[0037] 式3中，化e。為任務(wù)i在第j個(gè)窗口內(nèi)的失效頻率。
[0038] 針對(duì)上述云計(jì)算系統(tǒng)中高頻次連續(xù)失效任務(wù)的在線識(shí)別方法，進(jìn)一步地，步驟43) 所述失效頻率闊值的計(jì)算方法如下：
[0039] 首先根據(jù)所有非高頻次連續(xù)失效任務(wù)的失效頻率化6i，擬合出任務(wù)失效頻率的累 積分布函數(shù)Fi(化e)，通過式4將滿足Fi(化e)等于置信度闊值V。。。,的化e作為失效頻率闊 值fthre: W40] f,hre=F/(V_,) (式 4) 陽〇川式4中，F(xiàn)/(化e)是Fi(化e)的反函數(shù)；Vcdw為置信度闊值。
[0042] 針對(duì)上述云計(jì)算系統(tǒng)中高頻次連續(xù)失效任務(wù)的在線識(shí)別方法，進(jìn)一步地，步驟6) 所述高頻次連續(xù)失效任務(wù)在線識(shí)別具體包括如下步驟：
[0043] 51)根據(jù)在線事件和資源使用數(shù)據(jù)轉(zhuǎn)換后的結(jié)果，劃分得到資