一種云數(shù)據(jù)中心的負(fù)載預(yù)測(cè)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)據(jù)中心性能監(jiān)控預(yù)測(cè)領(lǐng)域，主要涉及機(jī)器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域相關(guān) 技術(shù)。具體來(lái)講，主要是提出了一種在云計(jì)算數(shù)據(jù)中心通過多種性能特征融合，并加上人工 干預(yù)的方式，對(duì)數(shù)據(jù)中心的負(fù)載做出一個(gè)準(zhǔn)確的預(yù)測(cè)的方法，更加適用于情況愈發(fā)復(fù)雜多 變的云數(shù)據(jù)中心。
【背景技術(shù)】
[0002] 當(dāng)今時(shí)代是一個(gè)大數(shù)據(jù)的時(shí)代。據(jù)統(tǒng)計(jì)，2013年時(shí)，全球的互聯(lián)網(wǎng)每天就會(huì)產(chǎn)生 IEB的數(shù)據(jù)（即10億GB)，并且隨著時(shí)間的推移，數(shù)據(jù)的增長(zhǎng)速度只會(huì)越來(lái)越快。這些數(shù)據(jù) 中蘊(yùn)藏著巨大的價(jià)值，要利用它們首先要存儲(chǔ)它們。而傳統(tǒng)的數(shù)據(jù)中心已經(jīng)不能滿足相應(yīng) 的要求，相比于傳統(tǒng)的數(shù)據(jù)中心，云數(shù)據(jù)中心具有高度的虛擬化，更大的規(guī)模化，管理的自 動(dòng)化，綠色節(jié)能化等優(yōu)勢(shì)。但是，相對(duì)應(yīng)的，云數(shù)據(jù)中心由于它的種種特性導(dǎo)致它的狀態(tài)更 加的多變。對(duì)于云數(shù)據(jù)中心狀態(tài)的要求不僅限于它的狀態(tài)監(jiān)控，對(duì)于它狀態(tài)的預(yù)測(cè)也成為 一個(gè)熱門話題。如果我們擁有一個(gè)好的預(yù)測(cè)方法，就可以將部分物力資源做更好的規(guī)劃。如 果預(yù)計(jì)到未來(lái)負(fù)載量較少，可以通過資源調(diào)度將部分資源集中在某些服務(wù)器上，讓剩余空 閑的服務(wù)器關(guān)閉服務(wù)以節(jié)省資源。
[0003] 對(duì)數(shù)據(jù)中心熱點(diǎn)的預(yù)測(cè)實(shí)際上就是對(duì)數(shù)據(jù)中心服務(wù)器負(fù)載的時(shí)間序列曲線的趨 勢(shì)預(yù)測(cè)。針對(duì)這個(gè)問題，目前國(guó)內(nèi)外已經(jīng)有很多關(guān)于負(fù)載預(yù)測(cè)領(lǐng)域的研究，期望通過不同的 方式來(lái)提高預(yù)測(cè)的準(zhǔn)確性。之前的大部分預(yù)測(cè)工作的算法集中在回歸，移動(dòng)平均，噪聲濾波 等，對(duì)于傳統(tǒng)的數(shù)據(jù)中心它們被證明了擁有不錯(cuò)的預(yù)測(cè)效果。但是對(duì)于多變的云數(shù)據(jù)中心 大多卻不再適用。
[0004] 近些年出現(xiàn)的機(jī)器學(xué)習(xí)，主要研究了計(jì)算機(jī)如何模擬人的思考學(xué)習(xí)行為，使得預(yù) 測(cè)這一領(lǐng)域又有了新的發(fā)展。機(jī)器學(xué)習(xí)發(fā)展到21世紀(jì)初期，出現(xiàn)了"大數(shù)據(jù)"的概念，隨 著數(shù)據(jù)量越來(lái)越大，許多傳統(tǒng)的方法漸顯出一些弊端，或是分析結(jié)果不對(duì)，或是收斂速度太 慢。2006年，多倫多大學(xué)的Hinton教授和他的團(tuán)隊(duì)發(fā)表文章，提出了一種基于深度信念網(wǎng) 絡(luò)的快速學(xué)習(xí)算法，拉開了深度學(xué)習(xí)的大門。深度學(xué)習(xí)相比與傳統(tǒng)的機(jī)器學(xué)習(xí)，更專注于 提取數(shù)據(jù)中的特征表示，因此也更適用于沒有標(biāo)簽的數(shù)據(jù)。這種學(xué)習(xí)方式叫做無(wú)監(jiān)督的學(xué) 習(xí)。因?yàn)橄啾扔谟袠?biāo)簽的數(shù)據(jù)，大量無(wú)標(biāo)簽的數(shù)據(jù)更容易獲得，如果盡量提取這些無(wú)標(biāo)簽數(shù) 據(jù)中的有效信息，也就是深度學(xué)習(xí)的核心，因此深度學(xué)習(xí)也是一種更接近于人腦的學(xué)習(xí)機(jī) 制。所以將深度學(xué)習(xí)的思路應(yīng)用到云數(shù)據(jù)中心的負(fù)載預(yù)測(cè)上會(huì)提高很多精度。
[0005] 但是縱使是深度學(xué)習(xí)也不能完全解決生活中所存在的很多問題，特別是云數(shù)據(jù)中 心中存在著大量不確定的情況難以預(yù)知。比如某網(wǎng)站某日晚十點(diǎn)要開放預(yù)售某位歌星的演 唱會(huì)門票，人自然而然會(huì)想到，等到搶票通道開放的時(shí)候必然會(huì)造成服務(wù)器負(fù)載突然增高， 但是這一點(diǎn)計(jì)算機(jī)無(wú)法預(yù)知，因此人機(jī)交互的預(yù)測(cè)可能會(huì)更加符合未來(lái)的預(yù)測(cè)模式。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明針對(duì)現(xiàn)存絕大部分云數(shù)據(jù)中心架構(gòu)，創(chuàng)造性地提出了一種帶人工干預(yù)的特 征融合式預(yù)測(cè)算法，很好地解決了目前云數(shù)據(jù)中心多變性難以掌控的局限性。本算法采用 深度學(xué)習(xí)算法提取特征并將多種性能指標(biāo)進(jìn)行融合，并加入人工干預(yù)來(lái)輔助預(yù)測(cè)，將大大 提高預(yù)測(cè)的精度。同時(shí)算法模塊間依賴性小，可以放在分布式系統(tǒng)上進(jìn)行，大大提高了運(yùn)行 所需的時(shí)間。
[0007] 本發(fā)明的發(fā)明目的通過以下技術(shù)方案實(shí)現(xiàn)：
[0008] -種云數(shù)據(jù)中心的負(fù)載預(yù)測(cè)方法，其特點(diǎn)在于，該方法包括如下步驟：
[0009] 步驟1，采集預(yù)測(cè)云數(shù)據(jù)中心的歷史數(shù)據(jù)，并進(jìn)行歸一化處理；
[0010] 步驟2,計(jì)算CPU歷史數(shù)據(jù)與其余各性能指標(biāo)的相關(guān)性，相關(guān)性大于閾值Φ的性能 指標(biāo)加入集合A。
[0011] 步驟3，時(shí)間窗口提?。弘S機(jī)抽取時(shí)間窗口，時(shí)間窗口長(zhǎng)度根據(jù)實(shí)際情況來(lái)設(shè)定， 其中時(shí)間窗口前一部分作為預(yù)測(cè)的輸入，后一部分作為訓(xùn)練時(shí)的預(yù)測(cè)輸出；
[0012] 步驟4,特征提?。河萌龑幼跃幋a神經(jīng)網(wǎng)絡(luò)對(duì)于CPU歷史數(shù)據(jù)集合A中各性能指標(biāo) 進(jìn)行壓縮得到各性能指標(biāo)特征；
[0013] 這里限定自編碼神經(jīng)網(wǎng)絡(luò)為一個(gè)只有一個(gè)隱含層的三層神經(jīng)網(wǎng)絡(luò)，將通過神經(jīng)網(wǎng) 絡(luò)變換之后的輸出向量設(shè)置為與輸出這個(gè)網(wǎng)絡(luò)的向量一致的向量。并且限定中間隱含層的 單元數(shù)為輸入層單元數(shù)的60%。
[0014] 步驟5,特征融合：將步驟4得到的各性能指標(biāo)特征進(jìn)行拼接后，輸入到自編碼神 經(jīng)網(wǎng)絡(luò)中，做進(jìn)一步壓縮，最終得到一個(gè)共同的壓縮特征；
[0015] 步驟6,添加人工干預(yù)：在同樣的時(shí)間窗口上，人對(duì)于可能預(yù)知要發(fā)生熱點(diǎn)，及熱 點(diǎn)的程度做出自己的判斷。即在時(shí)間序列上加入人為權(quán)值。這種操作通常直接通過簡(jiǎn)單的 點(diǎn)擊操作即可完成。加入權(quán)重根據(jù)下式獲得：
[0017] 其中X、σ i、〇 2是人為設(shè)定的參數(shù)，分別代表了峰值和左右兩側(cè)收斂的速度；
[0018] 步驟7,監(jiān)督學(xué)習(xí)。CPU本身經(jīng)過特征提取后的特征向量，共享特征向量和輸出時(shí) 間段的人工干預(yù)數(shù)值向量進(jìn)行拼接，作為輸入，滑動(dòng)窗口后一部分序列值作為輸出，使用神 經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。在訓(xùn)練過程中，需要控制人工干預(yù)所產(chǎn)生的影響，加入稀疏因子。將神經(jīng) 網(wǎng)絡(luò)代價(jià)函數(shù)作出修改，如下式：
[0020] 其中，t代表了 CPU特征向量長(zhǎng)度，s代表了共享特征向量長(zhǎng)度^代表了第i層單 元數(shù)。
[0021] 步驟8,預(yù)測(cè)。根據(jù)前面網(wǎng)絡(luò)訓(xùn)練所得到的各種參數(shù)，在實(shí)際操作過程中需要監(jiān)控 一段時(shí)間CPU的運(yùn)行狀態(tài)，同樣的進(jìn)行特征提取和融合最后輸入到最終模型進(jìn)行預(yù)測(cè)，得 到預(yù)測(cè)結(jié)果。
[0022] 使用數(shù)據(jù)的特征代替數(shù)據(jù)本身的數(shù)值來(lái)進(jìn)行預(yù)測(cè)，所述的歷史數(shù)據(jù)包括CPU歷史 數(shù)據(jù)、Memory歷史數(shù)、Disk歷史數(shù)據(jù)和網(wǎng)絡(luò)I/O歷史數(shù)據(jù)。同時(shí)預(yù)測(cè)加入人工干預(yù)模型。
[0023] 與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是通過特征提取的手段可以發(fā)現(xiàn)潛在的變化 信號(hào)，從而更加準(zhǔn)確地掌握變化的方向。同時(shí)又加入人工干預(yù)的手段更加貼合實(shí)際需求，在 實(shí)際應(yīng)用中可以提高約5-10%的預(yù)測(cè)準(zhǔn)確率。
【附圖說(shuō)明】
[0024] 圖1性能指標(biāo)特征融合示意圖
[0025] 圖2神經(jīng)網(wǎng)絡(luò)訓(xùn)練預(yù)測(cè)示意圖
[0026] 圖3本發(fā)明方法流程圖
【具體實(shí)施方式】
[0027] 下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明。
[0028] 以預(yù)測(cè)數(shù)據(jù)中心的CPU為例，其余性能（如Memory，Disk，網(wǎng)絡(luò)I/O等）指標(biāo)類 似。一種云數(shù)據(jù)中心的負(fù)載預(yù)測(cè)方法，主要包括一次深度學(xué)習(xí)特征提取，一次多性能指標(biāo)融 合以及人工干預(yù)。具體步驟如下：
[0029] 步驟1，采集數(shù)據(jù)。由于數(shù)據(jù)中心服務(wù)內(nèi)容各不相同，所以預(yù)測(cè)不同數(shù)據(jù)中心負(fù) 載需要采集相對(duì)應(yīng)的歷史數(shù)據(jù)。數(shù)據(jù)采集涉及的相關(guān)技術(shù)這里不做詳述，收集對(duì)象包括 CPU (可能有多個(gè)CPU)，Memory，Disk，網(wǎng)絡(luò)I/O等。監(jiān)控時(shí)長(zhǎng)越久