基于流式計(jì)算的資源管理方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其設(shè)及一種基于流式計(jì)算的資源管理方法及裝 置。
【背景技術(shù)】
[0002] 在流式計(jì)算中，對(duì)于重要的計(jì)算往往會(huì)添加多份備份。W便于當(dāng)一條計(jì)算流失效 時(shí)，其他的計(jì)算仍然可用，從而不影響整體的服務(wù)質(zhì)量。當(dāng)然，每一條計(jì)算流的資源都會(huì)受 到限制，僅保留可見的必要的余量，W保證峰值期間仍然可用。
[0003] 近年來，隨著流式計(jì)算業(yè)務(wù)的發(fā)展，數(shù)據(jù)量也逐步增大，通常會(huì)發(fā)生一些突發(fā)狀 況。例如高峰期流量超出預(yù)期。在此狀況下，任何一條計(jì)算流都會(huì)因數(shù)據(jù)量暴增而處理不 及時(shí)，導(dǎo)致延時(shí)，進(jìn)而無法滿足可靠性要求?，F(xiàn)有技術(shù)一般采用投入更多的計(jì)算資源的方式 來保證服務(wù)質(zhì)量。然而，上述方式具有無限制地獲取額外資源，流量低峰期造成資源閑置等 不足之處。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明實(shí)施例的目的在于，提供一種基于流式計(jì)算的資源管理方法及裝置，W實(shí) 現(xiàn)在流式計(jì)算過程中，自動(dòng)地調(diào)整分配給計(jì)算流的既有資源W適應(yīng)數(shù)據(jù)量驟增等突發(fā)狀 況，并保證服務(wù)質(zhì)量。
[0005] 為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明的實(shí)施例提供了一種基于流式計(jì)算的資源管理方 法，包括：分別獲取多條計(jì)算流的數(shù)據(jù)訂閱流量W及所述計(jì)算流的延遲時(shí)間長度；根據(jù)所 述多條計(jì)算流的數(shù)據(jù)訂閱流量W及延遲時(shí)間長度對(duì)分配給所述計(jì)算流的資源進(jìn)行調(diào)整。
[0006] 優(yōu)選地，所述根據(jù)所述多條計(jì)算流的數(shù)據(jù)訂閱流量W及延遲時(shí)間長度對(duì)分配給所 述計(jì)算流的資源進(jìn)行調(diào)整的處理包括：根據(jù)所述多條計(jì)算流的數(shù)據(jù)訂閱流量分別對(duì)所述多 條計(jì)算流賦予權(quán)值，并且根據(jù)所述計(jì)算流的延遲時(shí)間長度分別計(jì)算在預(yù)定的時(shí)間間隔內(nèi)所 述計(jì)算流的平均延遲時(shí)間長度；根據(jù)為所述多條計(jì)算流賦予的權(quán)值W及計(jì)算的平均延遲時(shí) 間長度分別計(jì)算所述多條計(jì)算流的價(jià)值評(píng)分；根據(jù)計(jì)算的所述多條計(jì)算流的價(jià)值評(píng)分對(duì)分 配給所述計(jì)算流的資源進(jìn)行調(diào)整。
[0007] 優(yōu)選地，所述根據(jù)計(jì)算的所述多條計(jì)算流的價(jià)值評(píng)分對(duì)分配給所述計(jì)算流的資源 進(jìn)行調(diào)整的處理包括：增加為計(jì)算出的價(jià)值評(píng)分低于預(yù)定的第一價(jià)值闊值的計(jì)算流分配的 資源。
[0008] 優(yōu)選地，所述根據(jù)計(jì)算的所述多條計(jì)算流的價(jià)值評(píng)分對(duì)分配給所述計(jì)算流的資源 進(jìn)行調(diào)整的處理包括：根據(jù)為所述計(jì)算流計(jì)算出的價(jià)值評(píng)分計(jì)算所述多條計(jì)算流的總價(jià)值 評(píng)分，如果計(jì)算出的總價(jià)值評(píng)分低于預(yù)設(shè)的總價(jià)值闊值，則增加為計(jì)算出的價(jià)值評(píng)分低于 預(yù)定的第二價(jià)值闊值的計(jì)算流分配的資源。
[0009] 優(yōu)選地，所述根據(jù)計(jì)算的所述多條計(jì)算流的價(jià)值評(píng)分對(duì)分配給所述計(jì)算流的資源 進(jìn)行調(diào)整的處理包括：根據(jù)為所述計(jì)算流計(jì)算出的價(jià)值評(píng)分計(jì)算所述多條計(jì)算流的總價(jià)值 評(píng)分，如果計(jì)算出的總價(jià)值評(píng)分低于預(yù)設(shè)的總價(jià)值闊值，則選取權(quán)值最大的計(jì)算流，并計(jì)算 選取的計(jì)算流的價(jià)值評(píng)分，如果所述選取的計(jì)算流的價(jià)值評(píng)分低于預(yù)定的第=價(jià)值闊值， 則增加為選取的計(jì)算流分配的資源。
[0010] 優(yōu)選地，所述根據(jù)計(jì)算的所述多條計(jì)算流的價(jià)值評(píng)分對(duì)分配給所述計(jì)算流的資源 進(jìn)行調(diào)整的處理還包括：減少為計(jì)算出的價(jià)值評(píng)分高于預(yù)定的第四價(jià)值闊值的計(jì)算流分配 的資源。
[0011] 優(yōu)選地，所述根據(jù)所述多條計(jì)算流的數(shù)據(jù)訂閱流量分別對(duì)所述多條計(jì)算流賦予權(quán) 值的處理包括：根據(jù)計(jì)算流的數(shù)據(jù)訂閱流量在全部計(jì)算流的數(shù)據(jù)訂閱流量總和的百分比分 別對(duì)所述多條計(jì)算流賦予權(quán)值。
[0012] 優(yōu)選地，所述分別獲取多條計(jì)算流的延遲時(shí)間長度的處理包括：根據(jù)計(jì)算流的收 到確認(rèn)時(shí)間和數(shù)據(jù)訂閱時(shí)間分別計(jì)算所述計(jì)算流的延遲時(shí)間長度。
[0013] 本發(fā)明的實(shí)施例還提供了一種基于流式計(jì)算的資源管理裝置，包括：數(shù)據(jù)獲取模 塊，用于分別獲取多條計(jì)算流的數(shù)據(jù)訂閱流量W及所述計(jì)算流的延遲時(shí)間長度；資源調(diào)整 模塊，用于根據(jù)所述多條計(jì)算流的數(shù)據(jù)訂閱流量W及延遲時(shí)間長度對(duì)分配給所述計(jì)算流的 資源進(jìn)行調(diào)整。
[0014] 優(yōu)選地，所述資源調(diào)整模塊包括：權(quán)值及延遲時(shí)間計(jì)算單元，用于根據(jù)所述多條計(jì) 算流的數(shù)據(jù)訂閱流量分別對(duì)所述多條計(jì)算流賦予權(quán)值，并且根據(jù)所述計(jì)算流的延遲時(shí)間長 度分別計(jì)算在預(yù)定的時(shí)間間隔內(nèi)所述計(jì)算流的平均延遲時(shí)間長度；價(jià)值評(píng)分計(jì)算單元，用 于根據(jù)為所述多條計(jì)算流賦予的權(quán)值W及計(jì)算的平均延遲時(shí)間長度分別計(jì)算所述多條計(jì) 算流的價(jià)值評(píng)分；資源調(diào)整單元，用于根據(jù)計(jì)算的所述多條計(jì)算流的價(jià)值評(píng)分對(duì)分配給所 述計(jì)算流的資源進(jìn)行調(diào)整。
[0015] 優(yōu)選地，所述資源調(diào)整單元用于增加為計(jì)算出的價(jià)值評(píng)分低于預(yù)定的第一價(jià)值闊 值的計(jì)算流分配的資源。
[0016] 優(yōu)選地，所述資源調(diào)整單元用于根據(jù)為所述計(jì)算流計(jì)算出的價(jià)值評(píng)分計(jì)算所述多 條計(jì)算流的總價(jià)值評(píng)分，如果計(jì)算出的總價(jià)值評(píng)分低于預(yù)設(shè)的總價(jià)值闊值，則增加為計(jì)算 出的價(jià)值評(píng)分低于預(yù)定的第二價(jià)值闊值的計(jì)算流分配的資源。
[0017] 優(yōu)選地，所述資源調(diào)整單元用于根據(jù)為所述計(jì)算流計(jì)算出的價(jià)值評(píng)分計(jì)算所述多 條計(jì)算流的總價(jià)值評(píng)分，如果計(jì)算出的總價(jià)值評(píng)分低于預(yù)設(shè)的總價(jià)值闊值，則選取計(jì)算出 的價(jià)值評(píng)分最高的計(jì)算流，如果選取的計(jì)算流的價(jià)值評(píng)分低于預(yù)定的第S價(jià)值闊值，則增 加為選取的計(jì)算流分配的資源。
[0018] 優(yōu)選地，所述資源調(diào)整單元還用于減少為計(jì)算出的價(jià)值評(píng)分高于預(yù)定的第四價(jià)值 闊值的計(jì)算流分配的資源。
[0019] 優(yōu)選地，所述權(quán)值及延遲時(shí)間計(jì)算單元用于根據(jù)計(jì)算流的數(shù)據(jù)訂閱流量在全部計(jì) 算流的數(shù)據(jù)訂閱流量總和的百分比分別對(duì)所述多條計(jì)算流賦予權(quán)值。
[0020] 優(yōu)選地，所述數(shù)據(jù)獲取模塊用于根據(jù)計(jì)算流的收到確認(rèn)時(shí)間和數(shù)據(jù)訂閱時(shí)間分別 計(jì)算所述計(jì)算流的延遲時(shí)間長度。
[0021] 本發(fā)明實(shí)施例提供的基于流式計(jì)算的資源管理方法及裝置，在獲取多條計(jì)算流的 數(shù)據(jù)訂閱流量W及所述計(jì)算流的延遲時(shí)間長度后，進(jìn)一步根據(jù)獲取到的多條計(jì)算流的數(shù)據(jù) 訂閱流量W及延遲時(shí)間長度，自動(dòng)地對(duì)分配給所述計(jì)算流的資源進(jìn)行調(diào)整，從而適應(yīng)數(shù)據(jù) 量驟增等突發(fā)狀況并保證服務(wù)質(zhì)量?？梢?，本實(shí)施例所述方法充分利用既有資源，無論是在 流量高峰期還是低峰期對(duì)資源的使用情況都相對(duì)平衡。同時(shí)，無需獲取額外資源來保證流 式計(jì)算服務(wù)質(zhì)量，由此，減少了資源浪費(fèi)。
【附圖說明】
[0022] 圖1是示出本發(fā)明實(shí)施例一的基于流式計(jì)算的資源管理方法的流程圖；
[0023] 圖2是示出本發(fā)明實(shí)施例二的基于流式計(jì)算的資源管理裝置的邏輯框圖。
【具體實(shí)施方式】
[0024] 本發(fā)明的基本構(gòu)思是，提供一種基于流式計(jì)算的資源管理方式：分別獲取多條計(jì) 算流的數(shù)據(jù)訂閱流量W及所述計(jì)算流的延遲時(shí)間長度，由此，可基于獲取到的所述多條計(jì) 算流的數(shù)據(jù)訂閱流量W及延遲時(shí)間長度，自動(dòng)地對(duì)分配給所述計(jì)算流的資源進(jìn)行調(diào)整。
[00巧]與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例所述的基于流式計(jì)算的資源管理方法能夠充分利 用既有資源，無需獲取額外資源。無論是在流量高峰期還是低峰期對(duì)資源的使用情況相對(duì) 平衡，減少資源浪費(fèi)。并且，使得流式計(jì)算服務(wù)既滿足常規(guī)的計(jì)算需求，又滿足流量高峰期 的低延遲性需求。
[0026] 下面結(jié)合附圖詳細(xì)描述本發(fā)明實(shí)施例的基于流式計(jì)算的資源管理方法及裝置。
[0027] 實(shí)施例一
[002引圖1是示出本發(fā)明實(shí)施例一的基于流式計(jì)算的資源管理方法的流程圖。可在如圖 2所示的裝置上執(zhí)行該方法。
[0029] 參照?qǐng)D1，在步驟S110,分別獲取多條計(jì)算流的數(shù)據(jù)訂閱流量W及所述計(jì)算流的 延遲時(shí)間長度。
[0030] 根據(jù)本發(fā)明的示例性實(shí)施例，步驟S110中分別獲取多條計(jì)算流的延遲時(shí)間長度 的處理包括：根據(jù)計(jì)算流的收到確認(rèn)時(shí)間和數(shù)據(jù)訂閱時(shí)間分別計(jì)算所述計(jì)算流的延遲時(shí)間 長度。具體地，在傳輸可靠的流式計(jì)算系統(tǒng)中，下游應(yīng)用（AP巧一般在收到計(jì)算流傳遞的上 游數(shù)據(jù)之后，會(huì)向計(jì)算流發(fā)送確認(rèn)信息。因此，可W根據(jù)計(jì)算流收到的確認(rèn)信息的時(shí)間計(jì)算 傳輸延遲時(shí)間長度。
[0031] 在步驟S120,根據(jù)所述多條計(jì)算流的數(shù)據(jù)訂閱流量W及延遲時(shí)間長度對(duì)分配給所 述計(jì)算流的資源進(jìn)行調(diào)整。
[0032] 根據(jù)本發(fā)明的示例性實(shí)施例，步驟S120可包括：根據(jù)所述多條計(jì)算流的數(shù)據(jù)訂閱 流量分別對(duì)所述多條計(jì)算流賦予權(quán)值，并且根據(jù)所述計(jì)算流的延遲時(shí)間長度分別計(jì)算