本發(fā)明涉及云計(jì)算資源管理，特別指一種基于多維資源指紋的云計(jì)算資源調(diào)度方法及系統(tǒng)。

背景技術(shù)：

1、隨著云計(jì)算的廣泛應(yīng)用和快速發(fā)展，如何高效管理日益復(fù)雜的云計(jì)算資源（云基礎(chǔ)設(shè)施），滿足用戶和應(yīng)用的多樣化需求，已成為云服務(wù)提供商亟待解決的關(guān)鍵問題。針對(duì)云計(jì)算資源的管理，傳統(tǒng)上采取靜態(tài)資源配置結(jié)合粗粒度動(dòng)態(tài)調(diào)整策略的管理方法，但傳統(tǒng)方法面臨諸多挑戰(zhàn)，難以適應(yīng)云環(huán)境的高動(dòng)態(tài)性、高異構(gòu)性和高不確定性，主要包括如下問題：

2、1、云工作負(fù)載呈現(xiàn)復(fù)雜多變的動(dòng)態(tài)特性，而靜態(tài)資源配置缺乏對(duì)負(fù)載變化的自適應(yīng)能力，導(dǎo)致云計(jì)算資源供需失衡問題突出。2、云環(huán)境中存在大量異構(gòu)任務(wù)，粗粒度動(dòng)態(tài)調(diào)整策略無法匹配個(gè)性化的任務(wù)需求和性能目標(biāo)，帶來云計(jì)算資源的浪費(fèi)和任務(wù)延遲等問題。3、傳統(tǒng)管理方法難以捕捉任務(wù)間的細(xì)粒度資源使用模式和相互影響，導(dǎo)致云計(jì)算資源沖突和性能干擾問題頻發(fā)。4、云計(jì)算資源的利用效率與能源成本的權(quán)衡日益凸顯。

3、因此，如何提供一種基于多維資源指紋的云計(jì)算資源調(diào)度方法及系統(tǒng)，實(shí)現(xiàn)提升云計(jì)算資源調(diào)度的資源利用率、及時(shí)性、穩(wěn)定性以及能效比，成為一個(gè)亟待解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問題，在于提供一種基于多維資源指紋的云計(jì)算資源調(diào)度方法及系統(tǒng)，實(shí)現(xiàn)提升云計(jì)算資源調(diào)度的資源利用率、及時(shí)性、穩(wěn)定性以及能效比。

2、第一方面，本發(fā)明提供了一種基于多維資源指紋的云計(jì)算資源調(diào)度方法，包括如下步驟：

3、步驟s1、采集運(yùn)行于云環(huán)境的各物理機(jī)的云計(jì)算任務(wù)，通過滑動(dòng)窗口采集各所述云計(jì)算任務(wù)的云計(jì)算資源使用數(shù)據(jù)；

4、步驟s2、從所述云計(jì)算資源使用數(shù)據(jù)中提取至少包括均值、標(biāo)準(zhǔn)差、最大值以及最小值的統(tǒng)計(jì)特征，基于各所述統(tǒng)計(jì)特征構(gòu)建各云計(jì)算任務(wù)的高維資源指紋矩陣；

5、步驟s3、通過主成分分析方法對(duì)所述高維資源指紋矩陣進(jìn)行降維操作，得到壓縮資源指紋矩陣；

6、步驟s4、基于所述壓縮資源指紋矩陣計(jì)算各云計(jì)算任務(wù)之間的任務(wù)親和度，基于各所述任務(wù)親和度構(gòu)建任務(wù)親和度矩陣；

7、步驟s5、基于所述任務(wù)親和度矩陣構(gòu)建系統(tǒng)親和度，設(shè)定一貪婪任務(wù)放置策略，基于所述貪婪任務(wù)放置策略設(shè)定一資源約束條件，通過所述資源約束條件對(duì)系統(tǒng)親和度進(jìn)行優(yōu)化；

8、步驟s6、基于所述壓縮資源指紋矩陣以及系統(tǒng)親和度對(duì)各物理機(jī)的云計(jì)算資源進(jìn)行調(diào)度，調(diào)度過程中基于比例分配法確保各物理機(jī)分配的云計(jì)算資源不超過額定資源；

9、步驟s7、對(duì)各物理機(jī)的運(yùn)行狀態(tài)進(jìn)行監(jiān)測，基于所述運(yùn)行狀態(tài)以及任務(wù)親和度對(duì)云計(jì)算任務(wù)進(jìn)行遷移；

10、步驟s8、云計(jì)算資源調(diào)度過程中，動(dòng)態(tài)更新所述壓縮資源指紋矩陣以及任務(wù)親和度。

11、進(jìn)一步的，所述步驟s1中，所述云計(jì)算資源使用數(shù)據(jù)至少包括cpu使用率、內(nèi)存使用量、磁盤i/o速度以及網(wǎng)絡(luò)帶寬使用量；

12、所述步驟s4中，所述任務(wù)親和度的計(jì)算公式為：

13、；

14、其中，表示第i個(gè)壓縮資源指紋矩陣；表示第j個(gè)壓縮資源指紋矩陣；表示對(duì)應(yīng)的云計(jì)算任務(wù)與對(duì)應(yīng)的云計(jì)算任務(wù)的任務(wù)親和度；α表示權(quán)衡因子；sim()表示相似性度量函數(shù)；comp()表示互補(bǔ)性度量函數(shù)。

15、進(jìn)一步的，所述步驟s5具體為：

16、基于所述任務(wù)親和度矩陣，獲取各物理機(jī)中運(yùn)行的各云計(jì)算任務(wù)兩兩之間的任務(wù)親和度，分別對(duì)各物理機(jī)的各所述任務(wù)親和度進(jìn)行求和得到物理機(jī)親和度，對(duì)各所述物理機(jī)任務(wù)親和度進(jìn)行求和得到系統(tǒng)親和度；

17、設(shè)定一貪婪任務(wù)放置策略，具體為：

18、對(duì)各待調(diào)度的云計(jì)算任務(wù)tk，計(jì)算tk與已調(diào)度的云計(jì)算任務(wù)的累積親和度，選擇使所述累積親和度最大且滿足資源約束條件的物理機(jī)進(jìn)行分配；

19、基于所述貪婪任務(wù)放置策略設(shè)定一資源約束條件：

20、；

21、其中，tk表示第k個(gè)云計(jì)算任務(wù)；rk表示tk的資源需求向量；mi表示第i個(gè)物理機(jī)；表示分配到mi的云計(jì)算任務(wù)集合；ci表示mi的資源容量向量；m表示物理機(jī)總數(shù)；表示貪婪任務(wù)放置策略；表示系統(tǒng)親和度；

22、通過所述資源約束條件對(duì)系統(tǒng)親和度進(jìn)行優(yōu)化。

23、進(jìn)一步的，所述步驟s6具體為：

24、基于所述壓縮資源指紋矩陣獲取統(tǒng)計(jì)特征，基于所述統(tǒng)計(jì)特征對(duì)各物理機(jī)的云計(jì)算資源進(jìn)行調(diào)度，調(diào)度過程中通過所述系統(tǒng)親和度進(jìn)行約束，并基于比例分配法確保各物理機(jī)分配的云計(jì)算資源不超過額定資源；

25、所述比例分配法具體為：當(dāng)物理機(jī)運(yùn)行的所有云計(jì)算任務(wù)所需的云計(jì)算資源超過額定資源時(shí)，基于所需的云計(jì)算資源與額定資源的比例計(jì)算縮放因子，基于所述縮放因子對(duì)分配的云計(jì)算資源進(jìn)行調(diào)整，使物理機(jī)分配的云計(jì)算資源不超過額定資源。

26、進(jìn)一步的，所述步驟s7具體為：

27、對(duì)各物理機(jī)的運(yùn)行狀態(tài)進(jìn)行監(jiān)測，所述運(yùn)行狀態(tài)為過載和欠載；

28、將所述運(yùn)行狀態(tài)為過載的物理機(jī)的云計(jì)算任務(wù)，遷移至所述運(yùn)行狀態(tài)為欠載且任務(wù)親和度的增益最大化的物理機(jī)進(jìn)行執(zhí)行。

29、第二方面，本發(fā)明提供了一種基于多維資源指紋的云計(jì)算資源調(diào)度系統(tǒng)，包括如下模塊：

30、云計(jì)算任務(wù)和資源采集模塊，用于采集運(yùn)行于云環(huán)境的各物理機(jī)的云計(jì)算任務(wù)，通過滑動(dòng)窗口采集各所述云計(jì)算任務(wù)的云計(jì)算資源使用數(shù)據(jù)；

31、高維資源指紋矩陣構(gòu)建模塊，用于從所述云計(jì)算資源使用數(shù)據(jù)中提取至少包括均值、標(biāo)準(zhǔn)差、最大值以及最小值的統(tǒng)計(jì)特征，基于各所述統(tǒng)計(jì)特征構(gòu)建各云計(jì)算任務(wù)的高維資源指紋矩陣；

32、壓縮資源指紋矩陣構(gòu)建模塊，用于通過主成分分析方法對(duì)所述高維資源指紋矩陣進(jìn)行降維操作，得到壓縮資源指紋矩陣；

33、任務(wù)親和度矩陣構(gòu)建模塊，用于基于所述壓縮資源指紋矩陣計(jì)算各云計(jì)算任務(wù)之間的任務(wù)親和度，基于各所述任務(wù)親和度構(gòu)建任務(wù)親和度矩陣；

34、系統(tǒng)親和度構(gòu)建模塊，用于基于所述任務(wù)親和度矩陣構(gòu)建系統(tǒng)親和度，設(shè)定一貪婪任務(wù)放置策略，基于所述貪婪任務(wù)放置策略設(shè)定一資源約束條件，通過所述資源約束條件對(duì)系統(tǒng)親和度進(jìn)行優(yōu)化；

35、云計(jì)算資源調(diào)度模塊，用于基于所述壓縮資源指紋矩陣以及系統(tǒng)親和度對(duì)各物理機(jī)的云計(jì)算資源進(jìn)行調(diào)度，調(diào)度過程中基于比例分配法確保各物理機(jī)分配的云計(jì)算資源不超過額定資源；

36、云計(jì)算任務(wù)遷移模塊，用于對(duì)各物理機(jī)的運(yùn)行狀態(tài)進(jìn)行監(jiān)測，基于所述運(yùn)行狀態(tài)以及任務(wù)親和度對(duì)云計(jì)算任務(wù)進(jìn)行遷移；

37、動(dòng)態(tài)更新模塊，用于云計(jì)算資源調(diào)度過程中，動(dòng)態(tài)更新所述壓縮資源指紋矩陣以及任務(wù)親和度。

38、進(jìn)一步的，所述云計(jì)算任務(wù)和資源采集模塊中，所述云計(jì)算資源使用數(shù)據(jù)至少包括cpu使用率、內(nèi)存使用量、磁盤i/o速度以及網(wǎng)絡(luò)帶寬使用量；

39、所述任務(wù)親和度矩陣構(gòu)建模塊中，所述任務(wù)親和度的計(jì)算公式為：

40、；

41、其中，表示第i個(gè)壓縮資源指紋矩陣；表示第j個(gè)壓縮資源指紋矩陣；表示對(duì)應(yīng)的云計(jì)算任務(wù)與對(duì)應(yīng)的云計(jì)算任務(wù)的任務(wù)親和度；α表示權(quán)衡因子；sim()表示相似性度量函數(shù)；comp()表示互補(bǔ)性度量函數(shù)。

42、進(jìn)一步的，所述系統(tǒng)親和度構(gòu)建模塊具體用于：

43、基于所述任務(wù)親和度矩陣，獲取各物理機(jī)中運(yùn)行的各云計(jì)算任務(wù)兩兩之間的任務(wù)親和度，分別對(duì)各物理機(jī)的各所述任務(wù)親和度進(jìn)行求和得到物理機(jī)親和度，對(duì)各所述物理機(jī)任務(wù)親和度進(jìn)行求和得到系統(tǒng)親和度；

44、設(shè)定一貪婪任務(wù)放置策略，具體為：

45、對(duì)各待調(diào)度的云計(jì)算任務(wù)tk，計(jì)算tk與已調(diào)度的云計(jì)算任務(wù)的累積親和度，選擇使所述累積親和度最大且滿足資源約束條件的物理機(jī)進(jìn)行分配；

46、基于所述貪婪任務(wù)放置策略設(shè)定一資源約束條件：

47、；

48、其中，tk表示第k個(gè)云計(jì)算任務(wù)；rk表示tk的資源需求向量；mi表示第i個(gè)物理機(jī)；表示分配到mi的云計(jì)算任務(wù)集合；ci表示mi的資源容量向量；m表示物理機(jī)總數(shù)；表示貪婪任務(wù)放置策略；表示系統(tǒng)親和度；

49、通過所述資源約束條件對(duì)系統(tǒng)親和度進(jìn)行優(yōu)化。

50、進(jìn)一步的，所述云計(jì)算資源調(diào)度模塊具體用于：

51、基于所述壓縮資源指紋矩陣獲取統(tǒng)計(jì)特征，基于所述統(tǒng)計(jì)特征對(duì)各物理機(jī)的云計(jì)算資源進(jìn)行調(diào)度，調(diào)度過程中通過所述系統(tǒng)親和度進(jìn)行約束，并基于比例分配法確保各物理機(jī)分配的云計(jì)算資源不超過額定資源；

52、所述比例分配法具體為：當(dāng)物理機(jī)運(yùn)行的所有云計(jì)算任務(wù)所需的云計(jì)算資源超過額定資源時(shí)，基于所需的云計(jì)算資源與額定資源的比例計(jì)算縮放因子，基于所述縮放因子對(duì)分配的云計(jì)算資源進(jìn)行調(diào)整，使物理機(jī)分配的云計(jì)算資源不超過額定資源。

53、進(jìn)一步的，所述云計(jì)算任務(wù)遷移模塊具體用于：

54、對(duì)各物理機(jī)的運(yùn)行狀態(tài)進(jìn)行監(jiān)測，所述運(yùn)行狀態(tài)為過載和欠載；

55、將所述運(yùn)行狀態(tài)為過載的物理機(jī)的云計(jì)算任務(wù)，遷移至所述運(yùn)行狀態(tài)為欠載且任務(wù)親和度的增益最大化的物理機(jī)進(jìn)行執(zhí)行。

56、本發(fā)明的優(yōu)點(diǎn)在于：

57、通過采集運(yùn)行于云環(huán)境的各物理機(jī)的云計(jì)算任務(wù)，通過滑動(dòng)窗口采集各云計(jì)算任務(wù)的云計(jì)算資源使用數(shù)據(jù)，并從云計(jì)算資源使用數(shù)據(jù)中提取至少包括均值、標(biāo)準(zhǔn)差、最大值以及最小值的統(tǒng)計(jì)特征，基于各統(tǒng)計(jì)特征構(gòu)建各云計(jì)算任務(wù)的高維資源指紋矩陣，接著通過主成分分析方法對(duì)高維資源指紋矩陣進(jìn)行降維操作得到壓縮資源指紋矩陣，基于壓縮資源指紋矩陣計(jì)算各云計(jì)算任務(wù)之間的任務(wù)親和度，基于各任務(wù)親和度構(gòu)建任務(wù)親和度矩陣；接著基于任務(wù)親和度矩陣構(gòu)建系統(tǒng)親和度，設(shè)定貪婪任務(wù)放置策略，基于貪婪任務(wù)放置策略設(shè)定資源約束條件，通過資源約束條件對(duì)系統(tǒng)親和度進(jìn)行優(yōu)化；接著基于壓縮資源指紋矩陣以及系統(tǒng)親和度對(duì)各物理機(jī)的云計(jì)算資源進(jìn)行調(diào)度，調(diào)度過程中基于比例分配法確保各物理機(jī)分配的云計(jì)算資源不超過額定資源；接著對(duì)各物理機(jī)的運(yùn)行狀態(tài)進(jìn)行監(jiān)測，基于運(yùn)行狀態(tài)以及任務(wù)親和度對(duì)云計(jì)算任務(wù)進(jìn)行遷移，并動(dòng)態(tài)更新所述壓縮資源指紋矩陣以及任務(wù)親和度；即基于統(tǒng)計(jì)特征構(gòu)建高維資源指紋矩陣，以捕捉云計(jì)算資源使用的細(xì)粒度特征，能精確刻畫云計(jì)算任務(wù)在不同執(zhí)行階段的資源使用模式；基于壓縮資源指紋矩陣計(jì)算各云計(jì)算任務(wù)之間的任務(wù)親和度，以評(píng)估各云計(jì)算任務(wù)之間的兼容性和互補(bǔ)性，用于指導(dǎo)云計(jì)算資源的配置優(yōu)化，便于后續(xù)的云計(jì)算任務(wù)遷移；基于壓縮資源指紋矩陣以及系統(tǒng)親和度對(duì)各物理機(jī)的云計(jì)算資源進(jìn)行調(diào)度，在保證云計(jì)算任務(wù)執(zhí)行質(zhì)量的同時(shí)提高云計(jì)算資源的利用效率；結(jié)合物理機(jī)的運(yùn)行狀態(tài)監(jiān)測、壓縮資源指紋矩陣以及任務(wù)親和度的動(dòng)態(tài)更新，使得各云計(jì)算任務(wù)能及時(shí)分配到最適合的物理機(jī)執(zhí)行，避免云計(jì)算資源沖突和性能干擾問題，能有效權(quán)衡云計(jì)算資源的利用效率與能源成本，最終極大的提升了云計(jì)算資源調(diào)度的資源利用率、及時(shí)性、穩(wěn)定性以及能效比。