本發(fā)明涉及任務(wù)調(diào)度優(yōu)化，尤其涉及一種基于數(shù)據(jù)枚舉結(jié)構(gòu)優(yōu)化的高效任務(wù)調(diào)度方法及系統(tǒng)。

背景技術(shù)：

1、隨著現(xiàn)代計(jì)算系統(tǒng)的規(guī)模不斷擴(kuò)大，任務(wù)調(diào)度在各種計(jì)算環(huán)境中的重要性愈發(fā)凸顯，尤其是在云計(jì)算、分布式計(jì)算和高性能計(jì)算系統(tǒng)中，任務(wù)調(diào)度的效率直接影響系統(tǒng)的性能表現(xiàn)。傳統(tǒng)任務(wù)調(diào)度方法大多依賴于簡單的優(yōu)先級(jí)算法或靜態(tài)調(diào)度策略，這些方法在任務(wù)數(shù)較少或任務(wù)屬性較為簡單的情況下可以提供一定的調(diào)度效率。然而，隨著任務(wù)復(fù)雜度的提升以及系統(tǒng)資源的多維性，傳統(tǒng)調(diào)度方法逐漸暴露出局限性。

2、在當(dāng)前發(fā)展中，任務(wù)調(diào)度的核心問題之一在于如何在高維任務(wù)屬性下實(shí)現(xiàn)高效任務(wù)排序和資源分配。傳統(tǒng)的調(diào)度方法大多只關(guān)注單一屬性，未能充分考慮任務(wù)在多個(gè)屬性上的平衡。這種單一的調(diào)度策略往往導(dǎo)致系統(tǒng)資源分配不均衡，部分資源被過度占用，而其他資源則被閑置，造成系統(tǒng)整體效率的下降。同時(shí)，在任務(wù)屬性分布差異較大的場(chǎng)景下，現(xiàn)有調(diào)度方法未能引入有效的屬性標(biāo)準(zhǔn)化處理，這使得系統(tǒng)難以公平地比較不同任務(wù)的資源需求和優(yōu)先級(jí)，進(jìn)一步影響了調(diào)度的準(zhǔn)確性和效率。此外，現(xiàn)有技術(shù)在處理任務(wù)依賴關(guān)系時(shí)，也存在一定的局限性。許多調(diào)度算法在處理任務(wù)依賴時(shí)，通常僅通過任務(wù)的靜態(tài)依賴鏈進(jìn)行簡單排序，而忽視了任務(wù)執(zhí)行過程中可能出現(xiàn)的動(dòng)態(tài)變化。隨著系統(tǒng)規(guī)模擴(kuò)大和任務(wù)復(fù)雜度提高，任務(wù)依賴關(guān)系變得更加復(fù)雜，簡單的依賴鏈排序機(jī)制難以靈活應(yīng)對(duì)復(fù)雜場(chǎng)景下的任務(wù)動(dòng)態(tài)變化，進(jìn)而影響任務(wù)調(diào)度的整體效率和系統(tǒng)響應(yīng)時(shí)間。同時(shí)，在資源有限的情況下，現(xiàn)有技術(shù)缺乏靈活的資源調(diào)度策略，無法充分滿足任務(wù)對(duì)多維資源的動(dòng)態(tài)需求。

3、因此，如何在復(fù)雜的多維任務(wù)屬性環(huán)境中，通過更智能的方式有效平衡任務(wù)的多屬性需求以及提升調(diào)度的整體效率，成為了一個(gè)亟待解決的難題。

技術(shù)實(shí)現(xiàn)思路

1、本部分的目的在于概述本發(fā)明的實(shí)施例的一些方面以及簡要介紹一些較佳實(shí)施例。在本部分以及本技術(shù)的說明書摘要和發(fā)明名稱中可能會(huì)做些簡化或省略以避免使本部分、說明書摘要和發(fā)明名稱的目的模糊，而這種簡化或省略不能用于限制本發(fā)明的范圍。

2、鑒于上述現(xiàn)有存在的問題，提出了本發(fā)明。因此，本發(fā)明提供了一種基于數(shù)據(jù)枚舉結(jié)構(gòu)優(yōu)化的高效任務(wù)調(diào)度方法，用來解決背景技術(shù)中提到的問題。

3、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：

4、第一方面，本發(fā)明提供了一種基于數(shù)據(jù)枚舉結(jié)構(gòu)優(yōu)化的高效任務(wù)調(diào)度方法，包括：

5、收集任務(wù)信息，計(jì)算所述任務(wù)信息中的分布特征，將所述分布特征進(jìn)行分類，針對(duì)分類后的分布特征分別采用不同的標(biāo)準(zhǔn)化方法，得到標(biāo)準(zhǔn)化后的任務(wù)信息；

6、根據(jù)所述標(biāo)準(zhǔn)化后的任務(wù)信息，得到任務(wù)特征向量，創(chuàng)建多層次索引結(jié)構(gòu)，對(duì)所述任務(wù)特征向量進(jìn)行劃分，通過劃分后的任務(wù)特征向量計(jì)算其對(duì)應(yīng)的綜合評(píng)價(jià)函數(shù)；

7、通過所述綜合評(píng)價(jià)函數(shù)設(shè)置剪枝條件，對(duì)所述多層次索引結(jié)構(gòu)進(jìn)行剪枝，按照剪枝后的多層次索引結(jié)構(gòu)生成任務(wù)調(diào)度方案并執(zhí)行，得到高效任務(wù)調(diào)度方法。

8、作為本發(fā)明所述的基于數(shù)據(jù)枚舉結(jié)構(gòu)優(yōu)化的高效任務(wù)調(diào)度方法的一種優(yōu)選方案，其中：所述收集任務(wù)信息，包括：

9、收集的任務(wù)信息中包含待調(diào)度的任務(wù)集合t，所述任務(wù)集合t中包含多個(gè)任務(wù)，每個(gè)任務(wù)taskn包含四個(gè)任務(wù)屬性，n表示為任務(wù)總數(shù)；

10、所述四個(gè)任務(wù)屬性分別為，執(zhí)行時(shí)間預(yù)估ei、優(yōu)先級(jí)pi、資源需求向量ri以及任務(wù)依賴關(guān)系di。

11、作為本發(fā)明所述的基于數(shù)據(jù)枚舉結(jié)構(gòu)優(yōu)化的高效任務(wù)調(diào)度方法的一種優(yōu)選方案，其中：計(jì)算所述任務(wù)信息中的分布特征，將所述分布特征進(jìn)行分類，針對(duì)分類后的分布特征分別采用不同的標(biāo)準(zhǔn)化方法，得到標(biāo)準(zhǔn)化后的任務(wù)信息，包括：

12、計(jì)算每個(gè)任務(wù)中任務(wù)屬性的均值，由所述任務(wù)屬性的均值得到每個(gè)任務(wù)的標(biāo)準(zhǔn)差，將所述標(biāo)準(zhǔn)差作為對(duì)應(yīng)每個(gè)任務(wù)的分布特征；

13、設(shè)置分布特征在每個(gè)任務(wù)之間的范圍值，并根據(jù)所述范圍值劃分為多個(gè)區(qū)間，每個(gè)區(qū)間采用不同的標(biāo)準(zhǔn)化規(guī)則。

14、作為本發(fā)明所述的基于數(shù)據(jù)枚舉結(jié)構(gòu)優(yōu)化的高效任務(wù)調(diào)度方法的一種優(yōu)選方案，其中：所述每個(gè)區(qū)間采用不同的標(biāo)準(zhǔn)化規(guī)則，包括：

15、若當(dāng)前區(qū)間范圍值中不存在異常值，且當(dāng)前區(qū)間范圍值屬于均勻分布，則使用線性標(biāo)準(zhǔn)化；

16、若當(dāng)前區(qū)間范圍值中不存在異常值，且當(dāng)前區(qū)間范圍值屬于正偏態(tài)分布，則使用對(duì)數(shù)標(biāo)準(zhǔn)化；

17、若當(dāng)前區(qū)間范圍值中不存在異常值，且當(dāng)前區(qū)間范圍值屬于負(fù)偏態(tài)分布，則使用指數(shù)標(biāo)準(zhǔn)化；

18、若當(dāng)前區(qū)間范圍值中存在異常值，且都不滿足以上區(qū)間范圍值，則使用分位數(shù)標(biāo)準(zhǔn)化；

19、若當(dāng)前區(qū)間范圍值中存在異常值，則重新設(shè)置分布特征在每個(gè)任務(wù)之間的范圍值。

20、作為本發(fā)明所述的基于數(shù)據(jù)枚舉結(jié)構(gòu)優(yōu)化的高效任務(wù)調(diào)度方法的一種優(yōu)選方案，其中：根據(jù)所述標(biāo)準(zhǔn)化后的任務(wù)信息，得到任務(wù)特征向量，創(chuàng)建多層次索引結(jié)構(gòu)，對(duì)所述任務(wù)特征向量進(jìn)行劃分，包括：

21、從標(biāo)準(zhǔn)化后的任務(wù)信息中提取每個(gè)任務(wù)屬性組合成一個(gè)任務(wù)特征向量vi，由所述任務(wù)特征向量vi表示為多層次索引結(jié)構(gòu)的根節(jié)點(diǎn)；

22、將任務(wù)特征向量vi中的資源需求向量ri作為多層次索引結(jié)構(gòu)的節(jié)點(diǎn)，其中每個(gè)節(jié)點(diǎn)包含至少一個(gè)子節(jié)點(diǎn)，所述子節(jié)點(diǎn)表示一個(gè)資源需求向量ri中的資源類型，對(duì)每個(gè)節(jié)點(diǎn)選擇唯一的一個(gè)維度進(jìn)行劃分；

23、在選擇維度上，以當(dāng)前節(jié)點(diǎn)的資源類型在資源需求向量ri上的數(shù)據(jù)方差的最大的維度進(jìn)行劃分；

24、在劃分上，選擇節(jié)點(diǎn)的中位數(shù)作為劃分點(diǎn)，將節(jié)點(diǎn)中的任務(wù)分為左右子節(jié)點(diǎn)。

25、作為本發(fā)明所述的基于數(shù)據(jù)枚舉結(jié)構(gòu)優(yōu)化的高效任務(wù)調(diào)度方法的一種優(yōu)選方案，其中：通過劃分后的任務(wù)特征向量計(jì)算其對(duì)應(yīng)的綜合評(píng)價(jià)函數(shù)，通過所述綜合評(píng)價(jià)函數(shù)設(shè)置剪枝條件，對(duì)所述多層次索引結(jié)構(gòu)進(jìn)行剪枝，包括：

26、定義綜合評(píng)價(jià)函數(shù)，對(duì)劃分后的任務(wù)特征向量計(jì)算其綜合評(píng)分s；

27、設(shè)置剪枝閾值θ，當(dāng)所述綜合評(píng)分s小于θ時(shí)，則認(rèn)為劃分后的任務(wù)特征向量對(duì)應(yīng)的任務(wù)taskn在當(dāng)前條件下優(yōu)先級(jí)pi過低，對(duì)原任務(wù)特征向量中資源需求向量ri表示的節(jié)點(diǎn)進(jìn)行剪除，直到子節(jié)點(diǎn)變?yōu)槿~子節(jié)點(diǎn)。

28、作為本發(fā)明所述的基于數(shù)據(jù)枚舉結(jié)構(gòu)優(yōu)化的高效任務(wù)調(diào)度方法的一種優(yōu)選方案，其中：按照剪枝后的多層次索引結(jié)構(gòu)生成任務(wù)調(diào)度方案并執(zhí)行，包括：

29、通過剪枝后的多層次索引結(jié)構(gòu)重新對(duì)任務(wù)taskn進(jìn)行排序，按照從高到低的順序依次對(duì)任務(wù)taskn進(jìn)行調(diào)度，調(diào)度過程中，檢查任務(wù)依賴關(guān)系di，若所述任務(wù)依賴關(guān)系di存在未完成調(diào)度的任務(wù)，則跳過該任務(wù)以及未完成調(diào)度的任務(wù)，對(duì)下一個(gè)任務(wù)進(jìn)行調(diào)度，并記錄當(dāng)前過程下調(diào)度任務(wù)的實(shí)際時(shí)間與執(zhí)行時(shí)間預(yù)估ei進(jìn)行對(duì)比，若相同則不更新所述執(zhí)行時(shí)間預(yù)估ei，若不相同，則使用當(dāng)前過程下調(diào)度任務(wù)的實(shí)際時(shí)間替換所述執(zhí)行時(shí)間預(yù)估ei。

30、第二方面，本發(fā)明提供了基于數(shù)據(jù)枚舉結(jié)構(gòu)優(yōu)化的高效任務(wù)調(diào)度系統(tǒng)，其包括：

31、任務(wù)信息采集與預(yù)處理模塊，被配置為收集任務(wù)信息，計(jì)算所述任務(wù)信息中的分布特征，將所述分布特征進(jìn)行分類，針對(duì)分類后的分布特征分別采用不同的標(biāo)準(zhǔn)化方法，得到標(biāo)準(zhǔn)化后的任務(wù)信息；

32、任務(wù)信息特征提取與索引結(jié)構(gòu)構(gòu)建模塊，被配置為根據(jù)所述標(biāo)準(zhǔn)化后的任務(wù)信息，得到任務(wù)特征向量，創(chuàng)建多層次索引結(jié)構(gòu)，對(duì)所述任務(wù)特征向量進(jìn)行劃分，通過劃分后的任務(wù)特征向量計(jì)算其對(duì)應(yīng)的綜合評(píng)價(jià)函數(shù)；

33、任務(wù)調(diào)度與方案生成模塊，被配置為通過所述綜合評(píng)價(jià)函數(shù)設(shè)置剪枝條件，對(duì)所述多層次索引結(jié)構(gòu)進(jìn)行剪枝，按照剪枝后的多層次索引結(jié)構(gòu)生成任務(wù)調(diào)度方案并執(zhí)行，得到高效任務(wù)調(diào)度方法。

34、第三方面，本發(fā)明提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，其中：所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述方法的任一步驟。

35、第四方面，本發(fā)明提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其中：所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述方法的任一步驟。

36、與現(xiàn)有技術(shù)相比，發(fā)明有益效果為：

37、1、針對(duì)現(xiàn)有技術(shù)中未能有效處理任務(wù)屬性分布特征的問題，本發(fā)明通過對(duì)任務(wù)信息中的屬性分布進(jìn)行分類，并根據(jù)不同的分布類型采用不同的標(biāo)準(zhǔn)化方法；通過動(dòng)態(tài)標(biāo)準(zhǔn)化處理機(jī)制能夠確保任務(wù)在多個(gè)維度上的屬性均能得到合理比較，避免因任務(wù)屬性分布差異過大導(dǎo)致的調(diào)度不公平問題，從而提高了調(diào)度的準(zhǔn)確性和任務(wù)間的公平性；

38、2、針對(duì)現(xiàn)有技術(shù)在處理高維任務(wù)屬性時(shí)索引結(jié)構(gòu)效率低下的問題，本發(fā)明通過創(chuàng)建基于任務(wù)特征向量的多層次索引結(jié)構(gòu)，在每個(gè)節(jié)點(diǎn)通過任務(wù)的資源需求向量進(jìn)行細(xì)化劃分，且選擇數(shù)據(jù)方差最大的維度作為劃分依據(jù)，并在劃分時(shí)采用中位數(shù)作為劃分點(diǎn)；這種優(yōu)化后的索引結(jié)構(gòu)大幅提高了任務(wù)檢索的效率，減少了調(diào)度過程中的計(jì)算開銷，特別是在處理大規(guī)模任務(wù)集合時(shí)，能夠顯著提高任務(wù)分配的速度和準(zhǔn)確性；

39、3、通過引入綜合評(píng)價(jià)函數(shù)，考慮了任務(wù)的執(zhí)行時(shí)間、優(yōu)先級(jí)和資源需求等多維屬性，解決了現(xiàn)有調(diào)度算法只關(guān)注單一任務(wù)屬性的局限性；通過綜合評(píng)分，系統(tǒng)能夠更加全面地評(píng)估任務(wù)的調(diào)度優(yōu)先級(jí)；同時(shí)，結(jié)合剪枝機(jī)制，在多層次索引結(jié)構(gòu)中動(dòng)態(tài)剪除低優(yōu)先級(jí)的任務(wù)，減少不必要的任務(wù)調(diào)度計(jì)算，進(jìn)一步提高了系統(tǒng)整體的調(diào)度效率；相比于傳統(tǒng)的簡單排序機(jī)制，本發(fā)明的綜合評(píng)分和剪枝策略顯著增強(qiáng)了任務(wù)調(diào)度的靈活性和高效性；

40、4、針對(duì)現(xiàn)有技術(shù)在處理任務(wù)依賴關(guān)系時(shí)常常依賴靜態(tài)的依賴鏈排序，未能動(dòng)態(tài)適應(yīng)任務(wù)依賴關(guān)系的變化；本發(fā)明在任務(wù)調(diào)度過程中對(duì)任務(wù)依賴關(guān)系進(jìn)行實(shí)時(shí)檢查，確保在依賴任務(wù)未完成時(shí)不會(huì)提前調(diào)度后續(xù)任務(wù)；同時(shí)，通過記錄任務(wù)的實(shí)際執(zhí)行時(shí)間與預(yù)估執(zhí)行時(shí)間的差異，并根據(jù)實(shí)際情況對(duì)任務(wù)的執(zhí)行時(shí)間進(jìn)行更新，從而實(shí)現(xiàn)了調(diào)度計(jì)劃的動(dòng)態(tài)優(yōu)化和自我調(diào)整；確保了任務(wù)依賴關(guān)系能夠更加靈活地適應(yīng)系統(tǒng)的變化，進(jìn)一步提高了系統(tǒng)的響應(yīng)能力和任務(wù)執(zhí)行的穩(wěn)定性。