本申請(qǐng)涉及人工智能，具體而言，涉及一種資源調(diào)度方法、裝置及計(jì)算機(jī)設(shè)備。

背景技術(shù)：

1、目前，數(shù)字化起到了越來越重要的作用。涉及到數(shù)據(jù)的集成，加工，提供服務(wù)的全鏈路數(shù)據(jù)加工。整個(gè)數(shù)據(jù)處理任務(wù)鏈路中的任務(wù)節(jié)點(diǎn)會(huì)比較長而且節(jié)點(diǎn)數(shù)也會(huì)比較龐大，有的鏈路甚至?xí)缴锨€(gè)節(jié)點(diǎn)。要保證鏈路上所有節(jié)點(diǎn)的高效穩(wěn)定的運(yùn)行，最重要是需要保證資源的有效調(diào)度。要做到資源的有效調(diào)度，目前面臨如下的一些問題：資源無法動(dòng)態(tài)調(diào)整：許多現(xiàn)有的調(diào)度系統(tǒng)在資源分配上缺乏彈性，難以根據(jù)實(shí)時(shí)的負(fù)載變化和任務(wù)需求進(jìn)行動(dòng)態(tài)調(diào)整。這導(dǎo)致資源利用率低，無法充分發(fā)揮系統(tǒng)的性能優(yōu)勢(shì)。任務(wù)依賴復(fù)雜：數(shù)據(jù)處理任務(wù)之間的依賴關(guān)系復(fù)雜，調(diào)度系統(tǒng)需要準(zhǔn)確地管理這些依賴關(guān)系，確保任務(wù)按正確順序執(zhí)行。如果資源調(diào)度不當(dāng)，可能會(huì)引發(fā)任務(wù)執(zhí)行延遲或失敗。資源競(jìng)爭(zhēng)：在資源有限的情況下，多個(gè)任務(wù)可能會(huì)競(jìng)爭(zhēng)相同的資源，導(dǎo)致資源爭(zhēng)奪和沖突。現(xiàn)有的調(diào)度系統(tǒng)往往缺乏有效的資源分配策略，難以平衡資源需求，導(dǎo)致部分任務(wù)得不到及時(shí)處理。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施例提供了一種資源調(diào)度方法、裝置及計(jì)算機(jī)設(shè)備，以至少解決相關(guān)技術(shù)中的資源調(diào)度靈活性較低的技術(shù)問題。

2、根據(jù)本申請(qǐng)實(shí)施例的一個(gè)方面，提供了一種資源調(diào)度方法，包括：獲取待調(diào)度的全鏈路任務(wù)的執(zhí)行信息，其中，所述執(zhí)行信息至少包括：所述全鏈路任務(wù)的上下游任務(wù)關(guān)系、所述全鏈路任務(wù)在執(zhí)行過程中消耗的資源信息和所述全鏈路任務(wù)的執(zhí)行時(shí)長；采用預(yù)設(shè)模型對(duì)所述全鏈路任務(wù)的執(zhí)行信息進(jìn)行分析，得到執(zhí)行所述全鏈路任務(wù)的資源調(diào)度策略，其中，所述預(yù)設(shè)模型至少包括：用于預(yù)測(cè)所述全鏈路任務(wù)執(zhí)行過程中所需消耗的資源的第一子模型、用于確定任務(wù)執(zhí)行過程中報(bào)警機(jī)制的第二子模型、用于確定資源調(diào)度策略的第三子模型；按照所述全鏈路任務(wù)的資源調(diào)度策略對(duì)所述全鏈路任務(wù)執(zhí)行過程中所需的資源進(jìn)行調(diào)度。

3、可選地，采用預(yù)設(shè)模型對(duì)所述全鏈路任務(wù)的執(zhí)行信息進(jìn)行分析，包括：獲取訓(xùn)練數(shù)據(jù)集，其中，所述訓(xùn)練數(shù)據(jù)集中包括：靜態(tài)信息和動(dòng)態(tài)信息，所述靜態(tài)信息至少包括：歷史任務(wù)的上下游任務(wù)關(guān)系，所述動(dòng)態(tài)信息至少包括：歷史任務(wù)執(zhí)行過程中消耗的資源信息和任務(wù)執(zhí)行時(shí)長；采用所述訓(xùn)練數(shù)據(jù)集對(duì)預(yù)設(shè)初始模型進(jìn)行訓(xùn)練，得到所述預(yù)設(shè)模型；采用所述預(yù)設(shè)模型中的多個(gè)子模型對(duì)所述全鏈路任務(wù)的執(zhí)行信息進(jìn)行分析。

4、可選地，采用所述預(yù)設(shè)模型中的多個(gè)子模型對(duì)所述全鏈路任務(wù)的執(zhí)行信息進(jìn)行分析，得到執(zhí)行所述全鏈路任務(wù)的資源調(diào)度策略包括：采用所述第一子模型對(duì)所述待調(diào)度的全鏈路任務(wù)的執(zhí)行信息進(jìn)行分析，得到所述全鏈路任務(wù)在執(zhí)行過程中每個(gè)時(shí)段內(nèi)所需消耗的資源量；采用所述第二子模型對(duì)全鏈路任務(wù)的上下游任務(wù)關(guān)系和所述全鏈路任務(wù)在執(zhí)行過程中消耗的資源信息，確定所述全鏈路任務(wù)中會(huì)產(chǎn)生資源競(jìng)爭(zhēng)情況的目標(biāo)子任務(wù)，并生成報(bào)警信息，所述資源競(jìng)爭(zhēng)情況包括：多個(gè)子任務(wù)在同一時(shí)段內(nèi)消耗同一類型的資源，所述報(bào)警信息用于指示所述目標(biāo)子任務(wù)和所述目標(biāo)子任務(wù)的執(zhí)行時(shí)段；采用所述第三子模型對(duì)所述全鏈路任務(wù)在執(zhí)行過程中每個(gè)時(shí)段內(nèi)所需消耗的資源量和所述報(bào)警信息，確定所述全鏈路任務(wù)的資源調(diào)度策略。

5、可選地，在確定所述全鏈路任務(wù)的資源調(diào)度策略之后，所述方法還包括：采用所述預(yù)設(shè)模型中的第四子模型對(duì)所述全鏈路任務(wù)的上下游任務(wù)關(guān)系、所述報(bào)警信息和所述全鏈路任務(wù)的資源調(diào)度策略進(jìn)行分析，得到所述全鏈路任務(wù)中每個(gè)子任務(wù)的執(zhí)行順序。

6、可選地，所述第四子模型通過以下方式確定，包括：根據(jù)訓(xùn)練數(shù)據(jù)集構(gòu)建有向圖，在所述有向圖中，節(jié)點(diǎn)表示任務(wù)，邊代表任務(wù)之間的依賴關(guān)系；對(duì)所述有向圖中的每個(gè)節(jié)點(diǎn)進(jìn)行特征提取，得到每個(gè)節(jié)點(diǎn)的特征向量，每個(gè)節(jié)點(diǎn)的特征向量至少用于表征任務(wù)的持續(xù)時(shí)長、資源需求量和執(zhí)行優(yōu)先級(jí)；基于所述每個(gè)節(jié)點(diǎn)的特征向量，以任務(wù)執(zhí)行的每個(gè)時(shí)段內(nèi)的資源消耗量最低為目標(biāo)對(duì)所述有向圖進(jìn)行調(diào)整，直到所述第四子模型收斂。

7、可選地，所述方法還包括：采用預(yù)先訓(xùn)練的第五子模型對(duì)全鏈路任務(wù)在執(zhí)行過程中每個(gè)時(shí)段內(nèi)所需消耗的資源量進(jìn)行分析，從多個(gè)計(jì)算節(jié)點(diǎn)中選擇資源利用率最低的計(jì)算節(jié)點(diǎn)確定為目標(biāo)計(jì)算節(jié)點(diǎn)，并將所述全鏈路任務(wù)鏈部署到所述目標(biāo)計(jì)算節(jié)點(diǎn)上執(zhí)行。

8、可選地，所述方法還包括：獲取所述全鏈路任務(wù)在執(zhí)行過程中所述多個(gè)計(jì)算節(jié)點(diǎn)的資源利用率；在所述多個(gè)計(jì)算節(jié)點(diǎn)的資源利用率高于預(yù)設(shè)閾值的情況下，對(duì)所述多個(gè)計(jì)算節(jié)點(diǎn)進(jìn)行擴(kuò)容。

9、根據(jù)本申請(qǐng)實(shí)施例的另一方面，還提供了一種資源調(diào)度裝置，包括：獲取模塊，用于獲取待調(diào)度的全鏈路任務(wù)的執(zhí)行信息，其中，所述執(zhí)行信息至少包括：所述全鏈路任務(wù)的上下游任務(wù)關(guān)系、所述全鏈路任務(wù)在執(zhí)行過程中消耗的資源信息和所述全鏈路任務(wù)的執(zhí)行時(shí)長；分析模塊，用于采用預(yù)設(shè)模型對(duì)所述全鏈路任務(wù)的執(zhí)行信息進(jìn)行分析，得到執(zhí)行所述全鏈路任務(wù)的資源調(diào)度策略，其中，所述預(yù)設(shè)模型至少包括：用于預(yù)測(cè)所述全鏈路任務(wù)執(zhí)行過程中所需消耗的資源的第一子模型、用于確定任務(wù)執(zhí)行過程中報(bào)警機(jī)制的第二子模型、用于確定資源調(diào)度策略的第三子模型；調(diào)度模塊，用于按照所述全鏈路任務(wù)的資源調(diào)度策略對(duì)所述全鏈路任務(wù)執(zhí)行過程中所需的資源進(jìn)行調(diào)度。

10、根據(jù)本申請(qǐng)實(shí)施例的又一方面，還提供了一種計(jì)算機(jī)設(shè)備，包括：存儲(chǔ)器和處理器，其中，存儲(chǔ)器用于存儲(chǔ)程序指令；處理器，與存儲(chǔ)器連接，用于執(zhí)行上述資源調(diào)度方法。

11、根據(jù)本申請(qǐng)實(shí)施例的再一方面，還提供了一種非易失性存儲(chǔ)介質(zhì)，該非易失性存儲(chǔ)介質(zhì)包括存儲(chǔ)的計(jì)算機(jī)程序，其中，該非易失性存儲(chǔ)介質(zhì)所在設(shè)備通過運(yùn)行計(jì)算機(jī)程序執(zhí)行上述資源調(diào)度方法。

12、根據(jù)本申請(qǐng)實(shí)施例的再一方面，還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)指令，該計(jì)算機(jī)指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述資源調(diào)度方法。

13、在本申請(qǐng)實(shí)施例中，通過獲取待調(diào)度的全鏈路任務(wù)的執(zhí)行信息，其中，所述執(zhí)行信息至少包括：所述全鏈路任務(wù)的上下游任務(wù)關(guān)系、所述全鏈路任務(wù)在執(zhí)行過程中消耗的資源信息和所述全鏈路任務(wù)的執(zhí)行時(shí)長；采用預(yù)設(shè)模型對(duì)所述全鏈路任務(wù)的執(zhí)行信息進(jìn)行分析，得到執(zhí)行所述全鏈路任務(wù)的資源調(diào)度策略，其中，所述預(yù)設(shè)模型至少包括：用于預(yù)測(cè)所述全鏈路任務(wù)執(zhí)行過程中所需消耗的資源的第一子模型、用于確定任務(wù)執(zhí)行過程中報(bào)警機(jī)制的第二子模型、用于確定資源調(diào)度策略的第三子模型；按照所述全鏈路任務(wù)的資源調(diào)度策略對(duì)所述全鏈路任務(wù)執(zhí)行過程中所需的資源進(jìn)行調(diào)度，達(dá)到了采用含有多個(gè)子模型的預(yù)設(shè)模型根據(jù)全鏈路任務(wù)的執(zhí)行信息動(dòng)態(tài)調(diào)整資源調(diào)度策略的目的，從而實(shí)現(xiàn)了提升資源調(diào)度靈活性的技術(shù)效果，進(jìn)而解決了相關(guān)技術(shù)中的資源調(diào)度靈活性較低的技術(shù)問題。

技術(shù)特征：

1.一種資源調(diào)度方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，采用預(yù)設(shè)模型對(duì)所述全鏈路任務(wù)的執(zhí)行信息進(jìn)行分析，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，采用所述預(yù)設(shè)模型中的多個(gè)子模型對(duì)所述全鏈路任務(wù)的執(zhí)行信息進(jìn)行分析，得到執(zhí)行所述全鏈路任務(wù)的資源調(diào)度策略包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，在確定所述全鏈路任務(wù)的資源調(diào)度策略之后，所述方法還包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述第四子模型通過以下方式確定，包括：

6.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括：

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述方法還包括：

8.一種資源調(diào)度裝置，其特征在于，包括：

9.一種計(jì)算機(jī)設(shè)備，其特征在于，包括：存儲(chǔ)器和處理器，其中，所述存儲(chǔ)器用于存儲(chǔ)程序指令；所述處理器，與所述存儲(chǔ)器連接，用于執(zhí)行權(quán)利要求1至7中任意一項(xiàng)所述的資源調(diào)度方法。

10.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)指令，其特征在于，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任意一項(xiàng)所述的資源調(diào)度方法。

技術(shù)總結(jié)
本申請(qǐng)公開了一種資源調(diào)度方法、裝置及計(jì)算機(jī)設(shè)備。其中，該方法包括：獲取待調(diào)度的全鏈路任務(wù)的執(zhí)行信息，其中，執(zhí)行信息至少包括：全鏈路任務(wù)的上下游任務(wù)關(guān)系、全鏈路任務(wù)在執(zhí)行過程中消耗的資源信息和全鏈路任務(wù)的執(zhí)行時(shí)長；采用預(yù)設(shè)模型對(duì)全鏈路任務(wù)的執(zhí)行信息進(jìn)行分析，得到執(zhí)行全鏈路任務(wù)的資源調(diào)度策略，其中，預(yù)設(shè)模型至少包括：用于預(yù)測(cè)全鏈路任務(wù)執(zhí)行過程中所需消耗的資源的第一子模型、用于確定任務(wù)執(zhí)行過程中報(bào)警機(jī)制的第二子模型、用于確定資源調(diào)度策略的第三子模型；按照全鏈路任務(wù)的資源調(diào)度策略對(duì)全鏈路任務(wù)執(zhí)行過程中所需的資源進(jìn)行調(diào)度。本申請(qǐng)解決了相關(guān)技術(shù)中的資源調(diào)度靈活性較低的技術(shù)問題。

技術(shù)研發(fā)人員：張?jiān)讫?劉濤
受保護(hù)的技術(shù)使用者：中電信人工智能科技（北京）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26