本申請涉及yarn隊列管理領(lǐng)域，特別是涉及一種yarn隊列的作業(yè)執(zhí)行方法及其相關(guān)設(shè)備。

背景技術(shù)：

1、yarn是hadoop的一個重要組件，主要用于資源管理和作業(yè)調(diào)度。當(dāng)yarn獲取到用戶提交的作業(yè)，yarn將其分配至yarn隊列中，進而，yarn根據(jù)yarn隊列資源總量為作業(yè)分配相應(yīng)資源已完成作業(yè)的執(zhí)行。

2、當(dāng)前，yarn隊列存在作業(yè)堆積，導(dǎo)致yarn隊列中的作業(yè)無法正常執(zhí)行。

技術(shù)實現(xiàn)思路

1、本申請?zhí)峁┝艘环Nyarn隊列的作業(yè)執(zhí)行方法及其相關(guān)設(shè)備，用于調(diào)整yarn隊列中的作業(yè)執(zhí)行操作以降低yarn隊列的作業(yè)堆積的情形。

2、本申請第一方面提供一種yarn隊列的作業(yè)執(zhí)行方法，包括：根據(jù)預(yù)設(shè)周期獲取所述yarn隊列的堆積類型結(jié)果，其中，所述yarn隊列包括多個作業(yè)，所述堆積類型結(jié)果包括無法對所述yarn隊列的作業(yè)創(chuàng)建資源申請操作的第一堆積型結(jié)果，和/或，所述yarn隊列的作業(yè)在創(chuàng)建資源申請操作后而無法執(zhí)行作業(yè)執(zhí)行操作的第二堆積型結(jié)果；根據(jù)所述堆積類型結(jié)果相應(yīng)調(diào)整所述yarn隊列的執(zhí)行操作，所述執(zhí)行操作包括調(diào)整所述資源申請操作的數(shù)量，和/或，調(diào)整所述作業(yè)執(zhí)行操作的數(shù)量。

3、在一些實施方式中，當(dāng)所述堆積類型結(jié)果為所述第一堆積型結(jié)果，則獲取所述第一堆積型結(jié)果的成因，進而根據(jù)所述第一堆積型結(jié)果的成因調(diào)整所述yarn隊列的執(zhí)行操作。

4、在一些實施方式中，確定所述第一堆積型結(jié)果的成因為所述yarn隊列的隊列資源總量無空閑資源，則增加所述yarn隊列的隊列資源總量。

5、在一些實施方式中，確定所述第一堆積型結(jié)果的成因為所述yarn隊列的隊列資源總量存在空閑資源，則將所述隊列資源總量的至少部分的空閑資源用于執(zhí)行所述yarn隊列的資源申請操作，以增加所述yarn隊列的所述資源申請操作的數(shù)量。

6、在一些實施方式中，獲取所述隊列資源總量的空閑資源的空閑占比，并獲取所述隊列資源總量的對所述yarn隊列的作業(yè)創(chuàng)建資源申請操作的申請占比；根據(jù)第一預(yù)設(shè)步長降低至少部分的所述空閑占比并增加所述申請占比，以增加所述yarn隊列的所述資源申請操作的數(shù)量。

7、在一些實施方式中，當(dāng)所述堆積類型結(jié)果為第二堆積型結(jié)果，則減少所述yarn隊列的隊列資源總量中對所述yarn隊列的作業(yè)執(zhí)行創(chuàng)建資源申請操作的數(shù)量，以增加所述yarn隊列的作業(yè)在創(chuàng)建資源申請操作后的作業(yè)執(zhí)行操作的數(shù)量。

8、在一些實施方式中，根據(jù)所述yarn隊列的作業(yè)的處理優(yōu)先級釋放所述多個作業(yè)的至少部分作業(yè)相應(yīng)資源。

9、在一些實施方式中，獲取所述隊列資源總量的對所述yarn隊列的作業(yè)執(zhí)行創(chuàng)建資源申請操作的申請占比，并獲取所述隊列資源總量的在創(chuàng)建資源申請操作后而執(zhí)行作業(yè)執(zhí)行操作的執(zhí)行占比；根據(jù)第二預(yù)設(shè)步長降低至少部分的所述申請占比，以減少所述yarn隊列的隊列資源總量中對所述yarn隊列的作業(yè)執(zhí)行創(chuàng)建資源申請操作的數(shù)量，并且增加所述執(zhí)行占比，以增加所述yarn隊列的作業(yè)在創(chuàng)建資源申請操作后的作業(yè)執(zhí)行操作的數(shù)量。

10、本申請第二方面提供一種電子設(shè)備，所述電子設(shè)備包括：相互耦接的存儲器和處理器，所述處理器用于執(zhí)行所述存儲器中存儲的程序指令，以實現(xiàn)第一方面的yarn隊列的作業(yè)執(zhí)行方法。

11、本申請第三方面提供一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有程序數(shù)據(jù)，所述程序數(shù)據(jù)能夠被執(zhí)行以實現(xiàn)第一方面的yarn隊列的作業(yè)執(zhí)行方法。

12、相對于現(xiàn)有技術(shù)，本申請的技術(shù)方案根據(jù)預(yù)設(shè)周期獲取包括多個作業(yè)的yarn隊列的堆積類型結(jié)果，其中，堆積類型結(jié)果包括無法對yarn隊列的作業(yè)創(chuàng)建資源申請操作的第一堆積型結(jié)果，和/或，yarn隊列的作業(yè)在創(chuàng)建資源申請操作后而無法執(zhí)行作業(yè)執(zhí)行操作的第二堆積型結(jié)果，進而，根據(jù)堆積類型結(jié)果相應(yīng)調(diào)整yarn隊列的執(zhí)行操作，由于執(zhí)行操作包括調(diào)整資源申請操作的數(shù)量，和/或，調(diào)整所述作業(yè)執(zhí)行操作數(shù)量，實現(xiàn)了yarn隊列作業(yè)的精細化執(zhí)行調(diào)整，從而降低了yarn隊列的作業(yè)堆積的情形。

技術(shù)特征：

1.一種yarn隊列的作業(yè)執(zhí)行方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述yarn隊列的作業(yè)執(zhí)行方法，其特征在于，所述根據(jù)所述堆積類型結(jié)果相應(yīng)調(diào)整所述yarn隊列的執(zhí)行操作，包括：

3.根據(jù)權(quán)利要求2所述yarn隊列的作業(yè)執(zhí)行方法，其特征在于，所述執(zhí)行操作還包括增加所述yarn隊列的隊列資源總量，則所述獲取所述第一堆積型結(jié)果的成因，進而根據(jù)所述第一堆積型結(jié)果的成因調(diào)整所述yarn隊列的執(zhí)行操作，包括：

4.根據(jù)權(quán)利要求2所述yarn隊列的作業(yè)執(zhí)行方法，其特征在于，所述獲取所述第一堆積型結(jié)果的成因，進而根據(jù)所述第一堆積型結(jié)果的成因調(diào)整所述yarn隊列的執(zhí)行操作，包括：

5.根據(jù)權(quán)利要求4所述yarn隊列的作業(yè)執(zhí)行方法，其特征在于，所述將所述隊列資源總量的至少部分的空閑資源用于執(zhí)行所述yarn隊列的資源申請操作，以增加所述yarn隊列的所述資源申請操作的數(shù)量，包括：

6.根據(jù)權(quán)利要求1所述yarn隊列的作業(yè)執(zhí)行方法，其特征在于，所述根據(jù)所述堆積類型結(jié)果相應(yīng)調(diào)整所述yarn隊列的執(zhí)行操作，包括：

7.根據(jù)權(quán)利要求6所述yarn隊列的作業(yè)執(zhí)行方法，其特征在于，在所述當(dāng)所述堆積類型結(jié)果為第二堆積型結(jié)果之后，在所述減少所述yarn隊列的隊列資源總量中對所述yarn隊列的作業(yè)執(zhí)行創(chuàng)建資源申請操作，以增加所述yarn隊列的作業(yè)在創(chuàng)建資源申請操作后的作業(yè)執(zhí)行操作之前，還包括：

8.根據(jù)權(quán)利要求6所述yarn隊列的作業(yè)執(zhí)行方法，其特征在于，所述減少所述yarn隊列的隊列資源總量中對所述yarn隊列的作業(yè)執(zhí)行創(chuàng)建資源申請操作，以增加所述yarn隊列的作業(yè)在創(chuàng)建資源申請操作后的作業(yè)執(zhí)行操作，包括：

9.根據(jù)權(quán)利要求1、2、4至8任一項所述yarn隊列的作業(yè)執(zhí)行方法，其特征在于，所述執(zhí)行操作為在所述yarn隊列的隊列資源總量恒定情形下的執(zhí)行操作。

10.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：相互耦接的存儲器和處理器，所述處理器用于執(zhí)行所述存儲器中存儲的程序指令，以實現(xiàn)如權(quán)利要求1至9任一項所述yarn隊列的作業(yè)執(zhí)行方法。

11.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)存儲有程序數(shù)據(jù)，所述程序數(shù)據(jù)能夠被執(zhí)行以實現(xiàn)如權(quán)利要求1至9任一項所述yarn隊列的作業(yè)執(zhí)行方法。

技術(shù)總結(jié)
本申請?zhí)峁┝艘环NYARN隊列的作業(yè)執(zhí)行方法及其相關(guān)設(shè)備，包括：根據(jù)預(yù)設(shè)周期獲取所述YARN隊列的堆積類型結(jié)果，其中，所述YARN隊列包括多個作業(yè)，所述堆積類型結(jié)果包括無法對所述YARN隊列的作業(yè)創(chuàng)建資源申請操作的第一堆積型結(jié)果，和/或，所述YARN隊列的作業(yè)在創(chuàng)建資源申請操作后而無法執(zhí)行作業(yè)執(zhí)行操作的第二堆積型結(jié)果；根據(jù)所述堆積類型結(jié)果相應(yīng)調(diào)整所述YARN隊列的執(zhí)行操作，所述執(zhí)行操作包括調(diào)整所述資源申請操作的數(shù)量，和/或，調(diào)整所述作業(yè)執(zhí)行操作的數(shù)量。

技術(shù)研發(fā)人員：張東林,錢浩東,胡榮保
受保護的技術(shù)使用者：浙江大華技術(shù)股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2