本發(fā)明涉及計算機領(lǐng)域，尤其涉及一種基于gpu負荷信息的gpu分配方法及裝置。

背景技術(shù)：

1、ai計算算法服務(wù)選擇gpu隨機選擇，可能沒有選擇負荷較少的gpu，或是靜態(tài)指定，不能根據(jù)gpu使用情況自動選擇，ai計算算法服務(wù)需要根據(jù)gpu使用情況選擇gpu，動態(tài)自動選擇負荷較少的gpu。

2、ai計算算法服務(wù)選擇gpu隨機選擇或是靜態(tài)指定，隨機選擇不考慮gpu使用情況，可能導(dǎo)致負荷較多的gpu再被選擇，負荷較少的gpu沒有被選擇，靜態(tài)指定算法服務(wù)啟動指定gpu，算法服務(wù)不獲取gpu使用情況，根據(jù)使用情況選擇gpu。

技術(shù)實現(xiàn)思路

1、針對上述技術(shù)問題，本發(fā)明提供了一種基于gpu負荷信息的gpu分配方法及裝置，可提高gpu的利用率。

2、本發(fā)明的第一方面，提供一種基于gpu負荷信息的gpu分配方法，包括：接收gpu分配請求，所述gpu分配請求來自于ai計算算法服務(wù)；收集gpu信息，在收集gpu信息成功后解析所述gpu信息獲得多個gpu的信息值及gpu?index標(biāo)識；根據(jù)所述多個gpu的信息值計算最小負荷的gpu，選擇所述最小負荷的gpu的gpu?index標(biāo)識返回所述ai計算算法服務(wù)。

3、在一可選實施例中，在收集gpu信息成功后解析所述gpu信息獲得多個gpu的信息值及gpu?index標(biāo)識，包括：

4、獲得多個gpu的信息值的總量內(nèi)存值、使用內(nèi)存值、可用內(nèi)存值、gpu?index標(biāo)識。

5、在一可選實施例中，所述收集gpu信息，在收集gpu信息成功后解析所述gpu信息獲得多個gpu的信息值及gpu?index標(biāo)識，包括：

6、向安裝有g(shù)pu、gpu?exporter的服務(wù)器發(fā)起http請求獲取gpu信息，http響應(yīng)返回消息體，解析消息體獲得總量內(nèi)存值、使用內(nèi)存值、可用內(nèi)存值、gpu?index標(biāo)識。

7、在一可選實施例中，所述根據(jù)所述多個gpu的信息值計算最小負荷的gpu，包括：

8、分別根據(jù)多個gpu的信息值的使用內(nèi)存值與總量內(nèi)存值的比值計算多個gpu的負荷；

9、將多個gpu的負荷相比較，確定最小負荷的gpu。

10、在一可選實施例中，所述根據(jù)所述多個gpu的信息值計算最小負荷的gpu，包括：

11、分別根據(jù)多個gpu的信息值的可用內(nèi)存值與總量內(nèi)存值的比值計算多個gpu的空閑率；

12、將多個gpu的空閑率相比較，確定最大空閑率的gpu為最小負荷的gpu。

13、本發(fā)明的第二方面，提供一種基于gpu負荷信息的gpu分配方法裝置，包括：

14、接收模塊，用于接收gpu分配請求，所述gpu分配請求來自于ai計算算法服務(wù)；

15、收集解析模塊，用于收集gpu信息，在收集gpu信息成功后解析所述gpu信息獲得多個gpu的信息值及gpu?index標(biāo)識；

16、分配模塊，用于根據(jù)所述多個gpu的信息值計算最小負荷的gpu，選擇所述最小負荷的gpu的gpu?index標(biāo)識返回所述ai計算算法服務(wù)。

17、在一可選實施例中，所述分配模塊還包括第一子模塊，所述第一子模塊用于分別根據(jù)多個gpu的信息值的使用內(nèi)存值與總量內(nèi)存值的比值計算多個gpu的負荷；將多個gpu的負荷相比較，確定最小負荷的gpu。

18、在一可選實施例中，所述分配模塊還包括第二子模塊，所述第二子模塊用于分別根據(jù)多個gpu的信息值的可用內(nèi)存值與總量內(nèi)存值的比值計算多個gpu的空閑率；將多個gpu的空閑率相比較，確定最大空閑率的gpu為最小負荷的gpu。

19、本發(fā)明的第三方面，提供一種電子設(shè)備，包括：

20、至少一個處理器；以及與所述處理器通信連接的至少一個存儲器，其中：所述存儲器存儲有可被所述處理器執(zhí)行的程序指令，所述處理器調(diào)用所述程序指令能夠執(zhí)行如本發(fā)明實施例的第一方面所述的方法。

21、本發(fā)明的第四方面，提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被計算機運行時，執(zhí)行如本發(fā)明實施例的第一方面所述的方法。

22、本發(fā)明根據(jù)所述多個gpu的信息值計算最小負荷的gpu，選擇所述最小負荷的gpu的gpu?index標(biāo)識返回所述ai計算算法服務(wù)，可避免隨機選擇導(dǎo)致gpu選擇不合理，提升ai計算能力。

技術(shù)特征：

1.一種基于gpu負荷信息的gpu分配方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于gpu負荷信息的gpu分配方法，其特征在于，在收集gpu信息成功后解析所述gpu信息獲得多個gpu的信息值及gpu?index標(biāo)識，包括：

3.根據(jù)權(quán)利要求1所述的基于gpu負荷信息的gpu分配方法，其特征在于，所述收集gpu信息，在收集gpu信息成功后解析所述gpu信息獲得多個gpu的信息值及gpu?index標(biāo)識，包括：

4.根據(jù)權(quán)利要求2或3所述的基于gpu負荷信息的gpu分配方法，其特征在于，所述根據(jù)所述多個gpu的信息值計算最小負荷的gpu，包括：

5.根據(jù)權(quán)利要求2或3所述的基于gpu負荷信息的gpu分配方法，其特征在于，所述根據(jù)所述多個gpu的信息值計算最小負荷的gpu，包括：

6.一種基于gpu負荷信息的gpu分配方法裝置，其特征在于，包括：

7.根據(jù)權(quán)利要求6所述的基于gpu負荷信息的gpu分配裝置，其特征在于，所述分配模塊還包括第一子模塊，所述第一子模塊用于分別根據(jù)多個gpu的信息值的使用內(nèi)存值與總量內(nèi)存值的比值計算多個gpu的負荷；將多個gpu的負荷相比較，確定最小負荷的gpu。

8.根據(jù)權(quán)利要求6所述的基于gpu負荷信息的gpu分配裝置，其特征在于，所述分配模塊還包括第二子模塊，所述第二子模塊用于分別根據(jù)多個gpu的信息值的可用內(nèi)存值與總量內(nèi)存值的比值計算多個gpu的空閑率；將多個gpu的空閑率相比較，確定最大空閑率的gpu為最小負荷的gpu。

9.一種電子設(shè)備，其特征在于，包括：

10.一種計算機可讀存儲介質(zhì)，其特征在于，其上存儲有計算機程序，所述計算機程序被計算機運行時，執(zhí)行如權(quán)利要求1至7中任一項所述的基于gpu負荷信息的gpu分配方法。

技術(shù)總結(jié)
本發(fā)明公開基于GPU負荷信息的GPU分配方法及裝置，其方法包括接收GPU分配請求，所述GPU分配請求來自于AI計算算法服務(wù)；收集GPU信息，在收集GPU信息成功后解析所述GPU信息獲得多個GPU的信息值及GPU?index標(biāo)識；根據(jù)所述多個GPU的信息值計算最小負荷的GPU，選擇所述最小負荷的GPU的GPU?index標(biāo)識返回所述AI計算算法服務(wù)。本發(fā)明根據(jù)所述多個GPU的信息值計算最小負荷的GPU，選擇所述最小負荷的GPU的GPU?index標(biāo)識返回所述AI計算算法服務(wù)，可避免隨機選擇導(dǎo)致GPU選擇不合理，提升AI計算能力。

技術(shù)研發(fā)人員：陳建
受保護的技術(shù)使用者：深圳市鐵越電氣有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26