本發(fā)明涉及人工智能，尤其涉及一種通信方法、設(shè)備、存儲(chǔ)介質(zhì)和程序產(chǎn)品。

背景技術(shù)：

1、隨著人工智能技術(shù)的迅猛發(fā)展，尤其是大型語(yǔ)言模型（large?language?model，llm）的興起，對(duì)計(jì)算資源的需求呈現(xiàn)出爆炸性增長(zhǎng)。這些模型的規(guī)模、訓(xùn)練數(shù)據(jù)的規(guī)模以及所需的gpu（graphics?processing?unit，圖形處理器）資源數(shù)量都以指數(shù)級(jí)的速度增長(zhǎng)。

2、在某些情況下，為了滿(mǎn)足訓(xùn)練需求，甚至需要?jiǎng)佑脭?shù)千甚至數(shù)萬(wàn)個(gè)gpu。然而，在當(dāng)前的gpu云服務(wù)和資源使用環(huán)境中，這些成千上萬(wàn)個(gè)gpu可能來(lái)自不同制造商或者屬于同一制造商的不同產(chǎn)品型號(hào)，具有不同的硬件架構(gòu)，即，是異構(gòu)的。

3、在這樣的背景下，將不同型號(hào)、不同廠(chǎng)商的gpu進(jìn)行混合使用，以支持大規(guī)模模型的訓(xùn)練，即為異構(gòu)混訓(xùn)（也稱(chēng)“異構(gòu)訓(xùn)練”）。異構(gòu)混訓(xùn)可以很好的解決目前數(shù)據(jù)中心gpu的“異構(gòu)孤島”問(wèn)題。

4、不同制造商或者不同型號(hào)的gpu之間的通信效率，直接影響著異構(gòu)混訓(xùn)的整體效率。如何提升異構(gòu)gpu之間的通信效率，以實(shí)現(xiàn)異構(gòu)gpu之間的高效互聯(lián)互通，已經(jīng)成為行業(yè)內(nèi)的一個(gè)熱點(diǎn)研究話(huà)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種通信方法、設(shè)備、存儲(chǔ)介質(zhì)和程序產(chǎn)品，用以解決相關(guān)技術(shù)中g(shù)pu之間的通信效率低的缺陷。

2、本發(fā)明提供一種通信方法，包括：

3、基于在本端人工智能芯片處安裝的通用接口，調(diào)用與所述本端人工智能芯片相適配的數(shù)據(jù)傳輸接口，所述通用接口集成有分別與各類(lèi)人工智能芯片相適配的數(shù)據(jù)傳輸接口；

4、基于與所述本端人工智能芯片相適配的數(shù)據(jù)傳輸接口，通過(guò)直連傳輸路徑與對(duì)端人工智能芯片進(jìn)行通信，所述對(duì)端人工智能芯片處安裝有所述通用接口、且通過(guò)所述通用接口調(diào)用與所述對(duì)端人工智能芯片相適配的數(shù)據(jù)傳輸接口；

5、所述直連傳輸路徑由所述本端人工智能芯片、與所述本端人工智能芯片連接的本端網(wǎng)卡、與所述對(duì)端人工智能芯片連接的對(duì)端網(wǎng)卡以及所述對(duì)端人工智能芯片構(gòu)成。

6、根據(jù)本發(fā)明提供的一種通信方法，所述數(shù)據(jù)傳輸接口包括內(nèi)存拷貝接口；

7、所述基于與所述本端人工智能芯片相適配的數(shù)據(jù)傳輸接口，通過(guò)直連傳輸路徑與所述對(duì)端人工智能芯片進(jìn)行通信，包括：

8、基于與所述本端人工智能芯片相適配的內(nèi)存拷貝接口，在所述本端人工智能芯片的目標(biāo)內(nèi)存區(qū)域進(jìn)行內(nèi)存拷貝，并在拷貝完成后通過(guò)所述直連傳輸路徑將所述目標(biāo)內(nèi)存區(qū)域中的數(shù)據(jù)傳輸至所述對(duì)端人工智能芯片。

9、根據(jù)本發(fā)明提供的一種通信方法，所述數(shù)據(jù)傳輸接口還包括內(nèi)存注冊(cè)接口；

10、所述基于與所述本端人工智能芯片相適配的內(nèi)存拷貝接口，在所述本端人工智能芯片的目標(biāo)內(nèi)存區(qū)域進(jìn)行內(nèi)存拷貝，之前還包括：

11、基于與所述本端人工智能芯片相適配的內(nèi)存注冊(cè)接口，在所述本端人工智能芯片進(jìn)行內(nèi)存注冊(cè)，得到所述本端人工智能芯片的內(nèi)存中的目標(biāo)內(nèi)存區(qū)域。

12、根據(jù)本發(fā)明提供的一種通信方法，所述基于在本端人工智能芯片處安裝的通用接口，調(diào)用與所述本端人工智能芯片相適配的數(shù)據(jù)傳輸接口，包括：

13、基于在本端人工智能芯片處安裝的通用接口，調(diào)用與所述本端人工智能芯片的廠(chǎng)商和產(chǎn)品型號(hào)中的至少一種相適配的數(shù)據(jù)傳輸接口。

14、根據(jù)本發(fā)明提供的一種通信方法，所述基于與所述本端人工智能芯片相適配的數(shù)據(jù)傳輸接口，通過(guò)直連傳輸路徑與對(duì)端人工智能芯片進(jìn)行通信，包括：

15、基于與所述本端人工智能芯片相適配的數(shù)據(jù)傳輸接口，通過(guò)直連傳輸路徑與對(duì)端人工智能芯片傳輸數(shù)據(jù)塊，所述數(shù)據(jù)塊的尺寸為目標(biāo)尺寸；

16、所述目標(biāo)尺寸為多個(gè)候選尺寸中的一種。

17、根據(jù)本發(fā)明提供的一種通信方法，所述基于與所述本端人工智能芯片相適配的數(shù)據(jù)傳輸接口，通過(guò)直連傳輸路徑與對(duì)端人工智能芯片進(jìn)行通信，之前還包括：

18、將測(cè)試數(shù)據(jù)劃分為所述候選尺寸下的多個(gè)數(shù)據(jù)塊；

19、基于與所述本端人工智能芯片相適配的數(shù)據(jù)傳輸接口，通過(guò)直連傳輸路徑向所述對(duì)端人工智能芯片發(fā)送所述候選尺寸下的多個(gè)數(shù)據(jù)塊，得到所述候選尺寸下的數(shù)據(jù)傳輸耗時(shí)；

20、基于多個(gè)所述候選尺寸下的數(shù)據(jù)傳輸耗時(shí)，確定所述目標(biāo)尺寸。

21、根據(jù)本發(fā)明提供的一種通信方法，所述基于在本端人工智能芯片處安裝的通用接口，調(diào)用與所述本端人工智能芯片相適配的數(shù)據(jù)傳輸接口，之前還包括：

22、在確定所述本端人工智能芯片支持芯片間的直接內(nèi)存訪(fǎng)問(wèn)、且在所述本端人工智能芯片處安裝有通用接口的情況下，進(jìn)行通用接口注冊(cè)。

23、本發(fā)明還提供一種通信裝置，包括：

24、調(diào)用單元，用于基于在本端人工智能芯片處安裝的通用接口，調(diào)用與所述本端人工智能芯片相適配的數(shù)據(jù)傳輸接口，所述通用接口集成有分別與各類(lèi)人工智能芯片相適配的數(shù)據(jù)傳輸接口；

25、通信單元，用于基于與所述本端人工智能芯片相適配的數(shù)據(jù)傳輸接口，通過(guò)直連傳輸路徑與對(duì)端人工智能芯片進(jìn)行通信，所述對(duì)端人工智能芯片處安裝有所述通用接口、且通過(guò)所述通用接口調(diào)用與所述對(duì)端人工智能芯片相適配的數(shù)據(jù)傳輸接口；

26、所述直連傳輸路徑由所述本端人工智能芯片、與所述本端人工智能芯片連接的本端網(wǎng)卡、與所述對(duì)端人工智能芯片連接的對(duì)端網(wǎng)卡以及所述對(duì)端人工智能芯片構(gòu)成。

27、本發(fā)明還提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上述任一種所述通信方法。

28、本發(fā)明還提供一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述通信方法。

29、本發(fā)明還提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述通信方法。

30、本發(fā)明提供的通信方法、設(shè)備、存儲(chǔ)介質(zhì)和程序產(chǎn)品，通過(guò)集成有分別與各類(lèi)人工智能芯片相適配的數(shù)據(jù)傳輸接口的通用接口，實(shí)現(xiàn)了針對(duì)各類(lèi)人工智能芯片的數(shù)據(jù)傳輸操作的統(tǒng)一管理，基于此可以調(diào)用與各類(lèi)人工智能芯片相適配的數(shù)據(jù)傳輸接口，以實(shí)現(xiàn)與各類(lèi)人工智能芯片之間的直連通信，從而降低異構(gòu)人工智能芯片之間的通信延遲，提升異構(gòu)人工智能芯片之間的通信效率。

技術(shù)特征：

1.一種通信方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的通信方法，其特征在于，所述數(shù)據(jù)傳輸接口包括內(nèi)存拷貝接口；

3.根據(jù)權(quán)利要求2所述的通信方法，其特征在于，所述數(shù)據(jù)傳輸接口還包括內(nèi)存注冊(cè)接口；

4.根據(jù)權(quán)利要求1所述的通信方法，其特征在于，所述基于在本端人工智能芯片處安裝的通用接口，調(diào)用與所述本端人工智能芯片相適配的數(shù)據(jù)傳輸接口，包括：

5.根據(jù)權(quán)利要求1所述的通信方法，其特征在于，所述基于與所述本端人工智能芯片相適配的數(shù)據(jù)傳輸接口，通過(guò)直連傳輸路徑與對(duì)端人工智能芯片進(jìn)行通信，包括：

6.根據(jù)權(quán)利要求5所述的通信方法，其特征在于，所述基于與所述本端人工智能芯片相適配的數(shù)據(jù)傳輸接口，通過(guò)直連傳輸路徑與對(duì)端人工智能芯片進(jìn)行通信，之前還包括：

7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的通信方法，其特征在于，所述基于在本端人工智能芯片處安裝的通用接口，調(diào)用與所述本端人工智能芯片相適配的數(shù)據(jù)傳輸接口，之前還包括：

8.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述通信方法。

9.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述通信方法。

10.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述通信方法。

技術(shù)總結(jié)
本發(fā)明涉及人工智能技術(shù)領(lǐng)域，提供一種通信方法、設(shè)備、存儲(chǔ)介質(zhì)和程序產(chǎn)品，其中方法包括：基于在本端人工智能芯片處安裝的通用接口，調(diào)用與本端人工智能芯片相適配的數(shù)據(jù)傳輸接口，通用接口集成有分別與各類(lèi)人工智能芯片相適配的數(shù)據(jù)傳輸接口；基于與本端人工智能芯片相適配的數(shù)據(jù)傳輸接口，通過(guò)直連傳輸路徑與對(duì)端人工智能芯片進(jìn)行通信，對(duì)端人工智能芯片處安裝有通用接口、且通過(guò)通用接口調(diào)用與對(duì)端人工智能芯片相適配的數(shù)據(jù)傳輸接口。本發(fā)明提供的方法、設(shè)備、存儲(chǔ)介質(zhì)和程序產(chǎn)品，實(shí)現(xiàn)與各類(lèi)人工智能芯片之間的直連通信，從而降低異構(gòu)人工智能芯片之間的通信延遲，提升異構(gòu)人工智能芯片之間的通信效率。

技術(shù)研發(fā)人員：請(qǐng)求不公布姓名,請(qǐng)求不公布姓名
受保護(hù)的技術(shù)使用者：上海壁仞科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2