技術(shù)特征：

1.一種模型調(diào)用方法，其特征在于，包括：

2.如權(quán)利要求1所述的方法，其特征在于，所述算法模型資源池包括空閑鏈和調(diào)度器；

3.如權(quán)利要求1或2所述的方法，其特征在于，當(dāng)接收到基于所述api服務(wù)線(xiàn)程發(fā)送的模型調(diào)用請(qǐng)求時(shí)，從所述算法模型資源池中選取目標(biāo)算法模型，并基于所述算子和所述運(yùn)行環(huán)境將所述目標(biāo)算法模型加載為模型實(shí)例，包括：

4.如權(quán)利要求3所述的方法，其特征在于，所述方法還包括：

5.如權(quán)利要求3所述的方法，其特征在于，所述算法模型資源池包括空閑鏈，所述空閑鏈用于記錄所述算法模型資源池中當(dāng)前未被占用的算法模型的模型編號(hào)；則，

6.如權(quán)利要求3所述的方法，其特征在于，所述算法模型資源池包括空閑鏈，所述空閑鏈用于記錄所述算法模型資源池中當(dāng)前未被占用的算法模型的模型編號(hào)；則，

7.如權(quán)利要求6所述的方法，其特征在于，所述方法還包括：

8.一種模型調(diào)用裝置，其特征在于，包括創(chuàng)建模塊、加載模塊、激活模塊、處理模塊和發(fā)送模塊，其中：

9.一種電子設(shè)備，其特征在于，包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的模型調(diào)用方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的模型調(diào)用方法的步驟。

11.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7任一項(xiàng)所述的模型調(diào)用方法。

技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種模型調(diào)用方法及相關(guān)設(shè)備，以解決現(xiàn)有技術(shù)中采用集群部署實(shí)現(xiàn)并發(fā)推理時(shí)，由于每個(gè)節(jié)點(diǎn)需要獨(dú)立加載模型推理模塊所需的算子及運(yùn)行環(huán)境，從而容易導(dǎo)致資源浪費(fèi)問(wèn)題。方法包括：創(chuàng)建算法模型資源池，算法模型資源池包括不同算法模型執(zhí)行推理任務(wù)時(shí)所需的算子和運(yùn)行環(huán)境；將待用于執(zhí)行推理任務(wù)的多個(gè)算法模型加載至算法模型資源池；創(chuàng)建至少兩個(gè)API服務(wù)線(xiàn)程，并激活A(yù)PI服務(wù)線(xiàn)程與算法模型資源池之間的通信鏈路；當(dāng)接收到基于API服務(wù)線(xiàn)程發(fā)送的模型調(diào)用請(qǐng)求時(shí)，從算法模型資源池中選取目標(biāo)算法模型，并基于算子和運(yùn)行環(huán)境將目標(biāo)算法模型加載為模型實(shí)例；將模型實(shí)例返回至API服務(wù)線(xiàn)程，以使API服務(wù)線(xiàn)程能夠基于模型實(shí)例執(zhí)行推理任務(wù)。

技術(shù)研發(fā)人員：譚建斌,楊亞剛,何激,張帆,劉璐,高天
受保護(hù)的技術(shù)使用者：中國(guó)人民財(cái)產(chǎn)保險(xiǎn)股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26