本發(fā)明涉及計(jì)算機(jī)，具體涉及基于模型訓(xùn)練的內(nèi)存數(shù)據(jù)處理方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、隨著推廣搜模型的特征不斷豐富，訓(xùn)練和部署所需的參數(shù)服務(wù)器(parameterserver，ps)資源也不斷增長。其中，訓(xùn)練所需的參數(shù)服務(wù)器稱之為訓(xùn)練參數(shù)服務(wù)器(training?ps)，部署所需的參數(shù)服務(wù)器稱之為在線參數(shù)服務(wù)器(online?ps)。

2、目前，模型參數(shù)所需的內(nèi)存較大，training?ps內(nèi)存一直是訓(xùn)練的瓶頸，影響了訓(xùn)練資源的使用。此外，online?ps體積較大會(huì)增加模型上線難度。因此，急需一種對(duì)模型參數(shù)進(jìn)行處理的數(shù)據(jù)處理方法。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供了一種基于模型訓(xùn)練的內(nèi)存數(shù)據(jù)處理方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品，以解決模型參數(shù)所需內(nèi)存較大的問題。

2、第一方面，本發(fā)明提供了一種模型訓(xùn)練的內(nèi)存數(shù)據(jù)處理方法，適用于訓(xùn)練參數(shù)服務(wù)器，所述方法包括：

3、獲取目標(biāo)特征的不同類別子特征，所述目標(biāo)特征為目標(biāo)模型對(duì)輸入數(shù)據(jù)進(jìn)行特征提取所對(duì)應(yīng)的特征；

4、基于所述目標(biāo)模型在第一訓(xùn)練狀態(tài)以及第二訓(xùn)練狀態(tài)之間的模型損失差異，確定所述子特征的重要程度，所述第一訓(xùn)練狀態(tài)為所述目標(biāo)模型使用所述子特征進(jìn)行訓(xùn)練的狀態(tài)，所述第二訓(xùn)練狀態(tài)為所述目標(biāo)模型未使用所述子特征進(jìn)行訓(xùn)練的狀態(tài)；

5、基于所述重要程度在所述不同類別子特征中確定禁用的第一子特征；

6、在所述訓(xùn)練參數(shù)服務(wù)器的內(nèi)存空間中釋放用于存儲(chǔ)所述第一子特征的特征值的內(nèi)存；

7、基于所述不同類別子特征的禁用情況對(duì)所述目標(biāo)模型的模型參數(shù)進(jìn)行更新。

8、第二方面，本發(fā)明提供了一種模型訓(xùn)練的內(nèi)存數(shù)據(jù)處理方法，適用于在線參數(shù)服務(wù)器，所述方法包括：

9、向訓(xùn)練參數(shù)服務(wù)器發(fā)送針對(duì)目標(biāo)子特征的特征值讀取指令；

10、接收所述訓(xùn)練參數(shù)服務(wù)器反饋的所述目標(biāo)子特征的目標(biāo)特征值，所述目標(biāo)特征值是所述訓(xùn)練參數(shù)服務(wù)器基于所述目標(biāo)子特征的禁用情況反饋的；其中，所述禁用情況由所述訓(xùn)練參數(shù)服務(wù)器基于所述目標(biāo)子特征的重要程度確定；所述重要程度由所述訓(xùn)練參數(shù)服務(wù)器基于目標(biāo)模型在使用所述目標(biāo)子特征進(jìn)行訓(xùn)練以及未使用所述目標(biāo)子特征進(jìn)行訓(xùn)練時(shí)的模型損失差異確定；

11、若所述在線參數(shù)服務(wù)器的內(nèi)存空間中存儲(chǔ)有所述目標(biāo)子特征的特征值，則將所述內(nèi)存空間中目標(biāo)子特征的特征值更新為所述目標(biāo)特征值；

12、基于所述內(nèi)存空間中所存儲(chǔ)的不同類別子特征的特征值，在所述不同類別子特征中確定出處于禁用狀態(tài)的子特征；

13、在所述內(nèi)存空間中釋放所述處于禁用狀態(tài)的子特征對(duì)應(yīng)的內(nèi)存。

14、第三方面，本發(fā)明提供了一種基于模型訓(xùn)練的內(nèi)存數(shù)據(jù)處理裝置，適用于訓(xùn)練參數(shù)服務(wù)器，所述裝置包括：

15、模型特征獲取模塊，用于獲取目標(biāo)特征的不同類別子特征，所述目標(biāo)特征為目標(biāo)模型對(duì)輸入數(shù)據(jù)進(jìn)行特征提取所對(duì)應(yīng)的特征；

16、重要程度運(yùn)算模塊，用于基于所述目標(biāo)模型在第一訓(xùn)練狀態(tài)以及第二訓(xùn)練狀態(tài)之間的模型損失差異，確定所述子特征的重要程度，所述第一訓(xùn)練狀態(tài)為所述目標(biāo)模型使用所述子特征進(jìn)行訓(xùn)練的狀態(tài)，所述第二訓(xùn)練狀態(tài)為所述目標(biāo)模型未使用所述子特征進(jìn)行訓(xùn)練的狀態(tài)；

17、禁用特征確定模塊，用于基于所述重要程度在所述不同類別子特征中確定禁用的第一子特征；

18、參數(shù)內(nèi)存釋放模塊，用于在所述訓(xùn)練參數(shù)服務(wù)器的內(nèi)存空間中釋放用于存儲(chǔ)所述第一子特征的特征值的內(nèi)存；

19、模型參數(shù)更新模塊，用于基于所述不同類別子特征的禁用情況對(duì)所述目標(biāo)模型的模型參數(shù)進(jìn)行更新。

20、第四方面，本發(fā)明提供了一種基于模型訓(xùn)練的內(nèi)存數(shù)據(jù)處理裝置，適用于在線參數(shù)服務(wù)器，所述裝置包括：

21、讀取指令發(fā)送模塊，用于向訓(xùn)練參數(shù)服務(wù)器發(fā)送針對(duì)目標(biāo)子特征的特征值讀取指令；

22、反饋信息接收模塊，用于接收所述訓(xùn)練參數(shù)服務(wù)器反饋的所述目標(biāo)子特征的目標(biāo)特征值，所述目標(biāo)特征值是所述訓(xùn)練參數(shù)服務(wù)器基于所述目標(biāo)子特征的禁用情況反饋的；其中，所述禁用情況由所述訓(xùn)練參數(shù)服務(wù)器基于所述目標(biāo)子特征的重要程度確定；所述重要程度由所述訓(xùn)練參數(shù)服務(wù)器基于目標(biāo)模型在使用所述目標(biāo)子特征進(jìn)行訓(xùn)練以及未使用所述目標(biāo)子特征進(jìn)行訓(xùn)練時(shí)的模型損失差異確定；

23、特征值更新模塊，用于若所述在線參數(shù)服務(wù)器的內(nèi)存空間中存儲(chǔ)有所述目標(biāo)子特征的特征值，則將所述內(nèi)存空間中目標(biāo)子特征的特征值更新為所述目標(biāo)特征值；

24、禁用特征確定模塊，用于基于所述內(nèi)存空間中所存儲(chǔ)的不同類別子特征的特征值，在所述不同類別子特征中確定出處于禁用狀態(tài)的子特征；

25、在線內(nèi)存釋放模塊，用于在所述內(nèi)存空間中釋放所述處于禁用狀態(tài)的子特征對(duì)應(yīng)的內(nèi)存。

26、第五方面，本發(fā)明提供了一種電子設(shè)備，包括：存儲(chǔ)器和處理器，存儲(chǔ)器和處理器之間互相通信連接，存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)指令，處理器通過執(zhí)行計(jì)算機(jī)指令，從而執(zhí)行上述基于模型訓(xùn)練的內(nèi)存數(shù)據(jù)處理方法。

27、第六方面，本發(fā)明提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)指令，計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行上述基于模型訓(xùn)練的內(nèi)存數(shù)據(jù)處理方法。

28、第七方面，本發(fā)明提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)指令，計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行上述基于模型訓(xùn)練的內(nèi)存數(shù)據(jù)處理方法。

29、本公開的基于模型訓(xùn)練的內(nèi)存數(shù)據(jù)處理方法，訓(xùn)練參數(shù)服務(wù)器基于目標(biāo)模型使用子特征進(jìn)行訓(xùn)練以及未使用子特征進(jìn)行訓(xùn)練時(shí)的模型損失差異，確定子特征的重要程度。然后，訓(xùn)練參數(shù)服務(wù)器基于重要程度在不同類別子特征中確定禁用的第一子特征，在訓(xùn)練參數(shù)服務(wù)器的內(nèi)存空間中釋放用于存儲(chǔ)第一子特征的特征值的內(nèi)存。因此，能夠淘汰訓(xùn)練參數(shù)服務(wù)器中存儲(chǔ)的重要程度較低的子特征，有效減少訓(xùn)練參數(shù)服務(wù)器所需存儲(chǔ)的數(shù)據(jù)量，從而能夠減少目標(biāo)模型在訓(xùn)練參數(shù)服務(wù)器中所需的內(nèi)存，能夠有效解決模型參數(shù)所需內(nèi)存較大的問題。進(jìn)而，訓(xùn)練參數(shù)服務(wù)器基于不同類別子特征的禁用情況對(duì)目標(biāo)模型的模型參數(shù)進(jìn)行更新。因此，隨著訓(xùn)練參數(shù)服務(wù)器中第一子特征的淘汰，目標(biāo)模型用于參數(shù)更新的子特征也會(huì)隨之減少，進(jìn)而導(dǎo)致目標(biāo)模型對(duì)應(yīng)于子特征產(chǎn)生的模型參數(shù)也會(huì)減少，從而能夠減少目標(biāo)模型的模型參數(shù)，達(dá)到模型瘦身的目的。此外，若在線參數(shù)服務(wù)器的內(nèi)存空間中存儲(chǔ)有訓(xùn)練參數(shù)服務(wù)器反饋的目標(biāo)子特征的特征值，則在線參數(shù)服務(wù)器將內(nèi)存空間中目標(biāo)子特征的特征值更新為目標(biāo)特征值。并基于內(nèi)存空間中所存儲(chǔ)的不同類別子特征的特征值，在不同類別子特征中確定出處于禁用狀態(tài)的子特征。因此，能夠使在線參數(shù)服務(wù)器對(duì)齊訓(xùn)練參數(shù)服務(wù)器的淘汰策略，以使在線參數(shù)服務(wù)器淘汰訓(xùn)練參數(shù)服務(wù)器禁用的子特征，從而使得在線參數(shù)服務(wù)器減少所需存儲(chǔ)的目標(biāo)模型的模型參數(shù)，有效壓縮在線參數(shù)服務(wù)器的內(nèi)存。

技術(shù)特征：

1.一種基于模型訓(xùn)練的內(nèi)存數(shù)據(jù)處理方法，其特征在于，適用于訓(xùn)練參數(shù)服務(wù)器，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述目標(biāo)模型在第一訓(xùn)練狀態(tài)以及第二訓(xùn)練狀態(tài)之間的模型損失差異，確定所述子特征的重要程度，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于所述權(quán)重與所述梯度，確定模型損失變化量，包括：

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于所述模型損失變化量確定所述子特征的重要程度，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述基于所述維度對(duì)相應(yīng)的所述模型損失變化量進(jìn)行歸一化，得到所述子特征的重要程度，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述重要程度在所述不同類別子特征中確定禁用的第一子特征，包括：

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述重要程度在所述不同類別子特征中確定禁用的第一子特征，還包括：

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述模型參數(shù)包括所述不同類別子特征的特征值；所述基于所述不同類別子特征的禁用情況對(duì)所述目標(biāo)模型的模型參數(shù)進(jìn)行更新，包括：

10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述方法還包括：

11.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

12.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述基于所述第四子特征的禁用情況，反饋所述第四子特征的特征值至所述在線參數(shù)服務(wù)器，包括：

13.一種基于模型訓(xùn)練的內(nèi)存數(shù)據(jù)處理方法，其特征在于，適用于在線參數(shù)服務(wù)器，所述方法包括：

14.根據(jù)權(quán)利要求13所述的方法，其特征在于，所述基于所述內(nèi)存空間中所存儲(chǔ)的不同類別子特征的特征值，在所述不同類別子特征中確定出處于禁用狀態(tài)的子特征，包括：

15.一種基于模型訓(xùn)練的內(nèi)存數(shù)據(jù)處理裝置，其特征在于，適用于訓(xùn)練參數(shù)服務(wù)器，所述裝置包括：

16.一種基于模型訓(xùn)練的內(nèi)存數(shù)據(jù)處理裝置，其特征在于，適用于在線參數(shù)服務(wù)器，所述裝置包括：

17.一種電子設(shè)備，其特征在于，包括：

18.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行權(quán)利要求1至12中任一項(xiàng)所述的基于模型訓(xùn)練的內(nèi)存數(shù)據(jù)處理方法，或者執(zhí)行權(quán)利要求13至14中任一項(xiàng)所述的基于模型訓(xùn)練的內(nèi)存數(shù)據(jù)處理方法。

19.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，包括計(jì)算機(jī)指令，所述計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行權(quán)利要求1至12中任一項(xiàng)所述的基于模型訓(xùn)練的內(nèi)存數(shù)據(jù)處理方法，或者執(zhí)行權(quán)利要求13至14中任一項(xiàng)所述的基于模型訓(xùn)練的內(nèi)存數(shù)據(jù)處理方法。

技術(shù)總結(jié)
本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，公開了基于模型訓(xùn)練的內(nèi)存數(shù)據(jù)處理方法、裝置、設(shè)備及介質(zhì)，該方法包括：獲取目標(biāo)特征的不同類別子特征，目標(biāo)特征為目標(biāo)模型對(duì)輸入數(shù)據(jù)進(jìn)行特征提取所對(duì)應(yīng)的特征；基于目標(biāo)模型在第一訓(xùn)練狀態(tài)以及第二訓(xùn)練狀態(tài)之間的模型損失差異，確定子特征的重要程度，第一訓(xùn)練狀態(tài)為目標(biāo)模型使用子特征進(jìn)行訓(xùn)練的狀態(tài)，第二訓(xùn)練狀態(tài)為目標(biāo)模型未使用子特征進(jìn)行訓(xùn)練的狀態(tài)；基于重要程度在不同類別子特征中確定禁用的第一子特征；在訓(xùn)練參數(shù)服務(wù)器的內(nèi)存空間中釋放用于存儲(chǔ)第一子特征的特征值的內(nèi)存；基于不同類別子特征的禁用情況對(duì)目標(biāo)模型的模型參數(shù)進(jìn)行更新。本發(fā)明能夠解決模型參數(shù)所需內(nèi)存較大的問題。

技術(shù)研發(fā)人員：馬藝源,馬思怡,詹詩意,周珣,鐘原
受保護(hù)的技術(shù)使用者：北京火山引擎科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2