本申請(qǐng)涉及數(shù)據(jù)處理領(lǐng)域，尤其是一種模型優(yōu)化方法以及相關(guān)裝置。

背景技術(shù)：

1、在現(xiàn)代人工智能領(lǐng)域中，大規(guī)模語(yǔ)言模型，如泛光（bloom）大模型，因其出色的生成能力和理解能力而廣受矚目。這類(lèi)模型通常擁有龐大的參數(shù)量，導(dǎo)致模型的存儲(chǔ)和推理成本大幅上升。傳統(tǒng)的浮點(diǎn)數(shù)表示方法（例如fp32）占用了大量的內(nèi)存和計(jì)算資源。為了有效降低這些成本，量化技術(shù)被廣泛應(yīng)用于模型壓縮和加速領(lǐng)域。

2、相關(guān)技術(shù)中，非對(duì)稱（zero-point）量化、絕對(duì)值最大（absmax）量化技術(shù)因其能在保持較高精度的同時(shí)顯著降低資源消耗而備受關(guān)注。然而，大型語(yǔ)言模型中的激活值分布復(fù)雜，存在大量的異常特征值（即離群值），而這些異常特征值在量化過(guò)程中會(huì)導(dǎo)致量化精度進(jìn)一步下降。此外，雖然相關(guān)技術(shù)中通過(guò)量化技術(shù)能夠減少模型的內(nèi)存占用和計(jì)算復(fù)雜度，但是，在一些應(yīng)用場(chǎng)景中，量化過(guò)程所產(chǎn)生的額外開(kāi)銷(xiāo)（如量化/反量化操作），也會(huì)導(dǎo)致模型推理速度下降，無(wú)法達(dá)到提升模型性能，提高模型處理效率的目的。

3、因此，亟需設(shè)計(jì)一種技術(shù)方案，用于解決上述至少一個(gè)技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)針對(duì)現(xiàn)有技術(shù)中存在的技術(shù)問(wèn)題，提供一種模型優(yōu)化方法以及相關(guān)裝置，用以解決量化過(guò)程中因激活值分布復(fù)雜，難以排除異常值而導(dǎo)致的量化精度下降，以及因量化開(kāi)銷(xiāo)而造成的模型性能不佳的問(wèn)題。

2、第一方面，本申請(qǐng)實(shí)施例提供了一種模型優(yōu)化方法，該方法包括：

3、獲取待優(yōu)化的第一模型；所述第一模型為達(dá)到預(yù)設(shè)優(yōu)化條件的神經(jīng)網(wǎng)絡(luò)模型；所述預(yù)設(shè)優(yōu)化條件基于所述第一模型所屬類(lèi)型決定；

4、將所述第一模型中的待優(yōu)化結(jié)構(gòu)進(jìn)行自適應(yīng)量化處理，得到第二模型；其中，自適應(yīng)量化處理中針對(duì)不同待優(yōu)化結(jié)構(gòu)采用不同量化因子：量化因子由待優(yōu)化結(jié)構(gòu)中包含的特征值自適應(yīng)計(jì)算得到；

5、對(duì)所述第二模型執(zhí)行混合精度分解，得到包含異常特征值的第一分解模型、以及包含非異常特征值的第二分解模型；

6、按照預(yù)設(shè)策略分別優(yōu)化所述第一分解模型以及所述第二分解模型，并將優(yōu)化結(jié)果融合為最終輸出的第三模型。

7、第二方面，本申請(qǐng)實(shí)施例提供了一種模型優(yōu)化裝置，其中

8、獲取單元，被配置為獲取待優(yōu)化的第一模型；所述第一模型為達(dá)到預(yù)設(shè)優(yōu)化條件的神經(jīng)網(wǎng)絡(luò)模型；所述預(yù)設(shè)優(yōu)化條件基于所述第一模型所屬類(lèi)型決定；

9、量化單元，被配置為將所述第一模型中的待優(yōu)化結(jié)構(gòu)進(jìn)行自適應(yīng)量化處理，得到第二模型；其中，自適應(yīng)量化處理中針對(duì)不同待優(yōu)化結(jié)構(gòu)采用不同量化因子：量化因子由待優(yōu)化結(jié)構(gòu)中包含的特征值自適應(yīng)計(jì)算得到；

10、分解單元，被配置為對(duì)所述第二模型執(zhí)行混合精度分解，得到包含異常特征值的第一分解模型、以及包含非異常特征值的第二分解模型；

11、優(yōu)化單元，被配置為按照預(yù)設(shè)策略分別優(yōu)化所述第一分解模型以及所述第二分解模型，并將優(yōu)化結(jié)果融合為最終輸出的第三模型。

12、第三方面，本申請(qǐng)實(shí)施例提供了一種電子設(shè)備，所述電子設(shè)備包括：

13、至少一個(gè)處理器、存儲(chǔ)器和輸入輸出單元；

14、其中，所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序，所述處理器用于調(diào)用所述存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)程序來(lái)執(zhí)行第一方面的模型優(yōu)化方法。

15、第四方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其包括指令，當(dāng)其在計(jì)算機(jī)上運(yùn)行該指令時(shí)，使得計(jì)算機(jī)執(zhí)行第一方面的模型優(yōu)化方法。

16、本申請(qǐng)的有益效果是：提供了一種模型優(yōu)化方法以及相關(guān)裝置。該技術(shù)方案中，首先，獲取待優(yōu)化的第一模型；所述第一模型為達(dá)到預(yù)設(shè)優(yōu)化條件的神經(jīng)網(wǎng)絡(luò)模型；所述預(yù)設(shè)優(yōu)化條件基于所述第一模型所屬類(lèi)型決定。進(jìn)而，將所述第一模型中的待優(yōu)化結(jié)構(gòu)進(jìn)行自適應(yīng)量化處理，得到第二模型。其中，自適應(yīng)量化處理中針對(duì)不同待優(yōu)化結(jié)構(gòu)采用不同量化因子：量化因子由待優(yōu)化結(jié)構(gòu)中包含的特征值自適應(yīng)計(jì)算得到。接著，對(duì)所述第二模型執(zhí)行混合精度分解，得到包含異常特征值的第一分解模型、以及包含非異常特征值的第二分解模型。最終，按照預(yù)設(shè)策略分別優(yōu)化所述第一分解模型以及所述第二分解模型，并將優(yōu)化結(jié)果融合為最終輸出的第三模型。

17、本申請(qǐng)技術(shù)方案，通過(guò)自適應(yīng)處理神經(jīng)網(wǎng)絡(luò)模型中的不同結(jié)構(gòu)，并分離異常值與非異常值執(zhí)行量化處理，既有助于保留模型原始數(shù)據(jù)信息，又能夠有效避免因異常值復(fù)雜分布而導(dǎo)致的量化精度下降，進(jìn)一步提升模型量化精度，減少模型占用空間，提升模型處理效率。并且，采用不同策略處理異常值與非異常值還可以節(jié)省模型量化開(kāi)銷(xiāo)，提升模型性能，進(jìn)一步提高模型處理效率。

技術(shù)特征：

1.一種模型優(yōu)化方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的模型優(yōu)化方法，其特征在于，待優(yōu)化結(jié)構(gòu)至少包括：所述第一模型中的輸入矩陣和/或模型權(quán)重；

3.根據(jù)權(quán)利要求2所述的模型優(yōu)化方法，其特征在于，所述自適應(yīng)計(jì)算所述第一模型中的輸入矩陣和/或模型權(quán)重各自對(duì)應(yīng)的量化因子，包括：

4.根據(jù)權(quán)利要求2所述的模型優(yōu)化方法，其特征在于，所述自適應(yīng)計(jì)算所述第一模型中的輸入矩陣和/或模型權(quán)重各自對(duì)應(yīng)的量化因子之后，還包括：

5.根據(jù)權(quán)利要求1所述的模型優(yōu)化方法，其特征在于，所述對(duì)所述第二模型執(zhí)行混合精度分解，得到包含異常特征值的第一分解模型、以及包含非異常特征值的第二分解模型，包括：

6.根據(jù)權(quán)利要求5所述的模型優(yōu)化方法，其特征在于，所述設(shè)定閾值為6。

7.根據(jù)權(quán)利要求1所述的模型優(yōu)化方法，其特征在于，所述按照預(yù)設(shè)策略分別優(yōu)化所述第一分解模型以及所述第二分解模型，并將優(yōu)化結(jié)果融合為最終輸出的第三模型，包括：

8.根據(jù)權(quán)利要求7所述的模型優(yōu)化方法，其特征在于，所述對(duì)所述第一分解模型采用第一預(yù)設(shè)精度進(jìn)行高精度轉(zhuǎn)換，得到第一優(yōu)化結(jié)果，包括：

9.根據(jù)權(quán)利要求8所述的模型優(yōu)化方法，其特征在于，所述對(duì)所述第一分解模型采用第一預(yù)設(shè)精度進(jìn)行高精度轉(zhuǎn)換，得到第一優(yōu)化結(jié)果之前，還包括：

10.根據(jù)權(quán)利要求7所述的模型優(yōu)化方法，其特征在于，所述將所述第一優(yōu)化結(jié)果以及所述第二優(yōu)化結(jié)果融合為所述第三模型，包括：

11.根據(jù)權(quán)利要求10所述的模型優(yōu)化方法，其特征在于，所述按照各自對(duì)應(yīng)的量化處理精度，將所述第一優(yōu)化結(jié)果以及所述第二優(yōu)化結(jié)果進(jìn)行反量化處理，得到對(duì)應(yīng)的第一反量化結(jié)果以及第二反量化結(jié)果之后，還包括：

12.一種模型優(yōu)化裝置，其特征在于，所述裝置包括以下單元，其中，

13.一種電子設(shè)備，其特征在于，包括：

14.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)軟件程序，所述計(jì)算機(jī)軟件程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-11任一項(xiàng)所述的模型優(yōu)化方法。

15.一種芯片，其特征在于，所述芯片中加載有計(jì)算機(jī)軟件程序和/或硬件單元，所述計(jì)算機(jī)軟件程序和/或硬件單元用于實(shí)現(xiàn)如權(quán)利要求1-11任一項(xiàng)所述的模型優(yōu)化方法。

技術(shù)總結(jié)
本申請(qǐng)涉及數(shù)據(jù)處理領(lǐng)域，尤其是一種模型優(yōu)化方法以及相關(guān)裝置。該方法包括：獲取待優(yōu)化的第一模型；第一模型為達(dá)到預(yù)設(shè)優(yōu)化條件的神經(jīng)網(wǎng)絡(luò)模型；預(yù)設(shè)優(yōu)化條件基于第一模型所屬類(lèi)型決定；將第一模型中的待優(yōu)化結(jié)構(gòu)進(jìn)行自適應(yīng)量化處理，得到第二模型；其中，自適應(yīng)量化處理中針對(duì)不同待優(yōu)化結(jié)構(gòu)采用不同量化因子：量化因子由待優(yōu)化結(jié)構(gòu)中包含的特征值自適應(yīng)計(jì)算得到；對(duì)第二模型執(zhí)行混合精度分解，得到包含異常特征值的第一分解模型、以及包含非異常特征值的第二分解模型；按照預(yù)設(shè)策略分別優(yōu)化第一分解模型以及第二分解模型，并將優(yōu)化結(jié)果融合為最終輸出的第三模型。該方法能夠提升模型量化精度，減少模型占用空間，提升模型處理效率。

技術(shù)研發(fā)人員：楊龔軼凡,朱國(guó)梁,胡光耀,趙文宇,孫錦濤
受保護(hù)的技術(shù)使用者：中昊芯英（杭州）科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6