1.一種多模態(tài)實(shí)體識別模型訓(xùn)練方法,其特征在于,包括以下步驟:
2.如權(quán)利要求1所述的多模態(tài)實(shí)體識別模型訓(xùn)練方法,其特征在于,通過文本實(shí)體向量、語音實(shí)體向量以及對比學(xué)習(xí)方法訓(xùn)練初始模型,得到目標(biāo)多模態(tài)實(shí)體識別模型,包括:
3.如權(quán)利要求2所述的多模態(tài)實(shí)體識別模型訓(xùn)練方法,其特征在于,在計(jì)算所述文本實(shí)體向量與語音實(shí)體向量中屬于相同實(shí)體標(biāo)簽的兩個(gè)token之間的差異程度之前,還包括:
4.如權(quán)利要求2中所述的多模態(tài)實(shí)體識別模型訓(xùn)練方法,其特征在于,通過反向傳播算法優(yōu)化初始模型的參數(shù),包括:
5.如權(quán)利要求2所述的多模態(tài)實(shí)體識別模型訓(xùn)練方法,其特征在于,在得到目標(biāo)多模態(tài)實(shí)體識別模型之后,還包括:
6.如權(quán)利要求1所述的多模態(tài)實(shí)體識別模型訓(xùn)練方法,其特征在于,通過多層transformer編碼器對所述語音特征進(jìn)行編碼,得到語音特征向量,包括:
7.如權(quán)利要求1所述的多模態(tài)實(shí)體識別模型訓(xùn)練方法,其特征在于,將所述文本數(shù)據(jù)經(jīng)過詞嵌入與位置嵌入處理得到文本嵌入特征,包括:
8.一種多模態(tài)實(shí)體識別模型訓(xùn)練裝置,其特征在于,所述多模態(tài)實(shí)體識別模型訓(xùn)練裝置包括:
9.一種多模態(tài)實(shí)體識別模型訓(xùn)練設(shè)備,其特征在于,所述多模態(tài)實(shí)體識別模型訓(xùn)練設(shè)備包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器上并可以在所述處理器上運(yùn)行的多模態(tài)實(shí)體識別模型訓(xùn)練程序,所述多模態(tài)實(shí)體識別模型訓(xùn)練程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述的多模態(tài)實(shí)體識別模型訓(xùn)練方法的步驟。
10.一種計(jì)算機(jī)存儲(chǔ)介質(zhì),其特征在于,所述存儲(chǔ)介質(zhì)上存儲(chǔ)有多模態(tài)實(shí)體識別模型訓(xùn)練程序,所述多模態(tài)實(shí)體識別模型訓(xùn)練程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述的多模態(tài)實(shí)體識別模型訓(xùn)練方法的步驟。