背景技術(shù):
1、近年來,大型語言模型(llm),例如gpt系列、llama系列、glm系列等,在自然語言處理(nlp)領(lǐng)域取得了顯著進展,并成為了研究的熱點。這些模型通過海量文本數(shù)據(jù)的自監(jiān)督學(xué)習(xí),展現(xiàn)出了驚人的語言理解和生成能力,同時也展現(xiàn)出了推動機器翻譯技術(shù)革新的巨大潛力。與傳統(tǒng)的神經(jīng)機器翻譯相比,wmt23中的通用機器翻譯任務(wù)結(jié)果顯示,基于llm的機器翻譯系統(tǒng),在大多數(shù)翻譯子任務(wù)中都取得了領(lǐng)先地位。這些結(jié)果表明,基于llm的機器翻譯已經(jīng)成為了機器翻譯領(lǐng)域的一種新范式。然而,值得注意的是,盡管在wmt23中表現(xiàn)最好的是基于gpt-4的翻譯模型,但簡單的基于llm的直接翻譯系統(tǒng)仍存在許多問題。與傳統(tǒng)的神經(jīng)機器翻譯相比,基于llm的翻譯系統(tǒng)嚴(yán)重依賴于模型本身一次輸出的能力,因此在涉及低資源的機器翻譯任務(wù)上,其輸出的穩(wěn)定性較差。同時,它也天然存在著大模型本身的一些固有缺陷,缺乏可解釋性和復(fù)現(xiàn)性,以及存在幻覺等問題。因此,如何考慮結(jié)合二者的優(yōu)勢,生成一個高質(zhì)量的翻譯成了一個值得注意的問題。
2、本發(fā)明提出一種生成式多智能體的多階段協(xié)同完成多語言機器翻譯方法,利用通過部署多個生成式智能體,在多階段相互協(xié)作,共同完成多語言機器翻譯任務(wù)。同時,它充分考慮并最大化利用傳統(tǒng)機器翻譯的模型和結(jié)果,對基于llm的機器翻譯系統(tǒng)這一新翻譯范式進行有效約束,并提供翻譯信息增益。此外,通過多智能體結(jié)構(gòu),該框架擴大了這種影響,連接了機器翻譯中傳統(tǒng)范式與新范式,提供了二者間的平衡點。并在此二者的基礎(chǔ)上,面對多語言機器翻譯任務(wù)上,使得模型性能達到了一個新的高度。
技術(shù)實現(xiàn)思路
1、本發(fā)明提出一種生成式多智能體的多階段協(xié)同完成多語言機器翻譯方法,以解決傳統(tǒng)多語言機器翻譯在低資源方面存在的翻譯質(zhì)量以及大語言模型在翻譯任務(wù)中潛力尚未得到充分挖掘的問題,本發(fā)明在相關(guān)數(shù)據(jù)集上取得了較好的實驗結(jié)果。
2、本發(fā)明的技術(shù)方案是:一種生成式多智能體的多階段協(xié)同完成多語言機器翻譯方法,所述方法的具體步驟如下:
3、step1、選取傳統(tǒng)多語言機器翻譯模型mrasp2作為基礎(chǔ)模型架構(gòu)之一,該模型適合多語言機器翻譯任務(wù)的需求,在選取后,對mrasp2模型進行效果測試和波束解碼生成。
4、step2、選取適合的大模型,如llama3.1-8b-instruct、gpt-4omini作為基礎(chǔ)模型架構(gòu)之一,該模型需要適合多語言機器翻譯任務(wù)的需求,在選取后,基于大模型對gmatranslate多智能體專家進行啟動。
5、step3、使用gmatranslate框架下的多語言翻譯專家,針對待翻譯目標(biāo)完成第一初步翻譯;
6、step4、使用gmatranslate框架下的信息專家,針對mrasp2波束解碼的結(jié)果進行信息總結(jié),得到第二初步翻譯;
7、step5、使用gmatranslate框架下的審定專家和精煉專家,對初步翻譯1和初步翻譯2進行審定和精煉;
8、step6、使用gmatranslate框架下的選擇專家挑選出最符合源文本內(nèi)容、情感和意思的最終翻譯。
9、作為本發(fā)明的進一步方案,所述step1的具體步驟如下:
10、step1.1、獲取開源并已經(jīng)預(yù)訓(xùn)練好的多語言翻譯模型mrasp2,該模型具有十二層編碼端-解碼端的框架;
11、step1.2、針對待翻譯文本s,先進行token化處理,然后再進行二值化處理;
12、step1.3、將處理后的二值化數(shù)據(jù)作為mrasp2的輸入,并通過波束解碼生成關(guān)于s的n-best翻譯假設(shè)列表
13、作為本發(fā)明的進一步方案,所述step2的具體步驟如下:
14、step2.1、獲取開源的llama3.1-8b-instruct作為多智能體框架啟動的基底模型。
15、step2.2、通過vllm框架,在本地啟動llama3.1-8b-instruct,并接入gmatranslate框架中的各智能體中。
16、作為本發(fā)明的進一步方案,所述step3的具體步驟如下:
17、step3.1、gmatranslate框架中的多語言翻譯專家,接收待翻譯文本s和目標(biāo)語言代碼的信息作為輸入,完成第一初步翻譯t1。
18、step3.2、將第一初步翻譯t1作為輸出信息,傳遞給審定專家。
19、作為本發(fā)明的進一步方案,所述step4的具體步驟如下:
20、step4.1、將mrasp2生成的和待翻譯文本s作為信息專家的輸入,針對s的內(nèi)容、情感、風(fēng)格等多維度因素,對提供的翻譯假設(shè)進行多維度匹配總結(jié),得到第二初步翻譯t2;
21、step4.2、將輸出信息第二初步翻譯t2傳遞給審定專家作為輸入。
22、作為本發(fā)明的進一步方案,所述step5的具體步驟如下:
23、step5.1、審定專家接受第一初步翻譯t1和第二初步翻譯t2以及待翻譯文本s作為輸入,然后對t1和t2進行多維度的mqm審定,得到審定結(jié)果r1和r2作為輸出;
24、step5.2、精煉專家,接受兩組信息(t1,r1)和(t2,r2)作為輸入,針對r1和r2的情況,對t1和t2進行修改,得到兩個精煉結(jié)果ref1和ref2作為輸出。
25、作為本發(fā)明的進一步方案,所述step6的具體步驟如下:
26、step6.1、選擇專家接受ref1、ref2和s作為輸入,然后通過二次多維度比較ref1、ref2和s的接近程度,選擇出最符合的結(jié)果tsec作為輸出。
27、本發(fā)明的有益效果是:
28、1、本發(fā)明實現(xiàn)多語言機器翻譯領(lǐng)域中新舊范式橋接,充分利用了二者的優(yōu)點,提升了翻譯性能;
29、2、本發(fā)明針對多語言中的高資源和低資源語料進行了大量測試,大大改善了基礎(chǔ)模型的低質(zhì)量翻譯;
30、3、本發(fā)明針對不同基底模型、不同語言的測試,證明了本發(fā)明的有效性和通用性;
31、4、本發(fā)明提出的方法在廣泛的多語言測試中,翻譯的準(zhǔn)確性以及語義接近程度,相較于原模型得到較大提高。
1.一種生成式多智能體的多階段協(xié)同完成多語言機器翻譯方法,其特征在于:所述方法的具體步驟如下:
2.根據(jù)權(quán)利要求1所述的生成式多智能體的多階段協(xié)同完成多語言機器翻譯方法,其特征在于:所述step1的具體步驟如下:
3.根據(jù)權(quán)利要求1所述的生成式多智能體的多階段協(xié)同完成多語言機器翻譯方法,其特征在于:所述step2中選取大模型為llama3.1-8b-instruct、gpt-4omini。
4.根據(jù)權(quán)利要求1所述的生成式多智能體的多階段協(xié)同完成多語言機器翻譯方法,其特征在于:所述step2的具體步驟包括如下:
5.根據(jù)權(quán)利要求1所述的生成式多智能體的多階段協(xié)同完成多語言機器翻譯方法,其特征在于:所述step3的具體步驟包括如下:
6.根據(jù)權(quán)利要求1所述的生成式多智能體的多階段協(xié)同完成多語言機器翻譯方法,其特征在于:所述step4的具體步驟包括如下:
7.根據(jù)權(quán)利要求1所述的生成式多智能體的多階段協(xié)同完成多語言機器翻譯方法,其特征在于:所述step5的具體步驟包括如下:
8.根據(jù)權(quán)利要求7所述的生成式多智能體的多階段協(xié)同完成多語言機器翻譯方法,其特征在于:所述step6的具體步驟如下: