本發(fā)明涉及自然語言處理領域,更具體地,涉及一種翻譯語義質(zhì)量評估方法和系統(tǒng)。
背景技術(shù):
1、例如,在車輛全球化制造的大背景下,操作手冊、說明書、內(nèi)部規(guī)范、設計文檔、工程圖紙等的專業(yè)文檔需要在不同的語言之間被準確地翻譯,由此避免可能產(chǎn)生的技術(shù)偏差。為了能夠快速高效地對此類專業(yè)文檔進行翻譯,產(chǎn)生了大量多語言翻譯文本對。這些翻譯文本對后續(xù)復用存在很大的商業(yè)價值。但是,由于目前產(chǎn)生的翻譯對來源多種因素,大多質(zhì)量參差不齊,所以翻譯質(zhì)量的評估在自然語言處理領域得到廣泛關(guān)注。人工對翻譯文本進行質(zhì)量評估將會是非常巨大的工作量,并且多語言翻譯中涉及到不同語言的專業(yè)用法,就需要專業(yè)領域人員才能夠完成評估工作。
2、傳統(tǒng)的翻譯質(zhì)量評估較多使用bleu值,并且需要眾多的人類專業(yè)翻譯譯文。本質(zhì)上單獨的bleu質(zhì)量評估只能評估翻譯結(jié)果和參考譯文之間的大致文本相似度,但是忽略了語義和語法的特征,所以近義詞、譯文的長度都會影響到翻譯評估的效果。
3、因此,需要一種改善bleu值只評估單詞文本相似度這一缺點的方案。
技術(shù)實現(xiàn)思路
1、提供本
技術(shù)實現(xiàn)要素:
以便以簡化形式介紹將在以下具體實施方式中進一步的描述一些概念。本發(fā)明內(nèi)容并非旨在標識所要求保護的主題的關(guān)鍵特征或必要特征,也不旨在用于幫助確定所要求保護的主題的范圍。
2、根據(jù)本發(fā)明的一個方面,提供了一種語義評估方法,包括:接收翻譯對,所述翻譯對包括源語句和目標語句;采用經(jīng)訓練的句子嵌入網(wǎng)絡,結(jié)合bleu評價指標來對所述翻譯對進行語義翻譯質(zhì)量評估,以得到語義翻譯質(zhì)量評估得分;采用術(shù)語翻譯庫來對所述翻譯對進行術(shù)語翻譯質(zhì)量評估,以得到術(shù)語翻譯質(zhì)量評估得分,所述術(shù)語翻譯質(zhì)量評估得分表示所述源語句中的術(shù)語是否被正確地翻譯;將所述語義翻譯質(zhì)量評估得分和所述術(shù)語翻譯質(zhì)量評估得分相組合來得到對所述翻譯對的語義評估得分,所述語義評估得分對所述翻譯對中的所述目標語句的翻譯質(zhì)量進行評價。
3、根據(jù)本發(fā)明的進一步實施例,方法進一步包括:對所述翻譯對進行數(shù)據(jù)預處理,以判斷所述翻譯對中的所述目標語句是否存在預定義的翻譯錯誤。
4、根據(jù)本發(fā)明的進一步實施例,所述預定義的翻譯錯誤包括以下中的一者:所述翻譯對中的所述目標語句為空;或者所述目標語句與所述源語句完全相等。
5、根據(jù)本發(fā)明的進一步實施例,所述經(jīng)訓練的句子嵌入網(wǎng)絡能夠基于兩個語句的特征向量來評估這兩個語句之間的語義相似度。
6、根據(jù)本發(fā)明的進一步實施例,得到所述語義翻譯質(zhì)量評估得分進一步包括:經(jīng)由翻譯應用程序接口來獲取針對所述翻譯對中的所述源語句的一個或多個參考譯文。
7、根據(jù)本發(fā)明的進一步實施例,得到所述語義翻譯質(zhì)量評估得分進一步包括:將所述目標語句和所述一個或多個參考譯文輸入所述經(jīng)訓練的句子嵌入網(wǎng)絡來得到句子嵌入網(wǎng)絡評估得分;計算所述目標語句和所述一個或多個參考譯文的bleu評價指標值;以及將所述句子嵌入網(wǎng)絡評估得分以及所述bleu評價指標值相組合以得到所述語義翻譯質(zhì)量評估得分。
8、根據(jù)本發(fā)明的進一步實施例,所述術(shù)語翻譯質(zhì)量評估得分標識所述源語句中的術(shù)語是否在所述目標語句中被翻譯為所述術(shù)語翻譯庫中與所述術(shù)語相對應的一個或多個翻譯術(shù)語中的首選翻譯術(shù)語。
9、根據(jù)本發(fā)明的另一個方面,提供了一種語義評估系統(tǒng),包括:經(jīng)訓練的句子嵌入網(wǎng)絡和語義評估模塊;所述經(jīng)訓練的句子嵌入網(wǎng)絡能夠基于兩個語句的特征向量來評估這兩個語句之間的語義相似度;所述語義評估模塊被配置成:采用所述經(jīng)訓練的句子嵌入網(wǎng)絡,結(jié)合bleu評價指標來對所述翻譯對進行語義翻譯質(zhì)量評估,以得到語義翻譯質(zhì)量評估得分;采用術(shù)語翻譯庫來對所述翻譯對進行術(shù)語翻譯質(zhì)量評估,以得到術(shù)語翻譯質(zhì)量評估得分,所述術(shù)語翻譯質(zhì)量評估得分表示所述源語句中的術(shù)語是否被正確地翻譯;將所述語義翻譯質(zhì)量評估得分和所述術(shù)語翻譯質(zhì)量評估得分相組合來得到對所述翻譯對的語義評估得分,所述語義評估得分對所述翻譯對中的所述目標語句的翻譯質(zhì)量進行評價。
10、根據(jù)本發(fā)明的進一步實施例,系統(tǒng)進一步包括:數(shù)據(jù)預處理模塊,所述數(shù)據(jù)預處理模塊被配置成對所述翻譯對進行數(shù)據(jù)預處理,以判斷所述翻譯對中的所述目標語句是否存在預定義的翻譯錯誤。
11、根據(jù)本發(fā)明的進一步實施例,所述預定義的翻譯錯誤包括以下中的一者:所述翻譯對中的所述目標語句為空,或,所述目標語句與所述源語句完全相等。
12、根據(jù)本發(fā)明的進一步實施例,得到所述語義翻譯質(zhì)量評估得分進一步包括:經(jīng)由翻譯應用程序接口來獲取針對所述翻譯對中的所述源語句的一個或多個參考譯文。
13、根據(jù)本發(fā)明的進一步實施例,得到所述語義翻譯質(zhì)量評估得分進一步包括:將所述目標語句和所述一個或多個參考譯文輸入所述經(jīng)訓練的句子嵌入網(wǎng)絡來得到句子嵌入網(wǎng)絡評估得分;計算所述目標語句和所述一個或多個參考譯文的bleu評價指標值;以及將所述句子嵌入網(wǎng)絡評估得分以及所述bleu評價指標值相組合以得到所述語義翻譯質(zhì)量評估得分。
14、根據(jù)本發(fā)明的進一步實施例,所述術(shù)語翻譯質(zhì)量評估得分標識所述源語句中的術(shù)語是否在所述目標語句中被翻譯為所述術(shù)語翻譯庫中與所述術(shù)語相對應的一個或多個翻譯術(shù)語中的首選翻譯術(shù)語。
15、根據(jù)本發(fā)明的又一個方面,提供了一種語義評估系統(tǒng),包括:離線訓練子系統(tǒng),所述離線訓練子系統(tǒng)被配置成采用不同語言的經(jīng)標注句子對來訓練語義級別的句子嵌入網(wǎng)絡,其中所述經(jīng)標注句子對包括具有相同語義的經(jīng)標注句子對以及具有不相同語義的經(jīng)標注句子對;在線評估子系統(tǒng),所述在線評估子系統(tǒng)包括如上所述的語義評估模塊。
16、根據(jù)本發(fā)明的進一步實施例,經(jīng)訓練的句子嵌入網(wǎng)絡能夠基于兩個語句的特征向量來評估這兩個語句之間的語義相似度。
17、通過閱讀下面的詳細描述并參考相關(guān)聯(lián)的附圖,這些及其他特點和優(yōu)點將變得顯而易見。應該理解,前面的概括說明和下面的詳細描述只是說明性的,不會對所要求保護的各方面形成限制。
1.一種語義評估方法,包括:
2.如權(quán)利要求1所述的方法,進一步包括:對所述翻譯對進行數(shù)據(jù)預處理,以判斷所述翻譯對中的所述目標語句是否存在預定義的翻譯錯誤。
3.如權(quán)利要求2所述的方法,其特征在于,所述預定義的翻譯錯誤包括以下中的一者:
4.如權(quán)利要求1所述的方法,其特征在于,所述經(jīng)訓練的句子嵌入網(wǎng)絡能夠基于兩個語句的特征向量來評估這兩個語句之間的語義相似度。
5.如權(quán)利要求4所述的方法,其特征在于,得到所述語義翻譯質(zhì)量評估得分進一步包括:
6.如權(quán)利要求5所述的方法,其特征在于,得到所述語義翻譯質(zhì)量評估得分進一步包括:
7.如權(quán)利要求1所述的方法,其特征在于,所述術(shù)語翻譯質(zhì)量評估得分標識所述源語句中的術(shù)語是否在所述目標語句中被翻譯為所述術(shù)語翻譯庫中與所述術(shù)語相對應的一個或多個翻譯術(shù)語中的首選翻譯術(shù)語。
8.一種語義評估系統(tǒng),包括:
9.如權(quán)利要求8所述的系統(tǒng),進一步包括:
10.如權(quán)利要求8所述的系統(tǒng),其特征在于,所述預定義的翻譯錯誤包括以下中的一者:所述翻譯對中的所述目標語句為空,或,所述目標語句與所述源語句完全相等。
11.如權(quán)利要求8所述的系統(tǒng),其特征在于,得到所述語義翻譯質(zhì)量評估得分進一步包括:
12.如權(quán)利要求11所述的系統(tǒng),其特征在于,得到所述語義翻譯質(zhì)量評估得分進一步包括:
13.如權(quán)利要求8所述的系統(tǒng),其特征在于,所述術(shù)語翻譯質(zhì)量評估得分標識所述源語句中的術(shù)語是否在所述目標語句中被翻譯為所述術(shù)語翻譯庫中與所述術(shù)語相對應的一個或多個翻譯術(shù)語中的首選翻譯術(shù)語。
14.一種語義評估系統(tǒng),包括:
15.如權(quán)利要求14所述的系統(tǒng),其特征在于,經(jīng)訓練的句子嵌入網(wǎng)絡能夠基于兩個語句的特征向量來評估這兩個語句之間的語義相似度。