本技術(shù)涉及人工智能，具體涉及一種數(shù)據(jù)處理方法以及相關(guān)設(shè)備。

背景技術(shù)：

1、人工智能(artificial?intelligence,ai)是利用數(shù)字計(jì)算機(jī)或者數(shù)字計(jì)算機(jī)控制的機(jī)器模擬、延伸和擴(kuò)展人的智能，感知環(huán)境、獲取知識(shí)并使用知識(shí)獲得最佳結(jié)果的理論、方法、技術(shù)及應(yīng)用系統(tǒng)。換句話說，人工智能是計(jì)算機(jī)科學(xué)的一個(gè)分支，它企圖了解智能的實(shí)質(zhì)，并生產(chǎn)出一種新的能以人類智能相似的方式作出反應(yīng)的智能機(jī)器。人工智能也就是研究各種智能機(jī)器的設(shè)計(jì)原理與實(shí)現(xiàn)方法，使機(jī)器具有感知、推理與決策的功能。人工智能領(lǐng)域的研究包括機(jī)器人，自然語言處理，計(jì)算機(jī)視覺，決策與推理，人機(jī)交互，推薦與搜索，ai基礎(chǔ)理論等。

2、在實(shí)際的應(yīng)用場(chǎng)景中，神經(jīng)網(wǎng)絡(luò)可能會(huì)受到對(duì)抗攻擊，也即是說，對(duì)于輸入的輕微擾動(dòng)可以導(dǎo)致神經(jīng)網(wǎng)絡(luò)的異常行為，例如可以使得執(zhí)行分類任務(wù)的神經(jīng)網(wǎng)絡(luò)錯(cuò)誤分類，或者使得執(zhí)行文本翻譯任務(wù)的神經(jīng)網(wǎng)絡(luò)翻譯出含義截然不同的句子。

3、目前，一種提升神經(jīng)網(wǎng)絡(luò)的魯棒性的方法是對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)抗訓(xùn)練。對(duì)抗訓(xùn)練通常需要針特定的場(chǎng)景，反復(fù)調(diào)用神經(jīng)網(wǎng)絡(luò)來生成對(duì)抗樣本，這一過程需要消耗大量資源，并且所生成的對(duì)抗樣本以及相應(yīng)的對(duì)抗訓(xùn)練會(huì)受到使用場(chǎng)景的限制，也即是說僅能改進(jìn)特定使用場(chǎng)景下神經(jīng)網(wǎng)絡(luò)的魯棒性。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供了一種數(shù)據(jù)處理方法，可以方便高效地在多種應(yīng)用場(chǎng)景中提升神經(jīng)網(wǎng)絡(luò)的魯棒性。本技術(shù)還提供了相應(yīng)的裝置、設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品等。

2、本技術(shù)第一方面提供一種數(shù)據(jù)處理方法，該方法包括：獲取待處理數(shù)據(jù)，待處理數(shù)據(jù)中包括m個(gè)數(shù)據(jù)分量，m為大于1的整數(shù)；通過神經(jīng)網(wǎng)絡(luò)中的至少一個(gè)編碼器對(duì)待處理數(shù)據(jù)進(jìn)行處理，獲得數(shù)據(jù)處理結(jié)果，其中，每個(gè)編碼器包括至少一個(gè)注意力網(wǎng)絡(luò)；在通過至少一個(gè)編碼器中的任一編碼器對(duì)待處理數(shù)據(jù)進(jìn)行處理時(shí)，方法包括：通過編碼器的注意力網(wǎng)絡(luò)對(duì)待處理數(shù)據(jù)進(jìn)行處理，獲得相應(yīng)注意力網(wǎng)絡(luò)根據(jù)待處理數(shù)據(jù)所獲得的第一相關(guān)性矩陣，第一相關(guān)性矩陣用于描述相應(yīng)注意力網(wǎng)絡(luò)中待處理數(shù)據(jù)的查詢矩陣和鍵矩陣之間的相關(guān)性；根據(jù)每個(gè)注意力網(wǎng)絡(luò)所獲得的第一相關(guān)性矩陣，從m個(gè)數(shù)據(jù)分量中，確定n個(gè)目標(biāo)數(shù)據(jù)分量，n為正整數(shù)，且n不大于m；根據(jù)n個(gè)目標(biāo)數(shù)據(jù)分量和每個(gè)注意力網(wǎng)絡(luò)所獲得的第一相關(guān)性矩陣，獲得每個(gè)注意力網(wǎng)絡(luò)的注意力結(jié)果；根據(jù)編碼器中每個(gè)注意力網(wǎng)絡(luò)的注意力結(jié)果，獲得編碼器的輸出，編碼器的輸出用于獲得數(shù)據(jù)處理結(jié)果。

3、在第一方面中，提出了一種動(dòng)態(tài)注意力機(jī)制，在該動(dòng)態(tài)注意力機(jī)制中，可以從待處理數(shù)據(jù)中確定出注意力信息符合預(yù)設(shè)要求(例如注意力較高)的目標(biāo)數(shù)據(jù)分量，從而對(duì)該目標(biāo)數(shù)據(jù)分量的注意力信息進(jìn)行動(dòng)態(tài)調(diào)整，例如，可以弱化甚至遮蔽注意力值較高的目標(biāo)數(shù)據(jù)分量，從而避免異常信息傳入后續(xù)的處理層，從而減弱對(duì)抗樣本的影響，提升神經(jīng)網(wǎng)絡(luò)的魯棒性。

4、在第一方面的一種可能的實(shí)現(xiàn)方式中，根據(jù)每個(gè)注意力網(wǎng)絡(luò)所獲得的第一相關(guān)性矩陣，從m個(gè)數(shù)據(jù)分量中，確定n個(gè)目標(biāo)數(shù)據(jù)分量，包括：根據(jù)每個(gè)注意力網(wǎng)絡(luò)所獲得的第一相關(guān)性矩陣，確定每個(gè)數(shù)據(jù)分量對(duì)應(yīng)的注意力值；根據(jù)每個(gè)數(shù)據(jù)分量對(duì)應(yīng)的注意力值，從m個(gè)數(shù)據(jù)分量中，確定n個(gè)目標(biāo)數(shù)據(jù)分量。

5、該種可能的實(shí)現(xiàn)方式中，從m個(gè)數(shù)據(jù)分量中，確定n個(gè)目標(biāo)數(shù)據(jù)分量的方式可以有多種。

6、在一種示例中，在文本分類任務(wù)中，可以對(duì)m個(gè)數(shù)據(jù)分量的注意力值進(jìn)行排序，然后選取注意力值最高的前n個(gè)數(shù)據(jù)分量以作為目標(biāo)數(shù)據(jù)分量。

7、而在另一種示例中，在文本生成任務(wù)中，選取注意力值最高的前a個(gè)數(shù)據(jù)分量之后的n個(gè)數(shù)據(jù)分量以作為目標(biāo)數(shù)據(jù)分量，也即是說，可以選取注意力值的排序?yàn)榈赼個(gè)到第b個(gè)的數(shù)據(jù)分量以作為目標(biāo)數(shù)據(jù)分量，其中，b-a＝n-1，并且，a大于1而b不大于m。

8、在第一方面的一種可能的實(shí)現(xiàn)方式中，根據(jù)n個(gè)目標(biāo)數(shù)據(jù)分量和每個(gè)注意力網(wǎng)絡(luò)所獲得的第一相關(guān)性矩陣，獲得每個(gè)注意力網(wǎng)絡(luò)的注意力結(jié)果，包括：在任一注意力網(wǎng)絡(luò)所獲得的第一相關(guān)性矩陣中，調(diào)整n個(gè)目標(biāo)數(shù)據(jù)分量對(duì)應(yīng)的元素，獲得調(diào)整后的第一相關(guān)性矩陣；根據(jù)調(diào)整后的第一相關(guān)性矩陣，獲得相應(yīng)注意力網(wǎng)絡(luò)的注意力結(jié)果。

9、該種可能的實(shí)現(xiàn)方式中，示例性地，第一相關(guān)性矩陣中的一列對(duì)應(yīng)一個(gè)數(shù)據(jù)分量，因此，第一相關(guān)性矩陣中，某個(gè)目標(biāo)數(shù)據(jù)分量對(duì)應(yīng)的元素為該目標(biāo)數(shù)據(jù)分量在第一相關(guān)性矩陣中對(duì)應(yīng)的一列。在一些場(chǎng)景中，可以減小第一相關(guān)性矩陣中目標(biāo)數(shù)據(jù)分量對(duì)應(yīng)的元素，以弱化甚至遮蔽這部分?jǐn)?shù)據(jù)分量的注意力信息。不同目標(biāo)數(shù)據(jù)分量對(duì)應(yīng)的元素的調(diào)整幅度可以相同，也可以不同，此外，同一目標(biāo)數(shù)據(jù)分量對(duì)應(yīng)的元素可以部分調(diào)整，也可以全部地進(jìn)行調(diào)整。

10、在第一方面的一種可能的實(shí)現(xiàn)方式中，在任一注意力網(wǎng)絡(luò)所獲得的第一相關(guān)性矩陣中，調(diào)整n個(gè)目標(biāo)數(shù)據(jù)分量對(duì)應(yīng)的元素，獲得調(diào)整后的第一相關(guān)性矩陣，包括：在任一注意力網(wǎng)絡(luò)所獲得的第一相關(guān)性矩陣中，根據(jù)相應(yīng)的預(yù)設(shè)系數(shù)，調(diào)整n個(gè)目標(biāo)數(shù)據(jù)分量對(duì)應(yīng)的元素，獲得調(diào)整后的第一相關(guān)性矩陣，預(yù)設(shè)系數(shù)小于1。

11、該種可能的實(shí)現(xiàn)方式中，該預(yù)設(shè)系數(shù)的取值可以有多種情況。示例性地，在文本分類任務(wù)中，β可以取0，而文本生成任務(wù)中，β可以取0.5。

12、這樣，可以弱化甚至遮蔽注意力值較高的數(shù)據(jù)分量，避免異常信息傳入下一層，從而減弱對(duì)抗樣本的影響。

13、在第一方面的一種可能的實(shí)現(xiàn)方式中，根據(jù)編碼器中每個(gè)注意力網(wǎng)絡(luò)的注意力結(jié)果，獲得編碼器的輸出，包括：根據(jù)編碼器中每個(gè)注意力網(wǎng)絡(luò)的注意力結(jié)果進(jìn)行第一處理，獲得第一張量；將第一張量中第一比例的元素設(shè)置為第一預(yù)設(shè)值，以獲得第二張量；根據(jù)第二張量，獲得編碼器的輸出。

14、該種可能的實(shí)現(xiàn)方式中，可以采用隨機(jī)失活機(jī)制，對(duì)編碼器中的注意力結(jié)果的后續(xù)處理進(jìn)行進(jìn)一步的改進(jìn)，以進(jìn)一步地提升神經(jīng)網(wǎng)絡(luò)的魯棒性。

15、在第一方面的一種可能的實(shí)現(xiàn)方式中，第二張量中第一比例的元素是隨機(jī)選擇的。

16、在第一方面的一種可能的實(shí)現(xiàn)方式中，根據(jù)第二張量，獲得編碼器的輸出，包括：對(duì)第二張量進(jìn)行第二處理，獲得第三張量；將第三張量中第二比例的元素設(shè)置為第二預(yù)設(shè)值，以獲得第四張量；根據(jù)第四張量，獲得編碼器的輸出。

17、該種可能的實(shí)現(xiàn)方式中，在根據(jù)第二張量，獲得編碼器的輸出的過程中，也可以采用隨機(jī)失活機(jī)制進(jìn)一步地進(jìn)行改進(jìn)。

18、在第一方面的一種可能的實(shí)現(xiàn)方式中，第三張量中第二比例的元素是隨機(jī)選擇的。

19、本技術(shù)第二方面提供一種數(shù)據(jù)處理裝置，該裝置具有實(shí)現(xiàn)上述第一方面或第一方面任意一種可能實(shí)現(xiàn)方式的方法的功能。該功能可以通過硬件實(shí)現(xiàn)，也可以通過硬件執(zhí)行相應(yīng)的軟件實(shí)現(xiàn)。該硬件或軟件包括一個(gè)或多個(gè)與上述功能相對(duì)應(yīng)的模塊，例如獲取模塊以及處理模塊。

20、本技術(shù)第三方面提供一種電子設(shè)備，該電子設(shè)備包括至少一個(gè)處理器、存儲(chǔ)器以及存儲(chǔ)在存儲(chǔ)器中并可在處理器上運(yùn)行的計(jì)算機(jī)執(zhí)行指令，當(dāng)計(jì)算機(jī)執(zhí)行指令被處理器執(zhí)行時(shí)，處理器執(zhí)行如上述第一方面或第一方面任意一種可能的實(shí)現(xiàn)方式的方法。

21、本技術(shù)第四方面提供一種存儲(chǔ)一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，當(dāng)計(jì)算機(jī)執(zhí)行指令被處理器執(zhí)行時(shí)，處理器執(zhí)行如上述第一方面或第一方面任意一種可能的實(shí)現(xiàn)方式的方法。

22、本技術(shù)第五方面提供一種存儲(chǔ)一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)計(jì)算機(jī)執(zhí)行指令被處理器執(zhí)行時(shí)，處理器執(zhí)行如上述第一方面或第一方面任意一種可能的實(shí)現(xiàn)方式的方法。

23、本技術(shù)第六方面提供了一種芯片系統(tǒng)，該芯片系統(tǒng)包括處理器，用于支持電子設(shè)備實(shí)現(xiàn)上述第一方面或第一方面任意一種可能的實(shí)現(xiàn)方式中所涉及的功能。在一種可能的設(shè)計(jì)中，芯片系統(tǒng)還可以包括存儲(chǔ)器，存儲(chǔ)器用于保存電子設(shè)備必要的程序指令和數(shù)據(jù)。該芯片系統(tǒng)，可以由芯片構(gòu)成，也可以包含芯片和其他分立器件。

24、其中，第二方面至第六方面或者其中任一種可能實(shí)現(xiàn)方式所帶來的技術(shù)效果可參見第一方面或第一方面的相關(guān)可能實(shí)現(xiàn)方式所帶來的技術(shù)效果，此處不再贅述。