本發(fā)明涉及大語(yǔ)言模型，尤其是涉及一種機(jī)器生成文本檢測(cè)方法、裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、大語(yǔ)言模型(llms)在各個(gè)領(lǐng)域已產(chǎn)生了深遠(yuǎn)影響。這些模型在新聞報(bào)道、故事寫作和學(xué)術(shù)研究等多元領(lǐng)域提升了生產(chǎn)力。然而，它們的誤用也帶來(lái)了一些問(wèn)題，特別是在假新聞、惡意產(chǎn)品評(píng)論和剽竊方面。這些模型生成的內(nèi)容流暢連貫，甚至讓專家都難以辨別其來(lái)源是人類還是機(jī)器。因此，我們需要可靠的機(jī)器生成文本檢測(cè)方法來(lái)解決這個(gè)問(wèn)題。

2、現(xiàn)有的檢測(cè)器主要分為兩類：有監(jiān)督分類器和零樣本分類器。雖然有監(jiān)督分類器在其特定訓(xùn)練領(lǐng)域表現(xiàn)出色，但在面對(duì)來(lái)自不同領(lǐng)域或不熟悉模型生成的文本時(shí)，其表現(xiàn)會(huì)變差。零樣本分類器則能夠免疫領(lǐng)域特定的退化，并且在檢測(cè)精度上可以與有監(jiān)督分類器相媲美。

3、然而，典型的零樣本分類器，如detectgpt和dna-gpt，需要執(zhí)行多次模型調(diào)用或與openai?api等服務(wù)交互來(lái)創(chuàng)建擾動(dòng)文本，這導(dǎo)致了過(guò)高的計(jì)算成本和較長(zhǎng)的計(jì)算時(shí)間。同時(shí)它需要用生成文本的源語(yǔ)言模型來(lái)進(jìn)行檢測(cè)的計(jì)算，使得該方法不能用于檢測(cè)由未知模型生成的文本。而比較高效的零樣本檢測(cè)器(比如fast-detectgpt)往往需要使用語(yǔ)言模型的完整預(yù)測(cè)分布(稱為白盒方法)，使得這些方法只能用于開(kāi)源大語(yǔ)言模型上(稱為白盒模型)，而不能用于最新最先進(jìn)的私有大語(yǔ)言模型上(稱為黑盒模型)。這些限制使得我們很難兼顧高效、準(zhǔn)確和通用等多項(xiàng)指標(biāo)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種兼顧高效、準(zhǔn)確和通用等多項(xiàng)指標(biāo)的機(jī)器生成文本檢測(cè)方法、裝置及存儲(chǔ)介質(zhì)。

2、本發(fā)明的目的可以通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)：

3、第一方面，本發(fā)明提供一種機(jī)器生成文本檢測(cè)方法，包括以下步驟：

4、獲取待檢測(cè)文本，由大語(yǔ)言模型根據(jù)上下文預(yù)測(cè)生成當(dāng)前位置上top-k詞的概率；

5、采用概率分布估計(jì)算法，根據(jù)所述top-k詞的概率，估計(jì)獲得完整分布概率；

6、根據(jù)所述完整分布概率判斷待檢測(cè)文本是否為機(jī)器生成文本。

7、進(jìn)一步地，所述估計(jì)獲得完整分布概率時(shí)，將估計(jì)問(wèn)題視為一個(gè)約束滿足問(wèn)題，基本約束包括總概率約束和單調(diào)遞減約束。

8、進(jìn)一步地，所述估計(jì)獲得完整分布概率時(shí)，采用的參數(shù)化分布類型包括幾何分布、zipfian分布或mlp模型分布。

9、進(jìn)一步地，采用白盒檢測(cè)方法根據(jù)所述完整分布概率判斷待檢測(cè)文本是否為機(jī)器生成文本，所述白盒檢測(cè)方法包括entropy、rank、logrank或fast-detectgpt。

10、進(jìn)一步地，根據(jù)所述完整分布概率判斷待檢測(cè)文本是否為機(jī)器生成文本具體包括：

11、基于所述完整分布概率計(jì)算獲得條件概率曲率指標(biāo)；

12、根據(jù)所述條件概率曲率指標(biāo)及設(shè)定閾值，判斷待檢測(cè)文本是否為機(jī)器生成文本。

13、進(jìn)一步地，所述條件概率曲率指標(biāo)的獲得具體包括：

14、基于所述完整分布概率，從分布中隨機(jī)采樣若干個(gè)可能的候選詞；

15、采用大語(yǔ)言模型對(duì)所述候選詞進(jìn)行打分，計(jì)算候選詞概率；

16、比對(duì)文本序列在每個(gè)位置上實(shí)際詞概率和候選詞概率，計(jì)算獲得所述條件概率曲率指標(biāo)。

17、第二方面，本發(fā)明還提供一種機(jī)器生成文本檢測(cè)裝置，包括：

18、top-k詞概率生成模塊，用于獲取待檢測(cè)文本，由大語(yǔ)言模型根據(jù)上下文預(yù)測(cè)生成當(dāng)前位置上top-k詞的概率；

19、完整分布估計(jì)模塊，用于采用概率分布估計(jì)算法，根據(jù)所述top-k詞的概率，估計(jì)獲得完整分布概率；

20、檢測(cè)模塊，用于根據(jù)所述完整分布概率判斷待檢測(cè)文本是否為機(jī)器生成文本。

21、進(jìn)一步地，所述完整分布估計(jì)模塊中，將估計(jì)問(wèn)題視為一個(gè)約束滿足問(wèn)題，基本約束包括總概率約束和單調(diào)遞減約束。

22、進(jìn)一步地，所述檢測(cè)模塊中，采用白盒檢測(cè)方法根據(jù)所述完整分布概率判斷待檢測(cè)文本是否為機(jī)器生成文本，所述白盒檢測(cè)方法包括entropy、rank、logrank或fast-detectgpt。

23、第三方面，本發(fā)明還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括供電子設(shè)備的一個(gè)或多個(gè)處理器執(zhí)行的一個(gè)或多個(gè)程序，所述一個(gè)或多個(gè)程序包括用于執(zhí)行如上所述機(jī)器生成文本檢測(cè)法的指令。

24、與現(xiàn)有技術(shù)相比，本發(fā)明通過(guò)概率分布估計(jì)技術(shù)，使傳統(tǒng)的只能用于開(kāi)源模型的白盒檢測(cè)方法和黑盒私有模型相結(jié)合成為可能，將白盒方法的高效和黑盒模型的準(zhǔn)確和通用相結(jié)合，獲得超越已有方法的高檢測(cè)準(zhǔn)確率和通用性。本發(fā)明具有以下

25、有益效果：

26、1、速度快、成本低。速度上，本發(fā)明是detectgpt的100倍以上，是dna-gpt的4倍以上；成本上，是detectgpt的1％，是dna-gpt的1/10。給定一段待檢測(cè)的文本，detectgpt需要調(diào)用t5模型為這段文本生成100個(gè)擾動(dòng)文本(微小的局部改寫)，然后調(diào)用私有模型100次，分別給這100個(gè)擾動(dòng)文本打分，獲得它們的對(duì)數(shù)概率，進(jìn)而計(jì)算概率曲率指標(biāo)進(jìn)行判別。而dna-gpt將待檢測(cè)文本分成兩段，調(diào)用私有大模型補(bǔ)全第一段文本10次，獲得10個(gè)生成的第二段文本，計(jì)算生成的第二段文本和原始的第二段文本的相似性(n-gram重疊的比例)，進(jìn)而獲得檢測(cè)指標(biāo)。與這些方法不同，概率分布估計(jì)技術(shù)只需要調(diào)用模型一次，就能計(jì)算檢測(cè)指標(biāo)，無(wú)需生成任何新的文本。所以，本發(fā)明具有速度快、成本低的優(yōu)點(diǎn)。

27、2、準(zhǔn)確。和使用開(kāi)源模型(幾個(gè)b到幾十個(gè)b的參數(shù))的白盒方法相比，本發(fā)明基于概率分布估計(jì)技術(shù)pde，pde可以使用更大規(guī)模的私有模型(幾百個(gè)b到幾千個(gè)b的參數(shù))，以充分發(fā)揮大模型的能力。pde(fast-detectgpt)可以使用gpt-3.5作為打分模型，將使用開(kāi)源模型gpt-neo-2.7b的fast-detectgpt的平均準(zhǔn)確率91％，提升到96％(在5個(gè)源模型生成文本檢測(cè)上的平均，包括chatgpt、gpt-4、claude-3?sonnet、claude-3?opus和gemini-1.5pro)。而對(duì)比其它黑盒方法，雖然它們也使用私有大模型，但它們的使用方法不能充分挖掘大模型的能力。而pde能充分利用大模型的輸出分布信息，做出準(zhǔn)確的判斷。和dna-gpt(gpt-3.5)，pde(fast-detectgpt,gpt-3.5)準(zhǔn)確率的提升幅度更大，從dna-gpt的平均86％提升到pde的96％。

28、3、通用。在不同的領(lǐng)域和語(yǔ)言上本發(fā)明都能獲得較高的檢測(cè)準(zhǔn)確率。detectgpt和dna-gpt都假設(shè)用于生成文本的源模型已知，然后用這個(gè)已知的源模型作為打分模型，進(jìn)行檢測(cè)。如果文本來(lái)源于哪個(gè)模型未知，這些方法就不能準(zhǔn)確檢測(cè)此文本。pde(fast-detectgpt)可以使用固定的打分模型，比如gpt-3.5，就可以檢測(cè)來(lái)源于不同模型的文本。比如dna-gpt(gpt-3.5)檢測(cè)gpt-3.5生成的文本準(zhǔn)確率達(dá)到93％，但檢測(cè)gpt-4生成文本準(zhǔn)確率只有84％。而pde(fast-detectgpt，gpt-3.5)檢測(cè)gpt-3.5生成的文本準(zhǔn)確率達(dá)到98％，檢測(cè)gpt-4生成文本準(zhǔn)確率達(dá)到95％。進(jìn)一步的，除了英語(yǔ)外，在其它6個(gè)語(yǔ)言上，包括中文、俄語(yǔ)、烏爾都語(yǔ)、印度尼西亞語(yǔ)、阿拉伯語(yǔ)和保加利亞語(yǔ)，pde(fast-detectgpt，gpt-3.5)達(dá)到了平均97％的檢測(cè)準(zhǔn)確率，而fast-detectgpt(gpt-neo-2.7b)檢測(cè)準(zhǔn)確率只有92％。