本公開涉及人工智能，尤其涉及一種推理結(jié)果的生成方法、推理結(jié)果的生成裝置、計(jì)算機(jī)存儲(chǔ)介質(zhì)和電子設(shè)備。

背景技術(shù)：

1、隨著人工智能的快速發(fā)展，大語言模型(large?language?model，簡稱llm)憑借其強(qiáng)大的意圖識(shí)別能力和對(duì)語言文本含義的深刻理解，可以處理多種復(fù)雜的自然語言任務(wù)，例如文本分類、智能問答、人機(jī)對(duì)話等。而思維鏈?zhǔn)且环N有助于提高llm模型邏輯推理能力的提示方法，其能夠?qū)?fù)雜問題分解成多個(gè)邏輯上連貫的中間步驟，進(jìn)而有助于llm模型更有效地解決復(fù)雜任務(wù)以及提高llm模型的性能。

2、然而，思維鏈的一個(gè)重要缺陷是其缺乏事實(shí)正確性，進(jìn)而使得llm模型存在一定編造事實(shí)和細(xì)節(jié)的傾向，導(dǎo)致生成不準(zhǔn)確的推理內(nèi)容，進(jìn)而嚴(yán)重影響llm模型的性能，削弱應(yīng)用的可信度和有效性，進(jìn)而降低用戶的信任度。

技術(shù)實(shí)現(xiàn)思路

1、本公開提供了一種推理結(jié)果的生成方法、推理結(jié)果的生成裝置、計(jì)算機(jī)存儲(chǔ)介質(zhì)和電子設(shè)備，進(jìn)而減少模型不準(zhǔn)確推理結(jié)果的生成，提高事實(shí)正確性，進(jìn)而提高模型性能，提升應(yīng)用的可信度和有效性，進(jìn)而提高用戶的信任度。

2、第一方面，本公開一個(gè)實(shí)施例提供了一種推理結(jié)果的生成方法，該方法包括：獲取待推理問題，生成待推理問題對(duì)應(yīng)目標(biāo)數(shù)量的推理示例，得到推理示例集合，推理示例集合中的各推理示例用于表征將待推理問題通過至少一個(gè)中間推理步驟得到對(duì)應(yīng)推理結(jié)果的示例；將待推理問題和推理示例集合輸入至預(yù)設(shè)的大語言模型中，使大語言模型基于推理示例集合中的各推理示例，對(duì)待推理問題進(jìn)行推理解答，得到待推理問題對(duì)應(yīng)的第一推理結(jié)果；基于大語言模型，確定與第一推理結(jié)果匹配的目標(biāo)推理問題；通過搜索引擎對(duì)目標(biāo)推理問題進(jìn)行搜索，根據(jù)搜索結(jié)果對(duì)第一推理結(jié)果進(jìn)行修正，得到修正后的第二推理結(jié)果。

3、在本公開一個(gè)可選的實(shí)施例中，生成待推理問題對(duì)應(yīng)目標(biāo)數(shù)量的推理示例組成的推理示例集合，包括：確定大語言模型對(duì)待推理問題的不確定性評(píng)分；生成與不確定性評(píng)分對(duì)應(yīng)數(shù)量的推理示例，得到推理示例集合。

4、在本公開一個(gè)可選的實(shí)施例中，確定大語言模型對(duì)待推理問題的不確定性評(píng)分，包括：

5、基于大語言模型，生成待推理問題對(duì)應(yīng)的多個(gè)推理結(jié)果；

6、基于大語言模型確定多個(gè)推理結(jié)果的不確定性程度，得到大語言模型對(duì)待推理問題的不確定性評(píng)分；或者，從多個(gè)推理結(jié)果中確定推理結(jié)果相同的占比，并基于推理結(jié)果相同的占比確定大語言模型對(duì)待推理問題的不確定性評(píng)分；或者，確定多個(gè)推理結(jié)果的方差值，并基于方差值確定大語言模型對(duì)待推理問題的不確定性評(píng)分；或者，確定多個(gè)推理結(jié)果的熵值，并基于熵值確定大語言模型對(duì)待推理問題的不確定性評(píng)分。

7、在本公開一個(gè)可選的實(shí)施例中，該方法還包括：基于思維鏈提示模板對(duì)待推理問題進(jìn)行問題分解，得到待推理問題對(duì)應(yīng)的多個(gè)子問題，以便針對(duì)待推理問題對(duì)應(yīng)的每個(gè)子問題，生成子問題對(duì)應(yīng)目標(biāo)數(shù)量的推理示例。

8、在本公開一個(gè)可選的實(shí)施例中，將待推理問題和推理示例集合輸入至預(yù)設(shè)的大語言模型中，使大語言模型基于推理示例集合中的各推理示例，對(duì)待推理問題進(jìn)行推理解答，得到待推理問題對(duì)應(yīng)的第一推理結(jié)果，包括：對(duì)待推理問題進(jìn)行多次的問題改寫，并將多個(gè)改寫后的待推理問題和推理示例集合分別輸入至大語言模型中，使大語言模型基于推理示例集合中的各推理示例，對(duì)多個(gè)改寫后的待推理問題進(jìn)行推理解答，得到多個(gè)初始推理結(jié)果；根據(jù)預(yù)設(shè)檢測規(guī)則對(duì)多個(gè)初始推理結(jié)果進(jìn)行推理結(jié)果的一致性校驗(yàn)，得到一致性校驗(yàn)結(jié)果，根據(jù)一致性校驗(yàn)結(jié)果確定第一推理結(jié)果。

9、在本公開一個(gè)可選的實(shí)施例中，根據(jù)預(yù)設(shè)檢測規(guī)則對(duì)多個(gè)初始推理結(jié)果進(jìn)行推理結(jié)果的一致性校驗(yàn)，得到一致性校驗(yàn)結(jié)果，根據(jù)一致性校驗(yàn)結(jié)果確定第一推理結(jié)果，包括：

10、對(duì)多個(gè)初始推理結(jié)果進(jìn)行推理結(jié)論的統(tǒng)計(jì)分析實(shí)現(xiàn)一致性校驗(yàn)，若多個(gè)初始推理結(jié)果對(duì)應(yīng)的推理結(jié)論一致，則將多個(gè)初始推理結(jié)果中的任一初始推理結(jié)果確定為第一推理結(jié)果；

11、或者，基于嵌入相似語句對(duì)多個(gè)初始推理結(jié)果分別進(jìn)行的語義分析實(shí)現(xiàn)一致性校驗(yàn)，若多個(gè)初始推理結(jié)果對(duì)應(yīng)的語義相同，則將多個(gè)初始推理結(jié)果中的任一初始推理結(jié)果確定為第一推理結(jié)果；

12、或者，對(duì)多個(gè)初始推理結(jié)果進(jìn)行推理結(jié)論的統(tǒng)計(jì)分析實(shí)現(xiàn)一致性校驗(yàn)的校驗(yàn)結(jié)果，與基于嵌入相似語句對(duì)多個(gè)初始推理結(jié)果分別進(jìn)行的語義分析實(shí)現(xiàn)一致性校驗(yàn)的校驗(yàn)結(jié)果進(jìn)行加權(quán)合并，得到第一推理結(jié)果。

13、在本公開一個(gè)可選的實(shí)施例中，根據(jù)搜索結(jié)果對(duì)第一推理結(jié)果進(jìn)行修正，得到修正后的第二推理結(jié)果，包括：若搜索結(jié)果中至少包含數(shù)值類信息，則將搜索結(jié)果中的數(shù)值類信息與第一推理結(jié)果的數(shù)值類信息進(jìn)行數(shù)值匹配，以在數(shù)值不匹配時(shí)，基于搜索結(jié)果中的數(shù)值類信息對(duì)第一推理結(jié)果進(jìn)行修正，得到修正后的第二推理結(jié)果；若搜索結(jié)果中至少包含文本信息，則基于大語言模型確定搜索結(jié)果的語義信息與第一推理結(jié)果的語義信息是否相符，以在語義信息不相符時(shí)，基于搜索結(jié)果的語義信息對(duì)第一推理結(jié)果進(jìn)行修正，得到修正后的第二推理結(jié)果。

14、第二方面，本公開一個(gè)實(shí)施例提供了一種推理結(jié)果的生成裝置，該裝置包括：推理示例生成模塊，用于獲取待推理問題，生成待推理問題對(duì)應(yīng)目標(biāo)數(shù)量的推理示例，得到推理示例集合，推理示例集合中的各推理示例用于表征將待推理問題通過至少一個(gè)中間推理步驟得到對(duì)應(yīng)推理結(jié)果的示例；推理解答模塊，用于將待推理問題和推理示例集合輸入至預(yù)設(shè)的大語言模型中，使大語言模型基于推理示例集合中的各推理示例，對(duì)待推理問題進(jìn)行推理解答，得到待推理問題對(duì)應(yīng)的第一推理結(jié)果；問題確定模塊，用于基于大語言模型，確定與第一推理結(jié)果匹配的目標(biāo)推理問題；推理結(jié)果修正模塊，用于通過搜索引擎對(duì)目標(biāo)推理問題進(jìn)行搜索，根據(jù)搜索結(jié)果對(duì)第一推理結(jié)果進(jìn)行修正，得到修正后的第二推理結(jié)果。

15、在本公開一個(gè)可選的實(shí)施例中，該推理示例生成模塊具體用于，確定大語言模型對(duì)待推理問題的不確定性評(píng)分；生成與不確定性評(píng)分對(duì)應(yīng)數(shù)量的推理示例，得到推理示例集合。

16、在本公開一個(gè)可選的實(shí)施例中，該推理示例生成模塊具體用于，基于大語言模型，生成待推理問題對(duì)應(yīng)的多個(gè)推理結(jié)果；

17、基于大語言模型確定多個(gè)推理結(jié)果的不確定性程度，得到大語言模型對(duì)待推理問題的不確定性評(píng)分；

18、或者，該推理示例生成模塊具體用于，基于大語言模型，生成待推理問題對(duì)應(yīng)的多個(gè)推理結(jié)果；從多個(gè)推理結(jié)果中確定推理結(jié)果相同的占比，并基于推理結(jié)果相同的占比確定大語言模型對(duì)待推理問題的不確定性評(píng)分；

19、或者，該推理示例生成模塊具體用于，基于大語言模型，生成待推理問題對(duì)應(yīng)的多個(gè)推理結(jié)果；確定多個(gè)推理結(jié)果的方差值，并基于方差值確定大語言模型對(duì)待推理問題的不確定性評(píng)分；

20、或者，該推理示例生成模塊具體用于，基于大語言模型，生成待推理問題對(duì)應(yīng)的多個(gè)推理結(jié)果；確定多個(gè)推理結(jié)果的熵值，并基于熵值確定大語言模型對(duì)待推理問題的不確定性評(píng)分。

21、在本公開一個(gè)可選的實(shí)施例中，該裝置還包含問題分解模塊，問題分解模塊用于基于思維鏈提示模板對(duì)待推理問題進(jìn)行問題分解，得到待推理問題對(duì)應(yīng)的多個(gè)子問題，以便針對(duì)待推理問題對(duì)應(yīng)的每個(gè)子問題，生成子問題對(duì)應(yīng)目標(biāo)數(shù)量的推理示例。

22、在本公開一個(gè)可選的實(shí)施例中，推理解答模塊，用于對(duì)待推理問題進(jìn)行多次的問題改寫，并將多個(gè)改寫后的待推理問題和推理示例集合分別輸入至大語言模型中，使大語言模型基于推理示例集合中的各推理示例，對(duì)多個(gè)改寫后的待推理問題進(jìn)行推理解答，得到多個(gè)初始推理結(jié)果；根據(jù)預(yù)設(shè)檢測規(guī)則對(duì)多個(gè)初始推理結(jié)果進(jìn)行推理結(jié)果的一致性校驗(yàn)，得到一致性校驗(yàn)結(jié)果，根據(jù)一致性校驗(yàn)結(jié)果確定第一推理結(jié)果。

23、在本公開一個(gè)可選的實(shí)施例中，推理解答模塊，用于對(duì)多個(gè)初始推理結(jié)果進(jìn)行推理結(jié)論的統(tǒng)計(jì)分析實(shí)現(xiàn)一致性校驗(yàn)，若多個(gè)初始推理結(jié)果對(duì)應(yīng)的推理結(jié)論一致，則將多個(gè)初始推理結(jié)果中的任一初始推理結(jié)果確定為第一推理結(jié)果；

24、或者，推理解答模塊，用于基于嵌入相似語句對(duì)多個(gè)初始推理結(jié)果分別進(jìn)行的語義分析實(shí)現(xiàn)一致性校驗(yàn)，若多個(gè)初始推理結(jié)果對(duì)應(yīng)的語義相同，則將多個(gè)初始推理結(jié)果中的任一初始推理結(jié)果確定為第一推理結(jié)果；

25、或者，推理解答模塊，用于對(duì)多個(gè)初始推理結(jié)果進(jìn)行推理結(jié)論的統(tǒng)計(jì)分析實(shí)現(xiàn)一致性校驗(yàn)的校驗(yàn)結(jié)果，與基于嵌入相似語句對(duì)多個(gè)初始推理結(jié)果分別進(jìn)行的語義分析實(shí)現(xiàn)一致性校驗(yàn)的校驗(yàn)結(jié)果進(jìn)行加權(quán)合并，得到第一推理結(jié)果。

26、在本公開一個(gè)可選的實(shí)施例中，推理結(jié)果修正模塊，用于若搜索結(jié)果中至少包含數(shù)值類信息，則將搜索結(jié)果中的數(shù)值類信息與第一推理結(jié)果的數(shù)值類信息進(jìn)行數(shù)值匹配，以在數(shù)值不匹配時(shí)，基于搜索結(jié)果中的數(shù)值類信息對(duì)第一推理結(jié)果進(jìn)行修正，得到修正后的第二推理結(jié)果；若搜索結(jié)果中至少包含文本信息，則基于大語言模型確定搜索結(jié)果的語義信息與第一推理結(jié)果的語義信息是否相符，以在語義信息不相符時(shí)，基于搜索結(jié)果的語義信息對(duì)第一推理結(jié)果進(jìn)行修正，得到修正后的第二推理結(jié)果。

27、第三方面，本公開一個(gè)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上的推理結(jié)果的生成方法。

28、第四方面，本公開一個(gè)實(shí)施例提供了一種電子設(shè)備，包括：處理器；以及存儲(chǔ)器，用于存儲(chǔ)處理器的可執(zhí)行指令；其中，處理器配置為經(jīng)由執(zhí)行可執(zhí)行指令來執(zhí)行如上的推理結(jié)果的生成方法。

29、第五方面，本公開一個(gè)實(shí)施例提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行實(shí)現(xiàn)如上的推理結(jié)果的生成方法。

30、本公開的技術(shù)方案具有以下有益效果：

31、上述推理結(jié)果的生成方法，通過獲取待推理問題，生成待推理問題對(duì)應(yīng)目標(biāo)數(shù)量的推理示例，得到推理示例集合，推理示例集合中的各推理示例用于表征將待推理問題通過至少一個(gè)中間推理步驟得到對(duì)應(yīng)推理結(jié)果的示例；將待推理問題和推理示例集合輸入至預(yù)設(shè)的大語言模型中，使大語言模型基于推理示例集合中的各推理示例，對(duì)待推理問題進(jìn)行推理解答，得到待推理問題對(duì)應(yīng)的第一推理結(jié)果；基于大語言模型，確定與第一推理結(jié)果匹配的目標(biāo)推理問題；通過搜索引擎對(duì)目標(biāo)推理問題進(jìn)行搜索，根據(jù)搜索結(jié)果對(duì)第一推理結(jié)果進(jìn)行修正，得到修正后的第二推理結(jié)果。

32、一方面，該方法中生成的推理示例中包含了基于思維鏈生成的中間推理步驟，從而形成事實(shí)推理鏈，以使大語言模型按照推理示例中的中間步驟生成具有推理過程的推理結(jié)果，從而有助于提高模型的可解釋性，使得用戶可以更清晰、直觀的了解模型在實(shí)現(xiàn)推理過程中的處理邏輯。另一方面，將推理示例引入大語言模型，以使大語言模型基于推理示例集合中的各推理示例，對(duì)待推理問題進(jìn)行推理解答，有助于提高大語言模型在復(fù)雜推理任務(wù)中的表現(xiàn)，減少大語言模型在接收到用戶輸入的待推理內(nèi)容時(shí)，無法準(zhǔn)確了解用戶的意圖，以便提高模型生成推理結(jié)果的準(zhǔn)確性。再一方面，通過搜索引擎引入外部知識(shí)以驗(yàn)證模型生成的推理結(jié)果的真實(shí)性，可以更好地控制模型生成的推理結(jié)果內(nèi)容，從而確保生成的推理結(jié)果內(nèi)容與外部知識(shí)一致，達(dá)到減少不準(zhǔn)確文本的生成，提高了推理結(jié)果事實(shí)正確性的技術(shù)效果。

33、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本公開。