本發(fā)明涉及人工智能，更具體地，涉及一種連通多個(gè)rag系統(tǒng)的數(shù)據(jù)流通方法。

背景技術(shù)：

1、如圖1所示，現(xiàn)在大模型通過(guò)使用單一檢索增強(qiáng)生成技術(shù)（retrieval-augmentedgeneration，rag）系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)要素應(yīng)用已經(jīng)十分流行，通過(guò)“用戶問(wèn)題輸入→執(zhí)行檢索→將檢索到的相關(guān)知識(shí)和用戶問(wèn)題相結(jié)合，形成增強(qiáng)提示→送入到大模型（llm）進(jìn)行生成響應(yīng)”的流程，結(jié)合信息檢索和大模型，在一定程度上能解決大模型的幻覺(jué)、知識(shí)更新維護(hù)困難，以及潛在的隱私數(shù)據(jù)泄露風(fēng)險(xiǎn)的等問(wèn)題。

2、例如，企業(yè)中有大量不同的部門(mén)/子公司，每個(gè)部門(mén)/子公司都有自己的本地rag系統(tǒng)存放著大量不同來(lái)源與類(lèi)型的信息，其中一些有著保密需求，另一些則被允許在部門(mén)或者子公司之間流通。單獨(dú)的rag系統(tǒng)存在一定的局限性，雖然目前越來(lái)越多的rag系統(tǒng)投入使用，但現(xiàn)有的rag系統(tǒng)大多是獨(dú)立運(yùn)行的，數(shù)據(jù)要素?zé)o法互通，這限制了它們?cè)诟蠓秶鷥?nèi)的應(yīng)用潛力和價(jià)值。比如，單獨(dú)的rag系統(tǒng)無(wú)法共享數(shù)據(jù)資源，無(wú)法與其他rag系統(tǒng)進(jìn)行協(xié)作，從而影響了它們?cè)谔幚韽?fù)雜任務(wù)時(shí)的效率和效果。

3、此外，如何在連通的rag系統(tǒng)內(nèi)保護(hù)數(shù)據(jù)隱私安全也是一項(xiàng)重大挑戰(zhàn)；因此如何在盡量不破壞原有系統(tǒng)并保護(hù)數(shù)據(jù)隱私安全的前提下使得其中的本地?cái)?shù)據(jù)要素得以流通，與其他rag系統(tǒng)內(nèi)的數(shù)據(jù)要素相結(jié)合，以便在實(shí)際場(chǎng)景中產(chǎn)生更多的價(jià)值，就成了一個(gè)亟待解決的問(wèn)題。

4、react（reasoning?and?acting）智能代理是一種被大模型驅(qū)動(dòng)的結(jié)合了推理（reasoning）和行動(dòng)（action）的框架，同時(shí)還引入了觀察（observation）環(huán)節(jié)，在每次行動(dòng)（action）之后，都會(huì)先觀察當(dāng)前現(xiàn)狀，然后再進(jìn)行下一步的推理（reasoning）,?旨在提高大型語(yǔ)言模型（llms）在解決復(fù)雜任務(wù)時(shí)的性能和可解釋性。如圖2所示，react?智能體的運(yùn)行流程為：用戶問(wèn)題進(jìn)入agent（智能代理）→進(jìn)入推理階段，結(jié)合系統(tǒng)內(nèi)預(yù)先寫(xiě)好的工具信息分析輸入數(shù)據(jù)，生成決策和計(jì)劃→根據(jù)決策執(zhí)行具體行動(dòng)，調(diào)用相應(yīng)工具→得到調(diào)用工具的反饋→大模型觀察推理階段生成的決策和計(jì)劃以及工具調(diào)用中的得到的反饋數(shù)據(jù)→大模型根據(jù)這些信息調(diào)整推理和行動(dòng)，判斷是否能直接生成答案，還是要進(jìn)行循環(huán)迭代，持續(xù)優(yōu)化結(jié)果。

5、在當(dāng)前react?智能代理框架下，推理過(guò)程中所需的有關(guān)工具的信息都是預(yù)先設(shè)置好的，導(dǎo)致工具的相關(guān)描述信息死板且籠統(tǒng)，以至于給智能代理基于此信息生成決策和計(jì)劃時(shí)造成困難，無(wú)法準(zhǔn)確判斷出解決輸入的問(wèn)題所需要的工具。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)中存在的上述弊端，本發(fā)明提供了一種連通多個(gè)rag系統(tǒng)的數(shù)據(jù)流通方法，在不破壞原有的單個(gè)rag系統(tǒng)的情況下，跨部門(mén)、跨機(jī)構(gòu)、跨領(lǐng)域地使得數(shù)據(jù)要素流通起來(lái)，并在保護(hù)隱私安全的前提下互相結(jié)合，產(chǎn)生新的價(jià)值。

2、作為本發(fā)明的第一個(gè)方面，提供一種連通多個(gè)rag系統(tǒng)的數(shù)據(jù)流通方法，多個(gè)rag系統(tǒng)均與智能代理連接，所述連通多個(gè)rag系統(tǒng)的數(shù)據(jù)流通方法包括如下步驟：

3、步驟s1：當(dāng)所述智能代理接收到用戶端輸入的用戶問(wèn)題時(shí)，將所述用戶問(wèn)題嵌入相應(yīng)的提示詞模板以生成第一提示詞，然后將所述第一提示詞發(fā)送給用戶權(quán)限下能夠訪問(wèn)的所有rag系統(tǒng)，使得每個(gè)rag系統(tǒng)中的大模型能夠根據(jù)所述第一提示詞確定出該rag系統(tǒng)對(duì)應(yīng)的動(dòng)態(tài)描述內(nèi)容，其中，所述動(dòng)態(tài)描述內(nèi)容為該rag系統(tǒng)能夠回答所述用戶問(wèn)題中的具體方面；

4、步驟s2：通過(guò)每個(gè)rag系統(tǒng)向所述智能代理返回對(duì)應(yīng)的動(dòng)態(tài)描述內(nèi)容；

5、步驟s3：當(dāng)所述智能代理接收到每個(gè)rag系統(tǒng)返回的動(dòng)態(tài)描述內(nèi)容后，將所有動(dòng)態(tài)描述內(nèi)容和歷史對(duì)話嵌入相應(yīng)的提示詞模板以生成第二提示詞，根據(jù)所述第二提示詞進(jìn)行推理，以判斷出是否需要調(diào)用相應(yīng)的rag系統(tǒng)來(lái)回答所述用戶問(wèn)題；

6、步驟s4：當(dāng)所述智能代理判斷出需要調(diào)用相應(yīng)的rag系統(tǒng)來(lái)回答用戶問(wèn)題時(shí)，將所述用戶問(wèn)題和所有動(dòng)態(tài)描述內(nèi)容嵌入相應(yīng)的提示詞模板以生成第三提示詞，根據(jù)所述第三提示詞將所述用戶問(wèn)題拆分成若干子問(wèn)題及其對(duì)應(yīng)的rag系統(tǒng)；

7、步驟s5：通過(guò)所述智能代理依次調(diào)用若干子問(wèn)題對(duì)應(yīng)的rag系統(tǒng)，并在對(duì)應(yīng)的rag系統(tǒng)中輸入相應(yīng)的子問(wèn)題，以得到對(duì)應(yīng)的rag系統(tǒng)返回的回答結(jié)果；

8、步驟s6：當(dāng)所述智能代理判斷出能夠根據(jù)rag系統(tǒng)返回的回答結(jié)果回復(fù)所述用戶問(wèn)題時(shí)，將各個(gè)rag系統(tǒng)返回的回答結(jié)果形成最終回答結(jié)果返回至所述用戶端。

9、進(jìn)一步地，還包括如下步驟：

10、使用基于角色的訪問(wèn)權(quán)限管理機(jī)制為每個(gè)用戶分配一個(gè)或多個(gè)角色，不同的角色擁有不同rag系統(tǒng)的訪問(wèn)權(quán)限；

11、其中，對(duì)于用戶權(quán)限只能訪問(wèn)非敏感信息的rag系統(tǒng)，使用動(dòng)態(tài)數(shù)據(jù)掩碼技術(shù)，通過(guò)正則表達(dá)式結(jié)合rag系統(tǒng)中大模型的推理生成能力對(duì)所述動(dòng)態(tài)描述內(nèi)容進(jìn)行脫敏，以得到脫敏后的動(dòng)態(tài)描述內(nèi)容；

12、其中，對(duì)于用戶權(quán)限只能訪問(wèn)非敏感信息的rag系統(tǒng)，使用動(dòng)態(tài)數(shù)據(jù)掩碼技術(shù)，通過(guò)正則表達(dá)式結(jié)合rag系統(tǒng)中大模型的推理生成能力對(duì)所述rag系統(tǒng)返回的回答結(jié)果進(jìn)行脫敏，以得到脫敏后的回答結(jié)果。

13、進(jìn)一步地，所述使用基于角色的訪問(wèn)權(quán)限管理機(jī)制為每個(gè)用戶分配一個(gè)或多個(gè)角色，不同角色擁有不同rag系統(tǒng)的訪問(wèn)權(quán)限，還包括：

14、根據(jù)現(xiàn)實(shí)的組織方式為每個(gè)用戶分配一個(gè)或多個(gè)角色，使得用戶登錄之后能夠判斷出用戶所屬的角色；

15、設(shè)定不同的角色擁有不同的訪問(wèn)權(quán)限，使某種訪問(wèn)權(quán)限在某種角色下為被允許狀態(tài)；

16、將資源能否訪問(wèn)以及操作能否執(zhí)行設(shè)定為rag系統(tǒng)訪問(wèn)權(quán)限，以保證所述智能代理在處理所述用戶問(wèn)題時(shí)，只能訪問(wèn)權(quán)限中的rag系統(tǒng)。

17、進(jìn)一步地，所述步驟s6，還包括如下步驟：

18、當(dāng)所述智能代理無(wú)法根據(jù)rag系統(tǒng)返回的回答結(jié)果回復(fù)所述用戶問(wèn)題時(shí)，返回至所述步驟s3再次進(jìn)行推理，以對(duì)rag系統(tǒng)返回的回答結(jié)果進(jìn)行更新，直至能夠根據(jù)rag系統(tǒng)返回的更新后的回答結(jié)果回復(fù)所述用戶問(wèn)題。

19、本發(fā)明提供的連通多個(gè)rag系統(tǒng)的數(shù)據(jù)流通方法具有以下優(yōu)點(diǎn)：通過(guò)引入一種基于大模型能力的智能代理，利用其決策和執(zhí)行能力將多個(gè)獨(dú)立的rag系統(tǒng)連接起來(lái)，實(shí)現(xiàn)跨領(lǐng)域、跨機(jī)構(gòu)、跨部門(mén)間的數(shù)據(jù)要素的流通和應(yīng)用。同時(shí)加入了基于角色的訪問(wèn)權(quán)限管理機(jī)制（role-based?access?control）以及動(dòng)態(tài)數(shù)據(jù)掩碼技術(shù)（ddm），以確保數(shù)據(jù)在流通過(guò)程中得到有效保護(hù)，避免隱私泄露和未經(jīng)授權(quán)的訪問(wèn)。

技術(shù)特征：

1.一種連通多個(gè)rag系統(tǒng)的數(shù)據(jù)流通方法，其特征在于，多個(gè)rag系統(tǒng)均與智能代理連接，所述連通多個(gè)rag系統(tǒng)的數(shù)據(jù)流通方法包括如下步驟：

2.根據(jù)權(quán)利要求1所述的連通多個(gè)rag系統(tǒng)的數(shù)據(jù)流通方法，其特征在于，還包括如下步驟：

3.根據(jù)權(quán)利要求2所述的連通多個(gè)rag系統(tǒng)的數(shù)據(jù)流通方法，其特征在于，所述使用基于角色的訪問(wèn)權(quán)限管理機(jī)制為每個(gè)用戶分配一個(gè)或多個(gè)角色，不同角色擁有不同rag系統(tǒng)的訪問(wèn)權(quán)限，還包括：

4.根據(jù)權(quán)利要求1所述的連通多個(gè)rag系統(tǒng)的數(shù)據(jù)流通方法，其特征在于，所述步驟s6，還包括如下步驟：

技術(shù)總結(jié)
本發(fā)明涉及人工智能技術(shù)領(lǐng)域，具體公開(kāi)了一種連通多個(gè)RAG系統(tǒng)的數(shù)據(jù)流通方法，包括：將用戶問(wèn)題發(fā)送給RAG系統(tǒng)，使得RAG系統(tǒng)能夠確定出對(duì)應(yīng)的動(dòng)態(tài)描述內(nèi)容；根據(jù)動(dòng)態(tài)描述內(nèi)容和歷史對(duì)話進(jìn)行推理，以判斷出是否需要調(diào)用RAG系統(tǒng)來(lái)回答用戶問(wèn)題；當(dāng)需要調(diào)用RAG系統(tǒng)時(shí)，根據(jù)用戶問(wèn)題和動(dòng)態(tài)描述內(nèi)容將用戶問(wèn)題拆分成若干子問(wèn)題，并依次調(diào)用若干子問(wèn)題對(duì)應(yīng)的RAG系統(tǒng)來(lái)得到對(duì)應(yīng)的回答結(jié)果；當(dāng)能夠根據(jù)回答結(jié)果來(lái)回復(fù)用戶問(wèn)題時(shí)，將回答結(jié)果返回至用戶端。本發(fā)明能夠在不破壞原有的單個(gè)RAG系統(tǒng)的情況下，跨部門(mén)、跨機(jī)構(gòu)、跨領(lǐng)域地使得數(shù)據(jù)要素流通起來(lái)，并在保護(hù)隱私安全的前提下互相結(jié)合，產(chǎn)生新的價(jià)值。

技術(shù)研發(fā)人員：車(chē)靜文,陸呂健,孫龍,范秋楓,曹祥,劉洋
受保護(hù)的技術(shù)使用者：清華大學(xué)無(wú)錫應(yīng)用技術(shù)研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30