本發(fā)明涉及人工智能和高速公路收費服務，具體涉及一種基于語音模型的高速公路收費數(shù)字人系統(tǒng)及控制方法。

背景技術：

1、高速公路收費服務包括在線計費、實時稽核和智能值機等業(yè)務，人工業(yè)務占比較高，在用戶請求繁忙時段易出現(xiàn)電話占線等情況，收費業(yè)務的服務效率和服務水平仍有提高空間。從高速公路收費管理部的角度，對收費業(yè)務存在如下需求：

2、（1）降低人力成本：減少一線員工的工作時長，降低人工業(yè)務比重，以此降低路網(wǎng)運營管理成本；

3、（2）提高服務效率和服務水平：提升高速智慧化服務水平和自動化交互體驗，優(yōu)化收費業(yè)務的敏捷管理、自動交互、定制服務能力，提升高速公路平均通行效率和用戶服務滿意度；

4、（3）充分挖掘數(shù)據(jù)價值：充分利用已有多源、異構、多模態(tài)的交通數(shù)據(jù)資源，推進收費業(yè)務助手智能化水平進一步提高。

5、但是，在當前的高速公路收費業(yè)務領域，傳統(tǒng)的小模型由于算法效能不足和經(jīng)濟成本問題逐漸顯現(xiàn)出局限性，以及現(xiàn)有的業(yè)務助手智能化水平較低。因此，通用大模型技術的快速發(fā)展為高速收費服務ai數(shù)字人的研發(fā)和落地提供了強有力的技術支撐。此外，深厚的業(yè)務理解和大量的數(shù)據(jù)資源為大模型的訓練應用提供了堅實基礎。通用大模型的算力底座能力大幅增強：通用大模型呈現(xiàn)算力規(guī)模不斷擴大，多模態(tài)推理分析能力、人機對齊水平不斷增強的發(fā)展趨勢，在大模型創(chuàng)意生成、情感智能等方面也有重大突破。

6、但是，現(xiàn)有類似技術普遍具備語音識別、業(yè)務意圖理解、任務研判、多輪交互人機對話及自動轉接人工的能力，能夠處理常規(guī)收費業(yè)務。然而，這些技術在應對復雜收費特情場景（如“無入口”“車卡不符”“綠色優(yōu)惠”等）時顯得力不從心。從而，針對上述的不足，面向多樣化的業(yè)務場景，引入了更加輕量化低成本的大模型訓練（如離散提示詞優(yōu)化工程、結合混合精度浮點數(shù)前向傳播的lora大模型微調），以及更加豐富的收費業(yè)務訓練樣本，以此提高大模型的業(yè)務意圖理解能力，從而能夠主動識別缺失錯誤信息，實現(xiàn)更加自動化和智能化的問答交互，以提高服務水平和用戶體驗，是當前急需解決的問題。

技術實現(xiàn)思路

1、為了克服面對高速公路收費業(yè)務存在的問題。本發(fā)明提供的基于語音模型的高速公路收費數(shù)字人系統(tǒng)及控制方法，能夠進行收費稽核引導和特情處置業(yè)務，主動識別信息中的缺失信息和錯誤信息并進行提問核實，構建更加智能化的問答交互模式，重塑核心收費業(yè)務的處理流程，提供全天候的智慧交互服務，極大提升信息傳達效率和用戶體驗，具有良好的應用前景。

2、為了解決上述技術問題，達到上述目的，本發(fā)明所采用的技術方案是：

3、一種基于語音模型的高速公路收費數(shù)字人系統(tǒng)，包括輸入信息識別層單元、大語言模型層單元、輸出反饋層單元，

4、所述輸入信息識別層單元，基于面向高速交通術語的asr語音識別功能，進行出行用戶、收費員的語音拾取形成識別信息，并將識別信息輸出給大語言模型層單元；

5、所述大語言模型層單元，包括大語言模型訓練層子單元、任務生成層子單元、任務評判層子單元和任務處理層子單元，

6、所述大語言模型訓練層子單元，用于構建支撐任務生成層子單元、任務評判層子單元和任務處理層子單元和輸出反饋層單元的數(shù)據(jù)處理依據(jù)，并可訓練更新；

7、所述任務生成層子單元，用于接收輸入信息識別層單元輸出的識別信息，成結構化的上下文信息，按照大語言模型訓練層子單元內業(yè)務規(guī)則中的關鍵環(huán)節(jié)提取相應內容，輸出關于該任務的關鍵信息以及推理過程，生成待處理的任務，并將該待處理的任務轉入任務評判層子單元；

8、所述任務評判層子單元，用于接收任務生成層子單元輸出的待處理的任務，并根據(jù)大語言模型層單元，做出轉接人工服務或者轉入任務處理層子單元的評判；

9、所述任務處理層子單元，根據(jù)待處理的任務的業(yè)務要求，激活收費ai數(shù)字人進行任務處理，并輸出任務處理結果給輸出反饋層單元；

10、所述輸出反饋層單元，用于接收任務處理層子單元輸出的任務處理結果，通過收費ai數(shù)字人智能形象、智能語音與用戶進行多輪交互回答，直至任務完成對話結束，得到業(yè)務用戶評價反饋，并生成對應的任務工單；以及通過業(yè)務用戶評價反饋對大語言模型訓練層子單元進行再訓練更新，完善大語言模型訓練層子單元。

11、優(yōu)選的，所述識別信息包括業(yè)務相關信息和車輛信息。

12、優(yōu)選的，所述大語言模型訓練層子單元，包括收費訓練樣本庫構建與標注模塊、大語言模型提示詞優(yōu)化工程模塊、大語言模型精調優(yōu)化工程模塊，

13、所述收費訓練樣本庫構建與標注模塊，根據(jù)收費業(yè)務特征，基于labelstudio平臺，建立端到端樣本標注及管理子模塊，實現(xiàn)對語言樣本的合理分類與標注，所述端到端樣本標注是通過分析積累的大量收費業(yè)務數(shù)據(jù)的收費業(yè)務特征，工作人員能夠總結出各類標簽，用于對樣本進行分類；各類標簽包括特情類型、業(yè)務類型、車牌號碼、車牌顏色以及卡號，基于得到的標簽便可對樣本進行標注，標注樣本分為正樣本和負樣本，正樣本是指屬于目標類的樣本，而負樣本則是不屬于該類的樣本；所述管理子模塊包括基本功能組件、高級功能組件，所述基本功能組件包括用戶注冊、項目創(chuàng)建、數(shù)據(jù)上傳、標注繪制、標簽輸入、標注結果保存和導出，所述高級功能組件包括自動標注、數(shù)據(jù)增強、目標檢測算法模型訓練、web前端界面實時調參、模型訓練結果可視化功能；

14、所述大語言模型提示詞優(yōu)化工程模塊，為基于rlprompt框架用于學習離散詞元的提示詞優(yōu)化框架，具體為將離散提示詞優(yōu)化公式化為強化學習問題，使用連續(xù)的策略網(wǎng)絡來探索提示詞空間，通過從連續(xù)的策略網(wǎng)絡中采樣來探索提示空間進行訓練，訓練完成后，通過推理階段貪婪地選擇標記，以生成確定性的提示；

15、所述大語言模型精調優(yōu)化工程模塊，通過基于lora的混合精度浮點數(shù)前向傳播方法，構建收費大模型的輕量化訓練加速架構，便于進行業(yè)務意圖理解與關鍵信息提取。

16、優(yōu)選的，所述任務評判層子單元，用于接收任務生成層子單元輸出的待處理的任務，并根據(jù)大語言模型層單元，做出轉接人工服務或者轉入任務處理層子單元的評判，包括如下過程：

17、若大語言模型層單元無法處理任務，則轉接人工服務；若大語言模型層單元能夠處理任務，則轉入任務處理層子單元；若存在錯誤缺失信息，大語言模型層單元則在第一輪對話中提示用戶補充或修正信息；在第二輪對話中若信息正確齊全，則轉入任務處理層子單元，否則轉接人工服務。

18、優(yōu)選的，所述任務處理層子單元，根據(jù)待處理的任務的業(yè)務要求，激活收費ai數(shù)字人進行任務處理，并輸出任務處理結果給輸出反饋層單元，包括如下過程：對于收費業(yè)務，調用自由流云收費系統(tǒng)，實時播報收費金額；對于收費特情業(yè)務，結合當前輸入信息調用交通時空信息平臺和自由流云收費系統(tǒng)，智能匹配特情處置庫的案例，進行對應處理。

19、基于語音模型的高速公路收費數(shù)字人系統(tǒng)的控制方法，包括以下步驟，

20、步驟（a），分別構建輸入信息識別層單元、大語言模型層單元、輸出反饋層單元，并通過大語言模型層單元為橋梁，建立輸入信息識別層單元、大語言模型層單元、輸出反饋層單元的數(shù)據(jù)流轉；

21、所述大語言模型層單元，包括大語言模型訓練層子單元、任務生成層子單元、任務評判層子單元和任務處理層子單元，所述大語言模型訓練層子單元，用于構建支撐任務生成層子單元、任務評判層子單元和任務處理層子單元和輸出反饋層單元的數(shù)據(jù)處理依據(jù)，并可訓練更新；

22、步驟（b），通過輸入信息識別層單元，將基于面向高速交通術語的asr語音識別功能，進行出行用戶、收費員的語音拾取形成識別信息，并將識別信息輸出給大語言模型層單元內的任務生成層子單元；

23、步驟（c），通過任務生成層子單元，接收輸入信息識別層單元輸出的識別信息，成結構化的上下文信息，按照大語言模型訓練層子單元內業(yè)務規(guī)則中的關鍵環(huán)節(jié)提取相應內容，輸出關于該任務的關鍵信息以及推理過程，生成待處理的任務，并將該待處理的任務轉入任務評判層子單元；

24、步驟（d），通過任務評判層子單元，接收任務生成層子單元輸出的待處理的任務，并根據(jù)大語言模型層單元，做出轉接人工服務或者轉入步驟（e）任務處理層子單元的評判；

25、步驟（e），通過任務處理層子單元，根據(jù)待處理的任務的業(yè)務要求，激活收費ai數(shù)字人進行任務處理，并輸出任務處理結果給輸出反饋層單元；

26、步驟（f），通過輸出反饋層單元接收任務處理層子單元輸出的任務處理結果，并通過收費ai數(shù)字人智能形象、智能語音與用戶進行多輪交互回答，直至任務完成對話結束，得到業(yè)務用戶評價反饋，并生成對應的任務工單；以及通過業(yè)務用戶評價反饋對大語言模型訓練層子單元進行再訓練更新，完善大語言模型訓練層子單元。

27、優(yōu)選的，步驟（a），所述識別信息包括業(yè)務相關信息和車輛信息。

28、優(yōu)選的，所述大語言模型訓練層子單元，包括收費訓練樣本庫構建與標注模塊、大語言模型提示詞優(yōu)化工程模塊、大語言模型精調優(yōu)化工程模塊，

29、所述收費訓練樣本庫構建與標注模塊，根據(jù)收費業(yè)務特征，基于labelstudio平臺，建立端到端樣本標注及管理子模塊，實現(xiàn)對語言樣本的合理分類與標注，所述端到端樣本標注是通過分析積累的大量收費業(yè)務數(shù)據(jù)的收費業(yè)務特征，工作人員能夠總結出各類標簽，用于對樣本進行分類；各類標簽包括特情類型、業(yè)務類型、車牌號碼、車牌顏色以及卡號，基于得到的標簽便可對樣本進行標注，標注樣本分為正樣本和負樣本，正樣本是指屬于目標類的樣本，而負樣本則是不屬于該類的樣本；所述管理子模塊包括基本功能組件、高級功能組件，所述基本功能組件包括用戶注冊、項目創(chuàng)建、數(shù)據(jù)上傳、標注繪制、標簽輸入、標注結果保存和導出，所述高級功能組件包括自動標注、數(shù)據(jù)增強、目標檢測算法模型訓練、web前端界面實時調參、模型訓練結果可視化功能；

30、所述大語言模型提示詞優(yōu)化工程模塊，為基于rlprompt框架用于學習離散詞元的提示詞優(yōu)化框架，具體為將離散提示詞優(yōu)化公式化為強化學習問題，使用連續(xù)的策略網(wǎng)絡來探索提示詞空間，通過從連續(xù)的策略網(wǎng)絡中采樣來探索提示空間進行訓練，訓練完成后，通過推理階段貪婪地選擇標記，以生成確定性的提示；

31、所述大語言模型精調優(yōu)化工程模塊，通過基于lora的混合精度浮點數(shù)前向傳播方法，構建收費大模型的輕量化訓練加速架構，便于進行業(yè)務意圖理解與關鍵信息提取。

32、優(yōu)選的，步驟（d），通過任務評判層子單元，接收任務生成層子單元輸出的待處理的任務，并根據(jù)大語言模型層單元，做出轉接人工服務或者轉入步驟（e）任務處理層子單元的評判，包括如下過程：

33、若大語言模型層單元無法處理任務，則轉接人工服務；若大語言模型層單元能夠處理任務，則轉入任務處理層子單元；若存在錯誤缺失信息，大語言模型層單元則在第一輪對話中提示用戶補充或修正信息；在第二輪對話中若信息正確齊全，則轉入任務處理層子單元，否則轉接人工服務。

34、優(yōu)選的，步驟（e），通過任務處理層子單元，根據(jù)待處理的任務的業(yè)務要求，激活收費ai數(shù)字人進行任務處理，并輸出任務處理結果給輸出反饋層單元，包括如下過程：對于收費業(yè)務，調用自由流云收費系統(tǒng)，實時播報收費金額；對于收費特情業(yè)務，結合當前輸入信息調用交通時空信息平臺和自由流云收費系統(tǒng)，智能匹配特情處置庫的案例，進行對應處理。

35、本發(fā)明的有益效果是：本發(fā)明提供的基于語音模型的高速公路收費數(shù)字人系統(tǒng)及控制方法，能夠進行收費稽核引導和特情處置業(yè)務，主動識別信息中的缺失信息和錯誤信息并進行提問核實，構建更加智能化的問答交互模式，重塑核心收費業(yè)務的處理流程，提供全天候的智慧交互服務，極大提升信息傳達效率和用戶體驗，具體表現(xiàn)在面向多樣化的業(yè)務場景，引入了更加輕量化低成本的大模型訓練（如離散提示詞優(yōu)化工程、結合混合精度浮點數(shù)前向傳播的lora大模型微調），以及更加豐富的收費業(yè)務訓練樣本，以此提高大模型的業(yè)務意圖理解能力，從而能夠主動識別缺失錯誤信息，實現(xiàn)更加自動化和智能化的問答交互，以提高服務水平和用戶體驗。