技術編號：40531263
提示：您尚未登錄，請點 登 陸 后下載，如果您還沒有賬戶請點 注 冊 ，登陸完成后，請刷新本頁查看技術詳細信息。本申請涉及大語言模型推理優(yōu)化領域，具體涉及一種大模型推理加速方法、設備及介質(zhì)。背景技術、大型語言模型（large?language?models，llms）已經(jīng)成為人工智能領域的一項重要突破，其通過深度學習技術在海量的文本數(shù)據(jù)中學習語言的語法、語義和規(guī)律，能夠生成自然流暢的文本。隨著大型語言模型的不斷發(fā)展，本地大模型因其具有顯著優(yōu)勢受到廣泛關注，比如，數(shù)據(jù)隱私保護：在本地部署大模型可以有效保護用戶的敏感數(shù)據(jù)和隱私。通過在用戶設備或本地服務器上運行模型，數(shù)據(jù)不需要發(fā)送到云端進行處理，從而減少了數(shù)...
注意：該技術已申請專利，請尊重研發(fā)人員的辛勤研發(fā)付出，在未取得專利權人授權前，僅供技術研究參考不得用于商業(yè)用途。
該專利適合技術人員進行技術研發(fā)參考以及查看自身技術是否侵權，增加技術思路，做技術知識儲備，不適合論文引用。
請注意，此類技術沒有源代碼，用于學習研究技術思路。