本發(fā)明涉及一種時(shí)序預(yù)測(cè)技術(shù)，具體涉及一種基于多粒度的時(shí)序大模型的時(shí)序預(yù)測(cè)方法和系統(tǒng)，應(yīng)用于金融時(shí)序預(yù)測(cè)領(lǐng)域。

背景技術(shù)：

1、在金融時(shí)序預(yù)測(cè)技術(shù)領(lǐng)域，傳統(tǒng)模型如arima(自回歸積分滑動(dòng)平均模型)、rnn(循環(huán)神經(jīng)網(wǎng)絡(luò))及其變種lstm(長(zhǎng)短期記憶網(wǎng)絡(luò))等在時(shí)序預(yù)測(cè)中得到了廣泛應(yīng)用。

2、arima模型是一種用于時(shí)間序列預(yù)測(cè)的統(tǒng)計(jì)模型，它通過(guò)差分和自回歸、移動(dòng)平均技術(shù)，將非平穩(wěn)時(shí)間序列轉(zhuǎn)化為平穩(wěn)時(shí)間序列，再進(jìn)行預(yù)測(cè)。

3、rnn是一種用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，具有記憶性，能夠捕捉序列中的長(zhǎng)期依賴(lài)關(guān)系。在時(shí)間序列預(yù)測(cè)中，rnn通過(guò)其循環(huán)機(jī)制，從歷史信息中學(xué)習(xí)到長(zhǎng)期依賴(lài)，并根據(jù)新輸入的特征進(jìn)行預(yù)測(cè)。

4、lstm是rnn的一種變體，通過(guò)引入門(mén)控機(jī)制(遺忘門(mén)、輸入門(mén)、輸出門(mén))來(lái)解決傳統(tǒng)rnn中的梯度消失和梯度爆炸問(wèn)題。lstm能夠更有效地處理長(zhǎng)期依賴(lài)和短期記憶問(wèn)題，是時(shí)間序列預(yù)測(cè)中常用的模型之一。

5、然而，金融市場(chǎng)存在高度的復(fù)雜性，傳統(tǒng)模型往往難以針對(duì)金融市場(chǎng)的不同時(shí)間尺度、多種模式的波動(dòng)變化進(jìn)行分析，包括短期波動(dòng)、中期趨勢(shì)和長(zhǎng)周期，而且在應(yīng)對(duì)數(shù)據(jù)的不確定性、時(shí)序預(yù)測(cè)的準(zhǔn)確性以及迭代和泛化能力方面，具有諸多不足之處。

技術(shù)實(shí)現(xiàn)思路

1、以下給出一個(gè)或多個(gè)方面的簡(jiǎn)要概述以提供對(duì)這些方面的基本理解。此概述不是所有構(gòu)想到的方面的詳盡綜覽，并且既非旨在指認(rèn)出所有方面的關(guān)鍵性或決定性要素亦非試圖界定任何或所有方面的范圍。其唯一的目的是要以簡(jiǎn)化形式給出一個(gè)或多個(gè)方面的一些概念以為稍后給出的更加詳細(xì)的描述之序。

2、本發(fā)明的目的在于解決上述問(wèn)題，提供了一種基于多粒度的時(shí)序大模型的時(shí)序預(yù)測(cè)方法和系統(tǒng)，能夠提升時(shí)序預(yù)測(cè)的準(zhǔn)確性，有效應(yīng)對(duì)數(shù)據(jù)的不確定性，并具有優(yōu)秀的迭代能力和泛化能力。

3、本發(fā)明的技術(shù)方案為：本發(fā)明揭示了一種基于多粒度的時(shí)序大模型的時(shí)序預(yù)測(cè)方法，方法包括：

4、步驟1：基于語(yǔ)言類(lèi)基礎(chǔ)大模型改造構(gòu)建多粒度時(shí)序大模型；

5、步驟2：針對(duì)時(shí)序數(shù)據(jù)應(yīng)用混合數(shù)據(jù)增強(qiáng)方法對(duì)時(shí)序數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，擴(kuò)充時(shí)序數(shù)據(jù)集大?。?/p>

6、步驟3：針對(duì)每一批的時(shí)序數(shù)據(jù)，構(gòu)建每個(gè)批次的模板化提示詞，用于上下文提示，輔助多粒度時(shí)序大模型對(duì)時(shí)間序列進(jìn)行理解；

7、步驟4：將原有的時(shí)序數(shù)據(jù)集按照不同的粒度對(duì)一維的時(shí)間序列轉(zhuǎn)化為多組二維的向量，并將該多組二維向量進(jìn)行拼接形成新的數(shù)據(jù)表示；

8、步驟5：對(duì)多粒度時(shí)序大模型進(jìn)行微調(diào)訓(xùn)練，使預(yù)訓(xùn)練的多粒度時(shí)序大模型固化數(shù)據(jù)集的知識(shí)，并完成時(shí)序預(yù)測(cè)。

9、根據(jù)本發(fā)明的基于多粒度的時(shí)序大模型的時(shí)序預(yù)測(cè)方法的一實(shí)施例，步驟1進(jìn)一步包括：

10、步驟1-1：保留語(yǔ)言類(lèi)基礎(chǔ)大模型的分詞、詞嵌入模塊，保留其原有的文本識(shí)別能力；

11、步驟1-2：新增多個(gè)不同長(zhǎng)度的時(shí)序矩陣向量，用作多粒度時(shí)序數(shù)據(jù)的處理；

12、步驟1-3：新增多個(gè)時(shí)序矩陣向量的id嵌入層，以增強(qiáng)對(duì)于時(shí)序位置的理解能力；

13、步驟1-4：在位置嵌入的輸出與語(yǔ)言類(lèi)基礎(chǔ)大模型的注意力機(jī)制輸入的部分，新增一個(gè)全連接層，起到適配器的作用。

14、根據(jù)本發(fā)明的基于多粒度的時(shí)序大模型的時(shí)序預(yù)測(cè)方法的一實(shí)施例，步驟2進(jìn)一步包括：

15、步驟2-1：從數(shù)據(jù)集中進(jìn)行隨機(jī)采樣，截取出k個(gè)均勻分布的時(shí)間序列，每個(gè)序列長(zhǎng)度為l，控制每組數(shù)據(jù)的長(zhǎng)度相等，其中k為自然數(shù)；

16、步驟2-2：對(duì)選中的時(shí)間序列進(jìn)行z-score標(biāo)準(zhǔn)化處理；

17、步驟2-3：采樣一組非負(fù)權(quán)重m1,m2,…mk，要求符合迪利克雷分布，用于后續(xù)時(shí)序數(shù)據(jù)加權(quán)生成，其中

18、步驟2-4：根據(jù)上述生成的權(quán)重和隨機(jī)采樣出來(lái)的時(shí)序樣本組合加權(quán)形成新的時(shí)間序列，xnew＝m1(x1)+m2(x2)+…+mk(xk)，其中xk表示第k個(gè)隨機(jī)采樣出的時(shí)序樣本。

19、根據(jù)本發(fā)明的基于多粒度的時(shí)序大模型的時(shí)序預(yù)測(cè)方法的一實(shí)施例，步驟3進(jìn)一步包括：

20、步驟3-1：標(biāo)記數(shù)據(jù)集的名稱(chēng)、關(guān)于這個(gè)數(shù)據(jù)集的描述，其中同一數(shù)據(jù)集不同批次的數(shù)據(jù)集的名稱(chēng)和描述保持一致性；

21、步驟3-2：標(biāo)記每個(gè)批次的時(shí)間序列均值、標(biāo)準(zhǔn)差、時(shí)間頻率，均值與標(biāo)準(zhǔn)差是浮點(diǎn)數(shù)類(lèi)型，時(shí)間頻率使用英文單詞的形式。

22、根據(jù)本發(fā)明的基于多粒度的時(shí)序大模型的時(shí)序預(yù)測(cè)方法的一實(shí)施例，步驟4進(jìn)一步包括：

23、步驟4-1：將整個(gè)時(shí)間序列數(shù)據(jù)集，包括數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)，按照長(zhǎng)度為l，滑動(dòng)窗口為1進(jìn)行切片，得到切好片的時(shí)間序列；

24、步驟4-2：將上述步驟4-1中的時(shí)間序列數(shù)據(jù)，按照多組不同的粒度大小對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行分割，分割后的數(shù)據(jù)塊中間沒(méi)有重疊部分，得到多組不同粒度的時(shí)間序列組；

25、步驟4-3：將上述步驟4-2得到的多組不同粒度的時(shí)間序列組，作為到對(duì)應(yīng)的時(shí)間編碼處理的輸入數(shù)據(jù)進(jìn)行變換，使得其維度得到對(duì)齊。

26、根據(jù)本發(fā)明的基于多粒度的時(shí)序大模型的時(shí)序預(yù)測(cè)方法的一實(shí)施例，步驟5進(jìn)一步包括：

27、步驟5-1：將步驟1-1中的結(jié)構(gòu)都進(jìn)行凍結(jié)，在微調(diào)時(shí)保持其參數(shù)均不變，保持其原有的文本語(yǔ)義理解能力；

28、步驟5-2：將步驟1-2、1-3、1-4中的結(jié)構(gòu)都進(jìn)行開(kāi)放訓(xùn)練，以期訓(xùn)練獲得對(duì)時(shí)間序列的理解。

29、本發(fā)明還揭示了一種基于多粒度的時(shí)序大模型的時(shí)序預(yù)測(cè)系統(tǒng)，系統(tǒng)包括：

30、模型構(gòu)建模塊，基于語(yǔ)言類(lèi)基礎(chǔ)大模型改造構(gòu)建多粒度時(shí)序大模型；

31、數(shù)據(jù)增強(qiáng)模塊，針對(duì)時(shí)序數(shù)據(jù)應(yīng)用混合數(shù)據(jù)增強(qiáng)方法對(duì)時(shí)序數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，擴(kuò)充時(shí)序數(shù)據(jù)集大?。?/p>

32、提示詞構(gòu)建模塊，針對(duì)每一批的時(shí)序數(shù)據(jù)，構(gòu)建每個(gè)批次的模板化提示詞，用于上下文提示，輔助多粒度時(shí)序大模型對(duì)時(shí)間序列進(jìn)行理解；

33、向量轉(zhuǎn)化模塊，將原有的時(shí)序數(shù)據(jù)集按照不同的粒度對(duì)一維的時(shí)間序列轉(zhuǎn)化為多組二維的向量，并將該多組二維向量進(jìn)行拼接形成新的數(shù)據(jù)表示；

34、模型微調(diào)模塊，對(duì)多粒度時(shí)序大模型進(jìn)行微調(diào)訓(xùn)練，使預(yù)訓(xùn)練的多粒度時(shí)序大模型固化數(shù)據(jù)集的知識(shí)，并完成時(shí)序預(yù)測(cè)。

35、本發(fā)明還揭示了一種基于多粒度的時(shí)序大模型的時(shí)序預(yù)測(cè)的計(jì)算機(jī)設(shè)備，其特征在于，包括存儲(chǔ)器、處理器和存儲(chǔ)在存儲(chǔ)器中可供處理器運(yùn)行的程序指令，其中所述處理器執(zhí)行所述程序指令以實(shí)現(xiàn)如上所述的基于多粒度的時(shí)序大模型的時(shí)序預(yù)測(cè)方法的步驟。

36、本發(fā)明還揭示了一種基于多粒度的時(shí)序大模型的時(shí)序預(yù)測(cè)的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其存儲(chǔ)有可供處理器執(zhí)行的程序指令，以如上所述的基于多粒度的時(shí)序大模型的時(shí)序預(yù)測(cè)方法的步驟。

37、本發(fā)明對(duì)比現(xiàn)有技術(shù)有如下的有益效果：本發(fā)明利用大型語(yǔ)言模型的語(yǔ)義理解能力，并對(duì)時(shí)間序列數(shù)據(jù)及其領(lǐng)域特定知識(shí)進(jìn)行編碼。具體而言，在本發(fā)明的方案中，通過(guò)時(shí)間多粒度表示方式，將一維時(shí)間序列轉(zhuǎn)換為多組二維向量，從而增強(qiáng)了模型的時(shí)間分析能力。通過(guò)上下文信息與時(shí)序?qū)R方式，為每個(gè)批次的時(shí)序構(gòu)建模板化的提示詞用于上下文提示，輔助多粒度時(shí)序大模型對(duì)時(shí)間序列進(jìn)行理解。