本技術(shù)涉及大數(shù)據(jù)處理,特別是涉及一種數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。
背景技術(shù):
1、隨著存儲(chǔ)技術(shù)的發(fā)展,銀行中實(shí)現(xiàn)的基礎(chǔ)的現(xiàn)金流邏輯計(jì)量后,可以將計(jì)量后的結(jié)果根據(jù)頭寸真實(shí)現(xiàn)金流模式輸出并存儲(chǔ)至數(shù)據(jù)庫(kù)中進(jìn)行匯總。
2、傳統(tǒng)技術(shù)中,服務(wù)器在對(duì)業(yè)務(wù)進(jìn)行情景跑批時(shí),首先在數(shù)據(jù)庫(kù)中獲取頭寸數(shù)據(jù),并在數(shù)據(jù)庫(kù)中,根據(jù)業(yè)務(wù)需求預(yù)先定義的計(jì)算方式對(duì)每一筆頭寸數(shù)據(jù)進(jìn)行計(jì)算,得到明細(xì)數(shù)據(jù),例如明細(xì)數(shù)據(jù)可以是每筆頭寸數(shù)據(jù)對(duì)應(yīng)的本金流和利息流。在完成多次情景跑批后,服務(wù)器在數(shù)據(jù)庫(kù)中得到每一情景跑批下,每一頭寸數(shù)據(jù)對(duì)應(yīng)的明細(xì)數(shù)據(jù),進(jìn)而分別將單筆頭寸數(shù)據(jù)對(duì)應(yīng)的明細(xì)數(shù)據(jù)存儲(chǔ)至數(shù)據(jù)庫(kù)中。
3、然而,目前的傳統(tǒng)技術(shù)中,由于頭寸數(shù)據(jù)的數(shù)據(jù)量較大,導(dǎo)致明細(xì)數(shù)據(jù)的數(shù)據(jù)量隨之更大,進(jìn)而直接將單筆頭寸數(shù)據(jù)對(duì)應(yīng)的明細(xì)數(shù)據(jù)分別存儲(chǔ)至數(shù)據(jù)庫(kù),每一明細(xì)數(shù)據(jù)的獨(dú)立存儲(chǔ)均占用數(shù)據(jù)庫(kù)的io(input/output,輸入輸出)時(shí)間,導(dǎo)致數(shù)據(jù)庫(kù)操作頻繁,表數(shù)據(jù)臃腫,進(jìn)而導(dǎo)致情景跑批的跑批效率較低。
技術(shù)實(shí)現(xiàn)思路
1、基于此,有必要針對(duì)上述技術(shù)問(wèn)題,提供一種數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。
2、第一方面,本技術(shù)提供了一種數(shù)據(jù)處理方法,所述方法應(yīng)用于流動(dòng)性指標(biāo)匯總引擎組件,包括:
3、獲取配置信息,并根據(jù)所述配置信息從數(shù)據(jù)庫(kù)中獲取原始業(yè)務(wù)數(shù)據(jù);
4、對(duì)各所述原始業(yè)務(wù)數(shù)據(jù)進(jìn)行單筆指標(biāo)計(jì)算,得到各所述原始業(yè)務(wù)數(shù)據(jù)對(duì)應(yīng)的單筆指標(biāo)結(jié)果;
5、基于所述配置信息中的時(shí)間步和預(yù)設(shè)匯總方式構(gòu)建預(yù)設(shè)類型的初始化賬戶冊(cè),基于所述配置信息中的輸出類型按照所述時(shí)間步將各所述單筆指標(biāo)結(jié)果格式化匯總至各所述初始化賬戶冊(cè),得到結(jié)果賬戶冊(cè);
6、將所述結(jié)果賬戶冊(cè)批量存儲(chǔ)至數(shù)據(jù)庫(kù)。
7、在其中一個(gè)實(shí)施例中,所述配置信息還包括多個(gè)觀察點(diǎn)和業(yè)務(wù)情景,所述單筆指標(biāo)結(jié)果包括所述業(yè)務(wù)情景下各所述觀察點(diǎn)對(duì)應(yīng)的局部指標(biāo);
8、所述對(duì)各所述原始業(yè)務(wù)數(shù)據(jù)進(jìn)行單筆指標(biāo)計(jì)算,得到各所述原始業(yè)務(wù)數(shù)據(jù)對(duì)應(yīng)的單筆指標(biāo)結(jié)果,包括:
9、根據(jù)所述原始業(yè)務(wù)數(shù)據(jù)的類型確定目標(biāo)產(chǎn)品;
10、在多個(gè)預(yù)設(shè)工廠模式中,根據(jù)所述目標(biāo)產(chǎn)品的計(jì)量屬性確定所述目標(biāo)產(chǎn)品對(duì)應(yīng)的目標(biāo)工廠模式;
11、基于所述目標(biāo)工廠模式、所述觀察點(diǎn)和所述業(yè)務(wù)情景對(duì)所述原始業(yè)務(wù)數(shù)據(jù)進(jìn)行單筆指標(biāo)計(jì)算,得到所述業(yè)務(wù)情景下各所述觀察點(diǎn)對(duì)應(yīng)的局部指標(biāo)。
12、在其中一個(gè)實(shí)施例中,所述基于所述配置信息中的輸出類型按照所述時(shí)間步將各所述單筆指標(biāo)結(jié)果格式化匯總至各所述初始化賬戶冊(cè),得到結(jié)果賬戶冊(cè),包括:
13、根據(jù)所述單筆指標(biāo)結(jié)果對(duì)應(yīng)的所述時(shí)間步,以及所述單筆指標(biāo)結(jié)果與所述初始化賬戶冊(cè)之間的對(duì)應(yīng)關(guān)系,確定各所述單筆指標(biāo)結(jié)果對(duì)應(yīng)的目標(biāo)賬戶冊(cè);
14、基于所述輸出類型,按照所述時(shí)間步將各所述單筆指標(biāo)結(jié)果進(jìn)行格式化匯總至各所述目標(biāo)賬戶冊(cè),得到結(jié)果賬戶冊(cè)。
15、在其中一個(gè)實(shí)施例中,所述根據(jù)所述單筆指標(biāo)結(jié)果對(duì)應(yīng)的所述時(shí)間步,以及所述單筆指標(biāo)結(jié)果與所述初始化賬戶冊(cè)之間的對(duì)應(yīng)關(guān)系,確定各所述單筆指標(biāo)結(jié)果對(duì)應(yīng)的目標(biāo)賬戶冊(cè),包括:
16、根據(jù)各所述單筆指標(biāo)結(jié)果對(duì)應(yīng)的所述時(shí)間步和所述單筆指標(biāo)結(jié)果與所述初始化賬戶冊(cè)之間的對(duì)應(yīng)關(guān)系,在所述初始化賬戶冊(cè)對(duì)應(yīng)的結(jié)果賬戶冊(cè)中進(jìn)行匹配,得到匹配結(jié)果;
17、若所述匹配結(jié)果為匹配成功,將所述單筆指標(biāo)結(jié)果對(duì)應(yīng)的所述初始化賬戶冊(cè)作為目標(biāo)賬戶冊(cè);
18、若所述匹配結(jié)果為匹配失敗,根據(jù)所述單筆指標(biāo)結(jié)果和所述時(shí)間步構(gòu)建新的目標(biāo)賬戶冊(cè)。
19、在其中一個(gè)實(shí)施例中,所述輸出類型包括第一輸出類型、第二輸出類型和第三輸出類型;
20、所述基于所述輸出類型,按照所述時(shí)間步將各所述單筆指標(biāo)結(jié)果進(jìn)行格式化匯總至各所述目標(biāo)賬戶冊(cè),得到結(jié)果賬戶冊(cè),包括:
21、若所述輸出類型為第一輸出類型,按照所述時(shí)間步將各所述單筆指標(biāo)結(jié)果匯總進(jìn)行格式化并至所述目標(biāo)賬戶冊(cè),得到最終匯總結(jié)果,根據(jù)所述最終匯總結(jié)果構(gòu)建賬結(jié)果賬戶冊(cè);
22、若所述輸出類型為第二輸出類型,按照所述時(shí)間步將表征模擬業(yè)務(wù)的所述單筆指標(biāo)結(jié)果進(jìn)行格式化匯總至所述目標(biāo)賬戶冊(cè),得到業(yè)務(wù)模擬匯總結(jié)果,根據(jù)所述業(yè)務(wù)模擬匯總結(jié)果構(gòu)建結(jié)果賬戶冊(cè);
23、若所述輸出類型為第三輸出類型,基于所述單筆指標(biāo)結(jié)果對(duì)應(yīng)的所述目標(biāo)賬戶冊(cè)按照所述時(shí)間步進(jìn)行格式化的區(qū)間匯總,得到各時(shí)間步區(qū)間的中間結(jié)果,根據(jù)所述中間結(jié)果構(gòu)建結(jié)果賬戶冊(cè)。
24、在其中一個(gè)實(shí)施例中,所述將所述結(jié)果賬戶冊(cè)批量存儲(chǔ)至數(shù)據(jù)庫(kù),包括:
25、根據(jù)預(yù)設(shè)批次信息,在所述結(jié)果賬戶冊(cè)確定每一批次處理的目標(biāo)存儲(chǔ)數(shù)據(jù);
26、按照批量插入的數(shù)據(jù)插入形式將各批次的所述目標(biāo)存儲(chǔ)數(shù)據(jù)插入至數(shù)據(jù)庫(kù)。
27、第二方面,本技術(shù)還提供了一種數(shù)據(jù)處理裝置,所述裝置應(yīng)用于流動(dòng)性指標(biāo)匯總引擎組件,包括:
28、獲取模塊,用于獲取配置信息,并根據(jù)所述配置信息從數(shù)據(jù)庫(kù)中獲取原始業(yè)務(wù)數(shù)據(jù);
29、計(jì)算模塊,用于對(duì)各所述原始業(yè)務(wù)數(shù)據(jù)進(jìn)行單筆指標(biāo)計(jì)算,得到各所述原始業(yè)務(wù)數(shù)據(jù)對(duì)應(yīng)的單筆指標(biāo)結(jié)果;
30、匯總模塊,用于基于所述配置信息中的時(shí)間步和預(yù)設(shè)匯總方式構(gòu)建預(yù)設(shè)類型的初始化賬戶冊(cè),基于所述配置信息中的輸出類型按照所述時(shí)間步將各所述單筆指標(biāo)結(jié)果格式化匯總至各所述初始化賬戶冊(cè),得到結(jié)果賬戶冊(cè);
31、存儲(chǔ)模塊,用于將所述結(jié)果賬戶冊(cè)批量存儲(chǔ)至數(shù)據(jù)庫(kù)。
32、在其中一個(gè)實(shí)施例中,所述配置信息還包括多個(gè)觀察點(diǎn)和業(yè)務(wù)情景,所述單筆指標(biāo)結(jié)果包括所述業(yè)務(wù)情景下各所述觀察點(diǎn)對(duì)應(yīng)的局部指標(biāo);
33、所述計(jì)算模塊具體用于根據(jù)所述原始業(yè)務(wù)數(shù)據(jù)的類型確定目標(biāo)產(chǎn)品;
34、在多個(gè)預(yù)設(shè)工廠模式中,根據(jù)所述目標(biāo)產(chǎn)品的計(jì)量屬性確定所述目標(biāo)產(chǎn)品對(duì)應(yīng)的目標(biāo)工廠模式;
35、基于所述目標(biāo)工廠模式、所述觀察點(diǎn)和所述業(yè)務(wù)情景對(duì)所述原始業(yè)務(wù)數(shù)據(jù)進(jìn)行單筆指標(biāo)計(jì)算,得到所述業(yè)務(wù)情景下各所述觀察點(diǎn)對(duì)應(yīng)的局部指標(biāo)。
36、在其中一個(gè)實(shí)施例中,所述匯總模塊具體用于根據(jù)所述單筆指標(biāo)結(jié)果對(duì)應(yīng)的所述時(shí)間步,以及所述單筆指標(biāo)結(jié)果與所述初始化賬戶冊(cè)之間的對(duì)應(yīng)關(guān)系,確定各所述單筆指標(biāo)結(jié)果對(duì)應(yīng)的目標(biāo)賬戶冊(cè);
37、基于所述輸出類型,按照所述時(shí)間步將各所述單筆指標(biāo)結(jié)果進(jìn)行格式化匯總至各所述目標(biāo)賬戶冊(cè),得到結(jié)果賬戶冊(cè)。
38、在其中一個(gè)實(shí)施例中,所述匯總模塊具體用于根據(jù)各所述單筆指標(biāo)結(jié)果對(duì)應(yīng)的所述時(shí)間步和所述單筆指標(biāo)結(jié)果與所述初始化賬戶冊(cè)之間的對(duì)應(yīng)關(guān)系,在所述初始化賬戶冊(cè)對(duì)應(yīng)的結(jié)果賬戶冊(cè)中進(jìn)行匹配,得到匹配結(jié)果;
39、若所述匹配結(jié)果為匹配成功,將所述單筆指標(biāo)結(jié)果對(duì)應(yīng)的所述初始化賬戶冊(cè)作為目標(biāo)賬戶冊(cè);
40、若所述匹配結(jié)果為匹配失敗,根據(jù)所述單筆指標(biāo)結(jié)果和所述時(shí)間步構(gòu)建新的目標(biāo)賬戶冊(cè)。
41、在其中一個(gè)實(shí)施例中,所述輸出類型包括第一輸出類型、第二輸出類型和第三輸出類型;所述匯總模塊具體用于若所述輸出類型為第一輸出類型,按照所述時(shí)間步將各所述單筆指標(biāo)結(jié)果匯總進(jìn)行格式化并至所述目標(biāo)賬戶冊(cè),得到最終匯總結(jié)果,根據(jù)所述最終匯總結(jié)果構(gòu)建賬結(jié)果賬戶冊(cè);
42、若所述輸出類型為第二輸出類型,按照所述時(shí)間步將表征模擬業(yè)務(wù)的所述單筆指標(biāo)結(jié)果進(jìn)行格式化匯總至所述目標(biāo)賬戶冊(cè),得到業(yè)務(wù)模擬匯總結(jié)果,根據(jù)所述業(yè)務(wù)模擬匯總結(jié)果構(gòu)建結(jié)果賬戶冊(cè);
43、若所述輸出類型為第三輸出類型,基于所述單筆指標(biāo)結(jié)果對(duì)應(yīng)的所述目標(biāo)賬戶冊(cè)按照所述時(shí)間步進(jìn)行格式化的區(qū)間匯總,得到各時(shí)間步區(qū)間的中間結(jié)果,根據(jù)所述中間結(jié)果構(gòu)建結(jié)果賬戶冊(cè)。
44、在其中一個(gè)實(shí)施例中,所述存儲(chǔ)模塊具體用于根據(jù)預(yù)設(shè)批次信息,在所述結(jié)果賬戶冊(cè)確定每一批次處理的目標(biāo)存儲(chǔ)數(shù)據(jù);
45、按照批量插入的數(shù)據(jù)插入形式將各批次的所述目標(biāo)存儲(chǔ)數(shù)據(jù)插入至數(shù)據(jù)庫(kù)。
46、第三方面,本技術(shù)還提供了一種計(jì)算機(jī)設(shè)備,包括存儲(chǔ)器和處理器,所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序,所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)以下步驟:
47、獲取配置信息,并根據(jù)所述配置信息從數(shù)據(jù)庫(kù)中獲取原始業(yè)務(wù)數(shù)據(jù);
48、對(duì)各所述原始業(yè)務(wù)數(shù)據(jù)進(jìn)行單筆指標(biāo)計(jì)算,得到各所述原始業(yè)務(wù)數(shù)據(jù)對(duì)應(yīng)的單筆指標(biāo)結(jié)果;
49、基于所述配置信息中的時(shí)間步和預(yù)設(shè)匯總方式構(gòu)建預(yù)設(shè)類型的初始化賬戶冊(cè),基于所述配置信息中的輸出類型按照所述時(shí)間步將各所述單筆指標(biāo)結(jié)果格式化匯總至各所述初始化賬戶冊(cè),得到結(jié)果賬戶冊(cè);
50、將所述結(jié)果賬戶冊(cè)批量存儲(chǔ)至數(shù)據(jù)庫(kù)。
51、第四方面,本技術(shù)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)以下步驟:
52、獲取配置信息,并根據(jù)所述配置信息從數(shù)據(jù)庫(kù)中獲取原始業(yè)務(wù)數(shù)據(jù);
53、對(duì)各所述原始業(yè)務(wù)數(shù)據(jù)進(jìn)行單筆指標(biāo)計(jì)算,得到各所述原始業(yè)務(wù)數(shù)據(jù)對(duì)應(yīng)的單筆指標(biāo)結(jié)果;
54、基于所述配置信息中的時(shí)間步和預(yù)設(shè)匯總方式構(gòu)建預(yù)設(shè)類型的初始化賬戶冊(cè),基于所述配置信息中的輸出類型按照所述時(shí)間步將各所述單筆指標(biāo)結(jié)果格式化匯總至各所述初始化賬戶冊(cè),得到結(jié)果賬戶冊(cè);
55、將所述結(jié)果賬戶冊(cè)批量存儲(chǔ)至數(shù)據(jù)庫(kù)。
56、第五方面,本技術(shù)還提供了一種計(jì)算機(jī)程序產(chǎn)品,包括計(jì)算機(jī)程序,該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)以下步驟:
57、獲取配置信息,并根據(jù)所述配置信息從數(shù)據(jù)庫(kù)中獲取原始業(yè)務(wù)數(shù)據(jù);
58、對(duì)各所述原始業(yè)務(wù)數(shù)據(jù)進(jìn)行單筆指標(biāo)計(jì)算,得到各所述原始業(yè)務(wù)數(shù)據(jù)對(duì)應(yīng)的單筆指標(biāo)結(jié)果;
59、基于所述配置信息中的時(shí)間步和預(yù)設(shè)匯總方式構(gòu)建預(yù)設(shè)類型的初始化賬戶冊(cè),基于所述配置信息中的輸出類型按照所述時(shí)間步將各所述單筆指標(biāo)結(jié)果格式化匯總至各所述初始化賬戶冊(cè),得到結(jié)果賬戶冊(cè);
60、將所述結(jié)果賬戶冊(cè)批量存儲(chǔ)至數(shù)據(jù)庫(kù)。
61、上述數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品,通過(guò)將單筆計(jì)算的過(guò)程設(shè)置于流動(dòng)性指標(biāo)匯總引擎,減少對(duì)數(shù)據(jù)庫(kù)性能的依賴,獨(dú)立于數(shù)據(jù)庫(kù)的流動(dòng)性指標(biāo)匯總引擎可以充分利用分布式處理的優(yōu)勢(shì),提高對(duì)單筆指標(biāo)結(jié)果進(jìn)行匯總的效率,進(jìn)而提高對(duì)原始業(yè)務(wù)數(shù)據(jù)匯總的效率;通過(guò)對(duì)原始業(yè)務(wù)數(shù)據(jù)的單筆指標(biāo)結(jié)果按照時(shí)間步和預(yù)設(shè)匯總方式構(gòu)建初始化賬戶冊(cè)以及進(jìn)行格式化匯總,將單筆指標(biāo)結(jié)果匯總至各初始化賬戶冊(cè)中,實(shí)現(xiàn)了對(duì)單筆指標(biāo)結(jié)果的數(shù)據(jù)格式化,保證了結(jié)果賬戶冊(cè)中匯總后的單筆指標(biāo)結(jié)果的數(shù)據(jù)規(guī)整性,以提高后續(xù)根據(jù)結(jié)果賬戶冊(cè)中匯總后的單筆指標(biāo)結(jié)果進(jìn)行數(shù)據(jù)分析和總結(jié)的效率,進(jìn)而通過(guò)數(shù)據(jù)格式化后的結(jié)果賬戶冊(cè)能夠?qū)崿F(xiàn)將結(jié)果賬戶冊(cè)批量存儲(chǔ)至數(shù)據(jù)庫(kù)中,提高數(shù)據(jù)庫(kù)存儲(chǔ)效率,并提高流動(dòng)性指標(biāo)匯總引擎的數(shù)據(jù)處理性能,進(jìn)而提高情景跑批的跑批效率。