本發(fā)明涉及計(jì)算機(jī)應(yīng)用，更為具體而言，涉及一種數(shù)據(jù)修復(fù)系統(tǒng)、方法、設(shè)備、存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、在現(xiàn)代消費(fèi)信貸業(yè)務(wù)中，金融公司經(jīng)常與其他金融機(jī)構(gòu)進(jìn)行聯(lián)合放款，以拓展業(yè)務(wù)范圍和提高貸款服務(wù)能力。這種聯(lián)合放款的債權(quán)通常歸屬于金融公司，但核算和管理則由其他金融機(jī)構(gòu)(即“他核算”)進(jìn)行。由于自核算(金融公司內(nèi)部系統(tǒng)對(duì)貸款數(shù)據(jù)的處理)與他核算(外部金融機(jī)構(gòu)對(duì)相同數(shù)據(jù)的處理)之間的核算規(guī)則和標(biāo)準(zhǔn)存在差異，常常會(huì)導(dǎo)致數(shù)據(jù)不一致。這些數(shù)據(jù)不一致可能源于自核算與他核算的計(jì)算規(guī)則可能不同，如利率計(jì)算方法、還款計(jì)劃、費(fèi)用處理等?；蛘呤怯捎谠跀?shù)據(jù)傳輸和處理過程中，可能會(huì)出現(xiàn)四舍五入誤差、數(shù)據(jù)丟失或記錄錯(cuò)誤。傳統(tǒng)的人工干預(yù)方法在面對(duì)這種數(shù)據(jù)差異時(shí)效率低下，成本高昂且易出現(xiàn)錯(cuò)誤。為了提高數(shù)據(jù)處理效率，減少人工干預(yù)，并保證數(shù)據(jù)準(zhǔn)確性，亟需一種自動(dòng)化的數(shù)據(jù)核對(duì)和修復(fù)方案。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述現(xiàn)有技術(shù)存在的問題或至少部分問題，本發(fā)明實(shí)施方式提供了一種數(shù)據(jù)修復(fù)系統(tǒng)、方法、設(shè)備、存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品，利用機(jī)器學(xué)習(xí)算法對(duì)不同數(shù)據(jù)源中的數(shù)據(jù)進(jìn)行自動(dòng)化差異預(yù)測(cè)和修復(fù)，能夠解決不同數(shù)據(jù)源之間數(shù)據(jù)不一致的問題，減少人工干預(yù)，提高數(shù)據(jù)核對(duì)和修復(fù)的準(zhǔn)確性和效率。

2、根據(jù)本發(fā)明的第一方面，本發(fā)明實(shí)施方式提供了一種數(shù)據(jù)修復(fù)系統(tǒng)，其包括：數(shù)據(jù)采集模塊，用于從第一數(shù)據(jù)源和第二數(shù)據(jù)源中采集第一原始數(shù)據(jù)；數(shù)據(jù)存儲(chǔ)模塊，用于對(duì)所述第一原始數(shù)據(jù)進(jìn)行存儲(chǔ)；數(shù)據(jù)核對(duì)與修復(fù)模塊，用于執(zhí)行下述操作：根據(jù)第一信息從所述第一原始數(shù)據(jù)中提取待核對(duì)數(shù)據(jù)，并從所述待核對(duì)數(shù)據(jù)中提取特征數(shù)據(jù)；根據(jù)所述特征數(shù)據(jù)與預(yù)設(shè)閾值的關(guān)系生成標(biāo)簽，所述標(biāo)簽包括異常標(biāo)簽和正常標(biāo)簽；根據(jù)所述特征數(shù)據(jù)和標(biāo)簽對(duì)預(yù)設(shè)模型進(jìn)行訓(xùn)練和驗(yàn)證，得到訓(xùn)練后的核對(duì)模型；根據(jù)所述核對(duì)模型對(duì)采集到的第二原始數(shù)據(jù)進(jìn)行預(yù)測(cè)，當(dāng)所述核對(duì)模型輸出的預(yù)測(cè)值為異常標(biāo)簽時(shí)，根據(jù)預(yù)定義的修復(fù)規(guī)則對(duì)所述第二原始數(shù)據(jù)進(jìn)行修復(fù)以獲得修復(fù)數(shù)據(jù)。

3、根據(jù)本發(fā)明上述實(shí)施方式，通過提取不同數(shù)據(jù)源中待核對(duì)數(shù)據(jù)的特征數(shù)據(jù)并生成標(biāo)簽，然后利用機(jī)器學(xué)習(xí)算法對(duì)不同數(shù)據(jù)源中的數(shù)據(jù)進(jìn)行自動(dòng)化差異預(yù)測(cè)和修復(fù)，能夠解決不同數(shù)據(jù)源之間數(shù)據(jù)不一致的問題，減少人工干預(yù)，提高數(shù)據(jù)核對(duì)和修復(fù)的準(zhǔn)確性和效率。

4、在本發(fā)明的一些實(shí)施方式中，所述數(shù)據(jù)修復(fù)系統(tǒng)還包括：異常處理模塊，用于檢測(cè)并處理數(shù)據(jù)修復(fù)過程中產(chǎn)生的異常信息；報(bào)告生成模塊，用于根據(jù)所述第二原始數(shù)據(jù)、修復(fù)數(shù)據(jù)和異常信息生成數(shù)據(jù)核對(duì)和修復(fù)報(bào)告。

5、根據(jù)本發(fā)明上述實(shí)施方式，通過生成包括修復(fù)前后的數(shù)據(jù)對(duì)比、修復(fù)過程中的異常情況的報(bào)告內(nèi)容，便于相關(guān)管理人員隨時(shí)觀察線上數(shù)據(jù)情況。

6、在本發(fā)明的一些實(shí)施方式中，所述第一數(shù)據(jù)源為自核算系統(tǒng)，所述第二數(shù)據(jù)源為他核算系統(tǒng)；所述第一原始數(shù)據(jù)和第二原始數(shù)據(jù)為交易數(shù)據(jù)，所述交易數(shù)據(jù)包括：貸款申請(qǐng)信息、利率信息、借據(jù)信息、還款計(jì)劃信息、還款流水信息、計(jì)提信息；所述第一信息為借據(jù)號(hào)。

7、根據(jù)本發(fā)明上述實(shí)施方式，能夠自動(dòng)修復(fù)自核算和他核算之間的數(shù)據(jù)差異，減少了人工干預(yù)，提高了修復(fù)效率。

8、在本發(fā)明的一些實(shí)施方式中，所述根據(jù)所述特征數(shù)據(jù)與預(yù)設(shè)閾值的關(guān)系生成標(biāo)簽包括：計(jì)算所述自核算系統(tǒng)中的第一特征數(shù)據(jù)和所述他核算系統(tǒng)中的第二特征數(shù)據(jù)之差的絕對(duì)值，作為差異值；當(dāng)所述差異值大于預(yù)設(shè)閾值時(shí)，生成異常標(biāo)簽；當(dāng)所述差異值小于等于預(yù)設(shè)閾值時(shí)，生成正常標(biāo)簽。

9、在本發(fā)明的一些實(shí)施方式中，對(duì)所述第一原始數(shù)據(jù)進(jìn)行存儲(chǔ)包括：采用關(guān)系型數(shù)據(jù)庫mysql將所述第一原始數(shù)據(jù)存儲(chǔ)為表格結(jié)構(gòu)。

10、在本發(fā)明的一些實(shí)施方式中，對(duì)所述第一原始數(shù)據(jù)進(jìn)行存儲(chǔ)還包括：根據(jù)產(chǎn)品號(hào)將所述第一原始數(shù)據(jù)分配至對(duì)應(yīng)的數(shù)據(jù)庫中；根據(jù)所述借據(jù)號(hào)將第一原始數(shù)據(jù)存儲(chǔ)至所述數(shù)據(jù)庫中對(duì)應(yīng)的存儲(chǔ)表中，所述存儲(chǔ)表包括：放款表、還款表、還款計(jì)劃表、交易表、計(jì)提表；根據(jù)所述借據(jù)號(hào)將存儲(chǔ)表進(jìn)行關(guān)聯(lián)。

11、根據(jù)本發(fā)明上述實(shí)施方式，將原始數(shù)據(jù)按照產(chǎn)品號(hào)和借據(jù)號(hào)分布存儲(chǔ)到數(shù)據(jù)庫表中，能夠?qū)崿F(xiàn)核算數(shù)據(jù)的快速查詢和準(zhǔn)確匹配。

12、根據(jù)本發(fā)明的第二方面，本發(fā)明實(shí)施方式提供了一種數(shù)據(jù)修復(fù)方法，其包括：從第一數(shù)據(jù)源和第二數(shù)據(jù)源中采集第一原始數(shù)據(jù)；對(duì)所述第一原始數(shù)據(jù)進(jìn)行存儲(chǔ)；根據(jù)第一信息從所述第一原始數(shù)據(jù)中提取待核對(duì)數(shù)據(jù)，并從所述待核對(duì)數(shù)據(jù)中提取特征數(shù)據(jù)；根據(jù)所述特征數(shù)據(jù)與預(yù)設(shè)閾值的關(guān)系生成標(biāo)簽，所述標(biāo)簽包括異常標(biāo)簽和正常標(biāo)簽；根據(jù)所述特征數(shù)據(jù)和標(biāo)簽對(duì)預(yù)設(shè)模型進(jìn)行訓(xùn)練和驗(yàn)證，得到訓(xùn)練后的核對(duì)模型；根據(jù)所述核對(duì)模型對(duì)采集到的第二原始數(shù)據(jù)進(jìn)行預(yù)測(cè)，當(dāng)所述核對(duì)模型輸出的預(yù)測(cè)值為異常標(biāo)簽時(shí)，根據(jù)預(yù)定義的修復(fù)規(guī)則對(duì)所述第二原始數(shù)據(jù)進(jìn)行修復(fù)以獲得修復(fù)數(shù)據(jù)。

13、根據(jù)本發(fā)明上述實(shí)施方式，通過提取不同數(shù)據(jù)源中待核對(duì)數(shù)據(jù)的特征數(shù)據(jù)并生成標(biāo)簽，然后利用機(jī)器學(xué)習(xí)算法對(duì)不同數(shù)據(jù)源中的數(shù)據(jù)進(jìn)行自動(dòng)化差異預(yù)測(cè)和修復(fù)，能夠解決不同數(shù)據(jù)源之間數(shù)據(jù)不一致的問題，減少人工干預(yù)，提高數(shù)據(jù)核對(duì)和修復(fù)的準(zhǔn)確性和效率。

14、在本發(fā)明的一些實(shí)施方式中，所述數(shù)據(jù)修復(fù)方法還包括：檢測(cè)并處理數(shù)據(jù)修復(fù)過程中產(chǎn)生的異常信息；根據(jù)所述第二原始數(shù)據(jù)、修復(fù)數(shù)據(jù)和異常信息生成數(shù)據(jù)核對(duì)和修復(fù)報(bào)告。

15、根據(jù)本發(fā)明上述實(shí)施方式，通過生成包括修復(fù)前后的數(shù)據(jù)對(duì)比、修復(fù)過程中的異常情況的報(bào)告內(nèi)容，便于相關(guān)管理人員隨時(shí)觀察線上數(shù)據(jù)情況。

16、在本發(fā)明的一些實(shí)施方式中，所述第一數(shù)據(jù)源為自核算系統(tǒng)，所述第二數(shù)據(jù)源為他核算系統(tǒng)；所述第一原始數(shù)據(jù)和第二原始數(shù)據(jù)為交易數(shù)據(jù)，所述交易數(shù)據(jù)包括：貸款申請(qǐng)信息、利率信息、借據(jù)信息、還款計(jì)劃信息、還款流水信息、計(jì)提信息；所述第一信息為借據(jù)號(hào)。

17、根據(jù)本發(fā)明上述實(shí)施方式，能夠自動(dòng)修復(fù)自核算和他核算之間的數(shù)據(jù)差異，減少了人工干預(yù)，提高了修復(fù)效率。

18、在本發(fā)明的一些實(shí)施方式中，所述根據(jù)所述特征數(shù)據(jù)與預(yù)設(shè)閾值的關(guān)系生成標(biāo)簽包括：計(jì)算所述自核算系統(tǒng)中的第一特征數(shù)據(jù)和所述他核算系統(tǒng)中的第二特征數(shù)據(jù)之差的絕對(duì)值，作為差異值；當(dāng)所述差異值大于預(yù)設(shè)閾值時(shí)，生成異常標(biāo)簽；當(dāng)所述差異值小于等于預(yù)設(shè)閾值時(shí)，生成正常標(biāo)簽。

19、在本發(fā)明的一些實(shí)施方式中，對(duì)所述第一原始數(shù)據(jù)進(jìn)行存儲(chǔ)包括：采用關(guān)系型數(shù)據(jù)庫mysql將所述第一原始數(shù)據(jù)存儲(chǔ)為表格結(jié)構(gòu)。

20、在本發(fā)明的一些實(shí)施方式中，對(duì)所述第一原始數(shù)據(jù)進(jìn)行存儲(chǔ)還包括：根據(jù)產(chǎn)品號(hào)將所述第一原始數(shù)據(jù)分配至對(duì)應(yīng)的數(shù)據(jù)庫中；根據(jù)所述借據(jù)號(hào)將第一原始數(shù)據(jù)存儲(chǔ)至所述數(shù)據(jù)庫中對(duì)應(yīng)的存儲(chǔ)表中，所述存儲(chǔ)表包括：放款表、還款表、還款計(jì)劃表、交易表、計(jì)提表；根據(jù)所述借據(jù)號(hào)將存儲(chǔ)表進(jìn)行關(guān)聯(lián)。

21、根據(jù)本發(fā)明上述實(shí)施方式，將原始數(shù)據(jù)按照產(chǎn)品號(hào)和借據(jù)號(hào)分布存儲(chǔ)到數(shù)據(jù)庫表中，能夠?qū)崿F(xiàn)核算數(shù)據(jù)的快速查詢和準(zhǔn)確匹配。

22、根據(jù)本發(fā)明的第三方面，本發(fā)明實(shí)施方式提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)可讀指令，所述計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí)，使得計(jì)算機(jī)執(zhí)行如下操作：所述操作包括如上任意一種實(shí)施方式所述數(shù)據(jù)修復(fù)方法所包含的步驟。

23、根據(jù)本發(fā)明的第四方面，本發(fā)明實(shí)施方式提供一種包括存儲(chǔ)器和處理器的計(jì)算機(jī)設(shè)備，所述存儲(chǔ)器用于存儲(chǔ)一條或多條計(jì)算機(jī)可讀指令，其中，所述一條或多條計(jì)算機(jī)可讀指令被所述處理器執(zhí)行時(shí)能夠?qū)崿F(xiàn)如上任意一種實(shí)施方式所述的數(shù)據(jù)修復(fù)方法。

24、根據(jù)本發(fā)明的第五方面，本發(fā)明實(shí)施方式提供一種包括計(jì)算機(jī)程序的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算器程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上任意一種實(shí)施方式所述的數(shù)據(jù)修復(fù)方法。

25、由上述可知，本發(fā)明實(shí)施方式提供的數(shù)據(jù)修復(fù)系統(tǒng)、方法、設(shè)備、存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品，通過提取不同數(shù)據(jù)源中待核對(duì)數(shù)據(jù)的特征數(shù)據(jù)并生成標(biāo)簽，然后利用機(jī)器學(xué)習(xí)算法對(duì)不同數(shù)據(jù)源中的數(shù)據(jù)進(jìn)行自動(dòng)化差異預(yù)測(cè)和修復(fù)，能夠解決不同數(shù)據(jù)源之間數(shù)據(jù)不一致的問題，減少人工干預(yù)，提高數(shù)據(jù)核對(duì)和修復(fù)的準(zhǔn)確性和效率。