數(shù)據(jù)一致性差異原因的分析和定位的方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種數(shù)據(jù)一致性差異原因的分析和定位的方法及系統(tǒng)。
【背景技術(shù)】
[0002]隨著核心業(yè)務(wù)系統(tǒng)的解耦以及外圍平臺(tái)的不斷擴(kuò)展，系統(tǒng)間數(shù)據(jù)一致性和系統(tǒng)內(nèi)各處理環(huán)節(jié)與接口的數(shù)據(jù)一致性問(wèn)題日趨重要，如何快速發(fā)現(xiàn)、定位數(shù)據(jù)差異，并進(jìn)行針對(duì)性處理修復(fù)數(shù)據(jù)，是目前數(shù)據(jù)一致性管理中的重要工作。
[0003]目前在數(shù)據(jù)一致性比對(duì)方面，普遍具備成熟的產(chǎn)品能夠快速比對(duì)發(fā)現(xiàn)數(shù)據(jù)差異。但是對(duì)于發(fā)現(xiàn)差異后的處理，尚沒有統(tǒng)一的、成熟的處理模式。大多數(shù)省份均是在完成差異比對(duì)后，提交由各業(yè)務(wù)部門的具體維護(hù)人員進(jìn)行核查和修復(fù)，維護(hù)人員基于經(jīng)驗(yàn)對(duì)不同數(shù)據(jù)進(jìn)行逐個(gè)的分析，確定數(shù)據(jù)差異的原因以及后續(xù)的處理方式，然后通過(guò)手工修改的方式完成對(duì)差異的處理。
[0004]這種處理模式，存在以下缺陷:系統(tǒng)能夠自動(dòng)完成的，只是數(shù)據(jù)一致性管理的一小部分工作，大部分工作仍然需要由人工完成，效率低，依賴于維護(hù)人員的個(gè)人工作經(jīng)驗(yàn)，對(duì)差異數(shù)據(jù)的處理經(jīng)驗(yàn)難以保留，也缺乏對(duì)差異數(shù)據(jù)的統(tǒng)一分析和評(píng)估。

【發(fā)明內(nèi)容】

[0005]本發(fā)明所要解決的技術(shù)問(wèn)題是，針對(duì)現(xiàn)有技術(shù)的不足，提供一種通過(guò)規(guī)則引擎來(lái)針對(duì)一致性比對(duì)結(jié)果進(jìn)行分類和分析，用于獲取導(dǎo)致異常數(shù)據(jù)產(chǎn)生的生產(chǎn)環(huán)節(jié)以及具體的差異原因的數(shù)據(jù)一致性差異原因的分析和定位的方法及系統(tǒng)。
[0006]本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案如下:數(shù)據(jù)一致性差異原因的分析和定位的方法，具體包括以下步驟:
[0007]步驟1:采集一致性比對(duì)得到的差異數(shù)據(jù)，并對(duì)差異數(shù)據(jù)進(jìn)行預(yù)處理；
[0008]步驟2:基于業(yè)務(wù)類型對(duì)差異數(shù)據(jù)進(jìn)行切分，判斷切分后的差異數(shù)據(jù)是否存在直接數(shù)據(jù)差異，如果是，執(zhí)行步驟3 ;否則，執(zhí)行步驟4 ;
[0009]步驟3:基于數(shù)據(jù)值的規(guī)則進(jìn)行匹配，將差異數(shù)據(jù)定位到具體的異常類型中獲得差異數(shù)據(jù)的差異原因，并對(duì)定位結(jié)果進(jìn)行結(jié)果分析，結(jié)束；
[0010]步驟4:對(duì)規(guī)則引擎進(jìn)行初始化，加載特征庫(kù)和源數(shù)據(jù)；
[0011]步驟5:將差異數(shù)據(jù)與特征庫(kù)中的特征相匹配，獲得至少一個(gè)特征，構(gòu)成與差異數(shù)據(jù)相對(duì)應(yīng)的差異特征組；
[0012]步驟6:從差異特征組中取一個(gè)特征，根據(jù)特征庫(kù)中配置的數(shù)據(jù)特征模板，對(duì)差異數(shù)據(jù)進(jìn)行逐級(jí)分類，將差異數(shù)據(jù)具體定位到具體數(shù)據(jù)特征中，獲得差異數(shù)據(jù)的特征差異原因，并對(duì)定位結(jié)果進(jìn)行結(jié)果分析；
[0013]步驟7:判斷所述差異特征組是否還存在未分類特征，如果是，刪除已分類特征，執(zhí)行步驟6;否則，結(jié)束。
[0014]本發(fā)明的有益效果是:初步實(shí)現(xiàn)了對(duì)一致性比對(duì)差異數(shù)據(jù)的自動(dòng)化分析功能，可在一定程度上減輕維護(hù)人員的人工工作量；通過(guò)規(guī)則引擎的引入，能夠靈活、快速的針對(duì)分析規(guī)則進(jìn)行改變，能夠適應(yīng)業(yè)務(wù)流程和業(yè)務(wù)規(guī)則的不斷變化；通過(guò)規(guī)則庫(kù)和特征庫(kù)的運(yùn)用，能夠?qū)⒕S護(hù)人員現(xiàn)在以經(jīng)驗(yàn)形式保存的業(yè)務(wù)知識(shí)結(jié)構(gòu)化，降低了人為差錯(cuò)，提高維護(hù)工作的穩(wěn)定性。并為后續(xù)的差異修復(fù)工作提供技術(shù)支撐。
[0015]在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。
[0016]進(jìn)一步，所述步驟I具體包括以下步驟:
[0017]步驟1.1:采集一致性比對(duì)得到的差異數(shù)據(jù)，并對(duì)差異數(shù)據(jù)進(jìn)行完整性校驗(yàn)和數(shù)據(jù)歸檔處理；
[0018]步驟1.2:將差異數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換和處理，并將處理后的差異數(shù)據(jù)存入數(shù)據(jù)庫(kù)。
[0019]進(jìn)一步，所述步驟6中的將差異數(shù)據(jù)定位到具體數(shù)據(jù)特征中，是根據(jù)差異數(shù)據(jù)的類型和所屬業(yè)務(wù)等信息，引入不同的業(yè)務(wù)數(shù)據(jù)，通過(guò)異常數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)間的數(shù)據(jù)驗(yàn)證，判斷異常所在環(huán)節(jié)和原因。
[0020]進(jìn)一步，所述步驟6具體包括以下步驟:
[0021]步驟6.1:從差異特征組中取一個(gè)特征，根據(jù)特征庫(kù)中配置的數(shù)據(jù)特征模板解析得到規(guī)則內(nèi)容；
[0022]步驟6.2:根據(jù)特征庫(kù)內(nèi)的數(shù)據(jù)抽取規(guī)則獲取業(yè)務(wù)數(shù)據(jù)，參與對(duì)差異數(shù)據(jù)的特征判斷，通常是根據(jù)異常數(shù)據(jù)與各業(yè)務(wù)數(shù)據(jù)間的關(guān)聯(lián)關(guān)系獲取；
[0023]步驟6.3:從特征庫(kù)內(nèi)提取特征匹配算法，對(duì)異常數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)進(jìn)行多重匹配與規(guī)則判斷，從而最終確認(rèn)差異數(shù)據(jù)的特征符合程度；
[0024]步驟6.4:對(duì)定位結(jié)果進(jìn)行結(jié)果分析。
[0025]進(jìn)一步，所述對(duì)定位結(jié)果的結(jié)果分析包括原因匯總、權(quán)重計(jì)算、生成結(jié)果報(bào)告和統(tǒng)計(jì)分析等。
[0026]本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案如下:數(shù)據(jù)一致性差異原因的分析和定位的系統(tǒng)，包括采集模塊、判斷模塊、數(shù)據(jù)差異模塊、加載模塊、特征匹配模塊和特征定位模塊；
[0027]所述采集模塊用于采集一致性比對(duì)得到的差異數(shù)據(jù)，并對(duì)差異數(shù)據(jù)進(jìn)行預(yù)處理；
[0028]所述判斷模塊用于基于業(yè)務(wù)類型對(duì)差異數(shù)據(jù)進(jìn)行切分，判斷切分后的差異數(shù)據(jù)是否存在直接數(shù)據(jù)差異，如果是，觸發(fā)數(shù)據(jù)差異模塊；否則，觸發(fā)加載模塊；
[0029]所述數(shù)據(jù)差異模塊用于基于數(shù)據(jù)值的規(guī)則進(jìn)行匹配，將差異數(shù)據(jù)定位到具體的異常類型中獲得差異數(shù)據(jù)的差異原因，并對(duì)定位結(jié)果進(jìn)行結(jié)果分析，結(jié)束；
[0030]所述加載模塊用于對(duì)規(guī)則引擎進(jìn)行初始化，加載特征庫(kù)和源數(shù)據(jù)；
[0031]所述特征匹配模塊用于將差異數(shù)據(jù)與特征庫(kù)中的特征相匹配，獲得至少一個(gè)特征，構(gòu)成與差異數(shù)據(jù)相對(duì)應(yīng)的差異特征組；
[0032]所述特征定位模塊用于從差異特征組中取所有特征，依次進(jìn)行根據(jù)特征庫(kù)中配置的數(shù)據(jù)特征模板，對(duì)差異數(shù)據(jù)進(jìn)行逐級(jí)分類，將差異數(shù)據(jù)具體定位到具體數(shù)據(jù)特征中，獲得差異數(shù)據(jù)的特征差異原因，并對(duì)定位結(jié)果進(jìn)行結(jié)果分析。
[0033]本發(fā)明的有益效果是:初步實(shí)現(xiàn)了對(duì)一致性比對(duì)差異數(shù)據(jù)的自動(dòng)化分析功能，可在一定程度上減輕維護(hù)人員的人工工作量；通過(guò)規(guī)則引擎的引入，能夠靈活、快速的針對(duì)分析規(guī)則進(jìn)行改變，能夠適應(yīng)業(yè)務(wù)流程和業(yè)務(wù)規(guī)則的不斷變化；通過(guò)規(guī)則庫(kù)和特征庫(kù)的運(yùn)用，能夠?qū)⒕S護(hù)人員現(xiàn)在以經(jīng)驗(yàn)形式保存的業(yè)務(wù)知識(shí)結(jié)構(gòu)化，降低了人為差錯(cuò)，提高維護(hù)工作的穩(wěn)定性。并為后續(xù)的差異修復(fù)工作提供技術(shù)支撐。
[0034]在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。
[0035]進(jìn)一步，所述采集模塊包括差異數(shù)據(jù)獲取模塊和預(yù)處理模塊；
[0036]所述差異數(shù)據(jù)獲取模塊用于采集一致性比對(duì)得到的差異數(shù)據(jù)，并對(duì)差異數(shù)據(jù)進(jìn)行完整性校驗(yàn)和數(shù)據(jù)歸檔處理；
[0037]所述預(yù)處理模塊用于將差異數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換和處理，并將處理后的差異數(shù)據(jù)存入數(shù)據(jù)庫(kù)。
[0038]進(jìn)一步，所述特征定位模塊中的將差異數(shù)據(jù)定位到具體數(shù)據(jù)特征中，是根據(jù)差異數(shù)據(jù)的類型和所屬業(yè)務(wù)等信息，引入不同的業(yè)務(wù)數(shù)據(jù)，通過(guò)異常數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)間的數(shù)據(jù)驗(yàn)證，判斷異常所在環(huán)節(jié)和原因。
[0039]進(jìn)一步，所述特征定位模塊包括特征庫(kù)模塊、規(guī)則運(yùn)算模塊、差異定位模塊和結(jié)果分析模塊；
[0040]所述特征庫(kù)模塊用于從差異特征組中取一個(gè)特征，根據(jù)特征庫(kù)中配置的數(shù)據(jù)特征模板解析得到規(guī)則內(nèi)容；
[0041]所述規(guī)則運(yùn)算模塊用于根據(jù)特征庫(kù)內(nèi)的數(shù)據(jù)抽取規(guī)則獲取業(yè)務(wù)數(shù)據(jù)，參與對(duì)差異數(shù)據(jù)的特征判斷，通常是根據(jù)異常數(shù)據(jù)與各業(yè)務(wù)數(shù)據(jù)間的關(guān)聯(lián)關(guān)系獲?。?br>[0042]所述差異定位模塊用于從特征庫(kù)內(nèi)提取特征匹配算法，對(duì)異常數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)進(jìn)行多重匹配與規(guī)則判斷，從而最終確認(rèn)差異數(shù)據(jù)的特征符合程度；
[0043]所述結(jié)果分析模塊用于對(duì)定位結(jié)果進(jìn)行結(jié)果分析。
[0044]進(jìn)一步，所述對(duì)定位結(jié)果的結(jié)果分析包括原因匯總、權(quán)重計(jì)算、生成結(jié)果報(bào)告和統(tǒng)計(jì)分析等。
[0045]數(shù)據(jù)分析規(guī)則由兩個(gè)模式構(gòu)成:基于數(shù)據(jù)特征的分析定位以及基于特定數(shù)據(jù)值的規(guī)則分析。系統(tǒng)通過(guò)對(duì)兩種分析模式的運(yùn)用，逐步篩選出能夠明確差異原因和所在環(huán)節(jié)的異常數(shù)據(jù)，供后續(xù)的分析和整理、修復(fù)進(jìn)行使用。
[0046]對(duì)于一致性差異的分析，最終表現(xiàn)為復(fù)雜的數(shù)據(jù)邏輯驗(yàn)證。如果提煉、表達(dá)、組織和高效的實(shí)現(xiàn)這些邏輯是基于規(guī)則的數(shù)據(jù)清洗技術(shù)的關(guān)鍵。
[0047]需要注意的是，對(duì)于分析規(guī)則的定義和業(yè)務(wù)是強(qiáng)相關(guān)的，針對(duì)不同的業(yè)務(wù)類型、業(yè)務(wù)流程有完全不同的分析要求，而且，業(yè)務(wù)是隨時(shí)間變化的，因此分析規(guī)則的定義也是需要隨時(shí)間變化的。這些判定規(guī)則，目前通常是維護(hù)人員的個(gè)人經(jīng)驗(yàn)，沒有實(shí)現(xiàn)知識(shí)的結(jié)構(gòu)化，因此，還需要系統(tǒng)能夠支撐靈活的定義規(guī)則和調(diào)整規(guī)則。
[0048]系統(tǒng)引入規(guī)則引擎技術(shù)來(lái)解決基于特定數(shù)據(jù)值的規(guī)則分析，規(guī)則引擎將提交給他的異常數(shù)據(jù)與加載在引擎中的業(yè)務(wù)規(guī)則進(jìn)行比對(duì)(規(guī)則引擎同時(shí)負(fù)責(zé)加載進(jìn)行規(guī)則比對(duì)所需要的其他外部數(shù)據(jù))，對(duì)符合業(yè)務(wù)規(guī)則比對(duì)結(jié)果的，按照規(guī)則-結(jié)果關(guān)系輸出分析結(jié)果。規(guī)則引擎的存在可以做到靈活的定義規(guī)則和在線調(diào)整規(guī)則。規(guī)則引擎使用Rate算法。
[0049]同時(shí)為解決大批量數(shù)據(jù)比對(duì)后差異數(shù)據(jù)和冗余數(shù)據(jù)較多的情況，為能夠快速、高效完成對(duì)數(shù)據(jù)的清理和對(duì)簡(jiǎn)