本技術涉及數(shù)據(jù)校驗，尤其涉及一種缺失數(shù)據(jù)定位方法、裝置、設備及可讀存儲介質。

背景技術：

1、在數(shù)字化時代，我們被海量數(shù)據(jù)所包圍，這些數(shù)據(jù)通過智能設備產(chǎn)生，通過網(wǎng)絡傳輸，并最終被存儲起來。這些數(shù)據(jù)既包括結構化的，如數(shù)據(jù)庫中的表格數(shù)據(jù)，也包括非結構化的，如文本、圖片、視頻等。大數(shù)據(jù)處理的核心挑戰(zhàn)在于如何從這些繁雜的數(shù)據(jù)中提取出有價值的信息，并對這些信息進行有效的加工和分析。

2、傳統(tǒng)的數(shù)據(jù)處理方法，如sql查詢，雖然在處理結構化數(shù)據(jù)時表現(xiàn)出色，但當面對復雜的業(yè)務邏輯和規(guī)則時，其局限性便顯現(xiàn)出來。sql作為一種聲明式語言，其設計初衷是為了簡化數(shù)據(jù)查詢和操作，而不是為了處理復雜的業(yè)務邏輯。當業(yè)務規(guī)則變得復雜，sql語句也隨之變得冗長和難以理解，這不僅增加了開發(fā)和維護的難度，也提高了對開發(fā)人員技能的要求。

3、以資格證認定為例，這一過程可能涉及多種證件類型、不同的銷售隊伍、考試或課程的完成情況、完成時間、崗位培訓、承諾書等多個條件。這些條件之間可能存在復雜的邏輯關系，需要進行綜合判斷。使用sql來實現(xiàn)數(shù)據(jù)間的復雜邏輯規(guī)則，可能會遇到以下問題：

4、規(guī)則調(diào)整的響應時效慢：每當業(yè)務規(guī)則發(fā)生變化時，都需要開發(fā)人員手動修改sql語句，然后經(jīng)過測試、部署等一系列流程，這不僅耗時，而且容易出錯。

5、規(guī)則維護困難：隨著業(yè)務的發(fā)展，規(guī)則可能會變得越來越復雜，sql語句也會變得越來越難以維護。對于非技術人員來說，理解這些規(guī)則更是難上加難。

6、數(shù)據(jù)缺失的識別問題：當數(shù)據(jù)不滿足某些條件時，sql很難精確地識別出缺失了哪些必要的數(shù)據(jù)，這使得針對性的提醒和數(shù)據(jù)補充變得困難。

7、缺乏直觀的規(guī)則展示：sql語句通常以文本形式存在，缺乏直觀性，不利于業(yè)務人員理解和分析規(guī)則的構成。

技術實現(xiàn)思路

1、本技術提供了一種缺失數(shù)據(jù)定位方法、裝置、設備及可讀存儲介質，解決了采用sql語句實現(xiàn)數(shù)據(jù)間的復雜邏輯規(guī)則配置的手段，存在的調(diào)整響應時效慢，維護困難，難以對缺失數(shù)據(jù)進行定位，以及無法進行直觀的規(guī)則展示的技術問題。

2、有鑒于此，本技術第一方面提供了一種缺失數(shù)據(jù)定位方法，所述方法包括：

3、獲取目標數(shù)據(jù)，所述目標數(shù)據(jù)攜帶有至少一個原子標簽以及與各所述原子標簽之間基于預配置邏輯規(guī)則關聯(lián)的至少一個衍生標簽；

4、基于規(guī)則引擎以及標簽層級關系，依次計算所述衍生標簽以及所述原子標簽的值；

5、基于所述規(guī)則引擎解析所述原子標簽以及至少一個所述衍生標簽的所述預配置邏輯規(guī)則，確定所述原子標簽與至少一個所述衍生標簽的構成關系；

6、根據(jù)所述構成關系，結合所述衍生標簽以及所述原子標簽的值，確定所述目標數(shù)據(jù)的缺失來源數(shù)據(jù)。

7、可選地，所述獲取目標數(shù)據(jù)之前還包括：

8、配置目標數(shù)據(jù)的原子標簽，定義所述原子標簽的標簽層級為第一級；

9、根據(jù)所述目標數(shù)據(jù)與來源數(shù)據(jù)的邏輯關系，確定所述目標數(shù)據(jù)的原子標簽與至少一個衍生標簽之間的預配置邏輯規(guī)則以及各所述衍生標簽的標簽層級；其中，所述預配置邏輯規(guī)則中包含根據(jù)所述原子標簽與所述衍生標簽，以及所述衍生標簽之間的邏輯關系生成的邏輯表達式和/或數(shù)學表達式。

10、可選地，所述基于規(guī)則引擎以及標簽層級關系，依次計算所述衍生標簽以及所述原子標簽的值具體為：

11、基于規(guī)則引擎解析所述目標數(shù)據(jù)，確定所述目標數(shù)據(jù)包含的至少一個所述原子標簽與至少一個所述衍生標簽之間的標簽層級關系；

12、按照所述標簽層級關系，以第一級為最高，從低至高依次計算所述衍生標簽以及所述原子標簽的值，若所述衍生標簽或所述原子標簽的值不存在，則用空值表示所述衍生標簽或所述原子標簽。

13、可選地，所述基于所述規(guī)則引擎解析所述原子標簽以及至少一個所述衍生標簽的所述預配置邏輯規(guī)則，確定所述原子標簽與至少一個所述衍生標簽的構成關系具體為：

14、基于所述規(guī)則引擎解析所述目標數(shù)據(jù)的所述預配置邏輯規(guī)則，確定所述預配置邏輯規(guī)則中包含的邏輯表達式和/或數(shù)學表達式；

15、根據(jù)所述邏輯表達式和/或數(shù)學表達式，解析得到所述原子標簽以及至少一個所述衍生標簽的構成關系。

16、可選地，所述根據(jù)所述構成關系，結合所述衍生標簽以及所述原子標簽的值，確定所述目標數(shù)據(jù)的缺失來源數(shù)據(jù)具體為：

17、根據(jù)所述構成關系，以所述原子標簽為起點，逐層級檢驗所述原子標簽以及所述衍生標簽的值；

18、若所述衍生標簽或所述原子標簽的值為空值，則標記空值對應所述衍生標簽或所述原子標簽為異常標簽，并定位所述異常標簽對應來源數(shù)據(jù)，確定所述目標數(shù)據(jù)的缺失來源數(shù)據(jù)。

19、可選地，所述根據(jù)所述構成關系，結合所述衍生標簽以及所述原子標簽的值，確定所述目標數(shù)據(jù)的缺失來源數(shù)據(jù)還包括：

20、調(diào)用預設可視化模板；

21、將所述目標數(shù)據(jù)的所述原子標簽以及至少一個所述衍生標簽的構成關系，和所述原子標簽以及至少一個所述衍生標簽的值填充至所述預設可視化模板中，生成圖形可視化界面。

22、可選地，所述確定所述目標數(shù)據(jù)的缺失來源數(shù)據(jù)之后還包括：

23、在所述圖形可視化界面中，以高亮形式或第一目標顏色標記所述異常標簽；

24、在所述圖形可視化界面中，以高亮形式或第二目標顏色標記所述目標數(shù)據(jù)與所述缺失來源數(shù)據(jù)之間的標簽關聯(lián)線條。

25、本技術第二方面提供一種缺失數(shù)據(jù)定位裝置，所述裝置包括：

26、獲取單元，用于獲取目標數(shù)據(jù)，所述目標數(shù)據(jù)攜帶有至少一個原子標簽以及與各所述原子標簽之間基于預配置邏輯規(guī)則關聯(lián)的至少一個衍生標簽；

27、計算單元，用于基于規(guī)則引擎以及標簽層級關系，依次計算所述衍生標簽以及所述原子標簽的值；

28、解析單元，用于基于所述規(guī)則引擎解析所述原子標簽以及至少一個所述衍生標簽的所述預配置邏輯規(guī)則，確定所述原子標簽與至少一個所述衍生標簽的構成關系；

29、定位單元，用于根據(jù)所述構成關系，結合所述衍生標簽以及所述原子標簽的值，確定所述目標數(shù)據(jù)的缺失來源數(shù)據(jù)。

30、可選地，還包括配置單元，用于：

31、配置目標數(shù)據(jù)的原子標簽，定義所述原子標簽的標簽層級為第一級；

32、根據(jù)所述目標數(shù)據(jù)與來源數(shù)據(jù)的邏輯關系，確定所述目標數(shù)據(jù)的原子標簽與至少一個衍生標簽之間的預配置邏輯規(guī)則以及各所述衍生標簽的標簽層級；其中，所述預配置邏輯規(guī)則中包含根據(jù)所述原子標簽與所述衍生標簽，以及所述衍生標簽之間的邏輯關系生成的邏輯表達式和/或數(shù)學表達式。

33、可選地，所述計算單元具體用于：

34、基于規(guī)則引擎解析所述目標數(shù)據(jù)，確定所述目標數(shù)據(jù)包含的至少一個所述原子標簽與至少一個所述衍生標簽之間的標簽層級關系；

35、按照所述標簽層級關系，以第一級為最高，從低至高依次計算所述衍生標簽以及所述原子標簽的值，若所述衍生標簽或所述原子標簽的值不存在，則用空值表示所述衍生標簽或所述原子標簽。

36、可選地，所述解析單元具體用于：

37、基于所述規(guī)則引擎解析所述目標數(shù)據(jù)的所述預配置邏輯規(guī)則，確定所述預配置邏輯規(guī)則中包含的邏輯表達式和/或數(shù)學表達式；

38、根據(jù)所述邏輯表達式和/或數(shù)學表達式，解析得到所述原子標簽以及至少一個所述衍生標簽的構成關系。

39、可選地，所述定位單元具體用于：

40、根據(jù)所述構成關系，以所述原子標簽為起點，逐層級檢驗所述原子標簽以及所述衍生標簽的值；

41、若所述衍生標簽或所述原子標簽的值為空值，則標記空值對應所述衍生標簽或所述原子標簽為異常標簽，并定位所述異常標簽對應來源數(shù)據(jù)，確定所述目標數(shù)據(jù)的缺失來源數(shù)據(jù)。

42、可選地，所述定位單元還包括可視化子單元，用于：

43、生成圖形可視化界面，所述圖形可視化界面中包含所述目標數(shù)據(jù)的所述原子標簽以及至少一個所述衍生標簽的構成關系，和所述原子標簽以及至少一個所述衍生標簽的值。

44、可選地，所述可視化子單元還用于：

45、在所述圖形可視化界面中，以高亮形式或第一目標顏色標記所述異常標簽；

46、在所述圖形可視化界面中，以高亮形式或第二目標顏色標記所述目標數(shù)據(jù)與所述缺失來源數(shù)據(jù)之間的標簽關聯(lián)線條。

47、本技術第三方面提供一種缺失數(shù)據(jù)定位設備，所述設備包括處理器以及存儲器：

48、所述存儲器用于存儲程序代碼，并將所述程序代碼傳輸給所述處理器；

49、所述處理器用于根據(jù)所述程序代碼中的指令，執(zhí)行如上述第一方面所述的缺失數(shù)據(jù)定位的方法的步驟。

50、本技術第四方面提供一種計算機可讀存儲介質，所述計算機可讀存儲介質用于存儲程序代碼，所述程序代碼用于執(zhí)行上述第一方面所述的方法。

51、從以上技術方案可以看出，本技術實施例具有以下優(yōu)點：

52、本技術中，提供了一種缺失數(shù)據(jù)定位方法、裝置、設備及可讀存儲介質，基于規(guī)則引擎解析確定目標數(shù)據(jù)與來源數(shù)據(jù)之間存在的多層級的標簽層級關系，依次計算目標數(shù)據(jù)包含的至少一個原子標簽和至少一個衍生標簽的值，并結合原子標簽與至少一個衍生標簽的構成關系，校驗出存在異常的缺失來源數(shù)據(jù)，相較于sql語句實現(xiàn)數(shù)據(jù)校驗，規(guī)則引擎能夠實現(xiàn)更加便捷地規(guī)則配置，同時標簽的存在使得目標數(shù)據(jù)和來源數(shù)據(jù)之間的邏輯關系或數(shù)學關系能夠更加清晰，解決了采用sql語句實現(xiàn)數(shù)據(jù)間的復雜邏輯規(guī)則配置的手段，存在的調(diào)整響應時效慢，維護困難，難以對缺失數(shù)據(jù)進行定位，以及無法進行直觀的規(guī)則展示的技術問題。