本技術(shù)涉及計(jì)算機(jī)，特別是涉及業(yè)務(wù)數(shù)據(jù)處理方法、系統(tǒng)、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在現(xiàn)代信貸業(yè)務(wù)中，用戶通常通過電子平臺(tái)完成一系列操作，這些操作包括實(shí)名認(rèn)證、額度申請(qǐng)、調(diào)額調(diào)價(jià)、同步授信、申請(qǐng)支用、還款扣款、還款提醒等流程節(jié)點(diǎn)。這些節(jié)點(diǎn)中的用戶行為通常會(huì)以埋點(diǎn)數(shù)據(jù)的形式記錄在平臺(tái)中。然而，由于不同流程節(jié)點(diǎn)的操作記錄分散在平臺(tái)的各個(gè)部分，這些數(shù)據(jù)缺乏統(tǒng)一的存儲(chǔ)和管理方式，導(dǎo)致在業(yè)務(wù)部門需要查詢相關(guān)數(shù)據(jù)時(shí)，往往難以及時(shí)、準(zhǔn)確地獲取所需信息。

2、現(xiàn)有技術(shù)中的數(shù)據(jù)存儲(chǔ)方式存在以下幾個(gè)主要問題：首先，用戶行為數(shù)據(jù)分散在各個(gè)流程節(jié)點(diǎn)和操作模塊中，缺乏統(tǒng)一的存儲(chǔ)和管理機(jī)制。其次，在需要對(duì)這些數(shù)據(jù)進(jìn)行查詢和分析時(shí)，缺乏一個(gè)集中的入口或工具，導(dǎo)致數(shù)據(jù)的提取和分析過程繁瑣且耗時(shí)。最后，隨著信貸業(yè)務(wù)的發(fā)展，數(shù)據(jù)量迅速增長(zhǎng)，傳統(tǒng)的分散式存儲(chǔ)方式難以支持大規(guī)模數(shù)據(jù)的高效處理和利用。

3、為了解決上述問題，有必要建立一個(gè)統(tǒng)一的數(shù)據(jù)倉庫，整合并集中存儲(chǔ)這些用戶行為數(shù)據(jù)。通過這種方式，可以提供一個(gè)統(tǒng)一的查詢?nèi)肟冢阌跇I(yè)務(wù)部門快速獲取和分析所需的用戶行為數(shù)據(jù)，從而提高數(shù)據(jù)管理的效率，并支持更精準(zhǔn)的業(yè)務(wù)決策。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供了一種業(yè)務(wù)數(shù)據(jù)處理方法、系統(tǒng)、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，以實(shí)現(xiàn)提高數(shù)據(jù)管理效率、支撐業(yè)務(wù)決策的目的。

2、第一方面，本技術(shù)實(shí)施例提供了一種業(yè)務(wù)數(shù)據(jù)處理方法，包括：

3、數(shù)據(jù)獲取步驟，通過數(shù)據(jù)引擎獲取數(shù)據(jù)源的用戶行為數(shù)據(jù)并預(yù)先配置過濾規(guī)則，所述過濾規(guī)則包括事件主題、數(shù)據(jù)字段；基于該過濾規(guī)則可以從各種數(shù)據(jù)源中消費(fèi)數(shù)據(jù)，以便后續(xù)進(jìn)行實(shí)時(shí)處理和分析，數(shù)據(jù)源為連接信貸業(yè)務(wù)平臺(tái)等，其中數(shù)據(jù)包括：登錄、注冊(cè)、實(shí)名信息、額度申請(qǐng)、支用申請(qǐng)、外呼任務(wù)、短信通知、發(fā)券、發(fā)紅包等消息；

4、場(chǎng)景事件配置步驟，在事件系統(tǒng)中基于業(yè)務(wù)場(chǎng)景創(chuàng)建原子事件，基于所述原子事件在elasticsearch中生成索引和映射，以在elasticsearch中創(chuàng)建存儲(chǔ)和查詢?cè)邮录?shù)據(jù)的表結(jié)構(gòu)，通過elasticsearch提供的查詢接口檢索和分析原子事件，事件系統(tǒng)消費(fèi)并解析所述數(shù)據(jù)獲取步驟中的對(duì)應(yīng)事件主題的數(shù)據(jù)字段，將數(shù)據(jù)字段的數(shù)據(jù)存儲(chǔ)至相應(yīng)的映射中，生成es表結(jié)構(gòu)；

5、時(shí)光軸展示步驟，獲取一接入系統(tǒng)的查詢請(qǐng)求，事件系統(tǒng)基于所述接入系統(tǒng)、時(shí)光軸類型確定原子事件，基于原子事件的事件主題查詢es表結(jié)構(gòu)中數(shù)據(jù)并以時(shí)光軸頁面形式展示在接入系統(tǒng)中。

6、在其中一些實(shí)施例中，所述數(shù)據(jù)獲取步驟進(jìn)一步包括：所述數(shù)據(jù)源包括；kafka和/或archer，上游系統(tǒng)將用戶行為數(shù)據(jù)以json格式消息發(fā)送至數(shù)據(jù)源的消息隊(duì)列中，數(shù)據(jù)引擎在所述消息隊(duì)列中拉取消息并解析消息內(nèi)容，獲取消息名稱、描述、通信通道channel和消息容器queue等信息。

7、在其中一些實(shí)施例中，所述場(chǎng)景事件配置步驟進(jìn)一步包括：

8、場(chǎng)景配置步驟，創(chuàng)建場(chǎng)景并配置場(chǎng)景信息，所述場(chǎng)景信息包括：場(chǎng)景編號(hào)、場(chǎng)景名稱、場(chǎng)景描述、場(chǎng)景狀態(tài)、場(chǎng)景觸發(fā)類型及場(chǎng)景接入連接等，基于該場(chǎng)景可提供的日志查詢及導(dǎo)出操作，本實(shí)施例配置的場(chǎng)景包括但不限于：ma短信、營銷外呼結(jié)果、額度申請(qǐng)核算、支用信息核算、資源位數(shù)據(jù)、券和紅包、發(fā)券紅包消息、免息券等，場(chǎng)景狀態(tài)包括啟用或禁用。

9、事件配置步驟，基于所述場(chǎng)景關(guān)聯(lián)創(chuàng)建原子事件，原子事件信息包括：事件編碼、事件名稱、事件描述、事件主題、事件定義、數(shù)據(jù)源的接入配置及相應(yīng)的用戶標(biāo)識(shí)符；

10、表結(jié)構(gòu)配置步驟，通過定時(shí)任務(wù)將原子事件的同步至一事件系統(tǒng)，保存原子事件及所屬的行為分組至數(shù)據(jù)庫中，根據(jù)原子事件信息創(chuàng)建elasticsearch生成索引和映射。

11、在其中一些實(shí)施例中，所述時(shí)光軸展示步驟進(jìn)一步包括：

12、創(chuàng)建時(shí)光軸展示頁面，每一待展示的時(shí)光軸對(duì)應(yīng)配置一接入方系統(tǒng)、行為主鍵、原子事件及時(shí)間區(qū)間，配置原子事件下展示的明細(xì)字段，所述時(shí)間區(qū)間可以選擇以月為單位。

13、進(jìn)一步的，本技術(shù)可以基于時(shí)間區(qū)間和接入方系統(tǒng)分頁提供查詢列表，可以基于es表結(jié)構(gòu)并發(fā)的查詢多中索引的多個(gè)月份的事件，按照索引類型并發(fā)組裝參數(shù)進(jìn)行查詢。

14、基于上述步驟，本技術(shù)實(shí)施例利用數(shù)據(jù)引擎和事件系統(tǒng)協(xié)同工作，處理數(shù)據(jù)源中接收的消息，根據(jù)配置信息生成原子事件并實(shí)現(xiàn)基于elasticsearch的查詢和分析，實(shí)現(xiàn)了靈活、可擴(kuò)展的事件處理管道，可以高效的處理、分析來自不同數(shù)據(jù)源的數(shù)據(jù)并提供用戶在信貸業(yè)務(wù)平臺(tái)的對(duì)外行為查詢，供業(yè)務(wù)方基于數(shù)據(jù)開展業(yè)務(wù)活動(dòng)。

15、在其中一些實(shí)施例中，所述數(shù)據(jù)引擎提供一配置交互界面，允許用戶通過簡(jiǎn)單的拖拽和填寫表單的方式來配置數(shù)據(jù)源和事件主題，數(shù)據(jù)引擎提供靈活的配置選項(xiàng)，使用戶能夠通過頁面配置來指定數(shù)據(jù)源的事件主題，以及數(shù)據(jù)字段信息等。

16、基于此，用戶可以通過簡(jiǎn)單的頁面配置來切換數(shù)據(jù)源和topic，而無需修改代碼，提高配置靈活性。這種配置方式也使得數(shù)據(jù)源的管理和切換變得非常簡(jiǎn)單和快捷。

17、在其中一些實(shí)施例中，所述數(shù)據(jù)引擎支持使用jsonpath表達(dá)式來提取json消息中的字段。用戶可以在配置交互界面上指定jsonpath表達(dá)式，以提取所需數(shù)據(jù)字段。

18、基于此，本實(shí)施例的易用性較強(qiáng)，用戶無需深入了解json結(jié)構(gòu)和編程，即可通過簡(jiǎn)單的jsonpath表達(dá)式提取所需數(shù)據(jù)。

19、第二方面，本技術(shù)實(shí)施例提供了一種業(yè)務(wù)數(shù)據(jù)處理系統(tǒng)，包括：

20、數(shù)據(jù)獲取模塊，配置為通過數(shù)據(jù)引擎獲取數(shù)據(jù)源的用戶行為數(shù)據(jù)并預(yù)先配置過濾規(guī)則，所述過濾規(guī)則包括事件主題、數(shù)據(jù)字段；基于該過濾規(guī)則可以從各種數(shù)據(jù)源中消費(fèi)數(shù)據(jù)，以便后續(xù)進(jìn)行實(shí)時(shí)處理和分析，數(shù)據(jù)源為連接信貸業(yè)務(wù)平臺(tái)等，其中數(shù)據(jù)包括：登錄、注冊(cè)、實(shí)名信息、額度申請(qǐng)、支用申請(qǐng)、外呼任務(wù)、短信通知、發(fā)券、發(fā)紅包等消息；

21、場(chǎng)景事件配置模塊，配置為在事件系統(tǒng)中基于業(yè)務(wù)場(chǎng)景創(chuàng)建原子事件，基于所述原子事件在elasticsearch中生成索引和映射，以在elasticsearch中創(chuàng)建存儲(chǔ)和查詢?cè)邮录?shù)據(jù)的表結(jié)構(gòu)，通過elasticsearch提供的查詢接口檢索和分析原子事件，事件系統(tǒng)消費(fèi)并解析所述數(shù)據(jù)獲取步驟中的對(duì)應(yīng)事件主題的數(shù)據(jù)字段，將數(shù)據(jù)字段的數(shù)據(jù)存儲(chǔ)至相應(yīng)的映射中，生成es表結(jié)構(gòu)；

22、時(shí)光軸展示模塊，配置為獲取一接入系統(tǒng)的查詢請(qǐng)求，事件系統(tǒng)基于所述接入系統(tǒng)、時(shí)光軸類型確定原子事件，基于原子事件的事件主題查詢es表結(jié)構(gòu)中數(shù)據(jù)并以時(shí)光軸頁面形式展示在接入系統(tǒng)中。

23、在其中一些實(shí)施例中，所述場(chǎng)景事件配置模塊進(jìn)一步包括：

24、場(chǎng)景配置模塊，配置為創(chuàng)建場(chǎng)景并配置場(chǎng)景信息，所述場(chǎng)景信息包括：場(chǎng)景編號(hào)、場(chǎng)景名稱、場(chǎng)景描述、場(chǎng)景狀態(tài)、場(chǎng)景觸發(fā)類型及場(chǎng)景接入連接等，基于該場(chǎng)景可提供的日志查詢及導(dǎo)出操作，本實(shí)施例配置的場(chǎng)景包括但不限于：ma短信、營銷外呼結(jié)果、額度申請(qǐng)核算、支用信息核算、資源位數(shù)據(jù)、券和紅包、發(fā)券紅包消息、免息券等，場(chǎng)景狀態(tài)包括啟用或禁用。

25、事件配置模塊，配置為基于所述場(chǎng)景關(guān)聯(lián)創(chuàng)建原子事件，原子事件信息包括：事件編碼、事件名稱、事件描述、事件主題、事件定義、數(shù)據(jù)源的接入配置及相應(yīng)的用戶標(biāo)識(shí)符；

26、表結(jié)構(gòu)配置模塊，配置為通過定時(shí)任務(wù)將原子事件的同步至一事件系統(tǒng)，保存原子事件及所屬的行為分組至數(shù)據(jù)庫中，根據(jù)原子事件信息創(chuàng)建elasticsearch生成索引和映射。

27、第三方面，本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上述第一方面所述的業(yè)務(wù)數(shù)據(jù)處理方法。

28、第四方面，本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述第一方面所述的業(yè)務(wù)數(shù)據(jù)處理方法。

29、相比于相關(guān)技術(shù)，本技術(shù)實(shí)施例提供的業(yè)務(wù)數(shù)據(jù)處理方法、系統(tǒng)、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，通過消費(fèi)各種業(yè)務(wù)消息，如登錄、注冊(cè)、實(shí)名、額度申請(qǐng)、額度變更、支用申請(qǐng)、外呼、短信、發(fā)券發(fā)紅包等，構(gòu)建時(shí)光軸查詢的數(shù)據(jù)倉庫，提供用戶行為數(shù)據(jù)查詢服務(wù)，實(shí)現(xiàn)了靈活、可擴(kuò)展的事件處理管道，可以高效的處理、分析來自不同數(shù)據(jù)源的數(shù)據(jù)并提供用戶在信貸業(yè)務(wù)平臺(tái)的對(duì)外行為查詢。

30、本技術(shù)的一個(gè)或多個(gè)實(shí)施例的細(xì)節(jié)在以下附圖和描述中提出，以使本技術(shù)的其他特征、目的和優(yōu)點(diǎn)更加簡(jiǎn)明易懂。