本申請涉及大數(shù)據(jù)集群，尤其涉及一種大數(shù)據(jù)集群的配置數(shù)據(jù)管理方法、系統(tǒng)及裝置。

背景技術(shù)：

1、隨著互聯(lián)網(wǎng)和大數(shù)據(jù)的發(fā)展和技術(shù)進(jìn)步，催生了如kafka、hadoop和spark等服務(wù)器集群，進(jìn)一步推動了互聯(lián)網(wǎng)大數(shù)據(jù)的進(jìn)展，隨著服務(wù)器集群數(shù)量的不斷擴增，為了保障系統(tǒng)的高可用性和性能，往往需要在這些集群中部署大量冗余的服務(wù)。

2、企業(yè)內(nèi)部運用的大數(shù)據(jù)組件并不會局限于某一個，hadoop、spark、hive、flink集群等都會同時使用，而這些海量冗余的配置文件，分布在各個不同節(jié)點，缺乏配置一致性的校驗，管理起來散亂復(fù)雜，維護(hù)成本過高，且容易出現(xiàn)配置不一致以及故障定位困難等問題，如果過多依賴人工管理這些海量配置文件，會帶來效率低下的問題。

技術(shù)實現(xiàn)思路

1、為了解決上述技術(shù)問題或者至少部分地解決上述技術(shù)問題，本申請?zhí)峁┝艘环N大數(shù)據(jù)集群的配置數(shù)據(jù)管理方法、系統(tǒng)及裝置。

2、第一方面，本申請?zhí)峁┝艘环N大數(shù)據(jù)集群的配置數(shù)據(jù)管理方法，所述方法包括：

3、通過分布式采集器對多個大數(shù)據(jù)集群的配置數(shù)據(jù)進(jìn)行采集；

4、通過數(shù)據(jù)處理后臺存儲所述配置數(shù)據(jù)，并通過告警規(guī)則對所述配置數(shù)據(jù)進(jìn)行智能預(yù)警和自動修復(fù)；

5、在可視化平臺進(jìn)行業(yè)務(wù)配置和所述配置數(shù)據(jù)的展示。

6、可選地，通過告警規(guī)則對所述配置數(shù)據(jù)進(jìn)行智能預(yù)警包括：

7、確定所述配置數(shù)據(jù)中當(dāng)前待分析的目標(biāo)配置數(shù)據(jù)；

8、根據(jù)目標(biāo)配置數(shù)據(jù)的屬性，將所述目標(biāo)配置數(shù)據(jù)與對應(yīng)的歷史配置數(shù)據(jù)或標(biāo)準(zhǔn)配置數(shù)據(jù)進(jìn)行對比，確定是否存在變更數(shù)據(jù)；

9、若存在變更數(shù)據(jù)，則進(jìn)行智能預(yù)警。

10、可選地，通過告警規(guī)則對所述配置數(shù)據(jù)進(jìn)行自動修復(fù)包括：

11、從所述可視化平臺獲取預(yù)先設(shè)置的業(yè)務(wù)配置項；

12、檢測到所述業(yè)務(wù)配置項中的自動修復(fù)項開啟的情況下，若所述目標(biāo)配置數(shù)據(jù)與對應(yīng)的標(biāo)準(zhǔn)配置數(shù)據(jù)對比后存在變更數(shù)據(jù)，則觸發(fā)自動修復(fù)機制；

13、基于所述自動修復(fù)機制將所述目標(biāo)配置數(shù)據(jù)替換為所述標(biāo)準(zhǔn)配置數(shù)據(jù)。

14、可選地，所述方法還包括：

15、通過數(shù)據(jù)處理后臺記錄全部配置數(shù)據(jù)的歷史版本，并記錄每個版本中的變更數(shù)據(jù)。

16、可選地，所述方法還包括：

17、以所述數(shù)據(jù)處理后臺中記錄的全部配置數(shù)據(jù)和變更數(shù)據(jù)對應(yīng)的預(yù)警信息為樣本，對初始預(yù)警模型進(jìn)行訓(xùn)練；

18、若初始預(yù)警模型輸出的變更數(shù)據(jù)、預(yù)警結(jié)果與所述樣本中的變更數(shù)據(jù)、預(yù)警信息一致，則確定所述初始預(yù)警模型訓(xùn)練完成，得到目標(biāo)預(yù)警模型；

19、將最新的配置數(shù)據(jù)輸入所述目標(biāo)預(yù)警模型，得到所述目標(biāo)預(yù)警模型輸出的變更數(shù)據(jù)以及所述變更數(shù)據(jù)對應(yīng)的預(yù)警信息。

20、可選地，通過分布式采集器對多個大數(shù)據(jù)集群的配置數(shù)據(jù)進(jìn)行采集包括：

21、通過分布式采集器定時采集所述多個大數(shù)據(jù)集群中全量的配置數(shù)據(jù)；以及，

22、通過分布式采集器檢測到目標(biāo)大數(shù)據(jù)集群的配置文件的哈希值發(fā)生變動的情況下，采集發(fā)生變動的配置文件的配置數(shù)據(jù)。

23、可選地，通過分布式采集器對多個大數(shù)據(jù)集群的配置數(shù)據(jù)進(jìn)行采集包括：

24、通過所述分布式采集器調(diào)用所述數(shù)據(jù)處理后臺的api接口獲取采集模板，其中，每個采集模板對應(yīng)一類配置文件的數(shù)據(jù)格式；

25、通過所述采集模板采集對應(yīng)配置文件中的配置數(shù)據(jù)，并將所述配置數(shù)據(jù)的格式轉(zhuǎn)換為所述數(shù)據(jù)處理后臺能夠解析的統(tǒng)一格式。

26、第二方面，本申請?zhí)峁┝艘环N大數(shù)據(jù)集群的配置數(shù)據(jù)管理系統(tǒng)，所述系統(tǒng)包括：

27、分布式采集器，用于對多個大數(shù)據(jù)集群的配置數(shù)據(jù)進(jìn)行采集；

28、數(shù)據(jù)處理后臺，與所述分布式采集器連接，用于存儲所述配置數(shù)據(jù)，并通過告警規(guī)則對所述配置數(shù)據(jù)進(jìn)行智能預(yù)警和自動修復(fù)；

29、可視化平臺，與所述數(shù)據(jù)處理后臺連接，用于進(jìn)行業(yè)務(wù)配置和所述配置數(shù)據(jù)的展示。

30、第三方面，本申請?zhí)峁┝艘环N大數(shù)據(jù)集群的配置數(shù)據(jù)管理裝置，所述裝置包括：

31、采集模塊，用于通過分布式采集器對多個大數(shù)據(jù)集群的配置數(shù)據(jù)進(jìn)行采集；

32、預(yù)警和修復(fù)模塊，用于通過數(shù)據(jù)處理后臺存儲所述配置數(shù)據(jù)，并通過告警規(guī)則對所述配置數(shù)據(jù)進(jìn)行智能預(yù)警和自動修復(fù)；

33、展示模塊，用于在可視化平臺進(jìn)行業(yè)務(wù)配置和所述配置數(shù)據(jù)的展示。

34、第四方面，提供了一種電子設(shè)備，包括處理器、通信接口、存儲器和通信總線，其中，處理器，通信接口，存儲器通過通信總線完成相互間的通信；

35、存儲器，用于存放計算機程序；

36、處理器，用于執(zhí)行存儲器上所存放的程序時，實現(xiàn)任一所述的大數(shù)據(jù)集群的配置數(shù)據(jù)管理方法步驟。

37、第五方面，提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)內(nèi)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)任一所述的大數(shù)據(jù)集群的配置數(shù)據(jù)管理方法步驟。

38、本申請實施例提供的上述技術(shù)方案與現(xiàn)有技術(shù)相比具有如下優(yōu)點：

39、本申請實施例提供的該方法，分布式采集器負(fù)責(zé)對大數(shù)據(jù)集群中配置數(shù)據(jù)的定時采集，數(shù)據(jù)處理后臺存儲采集數(shù)據(jù)，并通過定制化規(guī)則校驗實現(xiàn)智能預(yù)警和自動修復(fù)功能，再由可視化平臺負(fù)責(zé)對業(yè)務(wù)數(shù)據(jù)的展示，并支持業(yè)務(wù)配置功能。從而將復(fù)雜多變的配置文件可視化，并能夠?qū)﹄s亂的配置進(jìn)行分析處理，可提前預(yù)測發(fā)現(xiàn)錯誤，避免由于配置不一致問題帶來故障。相對于人工管理復(fù)雜且海量的配置數(shù)據(jù)帶來的效率低下的問題，本申請通過系統(tǒng)自動化管理，提高管理效率。

技術(shù)特征：

1.一種大數(shù)據(jù)集群的配置數(shù)據(jù)管理方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過告警規(guī)則對所述配置數(shù)據(jù)進(jìn)行智能預(yù)警包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，通過告警規(guī)則對所述配置數(shù)據(jù)進(jìn)行自動修復(fù)包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過分布式采集器對多個大數(shù)據(jù)集群的配置數(shù)據(jù)進(jìn)行采集包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過分布式采集器對多個大數(shù)據(jù)集群的配置數(shù)據(jù)進(jìn)行采集包括：

8.一種大數(shù)據(jù)集群的配置數(shù)據(jù)管理系統(tǒng)，其特征在于，所述系統(tǒng)包括：

9.一種大數(shù)據(jù)集群的配置數(shù)據(jù)管理裝置，其特征在于，所述裝置包括：

10.一種電子設(shè)備，其特征在于，包括處理器、通信接口、存儲器和通信總線，其中，處理器，通信接口，存儲器通過通信總線完成相互間的通信；

11.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)內(nèi)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1-7任一所述的方法步驟。

技術(shù)總結(jié)
本申請?zhí)峁┝艘环N大數(shù)據(jù)集群的配置數(shù)據(jù)管理方法、系統(tǒng)及裝置，所述方法包括：通過分布式采集器對多個大數(shù)據(jù)集群的配置數(shù)據(jù)進(jìn)行采集；通過數(shù)據(jù)處理后臺存儲所述配置數(shù)據(jù)，并通過告警規(guī)則對所述配置數(shù)據(jù)進(jìn)行智能預(yù)警和自動修復(fù)；在可視化平臺進(jìn)行業(yè)務(wù)配置和所述配置數(shù)據(jù)的展示。本申請通過系統(tǒng)自動化管理，提高管理效率。

技術(shù)研發(fā)人員：徐二濤,林豪
受保護(hù)的技術(shù)使用者：北京奇藝世紀(jì)科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23