本公開涉及數(shù)據(jù)處理，并且更具體地涉及大數(shù)據(jù)和云計算等。尤其涉及一種元數(shù)據(jù)的采集方法、裝置及電子設(shè)備。

背景技術(shù)：

1、在現(xiàn)代信息化社會中，各行業(yè)的數(shù)據(jù)種類繁多且來源廣泛，往往導(dǎo)致在數(shù)據(jù)管理和數(shù)據(jù)分析過程產(chǎn)生一系列問題，其中，元數(shù)據(jù)可以用于描述數(shù)據(jù)，是實現(xiàn)數(shù)據(jù)有效管理和利用的關(guān)鍵，通過對元數(shù)據(jù)的采集，可以為數(shù)據(jù)的存儲、檢索、分析、共享等各個環(huán)節(jié)提供全面的支持。

2、相關(guān)技術(shù)中，通過自動化采集工具通過預(yù)先配置的適配器和連接器與各種數(shù)據(jù)源進(jìn)行交互，自動化采集工具通過解析數(shù)據(jù)源的結(jié)構(gòu)和內(nèi)容，自動識別并提取出相應(yīng)的元數(shù)據(jù)，但是上述方法往往導(dǎo)致元數(shù)據(jù)的采集過程中的效率和自動化程度較低的問題。因此，如何提高元數(shù)據(jù)采集的效率和自動化程度，已成為了亟待解決的問題。

技術(shù)實現(xiàn)思路

1、本公開提供了一種元數(shù)據(jù)的采集方法、裝置及電子設(shè)備、存儲介質(zhì)及程序產(chǎn)品。

2、根據(jù)本公開的一方面，提供了一種元數(shù)據(jù)的采集方法，由分布式系統(tǒng)中的計算節(jié)點執(zhí)行，包括：接收服務(wù)端發(fā)送的元數(shù)據(jù)的采集任務(wù)，并根據(jù)所述采集任務(wù)獲取至少一個數(shù)據(jù)源中的第一數(shù)據(jù)表的元數(shù)據(jù)；根據(jù)所述第一數(shù)據(jù)表的元數(shù)據(jù)，生成第一摘要集合，所述第一摘要集合包括所述第一數(shù)據(jù)表的第一摘要信息；獲取第二摘要集合，所述第二摘要集合包括已存儲過元數(shù)據(jù)的第二數(shù)據(jù)表的第二摘要信息，所述第二摘要信息由所述第二數(shù)據(jù)表的元數(shù)據(jù)生成；根據(jù)所述第一摘要集合和第二摘要集合，對采集的所述第一數(shù)據(jù)表的元數(shù)據(jù)進(jìn)行存儲。

3、根據(jù)本公開的另一方面，提供了一種元數(shù)據(jù)的采集裝置，用于分布式系統(tǒng)中的計算節(jié)點，包括：第一獲取模塊，用于接收服務(wù)端發(fā)送的元數(shù)據(jù)的采集任務(wù)，并根據(jù)所述采集任務(wù)獲取至少一個數(shù)據(jù)源中的第一數(shù)據(jù)表的元數(shù)據(jù)；生成模塊，用于根據(jù)所述第一數(shù)據(jù)表的元數(shù)據(jù)，生成第一摘要集合，所述第一摘要集合包括所述第一數(shù)據(jù)表的第一摘要信息；第二獲取模塊，用于獲取第二摘要集合，所述第二摘要集合包括已存儲過元數(shù)據(jù)的第二數(shù)據(jù)表的第二摘要信息，所述第二摘要信息由所述第二數(shù)據(jù)表的元數(shù)據(jù)生成；存儲模塊，用于根據(jù)所述第一摘要集合和第二摘要集合，對采集的所述第一數(shù)據(jù)表的元數(shù)據(jù)進(jìn)行存儲。

4、根據(jù)本公開的另一方面，提供了一種電子設(shè)備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行本公開的一方面所述的元數(shù)據(jù)的采集方法。

5、根據(jù)本公開的另一方面，提供了一種存儲有計算機(jī)指令的非瞬時計算機(jī)可讀存儲介質(zhì)，其中，所述計算機(jī)指令用于使所述計算機(jī)執(zhí)行根據(jù)本公開的一方面所述的元數(shù)據(jù)的采集方法。

6、根據(jù)本公開的另一方面，提供了一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序，所述計算機(jī)程序在被處理器執(zhí)行時實現(xiàn)根據(jù)本公開的一方面所述的元數(shù)據(jù)的采集方法的步驟。

7、應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識本公開的實施例的關(guān)鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

技術(shù)特征：

1.一種元數(shù)據(jù)的采集方法，其中，由分布式系統(tǒng)中的計算節(jié)點執(zhí)行，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)所述第一摘要集合和第二摘要集合，對采集的所述第一數(shù)據(jù)表的元數(shù)據(jù)進(jìn)行存儲，包括：

3.根據(jù)權(quán)利要求2所述的方法，其中，所述向所述目標(biāo)集合中添加所述第一數(shù)據(jù)表的至少部分元數(shù)據(jù)，包括：

4.根據(jù)權(quán)利要求2所述的方法，其中，所述根據(jù)所述第一摘要集合和所述第二摘要集合，確定所述第一數(shù)據(jù)表所隸屬的目標(biāo)集合，包括：

5.根據(jù)權(quán)利要求3或4所述的方法，其中，所述方法還包括：

6.根據(jù)權(quán)利要求4所述的方法，其中，所述方法還包括：

7.根據(jù)權(quán)利要求2所述的方法，其中，所述根據(jù)所述第一摘要集合和所述第二摘要集合，確定所述第一數(shù)據(jù)表的元數(shù)據(jù)所隸屬的目標(biāo)集合，包括：

8.根據(jù)權(quán)利要求3或7所述的方法，其中，所述方法包括：

9.根據(jù)權(quán)利要求8所述的方法，其中，所述根據(jù)所述元數(shù)據(jù)量，從所述目標(biāo)第一數(shù)據(jù)表的元數(shù)據(jù)中，確定所述目標(biāo)第一數(shù)據(jù)表的目標(biāo)元數(shù)據(jù)，包括：

10.根據(jù)權(quán)利要求3或7所述的方法，其中，所述方法包括：

11.根據(jù)權(quán)利要求1所述的方法，其中，所述方法還包括：

12.根據(jù)權(quán)利要求2所述的方法，其中，所述以所述目標(biāo)集合的形式，向所述目標(biāo)數(shù)據(jù)庫中存儲所述第一數(shù)據(jù)表的元數(shù)據(jù)之后，還包括：

13.根據(jù)權(quán)利要求1所述的方法，其中，所述方法還包括：

14.根據(jù)權(quán)利要求7所述的方法，其中，所述方法還包括：

15.一種元數(shù)據(jù)的采集裝置，應(yīng)用于分布式系統(tǒng)中的計算節(jié)點，包括：

16.根據(jù)權(quán)利要求15所述的元數(shù)據(jù)的采集裝置，其中，所述存儲模塊，還用于：

17.根據(jù)權(quán)利要求16所述的元數(shù)據(jù)的采集裝置，其中，所述存儲模塊，還用于：

18.根據(jù)權(quán)利要求16所述的元數(shù)據(jù)的采集裝置，其中，所述存儲模塊，還用于：

19.根據(jù)權(quán)利要求17或18所述的元數(shù)據(jù)的采集裝置，其中，所述裝置，還用于：

20.根據(jù)權(quán)利要求18所述的元數(shù)據(jù)的采集裝置，其中，所述裝置，還用于：

21.根據(jù)權(quán)利要求16所述的元數(shù)據(jù)的采集裝置，其中，所述存儲模塊，還用于：

22.根據(jù)權(quán)利要求17或21所述的元數(shù)據(jù)的采集裝置，其中，所述裝置，還用于：

23.根據(jù)權(quán)利要求22所述的元數(shù)據(jù)的采集裝置，其中，所述存儲模塊，還用于：

24.根據(jù)權(quán)利要求17或21所述的元數(shù)據(jù)的采集裝置，其中，所述裝置，還用于：

25.根據(jù)權(quán)利要求15所述的元數(shù)據(jù)的采集裝置，其中，所述裝置，還用于：

26.根據(jù)權(quán)利要求16所述的元數(shù)據(jù)的采集裝置，其中，所述裝置，還用于：

27.根據(jù)權(quán)利要求15所述的元數(shù)據(jù)的采集裝置，其中，所述裝置，還用于：

28.根據(jù)權(quán)利要求21所述的元數(shù)據(jù)的采集裝置，其中，所述裝置，還用于：

29.一種電子設(shè)備，包括：

30.一種存儲有計算機(jī)指令的非瞬時計算機(jī)可讀存儲介質(zhì)，其中，所述計算機(jī)指令用于使所述計算機(jī)執(zhí)行根據(jù)權(quán)利要求1-14中任一項所述的方法。

31.一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序，所述計算機(jī)程序在被處理器執(zhí)行時實現(xiàn)根據(jù)權(quán)利要求1-14中任一項所述的方法的步驟。

技術(shù)總結(jié)
本公開提供了一種元數(shù)據(jù)的采集方法、裝置及電子設(shè)備，涉及大數(shù)據(jù)和云計算等技術(shù)領(lǐng)域。具體實現(xiàn)方案為：接收服務(wù)端發(fā)送的元數(shù)據(jù)的采集任務(wù)，并根據(jù)采集任務(wù)獲取至少一個數(shù)據(jù)源中的第一數(shù)據(jù)表的元數(shù)據(jù)；根據(jù)第一數(shù)據(jù)表的元數(shù)據(jù)，生成第一摘要集合，所述第一摘要集合包括所述第一數(shù)據(jù)表的第一摘要信息；獲取第二摘要集合，所述第二摘要集合包括已存儲過元數(shù)據(jù)的第二數(shù)據(jù)表的第二摘要信息，所述第二摘要信息由所述第二數(shù)據(jù)表的元數(shù)據(jù)生成；根據(jù)所述第一摘要集合和第二摘要集合，對采集的所述第一數(shù)據(jù)表的元數(shù)據(jù)進(jìn)行存儲。由此，本公開根據(jù)第一摘要集合和第二摘要集合，對采集的第一數(shù)據(jù)表的元數(shù)據(jù)進(jìn)行存儲，提高了元數(shù)據(jù)采集的效率和自動化程度。

技術(shù)研發(fā)人員：呂航,姚利
受保護(hù)的技術(shù)使用者：北京百度網(wǎng)訊科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23