本申請(qǐng)涉及大數(shù)據(jù)，特別是涉及一種元數(shù)據(jù)的處理方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、hdfs（hadoop?distributed?file?system）是一種分布式文件系統(tǒng)，能夠以高吞吐量訪問應(yīng)用程序的數(shù)據(jù)，實(shí)現(xiàn)大數(shù)據(jù)的存儲(chǔ)和處理，因此，得到了越來越廣泛的應(yīng)用。

2、為了維護(hù)hdfs的穩(wěn)定性，需要對(duì)hdfs中的文件和目錄進(jìn)行監(jiān)測(cè)。文件位于目錄下，目錄可以存在上級(jí)目錄或下級(jí)目錄。相關(guān)技術(shù)中，通過使用hdfs命令行、客戶端或webhdfs等方式能夠直接獲取特定的文件的大小。

3、然而，在hdfs包含海量文件和目錄的情況下，相關(guān)技術(shù)無法實(shí)現(xiàn)快速、有效的監(jiān)測(cè)，容易影響hdfs的穩(wěn)定性。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對(duì)上述技術(shù)問題，提供一種能夠提高對(duì)分布式文件系統(tǒng)進(jìn)行監(jiān)測(cè)的效率和準(zhǔn)確性的元數(shù)據(jù)的處理方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

2、第一方面，本申請(qǐng)?zhí)峁┝艘环N元數(shù)據(jù)的處理方法，包括：

3、獲取分布式文件系統(tǒng)的鏡像文件，所述鏡像文件包括所述分布式文件系統(tǒng)的元數(shù)據(jù)；

4、將所述鏡像文件轉(zhuǎn)換為文本格式的中間文件，并從所述中間文件中提取出所述分布式文件系統(tǒng)中數(shù)據(jù)文件的路徑信息和數(shù)據(jù)量；

5、根據(jù)所述數(shù)據(jù)文件的路徑信息和數(shù)據(jù)量，確定所述數(shù)據(jù)文件的上級(jí)目錄下的文件數(shù)量和總數(shù)據(jù)量；

6、在預(yù)設(shè)的數(shù)據(jù)展示頁面上展示所述數(shù)據(jù)文件的數(shù)據(jù)量和所述上級(jí)目錄下的文件數(shù)量和總數(shù)據(jù)量。

7、在其中一個(gè)實(shí)施例中，所述在預(yù)設(shè)的數(shù)據(jù)展示頁面上展示所述數(shù)據(jù)文件的數(shù)據(jù)量和所述上級(jí)目錄下的文件數(shù)量和總數(shù)據(jù)量包括：

8、根據(jù)所述上級(jí)目錄下的文件數(shù)量和總數(shù)據(jù)量，確定根目錄下的文件數(shù)量和總數(shù)據(jù)量；

9、在預(yù)設(shè)的數(shù)據(jù)展示頁面上展示所述根目錄下的文件數(shù)量和總數(shù)據(jù)量；

10、響應(yīng)于針對(duì)所述數(shù)據(jù)展示頁面上與所述根目錄相關(guān)聯(lián)的第一控件的觸發(fā)操作，在所述數(shù)據(jù)展示頁面上展示所述根目錄的下一級(jí)目錄下的文件數(shù)量和總數(shù)據(jù)量和/或所述數(shù)據(jù)文件的數(shù)據(jù)量。

11、在其中一個(gè)實(shí)施例中，在所述在預(yù)設(shè)的數(shù)據(jù)展示頁面上展示所述數(shù)據(jù)文件的數(shù)據(jù)量和所述上級(jí)目錄下的文件數(shù)量和總數(shù)據(jù)量，之后包括：

12、響應(yīng)于針對(duì)所述數(shù)據(jù)展示頁面上與目標(biāo)目錄相關(guān)聯(lián)的第二控件的觸發(fā)操作，在所述數(shù)據(jù)展示頁面上展示歷史時(shí)間段內(nèi)所述目標(biāo)目錄下的總數(shù)據(jù)量；

13、響應(yīng)于針對(duì)所述數(shù)據(jù)展示頁面上與目標(biāo)數(shù)據(jù)文件相關(guān)聯(lián)的第二控件的觸發(fā)操作，在所述數(shù)據(jù)展示頁面上展示歷史時(shí)間段內(nèi)所述目標(biāo)數(shù)據(jù)文件的數(shù)據(jù)量。

14、在其中一個(gè)實(shí)施例中，在所述在預(yù)設(shè)的數(shù)據(jù)展示頁面上展示所述數(shù)據(jù)文件的數(shù)據(jù)量和所述上級(jí)目錄下的文件數(shù)量和總數(shù)據(jù)量，之前包括：

15、將所述數(shù)據(jù)文件的數(shù)據(jù)量、所述上級(jí)目錄下的文件數(shù)量和總數(shù)據(jù)量存儲(chǔ)至分布式數(shù)據(jù)庫的分區(qū)表中；所述分布式數(shù)據(jù)庫用于根據(jù)所述分區(qū)表的數(shù)據(jù)獲取時(shí)間，更新所述分區(qū)表，在所述分布式數(shù)據(jù)庫中得到歷史時(shí)間段內(nèi)所述數(shù)據(jù)文件的數(shù)據(jù)量、所述上級(jí)目錄下的文件數(shù)量和總數(shù)據(jù)量。

16、在其中一個(gè)實(shí)施例中，所述根據(jù)所述數(shù)據(jù)文件的路徑信息和數(shù)據(jù)量，確定所述數(shù)據(jù)文件的上級(jí)目錄下的文件數(shù)量和總數(shù)據(jù)量包括：

17、基于預(yù)設(shè)的映射規(guī)則，將所述數(shù)據(jù)文件的路徑信息和數(shù)據(jù)量映射至預(yù)構(gòu)建的表中，在所述預(yù)構(gòu)建的表中得到所述數(shù)據(jù)文件的上級(jí)目錄、所述上級(jí)目錄下的文件數(shù)量和總數(shù)據(jù)量。

18、在其中一個(gè)實(shí)施例中，所述將所述鏡像文件轉(zhuǎn)換為文本格式的中間文件包括：

19、將所述鏡像文件轉(zhuǎn)換為字符分隔值格式的中間文件。

20、第二方面，本申請(qǐng)還提供了一種元數(shù)據(jù)的處理裝置，包括：

21、文件獲取模塊，用于獲取分布式文件系統(tǒng)的鏡像文件，所述鏡像文件包括所述分布式文件系統(tǒng)的元數(shù)據(jù)；

22、格式轉(zhuǎn)換模塊，用于將所述鏡像文件轉(zhuǎn)換為文本格式的中間文件，并從所述中間文件中提取出所述分布式文件系統(tǒng)中數(shù)據(jù)文件的路徑信息和數(shù)據(jù)量；

23、統(tǒng)計(jì)模塊，用于根據(jù)所述數(shù)據(jù)文件的路徑信息和數(shù)據(jù)量，確定所述數(shù)據(jù)文件的上級(jí)目錄下的文件數(shù)量和總數(shù)據(jù)量；

24、展示模塊，用于在預(yù)設(shè)的數(shù)據(jù)展示頁面上展示所述數(shù)據(jù)文件的數(shù)據(jù)量和所述上級(jí)目錄下的文件數(shù)量和總數(shù)據(jù)量。

25、第三方面，本申請(qǐng)還提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述任一項(xiàng)所述的方法的步驟。

26、第四方面，本申請(qǐng)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一項(xiàng)所述的方法的步驟。

27、第五方面，本申請(qǐng)還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一項(xiàng)所述的方法的步驟。

28、上述元數(shù)據(jù)的處理方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品，通過將分布式文件系統(tǒng)的鏡像文件轉(zhuǎn)換為文本格式，能夠?qū)⒃獢?shù)據(jù)轉(zhuǎn)換為可讀的格式，便于對(duì)元數(shù)據(jù)中文件的路徑信息和數(shù)據(jù)量進(jìn)行提取和處理，得到可以直接展示的各層級(jí)目錄下的文件數(shù)量和總數(shù)據(jù)量，進(jìn)而業(yè)務(wù)人員通過預(yù)設(shè)的數(shù)據(jù)展示頁面，能夠快速、有效地獲取到分布式文件系統(tǒng)中文件的大小、目錄的大小和目錄下包含的文件數(shù)量，便于對(duì)分布式文件系統(tǒng)進(jìn)行監(jiān)測(cè)和治理，以提高分布式文件系統(tǒng)的穩(wěn)定性。

技術(shù)特征：

1.一種元數(shù)據(jù)的處理方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在預(yù)設(shè)的數(shù)據(jù)展示頁面上展示所述數(shù)據(jù)文件的數(shù)據(jù)量和所述上級(jí)目錄下的文件數(shù)量和總數(shù)據(jù)量包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述在預(yù)設(shè)的數(shù)據(jù)展示頁面上展示所述數(shù)據(jù)文件的數(shù)據(jù)量和所述上級(jí)目錄下的文件數(shù)量和總數(shù)據(jù)量，之后包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，在所述在預(yù)設(shè)的數(shù)據(jù)展示頁面上展示所述數(shù)據(jù)文件的數(shù)據(jù)量和所述上級(jí)目錄下的文件數(shù)量和總數(shù)據(jù)量，之前包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述數(shù)據(jù)文件的路徑信息和數(shù)據(jù)量，確定所述數(shù)據(jù)文件的上級(jí)目錄下的文件數(shù)量和總數(shù)據(jù)量包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述鏡像文件轉(zhuǎn)換為文本格式的中間文件包括：

7.一種元數(shù)據(jù)的處理裝置，其特征在于，所述裝置包括：

8.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至6中任一項(xiàng)所述的方法的步驟。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至6中任一項(xiàng)所述的方法的步驟。

10.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至6中任一項(xiàng)所述的方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)涉及一種元數(shù)據(jù)的處理方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。所述方法包括：獲取分布式文件系統(tǒng)的鏡像文件，鏡像文件包括分布式文件系統(tǒng)的元數(shù)據(jù)；將鏡像文件轉(zhuǎn)換為文本格式的中間文件，并從中間文件中提取出分布式文件系統(tǒng)中數(shù)據(jù)文件的路徑信息和數(shù)據(jù)量；根據(jù)數(shù)據(jù)文件的路徑信息和數(shù)據(jù)量，確定數(shù)據(jù)文件的上級(jí)目錄下的文件數(shù)量和總數(shù)據(jù)量；在預(yù)設(shè)的數(shù)據(jù)展示頁面上展示數(shù)據(jù)文件的數(shù)據(jù)量和上級(jí)目錄下的文件數(shù)量和總數(shù)據(jù)量。采用本方法能夠提高對(duì)分布式文件系統(tǒng)進(jìn)行監(jiān)測(cè)的效率和準(zhǔn)確性。

技術(shù)研發(fā)人員：李曉偉,任何強(qiáng),申根榮,戴宣
受保護(hù)的技術(shù)使用者：企查查科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26