基于分布式文件系統(tǒng)的分級(jí)存儲(chǔ)方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及通信領(lǐng)域，具體而言，涉及一種基于分布式文件系統(tǒng)的分級(jí)存儲(chǔ)方法及系統(tǒng)。
【背景技術(shù)】
[0002]隨著云計(jì)算云存儲(chǔ)技術(shù)的發(fā)展，處理和存儲(chǔ)大規(guī)模的數(shù)據(jù)對(duì)存儲(chǔ)系統(tǒng)提出了新的需求，對(duì)于傳統(tǒng)專用的存儲(chǔ)架構(gòu)(比如SAN，NAS等)由于其成本昂貴，已經(jīng)不適合在大范圍部署。這樣情況下，采用普通PC機(jī)或者通用服務(wù)器刀片組織起來(lái)的可擴(kuò)展的、低成本的分布式存儲(chǔ)方法受到了關(guān)注，這種分布式存儲(chǔ)通常需要一個(gè)分布式文件系統(tǒng)將分散的存儲(chǔ)資源統(tǒng)一管理起來(lái)，分布式文件系統(tǒng)通常將元數(shù)據(jù)和實(shí)際存儲(chǔ)數(shù)據(jù)分開存儲(chǔ)，為了保證系統(tǒng)可靠性，實(shí)際數(shù)據(jù)通常同時(shí)保存在多個(gè)節(jié)點(diǎn)上。
[0003]近年來(lái)出現(xiàn)了以GFS (Google File System，谷歌文件系統(tǒng))等為代表的分布式文件系統(tǒng)，其架構(gòu)如圖1所示(圖1是根據(jù)相關(guān)技術(shù)的分布式文件系統(tǒng)的架構(gòu)示意圖)。分布式文件系統(tǒng)作為云存儲(chǔ)的一種重要技術(shù)架構(gòu)目前在開源領(lǐng)域得到迅猛發(fā)展，例如，Hadoop的HDFS分布式文件存儲(chǔ)系統(tǒng)，但開源領(lǐng)域?qū)Ψ植际轿募鎯?chǔ)系統(tǒng)的高級(jí)存儲(chǔ)特性支持還比較欠缺，例如，去重、壓縮、精簡(jiǎn)配置及分級(jí)存儲(chǔ)等功能特性目前都尚未得到支持。在工業(yè)領(lǐng)域中，以IBM、EMC、NetApp等存儲(chǔ)廠商為代表，他們?cè)趥鹘y(tǒng)的磁盤陣列(塊存儲(chǔ))方面都有很強(qiáng)的技術(shù)積累和代表性的產(chǎn)品，高端的磁盤陣列產(chǎn)品都實(shí)現(xiàn)了精簡(jiǎn)配置、分級(jí)存儲(chǔ)等功能特性，另外，他們也大多具有NAS產(chǎn)品，然而，這些功能在分布式文件存儲(chǔ)系統(tǒng)領(lǐng)域都比較欠缺，落后于開源領(lǐng)域的發(fā)展，例如，IBM的GPFS分布式文件存儲(chǔ)是從老的虛擬磁盤文件系統(tǒng)演變而來(lái)的，其分級(jí)存儲(chǔ)功能是通過定期掃描系統(tǒng)元數(shù)據(jù)方式進(jìn)行數(shù)據(jù)移動(dòng)，實(shí)時(shí)性比較差；NetApp的文件系統(tǒng)聲稱支持分級(jí)存儲(chǔ)則是將高性能存儲(chǔ)介質(zhì)用作緩存(Cache)的方式支持分級(jí)。
[0004]隨著數(shù)據(jù)爆炸時(shí)代的到來(lái)，大數(shù)據(jù)目前成為熱點(diǎn)被廣泛關(guān)注，數(shù)據(jù)的規(guī)模越來(lái)越大，但如此大規(guī)模數(shù)據(jù)中的很多數(shù)據(jù)都是低價(jià)值、很少訪問的數(shù)據(jù)，如何區(qū)分?jǐn)?shù)據(jù)的重要性將重要的數(shù)據(jù)放在性能和可靠性高的存儲(chǔ)介質(zhì)上(SSD硬盤)，將很少訪問的價(jià)值不高的數(shù)據(jù)存放到普通存儲(chǔ)介質(zhì)上(SATA硬盤)，從而充分發(fā)揮存儲(chǔ)系統(tǒng)的效能，顯然，如何做到將“好鋼用到刀刃上”是存儲(chǔ)系統(tǒng)在大數(shù)據(jù)時(shí)代面臨的新的問題。而分布式文件存儲(chǔ)系統(tǒng)作為云存儲(chǔ)或大數(shù)據(jù)存儲(chǔ)的重要支撐技術(shù)，其支持分級(jí)存儲(chǔ)功能是迫切需求，目前以Hadoop大數(shù)據(jù)處理平臺(tái)為代表的開源技術(shù)尚不完善，傳統(tǒng)存儲(chǔ)設(shè)備廠商對(duì)分布式文件系統(tǒng)產(chǎn)品支持還處于比較弱的階段，基于分布式文件存儲(chǔ)系統(tǒng)實(shí)現(xiàn)分級(jí)功能將對(duì)提升大數(shù)據(jù)存儲(chǔ)系統(tǒng)的性能來(lái)說(shuō)具有重要意義。
[0005]由此可以看出，當(dāng)前分布式文件系統(tǒng)技術(shù)無(wú)法做到對(duì)大數(shù)據(jù)的區(qū)分價(jià)值對(duì)待而導(dǎo)致存儲(chǔ)成本較高，可靠性較低。
[0006]針對(duì)相關(guān)技術(shù)中無(wú)法做到對(duì)大數(shù)據(jù)的區(qū)分價(jià)值對(duì)待而導(dǎo)致存儲(chǔ)成本較高，可靠性較低的問題，目前尚未提出有效的解決方案。

【發(fā)明內(nèi)容】

[0007]本發(fā)明提供了一種基于分布式文件系統(tǒng)的分級(jí)存儲(chǔ)方法及系統(tǒng)，以至少解決無(wú)法做到對(duì)大數(shù)據(jù)的區(qū)分價(jià)值對(duì)待而導(dǎo)致存儲(chǔ)成本較高，可靠性較低的問題。
[0008]根據(jù)本發(fā)明的一個(gè)方面，提供了一種基于分布式文件系統(tǒng)的分級(jí)存儲(chǔ)方法，包括:獲取預(yù)定周期內(nèi)針對(duì)分布式文件系統(tǒng)的輸入輸出(1)操作信息；根據(jù)預(yù)定的分級(jí)存儲(chǔ)規(guī)則對(duì)1操作信息進(jìn)行歸納處理操作，得到歸納結(jié)果，其中，分級(jí)存儲(chǔ)規(guī)則包括:高級(jí)存儲(chǔ)規(guī)則和低級(jí)存儲(chǔ)規(guī)則；根據(jù)歸納結(jié)果，將系統(tǒng)中符合高級(jí)存儲(chǔ)規(guī)則的數(shù)據(jù)存儲(chǔ)到高級(jí)別存儲(chǔ)池，將系統(tǒng)中符合低級(jí)存儲(chǔ)規(guī)則的數(shù)據(jù)存儲(chǔ)到低級(jí)別存儲(chǔ)池；在高級(jí)別存儲(chǔ)池中存儲(chǔ)的第一數(shù)據(jù)符合低級(jí)存儲(chǔ)規(guī)則的情況下，將第一數(shù)據(jù)遷移到低級(jí)別存儲(chǔ)池，在低級(jí)別存儲(chǔ)池中存儲(chǔ)的第二數(shù)據(jù)符合高級(jí)存儲(chǔ)規(guī)則的情況下，將第二數(shù)據(jù)遷移到高級(jí)別存儲(chǔ)池。
[0009]優(yōu)選地，分級(jí)存儲(chǔ)規(guī)則的制定基礎(chǔ)包括:文件大小、數(shù)據(jù)訪問時(shí)間、文件統(tǒng)計(jì)屬性、數(shù)據(jù)存儲(chǔ)時(shí)間長(zhǎng)度以及數(shù)據(jù)未訪問時(shí)間長(zhǎng)度；歸納處理操作包括:數(shù)據(jù)分析、數(shù)據(jù)排序以及數(shù)據(jù)統(tǒng)計(jì)。
[0010]優(yōu)選地，1操作信息是由客戶端截獲對(duì)系統(tǒng)的所有讀寫請(qǐng)求并記錄緩存在本地后，再周期性上報(bào)給元數(shù)據(jù)服務(wù)器的。
[0011]優(yōu)選地，在進(jìn)行數(shù)據(jù)遷移過程之前，還包括:將1操作信息與系統(tǒng)的歷史綜合信息作比對(duì)，根據(jù)比對(duì)結(jié)果和分級(jí)存儲(chǔ)規(guī)則制定數(shù)據(jù)遷移計(jì)劃；當(dāng)數(shù)據(jù)遷移計(jì)劃生效時(shí)，向高級(jí)別存儲(chǔ)池和低級(jí)別存儲(chǔ)池下發(fā)遷移指令。
[0012]優(yōu)選地，在根據(jù)預(yù)定的分級(jí)存儲(chǔ)規(guī)則對(duì)1操作信息進(jìn)行歸納處理操作之前，還包括:判斷是否滿足對(duì)1操作信息進(jìn)行歸納處理操作的預(yù)定觸發(fā)條件，在判斷結(jié)果為是的情況下，執(zhí)行歸納處理操作，其中，預(yù)定觸發(fā)條件包括:數(shù)據(jù)存儲(chǔ)的預(yù)定時(shí)長(zhǎng)，高級(jí)別存儲(chǔ)池的預(yù)定剩余空間或數(shù)據(jù)訪問的預(yù)定頻率。
[0013]優(yōu)選地，高級(jí)別存儲(chǔ)池包括:固態(tài)硬盤SSD ;低級(jí)別存儲(chǔ)池包括:SATA硬盤。
[0014]根據(jù)本發(fā)明的另一方面，提供了一種基于分布式文件系統(tǒng)的分級(jí)存儲(chǔ)系統(tǒng)，包括:獲取模塊，用于獲取預(yù)定周期內(nèi)針對(duì)分布式文件系統(tǒng)的輸入輸出(1)操作信息；歸納模塊，用于根據(jù)預(yù)定的分級(jí)存儲(chǔ)規(guī)則對(duì)1操作信息進(jìn)行歸納處理操作，得到歸納結(jié)果，其中，分級(jí)存儲(chǔ)規(guī)則包括:高級(jí)存儲(chǔ)規(guī)則和低級(jí)存儲(chǔ)規(guī)則；存儲(chǔ)模塊，用于根據(jù)歸納結(jié)果，將系統(tǒng)中符合高級(jí)存儲(chǔ)規(guī)則的數(shù)據(jù)存儲(chǔ)到高級(jí)別存儲(chǔ)池，將系統(tǒng)中符合低級(jí)存儲(chǔ)規(guī)則的數(shù)據(jù)存儲(chǔ)到低級(jí)別存儲(chǔ)池；遷移模塊，用于在高級(jí)別存儲(chǔ)池中存儲(chǔ)的第一數(shù)據(jù)符合低級(jí)存儲(chǔ)規(guī)則的情況下，將第一數(shù)據(jù)遷移到低級(jí)別存儲(chǔ)池，在低級(jí)別存儲(chǔ)池中存儲(chǔ)的第二數(shù)據(jù)符合高級(jí)存儲(chǔ)規(guī)則的情況下，將第二數(shù)據(jù)遷移到高級(jí)別存儲(chǔ)池。
[0015]優(yōu)選地，分級(jí)存儲(chǔ)規(guī)則的制定基礎(chǔ)包括:文件大小、數(shù)據(jù)訪問時(shí)間、文件統(tǒng)計(jì)屬性、數(shù)據(jù)存儲(chǔ)時(shí)間長(zhǎng)度以及數(shù)據(jù)未訪問時(shí)間長(zhǎng)度；歸納處理操作包括:數(shù)據(jù)分析、數(shù)據(jù)排序以及數(shù)據(jù)統(tǒng)計(jì)。
[0016]優(yōu)選地，1操作信息是由客戶端截獲對(duì)系統(tǒng)的所有讀寫請(qǐng)求并記錄緩存在本地后，再周期性上報(bào)給元數(shù)據(jù)服務(wù)器的。
[0017]優(yōu)選地，該系統(tǒng)還包括:處理模塊，用于將1操作信息與系統(tǒng)的歷史綜合信息作比對(duì)，根據(jù)比對(duì)結(jié)果和分級(jí)存儲(chǔ)規(guī)則制定數(shù)據(jù)遷移計(jì)劃；下發(fā)模塊，用于當(dāng)數(shù)據(jù)遷移計(jì)劃生效時(shí)，向高級(jí)別存儲(chǔ)池和低級(jí)別存儲(chǔ)池下發(fā)遷移指令。
[0018]優(yōu)選地，該系統(tǒng)還包括:判斷模塊，用于判斷是否滿足對(duì)1操作信息進(jìn)行歸納處理操作的預(yù)定觸發(fā)條件，在判斷結(jié)果為是的情況下，執(zhí)行歸納處理操作，其中，預(yù)定觸發(fā)條件包括:數(shù)據(jù)存儲(chǔ)的預(yù)定時(shí)長(zhǎng)，高級(jí)別存儲(chǔ)池的預(yù)定剩余空間或數(shù)據(jù)訪問的預(yù)定頻率。
[0019]優(yōu)選地，高級(jí)別存儲(chǔ)池包括:固態(tài)硬盤SSD ;低級(jí)別存儲(chǔ)池包括:SATA硬盤。
[0020]通過本發(fā)明，采用根據(jù)預(yù)定的高級(jí)存儲(chǔ)規(guī)則和低級(jí)存儲(chǔ)規(guī)則對(duì)1操作信息進(jìn)行歸納之后，將符合高級(jí)存儲(chǔ)規(guī)則的數(shù)據(jù)存儲(chǔ)到高級(jí)別存儲(chǔ)池，將符合低級(jí)存儲(chǔ)規(guī)則的數(shù)據(jù)存儲(chǔ)到低級(jí)別存儲(chǔ)池的方式，使分布式文件系統(tǒng)能夠自動(dòng)按照存儲(chǔ)價(jià)值區(qū)分存儲(chǔ)數(shù)據(jù)并將存儲(chǔ)價(jià)值高的數(shù)據(jù)遷移到高性能、高可靠性的存儲(chǔ)介質(zhì)上，解決了相關(guān)技術(shù)中無(wú)法做到對(duì)大數(shù)據(jù)的區(qū)分價(jià)值對(duì)待而導(dǎo)致存儲(chǔ)成本較高，可靠性較低的問題，進(jìn)而達(dá)到了提高分布式文件系統(tǒng)的存儲(chǔ)性能和可靠性的效果。
【附圖說(shuō)明】
[0021]此處所說(shuō)明的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本發(fā)明的示意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中:
[0022]圖1是根據(jù)相關(guān)技術(shù)的分布式文件系統(tǒng)的架構(gòu)示意圖；
[0023]圖2是圖1中分布式文件系統(tǒng)的客戶端200的結(jié)構(gòu)示意圖；
[0024]圖3是圖1中分布式文件系統(tǒng)的元數(shù)據(jù)服務(wù)器300的結(jié)構(gòu)示意圖；