一種云存儲(chǔ)中文件的歸檔壓縮方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及云存儲(chǔ)平臺(tái)的海量文件歸檔壓縮的技術(shù)，特別涉及一種云存儲(chǔ)中文件的歸檔壓縮方法。
【背景技術(shù)】
[0002]云存儲(chǔ)是在云計(jì)算概念上延伸和衍生發(fā)展出來的一個(gè)新的概念。云計(jì)算是分布式處理(Distributed Computing)、并行處理(Parallel Computing)和網(wǎng)格計(jì)算(GridComputing)的發(fā)展，是透過網(wǎng)絡(luò)將龐大的計(jì)算處理程序自動(dòng)分拆成無數(shù)個(gè)較小的子程序，再交由多部服務(wù)器所組成的龐大系統(tǒng)經(jīng)計(jì)算分析之后將處理結(jié)果回傳給用戶。通過云計(jì)算技術(shù)，網(wǎng)絡(luò)服務(wù)提供者可以在數(shù)秒之內(nèi)，處理數(shù)以千萬計(jì)甚至億計(jì)的信息，達(dá)到和超級(jí)計(jì)算機(jī)同樣強(qiáng)大的網(wǎng)絡(luò)服務(wù)。云存儲(chǔ)是一種服務(wù)，和云計(jì)算相似，通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能的一整套系統(tǒng)。
[0003]云計(jì)算技術(shù)在生活中的應(yīng)用越來越廣泛，云存儲(chǔ)作為云計(jì)算的底層支撐，集中了云計(jì)算后端架構(gòu)的難點(diǎn)，而云存儲(chǔ)性能的好壞將直接影響到云計(jì)算向用戶提供服務(wù)的性能，也因此影響到用戶的體驗(yàn)。在云存儲(chǔ)基礎(chǔ)設(shè)施服務(wù)領(lǐng)域，面對(duì)存儲(chǔ)池中的海量文件，能有效的提高云存儲(chǔ)的存儲(chǔ)容量、減緩存儲(chǔ)中文件數(shù)目的增長(zhǎng)速度的同時(shí)保證存儲(chǔ)文件的可靠性，目前仍未找到有效可行的解決方案。目前較多的云存儲(chǔ)服務(wù)提供商的解決方案并沒有對(duì)文件進(jìn)行歸檔壓縮的處理步驟，而Facebook的Haystack云存儲(chǔ)解決方案也只是對(duì)文件進(jìn)行歸檔，但并沒有進(jìn)行壓縮處理，這樣雖然減緩了文件數(shù)目的增長(zhǎng)速度，但是沒有節(jié)省云存儲(chǔ)的存儲(chǔ)容量，而過大的單個(gè)文件出現(xiàn)故障時(shí)的文件迀移耗時(shí)較長(zhǎng)并且會(huì)影響集群性會(huì)K。
[0004]而現(xiàn)有的云存儲(chǔ)平臺(tái)在后臺(tái)存儲(chǔ)中采用單文件多備份的方式進(jìn)行存儲(chǔ)，并將備份均衡地放置到不同的磁盤上，然而隨著文件數(shù)的指數(shù)式增長(zhǎng)，磁盤的讀寫性能會(huì)下降從而影響服務(wù)質(zhì)量，存儲(chǔ)空間也是固定的占用了文件的大小乘以備份數(shù)的容量，因此采取此種方式無法使得云存儲(chǔ)的存儲(chǔ)效益最優(yōu)化。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種云存儲(chǔ)中文件的歸檔壓縮方法，該方法根據(jù)云存儲(chǔ)中文件訪問熱度調(diào)整存儲(chǔ)方式，實(shí)現(xiàn)了云存儲(chǔ)文件數(shù)目增加速度收斂和存儲(chǔ)效益的提高。
[0006]本發(fā)明的目的通過下述技術(shù)方案實(shí)現(xiàn):一種云存儲(chǔ)中文件的歸檔壓縮方法，步驟如下:
[0007]S1、設(shè)置歸檔文件大小閾值S和文件冷熱程度閥值H，通過歸檔服務(wù)進(jìn)程提出歸檔服務(wù)請(qǐng)求；
[0008]S2、根據(jù)歸檔服務(wù)進(jìn)程的歸檔服務(wù)請(qǐng)求分發(fā)歸檔起點(diǎn)和歸檔終點(diǎn)，然后獲取到處于歸檔起點(diǎn)和歸檔終點(diǎn)分發(fā)區(qū)間的賬戶；
[0009]S3、在云存儲(chǔ)對(duì)外服務(wù)閑置時(shí)段，歸檔服務(wù)進(jìn)程執(zhí)行任務(wù):歸檔服務(wù)進(jìn)程依次遍歷處于歸檔起點(diǎn)和歸檔終點(diǎn)分發(fā)區(qū)間的賬戶，將各賬戶下訪問次數(shù)少于文件冷熱程度閥值H且文件小于等于歸檔文件大小閾值S的文件提取出來；
[0010]S4、對(duì)所提取的文件的完整性進(jìn)行檢驗(yàn)，判斷所提取的各文件與原文件是否一致；
[0011]若否，則重新提取該文件，然后針對(duì)該文件的完整性進(jìn)行重新檢驗(yàn)，直到獲取到與原文件相同的文件；
[0012]若是，則進(jìn)入步驟S5;
[0013]S5、根據(jù)文件的特性，對(duì)步驟S4中獲取的與原文件一致的文件進(jìn)行歸檔壓縮，然后將壓縮后的文件存儲(chǔ)到云存儲(chǔ)中，并且將云存儲(chǔ)中對(duì)應(yīng)的原文件進(jìn)行刪除。
[0014]優(yōu)選的，還包括以下步驟:
[0015]設(shè)置訪問時(shí)間間隔I，當(dāng)文件被訪問時(shí)，判斷該文件是否已歸檔壓縮；
[0016]若是，則查詢文件的具體存儲(chǔ)路徑，然后從壓縮文件中提取出目標(biāo)文件并返回文件的內(nèi)容；
[0017]若否，則判斷該文件當(dāng)前訪問時(shí)間與上次訪問時(shí)間之差是否超過訪問時(shí)間間隔I，若是，則將該文件的訪問次數(shù)置1，若否，則將其訪問次數(shù)加I。
[0018]優(yōu)選的，所述訪問時(shí)間間隔I為15天以上。
[0019]優(yōu)選的，還包括以下步驟:文件寫入時(shí)，將其訪問次數(shù)置為文件冷熱程度閥值H。
[0020]優(yōu)選的，所述步驟S2中，歸檔起點(diǎn)至歸檔終點(diǎn)分發(fā)區(qū)間的賬戶是按照賬戶的注冊(cè)時(shí)間獲取的，按照賬戶的注冊(cè)時(shí)間進(jìn)行排序后獲取到歸檔起點(diǎn)至歸檔終點(diǎn)分發(fā)區(qū)間的賬戶。
[0021]優(yōu)選的，所述步驟S3中，對(duì)歸檔起點(diǎn)、終點(diǎn)和歸檔服務(wù)進(jìn)程特征碼進(jìn)行記錄，當(dāng)歸檔服務(wù)進(jìn)程在提取訪問次數(shù)少于文件冷熱程度閥值H且文件小于等于歸檔文件大小閾值S的文件過程中，若出現(xiàn)異常退出，則回收歸檔服務(wù)進(jìn)程執(zhí)行的該任務(wù)，并且將回收的任務(wù)添加到待分發(fā)任務(wù)的列表中。
[0022]優(yōu)選的，所述步驟S5中，在壓縮后的文件存儲(chǔ)到云存儲(chǔ)中后，在確保存儲(chǔ)成功后將壓縮后的相關(guān)信息添加到所壓縮文件的原來的信息中。
[0023]優(yōu)選的，所述步驟S5中，歸檔服務(wù)進(jìn)程定時(shí)反饋心跳信息和匯報(bào)任務(wù)完成進(jìn)度。
[0024]優(yōu)選的，所述歸檔文件大小閾值S為8MB，文件冷熱程度閥值H為100。
[0025]本發(fā)明相對(duì)于現(xiàn)有技術(shù)具有如下的優(yōu)點(diǎn)及效果:
[0026](I)本發(fā)明方法根據(jù)文件的大小以及被訪問的次數(shù)進(jìn)行歸檔壓縮，在云存儲(chǔ)對(duì)外服務(wù)閑置時(shí)段，將小于文件大小閾值S以及被訪問次數(shù)小于文件冷熱程度閥值H的文件進(jìn)行歸檔以及壓縮處理，使得存儲(chǔ)池中的文件數(shù)目會(huì)緩慢增長(zhǎng)，相對(duì)于指數(shù)增加而言，大大地降低了文件數(shù)目的增長(zhǎng)速度，減少了磁盤上文件的數(shù)目，提高磁盤的性能，并且節(jié)省了存儲(chǔ)空間和存儲(chǔ)成本，提高了存儲(chǔ)效益。另外本發(fā)明方法在云存儲(chǔ)對(duì)外服務(wù)閑置時(shí)段才進(jìn)行歸檔和壓縮處理，由于在存儲(chǔ)對(duì)外服務(wù)閑置時(shí)段，計(jì)算資源使用率是很低的，而將其用于歸檔壓縮處理則充分提高了其利用率，并節(jié)省了額外購置壓縮歸檔處理服務(wù)器的開支。通過本發(fā)明方法對(duì)云存儲(chǔ)中海量文件進(jìn)行合理的歸檔壓縮，能有效地提高單位存儲(chǔ)空間里存儲(chǔ)文件的密度并避免磁盤上文件數(shù)過多帶來的性能下降的弊端，從而進(jìn)一步體現(xiàn)云計(jì)算的高性價(jià)比和高可靠性的優(yōu)勢(shì)。
[0027](2)本發(fā)明方法在文件被訪問時(shí)，當(dāng)文件當(dāng)前訪問時(shí)間與上次訪問時(shí)間之差超過訪問時(shí)間間隔I，則將該文件的訪問次數(shù)置1，沒有超過時(shí)，則將該文件的訪問次數(shù)加1，因此本發(fā)明方法將文件的訪問頻率考慮進(jìn)去，將文件訪問頻率低的文件進(jìn)行歸檔壓縮。
[0028](3)本發(fā)明方法在新文件寫入時(shí)，將其訪問次數(shù)首先置為文件冷熱程度閥值H，避免新文件剛剛寫入時(shí)，由于訪問次數(shù)少于冷熱程度閥值H而被誤歸檔壓縮。
【附圖說明】
[0029]圖1是本發(fā)明方法流程圖。
【具體實(shí)施方式】
[0030]下面結(jié)合實(shí)施例及附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)的描述，但本發(fā)明的實(shí)施方式不限于此。
[0031]實(shí)施例
[0032]如圖1所示，本實(shí)施例公開一種云存儲(chǔ)中文件的歸檔壓縮方法，步驟如下:
[0033]S1、設(shè)置歸檔文件大小閾值S和文件冷熱程度閥值H，通過歸檔服務(wù)進(jìn)程提出歸檔服務(wù)請(qǐng)求；其中在本實(shí)施例中歸檔文件大小閾值S為8MB，文件冷熱程度閥值H為100。
[0034]S2、根據(jù)歸檔服務(wù)進(jìn)程的歸檔服務(wù)請(qǐng)求分發(fā)歸檔起點(diǎn)和歸檔終點(diǎn)，然后獲取到處于歸檔起點(diǎn)和歸