一種堆疊式重復(fù)數(shù)據(jù)刪除文件系統(tǒng)的制作方法
【專利摘要】提出一種堆疊式重復(fù)數(shù)據(jù)刪除文件系統(tǒng)，包括文件系統(tǒng)服務(wù)模塊，對(duì)于正常的數(shù)據(jù)，采用直接接口轉(zhuǎn)換的方式將底層文件系統(tǒng)的數(shù)據(jù)導(dǎo)入本文件系統(tǒng)中；對(duì)于進(jìn)行了重復(fù)數(shù)據(jù)刪除的數(shù)據(jù)，讀取相應(yīng)的數(shù)據(jù)屬性標(biāo)識(shí)，進(jìn)行IO流程的重定向，實(shí)現(xiàn)重刪后數(shù)據(jù)的透明無縫訪問；重刪服務(wù)模塊，讀取文件系統(tǒng)服務(wù)模塊導(dǎo)出的文件系統(tǒng)日志數(shù)據(jù)，解析日志內(nèi)容后進(jìn)行數(shù)據(jù)簽名的計(jì)算、重復(fù)數(shù)據(jù)的檢測(cè)和刪除，完成重刪后對(duì)數(shù)據(jù)進(jìn)行標(biāo)識(shí)。所述系統(tǒng)能夠充分利用已有存儲(chǔ)系統(tǒng)的存儲(chǔ)能力，無需升級(jí)硬件最大限度地節(jié)省投資，通過堆疊式的軟件設(shè)計(jì)，在已有的文件系統(tǒng)上提供重復(fù)數(shù)據(jù)刪除功能，優(yōu)化數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，降低存儲(chǔ)系統(tǒng)的空間占用。
【專利說明】一種堆疊式重復(fù)數(shù)據(jù)刪除文件系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)存儲(chǔ)領(lǐng)域，具體涉及一種基于堆疊式文件系統(tǒng)技術(shù)實(shí)現(xiàn)的重復(fù)數(shù)據(jù)刪除文件系統(tǒng)。
【背景技術(shù)】
[0002]在大型存儲(chǔ)系統(tǒng)中，數(shù)據(jù)急速增長與存儲(chǔ)設(shè)備升級(jí)相對(duì)緩慢的矛盾較為尖銳，為了緩解存儲(chǔ)系統(tǒng)的空間增長問題，縮減數(shù)據(jù)占用的空間，降低成本，最大化利用已有資源，重復(fù)數(shù)據(jù)刪除技術(shù)已經(jīng)成為大型系統(tǒng)中必不可少的關(guān)鍵技術(shù)。
[0003]通過使用重復(fù)數(shù)據(jù)刪除技術(shù)，用戶可以獲得明顯的數(shù)據(jù)縮減效果，可以大大降低存儲(chǔ)系統(tǒng)的帶寬需求，降低運(yùn)營成本和維護(hù)成本。通過數(shù)據(jù)縮減使得后端實(shí)際的存儲(chǔ)容量大大縮減，由此帶來了更簡潔的存儲(chǔ)管理，有效降低了管理成本。
[0004]然而目前流行的重復(fù)數(shù)據(jù)刪除方案，多為面向近線存儲(chǔ)和備份存儲(chǔ)的重刪方案，而且往往與備份系統(tǒng)緊密結(jié)合，因而無法提供一般性的文件系統(tǒng)服務(wù)。能夠在在線系統(tǒng)中直接提供重復(fù)數(shù)據(jù)刪除功能的產(chǎn)品較少，且均需要使用專有的文件系統(tǒng)格式，這些專有的文件系統(tǒng)往往在性能、功能、可靠性、可擴(kuò)展性方面均存在諸多限制，使得在大型在線存儲(chǔ)系統(tǒng)中直接應(yīng)用存在一定困難。
[0005]已有的大型存儲(chǔ)系統(tǒng)往往基于成熟的文件系統(tǒng)構(gòu)建，如ext3、ext4、xfs、lustre等，這類文件系統(tǒng)本身并不具備重復(fù)數(shù)據(jù)刪除的功能，而如果要使用重復(fù)數(shù)據(jù)刪除功能，則面臨著需要使用專有的文件系統(tǒng)，忍受明顯可感知的性能降低，并進(jìn)行大規(guī)模的數(shù)據(jù)遷移，這帶來極高的時(shí)間和空間成本,在已經(jīng)有大量數(shù)據(jù)的存儲(chǔ)系統(tǒng)中,基本上沒有可行性,成本過聞。
[0006]針對(duì)這一現(xiàn)狀，本發(fā)明設(shè)計(jì)了一種堆疊式重復(fù)數(shù)據(jù)刪除文件系統(tǒng)，能夠基于已有的成熟的文件系統(tǒng)提供重復(fù)數(shù)據(jù)刪除功能，充分保持原有存儲(chǔ)系統(tǒng)的性能，同時(shí)幾乎不需要進(jìn)行任何數(shù)據(jù)遷移。

【發(fā)明內(nèi)容】

[0007]本發(fā)明設(shè)計(jì)并實(shí)現(xiàn)了一種堆疊式重復(fù)數(shù)據(jù)刪除文件系統(tǒng)，能夠充分利用已有存儲(chǔ)系統(tǒng)的存儲(chǔ)能力，無需升級(jí)硬件最大限度地節(jié)省投資，通過堆疊式的軟件設(shè)計(jì)，在已有的文件系統(tǒng)上提供重復(fù)數(shù)據(jù)刪除功能，優(yōu)化數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，降低存儲(chǔ)系統(tǒng)的空間占用。
[0008]所述系統(tǒng)包括:
[0009]文件系統(tǒng)服務(wù)模塊，對(duì)于正常的數(shù)據(jù)，采用直接接口轉(zhuǎn)換的方式將底層文件系統(tǒng)的數(shù)據(jù)導(dǎo)入本文件系統(tǒng)中；對(duì)于進(jìn)行了重復(fù)數(shù)據(jù)刪除的數(shù)據(jù)，讀取相應(yīng)的數(shù)據(jù)屬性標(biāo)識(shí)，進(jìn)行IO流程的重定向，實(shí)現(xiàn)重刪后數(shù)據(jù)的透明無縫訪問；
[0010]重刪服務(wù)模塊，讀取文件系統(tǒng)服務(wù)模塊導(dǎo)出的文件系統(tǒng)日志數(shù)據(jù)，解析日志內(nèi)容后進(jìn)行數(shù)據(jù)簽名的計(jì)算、重復(fù)數(shù)據(jù)的檢測(cè)和刪除，完成重刪后對(duì)數(shù)據(jù)進(jìn)行標(biāo)識(shí)。
[0011]本發(fā)明的有益效果是:基于堆疊式文件系統(tǒng)的設(shè)計(jì)可以充分利用現(xiàn)有的存儲(chǔ)系統(tǒng)，僅通過安裝本專利描述的軟件系統(tǒng)即可使已有的文件系統(tǒng)支持重復(fù)數(shù)據(jù)刪除功能以節(jié)省存儲(chǔ)空間，無需遷移數(shù)據(jù)，同時(shí)保持了原有存儲(chǔ)系統(tǒng)的IO性能，實(shí)現(xiàn)充分的設(shè)備利舊和投資保護(hù)。
【專利附圖】

【附圖說明】
[0012]附圖1為本專利所提出的堆疊式重復(fù)數(shù)據(jù)刪除文件系統(tǒng)的架構(gòu)示意圖。
【具體實(shí)施方式】
[0013]下面參照附圖1，對(duì)本發(fā)明的內(nèi)容以一個(gè)具體實(shí)例來描述實(shí)現(xiàn)這一體系結(jié)構(gòu)的過程。
[0014]正如
【發(fā)明內(nèi)容】
中所描述的，本發(fā)明體系結(jié)構(gòu)主要包括:文件系統(tǒng)服務(wù)模塊、重刪服務(wù)模塊。
[0015]文件系統(tǒng)服務(wù)模塊實(shí)現(xiàn)了一個(gè)完整支持POSIX協(xié)議的文件系統(tǒng)，其采用了堆疊式文件系統(tǒng)的設(shè)計(jì)策略，通過在文件系統(tǒng)接口層的映射和重寫，將底層文件系統(tǒng)的服務(wù)完整實(shí)現(xiàn)。對(duì)于正常的數(shù)據(jù)，本模塊采用直接接口轉(zhuǎn)換的方式將底層文件系統(tǒng)的數(shù)據(jù)導(dǎo)入本文件系統(tǒng)中，實(shí)現(xiàn)了正常數(shù)據(jù)的無縫訪問。對(duì)于進(jìn)行了重復(fù)數(shù)據(jù)刪除的數(shù)據(jù)，本模塊根據(jù)本發(fā)明所描述的文件系統(tǒng)的約定，讀取相應(yīng)的數(shù)據(jù)屬性標(biāo)識(shí)，進(jìn)行IO流程的重定向，實(shí)現(xiàn)重刪后數(shù)據(jù)的透明無縫訪問。
[0016]重刪服務(wù)模塊在帶外獨(dú)立運(yùn)行，其采用多線程設(shè)計(jì)，充分利用多核系統(tǒng)的并行計(jì)算能力，提供超高速的重復(fù)數(shù)據(jù)刪除功能。本模塊讀取文件系統(tǒng)服務(wù)模塊導(dǎo)出的文件系統(tǒng)日志數(shù)據(jù)，解析日志內(nèi)容后進(jìn)行數(shù)據(jù)簽名的計(jì)算、重復(fù)數(shù)據(jù)的檢測(cè)和刪除，完成重刪后對(duì)數(shù)據(jù)進(jìn)行標(biāo)識(shí)。本模塊可與文件系統(tǒng)服務(wù)模塊同時(shí)運(yùn)行，通過文件系統(tǒng)服務(wù)模塊內(nèi)設(shè)計(jì)的細(xì)粒度鎖，保證數(shù)據(jù)處理的原子性，提供可靠的并行數(shù)據(jù)處理能力。
[0017]在一個(gè)典型的配置環(huán)境里，文件系統(tǒng)服務(wù)模塊、重刪服務(wù)模塊可作為一般應(yīng)用軟件安裝到主機(jī)系統(tǒng)中。在進(jìn)行了相關(guān)的軟件配置后，可啟動(dòng)文件系統(tǒng)服務(wù)模塊、重刪服務(wù)模塊，此時(shí)已經(jīng)能夠在主機(jī)上掛載本發(fā)明描述的文件系統(tǒng)，并能夠進(jìn)行數(shù)據(jù)訪問。在一段時(shí)間的文件系統(tǒng)IO完成后，重刪服務(wù)模塊能夠自動(dòng)地進(jìn)行數(shù)據(jù)簽名的計(jì)算，并根據(jù)配置參數(shù)進(jìn)行重復(fù)數(shù)據(jù)的檢測(cè)和刪除，并完成重刪后數(shù)據(jù)的標(biāo)記。
[0018]至此，已經(jīng)完整實(shí)現(xiàn)了整個(gè)堆疊式重復(fù)數(shù)據(jù)刪除文件系統(tǒng)，實(shí)現(xiàn)了在已有文件系統(tǒng)上提供高性能重復(fù)數(shù)據(jù)刪除服務(wù)的功能，極大的提高了存儲(chǔ)系統(tǒng)的空間利用率，有效保護(hù)了客戶投資。
[0019]當(dāng)然，本發(fā)明還可有其他多種實(shí)施例，在不背離本發(fā)明精神及其實(shí)質(zhì)的情況下，熟悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明的權(quán)利要求的保護(hù)范圍。
【權(quán)利要求】
1.一種堆疊式重復(fù)數(shù)據(jù)刪除文件系統(tǒng)，其特征在于包括: 文件系統(tǒng)服務(wù)模塊，對(duì)于正常的數(shù)據(jù)，采用直接接口轉(zhuǎn)換的方式將底層文件系統(tǒng)的數(shù)據(jù)導(dǎo)入本文件系統(tǒng)中；對(duì)于進(jìn)行了重復(fù)數(shù)據(jù)刪除的數(shù)據(jù)，讀取相應(yīng)的數(shù)據(jù)屬性標(biāo)識(shí)，進(jìn)行IO流程的重定向，實(shí)現(xiàn)重刪后數(shù)據(jù)的透明無縫訪問； 重刪服務(wù)模塊，讀取文件系統(tǒng)服務(wù)模塊導(dǎo)出的文件系統(tǒng)日志數(shù)據(jù)，解析日志內(nèi)容后進(jìn)行數(shù)據(jù)簽名的計(jì)算、重復(fù)數(shù)據(jù)的檢測(cè)和刪除，完成重刪后對(duì)數(shù)據(jù)進(jìn)行標(biāo)識(shí)。
【文檔編號(hào)】G06F17/30GK103617177SQ201310541623
【公開日】2014年3月5日 申請(qǐng)日期:2013年11月5日 優(yōu)先權(quán)日:2013年11月5日
【發(fā)明者】王恩東, 文中領(lǐng), 張立強(qiáng), 孟圣智 申請(qǐng)人:浪潮(北京)電子信息產(chǎn)業(yè)有限公司