基于內(nèi)存與ssd協(xié)作式的文件系統(tǒng)元數(shù)據(jù)搜索緩存方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明公開了一種基于內(nèi)存與SSD協(xié)作式的文件系統(tǒng)元數(shù)據(jù)搜索緩存方法，涉及面向當(dāng)前大規(guī)模文件系統(tǒng)搜索的解決方案，屬于計(jì)算機(jī)技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002]隨著數(shù)據(jù)量的積累，當(dāng)前進(jìn)入大數(shù)據(jù)時(shí)代，文件系統(tǒng)是管理數(shù)據(jù)的主要途徑之一，由于數(shù)據(jù)量的激增，文件系統(tǒng)的目錄規(guī)模迅速增大，由于當(dāng)前文件系統(tǒng)仍舊采用傳統(tǒng)分層的樹形目錄結(jié)構(gòu)進(jìn)行管理文件，因此，造成了大規(guī)模文件系統(tǒng)的搜索問題；并且由于網(wǎng)絡(luò)技術(shù)的發(fā)展當(dāng)前用戶數(shù)量的規(guī)模激增，用戶的搜索請求呈現(xiàn)出密集型特征，而元數(shù)據(jù)服務(wù)器的性能沒有顯著的提高，影響了用戶的搜索性能，元數(shù)據(jù)搜索成為影響文件系統(tǒng)性能的一個(gè)重要瓶頸問題；而新型的存儲(chǔ)介質(zhì)SSD的出現(xiàn)，為解決元數(shù)據(jù)搜索問題提供新的途徑，由于其快速的響應(yīng)性能，在當(dāng)前存儲(chǔ)系統(tǒng)的研宄中得到了廣泛的應(yīng)用。
[0003]當(dāng)前新型存儲(chǔ)介質(zhì)SSD在商業(yè)和學(xué)術(shù)界得到極大的關(guān)注，SSD提供優(yōu)良的隨機(jī)讀寫性能，并且其延遲抵御HDD幾個(gè)數(shù)量級，當(dāng)前針對SSD的研宄主要集中在下面兩個(gè)方面:
[0004]基于SSD的緩存研宄
[0005]SSD作為一種非易失性的存儲(chǔ)介質(zhì)，相比于DRAM內(nèi)存尤其獨(dú)特的優(yōu)勢。當(dāng)前研宄將SSD作為緩存進(jìn)行了大量實(shí)踐，Mercury將SSD作為二級緩存，提高了緩存的利用率；針對高性能計(jì)算環(huán)境中的結(jié)算節(jié)點(diǎn)的checkpointing的突發(fā)性情況，采用SSD在1轉(zhuǎn)發(fā)節(jié)點(diǎn)作為緩存，吸收突發(fā)負(fù)載，提高存儲(chǔ)系統(tǒng)的性能；有的學(xué)者提出利用SSD作為緩存，根據(jù)不同負(fù)載服務(wù)的目標(biāo)需求，動(dòng)態(tài)的為各種負(fù)載分配緩存；有的學(xué)者針對文件系統(tǒng)的日志，提出利用SSD作為日志緩存；研宄SSD讀寫緩存比率，通過配置讀寫緩存比率，使SSD發(fā)揮更好的緩存性能，提高命中率。
[0006]基于SSD的混合存儲(chǔ)架構(gòu)
[0007]HybridPlan是一種SSD和HDD的混合存儲(chǔ)架構(gòu)，提出了一種權(quán)衡性能和壽命的方法，既充分利用了 SSD的快速響應(yīng)性能，又提高了 SSD的壽命；DST (動(dòng)態(tài)存儲(chǔ)分層)組織SSD與HDD到多層系統(tǒng)中去，基于服務(wù)的要求在上面進(jìn)行數(shù)據(jù)劃分，通過動(dòng)態(tài)地在SSD與HDD之間進(jìn)行數(shù)據(jù)迀移，提高存儲(chǔ)系統(tǒng)的服務(wù)性能。
[0008]盡管采用SSD提供了存儲(chǔ)系統(tǒng)的性能，但是當(dāng)前的研宄沒有考慮當(dāng)前大規(guī)模文件系統(tǒng)的負(fù)載特征:當(dāng)前元數(shù)據(jù)的訪問呈現(xiàn)出局部性，并且新建文件的訪問頻率較高；并且沒有專門針對文件系統(tǒng)的搜索性能進(jìn)行SSD的研宄。

【發(fā)明內(nèi)容】

[0009]1、目的:
[0010]本發(fā)明的主要目的是提供一種基于內(nèi)存與SSD協(xié)作式的文件系統(tǒng)元數(shù)據(jù)搜索緩存方法，利用SSD的快速響應(yīng)性能，針對文件系統(tǒng)搜索的負(fù)載特征，提高文件系統(tǒng)的搜索性能；并且針對SSD的壽命短的特征，進(jìn)行了響應(yīng)的優(yōu)化，在保證搜索的前提下，同時(shí)提高了SSD的生命周期。
[0011]2、技術(shù)方案:
[0012]為了達(dá)到實(shí)現(xiàn)上述方法，本發(fā)明的技術(shù)方案是這樣的:
[0013]本發(fā)明一種基于內(nèi)存與SSD協(xié)作式的文件系統(tǒng)元數(shù)據(jù)搜索緩存方法，該方法包括以下步驟:
[0014]步驟101:高頻率被訪問的元數(shù)據(jù)緩存在SSD中，這部分元數(shù)據(jù)包括已創(chuàng)建的元數(shù)據(jù)與用戶新創(chuàng)建的元數(shù)據(jù)；
[0015]步驟102:在SSD中緩存的元數(shù)據(jù)，記錄其被搜索次數(shù)，通過設(shè)定閾值，將高于設(shè)定的搜索頻率閾值的元數(shù)據(jù)通過預(yù)取的方式緩存在內(nèi)存中。
[0016]其中，步驟101，包括:
[0017](I)元數(shù)據(jù)服務(wù)器中首次被訪問的元數(shù)據(jù)緩存方法:第一次被訪問的元數(shù)據(jù)緩存在DRAM中的Ghost緩存區(qū)域中，當(dāng)Ghost緩存的元數(shù)據(jù)被第二次訪問時(shí)，將其更新到SSD中進(jìn)行緩存；
[0018](2)用戶新創(chuàng)建的元數(shù)據(jù)緩存方法:用戶新創(chuàng)建的元數(shù)據(jù)開始緩存在DRAM中的Ghost緩存區(qū)域中，判斷是否是第二次搜索，如果是第二次搜索，將其降級到SSD中。
[0019]根據(jù)搜索負(fù)載的局部性特征，當(dāng)元數(shù)據(jù)被確定為頻繁搜索時(shí)，將其緩存在SSD中；并且由于用戶新創(chuàng)建的文件更容易被搜索，因此新創(chuàng)建文件被頻繁搜索的元數(shù)據(jù)緩存在SSD中，通過ghost緩存機(jī)制減少了 SSD的寫次數(shù)，提高了 SSD的生命周期；
[0020]其中，步驟102，在SSD中緩存區(qū)的元數(shù)據(jù)，當(dāng)搜索次數(shù)大于設(shè)定閾值時(shí)，將其預(yù)取到內(nèi)存中，極大地提高了文件系統(tǒng)的搜索性能。包括:
[0021](I)閾值過濾SSD緩存元數(shù)據(jù)的方法:通過閾值的設(shè)定，將訪問高于設(shè)定的閾值的元數(shù)據(jù)緩存到SSD中；利用Ghost緩存對進(jìn)入SSD緩存區(qū)域中的元數(shù)據(jù)進(jìn)行過濾，將其被高頻率搜索的元數(shù)據(jù)緩存在SSD中；
[0022](2)元數(shù)據(jù)預(yù)取方法:在元數(shù)據(jù)預(yù)取過程中，判斷SSD中元數(shù)據(jù)的搜索頻率，如果大于提前設(shè)定的閾值，將其預(yù)取到DRAM中；否則停留在SSD中；
[0023](3)元數(shù)據(jù)一致性方法:在元數(shù)據(jù)一致性維持過程中，達(dá)到Ghost容量使用閾值時(shí)，Ghost緩存中被替換出來直接更新到HDD中，維持了元數(shù)據(jù)的一致性。
[0024]還包括在多元數(shù)據(jù)服務(wù)器環(huán)境中實(shí)現(xiàn)統(tǒng)一的緩存管理架構(gòu)的方法，包括如下幾個(gè)步驟:
[0025](I)本地元數(shù)據(jù)服務(wù)器中元數(shù)據(jù)被緩存在本地的Ghost緩存中，當(dāng)本地的Ghost緩存區(qū)域耗盡后，通過統(tǒng)一管理架構(gòu)查閱其他的元數(shù)據(jù)服務(wù)器的Ghost緩存區(qū)域；
[0026](2)本地元數(shù)據(jù)服務(wù)器中的元數(shù)據(jù)被緩存在本地的SSD中，當(dāng)本地SSD容量超過極限時(shí)，通過統(tǒng)一管理架構(gòu)，將其緩存到其他的元數(shù)據(jù)服務(wù)器中的SSD緩存中；
[0027](3)用戶進(jìn)行搜索時(shí)，在整個(gè)元數(shù)據(jù)服務(wù)器的Ghost緩存區(qū)與SDD緩存區(qū)中搜索。
[0028]3、優(yōu)點(diǎn)及功效:
[0029]本發(fā)明所公布的基于內(nèi)存與SSD協(xié)作式的文件系統(tǒng)搜索緩存的方法，具有以下主要的優(yōu)點(diǎn):(I)針對搜索負(fù)載的特征:空間局部性特征以及新寫入的數(shù)據(jù)易被搜索，進(jìn)行了優(yōu)化了，使這兩種元數(shù)據(jù)位于SSD以及內(nèi)存中，提高了文件系統(tǒng)的搜索速率；(2)針對SSD的壽命短的特點(diǎn)，采用了 ghost緩存以及協(xié)作式緩存技術(shù)，減少了對SSD的寫操作，提高了SSD的生命周期。
[0030]本發(fā)明的方法主要利用元數(shù)據(jù)服務(wù)器中的Ghost緩存的協(xié)作，增大了 Ghost緩存區(qū)域的尺寸，提高了過濾效率，使局部性高頻率被搜索的元數(shù)據(jù)能夠緩存在SSD中，并且采用Ghost緩存降低了對SSD寫的次數(shù)，提高了 SSD的生命周期，通過整個(gè)元數(shù)據(jù)集群的SSD的協(xié)作，提高了搜索效率，利用了整個(gè)元數(shù)據(jù)集群的SSD，使局部性高頻率被搜索的元數(shù)據(jù)盡可能多的緩存在SSD中，并且減少了由于單元數(shù)據(jù)服務(wù)器中SSD容量有限換進(jìn)換出的次數(shù)，進(jìn)一步提高了 SSD的生命周期。
[0031]通過閾值的設(shè)定，將訪問高于設(shè)定的閾值的元數(shù)據(jù)緩存到SSD中；利用Ghost緩存對進(jìn)入SSD緩存區(qū)域中的元數(shù)據(jù)進(jìn)行過濾，將其被高頻率搜索的元數(shù)據(jù)緩存在SSD中，減少了 SSD寫的次數(shù)，提高了 SSD的生命周期，同時(shí)提高了文件系統(tǒng)的搜索性能。
【附圖說明】
[0032]圖1為基于內(nèi)存與SSD協(xié)作式的文件系統(tǒng)搜索緩存方法框架圖；
[0033]圖2為元數(shù)據(jù)服務(wù)器中的元數(shù)據(jù)緩存示意圖；
[0034]圖3為用戶新創(chuàng)建建兀數(shù)據(jù)的緩存不意圖；
[0035]圖4為元數(shù)據(jù)預(yù)取示意圖；
[0036]圖5為元數(shù)據(jù)一致性保證示意圖。
[0037]圖6為多元數(shù)據(jù)服務(wù)器Ghost緩存協(xié)作式管理示意圖；
[0038]圖7為多元數(shù)據(jù)服務(wù)器SSD緩存協(xié)作式管理示意圖；
[0039]圖8為基于協(xié)作式緩存的文件系統(tǒng)搜索過程示意圖。
【具體實(shí)施方式】
[0040]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)表達(dá)得更加清楚明白，下面結(jié)合附圖及具體實(shí)施例對本發(fā)明再作進(jìn)一步詳細(xì)的說明。
[0041]如圖1所示，本發(fā)明一種基于內(nèi)存與SSD的協(xié)作式的文件系統(tǒng)元數(shù)據(jù)搜索緩存方法，包括以下步驟:
[0042]步驟101:高頻率被訪問的元數(shù)據(jù)緩存在SSD中，這部分元數(shù)據(jù)包括已創(chuàng)建的元數(shù)據(jù)與用戶新創(chuàng)建的元數(shù)據(jù)；
[0043]步驟102:在SSD中緩存的元數(shù)據(jù)，記錄其被搜索次數(shù)，通過設(shè)定閾值，將高于設(shè)定的搜索頻率閾值的元數(shù)據(jù)通過預(yù)取的方式緩存在內(nèi)存中。
[0044]其中，