一種實現(xiàn)存儲系統(tǒng)ssd緩存的數(shù)據(jù)智能降級的方法
【專利摘要】本發(fā)明公開了一種實現(xiàn)存儲系統(tǒng)SSD緩存的數(shù)據(jù)智能降級的方法，所述方法采用一套緩存數(shù)據(jù)智能降級的策略，利用一個緩存數(shù)據(jù)智能降級線程，識別并統(tǒng)計緩存數(shù)據(jù)的降級特征屬性，隨后根據(jù)智能降級算法，當(dāng)滿足降級條件時，主動完成緩存數(shù)據(jù)的降級操作，將需要降級的數(shù)據(jù)塊從SSD緩存中遷移至HDD硬盤中，從而實現(xiàn)緩存數(shù)據(jù)的主動降級，降低緩存污染，高效的利用SSD緩存空間。采用該方法，能夠大幅降低緩存污染，保證緩存中的數(shù)據(jù)就是最熱點的數(shù)據(jù)，保證SSD緩存空間的高效利用，提高存儲系統(tǒng)吞吐量，減少響應(yīng)時間，整體提高存儲系統(tǒng)性能。
【專利說明】一種實現(xiàn)存儲系統(tǒng)SSD緩存的數(shù)據(jù)智能降級的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種實現(xiàn)存儲系統(tǒng)SSD緩存的數(shù)據(jù)智能降級的方法，通常用于存儲系統(tǒng)中，旨在提供一種SSD緩存數(shù)據(jù)智能降級的方法。
技術(shù)背景
[0002]隨著當(dāng)今社會的進(jìn)步，需要處理的數(shù)據(jù)信息越來越多，數(shù)據(jù)量呈爆炸式增長。這給傳統(tǒng)的存儲系統(tǒng)帶來了諸多問題。傳統(tǒng)存儲系統(tǒng)一般使用機械式硬盤(HDD)，傳統(tǒng)存儲系統(tǒng)的性能已經(jīng)成為瓶頸。近兩年，SSD即固態(tài)存儲硬盤開始興起。一方面，SSD本身具有快速隨機存取、低耗能、超輕超薄、低故障率(非機械部件)等特點。另一方面，由于技術(shù)發(fā)展，SSD逐漸解決了容量小，順序存取速度慢的問題。當(dāng)前市場上的最新SSD，單盤容量達(dá)到幾TB，PCIE接口的SSD吞吐量超過lGB/s，IOPS達(dá)到幾十萬次/s。SSD性能全面超過傳統(tǒng)機械硬盤，而其存取速度、響應(yīng)時間等關(guān)鍵指標(biāo)更是大幅超過傳統(tǒng)機械硬盤。
[0003]但是因為SSD的價格要遠(yuǎn)遠(yuǎn)高于HDD硬盤，因此將SSD作為緩存既能滿足當(dāng)今數(shù)據(jù)處理的性能要求，又能不提高存儲系統(tǒng)成本。
[0004]SSD具有一些特性，一是SSD具有特殊的讀寫特性，其讀寫性能不對稱，SSD讀性能遠(yuǎn)遠(yuǎn)大于寫性能，尤其是在隨機小數(shù)據(jù)的情況下，寫操作對SSD的性能影響更嚴(yán)重；二是SSD的容量還遠(yuǎn)遠(yuǎn)小于HDD硬盤，因此SSD空間是極其珍貴的。
[0005]同時，存儲系統(tǒng)傳統(tǒng)緩存技術(shù)也面臨著一些挑戰(zhàn)。一是緩存的污染問題。一般來說，傳統(tǒng)緩存技術(shù)只有在SSD緩存存滿后才會觸發(fā)降級操作，可想而知，此時緩存中一定會存在大量的過時數(shù)據(jù)，造成極大的緩存污染，并且會降低緩存的命中率；二是緩存的性能問題。傳統(tǒng)緩存技術(shù)采用被動的降級策略，只有存在新的升級數(shù)據(jù)并且緩存已滿的情況下，才會被動執(zhí)行降級操作。首先從緩存中降級數(shù)據(jù)，為即將升級的數(shù)據(jù)騰出空間，然后才能執(zhí)行數(shù)據(jù)的升級操作，可見這種被動策略會對緩存的性能產(chǎn)生一定影響。

【發(fā)明內(nèi)容】

[0006]本發(fā)明要解決的技術(shù)問題是:
針對SSD特性和傳統(tǒng)緩存技術(shù)的諸多問題，存儲系統(tǒng)SSD緩存的數(shù)據(jù)智能降級方法急需解決兩個問題。一是解決SSD緩存的污染問題，如何減少緩存的過時數(shù)據(jù)，降低緩存污染的程度，從而提高有限的SSD空間的有效利用率，緩存最有價值的數(shù)據(jù)；二是解決被動降級策略帶來的性能問題，如何能夠采取一個有效的策略，轉(zhuǎn)被動為主動并且分離降級操作對升級操作的依賴，解決SSD讀寫特性的問題，提高緩存的整體性能。
[0007]通過該存儲系統(tǒng)SSD緩存的數(shù)據(jù)智能降級的方法，能夠?qū)崿F(xiàn)SSD緩存數(shù)據(jù)智能的主動降級，大幅降低SSD緩存的緩存污染，提高緩存空間的有效利用率，提升緩存的整體性能，滿足存儲系統(tǒng)高性能的需求。
[0008]本發(fā)明所采用的技術(shù)方案為:
一種實現(xiàn)存儲系統(tǒng)SSD緩存的數(shù)據(jù)智能降級的方法，該方法支持在不同的操作系統(tǒng)，實現(xiàn)SSD緩存數(shù)據(jù)的智能降級。
[0009]所述方法采用一套緩存數(shù)據(jù)智能降級的策略，利用一個緩存數(shù)據(jù)智能降級線程，識別并統(tǒng)計緩存數(shù)據(jù)的降級特征屬性，隨后根據(jù)智能降級算法，當(dāng)滿足降級條件時，主動完成緩存數(shù)據(jù)的降級操作，將需要降級的數(shù)據(jù)塊從SSD緩存中遷移至HDD硬盤中，從而實現(xiàn)緩存數(shù)據(jù)的主動降級，降低緩存污染，高效的利用SSD緩存空間，采用獨立的降級策略，在一定程度上保證升級操作的高效性。
[0010]所述方法包括系統(tǒng)如下:1)緩存數(shù)據(jù)降級監(jiān)控模塊；2)降級特征屬性收集模塊；3)降級特征屬性統(tǒng)計模塊；4)緩存數(shù)據(jù)降級策略模塊；5)降級數(shù)據(jù)處理模塊，其中:
模塊I)緩存數(shù)據(jù)降級監(jiān)控模塊，負(fù)責(zé)觸發(fā)緩存數(shù)據(jù)的降級操作，該模塊可以根據(jù)定時時間或者SSD緩存容量占用百分比實現(xiàn)觸發(fā)緩存數(shù)據(jù)降級的時機；定時時間或者SSD容量百分比均可以由用戶指定。
[0011]模塊2)降級特征屬性收集模塊，負(fù)責(zé)收集緩存中數(shù)據(jù)塊的特征屬性，特征屬性包括訪問時間和訪問頻率，該模塊會對每個數(shù)據(jù)塊的訪問時間和訪問頻率這兩項特征屬性進(jìn)行收集；
模塊3)降級特征屬性統(tǒng)計模塊，負(fù)責(zé)統(tǒng)計計算緩存中數(shù)據(jù)塊的特征屬性信息，該模塊會計算緩存中所有數(shù)據(jù)塊的訪問時間屬性和訪問頻率屬性的平均值，其中，訪問時間屬性按照時間等級劃分，以小時為單位，最近一小時的訪問時間等級為1，最近一小時至兩小時的訪問時間等級為2，以此類推，訪問時間越久的數(shù)據(jù)塊的時間等級就會越高；訪問頻率屬性按照命中次數(shù)完成統(tǒng)計，平均值計算公式為特征屬性值的總和/特征屬性統(tǒng)計個數(shù)；模塊4)緩存數(shù)據(jù)降級策略模塊，負(fù)責(zé)降級數(shù)據(jù)塊的確定，首先，在緩存信息鏈表中，根據(jù)緩存數(shù)據(jù)塊訪問時間屬性的平均值，將低于平均值的數(shù)據(jù)塊信息拷貝至待降級鏈表；然后，在待降級鏈表中，根據(jù)緩存數(shù)據(jù)塊訪問頻率屬性的平均值，將低于平均值的數(shù)據(jù)塊信息加入到降級鏈表；最后，清空待降級鏈表；
模塊5)降級數(shù)據(jù)處理模塊，負(fù)責(zé)處理數(shù)據(jù)塊的降級，清除這部分?jǐn)?shù)據(jù)塊的緩存信息，首先，在緩存信息中清除降級數(shù)據(jù)塊的緩存信息；然后，將待降級鏈表中的數(shù)據(jù)塊加入到舊數(shù)據(jù)鏈表，并清空降級鏈表。
[0012]所述方法流程如下:
1、模塊I)根據(jù)用戶指定的緩存數(shù)據(jù)降級方式監(jiān)控降級條件，判斷是否滿足降級條件，若未滿足條件，則繼續(xù)監(jiān)控；若滿足條件，則會調(diào)用模塊2)；
2、模塊2)收集緩存數(shù)據(jù)特征屬性，兩項特征屬性收集完成后調(diào)用模塊3)；
3、模塊3)根據(jù)模塊2)輸入的特征屬性信息，分別計算訪問時間和訪問頻率的平均值，并調(diào)用模塊4)；
4、模塊4)根據(jù)模塊3)輸入的兩項特征屬性的平均值，獲取降級鏈表的數(shù)據(jù)塊，并調(diào)用模塊5)；
5、模塊5)清除降級數(shù)據(jù)塊的緩存信息，完成將降級數(shù)據(jù)塊加入至舊數(shù)據(jù)鏈表。
[0013]本發(fā)明的有益效果為:
采用該方法，能夠保證SSD緩存數(shù)據(jù)的智能的主動降級，緩存最有價值的數(shù)據(jù)，高效的利用緩存，滿足用戶對高性能存儲系統(tǒng)的需求，實現(xiàn)SSD緩存數(shù)據(jù)的智能降級，按照用戶指定的降級觸發(fā)方式，監(jiān)控緩存數(shù)據(jù)的降級情況，根據(jù)智能降級策略主動完成緩存數(shù)據(jù)的降級操作，分離緩存降級升級策略，實現(xiàn)獨立的主動的降級策略，大幅降低緩存污染，保證緩存中的數(shù)據(jù)就是最熱點的數(shù)據(jù)，保證SSD緩存空間的高效利用，提高存儲系統(tǒng)吞吐量，減少響應(yīng)時間，整體提高存儲系統(tǒng)性能。
[0014]因此采用此方法，能夠高效、智能、主動的實現(xiàn)存儲系統(tǒng)SSD緩存數(shù)據(jù)的智能降級。
【專利附圖】

【附圖說明】
[0015]圖1為本發(fā)明數(shù)據(jù)智能降級整體流程示意圖；
圖2為緩存數(shù)據(jù)降級策略模塊流程示意圖；
圖3為降級數(shù)據(jù)處理模塊流程示意圖。
【具體實施方式】
[0016]下面參照附圖，通過【具體實施方式】對本發(fā)明進(jìn)一步說明:
本發(fā)明實施方案非常簡單，只需要在LINUX內(nèi)核中安裝本發(fā)明的系統(tǒng)模塊程序即可。
[0017]根據(jù)本發(fā)明，SSD緩存系統(tǒng)能夠自動實現(xiàn)緩存數(shù)據(jù)的智能降級，當(dāng)存儲系統(tǒng)需要降級緩存數(shù)據(jù)時，SSD緩存系統(tǒng)會智能的主動的完成降級數(shù)據(jù)的識別和降級操作，滿足SSD緩存系統(tǒng)的數(shù)據(jù)智能降級的特性。
[0018]一種實現(xiàn)存儲系統(tǒng)SSD緩存的數(shù)據(jù)智能降級的方法，該方法支持在不同的操作系統(tǒng)，實現(xiàn)SSD緩存數(shù)據(jù)的智能降級。
[0019]所述方法采用一套緩存數(shù)據(jù)智能降級的策略，利用一個緩存數(shù)據(jù)智能降級線程，識別并統(tǒng)計緩存數(shù)據(jù)的降級特征屬性，隨后根據(jù)智能降級算法，當(dāng)滿足降級條件時，主動完成緩存數(shù)據(jù)的降級操作，將需要降級的數(shù)據(jù)塊從SSD緩存中遷移至HDD硬盤中，從而實現(xiàn)緩存數(shù)據(jù)的主動降級，降低緩存污染，高效的利用SSD緩存空間，采用獨立的降級策略，在一定程度上保證升級操作的高效性。
[0020]所述方法包括系統(tǒng)如下:1)緩存數(shù)據(jù)降級監(jiān)控模塊；2)降級特征屬性收集模塊；3)降級特征屬性統(tǒng)計模塊；4)緩存數(shù)據(jù)降級策略模塊；5)降級數(shù)據(jù)處理模塊，其中:
模塊I)緩存數(shù)據(jù)降級監(jiān)控模塊，負(fù)責(zé)觸發(fā)緩存數(shù)據(jù)的降級操作，該模塊可以根據(jù)定時時間或者SSD緩存容量占用百分比實現(xiàn)觸發(fā)緩存數(shù)據(jù)降級的時機；定時時間或者SSD容量百分比均可以由用戶指定。
[0021]模塊2)降級特征屬性收集模塊，負(fù)責(zé)收集緩存中數(shù)據(jù)塊的特征屬性，特征屬性包括訪問時間和訪問頻率，該模塊會對每個數(shù)據(jù)塊的訪問時間和訪問頻率這兩項特征屬性進(jìn)行收集；
模塊3)降級特征屬性統(tǒng)計模塊，負(fù)責(zé)統(tǒng)計計算緩存中數(shù)據(jù)塊的特征屬性信息，該模塊會計算緩存中所有數(shù)據(jù)塊的訪問時間屬性和訪問頻率屬性的平均值，其中，訪問時間屬性按照時間等級劃分，以小時為單位，最近一小時的訪問時間等級為1，最近一小時至兩小時的訪問時間等級為2，以此類推，訪問時間越久的數(shù)據(jù)塊的時間等級就會越高；訪問頻率屬性按照命中次數(shù)完成統(tǒng)計，平均值計算公式為特征屬性值的總和/特征屬性統(tǒng)計個數(shù)；模塊4)緩存數(shù)據(jù)降級策略模塊，負(fù)責(zé)降級數(shù)據(jù)塊的確定，如圖2所示，首先，在緩存信息鏈表中，根據(jù)緩存數(shù)據(jù)塊訪問時間屬性的平均值，將低于平均值的數(shù)據(jù)塊信息拷貝至待降級鏈表；然后，在待降級鏈表中，根據(jù)緩存數(shù)據(jù)塊訪問頻率屬性的平均值，將低于平均值的數(shù)據(jù)塊信息加入到降級鏈表；最后，清空待降級鏈表；
模塊5)降級數(shù)據(jù)處理模塊，負(fù)責(zé)處理數(shù)據(jù)塊的降級，清除這部分?jǐn)?shù)據(jù)塊的緩存信息，如圖3所示，首先，在緩存信息中清除降級數(shù)據(jù)塊的緩存信息；然后，將待降級鏈表中的數(shù)據(jù)塊加入到舊數(shù)據(jù)鏈表,并清空降級鏈表。
[0022]如圖1所示，所述方法流程如下:
1、模塊I)根據(jù)用戶指定的緩存數(shù)據(jù)降級方式監(jiān)控降級條件，判斷是否滿足降級條件，若未滿足條件，則繼續(xù)監(jiān)控；若滿足條件，則會調(diào)用模塊2)；
2、模塊2)收集緩存數(shù)據(jù)特征屬性，兩項特征屬性收集完成后調(diào)用模塊3)；
3、模塊3)根據(jù)模塊2)輸入的特征屬性信息，分別計算訪問時間和訪問頻率的平均值，并調(diào)用模塊4)；
4、模塊4)根據(jù)模塊3)輸入的兩項特征屬性的平均值，獲取降級鏈表的數(shù)據(jù)塊，并調(diào)用模塊5)；
5、模塊5)清除降級數(shù)據(jù)塊的緩存信息，完成將降級數(shù)據(jù)塊加入至舊數(shù)據(jù)鏈表。
【權(quán)利要求】
1.一種實現(xiàn)存儲系統(tǒng)SSD緩存的數(shù)據(jù)智能降級的方法，其特征在于:所述方法采用一套緩存數(shù)據(jù)智能降級的策略，利用一個緩存數(shù)據(jù)智能降級線程，識別并統(tǒng)計緩存數(shù)據(jù)的降級特征屬性，隨后根據(jù)智能降級算法，當(dāng)滿足降級條件時，主動完成緩存數(shù)據(jù)的降級操作，將需要降級的數(shù)據(jù)塊從SSD緩存中遷移至HDD硬盤中，實現(xiàn)緩存數(shù)據(jù)的主動降級，降低緩存污染，高效的利用SSD緩存空間，所述方法包括系統(tǒng)如下:1)緩存數(shù)據(jù)降級監(jiān)控模塊；2)降級特征屬性收集模塊；3)降級特征屬性統(tǒng)計模塊；4)緩存數(shù)據(jù)降級策略模塊；5)降級數(shù)據(jù)處理模塊，其中: 模塊I)緩存數(shù)據(jù)降級監(jiān)控模塊，負(fù)責(zé)觸發(fā)緩存數(shù)據(jù)的降級操作，根據(jù)定時時間或者SSD緩存容量占用百分比實現(xiàn)觸發(fā)緩存數(shù)據(jù)降級的時機； 模塊2)降級特征屬性收集模塊，負(fù)責(zé)收集緩存中數(shù)據(jù)塊的特征屬性，特征屬性包括訪問時間和訪問頻率，該模塊會對每個數(shù)據(jù)塊的訪問時間和訪問頻率這兩項特征屬性進(jìn)行收集; 模塊3)降級特征屬性統(tǒng)計模塊，負(fù)責(zé)統(tǒng)計計算緩存中數(shù)據(jù)塊的特征屬性信息，該模塊會計算緩存中所有數(shù)據(jù)塊的訪問時間屬性和訪問頻率屬性的平均值，其中，訪問時間屬性按照時間等級劃分，以小時為單位，最近一小時的訪問時間等級為1，最近一小時至兩小時的訪問時間等級為2，以此類推，訪問時間越久的數(shù)據(jù)塊的時間等級就會越高；訪問頻率屬性按照命中次數(shù)完成統(tǒng)計，平均值計算公式為特征屬性值的總和/特征屬性統(tǒng)計個數(shù)； 模塊4)緩存數(shù)據(jù)降級策略模塊，負(fù)責(zé)降級數(shù)據(jù)塊的確定，首先，在緩存信息鏈表中，根據(jù)緩存數(shù)據(jù)塊訪問時間屬性的平均值，將低于平均值的數(shù)據(jù)塊信息拷貝至待降級鏈表；然后，在待降級鏈表中，根據(jù)緩存數(shù)據(jù)塊訪問頻率屬性的平均值，將低于平均值的數(shù)據(jù)塊信息加入到降級鏈表；最后，清空待降級鏈表； 模塊5)降級數(shù)據(jù)處理模塊，負(fù)責(zé)處理數(shù)據(jù)塊的降級，清除這部分?jǐn)?shù)據(jù)塊的緩存信息，首先，在緩存信息中清除降級數(shù)據(jù)塊的緩存信息；然后，將待降級鏈表中的數(shù)據(jù)塊加入到舊數(shù)據(jù)鏈表，并清空降級鏈表。
2.根據(jù)權(quán)利要求1所述的一種實現(xiàn)存儲系統(tǒng)SSD緩存的數(shù)據(jù)智能降級的方法，其特征在于，所述方法流程如下: a、模塊I)根據(jù)用戶指定的緩存數(shù)據(jù)降級方式監(jiān)控降級條件，判斷是否滿足降級條件，若未滿足條件，則繼續(xù)監(jiān)控；若滿足條件，則會調(diào)用模塊2)； b、模塊2)收集緩存數(shù)據(jù)特征屬性，兩項特征屬性收集完成后調(diào)用模塊3)； C、模塊3)根據(jù)模塊2)輸入的特征屬性信息，分別計算訪問時間和訪問頻率的平均值，并調(diào)用模塊4)； d、模塊4)根據(jù)模塊3)輸入的兩項特征屬性的平均值，獲取降級鏈表的數(shù)據(jù)塊，并調(diào)用模塊5)； e、模塊5)清除降級數(shù)據(jù)塊的緩存信息，完成將降級數(shù)據(jù)塊加入至舊數(shù)據(jù)鏈表。
【文檔編號】G06F3/06GK103744623SQ201410011355
【公開日】2014年4月23日 申請日期:2014年1月10日 優(yōu)先權(quán)日:2014年1月10日
【發(fā)明者】溫源, 張宇, 徐旸 申請人:浪潮電子信息產(chǎn)業(yè)股份有限公司