本發(fā)明涉及數(shù)據(jù)存儲(chǔ)和緩存優(yōu)化，特別是涉及基于alluxio的數(shù)據(jù)存儲(chǔ)和緩存優(yōu)化方法及系統(tǒng)。

背景技術(shù)：

1、在當(dāng)前大數(shù)據(jù)和云計(jì)算的架構(gòu)中，數(shù)據(jù)中心通常分布在多個(gè)地理位置，然而，多數(shù)據(jù)中心環(huán)境下的數(shù)據(jù)存取效率往往受到地理分布、網(wǎng)絡(luò)延遲以及數(shù)據(jù)中心之間帶寬限制的影響。尤其是在跨數(shù)據(jù)中心場景中，由于不同數(shù)據(jù)中心之間的物理距離較遠(yuǎn)，網(wǎng)絡(luò)延遲成為影響系統(tǒng)i/o性能的重要瓶頸。數(shù)據(jù)中心之間的同步和數(shù)據(jù)傳輸速度遠(yuǎn)不及同一數(shù)據(jù)中心內(nèi)的速度，這種延遲和帶寬限制使得數(shù)據(jù)訪問速度大幅降低，進(jìn)而影響了整體系統(tǒng)的性能。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)的不足，本發(fā)明提供了基于alluxio的數(shù)據(jù)存儲(chǔ)和緩存優(yōu)化方法及系統(tǒng)；

2、一方面，提供了基于alluxio的數(shù)據(jù)存儲(chǔ)和緩存優(yōu)化方法，包括：

3、獲取待寫入的文件，根據(jù)所述待寫入的文件的四個(gè)屬性，計(jì)算文件的優(yōu)先級(jí)；所述待寫入的文件的四個(gè)屬性，包括：文件訪問頻率、文件容量、文件重要性等級(jí)以及文件新鮮度；

4、根據(jù)文件優(yōu)先級(jí)所對(duì)應(yīng)的文件傳輸策略，將待寫入的文件存儲(chǔ)到alluxio緩存和底層存儲(chǔ)；

5、獲取待讀取的數(shù)據(jù)，判斷待讀取的數(shù)據(jù)是否在緩存中，如果是，則將緩存中的數(shù)據(jù)返回給用戶；如果否，則將底層存儲(chǔ)中的數(shù)據(jù)返回給用戶；

6、根據(jù)關(guān)聯(lián)規(guī)則，對(duì)待讀取的數(shù)據(jù)以及待讀取數(shù)據(jù)相關(guān)聯(lián)的數(shù)據(jù)塊進(jìn)行預(yù)取操作，如果緩存使用率超過設(shè)定的閾值，則執(zhí)行緩存替換操作。

7、另一方面，提供了基于alluxio的數(shù)據(jù)存儲(chǔ)和緩存優(yōu)化系統(tǒng)，包括：

8、獲取模塊，其被配置為：獲取待寫入的文件，根據(jù)所述待寫入的文件的四個(gè)屬性，計(jì)算文件的優(yōu)先級(jí)；所述待寫入的文件的四個(gè)屬性，包括：文件訪問頻率、文件容量、文件重要性等級(jí)以及文件新鮮度；

9、寫入模塊，其被配置為：根據(jù)文件優(yōu)先級(jí)所對(duì)應(yīng)的文件傳輸策略，將待寫入的文件存儲(chǔ)到alluxio緩存和底層存儲(chǔ)；

10、讀取模塊，其被配置為：獲取待讀取的數(shù)據(jù)，判斷待讀取的數(shù)據(jù)是否在緩存中，如果是，則將緩存中的數(shù)據(jù)返回給用戶；如果否，則將底層存儲(chǔ)中的數(shù)據(jù)返回給用戶；

11、預(yù)取模塊，其被配置為：根據(jù)關(guān)聯(lián)規(guī)則，對(duì)待讀取的數(shù)據(jù)以及待讀取數(shù)據(jù)相關(guān)聯(lián)的數(shù)據(jù)塊進(jìn)行預(yù)取操作，如果緩存使用率超過設(shè)定的閾值，則執(zhí)行緩存替換操作。

12、上述技術(shù)方案具有如下優(yōu)點(diǎn)或有益效果：

13、本發(fā)明通過引入文件優(yōu)先級(jí)分配機(jī)制，本發(fā)明能夠根據(jù)文件的重要性、訪問頻率、大小和新鮮度等指標(biāo)動(dòng)態(tài)調(diào)整數(shù)據(jù)傳輸和存儲(chǔ)策略，確保高優(yōu)先級(jí)文件在異步存儲(chǔ)過程中得到更高的資源優(yōu)先級(jí)。同步寫入與異步寫入的結(jié)合使用，不僅提升了數(shù)據(jù)寫入效率，還有效降低了在異步寫入底層存儲(chǔ)系統(tǒng)前發(fā)生故障導(dǎo)致的數(shù)據(jù)丟失風(fēng)險(xiǎn)，從而保障了數(shù)據(jù)的高可用性和持久性。

14、本發(fā)明采用了基于數(shù)據(jù)塊間關(guān)聯(lián)性的智能預(yù)取與替換策略，能夠在數(shù)據(jù)訪問過程中主動(dòng)預(yù)取與當(dāng)前訪問數(shù)據(jù)關(guān)聯(lián)的數(shù)據(jù)塊，減少跨數(shù)據(jù)中心場景下的遠(yuǎn)程調(diào)用頻率，降低數(shù)據(jù)訪問延遲。特別是在系統(tǒng)負(fù)載較低時(shí)，通過智能預(yù)取機(jī)制能夠充分利用閑置資源，提高緩存的命中率和系統(tǒng)的i/o性能，進(jìn)一步增強(qiáng)alluxio在多數(shù)據(jù)中心環(huán)境下的可用性。

15、通過設(shè)計(jì)動(dòng)態(tài)負(fù)載均衡機(jī)制，本發(fā)明能夠?qū)崟r(shí)監(jiān)控各節(jié)點(diǎn)的資源使用情況，并根據(jù)負(fù)載狀況動(dòng)態(tài)調(diào)整任務(wù)分配和權(quán)重，避免資源過載的同時(shí)最大化利用系統(tǒng)資源。這種優(yōu)化策略確保了在高并發(fā)場景下，系統(tǒng)仍能保持高效運(yùn)行，并減少因負(fù)載不均衡導(dǎo)致的性能瓶頸，進(jìn)而提升了系統(tǒng)的整體性能和響應(yīng)速度。

16、本發(fā)明將綜合考慮文件訪問頻率、大小、重要性和新鮮度實(shí)現(xiàn)文件優(yōu)先級(jí)的分配，為不同優(yōu)先級(jí)的文件制定不同的傳輸策略，減少數(shù)據(jù)丟失的風(fēng)險(xiǎn)，提高系統(tǒng)整體性能。

17、通過考慮數(shù)據(jù)塊之間的訪問頻率和時(shí)序關(guān)聯(lián)，結(jié)合跨數(shù)據(jù)中心場景下的網(wǎng)絡(luò)狀況和系統(tǒng)負(fù)載情況，智能預(yù)取關(guān)聯(lián)數(shù)據(jù)塊，減少遠(yuǎn)程調(diào)用頻率，降低數(shù)據(jù)訪問延遲。

技術(shù)特征：

1.基于alluxio的數(shù)據(jù)存儲(chǔ)和緩存優(yōu)化方法，其特征是，包括：

2.如權(quán)利要求1所述的基于alluxio的數(shù)據(jù)存儲(chǔ)和緩存優(yōu)化方法，其特征是，所述根據(jù)所述待寫入的文件的四個(gè)屬性，計(jì)算文件的優(yōu)先級(jí)，包括：

3.如權(quán)利要求1所述的基于alluxio的數(shù)據(jù)存儲(chǔ)和緩存優(yōu)化方法，其特征是，根據(jù)文件優(yōu)先級(jí)所對(duì)應(yīng)的文件傳輸策略，將待寫入的文件存儲(chǔ)到alluxio緩存和底層存儲(chǔ)，包括：

4.如權(quán)利要求3所述的基于alluxio的數(shù)據(jù)存儲(chǔ)和緩存優(yōu)化方法，其特征是，所述負(fù)載均衡機(jī)制，包括：

5.如權(quán)利要求4所述的基于alluxio的數(shù)據(jù)存儲(chǔ)和緩存優(yōu)化方法，其特征是，所述加權(quán)輪詢算法給每個(gè)工作節(jié)點(diǎn)分配一個(gè)初始權(quán)重，其中初始權(quán)重wi的計(jì)算公式為：

6.如權(quán)利要求3所述的基于alluxio的數(shù)據(jù)存儲(chǔ)和緩存優(yōu)化方法，其特征是，

7.如權(quán)利要求1所述的基于alluxio的數(shù)據(jù)存儲(chǔ)和緩存優(yōu)化方法，其特征是，根據(jù)關(guān)聯(lián)規(guī)則，對(duì)待讀取的數(shù)據(jù)以及待讀取數(shù)據(jù)相關(guān)聯(lián)的數(shù)據(jù)塊進(jìn)行預(yù)取操作，如果緩存使用率超過設(shè)定的閾值，則執(zhí)行緩存替換操作，具體包括：

8.如權(quán)利要求7所述的基于alluxio的數(shù)據(jù)存儲(chǔ)和緩存優(yōu)化方法，其特征是，設(shè)定滑動(dòng)窗口的尺寸和滑動(dòng)窗口的步長，包括：滑動(dòng)窗口的尺寸是滑動(dòng)窗口內(nèi)所包含的數(shù)據(jù)量，滑動(dòng)窗口的步長，是窗口每次滑動(dòng)時(shí)，新加入的數(shù)據(jù)量；將窗口中的數(shù)據(jù)視為一個(gè)隊(duì)列，如果隊(duì)列中的數(shù)據(jù)量超過設(shè)定窗口尺寸w，則將最早加入隊(duì)列的數(shù)據(jù)移除，以確保隊(duì)列中只有最新的w條數(shù)據(jù)；將移除的數(shù)據(jù)標(biāo)記為“舊數(shù)據(jù)”；當(dāng)新數(shù)據(jù)到來時(shí)，將新數(shù)據(jù)添加到當(dāng)前窗口中，并標(biāo)記為“新數(shù)據(jù)”；之前被標(biāo)記為“新數(shù)據(jù)”的數(shù)據(jù)在新一輪的數(shù)據(jù)加入后，“新數(shù)據(jù)”標(biāo)記被移除。

9.如權(quán)利要求7所述的基于alluxio的數(shù)據(jù)存儲(chǔ)和緩存優(yōu)化方法，其特征是，對(duì)滑動(dòng)窗口內(nèi)的數(shù)據(jù)，計(jì)算閉頻繁項(xiàng)集，包括：

10.基于alluxio的數(shù)據(jù)存儲(chǔ)和緩存優(yōu)化系統(tǒng)，其特征是，包括：

技術(shù)總結(jié)
本發(fā)明公開了基于Alluxio的數(shù)據(jù)存儲(chǔ)和緩存優(yōu)化方法及系統(tǒng)，其中方法，包括：獲取待寫入的文件，根據(jù)所述待寫入的文件的四個(gè)屬性，計(jì)算文件的優(yōu)先級(jí)；所述待寫入的文件的四個(gè)屬性，包括：文件訪問頻率、文件容量、文件重要性等級(jí)以及文件新鮮度；根據(jù)文件優(yōu)先級(jí)所對(duì)應(yīng)的文件傳輸策略，將待寫入的文件存儲(chǔ)到Alluxio緩存和底層存儲(chǔ)；獲取待讀取的數(shù)據(jù)，判斷待讀取的數(shù)據(jù)是否在緩存中，如果是，則將緩存中的數(shù)據(jù)返回給用戶；如果否，則將底層存儲(chǔ)中的數(shù)據(jù)返回給用戶；根據(jù)關(guān)聯(lián)規(guī)則，對(duì)待讀取的數(shù)據(jù)以及待讀取數(shù)據(jù)相關(guān)聯(lián)的數(shù)據(jù)塊進(jìn)行預(yù)取操作，如果緩存使用率超過設(shè)定的閾值，則執(zhí)行緩存替換操作。

技術(shù)研發(fā)人員：王春曉,劉秋月,王英龍,臧書昌,郭瑩,陳靜,趙志剛,溫華崗,郝國鵬
受保護(hù)的技術(shù)使用者：山東省計(jì)算中心（國家超級(jí)計(jì)算濟(jì)南中心）
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30