本發(fā)明涉及數(shù)據(jù)存儲,具體涉及一種基于人工智能的數(shù)據(jù)優(yōu)化存儲方法。
背景技術(shù):
1、隨著信息技術(shù)的快速發(fā)展,各行各業(yè)產(chǎn)生的數(shù)據(jù)量呈現(xiàn)出爆炸式增長。這些數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)以及半結(jié)構(gòu)化數(shù)據(jù),涵蓋了從簡單的文本信息到復(fù)雜的圖像、音頻和視頻數(shù)據(jù)。如此龐大的數(shù)據(jù)量對存儲系統(tǒng)提出了嚴(yán)峻的挑戰(zhàn),傳統(tǒng)的存儲方法已經(jīng)難以滿足高效、低成本和可靠性的需求。
2、公開號為cn118605803a的中國發(fā)明專利公開了一種基于人工智能的數(shù)據(jù)優(yōu)化存儲方法及大數(shù)據(jù)系統(tǒng),包括解決了對應(yīng)格式文件內(nèi)可能存在多組格式,會導(dǎo)致讀寫邏輯之間的相互轉(zhuǎn)換,導(dǎo)致其讀寫速率過于緩慢,從而導(dǎo)致存儲速率變慢的問題,本發(fā)明通過針對不同類型格式的文件,采用不同的讀寫處理方式,便可充分保障其讀寫速率,無需進(jìn)行數(shù)據(jù)之間格式的來回調(diào)換,對讀寫速率進(jìn)行了有效增強(qiáng),在進(jìn)行存儲之前獲取數(shù)據(jù)階段,保障獲取數(shù)據(jù)的速率得到有效增強(qiáng),便進(jìn)一步增強(qiáng)了整個階段文件的存儲速率。
3、然而,上述現(xiàn)有技術(shù)中主要聚焦于通過針對不同類型格式的文件采用不同的讀寫處理方式來提高讀寫速率和存儲速率,但缺失對存儲速率異常的分析,在實際應(yīng)用中,存儲速率異??赡軙绊憯?shù)據(jù)存儲的穩(wěn)定性。
技術(shù)實現(xiàn)思路
1、本發(fā)明的目的在于提供一種基于人工智能的數(shù)據(jù)優(yōu)化存儲方法,以解決上述背景中技術(shù)問題。
2、本發(fā)明的目的可以通過以下技術(shù)方案實現(xiàn):
3、本發(fā)明提供了一種基于人工智能的數(shù)據(jù)優(yōu)化存儲方法,包括:
4、步驟一:對存儲單元的存儲速率值進(jìn)行處理分析,得到數(shù)據(jù)存儲表現(xiàn)值cb,基于存儲表現(xiàn)值cb,若存儲表現(xiàn)值cb小于存儲表現(xiàn)閾值,則生成存儲異常信號;
5、步驟二:基于存儲異常信號,對數(shù)據(jù)實時傳輸速率值和存儲速率波動時段處理分析,得到影響同步值bt,若影響同步值bt大于影響同步閾值,確定傳輸速率影響數(shù)據(jù)存儲速率異常;
6、步驟三:若傳輸速率影響數(shù)據(jù)存儲速率異常,確定傳輸速率調(diào)整值,根據(jù)傳輸速率調(diào)整值對當(dāng)前存儲單元的數(shù)據(jù)存儲速率進(jìn)行調(diào)整。
7、作為本發(fā)明進(jìn)一步的方案:所述存儲表現(xiàn)值cb的獲取方式為:
8、基于存儲速率值構(gòu)建存儲速率變化曲線,基于存儲速率標(biāo)準(zhǔn)值構(gòu)建存儲速率基準(zhǔn)線,根據(jù)存儲速率變化曲線和存儲速率標(biāo)準(zhǔn)線,確定存儲速率波動曲線數(shù)量比bs與存儲速率波動面積比bm;
9、將存儲速率波動曲線數(shù)量比bs與存儲速率波動面積比bm進(jìn)行數(shù)據(jù)處理,通過公式:計算得到存儲表現(xiàn)值cb,其中,a1、a2均為預(yù)設(shè)比例系數(shù),且a1、a2均大于0。
10、作為本發(fā)明進(jìn)一步的方案:所述存儲速率波動曲線數(shù)量比bs的獲取方式為:
11、將存儲速率變化曲線與存儲速率基準(zhǔn)線重合的部分標(biāo)記為存儲速率重合曲線,將存儲速率變化曲線中高于存儲速率基準(zhǔn)線的部分標(biāo)記為存儲速率高波動曲線,將存儲速率變化曲線中低于存儲速率基準(zhǔn)線的部分標(biāo)記為存儲速率低波動曲線,統(tǒng)計存儲速率高波動曲線的數(shù)量和存儲速率低波動曲線的數(shù)量,并將其求和處理,得到存儲速率波動曲線數(shù)量,將存儲速率波動曲線數(shù)量與存儲時段內(nèi)所有曲線段數(shù)量進(jìn)行比值處理,得到存儲速率波動曲線數(shù)量比bs。
12、作為本發(fā)明進(jìn)一步的方案:所述存儲速率波動面積比bm的獲取方式為:
13、測量存儲速率高波動曲線與存儲速率基準(zhǔn)線之間的面積,得到存儲速率高波動面積,測量存儲速率低波動曲線與存儲速率基準(zhǔn)線之間的面積,得到存儲速率低波動面積,將所有的存儲速率高波動面積和存儲速率低波動面積進(jìn)行求和處理,得到存儲速率波動面積,將存儲速率波動面積與存儲速率波動面積閾值進(jìn)行比值處理得到存儲速率波動面積比bm。
14、作為本發(fā)明進(jìn)一步的方案:將存儲表現(xiàn)值cb與存儲表現(xiàn)閾值進(jìn)行比較,具體過程為:
15、若存儲表現(xiàn)值cb小于存儲表現(xiàn)閾值,則生成存儲異常信號;
16、若存儲表現(xiàn)值cb大于等于存儲表現(xiàn)閾值,則生成存儲正常信號。
17、作為本發(fā)明進(jìn)一步的方案:所述影響同步值bt的獲取方式為:
18、基于數(shù)據(jù)實時傳輸速率值構(gòu)建實時傳輸速率波動曲線,基于數(shù)據(jù)實時傳輸速率標(biāo)準(zhǔn)值構(gòu)建傳輸速率基準(zhǔn)線,根據(jù)實時傳輸速率波動曲線和存儲速率標(biāo)準(zhǔn)線,確定重合時長占比qs和變化程度重合比bc;
19、將重合時長占比qs和變化程度重合比bc進(jìn)行數(shù)據(jù)處理,通過公式:計算得到影響同步值bt,其中,b1和b2均為預(yù)設(shè)比例系數(shù),且b1和b2均大于0。
20、作為本發(fā)明進(jìn)一步的方案:所述重合時長占比qs的獲取方式為:
21、將傳輸速率變化曲線中高于傳輸速率基準(zhǔn)線的部分標(biāo)記為傳輸速率高波動曲線,將傳輸速率變化曲線中低于傳輸速率基準(zhǔn)線的部分標(biāo)記為傳輸速率低波動曲線,獲取傳輸速率高波動曲線對應(yīng)的時段,將其標(biāo)記為傳輸速率高波動時段,獲取傳輸速率低波動曲線對應(yīng)的時段,將其標(biāo)記為傳輸速率低波動時段;
22、基于存儲異常信號,獲取生成存儲異常信號時對應(yīng)的存儲速率高波動時段和存儲速率低波動時段;
23、將傳輸速率高波動時段與存儲速率高波動時段之間重合的時段標(biāo)記為高重合時段,將傳輸速率低波動時段與存儲速率低波動時段之間重合的時段標(biāo)記為低重合時段;
24、將高重合時段與低重合時段進(jìn)行求和處理,得到重合時段,將重合時段對應(yīng)的時長標(biāo)記為重合時長;
25、將重合時長與存儲時段對應(yīng)的總時長進(jìn)行比值處理,得到重合時長占比qs。
26、作為本發(fā)明進(jìn)一步的方案:所述變化程度重合比bc的獲取方式為:
27、將重合時段劃分為若干個分析節(jié)點,分別獲取重合時段對應(yīng)的存儲速率變化曲線以及部分實時傳輸速率波動曲線在分析節(jié)點處的斜率值,并將其進(jìn)行比值處理,得到分析節(jié)點處的斜率比,將所有分析節(jié)點處的斜率比進(jìn)行求和取均值,得到重合時段內(nèi)的斜率比;
28、將得到的所有重合時段內(nèi)的斜率比進(jìn)行求和取均值,得到斜率比均值,將斜率比與斜率比均值進(jìn)行差值處理,并將其取絕對值,得到斜率比偏差,將得到的所有斜率比偏差進(jìn)行求和取均值,得到斜率比偏差均值;
29、將斜率比偏差與斜率比偏差均值進(jìn)行比較:
30、若斜率比偏差大于斜率比偏差均值,則將其斜率比偏差對應(yīng)的重合時段標(biāo)記為異常重合時段;
31、若斜率比偏差小于等于斜率比偏差均值,則將其斜率比偏差對應(yīng)的重合時段標(biāo)記為正常重合時段;
32、統(tǒng)計重合時段中正常重合時段的數(shù)量,并將其與重合時段的數(shù)量進(jìn)行比值處理,得到變化程度重合比bc。
33、作為本發(fā)明進(jìn)一步的方案:將影響同步值bt與影響同步閾值進(jìn)行比較,具體過程為:
34、若影響同步值bt大于影響同步閾值,則表示數(shù)據(jù)傳輸速率是影響數(shù)據(jù)存儲速率的原因;
35、若影響同步值bt小于等于影響同步閾值,則表示數(shù)據(jù)傳輸速率不是影響數(shù)據(jù)存儲速率的原因,需要對其他影響因素進(jìn)一步分析。
36、作為本發(fā)明進(jìn)一步的方案:所述傳輸速率調(diào)整值的獲取過程為:
37、獲取當(dāng)前的存儲速率值,并與存儲速率標(biāo)準(zhǔn)值進(jìn)行差值處理,得到存儲速率調(diào)整值,將存儲速率調(diào)整值與重合時段內(nèi)的斜率比進(jìn)行比值處理,得到傳輸速率調(diào)整值。
38、本發(fā)明的有益效果:
39、本發(fā)明基于存儲速率值進(jìn)行處理分析,得到數(shù)據(jù)存儲表現(xiàn)值cb,基于存儲表現(xiàn)值cb,判斷在存儲數(shù)據(jù)時是否生成存儲信號,本發(fā)明通過實時監(jiān)控存儲速率并基于其計算出的數(shù)據(jù)存儲表現(xiàn)值cb來動態(tài)評估存儲狀態(tài),從而能夠及時發(fā)現(xiàn)存儲過程中的潛在問題,提高數(shù)據(jù)存儲的可靠性;本發(fā)明基于存儲異常信號,獲取生成存儲異常信號時對應(yīng)的存儲速率波動時段,并獲取存儲節(jié)點對應(yīng)的數(shù)據(jù)實時傳輸速率值,基于數(shù)據(jù)實時傳輸速率值和存儲速率波動時段處理分析,得到影響同步值bt,基于影響同步值bt判斷數(shù)據(jù)傳輸速率是否是影響數(shù)據(jù)存儲速率的原因,若傳輸速率是影響數(shù)據(jù)存儲速率的原因,則基于傳輸速率調(diào)整值對當(dāng)前的存儲速率進(jìn)行調(diào)整,本發(fā)明通過存儲速率的波動,深入分析數(shù)據(jù)傳輸過程中的傳輸速率變化,通過重合分析,揭示數(shù)據(jù)傳輸速率是否導(dǎo)致數(shù)據(jù)存儲速率異常,有利于使用人工智能技術(shù)優(yōu)化存儲系統(tǒng)性能、提高數(shù)據(jù)存儲的穩(wěn)定性。