一種數(shù)據(jù)存儲方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)據(jù)存儲管理技術(shù)，尤其涉及一種數(shù)據(jù)存儲方法及系統(tǒng)。
【背景技術(shù)】
[0002] 分級存儲是一種根據(jù)數(shù)據(jù)的重要性、訪問頻率、保留時間、容量、性能等指標，將數(shù) 據(jù)采取不同的存儲方式分別存儲在不同性能的存儲設(shè)備上，從而實現(xiàn)數(shù)據(jù)客體在存儲設(shè)備 之間的自動遷移的存儲管理技術(shù)。通過將不經(jīng)常訪問的數(shù)據(jù)自動移到存儲層次較低的存儲 空間，釋放出較高成本的一級本地存儲空間給更頻繁訪問的數(shù)據(jù)，可以獲得更好的性價比。 這樣，一方面可大大減少非重要性數(shù)據(jù)在一級本地存儲空間中所占用的比例，還可加快整 個系統(tǒng)的存儲性能。
[0003] 在實現(xiàn)分級存儲過程中，需要對數(shù)據(jù)進行遷移或備份處理，傳統(tǒng)的解決方案主要 包括兩個大類：一個大類是根據(jù)數(shù)據(jù)的時間特征，自動或人工對歷史的數(shù)據(jù)進行"增量或全 量"備份，即從高端存儲設(shè)備移至低端存儲設(shè)備中，實現(xiàn)數(shù)據(jù)的備份或遷移，需要查詢訪問 時，再從低端存儲設(shè)備恢復(fù)到高端存儲設(shè)備中，或是修改查詢鏈接到低端存儲設(shè)備，從而完 成數(shù)據(jù)訪問；另一個大類是通過人工決策，周期性分析高端存儲設(shè)備中的數(shù)據(jù)，找出一些不 常用的業(yè)務(wù)信息，遷移到中端或低端存儲設(shè)備中，并修改應(yīng)用訪問鏈接指向，最終提升高端 存儲設(shè)備的空間利用率，節(jié)約高端存儲空間。
[0004] 上述第一類方式，在數(shù)據(jù)遷移時僅考慮數(shù)據(jù)的時間特性，沒有關(guān)注數(shù)據(jù)的其它特 征，這樣遷移的效果往往不明顯，而且自動化的程度低；例如，一個主動銷戶的用戶，其信令 數(shù)據(jù)和銷帳記錄等數(shù)據(jù)，按時間規(guī)則是最新的，因此，按照第一類方式不會做遷移。但實際 情況是這些信息基本沒有業(yè)務(wù)應(yīng)用訪問，或訪問頻率非常低，而這樣的數(shù)據(jù)占用了很多高 端存儲空間，影響到了重要數(shù)據(jù)的訪問。
[0005] 上述第二類方式，在通過人工決策進行數(shù)據(jù)遷移時，主要根據(jù)數(shù)據(jù)的重要性人工 主觀決策，但數(shù)據(jù)眾多，這樣，工作量巨大，并且簡單人工決策，存在以下問題：通常，為了保 證業(yè)務(wù)應(yīng)用正常使用，決定遷移的數(shù)據(jù)量非常少，如80%以上當前業(yè)務(wù)應(yīng)用未使用數(shù)據(jù)，都 不敢做遷移，怕影響重要業(yè)務(wù)信息的訪問完整性和及時性，進而影響業(yè)務(wù)系統(tǒng)的穩(wěn)定性，因 此，遷移效果不明顯。
[0006] 另外，不管是上述第一類方式還是第二類方式都存在以下缺點：由于數(shù)據(jù)遷移策 略簡單，容易導(dǎo)致由于錯誤決策而執(zhí)行的數(shù)據(jù)遷移，這樣的錯誤將造成原業(yè)務(wù)系統(tǒng)不能正 常使用，或者造成新的存儲設(shè)備達不到數(shù)據(jù)的訪問和穩(wěn)定性要求，從而，影響業(yè)務(wù)系統(tǒng)正常 使用。
【附圖說明】
[0007] 圖1為本發(fā)明至少一個實施例提供的數(shù)據(jù)存儲方法的流程示意圖；
[0008] 圖2為本發(fā)明至少一個實施例提供的數(shù)據(jù)存儲系統(tǒng)的結(jié)構(gòu)示意圖。

【發(fā)明內(nèi)容】

[0009] 有鑒于此，本發(fā)明實施例期望提供一種數(shù)據(jù)存儲方法及系統(tǒng)，能夠?qū)崿F(xiàn)數(shù)據(jù)的快 速、有效遷移。
[0010] 本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：
[0011] 本發(fā)明實施例提供了一種數(shù)據(jù)存儲方法，所述方法包括：
[0012] 獲取數(shù)據(jù)的特征信息；
[0013] 根據(jù)所述數(shù)據(jù)的特征信息確定所述數(shù)據(jù)的遷移率；
[0014] 根據(jù)所述遷移率確定是否遷移所述數(shù)據(jù)。
[0015] 上述方案中，所述特征信息，包括：最后查詢更新時間XI、使用頻次、分區(qū)存儲方 式X4、信息重要程度等級X5、使用效率等級X6、數(shù)據(jù)量X7、不使用時間X8、不使用周期X9、 數(shù)據(jù)遷移速率X10、遷移影響應(yīng)用程度等級XII、以及主信息關(guān)系；其中，使用頻次包括周使 用頻次X2和天使用頻次X3 ;主信息關(guān)系包括三個字段：類別字段X12、關(guān)聯(lián)字段X13、條件 字段X14。
[0016] 上述方案中，所述根據(jù)所述數(shù)據(jù)的特征信息確定所述數(shù)據(jù)的遷移率P，為：
[0017] P= (1-Yn*con_Y5*w5+Y6*w6+Y#coD*Fuse*m*Fstore+Rkey，
[0018] 其中，F(xiàn)_表示使用頻次影響系數(shù)；m表示時間可行性系數(shù)；Fst_表示分區(qū)存儲方 式影響系數(shù)；I^y表示關(guān)聯(lián)表影響系數(shù)；Yn為遷移影響應(yīng)用程度影響系數(shù)；Y5為信息重要程 度等級影響系數(shù)；Y6為使用效率等級影響系數(shù)為最后查詢時間影響系數(shù)，代表最后查詢 時間對數(shù)據(jù)遷移的影響程度；《n代表遷移影響應(yīng)用程度等級XII的權(quán)值；代表信息重 要程度等級X5的權(quán)值；代表使用效率等級X6的權(quán)值；《i代表最后查詢更新時間XI的 權(quán)值。
[0019] 上述方案中，所述Yi通過下式確定：
[0020]
[0021] 其中，c表示當前日期；
[0022] 所述Y5、Y6以及Yn通過下式確定：
[0023] Y5 =X5/N；
[0024] Y6 =X6/M；
[0025] Yn =Xll/I；
[0026] 其中，N為總信息重要程度等級，M為總使用效率等級，I為總遷移影響應(yīng)用程度等 級。
[0027] 上述方案中，所述使用頻次影響系數(shù)F_通過下式確定：
[0028]
[0029] 上述方案中，所述時間可行性系數(shù)m通過下式確定：
[0030]
[0031]其中，為遷移準備時間。
[0032] 上述方案中，所述分區(qū)存儲方式影響系數(shù)Fstora通過下式確定：
[0033]
[0034] 上述方案中，所述關(guān)聯(lián)表影響系數(shù)Rkey通過下式確定：
[0035]
[0036]上述方案中，所述 = 40%、w5 = 40%、w6 = 10%、= 10%。
[0037] 上述方案中，所述方法還包括：預(yù)先設(shè)置遷移率閾值；
[0038] 所述根據(jù)所述遷移率確定是否遷移所述數(shù)據(jù)，包括：當遷移率P>遷移率閾值時， 遷移所述數(shù)據(jù)；當遷移率〈=遷移率閾值時，不遷移所述數(shù)據(jù)。
[0039] 上述方案中，所述根據(jù)遷移率確定遷移所述數(shù)據(jù)時，該方法還包括：根據(jù)數(shù)據(jù)遷移 率確定數(shù)據(jù)預(yù)遷移到的目標存儲設(shè)備等級。
[0040] 上述方案中，所述根據(jù)數(shù)據(jù)遷移率確定數(shù)據(jù)預(yù)遷移到的目標存儲設(shè)備等級，包 括：
[0041] 確定數(shù)據(jù)當前存儲設(shè)備的等級N1 ;設(shè)數(shù)據(jù)預(yù)遷移到的目標存儲設(shè)備的等級為N2 ; 通過下式確定所述預(yù)遷移到的目標存儲設(shè)備等級N2:
[0042]
[0043] 其中，INTO表示取整函數(shù)，L表示目標存儲設(shè)備總等級數(shù)。
[0044] 本發(fā)明實施例還提供了一種數(shù)據(jù)存儲系統(tǒng)，所述系統(tǒng)包括：特征信息獲取模塊、遷 移率確定模塊以及遷移數(shù)據(jù)確定模塊；其中，
[0045] 所述特征信息獲取模塊，用于獲取數(shù)據(jù)的特征信息；所述遷移率確定模塊，用于根 據(jù)所述數(shù)據(jù)的特征信息確定數(shù)據(jù)的遷移率；所述遷移數(shù)據(jù)確定模塊，用于根據(jù)所述遷移率 確定是否遷移所述數(shù)據(jù)。
[0046] 上述方案中，所述特征信息，包括：最后查詢更新時間XI;使用頻次；分區(qū)存儲方 式X4 ;信息重要程度等級X5 ;使用效率等級X6 ;數(shù)據(jù)量X7 ;不使用時間X8 ;不使用周期X9 ; 數(shù)據(jù)遷移速率X10;遷移影響應(yīng)用程度等級XII;主信息關(guān)系；其中，使用頻次包括周使用頻 次X2和天使用頻次X3;主信息關(guān)系包括3個字段：類別字段X12、關(guān)聯(lián)字段X13、條件字段 X14。
[0047] 上述方案中，所述遷移率確定模塊根據(jù)所述數(shù)據(jù)的特征信息確定數(shù)據(jù)的遷移率P， 為：
[0048] P = (l-YnX on-Y5X w5+Y6X Og+YjX〇XFuseXmXFstore+Rkey,
[0049] 其中，F(xiàn)_表示使用頻次影響系數(shù)；m表示時間可行性系數(shù)；Fst_表示分區(qū)存儲方 式影響系數(shù)；I^y表示關(guān)聯(lián)表影響系數(shù)；《n代表遷移影響應(yīng)用程度等級XI1的權(quán)值；《5代 表信息重要程度等級X5的權(quán)值；《6代表使用效率等級X6的權(quán)值；《i代表最后查詢更新 時間XI的權(quán)值。
[0050] 上述方案中，所述系統(tǒng)還包括：設(shè)置模塊，用于預(yù)先設(shè)置遷移率閾值；
[0051] 所述遷移數(shù)據(jù)確定模塊根據(jù)所述遷移率確定是否遷移所述數(shù)據(jù)，包括：判斷遷移 率是否大于遷移率閾值，當遷移率P>遷移率閾值時，遷移所述數(shù)據(jù)；當遷移率〈=遷移率閾 值時，不遷移所述數(shù)據(jù)。
[0052] 上述方案中，所述系統(tǒng)進一步包括：遷移處理模塊；所述遷移處理模塊，用于確定 遷移所述數(shù)據(jù)時，根據(jù)數(shù)據(jù)遷移率確定數(shù)據(jù)預(yù)遷移到的目標存儲設(shè)備等級，并執(zhí)行遷移。
[0053] 上述方案中，所述遷移處理模塊根據(jù)數(shù)據(jù)遷移率確定數(shù)據(jù)預(yù)遷移到的目標存儲設(shè) 備等級，包括：確定數(shù)據(jù)當前存儲設(shè)備的等級N1 ;設(shè)數(shù)據(jù)預(yù)遷移到的目標存儲設(shè)備的等級 為N2 ;通過下式確定所述預(yù)遷移到的目標存儲設(shè)備等級N2 :
[0054]
[0055] 其中，INTO表示取整函數(shù)，L表示目標存儲設(shè)備總等級數(shù)。
[0056] 本發(fā)明實施例所提供的數(shù)據(jù)存儲方法及系統(tǒng)，獲取數(shù)據(jù)的特征信息；根據(jù)所述數(shù) 據(jù)的特征信息確定所述數(shù)據(jù)的遷移率；根據(jù)所述遷移率確定是否遷移所述數(shù)據(jù)。如此，不只 依據(jù)數(shù)據(jù)時間特性或重要性執(zhí)行數(shù)據(jù)遷移，而是依據(jù)數(shù)據(jù)特征信息確定數(shù)據(jù)遷移率后，根 據(jù)數(shù)據(jù)遷移率確定是否遷移數(shù)據(jù)；這樣，能大大提高數(shù)據(jù)遷移的準確性，后續(xù)執(zhí)行的數(shù)據(jù)遷 移處理更加有效，避免錯誤遷移帶來的種種風(fēng)險。
【具體實施方式】
[0057] 在本發(fā)明各種實施例中，獲取數(shù)據(jù)的特征信息；根據(jù)所述數(shù)據(jù)的特征信息確定所 述數(shù)據(jù)的遷移率；根據(jù)所述遷移率確定是否遷移所述數(shù)據(jù)。
[0058] 下面通過附圖及具體實施例對本發(fā)明做進一步的詳細說明。
[0059] 本發(fā)明實施例提供的數(shù)據(jù)