本發(fā)明實(shí)施例涉及一種數(shù)據(jù)遷移的優(yōu)化方法、評(píng)估方法及處理方法及裝置，屬于計(jì)算機(jī)技術(shù)領(lǐng)域。

背景技術(shù)：

現(xiàn)有技術(shù)的數(shù)據(jù)遷移方式是先將待遷移的項(xiàng)目單元的全部數(shù)據(jù)單元從源集群復(fù)制到目標(biāo)集群，在此期間與遷移數(shù)據(jù)相關(guān)的一切計(jì)算任務(wù)仍然運(yùn)行在源集群，直至完全復(fù)制完成后，再將計(jì)算任務(wù)從源集群切換到目標(biāo)集群。對(duì)于大規(guī)模的數(shù)據(jù)遷移(例如包含數(shù)據(jù)量比較大的項(xiàng)目單元)來(lái)說(shuō)，整個(gè)過(guò)程會(huì)耗時(shí)很長(zhǎng)。并且，現(xiàn)有數(shù)據(jù)在遷移執(zhí)行之前，并未進(jìn)行基于數(shù)據(jù)依賴關(guān)系的評(píng)估，即沒(méi)有考慮數(shù)據(jù)依賴關(guān)系在遷移后對(duì)于集群件帶寬的影響。

發(fā)明人的實(shí)現(xiàn)本發(fā)明的過(guò)程中，發(fā)現(xiàn)現(xiàn)有技術(shù)存在如下缺陷：

1)新數(shù)據(jù)產(chǎn)生所帶來(lái)的缺陷：一些大型業(yè)務(wù)的新數(shù)據(jù)產(chǎn)生非常頻繁，新數(shù)據(jù)的產(chǎn)生速度非?？欤F(xiàn)有技術(shù)是等待全部數(shù)據(jù)復(fù)制完后再進(jìn)行計(jì)算任務(wù)的切換，這樣會(huì)導(dǎo)致遷移的時(shí)間會(huì)非常長(zhǎng)，遷移效率極低，而在此期間，計(jì)算任務(wù)仍然運(yùn)行在源集群中，會(huì)持續(xù)產(chǎn)生新數(shù)據(jù)。如果新數(shù)據(jù)產(chǎn)生的速度大于遷移復(fù)制數(shù)據(jù)的速度(這種情況也是經(jīng)常發(fā)生)，在這種情況下，如果不停止業(yè)務(wù)產(chǎn)生新數(shù)據(jù)，那么遷移任務(wù)將永遠(yuǎn)不能結(jié)束。

2)缺少基于數(shù)據(jù)依賴關(guān)系的評(píng)估所帶來(lái)的缺陷：在數(shù)據(jù)遷移前缺少基于數(shù)據(jù)依賴關(guān)系的評(píng)估，往往是在遷移之后才發(fā)現(xiàn)重大問(wèn)題。由于數(shù)據(jù)單元之間存在復(fù)雜的依賴關(guān)系，遷移之后會(huì)導(dǎo)致集群間數(shù)據(jù)訪問(wèn)量發(fā)生變化。如果未做充分評(píng)估而貿(mào)然遷移，遷移后可能導(dǎo)致集群間的網(wǎng)絡(luò)帶寬惡化。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)遷移的優(yōu)化方法、評(píng)估方法及處理方法及裝置，以解決現(xiàn)有技術(shù)中新業(yè)務(wù)產(chǎn)生所帶來(lái)的缺陷以及缺少數(shù)據(jù)依賴關(guān)系的評(píng)估所帶來(lái)的缺陷。

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)遷移的優(yōu)化方法，包括：

按照將第一被依賴數(shù)據(jù)量較多的一個(gè)或多個(gè)待遷移數(shù)據(jù)單元作為待復(fù)制數(shù)據(jù)單元優(yōu)先復(fù)制到目標(biāo)集群，然后切換計(jì)算集群的原則，生成多個(gè)數(shù)據(jù)遷移方案，其中，所述第一被依賴數(shù)據(jù)量為所述待遷移數(shù)據(jù)單元的所有被依賴數(shù)據(jù)量；

針對(duì)所述各個(gè)數(shù)據(jù)遷移方案，計(jì)算切換計(jì)算集群后集群間的帶寬狀態(tài)數(shù)據(jù)；

根據(jù)所述帶寬狀態(tài)數(shù)據(jù)對(duì)各個(gè)所述數(shù)據(jù)遷移方案進(jìn)行優(yōu)化選擇。

本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)遷移的評(píng)估方法，包括：

獲取在切換計(jì)算集群前，源集群中要復(fù)制到目標(biāo)集群中的一個(gè)或多個(gè)待復(fù)制數(shù)據(jù)單元的第二被依賴數(shù)據(jù)量，所述第二被依賴數(shù)據(jù)量為所述待復(fù)制數(shù)據(jù)單元與所述目標(biāo)集群之外的其他數(shù)據(jù)單元之間的被依賴數(shù)據(jù)量；

計(jì)算切換計(jì)算集群后集群間的帶寬狀態(tài)數(shù)據(jù)；

根據(jù)所述帶寬狀態(tài)數(shù)據(jù)是否滿足預(yù)設(shè)帶寬可行性條件來(lái)確定數(shù)據(jù)遷移方案是否可行。

本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)遷移的處理方法，包括：

將第一被依賴數(shù)據(jù)量較多的一個(gè)或多個(gè)待遷移數(shù)據(jù)單元作為待復(fù)制數(shù)據(jù)單元優(yōu)先復(fù)制到目標(biāo)集群，其中，所述第一被依賴數(shù)據(jù)量為所述待遷移數(shù)據(jù)單元的所有被依賴數(shù)據(jù)量；

切換計(jì)算集群；

遷移剩余的一個(gè)或多個(gè)待遷移數(shù)據(jù)單元至目標(biāo)集群。

本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)遷移的優(yōu)化裝置，包括：

數(shù)據(jù)遷移方案生成模塊，用于按照將第一被依賴數(shù)據(jù)量較多的一個(gè) 或多個(gè)待遷移數(shù)據(jù)單元作為待復(fù)制數(shù)據(jù)單元優(yōu)先復(fù)制到目標(biāo)集群，然后切換計(jì)算集群的原則，生成多個(gè)數(shù)據(jù)遷移方案，并觸發(fā)帶寬狀態(tài)數(shù)據(jù)計(jì)算模塊對(duì)各個(gè)數(shù)據(jù)遷移方案進(jìn)行計(jì)算處理，其中，所述第一被依賴數(shù)據(jù)量為所述待遷移數(shù)據(jù)單元的所有被依賴數(shù)據(jù)量；

所述帶寬狀態(tài)數(shù)據(jù)計(jì)算模塊，用于計(jì)算切換計(jì)算集群后集群間的帶寬狀態(tài)數(shù)據(jù)；

優(yōu)化選擇模塊，用于根據(jù)所述帶寬狀態(tài)數(shù)據(jù)對(duì)各個(gè)所述數(shù)據(jù)遷移方案進(jìn)行優(yōu)化選擇。

本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)遷移的評(píng)估裝置，包括：

第四獲取模塊，用于獲取在切換計(jì)算集群前，源集群中要復(fù)制到目標(biāo)集群中的一個(gè)或多個(gè)待復(fù)制數(shù)據(jù)單元的第二被依賴數(shù)據(jù)量，所述第二被依賴數(shù)據(jù)量為所述待復(fù)制數(shù)據(jù)單元與所述目標(biāo)集群之外的其他數(shù)據(jù)單元之間的被依賴數(shù)據(jù)量；

帶寬狀態(tài)數(shù)據(jù)計(jì)算模塊，用于計(jì)算切換計(jì)算集群后集群間的帶寬狀態(tài)數(shù)據(jù)；

判定模塊，用于根據(jù)所述帶寬狀態(tài)數(shù)據(jù)是否滿足預(yù)設(shè)帶寬可行性條件來(lái)確定數(shù)據(jù)遷移方案是否可行。

本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)遷移的處理裝置，包括：

復(fù)制模塊，用于將第一被依賴數(shù)據(jù)量較多的一個(gè)或多個(gè)待遷移數(shù)據(jù)單元作為待復(fù)制數(shù)據(jù)單元優(yōu)先復(fù)制到目標(biāo)集群，其中，所述第一被依賴數(shù)據(jù)量為所述待遷移數(shù)據(jù)單元的所有被依賴數(shù)據(jù)量；

切換模塊，用于切換計(jì)算集群；

剩余數(shù)據(jù)遷移模塊，用于遷移剩余的一個(gè)或多個(gè)待遷移數(shù)據(jù)單元至目標(biāo)集群。

本發(fā)明實(shí)施例的數(shù)據(jù)遷移的優(yōu)化方法及裝置，通過(guò)按照優(yōu)先復(fù)制被依賴數(shù)據(jù)量較多的熱數(shù)據(jù)單元然后切換計(jì)算集群的原則生成多個(gè)遷移方案，并對(duì)各個(gè)方案進(jìn)行基于帶寬狀態(tài)數(shù)據(jù)的預(yù)測(cè)評(píng)估，然后再進(jìn)行優(yōu)化選擇，從而能夠獲得較為優(yōu)選的數(shù)據(jù)遷移方案，提高數(shù)據(jù)遷移的效率，降低數(shù)據(jù)遷移失敗的風(fēng)險(xiǎn)。

本發(fā)明實(shí)施例的數(shù)據(jù)遷移的評(píng)估方法及裝置，應(yīng)用于實(shí)際進(jìn)行數(shù)據(jù)遷移操作之前，基于對(duì)待復(fù)制數(shù)據(jù)單元的被依賴數(shù)據(jù)量對(duì)網(wǎng)路帶寬狀態(tài)進(jìn)行模擬評(píng)估，并根據(jù)帶寬狀態(tài)數(shù)據(jù)來(lái)最終確定是否可行，從而降低了數(shù)據(jù)遷移失敗的風(fēng)險(xiǎn)。

本發(fā)明實(shí)施例的數(shù)據(jù)遷移的處理方法及裝置，通過(guò)采用先復(fù)制被依賴數(shù)據(jù)量較多的熱數(shù)據(jù)單元然后進(jìn)行計(jì)算集群的切換，最后再遷移冷數(shù)據(jù)的方式，能夠盡早完成計(jì)算集群的切換，從而提高了數(shù)據(jù)遷移的效率，并且由于在計(jì)算集群切換后，產(chǎn)生的新數(shù)據(jù)會(huì)存放在目標(biāo)集群，因此，也解決了新數(shù)據(jù)持續(xù)產(chǎn)生所帶來(lái)了影響。

上述說(shuō)明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說(shuō)明書(shū)的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本發(fā)明的具體實(shí)施方式。

附圖說(shuō)明

圖1為發(fā)明實(shí)施例的用于說(shuō)明數(shù)據(jù)遷移原理的示意圖之一。

圖2為發(fā)明實(shí)施例的用于說(shuō)明數(shù)據(jù)遷移原理的示意圖之二。

圖3為本發(fā)明實(shí)施例一的數(shù)據(jù)遷移的優(yōu)化方法的流程示意圖之一。

圖4為本發(fā)明實(shí)施例一的數(shù)據(jù)遷移的優(yōu)化方法的流程示意圖之二。

圖5為本發(fā)明實(shí)施例一的帶寬監(jiān)控設(shè)備采集的當(dāng)前帶寬使用量的曲線示意圖。

圖6為疊加后的帶寬使用量的曲線示意圖。

圖7為根據(jù)各個(gè)數(shù)據(jù)遷移方案對(duì)應(yīng)的復(fù)制時(shí)間和帶寬打滿的概率生成的曲線示意圖。

圖8為本發(fā)明實(shí)施例二的數(shù)據(jù)遷移的評(píng)估方法的流程示意圖。

圖9為本發(fā)明實(shí)施例三的數(shù)據(jù)遷移的處理方法的流程示意圖。

圖10為本發(fā)明實(shí)施例四的數(shù)據(jù)遷移的優(yōu)化裝置的結(jié)構(gòu)示意圖。

圖11為本發(fā)明實(shí)施例五的數(shù)據(jù)遷移的評(píng)估裝置的結(jié)構(gòu)示意圖。

圖12為本發(fā)明實(shí)施例六的數(shù)據(jù)遷移的處理裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將參照附圖更詳細(xì)地描述本公開(kāi)的示例性實(shí)施例。雖然附圖中顯示了本公開(kāi)的示例性實(shí)施例，然而應(yīng)當(dāng)理解，可以以各種形式實(shí)現(xiàn)本公開(kāi)而不應(yīng)被這里闡述的實(shí)施例所限制。相反，提供這些實(shí)施例是為了能夠更透徹地理解本公開(kāi)，并且能夠?qū)⒈竟_(kāi)的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。

本發(fā)明實(shí)施例涉及的主要技術(shù)內(nèi)容為數(shù)據(jù)遷移，數(shù)據(jù)遷移是指將一個(gè)或多個(gè)項(xiàng)目單元從源集群遷移到目標(biāo)集群，其中，項(xiàng)目單元包含至少一個(gè)數(shù)據(jù)單元和至少一個(gè)計(jì)算任務(wù)，而數(shù)據(jù)單元可以是一張數(shù)據(jù)表也可以是多張數(shù)據(jù)表構(gòu)成的集合單元。從另一個(gè)角度來(lái)說(shuō)，數(shù)據(jù)遷移也可以認(rèn)為是將一個(gè)或多個(gè)數(shù)據(jù)單元以及與這些數(shù)據(jù)單元對(duì)應(yīng)的一個(gè)或多個(gè)計(jì)算任務(wù)遷移從源集群遷移至目標(biāo)集群。此外，集群可以認(rèn)為是一組協(xié)同工作的計(jì)算機(jī)組系統(tǒng)，對(duì)外提供統(tǒng)一的服務(wù)。

數(shù)據(jù)遷移需要完成如下兩部分工作：

1)數(shù)據(jù)單元的轉(zhuǎn)移：將源集群中各個(gè)項(xiàng)目單元中的數(shù)據(jù)單元轉(zhuǎn)移到目標(biāo)集群中。一般是采用復(fù)制的方式從源集群復(fù)制到的目標(biāo)集群，在此期間，計(jì)算任務(wù)仍然工作在源集群中。

2)計(jì)算集群切換：將各個(gè)項(xiàng)目單元的全部或部分計(jì)算任務(wù)從源集群切換到目標(biāo)集群(該過(guò)程不涉及數(shù)據(jù)傳輸)，切換后，整個(gè)計(jì)算任務(wù)將運(yùn)行在目標(biāo)集群中，產(chǎn)生的新數(shù)據(jù)也將存儲(chǔ)在目標(biāo)集群中。

數(shù)據(jù)遷移還會(huì)涉及到數(shù)據(jù)單元間的依賴關(guān)系，由于依賴關(guān)系的存在，在完成數(shù)據(jù)遷移后，會(huì)導(dǎo)致目標(biāo)集群與其他集群間的網(wǎng)絡(luò)帶寬受到影響。其中，網(wǎng)絡(luò)帶寬是指在單位時(shí)間內(nèi)從一端流到另一端的信息量，即數(shù)據(jù)傳輸率，是衡量網(wǎng)絡(luò)使用情況的一個(gè)重要指標(biāo)。

數(shù)據(jù)間的依賴關(guān)系是由計(jì)算任務(wù)的輸入輸出關(guān)系而產(chǎn)生的。例如，數(shù)據(jù)單元a是某個(gè)計(jì)算任務(wù)的輸入，而數(shù)據(jù)單元b是給計(jì)算任務(wù)的輸出，則定義為數(shù)據(jù)單元a被數(shù)據(jù)單元b所依賴，即依賴關(guān)系是有計(jì)算任務(wù)的 數(shù)據(jù)輸入輸出關(guān)系而確定的。對(duì)于數(shù)據(jù)單元a而言，被依賴關(guān)系主要是體現(xiàn)在計(jì)算任務(wù)為了輸出數(shù)據(jù)到數(shù)據(jù)單元b，而需要讀取數(shù)據(jù)單元a中的數(shù)據(jù)。

下面通過(guò)圖1和圖2來(lái)進(jìn)一步說(shuō)明一下，數(shù)據(jù)間的依賴關(guān)系對(duì)于數(shù)據(jù)遷移的影響。如下圖1和圖2所示，圖中的圓點(diǎn)代表項(xiàng)目單元中的各個(gè)數(shù)據(jù)單元，圖中的連線代表數(shù)據(jù)單元之間的依賴關(guān)系。

從圖中可以看出，項(xiàng)目單元b和項(xiàng)目單元c中的數(shù)據(jù)單元之間的依賴關(guān)系較多，而項(xiàng)目單元b與項(xiàng)目單元a中的數(shù)據(jù)單元之間的依賴關(guān)系較少。由此，項(xiàng)目單元b中的計(jì)算任務(wù)會(huì)較多地訪問(wèn)項(xiàng)目單元c中的數(shù)據(jù)單元，從而產(chǎn)生較多的數(shù)據(jù)訪問(wèn)量。在圖1中，由于項(xiàng)目單元b和項(xiàng)目單元c都處于同一集群中，因此，項(xiàng)目單元b與項(xiàng)目單元c之間的數(shù)據(jù)訪問(wèn)量不會(huì)占用集群間的帶寬。并且，在圖1和圖2中，項(xiàng)目單元b中，內(nèi)部的數(shù)據(jù)單元之間的依賴關(guān)系也不會(huì)對(duì)帶寬造成影響。

如果將項(xiàng)目單元b從集群2遷移到集群1中，則遷移后的結(jié)果如圖2所示，從圖中可以看出發(fā)生如下變化：項(xiàng)目單元b和項(xiàng)目單元c之間的數(shù)據(jù)訪問(wèn)量將占用集群1和集群2之間的帶寬，項(xiàng)目單元a與項(xiàng)目單元b之間的數(shù)據(jù)訪問(wèn)量將不再占用集群間帶寬。由于項(xiàng)目單元b與項(xiàng)目單元c之間的數(shù)據(jù)訪問(wèn)量明顯大于項(xiàng)目單元b與項(xiàng)目單元a之間的數(shù)據(jù)訪問(wèn)量，從而導(dǎo)致了集群1和集群2之間的數(shù)據(jù)訪問(wèn)量增加，較圖1中的情形占用了更多的帶寬。如果貿(mào)然將項(xiàng)目單元b從集群2遷移到集群1中，可能會(huì)導(dǎo)致集群1和集群2之間的帶寬被打滿，導(dǎo)致網(wǎng)絡(luò)環(huán)境惡化。

由此可見(jiàn)，由于依賴關(guān)系的存在，數(shù)據(jù)遷移會(huì)對(duì)集群間的網(wǎng)絡(luò)環(huán)境尤其是帶寬產(chǎn)生較大影響。

實(shí)施例一

如圖3所示，其為本發(fā)明實(shí)施例一的數(shù)據(jù)遷移的優(yōu)化方法的流程示意圖之一，該優(yōu)化方法包括如下步驟101至步驟103的處理。

步驟101：按照將第一被依賴數(shù)據(jù)量較多的一個(gè)或多個(gè)待遷移數(shù)據(jù)單 元作為待復(fù)制數(shù)據(jù)單元優(yōu)先復(fù)制到目標(biāo)集群，然后切換計(jì)算集群的原則，生成多個(gè)數(shù)據(jù)遷移方案。其中，第一被依賴數(shù)據(jù)量為所述待遷移數(shù)據(jù)單元的所有被依賴數(shù)據(jù)量。第一被依賴數(shù)據(jù)量可能包括同一個(gè)項(xiàng)目單元內(nèi)部的被依賴數(shù)據(jù)量，也可能包括了數(shù)據(jù)單元所在的項(xiàng)目單元之外的其他項(xiàng)目單元的被依賴數(shù)據(jù)量，實(shí)際上還會(huì)存在跨集群的被依賴數(shù)據(jù)量等。另外，這里所說(shuō)的切換計(jì)算集群是指將待遷移數(shù)據(jù)單元相關(guān)的計(jì)算任務(wù)切換到目標(biāo)集群的動(dòng)作，可以是將全部關(guān)聯(lián)的計(jì)算任務(wù)進(jìn)行切換的行為，也可以是切換一部分計(jì)算任務(wù)的行為。需要說(shuō)明的是，計(jì)算任務(wù)與數(shù)據(jù)單元之間僅僅是數(shù)據(jù)訪問(wèn)的關(guān)系，這種數(shù)據(jù)訪問(wèn)關(guān)系并一定要求計(jì)算任務(wù)與數(shù)據(jù)單元必然存在與同一個(gè)計(jì)算集群中。

在上述原則中，實(shí)際上將全部的待遷移數(shù)據(jù)單元?jiǎng)澐譃榱藘刹糠?，一部分?jǐn)?shù)據(jù)單元(可以視作熱數(shù)據(jù)單元)優(yōu)先復(fù)制，另一部分?jǐn)?shù)據(jù)單元(可以視作冷數(shù)據(jù)單元)待切換計(jì)算集群后，再逐步復(fù)制到目標(biāo)集群。冷數(shù)據(jù)的遷移可以不通過(guò)集中復(fù)制的方式來(lái)完成，因此，可以認(rèn)為很少占用集群件帶寬。例如，通過(guò)集群間的底層數(shù)據(jù)傳輸機(jī)制，或者可以在集群系統(tǒng)相對(duì)空閑時(shí)間段進(jìn)行復(fù)制等等。

這里的熱數(shù)據(jù)單元和冷數(shù)據(jù)單元完全是相對(duì)概念，可以人為設(shè)定標(biāo)準(zhǔn)。在該步驟中，也會(huì)存在一種特殊情況，就是待復(fù)制數(shù)據(jù)單元的數(shù)量等于待遷移數(shù)據(jù)單元的數(shù)量，即該數(shù)據(jù)遷移方案為全量遷移方案。

此外，在實(shí)際進(jìn)行選擇復(fù)制哪些數(shù)據(jù)單元時(shí)，還可以考慮數(shù)據(jù)單元的生命周期，生命周期是指數(shù)據(jù)單元的有效存在時(shí)間。例如，很多數(shù)據(jù)只是需要被暫時(shí)訪問(wèn)的，而過(guò)了預(yù)定時(shí)間后，就沒(méi)有存在的價(jià)值，可以被刪除。因此，在進(jìn)行復(fù)制的過(guò)程中，也可以對(duì)數(shù)據(jù)的生命周期進(jìn)行判斷，在要復(fù)制的數(shù)據(jù)單元列表中，提出掉那些已經(jīng)超過(guò)生命周期的，或者生命周期快要結(jié)束的數(shù)據(jù)單元，從而進(jìn)一步提高數(shù)據(jù)遷移的效率，避免復(fù)制無(wú)用的數(shù)據(jù)單元。

步驟102：針對(duì)各個(gè)數(shù)據(jù)遷移方案，計(jì)算切換計(jì)算集群后集群間的帶寬狀態(tài)數(shù)據(jù)。其中，切換計(jì)算集群后集群間的帶寬狀態(tài)數(shù)據(jù)至少包括兩部分因素的疊加：當(dāng)前的帶寬使用數(shù)據(jù)和被優(yōu)先遷移的數(shù)據(jù)單元而導(dǎo)致 的變動(dòng)的帶寬使用數(shù)據(jù)。具體地，如圖4所示，其為本發(fā)明實(shí)施例一的數(shù)據(jù)遷移的優(yōu)化方法的流程示意圖之二，在步驟103中，計(jì)算切換計(jì)算集群后集群間的帶寬狀態(tài)數(shù)據(jù)的處理可以進(jìn)一步包括：

步驟1021：獲取當(dāng)前的帶寬使用數(shù)據(jù)，這里所說(shuō)的當(dāng)前的帶寬使用數(shù)據(jù)是指未進(jìn)行計(jì)算集群切換前的帶寬使用數(shù)據(jù)。

步驟1022：根據(jù)一個(gè)或多個(gè)待復(fù)制數(shù)據(jù)單元的第二被依賴數(shù)據(jù)量，獲取在切換計(jì)算集群后而導(dǎo)致的變動(dòng)的帶寬使用數(shù)據(jù)。其中，第二被依賴數(shù)據(jù)量為一個(gè)或多個(gè)待復(fù)制數(shù)據(jù)單元與目標(biāo)集群之外的其他數(shù)據(jù)單元之間的被依賴數(shù)據(jù)量。這里的第二被依賴數(shù)據(jù)量是僅對(duì)集群間帶寬造成影響的被依賴數(shù)據(jù)量。

步驟1023：將當(dāng)前的帶寬使用數(shù)據(jù)與變動(dòng)的帶寬使用數(shù)據(jù)進(jìn)行疊加，基于疊加后的帶寬使用數(shù)據(jù)，生成帶寬狀態(tài)數(shù)據(jù)。

步驟103：根據(jù)帶寬狀態(tài)數(shù)據(jù)對(duì)各個(gè)數(shù)據(jù)遷移方案進(jìn)行優(yōu)化選擇。

上述的多個(gè)待遷移數(shù)據(jù)單元一般會(huì)屬于一個(gè)或多個(gè)待遷移項(xiàng)目單元，而如前所說(shuō)的，數(shù)據(jù)遷移一般是以項(xiàng)目單元為單位進(jìn)行遷移的。而上述的切換計(jì)算集群的操作具體為將一個(gè)或多個(gè)待遷移項(xiàng)目單元中的全部計(jì)算任務(wù)切換至目標(biāo)集群。

在上述數(shù)據(jù)遷移的優(yōu)化方法中，通過(guò)按照優(yōu)先復(fù)制被依賴數(shù)據(jù)量較多的熱數(shù)據(jù)單元然后切換計(jì)算集群的原則生成多個(gè)數(shù)據(jù)遷移方案，并對(duì)各個(gè)方案進(jìn)行基于帶寬狀態(tài)數(shù)據(jù)的預(yù)測(cè)評(píng)估，然后在進(jìn)行優(yōu)化選擇，從而能夠獲得較為優(yōu)選的數(shù)據(jù)遷移方案，提高數(shù)據(jù)遷移的效率，降低數(shù)據(jù)遷移失敗的風(fēng)險(xiǎn)。

此外，在上述的步驟101之前，還可以包括：

步驟100：對(duì)源集群中多個(gè)待遷移數(shù)據(jù)單元按照第一被依賴數(shù)據(jù)量的大小進(jìn)行排序。各個(gè)待遷移數(shù)據(jù)單元的第一被依賴數(shù)據(jù)量可以從各個(gè)待遷移數(shù)據(jù)單元對(duì)應(yīng)的歷史數(shù)據(jù)中獲取，在系統(tǒng)日志中，會(huì)存在數(shù)據(jù)的訪問(wèn)記錄信息，根據(jù)這些訪問(wèn)記錄信息即可獲取到上述的第一被依賴數(shù)據(jù)量。

例如，欲將項(xiàng)目單元1(下表中的p1)和項(xiàng)目單元2(下表中的p2) 從源集群遷移至目標(biāo)集群，獲取到了項(xiàng)目單元1和項(xiàng)目單元2中的各個(gè)數(shù)據(jù)表(t1至t8)的第一被依賴數(shù)據(jù)量和各個(gè)數(shù)據(jù)表自身的大小，并且按照第一被依賴數(shù)據(jù)量進(jìn)行了排序，如下表：

需要說(shuō)明的是，在上述流程中，在上述步驟101中生成多個(gè)遷移方案之后再執(zhí)行步驟102，但是本領(lǐng)域技術(shù)人員能夠理解，也可以在步驟102中產(chǎn)生一個(gè)數(shù)據(jù)遷移方案后，就執(zhí)行步驟102的計(jì)算帶寬狀態(tài)數(shù)據(jù)的操作，而無(wú)需等待多個(gè)數(shù)據(jù)遷移方案全部生成，或者也可以采用循環(huán)遍歷的方式，按照步驟101中的原則，根據(jù)步驟100中的待遷移數(shù)據(jù)單元的排序，以從一次性復(fù)制全部待遷移數(shù)據(jù)單元開(kāi)始逐個(gè)數(shù)據(jù)單元遞減直至僅復(fù)制第一被依賴數(shù)據(jù)量最多個(gè)的待遷移數(shù)據(jù)單元為止(也可以反向遞增)，生成多個(gè)數(shù)據(jù)遷移方案。

下面再對(duì)如何計(jì)算切換計(jì)算集群后集群間的帶寬狀態(tài)數(shù)據(jù)以及如何對(duì)方案進(jìn)行優(yōu)選評(píng)估這兩個(gè)方面進(jìn)行更加詳細(xì)的說(shuō)明。

(一)帶寬狀態(tài)數(shù)據(jù)的計(jì)算

在上述步驟中，帶寬使用數(shù)據(jù)可以為預(yù)定時(shí)間段內(nèi)的與時(shí)間點(diǎn)對(duì)應(yīng)的帶寬使用量的采樣數(shù)據(jù)，帶寬狀態(tài)數(shù)據(jù)可以為帶寬打滿的概率。

進(jìn)一步地，上述步驟1021可以具體包括：獲取當(dāng)前帶寬使用量，并對(duì)預(yù)定時(shí)間段內(nèi)的當(dāng)前帶寬使用量進(jìn)行采樣，生成第一采樣數(shù)據(jù)。當(dāng)前 帶寬使用量的獲取方式可以通過(guò)帶寬監(jiān)控設(shè)備進(jìn)行實(shí)時(shí)監(jiān)控記錄而獲得。如圖5所示，其為帶寬監(jiān)控設(shè)備采集的當(dāng)前帶寬使用量的曲線示意圖，橫軸為時(shí)間，單位為小時(shí)，縱軸為帶寬使用量，單位為tb(太字節(jié))。對(duì)該圖形進(jìn)行采樣即可獲得上述第一采樣數(shù)據(jù)，從圖上部的橫線為帶寬上限，帶寬使用量超過(guò)該上限值，認(rèn)為帶寬被打滿。

上述步驟1022可以具體包括：根據(jù)與第二依賴數(shù)據(jù)量相關(guān)的歷史數(shù)據(jù)，生成預(yù)定時(shí)間段內(nèi)的與時(shí)間點(diǎn)對(duì)應(yīng)的歷史帶寬使用量的第二采樣數(shù)據(jù)。數(shù)據(jù)單元的被訪問(wèn)的記錄都會(huì)記錄在歷史日志中，可以通過(guò)查詢歷史日志中的記錄，篩選出符合與第二依賴數(shù)據(jù)量相關(guān)的信息，然后進(jìn)行統(tǒng)計(jì)和采樣，生成上述第二采樣數(shù)據(jù)。

上述步驟1023可以具體包括：將第一采樣數(shù)據(jù)和第二采樣數(shù)據(jù)進(jìn)行疊加，基于疊加后的第三采樣數(shù)據(jù)計(jì)算帶寬打滿的概率。如圖6所示，其為疊加后的帶寬使用量的曲線示意圖，其中，可以看出存在部分時(shí)間段內(nèi)，帶寬使用量超過(guò)了帶寬上限，即出現(xiàn)了帶寬打滿的情況。

帶寬打滿的概率的計(jì)算公式可以具體為：p＝tm1/tm2……公式(1)

其中，p為帶寬打滿的概率，tm1為在第三采用數(shù)據(jù)中，帶寬超過(guò)帶寬上限的時(shí)長(zhǎng)，tm2為預(yù)定時(shí)間段的時(shí)長(zhǎng)。在實(shí)際應(yīng)用中，tm1和tm2可以以分鐘為單位進(jìn)行統(tǒng)計(jì)。

上述的步驟1021和步驟1022中的預(yù)定時(shí)間段可以是每天的一個(gè)固定時(shí)間段，例如，根據(jù)最近n天內(nèi)(例如使用30天)每天0點(diǎn)到9點(diǎn)的的歷史數(shù)據(jù)或者帶寬監(jiān)控?cái)?shù)據(jù)進(jìn)行統(tǒng)計(jì)和采樣，分別生成第一采樣數(shù)據(jù)和第二采樣數(shù)據(jù)，然后根據(jù)疊加后的第三采樣數(shù)據(jù)，計(jì)算該時(shí)間段內(nèi)的帶寬打滿的概率。

(二)如何對(duì)方案進(jìn)行優(yōu)選評(píng)估

如上面計(jì)算出帶寬狀態(tài)數(shù)據(jù)后，可以直接根據(jù)帶寬狀態(tài)數(shù)據(jù)的優(yōu)劣來(lái)進(jìn)行方案的篩選。例如，直接選擇對(duì)帶寬打滿的概率較低的方案。此外，在針對(duì)數(shù)據(jù)遷移方案預(yù)測(cè)出帶寬打滿率后，還可以根據(jù)預(yù)設(shè)的條件對(duì)打滿率進(jìn)行判斷，如果該帶寬打滿率過(guò)高，則認(rèn)為該數(shù)據(jù)遷移方案根本不可行，則直接放棄該數(shù)據(jù)遷移方案。例如，將帶寬打滿的概率閾值 設(shè)為95％，如果預(yù)測(cè)的帶寬打滿的概率超過(guò)95％，則直接放棄該數(shù)據(jù)遷移方案。

另外，在開(kāi)始上述數(shù)據(jù)遷移的優(yōu)化方法之前，可以先對(duì)全量遷移的方案進(jìn)行帶寬狀態(tài)數(shù)據(jù)的預(yù)測(cè)評(píng)估，即計(jì)算全量數(shù)據(jù)遷移的情況下的集群間的帶寬狀態(tài)數(shù)據(jù)，如果帶寬狀態(tài)數(shù)據(jù)不滿足預(yù)設(shè)的帶寬可行性條件(例如帶寬打滿概率過(guò)高)，則認(rèn)為全部的遷移方案均不可行(因?yàn)闊o(wú)論任何一種遷移方案，只是優(yōu)先復(fù)制的數(shù)據(jù)單元不同，而最終都會(huì)完成全量遷移)，因此，直接終止優(yōu)化方法的流程。

此外，在實(shí)際應(yīng)用中，會(huì)結(jié)合在進(jìn)行計(jì)算集群切換前，復(fù)制上述待復(fù)制的數(shù)據(jù)單元所耗費(fèi)的復(fù)制時(shí)間對(duì)方案進(jìn)行優(yōu)化選擇，即綜合考慮帶寬打滿的概率和復(fù)制時(shí)間來(lái)確定優(yōu)選方案。

復(fù)制時(shí)間可以根據(jù)給定復(fù)制傳輸帶寬的條件和待復(fù)制數(shù)據(jù)單元的自身數(shù)據(jù)量來(lái)計(jì)算。例如，會(huì)預(yù)先給定用于數(shù)據(jù)遷移的帶寬，然后根據(jù)復(fù)制單元的大小和給定的帶寬就可以計(jì)算出復(fù)制時(shí)間。如果以天數(shù)作為計(jì)算單位，則產(chǎn)生如下公式：

復(fù)制天數(shù)＝待復(fù)制的數(shù)據(jù)單元的數(shù)據(jù)量/預(yù)先給定用于數(shù)據(jù)遷移的帶寬/3600/24。由于帶寬一般是以“數(shù)據(jù)量/秒”為單位，因此，在該公式中除以3600得到所用的小時(shí)數(shù)，然后再除以24轉(zhuǎn)換為天數(shù)。

如圖7所示，其為根據(jù)各個(gè)數(shù)據(jù)遷移方案對(duì)應(yīng)的復(fù)制時(shí)間和帶寬打滿的概率生成的曲線示意圖。基于圖7的曲線，根據(jù)實(shí)際的需求來(lái)進(jìn)行綜合選擇。例如，綜合考慮復(fù)制時(shí)間和帶寬打滿的概率，認(rèn)為復(fù)制時(shí)間為d天時(shí)，帶寬打滿的概率為10％，相對(duì)較低，因此，該點(diǎn)對(duì)應(yīng)的數(shù)據(jù)遷移方案較為優(yōu)選。當(dāng)然，也可以以盡早完成計(jì)算集群的切換為首要條件進(jìn)行考慮的，則可能會(huì)選擇復(fù)制時(shí)間較短但是帶寬打滿的概率相對(duì)較高的數(shù)據(jù)遷移方案。

本實(shí)施例的數(shù)據(jù)遷移的優(yōu)化方法，能夠基于優(yōu)先復(fù)制熱數(shù)據(jù)然后進(jìn)行計(jì)算集群的切換的原則，生成多個(gè)數(shù)據(jù)遷移方案，然后基于帶寬打滿的概率和復(fù)制時(shí)間這兩個(gè)因素進(jìn)行綜合判斷，從而選擇出優(yōu)選的數(shù)據(jù)遷移方案，從而極大的提高了數(shù)據(jù)遷移的效率，并且降低了數(shù)據(jù)遷移失敗 的風(fēng)險(xiǎn)。

實(shí)施例二

本實(shí)施例涉及數(shù)據(jù)遷移的評(píng)估方法，該方法用于在實(shí)際進(jìn)行數(shù)據(jù)遷移操作之前，對(duì)數(shù)據(jù)遷移方案進(jìn)行模擬評(píng)估，以確定其可行性。如圖8所示，其為本發(fā)明實(shí)施例二的數(shù)據(jù)遷移的評(píng)估方法的流程示意圖，該評(píng)估方法包括：

步驟201：獲取在切換計(jì)算集群前，源集群中要復(fù)制到目標(biāo)集群中的一個(gè)或多個(gè)待復(fù)制數(shù)據(jù)單元的第二被依賴數(shù)據(jù)量，這里的第二被依賴數(shù)據(jù)量與上述實(shí)施例中的含義一致，即待復(fù)制數(shù)據(jù)單元與目標(biāo)集群之外的其他數(shù)據(jù)單元之間的被依賴數(shù)據(jù)量。在本步驟中，待復(fù)制數(shù)據(jù)單元可以是全部需要遷移的待遷移數(shù)據(jù)單元，也可以是部分需要遷移的待遷移數(shù)據(jù)單元，即本實(shí)施例的評(píng)估裝置可以針對(duì)全量遷移方案進(jìn)行評(píng)估，也可以針對(duì)先遷移部分熱數(shù)據(jù)，然后執(zhí)行計(jì)算集群切換后，再遷移冷數(shù)據(jù)的方案進(jìn)行評(píng)估。

步驟202：計(jì)算切換計(jì)算集群后集群間的帶寬狀態(tài)數(shù)據(jù)。其中，該步驟可以具體為上述實(shí)施例一中的步驟1021至步驟1023。進(jìn)一步地，帶寬使用數(shù)據(jù)可以為預(yù)定時(shí)間段內(nèi)的與時(shí)間點(diǎn)對(duì)應(yīng)的帶寬使用量的采樣數(shù)據(jù)，帶寬狀態(tài)數(shù)據(jù)可以包括帶寬打滿的概率。對(duì)于帶寬狀態(tài)數(shù)據(jù)的具體計(jì)算方法可以采用上述實(shí)施例一中第(一)點(diǎn)中所描述的具體方案，在此不再贅述。

步驟203：根據(jù)帶寬狀態(tài)數(shù)據(jù)是否滿足預(yù)設(shè)帶寬可行性條件來(lái)確定數(shù)據(jù)遷移方案是否可行。具體地，可以根據(jù)預(yù)設(shè)的帶寬打滿的概率閾值，對(duì)數(shù)據(jù)遷移方案的帶寬打滿的概率進(jìn)行判斷，如果超過(guò)概率閾值，則確定該數(shù)據(jù)遷移方案不可行，否則確定為可行。

本發(fā)明實(shí)施例的數(shù)據(jù)遷移的評(píng)估方法，應(yīng)用于實(shí)際進(jìn)行數(shù)據(jù)遷移操作之前，基于對(duì)待復(fù)制數(shù)據(jù)單元的被依賴數(shù)據(jù)量對(duì)網(wǎng)路帶寬狀態(tài)進(jìn)行了模擬評(píng)估，并根據(jù)帶寬狀態(tài)數(shù)據(jù)來(lái)最終確定是否可行，從而降低了數(shù)據(jù)遷移失敗的風(fēng)險(xiǎn)。

實(shí)施例三

本實(shí)施例涉及一種數(shù)據(jù)遷移的處理方法，如圖9所示，其為本發(fā)明實(shí)施例三的數(shù)據(jù)遷移的處理方法的流程示意圖，包括：

步驟301：將第一被依賴數(shù)據(jù)量較多的一個(gè)或多個(gè)待遷移數(shù)據(jù)單元作為待復(fù)制數(shù)據(jù)單元優(yōu)先復(fù)制到目標(biāo)集群，其中，第一被依賴數(shù)據(jù)量為所述待遷移數(shù)據(jù)單元的所有被依賴數(shù)據(jù)量。。

步驟302：切換計(jì)算集群。這里的切換計(jì)算集群可以具體為將一

個(gè)或多個(gè)待遷移項(xiàng)目單元中的全部計(jì)算任務(wù)切換至目標(biāo)集群。在切換完計(jì)算集群之后，計(jì)算任務(wù)產(chǎn)生的新數(shù)據(jù)會(huì)默認(rèn)存儲(chǔ)在目標(biāo)集群中。

步驟303：遷移剩余的一個(gè)或多個(gè)待遷移數(shù)據(jù)單元至目標(biāo)集群。

在上述的步驟301之前，還可以包括：步驟300：對(duì)源集群中多個(gè)待遷移數(shù)據(jù)單元按照第一被依賴數(shù)據(jù)量的大小進(jìn)行排序。其中，多個(gè)待遷移數(shù)據(jù)單元可以屬于一個(gè)或多個(gè)待遷移項(xiàng)目單元。具體地，在執(zhí)行步驟300之前，第一被依賴數(shù)據(jù)量可以根據(jù)待遷移數(shù)據(jù)單元的歷史數(shù)據(jù)進(jìn)行統(tǒng)計(jì)而獲得。

此外，在執(zhí)行本實(shí)施例的數(shù)據(jù)遷移的處理方法之前，可以應(yīng)用實(shí)施例二的評(píng)估方法，以確定遷移方案的可行性，也可以應(yīng)用實(shí)施例一的數(shù)據(jù)遷移的優(yōu)化方法，選擇較為合理的數(shù)據(jù)遷移方案來(lái)進(jìn)行數(shù)據(jù)遷移。

本發(fā)明實(shí)施例的數(shù)據(jù)遷移的處理方法，通過(guò)采用先復(fù)制被依賴數(shù)據(jù)量較多的熱數(shù)據(jù)單元然后進(jìn)行計(jì)算集群的切換，最后再遷移冷數(shù)據(jù)的方式，能夠盡早完成計(jì)算集群的切換，從而提高了數(shù)據(jù)遷移的效率，并且由于在計(jì)算集群切換后，產(chǎn)生的新數(shù)據(jù)會(huì)存放在目標(biāo)集群，因此，也解決了新數(shù)據(jù)持續(xù)產(chǎn)生所帶來(lái)了影響。

實(shí)施例四

如圖10所示，其為本發(fā)明實(shí)施例四的數(shù)據(jù)遷移的優(yōu)化裝置的結(jié)構(gòu)示意圖，該優(yōu)化裝置包括數(shù)據(jù)遷移方案生成模塊11、帶寬狀態(tài)數(shù)據(jù)計(jì)算模 塊12以及優(yōu)化選擇模塊13。

數(shù)據(jù)遷移方案生成模塊11，用于按照將第一被依賴數(shù)據(jù)量較多的一個(gè)或多個(gè)待遷移數(shù)據(jù)單元作為待復(fù)制數(shù)據(jù)單元優(yōu)先復(fù)制到目標(biāo)集群，然后切換計(jì)算集群的原則，生成多個(gè)數(shù)據(jù)遷移方案，并觸發(fā)帶寬狀態(tài)數(shù)據(jù)計(jì)算模塊對(duì)各個(gè)數(shù)據(jù)遷移方案進(jìn)行計(jì)算處理，其中，第一被依賴數(shù)據(jù)量為所述待遷移數(shù)據(jù)單元的所有被依賴數(shù)據(jù)量。

帶寬狀態(tài)數(shù)據(jù)計(jì)算模塊12，用于計(jì)算切換計(jì)算集群后集群間的帶寬狀態(tài)數(shù)據(jù)。

優(yōu)化選擇模塊13，用于根據(jù)帶寬狀態(tài)數(shù)據(jù)對(duì)各個(gè)數(shù)據(jù)遷移方案進(jìn)行優(yōu)化選擇。

其中，該優(yōu)化裝置還可以包括：排序模塊10，用于對(duì)源集群中多個(gè)待遷移數(shù)據(jù)單元按照第一被依賴數(shù)據(jù)量的大小進(jìn)行排序。其中，多個(gè)待遷移數(shù)據(jù)單元可以屬于一個(gè)或多個(gè)待遷移項(xiàng)目單元，相應(yīng)地，切換計(jì)算集群可以具體為將一個(gè)或多個(gè)待遷移項(xiàng)目單元中的全部計(jì)算任務(wù)切換至目標(biāo)集群。此外，本實(shí)施例的數(shù)據(jù)遷移的優(yōu)化裝置還可以包括：第三獲取模塊14，用于根據(jù)待遷移數(shù)據(jù)單元的歷史數(shù)據(jù)，獲取第一被依賴數(shù)據(jù)量。

上述帶寬狀態(tài)數(shù)據(jù)計(jì)算模塊12可以進(jìn)一步包括：

第一獲取模塊121，用于獲取當(dāng)前的帶寬使用數(shù)據(jù)，當(dāng)前的帶寬使用數(shù)據(jù)為未進(jìn)行計(jì)算集群切換前的帶寬使用數(shù)據(jù)。

第二獲取模塊122，根據(jù)一個(gè)或多個(gè)待復(fù)制數(shù)據(jù)單元的第二被依賴數(shù)據(jù)量，獲取在切換計(jì)算集群后而導(dǎo)致的變動(dòng)的帶寬使用數(shù)據(jù)，其中，第二被依賴數(shù)據(jù)量為一個(gè)或多個(gè)待復(fù)制數(shù)據(jù)單元與目標(biāo)集群之外的其他數(shù)據(jù)單元之間的被依賴數(shù)據(jù)量；

疊加模塊123，用于將當(dāng)前的帶寬使用數(shù)據(jù)與變動(dòng)的帶寬使用數(shù)據(jù)進(jìn)行疊加，生成疊加后的帶寬使用數(shù)據(jù)；

生成模塊124，用于基于疊加后的帶寬使用數(shù)據(jù)，生成帶寬狀態(tài)數(shù)據(jù)。

其中，上述的帶寬使用數(shù)據(jù)可以為預(yù)定時(shí)間段內(nèi)的與時(shí)間點(diǎn)對(duì)應(yīng)的帶寬使用量的采樣數(shù)據(jù)，帶寬狀態(tài)數(shù)據(jù)可以包括帶寬打滿的概率。

在上述第一獲取模塊121中，獲取當(dāng)前的帶寬使用數(shù)據(jù)可以包括：獲取當(dāng)前帶寬使用量，并對(duì)預(yù)定時(shí)間段內(nèi)的當(dāng)前帶寬使用量進(jìn)行采樣，生成第一采樣數(shù)據(jù)。

在上述第二獲取模塊122中，根據(jù)一個(gè)或多個(gè)待復(fù)制數(shù)據(jù)單元的第二被依賴數(shù)據(jù)量，獲取在切換計(jì)算集群后而導(dǎo)致的變動(dòng)的帶寬使用數(shù)據(jù)可以包括：根據(jù)待復(fù)制數(shù)據(jù)單元的歷史數(shù)據(jù)，生成預(yù)定時(shí)間段內(nèi)的與時(shí)間點(diǎn)對(duì)應(yīng)的歷史帶寬使用量的第二采樣數(shù)據(jù)。

在上述疊加模塊123中，將當(dāng)前的帶寬使用數(shù)據(jù)與變動(dòng)的帶寬使用數(shù)據(jù)進(jìn)行疊加，生成疊加后的帶寬使用數(shù)據(jù)可以包括：將第一采樣數(shù)據(jù)和第二采樣數(shù)據(jù)進(jìn)行疊加，生成疊加后的第三采樣數(shù)據(jù)。

在上述生成模塊124中，基于疊加后的帶寬使用數(shù)據(jù)，生成帶寬狀態(tài)數(shù)據(jù)可以包括：基于疊加后的第三采樣數(shù)據(jù)計(jì)算帶寬打滿的概率。其中，帶寬打滿的概率可以采用上述公式(1)計(jì)算。

此外，本實(shí)施例的數(shù)據(jù)遷移的優(yōu)化裝置還可以包括：

復(fù)制時(shí)間計(jì)算模塊15，用于根據(jù)一個(gè)或多個(gè)待復(fù)制數(shù)據(jù)單元的自身數(shù)據(jù)量計(jì)算在給定復(fù)制傳輸帶寬的條件下，復(fù)制一個(gè)或多個(gè)待復(fù)制數(shù)據(jù)單元的復(fù)制時(shí)間。相應(yīng)地，在優(yōu)化選擇模塊中，根據(jù)帶寬狀態(tài)數(shù)據(jù)對(duì)各個(gè)數(shù)據(jù)遷移方案進(jìn)行優(yōu)化選擇包括：根據(jù)帶寬狀態(tài)數(shù)據(jù)和復(fù)制時(shí)間綜合確定優(yōu)選的數(shù)據(jù)遷移方案。

進(jìn)一步地，本實(shí)施例的數(shù)據(jù)遷移的優(yōu)化裝置還可以包括：

數(shù)據(jù)遷移方案篩選模塊，用于根據(jù)預(yù)設(shè)的帶寬打滿的概率閾值，對(duì)數(shù)據(jù)遷移方案的帶寬打滿的概率進(jìn)行判斷，如果超過(guò)概率閾值，則剔除該數(shù)據(jù)遷移方案。

此外，本實(shí)施例的數(shù)據(jù)遷移的優(yōu)化裝置還可以包括：

全量遷移評(píng)估模塊，用于在進(jìn)行優(yōu)化處理前，計(jì)算全量數(shù)據(jù)遷移的情況下的集群間的帶寬狀態(tài)數(shù)據(jù)，如果帶寬狀態(tài)數(shù)據(jù)不滿足預(yù)設(shè)的帶寬可行性條件，則停止對(duì)數(shù)據(jù)遷移方案的優(yōu)化處理。

本發(fā)明實(shí)施例的數(shù)據(jù)遷移的優(yōu)化裝置，通過(guò)按照優(yōu)先復(fù)制被依賴數(shù)據(jù)量較多的熱數(shù)據(jù)單元然后切換計(jì)算集群的原則生成多個(gè)遷移方案，并 對(duì)各個(gè)方案進(jìn)行基于帶寬狀態(tài)數(shù)據(jù)的預(yù)測(cè)評(píng)估，然后在進(jìn)行優(yōu)化選擇，從而能夠獲得較為優(yōu)選的數(shù)據(jù)遷移方案，提高數(shù)據(jù)遷移的效率，降低數(shù)據(jù)遷移失敗的風(fēng)險(xiǎn)。

實(shí)施例五

如圖11所示，其為本發(fā)明實(shí)施例五的數(shù)據(jù)遷移的評(píng)估裝置的結(jié)構(gòu)示意圖，該評(píng)估裝置包括第四獲取模塊21、帶寬狀態(tài)數(shù)據(jù)計(jì)算模塊12以及判定模塊22。

其中，第四獲取模塊21，用于獲取在切換計(jì)算集群前，源集群中要復(fù)制到目標(biāo)集群中的一個(gè)或多個(gè)待復(fù)制數(shù)據(jù)單元的第二被依賴數(shù)據(jù)量。具體地，可以根據(jù)待復(fù)制數(shù)據(jù)單元的歷史數(shù)據(jù)，獲取第二被依賴數(shù)據(jù)量。其中，第二被依賴數(shù)據(jù)量為待復(fù)制數(shù)據(jù)單元與目標(biāo)集群之外的其他數(shù)據(jù)單元之間的被依賴數(shù)據(jù)量。待復(fù)制數(shù)據(jù)單元可以是全部需要遷移的待遷移數(shù)據(jù)單元，也可以是部分需要遷移的待遷移數(shù)據(jù)單元，即本實(shí)施例的評(píng)估裝置可以針對(duì)全量遷移方案進(jìn)行評(píng)估，也可以針對(duì)先遷移部分熱數(shù)據(jù)，然后執(zhí)行計(jì)算集群切換后，再遷移冷數(shù)據(jù)的方案進(jìn)行評(píng)估。

帶寬狀態(tài)數(shù)據(jù)計(jì)算模塊12，用于計(jì)算切換計(jì)算集群后集群間的帶寬狀態(tài)數(shù)據(jù)。

判定模塊22，用于根據(jù)帶寬狀態(tài)數(shù)據(jù)是否滿足預(yù)設(shè)帶寬可行性條件來(lái)確定數(shù)據(jù)遷移方案是否可行。

上述帶寬狀態(tài)數(shù)據(jù)計(jì)算模塊12可以進(jìn)一步包括：

第一獲取模塊121，用于獲取當(dāng)前的帶寬使用數(shù)據(jù)。

第二獲取模塊122，用于根據(jù)一個(gè)或多個(gè)待復(fù)制數(shù)據(jù)單元的第二被依賴數(shù)據(jù)量，獲取在切換計(jì)算集群后而導(dǎo)致的變動(dòng)的帶寬使用數(shù)據(jù)。

疊加模塊123，用于將當(dāng)前的帶寬使用數(shù)據(jù)與變動(dòng)的帶寬使用數(shù)據(jù)進(jìn)行疊加，生成疊加后的帶寬使用數(shù)據(jù)。

生成模塊124，用于基于疊加后的帶寬使用數(shù)據(jù)，生成帶寬狀態(tài)數(shù)據(jù)。

其中，上述的帶寬使用數(shù)據(jù)為預(yù)定時(shí)間段內(nèi)的與時(shí)間點(diǎn)對(duì)應(yīng)的帶寬使用量的采樣數(shù)據(jù)，帶寬狀態(tài)數(shù)據(jù)可以包括帶寬打滿的概率。

在上述第一獲取模塊121中，獲取當(dāng)前的帶寬使用數(shù)據(jù)可以包括：獲取當(dāng)前帶寬使用量，并對(duì)預(yù)定時(shí)間段內(nèi)的當(dāng)前帶寬使用量進(jìn)行采樣，生成第一采樣數(shù)據(jù)。

在上述第二獲取模塊122中，根據(jù)一個(gè)或多個(gè)待復(fù)制數(shù)據(jù)單元的第二被依賴數(shù)據(jù)量，獲取在切換計(jì)算集群后而導(dǎo)致的變動(dòng)的帶寬使用數(shù)據(jù)可以包括：根據(jù)待復(fù)制數(shù)據(jù)單元的歷史數(shù)據(jù)，生成預(yù)定時(shí)間段內(nèi)的與時(shí)間點(diǎn)對(duì)應(yīng)的歷史帶寬使用量的第二采樣數(shù)據(jù)。

在上述疊加模塊123中，將當(dāng)前的帶寬使用數(shù)據(jù)與變動(dòng)的帶寬使用數(shù)據(jù)進(jìn)行疊加，生成疊加后的帶寬使用數(shù)據(jù)可以包括：將第一采樣數(shù)據(jù)和第二采樣數(shù)據(jù)進(jìn)行疊加，生成疊加后的第三采樣數(shù)據(jù)。

在上述生成模塊124中，基于疊加后的帶寬使用數(shù)據(jù)，生成帶寬狀態(tài)數(shù)據(jù)可以包括：基于疊加后的第三采樣數(shù)據(jù)計(jì)算帶寬打滿的概率。其中，帶寬打滿的概率可以采用上述公式(1)計(jì)算。

進(jìn)一步地，在上述判定模塊22中，根據(jù)帶寬狀態(tài)數(shù)據(jù)是否滿足預(yù)設(shè)帶寬條件來(lái)確定數(shù)據(jù)遷移方案是否可行可以包括：根據(jù)預(yù)設(shè)的帶寬打滿的概率閾值，對(duì)數(shù)據(jù)遷移方案的帶寬打滿的概率進(jìn)行判斷，如果超過(guò)概率閾值，則確定該數(shù)據(jù)遷移方案不可行，否則確定為可行。

本發(fā)明實(shí)施例的數(shù)據(jù)遷移的評(píng)估裝置，可以應(yīng)用于實(shí)際進(jìn)行數(shù)據(jù)遷移操作之前，基于對(duì)待復(fù)制數(shù)據(jù)單元的被依賴數(shù)據(jù)量對(duì)網(wǎng)路帶寬狀態(tài)進(jìn)行了模擬評(píng)估，并根據(jù)帶寬狀態(tài)數(shù)據(jù)來(lái)最終確定是否可行，從而降低了數(shù)據(jù)遷移失敗的風(fēng)險(xiǎn)。

實(shí)施例六

如圖12所示，其為本發(fā)明實(shí)施例六的數(shù)據(jù)遷移的處理裝置的結(jié)構(gòu)示意圖，該處理裝置包括復(fù)制模塊31、切換模塊32以及剩余數(shù)據(jù)遷移模塊33。

復(fù)制模塊31，用于將第一被依賴數(shù)據(jù)量較多的一個(gè)或多個(gè)待遷移數(shù)據(jù)單元作為待復(fù)制數(shù)據(jù)單元優(yōu)先復(fù)制到目標(biāo)集群，其中，第一被依賴數(shù)據(jù)量為所述待遷移數(shù)據(jù)單元的所有被依賴數(shù)據(jù)量。

切換模塊32，用于切換計(jì)算集群。

剩余數(shù)據(jù)遷移模塊33，用于遷移剩余的一個(gè)或多個(gè)待遷移數(shù)據(jù)單元至目標(biāo)集群。

其中，本實(shí)施例的處理裝置還可以包括：排序模塊11，用于對(duì)源集群中多個(gè)待遷移數(shù)據(jù)單元按照第一被依賴數(shù)據(jù)量的大小進(jìn)行排序。其中，多個(gè)待遷移數(shù)據(jù)單元可以屬于一個(gè)或多個(gè)待遷移項(xiàng)目單元，相應(yīng)地，切換計(jì)算集群可以具體為將一個(gè)或多個(gè)待遷移項(xiàng)目單元中的全部計(jì)算任務(wù)切換至目標(biāo)集群。

進(jìn)一步地，該處理裝置還可以包括：第三獲取模塊14，用于根據(jù)待遷移數(shù)據(jù)單元的歷史數(shù)據(jù)，獲取第一被依賴數(shù)據(jù)量。

本發(fā)明實(shí)施例的數(shù)據(jù)遷移的處理裝置，通過(guò)采用先復(fù)制被依賴數(shù)據(jù)量較多的熱數(shù)據(jù)單元然后進(jìn)行計(jì)算集群的切換，最后再遷移冷數(shù)據(jù)的方式，能夠盡早完成計(jì)算集群的切換，從而提高了數(shù)據(jù)遷移的效率，并且由于在計(jì)算集群切換后，產(chǎn)生的新數(shù)據(jù)會(huì)存放在目標(biāo)集群，因此，也解決了新數(shù)據(jù)持續(xù)產(chǎn)生所帶來(lái)了影響。

本領(lǐng)域普通技術(shù)人員可以理解：實(shí)現(xiàn)上述各方法實(shí)施例的全部或部分步驟可以通過(guò)程序指令相關(guān)的硬件來(lái)完成。前述的程序可以存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。該程序在執(zhí)行時(shí)，執(zhí)行包括上述各方法實(shí)施例的步驟；而前述的存儲(chǔ)介質(zhì)包括：rom、ram、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。

最后應(yīng)說(shuō)明的是：以上各實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案，而非對(duì)其限制；盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分或者全部技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的范圍。