專利名稱：不中斷服務(wù)條件下,分布式數(shù)據(jù)庫(kù)迭代遷移的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及集群分布式計(jì)算領(lǐng)域。
背景技術(shù)：
在信息技術(shù)高速發(fā)展的今天，無(wú)論是互聯(lián)網(wǎng)還是企業(yè)內(nèi)部的數(shù)據(jù)量，都呈指數(shù)速度的發(fā)展和増加中。數(shù)據(jù)擴(kuò)容的問(wèn)題已顯得前所未有的重要。數(shù)據(jù)擴(kuò)容涉及到對(duì)現(xiàn)有數(shù)據(jù)的重新分配，從而需要對(duì)現(xiàn)有數(shù)據(jù)進(jìn)行大量的遷移，在生產(chǎn)環(huán)境下如何對(duì)數(shù)據(jù)進(jìn)行大量遷移而不影響到應(yīng)用服務(wù)的正常使用，是面臨的ー個(gè)重大課題。為了在生產(chǎn)環(huán)境下對(duì)分布式數(shù)據(jù)庫(kù)進(jìn)行遷移，發(fā)明了迭代遷移數(shù)據(jù)的方法，該方
法通過(guò)將需要進(jìn)行遷移的數(shù)據(jù)劃分成若干少量數(shù)據(jù)集進(jìn)行迭代遷移，除當(dāng)前正在遷移的這一少量數(shù)據(jù)外，其余數(shù)據(jù)可以進(jìn)行正常操作。同時(shí)通過(guò)關(guān)聯(lián)性分析，將相關(guān)的數(shù)據(jù)分布到同一個(gè)迭代過(guò)程中進(jìn)行遷移，從而保證數(shù)據(jù)的一致性和完整性。

發(fā)明內(nèi)容
本發(fā)明的目的是提供ー種在生產(chǎn)環(huán)境下不中斷應(yīng)用服務(wù)對(duì)分布式數(shù)據(jù)庫(kù)進(jìn)行擴(kuò)容和數(shù)據(jù)遷移的方法，通過(guò)將需遷移數(shù)據(jù)進(jìn)行劃分，將大量數(shù)據(jù)劃分成若干少量數(shù)據(jù)進(jìn)行迭代遷移，從而降低遷移過(guò)程對(duì)應(yīng)用服務(wù)的正常運(yùn)行所帯來(lái)的影響。同時(shí)通過(guò)理解關(guān)聯(lián)數(shù)據(jù)之間的關(guān)系，將相關(guān)數(shù)據(jù)劃分到同一迭代過(guò)程中來(lái)保證數(shù)據(jù)一致性和完整性。為達(dá)到上述目的，本發(fā)明設(shè)定了 ー種迭代遷移策略。I.計(jì)算遷移量，并進(jìn)行數(shù)據(jù)劃分，將需遷移的數(shù)據(jù)平均地分配到每ー個(gè)迭代過(guò)程中。2.對(duì)數(shù)據(jù)進(jìn)行關(guān)聯(lián)關(guān)系分析，保證相關(guān)數(shù)據(jù)被劃分到同一個(gè)迭代過(guò)程中。3.對(duì)每ー迭代過(guò)程進(jìn)行事務(wù)控制，保證數(shù)據(jù)一致性和完整性。4.在每ー迭代過(guò)程開(kāi)始時(shí)通知應(yīng)用，此部分?jǐn)?shù)據(jù)正在遷移，不能再對(duì)其進(jìn)行増、刪、改操作，在結(jié)束時(shí)通知應(yīng)用遷移已結(jié)束，可以對(duì)其進(jìn)行增、刪、改操作。


附圖為本發(fā)明的工作流程示意圖，在本示例中，將原有的2個(gè)存儲(chǔ)節(jié)點(diǎn)擴(kuò)容為4個(gè)存儲(chǔ)節(jié)點(diǎn)。通過(guò)迭代方法將原有的2個(gè)節(jié)點(diǎn)中的一部分?jǐn)?shù)據(jù)在不中斷服務(wù)的情況下遷移至新增的2個(gè)存儲(chǔ)節(jié)點(diǎn)中。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明所述的技術(shù)方案做進(jìn)ー步詳細(xì)描述。附圖展示了如何在生產(chǎn)環(huán)境下將2個(gè)存儲(chǔ)節(jié)點(diǎn)擴(kuò)容為4個(gè)節(jié)點(diǎn)的過(guò)程，以及如何與應(yīng)用程序交互的過(guò)程。迭代遷移的步驟如下
I)計(jì)算需要遷移的數(shù)據(jù)量，以及將要遷移至的目標(biāo)存儲(chǔ)節(jié)點(diǎn)。2)將數(shù)據(jù)劃分到若干小的迭代遷移任務(wù)，此過(guò)程包含數(shù)據(jù)相關(guān)性判斷，相關(guān)數(shù)據(jù)將被劃分到同一任務(wù)中。3)利用多線程同時(shí)啟動(dòng)多個(gè)迭代任務(wù)。4)每一任務(wù)開(kāi)始時(shí)將通知應(yīng)用程序此部分遷移開(kāi)始，同時(shí)鎖定數(shù)據(jù)。5)進(jìn)行數(shù)據(jù)遷移，每ー迭代任務(wù)在同一個(gè)事務(wù)中處理。6)每一任務(wù)遷移完成時(shí)通知應(yīng)用程序此部分遷移結(jié)束，同時(shí)解鎖數(shù)據(jù)。7)主線程詢問(wèn)是否還有迭代遷移任務(wù)，如還有，繼續(xù)遷移，否則退出，全部遷移完成。
權(quán)利要求
1.不中斷服務(wù)條件下，分布式數(shù)據(jù)庫(kù)迭代遷移的方法，其特征在于 1)在生產(chǎn)環(huán)境下不中斷應(yīng)用服務(wù)進(jìn)行分布式數(shù)據(jù)庫(kù)擴(kuò)容和數(shù)據(jù)遷移； 2)大量數(shù)據(jù)將被劃分為若干少量數(shù)據(jù)進(jìn)行迭代遷移； 3)相關(guān)數(shù)據(jù)將被劃分到同一迭代任務(wù)，保證數(shù)據(jù)一致性和完整性； 4)遷移過(guò)程與應(yīng)用交互保證應(yīng)用的暢通； 5)多個(gè)分布式數(shù)據(jù)分塊，并行遷移，同時(shí)保證業(yè)務(wù)應(yīng)用不受影響。
2.如權(quán)利I所述的分布式數(shù)據(jù)庫(kù)環(huán)境下不中斷應(yīng)用服務(wù)迭代遷移數(shù)據(jù)的方法，其特征在于在生產(chǎn)環(huán)境不中斷應(yīng)用服務(wù)的情況下，將部分?jǐn)?shù)據(jù)遷移至新的節(jié)點(diǎn)，以達(dá)到數(shù)據(jù)擴(kuò)容的通用方法。
3.如權(quán)利I所述的大量數(shù)據(jù)將被劃分為若干少量數(shù)據(jù)進(jìn)行迭代遷移，其特征在于僅僅正在遷移的少量數(shù)據(jù)會(huì)受影響，應(yīng)用程序不能對(duì)其進(jìn)行增、刪、改操作，其余數(shù)據(jù)將不受影響。
4.如權(quán)利I所述的相關(guān)數(shù)據(jù)將被劃分到同一迭代任務(wù)，保證數(shù)據(jù)一致性和完整性，其特征在于相關(guān)數(shù)據(jù)將在同一批任務(wù)中進(jìn)行遷移，數(shù)據(jù)一致性和完整性將得到保障。
5.如權(quán)利I所述的遷移過(guò)程與應(yīng)用交互保證應(yīng)用的暢通，其特征在于在每一迭代任務(wù)開(kāi)始遷移時(shí)和遷移結(jié)束后，應(yīng)用程序會(huì)得到及時(shí)的通知，以避免試圖操作正在遷移的數(shù)據(jù)而造成無(wú)謂的鎖等待，從而保證應(yīng)用程序的暢通。
6.如權(quán)利I所述的遷移過(guò)程，遷移過(guò)程保持高并發(fā)，分布式遷移，同時(shí)不影響應(yīng)用本身的使用。其特征在于多數(shù)據(jù)分布可以并行遷移同時(shí)互相不影響，與此同時(shí)，應(yīng)用本身的全部特征都不受影響，保持可用性。
全文摘要
本發(fā)明的目的是提供一種在生產(chǎn)環(huán)境下不中斷應(yīng)用服務(wù)對(duì)分布式數(shù)據(jù)庫(kù)進(jìn)行擴(kuò)容和數(shù)據(jù)遷移的方法，通過(guò)將需遷移數(shù)據(jù)進(jìn)行劃分，將大量數(shù)據(jù)劃分成若干少量數(shù)據(jù)集進(jìn)行迭代遷移，從而降低遷移過(guò)程對(duì)應(yīng)用服務(wù)的正常運(yùn)行所帶來(lái)的影響。同時(shí)通過(guò)理解關(guān)聯(lián)數(shù)據(jù)之間的關(guān)系，將相關(guān)數(shù)據(jù)劃分到同一迭代過(guò)程中來(lái)保證數(shù)據(jù)一致性和完整性。
文檔編號(hào)G06F17/30GK102855299SQ201210292179
公開(kāi)日2013年1月2日 申請(qǐng)日期2012年8月16日 優(yōu)先權(quán)日2012年8月16日
發(fā)明者不公告發(fā)明人 申請(qǐng)人:上海引跑信息科技有限公司