包括以下之一或者任意組合:內(nèi)存資源消耗情況、線程資源消耗情況、中央處理器CPU資源消耗情況、輸入輸出1資源消耗情況、網(wǎng)絡(luò)資源消耗情況。
[0074]所述數(shù)據(jù)更新服務(wù)器用于存儲(chǔ)增量數(shù)據(jù)，各數(shù)據(jù)存儲(chǔ)服務(wù)器用于存儲(chǔ)基準(zhǔn)數(shù)據(jù)，所述基準(zhǔn)數(shù)據(jù)為按照一定的規(guī)則劃分的不存在交叉的數(shù)據(jù)分片；
[0075]在所述數(shù)據(jù)更新服務(wù)器內(nèi)寫入的增量數(shù)據(jù)的數(shù)據(jù)量達(dá)到預(yù)設(shè)閾值時(shí)，需要將所述數(shù)據(jù)更新服務(wù)器內(nèi)的增量數(shù)據(jù)合并到所述多個(gè)數(shù)據(jù)存儲(chǔ)服務(wù)器。
[0076]其中，本申請(qǐng)裝置的各個(gè)模塊可以集成于一體，也可以分離部署。上述模塊可以合并為一個(gè)模塊，也可以進(jìn)一步拆分成多個(gè)子模塊。
[0077]通過以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到本申請(qǐng)可借助軟件加必需的通用硬件平臺(tái)的方式來實(shí)現(xiàn)，當(dāng)然也可以通過硬件，但很多情況下前者是更佳的實(shí)施方式?；谶@樣的理解，本申請(qǐng)的技術(shù)方案本質(zhì)上或者說對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本申請(qǐng)各個(gè)實(shí)施例所述的方法。本領(lǐng)域技術(shù)人員可以理解附圖只是一個(gè)優(yōu)選實(shí)施例的示意圖，附圖中的模塊或流程并不一定是實(shí)施本申請(qǐng)所必須的。本領(lǐng)域技術(shù)人員可以理解實(shí)施例中的裝置中的模塊可以按照實(shí)施例描述進(jìn)行分布于實(shí)施例的裝置中，也可以進(jìn)行相應(yīng)變化位于不同于本實(shí)施例的一個(gè)或多個(gè)裝置中。上述實(shí)施例的模塊可以合并為一個(gè)模塊，也可以進(jìn)一步拆分成多個(gè)子模塊。上述本申請(qǐng)實(shí)施例序號(hào)僅僅為了描述，不代表實(shí)施例的優(yōu)劣。以上公開的僅為本申請(qǐng)的幾個(gè)具體實(shí)施例，但是，本申請(qǐng)并非局限于此，任何本領(lǐng)域的技術(shù)人員能思之的變化都應(yīng)落入本申請(qǐng)的保護(hù)范圍。
【主權(quán)項(xiàng)】
1.一種數(shù)據(jù)合并方法，該方法應(yīng)用于包括數(shù)據(jù)平臺(tái)、數(shù)據(jù)更新服務(wù)器和多個(gè)數(shù)據(jù)存儲(chǔ)服務(wù)器的系統(tǒng)中，其特征在于，在需要將所述數(shù)據(jù)更新服務(wù)器內(nèi)的數(shù)據(jù)合并到所述多個(gè)數(shù)據(jù)存儲(chǔ)服務(wù)器時(shí)，所述方法包括以下步驟: 所述數(shù)據(jù)平臺(tái)確定當(dāng)前需要進(jìn)行數(shù)據(jù)合并的數(shù)據(jù)存儲(chǔ)服務(wù)器，并將所述數(shù)據(jù)存儲(chǔ)服務(wù)器的外部讀寫流量切換到其它數(shù)據(jù)存儲(chǔ)服務(wù)器； 在外部讀寫流量被切換到其它數(shù)據(jù)存儲(chǔ)服務(wù)器之后，所述數(shù)據(jù)平臺(tái)將所述數(shù)據(jù)更新服務(wù)器內(nèi)的數(shù)據(jù)合并到所述數(shù)據(jù)存儲(chǔ)服務(wù)器中； 在數(shù)據(jù)被合并到所述數(shù)據(jù)存儲(chǔ)服務(wù)器完成之后，所述數(shù)據(jù)平臺(tái)將所述數(shù)據(jù)存儲(chǔ)服務(wù)器的已經(jīng)切換到其它數(shù)據(jù)存儲(chǔ)服務(wù)器的外部讀寫流量恢復(fù)到所述數(shù)據(jù)存儲(chǔ)服務(wù)器。2.如權(quán)利要求1所述的方法，其特征在于，所述方法進(jìn)一步包括: 在確定當(dāng)前需要進(jìn)行數(shù)據(jù)合并的數(shù)據(jù)存儲(chǔ)服務(wù)器的過程中，所述數(shù)據(jù)平臺(tái)判斷當(dāng)前是否存在沒有合并數(shù)據(jù)更新服務(wù)器內(nèi)數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)服務(wù)器；如果存在，則所述數(shù)據(jù)平臺(tái)從沒有合并數(shù)據(jù)更新服務(wù)器內(nèi)數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)服務(wù)器中選擇一個(gè)當(dāng)前需要進(jìn)行數(shù)據(jù)合并的數(shù)據(jù)存儲(chǔ)服務(wù)器；如果不存在，則所述數(shù)據(jù)平臺(tái)從數(shù)據(jù)更新服務(wù)器內(nèi)刪除已經(jīng)合并到數(shù)據(jù)存儲(chǔ)服務(wù)器的數(shù)據(jù)。3.如權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)平臺(tái)將所述數(shù)據(jù)存儲(chǔ)服務(wù)器的外部讀寫流量切換到其它數(shù)據(jù)存儲(chǔ)服務(wù)器，具體包括: 所述數(shù)據(jù)平臺(tái)生成流量控制表，在所述流量控制表中，所述數(shù)據(jù)存儲(chǔ)服務(wù)器的流量比重為O ;以使所述客戶端從所述數(shù)據(jù)平臺(tái)讀取所述流量控制表，并在發(fā)送外部讀寫流量時(shí)，按照所述流量控制表中記錄的數(shù)據(jù)存儲(chǔ)服務(wù)器的流量比重向所述數(shù)據(jù)存儲(chǔ)服務(wù)器發(fā)送外部讀寫流量； 所述數(shù)據(jù)平臺(tái)將所述數(shù)據(jù)存儲(chǔ)服務(wù)器的已經(jīng)切換到其它數(shù)據(jù)存儲(chǔ)服務(wù)器的外部讀寫流量恢復(fù)到所述數(shù)據(jù)存儲(chǔ)服務(wù)器，具體包括:所述數(shù)據(jù)平臺(tái)生成流量控制表，在所述流量控制表中，所述數(shù)據(jù)存儲(chǔ)服務(wù)器的流量比重為特定比重?cái)?shù)值，所述特定比重?cái)?shù)值是未對(duì)所述數(shù)據(jù)存儲(chǔ)服務(wù)器進(jìn)行數(shù)據(jù)合并時(shí)，所述數(shù)據(jù)存儲(chǔ)服務(wù)器對(duì)應(yīng)的流量比重；以使所述客戶端從所述數(shù)據(jù)平臺(tái)讀取所述流量控制表，并在發(fā)送外部讀寫流量時(shí)，按照所述流量控制表中記錄的數(shù)據(jù)存儲(chǔ)服務(wù)器的流量比重向所述數(shù)據(jù)存儲(chǔ)服務(wù)器發(fā)送外部讀寫流量。4.如權(quán)利要求1所述的方法，其特征在于，所述方法進(jìn)一步包括: 在將所述數(shù)據(jù)更新服務(wù)器內(nèi)的數(shù)據(jù)合并到所述數(shù)據(jù)存儲(chǔ)服務(wù)器的過程中，如果有外部讀寫流量需要由所述數(shù)據(jù)存儲(chǔ)服務(wù)器進(jìn)行處理，則所述數(shù)據(jù)平臺(tái)監(jiān)測所述數(shù)據(jù)存儲(chǔ)服務(wù)器的資源消耗情況；如果所述資源消耗情況滿足預(yù)設(shè)策略，則所述數(shù)據(jù)平臺(tái)停止將所述數(shù)據(jù)更新服務(wù)器內(nèi)的數(shù)據(jù)合并到所述數(shù)據(jù)存儲(chǔ)服務(wù)器中；如果所述資源消耗情況不滿足預(yù)設(shè)策略，則所述數(shù)據(jù)平臺(tái)繼續(xù)將所述數(shù)據(jù)更新服務(wù)器內(nèi)的數(shù)據(jù)合并到所述數(shù)據(jù)存儲(chǔ)服務(wù)器中。5.如權(quán)利要求4所述的方法，其特征在于，所述資源消耗情況具體包括以下之一或者任意組合:內(nèi)存資源消耗情況、線程資源消耗情況、中央處理器CPU資源消耗情況、輸入輸出1資源消耗情況、網(wǎng)絡(luò)資源消耗情況。6.如權(quán)利要求1-5任一項(xiàng)所述的方法,其特征在于， 所述數(shù)據(jù)更新服務(wù)器用于存儲(chǔ)增量數(shù)據(jù)，各數(shù)據(jù)存儲(chǔ)服務(wù)器用于存儲(chǔ)基準(zhǔn)數(shù)據(jù)，所述基準(zhǔn)數(shù)據(jù)為按照一定的規(guī)則劃分的不存在交叉的數(shù)據(jù)分片； 在所述數(shù)據(jù)更新服務(wù)器內(nèi)寫入的增量數(shù)據(jù)的數(shù)據(jù)量達(dá)到預(yù)設(shè)閾值時(shí)，需要將所述數(shù)據(jù)更新服務(wù)器內(nèi)的增量數(shù)據(jù)合并到所述多個(gè)數(shù)據(jù)存儲(chǔ)服務(wù)器。7.一種數(shù)據(jù)平臺(tái)，應(yīng)用于包括所述數(shù)據(jù)平臺(tái)、數(shù)據(jù)更新服務(wù)器和多個(gè)數(shù)據(jù)存儲(chǔ)服務(wù)器的系統(tǒng)中，其特征在于，在需要將所述數(shù)據(jù)更新服務(wù)器內(nèi)的數(shù)據(jù)合并到所述多個(gè)數(shù)據(jù)存儲(chǔ)服務(wù)器時(shí)，所述數(shù)據(jù)平臺(tái)具體包括: 判定模塊，用于確定當(dāng)前需要進(jìn)行數(shù)據(jù)合并的數(shù)據(jù)存儲(chǔ)服務(wù)器； 切換模塊，用于將所述數(shù)據(jù)存儲(chǔ)服務(wù)器的外部讀寫流量切換到其它數(shù)據(jù)存儲(chǔ)服務(wù)器；以及，在數(shù)據(jù)被合并到所述數(shù)據(jù)存儲(chǔ)服務(wù)器完成之后，將所述數(shù)據(jù)存儲(chǔ)服務(wù)器的已經(jīng)切換到其它數(shù)據(jù)存儲(chǔ)服務(wù)器的外部讀寫流量恢復(fù)到所述數(shù)據(jù)存儲(chǔ)服務(wù)器； 合并模塊，用于在外部讀寫流量被切換到其它數(shù)據(jù)存儲(chǔ)服務(wù)器之后，將所述數(shù)據(jù)更新服務(wù)器內(nèi)的數(shù)據(jù)合并到所述數(shù)據(jù)存儲(chǔ)服務(wù)器中。8.如權(quán)利要求7所述的數(shù)據(jù)平臺(tái)，其特征在于， 所述判定模塊，進(jìn)一步用于在確定當(dāng)前需要進(jìn)行數(shù)據(jù)合并的數(shù)據(jù)存儲(chǔ)服務(wù)器的過程中，判斷當(dāng)前是否存在沒有合并數(shù)據(jù)更新服務(wù)器內(nèi)數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)服務(wù)器；如果存在，則從沒有合并數(shù)據(jù)更新服務(wù)器內(nèi)數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)服務(wù)器中選擇一個(gè)當(dāng)前需要進(jìn)行數(shù)據(jù)合并的數(shù)據(jù)存儲(chǔ)服務(wù)器；如果不存在，則從數(shù)據(jù)更新服務(wù)器內(nèi)刪除已經(jīng)合并到數(shù)據(jù)存儲(chǔ)服務(wù)器的數(shù)據(jù)。9.如權(quán)利要求7所述的數(shù)據(jù)平臺(tái)，其特征在于， 所述切換模塊，具體用于在將所述數(shù)據(jù)存儲(chǔ)服務(wù)器的外部讀寫流量切換到其它數(shù)據(jù)存儲(chǔ)服務(wù)器時(shí)，生成流量控制表，在所述流量控制表中，所述數(shù)據(jù)存儲(chǔ)服務(wù)器的流量比重為O ;以使所述客戶端從所述數(shù)據(jù)平臺(tái)讀取所述流量控制表，并在發(fā)送外部讀寫流量時(shí)，按照所述流量控制表中記錄的數(shù)據(jù)存儲(chǔ)服務(wù)器的流量比重向所述數(shù)據(jù)存儲(chǔ)服務(wù)器發(fā)送外部讀寫流量； 在將所述數(shù)據(jù)存儲(chǔ)服務(wù)器的已經(jīng)切換到其它數(shù)據(jù)存儲(chǔ)服務(wù)器的外部讀寫流量恢復(fù)到所述數(shù)據(jù)存儲(chǔ)服務(wù)器時(shí)，生成流量控制表，在所述流量控制表中，所述數(shù)據(jù)存儲(chǔ)服務(wù)器的流量比重為特定比重?cái)?shù)值，所述特定比重?cái)?shù)值是未對(duì)所述數(shù)據(jù)存儲(chǔ)服務(wù)器進(jìn)行數(shù)據(jù)合并時(shí)，所述數(shù)據(jù)存儲(chǔ)服務(wù)器對(duì)應(yīng)的流量比重；以使所述客戶端從所述數(shù)據(jù)平臺(tái)讀取所述流量控制表，并在發(fā)送外部讀寫流量時(shí)，按照所述流量控制表中記錄的數(shù)據(jù)存儲(chǔ)服務(wù)器的流量比重向所述數(shù)據(jù)存儲(chǔ)服務(wù)器發(fā)送外部讀寫流量。10.如權(quán)利要求7所述的數(shù)據(jù)平臺(tái)，其特征在于，還包括: 控制模塊，用于在將所述數(shù)據(jù)更新服務(wù)器內(nèi)的數(shù)據(jù)合并到所述數(shù)據(jù)存儲(chǔ)服務(wù)器的過程中，如果有外部讀寫流量需要由所述數(shù)據(jù)存儲(chǔ)服務(wù)器進(jìn)行處理，則監(jiān)測所述數(shù)據(jù)存儲(chǔ)服務(wù)器的資源消耗情況；如果所述資源消耗情況滿足預(yù)設(shè)策略，則停止將所述數(shù)據(jù)更新服務(wù)器內(nèi)的數(shù)據(jù)合并到所述數(shù)據(jù)存儲(chǔ)服務(wù)器中；如果所述資源消耗情況不滿足預(yù)設(shè)策略，則繼續(xù)將所述數(shù)據(jù)更新服務(wù)器內(nèi)的數(shù)據(jù)合并到所述數(shù)據(jù)存儲(chǔ)服務(wù)器中。11.如權(quán)利要求10所述的數(shù)據(jù)平臺(tái)，其特征在于，所述資源消耗情況包括以下之一或者任意組合:內(nèi)存資源消耗情況、線程資源消耗情況、中央處理器CPU資源消耗情況、輸入輸出1資源消耗情況、網(wǎng)絡(luò)資源消耗情況。12.如權(quán)利要求7-11任一項(xiàng)所述的數(shù)據(jù)平臺(tái)，其特征在于， 所述數(shù)據(jù)更新服務(wù)器用于存儲(chǔ)增量數(shù)據(jù)，各數(shù)據(jù)存儲(chǔ)服務(wù)器用于存儲(chǔ)基準(zhǔn)數(shù)據(jù)，所述基準(zhǔn)數(shù)據(jù)為按照一定的規(guī)則劃分的不存在交叉的數(shù)據(jù)分片； 在所述數(shù)據(jù)更新服務(wù)器內(nèi)寫入的增量數(shù)據(jù)的數(shù)據(jù)量達(dá)到預(yù)設(shè)閾值時(shí)，需要將所述數(shù)據(jù)更新服務(wù)器內(nèi)的增量數(shù)據(jù)合并到所述多個(gè)數(shù)據(jù)存儲(chǔ)服務(wù)器。
【專利摘要】本申請(qǐng)公開了一種數(shù)據(jù)合并方法和設(shè)備，該方法包括：數(shù)據(jù)平臺(tái)確定當(dāng)前需要進(jìn)行數(shù)據(jù)合并的數(shù)據(jù)存儲(chǔ)服務(wù)器，并將所述數(shù)據(jù)存儲(chǔ)服務(wù)器的外部讀寫流量切換到其它數(shù)據(jù)存儲(chǔ)服務(wù)器；在外部讀寫流量被切換到其它數(shù)據(jù)存儲(chǔ)服務(wù)器之后，數(shù)據(jù)平臺(tái)將所述數(shù)據(jù)更新服務(wù)器內(nèi)的數(shù)據(jù)合并到所述數(shù)據(jù)存儲(chǔ)服務(wù)器中；在數(shù)據(jù)被合并到所述數(shù)據(jù)存儲(chǔ)服務(wù)器完成之后，所述數(shù)據(jù)平臺(tái)將所述數(shù)據(jù)存儲(chǔ)服務(wù)器的已經(jīng)切換到其它數(shù)據(jù)存儲(chǔ)服務(wù)器的外部讀寫流量恢復(fù)到所述數(shù)據(jù)存儲(chǔ)服務(wù)器。之后，數(shù)據(jù)平臺(tái)確定下一個(gè)需要進(jìn)行數(shù)據(jù)合并的數(shù)據(jù)存儲(chǔ)服務(wù)器，以此類推，后續(xù)處理不再贅述。本申請(qǐng)實(shí)施例中，可以錯(cuò)峰進(jìn)行數(shù)據(jù)合并，能夠自主進(jìn)行流量切換，有效的控制合并操作對(duì)資源的消耗情況，有效的避免了對(duì)讀寫服務(wù)的影響，提高系統(tǒng)整體穩(wěn)定性。
【IPC分類】G06F3/06, H04L29/08, G06F17/30
【公開號(hào)】CN105446653
【申請(qǐng)?zhí)枴緾N201410429616
【發(fā)明人】陽振坤, 孫志東, 徐虎
【申請(qǐng)人】阿里巴巴集團(tuán)控股有限公司
【公開日】2016年3月30日
【申請(qǐng)日】2014年8月27日
【公告號(hào)】US20160065663