分布式計(jì)算系統(tǒng)和方法
【專利摘要】本申請(qǐng)公開了一種分布式計(jì)算系統(tǒng)和方法，其中該系統(tǒng)包括：多個(gè)集群，用于進(jìn)行分布式計(jì)算；全局元數(shù)據(jù)服務(wù)器，用于保存并管理多集群數(shù)據(jù)副本分布視圖和多集群拓?fù)浣Y(jié)構(gòu)視圖；跨集群數(shù)據(jù)復(fù)制服務(wù)器，用于根據(jù)復(fù)制指令將指定的數(shù)據(jù)復(fù)制到復(fù)制指令指定的集群；以及數(shù)據(jù)訪問分配服務(wù)器，用于根據(jù)集群的數(shù)據(jù)使用請(qǐng)求、多集群數(shù)據(jù)副本分布視圖和多集群拓?fù)浣Y(jié)構(gòu)視圖分配目標(biāo)數(shù)據(jù)的位置信息，并根據(jù)目標(biāo)數(shù)據(jù)的位置信息生成復(fù)制指令，以使跨集群數(shù)據(jù)復(fù)制服務(wù)器將目標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)副本復(fù)制到數(shù)據(jù)使用請(qǐng)求指定的集群。該系統(tǒng)可以使得在網(wǎng)絡(luò)條件受限的多集群環(huán)境中，業(yè)務(wù)數(shù)據(jù)副本多地動(dòng)態(tài)分布時(shí)，確保計(jì)算任務(wù)在有限等待時(shí)間范圍內(nèi)獲取到業(yè)務(wù)數(shù)據(jù)。
【專利說明】
分布式計(jì)算系統(tǒng)和方法
技術(shù)領(lǐng)域
[0001]本申請(qǐng)涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種分布式計(jì)算系統(tǒng)和方法。
【背景技術(shù)】
[0002]目前，當(dāng)前主流的數(shù)據(jù)業(yè)務(wù)公司的離線數(shù)據(jù)處理方法大多為運(yùn)行在集群上的分布式數(shù)據(jù)計(jì)算任務(wù)。隨著數(shù)據(jù)規(guī)模的不斷擴(kuò)大，多集群協(xié)同工作成為處理大規(guī)模離線數(shù)據(jù)的主流方式。在網(wǎng)絡(luò)帶寬有限的跨地域多集群協(xié)作的場(chǎng)景下，如何高效地在集群間訪問數(shù)據(jù)，成為一個(gè)重要的問題。
[0003]相關(guān)技術(shù)中，多集群數(shù)據(jù)訪問方法在計(jì)算任務(wù)需要跨集群訪問數(shù)據(jù)時(shí)，通常采用如下方式:通過集群間直連的網(wǎng)絡(luò)跨集群直讀數(shù)據(jù)。
[0004]但是，現(xiàn)有的通過元數(shù)據(jù)信息定位數(shù)據(jù)位置直接進(jìn)行訪問的方法在以下三個(gè)方面存在問題:(I)某份熱點(diǎn)數(shù)據(jù)在同一時(shí)間被大量計(jì)算任務(wù)跨集群、跨地域訪問時(shí)，網(wǎng)絡(luò)帶寬會(huì)成為瓶頸，導(dǎo)致訪問延時(shí)、通信質(zhì)量下降等問題，極端情況會(huì)導(dǎo)致網(wǎng)絡(luò)狀況雪崩；(2)對(duì)多集群的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)做出了限制，比如要求任意集群間必須連通，而跨地域時(shí)較難做到；
(3)對(duì)網(wǎng)絡(luò)穩(wěn)定性要求較高，比如任何時(shí)候網(wǎng)絡(luò)必須可用，而長(zhǎng)途鏈路很難做到。
[0005]因此，現(xiàn)有的通過元數(shù)據(jù)信息定位數(shù)據(jù)位置直接進(jìn)行訪問的方法無法適用于跨地域多集群的復(fù)雜網(wǎng)絡(luò)環(huán)境場(chǎng)景。

【發(fā)明內(nèi)容】

[0006]本申請(qǐng)的目的旨在至少在一定程度上解決上述的技術(shù)問題之一。
[0007]為此，本申請(qǐng)的第一個(gè)目的在于提出一種分布式計(jì)算系統(tǒng)。該系統(tǒng)可以使得在網(wǎng)絡(luò)條件受限的多集群環(huán)境中，業(yè)務(wù)數(shù)據(jù)副本多地動(dòng)態(tài)分布時(shí)，確保計(jì)算任務(wù)在有限等待時(shí)間范圍內(nèi)獲取到業(yè)務(wù)數(shù)據(jù)，提高了集群之間有限帶寬下訪問數(shù)據(jù)的效率。
[0008]本申請(qǐng)的第二個(gè)目的在于提出一種分布式計(jì)算方法。
[0009]為了實(shí)現(xiàn)上述目的，本申請(qǐng)第一方面實(shí)施例的分布式計(jì)算系統(tǒng)，包括:多個(gè)集群，用于進(jìn)行分布式計(jì)算；全局元數(shù)據(jù)服務(wù)器，用于保存并管理多集群數(shù)據(jù)副本分布視圖和多集群拓?fù)浣Y(jié)構(gòu)視圖；跨集群數(shù)據(jù)復(fù)制服務(wù)器，用于根據(jù)復(fù)制指令將指定的數(shù)據(jù)復(fù)制到所述復(fù)制指令指定的集群；以及數(shù)據(jù)訪問分配服務(wù)器，用于根據(jù)所述集群的數(shù)據(jù)使用請(qǐng)求、所述多集群數(shù)據(jù)副本分布視圖和多集群拓?fù)浣Y(jié)構(gòu)視圖分配目標(biāo)數(shù)據(jù)的位置信息，并根據(jù)所述目標(biāo)數(shù)據(jù)的位置信息生成所述復(fù)制指令，以使所述跨集群數(shù)據(jù)復(fù)制服務(wù)器將所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)副本復(fù)制到所述數(shù)據(jù)使用請(qǐng)求指定的集群。
[0010]本申請(qǐng)實(shí)施例的分布式計(jì)算系統(tǒng)，可以使得在網(wǎng)絡(luò)條件受限的多集群環(huán)境中，業(yè)務(wù)數(shù)據(jù)副本多地動(dòng)態(tài)分布時(shí)，確保計(jì)算任務(wù)在有限等待時(shí)間范圍內(nèi)獲取到業(yè)務(wù)數(shù)據(jù)，并通過引入全局?jǐn)?shù)據(jù)訪問分配服務(wù)器，將跨集群數(shù)據(jù)訪問請(qǐng)求從無序變?yōu)槭芸?，配合跨集群?shù)據(jù)復(fù)制服務(wù)器，能夠從全局平衡跨集群數(shù)據(jù)訪問的資源使用，以及通過引入跨集群數(shù)據(jù)復(fù)制服務(wù)器的進(jìn)度信息，同時(shí)在計(jì)算任務(wù)上提供等待的選項(xiàng)，避免了短時(shí)數(shù)據(jù)訪問洪峰，并通過有限的復(fù)制等待時(shí)間，將單點(diǎn)的數(shù)據(jù)訪問請(qǐng)求分散到了全局多點(diǎn)，提高了集群之間有限帶寬下訪問數(shù)據(jù)的效率。
[0011 ] 為了實(shí)現(xiàn)上述目的，本申請(qǐng)第二方面實(shí)施例的分布式計(jì)算方法，包括:多個(gè)集群進(jìn)行分布式計(jì)算；全局元數(shù)據(jù)服務(wù)器保存并管理多集群數(shù)據(jù)副本分布視圖和多集群拓?fù)浣Y(jié)構(gòu)視圖；跨集群數(shù)據(jù)復(fù)制服務(wù)器根據(jù)復(fù)制指令將指定的數(shù)據(jù)復(fù)制到所述復(fù)制指令指定的集群；數(shù)據(jù)訪問分配服務(wù)器根據(jù)所述集群的數(shù)據(jù)使用請(qǐng)求、所述多集群數(shù)據(jù)副本分布視圖和多集群拓?fù)浣Y(jié)構(gòu)視圖分配目標(biāo)數(shù)據(jù)的位置信息；以及所述數(shù)據(jù)訪問分配服務(wù)器根據(jù)所述目標(biāo)數(shù)據(jù)的位置信息生成所述復(fù)制指令，以使所述跨集群數(shù)據(jù)復(fù)制服務(wù)器將所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)副本復(fù)制到所述數(shù)據(jù)使用請(qǐng)求指定的集群
[0012]本申請(qǐng)實(shí)施例的分布式計(jì)算方法，可以使得在網(wǎng)絡(luò)條件受限的多集群環(huán)境中，業(yè)務(wù)數(shù)據(jù)副本多地動(dòng)態(tài)分布時(shí)，確保計(jì)算任務(wù)在有限等待時(shí)間范圍內(nèi)獲取到業(yè)務(wù)數(shù)據(jù)，并通過引入全局?jǐn)?shù)據(jù)訪問分配服務(wù)器，將跨集群數(shù)據(jù)訪問請(qǐng)求從無序變?yōu)槭芸兀浜峡缂簲?shù)據(jù)復(fù)制服務(wù)器，能夠從全局平衡跨集群數(shù)據(jù)訪問的資源使用，以及通過引入跨集群數(shù)據(jù)復(fù)制服務(wù)器的進(jìn)度信息，同時(shí)在計(jì)算任務(wù)上提供等待的選項(xiàng)，避免了短時(shí)數(shù)據(jù)訪問洪峰，并通過有限的復(fù)制等待時(shí)間，將單點(diǎn)的數(shù)據(jù)訪問請(qǐng)求分散到了全局多點(diǎn)，提高了集群之間有限帶寬下訪問數(shù)據(jù)的效率。
[0013]本申請(qǐng)附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本申請(qǐng)的實(shí)踐了解到。
【附圖說明】
[0014]本申請(qǐng)上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中，
[0015]圖1是是根據(jù)本申請(qǐng)一個(gè)實(shí)施例的分布式計(jì)算系統(tǒng)的結(jié)構(gòu)示意圖；以及
[0016]圖2是根據(jù)本申請(qǐng)一個(gè)實(shí)施例的分布式計(jì)算方法的流程圖。
【具體實(shí)施方式】
[0017]下面詳細(xì)描述本申請(qǐng)的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，旨在用于解釋本申請(qǐng)，而不能理解為對(duì)本申請(qǐng)的限制。
[0018]下面參考附圖描述本申請(qǐng)實(shí)施例的分布式計(jì)算系統(tǒng)和方法。
[0019]圖1是根據(jù)本申請(qǐng)一個(gè)實(shí)施例的分布式計(jì)算系統(tǒng)的結(jié)構(gòu)示意圖。如圖1所示，該分布式計(jì)算系統(tǒng)可以包括:多個(gè)集群10、全局元數(shù)據(jù)服務(wù)器20、跨集群數(shù)據(jù)復(fù)制服務(wù)器30和數(shù)據(jù)訪問分配服務(wù)器40。
[0020]具體地，多個(gè)集群10可用于進(jìn)行分布式計(jì)算。其中，在本申請(qǐng)的實(shí)施例中，集群10可理解為由一些互相連接在一起的計(jì)算機(jī)構(gòu)成的一個(gè)并行或分布式系統(tǒng)，從外部來看，集群10僅僅是一個(gè)系統(tǒng)，對(duì)外提供統(tǒng)一的服務(wù)。
[0021]全局元數(shù)據(jù)服務(wù)器20可用于保存并管理多集群數(shù)據(jù)副本分布視圖和多集群拓?fù)浣Y(jié)構(gòu)視圖。更具體地，全局元數(shù)據(jù)服務(wù)器20可保存全局可見的多集群數(shù)據(jù)副本分布視圖，提供增加、刪除、修改、查詢等接口供外部模塊調(diào)用，并可保存全局可見的多集群拓?fù)浣Y(jié)構(gòu)視圖，提供查詢、管理員修改等接口。其中，全局元數(shù)據(jù)服務(wù)器20的工作方式為請(qǐng)求/響應(yīng)模式。
[0022]跨集群數(shù)據(jù)復(fù)制服務(wù)器30可用于根據(jù)復(fù)制指令將指定的數(shù)據(jù)復(fù)制到復(fù)制指令指定的集群10。更具體地，跨集群數(shù)據(jù)復(fù)制服務(wù)器30可根據(jù)復(fù)制指令將指定的數(shù)據(jù)復(fù)制到指定集群10中，復(fù)制過程對(duì)外透明，并可提供增加接口、刪除接口、修改接口、復(fù)制請(qǐng)求接口和查詢接口供外部管理調(diào)用。也就是說，跨集群數(shù)據(jù)復(fù)制服務(wù)器30具有兩個(gè)工作流程:后臺(tái)數(shù)據(jù)復(fù)制流程和請(qǐng)求數(shù)據(jù)復(fù)制流程。
[0023]數(shù)據(jù)訪問分配服務(wù)器40可用于根據(jù)集群10的數(shù)據(jù)使用請(qǐng)求、多集群數(shù)據(jù)副本分布視圖和多集群拓?fù)浣Y(jié)構(gòu)視圖分配目標(biāo)數(shù)據(jù)的位置信息，并根據(jù)目標(biāo)數(shù)據(jù)的位置信息生成復(fù)制指令，以使跨集群數(shù)據(jù)復(fù)制服務(wù)器30將目標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)副本復(fù)制到數(shù)據(jù)使用請(qǐng)求指定的集群10。
[0024]更具體地，數(shù)據(jù)訪問分配服務(wù)器40可接收集群10的數(shù)據(jù)使用請(qǐng)求，并根據(jù)數(shù)據(jù)使用請(qǐng)求訪問全局元數(shù)據(jù)服務(wù)器20以獲取請(qǐng)求數(shù)據(jù)列表的全局分布信息、多集群拓?fù)浣Y(jié)構(gòu)視圖及相應(yīng)的帶寬描述信息，訪問跨集群數(shù)據(jù)復(fù)制服務(wù)器30以獲取數(shù)據(jù)副本產(chǎn)生的狀態(tài)和進(jìn)度，并通過綜合考慮上述這些信息為每個(gè)請(qǐng)求分配目標(biāo)數(shù)據(jù)的位置信息。
[0025]其中，在本申請(qǐng)的一個(gè)實(shí)施例中，在訪問跨集群數(shù)據(jù)復(fù)制服務(wù)器30以獲取數(shù)據(jù)副本產(chǎn)生的狀態(tài)和進(jìn)度的過程中，數(shù)據(jù)訪問分配服務(wù)器40可根據(jù)數(shù)據(jù)使用請(qǐng)求判斷目標(biāo)數(shù)據(jù)是否存在，如果目標(biāo)數(shù)據(jù)不存在則向集群10反饋目標(biāo)數(shù)據(jù)不存在信息。具體地，數(shù)據(jù)訪問分配服務(wù)器40在接收到數(shù)據(jù)使用請(qǐng)求之后，可根據(jù)數(shù)據(jù)使用請(qǐng)求訪問全局元數(shù)據(jù)服務(wù)器20以獲取數(shù)據(jù)分布，信息，并根據(jù)數(shù)據(jù)使用請(qǐng)求判斷目標(biāo)數(shù)據(jù)是否存在，如果否，則終止運(yùn)行，并向集群10反饋目標(biāo)數(shù)據(jù)不存在。
[0026]在本申請(qǐng)的實(shí)施例中，如果目標(biāo)數(shù)據(jù)存在，且集群10不能等待，則數(shù)據(jù)訪問分配服務(wù)器40可獲取目標(biāo)數(shù)據(jù)對(duì)應(yīng)的可用目標(biāo)數(shù)據(jù)副本，并根據(jù)可用目標(biāo)數(shù)據(jù)副本所在集群10與集群10之間的距離和帶寬確定最終的目標(biāo)數(shù)據(jù)副本，并發(fā)送至集群10 ;如果目標(biāo)數(shù)據(jù)存在，且集群10能等待，則數(shù)據(jù)訪問分配服務(wù)器40可進(jìn)一步判斷集群10所對(duì)應(yīng)計(jì)算任務(wù)所能直達(dá)的集群10中是否有對(duì)應(yīng)的可用目標(biāo)數(shù)據(jù)副本，如果沒有，則根據(jù)可用目標(biāo)數(shù)據(jù)副本所在集群10與集群10之間的距離和帶寬確定最終的目標(biāo)數(shù)據(jù)副本，并發(fā)送至集群10 ;如果有，則從計(jì)算任務(wù)所能直達(dá)的集群10中獲取目標(biāo)數(shù)據(jù)副本，并反饋至集群10。其中，在本申請(qǐng)的實(shí)施例中，計(jì)算任務(wù)可理解為處理數(shù)據(jù)的計(jì)算機(jī)程序，按照不同的計(jì)算模型(如Map/Reduce)讀取數(shù)據(jù)進(jìn)行處理，將結(jié)果寫入到存儲(chǔ)介質(zhì)中。
[0027]具體地，數(shù)據(jù)訪問分配服務(wù)器40在根據(jù)數(shù)據(jù)使用請(qǐng)求判斷目標(biāo)數(shù)據(jù)存在，且集群10不能等待(即計(jì)算任務(wù)需要馬上進(jìn)行數(shù)據(jù)訪問)時(shí)，可從當(dāng)前可用的數(shù)據(jù)副本中選擇一個(gè)距離和帶寬都合適的副本返回到集群10中，即可分析數(shù)據(jù)使用請(qǐng)求的數(shù)據(jù)副本分布元數(shù)據(jù)和集群10之間的網(wǎng)絡(luò)結(jié)構(gòu)，挑選網(wǎng)絡(luò)帶寬裕量較大和物理距離較近的數(shù)據(jù)副本作為最終的目標(biāo)數(shù)據(jù)副本并反饋到集群10。數(shù)據(jù)訪問分配服務(wù)器40在根據(jù)數(shù)據(jù)使用請(qǐng)求判斷目標(biāo)數(shù)據(jù)存在，且集群10能等待(即計(jì)算任務(wù)可以等待)時(shí)，可進(jìn)一步判斷集群10所對(duì)應(yīng)計(jì)算任務(wù)所能直達(dá)的集群10中是否有對(duì)應(yīng)的可用目標(biāo)數(shù)據(jù)副本，如果沒有，則可分析數(shù)據(jù)使用請(qǐng)求的數(shù)據(jù)副本分布元數(shù)據(jù)和集群10之間的網(wǎng)絡(luò)結(jié)構(gòu)，挑選網(wǎng)絡(luò)帶寬裕量較大和物理距離較近的數(shù)據(jù)副本作為最終的目標(biāo)數(shù)據(jù)副本并反饋到集群10 ;如果有，則從計(jì)算任務(wù)所能直達(dá)的集群10中獲取目標(biāo)數(shù)據(jù)副本，并反饋至集群10。其中，在本申請(qǐng)的實(shí)施例中，數(shù)據(jù)距離和帶寬的評(píng)估函數(shù)可根據(jù)業(yè)務(wù)場(chǎng)景定義。
[0028]具體而言，在本申請(qǐng)的實(shí)施例中，數(shù)據(jù)訪問分配服務(wù)器40從計(jì)算任務(wù)所能直達(dá)的集群中獲取目標(biāo)數(shù)據(jù)副本的具體實(shí)現(xiàn)過程可為:根據(jù)多集群拓?fù)浣Y(jié)構(gòu)視圖獲取集群10訪問計(jì)算任務(wù)所能直達(dá)的集群10中代價(jià)最小且具有目標(biāo)數(shù)據(jù)副本的集群10，并獲取目標(biāo)數(shù)據(jù)副本。
[0029]進(jìn)一步的，在本申請(qǐng)的實(shí)施例中，數(shù)據(jù)訪問分配服務(wù)器40在獲取目標(biāo)數(shù)據(jù)副本的同時(shí)，查詢跨集群數(shù)據(jù)復(fù)制服務(wù)器30以獲取目標(biāo)數(shù)據(jù)副本復(fù)制完成的時(shí)間估計(jì)，并反饋至集群10。具體地，數(shù)據(jù)訪問分配服務(wù)器40在根據(jù)多集群拓?fù)浣Y(jié)構(gòu)視圖挑選一個(gè)訪問代價(jià)最小的集群10中的目標(biāo)數(shù)據(jù)副本的同時(shí)，如果該目標(biāo)數(shù)據(jù)副本還在復(fù)制中，則查詢跨集群數(shù)據(jù)復(fù)制服務(wù)器30以獲取該目標(biāo)數(shù)據(jù)副本復(fù)制完成的時(shí)間估計(jì)，并將該時(shí)間估計(jì)反饋到集群10。
[0030]本申請(qǐng)實(shí)施例的分布式計(jì)算系統(tǒng)，可以使得在網(wǎng)絡(luò)條件受限的多集群環(huán)境中，業(yè)務(wù)數(shù)據(jù)副本多地動(dòng)態(tài)分布時(shí)，確保計(jì)算任務(wù)在有限等待時(shí)間范圍內(nèi)獲取到業(yè)務(wù)數(shù)據(jù)，并通過引入全局?jǐn)?shù)據(jù)訪問分配服務(wù)器，將跨集群數(shù)據(jù)訪問請(qǐng)求從無序變?yōu)槭芸?，配合跨集群?shù)據(jù)復(fù)制服務(wù)器，能夠從全局平衡跨集群數(shù)據(jù)訪問的資源使用，以及通過引入跨集群數(shù)據(jù)復(fù)制服務(wù)器的進(jìn)度信息，同時(shí)在計(jì)算任務(wù)上提供等待的選項(xiàng)，避免了短時(shí)數(shù)據(jù)訪問洪峰，并通過有限的復(fù)制等待時(shí)間，將單點(diǎn)的數(shù)據(jù)訪問請(qǐng)求分散到了全局多點(diǎn)，提高了集群之間有限帶寬下訪問數(shù)據(jù)的效率。
[0031 ] 為了實(shí)現(xiàn)上述實(shí)施例，本申請(qǐng)還提出了一種分布式計(jì)算方法。
[0032]圖2是根據(jù)本申請(qǐng)一個(gè)實(shí)施例的分布式計(jì)算方法的流程圖。如圖2所示，該分布式計(jì)算方法可以包括:
[0033]S201，多個(gè)集群進(jìn)行分布式計(jì)算。
[0034]其中，在本申請(qǐng)的實(shí)施例中，集群可理解為由一些互相連接在一起的計(jì)算機(jī)構(gòu)成的一個(gè)并行或分布式系統(tǒng)，從外部來看，集群僅僅是一個(gè)系統(tǒng)，對(duì)外提供統(tǒng)一的服務(wù)。
[0035]S202，全局元數(shù)據(jù)服務(wù)器保存并管理多集群數(shù)據(jù)副本分布視圖和多集群拓?fù)浣Y(jié)構(gòu)視圖。
[0036]具體地，全局元數(shù)據(jù)服務(wù)器可保存全局可見的多集群數(shù)據(jù)副本分布視圖，提供增加、刪除、修改、查詢等接口供外部模塊調(diào)用，并可保存全局可見的多集群拓?fù)浣Y(jié)構(gòu)視圖，提供查詢、管理員修改等接口。其中，全局元數(shù)據(jù)服務(wù)器的工作方式為請(qǐng)求/響應(yīng)模式。
[0037]S203，跨集群數(shù)據(jù)復(fù)制服務(wù)器根據(jù)復(fù)制指令將指定的數(shù)據(jù)復(fù)制到復(fù)制指令指定的集群。
[0038]具體地，跨集群數(shù)據(jù)復(fù)制服務(wù)器可根據(jù)復(fù)制指令將指定的數(shù)據(jù)復(fù)制到指定集群中，復(fù)制過程對(duì)外透明，并可提供增加接口、刪除接口、修改接口、復(fù)制請(qǐng)求接口和查詢接口供外部管理調(diào)用。也就是說，跨集群數(shù)據(jù)復(fù)制服務(wù)器具有兩個(gè)工作流程:后臺(tái)數(shù)據(jù)復(fù)制流程和請(qǐng)求數(shù)據(jù)復(fù)制流程。
[0039]S204，數(shù)據(jù)訪問分配服務(wù)器根據(jù)集群的數(shù)據(jù)使用請(qǐng)求、多集群數(shù)據(jù)副本分布視圖和多集群拓?fù)浣Y(jié)構(gòu)視圖分配目標(biāo)數(shù)據(jù)的位置信息。
[0040]具體地，數(shù)據(jù)訪問分配服務(wù)器可接收集群的數(shù)據(jù)使用請(qǐng)求，并根據(jù)數(shù)據(jù)使用請(qǐng)求訪問全局元數(shù)據(jù)服務(wù)器以獲取請(qǐng)求數(shù)據(jù)列表的全局分布信息、多集群拓?fù)浣Y(jié)構(gòu)視圖及相應(yīng)的帶寬描述信息，訪問跨集群數(shù)據(jù)復(fù)制服務(wù)器以獲取數(shù)據(jù)副本產(chǎn)生的狀態(tài)和進(jìn)度，并通過綜合考慮上述這些信息為每個(gè)請(qǐng)求分配目標(biāo)數(shù)據(jù)的位置信息。
[0041]S205，數(shù)據(jù)訪問分配服務(wù)器根據(jù)目標(biāo)數(shù)據(jù)的位置信息生成復(fù)制指令，以使跨集群數(shù)據(jù)復(fù)制服務(wù)器將目標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)副本復(fù)制到數(shù)據(jù)使用請(qǐng)求指定的集群。
[0042]其中，在本申請(qǐng)的一個(gè)實(shí)施例中，在數(shù)據(jù)訪問分配服務(wù)器訪問跨集群數(shù)據(jù)復(fù)制服務(wù)器以獲取數(shù)據(jù)副本產(chǎn)生的狀態(tài)和進(jìn)度的過程中，分布式計(jì)算方法還可包括:數(shù)據(jù)訪問分配服務(wù)器根據(jù)數(shù)據(jù)使用請(qǐng)求判斷目標(biāo)數(shù)據(jù)是否存在；如果目標(biāo)數(shù)據(jù)不存在，則數(shù)據(jù)訪問分配服務(wù)器向集群反饋目標(biāo)數(shù)據(jù)不存在信息。具體地，數(shù)據(jù)訪問分配服務(wù)器在接收到數(shù)據(jù)使用請(qǐng)求之后，可根據(jù)數(shù)據(jù)使用請(qǐng)求訪問全局元數(shù)據(jù)服務(wù)器以獲取數(shù)據(jù)分布，信息，并根據(jù)數(shù)據(jù)使用請(qǐng)求判斷目標(biāo)數(shù)據(jù)是否存在，如果否，則終止運(yùn)行，并向集群反饋目標(biāo)數(shù)據(jù)不存在。
[0043]在本申請(qǐng)的一個(gè)實(shí)施例中，分布式計(jì)算方法還可包括:如果目標(biāo)數(shù)據(jù)存在，且集群不能等待，則數(shù)據(jù)訪問分配服務(wù)器獲取目標(biāo)數(shù)據(jù)對(duì)應(yīng)的可用目標(biāo)數(shù)據(jù)副本，并根據(jù)可用目標(biāo)數(shù)據(jù)副本所在集群與集群之間的距離和帶寬確定最終的目標(biāo)數(shù)據(jù)副本，并發(fā)送至集群；如果目標(biāo)數(shù)據(jù)存在，且集群能等待，則數(shù)據(jù)訪問分配服務(wù)器進(jìn)一步判斷集群所對(duì)應(yīng)計(jì)算任務(wù)所能直達(dá)的集群中是否有對(duì)應(yīng)的可用目標(biāo)數(shù)據(jù)副本；如果沒有，則數(shù)據(jù)訪問分配服務(wù)器根據(jù)可用目標(biāo)數(shù)據(jù)副本所在集群與集群之間的距離和帶寬確定最終的目標(biāo)數(shù)據(jù)副本，并發(fā)送至集群；如果有，則數(shù)據(jù)訪問分配服務(wù)器從計(jì)算任務(wù)所能直達(dá)的集群中獲取目標(biāo)數(shù)據(jù)副本，并反饋至集群。其中，在本申請(qǐng)的實(shí)施例中，計(jì)算任務(wù)可理解為處理數(shù)據(jù)的計(jì)算機(jī)程序，按照不同的計(jì)算模型(如Map/Reduce)讀取數(shù)據(jù)進(jìn)行處理，將結(jié)果寫入到存儲(chǔ)介質(zhì)中。
[0044]具體地，數(shù)據(jù)訪問分配服務(wù)器在根據(jù)數(shù)據(jù)使用請(qǐng)求判斷目標(biāo)數(shù)據(jù)存在，且集群不能等待(即計(jì)算任務(wù)需要馬上進(jìn)行數(shù)據(jù)訪問)時(shí)，可從當(dāng)前可用的數(shù)據(jù)副本中選擇一個(gè)距離和帶寬都合適的副本返回到集群中，即可分析數(shù)據(jù)使用請(qǐng)求的數(shù)據(jù)副本分布元數(shù)據(jù)和集群之間的網(wǎng)絡(luò)結(jié)構(gòu)，挑選網(wǎng)絡(luò)帶寬裕量較大和物理距離較近的數(shù)據(jù)副本作為最終的目標(biāo)數(shù)據(jù)副本并反饋到集群。數(shù)據(jù)訪問分配服務(wù)器在根據(jù)數(shù)據(jù)使用請(qǐng)求判斷目標(biāo)數(shù)據(jù)存在，且集群能等待(即計(jì)算任務(wù)可以等待)時(shí)，可進(jìn)一步判斷集群所對(duì)應(yīng)計(jì)算任務(wù)所能直達(dá)的集群中是否有對(duì)應(yīng)的可用目標(biāo)數(shù)據(jù)副本，如果沒有，則可分析數(shù)據(jù)使用請(qǐng)求的數(shù)據(jù)副本分布元數(shù)據(jù)和集群之間的網(wǎng)絡(luò)結(jié)構(gòu)，挑選網(wǎng)絡(luò)帶寬裕量較大和物理距離較近的數(shù)據(jù)副本作為最終的目標(biāo)數(shù)據(jù)副本并反饋到集群；如果有，則從計(jì)算任務(wù)所能直達(dá)的集群中獲取目標(biāo)數(shù)據(jù)副本，并反饋至集群。其中，在本申請(qǐng)的實(shí)施例中，數(shù)據(jù)距離和帶寬的評(píng)估函數(shù)可根據(jù)業(yè)務(wù)場(chǎng)景定義。
[0045]具體而言，在本申請(qǐng)的實(shí)施例中，從計(jì)算任務(wù)所能直達(dá)的集群中獲取目標(biāo)數(shù)據(jù)副本的具體實(shí)現(xiàn)過程可為:根據(jù)多集群拓?fù)浣Y(jié)構(gòu)視圖獲取集群訪問計(jì)算任務(wù)所能直達(dá)的集群中代價(jià)最小且具有目標(biāo)數(shù)據(jù)副本的集群，并獲取目標(biāo)數(shù)據(jù)副本。
[0046]進(jìn)一步的，在本申請(qǐng)的實(shí)施例中，數(shù)據(jù)訪問分配服務(wù)器在獲取目標(biāo)數(shù)據(jù)副本的同時(shí)，還包括:查詢跨集群數(shù)據(jù)復(fù)制服務(wù)器以獲取目標(biāo)數(shù)據(jù)副本復(fù)制完成的時(shí)間估計(jì)，并反饋至集群。具體地，數(shù)據(jù)訪問分配服務(wù)器在根據(jù)多集群拓?fù)浣Y(jié)構(gòu)視圖挑選一個(gè)訪問代價(jià)最小的集群中的目標(biāo)數(shù)據(jù)副本的同時(shí)，如果該目標(biāo)數(shù)據(jù)副本還在復(fù)制中，則查詢跨集群數(shù)據(jù)復(fù)制服務(wù)器以獲取該目標(biāo)數(shù)據(jù)副本復(fù)制完成的時(shí)間估計(jì)，并將該時(shí)間估計(jì)反饋到集群。由此，通過引入跨集群數(shù)據(jù)復(fù)制服務(wù)器的進(jìn)度信息，同時(shí)在計(jì)算任務(wù)上提供等待的選項(xiàng)，避免了短時(shí)數(shù)據(jù)訪問洪峰，并通過有限的復(fù)制等待時(shí)間，將單點(diǎn)的數(shù)據(jù)訪問請(qǐng)求分散到了全局多點(diǎn)。
[0047]本申請(qǐng)實(shí)施例的分布式計(jì)算方法，可以使得在網(wǎng)絡(luò)條件受限的多集群環(huán)境中，業(yè)務(wù)數(shù)據(jù)副本多地動(dòng)態(tài)分布時(shí)，確保計(jì)算任務(wù)在有限等待時(shí)間范圍內(nèi)獲取到業(yè)務(wù)數(shù)據(jù)，并通過引入全局?jǐn)?shù)據(jù)訪問分配服務(wù)器，將跨集群數(shù)據(jù)訪問請(qǐng)求從無序變?yōu)槭芸?，配合跨集群?shù)據(jù)復(fù)制服務(wù)器，能夠從全局平衡跨集群數(shù)據(jù)訪問的資源使用，以及通過引入跨集群數(shù)據(jù)復(fù)制服務(wù)器的進(jìn)度信息，同時(shí)在計(jì)算任務(wù)上提供等待的選項(xiàng)，避免了短時(shí)數(shù)據(jù)訪問洪峰，并通過有限的復(fù)制等待時(shí)間，將單點(diǎn)的數(shù)據(jù)訪問請(qǐng)求分散到了全局多點(diǎn)，提高了集群之間有限帶寬下訪問數(shù)據(jù)的效率。
[0048]與相關(guān)技術(shù)相比，本申請(qǐng)實(shí)施例的分布式計(jì)算方法適用于針對(duì)多集群環(huán)境下，計(jì)算任務(wù)大規(guī)?？缂涸L問數(shù)據(jù)的場(chǎng)景，主要通過引入跨集群數(shù)據(jù)復(fù)制服務(wù)器的進(jìn)度信息，同時(shí)在計(jì)算任務(wù)上提供等待的選項(xiàng)，避免了短時(shí)數(shù)據(jù)訪問洪峰，從而避免了某份熱點(diǎn)數(shù)據(jù)在同一時(shí)間被大量計(jì)算任務(wù)跨集群、跨地域訪問時(shí)，網(wǎng)絡(luò)帶寬會(huì)成為瓶頸，導(dǎo)致訪問延時(shí)、通信質(zhì)量下降等問題的發(fā)生，并在獲取業(yè)務(wù)數(shù)據(jù)副本時(shí)無需對(duì)多集群的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)做限制，以及根據(jù)多集群網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)挑選一個(gè)訪問代價(jià)最小的集群的數(shù)據(jù)副本作為最終的目標(biāo)數(shù)據(jù)副本，可以看出，在整個(gè)過程中對(duì)網(wǎng)絡(luò)穩(wěn)定性要求不高。
[0049]在本說明書的描述中，參考術(shù)語“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本申請(qǐng)的至少一個(gè)實(shí)施例或示例中。在本說明書中，對(duì)上述術(shù)語的示意性表述不必須針對(duì)的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。此外，在不相互矛盾的情況下，本領(lǐng)域的技術(shù)人員可以將本說明書中描述的不同實(shí)施例或示例以及不同實(shí)施例或示例的特征進(jìn)行結(jié)合和組合。
[0050]此外，術(shù)語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對(duì)重要性或者隱含指明所指示的技術(shù)特征的數(shù)量。由此，限定有“第一”、“第二”的特征可以明示或者隱含地包括至少一個(gè)該特征。在本申請(qǐng)的描述中，“多個(gè)”的含義是至少兩個(gè)，例如兩個(gè)，三個(gè)等，除非另有明確具體的限定。
[0051]流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個(gè)或更多個(gè)用于實(shí)現(xiàn)特定邏輯功能或過程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分，并且本申請(qǐng)的優(yōu)選實(shí)施方式的范圍包括另外的實(shí)現(xiàn)，其中可以不按所示出或討論的順序，包括根據(jù)所涉及的功能按基本同時(shí)的方式或按相反的順序，來執(zhí)行功能，這應(yīng)被本申請(qǐng)的實(shí)施例所屬技術(shù)領(lǐng)域的技術(shù)人員所理解。
[0052]在流程圖中表示或在此以其他方式描述的邏輯和/或步驟，例如，可以被認(rèn)為是用于實(shí)現(xiàn)邏輯功能的可執(zhí)行指令的定序列表，可以具體實(shí)現(xiàn)在任何計(jì)算機(jī)可讀介質(zhì)中，以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備(如基于計(jì)算機(jī)的系統(tǒng)、包括處理器的系統(tǒng)或其他可以從指令執(zhí)行系統(tǒng)、裝置或設(shè)備取指令并執(zhí)行指令的系統(tǒng))使用，或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設(shè)備而使用。就本說明書而言，〃計(jì)算機(jī)可讀介質(zhì)"可以是任何可以包含、存儲(chǔ)、通信、傳播或傳輸程序以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設(shè)備而使用的裝置。計(jì)算機(jī)可讀介質(zhì)的更具體的示例(非窮盡性列表)包括以下:具有一個(gè)或多個(gè)布線的電連接部(電子裝置)，便攜式計(jì)算機(jī)盤盒(磁裝置)，隨機(jī)存取存儲(chǔ)器(RAM)，只讀存儲(chǔ)器(ROM)，可擦除可編輯只讀存儲(chǔ)器(EPR0M或閃速存儲(chǔ)器)，光纖裝置，以及便攜式光盤只讀存儲(chǔ)器(CDROM)。另外，計(jì)算機(jī)可讀介質(zhì)甚至可以是可在其上打印所述程序的紙或其他合適的介質(zhì)，因?yàn)榭梢岳缤ㄟ^對(duì)紙或其他介質(zhì)進(jìn)行光學(xué)掃描，接著進(jìn)行編輯、解譯或必要時(shí)以其他合適方式進(jìn)行處理來以電子方式獲得所述程序，然后將其存儲(chǔ)在計(jì)算機(jī)存儲(chǔ)器中。
[0053]應(yīng)當(dāng)理解，本申請(qǐng)的各部分可以用硬件、軟件、固件或它們的組合來實(shí)現(xiàn)。在上述實(shí)施方式中，多個(gè)步驟或方法可以用存儲(chǔ)在存儲(chǔ)器中且由合適的指令執(zhí)行系統(tǒng)執(zhí)行的軟件或固件來實(shí)現(xiàn)。例如，如果用硬件來實(shí)現(xiàn)，和在另一實(shí)施方式中一樣，可用本領(lǐng)域公知的下列技術(shù)中的任一項(xiàng)或他們的組合來實(shí)現(xiàn):具有用于對(duì)數(shù)據(jù)信號(hào)實(shí)現(xiàn)邏輯功能的邏輯門電路的離散邏輯電路，具有合適的組合邏輯門電路的專用集成電路，可編程門陣列(PGA)，現(xiàn)場(chǎng)可編程門陣列(FPGA)等。
[0054]本技術(shù)領(lǐng)域的普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法攜帶的全部或部分步驟是可以通過程序來指令相關(guān)的硬件完成，所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，包括方法實(shí)施例的步驟之一或其組合。
[0055]此外，在本申請(qǐng)各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理模塊中，也可以是各個(gè)單元單獨(dú)物理存在，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)模塊中。上述集成的模塊既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能模塊的形式實(shí)現(xiàn)。所述集成的模塊如果以軟件功能模塊的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，也可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。
[0056]上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器，磁盤或光盤等。盡管上面已經(jīng)示出和描述了本申請(qǐng)的實(shí)施例，可以理解的是，上述實(shí)施例是示例性的，不能理解為對(duì)本申請(qǐng)的限制，本領(lǐng)域的普通技術(shù)人員在本申請(qǐng)的范圍內(nèi)可以對(duì)上述實(shí)施例進(jìn)行變化、修改、替換和變型。
【主權(quán)項(xiàng)】
1.一種分布式計(jì)算系統(tǒng)，其特征在于，包括: 多個(gè)集群，用于進(jìn)行分布式計(jì)算； 全局元數(shù)據(jù)服務(wù)器，用于保存并管理多集群數(shù)據(jù)副本分布視圖和多集群拓?fù)浣Y(jié)構(gòu)視圖； 跨集群數(shù)據(jù)復(fù)制服務(wù)器，用于根據(jù)復(fù)制指令將指定的數(shù)據(jù)復(fù)制到所述復(fù)制指令指定的集群；以及 數(shù)據(jù)訪問分配服務(wù)器，用于根據(jù)所述集群的數(shù)據(jù)使用請(qǐng)求、所述多集群數(shù)據(jù)副本分布視圖和多集群拓?fù)浣Y(jié)構(gòu)視圖分配目標(biāo)數(shù)據(jù)的位置信息，并根據(jù)所述目標(biāo)數(shù)據(jù)的位置信息生成所述復(fù)制指令，以使所述跨集群數(shù)據(jù)復(fù)制服務(wù)器將所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)副本復(fù)制到所述數(shù)據(jù)使用請(qǐng)求指定的集群。2.如權(quán)利要求1所述的分布式計(jì)算系統(tǒng)，其特征在于，所述數(shù)據(jù)訪問分配服務(wù)器根據(jù)所述數(shù)據(jù)使用請(qǐng)求判斷目標(biāo)數(shù)據(jù)是否存在，如果所述目標(biāo)數(shù)據(jù)不存在則向所述集群反饋目標(biāo)數(shù)據(jù)不存在信息。3.如權(quán)利要求2所述的分布式計(jì)算系統(tǒng)，其特征在于， 如果所述目標(biāo)數(shù)據(jù)存在，且所述集群不能等待，則所述數(shù)據(jù)訪問分配服務(wù)器獲取所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的可用目標(biāo)數(shù)據(jù)副本，并根據(jù)所述可用目標(biāo)數(shù)據(jù)副本所在集群與所述集群之間的距離和帶寬確定最終的目標(biāo)數(shù)據(jù)副本，并發(fā)送至所述集群； 如果所述目標(biāo)數(shù)據(jù)存在，且所述集群能等待，則進(jìn)一步判斷所述集群所對(duì)應(yīng)計(jì)算任務(wù)所能直達(dá)的集群中是否有對(duì)應(yīng)的可用目標(biāo)數(shù)據(jù)副本； 如果沒有，則根據(jù)所述可用目標(biāo)數(shù)據(jù)副本所在集群與所述集群之間的距離和帶寬確定最終的目標(biāo)數(shù)據(jù)副本，并發(fā)送至所述集群； 如果有，則從所述計(jì)算任務(wù)所能直達(dá)的集群中獲取所述目標(biāo)數(shù)據(jù)副本，并反饋至所述集群。4.如權(quán)利要求3所述的分布式計(jì)算系統(tǒng)，其特征在于，所述從所述計(jì)算任務(wù)所能直達(dá)的集群中獲取所述目標(biāo)數(shù)據(jù)副本具體包括: 根據(jù)所述多集群拓?fù)浣Y(jié)構(gòu)視圖獲取所述集群訪問所述計(jì)算任務(wù)所能直達(dá)的集群中代價(jià)最小且具有所述目標(biāo)數(shù)據(jù)副本的集群，并獲取所述目標(biāo)數(shù)據(jù)副本。5.如權(quán)利要求4所述的分布式計(jì)算系統(tǒng)，其特征在于，所述數(shù)據(jù)訪問分配服務(wù)器在獲取所述目標(biāo)數(shù)據(jù)副本的同時(shí)，查詢所述跨集群數(shù)據(jù)復(fù)制服務(wù)器以獲取所述目標(biāo)數(shù)據(jù)副本復(fù)制完成的時(shí)間估計(jì)，并反饋至所述集群。6.一種分布式計(jì)算方法，其特征在于，包括以下步驟: 多個(gè)集群進(jìn)行分布式計(jì)算； 全局元數(shù)據(jù)服務(wù)器保存并管理多集群數(shù)據(jù)副本分布視圖和多集群拓?fù)浣Y(jié)構(gòu)視圖； 跨集群數(shù)據(jù)復(fù)制服務(wù)器根據(jù)復(fù)制指令將指定的數(shù)據(jù)復(fù)制到所述復(fù)制指令指定的集群； 數(shù)據(jù)訪問分配服務(wù)器根據(jù)所述集群的數(shù)據(jù)使用請(qǐng)求、所述多集群數(shù)據(jù)副本分布視圖和多集群拓?fù)浣Y(jié)構(gòu)視圖分配目標(biāo)數(shù)據(jù)的位置信息；以及 所述數(shù)據(jù)訪問分配服務(wù)器根據(jù)所述目標(biāo)數(shù)據(jù)的位置信息生成所述復(fù)制指令，以使所述跨集群數(shù)據(jù)復(fù)制服務(wù)器將所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)副本復(fù)制到所述數(shù)據(jù)使用請(qǐng)求指定的集群。7.如權(quán)利要求6所述的分布式計(jì)算方法，其特征在于，還包括: 所述數(shù)據(jù)訪問分配服務(wù)器根據(jù)所述數(shù)據(jù)使用請(qǐng)求判斷目標(biāo)數(shù)據(jù)是否存在； 如果所述目標(biāo)數(shù)據(jù)不存在，則所述數(shù)據(jù)訪問分配服務(wù)器向所述集群反饋目標(biāo)數(shù)據(jù)不存在信息。8.如權(quán)利要求7所述的分布式計(jì)算方法，其特征在于，還包括: 如果所述目標(biāo)數(shù)據(jù)存在，且所述集群不能等待，則所述數(shù)據(jù)訪問分配服務(wù)器獲取所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的可用目標(biāo)數(shù)據(jù)副本，并根據(jù)所述可用目標(biāo)數(shù)據(jù)副本所在集群與所述集群之間的距離和帶寬確定最終的目標(biāo)數(shù)據(jù)副本，并發(fā)送至所述集群； 如果所述目標(biāo)數(shù)據(jù)存在，且所述集群能等待，則所述數(shù)據(jù)訪問分配服務(wù)器進(jìn)一步判斷所述集群所對(duì)應(yīng)計(jì)算任務(wù)所能直達(dá)的集群中是否有對(duì)應(yīng)的可用目標(biāo)數(shù)據(jù)副本； 如果沒有，則所述數(shù)據(jù)訪問分配服務(wù)器根據(jù)所述可用目標(biāo)數(shù)據(jù)副本所在集群與所述集群之間的距離和帶寬確定最終的目標(biāo)數(shù)據(jù)副本，并發(fā)送至所述集群； 如果有，則所述數(shù)據(jù)訪問分配服務(wù)器從所述計(jì)算任務(wù)所能直達(dá)的集群中獲取所述目標(biāo)數(shù)據(jù)副本，并反饋至所述集群。9.如權(quán)利要求8所述的分布式計(jì)算方法，其特征在于，從所述計(jì)算任務(wù)所能直達(dá)的集群中獲取所述目標(biāo)數(shù)據(jù)副本，具體包括: 根據(jù)所述多集群拓?fù)浣Y(jié)構(gòu)視圖獲取所述集群訪問所述計(jì)算任務(wù)所能直達(dá)的集群中代價(jià)最小且具有所述目標(biāo)數(shù)據(jù)副本的集群，并獲取所述目標(biāo)數(shù)據(jù)副本。10.如權(quán)利要求9所述的分布式計(jì)算方法，其特征在于，所述數(shù)據(jù)訪問分配服務(wù)器在獲取所述目標(biāo)數(shù)據(jù)副本的同時(shí)，還包括: 查詢所述跨集群數(shù)據(jù)復(fù)制服務(wù)器以獲取所述目標(biāo)數(shù)據(jù)副本復(fù)制完成的時(shí)間估計(jì)，并反饋至所述集群。
【文檔編號(hào)】G06F17/30GK106034160SQ201510122729
【公開日】2016年10月19日
【申請(qǐng)日】2015年3月19日
【發(fā)明人】徐凱, 尹小明, 何樂, 羅李
【申請(qǐng)人】阿里巴巴集團(tuán)控股有限公司