欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

一種基于云計(jì)算技術(shù)的數(shù)據(jù)集成方法、裝置及計(jì)算設(shè)備集群與流程

文檔序號(hào):40453002發(fā)布日期:2024-12-27 09:18閱讀:來源:國(guó)知局

技術(shù)特征:

1.一種基于云計(jì)算技術(shù)的數(shù)據(jù)集成方法,其特征在于,應(yīng)用于云計(jì)算平臺(tái),所述云計(jì)算平臺(tái)運(yùn)行在基礎(chǔ)設(shè)施上,所述基礎(chǔ)設(shè)施包括設(shè)置在不同區(qū)域的多個(gè)數(shù)據(jù)中心,每個(gè)數(shù)據(jù)中心包括多個(gè)服務(wù)器,其中,所述云計(jì)算平臺(tái)上包括:數(shù)據(jù)讀取端、數(shù)據(jù)寫入端、進(jìn)度存儲(chǔ)端和數(shù)據(jù)提交端;

2.根據(jù)權(quán)利要求1所述的方法,其特征在于,在所述數(shù)據(jù)讀取端將所述至少一批變更數(shù)據(jù)中每批數(shù)據(jù)的第一標(biāo)識(shí)均傳輸至所述進(jìn)度存儲(chǔ)端,以及,將所述至少一批變更數(shù)據(jù)傳輸至所述數(shù)據(jù)寫入端之前,還包括:

3.根據(jù)權(quán)利要求1或2所述的方法,其特征在于,所述數(shù)據(jù)寫入端向目標(biāo)數(shù)據(jù)源寫入所述至少一批變更數(shù)據(jù),包括:

4.根據(jù)權(quán)利要求1或2所述的方法,其特征在于,所述數(shù)據(jù)寫入端為多個(gè);

5.根據(jù)權(quán)利要求1-4任一所述的方法,其特征在于,在所述數(shù)據(jù)提交端將所述第二標(biāo)識(shí)提交至所述變更數(shù)據(jù)抓取組件之前,還包括:

6.根據(jù)權(quán)利要求1-5任一所述的方法,其特征在于,在所述數(shù)據(jù)提交端將所述第二標(biāo)識(shí)提交至所述變更數(shù)據(jù)抓取組件之后,還包括:

7.根據(jù)權(quán)利要求1-6任一所述的方法,其特征在于,目標(biāo)批變更數(shù)據(jù)的第一標(biāo)識(shí)至少由所述目標(biāo)批變更數(shù)據(jù)在所述源數(shù)據(jù)源中的起始偏移量和結(jié)束偏移量組成,其中,所述目標(biāo)批變更數(shù)據(jù)為所述至少一批變更數(shù)據(jù)中的任意一批數(shù)據(jù)。

8.一種基于云計(jì)算技術(shù)的數(shù)據(jù)集成裝置,其特征在于,配置于云計(jì)算平臺(tái),所述云計(jì)算平臺(tái)運(yùn)行在基礎(chǔ)設(shè)施上,所述基礎(chǔ)設(shè)施包括設(shè)置在不同區(qū)域的多個(gè)數(shù)據(jù)中心,每個(gè)數(shù)據(jù)中心包括多個(gè)服務(wù)器;

9.根據(jù)權(quán)利要求8所述的裝置,其特征在于,所述數(shù)據(jù)讀取模塊在將所述至少一批變更數(shù)據(jù)中每批數(shù)據(jù)的第一標(biāo)識(shí)均傳輸至所述進(jìn)度存儲(chǔ)模塊,以及,將所述至少一批變更數(shù)據(jù)傳輸至所述數(shù)據(jù)寫入模塊之前,還用于:

10.根據(jù)權(quán)利要求8或9所述的裝置,其特征在于,所述數(shù)據(jù)寫入模塊在向目標(biāo)數(shù)據(jù)源寫入所述至少一批變更數(shù)據(jù)時(shí),具體用于:

11.根據(jù)權(quán)利要求8或9所述的裝置,其特征在于,所述數(shù)據(jù)寫入模塊為多個(gè);

12.根據(jù)權(quán)利要求8-11任一所述的裝置,其特征在于,所述數(shù)據(jù)提交模塊在將所述第二標(biāo)識(shí)提交至所述cdc組件之前,還用于:

13.根據(jù)權(quán)利要求8-12任一所述的裝置,其特征在于,所述數(shù)據(jù)提交模塊,還用于:在所述第二標(biāo)識(shí)提交至所述變更數(shù)據(jù)抓取組件之后,向所述進(jìn)度存儲(chǔ)模塊傳輸?shù)谝恍畔?,所述第一信息用于指示已提交所述第二?biāo)識(shí)至所述變更數(shù)據(jù)抓取組件;

14.根據(jù)權(quán)利要求8-13任一所述的裝置,其特征在于,目標(biāo)批變更數(shù)據(jù)的第一標(biāo)識(shí)至少由所述目標(biāo)批變更數(shù)據(jù)在所述源數(shù)據(jù)源中的起始偏移量和結(jié)束偏移量組成,其中,所述目標(biāo)批變更數(shù)據(jù)為所述至少一批變更數(shù)據(jù)中的任意一批數(shù)據(jù)。

15.一種計(jì)算設(shè)備集群,其特征在于,包括至少一個(gè)計(jì)算設(shè)備,每個(gè)計(jì)算設(shè)備均包括處理器和存儲(chǔ)器;

16.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其特征在于,包括計(jì)算機(jī)程序指令,當(dāng)所述指令被計(jì)算設(shè)備集群運(yùn)行時(shí),使得所述計(jì)算設(shè)備集群執(zhí)行如權(quán)利要求1-7任一所述的方法,其中,所述計(jì)算設(shè)備集群包括至少一個(gè)計(jì)算設(shè)備。

17.一種包含指令的計(jì)算機(jī)程序產(chǎn)品,其特征在于,當(dāng)所述指令被計(jì)算設(shè)備集群運(yùn)行時(shí),使得所述計(jì)算設(shè)備集群執(zhí)行如權(quán)利要求1-7任一所述的方法,其中,所述計(jì)算設(shè)備集群包括至少一個(gè)計(jì)算設(shè)備。


技術(shù)總結(jié)
一種基于云計(jì)算技術(shù)的數(shù)據(jù)集成方法,包括:數(shù)據(jù)讀取端通過CDC組件獲取源數(shù)據(jù)源中的變更數(shù)據(jù);數(shù)據(jù)讀取端將每批變更數(shù)據(jù)的第一標(biāo)識(shí)均傳輸至進(jìn)度存儲(chǔ)端,并將變更數(shù)據(jù)傳輸至數(shù)據(jù)寫入端;進(jìn)度存儲(chǔ)端記錄來自數(shù)據(jù)讀取端的第一標(biāo)識(shí);數(shù)據(jù)寫入端向目標(biāo)數(shù)據(jù)源寫入變更數(shù)據(jù),并將寫入到目標(biāo)數(shù)據(jù)源的數(shù)據(jù)的第二標(biāo)識(shí)傳輸至進(jìn)度存儲(chǔ)端;進(jìn)度存儲(chǔ)端記錄來自數(shù)據(jù)寫入端的第二標(biāo)識(shí);數(shù)據(jù)提交端讀取進(jìn)度存儲(chǔ)端記錄的第一標(biāo)識(shí)和第二標(biāo)識(shí),并在第二標(biāo)識(shí)和任意一個(gè)第一標(biāo)識(shí)一致的情況下,將第二標(biāo)識(shí)提交至變更數(shù)據(jù)抓取組件,以指示變更數(shù)據(jù)抓取組件無需在從源數(shù)據(jù)源中獲取與第二標(biāo)識(shí)相關(guān)的數(shù)據(jù)。該方法可以提升了數(shù)據(jù)集成效率。

技術(shù)研發(fā)人員:田靜,羅錦榮,黎世裕
受保護(hù)的技術(shù)使用者:華為云計(jì)算技術(shù)有限公司
技術(shù)研發(fā)日:
技術(shù)公布日:2024/12/26
當(dāng)前第2頁(yè)1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
巴东县| 吴堡县| 南木林县| 灌阳县| 新疆| 铜川市| 株洲市| 柳江县| 桦川县| 乐安县| 漳平市| 荆门市| 广元市| 武山县| 武城县| 湛江市| 枝江市| 平和县| 岱山县| 和林格尔县| 新晃| 辉南县| 荔波县| 阿瓦提县| 揭阳市| 郎溪县| 十堰市| 隆子县| 昌乐县| 秦安县| 郑州市| 北川| 东阿县| 蒙自县| 沈丘县| 中江县| 天全县| 贵港市| 郸城县| 育儿| 建始县|