變更表中。
[0098]2)業(yè)務(wù)數(shù)據(jù)表結(jié)構(gòu)和關(guān)聯(lián)關(guān)系分析
[0099]將數(shù)據(jù)庫中的業(yè)務(wù)數(shù)據(jù)表及其字段信息等提取出來，通過主外健關(guān)系對表進行關(guān)聯(lián)關(guān)系分析。將每個表的從表信息標注出來，并按照先主表后從表的方式對所有表進行排序，該排序即業(yè)務(wù)數(shù)據(jù)表入庫的順序。如果多個表的從表為同一個表，則從表的排序在所有主表排序之后。此技術(shù)點作用有兩個:一是通過表結(jié)構(gòu)分析，為下一步的業(yè)務(wù)數(shù)據(jù)格式轉(zhuǎn)換做準備，以解決數(shù)據(jù)庫結(jié)構(gòu)不一致的問題。二是當(dāng)數(shù)據(jù)入庫引起自增量標識變化時，通過關(guān)聯(lián)關(guān)系分析，更新相關(guān)聯(lián)的從表數(shù)據(jù)信息。
[0100]3)業(yè)務(wù)數(shù)據(jù)格式轉(zhuǎn)換
[0101]當(dāng)中心數(shù)據(jù)庫和站點數(shù)據(jù)庫的業(yè)務(wù)數(shù)據(jù)表結(jié)構(gòu)不一致時，需要對業(yè)務(wù)數(shù)據(jù)進行格式轉(zhuǎn)換。格式轉(zhuǎn)換是指將表空間、字段名稱、數(shù)據(jù)類型等轉(zhuǎn)換成與導(dǎo)入數(shù)據(jù)庫一致的格式。該技術(shù)點可以解決異構(gòu)數(shù)據(jù)庫間的同步問題，使得該方法能更廣泛地適用于各種分布式數(shù)據(jù)庫同步場景。
[0102]4)業(yè)務(wù)數(shù)據(jù)的唯一性約束沖突處理
[0103]在進行數(shù)據(jù)同步時，總表數(shù)據(jù)與分表數(shù)據(jù)可能會出現(xiàn)表的唯一性約束沖突。本發(fā)明基于表唯一性約束進行觸發(fā)式更新，首先在業(yè)務(wù)數(shù)據(jù)上傳的第六步業(yè)務(wù)數(shù)據(jù)入庫過程中，監(jiān)測數(shù)據(jù)庫的唯一性約束沖突，根據(jù)唯一性約束沖突解決策略，對業(yè)務(wù)數(shù)據(jù)進行變更和標識，并給出業(yè)務(wù)數(shù)據(jù)的變更列表。然后根據(jù)變更列表針對唯一性約束值進行一次業(yè)務(wù)數(shù)據(jù)分發(fā)，保證中心數(shù)據(jù)庫和站點數(shù)據(jù)庫的數(shù)據(jù)一致性。遵循唯一性約束范圍最大化原則，僅需在業(yè)務(wù)數(shù)據(jù)上傳時，即業(yè)務(wù)數(shù)據(jù)入中心數(shù)據(jù)庫時檢測業(yè)務(wù)數(shù)據(jù)的唯一性沖突。
[0104]5)業(yè)務(wù)數(shù)據(jù)的多源更新沖突處理
[0105]針對分布式數(shù)據(jù)庫存在的多點、異步更新特定，業(yè)務(wù)數(shù)據(jù)的更新可能會出現(xiàn)多源更新數(shù)據(jù)沖突，數(shù)據(jù)的導(dǎo)入導(dǎo)出可能造成不被期望的數(shù)據(jù)更新操作。本發(fā)明基于時間戳進行觸發(fā)式更新，首先在業(yè)務(wù)數(shù)據(jù)分發(fā)與上傳的第二步添加業(yè)務(wù)數(shù)據(jù)相關(guān)操作的時間戳信息。然后在業(yè)務(wù)數(shù)據(jù)上傳的第六步業(yè)務(wù)數(shù)據(jù)入庫過程中，比對業(yè)務(wù)數(shù)據(jù)的時間戳，根據(jù)多源更新沖突解決策略，對業(yè)務(wù)數(shù)據(jù)進行更新和標識，并給出業(yè)務(wù)數(shù)據(jù)的未更新列表。最后根據(jù)未更新列表的業(yè)務(wù)數(shù)據(jù)進行一次業(yè)務(wù)數(shù)據(jù)上傳或分發(fā)，保證中心數(shù)據(jù)庫和站點數(shù)據(jù)庫的數(shù)據(jù)一致性。關(guān)于業(yè)務(wù)數(shù)據(jù)相關(guān)操作的時間戳信息，中心數(shù)據(jù)庫可以單獨建立一個業(yè)務(wù)數(shù)據(jù)操作時間戳表，站點數(shù)據(jù)庫可以在標識變更表中添加時間戳字段。
[0106]總之，本發(fā)明的方法適用于同構(gòu)或異構(gòu)的的分步式數(shù)據(jù)庫的數(shù)據(jù)更新，適用于非實時的、同步或異步的分步式數(shù)據(jù)庫的數(shù)據(jù)更新。
[0107]本發(fā)明的方法通過業(yè)務(wù)數(shù)據(jù)表結(jié)構(gòu)和關(guān)聯(lián)關(guān)系分析，對不同結(jié)構(gòu)數(shù)據(jù)庫間的業(yè)務(wù)數(shù)據(jù)進行格式轉(zhuǎn)換，通過基于總表與分表自增量標識對應(yīng)關(guān)系、主表和從表的表結(jié)構(gòu)關(guān)系，進行數(shù)據(jù)的導(dǎo)入導(dǎo)出和實現(xiàn)業(yè)務(wù)數(shù)據(jù)更新。由于，業(yè)務(wù)數(shù)據(jù)可根據(jù)數(shù)據(jù)庫結(jié)構(gòu)的不同進行相應(yīng)的格式轉(zhuǎn)換，因此本發(fā)明適用于異構(gòu)分布式數(shù)據(jù)庫的數(shù)據(jù)同步。同時，業(yè)務(wù)數(shù)據(jù)傳輸并不依賴于網(wǎng)絡(luò)，因此本發(fā)明的方法也適用于非實時的離線數(shù)據(jù)同步。
[0108]本發(fā)明的方法很好地解決了分布式數(shù)據(jù)庫數(shù)據(jù)更新過程中的數(shù)據(jù)沖突問題，廣泛適用于各種大型的分步式數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)更新。
[0109]此外，需要說明的是，除非特別指出，否則說明書中的術(shù)語“第一”、“第二”、“第三”等描述僅僅用于區(qū)分說明書中的各個組件、元素、步驟等，而不是用于表示各個組件、元素、步驟之間的邏輯關(guān)系或者順序關(guān)系等。
[0110]可以理解的是，雖然本發(fā)明已以較佳實施例披露如上，然而上述實施例并非用以限定本發(fā)明。對于任何熟悉本領(lǐng)域的技術(shù)人員而言，在不脫離本發(fā)明技術(shù)方案范圍情況下，都可利用上述揭示的技術(shù)內(nèi)容對本發(fā)明技術(shù)方案作出許多可能的變動和修飾，或修改為等同變化的等效實施例。因此，凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容，依據(jù)本發(fā)明的技術(shù)實質(zhì)對以上實施例所做的任何簡單修改、等同變化及修飾，均仍屬于本發(fā)明技術(shù)方案保護的范圍內(nèi)。
【主權(quán)項】
1.一種分步式數(shù)據(jù)庫數(shù)據(jù)分發(fā)上傳同步方法，其中分布式數(shù)據(jù)庫系統(tǒng)由中心數(shù)據(jù)庫和多個站點數(shù)據(jù)庫組成，其特征在于包括數(shù)據(jù)分發(fā)處理和數(shù)據(jù)上傳處理；其中，在數(shù)據(jù)分發(fā)處理中，從中心數(shù)據(jù)庫導(dǎo)出業(yè)務(wù)數(shù)據(jù)，在站點數(shù)據(jù)庫導(dǎo)入業(yè)務(wù)數(shù)據(jù)；而且，在數(shù)據(jù)上傳處理中，從站點數(shù)據(jù)庫導(dǎo)出業(yè)務(wù)數(shù)據(jù)，在中心數(shù)據(jù)庫導(dǎo)入業(yè)務(wù)數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的分步式數(shù)據(jù)庫數(shù)據(jù)分發(fā)上傳同步方法，其特征在于，數(shù)據(jù)分發(fā)處理和數(shù)據(jù)上傳處理均包括: 第一步驟，用于對將要導(dǎo)出第一數(shù)據(jù)庫的業(yè)務(wù)數(shù)據(jù)的業(yè)務(wù)數(shù)據(jù)表進行分析以獲取表結(jié)構(gòu)和關(guān)聯(lián)關(guān)系； 第二步驟，用于根據(jù)第一步驟獲取的表結(jié)構(gòu)和關(guān)聯(lián)關(guān)系，獲取業(yè)務(wù)相關(guān)數(shù)據(jù)集合，將需要分發(fā)或上傳的業(yè)務(wù)數(shù)據(jù)以預(yù)定數(shù)據(jù)存儲格式分離或標識出來； 第三步驟，用于對將要導(dǎo)入第二數(shù)據(jù)庫的業(yè)務(wù)數(shù)據(jù)的業(yè)務(wù)數(shù)據(jù)表進行分析以獲取表結(jié)構(gòu)和關(guān)聯(lián)關(guān)系； 第四步驟，用于分析第一步驟獲取到的業(yè)務(wù)數(shù)據(jù)表結(jié)構(gòu)和關(guān)聯(lián)關(guān)系，以及分析第三步驟獲取到的業(yè)務(wù)數(shù)據(jù)表結(jié)構(gòu)和關(guān)聯(lián)關(guān)系，并結(jié)合第二步驟獲取到的業(yè)務(wù)相關(guān)數(shù)據(jù)集，確定業(yè)務(wù)數(shù)據(jù)的導(dǎo)入順序，并根據(jù)業(yè)務(wù)數(shù)據(jù)的導(dǎo)入順序控制業(yè)務(wù)數(shù)據(jù)的依次導(dǎo)入。
3.根據(jù)權(quán)利要求1或2所述的分步式數(shù)據(jù)庫數(shù)據(jù)分發(fā)上傳同步方法，其特征在于，第二步驟獲取的業(yè)務(wù)相關(guān)數(shù)據(jù)集合包括與業(yè)務(wù)數(shù)據(jù)相關(guān)的總表與分表的自增量標識的對應(yīng)關(guān)系O
4.根據(jù)權(quán)利要求1或2所述的分步式數(shù)據(jù)庫數(shù)據(jù)分發(fā)上傳同步方法，其特征在于數(shù)據(jù)分發(fā)處理和數(shù)據(jù)上傳處理還包括: 第五步驟，用于在第一數(shù)據(jù)庫和第二數(shù)據(jù)庫的業(yè)務(wù)數(shù)據(jù)表結(jié)構(gòu)異構(gòu)的情況下，根據(jù)將業(yè)務(wù)數(shù)據(jù)按預(yù)定格式要求進行轉(zhuǎn)換。
5.根據(jù)權(quán)利要求1或2所述的分步式數(shù)據(jù)庫數(shù)據(jù)分發(fā)上傳同步方法，其特征在于，第一數(shù)據(jù)庫是中心數(shù)據(jù)庫和站點數(shù)據(jù)庫中的一個。
6.根據(jù)權(quán)利要求1或2所述的分步式數(shù)據(jù)庫數(shù)據(jù)分發(fā)上傳同步方法，其特征在于，第二數(shù)據(jù)庫是中心數(shù)據(jù)庫和站點數(shù)據(jù)庫中的另一個。
7.根據(jù)權(quán)利要求1或2所述的分步式數(shù)據(jù)庫數(shù)據(jù)分發(fā)上傳同步方法，其特征在于數(shù)據(jù)分發(fā)處理和數(shù)據(jù)上傳處理還包括: 第六步驟，用于分析總表和分表的自增量標識的對應(yīng)關(guān)系，判斷業(yè)務(wù)數(shù)據(jù)入庫操作是新增操作還是更新操作，并且在業(yè)務(wù)數(shù)據(jù)的自增量標識已建立且在第二數(shù)據(jù)庫中已存在的情況下進行更新操作，否則進行新增操作，而且對于按新增操作入庫的業(yè)務(wù)數(shù)據(jù)，獲取其新的自增量標識。
8.根據(jù)權(quán)利要求1或2所述的分步式數(shù)據(jù)庫數(shù)據(jù)分發(fā)上傳同步方法，其特征在于還包括: 第七步驟，用于針對第六步驟標記出的以新增操作方式入庫的業(yè)務(wù)數(shù)據(jù)的新的自增量標識，建立總表和分表自增量標識的對應(yīng)關(guān)系； 第八步驟，用于根據(jù)第七步驟建立的總表和分表自增量標識對應(yīng)關(guān)系，分析和更新待入庫業(yè)務(wù)數(shù)據(jù)的自增量標識的引用；以及 第九步驟，用于將第七步驟建立的總表與分表自增量標識對應(yīng)關(guān)系，更新到站點數(shù)據(jù)庫的標識變更表中。
9.根據(jù)權(quán)利要求1或2所述的分步式數(shù)據(jù)庫數(shù)據(jù)分發(fā)上傳同步方法，其特征在于，在數(shù)據(jù)上傳處理中，在第六步驟中，監(jiān)測數(shù)據(jù)庫的唯一性約束沖突，根據(jù)唯一性約束沖突解決策略，對業(yè)務(wù)數(shù)據(jù)進行變更和標識，并給出業(yè)務(wù)數(shù)據(jù)的變更列表，然后根據(jù)變更列表針對唯一性約束值進行一次業(yè)務(wù)數(shù)據(jù)分發(fā)，保證中心數(shù)據(jù)庫和站點數(shù)據(jù)庫的數(shù)據(jù)一致性。
10.根據(jù)權(quán)利要求1或2所述的分步式數(shù)據(jù)庫數(shù)據(jù)分發(fā)上傳同步方法，其特征在于，在數(shù)據(jù)分發(fā)處理和數(shù)據(jù)上傳處理中，在第二步驟中，添加業(yè)務(wù)數(shù)據(jù)相關(guān)操作的時間戳信息；然后在數(shù)據(jù)上傳處理中，在第六步驟中，比對業(yè)務(wù)數(shù)據(jù)的時間戳，根據(jù)多源更新沖突解決策略，對業(yè)務(wù)數(shù)據(jù)進行更新和標識，并給出業(yè)務(wù)數(shù)據(jù)的未更新列表；最后根據(jù)未更新列表的業(yè)務(wù)數(shù)據(jù)進行一次業(yè)務(wù)數(shù)據(jù)上傳或分發(fā)，保證中心數(shù)據(jù)庫和站點數(shù)據(jù)庫的數(shù)據(jù)一致性。
【專利摘要】本發(fā)明提供了一種分步式數(shù)據(jù)庫數(shù)據(jù)分發(fā)上傳同步方法，其中分布式數(shù)據(jù)庫系統(tǒng)由中心數(shù)據(jù)庫和多個站點數(shù)據(jù)庫組成；所述分步式數(shù)據(jù)庫同步方法包括：數(shù)據(jù)分發(fā)處理和數(shù)據(jù)上傳處理；其中，在數(shù)據(jù)分發(fā)處理中，從中心數(shù)據(jù)庫導(dǎo)出業(yè)務(wù)數(shù)據(jù)，在站點數(shù)據(jù)庫導(dǎo)入業(yè)務(wù)數(shù)據(jù)；而且，在數(shù)據(jù)上傳處理中，從站點數(shù)據(jù)庫導(dǎo)出業(yè)務(wù)數(shù)據(jù)，在中心數(shù)據(jù)庫導(dǎo)入業(yè)務(wù)數(shù)據(jù)。
【IPC分類】H04L29-08, G06F17-30
【公開號】CN104598610
【申請?zhí)枴緾N201510047492
【發(fā)明人】何曼, 吳利, 張超容, 張慧, 邵玲
【申請人】無錫江南計算技術(shù)研究所
【公開日】2015年5月6日
【申請日】2015年1月29日