數(shù)據(jù)同步裝置和數(shù)據(jù)同步方法
【專利摘要】本發(fā)明提供了一種數(shù)據(jù)同步裝置，包括：事務(wù)操作配置模塊，用于根據(jù)接收到的選擇指令，從第一數(shù)據(jù)庫中選擇出事務(wù)操作；事務(wù)操作處理模塊，對所述事務(wù)操作進行監(jiān)控，并根據(jù)監(jiān)控結(jié)果判斷是否需要將所述事務(wù)操作中的數(shù)據(jù)同步到第二數(shù)據(jù)庫，在判斷結(jié)果為是時，獲取所述事務(wù)操作對應(yīng)的元數(shù)據(jù)實體表，并進行緩存；數(shù)據(jù)處理模塊，根據(jù)緩存的所述元數(shù)據(jù)實體表和獲取的與所述元數(shù)據(jù)實體表對應(yīng)的所述第二數(shù)據(jù)庫的實體表，將所述事務(wù)操作中的數(shù)據(jù)同步到所述第二數(shù)據(jù)庫。相應(yīng)地，本發(fā)明還提供了一種數(shù)據(jù)同步方法。通過本發(fā)明的技術(shù)方案，可以在最大程度上使兩種數(shù)據(jù)庫中的數(shù)據(jù)保持同步。
【專利說明】數(shù)據(jù)同步裝置和數(shù)據(jù)同步方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理【技術(shù)領(lǐng)域】，具體而言，涉及一種數(shù)據(jù)同步裝置和數(shù)據(jù)同步方法。
【背景技術(shù)】
[0002]傳統(tǒng)的企業(yè)數(shù)據(jù)庫系統(tǒng)即聯(lián)機事務(wù)處理系統(tǒng)(OLTP)作為數(shù)據(jù)管理手段，主要用于事務(wù)處理，但它對分析處理的支持一直不能令人滿意。因此，人們逐漸嘗試對OLTP數(shù)據(jù)庫中的數(shù)據(jù)進行再加工，后續(xù)出現(xiàn)了聯(lián)機分析處理(OLAP)在內(nèi)的諸多應(yīng)用牽引驅(qū)動了數(shù)據(jù)倉庫技術(shù)，然而如何讓這兩種數(shù)據(jù)庫更好的為企業(yè)服務(wù)，如何將生產(chǎn)過程中OLTP數(shù)據(jù)庫導(dǎo)入到OLAP數(shù)據(jù)庫中進行分析成為一個亟待解決的問題。
[0003]目前大部分企業(yè)的處理方式是數(shù)據(jù)按照一定的周期(通常在每晚或者每周末)，從事務(wù)型數(shù)據(jù)庫中導(dǎo)入決策支持型數(shù)據(jù)，然而這種方式會導(dǎo)致數(shù)據(jù)不夠及時，特別是對于一些報表由于數(shù)據(jù)不全面，導(dǎo)致數(shù)據(jù)有誤差而延誤企業(yè)決策。
[0004]因此，需要一種新的數(shù)據(jù)同步技術(shù)，可以在最大程度上使兩種數(shù)據(jù)庫中的數(shù)據(jù)保持冋步。

【發(fā)明內(nèi)容】

[0005]本發(fā)明正是基于上述問題，提出了一種新的數(shù)據(jù)同步技術(shù)，可以在最大程度上使兩種數(shù)據(jù)庫中的數(shù)據(jù)保持同步。
[0006]有鑒于此，本發(fā)明提出了一種數(shù)據(jù)同步裝置，包括:事務(wù)操作配置模塊，用于根據(jù)接收到的選擇指令，從第一數(shù)據(jù)庫中選擇出事務(wù)操作；事務(wù)操作處理模塊，對所述事務(wù)操作進行監(jiān)控，并根據(jù)監(jiān)控結(jié)果判斷是否需要將所述事務(wù)操作中的數(shù)據(jù)同步到第二數(shù)據(jù)庫，在判斷結(jié)果為是時，獲取所述事務(wù)操作對應(yīng)的元數(shù)據(jù)實體表，并進行緩存；數(shù)據(jù)處理模塊，根據(jù)緩存的所述元數(shù)據(jù)實體表和獲取的與所述元數(shù)據(jù)實體表對應(yīng)的所述第二數(shù)據(jù)庫的實體表，將所述事務(wù)操作中的數(shù)據(jù)同步到所述第二數(shù)據(jù)庫。
[0007]其中，第一數(shù)據(jù)庫可以是聯(lián)機事務(wù)處理數(shù)據(jù)庫，第二數(shù)據(jù)庫可以是聯(lián)機分析處理數(shù)據(jù)庫，數(shù)據(jù)處理模塊是實時的獲取緩存的所述元數(shù)據(jù)實體表。通過該技術(shù)方案，可以有效的監(jiān)控操作事務(wù)，及時的將聯(lián)機事務(wù)處理數(shù)據(jù)庫中的數(shù)據(jù)同步到聯(lián)機分析處理數(shù)據(jù)庫中，確保決策的高效準(zhǔn)確。
[0008]在上述技術(shù)方案中，優(yōu)選地，所述數(shù)據(jù)處理模塊還用于，對緩存的所述元數(shù)據(jù)實體表的數(shù)量進行統(tǒng)計，當(dāng)所述數(shù)量超過預(yù)設(shè)數(shù)量時，按照所述預(yù)設(shè)數(shù)量分次將所述元數(shù)據(jù)實體表對應(yīng)的事務(wù)操作中的數(shù)據(jù)同步至所述第二數(shù)據(jù)庫。
[0009]在該技術(shù)方案中，如果一次緩存的元數(shù)據(jù)實體表的數(shù)量過多，那么若這多個元數(shù)據(jù)實體表同時同步到第二數(shù)據(jù)庫，則可能會造成同步時間過長，發(fā)生擁堵的現(xiàn)象，因此限制每次只能同步預(yù)設(shè)數(shù)量的元數(shù)據(jù)實體表對應(yīng)的數(shù)據(jù)。比如，預(yù)設(shè)數(shù)量是50，而一次緩存的元數(shù)據(jù)實體表的數(shù)量是70，那么系統(tǒng)將把70個元數(shù)據(jù)實體表中的數(shù)據(jù)分兩次同步到第二數(shù)據(jù)庫中，即第一次同步50個元數(shù)據(jù)實體表中的數(shù)據(jù)，剩下的數(shù)據(jù)在第一次同步完成之后，再進行同步。而由于實際每次同步的時間很短，因此，在用戶看來這70個數(shù)據(jù)是同時同步的，不存在時間上差異。
[0010]在上述技術(shù)方案中，優(yōu)選地，所述數(shù)據(jù)處理模塊還用于，對緩存的所述元數(shù)據(jù)實體表的數(shù)量進行統(tǒng)計，當(dāng)所述數(shù)量未達到預(yù)設(shè)數(shù)量時，將所述元數(shù)據(jù)實體表對應(yīng)的事務(wù)操作中的數(shù)據(jù)同步至所述第二數(shù)據(jù)庫。
[0011]在該技術(shù)方案中，如果一次緩存的元數(shù)據(jù)實體表的數(shù)據(jù)未達到預(yù)設(shè)數(shù)量，那么可以直接將這些元數(shù)據(jù)實體表對應(yīng)的數(shù)據(jù)都同步到第二數(shù)據(jù)庫，從而達到將數(shù)據(jù)實時同步的效果。
[0012]在上述技術(shù)方案中，優(yōu)選地，還包括:標(biāo)記模塊，對已同步至所述第二數(shù)據(jù)庫的所述數(shù)據(jù)進行標(biāo)記。
[0013]在該技術(shù)方案中，為了區(qū)分緩存中的已同步數(shù)據(jù)和未同步數(shù)據(jù)，可以在已同步的數(shù)據(jù)上添加標(biāo)記。
[0014]在上述技術(shù)方案中，優(yōu)選地，還包括:清理模塊，定時對所述標(biāo)記模塊標(biāo)記的所述數(shù)據(jù)進行清理。
[0015]在該技術(shù)方案中，為了保證數(shù)據(jù)同步的及時性，可以定期對緩存中的已同步數(shù)據(jù)
進行清理。
[0016]根據(jù)本發(fā)明的另一方面，還提供了一種數(shù)據(jù)同步方法，包括:步驟202，根據(jù)接收到的選擇指令，從第一數(shù)據(jù)庫中選擇出事務(wù)操作；步驟204，對所述事務(wù)操作進行監(jiān)控，并根據(jù)監(jiān)控結(jié)果判斷是否需要將所述事務(wù)操作中的數(shù)據(jù)同步到第二數(shù)據(jù)庫，在判斷結(jié)果為是時，獲取所述事務(wù)操作對應(yīng)的元數(shù)據(jù)實體表，并進行緩存；步驟206，實時的獲取緩存的所述元數(shù)據(jù)實體表，根據(jù)緩存的所述元數(shù)據(jù)實體表和獲取的與所述元數(shù)據(jù)實體表對應(yīng)的所述第二數(shù)據(jù)庫的實體表，將所述事務(wù)操作中的數(shù)據(jù)同步到所述第二數(shù)據(jù)庫。
[0017]其中，第一數(shù)據(jù)庫可以是聯(lián)機事務(wù)處理數(shù)據(jù)庫，第二數(shù)據(jù)庫可以是聯(lián)機分析處理數(shù)據(jù)庫，通過該技術(shù)方案，可以有效的監(jiān)控操作事務(wù)，及時的將聯(lián)機事務(wù)處理數(shù)據(jù)庫中的數(shù)據(jù)同步到聯(lián)機分析處理數(shù)據(jù)庫中，確保決策的高效準(zhǔn)確。
[0018]在上述技術(shù)方案中，優(yōu)選地，步驟206還包括:對緩存的所述元數(shù)據(jù)實體表的數(shù)量進行統(tǒng)計，當(dāng)所述數(shù)量超過預(yù)設(shè)數(shù)量時，按照所述預(yù)設(shè)數(shù)量分次將所述元數(shù)據(jù)實體表對應(yīng)的事務(wù)操作中的數(shù)據(jù)同步至所述第二數(shù)據(jù)庫。
[0019]在該技術(shù)方案中，如果一次緩存的元數(shù)據(jù)實體表的數(shù)量過多，那么若這多個元數(shù)據(jù)實體表同時同步到第二數(shù)據(jù)庫，則可能會造成同步時間過長，發(fā)生擁堵的現(xiàn)象，因此限制每次只能同步預(yù)設(shè)數(shù)量的元數(shù)據(jù)實體表對應(yīng)的數(shù)據(jù)。比如，預(yù)設(shè)數(shù)量是50，而一次緩存的元數(shù)據(jù)實體表的數(shù)量是70，那么系統(tǒng)將把70個元數(shù)據(jù)實體表中的數(shù)據(jù)分兩次同步到第二數(shù)據(jù)庫中，即第一次同步50個元數(shù)據(jù)實體表中的數(shù)據(jù)，剩下的數(shù)據(jù)在第一次同步完成之后，再進行同步。而由于實際每次同步的時間很短，因此，在用戶看來這70個數(shù)據(jù)是同時同步的，不存在時間上差異。
[0020]在上述技術(shù)方案中，優(yōu)選地，所述步驟206還包括，對緩存的所述元數(shù)據(jù)實體表的數(shù)量進行統(tǒng)計，當(dāng)所述數(shù)量未達到預(yù)設(shè)數(shù)量時，將所述元數(shù)據(jù)實體表對應(yīng)的事務(wù)操作中的數(shù)據(jù)同步至所述第二數(shù)據(jù)庫。[0021]在該技術(shù)方案中，如果一次緩存的元數(shù)據(jù)實體表的數(shù)據(jù)未達到預(yù)設(shè)數(shù)量，那么可以直接將這些元數(shù)據(jù)實體表對應(yīng)的數(shù)據(jù)都同步到第二數(shù)據(jù)庫，從而達到將數(shù)據(jù)實時同步的效果。
[0022]在上述技術(shù)方案中，優(yōu)選地，所述步驟206還包括:對已同步至所述第二數(shù)據(jù)庫的所述數(shù)據(jù)進行標(biāo)記。
[0023]在該技術(shù)方案中，為了區(qū)分緩存中的已同步數(shù)據(jù)和未同步數(shù)據(jù)，可以在已同步的數(shù)據(jù)上添加標(biāo)記。
[0024]在上述技術(shù)方案中，優(yōu)選地，還包括:步驟208，定時對標(biāo)記的所述數(shù)據(jù)進行清理。
[0025]在該技術(shù)方案中，為了保證數(shù)據(jù)同步的及時性，可以定期對緩存中的已同步數(shù)據(jù)
進行清理。
[0026]通過以上技術(shù)方案，可以在最大程度上使兩種數(shù)據(jù)庫中的數(shù)據(jù)保持同步。
【專利附圖】

【附圖說明】
[0027]圖1示出了根據(jù)本發(fā)明的實施例的數(shù)據(jù)同步裝置的框圖；
[0028]圖2示出了根據(jù)本發(fā)明的實施例的數(shù)據(jù)同步方法的流程圖；
[0029]圖3示出了根據(jù)本發(fā)明的實施例的數(shù)據(jù)同步裝置的結(jié)構(gòu)圖；
[0030]圖4示出了根據(jù)本發(fā)明的實施例的數(shù)據(jù)同步方法的具體流程圖。
【具體實施方式】
[0031]為了能夠更清楚地理解本發(fā)明的上述目的、特征和優(yōu)點，下面結(jié)合附圖和【具體實施方式】對本發(fā)明進行進一步的詳細描述。需要說明的是，在不沖突的情況下，本申請的實施例及實施例中的特征可以相互組合。
[0032]在下面的描述中闡述了很多具體細節(jié)以便于充分理解本發(fā)明，但是，本發(fā)明還可以采用其他不同于在此描述的其他方式來實施，因此，本發(fā)明的保護范圍并不受下面公開的具體實施例的限制。
[0033]圖1示出了根據(jù)本發(fā)明的實施例的數(shù)據(jù)同步裝置的框圖。
[0034]如圖1所示，根據(jù)本發(fā)明的實施例的數(shù)據(jù)同步裝置100，包括:事務(wù)操作配置模塊102，用于根據(jù)接收到的選擇指令，從第一數(shù)據(jù)庫中選擇出事務(wù)操作；事務(wù)操作處理模塊104，對所述事務(wù)操作進行監(jiān)控，并根據(jù)監(jiān)控結(jié)果判斷是否需要將所述事務(wù)操作中的數(shù)據(jù)同步到第二數(shù)據(jù)庫，在判斷結(jié)果為是時，獲取所述事務(wù)操作對應(yīng)的元數(shù)據(jù)實體表，并進行緩存；數(shù)據(jù)處理模塊106，根據(jù)緩存的所述元數(shù)據(jù)實體表和獲取的與所述元數(shù)據(jù)實體表對應(yīng)的所述第二數(shù)據(jù)庫的實體表，將所述事務(wù)操作中的數(shù)據(jù)同步到所述第二數(shù)據(jù)庫。
[0035]其中，第一數(shù)據(jù)庫可以是聯(lián)機事務(wù)處理數(shù)據(jù)庫，第二數(shù)據(jù)庫可以是聯(lián)機分析處理數(shù)據(jù)庫，通過該技術(shù)方案，可以有效的監(jiān)控操作事務(wù)，及時的將聯(lián)機事務(wù)處理數(shù)據(jù)庫中的數(shù)據(jù)同步到聯(lián)機分析處理數(shù)據(jù)庫中，確保決策的高效準(zhǔn)確。
[0036]在上述技術(shù)方案中，優(yōu)選地，所述數(shù)據(jù)處理模塊106還用于，對緩存的所述元數(shù)據(jù)實體表的數(shù)量進行統(tǒng)計，當(dāng)所述數(shù)量超過預(yù)設(shè)數(shù)量時，按照所述預(yù)設(shè)數(shù)量分次將所述元數(shù)據(jù)實體表對應(yīng)的事務(wù)操作中的數(shù)據(jù)同步至所述第二數(shù)據(jù)庫。
[0037]在該技術(shù)方案中，如果一次緩存的元數(shù)據(jù)實體表的數(shù)量過多，那么若這多個元數(shù)據(jù)實體表同時同步到第二數(shù)據(jù)庫，則可能會造成同步時間過長，發(fā)生擁堵的現(xiàn)象，因此限制每次只能同步預(yù)設(shè)數(shù)量的元數(shù)據(jù)實體表對應(yīng)的數(shù)據(jù)。比如，預(yù)設(shè)數(shù)量是50，而一次緩存的元數(shù)據(jù)實體表的數(shù)量是70，那么系統(tǒng)將把70個元數(shù)據(jù)實體表中的數(shù)據(jù)分兩次同步到第二數(shù)據(jù)庫中，即第一次同步50個元數(shù)據(jù)實體表中的數(shù)據(jù)，剩下的數(shù)據(jù)在第一次同步完成之后，再進行同步。而由于實際每次同步的時間很短，因此，在用戶看來這70個數(shù)據(jù)是同時同步的，不存在時間上差異。
[0038]在上述技術(shù)方案中，優(yōu)選地，所述數(shù)據(jù)處理模塊106還用于，對緩存的所述元數(shù)據(jù)實體表的數(shù)量進行統(tǒng)計，當(dāng)所述數(shù)量未達到預(yù)設(shè)數(shù)量時，將所述元數(shù)據(jù)實體表對應(yīng)的事務(wù)操作中的數(shù)據(jù)同步至所述第二數(shù)據(jù)庫。
[0039]在該技術(shù)方案中，如果一次緩存的元數(shù)據(jù)實體表的數(shù)據(jù)未達到預(yù)設(shè)數(shù)量，那么可以直接將這些元數(shù)據(jù)實體表對應(yīng)的數(shù)據(jù)都同步到第二數(shù)據(jù)庫，從而達到將數(shù)據(jù)實時同步的效果。
[0040]在上述技術(shù)方案中，優(yōu)選地，還包括:標(biāo)記模塊108，對已同步至所述第二數(shù)據(jù)庫的所述數(shù)據(jù)進行標(biāo)記。
[0041]在該技術(shù)方案中，為了區(qū)分緩存中的已同步數(shù)據(jù)和未同步數(shù)據(jù)，可以在已同步的數(shù)據(jù)上添加標(biāo)記。
[0042]在上述技術(shù)方案中，優(yōu)選地，還包括:清理模塊110，定時對所述標(biāo)記模塊108標(biāo)記的所述數(shù)據(jù)進行清理。
[0043]在該技術(shù)方案中，為了保證數(shù)據(jù)同步的及時性，可以定期對緩存中的已同步數(shù)據(jù)
進行清理。
[0044]圖2示出了根據(jù)本發(fā)明的實施例的數(shù)據(jù)同步方法的流程圖。
[0045]如圖2所示，根據(jù)本發(fā)明的實施例的數(shù)據(jù)同步方法，包括:步驟202，根據(jù)接收到的選擇指令，從第一數(shù)據(jù)庫中選擇出事務(wù)操作；步驟204，對所述事務(wù)操作進行監(jiān)控，并根據(jù)監(jiān)控結(jié)果判斷是否需要將所述事務(wù)操作中的數(shù)據(jù)同步到第二數(shù)據(jù)庫，在判斷結(jié)果為是時，獲取所述事務(wù)操作對應(yīng)的元數(shù)據(jù)實體表，并進行緩存；步驟206，根據(jù)緩存的所述元數(shù)據(jù)實體表和獲取的與所述元數(shù)據(jù)實體表對應(yīng)的所述第二數(shù)據(jù)庫的實體表，將所述事務(wù)操作中的數(shù)據(jù)同步到所述第二數(shù)據(jù)庫。
[0046]其中，第一數(shù)據(jù)庫可以是聯(lián)機事務(wù)處理數(shù)據(jù)庫，第二數(shù)據(jù)庫可以是聯(lián)機分析處理數(shù)據(jù)庫，通過該技術(shù)方案，可以有效的監(jiān)控操作事務(wù)，及時的將聯(lián)機事務(wù)處理數(shù)據(jù)庫中的數(shù)據(jù)同步到聯(lián)機分析處理數(shù)據(jù)庫中，確保決策的高效準(zhǔn)確。
[0047]在上述技術(shù)方案中，優(yōu)選地，步驟206還包括:對緩存的所述元數(shù)據(jù)實體表的數(shù)量進行統(tǒng)計，當(dāng)所述數(shù)量超過預(yù)設(shè)數(shù)量時，按照所述預(yù)設(shè)數(shù)量分次將所述元數(shù)據(jù)實體表對應(yīng)的事務(wù)操作中的數(shù)據(jù)同步至所述第二數(shù)據(jù)庫。
[0048]在該技術(shù)方案中，如果一次緩存的元數(shù)據(jù)實體表的數(shù)量過多，那么若這多個元數(shù)據(jù)實體表同時同步到第二數(shù)據(jù)庫，則可能會造成同步時間過長，發(fā)生擁堵的現(xiàn)象，因此限制每次只能同步預(yù)設(shè)數(shù)量的元數(shù)據(jù)實體表對應(yīng)的數(shù)據(jù)。比如，預(yù)設(shè)數(shù)量是50，而一次緩存的元數(shù)據(jù)實體表的數(shù)量是70，那么系統(tǒng)將把70個元數(shù)據(jù)實體表中的數(shù)據(jù)分兩次同步到第二數(shù)據(jù)庫中，即第一次同步50個元數(shù)據(jù)實體表中的數(shù)據(jù)，剩下的數(shù)據(jù)在第一次同步完成之后，再進行同步。而由于實際每次同步的時間很短，因此，在用戶看來這70個數(shù)據(jù)是同時同步的，不存在時間上差異。
[0049]在上述技術(shù)方案中，優(yōu)選地，所述步驟206還包括，對緩存的所述元數(shù)據(jù)實體表的數(shù)量進行統(tǒng)計，當(dāng)所述數(shù)量未達到預(yù)設(shè)數(shù)量時，將所述元數(shù)據(jù)實體表對應(yīng)的事務(wù)操作中的數(shù)據(jù)同步至所述第二數(shù)據(jù)庫。
[0050]在該技術(shù)方案中，如果一次緩存的元數(shù)據(jù)實體表的數(shù)據(jù)未達到預(yù)設(shè)數(shù)量，那么可以直接將這些元數(shù)據(jù)實體表對應(yīng)的數(shù)據(jù)都同步到第二數(shù)據(jù)庫，從而達到將數(shù)據(jù)實時同步的效果。
[0051]在上述技術(shù)方案中，優(yōu)選地，所述步驟206還包括:對已同步至所述第二數(shù)據(jù)庫的所述數(shù)據(jù)進行標(biāo)記。
[0052]在該技術(shù)方案中，為了區(qū)分緩存中的已同步數(shù)據(jù)和未同步數(shù)據(jù)，可以在已同步的數(shù)據(jù)上添加標(biāo)記。
[0053]在上述技術(shù)方案中，優(yōu)選地，還包括:步驟208，定時對標(biāo)記的所述數(shù)據(jù)進行清理。
[0054]在該技術(shù)方案中，為了保證數(shù)據(jù)同步的及時性，可以定期對緩存中的已同步數(shù)據(jù)
進行清理。
[0055]圖3示出了根據(jù)本發(fā)明的實施例的數(shù)據(jù)同步裝置的結(jié)構(gòu)圖。
[0056]如圖3所示，根據(jù)本發(fā)明的實施例的數(shù)據(jù)同步裝置300包括:事務(wù)操作配置模塊302，事務(wù)操作處理模塊304及數(shù)據(jù)處理模塊306，下面對各模塊進行詳細的說明。
[0057]事務(wù)操作配置模塊302:負責(zé)提供可配置的事務(wù)操作模塊，用于可視化界面指定關(guān)鍵需要進行實時同步存儲到OLAP數(shù)據(jù)庫中的事務(wù)操作。
[0058]事務(wù)操作處理模塊304:負責(zé)監(jiān)控解析觸發(fā)的已配置的業(yè)務(wù)操作處理的規(guī)則集合的業(yè)務(wù)數(shù)據(jù),包括集合〈0LTP元數(shù)據(jù)實體，事務(wù)操作規(guī)則，OLAP元數(shù)據(jù)實體 >。其中，事務(wù)操作處理模塊304實現(xiàn)原理:
[0059]首先，根據(jù)監(jiān)控事務(wù)操作，根據(jù)已配置的事務(wù)規(guī)則進行監(jiān)控觸發(fā)的操作，把數(shù)據(jù)處理成具有一定數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)，本發(fā)明采用MapList〈0LTP元數(shù)據(jù)實體，事務(wù)操作規(guī)則 > 來記錄實體及對應(yīng)操作規(guī)則數(shù)據(jù)，采用Map〈0LTP元數(shù)據(jù)實體.0LAP元數(shù)據(jù)實體 > 來記錄不同數(shù)據(jù)庫實體對應(yīng)。
[0060]其次，當(dāng)MapList〈0LTP元數(shù)據(jù)實體,事務(wù)操作規(guī)則 > 中OLTP元數(shù)據(jù)實體=當(dāng)前實體，事務(wù)操作規(guī)則=當(dāng)前操作時，獲取OLTP元數(shù)據(jù)實體對應(yīng)數(shù)據(jù)庫表，為了減少頻繁O(jiān)LTP到OLAP復(fù)制的網(wǎng)絡(luò)傳輸時間，本發(fā)明采用一個臨時緩存結(jié)構(gòu)，把對應(yīng)的數(shù)據(jù)庫表中數(shù)據(jù)記錄到一個緩存中，緩存采用臨時表結(jié)構(gòu)，臨時表結(jié)構(gòu)[0LTP實體表名，實體表數(shù)據(jù)字段l.n，OLAP實體表]，并設(shè)定一個閾值M，但緩存中表數(shù)據(jù)條數(shù)=M，把此緩存數(shù)據(jù)同步到OLAP數(shù)據(jù)庫中，并標(biāo)識數(shù)據(jù)已同步。
[0061]定時清空標(biāo)識已同步的緩存中數(shù)據(jù)，并繼續(xù)監(jiān)控當(dāng)前事務(wù)操作。
[0062]當(dāng)需要只對實體的某些字段進行同步時，上述裝置還可以擴展配置元數(shù)據(jù)實體字段映射。
[0063]數(shù)據(jù)處理模塊306:對事務(wù)操作處理模塊的數(shù)據(jù)組裝成數(shù)據(jù)對象結(jié)構(gòu)，同步處理到OLAP數(shù)據(jù)庫中。
[0064]圖4示出了根據(jù)本發(fā)明的實施例的數(shù)據(jù)同步方法的具體流程圖。
[0065]如圖4所示，根據(jù)本發(fā)明的實施例的數(shù)據(jù)同步方法的具體流程如下:[0066]步驟402，配置需要同步的OLAP事務(wù)操作。
[0067]步驟404，監(jiān)控事務(wù)操作規(guī)則。
[0068]步驟406，根據(jù)監(jiān)控到的事務(wù)操作規(guī)則判斷是否需要同步OLAP事務(wù)，當(dāng)判斷結(jié)果為是，進入步驟408，當(dāng)判斷結(jié)果為否，進入步驟404。其中，具體的判斷標(biāo)準(zhǔn)為，判斷當(dāng)前是否對事務(wù)操作進行操作，若進行操作，則需要同步，若未進行操作，則不需要同步。
[0069]步驟408，根據(jù)事務(wù)操作選擇其對應(yīng)的元數(shù)據(jù)集合，并進行緩存。
[0070]步驟410，將事務(wù)操作中的數(shù)據(jù)同步到OLAP數(shù)據(jù)庫中。
[0071]下面舉一個實例詳細說明本發(fā)明的技術(shù)方案。
[0072]舉例說明:生產(chǎn)環(huán)境中，需要監(jiān)控執(zhí)行訂單情況，用于決策分析。
[0073]首先:配置該生產(chǎn)訂單的需要進行實時同步到?jīng)Q策系統(tǒng)中的操作，本例中，操作包括:訂單開工，訂單完工操作。組成實體及對應(yīng)操作規(guī)則數(shù)據(jù)集合MapList〈生產(chǎn)訂單元數(shù)據(jù)實體，訂單開工，訂單完工>，Map<tmo, amo>。
[0074]其次:監(jiān)控當(dāng)前操作，if (當(dāng)前操作實體==生產(chǎn)訂單)&& (當(dāng)前操作==訂單開工or訂單完工)時，處理選擇操作數(shù)據(jù)，儲存到緩存臨時表數(shù)據(jù)庫TmpTable[tm0，billcode, num.., amo],并設(shè)置當(dāng)前闕值M=3000,當(dāng)TmpTable表中數(shù)據(jù)=M的時候，同步此表中標(biāo)識為未同步到OLAP數(shù)據(jù)庫中的amo表中。
[0075]以上結(jié)合附圖詳細說明了本發(fā)明的技術(shù)方案，通過本發(fā)明的技術(shù)方案，可以在最大程度上使兩種數(shù)據(jù)庫中的數(shù)據(jù)保持同步。
[0076]以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
【權(quán)利要求】
1.一種數(shù)據(jù)同步裝置，其特征在于，包括: 事務(wù)操作配置模塊，用于根據(jù)接收到的選擇指令，從第一數(shù)據(jù)庫中選擇出事務(wù)操作； 事務(wù)操作處理模塊，對所述事務(wù)操作進行監(jiān)控，并根據(jù)監(jiān)控結(jié)果判斷是否需要將所述事務(wù)操作中的數(shù)據(jù)同步到第二數(shù)據(jù)庫，在判斷結(jié)果為是時，獲取所述事務(wù)操作對應(yīng)的元數(shù)據(jù)實體表，并進行緩存； 數(shù)據(jù)處理模塊，根據(jù)緩存的所述元數(shù)據(jù)實體表和獲取的與所述元數(shù)據(jù)實體表對應(yīng)的所述第二數(shù)據(jù)庫的實體表，將所述事務(wù)操作中的數(shù)據(jù)同步到所述第二數(shù)據(jù)庫。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)同步裝置，其特征在于，所述數(shù)據(jù)處理模塊還用于，對緩存的所述元數(shù)據(jù)實體表的數(shù)量進行統(tǒng)計，當(dāng)所述數(shù)量超過預(yù)設(shè)數(shù)量時，按照所述預(yù)設(shè)數(shù)量分次將所述元數(shù)據(jù)實體表對應(yīng)的事務(wù)操作中的數(shù)據(jù)同步至所述第二數(shù)據(jù)庫。
3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)同步裝置，其特征在于，所述數(shù)據(jù)處理模塊還用于，對緩存的所述元數(shù)據(jù)實體表的數(shù)量進行統(tǒng)計，當(dāng)所述數(shù)量未達到預(yù)設(shè)數(shù)量時，將所述元數(shù)據(jù)實體表對應(yīng)的事務(wù)操作中的數(shù)據(jù)同步至所述第二數(shù)據(jù)庫。
4.根據(jù)權(quán)利要求1至3中任一項所述的數(shù)據(jù)同步裝置，其特征在于，還包括: 標(biāo)記模塊，對已同步至所述第二數(shù)據(jù)庫的所述數(shù)據(jù)進行標(biāo)記。
5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)同步裝置，其特征在于，還包括: 清理模塊，定時對所述標(biāo)記模塊標(biāo)記的所述數(shù)據(jù)進行清理。
6.一種數(shù)據(jù)同步方法，其特征在于，包括: 步驟202，根據(jù)接收到的選擇指令，從第一數(shù)據(jù)庫中選擇出事務(wù)操作； 步驟204，對所述事務(wù)操作進行監(jiān)控，并根據(jù)監(jiān)控結(jié)果判斷是否需要將所述事務(wù)操作中的數(shù)據(jù)同步到第二數(shù)據(jù)庫，在判斷結(jié)果為是時，獲取所述事務(wù)操作對應(yīng)的元數(shù)據(jù)實體表，并進行緩存； 步驟206，根據(jù)緩存的所述元數(shù)據(jù)實體表和獲取的與所述元數(shù)據(jù)實體表對應(yīng)的所述第二數(shù)據(jù)庫的實體表，將所述事務(wù)操作中的數(shù)據(jù)同步到所述第二數(shù)據(jù)庫。
7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)同步方法，其特征在于，步驟206還包括: 對緩存的所述元數(shù)據(jù)實體表的數(shù)量進行統(tǒng)計，當(dāng)所述數(shù)量超過預(yù)設(shè)數(shù)量時，按照所述預(yù)設(shè)數(shù)量分次將所述元數(shù)據(jù)實體表對應(yīng)的事務(wù)操作中的數(shù)據(jù)同步至所述第二數(shù)據(jù)庫。
8.根據(jù)權(quán)利要求6所述的數(shù)據(jù)同步方法，其特征在于，所述步驟206還包括， 對緩存的所述元數(shù)據(jù)實體表的數(shù)量進行統(tǒng)計，當(dāng)所述數(shù)量未達到預(yù)設(shè)數(shù)量時，將所述元數(shù)據(jù)實體表對應(yīng)的事務(wù)操作中的數(shù)據(jù)同步至所述第二數(shù)據(jù)庫。
9.根據(jù)權(quán)利要求6至8中任一項所述的數(shù)據(jù)同步方法，其特征在于，所述步驟206還包括: 對已同步至所述第二數(shù)據(jù)庫的所述數(shù)據(jù)進行標(biāo)記。
10.根據(jù)權(quán)利要求9所述的數(shù)據(jù)同步方法，其特征在于，還包括: 步驟208，定時對標(biāo)記的所述數(shù)據(jù)進行清理。
【文檔編號】G06F17/30GK103488695SQ201310392662
【公開日】2014年1月1日 申請日期:2013年9月2日 優(yōu)先權(quán)日:2013年9月2日
【發(fā)明者】李春麗 申請人:用友軟件股份有限公司