專利名稱：對源系統(tǒng)數據進行集成的方法及系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及通信領域，更具體地說，涉及數據集成。
背景技術：
在數據集成中，常常需要將一個系統(tǒng)的數據集成到另一個系統(tǒng)，該系統(tǒng)
可以是企業(yè)的信息系統(tǒng)，例如ERP ( Enterprise Resource Planning ，企業(yè)資源計
劃)系統(tǒng)等。
現有的進行數據集成的一種過程包括(1 )從源系統(tǒng)接收到數據；(2) 查詢每條數據是否已經存在目標系統(tǒng)中；(3)根據查詢結果進行相應處理 若存在則更新，若不存在則新增。在該系統(tǒng)中，對每條數據都需要做一個"查 詢是否已經存在"的操作，對于源系統(tǒng)數據具有遞增性(例如M、 M+l、 M+2........M+K， K為正整數)的情況也仍然如此，數據集成過程比較繁瑣。
現有的進行數據集成的另一種過程包括(1 )從源系統(tǒng)接收數據，并用 變量M記錄遞增列的已集成數據中的最大值；(2 )將接收到的數據標識號 (Identifier, Id)與變量M比較；(3 )根據比較結果進行相應處理接收數 據Id大于M時，表明該數據一定沒有被集成過，在在目標系統(tǒng)中新增該數據， 并且更新變量M;若Id小于M，則查詢該數據是否已經存在目標系統(tǒng)中，若存 在則更新，若不存在則新增。該技術在對遞增性數據作并發(fā)處理時，Id在后面 的數據可能先處理，M則更新為該Id的值。其后剩下的數據其實都比其小，但 每一個數據都必須執(zhí)行"與新的M比較、查詢是否存在，，的操作，此對數據進 行查詢的次數較多，導致處理效率較低。
因此需要一種新的對源系統(tǒng)數據進行集成的方法，能夠減少對數據的查 詢操作，提高集成效率。

發(fā)明內容
本發(fā)明的目的之一在于提供一種對源系統(tǒng)數據進行集成的方法及系統(tǒng)， 以減少在對源系統(tǒng)數據進行集成時的查詢次數，提高處理效率。
才艮據本發(fā)明，所述對源系統(tǒng)數據進行集成的系統(tǒng)可包括用于接收源系統(tǒng) 數據的數據接收單元、用于判斷源系統(tǒng)數據所在的區(qū)間的定位單元、用于對 源系統(tǒng)數據進行新增或更新的數據調配單元，所述系統(tǒng)還可包括
設置有 一 緩存區(qū)的狀態(tài)判斷單元，對所述區(qū)間位于緩存區(qū)數值范圍內的 源系統(tǒng)數據進行集成狀態(tài)判斷，并將判斷結果發(fā)送給數據調配單元。其中，所述緩存區(qū)保存有已集成數據中最大值+K范圍內的數據狀態(tài)，其 中K為正整數。
其中，所述系統(tǒng)還可包括
數據查詢單元，查詢所述源系統(tǒng)數據在目標系統(tǒng)中是否存在，并將查詢 結果發(fā)送給數據調配單元。
其中，所述數據調配單元可包括
數據新增模塊，用于將未集成過的數據新增到目標系統(tǒng)中； 數據更新模塊，用于將已集成過的數據在目標系統(tǒng)中更新。 另一方面，根據本發(fā)明，所述對源系統(tǒng)數據進行集成的方法包括以下步
驟
A. 接收源系統(tǒng)數據，并判斷源系統(tǒng)數據所在的區(qū)間；
B. 對所述區(qū)間位于一緩存區(qū)數值范圍內的源系統(tǒng)數據進行集成狀態(tài)判
斷；
C. 根據判斷結果對源系統(tǒng)數據進行新增或更新操作。 其中，在所述步驟A之前還可包括
設置對源系統(tǒng)數據進行集成狀態(tài)判斷的緩存區(qū)。
其中，所述設置對源系統(tǒng)數據進行集成狀態(tài)判斷的緩存區(qū)的過程包括 將變量M設為已集成數據中的最大值N，并將[N+1， N+K]范圍的數據狀 態(tài)存儲到一緩存區(qū)中，其中K為正整數。 其中，所述步驟B可包括
Bl.將位于[N+1 ， N+K]的數值范圍內的源系統(tǒng)數據送入所述緩存區(qū)中； B2.利用所述緩存區(qū)判斷所述源系統(tǒng)數據的集成狀態(tài)，所述集成狀態(tài)包括 已集成過、未集成過。
其中，所述步驟C可包括
若所述判斷結果是已集成過，則對源系統(tǒng)數據進行更新。 若所述判斷結果是未集成過，則對源系統(tǒng)數據進行新增。其中，還包括
對于超過N+K的源系統(tǒng)數據X，在目標系統(tǒng)中新增，并將變量M賦值為X-K,
以及將X-K之后的數據設置為未集成過。
根據本發(fā)明，可避免在對源系統(tǒng)數據進行集成的過程中進行多次重復查
詢，因此提高了處理效率。


圖l是本發(fā)明一個實施例中對源系統(tǒng)數據進行集成的系統(tǒng)結構圖2是圖1所示系統(tǒng)的 一個實施例中數據調配單元的結構圖3是本發(fā)明 一個實施例中對源系統(tǒng)數據進行集成的方法流程5圖4是圖3所示流程的 一個實施例中對源系統(tǒng)數據進行集成的方法流程圖。
具體實施例方式
以下結合附圖及實施例，對本發(fā)明的具體實施方式
進行進一步詳細說明。 圖1示出了本發(fā)明其中 一個實施例中對源系統(tǒng)數據進行集成的系統(tǒng)結構，
該系統(tǒng)包括數據接收單元IO、定位單元20、數據查詢單元30、狀態(tài)判斷單元 40和數據調配單元50。應當說明的是，本發(fā)明所有圖示中各設備之間的連接 關系是為了清楚闡釋其信息交互及控制過程的需要，因此應當視為邏輯上的 連接關系，而不應僅限于物理連接。另外需要說明的是，各功能模塊之間的 通信方式可以采取多種，本發(fā)明的保護范圍不應限定為某種特定類型的通信 方式。其中
(1) 數據接收單元10用于接收源系統(tǒng)數據，并將其發(fā)送給定位單元20。 在本發(fā)明中，源系統(tǒng)數據具有遞增性，例如以一定的等差d進行遞增，構成一 組等差數列，當等差d為l時，該源系統(tǒng)數據為X、 X+l、 X+2........ X+K。
(2) 定位單元20與數據接收單元10、數據查詢單元30、狀態(tài)判斷單元40 和數據調配單元50分別相連，用于判斷接收到的源系統(tǒng)數據所在的數值區(qū)間， 并將不同區(qū)間的源系統(tǒng)數據發(fā)送至相應的處理單元。
(3) 數據查詢單元30與定位單元20、數據調配單元50分別相連，用于查 詢并判斷所接收的源系統(tǒng)數據的狀態(tài)，并將判斷結果送入50進行處理。本發(fā) 明中，源系統(tǒng)凄史據的狀態(tài)包括已集成過、未集成過。
(4) 狀態(tài)判斷單元40與定位單元20和數據調配單元50分別相連，其設置 有用于判斷數據狀態(tài)的緩存區(qū)，對落入緩存區(qū)數值范圍內的源系統(tǒng)數據進行 集成狀態(tài)(包括已集成過、未集成過)判斷，并將判斷結果發(fā)送給數據調配 單元50。
(5) 數據調配單元50用于對數據進行新增或更新，若所接收的源系統(tǒng)數 據未集成過，則在目標系統(tǒng)中新增該數據，若已集成過，則在目標系統(tǒng)中對 該數據進行更新。
如上所述，定位單元20用于判斷接收到的源系統(tǒng)數據所在的數值區(qū)間， 并將不同區(qū)間的源系統(tǒng)數據發(fā)送至相應的處理單元。在一個實施例中，若所 接收到的源系統(tǒng)數據為X，狀態(tài)判斷單元40所設置的緩存區(qū)數值范圍為[N+l, N+K]，那么定位單元20的判斷及處理方式如下
若X〈N+1 ，則將該源系統(tǒng)數據X送入數據查詢單元30;
若N+1《X《N+K,則將該源系統(tǒng)數據X送入狀態(tài)判斷單元40;若X〉N+K，則將該源系統(tǒng)數據X送入數據調配單元50。
在一個實施例中，狀態(tài)判斷單元40中設置的緩存區(qū)保存有已集成數據中 最大值+K范圍內的數據狀態(tài)，其中K為正整數，已集成數據中最大值為N。
初始化時，先初始化變量M為當前已經集成到的最大值N。緩存區(qū)中的狀 態(tài)表示的是ID為N+1， N+2， N+3， ......， N+K的狀態(tài)。因為是ID是遞增的，
所以ID為N+1后的數據都未被集成過。所以在第一次初始化時，緩存區(qū)內的 狀態(tài)都是未集成過。
當狀態(tài)判斷單元40接收到定位單元20發(fā)送過來的數據(N+l《X《N +K) 后，則利用預先設置好的緩存區(qū)判斷該源系統(tǒng)數據X的狀態(tài)，包括已集成過或 未集成過。
圖2示出了本發(fā)明其中一個實施例中數據調配單元50的結構，包括數據新 增模塊51和數據更新模塊52。其中
數據新增模塊51用于將未集成過的源系統(tǒng)數據新增到目標系統(tǒng)中。而對 于不同來源的未集成過的數據X,具體還可包括以下幾種處理情形(l)若 數據"未集成過"的狀態(tài)是由定位單元20發(fā)送過來的，則在新增后需要將輪 詢變量設置為1V^X-K,并將其后數據的狀態(tài)設置為未集成；(2)若數據"未 集成過"的狀態(tài)是由數據查詢單元30發(fā)送過來，則僅新增，無需作后續(xù)處理； (3)若數據"未集成過"的狀態(tài)是由狀態(tài)判斷單元40發(fā)送過來，則在新增后 要將緩存區(qū)中該數據的狀態(tài)設置為已集成。
數據更新模塊52用于將已集成過的源系統(tǒng)數據在目標系統(tǒng)中更新。典型 的，可將新數據覆蓋原始數據。
圖3示出了本發(fā)明其中 一個實施例中對源系統(tǒng)數據進行集成的方法流程， 包括如下步驟
在步驟S301中，接收源系統(tǒng)數據，并設置用于判斷數據狀態(tài)的緩存區(qū)。 在步驟S302中，判斷源系統(tǒng)數據的區(qū)間，并利用緩存區(qū)對落入其數值范 圍內的源系統(tǒng)數據進行集成狀態(tài)判斷。
在步驟S303中，根據判斷結果，對源系統(tǒng)數據進行新增或更新操作。
圖4示出了本發(fā)明其中一個實施例中對源系統(tǒng)數據進行集成的方法流程， 具體過程如下
在步驟S401中，狀態(tài)判斷單元40將變量M設為已集成數據中的最大值N, 設置+K范圍的數據狀態(tài)緩存區(qū)。在步驟S402中，數據接收單元10接收源系統(tǒng)數據，并將其發(fā)送給定位單 元20。
在步驟S403中，定位單元20判斷接收到的源系統(tǒng)數據所在的數值區(qū)間， 并將不同區(qū)間的源系統(tǒng)數據發(fā)送至相應的處理單元，包括若X〈N,則將該 源系統(tǒng)數據X送入數據查詢單元30;若N+1《X《N+K，則將該源系統(tǒng)數據X 送入狀態(tài)判斷單元40;若X〉N+K，則將該源系統(tǒng)數據X送入數據調配單元50。
在步驟S404中，數據查詢單元30收到定位單元20發(fā)送的源系統(tǒng)數據 (X〈N+1)后，則查詢并判斷所接收的源系統(tǒng)數據的狀態(tài)，并將判斷結果送 入數據調配單元50進行處理。
在步驟S405中，數據調配單元50接收到數據查詢單元30發(fā)送的判斷結果， 并作出相應處理若判斷結果是未集成過，則在目標系統(tǒng)中新增該源系統(tǒng)數 據；若已集成過，則轉步驟S407。
在步驟S406中，狀態(tài)判斷單元40收到定位單元20發(fā)送的源系統(tǒng)數據(N+l 《X《N+K)后，則利用預先設置的緩存區(qū)對源系統(tǒng)數據進行集成狀態(tài)判斷， 并將判斷結果發(fā)送給數據調配單元50。
在步驟S407中，數據調配單元50接收到狀態(tài)判斷單元40發(fā)送的判斷結果， 并作出相應處理若判斷結果是已集成過，則在目標系統(tǒng)中更新該數據；若 判斷結果是未集成過，則轉步驟S408。
在步驟S408中，數據調配單元50接收到狀態(tài)判斷單元40發(fā)送的判斷結果 是未集成過，則在目標系統(tǒng)中新增該數據。
在步驟S409中，當數據調配單元50將狀態(tài)判斷單元40發(fā)送的源系統(tǒng)數據 數據(N+1《X《N+K)新增后，則將緩存區(qū)中該數據的狀態(tài)設置為已集成。
在步驟S410中，數據調配單元50接收到定位單元20發(fā)送的源系統(tǒng)數據 (X〉N+K)后，說明該數據是未集成過的，則直接在目標系統(tǒng)中新增該數據， 并轉步驟S411。
在步驟S411中，數據調配單元50將定位單元20發(fā)送的源系統(tǒng)數據 (X〉N+K)新增后，在將輪詢變量設置為M二X-K,并將其后數據設置為未集 成過。
在一個具體實施例中，若緩存區(qū)長度K二6。塊數組為status， true表示已集 成過，false表示未集成過。目標系統(tǒng)已經集成過3條數據，Id分別為l、 3、 5。 最大的Id為5，所有初始化M二5，三個線程并發(fā)。具體過程如下
首先進行初始化
k=6, M=5， status[l]=false， status[2]=fase, status[3]=false, status[4]=false， status[5]二false, status[6]=false 。(1 )數據一、Id=8, M<Id<M+K。
因為5<8<5+6，所以查詢緩存區(qū)狀態(tài)8-5=3 ,第三位狀態(tài)status[3;hfalse 所以數據未被集成過
更新狀態(tài)更新第Id-M位狀態(tài)
status[l]二false， status[2]=false, status[3]=true, status[4]=false， status[5 ]=false， status[6]=false。
(2) 數據二、 Id=4,那么IcKM。
查詢一次目標系統(tǒng)，由于目標系統(tǒng)只有l(wèi)、 3、 5。得到該數據未被集成過。
(3) 數據三、Id二6。
因為5<6<5+6,所以查詢緩存區(qū)狀態(tài)。查看塊中的狀態(tài)6-5=1 ,第一位 狀態(tài)status[l]二false,所以數據未被集成過。 更新狀態(tài)更新第Id-M位狀態(tài)
status[l]=true， status[2]=false, status[3〗=true， status[4]=false， status[5]-false， status [6]=false。
(4) 數據四、Id= 10。
因為5<10<5+6，所以查詢緩存區(qū)狀態(tài)，查看塊中的狀態(tài)10-5=5，第五 位狀態(tài)status[5^false，所以數據未被集成過。 更新狀態(tài)更新第Id-M位狀態(tài)
Status[l]=true， status[2]=false, status[3]=true, status[4]=false， status[5]=trae, status[6]=false。
(5) 數據五、Id=14。
因為5+6 <14，所以直接得出數據狀態(tài)是未被集成過。 移動緩存區(qū)包括下列步驟
1、 移動M: M = Id-k=14-6=8;
2、 移動status數組 原status數組(原M-5):
status[l]( Id=M+l=6)=true,status[2]( Id=7)=false,
status[3]( Id=8)=true，status[4]( Id=9)=false，
status[5]( Id=10)=true，status[6]( Id=l l)=false。
移動后status數組(現M^8):
status[l]( Id= M +l=9)=false, status[2]( Id=10)=true
status[3]( Id=l l)=false,這部分狀態(tài)由前面的狀態(tài)得到。
這部分新增id的狀態(tài)為未集成，因為前面最大的集成Id- M +k=5+6==l 1 。
status[4](Id=12)=false， status[5]( Id=13)=false， status[6]( Id=14)=false。
以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本 發(fā)明的保護范圍之內。
權利要求
1、一種對源系統(tǒng)數據進行集成的系統(tǒng)，包括用于接收源系統(tǒng)數據的數據接收單元、用于判斷源系統(tǒng)數據所在的區(qū)間的定位單元、用于對源系統(tǒng)數據進行新增或更新的數據調配單元，其特征在于，所述系統(tǒng)還包括設置有一緩存區(qū)的狀態(tài)判斷單元，對所述區(qū)間位于緩存區(qū)數值范圍內的源系統(tǒng)數據進行集成狀態(tài)判斷，并將判斷結果發(fā)送給數據調配單元。
2、 根據權利要求l所述的對源系統(tǒng)數據進行集成的系統(tǒng)，其特征在于，所述緩存區(qū)保存有已集成數據中最大值+K范圍內的數據狀態(tài)，其中K為正整數。
3、 根據權利要求l所述的對源系統(tǒng)數據進行集成的系統(tǒng)，其特征在于，所述系統(tǒng)還包括數據查詢單元，查詢所述源系統(tǒng)數據在目標系統(tǒng)中是否存在，并將查詢結果發(fā)送給數據調配單元。
4、 根據權利要求l所述的對源系統(tǒng)數據進行集成的系統(tǒng)，其特征在于，所述數據調配單元包括數據新增模塊，用于將未集成過的數據新增到目標系統(tǒng)中；數據更新模塊，用于將已集成過的數據在目標系統(tǒng)中更新。
5、 一種對源系統(tǒng)數據進行集成的方法，其特征在于，所述方法包括以下步驟A. 接收源系統(tǒng)數據，并判斷源系統(tǒng)數據所在的區(qū)間；B. 對所述區(qū)間位于一緩存區(qū)數值范圍內的源系統(tǒng)數據進行集成狀態(tài)判斷；C. 根據判斷結果對源系統(tǒng)數據進行新增或更新操作。
6、 根據權利要求5所述的對源系統(tǒng)數據進行集成的方法，其特征在于，所述步驟A之前還包括設置對源系統(tǒng)數據進行集成狀態(tài)判斷的緩存區(qū)。
7、 根據權利要求6所述的對源系統(tǒng)數據進行集成的方法，其特征在于，所述設置對源系統(tǒng)數據進行集成狀態(tài)判斷的緩存區(qū)的過程包括將變量M設為已集成數據中的最大值N,并將[N+1， N+K]范圍的數據狀態(tài)存儲到一緩存區(qū)中，其中K為正整數。
8、 根據權利要求7所述的對源系統(tǒng)數據進行集成的方法，其特征在于，所述步驟B包括B1 .將位于[N+1, N+K]的數值范圍內的源系統(tǒng)數據送入所述緩存區(qū)中；B2.利用所述緩存區(qū)判斷所述源系統(tǒng)數據的集成狀態(tài)，所述集成狀態(tài)包括已集成過、未集成過。
9、 根據權利要求8所述的對源系統(tǒng)數據進行集成的方法，其特征在于，所述步驟C包括若所述判斷結果是已集成過，則對源系統(tǒng)數據進行更新。
10、 根據權利要求8所述的對源系統(tǒng)數據進行集成的方法，其特征在于，所述步驟C包括若所述判斷結果是未集成過，則對源系統(tǒng)數據進行新增。
11、 根據權利要求10所述的對源系統(tǒng)數據進行集成的方法，其特征在于，所述步驟C還包括對于超過N+K的源系統(tǒng)數據X，在目標系統(tǒng)中新增，并將變量MU武值為X-K，以及將X-K之后的數據設置為未集成過。
全文摘要
本發(fā)明涉及通信領域，提供了一種對源系統(tǒng)數據進行集成的方法及系統(tǒng)。所述方法包括以下步驟A.接收源系統(tǒng)數據，并判斷源系統(tǒng)數據所在的區(qū)間；B.對所述區(qū)間位于一緩存區(qū)數值范圍內的源系統(tǒng)數據進行集成狀態(tài)判斷；C.根據判斷結果對源系統(tǒng)數據進行新增或更新操作。本發(fā)明在對源系統(tǒng)數據進行集成的過程中，設置有一個+K范圍的數據狀態(tài)緩存區(qū)，當接收的源系統(tǒng)數據落入該范圍內時，則利用該緩存區(qū)判斷源系統(tǒng)數據的狀態(tài)，并根據判斷結果進行相應的新增或更新處理，因此避免了多次重復查詢，提高了處理效率。
文檔編號G06F17/30GK101477525SQ200810187398
公開日2009年7月8日 申請日期2008年12月31日 優(yōu)先權日2008年12月31日
發(fā)明者李健愉 申請人:金蝶軟件(中國)有限公司