專利名稱：一種分析數(shù)據(jù)記錄集合的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機系統(tǒng)分布式負載均衡技術(shù)，并且尤其涉及的分析數(shù)據(jù)記錄集合的系統(tǒng)和方法。
背景技術(shù)：
在對數(shù)據(jù)記錄集合的分析過程中，例如，關(guān)于銀行卡的交易的數(shù)據(jù)記錄，由于不同銀行卡的交易的數(shù)據(jù)記錄數(shù)量之間的差異，往往會造成計算機系統(tǒng)分布式負載均衡困難，導(dǎo)致計算機系統(tǒng)整體性能下降。通常，數(shù)量巨大的數(shù)據(jù)記錄可以通過多個分析單元進行分布式的分析，但是在一些特定的分析情況下，要求每條數(shù)據(jù)記錄的歸屬主體由同一分析單元進行分析。例如，在銀行卡交易分析中要求同一張銀行卡的交易必須在同一個分析單元中進行按序連續(xù)分析，才能分析出該銀行卡的交易行為軌跡。在這種情況下，由于每張銀行卡的交易發(fā)生的時間是隨機的，要求每條數(shù)據(jù)記錄的歸屬主體由同一分析單元進行分析的前提下，實現(xiàn)多個分析單元的負載均衡成為難點。又如，當(dāng)分析單元的數(shù)量固定而待分析的數(shù)據(jù)記錄的分布情況發(fā)生變化時或者當(dāng)分析單元的數(shù)量發(fā)生變化時，計算機系統(tǒng)往往難以適應(yīng)各個分析單元所產(chǎn)生的負載變化，使得難以關(guān)聯(lián)計算機系統(tǒng)的資源，從而導(dǎo)致計算機系統(tǒng)整體性能下降。同時，為適應(yīng)數(shù)據(jù)記錄分布情況或者分析單元的數(shù)量發(fā)生變化，通常需要人工調(diào)整每個分析單元的分析范圍才能重新達到負載均衡。本發(fā)明的目的在于改善計算機系統(tǒng)的內(nèi)部性能，通過計算機執(zhí)行一種系統(tǒng)內(nèi)部性能改進程序控制計算機系統(tǒng)內(nèi)部對象，使得能夠靈活地分配待處理的數(shù)據(jù)記錄集合，進而達到理想的負載均衡狀態(tài)，從而提高計算機系統(tǒng)的處理性能。

發(fā)明內(nèi)容
為解決上述問題，本發(fā)明提供一種分析數(shù)據(jù)記錄集合的系統(tǒng)，其特征在于，該系統(tǒng)包括:數(shù)據(jù)接收模塊，配置成接收數(shù)據(jù)記錄集合；靜態(tài)配置模塊，配置成將所述數(shù)據(jù)記錄集合分成多個數(shù)據(jù)塊，其中每個數(shù)據(jù)塊包括一條或多條數(shù)據(jù)記錄；動態(tài)決策模塊，配置成根據(jù)處理模塊的負載情況，將同一數(shù)據(jù)塊中的數(shù)據(jù)記錄分配給同一分析單元；處理模塊，包括多個分析單元，該多個分析單元用于接收并分析來自動態(tài)決策模塊分配的數(shù)據(jù)記錄。在所述公開的方案中，所述靜態(tài)配置模塊包括:屬性設(shè)定單元，配置成為數(shù)據(jù)記錄設(shè)定一個或多個屬性，其中，所述一個或多個屬性根據(jù)數(shù)據(jù)記錄中的一個或多個字段被設(shè)定。粒度配置單元，配置成從屬性設(shè)定單元設(shè)定的一個或多個屬性選擇一個或多個特定屬性，其中，所述一個或多個特定屬性用作數(shù)據(jù)劃分的粒度，數(shù)據(jù)劃分單元，配置成將具有相同的特定屬性的屬性值的數(shù)據(jù)記錄劃分到同一數(shù)據(jù)塊，使得所述數(shù)據(jù)記錄集合中的記錄被劃分到多個數(shù)據(jù)塊。在所述公開的方案中，所述動態(tài)決策模塊包括:識別單元，配置成識別待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊，匹配單元，配置成將所述識別的待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊與所述多個分析單元中的一個匹配，分配單元，配置成將所述待分析的數(shù)據(jù)記錄分配給與其所屬的數(shù)據(jù)塊匹配的分析單元。在所述公開的方案中，所述匹配單元包括匹配關(guān)系存儲單元用于存儲數(shù)據(jù)塊與分析單元的匹配關(guān)系，所述匹配單元進一步配置成根據(jù)匹配關(guān)系判斷待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊是否已經(jīng)與所述多個分析單元中的一個匹配，所述分配單元進一步配置成根據(jù)匹配關(guān)系分配所述待分析的數(shù)據(jù)記錄。在所述公開的方案中，所述匹配單元進一步配置成，當(dāng)判斷當(dāng)前待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊未與所述多個分析單元中的一個匹配時，將該數(shù)據(jù)塊與所述多個分析單元中的一個匹配，并存儲該匹配關(guān)系。在所述公開的方案中，所述匹配單元配置成將所述數(shù)據(jù)塊與所述分析單元均勻地進行匹配。在所述公開的方案中，所述匹配單元配置成，當(dāng)該當(dāng)前待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊未與所述多個分析單元中的一個匹配時，按序循環(huán)選擇所述多個分析單元中的一個，并將該選擇的分析單元與該數(shù)據(jù)塊匹配。在所述公開的方案中，所述數(shù)據(jù)劃分單元為每一個數(shù)據(jù)塊設(shè)定數(shù)據(jù)塊標(biāo)識符，其中所述數(shù)據(jù)塊標(biāo)識符作為添加字段被記錄到相應(yīng)的數(shù)據(jù)記錄中，所述判斷單元根據(jù)數(shù)據(jù)塊標(biāo)識符判斷待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊。在所述公開的方案中，所述處理模塊還包括反饋單元，用于向所述動態(tài)決策模塊反饋分析單元的狀態(tài)信息，所述狀態(tài)信息包括分析單元的數(shù)量。所述動態(tài)決策模塊還包括狀態(tài)存儲單元，狀態(tài)存儲單元配置成存儲分析單元數(shù)量，所述匹配單元根據(jù)分析單元的數(shù)量將未進行匹配的數(shù)據(jù)塊與所述多個分析單元進行匹配
在所述公開的方案中，所述狀態(tài)存儲單元進一步配置成所述分析單元按序存儲對應(yīng)的自然數(shù)標(biāo)識符，所述數(shù)據(jù)塊標(biāo)識符是按順序分配的自然數(shù)，所述匹配單元通過基于將數(shù)據(jù)塊標(biāo)識符對應(yīng)的自然數(shù)除以所述分析單元的數(shù)量得到的余數(shù)所對應(yīng)的分析單元的自然數(shù)標(biāo)識符來將未與分析單元匹配的當(dāng)前待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊與該對應(yīng)的分析單元匹配。在所述公開的方案中，當(dāng)所述反饋單元反饋的分析單元的數(shù)量發(fā)生變化時,所述匹配單元配置成對所述數(shù)據(jù)塊和所述分析單元進行重新匹配。根據(jù)本發(fā)明的另一個目的，提供一種分析數(shù)據(jù)記錄集合的方法，其特征在于，該方法包括:數(shù)據(jù)接收過程，在該過程中接收數(shù)據(jù)記錄集合；靜態(tài)配置過程，在該過程中將所述數(shù)據(jù)記錄集合分成多個數(shù)據(jù)塊，其中每個數(shù)據(jù)塊包括一條或多條數(shù)據(jù)記錄；動態(tài)決策過程，在該過程中根據(jù)處理過程的負載情況，將同一數(shù)據(jù)塊中的數(shù)據(jù)記錄分配給同一分析過程；處理過程，包括利用多個分析單元進行分析的過程，分析單元中接收并分析在動態(tài)決策過程中分配的數(shù)據(jù)記錄。在所述公開的方案中，所述靜態(tài)配置過程包括:屬性設(shè)定過程，在該過程中為數(shù)據(jù)記錄設(shè)定一個或多個屬性，其中，所述一個或多個屬性根據(jù)數(shù)據(jù)記錄中的一個或多個字段被設(shè)定。粒度配置過程，在該過程中從屬性設(shè)定過程設(shè)定的一個或多個屬性選擇一個或多個特定屬性，其中，所述一個或多個特定屬性用作數(shù)據(jù)劃分的粒度，數(shù)據(jù)劃分過程，在該過程中將具有相同的特定屬性的屬性值的數(shù)據(jù)記錄劃分到同一數(shù)據(jù)塊，使得所述數(shù)據(jù)記錄集合中的記錄被劃分到多個數(shù)據(jù)塊。在所述公開的方案中，所述動態(tài)決策過程包括:識別過程，在該過程中識別待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊，匹配過程，在該過程中將所述識別的待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊與所述多個分析單元中的一個匹配，分配過程，在該過程中將所述待分析的數(shù)據(jù)記錄分配給與其所屬的數(shù)據(jù)塊匹配的分析單元。在所述公開的方案中，所述匹配過程包括匹配關(guān)系存儲過程用于存儲數(shù)據(jù)塊與分析單元的匹配關(guān)系，所述匹配過程進一步包括根據(jù)匹配關(guān)系判斷待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊是否已經(jīng)與所述多個分析單元中的一個匹配，所述分配過程進一步包括根據(jù)匹配關(guān)系分配所述待分析的數(shù)據(jù)記錄。在所述公開的方案中，所述匹配過程進一步包括，當(dāng)判斷當(dāng)前待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊未與所述多個分析單元中的一個匹配時，將該數(shù)據(jù)塊與所述多個分析單元中的一個匹配，并存儲該匹配關(guān)系。在所述公開的方案中，所述在匹配過程中將所述數(shù)據(jù)塊與所述分析單元均勻地進行匹配。在所述公開的方案中，在所述匹配過程中，當(dāng)該當(dāng)前待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊未與所述多個分析單元中的一個匹配時，按序循環(huán)選擇所述多個分析單元中的一個，并將該選擇的分析單元與該數(shù)據(jù)塊匹配。在所述公開的方案中，所述數(shù)據(jù)劃分過程為每一個數(shù)據(jù)塊設(shè)定數(shù)據(jù)塊標(biāo)識符，其中所述數(shù)據(jù)塊標(biāo)識符作為添加字段被記錄到相應(yīng)的數(shù)據(jù)記錄中，所述判斷過程根據(jù)數(shù)據(jù)塊標(biāo)識符判斷待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊。在所述公開的方案中，所述處理過程還包括反饋過程，用于向所述動態(tài)決策過程反饋分析單元的狀態(tài)信息，所述狀態(tài)信息包括分析單元的數(shù)量。所述動態(tài)決策過程還包括狀態(tài)存儲過程，狀態(tài)存儲過程在該過程中存儲分析單元數(shù)量，所述匹配過程根據(jù)分析單元的數(shù)量將未進行匹配的數(shù)據(jù)塊與所述多個分析單元進行匹配。在所述公開的方案中，所述狀態(tài)存儲過程進一步在該過程中所述分析單元按序存儲對應(yīng)的自然數(shù)標(biāo)識符，所述數(shù)據(jù)塊標(biāo)識符是按順序分配的自然數(shù)，所述匹配過程通過基于將數(shù)據(jù)塊標(biāo)識符對應(yīng)的自然數(shù)除以所述分析單元的數(shù)量得到的余數(shù)所對應(yīng)的分析單元的自然數(shù)標(biāo)識符來將未與分析單元匹配的當(dāng)前待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊與該對應(yīng)的分析單元匹配。在所述公開的方案中，當(dāng)所述反饋過程反饋的分析單元的數(shù)量發(fā)生變化時，所述匹配過程在該過程中對所述數(shù)據(jù)塊和所述分析單元進行重新匹配。本發(fā)明的目的在于改善計算機系統(tǒng)內(nèi)部性能，通過計算機執(zhí)行一種系統(tǒng)內(nèi)部性能改進程序控制計算機系統(tǒng)內(nèi)部對象，完成對該計算機系統(tǒng)各個組成部分實施的一系列設(shè)置或者調(diào)整，從而獲得計算機系統(tǒng)內(nèi)部性能改進的效果。


在參照附圖閱讀了本發(fā)明的具體實施方式
以后，本領(lǐng)域技術(shù)人員將會更清楚地了解本發(fā)明的各個方面。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的是，這些附圖僅僅用于配合具體實施方式
說明本發(fā)明的技術(shù)方案，而并非意在對本發(fā)明的保護范圍構(gòu)成限制。圖1是根據(jù)本發(fā)明一個實施例的分析數(shù)據(jù)記錄集合的系統(tǒng)的組成示意圖。圖2是根據(jù)本發(fā)明實施例的分析數(shù)據(jù)記錄集合的方法的步驟流程圖。
具體實施例方式下面參照附圖，對本發(fā)明的具體實施方式
作進一步的詳細描述。圖1是根據(jù)本發(fā)明實施例的分析數(shù)據(jù)記錄集合的系統(tǒng)的組成示意圖。如圖1所示，分析數(shù)據(jù)記錄集合的系統(tǒng)包括數(shù)據(jù)接收模塊、靜態(tài)配置模塊、動態(tài)決策模塊、處理模塊。其中，數(shù)據(jù)接收模塊被配置成接收數(shù)據(jù)記錄集合，該數(shù)據(jù)記錄集合包括一條或多條數(shù)據(jù)記錄。數(shù)據(jù)接收模塊將接收的數(shù)據(jù)記錄集合傳送到靜態(tài)配置模塊。靜態(tài)配置模塊被配置成對所述數(shù)據(jù)記錄集合進行預(yù)處理，即將所述數(shù)據(jù)記錄集合分成多個數(shù)據(jù)塊，其中每個數(shù)據(jù)塊包括一條或多條數(shù)據(jù)記錄。動態(tài)決策模塊從靜態(tài)配置模塊接收被分塊的數(shù)據(jù)記錄，并且被配置成根據(jù)處理模塊的負載情況，將同一數(shù)據(jù)塊中的數(shù)據(jù)記錄分配給處理模塊中的同一分析單元。處理模塊包括多個分析單元，該多個分析單元用于接收并分析來自動態(tài)決策模塊分配的數(shù)據(jù)記錄。由于能夠利用靜態(tài)配置模塊對數(shù)據(jù)記錄集合進行分塊處理，因此，即使當(dāng)數(shù)據(jù)記錄的分布情況發(fā)生變化時，也能夠通過靜態(tài)配置模塊靈活地改變數(shù)據(jù)記錄集合的分塊模式，使得新的分塊模式能夠適應(yīng)數(shù)據(jù)記錄的分布情況的變化，從而使得處理每一個數(shù)據(jù)庫的分析單元的負載均衡。本發(fā)明的動態(tài)決策模塊能夠根據(jù)處理模塊的負載情況動態(tài)地調(diào)整分配給分析單元的分析任務(wù)，因此即使當(dāng)分析單元的數(shù)量發(fā)生變化，計算機系統(tǒng)也能適應(yīng)各個分析單元所產(chǎn)生的負載變化。在上述實施例中，靜態(tài)配置模塊可選地包括屬性設(shè)定單元、粒度配置單元、數(shù)據(jù)劃分單元，如圖1所示。其中，屬性設(shè)定單元被配置成為數(shù)據(jù)記錄設(shè)定一個或多個屬性，其中，所述一個或多個屬性根據(jù)數(shù)據(jù)記錄中的一個或多個字段被設(shè)定。示例性地，對于銀行卡交易分析的情況，可以將交易數(shù)據(jù)記錄中的銀行卡號、發(fā)卡行、銀行卡性質(zhì)、銀行卡卡號的末位作為數(shù)據(jù)記錄的屬性。粒度配置單元被配置成從屬性設(shè)定單元設(shè)定的一個或多個屬性選擇一個或多個特定屬性，其中，所述一個或多個特定屬性用作數(shù)據(jù)劃分的粒度。對于上述示例，例如，可以將發(fā)卡行、銀行卡性質(zhì)、銀行卡卡號的末兩位選擇作為特定屬性。數(shù)據(jù)劃分單元，配置成將具有相同的特定屬性的屬性值的數(shù)據(jù)記錄劃分到同一數(shù)據(jù)塊，使得所述數(shù)據(jù)記錄集合中的記錄被劃分到多個數(shù)據(jù)塊。對于上述示例，例如，發(fā)卡行為200家銀行、銀行卡性質(zhì)為3種、銀行卡卡號的末位為10種，那么數(shù)據(jù)記錄集合中的記錄可以被劃分成600(200X3X10)個數(shù)據(jù)塊。本領(lǐng)域的技術(shù)人員可以理解的是，可以根數(shù)據(jù)記錄的分布情況變化來定義數(shù)據(jù)記錄的屬性和特定屬性。在上述實施例中，動態(tài)決策模塊可選地包括識別單元、匹配單元、分配單元，如圖1所示。其中，識別單元被配置成識別待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊。匹配單元被配置成將所述識別的待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊與所述多個分析單元中的一個匹配。這里，匹配之后數(shù)據(jù)塊中的數(shù)據(jù)記錄將被分配到相應(yīng)的分析單元。在匹配完成之后，分配單元被配置成將所述待分析的數(shù)據(jù)記錄分配給與其所屬的數(shù)據(jù)塊匹配的分析單元。在上述實施例中，匹配單元還可以包括匹配關(guān)系存儲單元，匹配關(guān)系存儲單元用于存儲數(shù)據(jù)塊與分析單元的匹配關(guān)系?？梢岳斫獾氖?，數(shù)據(jù)塊與分析單元是一對一的對應(yīng)關(guān)系。后文將描述，這種匹配關(guān)系可以根據(jù)處理模塊中的分析單元的狀態(tài)信息發(fā)生改變，即重新匹配。匹配單元進一步配置成根據(jù)匹配關(guān)系判斷待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊是否已經(jīng)與所述多個分析單元中的一個匹配。分配單元進一步配置成根據(jù)匹配關(guān)系分配所述待分析的數(shù)據(jù)記錄。在上述實施例中，匹配單元進一步配置成，當(dāng)判斷當(dāng)前待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊未與所述多個分析單元中的一個匹配時，將該數(shù)據(jù)塊與所述多個分析單元中的一個匹配，并存儲該匹配關(guān)系。在上述實施例中，匹配單元配置成將所述數(shù)據(jù)塊與所述分析單元均勻地進行匹配。在上述實施例中，匹配單元配置成，當(dāng)該當(dāng)前待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊未與所述多個分析單元中的一個匹配時，按序循環(huán)選擇所述多個分析單元中的一個，并將該選擇的分析單元與該數(shù)據(jù)塊匹配。舉例來說，當(dāng)有P個分析單元時，數(shù)據(jù)記錄集合在靜態(tài)配置中被劃分成N個數(shù)據(jù)塊，在該情況下匹配單元可以將讀取的第一條數(shù)據(jù)記錄所屬的數(shù)據(jù)塊與第一個分析單元匹配，從而由分配單元將該第一條數(shù)據(jù)記錄交給該第一個分析單元進行分析，當(dāng)匹配單元讀取的第二條數(shù)據(jù)記錄時，如果該第二條數(shù)據(jù)記錄與該第一條數(shù)據(jù)記錄屬于相同的數(shù)據(jù)塊，分配單元將仍將該第二條數(shù)據(jù)記錄交給該第一個分析單元進行分析，否則匹配單元將第二條數(shù)據(jù)記錄所屬的數(shù)據(jù)塊與下個分析單元匹配，如此循環(huán)，數(shù)據(jù)記錄可以被均勻地分配給所有P個分析進程。更具體地，舉例來說，匹配單元可以將所述多個分析單元視為循環(huán)隊列，當(dāng)判斷當(dāng)前待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊與所述多個分析單元中的已經(jīng)匹配時，所述匹配單元不移動指向所述分析單元循環(huán)隊列的指針，當(dāng)判斷當(dāng)前待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊未與所述多個分析單元中的已經(jīng)匹配時，所述匹配單元將所述指針指向所述分析單元循環(huán)隊列的下一個分析單元。在上述實施例中，數(shù)據(jù)劃分單元為每一個數(shù)據(jù)塊設(shè)定數(shù)據(jù)塊標(biāo)識符，其中所述數(shù)據(jù)塊標(biāo)識符作為添加字段被記錄到相應(yīng)的數(shù)據(jù)記錄中，判斷單元根據(jù)數(shù)據(jù)塊標(biāo)識符判斷待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊。在上述實施例中，所述處理模塊還可選地包括反饋單元，所述動態(tài)決策模塊還可選地包括狀態(tài)存儲單元，如圖1所示。其中，反饋單元用于向所述動態(tài)決策模塊反饋分析單元的狀態(tài)信息，所述狀態(tài)信息包括分析單元的數(shù)量。狀態(tài)存儲單元配置成存儲分析單元數(shù)量。所述匹配單元根據(jù)分析單元的數(shù)量將未進行匹配的數(shù)據(jù)塊與所述多個分析單元進行匹配。 在上述實施例中，所述狀態(tài)存儲單元進一步配置成對所述分析單元按序存儲對應(yīng)的自然數(shù)標(biāo)識符，以及所述數(shù)據(jù)塊標(biāo)識符是按順序分配的自然數(shù)。在這種情況下，匹配單元可以通過基于將數(shù)據(jù)塊標(biāo)識符對應(yīng)的自然數(shù)除以所述分析單元的數(shù)量得到的余數(shù)所對應(yīng)的分析單元的自然數(shù)標(biāo)識符來將未與分析單元匹配的當(dāng)前待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊與該對應(yīng)的分析單元匹配。舉例來說，例如當(dāng)有P個分析單元時，數(shù)據(jù)記錄集合在靜態(tài)配置中被劃分成N個數(shù)據(jù)塊，那么第η個數(shù)據(jù)塊將與第(Ν%Ρ)個分析單元匹配。在上述實施例中，當(dāng)所述反饋單元反饋的分析單元的數(shù)量發(fā)生變化時,所述匹配單元配置成對所述數(shù)據(jù)塊和所述分析單元進行重新匹配?？梢岳蒙鲜鰧嵤├泄_的方法來進行重新匹配的過程。
圖2是根據(jù)本發(fā)明實施例的分析數(shù)據(jù)記錄集合的方法的步驟流程圖。根據(jù)本發(fā)明的另一個目的，還提出了一種分析數(shù)據(jù)記錄集合的方法，如圖2所示該方法包括:數(shù)據(jù)接收過程，在該過程中接收數(shù)據(jù)記錄集合；靜態(tài)配置過程，在該過程中將所述數(shù)據(jù)記錄集合分成多個數(shù)據(jù)塊，其中每個數(shù)據(jù)塊包括一條或多條數(shù)據(jù)記錄；動態(tài)決策過程，在該過程中根據(jù)處理過程的負載情況，將同一數(shù)據(jù)塊中的數(shù)據(jù)記錄分配給同一分析過程；處理過程，包括利用多個分析單元進行分析的過程，分析單元中接收并分析在動態(tài)決策過程中分配的數(shù)據(jù)記錄。在上述實施例中，所述靜態(tài)配置過程包括:屬性設(shè)定過程，在該過程中為數(shù)據(jù)記錄設(shè)定一個或多個屬性，其中，所述一個或多個屬性根據(jù)數(shù)據(jù)記錄中的一個或多個字段被設(shè)定。粒度配置過程，在該過程中從屬性設(shè)定過程設(shè)定的一個或多個屬性選擇一個或多個特定屬性，其中，所述一個或多個特定屬性用作數(shù)據(jù)劃分的粒度，數(shù)據(jù)劃分過程，在該過程中將具有相同的特定屬性的屬性值的數(shù)據(jù)記錄劃分到同一數(shù)據(jù)塊，使得所述數(shù)據(jù)記錄集合中的記錄被劃分到多個數(shù)據(jù)塊。在上述實施例中，所述動態(tài)決策過程包括:識別過程，在該過程中識別待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊，匹配過程，在該過程中將所述識別的待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊與所述多個分析單元中的一個匹配，分配過程，在該過程中將所述待分析的數(shù)據(jù)記錄分配給與其所屬的數(shù)據(jù)塊匹配的分析單元。在上述實施例中，所述匹配過程包括匹配關(guān)系存儲過程用于存儲數(shù)據(jù)塊與分析單元的匹配關(guān)系，所述匹配過程進一步包括根據(jù)匹配關(guān)系判斷待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊是否已經(jīng)與所述多個分析單元中的一個匹配，所述分配過程進一步包括根據(jù)匹配關(guān)系分配所述待分析的數(shù)據(jù)記錄。在上述實施例中，所述匹配過程進一步包括，當(dāng)判斷當(dāng)前待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊未與所述多個分析單元中的一個匹配時，將該數(shù)據(jù)塊與所述多個分析單元中的一個匹配，并存儲該匹配關(guān)系。在上述實施例中，所述在匹配過程中將所述數(shù)據(jù)塊與所述分析單元均勻地進行匹配。在上述實施例中，在所述匹配過程中，當(dāng)該當(dāng)前待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊未與所述多個分析單元中的一個匹配時，按序循環(huán)選擇所述多個分析單元中的一個，并將該選擇的分析單元與該數(shù)據(jù)塊匹配。在上述實施例中，所述數(shù)據(jù)劃分過程為每一個數(shù)據(jù)塊設(shè)定數(shù)據(jù)塊標(biāo)識符，其中所述數(shù)據(jù)塊標(biāo)識符作為添加字段被記錄到相應(yīng)的數(shù)據(jù)記錄中，所述判斷過程根據(jù)數(shù)據(jù)塊標(biāo)識符判斷待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊。在上述實施例中，所述處理過程還包括反饋過程，用于向所述動態(tài)決策過程反饋分析單元的狀態(tài)信息，所述狀態(tài)信息包括分析單元的數(shù)量。所述動態(tài)決策過程還包括狀態(tài)存儲過程，狀態(tài)存儲過程在該過程中存儲分析單元數(shù)量，所述匹配過程根據(jù)分析單元的數(shù)量將未進行匹配的數(shù)據(jù)塊與所述多個分析單元進行匹配。在上述實施例中，所述狀態(tài)存儲過程進一步在該過程中所述分析單元按序存儲對應(yīng)的自然數(shù)標(biāo)識符，所述數(shù)據(jù)塊標(biāo)識符是按順序分配的自然數(shù)，所述匹配過程通過基于將數(shù)據(jù)塊標(biāo)識符對應(yīng)的自然數(shù)除以所述分析單元的數(shù)量得到的余數(shù)所對應(yīng)的分析單元的自然數(shù)標(biāo)識符來將未與分析單元匹配的當(dāng)前待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊與該對應(yīng)的分析單元匹配。在上述實施例中，當(dāng)所述反饋過程反饋的分析單元的數(shù)量發(fā)生變化時，所述匹配過程在該過程中對所述數(shù)據(jù)塊和所述分析單元進行重新匹配。通過以上實施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可借助軟件和/或硬件的方式來實現(xiàn)。本領(lǐng)域中的普通技術(shù)人員能夠理解，在不偏離本發(fā)明的精神和范圍的情況下，還可以對本發(fā)明的具體實施方式
作各種變更和替換。這些變更和替換都落在本發(fā)明權(quán)利要求書所限定的范圍內(nèi)。
權(quán)利要求
1.一種分析數(shù)據(jù)記錄集合的系統(tǒng)，其特征在于，該系統(tǒng)包括: 數(shù)據(jù)接收模塊，配置成接收數(shù)據(jù)記錄集合； 靜態(tài)配置模塊，配置成將所述數(shù)據(jù)記錄集合分成多個數(shù)據(jù)塊，其中每個數(shù)據(jù)塊包括一條或多條數(shù)據(jù)記錄； 動態(tài)決策模塊，配置成根據(jù)處理模塊的負載情況，將同一數(shù)據(jù)塊中的數(shù)據(jù)記錄分配給同一分析單元； 處理模塊，包括多個分析單元，該多個分析單元用于接收并分析來自動態(tài)決策模塊分配的數(shù)據(jù)記錄。
2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述靜態(tài)配置模塊包括: 屬性設(shè)定單元，配置成為數(shù)據(jù)記錄設(shè)定一個或多個屬性，其中，所述一個或多個屬性根據(jù)數(shù)據(jù)記錄中的一個或多個字段被設(shè)定， 粒度配置單元，配置成從屬性設(shè)定單元設(shè)定的一個或多個屬性選擇一個或多個特定屬性，其中，所述一個或多個特定屬性用作數(shù)據(jù)劃分的粒度， 數(shù)據(jù)劃分單元，配置成將具有相同的特定屬性的屬性值的數(shù)據(jù)記錄劃分到同一數(shù)據(jù)塊，使得所述數(shù)據(jù)記錄集合中的記錄被劃分到多個數(shù)據(jù)塊。
3.如權(quán)利要求2所述的系統(tǒng)，其特征在于，所述動態(tài)決策模塊包括: 識別單元，配置成識別待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊， 匹配單元，配置成將所述識別的待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊與所述多個分析單元中的一個匹配， 分配單元，配置成將所述待分析的數(shù)據(jù)記錄分配給與其所屬的數(shù)據(jù)塊匹配的分析單元。
4.如權(quán)利要求3所述的系統(tǒng)，其特征在于， 所述匹配單元包括匹配關(guān)系存儲單元用于存儲數(shù)據(jù)塊與分析單元的匹配關(guān)系， 所述匹配單元進一步配置成根據(jù)匹配關(guān)系判斷待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊是否已經(jīng)與所述多個分析單元中的一個匹配， 所述分配單元進一步配置成根據(jù)匹配關(guān)系分配所述待分析的數(shù)據(jù)記錄。
5.如權(quán)利要求4所述的系統(tǒng)，其特征在于，所述匹配單元進一步配置成，當(dāng)判斷當(dāng)前待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊未與所述多個分析單元中的一個匹配時，將該數(shù)據(jù)塊與所述多個分析單元中的一個匹配，并存儲該匹配關(guān)系。
6.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述匹配單元配置成將所述數(shù)據(jù)塊與所述分析單元均勻地進行匹配。
7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述匹配單元配置成，當(dāng)該當(dāng)前待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊未與所述多個分析單元中的一個匹配時，按序循環(huán)選擇所述多個分析單元中的一個，并將該選擇的分析單元與該數(shù)據(jù)塊匹配。
8.如權(quán)利要求7所述的系統(tǒng)，其特征在于， 所述數(shù)據(jù)劃分單元為每一個數(shù)據(jù)塊設(shè)定數(shù)據(jù)塊標(biāo)識符，其中所述數(shù)據(jù)塊標(biāo)識符作為添加字段被記錄到相應(yīng)的數(shù)據(jù)記錄中， 所述判斷單元根據(jù)數(shù)據(jù)塊標(biāo)識符判斷待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊。
9.如權(quán)利要求8所述的系統(tǒng)，其特征在于，所述處理模塊還包括反饋單元，用于向所述動態(tài)決策模塊反饋分析單元的狀態(tài)信息，所述狀態(tài)信息包括分析單元的數(shù)量， 所述動態(tài)決策模塊還包括狀態(tài)存儲單元， 狀態(tài)存儲單元配置成存儲分析單元數(shù)量， 所述匹配單元根據(jù)分析單元的數(shù)量將未進行匹配的數(shù)據(jù)塊與所述多個分析單元進行匹配。
10.如權(quán)利要求9所述的系統(tǒng)，其特征在于， 所述狀態(tài)存儲單元進一步配置成所述分析單元按序存儲對應(yīng)的自然數(shù)標(biāo)識符， 所述數(shù)據(jù)塊標(biāo)識符是按順序分配的自然數(shù)， 所述匹配單元通過基于將數(shù)據(jù)塊標(biāo)識符對應(yīng)的自然數(shù)除以所述分析單元的數(shù)量得到的余數(shù)所對應(yīng)的分析單元的自然數(shù)標(biāo)識符來將未與分析單元匹配的當(dāng)前待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊與該對應(yīng)的分析單元匹配。
11.如權(quán)利要求10所述的系統(tǒng),其特征在于，當(dāng)所述反饋單元反饋的分析單元的數(shù)量發(fā)生變化時，所述匹配單元配置成對所述數(shù)據(jù)塊和所述分析單元進行重新匹配。
12.—種分析數(shù)據(jù)記錄集合的方法，其特征在于，該方法包括: 數(shù)據(jù)接收過程，在該過程中接收數(shù)據(jù)記錄集合； 靜態(tài)配置過程，在該過程中將所述數(shù)據(jù)記錄集合分成多個數(shù)據(jù)塊，其中每個數(shù)據(jù)塊包括一條或多條數(shù)據(jù)記錄； 動態(tài)決策過程，在該過程中根據(jù)處理過程的負載情況，將同一數(shù)據(jù)塊中的數(shù)據(jù)記錄分配給同一分析過程； 處理過程，包括利用多個分析單元進行分析的過程，分析單元中接收并分析在動態(tài)決策過程中分配的數(shù)據(jù)記錄。
13.如權(quán)利要求12所述的方法，其特征在于，所述靜態(tài)配置過程包括: 屬性設(shè)定過程，在該過程中為數(shù)據(jù)記錄設(shè)定一個或多個屬性，其中，所述一個或多個屬性根據(jù)數(shù)據(jù)記錄中的一個或多個字段被設(shè)定， 粒度配置過程，在該過程中從屬性設(shè)定過程設(shè)定的一個或多個屬性選擇一個或多個特定屬性，其中，所述一個或多個特定屬性用作數(shù)據(jù)劃分的粒度， 數(shù)據(jù)劃分過程，在該過程中將具有相同的特定屬性的屬性值的數(shù)據(jù)記錄劃分到同一數(shù)據(jù)塊，使得所述數(shù)據(jù)記錄集合中的記錄被劃分到多個數(shù)據(jù)塊。
14.如權(quán)利要求13所述的方法，其特征在于，所述動態(tài)決策過程包括: 識別過程，在該過程中識別待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊， 匹配過程，在該過程中將所述識別的待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊與所述多個分析單元中的一個匹配， 分配過程，在該過程中將所述待分析的數(shù)據(jù)記錄分配給與其所屬的數(shù)據(jù)塊匹配的分析單元。
15.如權(quán)利 要求14所述的方法，其特征在于， 所述匹配過程包括匹配關(guān)系存儲過程用于存儲數(shù)據(jù)塊與分析單元的匹配關(guān)系， 所述匹配過程進一步包括根據(jù)匹配關(guān)系判斷待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊是否已經(jīng)與所述多個分析單元中的一個匹配，所述分配過程進一步包括根據(jù)匹配關(guān)系分配所述待分析的數(shù)據(jù)記錄。
16.如權(quán)利要求15所述的方法，其特征在于，所述匹配過程進一步包括，當(dāng)判斷當(dāng)前待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊未與所述多個分析單元中的一個匹配時，將該數(shù)據(jù)塊與所述多個分析單元中的一個匹配，并存儲該匹配關(guān)系。
17.如權(quán)利要求16所述的方法，其特征在于，所述在匹配過程中將所述數(shù)據(jù)塊與所述分析單元均勻地進行匹配。
18.如權(quán)利要求17所述的方法，其特征在于，在所述匹配過程中，當(dāng)該當(dāng)前待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊未與所述多個分析單元中的一個匹配時，按序循環(huán)選擇所述多個分析單元中的一個，并將該選擇的分析單元與該數(shù)據(jù)塊匹配。
19.如權(quán)利要求18所述的方法，其特征在于， 所述數(shù)據(jù)劃分過程為每一個數(shù)據(jù)塊設(shè)定數(shù)據(jù)塊標(biāo)識符，其中所述數(shù)據(jù)塊標(biāo)識符作為添加字段被記錄到相應(yīng)的數(shù)據(jù)記錄中， 所述判斷過程根據(jù)數(shù)據(jù)塊標(biāo)識符判斷待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊。
20.如權(quán)利要求19所述的方法，其特征在于， 所述處理過程還包括反饋過程，用于向所述動態(tài)決策過程反饋分析單元的狀態(tài)信息，所述狀態(tài)信息包括分析單元的數(shù)量， 所述動態(tài)決策過程還包括狀態(tài)存儲過程， 狀態(tài)存儲過程在該過程中存儲分析單元數(shù)量， 所述匹配過程根據(jù)分析 單元的數(shù)量將未進行匹配的數(shù)據(jù)塊與所述多個分析單元進行匹配。
21.如權(quán)利要求20所述的方法，其特征在于， 所述狀態(tài)存儲過程進一步在該過程中所述分析單元按序存儲對應(yīng)的自然數(shù)標(biāo)識符， 所述數(shù)據(jù)塊標(biāo)識符是按順序分配的自然數(shù)， 所述匹配過程通過基于將數(shù)據(jù)塊標(biāo)識符對應(yīng)的自然數(shù)除以所述分析單元的數(shù)量得到的余數(shù)所對應(yīng)的分析單元的自然數(shù)標(biāo)識符來將未與分析單元匹配的當(dāng)前待分析的數(shù)據(jù)記錄所屬的數(shù)據(jù)塊與該對應(yīng)的分析單元匹配。
22.如權(quán)利要求21所述的方法，其特征在于，當(dāng)所述反饋過程反饋的分析單元的數(shù)量發(fā)生變化時，所述匹配過程在該過程中對所述數(shù)據(jù)塊和所述分析單元進行重新匹配。
全文摘要
本發(fā)明公開分析數(shù)據(jù)記錄集合的系統(tǒng)和方法，該系統(tǒng)包括數(shù)據(jù)接收模塊，配置成接收數(shù)據(jù)記錄集合；靜態(tài)配置模塊，配置成將所述數(shù)據(jù)記錄集合分成多個數(shù)據(jù)塊，其中每個數(shù)據(jù)塊包括一條或多條數(shù)據(jù)記錄；動態(tài)決策模塊，配置成根據(jù)處理模塊的負載情況，將同一數(shù)據(jù)塊中的數(shù)據(jù)記錄分配給同一分析單元；處理模塊，包括多個分析單元，該多個分析單元用于接收并分析來自動態(tài)決策模塊分配的數(shù)據(jù)記錄。
文檔編號G06F9/50GK103186427SQ201110457130
公開日2013年7月3日 申請日期2011年12月31日 優(yōu)先權(quán)日2011年12月31日
發(fā)明者劉健, 陸堃彪 申請人:中國銀聯(lián)股份有限公司