本發(fā)明屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種批量數(shù)據(jù)邏輯處理方法及裝置。

背景技術(shù)：

批量數(shù)據(jù)邏輯處理是當(dāng)前業(yè)務(wù)系統(tǒng)經(jīng)常遇到的處理場景，比如電信計費、金融系統(tǒng)流水清算和互聯(lián)網(wǎng)上的數(shù)據(jù)日終處理等。在各個行業(yè)中數(shù)據(jù)處理的過程類似，該過程包括：對原始數(shù)據(jù)進行校驗，根據(jù)系統(tǒng)自身的行業(yè)規(guī)則進行業(yè)務(wù)邏輯判斷、業(yè)務(wù)邏輯運算，最終形成業(yè)務(wù)處理的結(jié)果。

傳統(tǒng)的批量數(shù)據(jù)邏輯處理有以下兩種：

其一是，批量數(shù)據(jù)邏輯在數(shù)據(jù)服務(wù)器中處理。該處理流程包括：將數(shù)據(jù)的校驗和業(yè)務(wù)運算寫成存儲過程或函數(shù)，提交到數(shù)據(jù)庫中，在使用時應(yīng)用服務(wù)器發(fā)起業(yè)務(wù)處理請求，調(diào)用存儲過程或函數(shù)，完成批量數(shù)據(jù)邏輯處理。這樣的處理方法實際上是數(shù)據(jù)服務(wù)器完成了應(yīng)用邏輯的運算，使得數(shù)據(jù)服務(wù)器壓力增大，且只能單臺物理機器下的多任務(wù)并發(fā)，效率提升受限。

其二是，批量數(shù)據(jù)邏輯在應(yīng)用服務(wù)器中處理。該處理流程包括：讀取一條數(shù)據(jù)、批量數(shù)據(jù)邏輯處理，處理結(jié)果寫回數(shù)據(jù)庫，以此循環(huán)。這樣的處理方法造成了應(yīng)用服務(wù)器和數(shù)據(jù)庫服務(wù)器通訊和數(shù)據(jù)庫服務(wù)器的I/O操作都過于頻繁，處理效率低。

故現(xiàn)有批量數(shù)據(jù)邏輯處理技術(shù)中存在處理效率低的問題，有必要提出一種新的技術(shù)方案，以解決上述技術(shù)問題。

技術(shù)實現(xiàn)要素：

鑒于此，本發(fā)明實施例提供一種批量數(shù)據(jù)邏輯處理方法及裝置，現(xiàn)有批量數(shù)據(jù)邏輯處理技術(shù)中存在處理效率低的問題。

本發(fā)明實施例的第一方面，提供一種批量數(shù)據(jù)邏輯處理方法，包括：

在至少一個應(yīng)用服務(wù)器中建立數(shù)據(jù)域，所述數(shù)據(jù)域包括參數(shù)數(shù)據(jù)域、原始數(shù)據(jù)域和結(jié)果數(shù)據(jù)域；

一次性讀取數(shù)據(jù)服務(wù)器參數(shù)表中的數(shù)據(jù)到所述參數(shù)數(shù)據(jù)域中，生成參數(shù)記錄，一次性讀取數(shù)據(jù)服務(wù)器原始數(shù)據(jù)表中的數(shù)據(jù)到所述原始數(shù)據(jù)域中，生成原始數(shù)據(jù)；

讀取所述參數(shù)數(shù)據(jù)域中的參數(shù)記錄和所述原始數(shù)據(jù)域中的原始數(shù)據(jù)，并對讀取到的所述參數(shù)記錄和所述原始數(shù)據(jù)進行邏輯運算，在結(jié)果數(shù)據(jù)域中生成所述邏輯運算的結(jié)果數(shù)據(jù)。

本發(fā)明實施例的第二方面，提供一種批量數(shù)據(jù)邏輯處理裝置，包括：

建立模塊，用于在至少一個應(yīng)用服務(wù)器中建立數(shù)據(jù)域，所述數(shù)據(jù)域包括參數(shù)數(shù)據(jù)域、原始數(shù)據(jù)域和結(jié)果數(shù)據(jù)域；

第一讀取生成模塊，用于一次性讀取數(shù)據(jù)服務(wù)器參數(shù)表中的數(shù)據(jù)到所述參數(shù)數(shù)據(jù)域中，生成參數(shù)記錄，一次性讀取數(shù)據(jù)服務(wù)器原始數(shù)據(jù)表中的數(shù)據(jù)到所述原始數(shù)據(jù)域中，生成原始數(shù)據(jù)；

第二讀取生成模塊，用于讀取所述參數(shù)數(shù)據(jù)域中的參數(shù)記錄和所述原始數(shù)據(jù)域中的原始數(shù)據(jù)，并對讀取到的所述參數(shù)記錄和所述原始數(shù)據(jù)進行邏輯運算，在結(jié)果數(shù)據(jù)域中生成所述邏輯運算的結(jié)果數(shù)據(jù)。

本發(fā)明實施例與現(xiàn)有技術(shù)相比存在的有益效果是：本發(fā)明實施例所提供的批量數(shù)據(jù)邏輯處理方法或裝置中，在至少一個應(yīng)用服務(wù)器中建立數(shù)據(jù)域；一次性讀取數(shù)據(jù)服務(wù)器參數(shù)表中的數(shù)據(jù)到所述參數(shù)數(shù)據(jù)域中生成參數(shù)記錄，一次性讀取數(shù)據(jù)服務(wù)器原始數(shù)據(jù)表中的數(shù)據(jù)到所述原始數(shù)據(jù)域中生成原始數(shù)據(jù)；讀取所述參數(shù)數(shù)據(jù)域中的參數(shù)記錄和所述原始數(shù)據(jù)域中的原始數(shù)據(jù)進行邏輯運算，對應(yīng)在結(jié)果數(shù)據(jù)域中生成結(jié)果數(shù)據(jù)。一次性的數(shù)據(jù)讀取盡可能的減少了應(yīng)用服務(wù)器與數(shù)據(jù)庫服務(wù)器的交互次數(shù)，提高了數(shù)據(jù)操作的效率；批量的數(shù)據(jù)運算完全在應(yīng)用服務(wù)器內(nèi)存中進行，充分的發(fā)揮了應(yīng)用服務(wù)器的性能，減少數(shù)據(jù)庫服務(wù)器的資源消耗；因此提高了數(shù)據(jù)處理的效率。

附圖說明

為了更清楚地說明本發(fā)明實施例中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明實施例提供的批量數(shù)據(jù)邏輯處理方法的實現(xiàn)流程圖；

圖2是本發(fā)明實施例提供的批量數(shù)據(jù)邏輯處理方法S103的具體實現(xiàn)流程圖；

圖3是本發(fā)明另一實施例提供的批量數(shù)據(jù)邏輯處理方法的實現(xiàn)流程圖；

圖4是本發(fā)明再一實施例提供的批量數(shù)據(jù)邏輯處理方法的實現(xiàn)流程圖；

圖5是本發(fā)明實施例提供的批量數(shù)據(jù)邏輯處理裝置的結(jié)構(gòu)框圖。

具體實施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

本發(fā)明實施例提供了批量數(shù)據(jù)邏輯處理方法及裝置。為了說明本發(fā)明所提供的方法，下面通過具體實施例來進行說明。

實施例一

圖1示出了本發(fā)明實施例提供的批量數(shù)據(jù)邏輯處理方法的實現(xiàn)流程圖。如圖1所示，該方法包括如下步驟：

S101：在至少一個應(yīng)用服務(wù)器中建立數(shù)據(jù)域，所述數(shù)據(jù)域包括參數(shù)數(shù)據(jù)域、原始數(shù)據(jù)域和結(jié)果數(shù)據(jù)域。

其中，至少一個應(yīng)用服務(wù)器是指應(yīng)用服務(wù)器的數(shù)量至少為一個。為了分別存放后續(xù)從數(shù)據(jù)服務(wù)器讀取的數(shù)據(jù)，在至少一個應(yīng)用服務(wù)器中建立數(shù)據(jù)域，建立的數(shù)據(jù)域包括但不限于參數(shù)數(shù)據(jù)域、原始數(shù)據(jù)域和結(jié)果數(shù)據(jù)域。

S102：一次性讀取數(shù)據(jù)服務(wù)器參數(shù)表中的數(shù)據(jù)到所述參數(shù)數(shù)據(jù)域中，生成參數(shù)記錄，一次性讀取數(shù)據(jù)服務(wù)器原始數(shù)據(jù)表中的數(shù)據(jù)到所述原始數(shù)據(jù)域中，生成原始數(shù)據(jù)。

獲取需要進行處理的數(shù)據(jù)，該數(shù)據(jù)包括服務(wù)器參數(shù)表中的數(shù)據(jù)和服務(wù)器原始數(shù)據(jù)表中的數(shù)據(jù)。對這些需要進行處理的數(shù)據(jù)進行一次性讀取：一次性讀取數(shù)據(jù)服務(wù)器參數(shù)表中的數(shù)據(jù)到所述參數(shù)數(shù)據(jù)域中，生成參數(shù)記錄，一次性讀取數(shù)據(jù)服務(wù)器原始數(shù)據(jù)表中的數(shù)據(jù)到所述原始數(shù)據(jù)域中，生成原始數(shù)據(jù)。該步驟一次性的數(shù)據(jù)讀取盡可能的減少了應(yīng)用服務(wù)器與數(shù)據(jù)庫服務(wù)器的交互次數(shù)，提高了數(shù)據(jù)操作的效率。

S103：讀取所述參數(shù)數(shù)據(jù)域中的參數(shù)記錄和所述原始數(shù)據(jù)域中的原始數(shù)據(jù)，并對讀取到的所述參數(shù)記錄和所述原始數(shù)據(jù)進行邏輯運算，在結(jié)果數(shù)據(jù)域中生成所述邏輯運算的結(jié)果數(shù)據(jù)。

在應(yīng)用服務(wù)器中，讀取所述參數(shù)數(shù)據(jù)域中的參數(shù)記錄和所述原始數(shù)據(jù)域中的原始數(shù)據(jù)，判斷原始數(shù)據(jù)的業(yè)務(wù)類型，在相應(yīng)的操作域中進行邏輯運算，邏輯運算結(jié)束后，將邏輯運算的結(jié)果寫入已經(jīng)建立的結(jié)果數(shù)據(jù)域，在結(jié)果數(shù)據(jù)域中生成所述邏輯運算的結(jié)果數(shù)據(jù)。

該步驟中，批量的數(shù)據(jù)運算完全在應(yīng)用服務(wù)器內(nèi)存中進行，充分的發(fā)揮了應(yīng)用服務(wù)器的性能，減少數(shù)據(jù)庫服務(wù)器的資源消耗。

具體地，圖2示出了本發(fā)明實施例提供的批量數(shù)據(jù)邏輯處理方法S103的具體實現(xiàn)流程。如圖2所示，該方法包括如下步驟：

S201：建立邏輯處理域，所述邏輯處理域包括各個業(yè)務(wù)類型對應(yīng)的操作域。

在應(yīng)用服務(wù)器中，為了對所述參數(shù)記錄和所述原始數(shù)據(jù)進行邏輯運算，建立邏輯處理域。而由于需要處理的數(shù)據(jù)可能屬于不同種類的業(yè)務(wù)類型，因此邏輯處理域包括各個業(yè)務(wù)類型對應(yīng)的操作域。

S202：讀取所述參數(shù)數(shù)據(jù)域中的參數(shù)記錄和所述原始數(shù)據(jù)域中的原始數(shù)據(jù)。

在應(yīng)用服務(wù)器中，讀取參數(shù)數(shù)據(jù)域中的參數(shù)記錄和所述原始數(shù)據(jù)域中的原始數(shù)據(jù)。為了提升讀取的效率，優(yōu)選地，所述讀取為一次性讀取。

S203：根據(jù)所述原始數(shù)據(jù)的業(yè)務(wù)類型將所述原始數(shù)據(jù)及對應(yīng)的參數(shù)記錄傳入相應(yīng)的所述操作域。

為了提升處理的效率，判斷所述原始數(shù)據(jù)的業(yè)務(wù)類型，根據(jù)所述原始數(shù)據(jù)的業(yè)務(wù)類型將所述原始數(shù)據(jù)及對應(yīng)的參數(shù)記錄傳入相應(yīng)的所述操作域。例如：現(xiàn)有原始數(shù)據(jù)1、原始數(shù)據(jù)2、業(yè)務(wù)類型A、業(yè)務(wù)類型B、操作域a和操作域b，其中業(yè)務(wù)類型A對應(yīng)操作域a，業(yè)務(wù)類型B對應(yīng)操作域b。判斷出原始數(shù)據(jù)1屬于業(yè)務(wù)類型A,原始數(shù)據(jù)2屬于業(yè)務(wù)類型B,則將原始數(shù)據(jù)1及對應(yīng)的參數(shù)傳入操作域a；則將原始數(shù)據(jù)2及對應(yīng)的參數(shù)傳入操作域b。所述不同原始數(shù)據(jù)即對應(yīng)參數(shù)傳入相應(yīng)操作域的操作可并行處理，以便于進一步提升處理的速率。

S204：基于所述業(yè)務(wù)類型的業(yè)務(wù)邏輯和規(guī)則，在所述操作域中對所述參數(shù)記錄和所述原始數(shù)據(jù)進行邏輯運算，得到運算結(jié)果。

不同的業(yè)務(wù)類型擁有對應(yīng)的業(yè)務(wù)邏輯和規(guī)則，判斷原始數(shù)據(jù)所屬的業(yè)務(wù)類型之后，基于所述業(yè)務(wù)類型的業(yè)務(wù)邏輯和規(guī)則，在對應(yīng)的操作域中對所述參數(shù)記錄和所述原始數(shù)據(jù)進行邏輯運算。為了保持應(yīng)用服務(wù)器足夠大的計算空間，避免內(nèi)存不足的情況發(fā)生，每次進行邏輯計算之后，會進行相應(yīng)的業(yè)務(wù)清算，同時更新內(nèi)存。

S205：在所述結(jié)果數(shù)據(jù)域中生成關(guān)于所述運算結(jié)果的結(jié)果數(shù)據(jù)。

將上述邏輯預(yù)算的結(jié)果寫入已經(jīng)建立的結(jié)果數(shù)據(jù)域中，在結(jié)果數(shù)據(jù)域中生成運算結(jié)果的結(jié)果數(shù)據(jù)。

本發(fā)明實施例中，通過在至少一個應(yīng)用服務(wù)器中建立數(shù)據(jù)域；一次性讀取數(shù)據(jù)服務(wù)器參數(shù)表中的數(shù)據(jù)到所述參數(shù)數(shù)據(jù)域中生成參數(shù)記錄，一次性讀取數(shù)據(jù)服務(wù)器原始數(shù)據(jù)表中的數(shù)據(jù)到所述原始數(shù)據(jù)域中生成原始數(shù)據(jù)；讀取所述參數(shù)數(shù)據(jù)域中的參數(shù)記錄和所述原始數(shù)據(jù)域中的原始數(shù)據(jù)進行邏輯運算，對應(yīng)在結(jié)果數(shù)據(jù)域中生成結(jié)果數(shù)據(jù)。一次性的數(shù)據(jù)讀取盡可能的減少了應(yīng)用用服務(wù)器與數(shù)據(jù)庫服務(wù)器的交互次數(shù)，提高了數(shù)據(jù)操作的效率；批量的數(shù)據(jù)運算的數(shù)據(jù)運算完全在應(yīng)用服務(wù)器內(nèi)存中進行，充分的發(fā)揮了應(yīng)用服務(wù)器的性能，減少數(shù)據(jù)庫服務(wù)器的資源消耗；因此提高了數(shù)據(jù)處理的效率。

實施例二

作為本發(fā)明的另一個實施例，在上述實施例的基礎(chǔ)上，在步驟S101之前，所述方法還包括：

將所述數(shù)據(jù)服務(wù)器中的原始數(shù)據(jù)表中的數(shù)據(jù)分成多個原始數(shù)據(jù)區(qū)間，每個原始數(shù)據(jù)區(qū)間對應(yīng)由一個任務(wù)進行處理，所述任務(wù)同屬于一個應(yīng)用服務(wù)器。

本實施中，將所述數(shù)據(jù)服務(wù)器中的原始數(shù)據(jù)表中的數(shù)據(jù)分成多個原始數(shù)據(jù)區(qū)間，每個原始數(shù)據(jù)區(qū)間對應(yīng)由一個任務(wù)進行處理，所述任務(wù)同屬于一個應(yīng)用服務(wù)器。即一個應(yīng)用服務(wù)器可分配多個任務(wù)，每個任務(wù)分別對原始數(shù)據(jù)區(qū)間進行處理。

進一步地，為了使得多個任務(wù)能夠同時完成，且提升完成的速率，所述多個原始數(shù)據(jù)區(qū)間的大小是相同的，所述任務(wù)并行處理。

實施例三

作為本發(fā)明的再一個實施例，在實施例一的基礎(chǔ)上，在步驟S103之后，所述方法還包括：

將所述結(jié)果數(shù)據(jù)域中的結(jié)果數(shù)據(jù)一次性寫入所述數(shù)據(jù)服務(wù)器中的結(jié)果數(shù)據(jù)表中。

本實施例中，為了進一步減少應(yīng)用服務(wù)器的負(fù)擔(dān)以及便于數(shù)據(jù)的分析與調(diào)用，將所述結(jié)果數(shù)據(jù)域中的結(jié)果數(shù)據(jù)一次性寫入所述數(shù)據(jù)服務(wù)器中的結(jié)果數(shù)據(jù)表中。

對應(yīng)于上文實施例的批量數(shù)據(jù)邏輯處理方法，圖5示出了本發(fā)明實施例提供的批量數(shù)據(jù)邏輯處理裝置的結(jié)構(gòu)框圖，為了便于說明，僅示出了與本實施例相關(guān)的部分。

參考圖5，該裝置包括：

建立模塊51，用于在至少一個應(yīng)用服務(wù)器中建立數(shù)據(jù)域，所述數(shù)據(jù)域包括參數(shù)數(shù)據(jù)域、原始數(shù)據(jù)域和結(jié)果數(shù)據(jù)域；

第一讀取生成模塊52，用于一次性讀取數(shù)據(jù)服務(wù)器參數(shù)表中的數(shù)據(jù)到所述參數(shù)數(shù)據(jù)域中，生成參數(shù)記錄，一次性讀取數(shù)據(jù)服務(wù)器原始數(shù)據(jù)表中的數(shù)據(jù)到所述原始數(shù)據(jù)域中，生成原始數(shù)據(jù)；

第二讀取生成模塊53，用于讀取所述參數(shù)數(shù)據(jù)域中的參數(shù)記錄和所述原始數(shù)據(jù)域中的原始數(shù)據(jù)，并對讀取到的所述參數(shù)記錄和所述原始數(shù)據(jù)進行邏輯運算，在結(jié)果數(shù)據(jù)域中生成所述邏輯運算的結(jié)果數(shù)據(jù)。

可選地，所述第一讀取生成模塊52包括：

建立單元，用于建立邏輯處理域，所述邏輯處理域包括各個業(yè)務(wù)類型對應(yīng)的操作域；

讀取單元，用于讀取所述參數(shù)數(shù)據(jù)域中的參數(shù)記錄和所述原始數(shù)據(jù)域中的原始數(shù)據(jù)；

傳入單元，用于根據(jù)所述原始數(shù)據(jù)的業(yè)務(wù)類型將所述原始數(shù)據(jù)及對應(yīng)的參數(shù)記錄傳入相應(yīng)的所述操作域；

運算單元，用于基于所述業(yè)務(wù)類型的業(yè)務(wù)邏輯和規(guī)則，在所述操作域中對所述參數(shù)記錄和所述原始數(shù)據(jù)進行邏輯運算，得到運算結(jié)果；

生成單元，用于在所述結(jié)果數(shù)據(jù)域中生成關(guān)于所述運算結(jié)果的結(jié)果數(shù)據(jù)。

可選地，所述裝置還包括：

分配模塊，用于將所述數(shù)據(jù)服務(wù)器中的原始數(shù)據(jù)表中的數(shù)據(jù)分成多個原始數(shù)據(jù)區(qū)間，每個原始數(shù)據(jù)區(qū)間對應(yīng)由一個任務(wù)進行處理，所述任務(wù)同屬于一個應(yīng)用服務(wù)器。

可選地，所述多個原始數(shù)據(jù)區(qū)間的大小是相同的，所述任務(wù)并行處理。

可選地，所述裝置還包括：

寫入模塊，用于將所述結(jié)果數(shù)據(jù)域中的結(jié)果數(shù)據(jù)一次性寫入所述數(shù)據(jù)服務(wù)器的結(jié)果數(shù)據(jù)表中。

在本發(fā)明所提供的實施例中，應(yīng)該理解到，所揭露的裝置和方法，可以通過其它的方式實現(xiàn)。例如，以上所描述的系統(tǒng)實施例僅僅是示意性的，例如，所述單元或單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是通過一些接口，裝置或單元的間接耦合或通訊連接，可以是電性，機械或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上。可以根據(jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。

另外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用軟件功能單元的形式實現(xiàn)。

所述集成的單元如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，可以存儲在一個計算機可讀取存儲介質(zhì)中?；谶@樣的理解，本發(fā)明實施例的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)或處理器(processor)執(zhí)行本發(fā)明實施例各個實施例所述的方法的全部或部分步驟。而前述的存儲介質(zhì)包括：U盤、移動硬盤、只讀存儲器(ROM，Read-Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

以上所述實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述實施例對本發(fā)明進行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對前述各實施例所記載的技術(shù)方案進行修改，或者對其中部分技術(shù)特征進行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的精神和范圍，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。

以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。