一種數(shù)據(jù)批量處理的方法和裝置制造方法
【專利摘要】本申請(qǐng)涉及一種數(shù)據(jù)批量處理的方法和裝置，包括：接收多個(gè)用戶請(qǐng)求數(shù)據(jù)并確定與所述多個(gè)用戶請(qǐng)求數(shù)據(jù)相關(guān)的一個(gè)或多個(gè)數(shù)據(jù)匯總模板；在所述一個(gè)或多個(gè)數(shù)據(jù)匯總模板的每一個(gè)中設(shè)置匯總維度和設(shè)置可執(zhí)行時(shí)刻；以及當(dāng)多個(gè)所述匯總維度相同時(shí)，批量處理所述多個(gè)用戶請(qǐng)求數(shù)據(jù)。本申請(qǐng)?zhí)岢隽艘环N標(biāo)準(zhǔn)化的數(shù)據(jù)批量處理的系統(tǒng)結(jié)構(gòu)，包含一套數(shù)據(jù)批量處理的標(biāo)準(zhǔn)化語(yǔ)義，只需通過配置不同參數(shù)和調(diào)用數(shù)據(jù)匯總插件，就可以實(shí)現(xiàn)各種業(yè)務(wù)類型的數(shù)據(jù)批量處理，其提高了數(shù)據(jù)批量處理的效率。
【專利說明】一種數(shù)據(jù)批量處理的方法和裝置
【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)涉及計(jì)算機(jī)數(shù)據(jù)處理領(lǐng)域，尤其涉及一種數(shù)據(jù)批量處理的方法和裝置。
【背景技術(shù)】
[0002]在計(jì)算機(jī)領(lǐng)域中，為了處理大批量的數(shù)據(jù)，產(chǎn)生了數(shù)據(jù)批量處理任務(wù)，S卩，在計(jì)算機(jī)上預(yù)先設(shè)置程序或者命令，執(zhí)行系列程序的作業(yè)。利用數(shù)據(jù)批量處理，能夠很好的利用計(jì)算機(jī)資源，減少了計(jì)算開銷，并且不需要時(shí)刻有人工監(jiān)事和干預(yù)，從而降低了人工開銷。依靠上述優(yōu)點(diǎn)，數(shù)據(jù)批量處理在計(jì)算機(jī)領(lǐng)域中得到了廣泛的應(yīng)用。
[0003]在現(xiàn)有技術(shù)中，常用的數(shù)據(jù)批量處理，基本上是針對(duì)某一業(yè)務(wù)特性或者某一處理特性通過系統(tǒng)編碼進(jìn)行系統(tǒng)設(shè)計(jì)和研發(fā)，并逐個(gè)實(shí)現(xiàn)批量處理。如需要實(shí)現(xiàn)不同賬戶之間的數(shù)據(jù)轉(zhuǎn)移匯總，則對(duì)一批轉(zhuǎn)出賬戶相同、轉(zhuǎn)入賬戶相同、業(yè)務(wù)相同的數(shù)據(jù)進(jìn)行一次賬戶數(shù)據(jù)批量轉(zhuǎn)移；又如需要對(duì)用戶繳費(fèi)數(shù)據(jù)進(jìn)行批量匯總，則要對(duì)轉(zhuǎn)出賬戶相同、業(yè)務(wù)相同的數(shù)據(jù)進(jìn)行一次用戶繳費(fèi)數(shù)據(jù)批量匯總；再如賬戶數(shù)據(jù)批量轉(zhuǎn)移處理需要在指定時(shí)間執(zhí)行，則通常需要啟動(dòng)一個(gè)定時(shí)任務(wù)，在指定時(shí)間觸發(fā)這個(gè)操作，執(zhí)行賬戶數(shù)據(jù)批量轉(zhuǎn)移。
[0004]在實(shí)際的數(shù)據(jù)批量處理中，隨著業(yè)務(wù)類型和需求不斷擴(kuò)大，需求場(chǎng)景多變，匯總數(shù)據(jù)類型多變，匯總類型更加多樣化，而且匯總執(zhí)行的時(shí)間點(diǎn)多變且不盡相同，使用上述處理方式來支撐多種業(yè)務(wù)、多種方式匯總，導(dǎo)致系統(tǒng)越來越龐大，維護(hù)難度越來越大。
[0005]所以需要提供一套標(biāo)準(zhǔn)化的數(shù)據(jù)批量處理系統(tǒng)結(jié)構(gòu)，使不同業(yè)務(wù)類型、不同處理時(shí)間的數(shù)據(jù)通過該系統(tǒng)結(jié)構(gòu)快捷的進(jìn)行數(shù)據(jù)批量處理，節(jié)約計(jì)算機(jī)資源和人工成本。

【發(fā)明內(nèi)容】

[0006]鑒于上述問題，本申請(qǐng)的主要目的在于提供一種數(shù)量批量處理的方法和裝置，以解決現(xiàn)有數(shù)據(jù)批量處理技術(shù)，在支撐多業(yè)務(wù)、多方式批量處理時(shí)導(dǎo)致系統(tǒng)難管理、難維護(hù)的問題。
[0007]為了解決上述技術(shù)問題，本申請(qǐng)的目的是通過以下技術(shù)方案實(shí)現(xiàn)的:
[0008]本申請(qǐng)公開了一種數(shù)據(jù)批量處理的方法，包括以下步驟:接收多個(gè)用戶請(qǐng)求數(shù)據(jù)并確定與所述多個(gè)用戶請(qǐng)求數(shù)據(jù)相關(guān)的一個(gè)或多個(gè)數(shù)據(jù)匯總模板；在所述一個(gè)或多個(gè)數(shù)據(jù)匯總模板的每一個(gè)中設(shè)置匯總維度和設(shè)置可執(zhí)行時(shí)刻；以及當(dāng)多個(gè)所述匯總維度相同時(shí)，批量處理所述多個(gè)用戶請(qǐng)求數(shù)據(jù)。
[0009]優(yōu)選的，在根據(jù)本申請(qǐng)所述的方法中，所述在所述一個(gè)或多個(gè)數(shù)據(jù)匯總模板的每一個(gè)中設(shè)置匯總維度和設(shè)置可執(zhí)行時(shí)刻還包括:基于所述用戶請(qǐng)求數(shù)據(jù)，解析每一個(gè)所述數(shù)據(jù)匯總模板中的配置文件；以及設(shè)置所述匯總維度并設(shè)置所述可執(zhí)行時(shí)刻。
[0010]優(yōu)選的，在根據(jù)本申請(qǐng)所述的方法中，所述配置文件包括匯總維度的描述方式和可執(zhí)行時(shí)刻的描述方式；以及所述解析每一個(gè)所述數(shù)據(jù)匯總模板中的配置文件包括:解析所述匯總維度的描述方式和所述可執(zhí)行時(shí)刻的描述方式。
[0011]優(yōu)選的，在根據(jù)本申請(qǐng)所述的方法中，所述當(dāng)多個(gè)所述匯總維度相同時(shí)批量處理多個(gè)用戶請(qǐng)求數(shù)據(jù)還包括:在所述可執(zhí)行時(shí)刻，將多個(gè)所述匯總維度相同的用戶請(qǐng)求數(shù)據(jù)組裝成一個(gè)或多個(gè)匯總批次，并批量處理多個(gè)用戶請(qǐng)求數(shù)據(jù)。
[0012]優(yōu)選的，在根據(jù)本申請(qǐng)所述的方法中，所述組裝成一個(gè)或多個(gè)匯總批次還包括:基于預(yù)設(shè)的處理閾值，來判斷用戶請(qǐng)求數(shù)據(jù)的數(shù)量是否需要組裝成一個(gè)或多個(gè)匯總批次；其中，如果用戶請(qǐng)求數(shù)據(jù)的數(shù)量大于所述處理閾值，則將所述用戶請(qǐng)求數(shù)據(jù)分成多個(gè)匯總批次進(jìn)行處理，并對(duì)所述多個(gè)匯總批次進(jìn)行編碼，使用得到的多個(gè)匯總批次序號(hào)關(guān)聯(lián)多個(gè)匯總批次；以及如果用戶請(qǐng)求數(shù)據(jù)的數(shù)量小于或者等于處理閾值，則將所述用戶請(qǐng)求數(shù)據(jù)作為一個(gè)匯總批次進(jìn)行處理。
[0013]優(yōu)選的，在根據(jù)本申請(qǐng)所述的方法中，所述批量處理多個(gè)用戶請(qǐng)求數(shù)據(jù)還包括:在可執(zhí)行時(shí)刻，調(diào)用數(shù)據(jù)庫(kù)中的數(shù)據(jù)操作項(xiàng)，并依照所述數(shù)據(jù)操作項(xiàng)中的操作項(xiàng)信息處理所述多個(gè)用戶請(qǐng)求數(shù)據(jù)。
[0014]優(yōu)選的，根據(jù)本申請(qǐng)所述的方法還可以包括:在所述數(shù)據(jù)操作項(xiàng)中，至少包括如下操作項(xiàng)信息:所述匯總維度、所述可執(zhí)行時(shí)刻、所述匯總批次序號(hào)。
[0015]優(yōu)選的，在根據(jù)本申請(qǐng)所述的方法中，所述批量處理多個(gè)用戶請(qǐng)求數(shù)據(jù)還包括同步地調(diào)用數(shù)據(jù)匯總插件。
[0016]本申請(qǐng)還公開了一種數(shù)據(jù)批量處理的裝置，包括:接收與選擇模塊，用于接收多個(gè)用戶請(qǐng)求數(shù)據(jù)并確定與所述多個(gè)用戶請(qǐng)求數(shù)據(jù)相關(guān)的一個(gè)或多個(gè)數(shù)據(jù)匯總模板；配置模塊，用于在所述一個(gè)或多個(gè)數(shù)據(jù)匯總模板的每一個(gè)中設(shè)置匯總維度和設(shè)置可執(zhí)行時(shí)刻；以及執(zhí)行模塊，用于當(dāng)多個(gè)匯總維度相同時(shí)，批量處理所述多個(gè)用戶請(qǐng)求數(shù)據(jù)。
[0017]優(yōu)選的，根據(jù)所述的裝置所述配置模塊，還可以包括:解析模塊，用于基于所述用戶請(qǐng)求數(shù)據(jù)，解析每一個(gè)所述數(shù)據(jù)匯總模板中的配置文件；以及設(shè)置模塊，設(shè)置所述匯總維度并設(shè)置所述可執(zhí)行時(shí)刻。
[0018]優(yōu)選的，在所述的裝置中，所述配置文件包括匯總維度的描述方式和可執(zhí)行時(shí)刻的描述方式；以及所述解析模塊包括:解析所述匯總維度的描述方式和所述可執(zhí)行時(shí)刻的描述方式。
[0019]優(yōu)選的，在所述的裝置中，所述執(zhí)行模塊還被配置成:在所述可執(zhí)行時(shí)刻，將多個(gè)所述匯總維度相同的用戶請(qǐng)求數(shù)據(jù)，依照所述可執(zhí)行時(shí)刻組裝成一個(gè)或多個(gè)匯總批次，并批量處理多個(gè)用戶請(qǐng)求數(shù)據(jù)。
[0020]優(yōu)選的，在所述的裝置中，所述執(zhí)行模塊還被配置成:基于預(yù)設(shè)的處理閾值，來判斷用戶請(qǐng)求數(shù)據(jù)的數(shù)量是否需要組裝成一個(gè)或多個(gè)匯總批次；其中，如果用戶請(qǐng)求數(shù)據(jù)的數(shù)量大于所述處理閾值，則將所述用戶請(qǐng)求數(shù)據(jù)分成多個(gè)匯總批次進(jìn)行處理，并對(duì)所述多個(gè)匯總批次進(jìn)行編碼，使用得到的多個(gè)匯總批次序號(hào)關(guān)聯(lián)多個(gè)匯總批次；以及如果用戶請(qǐng)求數(shù)據(jù)的數(shù)量小于或者等于處理閾值，則將所述用戶請(qǐng)求數(shù)據(jù)作為一個(gè)匯總批次進(jìn)行處理。
[0021]優(yōu)選的，在所述的裝置中，所述執(zhí)行模塊還可以包括:在可執(zhí)行時(shí)刻，調(diào)用數(shù)據(jù)庫(kù)中的數(shù)據(jù)操作項(xiàng)，并依照所述數(shù)據(jù)操作項(xiàng)中的操作項(xiàng)信息處理所述多個(gè)用戶請(qǐng)求數(shù)據(jù)。
[0022]優(yōu)選的，在所述的裝置中，還可以包括:在所述數(shù)據(jù)操作項(xiàng)中，至少包括如下操作項(xiàng)信息:所述匯總維度、所述可執(zhí)行時(shí)刻、所述匯總批次序號(hào)。
[0023]優(yōu)選的，在所述的裝置中，所述執(zhí)行模塊還被配置成同步地調(diào)用數(shù)據(jù)匯總插件。[0024]與現(xiàn)有技術(shù)相比，本申請(qǐng)的數(shù)據(jù)批量處理方法和裝置有如下優(yōu)點(diǎn):提出了一種標(biāo)準(zhǔn)化的數(shù)據(jù)批量處理的系統(tǒng)結(jié)構(gòu)，包含一套數(shù)據(jù)批量處理的標(biāo)準(zhǔn)化語(yǔ)義，只需通過配置不同參數(shù)和調(diào)用數(shù)據(jù)匯總插件，就可以實(shí)現(xiàn)各種業(yè)務(wù)類型的數(shù)據(jù)批量處理，其提高了數(shù)據(jù)批量處理的效率；并且所述數(shù)據(jù)批量處理系統(tǒng)結(jié)構(gòu)中的請(qǐng)求數(shù)據(jù)、數(shù)據(jù)匯總模塊、數(shù)據(jù)匯總插件、匯總維度、可執(zhí)行時(shí)刻、匯總類型均可進(jìn)行橫向擴(kuò)展，即數(shù)據(jù)批量處理系統(tǒng)結(jié)構(gòu)具有可配置性，節(jié)省了計(jì)算機(jī)資源和維護(hù)成本。
【專利附圖】

【附圖說明】
[0025]此處所說明的附圖用來提供對(duì)本申請(qǐng)的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本申請(qǐng)的示意性實(shí)施例及其說明用于解釋本申請(qǐng)，并不構(gòu)成對(duì)本申請(qǐng)的不當(dāng)限定。在附圖中:
[0026]圖1是本申請(qǐng)實(shí)施例的數(shù)據(jù)批量處理的方法的流程圖；
[0027]圖2是本申請(qǐng)實(shí)施例的數(shù)據(jù)批量處理的賬戶數(shù)據(jù)轉(zhuǎn)移的配置文件的示意圖；以及
[0028]圖3是本申請(qǐng)實(shí)施例的數(shù)據(jù)批量處理的裝置的模塊圖。
【具體實(shí)施方式】
[0029]本申請(qǐng)的主要思想在于，接收多個(gè)用戶請(qǐng)求數(shù)據(jù)并確定與所述多個(gè)用戶請(qǐng)求數(shù)據(jù)相關(guān)的一個(gè)或多個(gè)數(shù)據(jù)匯總模板；在所述一個(gè)或多個(gè)數(shù)據(jù)匯總模板的每一個(gè)中設(shè)置匯總維度和設(shè)置可執(zhí)行時(shí)刻；以及當(dāng)多個(gè)所述匯總維度相同時(shí)，批量處理所述多個(gè)用戶請(qǐng)求數(shù)據(jù)。
[0030]在上述思想中，不同業(yè)務(wù)類型的需要匯總的用戶請(qǐng)求數(shù)據(jù)的數(shù)據(jù)模型存在相同之處也同時(shí)存在不同之處，相同之處可以稱作數(shù)據(jù)匯總模板，不同之處可以稱作數(shù)據(jù)匯總插件。
[0031]匯總維度:匯總一般按照一定條件進(jìn)行，這些匯總需要的條件組合為一個(gè)字段，抽象成為匯總維度。
[0032]可執(zhí)行時(shí)刻:可以執(zhí)行請(qǐng)求處理的時(shí)間，即可進(jìn)行匯總處理的時(shí)間。
[0033]在數(shù)據(jù)匯總模板中包含配置文件，所述配置文件中的參數(shù)包括匯總維度的描述方式和可執(zhí)行時(shí)刻的描述方式。匯總維度的描述方式用來描述匯總所需要的條件的組合，可執(zhí)行時(shí)刻的描述方式用來描述可以進(jìn)行匯總處理的具體時(shí)刻。當(dāng)多個(gè)用戶請(qǐng)求數(shù)據(jù)的匯總維度相同時(shí)，可以進(jìn)行數(shù)據(jù)批量處理，數(shù)據(jù)批量處理的時(shí)間通過可執(zhí)行時(shí)刻進(jìn)行設(shè)置。
[0034]另外，所述匯總維度中包含匯總類型，匯總類型規(guī)定了數(shù)據(jù)批量處理的處理方式，如，不匯總、批次匯總、分批匯總等等。
[0035]數(shù)據(jù)操作項(xiàng):是數(shù)據(jù)操作共有特征的抽象，其包含了匯總維度、可執(zhí)行時(shí)刻、匯總批次序號(hào)以及狀態(tài)等數(shù)據(jù)。每個(gè)具體數(shù)據(jù)會(huì)對(duì)應(yīng)有一個(gè)數(shù)據(jù)操作項(xiàng)。數(shù)據(jù)操作如:轉(zhuǎn)移、提取等。
[0036]基于用戶請(qǐng)求數(shù)據(jù)，解析配置文件，設(shè)置匯總維度和設(shè)置可執(zhí)行時(shí)刻。根據(jù)用戶請(qǐng)求數(shù)據(jù)和配置文件，產(chǎn)生數(shù)據(jù)操作項(xiàng)。通常，一個(gè)配置文件與多個(gè)(N個(gè))數(shù)據(jù)，可以產(chǎn)生多個(gè)(N個(gè))數(shù)據(jù)操作項(xiàng)。
[0037]為使本申請(qǐng)的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，以下結(jié)合附圖及具體實(shí)施例，對(duì)本申請(qǐng)作進(jìn)一步地詳細(xì)說明。
[0038]根據(jù)本申請(qǐng)的實(shí)施例，提供了 一種數(shù)據(jù)批量處理的方法。[0039]圖1所示為本申請(qǐng)實(shí)施例的數(shù)據(jù)批量處理的方法的流程圖，該方法可以包括以下步驟。
[0040]在步驟101處，接收多個(gè)用戶請(qǐng)求數(shù)據(jù)并確定與所述多個(gè)用戶請(qǐng)求數(shù)據(jù)相關(guān)的一個(gè)或多個(gè)數(shù)據(jù)匯總模板。
[0041]在本實(shí)施例中，所述接收多個(gè)用戶請(qǐng)求數(shù)據(jù)可以包括多種業(yè)務(wù)類型，如:數(shù)據(jù)轉(zhuǎn)移，數(shù)據(jù)運(yùn)算、數(shù)據(jù)提取或數(shù)據(jù)插入等等。根據(jù)所述多個(gè)用戶請(qǐng)求數(shù)據(jù)的業(yè)務(wù)類型可以查詢到與之匹配的一個(gè)或多個(gè)數(shù)據(jù)匯總模板。
[0042]換言之，使用多種數(shù)據(jù)匯總模板可以組成一個(gè)標(biāo)準(zhǔn)化的數(shù)據(jù)批量處理模型，供不同業(yè)務(wù)類型的用戶請(qǐng)求數(shù)據(jù)調(diào)用，將數(shù)據(jù)批量處理模板作為中間介質(zhì)，實(shí)現(xiàn)數(shù)據(jù)的批量處理。
[0043]在步驟102處，在所述一個(gè)或多個(gè)數(shù)據(jù)匯總模板的每一個(gè)中設(shè)置匯總維度和設(shè)置可執(zhí)行時(shí)刻。
[0044]在每一個(gè)數(shù)據(jù)處理模板中均包含配置文件，并且在所述配置文件中又包含了匯總維度的描述方式和可執(zhí)行時(shí)刻的描述方式。
[0045]進(jìn)一步的，以接收一個(gè)用戶請(qǐng)求數(shù)據(jù)為例說明步驟102，在接收用戶請(qǐng)求數(shù)據(jù)后，基于所述用戶請(qǐng)求數(shù)據(jù)，解析與之匹配的數(shù)據(jù)處理模板中的配置文件:將所述配置文件中的描述語(yǔ)言(如:配置文件中的匯總維度的描述方式和可執(zhí)行時(shí)刻的描述方式)，根據(jù)業(yè)務(wù)參數(shù)或環(huán)境變化(如用戶請(qǐng)求數(shù)據(jù)導(dǎo)致的參數(shù)或環(huán)境的變化)，轉(zhuǎn)化為能夠被計(jì)算機(jī)識(shí)別的語(yǔ)言。由于解析所述配置文件時(shí)對(duì)配置文件中的匯總維度的描述方式和可執(zhí)行時(shí)刻的描述方式進(jìn)行解析，從而確定了兩種參數(shù)描述方式的語(yǔ)義。
[0046]所述匯總維度的描述方式和可執(zhí)行時(shí)刻的描述方式是指用編程語(yǔ)言定義這兩個(gè)參數(shù)的定義、內(nèi)容、執(zhí)行方式等等。
[0047]基于上述解析過程，設(shè)置所述匯總維度和設(shè)置所述可執(zhí)行時(shí)刻，解析和設(shè)置過程可參見圖2的所示具體實(shí)施例，在這一過程中可以得到已設(shè)置的匯總維度和可執(zhí)行時(shí)刻。由此，可通過配置文件和用戶請(qǐng)求數(shù)據(jù)生成相應(yīng)的數(shù)據(jù)操作項(xiàng)。
[0048]在實(shí)際應(yīng)用中會(huì)接收多個(gè)用戶請(qǐng)求數(shù)據(jù)，每一個(gè)用戶請(qǐng)求數(shù)據(jù)都要執(zhí)行上述步驟。
[0049]在步驟103處，當(dāng)多個(gè)所述匯總維度相同時(shí)，批量處理所述多個(gè)用戶請(qǐng)求數(shù)據(jù)。
[0050]在本實(shí)施例中，在所述可執(zhí)行時(shí)刻，將多個(gè)所述匯總維度相同的用戶請(qǐng)求數(shù)據(jù)組裝成一個(gè)或多個(gè)匯總批次，并批量處理多個(gè)用戶請(qǐng)求數(shù)據(jù)。由于系統(tǒng)性能問題，需要在構(gòu)建數(shù)據(jù)批量處理模型時(shí)，預(yù)先對(duì)系統(tǒng)進(jìn)行處理閾值設(shè)置，保證數(shù)據(jù)批量處理在系統(tǒng)性能最優(yōu)的情況下進(jìn)行。在可執(zhí)行時(shí)刻，基于預(yù)設(shè)的處理閾值判斷用戶請(qǐng)求數(shù)據(jù)的數(shù)量是否需要組裝成一個(gè)或多個(gè)匯總批次:如果用戶請(qǐng)求數(shù)據(jù)的數(shù)量大于所述處理閾值，則將所述用戶請(qǐng)求數(shù)據(jù)分成多個(gè)匯總批次進(jìn)行處理，并對(duì)所述多個(gè)匯總批次進(jìn)行編碼，使用得到的多個(gè)匯總批次序號(hào)關(guān)聯(lián)多個(gè)匯總批次；以及如果用戶請(qǐng)求數(shù)據(jù)的數(shù)量小于或者等于處理閾值，則將所述用戶請(qǐng)求數(shù)據(jù)作為一個(gè)匯總批次進(jìn)行處理。
[0051]需要進(jìn)行批量處理所述多個(gè)用戶請(qǐng)求數(shù)據(jù)還需要在可執(zhí)行時(shí)刻，調(diào)用數(shù)據(jù)庫(kù)中的數(shù)據(jù)操作項(xiàng)，并依照所述數(shù)據(jù)操作項(xiàng)中的操作項(xiàng)信息處理所述多個(gè)用戶請(qǐng)求數(shù)據(jù)，所述數(shù)據(jù)操作項(xiàng)包括操作項(xiàng)信息，如:所述匯總維度、所述可執(zhí)行時(shí)刻、所述匯總批次序號(hào)等等。所以需要將設(shè)置完成的匯總維度和可執(zhí)行時(shí)刻保存至數(shù)據(jù)庫(kù)，且將匯總批次序號(hào)保存至數(shù)據(jù)庫(kù)中，并全都作為操作項(xiàng)信息記錄于數(shù)據(jù)操作項(xiàng)中。另外，所述多個(gè)用戶請(qǐng)求數(shù)據(jù)也需要保存至數(shù)據(jù)庫(kù)中，用于在可執(zhí)行時(shí)刻，調(diào)用所述數(shù)據(jù)操作項(xiàng)對(duì)多個(gè)用戶請(qǐng)求數(shù)據(jù)執(zhí)行批量處理。
[0052]需要說明的是，一個(gè)數(shù)據(jù)操作項(xiàng)對(duì)應(yīng)一種業(yè)務(wù)類型，并且一個(gè)數(shù)據(jù)操作項(xiàng)對(duì)應(yīng)一條批次記錄，所述批次記錄中包含批次記錄序號(hào)、業(yè)務(wù)類型、匯總批次的數(shù)量等等。在將所述用戶請(qǐng)求數(shù)據(jù)分成多個(gè)匯總批次進(jìn)行處理時(shí)，需要對(duì)所述多個(gè)匯總批次進(jìn)行編碼，得到匯總批次序號(hào)，將所述匯總批次序號(hào)記錄在數(shù)據(jù)操作項(xiàng)中，匯總批次的數(shù)量記錄在所述批次記錄中，以此實(shí)現(xiàn)多個(gè)匯總批次之間的關(guān)聯(lián)。
[0053]例如:對(duì)于一組匯總維度相同的用戶請(qǐng)求數(shù)據(jù)，一共1300條，可執(zhí)行時(shí)刻設(shè)置為13:30，并且處理閾值預(yù)設(shè)為500條，則系統(tǒng)會(huì)在13:30把這1300條用戶請(qǐng)求數(shù)據(jù)組裝為3個(gè)匯總批次，這樣可以得到兩個(gè)500條用戶請(qǐng)求數(shù)據(jù)，一個(gè)300條用戶請(qǐng)求數(shù)據(jù)，對(duì)3個(gè)匯總批次進(jìn)行編碼，得到匯總批次序號(hào)，如序號(hào)為001、002、003，假設(shè)，在001中包含500條用戶請(qǐng)求數(shù)據(jù)，在002中包含500條用戶請(qǐng)求數(shù)據(jù)，在003中包含300條用戶請(qǐng)求數(shù)據(jù)，將這3個(gè)匯總批次序號(hào)記錄在數(shù)據(jù)操作項(xiàng)中，并將匯總批次的數(shù)量3記錄在一條匯總批次記錄當(dāng)中，接著對(duì)這個(gè)匯總的信息進(jìn)行處理。這樣在一個(gè)數(shù)據(jù)操作項(xiàng)對(duì)應(yīng)處理一條批次記錄時(shí)，如處理序號(hào)001的匯總批次時(shí)，知道還需要處理002和003這兩個(gè)匯總批次，才算完成一條批次記錄的處理，從而實(shí)現(xiàn)了對(duì)3個(gè)批次的關(guān)聯(lián)。[0054]由于匯總維度相同的一個(gè)或多個(gè)用戶請(qǐng)求數(shù)據(jù)還存在一定差別(不同部分)，因此將所述的差別抽象為一個(gè)或多個(gè)數(shù)據(jù)匯總插件，則對(duì)應(yīng)的數(shù)據(jù)匯總模板可以去除這些不同部分使得數(shù)據(jù)批量處理模型更簡(jiǎn)單。而在執(zhí)行數(shù)據(jù)批量處理時(shí)，同步地調(diào)用數(shù)據(jù)匯總插件，可以用來補(bǔ)充和完善不同業(yè)務(wù)類型的用戶請(qǐng)求數(shù)據(jù)，在執(zhí)行數(shù)據(jù)批量處理時(shí)，能靈活的調(diào)用數(shù)據(jù)匯總插件，使數(shù)據(jù)批量處理結(jié)果更具準(zhǔn)確性。因而，數(shù)據(jù)匯總插件的運(yùn)用既簡(jiǎn)化了數(shù)據(jù)批量處理模型，又使得數(shù)據(jù)批量處理模塊更具可維護(hù)性。
[0055]需要說明的是，在步驟101、步驟102和步驟103中，所述用戶請(qǐng)求數(shù)據(jù)、數(shù)據(jù)匯總模板、數(shù)據(jù)匯總插件、匯總維度的描述方式、可執(zhí)行時(shí)刻的描述方式可以進(jìn)行無限擴(kuò)展，其中，對(duì)用戶請(qǐng)求數(shù)據(jù)的橫向擴(kuò)展為可以對(duì)業(yè)務(wù)類型的擴(kuò)展，對(duì)數(shù)據(jù)匯總模板、數(shù)據(jù)匯總插件、匯總維度的描述方式、可執(zhí)行時(shí)刻的描述方式進(jìn)行橫向擴(kuò)展為可以對(duì)參數(shù)進(jìn)行擴(kuò)充，這樣在業(yè)務(wù)類型不斷增加、用戶請(qǐng)求數(shù)據(jù)不斷增長(zhǎng)的情況下，數(shù)據(jù)批量處理模型具有可配置性。
[0056]圖2所示為本申請(qǐng)實(shí)施例的數(shù)據(jù)批量處理的數(shù)據(jù)轉(zhuǎn)移的配置文件的示意圖，在圖1的基礎(chǔ)上進(jìn)一步解釋步驟102中所述通過所述數(shù)據(jù)匯總模板設(shè)置匯總維度和設(shè)置可執(zhí)行時(shí)刻這一過程。在設(shè)置可執(zhí)行時(shí)刻和設(shè)置匯總維度之前，首先基于用戶請(qǐng)求數(shù)據(jù)解析可執(zhí)行時(shí)刻的描述方式和解析匯總維度的描述方式，用來根據(jù)業(yè)務(wù)參數(shù)或環(huán)境的變化，將配置文件中的描述方式轉(zhuǎn)化成計(jì)算機(jī)可以識(shí)別的具體內(nèi)容，然后再設(shè)置可執(zhí)行時(shí)刻和設(shè)置匯總維度，具體可以包括以下2個(gè)步驟。
[0057]1.解析可執(zhí)行時(shí)刻的描述方式和解析匯總維度的描述性方式，在圖2中配置文件按照計(jì)劃任務(wù)(CR0N表達(dá)式)方式配置有可執(zhí)行時(shí)刻，如</executePro>00/304-23**?*〈/executeProX/execSchedule>語(yǔ)句，表示為每天4點(diǎn)到23點(diǎn)之間，每隔半個(gè)小時(shí)作為一個(gè)匯總時(shí)間點(diǎn)即可執(zhí)行時(shí)刻，當(dāng)接收用戶請(qǐng)求數(shù)據(jù)時(shí)，將通過所述配置文件找到離當(dāng)前時(shí)間點(diǎn)最近的后一個(gè)時(shí)間點(diǎn)，并將該最近的后一個(gè)時(shí)間點(diǎn)設(shè)置為可執(zhí)行時(shí)刻。在圖2中，配置文件可以使用一個(gè)字段來描述匯總維度，在配置文件中可以看到如下語(yǔ)句:〈su_aryDimension>> IgPosPayTIPaySum|，+$transln$.concat ( ‘I，).concat($transOut$)</summaryDimension>,該語(yǔ)句表示配置ID “ lgPosPayTlPaySum”+轉(zhuǎn)入賬戶+轉(zhuǎn)出賬戶，換言之，匯總維度即描述為前綴“l(fā)gPosPayTlPaySuml ”拼接轉(zhuǎn)入賬戶，拼接“ I ”，再拼接轉(zhuǎn)出賬戶。若在當(dāng)前時(shí)間14:17接收到用戶請(qǐng)求數(shù)據(jù)，需要將轉(zhuǎn)出賬戶(2088101119039098)中的數(shù)據(jù)轉(zhuǎn)移到轉(zhuǎn)入賬戶(2088101117829158)中，則可執(zhí)行時(shí)刻應(yīng)當(dāng)轉(zhuǎn)化為14:30，匯總維度應(yīng)當(dāng)轉(zhuǎn)化為
[0058]“l(fā)gPosPayTlPaySuml2088101117829158 I 2088101119039098”。
[0059]2.設(shè)置可執(zhí)行時(shí)刻和設(shè)置匯總維度，基于步驟1，根據(jù)上述表達(dá)式的描述含義，將用戶請(qǐng)求數(shù)據(jù)的可執(zhí)行時(shí)刻設(shè)置為14:30，而匯總維度字段設(shè)置為“l(fā)gPosPayTlPaySuml 2088101117829158|2088101119039098”。
[0060]當(dāng)多個(gè)用戶請(qǐng)求數(shù)據(jù)的匯總維度相同時(shí)，就可以利用圖1中的步驟103，將所述轉(zhuǎn)出賬戶中的數(shù)據(jù)批量的轉(zhuǎn)移到轉(zhuǎn)入賬戶中了。
[0061]本申請(qǐng)還提供了一種數(shù)據(jù)批量處理的裝置，參照?qǐng)D3所示為根據(jù)本申請(qǐng)實(shí)施例的數(shù)據(jù)批量處理的裝置的模塊圖。
[0062]根據(jù)本申請(qǐng)的裝置，可以包括接收與選擇模塊301、配置模塊302、執(zhí)行模塊303。
[0063]在該裝置中，接收與選擇模塊301可以用來接收多個(gè)用戶請(qǐng)求數(shù)據(jù)并確定數(shù)據(jù)匯總模板。具體可參見步驟101。
[0064]配置模塊302可以用來接收多個(gè)用戶請(qǐng)求數(shù)據(jù)并確定與所述多個(gè)用戶請(qǐng)求數(shù)據(jù)相關(guān)的一個(gè)或多個(gè)數(shù)據(jù)匯總模板。具體可參見步驟102。
[0065]在本實(shí)施例中，所述配置模塊302還可以包括解析模塊(未示出)和設(shè)置模塊(未示出)，在所述數(shù)據(jù)匯總模板中含有配置文件，其中解析模塊可以用來基于所述用戶請(qǐng)求數(shù)據(jù)，解析每一個(gè)所述數(shù)據(jù)匯總模板中的配置文件，又因?yàn)樗雠渲梦募▍R總維度的描述方式和可執(zhí)行時(shí)刻的描述方式，所述解析模塊可以包括解析所述匯總維度的描述方式和所述可執(zhí)行時(shí)刻的描述方式。設(shè)置模塊可以用來設(shè)置所述匯總維度并設(shè)置所述可執(zhí)行時(shí)刻。
[0066]執(zhí)行模塊303可以用來當(dāng)多個(gè)匯總維度相同時(shí)，批量處理所述多個(gè)用戶請(qǐng)求數(shù)據(jù)。具體可參見步驟103。
[0067]所述執(zhí)行模塊303還可以被配置成在所述可執(zhí)行時(shí)刻，將多個(gè)所述匯總維度相同的用戶請(qǐng)求數(shù)據(jù)，依照所述可執(zhí)行時(shí)刻組裝成一個(gè)或多個(gè)匯總批次，并批量處理多個(gè)用戶請(qǐng)求數(shù)據(jù)。
[0068]進(jìn)一步的，所述執(zhí)行模塊303還被配置成基于預(yù)設(shè)的處理閾值，來判斷用戶請(qǐng)求數(shù)據(jù)的數(shù)量是否需要組裝成一個(gè)或多個(gè)匯總批次:如果用戶請(qǐng)求數(shù)據(jù)的數(shù)量大于所述處理閾值，則將所述用戶請(qǐng)求數(shù)據(jù)分成多個(gè)匯總批次進(jìn)行處理，并且使用與所述匯總批次相對(duì)應(yīng)的多個(gè)匯總批次序號(hào)進(jìn)行關(guān)聯(lián)；以及如果用戶請(qǐng)求數(shù)據(jù)的數(shù)量小于或者等于處理閾值，則將所述用戶請(qǐng)求數(shù)據(jù)作為一個(gè)匯總批次進(jìn)行處理。
[0069]在批量處理多個(gè)用戶請(qǐng)求數(shù)據(jù)時(shí)，所述執(zhí)行模塊303調(diào)用數(shù)據(jù)庫(kù)中的數(shù)據(jù)操作項(xiàng)，并依照所述數(shù)據(jù)操作項(xiàng)中的操作項(xiàng)信息處理所述多個(gè)用戶請(qǐng)求數(shù)據(jù)。在所述數(shù)據(jù)操作項(xiàng)中，至少包括如下操作項(xiàng)信息:所述匯總維度、所述可執(zhí)行時(shí)刻、所述匯總批次序號(hào)等。由于匯總維度相同的用戶請(qǐng)求數(shù)據(jù)還存在一定差別，所以在執(zhí)行數(shù)據(jù)批量處理時(shí)，還需所述執(zhí)行模塊303同步的調(diào)用數(shù)據(jù)匯總插件。。
[0070]根據(jù)圖3所描述的本申請(qǐng)的系統(tǒng)所包括的各個(gè)模塊的具體實(shí)施與本申請(qǐng)的方法中的步驟的具體實(shí)施是相對(duì)應(yīng)的，由于之前已經(jīng)詳細(xì)描述了圖1所示的數(shù)據(jù)批量處理的方法實(shí)施例和圖2所示的數(shù)據(jù)批量處理的數(shù)據(jù)轉(zhuǎn)移的配置文件的示意圖，為了不模糊本申請(qǐng)，在此省略不再對(duì)各個(gè)模塊的具體細(xì)節(jié)進(jìn)行描述。
[0071]本說明書中的各個(gè)實(shí)施例一般采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見即可。
[0072]本申請(qǐng)可以在由計(jì)算機(jī)執(zhí)行的計(jì)算機(jī)可執(zhí)行指令的一般上下文中描述，例如程序模塊或單元。一般地，程序模塊或單元可以包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)等等。一般來說，程序模塊或單元可以由軟件、硬件或兩者的結(jié)合來實(shí)現(xiàn)。也可以在分布式計(jì)算環(huán)境中實(shí)踐本申請(qǐng)，在這些分布式計(jì)算環(huán)境中，由通過通信網(wǎng)絡(luò)而被連接的遠(yuǎn)程處理設(shè)備來執(zhí)行任務(wù)。在分布式計(jì)算環(huán)境中，程序模塊或單元可以位于包括存儲(chǔ)設(shè)備在內(nèi)的本地和遠(yuǎn)程計(jì)算機(jī)存儲(chǔ)介質(zhì)中。
[0073]最后，還需要說明的是， 術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、商品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、商品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語(yǔ)句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過程、方法、商品或者設(shè)備中還存在另外的相同要素。
[0074]本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本申請(qǐng)的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本申請(qǐng)可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本申請(qǐng)可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。
[0075]本文中應(yīng)用了具體個(gè)例對(duì)本申請(qǐng)的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本申請(qǐng)的方法及其主要思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本申請(qǐng)的思想，在【具體實(shí)施方式】及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對(duì)本申請(qǐng)的限制。
【權(quán)利要求】
1.一種數(shù)據(jù)批量處理的方法，其特征在于，包括: 接收多個(gè)用戶請(qǐng)求數(shù)據(jù)并確定與所述多個(gè)用戶請(qǐng)求數(shù)據(jù)相關(guān)的一個(gè)或多個(gè)數(shù)據(jù)匯總模板； 在所述一個(gè)或多個(gè)數(shù)據(jù)匯總模板的每一個(gè)中設(shè)置匯總維度和設(shè)置可執(zhí)行時(shí)刻；以及 當(dāng)多個(gè)所述匯總維度相同時(shí)，批量處理所述多個(gè)用戶請(qǐng)求數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在所述一個(gè)或多個(gè)數(shù)據(jù)匯總模板的每一個(gè)中設(shè)置匯總維度和設(shè)置可執(zhí)行時(shí)刻的還包括: 基于所述用戶請(qǐng)求數(shù)據(jù)，解析每一個(gè)所述數(shù)據(jù)匯總模板中的配置文件，并設(shè)置所述匯總維度并設(shè)置所述可執(zhí)行時(shí)刻。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于:所述配置文件包括匯總維度的描述方式和可執(zhí)行時(shí)刻的描述方式；以及 所述解析每一個(gè)所述數(shù)據(jù)匯總模板中的配置文件包括:解析所述匯總維度的描述方式和所述可執(zhí)行時(shí)刻的描述方式； 所述設(shè)置所述匯總維度并設(shè)置所述可執(zhí)行時(shí)刻包括:根據(jù)所述匯總維度的描述方式設(shè)置所述匯總維度，根據(jù)所述可執(zhí)行時(shí)刻的描述方式設(shè)置可執(zhí)行時(shí)刻。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述當(dāng)多個(gè)所述匯總維度相同時(shí)，批量處理多個(gè)用戶請(qǐng)求數(shù)據(jù)還 包括: 在所述可執(zhí)行時(shí)刻，將多個(gè)所述匯總維度相同的用戶請(qǐng)求數(shù)據(jù)組裝成一個(gè)或多個(gè)匯總批次，并批量處理多個(gè)用戶請(qǐng)求數(shù)據(jù)。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述組裝成一個(gè)或多個(gè)匯總批次還包括:基于預(yù)設(shè)的處理閾值，來判斷用戶請(qǐng)求數(shù)據(jù)的數(shù)量是否需要組裝成一個(gè)或多個(gè)匯總批次；其中， 如果用戶請(qǐng)求數(shù)據(jù)的數(shù)量大于所述處理閾值，則將所述用戶請(qǐng)求數(shù)據(jù)分成多個(gè)匯總批次進(jìn)行處理，并對(duì)所述多個(gè)匯總批次進(jìn)行編碼，使用得到的多個(gè)匯總批次序號(hào)關(guān)聯(lián)多個(gè)匯總批次；以及 如果用戶請(qǐng)求數(shù)據(jù)的數(shù)量小于或者等于處理閾值，則將所述用戶請(qǐng)求數(shù)據(jù)作為一個(gè)匯總批次進(jìn)行處理。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述批量處理多個(gè)用戶請(qǐng)求數(shù)據(jù)還包括: 在可執(zhí)行時(shí)刻，調(diào)用數(shù)據(jù)庫(kù)中的數(shù)據(jù)操作項(xiàng)，并依照所述數(shù)據(jù)操作項(xiàng)中的操作項(xiàng)信息處理所述多個(gè)用戶請(qǐng)求數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，還包括: 在所述數(shù)據(jù)操作項(xiàng)中，至少包括如下操作項(xiàng)信息:所述匯總維度、所述可執(zhí)行時(shí)刻、所述匯總批次序號(hào)。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述批量處理多個(gè)用戶請(qǐng)求數(shù)據(jù)還包括同步地調(diào)用數(shù)據(jù)匯總插件。
9.一種數(shù)據(jù)批量處理的裝置，包括: 接收與選擇模塊，用于接收多個(gè)用戶請(qǐng)求數(shù)據(jù)并確定與所述多個(gè)用戶請(qǐng)求數(shù)據(jù)相關(guān)的一個(gè)或多個(gè)數(shù)據(jù)匯總模板； 配置模塊，用于在所述一個(gè)或多個(gè)數(shù)據(jù)匯總模板的每一個(gè)中設(shè)置匯總維度和設(shè)置可執(zhí)行時(shí)刻；以及 執(zhí)行模塊，用于當(dāng)多個(gè)所述匯總維度相同時(shí)，批量處理所述多個(gè)用戶請(qǐng)求數(shù)據(jù)。
10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述配置模塊還包括: 基于所述用戶請(qǐng)求數(shù)據(jù)，解析每一個(gè)所述數(shù)據(jù)匯總模板中的配置文件，并設(shè)置所述匯總維度并設(shè)置所述可執(zhí)行時(shí)刻。
11.根據(jù)權(quán)利要求10所述的裝置，其特征在于:所述配置文件包括匯總維度的描述方式和可執(zhí)行時(shí)刻的描述方式；以及 配置模塊還包括解析模塊:用于解析所述匯總維度的描述方式和所述可執(zhí)行時(shí)刻的描述方式； 配置模塊還包括設(shè)置模塊:用于根據(jù)所述匯總維度的描述方式設(shè)置所述匯總維度，根據(jù)所述可執(zhí)行時(shí)刻的描述方式設(shè)置可執(zhí)行時(shí)刻。
12.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述執(zhí)行模塊還包括: 在所述可執(zhí)行時(shí)刻，將多個(gè)所述匯總維度相同的用戶請(qǐng)求數(shù)據(jù)組裝成一個(gè)或多個(gè)匯總批次，并批量處理多個(gè)用戶請(qǐng)求數(shù)據(jù)。
13.根據(jù)權(quán)利要求12所述的裝置，其特征在于，所述執(zhí)行模塊還被配置成: 基于預(yù)設(shè)的處理閾值，來判斷用戶請(qǐng)求數(shù)據(jù)的數(shù)量是否需要組裝成一個(gè)或多個(gè)匯總批次;其中， 如果用戶請(qǐng)求數(shù)據(jù)的數(shù)量大于所述處理閾值，則將所述用戶請(qǐng)求數(shù)據(jù)分成多個(gè)匯總批次進(jìn)行處理，并對(duì)所述多個(gè)匯總批次進(jìn)行編碼，使用得到的多個(gè)匯總批次序號(hào)關(guān)聯(lián)多個(gè)匯總批次；以及 如果用戶請(qǐng)求數(shù)據(jù)的數(shù)量小于或者等于處理閾值，則將所述用戶請(qǐng)求數(shù)據(jù)作為一個(gè)匯總批次進(jìn)行處理。
14.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述執(zhí)行模塊還包括: 在可執(zhí)行時(shí)刻，調(diào)用數(shù)據(jù)庫(kù)中的數(shù)據(jù)操作項(xiàng)，并依照所述數(shù)據(jù)操作項(xiàng)中的操作項(xiàng)信息處理所述多個(gè)用戶請(qǐng)求數(shù)據(jù)。
15.根據(jù)權(quán)利要求14所述的裝置，其特征在于，還包括: 在所述數(shù)據(jù)操作項(xiàng)中，至少包括如下操作項(xiàng)信息:所述匯總維度、所述可執(zhí)行時(shí)刻、所述匯總批次序號(hào)。
16.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述執(zhí)行模塊還包括同步地調(diào)用數(shù)據(jù)匯總插件。
【文檔編號(hào)】G06F17/30GK103927314SQ201310016209
【公開日】2014年7月16日 申請(qǐng)日期:2013年1月16日 優(yōu)先權(quán)日:2013年1月16日
【發(fā)明者】張濤, 唐凱 申請(qǐng)人:阿里巴巴集團(tuán)控股有限公司