數(shù)據(jù)處理方法、裝置及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種數(shù)據(jù)處理方法，包括：服務(wù)器獲取待統(tǒng)計(jì)的源數(shù)據(jù)，根據(jù)預(yù)置的處理進(jìn)程分配規(guī)則與服務(wù)器內(nèi)的所有已啟動(dòng)的進(jìn)程，為待統(tǒng)計(jì)的源數(shù)據(jù)預(yù)分配處理進(jìn)程；根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則，將獲取的源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元；將轉(zhuǎn)換后的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程，處理進(jìn)程根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，將數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)；以及輸出合并統(tǒng)計(jì)后的數(shù)據(jù)元。此外，本發(fā)明還提供一種數(shù)據(jù)處理裝置及系統(tǒng)。上述數(shù)據(jù)處理方法、裝置及系統(tǒng)可極大地提高數(shù)據(jù)處理的效率。
【專利說明】數(shù)據(jù)處理方法、裝置及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)通信【技術(shù)領(lǐng)域】，尤其涉及一種數(shù)據(jù)處理方法、裝置及系統(tǒng)。

【背景技術(shù)】
[0002]數(shù)據(jù)統(tǒng)計(jì)分析通常采用的方法是接收外端模塊數(shù)據(jù)，在存儲(chǔ)介質(zhì)中(例如，內(nèi)存、磁盤、數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)存儲(chǔ)等)進(jìn)行加工處理，然后輸出結(jié)果數(shù)據(jù)。但是，現(xiàn)有的數(shù)據(jù)處理技術(shù)只抽象出統(tǒng)計(jì)框架，也就是說其提供的統(tǒng)計(jì)邏輯只適配同源數(shù)據(jù)的處理，對(duì)來自于不同數(shù)據(jù)源的異構(gòu)數(shù)據(jù)則不適配，機(jī)器每新接入一類數(shù)據(jù)，或者變更接入數(shù)據(jù)，都需要對(duì)接入和加工分析模塊進(jìn)行代碼變更，通過人工編碼提供對(duì)應(yīng)數(shù)據(jù)的接入以及數(shù)據(jù)加工處理的邏輯，人力成本較高且缺乏效率。


【發(fā)明內(nèi)容】

[0003]有鑒于此，本發(fā)明提供一種數(shù)據(jù)處理方法、裝置及系統(tǒng)，可極大地提高數(shù)據(jù)處理的效率。
[0004]一種數(shù)據(jù)處理方法，包括:服務(wù)器獲取待統(tǒng)計(jì)的源數(shù)據(jù)，根據(jù)預(yù)置的處理進(jìn)程分配規(guī)則與所述服務(wù)器內(nèi)的所有已啟動(dòng)的進(jìn)程，為所述待統(tǒng)計(jì)的源數(shù)據(jù)預(yù)分配處理進(jìn)程；根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則，將獲取的所述源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元；將轉(zhuǎn)換后的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程，所述處理進(jìn)程根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，將所述數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)；以及輸出合并統(tǒng)計(jì)后的數(shù)據(jù)元。
[0005]一種數(shù)據(jù)處理方法，包括:配置服務(wù)器獲取全局配置規(guī)則信息，并將所述全局配置規(guī)則信息發(fā)送給統(tǒng)計(jì)服務(wù)器，所述全局配置規(guī)則信息包括預(yù)置的處理進(jìn)程分配規(guī)則、預(yù)置的源數(shù)據(jù)處理規(guī)則以及預(yù)置的數(shù)據(jù)流處理規(guī)則；所述統(tǒng)計(jì)服務(wù)器獲取待統(tǒng)計(jì)的源數(shù)據(jù)，根據(jù)所述預(yù)置的處理進(jìn)程分配規(guī)則與所述統(tǒng)計(jì)服務(wù)器內(nèi)的所有已啟動(dòng)的進(jìn)程，為所述待統(tǒng)計(jì)的源數(shù)據(jù)預(yù)分配處理進(jìn)程；所述統(tǒng)計(jì)服務(wù)器根據(jù)所述預(yù)置的源數(shù)據(jù)處理規(guī)則，將獲取的所述源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元；所述統(tǒng)計(jì)服務(wù)器將轉(zhuǎn)換后的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程，所述處理進(jìn)程根據(jù)所述預(yù)置的數(shù)據(jù)流處理規(guī)則，將所述數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)；以及所述統(tǒng)計(jì)服務(wù)器輸出合并統(tǒng)計(jì)后的數(shù)據(jù)元。
[0006]一種數(shù)據(jù)處理裝置，應(yīng)用于服務(wù)器，包括:源數(shù)據(jù)獲取模塊，用于獲取待統(tǒng)計(jì)的源數(shù)據(jù)，根據(jù)預(yù)置的處理進(jìn)程分配規(guī)則與所述服務(wù)器內(nèi)的所有已啟動(dòng)的進(jìn)程，為所述待統(tǒng)計(jì)的源數(shù)據(jù)預(yù)分配處理進(jìn)程；源數(shù)據(jù)轉(zhuǎn)換模塊，用于根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則，將所述源數(shù)據(jù)獲取模塊獲取的所述源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元；數(shù)據(jù)元合并統(tǒng)計(jì)模塊，用于將所述源數(shù)據(jù)轉(zhuǎn)換模塊轉(zhuǎn)換后的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程，所述處理進(jìn)程根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，將所述數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)；以及輸出模塊，用于輸出所述數(shù)據(jù)元合并統(tǒng)計(jì)模塊合并統(tǒng)計(jì)后的數(shù)據(jù)元。
[0007]—種數(shù)據(jù)處理系統(tǒng)，包括:包括:配置服務(wù)器以及統(tǒng)計(jì)服務(wù)器，所述配置服務(wù)器用于獲取全局配置規(guī)則信息，并將所述全局配置規(guī)則信息發(fā)送給所述統(tǒng)計(jì)服務(wù)器，所述全局配置規(guī)則信息包括預(yù)置的處理進(jìn)程分配規(guī)則、預(yù)置的源數(shù)據(jù)處理規(guī)則以及預(yù)置的數(shù)據(jù)流處理規(guī)則；所述統(tǒng)計(jì)服務(wù)器用于獲取待統(tǒng)計(jì)的源數(shù)據(jù)，根據(jù)所述預(yù)置的處理進(jìn)程分配規(guī)則與所述統(tǒng)計(jì)服務(wù)器內(nèi)的所有已啟動(dòng)的進(jìn)程，為所述待統(tǒng)計(jì)的源數(shù)據(jù)預(yù)分配處理進(jìn)程；根據(jù)所述預(yù)置的源數(shù)據(jù)處理規(guī)則，將獲取的所述源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元；將轉(zhuǎn)換后的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程，所述處理進(jìn)程根據(jù)所述預(yù)置的數(shù)據(jù)流處理規(guī)則，將所述數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)；以及輸出合并統(tǒng)計(jì)后的數(shù)據(jù)元。
[0008]在上述的數(shù)據(jù)處理方法、裝置及系統(tǒng)中，通過根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則，將源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元，然后根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，將數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)，可為數(shù)據(jù)處理提供通用的數(shù)據(jù)接入方式與通用的數(shù)據(jù)處理加工邏輯，從而實(shí)現(xiàn)多類型數(shù)據(jù)從接入到處理再到輸出的全流程自動(dòng)化，極大地提高數(shù)據(jù)處理的效率。
[0009]為讓本發(fā)明的上述和其他目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實(shí)施例，并配合所附圖式，作詳細(xì)說明如下。

【專利附圖】

【附圖說明】
[0010]圖1為本發(fā)明第一實(shí)施例提供的數(shù)據(jù)處理方法的流程圖。
[0011]圖2為本發(fā)明第二實(shí)施例提供的數(shù)據(jù)處理方法的流程圖。
[0012]圖3為本發(fā)明第二實(shí)施例提供的數(shù)據(jù)處理方法中數(shù)據(jù)元分發(fā)的示意圖。
[0013]圖4為本發(fā)明第二實(shí)施例提供的數(shù)據(jù)處理方法中源數(shù)據(jù)流轉(zhuǎn)及處理的一示意圖。
[0014]圖5為本發(fā)明第二實(shí)施例提供的數(shù)據(jù)處理方法中源數(shù)據(jù)流轉(zhuǎn)及處理的又一示意圖。
[0015]圖6為本發(fā)明第三實(shí)施例提供的數(shù)據(jù)處理方法的流程圖。
[0016]圖7為本發(fā)明第四實(shí)施例提供的數(shù)據(jù)處理方法的應(yīng)用環(huán)境圖。
[0017]圖8為本發(fā)明第四實(shí)施例提供的數(shù)據(jù)處理方法的流程圖。
[0018]圖9為本發(fā)明第五實(shí)施例提供的數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖。
[0019]圖10為本發(fā)明第六實(shí)施例提供的數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖。
[0020]圖11為本發(fā)明第七實(shí)施例提供的數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)示意圖。
[0021]圖12為本發(fā)明第八實(shí)施例提供的數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0022]為更進(jìn)一步闡述本發(fā)明為實(shí)現(xiàn)預(yù)定發(fā)明目的所采取的技術(shù)手段及功效，以下結(jié)合附圖及較佳實(shí)施例，對(duì)依據(jù)本發(fā)明的【具體實(shí)施方式】、結(jié)構(gòu)、特征及其功效，詳細(xì)說明如后。
[0023]第一實(shí)施例
[0024]請(qǐng)參閱圖1，所示為本發(fā)明第一實(shí)施例提供的數(shù)據(jù)處理方法的流程圖。如圖1所示，本實(shí)施例提供的數(shù)據(jù)處理方法包括以下步驟:
[0025]步驟11，服務(wù)器獲取待統(tǒng)計(jì)的源數(shù)據(jù)，根據(jù)預(yù)置的處理進(jìn)程分配規(guī)則與所述服務(wù)器內(nèi)的所有已啟動(dòng)的進(jìn)程，為所述待統(tǒng)計(jì)的源數(shù)據(jù)預(yù)分配處理進(jìn)程。
[0026]具體地，服務(wù)器從本地存儲(chǔ)器或其他網(wǎng)絡(luò)存儲(chǔ)服務(wù)器獲取待統(tǒng)計(jì)的源數(shù)據(jù)，同時(shí)根據(jù)每個(gè)進(jìn)程的資源標(biāo)識(shí)(ID)，計(jì)算本服務(wù)器內(nèi)所有啟動(dòng)的統(tǒng)計(jì)分析進(jìn)程，然后根據(jù)預(yù)置的處理進(jìn)程分配規(guī)則與計(jì)算出的服務(wù)器內(nèi)的所有已啟動(dòng)的進(jìn)程，為待統(tǒng)計(jì)的源數(shù)據(jù)預(yù)分配處理進(jìn)程。其中，進(jìn)程的資源ID由系統(tǒng)在進(jìn)程注冊(cè)時(shí)分配給該進(jìn)程?？梢岳斫獾?，由于服務(wù)器可以為單個(gè)的服務(wù)器，也可為多個(gè)服務(wù)器組成的服務(wù)器集群，因此根據(jù)預(yù)置的啟動(dòng)規(guī)則，統(tǒng)計(jì)分析進(jìn)程可以由多機(jī)部署啟動(dòng)，也可以在單機(jī)中啟動(dòng)多個(gè)。
[0027]步驟12，根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則，將獲取的所述源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元。
[0028]預(yù)置的源數(shù)據(jù)處理規(guī)則中可包括數(shù)據(jù)元的格式規(guī)則，以使服務(wù)器根據(jù)統(tǒng)計(jì)目標(biāo)，將獲取的源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元。
[0029]不同的源數(shù)據(jù)的來源是不同的，例如，有的源數(shù)據(jù)來源于手機(jī)，有的源數(shù)據(jù)來源于計(jì)算機(jī)等等，這些源數(shù)據(jù)的數(shù)據(jù)類型及數(shù)據(jù)格式也是不相同的，無法直接對(duì)其進(jìn)行統(tǒng)計(jì)分析，因此需要將獲取的源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元。
[0030]具體地，服務(wù)器根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則篩選出源數(shù)據(jù)中用于分析統(tǒng)計(jì)的字段，然后將篩選出的字段根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則中的數(shù)據(jù)元的格式規(guī)則轉(zhuǎn)換成統(tǒng)一格式的數(shù)據(jù)元。
[0031]步驟13，將轉(zhuǎn)換后的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程，所述處理進(jìn)程根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，將所述數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)。
[0032]預(yù)置的數(shù)據(jù)流處理規(guī)則中包括對(duì)數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)的具體規(guī)則，例如:累加、計(jì)數(shù)、平均、取最大、取最小等。服務(wù)器通過預(yù)置的分發(fā)方式，將轉(zhuǎn)換后的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程，然后由該處理進(jìn)程根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則對(duì)數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)。
[0033]步驟14，輸出合并統(tǒng)計(jì)后的數(shù)據(jù)元。
[0034]本發(fā)明實(shí)施例提供的數(shù)據(jù)處理方法，通過根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則，將源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元，然后根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，將數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)，可為數(shù)據(jù)處理提供通用的數(shù)據(jù)接入方式與通用的數(shù)據(jù)處理加工邏輯，從而實(shí)現(xiàn)多類型數(shù)據(jù)從接入到處理再到輸出的全流程自動(dòng)化，極大地提高數(shù)據(jù)處理的效率。
[0035]第二實(shí)施例
[0036]請(qǐng)參閱圖2，所示為本發(fā)明第二實(shí)施例提供的數(shù)據(jù)處理方法的流程圖。如圖2所示，本實(shí)施例提供的數(shù)據(jù)處理方法包括以下步驟:
[0037]步驟21，服務(wù)器查詢并獲取用于統(tǒng)計(jì)分析源數(shù)據(jù)的全局配置規(guī)則信息。
[0038]具體地，服務(wù)器從配置服務(wù)器查詢并獲取用于統(tǒng)計(jì)分析源數(shù)據(jù)的全局配置規(guī)則信息。全局配置規(guī)則信息具體可包括預(yù)置的處理進(jìn)程分配規(guī)則、預(yù)置的源數(shù)據(jù)處理規(guī)則、預(yù)置的數(shù)據(jù)流處理規(guī)則、以及預(yù)置的輸出控制規(guī)則。
[0039]步驟22，所述服務(wù)器由所述預(yù)置的源數(shù)據(jù)處理規(guī)則中的源數(shù)據(jù)的目錄中獲取待統(tǒng)計(jì)的源數(shù)據(jù)。
[0040]預(yù)置的源數(shù)據(jù)處理規(guī)則中包括源數(shù)據(jù)的目錄，也即源數(shù)據(jù)存儲(chǔ)于服務(wù)器本地或其它網(wǎng)絡(luò)服務(wù)器的目錄地址，服務(wù)器根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則中配置的源數(shù)據(jù)的目錄，從指定的目錄地址將源數(shù)據(jù)讀入。
[0041]步驟23，根據(jù)預(yù)置的處理進(jìn)程分配規(guī)則與所述服務(wù)器內(nèi)的所有已啟動(dòng)的進(jìn)程，為所述待統(tǒng)計(jì)的源數(shù)據(jù)預(yù)分配處理進(jìn)程。
[0042]本步驟具體請(qǐng)參考第一實(shí)施例中的相應(yīng)內(nèi)容，此處不再贅述。
[0043]步驟24，根據(jù)所述預(yù)置的源數(shù)據(jù)處理規(guī)則，將獲取的所述源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元，為轉(zhuǎn)換后的數(shù)據(jù)元分配數(shù)據(jù)類型標(biāo)識(shí)與身份標(biāo)識(shí)。
[0044]預(yù)置的源數(shù)據(jù)處理規(guī)則具體還包括待處理的源數(shù)據(jù)的構(gòu)成字段描述與數(shù)據(jù)元的格式。
[0045]待處理的源數(shù)據(jù)的構(gòu)成字段描述具體包括源數(shù)據(jù)的字段位置、字段類型、維度屬性、以及指標(biāo)屬性描述，用于使服務(wù)器獲得待處理的源數(shù)據(jù)的數(shù)據(jù)格式，例如:待處理的源數(shù)據(jù)的第X個(gè)字段是什么類型、是否是關(guān)注的字段、是作為維度還是作為指標(biāo)等。
[0046]數(shù)據(jù)元的格式具體包括數(shù)據(jù)類型標(biāo)識(shí)(ID)、身份標(biāo)識(shí)(KeyId)、以及指標(biāo)字段。其中，KeyId是該數(shù)據(jù)類型ID下的唯一標(biāo)識(shí)，取決于數(shù)據(jù)處理要求的維度組合。
[0047]具體地，服務(wù)器根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則，將獲取的源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元，為轉(zhuǎn)換后的數(shù)據(jù)元分配數(shù)據(jù)類型ID與Keyld。舉例而言，假設(shè)源數(shù)據(jù)的格式為 datald=168str=〃2013-07_3122:51:41110.149.18.84|496121168|2013-07-3122:50:00|378917|74〃，預(yù)置的源數(shù)據(jù)處理規(guī)則中將維度字段配置為:4，1 ;指標(biāo)字段配置為:6，SUM，則根據(jù)上述規(guī)則，提取源數(shù)據(jù)中相應(yīng)數(shù)據(jù)字段，然后將提取的相應(yīng)數(shù)據(jù)字段按照該預(yù)置的源數(shù)據(jù)處理規(guī)則中的數(shù)據(jù)元的格式規(guī)則，重新封裝為以下格式的數(shù)據(jù)元:
[0048]數(shù)據(jù)類型ID:307
[0049]維度部分格式:{字符串2013-07-3122:50:00，字符串 10.149.18.84}
[0050]統(tǒng)計(jì)部分格式:{整形KeyId=0x344E75C5204D9E88 整形 v=74 枚舉類型 op=SUM}
[0051]從而完成由源數(shù)據(jù)到數(shù)據(jù)元的格式轉(zhuǎn)換。其中，數(shù)據(jù)類型ID與KeyId由服務(wù)器在將源數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)元時(shí)分配并封裝在轉(zhuǎn)換后的數(shù)據(jù)元中。
[0052]通過根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則，屏蔽數(shù)據(jù)類型，將源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元，可為數(shù)據(jù)處理提供通用的接入方式，從而可節(jié)省現(xiàn)有技術(shù)中通過人工編碼提供對(duì)應(yīng)數(shù)據(jù)的接入所花費(fèi)的大量人力成本，實(shí)現(xiàn)數(shù)據(jù)接入的自動(dòng)化，提高數(shù)據(jù)處理的效率。
[0053]步驟25，通過分別對(duì)具有相同數(shù)據(jù)類型標(biāo)識(shí)的數(shù)據(jù)元的身份標(biāo)識(shí)進(jìn)行哈希處理，將所述具有相同數(shù)據(jù)類型標(biāo)識(shí)的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程，所述處理進(jìn)程根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，將所述數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)。
[0054]具體地，服務(wù)器根據(jù)預(yù)置的哈希(HASH)規(guī)則，通過分別對(duì)具有相同數(shù)據(jù)類型ID的數(shù)據(jù)元的KeyId進(jìn)行哈希處理，將具有相同數(shù)據(jù)類型ID的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程，由對(duì)應(yīng)的處理程序根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則進(jìn)行合并統(tǒng)計(jì)。于本實(shí)施例一【具體實(shí)施方式】中，如圖3所示,可將哈希規(guī)則預(yù)置為KeyId%process_num,其中process_num為可用處理進(jìn)程資源的數(shù)量，也即服務(wù)器集群中所有機(jī)器上用于統(tǒng)計(jì)分析的處理進(jìn)程總數(shù)，也可簡(jiǎn)單理解為集群的節(jié)點(diǎn)個(gè)數(shù)。根據(jù)可用處理進(jìn)程資源的數(shù)量，通過在KeyId上進(jìn)行哈希處理，將數(shù)據(jù)元分發(fā)到集群中的各個(gè)統(tǒng)計(jì)處理進(jìn)程上，由此實(shí)現(xiàn)統(tǒng)計(jì)任務(wù)的分發(fā)，并且能夠保證下一統(tǒng)計(jì)歸并工作中，對(duì)同一 KeyId的歸并能囊括該實(shí)例的所有數(shù)據(jù)。此外，將待統(tǒng)計(jì)分析的數(shù)據(jù)元通過哈希處理，按KeyId均勻散列到不同的集群節(jié)點(diǎn)，還可以有效均衡集群內(nèi)節(jié)點(diǎn)機(jī)器的負(fù)載，當(dāng)處理單元越多，可以承載的整體任務(wù)量越大，因此可極大地提高數(shù)據(jù)處理的效率?？梢岳斫獾?，對(duì)KeyId進(jìn)行哈希處理的處理結(jié)果與各處理進(jìn)程的對(duì)應(yīng)關(guān)系，可由服務(wù)器在初始化處理進(jìn)程時(shí)，根據(jù)預(yù)置的配置規(guī)則以及統(tǒng)計(jì)的可用處理進(jìn)程資源的數(shù)量進(jìn)行配置。
[0055]通過根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，將所述數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)，可為數(shù)據(jù)處理提供通用的數(shù)據(jù)處理加工邏輯，節(jié)省現(xiàn)有技術(shù)中通過人工編碼提供數(shù)據(jù)加工處理的邏輯所花費(fèi)的大量人力成本，實(shí)現(xiàn)數(shù)據(jù)加工處理的自動(dòng)化，從而提高處理處理的效率。
[0056]步驟26，為合并統(tǒng)計(jì)后的數(shù)據(jù)元重新分配數(shù)據(jù)類型標(biāo)識(shí)。
[0057]具體地，服務(wù)器為合并統(tǒng)計(jì)后的數(shù)據(jù)元重新分配數(shù)據(jù)類型ID，以生成下一類型ID的結(jié)果數(shù)據(jù)。
[0058]為進(jìn)一步說明源數(shù)據(jù)在步驟24至步驟26中流轉(zhuǎn)及處理的過程，舉例而言，請(qǐng)參考圖4，假設(shè)統(tǒng)計(jì)目標(biāo)為即時(shí)通訊軟件的信息量地域分布；數(shù)據(jù)類型ID:X為A即時(shí)通訊軟件，數(shù)據(jù)類型ID:Y為B即時(shí)通訊軟件，D1、D2、D3、D4、D5、D6分別為廣州、深圳、安慶、長(zhǎng)沙、武漢；Key為統(tǒng)計(jì)維度(也即統(tǒng)計(jì)參數(shù))，可包括一個(gè)也可包括多個(gè)，如圖4所示，假設(shè)包括廣州和深圳的兩個(gè)key，如果有多個(gè)，為了提高效率，可用哈希算法將多個(gè)Key映射為唯一 Key作為該維度的識(shí)別KeyId ;Value為指標(biāo)字段的值，假設(shè)A即時(shí)通訊軟件的Value=12，B即時(shí)通訊軟件的Value=15。具體地，服務(wù)器根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則“ ID =IKey:D1, D2Value:D”，分別將獲取的A即時(shí)通訊軟件的源數(shù)據(jù)“ID:X D1，D2，D3，D4，D5”與B即時(shí)通訊軟件的源數(shù)據(jù)“ID:Y Dl，D2，D4，D6” 轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元“ID:1KeyId Value” 與“ID:1KeyIdValue”，由于分別對(duì)數(shù)據(jù)?！癐D:1KeyldValue”與“ID:1KeyId Value”中的KeyId進(jìn)行哈希處理獲得的值相同，上述兩個(gè)數(shù)據(jù)元被分發(fā)到同一個(gè)處理進(jìn)程，由該處理進(jìn)程根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則“ID:1=>ID:2SUM”對(duì)上述兩個(gè)數(shù)據(jù)元中的Value字段做求和運(yùn)算，因此得到的值是Value=27，同時(shí)為合并統(tǒng)計(jì)后的數(shù)據(jù)元重新分配數(shù)據(jù)類型ID:2，根據(jù)求和運(yùn)算的結(jié)果生成下一步流轉(zhuǎn)所需的數(shù)據(jù)元。
[0059]步驟27，根據(jù)重新分配的數(shù)據(jù)類型標(biāo)識(shí)，再分別對(duì)具有相同數(shù)據(jù)類型標(biāo)識(shí)的數(shù)據(jù)元的身份標(biāo)識(shí)進(jìn)行哈希處理，將所述具有相同數(shù)據(jù)類型標(biāo)識(shí)的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程，所述處理進(jìn)程根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，將所述數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)。
[0060]步驟28，根據(jù)所述預(yù)置的輸出控制規(guī)則中的輸出方式與輸出模式，輸出合并統(tǒng)計(jì)后的數(shù)據(jù)元。
[0061]預(yù)置的輸出控制規(guī)則具體可包括輸出方式、輸出模式、以及輸出時(shí)間控制參數(shù)。
[0062]其中，輸出方式包括中間輸出方式以及結(jié)果輸出方式。中間輸出方式用于將合并統(tǒng)計(jì)后的數(shù)據(jù)元作為中間數(shù)據(jù)輸出，中間數(shù)據(jù)是指數(shù)據(jù)加工處理流程中進(jìn)行數(shù)據(jù)合并流轉(zhuǎn)的非最終輸出結(jié)果狀態(tài)，是某一級(jí)數(shù)據(jù)的輸出，同時(shí)是下一級(jí)合并處理的數(shù)據(jù)源，若預(yù)置的輸出控制規(guī)則未包含輸出方式的規(guī)定，也即用戶通過Web頁面中對(duì)數(shù)據(jù)流的轉(zhuǎn)換配置中，未做任何輸出結(jié)果配置時(shí)，則該類數(shù)據(jù)元都會(huì)是中間狀態(tài)，根據(jù)服務(wù)器集群運(yùn)行狀態(tài)，這類結(jié)果數(shù)據(jù)只是暫存在內(nèi)存中，或者持久化存儲(chǔ)中。結(jié)果輸出方式用于將合并統(tǒng)計(jì)后的數(shù)據(jù)元作為結(jié)果數(shù)據(jù)輸出，結(jié)果數(shù)據(jù)是滿足用戶數(shù)據(jù)處理的合并歸納之后的數(shù)據(jù)，可以存為文本轉(zhuǎn)給其它系統(tǒng)或者數(shù)據(jù)展現(xiàn)應(yīng)用處理。
[0063]輸出模式包括修正模式與時(shí)效模式。修正模式下，假設(shè)數(shù)據(jù)具備一定的連續(xù)性，給予一定的緩存時(shí)間的緩沖期可以讓逾期達(dá)到的數(shù)據(jù)疊加到統(tǒng)計(jì)數(shù)據(jù)中。時(shí)效模式下，由于待統(tǒng)計(jì)的源數(shù)據(jù)具有一定的時(shí)效性，因此對(duì)于逾期數(shù)據(jù)做丟棄處理，并將處理情況記錄為日志。
[0064]輸出時(shí)間控制參數(shù)包括緩存時(shí)間、輸出間隔、忽略輸出時(shí)間、強(qiáng)制輸出時(shí)間。其中，緩存時(shí)間是指該類數(shù)據(jù)在輸出之后，還會(huì)緩存在系統(tǒng)中的時(shí)間。輸出間隔是指該類數(shù)據(jù)每隔多久會(huì)進(jìn)行一次輸出操作，滿足輸出條件的數(shù)據(jù)會(huì)輸出。忽略輸出時(shí)間是指當(dāng)該類數(shù)據(jù)最后一次更新時(shí)間距今的時(shí)間如果小于預(yù)設(shè)值時(shí)，忽略輸出。強(qiáng)制輸出時(shí)間是指當(dāng)該類數(shù)據(jù)的第一次進(jìn)入系統(tǒng)的時(shí)間距今的時(shí)間大于預(yù)設(shè)值時(shí)，則強(qiáng)制輸出，并為該類數(shù)據(jù)設(shè)置狀態(tài)位標(biāo)識(shí)，以標(biāo)識(shí)該類數(shù)據(jù)的輸出狀態(tài)。
[0065]具體地，服務(wù)器根據(jù)預(yù)置的輸出控制規(guī)則中的輸出方式與輸出模式，在輸出時(shí)間控制參數(shù)設(shè)定的輸出時(shí)間，輸出合并統(tǒng)計(jì)后的數(shù)據(jù)元。
[0066]為進(jìn)一步說明步驟22至步驟27中源數(shù)據(jù)的流轉(zhuǎn)及處理過程，以非同源數(shù)據(jù)的統(tǒng)計(jì)分析為例，如圖5所示，第一步，假設(shè)服務(wù)器根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則從本地源數(shù)據(jù)存儲(chǔ)目錄讀取源數(shù)據(jù)1、源數(shù)據(jù)2以及源數(shù)據(jù)3，其中源數(shù)據(jù)I為Andi1d (安卓)手機(jī)數(shù)據(jù)，源數(shù)據(jù)2為iphone (蘋果)手機(jī)數(shù)據(jù)，源數(shù)據(jù)3為PC (臺(tái)式計(jì)算機(jī))數(shù)據(jù)。第二步，服務(wù)器根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則，分別將源數(shù)據(jù)1、源數(shù)據(jù)2以及源數(shù)據(jù)3轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元1、數(shù)據(jù)元2、以及數(shù)據(jù)元3，由于手機(jī)的源數(shù)據(jù)具有相同的無線特征，因此服務(wù)器分別為源數(shù)據(jù)I與源數(shù)據(jù)2分配相同的數(shù)據(jù)類型ID:1，為源數(shù)據(jù)3分配數(shù)據(jù)類型ID:2。第三步，服務(wù)器根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，對(duì)具有相同數(shù)據(jù)類型ID:1的數(shù)據(jù)元I與數(shù)據(jù)元2進(jìn)行合并統(tǒng)計(jì)，生成數(shù)據(jù)元4，并為數(shù)據(jù)元4重新分配下一流轉(zhuǎn)所需的數(shù)據(jù)類型ID:2。第四步，服務(wù)器根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，對(duì)具有相同數(shù)據(jù)類型ID:2的數(shù)據(jù)元3與數(shù)據(jù)元4進(jìn)行合并統(tǒng)計(jì)，生成數(shù)據(jù)元5，并為數(shù)據(jù)元4重新分配數(shù)據(jù)類型ID:3。第五步，服務(wù)器根據(jù)預(yù)置的輸出控制規(guī)則，輸出結(jié)果數(shù)據(jù)。
[0067]本發(fā)明實(shí)施例提供的數(shù)據(jù)處理方法，通過根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則，將源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元，然后根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，將數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)，可為數(shù)據(jù)處理提供通用的數(shù)據(jù)接入方式與通用的數(shù)據(jù)處理加工邏輯，從而實(shí)現(xiàn)多類型數(shù)據(jù)從接入到處理再到輸出的全流程自動(dòng)化，極大地提高數(shù)據(jù)處理的效率。
[0068]第三實(shí)施例
[0069]請(qǐng)參閱圖6，所示為本發(fā)明第三實(shí)施例提供的數(shù)據(jù)處理方法的流程圖。如圖6所示，本實(shí)施例提供的數(shù)據(jù)處理方法包括以下步驟:
[0070]步驟61，配置服務(wù)器獲取全局配置規(guī)則信息，并將所述全局配置規(guī)則信息發(fā)送給統(tǒng)計(jì)服務(wù)器。
[0071]全局配置規(guī)則信息包括預(yù)置的處理進(jìn)程分配規(guī)則、預(yù)置的源數(shù)據(jù)處理規(guī)則以及預(yù)置的數(shù)據(jù)流處理規(guī)則。
[0072]具體地，配置服務(wù)器獲取用戶輸入的，用于統(tǒng)計(jì)分析源數(shù)據(jù)的全局配置規(guī)則信息，并隨時(shí)為統(tǒng)計(jì)服務(wù)器提供全局配置規(guī)則信息的查詢服務(wù)器，當(dāng)配置服務(wù)器接收到統(tǒng)計(jì)服務(wù)器查詢請(qǐng)求時(shí)，根據(jù)該查詢請(qǐng)求，將全局配置規(guī)則信息發(fā)送給統(tǒng)計(jì)服務(wù)器。
[0073]步驟62，所述統(tǒng)計(jì)服務(wù)器獲取待統(tǒng)計(jì)的源數(shù)據(jù)，根據(jù)所述預(yù)置的處理進(jìn)程分配規(guī)則與所述統(tǒng)計(jì)服務(wù)器內(nèi)的所有已啟動(dòng)的進(jìn)程，為所述待統(tǒng)計(jì)的源數(shù)據(jù)預(yù)分配處理進(jìn)程。
[0074]步驟62具體請(qǐng)參考第一實(shí)施例中步驟11的相應(yīng)內(nèi)容，此處不再贅述。
[0075]步驟63，所述統(tǒng)計(jì)服務(wù)器根據(jù)所述預(yù)置的源數(shù)據(jù)處理規(guī)則，將獲取的所述源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元。
[0076]步驟64，所述統(tǒng)計(jì)服務(wù)器將轉(zhuǎn)換后的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程，所述處理進(jìn)程根據(jù)所述預(yù)置的數(shù)據(jù)流處理規(guī)則，將所述數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)。
[0077]步驟65，所述統(tǒng)計(jì)服務(wù)器輸出合并統(tǒng)計(jì)后的數(shù)據(jù)元。
[0078]步驟62至步驟65具體請(qǐng)參考第二實(shí)施例中的相應(yīng)內(nèi)容，此處不再贅述。
[0079]本發(fā)明實(shí)施例提供的數(shù)據(jù)處理方法，通過根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則，將源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元，然后根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，將數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)，可為數(shù)據(jù)處理提供通用的數(shù)據(jù)接入方式與通用的數(shù)據(jù)處理加工邏輯，從而實(shí)現(xiàn)多類型數(shù)據(jù)從接入到處理再到輸出的全流程自動(dòng)化，極大地提高數(shù)據(jù)處理的效率。
[0080]第四實(shí)施例
[0081]請(qǐng)參閱圖7，所示為本發(fā)明第四實(shí)施例提供的數(shù)據(jù)處理方法的應(yīng)用環(huán)境圖。如圖7所示，前端服務(wù)器71、數(shù)據(jù)庫(kù)存儲(chǔ)服務(wù)器72、配置服務(wù)器73、統(tǒng)計(jì)服務(wù)器74、以及管理服務(wù)器75位于無線或有線網(wǎng)絡(luò)中，通過該無線或有線網(wǎng)絡(luò)，上述各服務(wù)器相互通信。
[0082]可以理解的，上述各服務(wù)器可以是單個(gè)服務(wù)器，也可以是由多個(gè)單獨(dú)服務(wù)器構(gòu)成的服務(wù)器集群，例如:統(tǒng)計(jì)服務(wù)器74可以是單個(gè)統(tǒng)計(jì)服務(wù)器，也可以是由多個(gè)統(tǒng)計(jì)服務(wù)器構(gòu)成的服務(wù)器集群。
[0083]優(yōu)選地，前端服務(wù)器71可為L(zhǎng)VS (Linux Virtual Server Linux,虛擬服務(wù)器)集群，數(shù)據(jù)庫(kù)存儲(chǔ)服務(wù)器72、配置服務(wù)器73、統(tǒng)計(jì)服務(wù)器74、以及管理服務(wù)器75可分別為由多個(gè)單獨(dú)服務(wù)器構(gòu)成的服務(wù)器高可用(熱備)集群。
[0084]請(qǐng)參閱圖8，所示為本發(fā)明第四實(shí)施例提供的數(shù)據(jù)處理方法的流程圖。如圖8所示，結(jié)合圖7，本實(shí)施例提供的數(shù)據(jù)處理方法包括以下步驟:
[0085]步驟801，前端服務(wù)器接收用戶輸入的全局配置規(guī)則信息，將所述全局配置規(guī)則信息發(fā)送給數(shù)據(jù)庫(kù)存儲(chǔ)服務(wù)器。
[0086]全局配置規(guī)則信息用于統(tǒng)計(jì)分析源數(shù)據(jù)，具體可包括預(yù)置的處理進(jìn)程分配規(guī)則、預(yù)置的源數(shù)據(jù)處理規(guī)則、預(yù)置的數(shù)據(jù)流處理規(guī)則、以及預(yù)置的輸出控制規(guī)則。
[0087]具體地，前端服務(wù)器71通過Web (網(wǎng)頁)頁面獲取用戶輸入的全局配置規(guī)則信息，并將獲取的該全局配置規(guī)則信息發(fā)送給數(shù)據(jù)庫(kù)存儲(chǔ)服務(wù)器72。
[0088]步驟802，數(shù)據(jù)庫(kù)存儲(chǔ)服務(wù)器接收并存儲(chǔ)所述全局配置規(guī)則信息，定期將所述全局配置規(guī)則信息發(fā)送給所述配置服務(wù)器。
[0089]具體地，數(shù)據(jù)庫(kù)存儲(chǔ)服務(wù)器72間隔預(yù)置的時(shí)長(zhǎng)將全局配置規(guī)則信息發(fā)送給配置服務(wù)器73。于本實(shí)施一【具體實(shí)施方式】中，數(shù)據(jù)庫(kù)存儲(chǔ)服務(wù)器72也可在接收到前端服務(wù)器71發(fā)送的全局配置規(guī)則信息時(shí)，或在預(yù)置的時(shí)間，將當(dāng)前存儲(chǔ)的全局配置規(guī)則信息發(fā)送給配置服務(wù)器73。
[0090]步驟803，配置服務(wù)器將所述全局配置規(guī)則信息發(fā)送給統(tǒng)計(jì)服務(wù)器。
[0091]具體地，配置服務(wù)器定期接收數(shù)據(jù)庫(kù)存儲(chǔ)服務(wù)器72發(fā)送的全局配置規(guī)則信息，并將獲取的全局配置規(guī)則信息存儲(chǔ)于本地存儲(chǔ)器中，然后根據(jù)統(tǒng)計(jì)服務(wù)器74實(shí)時(shí)發(fā)送的查詢請(qǐng)求，將全局配置規(guī)則信息發(fā)送給統(tǒng)計(jì)服務(wù)器74，或根據(jù)統(tǒng)計(jì)服務(wù)器74訂閱的通知服務(wù)，當(dāng)檢測(cè)到本地存儲(chǔ)器中存儲(chǔ)的全局配置規(guī)則信息有更新時(shí)，主動(dòng)發(fā)送更新通知給統(tǒng)計(jì)服務(wù)器74，并根據(jù)統(tǒng)計(jì)服務(wù)器74根據(jù)更新通知返回的更新請(qǐng)求將全局配置規(guī)則信息發(fā)送給統(tǒng)計(jì)服務(wù)器74。
[0092]步驟804，所述統(tǒng)計(jì)服務(wù)器獲取待統(tǒng)計(jì)的源數(shù)據(jù)，根據(jù)所述預(yù)置的處理進(jìn)程分配規(guī)則與所述統(tǒng)計(jì)服務(wù)器內(nèi)的所有已啟動(dòng)的進(jìn)程，為所述待統(tǒng)計(jì)的源數(shù)據(jù)預(yù)分配處理進(jìn)程。
[0093]具體地，首先，統(tǒng)計(jì)服務(wù)器74根據(jù)全局配置規(guī)則信息中的預(yù)置的處理進(jìn)程分配規(guī)貝U，從該預(yù)置的處理進(jìn)程分配規(guī)則配置的源數(shù)據(jù)存儲(chǔ)目錄獲取待統(tǒng)計(jì)的源數(shù)據(jù)。可以理解的，源數(shù)據(jù)存儲(chǔ)目錄可以位于統(tǒng)計(jì)服務(wù)器74的本地存儲(chǔ)器中，也可位于其它網(wǎng)絡(luò)服務(wù)器中。然后，統(tǒng)計(jì)服務(wù)器74計(jì)算本服務(wù)器內(nèi)所有啟動(dòng)的統(tǒng)計(jì)分析進(jìn)程，然后根據(jù)預(yù)置的處理進(jìn)程分配規(guī)則與計(jì)算出的服務(wù)器內(nèi)的所有已啟動(dòng)的進(jìn)程，為待統(tǒng)計(jì)的源數(shù)據(jù)預(yù)分配處理進(jìn)程。
[0094]步驟805，所述統(tǒng)計(jì)服務(wù)器根據(jù)所述預(yù)置的源數(shù)據(jù)處理規(guī)則，將獲取的所述源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元。
[0095]預(yù)置的源數(shù)據(jù)處理規(guī)則具體還包括待處理的源數(shù)據(jù)的構(gòu)成字段描述與數(shù)據(jù)元的格式。其中待處理的源數(shù)據(jù)的構(gòu)成字段描述具體包括源數(shù)據(jù)的字段位置、字段類型、維度屬性、以及指標(biāo)屬性描述，用于使服務(wù)器獲得待處理的源數(shù)據(jù)的數(shù)據(jù)格式。數(shù)據(jù)元的格式具體包括數(shù)據(jù)類型標(biāo)識(shí)(ID)、身份標(biāo)識(shí)(KeyId)、以及指標(biāo)字段。其中，KeyId是該數(shù)據(jù)類型ID下的唯一標(biāo)識(shí)，取決于數(shù)據(jù)處理要求的維度組合。
[0096]具體地，統(tǒng)計(jì)服務(wù)器74根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則，將獲取的源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元，為轉(zhuǎn)換后的數(shù)據(jù)元分配數(shù)據(jù)類型ID與Keyld。
[0097]步驟806，所述統(tǒng)計(jì)服務(wù)器將轉(zhuǎn)換后的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程，所述處理進(jìn)程根據(jù)所述預(yù)置的數(shù)據(jù)流處理規(guī)則，將所述數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)。
[0098]具體地，首先，統(tǒng)計(jì)服務(wù)器74根據(jù)預(yù)置的哈希(HASH)規(guī)則，通過分別對(duì)具有相同數(shù)據(jù)類型ID的數(shù)據(jù)元的KeyId進(jìn)行哈希處理，將具有相同數(shù)據(jù)類型ID的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程，由對(duì)應(yīng)的處理程序根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則進(jìn)行合并統(tǒng)計(jì)。預(yù)置的數(shù)據(jù)流處理規(guī)則中包括對(duì)數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)的具體規(guī)則，例如:累加、計(jì)數(shù)、平均、取最大、取最小等。然后，統(tǒng)計(jì)服務(wù)器74為合并統(tǒng)計(jì)后的數(shù)據(jù)元重新分配數(shù)據(jù)類型ID。
[0099]于本實(shí)施例中，統(tǒng)計(jì)分析是由各個(gè)數(shù)據(jù)元依據(jù)數(shù)據(jù)流信息進(jìn)行統(tǒng)計(jì)歸并的，因此基于數(shù)據(jù)流信息是可以完成數(shù)據(jù)的分發(fā)以及數(shù)據(jù)歸并的。統(tǒng)計(jì)分析中的輸出數(shù)據(jù)采用分布式文件系統(tǒng)作為持久化存儲(chǔ)交互，因此數(shù)據(jù)流的分發(fā)控制實(shí)質(zhì)是將數(shù)據(jù)輸出到對(duì)應(yīng)的分布式文件系統(tǒng)的目錄下，再由對(duì)應(yīng)處理該目錄的處理進(jìn)程進(jìn)行處理。
[0100]步驟807，所述統(tǒng)計(jì)服務(wù)器輸出合并統(tǒng)計(jì)后的數(shù)據(jù)元。
[0101]預(yù)置的輸出控制規(guī)則具體可包括輸出方式、輸出模式、以及輸出時(shí)間控制參數(shù)。其中，輸出方式包括中間輸出方式以及結(jié)果輸出方式。中間輸出方式用于將合并統(tǒng)計(jì)后的數(shù)據(jù)元作為中間數(shù)據(jù)輸出。結(jié)果輸出方式用于將合并統(tǒng)計(jì)后的數(shù)據(jù)元作為結(jié)果數(shù)據(jù)輸出。輸出模式包括修正模式與時(shí)效模式。修正模式下，假設(shè)數(shù)據(jù)具備一定的連續(xù)性，給予一定的緩存時(shí)間的緩沖期可以讓逾期達(dá)到的數(shù)據(jù)疊加到統(tǒng)計(jì)數(shù)據(jù)中。時(shí)效模式下，由于待統(tǒng)計(jì)的源數(shù)據(jù)具有一定的時(shí)效性，因此對(duì)于逾期數(shù)據(jù)做丟棄處理，并將處理情況記錄為日志。輸出時(shí)間控制參數(shù)包括緩存時(shí)間、輸出間隔、忽略輸出時(shí)間、強(qiáng)制輸出時(shí)間。其中，緩存時(shí)間是指該類數(shù)據(jù)在輸出之后，還會(huì)緩存在系統(tǒng)中的時(shí)間。輸出間隔是指該類數(shù)據(jù)每隔多久會(huì)進(jìn)行一次輸出操作，滿足輸出條件的數(shù)據(jù)會(huì)輸出。忽略輸出時(shí)間是指當(dāng)該類數(shù)據(jù)最后一次更新時(shí)間距今的時(shí)間如果小于預(yù)設(shè)值時(shí)，忽略輸出。強(qiáng)制輸出時(shí)間是指當(dāng)該類數(shù)據(jù)的第一次進(jìn)入系統(tǒng)的時(shí)間距今的時(shí)間大于預(yù)設(shè)值時(shí)，則強(qiáng)制輸出，并為該類數(shù)據(jù)設(shè)置狀態(tài)位標(biāo)識(shí)，以標(biāo)識(shí)該類數(shù)據(jù)的輸出狀態(tài)。
[0102]具體地，統(tǒng)計(jì)服務(wù)器74根據(jù)預(yù)置的輸出控制規(guī)則中的輸出方式與輸出模式，在輸出時(shí)間控制參數(shù)設(shè)定的輸出時(shí)間，輸出合并統(tǒng)計(jì)后的數(shù)據(jù)元。當(dāng)輸出控制規(guī)則中的輸出方式為中間輸出方式時(shí)，統(tǒng)計(jì)服務(wù)器74將合并統(tǒng)計(jì)后的數(shù)據(jù)元暫存在內(nèi)存中，或者持久化存儲(chǔ)中，然后執(zhí)行步驟806。當(dāng)輸出控制規(guī)則中的輸出方式為結(jié)果輸出方式時(shí)，統(tǒng)計(jì)服務(wù)器74將合并統(tǒng)計(jì)后的數(shù)據(jù)元存為文本轉(zhuǎn)給其它系統(tǒng)或者數(shù)據(jù)展現(xiàn)應(yīng)用處理。
[0103]步驟808，所述統(tǒng)計(jì)服務(wù)器定期將所述統(tǒng)計(jì)服務(wù)器的統(tǒng)計(jì)監(jiān)控?cái)?shù)據(jù)上報(bào)給管理服務(wù)器。
[0104]統(tǒng)計(jì)監(jiān)控?cái)?shù)據(jù)包括統(tǒng)計(jì)服務(wù)器74的容量、統(tǒng)計(jì)服務(wù)器74內(nèi)單機(jī)的故障情況、以及進(jìn)程健康狀態(tài)。
[0105]步驟809，所述配置服務(wù)器定期將所述配置服務(wù)器的配置監(jiān)控?cái)?shù)據(jù)上報(bào)給所述管理服務(wù)器。
[0106]配置監(jiān)控?cái)?shù)據(jù)包括配置服務(wù)器73的容量、以及配置服務(wù)器73內(nèi)單機(jī)的故障情況。
[0107]步驟810，所述管理服務(wù)器接收并分析所述統(tǒng)計(jì)服務(wù)器上報(bào)的統(tǒng)計(jì)監(jiān)控?cái)?shù)據(jù)與所述配置服務(wù)器上報(bào)的配置監(jiān)控?cái)?shù)據(jù)，當(dāng)監(jiān)控?cái)?shù)據(jù)中包含預(yù)置工作異常信息時(shí)，通過預(yù)置的報(bào)警方式向管理人員發(fā)送預(yù)警信息。
[0108]具體地，管理服務(wù)器75接收并分析統(tǒng)計(jì)服務(wù)器74上報(bào)的統(tǒng)計(jì)監(jiān)控?cái)?shù)據(jù)與配置服務(wù)器73上報(bào)的配置監(jiān)控?cái)?shù)據(jù)，當(dāng)監(jiān)控?cái)?shù)據(jù)中包含預(yù)置工作異常信息時(shí)，通過預(yù)置的報(bào)警方式向管理人員發(fā)送預(yù)警信息，以便管理人員根據(jù)預(yù)警信息，將備用服務(wù)器加入到發(fā)生工作異常的服務(wù)器集群中，以代替發(fā)生工作異常的服務(wù)器。于本實(shí)施例一【具體實(shí)施方式】中，管理服務(wù)器也可在接收的監(jiān)控?cái)?shù)據(jù)中包含預(yù)置工作異常信息時(shí)，根據(jù)預(yù)置的替代方案，從備用資源池中將備用服務(wù)器加入到集群中，以替換故障機(jī)器。當(dāng)統(tǒng)計(jì)服務(wù)器集群74中的單機(jī)發(fā)生故障時(shí)，備用統(tǒng)計(jì)服務(wù)器從配置服務(wù)器集群73獲取當(dāng)前數(shù)據(jù)處理信息，從分布式文件系統(tǒng)中恢復(fù)當(dāng)前數(shù)據(jù)，從而完成容災(zāi)替換。由于配置服務(wù)器73與統(tǒng)計(jì)服務(wù)器74為服務(wù)器高可用(熱備)集群，所有的統(tǒng)計(jì)服務(wù)器在本地存儲(chǔ)器中均存儲(chǔ)有相應(yīng)的內(nèi)存副本，所以一般情況下配置服務(wù)器集群73即使全部宕機(jī)，也不會(huì)對(duì)工作中的統(tǒng)計(jì)服務(wù)器產(chǎn)生任何影響，當(dāng)配置服務(wù)器集群73恢復(fù)工作之后，通訊鏈接會(huì)自動(dòng)重新建立，從而具有較高的容災(zāi)性。
[0109]本發(fā)明實(shí)施例提供的數(shù)據(jù)處理方法，通過根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則，將源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元，然后根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，將數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)，可為數(shù)據(jù)處理提供通用的數(shù)據(jù)接入方式與通用的數(shù)據(jù)處理加工邏輯，從而實(shí)現(xiàn)多類型數(shù)據(jù)從接入到處理再到輸出的全流程自動(dòng)化，極大地提高數(shù)據(jù)處理的效率。
[0110]第五實(shí)施例
[0111]圖9為本發(fā)明第五實(shí)施例提供的數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖。本實(shí)施例提供的數(shù)據(jù)處理裝置應(yīng)用于服務(wù)器，可以用于實(shí)現(xiàn)上述實(shí)施例中的數(shù)據(jù)處理方法。如圖9所示，數(shù)據(jù)處理裝置90包括:源數(shù)據(jù)獲取模塊91、源數(shù)據(jù)轉(zhuǎn)換模塊92、數(shù)據(jù)元合并統(tǒng)計(jì)模塊93、輸出模塊94。
[0112]其中，源數(shù)據(jù)獲取模塊91用于獲取待統(tǒng)計(jì)的源數(shù)據(jù)，根據(jù)預(yù)置的處理進(jìn)程分配規(guī)則與所述服務(wù)器內(nèi)的所有已啟動(dòng)的進(jìn)程，為所述待統(tǒng)計(jì)的源數(shù)據(jù)預(yù)分配處理進(jìn)程。
[0113]源數(shù)據(jù)轉(zhuǎn)換模塊92用于根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則，將所述源數(shù)據(jù)獲取模塊91獲取的所述源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元。
[0114]數(shù)據(jù)元合并統(tǒng)計(jì)模塊93用于將所述源數(shù)據(jù)轉(zhuǎn)換模塊92轉(zhuǎn)換后的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程，所述處理進(jìn)程根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，將所述數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)。
[0115]輸出模塊94用于輸出所述數(shù)據(jù)元合并統(tǒng)計(jì)模塊93合并統(tǒng)計(jì)后的數(shù)據(jù)元。
[0116]本實(shí)施例數(shù)據(jù)處理裝置90的各功能模塊實(shí)現(xiàn)各自功能的具體過程，請(qǐng)參見上述圖1至圖8所示實(shí)施例中描述的具體內(nèi)容，此處不再贅述。
[0117]本發(fā)明實(shí)施例提供的數(shù)據(jù)處理裝置，通過根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則，將源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元，然后根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，將數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)，可為數(shù)據(jù)處理提供通用的數(shù)據(jù)接入方式與通用的數(shù)據(jù)處理加工邏輯，從而實(shí)現(xiàn)多類型數(shù)據(jù)從接入到處理再到輸出的全流程自動(dòng)化，極大地提高數(shù)據(jù)處理的效率。
[0118]第六實(shí)施例
[0119]圖10為本發(fā)明第六實(shí)施例提供的數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖。本實(shí)施例提供的數(shù)據(jù)處理裝置應(yīng)用于服務(wù)器，可以用于實(shí)現(xiàn)上述實(shí)施例中的數(shù)據(jù)處理方法。如圖10所示，數(shù)據(jù)處理裝置100包括:源數(shù)據(jù)獲取模塊101、源數(shù)據(jù)轉(zhuǎn)換模塊102、數(shù)據(jù)元合并統(tǒng)計(jì)模塊103、輸出模塊104、以及全局配置規(guī)則信息獲取模塊105。
[0120]其中，源數(shù)據(jù)獲取模塊101用于獲取待統(tǒng)計(jì)的源數(shù)據(jù)，根據(jù)預(yù)置的處理進(jìn)程分配規(guī)則與所述服務(wù)器內(nèi)的所有已啟動(dòng)的進(jìn)程，為所述待統(tǒng)計(jì)的源數(shù)據(jù)預(yù)分配處理進(jìn)程。所述源數(shù)據(jù)獲取模塊101包括:源數(shù)據(jù)獲取單元1011，用于由所述預(yù)置的源數(shù)據(jù)處理規(guī)則中的源數(shù)據(jù)的目錄中獲取待統(tǒng)計(jì)的源數(shù)據(jù)。
[0121]源數(shù)據(jù)轉(zhuǎn)換模塊102用于根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則，將所述源數(shù)據(jù)獲取模塊101獲取的所述源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元。所述源數(shù)據(jù)轉(zhuǎn)換模塊102包括:源數(shù)據(jù)轉(zhuǎn)換單元1021，用于根據(jù)所述預(yù)置的源數(shù)據(jù)處理規(guī)則，將獲取的所述源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元，為轉(zhuǎn)換后的數(shù)據(jù)元分配數(shù)據(jù)類型標(biāo)識(shí)與身份標(biāo)識(shí)。
[0122]數(shù)據(jù)元合并統(tǒng)計(jì)模塊103用于將所述源數(shù)據(jù)轉(zhuǎn)換模塊102轉(zhuǎn)換后的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程，所述處理進(jìn)程根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，將所述數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)。所述數(shù)據(jù)元合并統(tǒng)計(jì)模塊103包括:第一分發(fā)單元1031、第二分發(fā)單元1032、合并統(tǒng)計(jì)單元1033。第一分發(fā)單元1031用于通過分別對(duì)具有相同數(shù)據(jù)類型標(biāo)識(shí)的數(shù)據(jù)元的身份標(biāo)識(shí)進(jìn)行哈希處理，將所述具有相同數(shù)據(jù)類型標(biāo)識(shí)的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程。數(shù)據(jù)類型標(biāo)識(shí)分配單元，用于為合并統(tǒng)計(jì)后的數(shù)據(jù)元重新分配數(shù)據(jù)類型標(biāo)識(shí)。第二分發(fā)單元1032用于根據(jù)重新分配的數(shù)據(jù)類型標(biāo)識(shí)，再分別對(duì)具有相同數(shù)據(jù)類型標(biāo)識(shí)的數(shù)據(jù)元的身份標(biāo)識(shí)進(jìn)行哈希處理，將所述具有相同數(shù)據(jù)類型標(biāo)識(shí)的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程。合并統(tǒng)計(jì)單元1033用于通過所述處理進(jìn)程根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，將所述數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)。
[0123]輸出模塊104用于輸出所述數(shù)據(jù)元合并統(tǒng)計(jì)模塊103合并統(tǒng)計(jì)后的數(shù)據(jù)元。所述輸出模塊104包括:輸出單元1041，用于根據(jù)所述預(yù)置的輸出控制規(guī)則中的輸出方式與輸出模式，輸出合并統(tǒng)計(jì)后的數(shù)據(jù)元。
[0124]全局配置規(guī)則信息獲取模塊105用于查詢并獲取用于統(tǒng)計(jì)分析源數(shù)據(jù)的全局配置規(guī)則信息，所述全局配置規(guī)則信息包括所述預(yù)置的處理進(jìn)程分配規(guī)則、所述預(yù)置的源數(shù)據(jù)處理規(guī)則、所述預(yù)置的數(shù)據(jù)流處理規(guī)則、以及預(yù)置的輸出控制規(guī)則。
[0125]優(yōu)選地，所述預(yù)置的源數(shù)據(jù)處理規(guī)則包括:待處理的源數(shù)據(jù)的構(gòu)成字段描述與數(shù)據(jù)元的格式，所述數(shù)據(jù)元的格式包括數(shù)據(jù)類型標(biāo)識(shí)、身份標(biāo)識(shí)、以及指標(biāo)字段。
[0126]優(yōu)選地，所述預(yù)置的輸出控制規(guī)則包括:輸出方式以及輸出模式，所述輸出方式包括中間輸出方式以及結(jié)果輸出方式，所述中間輸出方式用于將合并統(tǒng)計(jì)后的數(shù)據(jù)元作為中間數(shù)據(jù)輸出，所述結(jié)果輸出方式用于將合并統(tǒng)計(jì)后的數(shù)據(jù)元作為結(jié)果數(shù)據(jù)輸出，所述輸出模式包括修正模式與時(shí)效模式。
[0127]本實(shí)施例數(shù)據(jù)處理裝置100的各功能模塊實(shí)現(xiàn)各自功能的具體過程，請(qǐng)參見上述圖1至圖8所示實(shí)施例中描述的具體內(nèi)容，此處不再贅述。
[0128]本發(fā)明實(shí)施例提供的數(shù)據(jù)處理裝置，通過根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則，將源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元，然后根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，將數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)，可為數(shù)據(jù)處理提供通用的數(shù)據(jù)接入方式與通用的數(shù)據(jù)處理加工邏輯，從而實(shí)現(xiàn)多類型數(shù)據(jù)從接入到處理再到輸出的全流程自動(dòng)化，極大地提高數(shù)據(jù)處理的效率。
[0129]第七實(shí)施例
[0130]請(qǐng)參閱圖11，所示為本發(fā)明第七實(shí)施例提供的數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)示意圖。如圖11所示，本實(shí)施例提供的數(shù)據(jù)處理系統(tǒng)I1包括:配置服務(wù)器111、以及統(tǒng)計(jì)服務(wù)器112。
[0131]其中，所述配置服務(wù)器111用于獲取全局配置規(guī)則信息，并將所述全局配置規(guī)則信息發(fā)送給所述統(tǒng)計(jì)服務(wù)器112，所述全局配置規(guī)則信息包括預(yù)置的處理進(jìn)程分配規(guī)則、預(yù)置的源數(shù)據(jù)處理規(guī)則以及預(yù)置的數(shù)據(jù)流處理規(guī)則。
[0132]所述統(tǒng)計(jì)服務(wù)器112用于獲取待統(tǒng)計(jì)的源數(shù)據(jù)，根據(jù)所述預(yù)置的處理進(jìn)程分配規(guī)則與所述統(tǒng)計(jì)服務(wù)器112內(nèi)的所有已啟動(dòng)的進(jìn)程，為所述待統(tǒng)計(jì)的源數(shù)據(jù)預(yù)分配處理進(jìn)程；根據(jù)所述預(yù)置的源數(shù)據(jù)處理規(guī)則，將獲取的所述源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元；將轉(zhuǎn)換后的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程，所述處理進(jìn)程根據(jù)所述預(yù)置的數(shù)據(jù)流處理規(guī)則，將所述數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)；以及輸出合并統(tǒng)計(jì)后的數(shù)據(jù)元。
[0133]本實(shí)施例中的數(shù)據(jù)處理系統(tǒng)中各裝置實(shí)現(xiàn)功能的具體過程請(qǐng)參閱圖1至圖8對(duì)應(yīng)實(shí)施例的方法，以及圖9至圖10對(duì)應(yīng)實(shí)施例的裝置，此處不再贅述。
[0134]本發(fā)明實(shí)施例提供的數(shù)據(jù)處理系統(tǒng)，通過統(tǒng)計(jì)服務(wù)器根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)貝U，將源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元，然后根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，將數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)，可為數(shù)據(jù)處理提供通用的數(shù)據(jù)接入方式與通用的數(shù)據(jù)處理加工邏輯，從而實(shí)現(xiàn)多類型數(shù)據(jù)從接入到處理再到輸出的全流程自動(dòng)化，極大地提高數(shù)據(jù)處理的效率。
[0135]第八實(shí)施例
[0136]請(qǐng)參閱圖12，所示為本發(fā)明第八實(shí)施例提供的數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)示意圖。如圖12所示，本實(shí)施例提供的數(shù)據(jù)處理系統(tǒng)120包括:配置服務(wù)器121、統(tǒng)計(jì)服務(wù)器122、前端服務(wù)器123、數(shù)據(jù)庫(kù)存儲(chǔ)服務(wù)器124、以及管理服務(wù)器125。
[0137]其中，所述配置服務(wù)器121用于獲取全局配置規(guī)則信息，并將所述全局配置規(guī)則信息發(fā)送給所述統(tǒng)計(jì)服務(wù)器122，所述全局配置規(guī)則信息包括預(yù)置的處理進(jìn)程分配規(guī)則、預(yù)置的源數(shù)據(jù)處理規(guī)則以及預(yù)置的數(shù)據(jù)流處理規(guī)則。
[0138]所述統(tǒng)計(jì)服務(wù)器122用于獲取待統(tǒng)計(jì)的源數(shù)據(jù)，根據(jù)所述預(yù)置的處理進(jìn)程分配規(guī)則與所述統(tǒng)計(jì)服務(wù)器122內(nèi)的所有已啟動(dòng)的進(jìn)程，為所述待統(tǒng)計(jì)的源數(shù)據(jù)預(yù)分配處理進(jìn)程；根據(jù)所述預(yù)置的源數(shù)據(jù)處理規(guī)則，將獲取的所述源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元；將轉(zhuǎn)換后的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程，所述處理進(jìn)程根據(jù)所述預(yù)置的數(shù)據(jù)流處理規(guī)則，將所述數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)；以及輸出合并統(tǒng)計(jì)后的數(shù)據(jù)元。
[0139]所述前端服務(wù)器123用于接收用戶輸入的所述全局配置規(guī)則信息，將所述全局配置規(guī)則信息發(fā)送給所述數(shù)據(jù)庫(kù)存儲(chǔ)服務(wù)器124。
[0140]所述數(shù)據(jù)庫(kù)存儲(chǔ)服務(wù)器124用于接收并存儲(chǔ)所述全局配置規(guī)則信息，定期將所述全局配置規(guī)則信息發(fā)送給所述配置服務(wù)器。
[0141]所述統(tǒng)計(jì)服務(wù)器122還用于定期將所述統(tǒng)計(jì)服務(wù)器122的統(tǒng)計(jì)監(jiān)控?cái)?shù)據(jù)上報(bào)給所述管理服務(wù)器125，所述統(tǒng)計(jì)監(jiān)控?cái)?shù)據(jù)包括所述統(tǒng)計(jì)服務(wù)器122的容量、所述統(tǒng)計(jì)服務(wù)器內(nèi)單機(jī)的故障情況、以及進(jìn)程健康狀態(tài)。
[0142]所述管理服務(wù)器125用于接收并分析所述配置監(jiān)控?cái)?shù)據(jù)，當(dāng)監(jiān)控?cái)?shù)據(jù)中包含預(yù)置工作異常信息時(shí)，通過預(yù)置的報(bào)警方式向管理人員發(fā)送預(yù)警信息。
[0143]所述配置服務(wù)器121還用于定期將所述配置服務(wù)器的配置監(jiān)控?cái)?shù)據(jù)上報(bào)給所述管理服務(wù)器125，所述配置監(jiān)控?cái)?shù)據(jù)包括所述配置服務(wù)器的容量、以及所述配置服務(wù)器內(nèi)單機(jī)的故障情況。
[0144]本實(shí)施例中的數(shù)據(jù)處理系統(tǒng)中各裝置實(shí)現(xiàn)功能的具體過程請(qǐng)參閱圖1至圖8對(duì)應(yīng)實(shí)施例的方法，以及圖9至圖10對(duì)應(yīng)實(shí)施例的裝置，此處不再贅述。
[0145]本發(fā)明實(shí)施例提供的數(shù)據(jù)處理系統(tǒng)，通過統(tǒng)計(jì)服務(wù)器根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)貝U，將源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元，然后根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，將數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)，可為數(shù)據(jù)處理提供通用的數(shù)據(jù)接入方式與通用的數(shù)據(jù)處理加工邏輯，從而實(shí)現(xiàn)多類型數(shù)據(jù)從接入到處理再到輸出的全流程自動(dòng)化，極大地提高數(shù)據(jù)處理的效率。
[0146]需要說明的是，本說明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見即可。對(duì)于裝置類實(shí)施例而言，由于其與方法實(shí)施例基本相似，所以描述的比較簡(jiǎn)單，相關(guān)之處參見方法實(shí)施例的部分說明即可。
[0147]需要說明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下，由語句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者裝置中還存在另外的相同要素。
[0148]本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例的全部或部分步驟可以通過硬件來完成，也可以通過程序來指令相關(guān)的硬件完成，所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器，磁盤或光盤等。
[0149]以上所述，僅是本發(fā)明的較佳實(shí)施例而已，并非對(duì)本發(fā)明作任何形式上的限制，雖然本發(fā)明已以較佳實(shí)施例揭露如上，然而并非用以限定本發(fā)明，任何熟悉本專業(yè)的技術(shù)人員，在不脫離本發(fā)明技術(shù)方案范圍內(nèi)，當(dāng)可利用上述揭示的技術(shù)內(nèi)容做出些許更動(dòng)或修飾為等同變化的等效實(shí)施例，但凡是未脫離本發(fā)明技術(shù)方案內(nèi)容，依據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對(duì)以上實(shí)施例所作的任何簡(jiǎn)單修改、等同變化與修飾，均仍屬于本發(fā)明技術(shù)方案的范圍內(nèi)。
【權(quán)利要求】
1.一種數(shù)據(jù)處理方法，其特征在于，包括: 服務(wù)器獲取待統(tǒng)計(jì)的源數(shù)據(jù)，根據(jù)預(yù)置的處理進(jìn)程分配規(guī)則與所述服務(wù)器內(nèi)的所有已啟動(dòng)的進(jìn)程，為所述待統(tǒng)計(jì)的源數(shù)據(jù)預(yù)分配處理進(jìn)程； 根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則，將獲取的所述源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元； 將轉(zhuǎn)換后的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程，所述處理進(jìn)程根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)貝U，將所述數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)；以及 輸出合并統(tǒng)計(jì)后的數(shù)據(jù)元。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述服務(wù)器獲取待統(tǒng)計(jì)的源數(shù)據(jù)的步驟之前，還包括: 服務(wù)器查詢并獲取用于統(tǒng)計(jì)分析源數(shù)據(jù)的全局配置規(guī)則信息，所述全局配置規(guī)則信息包括所述預(yù)置的處理進(jìn)程分配規(guī)則、所述預(yù)置的源數(shù)據(jù)處理規(guī)則、所述預(yù)置的數(shù)據(jù)流處理規(guī)則、以及預(yù)置的輸出控制規(guī)則。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述預(yù)置的源數(shù)據(jù)處理規(guī)則中包括源數(shù)據(jù)的目錄，所述服務(wù)器獲取待統(tǒng)計(jì)的源數(shù)據(jù)的步驟，包括: 所述服務(wù)器由所述預(yù)置的源數(shù)據(jù)處理規(guī)則中的源數(shù)據(jù)的目錄中獲取待統(tǒng)計(jì)的源數(shù)據(jù)。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述預(yù)置的源數(shù)據(jù)處理規(guī)則包括:待處理的源數(shù)據(jù)的構(gòu)成字段描述與數(shù)據(jù)元的格式，所述數(shù)據(jù)元的格式包括數(shù)據(jù)類型標(biāo)識(shí)、身份標(biāo)識(shí)、以及指標(biāo)字段。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則，將獲取的所述源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元的步驟包括: 根據(jù)所述預(yù)置的源數(shù)據(jù)處理規(guī)則，將獲取的所述源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元，為轉(zhuǎn)換后的數(shù)據(jù)元分配數(shù)據(jù)類型標(biāo)識(shí)與身份標(biāo)識(shí)。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述將轉(zhuǎn)換后的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程的步驟，包括； 通過分別對(duì)具有相同數(shù)據(jù)類型標(biāo)識(shí)的數(shù)據(jù)元的身份標(biāo)識(shí)進(jìn)行哈希處理，將所述具有相同數(shù)據(jù)類型標(biāo)識(shí)的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述將所述數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)的步驟以及所述輸出合并統(tǒng)計(jì)后的數(shù)據(jù)元的步驟之間，包括: 為合并統(tǒng)計(jì)后的數(shù)據(jù)元重新分配數(shù)據(jù)類型標(biāo)識(shí)； 根據(jù)重新分配的數(shù)據(jù)類型標(biāo)識(shí)，再分別對(duì)具有相同數(shù)據(jù)類型標(biāo)識(shí)的數(shù)據(jù)元的身份標(biāo)識(shí)進(jìn)行哈希處理，將所述具有相同數(shù)據(jù)類型標(biāo)識(shí)的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程； 所述處理進(jìn)程根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，將所述數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)。
8.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述預(yù)置的輸出控制規(guī)則包括: 輸出方式以及輸出模式，所述輸出方式包括中間輸出方式以及結(jié)果輸出方式，所述中間輸出方式用于將合并統(tǒng)計(jì)后的數(shù)據(jù)元作為中間數(shù)據(jù)輸出，所述結(jié)果輸出方式用于將合并統(tǒng)計(jì)后的數(shù)據(jù)元作為結(jié)果數(shù)據(jù)輸出，所述輸出模式包括修正模式與時(shí)效模式。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述輸出合并統(tǒng)計(jì)后的數(shù)據(jù)元的步驟，包括: 根據(jù)所述預(yù)置的輸出控制規(guī)則中的輸出方式與輸出模式，輸出合并統(tǒng)計(jì)后的數(shù)據(jù)元。
10.一種數(shù)據(jù)處理方法，其特征在于，包括: 配置服務(wù)器獲取全局配置規(guī)則信息，并將所述全局配置規(guī)則信息發(fā)送給統(tǒng)計(jì)服務(wù)器，所述全局配置規(guī)則信息包括預(yù)置的處理進(jìn)程分配規(guī)則、預(yù)置的源數(shù)據(jù)處理規(guī)則以及預(yù)置的數(shù)據(jù)流處理規(guī)則； 所述統(tǒng)計(jì)服務(wù)器獲取待統(tǒng)計(jì)的源數(shù)據(jù)，根據(jù)所述預(yù)置的處理進(jìn)程分配規(guī)則與所述統(tǒng)計(jì)服務(wù)器內(nèi)的所有已啟動(dòng)的進(jìn)程，為所述待統(tǒng)計(jì)的源數(shù)據(jù)預(yù)分配處理進(jìn)程； 所述統(tǒng)計(jì)服務(wù)器根據(jù)所述預(yù)置的源數(shù)據(jù)處理規(guī)則，將獲取的所述源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元； 所述統(tǒng)計(jì)服務(wù)器將轉(zhuǎn)換后的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程，所述處理進(jìn)程根據(jù)所述預(yù)置的數(shù)據(jù)流處理規(guī)則，將所述數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)；以及 所述統(tǒng)計(jì)服務(wù)器輸出合并統(tǒng)計(jì)后的數(shù)據(jù)元。
11.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述方法還包括: 所述統(tǒng)計(jì)服務(wù)器定期將所述統(tǒng)計(jì)服務(wù)器的統(tǒng)計(jì)監(jiān)控?cái)?shù)據(jù)上報(bào)給管理服務(wù)器，所述統(tǒng)計(jì)監(jiān)控?cái)?shù)據(jù)包括所述統(tǒng)計(jì)服務(wù)器的容量、所述統(tǒng)計(jì)服務(wù)器內(nèi)單機(jī)的故障情況、以及進(jìn)程健康狀態(tài)。
12.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述配置服務(wù)器獲取全局配置規(guī)則信息的步驟之前還包括: 前端服務(wù)器接收用戶輸入的所述全局配置規(guī)則信息，將所述全局配置規(guī)則信息發(fā)送給數(shù)據(jù)庫(kù)存儲(chǔ)服務(wù)器； 數(shù)據(jù)庫(kù)存儲(chǔ)服務(wù)器接收并存儲(chǔ)所述全局配置規(guī)則信息，定期將所述全局配置規(guī)則信息發(fā)送給所述配置服務(wù)器。
13.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述方法還包括: 所述配置服務(wù)器定期將所述配置服務(wù)器的配置監(jiān)控?cái)?shù)據(jù)上報(bào)給所述管理服務(wù)器，所述配置監(jiān)控?cái)?shù)據(jù)包括所述配置服務(wù)器的容量、以及所述配置服務(wù)器內(nèi)單機(jī)的故障情況。
14.一種數(shù)據(jù)處理裝置，應(yīng)用于服務(wù)器，其特征在于，包括: 源數(shù)據(jù)獲取模塊，用于獲取待統(tǒng)計(jì)的源數(shù)據(jù)，根據(jù)預(yù)置的處理進(jìn)程分配規(guī)則與所述服務(wù)器內(nèi)的所有已啟動(dòng)的進(jìn)程，為所述待統(tǒng)計(jì)的源數(shù)據(jù)預(yù)分配處理進(jìn)程； 源數(shù)據(jù)轉(zhuǎn)換模塊，用于根據(jù)預(yù)置的源數(shù)據(jù)處理規(guī)則，將所述源數(shù)據(jù)獲取模塊獲取的所述源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元； 數(shù)據(jù)元合并統(tǒng)計(jì)模塊，用于將所述源數(shù)據(jù)轉(zhuǎn)換模塊轉(zhuǎn)換后的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程，所述處理進(jìn)程根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，將所述數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)；以及 輸出模塊，用于輸出所述數(shù)據(jù)元合并統(tǒng)計(jì)模塊合并統(tǒng)計(jì)后的數(shù)據(jù)元。
15.根據(jù)權(quán)利要求14所述的裝置，其特征在于，所述裝置還包括: 全局配置規(guī)則信息獲取模塊，用于查詢并獲取用于統(tǒng)計(jì)分析源數(shù)據(jù)的全局配置規(guī)則信息，所述全局配置規(guī)則信息包括所述預(yù)置的處理進(jìn)程分配規(guī)則、所述預(yù)置的源數(shù)據(jù)處理規(guī)貝U、所述預(yù)置的數(shù)據(jù)流處理規(guī)則、以及預(yù)置的輸出控制規(guī)則。
16.根據(jù)權(quán)利要求14所述的裝置，其特征在于，所述源數(shù)據(jù)獲取模塊包括: 源數(shù)據(jù)獲取單元，用于由所述預(yù)置的源數(shù)據(jù)處理規(guī)則中的源數(shù)據(jù)的目錄中獲取待統(tǒng)計(jì)的源數(shù)據(jù)。
17.根據(jù)權(quán)利要求14所述的裝置，其特征在于，所述預(yù)置的源數(shù)據(jù)處理規(guī)則包括:待處理的源數(shù)據(jù)的構(gòu)成字段描述與數(shù)據(jù)元的格式，所述數(shù)據(jù)元的格式包括數(shù)據(jù)類型標(biāo)識(shí)、身份標(biāo)識(shí)、以及指標(biāo)字段。
18.根據(jù)權(quán)利要求17所述的裝置，其特征在于，所述源數(shù)據(jù)轉(zhuǎn)換模塊包括: 源數(shù)據(jù)轉(zhuǎn)換單元，用于根據(jù)所述預(yù)置的源數(shù)據(jù)處理規(guī)則，將獲取的所述源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元，為轉(zhuǎn)換后的數(shù)據(jù)元分配數(shù)據(jù)類型標(biāo)識(shí)與身份標(biāo)識(shí)。
19.根據(jù)權(quán)利要求18所述的裝置，其特征在于，所述數(shù)據(jù)元合并統(tǒng)計(jì)模塊包括: 第一分發(fā)單元，用于通過分別對(duì)具有相同數(shù)據(jù)類型標(biāo)識(shí)的數(shù)據(jù)元的身份標(biāo)識(shí)進(jìn)行哈希處理，將所述具有相同數(shù)據(jù)類型標(biāo)識(shí)的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程。
20.根據(jù)權(quán)利要求19所述的裝置，其特征在于，所述數(shù)據(jù)元合并統(tǒng)計(jì)模塊還包括: 數(shù)據(jù)類型標(biāo)識(shí)分配單元，用于為合并統(tǒng)計(jì)后的數(shù)據(jù)元重新分配數(shù)據(jù)類型標(biāo)識(shí)； 第二分發(fā)單元，用于根據(jù)重新分配的數(shù)據(jù)類型標(biāo)識(shí)，再分別對(duì)具有相同數(shù)據(jù)類型標(biāo)識(shí)的數(shù)據(jù)元的身份標(biāo)識(shí)進(jìn)行哈希處理，將所述具有相同數(shù)據(jù)類型標(biāo)識(shí)的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程； 合并統(tǒng)計(jì)單元，用于通過所述處理進(jìn)程根據(jù)預(yù)置的數(shù)據(jù)流處理規(guī)則，將所述數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)。
21.根據(jù)權(quán)利要求15所述的裝置，其特征在于，所述預(yù)置的輸出控制規(guī)則包括: 輸出方式以及輸出模式，所述輸出方式包括中間輸出方式以及結(jié)果輸出方式，所述中間輸出方式用于將合并統(tǒng)計(jì)后的數(shù)據(jù)元作為中間數(shù)據(jù)輸出，所述結(jié)果輸出方式用于將合并統(tǒng)計(jì)后的數(shù)據(jù)元作為結(jié)果數(shù)據(jù)輸出，所述輸出模式包括修正模式與時(shí)效模式。
22.根據(jù)權(quán)利要求21所述的裝置，其特征在于，所述輸出模塊包括: 輸出單兀，用于根據(jù)所述預(yù)置的輸出控制規(guī)則中的輸出方式與輸出模式，輸出合并統(tǒng)計(jì)后的數(shù)據(jù)元。
23.一種數(shù)據(jù)處理系統(tǒng)，其特征在于，包括:配置服務(wù)器以及統(tǒng)計(jì)服務(wù)器， 所述配置服務(wù)器用于獲取全局配置規(guī)則信息，并將所述全局配置規(guī)則信息發(fā)送給所述統(tǒng)計(jì)服務(wù)器，所述全局配置規(guī)則信息包括預(yù)置的處理進(jìn)程分配規(guī)則、預(yù)置的源數(shù)據(jù)處理規(guī)則以及預(yù)置的數(shù)據(jù)流處理規(guī)則； 所述統(tǒng)計(jì)服務(wù)器用于獲取待統(tǒng)計(jì)的源數(shù)據(jù)，根據(jù)所述預(yù)置的處理進(jìn)程分配規(guī)則與所述統(tǒng)計(jì)服務(wù)器內(nèi)的所有已啟動(dòng)的進(jìn)程，為所述待統(tǒng)計(jì)的源數(shù)據(jù)預(yù)分配處理進(jìn)程；根據(jù)所述預(yù)置的源數(shù)據(jù)處理規(guī)則，將獲取的所述源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的數(shù)據(jù)元；將轉(zhuǎn)換后的數(shù)據(jù)元分發(fā)到對(duì)應(yīng)的處理進(jìn)程，所述處理進(jìn)程根據(jù)所述預(yù)置的數(shù)據(jù)流處理規(guī)則，將所述數(shù)據(jù)元進(jìn)行合并統(tǒng)計(jì)；以及輸出合并統(tǒng)計(jì)后的數(shù)據(jù)元。
24.根據(jù)權(quán)利要求23所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括前端服務(wù)器以及數(shù)據(jù)庫(kù)存儲(chǔ)服務(wù)器， 所述前端服務(wù)器用于接收用戶輸入的所述全局配置規(guī)則信息，將所述全局配置規(guī)則信息發(fā)送給所述數(shù)據(jù)庫(kù)存儲(chǔ)服務(wù)器； 所述數(shù)據(jù)庫(kù)存儲(chǔ)服務(wù)器用于接收并存儲(chǔ)所述全局配置規(guī)則信息，定期將所述全局配置規(guī)則信息發(fā)送給所述配置服務(wù)器。
25.根據(jù)權(quán)利要求23所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括管理服務(wù)器， 所述統(tǒng)計(jì)服務(wù)器還用于定期將所述統(tǒng)計(jì)服務(wù)器的統(tǒng)計(jì)監(jiān)控?cái)?shù)據(jù)上報(bào)給所述管理服務(wù)器，所述統(tǒng)計(jì)監(jiān)控?cái)?shù)據(jù)包括所述統(tǒng)計(jì)服務(wù)器的容量、所述統(tǒng)計(jì)服務(wù)器內(nèi)單機(jī)的故障情況、以及進(jìn)程健康狀態(tài)； 所述管理服務(wù)器用于接收并分析所述配置監(jiān)控?cái)?shù)據(jù)，當(dāng)監(jiān)控?cái)?shù)據(jù)中包含預(yù)置工作異常信息時(shí)，通過預(yù)置的報(bào)警方式向管理人員發(fā)送預(yù)警信息。
26.根據(jù)權(quán)利要求25所述的系統(tǒng)，其特征在于，所述配置服務(wù)器還用于定期將所述配置服務(wù)器的配置監(jiān)控?cái)?shù)據(jù)上報(bào)給所述管理服務(wù)器，所述配置監(jiān)控?cái)?shù)據(jù)包括所述配置服務(wù)器的容量、以及所述配置服務(wù)器內(nèi)單機(jī)的故障情況。
【文檔編號(hào)】G06F9/46GK104462121SQ201310430540
【公開日】2015年3月25日 申請(qǐng)日期:2013年9月18日 優(yōu)先權(quán)日:2013年9月18日
【發(fā)明者】何濤, 楊帥, 羅偉 申請(qǐng)人:騰訊科技（深圳）有限公司