專利名稱：：一種分布式計算數(shù)據(jù)合并方法、系統(tǒng)及其裝置的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及網(wǎng)絡(luò)通信
技術(shù)領(lǐng)域：
，特別是涉及一種分布式計算數(shù)據(jù)合并方法、系統(tǒng)及其裝置。
背景技術(shù)：
：隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，對于互聯(lián)網(wǎng)上存在海量信息的處理就成為了難題。如果要在單機(jī)上處理這些數(shù)據(jù)量非常龐大的信息，就需要有很強(qiáng)的處理能力和端口能力，然而一方面這種高性能單機(jī)價格不菲，而且這種依靠單機(jī)的處理模式也是有限度的。因此人們提出了分布式計算的概念，利用互聯(lián)網(wǎng)上有很多互連計算機(jī)的空閑資源來處理互聯(lián)網(wǎng)上的海量信息。分布式計算把需要進(jìn)行大量計算的工程數(shù)據(jù)分割成小塊，由多臺計算機(jī)分別計算，在上傳運(yùn)算結(jié)果后再統(tǒng)一合并得出數(shù)據(jù)結(jié)論。因此，分布式計算的主要可以分為以下幾個部分1、任務(wù)分割根據(jù)每個應(yīng)用的不同，采用不同的方法將任務(wù)進(jìn)行分割，最終達(dá)到的目的是任務(wù)盡可能的平均分配，各個任務(wù)之間互不相關(guān)。2、計算任務(wù)任務(wù)分割完成后就被分發(fā)給分布式節(jié)點(diǎn)，有各個分布式節(jié)點(diǎn)進(jìn)行計算，得到各個子任務(wù)包的計算結(jié)果。3、結(jié)果合并在一臺服務(wù)機(jī)器上，對各個分布式節(jié)點(diǎn)的處理結(jié)果進(jìn)行合并，得到最終的處理結(jié)果?，F(xiàn)有的的分布式計算中，針對每個不同的應(yīng)用處理的方式都是不同的，每個應(yīng)用都要用戶自己進(jìn)行處理，對于分布式計算中并發(fā)處理，容錯，負(fù)載均衡等等細(xì)節(jié)問題都要考慮，因此導(dǎo)致代碼非常復(fù)雜。比如說分析用戶訪問網(wǎng)站的訪問路徑，就需要編寫任務(wù)分割的代碼、編寫分析訪問路徑代碼、編寫結(jié)果合并代碼，并且在這些代碼中都要處理數(shù)據(jù)的同步、并發(fā)問題，容錯、負(fù)載問題。如果出現(xiàn)新的應(yīng)用，則這些過程都要重新進(jìn)行一遍，并且還要考慮任務(wù)分割、結(jié)果合并，數(shù)據(jù)的同步等等問題，增加了用戶的負(fù)擔(dān)。
發(fā)明內(nèi)容本發(fā)明要解決的問題是提供一種分布式計算數(shù)據(jù)合并方法、系統(tǒng)及其裝置，可以使分布式計算數(shù)據(jù)合并只需幾個步驟就能完成，減輕用戶工作量。為達(dá)到上述目的，本發(fā)明的實(shí)施例的技術(shù)方案提出一種分布式計算數(shù)據(jù)合并方法，包括以下步驟根據(jù)分布式計算任務(wù)分割的情況設(shè)置配置文件；數(shù)據(jù)合并服務(wù)器將所述配置文件導(dǎo)入，并建立與所述配置文件對應(yīng)的數(shù)據(jù)庫表；各個分布式節(jié)點(diǎn)完成分布式計算任務(wù)后將計算結(jié)果信息插入所述數(shù)據(jù)庫表；所述數(shù)據(jù)合并服務(wù)器將數(shù)據(jù)庫表中的數(shù)據(jù)合并。其中，在所述數(shù)據(jù)合并服務(wù)器將數(shù)據(jù)庫表中的數(shù)據(jù)合并之后，還包括以下步驟將所述數(shù)據(jù)合并結(jié)果導(dǎo)出成文件。其中，所述根據(jù)分布式計算任務(wù)分割的情況設(shè)置配置文件具體包括需要合并數(shù)據(jù)表名、字段名、數(shù)據(jù)插入方式和合并方式。其中，所述將數(shù)據(jù)庫表中的數(shù)據(jù)合并具體包括根據(jù)所述配置文件中的合并方式對數(shù)據(jù)庫中字段進(jìn)行處理。其中，所述根據(jù)分布式計算任務(wù)分割的情況設(shè)置配置文件具體還包括記錄最大數(shù)量、錯誤處理方式、最大錯誤記錄數(shù)和記錄保存方式。其中，所述各個分布式節(jié)點(diǎn)將計算結(jié)果信息插入所述數(shù)據(jù)庫表，具體包括以下步驟所述分布式節(jié)點(diǎn)根據(jù)所述合并數(shù)據(jù)表名將計算結(jié)果插入所述數(shù)據(jù)庫表。其中，所述計算結(jié)果信息包括分布式任務(wù)ID,分布式配置項(xiàng)名稱和計算結(jié)果。其中，所述計算結(jié)果信息以ASCII碼分隔。為達(dá)到上述目的，本發(fā)明的實(shí)施例的技術(shù)方案還提出一種分布式計算數(shù)據(jù)合并系統(tǒng)，包括至少一個分布式節(jié)點(diǎn)和數(shù)據(jù)合并服務(wù)器，所述數(shù)據(jù)合并服務(wù)器，用于根據(jù)用戶設(shè)置的配置文件建立與所述配置文件對應(yīng)的數(shù)據(jù)庫表，并在各個分布式節(jié)點(diǎn)將計算結(jié)果信息上報后將數(shù)據(jù)庫表中的數(shù)據(jù)合并；所述分布式節(jié)點(diǎn)，用于在完成分布式計算任務(wù)后將計算結(jié)果信息插入所述數(shù)據(jù)庫表。其中，所述數(shù)據(jù)合并服務(wù)器包括數(shù)據(jù)庫表建立模塊和數(shù)據(jù)合并模塊，所述數(shù)據(jù)庫表建立模塊用于根據(jù)用戶設(shè)置的配置文件建立與所述配置文件對應(yīng)的數(shù)據(jù)庫表；所述數(shù)據(jù)合并模塊用于在各個分布式節(jié)點(diǎn)將計算結(jié)果信息上報后將數(shù)據(jù)庫表中的數(shù)據(jù)合并。其中，所述數(shù)據(jù)合并服務(wù)器還包括計算結(jié)果統(tǒng)計模塊，用于判斷所述各個分布式節(jié)點(diǎn)是否全部將計算結(jié)果信息上報。其中，所述數(shù)據(jù)合并服務(wù)器還包括中間數(shù)據(jù)存儲模塊，用于在數(shù)據(jù)合并之前存儲數(shù)據(jù)庫表。本發(fā)明的實(shí)施例的技術(shù)方案還提出一種數(shù)據(jù)合并服務(wù)器，包括數(shù)據(jù)庫表建立模塊和數(shù)據(jù)合并模塊，所述數(shù)據(jù)庫表建立模塊用于根據(jù)用戶設(shè)置的配置文件建立與所述配置文件對應(yīng)的數(shù)據(jù)庫表；所述數(shù)據(jù)合并模塊用于在各個分布式節(jié)點(diǎn)將計算結(jié)果信息上報后將數(shù)據(jù)庫表中的數(shù)據(jù)合并。其中，所述數(shù)據(jù)合并服務(wù)器還包括計算結(jié)果統(tǒng)計模塊，用于判斷所述各個分布式節(jié)點(diǎn)是否全部將計算結(jié)果信息上4艮。其中，所述數(shù)據(jù)合并服務(wù)器還包括中間數(shù)據(jù)存儲模塊，用于在數(shù)據(jù)合并之前存儲數(shù)據(jù)庫表。通過本發(fā)明實(shí)施例的技術(shù)方案用戶只需要根據(jù)接口標(biāo)準(zhǔn)編寫配置文件，系統(tǒng)就會自動進(jìn)行數(shù)據(jù)合并，隱藏了分布式計算中的數(shù)據(jù)合并細(xì)節(jié)，減輕了用戶的工作量。圖1為本發(fā)明實(shí)施例分布式計算數(shù)據(jù)合并系統(tǒng)結(jié)構(gòu)圖；圖2為本發(fā)明實(shí)施例分布式計算數(shù)據(jù)合并方法的流程圖；圖3為本發(fā)明實(shí)施例另一種分布式計算數(shù)據(jù)合并方法的流程圖。具體實(shí)施方式本發(fā)明實(shí)施例利用數(shù)據(jù)庫做平臺與本發(fā)明實(shí)施例相結(jié)合，封裝了分布式計算的數(shù)據(jù)合并的具體細(xì)節(jié)。用戶只需要根據(jù)通過預(yù)先定義的標(biāo)準(zhǔn)編寫配置文件，本發(fā)明就會自動進(jìn)行數(shù)據(jù)合并，只需要簡單的幾個步驟就能完成以前需要幾百行代碼才能完成的工作。下面結(jié)合附圖和實(shí)施例，對本發(fā)明的具體實(shí)施方式作進(jìn)一步詳細(xì)描述如圖l所示，為本發(fā)明實(shí)施例分布式計算數(shù)據(jù)合并系統(tǒng)結(jié)構(gòu)圖。該分布式計算數(shù)據(jù)合并系統(tǒng)包括至少一個分布式節(jié)點(diǎn)2和數(shù)據(jù)合并服務(wù)器1，數(shù)據(jù)合并服務(wù)器1用于根據(jù)用戶設(shè)置的配置文件建立與該配置文件對應(yīng)的數(shù)據(jù)庫表，并在各個分布式節(jié)點(diǎn)2將計算結(jié)果信息上報后將數(shù)據(jù)庫表中的數(shù)據(jù)合并；分布式節(jié)點(diǎn)2用于在完成分布式計算任務(wù)后將計算結(jié)果信息插入數(shù)據(jù)合并服務(wù)器1中的數(shù)據(jù)庫表。通過該分布式計算數(shù)據(jù)合并系統(tǒng)將計算結(jié)果合并的過程如下首先，根據(jù)數(shù)據(jù)合并過程需要用到的方式方法訂立數(shù)據(jù)合并接口的標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)規(guī)范了不同的分布式計算的應(yīng)用，用戶使用這個標(biāo)準(zhǔn)就可以通過本發(fā)明處理不同的分布式計算的應(yīng)用，不需要在各個分布式應(yīng)用上重復(fù)編寫代碼。用戶根據(jù)此標(biāo)準(zhǔn)編寫相應(yīng)的配置文件，該配置文件根據(jù)分布式計算的任務(wù)分割和任務(wù)計算步驟的情況設(shè)置，包括根據(jù)分布任務(wù)分割情況建立數(shù)據(jù)表名、字段名、數(shù)據(jù)插入方式和合并方式；還包括記錄最大數(shù)量、錯誤處理方式、最大錯誤記錄數(shù)和記錄保存方式；并且可根據(jù)需要進(jìn)行擴(kuò)充。其中，數(shù)據(jù)插入方式是指插入數(shù)據(jù)庫的方式，可采用直接插入或間接插入；記錄保存方式是指以數(shù)據(jù)庫方式保存，還是以遠(yuǎn)程網(wǎng)絡(luò)文件或本地磁盤文件的方式保存。數(shù)據(jù)合并服務(wù)器i讀取設(shè)置的配置文件，根據(jù)預(yù)定的數(shù)據(jù)合并接口標(biāo)準(zhǔn)分析該配置文件，得到需要合并的數(shù)據(jù)表名、字段名、數(shù)據(jù)插入方式和合并方式及記錄最大數(shù)量、錯誤處理方式、最大錯誤記錄數(shù)和記錄保存方式等用戶配置的信息；利用數(shù)據(jù)合并服務(wù)器1上的數(shù)據(jù)庫根據(jù)這些信息建立數(shù)據(jù)庫表，以用戶配置的數(shù)據(jù)表名命名該數(shù)據(jù)庫表，并記錄用戶配置的數(shù)據(jù)合并方式。各個分布式節(jié)點(diǎn)2在完成分布式計算任務(wù)之后，自動調(diào)用本發(fā)明提供的接口將計算結(jié)果信息插入該數(shù)據(jù)庫表中，其中計算結(jié)果信息包括分布式任務(wù)ID,分布式配置項(xiàng)名稱和計算結(jié)果，該計算結(jié)果信息的各個部分采用ASCII碼分隔，例如用\5分隔。數(shù)據(jù)合并服務(wù)器1根據(jù)記錄的用戶配置的數(shù)據(jù)合并方式對上述數(shù)據(jù)庫表進(jìn)行合并，該合并操作利用數(shù)據(jù)庫實(shí)現(xiàn)；在該合并操作完成后根據(jù)用戶的配置文件將最后合并結(jié)果導(dǎo)出，以數(shù)據(jù)庫表的方式、遠(yuǎn)程網(wǎng)絡(luò)文件或本地磁盤文件的方式保存。對于數(shù)據(jù)合并的方式用戶可以選擇數(shù)據(jù)庫支持的所有合并操作，例如對數(shù)據(jù)表中的某個字段分組，對某個字段進(jìn)行加合，對某個字段求最大值等。其中，數(shù)據(jù)合并服務(wù)器1包括數(shù)據(jù)庫表建立模塊11和數(shù)據(jù)合并模塊12，數(shù)據(jù)庫表建立模塊11用于根據(jù)用戶設(shè)置的配置文件建立與該配置文件對應(yīng)的數(shù)據(jù)庫表；數(shù)據(jù)合并模塊12用于在各個分布式節(jié)點(diǎn)2將計算結(jié)果信息上報后將數(shù)據(jù)庫表中的數(shù)據(jù)合并。其中，數(shù)據(jù)合并服務(wù)器1還包括計算結(jié)果統(tǒng)計模塊13和中間數(shù)據(jù)存儲模塊14,計算結(jié)果統(tǒng)計模塊13用于判斷各個分布式節(jié)點(diǎn)2是否全部將計算結(jié)果信息上報；中間數(shù)據(jù)存儲模塊14用于在數(shù)據(jù)合并之前存儲數(shù)據(jù)庫表。如圖2所示，為本發(fā)明實(shí)施例分布式計算數(shù)據(jù)合并方法的流程圖，包括以下步驟步驟201,根據(jù)分布式計算任務(wù)分割的情況^沒置配置文件，該配置文件根據(jù)分布式計算的任務(wù)分割和任務(wù)計算步驟的情況設(shè)置，包括^^艮據(jù)分布任務(wù)分割情況建立數(shù)據(jù)表名、字段名、數(shù)據(jù)插入方式和合并方式；還包括記錄最大數(shù)量、錯誤處理方式、最大錯誤記錄數(shù)和記錄保存方式；并且該配置文件信息可根據(jù)需要進(jìn)行擴(kuò)充。其中，數(shù)據(jù)插入方式是指插入數(shù)據(jù)庫的方式，可采用直接插入或間接插入；記錄保存方式是指以數(shù)據(jù)庫方式保存，還是以遠(yuǎn)程網(wǎng)絡(luò)文件或本地磁盤文件的方式保存。步驟202，數(shù)據(jù)合并服務(wù)器將所述配置文件導(dǎo)入，并建立與該配置文件對應(yīng)的數(shù)據(jù)庫表。數(shù)據(jù)合并服務(wù)器讀取設(shè)置的配置文件，根據(jù)預(yù)定的數(shù)據(jù)合并接口標(biāo)準(zhǔn)分析該配置文件，得到需要合并的數(shù)據(jù)表名、字段名、數(shù)據(jù)插入方式和合并方式及記錄最大數(shù)量、錯誤處理方式、最大錯誤記錄數(shù)和記錄保存方式等用戶配置的信息；利用數(shù)據(jù)合并服務(wù)器上的數(shù)據(jù)庫根據(jù)這些信息建立數(shù)據(jù)庫表，以用戶配置的數(shù)據(jù)表名命名該數(shù)據(jù)庫表，并記錄用戶配置的數(shù)據(jù)合并方式。步驟203,各個分布式節(jié)點(diǎn)完成分布式計算任務(wù)后將計算結(jié)果信息插入所述數(shù)據(jù)庫表。各個分布式節(jié)點(diǎn)在完成分布式計算任務(wù)之后，自動調(diào)用本發(fā)明提供的接口將計算結(jié)果信息插入該數(shù)據(jù)庫表中，其中計算結(jié)果信息包括分布式任務(wù)ID,分布式配置項(xiàng)名稱和計算結(jié)果，該計算結(jié)果信息的各個部分采用ASCII碼分隔，例如用\5分隔。步驟204,數(shù)據(jù)合并服務(wù)器將數(shù)據(jù)庫表中的數(shù)據(jù)合并。數(shù)據(jù)合并服務(wù)器根據(jù)記錄的用戶配置的數(shù)據(jù)合并方式對上述數(shù)據(jù)庫表進(jìn)行合并，該合并操作利用數(shù)據(jù)庫實(shí)現(xiàn)；在該合并操作完成后根據(jù)用戶的配置文件將最后合并結(jié)果導(dǎo)出，以數(shù)據(jù)庫表的方式、遠(yuǎn)程網(wǎng)絡(luò)文件或本地磁盤文件的方式保存。對于數(shù)據(jù)合并的方式用戶可以選擇數(shù)據(jù)庫支持的所有合并操作，例如對數(shù)據(jù)表中的某個字段分組，對某個字段進(jìn)行加合，對某個字段求最大值等。如圖3所示，為本發(fā)明實(shí)施例另一種分布式計算婆:據(jù)合并方法的流程圖，包括以下步驟步驟301,根據(jù)數(shù)據(jù)合并過程需要用到的方式方法訂立數(shù)據(jù)合并接口的標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)規(guī)范了不同的分布式計算的應(yīng)用，用戶使用這個標(biāo)準(zhǔn)就可以通過本發(fā)明處理不同的分布式計算的應(yīng)用，不需要在各個分布式應(yīng)用上重復(fù)編寫代碼。該標(biāo)準(zhǔn)對于本發(fā)明實(shí)施例的分布式計算數(shù)據(jù)合并方法不是必須的，但createmergedatatable—name(field1—namefield1—typefield1—class,field2—namefield2jypefield2—class)[limit[m啊xerrorn][directload][globalfile/localfile]其中，field為字段是根據(jù)分布式計算數(shù)據(jù)合并之前的任務(wù)分割情況設(shè)定的；Limit是指記錄按照從大到小排列后的最大的數(shù)量；Maxerror是指插入數(shù)據(jù)庫中允許的最大錯誤記錄數(shù)；Directlad是指插入數(shù)據(jù)庫的方式，直接還是非直4妄方式；Globalfile/localfile:是指記錄保存的方式，是以數(shù)據(jù)庫的方式，本發(fā)明實(shí)施例還可以根據(jù)用戶的需要，對上述數(shù)據(jù)合并接口的標(biāo)準(zhǔn)進(jìn)行擴(kuò)充。步驟302,4艮據(jù)分布式計算任務(wù)分割的情況設(shè)置配置文件。以下為本實(shí)施例中用戶根據(jù)自身要求設(shè)置的配置文件。CREATEmergedataANALOG—RES—SUMMARY—DAILYPROFILEIDREPORT—TIMEPAGEV正WVISITSAVER—VISIT_LEN畫Q一VISITORVISITl一VISITORPAGEV正WlVISITNUMBERNUMBERNUMBERNUMBERNUMBERNUMBERNUMBERNUMBERkey,key,order,order,order,order,order,orderlimit1max6irors1directloadlocalfilej步驟303，數(shù)據(jù)合并服務(wù)器將所述配置文件導(dǎo)入，并建立與該配置文件對應(yīng)的數(shù)據(jù)庫表。數(shù)據(jù)合并服務(wù)器讀取設(shè)置的配置文件，根據(jù)預(yù)定的數(shù)據(jù)合并接口標(biāo)準(zhǔn)分析該配置文件，得到需要合并的數(shù)據(jù)表名、字段名、數(shù)據(jù)插入方式和合并方式及記錄最大數(shù)量、錯誤處理方式、最大錯誤記錄數(shù)和記錄保存方式等用戶配置的信息；利用數(shù)據(jù)合并服務(wù)器上的數(shù)據(jù)庫根據(jù)這些信息建立數(shù)據(jù)庫表，以用戶配置的數(shù)據(jù)表名命名該數(shù)據(jù)庫表，并記錄用戶配置的數(shù)據(jù)合并方式。根據(jù)上述用戶根據(jù)自身要求設(shè)置的配置文件，我們可以得到以下信息上述配置文件中根據(jù)任務(wù)分割的情況，任務(wù)計算的結(jié)果應(yīng)當(dāng)有8個字段，分另寸為profile—id、report—time、pageview,visits、aver—visit—len、quiq_visitor、visitl—visitor和pageviewl—visit;不限制結(jié)果數(shù)；直4妄的方式進(jìn)4亍數(shù)4居導(dǎo)入；允許的最大錯誤是l;ANALOG—RES—SUMMARY—DAILY為其數(shù)據(jù)表名；導(dǎo)出方式為本地磁盤文件。根據(jù)上述用戶設(shè)置的配置文件，F(xiàn)ieldl—class指出了合并方式，在本例中是以profile—id和report_time的field_class是key,其他字)爻的field—class為order,就是指以profile—id和report—time為關(guān)4建字，求這些字段page—view,visits,aver—visit—len,uniq_visitor,visitl一vistor,pageviewl—visit的和。根據(jù)以上信息，數(shù)據(jù)合并服務(wù)器調(diào)用數(shù)據(jù)庫，在數(shù)據(jù)庫上創(chuàng)建包含以上信息的數(shù)據(jù)庫表，并將上述合并方式保存。步驟304，各個分布式節(jié)點(diǎn)完成分布式計算任務(wù)后將計算結(jié)果信息插入所述數(shù)據(jù)庫表。各個分布式節(jié)點(diǎn)在完成分布式計算任務(wù)之后，自動調(diào)用本發(fā)明提供的接口將計算結(jié)果信息插入該數(shù)據(jù)庫表中，其中計算結(jié)果信息包括需要插入的數(shù)據(jù)表名和計算結(jié)果等用戶配置信息，該計算結(jié)果信息的各個部分采用ASCII碼分隔。例如上例中上報的信息有數(shù)據(jù)表名ANALOG—RES—SUMMARY—DAILY,以及插入的數(shù)據(jù)"2\520070214\5100\550\523\524\512\548",該插入的數(shù)據(jù)以ASCII碼5分隔，就是指插入的數(shù)據(jù)為profile—id=2、report—time=20070214、pageview=100、visits=50、aver—visit—len=23、quiq_visitor=24、visitl_visitor=l2、pageviewl—visit=48。步驟305，數(shù)據(jù)合并服務(wù)器將數(shù)據(jù)庫表中的數(shù)據(jù)合并。如用戶設(shè)定的合并方式為在profile—id和report—time相同的情況下合并pageview、visits、aver—visit_len、quiq_visitor、visit1—visitor、pageviewl—visit這六個字段，數(shù)據(jù)合并服務(wù)器調(diào)用數(shù)據(jù)庫根據(jù)上述合并方式將數(shù)據(jù)合并，并將合并結(jié)果導(dǎo)出成文件在本地,茲盤文件上保存。本發(fā)明實(shí)施例通過數(shù)據(jù)合并服務(wù)器和分布式節(jié)點(diǎn)對合并數(shù)據(jù)的自動處理，隱藏了分布式計算中數(shù)據(jù)合并的細(xì)節(jié)，減輕了用戶的工作量。因此用戶不需要去了解分布式計算中數(shù)據(jù)合并的細(xì)節(jié)，也不需要針對各個不同的應(yīng)用方式編寫代碼。通過本發(fā)明實(shí)施例只需要簡單的幾個步驟就能完成以前需要幾百行代碼才能完成的工作。以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對于本
技術(shù)領(lǐng)域：
的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。權(quán)利要求1.一種分布式計算數(shù)據(jù)合并方法，其特征在于，包括以下步驟根據(jù)分布式計算任務(wù)分割的情況設(shè)置配置文件；數(shù)據(jù)合并服務(wù)器將所述配置文件導(dǎo)入，并建立與所述配置文件對應(yīng)的數(shù)據(jù)庫表；各個分布式節(jié)點(diǎn)完成分布式計算任務(wù)后將計算結(jié)果信息插入所述數(shù)據(jù)庫表；所述數(shù)據(jù)合并服務(wù)器將數(shù)據(jù)庫表中的數(shù)據(jù)合并。2、如權(quán)利要求1所述分布式計算數(shù)據(jù)合并方法，其特征在于，在所述數(shù)據(jù)合并服務(wù)器將數(shù)據(jù)庫表中的數(shù)據(jù)合并之后，還包括以下步驟將所述數(shù)據(jù)合并結(jié)果導(dǎo)出成文件。3、如權(quán)利要求1所述分布式計算數(shù)據(jù)合并方法，其特征在于，所述根據(jù)分布式計算任務(wù)分割的情況設(shè)置配置文件具體包括需要合并數(shù)據(jù)表名、字#殳名、凄t據(jù)插入方式和合并方式。4、如權(quán)利要求3所述分布式計算數(shù)據(jù)合并方法，其特征在于，所述將數(shù)據(jù)庫表中的數(shù)據(jù)合并具體包括根據(jù)所述配置文件中的合并方式對數(shù)據(jù)庫中字段進(jìn)行處理。5、如權(quán)利要求3所述分布式計算數(shù)據(jù)合并方法，其特征在于，所述根據(jù)分布式計算任務(wù)分割的情況設(shè)置配置文件具體還包括記錄最大數(shù)量、錯誤處理方式、最大錯誤記錄數(shù)和記錄保存方式。6、如權(quán)利要求3所述分布式計算數(shù)據(jù)合并方法，其特征在于，所述各個分布式節(jié)點(diǎn)將計算結(jié)果信息插入所述數(shù)據(jù)庫表，具體包括以下步驟所述分布式節(jié)點(diǎn)根據(jù)所述合并數(shù)據(jù)表名將計算結(jié)果插入所述數(shù)據(jù)庫表。7、如權(quán)利要求1所述分布式計算數(shù)據(jù)合并方法，其特征在于，所述計算結(jié)果信息包括分布式任務(wù)ID,分布式配置項(xiàng)名稱和計算結(jié)果。8、如權(quán)利要求7所述分布式計算數(shù)據(jù)合并方法，其特征在于，所述計算結(jié)果信息以ASCII碼分隔。9、一種分布式計算數(shù)據(jù)合并系統(tǒng)，其特征在于，包括至少一個分布式節(jié)點(diǎn)和數(shù)據(jù)合并服務(wù)器，所述數(shù)據(jù)合并服務(wù)器，用于根據(jù)用戶設(shè)置的配置文件建立與所述配置文件對應(yīng)的數(shù)據(jù)庫表，并在各個分布式節(jié)點(diǎn)將計算結(jié)果信息上報后將數(shù)據(jù)庫表中的數(shù)據(jù)合并；所述分布式節(jié)點(diǎn)，用于在完成分布式計算任務(wù)后將計算結(jié)果信息插入所述數(shù)據(jù)庫表。10、如權(quán)利要求9所述分布式計算數(shù)據(jù)合并系統(tǒng)，其特征在于，所述數(shù)據(jù)合并服務(wù)器包括數(shù)據(jù)庫表建立模塊和數(shù)據(jù)合并模塊，所述數(shù)據(jù)庫表建立模塊用于根據(jù)用戶設(shè)置的配置文件建立與所述配置文件對應(yīng)的數(shù)據(jù)庫表；所述數(shù)據(jù)合并模塊用于在各個分布式節(jié)點(diǎn)將計算結(jié)果信息上報后將數(shù)據(jù)庫表中的數(shù)據(jù)合并。11、如權(quán)利要求IO所述分布式計算數(shù)據(jù)合并系統(tǒng)，其特征在于，所述數(shù)據(jù)合并服務(wù)器還包括計算結(jié)果統(tǒng)計模塊，用于判斷所述各個分布式節(jié)點(diǎn)是否全部將計算結(jié)果信息上報。12、如權(quán)利要求IO所述分布式計算數(shù)據(jù)合并系統(tǒng)，其特征在于，所述數(shù)據(jù)合并服務(wù)器還包括中間數(shù)據(jù)存儲模塊，用于在數(shù)據(jù)合并之前存儲數(shù)據(jù)庫表。13、一種數(shù)據(jù)合并服務(wù)器，其特征在于，包括數(shù)據(jù)庫表建立模塊和數(shù)據(jù)合并模塊，所述數(shù)據(jù)庫表建立模塊用于根據(jù)用戶設(shè)置的配置文件建立與所述配置文件對應(yīng)的數(shù)據(jù)庫表；所述數(shù)據(jù)合并模塊用于在各個分布式節(jié)點(diǎn)將計算結(jié)果信息上報后將數(shù)據(jù)庫表中的數(shù)據(jù)合并。14、如權(quán)利要求13所述數(shù)據(jù)合并服務(wù)器，其特征在于，還包括計算結(jié)果統(tǒng)計模塊，用于判斷所述各個分布式節(jié)點(diǎn)是否全部將計算結(jié)果信息上報。15、如權(quán)利要求13所述數(shù)據(jù)合并服務(wù)器，其特征在于，還包括中間數(shù)據(jù)存儲模塊，用于在數(shù)據(jù)合并之前存儲數(shù)據(jù)庫表。全文摘要本發(fā)明公開了一種分布式計算數(shù)據(jù)合并方法，包括以下步驟根據(jù)分布式計算任務(wù)分割的情況設(shè)置配置文件；數(shù)據(jù)合并服務(wù)器將所述配置文件導(dǎo)入，并建立與所述配置文件對應(yīng)的數(shù)據(jù)庫表；各個分布式節(jié)點(diǎn)完成分布式計算任務(wù)后將計算結(jié)果信息插入所述數(shù)據(jù)庫表；所述數(shù)據(jù)合并服務(wù)器將數(shù)據(jù)庫表中的數(shù)據(jù)合并。通過本發(fā)明用戶只需要根據(jù)接口標(biāo)準(zhǔn)編寫配置文件，系統(tǒng)就會自動進(jìn)行數(shù)據(jù)合并，隱藏了分布式計算中的數(shù)據(jù)合并細(xì)節(jié)，減輕了用戶的工作量。文檔編號G06F17/30GK101276364SQ20071009099公開日2008年10月1日申請日期2007年3月30日優(yōu)先權(quán)日2007年3月30日發(fā)明者吳偉勛,李江華,松陳申請人:阿里巴巴公司