專利名稱：海量數(shù)據(jù)大規(guī)模并行處理中基于數(shù)據(jù)流的負(fù)載均衡方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于海量數(shù)據(jù)實時處理的基于數(shù)據(jù)流的負(fù)載均衡方法或一種負(fù)載均衡器，尤其是涉及電信運營商大規(guī)模并行準(zhǔn)確數(shù)據(jù)處理應(yīng)用方法。
背景技術(shù)：
隨著通信業(yè)務(wù)的不斷迅速發(fā)展，話務(wù)量急劇增加，目前的電信計費結(jié)算系統(tǒng)通常每個月需要處理十幾億甚至幾十億條記錄，在這種情況下，對數(shù)據(jù)處理的及時性要求越來越高。如何在利用最少的資源的前提下提高系統(tǒng)的處理效率，是每個業(yè)務(wù)支撐系統(tǒng)考慮的重點之一。
由于不同交換機上采集的話單文件的大小不一樣，每個通道在每條話單記錄處理所需要的時間也不相同，因此系統(tǒng)要考慮每個通道的運行的均衡，保證系統(tǒng)的處理性能，以避免一個或幾個通道忙，其他通道閑置的狀態(tài)，使預(yù)處理和其他的功能模塊進行合理的、等負(fù)荷的運行。
CN03812802涉及數(shù)據(jù)網(wǎng)絡(luò)中的負(fù)載平衡裝置，該裝置包括用于對到來數(shù)據(jù)分組計算哈希函數(shù)的哈希邏輯；連接到所述哈希邏輯的閾值檢測器，用于響應(yīng)對下游對象超出預(yù)定閾值的使用，引發(fā)所述哈希邏輯中哈希函數(shù)的參數(shù)從第一組參數(shù)到第二組參數(shù)的重新規(guī)定，以在下游對象之間重新分布數(shù)據(jù)分組；隨后基于一種單獨的哈希計算的結(jié)果，而經(jīng)由從第一和第二路由選擇通路中選擇出的一條通路對分組進行路由選擇。
CN03810946用于控制通信系統(tǒng)中的數(shù)據(jù)流的方法和裝置，包括接收一確認(rèn)消息，表明目的地處數(shù)據(jù)分組的接收；確定與相應(yīng)的多個所述數(shù)據(jù)分組相關(guān)聯(lián)的多個所述確認(rèn)消息的延遲的統(tǒng)計均值和方差，其中所述延遲是發(fā)送所述數(shù)據(jù)分組和接收所述確認(rèn)之間的時間段；基于所述延遲的統(tǒng)計均值和方差來確定延遲時間；將所述接收確認(rèn)消息的傳遞延遲一時間段，該時間段等于所述所確定的延遲時間。
CN200410070070基于業(yè)務(wù)數(shù)據(jù)流計費的計費信息處理方法，該方法包括以下步驟傳輸面功能實體獲取計費配置信息，并根據(jù)計費配置信息生成計費信息，然后上報給計費功能實體。其中，傳輸面功能實體獲取計費配置信息可以是通過接收計費規(guī)則功能實體發(fā)送的計費規(guī)則，從中獲取計費配置信息，也可以是獲取配置在傳輸面功能實體自身的計費配置信息。
負(fù)載均衡器可以把數(shù)據(jù)按地區(qū)和業(yè)務(wù)劃分到多個通道進行處理，另外通道也可以分配到多臺主機上運行，分配方式是通過參數(shù)配置形式來設(shè)置的。

發(fā)明內(nèi)容
本發(fā)明的目的是提出一種基于數(shù)據(jù)流的負(fù)載均衡方法及均衡器。支持多對多目錄的均衡負(fù)載功能；支持單對多目錄的均衡負(fù)載功能；支持按文件大小均衡分配功能；提出一種負(fù)載均衡器把數(shù)據(jù)按地區(qū)和業(yè)務(wù)劃分到多個通道進行處理，另外通道也可以分配到多臺主機上運行，尤其是針對傳統(tǒng)處理方法雖然是多通道，但通道間的數(shù)據(jù)不均衡，導(dǎo)致一些通道長期空閑，但有些通道數(shù)據(jù)積壓太多，最后數(shù)據(jù)無法及時處理的問題而提出的。
本發(fā)明的技術(shù)方案是基于數(shù)據(jù)流的負(fù)載均衡方法，數(shù)據(jù)流的負(fù)載均衡是通過對輸出通道的數(shù)據(jù)流文件量參數(shù)檢測，通過對各輸出通道文件量的參數(shù)配置調(diào)節(jié)各通道的數(shù)據(jù)流文件。文件量現(xiàn)分二種文件的個數(shù)和文件的總大小。
具體而言1)根據(jù)配置的輸入通道，到輸入通道搜索文件；2)檢查配置的各輸出通道的文件量，當(dāng)某個通道的文件量較小(沒有達到配置的閾值)或者沒有時，將輸入通道的文件送到該輸出通道，直到該通道的文件量達到所配置的閾值；當(dāng)某個通道的文件量較大時，等待該通道處理；3)不停地循環(huán)檢查各輸出通道的文件量，實時地將文件送到各個文件量較小的通道。
本發(fā)明分配方式是通過參數(shù)配置形式來設(shè)置的。在搜索輸入通道文件的時候，如果文件沒有相應(yīng)的權(quán)限(后續(xù)模塊無法處理)，將文件移到錯誤文件目錄，并且實時告警。
基于數(shù)據(jù)流的負(fù)載均衡器技術(shù)主要功能是根據(jù)不同的交換機分為不同的交換機組，按照設(shè)定的文件過濾規(guī)則，以輪循的方式，輪流在輸入通道下搜索符合過濾條件的文件，以區(qū)別不同業(yè)務(wù)平臺。然后按照每個交換機組輸出通道里文件的大小或者是多少，找出文件數(shù)目最少或者文件總大小最小的一個通道，并和標(biāo)準(zhǔn)之間進行比較，將文件按照要求進行改名后向這個通道分發(fā)文件減小這樣的差別，直到該通道大于或者等于標(biāo)準(zhǔn)條件，接著繼續(xù)掃描輸出通道，找出符合條件的下一個輸出通道，改名并分發(fā)文件使得在每個時刻的每個交換機組的輸出通道能保持近似的負(fù)載均衡(文件總數(shù)目或者文件總大小滿足標(biāo)準(zhǔn)條件)，以確保系統(tǒng)的主線進程(預(yù)處理、計費結(jié)算)的各部分能均衡分擔(dān)任務(wù)，更高效地處理話單文件。
本發(fā)明的特點是支持多對多目錄的均衡負(fù)載功能；支持單對多目錄的均衡負(fù)載功能；支持按文件大小均衡分配功能；支持文件的壓縮、解壓縮功能；支持文件進行改名操作功能；提供與集中監(jiān)控的接口功能等。提出一種負(fù)載均衡器把數(shù)據(jù)按地區(qū)和業(yè)務(wù)劃分到多個通道進行處理，另外通道也可以分配到多臺主機上運行，分配方式是通過參數(shù)配置形式來設(shè)置，按這樣的方式能滿足高峰值海量數(shù)據(jù)處理的要求，對大容量的數(shù)據(jù)處理具有很強的實時能力和效率，并能使得系統(tǒng)的整體處理能力隨著業(yè)務(wù)的不斷發(fā)展而實現(xiàn)平滑的擴充，以高效、自動的“負(fù)載平衡動態(tài)調(diào)度”，使系統(tǒng)的并行處理達到最大的效率。
負(fù)載均衡器還可以根據(jù)各通道文件的大小和數(shù)目，同時檢測硬件的運行參數(shù)情況，結(jié)合文件的屬性要素和硬件資源的情況按規(guī)則進行優(yōu)化計算，按最優(yōu)算法分配每個通道進行負(fù)載均衡，保證每個通道的負(fù)載基本均衡和結(jié)算系統(tǒng)的實時、有效的運行，相關(guān)的配置可以通過邏輯表達式設(shè)定，靈活完成系統(tǒng)的動態(tài)功能。
本發(fā)明主要特點在于1、不管每個省、每個地市的各臺交換機數(shù)據(jù)量的差別有多大，都可以將各臺交換機上下下來的數(shù)據(jù)均衡到不同通道，及時處理；2、可以適當(dāng)減少處理通道，降低主機的能耗；3、不需要讀寫文件，處理速度很快；4、只需一個進程就可以均衡所有通道，能耗低；本發(fā)明基于數(shù)據(jù)流的負(fù)載均衡器技術(shù)采用構(gòu)件化設(shè)計思想進行設(shè)計。該技術(shù)可以作為獨立的可配置的應(yīng)用模塊存在于應(yīng)用平臺，通過文件接口的方式輸入輸出。該技術(shù)只要一個進程就可以支持多通道的均衡，能耗低。負(fù)載均衡器技術(shù)考慮了等異常情況下的及時告警。
功能描述 支持文件名稱的邏輯表達式動態(tài)搜索； 支持文件名稱的規(guī)則命名配置； 支持文件遺漏、重復(fù)的檢查； 硬件重要參數(shù)的實時數(shù)值； 支持多對多目錄的均衡負(fù)載功能； 支持單對多目錄的均衡負(fù)載功能； 支持按文件大小均衡分配功能； 支持文件的壓縮、解壓縮功能； 支持文件進行改名操作功能； 提供與集中監(jiān)控的接口功能； 對運行的過程和結(jié)果進行日志記錄等功能； API接口功能包括基本的信息輸出功能和本功能被其他模塊插入調(diào)用。
本發(fā)明的效果在電信計費系統(tǒng)的實際使用表明，采用基于數(shù)據(jù)流的負(fù)載均衡器技術(shù)比沒有使用負(fù)載均衡器的系統(tǒng)至少提高2.5倍以上的處理效率。


圖1是本發(fā)明方法與面向過程和面向數(shù)據(jù)的方法進行所費時間比較的示意2是本發(fā)明數(shù)據(jù)流的負(fù)載均衡過程的程序圖具體實施方式
基于數(shù)據(jù)流的負(fù)載均衡器技術(shù)主要采用輪流循環(huán)的算法，每次總是找出文件總數(shù)或文件數(shù)目最小的通道，然后向該通道分發(fā)文件，直到所有輸出通道達到文件總量滿足配置文件所設(shè)定的標(biāo)準(zhǔn)，保證了其后續(xù)進程能有近似均衡的負(fù)荷。
數(shù)據(jù)流的負(fù)載均衡器技術(shù)中的幾個關(guān)鍵對象類設(shè)計如下Schedule函數(shù)負(fù)載均衡部分主函數(shù)。
List函數(shù)搜索輸入通道下文件函數(shù)。
BatchMove函數(shù)向指定輸出通道下分發(fā)文件函數(shù)。
ChangeName函數(shù)將指定的文件改名后移動到指定通道。
可以利用上述程序(但不限于上述程序)實現(xiàn)下述步驟1)根據(jù)配置的輸入通道，到輸入通道搜索文件；檢查配置的各輸出通道的文件量，當(dāng)某個通道的文件量較小(沒有達到配置的閾值，閾值是一個配置在配置文件的標(biāo)志量，可以是文件的個數(shù)或者是文件的大小，如十個文件或500M的文件)或者沒有時，將輸入通道的文件送到該輸出通道，直到該通道的文件量達到所配置的閾值。當(dāng)某個通道的文件量較大時，繼續(xù)檢查下一個通道。同時等待該通道處理。
2)不停地循環(huán)檢查各輸出通道的文件量，當(dāng)輸出通道的文件個數(shù)或者文件的總共大小沒有達到配置的閾值時，實時地將文件送到各個文件量較小的通道。
3)在搜索輸入通道文件的時候，如果文件沒有相應(yīng)的權(quán)限(比如文件的讀權(quán)限，如果沒有讀權(quán)限，后續(xù)模塊無法處理)，將文件移到錯誤文件目錄，并且實時告警。錯誤文件不算流量。
數(shù)據(jù)流的負(fù)載均衡過程如圖2所示。
權(quán)利要求
1.基于數(shù)據(jù)流的負(fù)載均衡方法，其特征是數(shù)據(jù)流的負(fù)載均衡是通過對輸出通道的數(shù)據(jù)流文件量參數(shù)檢測，文件量現(xiàn)分二種文件的個數(shù)和文件的總大小，通過對各輸出通道文件量的參數(shù)配置調(diào)節(jié)各通道的數(shù)據(jù)流文件。
2.由權(quán)利要求1所述的基于數(shù)據(jù)流的負(fù)載均衡方法，其特征是1)根據(jù)配置的輸入通道，到輸入通道搜索數(shù)據(jù)流文件；2)檢查配置的各輸出通道的數(shù)據(jù)流文件量，當(dāng)某個通道的數(shù)據(jù)流文件量較小或者沒有時，即沒有達到配置的閾值，將輸入通道的數(shù)據(jù)流文件送到該輸出通道，直到該通道的文件量達到所配置的閾值；當(dāng)某個通道的文件量較大時，等待該通道處理；3)不停地循環(huán)檢查各輸出通道的文件量，實時地將文件送到各個文件量較小的通道。
3.由權(quán)利要求1所述的基于數(shù)據(jù)流的負(fù)載均衡方法，其特征是在搜索輸入通道文件的時候，如果文件沒有相應(yīng)的權(quán)限，將文件移到錯誤文件目錄，并且實時告警。
全文摘要
基于數(shù)據(jù)流的負(fù)載均衡方法，數(shù)據(jù)流的負(fù)載均衡是通過對輸出通道的數(shù)據(jù)流文件量參數(shù)檢測，文件量現(xiàn)分二種文件的個數(shù)和文件的總大小，通過對各輸出通道文件量的參數(shù)配置調(diào)節(jié)各通道的數(shù)據(jù)流文件。尤其是1)根據(jù)配置的輸入通道，到輸入通道搜索數(shù)據(jù)流文件；2)檢查配置的各輸出通道的數(shù)據(jù)流文件量，當(dāng)某個通道的數(shù)據(jù)流文件量較小或者沒有時，將輸入通道的數(shù)據(jù)流文件送到該輸出通道，直到該通道的文件量達到所配置的閾值；當(dāng)某個通道的文件量較大時，等待該通道處理；3)不停地循環(huán)檢查各輸出通道的文件量，實時地將文件送到各個文件量較小的通道。
文檔編號G06F13/42GK1870598SQ20061008576
公開日2006年11月29日 申請日期2006年6月30日 優(yōu)先權(quán)日2006年6月30日
發(fā)明者邵九松, 黃誠, 王濤, 施大偉, 紀(jì)振華, 周仲華, 歐小祥, 周連華 申請人:南京聯(lián)創(chuàng)科技股份有限公司