專利名稱：一種通用網(wǎng)絡(luò)數(shù)據(jù)包實(shí)時(shí)處理系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及網(wǎng)絡(luò)通訊，特別涉及網(wǎng)絡(luò)通訊數(shù)據(jù)包的數(shù)據(jù)包頭的處理。
背景技術(shù)：
由于IP網(wǎng)絡(luò)環(huán)境的開放性以及傳統(tǒng)網(wǎng)絡(luò)對(duì)于涉及是對(duì)于安全性能檢測(cè)、網(wǎng) 絡(luò)性能檢測(cè)問(wèn)題缺乏周詳考慮，致使我們無(wú)法適時(shí)了解網(wǎng)絡(luò)是否安全、性能是 否良好，網(wǎng)絡(luò)的運(yùn)行狀態(tài)是否良好。
為了解決這一難題，現(xiàn)在通行的辦法就是，通過(guò)設(shè)計(jì)網(wǎng)絡(luò)分析軟件分析由 采集設(shè)備(即采集設(shè)備)采集的目標(biāo)網(wǎng)絡(luò)的數(shù)據(jù)包，從而判斷被分析目標(biāo)網(wǎng)絡(luò) 的運(yùn)行狀況是否良好，是否安全，性能是否滿足要求。
然而，不同的采集設(shè)備的驅(qū)動(dòng)程序是不同的，采集到的數(shù)據(jù)包的格式有很 大的差別，幾乎是每一個(gè)采集設(shè)備都需要一專門為它量身定制的網(wǎng)絡(luò)分析軟件。
隨著對(duì)于網(wǎng)絡(luò)分析的需求多元化，專門化，采集設(shè)備也更加多樣化，專門
化。現(xiàn)在主流網(wǎng)卡為10M/100M/1000M以太網(wǎng)卡，無(wú)線網(wǎng)卡，而且還有很多廠 家生產(chǎn)的專門的采集設(shè)備如PCI數(shù)據(jù)采集卡，USB數(shù)據(jù)采集卡，PC104數(shù)據(jù)采集 卡。為了設(shè)計(jì)網(wǎng)絡(luò)分析軟件的成本越來(lái)越龐大。作為個(gè)人、企業(yè)、甚至一個(gè)國(guó) 家都無(wú)法承受不斷膨脹的研發(fā)成本。而且，隨著網(wǎng)絡(luò)分析軟件的種類多元化、 手段多樣化。而且使得網(wǎng)絡(luò)分析標(biāo)準(zhǔn)更加難以統(tǒng)一，使用戶無(wú)法了解目標(biāo)網(wǎng)路 的真實(shí)狀況，致使網(wǎng)絡(luò)分析軟件的使用價(jià)值大打折扣。
為了克服這些技術(shù)難題，增強(qiáng)網(wǎng)絡(luò)分析軟件的實(shí)用性?，F(xiàn)有的網(wǎng)絡(luò)數(shù)據(jù)分析軟件能支持現(xiàn)有的通行的采集設(shè)備，在一定程度上緩解研發(fā)成本的壓力。但 是市面上的網(wǎng)絡(luò)分析軟件仍然沒(méi)有克服實(shí)時(shí)支持采集設(shè)備的有限性，無(wú)法支持 專門采集設(shè)備，更沒(méi)有支持將來(lái)出現(xiàn)的采集設(shè)備的準(zhǔn)備。所以為了實(shí)時(shí)分析專 用的采集設(shè)備或者將來(lái)的采集設(shè)備采集的數(shù)據(jù)，還是需要專門編寫網(wǎng)絡(luò)分析軟 件。沒(méi)有徹底根除網(wǎng)絡(luò)分析軟件開發(fā)成本的膨脹問(wèn)題，網(wǎng)絡(luò)分析標(biāo)準(zhǔn)統(tǒng)一化問(wèn) 題，也沒(méi)有明顯提高網(wǎng)絡(luò)分析軟件的應(yīng)用范圍和價(jià)值。
造成這種情況的主要原因在于1、不同采集設(shè)備采集的數(shù)據(jù)包數(shù)據(jù)包頭的 結(jié)構(gòu)不同。2網(wǎng)絡(luò)分析標(biāo)準(zhǔn)不同。3、同一數(shù)據(jù)包處理系統(tǒng)無(wú)法實(shí)時(shí)向多個(gè)網(wǎng)絡(luò) 分析軟件提供數(shù)據(jù)包。
所以研究一種系統(tǒng)和方法能將所有現(xiàn)存有的和將來(lái)的采集設(shè)備采集的數(shù)據(jù) 包，采用設(shè)備模塊化轉(zhuǎn)化通過(guò)對(duì)它們的數(shù)據(jù)包的數(shù)據(jù)包頭的格式，輸出統(tǒng)一格 式數(shù)據(jù)包頭的數(shù)據(jù)包，供給給同一網(wǎng)絡(luò)分析軟件進(jìn)行分析?？朔@兩大技術(shù)難 題，具有重大的現(xiàn)實(shí)意義和實(shí)用價(jià)值。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明的目的在于提供一種通用網(wǎng)絡(luò)數(shù)據(jù)包實(shí)時(shí)處理系統(tǒng)及方 法，使所有采集設(shè)備從目標(biāo)網(wǎng)絡(luò)中能夠釆集的數(shù)據(jù)包的數(shù)據(jù)包頭都可以進(jìn)行數(shù) 據(jù)包頭格式轉(zhuǎn)化，為同一套網(wǎng)絡(luò)分析軟件實(shí)時(shí)提供統(tǒng)一格式的數(shù)據(jù)包頭的數(shù)據(jù) 包。
本發(fā)明實(shí)現(xiàn)上述為使所有采集設(shè)備從目標(biāo)網(wǎng)絡(luò)中能夠采集的數(shù)據(jù)包的數(shù)據(jù) 包頭都可以進(jìn)行數(shù)據(jù)包頭格式轉(zhuǎn)化，為同一套網(wǎng)絡(luò)分析軟件實(shí)時(shí)提供統(tǒng)一格式 的數(shù)據(jù)包頭的數(shù)據(jù)包的系統(tǒng)方案它包括數(shù)據(jù)包采集模塊和網(wǎng)絡(luò)分析模塊，其 特征在于在數(shù)據(jù)包采集模塊與網(wǎng)絡(luò)分析模塊之間，嵌入有數(shù)據(jù)包格式轉(zhuǎn)化模塊和采集引擎模塊，其中數(shù)據(jù)包格式轉(zhuǎn)化模塊，該轉(zhuǎn)化模塊也由若干分別與采集 設(shè)備對(duì)應(yīng)的適配器設(shè)備模塊構(gòu)成，各適配器設(shè)備模塊將來(lái)自對(duì)應(yīng)的采集設(shè)備所
采集的數(shù)據(jù)包的數(shù)據(jù)包頭，轉(zhuǎn)化為統(tǒng)一格式的數(shù)據(jù)包頭；采集引擎模塊，由處 理線程、分配線程和過(guò)濾器構(gòu)成，其中，處理線程控制采集設(shè)備所采到的數(shù)據(jù) 包的數(shù)據(jù)包頭流向?qū)?yīng)的適配器設(shè)備模塊，分配線程控制由處理線程提取數(shù)據(jù) 包頭后剩下的數(shù)據(jù)信息和經(jīng)適配器設(shè)備模塊轉(zhuǎn)化的統(tǒng)一格式的數(shù)據(jù)包頭流向過(guò) 濾器，過(guò)濾器根據(jù)所需的過(guò)濾條件，過(guò)濾由分配線程輸送的數(shù)據(jù)，并將過(guò)濾所 得的符合條件的數(shù)據(jù)包傳輸給網(wǎng)絡(luò)分析模塊；數(shù)據(jù)包的處理進(jìn)程為數(shù)據(jù)包采集 模塊一采集引擎模塊一數(shù)據(jù)包格式轉(zhuǎn)化模塊—采集引擎模塊，最后，將符合過(guò) 濾條件的統(tǒng)一格式數(shù)據(jù)包頭與與之對(duì)應(yīng)的數(shù)據(jù)包的數(shù)據(jù)輸送給網(wǎng)絡(luò)分析模塊。
上述數(shù)據(jù)包采集模塊包含有原始數(shù)據(jù)包緩存器，各采集設(shè)備采集到的數(shù)據(jù) 包可暫存于原始數(shù)據(jù)包緩存器中，這樣可以實(shí)現(xiàn)網(wǎng)絡(luò)分析模塊成批量分析數(shù)據(jù) 包的功能。
上述數(shù)據(jù)包格式轉(zhuǎn)化模塊包含有數(shù)據(jù)包頭緩存器，各適配器設(shè)備模塊轉(zhuǎn)化 的統(tǒng)一格式的數(shù)據(jù)包頭可以暫存于數(shù)據(jù)包頭緩存器中，這樣更有利于實(shí)現(xiàn)網(wǎng)絡(luò) 分析模塊成批量分析數(shù)據(jù)包的功能。
上述采集設(shè)備包括10M/100M/1000M以太網(wǎng)卡，無(wú)線網(wǎng)卡，各種專用采集 卡等能采集數(shù)據(jù)包的設(shè)備。
上述適配器設(shè)備模塊與采集設(shè)備的對(duì)應(yīng)關(guān)系，是多對(duì)多的關(guān)系，由適配器 設(shè)備模塊指定其可以支持的采集設(shè)備以及數(shù)據(jù)包頭格式。 一個(gè)適配器設(shè)備模塊 可以支持一種采集設(shè)備，也可以支持多種采集設(shè)備。同一種采集設(shè)備可以被多 個(gè)適配器設(shè)備模塊支持，由用戶選擇使用哪個(gè)適配器設(shè)備模塊來(lái)獲取這種設(shè)備的網(wǎng)絡(luò)數(shù)據(jù)包。
上述統(tǒng)一格式的數(shù)據(jù)包頭是指各種數(shù)據(jù)包頭按照其數(shù)據(jù)包時(shí)間戳、數(shù)據(jù)包 長(zhǎng)度、數(shù)據(jù)包采集長(zhǎng)度、采集設(shè)備介質(zhì)和釆集設(shè)備編號(hào)處理后所形成的統(tǒng)一格 式。
上述轉(zhuǎn)化設(shè)備模塊包括太網(wǎng)卡適配器設(shè)備模塊，專用網(wǎng)絡(luò)采集卡適配器設(shè) 備模塊，無(wú)線網(wǎng)卡適配器設(shè)備模塊。
上述過(guò)濾器所需的過(guò)濾條件是指用戶根據(jù)自己的網(wǎng)絡(luò)分析軟件所能分析的 數(shù)據(jù)包的特性自定義，如數(shù)據(jù)包長(zhǎng)度、數(shù)據(jù)包的時(shí)間戳、采集設(shè)備編號(hào)、采集 介質(zhì)等數(shù)據(jù)包頭特性。
本發(fā)明實(shí)現(xiàn)上述系統(tǒng)的通用網(wǎng)絡(luò)數(shù)據(jù)包實(shí)時(shí)處理方法，它包括以下步驟
(a) 啟動(dòng)采集引擎模塊，載入適配器設(shè)備模塊，并將網(wǎng)絡(luò)分析模塊中的分配 模塊在與采集需要數(shù)據(jù)包的采集設(shè)備對(duì)應(yīng)的適配器設(shè)備模塊中進(jìn)行注冊(cè)；
(b) 己注冊(cè)適配器設(shè)備模塊對(duì)應(yīng)的采集設(shè)備經(jīng)采集弓I擎模塊啟動(dòng)后，采集各 自所在的目標(biāo)網(wǎng)絡(luò)中的數(shù)據(jù)包，并將采集到的數(shù)據(jù)包保存在原始數(shù)據(jù)包緩存器 中，設(shè)置事件屬性O(shè)N;
(C)采集引擎模塊啟動(dòng)處理線程，提取該數(shù)據(jù)包的數(shù)據(jù)包頭，輸送給該數(shù)據(jù) 包的采集設(shè)備對(duì)應(yīng)的適配器，該數(shù)據(jù)包的原始數(shù)據(jù)仍然保存在原始數(shù)據(jù)包緩存 器中，等待分配線程的調(diào)??；
(d) 各個(gè)配器設(shè)備模塊將對(duì)應(yīng)采集設(shè)備的采集數(shù)據(jù)包的數(shù)據(jù)包頭轉(zhuǎn)化成統(tǒng)一 格式的數(shù)據(jù)包頭，將統(tǒng)一格式的數(shù)據(jù)包頭保存在數(shù)據(jù)包頭部緩存器，并設(shè)置事 件屬性O(shè)FF;
(e) 停止處理線程，暫定運(yùn)行，等待調(diào)取下一個(gè)數(shù)據(jù)包；
8②啟動(dòng)分配線程，調(diào)取原始數(shù)據(jù)包緩存器中的該數(shù)據(jù)包的原始數(shù)據(jù)和數(shù)據(jù)
包頭部緩存器中的對(duì)應(yīng)的數(shù)據(jù)包頭；
(g) 將分配線程調(diào)取的該數(shù)據(jù)包的原始數(shù)據(jù)和數(shù)據(jù)包頭傳輸給過(guò)濾器，過(guò)濾 后，利用回調(diào)接口輸送給網(wǎng)絡(luò)分析模塊，并將事件屬性設(shè)定為ON;
(h) 檢測(cè)是否還有設(shè)為OFF屬性的事件，如果有，分配線程返回第(g)驟步; 如果沒(méi)有，分配線程暫定停，返回(c)步驟；
(i) 網(wǎng)絡(luò)分析模塊接到有新的數(shù)據(jù)需要分析時(shí)，就調(diào)取數(shù)據(jù)，進(jìn)行分析，并 通知數(shù)據(jù)包采集模塊再次采集數(shù)據(jù)包。
進(jìn)一步，所述方法的第(g)步，具體步驟如下
首先，調(diào)取原始數(shù)據(jù)包緩存器中的原始數(shù)據(jù)和對(duì)應(yīng)保存在數(shù)據(jù)包頭緩存器的 數(shù)據(jù)包頭；
接著，輸送給過(guò)濾器；
最后，篩選數(shù)據(jù)包，并利用回調(diào)接口給網(wǎng)絡(luò)分析模塊輸出符合條件的數(shù)據(jù)包。 本發(fā)明的系統(tǒng)及方法具有以下優(yōu)點(diǎn)
1、 數(shù)據(jù)包頭格式統(tǒng)一性。通過(guò)本系統(tǒng)對(duì)數(shù)據(jù)包的數(shù)據(jù)包頭的處理，網(wǎng)絡(luò)分 析軟件可以獲得具有統(tǒng)一格式的數(shù)據(jù)包頭的網(wǎng)絡(luò)數(shù)據(jù)包。
2、 批量處理。網(wǎng)絡(luò)分析軟件(即網(wǎng)絡(luò)分析模塊)可以實(shí)現(xiàn)成批分析在原始 數(shù)據(jù)包緩存器和數(shù)據(jù)包頭緩存器中的全部?jī)?nèi)容。
3、 操作簡(jiǎn)單。網(wǎng)絡(luò)分析軟件可以實(shí)時(shí)獲得來(lái)自多個(gè)采集設(shè)備采集的數(shù)據(jù) 包，只需要網(wǎng)絡(luò)分析軟件對(duì)應(yīng)的分配模塊向多個(gè)釆集設(shè)備對(duì)應(yīng)的設(shè)備模塊注冊(cè) 即可。
4、 開放性、擴(kuò)張性強(qiáng)。將來(lái)出現(xiàn)的新的采集設(shè)備，也只需根據(jù)采集設(shè)備的
9驅(qū)動(dòng)程序編寫出針對(duì)這個(gè)采集設(shè)備的數(shù)據(jù)包的數(shù)據(jù)包頭格式轉(zhuǎn)化的適配器設(shè)備
模塊并載入數(shù)據(jù)包格式轉(zhuǎn)化模塊中，即可使用同一套網(wǎng)絡(luò)分析軟件；根據(jù)用戶 的需要可以載入需要的適配器設(shè)備模塊或者卸載不需要的適配器設(shè)備模塊。
5、各模塊獨(dú)立強(qiáng)。本發(fā)明系統(tǒng)及方法采用模塊化方式設(shè)計(jì)，采集設(shè)備可以 獨(dú)立地采集數(shù)據(jù)包，不但可以啟動(dòng)指定的單一或者多個(gè)采集設(shè)備，而且特定的 采集設(shè)備啟動(dòng)或者關(guān)閉，并不影響其他采集設(shè)備的正常運(yùn)行。


圖1是現(xiàn)有網(wǎng)絡(luò)分析系統(tǒng)結(jié)構(gòu)示意圖 圖2是現(xiàn)有網(wǎng)絡(luò)分析系統(tǒng)另一結(jié)構(gòu)示意圖
圖3是采用本發(fā)明通用數(shù)據(jù)包處理系統(tǒng)的網(wǎng)絡(luò)分析系統(tǒng)結(jié)構(gòu)示意圖 其中圖中的1、2、3、4、n代表的采集設(shè)備，而lV2，/3，4Vn，分別代表1、2、3、4、n 所代表采集設(shè)備對(duì)應(yīng)的適配器設(shè)備模塊。
圖4是本發(fā)明通用數(shù)據(jù)包處理系統(tǒng)示意圖及流程圖
其中圖中的1、2、3、4、n代表的采集設(shè)備，而r/2，/3，4，/n，分別代表1、2、3、4、n 所代表采集設(shè)備對(duì)應(yīng)的適配器設(shè)備模塊。 圖5是本發(fā)明系統(tǒng)靜態(tài)結(jié)構(gòu)圖 圖6是本發(fā)明系統(tǒng)的線程活動(dòng)圖
圖7是本發(fā)明系統(tǒng)的數(shù)據(jù)包緩存與事件屬性設(shè)置同步運(yùn)行流程圖
具體實(shí)施例方式
為了是發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合說(shuō)明書附圖對(duì) 本發(fā)明作進(jìn)一步地詳細(xì)描述。
總的來(lái)說(shuō)，本發(fā)明的工作原理在于(1)提供一個(gè)開放性的系統(tǒng)，用戶能自主載入適配器設(shè)備模塊，利用適配器設(shè)備模塊對(duì)該適配器設(shè)備模塊對(duì)應(yīng)的采 集設(shè)備采集的數(shù)據(jù)包的數(shù)據(jù)包頭進(jìn)行處理，轉(zhuǎn)化成統(tǒng)一格式的數(shù)據(jù)包頭，然后
通過(guò)過(guò)濾器，對(duì)數(shù)據(jù)包進(jìn)行分流，提供給網(wǎng)絡(luò)分析軟件，進(jìn)行分析處理。(2) 采集設(shè)備和適配器設(shè)備模塊構(gòu)成多對(duì)多的對(duì)應(yīng)關(guān)系，可實(shí)現(xiàn)多個(gè)采集設(shè)備同時(shí) 采集數(shù)據(jù)包，特定的設(shè)備啟動(dòng)或者關(guān)閉，并不影響其他設(shè)備的正常運(yùn)行。(3) 網(wǎng)絡(luò)分析軟件需要實(shí)時(shí)獲得來(lái)自多個(gè)采集設(shè)備采集的數(shù)據(jù)包時(shí)，只需要網(wǎng)絡(luò)分 析模塊的分配模塊向多個(gè)采集設(shè)備的適配器設(shè)備模塊注冊(cè)即可。所謂，網(wǎng)絡(luò)分 析模塊的分配模塊，為網(wǎng)絡(luò)分析模塊中調(diào)取，輸送數(shù)據(jù)包的線程。
下面將參照說(shuō)明書附圖，說(shuō)明本發(fā)明的一個(gè)實(shí)施例。為了使本技術(shù)方案更 于理解，在描述本發(fā)明所采用通用數(shù)據(jù)包格式轉(zhuǎn)化技術(shù)之前，需要對(duì)傳統(tǒng)情況 下網(wǎng)絡(luò)分析系統(tǒng)的處理方式進(jìn)行說(shuō)明。
如圖1所示、對(duì)采集設(shè)備針對(duì)性設(shè)計(jì)的網(wǎng)絡(luò)分析軟件，雖然在能夠有效地 分析數(shù)據(jù)。但是，市場(chǎng)上的采集設(shè)備的多樣性，對(duì)于每個(gè)采集設(shè)備都專門編寫 一個(gè)網(wǎng)絡(luò)分析軟件，不但會(huì)重復(fù)很多工作，增加研發(fā)經(jīng)費(fèi)，增加用戶的使用成 本，而且還造成網(wǎng)絡(luò)分析手段不一，分析標(biāo)準(zhǔn)不統(tǒng)一。這些都嚴(yán)重限制了網(wǎng)絡(luò) 分析軟件的應(yīng)用范圍和使用價(jià)值。
如圖2所示，雖然在一定程度可以讓同一個(gè)網(wǎng)絡(luò)分析軟件，實(shí)時(shí)分析多個(gè) 采集設(shè)備采集的數(shù)據(jù)。但是有的特殊的專門數(shù)據(jù)采集卡，現(xiàn)行的這種類型的網(wǎng) 絡(luò)分析軟件還沒(méi)有辦法支持，更何況將來(lái)的采集設(shè)備呢？即使全部支持了，因 為這種系統(tǒng)的構(gòu)造沒(méi)有一個(gè)數(shù)據(jù)處理模塊，將會(huì)導(dǎo)致，數(shù)據(jù)線程輸送的擁堵， 嚴(yán)重影響網(wǎng)絡(luò)分析的效率。
本發(fā)明的重點(diǎn)如圖3所示，即在于在采集設(shè)備模塊和網(wǎng)絡(luò)分析模塊之間，嵌入通用數(shù)據(jù)包格式轉(zhuǎn)化模塊和采集引擎模塊。其中數(shù)據(jù)包格式轉(zhuǎn)化模塊，由 若干分別與采集設(shè)備對(duì)應(yīng)的適配器設(shè)備模塊構(gòu)成，各適配器設(shè)備模塊將來(lái)自對(duì) 應(yīng)的采集設(shè)備所采集的數(shù)據(jù)包的數(shù)據(jù)包頭，轉(zhuǎn)化為統(tǒng)一格式的數(shù)據(jù)包頭，如來(lái) 自；如果數(shù)據(jù)包格式轉(zhuǎn)化模塊中沒(méi)有與采集設(shè)備對(duì)應(yīng)的適配器設(shè)備模塊可以采 用動(dòng)態(tài)方式載入"專門"與該采集設(shè)備對(duì)應(yīng)的適配器設(shè)備模塊即可。采集引擎 模塊由處理線程、分配線程和過(guò)濾器構(gòu)成，負(fù)責(zé)調(diào)度處理線程、分配線程和管 理過(guò)濾器過(guò)濾。在不改變數(shù)據(jù)包里面數(shù)據(jù)的情況下，調(diào)度處理線程提取數(shù)據(jù)包
頭，并將數(shù)據(jù)包頭輸送到對(duì)應(yīng)的適配器設(shè)備模塊；當(dāng)有事件屬性為OFF時(shí)，調(diào) 度分配線程調(diào)取處理線程調(diào)取數(shù)據(jù)包頭后留下的數(shù)據(jù)和統(tǒng)一格式的數(shù)據(jù)包頭， 并將它們輸送給過(guò)濾器；通過(guò)過(guò)濾器的過(guò)濾分流，輸出符合要求的數(shù)據(jù)包，利 用回調(diào)接口供給網(wǎng)絡(luò)分析模塊分析。
通過(guò)采集引擎模塊的處理線程對(duì)數(shù)據(jù)包頭流向的控制，將數(shù)據(jù)包頭輸送到 對(duì)應(yīng)的適配器設(shè)備模塊，該適配器設(shè)備模塊對(duì)數(shù)據(jù)包頭格式的統(tǒng)一化處理，為 網(wǎng)絡(luò)分析軟件提供了統(tǒng)一格式的數(shù)據(jù)包頭的數(shù)據(jù)。從而實(shí)現(xiàn)了本發(fā)明的目的。 同時(shí)實(shí)現(xiàn)了同一套網(wǎng)絡(luò)分析軟件支持所有采集設(shè)備，實(shí)現(xiàn)了分析標(biāo)準(zhǔn)的統(tǒng)一 ， 分析手段的同一的目的。而且操作簡(jiǎn)單，如果網(wǎng)絡(luò)分析軟件需要實(shí)時(shí)獲得哪些 采集設(shè)備采集的數(shù)據(jù)包，只需要網(wǎng)絡(luò)分析軟件的分配模塊向相應(yīng)的采集設(shè)備對(duì) 應(yīng)的適配器設(shè)備模塊注冊(cè)即可。
具體的說(shuō)，如圖3所示，本實(shí)施例的通用數(shù)據(jù)包處理系統(tǒng)包含采集設(shè)備模 塊、數(shù)據(jù)包格式轉(zhuǎn)化模塊、采集引擎模塊和網(wǎng)絡(luò)分析模塊。
其中，采集設(shè)備模塊用于采集目標(biāo)網(wǎng)絡(luò)中的數(shù)據(jù)包。通用數(shù)據(jù)包格式轉(zhuǎn)化 模塊用于數(shù)據(jù)包頭的轉(zhuǎn)化，實(shí)現(xiàn)數(shù)據(jù)包頭的格式統(tǒng)一化。采集引擎模塊用于調(diào)度處理線程、分配線程和管理過(guò)濾器過(guò)濾。網(wǎng)絡(luò)分析模塊，用于分析通用數(shù)據(jù) 包格式轉(zhuǎn)化模塊進(jìn)行統(tǒng)一格式轉(zhuǎn)化后的數(shù)據(jù)包。需要指出的是，通用數(shù)據(jù)包是 采集設(shè)備能采集到的所有數(shù)據(jù)包。
另一方面，根據(jù)本發(fā)明的原理，上述通用數(shù)據(jù)包格式轉(zhuǎn)化模塊，通過(guò)提取 數(shù)據(jù)包的數(shù)據(jù)包頭結(jié)構(gòu)，利用通用數(shù)據(jù)包格式轉(zhuǎn)化模塊中的"專門"的適配器 設(shè)備模塊對(duì)提取的數(shù)據(jù)包頭的格式進(jìn)行統(tǒng)一格式處理，并通過(guò)過(guò)濾器進(jìn)行篩選, 給網(wǎng)絡(luò)分析軟件提供統(tǒng)一格式的數(shù)據(jù)包。需要指出的是，通用數(shù)據(jù)包，為采集 設(shè)備在目標(biāo)網(wǎng)絡(luò)中采集的數(shù)據(jù)包；"專門"適配器設(shè)備模塊，為根據(jù)采集設(shè)備的 驅(qū)動(dòng)程序而編寫的，能將該采集設(shè)備采集的數(shù)據(jù)包的數(shù)據(jù)包頭的格式進(jìn)行統(tǒng)一 格式化處理。如果在現(xiàn)有的數(shù)據(jù)包格式轉(zhuǎn)化模塊中沒(méi)有針對(duì)某種采集設(shè)備的適 配器設(shè)備模塊時(shí)，用戶可以實(shí)時(shí)用動(dòng)態(tài)載入方式載入指定的適配器設(shè)備模塊。 這樣避免了現(xiàn)用分析軟件只能支持現(xiàn)有的某些采集設(shè)備的局限。在這種情況下， 任何采集設(shè)備采集的數(shù)據(jù)包都可以在數(shù)據(jù)包格式轉(zhuǎn)化模塊中得到統(tǒng)一格式數(shù)據(jù) 包結(jié)構(gòu)的轉(zhuǎn)化。這樣避免了針對(duì)采集設(shè)備進(jìn)行專門設(shè)計(jì)網(wǎng)絡(luò)分析軟件的局限， 只需要設(shè)計(jì)一套能都分析某種數(shù)據(jù)包包頭結(jié)構(gòu)的分析軟件即可。
由此可見(jiàn)，通過(guò)采用"專門"的適配器設(shè)備模塊轉(zhuǎn)化與之對(duì)應(yīng)的采集設(shè)備 采集的數(shù)據(jù)包的數(shù)據(jù)包頭格式，又通過(guò)分配線程將數(shù)據(jù)和統(tǒng)一格式的數(shù)據(jù)包頭， 輸送給過(guò)過(guò)濾器，過(guò)濾分流后，輸送給網(wǎng)絡(luò)分析模塊需要分析。在這種情況下， 如果出現(xiàn)不支持的集設(shè)備時(shí)，用戶只需要設(shè)計(jì)專門的適配器設(shè)備模塊，載入通 用數(shù)據(jù)包格式轉(zhuǎn)化模塊中即可，擴(kuò)大了網(wǎng)絡(luò)分析軟件的實(shí)用范圍，提升了網(wǎng)絡(luò) 分析軟件的成長(zhǎng)空間，大大節(jié)約了網(wǎng)絡(luò)分析軟件的研發(fā)成本。
下面繼續(xù)結(jié)合圖4具體描述，系統(tǒng)的運(yùn)行流程。
13如圖四所示，首先通過(guò)網(wǎng)絡(luò)分析模塊或者用戶界面手動(dòng)啟動(dòng)通用數(shù)據(jù)包格
式轉(zhuǎn)化模塊中的采集引擎模塊；
第二步，通過(guò)采集引擎模塊載入或者卸載指定適配器設(shè)備模塊，為采集設(shè) 備采集的設(shè)備采集的數(shù)據(jù)包提供數(shù)據(jù)包頭轉(zhuǎn)化為統(tǒng)一格式提供平臺(tái)。當(dāng)出現(xiàn)， 某采集設(shè)備種數(shù)據(jù)包格式轉(zhuǎn)化模塊中沒(méi)有對(duì)應(yīng)的適配器設(shè)備模塊時(shí)，可以根據(jù) 該采集設(shè)備的驅(qū)動(dòng)程序，專門編寫適配器設(shè)備模塊，并載入數(shù)據(jù)包格式轉(zhuǎn)化模 塊中，即可循環(huán)使用；
第三步，采集設(shè)備是否正常；
第四步，啟動(dòng)采集設(shè)備，開始采集數(shù)據(jù)包。該系統(tǒng)不到可以啟動(dòng)某一個(gè)指 定的采集設(shè)備，而且還可以啟動(dòng)同時(shí)啟動(dòng)多個(gè)采集設(shè)備。同時(shí)，對(duì)于特定采集 設(shè)備的關(guān)閉，也不影響其他采集設(shè)備的正常采集；
第五步，提取數(shù)據(jù)包頭，各適配器設(shè)備模塊各自轉(zhuǎn)化來(lái)自各自對(duì)應(yīng)的采集 設(shè)備的數(shù)據(jù)包頭；
第六步，通過(guò)過(guò)濾器的過(guò)濾分流，向網(wǎng)絡(luò)分析軟件提供新的分析數(shù)據(jù)包。 當(dāng)多個(gè)采集設(shè)備同時(shí)采集設(shè)備時(shí)，可以利用原始數(shù)據(jù)包緩存器和數(shù)據(jù)包頭緩存 器將多個(gè)設(shè)備采集的數(shù)據(jù)包匯聚在一起提供給網(wǎng)絡(luò)分析軟件。也可以根據(jù)網(wǎng)絡(luò) 分析軟件的要求只提供某個(gè)特定設(shè)備采集的數(shù)據(jù)包； 第七步，關(guān)閉采集設(shè)備，停止數(shù)據(jù)包采集； 第八步，釋放所有適配器設(shè)備模塊，并關(guān)閉采集引擎模塊。 下面結(jié)合圖5、圖6具體描述實(shí)現(xiàn)本發(fā)明系統(tǒng)通用數(shù)據(jù)包處理方法。 如圖5所示，首先啟動(dòng)采集引擎模塊，載入適配器設(shè)備模塊，并將網(wǎng)絡(luò)分 析模塊的分配模塊向所需采集數(shù)據(jù)包的采集設(shè)備對(duì)應(yīng)的適配器設(shè)備模塊注冊(cè)，
14比如如果網(wǎng)絡(luò)分析模塊需要以太網(wǎng)卡、專用網(wǎng)絡(luò)采集卡和無(wú)線網(wǎng)卡釆集的數(shù)據(jù) 包，網(wǎng)絡(luò)分析模塊就分別在以太網(wǎng)卡適配器設(shè)備模塊、專用網(wǎng)絡(luò)采集卡適配器 設(shè)備模塊、無(wú)線網(wǎng)卡適配器設(shè)備模塊中注冊(cè)，如果數(shù)據(jù)包格式轉(zhuǎn)化模塊中沒(méi)有 專用網(wǎng)絡(luò)采集卡對(duì)應(yīng)的專用網(wǎng)絡(luò)采集卡適配器設(shè)備模塊時(shí)，用戶只需載入專用 網(wǎng)絡(luò)采集卡適配器設(shè)備模塊后，網(wǎng)絡(luò)分析模塊的分配模塊再在專用網(wǎng)絡(luò)采集卡 適配器設(shè)備模塊中注冊(cè)；
第二步，通過(guò)各個(gè)采集設(shè)備采集數(shù)據(jù)包，將采集的數(shù)據(jù)包保存在原始數(shù)據(jù) 包緩存器中，并設(shè)置事件屬性為ON，等待分配線程的調(diào)用(如圖6所示)；
第三步，啟動(dòng)處理線程，如圖六所示，處理線程提取原始數(shù)據(jù)包緩存器中 的數(shù)據(jù)包的數(shù)據(jù)包頭，并輸送給采集該數(shù)據(jù)包的采集設(shè)備對(duì)應(yīng)的適配器設(shè)備模 塊，如太網(wǎng)卡對(duì)應(yīng)的是以太網(wǎng)卡適配器設(shè)備模塊，專用網(wǎng)絡(luò)采集卡對(duì)應(yīng)的是專 用網(wǎng)絡(luò)釆集卡適配器設(shè)備模塊；
第四步，采集該數(shù)據(jù)包的采集設(shè)備對(duì)應(yīng)的適配器設(shè)備模塊，如太網(wǎng)卡對(duì)應(yīng) 的是以太網(wǎng)卡適配器設(shè)備模塊，將該數(shù)據(jù)包頭進(jìn)行格式轉(zhuǎn)化，形成統(tǒng)一格式的 數(shù)據(jù)包頭結(jié)構(gòu)，并將統(tǒng)一格式的數(shù)據(jù)包頭保存在數(shù)據(jù)包頭緩存器中，設(shè)置處理 事件設(shè)為OFF (如圖6所示)，等待分配線程的調(diào)用；
第五步，啟動(dòng)分配線程，從原始數(shù)據(jù)包緩存器和數(shù)據(jù)包頭緩存器中分別調(diào) 取原始數(shù)據(jù)包和統(tǒng)一格式的數(shù)據(jù)包頭，并輸送給過(guò)濾器，設(shè)置事件屬性為ON(如 圖6所示)；
第六步，檢測(cè)是否還有屬性為OFF的事件，如果有返回第五步，如果沒(méi)有 返回第三步；
第七步，啟動(dòng)過(guò)濾器，將數(shù)據(jù)包和數(shù)據(jù)包頭一起過(guò)濾，對(duì)數(shù)據(jù)包進(jìn)行分流，輸送給網(wǎng)絡(luò)分析模塊。通過(guò)過(guò)濾條件的設(shè)定，可以只向網(wǎng)絡(luò)分析軟件提供某個(gè) 特定的數(shù)據(jù)包采集的數(shù)據(jù)，也可以當(dāng)多個(gè)采集設(shè)備同時(shí)采集設(shè)備時(shí)，可以利用 原始數(shù)據(jù)包緩存器和數(shù)據(jù)包頭緩存器將多個(gè)設(shè)備采集的數(shù)據(jù)包匯聚在一起提供 給網(wǎng)絡(luò)分析軟件。也可以根據(jù)網(wǎng)絡(luò)分析軟件的要求只提供某個(gè)特定設(shè)備采集的 數(shù)據(jù)包；
第八步，網(wǎng)絡(luò)分析模塊分析數(shù)據(jù)包，分析完成后通知采集設(shè)備繼續(xù)采集數(shù) 據(jù)包。
由此可見(jiàn)，通過(guò)利用采集引擎模塊對(duì)線程輸送的調(diào)度、過(guò)濾器和所有適配 器設(shè)備模塊管理，克服了以往在網(wǎng)絡(luò)數(shù)據(jù)包處理的固有缺陷。具體來(lái)說(shuō)，不但 可以根據(jù)用戶的需要自主載入、卸載，而且還可以通過(guò)設(shè)置處理事件的屬性， 實(shí)現(xiàn)對(duì)分配線程和處理線程的調(diào)度運(yùn)行，從而實(shí)現(xiàn)本方法的可循環(huán)性、可重復(fù) 性。多線程技術(shù)可以充分利用多核CPU的優(yōu)勢(shì)，使采集、分配和分析并發(fā)進(jìn)行， 從而提高了整個(gè)系統(tǒng)的分析效率。過(guò)濾技術(shù)，通過(guò)對(duì)過(guò)濾器的設(shè)置，可以根據(jù) 用戶或者分網(wǎng)絡(luò)析軟件的要求，給網(wǎng)絡(luò)分析軟件提供特定的網(wǎng)絡(luò)數(shù)據(jù)。
雖然通過(guò)參照本發(fā)明的某些優(yōu)選實(shí)施例，已經(jīng)對(duì)本發(fā)明進(jìn)行了圖示和描述， 但是本領(lǐng)域的普通技術(shù)人員應(yīng)該明白，可以在形式上和細(xì)節(jié)山對(duì)其作各種各樣 的改變，而不偏離所附權(quán)利要求書所限定的本發(fā)明的精神和范圍。
權(quán)利要求
1、一種通用網(wǎng)絡(luò)數(shù)據(jù)包實(shí)時(shí)處理系統(tǒng)，它包括數(shù)據(jù)包采集模塊和網(wǎng)絡(luò)分析模塊，其特征在于在數(shù)據(jù)包采集模塊與網(wǎng)絡(luò)分析模塊之間，嵌入有數(shù)據(jù)包格式轉(zhuǎn)化模塊和采集引擎模塊，其中數(shù)據(jù)包格式轉(zhuǎn)化模塊，由若干分別與采集設(shè)備對(duì)應(yīng)的適配器設(shè)備模塊構(gòu)成，各適配器設(shè)備模塊將來(lái)自對(duì)應(yīng)的采集設(shè)備所采集的數(shù)據(jù)包的數(shù)據(jù)包頭，轉(zhuǎn)化為統(tǒng)一格式的數(shù)據(jù)包頭；采集引擎模塊，由處理線程、分配線程和過(guò)濾器構(gòu)成，其中，處理線程控制采集設(shè)備所采到的數(shù)據(jù)包的數(shù)據(jù)包頭流向?qū)?yīng)的適配器模塊，分配線程控制由處理線程提取數(shù)據(jù)包頭后的原始網(wǎng)絡(luò)數(shù)據(jù)和經(jīng)適配器設(shè)備模塊轉(zhuǎn)化的統(tǒng)一格式的數(shù)據(jù)包頭流向過(guò)濾器，過(guò)濾器根據(jù)所設(shè)定的過(guò)濾條件，過(guò)濾由分配線程輸送的數(shù)據(jù)，并將過(guò)濾所得的符合條件的數(shù)據(jù)包實(shí)時(shí)傳輸給網(wǎng)絡(luò)分析模塊；數(shù)據(jù)包的處理進(jìn)程為數(shù)據(jù)包采集模塊→采集引擎模塊→數(shù)據(jù)包格式轉(zhuǎn)化模塊→采集引擎模塊，最后，采集引擎模塊中的過(guò)濾器將符合過(guò)濾條件的統(tǒng)一格式數(shù)據(jù)包頭與與之對(duì)應(yīng)的數(shù)據(jù)包的數(shù)據(jù)利用回調(diào)接口輸送給網(wǎng)絡(luò)分析模塊。
2、 根據(jù)權(quán)利要求1所述系統(tǒng)，其特征在于數(shù)據(jù)包采集模塊，該數(shù)據(jù)包采集 模塊由若干采集設(shè)備構(gòu)成，在采集引擎模塊的選擇下啟動(dòng)，所啟動(dòng)的采集設(shè)備 采集各自所在的目標(biāo)網(wǎng)絡(luò)中的數(shù)據(jù)包。
3、 根據(jù)權(quán)利要求2所述系統(tǒng)，其特征在于數(shù)據(jù)包采集模塊包含有原始數(shù)據(jù) 包緩存器，各采集設(shè)備采集到的數(shù)據(jù)包可暫存于原始數(shù)據(jù)包緩存器中。
4、 根據(jù)權(quán)利要求1所述系統(tǒng)，其特征在于數(shù)據(jù)包格式轉(zhuǎn)化模塊包含有數(shù)據(jù) 包頭緩存器，各適配器設(shè)備模塊轉(zhuǎn)化的統(tǒng)一格式的數(shù)據(jù)包頭可以暫存于數(shù)據(jù)包 頭緩存器中。
5、 根據(jù)權(quán)利要求1所述系統(tǒng)，其特征在于采集設(shè)備包括10M/100M/1000M 以太網(wǎng)卡，無(wú)線網(wǎng)卡，各種專用采集卡等。
6、 根據(jù)權(quán)利要求1所述系統(tǒng)，其特征在于統(tǒng)一格式的數(shù)據(jù)包頭是指各種數(shù) 據(jù)包頭按照其數(shù)據(jù)包時(shí)間戳、數(shù)據(jù)包長(zhǎng)度、數(shù)據(jù)包采集長(zhǎng)度、采集設(shè)備介質(zhì)和 采集設(shè)備編號(hào)處理后所形成的統(tǒng)一格式。
7、 根據(jù)權(quán)利要求1所述系統(tǒng)，其特征在于轉(zhuǎn)化設(shè)備模塊包括以太網(wǎng)卡適配 器設(shè)備模塊，專用網(wǎng)絡(luò)采集網(wǎng)卡適配器設(shè)備模塊，無(wú)線網(wǎng)卡適配器設(shè)備模塊。
8、 根據(jù)權(quán)利要求1所述系統(tǒng)，其特征在于為過(guò)濾器所需的過(guò)濾條件是指用 戶根據(jù)自己的網(wǎng)絡(luò)分析軟件所能分析的數(shù)據(jù)包的特性自定義，如數(shù)據(jù)包長(zhǎng)度、 數(shù)據(jù)包的時(shí)間戳等。
9、 一種實(shí)現(xiàn)權(quán)利要求l所述系統(tǒng)的通用網(wǎng)絡(luò)數(shù)據(jù)包實(shí)時(shí)處理方法，其特征 在于它包括以下步驟-(a) 啟動(dòng)采集引擎模塊，載入適配器設(shè)備模塊，并將網(wǎng)絡(luò)分析模塊中的分配模 塊在與采集需要數(shù)據(jù)包的采集設(shè)備對(duì)應(yīng)的適配器設(shè)備模塊中進(jìn)行注冊(cè)；(b) 已注冊(cè)適配器設(shè)備模塊對(duì)應(yīng)的采集設(shè)備經(jīng)采集引擎模塊啟動(dòng)后，各自采集 目標(biāo)網(wǎng)絡(luò)中的數(shù)據(jù)包，并將采集到的數(shù)據(jù)包保存在原始數(shù)據(jù)包緩存器中，設(shè)置 事件屬性O(shè)N;(c) 采集引擎模塊啟動(dòng)處理線程，提取該數(shù)據(jù)包的數(shù)據(jù)包頭，輸送給該數(shù)據(jù)包 的采集設(shè)備對(duì)應(yīng)的適配器，該數(shù)據(jù)包的原始數(shù)據(jù)仍然保存在原始數(shù)據(jù)包緩存器 中，等待分配線程的調(diào)取；(d) 各個(gè)配器設(shè)備模塊將對(duì)應(yīng)采集設(shè)備的采集數(shù)據(jù)包的數(shù)據(jù)包頭轉(zhuǎn)化成統(tǒng)一 格式的數(shù)據(jù)包頭，將統(tǒng)一格式的數(shù)據(jù)包頭保存在數(shù)據(jù)包頭部緩存器，并設(shè)置事件屬性O(shè)FF;(e)停止處理線程，暫停運(yùn)行，等待調(diào)取下一批數(shù)據(jù)包；①啟動(dòng)分配線程，調(diào)取原始數(shù)據(jù)包緩存器中的該數(shù)據(jù)包的原始數(shù)據(jù)和數(shù)據(jù)包 頭部緩存器中的對(duì)應(yīng)的數(shù)據(jù)包頭；(g) 將分配線程調(diào)取的該數(shù)據(jù)包的原始數(shù)據(jù)和數(shù)據(jù)包頭傳輸給過(guò)濾器，過(guò)濾 后，利用回調(diào)接口輸送給網(wǎng)絡(luò)分析模塊，并將事件屬性設(shè)定為ON;(h) 檢測(cè)是否還有設(shè)為OFF屬性的事件，如果有，分配線程返回第(g)驟步； 如果沒(méi)有，分配線程暫停，返回(C)步驟；(i) 網(wǎng)絡(luò)分析模塊接到有新的數(shù)據(jù)需要分析時(shí)，就調(diào)取數(shù)據(jù)，進(jìn)行分析，并通 知采集設(shè)備再次采集數(shù)據(jù)包。
10、根據(jù)權(quán)利要求9所述方法，其第(g)步驟，具體包括以下步驟 首先，調(diào)取原始數(shù)據(jù)包緩存器中的剩下的數(shù)據(jù)和對(duì)應(yīng)保存在數(shù)據(jù)包頭緩存器 的數(shù)據(jù)包頭；接著，輸送給過(guò)濾器；最后，篩選數(shù)據(jù)包，并利用回調(diào)接口給網(wǎng)絡(luò)分析模塊輸出符合條件的數(shù)據(jù)。
全文摘要
本發(fā)明公開了一種通用網(wǎng)絡(luò)數(shù)據(jù)包處理系統(tǒng)及方法，其主要特點(diǎn)在于在數(shù)據(jù)包采集模塊與網(wǎng)絡(luò)分析模塊之間，嵌入有數(shù)據(jù)包格式轉(zhuǎn)化模塊和采集引擎模塊，其中數(shù)據(jù)包格式轉(zhuǎn)化模塊把各種格式的數(shù)據(jù)包頭轉(zhuǎn)化成統(tǒng)一格式的數(shù)據(jù)包頭，采集引擎模塊，用于調(diào)度處理線程、分配線程和管理所有適配器模塊和過(guò)濾器的運(yùn)作。從而使本發(fā)明實(shí)現(xiàn)了數(shù)據(jù)包頭格式統(tǒng)一化、數(shù)據(jù)成批量處理化、網(wǎng)絡(luò)分析高效率化、操作簡(jiǎn)單化，同時(shí)它還具有開放性、擴(kuò)張性和各模塊獨(dú)立性的優(yōu)點(diǎn)。
文檔編號(hào)H04L12/56GK101567845SQ20091005908
公開日2009年10月28日 申請(qǐng)日期2009年4月27日 優(yōu)先權(quán)日2009年4月27日
發(fā)明者伍宏寧 申請(qǐng)人:成都科來(lái)軟件有限公司