專利名稱：一種基于tcp連接的網(wǎng)絡(luò)報(bào)文采樣系統(tǒng)和方法
一種基于tcp連接的網(wǎng)絡(luò)報(bào)文采樣系統(tǒng)和方法技術(shù)領(lǐng)域
本發(fā)明屬于網(wǎng)絡(luò)數(shù)據(jù)處理領(lǐng)域，具體講涉及一種基于tcp連接的網(wǎng)絡(luò)報(bào)文采樣系統(tǒng)和方法。
背景技術(shù)：
當(dāng)前的網(wǎng)絡(luò)數(shù)據(jù)處理系統(tǒng)需要對(duì)網(wǎng)絡(luò)上的報(bào)文進(jìn)行接收處理，在網(wǎng)絡(luò)流量很大的情況下，為降低系統(tǒng)負(fù)載，一般采用報(bào)文采樣的方法，也就是說，系統(tǒng)不接收所有報(bào)文，而是從所有報(bào)文中抽取一定量的報(bào)文進(jìn)行分析。
報(bào)文采樣往往是基于報(bào)文的，用統(tǒng)計(jì)報(bào)文計(jì)數(shù)的方法，按照一定的采樣比例，隨機(jī)采樣報(bào)文，比如從每10個(gè)報(bào)文中抽取一個(gè)報(bào)文進(jìn)行分析。但在實(shí)際應(yīng)用中，很多網(wǎng)絡(luò)數(shù)據(jù)分析工作不是針對(duì)單個(gè)報(bào)文的，而是針對(duì)tcp連接的。
專利號(hào)為ZL200910073048. 4、名稱為“一種用于異常檢測(cè)的自適應(yīng)網(wǎng)絡(luò)流量采樣方法”的發(fā)明披露了一種自適應(yīng)網(wǎng)絡(luò)流量采樣方法，利用統(tǒng)計(jì)報(bào)文計(jì)數(shù)的方法對(duì)傳輸?shù)臄?shù)據(jù)包報(bào)文進(jìn)行采樣，但這樣對(duì)報(bào)文進(jìn)行采樣往往會(huì)丟掉tcp連接中的某些報(bào)文，使tcp連接的數(shù)據(jù)不完整，導(dǎo)致在分析采樣數(shù)據(jù)時(shí)存在采樣數(shù)據(jù)有效性不高的問題。發(fā)明內(nèi)容
本發(fā)明的目的在于，提出一種基于tcp連接的網(wǎng)絡(luò)報(bào)文采樣系統(tǒng)和方法，可對(duì)報(bào)文進(jìn)行連續(xù)采集，提高采樣數(shù)據(jù)的有效性。
為實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于tcp連接的網(wǎng)絡(luò)報(bào)文采樣系統(tǒng)，所述報(bào)文采樣系統(tǒng)包括tcp報(bào)文判斷模塊、tcp標(biāo)識(shí)判斷模塊和采樣比例判斷模塊；其特征在于，與所述tcp標(biāo)識(shí)判斷模塊連接的tcp查找模塊，及所述tcp查找模塊和所述采樣比例判斷模塊分別與tcp管理表連接；所述tcp報(bào)文判斷模塊、所述tcp標(biāo)識(shí)判斷模塊和所述采樣比例判斷模塊依次連接。
本發(fā)明提供的優(yōu)選技術(shù)方案中，所述tcp連接管理表中的每個(gè)表項(xiàng)為標(biāo)識(shí)tcp連接的四元組結(jié)構(gòu)。
本發(fā)明提供的第二優(yōu)選技術(shù)方案中，所述tcp報(bào)文判斷模塊對(duì)輸入的報(bào)文是否是 tcp報(bào)文做出判斷，確定是按采樣比例隨機(jī)采樣，繼續(xù)處理下一個(gè)輸入報(bào)文還是將該報(bào)文傳輸?shù)絫cp標(biāo)識(shí)判斷模塊。
本發(fā)明提供的第三優(yōu)選技術(shù)方案中，所述tcp標(biāo)識(shí)判斷模塊判斷報(bào)文的tcp標(biāo)識(shí)， 確定將所述報(bào)文傳輸?shù)剿霾蓸颖壤袛嗄K還是將所述tcp報(bào)文傳輸?shù)剿鰐cp查找模塊。
本發(fā)明提供的第四優(yōu)選技術(shù)方案中，所述采樣比例判斷模塊判斷當(dāng)前采樣的數(shù)據(jù)量是否達(dá)到了系統(tǒng)預(yù)設(shè)的采樣比例，判斷是丟棄收到的報(bào)文，繼續(xù)處理下一個(gè)輸入報(bào)文，還是采樣收到的報(bào)文，并且提取出所述收到的報(bào)文的四元組結(jié)構(gòu)并傳輸?shù)剿鰐cp連接管理表中。
本發(fā)明提供的第五優(yōu)選技術(shù)方案中，所述四元組結(jié)構(gòu)包括源ip、目的ip、源端口和目的端口。
本發(fā)明提供的第六優(yōu)選技術(shù)方案中，所述tcp查找模塊在接到所述tcp標(biāo)識(shí)判斷模塊發(fā)出的tcp報(bào)文后，提取出該tcp報(bào)文的四元組結(jié)構(gòu)，并到所述tcp連接管理表中去查找是否有與所述提取的tcp報(bào)文相同的表項(xiàng)。
本發(fā)明提供的第七優(yōu)選技術(shù)方案中，提供一種基于tcp連接的網(wǎng)絡(luò)報(bào)文采樣方法，其改進(jìn)之處在于，所述網(wǎng)絡(luò)報(bào)文采樣方法包括如下步驟
(1)在報(bào)文采樣系統(tǒng)中建立一張tcp連接管理表；
(2)判斷輸入報(bào)文的類型，如該報(bào)文類型是TCP報(bào)文，則查看該報(bào)文的tcp標(biāo)識(shí)位； 否則按采樣比例隨機(jī)采樣，然后繼續(xù)處理下一個(gè)輸入報(bào)文；
(3)判斷報(bào)文的tcp標(biāo)識(shí)位，如果該tcp報(bào)文屬于新建的tcp連接的，則進(jìn)行步驟 4 ；如果該tcp報(bào)文屬于已建的tcp連接的數(shù)據(jù)報(bào)文，則進(jìn)行步驟5 ；如果該tcp報(bào)文屬于 tcp連接的關(guān)閉報(bào)文，則進(jìn)行步驟6 ；
(4)判斷當(dāng)前采樣的數(shù)據(jù)量是否達(dá)到了系統(tǒng)預(yù)設(shè)的采樣比例，如果達(dá)到了采樣比例，則丟棄收到的報(bào)文，繼續(xù)處理下一個(gè)輸入報(bào)文；否則采樣收到的報(bào)文，并且提取出所述收到的報(bào)文的四元組結(jié)構(gòu)，插入到所述tcp連接管理表中；
(5)提取出tcp報(bào)文的四元組結(jié)構(gòu)，到所述tcp連接管理表中去查找是否有與所述提取的tcp報(bào)文相同的表項(xiàng)，如果查找到了，則采樣該tcp報(bào)文；否則丟棄該tcp報(bào)文，繼續(xù)處理下一個(gè)輸入報(bào)文；
(6)提取出tcp報(bào)文的四元組結(jié)構(gòu)，到所述tcp連接管理表中去查找是否有與所述提取的tcp報(bào)文相同的表項(xiàng)；如果查找到了，則采樣該tcp報(bào)文，并從所述tcp連接管理表中刪除該tcp連接；否則丟棄該tcp報(bào)文，繼續(xù)處理下一個(gè)輸入報(bào)文。
與現(xiàn)有技術(shù)比，本發(fā)明提供的一種基于tcp連接的網(wǎng)絡(luò)報(bào)文采樣系統(tǒng)和方法，可在報(bào)文采樣系統(tǒng)中建立一張tcp連接管理表，管理tcp連接建立、傳輸、關(guān)閉的過程，通過 tcp連接管理表實(shí)現(xiàn)基于tcp連接的報(bào)文采樣；當(dāng)一個(gè)新的tcp連接被發(fā)現(xiàn)時(shí)，如果需要采樣，就把它在tcp連接表中管理起來，整個(gè)傳輸過程中所有的報(bào)文都采樣，直到連接關(guān)閉。 如果一個(gè)新發(fā)現(xiàn)的tcp連接不需要采樣，就不在tcp連接管理表中建立該tcp連接的選項(xiàng)，后繼報(bào)文全部丟棄；而且，避免了現(xiàn)有的報(bào)文采樣系統(tǒng)在對(duì)報(bào)文進(jìn)行采樣時(shí)往往會(huì)丟掉 tcp連接中的某些報(bào)文，使tcp連接的數(shù)據(jù)不完整，導(dǎo)致在分析采樣數(shù)據(jù)時(shí)存在采樣數(shù)據(jù)有效性不高的問題。


圖1為網(wǎng)絡(luò)報(bào)文采樣系統(tǒng)的結(jié)構(gòu)示意圖。
圖2為網(wǎng)絡(luò)報(bào)文采樣方法的流程圖。
具體實(shí)施方式
如圖1所示，基于tcp連接的網(wǎng)絡(luò)報(bào)文采樣系統(tǒng)，包括tcp報(bào)文判斷模塊、tcp標(biāo)識(shí)判斷模塊和采樣比例判斷模塊，與所述tcp標(biāo)識(shí)判斷模塊連接的tcp查找模塊，及分別與所述tcp查找模塊和所述采樣比例判斷模塊相連接的tcp連接管理表；所述tcp報(bào)文判斷4模塊、所述tcp標(biāo)識(shí)判斷模塊和所述采樣比例判斷模塊依次連接。
所述tcp連接管理表中的每個(gè)表項(xiàng)是標(biāo)識(shí)tcp連接的四元組結(jié)構(gòu)；所述四元組結(jié)構(gòu)包括源ip、目的ip、源端口和目的端口。所述tcp報(bào)文判斷模塊對(duì)輸入的報(bào)文是否是tcp 報(bào)文進(jìn)行判斷，判斷結(jié)果為“否”，則按采樣比例隨機(jī)采樣，然后繼續(xù)處理下一個(gè)輸入報(bào)文； 判斷結(jié)果為“是”，則將該報(bào)文傳輸?shù)絫cp標(biāo)識(shí)判斷模塊。所述tcp標(biāo)識(shí)判斷模塊可對(duì)tcp 報(bào)文的標(biāo)識(shí)進(jìn)行判斷，如果tcp標(biāo)識(shí)顯示所述tcp報(bào)文屬于新建的tcp連接，則將所述tcp 報(bào)文傳輸?shù)剿霾蓸颖壤袛嗄K；如果tcp標(biāo)識(shí)顯示所述tcp報(bào)文屬于已建的tcp連接的數(shù)據(jù)報(bào)文或者tcp連接的關(guān)閉報(bào)文，則將所述tcp報(bào)文傳輸?shù)剿鰐cp查找模塊。所述采樣比例判斷模塊判斷當(dāng)前采樣的數(shù)據(jù)量是否達(dá)到了系統(tǒng)預(yù)設(shè)的采樣比例，判斷結(jié)果為 “是”，則丟棄收到的報(bào)文，繼續(xù)處理下一個(gè)輸入報(bào)文；判斷結(jié)果為“否”，則采樣收到的報(bào)文， 并且提取出所述收到的報(bào)文的四元組結(jié)構(gòu)并傳輸?shù)剿鰐cp連接管理表中。所述tcp查找模塊在接到所述tcp標(biāo)識(shí)判斷模塊發(fā)出的tcp報(bào)文后，提取出該tcp報(bào)文的四元組結(jié)構(gòu)，并到所述tcp連接管理表中去查找是否有與所述提取的tcp報(bào)文相同的表項(xiàng)。
如圖2所示，為一種基于tcp連接的網(wǎng)絡(luò)報(bào)文采樣方法，包括如下步驟
(1)在報(bào)文采樣系統(tǒng)中建立一張tcp連接管理表；
(2)對(duì)輸入的報(bào)文是否是tcp報(bào)文進(jìn)行判斷，判斷結(jié)果為“否”，則按采樣比例隨機(jī)采樣，然后繼續(xù)處理下一個(gè)輸入報(bào)文；判斷結(jié)果為“是”，則查看報(bào)文的tcp標(biāo)識(shí)位；
(3)對(duì)報(bào)文的tcp標(biāo)識(shí)位進(jìn)行判斷，判斷結(jié)果顯示該tcp報(bào)文屬于新建的tcp連接的，則進(jìn)行步驟4 ；判斷結(jié)果顯示該tcp報(bào)文屬于已建的tcp連接的數(shù)據(jù)報(bào)文，則進(jìn)行步驟 5 ；判斷結(jié)果顯示該tcp報(bào)文屬于tcp連接的關(guān)閉報(bào)文，則進(jìn)行步驟6 ；
(4)判斷當(dāng)前采樣的數(shù)據(jù)量是否達(dá)到了系統(tǒng)預(yù)設(shè)的采樣比例，判斷結(jié)果為“是”，則丟棄收到的報(bào)文，繼續(xù)處理下一個(gè)輸入報(bào)文；判斷結(jié)果為“否”，則采樣收到的報(bào)文，并且提取出所述收到的報(bào)文的四元組結(jié)構(gòu)，插入到所述tcp連接管理表中；
(5)提取出tcp報(bào)文的四元組結(jié)構(gòu)，到所述tcp連接管理表中去查找是否有與所述提取的tcp報(bào)文相同的表項(xiàng)，查找結(jié)果為“是”，則采樣該tcp報(bào)文；查找結(jié)果為“否”，則丟棄該tcp報(bào)文，繼續(xù)處理下一個(gè)輸入報(bào)文；
(6)提取出tcp報(bào)文的四元組結(jié)構(gòu)，到所述tcp連接管理表中去查找是否有與所述提取的tcp報(bào)文相同的表項(xiàng)，查找結(jié)果為“是”，則采樣該tcp報(bào)文，并從所述tcp連接管理表中刪除該tcp連接；查找結(jié)果為“否”，則丟棄該tcp報(bào)文，繼續(xù)處理下一個(gè)輸入報(bào)文。
需要聲明的是，本發(fā)明內(nèi)容及具體實(shí)施方式
意在證明本發(fā)明所提供技術(shù)方案的實(shí)際應(yīng)用，不應(yīng)解釋為對(duì)本發(fā)明保護(hù)范圍的限定。本領(lǐng)域技術(shù)人員在本發(fā)明的精神和原理啟發(fā)下，可作各種修改、等同替換、或改進(jìn)。但這些變更或修改均在申請(qǐng)待批的保護(hù)范圍內(nèi)。
權(quán)利要求
1.一種基于tcp連接的網(wǎng)絡(luò)報(bào)文采樣系統(tǒng)，所述報(bào)文采樣系統(tǒng)包括tcp報(bào)文判斷模塊、tcp標(biāo)識(shí)判斷模塊和采樣比例判斷模塊；其特征在于，與所述tcp標(biāo)識(shí)判斷模塊連接的 tcp查找模塊，及所述tcp查找模塊和所述采樣比例判斷模塊分別與tcp管理表連接；所述 tcp報(bào)文判斷模塊、所述tcp標(biāo)識(shí)判斷模塊和所述采樣比例判斷模塊依次連接。
2.根據(jù)權(quán)利要求1所述的報(bào)文采樣系統(tǒng)，其特征在于，所述tcp連接管理表中的每個(gè)表項(xiàng)為標(biāo)識(shí)tcp連接的四元組結(jié)構(gòu)。
3.根據(jù)權(quán)利要求1所述的報(bào)文采樣系統(tǒng)，其特征在于，所述tcp報(bào)文判斷模塊對(duì)輸入的報(bào)文是否是tcp報(bào)文做出判斷，確定是按采樣比例隨機(jī)采樣，繼續(xù)處理下一個(gè)輸入報(bào)文還是將該報(bào)文傳輸?shù)絫cp標(biāo)識(shí)判斷模塊。
4.根據(jù)權(quán)利要求1所述的報(bào)文采樣系統(tǒng)，其特征在于，所述tcp標(biāo)識(shí)判斷模塊判斷報(bào)文的tcp標(biāo)識(shí)，確定將所述tcp報(bào)文傳輸?shù)剿霾蓸颖壤袛嗄K還是將所述tcp報(bào)文傳輸?shù)剿鰐cp查找模塊。
5.根據(jù)權(quán)利要求1所述的報(bào)文采樣系統(tǒng)，其特征在于，所述采樣比例判斷模塊判斷當(dāng)前采樣的數(shù)據(jù)量是否達(dá)到了系統(tǒng)預(yù)設(shè)的采樣比例，判斷是丟棄收到的報(bào)文，繼續(xù)處理下一個(gè)輸入報(bào)文，還是采樣收到的報(bào)文，并且提取出所述收到的報(bào)文的四元組結(jié)構(gòu)并傳輸?shù)剿鰐cp連接管理表中。
6.根據(jù)權(quán)利要求2所述的報(bào)文采樣系統(tǒng)，其特征在于，所述四元組結(jié)構(gòu)包括源ip、目的 ip、源端口和目的端口。
7.根據(jù)權(quán)利要求4所述的報(bào)文采樣系統(tǒng)，其特征在于，所述tcp查找模塊在接到所述 tcp標(biāo)識(shí)判斷模塊發(fā)出的tcp報(bào)文后，提取出該tcp報(bào)文的四元組結(jié)構(gòu)，并到所述tcp連接管理表中去查找是否有與所述提取的tcp報(bào)文相同的表項(xiàng)。
8.根據(jù)1-7項(xiàng)權(quán)利要求任一項(xiàng)所述的基于tcp連接的網(wǎng)絡(luò)報(bào)文采樣系統(tǒng)的基于tcp連接的網(wǎng)絡(luò)報(bào)文采樣方法，其特征在于，所述網(wǎng)絡(luò)報(bào)文采樣方法包括如下步驟(1)在報(bào)文采樣系統(tǒng)中建立一張tcp連接管理表；(2)判斷輸入報(bào)文的類型，如該報(bào)文類型是TCP報(bào)文，則查看該報(bào)文的tcp標(biāo)識(shí)位；否則按采樣比例隨機(jī)采樣，然后繼續(xù)處理下一個(gè)輸入報(bào)文；(3)判斷報(bào)文的tcp標(biāo)識(shí)位，如果該tcp報(bào)文屬于新建的tcp連接的，則進(jìn)行步驟4；如果該tcp報(bào)文屬于已建的tcp連接的數(shù)據(jù)報(bào)文，則進(jìn)行步驟5 ；如果該tcp報(bào)文屬于tcp連接的關(guān)閉報(bào)文，則進(jìn)行步驟6;(4)判斷當(dāng)前采樣的數(shù)據(jù)量是否達(dá)到了系統(tǒng)預(yù)設(shè)的采樣比例，如果達(dá)到了采樣比例，則丟棄收到的報(bào)文，繼續(xù)處理下一個(gè)輸入報(bào)文；否則采樣收到的報(bào)文，并且提取出所述收到的報(bào)文的四元組結(jié)構(gòu)，插入到所述tcp連接管理表中；(5)提取出tcp報(bào)文的四元組結(jié)構(gòu)，到所述tcp連接管理表中去查找是否有與所述提取的tcp報(bào)文相同的表項(xiàng)，如果查找到了，則采樣該tcp報(bào)文；否則丟棄該tcp報(bào)文，繼續(xù)處理下一個(gè)輸入報(bào)文；(6)提取出tcp報(bào)文的四元組結(jié)構(gòu)，到所述tcp連接管理表中去查找是否有與所述提取的tcp報(bào)文相同的表項(xiàng)；如果查找到了，則采樣該tcp報(bào)文，并從所述tcp連接管理表中刪除該tcp連接；否則丟棄該tcp報(bào)文，繼續(xù)處理下一個(gè)輸入報(bào)文。
全文摘要
本發(fā)明提供一種基于tcp連接的網(wǎng)絡(luò)報(bào)文采樣系統(tǒng)，包括tcp報(bào)文判斷模塊、tcp標(biāo)識(shí)判斷模塊和采樣比例判斷模塊；與所述tcp標(biāo)識(shí)判斷模塊連接的tcp查找模塊，及分別與所述tcp查找模塊和所述采樣比例判斷模塊相連接的tcp連接管理表；還提供一種基于tcp連接的網(wǎng)絡(luò)報(bào)文采樣方法，在報(bào)文采樣系統(tǒng)中建立一張tcp連接管理表，管理tcp連接建立、傳輸、關(guān)閉的過程。本發(fā)明提供的基于tcp連接的網(wǎng)絡(luò)報(bào)文采樣系統(tǒng)和方法，可對(duì)報(bào)文進(jìn)行連續(xù)采集，提高采樣數(shù)據(jù)的有效性。
文檔編號(hào)H04L12/56GK102546392SQ20111038369
公開日2012年7月4日 申請(qǐng)日期2011年11月28日 優(yōu)先權(quán)日2011年11月28日
發(fā)明者劉朝輝, 姬乃軍, 白宗元, 紀(jì)奎 申請(qǐng)人:曙光信息產(chǎn)業(yè)(北京)有限公司