專利名稱：一種網(wǎng)絡(luò)流量監(jiān)測方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及IP網(wǎng)絡(luò)流量監(jiān)測和分析技術(shù)，尤其涉及對網(wǎng)絡(luò)中各網(wǎng)址的流量進(jìn)行排序的技術(shù)。
背景技術(shù)：
包頭采樣是IP骨干網(wǎng)主要的流量監(jiān)控技術(shù)之一，該技術(shù)是一種可操作性強(qiáng)、性價比好的技術(shù)。IETF針對這一應(yīng)用專門推出了 IPFIX標(biāo)準(zhǔn)，但由于流量采集數(shù)據(jù)量一般都很大，加上網(wǎng)絡(luò)流量監(jiān)控的時效性要求比較高，所以采用軟件實(shí)現(xiàn)的性能問題比較突出，主要體現(xiàn)在采集數(shù)據(jù)的緩存和快速訪問、原始數(shù)據(jù)統(tǒng)計分析時的TOP N(即N個最大值或最小值)排序這兩個方面。從各種全排序算法的原理可知，冒泡排序、堆排序、直接選擇排序可以在不完成全部排序的情況下得到TOP N個最大(或最小)值；但由于冒泡法對于一個隨機(jī)數(shù)列的排序效率較低，所以針對堆排序、直接選擇排序來改進(jìn)TOP N排序技術(shù)。另外，直接插入排序雖然也需要在完成全部排序的情況下才能得到TOP N個最大(最小)值，但如果對其算法作一下改進(jìn)，同樣可以滿足要求。在IP網(wǎng)絡(luò)流量監(jiān)測中，通常需要了解互聯(lián)網(wǎng)應(yīng)用、目的網(wǎng)站、源IP地址、網(wǎng)絡(luò)協(xié)議等等各個維度的流量統(tǒng)計狀況。舉例來說，通常需要了解在網(wǎng)絡(luò)中的流量分布來自哪些IP 地址(源IP地址)，去向哪些IP地址(目的IP地址)，各個源IP地址或目的IP地址的流量分布情況和排名情況。但是IP地址的數(shù)量最大可達(dá)到232個，所以對所有IP地址進(jìn)行流量進(jìn)行排名是不現(xiàn)實(shí)的，而且在大多數(shù)情況下，只需要了解對網(wǎng)絡(luò)影響最大的一批IP地址，即網(wǎng)絡(luò)流量排名比較靠前的IP地址，這就是通常所說的TOP N排名，N值通常在10 100之間，再大或再小都失去了實(shí)際應(yīng)用意義。在計算機(jī)算法中，傳統(tǒng)的各類排序算法理論上也可以滿足這一網(wǎng)絡(luò)流量統(tǒng)計的這一需求，但是在實(shí)際使用中存在著很大的性能缺陷，主要原因是傳統(tǒng)排序算法是全排序算法。在IP地址的流量監(jiān)控中，傳統(tǒng)的全排序算法意味著要對網(wǎng)絡(luò)中數(shù)量極其龐大的IP地址產(chǎn)生的流量一一排序，而其實(shí)需要關(guān)注的僅僅是其中很小的流量排名前N的IP地址，但是對于N位之后的大量數(shù)據(jù)進(jìn)行排序其實(shí)根本沒必要，帶來的結(jié)果是白白耗費(fèi)大量的寶貴時間。

發(fā)明內(nèi)容
本發(fā)明的目的在于解決上述問題，提供了一種網(wǎng)絡(luò)流量監(jiān)測方法，提高了網(wǎng)絡(luò)流量原始數(shù)據(jù)統(tǒng)計分析在時效性上的效率。本發(fā)明的另一目的在于提供了一種網(wǎng)絡(luò)流量監(jiān)測裝置。本發(fā)明的技術(shù)方案為本發(fā)明揭示了一種網(wǎng)絡(luò)流量監(jiān)測方法，對網(wǎng)絡(luò)中前N個流量最大的網(wǎng)址進(jìn)行排序，其中N是自然數(shù)，該監(jiān)測方法包括將網(wǎng)絡(luò)中任意N個網(wǎng)址根據(jù)流量的大小進(jìn)行排序，構(gòu)成當(dāng)前處理序列的初始序列；將下一個未處理的網(wǎng)址和當(dāng)前處理序列中流量最小的網(wǎng)址進(jìn)行流量大小的比較；若該未處理的網(wǎng)址的流量小于該當(dāng)前處理序列中流量最小的網(wǎng)址的流量，則丟棄該未處理的網(wǎng)址，否則，將該未處理的網(wǎng)址根據(jù)其流量大小插入到該當(dāng)前處理序列中的合適位置，同時丟棄該流量最小的網(wǎng)址以更新該當(dāng)前處理序列，返回上一步驟直至所有網(wǎng)址都已處理。根據(jù)本發(fā)明的網(wǎng)絡(luò)流量監(jiān)測方法的一實(shí)施例，N的取值范圍是10 100之間。根據(jù)本發(fā)明的網(wǎng)絡(luò)流量監(jiān)測方法的一實(shí)施例，該任意N個網(wǎng)址是在網(wǎng)絡(luò)流量監(jiān)控過程中最初接收到的N個網(wǎng)址。根據(jù)本發(fā)明的網(wǎng)絡(luò)流量監(jiān)測方法的一實(shí)施例，將未處理的網(wǎng)址根據(jù)其流量大小插入到該當(dāng)前處理序列中的合適位置是采用二分查找法。本發(fā)明還揭示了一種網(wǎng)絡(luò)流量監(jiān)測裝置，對網(wǎng)絡(luò)中前N個流量最大的網(wǎng)址進(jìn)行排序，其中N是自然數(shù)，該監(jiān)測裝置包括流量監(jiān)測模塊，監(jiān)測網(wǎng)絡(luò)中各網(wǎng)址的流量；排序模塊，連接該流量監(jiān)測模塊，將網(wǎng)絡(luò)中任意N個網(wǎng)址根據(jù)流量的大小進(jìn)行排序，構(gòu)成當(dāng)前處理序列的初始序列；比較模塊，連接該排序模塊和該流量監(jiān)測模塊，將從該流量監(jiān)測模塊輸出的下一個未處理的網(wǎng)址和來自該排序模塊的當(dāng)前處理序列中流量最小的網(wǎng)址進(jìn)行流量大小的比較；序列更新模塊，其輸入端連接該比較模塊，輸出端連接該排序模塊，若該未處理的網(wǎng)址的流量小于該當(dāng)前處理序列中流量最小的網(wǎng)址的流量，則丟棄該未處理的網(wǎng)址，否則， 將該未處理的網(wǎng)址根據(jù)其流量大小插入到該當(dāng)前處理序列中的合適位置，同時丟棄該流量最小的網(wǎng)址以更新該當(dāng)前處理序列；其中該比較模塊和該序列更新模塊是反復(fù)運(yùn)行的直至網(wǎng)絡(luò)中所有網(wǎng)址均已處理。根據(jù)本發(fā)明的網(wǎng)絡(luò)流量監(jiān)測裝置的一實(shí)施例，N的取值范圍是10 100之間。根據(jù)本發(fā)明的網(wǎng)絡(luò)流量監(jiān)測裝置的一實(shí)施例，該任意N個網(wǎng)址是在網(wǎng)絡(luò)流量監(jiān)控過程中最初接收到的N個網(wǎng)址。根據(jù)本發(fā)明的網(wǎng)絡(luò)流量監(jiān)測裝置的一實(shí)施例，該序列更新模塊中將未處理的網(wǎng)址根據(jù)其流量大小插入到該當(dāng)前處理序列中的合適位置是采用二分查找法。本發(fā)明對比現(xiàn)有技術(shù)有如下的有益效果本發(fā)明通過先將網(wǎng)絡(luò)中任意N個網(wǎng)址根據(jù)其流量大小進(jìn)行排序，再將下一個未處理的網(wǎng)址和此前N個網(wǎng)址中流量最小的網(wǎng)址進(jìn)行流量比較，若未處理的網(wǎng)址小于N個網(wǎng)址中最小的網(wǎng)址流量則直接丟棄未處理的網(wǎng)址，否則將這個網(wǎng)址插入到合適的位置并丟棄流量最小的網(wǎng)址來更新這個序列。對比現(xiàn)有技術(shù)中用傳統(tǒng)的排序方法對網(wǎng)址流量進(jìn)行統(tǒng)計監(jiān)測的技術(shù)手段，本發(fā)明能夠節(jié)省更多的時間和資源。


圖1是本發(fā)明的網(wǎng)絡(luò)流量監(jiān)測方法的實(shí)施例的流程圖。
圖2是本發(fā)明的網(wǎng)絡(luò)流量監(jiān)測方法示例中序列示意圖。圖3是本發(fā)明的網(wǎng)絡(luò)流量監(jiān)測方法示例中對序列進(jìn)行更新的示意圖。圖4是本發(fā)明的網(wǎng)絡(luò)流量監(jiān)測裝置的實(shí)施例的原理圖。
具體實(shí)施例方式下面結(jié)合附圖和實(shí)施例對本發(fā)明作進(jìn)一步的描述。網(wǎng)絡(luò)流量監(jiān)測方法的實(shí)施例圖1示出了本發(fā)明的網(wǎng)絡(luò)流量監(jiān)測方法的實(shí)施例。請參見圖1，下面是對本實(shí)施例的網(wǎng)絡(luò)流量監(jiān)測方法的各個步驟的詳細(xì)描述。步驟SlO 從網(wǎng)絡(luò)中獲取N個網(wǎng)址的流量。這里的N是一個自然數(shù)，大小可以根據(jù)需要而定，通常設(shè)在10 100之間。這里N 個網(wǎng)址的取法可以是任意的，通常是在網(wǎng)絡(luò)流量監(jiān)控過程中最初接收到的N個網(wǎng)址。為了描述方便，將N設(shè)定為10，這1個網(wǎng)址分別示為D1、D2……DlO0步驟Sll 將這N個網(wǎng)址根據(jù)流量大小進(jìn)行排序，構(gòu)成當(dāng)前處理序列的初始序列?？梢允菑男〉酱蟮呐判?，也可以是從大到小的排序。這里的排序方法可以是任意一種已知的排序方法。此時構(gòu)成的當(dāng)前處理序列如圖2所示，從圖2中可以看出，這是一個流量值按照從大到小排列的鏈表。圖2所示的這一鏈表可看作當(dāng)前處理序列的初始值。步驟S12 獲取下一個未處理的網(wǎng)址。在本實(shí)施例中為描述方便可定義為Dx。步驟S13 將這一未處理的網(wǎng)址和當(dāng)前處理序列中的流量最小的網(wǎng)址進(jìn)行流量大小的比較。如果未處理的網(wǎng)址流量小于流量最小的網(wǎng)址，則進(jìn)入步驟S14，否則進(jìn)入步驟 S15。承上所述，就是比較Dx和D7的大小。若Dx小于D7則進(jìn)入步驟S14，否則進(jìn)入步
馬聚S15 ο步驟S14 直接丟棄未處理的網(wǎng)址。然后返回步驟S12步驟S15 將未處理的網(wǎng)址根據(jù)流量大小插入到當(dāng)前處理序列中的合適位置。
這種插入方法可以采用任意一種已知的插入方法，例如可以采用高效的二分查找算法。例如，需要插入的網(wǎng)址是D11，假定Dll小于D4且大于D8，則將Dll插入到D4和 D8之間，這時候當(dāng)前處理序列變成了 11項(xiàng)，由于只需要10項(xiàng)，可以把流量最小的網(wǎng)址D7淘汰，如圖3所示。步驟S16 丟棄當(dāng)前處理序列中的流量最小的網(wǎng)址。然后返回步驟S12。上述的步驟S15和S16就是為了更新當(dāng)前處理序列。在本實(shí)施例的方法中有一個循環(huán)結(jié)構(gòu)，跳出循環(huán)的條件是所有需要處理的網(wǎng)址都已全部處理完成。網(wǎng)絡(luò)流量監(jiān)測裝置的實(shí)施例圖4示出了本發(fā)明的網(wǎng)絡(luò)流量監(jiān)測裝置的實(shí)施例。請參見圖4，本實(shí)施例的網(wǎng)絡(luò)流量監(jiān)測裝置包括流量監(jiān)測模塊10、排序模塊20、比較模塊30和序列更新模塊40。它們之間的連接關(guān)系是流量監(jiān)測模塊10的輸出端分別連接排序模塊20和比較模塊30。排序模塊20的輸出端連接比較模塊30。比較模塊30的輸出端連接序列更新模塊40。序列更新模塊40的輸出端連接排序模塊20。
流量監(jiān)測模塊10監(jiān)測網(wǎng)絡(luò)中各網(wǎng)址的流量。排序模塊20從流量監(jiān)測模塊10中獲取N個網(wǎng)址的流量，并將這N個網(wǎng)址根據(jù)流量大小進(jìn)行排序，構(gòu)成當(dāng)前處理序列的初始值。 這里的N是一個自然數(shù)，大小可以根據(jù)需要而定，通常設(shè)在10 100之間。這里N個網(wǎng)址的取法可以是任意的，通常是在網(wǎng)絡(luò)流量監(jiān)控過程中最初接收到的N個網(wǎng)址。比較模塊30從流量監(jiān)測模塊10獲得下一個未處理的網(wǎng)址，并將其和來自排序模塊20的當(dāng)前處理序列中流量最小的網(wǎng)址進(jìn)行流量大小的比較，并將比較結(jié)果輸出給序列更新模塊40。在序列更新模塊40中，如果比較結(jié)果是未處理的網(wǎng)址流量小于當(dāng)前處理序列中流量最小的網(wǎng)址的流量，則丟棄這個未處理的網(wǎng)址。否則，這個未處理的網(wǎng)址根據(jù)其流量大小插入到排序模塊20所完成的當(dāng)前處理序列中的合適位置，同時丟棄當(dāng)前處理序列中流量最小的網(wǎng)址，從而完成排序模塊20中當(dāng)前處理序列的更新。在插入未處理的網(wǎng)址的過程中，可以是已知的任意一種插入算法，可以采用比較高效的二分查找算法。在實(shí)際應(yīng)用中，本發(fā)明的流量統(tǒng)計監(jiān)測方法在時間和資源消耗上明顯低于傳統(tǒng)的依靠直接插入排序而完成的流量統(tǒng)計監(jiān)測。上述實(shí)施例是提供給本領(lǐng)域普通技術(shù)人員來實(shí)現(xiàn)或使用本發(fā)明的，本領(lǐng)域普通技術(shù)人員可在不脫離本發(fā)明的發(fā)明思想的情況下，對上述實(shí)施例做出種種修改或變化，因而本發(fā)明的保護(hù)范圍并不被上述實(shí)施例所限，而應(yīng)該是符合權(quán)利要求書提到的創(chuàng)新性特征的最大范圍。
權(quán)利要求
1.一種網(wǎng)絡(luò)流量監(jiān)測方法，對網(wǎng)絡(luò)中前N個流量最大的網(wǎng)址進(jìn)行排序，其中N是自然數(shù)，該監(jiān)測方法包括將網(wǎng)絡(luò)中任意N個網(wǎng)址根據(jù)流量的大小進(jìn)行排序，構(gòu)成當(dāng)前處理序列的初始序列；將下一個未處理的網(wǎng)址和當(dāng)前處理序列中流量最小的網(wǎng)址進(jìn)行流量大小的比較；若該未處理的網(wǎng)址的流量小于該當(dāng)前處理序列中流量最小的網(wǎng)址的流量，則丟棄該未處理的網(wǎng)址，否則，將該未處理的網(wǎng)址根據(jù)其流量大小插入到該當(dāng)前處理序列中的合適位置，同時丟棄該流量最小的網(wǎng)址以更新該當(dāng)前處理序列，返回上一步驟直至所有網(wǎng)址都已處理。
2.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)流量監(jiān)測方法，其特征在于，N的取值范圍是10 100 之間。
3.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)流量監(jiān)測方法，其特征在于，該任意N個網(wǎng)址是在網(wǎng)絡(luò)流量監(jiān)控過程中最初接收到的N個網(wǎng)址。
4.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)流量監(jiān)測方法，其特征在于，將未處理的網(wǎng)址根據(jù)其流量大小插入到該當(dāng)前處理序列中的合適位置是采用二分查找法。
5.一種網(wǎng)絡(luò)流量監(jiān)測裝置，對網(wǎng)絡(luò)中前N個流量最大的網(wǎng)址進(jìn)行排序，其中N是自然數(shù)，該監(jiān)測裝置包括流量監(jiān)測模塊，監(jiān)測網(wǎng)絡(luò)中各網(wǎng)址的流量；排序模塊，連接該流量監(jiān)測模塊，將網(wǎng)絡(luò)中任意N個網(wǎng)址根據(jù)流量的大小進(jìn)行排序，構(gòu)成當(dāng)前處理序列的初始序列；比較模塊，連接該排序模塊和該流量監(jiān)測模塊，將從該流量監(jiān)測模塊輸出的下一個未處理的網(wǎng)址和來自該排序模塊的當(dāng)前處理序列中流量最小的網(wǎng)址進(jìn)行流量大小的比較；序列更新模塊，其輸入端連接該比較模塊，輸出端連接該排序模塊，若該未處理的網(wǎng)址的流量小于該當(dāng)前處理序列中流量最小的網(wǎng)址的流量，則丟棄該未處理的網(wǎng)址，否則，將該未處理的網(wǎng)址根據(jù)其流量大小插入到該當(dāng)前處理序列中的合適位置，同時丟棄該流量最小的網(wǎng)址以更新該當(dāng)前處理序列；其中該比較模塊和該序列更新模塊是反復(fù)運(yùn)行的直至網(wǎng)絡(luò)中所有網(wǎng)址均已處理。
6.根據(jù)權(quán)利要求5所述的網(wǎng)絡(luò)流量監(jiān)測裝置，其特征在于，N的取值范圍是10 100 之間。
7.根據(jù)權(quán)利要求5所述的網(wǎng)絡(luò)流量監(jiān)測裝置，其特征在于，該任意N個網(wǎng)址是在網(wǎng)絡(luò)流量監(jiān)控過程中最初接收到的N個網(wǎng)址。
8.根據(jù)權(quán)利要求5所述的網(wǎng)絡(luò)流量監(jiān)測裝置，其特征在于，該序列更新模塊中將未處理的網(wǎng)址根據(jù)其流量大小插入到該當(dāng)前處理序列中的合適位置是采用二分查找法。
全文摘要
本發(fā)明公開了一種網(wǎng)絡(luò)流量監(jiān)測方法和裝置，提高了網(wǎng)絡(luò)流量原始數(shù)據(jù)統(tǒng)計分析在時效性上的效率。其技術(shù)方案為方法對網(wǎng)絡(luò)中前N個流量最大的網(wǎng)址進(jìn)行排序，方法包括將網(wǎng)絡(luò)中任意N個網(wǎng)址根據(jù)流量的大小進(jìn)行排序，構(gòu)成當(dāng)前處理序列的初始序列；將下一個未處理的網(wǎng)址和當(dāng)前處理序列中流量最小的網(wǎng)址進(jìn)行流量大小的比較；若未處理的網(wǎng)址的流量小于當(dāng)前處理序列中流量最小的網(wǎng)址的流量，則丟棄未處理的網(wǎng)址，否則，將未處理的網(wǎng)址根據(jù)其流量大小插入到當(dāng)前處理序列中的合適位置，同時丟棄流量最小的網(wǎng)址以更新當(dāng)前處理序列，重復(fù)上一步驟直至所有網(wǎng)址都已處理。
文檔編號H04L12/56GK102170373SQ201010113469
公開日2011年8月31日 申請日期2010年2月25日 優(yōu)先權(quán)日2010年2月25日
發(fā)明者俞鋼, 周曄, 王 華, 范靜, 詹海, 鄭文蘊(yùn) 申請人:國信朗訊科技網(wǎng)絡(luò)技術(shù)有限公司