專利名稱：基于多神經(jīng)網(wǎng)絡(luò)的流量矩陣估計(jì)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及網(wǎng)絡(luò)測(cè)量領(lǐng)域和神經(jīng)網(wǎng)絡(luò)領(lǐng)域，具體是基于多神經(jīng)網(wǎng)絡(luò)的流量矩陣估 計(jì)方法。
背景技術(shù)：
流量矩陣是全網(wǎng)流量的概覽，矩陣中的元素表示網(wǎng)絡(luò)中始于一個(gè)結(jié)點(diǎn)(源結(jié)點(diǎn)) 而終止于另一個(gè)結(jié)點(diǎn)(目的結(jié)點(diǎn))的流量(0D流量)。此源、目的結(jié)點(diǎn)對(duì)又被稱為OD對(duì)。 OD流量的測(cè)量與計(jì)算在網(wǎng)絡(luò)結(jié)構(gòu)配置，管理，網(wǎng)絡(luò)流量工程等研究與工程實(shí)踐中具有重要 的意義，特別是近年來(lái)的研究發(fā)現(xiàn)網(wǎng)絡(luò)OD流量的測(cè)量可以用于網(wǎng)絡(luò)異常的檢測(cè)與識(shí)別，因 而OD流量的測(cè)量與計(jì)算研究受到了國(guó)內(nèi)外理論界和工業(yè)界的廣泛重視。由于流量矩陣需 要捕獲網(wǎng)絡(luò)流量的全局狀態(tài)，直接監(jiān)控代價(jià)非常高，實(shí)際上幾乎是不可行的。近年來(lái)，由間 接觀測(cè)進(jìn)行流量矩陣估算已成為一個(gè)非常熱門的研究領(lǐng)域。流量矩陣的行對(duì)應(yīng)OD對(duì)，列對(duì)應(yīng)不同時(shí)刻的流量需求。令y(t) = (Yl (t), 。(。，...^^^”表示一個(gè)網(wǎng)絡(luò)中所有鏈路的流量值，m表示鏈路的總數(shù)。x(t) = (X1 (t), &(t)，... 該網(wǎng)絡(luò)中所有OD對(duì)的流量矩陣，η表示網(wǎng)絡(luò)中OD對(duì)的總數(shù)，\表示第 j個(gè)OD對(duì)之間的流量需求。A= (Bij)是mXn階的0-1矩陣。A的列指明了某個(gè)OD流量需 求在網(wǎng)絡(luò)中所要經(jīng)過(guò)的全部鏈路的集合，顯然，A是一個(gè)包含了實(shí)際路由信息的矩陣。令矩 陣Y = (y (1)，H2)，...，y (T))表示T時(shí)間段的鏈路流量，令矩陣X = (χ (1)，χ (2)，· · ·， x(T))表示T時(shí)間段的流量矩陣，則鏈路流量、路由矩陣和流量矩陣三者之間的關(guān)系可以表 示如下Y = AX (1)通常，由于網(wǎng)絡(luò)中OD對(duì)的數(shù)量要遠(yuǎn)大于鏈路數(shù)，即η >> m，A不是一個(gè)滿秩矩 陣，這意味著式(1)將有無(wú)窮多組可能解，是一種病態(tài)的線性逆問(wèn)題(ill-posed linear inverse problem)。流量矩陣估算所要解決的就是在已知鏈路流量Y和路由矩陣A的情況 下從式(1)中求出流量矩陣X。其中，鏈路流量Y可以通過(guò)一般的流量數(shù)據(jù)采集方法(如 SNMP)得到，路由矩陣A可以通過(guò)收集內(nèi)部路由協(xié)議(IGP)的配置信息或者通過(guò)收集路由器 之間交互的鏈路狀態(tài)信息獲得，也可以通過(guò)計(jì)算最短路徑樹得到。為求解問(wèn)題(1)，國(guó)內(nèi)外許多學(xué)者進(jìn)行了大量有意義的研究工作，主要思路是在上 述方程的基礎(chǔ)上，增加一些假設(shè)來(lái)獲得(1)的最優(yōu)解。如假定流量的泊松模型、高斯模型、 重力模型、信息論獨(dú)立模型、馬爾可夫高斯模型、獨(dú)立連接模型等。當(dāng)前網(wǎng)絡(luò)流量被公認(rèn)最為重要的統(tǒng)計(jì)特征是尺度特性(如自相似性)和多尺度行 為特性(如長(zhǎng)相關(guān)、多重分形性)，網(wǎng)絡(luò)流量的復(fù)雜特性使得要想獲得更高的估計(jì)精確度， 需要使用更復(fù)雜的模型，神經(jīng)網(wǎng)絡(luò)是一個(gè)較理想的方法。目前國(guó)內(nèi)外有很多學(xué)者將目前已 有的很多種神經(jīng)網(wǎng)絡(luò)用于該領(lǐng)域。然而傳統(tǒng)神經(jīng)網(wǎng)絡(luò)普遍存在著這種困境穩(wěn)定性和可塑 性不可調(diào)和的矛盾，這使得神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)新的樣本時(shí)會(huì)影響甚至是遺忘舊有的記憶。流 量矩陣的復(fù)雜特性和高維特性需要大量的樣本才能夠充分的訓(xùn)練神經(jīng)網(wǎng)絡(luò)的權(quán)值。而這些必將導(dǎo)致神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度非常慢，而對(duì)大量的高維樣本數(shù)據(jù)的訓(xùn)練，會(huì)加劇傳統(tǒng)神經(jīng) 網(wǎng)絡(luò)記憶性和可塑性的矛盾，即記憶扭曲變形或記憶消失的問(wèn)題。為了克服這些問(wèn)題，我們 提出一種多神經(jīng)網(wǎng)絡(luò)的流量矩陣估計(jì)方法。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問(wèn)題是，針對(duì)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)用于流量矩陣估計(jì)領(lǐng)域所面臨的 上述困境，提出一種基于多神經(jīng)網(wǎng)絡(luò)的流量矩陣估計(jì)方法。本發(fā)明的技術(shù)方案是，所述基于多神經(jīng)網(wǎng)絡(luò)的流量矩陣估計(jì)方法包括樣本分類階 段，網(wǎng)絡(luò)訓(xùn)練階段和網(wǎng)絡(luò)估計(jì)階段共三個(gè)階段，其中樣本分類階段為將直接測(cè)量得到的鏈路流量Y按κ-means算法進(jìn)行分類，記錄各 個(gè)分類的中心c和半徑d;網(wǎng)絡(luò)訓(xùn)練階段為將各個(gè)分類的鏈路流量做為輸入，對(duì)應(yīng)的OD流量X作為輸出，建 立傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，并訓(xùn)練，記錄各個(gè)網(wǎng)絡(luò)的權(quán)值；網(wǎng)絡(luò)估計(jì)階段為對(duì)于某一時(shí)刻的鏈路測(cè)量值，根據(jù)各分類中心c和半徑d來(lái)判斷 其所屬分類，再激活對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)，計(jì)算出OD流量的初步估計(jì)值，選取最滿足鏈路約束 式(1)的估計(jì)值，再使用IPFP算法調(diào)整，得到最終的估計(jì)值；Y = AX (1)其中，A表示路由矩陣。以下對(duì)本發(fā)明做出進(jìn)一步說(shuō)明。流量矩陣描述其對(duì)應(yīng)的IP網(wǎng)絡(luò)中所有從源節(jié)點(diǎn)傳輸?shù)侥康墓?jié)點(diǎn)的流量。流量 矩陣中的每一行代表著從某一個(gè)源節(jié)點(diǎn)到另一個(gè)目的節(jié)點(diǎn)的OD流(Origin-Destination Flow)在不同時(shí)刻的流量，每個(gè)列表示網(wǎng)絡(luò)中所有的OD流在某個(gè)時(shí)間片段(time slot)(如 5分鐘)的流量。流量矩陣反映了對(duì)應(yīng)網(wǎng)絡(luò)中所有源節(jié)點(diǎn)到目的節(jié)點(diǎn)在不同時(shí)間的流量需 求情況。

圖1為美國(guó)的Abilene IP骨干網(wǎng)絡(luò)部分鏈路7周內(nèi)的流量數(shù)據(jù)?？煽闯隽髁勘?現(xiàn)出截然不同的類別特征；而OD流量的空間自相似性使得鏈路的特征在一定程度上反映 了 OD流量的特征。所以，使用單神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，會(huì)出現(xiàn)已有的訓(xùn)練記憶消失或變形 的問(wèn)題。而多神經(jīng)網(wǎng)絡(luò)則分別對(duì)不同類別的流量建立網(wǎng)絡(luò)進(jìn)行訓(xùn)練，這便解決了記憶性和 可塑性的矛盾。經(jīng)驗(yàn)和大量的實(shí)踐表明歐氏范數(shù)能均衡反映向量各分量的差異程度和向量的大 小。所以我們選用歐氏范數(shù)作為鏈路流量差異化的度量。分類的目的是為了使各分類的向 量差異化大，而分類內(nèi)的各向量差異小。我們首先選用K-means方法(使用施瓦茲信息準(zhǔn) 則確定分類數(shù)K)對(duì)鏈路流量進(jìn)行分類。再對(duì)各個(gè)類分別進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，其中各個(gè)類的 鏈路流量作為神經(jīng)網(wǎng)絡(luò)的輸入，鏈路流量對(duì)應(yīng)的OD流量作為神經(jīng)網(wǎng)絡(luò)的輸出。進(jìn)行流量矩 陣估計(jì)時(shí)，選擇合適的分類對(duì)應(yīng)的網(wǎng)絡(luò)進(jìn)行估計(jì)，一般地，通過(guò)神經(jīng)網(wǎng)絡(luò)計(jì)算的估計(jì)流量不 滿足式(1)，因此需要根據(jù)實(shí)際的鏈路流量對(duì)估計(jì)值進(jìn)行適當(dāng)調(diào)整。本文采用IPFP算法。 整個(gè)流量樣本分類訓(xùn)練過(guò)程和流量矩陣的估計(jì)過(guò)程表示如下。流量樣本分類訓(xùn)練算法Stepl采用一段時(shí)間的直接測(cè)量值(X，Y)作為樣本，其中X表示OD流量，Y表示相 應(yīng)的鏈路流量；
St印2使用K-means算法或其它算法對(duì)樣本Y進(jìn)行合理的分類，其中使用貝葉斯信 息準(zhǔn)則(BIC或施瓦茲信息準(zhǔn)則(SIC)確定或根據(jù)經(jīng)驗(yàn)確定分類個(gè)數(shù)K，并將Y對(duì)應(yīng)的X并 入到相同的分類中，使用(4) (5)計(jì)算并記錄各分類中心4和半徑dyi = 1，2，...，K;St印3對(duì)各個(gè)分類分別建立神經(jīng)網(wǎng)絡(luò)，以各個(gè)分類的Y作為輸入，X作為輸出，并使 用對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法進(jìn)行訓(xùn)練。其中K-means分類算法表示如下給定條件樣本值(X，Y)，其中X表示OD流量矩陣，Y表示相應(yīng)的鏈路流量矩陣，Y 的列向量為m維列向量，X和Y的列數(shù)為TStepl令初聚類數(shù)目K = 2，令初始施瓦茲信息準(zhǔn)則值SIC為一個(gè)極大值；St印2從Y的T列中隨機(jī)選擇K列作為初始聚類中心c (c的各個(gè)列即為各個(gè)相應(yīng) 分類的中心向量)；St印3根據(jù)每個(gè)聚類的中心，計(jì)算Y的每一列與這些中心的歐幾里德距離，根據(jù)最 小距離對(duì)相應(yīng)的列進(jìn)行重新劃分，即D(Yi) = {i|mini = 1,...,K| y-cj }, Yj e Y (2)其中I I. I I表示歐氏范數(shù)，下同；其中yj表示矩陣Y的第j列，D(yj)表示yj的分類編號(hào)，Ci表示矩陣c的第i列；St印4使用式C3)計(jì)算各分類的元素個(gè)數(shù)s (向量s的各個(gè)元素即為相應(yīng)各個(gè)分類 的元素個(gè)數(shù))，使用式(4)重新計(jì)算每個(gè)聚類的中心c，根據(jù)式( 重新計(jì)算每個(gè)聚類的半 徑d(向量d的各個(gè)元素即為相應(yīng)各個(gè)分類的距離)，根據(jù)式(6)計(jì)算此次分類的偏差J ；
權(quán)利要求
1.一種基于多神經(jīng)網(wǎng)絡(luò)的流量矩陣估計(jì)方法，其特征在于，它包括樣本分類階段，網(wǎng)絡(luò) 訓(xùn)練階段和網(wǎng)絡(luò)估計(jì)階段的三個(gè)階段，其中樣本分類階段為將直接測(cè)量得到的鏈路流量Y按κ-means算法進(jìn)行分類，記錄各個(gè)分 類的中心c和半徑d;網(wǎng)絡(luò)訓(xùn)練階段為將各個(gè)分類的鏈路流量做為輸入，對(duì)應(yīng)的OD流量X作為輸出，建立傳 統(tǒng)的神經(jīng)網(wǎng)絡(luò)，并訓(xùn)練，記錄各個(gè)網(wǎng)絡(luò)的權(quán)值；網(wǎng)絡(luò)估計(jì)階段為對(duì)于某一時(shí)刻的鏈路測(cè)量值，根據(jù)各分類中心c和半徑d來(lái)判斷其所 屬分類，再激活對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)，計(jì)算出OD流量的初步估計(jì)值，選取最滿足鏈路約束式(1) 的估計(jì)值，再使用IPFP算法調(diào)整，得到最終的估計(jì)值； Y = AX (1) 其中，A表示路由矩陣。
2.根據(jù)權(quán)利要求1所述多神經(jīng)網(wǎng)絡(luò)的流量矩陣估計(jì)方法，其特征在于，所述樣本分類 階段中的K-means分類算法如下給定條件樣本值(X，Y)，其中X表示OD流量矩陣，Y表示相應(yīng)的鏈路流量矩陣，Y的列 向量為m維列向量，X和Y的列數(shù)為TStepl令初聚類數(shù)目K = 2，令初始施瓦茲信息準(zhǔn)則值SIC為一個(gè)極大值； Step2從Y的T列中隨機(jī)選擇K列作為初始聚類中心c (c的各個(gè)列代表各個(gè)相應(yīng)分類 的中心向量)；St印3根據(jù)每個(gè)聚類的中心，計(jì)算Y的每一列與這些中心的歐幾里德距離，根據(jù)最小距 離對(duì)相應(yīng)的列進(jìn)行重新劃分，即
3.根據(jù)權(quán)利要求1所述多神經(jīng)網(wǎng)絡(luò)的流量矩陣估計(jì)方法，其特征在于，所述網(wǎng)絡(luò)估計(jì) 階段判斷所屬分類時(shí)使用(8)式確定IyciI I < Pdi (8) 其中P表示警戒參數(shù)，P越小，估計(jì)的結(jié)果越精確，但P過(guò)小可能會(huì)使鏈路測(cè)量值不 屬于所有的分類，當(dāng)P大于1時(shí)，神經(jīng)網(wǎng)絡(luò)的估計(jì)結(jié)果可靠性大大降低。
4.根據(jù)權(quán)利要求1所述多神經(jīng)網(wǎng)絡(luò)的流量矩陣估計(jì)方法，其特征在于，所述網(wǎng)絡(luò)估計(jì) 階段IPFP算法如下給定條件(1) OD初始估計(jì)值χ，χ的維數(shù)為η(2)觀測(cè)到某時(shí)刻的鏈路流量y，y的維數(shù)為m(3)當(dāng)前時(shí)刻路由矩陣A，A為mXn的矩陣Stepl設(shè)定最大迭代步數(shù)K，收斂的誤差ε，計(jì)算當(dāng)前鏈路誤差error
全文摘要
本發(fā)明為一種基于多神經(jīng)網(wǎng)絡(luò)的流量矩陣估計(jì)方法，可提高現(xiàn)有網(wǎng)絡(luò)流量矩陣估計(jì)的準(zhǔn)確性，它通過(guò)對(duì)樣本流量先分類，再分別訓(xùn)練，有效的克服了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)用于流量矩陣估計(jì)時(shí)存在記憶消失或變形的問(wèn)題；本發(fā)明的多神經(jīng)網(wǎng)絡(luò)估計(jì)的誤差明顯低于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)。
文檔編號(hào)H04L12/26GK102136087SQ201110054769
公開日2011年7月27日 申請(qǐng)日期2011年3月8日 優(yōu)先權(quán)日2011年3月8日
發(fā)明者張大方, 王曉陽(yáng) 申請(qǐng)人:湖南大學(xué)