本發(fā)明屬于大數(shù)據(jù)處理，具體涉及一種基于大數(shù)據(jù)的網(wǎng)絡(luò)行為分析方法。

背景技術(shù)：

1、隨著信息時(shí)代的到來(lái)，數(shù)據(jù)量呈現(xiàn)爆炸式增長(zhǎng)，如何從龐大的數(shù)據(jù)集中提取有價(jià)值的信息成為了關(guān)鍵。大數(shù)據(jù)處理涉及收集、存儲(chǔ)、處理和分析大規(guī)模的數(shù)據(jù)集，而大數(shù)據(jù)分析則能夠利用統(tǒng)計(jì)和機(jī)器學(xué)習(xí)算法從數(shù)據(jù)中提取模式、趨勢(shì)和關(guān)聯(lián)，幫助識(shí)別用戶(hù)的行為模式。

2、機(jī)器學(xué)習(xí)及人工智能技術(shù)的快速發(fā)展為網(wǎng)絡(luò)行為分析提供了強(qiáng)大的支持。機(jī)器學(xué)習(xí)算法能夠從大量數(shù)據(jù)中學(xué)習(xí)并發(fā)現(xiàn)模式和相關(guān)性，從而預(yù)測(cè)用戶(hù)的下一步行為。而人工智能技術(shù)的應(yīng)用則使得網(wǎng)絡(luò)行為分析更加智能化和自動(dòng)化，能夠更深入地理解用戶(hù)的行為和需求。

3、在互聯(lián)網(wǎng)步入大數(shù)據(jù)時(shí)代后，用戶(hù)行為給企業(yè)的產(chǎn)品和服務(wù)帶來(lái)了一系列的改變和重塑，其中最大的變化在于，用戶(hù)的一切行為在企業(yè)面前是可“追溯”“分析”的。企業(yè)內(nèi)保存了大量的原始數(shù)據(jù)和各種業(yè)務(wù)數(shù)據(jù)，這是企業(yè)經(jīng)營(yíng)活動(dòng)的真實(shí)記錄，如何更加有效地利用這些數(shù)據(jù)進(jìn)行分析和評(píng)估，成為企業(yè)基于更大數(shù)據(jù)量背景的問(wèn)題所在。

技術(shù)實(shí)現(xiàn)思路

1、為了克服上述現(xiàn)有技術(shù)存在的缺點(diǎn)與不足，本發(fā)明目的是提供一種基于大數(shù)據(jù)的網(wǎng)絡(luò)行為分析方法。

2、本發(fā)明采用如下技術(shù)方案：

3、一種基于大數(shù)據(jù)的網(wǎng)絡(luò)行為分析方法，流程如下：

4、步驟一、獲取用戶(hù)行為數(shù)據(jù)，識(shí)別用戶(hù)，根據(jù)用戶(hù)訪問(wèn)生成有用軌跡段；用戶(hù)數(shù)據(jù)包括用戶(hù)身份、訪問(wèn)日期、訪問(wèn)路徑、訪問(wèn)內(nèi)容、請(qǐng)求結(jié)果和瀏覽時(shí)間；

5、步驟二、將有用軌跡段分割為不同區(qū)域后，進(jìn)行頻繁序列挖掘，輸出用戶(hù)頻繁行為序列及其支持度，將頻繁行為序列作為用戶(hù)特征，并賦予權(quán)重；

6、步驟三、區(qū)分用戶(hù)的異常行為與正常行為，將得到的異常行為數(shù)據(jù)抽象成標(biāo)簽；

7、步驟四、構(gòu)建用戶(hù)畫(huà)像模型；

8、步驟五、建立異常行為模式特征庫(kù)，將待測(cè)用戶(hù)行為序列與異常行為模式特征庫(kù)進(jìn)行匹配，判斷是否為異常用戶(hù)；

9、步驟六、對(duì)異常用戶(hù)進(jìn)行異常行為特征提取，將提取用戶(hù)異常行為的精度進(jìn)行量化,完成對(duì)異常用戶(hù)的異常行為特征的分析。

10、作為優(yōu)選，步驟一具體如下：

11、通過(guò)web服務(wù)器產(chǎn)生的日志文件獲取用戶(hù)行為數(shù)據(jù)；

12、將用戶(hù)行為數(shù)據(jù)進(jìn)行用戶(hù)識(shí)別，過(guò)程如下：

13、當(dāng)ip地址不同時(shí)，代表多個(gè)不同用戶(hù)；

14、當(dāng)ip地址相同，并且用戶(hù)使用的操作系統(tǒng)和瀏覽器相同時(shí)，代表同一用戶(hù)；

15、當(dāng)ip地址相同，但用戶(hù)使用的操作系統(tǒng)和瀏覽器不同時(shí)，代表多個(gè)不同用戶(hù)；

16、當(dāng)用戶(hù)請(qǐng)求訪問(wèn)的某個(gè)頁(yè)面與之前訪問(wèn)的任一頁(yè)面均不相關(guān)時(shí)，代表出現(xiàn)一個(gè)新用戶(hù)；

17、當(dāng)用戶(hù)請(qǐng)求訪問(wèn)的某個(gè)頁(yè)面之前從未訪問(wèn)過(guò)，且在日志記錄中未有引用痕跡時(shí)，代表出現(xiàn)一個(gè)新用戶(hù)；

18、將用戶(hù)的訪問(wèn)分解成軌跡段，用以下形式表示：

19、r＝<u,{(pi,ti),…,(pk,tk)}>；

20、其中，r表示用戶(hù)在一段時(shí)間內(nèi)請(qǐng)求的頁(yè)面的集合序列；u表示用戶(hù)標(biāo)識(shí)；p表示用戶(hù)請(qǐng)求的頁(yè)面的標(biāo)識(shí)符；t表示時(shí)間；

21、設(shè)置用戶(hù)相鄰請(qǐng)求之間的超時(shí)時(shí)間閾值為θ，判斷是否滿(mǎn)足ti-ti-1≤q…1≤i＜＜q，若滿(mǎn)足，則標(biāo)記該軌跡為有用軌跡段。

22、作為優(yōu)選，步驟二具體如下：

23、對(duì)有用軌跡段按照時(shí)間順序進(jìn)行排序，獲得用戶(hù)行為數(shù)據(jù)序列y,并構(gòu)建用戶(hù)行為序列數(shù)據(jù)庫(kù)，用戶(hù)每個(gè)行為節(jié)點(diǎn)在序列中都有其對(duì)應(yīng)的位置，用戶(hù)行為序列表示一個(gè)用戶(hù)在某時(shí)間戳內(nèi)的操作；

24、用戶(hù)行為數(shù)據(jù)序列y＝(y1,y2,y3,y4，...，ym)，其中，m為正整數(shù)，對(duì)序列中的每個(gè)行為xm創(chuàng)建一個(gè)其對(duì)應(yīng)的點(diǎn)，并添加對(duì)應(yīng)的行為標(biāo)識(shí)符、時(shí)間戳和頁(yè)面id，使用時(shí)間戳對(duì)創(chuàng)建的點(diǎn)進(jìn)行排序，獲得用戶(hù)行為數(shù)據(jù)序列點(diǎn)集合x(chóng)＝x1,x2,x3,x4，...，xm),其中，m為正整數(shù)；

25、將空間內(nèi)任意一點(diǎn)xm作為圓心，設(shè)置半徑為r，形成圓形區(qū)域,將此圓形區(qū)域內(nèi)的所有點(diǎn)的集合標(biāo)記為鄰域br(xm),

26、br(xm)＝{xn∈d│dist(xm,xn)≤r}；

27、其中，dist(xm,xn)表示xm和xn之間的距離；

28、將鄰域內(nèi)樣本個(gè)數(shù)的最小值標(biāo)記為minpts；

29、從數(shù)據(jù)集x中隨機(jī)挑選一個(gè)點(diǎn)xm，判斷|br(xm)|是否大于等于minpts，當(dāng)|br(xm)|≥minpts，則判定xm為核心對(duì)象，加入核心集合y中；

30、從核心集合y中隨機(jī)挑選一個(gè)核心對(duì)象xn，將其密度可達(dá)的所有點(diǎn)，加入新的集合c1，形成第一個(gè)聚類(lèi)簇；

31、繼續(xù)訪問(wèn)數(shù)據(jù)集x中的下一個(gè)點(diǎn)，重復(fù)上述步驟，直到處理完數(shù)據(jù)集中的所有點(diǎn)，得到聚類(lèi)簇cm，將沒(méi)有包含在聚類(lèi)簇中的點(diǎn)標(biāo)記為噪音，予以刪除；

32、聚類(lèi)簇cm包括用戶(hù)基本屬性、職位屬性、業(yè)務(wù)屬性、時(shí)間屬性和空間屬性；其中，基本屬性包括用戶(hù)id和ip地址；職位屬性包括用戶(hù)具有的職位級(jí)別；業(yè)務(wù)屬性是用戶(hù)所具有的業(yè)務(wù)功能；時(shí)間屬性是用戶(hù)訪問(wèn)在時(shí)間上的分段；空間屬性是用戶(hù)訪問(wèn)在區(qū)域上的分段；

33、利用apriori算法對(duì)區(qū)域分割處理后的數(shù)據(jù)進(jìn)行頻繁行為序列挖掘處理，輸出用戶(hù)行為序列及其支持度；設(shè)置支持度閾值為ρ，剔除低于支持度閾值ρ的行為序列，保留高于支持度閾值ρ的行為序列及其支持度，并將其標(biāo)記為頻繁行為序列；

34、將頻繁行為序列作為用戶(hù)特征，每個(gè)用戶(hù)特征代表一個(gè)特定的用戶(hù)行為模式，包括多個(gè)用戶(hù)行為步驟；為每個(gè)用戶(hù)特征賦予權(quán)重。

35、作為優(yōu)選，步驟三具體如下：

36、建立正常行為模型，捕捉用戶(hù)的正常行為模式；

37、設(shè)定異常行為的檢測(cè)閾值，包括操作頻率的上下限、訪問(wèn)時(shí)長(zhǎng)的異常范圍，將偏離檢查閾值的行為劃分為異常行為；

38、對(duì)異常行為進(jìn)行標(biāo)簽化處理。

39、作為優(yōu)選，步驟五具體如下：

40、利用建立好的用戶(hù)畫(huà)像提取出用戶(hù)的異常行為模式特征，并構(gòu)建異常行為模式特征庫(kù)，其中，行為模式特征包括行為頻率、行為順序和行為時(shí)間間隔；

41、將待測(cè)用戶(hù)行為序列與異常行為模式特征庫(kù)進(jìn)行匹配，通過(guò)匹配是否成功來(lái)判斷是否為異常用戶(hù)，并據(jù)此提取用戶(hù)行為數(shù)據(jù)異常特征，具體過(guò)程如下：

42、利用tf-idf將待測(cè)用戶(hù)行為序列轉(zhuǎn)化為特征向量a＝[a1,a2,a3,...,ai]，將異常行為模式特征庫(kù)中異常特征序列轉(zhuǎn)化為特征向量b＝[b1,b2,b3,...,bj]；

43、通過(guò)動(dòng)態(tài)時(shí)間規(guī)整dtw計(jì)算向量a與向量b之間的距離，將向量b作為基準(zhǔn)序列b，向量a作為對(duì)比序列a，通過(guò)公式計(jì)算出距離，公式如下：

44、d(i,j)＝d(i,j)+min[d(i-1,j),d(i,j-1),d(i-1,j-1)]；

45、d(i,j)＝1-cos(ai,bj)；

46、其中，d(i,j)為ai與bj之間的余弦距離；d(i,j)為對(duì)比序列a前i個(gè)坐標(biāo)與基準(zhǔn)序列b前j個(gè)坐標(biāo)的距離之和；當(dāng)d(i,j)值小于預(yù)設(shè)閾值時(shí)，表示向量a與向量b之間距離越小，待測(cè)用戶(hù)行為序列與異常行為模式特征庫(kù)中異常特征序列越相似；當(dāng)d9i,j)值大于設(shè)置的用戶(hù)行為非正常閾值時(shí)，表示向量a與向量b之間距離越大，判定待測(cè)用戶(hù)行為序列為異常序列，將待測(cè)用戶(hù)標(biāo)記為異常用戶(hù)，完成對(duì)異常用戶(hù)的識(shí)別。

47、作為優(yōu)選，步驟六具體如下：

48、量化公式具體如下：

49、

50、其中，a表示檢測(cè)得到的異常特征量；a表示數(shù)據(jù)中異常特征總量；

51、當(dāng)f的值大于等于設(shè)定的精度閾值范圍最大值δ1時(shí)，判定提取用戶(hù)行為數(shù)據(jù)異常特征的精度為一級(jí)；

52、當(dāng)f的值小于精度閾值范圍最大值δ1且大于等于精度閾值范圍最小值δ2時(shí)，判定提取用戶(hù)行為數(shù)據(jù)異常特征的精度為二級(jí)；

53、當(dāng)f的值小于設(shè)定的精度閾值范圍最小值δ2時(shí)，判定提取用戶(hù)行為數(shù)據(jù)異常特征的精度為三級(jí)。

54、作為優(yōu)選，密度可達(dá)定義如下：若xn在xm的鄰域內(nèi)，且xm是核心對(duì)象，則xn由xm密度直達(dá)，若存在a1,a2,...,an,其中a1＝xm，an＝xn，且ai+1由ai密度直達(dá)，則xn由xm密度可達(dá)。

55、作為優(yōu)選，支持度定義如下：某個(gè)用戶(hù)行為序列在數(shù)據(jù)集中出現(xiàn)的頻率。

56、作為優(yōu)選，對(duì)異常行為進(jìn)行標(biāo)簽化處理中，標(biāo)簽數(shù)目大于等于1。

57、綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是：

58、1、本發(fā)明通過(guò)服務(wù)器獲取用戶(hù)行為數(shù)據(jù)，能夠?qū)崟r(shí)、全面地記錄用戶(hù)在平臺(tái)上的操作，從而生成更為精準(zhǔn)的用戶(hù)軌跡段，進(jìn)一步地，通過(guò)頻繁序列挖掘，能夠發(fā)現(xiàn)用戶(hù)的頻繁行為序列，這些序列作為用戶(hù)特征，更能代表用戶(hù)的真實(shí)行為模式，當(dāng)區(qū)分用戶(hù)的異常行為與正常行為時(shí)，準(zhǔn)確性會(huì)大大提高，有助于更精確地識(shí)別異常用戶(hù)；

59、2、本發(fā)明基于用戶(hù)畫(huà)像模型和異常行為模式特征庫(kù)，可以更加深入地了解用戶(hù)的行為偏好和需求。對(duì)于異常行為，平臺(tái)可以及時(shí)作出響應(yīng)，如提醒用戶(hù)注意賬戶(hù)安全，進(jìn)行必要的風(fēng)險(xiǎn)防控措施，從而保護(hù)用戶(hù)的權(quán)益；

60、3、本發(fā)明通過(guò)異常行為模式特征庫(kù)的建立，使得平臺(tái)能夠迅速將待測(cè)用戶(hù)行為序列與庫(kù)中的異常行為模式進(jìn)行匹配。一旦匹配成功，即可判斷該用戶(hù)為異常用戶(hù)，進(jìn)而采取相應(yīng)的風(fēng)險(xiǎn)防控措施。這種自動(dòng)化的匹配和判斷過(guò)程，大大提高了風(fēng)險(xiǎn)防控的效率和準(zhǔn)確性，有助于減少潛在的安全隱患和經(jīng)濟(jì)損失。