本發(fā)明涉及網(wǎng)絡(luò)安全和大數(shù)據(jù)，尤其涉及一種網(wǎng)絡(luò)流量存儲(chǔ)前置過(guò)濾方法和裝置。

背景技術(shù)：

1、隨著互聯(lián)網(wǎng)和數(shù)字化技術(shù)的迅猛發(fā)展，網(wǎng)絡(luò)流量呈現(xiàn)出爆炸性增長(zhǎng)趨勢(shì)。企業(yè)、組織和個(gè)人在網(wǎng)絡(luò)上進(jìn)行各種活動(dòng)，產(chǎn)生了海量的數(shù)據(jù)和信息。為了有效管理和利用這些數(shù)據(jù)，網(wǎng)絡(luò)流量存儲(chǔ)顯得尤為重要。網(wǎng)絡(luò)流量存儲(chǔ)不僅能夠保障數(shù)據(jù)的完整性和可靠性，還為后續(xù)的數(shù)據(jù)分析、業(yè)務(wù)決策等提供了重要的數(shù)據(jù)基礎(chǔ)。

2、然而，在實(shí)際應(yīng)用中，網(wǎng)絡(luò)流量存儲(chǔ)面臨著諸多挑戰(zhàn)。其中最為突出的問(wèn)題是視頻、游戲等大數(shù)據(jù)流量占據(jù)網(wǎng)絡(luò)流量的很大比例，而這些流量對(duì)于后續(xù)的數(shù)據(jù)分析價(jià)值往往并不高。這些大數(shù)據(jù)流量不僅占用大量存儲(chǔ)資源，還可能導(dǎo)致存儲(chǔ)系統(tǒng)過(guò)載，影響整體性能，同時(shí)，也影響后續(xù)數(shù)據(jù)分析的效率。因此，如何有效地過(guò)濾這些價(jià)值不高的流量，緩解存儲(chǔ)壓力，成為當(dāng)前亟待解決的問(wèn)題。

3、針對(duì)網(wǎng)絡(luò)流量過(guò)濾存儲(chǔ)的挑戰(zhàn)，現(xiàn)有技術(shù)已經(jīng)提出了一些解決方案，但仍存在明顯的不足和缺陷：

4、(1)過(guò)濾效率問(wèn)題：現(xiàn)有技術(shù)中的過(guò)濾方法往往依賴于用戶態(tài)的處理程序，需要在用戶態(tài)和內(nèi)核態(tài)之間進(jìn)行頻繁的數(shù)據(jù)復(fù)制和上下文切換。這不僅增加了處理時(shí)間，還可能導(dǎo)致數(shù)據(jù)丟失或錯(cuò)誤，降低了過(guò)濾效率。對(duì)于大規(guī)模網(wǎng)絡(luò)流量處理，這種低效的過(guò)濾方法顯然無(wú)法滿足需求。

5、(2)缺乏動(dòng)態(tài)性和靈活性：現(xiàn)有技術(shù)的過(guò)濾規(guī)則一旦設(shè)定，往往難以根據(jù)網(wǎng)絡(luò)環(huán)境和業(yè)務(wù)需求的變化進(jìn)行實(shí)時(shí)調(diào)整。隨著網(wǎng)絡(luò)應(yīng)用的多樣化和復(fù)雜化，流量類型和特征也在不斷變化，而現(xiàn)有技術(shù)無(wú)法適應(yīng)這種變化，導(dǎo)致過(guò)濾效果不理想。缺乏動(dòng)態(tài)性和靈活性的過(guò)濾方法無(wú)法滿足實(shí)際應(yīng)用的需求。

6、(3)流量識(shí)別不準(zhǔn)確：現(xiàn)有技術(shù)中的流量識(shí)別方法往往只能識(shí)別簡(jiǎn)單的流量特征，無(wú)法準(zhǔn)確識(shí)別復(fù)雜的流量類型和應(yīng)用協(xié)議。這導(dǎo)致一些價(jià)值不高的流量被誤判為重要流量，占用了寶貴的存儲(chǔ)資源。同時(shí)，一些重要的流量也可能被誤判為無(wú)價(jià)值流量，導(dǎo)致數(shù)據(jù)丟失和誤判。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問(wèn)題在于，提供一種網(wǎng)絡(luò)流量存儲(chǔ)前置過(guò)濾方法和裝置，有利于解決現(xiàn)有網(wǎng)絡(luò)流量過(guò)濾存儲(chǔ)技術(shù)存在的過(guò)濾效率低、缺乏動(dòng)態(tài)性和靈活性以及流量識(shí)別不準(zhǔn)確的問(wèn)題。

2、為了解決上述技術(shù)問(wèn)題，本發(fā)明實(shí)施例第一方面公開(kāi)了一種網(wǎng)絡(luò)流量存儲(chǔ)前置過(guò)濾方法，包括：

3、s1，對(duì)流量過(guò)濾規(guī)則進(jìn)行配置；所述流量過(guò)濾規(guī)則，包括需要過(guò)濾的網(wǎng)絡(luò)流量的ip地址信息、端口信息、協(xié)議信息以及組合信息；所述組合信息，是設(shè)定的ip地址信息、端口信息、協(xié)議信息的組合；

4、s2，獲取初始的網(wǎng)絡(luò)流量；所述網(wǎng)絡(luò)流量，包括數(shù)據(jù)包；

5、s3，利用流量過(guò)濾規(guī)則，對(duì)所述網(wǎng)絡(luò)流量進(jìn)行過(guò)濾處理，得到過(guò)濾的網(wǎng)絡(luò)流量信息；

6、s4，對(duì)所述過(guò)濾的網(wǎng)絡(luò)流量信息進(jìn)行應(yīng)用識(shí)別過(guò)濾處理，得到有效網(wǎng)絡(luò)流量信息；

7、s5，利用所述有效網(wǎng)絡(luò)流量信息，對(duì)流量過(guò)濾規(guī)則進(jìn)行更新處理；

8、s6，基于有效網(wǎng)絡(luò)流量信息的應(yīng)用類型信息，對(duì)所述有效網(wǎng)絡(luò)流量信息進(jìn)行分類存儲(chǔ)處理。

9、所述利用所述流量過(guò)濾規(guī)則，對(duì)所述網(wǎng)絡(luò)流量進(jìn)行過(guò)濾處理，得到過(guò)濾的網(wǎng)絡(luò)流量信息，包括：

10、s31，獲取所述網(wǎng)絡(luò)流量的ip地址信息、端口信息、協(xié)議信息；

11、s32，利用所述流量過(guò)濾規(guī)則，對(duì)所述網(wǎng)絡(luò)流量的ip地址信息、端口信息和協(xié)議信息進(jìn)行匹配處理，得到匹配的ip地址信息、端口信息和協(xié)議信息；

12、s33，將所述匹配的ip地址信息、端口信息和協(xié)議信息對(duì)應(yīng)的網(wǎng)絡(luò)流量，從所述初始的網(wǎng)絡(luò)流量中刪除，得到過(guò)濾的網(wǎng)絡(luò)流量信息。

13、所述對(duì)所述過(guò)濾的網(wǎng)絡(luò)流量信息進(jìn)行應(yīng)用識(shí)別過(guò)濾處理，得到有效網(wǎng)絡(luò)流量信息，包括：

14、s41，獲取所述過(guò)濾的網(wǎng)絡(luò)流量信息的應(yīng)用類型信息；

15、s42，利用預(yù)設(shè)的過(guò)濾應(yīng)用信息，對(duì)所述應(yīng)用類型信息進(jìn)行匹配處理，得到匹配應(yīng)用類型信息；

16、s43，基于匹配應(yīng)用類型信息，確定出待過(guò)濾的網(wǎng)絡(luò)流量信息；

17、s44，將所述待過(guò)濾的網(wǎng)絡(luò)流量信息，從所述過(guò)濾的網(wǎng)絡(luò)流量信息中刪除，得到有效網(wǎng)絡(luò)流量信息。

18、所述基于匹配應(yīng)用類型信息，確定出待過(guò)濾的網(wǎng)絡(luò)流量信息，包括：

19、s431，對(duì)所述匹配應(yīng)用類型信息、匹配的ip地址信息、端口信息和協(xié)議信息，分別進(jìn)行量化編碼處理，得到應(yīng)用數(shù)字序列、地址數(shù)字序列、端口數(shù)字序列和協(xié)議數(shù)字序列；

20、s432，利用所述應(yīng)用數(shù)字序列、地址數(shù)字序列、端口數(shù)字序列和協(xié)議數(shù)字序列，構(gòu)建得到匹配過(guò)濾矩陣；所述匹配過(guò)濾矩陣的行向量，為數(shù)字序列；所述匹配過(guò)濾矩陣的第1至第4行向量，分別為應(yīng)用數(shù)字序列、地址數(shù)字序列、端口數(shù)字序列和協(xié)議數(shù)字序列；

21、s433，對(duì)所述匹配過(guò)濾矩陣進(jìn)行分解處理，得到匹配過(guò)濾矩陣的左分解矩陣、特征矩陣和右分解矩陣；

22、所述分解處理，其計(jì)算表達(dá)式為：

23、y＝uqv，

24、其中，y為匹配過(guò)濾矩陣，u為左分解矩陣，q為特征矩陣，v為右分解矩陣，u和v均為正交矩陣；

25、s434，對(duì)所述特征矩陣進(jìn)行特征計(jì)算處理，得到第一特征矩陣h；

26、所述特征計(jì)算處理的表達(dá)式為：

27、

28、其中，qki為特征矩陣q的第k行、第i列的元素，m和n分別為特征矩陣q的行維度和列維度，hki為第一特征矩陣h的第k行、第i列的元素；

29、s435，對(duì)所述第一特征矩陣h的第一行元素進(jìn)行量化譯碼處理，得到對(duì)應(yīng)的待過(guò)濾匹配應(yīng)用類型信息；

30、s436，確定所述過(guò)濾的網(wǎng)絡(luò)流量信息中的待過(guò)濾匹配應(yīng)用類型信息所對(duì)應(yīng)的網(wǎng)絡(luò)流量信息，為待過(guò)濾的網(wǎng)絡(luò)流量信息；

31、s437，對(duì)所述特征矩陣h的第二至第四行元素分別進(jìn)行量化譯碼處理，得到更新的ip地址信息、端口信息和協(xié)議信息。

32、所述利用所述有效網(wǎng)絡(luò)流量信息，對(duì)流量過(guò)濾規(guī)則進(jìn)行更新處理，包括：

33、將所述匹配的ip地址信息、端口信息和協(xié)議信息和所述更新的ip地址信息、端口信息和協(xié)議信息，添加到流量過(guò)濾規(guī)則中，完成對(duì)流量過(guò)濾規(guī)則的更新處理。

34、所述基于有效網(wǎng)絡(luò)流量信息的應(yīng)用類型信息，對(duì)所述有效網(wǎng)絡(luò)流量信息進(jìn)行分類存儲(chǔ)處理，包括：

35、利用預(yù)設(shè)的本地存儲(chǔ)應(yīng)用類型信息，對(duì)所述有效網(wǎng)絡(luò)流量信息的應(yīng)用類型信息進(jìn)行匹配處理，得到第一匹配應(yīng)用類型；

36、將所述第一匹配應(yīng)用類型對(duì)應(yīng)的網(wǎng)絡(luò)流量，進(jìn)行本地存儲(chǔ)；

37、利用預(yù)設(shè)的云存儲(chǔ)應(yīng)用類型信息，對(duì)所述有效網(wǎng)絡(luò)流量信息的應(yīng)用類型信息進(jìn)行匹配處理，得到第二匹配應(yīng)用類型；

38、將所述第二匹配應(yīng)用類型對(duì)應(yīng)的網(wǎng)絡(luò)流量，進(jìn)行云存儲(chǔ)。

39、本發(fā)明實(shí)施例第二方面，公開(kāi)了一種網(wǎng)絡(luò)流量存儲(chǔ)前置過(guò)濾裝置，其特征在于，用于實(shí)現(xiàn)所述網(wǎng)絡(luò)流量存儲(chǔ)前置過(guò)濾方法，包括：流量過(guò)濾規(guī)則模塊、應(yīng)用識(shí)別過(guò)濾模塊和分類存儲(chǔ)模塊；

40、所述流量過(guò)濾規(guī)則模塊，是基于部署于服務(wù)器上的ebpf模塊來(lái)實(shí)現(xiàn)，用于利用所述流量過(guò)濾規(guī)則，對(duì)所述網(wǎng)絡(luò)流量進(jìn)行過(guò)濾處理，得到過(guò)濾的網(wǎng)絡(luò)流量信息；利用所述有效網(wǎng)絡(luò)流量信息，對(duì)流量過(guò)濾規(guī)則進(jìn)行更新處理；

41、所述應(yīng)用識(shí)別過(guò)濾模塊，與所述流量過(guò)濾規(guī)則模塊和分類存儲(chǔ)模塊連接，用于對(duì)所述過(guò)濾的網(wǎng)絡(luò)流量信息進(jìn)行應(yīng)用識(shí)別過(guò)濾處理，得到有效網(wǎng)絡(luò)流量信息；

42、所述分類存儲(chǔ)模塊，用于基于有效網(wǎng)絡(luò)流量信息的應(yīng)用類型信息，對(duì)所述有效網(wǎng)絡(luò)流量信息進(jìn)行分類存儲(chǔ)處理。

43、本發(fā)明實(shí)施例第三方面，公開(kāi)了一種計(jì)算機(jī)可存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被調(diào)用時(shí)，用于執(zhí)行所述的網(wǎng)絡(luò)流量存儲(chǔ)前置過(guò)濾方法。

44、本發(fā)明實(shí)施例第四方面，公開(kāi)了一種信息數(shù)據(jù)處理終端，所述信息數(shù)據(jù)處理終端用于實(shí)現(xiàn)所述的網(wǎng)絡(luò)流量存儲(chǔ)前置過(guò)濾方法。

45、本發(fā)明的有益效果為：

46、本發(fā)明提出了一種基于ebpf和應(yīng)用識(shí)別的網(wǎng)絡(luò)流量存儲(chǔ)前置過(guò)濾方法和裝置。該方法利用ebpf在內(nèi)核態(tài)直接過(guò)濾網(wǎng)絡(luò)流量，避免了數(shù)據(jù)復(fù)制和上下文切換，提高了過(guò)濾效率。同時(shí)，在用戶態(tài)，該方法利用應(yīng)用識(shí)別技術(shù)對(duì)網(wǎng)絡(luò)流量進(jìn)行類型識(shí)別，將識(shí)別結(jié)果實(shí)時(shí)反饋到內(nèi)核態(tài)以更新ebpf過(guò)濾規(guī)則。這種用戶態(tài)與內(nèi)核態(tài)的協(xié)同工作，使得過(guò)濾規(guī)則能夠根據(jù)網(wǎng)絡(luò)環(huán)境和業(yè)務(wù)需求進(jìn)行動(dòng)態(tài)調(diào)整，進(jìn)一步增強(qiáng)了過(guò)濾的高效性和準(zhǔn)確性。通過(guò)采用這種前置過(guò)濾方法和裝置，能夠在網(wǎng)絡(luò)流量的源頭，即內(nèi)核態(tài)ebpf處，有效地過(guò)濾掉價(jià)值不高的視頻、游戲等流量。這種在內(nèi)核態(tài)ebpf層面的前置過(guò)濾，不僅阻止了不必要的數(shù)據(jù)進(jìn)入存儲(chǔ)系統(tǒng)，從而緩解存儲(chǔ)壓力，而且還顯著提高了存儲(chǔ)系統(tǒng)整體性能。同時(shí)，由于本發(fā)明方法能夠?qū)崟r(shí)監(jiān)測(cè)網(wǎng)絡(luò)環(huán)境的變化，并根據(jù)變化動(dòng)態(tài)地調(diào)整過(guò)濾規(guī)則，確保了過(guò)濾效果的準(zhǔn)確性和靈活性。本發(fā)明的優(yōu)點(diǎn)包括：

47、1.高效過(guò)濾：利用ebpf的高效過(guò)濾能力，在操作系統(tǒng)內(nèi)核級(jí)別對(duì)流量進(jìn)行初步篩選，降低了處理復(fù)雜性和延遲。

48、2.精確識(shí)別：應(yīng)用識(shí)別模塊能夠精確識(shí)別流量的應(yīng)用類型，為后續(xù)過(guò)濾和存儲(chǔ)提供了準(zhǔn)確的數(shù)據(jù)支持。

49、3.動(dòng)態(tài)適應(yīng)：根據(jù)應(yīng)用類型的識(shí)別結(jié)果，動(dòng)態(tài)調(diào)整ebpf過(guò)濾規(guī)則，保持過(guò)濾效果的持續(xù)優(yōu)化和適應(yīng)性。

50、4.智能存儲(chǔ)：通過(guò)智能存儲(chǔ)管理，只存儲(chǔ)符合用戶需求和過(guò)濾規(guī)則的流量，提高了存儲(chǔ)效率。同時(shí)，根據(jù)流量的應(yīng)用類型和重要性進(jìn)行差異化存儲(chǔ)，進(jìn)一步優(yōu)化了存儲(chǔ)空間的利用。

51、5.裝置采用模塊化設(shè)計(jì)，易于擴(kuò)展和維護(hù)，可廣泛應(yīng)用于各種網(wǎng)絡(luò)環(huán)境和應(yīng)用場(chǎng)景。