基于廣電網(wǎng)絡(luò)的綜合數(shù)據(jù)采集系統(tǒng)和方法
【專利摘要】本發(fā)明實(shí)施例提供一種基于廣電網(wǎng)絡(luò)的綜合數(shù)據(jù)采集系統(tǒng)和方法。本系統(tǒng)，包括：數(shù)據(jù)采集硬件加速器，其中，第一萬兆網(wǎng)絡(luò)接口一端與數(shù)據(jù)采集服務(wù)器的萬兆網(wǎng)絡(luò)接口連接，第二萬兆網(wǎng)絡(luò)接口模塊一端與運(yùn)營商外部網(wǎng)絡(luò)連接、第三萬兆網(wǎng)絡(luò)接口一端與用戶內(nèi)部網(wǎng)絡(luò)連接，第一萬兆網(wǎng)絡(luò)接口、第二萬兆網(wǎng)絡(luò)接口和所述第三萬兆網(wǎng)絡(luò)接口另一端與數(shù)據(jù)采集硬件加速器的FPGA模塊連接；至少一個(gè)FPGA模塊，用于處理與調(diào)度所述數(shù)據(jù)采集硬件加速器內(nèi)部數(shù)據(jù)；至少一個(gè)TCAM模塊，用于接收FPGA模塊發(fā)送的查詢指令，并進(jìn)行規(guī)則匹配查詢數(shù)據(jù)，實(shí)現(xiàn)了廣電網(wǎng)絡(luò)大數(shù)據(jù)量的搜索及控制。保證了廣電網(wǎng)絡(luò)數(shù)據(jù)高速傳輸?shù)耐瑫r(shí)，還可以對(duì)數(shù)據(jù)的進(jìn)行分析及還原。
【專利說明】基于廣電網(wǎng)絡(luò)的綜合數(shù)據(jù)采集系統(tǒng)和方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明實(shí)施例涉及電通信領(lǐng)域，尤其涉及一種基于廣電網(wǎng)絡(luò)的綜合數(shù)據(jù)采集系統(tǒng)和方法。

【背景技術(shù)】
[0002]隨著廣電網(wǎng)絡(luò)的日益發(fā)展，傳統(tǒng)的廣播電視業(yè)務(wù)也發(fā)生了互動(dòng)點(diǎn)播、內(nèi)容推送等一系列革命性的轉(zhuǎn)變，除此之外，在三網(wǎng)融合的背景下，廣播電視運(yùn)營商在傳統(tǒng)業(yè)務(wù)的基礎(chǔ)上，利用已有的廣播電視網(wǎng)絡(luò)，增加了互聯(lián)網(wǎng)數(shù)據(jù)的服務(wù)內(nèi)容，使得廣播電視運(yùn)營商的業(yè)務(wù)范圍及業(yè)務(wù)量呈現(xiàn)爆炸式的增長。因此，對(duì)廣電網(wǎng)絡(luò)中的數(shù)據(jù)采集就顯得尤為重要:首先，能夠從海量的廣電網(wǎng)絡(luò)數(shù)據(jù)中找到符合網(wǎng)絡(luò)管理員需要的數(shù)據(jù)；其次，這些廣電網(wǎng)絡(luò)數(shù)據(jù)能夠根據(jù)網(wǎng)絡(luò)管理員的意愿進(jìn)行分類傳送；再次，這些廣電網(wǎng)絡(luò)數(shù)據(jù)能夠被發(fā)送到指定的數(shù)據(jù)采集服務(wù)器中；最后，網(wǎng)絡(luò)管理員能夠控制廣電網(wǎng)絡(luò)數(shù)據(jù)的收發(fā)，即不想讓用戶訪問的數(shù)據(jù)，不發(fā)送到用戶，想分析使用的數(shù)據(jù)，網(wǎng)絡(luò)管理員在得到的同時(shí)，還不影響用戶的正常使用行為。
[0003]要實(shí)現(xiàn)廣電網(wǎng)絡(luò)大數(shù)據(jù)量的搜索及控制，現(xiàn)有技術(shù)中，軟件處理廣電網(wǎng)絡(luò)大數(shù)據(jù)的速度及控制精度遠(yuǎn)遠(yuǎn)達(dá)不到用戶的實(shí)際需求，而且硬件對(duì)于該些大數(shù)據(jù)的還原及綜合分析能力又束手無策。


【發(fā)明內(nèi)容】

[0004]本發(fā)明實(shí)施例提供一種基于廣電網(wǎng)絡(luò)的綜合采集系統(tǒng)和方法，以克服現(xiàn)有技術(shù)中，廣電網(wǎng)絡(luò)數(shù)據(jù)量大的搜索及控制不夠準(zhǔn)確和效率低的問題。
[0005]本實(shí)施例提供一種基于廣電網(wǎng)絡(luò)的綜合數(shù)據(jù)采集系統(tǒng)，包括:
[0006]數(shù)據(jù)采集硬件加速器和數(shù)據(jù)采集服務(wù)器，所述數(shù)據(jù)采集硬件加速器，包括:網(wǎng)絡(luò)接口模塊，所述網(wǎng)絡(luò)接口模塊至少有三個(gè)萬兆網(wǎng)絡(luò)接口，用于接收、發(fā)送網(wǎng)絡(luò)報(bào)文數(shù)據(jù)，第一萬兆網(wǎng)絡(luò)接口一端與數(shù)據(jù)采集服務(wù)器的萬兆網(wǎng)絡(luò)接口連接，第二萬兆網(wǎng)絡(luò)接口模塊一端與運(yùn)營商外部網(wǎng)絡(luò)連接、第三萬兆網(wǎng)絡(luò)接口一端與用戶內(nèi)部網(wǎng)絡(luò)連接，所述第一萬兆網(wǎng)絡(luò)接口、所述第二萬兆網(wǎng)絡(luò)接口和所述第三萬兆網(wǎng)絡(luò)接口另一端與所述數(shù)據(jù)采集硬件加速器的FPGA模塊連接；
[0007]至少一個(gè)FPGA模塊，用于處理與調(diào)度所述數(shù)據(jù)采集硬件加速器內(nèi)部數(shù)據(jù)；
[0008]至少一個(gè)TCAM模塊，用于接收所述FPGA模塊發(fā)送的查詢指令，并進(jìn)行規(guī)則匹配查詢數(shù)據(jù)，與所述FPGA模塊連接；
[0009]所述數(shù)據(jù)采集服務(wù)器，包括至少一個(gè)所述萬兆網(wǎng)絡(luò)接口，用于接收、處理網(wǎng)絡(luò)報(bào)文數(shù)據(jù)，與所述數(shù)據(jù)采集硬件加速器的網(wǎng)絡(luò)接口模塊相連接。
[0010]進(jìn)一步地，所述FPGA模塊包括如下模塊:
[0011]串行數(shù)據(jù)解析單元，用于將所述網(wǎng)絡(luò)接口串行網(wǎng)絡(luò)報(bào)文數(shù)據(jù)轉(zhuǎn)換為并行網(wǎng)絡(luò)報(bào)文數(shù)據(jù)；
[0012]報(bào)文糾錯(cuò)單元，用于刪除錯(cuò)誤網(wǎng)絡(luò)報(bào)文數(shù)據(jù)；
[0013]報(bào)文頭解析單元，用于解析網(wǎng)絡(luò)報(bào)文數(shù)據(jù)幀頭信息；
[0014]控制查詢單元，用于控制所述TCAM模塊查詢所述網(wǎng)絡(luò)報(bào)文數(shù)據(jù)負(fù)載信息；
[0015]負(fù)載均衡單元，用于將待發(fā)送的所述網(wǎng)絡(luò)報(bào)文數(shù)據(jù)進(jìn)行負(fù)載均衡傳輸；
[0016]報(bào)文發(fā)送單元，用于發(fā)送處理過后所述網(wǎng)絡(luò)報(bào)文數(shù)據(jù)；
[0017]所述串行數(shù)據(jù)解析單元與萬兆網(wǎng)絡(luò)接口、報(bào)文糾錯(cuò)單元連接，所述報(bào)文糾錯(cuò)單元與所述報(bào)文頭解析單元連接，所述控制查詢單元與所述報(bào)文頭解析單元、TCAM模塊連接，所述負(fù)載均衡單元與控制查詢單元、報(bào)文發(fā)送單元連接，所述報(bào)文發(fā)送單元與萬兆網(wǎng)絡(luò)接口連接。
[0018]進(jìn)一步地，所述TCAM模塊采用正則表達(dá)式的方式對(duì)數(shù)據(jù)進(jìn)行查詢。
[0019]進(jìn)一步地，所述報(bào)文頭解析單元，具體用于:
[0020]解析基于TCP/IP參考模型的網(wǎng)際互聯(lián)層、傳輸層、應(yīng)用層的報(bào)文數(shù)據(jù)幀頭信息。
[0021]進(jìn)一步地，所述數(shù)據(jù)采集服務(wù)器，還用于:
[0022]將接收到的網(wǎng)絡(luò)報(bào)文數(shù)據(jù)進(jìn)行還原，并將還原后的數(shù)據(jù)采集入庫。
[0023]本實(shí)施例還一種基于廣電網(wǎng)絡(luò)的綜合數(shù)據(jù)采集方法，包括:
[0024]數(shù)據(jù)采集硬件加速器將網(wǎng)絡(luò)接口接收的串行網(wǎng)絡(luò)報(bào)文數(shù)據(jù)轉(zhuǎn)換為FPGA內(nèi)部并行的網(wǎng)絡(luò)報(bào)文數(shù)據(jù)；
[0025]所述數(shù)據(jù)采集硬件加速器刪除錯(cuò)誤網(wǎng)絡(luò)報(bào)文數(shù)據(jù)；
[0026]所述數(shù)據(jù)采集硬件加速器解析所述網(wǎng)絡(luò)報(bào)文數(shù)據(jù)幀頭信息；
[0027]所述數(shù)據(jù)采集硬件加速器根據(jù)解析后的網(wǎng)絡(luò)報(bào)文數(shù)據(jù)幀頭確定查詢負(fù)載信息；
[0028]所述數(shù)據(jù)采集硬件加速器根據(jù)所述查詢負(fù)載信息查詢網(wǎng)絡(luò)報(bào)文；
[0029]所述數(shù)據(jù)采集硬件加速器根據(jù)所述查詢結(jié)果向數(shù)據(jù)采集服務(wù)器器進(jìn)行負(fù)載均衡傳輸網(wǎng)絡(luò)報(bào)文數(shù)據(jù)。
[0030]進(jìn)一步地，所述數(shù)據(jù)采集硬件加速器根據(jù)所述查詢結(jié)果向數(shù)據(jù)采集服務(wù)器進(jìn)行負(fù)載均衡傳輸網(wǎng)絡(luò)報(bào)文數(shù)據(jù)之后，還包括:
[0031]所述數(shù)據(jù)采集服務(wù)器根據(jù)所述網(wǎng)絡(luò)報(bào)文數(shù)據(jù)幀頭信息還原所述網(wǎng)絡(luò)報(bào)文數(shù)據(jù)，并將所述網(wǎng)絡(luò)報(bào)文數(shù)據(jù)采集入庫。
[0032]本發(fā)明實(shí)施例提供了一種數(shù)據(jù)采集硬件加速器和數(shù)據(jù)采集服務(wù)器，實(shí)現(xiàn)了廣電網(wǎng)絡(luò)數(shù)據(jù)采集的多平臺(tái)間的協(xié)同工作，保證了廣電網(wǎng)絡(luò)數(shù)據(jù)高速傳輸?shù)耐瑫r(shí)，還可以對(duì)數(shù)據(jù)的進(jìn)行分析、管理、控制及還原。提高了數(shù)據(jù)的準(zhǔn)確性。

【專利附圖】

【附圖說明】
[0033]為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0034]圖1為本發(fā)明廣電網(wǎng)絡(luò)的數(shù)據(jù)采集系統(tǒng)結(jié)構(gòu)示意圖；
[0035]圖2為本發(fā)明FPGA模塊各單元之間的結(jié)構(gòu)示意圖；
[0036]圖3為本發(fā)明廣電網(wǎng)絡(luò)的數(shù)據(jù)采集系統(tǒng)方法流程圖。

【具體實(shí)施方式】
[0037]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0038]圖1為本發(fā)明廣電網(wǎng)絡(luò)的數(shù)據(jù)采集系統(tǒng)結(jié)構(gòu)示意圖，如圖1所示，本系統(tǒng)，包括:
[0039]數(shù)據(jù)采集硬件加速器101和數(shù)據(jù)采集服務(wù)器102 ;
[0040]所述數(shù)據(jù)采集硬件加速器101，包括:網(wǎng)絡(luò)接口模塊103，所述網(wǎng)絡(luò)接口模塊至少有三個(gè)萬兆網(wǎng)絡(luò)接口，用于接收、發(fā)送網(wǎng)絡(luò)報(bào)文數(shù)據(jù)，第一萬兆網(wǎng)絡(luò)接口 104 —端與數(shù)據(jù)采集服務(wù)器的萬兆網(wǎng)絡(luò)接口 107連接，第二萬兆網(wǎng)絡(luò)接口模塊105 —端與運(yùn)營商外部網(wǎng)絡(luò)108連接、第三萬兆網(wǎng)絡(luò)接口 106—端與用戶內(nèi)部網(wǎng)絡(luò)109連接，所述第一萬兆網(wǎng)絡(luò)接口 104、所述第二萬兆網(wǎng)絡(luò)接口 105和所述第三萬兆網(wǎng)絡(luò)接口 106另一端與所述數(shù)據(jù)采集硬件加速器的FPGA模塊110連接；
[0041]至少一個(gè)FPGA模塊110，用于處理與調(diào)度所述數(shù)據(jù)采集硬件加速器內(nèi)部數(shù)據(jù)；
[0042]至少一個(gè)TCAM模塊111，用于接收所述FPGA模塊110發(fā)送的查詢指令，并進(jìn)行規(guī)則匹配查詢數(shù)據(jù)，與所述FPGA模塊110連接；
[0043]所述數(shù)據(jù)采集服務(wù)器102，包括至少一個(gè)所述萬兆網(wǎng)絡(luò)接口 107，用于接收、處理網(wǎng)絡(luò)報(bào)文數(shù)據(jù)，與所述數(shù)據(jù)采集硬件加速器的網(wǎng)絡(luò)接口模塊103中的第一萬兆網(wǎng)絡(luò)接口104相連接。
[0044]具體來說，本實(shí)施例的廣電網(wǎng)絡(luò)的綜合數(shù)據(jù)采集系統(tǒng)可包括數(shù)據(jù)采集硬件加速器和數(shù)據(jù)采集服務(wù)器，該數(shù)據(jù)采集硬件加速器包括網(wǎng)絡(luò)接口模塊、FPGA模塊和TCAM模塊，該網(wǎng)絡(luò)接口模塊至少有三個(gè)萬兆網(wǎng)絡(luò)接口，用于接收、發(fā)送網(wǎng)絡(luò)報(bào)文數(shù)據(jù)，其中的第一萬兆網(wǎng)絡(luò)接口一端與數(shù)據(jù)采集服務(wù)器的萬兆網(wǎng)絡(luò)接口連接，第二萬兆網(wǎng)絡(luò)接口一端與運(yùn)營商外部網(wǎng)絡(luò)連接，第三萬兆網(wǎng)絡(luò)接口一端與用戶內(nèi)部網(wǎng)絡(luò)連接，上述三個(gè)萬兆網(wǎng)絡(luò)接口的另一端與數(shù)據(jù)采集硬件加速器的FPGA模塊連接。該FPGA模塊用于處理與調(diào)度所述數(shù)據(jù)采集硬件加速器內(nèi)部數(shù)據(jù)。該TCAM模塊與FPGA模塊相連接，用于接收該FPGA模塊發(fā)送的查詢指令，并根據(jù)該查詢指令匹配查詢數(shù)據(jù)。
[0045]進(jìn)一步地，所述FPGA模塊包括如下單元:
[0046]串行數(shù)據(jù)解析單元，用于及將所述網(wǎng)絡(luò)接口串行網(wǎng)絡(luò)報(bào)文數(shù)據(jù)轉(zhuǎn)換為并行網(wǎng)絡(luò)報(bào)文數(shù)據(jù)；
[0047]報(bào)文糾錯(cuò)單元，用于刪除錯(cuò)誤網(wǎng)絡(luò)報(bào)文數(shù)據(jù)；
[0048]報(bào)文頭解析單元，用于解析網(wǎng)絡(luò)報(bào)文數(shù)據(jù)幀頭信息；
[0049]控制查詢單元，用于控制所述TCAM模塊查詢所述網(wǎng)絡(luò)報(bào)文數(shù)據(jù)負(fù)載信息；
[0050]負(fù)載均衡單元，用于對(duì)待發(fā)送的所述網(wǎng)絡(luò)報(bào)文數(shù)據(jù)進(jìn)行負(fù)載均衡傳輸；
[0051]報(bào)文發(fā)送單元，用于發(fā)送處理過后所述網(wǎng)絡(luò)報(bào)文數(shù)據(jù)；
[0052]所述串行數(shù)據(jù)解析單元與萬兆網(wǎng)絡(luò)接口、報(bào)文糾錯(cuò)單元連接，所述報(bào)文糾錯(cuò)單元與所述報(bào)文頭解析單元連接，所述控制查詢單元與所述報(bào)文頭解析單元、TCAM模塊連接，所述負(fù)載均衡單元與控制查詢單元、報(bào)文發(fā)送單元連接，所述報(bào)文發(fā)送單元與萬兆網(wǎng)絡(luò)接口連接。
[0053]具體來說，圖2為本發(fā)明FPGA模塊各單元之間的結(jié)構(gòu)示意圖，如圖2所示，運(yùn)營商外部網(wǎng)絡(luò)和用戶內(nèi)部網(wǎng)絡(luò)通過萬兆網(wǎng)絡(luò)接口向FPGA模塊發(fā)送的網(wǎng)絡(luò)報(bào)文數(shù)據(jù)作為數(shù)據(jù)輸入該FPGA模塊，串行數(shù)據(jù)解析單元將該串行的網(wǎng)絡(luò)報(bào)文數(shù)據(jù)轉(zhuǎn)換為并行的網(wǎng)絡(luò)報(bào)文數(shù)據(jù)，轉(zhuǎn)換的過程中，可以解析到錯(cuò)誤的網(wǎng)絡(luò)報(bào)文數(shù)據(jù)，該錯(cuò)誤的報(bào)文數(shù)據(jù)可以包括數(shù)據(jù)丟失的網(wǎng)絡(luò)報(bào)文數(shù)據(jù)、錯(cuò)誤的網(wǎng)絡(luò)報(bào)文數(shù)據(jù)以及重復(fù)的網(wǎng)絡(luò)報(bào)文數(shù)據(jù)等。由報(bào)文糾錯(cuò)單元將該錯(cuò)誤網(wǎng)絡(luò)報(bào)文刪除。報(bào)文頭解析單元對(duì)刪除錯(cuò)誤網(wǎng)絡(luò)報(bào)文后的網(wǎng)絡(luò)報(bào)文進(jìn)行解析數(shù)據(jù)幀頭信息，控制查詢單元根據(jù)解析數(shù)據(jù)幀頭信息控制查詢?cè)摼W(wǎng)絡(luò)報(bào)文數(shù)據(jù)負(fù)載信息，以使TCAM模塊可以根據(jù)該網(wǎng)絡(luò)報(bào)文數(shù)據(jù)負(fù)載信息查詢?cè)摼W(wǎng)絡(luò)報(bào)文數(shù)據(jù)。負(fù)載均衡單元將待發(fā)送的所述網(wǎng)絡(luò)報(bào)文數(shù)據(jù)進(jìn)行負(fù)載均衡傳輸，從而可以在多個(gè)數(shù)據(jù)采集服務(wù)器之間均衡地傳輸所述網(wǎng)絡(luò)報(bào)文數(shù)據(jù)，提高了系統(tǒng)的傳輸速率，保證了系統(tǒng)更高效的工作。
[0054]進(jìn)一步地，所述TCAM模塊采用正則表達(dá)式的方式對(duì)數(shù)據(jù)進(jìn)行查詢。
[0055]具體而言，該TCAM模塊接收FPGA模塊發(fā)送的網(wǎng)絡(luò)報(bào)文數(shù)據(jù)負(fù)載信息，采用正則表達(dá)式的方式對(duì)數(shù)據(jù)進(jìn)行查詢，舉例說明，所需搜索的網(wǎng)絡(luò)數(shù)據(jù)報(bào)文中含有的源IP地址范圍為192.168.1.1至192.168.1.255，則TCAM能夠使用源IP為192.168.1.*這樣的正則表達(dá)式規(guī)則對(duì)送入的數(shù)據(jù)進(jìn)行查詢。這樣，就能很好的對(duì)擁有相似特征的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行高效的檢索，從網(wǎng)絡(luò)數(shù)據(jù)中檢索出所需的相關(guān)數(shù)據(jù)，最終正確的還原所需的數(shù)據(jù)。
[0056]進(jìn)一步地，所述報(bào)文頭解析單元，具體用于:
[0057]解析基于TCP/IP參考模型的網(wǎng)際互聯(lián)層、傳輸層、應(yīng)用層的報(bào)文數(shù)據(jù)幀頭信息。
[0058]具體來說，基于TCP/IP參考模型可以具體解析出互聯(lián)網(wǎng)報(bào)文數(shù)據(jù)的源MAC地址、目的MAC地址、VLAN ID、會(huì)話ID、源IP地址、目的IP地址、源端口、目的端口、協(xié)議類型和報(bào)文長度，這些信息被提取出來作為各個(gè)互聯(lián)網(wǎng)業(yè)務(wù)數(shù)據(jù)的特征信息。
[0059]進(jìn)一步地，所述數(shù)據(jù)采集服務(wù)器，還用于:
[0060]將接收到的網(wǎng)絡(luò)報(bào)文數(shù)據(jù)進(jìn)行還原，并將還原后的數(shù)據(jù)采集入庫。
[0061]具體來說，數(shù)據(jù)采集服務(wù)器接收數(shù)據(jù)采集硬件加速器發(fā)送的網(wǎng)絡(luò)報(bào)數(shù)據(jù)后，識(shí)別并還原相應(yīng)的互聯(lián)網(wǎng)數(shù)據(jù)業(yè)務(wù)。舉例來說，由于互聯(lián)網(wǎng)數(shù)據(jù)包有最大長度的限制，一個(gè)互聯(lián)網(wǎng)頁面內(nèi)容有可能是由多個(gè)互聯(lián)網(wǎng)數(shù)據(jù)包組成，數(shù)據(jù)采集服務(wù)器在解析了這個(gè)頁面的第一個(gè)數(shù)據(jù)包后，會(huì)根據(jù)其中對(duì)后續(xù)第二個(gè)數(shù)據(jù)包的特征碼，將含有這個(gè)特征碼的第二個(gè)數(shù)據(jù)包連接，再在第二個(gè)數(shù)據(jù)包中找到后續(xù)第三個(gè)數(shù)據(jù)包的特征碼，將含有這個(gè)特征碼的第三個(gè)數(shù)據(jù)包連接，以此類推，最終成功還原出完整的互聯(lián)網(wǎng)頁面內(nèi)容。其他網(wǎng)絡(luò)數(shù)據(jù)還原也可應(yīng)用此方法。
[0062]本實(shí)施例提供了一種數(shù)據(jù)采集硬件加速器和數(shù)據(jù)采集服務(wù)器，實(shí)現(xiàn)了廣電網(wǎng)絡(luò)數(shù)據(jù)采集的多平臺(tái)間的協(xié)同工作，保證了廣電網(wǎng)絡(luò)數(shù)據(jù)高速傳輸?shù)耐瑫r(shí)，還可以對(duì)數(shù)據(jù)的進(jìn)行分析、管理、控制及還原。提高了數(shù)據(jù)的準(zhǔn)確性。
[0063]圖3為本發(fā)明廣電網(wǎng)絡(luò)的數(shù)據(jù)采集系統(tǒng)方法流程圖，如圖3所示，本方法，包括:
[0064]步驟101、數(shù)據(jù)采集硬件加速器將網(wǎng)絡(luò)接口接收的串行網(wǎng)絡(luò)報(bào)文數(shù)據(jù)轉(zhuǎn)換為FPGA模塊內(nèi)部并行的網(wǎng)絡(luò)報(bào)文數(shù)據(jù)；
[0065]步驟102、數(shù)所述數(shù)據(jù)采集硬件加速器刪除錯(cuò)誤網(wǎng)絡(luò)報(bào)文數(shù)據(jù)；
[0066]步驟103、數(shù)所述數(shù)據(jù)采集硬件加速器解析所述網(wǎng)絡(luò)報(bào)文數(shù)據(jù)幀頭信息；
[0067]步驟104、數(shù)所述數(shù)據(jù)采集硬件加速器根據(jù)解析后的網(wǎng)絡(luò)報(bào)文數(shù)據(jù)幀頭確定查詢負(fù)載信息；
[0068]步驟105、數(shù)所述數(shù)據(jù)采集硬件加速器根據(jù)所述查詢負(fù)載信息查詢網(wǎng)絡(luò)報(bào)文；
[0069]步驟106、數(shù)所述數(shù)據(jù)采集硬件加速器根據(jù)所述查詢結(jié)果向數(shù)據(jù)采集服務(wù)器器進(jìn)行負(fù)載均衡傳輸網(wǎng)絡(luò)報(bào)文數(shù)據(jù)。
[0070]本實(shí)施例方法的具體實(shí)施過程與圖1所示的裝置實(shí)施方法與作用相同，此處不再贅述。
[0071]最后應(yīng)說明的是:以上各實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對(duì)其限制；盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分或者全部技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的范圍。
【權(quán)利要求】
1.一種基于廣電網(wǎng)絡(luò)的綜合數(shù)據(jù)采集系統(tǒng)，其特征在于，包括: 數(shù)據(jù)采集硬件加速器和數(shù)據(jù)采集服務(wù)器，所述數(shù)據(jù)采集硬件加速器，包括:網(wǎng)絡(luò)接口模塊，所述網(wǎng)絡(luò)接口模塊至少有三個(gè)萬兆網(wǎng)絡(luò)接口，用于接收、發(fā)送網(wǎng)絡(luò)報(bào)文數(shù)據(jù)，第一萬兆網(wǎng)絡(luò)接口一端與數(shù)據(jù)采集服務(wù)器的萬兆網(wǎng)絡(luò)接口連接，第二萬兆網(wǎng)絡(luò)接口模塊一端與運(yùn)營商外部網(wǎng)絡(luò)連接、第三萬兆網(wǎng)絡(luò)接口一端與用戶內(nèi)部網(wǎng)絡(luò)連接，所述第一萬兆網(wǎng)絡(luò)接口、所述第二萬兆網(wǎng)絡(luò)接口和所述第三萬兆網(wǎng)絡(luò)接口另一端與所述數(shù)據(jù)采集硬件加速器的FPGA模塊連接； 至少一個(gè)FPGA模塊，用于處理與調(diào)度所述數(shù)據(jù)采集硬件加速器內(nèi)部數(shù)據(jù)； 至少一個(gè)TCAM模塊，用于接收所述FPGA模塊發(fā)送的查詢指令，并進(jìn)行規(guī)則匹配查詢數(shù)據(jù)，與所述FPGA模塊連接； 所述數(shù)據(jù)采集服務(wù)器，包括至少一個(gè)所述萬兆網(wǎng)絡(luò)接口，用于接收、處理網(wǎng)絡(luò)報(bào)文數(shù)據(jù)，與所述數(shù)據(jù)采集硬件加速器的網(wǎng)絡(luò)接口模塊相連接。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述FPGA模塊包括如下模塊: 串行數(shù)據(jù)解析單元，用于將所述網(wǎng)絡(luò)接口串行網(wǎng)絡(luò)報(bào)文數(shù)據(jù)轉(zhuǎn)換為并行網(wǎng)絡(luò)報(bào)文數(shù)據(jù)； 報(bào)文糾錯(cuò)單元，用于刪除錯(cuò)誤網(wǎng)絡(luò)報(bào)文數(shù)據(jù)； 報(bào)文頭解析單元，用于解析網(wǎng)絡(luò)報(bào)文數(shù)據(jù)幀頭信息； 控制查詢單元，用于控制所述TCAM模塊查詢所述網(wǎng)絡(luò)報(bào)文數(shù)據(jù)負(fù)載信息； 負(fù)載均衡單元，用于將待發(fā)送的所述網(wǎng)絡(luò)報(bào)文數(shù)據(jù)進(jìn)行負(fù)載均衡傳輸； 報(bào)文發(fā)送單元，用于發(fā)送處理過后所述網(wǎng)絡(luò)報(bào)文數(shù)據(jù)； 所述串行數(shù)據(jù)解析單元與萬兆網(wǎng)絡(luò)接口、報(bào)文糾錯(cuò)單元連接，所述報(bào)文糾錯(cuò)單元與所述報(bào)文頭解析單元連接，所述控制查詢單元與所述報(bào)文頭解析單元、TCAM模塊連接，所述負(fù)載均衡單元與控制查詢單元、報(bào)文發(fā)送單元連接，所述報(bào)文發(fā)送單元與萬兆網(wǎng)絡(luò)接口連接。
3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于，所述TCAM模塊采用正則表達(dá)式的方式對(duì)數(shù)據(jù)進(jìn)行查詢。
4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的系統(tǒng)，其特征在于，所述報(bào)文頭解析單元，具體用于: 解析基于TCP/IP參考模型的網(wǎng)際互聯(lián)層、傳輸層、應(yīng)用層的報(bào)文數(shù)據(jù)幀頭信息。
5.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)采集服務(wù)器，還用于: 將接收到的網(wǎng)絡(luò)報(bào)文數(shù)據(jù)進(jìn)行還原，并將還原后的數(shù)據(jù)采集入庫。
6.一種基于廣電網(wǎng)絡(luò)的綜合數(shù)據(jù)采集方法，其特征在于，包括: 數(shù)據(jù)采集硬件加速器將網(wǎng)絡(luò)接口接收的串行網(wǎng)絡(luò)報(bào)文數(shù)據(jù)轉(zhuǎn)換為FPGA模塊內(nèi)部并行的網(wǎng)絡(luò)報(bào)文數(shù)據(jù)； 所述數(shù)據(jù)采集硬件加速器刪除錯(cuò)誤網(wǎng)絡(luò)報(bào)文數(shù)據(jù)； 所述數(shù)據(jù)采集硬件加速器解析所述網(wǎng)絡(luò)報(bào)文數(shù)據(jù)幀頭信息； 所述數(shù)據(jù)采集硬件加速器根據(jù)解析后的網(wǎng)絡(luò)報(bào)文數(shù)據(jù)幀頭確定查詢負(fù)載信息； 所述數(shù)據(jù)采集硬件加速器根據(jù)所述查詢負(fù)載信息查詢網(wǎng)絡(luò)報(bào)文； 所述數(shù)據(jù)采集硬件加速器根據(jù)所述查詢結(jié)果向數(shù)據(jù)采集服務(wù)器器進(jìn)行負(fù)載均衡傳輸網(wǎng)絡(luò)報(bào)文數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述數(shù)據(jù)采集硬件加速器根據(jù)所述查詢結(jié)果向數(shù)據(jù)采集服務(wù)器進(jìn)行負(fù)載均衡傳輸網(wǎng)絡(luò)報(bào)文數(shù)據(jù)之后，還包括: 所述數(shù)據(jù)采集服務(wù)器根據(jù)所述網(wǎng)絡(luò)報(bào)文數(shù)據(jù)幀頭信息還原所述網(wǎng)絡(luò)報(bào)文數(shù)據(jù)，并將所述網(wǎng)絡(luò)報(bào)文數(shù)據(jù)采集入庫。
【文檔編號(hào)】H04L12/24GK104486097SQ201410683458
【公開日】2015年4月1日 申請(qǐng)日期:2014年11月24日 優(yōu)先權(quán)日:2014年11月24日
【發(fā)明者】彭博, 王曄, 魏長城, 張曉雷, 欒慎亭, 張宇, 路婧 申請(qǐng)人:大連梯耐德網(wǎng)絡(luò)技術(shù)有限公司