專利名稱：一種網(wǎng)頁(yè)文本還原系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種網(wǎng)頁(yè)信息還原技術(shù)，尤其是一種網(wǎng)頁(yè)文本的還原系統(tǒng)及還原方法。
背景技術(shù)：
隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，網(wǎng)頁(yè)所承載的信息量和信息種類越來(lái)越豐富，從客戶所 瀏覽的網(wǎng)頁(yè)內(nèi)容可以挖掘相當(dāng)豐富的信息資源，而網(wǎng)頁(yè)信息是由網(wǎng)絡(luò)數(shù)據(jù)流承載的。網(wǎng)絡(luò) 數(shù)據(jù)流是指從一個(gè)源進(jìn)程發(fā)送到一個(gè)目的進(jìn)程的IP數(shù)據(jù)報(bào)序列，是具有某些相同屬性(源 IP、源端口、目的IP、目的端口、協(xié)議)的IP數(shù)據(jù)報(bào)集合，并且這些數(shù)據(jù)報(bào)的超時(shí)時(shí)間會(huì)在一 個(gè)較小且固定的間隔內(nèi)(比如60秒)。通過(guò)分析發(fā)現(xiàn)，網(wǎng)頁(yè)的數(shù)據(jù)流有多個(gè)，而文本內(nèi)容只 是多個(gè)數(shù)據(jù)流中的其中一個(gè)。 網(wǎng)頁(yè)的文本信息有多種應(yīng)用研究，例如可以進(jìn)行網(wǎng)絡(luò)輿情分析、內(nèi)容監(jiān)管、文本挖 掘等應(yīng)用研究，因此就需要將網(wǎng)頁(yè)瀏覽產(chǎn)生的大量實(shí)時(shí)數(shù)據(jù)流處理成網(wǎng)頁(yè)文本形式。
目前獲取網(wǎng)頁(yè)內(nèi)容的技術(shù)一般可以分為主動(dòng)方式和被動(dòng)方式。被動(dòng)方式如各種網(wǎng) 絡(luò)嗅探器，將通過(guò)嗅探節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行解碼還原。網(wǎng)絡(luò)嗅探器一般僅能進(jìn)行單個(gè)的數(shù)據(jù)包 的解碼，不具備數(shù)據(jù)流處理能力，更沒有專門的網(wǎng)頁(yè)文本還原裝置。主動(dòng)方式廣泛用于搜索 引擎，需要利用爬蟲抓取網(wǎng)頁(yè)，不能用于網(wǎng)絡(luò)節(jié)點(diǎn)網(wǎng)頁(yè)獲取。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一網(wǎng)頁(yè)文本還原系統(tǒng)及方法，這種系統(tǒng)是一種專門的網(wǎng)頁(yè)文 本還原裝置，而且還能將網(wǎng)頁(yè)文本文件進(jìn)行儲(chǔ)存；本發(fā)明還具有數(shù)據(jù)流的實(shí)時(shí)處理能力。
本發(fā)明的技術(shù)方案如下
一種網(wǎng)頁(yè)文本還原系統(tǒng)，本系統(tǒng)工作于網(wǎng)絡(luò)節(jié)點(diǎn)，其包括一 IP數(shù)據(jù)包捕獲裝置，用于 對(duì)通過(guò)網(wǎng)絡(luò)節(jié)點(diǎn)處的IP數(shù)據(jù)包進(jìn)行捕獲；一網(wǎng)頁(yè)文本數(shù)據(jù)流識(shí)別裝置，根據(jù)定義的數(shù)據(jù)流 特征識(shí)別出IP數(shù)據(jù)包的網(wǎng)頁(yè)文本數(shù)據(jù)流；一網(wǎng)頁(yè)文本重組裝置，對(duì)網(wǎng)頁(yè)文本數(shù)據(jù)流進(jìn)行解 碼、重組操作，將網(wǎng)頁(yè)文本數(shù)據(jù)流還原成文本文件；所述IP數(shù)據(jù)包捕獲裝置、網(wǎng)頁(yè)文本數(shù)據(jù) 流識(shí)別裝置、網(wǎng)頁(yè)文本重組裝置依次串接。 所述IP數(shù)據(jù)包捕獲裝置，包括一數(shù)據(jù)包鏡像模塊，用于將通過(guò)網(wǎng)絡(luò)節(jié)點(diǎn)的IP數(shù)據(jù) 報(bào)備份下來(lái)；一流抽取模塊，接于數(shù)據(jù)包鏡像模塊后，用于將各獨(dú)立的IP數(shù)據(jù)包按IP數(shù)據(jù) 流屬性進(jìn)行組合，并將組合后的IP數(shù)據(jù)流傳送至網(wǎng)頁(yè)文本數(shù)據(jù)流識(shí)別裝置進(jìn)行網(wǎng)頁(yè)文本
4數(shù)據(jù)的識(shí)別。 所述網(wǎng)頁(yè)文本數(shù)據(jù)流識(shí)別裝置，包括一網(wǎng)頁(yè)數(shù)據(jù)流識(shí)別模塊，用于將組合后的IP 數(shù)據(jù)流根據(jù)流特征進(jìn)行網(wǎng)頁(yè)數(shù)據(jù)流的識(shí)別；一數(shù)據(jù)流特征庫(kù)，與網(wǎng)頁(yè)數(shù)據(jù)流識(shí)別模塊連接， 為網(wǎng)頁(yè)數(shù)據(jù)流識(shí)別模塊的網(wǎng)頁(yè)數(shù)據(jù)流識(shí)別提供流特征；一網(wǎng)頁(yè)數(shù)據(jù)流分割模塊，與頁(yè)數(shù)據(jù) 流識(shí)別模塊連接，用于將通過(guò)識(shí)別的網(wǎng)頁(yè)數(shù)據(jù)流從IP數(shù)據(jù)流中分割出來(lái)，并將分割出來(lái)的 網(wǎng)頁(yè)文本數(shù)據(jù)傳送至網(wǎng)頁(yè)文本重組裝置。 本發(fā)明還包括一網(wǎng)頁(yè)文本存儲(chǔ)裝置，所述網(wǎng)頁(yè)文本存儲(chǔ)裝置與網(wǎng)頁(yè)文本重組裝置 連接，用于將還原的網(wǎng)頁(yè)文本文件進(jìn)行保存。更具體的，所述網(wǎng)頁(yè)文本存儲(chǔ)裝置包括硬盤或 /和數(shù)據(jù)庫(kù)。 —種網(wǎng)頁(yè)文本還原方法，包括步驟
步驟Sl，對(duì)存儲(chǔ)http網(wǎng)頁(yè)數(shù)據(jù)流的緩存區(qū)進(jìn)行初始化處理；
步驟S2，獲取一個(gè)IP數(shù)據(jù)包，并根據(jù)流特征進(jìn)行http數(shù)據(jù)過(guò)濾，然后根據(jù)http協(xié)議標(biāo) 準(zhǔn)進(jìn)行數(shù)據(jù)包的頭域分析，所述的IP數(shù)據(jù)流特征包括網(wǎng)絡(luò)層協(xié)議的IP、傳輸層協(xié)議的TCP、 應(yīng)用層協(xié)議的http、數(shù)據(jù)凈載荷部分的HTTP/1. 1200、 Content-Type的text/html ;
步驟S3，根據(jù)分析結(jié)果判斷是否為網(wǎng)頁(yè)數(shù)據(jù)流的IP數(shù)據(jù)包，若不是，進(jìn)行步驟S6，若 是，則進(jìn)行
步驟S4，判斷網(wǎng)頁(yè)數(shù)據(jù)流的IP數(shù)據(jù)包是否是按序到達(dá)的，若是，進(jìn)行步驟S7，若不是，
進(jìn)行
步驟S5，對(duì)失序包進(jìn)行處理，使之按序列號(hào)重新排序后進(jìn)行步驟S7 ; 步驟S6，創(chuàng)建新的網(wǎng)頁(yè)數(shù)據(jù)流；
步驟S7，判斷是否為網(wǎng)頁(yè)數(shù)據(jù)流的最后一個(gè)IP數(shù)據(jù)包，若不是，返回進(jìn)行步驟S2，若
是，則進(jìn)行
步驟S8 ，進(jìn)行網(wǎng)頁(yè)文本信息的還原。


本發(fā)明將通過(guò)例子并參照附圖的方式說(shuō)明，其中 圖1是本發(fā)明網(wǎng)頁(yè)文本還原系統(tǒng)在網(wǎng)絡(luò)中應(yīng)用原理圖； 圖2是本發(fā)明網(wǎng)頁(yè)文本還原系統(tǒng)原理框圖； 圖3是本發(fā)明網(wǎng)頁(yè)文本還原方法流程圖。
具體實(shí)施例方式
本說(shuō)明書中公開的所有特征，或公開的所有方法或過(guò)程中的步驟，除了互相排斥 的特征和/或步驟以外，均可以以任何方式組合。 本說(shuō)明書(包括任何附加權(quán)利要求、摘要和附圖)中公開的任一特征，除非特別敘 述，均可被其他等效或具有類似目的的替代特征加以替換。即，除非特別敘述，每個(gè)特征只是一系列等效或類似特征中的一個(gè)例子而已。 如圖1所示，本發(fā)明的一種網(wǎng)頁(yè)文本還原系統(tǒng)工作于網(wǎng)絡(luò)節(jié)點(diǎn)上，本系統(tǒng)既可以 直接安裝在網(wǎng)關(guān)設(shè)備上，也可以增加新設(shè)備串接或旁路到原有的通訊線路，以確保能夠捕 獲所有通過(guò)網(wǎng)關(guān)設(shè)備的數(shù)據(jù)包。 本發(fā)明的一種網(wǎng)頁(yè)文本還原系統(tǒng)原理框圖如圖2所示。 一種網(wǎng)頁(yè)文本還原系統(tǒng)， 其包括一 IP數(shù)據(jù)包捕獲裝置，用于對(duì)通過(guò)網(wǎng)絡(luò)節(jié)點(diǎn)處的IP數(shù)據(jù)包進(jìn)行捕獲；一網(wǎng)頁(yè)文本 數(shù)據(jù)流識(shí)別裝置，根據(jù)定義的數(shù)據(jù)流特征識(shí)別出IP數(shù)據(jù)包的網(wǎng)頁(yè)文本數(shù)據(jù)流；一網(wǎng)頁(yè)文本 重組裝置，通過(guò)對(duì)TCP序列號(hào)排序、過(guò)濾http協(xié)議頭得到凈載荷，對(duì)網(wǎng)頁(yè)文本數(shù)據(jù)流進(jìn)行解 碼、重組等操作，將網(wǎng)頁(yè)文本數(shù)據(jù)流還原成文本文件；所述IP數(shù)據(jù)包捕獲裝置、網(wǎng)頁(yè)文本數(shù) 據(jù)流識(shí)別裝置、網(wǎng)頁(yè)文本重組裝置依次串接。 所述IP數(shù)據(jù)包捕獲裝置，包括一數(shù)據(jù)包鏡像模塊，用于將通過(guò)網(wǎng)絡(luò)節(jié)點(diǎn)的IP數(shù)據(jù) 包備份下來(lái)；一流抽取模塊，接于數(shù)據(jù)包鏡像模塊后，用于將各獨(dú)立的IP數(shù)據(jù)包按IP數(shù)據(jù) 流屬性進(jìn)行組合，并將組合后的IP數(shù)據(jù)流傳送至網(wǎng)頁(yè)文本數(shù)據(jù)流識(shí)別裝置進(jìn)行網(wǎng)頁(yè)文本 數(shù)據(jù)的識(shí)別。所述IP數(shù)據(jù)流屬性包括源IP、源端口、目的IP、目的端口、傳輸協(xié)議。在本發(fā) 明中，可以對(duì)數(shù)據(jù)流通過(guò)實(shí)時(shí)流處理進(jìn)行網(wǎng)頁(yè)文本的還原，還可以對(duì)鏡像保存后的數(shù)據(jù)流 進(jìn)行網(wǎng)頁(yè)文本的還原。 所述網(wǎng)頁(yè)文本數(shù)據(jù)流識(shí)別裝置，包括一網(wǎng)頁(yè)數(shù)據(jù)流識(shí)別模塊，用于將組合后的IP 數(shù)據(jù)流根據(jù)流特征進(jìn)行網(wǎng)頁(yè)數(shù)據(jù)流的識(shí)別；一數(shù)據(jù)流特征庫(kù)，與網(wǎng)頁(yè)數(shù)據(jù)流識(shí)別模塊連 接，為網(wǎng)頁(yè)數(shù)據(jù)流識(shí)別模塊的網(wǎng)頁(yè)數(shù)據(jù)流識(shí)別提供流特征；一網(wǎng)頁(yè)數(shù)據(jù)流分割模塊，與頁(yè) 數(shù)據(jù)流識(shí)別模塊連接，用于將通過(guò)識(shí)別的網(wǎng)頁(yè)數(shù)據(jù)流從IP數(shù)據(jù)流中分割出來(lái)，為進(jìn)行文 本重組刪除多余的信息，并將分割出來(lái)的網(wǎng)頁(yè)文本數(shù)據(jù)傳送至網(wǎng)頁(yè)文本重組裝置。所述 流特征包括網(wǎng)絡(luò)層協(xié)議的IP、傳輸層協(xié)議的TCP、應(yīng)用層協(xié)議的http、數(shù)據(jù)凈載荷部分的 HTTP/1. 1200、Content-Type的text/html。 本發(fā)明還包括一網(wǎng)頁(yè)文本存儲(chǔ)裝置，所述網(wǎng)頁(yè)文本存儲(chǔ)裝置與網(wǎng)頁(yè)文本重組裝置 連接，用于將還原的網(wǎng)頁(yè)文本文件進(jìn)行保存，以便進(jìn)行后續(xù)的處理操作。更具體的，所述網(wǎng) 頁(yè)文本存儲(chǔ)裝置包括硬盤或/和數(shù)據(jù)庫(kù)。
本發(fā)明的一種網(wǎng)頁(yè)文本還原方法，包括步驟
步驟Sl，對(duì)存儲(chǔ)http網(wǎng)頁(yè)數(shù)據(jù)流的緩存區(qū)進(jìn)行初始化處理；
步驟S2，通過(guò)實(shí)時(shí)捕獲或從鏡像文件(抓取數(shù)據(jù)包的保存文件)中取得一個(gè)IP數(shù)據(jù)包， 并根據(jù)流特征進(jìn)行http數(shù)據(jù)過(guò)濾，然后根據(jù)http協(xié)議標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)包的頭域分析，所述 的流特征包括網(wǎng)絡(luò)層協(xié)議的IP、傳輸層協(xié)議的TCP、應(yīng)用層協(xié)議的http、數(shù)據(jù)凈載荷部分的 HTTP/1. 1200、Content-Type的text/html ;
步驟S3，根據(jù)分析結(jié)果判斷是否為網(wǎng)頁(yè)數(shù)據(jù)流的IP數(shù)據(jù)包，若不是，進(jìn)行步驟S6，若 是，則進(jìn)行
步驟S4，判斷網(wǎng)頁(yè)數(shù)據(jù)流的IP數(shù)據(jù)包是否是按序到達(dá)的，若是，進(jìn)行步驟S7，若不是，
進(jìn)行
步驟S5，對(duì)失序包進(jìn)行處理，使之按序列號(hào)重新排序后進(jìn)行步驟S7 ; 步驟S6，創(chuàng)建新的網(wǎng)頁(yè)數(shù)據(jù)流；
步驟S7，判斷是否為網(wǎng)頁(yè)數(shù)據(jù)流的最后一個(gè)IP數(shù)據(jù)包，若不是，返回進(jìn)行步驟S2繼續(xù)網(wǎng)頁(yè)文本信息的還原。
本發(fā)明并不局限于前述的具體實(shí)施方式
。本發(fā)明擴(kuò)展到任何在本說(shuō)明書中披露的 新特征或任何新的組合，以及披露的任一新的方法或過(guò)程的步驟或任何新的組合。
權(quán)利要求
一種網(wǎng)頁(yè)文本還原系統(tǒng)，本系統(tǒng)工作于網(wǎng)絡(luò)節(jié)點(diǎn)，其特征在于，包括一IP數(shù)據(jù)包捕獲裝置，用于對(duì)通過(guò)網(wǎng)絡(luò)節(jié)點(diǎn)處的IP數(shù)據(jù)包進(jìn)行捕獲；一網(wǎng)頁(yè)文本數(shù)據(jù)流識(shí)別裝置，根據(jù)定義的數(shù)據(jù)流特征識(shí)別出IP數(shù)據(jù)包的網(wǎng)頁(yè)文本數(shù)據(jù)流；一網(wǎng)頁(yè)文本重組裝置，對(duì)網(wǎng)頁(yè)文本數(shù)據(jù)流進(jìn)行解碼、重組操作，將網(wǎng)頁(yè)文本數(shù)據(jù)流還原成文本文件；所述IP數(shù)據(jù)包捕獲裝置、網(wǎng)頁(yè)文本數(shù)據(jù)流識(shí)別裝置、網(wǎng)頁(yè)文本重組裝置依次串接。
2. 根據(jù)權(quán)利要求1所述的網(wǎng)頁(yè)文本還原系統(tǒng)，其特征在于，所述IP數(shù)據(jù)包捕獲裝置，包括一數(shù)據(jù)包鏡像模塊，用于將通過(guò)網(wǎng)絡(luò)節(jié)點(diǎn)的IP數(shù)據(jù)包備份下來(lái)；一流抽取模塊，接于數(shù)據(jù)包鏡像模塊后，用于將各獨(dú)立的IP數(shù)據(jù)包按IP數(shù)據(jù)流屬性進(jìn) 行組合，并將組合后的IP數(shù)據(jù)流傳送至網(wǎng)頁(yè)文本數(shù)據(jù)流識(shí)別裝置進(jìn)行網(wǎng)頁(yè)文本數(shù)據(jù)的識(shí) 別。
3. 根據(jù)權(quán)利要求1所述的網(wǎng)頁(yè)文本還原系統(tǒng)，其特征在于，所述網(wǎng)頁(yè)文本數(shù)據(jù)流識(shí)別 裝置，包括一網(wǎng)頁(yè)數(shù)據(jù)流識(shí)別模塊，用于將組合后的IP數(shù)據(jù)流根據(jù)流特征進(jìn)行網(wǎng)頁(yè)數(shù)據(jù)流的識(shí)別；一數(shù)據(jù)流特征庫(kù)，與網(wǎng)頁(yè)數(shù)據(jù)流識(shí)別模塊連接，為網(wǎng)頁(yè)數(shù)據(jù)流識(shí)別模塊的網(wǎng)頁(yè)數(shù)據(jù)流 的識(shí)別提供流特征；一網(wǎng)頁(yè)數(shù)據(jù)流分割模塊，與頁(yè)數(shù)據(jù)流識(shí)別模塊連接，用于將通過(guò)識(shí)別的網(wǎng)頁(yè)數(shù)據(jù)流從 IP數(shù)據(jù)流中分割出來(lái)，并將分割出來(lái)的網(wǎng)頁(yè)文本數(shù)據(jù)傳送至網(wǎng)頁(yè)文本重組裝置。
4. 根據(jù)權(quán)利要求3所述的網(wǎng)頁(yè)文本還原系統(tǒng)，其特征在于，所述流特征包括網(wǎng)絡(luò) 層協(xié)議的IP、傳輸層協(xié)議的TCP、應(yīng)用層協(xié)議的http、數(shù)據(jù)凈載荷部分的HTTP/1. 1200、 Content-Type的text/htmL
5. 根據(jù)權(quán)利要求1所述的網(wǎng)頁(yè)文本還原系統(tǒng)，其特征在于，還包括一網(wǎng)頁(yè)文本存儲(chǔ)裝 置，所述網(wǎng)頁(yè)文本存儲(chǔ)裝置與網(wǎng)頁(yè)文本重組裝置連接，用于將還原的網(wǎng)頁(yè)文本文件進(jìn)行保 存。
6. 根據(jù)權(quán)利要求5所述的網(wǎng)頁(yè)文本還原系統(tǒng)，其特征在于，所述網(wǎng)頁(yè)文本存儲(chǔ)裝置包 括硬盤或/和數(shù)據(jù)庫(kù)。
7. —種網(wǎng)頁(yè)文本還原方法，其特征在于，包括步驟步驟Sl，對(duì)存儲(chǔ)http網(wǎng)頁(yè)數(shù)據(jù)流的緩存區(qū)進(jìn)行初始化處理；步驟S2，獲取一個(gè)IP數(shù)據(jù)包，并根據(jù)流特征進(jìn)行http數(shù)據(jù)過(guò)濾，然后根據(jù)http協(xié)議標(biāo) 準(zhǔn)進(jìn)行數(shù)據(jù)包的頭域分析；步驟S3，根據(jù)分析結(jié)果判斷是否為網(wǎng)頁(yè)數(shù)據(jù)流的IP數(shù)據(jù)包，若不是，進(jìn)行步驟S6，若 是，則進(jìn)行步驟S4，判斷網(wǎng)頁(yè)數(shù)據(jù)流的IP數(shù)據(jù)包是否是按序到達(dá)的，若是，進(jìn)行步驟S7，若不是，進(jìn)行步驟S5，對(duì)失序包進(jìn)行處理，使之按序列號(hào)重新排序后進(jìn)行步驟S7 ; 步驟S6，創(chuàng)建新的網(wǎng)頁(yè)數(shù)據(jù)流；步驟S7，判斷是否為網(wǎng)頁(yè)數(shù)據(jù)流的最后一個(gè)IP數(shù)據(jù)包，若不是，返回進(jìn)行步驟S2，若 是，則進(jìn)行步驟S8，進(jìn)行網(wǎng)頁(yè)文本信息的還原。
8.根據(jù)權(quán)利要求6所述的網(wǎng)頁(yè)文本還原方法，其特征在于，步驟S2所述的IP數(shù)據(jù) 流特征包括網(wǎng)絡(luò)層協(xié)議的IP、傳輸層協(xié)議的TCP、應(yīng)用層協(xié)議的http、數(shù)據(jù)凈載荷部分的 HTTP/1. 1200、Content-Type的text/html。
全文摘要
本發(fā)明公開了一種網(wǎng)頁(yè)文本還原系統(tǒng)及方法，本系統(tǒng)工作于網(wǎng)絡(luò)節(jié)點(diǎn)，其系統(tǒng)包括一IP數(shù)據(jù)包捕獲裝置，用于對(duì)通過(guò)網(wǎng)絡(luò)節(jié)點(diǎn)處的IP數(shù)據(jù)包進(jìn)行捕獲；一網(wǎng)頁(yè)文本數(shù)據(jù)流識(shí)別裝置，根據(jù)定義的數(shù)據(jù)流特征識(shí)別出IP數(shù)據(jù)包的網(wǎng)頁(yè)文本數(shù)據(jù)流；一網(wǎng)頁(yè)文本重組裝置，對(duì)網(wǎng)頁(yè)文本數(shù)據(jù)流進(jìn)行解碼、重組操作，將網(wǎng)頁(yè)文本數(shù)據(jù)流還原成文本文件；所述IP數(shù)據(jù)包捕獲裝置、網(wǎng)頁(yè)文本數(shù)據(jù)流識(shí)別裝置、網(wǎng)頁(yè)文本重組裝置依次串接。其方法包括IP數(shù)據(jù)包的捕獲，網(wǎng)頁(yè)文本數(shù)據(jù)流的識(shí)別以及網(wǎng)頁(yè)文本的重組及存儲(chǔ)。本發(fā)明的系統(tǒng)是一種專門的網(wǎng)頁(yè)文本還原裝置，而且還能將網(wǎng)頁(yè)文本文件進(jìn)行儲(chǔ)存；本發(fā)明還具有數(shù)據(jù)流的實(shí)時(shí)處理能力。
文檔編號(hào)G06F17/30GK101783817SQ20101013245
公開日2010年7月21日 申請(qǐng)日期2010年3月26日 優(yōu)先權(quán)日2010年3月26日
發(fā)明者孫海峰, 張暉, 馬建國(guó) 申請(qǐng)人:西南科技大學(xué)