專利名稱：下載網(wǎng)站靜態(tài)網(wǎng)頁的系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種下載網(wǎng)站靜態(tài)網(wǎng)頁的系統(tǒng)及方法。
技術(shù)背景近年來，由于網(wǎng)絡(luò)世界的蓬勃發(fā)展，網(wǎng)上瀏覽資訊已成為人們曰 常工作、學(xué)習(xí)和生活中不可或缺的一個重要部分，網(wǎng)絡(luò)的信息量大， 已成為全球"最大的圖書館"。一般而言，使用者在將一電腦與國際互聯(lián)網(wǎng)連線后，通過電腦的 網(wǎng)絡(luò)瀏覽器就可至國際互聯(lián)網(wǎng)瀏覽網(wǎng)頁，用戶點擊某條資訊后，在新 打開的網(wǎng)頁里面顯示這條資訊的全部內(nèi)容，這個網(wǎng)頁里面包括資訊內(nèi) 容，廣告和其它與此資訊無關(guān)的內(nèi)容。然而，對企業(yè)一些不能與國際 互聯(lián)網(wǎng)連線的部門員工來說，不能通過網(wǎng)絡(luò)瀏覽器上網(wǎng)瀏覽所需資訊 給他們的工作帶來很多不便。發(fā)明內(nèi)容鑒于以上內(nèi)容，有必要提供一種下載網(wǎng)站靜態(tài)網(wǎng)頁的系統(tǒng)，其可 將網(wǎng)站內(nèi)容按照其組織方式和結(jié)構(gòu)完整的下載到本地，并可過濾不需 要的網(wǎng)頁內(nèi)容。此外，還有必要提供一種下載網(wǎng)站靜態(tài)網(wǎng)頁的方法，其可將網(wǎng)站 內(nèi)容按照其組織方式和結(jié)構(gòu)完整的下載到本地，并可過濾不需要的網(wǎng) 頁內(nèi)容。一種下載網(wǎng)站靜態(tài)網(wǎng)頁的系統(tǒng)，包括至少一臺應(yīng)用服務(wù)器、 一臺 與所述應(yīng)用服務(wù)器相連的目標(biāo)網(wǎng)站服務(wù)器， 一 臺與所述應(yīng)用服務(wù)器相 連的內(nèi)部服務(wù)器及與所述應(yīng)用服務(wù)器和內(nèi)部服務(wù)器相連的數(shù)據(jù)庫，該應(yīng)用服務(wù)器包括寫入模塊，用于根據(jù)客戶提供的網(wǎng)頁下載清單將所
需下栽的網(wǎng)頁的網(wǎng)址寫入腳本文件；解析"漠塊，用于解析該腳本文件，從目標(biāo)網(wǎng)站服務(wù)器獲取所述網(wǎng)站網(wǎng)頁內(nèi)容，并將所述網(wǎng)頁鏈接保存到數(shù)據(jù)庫及解析所述網(wǎng)頁內(nèi)容以獲取目標(biāo)內(nèi)容；轉(zhuǎn)換模塊，用于將目標(biāo)內(nèi)容中所有圖片的相對鏈接轉(zhuǎn)換成絕對鏈接及將目標(biāo)內(nèi)容中所有網(wǎng)頁鏈接的相對鏈接轉(zhuǎn)換成絕對鏈接；下載模塊，用于通過所述圖片的 絕對鏈接將目標(biāo)內(nèi)容中所有圖片下載并保存到內(nèi)部服務(wù)器；儲存模 塊，用于將目標(biāo)內(nèi)容中所有網(wǎng)頁的絕對鏈接保存到數(shù)據(jù)庫，同時生成 所述網(wǎng)頁絕對鏈接的標(biāo)識符并將該標(biāo)識符保存到數(shù)據(jù)庫；替換模塊， 用于以目標(biāo)內(nèi)容中圖片在內(nèi)部服務(wù)器中的鏈接取代所述圖片的絕對 鏈接及用于把將所述網(wǎng)頁絕對鏈接的標(biāo)識符與網(wǎng)頁請求語言寫入所 述網(wǎng)頁在內(nèi)部服務(wù)器中的鏈接，并以該寫入標(biāo)識符和網(wǎng)頁請求語言的 鏈接取代所述網(wǎng)頁的絕對鏈接。一種下載網(wǎng)站靜態(tài)網(wǎng)頁的方法，該方法包括如下步驟根據(jù)客戶 提供的網(wǎng)頁下載清單將所需下載的網(wǎng)頁的網(wǎng)址寫入腳本文件；解析該 腳本文件，從目標(biāo)網(wǎng)站服務(wù)器獲取所述網(wǎng)站網(wǎng)頁內(nèi)容，并將所述網(wǎng)頁 鏈接保存到數(shù)據(jù)庫；解析所述網(wǎng)站網(wǎng)頁內(nèi)容以獲取目標(biāo)內(nèi)容；將目標(biāo) 內(nèi)容中所有圖片的相對鏈接轉(zhuǎn)換成絕對鏈接；通過所述絕對鏈接將目標(biāo)內(nèi)容中圖片下載并保存到內(nèi)部服務(wù)器；以目標(biāo)內(nèi)容中所有圖片在內(nèi) 部服務(wù)器中的鏈接取代所述圖片的絕對鏈接；將目標(biāo)內(nèi)容中所有網(wǎng)頁 的相對鏈接轉(zhuǎn)換成絕對鏈接；把目標(biāo)內(nèi)容中所有網(wǎng)頁的絕對鏈接保存 到數(shù)據(jù)庫，同時生成所述網(wǎng)頁鏈接的標(biāo)識符并將該標(biāo)識符保存到數(shù)據(jù) 庫；將所述網(wǎng)頁絕對鏈接的標(biāo)識符與網(wǎng)頁請求語言寫入所述網(wǎng)頁在內(nèi) 部服務(wù)器中的鏈接，并以該寫入標(biāo)識符與網(wǎng)頁請求語言的鏈接取代所 述網(wǎng)頁的絕對鏈接。相較于現(xiàn)有技術(shù)，所述的一種下載網(wǎng)站靜態(tài)網(wǎng)頁的系統(tǒng)及方法， 能將網(wǎng)站按照其組織方式和結(jié)構(gòu)完整的下載到本地，并可過濾不需要 的網(wǎng)頁內(nèi)容，使企業(yè)不能上國際互聯(lián)網(wǎng)的人員能通過本地服務(wù)器瀏覽 到所需網(wǎng)頁信息。


圖1是本發(fā)明下載網(wǎng)站靜態(tài)網(wǎng)頁系統(tǒng)的較佳實施例的硬件框架圖。圖2是圖1中應(yīng)用服務(wù)器的功能模塊圖。圖3是本發(fā)明下載網(wǎng)站靜態(tài)網(wǎng)頁方法的較佳實施例的流程圖。
具體實施方式
如圖1所示，是本發(fā)明下栽網(wǎng)站靜態(tài)網(wǎng)頁系統(tǒng)的較佳實施例的硬 件框架圖。該系統(tǒng)包括一臺應(yīng)用服務(wù)器1、內(nèi)部服務(wù)器2、數(shù)據(jù)庫3、 防火墻4、國際互聯(lián)網(wǎng)5及目標(biāo)網(wǎng)站服務(wù)器6。該系統(tǒng)根據(jù)客戶提供 的網(wǎng)頁下載清單通過應(yīng)用服務(wù)器1從國際互聯(lián)網(wǎng)5鏈接目標(biāo)網(wǎng)站服務(wù) 器6來下載和過濾所需網(wǎng)頁，并將下載的網(wǎng)頁存入內(nèi)部服務(wù)器2及數(shù) 據(jù)庫3中，防火墻4用于管控外部網(wǎng)絡(luò)的資訊安全。所述應(yīng)用服務(wù)器1用于下載和過濾網(wǎng)頁，所述內(nèi)部服務(wù)器2用于 儲存與資訊內(nèi)容有關(guān)的圖片，所述的數(shù)據(jù)庫3用于儲存網(wǎng)頁部分的資 訊內(nèi)容。該數(shù)據(jù)庫3和該內(nèi)部服務(wù)器2，可位于應(yīng)用服務(wù)器l內(nèi)。該 數(shù)據(jù)庫3和該內(nèi)部服務(wù)器2可以是硬盤或者閃存盤等存儲設(shè)備。如圖2所示，是圖1中應(yīng)用服務(wù)器的的功能模塊圖。該應(yīng)用服務(wù) 器1包括寫入模塊10、解析模塊12、轉(zhuǎn)換模塊14、下載模塊16、儲 存模塊18、替換模塊20及判斷模塊22。所述寫入模塊10，用于根據(jù)客戶提供的網(wǎng)頁下載清單將所需下 載網(wǎng)頁的地址寫入XQuery腳本文件。所述解析模塊12,用于解析該XQuery腳本文件來從目標(biāo)網(wǎng)站服 務(wù)器獲取所述網(wǎng)頁內(nèi)容，并將所述網(wǎng)頁鏈接保存到數(shù)據(jù)庫3中。該解 析過程包括解析該XQuery腳本文件，生成包含Command結(jié)點的 擴展標(biāo)記語言(Extensible Markup Language, XML)文件，統(tǒng)一資源 定位器(Uniform Resource Locator, URL)結(jié)點命令抓取該XML文件中 的Address結(jié)點，鏈接該Address結(jié)點中的網(wǎng)址，該網(wǎng)址即為寫入模 塊IO所寫入的網(wǎng)頁地址。所述解析模塊12還用于解析所述網(wǎng)頁內(nèi)容 來獲取目標(biāo)內(nèi)容。其中，解析XQuery腳本文件所獲取的網(wǎng)頁內(nèi)容為 超文本標(biāo)記語言(Hypetext Marked Language, HTML)格式，而解析 模塊12使用的XQuery是基于XML的查詢語言，只能解析XML格 式的文件，因此，在解析網(wǎng)頁內(nèi)容獲取目標(biāo)內(nèi)容前還需將HTML格 式內(nèi)容轉(zhuǎn)換成XML格式內(nèi)容。該目標(biāo)內(nèi)容是指客戶需要瀏覽的網(wǎng)頁 內(nèi)容，為獲取目標(biāo)內(nèi)容還需要過濾該目標(biāo)內(nèi)容中無關(guān)的網(wǎng)頁內(nèi)容，例 如廣告。該過濾是通過分析網(wǎng)頁的XML內(nèi)容，通過XML中結(jié)點的 名稱、風(fēng)^f各等屬性刪除一些不需要的結(jié)點。所述轉(zhuǎn)換模塊14，用于將目標(biāo)內(nèi)容中所有圖片的相對鏈接轉(zhuǎn)換 成絕對鏈接及將目標(biāo)內(nèi)容中所有網(wǎng)頁的相對鏈接轉(zhuǎn)換成絕對鏈接。所 述絕對鏈接是指有完整路徑的鏈接，相對鏈接只有服務(wù)器目錄級別及 文件名稱，而瀏覽器只認絕對鏈接，所以必須把相對鏈接的信息補全， 將相對鏈接轉(zhuǎn)換成絕對鏈接才可以正常顯示。例如若有鏈接路徑為 flash/swfl/1089246822—zhenzj.swf，該鏈接為相對鏈接，查看所在網(wǎng)頁 的地址為http://www.flashempire.com，要將相對鏈接轉(zhuǎn)換成完整路徑， 即將該網(wǎng)頁地址加在所述相對鏈接前面 http:〃www.flashempire.com/flash/swfl/l089246822_zhenzj.swf,該鏈才妄 即為絕對鏈接。所述下載模塊16,用于通過所述絕對鏈接將目標(biāo)內(nèi)容中圖片下 載并保存到內(nèi)部服務(wù)器2。所述儲存模塊18,用于通過所述絕對鏈接將目標(biāo)內(nèi)容中所有網(wǎng) 頁絕對鏈接保存到數(shù)據(jù)庫3,同時生成所述網(wǎng)頁絕對鏈接的標(biāo)識符 (identifier, ID )并將該ID保存到數(shù)據(jù)庫3。所述替換模塊20,用于以目標(biāo)內(nèi)容中所有圖片在內(nèi)部服務(wù)器2 中的鏈接取代所述圖片的絕對鏈接，及用于將所述網(wǎng)頁絕對鏈接的 ID與JSP ( JavaServer Pages )網(wǎng)頁請求語言寫入所述網(wǎng)頁在內(nèi)部服務(wù) 器2中的鏈接，并以該寫入標(biāo)識符和網(wǎng)頁請求語言的鏈接取代所述網(wǎng) 頁的絕對鏈接。其中JSP是一種動態(tài)網(wǎng)頁技術(shù)標(biāo)準(zhǔn)。它是在傳統(tǒng)的網(wǎng) 頁HTML文件(氣htm,.html)中插入Java程序段和JSP，從而形成JSP
文件("sp)。 Web服務(wù)器在遇到訪問JSP網(wǎng)頁的請求時，首先執(zhí)行其 中的程序段，然后將執(zhí)行結(jié)果連同JSP文件中的HTML代碼一起返 回給客戶。例如若網(wǎng)頁絕對鏈接ID=12214，該網(wǎng)頁在內(nèi)部服務(wù)器 中的鏈接為http:〃10.153.26.104:8080/cic2，則將ID=12214和JSP網(wǎng) 頁請求語言ShowPage.jsp page寫入http:〃10.153.26.104:8080/cic2， 即http:〃10.153.26.104:8080/cic2/ShowPage.jsp pageID=12214。通過 該修改后鏈接就可顯示目標(biāo)內(nèi)容中所鏈接的網(wǎng)頁內(nèi)容。所述判斷模塊22，用于判斷所述取代后的網(wǎng)頁鏈接所顯示的網(wǎng) 頁中是否還有需要下栽的鏈接。如圖3所示，是本發(fā)明一種下載網(wǎng)站靜態(tài)網(wǎng)頁方法的較佳實施例 的流程圖。首先，步驟SIO，根據(jù)客戶提供網(wǎng)頁下載清單將所需下載 網(wǎng)頁的網(wǎng)址寫入XQuery腳本文件。步驟S12,解析模塊12解析該 XQuery腳本文件，從目標(biāo)網(wǎng)站服務(wù)器獲取所述網(wǎng)頁內(nèi)容，并將所述 網(wǎng)頁鏈接保存到數(shù)據(jù)庫。步驟S14,解析模塊12解析所述網(wǎng)頁內(nèi)容 來獲取目標(biāo)內(nèi)容。步驟S16,轉(zhuǎn)換模塊14將所述目標(biāo)內(nèi)容中所有圖 片的相對《連*接轉(zhuǎn)換成絕對鏈接。步驟S18，下載;f莫塊16通過所述圖 片的絕對鏈接將目標(biāo)內(nèi)容中圖片下載并保存到內(nèi)部服務(wù)器2。步驟 S20，替換模塊18以目標(biāo)內(nèi)容網(wǎng)頁中所有圖片在內(nèi)部服務(wù)器2中的鏈 接取代所述圖片的絕對鏈接。步驟S22,轉(zhuǎn)換模塊14將目標(biāo)內(nèi)容中 所有網(wǎng)頁的相對鏈接轉(zhuǎn)換成絕對鏈接。步驟S24，儲存模塊18將目 標(biāo)內(nèi)容中所有絕對鏈接保存到數(shù)據(jù)庫3,同時生成所述網(wǎng)頁絕對鏈接 的ID并將該ID保存到數(shù)據(jù)庫3。步驟S26，替換模塊20將所述網(wǎng) 頁絕對鏈"t妻的ID與JSP網(wǎng)頁請求語言寫入所述網(wǎng)頁在內(nèi)部服務(wù)器2 中的鏈接，并以該寫入標(biāo)識符和網(wǎng)頁請求語言的鏈接取代所述網(wǎng)頁的 絕對鏈接。步驟S28，判斷模塊22判斷所述取代后的網(wǎng)頁鏈接所顯 示的網(wǎng)頁中是否還有需要下載的鏈接。步驟S30，儲存模塊18將替 換模塊18處理后的目標(biāo)內(nèi)容保存到數(shù)據(jù)庫3。在步驟S28中，若所述取代后的網(wǎng)頁鏈接所顯示的網(wǎng)頁中有需要 繼續(xù)下載的鏈接，則返回步驟S14解析網(wǎng)頁內(nèi)容來獲取目標(biāo)內(nèi)容。
權(quán)利要求
1.一種下載網(wǎng)站靜態(tài)網(wǎng)頁的系統(tǒng)，包括至少一臺應(yīng)用服務(wù)器、一臺與所述應(yīng)用服務(wù)器相連的目標(biāo)網(wǎng)站服務(wù)器、一臺與所述應(yīng)用服務(wù)器相連的內(nèi)部服務(wù)器及與所述應(yīng)用服務(wù)器和內(nèi)部服務(wù)器相連的數(shù)據(jù)庫，其特征在于，所述應(yīng)用服務(wù)器包括寫入模塊，用于根據(jù)客戶提供的網(wǎng)頁下載清單將所需下載的網(wǎng)頁的網(wǎng)址寫入腳本文件；解析模塊，用于解析該腳本文件，從目標(biāo)網(wǎng)站服務(wù)器獲取所述網(wǎng)頁內(nèi)容，并將所述網(wǎng)頁鏈接保存到數(shù)據(jù)庫及解析所述網(wǎng)頁內(nèi)容以獲取目標(biāo)內(nèi)容；轉(zhuǎn)換模塊，用于將目標(biāo)內(nèi)容中所有圖片的相對鏈接轉(zhuǎn)換成絕對鏈接及將目標(biāo)內(nèi)容中所有網(wǎng)頁鏈接的相對鏈接轉(zhuǎn)換成絕對鏈接；下載模塊，用于通過所述圖片的絕對鏈接將目標(biāo)內(nèi)容中所有圖片下載并保存到內(nèi)部服務(wù)器；儲存模塊，用于將目標(biāo)內(nèi)容中所有網(wǎng)頁的絕對鏈接保存到數(shù)據(jù)庫，同時生成所述網(wǎng)頁絕對鏈接的標(biāo)識符并將該標(biāo)識符保存到數(shù)據(jù)庫；及替換模塊，用于以目標(biāo)內(nèi)容中所有圖片在內(nèi)部服務(wù)器中的鏈接取代所述圖片的絕對鏈接及用于將所述網(wǎng)頁絕對鏈接的標(biāo)識符與網(wǎng)頁請求語言寫入該網(wǎng)頁在內(nèi)部服務(wù)器中的鏈接，并以該寫入標(biāo)識符與網(wǎng)頁請求語言的鏈接取代所述網(wǎng)頁的絕對鏈接。
2. 如權(quán)利要求1所述的下載網(wǎng)站靜態(tài)網(wǎng)頁的系統(tǒng)，其特征在于， 該應(yīng)用服務(wù)器還包括判斷模塊，用于判斷所述取代后的網(wǎng)頁鏈接所顯示得網(wǎng)頁中是否 有需要繼續(xù)下載的鏈接。
3. 如權(quán)利要求1所述的下載網(wǎng)站靜態(tài)網(wǎng)頁的系統(tǒng)，其特征在于， 所述儲存模塊還用于將替換模塊取代后的目標(biāo)內(nèi)容保存到數(shù)據(jù)庫。
4. 如權(quán)利要求1所述的下載網(wǎng)站靜態(tài)網(wǎng)頁的系統(tǒng)，其特征在于， 所述的腳本為一種基于可擴展標(biāo)記語言的查詢語言的腳本。
5. 如權(quán)利要求1所述的下載網(wǎng)站靜態(tài)網(wǎng)頁的系統(tǒng)，其特征在于， 所述解析模塊解析腳本文件從目標(biāo)網(wǎng)站服務(wù)器獲取目標(biāo)內(nèi)容的同時 還過濾掉目標(biāo)內(nèi)容中 一些不需要的網(wǎng)頁內(nèi)容。
6. —種下栽網(wǎng)站靜態(tài)網(wǎng)頁的方法，其特征在于，該方法包括如 下步驟根據(jù)客戶提供的網(wǎng)頁下載清單將所需下載的網(wǎng)頁的網(wǎng)址寫入腳 本文件；解析該腳本文件，從目標(biāo)網(wǎng)站服務(wù)器獲取所述網(wǎng)頁內(nèi)容，并將所述網(wǎng)頁鏈接保存到數(shù)據(jù)庫；解析所述網(wǎng)頁內(nèi)容以獲取目標(biāo)內(nèi)容； 將目標(biāo)內(nèi)容中所有圖片的相對鏈接轉(zhuǎn)換成絕對鏈接； 通過所述絕對鏈接將目標(biāo)內(nèi)容中圖片下載并保存到內(nèi)部服務(wù)器； 以目標(biāo)內(nèi)容中所有圖片在內(nèi)部服務(wù)器中的鏈接取代所述圖片的絕對鏈接；將目標(biāo)內(nèi)容中所有網(wǎng)頁的相對鏈接轉(zhuǎn)換成絕對鏈接；將目標(biāo)內(nèi)容中所有網(wǎng)頁的絕對鏈接保存到數(shù)據(jù)庫，同時生成所述網(wǎng)頁絕對鏈接的標(biāo)識符并將該標(biāo)識符保存到數(shù)據(jù)庫；及將所述網(wǎng)頁絕對鏈接的標(biāo)識符與網(wǎng)頁請求語言寫入該網(wǎng)頁在內(nèi)部服務(wù)器中的鏈接，并以該寫入標(biāo)識符與網(wǎng)頁請求語言的鏈接取代所述網(wǎng)頁的絕對鏈接。
7. 如權(quán)利要求6所述的下載網(wǎng)站靜態(tài)網(wǎng)頁的方法，其特征在于， 該方法還包括步驟判斷所述取代后的網(wǎng)頁鏈接所顯示的網(wǎng)頁中是否有需要繼續(xù)下 載的鏈接；若所述取代后的網(wǎng)頁鏈接所顯示的網(wǎng)頁中沒有需要繼續(xù)下載的 鏈接，則將取代后的目標(biāo)內(nèi)容保存到數(shù)據(jù)庫。
8. 如權(quán)利要求7所述的下載網(wǎng)站靜態(tài)網(wǎng)頁的方法，其特征在于， 該方法還包括步驟 若所述取代后的網(wǎng)頁鏈接所顯示的網(wǎng)頁中有需要繼續(xù)下載的鏈 接，則返回至步驟解析所述網(wǎng)頁內(nèi)容來獲取目標(biāo)內(nèi)容。
全文摘要
一種下載網(wǎng)站靜態(tài)網(wǎng)頁的系統(tǒng)，包括至少一臺目標(biāo)網(wǎng)站服務(wù)器、一臺內(nèi)部服務(wù)器，一臺與該目標(biāo)網(wǎng)站服務(wù)器和內(nèi)部服務(wù)器相連的應(yīng)用服務(wù)器及與該應(yīng)用服務(wù)器和內(nèi)部服務(wù)器相連的數(shù)據(jù)庫，該應(yīng)用服務(wù)器包括寫入模塊，用于將所需下載的網(wǎng)址寫入腳本文件；解析模塊，用于解析該腳本文件獲取該網(wǎng)站網(wǎng)頁內(nèi)容及解析該網(wǎng)頁內(nèi)容以獲取目標(biāo)內(nèi)容；轉(zhuǎn)換模塊，用于將目標(biāo)內(nèi)容中的相對鏈接轉(zhuǎn)換成絕對鏈接；下載模塊，用于將圖片下載并保存到內(nèi)部服務(wù)器；儲存模塊，用于將網(wǎng)頁的絕對鏈接保存到數(shù)據(jù)庫，同時生成該絕對鏈接的標(biāo)識符；替換模塊，用于以所述圖片及網(wǎng)頁在內(nèi)部服務(wù)器中的鏈接取代其絕對鏈接。利用本發(fā)明可將網(wǎng)站內(nèi)容按照其組織方式和結(jié)構(gòu)完整的下載到本地。
文檔編號H04L12/28GK101127038SQ20061006219
公開日2008年2月20日 申請日期2006年8月18日 優(yōu)先權(quán)日2006年8月18日
發(fā)明者盧秋樺, 葉建發(fā), 姜志強, 李忠一 申請人:鴻富錦精密工業(yè)(深圳)有限公司;鴻海精密工業(yè)股份有限公司