管理web應(yīng)用中外鏈的方法及裝置制造方法
【專利摘要】本發(fā)明涉及一種管理web應(yīng)用中外鏈的方法，包括：獲取輸入的web應(yīng)用的網(wǎng)絡(luò)地址；通過網(wǎng)絡(luò)爬蟲遞歸抓取所述網(wǎng)絡(luò)地址下包含的內(nèi)部鏈接，提取所述網(wǎng)絡(luò)地址和所述內(nèi)部鏈接對(duì)應(yīng)的網(wǎng)頁包含的外部鏈接；抓取所述外部鏈接對(duì)應(yīng)的網(wǎng)頁內(nèi)容，根據(jù)所述網(wǎng)頁內(nèi)容獲取所述外部鏈接對(duì)應(yīng)的類型及鏈接信息，所述鏈接信息包括標(biāo)題、摘要信息和/或其對(duì)應(yīng)的內(nèi)部鏈接；展示所述外部鏈接及其鏈接信息。此外，還包括一種管理web應(yīng)用中外鏈的裝置。上述管理web應(yīng)用中外鏈的方法及裝置能夠提高操作的便利性，也為web應(yīng)用的管理員發(fā)現(xiàn)惡意外鏈提供了便捷。
【專利說明】管理web應(yīng)用中外鏈的方法及裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及網(wǎng)絡(luò)【技術(shù)領(lǐng)域】，特別是涉及一種管理web應(yīng)用中外鏈的方法及裝置。

【背景技術(shù)】
[0002] 傳統(tǒng)技術(shù)中，web應(yīng)用中的外鏈即為外部鏈接的簡稱，與之相對(duì)的即為內(nèi)部鏈接。 用戶點(diǎn)擊內(nèi)部鏈接，則web應(yīng)用返回相應(yīng)的頁面，而若用戶點(diǎn)擊外部鏈接，則用戶會(huì)向該外 部鏈接對(duì)應(yīng)的服務(wù)器發(fā)起訪問請求。
[0003] 然而，外部鏈接對(duì)應(yīng)的頁面并不屬于該web應(yīng)用，因此其安全性得不到保障?，F(xiàn)有 技術(shù)中缺乏對(duì)web應(yīng)用中外鏈的管理手段。當(dāng)web應(yīng)用的管理人員希望去了解其web應(yīng)用 包含有哪些外鏈時(shí)，通常需要管理人員手動(dòng)去查詢web應(yīng)用的源代碼，使得操作的便利性 不足。


【發(fā)明內(nèi)容】

[0004] 基于此，有必要提供一種能提高操作的便利性的管理web應(yīng)用中外鏈的方法。
[0005] -種管理web應(yīng)用中外鏈的方法，包括：
[0006] 獲取輸入的web應(yīng)用的網(wǎng)絡(luò)地址；
[0007] 通過網(wǎng)絡(luò)爬蟲遞歸抓取所述網(wǎng)絡(luò)地址下包含的內(nèi)部鏈接，提取所述網(wǎng)絡(luò)地址和所 述內(nèi)部鏈接對(duì)應(yīng)的網(wǎng)頁包含的外部鏈接；
[0008] 抓取所述外部鏈接對(duì)應(yīng)的網(wǎng)頁內(nèi)容，根據(jù)所述網(wǎng)頁內(nèi)容獲取所述外部鏈接對(duì)應(yīng)的 類型及鏈接信息，所述鏈接信息包括標(biāo)題、摘要信息和/或其對(duì)應(yīng)的內(nèi)部鏈接；
[0009] 展示所述外部鏈接及其鏈接信息。
[0010] 在其中一個(gè)實(shí)施例中，所述通過網(wǎng)絡(luò)爬蟲遞歸抓取所述網(wǎng)絡(luò)地址下包含的內(nèi)部鏈 接，提取所述網(wǎng)絡(luò)地址和所述內(nèi)部鏈接對(duì)應(yīng)的網(wǎng)頁包含的外部鏈接的步驟包括：
[0011] 將所述網(wǎng)絡(luò)地址作為目標(biāo)地址；
[0012] 遍歷提取所述目標(biāo)地址下包含的鏈接，判斷所述鏈接是否為內(nèi)部鏈接，若是，則將 所述內(nèi)部鏈接作為目標(biāo)地址，并遞歸執(zhí)行所述遍歷提取所述目標(biāo)地址下包含的鏈接的步 驟。
[0013] 在其中一個(gè)實(shí)施例中，所述抓取所述外部鏈接對(duì)應(yīng)的網(wǎng)頁內(nèi)容的步驟為：
[0014] 在沙盒環(huán)境下抓取所述外部鏈接對(duì)應(yīng)的網(wǎng)頁內(nèi)容。
[0015] 在其中一個(gè)實(shí)施例中，所述鏈接信息還包括外部鏈接對(duì)應(yīng)的阻止訪問狀態(tài)；
[0016] 所述展示所述外部鏈接及其鏈接信息的步驟之后還包括：
[0017] 獲取輸入的配置指令及其對(duì)應(yīng)的外部鏈接，根據(jù)所述配置指令配置所述外部鏈接 的阻止訪問狀態(tài)。
[0018] 在其中一個(gè)實(shí)施例中，所述方法還包括：
[0019] 接收網(wǎng)絡(luò)訪問請求，獲取其對(duì)應(yīng)的內(nèi)鏈地址，查找所述內(nèi)鏈地址包含的外鏈地址 的阻止訪問狀態(tài)，判斷所述阻止訪問狀態(tài)是否為阻止，若是，則將所述網(wǎng)絡(luò)訪問請求重定向 至錯(cuò)誤提示頁面。
[0020] 此外，還有必要提供一種能提高操作的便利性的管理web應(yīng)用中外鏈的裝置。
[0021] 一種管理web應(yīng)用中外鏈的裝置，包括：
[0022] 應(yīng)用地址獲取模塊，用于獲取輸入的web應(yīng)用的網(wǎng)絡(luò)地址；
[0023] 外部鏈接抓取模塊，用于通過網(wǎng)絡(luò)爬蟲遞歸抓取所述網(wǎng)絡(luò)地址下包含的內(nèi)部鏈 接，提取所述網(wǎng)絡(luò)地址和所述內(nèi)部鏈接對(duì)應(yīng)的網(wǎng)頁包含的外部鏈接；
[0024] 鏈接信息獲取模塊，用于抓取所述外部鏈接對(duì)應(yīng)的網(wǎng)頁內(nèi)容，根據(jù)所述網(wǎng)頁內(nèi)容 獲取所述外部鏈接對(duì)應(yīng)的類型及鏈接信息，所述鏈接信息包括標(biāo)題、摘要信息和/或其對(duì) 應(yīng)的內(nèi)部鏈接；
[0025] 外部鏈接展示模塊，用于展示所述外部鏈接及其鏈接信息。
[0026] 在其中一個(gè)實(shí)施例中，所述外部鏈接抓取模塊還用于將所述網(wǎng)絡(luò)地址作為目標(biāo)地 址；遍歷提取所述目標(biāo)地址下包含的鏈接，判斷所述鏈接是否為內(nèi)部鏈接，若是，則將所述 內(nèi)部鏈接作為目標(biāo)地址，并遞歸遍歷提取所述目標(biāo)地址下包含的鏈接。
[0027] 在其中一個(gè)實(shí)施例中，所述鏈接信息獲取模塊還用于在沙盒環(huán)境下抓取所述外部 鏈接對(duì)應(yīng)的網(wǎng)頁內(nèi)容。
[0028] 在其中一個(gè)實(shí)施例中，所述鏈接信息還包括外部鏈接對(duì)應(yīng)的阻止訪問狀態(tài)；
[0029] 所述外部鏈接展示模塊還用于獲取輸入的配置指令及其對(duì)應(yīng)的外部鏈接，根據(jù)所 述配置指令配置所述外部鏈接的阻止訪問狀態(tài)。
[0030] 在其中一個(gè)實(shí)施例中，所述裝置還包括請求過濾模塊，用于接收網(wǎng)絡(luò)訪問請求，獲 取其對(duì)應(yīng)的內(nèi)鏈地址，查找所述內(nèi)鏈地址包含的外鏈地址的阻止訪問狀態(tài)，判斷所述阻止 訪問狀態(tài)是否為阻止，若是，則將所述網(wǎng)絡(luò)訪問請求重定向至錯(cuò)誤提示頁面。
[0031] 上述管理web應(yīng)用中外鏈的方法及裝置中，用戶只需輸入web應(yīng)用對(duì)應(yīng)的網(wǎng)絡(luò)地 址，即可通過網(wǎng)絡(luò)爬蟲獲取到web應(yīng)用下所有的外部鏈接以及相應(yīng)的鏈接信息，從而可方 便快捷地了解到該web應(yīng)用下的外鏈的安全情況，并根據(jù)展示的外鏈及其鏈接信息對(duì)web 應(yīng)用中頁面上的外面進(jìn)行修改，而無需手動(dòng)查閱web應(yīng)用的源代碼，從而提高了操作的便 利性。同時(shí)，也為web應(yīng)用的管理員發(fā)現(xiàn)惡意外鏈提供了便捷。

【專利附圖】

【附圖說明】
[0032] 圖1為一個(gè)實(shí)施例中管理web應(yīng)用中外鏈的方法的流程圖；
[0033] 圖2為一個(gè)實(shí)施例中管理web應(yīng)用中外鏈的裝置的結(jié)構(gòu)示意圖；
[0034] 圖3為另一個(gè)實(shí)施例中管理web應(yīng)用中外鏈的裝置的結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0035] 如圖1所示，在一個(gè)實(shí)施例中，一種管理web應(yīng)用中外鏈的方法，該方法的執(zhí)行依 賴于計(jì)算機(jī)程序，可運(yùn)行于基于馮洛伊曼體系的計(jì)算機(jī)系統(tǒng)上，該計(jì)算機(jī)系統(tǒng)可以是具有 網(wǎng)關(guān)功能的計(jì)算機(jī)設(shè)備。
[0036] 該方法包括：
[0037] 步驟S102,獲取輸入的web應(yīng)用的網(wǎng)絡(luò)地址。
[0038] 在本實(shí)施例中，web應(yīng)用發(fā)布在遠(yuǎn)程服務(wù)器上。web應(yīng)用的網(wǎng)絡(luò)地址即為部署該 web應(yīng)用的遠(yuǎn)程服務(wù)器的IP地址或域名。
[0039] 例如，一個(gè)小型企業(yè)內(nèi)部可假設(shè)有子網(wǎng)，該子網(wǎng)通過運(yùn)行本方法的網(wǎng)關(guān)與外網(wǎng)連 接。遠(yuǎn)程服務(wù)器可以放置于外網(wǎng)的服務(wù)器托管中心的機(jī)房中。基于web的應(yīng)用系統(tǒng)（web 應(yīng)用）可部署在該遠(yuǎn)程服務(wù)器上，部署后通過域名服務(wù)商可將該遠(yuǎn)程服務(wù)器的IP地址與相 應(yīng)的域名綁定，用戶通過該域名即可訪問該web應(yīng)用。該方法還可運(yùn)行于web應(yīng)用服務(wù)器 托管中心的機(jī)房所在的網(wǎng)關(guān)設(shè)備上。部署多個(gè)web應(yīng)用的多個(gè)服務(wù)器可放置在該機(jī)房中， 通過該網(wǎng)關(guān)設(shè)備構(gòu)成子網(wǎng)并與外網(wǎng)連接?；ヂ?lián)網(wǎng)用戶對(duì)web應(yīng)用的訪問均需要通過該網(wǎng)關(guān) 設(shè)備的轉(zhuǎn)發(fā)才能抵達(dá)相應(yīng)的web應(yīng)用服務(wù)器。
[0040] 步驟S104,通過網(wǎng)絡(luò)爬蟲遞歸抓取網(wǎng)絡(luò)地址下包含的內(nèi)部鏈接，提取網(wǎng)絡(luò)地址和 內(nèi)部鏈接對(duì)應(yīng)的網(wǎng)頁包含的外部鏈接。
[0041] 網(wǎng)絡(luò)爬蟲即網(wǎng)絡(luò)蜘蛛，為一種抓取網(wǎng)頁內(nèi)容的計(jì)算機(jī)程序?？赏ㄟ^網(wǎng)頁的鏈接地 址來尋找網(wǎng)頁，從網(wǎng)站某一個(gè)頁面（通常是首頁）開始，讀取網(wǎng)頁的內(nèi)容，找到在網(wǎng)頁中的 其它鏈接地址，然后通過這些鏈接地址尋找下一個(gè)網(wǎng)頁，這樣一直循環(huán)下去，直到把這個(gè)網(wǎng) 站所有的網(wǎng)頁都抓取完為止。如果把整個(gè)互聯(lián)網(wǎng)當(dāng)成一個(gè)網(wǎng)站，那么網(wǎng)絡(luò)爬蟲就可以用這 個(gè)原理把互聯(lián)網(wǎng)上所有的網(wǎng)頁都抓取下來。
[0042] 在本實(shí)施例中，通過網(wǎng)絡(luò)爬蟲遞歸抓取網(wǎng)絡(luò)地址下包含的內(nèi)部鏈接，提取網(wǎng)絡(luò)地 址和內(nèi)部鏈接對(duì)應(yīng)的網(wǎng)頁包含的外部鏈接的步驟包括：
[0043] 將網(wǎng)絡(luò)地址作為目標(biāo)地址；遍歷提取目標(biāo)地址下包含的鏈接，判斷鏈接是否為內(nèi) 部鏈接，若是，則將內(nèi)部鏈接作為目標(biāo)地址，并遞歸執(zhí)行遍歷提取目標(biāo)地址下包含的鏈接的 步驟。
[0044] 也就是說，網(wǎng)絡(luò)爬蟲在抓取到目標(biāo)地址對(duì)應(yīng)的網(wǎng)頁內(nèi)容后，提取該網(wǎng)頁內(nèi)容中包 含的全部鏈接地址，該鏈接地址包括外部鏈接和內(nèi)部鏈接兩種，對(duì)于內(nèi)部鏈接，則將其作為 目標(biāo)地址以遞歸的方式獲取其對(duì)應(yīng)的網(wǎng)頁內(nèi)容，提取包含的全部鏈接地址，而對(duì)于外部鏈 接，則可將其存儲(chǔ)在外鏈數(shù)據(jù)庫中，而無需對(duì)其進(jìn)行遞歸抓取操作。
[0045] 需要說明的是，可通過比對(duì)提取到的鏈接地址的字符串和輸入的web應(yīng)用的網(wǎng)絡(luò) 地址的字符串判斷是否為提取到的鏈接地址為內(nèi)部鏈接還是外部鏈接，若提取到的鏈接地 址的字符串以輸入的web應(yīng)用的網(wǎng)絡(luò)地址作為起始或以作為起始，則該提取到的 鏈接地址即為內(nèi)部鏈接，反之，則為外部鏈接。
[0046] 例如，若輸入的web應(yīng)用的網(wǎng)絡(luò)地址為：www. abc. com,而提取到的鏈接地址為：./ media/js/globle. js 或 www. abc. com/media/js/globle. js，則提取到的鏈接地址為內(nèi)部 鏈接，而若提取到的鏈接地址為：http://www. def. com/index. html，則該鏈接地址為外部 鏈接。
[0047] 優(yōu)選的對(duì)于后綴為.js、. jpg或.css等資源型的內(nèi)部鏈接，可跳過對(duì)其進(jìn)行抓取， 從而節(jié)省時(shí)間。
[0048] 步驟S106，抓取外部鏈接對(duì)應(yīng)的網(wǎng)頁內(nèi)容，根據(jù)網(wǎng)頁內(nèi)容獲取外部鏈接對(duì)應(yīng)的類 型及鏈接信息，鏈接信息包括標(biāo)題、摘要信息和/或其對(duì)應(yīng)的內(nèi)部鏈接。
[0049] 外部鏈接的類型可包括病毒、釣魚、賭博、木馬、欺詐、惡意廣告和友情鏈接等。在 本實(shí)施例中，可根據(jù)抓取到的外部鏈接對(duì)應(yīng)的網(wǎng)頁內(nèi)容中包含的關(guān)鍵字來判斷該外部鏈接 的類型。
[0050] 例如，若抓取到的外部鏈接對(duì)應(yīng)的網(wǎng)頁內(nèi)容中包含有"私服"、"推廣"等關(guān)鍵字，則 可判定該外部鏈接為游戲推廣的惡意鏈接，其類型即為惡意廣告，若其網(wǎng)頁內(nèi)容中包含有 "六合彩"、"投注"等關(guān)鍵字，則可判定該外部鏈接對(duì)應(yīng)賭博網(wǎng)站，其類型即為賭博。
[0051] 優(yōu)選的，還可在沙盒環(huán)境下抓取外部鏈接對(duì)應(yīng)的網(wǎng)頁內(nèi)容。沙盒（sandbox)環(huán)境 即沙箱環(huán)境，計(jì)算機(jī)程序可在沙箱環(huán)境中獨(dú)立運(yùn)行，而不會(huì)對(duì)沙盒外的內(nèi)存空間或存儲(chǔ)空 間產(chǎn)生影響。在沙盒環(huán)境下抓取外部鏈接可避免抓取到的網(wǎng)頁內(nèi)容中的惡意程序造成危 害，從而提高安全性。
[0052] 在本實(shí)施例中，還可預(yù)先根據(jù)url庫判斷外部鏈接的類型。例如，可在病毒庫或木 馬庫中查找該外部鏈接，若存在，則該外部鏈接的類型即為病毒或木馬。
[0053] 步驟S108,展示外部鏈接及其鏈接信息。
[0054] 如表1所示：
[0055] 表 1
[0056]

【權(quán)利要求】
1. 一種管理web應(yīng)用中外鏈的方法，包括： 獲取輸入的web應(yīng)用的網(wǎng)絡(luò)地址； 通過網(wǎng)絡(luò)爬蟲遞歸抓取所述網(wǎng)絡(luò)地址下包含的內(nèi)部鏈接，提取所述網(wǎng)絡(luò)地址和所述內(nèi) 部鏈接對(duì)應(yīng)的網(wǎng)頁包含的外部鏈接； 抓取所述外部鏈接對(duì)應(yīng)的網(wǎng)頁內(nèi)容，根據(jù)所述網(wǎng)頁內(nèi)容獲取所述外部鏈接對(duì)應(yīng)的類型 及鏈接信息，所述鏈接信息包括標(biāo)題、摘要信息和/或其對(duì)應(yīng)的內(nèi)部鏈接； 展示所述外部鏈接及其鏈接信息。
2. 根據(jù)權(quán)利要求1所述的管理web應(yīng)用中外鏈的方法，其特征在于，所述通過網(wǎng)絡(luò)爬蟲 遞歸抓取所述網(wǎng)絡(luò)地址下包含的內(nèi)部鏈接，提取所述網(wǎng)絡(luò)地址和所述內(nèi)部鏈接對(duì)應(yīng)的網(wǎng)頁 包含的外部鏈接的步驟包括： 將所述網(wǎng)絡(luò)地址作為目標(biāo)地址； 遍歷提取所述目標(biāo)地址下包含的鏈接，判斷所述鏈接是否為內(nèi)部鏈接，若是，則將所述 內(nèi)部鏈接作為目標(biāo)地址，并遞歸執(zhí)行所述遍歷提取所述目標(biāo)地址下包含的鏈接的步驟。
3. 根據(jù)權(quán)利要求1所述的管理web應(yīng)用中外鏈的方法，其特征在于，所述抓取所述外部 鏈接對(duì)應(yīng)的網(wǎng)頁內(nèi)容的步驟為： 在沙盒環(huán)境下抓取所述外部鏈接對(duì)應(yīng)的網(wǎng)頁內(nèi)容。
4. 根據(jù)權(quán)利要求1所述的管理web應(yīng)用中外鏈的方法，其特征在于，所述鏈接信息還包 括外部鏈接對(duì)應(yīng)的阻止訪問狀態(tài)； 所述展示所述外部鏈接及其鏈接信息的步驟之后還包括： 獲取輸入的配置指令及其對(duì)應(yīng)的外部鏈接，根據(jù)所述配置指令配置所述外部鏈接的阻 止訪問狀態(tài)。
5. 根據(jù)權(quán)利要求4所述的管理web應(yīng)用中外鏈的方法，其特征在于，所述方法還包括： 接收網(wǎng)絡(luò)訪問請求，獲取其對(duì)應(yīng)的內(nèi)鏈地址，查找所述內(nèi)鏈地址包含的外鏈地址的阻 止訪問狀態(tài)，判斷所述阻止訪問狀態(tài)是否為阻止，若是，則將所述網(wǎng)絡(luò)訪問請求重定向至錯(cuò) 誤提示頁面。
6. -種管理web應(yīng)用中外鏈的裝置，其特征在于，包括： 應(yīng)用地址獲取模塊，用于獲取輸入的web應(yīng)用的網(wǎng)絡(luò)地址； 外部鏈接抓取模塊，用于通過網(wǎng)絡(luò)爬蟲遞歸抓取所述網(wǎng)絡(luò)地址下包含的內(nèi)部鏈接，提 取所述網(wǎng)絡(luò)地址和所述內(nèi)部鏈接對(duì)應(yīng)的網(wǎng)頁包含的外部鏈接； 鏈接信息獲取模塊，用于抓取所述外部鏈接對(duì)應(yīng)的網(wǎng)頁內(nèi)容，根據(jù)所述網(wǎng)頁內(nèi)容獲取 所述外部鏈接對(duì)應(yīng)的類型及鏈接信息，所述鏈接信息包括標(biāo)題、摘要信息和/或其對(duì)應(yīng)的 內(nèi)部鏈接； 外部鏈接展示模塊，用于展示所述外部鏈接及其鏈接信息。
7. 根據(jù)權(quán)利要求6所述的管理web應(yīng)用中外鏈的裝置，其特征在于，所述外部鏈接抓取 模塊還用于將所述網(wǎng)絡(luò)地址作為目標(biāo)地址；遍歷提取所述目標(biāo)地址下包含的鏈接，判斷所 述鏈接是否為內(nèi)部鏈接，若是，則將所述內(nèi)部鏈接作為目標(biāo)地址，并遞歸遍歷提取所述目標(biāo) 地址下包含的鏈接。
8. 根據(jù)權(quán)利要求6所述的管理web應(yīng)用中外鏈的裝置，其特征在于，所述鏈接信息獲取 模塊還用于在沙盒環(huán)境下抓取所述外部鏈接對(duì)應(yīng)的網(wǎng)頁內(nèi)容。
9. 根據(jù)權(quán)利要求6所述的管理web應(yīng)用中外鏈的裝置，其特征在于，所述鏈接信息還包 括外部鏈接對(duì)應(yīng)的阻止訪問狀態(tài)； 所述外部鏈接展示模塊還用于獲取輸入的配置指令及其對(duì)應(yīng)的外部鏈接，根據(jù)所述配 置指令配置所述外部鏈接的阻止訪問狀態(tài)。
10. 根據(jù)權(quán)利要求9所述的管理web應(yīng)用中外鏈的裝置，其特征在于，所述裝置還包括 請求過濾模塊，用于接收網(wǎng)絡(luò)訪問請求，獲取其對(duì)應(yīng)的內(nèi)鏈地址，查找所述內(nèi)鏈地址包含的 外鏈地址的阻止訪問狀態(tài)，判斷所述阻止訪問狀態(tài)是否為阻止，若是，則將所述網(wǎng)絡(luò)訪問請 求重定向至錯(cuò)誤提示頁面。
【文檔編號(hào)】G06F21/56GK104102697SQ201410302298
【公開日】2014年10月15日 申請日期:2014年6月27日 優(yōu)先權(quán)日:2014年6月27日
【發(fā)明者】曾加良 申請人:深信服網(wǎng)絡(luò)科技（深圳）有限公司