網(wǎng)站訪問請求的管理方法、裝置及系統(tǒng)的制作方法
【技術領域】
[0001]本發(fā)明屬于計算機及網(wǎng)絡技術領域，尤其涉及一種網(wǎng)站訪問請求的管理方法及裝置。
【背景技術】
[0002]網(wǎng)絡爬蟲是一種按照一定的規(guī)則，自動地抓取萬維網(wǎng)信息的程序或者腳本。隨著搜索引擎技術的發(fā)展，網(wǎng)絡爬蟲已經(jīng)成了很普及的網(wǎng)絡搜索技術，除了專門做搜索的谷歌、雅虎、微軟以及百度以外，幾乎每個大型門戶網(wǎng)站都有自己的搜索引擎，還有各種不知名企業(yè)的用于爬取網(wǎng)站數(shù)據(jù)的各種爬蟲系統(tǒng)。對于一個內(nèi)容型驅(qū)動的網(wǎng)站來說，受到網(wǎng)絡爬蟲的光顧是不可避免的。
[0003]—些智能的搜索引擎爬蟲爬取網(wǎng)站數(shù)據(jù)的頻率比較合理，對網(wǎng)站資源消耗比較少。但是很多糟糕的網(wǎng)絡爬蟲，經(jīng)常并發(fā)幾百甚至上千個請求循環(huán)重復抓取網(wǎng)站數(shù)據(jù)，這種網(wǎng)絡爬蟲對中小型網(wǎng)站來說，往往是毀滅性打擊，特別是一些缺乏爬蟲編寫經(jīng)驗的程序員寫出來的爬蟲破壞力極強，由于通過多進程高并發(fā)的方式訪問網(wǎng)站，很容易使得網(wǎng)站系統(tǒng)流量急劇上升，網(wǎng)站服務器和數(shù)據(jù)庫的負載加重，服務器磁盤I/O (Input/Output，輸入/輸出端口 )讀寫和網(wǎng)絡I/O請求頻繁，有可能造成性能瓶頸，嚴重的時候甚至導致網(wǎng)站癱瘓。
[0004]基于以上原因，很多網(wǎng)站都采取了一些反爬蟲的措施，例如根據(jù)訪問頻率判斷是否網(wǎng)絡爬蟲請求，并對判斷為網(wǎng)絡爬蟲請求的網(wǎng)站訪問請求進行限制。但是，上述反爬蟲措施并不完善，網(wǎng)絡爬蟲的設計者往往可以通過采取一些有針對性地策略來規(guī)避現(xiàn)有的反爬蟲措施，如:使用代理技術模擬偽裝成瀏覽器訪問以降低訪問頻率、以及通過不斷變換IP地址(Internet Protocol Address，互聯(lián)網(wǎng)協(xié)議地址)進行網(wǎng)站頁面數(shù)據(jù)的爬取等等。因此，現(xiàn)有技術無法對基于網(wǎng)絡爬蟲技術的網(wǎng)站訪問請求進行有效管理。

【發(fā)明內(nèi)容】

[0005]本發(fā)明提供一種網(wǎng)站訪問請求的管理方法及裝置，用以通過將IP地址限制與二維碼相結(jié)合，達到有效防止終端設備通過偽裝成瀏覽器訪問、或不斷變換IP地址的方式抓取網(wǎng)站數(shù)據(jù)的目的，實現(xiàn)對網(wǎng)站訪問請求的有效管理。
[0006]本發(fā)明提供一種網(wǎng)站訪問請求的管理方法，應用于網(wǎng)頁服務器，包括:
[0007]攔截終端設備發(fā)起的網(wǎng)站訪問請求，判斷所述網(wǎng)站訪問請求是否通過瀏覽器發(fā)起；
[0008]若所述網(wǎng)站訪問請求并非通過瀏覽器發(fā)起，則將所述網(wǎng)站訪問請求識別為網(wǎng)絡爬蟲請求，并拒絕所述網(wǎng)站訪問請求，若所述網(wǎng)站訪問請求通過瀏覽器發(fā)起，則獲取預置時長內(nèi)所述終端設備發(fā)起的所有網(wǎng)站訪問請求的相關訪問參數(shù)，根據(jù)所述相關訪問參數(shù)分析判斷所述網(wǎng)站訪問請求是否疑似網(wǎng)絡爬蟲請求，所述相關訪問參數(shù)包括:預置時長內(nèi)所述終端設備每一次發(fā)起網(wǎng)站訪問請求時使用的互聯(lián)網(wǎng)協(xié)議IP地址、發(fā)起時間以及流量消耗；
[0009]若所述網(wǎng)站訪問請求非疑似網(wǎng)絡爬蟲請求，則放行所述網(wǎng)站訪問請求，若所述網(wǎng)站訪問請求疑似網(wǎng)絡爬蟲請求，生成用于身份驗證的二維碼并返回給所述終端設備，使得所述終端設備通過掃描所述二維碼進行身份驗證；
[0010]若所述終端設備通過身份驗證，則放行所述網(wǎng)站訪問請求，若所述終端設備未通過身份驗證，則將所述網(wǎng)站訪問請求識別為網(wǎng)絡爬蟲請求，并拒絕所述網(wǎng)站訪問請求。
[0011]本發(fā)明提供一種網(wǎng)站訪問請求的管理裝置，包括:
[0012]攔截模塊，用于攔截終端設備發(fā)起的網(wǎng)站訪問請求；
[0013]判斷模塊，用于判斷所述網(wǎng)站訪問請求是否通過瀏覽器發(fā)起；
[0014]管理模塊，用于若所述判斷模塊的判斷結(jié)果為所述網(wǎng)站訪問請求并非通過瀏覽器發(fā)起，則將所述網(wǎng)站訪問請求識別為網(wǎng)絡爬蟲請求，并拒絕所述網(wǎng)站訪問請求；
[0015]獲取模塊，用于若所述判斷模塊的判斷結(jié)果為所述網(wǎng)站訪問請求通過瀏覽器發(fā)起，則獲取預置時長內(nèi)所述終端設備發(fā)起的所有網(wǎng)站訪問請求的相關訪問參數(shù)；
[0016]所述判斷模塊，還用于根據(jù)所述相關訪問參數(shù)分析判斷所述網(wǎng)站訪問請求是否疑似網(wǎng)絡爬蟲請求，所述相關訪問參數(shù)包括:預置時長內(nèi)所述終端設備每一次發(fā)起網(wǎng)站訪問請求時使用的互聯(lián)網(wǎng)協(xié)議IP地址、發(fā)起時間以及流量消耗；
[0017]所述管理模塊，還用于若所述判斷模塊的判斷結(jié)果為所述網(wǎng)站訪問請求非疑似網(wǎng)絡爬蟲請求，則放行所述網(wǎng)站訪問請求；
[0018]二維碼驗證模塊，用于若所述判斷模塊的判斷結(jié)果為所述網(wǎng)站訪問請求疑似網(wǎng)絡爬蟲請求，則生成用于身份驗證的二維碼并返回給所述終端設備，使得所述終端設備通過掃描所述二維碼進行身份驗證，以及根據(jù)所述二維碼對所述終端設備進行身份驗證；
[0019]所述管理模塊，還用于若所述二維碼驗證模塊的驗證結(jié)果為所述終端設備通過身份驗證，則放行所述網(wǎng)站訪問請求，若所述二維碼驗證模塊的驗證結(jié)果為所述終端設備未通過身份驗證，則將所述網(wǎng)站訪問請求識別為網(wǎng)絡爬蟲請求，并拒絕所述網(wǎng)站訪問請求。
[0020]從上述本發(fā)明實施例可知，本發(fā)明通過將IP地址限制與二維碼相結(jié)合，在攔截的網(wǎng)站訪問請求疑似網(wǎng)絡爬蟲請求時，使用二維碼圖像加密技術，根據(jù)身份驗證信息生成二維碼并返回終端設備，使得終端設備只能在以人工掃描二維碼的方式通過身份驗證時，才能請求到網(wǎng)站數(shù)據(jù)，既可保證用戶登錄賬號信息的安全，不容易造成賬號泄露的安全隱患，又可有效防止終端設備通過偽裝成瀏覽器訪問、或利用不斷變換IP地址的方式抓取網(wǎng)站數(shù)據(jù)，實現(xiàn)對網(wǎng)站訪問請求的有效管理。
【附圖說明】
[0021]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域技術人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0022]圖1是本發(fā)明第一實施例提供的網(wǎng)站訪問請求的管理方法的實現(xiàn)流程示意圖；
[0023]圖2是本發(fā)明第二實施例提供的網(wǎng)站訪問請求的管理方法的實現(xiàn)流程示意圖；
[0024]圖3是本發(fā)明第三實施例提供的網(wǎng)站訪問請求的管理裝置的結(jié)構示意圖；
[0025]圖4是本發(fā)明第四實施例提供的網(wǎng)站訪問請求的管理裝置的結(jié)構示意圖。
【具體實施方式】
[0026]為使得本發(fā)明的發(fā)明目的、特征、優(yōu)點能夠更加的明顯和易懂，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而非全部實施例?；诒景l(fā)明中的實施例，本領域技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0027]請參閱圖1，圖1是本發(fā)明第一實施例提供的網(wǎng)站訪問請求的管理方法流程示意圖，該方法可應用于Web (網(wǎng)頁)服務器中，實現(xiàn)對來自于終端設備的網(wǎng)站訪問請求的管理。終端設備可以是智能手機、平板電腦等移動終端設備，也可以是臺式計算機。終端設備根據(jù)用戶的網(wǎng)頁瀏覽操作，向Web服務器發(fā)起網(wǎng)站訪問請求。如圖1所示，該方法包括以下步驟:
[0028]S101、攔截終端設備發(fā)起的網(wǎng)站訪問請求，判斷該網(wǎng)站訪問請求是否通過瀏覽器發(fā)起；
[0029]Web服務器配置有網(wǎng)站訪問請求監(jiān)管模塊和處理模塊，網(wǎng)站訪問請求監(jiān)管模塊用于監(jiān)控管理終端設備發(fā)送的網(wǎng)站訪問請求，處理模塊用于對該網(wǎng)站訪問請求進行處理，根據(jù)處理結(jié)果返回該網(wǎng)站訪問請求請求訪問的網(wǎng)站頁面的數(shù)據(jù)。通過該網(wǎng)站訪問請求監(jiān)管模塊攔截終端設備發(fā)起的網(wǎng)站訪問請求，并判斷該網(wǎng)站訪問請求是否通過瀏覽器發(fā)起。
[0030]通過瀏覽器發(fā)起的網(wǎng)站訪問請求，會請求加載包含在網(wǎng)站頁面中的特定文件，如頁面中JavaScript (js)或CSS (Cascading Style Sheets，層疊樣式表)或圖片文件，而網(wǎng)絡爬蟲請求主要關注網(wǎng)頁上的頁面內(nèi)容，因此只會通過http (HyperText TransferProtocol，超文本傳輸協(xié)議)客戶端請求下載頁面的html (HyperText Markup Language，超級文本標記語言)源代碼?；谏鲜鲈?，通過判斷該網(wǎng)站訪問請求是否請求加載頁面中的指定類型的文件，可識別該網(wǎng)站訪問請求是否通過瀏覽器發(fā)起。當一個網(wǎng)站訪問請求被識別出來不是通過瀏覽器發(fā)起時，該請求一定是爬蟲請求。
[0031]若該網(wǎng)站訪問請求并非通過瀏覽器發(fā)起，則執(zhí)行步驟S102 ;若該網(wǎng)站訪問請求通過瀏覽器發(fā)起，則執(zhí)行步驟S103。
[0032]S102、將該網(wǎng)站訪問請求識別為網(wǎng)絡爬蟲請求，并拒絕該網(wǎng)站訪問請求；
[0033]若該網(wǎng)站訪問請求并非由終端設備通過瀏覽器發(fā)起，或者該終端設備未通過二維碼身份驗證，則識別該網(wǎng)站訪問請求為網(wǎng)絡爬蟲請求，并拒絕該網(wǎng)站訪問請求。
[0034]S103、獲取預置時長內(nèi)該終端設備發(fā)起的所有網(wǎng)站訪問請求的相關訪問參數(shù)，根據(jù)該相關訪問參數(shù)分析判斷該網(wǎng)站訪問請求是否疑似網(wǎng)絡爬蟲請求；
[0035]若該網(wǎng)站訪問請求由終端設備通過瀏覽器發(fā)起，則獲取預置時長內(nèi)，該終端設備發(fā)起的所有網(wǎng)站訪問請求的相關訪問參數(shù)，其中該相關訪問參數(shù)可以但不限于包括:預置時長內(nèi)該終端設備每一次發(fā)起網(wǎng)站訪問請求時使用的IP地址、發(fā)起時間以及流量消耗。
[0036]根據(jù)該相關訪問參數(shù)得到該終端設備在預置時長內(nèi)發(fā)起網(wǎng)站訪問請求的流量消耗規(guī)律及頻率規(guī)律，分析判斷該流量消耗規(guī)律是否符合預置的疑似網(wǎng)絡爬蟲請求的流量消耗特征規(guī)律以及該頻率規(guī)律是否符合預置的疑似網(wǎng)絡爬蟲請求的頻率特征規(guī)律；若該流量消耗規(guī)律不符合該流量消耗特征規(guī)律，且該頻率規(guī)律不符合該頻率特征規(guī)律，則確定該網(wǎng)站訪問請求非疑似網(wǎng)絡爬蟲請求，執(zhí)行步驟S106 ;若該流量消耗規(guī)律符合該流量消耗特征規(guī)律，或該頻率規(guī)律符合該頻率特征規(guī)律，也即二者中有任意一項符合，則確定該網(wǎng)站訪問請求疑似網(wǎng)絡爬蟲請求，執(zhí)行步驟S104。
[0037]S104、生成用于身份驗證的二維碼并返回給該終端設備，使得該終端設備通過掃描該二維碼進行身份驗證；
[0038]若該網(wǎng)站訪問請求疑似網(wǎng)絡爬蟲請求，則根據(jù)預置的身份驗證信息生成用于身份驗證的二維碼。其中預置的身份驗證信息可以但不限于包括用戶預先注冊的登錄帳號和登錄密碼。將預置的身份驗證信息封裝于二維碼中，并將該二維碼發(fā)送給移動終端，使得該終端設備通過利用第三方通信工具掃描該二維碼的方式進行登錄。采用二維碼的驗證形式，可以保證登錄密碼不被泄露，保障登錄驗證信息的安全。
[0039]S105、判斷該終端設備是否通過身份驗證；
[0040]接收該移動終端通過掃描該二維碼返回的身份驗證信息，將該身份驗證信息與預置的身份驗證信息進行匹配，若二者匹配，則判定該移動終端通過身份驗證，執(zhí)行步驟S106:放行該網(wǎng)站訪問請求，若二者不匹配，則判定該移動終端未通過身份驗證，執(zhí)行步驟S102:將該網(wǎng)站訪問請求識別為網(wǎng)絡爬蟲請求，并拒絕該網(wǎng)站訪問請求。
[0041 ] S106、放行該