專利名稱：一種原始測(cè)試數(shù)據(jù)的采集方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及掃描數(shù)據(jù)的處理技術(shù)，尤其涉及一種掃描數(shù)據(jù)的采集方法及裝置。
背景技術(shù)：
在互聯(lián)網(wǎng)大眾化、Web技術(shù)飛速演變、黑客工具日益普及的今天，針對(duì)Web的攻擊和破壞不斷增多，在線安全面臨日益嚴(yán)峻的挑戰(zhàn)，安全風(fēng)險(xiǎn)達(dá)到了前所未有的高度。以往，人們主要關(guān)心系統(tǒng)與網(wǎng)絡(luò)基礎(chǔ)層面的防護(hù)問題，而現(xiàn)在人們更加關(guān)注應(yīng)用層面的安全防護(hù)問題，安全防護(hù)已經(jīng)從底層或簡(jiǎn)單數(shù)據(jù)層面上升到了應(yīng)用層面。如果對(duì)Web服務(wù)器進(jìn)行安全漏洞掃描，首先需要得到原始測(cè)試數(shù)據(jù)，從而Web安全掃描工具根據(jù)該原始測(cè)試數(shù)據(jù)構(gòu)造各種安全攻擊、測(cè)試數(shù)據(jù)，進(jìn)行Web服務(wù)器的安全漏洞掃描?，F(xiàn)有技術(shù)中，使用統(tǒng)一資源定位符(URL, Universal Resource Locator)爬行技術(shù)進(jìn)行所述原始測(cè)試數(shù)據(jù)的獲取。URL爬行方法一般包括獲取基礎(chǔ)URL鏈接，根據(jù)該基礎(chǔ)URL鏈接的頁面內(nèi)容以預(yù)設(shè)的規(guī)則構(gòu)建該URL鏈接關(guān)聯(lián)的其他URL鏈接，分別以所述基礎(chǔ)URL鏈接以及所述其他URL鏈接構(gòu)建原始測(cè)試數(shù)據(jù)。但是,隨著Web2. O時(shí)代后ajax、flash、js混淆等技術(shù)的應(yīng)用，現(xiàn)在的web頁面已經(jīng)不是由單一固定的URL組成，而是由多個(gè)URL動(dòng)態(tài)組成一個(gè)完整頁面。各URL之間的關(guān)聯(lián)也由后臺(tái)技術(shù)實(shí)現(xiàn)，而不是在各URL鏈接的頁面內(nèi)容中指定，因此，現(xiàn)有的Web安全掃描工具已經(jīng)很難根據(jù)基礎(chǔ)URL鏈接的頁面內(nèi)容而爬行到更多的相關(guān)URL鏈接，從而導(dǎo)致Web安全掃描工具獲取到的原始測(cè)試數(shù)據(jù)越來越少，進(jìn)一步導(dǎo)致Web安全掃描工具的誤報(bào)率和漏報(bào)率越來越高。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明要解決的技術(shù)問題是，提供一種原始測(cè)試數(shù)據(jù)的采集方法及裝置，能夠獲取到準(zhǔn)確詳盡的原始測(cè)試數(shù)據(jù)，降低Web安全掃描工具的誤報(bào)率和漏報(bào)率。為此，本發(fā)明實(shí)施例采用如下技術(shù)方案本發(fā)明實(shí)施例提供一種原始測(cè)試數(shù)據(jù)的采集方法，包括獲取客戶端瀏覽器發(fā)送給網(wǎng)頁Web服務(wù)器的超文本傳輸協(xié)議http消息，所述http消息由客戶端瀏覽器根據(jù)用戶所需瀏覽網(wǎng)頁的統(tǒng)一資源定位符URL生成，用于向所述Web服務(wù)器進(jìn)行網(wǎng)頁請(qǐng)求；從所述http消息中提取對(duì)所述Web服務(wù)器進(jìn)行安全漏洞掃描所需的第一原始測(cè)試數(shù)據(jù)，所述第一原始測(cè)試數(shù)據(jù)包括http消息中的method、URL、預(yù)設(shè)參數(shù)以及預(yù)設(shè)參數(shù)對(duì)應(yīng)的參數(shù)值。本發(fā)明實(shí)施例還提供了一種原始測(cè)試數(shù)據(jù)的采集裝置，包括第一采集單元，用于獲取客戶端瀏覽器發(fā)送給Web服務(wù)器的http消息，所述http 消息由客戶端瀏覽器根據(jù)用戶所需瀏覽網(wǎng)頁的URL生成，用于向所述Web服務(wù)器進(jìn)行網(wǎng)頁請(qǐng)求；第一提取單元，用于從所述http消息中提取對(duì)所述Web服務(wù)器進(jìn)行安全漏洞掃描所需的第一原始測(cè)試數(shù)據(jù)，所述第一原始測(cè)試數(shù)據(jù)包括http消息中的method、URL、預(yù)設(shè)參數(shù)以及預(yù)設(shè)參數(shù)對(duì)應(yīng)的參數(shù)值。對(duì)于上述技術(shù)方案的技術(shù)效果分析如下獲取客戶端瀏覽器發(fā)送給Web服務(wù)器的http消息，所述http消息由客戶端瀏覽器根據(jù)用戶所需瀏覽網(wǎng)頁的URL生成，用于向Web服務(wù)器進(jìn)行網(wǎng)頁請(qǐng)求；從所述http消息中提取對(duì)該Web服務(wù)器進(jìn)行安全漏洞掃描所需的第一原始測(cè)試數(shù)據(jù)，從而采集到的原始測(cè)試數(shù)據(jù)更為準(zhǔn)確詳盡，降低了 Web安全掃描工具的誤報(bào)率和漏報(bào)率。


圖I為本發(fā)明實(shí)施例一種原始測(cè)試數(shù)據(jù)的采集方法流程示意圖； 圖2為本發(fā)明實(shí)施例另一種原始測(cè)試數(shù)據(jù)的采集方法流程示意圖；圖3為本發(fā)明實(shí)施例一種原始測(cè)試數(shù)據(jù)的采集裝置結(jié)構(gòu)示意圖；圖4為本發(fā)明實(shí)施例另一種原始測(cè)試數(shù)據(jù)的采集裝置結(jié)構(gòu)示意圖；圖5為本發(fā)明實(shí)施例一種原始測(cè)試數(shù)據(jù)的采集裝置的掃描單元結(jié)構(gòu)示意圖。
具體實(shí)施例方式以下，結(jié)合附圖詳細(xì)說明本發(fā)明實(shí)施例原始測(cè)試數(shù)據(jù)的采集方法及裝置的實(shí)現(xiàn)。圖I為本發(fā)明實(shí)施例一種原始測(cè)試數(shù)據(jù)的采集方法流程示意圖，如圖I所示，該方法包括步驟101 :獲取客戶端瀏覽器發(fā)送給Web服務(wù)器的超文本傳輸協(xié)議(http，HyperText Transfer Protocol)消息,所述http消息由客戶端瀏覽器根據(jù)用戶所需瀏覽網(wǎng)頁的URL生成，用于向Web服務(wù)器進(jìn)行網(wǎng)頁請(qǐng)求；步驟102 :從所述http消息中提取對(duì)該Web服務(wù)器進(jìn)行安全漏洞掃描所需的第一原始測(cè)試數(shù)據(jù)。圖I所示的本發(fā)明實(shí)施例原始測(cè)試數(shù)據(jù)的采集方法中，直接獲取客戶端瀏覽器發(fā)送給Web服務(wù)器的http消息；從所述http消息中提取對(duì)該Web服務(wù)器進(jìn)行安全漏洞掃描所需的第一原始測(cè)試數(shù)據(jù)，從而采集到的原始測(cè)試數(shù)據(jù)是直接從實(shí)際的http消息中提取到的，數(shù)據(jù)更為準(zhǔn)確詳盡，降低了 Web安全掃描工具的誤報(bào)率和漏報(bào)率。在圖I的基礎(chǔ)上，通過圖2對(duì)本發(fā)明實(shí)施例原始測(cè)試數(shù)據(jù)的采集方法進(jìn)行更為詳細(xì)的說明，如圖2所示，該方法包括步驟201 :獲取客戶端瀏覽器發(fā)送給Web服務(wù)器的http消息，http消息由客戶端瀏覽器根據(jù)用戶所需瀏覽網(wǎng)頁的URL生成，用于向Web服務(wù)器進(jìn)行網(wǎng)頁請(qǐng)求。其中，本步驟中獲取http消息的方式可以包括在客戶端瀏覽器將該http消息發(fā)送給客戶端本地網(wǎng)卡時(shí)，攔截該http消息；或者，在客戶端本地網(wǎng)卡上對(duì)http消息進(jìn)行抓包；或者，在Web服務(wù)器的網(wǎng)卡上對(duì)http消息進(jìn)行抓包；或者，
在Web服務(wù)器中通過過濾器獲取http消息等等，其中，過濾器可以為Servlet過濾器等。步驟202 :從http消息中提取對(duì)該Web服務(wù)器進(jìn)行安全漏洞掃描所需的第一原始測(cè)試數(shù)據(jù)。其中，第一原始測(cè)試數(shù)據(jù)可以包括http消息中的method、URL、預(yù)設(shè)參數(shù)以及預(yù)設(shè)參數(shù)對(duì)應(yīng)的參數(shù)值等。例如，以下為一種http消息的舉例，該http消息包括
POST http://10.70.107.70:8080/training/public/Login.jsp HTTP/1.1 Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*·
Referer: http://10.70.107.70:8080/training/public/Login.jsp Accept-Language: en-US,zh-cn;q=0.7,en-GB ;q=0.3 Content-Type: application/x-www-form-urlencoded UA-CPU: x86
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727)
Proxy-Connection: Keep-Alive Content-Iength: 39 Host: 10.70.107.70:8080 Pragma: no-cache
Cookie: JSESSIONID=CF5C4A3CCA4A2D152BA51D8B9321F4BF
login=admin&pass=secre7&verifycode= 1234對(duì)于以上舉例的http消息,可以從中提取出該http消息的method為POST, URL為 http ://10. 70. 107. 70 :8080/training/public/Login. isp,預(yù)設(shè)參數(shù)可以為login、pass、verifycode等,此時(shí),提取到的預(yù)設(shè)參數(shù)對(duì)應(yīng)的參數(shù)值分別為admin、secre7、1234。除此之外，還可以根據(jù)需要，提取該http消息中參數(shù)Cookie等作為預(yù)設(shè)參數(shù)，并對(duì)應(yīng)提取參數(shù)Cookie的參數(shù)值JSESSI0NID值等等，這里不限定。步驟203 :獲取Web服務(wù)器發(fā)送給客戶端瀏覽器的http響應(yīng)消息，http響應(yīng)消息由Web服務(wù)器根據(jù)該http消息生成，用于向客戶端瀏覽器進(jìn)行網(wǎng)頁響應(yīng)。本步驟中獲取http響應(yīng)消息的方式可以包括在客戶端網(wǎng)卡將該http響應(yīng)消息發(fā)送給客戶端瀏覽器時(shí)，攔截該http響應(yīng)消息；其中，攔截的方式可以有很多種，例如，在IE瀏覽器中插入插件，或者在本機(jī)設(shè)置代理，讓瀏覽器通過代理端口發(fā)送http消息，這樣，所有經(jīng)過代理端口的http請(qǐng)求都會(huì)被代理工具攔截，復(fù)制后放通被攔截的http消息?；蛘撸诳蛻舳吮镜鼐W(wǎng)卡上對(duì)所述http響應(yīng)消息進(jìn)行抓包；其中，例如可以使用ethreal、wireshark、sniffer等抓包工具,通過這些抓包工具對(duì)所有經(jīng)過本地網(wǎng)卡的消息進(jìn)行抓包?；蛘?，在Web服務(wù)器上通過過濾器獲取所述http響應(yīng)消息；其中，過濾器可以為Servlet過濾器等，Servlet過濾器可以安裝在Web服務(wù)器的web容器中，通過配置使該servlet過濾器生效后,所有http請(qǐng)求在被處理之前,都會(huì)經(jīng)過生效的servlet過濾器?；蛘撸€可以使用其他的方法進(jìn)行http響應(yīng)消息的獲取，這里不贅述。步驟204 :從該http響應(yīng)消息中提取對(duì)該Web服務(wù)器進(jìn)行安全漏洞掃描所需的第二原始測(cè)試數(shù)據(jù)。
例如，http響應(yīng)消息可以包括
HTTP/1.1 200 OK Server: Apache-Coyote/1.1 Content-Type: text/html;charset=gb2312 Content-Iength: 3461 Date: Thu, 30 Jun 2011 03:13:16 GMT 〈!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
權(quán)利要求
1.一種原始測(cè)試數(shù)據(jù)的采集方法，其特征在于，包括 獲取客戶端瀏覽器發(fā)送給網(wǎng)頁Web服務(wù)器的超文本傳輸協(xié)議http消息，所述http消息由客戶端瀏覽器根據(jù)用戶所需瀏覽網(wǎng)頁的統(tǒng)一資源定位符URL生成，用于向所述Web服務(wù)器進(jìn)行網(wǎng)頁請(qǐng)求； 從所述http消息中提取對(duì)所述Web服務(wù)器進(jìn)行安全漏洞掃描所需的第一原始測(cè)試數(shù)據(jù)，所述第一原始測(cè)試數(shù)據(jù)包括http消息中的method、URL、預(yù)設(shè)參數(shù)以及預(yù)設(shè)參數(shù)對(duì)應(yīng)的參數(shù)值。
2.根據(jù)權(quán)利要求I所述的采集方法，其特征在于，所述獲取客戶端瀏覽器發(fā)送給Web服務(wù)器的http消息包括 在客戶端瀏覽器將所述http消息發(fā)送給客戶端網(wǎng)卡時(shí)，攔截所述http消息；或者， 在客戶端網(wǎng)卡上對(duì)所述http消息進(jìn)行抓包；或者， 在Web服務(wù)器的網(wǎng)卡上對(duì)所述http消息進(jìn)行抓包；或者， 在Web服務(wù)器中通過過濾器獲取所述http消息。
3.根據(jù)權(quán)利要求I或2所述的采集方法，其特征在于，還包括 獲取所述Web服務(wù)器發(fā)送給所述客戶端瀏覽器的http響應(yīng)消息，所述http響應(yīng)消息由所述Web服務(wù)器根據(jù)所述http消息生成，用于向所述客戶端瀏覽器進(jìn)行網(wǎng)頁響應(yīng)；從所述http響應(yīng)消息中提取對(duì)所述Web服務(wù)器進(jìn)行安全漏洞掃描所需的第二原始測(cè)試數(shù)據(jù)，所述第二原始測(cè)試數(shù)據(jù)包括所述http消息中的響應(yīng)碼以及消息頭； 根據(jù)所述第一原始測(cè)試數(shù)據(jù)和所述第二原始測(cè)試數(shù)據(jù)，對(duì)所述Web服務(wù)器進(jìn)行安全漏洞掃描。
4.根據(jù)權(quán)利要求3所述的采集方法，其特征在于，所述Web服務(wù)器發(fā)送給所述客戶端瀏覽器的http響應(yīng)消息包括 在客戶端網(wǎng)卡上將所述http響應(yīng)消息發(fā)送給所述客戶端瀏覽器時(shí)，攔截所述http響應(yīng)消息；或者， 在所述客戶端本地網(wǎng)卡上對(duì)所述http響應(yīng)消息進(jìn)行抓包；或者， 在所述Web服務(wù)器的網(wǎng)卡上對(duì)所述http響應(yīng)消息進(jìn)行抓包；或者， 在所述Web服務(wù)器上通過所述過濾器獲取所述http響應(yīng)消息。
5.根據(jù)權(quán)利要求3所述的采集方法，其特征在于，所述根據(jù)所述第一原始測(cè)試數(shù)據(jù)和所述第二原始測(cè)試數(shù)據(jù)，對(duì)所述Web服務(wù)器進(jìn)行安全漏洞掃描，具體包括 將所述第一原始測(cè)試數(shù)據(jù)根據(jù)漏洞類型構(gòu)造成http攻擊消息，并向所述Web服務(wù)器發(fā)送所述http攻擊消息； 接收所述Web服務(wù)器返回的http攻擊響應(yīng)消息； 將接收到的所述http攻擊響應(yīng)消息與第二原始測(cè)試數(shù)據(jù)進(jìn)行比對(duì)，根據(jù)比對(duì)結(jié)果判斷所構(gòu)造的http攻擊消息是否有效。
6.一種原始測(cè)試數(shù)據(jù)的采集裝置，其特征在于，包括 第一采集單元，用于獲取客戶端瀏覽器發(fā)送給Web服務(wù)器的http消息，所述http消息由客戶端瀏覽器根據(jù)用戶所需瀏覽網(wǎng)頁的URL生成，用于向所述Web服務(wù)器進(jìn)行網(wǎng)頁請(qǐng)求； 第一提取單元，用于從所述http消息中提取對(duì)所述Web服務(wù)器進(jìn)行安全漏洞掃描所需的第一原始測(cè)試數(shù)據(jù)，所述第一原始測(cè)試數(shù)據(jù)包括http消息中的method、URL、預(yù)設(shè)參數(shù)以及預(yù)設(shè)參數(shù)對(duì)應(yīng)的參數(shù)值。
7.根據(jù)權(quán)利要求6所述的采集裝置，其特征在于，第一采集單元具體用于在所述客戶端瀏覽器將所述http消息發(fā)送給客戶端本地網(wǎng)卡時(shí)，攔截所述http消息；或者， 第一采集單元具體用于在所述客戶端網(wǎng)卡上對(duì)所述http消息進(jìn)行抓包；或者， 第一采集單元具體用于在所述Web服務(wù)器的網(wǎng)卡上對(duì)所述http消息進(jìn)行抓包；或者， 第一采集單元具體用于在所述Web服務(wù)器中通過過濾器獲取所述http消息。
8.根據(jù)權(quán)利要求6或7所述的采集裝置，其特征在于，還包括 第二采集單元，用于獲取所述Web服務(wù)器發(fā)送給所述客戶端瀏覽器的http響應(yīng)消息，所述http響應(yīng)消息由Web服務(wù)器根據(jù)所述http消息生成，用于向所述客戶端瀏覽器進(jìn)行網(wǎng)頁請(qǐng)求的響應(yīng)； 第二提取單元，用于從所述http響應(yīng)消息中提取對(duì)所述Web服務(wù)器進(jìn)行安全漏洞掃描所需的第二原始測(cè)試數(shù)據(jù)，所述第二原始測(cè)試數(shù)據(jù)包括所述http消息中的響應(yīng)碼以及消息頭; 掃描單元，用于根據(jù)所述第一原始測(cè)試數(shù)據(jù)和所述第二原始測(cè)試數(shù)據(jù)，對(duì)所述Web服務(wù)器進(jìn)行安全漏洞掃描。
9.根據(jù)權(quán)利要求8所述的采集裝置，其特征在于，所述第二采集單元具體用于在客戶端網(wǎng)卡將所述http響應(yīng)消息發(fā)送給所述客戶端瀏覽器時(shí)，攔截所述http響應(yīng)消息；或者， 所述第二采集單元具體用于在客戶端網(wǎng)卡上對(duì)所述http響應(yīng)消息進(jìn)行抓包；或者，所述第二采集單元具體用于在所述Web服務(wù)器的網(wǎng)卡上對(duì)所述http響應(yīng)消息進(jìn)行抓包；或者， 所述第二采集單元具體用于在所述Web服務(wù)器上通過所述過濾器獲取所述http響應(yīng)消息。
10.根據(jù)權(quán)利要求8所述的采集裝置，其特征在于，所述掃描單元進(jìn)一步包括 攻擊消息發(fā)送單元，用于將所述第一原始測(cè)試數(shù)據(jù)根據(jù)漏洞類型構(gòu)造成http攻擊消息，并向所述Web服務(wù)器發(fā)送所述http攻擊消息； 攻擊消息接收單元，用于接收所述Web服務(wù)器返回的http攻擊響應(yīng)消息； 判斷單元，用于將接收到的所述http攻擊響應(yīng)消息與第二原始測(cè)試數(shù)據(jù)進(jìn)行比對(duì)，根據(jù)比對(duì)結(jié)果判斷所構(gòu)造的http攻擊消息是否有效。
全文摘要
本發(fā)明公開了一種原始測(cè)試數(shù)據(jù)的采集方法，包括獲取客戶端瀏覽器發(fā)送給Web服務(wù)器的http消息，所述http消息由客戶端瀏覽器根據(jù)用戶所需瀏覽網(wǎng)頁的URL生成，用于向Web服務(wù)器進(jìn)行網(wǎng)頁請(qǐng)求；從所述http消息中提取對(duì)該Web服務(wù)器進(jìn)行安全漏洞掃描所需的第一原始測(cè)試數(shù)據(jù)。本發(fā)明還提供一種原始測(cè)試數(shù)據(jù)的采集裝置，該方法及裝置能夠獲取到準(zhǔn)確詳盡的原始測(cè)試數(shù)據(jù)，降低Web安全掃描工具的誤報(bào)率和漏報(bào)率。
文檔編號(hào)G06F21/57GK102880830SQ201110199108
公開日2013年1月16日 申請(qǐng)日期2011年7月15日 優(yōu)先權(quán)日2011年7月15日
發(fā)明者張偉, 何偉祥, 劉高峰 申請(qǐng)人:華為軟件技術(shù)有限公司