專利名稱:獲取網(wǎng)絡(luò)資源的方法、客戶端與系統(tǒng)的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及互聯(lián)網(wǎng)領(lǐng)域,尤其涉及獲取網(wǎng)絡(luò)資源的方法、客戶端與系統(tǒng)。
技術(shù)背景隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展,每個網(wǎng)頁上出現(xiàn)了很多豐富多彩的內(nèi)容,例如圖片、音樂、動畫等等。但是單單從WEB服務(wù)器下載所有的內(nèi)容,會導(dǎo)致 打開網(wǎng)頁的速度非常慢。那么現(xiàn)在出現(xiàn)了一種通過HTTP+P2P的方式加速網(wǎng) 頁文件的下載方法。首先介紹一下用戶通過這種加速方法每打開一個網(wǎng)頁可 以用到的網(wǎng)絡(luò)設(shè)備,例如WEB服務(wù)器,用于存儲網(wǎng)頁具體內(nèi)容的服務(wù)器。 P2P服務(wù)器,用于存卡者對應(yīng)于某個url (( Uniform Resource Locator統(tǒng)一資源 定位符,也被稱為網(wǎng)頁地址)最近下載過的客戶端地址,并將每個客戶端地 址按照分別所歸屬的網(wǎng)絡(luò)運(yùn)營商分別存儲在例如電信用戶、網(wǎng)通用戶、教育 網(wǎng)用戶等形式的列表中。客戶端,作為HTTP代理服務(wù)器獲取需要下載的打 開頁面請求,通過HTTP + P2P的方式加速網(wǎng)頁文件的下載。目前網(wǎng)絡(luò)用戶每打開一個網(wǎng)頁的過程參見圖1:步驟101:客戶端接收打開頁面請求,該打開頁面請求包括url;步驟102:向WEB服務(wù)器請求下載url對應(yīng)的文件;步驟103:將帶有url的打開頁面請求發(fā)送至P2P服務(wù)器;步驟104:P2P服務(wù)器接收到該請求后查找到P2P服務(wù)器上查詢種子信息, 所謂種子信息就是指曾經(jīng)訪問過同樣url的其他客戶端地址;并將查找到種子 信息反饋給客戶端;步驟105:客戶端在接收到P2P服務(wù)器反饋的種子信息后,若還沒有從 WEB服務(wù)器下載完url對應(yīng)的文件,則建立P2P通道,啟動P2P下載文件。但是由于客戶端收到的是一個一個的獨立的打開頁面請求,也就是一個 一個單獨的url,那么會對這些一個一個獨立的請求向P2P服務(wù)器查詢,導(dǎo)致
通信包過多,P2P服務(wù)器的同時在線容量較小。并且P2P服務(wù)器只有接收到打開頁面請求時,才會查找種子信息,等客戶端接收到種子信息后才會去與 其他客戶端創(chuàng)建通道,開始下載。由于查找、建立通道的時間依然比較長, 造成了用戶感覺打開網(wǎng)頁速度比較慢。發(fā)明內(nèi)容本發(fā)明實施例要解決的技術(shù)問題是提供一種獲取網(wǎng)絡(luò)資源的方法,該方法具體為接收打開頁面請求,該請求中包括頁面連接;判斷所述的請求中是否包括標(biāo)識字段;若不包含則不更改所述頁面連接; 若包含則將標(biāo)識字段中包含的頁面連接設(shè)置為所述請求的頁面連接;通過所述請求中包括的頁面連接或設(shè)置為所述請求的頁面連接,判斷本 地是否已經(jīng)打開相同的頁面連接;若是則通過本地已經(jīng)打開相同的頁面連接 獲取實際要打開的頁面連接所需要的文件;若否則獲取相應(yīng)的文件,新創(chuàng)建 一頁。其中,通過本地已經(jīng)打開相同的頁面連接獲取實際要打開的頁面所需要 的文件的過程具體為獲取實際要打開的頁面連接的種子信息時,并獲取對 應(yīng)種子保存的頁面連接對應(yīng)文件的存儲容量;選擇存儲容量完整的種子建立 通道下載。本發(fā)明提供了一種客戶端,該客戶端包括接收單元,用于接收打開頁面請求,該請求中包括頁面連接信息;判斷單元,包括第一判斷單元,用于在判斷是否本地已經(jīng)打開相同的頁 前,先判斷該打開頁面請求中是否包含有標(biāo)識字段;第二判斷單元,用于通過所述請求中包括的頁面連接或設(shè)置為所述請求 的頁面連接,判斷本地是否已經(jīng)打開相同的頁面連接;處理單元,包括第一處理單元,用于當(dāng)所述的打開頁面請求中不包含標(biāo) 識字段時,不更改所述請求中的頁面連接;當(dāng)包含標(biāo)識字段時,將標(biāo)識字段 中包含的頁面連接設(shè)置為所述請求的頁面連接;
第二處理單元,用于當(dāng)本地打開相同的頁面連接時,通過本地已經(jīng)打開 相同的頁面連接獲取實際要打開的頁面連接所需要的文件;當(dāng)本地未打開相 同的頁面連接時,獲取相應(yīng)的文件,新創(chuàng)建一頁。其中,所述的第二處理單元還用于通過本地已經(jīng)打開相同的頁面連接獲 取實際要打開的頁面所需要的文件,且獲取實際要打開的頁面連接的種子信息時,獲取對應(yīng)種子保存的頁面連接對應(yīng)文件的存儲容量;選擇存儲容量完整的種子建立通道下載。本發(fā)明提供了一種獲取資源的系統(tǒng),該系統(tǒng)包括客戶端,用于接收打開頁面請求,該請求中包括頁面連接;判斷所述的 請求中是否包括標(biāo)識字段;若不包含則不更改所述頁面連接;若包含則將標(biāo) 識字段中包含的頁面連接設(shè)置為所述請求的頁面連接;通過所述請求中包括 的頁面連接或設(shè)置為所述請求的頁面連接,判斷本地是否已經(jīng)打開相同的頁 面連接;若是則通過本地已經(jīng)打開相同的頁面連接獲取實際要打開的頁面連 接所需要的文件;若否則獲取相應(yīng)的文件,新創(chuàng)建一頁;網(wǎng)絡(luò)服務(wù)器,用于存儲打開頁面的文件;點對點服務(wù)器,用于存儲種子信息;其他客戶端,用于存儲打開頁面的文件。其中,所述的客戶端,進(jìn)一步用于通過本地已經(jīng)打開相同的頁面連接獲 取實際要打開的頁面所需要的文件,且獲取實際要打開的頁面連接的種子信 息時,獲取對應(yīng)種子保存的頁面連接對應(yīng)文件的存儲容量;選擇存儲容量完 整的種子建立通道下載。綜上所述,本發(fā)明有效的利用每個頁面url之間的內(nèi)在聯(lián)系,也就是頁面 標(biāo)識,使得通過具有相同的頁面標(biāo)識并且在本地已經(jīng)打開的情況下,從本地 獲取已經(jīng)保存了的種子信息,這樣就不需要再次向服務(wù)器獲取種子信息,減 少了服務(wù)器查找種子信息及向客戶端傳送種子信息的時間,有效的縮短了獲 取打開網(wǎng)頁文件的時間,因此提高了網(wǎng)頁的瀏覽速率。
圖1為現(xiàn)有技術(shù)方法流程圖;圖2為本發(fā)明實施例1方法流程圖; 圖3為本發(fā)明實施例2客戶端結(jié)構(gòu)圖。
具體實施方式
實施例1,由于現(xiàn)有技術(shù)中每個用戶通過瀏覽器訪問的是一個一個的網(wǎng) 頁,而通常情況下用戶訪問了一個頁面,都會訪問該頁中存在的其他子頁面。 因此如果將這些一個一個的網(wǎng)頁能夠聯(lián)系起來,有效的利用每個頁面url之間 的內(nèi)在聯(lián)系,就能夠提高網(wǎng)頁的瀏覽速率。由于打開頁面請求頭部一般會包 括一個標(biāo)識字段,即referer字段,referer字段表示請求下載的url從屬于哪個 頁面。例如,當(dāng)用戶請求www.qq.com時沒有帶referer字段,但是當(dāng)用戶請求該 頁中的其J也子M:才矣時,帶有referer: www.qq.com, 這樣的信息;當(dāng)用戶請求www.qq.com時請求頭部信息為〃HTTP Request CommendAccept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*Accept-Language: zh-cnUA-CPU: x86Accept-Encoding: gzip, deflateUser-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)Host: www.qq.comConnection: Keep-AliveCookie: pvid=4567330370; flv=9.0; aduid=+iiF2wxR//當(dāng)用戶訪問 www.qq.com時頁面中另夕卜一個URL
http:〃www.qq.com/www/images/12/nsoft.gi財攜帶了 referer字段 HTTP Request Commend GET
/pingd dm=www.qq.com&url=/&tt=%u817E%u8BAF%u9996%u9875&rdm=-&r url=-&pvid=4567330370&scr=1280xl024&scl=32-bit&lang=zh-cn&java=l&cc= x86&pf=Win32&tz=-8&ct=lan&vs=3.1 &rand=49425 HTTP/1.1
Accept: */*
Referer: http:〃www.qq.com/ Accept-Language: zh-cn UA-CPU: x86
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)
Host: pingfore.qq.com
Connection: Keep-Alive
Cookie: pvid=4567330370; flv=9.0; aduid=+iiF2wxR
那么這種內(nèi)在聯(lián)系可以是利用打開頁面請求頭部一般會包括的referer字 段來將url分頁處理。
為此,本發(fā)明實施例提供了一種獲取WEB資源的方法,該方法是通過將 打開頁面請求整合起來,也就是通過打開頁面請求的結(jié)構(gòu)特點,將每個單獨 的打開頁面請求相互關(guān)聯(lián)。該方法是通過以下步驟實現(xiàn)的,參見圖2:
步驟201:接收瀏覽器發(fā)來的打開頁面請求,該請求中包括url;
步驟202:判斷請求頭中是否包含referer字段,若包含則執(zhí)行步驟203, 若不包含則執(zhí)行步驟304;
步驟203:將referer字段中包含的url臨時設(shè)置為該打開頁面請求的頁url, 執(zhí)行步驟205;
步驟204:以打開頁面請求中包含的url作為頁url;
步驟205:通過臨時設(shè)置為打開頁面請求的頁url或本身請求中包含的頁 url,判斷是否本地已經(jīng)打開相同的頁url;若是則執(zhí)行步驟206;若否則執(zhí)行 步驟207;
步驟206:通過本地已經(jīng)打開相同的頁url獲取實際要打開的頁url的種 子信息,然后建立通道下載打開頁面需要的文件,結(jié)束本流程;
這里能夠獲:f又種子信息的原因是本地已經(jīng)打開相同的頁url時就已經(jīng)獲取 了相關(guān)頁url的種子信息并保存了 。那么在打開子頁的時候就可以直接獲取子 頁url的種子信息進(jìn)行下載。
步驟207:由于本地沒有對應(yīng)的頁url,那么新建一頁;向WEB服務(wù)器請 求下載url對應(yīng)的文件;
步驟208:將帶有url的打開頁面請求發(fā)送至P2P服務(wù)器;
步驟209:P2P服務(wù)器接收到該請求后查找到P2P服務(wù)器上查詢種子信息, 并將查找到的客戶端地址反饋給客戶端;
步驟210:客戶端在接收到P2P服務(wù)器反饋的種子信息后,若還沒有從 WEB服務(wù)器下載完url對應(yīng)的文件,則建立P2P通道,啟動P2P下載文件。
在實施例1的基礎(chǔ)上,更進(jìn)一步的,為了有效提高資源利用率,還可以 設(shè)置在獲取頁url種子信息時,進(jìn)一步獲取種子客戶端對應(yīng)保存的頁url文件 的存儲容量,這樣可以方便用戶在下載時有選擇的進(jìn)行。由于其他步驟與實 施例l基本一致,在此不再累述。
實施例2,為了實現(xiàn)上述實施例1的方法,本發(fā)明實施例還提供了一種客 戶端,參見圖3,該客戶端包括
接收單元301,用于接收打開頁面請求,該請求中包括頁面連接信息;
判斷單元302,包括第一判斷單元302A,用于在判斷是否本地已經(jīng)打開 相同的頁前,先判斷該打開頁面請求中是否包含有標(biāo)識字段;
第二判斷單元302B,用于通過所述請求中包括的頁面連接或設(shè)置為所述 請求的頁面連接,判斷本地是否已經(jīng)打開相同的頁面連接;
處理單元303,包括第一處理單元303A,用于當(dāng)所述的打開頁面請求中 不包含標(biāo)識字段時,不更改所述請求中的頁面連接;當(dāng)包含標(biāo)識字段時,將 標(biāo)識字段中包含的頁面連接設(shè)置為所述請求的頁面連接;
第二處理單元303B,用于當(dāng)本地打開相同的頁面連接時,通過本地已經(jīng) 打開相同的頁面連接獲取實際要打開的頁面連接所需要的文件;當(dāng)本地未打 開相同的頁面連4妻時,獲:f又相應(yīng)的文件,新創(chuàng)建一頁。
更進(jìn)一步的,為了有效提高資源利用率,還可以設(shè)置在獲取頁url種子信 息時,進(jìn)一步獲取種子客戶端對應(yīng)保存的頁url文件的存儲容量,這樣可以方 便用戶在下載時有選擇的進(jìn)行。因此所述的第二處理單元還用于通過本地已 經(jīng)打開相同的頁面連接獲取實際要打開的頁面所需要的文件,且獲取實際要 打開的頁面連接的種子信息時,獲取對應(yīng)種子保存的頁面連接對應(yīng)文件的存 儲容量;選擇存儲容量完整的種子建立通道下載。
實施例3,對應(yīng)于實施例1與實施例2,本發(fā)明還提供了 一種獲取資源的 系統(tǒng),該系統(tǒng)包"^舌
客戶端,用于接收打開頁面請求,該請求中包括頁面連接;判斷所述的 請求中是否包括標(biāo)識字段;若不包含則不更改所述頁面連接;若包含則將標(biāo) 識字段中包含的頁面連接設(shè)置為所述請求的頁面連接;通過所述請求中包括 的頁面連接或設(shè)置為所述請求的頁面連接,判斷本地是否已經(jīng)打開相同的頁
接所需要的文件;若否則獲取相應(yīng)的文件,新創(chuàng)建一頁; 網(wǎng)絡(luò)服務(wù)器,用于存儲打開頁面的文件; 點對點服務(wù)器,用于存儲種子信息; 其他客戶端,用于存儲打開頁面的文件。
更進(jìn)一步的,為了有效提高資源利用率,還可以設(shè)置在獲取頁url種子信 息時,進(jìn)一步獲取種子客戶端對應(yīng)保存的頁url文件的存儲容量,這樣可以方 便用戶在下載時有選擇的進(jìn)行。因此所述的客戶端,還可以進(jìn)一步用于在獲 取實際要打開的頁面連接的種子信息時,進(jìn)一步獲取對應(yīng)種子保存的頁面連 接對應(yīng)文件的存儲容量;選擇存儲容量完整的種子建立通道下載。本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述實施例方法中的全部或部分步驟 是可以通過程序來指令相關(guān)的硬件完成,所述的程序可以存儲于一種計算機(jī) 可讀存儲介質(zhì)中,存儲介質(zhì)可以是只讀存儲器,磁盤或光盤等。綜上所述,本發(fā)明有效的利用每個頁面url之間的內(nèi)在聯(lián)系,也就是頁面 標(biāo)識,使得通過具有相同的頁面標(biāo)識并且在本地已經(jīng)打開的情況下,從本地 獲取已經(jīng)保存了的種子信息,這樣就不需要再次向服務(wù)器獲取種子信息,減 少了服務(wù)器查找種子信息及向客戶端傳送種子信息的時間,有效的縮短了獲 取打開網(wǎng)頁文件的時間,因此提高了網(wǎng)頁的瀏覽速率。以上對本發(fā)明所提供的 一種獲取網(wǎng)絡(luò)資源的方法、客戶端與系統(tǒng)進(jìn)行了 詳細(xì)介紹,對于本領(lǐng)域的一般技術(shù)人員,依據(jù)本發(fā)明實施例的思想,在具體實施方式
及應(yīng)用范圍上均會有改變之處,綜上所述,本iJi明書內(nèi)容不應(yīng)理解 為對本發(fā)明的限制。
權(quán)利要求
1、一種獲取網(wǎng)絡(luò)資源的方法,其特征在于,該方法包括接收打開頁面請求,該請求中包括頁面連接;判斷所述的請求中是否包括標(biāo)識字段;若不包含則不更改所述頁面連接;若包含則將標(biāo)識字段中包含的頁面連接設(shè)置為所述請求的頁面連接;通過所述請求中包括的頁面連接或設(shè)置為所述請求的頁面連接,判斷本地是否已經(jīng)打開相同的頁面連接;若是則通過本地已經(jīng)打開相同的頁面連接獲取實際要打開的頁面連接所需要的文件;若否則獲取相應(yīng)的文件,新創(chuàng)建一頁。
2、 根據(jù)權(quán)利要求1所述的獲取網(wǎng)絡(luò)資源的方法,其特征在于,的過程具體為獲取實際要打開的頁面連接的種子信息時,并獲取對應(yīng)種子 保存的頁面連接對應(yīng)文件的存儲容量;選擇存儲容量完整的種子建立通道下 載。
3、 一種客戶端,其特征在于,該客戶端包括接收單元,用于接收打開頁面請求,該請求中包括頁面連接信息;判斷單元,包括第一判斷單元,用于在判斷是否本地已經(jīng)打開相同的頁 前,先判斷該打開頁面請求中是否包含有標(biāo)識字段;第二判斷單元,用于通過所述請求中包括的頁面連接或設(shè)置為所述請求 的頁面連接,判斷本地是否已經(jīng)打開相同的頁面連接;處理單元,包括第一處理單元,用于當(dāng)所述的打開頁面請求中不包含標(biāo) 識字段時,不更改所述請求中的頁面連接;當(dāng)包含標(biāo)識字段時,將標(biāo)識字段 中包含的頁面連接設(shè)置為所述請求的頁面連接;第二處理單元,用于當(dāng)本地打開相同的頁面連接時,通過本地已經(jīng)打開 相同的頁面連接獲取實際要打開的頁面連接所需要的文件;當(dāng)本地未打開相 同的頁面連接時,獲取相應(yīng)的文件,新創(chuàng)建一頁。
4、 根據(jù)權(quán)利要求3所述的客戶端,其特征在于,所述的第二處理單元還需要的文件,且獲取實際要打開的頁面連接的種子信息時,獲取對應(yīng)種子保存的頁面 連接對應(yīng)文件的存儲容量;選擇存儲容量完整的種子建立通道下載。
5、 一種獲取資源的系統(tǒng),其特征在于,該系統(tǒng)包括客戶端,用于接收打開頁面請求,該請求中包括頁面連接;判斷所述的 請求中是否包括標(biāo)識字段;若不包含則不更改所述頁面連接;若包含則將標(biāo) 識字段中包含的頁面連接設(shè)置為所述請求的頁面連接;通過所述請求中包括 的頁面連接或設(shè)置為所述請求的頁面連接,判斷本地是否已經(jīng)打開相同的頁 面連接;若是則通過本地已經(jīng)打開相同的頁面連接獲取實際要打開的頁面連 接所需要的文件;若否則獲取相應(yīng)的文件,新創(chuàng)建一頁;網(wǎng)絡(luò)服務(wù)器,用于存儲打開頁面的文件;點對點服務(wù)器,用于存儲種子信息;其他客戶端,用于存儲打開頁面的文件。
6、 根據(jù)權(quán)利要求5所述的獲取資源的系統(tǒng),其特征在于,所述的客戶端, 進(jìn)一步用于通過本地已經(jīng)打開相同的頁面連接獲取實際要打開的頁面所需要 的文件,且獲取實際要打開的頁面連接的種子信息時,獲取對應(yīng)種子保存的 頁面連接對應(yīng)文件的存儲容量;選擇存儲容量完整的種子建立通道下載。
全文摘要
本發(fā)明公開了一種獲取網(wǎng)絡(luò)資源的方法,該方法包括接收打開頁面請求,該請求中包括頁面連接信息;通過頁面連接信息判斷是否本地已經(jīng)打開相同的頁;若是則通過本地已經(jīng)打開相同的頁面連接獲取實際要打開的頁面連接的種子信息,建立通道下載打開頁面需要的文件;若否則獲取相應(yīng)的文件,新創(chuàng)建一頁。本發(fā)明還公開了一種客戶端,該客戶端包括接收單元、判斷單元、處理單元。本發(fā)明還公開了一種獲取資源的系統(tǒng),該系統(tǒng)包括客戶端,網(wǎng)絡(luò)服務(wù)器,點對點服務(wù)器,其他客戶端。本發(fā)明通過將客戶端已經(jīng)存在的頁url與打開頁面請求中包含的頁url相關(guān)聯(lián),避免了每個單獨的打開頁面請求都需要重新獲取頁url對應(yīng)的文件,提高了資源利用率。
文檔編號H04L29/08GK101163156SQ20071015171
公開日2008年4月16日 申請日期2007年9月27日 優(yōu)先權(quán)日2007年9月27日
發(fā)明者斌 方 申請人:騰訊科技(深圳)有限公司