本發(fā)明實(shí)施例涉及網(wǎng)絡(luò)技術(shù)，尤其涉及一種小說網(wǎng)頁抓取方法和裝置。

背景技術(shù)：

隨著信息與通信技術(shù)的迅速發(fā)展，手機(jī)等移動終端中的功能越來越多，小說應(yīng)用也成為了移動終端中的一項必備應(yīng)用。小說應(yīng)用通過抓取全網(wǎng)小說網(wǎng)頁并進(jìn)行實(shí)時轉(zhuǎn)碼后展現(xiàn)給用戶。

現(xiàn)有技術(shù)中，在抓取小說網(wǎng)頁時是定期抓取熱門小說的網(wǎng)頁，而對非熱門小說的抓取周期則比較長。熱門小說的挖掘存在一定的滯后性，例如一本新小說在成為熱門小說之前需要積攢一定的閱讀量，在這個過程中無法挖掘出該小說屬于熱門小說，這就導(dǎo)致了這本新小說的時效性很差。因此，總體來說，現(xiàn)有技術(shù)存在著小說的時效性較差的缺陷。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明實(shí)施例提供一種小說網(wǎng)頁抓取方法和裝置，以提高抓取的小說的時效性。

第一方面，本發(fā)明實(shí)施例提供了一種小說網(wǎng)頁抓取方法，所述方法包括：

根據(jù)配置規(guī)則區(qū)分小說網(wǎng)頁，所述小說網(wǎng)頁包括封面頁、列表頁和更新頁；

根據(jù)封面頁、列表頁和更新頁的更新特點(diǎn)，配置封面頁、列表頁和更新頁的抓取頻率；

根據(jù)所述抓取頻率對相應(yīng)的小說網(wǎng)頁進(jìn)行抓取。

第二方面，本發(fā)明實(shí)施例還提供了一種小說網(wǎng)頁抓取裝置，所述裝置包括：

小說網(wǎng)頁區(qū)分模塊，用于根據(jù)配置規(guī)則區(qū)分小說網(wǎng)頁，所述小說網(wǎng)頁包括封面頁、列表頁和更新頁；

抓取頻率配置模塊，用于根據(jù)封面頁、列表頁和更新頁的更新特點(diǎn)，配置封面頁、列表頁和更新頁的抓取頻率；

小說網(wǎng)頁抓取模塊，用于根據(jù)所述抓取頻率對相應(yīng)的小說網(wǎng)頁進(jìn)行抓取。

本發(fā)明實(shí)施例的技術(shù)方案，由于分別以不同的抓取頻率對封面頁、列表頁和更新頁進(jìn)行抓取，可以保證包括新小說在內(nèi)的所有小說的時效性，進(jìn)而提高了抓取的小說的時效性，吸引更多的用戶。

附圖說明

圖1是本發(fā)明實(shí)施例一提供的一種小說網(wǎng)頁抓取方法的流程圖；

圖2是本發(fā)明實(shí)施例二提供的一種小說網(wǎng)頁抓取方法的流程圖；

圖3是本發(fā)明實(shí)施例三提供的一種小說網(wǎng)頁抓取方法的流程圖；

圖4是本發(fā)明實(shí)施例四提供的一種小說網(wǎng)頁抓取裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對本發(fā)明作進(jìn)一步的詳細(xì)說明?？梢岳斫獾氖?，此處所描述的具體實(shí)施例僅僅用于解釋本發(fā)明，而非對本發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部內(nèi)容。

在更加詳細(xì)地討論示例性實(shí)施例之前應(yīng)當(dāng)提到的是，一些示例性實(shí)施例被描述成作為流程圖描繪的處理或方法。雖然流程圖將各項操作描述成順序的處理，但是其中的許多操作可以被并行地、并發(fā)地或者同時實(shí)施。此外，各項操作的順序可以被重新安排。當(dāng)其操作完成時所述處理可以被終止，但是還可以具有未包括在附圖中的附加步驟。所述處理可以對應(yīng)于方法、函數(shù)、規(guī)程、子例程、子程序等等。

實(shí)施例一

圖1是本發(fā)明實(shí)施例一提供的一種小說網(wǎng)頁抓取方法的流程圖，本實(shí)施例可適用于抓取小說網(wǎng)頁時保證時效性的情況，該方法可以由服務(wù)器來執(zhí)行，具體包括如下：

s110，根據(jù)配置規(guī)則區(qū)分小說網(wǎng)頁，所述小說網(wǎng)頁包括封面頁、列表頁和更新頁。

其中，配置規(guī)則是根據(jù)不同的小說網(wǎng)頁的url(uniformresourcelocator，統(tǒng)一資源定位符)及頁面特點(diǎn)，配置一定的規(guī)則來區(qū)分不同的小說網(wǎng)頁。所述小說網(wǎng)頁可以包括封面頁、列表頁和更新頁，封面頁是指一個小說的封面所在的網(wǎng)頁，列表頁是指一個網(wǎng)站中的所有小說的列表所在的網(wǎng)頁，更新頁是指一個網(wǎng)站中最近一段時間更新的小說的列表頁。

s120，根據(jù)封面頁、列表頁和更新頁的更新特點(diǎn)，配置封面頁、列表頁和更新頁的抓取頻率。

網(wǎng)站中的小說更新的內(nèi)容在于一本小說的實(shí)際內(nèi)容(包括章節(jié)等)，而封面頁很少會改變，另外當(dāng)網(wǎng)站中的小說更新時，該更新的小說會在更新頁中列出。由此可知，更新頁是指的網(wǎng)站中最近一段時間更新的小說列表頁，其更新速度比較快，因此配置更新頁的抓取頻率要相對較高一些；列表頁是網(wǎng)站中的 小說列表，其更新速度交更新頁的更新速度慢，因此配置列表頁的抓取頻率要比更新頁的抓取頻率低一些；封面頁是網(wǎng)站中的小說的封面，由于一個網(wǎng)站中的小說的封面很少會改變，因此可以配置極低的抓取頻率進(jìn)行抓取。除了前述的配置抓取頻率的方法外，還可以根據(jù)更新頁中的小說的前后順序配置不同的抓取頻率，也可以根據(jù)列表頁中的小說的前后順序配置不同的抓取頻率。當(dāng)然，還可以有其他的配置抓取頻率的方法。

s130，根據(jù)所述抓取頻率對相應(yīng)的小說網(wǎng)頁進(jìn)行抓取。

根據(jù)配置的封面頁、列表頁和更新頁的抓取頻率，分別以相應(yīng)的抓取頻率對封面頁、列表頁和更新頁進(jìn)行抓取，更新頁中會包括新小說，因此可以保證抓取的小說的時效性。

本實(shí)施例的技術(shù)方案，通過根據(jù)配置規(guī)則區(qū)分小說網(wǎng)頁，根據(jù)封面頁、列表頁和更新頁的更新特點(diǎn)，配置封面頁、列表頁和更新頁的抓取頻率，根據(jù)所述抓取頻率對相應(yīng)的小說網(wǎng)頁進(jìn)行抓取，由于分別以不同的抓取頻率對封面頁、列表頁和更新頁進(jìn)行抓取，可以保證包括新小說在內(nèi)的所有小說的時效性，進(jìn)而提高了抓取的小說的時效性，吸引更多的用戶。

在上述技術(shù)方案的基礎(chǔ)上，根據(jù)封面頁、列表頁和更新頁的更新特點(diǎn)，配置封面頁、列表頁和更新頁的抓取頻率優(yōu)選包括：

配置第一抓取頻率抓取更新頁的前設(shè)定數(shù)量的頁面；

配置第二抓取頻率抓取所述更新頁的前設(shè)定數(shù)量的頁面以外的頁面及列表頁；

配置第三抓取頻率抓取封面頁；

其中，所述第一抓取頻率大于所述第二抓取頻率，所述第二抓取頻率大于所述第三抓取頻率。

由于在更新頁中，排在前面的小說更新的時間距離當(dāng)前時間比較近，因此可以配置比較大的第一抓取頻率對更新頁的前設(shè)定數(shù)量的頁面進(jìn)行抓取，以保證抓取的小說的時效性；配置小于第一抓取頻率的第二抓取頻率來對除更新頁中的前設(shè)定數(shù)量的頁面以外的頁面及列表頁進(jìn)行抓取，以保證小說的覆蓋率，以免出現(xiàn)漏抓的情況；配置小于第二抓取頻率的第三抓取頻率來對封面頁進(jìn)行抓取。

通過配置第一抓取頻率抓取更新頁中前設(shè)定數(shù)量的頁面，配置第二抓取頻率抓取更新頁中除前設(shè)定數(shù)量的頁面外的頁面及列表頁，配置第三抓取頻率抓取封面頁，可以保證抓取的小說的時效性，同時保證抓取的小說的覆蓋率。

實(shí)施例二

圖2是本發(fā)明實(shí)施例二提供的一種小說網(wǎng)頁抓取方法的流程圖，本實(shí)施例對實(shí)施例一進(jìn)行了優(yōu)化，在實(shí)施例一的基礎(chǔ)上，小說網(wǎng)頁還可以包括目錄頁，該方法還包括根據(jù)網(wǎng)站的歷史數(shù)據(jù)及所述網(wǎng)站中小說的歷史數(shù)據(jù)，計算網(wǎng)站中的小說的目錄頁的抓取頻率，具體包括如下：

s210，根據(jù)配置規(guī)則區(qū)分小說網(wǎng)頁，所述小說網(wǎng)頁包括封面頁、列表頁和更新頁。

在本實(shí)施例中，配置規(guī)則還包括區(qū)分目錄頁的規(guī)則。目錄頁是指一本小說的目錄所在的網(wǎng)頁。

s220，根據(jù)封面頁、列表頁和更新頁的更新特點(diǎn)，配置封面頁、列表頁和更新頁的抓取頻率。

s230，根據(jù)網(wǎng)站的歷史數(shù)據(jù)及所述網(wǎng)站中小說的歷史數(shù)據(jù)，計算網(wǎng)站中的小說的目錄頁的抓取頻率。

一般來說，抓取了更新頁，基本可以覆蓋所有的小說更新信息，但是，小說的更新信息有一定的概率沒有在更新頁中體現(xiàn)，而在小說的目錄頁中可體現(xiàn)，因此，為了保證覆蓋所有小說的更新信息，還需要對小說的目錄頁進(jìn)行抓取。在對小說的目錄頁進(jìn)行抓取之前，要計算小說的目錄頁的抓取頻率。在對小說網(wǎng)頁進(jìn)行抓取時，每天對全網(wǎng)小說的抓取量是一定的，因此可以根據(jù)每個網(wǎng)站的歷史數(shù)據(jù)，將抓取量分配到每個網(wǎng)站中，再根據(jù)該網(wǎng)站中的小說的歷史數(shù)據(jù)，計算得到該網(wǎng)站中的相應(yīng)小說的目錄頁的抓取頻率。

其中，網(wǎng)站的歷史數(shù)據(jù)包括用戶的點(diǎn)擊情況，即點(diǎn)擊的小說是該網(wǎng)站中的小說的出現(xiàn)的次數(shù)，還包括每個網(wǎng)站的歷史更新情況。網(wǎng)站中的小說的歷史數(shù)據(jù)包括用戶點(diǎn)擊的小說的次數(shù)及網(wǎng)站中的小說的更新情況。

其中，根據(jù)網(wǎng)站的歷史數(shù)據(jù)及所述網(wǎng)站中小說的歷史數(shù)據(jù)，計算網(wǎng)站中的小說的目錄頁的抓取頻率優(yōu)選包括：

根據(jù)網(wǎng)站的歷史數(shù)據(jù)，計算網(wǎng)站每天的抓取配額；

根據(jù)所述抓取配額及所述網(wǎng)站中小說的歷史數(shù)據(jù)，計算所述小說的目錄頁的抓取頻率。

根據(jù)每個網(wǎng)站的用戶點(diǎn)擊情況及每個網(wǎng)站的歷史更新情況，將一天的抓取量分配到每個網(wǎng)站中，得到一個網(wǎng)站每天的抓取配額，再結(jié)合該網(wǎng)站中的小說的用戶點(diǎn)擊情況及歷史更新情況，將抓取配額分配到該網(wǎng)站中的小說中，進(jìn)而可以得到該網(wǎng)站中的小說的目錄頁的抓取頻率。通過對小說的目錄頁的抓取頻率的計算，可以保證小說的更新信息的覆蓋率。

上述s220和s230不限于上述的執(zhí)行順序，可以同時執(zhí)行，也可以先執(zhí)行s230，再執(zhí)行s220。

s240，根據(jù)所述抓取頻率對相應(yīng)的小說網(wǎng)頁進(jìn)行抓取。

在本實(shí)施例中，抓取頻率除了包括封面頁、列表頁和更新頁的抓取頻率外，還包括目錄頁的抓取頻率，即對封面頁、列表頁和更新頁抓取外，還需要根據(jù)目錄頁的抓取頻率對相應(yīng)網(wǎng)站中的相應(yīng)小說的目錄頁進(jìn)行抓取。

本實(shí)施例的技術(shù)方案，通過根據(jù)配置規(guī)則區(qū)分小說網(wǎng)頁，根據(jù)面頁、列表頁和更新頁的更新特點(diǎn)，配置封面頁、列表頁和更新頁的抓取頻率，根據(jù)網(wǎng)站的歷史數(shù)據(jù)及所述網(wǎng)站中小說的歷史數(shù)據(jù)，計算網(wǎng)站中的小說的目錄頁的抓取頻率，根據(jù)所述抓取頻率對相應(yīng)的小說網(wǎng)頁進(jìn)行抓取，由于分別以不同的抓取頻率對封面頁、列表頁、更新頁和目錄頁進(jìn)行抓取，可以保證包括新小說在內(nèi)的所有小說的時效性，進(jìn)而提高了抓取的小說的時效性，而且還可以保證覆蓋的小說的更新信息更加全面。

在上述技術(shù)方案的基礎(chǔ)上，根據(jù)網(wǎng)站的歷史數(shù)據(jù)，計算網(wǎng)站每天的抓取配額優(yōu)選包括：

根據(jù)網(wǎng)站的歷史數(shù)據(jù)，對所述網(wǎng)站進(jìn)行排名；

根據(jù)所述排名，計算所述網(wǎng)站的權(quán)重；

根據(jù)所述權(quán)重，計算所述網(wǎng)站每天的抓取配額。

綜合網(wǎng)站的用戶點(diǎn)擊情況及網(wǎng)站的歷史更新情況，對小說網(wǎng)站進(jìn)行排名，根據(jù)網(wǎng)站的排名，通過映射函數(shù)計算得到每個網(wǎng)站的權(quán)重，再將每天的抓取量根據(jù)權(quán)重分配到每個網(wǎng)站中，得到每個網(wǎng)站每天的抓取配額。通過上述計算得到的抓取配額比較準(zhǔn)確，可以保證網(wǎng)站的覆蓋率。

在上述技術(shù)方案的基礎(chǔ)上，根據(jù)所述抓取配額及所述網(wǎng)站中小說的歷史數(shù)據(jù)，計算所述小說的目錄頁的抓取頻率優(yōu)選包括：

根據(jù)所述網(wǎng)站中小說的歷史數(shù)據(jù)，將所述小說分為熱門小說和非熱門小說；

按照設(shè)定比例將所述抓取配額分配給所述熱門小說和非熱門小說；

根據(jù)分配后的抓取配額，計算所述熱門小說和非熱門小說的目錄頁的抓取頻率。

根據(jù)一個網(wǎng)站中的小說的用戶點(diǎn)擊情況即小說的更新情況，可以對該網(wǎng)站中的小說進(jìn)行分類，即將用戶點(diǎn)擊比較多的及更新頻率較高的小說歸為熱門小說，其他小說歸為非熱門小說，再按照一定的比例將抓取配額分配給熱門小說和非熱門小說，由于該抓取配額是一天內(nèi)的抓取配額，從而可以得到該網(wǎng)站中熱門小說和非熱門小說的目錄頁的抓取周期，進(jìn)而得到熱門小說和非熱門小說的目錄頁的抓取頻率。由于在對小說進(jìn)行分類時考慮了小說的更新情況，保證了小說的更新信息的覆蓋率。

實(shí)施例三

圖3是本發(fā)明實(shí)施例三提供的一種小說網(wǎng)頁抓取方法的流程圖，本實(shí)施例在實(shí)施例一的基礎(chǔ)上，將根據(jù)所述抓取頻率對相應(yīng)的小說網(wǎng)頁進(jìn)行抓取優(yōu)化為將所述抓取頻率與預(yù)設(shè)頻率進(jìn)行比較；當(dāng)所述抓取頻率超過預(yù)設(shè)頻率時，以所述預(yù)設(shè)頻率對相應(yīng)的小說網(wǎng)頁進(jìn)行抓取。具體包括如下：

s310，根據(jù)配置規(guī)則區(qū)分小說網(wǎng)頁，所述小說網(wǎng)頁包括封面頁、列表頁和更新頁。

s320，根據(jù)封面頁、列表頁和更新頁的更新特點(diǎn)，配置封面頁、列表頁和更新頁的抓取頻率。

s330，將所述抓取頻率與預(yù)設(shè)頻率進(jìn)行比較。

設(shè)置封面頁、列表頁和更新頁的抓取頻率的臨界值，即預(yù)設(shè)頻率，當(dāng)抓取頻率超過預(yù)設(shè)頻率時，說明可能會造成網(wǎng)絡(luò)阻塞，因此，為了保證網(wǎng)絡(luò)的通 暢，需要比較抓取頻率與相應(yīng)的預(yù)設(shè)頻率，以得到抓取頻率與相應(yīng)的預(yù)設(shè)頻率的關(guān)系。

s340，當(dāng)所述抓取頻率超過預(yù)設(shè)頻率時，以所述預(yù)設(shè)頻率對相應(yīng)的小說網(wǎng)頁進(jìn)行抓取。

當(dāng)封面頁、列表頁或更新頁的抓取頻率超過相應(yīng)小說網(wǎng)頁的預(yù)設(shè)頻率時，為了避免網(wǎng)絡(luò)被阻塞，以相應(yīng)小說網(wǎng)頁的預(yù)設(shè)頻率對該小說網(wǎng)頁進(jìn)行抓??；當(dāng)封面頁、列表頁或更新頁的抓取頻率沒有超過相應(yīng)小說網(wǎng)頁的預(yù)設(shè)頻率時，以相應(yīng)小說網(wǎng)頁的抓取頻率對該小說網(wǎng)頁進(jìn)行抓取。

本實(shí)施例的技術(shù)方案，通過根據(jù)配置規(guī)則區(qū)分小說網(wǎng)頁，根據(jù)封面頁、列表頁和更新頁的更新特點(diǎn)，配置封面頁、列表頁和更新頁的抓取頻率，將所述抓取頻率與預(yù)設(shè)頻率進(jìn)行比較，當(dāng)所述抓取頻率超過預(yù)設(shè)頻率時，以所述預(yù)設(shè)頻率對相應(yīng)的小說網(wǎng)頁進(jìn)行抓取，由于分別以不同的抓取頻率對封面頁、列表頁和更新頁進(jìn)行抓取，可以保證包括新小說在內(nèi)的所有小說的時效性，進(jìn)而提高了抓取的小說的時效性，與實(shí)施例一相比，當(dāng)抓取頻率超過預(yù)設(shè)頻率時就以預(yù)設(shè)頻率對相應(yīng)的小說網(wǎng)頁進(jìn)行抓取，實(shí)現(xiàn)了對小說網(wǎng)站的壓力控制，可以避免網(wǎng)絡(luò)阻塞。

實(shí)施例四

圖4是本發(fā)明實(shí)施例四提供的一種小說網(wǎng)頁抓取裝置的結(jié)構(gòu)示意圖，如圖4所示，本實(shí)施例所述的小說網(wǎng)頁抓取裝置包括：小說網(wǎng)頁區(qū)分模塊410、抓取頻率配置模塊420和小說網(wǎng)頁抓取模塊430。

其中，小說網(wǎng)頁區(qū)分模塊410用于根據(jù)配置規(guī)則區(qū)分小說網(wǎng)頁，所述小說網(wǎng)頁包括封面頁、列表頁和更新頁；

抓取頻率配置模塊420用于根據(jù)封面頁、列表頁和更新頁的更新特點(diǎn)，配置封面頁、列表頁和更新頁的抓取頻率；

小說網(wǎng)頁抓取模塊430用于根據(jù)所述抓取頻率對相應(yīng)的小說網(wǎng)頁進(jìn)行抓取。

優(yōu)選的，所述小說網(wǎng)頁還包括目錄頁；

所述裝置還包括：

抓取頻率計算模塊，用于在根據(jù)所述抓取頻率對相應(yīng)的小說網(wǎng)頁進(jìn)行抓取之前，根據(jù)網(wǎng)站的歷史數(shù)據(jù)及所述網(wǎng)站中小說的歷史數(shù)據(jù)，計算網(wǎng)站中的小說的目錄頁的抓取頻率。

優(yōu)選的，所述抓取頻率計算模塊包括：

抓取配額計算單元，用于根據(jù)網(wǎng)站的歷史數(shù)據(jù)，計算網(wǎng)站每天的抓取配額；

抓取頻率計算單元，用于根據(jù)所述抓取配額及所述網(wǎng)站中小說的歷史數(shù)據(jù)，計算所述小說的目錄頁的抓取頻率。

優(yōu)選的，所述抓取配額計算單元包括：

網(wǎng)站排名子單元，用于根據(jù)網(wǎng)站的歷史數(shù)據(jù)，對所述網(wǎng)站進(jìn)行排名；

權(quán)重計算子單元，用于根據(jù)所述排名，計算所述網(wǎng)站的權(quán)重；

抓取配額計算子單元，用于根據(jù)所述權(quán)重，計算所述網(wǎng)站每天的抓取配額。

優(yōu)選的，所述抓取頻率計算單元包括：

分類子單元，用于根據(jù)所述網(wǎng)站中小說的歷史數(shù)據(jù)，將所述小說分為熱門小說和非熱門小說；

抓取配額分配子單元，用于按照設(shè)定比例將所述抓取配額分配給所述熱門 小說和非熱門小說；

抓取頻率計算子單元，用于根據(jù)分配后的抓取配額，計算所述熱門小說和非熱門小說的目錄頁的抓取頻率。

優(yōu)選的，所述抓取頻率配置模塊具體用于：

配置第一抓取頻率抓取更新頁的前設(shè)定數(shù)量的頁面；

配置第二抓取頻率抓取所述更新頁的前設(shè)定數(shù)量的頁面以外的頁面及列表頁；

配置第三抓取頻率抓取封面頁；

其中，所述第一抓取頻率大于所述第二抓取頻率，所述第二抓取頻率大于所述第三抓取頻率。

優(yōu)選的，所述小說網(wǎng)頁抓取模塊包括：

頻率比較單元，用于將所述抓取頻率與預(yù)設(shè)頻率進(jìn)行比較；

小說網(wǎng)頁抓取單元，用于當(dāng)所述抓取頻率超過預(yù)設(shè)頻率時，以所述預(yù)設(shè)頻率對相應(yīng)的小說網(wǎng)頁進(jìn)行抓取。

上述產(chǎn)品可執(zhí)行本發(fā)明任意實(shí)施例所提供的方法，具備執(zhí)行方法相應(yīng)的功能模塊和有益效果。

注意，上述僅為本發(fā)明的較佳實(shí)施例及所運(yùn)用技術(shù)原理。本領(lǐng)域技術(shù)人員會理解，本發(fā)明不限于這里所述的特定實(shí)施例，對本領(lǐng)域技術(shù)人員來說能夠進(jìn)行各種明顯的變化、重新調(diào)整和替代而不會脫離本發(fā)明的保護(hù)范圍。因此，雖然通過以上實(shí)施例對本發(fā)明進(jìn)行了較為詳細(xì)的說明，但是本發(fā)明不僅僅限于以上實(shí)施例，在不脫離本發(fā)明構(gòu)思的情況下，還可以包括更多其他等效實(shí)施例，而本發(fā)明的范圍由所附的權(quán)利要求范圍決定。