本發(fā)明涉及信息技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)采集方法及裝置。

背景技

現(xiàn)有技術(shù)中，當(dāng)采集節(jié)點(diǎn)需要采集數(shù)據(jù)時(shí)，向相應(yīng)的服務(wù)器發(fā)起數(shù)據(jù)采集請(qǐng)求，并獲取對(duì)應(yīng)的數(shù)據(jù)信息。如果當(dāng)前向服務(wù)器采集數(shù)據(jù)的采集節(jié)點(diǎn)較多，則會(huì)造成大量的重復(fù)采集，浪費(fèi)采集次數(shù)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的實(shí)施例提供一種數(shù)據(jù)采集方法及裝置，能夠解決重復(fù)采集數(shù)據(jù)的問(wèn)題。

為達(dá)到上述目的，本發(fā)明的實(shí)施例采用如下技術(shù)方案：

第一方面，本發(fā)明的實(shí)施例提供一種數(shù)據(jù)采集方法，包括：

對(duì)采集任務(wù)進(jìn)行拆分，得到多個(gè)分布式采集任務(wù)；

將所述多個(gè)分布式采集任務(wù)分別發(fā)送至對(duì)應(yīng)的采集節(jié)點(diǎn)；

接收各所述采集節(jié)點(diǎn)分別返回的數(shù)據(jù)信息；

根據(jù)各所述數(shù)據(jù)信息，輸出采集結(jié)果。

結(jié)合第一方面，在第一方面的第一種可能的實(shí)現(xiàn)方式中，所述數(shù)據(jù)信息包括曾緩存數(shù)據(jù)信息或當(dāng)前采集數(shù)據(jù)信息；其中，所述曾緩存數(shù)據(jù)信息緩存在采集節(jié)點(diǎn)，所述當(dāng)前采集數(shù)據(jù)信息由采集節(jié)點(diǎn)基于所述分布式采集任務(wù)進(jìn)行實(shí)時(shí)采集。

結(jié)合第一方面，在第一方面的第二種可能的實(shí)現(xiàn)方式中，所述方法還包括：

獲取各所述采集節(jié)點(diǎn)的采集速度及采集成功率；

基于所述采集速度及所述采集成功率，調(diào)整分布式采集任務(wù)的數(shù)量及采集節(jié)點(diǎn)的數(shù)量。

結(jié)合第一方面，在第一方面的第三種可能的實(shí)現(xiàn)方式中，所述方法還包括：

將所述采集結(jié)果發(fā)送給各所述采集節(jié)點(diǎn)。

第二方面，本發(fā)明的實(shí)施例提供一種數(shù)據(jù)采集裝置，包括：

拆分模塊，用于對(duì)采集任務(wù)進(jìn)行拆分，得到多個(gè)分布式采集任務(wù)；

任務(wù)發(fā)送模塊，用于將所述拆分模塊拆分得到的所述多個(gè)分布式采集任務(wù)分別發(fā)送至對(duì)應(yīng)的采集節(jié)點(diǎn)；

接收模塊，用于接收各所述采集節(jié)點(diǎn)分別返回的數(shù)據(jù)信息；

輸出模塊，用于根據(jù)所述接收模塊接收的各所述數(shù)據(jù)信息，輸出采集結(jié)果。

結(jié)合第二方面，在第二方面的第一種可能的實(shí)現(xiàn)方式中，所述接收模塊接收的所述數(shù)據(jù)信息包括曾緩存數(shù)據(jù)信息或當(dāng)前采集數(shù)據(jù)信息；其中，所述曾緩存數(shù)據(jù)信息緩存在采集節(jié)點(diǎn)，所述當(dāng)前采集數(shù)據(jù)信息由采集節(jié)點(diǎn)基于所述分布式采集任務(wù)進(jìn)行實(shí)時(shí)采集。

結(jié)合第二方面，在第二方面的第二種可能的實(shí)現(xiàn)方式中，所述裝置還包括：獲取模塊、調(diào)整模塊；

所述獲取模塊，用于獲取各所述采集節(jié)點(diǎn)的采集速度及采集成功率；

所述調(diào)整模塊，用于基于所述獲取模塊獲取的所述采集速度及所述采集成功率，調(diào)整分布式采集任務(wù)的數(shù)量及采集節(jié)點(diǎn)的數(shù)量。

結(jié)合第二方面，在第二方面的第三種可能的實(shí)現(xiàn)方式中，所述裝置還包括：數(shù)據(jù)發(fā)送模塊；

所述數(shù)據(jù)發(fā)送模塊，用于將所述采集結(jié)果發(fā)送給各所述采集節(jié)點(diǎn)。

本發(fā)明實(shí)施例提供的數(shù)據(jù)采集方法及裝置，通過(guò)首先對(duì)采集任務(wù)進(jìn)行拆分，得到多個(gè)分布式采集任務(wù)，并將所述多個(gè)分布式采集任務(wù)分別發(fā)送至對(duì)應(yīng)的采集節(jié)點(diǎn)，然后接收各采集節(jié)點(diǎn)分別返回的數(shù)據(jù)信息，最后根據(jù)各所述數(shù)據(jù)信息，輸出采集結(jié)果。能夠在多個(gè)采集節(jié)點(diǎn)同時(shí)向服務(wù)器采集數(shù)據(jù)時(shí)，通過(guò)各不同采集節(jié)點(diǎn)分別采集相應(yīng)數(shù)據(jù)片段，并將各數(shù)據(jù)片段進(jìn)行整合后發(fā)送給采集節(jié)點(diǎn)，能夠?qū)崿F(xiàn)發(fā)布式并發(fā)數(shù)據(jù)采集，從而可以避免數(shù)據(jù)的重復(fù)采集，并且可以提高采集速度。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其它的附圖。

圖1是本發(fā)明實(shí)施例的數(shù)據(jù)采集方法的流程示意圖；

圖2是本發(fā)明實(shí)施例的數(shù)據(jù)采集方法的另一流程示意圖；

圖3是本發(fā)明實(shí)施例的數(shù)據(jù)采集裝置結(jié)構(gòu)示意圖；

圖4是本發(fā)明實(shí)施例的數(shù)據(jù)采集裝置的另一結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

本發(fā)明一實(shí)施例提供一種數(shù)據(jù)采集方法，如圖1所示，所述方法包括：

101、對(duì)采集任務(wù)進(jìn)行拆分，得到多個(gè)分布式采集任務(wù)。

其中，分布式采集任務(wù)的數(shù)量可以基于當(dāng)前的采集節(jié)點(diǎn)個(gè)數(shù)進(jìn)行實(shí)時(shí)確定，也可以按照當(dāng)前采集數(shù)據(jù)所占空間的大小進(jìn)行確定。

在本發(fā)明實(shí)施例中，可以對(duì)采集任務(wù)進(jìn)行數(shù)據(jù)等量拆分，即每個(gè)分布式采集任務(wù)對(duì)應(yīng)的待采集數(shù)據(jù)大小均相同；也可以按照各采集節(jié)點(diǎn)的采集能力(例如，采集節(jié)點(diǎn)采集數(shù)據(jù)的速度和/或成功率)對(duì)采集任務(wù)進(jìn)行拆分，即對(duì)于采集速度快且采集成功率高的采集節(jié)點(diǎn)，為其分配的分布式采集任務(wù)對(duì)應(yīng)的待采集數(shù)據(jù)越大。

對(duì)于本發(fā)明實(shí)施例，采集任務(wù)可以針對(duì)任何數(shù)據(jù)的采集，例如，采集任務(wù)可以為對(duì)網(wǎng)頁(yè)數(shù)據(jù)的采集。

102、將多個(gè)分布式采集任務(wù)分別發(fā)送至對(duì)應(yīng)的采集節(jié)點(diǎn)。

其中，分布式采集任務(wù)攜帶有采集節(jié)點(diǎn)標(biāo)識(shí)及待采集數(shù)據(jù)標(biāo)識(shí)。

103、接收各采集節(jié)點(diǎn)分別返回的數(shù)據(jù)信息。

其中，采集節(jié)點(diǎn)返回的數(shù)據(jù)信息，可以是采集節(jié)點(diǎn)實(shí)時(shí)基于分布式采集任務(wù)進(jìn)行數(shù)據(jù)采集得到，也可以是已緩存在采集節(jié)點(diǎn)的數(shù)據(jù)。

104、根據(jù)各所述數(shù)據(jù)信息，輸出采集結(jié)果。

其中，采集結(jié)果包括采集任務(wù)對(duì)應(yīng)的數(shù)據(jù)信息。在本發(fā)明實(shí)施例中，采集結(jié)果可以由各數(shù)據(jù)信息拼接得到。

與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例能夠在多個(gè)采集節(jié)點(diǎn)同時(shí)向服務(wù)器采集數(shù)據(jù)時(shí)，通過(guò)各不同采集節(jié)點(diǎn)分別采集相應(yīng)數(shù)據(jù)片段，并將各數(shù)據(jù)片段進(jìn)行整合后發(fā)送給采集節(jié)點(diǎn)，能夠?qū)崿F(xiàn)發(fā)布式并發(fā)數(shù)據(jù)采集，從而可以避免數(shù)據(jù)的重復(fù)采集，并且可以提高采集速度。

本發(fā)明又一實(shí)施例提供一種數(shù)據(jù)采集方法，如圖2所示，所述方法包括：

201、獲取各采集節(jié)點(diǎn)的采集速度及采集成功率。

202、基于采集速度及采集成功率，調(diào)整分布式采集任務(wù)的數(shù)量及采集節(jié)點(diǎn)的數(shù)量。

例如，對(duì)于采集成功率較低的采集節(jié)點(diǎn)，可以將其從采集任務(wù)中刪除，以避免由于部分采集節(jié)點(diǎn)對(duì)數(shù)據(jù)采集失敗，而導(dǎo)致采集任務(wù)失敗的情況。在本發(fā)明實(shí)施例中，刪除部分成功率較低的采集節(jié)點(diǎn)后，即減少采集任務(wù)的數(shù)量及采集節(jié)點(diǎn)的數(shù)量。

再例如，對(duì)于新加入的采集速度較高或采集成功率較高的采集節(jié)點(diǎn)，可以將其加入采集任務(wù)，即增加采集任務(wù)的數(shù)量及采集節(jié)點(diǎn)的數(shù)量。

對(duì)于本發(fā)明實(shí)施例，可以基于采集速度及采集成功率，對(duì)分布式采集任務(wù)的數(shù)量及采集節(jié)點(diǎn)的數(shù)量進(jìn)行動(dòng)態(tài)調(diào)整。在本發(fā)明實(shí)施例中，可以按照預(yù)設(shè)時(shí)間間隔，動(dòng)態(tài)調(diào)整分布式采集任務(wù)的數(shù)量及采集節(jié)點(diǎn)的數(shù)量；也可以按照隨機(jī)時(shí)間間隔，動(dòng)態(tài)調(diào)整分布式采集任務(wù)的數(shù)量及采集節(jié)點(diǎn)的數(shù)量。

例如，期望采集的數(shù)據(jù)信息總量為itotal，單位為byte；可用的采集節(jié)點(diǎn)數(shù)量為n，各采集節(jié)點(diǎn)的采集速度為vi，(1≤i≤n)，單位為byte/s；各采集節(jié)點(diǎn)的采集成功率為pi，(1≤i≤n)，用百分比表示。

步驟202可根據(jù)需求的不同，而實(shí)施為以下方式：

方式1：要求在給定的時(shí)間δt1內(nèi)完成采集任務(wù)，且要求所有采集節(jié)點(diǎn)參與數(shù)據(jù)采集。

為完成采集任務(wù)，每個(gè)采集節(jié)點(diǎn)工作的有效采集時(shí)間δt2為：

其中，λ為防止數(shù)據(jù)丟包等意外而設(shè)置的時(shí)間放大系數(shù)，一般可取1≤λ≤1.2；

第i個(gè)采集節(jié)點(diǎn)分配的數(shù)據(jù)采集任務(wù)表示為ii，表示第i個(gè)采集節(jié)點(diǎn)所需要采集的數(shù)據(jù)信息量：

δt2也是能夠完成采集任務(wù)的最短時(shí)間，因此δt1≥δt2。

上述方式1，可以控制采集任務(wù)的采集時(shí)間，且充分利用每個(gè)采集節(jié)點(diǎn)，滿足對(duì)采集時(shí)間的需求。

方式2：要求在給定的時(shí)間δt1內(nèi)(單位可為秒)完成采集任務(wù)，且只要求采集效率最高的若干個(gè)采集節(jié)點(diǎn)完成采集任務(wù)。

為完成采集任務(wù)，要求的平均有效數(shù)據(jù)采集速率為：

其中，η為防止數(shù)據(jù)丟包等意外而設(shè)置的數(shù)據(jù)采集速率縮小系數(shù)，一般可取0.85≤η≤0.95。

如果某采集節(jié)點(diǎn)的采集速度vi和采集成功率pi滿足

vipi≥ve_ave

則該采集節(jié)點(diǎn)參與數(shù)據(jù)采集任務(wù)，否則不參與數(shù)據(jù)采集任務(wù)。

根據(jù)上述判斷準(zhǔn)則，設(shè)共有采集效率最高前m個(gè)采集節(jié)點(diǎn)需要參與數(shù)據(jù)采集任務(wù)，將其用下標(biāo)j重新編號(hào)(1≤j≤m)。

第j個(gè)采集節(jié)點(diǎn)分配的數(shù)據(jù)采集任務(wù)為:

上述方式2，可以控制采集任務(wù)的采集時(shí)間，且充分利用采集效率高的采集節(jié)點(diǎn)，使得其余采集節(jié)點(diǎn)可執(zhí)行其他數(shù)據(jù)的采集任務(wù)。

203、對(duì)采集任務(wù)進(jìn)行拆分，得到多個(gè)分布式采集任務(wù)。

其中，分布式采集任務(wù)的數(shù)量可以基于當(dāng)前的采集節(jié)點(diǎn)個(gè)數(shù)進(jìn)行實(shí)時(shí)確定，也可以按照當(dāng)前采集數(shù)據(jù)所占空間的大小進(jìn)行確定。

在本發(fā)明實(shí)施例中，可以對(duì)采集任務(wù)進(jìn)行數(shù)據(jù)等量拆分，即每個(gè)分布式采集任務(wù)對(duì)應(yīng)的待采集數(shù)據(jù)大小均相同；也可以按照各采集節(jié)點(diǎn)的采集能力(例如，采集節(jié)點(diǎn)采集數(shù)據(jù)的速度和/或成功率)對(duì)采集任務(wù)進(jìn)行拆分，即對(duì)于采集速度快且采集成功率高的采集節(jié)點(diǎn)，為其分配的分布式采集任務(wù)對(duì)應(yīng)的待采集數(shù)據(jù)越大。

204、將多個(gè)分布式采集任務(wù)分別發(fā)送至對(duì)應(yīng)的采集節(jié)點(diǎn)。

其中，分布式采集任務(wù)攜帶有采集節(jié)點(diǎn)標(biāo)識(shí)及待采集數(shù)據(jù)標(biāo)識(shí)。

205、接收各采集節(jié)點(diǎn)分別返回的數(shù)據(jù)信息。

對(duì)于本發(fā)明實(shí)施例，數(shù)據(jù)信息包括曾緩存數(shù)據(jù)信息或當(dāng)前采集數(shù)據(jù)信息；其中，曾緩存數(shù)據(jù)信息緩存在采集節(jié)點(diǎn)，當(dāng)前采集數(shù)據(jù)信息由采集節(jié)點(diǎn)基于分布式采集任務(wù)進(jìn)行實(shí)時(shí)采集。

在本發(fā)明實(shí)施例中，采集節(jié)點(diǎn)接收到對(duì)應(yīng)的分布式采集任務(wù)后，首先基于哈希值判斷數(shù)據(jù)庫(kù)中是否緩存有分布式采集任務(wù)對(duì)應(yīng)的數(shù)據(jù)信息；如果數(shù)據(jù)庫(kù)中緩存有分布式采集任務(wù)對(duì)應(yīng)的數(shù)據(jù)信息，則采集節(jié)點(diǎn)可以直接返回曾緩存數(shù)據(jù)信息；或者，如果數(shù)據(jù)庫(kù)中未緩存分布式采集任務(wù)對(duì)應(yīng)的數(shù)據(jù)信息，則采集節(jié)點(diǎn)基于該分布式采集任務(wù)實(shí)時(shí)進(jìn)行數(shù)據(jù)采集，得到當(dāng)前采集數(shù)據(jù)信息。

當(dāng)數(shù)據(jù)庫(kù)緩存有分布式采集任務(wù)對(duì)應(yīng)的數(shù)據(jù)信息時(shí)，采集節(jié)點(diǎn)返回曾緩存數(shù)據(jù)信息，由于采集節(jié)點(diǎn)無(wú)需再次對(duì)數(shù)據(jù)進(jìn)行采集，因此能夠進(jìn)一步提高數(shù)據(jù)采集速度及數(shù)據(jù)采集成功率。

206、根據(jù)各數(shù)據(jù)信息，輸出采集結(jié)果。

其中，采集結(jié)果包括采集任務(wù)對(duì)應(yīng)的數(shù)據(jù)信息。在本發(fā)明實(shí)施例中，采集結(jié)果可以由各數(shù)據(jù)信息拼接得到。

207、將采集結(jié)果發(fā)送給各采集節(jié)點(diǎn)。

與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例能夠在多個(gè)采集節(jié)點(diǎn)同時(shí)向服務(wù)器采集數(shù)據(jù)時(shí)，通過(guò)各不同采集節(jié)點(diǎn)分別采集相應(yīng)數(shù)據(jù)片段，并將各數(shù)據(jù)片段進(jìn)行整合后發(fā)送給采集節(jié)點(diǎn)，能夠?qū)崿F(xiàn)發(fā)布式并發(fā)數(shù)據(jù)采集，從而可以避免數(shù)據(jù)的重復(fù)采集，并且可以提高采集速度。

本發(fā)明又一實(shí)施例提供一種數(shù)據(jù)采集裝置，如圖3所示，所述裝置包括：拆分模塊31、任務(wù)發(fā)送模塊32、接收模塊33、輸出模塊34。

拆分模塊31，用于對(duì)采集任務(wù)進(jìn)行拆分，得到多個(gè)分布式采集任務(wù)。

任務(wù)發(fā)送模塊32，用于將拆分模塊31拆分得到的多個(gè)分布式采集任務(wù)分別發(fā)送至對(duì)應(yīng)的采集節(jié)點(diǎn)。

接收模塊33，用于接收各采集節(jié)點(diǎn)分別返回的數(shù)據(jù)信息。

輸出模塊34，用于根據(jù)接收模塊33接收的各數(shù)據(jù)信息，輸出采集結(jié)果。

與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例能夠在多個(gè)采集節(jié)點(diǎn)同時(shí)向服務(wù)器采集數(shù)據(jù)時(shí)，通過(guò)各不同采集節(jié)點(diǎn)分別采集相應(yīng)數(shù)據(jù)片段，并將各數(shù)據(jù)片段進(jìn)行整合后發(fā)送給采集節(jié)點(diǎn)，能夠?qū)崿F(xiàn)發(fā)布式并發(fā)數(shù)據(jù)采集，從而可以避免數(shù)據(jù)的重復(fù)采集，并且可以提高采集速度。

對(duì)于本發(fā)明實(shí)施例，接收模塊33接收的數(shù)據(jù)信息包括曾緩存數(shù)據(jù)信息或當(dāng)前采集數(shù)據(jù)信息；其中，曾緩存數(shù)據(jù)信息緩存在采集節(jié)點(diǎn)，當(dāng)前采集數(shù)據(jù)信息由采集節(jié)點(diǎn)基于分布式采集任務(wù)進(jìn)行實(shí)時(shí)采集。

進(jìn)一步的，如圖4所示，所述裝置還可以包括：獲取模塊41、調(diào)整模塊42、數(shù)據(jù)發(fā)送模塊43；

獲取模塊41，用于獲取各所述采集節(jié)點(diǎn)的采集速度及采集成功率。

調(diào)整模塊42，用于基于所述獲取模塊41獲取的所述采集速度及所述采集成功率，調(diào)整分布式采集任務(wù)的數(shù)量及采集節(jié)點(diǎn)的數(shù)量。

數(shù)據(jù)發(fā)送模塊43，用于將所述采集結(jié)果發(fā)送給各所述采集節(jié)點(diǎn)。

與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例能夠在多個(gè)采集節(jié)點(diǎn)同時(shí)向服務(wù)器采集數(shù)據(jù)時(shí)，通過(guò)各不同采集節(jié)點(diǎn)分別采集相應(yīng)數(shù)據(jù)片段，并將各數(shù)據(jù)片段進(jìn)行整合后發(fā)送給采集節(jié)點(diǎn)，能夠?qū)崿F(xiàn)發(fā)布式并發(fā)數(shù)據(jù)采集，從而可以避免數(shù)據(jù)的重復(fù)采集，并且可以提高采集速度。

本發(fā)明實(shí)施例提供的數(shù)據(jù)采集裝置可以實(shí)現(xiàn)上述提供的數(shù)據(jù)采集方法實(shí)施例，具體功能實(shí)現(xiàn)請(qǐng)參見方法實(shí)施例中的說(shuō)明，在此不再贅述。本發(fā)明實(shí)施例提供的數(shù)據(jù)采集方法及裝置可以適用于對(duì)數(shù)據(jù)進(jìn)行采集，但不僅限于此。

本說(shuō)明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，各個(gè)實(shí)施例之間相同相似的部分互相參見即可，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處。尤其，對(duì)于設(shè)備實(shí)施例而言，由于其基本相似于方法實(shí)施例，所以描述得比較簡(jiǎn)單，相關(guān)之處參見方法實(shí)施例的部分說(shuō)明即可。

本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，是可以通過(guò)計(jì)算機(jī)程序來(lái)指令相關(guān)的硬件來(lái)完成，所述的程序可存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，可包括如上述各方法的實(shí)施例的流程。其中，所述的存儲(chǔ)介質(zhì)可為磁碟、光盤、只讀存儲(chǔ)記憶體(read-onlymemory，rom)或隨機(jī)存儲(chǔ)記憶體(randomaccessmemory，ram)等。

以上所述，僅為本發(fā)明的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求的保護(hù)范圍為準(zhǔn)。