一種在線網(wǎng)頁信息的實時監(jiān)測方法和裝置制造方法
【專利摘要】本發(fā)明公開了一種在線網(wǎng)頁信息的實時監(jiān)測方法和裝置，該方法包括：實時獲取網(wǎng)頁信息日志；通過滑動時間窗口對所述網(wǎng)頁信息日志中的展示日志數(shù)據(jù)或者點擊日志數(shù)據(jù)進行實時統(tǒng)計分析，報告所述展示日志數(shù)據(jù)或者點擊日志數(shù)據(jù)的特征異常情況。本發(fā)明能夠?qū)崟r獲取并分析在線網(wǎng)頁信息日志，實現(xiàn)實時的在線網(wǎng)頁信息監(jiān)測。
【專利說明】一種在線網(wǎng)頁信息的實時監(jiān)測方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及互聯(lián)網(wǎng)信息監(jiān)測【技術(shù)領(lǐng)域】，尤其涉及一種在線網(wǎng)頁信息的實時監(jiān)測方法和裝置。
【背景技術(shù)】
[0002]在線網(wǎng)頁的監(jiān)測主要分為兩種方法:一種是該網(wǎng)頁投放一定階段后，根據(jù)日志中該網(wǎng)頁的展示與點擊情況以及訪問用戶的IP等信息，進行離線分析，分析作弊情況；另一種是根據(jù)該網(wǎng)頁的實時信息，實時對該網(wǎng)頁信息日志中的數(shù)據(jù)進行統(tǒng)計分析分析，發(fā)現(xiàn)信息異常時保存分析數(shù)據(jù)作為證據(jù)并報告。
[0003]現(xiàn)有網(wǎng)頁信息監(jiān)測方法一般采用上述的離線方法，離線方法準確率高，但實時性差，不能及時報告該網(wǎng)頁的信息異常情況，同時對分析人員的依賴性較大；而實時監(jiān)測方案還不成熟，采用的信息維度較小，粒度較粗，準確率較低。

【發(fā)明內(nèi)容】

[0004]本發(fā)明所要解決的技術(shù)問題在于提出一種在線網(wǎng)頁信息的實時監(jiān)測方法和裝置，能夠?qū)崟r獲取并分析網(wǎng)頁信息日志，實現(xiàn)實時的在線網(wǎng)頁信息監(jiān)測。
[0005]為解決上述技術(shù)問題，本發(fā)明采用以下技術(shù)方案:
[0006]一種在線網(wǎng)頁信息的實時監(jiān)測方法，該方法包括:
[0007]實時獲取網(wǎng)頁信息日志；
[0008]通過滑動時間窗口對所述網(wǎng)頁信息日志中的展示日志數(shù)據(jù)或者點擊日志數(shù)據(jù)進行實時統(tǒng)計分析，報告所述展示日志數(shù)據(jù)或者點擊日志數(shù)據(jù)的特征異常情況。
[0009]一種在線網(wǎng)頁信息的實時監(jiān)測裝置，包括:
[0010]獲取模塊，用于實時獲取網(wǎng)頁信息日志；
[0011]分析模塊，用于通過滑動時間窗口對所述網(wǎng)頁信息日志中的展示日志數(shù)據(jù)或者點擊日志數(shù)據(jù)進行實時統(tǒng)計分析，報告所述展示日志數(shù)據(jù)或者點擊日志數(shù)據(jù)的特征異常情況。
[0012]采用本發(fā)明的技術(shù)方案，能夠?qū)崟r獲取并分析網(wǎng)頁信息日志，實現(xiàn)實時的在線網(wǎng)頁信息監(jiān)測。
【專利附圖】

【附圖說明】
[0013]圖1是本發(fā)明實施例提供的在線網(wǎng)頁信息實時監(jiān)測方法的流程圖。
[0014]圖2是本發(fā)明實施例中的監(jiān)測方法應(yīng)用于網(wǎng)頁流量統(tǒng)計監(jiān)測時的結(jié)果示意圖。
[0015]圖3是本發(fā)明實施例提供的在線網(wǎng)頁信息實時監(jiān)測的結(jié)構(gòu)示意圖。
【具體實施方式】
[0016]下面結(jié)合附圖并通過【具體實施方式】來進一步說明本發(fā)明的技術(shù)方案。[0017]圖1是本發(fā)明實施例提供的在線廣告作弊實時監(jiān)測方法的流程圖，該方法包括:
[0018]S101，實時獲取網(wǎng)頁信息日志。
[0019]本發(fā)明實施例中的網(wǎng)頁信息日志包括網(wǎng)頁展示日志數(shù)據(jù)和點擊日志數(shù)據(jù)。展示日志數(shù)據(jù)中可以使用的分析數(shù)據(jù)包括在線投放的網(wǎng)頁以及該網(wǎng)頁的來源(Refer)頁面，用戶代理(User Agent)信息，展示時間,用戶來源IP,用戶Cooki e,用戶地理位置等特征。點擊日志數(shù)據(jù)中包括點擊率、點擊時間和點擊位置(用戶鼠標點擊點在該頁面中對應(yīng)的位置)等信息。實時獲取上述日志數(shù)據(jù)進行實時分析，以判斷在線網(wǎng)頁數(shù)據(jù)是否出現(xiàn)異常。
[0020]S102，通過滑動時間窗口對所述網(wǎng)頁信息日志中的展示日志數(shù)據(jù)或者點擊日志數(shù)據(jù)進行實時統(tǒng)計分析，報告所述展示日志數(shù)據(jù)或者點擊日志數(shù)據(jù)的特征異常情況。
[0021]目前數(shù)據(jù)流的聚集統(tǒng)計大部分是針對界標窗口模型，這種模型假定當(dāng)前已經(jīng)到達的數(shù)據(jù)都是同等重要，基于界標窗口建立的聚集統(tǒng)計反映整個流數(shù)據(jù)狀態(tài)。在分析網(wǎng)絡(luò)整體態(tài)勢時，久遠數(shù)據(jù)的詳細信息并不是必要的，特別是對于本發(fā)明實施例中對在線網(wǎng)頁信息進行實時監(jiān)測的應(yīng)用中，就更需要關(guān)注最近到達的數(shù)據(jù)流，即最近一小時或者數(shù)分鐘之內(nèi)的統(tǒng)計數(shù)據(jù)，而不是歷史數(shù)據(jù)。因此，本發(fā)明實施例采用了一種滑動時間窗口模型。
[0022]所述滑動時間窗口以基本時間窗口為單位，由至少兩個等寬連續(xù)的所述基本時間窗口組成并且時間寬度固定。
[0023]在所述滑動時間窗口中，由最近的至少兩個基本時間窗口組成?；瑒訒r間窗口就是在某個時刻，當(dāng)前最新的至少兩個基本時間窗口的集合。所述滑動時間窗口劃分為若干連續(xù)的、等寬的基本時間窗口。
[0024]當(dāng)有新的基本時間窗口到達時，移出過期的基本時間窗口。如果一個基本時間窗口的時間范圍與當(dāng)前時間之差超過了所述滑動時間窗口的寬度，則該基本時間窗口是過期的。
[0025]當(dāng)SlOl中獲取了一個所述基本時間窗口對應(yīng)的時間寬度的網(wǎng)頁信息日志后，所述滑動時間窗口移入所述新的基本時間窗口，丟棄過期的基本時間窗口，并對當(dāng)前滑動時間窗口對應(yīng)的所述網(wǎng)頁信息日志進行統(tǒng)計分析。
[0026]例如，滑動時間窗口的寬度為10分鐘，每個基本時間窗口的寬度為I分鐘，則所述滑動時間窗口由10個按照到達的先后順序連續(xù)排列的基本時間窗口組成。當(dāng)獲取了一個新的寬度為I分鐘的基本時間窗口對應(yīng)的網(wǎng)頁日志數(shù)據(jù)后，則所述滑動時間窗口將所述最新的基本時間窗口移入，將最早到達的基本時間窗口移出，并獲取當(dāng)前滑動時間窗口所對應(yīng)的時間范圍內(nèi)的網(wǎng)頁信息日志。
[0027]利用上述獲取的網(wǎng)頁信息日志中的展示日志數(shù)據(jù)或者點擊日志數(shù)據(jù)，從不同維度對在線網(wǎng)頁進行實時的信息監(jiān)測。
[0028]分別以用戶Cookie (用以唯一標記用戶)、IP、IP3 (IP地址的前三個字段)、地域、時間為單位統(tǒng)計該在線網(wǎng)頁的分布情況，如果在某個維度過于集中或者過于平均，則可判斷為數(shù)據(jù)異常的情況。
[0029]對于軟件自動請求和代理作弊，可以根據(jù)此方法來檢測。判斷是否屬于過于集中或者過于平均的情形時，可以通過計算在線網(wǎng)頁在上述各維度中的集中度來進行。所述分布的集中度可以使用信息熵、方差或設(shè)定閾值來度量。例如，當(dāng)所述集中度大于第一預(yù)設(shè)閾值時，則認為分布過于集中，當(dāng)所述集中度小于第二預(yù)設(shè)閾值時，則認為分布過于平均。[0030]本發(fā)明實施例中，根據(jù)所述展示日志數(shù)據(jù)中的在線投放頁面統(tǒng)計用戶訪問的網(wǎng)頁分布，如果網(wǎng)頁訪問的分布過于集中或者過于平均，則報告數(shù)據(jù)異常。該方法可有效監(jiān)測在線網(wǎng)頁的分布式作弊行為。所述網(wǎng)頁訪問分布是否過于集中或者過于平均同樣可以通過集中度來判定，判定方法與前述相同。
[0031]本發(fā)明實施例中，根據(jù)所述展示日志數(shù)據(jù)統(tǒng)計用戶訪問頁面的來源頁信息，如果來源頁為空的頁面數(shù)量大于預(yù)設(shè)數(shù)量，則報告數(shù)據(jù)異常。
[0032]本發(fā)明實施例中，根據(jù)所述網(wǎng)頁信息日志中的點擊日志數(shù)據(jù)統(tǒng)計點擊率和點擊位置信息，根據(jù)所述點擊位置信息去除無效點擊，根據(jù)不同的時間粒度對點擊率進行統(tǒng)計以發(fā)現(xiàn)在線網(wǎng)頁的點擊行為異常情況。
[0033]例如，上述本發(fā)明實施例提供的在線網(wǎng)頁信息實時監(jiān)測的方法可應(yīng)用于在線廣告的反作弊分析。
[0034]( I)根據(jù)地域信息進行反作弊分析:
[0035]分析對象為浙江省的某省級區(qū)域性網(wǎng)站，
[0036]
【權(quán)利要求】
1.一種在線網(wǎng)頁信息的實時監(jiān)測方法，其特征在于，該方法包括: 實時獲取網(wǎng)頁信息日志； 通過滑動時間窗口對所述網(wǎng)頁信息日志中的展示日志數(shù)據(jù)或者點擊日志數(shù)據(jù)進行實時統(tǒng)計分析，報告所述展示日志數(shù)據(jù)或者點擊日志數(shù)據(jù)的特征異常情況。
2.如權(quán)利要求1所述的方法，其特征在于，所述滑動時間窗口以基本時間窗口為單位，由至少兩個等寬連續(xù)的所述基本時間窗口組成并且時間寬度固定； 當(dāng)獲取了一個所述基本時間窗口對應(yīng)的時間寬度的網(wǎng)頁信息日志后，所述滑動時間窗口移入新的基本時間窗口，并對當(dāng)前滑動時間窗口對應(yīng)的所述網(wǎng)頁信息日志進行統(tǒng)計分析。
3.如權(quán)利要求1所述的方法，其特征在于，所述對網(wǎng)頁信息日志中的展示日志數(shù)據(jù)進行實時統(tǒng)計分析，進一步包括: 分別根據(jù)所述展示日志數(shù)據(jù)中的用戶Cookie、IP、IP3、地域、時間統(tǒng)計在線網(wǎng)頁的分布情況，計算在線網(wǎng)頁在上述各維度中的集中度，如果在至少一個維度所述集中度大于第一預(yù)設(shè)閾值或者小于第二預(yù)設(shè)閾值，則報告數(shù)據(jù)異常。
4.如權(quán)利要求1所述的方法，其特征在于，所述對網(wǎng)頁信息日志中的展示日志數(shù)據(jù)進行實時統(tǒng)計分析，進一步包括: 根據(jù)所述展示日志數(shù)據(jù)中的在線投放頁面統(tǒng)計用戶訪問的網(wǎng)頁分布，計算所述用戶訪問網(wǎng)頁的集中度，如果所述集中度大于第一預(yù)設(shè)閾值或者小于第二預(yù)設(shè)閾值，則報告數(shù)據(jù)異常。
5.如權(quán)利要求1所述的方法，其特征在于，所述對網(wǎng)頁信息日志中的展示日志數(shù)據(jù)進行實時統(tǒng)計分析，進一步包括: 統(tǒng)計用戶訪問頁面的來源頁信息，如果來源頁為空的頁面數(shù)量大于預(yù)設(shè)數(shù)量，則報告數(shù)據(jù)異常。
6.如權(quán)利要求1所述的方法，其特征在于，所述對網(wǎng)頁信息日志中的點擊日志數(shù)據(jù)進行實時統(tǒng)計分析，進一步包括: 統(tǒng)計在線網(wǎng)頁的點擊率和點擊位置信息，根據(jù)所述點擊位置信息去除無效點擊，根據(jù)不同的時間粒度對點擊率進行統(tǒng)計以發(fā)現(xiàn)點擊作弊。
7.如權(quán)利要求1-6任一所述的方法，其特征在于，實時獲取網(wǎng)頁信息日志后，該方法還包括: 根據(jù)所述網(wǎng)頁信息日志中的用戶代理(User Agent)信息，去除來自網(wǎng)頁爬蟲的訪問量。
8.—種在線網(wǎng)頁信息的實時監(jiān)測裝置，其特征在于，包括: 獲取模塊，用于實時獲取網(wǎng)頁信息日志； 分析模塊，用于通過滑動時間窗口對所述網(wǎng)頁信息日志中的展示日志數(shù)據(jù)或者點擊日志數(shù)據(jù)進行實時統(tǒng)計分析，報告所述展示日志數(shù)據(jù)或者點擊日志數(shù)據(jù)的特征異常情況。
9.如權(quán)利要求8所述的裝置，其特征在于，所述分析模塊進一步包括: 投放分布統(tǒng)計子模塊，用于分別根據(jù)所述展示日志數(shù)據(jù)中的用戶Cookie、IP、IP3、地域、時間統(tǒng)計在線網(wǎng)頁的分布情況，計算在線網(wǎng)頁在上述各維度中的集中度，如果在至少一個維度所述集中度大于第一預(yù)設(shè)閾值或者小于第二預(yù)設(shè)閾值，則報告數(shù)據(jù)異常。
10.如權(quán)利要求9所述的裝置，其特征在于，所述分析模塊進一步包括: 訪問分布統(tǒng)計子模塊，用于根據(jù)所述展示日志數(shù)據(jù)中的在線投放頁面統(tǒng)計用戶訪問的網(wǎng)頁分布，計算所述用戶訪問網(wǎng)頁的集中度，如果所述集中度大于第一預(yù)設(shè)閾值或者小于第二預(yù)設(shè)閾值，則報告數(shù)據(jù)異常。
11.如權(quán)利要求10所述的裝置，其特征在于，所述分析模塊進一步包括: 來源頁面統(tǒng)計子模塊，用于統(tǒng)計用戶訪問頁面的來源頁信息，如果來源頁為空的頁面數(shù)量大于預(yù)設(shè)數(shù)量，則報告數(shù)據(jù)異常。
12.如權(quán)利要求11所述的裝置，其特征在于，所述分析模塊進一步包括: 點擊信息統(tǒng)計子模塊，用于統(tǒng)計在線網(wǎng)頁的點擊率和點擊位置信息，根據(jù)所述點擊位置信息去除無效點擊，根據(jù)不同的時間粒度對點擊率進行統(tǒng)計以發(fā)現(xiàn)點擊作弊。
13.如權(quán)利要求9-12任一所述的裝置，其特征在于，所述裝置進一步包括: 去除模塊，用于根據(jù)所述網(wǎng)頁信息日志中的用戶代理(User Agent)信息，去除來自網(wǎng)頁爬蟲的訪問量。
【文檔編號】G06F17/30GK103714057SQ201210369660
【公開日】2014年4月9日 申請日期:2012年9月28日 優(yōu)先權(quán)日:2012年9月28日
【發(fā)明者】羅峰, 黃蘇支, 李娜 申請人:北京億贊普網(wǎng)絡(luò)技術(shù)有限公司