實時日志收集方法、系統(tǒng)和應(yīng)用服務(wù)器集群的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種實時日志收集方法、系統(tǒng)和應(yīng)用服務(wù)器集群。
【背景技術(shù)】
[0002]對于大型互聯(lián)網(wǎng)門戶，每天都有上千萬用戶的訪問量?？梢酝ㄟ^收集和記錄用戶對網(wǎng)站功能的消費(fèi)，然后對這些消費(fèi)進(jìn)行離線分析，為網(wǎng)站更好地向用戶提供個性化服務(wù)提供數(shù)據(jù)依據(jù)。并且，還可以為網(wǎng)安在應(yīng)對網(wǎng)絡(luò)熱門事件或突發(fā)事件時提供調(diào)查依據(jù)。
[0003]傳統(tǒng)收集日志的方法是通過前端(客戶端)在網(wǎng)頁中添加JavaScript腳本，事先確定動作屬性(例如播放視頻和發(fā)布視頻等)，將用戶的點擊動作匯總到遠(yuǎn)程服務(wù)器來分析。這種方法存在能夠通過模擬用戶行為來捏造點擊數(shù)據(jù)等的缺陷。
[0004]目前還有一種收集日志的方法，在后端生成日志后，通過scp命令上傳、下載或通過rsync命令定時同步等方式收集匯總，然后通過機(jī)器腳本分析、或者人工觀察統(tǒng)計、或者圖形繪制等方式來分析。這種方法的實時性較差。
[0005]另外，由于上述兩種方法均需要人工干預(yù)，因此對數(shù)據(jù)規(guī)模的適用性較差，無法支持網(wǎng)站持續(xù)發(fā)展產(chǎn)生的大量日志，并且人工干預(yù)過多，不能保證較高的準(zhǔn)確性。

【發(fā)明內(nèi)容】

[0006]技術(shù)問題
[0007]有鑒于此，本發(fā)明要解決的技術(shù)問題是，如何快速、準(zhǔn)確地收集用戶行為日志，并快速、準(zhǔn)確地獲取與關(guān)注用戶行為相關(guān)的信息。
[0008]解決方案
[0009]根據(jù)本發(fā)明的一個方面，提供了一種實時日志收集方法，用于收集用戶行為日志，包括:在用戶終端打開第一應(yīng)用服務(wù)器所提供網(wǎng)頁的情況下，所述第一應(yīng)用服務(wù)器控制所述用戶終端運(yùn)行預(yù)設(shè)的日志記錄腳本;在所述日志記錄腳本檢測到所述用戶進(jìn)行設(shè)定的臨時用戶行為的情況下，生成包括與所述臨時用戶行為相關(guān)的臨時日志信息的超文本傳輸協(xié)議HTTP請求，并從所述用戶終端向?qū)崟r日志收集系統(tǒng)的第一接收源發(fā)送所述HTTP請求，所述臨時日志信息包括所述用戶終端的IP地址、進(jìn)行所述臨時用戶行為的時間和用戶ID中的至少一項；以及所述第一接收源將所述HTTP請求經(jīng)由所述實時日志收集系統(tǒng)的第一卡夫卡Kaf ka通道發(fā)送至存儲系統(tǒng)。
[0010]對于上述實時日志收集方法，在一種可能的實現(xiàn)方式中，在所述第一接收源接收到從所述用戶終端發(fā)送的所述HTTP請求之后，還包括:所述實時日志收集系統(tǒng)的攔截器根據(jù)所述HTTP請求，統(tǒng)計第一時間間隔內(nèi)進(jìn)行所述臨時用戶行為的次數(shù)。
[0011 ]對于上述實時日志收集方法，在一種可能的實現(xiàn)方式中，還包括:第二應(yīng)用服務(wù)器記錄與所述用戶行為相關(guān)的行為屬性，并將在第二時間間隔內(nèi)所記錄的行為屬性按照預(yù)先設(shè)定的日志格式生成日志文件，所述行為屬性包括所述用戶終端的IP地址、所述用戶行為的名稱、進(jìn)行所述用戶行為的時間和用戶ID中的至少一項;所述實時日志收集系統(tǒng)的代理模塊在檢測到存在所述日志文件的情況下，將所述日志文件發(fā)送至所述實時日志收集系統(tǒng)的第二接收源；以及所述第二接收源將所述日志文件經(jīng)由所述實時日志收集系統(tǒng)的第二Kaf ka通道發(fā)送至所述存儲系統(tǒng)。
[0012]對于上述實時日志收集方法，在一種可能的實現(xiàn)方式中，還包括:所述實時日志收集系統(tǒng)的攔截器根據(jù)所述日志文件統(tǒng)計第三時間間隔內(nèi)進(jìn)行特定用戶行為的次數(shù)，并在統(tǒng)計出的次數(shù)大于設(shè)定閾值的情況下，發(fā)送異常信息。
[0013]對于上述實時日志收集方法，在一種可能的實現(xiàn)方式中，所述存儲系統(tǒng)包括分布式文件系統(tǒng)和/或數(shù)據(jù)庫。
[0014]根據(jù)本發(fā)明的另一個方面，提供了一種實時日志收集系統(tǒng)，用于收集用戶行為日志，包括:第一接收源，與用戶終端連接，用于從所述用戶終端接收包括與臨時用戶行為相關(guān)的臨時日志信息的HTTP請求，所述臨時日志信息包括所述用戶終端的IP地址、進(jìn)行所述臨時用戶行為的時間和用戶ID中的至少一項，其中，在所述用戶終端打開第一應(yīng)用服務(wù)器所提供網(wǎng)頁的情況下，所述第一應(yīng)用服務(wù)器控制所述用戶終端運(yùn)行預(yù)設(shè)的日志記錄腳本，在所述日志記錄腳本檢測到所述用戶進(jìn)行設(shè)定的臨時用戶行為的情況下，生成所述HTTP請求；以及第一Kafka通道，與所述第一接收源連接，用于從所述第一接收源接收所述HTTP請求，并發(fā)送至存儲系統(tǒng)。
[0015]對于上述實時日志收集系統(tǒng)，在一種可能的實現(xiàn)方式中，還包括:攔截器，與所述第一接收源和所述第一Kafka通道分別連接，用于從所述第一接收源攔截所述HTTP請求；以及分析模塊，與所述攔截器連接，用于從所述攔截器接收所述HTTP請求，并根據(jù)所述HTTP請求，統(tǒng)計第一時間間隔內(nèi)進(jìn)行所述臨時用戶行為的次數(shù)。
[0016]對于上述實時日志收集系統(tǒng)，在一種可能的實現(xiàn)方式中，還包括:代理模塊，與第二應(yīng)用服務(wù)器連接，用于檢測是否存在日志文件，在檢測到存在所述日志文件的情況下，獲取所述日志文件，其中，第二應(yīng)用服務(wù)器記錄與所述用戶行為相關(guān)的行為屬性，并將在第二時間間隔內(nèi)所記錄的行為屬性按照預(yù)先設(shè)定的日志格式生成所述日志文件，所述行為屬性包括所述用戶終端的IP地址、所述用戶行為的名稱、進(jìn)行所述用戶行為的時間和用戶ID中的至少一項;第二接收源，與所述代理模塊連接，用于從所述代理模塊接收所述日志文件；以及第二Kaf ka通道，與所述第二接收源連接，用于從所述第二接收源接收所述日志文件，并發(fā)送至所述存儲系統(tǒng)。
[0017]對于上述實時日志收集系統(tǒng)，在一種可能的實現(xiàn)方式中，所述攔截器還與所述第二接收源和所述第二 Kafka通道分別連接，并且用于從所述第二接收源攔截所述日志文件；所述分析模塊還用于統(tǒng)計第三時間間隔內(nèi)進(jìn)行特定用戶行為的次數(shù)，并在統(tǒng)計出的次數(shù)大于設(shè)定閾值的情況下，發(fā)送異常信息。
[0018]根據(jù)本發(fā)明的又一個方面，提供了一種應(yīng)用服務(wù)器集群，包括第一應(yīng)用服務(wù)器，所述第一應(yīng)用服務(wù)器包括:腳本設(shè)置模塊，與所述用戶終端連接，用于預(yù)設(shè)日志記錄腳本；網(wǎng)頁提供模塊，與所述用戶終端連接，用于為所述用戶終端提供網(wǎng)頁服務(wù);控制模塊，與所述用戶終端連接，用于在所述用戶終端打開所述網(wǎng)頁提供模塊所提供網(wǎng)頁的情況下，控制所述用戶終端運(yùn)行所述日志記錄腳本；以及HTTP請求生成模塊，與所述用戶終端連接，在所述日志記錄腳本檢測到所述用戶進(jìn)行設(shè)定的臨時用戶行為的情況下，生成包括與所述臨時用戶行為相關(guān)的臨時日志信息的超文本傳輸協(xié)議HTTP請求，所述臨時日志信息包括所述用戶終端的IP地址、進(jìn)行所述臨時用戶行為的時間和用戶ID中的至少一項。
[0019]對于上述應(yīng)用服務(wù)器集群，在一種可能的實現(xiàn)方式中，還包括多個第二應(yīng)用服務(wù)器，其中，各所述第二應(yīng)用服務(wù)器包括:記錄模塊，用于記錄與用戶行為相關(guān)的行為屬性；以及日志文件生成模塊，與所述記錄模塊連接，用于將在第二時間間隔內(nèi)所記錄的行為屬性按照預(yù)先設(shè)定的日志格式生成日志文件，所述行為屬性包括所述用戶終端的IP地址、所述用戶行為的名稱、進(jìn)行所述用戶行為的時間和用戶ID中的至少一項。
[0020]有益效果
[0021]通過在用戶終端預(yù)先設(shè)置日志記錄腳本，并在用戶終端打開特定網(wǎng)頁的情況下，運(yùn)行該日志記錄腳本，在日志記錄腳本檢測到用戶進(jìn)行設(shè)定的臨時用戶行為的情況下，生成包括與臨