用于互聯(lián)網(wǎng)的數(shù)據(jù)監(jiān)控方法和裝置制造方法
【專利摘要】本發(fā)明公開了一種用于互聯(lián)網(wǎng)的數(shù)據(jù)監(jiān)控方法和裝置。該互聯(lián)網(wǎng)的數(shù)據(jù)監(jiān)控方法包括：獲取請求數(shù)據(jù)；將請求數(shù)據(jù)寫入數(shù)據(jù)表中；按照預(yù)設(shè)的規(guī)則對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，并將統(tǒng)計(jì)后的數(shù)據(jù)寫入結(jié)果表中；將結(jié)果表中的數(shù)據(jù)寫入到共享內(nèi)存中；以及上報(bào)共享內(nèi)存中的數(shù)據(jù)。通過本發(fā)明，解決了現(xiàn)有技術(shù)中的數(shù)據(jù)監(jiān)控方法難以實(shí)現(xiàn)對數(shù)據(jù)全面監(jiān)控的問題，進(jìn)而達(dá)到了對互聯(lián)網(wǎng)數(shù)據(jù)全面監(jiān)控的效果。
【專利說明】用于互聯(lián)網(wǎng)的數(shù)據(jù)監(jiān)控方法和裝置【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及互聯(lián)網(wǎng)領(lǐng)域，具體而言，涉及一種用于互聯(lián)網(wǎng)的數(shù)據(jù)監(jiān)控方法和裝置。【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，海量的用戶，豐富的終端，以及信息的快速傳播，既豐富了互聯(lián)網(wǎng)的內(nèi)容，又反過來對互聯(lián)網(wǎng)服務(wù)質(zhì)量提供了更高的要求。
[0003]為了更好的給用戶提供服務(wù)，需要對互聯(lián)網(wǎng)上的數(shù)據(jù)進(jìn)行監(jiān)控，在現(xiàn)有技術(shù)中提供了一種用于互聯(lián)網(wǎng)的數(shù)據(jù)監(jiān)控方法，如圖1所示，業(yè)務(wù)進(jìn)程在接收到外部的請求之后，將該請求轉(zhuǎn)發(fā)至旁路系統(tǒng)，旁路系統(tǒng)將監(jiān)控?cái)?shù)據(jù)寫入共享內(nèi)存，部署在業(yè)務(wù)機(jī)上的代理進(jìn)程AgentClient定時(shí)將共享內(nèi)存中的數(shù)據(jù)上報(bào)到監(jiān)控服務(wù)端的進(jìn)程AgentSrv,AgentSrv實(shí)時(shí)接收AgentClient上報(bào)的數(shù)據(jù)，并對監(jiān)控?cái)?shù)據(jù)進(jìn)行分析，在發(fā)現(xiàn)異常時(shí)報(bào)警。由于旁路系統(tǒng)的設(shè)計(jì)比較簡單，只能做一些簡單的上報(bào)，例如包量，業(yè)務(wù)來源，終端來源。對于切片時(shí)間內(nèi)的獨(dú)立個(gè)數(shù)，數(shù)據(jù)的訪問區(qū)間分布，都無法實(shí)現(xiàn)上報(bào)。
[0004]對于旁路系統(tǒng)無法上報(bào)的內(nèi)容，采取針對旁路系統(tǒng)記錄Log的方式進(jìn)行線下分析的方式進(jìn)行監(jiān)控，考慮到互聯(lián)網(wǎng)服務(wù)器每天訪問數(shù)據(jù)以T計(jì)，每40W/s的包量，寫Log幾乎成了一個(gè)不可能完成的任務(wù)，且線下分析占用磁盤，CPU資源，因而，通過現(xiàn)有技術(shù)難以實(shí)現(xiàn)對數(shù)據(jù)的全面監(jiān)控。
[0005]針對現(xiàn)有技術(shù)中的數(shù)據(jù)監(jiān)控方法難以實(shí)現(xiàn)對數(shù)據(jù)全面監(jiān)控的問題，目前尚未提出有效的解決方案。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的主要目的在于提供一種用于互聯(lián)網(wǎng)的數(shù)據(jù)監(jiān)控方法和裝置，以解決現(xiàn)有技術(shù)中的數(shù)據(jù)監(jiān)控方法難以實(shí)現(xiàn)對數(shù)據(jù)全面監(jiān)控的問題。
`[0007]為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種用于互聯(lián)網(wǎng)的數(shù)據(jù)監(jiān)控方法。該互聯(lián)網(wǎng)的數(shù)據(jù)監(jiān)控方法包括:獲取請求數(shù)據(jù)；將請求數(shù)據(jù)寫入數(shù)據(jù)表中；按照預(yù)設(shè)的規(guī)則對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，并將統(tǒng)計(jì)后的數(shù)據(jù)寫入結(jié)果表中；將結(jié)果表中的數(shù)據(jù)寫入到共享內(nèi)存中；以及上報(bào)共享內(nèi)存中的數(shù)據(jù)。
[0008]進(jìn)一步地，按照預(yù)設(shè)的規(guī)則對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)包括采用以下任意一種或者多種方式進(jìn)行統(tǒng)計(jì):根據(jù)訪問的來源對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行區(qū)分統(tǒng)計(jì)；根據(jù)每條消息的訪問次數(shù)對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行分區(qū)統(tǒng)計(jì)；以及根據(jù)訪問次數(shù)統(tǒng)計(jì)獨(dú)立消息的分布。
[0009]進(jìn)一步地，將結(jié)果表中的數(shù)據(jù)寫入到共享內(nèi)存中包括:獲取預(yù)設(shè)時(shí)間間隔；以及每間隔預(yù)設(shè)時(shí)間間隔執(zhí)行一次寫入。
[0010]進(jìn)一步地，將結(jié)果表中的數(shù)據(jù)寫入到共享內(nèi)存中包括:將結(jié)果表中的數(shù)據(jù)寫入第一共享內(nèi)存，其中，第一共享內(nèi)存為和部署在業(yè)務(wù)機(jī)上的代理進(jìn)程通信的共享內(nèi)存，上報(bào)共享內(nèi)存中的數(shù)據(jù)包括:通過代理進(jìn)程將第一共享內(nèi)存中的數(shù)據(jù)上報(bào)至監(jiān)控服務(wù)端的監(jiān)控進(jìn)程。[0011]進(jìn)一步地，獲取請求數(shù)據(jù)包括:接收數(shù)據(jù)請求包；以及對數(shù)據(jù)請求包進(jìn)行分析，得到請求數(shù)據(jù)。
[0012]進(jìn)一步地，按照預(yù)設(shè)的規(guī)則對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)包括:按照第一預(yù)設(shè)規(guī)則對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)；接收第二預(yù)設(shè)規(guī)則，并將第一預(yù)設(shè)規(guī)則更新為第二預(yù)設(shè)規(guī)則；以及按照第二預(yù)設(shè)規(guī)則對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)；
[0013]為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的另一方面，提供了一種用于互聯(lián)網(wǎng)的數(shù)據(jù)監(jiān)控裝置。該互聯(lián)網(wǎng)的數(shù)據(jù)監(jiān)控裝置包括:獲取單元，用于獲取請求數(shù)據(jù)；第一寫入單元，用于將請求數(shù)據(jù)寫入數(shù)據(jù)表中；統(tǒng)計(jì)單元，用于按照預(yù)設(shè)的規(guī)則對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，并將統(tǒng)計(jì)后的數(shù)據(jù)寫入結(jié)果表中；第二寫入單元，用于將結(jié)果表中的數(shù)據(jù)寫入到共享內(nèi)存中；以及上報(bào)單元，用于上報(bào)共享內(nèi)存中的數(shù)據(jù)。
[0014]進(jìn)一步地，統(tǒng)計(jì)單元包括以下任意一種或者多個(gè)統(tǒng)計(jì)單元:第一統(tǒng)計(jì)單元，用于根據(jù)訪問的來源對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行區(qū)分統(tǒng)計(jì)；第二統(tǒng)計(jì)單元，用于根據(jù)每條消息的訪問次數(shù)對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行分區(qū)統(tǒng)計(jì)；以及第三統(tǒng)計(jì)單元，用于根據(jù)訪問次數(shù)統(tǒng)計(jì)獨(dú)立消息的分布。
[0015]進(jìn)一步地，將結(jié)果表中的數(shù)據(jù)寫入到共享內(nèi)存中包括:獲取模塊，用于通過獲取預(yù)設(shè)時(shí)間間隔；以及寫入模塊，用于通過每間隔預(yù)設(shè)時(shí)間間隔執(zhí)行一次寫入。
[0016]進(jìn)一步地，第二寫入單元用于將結(jié)果表中的數(shù)據(jù)寫入第一共享內(nèi)存，其中，第一共享內(nèi)存為和部署在業(yè)務(wù)機(jī)上的代理進(jìn)程通信的共享內(nèi)存，上報(bào)單元用于通過代理進(jìn)程將第一共享內(nèi)存中的數(shù)據(jù)上報(bào)至監(jiān)控服務(wù)端的監(jiān)控進(jìn)程。
[0017]進(jìn)一步地，獲取單元包括:接收單元，用于接收數(shù)據(jù)請求包；以及分析單元，用于對數(shù)據(jù)請求包進(jìn)行分析，得到請求數(shù)據(jù)。
[0018]進(jìn)一步地，統(tǒng)計(jì)單元包括:第四統(tǒng)計(jì)單元，用于按照第一預(yù)設(shè)規(guī)則對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)；更新單元，用于接收第二預(yù)設(shè)規(guī)則，并將第一預(yù)設(shè)規(guī)則更新為第二預(yù)設(shè)規(guī)則；以及第五統(tǒng)計(jì)單元，用于按照第二預(yù)設(shè)規(guī)則對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)。
[0019]通過本發(fā)明，由于采用了數(shù)據(jù)表和結(jié)果表分別進(jìn)行數(shù)據(jù)寫入，數(shù)據(jù)表用于寫入原始數(shù)據(jù)，結(jié)果表用于寫入統(tǒng)計(jì)數(shù)據(jù)，借助共享內(nèi)存對結(jié)果表中的數(shù)據(jù)進(jìn)行上報(bào)，解決了現(xiàn)有技術(shù)中的數(shù)據(jù)監(jiān)控方法難以實(shí)現(xiàn)對數(shù)據(jù)全面監(jiān)控的問題，進(jìn)而達(dá)到了對互聯(lián)網(wǎng)數(shù)據(jù)全面監(jiān)控的效果。
【專利附圖】

【附圖說明】
[0020]構(gòu)成本申請的一部分的附圖用來提供對本發(fā)明的進(jìn)一步理解，本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中:
[0021]圖1是根據(jù)現(xiàn)有技術(shù)的數(shù)據(jù)監(jiān)控方法的示意圖；
[0022]圖2是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控方法的示意圖；
[0023]圖3是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控方法的流程圖；
[0024]圖4是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控方法中數(shù)據(jù)表的示意圖；
[0025]圖5是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控方法中結(jié)果表的示意圖；
[0026]圖6是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控方法的一種優(yōu)選實(shí)施例的流程圖；
[0027]圖7是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控裝置的示意圖；[0028]圖8是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控裝置的第一優(yōu)選實(shí)施例的示意圖；
[0029]圖9是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控裝置的第二優(yōu)選實(shí)施例的示意圖；以及
[0030]圖10是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控裝置的第三優(yōu)選實(shí)施例的示意圖。
【具體實(shí)施方式】
[0031]需要說明的是，在不沖突的情況下，本申請中的實(shí)施例及實(shí)施例中的特征可以相互組合。下面將參考附圖并結(jié)合實(shí)施例來詳細(xì)說明本發(fā)明。
[0032]圖2是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控方法的示意圖。以下結(jié)合該圖對本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控方法進(jìn)行描述。
[0033]如圖2所示，在本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控方法中，首先，業(yè)務(wù)進(jìn)程接收外部用戶的請求，并把該請求包轉(zhuǎn)發(fā)至旁路系統(tǒng)，該處的旁路系統(tǒng)為設(shè)置在服務(wù)器上的一個(gè)程序模塊，用于對提供線上服務(wù)的業(yè)務(wù)進(jìn)程進(jìn)行監(jiān)控，其本身可以不提供任何的線上服務(wù)，以下以旁路系統(tǒng)為例對本發(fā)明的數(shù)據(jù)監(jiān)控方法進(jìn)行闡述，業(yè)務(wù)進(jìn)程為用戶提供在線服務(wù)的進(jìn)程，對用戶的請求做出響應(yīng)。其次，旁路系統(tǒng)將業(yè)務(wù)進(jìn)程轉(zhuǎn)發(fā)過來的請求包進(jìn)行分析，并將分析后得到的請求數(shù)據(jù)寫入數(shù)據(jù)表中，并實(shí)時(shí)計(jì)算出結(jié)果表中的數(shù)據(jù)。然后，旁路系統(tǒng)根據(jù)業(yè)務(wù)需要，定時(shí)將結(jié)果表中的數(shù)據(jù)，寫入和AgentClient通信的共享內(nèi)存中。最后,AgentClient定時(shí)把共享內(nèi)存中的數(shù)據(jù)上報(bào)的AgentSrv。其中，AgentClient為部署在業(yè)務(wù)機(jī)上的代理進(jìn)程，用于和共享內(nèi)存進(jìn)行通信，AgentSrv為部署在監(jiān)控服務(wù)端的進(jìn)程，用于對互聯(lián)網(wǎng)上的數(shù)據(jù)執(zhí)行監(jiān)控。
[0034]圖3是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控方法的流程圖。該方法可以但不限于在圖2所示的示意圖來執(zhí)行，如圖3所示，該數(shù)據(jù)監(jiān)控方法包括以下步驟:
[0035]步驟S102，旁路系統(tǒng)獲取請求數(shù)據(jù)。
[0036]業(yè)務(wù)進(jìn)程首先接收外部用戶的請求，并把該請求包轉(zhuǎn)發(fā)至旁路系統(tǒng)。旁路系統(tǒng)將業(yè)務(wù)進(jìn)程轉(zhuǎn)發(fā)過來的請求包進(jìn)行分析，通過分析獲取到請求數(shù)據(jù)。
[0037]對于外部請求而言，其可以是拉取微博首頁數(shù)據(jù)的請求。
[0038]步驟S104，旁路系統(tǒng)將請求數(shù)據(jù)寫入數(shù)據(jù)表中。
[0039]數(shù)據(jù)表可以采用圖4所示的數(shù)據(jù)表，在該數(shù)據(jù)表中，將業(yè)務(wù)id+數(shù)據(jù)id作為key，且主要是根據(jù)業(yè)務(wù)id+數(shù)據(jù)id計(jì)算出請求包的hash節(jié)點(diǎn)的位置信息，訪問次數(shù)是一個(gè)時(shí)間片內(nèi)的訪問次數(shù)，該值主要用于區(qū)間跳變時(shí)，假如有100是個(gè)跳變區(qū)間臨界點(diǎn)，結(jié)果表中前一個(gè)區(qū)間就要減去100,后一個(gè)區(qū)間就要+100。訪問時(shí)間結(jié)合最后一次上報(bào)時(shí)間用來判斷該節(jié)點(diǎn)是否是無效節(jié)點(diǎn)(上一個(gè)時(shí)間片內(nèi)的訪問數(shù)據(jù))。
[0040]步驟S106，旁路系統(tǒng)按照預(yù)設(shè)的規(guī)則對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，并將統(tǒng)計(jì)后的數(shù)據(jù)寫入結(jié)果表中。
[0041]優(yōu)選地，旁路系統(tǒng)按照預(yù)設(shè)的規(guī)則對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)包括采用以下任意一種或者多種方式進(jìn)行統(tǒng)計(jì)。
[0042]方式一:
[0043]根據(jù)訪問的來源對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行區(qū)分統(tǒng)計(jì)。
[0044]例如，將不同訪問來源的數(shù)據(jù)分別進(jìn)行統(tǒng)計(jì)，從而能夠分別得到不同訪問來源的統(tǒng)計(jì)數(shù)據(jù)。[0045]方式二:
[0046]根據(jù)每條消息的訪問次數(shù)對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行分區(qū)統(tǒng)計(jì)。
[0047]例如，對達(dá)到一定訪問次數(shù)的消息的數(shù)據(jù)進(jìn)行分別統(tǒng)計(jì)，通過不同的訪問次數(shù)得到不同的區(qū)間，針對不同的區(qū)間對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)。通過該種方式，還可以實(shí)現(xiàn)根據(jù)訪問次數(shù)，將數(shù)據(jù)劃分成區(qū)間段進(jìn)行統(tǒng)計(jì)。
[0048]方式三:
[0049]根據(jù)訪問次數(shù)統(tǒng)計(jì)獨(dú)立消息的分布。
[0050]數(shù)據(jù)表和結(jié)果表均可以設(shè)置在共享內(nèi)存中，作為共享內(nèi)存的數(shù)據(jù)結(jié)構(gòu)。
[0051]優(yōu)選地，為了使得數(shù)據(jù)的監(jiān)控可以根據(jù)業(yè)務(wù)監(jiān)控的需要進(jìn)行靈活的調(diào)整，在該步驟中，旁路系統(tǒng)可以按照以下方法對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，進(jìn)一步地，可以得出熱點(diǎn)消息的分布情況和消息風(fēng)聞壓力分布情況:
[0052]首先，旁路系統(tǒng)按照第一預(yù)設(shè)規(guī)則對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)。
[0053]然后，旁路系統(tǒng)接收第二預(yù)設(shè)規(guī)則，并將第一預(yù)設(shè)規(guī)則更新為第二預(yù)設(shè)規(guī)則。
[0054]最后，旁路系統(tǒng)按照第二預(yù)設(shè)規(guī)則對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)。
[0055]這樣，通過旁路系統(tǒng)接收用戶對規(guī)則的設(shè)置，并不斷更新統(tǒng)計(jì)的規(guī)則，利用更新后的規(guī)則進(jìn)行統(tǒng)計(jì)，達(dá)到了 對業(yè)務(wù)監(jiān)控內(nèi)容靈活調(diào)整的目的。
[0056]步驟S108，旁路系統(tǒng)將結(jié)果表中的數(shù)據(jù)寫入到共享內(nèi)存中。
[0057]該部分的共享內(nèi)存可以是旁路進(jìn)程申請的，用于數(shù)據(jù)統(tǒng)計(jì)。
[0058]優(yōu)選地，為了減少寫入的頻率和計(jì)算系統(tǒng)的消耗，旁路系統(tǒng)將結(jié)果表中的數(shù)據(jù)寫入到共享內(nèi)存中可以采用以下方式:
[0059]首先，旁路系統(tǒng)獲取預(yù)設(shè)時(shí)間間隔。
[0060]然后，旁路系統(tǒng)每間隔預(yù)設(shè)時(shí)間間隔執(zhí)行一次寫入。
[0061]該預(yù)設(shè)時(shí)間間隔可以是一個(gè)預(yù)設(shè)的固定時(shí)間間隔，也可以是基于用戶的需求進(jìn)行調(diào)整的時(shí)間間隔，這樣，就可以每間隔一定的時(shí)間間隔執(zhí)行一次寫入。
[0062]為了提高數(shù)據(jù)監(jiān)控中的上報(bào)效率，旁路系統(tǒng)將結(jié)果表中的數(shù)據(jù)寫入到共享內(nèi)存中時(shí)，采用以下方式:
[0063]旁路系統(tǒng)將結(jié)果表中的數(shù)據(jù)寫入第一共享內(nèi)存，其中，第一共享內(nèi)存為和部署在業(yè)務(wù)機(jī)上的代理進(jìn)程通信的共享內(nèi)存。
[0064]即，將結(jié)果表中的數(shù)據(jù)寫入與業(yè)務(wù)機(jī)上的代理進(jìn)程通信的共享內(nèi)存中，提高了寫入的速度。
[0065]結(jié)果表可以采用圖5所示的結(jié)果表，在該結(jié)果表中記錄了以下內(nèi)容:
[0066]A訪問數(shù)據(jù)切片時(shí)間內(nèi)的獨(dú)立個(gè)數(shù)計(jì)數(shù)、訪問次數(shù)在區(qū)間(Tl，T2，T3...)的次數(shù)分布、以及訪問次數(shù)在區(qū)間(Tl，Τ2，Τ3…)的獨(dú)立條數(shù)分布。
[0067]步驟SI 10，上報(bào)共享內(nèi)存中的數(shù)據(jù)。
[0068]對應(yīng)于步驟S108中的旁路系統(tǒng)將結(jié)果表中的數(shù)據(jù)寫入第一共享內(nèi)存，在該步驟中，通過代理進(jìn)程將第一共享內(nèi)存中的數(shù)據(jù)上報(bào)至監(jiān)控服務(wù)端的監(jiān)控進(jìn)程。
[0069]監(jiān)控服務(wù)端的監(jiān)控進(jìn)程AgentSrv對監(jiān)控?cái)?shù)據(jù)進(jìn)行分析，在發(fā)現(xiàn)異常時(shí)報(bào)警。
[0070]在本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控方法中，由于采用了數(shù)據(jù)表和結(jié)果表分別進(jìn)行數(shù)據(jù)寫入，數(shù)據(jù)表用于寫入原始數(shù)據(jù)，結(jié)果表用于寫入統(tǒng)計(jì)數(shù)據(jù)，借助共享內(nèi)存對結(jié)果表中的數(shù)據(jù)進(jìn)行上報(bào)，實(shí)現(xiàn)了全面數(shù)據(jù)監(jiān)控的目的。
[0071]圖6是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控方法的一種優(yōu)選實(shí)施例的流程圖。如圖6所示，該方法包括以下步驟:
[0072]步驟S601，接收外部請求。
[0073]步驟S602，判斷是否滿足:當(dāng)前時(shí)間-上次上報(bào)時(shí)間 >=上報(bào)時(shí)間間隔，在判斷結(jié)果為是時(shí)，執(zhí)行步驟S603，在判斷結(jié)果為否時(shí)，執(zhí)行步驟S604。
[0074]通過該判斷區(qū)分是上個(gè)時(shí)間片內(nèi)業(yè)務(wù)上報(bào)的請求(也即，無效數(shù)據(jù))，還是本次上報(bào)時(shí)間片內(nèi)業(yè)務(wù)上報(bào)的數(shù)據(jù)。
[0075]步驟S603，上報(bào)結(jié)果頭部統(tǒng)計(jì)結(jié)果值，并清空本次統(tǒng)計(jì)結(jié)果值。
[0076]步驟S604，根據(jù)Hash值，找到對應(yīng)的數(shù)據(jù)節(jié)點(diǎn)。
[0077]該數(shù)據(jù)節(jié)點(diǎn)可以是指一個(gè)Hash表中的一個(gè)元素，一個(gè)用戶請求，根據(jù)Hash函數(shù)，能夠計(jì)算出數(shù)據(jù)應(yīng)該存放到那個(gè)數(shù)據(jù)元素內(nèi)。
[0078]步驟S605，判斷數(shù)據(jù)節(jié)點(diǎn)中時(shí)間片內(nèi)第一數(shù)據(jù)訪問的時(shí)間的值是否小于上次上報(bào)的時(shí)間值，在判斷結(jié)果為是時(shí)，執(zhí)行步驟S606，在判斷結(jié)果為否時(shí)，執(zhí)行步驟S607。
[0079]步驟S606，執(zhí)行以下操作:
[0080]I)清空該數(shù)據(jù)節(jié)點(diǎn)，寫入數(shù)據(jù)
[0081]2)結(jié)果頭部的第一個(gè)次數(shù)區(qū)間+1
[0082]3)結(jié)果頭部獨(dú)立Id次數(shù)+1
[0083]步驟S407，執(zhí)行以下操作:
[0084]I)數(shù)據(jù)節(jié)點(diǎn)+1
[0085]2)結(jié)果頭部某個(gè)區(qū)間次數(shù)+1，如果存在跳變，把兩個(gè)區(qū)間計(jì)數(shù)調(diào)整
[0086]3)如果存在跳變，把結(jié)果頭中，區(qū)間計(jì)數(shù)分別加減I調(diào)整兩個(gè)區(qū)間計(jì)數(shù)。
[0087]需要說明的是，在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行，并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。
[0088]本發(fā)明實(shí)施例還提供了一種用于互聯(lián)網(wǎng)的數(shù)據(jù)監(jiān)控裝置，需要說明的是，本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控方法可以通過本發(fā)明實(shí)施例所提供的數(shù)據(jù)監(jiān)控裝置來執(zhí)行，本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控裝置也可以用于執(zhí)行本發(fā)明實(shí)施例所提供的數(shù)據(jù)監(jiān)控方法。
[0089]圖7是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控裝置的示意圖。如圖7所示，該數(shù)據(jù)監(jiān)控裝置包括獲取單元10、第一寫入單元20、統(tǒng)計(jì)單元30、第二寫入單元40、上報(bào)單元50。
[0090]獲取單元10用于通過旁路系統(tǒng)獲取請求數(shù)據(jù)。
[0091]第一寫入單元20用于通過旁路系統(tǒng)將請求數(shù)據(jù)寫入數(shù)據(jù)表中。
[0092]統(tǒng)計(jì)單元30用于通過旁路系統(tǒng)按照預(yù)設(shè)的規(guī)則對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，并將統(tǒng)計(jì)后的數(shù)據(jù)寫入結(jié)果表中。
[0093]第二寫入單元40用于通過旁路系統(tǒng)將結(jié)果表中的數(shù)據(jù)寫入到共享內(nèi)存中。
[0094]上報(bào)單元50用于通過上報(bào)共享內(nèi)存中的數(shù)據(jù)。
[0095]需要說明的是，上述的第一寫入單元20和第二寫入單元40可以是同一個(gè)寫入單元，也可以是兩個(gè)獨(dú)立的寫入單元。
[0096]圖8是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控裝置的第一優(yōu)選實(shí)施例的示意圖。[0097]該實(shí)施例的數(shù)據(jù)監(jiān)控裝置包括獲取單元10、第一寫入單元20、統(tǒng)計(jì)單元30、第二寫入單元40、上報(bào)單元50。并且，統(tǒng)計(jì)單元30包括以下任意一種或者多個(gè)統(tǒng)計(jì)單元:
[0098]第一統(tǒng)計(jì)單元31，用于根據(jù)訪問的來源對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行區(qū)分統(tǒng)計(jì)。
[0099]第二統(tǒng)計(jì)單元32，用于根據(jù)每條消息的訪問次數(shù)對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行分區(qū)統(tǒng)計(jì)。以及
[0100]第三統(tǒng)計(jì)單元33，用于根據(jù)訪問次數(shù)統(tǒng)計(jì)獨(dú)立消息的分布。
[0101]獲取單元10、第一寫入單元20、第二寫入單元40、上報(bào)單元50的作用與圖7所示的實(shí)施例相同，在此不再贅述。
[0102]圖9是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控裝置的第二優(yōu)選實(shí)施例的示意圖。
[0103]該實(shí)施例的數(shù)據(jù)監(jiān)控裝置包括獲取單元10、第一寫入單元20、統(tǒng)計(jì)單元30、第二寫入單元40、上報(bào)單元50。并且,獲取單元10包括:
[0104]接收單元11，用于通過旁路系統(tǒng)接收數(shù)據(jù)請求包。
[0105]分析單元12，用于通過旁路系統(tǒng)對數(shù)據(jù)請求包進(jìn)行分析，得到請求數(shù)據(jù)。
[0106]第一寫入單元20、統(tǒng)計(jì)單元30、第二寫入單元40、上報(bào)單元50的作用與圖7所示的實(shí)施例相同，在此不再贅述。
[0107]圖10是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控裝置的第三優(yōu)選實(shí)施例的示意圖。
[0108]該實(shí)施例的數(shù)據(jù)監(jiān)控裝置包括獲取單元10、第一寫入單元20、統(tǒng)計(jì)單元30、第二寫入單元40、上報(bào)單元50。并且,統(tǒng)計(jì)單元30包括:
[0109]第四統(tǒng)計(jì)單元34，用于通過旁路系統(tǒng)按照第一預(yù)設(shè)規(guī)則對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)。
[0110]更新單元35，用于通過旁路系統(tǒng)接收第二預(yù)設(shè)規(guī)則，并將第一預(yù)設(shè)規(guī)則更新為第二預(yù)設(shè)規(guī)則。
[0111]第五統(tǒng)計(jì)單元36，用于通過旁路系統(tǒng)按照第二預(yù)設(shè)規(guī)則對數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)。
[0112]需要說明的是，上述的第四統(tǒng)計(jì)單元34和第五統(tǒng)計(jì)單元36可以是同一個(gè)統(tǒng)計(jì)單元，也可以是兩個(gè)獨(dú)立的統(tǒng)計(jì)單元。
[0113]在本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控裝置中，第二寫入單元40可以包括獲取模塊和寫入模塊(圖中未示出)。
[0114]獲取模塊，用于通過所述旁路系統(tǒng)獲取預(yù)設(shè)時(shí)間間隔；以及
[0115]寫入模塊，用于通過所述旁路系統(tǒng)每間隔所述預(yù)設(shè)時(shí)間間隔執(zhí)行一次寫入。
[0116]優(yōu)選地，第二寫入單元用于通過旁路系統(tǒng)將結(jié)果表中的數(shù)據(jù)寫入第一共享內(nèi)存，其中，第一共享內(nèi)存為和部署在業(yè)務(wù)機(jī)上的代理進(jìn)程通信的共享內(nèi)存，上報(bào)單元用于通過代理進(jìn)程將第一共享內(nèi)存中的數(shù)據(jù)上報(bào)至監(jiān)控服務(wù)端的監(jiān)控進(jìn)程。
[0117]需要說明的是，上述各個(gè)實(shí)施例中的不同技術(shù)特征可以相互結(jié)合。
[0118]本發(fā)明實(shí)施例的數(shù)據(jù)監(jiān)控方法或者數(shù)據(jù)監(jiān)控裝置可以借助64位機(jī)器的共享內(nèi)存來實(shí)現(xiàn)，將共享內(nèi)存分為結(jié)果上報(bào)部分和原始請求數(shù)據(jù)部分，實(shí)時(shí)統(tǒng)計(jì)計(jì)算，規(guī)避了 Log，線下計(jì)算的資源消耗。采用64位機(jī)器的好處在于，一個(gè)進(jìn)程可以占用更大的內(nèi)存地址空間。因?yàn)閷τ?2位機(jī)器，進(jìn)程地址空間最大只有4G。
[0119]通過本發(fā)明實(shí)施例，引入了全內(nèi)存實(shí)時(shí)監(jiān)控計(jì)算，摒棄了傳統(tǒng)的Log方式。還可以根據(jù)業(yè)務(wù)監(jiān)控需要，靈活的調(diào)整監(jiān)控需求，例如可以根據(jù)訪問的來源區(qū)分統(tǒng)計(jì)，可以根據(jù)每條消息的訪問次數(shù)分區(qū)統(tǒng)計(jì)(壓力分布)，可以根據(jù)訪問次數(shù)統(tǒng)計(jì)獨(dú)立消息的分布(獨(dú)立消息分布，可以很清楚地了解熱點(diǎn)消息條數(shù)等)，另外，巧妙的規(guī)避了每次上報(bào)時(shí)，一次性清空數(shù)據(jù)節(jié)點(diǎn)部分的內(nèi)存(寫入時(shí)判斷節(jié)點(diǎn)是否是無效的過期數(shù)據(jù))。
[0120]通過本發(fā)明實(shí)施例，實(shí)現(xiàn)對業(yè)務(wù)數(shù)據(jù)的實(shí)時(shí)全面監(jiān)控。
[0121]為了描述的方便，描述以上裝置時(shí)以功能分為各種單元分別描述。當(dāng)然，在實(shí)施本申請時(shí)可以把各單元的功能在同一個(gè)或多個(gè)軟件和/或硬件中實(shí)現(xiàn)。
[0122]通過以上的實(shí)施方式的描述可知，本領(lǐng)域的技術(shù)人員可以清楚地了解到本申請可借助軟件加必需的通用硬件平臺(tái)的方式來實(shí)現(xiàn)?；谶@樣的理解，本申請的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品可以存儲(chǔ)在存儲(chǔ)介質(zhì)中，如R0M/RAM、磁碟、光盤等，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本申請各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。
[0123]本說明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，各個(gè)實(shí)施例之間相同相似的部分互相參見即可，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處。尤其，對于系統(tǒng)實(shí)施例而言，由于其基本相似于方法實(shí)施例，所以描述的比較簡單，相關(guān)之處參見方法實(shí)施例的部分說明即可。
[0124]本申請可用于眾多通用或?qū)Ｓ玫挠?jì)算系統(tǒng)環(huán)境或配置中。例如:個(gè)人計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、手持設(shè)備或便攜式設(shè)備、平板型設(shè)備、多處理器系統(tǒng)、基于微處理器的系統(tǒng)、置頂盒、可編程的消費(fèi)電子設(shè)備、網(wǎng)絡(luò)PC、小型計(jì)算機(jī)、大型計(jì)算機(jī)、包括以上任何系統(tǒng)或設(shè)備的分布式計(jì)算環(huán)境等等。
[0125]顯然，本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述的本發(fā)明的各模塊或各步驟可以用通用的計(jì)算裝置來實(shí)現(xiàn)，它們可以集中在單個(gè)的計(jì)算裝置上，或者分布在多個(gè)計(jì)算裝置所組成的網(wǎng)絡(luò)上，可選地，它們可以用計(jì)算裝置可執(zhí)行的程序代碼來實(shí)現(xiàn)，從而，可以將它們存儲(chǔ)在存儲(chǔ)裝置中由計(jì)算裝置來執(zhí)行，或者將它們分別制作成各個(gè)集成電路模塊，或者將它們中的多個(gè)模塊或步驟制作成單個(gè)集成電路模塊來實(shí)現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。
[0126]以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種用于互聯(lián)網(wǎng)的數(shù)據(jù)監(jiān)控方法，其特征在于，包括: 獲取請求數(shù)據(jù)； 將所述請求數(shù)據(jù)寫入數(shù)據(jù)表中； 按照預(yù)設(shè)的規(guī)則對所述數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，并將統(tǒng)計(jì)后的數(shù)據(jù)寫入結(jié)表中； 將所述結(jié)果表中的數(shù)據(jù)寫入到共享內(nèi)存中；以及 上報(bào)所述共享內(nèi)存中的數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)監(jiān)控方法，其特征在于，按照預(yù)設(shè)的規(guī)則對所述數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)包括采用以下任意一種或者多種方式進(jìn)行統(tǒng)計(jì): 根據(jù)訪問的來源對所述數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行區(qū)分統(tǒng)計(jì)； 根據(jù)每條消息的訪問次數(shù)對所述數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行分區(qū)統(tǒng)計(jì)；以及 根據(jù)訪問次數(shù)統(tǒng)計(jì)獨(dú)立消息的分布。
3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)監(jiān)控方法，其特征在于，將所述結(jié)果表中的數(shù)據(jù)寫入到共享內(nèi)存中包括: 獲取預(yù)設(shè)時(shí)間間隔；以及 每間隔所述預(yù)設(shè)時(shí)間間隔執(zhí)行一次寫入。
4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)監(jiān)控方法，其特征在于， 將所述結(jié)果表中的數(shù)據(jù)寫入到共享內(nèi)存中包括:將所述結(jié)果表中的數(shù)據(jù)寫入第一共享內(nèi)存，其中，所述第一共享內(nèi)存為和部署在業(yè)務(wù)機(jī)上的代理進(jìn)程通信的共享內(nèi)存， 上報(bào)所述共享內(nèi)存中的數(shù)據(jù)包括:通過所述代理進(jìn)程將所述第一共享內(nèi)存中的數(shù)據(jù)上報(bào)至監(jiān)控服務(wù)端的監(jiān)控進(jìn)程。
5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)監(jiān)控方法，其特征在于，獲取所述請求數(shù)據(jù)包括: 接收數(shù)據(jù)請求包；以及 對所述數(shù)據(jù)請求包進(jìn)行分析，得到所述請求數(shù)據(jù)。
6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)監(jiān)控方法，其特征在于， 按照預(yù)設(shè)的規(guī)則對所述數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)包括: 按照第一預(yù)設(shè)規(guī)則對所述數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)； 接收第二預(yù)設(shè)規(guī)則，并將所述第一預(yù)設(shè)規(guī)則更新為所述第二預(yù)設(shè)規(guī)則；以及 按照所述第二預(yù)設(shè)規(guī)則對所述數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)；
7.一種用于互聯(lián)網(wǎng)的數(shù)據(jù)監(jiān)控裝置，其特征在于，包括: 獲取單元，用于獲取請求數(shù)據(jù)； 第一寫入單元，用于將所述請求數(shù)據(jù)寫入數(shù)據(jù)表中； 統(tǒng)計(jì)單元，用于按照預(yù)設(shè)的規(guī)則對所述數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，并將統(tǒng)計(jì)后的數(shù)據(jù)寫入結(jié)果表中； 第二寫入單元，用于將所述結(jié)果表中的數(shù)據(jù)寫入到共享內(nèi)存中；以及 上報(bào)單元，用于上報(bào)所述共享內(nèi)存中的數(shù)據(jù)。
8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)監(jiān)控裝置，其特征在于，所述統(tǒng)計(jì)單元包括以下任意一種或者多個(gè)統(tǒng)計(jì)單元: 第一統(tǒng)計(jì)單元，用于根據(jù)訪問的來源對所述數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行區(qū)分統(tǒng)計(jì)； 第二統(tǒng)計(jì)單元，用于根據(jù)每條消息的訪問次數(shù)對所述數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行分區(qū)統(tǒng)計(jì)；以及 第三統(tǒng)計(jì)單元，用于根據(jù)訪問次數(shù)統(tǒng)計(jì)獨(dú)立消息的分布。
9.根據(jù)權(quán)利要求7所述的數(shù)據(jù)監(jiān)控裝置，其特征在于，將所述結(jié)果表中的數(shù)據(jù)寫入到共享內(nèi)存中包括: 獲取模塊，用于通過獲取預(yù)設(shè)時(shí)間間隔；以及 寫入模塊，用于通過每間隔所述預(yù)設(shè)時(shí)間間隔執(zhí)行一次寫入。
10.根據(jù)權(quán)利要求7所述的數(shù)據(jù)監(jiān)控裝置，其特征在于， 所述第二寫入單元用于將所述結(jié)果表中的數(shù)據(jù)寫入第一共享內(nèi)存，其中，所述第一共享內(nèi)存為和部署在業(yè)務(wù)機(jī)上的代理進(jìn)程通信的共享內(nèi)存， 所述上報(bào)單元用于通過所述代理進(jìn)程將所述第一共享內(nèi)存中的數(shù)據(jù)上報(bào)至監(jiān)控服務(wù)端的監(jiān)控進(jìn)程。
11.根據(jù)權(quán)利要求7所述的數(shù)據(jù)監(jiān)控裝置，其特征在于，所述獲取單元包括: 接收單元，用于接收數(shù)據(jù)請求包；以及 分析單元，用于對所述數(shù)據(jù)請求包進(jìn)行分析，得到所述請求數(shù)據(jù)。
12.根據(jù)權(quán)利要求7所述的數(shù)據(jù)監(jiān)控裝置，其特征在于，所述統(tǒng)計(jì)單元包括: 第四統(tǒng)計(jì)單元，用于按照第一預(yù)設(shè)規(guī)則對所述數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)；` 更新單元，用于接收第二預(yù)設(shè)規(guī)則，并將所述第一預(yù)設(shè)規(guī)則更新為所述第二預(yù)設(shè)規(guī)則；以及 第五統(tǒng)計(jì)單元，用于按照所述第二預(yù)設(shè)規(guī)則對所述數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)。
【文檔編號(hào)】G06F11/30GK103778041SQ201210398199
【公開日】2014年5月7日 申請日期:2012年10月18日 優(yōu)先權(quán)日:2012年10月18日
【發(fā)明者】邢玉東 申請人:騰訊科技（北京）有限公司