本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，是基于流式計(jì)算創(chuàng)建的一套快速提取號(hào)碼熱度的處理流程，特別是一種基于流計(jì)算實(shí)現(xiàn)快速提取號(hào)碼熱度的方法。

背景技術(shù)：

隨著號(hào)碼百事通業(yè)務(wù)的逐漸壯大，用戶的行為日志和信令數(shù)據(jù)的處理也隨著變得棘手，如何快速的提取里面的號(hào)碼熱度成為一個(gè)技術(shù)難點(diǎn)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種基于流計(jì)算實(shí)現(xiàn)快速提取號(hào)碼熱度的方法，基于構(gòu)建一套標(biāo)準(zhǔn)的流式處理模型，通過流式計(jì)算實(shí)時(shí)提取、更新號(hào)碼的熱度，實(shí)現(xiàn)海量號(hào)碼的數(shù)據(jù)挖掘。

為實(shí)現(xiàn)上述目的，本發(fā)明的具體技術(shù)方案是：

一種基于流計(jì)算實(shí)現(xiàn)快速提取號(hào)碼熱度的方法，其特征在于：它包括如下步驟：

步驟一：基于分布式日志收集系統(tǒng)Flume，用于將海量日志或數(shù)據(jù)實(shí)時(shí)的收集，達(dá)到實(shí)時(shí)高效可靠得處理各種數(shù)據(jù)源；

步驟二：基于分布式消息隊(duì)列Kafka集群用于將數(shù)據(jù)源的數(shù)據(jù)通過消息隊(duì)列送達(dá)到實(shí)時(shí)處理平臺(tái)上，能夠?qū)崿F(xiàn)高吞吐和線性擴(kuò)展；

步驟三：基于分布式流式計(jì)算集群用于消費(fèi)消息隊(duì)列的數(shù)據(jù)，在內(nèi)存里進(jìn)行迭代運(yùn)算，實(shí)現(xiàn)秒級(jí)出運(yùn)算結(jié)果；

步驟四：基于key-value庫Redis集群,用于將結(jié)果存于內(nèi)存，實(shí)現(xiàn)毫秒級(jí)數(shù)據(jù)查詢服務(wù)。

所述的基于流計(jì)算實(shí)現(xiàn)快速提取號(hào)碼熱度的方法，其特征在于：用于實(shí)施所述方法的系統(tǒng)包括數(shù)據(jù)收集系統(tǒng)、數(shù)據(jù)傳輸系統(tǒng)、大數(shù)據(jù)平臺(tái)、數(shù)據(jù)展現(xiàn)系統(tǒng)。

本發(fā)明的優(yōu)點(diǎn)在于：

通過建立一套標(biāo)準(zhǔn)流式計(jì)算模型，實(shí)時(shí)處理海量數(shù)據(jù)，實(shí)現(xiàn)快速提取號(hào)碼熱度，給業(yè)務(wù)和市場人員快速直接的反應(yīng)，為決策做更好的支撐；并不斷實(shí)時(shí)更新壯大號(hào)碼庫。

附圖說明

圖1為本發(fā)明系統(tǒng)示意圖。

圖2為提取號(hào)碼熱度的詳細(xì)流程圖。

具體實(shí)施方式

以下結(jié)合附圖來進(jìn)一步介紹本發(fā)明方法。

如圖1所示，它是用來實(shí)施本發(fā)明方法的系統(tǒng)，該系統(tǒng)包括數(shù)據(jù)收集系統(tǒng)、數(shù)據(jù)傳輸系統(tǒng)、大數(shù)據(jù)平臺(tái)、數(shù)據(jù)展現(xiàn)系統(tǒng)。

該系統(tǒng)包括數(shù)據(jù)采集模塊1、數(shù)據(jù)清洗模塊2、熱度標(biāo)簽?zāi)K3、熱度展示模塊4和號(hào)碼熱度庫5。

如圖2所示：本發(fā)明公開了一種基于流計(jì)算實(shí)現(xiàn)快速提取號(hào)碼熱度的方法，它包括如下步驟：

步驟一：基于分布式日志收集系統(tǒng)Flume，用于將海量日志或數(shù)據(jù)實(shí)時(shí)的收集，達(dá)到實(shí)時(shí)高效可靠得處理各種數(shù)據(jù)源；

步驟二：基于分布式消息隊(duì)列Kafka集群用于將數(shù)據(jù)源的數(shù)據(jù)通過消息隊(duì)列送達(dá)到實(shí)時(shí)處理平臺(tái)上，能夠?qū)崿F(xiàn)高吞吐和線性擴(kuò)展；

步驟三：基于分布式流式計(jì)算集群用于消費(fèi)消息隊(duì)列的數(shù)據(jù)，在內(nèi)存里進(jìn)行迭代運(yùn)算，實(shí)現(xiàn)秒級(jí)出運(yùn)算結(jié)果；

步驟四：基于key-value庫Redis集群，用于將結(jié)果存于內(nèi)存，實(shí)現(xiàn)毫秒級(jí)數(shù)據(jù)查詢服務(wù)。