信息推薦的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，特別涉及一種信息推薦的方法和裝置。
【背景技術(shù)】
[0002] 隨著信息技術(shù)的發(fā)展，數(shù)據(jù)對(duì)企業(yè)已經(jīng)越來(lái)越重要，數(shù)據(jù)量也在成倍地增長(zhǎng)，數(shù)據(jù) 的存儲(chǔ)和處理等技術(shù)正在成為熱點(diǎn)。而如何從龐大的數(shù)據(jù)中提取有價(jià)值的內(nèi)容，并以此做 各種推薦目前已成為主流業(yè)務(wù)。
[0003] 目前有一種推薦技術(shù)，是基于協(xié)同過(guò)濾算法對(duì)數(shù)據(jù)進(jìn)行計(jì)算，并將計(jì)算得到的推 薦結(jié)果發(fā)送給用戶進(jìn)行信息推薦。但是，該算法復(fù)雜度高，對(duì)于大規(guī)模的數(shù)據(jù)集而言算法開(kāi) 銷會(huì)變得非常龐大，從而導(dǎo)致數(shù)據(jù)處理速度慢、結(jié)果不準(zhǔn)確，嚴(yán)重時(shí)還會(huì)導(dǎo)致數(shù)據(jù)庫(kù)崩潰。

【發(fā)明內(nèi)容】

[0004] 有鑒于此，本發(fā)明實(shí)施例提供了一種信息推薦的方法和裝置，以提高信息推薦時(shí) 的速度和準(zhǔn)確性。所述技術(shù)方案如下：
[0005] 第一方面，提供了一種信息推薦的方法，所述方法包括：
[0006] 獲取源數(shù)據(jù)；
[0007] 確定所述源數(shù)據(jù)的維度以及每個(gè)維度對(duì)應(yīng)的MapReduce模型；
[0008] 利用確定的各個(gè)MapReduce模型并行對(duì)所述源數(shù)據(jù)進(jìn)行計(jì)算；
[0009] 將計(jì)算得到的推薦信息存儲(chǔ)在Hbase系統(tǒng)中；
[0010]當(dāng)接收到客戶端的推薦請(qǐng)求時(shí)，從所述Hbase系統(tǒng)獲取與所述客戶端的用戶有關(guān) 的推薦信息并發(fā)送給所述客戶端。
[0011] 可選的，所述獲取源數(shù)據(jù)，包括：
[0012] 按照預(yù)設(shè)的周期定時(shí)獲取源數(shù)據(jù)；和/或，
[0013] 當(dāng)源數(shù)據(jù)發(fā)生變化時(shí)，實(shí)時(shí)獲取發(fā)生變化的源數(shù)據(jù)。
[0014] 進(jìn)一步地，所述利用確定的各個(gè)MapReduce模型并行對(duì)所述源數(shù)據(jù)進(jìn)行計(jì)算，包 括：
[0015] 對(duì)于定時(shí)獲取的源數(shù)據(jù)，按照預(yù)設(shè)的靜態(tài)策略定時(shí)利用對(duì)應(yīng)的MapReduce模型并 行進(jìn)行計(jì)算；
[0016] 對(duì)于實(shí)時(shí)獲取的源數(shù)據(jù)，按照預(yù)設(shè)的動(dòng)態(tài)策略實(shí)時(shí)利用對(duì)應(yīng)的MapReduce模型進(jìn) 行計(jì)算。
[0017] 可選的，所述將計(jì)算得到的推薦信息存儲(chǔ)在Hbase系統(tǒng)中，包括：
[0018] 將客戶端的用戶ID和推薦列表存儲(chǔ)在Hbase系統(tǒng)中，所述客戶端的用戶ID作為 主鍵，所述推薦列表包括所述用戶的各個(gè)維度的推薦信息。
[0019] 進(jìn)一步地，所述推薦列表中各個(gè)維度的推薦信息由指定符號(hào)進(jìn)行拼接，每個(gè)維度 的推薦信息包括：推薦ID、推薦原因和權(quán)重。
[0020] 第二方面，提供了一種信息推薦的裝置，所述裝置包括：
[0021] 獲取模塊，用于獲取源數(shù)據(jù)；
[0022] 確定模塊，用于確定所述源數(shù)據(jù)的維度以及每個(gè)維度對(duì)應(yīng)的MapReduce模型；
[0023] 計(jì)算模塊，用于利用確定的各個(gè)MapReduce模型并行對(duì)所述源數(shù)據(jù)進(jìn)行計(jì)算；
[0024] 存儲(chǔ)模塊，用于將計(jì)算得到的推薦信息存儲(chǔ)在Hbase系統(tǒng)中；
[0025] 推薦模塊，用于當(dāng)接收到客戶端的推薦請(qǐng)求時(shí)，從所述Hbase系統(tǒng)獲取與所述客 戶端的用戶有關(guān)的推薦信息并發(fā)送給所述客戶端。
[0026] 可選的，所述獲取模塊包括：
[0027] 定時(shí)獲取單元，用于按照預(yù)設(shè)的周期定時(shí)獲取源數(shù)據(jù)；和/或，
[0028] 實(shí)時(shí)獲取單元，用于當(dāng)源數(shù)據(jù)發(fā)生變化時(shí)，實(shí)時(shí)獲取發(fā)生變化的源數(shù)據(jù)。
[0029] 進(jìn)一步地，所述計(jì)算模塊包括：
[0030] 計(jì)算單元，用于對(duì)于定時(shí)獲取的源數(shù)據(jù)，按照預(yù)設(shè)的靜態(tài)策略定時(shí)利用對(duì)應(yīng)的 MapReduce模型并行進(jìn)行計(jì)算；對(duì)于實(shí)時(shí)獲取的源數(shù)據(jù)，按照預(yù)設(shè)的動(dòng)態(tài)策略實(shí)時(shí)利用對(duì) 應(yīng)的MapReduce模型進(jìn)行計(jì)算。
[0031] 可選的，所述存儲(chǔ)模塊包括：
[0032] 存儲(chǔ)單元，用于將客戶端的用戶ID和推薦列表存儲(chǔ)在Hbase系統(tǒng)中，所述客戶端 的用戶ID作為主鍵，所述推薦列表包括所述用戶的各個(gè)維度的推薦信息。
[0033] 進(jìn)一步地，所述推薦列表中各個(gè)維度的推薦信息由指定符號(hào)進(jìn)行拼接，每個(gè)維度 的推薦信息包括：推薦ID、推薦原因和權(quán)重。
[0034]本發(fā)明實(shí)施例提供的技術(shù)方案帶來(lái)的有益效果是：獲取源數(shù)據(jù)；確定所述源數(shù)據(jù) 的維度以及每個(gè)維度對(duì)應(yīng)的MapReduce模型；利用確定的各個(gè)MapReduce模型并行對(duì)所 述源數(shù)據(jù)進(jìn)行計(jì)算；將計(jì)算得到的推薦信息存儲(chǔ)在Hbase系統(tǒng)中；當(dāng)接收到客戶端的推 薦請(qǐng)求時(shí)，從所述Hbase系統(tǒng)獲取與所述客戶端有關(guān)的推薦信息并發(fā)送給所述客戶端，實(shí) 現(xiàn)了信息推薦，由于采用了適合于大規(guī)模數(shù)據(jù)集運(yùn)算的MapReduce模型，而且使用不同的 MapReduce模型對(duì)不同維度的源數(shù)據(jù)進(jìn)行并行處理，極大地提高了數(shù)據(jù)處理的速度，降低了 計(jì)算的復(fù)雜度，節(jié)省了運(yùn)算開(kāi)銷，提高了信息推薦的效率和準(zhǔn)確性。另外，采用Hbase系統(tǒng) 存儲(chǔ)推薦信息，具有高可靠性、高性能、可伸縮等優(yōu)勢(shì)，提高了數(shù)據(jù)存儲(chǔ)的安全性。
【附圖說(shuō)明】
[0035] 為了更清楚地說(shuō)明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使 用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于 本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他 的附圖。
[0036] 圖1是本發(fā)明一實(shí)施例提供的信息推薦的方法流程圖；
[0037] 圖2是本發(fā)明另一實(shí)施例提供的二度好友推薦示意圖；
[0038] 圖3是本發(fā)明另一實(shí)施例提供的信息推薦的方法流程圖；
[0039] 圖4是本發(fā)明另一實(shí)施例提供的信息推薦的交互示意圖；
[0040] 圖5是本發(fā)明另一實(shí)施例提供的信息推薦的裝置結(jié)構(gòu)圖；
[0041] 圖6是本發(fā)明另一實(shí)施例提供的信息推薦的裝置結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0042] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明實(shí)施方 式作進(jìn)一步地詳細(xì)描述。
[0043] 本發(fā)明實(shí)施例涉及Hadoop平臺(tái)，一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)。Hadoop平臺(tái)的兩個(gè)特 性是，利用HDFS(HadoopDistributedFileSystem,Hadoop分布式文件系統(tǒng)）存儲(chǔ)數(shù)據(jù)， 并基于MapReduce模型來(lái)進(jìn)行大數(shù)據(jù)的運(yùn)算。MapReduce模型是一種編程模型，通過(guò)指定一 個(gè)Map函數(shù)把一組鍵值對(duì)映射成一組新的鍵值對(duì)，并通過(guò)指定并發(fā)的Reduce函數(shù)來(lái)保證所 有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組。
[0044] 參見(jiàn)圖1，本發(fā)明一實(shí)施例提供了一種信息推薦的方法，包括：
[0045] 101:獲取源數(shù)據(jù)。
[0046] 其中，源數(shù)據(jù)可以存儲(chǔ)在一臺(tái)或者多臺(tái)服務(wù)器上。
[0047] 102:確定該源數(shù)據(jù)的維度以及每個(gè)維度對(duì)應(yīng)的MapReduce模型。
[0048] 源數(shù)據(jù)的維度是由用戶關(guān)系鏈決定的。通常，一個(gè)用戶關(guān)系鏈就是一個(gè)維度，包括 但不限于以下任意一種：共同好友、Boss話單、共同IP、共同群組、通訊錄、陌生人通訊、共 同分組等等。
[0049] 103 :利用確定的各個(gè)MapReduce模型并行對(duì)該源數(shù)據(jù)進(jìn)行計(jì)算。
[0050] 其中，每一個(gè)維度都采用對(duì)應(yīng)的MapReduce模型對(duì)該維度的源數(shù)據(jù)進(jìn)行計(jì)算，多 個(gè)維度的源數(shù)據(jù)分別采用各自的MapReduce模型并行進(jìn)行計(jì)算，從而極大地提高了數(shù)據(jù)的 處理能力，提高了計(jì)算速度和效率。
[0051] 而且，在源數(shù)據(jù)增加新的維度時(shí)，可以設(shè)計(jì)新的MapReduce模型并行處理，對(duì)已有 的MapReduce模型運(yùn)算不造成影響，互不干擾，具有良好的擴(kuò)展性。
[0052] 本實(shí)施例中，不同維度的源數(shù)據(jù)對(duì)應(yīng)不同的MapReduce模型，具體地，可以根據(jù)維 度的特性來(lái)設(shè)計(jì)MapReduce模型，本實(shí)施例對(duì)此不做具體限定。
[0053] 例如，源數(shù)據(jù)為"PC和手機(jī)通訊數(shù)次+全量好友關(guān)系對(duì)"，PC和手機(jī)通訊數(shù)次的格 式為：用戶UID1，用戶UIDn，用戶UID1在PC上與用戶UIDn進(jìn)行通訊的次數(shù)，用戶UID1在 手機(jī)上與用戶UIDn進(jìn)行通訊的次數(shù)。其中，用戶UID1與用戶UIDn都是即時(shí)通訊的用戶， 用戶UIDn代表若干個(gè)可以和用戶UID1進(jìn)行即時(shí)通訊的用戶，η為正整數(shù)，用戶UID1可以與 用戶UIDn中的任一個(gè)互相進(jìn)行即時(shí)通訊。該全量好友關(guān)系對(duì)是指即時(shí)通訊應(yīng)用中所有的 好友關(guān)系對(duì)，格式為UIDi，UIDj。目的是為進(jìn)行即時(shí)通訊的用戶推薦彼此不是好友的用戶。 推薦信息為密友，是指通訊天數(shù)達(dá)到指定的X天以上才互相推薦，上述通訊次數(shù)也可以是 通訊天數(shù)。首先，確定該源數(shù)據(jù)的維度為通訊維度，設(shè)計(jì)與該維度對(duì)應(yīng)的MapReduce模型按 如下步驟進(jìn)行推薦計(jì)算：首先，對(duì)PC和手機(jī)的通訊次數(shù)進(jìn)行除重處理，所述除重處理是指 每一個(gè)用戶UIDn記錄一個(gè)通訊總次數(shù)，具體為PC通訊次數(shù)和手機(jī)通訊次數(shù)的累加。然后， 根據(jù)全量好友關(guān)系對(duì)，將用戶UID1與用戶UIDn中的好友對(duì)刪除，得到非好友關(guān)系的用戶對(duì) 集合。最后，在該集合內(nèi)提取通訊用戶UIDn列表且按照通訊總次數(shù)由高到低排序，得到推 薦列表。當(dāng)用戶UID1的客戶端發(fā)來(lái)推薦請(qǐng)求時(shí)，可以將該推薦列表直接推薦給客戶端，或 者也可以將該推薦列表中通訊天數(shù)超過(guò)指定天數(shù)的用戶UIDn作為密友推薦給客戶端。
[0054] 例如，源數(shù)據(jù)為"A的好友列表+D的好友列表"，推薦信息為"二度好友"。參見(jiàn)圖 2，A的好友列表包括B和C，D的好友列表包括B和E，并且A和D是好友。根據(jù)源數(shù)據(jù)可以 確定