Hbase系統(tǒng)查詢,減輕了Hbase系統(tǒng)的壓 力，極大地提高了查詢速度。
[0095] 因此，本實(shí)施例中的數(shù)據(jù)存儲(chǔ)可以由三部分組成，HDFS、Hbase和Memcached。其 中，定時(shí)獲取的源數(shù)據(jù)存儲(chǔ)在HDFS中，適用于大規(guī)模數(shù)據(jù)存儲(chǔ)；實(shí)時(shí)獲取的源數(shù)據(jù)以及并 行計(jì)算的結(jié)果都存儲(chǔ)在Hbase中，數(shù)據(jù)更安全、高效;Memcahed用來緩存部分計(jì)算結(jié)果，以 進(jìn)一步提1?查詢能力。
[0096] 306 :當(dāng)接收到客戶端的推薦請(qǐng)求時(shí)，從該Hbase系統(tǒng)獲取與該客戶端的用戶有關(guān) 的推薦信息并發(fā)送給該客戶端。
[0097] 上述方法可以由信息推薦的裝置來執(zhí)行?？蛻舳说耐扑]請(qǐng)求可以通過服務(wù)器來發(fā) 送給該裝置，由該裝置執(zhí)行查詢后返回推薦信息給客戶端。該過程可以如圖4所示，具體流 程如下：S1、客戶端發(fā)送推薦請(qǐng)求給服務(wù)器；S2、服務(wù)器接收到該推薦請(qǐng)求后轉(zhuǎn)發(fā)給信息推 薦裝置；S3、信息推薦裝置收到該請(qǐng)求后，向Hbase查詢?cè)摽蛻舳说耐扑]信息；S4、信息推薦 裝置將查詢得到的推薦信息發(fā)送給服務(wù)器，由服務(wù)器轉(zhuǎn)發(fā)給客戶端進(jìn)行推薦。
[0098]本實(shí)施例提供的上述方法，按照預(yù)設(shè)的周期定時(shí)獲取源數(shù)據(jù)；和/或，當(dāng)源數(shù) 據(jù)發(fā)生變化時(shí)，實(shí)時(shí)獲取發(fā)生變化的源數(shù)據(jù)；確定該源數(shù)據(jù)的維度以及每個(gè)維度對(duì)應(yīng)的 MapReduce模型；對(duì)于定時(shí)獲取的源數(shù)據(jù)，按照預(yù)設(shè)的靜態(tài)策略定時(shí)利用對(duì)應(yīng)的MapReduce 模型并行進(jìn)行計(jì)算；對(duì)于實(shí)時(shí)獲取的源數(shù)據(jù)，按照預(yù)設(shè)的動(dòng)態(tài)策略實(shí)時(shí)利用對(duì)應(yīng)的 MapReduce模型進(jìn)行計(jì)算；將客戶端的用戶ID和推薦列表存儲(chǔ)在Hbase系統(tǒng)中，該客戶端 的用戶ID作為主鍵，該推薦列表包括該客戶端的各個(gè)維度的推薦信息；當(dāng)接收到客戶端的 推薦請(qǐng)求時(shí)，從該Hbase系統(tǒng)獲取與該客戶端的用戶有關(guān)的推薦信息并發(fā)送給該客戶端； 實(shí)現(xiàn)了信息推薦，由于采用了適合于大規(guī)模數(shù)據(jù)集運(yùn)算的MapReduce模型，而且使用不同 的MapReduce模型對(duì)不同維度的源數(shù)據(jù)進(jìn)行并行處理，極大地提高了數(shù)據(jù)處理的速度，降 低了計(jì)算的復(fù)雜度，節(jié)省了運(yùn)算開銷，提高了信息推薦的效率和準(zhǔn)確性。另外，采用Hbase 系統(tǒng)存儲(chǔ)推薦信息，具有高可靠性、高性能、可伸縮等優(yōu)勢(shì)，提高了數(shù)據(jù)存儲(chǔ)的安全性。
[0099]參見圖5,本發(fā)明另一實(shí)施例提供了一種信息推薦的裝置，包括：
[0100] 獲取模塊501，用于獲取源數(shù)據(jù)；
[0101]確定模塊502,用于確定該源數(shù)據(jù)的維度以及每個(gè)維度對(duì)應(yīng)的MapReduce模型；
[0102] 計(jì)算模塊503,用于利用確定的各個(gè)MapReduce模型并行對(duì)該源數(shù)據(jù)進(jìn)行計(jì)算；
[0103] 存儲(chǔ)模塊504,用于將計(jì)算得到的推薦信息存儲(chǔ)在Hbase系統(tǒng)中；
[0104] 推薦模塊505,用于當(dāng)接收到客戶端的推薦請(qǐng)求時(shí)，從該Hbase系統(tǒng)獲取與該客戶 端的用戶有關(guān)的推薦信息并發(fā)送給該客戶端。
[0105] 參見圖6,本實(shí)施例中，可選的，獲取模塊501可以包括：
[0106] 定時(shí)獲取單元501a，用于按照預(yù)設(shè)的周期定時(shí)獲取源數(shù)據(jù)；和/或，
[0107] 實(shí)時(shí)獲取單元501b，用于當(dāng)源數(shù)據(jù)發(fā)生變化時(shí)，實(shí)時(shí)獲取發(fā)生變化的源數(shù)據(jù)。
[0108] 本實(shí)施例中，進(jìn)一步地，計(jì)算模塊503可以包括：
[0109] 計(jì)算單元503a，用于對(duì)于定時(shí)獲取的源數(shù)據(jù)，按照預(yù)設(shè)的靜態(tài)策略定時(shí)利用對(duì)應(yīng) 的MapReduce模型并行進(jìn)行計(jì)算；對(duì)于實(shí)時(shí)獲取的源數(shù)據(jù)，按照預(yù)設(shè)的動(dòng)態(tài)策略實(shí)時(shí)利用 對(duì)應(yīng)的MapReduce模型進(jìn)行計(jì)算。
[0110] 本實(shí)施例中，可選的，存儲(chǔ)模塊504可以包括：
[0111] 存儲(chǔ)單元,用于將客戶端的用戶ID和推薦列表存儲(chǔ)在Hbase系統(tǒng)中，該客戶端的 用戶ID作為主鍵，該推薦列表包括該用戶的各個(gè)維度的推薦信息。
[0112] 本實(shí)施例中，進(jìn)一步地，所述推薦列表中各個(gè)維度的推薦信息由指定符號(hào)進(jìn)行拼 接，每個(gè)維度的推薦信息包括：推薦ID、推薦原因和權(quán)重。
[0113] 本實(shí)施例中，還可以將上述裝置按照邏輯劃分為：第一接口層、數(shù)據(jù)計(jì)算層、數(shù)據(jù) 存儲(chǔ)層和第二接口層。其中，第一接口層包括上述獲取模塊501，負(fù)責(zé)獲取源數(shù)據(jù)；數(shù)據(jù)計(jì) 算層包括上述確定模塊502和計(jì)算模塊503,負(fù)責(zé)利用MapReduce模型進(jìn)行計(jì)算；數(shù)據(jù)存儲(chǔ) 層包括上述存儲(chǔ)模塊504,負(fù)責(zé)存儲(chǔ)計(jì)算結(jié)果；第二接口層包括上述推薦模塊505,負(fù)責(zé)與 客戶端交互，在客戶端請(qǐng)求時(shí)發(fā)送推薦信息，從而完成推薦。
[0114] 本實(shí)施例提供的上述裝置可以執(zhí)行上述任一方法實(shí)施例提供的方法，詳見方法實(shí) 施例中的描述，此處不贅述。
[0115] 本實(shí)施例提供的上述裝置，獲取源數(shù)據(jù)；確定所述源數(shù)據(jù)的維度以及每個(gè)維度對(duì) 應(yīng)的MapReduce模型；利用確定的各個(gè)MapReduce模型并行對(duì)所述源數(shù)據(jù)進(jìn)行計(jì)算；將計(jì) 算得到的推薦信息存儲(chǔ)在Hbase系統(tǒng)中；當(dāng)接收到客戶端的推薦請(qǐng)求時(shí)，從所述Hbase系統(tǒng) 獲取與所述客戶端的用戶有關(guān)的推薦信息并發(fā)送給所述客戶端，實(shí)現(xiàn)了信息推薦，由于采 用了適合于大規(guī)模數(shù)據(jù)集運(yùn)算的MapReduce模型，而且使用不同的MapReduce模型對(duì)不同 維度的源數(shù)據(jù)進(jìn)行并行處理，極大地提高了數(shù)據(jù)處理的速度，降低了計(jì)算的復(fù)雜度，節(jié)省了 運(yùn)算開銷，提高了信息推薦的效率和準(zhǔn)確性。另外，采用Hbase系統(tǒng)存儲(chǔ)推薦信息，具有高 可靠性、高性能、可伸縮等優(yōu)勢(shì)，提高了數(shù)據(jù)存儲(chǔ)的安全性。
[0116] 本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例的全部或部分步驟可以通過硬件 來完成，也可以通過程序來指令相關(guān)的硬件完成，所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀 存儲(chǔ)介質(zhì)中，上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器，磁盤或光盤等。
[0117] 以上所述僅為本發(fā)明的較佳實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和 原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種信息推薦的方法，其特征在于，所述方法包括： 獲取源數(shù)據(jù)； 確定所述源數(shù)據(jù)的維度以及每個(gè)維度對(duì)應(yīng)的MapReduce模型； 利用確定的各個(gè)MapReduce模型并行對(duì)所述源數(shù)據(jù)進(jìn)行計(jì)算； 將計(jì)算得到的推薦信息存儲(chǔ)在Hbase系統(tǒng)中； 當(dāng)接收到客戶端的推薦請(qǐng)求時(shí)，從所述Hbase系統(tǒng)獲取與所述客戶端的用戶有關(guān)的推 薦信息并發(fā)送給所述客戶端。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取源數(shù)據(jù)，包括： 按照預(yù)設(shè)的周期定時(shí)獲取源數(shù)據(jù)；和/或， 當(dāng)源數(shù)據(jù)發(fā)生變化時(shí)，實(shí)時(shí)獲取發(fā)生變化的源數(shù)據(jù)。3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述利用確定的各個(gè)MapReduce模型并行 對(duì)所述源數(shù)據(jù)進(jìn)行計(jì)算，包括： 對(duì)于定時(shí)獲取的源數(shù)據(jù)，按照預(yù)設(shè)的靜態(tài)策略定時(shí)利用對(duì)應(yīng)的MapReduce模型并行進(jìn) 行計(jì)算； 對(duì)于實(shí)時(shí)獲取的源數(shù)據(jù)，按照預(yù)設(shè)的動(dòng)態(tài)策略實(shí)時(shí)利用對(duì)應(yīng)的MapReduce模型進(jìn)行計(jì) 算。4. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將計(jì)算得到的推薦信息存儲(chǔ)在Hbase 系統(tǒng)中，包括： 將客戶端的用戶ID和推薦列表存儲(chǔ)在Hbase系統(tǒng)中，所述客戶端的用戶ID作為主鍵， 所述推薦列表包括所述用戶的各個(gè)維度的推薦信息。5. 根據(jù)權(quán)利要求4所述的方法，其特征在于，所述推薦列表中各個(gè)維度的推薦信息由 指定符號(hào)進(jìn)行拼接，每個(gè)維度的推薦信息包括：推薦ID、推薦原因和權(quán)重。6. -種信息推薦的裝置，其特征在于，所述裝置包括： 獲取模塊，用于獲取源數(shù)據(jù)； 確定模塊，用于確定所述源數(shù)據(jù)的維度以及每個(gè)維度對(duì)應(yīng)的MapReduce模型； 計(jì)算模塊，用于利用確定的各個(gè)MapReduce模型并行對(duì)所述源數(shù)據(jù)進(jìn)行計(jì)算； 存儲(chǔ)模塊，用于將計(jì)算得到的推薦信息存儲(chǔ)在Hbase系統(tǒng)中； 推薦模塊，用于當(dāng)接收到客戶端的推薦請(qǐng)求時(shí)，從所述Hbase系統(tǒng)獲取與所述客戶端 的用戶有關(guān)的推薦信息并發(fā)送給所述客戶端。7. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述獲取模塊包括： 定時(shí)獲取單元，用于按照預(yù)設(shè)的周期定時(shí)獲取源數(shù)據(jù)；和/或， 實(shí)時(shí)獲取單元，用于當(dāng)源數(shù)據(jù)發(fā)生變化時(shí)，實(shí)時(shí)獲取發(fā)生變化的源數(shù)據(jù)。8. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述計(jì)算模塊包括： 計(jì)算單元，用于對(duì)于定時(shí)獲取的源數(shù)據(jù)，按照預(yù)設(shè)的靜態(tài)策略定時(shí)利用對(duì)應(yīng)的 MapReduce模型并行進(jìn)行計(jì)算；對(duì)于實(shí)時(shí)獲取的源數(shù)據(jù)，按照預(yù)設(shè)的動(dòng)態(tài)策略實(shí)時(shí)利用對(duì) 應(yīng)的MapReduce模型進(jìn)行計(jì)算。9. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述存儲(chǔ)模塊包括： 存儲(chǔ)單元，用于將客戶端的用戶ID和推薦列表存儲(chǔ)在Hbase系統(tǒng)中，所述客戶端的用 戶ID作為主鍵，所述推薦列表包括所述用戶的各個(gè)維度的推薦信息。
【專利摘要】本發(fā)明公開了一種信息推薦的方法和裝置，屬于數(shù)據(jù)處理領(lǐng)域。所述方法包括：獲取源數(shù)據(jù)；確定所述源數(shù)據(jù)的維度以及每個(gè)維度對(duì)應(yīng)的MapReduce模型；利用確定的各個(gè)MapReduce模型并行對(duì)所述源數(shù)據(jù)進(jìn)行計(jì)算；將計(jì)算得到的推薦信息存儲(chǔ)在Hbase系統(tǒng)中；當(dāng)接收到客戶端的推薦請(qǐng)求時(shí)，從所述Hbase系統(tǒng)獲取與所述客戶端的用戶有關(guān)的推薦信息并發(fā)送給所述客戶端。所述裝置包括：獲取模塊、確定模塊、計(jì)算模塊、存儲(chǔ)模塊和推薦模塊。本發(fā)明極大地提高了數(shù)據(jù)處理的速度，降低了計(jì)算的復(fù)雜度，節(jié)省了運(yùn)算開銷，提高了信息推薦的效率和準(zhǔn)確性。
【IPC分類】G06F17/30
【公開號(hào)】CN105243063
【申請(qǐng)?zhí)枴緾N201410274081
【發(fā)明人】鄧?yán)?
【申請(qǐng)人】北京新媒傳信科技有限公司
【公開日】2016年1月13日
【申請(qǐng)日】2014年6月18日