深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)及運(yùn)算方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及運(yùn)算結(jié)構(gòu)領(lǐng)域，特別是涉及一種深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)及運(yùn)算方法。
【背景技術(shù)】
[0002]目前，業(yè)內(nèi)進(jìn)行廣告投放時(shí)，廣泛使用了基于廣告點(diǎn)擊率預(yù)估的方法對(duì)廣告進(jìn)行排序。具體方法為，首先通過(guò)深度神經(jīng)網(wǎng)絡(luò)預(yù)估候選廣告的點(diǎn)擊率，即廣告點(diǎn)擊率預(yù)估值(pCTR，predicted click-through rate)，然后基于 pCTR 計(jì)算廣告的質(zhì)量度(Quality)，最后將廣告按照出價(jià)(Bid)*Quality逆序排列并展現(xiàn)，出價(jià)越高且質(zhì)量度越高的廣告排序越靠前。在排序時(shí)遵循普遍二級(jí)價(jià)格拍賣(GSP，Generalized SecondPrice Auct1n)機(jī)制，該機(jī)制可以最大化搜索引擎的收益，達(dá)到GSP均衡。因此一個(gè)較好的深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)可以較為快速以及較為準(zhǔn)確的獲取廣告點(diǎn)擊率預(yù)估值。
[0003]如圖1所示，圖1為現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)的結(jié)構(gòu)示意圖。該深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)10包括主服務(wù)器101、多個(gè)中心參數(shù)服務(wù)器102以及多個(gè)計(jì)算單元103。其中主服務(wù)器101負(fù)責(zé)訓(xùn)練任務(wù)的下發(fā)以及調(diào)度。多個(gè)中心參數(shù)服務(wù)器102具有計(jì)算模型的不同分片，用于通過(guò)網(wǎng)絡(luò)將計(jì)算模型傳輸給相應(yīng)的計(jì)算單元103、接收計(jì)算單元103上報(bào)的計(jì)算梯度，并將該計(jì)算梯度與相應(yīng)的計(jì)算模型進(jìn)行合并操作。多個(gè)計(jì)算單元103從中心參數(shù)服務(wù)器102獲取最近的計(jì)算模型，分批處理計(jì)算模型的訓(xùn)練計(jì)算過(guò)程，并將計(jì)算出來(lái)的計(jì)算梯度上報(bào)至相應(yīng)的中心參數(shù)服務(wù)器102。
[0004]上述運(yùn)算系統(tǒng)10進(jìn)行計(jì)算模型的參數(shù)訓(xùn)練時(shí)，將耗費(fèi)大量的時(shí)間以及通信能力在計(jì)算模型的拉取、計(jì)算梯度的接收以及計(jì)算模型與計(jì)算梯度的合并操作上，這樣導(dǎo)致網(wǎng)絡(luò)通信的開(kāi)銷巨大，且對(duì)中心參數(shù)服務(wù)器102的要求較高。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實(shí)施例提供一種計(jì)算效率較高且網(wǎng)絡(luò)通信開(kāi)銷較小的深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)及運(yùn)算方法；以解決現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)及運(yùn)算方法的計(jì)算效率較低以及網(wǎng)絡(luò)通信開(kāi)銷較大的技術(shù)問(wèn)題。
[0006]本發(fā)明實(shí)施例提供一種深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)，其包括:
[0007]主服務(wù)器，用于將訓(xùn)練任務(wù)的下發(fā)至計(jì)算模塊以及中心參數(shù)服務(wù)器的邏輯控制；
[0008]多個(gè)中心參數(shù)服務(wù)器，用于根據(jù)所述計(jì)算模塊的傳輸請(qǐng)求，將計(jì)算模型傳輸至相應(yīng)的計(jì)算模塊；以及接收所述計(jì)算模塊上報(bào)的計(jì)算梯度，并根據(jù)所述計(jì)算梯度對(duì)相應(yīng)的所述計(jì)算模型進(jìn)行更新操作；以及
[0009]多個(gè)所述計(jì)算模塊，包括:
[0010]本地參數(shù)服務(wù)器，用于按計(jì)算周期，從所述中心參數(shù)服務(wù)器下載相應(yīng)的所述計(jì)算模型，并將所述計(jì)算模型分發(fā)至各個(gè)計(jì)算單元；以及按所述計(jì)算周期，接收所述計(jì)算單元上報(bào)的計(jì)算梯度，并對(duì)所述計(jì)算梯度進(jìn)行累加，以將累加后的計(jì)算梯度上傳至所述中心參數(shù)服務(wù)器；以及
[0011]多個(gè)所述計(jì)算單元，用于根據(jù)所述訓(xùn)練任務(wù)生成相應(yīng)的所述傳輸請(qǐng)求；根據(jù)所述計(jì)算模型進(jìn)行訓(xùn)練計(jì)算，以得到相應(yīng)計(jì)算梯度；以及將所述計(jì)算梯度上報(bào)至所述本地參數(shù)服務(wù)器。
[0012]本發(fā)明實(shí)施例還提供一種用于深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)的運(yùn)算方法，其中所述運(yùn)算系統(tǒng)包括主服務(wù)器、多個(gè)中心參數(shù)服務(wù)器以及多個(gè)計(jì)算模塊；每個(gè)所述計(jì)算模塊包括本地參數(shù)服務(wù)器以及多個(gè)計(jì)算單元；其中所述運(yùn)算方法包括:
[0013]所述主服務(wù)器將訓(xùn)練任務(wù)的下發(fā)至所述計(jì)算模塊，所述計(jì)算模塊根據(jù)所述訓(xùn)練任務(wù)生成傳輸請(qǐng)求；
[0014]所述中心參數(shù)服務(wù)器根據(jù)所述傳輸請(qǐng)求，將計(jì)算模型傳輸至相應(yīng)的所述計(jì)算模塊；
[0015]所述計(jì)算模塊的所述本地參數(shù)服務(wù)器按計(jì)算周期，從所述中心參數(shù)服務(wù)器下載所述計(jì)算模型，并將所述計(jì)算模型分發(fā)至各個(gè)所述計(jì)算單元；
[0016]所述計(jì)算模塊的所述計(jì)算單元根據(jù)所述計(jì)算模型進(jìn)行訓(xùn)練計(jì)算，以得到相應(yīng)的計(jì)算梯度，并將所述計(jì)算梯度上報(bào)至所述本地參數(shù)服務(wù)器；
[0017]所述本地參數(shù)服務(wù)器按所述計(jì)算周期，接收所述計(jì)算單元上報(bào)的計(jì)算梯度，并對(duì)所述計(jì)算梯度進(jìn)行累加，以得到累加后的計(jì)算梯度；以及
[0018]所述中心參數(shù)服務(wù)器接收所述累加后的計(jì)算梯度，并根據(jù)所述累加后的計(jì)算梯度對(duì)相應(yīng)的所述計(jì)算模型進(jìn)行更新操作。
[0019]相較于現(xiàn)有技術(shù)的深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)及運(yùn)算方法，本發(fā)明的深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)及運(yùn)算方法通過(guò)設(shè)置本地參數(shù)服務(wù)器，提高了運(yùn)算系統(tǒng)的計(jì)算效率，降低了運(yùn)算系統(tǒng)的網(wǎng)絡(luò)通信開(kāi)銷；解決了現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)及運(yùn)算方法的計(jì)算效率較低以及網(wǎng)絡(luò)通信開(kāi)銷較大的技術(shù)問(wèn)題。
【附圖說(shuō)明】
[0020]圖1為現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)的結(jié)構(gòu)示意圖。
[0021]圖2為本發(fā)明的深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)的優(yōu)選實(shí)施例的結(jié)構(gòu)示意圖；
[0022]圖3為本發(fā)明的深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)的優(yōu)選實(shí)施例的本地參數(shù)服務(wù)器的結(jié)構(gòu)示意圖；
[0023]圖4為本發(fā)明的用于深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)的運(yùn)算方法的優(yōu)選實(shí)施例的流程圖；
[0024]圖5為本發(fā)明的深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)及運(yùn)算方法中的計(jì)算模型的存儲(chǔ)示意圖；
[0025]圖6為本發(fā)明的深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)及運(yùn)算方法中的計(jì)算模型的分發(fā)示意圖；
[0026]圖7為本發(fā)明的深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)及運(yùn)算方法中的計(jì)算梯度的累加示意圖；
[0027]圖8為本發(fā)明的深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)及運(yùn)算方法中的計(jì)算模型的更新示意圖；
[0028]圖9為本發(fā)明的深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)所在的電子設(shè)備的工作環(huán)境結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0029]請(qǐng)參照?qǐng)D式，其中相同的組件符號(hào)代表相同的組件，本發(fā)明的原理是以實(shí)施在一適當(dāng)?shù)倪\(yùn)算環(huán)境中來(lái)舉例說(shuō)明。以下的說(shuō)明是基于所例示的本發(fā)明具體實(shí)施例，其不應(yīng)被視為限制本發(fā)明未在此詳述的其它具體實(shí)施例。
[0030]在以下的說(shuō)明中，本發(fā)明的具體實(shí)施例將參考由一部或多部計(jì)算機(jī)所執(zhí)行之作業(yè)的步驟及符號(hào)來(lái)說(shuō)明，除非另有述明。因此，其將可了解到這些步驟及操作，其中有數(shù)次提到為由計(jì)算機(jī)執(zhí)行，包括了由代表了以一結(jié)構(gòu)化型式中的數(shù)據(jù)之電子信號(hào)的計(jì)算機(jī)處理單元所操縱。此操縱轉(zhuǎn)換該數(shù)據(jù)或?qū)⑵渚S持在該計(jì)算機(jī)之內(nèi)存系統(tǒng)中的位置處，其可重新配置或另外以本領(lǐng)域技術(shù)人員所熟知的方式來(lái)改變?cè)撚?jì)算機(jī)之運(yùn)作。該數(shù)據(jù)所維持的數(shù)據(jù)結(jié)構(gòu)為該內(nèi)存之實(shí)體位置，其具有由該數(shù)據(jù)格式所定義的特定特性。但是，本發(fā)明原理以上述文字來(lái)說(shuō)明，其并不代表為一種限制，本領(lǐng)域技術(shù)人員將可了解到以下所述的多種步驟及操作亦可實(shí)施在硬件當(dāng)中。
[0031]本發(fā)明的深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)可使用具有計(jì)算能力的電子設(shè)備進(jìn)行實(shí)施，該電子設(shè)備包括但不限于個(gè)人計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、手持式或膝上型設(shè)備、移動(dòng)設(shè)備(比如移動(dòng)電話、個(gè)人數(shù)字助理(PDA)、媒體播放器等等)、多處理器系統(tǒng)、消費(fèi)型電子設(shè)備、小型計(jì)算機(jī)、大型計(jì)算機(jī)、包括上述任意系統(tǒng)或設(shè)備的分布式計(jì)算環(huán)境，等等。本發(fā)明的深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)通過(guò)設(shè)置本地參數(shù)服務(wù)器，提高了運(yùn)算系統(tǒng)的計(jì)算效率，降低了運(yùn)算系統(tǒng)的網(wǎng)絡(luò)通信開(kāi)銷。
[0032]請(qǐng)參照?qǐng)D2，圖2為本發(fā)明的深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)的優(yōu)選實(shí)施例的結(jié)構(gòu)示意圖。本優(yōu)選實(shí)施例的深度神經(jīng)網(wǎng)絡(luò)的運(yùn)算系統(tǒng)20包括主服務(wù)器201、多個(gè)中心參數(shù)服務(wù)器202以及多個(gè)計(jì)算模塊205。
[0033]主服務(wù)器201用于將訓(xùn)練任務(wù)的下發(fā)至計(jì)算模塊205以及中心參數(shù)服務(wù)器202的邏輯控制；中心參數(shù)服務(wù)器202用于根據(jù)計(jì)算模塊205的傳輸請(qǐng)求，將計(jì)算模型傳輸至相應(yīng)的計(jì)算模塊205 ;以及接收計(jì)算模塊205上報(bào)的計(jì)算梯度，并根據(jù)計(jì)算梯度對(duì)相應(yīng)的計(jì)算模型進(jìn)行更新操作。
[0034]計(jì)算模塊205包括本地參數(shù)服務(wù)器203以及多個(gè)計(jì)算單元204。本地參數(shù)服務(wù)器203用于按計(jì)算周期，從中心參數(shù)服務(wù)器202下載相應(yīng)的計(jì)算模型，并將計(jì)算模型分發(fā)至各個(gè)計(jì)算單元204 ;以及按計(jì)算周期，接收計(jì)算單元204上報(bào)的計(jì)