本發(fā)明涉及并行程序的集合通信函數(shù)建模方法。

背景技術(shù)：

并行程序的執(zhí)行時(shí)間分為計(jì)算和通信兩部分時(shí)間，其中計(jì)算時(shí)間即指令執(zhí)行時(shí)間，通信時(shí)間是通信函數(shù)的調(diào)用時(shí)間。研究中指令執(zhí)行時(shí)間通過動(dòng)態(tài)統(tǒng)計(jì)指令條數(shù)以及各類機(jī)器指令的執(zhí)行時(shí)間獲得，通信時(shí)間是研究的重點(diǎn)?？茖W(xué)程序的并行通常是基于MPI(Message-Passing Interface,MPI)接口實(shí)現(xiàn)，MPI定義了可以被程序語言調(diào)用的函數(shù)庫。通過插樁獲得通信函數(shù)的信息，建立通信函數(shù)的時(shí)間模型，最終統(tǒng)計(jì)得到通信時(shí)間。通信函數(shù)分為點(diǎn)對(duì)點(diǎn)通信和集合通信，通過分析LogGP模型可知點(diǎn)對(duì)點(diǎn)通信時(shí)間關(guān)于通信量是分段線性的，集合通信的通信時(shí)間模型是研究重點(diǎn)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是為了解決現(xiàn)有技術(shù)對(duì)通信時(shí)間數(shù)據(jù)獲取不準(zhǔn)確、耗費(fèi)大量時(shí)間金錢的缺點(diǎn)，而提出一種并行程序的集合通信函數(shù)建模方法。

一種并行程序的集合通信函數(shù)建模方法具體過程為：

步驟一、在實(shí)驗(yàn)平臺(tái)下測(cè)量集合通信函數(shù)N次，獲得集合通信函數(shù)在不同的并行度和數(shù)據(jù)量下的通信時(shí)間數(shù)據(jù)；

所述N取值范圍為1000-10000；

步驟二、用基于BP反向傳播算法的人工神經(jīng)網(wǎng)絡(luò)對(duì)集合通訊函數(shù)在不同的并行度和數(shù)據(jù)量下的通信時(shí)間數(shù)據(jù)進(jìn)行擬合，得到相應(yīng)的通信函數(shù)的神經(jīng)網(wǎng)絡(luò)模型。

本發(fā)明的有益效果為：

將實(shí)驗(yàn)數(shù)據(jù)分為訓(xùn)練集和測(cè)試集，其中70％作為訓(xùn)練集，30％作為測(cè)試集。多次混合交叉實(shí)驗(yàn)，每次實(shí)驗(yàn)把輸入數(shù)據(jù)打亂，重新選取訓(xùn)練集和測(cè)試集。上述神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)通信數(shù)據(jù)的擬合效果如圖6、圖7、圖8和圖9所示；采用圖6到圖9的4個(gè)例子驗(yàn)證人工神經(jīng)網(wǎng)絡(luò)對(duì)不同集合通訊的擬合效果；

擬合結(jié)果采用相關(guān)系數(shù)量化，相關(guān)系數(shù)是反映變量之間密切程度的統(tǒng)計(jì)指標(biāo)。其中皮爾卡遜相關(guān)系數(shù)r描述的是兩個(gè)變量間線性相關(guān)的強(qiáng)弱程度，r的范圍為[-1,1]，當(dāng)r>0時(shí)，兩個(gè)變量是正相關(guān)的。r的絕對(duì)值越大，相關(guān)性越強(qiáng)。如表2。

表2 相關(guān)系數(shù)

相關(guān)系數(shù)能反映數(shù)據(jù)之間相關(guān)關(guān)系，用均方根誤差(RMSE)量化測(cè)量的精密度，如表3。

表3 RMSE

解決了現(xiàn)有技術(shù)對(duì)通信時(shí)間數(shù)據(jù)獲取準(zhǔn)確率低、耗費(fèi)大量時(shí)間金錢的缺點(diǎn)，本發(fā)明提出一種并行程序的集合通信函數(shù)建模方法，提高了通信時(shí)間數(shù)據(jù)獲取的準(zhǔn)確率，節(jié)約了時(shí)間和金錢。

附圖說明

圖1為本發(fā)明流程圖；

圖2為Sigmoid激活函數(shù)的函數(shù)特性示意圖，Sigmoid為一種S型函數(shù)，具有S型生長(zhǎng)曲線；

圖3為Tanh激活函數(shù)的函數(shù)特性示意圖，Tanh為一種雙曲正切函數(shù)；

圖4為Relu激活函數(shù)的函數(shù)特性示意圖，Relu為人工神經(jīng)網(wǎng)絡(luò)中一種比較流行的激活函數(shù)，它不會(huì)隨著輸入?yún)?shù)的逐漸增加而趨于飽和；

圖5為Softplus激活函數(shù)的函數(shù)特性示意圖，Softplus為一種Relu函數(shù)的近似平滑函數(shù)；

圖6為MPI_ALLreduce模型擬合效果效果圖，橫坐標(biāo)true value為真實(shí)值，縱坐標(biāo)為Predicted value為預(yù)測(cè)值，MPI_ALLreduce為全局歸約函數(shù)；

圖7為MPI_reduce模型擬合效果效果圖，MPI_reduce為歸約函數(shù)；

圖8為MPI_Bcast模型擬合效果效果圖，MPI_Bcast為廣播函數(shù)；

圖9為MPI_Gather模型擬合效果效果圖，MPI_Gather為收集函數(shù)。

具體實(shí)施方式

具體實(shí)施方式一：結(jié)合圖1說明本實(shí)施方式，本實(shí)施方式的一種并行程序的集合通信函數(shù)建模方法具體過程為：

步驟一、在實(shí)驗(yàn)平臺(tái)下測(cè)量集合通信函數(shù)N次，獲得集合通信函數(shù)在不同的并行度和數(shù)據(jù)量下的通信時(shí)間數(shù)據(jù)；

所述N取值范圍為1000-10000；

步驟二、用基于BP(Error Back Propagation)反向傳播算法的人工神經(jīng)網(wǎng)絡(luò)對(duì)集合通訊函數(shù)在不同的并行度和數(shù)據(jù)量下的通信時(shí)間數(shù)據(jù)進(jìn)行擬合，得到相應(yīng)的通信函數(shù)的神經(jīng)網(wǎng)絡(luò)模型。

具體實(shí)施方式二：本實(shí)施方式與具體實(shí)施方式一不同的是：所述步驟二中用基于BP(Error Back Propagation)反向傳播算法的人工神經(jīng)網(wǎng)絡(luò)對(duì)集合通訊函數(shù)在不同的并行度和數(shù)據(jù)量下的通信時(shí)間數(shù)據(jù)進(jìn)行擬合，得到相應(yīng)的通信函數(shù)的神經(jīng)網(wǎng)絡(luò)模型；具體過程為：

BP反向傳播算法的流程為：

正向傳播過程首先接收輸入信號(hào)，逐層經(jīng)過各神經(jīng)元之間的權(quán)重以及激活函數(shù)作用到達(dá)輸出層，獲得當(dāng)前迭代后的輸出值；

根據(jù)誤差定義方式計(jì)算本輪迭代的誤差；

根據(jù)一定的規(guī)則將誤差從輸出層反向傳播到輸入層，并逐層調(diào)節(jié)權(quán)重以減少誤差。重復(fù)上述過程直到達(dá)到迭代次數(shù)或誤差小于規(guī)定精度，訓(xùn)練結(jié)束；

BP算法，誤差反向傳播(Error Back Propagation,BP)算法。BP算法的基本思想是，學(xué)習(xí)過程由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過程組成。

給定樣本集{(x₁,r₁),(x₂,r₂),…(x_q,r_q)}，神經(jīng)網(wǎng)絡(luò)模型輸出值為y＝(y₁,y₂…y_q)，神經(jīng)網(wǎng)絡(luò)模型參數(shù)為W、b，W為權(quán)值，b為閾值。

x₁、x₂、x_q為特征值，q為正整數(shù)；r₁、r₂、r_q為真實(shí)值，y₁、y₂、y_q為神經(jīng)網(wǎng)絡(luò)模型輸出值；

常見的計(jì)算神經(jīng)網(wǎng)絡(luò)模型輸出值偏離真實(shí)值誤差大小的表達(dá)形式如下：

$J(W,b)=\frac{1}{2}\underset{i=1}{\overset{q}{\Σ}}{(r_i-y_i)}^2$

用l表示層數(shù)，其范圍為[1,n_l]，n_l表示最終輸出層；其中S_l表示第l層神經(jīng)元個(gè)數(shù)，表示第l層的第i個(gè)神經(jīng)元的前向輸出值，是第l層的第i個(gè)神經(jīng)元的輸入值，其中w_ij為權(quán)重值，為第l-1層的第j個(gè)神經(jīng)元的前向輸出值；

n_l為正整數(shù)；1≤i≤S_l；w∈W

殘差表示該節(jié)點(diǎn)對(duì)最終輸出值產(chǎn)生的影響；f(z)表示神經(jīng)元的激活函數(shù)；

步驟二一、數(shù)據(jù)預(yù)處理；

步驟二二、激活函數(shù)的選擇；

步驟二三、根據(jù)步驟二一和步驟二二利用BP反向傳播算法進(jìn)行權(quán)重和閾值的更新。

其它步驟及參數(shù)與具體實(shí)施方式一相同。

具體實(shí)施方式三：本實(shí)施方式與具體實(shí)施方式一或二不同的是：所述步驟二一中數(shù)據(jù)預(yù)處理；具體過程為：

不同的并行度和數(shù)據(jù)量下的通信時(shí)間數(shù)據(jù)是在某一并行度下，變化數(shù)據(jù)量測(cè)量的通信時(shí)間或者是在某個(gè)數(shù)據(jù)量下，變化并行度測(cè)量的通信時(shí)間；

不同的并行度和數(shù)據(jù)量下的通信時(shí)間數(shù)據(jù)是聚集的、不均勻的，這對(duì)訓(xùn)練有非常大的影響，因此將不同的并行度和數(shù)據(jù)量下的通信時(shí)間數(shù)據(jù)傳到網(wǎng)絡(luò)訓(xùn)練之前需要先打亂不同的并行度和數(shù)據(jù)量下的通信時(shí)間數(shù)據(jù)；

第一個(gè)隱藏層的神經(jīng)元的參數(shù)值更新與輸入值成比例，如果某一維過大，那么參數(shù)更新值就很大，反之，參數(shù)更新值小。那么不同特征就被賦予不同的“重要性”。因?yàn)橥ㄐ藕瘮?shù)的兩個(gè)特征的數(shù)據(jù)范圍差距較大，例如并行度的范圍是(4,64)，數(shù)據(jù)量的范圍是(100,1000000)。對(duì)不同的并行度和數(shù)據(jù)量下的通信時(shí)間數(shù)據(jù)進(jìn)行歸一化，歸一化公式如下：

$x^{\′}=\frac{x-min}{max-min}$

max、min分別指某一維數(shù)據(jù)中的最大值、最小值，經(jīng)過歸一化，人工神經(jīng)網(wǎng)絡(luò)的輸入特征的范圍為(0,1)；x′為歸一化后的某一維數(shù)據(jù)，x為歸一化前的某一維數(shù)據(jù)；

所述某一維為并行度、數(shù)據(jù)量或通信時(shí)間。

其它步驟及參數(shù)與具體實(shí)施方式一或二相同。

具體實(shí)施方式四：本實(shí)施方式與具體實(shí)施方式一至三之一不同的是：所述步驟二二中激活函數(shù)的選擇；具體過程為：實(shí)驗(yàn)最初階段選擇常見的Sigmoid激活函數(shù)，但效果非常差，出現(xiàn)了不收斂的情況。根據(jù)BP算法的推倒可以知道，誤差在反向傳播時(shí)，各層都會(huì)乘以激活函數(shù)的一階導(dǎo)數(shù)和當(dāng)前層神經(jīng)元輸入值。Sigmoid函數(shù)的導(dǎo)數(shù)f′(z)＝f(z)(1-f(z)),f′(z)∈(0,1)。神經(jīng)元的輸入值的范圍也是(0,1)或者(-1,1)。這樣經(jīng)過每一層誤差是成倍衰減的，梯度會(huì)不停的衰減直到消失導(dǎo)致網(wǎng)絡(luò)不能收斂。經(jīng)過多次實(shí)驗(yàn)最終

選擇Relu激活函數(shù)，因此反向傳播中梯度可以很好地流動(dòng)。

Relu激活函數(shù)形式為：

f(z)＝max(0,z)

式中，z為Relu激活函數(shù)輸入值，Relu激活函數(shù)梯度為1，并且只有一端飽和。

Softplus可以看做是Relu的平滑版本，除了實(shí)現(xiàn)單側(cè)抑制外，Relu函數(shù)使神經(jīng)元具備了稀疏激活性。這種性質(zhì)意味著該函數(shù)只有在深層并且具有多個(gè)節(jié)點(diǎn)的網(wǎng)絡(luò)結(jié)構(gòu)中發(fā)揮作用?？梢赃x擇不同節(jié)點(diǎn)線性組合，減少了對(duì)非線性映射機(jī)制的依賴，網(wǎng)絡(luò)結(jié)構(gòu)更加靈活。

激活函數(shù)將數(shù)據(jù)范圍從一個(gè)空間轉(zhuǎn)變到另一個(gè)空間來實(shí)現(xiàn)非線性。激活函數(shù)的串聯(lián)和并聯(lián)結(jié)構(gòu)通過改變參數(shù)呈現(xiàn)對(duì)任意非線性函數(shù)的逼近。常見的激活函數(shù)有Sigmoid、Tanh、Relu、Softplus等等。

如圖2-圖5所示為激活函數(shù)的函數(shù)特性示意圖，從上到下，從左到右分別為Sigmoid、Tanh、Relu、Softplus。

Sigmoid函數(shù)形式為：

$f\left(z\right)=\frac{1}{1+\exp (-z)}$

函數(shù)輸出范圍是[0,1]。Sigmoid函數(shù)從數(shù)學(xué)角度上講，數(shù)據(jù)過大或過小時(shí)該函數(shù)值趨于常數(shù)，此時(shí)函數(shù)導(dǎo)數(shù)為0。函數(shù)作用真正有效的部分是中間區(qū)域。類比到人腦的結(jié)構(gòu)，人們往往對(duì)忽略事物的大部特征而只保留感興趣的。因此將重點(diǎn)特征推向中央。

Tanh函數(shù)形式為：

$f\left(z\right)=\frac{\exp \left(z\right)-\exp (-z)}{\exp \left(z\right)+\exp (-z)}$

函數(shù)的輸出范圍是[-1,1]。Tanh函數(shù)在數(shù)學(xué)角度上看是連續(xù)可微分的，數(shù)據(jù)的作用類似Sigmoid函數(shù)，真正有效部分是中間區(qū)域。

Softplus函數(shù)形式為：

f(z)＝log(1+exp(z))

使用指數(shù)函數(shù)作為激活函數(shù)導(dǎo)致梯度過大，因此加上log緩解上升的趨勢(shì)，加1是保證非負(fù)性。從生物學(xué)的角度，神經(jīng)學(xué)家認(rèn)為人腦接收信號(hào)后處理更接近Softplus函數(shù)。與上述兩個(gè)函數(shù)將輸出值固定在某一范圍不同的是，該函數(shù)將保留一側(cè)數(shù)據(jù)的興奮邊界，抑制另一側(cè)。

其它步驟及參數(shù)與具體實(shí)施方式一至三之一相同。

具體實(shí)施方式五：本實(shí)施方式與具體實(shí)施方式一至四之一不同的是：所述步驟二三中根據(jù)步驟二一和步驟二二利用BP反向傳播算法進(jìn)行權(quán)重和閾值的更新；具體步驟如下：

(1)前向傳播很簡(jiǎn)單，用l表示第幾層，其范圍為[1,2,3,…,n_l]，n_l表示神經(jīng)網(wǎng)絡(luò)模型的最終輸出層；逐層計(jì)算2,3,…n_l的激活值，最終可以得到神經(jīng)網(wǎng)絡(luò)模型的輸出結(jié)果，表示為h_W,b(x)，n_l為正整數(shù)；；

(2)當(dāng)l為第n_l層時(shí)，對(duì)n_l層的所有神經(jīng)元中的某一神經(jīng)元i，首先根據(jù)誤差公式獲得誤差，利用誤差對(duì)第n_l層的第i個(gè)神經(jīng)元的輸入加權(quán)和求偏導(dǎo)：

式中，W為權(quán)向量，b為閾值，q是通信函數(shù)在不同的并行度和數(shù)據(jù)量下的通信時(shí)間數(shù)據(jù)中的樣本數(shù)量，0為正整數(shù)；是第n_l層的第i個(gè)神經(jīng)元的輸入加權(quán)和，其中表示第l-1層第j個(gè)神經(jīng)元與第l層第i個(gè)神經(jīng)元之間的權(quán)重值，為第l-1層的第j個(gè)神經(jīng)元的前向輸出值；表示第l層的第i個(gè)神經(jīng)元的前向輸出值；1≤i≤S_l；w_ij∈W；S_l為第l層的神經(jīng)元個(gè)數(shù)，為正整數(shù)；l為正整數(shù)；S_l-1第l-1層的神經(jīng)元個(gè)數(shù)，為正整數(shù)；r_i為真實(shí)值；y_i為神經(jīng)網(wǎng)絡(luò)模型的輸出值；殘差δ_i^(l)表示l層的神經(jīng)元對(duì)最終輸出值產(chǎn)生的影響；表示神經(jīng)元的激活函數(shù)；

(3)當(dāng)l＝n_l-1,n_l-2,n_l-3,…,2中任一層時(shí)，第l層的第i個(gè)節(jié)點(diǎn)的殘差計(jì)算方法為

${\mathrm{\δ}}_i^{\left(l\right)}=\left(\underset{j=1}{\overset{S_{l+1}}{\Σ}}{W}_{ij}^{\left(l\right)}{\mathrm{\δ}}_j^{(l+1)}\right)f^{\′}\left(z_i^{\left(l\right)}\right);$

式中，S_l+1為第l+1層的神經(jīng)元個(gè)數(shù)，為正整數(shù)；為第l層權(quán)向量；殘差表示l+1層的該神經(jīng)元對(duì)最終輸出值產(chǎn)生的影響；1≤j≤S_l；

(4)計(jì)算權(quán)值和閾值更新需要的偏導(dǎo)數(shù)，即

式中，為第l層的第j個(gè)神經(jīng)元的前向輸出值；b_i^(l)為神經(jīng)網(wǎng)絡(luò)模型第l層的第i個(gè)神經(jīng)元閾值；

在調(diào)節(jié)參數(shù)的過程中還出現(xiàn)了輸入樣本對(duì)輸出沒有影響，即無論輸入何種樣本輸出值是一樣的。原因是因?yàn)闄?quán)重參數(shù)W過大，因此在誤差公式后面加上L2正則項(xiàng)

其中，w表示正則項(xiàng)的參數(shù)，λ是正則項(xiàng)系數(shù)，q是樣本數(shù)量；L2為高斯先驗(yàn)；對(duì)J(W,b)求偏導(dǎo)后，將改為

在W更新時(shí)，實(shí)際是減去一個(gè)正數(shù)，導(dǎo)致權(quán)重衰減。

在實(shí)驗(yàn)過程中參數(shù)W、b的更新會(huì)乘以學(xué)習(xí)速率η，以方便調(diào)節(jié)學(xué)習(xí)速率避免過大或偏小。引入動(dòng)量因子ρ，更新權(quán)向量W和閾值b，具體公式表示為：

$W_{ij}^{\left(l\right)}\left(t\right)={\mathrm{\ρW}}_{ij}^{\left(l\right)}(t-1)-\mathrm{\η}\frac{\∂}{\∂W_{ij}^{\left(l\right)}}J(W,b)$

$b_i^{\left(l\right)}\left(t\right)={\mathrm{\ρb}}_i^{\left(l\right)}(t-1)-\mathrm{\η}\frac{\∂}{\∂b_i^{\left(l\right)}}J(W,b)$

式中，η為學(xué)習(xí)速率；為更新后的第l層第j個(gè)神經(jīng)元與第l+1層第i個(gè)神經(jīng)元之間的權(quán)向量；為更新前第l層第j個(gè)神經(jīng)元與第l+1層第i個(gè)神經(jīng)元之間的權(quán)向量；為第l層第j個(gè)神經(jīng)元與第l+1層第i個(gè)神經(jīng)元之間的權(quán)向量。

學(xué)習(xí)率指參數(shù)每次更新走多遠(yuǎn)，若果設(shè)置過大，則容易越過最優(yōu)解或者在最優(yōu)解附近徘徊，設(shè)置過小又會(huì)導(dǎo)致收斂時(shí)間過長(zhǎng)。因此設(shè)計(jì)模型時(shí)動(dòng)態(tài)改變學(xué)習(xí)率是有必要的。

其它步驟及參數(shù)與具體實(shí)施方式一至四之一相同。

具體實(shí)施方式六：本實(shí)施方式與具體實(shí)施方式一至五之一不同的是：所述正則項(xiàng)系數(shù)λ＝0.005。

在我們實(shí)驗(yàn)過程中，取λ＝0.005達(dá)到了理想的實(shí)驗(yàn)效果。

其它步驟及參數(shù)與具體實(shí)施方式一至五之一相同。

具體實(shí)施方式七：本實(shí)施方式與具體實(shí)施方式一至六之一不同的是：所述ρ設(shè)置為0.9。

這樣設(shè)置的目的是在下降初期，使用前一次的大比重下降方向加速，在越過函數(shù)局部最大值時(shí)，連續(xù)兩次更新方向基本相反，此時(shí)ρ可以使得更新幅度減小，越過谷面。隨著梯度不斷下降，優(yōu)化過程極容易陷入局部最小值，此時(shí)梯度為0，此時(shí)ρ幫助跳出函數(shù)面最低點(diǎn)。如表1，多次實(shí)驗(yàn)確定了7層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，根據(jù)Relu函數(shù)特性確定了各層節(jié)點(diǎn)個(gè)數(shù)。神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)用下表來描述。

表1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意

其它步驟及參數(shù)與具體實(shí)施方式一至六之一相同。

采用以下實(shí)施例驗(yàn)證本發(fā)明的有益效果：

實(shí)施例一：

本實(shí)施例一種并行程序的集合通信函數(shù)建模方法具體是按照以下步驟制備的：

將實(shí)驗(yàn)數(shù)據(jù)分為訓(xùn)練集和測(cè)試集，其中70％作為訓(xùn)練集，30％作為測(cè)試集。多次混合交叉實(shí)驗(yàn)，每次實(shí)驗(yàn)把輸入數(shù)據(jù)打亂，重新選取訓(xùn)練集和測(cè)試集。上述神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)通信數(shù)據(jù)的擬合效果如圖6、圖7、圖8和圖9所示；采用圖6到圖9的4個(gè)例子驗(yàn)證人工神經(jīng)網(wǎng)絡(luò)對(duì)不同集合通訊的擬合效果；

擬合結(jié)果采用相關(guān)系數(shù)量化，相關(guān)系數(shù)是反映變量之間密切程度的統(tǒng)計(jì)指標(biāo)。其中皮爾卡遜相關(guān)系數(shù)r描述的是兩個(gè)變量間線性相關(guān)的強(qiáng)弱程度,r的范圍為[-1,1]，當(dāng)r>0時(shí)，兩個(gè)變量是正相關(guān)的。r的絕對(duì)值越大，相關(guān)性越強(qiáng)。

表2 相關(guān)系數(shù)

相關(guān)系數(shù)能反映數(shù)據(jù)之間相關(guān)關(guān)系，用均方根誤差(RMSE)量化測(cè)量的精密度。

表3 RMSE

本發(fā)明還可有其它多種實(shí)施例，在不背離本發(fā)明精神及其實(shí)質(zhì)的情況下，本領(lǐng)域技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護(hù)范圍。