一種無線傳感器網(wǎng)絡(luò)中核分類器的分布式訓(xùn)練方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種無線傳感器網(wǎng)絡(luò)中核分類器的分布式訓(xùn)練方法，具體是一種基于 L1正則化的核最小平方誤差分類器的分布式訓(xùn)練方法，可以用于無線傳感器網(wǎng)絡(luò)中核分類 器的訓(xùn)練，屬于無線傳感器網(wǎng)絡(luò)中數(shù)據(jù)融合技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 無線傳感器網(wǎng)絡(luò)應(yīng)用中，分類是一項最基礎(chǔ)也是最重要的任務(wù)。然而，在無線傳感 器網(wǎng)絡(luò)中，分類器的訓(xùn)練數(shù)據(jù)都分散在各個傳感器節(jié)點上。通過多跳路由將所有訓(xùn)練數(shù)據(jù) 傳輸?shù)綌?shù)據(jù)融合中心進行集中式訓(xùn)練，將會占用大量的帶寬且消耗節(jié)點的大量能量，這與 無線傳感器網(wǎng)絡(luò)上節(jié)點能源替換代價非常高甚至不可替換、帶寬資源非常有限相沖突，同 時也容易使數(shù)據(jù)中心周圍的節(jié)點成為整個系統(tǒng)的瓶頸。針對上述問題，通過相鄰節(jié)點間的 相互協(xié)作，利用節(jié)點本身的計算能力在網(wǎng)內(nèi)分布式協(xié)同訓(xùn)練分類器的方法引起了眾多研 宄者的關(guān)注.核分類器是一類性能優(yōu)越的分類器，是當(dāng)前機器學(xué)習(xí)的主流方法。因此，在無 線傳感器網(wǎng)絡(luò)中，研宄僅依賴相鄰節(jié)點間的協(xié)作，在網(wǎng)內(nèi)分布式協(xié)同訓(xùn)練核分類器的方法 對減少通信代價、延長網(wǎng)絡(luò)生命周期以及核分類器的分布式學(xué)習(xí)理論研宄都具有極其重要 的意義。
[0003] 目前的無線傳感器網(wǎng)絡(luò)中核分類器的分布式訓(xùn)練方法主要分為基于共享數(shù)據(jù)的 分布式訓(xùn)練方法和基于支持向量的增量式分布式訓(xùn)練方法?；诠蚕頂?shù)據(jù)的代表性分布式 訓(xùn)練方法包括Predd J.B.等人提出的相鄰節(jié)點共享數(shù)據(jù)預(yù)測一致的分布式協(xié)同訓(xùn)練方法； Forero P. A等人提出的基于共享數(shù)據(jù)集約束模型一致的分布式訓(xùn)練方法?；谥С窒蛄康?增量式分布式訓(xùn)練方法是針對經(jīng)典的核分類器一一支持向量機的分布式訓(xùn)練方法，主要包 括Flouri. K等人提出的基于支持向量增量訓(xùn)練的DFP-SVM方法；Yumao Lu等人提出的基 于可配置網(wǎng)絡(luò)連通度的分布式并行DPSVM方法。目前提出的這些分布式訓(xùn)練方法存在以下 主要缺陷：基于共享數(shù)據(jù)的分布式訓(xùn)練算法要求相鄰節(jié)點間必須有共享數(shù)據(jù)，而且方法受 共享數(shù)據(jù)多小的影響比較明顯，在相鄰節(jié)點間共享數(shù)據(jù)少或沒有的情況下，該方法收斂速 度緩慢甚至不能用?；谥С窒蛄康脑隽渴椒植际接?xùn)練方法，因受支持向量機的hinge損 失函數(shù)特殊性的影響，其支持向量的稀疏性受到限制，所以仍存在通信代價大的問題。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是提供一種無線傳感器網(wǎng)絡(luò)中核分類器的分布式訓(xùn)練方法。使用該 方法僅通過相鄰節(jié)點間的協(xié)作就可以使每個節(jié)點得到所有訓(xùn)練數(shù)據(jù)集中訓(xùn)練時的預(yù)測效 果，而且也可以大大減少分類器訓(xùn)練過程中的數(shù)據(jù)通信代價，以降低節(jié)點能量消耗、延長網(wǎng) 絡(luò)生命。為了實現(xiàn)上述目的，本發(fā)明在核分類器訓(xùn)練過程中包括三個重要機制。
[0005] 機制1 :節(jié)點本地核分類優(yōu)化問題稀疏求解方法。
[0006] 在核分類器分布式訓(xùn)練過程中，為減少節(jié)點間傳輸?shù)臄?shù)據(jù)量，本發(fā)明引入了稀疏 因子一一L1正則化對節(jié)點本地訓(xùn)練樣本構(gòu)建核分類優(yōu)化問題。利用分布式優(yōu)化方法一一 交替方向乘子方法對基于L1正則化的核分類優(yōu)化問題進行求解，在合適參數(shù)值下，可以得 到比較稀疏的解，相應(yīng)的節(jié)點間交換的模型信息攜帶的信息量就少。
[0007] 機制2 :節(jié)點模型差異快速消除機制。
[0008] 為了盡快得到全局最優(yōu)模型，相鄰節(jié)點間除了交換本地得到的稀疏模型外，還利 用接收到的鄰居節(jié)點模型在本地訓(xùn)練樣本中找出它們不能正確分類的樣本一一錯分樣本， 將這些錯分樣本也傳遞給鄰居節(jié)點以協(xié)助它們快速地得到正確模型。該機制可以使節(jié)點間 快速消除模型的不一致來達到穩(wěn)定模型。
[0009] 機制3:節(jié)點模型一致性機制
[0010] 當(dāng)各節(jié)點都達到穩(wěn)定模型后，各節(jié)點上的模型基本一致，但是由于受本地沒有與 鄰居節(jié)點交換過的訓(xùn)練樣本的影響，各節(jié)點模型還有稍微差別。為了使各節(jié)點最后得到完 全一致的模型，同樣僅依靠相鄰節(jié)點間的協(xié)作，在相鄰節(jié)點間傳遞得到的穩(wěn)定的稀疏模型， 當(dāng)每個節(jié)點上都接收到所有其他節(jié)點的模型時，在本地對這些模型進行平均來得到一致模 型。
[0011] 基于機制1、機制2和機制3的無線傳感器網(wǎng)絡(luò)中核分類器的分布式訓(xùn)練方法有六 個階段，分別是：1.節(jié)點本地初始化；2.節(jié)點本地稀疏模型求解；3.節(jié)點將本地稀疏模型 和錯分樣本發(fā)送給單跳鄰居節(jié)點；4.節(jié)點接收信息；5.節(jié)點循環(huán)優(yōu)化求解；6.節(jié)點模型一 致性。
[0012] 一種無線傳感器網(wǎng)絡(luò)中核分類器的分布式訓(xùn)練方法，其是在以下前提條件下進行 的：
[0013] a.網(wǎng)絡(luò)中每個節(jié)點都有唯一的ID號；
[0014] b.網(wǎng)絡(luò)中各節(jié)點僅僅與其單跳鄰居節(jié)點進行通信；
[0015] c.網(wǎng)絡(luò)中各節(jié)點使用相同的核函數(shù)和相同的參數(shù)值；
[0016] 無線傳感器網(wǎng)絡(luò)中核分類器分布式訓(xùn)練方法的步驟如下：
[0017] 步驟1 :節(jié)點本地初始化
[0018] 這一階段的特征是各節(jié)點對本地訓(xùn)練樣本進行處理，并初始化各參數(shù)。該階段具 體步驟如下：
[0019] 步驟1. 1 :各節(jié)點本地訓(xùn)練樣本的特征信息歸一化處理；
[0020] 步驟1. 2 :各節(jié)點本地核參數(shù)0和正則系數(shù)A的初始化、網(wǎng)絡(luò)規(guī)模N的初始化；
[0021] 步驟2 :節(jié)點本地稀疏模型求解
[0022] 這一階段的特征是將具有稀疏特性的L1正則化引入核分類優(yōu)化問題進行稀疏模 型求解；
[0023] 首先各節(jié)點根據(jù)本地訓(xùn)練樣本構(gòu)建基于L1正則化的核最小平方誤差優(yōu)化問題， 然后利用交替方向乘子方法對優(yōu)化問題進行稀疏模型求解，最后將得到的非零解與對應(yīng)的 訓(xùn)練樣本組成稀疏模型。這一階段的具體步驟描述如下：
[0024] 步驟2. 1 :各節(jié)點為本地訓(xùn)練樣本增加表示字段node_ID和example_ID以唯一標(biāo) 識每個訓(xùn)練樣本，增加發(fā)送標(biāo)志字段is_ Sended以說明該樣本是否已經(jīng)發(fā)送過來避免重復(fù) 發(fā)送；
[0025] 步驟2. 2:各節(jié)點利用高斯核函數(shù)k(Xi,Xj) = exp(_|k-Xj| |2/2 〇 2)對本地歸一 化后的訓(xùn)練樣本進行核矩陣計算；
[0026]步驟2.3:各節(jié)點對得到的核矩陣進行增廣，結(jié)合正則系數(shù)X構(gòu)建核優(yōu)化問題；
[0027] 步驟2. 4:各節(jié)點利用交替方向乘子法對構(gòu)建的核優(yōu)化問題進行求解；
[0028] 步驟2. 5 :將解中非零項以及對應(yīng)的樣本信息提取出來作為本節(jié)點上的稀疏模 型；
[0029] 步驟3:節(jié)點將本地稀疏模型和錯分樣本發(fā)送給單跳鄰居節(jié)點
[0030] 這一階段的特征是各節(jié)點對本地得到的最新稀疏模型進行整理，將整理后的稀疏 模型和最新錯分樣本組合在一起發(fā)送給單跳鄰居節(jié)點。在對稀疏模型進行整理過程中，借 助了 is_sended標(biāo)識字段查看對應(yīng)樣本的特征信息是否發(fā)送過，以決定樣本對應(yīng)的特征信 息在稀疏模型中攜帶與否，從而減少數(shù)據(jù)傳輸量。這一階段的具體步驟描述如下：
[0031] 步驟3. 1 :各節(jié)點整理要發(fā)送出去的最新稀疏模型，如果最新稀疏模型中訓(xùn)練樣 本的is_sended字段為0,表示該樣本還沒有被發(fā)送過，此時需要將該訓(xùn)練樣本的原始特征 信息保留在模型中；如果is_ Sended字段為1，代表該訓(xùn)練樣本的原始特征信息已經(jīng)發(fā)送 過，此時只將該樣本的標(biāo)識字段信息保留在模型中；
[0032] 步驟3. 2:各節(jié)點將整理好的模型信息和錯分樣本信息組織在一起，發(fā)送給其單 跳鄰居節(jié)點；
[0033] 步驟4:節(jié)點接收信息
[0034] 這一階段的特征是各節(jié)點首先利用接收到的鄰居節(jié)點模型，逐個對本地訓(xùn)練樣本 集進行測試，以找出鄰居節(jié)點模型不能正確分類的訓(xùn)練樣本，記作錯分樣本；然后，各節(jié)點 將接收到的鄰居節(jié)點模型中帶有原始特征信息的訓(xùn)練樣本加入到本地訓(xùn)練樣本集合；同 樣，各節(jié)點將接收到的鄰居節(jié)點的錯分樣本加入到本地訓(xùn)練樣本集；最后，各節(jié)點對本