本發(fā)明涉及一種基于流形正則項(xiàng)和Lp范數(shù)正則子的領(lǐng)域遷移極限學(xué)習(xí)機(jī)算法，屬于機(jī)器學(xué)習(xí)和模式識(shí)別技術(shù)領(lǐng)域。

背景技術(shù)：

人工神經(jīng)網(wǎng)絡(luò)因其強(qiáng)大的自適應(yīng)、自組織、自學(xué)習(xí)和非線性映射能力，已廣泛應(yīng)用于生物、化學(xué)、醫(yī)學(xué)、經(jīng)濟(jì)、海洋等各種領(lǐng)域。但是傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，如反向傳播(Back Propagation，BP)網(wǎng)絡(luò)，需要人為設(shè)置大量的網(wǎng)絡(luò)訓(xùn)練參數(shù)，訓(xùn)練速度慢、很容易產(chǎn)生局部最優(yōu)解。針對(duì)以上問(wèn)題，Huang提出一種叫做極限學(xué)習(xí)機(jī)(Extreme Learning Machine，ELM)的單隱層前饋神經(jīng)網(wǎng)絡(luò)(Single-hidden Layer Feedforward Neural Networks,SLFNs)新算法。該算法的核心主要是兩個(gè)部分：一是隨機(jī)產(chǎn)生輸入權(quán)重和隱層偏置，避免了迭代調(diào)節(jié)參數(shù)；二是將神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問(wèn)題變化成求解最小二乘的問(wèn)題，產(chǎn)生唯一的最優(yōu)解，避免了人工神經(jīng)網(wǎng)絡(luò)需要人為的調(diào)整參數(shù)和易于陷入局部最優(yōu)解的缺陷。ELM算法因其簡(jiǎn)單易實(shí)現(xiàn)、學(xué)習(xí)速度快、泛化能力強(qiáng)等特點(diǎn)，近年來(lái)受到越來(lái)越多的關(guān)注。然而，傳統(tǒng)ELM需要大量的有標(biāo)簽數(shù)據(jù)來(lái)訓(xùn)練分類器，要求訓(xùn)練數(shù)據(jù)和待識(shí)別目標(biāo)具有相同的分布特性即不具備領(lǐng)域遷移能力等。而在現(xiàn)實(shí)生活中，給數(shù)據(jù)打上標(biāo)簽會(huì)耗費(fèi)大量的人力、物力，而且待識(shí)別目標(biāo)與訓(xùn)練數(shù)據(jù)不一定滿足分布相同這一條件，例如AUV進(jìn)行海底環(huán)境探索的實(shí)際過(guò)程中，受環(huán)境(光線，海水濁度，地質(zhì)特點(diǎn)等)等因素影響，AUV在海底兩個(gè)不同海域采集到的圖像會(huì)存在數(shù)據(jù)偏移現(xiàn)象并且具有先驗(yàn)知識(shí)的(有標(biāo)簽數(shù)據(jù))訓(xùn)練樣本數(shù)據(jù)往往是少量的。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明將半監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)、極限學(xué)習(xí)機(jī)有機(jī)結(jié)合，提出了一種基于流形正則項(xiàng)和Lp范數(shù)正則子的領(lǐng)域遷移極限學(xué)習(xí)機(jī)算法，以彌補(bǔ)現(xiàn)有技術(shù)的不足。

為達(dá)到上述目的，本發(fā)明采取的具體技術(shù)方案為：

步驟1：設(shè)源領(lǐng)域數(shù)據(jù)為D_S＝{X_S}，其中源領(lǐng)域有標(biāo)簽數(shù)據(jù)T_S是相應(yīng)的類別標(biāo)簽，源領(lǐng)域無(wú)標(biāo)簽數(shù)據(jù)目標(biāo)領(lǐng)域數(shù)據(jù)為D_T＝{X_T}，其中目標(biāo)領(lǐng)域有標(biāo)簽數(shù)據(jù)T_T是相應(yīng)的類別標(biāo)簽，目標(biāo)領(lǐng)域無(wú)標(biāo)簽數(shù)據(jù)把第i個(gè)數(shù)據(jù)樣本表示成x_i＝[x_i1,x_i2,…,x_in]^T，n是每個(gè)數(shù)據(jù)的特征維度；

步驟2：隨機(jī)產(chǎn)生極限學(xué)習(xí)機(jī)的隱層節(jié)點(diǎn)參數(shù)(a_i,b_i),i＝1,2,...,L，其中a_i＝[a_i1,a_i2,…,a_in]^T是連接第i個(gè)隱層節(jié)點(diǎn)和輸入神經(jīng)元的輸入權(quán)重，n是輸入神經(jīng)元的個(gè)數(shù)，即等于數(shù)據(jù)的特征維度，b_i是第i個(gè)隱層節(jié)點(diǎn)的偏置，L是隱層節(jié)點(diǎn)個(gè)數(shù)；

步驟3：對(duì)于N個(gè)輸入樣本X＝{x₁,x₂,...,x_N}，計(jì)算相應(yīng)的隱層輸出矩陣：

其中表示激活函數(shù)；同樣的地對(duì)X_S，X_T和分別計(jì)算它們相對(duì)應(yīng)的隱層輸出矩陣，分別用H_S，和H_T來(lái)表示；

步驟4：結(jié)合半監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)，同時(shí)為使得結(jié)構(gòu)風(fēng)險(xiǎn)最小化，構(gòu)建出如下優(yōu)化模型：

其中||β||_p是用來(lái)約束權(quán)值空間的范數(shù)正則子，取三種范數(shù)正則子：L₁范數(shù)||β||₁，L₂范數(shù)和包絡(luò)范數(shù)其介于L₁范數(shù)和L₂范數(shù)之間；C_S，C_T，λ_S和λ_T都是懲罰參數(shù)，L_S和L_T分別是源領(lǐng)域數(shù)據(jù)和目標(biāo)領(lǐng)域數(shù)據(jù)的拉普拉斯算子，表示矩陣的跡；

步驟5：設(shè)定上述步驟4中的4個(gè)懲罰參數(shù)；

步驟6：根據(jù)源領(lǐng)域所有數(shù)據(jù)X_S和目標(biāo)領(lǐng)域所有數(shù)據(jù)X_T分別計(jì)算L_S和L_T；

步驟7：根據(jù)步驟4所述優(yōu)化模型，求解最優(yōu)的連接隱層節(jié)點(diǎn)和輸出神經(jīng)元的輸出權(quán)值β，在此步驟中，不同的范數(shù)正則子采用不同的求解方式，具體如下：

7-1.當(dāng)采用L₁范數(shù)||β||₁時(shí)，令

則

隨機(jī)初始化輸出權(quán)值β，然后使用前向后向分裂算法得：

其中k是迭代次數(shù)；

令U^k＝β^k-m▽F(β^k)，此時(shí)利用迭代軟閾值收縮算法得：

7-2.當(dāng)采用L₂范數(shù)時(shí)，利用拉格朗日乘子求解可得：

令中樣本的個(gè)數(shù)為N_S，

當(dāng)N_S＜L時(shí)，

當(dāng)N_S＞L時(shí)，

7-3.當(dāng)采用包絡(luò)范數(shù)時(shí)，令

則

隨機(jī)初始化輸出權(quán)值β，然后利用前向后向分裂算法得：

k是迭代次數(shù)；

令U^k＝β^k-m▽F(β^k)，利用迭代軟閾值收縮算法得：

步驟8：根據(jù)步驟7得到的三個(gè)不同輸出權(quán)值β，相應(yīng)形成三個(gè)不同的基于流形正則項(xiàng)和Lp范數(shù)正則子的領(lǐng)域遷移極限學(xué)習(xí)機(jī)模型，然后根據(jù)訓(xùn)練誤差的大小取其中訓(xùn)練誤差最小的一個(gè)模型并將其應(yīng)用到后續(xù)新數(shù)據(jù)的預(yù)測(cè)問(wèn)題中。

其中表示激活函數(shù)，主要包括sigmoid函數(shù)，sin函數(shù)，hardlim函數(shù)，radbas函數(shù)，tridbas函數(shù)等等。

另外，上述步驟4中的優(yōu)化模型包含了：1.能夠挖掘有標(biāo)簽和無(wú)標(biāo)簽數(shù)據(jù)樣本的幾何分布形狀實(shí)現(xiàn)半監(jiān)督學(xué)習(xí)的流形正則項(xiàng)，2.同時(shí)考慮源領(lǐng)域數(shù)據(jù)和目標(biāo)領(lǐng)域數(shù)據(jù)誤差最小化以實(shí)現(xiàn)遷移學(xué)習(xí)的損失函數(shù)項(xiàng)，3.約束權(quán)值空間的范數(shù)正則子

本發(fā)明的優(yōu)點(diǎn)：本發(fā)明在傳統(tǒng)的極限學(xué)習(xí)機(jī)基礎(chǔ)上，引入半監(jiān)督學(xué)習(xí)和遷移學(xué)習(xí)的思想，構(gòu)造了一種新的極限學(xué)習(xí)機(jī)模型。該模型由3部分組成，包含：1.能夠挖掘有標(biāo)簽和無(wú)標(biāo)簽數(shù)據(jù)樣本的幾何分布形狀實(shí)現(xiàn)半監(jiān)督學(xué)習(xí)的流形正則項(xiàng)，2.同時(shí)考慮源領(lǐng)域數(shù)據(jù)和目標(biāo)領(lǐng)域數(shù)據(jù)誤差最小化以實(shí)現(xiàn)遷移學(xué)習(xí)的損失函數(shù)項(xiàng)，3.約束權(quán)值空間的范數(shù)正則子。

另外，本發(fā)明提出了3種范數(shù)正則子來(lái)約束權(quán)值空間，L1范數(shù)正則子的主要作用是使權(quán)值具有稀疏性，使得模型排除冗余特征的干擾，實(shí)現(xiàn)特征篩選功能；L2范數(shù)正則子使得權(quán)值的每一個(gè)分量都很小，約束每一個(gè)特征分量對(duì)結(jié)果有一個(gè)合適的影響力度，這樣不僅可以防止模型過(guò)擬合，也可以使得模型比較穩(wěn)定，泛化能力較強(qiáng)。包絡(luò)范數(shù)正則子的優(yōu)點(diǎn)在與其可調(diào)整性，它是一個(gè)L1范數(shù)和L2范數(shù)之間的彈性網(wǎng)絡(luò)，兼具L1范數(shù)和L2范數(shù)的優(yōu)點(diǎn)；使得本發(fā)明提出的模型在經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的同時(shí)也能夠保持結(jié)構(gòu)風(fēng)險(xiǎn)最小化；本方法分別對(duì)3種范數(shù)正則子情況進(jìn)行了求解，進(jìn)一步充實(shí)了極限學(xué)習(xí)機(jī)的理論框架，探索了不同范數(shù)正則子下模型的性能以便從其中確定一個(gè)最優(yōu)預(yù)測(cè)效果下的模型，從而進(jìn)一步有效的提升了本發(fā)明方法預(yù)測(cè)結(jié)果的精度和穩(wěn)定性。

本發(fā)明結(jié)合源領(lǐng)域來(lái)處理目標(biāo)領(lǐng)域的預(yù)測(cè)問(wèn)題，如回歸問(wèn)題與分類問(wèn)題，提高了極限學(xué)習(xí)機(jī)的泛化能力和應(yīng)用范圍。其中，流行正則項(xiàng)的引入也使得本發(fā)明提出的方法能夠在帶標(biāo)簽的數(shù)據(jù)較少時(shí)依然能夠保持較好的學(xué)習(xí)效果，克服了傳統(tǒng)機(jī)器學(xué)習(xí)方法需要大量有標(biāo)簽數(shù)據(jù)的限制，同時(shí)也提高了預(yù)測(cè)的準(zhǔn)確性和魯棒性。

附圖說(shuō)明

圖1是本發(fā)明方法的流程圖。

圖2是本發(fā)明的極限學(xué)習(xí)機(jī)模型示意圖。

具體實(shí)施方式

為更好地理解本發(fā)明，下面結(jié)合具體實(shí)施例對(duì)本發(fā)明做進(jìn)一步地詳細(xì)說(shuō)明，但是以下描述僅作為示范和解釋，并不對(duì)本發(fā)明作任何形式上的限制。

本實(shí)施例采用的數(shù)據(jù)來(lái)自UCI機(jī)器學(xué)習(xí)數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)包含一個(gè)電子鼻系統(tǒng)在一個(gè)輸氣平臺(tái)采集到的6種氣體連續(xù)36個(gè)月共13910個(gè)氣體樣本的數(shù)據(jù)資料。本實(shí)施例中每個(gè)樣本提取一個(gè)128維的特征來(lái)表征。由于電子鼻系統(tǒng)的氣體探測(cè)傳感器隨著時(shí)間的變化會(huì)有傳感器漂移現(xiàn)象，因此采集到的這些氣體數(shù)據(jù)在不同的時(shí)間段也會(huì)存在數(shù)據(jù)偏移現(xiàn)象。本發(fā)明方法的流程如圖1所示。

步驟1：取第1,2個(gè)月445個(gè)氣體樣本數(shù)據(jù)作為無(wú)傳感器漂移現(xiàn)象的源領(lǐng)域數(shù)據(jù)，記為D_S＝{X_S}，取其中100個(gè)樣本作為無(wú)漂移的源領(lǐng)域有標(biāo)簽氣體樣本數(shù)據(jù)，記為T_S是相應(yīng)的類別標(biāo)簽，其余樣本作為無(wú)漂移的源領(lǐng)域無(wú)標(biāo)簽氣體樣本數(shù)據(jù)，記為取第3-10個(gè)月1244個(gè)氣體樣本數(shù)據(jù)作為存在傳感器漂移現(xiàn)象的目標(biāo)領(lǐng)域數(shù)據(jù)，記為D_T＝{X_T}，取其中200個(gè)樣本作為有漂移的目標(biāo)領(lǐng)域有標(biāo)簽氣體樣本數(shù)據(jù)，記為T_T是相應(yīng)的類別標(biāo)簽，其余樣本作為有漂移的目標(biāo)領(lǐng)域無(wú)標(biāo)簽氣體樣本數(shù)據(jù)，記為把第i個(gè)氣體樣本表示成x_i＝[x_i1,x_i2,…,x_in]^T，n是每個(gè)氣體樣本數(shù)據(jù)的特征維度，在此n＝128；

步驟2：本發(fā)明的極限學(xué)習(xí)機(jī)模型如圖2所示：事先設(shè)定好隱層節(jié)點(diǎn)個(gè)數(shù)L，利用隨機(jī)函數(shù)隨機(jī)產(chǎn)生隱層節(jié)點(diǎn)參數(shù)(a_i,b_i),i＝1,2,...,L，其中a_i＝[a_i1,a_i2,…,a_in]^T是連接第i個(gè)隱層節(jié)點(diǎn)和輸入神經(jīng)元的輸入權(quán)重，n是輸入神經(jīng)元的個(gè)數(shù)(它等于氣體樣本的特征維度，即為128)，b_i是第i個(gè)隱層節(jié)點(diǎn)的偏置；

步驟3：對(duì)于N個(gè)輸入的氣體樣本數(shù)據(jù)X＝{x₁,x₂,...,x_N}，計(jì)算其相應(yīng)的隱層輸出矩陣：

其中表示激活函數(shù)，本實(shí)施例采用sigmoid函數(shù)作為激勵(lì)函數(shù)；對(duì)X_S，X_T和分別計(jì)算它們相對(duì)應(yīng)的隱層輸出矩陣，分別記為H_S，和H_T；

步驟4：結(jié)合半監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)，我們引入流形正則項(xiàng)并同時(shí)考慮源領(lǐng)域和目標(biāo)領(lǐng)域誤差最小化，構(gòu)建本發(fā)明方法的優(yōu)化模型：

其中||β||_p是用來(lái)約束權(quán)值空間的范數(shù)正則子，我們?cè)诒景l(fā)明中考慮了L₁范數(shù)||β||₁，L₂范數(shù)(為了方便求解，使用的是0.5倍的L₂范數(shù)平方的形式)和包絡(luò)范數(shù)(介于L₁范數(shù)和L₂范數(shù)之間，)三種范數(shù)正則子；C_S，C_T，λ_S和λ_T都是懲罰參數(shù)，L_S和L_T分別是源領(lǐng)域數(shù)據(jù)和目標(biāo)領(lǐng)域數(shù)據(jù)的拉普拉斯算子，表示矩陣的跡；

步驟5：設(shè)定上述步驟中的4個(gè)懲罰參數(shù)C_S，C_T，λ_S和λ_T；

步驟6：分別計(jì)算不存在漂移現(xiàn)象的源領(lǐng)域氣體樣本數(shù)據(jù)和存在漂移現(xiàn)象的目標(biāo)領(lǐng)域氣體樣本數(shù)據(jù)的拉普拉斯矩陣L_S和L_T；

步驟7：根據(jù)步驟4所述優(yōu)化模型，求解最優(yōu)的連接隱層節(jié)點(diǎn)和輸出神經(jīng)元的輸出權(quán)值β，不同的范數(shù)正則子本發(fā)明采用不同的求解方式，具體如下：

7-1.當(dāng)采用L₁范數(shù)||β||₁時(shí)，令

則

隨機(jī)初始化輸出權(quán)值β，設(shè)置迭代終止條件，然后由前向后向分裂算法(FOBOS)得到模型迭代形式的解：k是迭代次數(shù)；

令U^k＝β^k-m▽F(β^k)，由迭代軟閾值收縮算法(ISTA)得，

當(dāng)滿足迭代終止條件時(shí)，迭代停止，得到模型L₁范數(shù)下的輸出權(quán)值；

7-2.當(dāng)采用L₂范數(shù)時(shí)，模型可以寫成：

N_S是中氣體樣本的個(gè)數(shù)，N_T是中氣體樣本的個(gè)數(shù)；分別表示無(wú)飄移的源領(lǐng)域第i個(gè)氣體樣本的隱層輸出，類別標(biāo)簽(理想輸出)，實(shí)際輸出與理想輸出之間的誤差；同樣，分別表示有漂移的目標(biāo)領(lǐng)域第j個(gè)氣體樣本的隱層輸出，類別標(biāo)簽(理想輸出)，實(shí)際輸出與理想輸出之間的誤差；

利用拉格朗日乘子，上述問(wèn)題可以寫成：

對(duì)上式求偏導(dǎo)：

當(dāng)N_S＜L時(shí)，

令由上述方程式可得：

令

方程式可以簡(jiǎn)化為：

然后解得α_S,α_T：

解得模型L₂范數(shù)下的輸出權(quán)值：

當(dāng)N_S＞L時(shí)，

由偏導(dǎo)式方程可得：

解得模型L₂范數(shù)下的輸出權(quán)值：

7-3.當(dāng)采用包絡(luò)范數(shù)時(shí)，令

則

隨機(jī)初始化輸出權(quán)值β，設(shè)置迭代終止條件，然后由前向后向分裂算法(FOBOS)得到模型迭代形式的解：

令U^k＝β^k-m▽F(β^k)，由迭代軟閾值收縮算法(ISTA)得，

當(dāng)滿足迭代終止條件時(shí)，迭代停止，得到模型包絡(luò)范數(shù)下的輸出權(quán)值；

步驟8：根據(jù)步驟7得到的輸出權(quán)值矩陣β，得到本發(fā)明的基于流形正則項(xiàng)和Lp范數(shù)正則子的領(lǐng)域遷移極限學(xué)習(xí)機(jī)模型f(x)并將此模型應(yīng)用到電子鼻系統(tǒng)的氣體識(shí)別中。

實(shí)驗(yàn)表明，本發(fā)明方法對(duì)電子鼻系統(tǒng)采集到的氣體樣本識(shí)別率可達(dá)98％，此結(jié)果遠(yuǎn)高于使用傳統(tǒng)ELM方法的82％的識(shí)別率，從而證明了本方法的有效性。

以上所述，僅是本發(fā)明的實(shí)施例之一，并非對(duì)本發(fā)明作任何形式上的限制，凡是依據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對(duì)以上實(shí)施例所作的任何簡(jiǎn)單修改、等同變化與修飾，均仍屬本發(fā)明技術(shù)方案的保護(hù)范圍。