1.一種基于流形正則和范數(shù)正則的領(lǐng)域遷移極限學(xué)習(xí)機(jī)方法,其特征在于,包括以下步驟:
步驟1:設(shè)源領(lǐng)域數(shù)據(jù)為DS={XS},其中源領(lǐng)域有標(biāo)簽數(shù)據(jù)TS是相應(yīng)的類別標(biāo)簽,源領(lǐng)域無(wú)標(biāo)簽數(shù)據(jù)目標(biāo)領(lǐng)域數(shù)據(jù)為DT={XT},其中目標(biāo)領(lǐng)域有標(biāo)簽數(shù)據(jù)TT是相應(yīng)的類別標(biāo)簽,目標(biāo)領(lǐng)域無(wú)標(biāo)簽數(shù)據(jù)把第i個(gè)數(shù)據(jù)樣本表示成xi=[xi1,xi2,…,xin]T,n是每個(gè)數(shù)據(jù)的特征維度;
步驟2:隨機(jī)產(chǎn)生極限學(xué)習(xí)機(jī)的隱層節(jié)點(diǎn)參數(shù)(ai,bi),i=1,2,...,L,其中ai=[ai1,ai2,…,ain]T是連接第i個(gè)隱層節(jié)點(diǎn)和輸入神經(jīng)元的輸入權(quán)重,n是輸入神經(jīng)元的個(gè)數(shù),即等于數(shù)據(jù)的特征維度,bi是第i個(gè)隱層節(jié)點(diǎn)的偏置,L是隱層節(jié)點(diǎn)個(gè)數(shù);
步驟3:對(duì)于N個(gè)輸入樣本X={x1,x2,...,xN},計(jì)算相應(yīng)的隱層輸出矩陣:
其中表示激活函數(shù);同樣的地對(duì)XS,XT和分別計(jì)算它們相對(duì)應(yīng)的隱層輸出矩陣,分別用HS,和HT來(lái)表示;
步驟4:結(jié)合半監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí),構(gòu)建出如下優(yōu)化模型:
其中||β||p是用來(lái)約束權(quán)值空間的范數(shù)正則子,取三種范數(shù)正則子:L1范數(shù)||β||1,L2范數(shù)和包絡(luò)范數(shù)其介于L1范數(shù)和L2范數(shù)之間;CS,CT,λS和λT都是懲罰參數(shù),LS和LT分別是源領(lǐng)域數(shù)據(jù)和目標(biāo)領(lǐng)域數(shù)據(jù)的拉普拉斯算子,表示矩陣的跡;
步驟5:設(shè)定上述步驟4中的4個(gè)懲罰參數(shù);
步驟6:根據(jù)源領(lǐng)域所有數(shù)據(jù)XS和目標(biāo)領(lǐng)域所有數(shù)據(jù)XT分別計(jì)算LS和LT;
步驟7:根據(jù)步驟4所述優(yōu)化模型,求解最優(yōu)的連接隱層節(jié)點(diǎn)和輸出神經(jīng)元的輸出權(quán)值β;
步驟8:根據(jù)步驟7得到的不同輸出權(quán)值β,相應(yīng)形成不同的基于流形正則項(xiàng)和Lp范數(shù)正則子的領(lǐng)域遷移極限學(xué)習(xí)機(jī)模型,然后根據(jù)訓(xùn)練誤差的大小取其中訓(xùn)練誤差最小的一個(gè)模型并將其應(yīng)用到后續(xù)新數(shù)據(jù)的預(yù)測(cè)問(wèn)題中。
2.根據(jù)權(quán)利要求1所述的領(lǐng)域遷移極限學(xué)習(xí)機(jī)算法,其特征在于,步驟3中的所述表示激活函數(shù),包括sigmoid函數(shù),sin函數(shù),hardlim函數(shù),radbas函數(shù),tridbas函數(shù)。
3.根據(jù)權(quán)利要求1所述的領(lǐng)域遷移極限學(xué)習(xí)機(jī)算法,其特征在于,所述步驟7中,不同的范數(shù)正則子采用不同的求解方式,具體如下:
(1)當(dāng)采用L1范數(shù)||β||1時(shí),令
則
隨機(jī)初始化輸出權(quán)值β,然后使用前向后向分裂算法得:
其中k是迭代次數(shù);
令此時(shí)利用迭代軟閾值收縮算法得:
(2)當(dāng)采用L2范數(shù)時(shí),利用拉格朗日乘子求解可得:
令中樣本的個(gè)數(shù)為NS,
當(dāng)NS<L時(shí),
當(dāng)NS>L時(shí),
(3)當(dāng)采用包絡(luò)范數(shù)時(shí),令
則
隨機(jī)初始化輸出權(quán)值β,然后利用前向后向分裂算法得:
k是迭代次數(shù);
令利用迭代軟閾值收縮算法得: