一種支持增量式更新的大數(shù)據(jù)特征學(xué)習(xí)的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及一種支持增量式更新的大數(shù)據(jù)特征學(xué)習(xí)的 方法。
【背景技術(shù)】
[0002] 近年來，隨著電子商務(wù)、科學(xué)研宄等領(lǐng)域的迅速發(fā)展，數(shù)據(jù)量正以驚人的速度增 長。比如淘寶網(wǎng)每日新增的交易數(shù)據(jù)達(dá)IOTB ;eBay分析平臺日處理數(shù)據(jù)量高達(dá)100PB，據(jù) 美國國家安全局估算，互聯(lián)網(wǎng)每天產(chǎn)生的數(shù)據(jù)高達(dá)1826PB。這些數(shù)據(jù)的類型多樣，高度異 構(gòu)，包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等。數(shù)據(jù)的內(nèi)容與分布特征均處于高速 動(dòng)態(tài)變化之中，并要求被實(shí)時(shí)分析和處理，這與傳統(tǒng)數(shù)據(jù)挖掘有著本質(zhì)不同，尤其是在欺詐 檢測，大規(guī)模在線監(jiān)測與檢測等；需要做到數(shù)據(jù)的實(shí)時(shí)分析和處理。大數(shù)據(jù)的爆炸式產(chǎn)生為 諸多行業(yè)帶來了前所未有的發(fā)展機(jī)遇與變革潛力，如商業(yè)金融、醫(yī)療保健行業(yè)的制造以及 教育服務(wù)領(lǐng)域，同時(shí)大數(shù)據(jù)的復(fù)雜性與高速變化特性為其特征學(xué)習(xí)來了巨大的挑戰(zhàn)。
[0003] 現(xiàn)有的特征學(xué)習(xí)方法無法有效的從快速變化的大數(shù)據(jù)中學(xué)習(xí)到有用的特征。深度 學(xué)習(xí)的出現(xiàn)為大數(shù)據(jù)特征學(xué)習(xí)提供了新的解決思路。如今，深度學(xué)習(xí)在圖像分析、語音識別 及自然語言處理方面取得了巨大的進(jìn)展。大數(shù)據(jù)具有高速變化特性，數(shù)據(jù)以極快的速度產(chǎn) 生，其內(nèi)容和分布特征均處于高速動(dòng)態(tài)變化之中。同時(shí)，大數(shù)據(jù)要求得到及時(shí)分析與處理。 典型的深度學(xué)習(xí)采用前饋神經(jīng)網(wǎng)絡(luò)堆疊而成，前饋神經(jīng)網(wǎng)絡(luò)是一種靜態(tài)學(xué)習(xí)模型，導(dǎo)致深 度學(xué)習(xí)難以學(xué)習(xí)處于高速動(dòng)態(tài)變化中的大數(shù)據(jù)特征。
[0004] -個(gè)神經(jīng)網(wǎng)絡(luò)的知識由其參數(shù)和結(jié)構(gòu)（隱藏層神經(jīng)元數(shù)目與神經(jīng)元間的連接方 式）表示，為了能夠?qū)W習(xí)動(dòng)態(tài)數(shù)據(jù)的特征，研宄人員提出了增量式學(xué)習(xí)模型。增量式學(xué)習(xí)模 型是指建立在已有模型的基礎(chǔ)上，即不需要?dú)v史數(shù)據(jù)重新訓(xùn)練，根據(jù)當(dāng)前的新數(shù)據(jù)實(shí)例更 新模型的參數(shù)與結(jié)構(gòu)，使之能夠?qū)W習(xí)變化數(shù)據(jù)的特征；同時(shí)需要盡力保持模型的原始參數(shù)， 使得更新模型仍能有效學(xué)習(xí)歷史數(shù)據(jù)特征。典型的增量式學(xué)習(xí)模型采用在線學(xué)習(xí)的方式， 每次學(xué)習(xí)一個(gè)數(shù)據(jù)實(shí)例并更新網(wǎng)絡(luò)模型的參數(shù)。這種方法不但能夠使網(wǎng)絡(luò)模型快速學(xué)習(xí)新 數(shù)據(jù)的特征，而且不需要將整個(gè)數(shù)據(jù)集加載到內(nèi)存中。然而在線學(xué)習(xí)方式對參數(shù)的更新速 度過快，尤其在大數(shù)據(jù)時(shí)代，數(shù)據(jù)內(nèi)容與特征處于高速變化之中，每次根據(jù)新的數(shù)據(jù)實(shí)例對 網(wǎng)絡(luò)模型參數(shù)進(jìn)行更新，會(huì)使得整個(gè)模型對原始參數(shù)的遺忘速率過快，導(dǎo)致更新后的模型 無法再學(xué)習(xí)歷史數(shù)據(jù)的特征。另一種典型的增量式學(xué)習(xí)模型采用增加網(wǎng)絡(luò)隱藏層神經(jīng)元的 方式對模型進(jìn)行更新，當(dāng)新的數(shù)據(jù)實(shí)例到來后，增加網(wǎng)絡(luò)隱藏層的神經(jīng)元，重新計(jì)算網(wǎng)絡(luò)模 型的參數(shù)，使網(wǎng)絡(luò)模型能夠?qū)W習(xí)新數(shù)據(jù)的特征。這種方式能夠盡可能的保持模型的原始知 識，同時(shí)能夠?qū)W習(xí)動(dòng)態(tài)變化數(shù)據(jù)的特征。然而這種更新方法會(huì)不斷的增加網(wǎng)絡(luò)隱藏層神經(jīng) 元數(shù)目，使得網(wǎng)絡(luò)規(guī)模迅速增大。隨著網(wǎng)絡(luò)規(guī)模的增大，冗余連接數(shù)目隨之增多，面對規(guī)模 巨大的動(dòng)態(tài)變化的大數(shù)據(jù)而言，這會(huì)使得更新模型的訓(xùn)練速度、學(xué)習(xí)能力和泛化能力急劇 降低。

【發(fā)明內(nèi)容】

[0005] 針對大數(shù)據(jù)具有高速變化特征，其內(nèi)容與分布特征均處于動(dòng)態(tài)變化中，現(xiàn)有技術(shù) 無法很好的支持大數(shù)據(jù)增量式更新的學(xué)習(xí)特征，本發(fā)明實(shí)施例提供了一種支持增量式更新 的大數(shù)據(jù)特征學(xué)習(xí)的方法，通過設(shè)計(jì)一個(gè)優(yōu)化目標(biāo)函數(shù)對參數(shù)進(jìn)行快速增量式更新，為了 在更新過程中保持網(wǎng)絡(luò)的原始知識，利用L-范數(shù)計(jì)算參數(shù)更新前后的誤差，當(dāng)誤差超過一 定閾值時(shí)，通過增加隱藏層神經(jīng)元數(shù)目網(wǎng)絡(luò)對結(jié)構(gòu)進(jìn)行更新，使得更新后的網(wǎng)絡(luò)能夠?qū)崟r(shí) 學(xué)習(xí)動(dòng)態(tài)變化大數(shù)據(jù)的特征。
[0006] 本發(fā)明提供了一種支持增量式更新的大數(shù)據(jù)特征學(xué)習(xí)的方法，其特征在于，包括 如下步驟：
[0007] 基于一階近似的參數(shù)更新算法來獲取神經(jīng)網(wǎng)絡(luò)模型中更新的神經(jīng)網(wǎng)絡(luò)模型的參 數(shù)；
[0008] 采用L-范數(shù)計(jì)算神經(jīng)網(wǎng)絡(luò)模型更新前后的誤差值；
[0009] 判斷所述誤差值是否大于神經(jīng)網(wǎng)絡(luò)模型誤差上線閾值；
[0010] 如果所述誤差值小于神經(jīng)網(wǎng)絡(luò)模型誤差上線閾值，則將計(jì)算出的更新的神經(jīng)網(wǎng)絡(luò) 模型的參數(shù)作為更新的神經(jīng)網(wǎng)絡(luò)模型的參數(shù)；如果所述誤差值大于等于神經(jīng)網(wǎng)絡(luò)模型誤差 上線閾值，則基于增加隱藏層神經(jīng)元的結(jié)構(gòu)更新算法獲取更新的神經(jīng)網(wǎng)絡(luò)模型的參數(shù)。
[0011] 所述基于增加隱藏層神經(jīng)元的結(jié)構(gòu)更新算法獲取更新的神經(jīng)網(wǎng)絡(luò)模型的參數(shù)步 驟之后還包括：
[0012] 對更新后的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的權(quán)重矩陣進(jìn)行奇異值分解SVD，刪除冗余的網(wǎng)絡(luò)連 接。
[0013] 所述基于一階近似的參數(shù)更新算法來獲取神經(jīng)網(wǎng)絡(luò)模型中更新的網(wǎng)絡(luò)模型的參 數(shù)包括：
[0014] 通過前向傳播計(jì)算隱藏層神經(jīng)元及神經(jīng)網(wǎng)絡(luò)模型的輸出值；
[0015] 計(jì)算神經(jīng)網(wǎng)絡(luò)模型的輸出值與理想輸出值的差值；
[0016] 通過反向傳播算法計(jì)算神經(jīng)網(wǎng)絡(luò)模型輸出值對原始參數(shù)的偏導(dǎo)數(shù)；
[0017] 計(jì)算偏導(dǎo)數(shù)矩陣的逆矩陣；
[0018] 根據(jù)神經(jīng)網(wǎng)絡(luò)模型的輸出值與理想輸出值的差值和偏導(dǎo)數(shù)矩陣的逆矩陣計(jì)算出 更新神經(jīng)網(wǎng)絡(luò)模型的參數(shù)增量；所述更新的神經(jīng)網(wǎng)絡(luò)模型的參數(shù)為原始參數(shù)和參數(shù)增量之 和。
[0019] 所述基于增加隱藏層神經(jīng)元的結(jié)構(gòu)更新算法獲取更新的神經(jīng)網(wǎng)絡(luò)模型的參數(shù)包 括：
[0020] 在神經(jīng)網(wǎng)絡(luò)模型中引入新的參數(shù)與原始參數(shù)結(jié)合作為網(wǎng)絡(luò)參數(shù)的初始值；
[0021] 采用反向傳播算法求解網(wǎng)絡(luò)誤差函數(shù)的偏導(dǎo)數(shù)；
[0022] 利用梯度下降法更新網(wǎng)絡(luò)參數(shù)。
[0023] 針對以上問題，本文針對大數(shù)據(jù)的內(nèi)容與特征處于不斷變化特性，提出一種支持 增量式更新的神經(jīng)網(wǎng)絡(luò)模型，該神經(jīng)網(wǎng)絡(luò)模型能夠?qū)崟r(shí)的學(xué)習(xí)處于高速變化的大數(shù)據(jù)特 征。本文提出的方法通過參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)的更新實(shí)現(xiàn)對前饋神經(jīng)網(wǎng)絡(luò)的更新，使得更新的 神經(jīng)網(wǎng)絡(luò)模型能夠有效學(xué)習(xí)動(dòng)態(tài)變化的大數(shù)據(jù)特征。在神經(jīng)網(wǎng)絡(luò)模型的更新過程中，每次 根據(jù)一條新的數(shù)據(jù)實(shí)例進(jìn)行更新，不