到更小的平均誤差，在更小的誤差下第一初始深度神經(jīng)網(wǎng)絡(luò)的反向處理具有更小波動(dòng)的參數(shù)變化，因此，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程更穩(wěn)定、更容易收斂，訓(xùn)練后得到的神經(jīng)網(wǎng)絡(luò)能夠更準(zhǔn)確地為輸入對(duì)象計(jì)算輸出對(duì)象。
[0094]應(yīng)當(dāng)注意，盡管在上文詳細(xì)描述中提及了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練設(shè)備的若干裝置或子裝置，但是這種劃分僅僅并非強(qiáng)制性的。實(shí)際上，根據(jù)本發(fā)明的實(shí)施方式，上文描述的兩個(gè)或更多裝置的特征和功能可以在一個(gè)裝置中具體化。反之，上文描述的一個(gè)裝置的特征和功能可以進(jìn)一步劃分為由多個(gè)裝置來具體化。
[0095]此外，盡管在附圖中以特定順序描述了本發(fā)明方法的操作，但是，這并非要求或者暗示必須按照該特定順序來執(zhí)行這些操作，或是必須執(zhí)行全部所示的操作才能實(shí)現(xiàn)期望的結(jié)果。附加地或備選地，可以省略某些步驟，將多個(gè)步驟合并為一個(gè)步驟執(zhí)行，和/或?qū)⒁粋€(gè)步驟分解為多個(gè)步驟執(zhí)行。
[0096]雖然已經(jīng)參考若干【具體實(shí)施方式】描述了本發(fā)明的精神和原理，但是應(yīng)該理解，本發(fā)明并不限于所公開的【具體實(shí)施方式】，對(duì)各方面的劃分也不意味著這些方面中的特征不能組合以進(jìn)行受益，這種劃分僅是為了表述的方便。本發(fā)明旨在涵蓋所附權(quán)利要求的精神和范圍內(nèi)所包括的各種修改和等同布置。
【主權(quán)項(xiàng)】
1.一種方法，包括: 構(gòu)建第一初始深度神經(jīng)網(wǎng)絡(luò)； 利用第一訓(xùn)練數(shù)據(jù)對(duì)所述第一初始深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以形成第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)； 其中，所述第一初始深度神經(jīng)網(wǎng)絡(luò)的輸出層上包括第一輸出節(jié)點(diǎn)和輔助節(jié)點(diǎn)，其中，每一所述第一輸出節(jié)點(diǎn)分別對(duì)應(yīng)所述第一初始深度神經(jīng)網(wǎng)絡(luò)的每一可輸出對(duì)象，所述第一輸出節(jié)點(diǎn)的數(shù)量等于所述第一初始深度神經(jīng)網(wǎng)絡(luò)的可輸出對(duì)象的數(shù)量，所述輔助節(jié)點(diǎn)不對(duì)應(yīng)所述第一初始深度網(wǎng)絡(luò)的任何可輸出對(duì)象。2.根據(jù)權(quán)利要求1所述的方法，還包括: 對(duì)所述第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)上的節(jié)點(diǎn)進(jìn)行改造，以形成第二初始深度神經(jīng)網(wǎng)絡(luò)； 利用第二訓(xùn)練數(shù)據(jù)對(duì)所述第二初始深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以形成第二目標(biāo)深度神經(jīng)網(wǎng)絡(luò)； 其中，所述第二初始深度神經(jīng)網(wǎng)絡(luò)的輸出層上包括第二輸出節(jié)點(diǎn)，每一所述第二輸出節(jié)點(diǎn)分別對(duì)應(yīng)所述第二初始深度神經(jīng)網(wǎng)絡(luò)的每一可輸出對(duì)象，所述第二輸出節(jié)點(diǎn)的數(shù)量等于所述第二初始深度神經(jīng)網(wǎng)絡(luò)的可輸出對(duì)象的數(shù)量； 所述第一初始深度神經(jīng)網(wǎng)絡(luò)的可輸出對(duì)象為待識(shí)別對(duì)象的第一類別，所述第二初始深度神經(jīng)網(wǎng)絡(luò)的可輸出對(duì)象為待識(shí)別對(duì)象的第二類別，所述第二類別為所述第一類別的細(xì)化分類。3.根據(jù)權(quán)利要求2所述的方法，其中，所述對(duì)所述第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)上的節(jié)點(diǎn)進(jìn)行改造，以形成第二初始深度神經(jīng)網(wǎng)絡(luò)，包括: 在所述第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)中，將輸出層上的每一第一輸出節(jié)點(diǎn)擴(kuò)展成至少一個(gè)所述第二輸出節(jié)點(diǎn)并刪除輸出層上的所述輔助節(jié)點(diǎn)，以形成所述第二初始深度神經(jīng)網(wǎng)絡(luò)； 其中，對(duì)于任意一個(gè)所述第一輸出節(jié)點(diǎn)，該第一輸出節(jié)點(diǎn)擴(kuò)展出的第二輸出節(jié)點(diǎn)對(duì)應(yīng)的第二類別為該第一輸出節(jié)點(diǎn)對(duì)應(yīng)的第一類別的細(xì)化類別。4.根據(jù)權(quán)利要求2所述的方法，所述對(duì)所述第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)上的節(jié)點(diǎn)進(jìn)行改造，以形成第二初始深度神經(jīng)網(wǎng)絡(luò)，包括: 在所述第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)中，將輸出層上的每一所述第一輸出節(jié)點(diǎn)擴(kuò)展成至少一個(gè)所述第二輸出節(jié)點(diǎn)并增加輸出層之前一層上的節(jié)點(diǎn)數(shù)量，以形成所述第二初始深度神經(jīng)網(wǎng)絡(luò)； 其中，對(duì)于任意一個(gè)所述第一輸出節(jié)點(diǎn)，該第一輸出節(jié)點(diǎn)擴(kuò)展出的第二輸出節(jié)點(diǎn)對(duì)應(yīng)的第二類別為該第一輸出節(jié)點(diǎn)對(duì)應(yīng)的第一類別的細(xì)化類別。5.根據(jù)權(quán)利要求1所述的方法，其中，利用第一訓(xùn)練數(shù)據(jù)對(duì)所述第一初始深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以形成第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)，包括: 將所述第一訓(xùn)練數(shù)據(jù)的輸入值輸入所述第一初始深度神經(jīng)網(wǎng)絡(luò)的輸入層，在所述第一初始深度神經(jīng)網(wǎng)絡(luò)中對(duì)所述輸入值進(jìn)行正向處理，以在所述第一初始深度神經(jīng)網(wǎng)絡(luò)的輸出層得到正向處理輸出值； 計(jì)算所述輸入值在第一訓(xùn)練數(shù)據(jù)中對(duì)應(yīng)的輸出值與所述正向處理輸出值之間的誤差值； 以所述誤差值輸入所述第一初始深度神經(jīng)網(wǎng)絡(luò)的輸出層，在所述第一初始深度神經(jīng)網(wǎng)絡(luò)中對(duì)所述誤差值進(jìn)行反向傳播，以修正所述第一初始深度神經(jīng)網(wǎng)絡(luò)中的參數(shù)，從而形成所述第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)。6.根據(jù)權(quán)利要求2所述的方法，應(yīng)用于圖像識(shí)別， 所述待識(shí)別對(duì)象為圖像信息，所述第二類別為用于對(duì)圖像進(jìn)行分類的圖像標(biāo)簽，所述第一類別為用于對(duì)所述圖像標(biāo)簽進(jìn)行分類的類別。7.—種設(shè)備，包括: 構(gòu)建模塊，用于構(gòu)建第一初始深度神經(jīng)網(wǎng)絡(luò)； 第一訓(xùn)練模塊，用于利用第一訓(xùn)練數(shù)據(jù)對(duì)所述第一初始深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以形成第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)； 其中，所述第一初始深度神經(jīng)網(wǎng)絡(luò)的輸出層上包括第一輸出節(jié)點(diǎn)和輔助節(jié)點(diǎn)，其中，每一所述第一輸出節(jié)點(diǎn)分別對(duì)應(yīng)所述第一初始深度神經(jīng)網(wǎng)絡(luò)的每一可輸出對(duì)象，所述第一輸出節(jié)點(diǎn)的數(shù)量等于所述第一初始深度神經(jīng)網(wǎng)絡(luò)的可輸出對(duì)象的數(shù)量，所述輔助節(jié)點(diǎn)不對(duì)應(yīng)所述第一初始深度網(wǎng)絡(luò)的任何可輸出對(duì)象。8.根據(jù)權(quán)利要求7所述的設(shè)備，還包括: 改造模塊，用于對(duì)所述第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)上的節(jié)點(diǎn)進(jìn)行改造，以形成第二初始深度神經(jīng)網(wǎng)絡(luò)； 第二訓(xùn)練模塊，用于利用第二訓(xùn)練數(shù)據(jù)對(duì)所述第二初始深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以形成第二目標(biāo)深度神經(jīng)網(wǎng)絡(luò)； 其中，所述第二初始深度神經(jīng)網(wǎng)絡(luò)的輸出層上包括第二輸出節(jié)點(diǎn)，每一所述第二輸出節(jié)點(diǎn)分別對(duì)應(yīng)所述第二初始深度神經(jīng)網(wǎng)絡(luò)的每一可輸出對(duì)象，所述第二輸出節(jié)點(diǎn)的數(shù)量等于所述第二初始深度神經(jīng)網(wǎng)絡(luò)的可輸出對(duì)象的數(shù)量； 所述第一初始深度神經(jīng)網(wǎng)絡(luò)的可輸出對(duì)象為待識(shí)別對(duì)象的第一類別，所述第二初始深度神經(jīng)網(wǎng)絡(luò)的可輸出對(duì)象為待識(shí)別對(duì)象的第二類別，所述第二類別為所述第一類別的細(xì)化分類。9.根據(jù)權(quán)利要求8所述的設(shè)備，其中，所述改造模塊，具體用于在所述第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)中，將輸出層上的每一所述第一輸出節(jié)點(diǎn)擴(kuò)展成至少一個(gè)所述第二輸出節(jié)點(diǎn)并刪除輸出層上的所述輔助節(jié)點(diǎn)，以形成所述第二初始深度神經(jīng)網(wǎng)絡(luò)； 其中，對(duì)于任意一個(gè)第一輸出節(jié)點(diǎn)，該第一輸出節(jié)點(diǎn)擴(kuò)展出的第二輸出節(jié)點(diǎn)對(duì)應(yīng)的第二類別為該第一輸出節(jié)點(diǎn)對(duì)應(yīng)的第一類別的細(xì)化類別。10.根據(jù)權(quán)利要求8所述的設(shè)備，其中，所述改造模塊，具體用于在所述第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)中，將輸出層上的每一第一輸出節(jié)點(diǎn)擴(kuò)展成至少一個(gè)第二輸出節(jié)點(diǎn)并增加輸出層之前一層上的節(jié)點(diǎn)數(shù)量，以形成所述第二初始深度神經(jīng)網(wǎng)絡(luò)； 其中，對(duì)于任意一個(gè)第一輸出節(jié)點(diǎn)，該第一輸出節(jié)點(diǎn)擴(kuò)展出的第二輸出節(jié)點(diǎn)對(duì)應(yīng)的第二類別為該第一輸出節(jié)點(diǎn)對(duì)應(yīng)的第一類別的細(xì)化類別。11.根據(jù)權(quán)利要求7所述的設(shè)備，其中，所述第一訓(xùn)練模塊包括: 正向處理子模塊，用于將所述第一訓(xùn)練數(shù)據(jù)的輸入值輸入所述第一初始深度神經(jīng)網(wǎng)絡(luò)的輸入層，在所述第一初始深度神經(jīng)網(wǎng)絡(luò)中對(duì)所述輸入值進(jìn)行正向處理，以在所述第一初始深度神經(jīng)網(wǎng)絡(luò)的輸出層得到正向處理輸出值； 計(jì)算子模塊，用于計(jì)算所述輸入值在第一訓(xùn)練數(shù)據(jù)中對(duì)應(yīng)的輸出值與所述正向處理輸出值之間的誤差值； 反向處理子模塊，用于以所述誤差值輸入所述第一初始深度神經(jīng)網(wǎng)絡(luò)的輸出層，在所述第一初始深度神經(jīng)網(wǎng)絡(luò)中對(duì)所述誤差值進(jìn)行反向傳播，以修正所述第一初始深度神經(jīng)網(wǎng)絡(luò)中的參數(shù)，從而形成所述第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)。12.根據(jù)權(quán)利要求8所述的設(shè)備，應(yīng)用于圖像識(shí)別， 所述待識(shí)別對(duì)象為圖像信息，所述第二類別為用于對(duì)圖像進(jìn)行分類的圖像標(biāo)簽，所述第一類別為用于對(duì)所述圖像標(biāo)簽進(jìn)行分類的類別。
【專利摘要】本發(fā)明的實(shí)施方式提供了一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法。該方法包括：構(gòu)建第一初始深度神經(jīng)網(wǎng)絡(luò)；利用第一訓(xùn)練數(shù)據(jù)對(duì)所述第一初始深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以形成第一目標(biāo)深度神經(jīng)網(wǎng)絡(luò)；其中，所述第一初始深度神經(jīng)網(wǎng)絡(luò)的輸出層上包括第一輸出節(jié)點(diǎn)和輔助節(jié)點(diǎn)，其中，每一所述第一輸出節(jié)點(diǎn)分別對(duì)應(yīng)所述第一初始深度神經(jīng)網(wǎng)絡(luò)的每一可輸出對(duì)象，所述第一輸出節(jié)點(diǎn)的數(shù)量等于所述第一初始深度神經(jīng)網(wǎng)絡(luò)的可輸出對(duì)象的數(shù)量，所述輔助節(jié)點(diǎn)不對(duì)應(yīng)所述第一初始深度網(wǎng)絡(luò)的任何可輸出對(duì)象。此外，本發(fā)明的實(shí)施方式提供了一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練設(shè)備。
【IPC分類】G06K9/62, G06N3/08
【公開號(hào)】CN105512725
【申請(qǐng)?zhí)枴緾N201510932132
【發(fā)明人】叢林, 李曉燕
【申請(qǐng)人】杭州朗和科技有限公司
【公開日】2016年4月20日
【申請(qǐng)日】2015年12月14日