本發(fā)明實(shí)施例涉及人工神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域,尤其涉及一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法及裝置。
背景技術(shù):
目前,通?;谟?xùn)練好的神經(jīng)網(wǎng)絡(luò)模型(如深度卷積神經(jīng)網(wǎng)絡(luò)模型)進(jìn)行人臉識(shí)別。在使用神經(jīng)網(wǎng)絡(luò)模型進(jìn)行人臉識(shí)別時(shí),存在的問(wèn)題如下:1、對(duì)圖像數(shù)據(jù)處理計(jì)算的復(fù)雜度較高,影響運(yùn)算時(shí)間(如,在配置有酷睿i7處理器的電子設(shè)備上處理人臉圖像時(shí)往往要耗費(fèi)1秒以上的時(shí)間);2、在處理過(guò)程中需要占用較大的內(nèi)存空間或顯卡顯存空間;3、還需要占用較大存儲(chǔ)空間來(lái)存放整個(gè)神經(jīng)網(wǎng)絡(luò)模型。
現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化方法,并不能完全解決上述存在的問(wèn)題,如,采用霍夫曼編碼的形式進(jìn)行的優(yōu)化,能夠保證優(yōu)化后神經(jīng)網(wǎng)絡(luò)模型的處理計(jì)算精度,并有效的降低深度神經(jīng)網(wǎng)絡(luò)模型的存儲(chǔ)空間,但不能降低處理運(yùn)算的復(fù)雜度,縮短運(yùn)行時(shí)間,同時(shí)也不能降低處理過(guò)程中對(duì)內(nèi)存或顯存的空間占用。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明實(shí)施例提供了一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法及裝置,能夠?qū)崿F(xiàn)神經(jīng)網(wǎng)絡(luò)的優(yōu)化,達(dá)到縮短運(yùn)行時(shí)間、降低裝置資源空間占用的目的。
一方面,本發(fā)明實(shí)施例提供了一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法,包括:
獲取符合設(shè)定精度條件的初始神經(jīng)網(wǎng)絡(luò),確定所述初始神經(jīng)網(wǎng)絡(luò)中相鄰兩層單元節(jié)點(diǎn)間的權(quán)重參數(shù)矩陣;
根據(jù)設(shè)定的刪除閾值處理所述權(quán)重參數(shù)矩陣,確定所述初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn);
刪除所述單元節(jié)點(diǎn)形成優(yōu)化后的目標(biāo)神經(jīng)網(wǎng)絡(luò)。
另一方面,本發(fā)明實(shí)施例提供了一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化裝置,包括:
參數(shù)矩陣確定模塊,用于獲取符合設(shè)定精度條件的初始神經(jīng)網(wǎng)絡(luò),確定所述初始神經(jīng)網(wǎng)絡(luò)中相鄰兩層單元節(jié)點(diǎn)間的權(quán)重參數(shù)矩陣;
待刪除節(jié)點(diǎn)確定模塊,用于根據(jù)設(shè)定的刪除閾值處理所述權(quán)重參數(shù)矩陣,確定所述初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn);
目標(biāo)網(wǎng)絡(luò)確定模塊,用于刪除所述單元節(jié)點(diǎn)形成優(yōu)化后的目標(biāo)神經(jīng)網(wǎng)絡(luò)。
本發(fā)明實(shí)施例中提供了一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法及裝置,該方法首先獲取符合設(shè)定精度條件的初始神經(jīng)網(wǎng)絡(luò),并確定初始神經(jīng)網(wǎng)絡(luò)中相鄰兩層節(jié)點(diǎn)間的權(quán)重參數(shù)矩陣;之后根據(jù)設(shè)定的刪除閾值處于所確定的權(quán)重參數(shù)矩陣,由此確定初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn);最終在初始神經(jīng)網(wǎng)絡(luò)中刪除所確定的單元節(jié)點(diǎn)形成優(yōu)化后的目標(biāo)神經(jīng)網(wǎng)絡(luò)。利用該方法,能夠簡(jiǎn)單高效的對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮,實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的優(yōu)化,由此在基于優(yōu)化的后神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉識(shí)別時(shí),能夠達(dá)到加快識(shí)別處理速度,縮短識(shí)別處理時(shí)間,降低存儲(chǔ)、運(yùn)行內(nèi)存以及顯存等空間占用的目的。
附圖說(shuō)明
圖1為本發(fā)明實(shí)施例一提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法的流程示意圖;
圖2a為本發(fā)明實(shí)施例二提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法的流程示意圖;
圖2b為本發(fā)明實(shí)施例二提供的一個(gè)訓(xùn)練后的初始神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖;
圖2c為本發(fā)明實(shí)施例二中對(duì)初始神經(jīng)網(wǎng)絡(luò)優(yōu)化后所形成目標(biāo)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖;
圖3a為本發(fā)明實(shí)施例三提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法的流程示意圖;
圖3b為本發(fā)明實(shí)施例三中對(duì)原目標(biāo)神經(jīng)網(wǎng)絡(luò)深度優(yōu)化形成的目標(biāo)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖;
圖4為本發(fā)明實(shí)施例四提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化裝置的結(jié)構(gòu)框圖。
具體實(shí)施方式
下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明??梢岳斫獾氖?,此處所描述的具體實(shí)施例僅僅用于解釋本發(fā)明,而非對(duì)本發(fā)明的限定。另外還需要說(shuō)明的是,為了便于描述,附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部結(jié)構(gòu)。
實(shí)施例一
圖1為本發(fā)明實(shí)施例一提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法的流程示意圖,該方法適用于對(duì)訓(xùn)練學(xué)習(xí)后的神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮優(yōu)化的情況,該方法可以由神經(jīng)網(wǎng)絡(luò)的優(yōu)化裝置執(zhí)行,其中該裝置可由軟件和/或硬件實(shí)現(xiàn),并一般集成在神經(jīng)網(wǎng)絡(luò)模型所在的終端設(shè)備或服務(wù)器平臺(tái)上。
一般地,神經(jīng)網(wǎng)絡(luò)主要指人工神經(jīng)網(wǎng)絡(luò),具體可看作一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征,進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)中所具有的單元節(jié)點(diǎn)至少分為三層,包括了輸入層、隱藏層以及輸出層,其中,輸入層以及輸出層均只包含一層單元節(jié)點(diǎn),而隱藏層則至少包含一層單元節(jié)點(diǎn),此外,各層所包含單元節(jié)點(diǎn)的個(gè)數(shù)都可根據(jù)不同應(yīng)用情況設(shè)定。具體而言,神經(jīng)網(wǎng)絡(luò)的輸入層負(fù)責(zé)接收輸入的數(shù)據(jù)并分發(fā)到隱藏層,隱藏層負(fù)責(zé)對(duì)所接收的數(shù)據(jù)進(jìn)行計(jì)算并將計(jì)算結(jié)果傳遞給輸出層,輸出層負(fù)責(zé)計(jì)算結(jié)果的輸出,可以理解的是,神經(jīng)網(wǎng)絡(luò)中數(shù)據(jù)的傳遞及處理主要基于相鄰兩層單元節(jié)點(diǎn)間的連線及連線對(duì)應(yīng)的權(quán)重參數(shù)值實(shí)現(xiàn)。
目前,可以基于神經(jīng)網(wǎng)絡(luò)進(jìn)行模式識(shí)別(如人臉識(shí)別)處理,而在進(jìn)行模式識(shí)別前需要對(duì)所創(chuàng)建的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí),只有確定神經(jīng)網(wǎng)絡(luò)所具有的處理精度滿足應(yīng)用需求時(shí),才可以進(jìn)行模式識(shí)別。需要說(shuō)明的是,在實(shí)際的模式識(shí)別處理中,所采用的訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)所具有規(guī)模一般都很大,由此不僅影響識(shí)別處理的運(yùn)行時(shí)間,還占用了更多的存儲(chǔ)空間、運(yùn)行內(nèi)存以及顯存空間,因此可以基于本實(shí)施例提供的神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法對(duì)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化,來(lái)解決上述問(wèn)題。
如圖1所示,本發(fā)明實(shí)施例一提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法,包括如下操作:
S101、獲取符合設(shè)定精度條件的初始神經(jīng)網(wǎng)絡(luò),確定初始神經(jīng)網(wǎng)絡(luò)中相鄰兩層單元節(jié)點(diǎn)間的權(quán)重參數(shù)矩陣。
在本實(shí)施例中,設(shè)定精度條件具體可理解為對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)后,實(shí)際進(jìn)行應(yīng)用處理時(shí),神經(jīng)網(wǎng)絡(luò)需要達(dá)到的處理精度范圍。一般地,該設(shè)定精度條件可以是系統(tǒng)默認(rèn)的范圍,也可以是人為設(shè)置的范圍。在本實(shí)施例中,被訓(xùn)練學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)可以通過(guò)對(duì)標(biāo)準(zhǔn)測(cè)試集中所包含樣本數(shù)據(jù)的處理來(lái)確定當(dāng)前能夠達(dá)到的處理精度,并在當(dāng)前確定的處理精度符合設(shè)定精度條件時(shí),認(rèn)為神經(jīng)網(wǎng)絡(luò)可以進(jìn)行實(shí)際應(yīng)用處理,同時(shí)可將該神經(jīng)網(wǎng)絡(luò)稱為初始神經(jīng)網(wǎng)絡(luò)。
一般地,對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)主要通過(guò)設(shè)定的訓(xùn)練學(xué)習(xí)算法實(shí)現(xiàn),由于訓(xùn)練學(xué)習(xí)算法已經(jīng)是成熟的技術(shù),這里不再詳述??梢岳斫獾氖?,神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)過(guò)程,實(shí)際就是神經(jīng)網(wǎng)絡(luò)中相鄰兩層單元節(jié)點(diǎn)連線對(duì)應(yīng)的權(quán)重參數(shù)值不斷變更并最終確定的過(guò)程。在本實(shí)施例中,在獲取初始神經(jīng)網(wǎng)絡(luò)后,可以根據(jù)相鄰兩層單元節(jié)點(diǎn)連線對(duì)應(yīng)的權(quán)重參數(shù)值來(lái)確定相鄰兩層單元節(jié)點(diǎn)間的權(quán)重參數(shù)矩陣。
在本實(shí)施例中,對(duì)于相鄰兩層的單元節(jié)點(diǎn)而言,如果其中一層的任一單元節(jié)點(diǎn)到另一層的任一單元節(jié)點(diǎn)間只存在一條連線,則可認(rèn)為兩單元節(jié)點(diǎn)間只存在一個(gè)權(quán)重參數(shù)值,此時(shí)相鄰兩層單元節(jié)點(diǎn)間可以確定一個(gè)二維權(quán)重參數(shù)矩陣;如果其中一層的任一單元節(jié)點(diǎn)到另一層的任一單元節(jié)點(diǎn)間至少存在兩條連線,或兩單元節(jié)點(diǎn)間的連線關(guān)系需要用函數(shù)表示,則可認(rèn)為兩單元節(jié)點(diǎn)間對(duì)應(yīng)存在一個(gè)權(quán)重參數(shù)數(shù)組(可能是一維數(shù)組或二維數(shù)組),此時(shí)相鄰兩層單元節(jié)點(diǎn)間可以確定一個(gè)多維權(quán)重參數(shù)矩陣。
S102、根據(jù)設(shè)定的刪除閾值處理權(quán)重參數(shù)矩陣,確定初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn)。
在本實(shí)施例中,可以采用刪除初始神經(jīng)網(wǎng)絡(luò)中單元節(jié)點(diǎn)的方式來(lái)實(shí)現(xiàn)初始神經(jīng)網(wǎng)絡(luò)的優(yōu)化,由此需要確定初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn)。具體地,首先獲取設(shè)定的刪除閾值,然后確定權(quán)重參數(shù)矩陣中各元素值的絕對(duì)值與刪除閾值的大小關(guān)系;最終可根據(jù)元素值的絕對(duì)值與刪除閾值的大小關(guān)系來(lái)確定初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn)。
在本實(shí)施例中,可以基于權(quán)重參數(shù)矩陣中元素值的基本分布規(guī)律來(lái)設(shè)定刪除閾值,且所設(shè)定的刪除閾值為大于0的實(shí)數(shù)。示例性地,經(jīng)實(shí)際分析發(fā)現(xiàn),權(quán)重參數(shù)矩陣中的元素值基本分布在數(shù)值0的左右兩側(cè),并且值域范圍一般為(-0.05,0.05),此時(shí)可優(yōu)選的將刪除閾值設(shè)置為0.001。需要說(shuō)明的是,本實(shí)施例只需在首次進(jìn)行神經(jīng)網(wǎng)絡(luò)優(yōu)化時(shí)進(jìn)行刪除閾值的設(shè)定,當(dāng)循環(huán)進(jìn)行神經(jīng)網(wǎng)絡(luò)優(yōu)化時(shí),可保持設(shè)定的刪除閾值不變或基于其他規(guī)則自動(dòng)變更刪除閾值的值;此外,對(duì)于不同維度的權(quán)重參數(shù)矩陣而言,其刪除閾值的設(shè)定存在不同,由此刪除閾值還需基于具體情況進(jìn)行具體設(shè)定。
S103、刪除所述單元節(jié)點(diǎn)形成優(yōu)化后的目標(biāo)神經(jīng)網(wǎng)絡(luò)。
在本實(shí)施例中,確定待刪除的單元節(jié)點(diǎn)后,可以在初始神經(jīng)網(wǎng)絡(luò)中刪除該單元節(jié)點(diǎn),此外,在刪除該單元節(jié)點(diǎn)的同時(shí),與該單元節(jié)點(diǎn)存在的關(guān)系或連線也一并刪除,最終形成優(yōu)化后的神經(jīng)網(wǎng)絡(luò),稱為目標(biāo)神經(jīng)網(wǎng)絡(luò)。
本發(fā)明實(shí)施例一提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法,首先獲取符合設(shè)定精度條件的初始神經(jīng)網(wǎng)絡(luò),并確定初始神經(jīng)網(wǎng)絡(luò)中相鄰兩層節(jié)點(diǎn)間的權(quán)重參數(shù)矩陣;之后根據(jù)設(shè)定的刪除閾值處于所確定的權(quán)重參數(shù)矩陣,由此確定初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn);最終在初始神經(jīng)網(wǎng)絡(luò)中刪除所確定的單元節(jié)點(diǎn)形成優(yōu)化后的目標(biāo)神經(jīng)網(wǎng)絡(luò)。利用該方法,能夠簡(jiǎn)單高效的對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮,實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的優(yōu)化,由此在基于優(yōu)化的后神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉識(shí)別時(shí),能夠達(dá)到加快識(shí)別處理速度,縮短識(shí)別處理時(shí)間,降低存儲(chǔ)、運(yùn)行內(nèi)存以及顯存等空間占用的目的。
實(shí)施例二
圖2為本發(fā)明實(shí)施例二提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法的流程示意圖。本發(fā)明實(shí)施例以上述實(shí)施例為基礎(chǔ)進(jìn)行優(yōu)化,在本實(shí)施例中,將確定所述初始神經(jīng)網(wǎng)絡(luò)中相鄰兩層單元節(jié)點(diǎn)間的權(quán)重參數(shù)矩陣,進(jìn)一步優(yōu)化為:如果所述初始神經(jīng)網(wǎng)絡(luò)中相鄰兩層單元節(jié)點(diǎn)間的連接為全連接,則基于單元節(jié)點(diǎn)間連線對(duì)應(yīng)的權(quán)重參數(shù)值形成二維權(quán)重參數(shù)矩陣;如果所述初始神經(jīng)網(wǎng)絡(luò)中相鄰兩層單元節(jié)點(diǎn)間的連接為卷積連接,則基于單元節(jié)點(diǎn)間連線對(duì)應(yīng)的權(quán)重參數(shù)數(shù)組形成多維權(quán)重參數(shù)矩陣。
進(jìn)一步地,將根據(jù)設(shè)定的刪除閾值處理所述權(quán)重參數(shù)矩陣,確定所述初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn),具體優(yōu)化為:如果所述權(quán)重參數(shù)矩陣為二維權(quán)重參數(shù)矩陣,則基于所述二維權(quán)重參數(shù)矩陣中的列向量確定所述初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn);如果所述權(quán)重參數(shù)矩陣為多維權(quán)重參數(shù)矩陣,則基于降維后的多維權(quán)重參數(shù)矩陣確定所述初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn)。
如圖2a所示,本發(fā)明實(shí)施例二提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法,具體包括如下操作:
S201、獲取符合設(shè)定精度條件的初始神經(jīng)網(wǎng)絡(luò)。
示例性地,在對(duì)所創(chuàng)建的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)后,如果神經(jīng)網(wǎng)絡(luò)的當(dāng)前處理精度符合設(shè)定精度條件,則可將該神經(jīng)網(wǎng)絡(luò)確定為待獲取的初始神經(jīng)網(wǎng)絡(luò)。
S202、如果初始神經(jīng)網(wǎng)絡(luò)中相鄰兩層單元節(jié)點(diǎn)間的連接為全連接,則基于單元節(jié)點(diǎn)間連線對(duì)應(yīng)的權(quán)重參數(shù)值形成二維權(quán)重參數(shù)矩陣,之后執(zhí)行步驟S204。
在本實(shí)施例中,當(dāng)相鄰兩層單元節(jié)點(diǎn)間的連接僅為單線連接時(shí),可將該相鄰兩層單元節(jié)點(diǎn)間的連接稱為全連接,此時(shí),其中一層的任一單元節(jié)點(diǎn)到另一層的任一單元節(jié)點(diǎn)間只存在一個(gè)權(quán)重參數(shù)值,由此可以根據(jù)相鄰兩層單元節(jié)點(diǎn)間連線對(duì)應(yīng)的權(quán)重參數(shù)值來(lái)構(gòu)建二維權(quán)重參數(shù)矩陣。
示例性地,圖2b為本發(fā)明實(shí)施例二提供的一個(gè)訓(xùn)練后的初始神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖,如圖2b所示,該初始神經(jīng)網(wǎng)絡(luò)共有4層單元節(jié)點(diǎn),其中,第1層作為輸入層,第2層和第3層作為隱藏層,第4層作為輸出層,同時(shí)可以確定該初始神經(jīng)網(wǎng)絡(luò)中相鄰兩層單元節(jié)點(diǎn)間的連接為全連接。以第1層和第2層單元節(jié)點(diǎn)間的連接為例,首先將第1層中第m個(gè)單元節(jié)點(diǎn)與第2層中第n個(gè)單元節(jié)點(diǎn)的連線對(duì)應(yīng)的權(quán)重參數(shù)值用wmn表示,其中,1≤m≤5,1≤n≤4;則第1層和第2層中單元節(jié)點(diǎn)間可以形成一個(gè)5×4階的二維權(quán)重參數(shù)矩陣,該二維權(quán)重參數(shù)矩陣W5×4可以表示為:
S203、如果初始神經(jīng)網(wǎng)絡(luò)中相鄰兩層單元節(jié)點(diǎn)間的連接為卷積連接,則基于單元節(jié)點(diǎn)間連線對(duì)應(yīng)的權(quán)重參數(shù)數(shù)組形成多維權(quán)重參數(shù)矩陣,之后執(zhí)行步驟S205。
在本實(shí)施例中,當(dāng)相鄰兩層單元節(jié)點(diǎn)間的連接為多線連接(至少存在兩條連線)或用函數(shù)表示連接關(guān)系時(shí),可將該相鄰兩層單元節(jié)點(diǎn)間的連接稱為卷積連接。此時(shí),其中一層的任一單元節(jié)點(diǎn)到另一層的任一單元節(jié)點(diǎn)間可能存在一個(gè)權(quán)重參數(shù)數(shù)組(一般為一維數(shù)組或二維數(shù)組),由此可以根據(jù)相鄰兩層單元節(jié)點(diǎn)間連線對(duì)應(yīng)的權(quán)重參數(shù)數(shù)組來(lái)構(gòu)建多維權(quán)重參數(shù)矩陣,其中,當(dāng)權(quán)重參數(shù)數(shù)組為一維數(shù)組時(shí),可以形成一個(gè)三維權(quán)重參數(shù)矩陣,當(dāng)權(quán)重參數(shù)數(shù)組為二維數(shù)組時(shí),可以形成一個(gè)四維權(quán)重參數(shù)矩陣。
S204、基于二維權(quán)重參數(shù)矩陣中的列向量確定初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn)。
具體地,基于所述二維權(quán)重參數(shù)矩陣中的列向量確定所述初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn)包括:獲取所述二維權(quán)重參數(shù)矩陣中第i列的列向量;如果所述第i列的列向量中包括的權(quán)重參數(shù)值均小于設(shè)定的第一刪除閾值,則將相鄰兩層中第二層的第i個(gè)單元節(jié)點(diǎn)確定為所述初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn)。
在本實(shí)施例中,對(duì)于全連接的相鄰兩層單元節(jié)點(diǎn)而言,假設(shè)所形成的二維權(quán)重參數(shù)矩陣為g×h階,則可確定該二維權(quán)重參數(shù)矩陣共有h列的列向量,且可確定該二維權(quán)重參數(shù)矩陣中的第i列中的權(quán)重參數(shù)值均與該相鄰兩層中第二層的第i個(gè)單元節(jié)點(diǎn)相關(guān)。具體地,待刪除的單元節(jié)點(diǎn)的確定過(guò)程可表述為:獲取所設(shè)定的第一刪除閾值,在該二維權(quán)重參數(shù)矩陣中選取第i列的列向量,并確定第i列列向量中所包含的g個(gè)權(quán)重參數(shù)值是否均小于第一設(shè)定閾值,如果全部小于第一設(shè)定閾值,則可以將相鄰兩層中第二層的第i個(gè)單元節(jié)點(diǎn)確定為所述初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn)。
在本實(shí)施例中,假設(shè)g×h階的二維權(quán)重參數(shù)矩陣中的權(quán)重參數(shù)值表示為wai,所獲取的第一刪除閾值為t1,其中,1≤a≤g,1≤i≤h,則判定第i列列向量中所包含的g個(gè)權(quán)重參數(shù)值是否均小于第一設(shè)定閾值t1的過(guò)程可以具體描述為:如果第i列列向量中的權(quán)重參數(shù)值wai小于第一刪除閾值t1,則確定函數(shù)f(wai)=0,否則,確定函數(shù)f(wai)=1,之后判定的值是否等于0,如果等于0,則可認(rèn)為第i列列向量中所包含的g個(gè)權(quán)重參數(shù)值均小于第一設(shè)定閾值t1。需要說(shuō)明的是,在首次設(shè)定第一刪除閾值時(shí),該第一刪除閾值可以優(yōu)選的基于二維權(quán)重參數(shù)矩陣中權(quán)重參數(shù)值的基本分布規(guī)律設(shè)定。
S205、基于降維后的多維權(quán)重參數(shù)矩陣確定初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn)。
在本實(shí)施例中,對(duì)于卷積連接的相鄰兩層單元節(jié)點(diǎn)而言,則可以形成一個(gè)多維權(quán)重參數(shù)矩陣,此時(shí)需要對(duì)該多維權(quán)重參數(shù)矩陣進(jìn)行降維處理,且在降維處理后形成一個(gè)二維的目標(biāo)權(quán)重參數(shù)矩陣,之后可以根據(jù)該目標(biāo)權(quán)重參數(shù)矩陣來(lái)確定待刪除的單元節(jié)點(diǎn)。
進(jìn)一步地,基于降維后的多維權(quán)重參數(shù)矩陣確定所述初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn)包括:對(duì)所述多維權(quán)重參數(shù)矩陣進(jìn)行降維處理,形成二維的目標(biāo)權(quán)重參數(shù)矩陣;獲取所述目標(biāo)權(quán)重參數(shù)矩陣中第j列的列向量;如果所述第j列的列向量中包括的元素值均小于設(shè)定的第二刪除閾值,則將相鄰兩層中第二層的第j個(gè)單元節(jié)點(diǎn)確定為所述初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn)。
在本實(shí)施例中,對(duì)多維權(quán)重參數(shù)矩陣進(jìn)行降維處理,形成二維的目標(biāo)權(quán)重參數(shù)矩陣的過(guò)程可描述為:確定多維權(quán)重參數(shù)矩陣的維度以及矩陣中的元素值,如果多維權(quán)重參數(shù)矩陣為三維權(quán)重參數(shù)矩陣,則該矩陣中每個(gè)元素值通常為一維數(shù)組,此時(shí)可直接對(duì)一維數(shù)組中的數(shù)據(jù)進(jìn)行求和計(jì)算,最終可以將計(jì)算所得的數(shù)據(jù)和或數(shù)據(jù)和的平均值作為降維后目標(biāo)權(quán)重參數(shù)矩陣對(duì)應(yīng)的元素值;如果多維權(quán)重參數(shù)矩陣為四維權(quán)重參數(shù)矩陣,則該矩陣中每個(gè)元素值通常為二維數(shù)組,此時(shí)先對(duì)二維數(shù)組中各列的列數(shù)據(jù)進(jìn)行求和計(jì)算,得到相應(yīng)的列數(shù)據(jù)和,然后再對(duì)列數(shù)據(jù)和進(jìn)行求和計(jì)算,最終可以將計(jì)算所得的數(shù)據(jù)和或數(shù)據(jù)和的平均值作為降維后目標(biāo)權(quán)重參數(shù)矩陣對(duì)應(yīng)的元素值。
在本實(shí)施例中,對(duì)多維權(quán)重參數(shù)矩陣進(jìn)行降維處理獲得目標(biāo)權(quán)重參數(shù)矩陣后,可以在所形成目標(biāo)權(quán)重參數(shù)矩陣中進(jìn)行待刪除的單元節(jié)點(diǎn)的確定,由于后續(xù)確定待刪除的單元節(jié)點(diǎn)的操作過(guò)程與基于步驟S204進(jìn)行單元節(jié)點(diǎn)確定的操作過(guò)程相同,這里不再贅述。需要說(shuō)明的是,在首次設(shè)定第二刪除閾值時(shí),該第二刪除閾值可以優(yōu)選的基于目標(biāo)權(quán)重參數(shù)矩陣中元素值的基本分布規(guī)律設(shè)定。
S206、刪除神經(jīng)網(wǎng)絡(luò)中確定的單元節(jié)點(diǎn),形成優(yōu)化后的目標(biāo)神經(jīng)網(wǎng)絡(luò)。
在本實(shí)施例中,基于上述步驟S201至步驟S205的操作,可以確定出初始神經(jīng)網(wǎng)絡(luò)中所有待刪除的單元節(jié)點(diǎn),由此可以在初始神經(jīng)網(wǎng)絡(luò)中刪除所有確定出的單元節(jié)點(diǎn),并同時(shí)刪除與該單元節(jié)點(diǎn)存在關(guān)系的連線。
示例性地,圖2c為本發(fā)明實(shí)施例二中對(duì)初始神經(jīng)網(wǎng)絡(luò)優(yōu)化后所形成目標(biāo)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖。接上述步驟S202中的示例,如圖2c所示,與圖2b中的初始神經(jīng)網(wǎng)絡(luò)相比,在第2層中減少了一個(gè)單元節(jié)點(diǎn),由此可知,基于本發(fā)明實(shí)施例二提供的神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法,實(shí)現(xiàn)了對(duì)圖2b中初始神經(jīng)網(wǎng)絡(luò)第2層的第2個(gè)單元節(jié)點(diǎn)進(jìn)行刪除的優(yōu)化。
本發(fā)明實(shí)施例二提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法,具體描述了神經(jīng)網(wǎng)絡(luò)中相鄰兩層單元節(jié)點(diǎn)間具有不同連接方式時(shí)所對(duì)應(yīng)權(quán)重參數(shù)矩陣的確定過(guò)程;還具體描述了不同權(quán)重參數(shù)矩陣下對(duì)待刪除的單元節(jié)點(diǎn)的確定過(guò)程。利用該方法,能夠?qū)哂胁煌瑔卧?jié)點(diǎn)連接方式的神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮優(yōu)化,由此在基于優(yōu)化的后神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉識(shí)別時(shí),能夠達(dá)到加快識(shí)別處理速度,縮短識(shí)別處理時(shí)間,降低存儲(chǔ)、運(yùn)行內(nèi)存以及顯存等空間占用的目的。
實(shí)施例三
圖3a為本發(fā)明實(shí)施例三提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法的流程示意圖。本發(fā)明實(shí)施例以上述實(shí)施例為基礎(chǔ)進(jìn)行優(yōu)化,在本實(shí)施例中,還優(yōu)化增加了:確定所述目標(biāo)神經(jīng)網(wǎng)絡(luò)的當(dāng)前處理精度是否符合所述設(shè)定精度條件,基于確定結(jié)果對(duì)所述目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)或深度優(yōu)化。
在上述優(yōu)化的基礎(chǔ)上,將基于確定結(jié)果對(duì)所述目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)或深度優(yōu)化,進(jìn)一步優(yōu)化為:如果所述當(dāng)前處理精度不符合所述設(shè)定精度條件,則對(duì)所述目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)直至符合所述設(shè)定精度條件或達(dá)到設(shè)定訓(xùn)練次數(shù);否則,對(duì)所述刪除閾值進(jìn)行自增加操作,并將所述目標(biāo)神經(jīng)網(wǎng)絡(luò)作為新的初始神經(jīng)網(wǎng)絡(luò),重新執(zhí)行神經(jīng)網(wǎng)絡(luò)的優(yōu)化操作,其中,所述刪除閾值為第一刪除閾值或第二刪除閾值。
在上述優(yōu)化的基礎(chǔ)上,還優(yōu)化包括了另一種情況的操作,即,如果訓(xùn)練學(xué)習(xí)后的目標(biāo)神經(jīng)網(wǎng)絡(luò)符合所述設(shè)定精度條件且訓(xùn)練次數(shù)不大于所述設(shè)定訓(xùn)練次數(shù),則對(duì)所述刪除閾值進(jìn)行自增加操作,并將所述目標(biāo)神經(jīng)網(wǎng)絡(luò)作為新的初始神經(jīng)網(wǎng)絡(luò),重新執(zhí)行神經(jīng)網(wǎng)絡(luò)的優(yōu)化操作。
如圖3所示,本發(fā)明實(shí)施例三提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法,具體包括如下操作:
S301、獲取符合設(shè)定精度條件的初始神經(jīng)網(wǎng)絡(luò),確定所述初始神經(jīng)網(wǎng)絡(luò)中相鄰兩層單元節(jié)點(diǎn)間的權(quán)重參數(shù)矩陣。
在本實(shí)施例中,可以認(rèn)為所獲取的初始神經(jīng)網(wǎng)絡(luò)具體用來(lái)進(jìn)行人臉識(shí)別,則設(shè)定精度條件就可認(rèn)為是人臉識(shí)別時(shí)神經(jīng)網(wǎng)絡(luò)所要求達(dá)到的處理精度。
S302、根據(jù)設(shè)定的刪除閾值處理所述權(quán)重參數(shù)矩陣,確定所述初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn)。
S303、刪除所述單元節(jié)點(diǎn)形成優(yōu)化后的目標(biāo)神經(jīng)網(wǎng)絡(luò)。
S304、確定目標(biāo)神經(jīng)網(wǎng)絡(luò)的當(dāng)前處理精度是否符合設(shè)定精度條件,若否,則執(zhí)行步驟S305;若是,則執(zhí)行步驟S307。
在本實(shí)施例中,還可以認(rèn)為優(yōu)化后的目標(biāo)神經(jīng)網(wǎng)絡(luò)也具體用于進(jìn)行人臉識(shí)別,因此,也需要測(cè)試目標(biāo)神經(jīng)網(wǎng)絡(luò)的當(dāng)前處理精度是否符合設(shè)定精度條件。
具體地,對(duì)目標(biāo)神經(jīng)網(wǎng)絡(luò)的當(dāng)前處理精度的測(cè)試過(guò)程可描述為:首先依據(jù)國(guó)際標(biāo)準(zhǔn)人臉驗(yàn)證測(cè)試集的規(guī)則來(lái)選取目標(biāo)神經(jīng)網(wǎng)絡(luò)測(cè)試所需的樣本圖像,優(yōu)選地,可選取3000對(duì)正樣本圖像(一對(duì)正樣本圖像為兩張具有相同人臉的圖像)和3000對(duì)負(fù)樣本圖像(一對(duì)負(fù)樣本圖像為兩張具有不同人臉的圖像);然后,分別將正樣本圖像對(duì)和負(fù)樣本圖像對(duì)作為目標(biāo)神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù);最終,可根據(jù)人臉識(shí)別的輸出結(jié)果X的值以及當(dāng)前處理精度的計(jì)算公式,來(lái)確定目標(biāo)神經(jīng)網(wǎng)絡(luò)的當(dāng)前處理精度。
示例性地,當(dāng)目標(biāo)神經(jīng)網(wǎng)絡(luò)將正樣本圖像對(duì)中的兩個(gè)圖像判定為同一人時(shí),輸出結(jié)果X的值為1,否則輸出結(jié)果X的值為0;當(dāng)目標(biāo)神經(jīng)網(wǎng)絡(luò)將負(fù)樣本圖像對(duì)中的兩個(gè)圖像判定為非同一人時(shí),輸出結(jié)果X的值為1,否則輸出結(jié)果X的值為0。其中,當(dāng)前處理精度的計(jì)算公式可表示為:
在本實(shí)施例中,如果所確定的當(dāng)前處理精度符合了設(shè)定精度條件,則可直接執(zhí)行步驟S307的操作,否則,需要執(zhí)行步驟S305的操作。
S305、對(duì)目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí),之后執(zhí)行步驟S306。
在本實(shí)施例中,當(dāng)所確定的當(dāng)前處理精度不符合設(shè)定精度條件,可以基于設(shè)定的訓(xùn)練學(xué)習(xí)方法對(duì)目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)。這里不再詳述訓(xùn)練學(xué)習(xí)所采用的訓(xùn)練學(xué)習(xí)方法。
S306、確定對(duì)目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)的訓(xùn)練次數(shù)是否達(dá)到設(shè)定訓(xùn)練次數(shù),若否,則返回執(zhí)行步驟S304;若是,則執(zhí)行步驟S308。
在本實(shí)施例中,對(duì)目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)后,需要判定對(duì)其進(jìn)行訓(xùn)練學(xué)習(xí)的訓(xùn)練次數(shù)是否達(dá)到設(shè)定訓(xùn)練次數(shù),然后基于判定結(jié)果執(zhí)行不同的操作步驟。
S307、對(duì)刪除閾值進(jìn)行自增加操作,并將目標(biāo)神經(jīng)網(wǎng)絡(luò)作為新的初始神經(jīng)網(wǎng)絡(luò),返回執(zhí)行步驟S301。
在本實(shí)施例中,如果目標(biāo)神經(jīng)網(wǎng)絡(luò)的當(dāng)前處理精度符合了設(shè)定精度條件,則可對(duì)當(dāng)前的目標(biāo)神經(jīng)網(wǎng)絡(luò)繼續(xù)基于步驟S301至步驟S303進(jìn)行深度優(yōu)化。
在對(duì)目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行深度優(yōu)化之前,可以對(duì)刪除閾值進(jìn)行自增加操作,然后再將目標(biāo)神經(jīng)網(wǎng)絡(luò)作為初始神經(jīng)網(wǎng)絡(luò),之后返回步驟S301重新開始進(jìn)行神經(jīng)網(wǎng)絡(luò)的優(yōu)化。需要說(shuō)明的是,由于本實(shí)施例中刪除閾值為為第一刪除閾值或第二刪除閾值,因此,刪除閾值自增加操作所依據(jù)的增量值主要基于具體情況設(shè)定??梢岳斫獾氖牵谠黾雍蟮膭h除閾值進(jìn)行神經(jīng)網(wǎng)絡(luò)優(yōu)化時(shí),可以確定出更多的待刪除的單元節(jié)點(diǎn),從而可以更快的確定出最終適合人臉識(shí)別的目標(biāo)神經(jīng)網(wǎng)絡(luò)。
示例性地,圖3b為本發(fā)明實(shí)施例三中對(duì)原目標(biāo)神經(jīng)網(wǎng)絡(luò)深度優(yōu)化形成的目標(biāo)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖,接上述實(shí)施例二中步驟S206中的示例,可以認(rèn)為圖3b中所示的目標(biāo)神經(jīng)網(wǎng)絡(luò)是對(duì)圖2c中所示目標(biāo)神經(jīng)網(wǎng)絡(luò)的進(jìn)一步深度優(yōu)化,如圖3b所示,與圖2c中提供的目標(biāo)神經(jīng)網(wǎng)絡(luò)相比,在第3層中有減少了一個(gè)單元節(jié)點(diǎn),由此可知,基于本發(fā)明實(shí)施例三提供的神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法,實(shí)現(xiàn)了對(duì)圖2c中提供的目標(biāo)神經(jīng)網(wǎng)絡(luò)第3層的第2個(gè)單元節(jié)點(diǎn)進(jìn)行刪除的深度優(yōu)化。
S308、結(jié)束對(duì)目標(biāo)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)。
在本實(shí)施例中,如果對(duì)目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)的訓(xùn)練次數(shù)達(dá)到了設(shè)定訓(xùn)練次數(shù),且此時(shí)對(duì)應(yīng)的當(dāng)前處理精度仍不符合設(shè)定精度條件,則可以結(jié)束對(duì)目標(biāo)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí),同時(shí),可以優(yōu)選的確定上一次作為初始神經(jīng)網(wǎng)絡(luò)進(jìn)行深度優(yōu)化的目標(biāo)神經(jīng)網(wǎng)絡(luò)為人臉識(shí)別所需的神經(jīng)網(wǎng)絡(luò)。
本發(fā)明實(shí)施例三提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法,進(jìn)一步增加了對(duì)優(yōu)化后神經(jīng)網(wǎng)絡(luò)再次進(jìn)行訓(xùn)練學(xué)習(xí)或深度優(yōu)化的操作,由此來(lái)保持優(yōu)化后神經(jīng)網(wǎng)絡(luò)的處理計(jì)算精度,與現(xiàn)有優(yōu)化方法相比,能夠在不降低神經(jīng)網(wǎng)絡(luò)處理計(jì)算精度的情況下,實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的壓縮優(yōu)化,從而在基于優(yōu)化的后神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉識(shí)別時(shí),達(dá)到加快人臉識(shí)別處理速度,縮短人臉識(shí)別處理時(shí)間,降低存儲(chǔ)、運(yùn)行內(nèi)存以及顯存等空間占用的目的。
實(shí)施例四
圖4為本發(fā)明實(shí)施例四提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化裝置的結(jié)構(gòu)框圖。該裝置適用于對(duì)訓(xùn)練學(xué)習(xí)后的神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮優(yōu)化的情況,其中該裝置可由軟件和/或硬件實(shí)現(xiàn),并一般集成在神經(jīng)網(wǎng)絡(luò)模型所在的終端設(shè)備或服務(wù)器平臺(tái)上。如圖4所示,該優(yōu)化裝置包括:參數(shù)矩陣確定模塊41、待刪除節(jié)點(diǎn)確定模塊42以及目標(biāo)網(wǎng)絡(luò)確定模塊43。
其中,參數(shù)矩陣確定模塊41,用于獲取符合設(shè)定精度條件的初始神經(jīng)網(wǎng)絡(luò),確定所述初始神經(jīng)網(wǎng)絡(luò)中相鄰兩層單元節(jié)點(diǎn)間的權(quán)重參數(shù)矩陣;
待刪除節(jié)點(diǎn)確定模塊42,用于根據(jù)設(shè)定的刪除閾值處理所述權(quán)重參數(shù)矩陣,確定所述初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn);
目標(biāo)網(wǎng)絡(luò)確定模塊43,用于刪除所述單元節(jié)點(diǎn)形成優(yōu)化后的目標(biāo)神經(jīng)網(wǎng)絡(luò)。
在本實(shí)施例中,該優(yōu)化裝置首先通過(guò)參數(shù)矩陣確定模塊41獲取符合設(shè)定精度條件的初始神經(jīng)網(wǎng)絡(luò),確定所述初始神經(jīng)網(wǎng)絡(luò)中相鄰兩層單元節(jié)點(diǎn)間的權(quán)重參數(shù)矩陣;然后通過(guò)待刪除節(jié)點(diǎn)確定模塊42根據(jù)設(shè)定的刪除閾值處理所述權(quán)重參數(shù)矩陣,確定所述初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn);最終通過(guò)目標(biāo)網(wǎng)絡(luò)確定模塊43刪除所述單元節(jié)點(diǎn)形成優(yōu)化后的目標(biāo)神經(jīng)網(wǎng)絡(luò)。
本發(fā)明實(shí)施例四提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化裝置,能夠簡(jiǎn)單高效的對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮,實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的優(yōu)化,由此在基于優(yōu)化的后神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉識(shí)別時(shí),能夠達(dá)到加快識(shí)別處理速度,縮短識(shí)別處理時(shí)間,降低存儲(chǔ)、運(yùn)行內(nèi)存以及顯存等空間占用的目的。
進(jìn)一步地,參數(shù)矩陣確定模塊41具體用于:
在獲取符合設(shè)定精度條件的初始神經(jīng)網(wǎng)絡(luò)后,如果所述初始神經(jīng)網(wǎng)絡(luò)中相鄰兩層單元節(jié)點(diǎn)間的連接為全連接,則基于單元節(jié)點(diǎn)間連線對(duì)應(yīng)的權(quán)重參數(shù)值形成二維權(quán)重參數(shù)矩陣;如果所述初始神經(jīng)網(wǎng)絡(luò)中相鄰兩層單元節(jié)點(diǎn)間的連接為卷積連接,則基于單元節(jié)點(diǎn)間連線對(duì)應(yīng)的權(quán)重參數(shù)數(shù)組形成多維權(quán)重參數(shù)矩陣。
進(jìn)一步地,待刪除節(jié)點(diǎn)確定模塊42包括:
第一確定單元,用于當(dāng)所述權(quán)重參數(shù)矩陣為二維權(quán)重參數(shù)矩陣時(shí),基于所述二維權(quán)重參數(shù)矩陣中的列向量確定所述初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn);
第二確定單元,用于當(dāng)所述權(quán)重參數(shù)矩陣為多維權(quán)重參數(shù)矩陣時(shí),基于降維后的多維權(quán)重參數(shù)矩陣確定所述初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn)。
在上述優(yōu)化的基礎(chǔ)上,第一確定單元具體用于:
當(dāng)所述權(quán)重參數(shù)矩陣為二維權(quán)重參數(shù)矩陣時(shí),獲取所述二維權(quán)重參數(shù)矩陣中第i列的列向量;如果所述第i列的列向量中包括的權(quán)重參數(shù)值均小于設(shè)定的第一刪除閾值,則將相鄰兩層中第二層的第i個(gè)單元節(jié)點(diǎn)確定為所述初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn)。
進(jìn)一步地,第二確定單元具體用于:
當(dāng)所述權(quán)重參數(shù)矩陣為二維權(quán)重參數(shù)矩陣時(shí),對(duì)所述多維權(quán)重參數(shù)矩陣進(jìn)行降維處理,形成二維的目標(biāo)權(quán)重參數(shù)矩陣;獲取所述目標(biāo)權(quán)重參數(shù)矩陣中第j列的列向量;如果所述第j列的列向量中包括的元素值均小于設(shè)定的第二刪除閾值,則將相鄰兩層中第二層的第j個(gè)單元節(jié)點(diǎn)確定為所述初始神經(jīng)網(wǎng)絡(luò)中待刪除的單元節(jié)點(diǎn)。
進(jìn)一步地,該優(yōu)化裝置還包括:目標(biāo)網(wǎng)絡(luò)處理模塊44,用于確定所述目標(biāo)神經(jīng)網(wǎng)絡(luò)的當(dāng)前處理精度是否符合所述設(shè)定精度條件,基于確定結(jié)果對(duì)所述目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)或深度優(yōu)化。
在上述優(yōu)化的基礎(chǔ)上,目標(biāo)網(wǎng)絡(luò)處理模塊44具體用于:
確定所述目標(biāo)神經(jīng)網(wǎng)絡(luò)的當(dāng)前處理精度是否符合所述設(shè)定精度條件;如果所述當(dāng)前處理精度不符合所述設(shè)定精度條件,則對(duì)所述目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)直至符合所述設(shè)定精度條件或達(dá)到設(shè)定訓(xùn)練次數(shù);否則,對(duì)所述刪除閾值進(jìn)行自增加操作,并將所述目標(biāo)神經(jīng)網(wǎng)絡(luò)作為新的初始神經(jīng)網(wǎng)絡(luò),重新執(zhí)行神經(jīng)網(wǎng)絡(luò)的優(yōu)化操作,其中,所述刪除閾值為第一刪除閾值或第二刪除閾值。
進(jìn)一步地,如果訓(xùn)練學(xué)習(xí)后的目標(biāo)神經(jīng)網(wǎng)絡(luò)符合所述設(shè)定精度條件且訓(xùn)練次數(shù)不大于所述設(shè)定訓(xùn)練次數(shù),則對(duì)所述刪除閾值進(jìn)行自增加操作,并將所述目標(biāo)神經(jīng)網(wǎng)絡(luò)作為新的初始神經(jīng)網(wǎng)絡(luò),重新執(zhí)行神經(jīng)網(wǎng)絡(luò)的優(yōu)化操作。
注意,上述僅為本發(fā)明的較佳實(shí)施例及所運(yùn)用技術(shù)原理。本領(lǐng)域技術(shù)人員會(huì)理解,本發(fā)明不限于這里所述的特定實(shí)施例,對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)能夠進(jìn)行各種明顯的變化、重新調(diào)整和替代而不會(huì)脫離本發(fā)明的保護(hù)范圍。因此,雖然通過(guò)以上實(shí)施例對(duì)本發(fā)明進(jìn)行了較為詳細(xì)的說(shuō)明,但是本發(fā)明不僅僅限于以上實(shí)施例,在不脫離本發(fā)明構(gòu)思的情況下,還可以包括更多其他等效實(shí)施例,而本發(fā)明的范圍由所附的權(quán)利要求范圍決定。