配置稀疏神經(jīng)網(wǎng)絡(luò)的制作方法
【專利摘要】一種用于選擇神經(jīng)網(wǎng)絡(luò)中精簡(jiǎn)數(shù)目的模型神經(jīng)元的方法包括生成非零解碼矢量的第一稀疏集合。每個(gè)解碼矢量與第一神經(jīng)元層和第二神經(jīng)元層之間的突觸相關(guān)聯(lián)。該方法進(jìn)一步包括僅使用第一神經(jīng)元層中與這些非零解碼矢量相關(guān)聯(lián)的所選模型神經(jīng)元來(lái)實(shí)現(xiàn)該神經(jīng)網(wǎng)絡(luò)。
【專利說(shuō)明】配置稀疏神經(jīng)網(wǎng)絡(luò)
[0001] 相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)要求2014年1月23日提交的美國(guó)臨時(shí)專利申請(qǐng)No.61/930，858、2014年1月 23日提交的美國(guó)臨時(shí)專利申請(qǐng)No. 61/930，849、以及2014年2月13日提交的美國(guó)臨時(shí)專利申 請(qǐng)No. 61/939，537的權(quán)益，其全部公開(kāi)通過(guò)援引明確納入于此。
【背景技術(shù)】 [0003] 領(lǐng)域
[0004] 本公開(kāi)的某些方面一般涉及神經(jīng)系統(tǒng)工程，并且尤其涉及用于以精簡(jiǎn)數(shù)目的模型 神經(jīng)元來(lái)操作神經(jīng)網(wǎng)絡(luò)的系統(tǒng)和方法。
[0005] 背景
[0006] 可包括一群互連的人工神經(jīng)元（即神經(jīng)元模型）的人工神經(jīng)網(wǎng)絡(luò)是一種計(jì)算設(shè)備 或者表示將由計(jì)算設(shè)備執(zhí)行的方法。人工神經(jīng)網(wǎng)絡(luò)可具有生物學(xué)神經(jīng)網(wǎng)絡(luò)中的對(duì)應(yīng)的結(jié)構(gòu) 和/或功能。然而，人工神經(jīng)網(wǎng)絡(luò)可為其中傳統(tǒng)計(jì)算技術(shù)是麻煩的、不切實(shí)際的、或不勝任的 某些應(yīng)用提供創(chuàng)新且有用的計(jì)算技術(shù)。由于人工神經(jīng)網(wǎng)絡(luò)能從觀察中推斷出功能，因此這 樣的網(wǎng)絡(luò)在因任務(wù)或數(shù)據(jù)的復(fù)雜度使得通過(guò)常規(guī)技術(shù)來(lái)設(shè)計(jì)該功能較為麻煩的應(yīng)用中是 特別有用的。
[0007] 概述
[0008] 在一個(gè)方面，公開(kāi)了一種用于選擇神經(jīng)網(wǎng)絡(luò)中精簡(jiǎn)數(shù)目的模型神經(jīng)元的方法。該 方法包括生成非零解碼矢量的第一稀疏集合。每個(gè)解碼矢量與第一神經(jīng)元層和第二神經(jīng)元 層之間的突觸相關(guān)聯(lián)。該方法進(jìn)一步包括僅使用第一神經(jīng)元層中與這些非零解碼矢量相關(guān) 聯(lián)的所選模型神經(jīng)元來(lái)實(shí)現(xiàn)該神經(jīng)網(wǎng)絡(luò)。
[0009] 在另一方面，公開(kāi)了一種用于選擇神經(jīng)網(wǎng)絡(luò)中精簡(jiǎn)數(shù)目的模型神經(jīng)元的裝置。該 裝置包括存儲(chǔ)器以及耦合至該存儲(chǔ)器的一個(gè)或多個(gè)處理器。該處理器被配置成生成非零解 碼矢量的第一稀疏集合。每個(gè)解碼矢量與第一神經(jīng)元層和第二神經(jīng)元層之間的突觸相關(guān) 聯(lián)。該處理器被進(jìn)一步配置成僅使用第一神經(jīng)元層中與這些非零解碼矢量相關(guān)聯(lián)的所選模 型神經(jīng)元來(lái)實(shí)現(xiàn)該神經(jīng)網(wǎng)絡(luò)。
[0010] 在又一方面，公開(kāi)了一種用于選擇神經(jīng)網(wǎng)絡(luò)中精簡(jiǎn)數(shù)目的模型神經(jīng)元的設(shè)備。該 設(shè)備包括用于生成非零解碼矢量的第一稀疏集合的裝置。每個(gè)解碼矢量與第一神經(jīng)元層和 第二神經(jīng)元層之間的突觸相關(guān)聯(lián)。該設(shè)備進(jìn)一步包括用于僅使用第一神經(jīng)元層中與這些非 零解碼矢量相關(guān)聯(lián)的所選模型神經(jīng)元來(lái)實(shí)現(xiàn)該神經(jīng)網(wǎng)絡(luò)的裝置。
[0011] 在又一方面，公開(kāi)了一種用于選擇神經(jīng)網(wǎng)絡(luò)中精簡(jiǎn)數(shù)目的模型神經(jīng)元的計(jì)算機(jī)程 序產(chǎn)品。該計(jì)算機(jī)程序產(chǎn)品包括其上編碼有程序代碼的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)。該程序代 碼包括用于生成非零解碼矢量的第一稀疏集合的程序代碼。每個(gè)解碼矢量與第一神經(jīng)元層 和第二神經(jīng)元層之間的突觸相關(guān)聯(lián)。該程序代碼進(jìn)一步包括用于僅使用第一神經(jīng)元層中與 這些非零解碼矢量相關(guān)聯(lián)的所選模型神經(jīng)元來(lái)實(shí)現(xiàn)該神經(jīng)網(wǎng)絡(luò)的程序代碼。
[0012] 這已較寬泛地勾勒出本公開(kāi)的特征和技術(shù)優(yōu)勢(shì)以力圖使下面的詳細(xì)描述可以被 更好地理解。本發(fā)明的其他特征和優(yōu)點(diǎn)將在下文描述。本領(lǐng)域技術(shù)人員應(yīng)該領(lǐng)會(huì)，本發(fā)明可 容易地被用作改動(dòng)或設(shè)計(jì)用于實(shí)施與本發(fā)明相同的目的的其他結(jié)構(gòu)的基礎(chǔ)。本領(lǐng)域技術(shù)人 員還應(yīng)認(rèn)識(shí)到，這樣的等效構(gòu)造并不脫離所附權(quán)利要求中所闡述的本發(fā)明的教導(dǎo)。被認(rèn)為 是本發(fā)明的特性的新穎特征在其組織和操作方法兩方面連同進(jìn)一步的目的和優(yōu)點(diǎn)在結(jié)合 附圖來(lái)考慮以下描述時(shí)將被更好地理解。然而要清楚理解的是，提供每一幅附圖均僅用于 解說(shuō)和描述目的，且無(wú)意作為對(duì)本發(fā)明的限定的定義。
[0013] 附圖簡(jiǎn)述
[0014] 在結(jié)合附圖理解下面闡述的詳細(xì)描述時(shí)，本發(fā)明的特征、本質(zhì)和優(yōu)點(diǎn)將變得更加 明顯，在附圖中，相同附圖標(biāo)記始終作相應(yīng)標(biāo)識(shí)。
[0015] 圖1解說(shuō)根據(jù)本公開(kāi)的某些方面的示例神經(jīng)元網(wǎng)絡(luò)。
[0016] 圖2解說(shuō)根據(jù)本公開(kāi)的某些方面的計(jì)算網(wǎng)絡(luò)（神經(jīng)系統(tǒng)或神經(jīng)網(wǎng)絡(luò)）的處理單元 (神經(jīng)元)的示例。
[0017] 圖3解說(shuō)根據(jù)本公開(kāi)的某些方面的尖峰定時(shí)依賴可塑性(STDP)曲線的示例。
[0018] 圖4解說(shuō)根據(jù)本公開(kāi)的某些方面的用于定義神經(jīng)元模型的行為的正態(tài)相和負(fù)態(tài)相 的示例。
[0019] 圖5解說(shuō)根據(jù)本公開(kāi)的某些方面的使用通用處理器來(lái)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的示例實(shí)現(xiàn)。
[0020] 圖6解說(shuō)根據(jù)本公開(kāi)的某些方面的設(shè)計(jì)其中存儲(chǔ)器可以與個(gè)體的分布式處理單元 對(duì)接的神經(jīng)網(wǎng)絡(luò)的示例實(shí)現(xiàn)。
[0021] 圖7解說(shuō)根據(jù)本公開(kāi)的某些方面的基于分布式存儲(chǔ)器和分布式處理單元來(lái)設(shè)計(jì)神 經(jīng)網(wǎng)絡(luò)的示例實(shí)現(xiàn)。
[0022] 圖8解說(shuō)根據(jù)本公開(kāi)的某些方面的神經(jīng)網(wǎng)絡(luò)的示例實(shí)現(xiàn)。
[0023] 圖9是解說(shuō)根據(jù)本公開(kāi)的各方面的用于神經(jīng)網(wǎng)絡(luò)的示例性結(jié)構(gòu)的框圖。
[0024] 圖10A-D是解說(shuō)根據(jù)本公開(kāi)的各方面的精簡(jiǎn)的模型神經(jīng)元集合的示例性示圖。
[0025] 圖11解說(shuō)根據(jù)本公開(kāi)的一方面的用于選擇具有低激發(fā)率的神經(jīng)元模型以用于在 神經(jīng)網(wǎng)絡(luò)中操作的方法。
[0026] 圖12是解說(shuō)根據(jù)本公開(kāi)的一方面的用于選擇神經(jīng)網(wǎng)絡(luò)中精簡(jiǎn)數(shù)目的模型神經(jīng)元 的方法的框圖。
[0027] 圖13是解說(shuō)根據(jù)本公開(kāi)的一方面的用于生成神經(jīng)網(wǎng)絡(luò)的方法的框圖。
[0028] 詳細(xì)描述
[0029] 以下結(jié)合附圖闡述的詳細(xì)描述旨在作為各種配置的描述，而無(wú)意表示可實(shí)踐本文 中所描述的概念的僅有的配置。本詳細(xì)描述包括具體細(xì)節(jié)以便提供對(duì)各種概念的透徹理 解。然而，對(duì)于本領(lǐng)域技術(shù)人員將顯而易見(jiàn)的是，沒(méi)有這些具體細(xì)節(jié)也可實(shí)踐這些概念。在 一些實(shí)例中，以框圖形式示出眾所周知的結(jié)構(gòu)和組件以避免湮沒(méi)此類(lèi)概念。
[0030] 基于教導(dǎo)，本領(lǐng)域技術(shù)人員應(yīng)領(lǐng)會(huì)，本公開(kāi)的范圍旨在覆蓋本公開(kāi)的任何方面，不 論其是與本公開(kāi)的任何其他方面相獨(dú)立地還是組合地實(shí)現(xiàn)的。例如，可以使用所闡述的任 何數(shù)目的方面來(lái)實(shí)現(xiàn)裝置或?qū)嵺`方法。另外，本公開(kāi)的范圍旨在覆蓋使用作為所闡述的本 公開(kāi)的各個(gè)方面的補(bǔ)充或者與之不同的其他結(jié)構(gòu)、功能性、或者結(jié)構(gòu)及功能性來(lái)實(shí)踐的此 類(lèi)裝置或方法。應(yīng)當(dāng)理解，所披露的本公開(kāi)的任何方面可由權(quán)利要求的一個(gè)或多個(gè)元素來(lái) 實(shí)施。
[0031] 措辭"示例性"在本文中用于表示"用作示例、實(shí)例或解說(shuō)"。本文中描述為"示例 性"的任何方面不必被解釋為優(yōu)于或勝過(guò)其他方面。
[0032] 盡管本文描述了特定方面，但這些方面的眾多變體和置換落在本公開(kāi)的范圍之 內(nèi)。雖然提到了優(yōu)選方面的一些益處和優(yōu)點(diǎn)，但本公開(kāi)的范圍并非旨在被限定于特定益處、 用途或目標(biāo)。相反，本公開(kāi)的各方面旨在能寬泛地應(yīng)用于不同的技術(shù)、系統(tǒng)配置、網(wǎng)絡(luò)和協(xié) 議，其中一些作為示例在附圖以及以下對(duì)優(yōu)選方面的描述中解說(shuō)。該詳細(xì)描述和附圖僅僅 解說(shuō)本公開(kāi)而非限定本公開(kāi)，本公開(kāi)的范圍由所附權(quán)利要求及其等效技術(shù)方案來(lái)定義。 [0033]示例神經(jīng)系統(tǒng)、訓(xùn)練及操作
[0034] 圖1解說(shuō)根據(jù)本公開(kāi)的某些方面的具有多級(jí)神經(jīng)元的示例人工神經(jīng)系統(tǒng)100。神經(jīng) 系統(tǒng)100可具有神經(jīng)元級(jí)102,該級(jí)神經(jīng)元102通過(guò)突觸連接網(wǎng)絡(luò)104(即，前饋連接)來(lái)連接 到另一神經(jīng)元級(jí)106。為簡(jiǎn)單起見(jiàn)，圖1中僅解說(shuō)了兩級(jí)神經(jīng)元，盡管神經(jīng)系統(tǒng)中可存在更少 或更多級(jí)神經(jīng)元。應(yīng)注意，一些神經(jīng)元可通過(guò)側(cè)向連接來(lái)連接至同層中的其他神經(jīng)元。此 外，一些神經(jīng)元可通過(guò)反饋連接來(lái)后向連接至先前層中的神經(jīng)元。
[0035] 如圖1所解說(shuō)的，級(jí)102中的每一個(gè)神經(jīng)元可以接收可由前級(jí)的神經(jīng)元(未在圖1中 示出）生成的輸入信號(hào)108。信號(hào)108可表示級(jí)102的神經(jīng)元的輸入電流。該電流可在神經(jīng)元 膜上累積以對(duì)膜電位進(jìn)行充電。當(dāng)膜電位達(dá)到其閾值時(shí)，該神經(jīng)元可激發(fā)并生成輸出尖峰， 該輸出尖峰將被傳遞到下一級(jí)神經(jīng)元(例如，級(jí)106)。在某些建模辦法中，神經(jīng)元可以連續(xù) 地向下一級(jí)神經(jīng)元傳遞信號(hào)。該信號(hào)通常是膜電位的函數(shù)。此類(lèi)行為可在硬件和/或軟件 (包括模擬和數(shù)字實(shí)現(xiàn)，諸如以下所述那些實(shí)現(xiàn)）中進(jìn)行仿真或模擬。
[0036] 在生物學(xué)神經(jīng)元中，在神經(jīng)元激發(fā)時(shí)生成的輸出尖峰被稱為動(dòng)作電位。該電信號(hào) 是相對(duì)迅速、瞬態(tài)的神經(jīng)沖激，其具有約為100mV的振幅和約為lms的歷時(shí)。在具有一系列連 通的神經(jīng)元(例如，尖峰從圖1中的一級(jí)神經(jīng)元傳遞至另一級(jí)神經(jīng)元）的神經(jīng)系統(tǒng)的特定實(shí) 施例中，每個(gè)動(dòng)作電位都具有基本上相同的振幅和歷時(shí)，并且因此該信號(hào)中的信息可僅由 尖峰的頻率和數(shù)目、或尖峰的時(shí)間來(lái)表示，而不由振幅來(lái)表示。動(dòng)作電位所攜帶的信息可由 尖峰、發(fā)放了尖峰的神經(jīng)元、以及該尖峰相對(duì)于一個(gè)或數(shù)個(gè)其他尖峰的時(shí)間來(lái)確定。尖峰的 重要性可由向各神經(jīng)元之間的連接所應(yīng)用的權(quán)重來(lái)確定，如以下所解釋的。
[0037] 尖峰從一級(jí)神經(jīng)元向另一級(jí)神經(jīng)元的傳遞可通過(guò)突觸連接(或簡(jiǎn)稱"突觸"）網(wǎng)絡(luò) 104來(lái)達(dá)成，如圖1中所解說(shuō)的。關(guān)于突觸104,級(jí)102的神經(jīng)元可被視為突觸前神經(jīng)元，而級(jí) 106的神經(jīng)元可被視為突觸后神經(jīng)元。突觸104可接收來(lái)自級(jí)102的神經(jīng)元的輸出信號(hào)（即， 尖峰），并根據(jù)可調(diào)節(jié)突觸權(quán)重
來(lái)按比例縮放那些信號(hào)，其中P是級(jí) 102的神經(jīng)元與級(jí)106的神經(jīng)元之間的突觸連接的總數(shù)，并且i是神經(jīng)元級(jí)的指示符。在圖1 的示例中，i表示神經(jīng)元級(jí)102并且i+Ι表示神經(jīng)元級(jí)106。此外，經(jīng)按比例縮放的信號(hào)可被組 合以作為級(jí)106中每個(gè)神經(jīng)元的輸入信號(hào)。級(jí)106中的每個(gè)神經(jīng)元可基于對(duì)應(yīng)的組合輸入信 號(hào)來(lái)生成輸出尖峰11 〇?？墒褂昧硪煌挥|連接網(wǎng)絡(luò)（圖1中未示出）將這些輸出尖峰11 〇傳遞 到另一級(jí)神經(jīng)元。
[0038] 生物學(xué)突觸可以仲裁突觸后神經(jīng)元中的興奮性或抑制性(超級(jí)化)動(dòng)作，并且還可 用于放大神經(jīng)元信號(hào)。興奮性信號(hào)使膜電位去極化(即，相對(duì)于靜息電位增大膜電位）。如果 在某個(gè)時(shí)間段內(nèi)接收到足夠的興奮性信號(hào)以使膜電位去極化到高于閾值，則在突觸后神經(jīng) 元中發(fā)生動(dòng)作電位。相反，抑制性信號(hào)一般使膜電位超極化（即，降低膜電位）。抑制性信號(hào) 如果足夠強(qiáng)則可抵消掉興奮性信號(hào)之和并阻止膜電位到達(dá)閾值。除了抵消掉突觸興奮以 外，突觸抑制還可對(duì)自發(fā)活躍神經(jīng)元施加強(qiáng)力的控制。自發(fā)活躍神經(jīng)元是指在沒(méi)有進(jìn)一步 輸入的情況下（例如，由于其動(dòng)態(tài)或反饋而)發(fā)放尖峰的神經(jīng)元。通過(guò)壓制這些神經(jīng)元中的 動(dòng)作電位的自發(fā)生成，突觸抑制可對(duì)神經(jīng)元中的激發(fā)模式進(jìn)行定形，這一般被稱為雕刻。取 決于期望的行為，各種突觸104可充當(dāng)興奮性或抑制性突觸的任何組合。
[0039] 神經(jīng)系統(tǒng)100可由通用處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場(chǎng) 可編程門(mén)陣列(FPGA)或其他可編程邏輯器件(PLD)、分立的門(mén)或晶體管邏輯、分立的硬件組 件、由處理器執(zhí)行的軟件模塊、或其任何組合來(lái)仿真。神經(jīng)系統(tǒng)100可用在大范圍的應(yīng)用中， 諸如圖像和模式識(shí)別、機(jī)器學(xué)習(xí)、電機(jī)控制、及類(lèi)似應(yīng)用等。神經(jīng)系統(tǒng)100中的每一神經(jīng)元可 被實(shí)現(xiàn)為神經(jīng)元電路。被充電至發(fā)起輸出尖峰的閾值的神經(jīng)元膜可被實(shí)現(xiàn)為例如對(duì)流經(jīng)其 的電流進(jìn)行積分的電容器。
[0040] 在一方面，電容器作為神經(jīng)元電路的電流積分器件可被除去，并且可使用較小的 憶阻器元件來(lái)替代它。這種辦法可應(yīng)用于神經(jīng)元電路中，以及其中大容量電容器被用作電 流積分器的各種其他應(yīng)用中。另外，每個(gè)突觸104可基于憶阻器元件來(lái)實(shí)現(xiàn)，其中突觸權(quán)重 改變可與憶阻器電阻的變化有關(guān)。使用納米特征尺寸的憶阻器，可顯著地減小神經(jīng)元電路 和突觸的面積，這可使得實(shí)現(xiàn)大規(guī)模神經(jīng)系統(tǒng)硬件實(shí)現(xiàn)更為切實(shí)可行。
[0041] 對(duì)神經(jīng)系統(tǒng)100進(jìn)行仿真的神經(jīng)處理器的功能性可取決于突觸連接的權(quán)重，這些 權(quán)重可控制神經(jīng)元之間的連接的強(qiáng)度。突觸權(quán)重可存儲(chǔ)在非易失性存儲(chǔ)器中以在掉電之后 保留該處理器的功能性。在一方面，突觸權(quán)重存儲(chǔ)器可實(shí)現(xiàn)在與主神經(jīng)處理器芯片分開(kāi)的 外部芯片上。突觸權(quán)重存儲(chǔ)器可與神經(jīng)處理器芯片分開(kāi)地封裝成可更換的存儲(chǔ)卡。這可向 神經(jīng)處理器提供多種多樣的功能性，其中特定功能性可基于當(dāng)前附連至神經(jīng)處理器的存儲(chǔ) 卡中所存儲(chǔ)的突觸權(quán)重。
[0042]圖2解說(shuō)根據(jù)本公開(kāi)的某些方面的計(jì)算網(wǎng)絡(luò)（例如，神經(jīng)系統(tǒng)或神經(jīng)網(wǎng)絡(luò)）的處理 單元(例如，神經(jīng)元或神經(jīng)元電路)202的示例性示圖200。例如，神經(jīng)元202可對(duì)應(yīng)于來(lái)自圖1 的級(jí)102和106的任何神經(jīng)元。神經(jīng)元202可接收多個(gè)輸入信號(hào)20^-20%，這些輸入信號(hào)可以 是該神經(jīng)系統(tǒng)外部的信號(hào)、或是由同一神經(jīng)系統(tǒng)的其他神經(jīng)元所生成的信號(hào)、或這兩者。輸 入信號(hào)可以是電流、電導(dǎo)、電壓、實(shí)數(shù)值的和/或復(fù)數(shù)值的。輸入信號(hào)可包括具有定點(diǎn)或浮點(diǎn) 表示的數(shù)值?？赏ㄟ^(guò)突觸連接將這些輸入信號(hào)遞送到神經(jīng)元202,突觸連接根據(jù)可調(diào)節(jié)突觸 權(quán)重206^206^1^??)對(duì)這些信號(hào)進(jìn)行按比例縮放，其中N可以是神經(jīng)元202的輸入連接總 數(shù)。
[0043]神經(jīng)元202可組合這些經(jīng)按比例縮放的輸入信號(hào)，并且使用組合的經(jīng)按比例縮放 的輸入來(lái)生成輸出信號(hào)208(即，信號(hào)Y)。輸出信號(hào)208可以是電流、電導(dǎo)、電壓、實(shí)數(shù)值的和/ 或復(fù)數(shù)值的。輸出信號(hào)可以是具有定點(diǎn)或浮點(diǎn)表示的數(shù)值。隨后該輸出信號(hào)208可作為輸入 信號(hào)傳遞至同一神經(jīng)系統(tǒng)的其他神經(jīng)元、或作為輸入信號(hào)傳遞至同一神經(jīng)元202、或作為該 神經(jīng)系統(tǒng)的輸出來(lái)傳遞。
[0044]處理單元(神經(jīng)元）202可由電路來(lái)仿真，并且其輸入和輸出連接可由具有突觸電 路的電連接來(lái)仿真。處理單元202及其輸入和輸出連接也可由軟件代碼來(lái)仿真。處理單元 202還可由電路來(lái)仿真，而其輸入和輸出連接可由軟件代碼來(lái)仿真。在一方面，計(jì)算網(wǎng)絡(luò)中 的處理單元202可以是模擬電路。在另一方面，處理單元202可以是數(shù)字電路。在又一方面， 處理單元202可以是具有模擬和數(shù)字組件兩者的混合信號(hào)電路。計(jì)算網(wǎng)絡(luò)可包括任何前述 形式的處理單元。使用這樣的處理單元的計(jì)算網(wǎng)絡(luò)(神經(jīng)系統(tǒng)或神經(jīng)網(wǎng)絡(luò))可用在大范圍的 應(yīng)用中，諸如圖像和模式識(shí)別、機(jī)器學(xué)習(xí)、電機(jī)控制、及類(lèi)似應(yīng)用等。
[0045] 在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程期間，突觸權(quán)重（例如，來(lái)自圖1的權(quán)重 和/或來(lái)自圖2的權(quán)重206^206〃)可用隨機(jī)值來(lái)初始化并根據(jù)學(xué)習(xí)規(guī)則而被增大或減小。本 領(lǐng)域技術(shù)人員將領(lǐng)會(huì)，學(xué)習(xí)規(guī)則的示例包括但不限于尖峰定時(shí)依賴可塑性（STDP)學(xué)習(xí)規(guī) 貝丨J、Hebb規(guī)則、0 ja規(guī)則、Bienenstock-Copper-Munro(BCM)規(guī)則等。在某些方面，這些權(quán)重可 穩(wěn)定或收斂至兩個(gè)值（即，權(quán)重的雙峰分布)之一。該效應(yīng)可被用于減少每個(gè)突觸權(quán)重的位 數(shù)、提高從/向存儲(chǔ)突觸權(quán)重的存儲(chǔ)器讀取和寫(xiě)入的速度、以及降低突觸存儲(chǔ)器的功率和/ 或處理器消耗。
[0046]突觸類(lèi)型
[0047]在神經(jīng)網(wǎng)絡(luò)的硬件和軟件模型中，突觸相關(guān)功能的處理可基于突觸類(lèi)型。突觸類(lèi) 型可包括非可塑突觸(權(quán)重和延遲沒(méi)有改變）、可塑突觸(權(quán)重可改變）、結(jié)構(gòu)化延遲可塑突 觸(權(quán)重和延遲可改變）、全可塑突觸(權(quán)重、延遲和連通性可改變）、以及基于此的變型（例 如，延遲可改變，但在權(quán)重或連通性方面沒(méi)有改變）。多種類(lèi)型的優(yōu)點(diǎn)在于處理可以被細(xì)分。 例如，非可塑突觸不會(huì)使用待執(zhí)行的可塑性功能(或等待此類(lèi)功能完成）。類(lèi)似地，延遲和權(quán) 重可塑性可被細(xì)分成可一起或分開(kāi)地、順序地或并行地運(yùn)作的操作。不同類(lèi)型的突觸對(duì)于 適用的每一種不同的可塑性類(lèi)型可具有不同的查找表或公式以及參數(shù)。因此，這些方法將 針對(duì)該突觸的類(lèi)型來(lái)訪問(wèn)相關(guān)的表、公式或參數(shù)。
[0048] 還進(jìn)一步牽涉到以下事實(shí):尖峰定時(shí)依賴型結(jié)構(gòu)化可塑性可獨(dú)立于突觸可塑性地 來(lái)執(zhí)行。結(jié)構(gòu)化可塑性即使在權(quán)重幅值沒(méi)有改變的情況下(例如，如果權(quán)重已達(dá)最小或最大 值、或者其由于某種其他原因而不被改變)也可被執(zhí)行，因?yàn)榻Y(jié)構(gòu)化可塑性（即，延遲改變的 量)可以是前-后尖峰時(shí)間差的直接函數(shù)。替換地，結(jié)構(gòu)化可塑性可被設(shè)為權(quán)重改變量的函 數(shù)或者可基于與權(quán)重或權(quán)重改變的界限有關(guān)的條件來(lái)設(shè)置。例如，突觸延遲可僅在權(quán)重改 變發(fā)生時(shí)或者在權(quán)重到達(dá)〇的情況下才改變，但在這些權(quán)重為最大值時(shí)則不改變。然而，具 有獨(dú)立函數(shù)以使得這些過(guò)程能被并行化從而減少存儲(chǔ)器訪問(wèn)的次數(shù)和交疊可能是有利的。
[0049] 突觸可塑性的確定
[0050] 神經(jīng)元可塑性(或簡(jiǎn)稱"可塑性"）是大腦中的神經(jīng)元和神經(jīng)網(wǎng)絡(luò)響應(yīng)于新的信息、 感官刺激、發(fā)展、損壞、或機(jī)能障礙而改變其突觸連接和行為的能力?？伤苄詫?duì)于生物學(xué)中 的學(xué)習(xí)和記憶、以及對(duì)于計(jì)算神經(jīng)元科學(xué)和神經(jīng)網(wǎng)絡(luò)是重要的。已經(jīng)研究了各種形式的可 塑性，諸如突觸可塑性(例如，根據(jù)Hebbian理論）、尖峰定時(shí)依賴可塑性(STDP)、非突觸可塑 性、活躍性依賴可塑性、結(jié)構(gòu)化可塑性和自穩(wěn)態(tài)可塑性。
[0051] STDP是調(diào)節(jié)神經(jīng)元之間的突觸連接的強(qiáng)度的學(xué)習(xí)過(guò)程。連接強(qiáng)度是基于特定神經(jīng) 元的輸出與收到輸入尖峰（即，動(dòng)作電位)的相對(duì)定時(shí)來(lái)調(diào)節(jié)的。在STDP過(guò)程下，如果至某個(gè) 神經(jīng)元的輸入尖峰平均而言傾向于緊挨在該神經(jīng)元的輸出尖峰之前發(fā)生，則可發(fā)生長(zhǎng)期增 強(qiáng)(LTP)。于是使得該特定輸入在一定程度上更強(qiáng)。另一方面，如果輸入尖峰平均而言傾向 于緊接在輸出尖峰之后發(fā)生，則可發(fā)生長(zhǎng)期抑壓(LTD)。于是使得該特定輸入在一定程度上 更弱，并由此得名"尖峰定時(shí)依賴可塑性"。因此，使得可能是突觸后神經(jīng)元興奮原因的輸入 甚至更有可能在將來(lái)作出貢獻(xiàn)，而使得不是突觸后尖峰的原因的輸入更不可能在將來(lái)作出 貢獻(xiàn)。該過(guò)程繼續(xù)，直至初始連接集合的子集保留，而所有其他連接的影響減小至無(wú)關(guān)緊要 的水平。
[0052]由于神經(jīng)元一般在其許多輸入都在一短時(shí)段內(nèi)發(fā)生（即，累積性足以引起輸出）時(shí) 產(chǎn)生輸出尖峰，因此通常保留下來(lái)的輸入子集包括傾向于在時(shí)間上相關(guān)的那些輸入。另外， 由于在輸出尖峰之前發(fā)生的輸入被加強(qiáng)，因此提供對(duì)相關(guān)性的最早充分累積性指示的那些 輸入將最終變成至該神經(jīng)元的最后輸入。
[0053] STDP學(xué)習(xí)規(guī)則可作為突觸前神經(jīng)元的尖峰時(shí)間tpre與突觸后神經(jīng)元的尖峰時(shí)間 tpcist之間的時(shí)間差（即，t = tpcist-tpre)的函數(shù)地來(lái)有效地適配將該突觸前神經(jīng)元連接到該突 觸后神經(jīng)元的突觸的突觸權(quán)重。STDP的典型公式化是若該時(shí)間差為正（突觸前神經(jīng)元在突 觸后神經(jīng)元之前激發(fā))則增大突觸權(quán)重（即，增強(qiáng)該突觸），以及若該時(shí)間差為負(fù)（突觸后神 經(jīng)元在突觸前神經(jīng)元之前激發(fā))則減小突觸權(quán)重（即，抑壓該突觸）。
[0054]在STDP過(guò)程中，突觸權(quán)重隨時(shí)間推移的改變可通常使用指數(shù)式衰退來(lái)達(dá)成，如由 下式給出的：
[0056] 其中k+和k-TSign( Δ t)Tsign(At)分別是針對(duì)正和負(fù)時(shí)間差的時(shí)間常數(shù)，a+和a-是對(duì) 應(yīng)的比例縮放幅值，并且μ是可應(yīng)用于正時(shí)間差和/或負(fù)時(shí)間差的偏移。
[0057]圖3解說(shuō)了根據(jù)STDP，突觸權(quán)重作為突觸前(pre)和突觸后(post)尖峰的相對(duì)定時(shí) 的函數(shù)而改變的示例性示圖300。如果突觸前神經(jīng)元在突觸后神經(jīng)元之前激發(fā)，則對(duì)應(yīng)的突 觸權(quán)重可被增大，如曲線圖300的部分302中所解說(shuō)的。該權(quán)重增大可被稱為該突觸的LTP。 從曲線圖部分302可觀察到，LTP的量可作為突觸前和突觸后尖峰時(shí)間之差的函數(shù)而大致呈 指數(shù)式地下降。相反的激發(fā)次序可減小突觸權(quán)重，如曲線圖300的部分304中所解說(shuō)的，從而 導(dǎo)致該突觸的LTD。
[0058]如圖3中的曲線圖300中所解說(shuō)的，可向STDP曲線圖的LTP(因果性)部分302應(yīng)用負(fù) 偏移lx軸的交越點(diǎn)306(y = 0)可被配置成與最大時(shí)間滯后重合以考慮到來(lái)自層i-Ι的各因 果性輸入的相關(guān)性。在基于幀的輸入（即，呈特定歷時(shí)的包括尖峰或脈沖的幀的形式的輸 入)的情形中，可計(jì)算偏移值μ以反映幀邊界。該幀中的第一輸入尖峰(脈沖)可被視為要么 如直接由突觸后電位所建模地隨時(shí)間衰退，要么在對(duì)神經(jīng)狀態(tài)的影響的意義上隨時(shí)間衰 退。如果該幀中的第二輸入尖峰(脈沖)被視為與特定時(shí)間幀相關(guān)或有關(guān)，則該幀之前和之 后的有關(guān)時(shí)間可通過(guò)使STDP曲線的一個(gè)或多個(gè)部分偏移以使得這些有關(guān)時(shí)間中的值可以 不同（例如，對(duì)于大于一個(gè)幀為負(fù)，而對(duì)于小于一個(gè)幀為正)來(lái)在該時(shí)間幀邊界處被分開(kāi)并 在可塑性意義上被不同地對(duì)待。例如，負(fù)偏移μ可被設(shè)置以偏移LTP以使得該曲線實(shí)際上在 大于幀時(shí)間的前-后時(shí)間處變得低于零并且它由此成為L(zhǎng)TD的一部分而非LTP的一部分。 [0059]神經(jīng)元模型及操作
[0060]存在一些用于設(shè)計(jì)有用的尖峰發(fā)放神經(jīng)元模型的一般原理。良好的神經(jīng)元模型在 以下兩個(gè)計(jì)算態(tài)相(regime)方面可具有豐富的潛在行為:一致性檢測(cè)和功能性計(jì)算。此外， 良好的神經(jīng)元模型應(yīng)當(dāng)具有允許時(shí)間編碼的兩個(gè)要素:輸入的抵達(dá)時(shí)間影響輸出時(shí)間，以 及一致性檢測(cè)能具有窄時(shí)間窗。最后，為了在計(jì)算上是有吸引力的，良好的神經(jīng)元模型在連 續(xù)時(shí)間上可具有閉合形式解，并且具有穩(wěn)定的行為，包括在靠近吸引子和鞍點(diǎn)之處。換言 之，有用的神經(jīng)元模型是可實(shí)踐且可被用于建模豐富的、現(xiàn)實(shí)的且生物學(xué)一致的行為并且 可被用于對(duì)神經(jīng)電路進(jìn)行工程設(shè)計(jì)和反向工程兩者的神經(jīng)元模型。
[0061] 神經(jīng)元模型可取決于事件，諸如輸入抵達(dá)、輸出尖峰或其他事件，無(wú)論這些事件是 內(nèi)部的還是外部的。為了達(dá)成豐富的行為庫(kù)，能展現(xiàn)復(fù)雜行為的狀態(tài)機(jī)可能是期望的。如果 事件本身的發(fā)生在撇開(kāi)輸入貢獻(xiàn)(若有)的情況下能影響狀態(tài)機(jī)并約束該事件之后的動(dòng)態(tài)， 則該系統(tǒng)的將來(lái)狀態(tài)并非僅是狀態(tài)和輸入的函數(shù)，而是狀態(tài)、事件和輸入的函數(shù)。
[0062] 在一方面，神經(jīng)元η可被建模為尖峰發(fā)放帶泄漏積分激發(fā)神經(jīng)元，其膜電壓vn(t) 由以下動(dòng)態(tài)來(lái)支配：
[0064] 其中α和β是參數(shù)，Wm,n是將突觸前神經(jīng)元m連接至突觸后神經(jīng)元 n的突觸的突觸權(quán) 重，以及ym(t)是神經(jīng)元m的尖峰發(fā)放輸出，其可根據(jù)Δ tm,η被延遲達(dá)樹(shù)突或軸突延遲才抵達(dá) 神經(jīng)元η的胞體。
[0065] 應(yīng)注意，從建立了對(duì)突觸后神經(jīng)元的充分輸入的時(shí)間直至該突觸后神經(jīng)元實(shí)際上 激發(fā)的時(shí)間存在延遲。在動(dòng)態(tài)尖峰發(fā)放神經(jīng)元模型(諸如Izhikevich簡(jiǎn)單模型）中，如果在 去極化閾值vt與峰值尖峰電壓v peak之間有差量，則可能招致時(shí)間延遲。例如，在該簡(jiǎn)單模型 中，神經(jīng)元胞體動(dòng)態(tài)可由關(guān)于電壓和恢復(fù)的微分方程對(duì)來(lái)支配，即：
[0068] 其中v是膜電位，u是膜恢復(fù)變量，k是描述膜電位v的時(shí)間尺度的參數(shù)，a是描述恢 復(fù)變量u的時(shí)間尺度的參數(shù)，b是描述恢復(fù)變量u對(duì)膜電位v的閾下波動(dòng)的敏感度的參數(shù)，Vi· 是膜靜息電位，I是突觸電流，并且C是膜的電容。根據(jù)該模型，神經(jīng)元被定義為在v>v peak時(shí) 發(fā)放尖峰。
[0069] Hunzinger Cold模型
[0070] Hunzinger Cold神經(jīng)元模型是能再現(xiàn)豐富多樣的各種神經(jīng)行為的最小雙態(tài)相尖 峰發(fā)放線性動(dòng)態(tài)模型。該模型的一維或二維線性動(dòng)態(tài)可具有兩個(gè)態(tài)相，其中時(shí)間常數(shù)（以及 耦合)可取決于態(tài)相。在閾下態(tài)相中，時(shí)間常數(shù)(按照慣例為負(fù)）表示泄漏通道動(dòng)態(tài)，其一般 作用于以生物學(xué)一致的線性方式使細(xì)胞返回到靜息。閾上態(tài)相中的時(shí)間常數(shù)(按照慣例為 正)反映抗泄漏通道動(dòng)態(tài)，其一般驅(qū)動(dòng)細(xì)胞發(fā)放尖峰，而同時(shí)在尖峰生成中引發(fā)等待時(shí)間。 [0071]如圖4中所解說(shuō)的，該模型400的動(dòng)態(tài)可被劃分成兩個(gè)(或更多個(gè))態(tài)相。這些態(tài)相 可被稱為負(fù)態(tài)相402(也可互換地稱為帶漏泄積分激發(fā)(LIF)態(tài)相，勿與LIF神經(jīng)元模型混 淆）以及正態(tài)相404(也可互換地稱為抗漏泄積分激發(fā)(ALIF)態(tài)相，勿與ALIF神經(jīng)元模型混 淆）。在負(fù)態(tài)相402中，狀態(tài)在將來(lái)事件的時(shí)間趨向于靜息(V-)。在該負(fù)態(tài)相中，該模型一般 展現(xiàn)出時(shí)間輸入檢測(cè)性質(zhì)及其他閾下行為。在正態(tài)相404中，狀態(tài)趨向于尖峰發(fā)放事件 (Vs)。在該正態(tài)相中，該模型展現(xiàn)出計(jì)算性質(zhì)，諸如取決于后續(xù)輸入事件而引發(fā)發(fā)放尖峰的 等待時(shí)間。在事件方面對(duì)動(dòng)態(tài)進(jìn)行公式化以及將動(dòng)態(tài)分成這兩個(gè)態(tài)相是該模型的基礎(chǔ)特 性。
[0072]線性雙態(tài)相二維動(dòng)態(tài)(對(duì)于狀態(tài)v和u)可按照慣例定義為：
[0075] 其中qP和r是用于耦合的線性變換變量。
[0076] 符號(hào)p在本文中用于標(biāo)示動(dòng)態(tài)態(tài)相，在討論或表達(dá)具體態(tài)相的關(guān)系時(shí)，按照慣例對(duì) 于負(fù)態(tài)相和正態(tài)相分別用符號(hào)或"+"來(lái)替換符號(hào)P。
[0077] 模型狀態(tài)通過(guò)膜電位（電壓)v和恢復(fù)電流u來(lái)定義。在基本形式中，態(tài)相在本質(zhì)上 是由模型狀態(tài)來(lái)決定的。該精確和通用的定義存在一些細(xì)微卻重要的方面，但目前考慮該 模型在電壓v高于閾值(v+)的情況下處于正態(tài)相404中，否則處于負(fù)態(tài)相402中。
[0078] 態(tài)相依賴時(shí)間常數(shù)包括負(fù)態(tài)相時(shí)間常數(shù)τ-和正態(tài)相時(shí)間常數(shù)τ+?；謴?fù)電流時(shí)間常 數(shù)^通常是與態(tài)相無(wú)關(guān)的。出于方便起見(jiàn)，負(fù)態(tài)相時(shí)間常數(shù)τ_通常被指定為反映衰退的負(fù) 量，從而用于電壓演變的相同表達(dá)式可用于正態(tài)相，在正態(tài)相中指數(shù)和τ+將一般為正，正如 tu那樣。
[0079] 這兩個(gè)狀態(tài)元素的動(dòng)態(tài)可在發(fā)生事件之際通過(guò)使?fàn)顟B(tài)偏離其零傾線（nul Ιο 1 ine) 的變換來(lái)耦合 ，其中 變換變量為：
[0080] qP = -Tp0u-Vp (7)
[0081] r = 3(v+e)。（8)
[0082] 其中δ、ε、β和V-、V+是參數(shù)。Vp的兩個(gè)值是這兩個(gè)態(tài)相的參考電壓的基數(shù)。參數(shù)v-是 負(fù)態(tài)相的基電壓，并且膜電位在負(fù)態(tài)相中一般將朝向V-衰退。參數(shù)v+是正態(tài)相的基電壓，并 且膜電位在正態(tài)相中一般將趨向于背離v+。
[0083] v和u的零傾線分別由變換變量qP和r的負(fù)數(shù)給出。參數(shù)δ是控制u零傾線的斜率的 比例縮放因子。參數(shù)ε通常被設(shè)為等于-V-。參數(shù)β是控制這兩個(gè)態(tài)相中的ν零傾線的斜率的 電阻值。τρ時(shí)間常數(shù)參數(shù)不僅控制指數(shù)衰退，還單獨(dú)地控制每個(gè)態(tài)相中的零傾線斜率。
[0084] 該模型可被定義為在電壓ν達(dá)到值vs時(shí)發(fā)放尖峰。隨后，狀態(tài)可在發(fā)生復(fù)位事件 (其可以與尖峰事件完全相同）之際被復(fù)位：
[0085] v = V- (9)
[0086] u = u+ Δ u (10)
[0087] 其中1和Δ u是參數(shù)。復(fù)位電壓I通常被設(shè)為v一。
[0088] 依照瞬時(shí)耦合的原理，閉合形式解不僅對(duì)于狀態(tài)是可能的（且具有單個(gè)指數(shù)項(xiàng)）， 而且對(duì)于到達(dá)特定狀態(tài)的時(shí)間也是可能的。閉合形式狀態(tài)解為：

[0091] 因此，模型狀態(tài)可僅在事件之際被更新，諸如在輸入(突觸前尖峰)或輸出（突觸后 尖峰)之際被更新。還可在任何特定時(shí)間(無(wú)論是否有輸入或輸出)執(zhí)行操作。
[0092] 而且，依照瞬時(shí)耦合原理，突觸后尖峰的時(shí)間可被預(yù)計(jì)，因此到達(dá)特定狀態(tài)的時(shí)間 可提前被確定而無(wú)需迭代技術(shù)或數(shù)值方法(例如，歐拉數(shù)值方法）。給定了先前電壓狀態(tài)vo， 直至到達(dá)電壓狀態(tài)Vf之前的時(shí)間延遲由下式給出：
[0094]如果尖峰被定義為發(fā)生在電壓狀態(tài)v到達(dá)vs的時(shí)間，則從電壓處于給定狀態(tài)v的時(shí) 間起測(cè)量的直至發(fā)生尖峰前的時(shí)間量或即相對(duì)延遲的閉合形式解為：
[0096] 其中通常被設(shè)為參數(shù)v+，但其他變型可以是可能的。
[0097] 模型動(dòng)態(tài)的以上定義取決于該模型是在正態(tài)相還是負(fù)態(tài)相中。如所提及的，耦合 和態(tài)相P可基于事件來(lái)計(jì)算。出于狀態(tài)傳播的目的，態(tài)相和耦合(變換）變量可基于在上一 (先前)事件的時(shí)間的狀態(tài)來(lái)定義。出于隨后預(yù)計(jì)尖峰輸出時(shí)間的目的，態(tài)相和耦合變量可 基于在下一(當(dāng)前)事件的時(shí)間的狀態(tài)來(lái)定義。
[0098] 存在對(duì)該Cold模型、以及在時(shí)間上執(zhí)行模擬、仿真、或建模的若干可能實(shí)現(xiàn)。這包 括例如事件-更新、步點(diǎn)-事件更新、以及步點(diǎn)-更新模式。事件更新是其中基于事件或"事件 更新"（在特定時(shí)刻)來(lái)更新?tīng)顟B(tài)的更新。步點(diǎn)更新是以間隔（例如，lms)來(lái)更新模型的更新。 這不一定使用迭代方法或數(shù)值方法。通過(guò)僅在事件發(fā)生于步點(diǎn)處或步點(diǎn)間的情況下才更新 模型或即通過(guò)"步點(diǎn)-事件"更新，基于事件的實(shí)現(xiàn)以有限的時(shí)間分辨率在基于步點(diǎn)的模擬 器中實(shí)現(xiàn)也是可能的。
[0099]用于操作神經(jīng)網(wǎng)絡(luò)的最優(yōu)化
[0100] 神經(jīng)網(wǎng)絡(luò)可包括多層神經(jīng)元，這多層神經(jīng)元可根據(jù)神經(jīng)元模型和神經(jīng)元狀態(tài)在各 種時(shí)間激發(fā)。隨著網(wǎng)絡(luò)中神經(jīng)元的總數(shù)增大，網(wǎng)絡(luò)中發(fā)放尖峰的神經(jīng)元的數(shù)目也增大并且 進(jìn)而操作該神經(jīng)網(wǎng)絡(luò)所消耗的功率也類(lèi)似地增大。
[0101] 本公開(kāi)的各方面針對(duì)改進(jìn)或者甚至最優(yōu)化神經(jīng)網(wǎng)絡(luò)。在一些示例性配置中，這些 改進(jìn)可包括以降低的激發(fā)率來(lái)操作神經(jīng)網(wǎng)絡(luò)和/或使用精簡(jiǎn)的模型神經(jīng)元集合來(lái)操作。此 類(lèi)改進(jìn)可降低功耗并改進(jìn)神經(jīng)網(wǎng)絡(luò)的可伸縮性以及具有其它益處。
[0102] 圖5解說(shuō)根據(jù)本公開(kāi)的某些方面的使用通用處理器502來(lái)操作神經(jīng)網(wǎng)絡(luò)的示例實(shí) 現(xiàn)500。與計(jì)算網(wǎng)絡(luò)(神經(jīng)網(wǎng)絡(luò))相關(guān)聯(lián)的變量(神經(jīng)信號(hào)）、突觸權(quán)重、系統(tǒng)參數(shù)，延遲，和/或 頻率槽信息可被存儲(chǔ)在存儲(chǔ)器塊504中，而在通用處理器502處執(zhí)行的指令可從程序存儲(chǔ)器 506中加載。在本公開(kāi)的一方面，加載到通用處理器502中的指令可包括用于基于所選速率 帶寬來(lái)選擇神經(jīng)元模型的代碼。
[0103] 在另一示例性配置中，通用處理器502可包括用于生成非零解碼矢量的第一稀疏 集合的代碼，每個(gè)解碼矢量與第一神經(jīng)元層和第二神經(jīng)元層之間的突觸相關(guān)聯(lián)。進(jìn)一步，在 此示例性配置中，通用處理器502可包括用于僅用第一神經(jīng)元層中與這些非零解碼矢量相 關(guān)聯(lián)的所選模型神經(jīng)元來(lái)實(shí)現(xiàn)該神經(jīng)網(wǎng)絡(luò)的代碼。
[0104] 在又一示例性配置中，通用處理器502可包括選擇具有基于輸入電流而線性改變 的膜電位的神經(jīng)元模型的代碼。進(jìn)一步，在此示例性配置中，通用處理器502可包括用于在 膜電位達(dá)到閾值時(shí)將膜電位復(fù)位到預(yù)定值的代碼。
[0105] 圖6解說(shuō)了根據(jù)本公開(kāi)的某些方面的操作神經(jīng)網(wǎng)絡(luò)的示例實(shí)現(xiàn)600,其中存儲(chǔ)器 602可經(jīng)由互連網(wǎng)絡(luò)604與計(jì)算網(wǎng)絡(luò)(神經(jīng)網(wǎng)絡(luò)）的個(gè)體(分布式)處理單元(神經(jīng)處理器)606 對(duì)接。與計(jì)算網(wǎng)絡(luò)（神經(jīng)網(wǎng)絡(luò)）相關(guān)聯(lián)的變量(神經(jīng)信號(hào)）、突觸權(quán)重、系統(tǒng)參數(shù)，延遲，和/或 頻率槽信息可被存儲(chǔ)在存儲(chǔ)器602中，并且可從存儲(chǔ)器602經(jīng)由互連網(wǎng)絡(luò)604的連接被加載 到每個(gè)處理單元(神經(jīng)處理器)606中。在本公開(kāi)的一方面，處理單元606可被配置成基于所 選速率帶寬來(lái)選擇神經(jīng)元模型。
[0106] 在另一示例性配置中，處理單元606可被配置成生成非零解碼矢量的第一稀疏集 合，每個(gè)解碼矢量與第一神經(jīng)元層和第二神經(jīng)元層之間的突觸相關(guān)聯(lián)。進(jìn)一步，在此示例性 配置中，處理單元606可被配置成僅使用第一神經(jīng)元層中與這些非零解碼矢量相關(guān)聯(lián)的所 選模型神經(jīng)元來(lái)實(shí)現(xiàn)該神經(jīng)網(wǎng)絡(luò)。
[0107] 在又一示例性配置中，處理單元606可被配置成選擇具有基于輸入電流而線性改 變的膜電位的神經(jīng)元模型。進(jìn)一步，在此示例性配置中，處理單元606可被配置成在膜電位 達(dá)到閾值時(shí)將膜電位復(fù)位到預(yù)定值。
[0108] 圖7解說(shuō)操作神經(jīng)網(wǎng)絡(luò)的示例實(shí)現(xiàn)700。如圖7中所解說(shuō)的，一個(gè)存儲(chǔ)器組702可與 計(jì)算網(wǎng)絡(luò)(神經(jīng)網(wǎng)絡(luò)）的一個(gè)處理單元704直接對(duì)接。每一個(gè)存儲(chǔ)器組702可存儲(chǔ)與對(duì)應(yīng)的處 理單元(神經(jīng)處理器)704相關(guān)聯(lián)的變量(神經(jīng)信號(hào)）、突觸權(quán)重、和/或系統(tǒng)參數(shù)，延遲，以及 頻率槽信息。在本公開(kāi)的一方面，處理單元704可被配置成基于所選速率帶寬來(lái)選擇神經(jīng)元 模型。
[0109] 在另一示例性配置中，處理單元704可被配置成生成非零解碼矢量的第一稀疏集 合，每個(gè)解碼矢量與第一神經(jīng)元層和第二神經(jīng)元層之間的突觸相關(guān)聯(lián)。進(jìn)一步，在此示例性 配置中，處理單元704可被配置成僅使用第一神經(jīng)元層中與這些非零解碼矢量相關(guān)聯(lián)的所 選模型神經(jīng)元來(lái)實(shí)現(xiàn)該神經(jīng)網(wǎng)絡(luò)。
[0110]在又一示例性配置中，處理單元704可被配置成選擇具有基于輸入電流而線性改 變的膜電位的神經(jīng)元模型。進(jìn)一步，在此示例性配置中，處理單元704可被配置成在膜電位 達(dá)到閾值時(shí)將膜電位復(fù)位到預(yù)定值。
[0111]圖8解說(shuō)根據(jù)本公開(kāi)的某些方面的神經(jīng)網(wǎng)絡(luò)800的示例實(shí)現(xiàn)。如圖8中所解說(shuō)的，神 經(jīng)網(wǎng)絡(luò)800可具有多個(gè)局部處理單元802,它們可執(zhí)行本文所描述的方法的各種操作。每個(gè) 局部處理單元802可包括存儲(chǔ)該神經(jīng)網(wǎng)絡(luò)的參數(shù)的局部狀態(tài)存儲(chǔ)器804和局部參數(shù)存儲(chǔ)器 806。另外，局部處理單元802可具有用于存儲(chǔ)局部模型程序的局部(神經(jīng)元)模型程序(LMP) 存儲(chǔ)器808、用于存儲(chǔ)局部學(xué)習(xí)程序的局部學(xué)習(xí)程序(LLP)存儲(chǔ)器810、以及局部連接存儲(chǔ)器 812。此外，如圖8中所解說(shuō)的，每個(gè)局部處理單元802可與用于為該局部處理單元的各局部 存儲(chǔ)器提供配置的配置處理器單元814對(duì)接，并且與提供各局部處理單元802之間的路由的 路由單元816對(duì)接。
[0112] 在一種配置中，神經(jīng)元模型被配置成用于基于神經(jīng)網(wǎng)絡(luò)將藉以操作的所選最小激 發(fā)率與該神經(jīng)網(wǎng)絡(luò)將藉以操作的所選最大激發(fā)率之差來(lái)選擇速率帶寬，和/或基于所選速 率帶寬來(lái)選擇神經(jīng)元模型。該神經(jīng)元模型包括用于選擇速率帶寬的裝置以及用于選擇神經(jīng) 元模型的裝置。在一個(gè)方面，該用于選擇帶寬的裝置和/或用于選擇神經(jīng)元模型的裝置可以 是被配置成執(zhí)行所敘述的功能的通用處理器502、程序存儲(chǔ)器506、存儲(chǔ)器塊504、存儲(chǔ)器 602、互連網(wǎng)絡(luò)604、處理單元606、處理單元704、局部處理單元802、和/或路由連接處理元件 816。在另一配置中，前述裝置可以是被配置成執(zhí)行由前述裝置所敘述的功能的任何模塊或 任何設(shè)備。
[0113] 在又一配置中，神經(jīng)元模型被配置成用于精簡(jiǎn)神經(jīng)網(wǎng)絡(luò)中模型神經(jīng)元的數(shù)目。該 神經(jīng)元模型包括用于生成非零解碼矢量的第一稀疏集合的裝置以及用于實(shí)現(xiàn)該神經(jīng)網(wǎng)絡(luò) 的裝置。在一個(gè)方面，該生成裝置和/或?qū)崿F(xiàn)裝置可以是被配置成執(zhí)行所敘述的功能的通用 處理器502、程序存儲(chǔ)器506、存儲(chǔ)器塊504、存儲(chǔ)器602、互連網(wǎng)絡(luò)604、處理單元606、處理單 元704、局部處理單元802、和/或路由連接處理元件816。在另一配置中，前述裝置可以是被 配置成執(zhí)行由前述裝置所敘述的功能的任何模塊或任何設(shè)備。
[0114] 在又一配置中，神經(jīng)元模型被配置成生成神經(jīng)網(wǎng)絡(luò)。該神經(jīng)元模型包括用于選擇 具有基于輸入電流而線性改變的膜電位的神經(jīng)元模型的裝置以及用于在膜電位達(dá)到閾值 時(shí)將膜電位復(fù)位到預(yù)定值的裝置。在一個(gè)方面，該選擇裝置和/或復(fù)位裝置可以是被配置成 執(zhí)行所敘述的功能的通用處理器502、程序存儲(chǔ)器506、存儲(chǔ)器塊504、存儲(chǔ)器602、互連網(wǎng)絡(luò) 604、處理單元606、處理單元704、局部處理單元802、和/或路由連接處理元件816。在另一配 置中，前述裝置可以是被配置成執(zhí)行由前述裝置所敘述的功能的任何模塊或任何設(shè)備。 [0115]根據(jù)本公開(kāi)的某些方面，每一個(gè)局部處理單元802可被配置成基于神經(jīng)網(wǎng)絡(luò)的期 望的一個(gè)或多個(gè)功能性特征來(lái)確定神經(jīng)網(wǎng)絡(luò)的參數(shù)，以及隨著所確定的參數(shù)被進(jìn)一步適 配、調(diào)諧和更新來(lái)使這一個(gè)或多個(gè)功能性特征朝著期望的功能性特征發(fā)展。
[0116] 以降低的激發(fā)率來(lái)操作神經(jīng)網(wǎng)絡(luò)
[0117] 本公開(kāi)的各方面針對(duì)以降低的激發(fā)率操作神經(jīng)網(wǎng)絡(luò)。在神經(jīng)網(wǎng)絡(luò)中降低激發(fā)率或 達(dá)成低激發(fā)或尖峰發(fā)放率具有眾多益處，包括降低的功耗。對(duì)于被配置或者甚至被最優(yōu)化 以用于基于事件的仿真的硬件系統(tǒng)尤其如此。另外，降低的激發(fā)率可降低計(jì)算復(fù)雜度并改 進(jìn)可在硬件系統(tǒng)上運(yùn)行的網(wǎng)絡(luò)的大小意義上的可伸縮性。
[0118] 圖9是解說(shuō)根據(jù)本公開(kāi)的各方面的用于神經(jīng)網(wǎng)絡(luò)900的示例性結(jié)構(gòu)的框圖。參照?qǐng)D 9,神經(jīng)網(wǎng)絡(luò)900可具有三層:輸入層902、隱藏層904、以及輸出層906。雖然在神經(jīng)網(wǎng)絡(luò)900中 僅示出三層，但這僅僅是示例性的并為了易于解說(shuō)和解釋。當(dāng)然，神經(jīng)網(wǎng)絡(luò)可被構(gòu)造有更多 或更少層。
[0119] 神經(jīng)網(wǎng)絡(luò)的每一層可包括一個(gè)或多個(gè)神經(jīng)元，其可按全部到全部(all-to-all)配 置、全部到一個(gè)(all-to-one)配置或任何其他配置經(jīng)由突觸(908、910)耦合在一起。
[0120] 輸入層902的各神經(jīng)元(例如，X〇,…，xD)可包括非線性尖峰發(fā)放神經(jīng)元，其可被配 置成例如接收模擬輸入并輸出尖峰，該尖峰可經(jīng)由突觸908提供給隱藏層904的各神經(jīng)元。 在一些方面，突觸908可配置成具有隨機(jī)初始化的權(quán)重。這些隨機(jī)初始化的權(quán)重可以例如從 連續(xù)隨機(jī)分布來(lái)提供。在其他方面，突觸908的權(quán)重可被有差別地指派以使得每個(gè)突觸的權(quán) 重是特異的。
[0121] 隱藏層904可包括一個(gè)或多個(gè)神經(jīng)元912a、912b、……、912n(其可被統(tǒng)稱為神經(jīng)元 912)。神經(jīng)元912在一些方面可包括非線性神經(jīng)元模型的尖峰發(fā)放神經(jīng)元。例如，隱藏層904 的神經(jīng)元可包括帶泄漏積分激發(fā)(LIF)神經(jīng)元、二次積分激發(fā)(QIF)神經(jīng)元、線性閾值(LT) 神經(jīng)元、Cold神經(jīng)元、基于映射的神經(jīng)元模型、基于微分方程的神經(jīng)元模型或類(lèi)似物、和/或 其組合。
[0122] 輸入數(shù)據(jù)(例如，輸入電流I)可被編碼在隱藏層神經(jīng)元904的激發(fā)率(或神經(jīng)響應(yīng) 函數(shù)）中。輸出層906(其可包括線性非尖峰發(fā)放神經(jīng)元)可被配置成對(duì)激發(fā)率進(jìn)行解碼并輸 出隱藏層神經(jīng)元912的激發(fā)率的線性加權(quán)總和。輸出權(quán)重(解碼矢量)可被分析地確定以有 益地提供快速的一次性訓(xùn)練。如此，一種用于改進(jìn)/最優(yōu)化神經(jīng)網(wǎng)絡(luò)的機(jī)制可憑借控制神經(jīng) 元的激發(fā)率來(lái)實(shí)現(xiàn)。
[0123] 在一種示例性配置中，神經(jīng)網(wǎng)絡(luò)900(其例如可以是神經(jīng)工程框架(NEF)網(wǎng)絡(luò))可根 據(jù)有界的誤差以較低或降低的激發(fā)率來(lái)操作。有界的誤差可包括目標(biāo)最大誤差(E)。目標(biāo)最 大誤差(E)可對(duì)應(yīng)于在操作該神經(jīng)網(wǎng)絡(luò)中用于達(dá)成模擬輸入向尖峰的變換的誤差容限閾 值。例如，目標(biāo)最大誤差可以是最大允許均方誤差。
[0124] 速率帶寬(rB)可基于激發(fā)率范圍來(lái)選擇。例如，速率帶寬可被選擇為使得：
[01 26] 其中rmax是最大編碼頻率并且rmin是最小編碼頻率。rmin和rmax的值可以是預(yù)先確定 或用戶定義的。
[0127] 對(duì)于rmin(速率最小值)的給定值，神經(jīng)元模型可被選擇。期望將激發(fā)降低到盡可能 接近于〇。在一些方面，該神經(jīng)元模型可基于以下條件來(lái)選擇：
[0128] 突觸活躍性&(1〇)<以" (16)
[0130] 其中I〇是輸入電流，a(I)是突觸活躍性(例如，激發(fā)率），Ith是尖峰閾值以使得在I〈 Ith時(shí)，a (I) = 0。Ith是所選神經(jīng)元模型的函數(shù)。
[0131] 隱藏層904的神經(jīng)元912可例如根據(jù)神經(jīng)元模型來(lái)配置，該神經(jīng)元模型諸如是帶泄 漏積分激發(fā)(LIF)神經(jīng)元模型、二次積分激發(fā)(QIF)模型、線性閾值(LT)神經(jīng)元模型、以及 Cold神經(jīng)元模型、或類(lèi)似物等。
[0132] LIF神經(jīng)元模型可表達(dá)如下：
[0134] 其中是時(shí)間常數(shù)，v是膜電位，Vr是復(fù)位值，并且Vth是閾值。
[0135] QIF神經(jīng)元模型可表達(dá)如下：
[0137] 其中是時(shí)間常數(shù)，v是膜電位，Vr是復(fù)位值，并且Vth是閾值。
[0138] LT神經(jīng)元模型可表達(dá)如下：
[0140] 其中trc是時(shí)間常數(shù)，v是膜電位，Vr是復(fù)位值，并且Vth是閾值。
[0141] 神經(jīng)元模型可被選擇以使得式16和17中指定的條件被滿足。通過(guò)基于這些條件來(lái) 選擇神經(jīng)元模型并使用根據(jù)所選神經(jīng)元模型配置的神經(jīng)元912來(lái)填充隱藏層，神經(jīng)網(wǎng)絡(luò)900 就可以低激發(fā)率來(lái)被操作。
[0142] 作為示例，使用各種神經(jīng)元模型的神經(jīng)網(wǎng)絡(luò)的性能可被比較以標(biāo)識(shí)隱藏層神經(jīng)元 的期望或者甚至最優(yōu)化模型神經(jīng)元。根據(jù)本公開(kāi)的各方面，神經(jīng)元模型和速率帶寬可被選 擇。例如，對(duì)于LT模型，突觸活躍性可由下式給出：
[0144] 相應(yīng)地，以上式16和17在輸入電流IQ = Vth;并且時(shí)間常數(shù)TRC = 20ms的情況下對(duì)于 任何rB>0和rmin 20均被滿足。
[0145] 在另一示例中，LIF模型的突觸活躍性可由下式給出：
[0147] 相應(yīng)地，以上式16和17在非標(biāo)準(zhǔn)模型參數(shù)(例如，相比于標(biāo)準(zhǔn)時(shí)間常數(shù)TRC = 20ms， 時(shí)間常數(shù)trc = 400ms)的情況下對(duì)于rB = 60; rmin = 5被滿足。然而，式16和17在標(biāo)準(zhǔn)模型參數(shù) (即，trc = 20ms)的情況下對(duì)于γβ = 60和rmin = 5可能不被滿足。
[0148] 在進(jìn)一步示例中，關(guān)于QIF模型的突觸活躍性可由下式給出：
[0150] 如此，以上式16和17在輸入電流IQ = Vth并且時(shí)間常數(shù)TRC = 20ms的情況下對(duì)于rB> 10(^Prmin2 5被滿足。
[0151] 在一個(gè)示例性方面，神經(jīng)網(wǎng)絡(luò)可被配置成以低激發(fā)率如下操作：
[0152] 選擇用于隱藏神經(jīng)元912的神經(jīng)元激發(fā)率的范圍，rmin到rmax。r min和rmax的值可以是 用戶定義的或者可以是基于函數(shù)的輸入和輸出信號(hào)(諸如它們的奈奎斯特速率(例如，r min> 輸入信號(hào)奈奎斯特速率)）和目標(biāo)硬件參數(shù)(諸如τ步長(zhǎng))來(lái)選擇的。
[0153] 選取速率范圍和速率帶寬(rB)，以使得rB〈r max-rmin。在一些方面，可選取較大的rB 以滿足此約束并配合其他因素，諸如用于定點(diǎn)的參數(shù)量化。
[0154] 選擇滿足如以上指定的式16和17的神經(jīng)元模型。在一種示例性配置中，該神經(jīng)元 模型可以是線性閾值神經(jīng)元模型。當(dāng)然，也可選擇QIF、LIF和其他神經(jīng)元模型。在一些方面， 例如在多個(gè)神經(jīng)元滿足式16和17的情況下，計(jì)算、功率、性能要求和可用神經(jīng)元模型也可用 作神經(jīng)元模型選擇的基礎(chǔ)。
[0155] 進(jìn)一步，可選擇滿足式（16)和（17)的神經(jīng)元模型的參數(shù)集合。在一些方面，例如， 這可使用參數(shù)搜索辦法來(lái)發(fā)生?？蛇M(jìn)一步指定附加的準(zhǔn)則用于神經(jīng)網(wǎng)絡(luò)最優(yōu)化。替換地，神 經(jīng)元模型的參數(shù)集合可使用以上指定的解空間或類(lèi)似物等來(lái)確定。
[0156] 模型權(quán)重基于所選神經(jīng)元模型和參數(shù)集合來(lái)確定以實(shí)現(xiàn)該功能。在一些方面，NEF 規(guī)程可確定模型權(quán)重。
[0157] 在一些方面，模型性能可比對(duì)目標(biāo)性能來(lái)檢查。進(jìn)一步，在滿足式16和17的同時(shí)， 模型參數(shù)可被修改以改進(jìn)性能。
[0158] 使用精簡(jiǎn)數(shù)目的模型神經(jīng)元來(lái)操作神經(jīng)網(wǎng)絡(luò)
[0159] 一旦檢測(cè)到神經(jīng)模型，神經(jīng)網(wǎng)絡(luò)900就可通過(guò)精簡(jiǎn)模型神經(jīng)元902(和對(duì)應(yīng)突觸）的 集合來(lái)改進(jìn)。使用精簡(jiǎn)數(shù)目的模型神經(jīng)元912來(lái)操作神經(jīng)網(wǎng)絡(luò)900可具有顯著的性能和成本 益處。例如，神經(jīng)網(wǎng)絡(luò)中精簡(jiǎn)的模型神經(jīng)元集合可增進(jìn)硬件系統(tǒng)上的存儲(chǔ)容量(例如，更多 神經(jīng)元層可被填塞到硬件系統(tǒng)上)并且可降低計(jì)算復(fù)雜度和功耗。
[0160] 根據(jù)本公開(kāi)的示例性方面，可通過(guò)生成解碼矢量爐（解碼矢量爐可表示突觸連接 權(quán)重）的稀疏（即，具有一些零值的）集合來(lái)獲得精簡(jiǎn)的模型神經(jīng)元(可被稱為"有效"神經(jīng) 元)集合。進(jìn)而，神經(jīng)網(wǎng)絡(luò)900可僅使用具有非零解碼矢量的神經(jīng)元來(lái)操作。也就是說(shuō)，經(jīng)由 具有零權(quán)重的突觸連接(例如，910b、910c)耦合至輸出層906的隱藏層神經(jīng)元(例如，912b、 912c)可被移除以使得神經(jīng)網(wǎng)絡(luò)900可以僅使用剩余神經(jīng)元來(lái)操作。
[0161] 解碼矢量爐的稀疏集合可使用正則化技術(shù)來(lái)生成。正則化技術(shù)可降低可能導(dǎo)致過(guò) 擬合和其他問(wèn)題的模型復(fù)雜度。相應(yīng)地，正則化技術(shù)可減少神經(jīng)網(wǎng)絡(luò)中突觸連接和/或神經(jīng) 元的數(shù)目。正則化導(dǎo)致較少的小值，取而代之地，增加了零值的數(shù)目。
[0162] 例如，在一些方面，解碼矢量爐的稀疏集合可使用具有L1正則化的最小二乘最優(yōu) 化(也稱為L(zhǎng)ASSO(最小絕對(duì)收縮和選擇操作符)最優(yōu)化)如下生成：
[0164]其中λ是正則化項(xiàng)(其被變動(dòng)以滿足性能目標(biāo)），并且f是與激發(fā)率的加權(quán)總和相對(duì) 應(yīng)的輸出的估計(jì)，其可被提供給輸出層906并由下式給出：
[0166] 其中X是輸入信號(hào)，&1(χ)(? = 1，···，Ν)是神經(jīng)響應(yīng)函數(shù)并且識(shí)是解碼矢量。通過(guò)應(yīng) 用L1正則化，可確定最優(yōu)解碼矢量。在執(zhí)行L1正則化時(shí)，解碼矢量爐或突觸連接中的一些可 被清零。
[0167] 方法 1:
[0168] 在一種示例性配置中，可通過(guò)生成在隱藏層中有N個(gè)節(jié)點(diǎn)的神經(jīng)網(wǎng)絡(luò)來(lái)確定精簡(jiǎn) 的模型神經(jīng)元集合。在一些方面，該神經(jīng)網(wǎng)絡(luò)可以是NEF網(wǎng)絡(luò)或類(lèi)似物等。
[0169] LASSO處理可生成具有M(MSN)個(gè)非零解碼矢量的稀疏集合。具有非零解碼矢量的 神經(jīng)元可被標(biāo)記為有效模型神經(jīng)元。該神經(jīng)網(wǎng)絡(luò)由此可僅使用有效模型神經(jīng)元來(lái)操作。相 應(yīng)地，該神經(jīng)網(wǎng)絡(luò)可使用精簡(jiǎn)的神經(jīng)元集合以及其間的對(duì)應(yīng)連接來(lái)操作。
[0170] 方法 2:
[0171] 在第二示例性配置中，可通過(guò)如方法1中描述地生成M〈N個(gè)有效模型神經(jīng)元來(lái)確定 精簡(jiǎn)的模型神經(jīng)元集合。可生成新層，該新層包括這Μ個(gè)有效模型神經(jīng)元和具有N-M個(gè)模型 神經(jīng)元的新集合。
[0172] LASSO處理可生成具有非零解碼矢量的稀疏集合(L < Μ < Ν)。具有非零解碼矢量的 L個(gè)神經(jīng)元的集合可被標(biāo)記為有效模型神經(jīng)元。神經(jīng)網(wǎng)絡(luò)進(jìn)而可僅使用有效模型神經(jīng)元來(lái) 操作。相應(yīng)地，神經(jīng)網(wǎng)絡(luò)可使用精簡(jiǎn)的神經(jīng)元集合以及對(duì)應(yīng)互連來(lái)操作。
[0173] 方法 3:
[0174] 在進(jìn)一步示例性配置中，可通過(guò)重復(fù)方法1達(dá)L次以生成具有各自包括MSN個(gè)有效 模型神經(jīng)元的L個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)的正則化組委來(lái)確定精簡(jiǎn)的模型神經(jīng)元集合。神經(jīng)網(wǎng) 絡(luò)的組委可被統(tǒng)籌以實(shí)現(xiàn)包括N Re個(gè)有效模型神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，其中
[0176] 方法 4:
[0177] 在又一進(jìn)一步示例性配置中，可通過(guò)對(duì)具有來(lái)自方法3的NRe個(gè)有效模型神經(jīng)元的 集合執(zhí)行LASSO處理以生成解碼矢量的稀疏集合M Re < 1^來(lái)確定精簡(jiǎn)的模型神經(jīng)元集合。神 經(jīng)元網(wǎng)絡(luò)可使用具有MRe個(gè)有效模型神經(jīng)元的該新集合來(lái)實(shí)現(xiàn)。
[0178] 盡管上述示例性配置利用LASSO正則化，但也可使用L2正則化或其他正則化方法。 例如，在一個(gè)方面，可使用L2正則化。在一些方面，生成非零解碼矢量的稀疏集合可進(jìn)一步 包括將具有小值(例如，絕對(duì)值小于閾值)的解碼矢量設(shè)置為零。
[0179]在一些方面，式24的正則化項(xiàng)(λ)可被選擇以精簡(jiǎn)對(duì)于預(yù)期的期望性能的給定值 而言有效神經(jīng)元的數(shù)目或甚至使之最小化。也就是說(shuō)，正則化項(xiàng)(λ)可例如基于差錯(cuò)率、神 經(jīng)元數(shù)目、其他系統(tǒng)和/或性能考量或度量來(lái)選擇。例如，對(duì)于方法1，性能目標(biāo)(例如，以MSE (最小均方誤差)形式)可被設(shè)置并用于通過(guò)變動(dòng)λ來(lái)找到精簡(jiǎn)數(shù)目的有效神經(jīng)元以滿足期 望程度的性能目標(biāo)。誤差容限可以是用戶選擇的，并且隨后正則化項(xiàng)可被相應(yīng)地設(shè)置。 [0180]在一些方面，在隱藏層(例如904)中包括精簡(jiǎn)（例如根據(jù)以上方法1-4精簡(jiǎn)）的模型 神經(jīng)元集合的神經(jīng)網(wǎng)絡(luò)(例如900)可如上所述地以低激發(fā)率被操作，由此產(chǎn)生進(jìn)一步優(yōu)化 的神經(jīng)網(wǎng)絡(luò)。
[0181] 在本公開(kāi)的一些方面，可通過(guò)選擇具有隨輸入電流線性改變的膜電位的神經(jīng)元模 型(例如，尖峰發(fā)放神經(jīng)元模型)并在膜電位達(dá)到閾值時(shí)將其復(fù)位來(lái)生成神經(jīng)網(wǎng)絡(luò)。
[0182] 圖10A-D是解說(shuō)精簡(jiǎn)的模型神經(jīng)元集合的示例性示圖。圖10Α解說(shuō)了根據(jù)上述方法 1生成的精簡(jiǎn)的模型神經(jīng)元集合。圖10Α示出神經(jīng)網(wǎng)絡(luò)的包括Ν個(gè)神經(jīng)元(例如，1004a、……、 1004η，其可被稱為神經(jīng)元1004)的隱藏層1002。隱藏層1002可與圖9的隱藏層904相類(lèi)似地 配置。
[0183] 可執(zhí)行LASSO處理(L1)以估計(jì)或?qū)W習(xí)由解碼矢量(例如，1008)表示的突觸后權(quán)重。 通過(guò)應(yīng)用L1正則化，所估計(jì)或?qū)W習(xí)的解碼矢量中的一些可被設(shè)為零，而剩余的解碼矢量可 被設(shè)為非零值。具有零權(quán)重的解碼矢量可被移除，由此生成精簡(jiǎn)的或更稀疏的解碼矢量集 合，其可被稱為非零解碼矢量1008a、……、1008m(其可被統(tǒng)稱為非零解碼矢量1008)的稀疏 集合(MSN) 〇
[0184] 在一些方面，與具有零權(quán)重的解碼矢量相關(guān)聯(lián)的神經(jīng)元從隱藏層1002被移除以產(chǎn) 生經(jīng)修改的隱藏層1006。具有非零解碼矢量(例如，1008a、……、1008m)的Μ個(gè)剩余隱藏層神 經(jīng)元(例如，1004a、......、1004m)可被標(biāo)記為有效模型神經(jīng)元1004a、......、1004m。以此方式， 可實(shí)現(xiàn)具有Μ個(gè)隱藏層神經(jīng)元1004的精簡(jiǎn)集合。相應(yīng)地，神經(jīng)網(wǎng)絡(luò)可使用神經(jīng)元1006的精簡(jiǎn) 集合以及對(duì)應(yīng)互連來(lái)操作。
[0185] 圖10B解說(shuō)了根據(jù)上述方法2生成的精簡(jiǎn)的模型神經(jīng)元集合。圖10B示出包括根據(jù) 方法1(并如圖10A中所示)生成的Μ個(gè)有效模型神經(jīng)元和具有N-M個(gè)模型神經(jīng)元1010的新集 合的神經(jīng)網(wǎng)絡(luò)的經(jīng)修改隱藏層1006。在一些方面，這Μ個(gè)有效模型神經(jīng)元（1006)的突觸前連 接的權(quán)重可以是固定的，而具有Ν-Μ個(gè)模型神經(jīng)元的該新集合的突觸前連接的權(quán)重可以是 隨機(jī)的。
[0186] 可對(duì)這Μ個(gè)有效模型神經(jīng)元（1006)和具有Ν-Μ個(gè)模型神經(jīng)元（1010)的新集合的組 合執(zhí)行LASSO處理(L1)以學(xué)習(xí)解碼矢量權(quán)重(例如，1008a)。如以上關(guān)于圖10Α討論的，解碼 矢量權(quán)重中的一些可以為零并且因此可被移除以由此生成具有L(L<M<N)個(gè)非零解碼矢 量1008的稀疏集合。
[0187] 類(lèi)似地，具有零權(quán)重解碼矢量的隱藏層神經(jīng)元也可被移除以產(chǎn)生包括L個(gè)神經(jīng)元 的隱藏層1012。具有非零解碼矢量的L個(gè)神經(jīng)元的集合可被標(biāo)記為有效模型神經(jīng)元。該神經(jīng) 網(wǎng)絡(luò)進(jìn)而可使用隱藏層1012中的僅這L個(gè)有效模型神經(jīng)元來(lái)操作。相應(yīng)地，該神經(jīng)網(wǎng)絡(luò)可使 用精簡(jiǎn)的神經(jīng)元集合以及其間的對(duì)應(yīng)連接來(lái)操作。
[0188] 圖10C解說(shuō)了根據(jù)上述方法3生成的精簡(jiǎn)的模型神經(jīng)元集合。如圖10C中所示，神經(jīng) 網(wǎng)絡(luò)的正則化組委包括含有各自根據(jù)上述(且在圖10A中示出）的方法1生成的M(MSN)個(gè)有 效模型神經(jīng)元（1021,1023,1025)的隱藏層。該神經(jīng)網(wǎng)絡(luò)的正則化組委可被統(tǒng)籌以實(shí)現(xiàn)包括 NRe個(gè)有效模型神經(jīng)元1030的神經(jīng)網(wǎng)絡(luò)。
[0189] 圖10D解說(shuō)了根據(jù)上述方法4生成的精簡(jiǎn)的模型神經(jīng)元集合。如圖10D中所示，根據(jù) 方法3生成(并在圖10C中示出）的具有N Re個(gè)有效模型神經(jīng)元1030的集合可進(jìn)一步通過(guò)對(duì)具 有NRe個(gè)有效模型神經(jīng)元1030的該集合執(zhí)行LASSO處理(L1)以產(chǎn)生解碼矢量的稀疏集合M Re < NRe(1034)來(lái)得以減小。相應(yīng)地，該神經(jīng)網(wǎng)絡(luò)可使用具有MRe個(gè)有效模型神經(jīng)元1032的新集 合來(lái)實(shí)現(xiàn)。
[0190] 圖11解說(shuō)用于選擇具有低激發(fā)率的神經(jīng)元模型以用于在神經(jīng)網(wǎng)絡(luò)中操作的方法 1100。在框1102，該過(guò)程基于激發(fā)率范圍來(lái)選擇速率帶寬。此外，在框1104，該過(guò)程基于所選 速率帶寬來(lái)選擇神經(jīng)元模型。
[0191] 圖12解說(shuō)用于選擇神經(jīng)網(wǎng)絡(luò)中精簡(jiǎn)數(shù)目的模型神經(jīng)元的方法1200。在框1202,該 過(guò)程生成非零解碼矢量的第一稀疏集合。每個(gè)解碼矢量與第一神經(jīng)元層和第二神經(jīng)元層之 間的突觸相關(guān)聯(lián)。此外，在框1204,該過(guò)程僅使用第一神經(jīng)元層中與這些非零解碼矢量相關(guān) 聯(lián)的所選模型神經(jīng)元來(lái)實(shí)現(xiàn)該神經(jīng)網(wǎng)絡(luò)。
[0192] 圖13解說(shuō)了用于生成神經(jīng)網(wǎng)絡(luò)的方法1300。在框1302,該過(guò)程選擇神經(jīng)元模型（例 如，尖峰發(fā)放神經(jīng)元模型）。該神經(jīng)元模型具有基于輸入電流而線性改變的膜電位。此外，在 框1304,該過(guò)程在膜電位達(dá)到閾值時(shí)將膜電位復(fù)位到預(yù)定值。
[0193] 以上所描述的方法的各種操作可由能夠執(zhí)行相應(yīng)功能的任何合適的裝置來(lái)執(zhí)行。 這些裝置可包括各種硬件和/或軟件組件和/或模塊，包括但不限于電路、專用集成電路 (ASIC)、或處理器。一般而言，在附圖中有解說(shuō)的操作的場(chǎng)合，那些操作可具有帶相似編號(hào) 的相應(yīng)配對(duì)裝置加功能組件。
[0194] 如本文所使用的，術(shù)語(yǔ)"確定"涵蓋各種各樣的動(dòng)作。例如，"確定"可包括演算、計(jì) 算、處理、推導(dǎo)、研究、查找(例如，在表、數(shù)據(jù)庫(kù)或其他數(shù)據(jù)結(jié)構(gòu)中查找）、探知及諸如此類(lèi)。 另外，"確定"可包括接收(例如接收信息）、訪問(wèn)（例如訪問(wèn)存儲(chǔ)器中的數(shù)據(jù)）、及類(lèi)似動(dòng)作。 而且，"確定"可包括解析、選擇、選取、確立及類(lèi)似動(dòng)作。
[0195] 如本文中所使用的，引述一列項(xiàng)目中的"至少一個(gè)"的短語(yǔ)是指這些項(xiàng)目的任何組 合，包括單個(gè)成員。作為示例，"a、b或c中的至少一個(gè)"旨在涵蓋:a、b、c、a-b、a_c、b_c、和a-b_c〇
[0196] 結(jié)合本公開(kāi)所描述的各種解說(shuō)性邏輯框、模塊、以及電路可用設(shè)計(jì)成執(zhí)行本文所 描述功能的通用處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門(mén)陣列 信號(hào)(FPGA)或其他可編程邏輯器件(PLD)、分立的門(mén)或晶體管邏輯、分立的硬件組件或其任 何組合來(lái)實(shí)現(xiàn)或執(zhí)行。通用處理器可以是微處理器，但在替換方案中，該處理器可以是任何 市售的處理器、控制器、微控制器、或狀態(tài)機(jī)。處理器還可以被實(shí)現(xiàn)為計(jì)算設(shè)備的組合，例如 DSP與微處理器的組合、多個(gè)微處理器、與DSP核心協(xié)同的一個(gè)或多個(gè)微處理器或任何其它 此類(lèi)配置。
[0197] 結(jié)合本公開(kāi)所描述的方法或算法的步驟可直接在硬件中、在由處理器執(zhí)行的軟件 模塊中、或在這兩者的組合中體現(xiàn)。軟件模塊可駐留在本領(lǐng)域所知的任何形式的存儲(chǔ)介質(zhì) 中。可使用的存儲(chǔ)介質(zhì)的一些示例包括隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(R0M)、閃存、可 擦除可編程只讀存儲(chǔ)器(EPROM)、電可擦除可編程只讀存儲(chǔ)器(EEPR0M)、寄存器、硬盤(pán)、可移 動(dòng)盤(pán)、CD-ROM，等等。軟件模塊可包括單條指令、或許多條指令，且可分布在若干不同的代碼 段上，分布在不同的程序間以及跨多個(gè)存儲(chǔ)介質(zhì)分布。存儲(chǔ)介質(zhì)可被耦合到處理器以使得 該處理器能從/向該存儲(chǔ)介質(zhì)讀寫(xiě)信息。替換地，存儲(chǔ)介質(zhì)可以被整合到處理器。
[0198] 本文所公開(kāi)的方法包括用于實(shí)現(xiàn)所描述的方法的一個(gè)或多個(gè)步驟或動(dòng)作。這些方 法步驟和/或動(dòng)作可以彼此互換而不會(huì)脫離權(quán)利要求的范圍。換言之，除非指定了步驟或動(dòng) 作的特定次序，否則具體步驟和/或動(dòng)作的次序和/或使用可以改動(dòng)而不會(huì)脫離權(quán)利要求的 范圍。
[0199] 所描述的功能可在硬件、軟件、固件或其任何組合中實(shí)現(xiàn)。如果以硬件實(shí)現(xiàn)，則示 例硬件配置可包括設(shè)備中的處理系統(tǒng)。處理系統(tǒng)可以用總線架構(gòu)來(lái)實(shí)現(xiàn)。取決于處理系統(tǒng) 的具體應(yīng)用和整體設(shè)計(jì)約束，總線可包括任何數(shù)目的互連總線和橋接器?？偩€可將包括處 理器、機(jī)器可讀介質(zhì)、以及總線接口的各種電路鏈接在一起。總線接口可用于尤其將網(wǎng)絡(luò)適 配器等經(jīng)由總線連接至處理系統(tǒng)。網(wǎng)絡(luò)適配器可用于實(shí)現(xiàn)信號(hào)處理功能。對(duì)于某些方面，用 戶接口（例如，按鍵板、顯示器、鼠標(biāo)、操縱桿等)也可被連接至總線?？偩€還可鏈接各種其他 電路(諸如定時(shí)源、外圍設(shè)備、穩(wěn)壓器、電源管理電路等），這些電路在本領(lǐng)域中是眾所周知 的，因此將不再贅述。
[0200] 處理器可負(fù)責(zé)管理總線和一般處理，包括執(zhí)行存儲(chǔ)在機(jī)器可讀介質(zhì)上的軟件。處 理器可用一個(gè)或多個(gè)通用和/或?qū)Ｓ锰幚砥鱽?lái)實(shí)現(xiàn)。示例包括微處理器、微控制器、DSP處理 器、以及其他能執(zhí)行軟件的電路系統(tǒng)。軟件應(yīng)當(dāng)被寬泛地解釋成意指指令、數(shù)據(jù)、或其任何 組合，無(wú)論是被稱作軟件、固件、中間件、微代碼、硬件描述語(yǔ)言、或其他。作為示例，機(jī)器可 讀介質(zhì)可包括隨機(jī)存取存儲(chǔ)器(RAM)、閃存、只讀存儲(chǔ)器(R0M)、可編程只讀存儲(chǔ)器(PR0M)、 可擦式可編程只讀存儲(chǔ)器(EPROM)、電可擦式可編程只讀存儲(chǔ)器(EEPR0M)、寄存器、磁盤(pán)、光 盤(pán)、硬驅(qū)動(dòng)器、或者任何其他合適的存儲(chǔ)介質(zhì)、或其任何組合。機(jī)器可讀介質(zhì)可被實(shí)施在計(jì) 算機(jī)程序產(chǎn)品中。該計(jì)算機(jī)程序產(chǎn)品可以包括包裝材料。
[0201] 在硬件實(shí)現(xiàn)中，機(jī)器可讀介質(zhì)可以是處理系統(tǒng)中與處理器分開(kāi)的一部分。然而，如 本領(lǐng)域技術(shù)人員將容易領(lǐng)會(huì)的，機(jī)器可讀介質(zhì)、或其任何部分可在處理系統(tǒng)外部。作為示 例，機(jī)器可讀介質(zhì)可包括傳輸線、由數(shù)據(jù)調(diào)制的載波、和/或與設(shè)備分開(kāi)的計(jì)算機(jī)產(chǎn)品，所有 這些都可由處理器通過(guò)總線接口來(lái)訪問(wèn)。替換地或補(bǔ)充地，機(jī)器可讀介質(zhì)、或其任何部分可 被集成到處理器中，諸如高速緩存和/或通用寄存器文件可能就是這種情形。雖然所討論的 各種組件可被描述為具有特定位置，諸如局部組件，但它們也可按各種方式來(lái)配置，諸如某 些組件被配置成分布式計(jì)算系統(tǒng)的一部分。
[0202]處理系統(tǒng)可以被配置為通用處理系統(tǒng)，該通用處理系統(tǒng)具有一個(gè)或多個(gè)提供處理 器功能性的微處理器、和提供機(jī)器可讀介質(zhì)中的至少一部分的外部存儲(chǔ)器，它們都通過(guò)外 部總線架構(gòu)與其他支持電路系統(tǒng)鏈接在一起。替換地，該處理系統(tǒng)可以包括一個(gè)或多個(gè)神 經(jīng)元形態(tài)處理器以用于實(shí)現(xiàn)本文所述的神經(jīng)元模型和神經(jīng)系統(tǒng)模型。作為另一替代方案， 處理系統(tǒng)可以用帶有集成在單塊芯片中的處理器、總線接口、用戶接口、支持電路系統(tǒng)、和 至少一部分機(jī)器可讀介質(zhì)的專用集成電路(ASIC)來(lái)實(shí)現(xiàn)，或者用一個(gè)或多個(gè)現(xiàn)場(chǎng)可編程門(mén) 陣列(FPGA)、可編程邏輯器件(PLD)、控制器、狀態(tài)機(jī)、門(mén)控邏輯、分立硬件組件、或者任何其 他合適的電路系統(tǒng)、或者能執(zhí)行本公開(kāi)通篇所描述的各種功能性的電路的任何組合來(lái)實(shí) 現(xiàn)。取決于具體應(yīng)用和加諸于整體系統(tǒng)上的總設(shè)計(jì)約束，本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到如何最 佳地實(shí)現(xiàn)關(guān)于處理系統(tǒng)所描述的功能性。
[0203]機(jī)器可讀介質(zhì)可包括數(shù)個(gè)軟件模塊。這些軟件模塊包括當(dāng)由處理器執(zhí)行時(shí)使處理 系統(tǒng)執(zhí)行各種功能的指令。這些軟件模塊可包括傳輸模塊和接收模塊。每個(gè)軟件模塊可以 駐留在單個(gè)存儲(chǔ)設(shè)備中或者跨多個(gè)存儲(chǔ)設(shè)備分布。作為示例，當(dāng)觸發(fā)事件發(fā)生時(shí)，可以從硬 驅(qū)動(dòng)器中將軟件模塊加載到RAM中。在軟件模塊執(zhí)行期間，處理器可以將一些指令加載到高 速緩存中以提高訪問(wèn)速度。隨后可將一個(gè)或多個(gè)高速緩存行加載到通用寄存器文件中以供 由處理器執(zhí)行。在以下談及軟件模塊的功能性時(shí)，將理解此類(lèi)功能性是在處理器執(zhí)行來(lái)自 該軟件模塊的指令時(shí)由該處理器來(lái)實(shí)現(xiàn)的。
[0204]如果以軟件實(shí)現(xiàn)，則各功能可作為一條或多條指令或代碼存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì) 上或藉其進(jìn)行傳送。計(jì)算機(jī)可讀介質(zhì)包括計(jì)算機(jī)存儲(chǔ)介質(zhì)和通信介質(zhì)兩者，這些介質(zhì)包括 促成計(jì)算機(jī)程序從一地向另一地轉(zhuǎn)移的任何介質(zhì)。存儲(chǔ)介質(zhì)可以是能被計(jì)算機(jī)訪問(wèn)的任何 可用介質(zhì)。作為示例而非限定，這樣的計(jì)算機(jī)可讀介質(zhì)可包括RAM、R0M、EEPR0M、CD-R0M或其 它光盤(pán)存儲(chǔ)、磁盤(pán)存儲(chǔ)或其它磁存儲(chǔ)設(shè)備、或能被用來(lái)攜帶或存儲(chǔ)指令或數(shù)據(jù)結(jié)構(gòu)形式的 期望程序代碼且能被計(jì)算機(jī)訪問(wèn)的任何其它介質(zhì)。任何連接也被正當(dāng)?shù)胤Q為計(jì)算機(jī)可讀介 質(zhì)。例如，如果軟件是使用同軸電纜、光纖電纜、雙絞線、數(shù)字訂戶線(DSL)、或無(wú)線技術(shù)(諸 如紅外（IR)、無(wú)線電、以及微波）從web網(wǎng)站、服務(wù)器、或其他遠(yuǎn)程源傳送而來(lái)，則該同軸電 纜、光纖電纜、雙絞線、DSL或無(wú)線技術(shù)(諸如紅外、無(wú)線電、以及微波)就被包括在介質(zhì)的定 義之中。如本文中所使用的盤(pán)(disk)和碟(disc)包括壓縮碟(CD)、激光碟、光碟、數(shù)字多用 碟(DVD)、軟盤(pán)、和藍(lán)光％碟，其中盤(pán)(disk)常常磁性地再現(xiàn)數(shù)據(jù)，而碟(disc)用激光來(lái)光學(xué) 地再現(xiàn)數(shù)據(jù)。因此，在一些方面，計(jì)算機(jī)可讀介質(zhì)可包括非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)(例如，有形 介質(zhì)）。另外，對(duì)于其他方面，計(jì)算機(jī)可讀介質(zhì)可包括瞬態(tài)計(jì)算機(jī)可讀介質(zhì)（例如，信號(hào)）。上 述的組合應(yīng)當(dāng)也被包括在計(jì)算機(jī)可讀介質(zhì)的范圍內(nèi)。
[0205]因此，某些方面可包括用于執(zhí)行本文中給出的操作的計(jì)算機(jī)程序產(chǎn)品。例如，此類(lèi) 計(jì)算機(jī)程序產(chǎn)品可包括其上存儲(chǔ)(和/或編碼)有指令的計(jì)算機(jī)可讀介質(zhì)，這些指令能由一 個(gè)或多個(gè)處理器執(zhí)行以執(zhí)行本文中所描述的操作。對(duì)于某些方面，計(jì)算機(jī)程序產(chǎn)品可包括 包裝材料。
[0206]此外，應(yīng)當(dāng)領(lǐng)會(huì)，用于執(zhí)行本文中所描述的方法和技術(shù)的模塊和/或其它恰適裝置 能由用戶終端和/或基站在適用的場(chǎng)合下載和/或以其他方式獲得。例如，此類(lèi)設(shè)備能被耦 合至服務(wù)器以促成用于執(zhí)行本文中所描述的方法的裝置的轉(zhuǎn)移。替換地，本文所述的各種 方法能經(jīng)由存儲(chǔ)裝置(例如，RAM、R0M、諸如壓縮碟(CD)或軟盤(pán)等物理存儲(chǔ)介質(zhì)等)來(lái)提供， 以使得一旦將該存儲(chǔ)裝置耦合至或提供給用戶終端和/或基站，該設(shè)備就能獲得各種方法。 此外，能利用適于向設(shè)備提供本文中所描述的方法和技術(shù)的任何其他合適的技術(shù)。
[0207]應(yīng)該理解的是，權(quán)利要求并不被限定于以上所解說(shuō)的精確配置和組件?？稍谝陨?所描述的方法和設(shè)備的布局、操作和細(xì)節(jié)上作出各種改動(dòng)、更換和變形而不會(huì)脫離權(quán)利要 求的范圍。
【主權(quán)項(xiàng)】
1. 一種用于選擇神經(jīng)網(wǎng)絡(luò)中精簡(jiǎn)數(shù)目的模型神經(jīng)元的方法，包括： 生成非零解碼矢量的第一稀疏集合，每個(gè)解碼矢量與第一神經(jīng)元層和第二神經(jīng)元層之 間的突觸相關(guān)聯(lián)；以及 僅使用所述第一神經(jīng)元層中與所述非零解碼矢量相關(guān)聯(lián)的所選模型神經(jīng)元來(lái)實(shí)現(xiàn)所 述神經(jīng)網(wǎng)絡(luò)。2. 如權(quán)利要求1所述的方法，其特征在于，所述生成包括:執(zhí)行最小二乘最優(yōu)化。3. 如權(quán)利要求2所述的方法，其特征在于，所述最小二乘最優(yōu)化包括最小絕對(duì)收縮和選 擇操作符(LASSO)正則化。4. 如權(quán)利要求2所述的方法，其特征在于，進(jìn)一步包括，選擇正則化項(xiàng)以精簡(jiǎn)用于實(shí)現(xiàn) 期望程度的性能的所選神經(jīng)元的數(shù)目。5. 如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括： 更新所述第一神經(jīng)元層以包括所選模型神經(jīng)元并包括剩余模型神經(jīng)元的輸入突觸權(quán) 重的新集合； 生成非零解碼矢量的第二稀疏集合，每個(gè)解碼矢量與經(jīng)更新的第一神經(jīng)元層和所述第 二神經(jīng)元層之間的突觸相關(guān)聯(lián)；以及 僅使用所述經(jīng)更新的第一神經(jīng)元層中與所述非零解碼矢量相關(guān)聯(lián)的所選模型神經(jīng)元 的新集合來(lái)實(shí)現(xiàn)所述神經(jīng)網(wǎng)絡(luò)。6. 如權(quán)利要求5所述的方法，其特征在于，進(jìn)一步包括： 重復(fù)所述更新和生成多次以創(chuàng)建經(jīng)更新的第一神經(jīng)元層的統(tǒng)籌集合；以及 僅使用經(jīng)更新的第一神經(jīng)元層的所述統(tǒng)籌集合來(lái)實(shí)現(xiàn)所述神經(jīng)網(wǎng)絡(luò)。7. 如權(quán)利要求6所述的方法，其特征在于，進(jìn)一步包括： 生成非零解碼矢量的最終稀疏集合，每個(gè)解碼矢量與經(jīng)更新的神經(jīng)元層的所述統(tǒng)籌集 合和所述第二神經(jīng)元層之間的突觸相關(guān)聯(lián)；以及 僅使用經(jīng)更新的神經(jīng)元層的所述統(tǒng)籌集合中與所述非零解碼矢量相關(guān)聯(lián)的模型神經(jīng) 元來(lái)實(shí)現(xiàn)所述神經(jīng)網(wǎng)絡(luò)。8. -種用于選擇神經(jīng)網(wǎng)絡(luò)中精簡(jiǎn)數(shù)目的模型神經(jīng)元的裝置，包括： 存儲(chǔ)器；以及 耦合至所述存儲(chǔ)器的至少一個(gè)處理器，所述至少一個(gè)處理器被配置成： 生成非零解碼矢量的第一稀疏集合，每個(gè)解碼矢量與第一神經(jīng)元層和第二神經(jīng)元層之 間的突觸相關(guān)聯(lián)；以及 僅使用所述第一神經(jīng)元層中與所述非零解碼矢量相關(guān)聯(lián)的所選模型神經(jīng)元來(lái)實(shí)現(xiàn)所 述神經(jīng)網(wǎng)絡(luò)。9. 如權(quán)利要求8所述的裝置，其特征在于，所述至少一個(gè)處理器被進(jìn)一步配置成通過(guò)執(zhí) 行最小二乘最優(yōu)化來(lái)生成非零解碼矢量的所述第一稀疏集合。10. 如權(quán)利要求9所述的裝置，其特征在于，所述最小二乘最優(yōu)化包括最小絕對(duì)收縮和 選擇操作符(LASSO)正則化。11. 如權(quán)利要求9所述的裝置，其特征在于，所述至少一個(gè)處理器被進(jìn)一步配置成選擇 正則化項(xiàng)以精簡(jiǎn)用于實(shí)現(xiàn)期望程度的性能的所選神經(jīng)元的數(shù)目。12. 如權(quán)利要求8所述的裝置，其特征在于，所述至少一個(gè)處理器被進(jìn)一步配置成： 更新所述第一神經(jīng)元層以包括所選模型神經(jīng)元并包括剩余模型神經(jīng)元的輸入突觸權(quán) 重的新集合； 生成非零解碼矢量的第二稀疏集合，每個(gè)解碼矢量與經(jīng)更新的第一神經(jīng)元層和所述第 二神經(jīng)元層之間的突觸相關(guān)聯(lián)；以及 僅使用所述經(jīng)更新的第一神經(jīng)元層中與所述非零解碼矢量相關(guān)聯(lián)的所選模型神經(jīng)元 的新集合來(lái)實(shí)現(xiàn)所述神經(jīng)網(wǎng)絡(luò)。13. 如權(quán)利要求12所述的裝置，其特征在于，所述至少一個(gè)處理器被進(jìn)一步配置成： 重復(fù)所述更新和生成多次以創(chuàng)建經(jīng)更新的第一神經(jīng)元層的統(tǒng)籌集合；以及 僅使用經(jīng)更新的第一神經(jīng)元層的所述統(tǒng)籌集合來(lái)實(shí)現(xiàn)所述神經(jīng)網(wǎng)絡(luò)。14. 如權(quán)利要求13所述的裝置，其特征在于，所述至少一個(gè)處理器被進(jìn)一步配置成： 生成非零解碼矢量的最終稀疏集合，每個(gè)解碼矢量與經(jīng)更新的神經(jīng)元層的所述統(tǒng)籌集 合和所述第二神經(jīng)元層之間的突觸相關(guān)聯(lián)；以及 僅使用經(jīng)更新的神經(jīng)元層的所述統(tǒng)籌集合中與所述非零解碼矢量相關(guān)聯(lián)的模型神經(jīng) 元來(lái)實(shí)現(xiàn)所述神經(jīng)網(wǎng)絡(luò)。15. -種用于選擇神經(jīng)網(wǎng)絡(luò)中精簡(jiǎn)數(shù)目的模型神經(jīng)元的設(shè)備，包括： 用于生成非零解碼矢量的第一稀疏集合的裝置，每個(gè)解碼矢量與第一神經(jīng)元層和第二 神經(jīng)元層之間的突觸相關(guān)聯(lián)；以及 用于僅使用第一神經(jīng)元層中與所述非零解碼矢量相關(guān)聯(lián)的所選模型神經(jīng)元來(lái)實(shí)現(xiàn)所 述神經(jīng)網(wǎng)絡(luò)的裝置。16. 如權(quán)利要求15所述的設(shè)備，其特征在于，所述生成包括:執(zhí)行最小二乘最優(yōu)化。17. 如權(quán)利要求16所述的設(shè)備，其特征在于，所述最小二乘最優(yōu)化包括最小絕對(duì)收縮和 選擇操作符(LASSO)正則化。18. 如權(quán)利要求16所述的設(shè)備，其特征在于，進(jìn)一步包括，用于選擇正則化項(xiàng)以精簡(jiǎn)用 于實(shí)現(xiàn)期望程度的性能的所選神經(jīng)元的數(shù)目的裝置。19. 如權(quán)利要求15所述的設(shè)備，其特征在于，進(jìn)一步包括： 用于更新所述第一神經(jīng)元層以包括所選模型神經(jīng)元并包括剩余模型神經(jīng)元的輸入突 觸權(quán)重的新集合的裝置； 用于生成非零解碼矢量的第二稀疏集合的裝置，每個(gè)解碼矢量與經(jīng)更新的第一神經(jīng)元 層和所述第二神經(jīng)元層之間的突觸相關(guān)聯(lián)；以及 用于僅使用所述經(jīng)更新的第一神經(jīng)元層中與所述非零解碼矢量相關(guān)聯(lián)的所選模型神 經(jīng)元的新集合來(lái)實(shí)現(xiàn)所述神經(jīng)網(wǎng)絡(luò)的裝置。20. 如權(quán)利要求19所述的設(shè)備，其特征在于，進(jìn)一步包括： 用于重復(fù)所述更新和生成多次以創(chuàng)建經(jīng)更新的第一神經(jīng)元層的統(tǒng)籌集合的裝置；以及 用于僅使用經(jīng)更新的第一神經(jīng)元層的所述統(tǒng)籌集合來(lái)實(shí)現(xiàn)所述神經(jīng)網(wǎng)絡(luò)的裝置。21. 如權(quán)利要求20所述的設(shè)備，其特征在于，進(jìn)一步包括： 用于生成非零解碼矢量的最終稀疏集合的裝置，每個(gè)解碼矢量與經(jīng)更新的神經(jīng)元層的 所述統(tǒng)籌集合和所述第二神經(jīng)元層之間的突觸相關(guān)聯(lián);以及 用于僅使用經(jīng)更新的神經(jīng)元層的所述統(tǒng)籌集合中與所述非零解碼矢量相關(guān)聯(lián)的模型 神經(jīng)元來(lái)實(shí)現(xiàn)所述神經(jīng)網(wǎng)絡(luò)的裝置。22. -種用于選擇神經(jīng)網(wǎng)絡(luò)中精簡(jiǎn)數(shù)目的模型神經(jīng)元的計(jì)算機(jī)程序產(chǎn)品，包括： 其上編碼有程序代碼的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)，所述程序代碼包括： 用于生成非零解碼矢量的第一稀疏集合的程序代碼，每個(gè)解碼矢量與第一神經(jīng)元層和 第二神經(jīng)元層之間的突觸相關(guān)聯(lián)；以及 用于僅使用第一神經(jīng)元層中與所述非零解碼矢量相關(guān)聯(lián)的所選模型神經(jīng)元來(lái)實(shí)現(xiàn)所 述神經(jīng)網(wǎng)絡(luò)的程序代碼。23. 如權(quán)利要求22所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，進(jìn)一步包括，用于通過(guò)執(zhí)行最 小二乘最優(yōu)化來(lái)生成非零解碼矢量的所述第一稀疏集合的程序代碼。24. 如權(quán)利要求23所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述最小二乘最優(yōu)化包括最小 絕對(duì)收縮和選擇操作符(LASSO)正則化。25. 如權(quán)利要求23所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，進(jìn)一步包括，用于選擇正則化 項(xiàng)以精簡(jiǎn)用于實(shí)現(xiàn)期望程度的性能的所選神經(jīng)元的數(shù)目的程序代碼。26. 如權(quán)利要求22所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，進(jìn)一步包括： 用于更新所述第一神經(jīng)元層以包括所選模型神經(jīng)元并包括剩余模型神經(jīng)元的輸入突 觸權(quán)重的新集合的程序代碼； 用于生成非零解碼矢量的第二稀疏集合的程序代碼，每個(gè)解碼矢量與經(jīng)更新的第一神 經(jīng)元層和所述第二神經(jīng)元層之間的突觸相關(guān)聯(lián)；以及 用于僅使用所述經(jīng)更新的第一神經(jīng)元層中與所述非零解碼矢量相關(guān)聯(lián)的所選模型神 經(jīng)元的新集合來(lái)實(shí)現(xiàn)所述神經(jīng)網(wǎng)絡(luò)的程序代碼。27. 如權(quán)利要求26所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，進(jìn)一步包括： 用于重復(fù)所述更新和生成多次以創(chuàng)建經(jīng)更新的第一神經(jīng)元層的統(tǒng)籌集合的程序代碼； 以及 用于僅使用經(jīng)更新的第一神經(jīng)元層的所述統(tǒng)籌集合來(lái)實(shí)現(xiàn)所述神經(jīng)網(wǎng)絡(luò)的程序代碼。28. 如權(quán)利要求27所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，進(jìn)一步包括： 用于生成非零解碼矢量的最終稀疏集合的程序代碼，每個(gè)解碼矢量與經(jīng)更新的神經(jīng)元 層的所述統(tǒng)籌集合和所述第二神經(jīng)元層之間的突觸相關(guān)聯(lián);以及 用于僅使用經(jīng)更新的神經(jīng)元層的所述統(tǒng)籌集合中與所述非零解碼矢量相關(guān)聯(lián)的模型 神經(jīng)元來(lái)實(shí)現(xiàn)所述神經(jīng)網(wǎng)絡(luò)的程序代碼。
【文檔編號(hào)】G06N3/04GK105874477SQ201480071677
【公開(kāi)日】2016年8月17日
【申請(qǐng)日】2014年12月3日
【發(fā)明人】S·S·塔拉迪, D·J·朱利安, V·S·R·安納普萊蒂
【申請(qǐng)人】高通股份有限公司