本申請(qǐng)要求于2014年3月26日提交的題為“TRAINING,RECOGNITION,ANDGENERATIONINASPIKINGDEEPBELIEFNETWORK(DBN)(尖峰發(fā)放深度置信網(wǎng)絡(luò)(DBN)中的訓(xùn)練、識(shí)別、以及生成)”的美國(guó)臨時(shí)專利申請(qǐng)No.61/970,807的權(quán)益，其公開(kāi)內(nèi)容通過(guò)援引全部明確納入于此。
背景技術(shù)：
：領(lǐng)域本公開(kāi)的某些方面一般涉及計(jì)算節(jié)點(diǎn)，尤其涉及用于分布式計(jì)算的系統(tǒng)和方法。
背景技術(shù)：
可包括一群互連的人工神經(jīng)元(即，神經(jīng)元模型)的人工神經(jīng)網(wǎng)絡(luò)是一種計(jì)算設(shè)備或者表示將由計(jì)算設(shè)備執(zhí)行的方法。人工神經(jīng)網(wǎng)絡(luò)可具有生物學(xué)神經(jīng)網(wǎng)絡(luò)中的對(duì)應(yīng)的結(jié)構(gòu)和/或功能。然而，人工神經(jīng)網(wǎng)絡(luò)可為其中傳統(tǒng)計(jì)算技術(shù)是麻煩的、不切實(shí)際的、或不勝任的某些應(yīng)用提供創(chuàng)新且有用的計(jì)算技術(shù)。由于人工神經(jīng)網(wǎng)絡(luò)能從觀察中推斷出功能，因此這樣的網(wǎng)絡(luò)在因任務(wù)或數(shù)據(jù)的復(fù)雜度使得通過(guò)常規(guī)技術(shù)來(lái)設(shè)計(jì)該功能較為麻煩的應(yīng)用中是特別有用的。概述在本公開(kāi)的一方面，給出了一種分布式計(jì)算方法。該方法包括使用第一處理節(jié)點(diǎn)群來(lái)在第一計(jì)算鏈中計(jì)算第一結(jié)果集以及將第一結(jié)果集傳遞給第二處理節(jié)點(diǎn)群。該方法還包括在傳遞第一結(jié)果集之后使第一處理節(jié)點(diǎn)群進(jìn)入第一休息狀態(tài)以及使用第二處理節(jié)點(diǎn)群基于第一結(jié)果集在第一計(jì)算鏈中計(jì)算第二結(jié)果集。該方法進(jìn)一步包括將第二結(jié)果集傳遞給第一處理節(jié)點(diǎn)群，在傳遞第二結(jié)果集之后使第二處理節(jié)點(diǎn)群進(jìn)入第二休息狀態(tài)，以及協(xié)調(diào)第一計(jì)算鏈。在本公開(kāi)的另一方面，給出了一種用于分布式計(jì)算的裝置。該裝置包括：存儲(chǔ)器；以及耦合到存儲(chǔ)器的至少一個(gè)處理器。該一個(gè)或多個(gè)處理器被配置成：使用第一處理節(jié)點(diǎn)群來(lái)在第一計(jì)算鏈中計(jì)算第一結(jié)果集以及將第一結(jié)果集傳遞給第二處理節(jié)點(diǎn)群。(諸)處理器還被配置成在傳遞第一結(jié)果集之后使第一處理節(jié)點(diǎn)群進(jìn)入第一休息狀態(tài)以及使用第二處理節(jié)點(diǎn)群基于第一結(jié)果集在第一計(jì)算鏈中計(jì)算第二結(jié)果集。(諸)處理器還被配置成：將第二結(jié)果集傳遞給第一處理節(jié)點(diǎn)群；在傳遞第二結(jié)果集之后使第二處理節(jié)點(diǎn)群進(jìn)入第二休息狀態(tài)；以及協(xié)調(diào)第一計(jì)算鏈。在本公開(kāi)的又一方面，給出了一種用于分布式計(jì)算的設(shè)備。該設(shè)備包括：用于使用第一處理節(jié)點(diǎn)群來(lái)在第一計(jì)算鏈中計(jì)算第一結(jié)果集的裝置；以及用于將第一結(jié)果集傳遞給第二處理節(jié)點(diǎn)群的裝置。該設(shè)備還包括：用于在傳遞第一結(jié)果集之后使第一處理節(jié)點(diǎn)群進(jìn)入第一休息狀態(tài)的裝置；以及用于使用第二處理節(jié)點(diǎn)群基于第一結(jié)果集在第一計(jì)算鏈中計(jì)算第二結(jié)果集的裝置。該設(shè)備進(jìn)一步包括用于將所述第二結(jié)果集傳遞給所述第一處理節(jié)點(diǎn)群的裝置；用于在傳遞第二結(jié)果集之后使第二處理節(jié)點(diǎn)群進(jìn)入第二休息狀態(tài)的裝置；以及用于協(xié)調(diào)第一計(jì)算鏈的裝置。在本公開(kāi)的又一方面，給出了一種用于分布式計(jì)算的計(jì)算機(jī)程序產(chǎn)品。該計(jì)算機(jī)程序產(chǎn)品包括其上編碼有程序代碼的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)。該程序代碼包括用于以下操作的程序代碼：使用第一處理節(jié)點(diǎn)群來(lái)在第一計(jì)算鏈中計(jì)算第一結(jié)果集以及將第一結(jié)果集傳遞給第二處理節(jié)點(diǎn)群。該程序代碼還包括用于以下操作的程序代碼：在傳遞第一結(jié)果集之后使第一處理節(jié)點(diǎn)群進(jìn)入第一休息狀態(tài)以及使用第二處理節(jié)點(diǎn)群基于第一結(jié)果集在第一計(jì)算鏈中計(jì)算第二結(jié)果集。該程序代碼進(jìn)一步包括用于以下操作的程序代碼：將第二結(jié)果集傳遞給第一處理節(jié)點(diǎn)群；在傳遞第二結(jié)果集之后使第二處理節(jié)點(diǎn)群進(jìn)入第二休息狀態(tài)；以及協(xié)調(diào)第一計(jì)算鏈。這已較寬泛地勾勒出本公開(kāi)的特征和技術(shù)優(yōu)勢(shì)以便下面的詳細(xì)描述可以被更好地理解。本公開(kāi)的附加特征和優(yōu)點(diǎn)將在下文描述。本領(lǐng)域技術(shù)人員應(yīng)該領(lǐng)會(huì)，本公開(kāi)可容易地被用作修改或設(shè)計(jì)用于實(shí)施與本公開(kāi)相同的目的的其他結(jié)構(gòu)的基礎(chǔ)。本領(lǐng)域技術(shù)人員還應(yīng)認(rèn)識(shí)到，這樣的等效構(gòu)造并不脫離所附權(quán)利要求中所闡述的本公開(kāi)的教導(dǎo)。被認(rèn)為是本公開(kāi)的特性的新穎特征在其組織和操作方法兩方面連同進(jìn)一步的目的和優(yōu)點(diǎn)在結(jié)合附圖來(lái)考慮以下描述時(shí)將被更好地理解。然而，要清楚理解的是，提供每一幅附圖均僅用于解說(shuō)和描述目的，且無(wú)意作為對(duì)本公開(kāi)的限定的定義。附圖簡(jiǎn)述在結(jié)合附圖理解下面闡述的詳細(xì)描述時(shí)，本公開(kāi)的特征、本質(zhì)和優(yōu)點(diǎn)將變得更加明顯，在附圖中，相同附圖標(biāo)記始終作相應(yīng)標(biāo)識(shí)。圖1解說(shuō)了根據(jù)本公開(kāi)的某些方面的示例神經(jīng)元網(wǎng)絡(luò)。圖2解說(shuō)了根據(jù)本公開(kāi)的某些方面的計(jì)算網(wǎng)絡(luò)(神經(jīng)系統(tǒng)或神經(jīng)網(wǎng)絡(luò))的處理單元(神經(jīng)元)的示例。圖3解說(shuō)了根據(jù)本公開(kāi)的某些方面的尖峰定時(shí)依賴可塑性(STDP)曲線的示例。圖4解說(shuō)了根據(jù)本公開(kāi)的某些方面的用于定義神經(jīng)元模型的行為的正態(tài)相和負(fù)態(tài)相的示例。圖5解說(shuō)了根據(jù)本公開(kāi)的某些方面的使用通用處理器來(lái)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的示例實(shí)現(xiàn)。圖6解說(shuō)了根據(jù)本公開(kāi)的某些方面的設(shè)計(jì)其中存儲(chǔ)器可以與個(gè)體分布式處理單元對(duì)接的神經(jīng)網(wǎng)絡(luò)的示例實(shí)現(xiàn)。圖7解說(shuō)了根據(jù)本公開(kāi)的某些方面的基于分布式存儲(chǔ)器和分布式處理單元來(lái)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的示例實(shí)現(xiàn)。圖8解說(shuō)了根據(jù)本公開(kāi)的某些方面的神經(jīng)網(wǎng)絡(luò)的示例實(shí)現(xiàn)。圖9是解說(shuō)根據(jù)本公開(kāi)的各方面的示例性RBM的框圖。圖10是解說(shuō)根據(jù)本公開(kāi)的各方面的示例性DBN的框圖。圖11是解說(shuō)根據(jù)本公開(kāi)的各方面的RBM中的并行采樣鏈的框圖。圖12是解說(shuō)根據(jù)本公開(kāi)的各方面的具有協(xié)調(diào)器神經(jīng)元的RBM的框圖。圖13A-F是解說(shuō)根據(jù)本公開(kāi)的各方面的被訓(xùn)練用于分類、識(shí)別、以及生成的示例性DBN的框圖。圖14-15解說(shuō)根據(jù)本公開(kāi)的各方面的用于分布式計(jì)算的方法。詳細(xì)描述以下結(jié)合附圖闡述的詳細(xì)描述旨在作為各種配置的描述，而無(wú)意表示可實(shí)踐本文中所描述的概念的僅有的配置。本詳細(xì)描述包括具體細(xì)節(jié)以便提供對(duì)各種概念的透徹理解。然而，對(duì)于本領(lǐng)域技術(shù)人員將顯而易見(jiàn)的是，沒(méi)有這些具體細(xì)節(jié)也可實(shí)踐這些概念。在一些實(shí)例中，以框圖形式示出眾所周知的結(jié)構(gòu)和組件以便避免淡化此類概念。基于本教導(dǎo)，本領(lǐng)域技術(shù)人員應(yīng)領(lǐng)會(huì)，本公開(kāi)的范圍旨在覆蓋本公開(kāi)的任何方面，不論其是與本公開(kāi)的任何其他方面相獨(dú)立地還是組合地實(shí)現(xiàn)的。例如，可以使用所闡述的任何數(shù)目的方面來(lái)實(shí)現(xiàn)裝置或?qū)嵺`方法。另外，本公開(kāi)的范圍旨在覆蓋使用作為所闡述的本公開(kāi)的各個(gè)方面的補(bǔ)充或者與之不同的其他結(jié)構(gòu)、功能性、或者結(jié)構(gòu)及功能性來(lái)實(shí)踐的此類裝置或方法。應(yīng)當(dāng)理解，所披露的本公開(kāi)的任何方面可由權(quán)利要求的一個(gè)或多個(gè)元素來(lái)實(shí)施。措辭“示例性”在本文中用于表示“用作示例、實(shí)例或解說(shuō)”。本文中描述為“示例性”的任何方面不必被解釋為優(yōu)于或勝過(guò)其他方面。盡管本文描述了特定方面，但這些方面的眾多變體和置換落在本公開(kāi)的范圍之內(nèi)。雖然提到了優(yōu)選方面的一些益處和優(yōu)點(diǎn)，但本公開(kāi)的范圍并非旨在被限定于特定益處、用途或目標(biāo)。相反，本公開(kāi)的各方面旨在能寬泛地應(yīng)用于不同的技術(shù)、系統(tǒng)配置、網(wǎng)絡(luò)和協(xié)議，其中一些作為示例在附圖以及以下對(duì)優(yōu)選方面的描述中解說(shuō)。詳細(xì)描述和附圖僅僅解說(shuō)本公開(kāi)而非限定本公開(kāi)，本公開(kāi)的范圍由所附權(quán)利要求及其等效技術(shù)方案來(lái)定義。示例神經(jīng)系統(tǒng)、訓(xùn)練及操作圖1解說(shuō)了根據(jù)本公開(kāi)的某些方面的具有多級(jí)神經(jīng)元的示例人工神經(jīng)系統(tǒng)100。神經(jīng)系統(tǒng)100可具有神經(jīng)元級(jí)102，該神經(jīng)元級(jí)102通過(guò)突觸連接網(wǎng)絡(luò)104(即，前饋連接)來(lái)連接到另一神經(jīng)元級(jí)106。為簡(jiǎn)單起見(jiàn)，圖1中僅解說(shuō)了兩級(jí)神經(jīng)元，盡管神經(jīng)系統(tǒng)中可存在更少或更多級(jí)神經(jīng)元。應(yīng)注意，一些神經(jīng)元可通過(guò)側(cè)向連接來(lái)連接至同層中的其他神經(jīng)元。此外，一些神經(jīng)元可通過(guò)反饋連接來(lái)后向連接至先前層中的神經(jīng)元。如圖1所解說(shuō)的，級(jí)102中的每一個(gè)神經(jīng)元可以接收可由前級(jí)的神經(jīng)元(未在圖1中示出)生成的輸入信號(hào)108。信號(hào)108可表示級(jí)102的神經(jīng)元的輸入電流。該電流可在神經(jīng)元膜上累積以對(duì)膜電位進(jìn)行充電。當(dāng)膜電位達(dá)到其閾值時(shí)，該神經(jīng)元可激發(fā)并生成輸出尖峰，該輸出尖峰將被傳遞到下一級(jí)神經(jīng)元(例如，級(jí)106)。在一些建模辦法中，神經(jīng)元可以連續(xù)地向下一級(jí)神經(jīng)元傳遞信號(hào)。該信號(hào)通常是膜電位的函數(shù)。此類行為可在硬件和/或軟件(包括模擬和數(shù)字實(shí)現(xiàn)，諸如以下所述那些實(shí)現(xiàn))中進(jìn)行仿真或模擬。在生物學(xué)神經(jīng)元中，在神經(jīng)元激發(fā)時(shí)生成的輸出尖峰被稱為動(dòng)作電位。該電信號(hào)是相對(duì)迅速、瞬態(tài)的神經(jīng)脈沖，其具有約為100mV的振幅和約為1ms的歷時(shí)。在具有一系列連通的神經(jīng)元(例如，尖峰從圖1中的一級(jí)神經(jīng)元傳遞至另一級(jí)神經(jīng)元)的神經(jīng)系統(tǒng)的特定實(shí)施例中，每個(gè)動(dòng)作電位都具有基本上相同的振幅和歷時(shí)，并且因此該信號(hào)中的信息可僅由尖峰的頻率和數(shù)目、或尖峰的時(shí)間來(lái)表示，而不由振幅來(lái)表示。動(dòng)作電位所攜帶的信息可由尖峰、發(fā)放了尖峰的神經(jīng)元、以及該尖峰相對(duì)于一個(gè)或數(shù)個(gè)其他尖峰的時(shí)間來(lái)確定。尖峰的重要性可由向各神經(jīng)元之間的連接所應(yīng)用的權(quán)重來(lái)確定，如以下所解釋的。尖峰從一級(jí)神經(jīng)元向另一級(jí)神經(jīng)元的傳遞可通過(guò)突觸連接(或簡(jiǎn)稱“突觸”)網(wǎng)絡(luò)104來(lái)達(dá)成，如圖1中所解說(shuō)的。相對(duì)于突觸104，級(jí)102的神經(jīng)元可被視為突觸前神經(jīng)元，而級(jí)106的神經(jīng)元可被視為突觸后神經(jīng)元。突觸104可接收來(lái)自級(jí)102的神經(jīng)元的輸出信號(hào)(即，尖峰)，并根據(jù)可調(diào)節(jié)突觸權(quán)重來(lái)按比例縮放那些信號(hào)，其中P是級(jí)102的神經(jīng)元與級(jí)106的神經(jīng)元之間的突觸連接的總數(shù)，并且i是神經(jīng)元級(jí)的指示符。在圖1的示例中，i表示神經(jīng)元級(jí)102并且i+1表示神經(jīng)元級(jí)106。此外，經(jīng)按比例縮放的信號(hào)可被組合以作為級(jí)106中每個(gè)神經(jīng)元的輸入信號(hào)。級(jí)106中的每個(gè)神經(jīng)元可基于對(duì)應(yīng)的組合輸入信號(hào)來(lái)生成輸出尖峰110。可使用另一突觸連接網(wǎng)絡(luò)(圖1中未示出)將這些輸出尖峰110傳遞到另一級(jí)神經(jīng)元。生物學(xué)突觸可以仲裁突觸后神經(jīng)元中的興奮性或抑制性(超極化)動(dòng)作，并且還可用于放大神經(jīng)元信號(hào)。興奮性信號(hào)使膜電位去極化(即，相對(duì)于靜息電位增大膜電位)。如果在某個(gè)時(shí)間段內(nèi)接收到足夠的興奮性信號(hào)以使膜電位去極化到高于閾值，則在突觸后神經(jīng)元中發(fā)生動(dòng)作電位。相反，抑制性信號(hào)一般使膜電位超極化(即，降低膜電位)。抑制性信號(hào)如果足夠強(qiáng)則可抵消掉興奮性信號(hào)之和并阻止膜電位到達(dá)閾值。除了抵消掉突觸興奮以外，突觸抑制還可對(duì)自發(fā)活躍神經(jīng)元施加強(qiáng)力的控制。自發(fā)活躍神經(jīng)元是指在沒(méi)有進(jìn)一步輸入的情況下(例如，由于其動(dòng)態(tài)或反饋而)發(fā)放尖峰的神經(jīng)元。通過(guò)壓制這些神經(jīng)元中的動(dòng)作電位的自發(fā)生成，突觸抑制可對(duì)神經(jīng)元中的激發(fā)模式進(jìn)行定形，這一般被稱為雕刻。取決于期望的行為，各種突觸104可充當(dāng)興奮性或抑制性突觸的任何組合。神經(jīng)系統(tǒng)100可由通用處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)或其他可編程邏輯器件(PLD)、分立的門或晶體管邏輯、分立的硬件組件、由處理器執(zhí)行的軟件模塊、或其任何組合來(lái)仿真。神經(jīng)系統(tǒng)100可用在大范圍的應(yīng)用中，諸如圖像和模式識(shí)別、機(jī)器學(xué)習(xí)、電機(jī)控制、及類似應(yīng)用等。神經(jīng)系統(tǒng)100中的每一神經(jīng)元可被實(shí)現(xiàn)為神經(jīng)元電路。被充電至發(fā)起輸出尖峰的閾值的神經(jīng)元膜可被實(shí)現(xiàn)為例如對(duì)流經(jīng)其的電流進(jìn)行積分的電容器。在一方面，電容器作為神經(jīng)元電路的電流積分器件可被除去，并且可使用較小的憶阻器元件來(lái)替代它。這種辦法可應(yīng)用于神經(jīng)元電路中，以及其中大容量電容器被用作電流積分器的各種其他應(yīng)用中。另外，每個(gè)突觸104可基于憶阻器元件來(lái)實(shí)現(xiàn)，其中突觸權(quán)重變化可與憶阻器電阻的變化有關(guān)。使用納米特征尺寸的憶阻器，可顯著地減小神經(jīng)元電路和突觸的面積，這可使得實(shí)現(xiàn)大規(guī)模神經(jīng)系統(tǒng)硬件實(shí)現(xiàn)更為切實(shí)可行。對(duì)神經(jīng)系統(tǒng)100進(jìn)行仿真的神經(jīng)處理器的功能性可取決于突觸連接的權(quán)重，這些權(quán)重可控制神經(jīng)元之間的連接的強(qiáng)度。突觸權(quán)重可存儲(chǔ)在非易失性存儲(chǔ)器中以在掉電之后保留該處理器的功能性。在一方面，突觸權(quán)重存儲(chǔ)器可實(shí)現(xiàn)在與主神經(jīng)處理器芯片分開(kāi)的外部芯片上。突觸權(quán)重存儲(chǔ)器可與神經(jīng)處理器芯片分開(kāi)地封裝成可更換的存儲(chǔ)卡。這可向神經(jīng)處理器提供多種多樣的功能性，其中特定功能性可基于當(dāng)前附連至神經(jīng)處理器的存儲(chǔ)卡中所存儲(chǔ)的突觸權(quán)重。圖2解說(shuō)了根據(jù)本公開(kāi)的某些方面的計(jì)算網(wǎng)絡(luò)(例如，神經(jīng)系統(tǒng)或神經(jīng)網(wǎng)絡(luò))的處理單元(例如，神經(jīng)元或神經(jīng)元電路)202的示例性示圖200。例如，神經(jīng)元202可對(duì)應(yīng)于來(lái)自圖1的級(jí)102和106的任何神經(jīng)元。神經(jīng)元202可接收多個(gè)輸入信號(hào)2041-204N，這些輸入信號(hào)可以是該神經(jīng)系統(tǒng)外部的信號(hào)、或是由同一神經(jīng)系統(tǒng)的其他神經(jīng)元所生成的信號(hào)、或這兩者。輸入信號(hào)可以是電流、電導(dǎo)、電壓、實(shí)數(shù)值的和/或復(fù)數(shù)值的。輸入信號(hào)可包括具有定點(diǎn)或浮點(diǎn)表示的數(shù)值?？赏ㄟ^(guò)突觸連接將這些輸入信號(hào)遞送到神經(jīng)元202，突觸連接根據(jù)可調(diào)節(jié)突觸權(quán)重2061-206N(W1-WN)對(duì)這些信號(hào)進(jìn)行按比例縮放，其中N可以是神經(jīng)元202的輸入連接總數(shù)。神經(jīng)元202可組合這些經(jīng)按比例縮放的輸入信號(hào)，并且使用組合的經(jīng)按比例縮放的輸入來(lái)生成輸出信號(hào)208(即，信號(hào)Y)。輸出信號(hào)208可以是電流、電導(dǎo)、電壓、實(shí)數(shù)值的和/或復(fù)數(shù)值的。輸出信號(hào)可以是具有定點(diǎn)或浮點(diǎn)表示的數(shù)值。隨后該輸出信號(hào)208可作為輸入信號(hào)傳遞至同一神經(jīng)系統(tǒng)的其他神經(jīng)元、或作為輸入信號(hào)傳遞至同一神經(jīng)元202、或作為該神經(jīng)系統(tǒng)的輸出來(lái)傳遞。處理單元(神經(jīng)元)202可由電路來(lái)仿真，并且其輸入和輸出連接可由具有突觸電路的電連接來(lái)仿真。處理單元202及其輸入和輸出連接也可由軟件代碼來(lái)仿真。處理單元202還可由電路來(lái)仿真，而其輸入和輸出連接可由軟件代碼來(lái)仿真。在一方面，計(jì)算網(wǎng)絡(luò)中的處理單元202可以是模擬電路。在另一方面，處理單元202可以是數(shù)字電路。在又一方面，處理單元202可以是具有模擬和數(shù)字組件兩者的混合信號(hào)電路。計(jì)算網(wǎng)絡(luò)可包括任何前述形式的處理單元。使用這樣的處理單元的計(jì)算網(wǎng)絡(luò)(神經(jīng)系統(tǒng)或神經(jīng)網(wǎng)絡(luò))可用在大范圍的應(yīng)用中，諸如圖像和模式識(shí)別、機(jī)器學(xué)習(xí)、電機(jī)控制、及類似應(yīng)用等。在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程期間，突觸權(quán)重(例如，來(lái)自圖1的權(quán)重和/或來(lái)自圖2的權(quán)重2061-206N)可用隨機(jī)值來(lái)初始化并根據(jù)學(xué)習(xí)規(guī)則而被增大或減小。本領(lǐng)域技術(shù)人員將領(lǐng)會(huì)，學(xué)習(xí)規(guī)則的示例包括但不限于尖峰定時(shí)依賴可塑性(STDP)學(xué)習(xí)規(guī)則、Hebb規(guī)則、Oja規(guī)則、Bienenstock-Copper-Munro(BCM)規(guī)則等。在一些方面，這些權(quán)重可穩(wěn)定或收斂至兩個(gè)值(即，權(quán)重的雙峰分布)之一。該效應(yīng)可被用于減少每個(gè)突觸權(quán)重的位數(shù)、提高從/向存儲(chǔ)突觸權(quán)重的存儲(chǔ)器讀取和寫入的速度、以及降低突觸存儲(chǔ)器的功率和/或處理器消耗。突觸類型在神經(jīng)網(wǎng)絡(luò)的硬件和軟件模型中，突觸相關(guān)功能的處理可基于突觸類型。突觸類型可以是非可塑突觸(權(quán)重和延遲沒(méi)有改變)、可塑突觸(權(quán)重可改變)、結(jié)構(gòu)化延遲可塑突觸(權(quán)重和延遲可改變)、全可塑突觸(權(quán)重、延遲和連通性可改變)、以及基于此的變型(例如，延遲可改變，但在權(quán)重或連通性方面沒(méi)有改變)。多種類型的優(yōu)點(diǎn)在于處理可以被細(xì)分。例如，非可塑突觸不會(huì)要求執(zhí)行可塑性功能(或等待此類功能完成)。類似地，延遲和權(quán)重可塑性可被細(xì)分成可一起或分開(kāi)地、順序地或并行地運(yùn)作的操作。不同類型的突觸對(duì)于適用的每一種不同的可塑性類型可具有不同的查找表或公式以及參數(shù)。因此，這些方法將針對(duì)該突觸的類型來(lái)訪問(wèn)相關(guān)的表、公式或參數(shù)。還進(jìn)一步牽涉到以下事實(shí)：尖峰定時(shí)依賴型結(jié)構(gòu)化可塑性可獨(dú)立于突觸可塑性地來(lái)執(zhí)行。結(jié)構(gòu)化可塑性即使在權(quán)重幅值沒(méi)有改變的情況下(例如，如果權(quán)重已達(dá)最小或最大值、或者其由于某種其他原因而不被改變)也可被執(zhí)行，因?yàn)榻Y(jié)構(gòu)化可塑性(即，延遲改變的量)可以是pre-post(前-后)尖峰時(shí)間差的直接函數(shù)。替換地，結(jié)構(gòu)化可塑性可被設(shè)為權(quán)重變化量的函數(shù)或者可基于與權(quán)重或權(quán)重變化的界限有關(guān)的條件來(lái)設(shè)置。例如，突觸延遲可僅在權(quán)重變化發(fā)生時(shí)或者在權(quán)重到達(dá)0的情況下才改變，但在這些權(quán)重為最大值時(shí)則不改變。然而，具有獨(dú)立函數(shù)以使得這些過(guò)程能被并行化從而減少存儲(chǔ)器訪問(wèn)的次數(shù)和交疊可能是有利的。突觸可塑性的確定神經(jīng)元可塑性(或簡(jiǎn)稱“可塑性”)是大腦中的神經(jīng)元和神經(jīng)網(wǎng)絡(luò)響應(yīng)于新的信息、感官刺激、發(fā)展、損壞、或機(jī)能障礙而改變其突觸連接和行為的能力?？伤苄詫?duì)于生物學(xué)中的學(xué)習(xí)和記憶、以及對(duì)于計(jì)算神經(jīng)元科學(xué)和神經(jīng)網(wǎng)絡(luò)是重要的。已經(jīng)研究了各種形式的可塑性，諸如突觸可塑性(例如，根據(jù)赫布理論)、尖峰定時(shí)依賴可塑性(STDP)、非突觸可塑性、活動(dòng)性依賴可塑性、結(jié)構(gòu)化可塑性和自身穩(wěn)態(tài)可塑性。STDP是調(diào)節(jié)神經(jīng)元之間的突觸連接的強(qiáng)度的學(xué)習(xí)過(guò)程。連接強(qiáng)度是基于特定神經(jīng)元的輸出與收到輸入尖峰(即，動(dòng)作電位)的相對(duì)定時(shí)來(lái)調(diào)節(jié)的。在STDP過(guò)程下，如果至某個(gè)神經(jīng)元的輸入尖峰平均而言傾向于緊挨在該神經(jīng)元的輸出尖峰之前發(fā)生，則可發(fā)生長(zhǎng)期增強(qiáng)(LTP)。于是使得該特定輸入在一定程度上更強(qiáng)。另一方面，如果輸入尖峰平均而言傾向于緊接在輸出尖峰之后發(fā)生，則可發(fā)生長(zhǎng)期抑壓(LTD)。于是使得該特定輸入在一定程度上更弱，并由此得名“尖峰定時(shí)依賴可塑性”。因此，使得可能是突觸后神經(jīng)元興奮原因的輸入甚至在將來(lái)作出貢獻(xiàn)的可能性更大，而使得不是突觸后尖峰的原因的輸入在將來(lái)作出貢獻(xiàn)的可能性更小。該過(guò)程繼續(xù)，直至初始連接集合的子集保留，而所有其他連接的影響減小至無(wú)關(guān)緊要的水平。由于神經(jīng)元一般在其許多輸入都在一短時(shí)段內(nèi)發(fā)生(即，累積性足以引起輸出)時(shí)產(chǎn)生輸出尖峰，因此通常保留下來(lái)的輸入子集包括傾向于在時(shí)間上相關(guān)的那些輸入。另外，由于在輸出尖峰之前發(fā)生的輸入被加強(qiáng)，因此提供對(duì)相關(guān)性的最早充分累積性指示的那些輸入將最終變成至該神經(jīng)元的最后輸入。STDP學(xué)習(xí)規(guī)則可因變于突觸前神經(jīng)元的尖峰時(shí)間tpre與突觸后神經(jīng)元的尖峰時(shí)間tpost之間的時(shí)間差(即，t＝tpost-tpre)來(lái)有效地適配將該突觸前神經(jīng)元連接到該突觸后神經(jīng)元的突觸的突觸權(quán)重。STDP的典型公式化是若該時(shí)間差為正(突觸前神經(jīng)元在突觸后神經(jīng)元之前激發(fā))則增大突觸權(quán)重(即，增強(qiáng)該突觸)，以及若該時(shí)間差為負(fù)(突觸后神經(jīng)元在突觸前神經(jīng)元之前激發(fā))則減小突觸權(quán)重(即，抑壓該突觸)。在STDP過(guò)程中，突觸權(quán)重隨時(shí)間推移的改變可通常使用指數(shù)式衰退來(lái)達(dá)成，如由下式給出的：Δw(t)=a+e-t/k++μ,t>0a-et/k-,t<0,---(1)]]>其中k+和k-τsign(Δt)分別是針對(duì)正和負(fù)時(shí)間差的時(shí)間常數(shù)，a+和a-是對(duì)應(yīng)的比例縮放幅值，并且μ是可應(yīng)用于正時(shí)間差和/或負(fù)時(shí)間差的偏移。圖3解說(shuō)了根據(jù)STDP，突觸權(quán)重作為突觸前(presynaptic)和突觸后(postsynaptic)尖峰的相對(duì)定時(shí)的函數(shù)而改變的示例性示圖300。如果突觸前神經(jīng)元在突觸后神經(jīng)元之前激發(fā)，則對(duì)應(yīng)的突觸權(quán)重可被增大，如曲線圖300的部分302中所解說(shuō)的。該權(quán)重增大可被稱為該突觸的LTP。從曲線圖部分302可觀察到，LTP的量可因變于突觸前和突觸后尖峰時(shí)間之差而大致呈指數(shù)式地下降。相反的激發(fā)次序可減小突觸權(quán)重，如曲線圖300的部分304中所解說(shuō)的，從而導(dǎo)致該突觸的LTD。如圖3中的曲線圖300中所解說(shuō)的，可向STDP曲線圖的LTP(因果性)部分302應(yīng)用負(fù)偏移μ。x軸的交越點(diǎn)306(y＝0)可被配置成與最大時(shí)間滯后重合以考慮到來(lái)自層i-1的各因果性輸入的相關(guān)性。在基于幀的輸入(即，呈特定歷時(shí)的包括尖峰或脈沖的幀的形式的輸入)的情形中，可計(jì)算偏移值μ以反映幀邊界。該幀中的第一輸入尖峰(脈沖)可被視為要么如直接由突觸后電位所建模地隨時(shí)間衰退，要么在對(duì)神經(jīng)狀態(tài)的影響的意義上隨時(shí)間衰退。如果該幀中的第二輸入尖峰(脈沖)被視為與特定時(shí)間幀相關(guān)或有關(guān)，則該幀之前和之后的有關(guān)時(shí)間可通過(guò)使STDP曲線的一個(gè)或多個(gè)部分偏移以使得這些有關(guān)時(shí)間中的值可以不同(例如，對(duì)于大于一個(gè)幀為負(fù)，而對(duì)于小于一個(gè)幀為正)來(lái)在該時(shí)間幀邊界處被分開(kāi)并在可塑性意義上被不同地對(duì)待。例如，負(fù)偏移μ可被設(shè)為偏移LTP以使得曲線實(shí)際上在大于幀時(shí)間的pre-post時(shí)間處變得低于零并且它由此為L(zhǎng)TD而非LTP的一部分。神經(jīng)元模型及操作存在一些用于設(shè)計(jì)有用的尖峰發(fā)放神經(jīng)元模型的一般原理。良好的神經(jīng)元模型在以下兩個(gè)計(jì)算態(tài)相(regime)方面可具有豐富的潛在行為：重合性檢測(cè)和功能性計(jì)算。此外，良好的神經(jīng)元模型應(yīng)當(dāng)具有允許時(shí)間編碼的兩個(gè)要素：輸入的抵達(dá)時(shí)間影響輸出時(shí)間，以及重合性檢測(cè)能具有窄時(shí)間窗。最后，為了在計(jì)算上是有吸引力的，良好的神經(jīng)元模型在連續(xù)時(shí)間上可具有閉合形式解，并且具有穩(wěn)定的行為，包括在靠近吸引子和鞍點(diǎn)之處。換言之，有用的神經(jīng)元模型是可實(shí)踐且可被用于建模豐富的、現(xiàn)實(shí)的且生物學(xué)一致的行為并且可被用于對(duì)神經(jīng)電路進(jìn)行工程設(shè)計(jì)和反向工程兩者的神經(jīng)元模型。神經(jīng)元模型可取決于事件，諸如輸入抵達(dá)、輸出尖峰或其他事件，無(wú)論這些事件是內(nèi)部的還是外部的。為了達(dá)成豐富的行為庫(kù)，能展現(xiàn)復(fù)雜行為的狀態(tài)機(jī)可能是期望的。如果事件本身的發(fā)生在撇開(kāi)輸入貢獻(xiàn)(若有)的情況下能影響狀態(tài)機(jī)并約束該事件之后的動(dòng)態(tài)，則該系統(tǒng)的將來(lái)狀態(tài)并非僅是狀態(tài)和輸入的函數(shù)，而是狀態(tài)、事件和輸入的函數(shù)。在一方面，神經(jīng)元n可被建模為尖峰發(fā)放帶漏泄積分激發(fā)神經(jīng)元，其膜電壓vn(t)由以下動(dòng)態(tài)來(lái)支配：dvn(t)dt=αvn(t)+βΣmwm,nym(t-Δtm,n),---(2)]]>其中α和β是參數(shù)，wm,n是將突觸前神經(jīng)元m連接至突觸后神經(jīng)元n的突觸的突觸權(quán)重，以及ym(t)是神經(jīng)元m的尖峰發(fā)放輸出，其可根據(jù)Δtm,n被延遲達(dá)樹(shù)突或軸突延遲才抵達(dá)神經(jīng)元n的胞體。應(yīng)注意，從建立了對(duì)突觸后神經(jīng)元的充分輸入的時(shí)間直至該突觸后神經(jīng)元實(shí)際上激發(fā)的時(shí)間存在延遲。在動(dòng)態(tài)尖峰發(fā)放神經(jīng)元模型(諸如Izhikevich簡(jiǎn)單模型)中，如果在去極化閾值vt與峰值尖峰電壓vpeak之間有差量，則可引發(fā)時(shí)間延遲。例如，在該簡(jiǎn)單模型中，神經(jīng)元胞體動(dòng)態(tài)可由關(guān)于電壓和恢復(fù)的微分方程對(duì)來(lái)支配，即：dvdt=(k(v-vt)(v-vr)-u+I)/C,---(3)]]>dudt=a(b(v-vr)-u),---(4)]]>其中v是膜電位，u是膜恢復(fù)變量，k是描述膜電位v的時(shí)間尺度的參數(shù)，a是描述恢復(fù)變量u的時(shí)間尺度的參數(shù)，b是描述恢復(fù)變量u對(duì)膜電位v的閾下波動(dòng)的敏感度的參數(shù)，vr是膜靜息電位，I是突觸電流，以及C是膜的電容。根據(jù)該模型，神經(jīng)元被定義為在v＞vpeak時(shí)發(fā)放尖峰。HunzingerCold模型HunzingerCold神經(jīng)元模型是能再現(xiàn)豐富多樣的各種神經(jīng)行為的最小雙態(tài)相尖峰發(fā)放線性動(dòng)態(tài)模型。該模型的一維或二維線性動(dòng)態(tài)可具有兩個(gè)態(tài)相，其中時(shí)間常數(shù)(以及耦合)可取決于態(tài)相。在閾下態(tài)相中，時(shí)間常數(shù)(按照慣例為負(fù))表示漏泄通道動(dòng)態(tài)，其一般作用于以生物學(xué)一致的線性方式使細(xì)胞返回到靜息。閾上態(tài)相中的時(shí)間常數(shù)(按照慣例為正)反映抗漏泄通道動(dòng)態(tài)，其一般驅(qū)動(dòng)細(xì)胞發(fā)放尖峰，而同時(shí)在尖峰生成中引發(fā)等待時(shí)間。如圖4中所解說(shuō)的，該模型400的動(dòng)態(tài)可被劃分成兩個(gè)(或更多個(gè))態(tài)相。這些態(tài)相可被稱為負(fù)態(tài)相402(也可互換地稱為帶漏泄積分激發(fā)(LIF)態(tài)相，勿與LIF神經(jīng)元模型混淆)以及正態(tài)相404(也可互換地稱為抗漏泄積分激發(fā)(ALIF)態(tài)相，勿與ALIF神經(jīng)元模型混淆)。在負(fù)態(tài)相402中，狀態(tài)在將來(lái)事件的時(shí)間趨向于靜息(v-)。在該負(fù)態(tài)相中，該模型一般展現(xiàn)出時(shí)間輸入檢測(cè)性質(zhì)及其他閾下行為。在正態(tài)相404中，狀態(tài)趨向于尖峰發(fā)放事件(vs)。在該正態(tài)相中，該模型展現(xiàn)出計(jì)算性質(zhì)，諸如取決于后續(xù)輸入事件而引發(fā)發(fā)放尖峰的等待時(shí)間。在事件方面對(duì)動(dòng)態(tài)進(jìn)行公式化以及將動(dòng)態(tài)分成這兩個(gè)態(tài)相是該模型的基礎(chǔ)特性。線性雙態(tài)相二維動(dòng)態(tài)(對(duì)于狀態(tài)v和u)可按照慣例定義為：τρdvdt=v+qρ---(5)]]>-τududt=u+r,---(6)]]>其中qρ和r是用于耦合的線性變換變量。符號(hào)ρ在本文中用于標(biāo)示動(dòng)態(tài)態(tài)相，在討論或表達(dá)具體態(tài)相的關(guān)系時(shí)，按照慣例對(duì)于負(fù)態(tài)相和正態(tài)相分別用符號(hào)“-”或“+”來(lái)替換符號(hào)ρ。模型狀態(tài)由膜電位(電壓)v和恢復(fù)電流u來(lái)定義。在基本形式中，態(tài)相在本質(zhì)上是由模型狀態(tài)來(lái)決定的。該精確和通用的定義存在一些細(xì)微卻重要的方面，但目前考慮該模型在電壓v高于閾值(v+)的情況下處于正態(tài)相404中，否則處于負(fù)態(tài)相402中。態(tài)相相關(guān)時(shí)間常數(shù)包括負(fù)態(tài)相時(shí)間常數(shù)τ-和正態(tài)相時(shí)間常數(shù)τ+?；謴?fù)電流時(shí)間常數(shù)τu通常是與態(tài)相無(wú)關(guān)的。出于方便起見(jiàn)，負(fù)態(tài)相時(shí)間常數(shù)τ-通常被指定為反映衰退的負(fù)量，從而用于電壓演變的相同表達(dá)式可用于正態(tài)相，在正態(tài)相中指數(shù)和τ+將一般為正，正如τu那樣。這兩個(gè)狀態(tài)元素的動(dòng)態(tài)可在發(fā)生事件之際通過(guò)使?fàn)顟B(tài)偏離其零傾線(null-cline)的變換來(lái)耦合，其中變換變量為：qρ＝-τρβu-vρ(7)r＝δ(v+ε)。(8)其中δ、ε、β和v-、v+是參數(shù)。vρ的兩個(gè)值是這兩個(gè)態(tài)相的參考電壓的基數(shù)。參數(shù)v-是負(fù)態(tài)相的基電壓，并且膜電位在負(fù)態(tài)相中一般將朝向v-衰退。參數(shù)v+是正態(tài)相的基電壓，并且膜電位在正態(tài)相中一般將趨向于背離v+。v和u的零傾線分別由變換變量qρ和r的負(fù)數(shù)給出。參數(shù)δ是控制u零傾線的斜率的比例縮放因子。參數(shù)ε通常被設(shè)為等于-v-。參數(shù)β是控制這兩個(gè)態(tài)相中的v零傾線的斜率的電阻值。τρ時(shí)間常數(shù)參數(shù)不僅控制指數(shù)式衰退，還單獨(dú)地控制每個(gè)態(tài)相中的零傾線斜率。該模型可被定義為在電壓v達(dá)到值vS時(shí)發(fā)放尖峰。隨后，狀態(tài)可在發(fā)生復(fù)位事件(其可以與尖峰事件完全相同)之際被復(fù)位：v=v^----(9)]]>u＝u+Δu，(10)其中和Δu是參數(shù)。復(fù)位電壓通常被設(shè)為v-。依照瞬時(shí)耦合的原理，閉合形式解不僅對(duì)于狀態(tài)是可能的(且具有單個(gè)指數(shù)項(xiàng))，而且對(duì)于到達(dá)特定狀態(tài)所需的時(shí)間也是可能的。閉合形式狀態(tài)解為：v(t+Δt)=(v(t)+qρ)eΔtτρ-qρ---(11)]]>u(t+Δt)=(u(t)+r)e-Δtτu-r.---(12)]]>因此，模型狀態(tài)可僅在發(fā)生事件之際被更新，諸如在輸入(突觸前尖峰)或輸出(突觸后尖峰)之際被更新。還可在任何特定時(shí)間(無(wú)論是否有輸入或輸出)執(zhí)行操作。而且，依照瞬時(shí)耦合原理，突觸后尖峰的時(shí)間可被預(yù)計(jì)，因此到達(dá)特定狀態(tài)的時(shí)間可提前被確定而無(wú)需迭代技術(shù)或數(shù)值方法(例如，歐拉數(shù)值方法)。給定了先前電壓狀態(tài)v0，直至到達(dá)電壓狀態(tài)vf之前的時(shí)間延遲由下式給出：Δt=τρlogvf+qρv0+qρ.---(13)]]>如果尖峰被定義為發(fā)生在電壓狀態(tài)v到達(dá)vS的時(shí)間，則從電壓處于給定狀態(tài)v的時(shí)間起測(cè)量的直至發(fā)生尖峰前的時(shí)間量或即相對(duì)延遲的閉合形式解為：其中通常被設(shè)為參數(shù)v+，但其他變型可以是可能的。模型動(dòng)態(tài)的以上定義取決于該模型是在正態(tài)相還是負(fù)態(tài)相中。如所提及的，耦合和態(tài)相ρ可基于事件來(lái)計(jì)算。出于狀態(tài)傳播的目的，態(tài)相和耦合(變換)變量可基于在上一(先前)事件的時(shí)間的狀態(tài)來(lái)定義。出于隨后預(yù)計(jì)尖峰輸出時(shí)間的目的，態(tài)相和耦合變量可基于在下一(當(dāng)前)事件的時(shí)間的狀態(tài)來(lái)定義。存在對(duì)該Cold模型、以及在時(shí)間上執(zhí)行模擬、仿真、或建模的若干可能實(shí)現(xiàn)。這包括例如事件-更新、步階-事件更新、以及步階-更新模式。事件更新是其中基于事件或“事件更新”(在特定時(shí)間)來(lái)更新?tīng)顟B(tài)的更新。步階更新是以間隔(例如，1ms)來(lái)更新模型的更新。這不一定要求迭代方法或數(shù)值方法。通過(guò)僅在事件發(fā)生于步階處或步階間的情況下才更新模型或即通過(guò)“步階-事件更新”，基于事件的實(shí)現(xiàn)以有限的時(shí)間分辨率在基于步階的模擬器中實(shí)現(xiàn)也是可能的。分布式計(jì)算本公開(kāi)的各方面涉及分布式計(jì)算。計(jì)算可以分布在一處理節(jié)點(diǎn)群上，在一些方面，這一處理節(jié)點(diǎn)群可被配置成一個(gè)或多個(gè)計(jì)算鏈。在一個(gè)示例性配置中，分布式計(jì)算是經(jīng)由深度置信網(wǎng)絡(luò)(DBN)來(lái)實(shí)現(xiàn)的。在一些方面，DBN可通過(guò)堆疊多層受限波爾茲曼機(jī)(RBM)來(lái)獲得。RBM是一類可在輸入集上學(xué)習(xí)概率分布的人工神經(jīng)網(wǎng)絡(luò)。DBN的底部RBM可充當(dāng)特征提取器且頂部RBM可充當(dāng)分類器。在一些方面，DBN可以使用尖峰發(fā)放神經(jīng)網(wǎng)絡(luò)(SNN)來(lái)構(gòu)造且可以是二進(jìn)制的。尖峰發(fā)放DBN可通過(guò)堆疊尖峰發(fā)放RBM來(lái)獲得。在一個(gè)示例性配置中，DBN是通過(guò)堆疊作為特征提取器的尖峰發(fā)放RBM和作為分類器的尖峰發(fā)放RBM來(lái)獲得的。DBN可經(jīng)由訓(xùn)練過(guò)程來(lái)訓(xùn)練，諸如例如對(duì)比散度(CD)。在一些方面，DBN的每一RBM可被分開(kāi)訓(xùn)練。給定預(yù)訓(xùn)練的RBM，尖峰發(fā)放神經(jīng)網(wǎng)絡(luò)或其他網(wǎng)絡(luò)可被配置成執(zhí)行采樣操作。在一個(gè)示例性配置中，SNN可以執(zhí)行Gibbs采樣。此外，SNN可以將預(yù)訓(xùn)練的RBM的權(quán)重值轉(zhuǎn)到SNN。多個(gè)并行采樣鏈(例如，Gibbs采樣鏈)可被包括在運(yùn)行于尖峰發(fā)放神經(jīng)網(wǎng)絡(luò)的RBM中。在一些方面，并行采樣鏈的數(shù)目可對(duì)應(yīng)于與各鏈相關(guān)聯(lián)的突觸延遲。例如，在一些配置中，并行采樣鏈的數(shù)目可對(duì)應(yīng)于值df+dr，其中df和dr分別表示正向和逆向突觸延遲。另外，RBM中的采樣鏈中的一者或多者可被選擇性地停止或抑制。例如，在一些方面，采樣鏈可經(jīng)由外部輸入來(lái)被抑制。在其他方面，采樣鏈可通過(guò)在該采樣鏈的各節(jié)點(diǎn)之間傳遞帶內(nèi)消息令牌來(lái)被抑制。作為特征提取器的尖峰發(fā)放RBM經(jīng)訓(xùn)練的RBM可通過(guò)采樣(例如，Gibbs采樣)被用作生產(chǎn)性模型，用作特征提取器，或用作分類器。在一種配置中，RBM的各節(jié)點(diǎn)可包括神經(jīng)元。在這一配置中，在RBM被用作特征提取器時(shí)，尖峰可在正向傳播(即，從可見(jiàn)層到隱藏層)。在一些方面，RBM可被操作，使得尖峰只在正向傳播。在這種情況下，可以使用正向突觸來(lái)操作RBM。此外，在一些方面，從隱藏層神經(jīng)元到可見(jiàn)層神經(jīng)元的逆向突觸可被禁用。為計(jì)算特征向量，尖峰可通過(guò)外在軸突基于輸入模式(或特征)x被輸入到可見(jiàn)層神經(jīng)元。例如，如果xi＝1，則尖峰可被輸入到可見(jiàn)層神經(jīng)元vi。在某一時(shí)間t(即，v(t)＝x)，這創(chuàng)建可見(jiàn)層神經(jīng)元中的尖峰模式x。另外，正電流可被輸入到偏置神經(jīng)元v0，以在同一時(shí)間t造成偏置神經(jīng)元尖峰。這些尖峰可在傳播延遲dfτ后被傳播到隱藏神經(jīng)元，從而得到隱藏狀態(tài)向量h(t+df)，這可充當(dāng)與輸入x相對(duì)應(yīng)的特征向量。作為分類器的尖峰發(fā)放RBM在一些方面，尖峰發(fā)放RBM可被配置成分類器。在這一配置中，x可以表示要被分類的輸入(或特征)向量且y可以表示二進(jìn)制索引向量，該二進(jìn)制索引向量表示類別標(biāo)記。可通過(guò)將輸入向量和標(biāo)記向量附加為v＝[x；y]來(lái)在聯(lián)合向量上訓(xùn)練尖峰發(fā)放RBM。相應(yīng)地，隱藏層神經(jīng)元可以根據(jù)訓(xùn)練集來(lái)學(xué)習(xí)輸入向量與標(biāo)記向量之間的相關(guān)。在一些方面，估計(jì)給定輸入向量x的標(biāo)記向量y可能是合乎需要的。RBM分類器可通過(guò)條件Gibbs采樣或其他采樣過(guò)程來(lái)實(shí)現(xiàn)這一點(diǎn)。在條件Gibbs采樣中，輸入神經(jīng)元狀態(tài)可被鉗位到模式x。在輸入模式被鉗位到x的情況下，尖峰發(fā)放RBM可根據(jù)條件概率分布函數(shù)P(y|x)生成不同標(biāo)記向量模式。最頻繁的標(biāo)記向量模式可以提供最佳估計(jì)鉗位輸入尖峰模式Gibbs采樣鏈可以在每一df+drτ之后訪問(wèn)并更新輸入神經(jīng)元。然而，出于推斷目的，輸入尖峰模式可不被更新。相反，在一些方面，輸入尖峰模式可根據(jù)固定模式x來(lái)被鉗位。這可通過(guò)禁用從隱藏層到輸入神經(jīng)元的逆向突觸并通過(guò)添加從輸入神經(jīng)元到它們自身的具有延遲df+drτ以及增加的權(quán)重Wrec的循環(huán)突觸來(lái)實(shí)現(xiàn)。使用這一修改，輸入尖峰模式x可被一次性輸入到Gibbs采樣鏈。相應(yīng)地，同一尖峰模式將在每一df+drτ之后重復(fù)。對(duì)標(biāo)記神經(jīng)元尖峰進(jìn)行計(jì)數(shù)在尖峰發(fā)放RBM執(zhí)行條件Gibbs采樣時(shí)，對(duì)來(lái)自每一標(biāo)記神經(jīng)元的尖峰的數(shù)目進(jìn)行計(jì)數(shù)并使用該計(jì)數(shù)來(lái)作出分類決定可能是合乎需要的。計(jì)數(shù)器神經(jīng)元可被包括以用于每一標(biāo)記神經(jīng)元，每一標(biāo)記神經(jīng)元具有從該標(biāo)記神經(jīng)元到對(duì)應(yīng)的計(jì)數(shù)器神經(jīng)元的突觸。在一個(gè)示例性方面，該突觸可以被配置為具有單位延遲和/或單位權(quán)重。計(jì)數(shù)器神經(jīng)元可包括積分和激發(fā)神經(jīng)元，諸如帶漏泄積分激發(fā)(LIF)神經(jīng)元、隨機(jī)帶漏泄積分激發(fā)(SLIF)，等等。當(dāng)然，這僅僅是示例性的，并且也可使用其他類型的模型神經(jīng)元。來(lái)自標(biāo)記計(jì)數(shù)器神經(jīng)元的尖峰是來(lái)自尖峰發(fā)放RBM分類器的輸出尖峰。在一些配置中，計(jì)數(shù)器神經(jīng)元可以被配置為具有閾值(例如，環(huán)閾值)。分類所花的時(shí)間可根據(jù)計(jì)數(shù)器神經(jīng)元的閾值來(lái)設(shè)置。網(wǎng)絡(luò)復(fù)位在一些配置中，分布式計(jì)算系統(tǒng)可被配置成執(zhí)行復(fù)位操作。例如，尖峰發(fā)放神經(jīng)網(wǎng)絡(luò)可在輸出尖峰從網(wǎng)絡(luò)分派之后被復(fù)位以避免多個(gè)輸出尖峰。在另一示例中，網(wǎng)絡(luò)可以在饋送用于分類的新輸入向量之前被復(fù)位。在又一示例中，網(wǎng)絡(luò)復(fù)位可以通過(guò)抑制所有df+dr采樣鏈并復(fù)位計(jì)數(shù)器神經(jīng)元的膜電位來(lái)實(shí)現(xiàn)。圖5解說(shuō)了根據(jù)本公開(kāi)的某些方面的使用通用處理器502進(jìn)行前述分布式計(jì)算的示例實(shí)現(xiàn)500。與計(jì)算網(wǎng)絡(luò)(神經(jīng)網(wǎng)絡(luò))相關(guān)聯(lián)的變量(神經(jīng)信號(hào))、突觸權(quán)重、系統(tǒng)參數(shù)，延遲，和頻槽信息可被存儲(chǔ)在存儲(chǔ)器塊504中，而在通用處理器502處執(zhí)行的指令可從程序存儲(chǔ)器506中加載。在本公開(kāi)的一方面，加載到通用處理器502中的指令可包括用于以下操作的代碼：使用第一處理節(jié)點(diǎn)群來(lái)在第一計(jì)算鏈中計(jì)算第一結(jié)果集，將第一結(jié)果集傳遞給第二處理節(jié)點(diǎn)群，以及在傳遞第一結(jié)果集之后使第一處理節(jié)點(diǎn)群進(jìn)入第一休息狀態(tài)。該指令還可包括用于以下操作的代碼：使用第二組處理節(jié)點(diǎn)基于第一結(jié)果集在第一計(jì)算鏈中計(jì)算第二結(jié)果集，將第二結(jié)果集傳遞給所述第一處理節(jié)點(diǎn)群，在傳遞第二結(jié)果集之后使第二處理節(jié)點(diǎn)群進(jìn)入第二休息狀態(tài)，以及協(xié)調(diào)第一計(jì)算鏈。圖6解說(shuō)了根據(jù)本公開(kāi)的某些方面的前述分布式計(jì)算的示例實(shí)現(xiàn)600，其中存儲(chǔ)器602可以經(jīng)由互連網(wǎng)絡(luò)604與計(jì)算網(wǎng)絡(luò)(神經(jīng)網(wǎng)絡(luò))的個(gè)體(分布式)處理單元(神經(jīng)處理器)606對(duì)接。與計(jì)算網(wǎng)絡(luò)(神經(jīng)網(wǎng)絡(luò))相關(guān)聯(lián)的變量(神經(jīng)信號(hào))、突觸權(quán)重、系統(tǒng)參數(shù)，延遲，頻率槽信息可被存儲(chǔ)在存儲(chǔ)器602中，并且可從存儲(chǔ)器602經(jīng)由互連網(wǎng)絡(luò)604的(諸)連接被加載到每個(gè)處理單元(神經(jīng)處理器)606中。在本公開(kāi)的一方面，處理單元606可被配置成：使用第一處理節(jié)點(diǎn)群來(lái)在第一計(jì)算鏈中計(jì)算第一結(jié)果集，將第一結(jié)果集傳遞給第二處理節(jié)點(diǎn)群，以及在傳遞第一結(jié)果集之后使第一處理節(jié)點(diǎn)群進(jìn)入第一休息狀態(tài)。處理單元606還可被配置成：使用第二組處理節(jié)點(diǎn)基于第一結(jié)果集在第一計(jì)算鏈中計(jì)算第二結(jié)果集，將第二結(jié)果集傳遞給所述第一處理節(jié)點(diǎn)群，在傳遞第二結(jié)果集之后使第二處理節(jié)點(diǎn)群進(jìn)入第二休息狀態(tài)，以及協(xié)調(diào)第一計(jì)算鏈。圖7解說(shuō)了前述分布式計(jì)算的示例實(shí)現(xiàn)700。如圖7中所解說(shuō)的，一個(gè)存儲(chǔ)器組702可與計(jì)算網(wǎng)絡(luò)(神經(jīng)網(wǎng)絡(luò))的一個(gè)處理單元704直接對(duì)接。每一個(gè)存儲(chǔ)器組702可存儲(chǔ)與對(duì)應(yīng)的處理單元(神經(jīng)處理器)704相關(guān)聯(lián)的變量(神經(jīng)信號(hào))、突觸權(quán)重、和/或系統(tǒng)參數(shù)，延遲，頻率槽信息。在本公開(kāi)的一方面，處理單元704可被配置成：使用第一處理節(jié)點(diǎn)群來(lái)在第一計(jì)算鏈中計(jì)算第一結(jié)果集，將第一結(jié)果集傳遞給第二處理節(jié)點(diǎn)群，以及在傳遞第一結(jié)果集之后使第一處理節(jié)點(diǎn)群進(jìn)入第一休息狀態(tài)。處理單元704還可被配置成：使用第二組處理節(jié)點(diǎn)基于第一結(jié)果集在第一計(jì)算鏈中計(jì)算第二結(jié)果集，將第二結(jié)果集傳遞給所述第一處理節(jié)點(diǎn)群，在傳遞第二結(jié)果集之后使第二處理節(jié)點(diǎn)群進(jìn)入第二休息狀態(tài)，以及協(xié)調(diào)第一計(jì)算鏈。圖8解說(shuō)了根據(jù)本公開(kāi)的某些方面的神經(jīng)網(wǎng)絡(luò)800的示例實(shí)現(xiàn)。如圖8中所解說(shuō)的，神經(jīng)網(wǎng)絡(luò)800可具有多個(gè)局部處理單元802，它們可執(zhí)行本文所描述的方法的各種操作。每個(gè)局部處理單元802可包括存儲(chǔ)該神經(jīng)網(wǎng)絡(luò)的參數(shù)的局部狀態(tài)存儲(chǔ)器804和局部參數(shù)存儲(chǔ)器806。另外，局部處理單元802可具有用于存儲(chǔ)局部模型程序的局部(神經(jīng)元)模型程序(LMP)存儲(chǔ)器808、用于存儲(chǔ)局部學(xué)習(xí)程序的局部學(xué)習(xí)程序(LLP)存儲(chǔ)器810、以及局部連接存儲(chǔ)器812。此外，如圖8中所解說(shuō)的，每個(gè)局部處理單元802可與用于提供針對(duì)該局部處理單元的各局部存儲(chǔ)器的配置的配置處理器單元814對(duì)接，并且與提供各局部處理單元802之間的路由的路由連接處理單元816對(duì)接。在一種配置中，神經(jīng)元模型被配置成用于分布式計(jì)算。神經(jīng)元模型包括：用于計(jì)算第一結(jié)果集的裝置；用于傳遞第一結(jié)果集的裝置；用于進(jìn)入第一休息狀態(tài)的裝置；用于計(jì)算第二結(jié)果集的裝置；用于傳遞第二結(jié)果集的裝置；用于進(jìn)入第二休息狀態(tài)的裝置；以及協(xié)調(diào)裝置。在一個(gè)方面，用于計(jì)算第一結(jié)果集的裝置、用于傳遞第一結(jié)果集的裝置、用于進(jìn)入第一休息狀態(tài)的裝置、用于計(jì)算第二結(jié)果集的裝置、用于傳遞第二結(jié)果集的裝置、用于進(jìn)入第二休息狀態(tài)的裝置、和/或協(xié)調(diào)裝置可以是被配置成執(zhí)行所敘述的功能的通用處理器502、程序存儲(chǔ)器506、存儲(chǔ)器塊504、存儲(chǔ)器602、互連網(wǎng)絡(luò)604、處理單元606、處理單元704、局部處理單元802、和/或路由連接處理元件816。在另一種配置中，前述裝置可以是被配置成執(zhí)行由前述裝置所敘述的功能的任何模塊或任何裝置。根據(jù)本公開(kāi)的某些方面，每一個(gè)局部處理單元802可被配置成基于神經(jīng)網(wǎng)絡(luò)的期望的一個(gè)或多個(gè)功能性特征來(lái)確定神經(jīng)網(wǎng)絡(luò)的參數(shù)，以及隨著所確定的參數(shù)被進(jìn)一步適配、調(diào)諧和更新來(lái)使這一個(gè)或多個(gè)功能性特征朝著期望的功能性特征發(fā)展。圖9是解說(shuō)根據(jù)本公開(kāi)的各方面的示例性RBM900的框圖。參考圖9，示例性RBM900包括通常被稱為可見(jiàn)(904a和904b)和隱藏(902a、902b以及902c)的兩層神經(jīng)元。雖然在可見(jiàn)層中示出了兩個(gè)神經(jīng)元并在隱藏層中示出了三個(gè)神經(jīng)元，但每一層中的神經(jīng)元的數(shù)目?jī)H僅是示例性的且是為了易于解說(shuō)和解釋而非限制?？梢?jiàn)層的神經(jīng)元中的每一者可通過(guò)突觸連接906連接到隱藏層中的神經(jīng)元中的每一者。然而，在這一示例性RBM中，在同一層的神經(jīng)元之間沒(méi)有提供連接?？梢?jiàn)和隱藏神經(jīng)元狀態(tài)可分別由v∈｛0，1｝n和h∈{0，1}m表示。在一些方面，RBM900可對(duì)可見(jiàn)和隱藏向量的參數(shù)聯(lián)合分布進(jìn)行建模。例如，RBM900可以向聯(lián)合狀態(tài)向量(v；h)指派概率：p(v,h)=1Ze-E(v,h),---(15)]]>其中Z是歸一化因子且E(v,h)是能量函數(shù)。能量函數(shù)E(v,h)可以例如被定義為：E(v,h)=-(Σl=1naivi+Σj=1mbjhj+Σi=1nΣj=1mwijvihj),---(16)]]>其中wij是權(quán)重，且ai和bj是參數(shù)。相應(yīng)地，RBM900指派給可見(jiàn)狀態(tài)向量(v)的概率可通過(guò)對(duì)所有可能的隱藏狀態(tài)進(jìn)行求和來(lái)計(jì)算：P(v)=1ZΣhe-E(v,h).---(17)]]>對(duì)RBM進(jìn)行訓(xùn)練在一些方面，訓(xùn)練數(shù)據(jù)可被用來(lái)選擇參數(shù)a、b以及W。例如，訓(xùn)練數(shù)據(jù)可被用來(lái)選擇參數(shù)，使得RBM900向訓(xùn)練數(shù)據(jù)集中的向量(v)指派更高概率。更具體而言，參數(shù)可被選擇來(lái)增加所有訓(xùn)練向量的對(duì)數(shù)概率的總和：在一種配置中，對(duì)比散度(CD)可被用來(lái)逼近RBM900的參數(shù)。對(duì)比散度(也被稱為CD-k)是用于逼近解的技術(shù)，其中‘k’表示采樣鏈中的“上－下”采樣事件的數(shù)目。對(duì)于每一訓(xùn)練向量，CD過(guò)程更新RBM權(quán)重。在一個(gè)示例性方面，CD-1可被用來(lái)更新RBM權(quán)重。可以用訓(xùn)練向量來(lái)刺激可見(jiàn)層神經(jīng)元，使得v(0)＝v，其中v是訓(xùn)練向量?；趘(0)，二進(jìn)制隱藏狀態(tài)向量h(1)可例如如下生成：P(hj=1|v)=sigma(bj+Σi=1nwijvi).---(19)]]>基于隱藏狀態(tài)向量h(1)，二進(jìn)制可見(jiàn)狀態(tài)向量v(2)可被如下重構(gòu)：P(vi=1|h)=sigma(ai+Σj=1mwijhj).---(20)]]>使用可見(jiàn)狀態(tài)向量v(2)，二進(jìn)制隱藏狀態(tài)向量h(3)可根據(jù)式19而被生成。相應(yīng)地，在這一示例中，權(quán)重可被如下更新：ΔWij=η(vi(0)hj(1)-vi(2)hj(3))---(21)]]>Δai=η(vi(0)-vi(2))---(22)]]>Δbj=η(hj(1)-hj(3)),---(23)]]>其中η是學(xué)習(xí)速率。在一些方面，權(quán)重可通過(guò)兩次呈現(xiàn)同一圖像(例如，v(1)＝v(0))并隨后應(yīng)用STDP來(lái)學(xué)習(xí)權(quán)重更新來(lái)被更新。在一些方面，RBM900可被配置用于權(quán)重共享。即，可執(zhí)行對(duì)稱權(quán)重更新，使得正向突觸和逆向突觸兩者都可根據(jù)式21來(lái)更新。使用經(jīng)訓(xùn)練的RBM一旦RBM900已被訓(xùn)練，就可有利地以多種方式來(lái)應(yīng)用它。在一個(gè)示例性方面，經(jīng)訓(xùn)練的RBM可被用作用于采樣的生產(chǎn)性模型。在一些方面，經(jīng)訓(xùn)練的RBM可以實(shí)現(xiàn)Gibbs采樣。當(dāng)然，這僅是示例性的并且不是限定性的。在Gibbs采樣中，根據(jù)聯(lián)合概率分布通過(guò)迭代地采樣條件分布來(lái)生成樣本。在這一示例中，經(jīng)訓(xùn)練的RBM可被用來(lái)根據(jù)式17的邊際分布對(duì)可見(jiàn)狀態(tài)進(jìn)行采樣。在一種配置中，任意可見(jiàn)狀態(tài)v(0)被初始化。隱藏和可見(jiàn)狀態(tài)隨后可從式19和20的條件分布中被交替地采樣(例如，v(0)→h(1)→v(2)→h(3)→v(4)……)。經(jīng)訓(xùn)練的RBM的另一示例性使用是用于特征提取。即，RBM可充當(dāng)配置成對(duì)輸入向量x執(zhí)行特征提取的特征提取器。例如，可見(jiàn)狀態(tài)向量v可等于x，生成對(duì)應(yīng)的隱藏狀態(tài)向量h，并使用隱藏狀態(tài)向量作為特征向量。隱藏神經(jīng)元(例如，902a、902b、902c)可以編碼可見(jiàn)神經(jīng)元(例如，904a、904b)之間的相關(guān)。另外，與基于訓(xùn)練的原始可見(jiàn)狀態(tài)向量相比，隱藏狀態(tài)向量可具有經(jīng)改進(jìn)的分類。在一些配置中，可在從第一RBM(例如，900)獲得的特征向量上訓(xùn)練附加RBM，并從而獲得具有各種提取級(jí)別的特征的分層結(jié)構(gòu)(例如，特征、特征的特征、特征的特征的特征，等等)。RBM可被堆疊以形成神經(jīng)元網(wǎng)絡(luò)。經(jīng)堆疊的RBM可被稱為深度置信網(wǎng)絡(luò)(DBN)。圖10是解說(shuō)根據(jù)本公開(kāi)的各方面的示例性DBN1000的框圖。如圖10所示，DBN1000包括RBM1、RBM2以及RBM3。在這一示例中，RBM(例如，RBM3)可被用作分類器。RBM中的每一者可被單獨(dú)地訓(xùn)練并隨后堆疊以形成DBN1000。在圖10的示例中，要被分類的輸入(或特征)向量1002可由x表示。另一方面，y可表示代表類別標(biāo)記的二進(jìn)制索引向量。如此，RBM(例如，900)可通過(guò)在聯(lián)合訓(xùn)練向量(即，v＝[x；y])上訓(xùn)練而被用作分類器。換言之，輸入神經(jīng)元1002和標(biāo)記神經(jīng)元1010可被編組并被稱為可見(jiàn)神經(jīng)元。可通過(guò)將輸入神經(jīng)元1002固定到x并對(duì)其余神經(jīng)元狀態(tài)進(jìn)行采樣(例如，條件Gibbs采樣)來(lái)執(zhí)行推斷。在采樣進(jìn)行時(shí)，RBM(例如，生成其對(duì)以輸入神經(jīng)元狀態(tài)為條件的標(biāo)記神經(jīng)元狀態(tài)y的估計(jì)。在一些方面，在RBM(例如，RBM1、RBM2以及RBM3)的各層被堆疊以形成DBN1000時(shí)，底部層(例如，RBM1、RBM2)可被用作特征提取器且頂部層(RBM3)可被用作分類器。在本公開(kāi)的一些方面，可通過(guò)使用尖峰發(fā)放神經(jīng)元來(lái)生成RBM。尖峰發(fā)放神經(jīng)元模型和網(wǎng)絡(luò)模型可被用來(lái)根據(jù)式(19)和(20)執(zhí)行采樣(例如，Gibbs采樣)以生成可見(jiàn)和隱藏狀態(tài)的樣本。在一種配置中，可通過(guò)使n個(gè)尖峰發(fā)放神經(jīng)元表示n維可見(jiàn)狀態(tài)向量v且m個(gè)尖峰發(fā)放神經(jīng)元表示m維隱藏狀態(tài)向量h來(lái)獲得RBM?？墒褂谜蛲挥|和逆向突觸將可見(jiàn)神經(jīng)元vi耦合到隱藏神經(jīng)元hj。當(dāng)然，這兩種突觸的使用僅是示例性的并且不是限定性的。正向突觸將尖峰從可見(jiàn)神經(jīng)元傳播到隱藏神經(jīng)元，而逆向突觸將尖峰從隱藏神經(jīng)元傳播到可見(jiàn)神經(jīng)元。在一些方面，正向和逆向突觸兩者的突觸權(quán)重被設(shè)置成相同的值((wij)。偏置神經(jīng)元可被加到每一層神經(jīng)元。偏置神經(jīng)元可被用來(lái)偏置可見(jiàn)和隱藏神經(jīng)元，使得可見(jiàn)和隱藏神經(jīng)元以更大/更小概率來(lái)發(fā)放尖峰?？梢?jiàn)層和隱藏層中的偏置神經(jīng)元可分別由記號(hào)v0和h0表示。在一些方面，可以提供從可見(jiàn)層v0的偏置神經(jīng)元到每一隱藏層神經(jīng)元hj的具有權(quán)重bj的正向突觸。逆向突觸可以耦合在隱藏層h0中的偏置神經(jīng)元到每一可見(jiàn)神經(jīng)元vi之間，具有權(quán)重ai。另外，在一些方面，可以在偏置神經(jīng)元v0和h0之間提供正向和逆向突觸，具有權(quán)重Wb2b。正向突觸可具有延遲df且逆向突觸可具有延遲dr。在一種配置中，正向突觸的延遲df可等于逆向突觸的延遲dr。在一些配置中，正向突觸和逆向突觸兩者可具有單位延遲(即，df＝dr＝1)?？梢?jiàn)/隱藏神經(jīng)元本公開(kāi)的各方面涉及生成二進(jìn)制RBM。這可以是有益的，例如因?yàn)榉嵌M(jìn)制值不是使用二進(jìn)制尖峰來(lái)編碼的。相反，二進(jìn)制RBM通過(guò)發(fā)放尖峰來(lái)表示二進(jìn)制狀態(tài)1且通過(guò)不發(fā)放尖峰來(lái)表示二進(jìn)制狀態(tài)0。在每一時(shí)間步進(jìn)(τ)，隱藏層神經(jīng)元(例如，902a、902b、902c)可以接收由于可見(jiàn)層中的可見(jiàn)神經(jīng)元和偏置神經(jīng)元的尖峰活動(dòng)而造成的突觸電流。類似地，可見(jiàn)神經(jīng)元接收由于隱藏層中的隱藏層神經(jīng)元和偏置神經(jīng)元的尖峰活動(dòng)而造成的突觸電流。記號(hào)v(t)和h(t)可表示時(shí)間t的可見(jiàn)和隱藏神經(jīng)元狀態(tài)向量。在一種配置中，偏置神經(jīng)元可一直發(fā)放尖峰。在這種配置中，在時(shí)間t進(jìn)入隱藏神經(jīng)元hj的總體突觸電流可由下式給出：is=bj+Σi=1nwijvi(t-df).---(24)]]>根據(jù)式(19)，隱藏神經(jīng)元hj以概率Σ(is)來(lái)發(fā)放尖峰可能是合乎需要的。這可例如通過(guò)使用S形激活函數(shù)實(shí)現(xiàn)RBM來(lái)實(shí)現(xiàn)。即，在均勻分布(Unif[0,1])大于sigma(is)時(shí)，則隱藏層神經(jīng)元可發(fā)放尖峰。在一些方面，RBM可被配置為沒(méi)有任何狀態(tài)變量(例如，膜電位)。相反，隱藏層神經(jīng)元可對(duì)輸入突觸電流作出反應(yīng)而不管過(guò)去的活動(dòng)。類似地，可見(jiàn)神經(jīng)元也可被建模來(lái)以sigma(is)的概率發(fā)放尖峰。換言之，在均勻分布(Unif[0,1])大于sigma(is)時(shí)，則可見(jiàn)層神經(jīng)元可發(fā)放尖峰。具體而言，在時(shí)間t進(jìn)入可見(jiàn)層神經(jīng)元vi的總體突觸電流可由下式給出：is=ai+Σj=1mwijhj(t-dr).---(25)]]>可見(jiàn)層神經(jīng)元vi可以sigma(is)的概率來(lái)發(fā)放尖峰，如式(20)所述。相應(yīng)地，可見(jiàn)和隱藏神經(jīng)元狀態(tài)可被如下更新：h(t)~P(h|v(t-df))---(26)]]>v(t)~P(h|v(t-df)).---(27)]]>如果例如正向突觸延遲df和逆向突觸延遲dr兩者都被設(shè)置成單位延遲，則彼此獨(dú)立的兩個(gè)并行采樣鏈(例如，Gibbs采樣鏈)可被指定：v(0)→h(1)→v(2)→h(3)→v(4)...h(O)→v(1)→h(2)→v(3)→h(4)...在一些方面，采樣鏈的數(shù)目(例如，Gibbs采樣鏈)可依賴于正向和逆向突觸延遲，并可通過(guò)df+dr(這等于往返延遲)給出：v(k)→h(k+df)→v(k+df+dr)→h(k+2df+dr)→v(k+2df+2dr)...]]>其中k是從0到df+dr-1的采樣鏈的索引。例如，如果正向突觸延遲被設(shè)置成df＝1，且逆向突觸延遲被設(shè)置成dr＝2，則三個(gè)采樣鏈可被指定為：v(0)→h(1)→v(3)→h(4)→v(6)...v(1)→h(2)→v(4)→h(5)→v(7)...v(2)→h(3)→v(5)→h(6)→v(8)...在一些方面，可使用指數(shù)函數(shù)來(lái)逼近上述S形激活函數(shù)：sigma(x)≈2a(x-b)-1,x≤b1-2-a(x-b)-1,x>b---(28)]]>其中a和b是被選擇來(lái)降低或最小化逼近誤差的參數(shù)。在其他方面，可使用高斯噪聲來(lái)逼近S形激活函數(shù)。如上所述，對(duì)于給定is，神經(jīng)元(例如，隱藏神經(jīng)元或可見(jiàn)神經(jīng)元)可在概率上以sigma(is)的概率來(lái)發(fā)放尖峰。代替計(jì)算S形函數(shù)并使用均勻隨機(jī)變量，可例如通過(guò)將高斯隨機(jī)變量加到is并將該和與閾值相比較來(lái)逼近S形函數(shù)：is+N1(0，a)＞b，(29)其中a和b是被選擇來(lái)降低逼近誤差的參數(shù)。偏置神經(jīng)元在一種配置中，與給定一群神經(jīng)元(例如，神經(jīng)元層)相關(guān)聯(lián)的偏置神經(jīng)元可以在每當(dāng)該群中存在活動(dòng)時(shí)將發(fā)放尖峰。這可例如通過(guò)使用簡(jiǎn)單閾值神經(jīng)元模型并使用具有正權(quán)重的正向和逆向突觸連接可見(jiàn)和隱藏層中的偏置神經(jīng)元來(lái)實(shí)現(xiàn)。因此，在一群神經(jīng)元(例如，隱藏層神經(jīng)元)從另一群(例如，可見(jiàn)層神經(jīng)元)拾取時(shí)，對(duì)應(yīng)的偏置神經(jīng)元也拾取活動(dòng)并發(fā)放尖峰。例如，偏置神經(jīng)元可以在輸入電流(is)大于零的情況下發(fā)放尖峰。如此，如果可見(jiàn)層中的偏置神經(jīng)元在時(shí)間t發(fā)放尖峰，則隱藏層中的偏置神經(jīng)元可在時(shí)間t+df發(fā)放尖峰，這進(jìn)而使得可見(jiàn)層中的偏置神經(jīng)元在時(shí)間t+df+dr發(fā)放尖峰。在另一示例中，每一群神經(jīng)元中的活動(dòng)可被跟蹤。外部信號(hào)可基于所跟蹤的活動(dòng)在適當(dāng)?shù)臅r(shí)間被發(fā)送給偏置神經(jīng)元以確保偏置神經(jīng)元發(fā)放尖峰。在一些方面，偏置神經(jīng)元活動(dòng)可以通過(guò)注入正電流達(dá)第一df+drτ來(lái)被發(fā)起。即，偏置神經(jīng)元可被設(shè)置成拾取彼此的活動(dòng)。然而，在一些方面，可通過(guò)向偏置神經(jīng)元注入外部電流以開(kāi)始偏置神經(jīng)元活動(dòng)來(lái)發(fā)起或跳轉(zhuǎn)開(kāi)始(例如，在沒(méi)有活動(dòng)時(shí))活動(dòng)。對(duì)于每一并行鏈，活動(dòng)可被分開(kāi)地跳轉(zhuǎn)開(kāi)始。因?yàn)榇嬖赿f+dr個(gè)并行鏈，所以可被執(zhí)行的跳轉(zhuǎn)開(kāi)始的次數(shù)可依賴于要被激活的鏈的數(shù)目。選擇性地抑制采樣鏈根據(jù)本公開(kāi)的各方面，預(yù)訓(xùn)練的RBM可被加載以觀察通過(guò)采樣鏈(例如，并行Gibbs采樣鏈)演化的狀態(tài)。出于訓(xùn)練和推斷的目的，選擇性地停止采樣鏈中的一者或多者可能是合乎需要的。因此，在一種配置中，RBM(例如，900)可被修改成允許選擇性地停止一個(gè)或多個(gè)鏈。圖11是解說(shuō)RBM中的并行采樣鏈1100的框圖。在一個(gè)示例性方面，考慮df＝dr＝1的情況，其中指定在網(wǎng)絡(luò)中活動(dòng)的兩個(gè)Gibbs采樣鏈(1110和1120)。第一采樣鏈1110是v(0)→h(1)→v(2)→h(3)且第二采樣鏈1120可被指定為h(0)→v(1)→h(2)→v(3)。在一些方面，在第一采樣鏈1110保持活動(dòng)時(shí)停止第二采樣鏈1120可能是合乎需要的。如果隱藏神經(jīng)元活動(dòng)(包括隱藏層中的偏置神經(jīng)元活動(dòng))在時(shí)間t＝0被停止，則在時(shí)間t＝1的可見(jiàn)神經(jīng)元(v(1))可能沒(méi)有接收任何輸入電流。在一個(gè)示例中，在sigma(0)＝0.5時(shí)，可見(jiàn)神經(jīng)元(例如，v(0))可以0.5的概率來(lái)發(fā)放尖峰，且新鏈可被開(kāi)始或發(fā)起。因此，連同停止活動(dòng)Gibbs采樣鏈的能力，降低新鏈自己開(kāi)始的概率也可能是合乎需要的。在一個(gè)示例性配置中，RBM神經(jīng)元模型可被修改，使得它在輸入突觸電流等于零的情況下不發(fā)放尖峰。即，RBM可被定義，使得在輸入電流(is)不等于零且sigma(is)小于均勻分布(Unif[0,1])的情況下輸出尖峰。為選擇性地抑制第二鏈(例如h(0)→v(1)→h(2)→v(3)→h(4)……)，可見(jiàn)/隱藏層中的神經(jīng)元(例如，h(0),v(1))可在適當(dāng)?shù)臅r(shí)間被停止。停止該鏈可通過(guò)為每一層添加抑制神經(jīng)元或協(xié)調(diào)器神經(jīng)元來(lái)達(dá)成。即，協(xié)調(diào)器神經(jīng)元通過(guò)在適當(dāng)?shù)臅r(shí)間(例如，t＝0)注入負(fù)電流以抑制該鏈來(lái)與可見(jiàn)/隱藏層神經(jīng)元群交互。作為示例，這在圖12中示出。如在圖12中所示，協(xié)調(diào)器神經(jīng)元1202a和1202b被添加到RBM1200的隱藏層和可見(jiàn)層。參考圖11的示例，協(xié)調(diào)器神經(jīng)元1202a(Inh1)在時(shí)間t＝0注入到達(dá)隱藏層的負(fù)電流，以抑制隱藏層活動(dòng)h(0)(圖11中示出)。類似地，協(xié)調(diào)器神經(jīng)元1202b(Inh0)在時(shí)間t＝1注入到達(dá)可見(jiàn)層的負(fù)電流，以抑制可見(jiàn)層活動(dòng)v(1)(圖11中示出)。在第二鏈1120上的采樣被停止時(shí)，第二采樣鏈1120處于休息狀態(tài)，但采樣繼續(xù)在第一采樣鏈1110上被執(zhí)行。在一些方面，偏置神經(jīng)元(例如，偏置0和偏置1)也可被添加到隱藏和可見(jiàn)層以調(diào)制尖峰概率。為進(jìn)一步輔助抑制采樣鏈，RBM1200可在抑制神經(jīng)元和該層中的其他神經(jīng)元之間配置有具有增加的負(fù)權(quán)重(-Winh)的突觸(例如，1204a、1204b)。在一些方面，也可提供從抑制神經(jīng)元到該層中的偏置神經(jīng)元的具有增加的負(fù)權(quán)重的突觸。在一些方面，抑制權(quán)重值(Winh)可被定義，使得sigma(is)基本上接近零，而不管來(lái)自其他突觸的可能的興奮性貢獻(xiàn)。移位S形激活函數(shù)在另一配置中，通過(guò)移位S形激活函數(shù)，第二鏈可被抑制?？梢允褂闷齐娏?i0)來(lái)移位S形激活函數(shù)。在這一配置中，在接收到零突觸電流時(shí)，可見(jiàn)/隱藏神經(jīng)元沒(méi)有發(fā)放尖峰。因此，偏移值i0可被設(shè)置成使得σ(-i0)基本上接近零的值。即，在均勻分布(例如，Unif[0,1])大于經(jīng)移位的S形激活函數(shù)(sigma(is-i0))的情況下，.第二鏈中的神經(jīng)元可以發(fā)放尖峰。否則，第二鏈中的神經(jīng)元將不發(fā)放尖峰，在一些方面，為計(jì)入活動(dòng)Gibbs采樣鏈中的這一移位，同一偏移值(io)可被添加到從偏置神經(jīng)元到可見(jiàn)/隱藏神經(jīng)元的突觸的權(quán)重。因?yàn)槠蒙窠?jīng)元在活動(dòng)鏈中可能總是發(fā)放尖峰，所以偏移的效果可被降低。如上所示，可通過(guò)為每一層添加抑制神經(jīng)元或協(xié)調(diào)器神經(jīng)元(例如，1202a、1202b)并使用從抑制神經(jīng)元到該層中的其他神經(jīng)元的具有強(qiáng)負(fù)權(quán)重(-Winh)的突觸來(lái)達(dá)成第二采樣鏈的抑制?？刂仆ǖ擂k法在又一配置中，通過(guò)添加突觸(諸如偏置神經(jīng)元與可見(jiàn)和隱藏神經(jīng)元之間的協(xié)調(diào)器突觸)，第二鏈(例如，1120)可被抑制。在一些方面，從可見(jiàn)層(v0)中的偏置神經(jīng)元到隱藏神經(jīng)元的正向突觸可被添加，且從隱藏層(h0)中的偏置神經(jīng)元到可見(jiàn)神經(jīng)元的逆向突觸可被添加。在偏置神經(jīng)元發(fā)放尖峰時(shí)，協(xié)調(diào)器突觸可將電流注入控制通道(與攜帶突觸電流的正常通道不同的通道)。如此，RBM可被修改成只在它接收到沿控制通道的輸入電流(即，ic>0且Unif[0,1]>sigma(is)，其中ic表示控制通道中的總電流)時(shí)才發(fā)放尖峰。在一些方面，通過(guò)在適當(dāng)?shù)臅r(shí)間禁止可見(jiàn)/隱藏層中的偏置神經(jīng)元(例如，圖12中的偏置0和偏置1)，第二鏈(例如，h(0)→v(1)→h(2)→v(3)→h(4)……)可被選擇性地抑制。在這一配置中，采樣鏈可被終止并不可自己開(kāi)始。為開(kāi)始新鏈，正電流可在適當(dāng)?shù)臅r(shí)間被輸入到偏置神經(jīng)元之一(例如，圖12中的偏置0和偏置1)。圖13A-F是解說(shuō)根據(jù)本公開(kāi)的各方面的被訓(xùn)練用于分類、識(shí)別、以及生成的示例性DBN的框圖。示例性DBN的諸RBM可按順序的方式被分開(kāi)訓(xùn)練。圖13A示出了包括可見(jiàn)層和三個(gè)隱藏層的DBN1300。在這一示例中，DBN1300的每一層配置有SLIF神經(jīng)元。在每一層處提供協(xié)調(diào)器神經(jīng)元，且它被配置成根據(jù)設(shè)計(jì)偏好來(lái)停止和/或開(kāi)始采樣鏈。在圖13A中，將可見(jiàn)層連接到隱藏層1的第一RBM是使用諸如例如CD等訓(xùn)練技術(shù)來(lái)訓(xùn)練的。可見(jiàn)層經(jīng)由外在軸突(EA)接收可見(jiàn)刺激(例如，尖峰)以發(fā)起采樣。正向突觸配置有單位延遲(D＝1)，而逆向突觸配置有2的延遲(D＝2)。在訓(xùn)練期間，協(xié)調(diào)器神經(jīng)元(例如，Inh0和Inh1)抑制到DBN的后續(xù)層的采樣。在圖13B中，將隱藏層1連接到隱藏層2的第二RBM被訓(xùn)練。在一些方面，已被訓(xùn)練的隱藏層1可充當(dāng)可見(jiàn)層以用于訓(xùn)練隱藏層2。在圖13C中，將隱藏層2和標(biāo)記連接到隱藏層的第三RBM可被訓(xùn)練。經(jīng)訓(xùn)練的DBN可進(jìn)而被用于推斷，如在圖13D中所示。可通過(guò)輸入刺激軸突來(lái)發(fā)送輸入，并且進(jìn)而輸出被從標(biāo)記_輸出神經(jīng)元讀出。如在圖13E中所示，DBN可作為生產(chǎn)性模型來(lái)運(yùn)行。在該生產(chǎn)性模型中，DBN將標(biāo)記當(dāng)作通過(guò)標(biāo)記_刺激軸突的輸入。對(duì)應(yīng)的所生成的樣本可通過(guò)在可見(jiàn)神經(jīng)元中將尖峰模式可視化來(lái)被查看。圖13F解說(shuō)示例性DBN1350。如在圖13F中所示，圖13A-E中的突觸連接的覆蓋被包括在示例性DBN1350中。因而，示例性DBN1350可被配置為通過(guò)將某些連接關(guān)閉來(lái)用于特定操作模式(例如，手寫分類)，如在圖13A-E中所示。圖14解說(shuō)了用于分布式計(jì)算的方法1400。在框1402，神經(jīng)元模型將協(xié)調(diào)器節(jié)點(diǎn)連接到處理節(jié)點(diǎn)。在框1404，神經(jīng)元模型使用協(xié)調(diào)器節(jié)點(diǎn)來(lái)控制計(jì)算的開(kāi)始和停止。此外，在框1406，神經(jīng)元模型在各處理節(jié)點(diǎn)群之間傳遞中間計(jì)算。圖15解說(shuō)了用于分布式計(jì)算的方法1500。在框1502，神經(jīng)元模型使用第一處理節(jié)點(diǎn)群來(lái)在第一計(jì)算鏈中計(jì)算第一結(jié)果集。第一計(jì)算鏈可包括例如SNN、DBN、或深度波爾茲曼機(jī)。第一計(jì)算鏈(例如，DBN)可經(jīng)由STDP或其他學(xué)習(xí)技術(shù)來(lái)被訓(xùn)練。在框1504，神經(jīng)元模型將第一結(jié)果集傳遞給第二處理節(jié)點(diǎn)群。在框1506，神經(jīng)元模型在傳遞第一結(jié)果集之后使第一處理節(jié)點(diǎn)群進(jìn)入第一休息狀態(tài)。在一些方面，第一休息狀態(tài)可包括被用于并行地操作多個(gè)持久鏈的突觸延遲和增加的突觸延遲以及在各并行鏈上被取平均的權(quán)重更新。在框1508，神經(jīng)元模型使用第二處理節(jié)點(diǎn)集基于第一結(jié)果集在第一計(jì)算鏈中計(jì)算第二結(jié)果集。在框1510，神經(jīng)元模型將第二結(jié)果集傳遞給第一處理節(jié)點(diǎn)群。在框1512，神經(jīng)元模型在傳遞第二結(jié)果集之后使第二處理節(jié)點(diǎn)群進(jìn)入第二休息狀態(tài)。在框1514，神經(jīng)元模型協(xié)調(diào)第一計(jì)算鏈。協(xié)調(diào)可經(jīng)由外部輸入來(lái)進(jìn)行，它可以是興奮性或抑制性的。協(xié)調(diào)也可通過(guò)傳遞帶內(nèi)消息令牌來(lái)進(jìn)行。在一些方面，處理節(jié)點(diǎn)可包括神經(jīng)元。神經(jīng)元可以是LIF神經(jīng)元、SLIF神經(jīng)元、或其他類型的模型神經(jīng)元。在一些方面，協(xié)調(diào)第一計(jì)算鏈可包括控制各處理節(jié)點(diǎn)群之間的處理結(jié)果的定時(shí)。在其他方面，協(xié)調(diào)可包括控制休息狀態(tài)的定時(shí)。在又一些方面，協(xié)調(diào)包括控制計(jì)算結(jié)果集的定時(shí)。在一些方面，該方法可進(jìn)一步包括由第一處理節(jié)點(diǎn)群在第一休息狀態(tài)期間執(zhí)行附加計(jì)算，從而創(chuàng)建并行計(jì)算鏈。并行計(jì)算鏈可包括持久鏈和數(shù)據(jù)鏈。隱藏和可見(jiàn)神經(jīng)元可具有持久鏈和數(shù)據(jù)鏈之間的交替安排，以使用持久對(duì)比散度(CD)或其他學(xué)習(xí)技術(shù)來(lái)學(xué)習(xí)。在一些方面，該方法可進(jìn)一步包括經(jīng)由帶內(nèi)消息令牌傳遞或外部輸入來(lái)使用協(xié)調(diào)將第一計(jì)算鏈復(fù)位。在一些方面，至少一個(gè)內(nèi)部節(jié)點(diǎn)狀態(tài)或節(jié)點(diǎn)尖峰可以觸發(fā)一輪計(jì)算的開(kāi)始和/或停止。以上所描述的方法的各種操作可由能夠執(zhí)行相應(yīng)功能的任何合適的裝置來(lái)執(zhí)行。這些裝置可包括各種硬件和/或軟件組件和/或模塊，包括但不限于電路、專用集成電路(ASIC)、或處理器。一般而言，在附圖中有解說(shuō)的操作的場(chǎng)合，那些操作可具有帶相似編號(hào)的相應(yīng)配對(duì)裝置加功能組件。雖然參考尖峰神經(jīng)網(wǎng)絡(luò)描述了本公開(kāi)，但本公開(kāi)同樣適用于具有自主神經(jīng)元的任何分布式實(shí)現(xiàn)。如本文所使用的，術(shù)語(yǔ)“確定”涵蓋各種各樣的動(dòng)作。例如，“確定”可包括演算、計(jì)算、處理、推導(dǎo)、研究、查找(例如，在表、數(shù)據(jù)庫(kù)或其他數(shù)據(jù)結(jié)構(gòu)中查找)、探知及諸如此類。另外，“確定”可包括接收(例如接收信息)、訪問(wèn)(例如訪問(wèn)存儲(chǔ)器中的數(shù)據(jù))、及類似動(dòng)作。而且，“確定”可包括解析、選擇、選取、確立及類似動(dòng)作。如本文所使用的，引述一列項(xiàng)目“中的至少一個(gè)”的短語(yǔ)是指這些項(xiàng)目的任何組合，包括單個(gè)成員。作為示例，“a、b或c中的至少一個(gè)”旨在涵蓋：a、b、c、a-b、a-c、b-c、以及a-b-c。結(jié)合本公開(kāi)所描述的各種解說(shuō)性邏輯框、模塊、以及電路可用設(shè)計(jì)成執(zhí)行本文所描述功能的通用處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列信號(hào)(FPGA)或其他可編程邏輯器件(PLD)、分立的門或晶體管邏輯、分立的硬件組件或其任何組合來(lái)實(shí)現(xiàn)或執(zhí)行。通用處理器可以是微處理器，但在替換方案中，處理器可以是任何市售的處理器、控制器、微控制器、或狀態(tài)機(jī)。處理器還可以被實(shí)現(xiàn)為計(jì)算設(shè)備的組合(例如DSP與微處理器的組合、多個(gè)微處理器、與DSP核協(xié)作的一個(gè)或多個(gè)微處理器、或任何其他此類配置)。結(jié)合本公開(kāi)所描述的方法或算法的步驟可直接在硬件中、在由處理器執(zhí)行的軟件模塊中、或在這兩者的組合中體現(xiàn)。軟件模塊可駐留在本領(lǐng)域所知的任何形式的存儲(chǔ)介質(zhì)中。可使用的存儲(chǔ)介質(zhì)的一些示例包括隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、閃存、可擦除可編程只讀存儲(chǔ)器(EPROM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、寄存器、硬盤、可移動(dòng)盤、CD-ROM，等等。軟件模塊可包括單條指令、或許多條指令，且可分布在若干不同的代碼段上，分布在不同的程序間以及跨多個(gè)存儲(chǔ)介質(zhì)分布。存儲(chǔ)介質(zhì)可被耦合到處理器以使得該處理器能從/向該存儲(chǔ)介質(zhì)讀寫信息。在替換方案中，存儲(chǔ)介質(zhì)可以被整合到處理器。本文所公開(kāi)的方法包括用于實(shí)現(xiàn)所描述的方法的一個(gè)或多個(gè)步驟或動(dòng)作。這些方法步驟和/或動(dòng)作可以彼此互換而不會(huì)脫離權(quán)利要求的范圍。換言之，除非指定了步驟或動(dòng)作的特定次序，否則具體步驟和/或動(dòng)作的次序和/或使用可以改動(dòng)而不會(huì)脫離權(quán)利要求的范圍。所描述的功能可在硬件、軟件、固件或其任何組合中實(shí)現(xiàn)。如果以硬件實(shí)現(xiàn)，則示例硬件配置可包括設(shè)備中的處理系統(tǒng)。處理系統(tǒng)可以用總線架構(gòu)來(lái)實(shí)現(xiàn)。取決于處理系統(tǒng)的具體應(yīng)用和整體設(shè)計(jì)約束，總線可包括任何數(shù)目的互連總線和橋接器?？偩€可將包括處理器、機(jī)器可讀介質(zhì)、以及總線接口的各種電路鏈接在一起?？偩€接口可用于尤其將網(wǎng)絡(luò)適配器等經(jīng)由總線連接至處理系統(tǒng)。網(wǎng)絡(luò)適配器可用于實(shí)現(xiàn)信號(hào)處理功能。對(duì)于某些方面，用戶接口(例如，按鍵板、顯示器、鼠標(biāo)、操縱桿，等等)也可以被連接到總線?？偩€還可以鏈接各種其他電路，諸如定時(shí)源、外圍設(shè)備、穩(wěn)壓器、功率管理電路以及類似電路，它們?cè)诒绢I(lǐng)域中是眾所周知的，因此將不再進(jìn)一步描述。處理器可負(fù)責(zé)管理總線和一般處理，包括執(zhí)行存儲(chǔ)在機(jī)器可讀介質(zhì)上的軟件。處理器可用一個(gè)或多個(gè)通用和/或?qū)Ｓ锰幚砥鱽?lái)實(shí)現(xiàn)。示例包括微處理器、微控制器、DSP處理器、以及其他能執(zhí)行軟件的電路系統(tǒng)。軟件應(yīng)當(dāng)被寬泛地解釋成意指指令、數(shù)據(jù)、或其任何組合，無(wú)論是被稱作軟件、固件、中間件、微代碼、硬件描述語(yǔ)言、或其他。作為示例，機(jī)器可讀介質(zhì)可包括隨機(jī)存取存儲(chǔ)器(RAM)、閃存、只讀存儲(chǔ)器(ROM)、可編程只讀存儲(chǔ)器(PROM)、可擦式可編程只讀存儲(chǔ)器(EPROM)、電可擦式可編程只讀存儲(chǔ)器(EEPROM)、寄存器、磁盤、光盤、硬驅(qū)動(dòng)器、或者任何其他合適的存儲(chǔ)介質(zhì)、或其任何組合。機(jī)器可讀介質(zhì)可被實(shí)施在計(jì)算機(jī)程序產(chǎn)品中。該計(jì)算機(jī)程序產(chǎn)品可以包括包裝材料。在硬件實(shí)現(xiàn)中，機(jī)器可讀介質(zhì)可以是處理系統(tǒng)中與處理器分開(kāi)的一部分。然而，如本領(lǐng)域技術(shù)人員將容易領(lǐng)會(huì)的，機(jī)器可讀介質(zhì)或其任何部分可在處理系統(tǒng)外部。作為示例，機(jī)器可讀介質(zhì)可包括傳輸線、由數(shù)據(jù)調(diào)制的載波、和/或與設(shè)備分開(kāi)的計(jì)算機(jī)產(chǎn)品，所有這些都可由處理器通過(guò)總線接口來(lái)訪問(wèn)。替換地或補(bǔ)充地，機(jī)器可讀介質(zhì)或其任何部分可被集成到處理器中，諸如高速緩存和/或通用寄存器文件可能就是這種情形。雖然所討論的各種組件可被描述為具有特定位置，諸如局部組件，但它們也可按各種方式來(lái)配置，諸如某些組件被配置成分布式計(jì)算系統(tǒng)的一部分。處理系統(tǒng)可以被配置為通用處理系統(tǒng)，該通用處理系統(tǒng)具有一個(gè)或多個(gè)提供處理器功能性的微處理器、以及提供機(jī)器可讀介質(zhì)中的至少一部分的外部存儲(chǔ)器，它們都通過(guò)外部總線架構(gòu)與其他支持電路系統(tǒng)鏈接在一起。替換地，該處理系統(tǒng)可以包括一個(gè)或多個(gè)神經(jīng)元形態(tài)處理器以用于實(shí)現(xiàn)本文所述的神經(jīng)元模型和神經(jīng)系統(tǒng)模型。作為另一替換方案，處理系統(tǒng)可以用帶有集成在單塊芯片中的處理器、總線接口、用戶接口、支持電路系統(tǒng)、和至少一部分機(jī)器可讀介質(zhì)的專用集成電路(ASIC)來(lái)實(shí)現(xiàn)，或者用一個(gè)或多個(gè)現(xiàn)場(chǎng)可編程門陣列(FPGA)、可編程邏輯器件(PLD)、控制器、狀態(tài)機(jī)、門控邏輯、分立硬件組件、或者任何其他合適的電路系統(tǒng)、或者能執(zhí)行本公開(kāi)通篇所描述的各種功能性的電路的任何組合來(lái)實(shí)現(xiàn)。取決于具體應(yīng)用和加諸于整體系統(tǒng)上的總設(shè)計(jì)約束，本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到如何最佳地實(shí)現(xiàn)關(guān)于處理系統(tǒng)所描述的功能性。機(jī)器可讀介質(zhì)可包括數(shù)個(gè)軟件模塊。這些軟件模塊包括當(dāng)由處理器執(zhí)行時(shí)使處理系統(tǒng)執(zhí)行各種功能的指令。這些軟件模塊可包括傳送模塊和接收模塊。每個(gè)軟件模塊可以駐留在單個(gè)存儲(chǔ)設(shè)備中或者跨多個(gè)存儲(chǔ)設(shè)備分布。作為示例，當(dāng)觸發(fā)事件發(fā)生時(shí)，可以從硬驅(qū)動(dòng)器中將軟件模塊加載到RAM中。在軟件模塊執(zhí)行期間，處理器可以將一些指令加載到高速緩存中以提高訪問(wèn)速度。隨后可將一個(gè)或多個(gè)高速緩存行加載到通用寄存器文件中以供處理器執(zhí)行。在以下述及軟件模塊的功能性時(shí)，將理解此類功能性是在處理器執(zhí)行來(lái)自該軟件模塊的指令時(shí)由該處理器來(lái)實(shí)現(xiàn)的。此外，應(yīng)領(lǐng)會(huì)，本公開(kāi)的各方面產(chǎn)生對(duì)處理器、計(jì)算機(jī)、機(jī)器或?qū)崿F(xiàn)此類方面的其它系統(tǒng)的機(jī)能的改進(jìn)。如果以軟件實(shí)現(xiàn)，則各功能可作為一條或多條指令或代碼存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上或藉其進(jìn)行傳送。計(jì)算機(jī)可讀介質(zhì)包括計(jì)算機(jī)存儲(chǔ)介質(zhì)和通信介質(zhì)兩者，這些介質(zhì)包括促成計(jì)算機(jī)程序從一地向另一地轉(zhuǎn)移的任何介質(zhì)。存儲(chǔ)介質(zhì)可以是能被計(jì)算機(jī)訪問(wèn)的任何可用介質(zhì)。作為示例而非限定，此類計(jì)算機(jī)可讀介質(zhì)可包括RAM、ROM、EEPROM、CD-ROM或其他光盤存儲(chǔ)、磁盤存儲(chǔ)或其他磁存儲(chǔ)設(shè)備、或能用于攜帶或存儲(chǔ)指令或數(shù)據(jù)結(jié)構(gòu)形式的期望程序代碼且能被計(jì)算機(jī)訪問(wèn)的任何其他介質(zhì)。另外，任何連接也被正當(dāng)?shù)胤Q為計(jì)算機(jī)可讀介質(zhì)。例如，如果軟件是使用同軸電纜、光纖電纜、雙絞線、數(shù)字訂戶線(DSL)、或無(wú)線技術(shù)(諸如紅外(IR)、無(wú)線電、以及微波)從web網(wǎng)站、服務(wù)器、或其他遠(yuǎn)程源傳送而來(lái)，則該同軸電纜、光纖電纜、雙絞線、DSL或無(wú)線技術(shù)(諸如紅外、無(wú)線電、以及微波)就被包括在介質(zhì)的定義之中。如本文中所使用的盤(disk)和碟(disc)包括壓縮碟(CD)、激光碟、光碟、數(shù)字多用碟(DVD)、軟盤、和碟，其中盤(disk)常常磁性地再現(xiàn)數(shù)據(jù)，而碟(disc)用激光來(lái)光學(xué)地再現(xiàn)數(shù)據(jù)。因此，在一些方面，計(jì)算機(jī)可讀介質(zhì)可包括非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)(例如，有形介質(zhì))。另外，對(duì)于其他方面，計(jì)算機(jī)可讀介質(zhì)可包括瞬態(tài)計(jì)算機(jī)可讀介質(zhì)(例如，信號(hào))。上述的組合應(yīng)當(dāng)也被包括在計(jì)算機(jī)可讀介質(zhì)的范圍內(nèi)。因此，某些方面可包括用于執(zhí)行本文中給出的操作的計(jì)算機(jī)程序產(chǎn)品。例如，此類計(jì)算機(jī)程序產(chǎn)品可包括其上存儲(chǔ)(和/或編碼)有指令的計(jì)算機(jī)可讀介質(zhì)，這些指令能由一個(gè)或多個(gè)處理器執(zhí)行以執(zhí)行本文中所描述的操作。對(duì)于某些方面，計(jì)算機(jī)程序產(chǎn)品可包括包裝材料。此外，應(yīng)當(dāng)領(lǐng)會(huì)，用于執(zhí)行本文中所描述的方法和技術(shù)的模塊和/或其它恰適裝置能由用戶終端和/或基站在適用的場(chǎng)合下載和/或以其他方式獲得。例如，此類設(shè)備能被耦合至服務(wù)器以促成用于執(zhí)行本文中所描述的方法的裝置的轉(zhuǎn)移。替換地，本文所述的各種方法能經(jīng)由存儲(chǔ)裝置(例如，RAM、ROM、諸如壓縮碟(CD)或軟盤等物理存儲(chǔ)介質(zhì)等)來(lái)提供，以使得一旦將該存儲(chǔ)裝置耦合至或提供給用戶終端和/或基站，該設(shè)備就能獲得各種方法。此外，可利用適于向設(shè)備提供本文所描述的方法和技術(shù)的任何其他合適的技術(shù)。將理解，權(quán)利要求并不被限定于以上所解說(shuō)的精確配置和組件?？稍谝陨纤枋龅姆椒ê脱b置的布局、操作和細(xì)節(jié)上作出各種改動(dòng)、更換和變形而不會(huì)脫離權(quán)利要求的范圍。當(dāng)前第1頁(yè)1 2 3