本發(fā)明涉及一種可同時(shí)計(jì)算及編程的神經(jīng)形態(tài)電路。
背景技術(shù)：
：神經(jīng)網(wǎng)絡(luò)中兩個(gè)神經(jīng)元之間通過突觸連接在一起。神經(jīng)網(wǎng)絡(luò)中的信號(hào)在神經(jīng)元之間單向傳導(dǎo)，通常認(rèn)為突觸完成對(duì)傳導(dǎo)信號(hào)的線性變換，而神經(jīng)元將突觸處理后的信號(hào)再做非線性變換，進(jìn)而將兩次變換后的信號(hào)傳遞給下行神經(jīng)元。突觸對(duì)信號(hào)進(jìn)行線性變換的線性變換因子(又稱為連接強(qiáng)度或權(quán)值)是可調(diào)節(jié)的，且能被保留下來的。憶阻器是一種依賴電荷通量而改變阻值，且對(duì)阻值具有非易失的記憶效應(yīng)的電子元件。憶阻器的上述兩個(gè)性質(zhì)恰好對(duì)應(yīng)神經(jīng)網(wǎng)絡(luò)中突觸的性質(zhì)，因此憶阻器可以被用于神經(jīng)形態(tài)電路中模擬人腦神經(jīng)網(wǎng)絡(luò)中的突觸。圖1與圖2為現(xiàn)有的用于神經(jīng)網(wǎng)絡(luò)的憶阻器原理示意圖，其中圖1為憶阻器1(突觸)在阻值(權(quán)值)不變的情況下參與計(jì)算(或稱信號(hào)處理)的過程，圖2為所述憶阻器1(突觸)的阻值(權(quán)值)在學(xué)習(xí)(或稱自適應(yīng))過程中改變，這種改變是由來自第一神經(jīng)元2的前向信號(hào)和來自第二神經(jīng)元3的反饋信號(hào)共同作用引起的。上述憶阻器計(jì)算和學(xué)習(xí)都占用同一條信號(hào)傳輸通道，因此現(xiàn)有的基于憶阻器的神經(jīng)形態(tài)電路無法同時(shí)進(jìn)行計(jì)算和學(xué)習(xí)。由于計(jì)算和學(xué)習(xí)過程無法同時(shí)進(jìn)行，神經(jīng)元無法時(shí)間連續(xù)地計(jì)算，而必須在t時(shí)間步完成計(jì)算后，等待脈沖調(diào)制模塊產(chǎn)生脈沖并調(diào)節(jié)憶阻器阻值后，才能繼續(xù)進(jìn)行t+dt時(shí)間步的計(jì)算。因此，憶阻器阻值調(diào)節(jié)的時(shí)間是dt可取的最小值，該值通常在ns-μs之間。技術(shù)實(shí)現(xiàn)要素：有鑒于此，確有必要提供一種可以同時(shí)計(jì)算和編程的神經(jīng)形態(tài)電路。一種可同時(shí)計(jì)算和編程的神經(jīng)形態(tài)電路，包括：第一神經(jīng)元、第二神經(jīng)元、突觸，其中，所述突觸為三端憶阻器，所述三端憶阻器包括源端、漏端和門端；所述源端與所述第一神經(jīng)元的輸出端連接，用于接收該第一神經(jīng)元發(fā)出的前向信號(hào)；所述漏端與所述第二神經(jīng)元的輸入端連接；所述門端與所述第二神經(jīng)元的輸出端連接，用于接收該第二神經(jīng)元發(fā)出的反饋信號(hào)；所述三端憶阻器的阻值由所述前向信號(hào)與所述反饋信號(hào)共同控制。一種可同時(shí)計(jì)算和編程的神經(jīng)形態(tài)電路，包括：第一連接權(quán)值矩陣模塊、第二連接權(quán)值矩陣模塊、第三連接權(quán)值矩陣模塊、神經(jīng)元模塊、遞歸最小二乘法模塊、脈沖調(diào)制模塊、線性放大器模塊、數(shù)模轉(zhuǎn)換模塊以及模數(shù)轉(zhuǎn)換模塊；所述第一連接權(quán)值矩陣模塊用于對(duì)外加恒定偏置i(t)進(jìn)行線性變換，該第一連接權(quán)值矩陣模塊的矩陣元素由三端憶阻器構(gòu)成，所述三端憶阻器的門端連接所述脈沖調(diào)制模塊；所述線性放大器模塊對(duì)來自所述第一連接權(quán)值矩陣、所述第二連接權(quán)值矩陣的輸入到同一神經(jīng)元的多路信號(hào)進(jìn)行加和；所述模數(shù)轉(zhuǎn)換模塊用于對(duì)所述線性放大器模塊加和后的信號(hào)進(jìn)行模數(shù)轉(zhuǎn)換；所述神經(jīng)元模塊用于對(duì)所述模數(shù)轉(zhuǎn)換模塊輸出的數(shù)字信號(hào)進(jìn)行非線性變換，輸出前一時(shí)間步神經(jīng)元輸出向量r(t-dt)和當(dāng)前時(shí)間步神經(jīng)元輸出向量r(t)值；所述數(shù)模轉(zhuǎn)換模塊對(duì)所述前一時(shí)間步神經(jīng)元輸出向量r(t-dt)和當(dāng)前時(shí)間步神經(jīng)元輸出向量r(t)進(jìn)行模數(shù)轉(zhuǎn)換；所述第二連接權(quán)值矩陣模塊用于對(duì)經(jīng)所述數(shù)模轉(zhuǎn)換模塊轉(zhuǎn)換后的所述前一時(shí)間步神經(jīng)元輸出向量r(t-dt)進(jìn)行線性變換，該第二連接權(quán)值矩陣模塊的矩陣元素由三端憶阻器構(gòu)成，所述三端憶阻器的門端連接所述脈沖調(diào)制模塊；所述第三連接權(quán)值矩陣模塊用于對(duì)經(jīng)所述數(shù)模轉(zhuǎn)換模塊轉(zhuǎn)換后的所述當(dāng)前時(shí)間步神經(jīng)元輸出向量r(t)進(jìn)行線性變換，該第三連接權(quán)值矩陣模塊的矩陣元素由三端憶阻器構(gòu)成，所述三端憶阻器的門端連接所述脈沖調(diào)制模塊；所述遞歸最小二乘法模塊用于計(jì)算網(wǎng)絡(luò)輸出z(t-dt)與目標(biāo)函數(shù)f(t-dt)之間的誤差平方e(t-dt)；所述脈沖調(diào)制模塊用于產(chǎn)生權(quán)值按遞歸最小二乘法模計(jì)算結(jié)果更新的脈沖，并將該脈沖由所述三端憶阻器的門端輸入。與現(xiàn)有技術(shù)相比，本發(fā)明提供的神經(jīng)形態(tài)電路由于使用了三端憶阻器，該網(wǎng)絡(luò)能夠使得計(jì)算和學(xué)習(xí)同時(shí)進(jìn)行而互不干擾，不存在由于憶阻器阻值調(diào)節(jié)時(shí)間而導(dǎo)致的網(wǎng)絡(luò)工作速度物理極限，理論上能夠達(dá)到更高的工作頻率。附圖說明圖1為現(xiàn)有的神經(jīng)網(wǎng)絡(luò)突觸參與計(jì)算過程的示意圖。圖2為現(xiàn)有的神經(jīng)網(wǎng)絡(luò)突觸參與學(xué)習(xí)過程的示意圖。圖3為本發(fā)明實(shí)施例中神經(jīng)網(wǎng)絡(luò)突觸參學(xué)習(xí)與計(jì)算過程的示意圖。圖4為本發(fā)明實(shí)施例中神經(jīng)網(wǎng)絡(luò)突觸參與計(jì)算過程的示意圖。圖5為本發(fā)明實(shí)施例提供的第一種三端憶阻器的結(jié)構(gòu)示意圖。圖6為本發(fā)明實(shí)施例提供的第二種三端憶阻器的結(jié)構(gòu)示意圖。圖7為本發(fā)明實(shí)施例提供的第三種三端憶阻器的結(jié)構(gòu)示意圖。圖8為本發(fā)明實(shí)施例提供的神經(jīng)形態(tài)電路結(jié)構(gòu)示意圖。主要元件符號(hào)說明兩端憶阻器1第一神經(jīng)元2第二神經(jīng)元3三端憶阻器10，100，200，300源端11漏端12門端13導(dǎo)電溝道102，202，302導(dǎo)電細(xì)絲結(jié)構(gòu)3022絕緣層104，204，304柵極106，206，306神經(jīng)形態(tài)電路400，500第一連接權(quán)值矩陣模塊510線性放大器模塊520模數(shù)轉(zhuǎn)換模塊530神經(jīng)元模塊540數(shù)模轉(zhuǎn)換模塊550第二連接權(quán)值矩陣模塊560第三連接權(quán)值矩陣模塊570遞歸最小二乘法模塊580脈沖調(diào)制模塊590如下具體實(shí)施方式將結(jié)合上述附圖進(jìn)一步說明本發(fā)明。具體實(shí)施方式下面將結(jié)合附圖及具體實(shí)施例對(duì)本發(fā)明提供的可同時(shí)計(jì)算和編程的神經(jīng)形態(tài)電路作進(jìn)一步的詳細(xì)說明。請(qǐng)一并參閱圖3與圖4，本發(fā)明第一實(shí)施例提供一種可同時(shí)計(jì)算和編程的方法，包括：提供一三端憶阻器10，該三端憶阻器10包括源端11、漏端12和門端13，來自第一神經(jīng)元2的前向信號(hào)由所述源端11輸入并向所述漏端12傳輸，來自第二神經(jīng)元3的反饋信號(hào)由所述門端13輸入，所述三端憶阻器10的阻值在所述前向信號(hào)與所述反饋信號(hào)的共同控制下實(shí)時(shí)變化。請(qǐng)參閱圖3，該圖為所述三端憶阻器10同時(shí)參與學(xué)習(xí)與計(jì)算過程示意圖。來自第一神經(jīng)元2的前向信號(hào)由源端11向漏端12傳輸，來自第二神經(jīng)元3的反饋信號(hào)由門端13輸入。所述三端憶阻器10的阻值在學(xué)習(xí)過程中改變，這種阻值的改變是由來自第一神經(jīng)元2的前向信號(hào)和來自第二神經(jīng)元3的反饋信號(hào)共同作用引起的。所述三端憶阻器10計(jì)算和學(xué)習(xí)分占兩條信號(hào)傳輸通道，因此可以同時(shí)進(jìn)行計(jì)算和學(xué)習(xí)。請(qǐng)參閱圖4，該圖為所述三端憶阻器10僅參與計(jì)算過程示意圖。此時(shí)第一神經(jīng)元2發(fā)出的信號(hào)由源端11向漏端12傳輸，門端13則接以0偏置，以使所述三端憶阻器10的阻值保持不變。本發(fā)明實(shí)施例進(jìn)一步提供一種可同時(shí)計(jì)算和編程的神經(jīng)形態(tài)電路400，包括：第一神經(jīng)元2、第二神經(jīng)元3、突觸，其中，所述突觸為三端憶阻器10，所述三端憶阻器10包括源端11、漏端12和門端13。所述源端11與所述第一神經(jīng)元2的輸出端連接，用于接收該第一神經(jīng)元2發(fā)出的前向信號(hào)，所述漏端12與所述第二神經(jīng)元3的輸入端連接，所述門端13與所述第二神經(jīng)元3的輸出端連接，用于接收該第二神經(jīng)元3發(fā)出的反饋信號(hào)。所述三端憶阻器10的阻值由所述前向信號(hào)與所述反饋信號(hào)共同控制。所述三端憶阻器10的實(shí)現(xiàn)的方法有多種，包括但不限于以下方案。方案一請(qǐng)參閱圖5，所述三端憶阻器100采用半導(dǎo)體晶體管器件中的“柵極-絕緣層-導(dǎo)電溝道”三層結(jié)構(gòu)，包括依次層疊設(shè)置的導(dǎo)電溝道102、絕緣層104及柵極106。所述導(dǎo)電溝道102的兩端分別作為源端和漏端。所述柵極106對(duì)應(yīng)三端憶阻器10的門端，接以偏置電壓。所述導(dǎo)電溝道102的材料為半導(dǎo)體，包括但不限于zno、gaas、si、ge、gan、mos2、ws2、si/ge的化合物、gap、insb、in/ga/as的化合物、gasb、insb等。所述絕緣層104采用鐵電材料，包括但不限于pbtio3(或zr摻雜的)、batio3、bifeo3等。所述柵極106具有金屬性，包括但不限于srruo3，單質(zhì)金屬fe、w、pt、cu、al、ti、ag、au以及它們的合金，高摻雜si等。所述絕緣層104中的鐵電材料在外電場(chǎng)(門端偏置)作用下產(chǎn)生電極化，偏置消失后極化保留(非易失)。所述導(dǎo)電溝道102在計(jì)算過程中提供信號(hào)的傳輸通道，電極化使得導(dǎo)電溝道102內(nèi)載流子密度隨之變化，從而改變導(dǎo)電溝道102的阻值。本方案中導(dǎo)電溝道材料本身沒有出現(xiàn)新的內(nèi)部原子結(jié)構(gòu)。方案二請(qǐng)參閱圖6，所述三端憶阻器200同樣采用三層結(jié)構(gòu)，包括依次層疊設(shè)置的導(dǎo)電溝道202、絕緣層204及柵極206。所述導(dǎo)電溝道202的兩端分別作為源端和漏端。所述柵極206對(duì)應(yīng)三端憶阻器10的門端，接以偏置電壓。所述導(dǎo)電溝道202的材料采用可因組成原子比例發(fā)生改變而發(fā)生金屬-絕緣體轉(zhuǎn)變的材料。所述金屬-絕緣體轉(zhuǎn)變包括但不限于因氧比例變化而發(fā)生的金屬-絕緣體轉(zhuǎn)變，因氧比例變化而發(fā)生金屬-絕緣體轉(zhuǎn)變的材料包括但不限于smnio3。所述絕緣層204采用電導(dǎo)差(絕緣性好)且高原子或離子（對(duì)應(yīng)引起導(dǎo)電溝道材料金屬-絕緣體轉(zhuǎn)變的原子或離子）溶解度的材料。若所述導(dǎo)電溝道202的材料采用因氧比例變化而發(fā)生金屬-絕緣體轉(zhuǎn)變的材料，則絕緣層204的材料包括但不限于：離子液體1-乙基-3-甲基咪唑啉雙(三氟甲基磺?；?亞胺([emim][n(tf)2])、己基三乙基銨三乙基硫雙(三氟甲基磺酰)亞胺([n6222][n(tf)2])。所述柵極206具有金屬性，包括但不限于srruo3,單質(zhì)金屬fe、w、pt、cu、al、ti、ag、au以及由它們的合金，高摻雜si等。在外電場(chǎng)(門端偏置)作用下，氧離子在導(dǎo)電溝道202和絕緣層204之間轉(zhuǎn)移，導(dǎo)電溝道202中產(chǎn)生金屬變價(jià)導(dǎo)致其發(fā)生金屬-絕緣體之間的轉(zhuǎn)變，從而直接改變了導(dǎo)電溝道202的阻值(非易失)。本方案中導(dǎo)電溝道材料與絕緣層材料之間有原子或離子交換，導(dǎo)電溝道材料和絕緣層材料本身都出現(xiàn)了新的內(nèi)部原子結(jié)構(gòu)。方案三請(qǐng)參閱圖7，所述三端憶阻器300同樣采用三層結(jié)構(gòu)，包括依次層疊設(shè)置的導(dǎo)電溝道302、絕緣層304及柵極306。所述導(dǎo)電溝道302的兩端分別為源端和漏端。所述柵極306對(duì)應(yīng)三端憶阻器10的門端，接以偏置電壓。所述導(dǎo)電溝道302的導(dǎo)電性能在柵極下具有可調(diào)性，所述導(dǎo)電溝道302的材料包括但不限于帶有特定晶界結(jié)構(gòu)的二維半導(dǎo)體mos2、ws2。不同于方案一，本方案中導(dǎo)電溝道材料內(nèi)部在阻變過程中出現(xiàn)了新的原子結(jié)構(gòu)，現(xiàn)以mos2為例進(jìn)行說明。mos2阻變過程中出現(xiàn)了硫缺陷聚集在晶界周圍而出現(xiàn)的導(dǎo)電細(xì)絲結(jié)構(gòu)3022，聚集程度越大，導(dǎo)電細(xì)絲結(jié)構(gòu)3022的體積越大，此時(shí)導(dǎo)電溝道302呈現(xiàn)低阻態(tài)；硫缺陷散開導(dǎo)致導(dǎo)電細(xì)絲結(jié)構(gòu)3022局部縮小或破裂，此時(shí)導(dǎo)電溝道302呈現(xiàn)低阻態(tài)高阻態(tài)。所述絕緣層304的材料包括但不限于sio2、hfo2、al2o3、tio2、ta2o5、zro2、laalo3、srtio3等。所述柵極306具有金屬性，包括但不限于srruo3、單質(zhì)金屬fe、w、pt、cu、al、ti、ag、au以及由它們的合金，高摻雜si等。本方案中所述導(dǎo)電溝道材料不和絕緣層材料之間發(fā)生原子或離子交換，絕緣層材料內(nèi)部不出現(xiàn)新的原子結(jié)構(gòu)，新的原子結(jié)構(gòu)只出現(xiàn)在導(dǎo)電溝道材料中，且來自局限于導(dǎo)電溝道材料內(nèi)部的原子重新分布。請(qǐng)參見圖8，本發(fā)明實(shí)施例進(jìn)一步提供一種具體的可同時(shí)計(jì)算和編程的神經(jīng)形態(tài)電路500，該電路為高速時(shí)序信號(hào)學(xué)習(xí)網(wǎng)絡(luò)，包括：第一連接權(quán)值矩陣模塊510、線性放大器模塊520、模數(shù)轉(zhuǎn)換模塊530、神經(jīng)元模塊540、數(shù)模轉(zhuǎn)換模塊550、第二連接權(quán)值矩陣模塊560、第三連接權(quán)值矩陣模塊570、遞歸最小二乘法模塊580、脈沖調(diào)制模塊590。該神經(jīng)形態(tài)電路500的動(dòng)力學(xué)方程為：（1）其中，x(t)代表t時(shí)刻各神經(jīng)元的狀態(tài)參數(shù)(膜電位)組成的向量，τ代表膜時(shí)間常數(shù)，g是一個(gè)變換常數(shù)，wnn(t)代表各神經(jīng)元之間的連接權(quán)值矩陣，r(t)代表各神經(jīng)元的輸出信號(hào)組成的向量，z(t)代表網(wǎng)絡(luò)的最終輸出值(標(biāo)量),z(t)由各神經(jīng)元輸出信號(hào)向量r(t)經(jīng)連接權(quán)值矩陣wzn(t)，wni(t)為外加恒定偏置與各神經(jīng)元之間的連接權(quán)值矩陣，i(t)為外加恒定偏置。所述第一連接權(quán)值矩陣模塊510存儲(chǔ)外加恒定偏置i(t)與各神經(jīng)元之間的連接權(quán)值矩陣wni(t)，用于對(duì)外加恒定偏置i(t)進(jìn)行線性變換，該第一連接權(quán)值矩陣模塊510的矩陣元素由所述三端憶阻器10構(gòu)成。輸入信號(hào)經(jīng)過該三端憶阻器10的源端11、漏端12完成線性變換(計(jì)算過程)，并向目標(biāo)神經(jīng)元輸出。所述三端憶阻器10的門端13連接所述脈沖調(diào)制模塊590。所述線性放大器模塊520包括多個(gè)線性放大器，輸入到同一神經(jīng)元的幾路輸入信號(hào)共用一個(gè)線性放大器，該線性放大器對(duì)這幾路輸入信號(hào)進(jìn)行加和。所述模數(shù)轉(zhuǎn)換模塊530對(duì)經(jīng)線性放大器加和后的信號(hào)進(jìn)行模數(shù)轉(zhuǎn)換，轉(zhuǎn)換后的數(shù)字信號(hào)送入所述神經(jīng)元模塊540。所述神經(jīng)元模塊540用于對(duì)輸入信號(hào)進(jìn)行非線性變換，其輸入端與所述模數(shù)轉(zhuǎn)換模塊530連接，其輸出端與所述數(shù)模轉(zhuǎn)換模塊550連接。所述神經(jīng)元模塊540包括函數(shù)運(yùn)算單元及寄存器。所述函數(shù)運(yùn)算單元包括加法器、tanh函數(shù)、微分器等神經(jīng)網(wǎng)絡(luò)計(jì)算所需的函數(shù)運(yùn)算單元。所述寄存器用于存儲(chǔ)前一時(shí)間步x(t-dt)和r(t-dt)的值，使得在當(dāng)前時(shí)間步t可以被調(diào)用參與計(jì)算。所述神經(jīng)元模塊540輸出前一時(shí)間步神經(jīng)元輸出向量r(t-dt)和當(dāng)前時(shí)間步神經(jīng)元輸出向量r(t)值。所述數(shù)模轉(zhuǎn)換模塊550對(duì)神經(jīng)元模塊540獲得的前一時(shí)間步神經(jīng)元輸出向量r(t-dt)和當(dāng)前時(shí)間步神經(jīng)元輸出向量r(t)進(jìn)行模數(shù)轉(zhuǎn)換。所述第二連接權(quán)值矩陣模塊560存儲(chǔ)各神經(jīng)元之間的連接權(quán)值矩陣wnn(t),用于對(duì)經(jīng)所述數(shù)模轉(zhuǎn)換模塊550轉(zhuǎn)換后的所述前一時(shí)間步神經(jīng)元輸出向量r(t-dt)進(jìn)行線性變換。該第二連接權(quán)值矩陣模塊560的矩陣元素由三端憶阻器10構(gòu)成，輸入信號(hào)經(jīng)過該三端憶阻器10的源端11、漏端12完成線性變換(計(jì)算過程)，并向目標(biāo)神經(jīng)元輸出。所述三端憶阻器10的門端13連接所述脈沖調(diào)制模塊590。所述第三連接權(quán)值矩陣模塊570存儲(chǔ)連接權(quán)值矩陣wzn(t),用于對(duì)經(jīng)所述數(shù)模轉(zhuǎn)換模塊550轉(zhuǎn)換后的所述當(dāng)前時(shí)間步神經(jīng)元輸出向量r(t)進(jìn)行線性變換。該第三連接權(quán)值矩陣模塊570的矩陣元素由三端憶阻器10構(gòu)成，輸入信號(hào)經(jīng)過該三端憶阻器10的源端11、漏端12完成線性變換(計(jì)算過程)，并向目標(biāo)神經(jīng)元輸出。所述三端憶阻器10的門端13連接所述脈沖調(diào)制模塊590。所述遞歸最小二乘法模塊580計(jì)算網(wǎng)絡(luò)輸出z(t-dt)與目標(biāo)函數(shù)(即學(xué)習(xí)目標(biāo))f(t-dt)之間的誤差平方e(t-dt)。為使該誤差平方達(dá)到最小，所述遞歸最小二乘法模塊580給出當(dāng)前時(shí)間步t連接權(quán)值的應(yīng)取值，具體的，（2）其中，p(0)初始化為i/α(i為單位矩陣，α為學(xué)習(xí)速率常數(shù))。所述脈沖調(diào)制模塊590塊用于產(chǎn)生使得權(quán)值按式（2）更新的脈沖，該脈沖由所述三端憶阻器10的門端13輸入，進(jìn)行的是學(xué)習(xí)過程。與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例提供的可同時(shí)計(jì)算和編程的神經(jīng)形態(tài)電路由于使用了三端憶阻器，該網(wǎng)絡(luò)能夠使得計(jì)算和學(xué)習(xí)同時(shí)進(jìn)行而互不干擾，不存在由于憶阻器阻值調(diào)節(jié)時(shí)間而導(dǎo)致的網(wǎng)絡(luò)工作速度物理極限，理論上能夠達(dá)到更高的工作頻率?，F(xiàn)實(shí)生活中，絕大多數(shù)信號(hào)都是時(shí)間連續(xù)的，或很多信號(hào)有著很高的頻率成分，本實(shí)施例提出的三端憶阻器高速時(shí)序信號(hào)學(xué)習(xí)網(wǎng)絡(luò)能夠比兩端憶阻器網(wǎng)絡(luò)學(xué)習(xí)更高頻的時(shí)序信號(hào)。另外，本領(lǐng)域技術(shù)人員還可在本發(fā)明精神內(nèi)做其他變化，當(dāng)然，這些依據(jù)本發(fā)明精神所做的變化，都應(yīng)包含在本發(fā)明所要求保護(hù)的范圍之內(nèi)。當(dāng)前第1頁12