神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法
神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法
【專利摘要】突觸電路（20）具備可變電阻元件（10），神經(jīng)元電路（30）具備產(chǎn)生雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓（以下稱為規(guī)定的脈沖電壓）的波形發(fā)生電路（32），第一輸入信號（其他的神經(jīng)網(wǎng)絡(luò)電路元件（40）的輸出信號）具有規(guī)定的脈沖電壓波形，將與可變電阻元件（10）相同的神經(jīng)網(wǎng)絡(luò)電路元件（40）內(nèi)生成的規(guī)定的脈沖電壓波形的時間中間點稱為中間點，在以該中間點為基準(zhǔn)在前后具有規(guī)定的時間寬度的期間（以下稱為允許輸入期間），通過使第一輸入信號能夠輸入至可變電阻元件（10）的控制電極（15），根據(jù)依賴于針對允許輸入期間的第一輸入信號的輸入時刻而產(chǎn)生的第一電極（13）和控制電極（15）之間的電位差，使可變電阻元件（10）的電阻值發(fā)生變化。
【專利說明】神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法。
【背景技術(shù)】
[0002]當(dāng)前，計算機(jī)的發(fā)展是顯著的，在日常生活中的多種多樣的情況下得以利用。但是，現(xiàn)有的計算機(jī)的處理能力的發(fā)展是通過部件的細(xì)微化和算法的進(jìn)化而實現(xiàn)的，基本的信息處理的原理沒有變化。另一方面，這些計算機(jī)，由于其處理方式的特性，對于人能夠容易地進(jìn)行的動作非常不擅長。例如實時的面部識別、空間結(jié)構(gòu)的把握等。這樣的處理的能力，即使使用最新的算法和最大規(guī)模的計算機(jī)，也無法趕上人類的處理速度。
[0003]與此相對，模擬生物體的腦的信息處理方式的計算機(jī)的研究正在進(jìn)行。該處理模型中最基本的是神經(jīng)網(wǎng)絡(luò)(neural network)。
[0004]神經(jīng)網(wǎng)絡(luò)是模擬生物體的神經(jīng)回路網(wǎng)的網(wǎng)絡(luò)。在此，已知在生物體的神經(jīng)細(xì)胞中，對大致一定形狀的脈 沖(尖峰脈沖，spike pulse)進(jìn)行交互。在此，作為實現(xiàn)神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)電路，提出了更忠實地模擬生物體的神經(jīng)回路、對脈沖直接進(jìn)行處理的模型(model)。例如，在專利文獻(xiàn)I中，公開了使用脈沖密度表現(xiàn)信息的模型(脈沖密度模型)。該模型為使用例如一定時間中傳播的脈沖的數(shù)量表現(xiàn)模擬信息的模型。另外，在專利文獻(xiàn)2中，公開了使用脈沖定時表現(xiàn)信息的模型(脈沖定時模型)。該模型是使用脈沖與脈沖的時間間隔來表現(xiàn)模擬信息的模型。在對這些脈沖信號進(jìn)行處理的模型中，神經(jīng)元(neuixm)間交互的信號是一定(固定)波形的信號，所以具有容易硬件化的優(yōu)點。但是，在專利文獻(xiàn)I這樣的脈沖密度模型中需要提取出密度，所以為了表現(xiàn)信息需要花費一定的時間。因此，具有無法表現(xiàn)神經(jīng)元的細(xì)微的時間標(biāo)度下的動作的缺點。另一方面，如專利文獻(xiàn)2這樣的脈沖定時模型，能夠利用一個一個的脈沖表現(xiàn)信息，所以能夠進(jìn)行比脈沖密度模型更高速的信息處理。例如，在非專利文獻(xiàn)I中，公開了通過使用脈沖定時模型，能夠得到比使用脈沖密度模型的情況下更高的性能的情況。
[0005]現(xiàn)有技術(shù)文獻(xiàn)
[0006]專利文獻(xiàn)
[0007]專利文獻(xiàn)1:日本特開平7-114524號公報
[0008]專利文獻(xiàn)2:日本特開2010 - 146514號公報
[0009]非專利文獻(xiàn)
[0010]非專利文獻(xiàn)1: W.Maass、 Networks of Spiking Neurons:The Third Generationof Neural Network Models、”Neural Networks、vol.10、n0.9、pp.1659 一 1671、1997.
【發(fā)明內(nèi)容】
[0011]發(fā)明要解決的技術(shù)問題
[0012]但是，在實現(xiàn)如專利文獻(xiàn)2這樣的脈沖定時模型的神經(jīng)網(wǎng)絡(luò)電路中，具有神經(jīng)網(wǎng)絡(luò)電路整體的電路面積變大的技術(shù)問題。[0013]本發(fā)明的目的在于，提供一種能夠以更少的數(shù)量的元件的結(jié)構(gòu)實現(xiàn)通過脈沖定時進(jìn)行的學(xué)習(xí)動作的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法和神經(jīng)網(wǎng)絡(luò)電路。
[0014]用于解決技術(shù)問題的技術(shù)手段
[0015]為了解決上述技術(shù)問題的一個方式的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，為連接有多個神經(jīng)網(wǎng)絡(luò)電路元件(40)而構(gòu)成的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，其特征在于:上述多個神經(jīng)網(wǎng)絡(luò)電路元件(40)分別具備:被輸入其他的神經(jīng)網(wǎng)絡(luò)電路元件(40)的輸出信號(以下稱為第一輸入信號)的至少I個突觸電路(20)，；和被輸入上述至少I個突觸電路(20)的輸出信號的I個神經(jīng)元電路(30)，上述突觸電路(20)具備可變電阻元件(10)，該可變電阻元件(10)包括:形成于半導(dǎo)體膜(11)上的第一電極(13)和第二電極(14);和在上述半導(dǎo)體膜(11)的主面隔著鐵電體膜(12)形成的控制電極(15)，響應(yīng)上述第一電極(13)和上述控制電極
[15]之間的電位差，上述第一電極(13)和上述第二電極(14)之間的電阻值發(fā)生變化，上述神經(jīng)元電路(30)具備產(chǎn)生雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓(以下稱為規(guī)定的脈沖電壓)的波形發(fā)生電路(32)，，上述第一輸入信號具有上述規(guī)定的脈沖電壓波形，將在與上述可變電阻元件(10)相同的神經(jīng)網(wǎng)絡(luò)電路元件(40)內(nèi)生成的上述規(guī)定的脈沖電壓波形的時間中間點稱為中間點，在以該中間點為基準(zhǔn)在前后具有規(guī)定的時間寬度的期間，以下將該期間稱為允許輸入期間，使上述第一輸入信號能夠輸入至上述可變電阻元件(10)的上述控制電極(15),根據(jù)上述允許輸入期間中的依賴于上述第一輸入信號的輸入時刻而產(chǎn)生的上述第一電極(13)和上述控制電極(15)之間的電位差，使上述可變電阻元件(10)的電阻值發(fā)生變化。
[0016]本發(fā)明的上述目的、其他目的、特征和優(yōu)點，通過參照添加的附圖、根據(jù)以下的優(yōu)選實施方式的詳細(xì)的說明能夠清楚。
[0017]發(fā)明的效果
[0018]根據(jù)本發(fā)明，能夠以更少的數(shù)量的元件結(jié)構(gòu)實現(xiàn)利用脈沖定時進(jìn)行的學(xué)習(xí)動作?！緦＠綀D】
【附圖說明】
[0019]圖1表示實施方式的神經(jīng)網(wǎng)絡(luò)電路元件的框圖。
[0020]圖2A表不實施方式的第一輸入信號電壓和第三輸入信號電壓中使用的雙極性鋸齒形脈沖電壓的形狀。
[0021]圖2B表示實施方式的第一輸入電壓和第三輸入電壓中使用墨西哥帽形脈沖電壓的形狀。
[0022]圖2C表示實施方式的第二輸入電壓中使用的方波脈沖電壓的形狀。
[0023]圖3表示在實施方式的第一開關(guān)中，對圖2A所示的雙極性鋸齒形脈沖電壓Vpke的導(dǎo)通和非導(dǎo)通，使用圖2C所示的方波脈沖電壓VrosT2，進(jìn)行開關(guān)的動作。
[0024]圖4表示實施方式的第一開關(guān)中，對圖2B所示的墨西哥帽形脈沖電壓Vpke的導(dǎo)通和非導(dǎo)通，使用圖2C所示的方波脈沖電壓VrasT2，進(jìn)行開關(guān)的動作。
[0025]圖5A表示實施方式的可變電阻元件的截面圖。
[0026]圖5B表示實施方式的可變電阻元件的電路記號。
[0027]圖6表示實施例的STDP的評價電路。
[0028]圖7A表示實施例1的第一輸入信號電壓中使用的雙極性鋸齒形脈沖電壓的形狀。[0029]圖7B表示實施例1的第二輸入電壓中使用的方波脈沖電壓的形狀。
[0030]圖7C表示實施例1的非對稱型STDP。
[0031 ]圖8表示實施例1的積分動作的評價中使用的電路。
[0032]圖9表示實施例1的非對稱型STDP。
[0033]圖1OA表示實施例2的第一輸入信號電壓中使用的墨西哥帽形脈沖電壓的形狀。
[0034]圖1OB表示實施例2的第二輸入電壓中使用的方波脈沖電壓的形狀。
[0035]圖1OC表示實施例2的對稱型STDP。
[0036]圖1lA表示用于說明階層型神經(jīng)網(wǎng)絡(luò)的概略圖。
[0037]圖1lB表示用于說明相互結(jié)合型神經(jīng)網(wǎng)絡(luò)的概略圖。
[0038]圖12表示用于說明一般的神經(jīng)元的動作的概略圖。
[0039]圖13表示用于說明積分點火(Integrate-and-Fire)型神經(jīng)元的動作的概略圖。
[0040]圖14A表示用于說明STDP的概略圖。
[0041]圖14B表示表現(xiàn)非對稱型STDP的特征的概略圖。
[0042]圖14C表示表現(xiàn)對稱型STDP的概略圖。
[0043]圖15表示專利文獻(xiàn)2公開的電阻變化型存儲元件的截面圖。
[0044]圖16A表示表現(xiàn)專利文獻(xiàn)2公開的現(xiàn)有的STDP神經(jīng)網(wǎng)絡(luò)電路元件的框圖。
[0045]圖16B表示表現(xiàn)專利文獻(xiàn)2公開的現(xiàn)有的突觸電路的STDP部的框圖。
[0046]圖16C表示表現(xiàn)專利文獻(xiàn)2公開的現(xiàn)有的突觸電路的STDP部的框圖。
[0047]圖17表示實施方式的信號發(fā)生電路。
【具體實施方式】
[0048][神經(jīng)網(wǎng)絡(luò)的說明]
[0049]首先，對作為本發(fā)明的實施方式的前提的神經(jīng)網(wǎng)絡(luò)和用于實現(xiàn)該網(wǎng)絡(luò)的現(xiàn)有的神經(jīng)網(wǎng)絡(luò)電路的技術(shù)問題進(jìn)行更詳細(xì)的說明。神經(jīng)網(wǎng)絡(luò)是模擬生物體的神經(jīng)回路網(wǎng)的網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)以模擬作為神經(jīng)回路網(wǎng)的功能單位的神經(jīng)細(xì)胞的神經(jīng)元為功能單位，以網(wǎng)絡(luò)狀配置多個神經(jīng)元而進(jìn)行信息處理。例如有如圖1lA所示以階層狀連接神經(jīng)元100而得的階層型神經(jīng)網(wǎng)絡(luò)、如圖1lB所示將神經(jīng)元100彼此相互連接而得的相互結(jié)合型神經(jīng)網(wǎng)絡(luò)(霍普菲爾德網(wǎng)絡(luò)，Hopfield network)。
[0050]神經(jīng)網(wǎng)絡(luò)大體上具有兩種功能。第一種為從輸入得到輸出的“處理”功能，第二種為將神經(jīng)網(wǎng)絡(luò)整體的輸入輸出的關(guān)系設(shè)定為所期望的關(guān)系的“學(xué)習(xí)”功能。
[0051][處理功能]
[0052]在此以階層型神經(jīng)網(wǎng)絡(luò)電路為例對信息處理的動作進(jìn)行說明。圖1lA所示的階層型神經(jīng)網(wǎng)絡(luò)包括輸入層400、中間層500、輸出層600三個層。各層至少包含I個神經(jīng)元100。輸入層400與中間層500的各神經(jīng)元100連接，同樣地，中間層500的各神經(jīng)元100與輸出層的各神經(jīng)元100連接。輸入信號200向輸入層400輸入，以中間層500、輸出層600的順序傳播，從輸出層600輸出。在神經(jīng)元100，對輸入值進(jìn)行后述的規(guī)定的運算，將其輸出值向下一個層的神經(jīng)元傳播。由此，從輸出層600輸出的輸出值，成為網(wǎng)絡(luò)的最終輸出300。該一系列動作為神經(jīng)網(wǎng)絡(luò)的信息處理，包含于中間層500的神經(jīng)元足夠多時，能夠?qū)崿F(xiàn)任意的輸入輸出。圖1lA所示的階層型神經(jīng)網(wǎng)絡(luò)具備3個層，但也可以具備多個中間層500。[0053]接著，對作為神經(jīng)網(wǎng)絡(luò)的構(gòu)成單位的神經(jīng)元進(jìn)行說明。圖12為神經(jīng)元的示意圖。神經(jīng)元100具備突觸(synapse)部121、122和神經(jīng)元部130。此外,突觸部的數(shù)量等于與前級連接的神經(jīng)元的數(shù)量，即輸入信號的數(shù)量。突觸部121、122分別對來自外部的多個輸入信號111、112進(jìn)行加權(quán)。加權(quán)的值(W1 2)稱為連接權(quán)重。神經(jīng)元部130，對由突觸部加權(quán)后的輸入信號的和進(jìn)行計算，將對和的值進(jìn)行非線性運算而得的值輸出。在此，來自外部的輸入信號分別表示為Xi (1、2、……、η)。η等于輸入信號的數(shù)量。如式I所示，突觸部針對各輸入信號，對對應(yīng)的連接權(quán)重的值K (1、2、……、η)進(jìn)行乘法運算，神經(jīng)元部對它們的和Vn進(jìn)行計算。
[0054]Vn= XwiXi (式 I)
[0055]在此，Σ為關(guān)于i的和記號。
[0056]進(jìn)而神經(jīng)元部，將對求得的和Vn進(jìn)行非線性運算f的結(jié)果作為輸出值y。由此神經(jīng)元的輸出y如式2所示。
[0057]y = f (Vn)(式 2)
[0058]非線性函數(shù)f使用具有飽和特性的單調(diào)增加函數(shù)。例如，多使用階躍函數(shù)(階梯函數(shù))或 S 型函數(shù)(sigmoid function)。
[0059]神經(jīng)網(wǎng)絡(luò)中，多個神經(jīng)元能夠同時進(jìn)行運算，所以具有并行處理性。即，其特長在于，與現(xiàn)有的計算機(jī)的逐次信息處理不同，能夠進(jìn)行并行信息處理。
[0060][學(xué)習(xí)功能]
[0061]神經(jīng)網(wǎng)絡(luò)的重要的特征，不僅在于如上所述的從輸入得到輸出的“處理”功能，還在于具備“學(xué)習(xí)”功能這方面。在此所說的學(xué)習(xí)，是指通過對上述的突觸的連接權(quán)重進(jìn)行更新，將神經(jīng)網(wǎng)絡(luò)整體的輸入輸出的關(guān)系設(shè)定為所期望的關(guān)系。
[0062][脈沖神經(jīng)元模型]
[0063]上面詳細(xì)敘述了神經(jīng)網(wǎng)絡(luò)的處理功能和學(xué)習(xí)功能。在上面說明中使用的模型中，在神經(jīng)元間傳播的信號，是將電流或電位的值以模擬值表現(xiàn)的信號。與此相對，已知在生物體的神經(jīng)細(xì)胞中，對大致一定形狀的脈沖(尖峰脈沖)進(jìn)行交互。在此，提出了更忠實地模擬生物體的神經(jīng)回路，對脈沖直接處理的模型。例如，在專利文獻(xiàn)I中，公開了使用脈沖密度表現(xiàn)信息的模型(脈沖密度模型)。該模型為使用例如一定時間中傳播的脈沖的數(shù)量表現(xiàn)模擬信息的模型。另外，在專利文獻(xiàn)2中，公開了使用脈沖定時表現(xiàn)信息的模型(脈沖定時模型)。該模型是使用脈沖與脈沖的時間間隔來表現(xiàn)模擬信息的模型。在對這些脈沖信號進(jìn)行處理的模型中，神經(jīng)元間交互的信號是一定(固定)波形的信號，所以具有后述的容易硬件化的優(yōu)點。但是，在脈沖密度模型中需要提取出密度，所以為了表現(xiàn)信息需要花費一定的時間。因此，具有無法表現(xiàn)神經(jīng)元的細(xì)微時間標(biāo)度下的動作的缺點。另一方面，脈沖定時模型，能夠利用一個一個的脈沖表現(xiàn)信息，所以能夠進(jìn)行比脈沖密度模型更高速的信息處理。例如，在非專利文獻(xiàn)I中，公開了通過使用脈沖定時模型，能夠得到比使用脈沖密度模型的情況下更高的性能的情況。
[0064]如上所述，作為能夠適用于使用脈沖的信息表現(xiàn)的神經(jīng)元的動作模型，提出了積分點火(Integrate-and-Fire)模型。在此,對具有2個輸入端子的神經(jīng)元的積分點火動作，用圖13進(jìn)行說明。
[0065]如圖13所示，從外部或其他的神經(jīng)元，將輸入脈沖X1輸入至突觸1、將輸入脈沖X2輸入至突觸2時，在輸入脈沖的時刻，在各個突觸部出現(xiàn)單峰性的電壓變化。這樣的突觸部的電位稱為突觸后電位(Post-synaptic potential下面簡稱為“PSP”)。圖13表示突觸I和突觸2的PSP的時間變化P1 &)和己(t)。PSP的高度與突觸結(jié)合強(qiáng)度成比例。在此t表示時間。
[0066]神經(jīng)元對來自與之連接的所有的突觸的PSP的總和進(jìn)行運算。這被稱為神經(jīng)元的內(nèi)部電位Vn (t)。向神經(jīng)元的輸入端子為2個時，如圖13所示，內(nèi)部電位Vn (USP1 (t)和己(t)之和。作為一般的表示，內(nèi)部電位Vn (t)如式3所示。
[0067]Vn (t) = XPi (t)(式 3)
[0068]在此，Pi為突觸i的PSP，Σ為關(guān)于i的和記號。
[0069]如圖13所示，內(nèi)部電位Vn超過預(yù)先決定的閾值Vth時，該神經(jīng)元輸出脈沖信號y。這被稱為神經(jīng)元的“點火(Fire)”。脈沖輸出y從神經(jīng)元輸出、經(jīng)過一定的傳遞時間tDelay后，輸入至其他的神經(jīng)元。
[0070]使用由脈沖定時實現(xiàn)的信息表現(xiàn)時，即使在學(xué)習(xí)動作的突觸連接權(quán)重的更新中也能夠利用脈沖定時。特別是，使用尖峰定時突觸可塑性(Spike-timing dependentsynaptic plasticity,以下簡稱為“STDP”)的性質(zhì)的學(xué)習(xí)動作受到注目。STDP的特征在于，在著眼于某突觸I時，依賴于將信號送至突觸I的神經(jīng)元(前神經(jīng)元)點火的時刻，和接收在突觸I加權(quán)后的信號的神經(jīng)元(后神經(jīng)元)點火的時刻，突觸I的突觸連接權(quán)重發(fā)生變化。在實際的生物的神經(jīng)細(xì)胞中，能夠觀測到幾種STDP。
[0071]在此，使用圖14A，對STDP進(jìn)行說明。如圖14A所示，設(shè)連接于突觸120的前神經(jīng)元點火的時刻為tPKE，令后神經(jīng)元點火的時刻為trosT。STDP是指，將此時的tPKE和trosT的時間差trasT-tPKE#為函數(shù)，突觸的結(jié)合強(qiáng)度w變化的特性。已知STDP大體上分為2種類。圖14B所示的特性為非對稱型STDP，突觸結(jié)合強(qiáng)度的變化量Aw不僅依賴于2個脈沖的時間差tPQST-tPKE，還依賴于兩個脈沖的時間順序。圖14C所示的特性為對稱型STDP，突觸結(jié)合強(qiáng)度的變化量Aw僅由2個脈沖的時間差tP()ST-tPKE的函數(shù)決定，不依賴于脈沖的順序。
[0072][集成電路化]
[0073]上面對神經(jīng)網(wǎng)絡(luò)的概況進(jìn)行了詳細(xì)敘述，但構(gòu)成神經(jīng)網(wǎng)絡(luò)時，上述的神經(jīng)元的功能如何實現(xiàn)是一個問題。在現(xiàn)有技術(shù)中，多數(shù)情況下使用現(xiàn)有型計算機(jī)，使用通過軟件處理實現(xiàn)神經(jīng)元的功能的方案。但是，在這種情況下，多個神經(jīng)元的處理由CPU分時進(jìn)行，所以本來的并行信息處理并沒有進(jìn)行。
[0074]因此，使用硬件構(gòu)成神經(jīng)元而實現(xiàn)集成電路化是必須的。
[0075]如上所述，表現(xiàn)基于利用脈沖定時實現(xiàn)的信息表現(xiàn)的神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)較高的性能。另外，神經(jīng)元間交互的信號是一定(固定)波形的信號，所以容易硬件化。所以，近年來，安裝有使用STDP的學(xué)習(xí)功能的神經(jīng)網(wǎng)絡(luò)的硬件化，即關(guān)于神經(jīng)網(wǎng)絡(luò)電路的實現(xiàn)的研究得以廣泛進(jìn)行。在包含使用STDP的學(xué)習(xí)功能的現(xiàn)有的神經(jīng)網(wǎng)絡(luò)電路中，實現(xiàn)適于將突觸結(jié)合強(qiáng)度作為模擬量存儲的元件是最大的技術(shù)問題。對此，例如在專利文獻(xiàn)2中，公開了將可變電阻型存儲元件的可變電阻值作為突觸連接權(quán)重存儲的方案。圖15為專利文獻(xiàn)2公開的可變電阻型存儲元件720的截面示意圖?？勺冸娮栊痛鎯υ?20具有由上部電極721和下部電極723夾著金屬氧化膜722的結(jié)構(gòu)。該元件是在上部電極721和下部電極723之間施加電壓時，依賴于流過的電流值、上部電極721和下部電極723之間的電阻值非易失地變化的元件。
[0076]圖16A是專利文獻(xiàn)2公開的現(xiàn)有的STDP神經(jīng)網(wǎng)絡(luò)電路元件的框圖。在此，神經(jīng)網(wǎng)絡(luò)電路元件，是用硬件對作為神經(jīng)網(wǎng)絡(luò)的功能單位的神經(jīng)元進(jìn)行再現(xiàn)的元件。神經(jīng)網(wǎng)絡(luò)電路元件700包括多個突觸電路710和I個神經(jīng)元電路730。突觸電路710使用可變電阻型存儲元件720對突觸連接權(quán)重進(jìn)行存儲。另外，通過上述方案對可變電阻型存儲元件720的電阻值進(jìn)行變更，實現(xiàn)學(xué)習(xí)功能。圖16B和圖16C是關(guān)于圖16A中表示的STDP部的具體結(jié)構(gòu)在專利文獻(xiàn)2中例示的電路圖。
[0077]由圖1lA和圖1lB可知，為了構(gòu)成神經(jīng)網(wǎng)絡(luò)電路，針對I個神經(jīng)元電路，需要多個輸入端子。另外，隨著神經(jīng)網(wǎng)絡(luò)電路整體的神經(jīng)網(wǎng)絡(luò)電路元件的數(shù)量的增加，針對I個神經(jīng)元電路所需的輸入端子的數(shù)量增加。針對I個神經(jīng)元電路，需要與輸入端子的數(shù)量相同數(shù)量的突觸電路。因此，在構(gòu)成由多個神經(jīng)網(wǎng)絡(luò)電路元件形成的神經(jīng)網(wǎng)絡(luò)電路時，需要非常多的突觸電路。例如，在圖1lB所示的相互結(jié)合型神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元的數(shù)量為η時需要的突觸的數(shù)量為η的2次方。因此，為了使神經(jīng)網(wǎng)絡(luò)電路的面積更小，突觸電路的結(jié)構(gòu)的簡略化是重要的。
[0078]在現(xiàn)有的神經(jīng)網(wǎng)絡(luò)電路元件700中，在突觸電路710中生成向神經(jīng)元電路730傳播的信號，和用于通過STDP對電阻變化型存儲元件720的突觸權(quán)重進(jìn)行更新的信號。例如，在圖16Α中的脈沖發(fā)生部或STDP部生成波形。因此，在突觸電路內(nèi)，需要圖16Β和圖16C所示的信號發(fā)生器和運算電路，突觸電路710的結(jié)構(gòu)將變得大規(guī)?；?br> [0079]由以上的方面可知，在現(xiàn)有的突觸電路710及其驅(qū)動方法中，存在突觸電路710的面積變得極大的技術(shù)問題，使用該電路的神經(jīng)網(wǎng)絡(luò)電路的規(guī)模也變得很大。
[0080]針對上述現(xiàn)有的技術(shù)問題，本發(fā)明的
【發(fā)明者】們，經(jīng)過銳意研究，得到了下面的實施方式，作為能夠以更少的數(shù)量的元件的結(jié)構(gòu)實現(xiàn)通過STDP實現(xiàn)的學(xué)習(xí)動作的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法和神經(jīng)網(wǎng)絡(luò)電路。
[0081]本發(fā)明的
【發(fā)明者】們，注意到在現(xiàn)有的神經(jīng)網(wǎng)絡(luò)電路元件700中，在突觸電路710內(nèi)生成用于更新突觸權(quán)重的非線性波形，是由于輸入至突觸電路730的來自其他的神經(jīng)網(wǎng)絡(luò)電路元件的信號(在此稱為其他輸入信號)是尖峰脈沖本身(圖11的輸入脈沖Xl)。即，在現(xiàn)有的結(jié)構(gòu)中，由于其他的輸入信號為尖峰脈沖，所以為了與和輸入的該突觸電路710相同的神經(jīng)網(wǎng)絡(luò)電路元件700生成的尖峰脈沖(在此稱為自身輸入信號)進(jìn)行比較，需要將其他輸入信號作為觸發(fā)器由該突觸電路710另外產(chǎn)生非線性波形。
[0082]在此，本發(fā)明的
【發(fā)明者】們得出了以下結(jié)論:通過令神經(jīng)網(wǎng)絡(luò)電路元件的輸出信號自身為非線性波形，能夠不再需要在神經(jīng)網(wǎng)絡(luò)電路元件的突觸電路接收其他的輸入信號之后再轉(zhuǎn)換為非線性波形。進(jìn)而，得出了在對非線性波形彼此進(jìn)行比較時，為了有效地檢測出輸入時刻差，優(yōu)選使用后述的雙極性鋸齒形波形(bipolar sawtooth waveform)或墨西哥帽形波形(mexican-hat waveform)作為該非線性波形的結(jié)論。
[0083]以下參照【專利附圖】
【附圖說明】本發(fā)明的實施方式的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法。
[0084](實施方式)
[0085]圖1表示實施方式的神經(jīng)網(wǎng)絡(luò)電路元件40的框圖。I個神經(jīng)網(wǎng)絡(luò)電路元件40包括至少I個輸入端子51與輸入端子51數(shù)量相同的突觸電路20、1個神經(jīng)元電路30和I個輸出端子52。另外，神經(jīng)網(wǎng)絡(luò)電路，如圖11A、圖1lB所示，由多個神經(jīng)網(wǎng)絡(luò)電路元件40連接構(gòu)成。具體而言，神經(jīng)網(wǎng)絡(luò)電路元件40的輸出端子52，與其他的神經(jīng)網(wǎng)絡(luò)電路元件40的輸入端子51連接。
[0086]神經(jīng)網(wǎng)絡(luò)電路元件40的輸入端子51，與突觸電路20的第一輸入端子41連接。突觸電路20的輸出端子44，與神經(jīng)元電路30的輸入端子45連接。神經(jīng)元電路30的第一輸出端子46，與神經(jīng)網(wǎng)絡(luò)電路元件40的輸出端子52連接。此外，在圖1中，為便于觀察附圖，僅記載了 I個神經(jīng)元電路30和I個突觸電路20，但實際上在I個神經(jīng)元電路30連接有多個突觸電路20。
[0087]神經(jīng)元電路30，包括積分電路31、波形發(fā)生電路32和延遲電路33。
[0088]神經(jīng)元電路30的輸入端子44，與積分電路31連接。積分電路31，對從與神經(jīng)元電路30連接的多個突觸電路20流入的電流的和進(jìn)行運算。而且，運算值超過規(guī)定的值時，向波形發(fā)生電路32輸出信號(觸發(fā)器信號)。
[0089]信號發(fā)生電路32，以來自積分電路31的信號作為觸發(fā)器，生成非線性波形脈沖電壓Vram和開關(guān)脈沖電壓Vtost2。非線性波形脈沖電壓Vrosn，例如為圖2A或圖2B所示的形狀，或?qū)⑦@些進(jìn)行符號反轉(zhuǎn)而形成的形狀。在此將圖2A所示的非線性波形脈沖電壓稱為“雙極性鋸齒形脈沖電壓”。雙極性鋸齒形脈沖電壓的特征在于，最初為O伏特的電位，隨時間的經(jīng)過而下降至規(guī)定的負(fù)電位，其后上升到規(guī)定的正電位，然后再恢復(fù)為O伏特。另一方面，將圖2B所示的非線性波形脈沖電壓稱為“墨西哥帽形脈沖電壓”。在為墨西哥帽形脈沖電壓的情況下，最初為O伏特的電位，隨時間的經(jīng)過而下降至規(guī)定的負(fù)電位，然后上升到規(guī)定的正電位。其后，電位下降到規(guī)定的負(fù)值后，再返回O伏特。在開關(guān)脈沖電SVtost2，能夠使用例如圖2C所示的方波脈沖電壓。
[0090]例如，信號發(fā)生電路32，如圖17所示，具備以來自積分電路31的輸出信號為觸發(fā)器進(jìn)行驅(qū)動的數(shù)字/模擬轉(zhuǎn)換器321，和存儲有用于生成雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓的數(shù)字波形數(shù)據(jù)的數(shù)字存儲器322。數(shù)字/模擬轉(zhuǎn)換器321，在輸入來自積分電路31的輸出信號時，從數(shù)字存儲器322讀出數(shù)字波形數(shù)據(jù)，將其轉(zhuǎn)換為模擬波形輸出。
[0091]非線性波形脈沖電壓Vrosn通過延遲電路32經(jīng)過規(guī)定的延遲時間后，輸出至第一輸出端子45。神經(jīng)元電路30的第一輸出端子45，與神經(jīng)網(wǎng)絡(luò)電路元件40的輸出端子52連接，所以延遲電路33的輸出信號成為神經(jīng)網(wǎng)絡(luò)電路元件40的輸出信號。而且，該輸出信號作為第一輸入信號電壓(即非線性波形脈沖電壓Vpke)被輸入至其他的神經(jīng)網(wǎng)絡(luò)電路元件(省略圖示)的突觸電路的第一輸入端子。開關(guān)脈沖電壓Vtost2，輸出至神經(jīng)元電路30的第二輸出端子46。第二輸出端子46，與連接至神經(jīng)元電路30的、所有的突觸電路20的第二輸入端子42連接,作為第二輸入信號電壓60被輸入。
[0092]突觸電路20，具備第一開關(guān)22、第二開關(guān)21、后述的可變電阻元件10和規(guī)定的直流電壓源23。突觸電路20的第一輸入端子41，與第一開關(guān)22的輸入端子26連接。突觸電路20的第二輸入端子42，與第一開關(guān)的控制端子28連接。
[0093]第一開關(guān)22的輸出端子27，與可變電阻元件10的控制電極15連接。突觸電路20的輸出端子43，與可變電阻元件10的第二電極14連接。突觸電路20的輸出端子43，與神經(jīng)元電路30的輸入端子44連接。突觸電路20的第一輸入信號電壓60，為來自其他的神經(jīng)網(wǎng)絡(luò)電路元件(省略圖示)的非線性波形脈沖電壓VPKE。另外，向突觸電路20的第二輸入端子42輸入的第二輸入信號電壓70，為相同的神經(jīng)網(wǎng)絡(luò)電路元件40內(nèi)的神經(jīng)元電路30的波形生成電路32生成的開關(guān)脈沖電壓VP()ST2。
[0094]在此，本實施方式的神經(jīng)網(wǎng)絡(luò)電路元件40的結(jié)構(gòu)中的重點在于，波形生成均由神經(jīng)元電路30進(jìn)行，使用生成的非線性波形脈沖電壓Vrosn (輸入至其他的神經(jīng)網(wǎng)絡(luò)電路元件40的非線性波形脈沖電壓Vpke)和開關(guān)脈沖電壓VrosT2進(jìn)行處理和學(xué)習(xí)動作。由此能夠使突觸電路20簡化。
[0095]接著，對可變電阻元件10進(jìn)行說明。圖5A和圖5B分別表示可變電阻元件10的截面示意圖和電路記號?？勺冸娮柙?0具備半導(dǎo)體膜11、鐵電體膜12、第一電極13、第二電極14和控制電極15。Z軸為鐵電體膜12的法線方向。X軸為與Z軸正交的方向。另夕卜，對可變電阻元件10的電路記號如圖5B所示地標(biāo)記。在圖1中，基于圖5B的標(biāo)記表示組入了該可變電阻元件10的神經(jīng)網(wǎng)絡(luò)電路元件40。
[0096]半導(dǎo)體膜11的材料例如為ZnO、GaN或InGaZnO。鐵電體膜12的材料例如為Pb(Zr、Ti)03、Sr (B1、Ta) 0，或Bi12TiO2015第一電極13、第二電極14和控制電極15例如為由鉬膜和鈦膜構(gòu)成的層疊體。
[0097]半導(dǎo)體膜11、鐵電體膜12和控制電極15沿Z軸層疊。在半導(dǎo)體膜11的表側(cè)的面，配置有第一電極13和第二電極14。
[0098]接著，對于本實施方式的、可變電阻元件10的可變電阻值，用圖5A進(jìn)行說明?？勺冸娮柙?0的可變電阻值，為第一電極13和第二電極14之間的電阻值。鐵電體膜12的一部分具有上方向的極化方向時，該一部分上層疊的半導(dǎo)體膜11的部分具有低電阻。另一方面，鐵電體膜12的一部分具有下方向的極化方向時，該一部分上層疊的半導(dǎo)體層11的部分具有高電阻。此時，第一電極13和第二電極14之間的電阻值，成為第一電極13和第二電極14所夾的區(qū)域的半導(dǎo)體的電阻值。由此，根據(jù)該區(qū)域之下層疊的鐵電體膜12中具有上方向和下方向的極化方向的區(qū)域的比例，第一電極13和第二電極14之間的電阻值連續(xù)地變化。
[0099]接著，對于本實施方式的可變電阻元件10的電阻值的控制方法，用圖5A進(jìn)行說明。可變電阻元件10中，通過在第一電極13、第二電極14和控制電極15之間設(shè)置電位差，使鐵電體膜12的極化方向發(fā)生變化，控制第一電極13和第二電極14之間的電阻值。例如，以第一電極13和第二電極14為基準(zhǔn)，在兩電極和控制電極15之間設(shè)置正的電位差時，通過鐵電體膜12的極化實現(xiàn)的電場的朝向容易朝向上方向(半導(dǎo)體膜11側(cè))。相反，在設(shè)置負(fù)的電位差時，通過鐵電體膜12極化實現(xiàn)的電場的朝向容易朝向下方向(控制電極15側(cè))。另外，施加的電位差的絕對值越大，通過電位差實現(xiàn)的鐵電體膜12的極化的變化量越大。因此，設(shè)置正的電位差時，第一電極13和第二電極14之間的電阻值減少，設(shè)置負(fù)的電位差時第一電極13和第二電極14之間的電阻值增加，這些電阻值的變化隨著施加的電位差的絕對值越大而越顯著。在此，上方向是指半導(dǎo)體膜11層疊的方向，下方向是指控制電極15層疊的方向。
[0100]接著對神經(jīng)網(wǎng)絡(luò)電路元件40的動作的詳細(xì)情況進(jìn)行說明。
[0101 ] 首先對處理動作進(jìn)行說明。
[0102]在“處理”動作期間，根據(jù)突觸電路的第二輸入信號電壓70，第一開關(guān)22，保持可變電阻元件10的控制電極15和突觸電路20的第一輸入端子41之間為非導(dǎo)通的狀態(tài)。
[0103]另外，第二開關(guān)21，在作為第一輸入信號的非線性波形脈沖電壓Vpke輸入至突觸電路20的期間，將直流電壓源(第一基準(zhǔn)電壓源)23和可變電阻元件10的第一電極13連接。即，從其他的神經(jīng)網(wǎng)絡(luò)電路元件(省略圖示)，非線性波形脈沖電壓Vpke作為第一輸入信號電壓60被向突觸電路20輸入時,根據(jù)該非線性波形脈沖電壓Vpke,第二開關(guān)21開閉。例如，第二開關(guān)21，在非線性波形脈沖電壓Vpke為規(guī)定的電壓以上的HI電平的期間為閉合狀態(tài)，在其以外的期間為打開狀態(tài)。另外，突觸電路20的第二電極14，成為與接地電壓(以與第一基準(zhǔn)電壓不同的方式，從第二基準(zhǔn)電壓源供給的第二基準(zhǔn)電壓)相等的電位。
[0104]第2開關(guān)21為閉合狀態(tài)時，直流電壓源23和可變電阻元件10的第一電極13連接。可變電阻元件10，如上所述，具有第一電極13和第二電極14之間的電阻值可變的特性。通過使第二開關(guān)21為閉合狀態(tài)，在可變電阻元件10的第一電極13和第二電極14之間施加有電源電壓VDD，從直流電壓源23向可變電阻元件10的第二電極14，與可變電阻元件10的當(dāng)前的傳導(dǎo)率(電阻值的倒數(shù))成比例的電流流過，輸入至神經(jīng)元電路30。輸入至神經(jīng)元電路30的電流的大小，與突觸連接權(quán)重w成比例，表現(xiàn)圖13的PSP (P1 (t)、P2 (t))。由此，在本實施方式中，可變電阻元件10的傳導(dǎo)率(電阻值的倒數(shù))相當(dāng)于突觸連接權(quán)重W。
[0105]向這樣的神經(jīng)元電路30的輸入，是從多個其他的神經(jīng)網(wǎng)絡(luò)電路元件經(jīng)由突觸電路20非同步地施加的。來自這些多個突觸電路20的輸入電流，在神經(jīng)元電路30的積分電路31進(jìn)行時間空間求和(時間求和和空間求和)。由時間空間求和生成的積分電壓視為內(nèi)部電位Vn。內(nèi)部電位Vn超過規(guī)定的閾值電壓Vth時，波形發(fā)生電路32生成脈沖電壓(VrasT1、VresT2)。其中，由波形發(fā)生電路32生成的非線性波形脈沖電壓Vrosn，在經(jīng)過由延遲電路33設(shè)定的規(guī)定的延遲時間后，向其他的神經(jīng)網(wǎng)絡(luò)電路元件電路(省略圖示)的突觸電路的第一輸入端子作為第一輸入信號電壓Vpke而施加。該延遲時間相當(dāng)于神經(jīng)元模型中的傳遞延遲時間 tDelay。
[0106]接著，對學(xué)習(xí)動作，特別是利用STDP的學(xué)習(xí)動作進(jìn)行說明。
[0107]在“學(xué)習(xí)”動作時，神經(jīng)元電路30的波形發(fā)生電路32與非線性波形脈沖電壓Vpqsti同時生成開關(guān)脈沖電壓VPQST2。例如，以圖2A和圖2B或圖2C的各個中分別以虛線表示的時刻Tin為相同時刻的方式,輸出脈沖電壓。開關(guān)脈沖電壓Vtot2作為第二輸入信號電壓70向突觸電路20的第一開關(guān)22的控制端子28施加。另外，其他的神經(jīng)網(wǎng)絡(luò)電路元件的非線性波形脈沖電壓Vpke,作為第一輸入信號電壓60被向突觸電路20的第一開關(guān)22的輸入端子26輸入。在突觸電路20，通過開關(guān)脈沖電壓VrosT2，對第一開關(guān)22進(jìn)行切換。開關(guān)脈沖電壓Vtot2，以相同的神經(jīng)網(wǎng)絡(luò)電路元件40內(nèi)生成的非線性波形脈沖電壓Vpke的時間中間點為中間點，以該中間點為基準(zhǔn)在前后具有規(guī)定的時間寬度的期間，成為規(guī)定的電壓電平(HI電平)。
[0108]接著，對在具備可變電阻元件10的突觸電路20中實現(xiàn)STDP的方法，用圖1進(jìn)行說明。例如，考慮開關(guān)脈沖電壓Vtost2為HI電平期間，通過第一開關(guān)22使可變電阻元件10的控制電極15和突觸電路20的第一輸入端子41連接的情況。即，開關(guān)脈沖電壓VrosT2為HI電平的期間，為第一信號電壓Vpke能夠輸入至可變電阻元件10的控制電極15的允許輸入期間。此時，在通過開關(guān)脈沖電SVrosT2，第一開關(guān)22在使可變電阻元件10的控制電極15和第一輸入端子41導(dǎo)通的期間，非線性波形脈沖電壓Vpke被輸入時，僅在該期間，對可變電阻元件10的控制電極15施加脈沖電壓。因此，非線性波形脈沖電壓Vpke和開關(guān)脈沖電壓Vtot2在時間上疊加輸入，由此在可變電阻元件10的控制電極15施加有有限的電壓。即，通過在第一電極13和第二電極14與控制電極15之間設(shè)置有電位差，所以根據(jù)該電位差，可變電阻元件10的電阻值變更。如上所述，在本實施方式中，可變電阻元件10的電阻值的倒數(shù)(傳導(dǎo)率)表示突觸結(jié)合強(qiáng)度，所以能夠進(jìn)行對該電阻值的變化對突觸電路20的突觸結(jié)合強(qiáng)度進(jìn)行更新的“學(xué)習(xí)”動作。
[0109]另外，根據(jù)非線性波形脈沖電壓Vpke和開關(guān)脈沖電壓Vtot2被施加的時刻，施加至可變電阻元件10的控制電極15的脈沖電壓的波形發(fā)生變化。如上所述，可變電阻元件10的電阻值變化的程度，依賴于施加的電壓的大小、即電壓波形。因此，依賴于根據(jù)2個脈沖電壓被施加的時刻而變化的生成波形的形狀，電阻值變化的程度也變化。在本實施方式中，通過將圖2A所示的雙極性鋸齒形脈沖電壓作為非線性波形脈沖電壓使用，能夠?qū)崿F(xiàn)圖14B所示的非對稱型的STDP，通過使用圖2B所示的墨西哥帽形脈沖電壓作為非線性波形脈沖電壓，能夠?qū)崿F(xiàn)圖14C所示的對稱型的STDP。
[0110]令非線性波形脈沖電壓Vpke為圖2A所示的雙極性鋸齒形脈沖電壓，令開關(guān)脈沖電壓VP(BT2為圖2C所不的方波脈沖電壓時,對于第一開關(guān)22的動作,在圖3中總結(jié)。在此,僅考慮在開關(guān)脈沖電壓Vtost2為HI電平期間，非線性波形脈沖電壓Vpke施加至可變電阻元件10的控制電極15的情況。通過第一開關(guān)22的動作，令施加至控制電極15的電壓為Vsample。非線性波形脈沖電壓Vpke與開關(guān)脈沖電壓Vtost2的輸入時刻差trosT；rtpRE變化時，Vsample的波形也發(fā)生變化。例如tresT2-tPKE < O時(非線性波形脈沖電壓Vpke比開關(guān)脈沖電壓Vresn更早被輸入時)，非線性波形脈沖電壓Vpke和開關(guān)脈沖電壓Vtot2在時間上疊加時,Vsample的負(fù)方向的電位差變化變大?？勺冸娮柙?0的、在第一電極13和第二電極14與控制電極15之間設(shè)置的負(fù)電位差越大，傳導(dǎo)率(電阻值的倒數(shù))減小得越大。由此，Vsample的負(fù)方向的變化增大時，傳導(dǎo)率(電阻值的倒數(shù))大幅減小。另一方面，tP()ST2-tPKE > O時(非線性波形脈沖電壓Vpke比開關(guān)脈沖電壓Vresn更晚被輸入時)，非線性波形脈沖電壓Vpke和開關(guān)脈沖電壓Vkbt2在時間上疊加時，Vsample的正方向的電位差變化變大。可變電阻元件10的、在第一電極13和第二電極14與控制電極15之間設(shè)置的正電位差越大，傳導(dǎo)率(電阻值的倒數(shù))增加得越大。由此，Vsample的正方向的變化增大時，傳導(dǎo)率(電阻值的倒數(shù))大幅增加。
[0111]同樣地，令非線性波形脈沖電壓Vpke為圖2B所示的墨西哥帽形脈沖電壓，令開關(guān)脈沖電壓Vtost2為圖2C所不的方波脈沖電壓時,對于第一開關(guān)22的動作,在圖4中總結(jié)。在此，僅考慮在開關(guān)脈沖電壓VrosT2為HI電平期間(即上述的允許輸入期間)，非線性波形脈沖電壓Vpke施加至可變電阻元件10的控制電極15的情況。非線性波形脈沖電壓Vpke與開關(guān)脈沖電壓VrosT2的輸入時刻差1_2-、變化時，Vsample的波形也發(fā)生變化。例如，在非線性波形脈沖電壓Vpke的電位為正值的時刻，施加開關(guān)脈沖電壓Vtot2時，Vsample的正方向的電位差變化變大。可變電阻元件10的、在第一電極13和第二電極14與控制電極15之間設(shè)置的正電位差越大，傳導(dǎo)率(電阻值的倒數(shù))增加得越大。由此，Vsample的正方向的變化增大時，傳導(dǎo)率(電阻值的倒數(shù))大幅增加。另一方面，在非線性波形脈沖電壓Vpke的電位為負(fù)值的時刻，施加開關(guān)脈沖電壓Vtost2時，Vsaniple的負(fù)方向的電位差變化變大?？勺冸娮柙?0的、在第一電極13和第二電極14與控制電極15之間設(shè)置的負(fù)電位差越大，傳導(dǎo)率(電阻值的倒數(shù))減小得越大。由此，Vsample的負(fù)方向的變化增大時，傳導(dǎo)率(電阻值的倒數(shù))大幅減小。
[0112]這樣通過使用開關(guān)脈沖電壓Vtost2對第一開關(guān)22進(jìn)行切換，基于在相同的神經(jīng)網(wǎng)絡(luò)電路元件40內(nèi)生成的開關(guān)脈沖電壓(第二輸入信號電壓)VrosT2和從其他的神經(jīng)網(wǎng)絡(luò)電路兀件輸入的非線性波形脈沖電壓(第一輸入信號電壓)Vpee的輸入時刻差,在可變電阻兀件10的第一電極13、第二電極14和控制電極15之間設(shè)置有依賴于該輸入時刻差的電位差。根據(jù)這樣設(shè)置的電位差，在可變電阻元件10依賴于輸入時刻差的電阻值的調(diào)制得以實現(xiàn)。
[0113]這樣，將從其他的神經(jīng)網(wǎng)絡(luò)電路元件輸入的作為雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓的非線性脈沖波形電壓Vpke，與在相同神經(jīng)網(wǎng)絡(luò)電路元件40內(nèi)的神經(jīng)元電路30生成的雙極性鋸齒形脈沖電壓Vrasn的生成時刻相應(yīng)的開關(guān)脈沖電壓Vtost2進(jìn)行比較，所以不需要由突觸電路20自身生成該比較用的波形，能夠使突觸電路20的面積減小。由此，能夠使神經(jīng)網(wǎng)絡(luò)電路元件40自身的電路面積減小。由此，能夠以更少的數(shù)量的元件結(jié)構(gòu)實現(xiàn)利用脈沖定時進(jìn)行的學(xué)習(xí)動作。
[0114]另外，作為比較對象的非線性脈沖波形電壓Vpke、使用具有2個極性、以O(shè)伏特的位置為基準(zhǔn)成為點對稱的雙極性鋸齒形脈沖電壓波形，或者使用以O(shè)伏特的時間為基準(zhǔn)成為線對稱的墨西哥帽形脈沖電壓波形。因此，能夠使第一輸入信號電壓Vpke和作為比較的第二輸入信號電壓的開關(guān)脈沖電壓vrosT2i間的時刻偏差容易地反映至可變電阻元件10的電阻值的調(diào)制。
[0115]非線性脈沖波形電壓VPKE、VrosT1的波形，只要分別是上述這樣的雙極性鋸齒形脈沖電壓波形或墨西哥帽形脈沖電壓波形，沒有特別的限定，但是例如，在為雙極性鋸齒形脈沖電壓時，能夠采用圖2A所示那樣的、連接各極性的頂點和O伏特的位置之間的線段的傾斜角度比其他部分的傾斜角度更大的波形。由于O伏特的位置附近的區(qū)域的傾斜度較大，即使在第一輸入信號電壓Vpke和第三輸入信號電壓Vrosn的輸入時刻差很微小時，電位差Veffect的變化變大，所以能夠針對輸入時刻差提高靈敏度。同樣地，在為墨西哥帽形脈沖電壓時，如圖2B所示，由于連接各極性的頂點彼此之間的線段的傾斜度較大，所以即使在第一輸入信號電壓Vpke和第三輸入信號電壓Vrosn的輸入時刻差很微小時，電位差VrffK；t的變化也變大，所以能夠相對于輸入時刻差提高靈敏度。
[0116]此外，在本實施方式中，使用非線性波形脈沖電壓Vpke，對突觸電路20的第二開關(guān)21進(jìn)行開閉，但也可以例如在輸入非線性波形脈沖電壓Vpke的期間，使用成為規(guī)定的電壓的方波脈沖電壓對第二開關(guān)21進(jìn)行開閉。
[0117](實施例)
[0118]以下參照實施例對本發(fā)明進(jìn)行更詳細(xì)的說明。
[0119](實施例1)
[0120](可變電阻元件10的制作)
[0121]將厚度30nm的由釕酸鍶(SrRuO3)形成的氧化物導(dǎo)電膜，在由鈦酸鍶(SrTiO3)形成的(001)單晶基板上，通過脈沖激光沉積(以下稱為PLD)法堆積。堆積時的基板的溫度為700V。堆積后,通過光刻和離子統(tǒng)削(ion milling)法形成控制電極15。[0122]在基板的溫度為700°C的狀態(tài)，使用PLD法在SRO上堆積由厚度450nm的鋯鈦酸鉛(Pb (Zr、Ti) O3)形成的鐵電體膜12。其后，使基板的溫度下降至400°C。接著，堆積由厚度30nm的氧化鋅(ZnO)形成的半導(dǎo)體膜11。
[0123]在半導(dǎo)體膜11上形成圖案化后的抗蝕劑后，將由厚度5nm的鈦膜和厚度30nm的鉬膜形成的層疊體，在室溫下通過電子束蒸鍍法進(jìn)行堆積。堆積后，通過剝離法形成第一電極13和第二電極14。這樣，得到可變電阻元件10。[0124](突觸電路的評價)
[0125]對構(gòu)成圖6所示的突觸電路，使用上述的可變電阻元件10的突觸電路的STDP特性進(jìn)行評價。在Vdd連接0.1伏特的直流電壓源。在第一開關(guān)使用圖6所示的開關(guān)電路25。開關(guān)電路25，僅在開關(guān)脈沖電壓Vtost2為HI電平的期間，非線性波形脈沖電壓Vpke施加至可變電阻元件10的控制電極15，其以外的期間，可變電阻元件10的控制電極15進(jìn)行接地的動作。此外，在圖6中，圖1的第二開關(guān)21的結(jié)構(gòu)省略。
[0126]在本實施例中，通過令圖7A所示的波形為非線性波形脈沖電壓Vpke，令圖7B所示的波形為開關(guān)脈沖電壓VrosT2，將開關(guān)電路25作為圖1的第一開關(guān)22使用而實現(xiàn)圖3所示的開關(guān)動作。一邊改變所施加的非線性波形脈沖電壓Vpke和開關(guān)脈沖電壓Vkbt2的時刻，一邊對施加兩脈沖電壓的前后的傳導(dǎo)率(電阻值的倒數(shù))的變化進(jìn)行測定，如圖7C所示，得到圖14B這樣的非對稱形的STDP。
[0127](積分動作的評價)
[0128]接著，制作圖8所示的將積分電路31連接至I個突觸電路20而得的電路，對由STDP實現(xiàn)的可變電阻元件10的電阻變化伴隨的積分動作的變化進(jìn)行評價。
[0129]積分電路31包括運算放大器53、電容器36和電阻37。電容器36的電容值為I皮法，電阻37的電阻值為I兆歐姆。積分電路31使用從突觸電路20輸入的電流對電容器36進(jìn)行充電。通過該動作，電流的時間積分的運算結(jié)果作為積分電位Vn被輸出。另外，電容器36配置于運算放大器35的負(fù)極性輸入端子(_)和輸出端子間。另外運算放大器35的輸出信號經(jīng)由電阻37回到負(fù)極性輸入端子(_)。其結(jié)果是，通過運算放大器35的反饋功能，向負(fù)極性輸入端子(_)的輸入成為虛擬接地。
[0130]由于向運算放大器35的負(fù)極性輸入端子(_)的輸入成為虛擬接地，所以與突觸電路20的數(shù)量和電容器36的積分電位無關(guān)地，由規(guī)定的電源電壓和可變電阻元件20的電阻值決定的一定電流，通過各突觸電路20，向神經(jīng)元電流30輸入。
[0131]使用與圖6同樣的電路25作為圖8所示的突觸電路20的第一開關(guān)22，使用場效應(yīng)晶體管24作為第二開關(guān)21。在場效應(yīng)晶體管24的柵極端子施加非線性波形脈沖電壓VPKE。本實施例中使用的場效應(yīng)晶體管24，在非線性波形脈沖電壓VpkeSHI時為導(dǎo)通，在其以外的情況下為斷開。場效應(yīng)晶體管24的導(dǎo)通電阻為可變電阻元件10的電阻值的百分之一以下，所以直流電壓源23和運算放大器35的負(fù)極性輸入端子(_)之間的電阻值大約等于可變電阻元件10的電阻值。因此，僅在非線性波形脈沖電壓Vpke為HI的期間，在可變電阻元件10流過脈沖電流。脈沖電流的大小大體上與可變電阻元件10的電阻值的倒數(shù)(傳導(dǎo)率)成比例。
[0132]輸入至神經(jīng)元電路20的脈沖電流，對積分電路31的電容器36進(jìn)行充電，所以時間積分結(jié)果作為輸出Vn被輸出。對被施加非線性波形脈沖電壓Vpke而20微秒后的積分電壓Vn進(jìn)行評價。
[0133]在本實施例中，令圖7A所示的波形為非線性波形脈沖電壓Vpke，令圖7B所示的波形為開關(guān)脈沖電壓VrosT2。一邊改變所施加的非線性波形脈沖電壓和開關(guān)脈沖電壓的時刻，一邊對施加兩脈沖電壓的前后的積分電壓Vn的變化進(jìn)行測定。圖9的左軸表示積分電壓的變化量。在圖9的右軸，為了參考，對與圖7C所示的傳導(dǎo)率的變化量相同的量進(jìn)行繪點(plot)。積分電壓的變化量,表示與傳導(dǎo)率的變化量對應(yīng)的特性,表示可變電阻元件10的STDP特性也反映于積分電路31的積分動作。
[0134](實施例2)
[0135](突觸電路100的評價)
[0136]與實施例1同樣地，對構(gòu)成圖6所示突觸電路、使用可變電阻元件10的突觸電路的STDP特性進(jìn)行評價。
[0137]令圖1OA所示的波形為非線性波形脈沖電壓Vpke，令圖1OB所示的波形為開關(guān)脈沖電壓Vtost2，測定施加的前后的傳導(dǎo)率(電阻值的倒數(shù))的變化。如圖1OC的左軸所示，得到圖14C這樣的對稱形的STDP特性。
[0138](積分動作的評價)
[0139]接著，與實施例1同樣地，制作圖8所示那樣的將積分電路31連接至I個突觸電路20而得的電路，對由STDP實現(xiàn)的可變電阻元件10的電阻變化伴隨的積分動作的變化，施加非線性波形脈沖電壓Vpke而基于20微秒后的積分電壓Vn進(jìn)行評價。
[0140]圖1OC的右軸表不積分電壓的變化量。積分電壓的變化量，表不與傳導(dǎo)率的變化量對應(yīng)的特性，表示可變電阻元件10的對稱性STDP特性也反映于積分電路31的積分動作。
[0141]根據(jù)上述說明，本領(lǐng)域技術(shù)人員能夠清楚本發(fā)明的多種改良和其他的實施方式。因此，上述說明，僅應(yīng)被解釋為例示，是以向本領(lǐng)域技術(shù)人員表現(xiàn)實行本發(fā)明的最優(yōu)的方式為目的而提供的。能夠在不脫離本發(fā)明的主旨的情況下，對其結(jié)構(gòu)和/或功能的詳細(xì)內(nèi)容進(jìn)行實質(zhì)性的變更。
[0142]產(chǎn)業(yè)上的可利用性
[0143]本發(fā)明能夠用于神經(jīng)網(wǎng)絡(luò)電路的權(quán)重更新動作。
[0144]附圖標(biāo)記說明
[0145]10可變電阻元件
[0146]11半導(dǎo)體膜
[0147]12鐵電體膜
[0148]13第一電極
[0149]14第二電極
[0150]15控制電極
[0151]20突觸電路
[0152]21第二開關(guān)
[0153]22第一開關(guān)
[0154]23直流電壓源(第一基準(zhǔn)電壓源)
[0155]30神經(jīng)元電路
[0156]31積分電路
[0157]32波形發(fā)生電路
[0158]33延遲電路
[0159]40神經(jīng)網(wǎng)絡(luò)電路元件
[0160]54接地電壓源(第二基準(zhǔn)電壓源)
[0161]321數(shù)字/模擬轉(zhuǎn)換器
[0162]322數(shù)字存儲器
【權(quán)利要求】
1.一種神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，該神經(jīng)網(wǎng)絡(luò)電路通過連接多個神經(jīng)網(wǎng)絡(luò)電路元件(40)而構(gòu)成，該神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法的特征在于: 所述多個神經(jīng)網(wǎng)絡(luò)電路元件(40)分別具備: 被輸入其他的神經(jīng)網(wǎng)絡(luò)電路元件(40)的輸出信號的至少I個突觸電路(20)，以下將該輸出信號稱為第一輸入信號；和 被輸入所述至少I個突觸電路(20)的輸出信號的I個神經(jīng)元電路(30)， 所述突觸電路(20)具備可變電阻元件(10)，該可變電阻元件(10)包括:形成于半導(dǎo)體膜(11)上的第一電極(13)和第二電極(14);和在所述半導(dǎo)體膜(11)的主面隔著鐵電體膜(12)形成的控制電極(15)，響應(yīng)所述第一電極(13)和所述控制電極(15)之間的電位差，所述第一電極(13)和所述第二電極(14)之間的電阻值發(fā)生變化， 所述神經(jīng)元電路(30)具備產(chǎn)生雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓的波形發(fā)生電路(32)，以下將該雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓稱為規(guī)定的脈沖電壓，所述第一輸入信號具有所述規(guī)定的脈沖電壓波形， 將在與所述可變電阻元件(10)相同的神經(jīng)網(wǎng)絡(luò)電路元件(40)內(nèi)生成的所述規(guī)定的脈沖電壓波形的時間中間點稱為中間點，在以該中間點為基準(zhǔn)在前后具有規(guī)定的時間寬度的期間，以下將該期間稱為允許輸 入期間，使所述第一輸入信號能夠輸入至所述可變電阻元件(10)的所述控制電極(15)，根據(jù)所述允許輸入期間中的依賴于所述第一輸入信號的輸入時刻而產(chǎn)生的所述第一電極(13)和所述控制電極(15)之間的電位差，使所述可變電阻元件(10)的電阻值發(fā)生變化。
2.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，其特征在于: 所述突觸電路(20)具備第一開關(guān)(22)，該第一開關(guān)(22)對是否能夠?qū)⑤斎氲乃龅谝惠斎胄盘栞斎胫了隹勺冸娮柙?10)的所述控制電極(15)進(jìn)行切換， 所述神經(jīng)兀電路(30)生成第二輸入信號,該第二輸入信號用于對所述第一開關(guān)(22)進(jìn)行切換，以使得在所述允許輸入期間成為所述第一輸入信號能夠輸入至所述控制電極(15)的狀態(tài)。
3.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，其特征在于: 所述神經(jīng)元電路(30)包括: 對在所述至少I個突觸電路(20)的所述可變電阻元件(10)流過的電流值進(jìn)行積分的積分電路(31);和 使由所述波形發(fā)生電路(32)產(chǎn)生的所述雙極性鋸齒形脈沖電壓延遲規(guī)定時間并將其作為所述神經(jīng)網(wǎng)絡(luò)電路元件(40)的輸出信號輸出的延遲電路(33)， 所述波形發(fā)生電路(32)，產(chǎn)生與由所述積分電路(31)積分后的電流值相應(yīng)的所述規(guī)定的脈沖電壓。
4.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，其特征在于: 所述突觸電路(20)具備第二開關(guān)(21)，該第二開關(guān)(21)的一端與第一基準(zhǔn)電壓源(23)連接，另一端與所述可變電阻元件(10)的所述第一電極(13)連接， 所述第二開關(guān)(21)構(gòu)成為在被輸入所述第一輸入信號的期間，連接所述第一基準(zhǔn)電壓源(23)和所述第一電極(13)。
5.一種神經(jīng)網(wǎng)絡(luò)電路，其通過多個神經(jīng)網(wǎng)絡(luò)電路元件(40)連接而構(gòu)成，該神經(jīng)網(wǎng)絡(luò)電路的特征在于: 所述多個神經(jīng)網(wǎng)絡(luò)電路元件(40)分別具備: 被輸入其他的神經(jīng)網(wǎng)絡(luò)電路元件(40)的輸出信號的至少I個突觸電路(20)，以下將該輸出信號稱為第一輸入信號；和 被輸入所述至少I個突觸電路(20)的輸出信號的I個神經(jīng)元電路(30)， 所述突觸電路(20)具備可變電阻元件(10)，該可變電阻元件(10)包括:形成于半導(dǎo)體膜(11)上的第一電極(13)和第二電極(14);和在所述半導(dǎo)體膜(11)的主面隔著鐵電體膜(12)形成的控制電極(15)，響應(yīng)所述第一電極(13)和所述控制電極(15)之間的電位差，所述第一電極(13)和所述第二電極(14)之間的電阻值發(fā)生變化， 所述神經(jīng)元電路(30)具有生成雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓的波形發(fā)生電路(32)，以下將該雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓稱為規(guī)定的脈沖電壓，所述第一輸入信號具有所述規(guī)定的脈沖電壓波形， 將在與所述可變電阻元件(10)相同的神經(jīng)網(wǎng)絡(luò)電路元件(40)內(nèi)生成的所述規(guī)定的脈沖電壓波形的時間中間點稱為中間點，在以該中間點為基準(zhǔn)在前后具有規(guī)定的時間寬度的期間，以下將該期間稱為允許輸入期間，使所述第一輸入信號能夠輸入至所述可變電阻元件(10)的所述控制電極(15)，根據(jù)所述允許輸入期間中的依賴于所述第一輸入信號的輸入時刻而產(chǎn)生的所述第一電極(13)和所述控制電極(15)之間的電位差，使所述可變電阻元件(10)的電阻值發(fā)生變 化。
【文檔編號】G06N3/063GK103460220SQ201280015280
【公開日】2013年12月18日 申請日期:2012年5月29日 優(yōu)先權(quán)日:2012年1月23日
【發(fā)明者】西谷雄, 金子幸廣, 上田路人 申請人:松下電器產(chǎn)業(yè)株式會社
【專利摘要】突觸電路（20）具備可變電阻元件（10），神經(jīng)元電路（30）具備產(chǎn)生雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓（以下稱為規(guī)定的脈沖電壓）的波形發(fā)生電路（32），第一輸入信號（其他的神經(jīng)網(wǎng)絡(luò)電路元件（40）的輸出信號）具有規(guī)定的脈沖電壓波形，將與可變電阻元件（10）相同的神經(jīng)網(wǎng)絡(luò)電路元件（40）內(nèi)生成的規(guī)定的脈沖電壓波形的時間中間點稱為中間點，在以該中間點為基準(zhǔn)在前后具有規(guī)定的時間寬度的期間（以下稱為允許輸入期間），通過使第一輸入信號能夠輸入至可變電阻元件（10）的控制電極（15），根據(jù)依賴于針對允許輸入期間的第一輸入信號的輸入時刻而產(chǎn)生的第一電極（13）和控制電極（15）之間的電位差，使可變電阻元件（10）的電阻值發(fā)生變化。
【專利說明】神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法。
【背景技術(shù)】
[0002]當(dāng)前，計算機(jī)的發(fā)展是顯著的，在日常生活中的多種多樣的情況下得以利用。但是，現(xiàn)有的計算機(jī)的處理能力的發(fā)展是通過部件的細(xì)微化和算法的進(jìn)化而實現(xiàn)的，基本的信息處理的原理沒有變化。另一方面，這些計算機(jī)，由于其處理方式的特性，對于人能夠容易地進(jìn)行的動作非常不擅長。例如實時的面部識別、空間結(jié)構(gòu)的把握等。這樣的處理的能力，即使使用最新的算法和最大規(guī)模的計算機(jī)，也無法趕上人類的處理速度。
[0003]與此相對，模擬生物體的腦的信息處理方式的計算機(jī)的研究正在進(jìn)行。該處理模型中最基本的是神經(jīng)網(wǎng)絡(luò)(neural network)。
[0004]神經(jīng)網(wǎng)絡(luò)是模擬生物體的神經(jīng)回路網(wǎng)的網(wǎng)絡(luò)。在此，已知在生物體的神經(jīng)細(xì)胞中，對大致一定形狀的脈 沖(尖峰脈沖，spike pulse)進(jìn)行交互。在此，作為實現(xiàn)神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)電路，提出了更忠實地模擬生物體的神經(jīng)回路、對脈沖直接進(jìn)行處理的模型(model)。例如，在專利文獻(xiàn)I中，公開了使用脈沖密度表現(xiàn)信息的模型(脈沖密度模型)。該模型為使用例如一定時間中傳播的脈沖的數(shù)量表現(xiàn)模擬信息的模型。另外，在專利文獻(xiàn)2中，公開了使用脈沖定時表現(xiàn)信息的模型(脈沖定時模型)。該模型是使用脈沖與脈沖的時間間隔來表現(xiàn)模擬信息的模型。在對這些脈沖信號進(jìn)行處理的模型中，神經(jīng)元(neuixm)間交互的信號是一定(固定)波形的信號，所以具有容易硬件化的優(yōu)點。但是，在專利文獻(xiàn)I這樣的脈沖密度模型中需要提取出密度，所以為了表現(xiàn)信息需要花費一定的時間。因此，具有無法表現(xiàn)神經(jīng)元的細(xì)微的時間標(biāo)度下的動作的缺點。另一方面，如專利文獻(xiàn)2這樣的脈沖定時模型，能夠利用一個一個的脈沖表現(xiàn)信息，所以能夠進(jìn)行比脈沖密度模型更高速的信息處理。例如，在非專利文獻(xiàn)I中，公開了通過使用脈沖定時模型，能夠得到比使用脈沖密度模型的情況下更高的性能的情況。
[0005]現(xiàn)有技術(shù)文獻(xiàn)
[0006]專利文獻(xiàn)
[0007]專利文獻(xiàn)1:日本特開平7-114524號公報
[0008]專利文獻(xiàn)2:日本特開2010 - 146514號公報
[0009]非專利文獻(xiàn)
[0010]非專利文獻(xiàn)1: W.Maass、 Networks of Spiking Neurons:The Third Generationof Neural Network Models、”Neural Networks、vol.10、n0.9、pp.1659 一 1671、1997.
【發(fā)明內(nèi)容】
[0011]發(fā)明要解決的技術(shù)問題
[0012]但是，在實現(xiàn)如專利文獻(xiàn)2這樣的脈沖定時模型的神經(jīng)網(wǎng)絡(luò)電路中，具有神經(jīng)網(wǎng)絡(luò)電路整體的電路面積變大的技術(shù)問題。[0013]本發(fā)明的目的在于，提供一種能夠以更少的數(shù)量的元件的結(jié)構(gòu)實現(xiàn)通過脈沖定時進(jìn)行的學(xué)習(xí)動作的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法和神經(jīng)網(wǎng)絡(luò)電路。
[0014]用于解決技術(shù)問題的技術(shù)手段
[0015]為了解決上述技術(shù)問題的一個方式的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，為連接有多個神經(jīng)網(wǎng)絡(luò)電路元件(40)而構(gòu)成的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，其特征在于:上述多個神經(jīng)網(wǎng)絡(luò)電路元件(40)分別具備:被輸入其他的神經(jīng)網(wǎng)絡(luò)電路元件(40)的輸出信號(以下稱為第一輸入信號)的至少I個突觸電路(20)，；和被輸入上述至少I個突觸電路(20)的輸出信號的I個神經(jīng)元電路(30)，上述突觸電路(20)具備可變電阻元件(10)，該可變電阻元件(10)包括:形成于半導(dǎo)體膜(11)上的第一電極(13)和第二電極(14);和在上述半導(dǎo)體膜(11)的主面隔著鐵電體膜(12)形成的控制電極(15)，響應(yīng)上述第一電極(13)和上述控制電極
[15]之間的電位差，上述第一電極(13)和上述第二電極(14)之間的電阻值發(fā)生變化，上述神經(jīng)元電路(30)具備產(chǎn)生雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓(以下稱為規(guī)定的脈沖電壓)的波形發(fā)生電路(32)，，上述第一輸入信號具有上述規(guī)定的脈沖電壓波形，將在與上述可變電阻元件(10)相同的神經(jīng)網(wǎng)絡(luò)電路元件(40)內(nèi)生成的上述規(guī)定的脈沖電壓波形的時間中間點稱為中間點，在以該中間點為基準(zhǔn)在前后具有規(guī)定的時間寬度的期間，以下將該期間稱為允許輸入期間，使上述第一輸入信號能夠輸入至上述可變電阻元件(10)的上述控制電極(15),根據(jù)上述允許輸入期間中的依賴于上述第一輸入信號的輸入時刻而產(chǎn)生的上述第一電極(13)和上述控制電極(15)之間的電位差，使上述可變電阻元件(10)的電阻值發(fā)生變化。
[0016]本發(fā)明的上述目的、其他目的、特征和優(yōu)點，通過參照添加的附圖、根據(jù)以下的優(yōu)選實施方式的詳細(xì)的說明能夠清楚。
[0017]發(fā)明的效果
[0018]根據(jù)本發(fā)明，能夠以更少的數(shù)量的元件結(jié)構(gòu)實現(xiàn)利用脈沖定時進(jìn)行的學(xué)習(xí)動作?！緦＠綀D】
【附圖說明】
[0019]圖1表示實施方式的神經(jīng)網(wǎng)絡(luò)電路元件的框圖。
[0020]圖2A表不實施方式的第一輸入信號電壓和第三輸入信號電壓中使用的雙極性鋸齒形脈沖電壓的形狀。
[0021]圖2B表示實施方式的第一輸入電壓和第三輸入電壓中使用墨西哥帽形脈沖電壓的形狀。
[0022]圖2C表示實施方式的第二輸入電壓中使用的方波脈沖電壓的形狀。
[0023]圖3表示在實施方式的第一開關(guān)中，對圖2A所示的雙極性鋸齒形脈沖電壓Vpke的導(dǎo)通和非導(dǎo)通，使用圖2C所示的方波脈沖電壓VrosT2，進(jìn)行開關(guān)的動作。
[0024]圖4表示實施方式的第一開關(guān)中，對圖2B所示的墨西哥帽形脈沖電壓Vpke的導(dǎo)通和非導(dǎo)通，使用圖2C所示的方波脈沖電壓VrasT2，進(jìn)行開關(guān)的動作。
[0025]圖5A表示實施方式的可變電阻元件的截面圖。
[0026]圖5B表示實施方式的可變電阻元件的電路記號。
[0027]圖6表示實施例的STDP的評價電路。
[0028]圖7A表示實施例1的第一輸入信號電壓中使用的雙極性鋸齒形脈沖電壓的形狀。[0029]圖7B表示實施例1的第二輸入電壓中使用的方波脈沖電壓的形狀。
[0030]圖7C表示實施例1的非對稱型STDP。
[0031 ]圖8表示實施例1的積分動作的評價中使用的電路。
[0032]圖9表示實施例1的非對稱型STDP。
[0033]圖1OA表示實施例2的第一輸入信號電壓中使用的墨西哥帽形脈沖電壓的形狀。
[0034]圖1OB表示實施例2的第二輸入電壓中使用的方波脈沖電壓的形狀。
[0035]圖1OC表示實施例2的對稱型STDP。
[0036]圖1lA表示用于說明階層型神經(jīng)網(wǎng)絡(luò)的概略圖。
[0037]圖1lB表示用于說明相互結(jié)合型神經(jīng)網(wǎng)絡(luò)的概略圖。
[0038]圖12表示用于說明一般的神經(jīng)元的動作的概略圖。
[0039]圖13表示用于說明積分點火(Integrate-and-Fire)型神經(jīng)元的動作的概略圖。
[0040]圖14A表示用于說明STDP的概略圖。
[0041]圖14B表示表現(xiàn)非對稱型STDP的特征的概略圖。
[0042]圖14C表示表現(xiàn)對稱型STDP的概略圖。
[0043]圖15表示專利文獻(xiàn)2公開的電阻變化型存儲元件的截面圖。
[0044]圖16A表示表現(xiàn)專利文獻(xiàn)2公開的現(xiàn)有的STDP神經(jīng)網(wǎng)絡(luò)電路元件的框圖。
[0045]圖16B表示表現(xiàn)專利文獻(xiàn)2公開的現(xiàn)有的突觸電路的STDP部的框圖。
[0046]圖16C表示表現(xiàn)專利文獻(xiàn)2公開的現(xiàn)有的突觸電路的STDP部的框圖。
[0047]圖17表示實施方式的信號發(fā)生電路。
【具體實施方式】
[0048][神經(jīng)網(wǎng)絡(luò)的說明]
[0049]首先，對作為本發(fā)明的實施方式的前提的神經(jīng)網(wǎng)絡(luò)和用于實現(xiàn)該網(wǎng)絡(luò)的現(xiàn)有的神經(jīng)網(wǎng)絡(luò)電路的技術(shù)問題進(jìn)行更詳細(xì)的說明。神經(jīng)網(wǎng)絡(luò)是模擬生物體的神經(jīng)回路網(wǎng)的網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)以模擬作為神經(jīng)回路網(wǎng)的功能單位的神經(jīng)細(xì)胞的神經(jīng)元為功能單位，以網(wǎng)絡(luò)狀配置多個神經(jīng)元而進(jìn)行信息處理。例如有如圖1lA所示以階層狀連接神經(jīng)元100而得的階層型神經(jīng)網(wǎng)絡(luò)、如圖1lB所示將神經(jīng)元100彼此相互連接而得的相互結(jié)合型神經(jīng)網(wǎng)絡(luò)(霍普菲爾德網(wǎng)絡(luò)，Hopfield network)。
[0050]神經(jīng)網(wǎng)絡(luò)大體上具有兩種功能。第一種為從輸入得到輸出的“處理”功能，第二種為將神經(jīng)網(wǎng)絡(luò)整體的輸入輸出的關(guān)系設(shè)定為所期望的關(guān)系的“學(xué)習(xí)”功能。
[0051][處理功能]
[0052]在此以階層型神經(jīng)網(wǎng)絡(luò)電路為例對信息處理的動作進(jìn)行說明。圖1lA所示的階層型神經(jīng)網(wǎng)絡(luò)包括輸入層400、中間層500、輸出層600三個層。各層至少包含I個神經(jīng)元100。輸入層400與中間層500的各神經(jīng)元100連接，同樣地，中間層500的各神經(jīng)元100與輸出層的各神經(jīng)元100連接。輸入信號200向輸入層400輸入，以中間層500、輸出層600的順序傳播，從輸出層600輸出。在神經(jīng)元100，對輸入值進(jìn)行后述的規(guī)定的運算，將其輸出值向下一個層的神經(jīng)元傳播。由此，從輸出層600輸出的輸出值，成為網(wǎng)絡(luò)的最終輸出300。該一系列動作為神經(jīng)網(wǎng)絡(luò)的信息處理，包含于中間層500的神經(jīng)元足夠多時，能夠?qū)崿F(xiàn)任意的輸入輸出。圖1lA所示的階層型神經(jīng)網(wǎng)絡(luò)具備3個層，但也可以具備多個中間層500。[0053]接著，對作為神經(jīng)網(wǎng)絡(luò)的構(gòu)成單位的神經(jīng)元進(jìn)行說明。圖12為神經(jīng)元的示意圖。神經(jīng)元100具備突觸(synapse)部121、122和神經(jīng)元部130。此外,突觸部的數(shù)量等于與前級連接的神經(jīng)元的數(shù)量，即輸入信號的數(shù)量。突觸部121、122分別對來自外部的多個輸入信號111、112進(jìn)行加權(quán)。加權(quán)的值(W1 2)稱為連接權(quán)重。神經(jīng)元部130，對由突觸部加權(quán)后的輸入信號的和進(jìn)行計算，將對和的值進(jìn)行非線性運算而得的值輸出。在此，來自外部的輸入信號分別表示為Xi (1、2、……、η)。η等于輸入信號的數(shù)量。如式I所示，突觸部針對各輸入信號，對對應(yīng)的連接權(quán)重的值K (1、2、……、η)進(jìn)行乘法運算，神經(jīng)元部對它們的和Vn進(jìn)行計算。
[0054]Vn= XwiXi (式 I)
[0055]在此，Σ為關(guān)于i的和記號。
[0056]進(jìn)而神經(jīng)元部，將對求得的和Vn進(jìn)行非線性運算f的結(jié)果作為輸出值y。由此神經(jīng)元的輸出y如式2所示。
[0057]y = f (Vn)(式 2)
[0058]非線性函數(shù)f使用具有飽和特性的單調(diào)增加函數(shù)。例如，多使用階躍函數(shù)(階梯函數(shù))或 S 型函數(shù)(sigmoid function)。
[0059]神經(jīng)網(wǎng)絡(luò)中，多個神經(jīng)元能夠同時進(jìn)行運算，所以具有并行處理性。即，其特長在于，與現(xiàn)有的計算機(jī)的逐次信息處理不同，能夠進(jìn)行并行信息處理。
[0060][學(xué)習(xí)功能]
[0061]神經(jīng)網(wǎng)絡(luò)的重要的特征，不僅在于如上所述的從輸入得到輸出的“處理”功能，還在于具備“學(xué)習(xí)”功能這方面。在此所說的學(xué)習(xí)，是指通過對上述的突觸的連接權(quán)重進(jìn)行更新，將神經(jīng)網(wǎng)絡(luò)整體的輸入輸出的關(guān)系設(shè)定為所期望的關(guān)系。
[0062][脈沖神經(jīng)元模型]
[0063]上面詳細(xì)敘述了神經(jīng)網(wǎng)絡(luò)的處理功能和學(xué)習(xí)功能。在上面說明中使用的模型中，在神經(jīng)元間傳播的信號，是將電流或電位的值以模擬值表現(xiàn)的信號。與此相對，已知在生物體的神經(jīng)細(xì)胞中，對大致一定形狀的脈沖(尖峰脈沖)進(jìn)行交互。在此，提出了更忠實地模擬生物體的神經(jīng)回路，對脈沖直接處理的模型。例如，在專利文獻(xiàn)I中，公開了使用脈沖密度表現(xiàn)信息的模型(脈沖密度模型)。該模型為使用例如一定時間中傳播的脈沖的數(shù)量表現(xiàn)模擬信息的模型。另外，在專利文獻(xiàn)2中，公開了使用脈沖定時表現(xiàn)信息的模型(脈沖定時模型)。該模型是使用脈沖與脈沖的時間間隔來表現(xiàn)模擬信息的模型。在對這些脈沖信號進(jìn)行處理的模型中，神經(jīng)元間交互的信號是一定(固定)波形的信號，所以具有后述的容易硬件化的優(yōu)點。但是，在脈沖密度模型中需要提取出密度，所以為了表現(xiàn)信息需要花費一定的時間。因此，具有無法表現(xiàn)神經(jīng)元的細(xì)微時間標(biāo)度下的動作的缺點。另一方面，脈沖定時模型，能夠利用一個一個的脈沖表現(xiàn)信息，所以能夠進(jìn)行比脈沖密度模型更高速的信息處理。例如，在非專利文獻(xiàn)I中，公開了通過使用脈沖定時模型，能夠得到比使用脈沖密度模型的情況下更高的性能的情況。
[0064]如上所述，作為能夠適用于使用脈沖的信息表現(xiàn)的神經(jīng)元的動作模型，提出了積分點火(Integrate-and-Fire)模型。在此,對具有2個輸入端子的神經(jīng)元的積分點火動作，用圖13進(jìn)行說明。
[0065]如圖13所示，從外部或其他的神經(jīng)元，將輸入脈沖X1輸入至突觸1、將輸入脈沖X2輸入至突觸2時，在輸入脈沖的時刻，在各個突觸部出現(xiàn)單峰性的電壓變化。這樣的突觸部的電位稱為突觸后電位(Post-synaptic potential下面簡稱為“PSP”)。圖13表示突觸I和突觸2的PSP的時間變化P1 &)和己(t)。PSP的高度與突觸結(jié)合強(qiáng)度成比例。在此t表示時間。
[0066]神經(jīng)元對來自與之連接的所有的突觸的PSP的總和進(jìn)行運算。這被稱為神經(jīng)元的內(nèi)部電位Vn (t)。向神經(jīng)元的輸入端子為2個時，如圖13所示，內(nèi)部電位Vn (USP1 (t)和己(t)之和。作為一般的表示，內(nèi)部電位Vn (t)如式3所示。
[0067]Vn (t) = XPi (t)(式 3)
[0068]在此，Pi為突觸i的PSP，Σ為關(guān)于i的和記號。
[0069]如圖13所示，內(nèi)部電位Vn超過預(yù)先決定的閾值Vth時，該神經(jīng)元輸出脈沖信號y。這被稱為神經(jīng)元的“點火(Fire)”。脈沖輸出y從神經(jīng)元輸出、經(jīng)過一定的傳遞時間tDelay后，輸入至其他的神經(jīng)元。
[0070]使用由脈沖定時實現(xiàn)的信息表現(xiàn)時，即使在學(xué)習(xí)動作的突觸連接權(quán)重的更新中也能夠利用脈沖定時。特別是，使用尖峰定時突觸可塑性(Spike-timing dependentsynaptic plasticity,以下簡稱為“STDP”)的性質(zhì)的學(xué)習(xí)動作受到注目。STDP的特征在于，在著眼于某突觸I時，依賴于將信號送至突觸I的神經(jīng)元(前神經(jīng)元)點火的時刻，和接收在突觸I加權(quán)后的信號的神經(jīng)元(后神經(jīng)元)點火的時刻，突觸I的突觸連接權(quán)重發(fā)生變化。在實際的生物的神經(jīng)細(xì)胞中，能夠觀測到幾種STDP。
[0071]在此，使用圖14A，對STDP進(jìn)行說明。如圖14A所示，設(shè)連接于突觸120的前神經(jīng)元點火的時刻為tPKE，令后神經(jīng)元點火的時刻為trosT。STDP是指，將此時的tPKE和trosT的時間差trasT-tPKE#為函數(shù)，突觸的結(jié)合強(qiáng)度w變化的特性。已知STDP大體上分為2種類。圖14B所示的特性為非對稱型STDP，突觸結(jié)合強(qiáng)度的變化量Aw不僅依賴于2個脈沖的時間差tPQST-tPKE，還依賴于兩個脈沖的時間順序。圖14C所示的特性為對稱型STDP，突觸結(jié)合強(qiáng)度的變化量Aw僅由2個脈沖的時間差tP()ST-tPKE的函數(shù)決定，不依賴于脈沖的順序。
[0072][集成電路化]
[0073]上面對神經(jīng)網(wǎng)絡(luò)的概況進(jìn)行了詳細(xì)敘述，但構(gòu)成神經(jīng)網(wǎng)絡(luò)時，上述的神經(jīng)元的功能如何實現(xiàn)是一個問題。在現(xiàn)有技術(shù)中，多數(shù)情況下使用現(xiàn)有型計算機(jī)，使用通過軟件處理實現(xiàn)神經(jīng)元的功能的方案。但是，在這種情況下，多個神經(jīng)元的處理由CPU分時進(jìn)行，所以本來的并行信息處理并沒有進(jìn)行。
[0074]因此，使用硬件構(gòu)成神經(jīng)元而實現(xiàn)集成電路化是必須的。
[0075]如上所述，表現(xiàn)基于利用脈沖定時實現(xiàn)的信息表現(xiàn)的神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)較高的性能。另外，神經(jīng)元間交互的信號是一定(固定)波形的信號，所以容易硬件化。所以，近年來，安裝有使用STDP的學(xué)習(xí)功能的神經(jīng)網(wǎng)絡(luò)的硬件化，即關(guān)于神經(jīng)網(wǎng)絡(luò)電路的實現(xiàn)的研究得以廣泛進(jìn)行。在包含使用STDP的學(xué)習(xí)功能的現(xiàn)有的神經(jīng)網(wǎng)絡(luò)電路中，實現(xiàn)適于將突觸結(jié)合強(qiáng)度作為模擬量存儲的元件是最大的技術(shù)問題。對此，例如在專利文獻(xiàn)2中，公開了將可變電阻型存儲元件的可變電阻值作為突觸連接權(quán)重存儲的方案。圖15為專利文獻(xiàn)2公開的可變電阻型存儲元件720的截面示意圖?？勺冸娮栊痛鎯υ?20具有由上部電極721和下部電極723夾著金屬氧化膜722的結(jié)構(gòu)。該元件是在上部電極721和下部電極723之間施加電壓時，依賴于流過的電流值、上部電極721和下部電極723之間的電阻值非易失地變化的元件。
[0076]圖16A是專利文獻(xiàn)2公開的現(xiàn)有的STDP神經(jīng)網(wǎng)絡(luò)電路元件的框圖。在此，神經(jīng)網(wǎng)絡(luò)電路元件，是用硬件對作為神經(jīng)網(wǎng)絡(luò)的功能單位的神經(jīng)元進(jìn)行再現(xiàn)的元件。神經(jīng)網(wǎng)絡(luò)電路元件700包括多個突觸電路710和I個神經(jīng)元電路730。突觸電路710使用可變電阻型存儲元件720對突觸連接權(quán)重進(jìn)行存儲。另外，通過上述方案對可變電阻型存儲元件720的電阻值進(jìn)行變更，實現(xiàn)學(xué)習(xí)功能。圖16B和圖16C是關(guān)于圖16A中表示的STDP部的具體結(jié)構(gòu)在專利文獻(xiàn)2中例示的電路圖。
[0077]由圖1lA和圖1lB可知，為了構(gòu)成神經(jīng)網(wǎng)絡(luò)電路，針對I個神經(jīng)元電路，需要多個輸入端子。另外，隨著神經(jīng)網(wǎng)絡(luò)電路整體的神經(jīng)網(wǎng)絡(luò)電路元件的數(shù)量的增加，針對I個神經(jīng)元電路所需的輸入端子的數(shù)量增加。針對I個神經(jīng)元電路，需要與輸入端子的數(shù)量相同數(shù)量的突觸電路。因此，在構(gòu)成由多個神經(jīng)網(wǎng)絡(luò)電路元件形成的神經(jīng)網(wǎng)絡(luò)電路時，需要非常多的突觸電路。例如，在圖1lB所示的相互結(jié)合型神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元的數(shù)量為η時需要的突觸的數(shù)量為η的2次方。因此，為了使神經(jīng)網(wǎng)絡(luò)電路的面積更小，突觸電路的結(jié)構(gòu)的簡略化是重要的。
[0078]在現(xiàn)有的神經(jīng)網(wǎng)絡(luò)電路元件700中，在突觸電路710中生成向神經(jīng)元電路730傳播的信號，和用于通過STDP對電阻變化型存儲元件720的突觸權(quán)重進(jìn)行更新的信號。例如，在圖16Α中的脈沖發(fā)生部或STDP部生成波形。因此，在突觸電路內(nèi)，需要圖16Β和圖16C所示的信號發(fā)生器和運算電路，突觸電路710的結(jié)構(gòu)將變得大規(guī)?；?br> [0079]由以上的方面可知，在現(xiàn)有的突觸電路710及其驅(qū)動方法中，存在突觸電路710的面積變得極大的技術(shù)問題，使用該電路的神經(jīng)網(wǎng)絡(luò)電路的規(guī)模也變得很大。
[0080]針對上述現(xiàn)有的技術(shù)問題，本發(fā)明的
【發(fā)明者】們，經(jīng)過銳意研究，得到了下面的實施方式，作為能夠以更少的數(shù)量的元件的結(jié)構(gòu)實現(xiàn)通過STDP實現(xiàn)的學(xué)習(xí)動作的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法和神經(jīng)網(wǎng)絡(luò)電路。
[0081]本發(fā)明的
【發(fā)明者】們，注意到在現(xiàn)有的神經(jīng)網(wǎng)絡(luò)電路元件700中，在突觸電路710內(nèi)生成用于更新突觸權(quán)重的非線性波形，是由于輸入至突觸電路730的來自其他的神經(jīng)網(wǎng)絡(luò)電路元件的信號(在此稱為其他輸入信號)是尖峰脈沖本身(圖11的輸入脈沖Xl)。即，在現(xiàn)有的結(jié)構(gòu)中，由于其他的輸入信號為尖峰脈沖，所以為了與和輸入的該突觸電路710相同的神經(jīng)網(wǎng)絡(luò)電路元件700生成的尖峰脈沖(在此稱為自身輸入信號)進(jìn)行比較，需要將其他輸入信號作為觸發(fā)器由該突觸電路710另外產(chǎn)生非線性波形。
[0082]在此，本發(fā)明的
【發(fā)明者】們得出了以下結(jié)論:通過令神經(jīng)網(wǎng)絡(luò)電路元件的輸出信號自身為非線性波形，能夠不再需要在神經(jīng)網(wǎng)絡(luò)電路元件的突觸電路接收其他的輸入信號之后再轉(zhuǎn)換為非線性波形。進(jìn)而，得出了在對非線性波形彼此進(jìn)行比較時，為了有效地檢測出輸入時刻差，優(yōu)選使用后述的雙極性鋸齒形波形(bipolar sawtooth waveform)或墨西哥帽形波形(mexican-hat waveform)作為該非線性波形的結(jié)論。
[0083]以下參照【專利附圖】
【附圖說明】本發(fā)明的實施方式的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法。
[0084](實施方式)
[0085]圖1表示實施方式的神經(jīng)網(wǎng)絡(luò)電路元件40的框圖。I個神經(jīng)網(wǎng)絡(luò)電路元件40包括至少I個輸入端子51與輸入端子51數(shù)量相同的突觸電路20、1個神經(jīng)元電路30和I個輸出端子52。另外，神經(jīng)網(wǎng)絡(luò)電路，如圖11A、圖1lB所示，由多個神經(jīng)網(wǎng)絡(luò)電路元件40連接構(gòu)成。具體而言，神經(jīng)網(wǎng)絡(luò)電路元件40的輸出端子52，與其他的神經(jīng)網(wǎng)絡(luò)電路元件40的輸入端子51連接。
[0086]神經(jīng)網(wǎng)絡(luò)電路元件40的輸入端子51，與突觸電路20的第一輸入端子41連接。突觸電路20的輸出端子44，與神經(jīng)元電路30的輸入端子45連接。神經(jīng)元電路30的第一輸出端子46，與神經(jīng)網(wǎng)絡(luò)電路元件40的輸出端子52連接。此外，在圖1中，為便于觀察附圖，僅記載了 I個神經(jīng)元電路30和I個突觸電路20，但實際上在I個神經(jīng)元電路30連接有多個突觸電路20。
[0087]神經(jīng)元電路30，包括積分電路31、波形發(fā)生電路32和延遲電路33。
[0088]神經(jīng)元電路30的輸入端子44，與積分電路31連接。積分電路31，對從與神經(jīng)元電路30連接的多個突觸電路20流入的電流的和進(jìn)行運算。而且，運算值超過規(guī)定的值時，向波形發(fā)生電路32輸出信號(觸發(fā)器信號)。
[0089]信號發(fā)生電路32，以來自積分電路31的信號作為觸發(fā)器，生成非線性波形脈沖電壓Vram和開關(guān)脈沖電壓Vtost2。非線性波形脈沖電壓Vrosn，例如為圖2A或圖2B所示的形狀，或?qū)⑦@些進(jìn)行符號反轉(zhuǎn)而形成的形狀。在此將圖2A所示的非線性波形脈沖電壓稱為“雙極性鋸齒形脈沖電壓”。雙極性鋸齒形脈沖電壓的特征在于，最初為O伏特的電位，隨時間的經(jīng)過而下降至規(guī)定的負(fù)電位，其后上升到規(guī)定的正電位，然后再恢復(fù)為O伏特。另一方面，將圖2B所示的非線性波形脈沖電壓稱為“墨西哥帽形脈沖電壓”。在為墨西哥帽形脈沖電壓的情況下，最初為O伏特的電位，隨時間的經(jīng)過而下降至規(guī)定的負(fù)電位，然后上升到規(guī)定的正電位。其后，電位下降到規(guī)定的負(fù)值后，再返回O伏特。在開關(guān)脈沖電SVtost2，能夠使用例如圖2C所示的方波脈沖電壓。
[0090]例如，信號發(fā)生電路32，如圖17所示，具備以來自積分電路31的輸出信號為觸發(fā)器進(jìn)行驅(qū)動的數(shù)字/模擬轉(zhuǎn)換器321，和存儲有用于生成雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓的數(shù)字波形數(shù)據(jù)的數(shù)字存儲器322。數(shù)字/模擬轉(zhuǎn)換器321，在輸入來自積分電路31的輸出信號時，從數(shù)字存儲器322讀出數(shù)字波形數(shù)據(jù)，將其轉(zhuǎn)換為模擬波形輸出。
[0091]非線性波形脈沖電壓Vrosn通過延遲電路32經(jīng)過規(guī)定的延遲時間后，輸出至第一輸出端子45。神經(jīng)元電路30的第一輸出端子45，與神經(jīng)網(wǎng)絡(luò)電路元件40的輸出端子52連接，所以延遲電路33的輸出信號成為神經(jīng)網(wǎng)絡(luò)電路元件40的輸出信號。而且，該輸出信號作為第一輸入信號電壓(即非線性波形脈沖電壓Vpke)被輸入至其他的神經(jīng)網(wǎng)絡(luò)電路元件(省略圖示)的突觸電路的第一輸入端子。開關(guān)脈沖電壓Vtost2，輸出至神經(jīng)元電路30的第二輸出端子46。第二輸出端子46，與連接至神經(jīng)元電路30的、所有的突觸電路20的第二輸入端子42連接,作為第二輸入信號電壓60被輸入。
[0092]突觸電路20，具備第一開關(guān)22、第二開關(guān)21、后述的可變電阻元件10和規(guī)定的直流電壓源23。突觸電路20的第一輸入端子41，與第一開關(guān)22的輸入端子26連接。突觸電路20的第二輸入端子42，與第一開關(guān)的控制端子28連接。
[0093]第一開關(guān)22的輸出端子27，與可變電阻元件10的控制電極15連接。突觸電路20的輸出端子43，與可變電阻元件10的第二電極14連接。突觸電路20的輸出端子43，與神經(jīng)元電路30的輸入端子44連接。突觸電路20的第一輸入信號電壓60，為來自其他的神經(jīng)網(wǎng)絡(luò)電路元件(省略圖示)的非線性波形脈沖電壓VPKE。另外，向突觸電路20的第二輸入端子42輸入的第二輸入信號電壓70，為相同的神經(jīng)網(wǎng)絡(luò)電路元件40內(nèi)的神經(jīng)元電路30的波形生成電路32生成的開關(guān)脈沖電壓VP()ST2。
[0094]在此，本實施方式的神經(jīng)網(wǎng)絡(luò)電路元件40的結(jié)構(gòu)中的重點在于，波形生成均由神經(jīng)元電路30進(jìn)行，使用生成的非線性波形脈沖電壓Vrosn (輸入至其他的神經(jīng)網(wǎng)絡(luò)電路元件40的非線性波形脈沖電壓Vpke)和開關(guān)脈沖電壓VrosT2進(jìn)行處理和學(xué)習(xí)動作。由此能夠使突觸電路20簡化。
[0095]接著，對可變電阻元件10進(jìn)行說明。圖5A和圖5B分別表示可變電阻元件10的截面示意圖和電路記號?？勺冸娮柙?0具備半導(dǎo)體膜11、鐵電體膜12、第一電極13、第二電極14和控制電極15。Z軸為鐵電體膜12的法線方向。X軸為與Z軸正交的方向。另夕卜，對可變電阻元件10的電路記號如圖5B所示地標(biāo)記。在圖1中，基于圖5B的標(biāo)記表示組入了該可變電阻元件10的神經(jīng)網(wǎng)絡(luò)電路元件40。
[0096]半導(dǎo)體膜11的材料例如為ZnO、GaN或InGaZnO。鐵電體膜12的材料例如為Pb(Zr、Ti)03、Sr (B1、Ta) 0，或Bi12TiO2015第一電極13、第二電極14和控制電極15例如為由鉬膜和鈦膜構(gòu)成的層疊體。
[0097]半導(dǎo)體膜11、鐵電體膜12和控制電極15沿Z軸層疊。在半導(dǎo)體膜11的表側(cè)的面，配置有第一電極13和第二電極14。
[0098]接著，對于本實施方式的、可變電阻元件10的可變電阻值，用圖5A進(jìn)行說明?？勺冸娮柙?0的可變電阻值，為第一電極13和第二電極14之間的電阻值。鐵電體膜12的一部分具有上方向的極化方向時，該一部分上層疊的半導(dǎo)體膜11的部分具有低電阻。另一方面，鐵電體膜12的一部分具有下方向的極化方向時，該一部分上層疊的半導(dǎo)體層11的部分具有高電阻。此時，第一電極13和第二電極14之間的電阻值，成為第一電極13和第二電極14所夾的區(qū)域的半導(dǎo)體的電阻值。由此，根據(jù)該區(qū)域之下層疊的鐵電體膜12中具有上方向和下方向的極化方向的區(qū)域的比例，第一電極13和第二電極14之間的電阻值連續(xù)地變化。
[0099]接著，對于本實施方式的可變電阻元件10的電阻值的控制方法，用圖5A進(jìn)行說明。可變電阻元件10中，通過在第一電極13、第二電極14和控制電極15之間設(shè)置電位差，使鐵電體膜12的極化方向發(fā)生變化，控制第一電極13和第二電極14之間的電阻值。例如，以第一電極13和第二電極14為基準(zhǔn)，在兩電極和控制電極15之間設(shè)置正的電位差時，通過鐵電體膜12的極化實現(xiàn)的電場的朝向容易朝向上方向(半導(dǎo)體膜11側(cè))。相反，在設(shè)置負(fù)的電位差時，通過鐵電體膜12極化實現(xiàn)的電場的朝向容易朝向下方向(控制電極15側(cè))。另外，施加的電位差的絕對值越大，通過電位差實現(xiàn)的鐵電體膜12的極化的變化量越大。因此，設(shè)置正的電位差時，第一電極13和第二電極14之間的電阻值減少，設(shè)置負(fù)的電位差時第一電極13和第二電極14之間的電阻值增加，這些電阻值的變化隨著施加的電位差的絕對值越大而越顯著。在此，上方向是指半導(dǎo)體膜11層疊的方向，下方向是指控制電極15層疊的方向。
[0100]接著對神經(jīng)網(wǎng)絡(luò)電路元件40的動作的詳細(xì)情況進(jìn)行說明。
[0101 ] 首先對處理動作進(jìn)行說明。
[0102]在“處理”動作期間，根據(jù)突觸電路的第二輸入信號電壓70，第一開關(guān)22，保持可變電阻元件10的控制電極15和突觸電路20的第一輸入端子41之間為非導(dǎo)通的狀態(tài)。
[0103]另外，第二開關(guān)21，在作為第一輸入信號的非線性波形脈沖電壓Vpke輸入至突觸電路20的期間，將直流電壓源(第一基準(zhǔn)電壓源)23和可變電阻元件10的第一電極13連接。即，從其他的神經(jīng)網(wǎng)絡(luò)電路元件(省略圖示)，非線性波形脈沖電壓Vpke作為第一輸入信號電壓60被向突觸電路20輸入時,根據(jù)該非線性波形脈沖電壓Vpke,第二開關(guān)21開閉。例如，第二開關(guān)21，在非線性波形脈沖電壓Vpke為規(guī)定的電壓以上的HI電平的期間為閉合狀態(tài)，在其以外的期間為打開狀態(tài)。另外，突觸電路20的第二電極14，成為與接地電壓(以與第一基準(zhǔn)電壓不同的方式，從第二基準(zhǔn)電壓源供給的第二基準(zhǔn)電壓)相等的電位。
[0104]第2開關(guān)21為閉合狀態(tài)時，直流電壓源23和可變電阻元件10的第一電極13連接。可變電阻元件10，如上所述，具有第一電極13和第二電極14之間的電阻值可變的特性。通過使第二開關(guān)21為閉合狀態(tài)，在可變電阻元件10的第一電極13和第二電極14之間施加有電源電壓VDD，從直流電壓源23向可變電阻元件10的第二電極14，與可變電阻元件10的當(dāng)前的傳導(dǎo)率(電阻值的倒數(shù))成比例的電流流過，輸入至神經(jīng)元電路30。輸入至神經(jīng)元電路30的電流的大小，與突觸連接權(quán)重w成比例，表現(xiàn)圖13的PSP (P1 (t)、P2 (t))。由此，在本實施方式中，可變電阻元件10的傳導(dǎo)率(電阻值的倒數(shù))相當(dāng)于突觸連接權(quán)重W。
[0105]向這樣的神經(jīng)元電路30的輸入，是從多個其他的神經(jīng)網(wǎng)絡(luò)電路元件經(jīng)由突觸電路20非同步地施加的。來自這些多個突觸電路20的輸入電流，在神經(jīng)元電路30的積分電路31進(jìn)行時間空間求和(時間求和和空間求和)。由時間空間求和生成的積分電壓視為內(nèi)部電位Vn。內(nèi)部電位Vn超過規(guī)定的閾值電壓Vth時，波形發(fā)生電路32生成脈沖電壓(VrasT1、VresT2)。其中，由波形發(fā)生電路32生成的非線性波形脈沖電壓Vrosn，在經(jīng)過由延遲電路33設(shè)定的規(guī)定的延遲時間后，向其他的神經(jīng)網(wǎng)絡(luò)電路元件電路(省略圖示)的突觸電路的第一輸入端子作為第一輸入信號電壓Vpke而施加。該延遲時間相當(dāng)于神經(jīng)元模型中的傳遞延遲時間 tDelay。
[0106]接著，對學(xué)習(xí)動作，特別是利用STDP的學(xué)習(xí)動作進(jìn)行說明。
[0107]在“學(xué)習(xí)”動作時，神經(jīng)元電路30的波形發(fā)生電路32與非線性波形脈沖電壓Vpqsti同時生成開關(guān)脈沖電壓VPQST2。例如，以圖2A和圖2B或圖2C的各個中分別以虛線表示的時刻Tin為相同時刻的方式,輸出脈沖電壓。開關(guān)脈沖電壓Vtot2作為第二輸入信號電壓70向突觸電路20的第一開關(guān)22的控制端子28施加。另外，其他的神經(jīng)網(wǎng)絡(luò)電路元件的非線性波形脈沖電壓Vpke,作為第一輸入信號電壓60被向突觸電路20的第一開關(guān)22的輸入端子26輸入。在突觸電路20，通過開關(guān)脈沖電壓VrosT2，對第一開關(guān)22進(jìn)行切換。開關(guān)脈沖電壓Vtot2，以相同的神經(jīng)網(wǎng)絡(luò)電路元件40內(nèi)生成的非線性波形脈沖電壓Vpke的時間中間點為中間點，以該中間點為基準(zhǔn)在前后具有規(guī)定的時間寬度的期間，成為規(guī)定的電壓電平(HI電平)。
[0108]接著，對在具備可變電阻元件10的突觸電路20中實現(xiàn)STDP的方法，用圖1進(jìn)行說明。例如，考慮開關(guān)脈沖電壓Vtost2為HI電平期間，通過第一開關(guān)22使可變電阻元件10的控制電極15和突觸電路20的第一輸入端子41連接的情況。即，開關(guān)脈沖電壓VrosT2為HI電平的期間，為第一信號電壓Vpke能夠輸入至可變電阻元件10的控制電極15的允許輸入期間。此時，在通過開關(guān)脈沖電SVrosT2，第一開關(guān)22在使可變電阻元件10的控制電極15和第一輸入端子41導(dǎo)通的期間，非線性波形脈沖電壓Vpke被輸入時，僅在該期間，對可變電阻元件10的控制電極15施加脈沖電壓。因此，非線性波形脈沖電壓Vpke和開關(guān)脈沖電壓Vtot2在時間上疊加輸入，由此在可變電阻元件10的控制電極15施加有有限的電壓。即，通過在第一電極13和第二電極14與控制電極15之間設(shè)置有電位差，所以根據(jù)該電位差，可變電阻元件10的電阻值變更。如上所述，在本實施方式中，可變電阻元件10的電阻值的倒數(shù)(傳導(dǎo)率)表示突觸結(jié)合強(qiáng)度，所以能夠進(jìn)行對該電阻值的變化對突觸電路20的突觸結(jié)合強(qiáng)度進(jìn)行更新的“學(xué)習(xí)”動作。
[0109]另外，根據(jù)非線性波形脈沖電壓Vpke和開關(guān)脈沖電壓Vtot2被施加的時刻，施加至可變電阻元件10的控制電極15的脈沖電壓的波形發(fā)生變化。如上所述，可變電阻元件10的電阻值變化的程度，依賴于施加的電壓的大小、即電壓波形。因此，依賴于根據(jù)2個脈沖電壓被施加的時刻而變化的生成波形的形狀，電阻值變化的程度也變化。在本實施方式中，通過將圖2A所示的雙極性鋸齒形脈沖電壓作為非線性波形脈沖電壓使用，能夠?qū)崿F(xiàn)圖14B所示的非對稱型的STDP，通過使用圖2B所示的墨西哥帽形脈沖電壓作為非線性波形脈沖電壓，能夠?qū)崿F(xiàn)圖14C所示的對稱型的STDP。
[0110]令非線性波形脈沖電壓Vpke為圖2A所示的雙極性鋸齒形脈沖電壓，令開關(guān)脈沖電壓VP(BT2為圖2C所不的方波脈沖電壓時,對于第一開關(guān)22的動作,在圖3中總結(jié)。在此,僅考慮在開關(guān)脈沖電壓Vtost2為HI電平期間，非線性波形脈沖電壓Vpke施加至可變電阻元件10的控制電極15的情況。通過第一開關(guān)22的動作，令施加至控制電極15的電壓為Vsample。非線性波形脈沖電壓Vpke與開關(guān)脈沖電壓Vtost2的輸入時刻差trosT；rtpRE變化時，Vsample的波形也發(fā)生變化。例如tresT2-tPKE < O時(非線性波形脈沖電壓Vpke比開關(guān)脈沖電壓Vresn更早被輸入時)，非線性波形脈沖電壓Vpke和開關(guān)脈沖電壓Vtot2在時間上疊加時,Vsample的負(fù)方向的電位差變化變大?？勺冸娮柙?0的、在第一電極13和第二電極14與控制電極15之間設(shè)置的負(fù)電位差越大，傳導(dǎo)率(電阻值的倒數(shù))減小得越大。由此，Vsample的負(fù)方向的變化增大時，傳導(dǎo)率(電阻值的倒數(shù))大幅減小。另一方面，tP()ST2-tPKE > O時(非線性波形脈沖電壓Vpke比開關(guān)脈沖電壓Vresn更晚被輸入時)，非線性波形脈沖電壓Vpke和開關(guān)脈沖電壓Vkbt2在時間上疊加時，Vsample的正方向的電位差變化變大。可變電阻元件10的、在第一電極13和第二電極14與控制電極15之間設(shè)置的正電位差越大，傳導(dǎo)率(電阻值的倒數(shù))增加得越大。由此，Vsample的正方向的變化增大時，傳導(dǎo)率(電阻值的倒數(shù))大幅增加。
[0111]同樣地，令非線性波形脈沖電壓Vpke為圖2B所示的墨西哥帽形脈沖電壓，令開關(guān)脈沖電壓Vtost2為圖2C所不的方波脈沖電壓時,對于第一開關(guān)22的動作,在圖4中總結(jié)。在此，僅考慮在開關(guān)脈沖電壓VrosT2為HI電平期間(即上述的允許輸入期間)，非線性波形脈沖電壓Vpke施加至可變電阻元件10的控制電極15的情況。非線性波形脈沖電壓Vpke與開關(guān)脈沖電壓VrosT2的輸入時刻差1_2-、變化時，Vsample的波形也發(fā)生變化。例如，在非線性波形脈沖電壓Vpke的電位為正值的時刻，施加開關(guān)脈沖電壓Vtot2時，Vsample的正方向的電位差變化變大。可變電阻元件10的、在第一電極13和第二電極14與控制電極15之間設(shè)置的正電位差越大，傳導(dǎo)率(電阻值的倒數(shù))增加得越大。由此，Vsample的正方向的變化增大時，傳導(dǎo)率(電阻值的倒數(shù))大幅增加。另一方面，在非線性波形脈沖電壓Vpke的電位為負(fù)值的時刻，施加開關(guān)脈沖電壓Vtost2時，Vsaniple的負(fù)方向的電位差變化變大?？勺冸娮柙?0的、在第一電極13和第二電極14與控制電極15之間設(shè)置的負(fù)電位差越大，傳導(dǎo)率(電阻值的倒數(shù))減小得越大。由此，Vsample的負(fù)方向的變化增大時，傳導(dǎo)率(電阻值的倒數(shù))大幅減小。
[0112]這樣通過使用開關(guān)脈沖電壓Vtost2對第一開關(guān)22進(jìn)行切換，基于在相同的神經(jīng)網(wǎng)絡(luò)電路元件40內(nèi)生成的開關(guān)脈沖電壓(第二輸入信號電壓)VrosT2和從其他的神經(jīng)網(wǎng)絡(luò)電路兀件輸入的非線性波形脈沖電壓(第一輸入信號電壓)Vpee的輸入時刻差,在可變電阻兀件10的第一電極13、第二電極14和控制電極15之間設(shè)置有依賴于該輸入時刻差的電位差。根據(jù)這樣設(shè)置的電位差，在可變電阻元件10依賴于輸入時刻差的電阻值的調(diào)制得以實現(xiàn)。
[0113]這樣，將從其他的神經(jīng)網(wǎng)絡(luò)電路元件輸入的作為雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓的非線性脈沖波形電壓Vpke，與在相同神經(jīng)網(wǎng)絡(luò)電路元件40內(nèi)的神經(jīng)元電路30生成的雙極性鋸齒形脈沖電壓Vrasn的生成時刻相應(yīng)的開關(guān)脈沖電壓Vtost2進(jìn)行比較，所以不需要由突觸電路20自身生成該比較用的波形，能夠使突觸電路20的面積減小。由此，能夠使神經(jīng)網(wǎng)絡(luò)電路元件40自身的電路面積減小。由此，能夠以更少的數(shù)量的元件結(jié)構(gòu)實現(xiàn)利用脈沖定時進(jìn)行的學(xué)習(xí)動作。
[0114]另外，作為比較對象的非線性脈沖波形電壓Vpke、使用具有2個極性、以O(shè)伏特的位置為基準(zhǔn)成為點對稱的雙極性鋸齒形脈沖電壓波形，或者使用以O(shè)伏特的時間為基準(zhǔn)成為線對稱的墨西哥帽形脈沖電壓波形。因此，能夠使第一輸入信號電壓Vpke和作為比較的第二輸入信號電壓的開關(guān)脈沖電壓vrosT2i間的時刻偏差容易地反映至可變電阻元件10的電阻值的調(diào)制。
[0115]非線性脈沖波形電壓VPKE、VrosT1的波形，只要分別是上述這樣的雙極性鋸齒形脈沖電壓波形或墨西哥帽形脈沖電壓波形，沒有特別的限定，但是例如，在為雙極性鋸齒形脈沖電壓時，能夠采用圖2A所示那樣的、連接各極性的頂點和O伏特的位置之間的線段的傾斜角度比其他部分的傾斜角度更大的波形。由于O伏特的位置附近的區(qū)域的傾斜度較大，即使在第一輸入信號電壓Vpke和第三輸入信號電壓Vrosn的輸入時刻差很微小時，電位差Veffect的變化變大，所以能夠針對輸入時刻差提高靈敏度。同樣地，在為墨西哥帽形脈沖電壓時，如圖2B所示，由于連接各極性的頂點彼此之間的線段的傾斜度較大，所以即使在第一輸入信號電壓Vpke和第三輸入信號電壓Vrosn的輸入時刻差很微小時，電位差VrffK；t的變化也變大，所以能夠相對于輸入時刻差提高靈敏度。
[0116]此外，在本實施方式中，使用非線性波形脈沖電壓Vpke，對突觸電路20的第二開關(guān)21進(jìn)行開閉，但也可以例如在輸入非線性波形脈沖電壓Vpke的期間，使用成為規(guī)定的電壓的方波脈沖電壓對第二開關(guān)21進(jìn)行開閉。
[0117](實施例)
[0118]以下參照實施例對本發(fā)明進(jìn)行更詳細(xì)的說明。
[0119](實施例1)
[0120](可變電阻元件10的制作)
[0121]將厚度30nm的由釕酸鍶(SrRuO3)形成的氧化物導(dǎo)電膜，在由鈦酸鍶(SrTiO3)形成的(001)單晶基板上，通過脈沖激光沉積(以下稱為PLD)法堆積。堆積時的基板的溫度為700V。堆積后,通過光刻和離子統(tǒng)削(ion milling)法形成控制電極15。[0122]在基板的溫度為700°C的狀態(tài)，使用PLD法在SRO上堆積由厚度450nm的鋯鈦酸鉛(Pb (Zr、Ti) O3)形成的鐵電體膜12。其后，使基板的溫度下降至400°C。接著，堆積由厚度30nm的氧化鋅(ZnO)形成的半導(dǎo)體膜11。
[0123]在半導(dǎo)體膜11上形成圖案化后的抗蝕劑后，將由厚度5nm的鈦膜和厚度30nm的鉬膜形成的層疊體，在室溫下通過電子束蒸鍍法進(jìn)行堆積。堆積后，通過剝離法形成第一電極13和第二電極14。這樣，得到可變電阻元件10。[0124](突觸電路的評價)
[0125]對構(gòu)成圖6所示的突觸電路，使用上述的可變電阻元件10的突觸電路的STDP特性進(jìn)行評價。在Vdd連接0.1伏特的直流電壓源。在第一開關(guān)使用圖6所示的開關(guān)電路25。開關(guān)電路25，僅在開關(guān)脈沖電壓Vtost2為HI電平的期間，非線性波形脈沖電壓Vpke施加至可變電阻元件10的控制電極15，其以外的期間，可變電阻元件10的控制電極15進(jìn)行接地的動作。此外，在圖6中，圖1的第二開關(guān)21的結(jié)構(gòu)省略。
[0126]在本實施例中，通過令圖7A所示的波形為非線性波形脈沖電壓Vpke，令圖7B所示的波形為開關(guān)脈沖電壓VrosT2，將開關(guān)電路25作為圖1的第一開關(guān)22使用而實現(xiàn)圖3所示的開關(guān)動作。一邊改變所施加的非線性波形脈沖電壓Vpke和開關(guān)脈沖電壓Vkbt2的時刻，一邊對施加兩脈沖電壓的前后的傳導(dǎo)率(電阻值的倒數(shù))的變化進(jìn)行測定，如圖7C所示，得到圖14B這樣的非對稱形的STDP。
[0127](積分動作的評價)
[0128]接著，制作圖8所示的將積分電路31連接至I個突觸電路20而得的電路，對由STDP實現(xiàn)的可變電阻元件10的電阻變化伴隨的積分動作的變化進(jìn)行評價。
[0129]積分電路31包括運算放大器53、電容器36和電阻37。電容器36的電容值為I皮法，電阻37的電阻值為I兆歐姆。積分電路31使用從突觸電路20輸入的電流對電容器36進(jìn)行充電。通過該動作，電流的時間積分的運算結(jié)果作為積分電位Vn被輸出。另外，電容器36配置于運算放大器35的負(fù)極性輸入端子(_)和輸出端子間。另外運算放大器35的輸出信號經(jīng)由電阻37回到負(fù)極性輸入端子(_)。其結(jié)果是，通過運算放大器35的反饋功能，向負(fù)極性輸入端子(_)的輸入成為虛擬接地。
[0130]由于向運算放大器35的負(fù)極性輸入端子(_)的輸入成為虛擬接地，所以與突觸電路20的數(shù)量和電容器36的積分電位無關(guān)地，由規(guī)定的電源電壓和可變電阻元件20的電阻值決定的一定電流，通過各突觸電路20，向神經(jīng)元電流30輸入。
[0131]使用與圖6同樣的電路25作為圖8所示的突觸電路20的第一開關(guān)22，使用場效應(yīng)晶體管24作為第二開關(guān)21。在場效應(yīng)晶體管24的柵極端子施加非線性波形脈沖電壓VPKE。本實施例中使用的場效應(yīng)晶體管24，在非線性波形脈沖電壓VpkeSHI時為導(dǎo)通，在其以外的情況下為斷開。場效應(yīng)晶體管24的導(dǎo)通電阻為可變電阻元件10的電阻值的百分之一以下，所以直流電壓源23和運算放大器35的負(fù)極性輸入端子(_)之間的電阻值大約等于可變電阻元件10的電阻值。因此，僅在非線性波形脈沖電壓Vpke為HI的期間，在可變電阻元件10流過脈沖電流。脈沖電流的大小大體上與可變電阻元件10的電阻值的倒數(shù)(傳導(dǎo)率)成比例。
[0132]輸入至神經(jīng)元電路20的脈沖電流，對積分電路31的電容器36進(jìn)行充電，所以時間積分結(jié)果作為輸出Vn被輸出。對被施加非線性波形脈沖電壓Vpke而20微秒后的積分電壓Vn進(jìn)行評價。
[0133]在本實施例中，令圖7A所示的波形為非線性波形脈沖電壓Vpke，令圖7B所示的波形為開關(guān)脈沖電壓VrosT2。一邊改變所施加的非線性波形脈沖電壓和開關(guān)脈沖電壓的時刻，一邊對施加兩脈沖電壓的前后的積分電壓Vn的變化進(jìn)行測定。圖9的左軸表示積分電壓的變化量。在圖9的右軸，為了參考，對與圖7C所示的傳導(dǎo)率的變化量相同的量進(jìn)行繪點(plot)。積分電壓的變化量,表示與傳導(dǎo)率的變化量對應(yīng)的特性,表示可變電阻元件10的STDP特性也反映于積分電路31的積分動作。
[0134](實施例2)
[0135](突觸電路100的評價)
[0136]與實施例1同樣地，對構(gòu)成圖6所示突觸電路、使用可變電阻元件10的突觸電路的STDP特性進(jìn)行評價。
[0137]令圖1OA所示的波形為非線性波形脈沖電壓Vpke，令圖1OB所示的波形為開關(guān)脈沖電壓Vtost2，測定施加的前后的傳導(dǎo)率(電阻值的倒數(shù))的變化。如圖1OC的左軸所示，得到圖14C這樣的對稱形的STDP特性。
[0138](積分動作的評價)
[0139]接著，與實施例1同樣地，制作圖8所示那樣的將積分電路31連接至I個突觸電路20而得的電路，對由STDP實現(xiàn)的可變電阻元件10的電阻變化伴隨的積分動作的變化，施加非線性波形脈沖電壓Vpke而基于20微秒后的積分電壓Vn進(jìn)行評價。
[0140]圖1OC的右軸表不積分電壓的變化量。積分電壓的變化量，表不與傳導(dǎo)率的變化量對應(yīng)的特性，表示可變電阻元件10的對稱性STDP特性也反映于積分電路31的積分動作。
[0141]根據(jù)上述說明，本領(lǐng)域技術(shù)人員能夠清楚本發(fā)明的多種改良和其他的實施方式。因此，上述說明，僅應(yīng)被解釋為例示，是以向本領(lǐng)域技術(shù)人員表現(xiàn)實行本發(fā)明的最優(yōu)的方式為目的而提供的。能夠在不脫離本發(fā)明的主旨的情況下，對其結(jié)構(gòu)和/或功能的詳細(xì)內(nèi)容進(jìn)行實質(zhì)性的變更。
[0142]產(chǎn)業(yè)上的可利用性
[0143]本發(fā)明能夠用于神經(jīng)網(wǎng)絡(luò)電路的權(quán)重更新動作。
[0144]附圖標(biāo)記說明
[0145]10可變電阻元件
[0146]11半導(dǎo)體膜
[0147]12鐵電體膜
[0148]13第一電極
[0149]14第二電極
[0150]15控制電極
[0151]20突觸電路
[0152]21第二開關(guān)
[0153]22第一開關(guān)
[0154]23直流電壓源(第一基準(zhǔn)電壓源)
[0155]30神經(jīng)元電路
[0156]31積分電路
[0157]32波形發(fā)生電路
[0158]33延遲電路
[0159]40神經(jīng)網(wǎng)絡(luò)電路元件
[0160]54接地電壓源(第二基準(zhǔn)電壓源)
[0161]321數(shù)字/模擬轉(zhuǎn)換器
[0162]322數(shù)字存儲器
【權(quán)利要求】
1.一種神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，該神經(jīng)網(wǎng)絡(luò)電路通過連接多個神經(jīng)網(wǎng)絡(luò)電路元件(40)而構(gòu)成，該神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法的特征在于: 所述多個神經(jīng)網(wǎng)絡(luò)電路元件(40)分別具備: 被輸入其他的神經(jīng)網(wǎng)絡(luò)電路元件(40)的輸出信號的至少I個突觸電路(20)，以下將該輸出信號稱為第一輸入信號；和 被輸入所述至少I個突觸電路(20)的輸出信號的I個神經(jīng)元電路(30)， 所述突觸電路(20)具備可變電阻元件(10)，該可變電阻元件(10)包括:形成于半導(dǎo)體膜(11)上的第一電極(13)和第二電極(14);和在所述半導(dǎo)體膜(11)的主面隔著鐵電體膜(12)形成的控制電極(15)，響應(yīng)所述第一電極(13)和所述控制電極(15)之間的電位差，所述第一電極(13)和所述第二電極(14)之間的電阻值發(fā)生變化， 所述神經(jīng)元電路(30)具備產(chǎn)生雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓的波形發(fā)生電路(32)，以下將該雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓稱為規(guī)定的脈沖電壓，所述第一輸入信號具有所述規(guī)定的脈沖電壓波形， 將在與所述可變電阻元件(10)相同的神經(jīng)網(wǎng)絡(luò)電路元件(40)內(nèi)生成的所述規(guī)定的脈沖電壓波形的時間中間點稱為中間點，在以該中間點為基準(zhǔn)在前后具有規(guī)定的時間寬度的期間，以下將該期間稱為允許輸 入期間，使所述第一輸入信號能夠輸入至所述可變電阻元件(10)的所述控制電極(15)，根據(jù)所述允許輸入期間中的依賴于所述第一輸入信號的輸入時刻而產(chǎn)生的所述第一電極(13)和所述控制電極(15)之間的電位差，使所述可變電阻元件(10)的電阻值發(fā)生變化。
2.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，其特征在于: 所述突觸電路(20)具備第一開關(guān)(22)，該第一開關(guān)(22)對是否能夠?qū)⑤斎氲乃龅谝惠斎胄盘栞斎胫了隹勺冸娮柙?10)的所述控制電極(15)進(jìn)行切換， 所述神經(jīng)兀電路(30)生成第二輸入信號,該第二輸入信號用于對所述第一開關(guān)(22)進(jìn)行切換，以使得在所述允許輸入期間成為所述第一輸入信號能夠輸入至所述控制電極(15)的狀態(tài)。
3.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，其特征在于: 所述神經(jīng)元電路(30)包括: 對在所述至少I個突觸電路(20)的所述可變電阻元件(10)流過的電流值進(jìn)行積分的積分電路(31);和 使由所述波形發(fā)生電路(32)產(chǎn)生的所述雙極性鋸齒形脈沖電壓延遲規(guī)定時間并將其作為所述神經(jīng)網(wǎng)絡(luò)電路元件(40)的輸出信號輸出的延遲電路(33)， 所述波形發(fā)生電路(32)，產(chǎn)生與由所述積分電路(31)積分后的電流值相應(yīng)的所述規(guī)定的脈沖電壓。
4.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)電路的學(xué)習(xí)方法，其特征在于: 所述突觸電路(20)具備第二開關(guān)(21)，該第二開關(guān)(21)的一端與第一基準(zhǔn)電壓源(23)連接，另一端與所述可變電阻元件(10)的所述第一電極(13)連接， 所述第二開關(guān)(21)構(gòu)成為在被輸入所述第一輸入信號的期間，連接所述第一基準(zhǔn)電壓源(23)和所述第一電極(13)。
5.一種神經(jīng)網(wǎng)絡(luò)電路，其通過多個神經(jīng)網(wǎng)絡(luò)電路元件(40)連接而構(gòu)成，該神經(jīng)網(wǎng)絡(luò)電路的特征在于: 所述多個神經(jīng)網(wǎng)絡(luò)電路元件(40)分別具備: 被輸入其他的神經(jīng)網(wǎng)絡(luò)電路元件(40)的輸出信號的至少I個突觸電路(20)，以下將該輸出信號稱為第一輸入信號；和 被輸入所述至少I個突觸電路(20)的輸出信號的I個神經(jīng)元電路(30)， 所述突觸電路(20)具備可變電阻元件(10)，該可變電阻元件(10)包括:形成于半導(dǎo)體膜(11)上的第一電極(13)和第二電極(14);和在所述半導(dǎo)體膜(11)的主面隔著鐵電體膜(12)形成的控制電極(15)，響應(yīng)所述第一電極(13)和所述控制電極(15)之間的電位差，所述第一電極(13)和所述第二電極(14)之間的電阻值發(fā)生變化， 所述神經(jīng)元電路(30)具有生成雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓的波形發(fā)生電路(32)，以下將該雙極性鋸齒形脈沖電壓或墨西哥帽形脈沖電壓稱為規(guī)定的脈沖電壓，所述第一輸入信號具有所述規(guī)定的脈沖電壓波形， 將在與所述可變電阻元件(10)相同的神經(jīng)網(wǎng)絡(luò)電路元件(40)內(nèi)生成的所述規(guī)定的脈沖電壓波形的時間中間點稱為中間點，在以該中間點為基準(zhǔn)在前后具有規(guī)定的時間寬度的期間，以下將該期間稱為允許輸入期間，使所述第一輸入信號能夠輸入至所述可變電阻元件(10)的所述控制電極(15)，根據(jù)所述允許輸入期間中的依賴于所述第一輸入信號的輸入時刻而產(chǎn)生的所述第一電極(13)和所述控制電極(15)之間的電位差，使所述可變電阻元件(10)的電阻值發(fā)生變 化。
【文檔編號】G06N3/063GK103460220SQ201280015280
【公開日】2013年12月18日 申請日期:2012年5月29日 優(yōu)先權(quán)日:2012年1月23日
【發(fā)明者】西谷雄, 金子幸廣, 上田路人 申請人:松下電器產(chǎn)業(yè)株式會社
相關(guān)技術(shù)
網(wǎng)友詢問留言
已有0條留言
- 還沒有人留言評論。精彩留言會獲得點贊！
1