本發(fā)明涉及一種學(xué)習(xí)功率元件的預(yù)測壽命的機(jī)器學(xué)習(xí)裝置及方法以及具備該機(jī)器學(xué)習(xí)裝置的壽命預(yù)測裝置及電動機(jī)驅(qū)動裝置。

背景技術(shù)：

在驅(qū)動機(jī)床、鍛壓機(jī)械、注射成型機(jī)、工業(yè)機(jī)械或各種機(jī)器人內(nèi)的交流電動機(jī)的電動機(jī)驅(qū)動裝置中，通過逆變器將直流電力變換為交流電力來供給用于驅(qū)動交流電動機(jī)的驅(qū)動電力。逆變器例如由PWM逆變器等這樣的具有功率元件(半導(dǎo)體開關(guān)元件)以及與該功率元件逆并聯(lián)連接的二極管的開關(guān)部的電橋電路構(gòu)成，通過對功率元件進(jìn)行接通關(guān)斷驅(qū)動來將直流電力變換為交流電力來輸出到交流電動機(jī)側(cè)。

在使用這樣的電動機(jī)驅(qū)動裝置的領(lǐng)域中，為了防止作業(yè)效率降低或發(fā)生嚴(yán)重事故，預(yù)測功率元件的壽命，基于該預(yù)測結(jié)果，在功率元件由于達(dá)到壽命而無法運(yùn)轉(zhuǎn)之前更換功率元件。

例如，如在日本特開2011-196703號公報(bào)中記載的那樣，已知如下的方法：將由功率半導(dǎo)體元件構(gòu)成的半導(dǎo)體裝置的整個(gè)動作溫度范圍劃分為多個(gè)溫度區(qū)域，在該溫度區(qū)域內(nèi)使用針對分別設(shè)定的基準(zhǔn)溫度差中的功率循環(huán)數(shù)進(jìn)行加權(quán)后的值來計(jì)算循環(huán)數(shù)，在該劃分后的溫度區(qū)域之間基于各個(gè)計(jì)算出的循環(huán)數(shù)并使用次要規(guī)則(minor rule)來計(jì)算累計(jì)傷害從而預(yù)測壽命。

電動機(jī)驅(qū)動裝置中的逆變器內(nèi)的功率元件的壽命由于電動機(jī)驅(qū)動裝置的運(yùn)行條件、周圍溫度等環(huán)境條件而發(fā)生變化，所以難以正確地進(jìn)行預(yù)測。如果無法正確地預(yù)測功率元件的壽命，則有可能錯(cuò)過功率元件更換定時(shí)從而作業(yè)效率降低或者導(dǎo)致發(fā)生嚴(yán)重事故。因此，重要的是能夠正確地掌握功率元件的壽命從而確切地判斷是否達(dá)到壽命。

技術(shù)實(shí)現(xiàn)要素：

鑒于上述問題，本發(fā)明的目的在于提供一種能夠正確且容易地預(yù)測功率元件的預(yù)測壽命的機(jī)器學(xué)習(xí)裝置及方法以及具備該機(jī)器學(xué)習(xí)裝置的壽命預(yù)測裝置及電動機(jī)驅(qū)動裝置。

為了實(shí)現(xiàn)上述目的，機(jī)器學(xué)習(xí)裝置學(xué)習(xí)電動機(jī)驅(qū)動裝置的功率元件的預(yù)測壽命，電動機(jī)驅(qū)動裝置通過功率元件的開關(guān)動作將直流電力變換為交流電力來提供給交流電動機(jī)，該機(jī)器學(xué)習(xí)裝置具備：狀態(tài)觀測部，其觀測狀態(tài)變量，該狀態(tài)變量由與功率元件的開關(guān)次數(shù)相關(guān)的數(shù)據(jù)、與功率元件的結(jié)溫相關(guān)的數(shù)據(jù)、以及與功率元件有無故障相關(guān)的數(shù)據(jù)構(gòu)成；以及學(xué)習(xí)部，其按照基于狀態(tài)變量而生成的訓(xùn)練數(shù)據(jù)集來學(xué)習(xí)功率元件的預(yù)測壽命。

在此，可以基于對功率元件進(jìn)行冷卻的散熱片的溫度、電動機(jī)驅(qū)動裝置的周圍溫度、從電動機(jī)驅(qū)動裝置向交流電動機(jī)供給的電流的值、以及從電動機(jī)驅(qū)動裝置向交流電動機(jī)施加的電壓的值來計(jì)算功率元件的結(jié)溫。

另外，學(xué)習(xí)部可以具備回報(bào)計(jì)算部，其基于功率元件的開關(guān)次數(shù)以及功率元件有無故障來計(jì)算回報(bào)；函數(shù)更新部，其基于狀態(tài)變量以及回報(bào)來更新用于計(jì)算功率元件的預(yù)測壽命的函數(shù)。

另外，回報(bào)計(jì)算部可以在功率元件的開關(guān)次數(shù)超過規(guī)定次數(shù)時(shí)減少回報(bào)。

另外，回報(bào)計(jì)算部可以在功率元件的開關(guān)次數(shù)未超過規(guī)定次數(shù)的情況下，在發(fā)生了功率元件的故障時(shí)減少回報(bào)。

另外，函數(shù)更新部可以基于狀態(tài)變量以及回報(bào)，按照神經(jīng)網(wǎng)絡(luò)模型來更新用于計(jì)算功率元件的預(yù)測壽命的函數(shù)。

另外，學(xué)習(xí)部可以具備：誤差計(jì)算部，其基于狀態(tài)變量來計(jì)算誤差；學(xué)習(xí)模型更新部，其基于狀態(tài)變量以及誤差來更新用于計(jì)算功率元件的預(yù)測壽命的學(xué)習(xí)模型。

另外，學(xué)習(xí)部可以構(gòu)成為按照針對多個(gè)電動機(jī)驅(qū)動裝置取得的訓(xùn)練數(shù)據(jù)集來學(xué)習(xí)功率元件的預(yù)測壽命。

另外，一種電動機(jī)驅(qū)動裝置內(nèi)的功率元件的壽命預(yù)測裝置，其具備上述的機(jī)器學(xué)習(xí)裝置，該壽命預(yù)測裝置還具備意圖決定部，該意圖決定部基于學(xué)習(xí)部按照訓(xùn)練數(shù)據(jù)集進(jìn)行學(xué)習(xí)的結(jié)果，對當(dāng)前的狀態(tài)變量的輸入進(jìn)行響應(yīng)，來計(jì)算功率元件的預(yù)測壽命。

另外，壽命預(yù)測裝置可以進(jìn)一步具備通知部，該通知部向作業(yè)者通知由意圖決定部計(jì)算出的預(yù)測壽命。

另外，壽命預(yù)測裝置可以進(jìn)一步具備通知部，該通知部基于意圖決定部計(jì)算出的預(yù)測壽命，向作業(yè)者通知用于催促更換功率元件或更換電動機(jī)驅(qū)動裝置的信息。

學(xué)習(xí)部可以構(gòu)成為按照由當(dāng)前的狀態(tài)變量構(gòu)成的追加的訓(xùn)練數(shù)據(jù)集，重新學(xué)習(xí)并更新功率元件的預(yù)測壽命。

另外，電動機(jī)驅(qū)動裝置具備：上述的壽命預(yù)測裝置；電力供給部，其通過功率元件的開關(guān)動作將直流電力變換為交流電力來提供給交流電動機(jī)；開關(guān)次數(shù)取得部，其基于針對功率元件的開關(guān)指令，來取得與開關(guān)次數(shù)相關(guān)的數(shù)據(jù)；故障判定部，其基于針對功率元件的開關(guān)指令和從電力供給部輸出的交流電力來取得與功率元件有無故障相關(guān)的數(shù)據(jù)。

在此，電動機(jī)驅(qū)動裝置可以進(jìn)一步具備溫度計(jì)算部，該溫度計(jì)算部基于對功率元件進(jìn)行冷卻的散熱片的溫度、電動機(jī)驅(qū)動裝置的周圍溫度、從電動機(jī)驅(qū)動裝置向交流電動機(jī)供給的電流的值、以及從電動機(jī)驅(qū)動裝置向交流電動機(jī)施加的電壓的值來計(jì)算功率元件的結(jié)溫。

另外，電動機(jī)驅(qū)動裝置可以進(jìn)一步具備溫度傳感器，該溫度傳感器測定功率元件的結(jié)溫。

另外，一種機(jī)器學(xué)習(xí)方法，其學(xué)習(xí)電動機(jī)驅(qū)動裝置的功率元件的預(yù)測壽命，該電動機(jī)驅(qū)動裝置通過功率元件的開關(guān)動作將直流電力變換為交流電力來提供給交流電動機(jī)，機(jī)器學(xué)習(xí)方法具備：狀態(tài)觀測步驟，其觀測狀態(tài)變量，該狀態(tài)變量由與功率元件的開關(guān)次數(shù)相關(guān)的數(shù)據(jù)、與功率元件的結(jié)溫相關(guān)的數(shù)據(jù)、以及與功率元件有無故障相關(guān)的數(shù)據(jù)構(gòu)成；以及學(xué)習(xí)步驟，其按照基于狀態(tài)變量而生成的訓(xùn)練數(shù)據(jù)集來學(xué)習(xí)功率元件的預(yù)測壽命。

附圖說明

通過參照一下的附圖，能夠更加明確地理解本發(fā)明。

圖1是實(shí)施例的機(jī)器學(xué)習(xí)裝置的原理框圖。

圖2是表示實(shí)施例的機(jī)器學(xué)習(xí)方法的動作流程的流程圖。

圖3是實(shí)施例的應(yīng)用強(qiáng)化學(xué)習(xí)的機(jī)器學(xué)習(xí)裝置的原理框圖。

圖4是表示實(shí)施例的應(yīng)用強(qiáng)化學(xué)習(xí)的機(jī)器學(xué)習(xí)方法的動作流程的流程圖。

圖5是表示實(shí)施例的具備應(yīng)用強(qiáng)化學(xué)習(xí)的機(jī)器學(xué)習(xí)裝置的壽命預(yù)測裝置以及具備該壽命預(yù)測裝置的電動機(jī)驅(qū)動裝置的原理框圖。

圖6是表示計(jì)算某個(gè)電動機(jī)施加電壓時(shí)的功率元件的結(jié)溫的溫度計(jì)算部的框圖。

圖7是表示實(shí)施例的具備應(yīng)用強(qiáng)化學(xué)習(xí)的機(jī)器學(xué)習(xí)裝置的壽命預(yù)測裝置的動作流程的流程圖。

圖8是表示神經(jīng)元模型的示意圖。

圖9是表示具有D1～D3的三層權(quán)重的神經(jīng)網(wǎng)絡(luò)的示意圖。

圖10是表示實(shí)施例的具備應(yīng)用有教師學(xué)習(xí)的機(jī)器學(xué)習(xí)裝置的壽命預(yù)測裝置以及具備該壽命預(yù)測裝置的電動機(jī)驅(qū)動裝置的原理框圖。

具體實(shí)施方式

以下，參照附圖對學(xué)習(xí)功率元件的預(yù)測壽命的機(jī)器學(xué)習(xí)裝置及方法以及具備該機(jī)器學(xué)習(xí)裝置的壽命預(yù)測裝置以及電動機(jī)驅(qū)動裝置進(jìn)行說明。然而，希望理解本發(fā)明并不限于附圖或以下說明的實(shí)施方式。

圖1是實(shí)施例的機(jī)器學(xué)習(xí)裝置的原理框圖。以下，在不同的附圖中賦予相同參照符號的部分意味著具有相同功能的結(jié)構(gòu)要素。

在驅(qū)動交流電動機(jī)的電動機(jī)驅(qū)動裝置中，通過逆變器將直流電力變換為交流電力后來供給用于驅(qū)動交流電動機(jī)的驅(qū)動電力。逆變器例如由PWM逆變器等這樣的具有功率元件(半導(dǎo)體開關(guān)元件)以及與該功率元件逆并聯(lián)連接的二極管的開關(guān)部的電橋電路構(gòu)成，通過對功率元件進(jìn)行接通斷開驅(qū)動來將直流電力變換為交流電力后輸出到交流電動機(jī)側(cè)。實(shí)施例的機(jī)器學(xué)習(xí)裝置1構(gòu)成為學(xué)習(xí)電動機(jī)驅(qū)動裝置的功率元件的預(yù)測壽命，該電動機(jī)驅(qū)動裝置通過功率元件的開關(guān)動作將直流電力變換為交流電力后提供給交流電動機(jī)。功率元件的壽命(開關(guān)次數(shù))由功率元件動作時(shí)結(jié)溫和基礎(chǔ)溫度之間的差(功率循環(huán))來決定。功率元件的結(jié)溫是指功率元件內(nèi)的功率半導(dǎo)體芯片與焊接部之間的接合部分的溫度。另外，基礎(chǔ)溫度是指為了冷卻功率元件與外部進(jìn)行熱連接的部分的溫度，也稱為散熱片溫度。結(jié)溫與基礎(chǔ)溫度之間的差根據(jù)電動機(jī)驅(qū)動裝置的運(yùn)行條件和周圍溫度而發(fā)生變化。因此，在本發(fā)明中，通過機(jī)器學(xué)習(xí)裝置1觀測功率元件的開關(guān)次數(shù)、功率元件的結(jié)溫以及功率元件有無故障，并將它們作為行為價(jià)值表來形成數(shù)據(jù)庫，由此根據(jù)與過去的結(jié)溫與基礎(chǔ)溫度之間的差相關(guān)的數(shù)據(jù)或故障數(shù)據(jù)來預(yù)測功率元件的壽命。

機(jī)器學(xué)習(xí)裝置1具備狀態(tài)觀測部11以及學(xué)習(xí)部12。在這里，機(jī)器學(xué)習(xí)裝置1可以內(nèi)置在驅(qū)動控制交流電動機(jī)的電動機(jī)驅(qū)動裝置中，此時(shí)，利用該電動機(jī)驅(qū)動裝置的處理器來執(zhí)行機(jī)器學(xué)習(xí)。又或者，機(jī)器學(xué)習(xí)裝置1也可以構(gòu)成為經(jīng)由網(wǎng)絡(luò)與電動機(jī)驅(qū)動裝置相連接的數(shù)字計(jì)算機(jī)。又或者，機(jī)器學(xué)習(xí)裝置1也可以設(shè)置在云服務(wù)器上，此時(shí)經(jīng)由網(wǎng)絡(luò)與電動機(jī)驅(qū)動裝置相連接。

狀態(tài)觀測部11觀測狀態(tài)變量，該狀態(tài)變量由與功率元件的開關(guān)次數(shù)相關(guān)的數(shù)據(jù)、與功率元件的結(jié)溫相關(guān)的數(shù)據(jù)、與功率元件有無故障相關(guān)的數(shù)據(jù)構(gòu)成。

根據(jù)由電動機(jī)驅(qū)動裝置生成的用于對功率元件進(jìn)行接通斷開驅(qū)動的開關(guān)指令(例如PWM開關(guān)信號)來生成與功率元件的開關(guān)次數(shù)相關(guān)的數(shù)據(jù)。

另外，根據(jù)對功率元件進(jìn)行冷卻的散熱片的溫度、電動機(jī)驅(qū)動裝置的周圍溫度、從電動機(jī)驅(qū)動裝置向交流電動機(jī)供給的電流的值以及從電動機(jī)驅(qū)動裝置向交流電動機(jī)施加的電壓的值，通過計(jì)算來求出與功率元件的結(jié)溫相關(guān)的數(shù)據(jù)。功率元件的結(jié)溫的計(jì)算方法如后所述。又或者，也可以通過在功率元件附近設(shè)置的溫度傳感器來取得與功率元件的結(jié)溫相關(guān)的數(shù)據(jù)。

另外，例如在向功率元件賦予了由電動機(jī)驅(qū)動裝置生成的開關(guān)指令的情況下，能夠通過監(jiān)視是否從電動機(jī)驅(qū)動裝置內(nèi)的電力供給部輸出了與該開關(guān)指令相對應(yīng)的交流電力來取得與功率元件有無故障相關(guān)的數(shù)據(jù)。例如，還可以通過電流檢測部檢測從電動機(jī)驅(qū)動裝置內(nèi)的電力供給部流入到交流電動機(jī)的電流，如果電流檢測值是與從電動機(jī)驅(qū)動裝置輸出的開關(guān)指令相對應(yīng)的電流檢測值，則判定為“功率元件無故障”，在盡管存在該開關(guān)指令但電流檢測值為接近于零的值時(shí)或者為根據(jù)該開關(guān)指令無法想到的異常大的值時(shí)判定為“功率元件有故障”。又或者，也可以通過發(fā)現(xiàn)或者得知了功率元件的故障的作業(yè)者自己操作輸入裝置，向狀態(tài)觀測部輸入表示功率元件發(fā)生故障的數(shù)據(jù)。

如此，狀態(tài)觀測部11觀測由與功率元件的開關(guān)次數(shù)相關(guān)的數(shù)據(jù)、與功率元件的結(jié)溫相關(guān)的數(shù)據(jù)、與功率元件有無故障相關(guān)的數(shù)據(jù)構(gòu)成的狀態(tài)變量。此外，在機(jī)器學(xué)習(xí)裝置1經(jīng)由網(wǎng)絡(luò)與電動機(jī)驅(qū)動裝置相連接時(shí)或設(shè)置在云服務(wù)器上時(shí)，狀態(tài)觀測部11經(jīng)由網(wǎng)絡(luò)觀測狀態(tài)變量。又或者，在機(jī)器學(xué)習(xí)裝置1內(nèi)置在電動機(jī)驅(qū)動裝置中時(shí)，基于在該電動機(jī)驅(qū)動裝置中存儲的控制軟件的內(nèi)部數(shù)據(jù)、從與該電動機(jī)驅(qū)動裝置相連接的各種傳感器輸出的數(shù)據(jù)來觀測狀態(tài)變量。

學(xué)習(xí)部12按照基于由狀態(tài)觀測部11觀測到的狀態(tài)變量而生成的訓(xùn)練數(shù)據(jù)集來學(xué)習(xí)功率元件的預(yù)測壽命。此外，也可以關(guān)于多個(gè)電動機(jī)驅(qū)動裝置來取得訓(xùn)練數(shù)據(jù)集，此時(shí)，學(xué)習(xí)部12根據(jù)針對多個(gè)電動機(jī)驅(qū)動裝置取得的訓(xùn)練數(shù)據(jù)集來學(xué)習(xí)功率元件的預(yù)測壽命。

圖2是表示實(shí)施例的機(jī)器學(xué)習(xí)方法的動作流程的流程圖。學(xué)習(xí)電動機(jī)驅(qū)動裝置的功率元件的預(yù)測壽命的機(jī)器學(xué)習(xí)方法具備狀態(tài)觀測步驟S101和學(xué)習(xí)步驟S102，其中，電動機(jī)驅(qū)動裝置通過功率元件的開關(guān)動作將直流電力變換為交流電力后提供給交流電動機(jī)。

狀態(tài)觀測步驟S101通過狀態(tài)觀測部11來執(zhí)行，即，觀測由與功率元件的開關(guān)次數(shù)相關(guān)的數(shù)據(jù)、與功率元件的結(jié)溫相關(guān)的數(shù)據(jù)、與功率元件有無故障相關(guān)的數(shù)據(jù)構(gòu)成的狀態(tài)變量。

學(xué)習(xí)步驟S102通過學(xué)習(xí)部12來執(zhí)行，即，按照基于狀態(tài)觀測部11觀測到的狀態(tài)變量而生成的訓(xùn)練數(shù)據(jù)集來學(xué)習(xí)功率元件的預(yù)測壽命。

學(xué)習(xí)部12使用的學(xué)習(xí)算法可以使用任意的算法。機(jī)器學(xué)習(xí)裝置1具有如下功能：通過解析從在裝置中輸入的數(shù)據(jù)的集合中抽出其中有用的規(guī)則和知識表現(xiàn)、判斷基準(zhǔn)等，輸出其判斷結(jié)果，并且進(jìn)行知識的學(xué)習(xí)。該方法有各種各樣，但是大致分為“有教師學(xué)習(xí)”、“無教師學(xué)習(xí)”、“強(qiáng)化學(xué)習(xí)”。并且，在實(shí)現(xiàn)這些方法的基礎(chǔ)上，具有對特征量自身的抽出進(jìn)行學(xué)習(xí)的被稱為“深層學(xué)習(xí)(深度學(xué)習(xí)：Deep Learning)”的方法。此外，這些機(jī)器學(xué)習(xí)(機(jī)器學(xué)習(xí)裝置1)例如通過應(yīng)用GPGPU(General-Purpose computing on Graphics Processing Units通用計(jì)算圖形處理器)或大規(guī)模PC集群等來實(shí)現(xiàn)。

以下，作為一個(gè)例子，參照圖3以及圖4對使用了強(qiáng)化學(xué)習(xí)的情況進(jìn)行說明?！坝薪處煂W(xué)習(xí)”、“無教師學(xué)習(xí)”等如后所述。

圖3是實(shí)施例的采用了強(qiáng)化學(xué)習(xí)的機(jī)器學(xué)習(xí)裝置的原理框圖。學(xué)習(xí)部12具備回報(bào)計(jì)算部21和函數(shù)更新部22。此外，因?yàn)榛貓?bào)計(jì)算部21以及函數(shù)更新部22以外的結(jié)構(gòu)要素與圖1所示的結(jié)構(gòu)要素相同，所以對相同的結(jié)構(gòu)要素賦予相同的符號，并省略該結(jié)構(gòu)要素的詳細(xì)說明。

回報(bào)計(jì)算部21基于由狀態(tài)觀測部11觀測到的功率元件的開關(guān)次數(shù)以及功率元件有無故障來計(jì)算回報(bào)。例如，回報(bào)計(jì)算部21可以在通過狀態(tài)觀測部11觀測到的功率元件的開關(guān)次數(shù)超過了規(guī)定次數(shù)時(shí)減少回報(bào)。又例如回報(bào)計(jì)算部21可以在功率元件的開關(guān)次數(shù)沒有超過上述規(guī)定次數(shù)時(shí)而發(fā)生了功率元件的故障時(shí)減少回報(bào)。在這里，上述規(guī)定次數(shù)是與功率元件的壽命相當(dāng)?shù)摹澳陀瞄_關(guān)次數(shù)”，是對每個(gè)功率元件規(guī)定的次數(shù)。

函數(shù)更新部22基于由狀態(tài)觀測部11觀測到的狀態(tài)變量以及由回報(bào)計(jì)算部21計(jì)算出的回報(bào)，來更新用于計(jì)算功率元件的預(yù)測壽命的函數(shù)(行為價(jià)值表)。函數(shù)(行為價(jià)值表)的更新方法如后所述。

學(xué)習(xí)部12可以通過多層構(gòu)造來運(yùn)算由狀態(tài)觀測部11觀測到的狀態(tài)變量，并實(shí)時(shí)更新函數(shù)(行為價(jià)值表)。例如，函數(shù)更新部22可以基于由狀態(tài)觀測部11觀測到的狀態(tài)變量以及由回報(bào)計(jì)算部21計(jì)算出的回報(bào)，按照神經(jīng)網(wǎng)絡(luò)模型來更新用于計(jì)算功率元件的預(yù)測壽命的函數(shù)(行為價(jià)值表)。在這里，作為通過多層構(gòu)造運(yùn)算狀態(tài)變量的方法，例如能夠使用后述的圖9所示的多層神經(jīng)網(wǎng)絡(luò)。

圖4是表示實(shí)施例的應(yīng)用了強(qiáng)化學(xué)習(xí)的機(jī)器學(xué)習(xí)方法的動作流程的流程圖。

首先，在狀態(tài)觀測步驟S101中，狀態(tài)觀測部11觀測由與功率元件的開關(guān)次數(shù)相關(guān)的數(shù)據(jù)、與功率元件的結(jié)溫相關(guān)的數(shù)據(jù)、與功率元件有無故障相關(guān)的數(shù)據(jù)構(gòu)成的狀態(tài)變量。

其次，在回報(bào)計(jì)算步驟S102-1中，回報(bào)計(jì)算部21基于由狀態(tài)觀測部11觀測到的功率元件的開關(guān)次數(shù)以及功率元件有無故障來計(jì)算回報(bào)。

其次，在函數(shù)更新步驟S102-2中，函數(shù)更新部22基于由狀態(tài)觀測部11觀測到的狀態(tài)變量以及由回報(bào)計(jì)算部21計(jì)算出的回報(bào)來更新用于計(jì)算功率元件的預(yù)測壽命的函數(shù)(行為價(jià)值表)。

接下來，對具備上述機(jī)器學(xué)習(xí)裝置的功率元件的壽命預(yù)測裝置以及具備該壽命預(yù)測裝置的電動機(jī)驅(qū)動裝置進(jìn)行說明。

圖5是表示實(shí)施例的具備應(yīng)用了強(qiáng)化學(xué)習(xí)的機(jī)器學(xué)習(xí)裝置的壽命預(yù)測裝置以及具備該壽命預(yù)測裝置的電動機(jī)驅(qū)動裝置的原理框圖。在這里，對通過電動機(jī)驅(qū)動裝置1000控制交流電動機(jī)2的情況進(jìn)行說明。在本發(fā)明中并不限定交流電動機(jī)2的種類，可以是感應(yīng)電動機(jī)也可以是同步電動機(jī)。

電動機(jī)驅(qū)動裝置1000內(nèi)的功率元件的壽命預(yù)測裝置100具備機(jī)器學(xué)習(xí)裝置1、意圖決定部13、通知部14。另外，電動機(jī)驅(qū)動裝置1000具備壽命預(yù)測裝置100、電力供給部31、開關(guān)次數(shù)取得部32、故障判定部33、溫度計(jì)算部34、電動機(jī)控制部50。此外，雖然在這里沒有圖示，但是也可以另外設(shè)置數(shù)據(jù)輸出部，該數(shù)據(jù)輸出部輸出與意圖決定部13決定的預(yù)測壽命相關(guān)的數(shù)據(jù)。

電動機(jī)控制部50基于在其內(nèi)部存儲的控制軟件，使用預(yù)定的速度指令、用于交流電動機(jī)2的動作程序、從電力供給部31輸出的交流電流以及/或交流電壓、交流電動機(jī)2的轉(zhuǎn)子轉(zhuǎn)速以及/或轉(zhuǎn)子位置等信息來生成用于控制交流電動機(jī)2的速度、扭矩或轉(zhuǎn)子位置的開關(guān)指令。本發(fā)明并不特別限定電動機(jī)控制部50生成開關(guān)指令的方法，可以使用公知的生成方法，例如有三角波比較PWM方式等。

電力供給部31基于在電動機(jī)控制部50中生成的開關(guān)指令來控制功率元件的開關(guān)動作，從而將直流電力變換為交流電力后提供給交流電動機(jī)。作為電力供給部31，例如有PWM逆變器。PWM逆變器由功率元件以及與其逆并聯(lián)連接的二極管的電橋電路組成，基于在電動機(jī)控制部50中生成的開關(guān)指令來對功率元件的開關(guān)動作進(jìn)行PWM控制。此外，雖然在此沒有圖示，但是在由PWM逆變器構(gòu)成的電力供給部31的直流側(cè)即DC鏈路，設(shè)置了將從交流電源側(cè)供給的交流電力變換為直流電力后輸出給DC鏈路的整流器。電力供給部31內(nèi)的逆變器基于從電動機(jī)控制部50接收到的開關(guān)指令使內(nèi)部功率元件進(jìn)行開關(guān)動作，從而將從DC鏈路側(cè)供給的直流電力變換為用于驅(qū)動交流電動機(jī)2的期望電壓以及期望頻率的三相交流電力。由此，交流電動機(jī)2基于被供給的電壓可變以及頻率可變的三相交流電力來進(jìn)行動作。

開關(guān)次數(shù)取得部32基于由電動機(jī)控制部50生成的用于對功率元件進(jìn)行接通斷開驅(qū)動的開關(guān)指令，來取得與開關(guān)次數(shù)相關(guān)的數(shù)據(jù)。

故障判定部33基于由電動機(jī)控制部50生成的針對功率元件的開關(guān)指令和從電力供給部31輸出的交流電力，來取得與功率元件有無故障相關(guān)的數(shù)據(jù)。更具體來說，故障判定部33可通過監(jiān)視是否從電力供給部31輸出了與該開關(guān)指令相對應(yīng)的交流電力來判定功率元件有無故障。例如，可以通過電流檢測部(未圖示)檢測從電力供給部31流入到交流電動機(jī)2的電流，在電流檢測值是與從電動機(jī)控制部50輸出的開關(guān)指令相對應(yīng)的電流檢測值時(shí)判定為“功率元件無故障”，在盡管存在該開關(guān)指令但是電流檢測值為接近于零的值時(shí)或者為根據(jù)該開關(guān)指令無法想到的異常大的值時(shí)判定為“功率元件有故障”。又或者，也可以通過發(fā)現(xiàn)或者得知了功率元件的故障的作業(yè)者自己操作輸入裝置，不經(jīng)由故障判定部33，向狀態(tài)觀測部11直接輸入表示功率元件發(fā)生故障的數(shù)據(jù)。

溫度計(jì)算部34基于對功率元件進(jìn)行冷卻的散熱片溫度、電動機(jī)驅(qū)動裝置1000的周圍溫度、從電動機(jī)驅(qū)動裝置1000向交流電動機(jī)2供給的電流的值、以及從電動機(jī)驅(qū)動裝置1000向交流電動機(jī)2施加的電壓的值來計(jì)算功率元件的結(jié)溫，對此，參照圖6來進(jìn)行說明。

圖6是表示計(jì)算某個(gè)電動機(jī)施加電壓時(shí)的功率元件的結(jié)溫的溫度計(jì)算部的框圖。在從電動機(jī)驅(qū)動裝置1000對交流電動機(jī)2施加的電壓(來自電力供給部31的輸出電壓)發(fā)生變化時(shí)，功率元件的散熱(損失)變化，即散熱系數(shù)變化。在此，說明用于計(jì)算在向交流電動機(jī)2施加了某個(gè)電壓Vx[V]時(shí)的結(jié)溫的計(jì)算方法。

溫度計(jì)算部34由芯片溫度計(jì)算部34-1和散熱器溫度計(jì)算部34-2構(gòu)成。通過電流檢測部(未圖示)檢測從電動機(jī)驅(qū)動裝置向交流電動機(jī)供給的電流的值，并將其表示為電流反饋值Ir[Arms]。在這里[rms]意味著有效值。通過設(shè)置在電動機(jī)驅(qū)動裝置1000附近的溫度傳感器(未圖示)來檢測電動機(jī)驅(qū)動裝置1000的周圍溫度T_a。

在溫度計(jì)算部34內(nèi)的芯片溫度計(jì)算部34-1，將芯片側(cè)時(shí)間常數(shù)設(shè)為T₁，來針對電流反饋值Ir[Arms]乘以電源頻率系數(shù)K_ω以及散熱系數(shù)K₁[℃/Arms]后的值進(jìn)行積分，由此得到芯片相對于散熱片(散熱器)的上升溫度T_upc[℃]。在此，電源頻率系數(shù)K_ω是取決于電源頻率的固定值，舉一個(gè)例子，是“1.55”～“2.00”等值。另外，散熱系數(shù)K₁[℃/Arms]是取決于輸出電流以及輸出電壓的值，舉一個(gè)例子，是每次最大額定電流Imax時(shí)40～60[℃]的上升率。另外，芯片側(cè)時(shí)間常數(shù)T₁是取決于功率元件的值，舉一個(gè)例子，是100～300[ms]。

在溫度計(jì)算部34內(nèi)的散熱器溫度計(jì)算部34-2，將散熱片側(cè)時(shí)間常數(shù)設(shè)為T₂，來對電流反饋值Ir[Arms]乘以散熱系數(shù)K₂[℃/Arms]后的值進(jìn)行積分，由此得到散熱片(散熱器)相對于外部空氣的上升溫度T_UPF[℃]。通過對散熱片(散熱器)相對于外部空氣的上升溫度T_UPF[℃]相加電動機(jī)驅(qū)動裝置1000的周圍溫度Ta，得到散熱片溫度(散熱器的溫度)T_FIN[℃]。在此，散熱系數(shù)K₂[℃/Arms]是取決于構(gòu)成電力供給部31的逆變器(放大)的形式以及PWM頻率的值，舉一個(gè)例子，是每30分鐘額定電流I₃₀時(shí)65～100[℃]的上升率。散熱片側(cè)時(shí)間常數(shù)T2是取決于電力供給部31內(nèi)的逆變器的放大結(jié)構(gòu)的值，舉一個(gè)例子，是70～150[sec]。

然后，通過將芯片溫度計(jì)算部34-1計(jì)算出芯片相對于散熱片(散熱器)的上升溫度T_upc[℃]與散熱器溫度計(jì)算部34-2計(jì)算出的散熱片溫度(散熱器溫度)T_FIN[℃]相加，得到功率元件的結(jié)溫T_CHIP[℃]。

在這樣的本實(shí)施例中，通過溫度計(jì)算部34計(jì)算功率元件的結(jié)溫。作為其代替例子，也可以通過設(shè)置在功率元件附近的溫度傳感器來直接測定功率元件的結(jié)溫。當(dāng)采用通過溫度計(jì)算部34計(jì)算功率元件的結(jié)溫的方法時(shí)，對于功率元件的散熱系數(shù)和芯片的熱時(shí)間常數(shù)這樣的特性數(shù)據(jù)無法考慮功率元件的個(gè)體偏差，但是如果通過溫度傳感器直接測定功率元件的結(jié)溫，則能夠進(jìn)一步提升溫度的精度。

機(jī)器學(xué)習(xí)裝置1內(nèi)的狀態(tài)觀測部11觀測狀態(tài)變量，該狀態(tài)變量由從開關(guān)次數(shù)取得部32取得的與功率元件的開關(guān)次數(shù)相關(guān)的數(shù)據(jù)、與從溫度計(jì)算部34取得的功率元件的結(jié)溫相關(guān)的數(shù)據(jù)、與從故障判定部33取得的功率元件有無故障相關(guān)的數(shù)據(jù)構(gòu)成。

機(jī)器學(xué)習(xí)裝置1內(nèi)的學(xué)習(xí)部12具備回報(bào)計(jì)算部21和函數(shù)更新部22，按照基于狀態(tài)觀測部11觀測到的狀態(tài)變量而生成的訓(xùn)練數(shù)據(jù)集來學(xué)習(xí)功率元件的預(yù)測壽命。

學(xué)習(xí)部12內(nèi)的回報(bào)計(jì)算部21基于由狀態(tài)觀測部11觀測到的功率元件的開關(guān)次數(shù)以及功率元件有無故障來計(jì)算回報(bào)。例如，回報(bào)計(jì)算部21在由狀態(tài)觀測部11觀測到的功率元件的開關(guān)次數(shù)超過規(guī)定次數(shù)時(shí)，因?yàn)槌^了與功率元件具有的壽命相當(dāng)?shù)摹澳陀瞄_關(guān)次數(shù)”，所以減少回報(bào)。另外，回報(bào)計(jì)算部21在功率元件的開關(guān)次數(shù)沒有超過上述規(guī)定次數(shù)時(shí)而發(fā)生了功率元件的故障時(shí)，也減少回報(bào)。

學(xué)習(xí)部12內(nèi)的函數(shù)更新部22基于由狀態(tài)觀測部11觀測到的狀態(tài)變量以及由回報(bào)計(jì)算部21計(jì)算出的回報(bào)，更新用于計(jì)算功率元件的預(yù)測壽命的函數(shù)(行為價(jià)值表)。

意圖決定部13基于學(xué)習(xí)部12按照訓(xùn)練數(shù)據(jù)集進(jìn)行學(xué)習(xí)的結(jié)果，對當(dāng)前的狀態(tài)變量的輸入進(jìn)行響應(yīng)，計(jì)算功率元件的預(yù)測壽命。如上所述，功率元件的壽命(開關(guān)次數(shù))由功率元件動作時(shí)的結(jié)溫與基礎(chǔ)溫度之間的差(功率循環(huán))來決定，該結(jié)溫與基礎(chǔ)溫度之間的差根據(jù)電動機(jī)驅(qū)動裝置的運(yùn)行條件和周圍溫度而變化。因此，意圖決定部13從基于狀態(tài)觀測部11觀測到的功率元件的開關(guān)次數(shù)、功率元件的結(jié)溫以及功率元件有無故障而在函數(shù)更新部22中生成(更新)后的函數(shù)(行為價(jià)值表)中，參考與過去的結(jié)溫與基礎(chǔ)溫度之間的差相關(guān)的數(shù)據(jù)或故障數(shù)據(jù)來決定功率元件的預(yù)測壽命。在本實(shí)施例中，作為一個(gè)例子使用強(qiáng)化學(xué)習(xí)來作為學(xué)習(xí)算法，因此學(xué)習(xí)部12內(nèi)的函數(shù)更新部22基于由學(xué)習(xí)部12內(nèi)的回報(bào)計(jì)算部21計(jì)算出的回報(bào)，更新用于計(jì)算預(yù)測壽命的函數(shù)，意圖決定部13基于更新后的函數(shù)，選擇得到最多回報(bào)的預(yù)測壽命，并將其輸出。將意圖決定部13決定的預(yù)測壽命輸出到通知部14。

通知部14向作業(yè)者通知由意圖決定部13計(jì)算出的預(yù)測壽命。并且，通知部14也可以基于意圖決定部13計(jì)算出的預(yù)測壽命，向作業(yè)者通知用于催促更換功率元件的信息。通過通知部14，作業(yè)者能夠得知功率元件的預(yù)測壽命，所以能夠在功率元件無法運(yùn)轉(zhuǎn)之前更換功率元件。由于能夠在適當(dāng)?shù)臅r(shí)期更換功率元件，能夠消除不需要的設(shè)計(jì)余量，并且能夠減少功率元件的庫存。又或者，作為通知部14的通知內(nèi)容，也可以一并通知在計(jì)算預(yù)測壽命時(shí)得到的對功率元件的壽命造成大的影響的運(yùn)轉(zhuǎn)狀態(tài)。由此，作業(yè)者能夠采取措施，來變更對功率元件的壽命造成影響的運(yùn)轉(zhuǎn)狀態(tài)。例如，設(shè)計(jì)者能夠采取對電動機(jī)驅(qū)動裝置1000的周圍環(huán)境進(jìn)行調(diào)整從而成為延長功率元件的壽命的適當(dāng)溫度的措施、或者采取對輸出電壓、輸出電流或開關(guān)頻率這樣的運(yùn)行條件進(jìn)行變更的措施。

作為通知部14，例如是個(gè)人電腦、便攜終端、觸摸屏等顯示器或電動機(jī)驅(qū)動裝置1000所附帶的顯示器等，例如能夠通過字符或圖案在顯示器上顯示預(yù)測壽命。此外，例如也可以將通知部14通過揚(yáng)聲器、蜂鳴器、鈴等可發(fā)出聲音的音響設(shè)備來實(shí)現(xiàn)。又或者，關(guān)于通知部14，還可以采取使用打印機(jī)打印到紙面等來進(jìn)行顯示的方式。又或者，也可以將它們適當(dāng)組合來實(shí)現(xiàn)通知部14。

圖7是表示實(shí)施例的具備應(yīng)用了強(qiáng)化學(xué)習(xí)的機(jī)器學(xué)習(xí)裝置的壽命預(yù)測裝置的動作流程的流程圖。

一般在強(qiáng)化學(xué)習(xí)中隨機(jī)選擇行為的初始值。在本實(shí)施例的步驟S201中，隨機(jī)選擇作為行為的預(yù)測壽命。

在步驟S202中，電動機(jī)控制部50基于在其內(nèi)部存儲的控制軟件，使用預(yù)定的速度指令、用于交流電動機(jī)2的動作程序、從電力供給部31輸出的交流電流以及/或者交流電壓、交流電動機(jī)2的轉(zhuǎn)子轉(zhuǎn)速以及/或者轉(zhuǎn)子位置等這樣的信息，來生成用于控制交流電動機(jī)2的速度、扭矩或轉(zhuǎn)子位置的開關(guān)指令。電力供給部31基于在電動機(jī)控制部50中生成的開關(guān)指令來控制功率元件的開關(guān)動作，從而將直流電力變換為交流電力后提供給交流電動機(jī)。由此，交流電動機(jī)2基于供給的電壓可變以及頻率可變的三相交流電力來進(jìn)行動作。在此期間，開關(guān)次數(shù)取得部32基于由電動機(jī)控制部50生成的用于對功率元件進(jìn)行接通斷開驅(qū)動的開關(guān)指令，來取得與開關(guān)次數(shù)相關(guān)的數(shù)據(jù)，故障判定部33基于由電動機(jī)控制部50生成的針對功率元件的開關(guān)指令和從電力供給部31輸出的交流電力，來取得與功率元件有無故障相關(guān)的數(shù)據(jù)。另外，溫度計(jì)算部34基于用于冷卻功率元件的散熱片的溫度、電動機(jī)驅(qū)動裝置1000的周圍溫度、從電動機(jī)驅(qū)動裝置1000向交流電動機(jī)2供給的電流的值、以及從電動機(jī)驅(qū)動裝置1000向交流電動機(jī)2施加的電壓的值，來計(jì)算功率元件的結(jié)溫T_CHIP，但是作為其代替，也可以通過溫度傳感器測定功率元件的結(jié)溫。

在步驟S203中，狀態(tài)觀測部11觀測狀態(tài)變量，該狀態(tài)變量由從開關(guān)次數(shù)取得部32取得的與功率元件的開關(guān)次數(shù)相關(guān)的數(shù)據(jù)、從溫度計(jì)算部34取得的與功率元件的結(jié)溫相關(guān)的數(shù)據(jù)、從故障判定部33取得的與功率元件有無故障相關(guān)的數(shù)據(jù)構(gòu)成。

其次，在步驟S204中，狀態(tài)觀測部11判斷觀測到的功率元件的開關(guān)次數(shù)是否超過了規(guī)定次數(shù)α。在判定為功率元件的開關(guān)次數(shù)超過了規(guī)定次數(shù)α?xí)r，在步驟S207中回報(bào)計(jì)算部21減少回報(bào)。另一方面，在判定為功率元件的開關(guān)次數(shù)沒有超過規(guī)定次數(shù)α?xí)r，向步驟S205前進(jìn)。

在步驟S205中，狀態(tài)觀測部11基于與功率元件有無故障相關(guān)的數(shù)據(jù)，辨別功率元件是否發(fā)生了故障。在判定為功率元件沒有發(fā)生故障時(shí)，在步驟S206中回報(bào)計(jì)算部21增加回報(bào)。另一方面，在判定為功率元件發(fā)生了故障時(shí)，在步驟S207中回報(bào)計(jì)算部21減少回報(bào)。

在步驟S208中，函數(shù)更新部22基于由狀態(tài)觀測部11觀測到的狀態(tài)變量以及由回報(bào)計(jì)算部21計(jì)算出的回報(bào)來更新用于計(jì)算功率元件的預(yù)測壽命的函數(shù)(行為價(jià)值表)。

接著在步驟S209中，意圖決定部13基于在步驟S208中更新后的函數(shù)來選擇得到最多回報(bào)的功率元件的預(yù)測壽命，并將其輸出。將意圖決定部13決定的預(yù)測壽命輸出給通知部14。

在步驟S210中，向作業(yè)者通知由意圖決定部13計(jì)算出的預(yù)測壽命。又或者，通知部14基于由意圖決定部13計(jì)算出的預(yù)測壽命，向作業(yè)者通知用于催促更換功率元件的信息。

然后，返回到步驟S202。在此之后，直到作業(yè)者更換功率元件為止，重復(fù)執(zhí)行步驟S202～S209的處理。由此，機(jī)器學(xué)習(xí)裝置1學(xué)習(xí)功率元件的預(yù)測壽命。此外，也可以從多個(gè)電動機(jī)驅(qū)動裝置取得訓(xùn)練數(shù)據(jù)集，此時(shí)，學(xué)習(xí)部12根據(jù)針對多個(gè)電動機(jī)驅(qū)動裝置取得的訓(xùn)練數(shù)據(jù)集來重復(fù)執(zhí)行步驟S202～S210的處理，來學(xué)習(xí)預(yù)測壽命。在針對多個(gè)電動機(jī)驅(qū)動裝置取得了訓(xùn)練數(shù)據(jù)集時(shí)，機(jī)器學(xué)習(xí)裝置1的學(xué)習(xí)精度提高。

其次，對機(jī)器學(xué)習(xí)裝置1進(jìn)行更詳細(xì)的說明。機(jī)器學(xué)習(xí)裝置1具有從裝置中輸入的數(shù)據(jù)的集合中，通過解析抽出其中有用的規(guī)則和知識表現(xiàn)、判斷基準(zhǔn)等，輸出其判斷結(jié)果，并且進(jìn)行知識學(xué)習(xí)的功能。如上所述，作為機(jī)器學(xué)習(xí)裝置1的學(xué)習(xí)算法，大致分為“有教師學(xué)習(xí)”、“無教師學(xué)習(xí)”、“強(qiáng)化學(xué)習(xí)”。并且，在實(shí)現(xiàn)這些方法的基礎(chǔ)上，具有對特征量自身的抽出進(jìn)行學(xué)習(xí)的被稱為“深層學(xué)習(xí)”的方法。此外，這些機(jī)器學(xué)習(xí)(機(jī)器學(xué)習(xí)裝置1)例如通過應(yīng)用GPGPU(General-Purpose computing on Graphics Processing Units通用計(jì)算圖形處理器)或大規(guī)模PC集群等來實(shí)現(xiàn)。

“有教師學(xué)習(xí)”是通過向機(jī)器學(xué)習(xí)裝置1大量地賦予某個(gè)輸入和結(jié)果(標(biāo)簽)的數(shù)據(jù)組合，學(xué)習(xí)這些數(shù)據(jù)集中具有的特征，可歸納性地獲得根據(jù)輸入推定結(jié)果的模型，即其關(guān)系性。當(dāng)在本實(shí)施方式中應(yīng)用該有教師學(xué)習(xí)時(shí)，可以在計(jì)算功率元件的預(yù)測壽命的部分等中使用。可以使用后述的神經(jīng)網(wǎng)絡(luò)等的算法來實(shí)現(xiàn)。

“無教師學(xué)習(xí)”是以下的方法：通過大量地向機(jī)器學(xué)習(xí)裝置1僅賦予輸入數(shù)據(jù)，來學(xué)習(xí)輸入數(shù)據(jù)怎樣分布，即使不賦予對應(yīng)的教師輸出數(shù)據(jù)，也可學(xué)習(xí)針對輸入數(shù)據(jù)進(jìn)行壓縮、分類、整形等的裝置。例如，能夠按照彼此相似來對這些數(shù)據(jù)集所具有的特征進(jìn)行分類。使用該結(jié)果，設(shè)置某種基準(zhǔn)來進(jìn)行使該基準(zhǔn)成為最佳的輸出的分配，由此能夠?qū)崿F(xiàn)輸出的預(yù)測。

另外，作為“無教師學(xué)習(xí)”和“有教師學(xué)習(xí)”中間的問題設(shè)定，具有被稱為“半有教師學(xué)習(xí)”的方法，僅存在一部分的輸入和輸出的數(shù)據(jù)的組合，除此之外僅為輸入的數(shù)據(jù)(例如仿真的數(shù)據(jù))的情況相當(dāng)于該“半有教師學(xué)習(xí)”。在本實(shí)施方式中，能夠通過無教師學(xué)習(xí)來使用即使不實(shí)際使電動機(jī)驅(qū)動裝置進(jìn)行動作也能夠取得的數(shù)據(jù)，并高效地進(jìn)行學(xué)習(xí)。

首先說明使機(jī)器學(xué)習(xí)裝置1的學(xué)習(xí)算法為強(qiáng)化學(xué)習(xí)的例子。

作為強(qiáng)化學(xué)習(xí)的問題設(shè)定，如下那樣考慮。

·電動機(jī)驅(qū)動裝置觀測環(huán)境的狀態(tài)，并決定行為。

·環(huán)境按照某種規(guī)則進(jìn)行變化，并且有時(shí)自己的行為對環(huán)境賦予變化。

·每次行為時(shí)返回回報(bào)信號。

·期望最大化的是將來的(折扣)回報(bào)的總和。

·從完全不知道或者不完全知道行為引起的結(jié)果的狀態(tài)起開始學(xué)習(xí)。即，電動機(jī)驅(qū)動裝置實(shí)際開始進(jìn)行動作從而能夠得到其結(jié)果來作為數(shù)據(jù)。即，需要一邊試錯(cuò)一邊探索最佳的行為。

·能夠?qū)⒁阅７氯说膭幼鞯姆绞竭M(jìn)行了事先學(xué)習(xí)(上述的有教師學(xué)習(xí)、或稱為逆強(qiáng)化學(xué)習(xí)的方法)的狀態(tài)作為初始狀態(tài)，從好的開始地點(diǎn)起開始進(jìn)行學(xué)習(xí)。

在此，“強(qiáng)化學(xué)習(xí)”是指如下的方法：不僅學(xué)習(xí)判定和分類，還學(xué)習(xí)行為，由此基于行為對環(huán)境賦予的相互作用來學(xué)習(xí)適當(dāng)?shù)男袨?，即進(jìn)行用于使將來得到的回報(bào)成為最大的學(xué)習(xí)。這種情況在本實(shí)施方式中，表示為能夠正確地計(jì)算功率元件的預(yù)測壽命獲得對未來產(chǎn)生影響的行為。例如在為Q學(xué)習(xí)的情況下繼續(xù)進(jìn)行說明，但是并不限于此。

Q學(xué)習(xí)是在某環(huán)境狀態(tài)s下，對選擇行為a的價(jià)值Q(s、a)進(jìn)行學(xué)習(xí)的方法。即，在某狀態(tài)s時(shí)，選擇價(jià)值Q(s、a)最高的行為a來作為最佳的行為即可。但是，最初對于狀態(tài)s和行為a的組合，完全不知道價(jià)值Q(s、a)的正確值。因此，智能體(行為主體)在某狀態(tài)s下選擇各種行為a，針對此時(shí)的行為a賦予回報(bào)。由此，智能體學(xué)習(xí)了更好的行為選擇，即學(xué)習(xí)了正確的價(jià)值Q(s、a)。

并且，作為行為的結(jié)果，期望使將來得到的回報(bào)的總和最大化，因此以最終成為Q(s，a)＝E[Σγ^tr_t]為目標(biāo)。在此，對于按照最佳的行為進(jìn)行了狀態(tài)變化的時(shí)候得到期待值。因?yàn)椴磺宄@些，所以必須一邊探索一邊學(xué)習(xí)。這樣的價(jià)值Q(s、a)的更新式例如能夠通過下式來表示。

[式1]

在上述的式1中，s_t表示時(shí)刻t的環(huán)境狀態(tài)，a_t表示時(shí)刻t的行為。通過行為a_t，狀態(tài)變化為s_t+1。r_t+1表示通過該狀態(tài)的變化而得到的回報(bào)。另外，帶有max的項(xiàng)是在狀態(tài)s_t+1下，在選擇了此時(shí)知道的Q值最高的行為a時(shí)的Q值乘以γ的項(xiàng)。γ是0＜γ≤1的參數(shù)，被稱為折扣率。a是學(xué)習(xí)系數(shù)，范圍是0＜α≤1。

式1表示基于作為嘗試a_t的結(jié)果而返回的回報(bào)r_t+1，對狀態(tài)s_t下的行為a_t的評價(jià)值Q(s_t、a_t)進(jìn)行更新的方法。表示了與狀態(tài)s下的行為a的評價(jià)值Q(s_t、a_t)相比，如果回報(bào)r_t+1+基于行為a的下一個(gè)狀態(tài)下的最佳的行為max a的評價(jià)值Q(s_t+1、max a_t+1)大，則增大Q(s_t、a_t)，反之如果小，則減小Q(s_t、a_t)。即，使某種狀態(tài)下的某種行為的價(jià)值接近作為結(jié)果立即返回的回報(bào)和基于該行為的下一個(gè)狀態(tài)下的最佳的行為的價(jià)值。

在這里，關(guān)于Q(s、a)在計(jì)算機(jī)上的表現(xiàn)方法，具有針對全部的狀態(tài)行為對(s、a)，將其值作為表(行為價(jià)值表)進(jìn)行保存的方法、準(zhǔn)備對Q(s、a)進(jìn)行近似的函數(shù)的方法。在后者的方法中，上述的更新式能夠通過使用隨機(jī)梯度下降法等方法調(diào)整近似函數(shù)的參數(shù)來實(shí)現(xiàn)。作為近似函數(shù)，能夠使用后述的神經(jīng)網(wǎng)絡(luò)。

另外，作為有教師學(xué)習(xí)、無教師學(xué)習(xí)、以及強(qiáng)化學(xué)習(xí)中的價(jià)值函數(shù)的近似算法，能夠使用神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)例如由實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的運(yùn)算裝置以及存儲器等構(gòu)成，該神經(jīng)網(wǎng)絡(luò)模擬圖8所示的神經(jīng)元模型。

如圖8所示，神經(jīng)元輸出與多個(gè)輸入x(在圖8中，作為一個(gè)例子為輸入x₁～輸入x₃)相對的輸出y。對各輸入x₁～x₃乘以與該輸入x對應(yīng)的權(quán)重w(w₁～w₃)。由此，神經(jīng)元輸出式2表現(xiàn)的輸出y。此外，輸入x、輸出y以及權(quán)重w全是矢量。另外，在下式2中，θ為偏置，f_k為激活函數(shù)。

[式2]

其次，參照圖9對具有將上述神經(jīng)元進(jìn)行組合后的三層的權(quán)重的神經(jīng)網(wǎng)絡(luò)進(jìn)行說明。圖9是表示具有D1～D3的三層權(quán)重的神經(jīng)網(wǎng)絡(luò)的示意圖。

如圖9所示，從神經(jīng)網(wǎng)絡(luò)的左側(cè)輸入多個(gè)輸入x(在此作為一個(gè)例子，輸入x1～輸入x3)，從右側(cè)輸出結(jié)果y(在此作為一個(gè)例子，結(jié)果y1～結(jié)果y3)。

具體來說，針對三個(gè)神經(jīng)元N11～N13，將輸入x1～輸入x3分別乘以對應(yīng)的權(quán)重后進(jìn)行輸入。將這些輸入乘以的權(quán)重統(tǒng)一標(biāo)記為w1。

神經(jīng)元N11～N13分別輸出z11～z13。在圖9中，將這些z11～z13統(tǒng)一標(biāo)記為特征矢量z1，能夠視為抽出了輸入矢量的特征量的矢量。該特征矢量z1是權(quán)重w1和權(quán)重w2之間的特征矢量。針對兩個(gè)神經(jīng)元N21、N22，將z11～z13分別乘以對應(yīng)的權(quán)重后進(jìn)行輸入。將這些特征矢量乘以的權(quán)重統(tǒng)一標(biāo)記為w2。

神經(jīng)元N21、N22分別輸出z21、z22。在圖9中，將這些z21、z22統(tǒng)一標(biāo)記為特征矢量z2。該特征矢量z2是權(quán)重w2和權(quán)重w3之間的特征矢量。針對三個(gè)神經(jīng)元N31～N33，將特征矢量z21、z22乘以對應(yīng)的權(quán)重后進(jìn)行輸入。將這些特征矢量乘以的權(quán)重統(tǒng)一標(biāo)記為w3。

最后，神經(jīng)元N11～N13分別輸出結(jié)果y1～結(jié)果y3。

在神經(jīng)網(wǎng)絡(luò)的動作中，具有學(xué)習(xí)模式和價(jià)值預(yù)測模式。例如，在學(xué)習(xí)模式中使用學(xué)習(xí)數(shù)據(jù)集來學(xué)習(xí)權(quán)重w，使用其參數(shù)在預(yù)測模式中進(jìn)行電動機(jī)驅(qū)動裝置的行為判斷。為了方便記載為預(yù)測，但是能夠進(jìn)行檢測、分類、推論等多種多樣的任務(wù)。

在此，既能夠即時(shí)學(xué)習(xí)在預(yù)測模式中實(shí)際使電動機(jī)驅(qū)動裝置進(jìn)行動作而得到的數(shù)據(jù)，并將該數(shù)據(jù)反映到下次的行為中(在線學(xué)習(xí))，也能夠使用預(yù)先收集的數(shù)據(jù)群來進(jìn)行總結(jié)學(xué)習(xí)，以后一直使用該參數(shù)進(jìn)行檢測模式(批量學(xué)習(xí))?；蛘?，在這中間，能夠在每次積累了一定程度數(shù)據(jù)時(shí)間隔學(xué)習(xí)模式。

另外，權(quán)重w1～w3能夠通過誤差逆?zhèn)鞑シ?反向傳播)進(jìn)行學(xué)習(xí)。誤差的信息從右側(cè)進(jìn)入流向左側(cè)。誤差逆?zhèn)鞑シㄊ侨缦路椒ǎ横槍Ω魃窠?jīng)元調(diào)整(學(xué)習(xí))各個(gè)權(quán)重，從而減小輸入了輸入x時(shí)的輸出y和真實(shí)的輸出y(教師)之間的差。

這樣的神經(jīng)網(wǎng)絡(luò)可以在三層以上進(jìn)一步增加層(稱為深層學(xué)習(xí))。能夠一步一步地進(jìn)行輸入的特征抽出，僅從教師數(shù)據(jù)自動地獲得返回結(jié)果的運(yùn)算裝置。

在此，本實(shí)施方式的機(jī)器學(xué)習(xí)裝置1為了實(shí)施上述的Q學(xué)習(xí)，例如如圖5所示，具備狀態(tài)觀測部11、學(xué)習(xí)部12以及意圖決定部13。但是，用于本發(fā)明的機(jī)器學(xué)習(xí)方法并不限于Q學(xué)習(xí)，可以采用如上所述的方法。即，能夠采用可在機(jī)器學(xué)習(xí)裝置中使用的方法，即“有教師學(xué)習(xí)”、“無教師學(xué)習(xí)”、“半有教師學(xué)習(xí)”以及“強(qiáng)化學(xué)習(xí)”等各種各樣的方法。這些的機(jī)器學(xué)習(xí)(機(jī)器學(xué)習(xí)裝置1)例如能夠通過應(yīng)用GPGPU或大規(guī)模PC集群等來實(shí)現(xiàn)。例如在應(yīng)用有教師學(xué)習(xí)時(shí)，價(jià)值函數(shù)與學(xué)習(xí)模型相對應(yīng)，回報(bào)與誤差相對應(yīng)。此外，作為其行為價(jià)值表，能夠采用使用上述的神經(jīng)網(wǎng)絡(luò)進(jìn)行近似的函數(shù)，這在s以及a的信息量巨大時(shí)特別有效。

接下來，說明將機(jī)器學(xué)習(xí)裝置1的學(xué)習(xí)算法設(shè)為有教師學(xué)習(xí)的例子。

圖10是表示實(shí)施例的具備應(yīng)用了有教師學(xué)習(xí)的機(jī)器學(xué)習(xí)裝置的壽命預(yù)測裝置以及具備該壽命預(yù)測裝置的電動機(jī)驅(qū)動裝置的原理框圖。通過將圖10與上述的圖5進(jìn)行比較可知，圖10所示的具備電動機(jī)控制裝置(在該電動機(jī)控制裝置中具備應(yīng)用了有教師學(xué)習(xí)的機(jī)器學(xué)習(xí)裝置)的電動機(jī)驅(qū)動裝置相對于圖5所示的具備應(yīng)用了Q學(xué)習(xí)(強(qiáng)化學(xué)習(xí))的機(jī)器學(xué)習(xí)裝置的電動機(jī)控制裝置，還具備結(jié)果(標(biāo)簽)提供部40。另外，圖10中的機(jī)器學(xué)習(xí)裝置1具備狀態(tài)觀測部11、包含誤差計(jì)算部23以及學(xué)習(xí)模型更新部24的學(xué)習(xí)部15、以及意圖決定部16。

在圖10所示的具備應(yīng)用了有教師學(xué)習(xí)的機(jī)器學(xué)習(xí)裝置的電動機(jī)控制裝置中，誤差計(jì)算部23以及學(xué)習(xí)模型更新部24分別與圖5所示的應(yīng)用了Q學(xué)習(xí)的電動機(jī)控制裝置中的回報(bào)計(jì)算部21以及函數(shù)更新部22相對應(yīng)。但是，從結(jié)果提供部40向誤差計(jì)算部23輸入結(jié)果(標(biāo)簽)。其他的結(jié)構(gòu)與上述的圖5相同，在此省略其說明。

結(jié)果提供部40向?qū)W習(xí)部15的誤差計(jì)算部23提供(輸入)附帶標(biāo)簽的數(shù)據(jù)(結(jié)果)，誤差計(jì)算部23取得來自狀態(tài)觀測部11的信號，并且取得來自結(jié)果提供部40的附帶標(biāo)簽的數(shù)據(jù)從而進(jìn)行誤差計(jì)算，并且，學(xué)習(xí)模型更新部24進(jìn)行學(xué)習(xí)模型的更新。在此，結(jié)果提供部40例如在電動機(jī)驅(qū)動裝置1000的處理相同時(shí)，例如能夠保存直到使電動機(jī)驅(qū)動裝置1000進(jìn)行驅(qū)動的預(yù)定日的前一日為止得到的附帶標(biāo)簽的數(shù)據(jù)，并在該預(yù)定日向誤差計(jì)算部23提供該結(jié)果提供部40保存的附帶標(biāo)簽的數(shù)據(jù)。

或者，能夠通過存儲卡或通信線路向該電動機(jī)驅(qū)動裝置1000的誤差計(jì)算部23提供通過在電動機(jī)驅(qū)動裝置1000外部進(jìn)行的仿真等得到的數(shù)據(jù)、或者其他電動機(jī)驅(qū)動裝置的附帶標(biāo)簽的數(shù)據(jù)。并且，能夠通過閃速存儲器(Flash Memory)等非易失性存儲器構(gòu)成結(jié)果提供部40，將結(jié)果提供部(非易失性存儲器)40內(nèi)置在學(xué)習(xí)部15中，由學(xué)習(xí)部15直接使用在該結(jié)果提供部40中保存的附帶標(biāo)簽的數(shù)據(jù)。

關(guān)于圖10所示的電動機(jī)驅(qū)動裝置1000中具備的機(jī)器學(xué)習(xí)裝置1的動作，為了取得功率元件的預(yù)測壽命，例如，誤差計(jì)算部23根據(jù)從結(jié)果提供部40輸入的結(jié)果，基于狀態(tài)變量來計(jì)算誤差，并更新學(xué)習(xí)模型更新部24中的學(xué)習(xí)模型。

此外，作為機(jī)器學(xué)習(xí)裝置1，并不限于應(yīng)用上述的強(qiáng)化學(xué)習(xí)(例如Q學(xué)習(xí))或有教師學(xué)習(xí)，能夠應(yīng)用各種各樣的機(jī)器學(xué)習(xí)的算法。

此外，上述的狀態(tài)觀測部11、學(xué)習(xí)部12和15以及意圖決定部13和16例如可以由軟件程序形式來構(gòu)筑，或者也可以通過各種電子電路和軟件程序的組合來構(gòu)筑。例如在將它們由軟件程序形式來構(gòu)筑時(shí)，能夠按照該軟件程序來使電動機(jī)驅(qū)動裝置1000內(nèi)所具有的運(yùn)算處理裝置進(jìn)行動作，或者通過在云服務(wù)器上運(yùn)行該軟件程序來實(shí)現(xiàn)上述各部位的功能。又或者，也可以將具備狀態(tài)觀測部11以及學(xué)習(xí)部12、15的機(jī)器學(xué)習(xí)裝置1作為寫入了用于實(shí)現(xiàn)各部功能的軟件程序的半導(dǎo)體集成電路來實(shí)現(xiàn)。又或者，可以通過不僅包含具備狀態(tài)觀測部11以及學(xué)習(xí)部12、15的機(jī)器學(xué)習(xí)裝置1，還包含意圖決定部13、16的形式，來實(shí)現(xiàn)寫入了用于實(shí)現(xiàn)各部功能的軟件程序的半導(dǎo)體集成電路。

另外，因?yàn)槭褂秒妱訖C(jī)驅(qū)動控制裝置1000為了驅(qū)動控制交流電動機(jī)2而原本具備的傳感器所檢測的數(shù)據(jù)來執(zhí)行機(jī)器學(xué)習(xí)處理1，因此不需要另外設(shè)置新的硬件裝置，所以能夠在之后安裝到既有的電動機(jī)驅(qū)動裝置中來應(yīng)用。此時(shí)，可以在該既有的電動機(jī)驅(qū)動裝置中安裝寫入了用于實(shí)現(xiàn)機(jī)器學(xué)習(xí)裝置1和意圖決定部13、16的各部功能的軟件程序的半導(dǎo)體集成電路，或者可以在該既有的電動機(jī)驅(qū)動裝置內(nèi)的運(yùn)算處理裝置中追加安裝用于實(shí)現(xiàn)機(jī)器學(xué)習(xí)裝置1和意圖決定部13、16的各部功能的軟件程序自身。另外，也可以將針對某個(gè)電動機(jī)驅(qū)動裝置內(nèi)的功率元件學(xué)習(xí)了預(yù)測壽命的機(jī)器學(xué)習(xí)裝置1安裝到與之不同的其他電動機(jī)驅(qū)動裝置中，針對該其他的電動機(jī)驅(qū)動裝置內(nèi)的功率元件再次學(xué)習(xí)預(yù)測壽命來進(jìn)行更新。

通過本發(fā)明，能夠?qū)崿F(xiàn)能夠正確且容易地預(yù)測功率元件的預(yù)測壽命的機(jī)器學(xué)習(xí)裝置及方法以及具備該機(jī)器學(xué)習(xí)裝置的壽命預(yù)測裝置及電動機(jī)驅(qū)動裝置。

通過本發(fā)明的機(jī)器學(xué)習(xí)裝置及其方法，能夠一邊實(shí)際地使電動機(jī)驅(qū)動裝置進(jìn)行動作一邊學(xué)習(xí)電動機(jī)驅(qū)動裝置中的電力供給部內(nèi)的功率元件的預(yù)測壽命，所以能夠?qū)W習(xí)與實(shí)際的使用狀況相應(yīng)的正確的預(yù)測壽命。另外，通過本發(fā)明的具備機(jī)器學(xué)習(xí)裝置的壽命預(yù)測裝置以及電動機(jī)驅(qū)動裝置，能夠容易計(jì)算與實(shí)際的使用狀況相應(yīng)的正確的預(yù)測壽命。由此，作業(yè)者因?yàn)槟軌虻弥β试恼_的預(yù)測壽命，所以能夠在功率元件無法運(yùn)轉(zhuǎn)之前更換功率元件，不會超出功率元件的更換定時(shí)，因此能夠事先防止功率元件的故障或由于達(dá)到壽命而引起的重大事故。如此能夠在適當(dāng)?shù)臅r(shí)期進(jìn)行功率元件的更換，從而能夠消減不需要的設(shè)計(jì)余量，并且能夠減少功率元件的庫存。另外，因?yàn)槟軌虻弥谟?jì)算預(yù)測壽命時(shí)得到的對功率元件的壽命造成大的影響的運(yùn)轉(zhuǎn)狀態(tài)，所以能夠采取措施來變更對功率元件的壽命造成影響的運(yùn)轉(zhuǎn)狀態(tài)。例如，設(shè)計(jì)者能夠采取對電動機(jī)驅(qū)動裝置的周圍環(huán)境進(jìn)行調(diào)整從而成為延長功率元件的壽命的適當(dāng)溫度這樣的措施，或者采取變更輸出電壓、輸出電流或開關(guān)頻率這樣的運(yùn)轉(zhuǎn)條件的措施。