本發(fā)明屬于信貸違約預(yù)測方法，具體涉及一種基于自注意力集成自動多視野的信貸違約預(yù)測方法及裝置。

背景技術(shù)：

1、信用風(fēng)險是金融風(fēng)險的一個重要方面，信用違約是其主要表現(xiàn)形式。信用違約對金融市場穩(wěn)定具有重大影響。由于經(jīng)濟(jì)增長放緩、地緣政治風(fēng)險升級和貿(mào)易摩擦，全球違約率不斷上升。這些違約具有深遠(yuǎn)的影響，包括經(jīng)濟(jì)增長乏力、投資者信心下降以及金融機(jī)構(gòu)遭受重大損失。因此，當(dāng)務(wù)之急是制定有效的信用風(fēng)險管理策略，以減輕信用違約對金融市場和經(jīng)濟(jì)的不利影響。

2、然而，由于數(shù)據(jù)復(fù)雜和稀疏性高等特性，信用違約預(yù)測是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。近年來，最近的研究工作主要集中在統(tǒng)計學(xué)習(xí)和機(jī)器學(xué)習(xí)技術(shù)上，以降低信用違約的風(fēng)險。

3、統(tǒng)計學(xué)習(xí)主要基于信用評級和和邏輯回歸(logistic?regression，lr)進(jìn)行信用分析預(yù)測，然而lr對異常值和缺失數(shù)據(jù)也很敏感，很難在大數(shù)據(jù)集上訓(xùn)練lr模型。盡管存在這些局限性，但由于其良好的可解釋性，lr是一種廣泛使用的信用違約預(yù)測方法。然而，全球金融危機(jī)揭示了lr方法的一些缺點(diǎn)，例如它們對不斷變化的經(jīng)濟(jì)條件的適應(yīng)性較慢，以及它們對經(jīng)濟(jì)、金融和信用變量之間復(fù)雜的非線性相互作用建模的能力有限。

4、機(jī)器學(xué)習(xí)對適應(yīng)數(shù)據(jù)的變化以及容納大量特征集具有較優(yōu)自適應(yīng)能力。決策樹(decision?tree，dt)可以捕獲變量之間的相互作用和非線性關(guān)系，在違約和非違約案例之間提供良好的區(qū)分。然而，dt的重復(fù)屬性分割容易過擬合。集成學(xué)習(xí)通過生長多棵樹并計算它們的平均值來解決這個問題。例如，梯度提升決策樹(gradient?boosting?decisiontree，gbdt)學(xué)習(xí)一系列弱學(xué)習(xí)器來預(yù)測輸出，其中弱學(xué)習(xí)器是dt。chen等人證明gbdt在表格數(shù)據(jù)應(yīng)用程序中優(yōu)于其他方法。已經(jīng)開發(fā)了幾種gbdt算法，例如xgboost、lightgbm和catboost，以成功預(yù)測信用風(fēng)險。盡管這些集成算法表現(xiàn)出差異，但它們在各種任務(wù)中的性能通常相似。

5、由于深度學(xué)習(xí)能夠捕捉變量之間的復(fù)雜模式和非線性關(guān)系，因此它已成為一種很有前途的信用違約預(yù)測方法。tan等人和yang等人提出了改進(jìn)的深度神經(jīng)網(wǎng)絡(luò)(deepneural?network,dnn)，用于比機(jī)器學(xué)習(xí)和cnn更好的信用違約預(yù)測。luo等人使用深度信念網(wǎng)絡(luò)開發(fā)了信用風(fēng)險評估模型，該模型擅長學(xué)習(xí)有效的特征表示和捕獲數(shù)據(jù)中的潛在模式。fu等人結(jié)合dnn和雙向長短期記憶來準(zhǔn)確識別潛在的信用風(fēng)險。這些研究表明，深度學(xué)習(xí)技術(shù)可以顯著提高信用違約模型的預(yù)測性能，使其成為信用風(fēng)險管理中的寶貴工具。

6、此外，一些新方法基于多視圖特征組織來提高模型性能。song等人設(shè)計了基于多視圖的特征采樣來優(yōu)化不平衡學(xué)習(xí)。tan等人提出基于離散、連續(xù)及其相關(guān)符號差異的多視圖特征學(xué)習(xí)是提高預(yù)測精度的有效策略。

7、現(xiàn)有的工作表明gbdt，深度學(xué)習(xí)，以及多視圖集成可以顯著提高模型性能。然而，關(guān)于如何結(jié)合這些優(yōu)化策略以獲得更好的解決方案的探索有限。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明是為解決上述問題而進(jìn)行的，目的在于提供一種準(zhǔn)確率更高、的信貸違約預(yù)測方法及裝置，本發(fā)明采用了如下技術(shù)方案：

2、本發(fā)明提供了一種基于自注意力集成自動多視野的信貸違約預(yù)測方法，其特征在于，包括以下步驟：特征組劃分步驟：基于離散連接性和正負(fù)相關(guān)性將用于模型訓(xùn)練的金融數(shù)據(jù)的特征自動劃分為四個特征組，得到訓(xùn)練集；模型訓(xùn)練步驟：基于所述訓(xùn)練集對基于自注意力機(jī)制的堆疊網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的所述堆疊網(wǎng)絡(luò)模型，其中，該模型包括四個基神經(jīng)網(wǎng)絡(luò)模型以及自注意力層，四個所述基神經(jīng)網(wǎng)絡(luò)模型分別用于學(xué)習(xí)四個所述特征組的知識，所述自注意力層用于堆疊四個所述特征組的知識，并從中學(xué)習(xí)集成機(jī)制；信貸違約預(yù)測步驟：將待預(yù)測的金融數(shù)據(jù)輸入訓(xùn)練好的所述堆疊網(wǎng)絡(luò)模型，得到信貸違約的預(yù)測結(jié)果。

3、本發(fā)明提供的基于自注意力集成自動多視野的信貸違約預(yù)測方法，還可以具有這樣的技術(shù)特征，其中，所述特征組劃分步驟包括以下子步驟：計算所述金融數(shù)據(jù)的特征和標(biāo)簽之間的皮爾遜相關(guān)系數(shù)；篩選出所述皮爾遜相關(guān)系數(shù)大于預(yù)定值的所述特征作為正相關(guān)特征組，并篩選出所述皮爾遜相關(guān)系數(shù)小于等于所述預(yù)定值的所述特征作為負(fù)相關(guān)特征組；計算各個所述特征的類值數(shù)；計算所有所述類值數(shù)的二分位數(shù)；篩選出所述類值數(shù)大于所述二分位數(shù)的所述特征作為離散特征組，并篩選出所述類值數(shù)小于等于所述二分位數(shù)的所述特征作為連續(xù)特征組；篩選出既存在于所述正相關(guān)特征組又存在于所述離散特征組的所述特征作為正相關(guān)離散組，篩選出既存在于所述負(fù)相關(guān)特征組又存在于所述離散特征組的所述特征作為負(fù)相關(guān)離散組，篩選出既存在于所述正相關(guān)特征組又存在于所述連續(xù)特征組的所述特征作為正相關(guān)連續(xù)組，篩選出既存在于所述負(fù)相關(guān)特征組又存在于所述連續(xù)特征組的所述特征作為負(fù)相關(guān)連續(xù)組。

4、本發(fā)明提供的基于自注意力集成自動多視野的信貸違約預(yù)測方法，還可以具有這樣的技術(shù)特征，其中，每個所述基神經(jīng)網(wǎng)絡(luò)模型均包括依次連接的第一全連接層、批正則化層、第二全連接層、第三全連接層，所述批正則化層用于對所述第一全連接層的輸出進(jìn)行正則化，所述堆疊網(wǎng)絡(luò)模型還包括拼接層和輸出用全連接層，多個所述基神經(jīng)網(wǎng)絡(luò)模型的輸出均連接至所述拼接層，所述拼接層、所述自注意力層和所述輸出用全連接層依次連接，所述拼接層用于拼接各個所述基神經(jīng)網(wǎng)絡(luò)模型的輸出，所述第一全連接層、所述第二全連接層均為基于relu激活函數(shù)的全連接層，所述第三全連接層、所述輸出用全連接層均為基于sigmoid激活函數(shù)的全連接層。

5、本發(fā)明提供的基于自注意力集成自動多視野的信貸違約預(yù)測方法，還可以具有這樣的技術(shù)特征，其中，所述批正則化層對所述第一全連接層的輸出進(jìn)行正則化，得到正則化后的特征，表達(dá)式為：x1＝norm(relu(w1*x+b1))，式中，w1和b1分別是第一全連接層的權(quán)重和偏置，所述第二全連接層對正則化后的特征進(jìn)行進(jìn)一步抽象，表達(dá)式為：x2＝relu(w2*x1+b2)，式中，w2和b2分別是第二全連接層的權(quán)重和偏置，所述第三全連接層對每個所述特征組的第二全連接層的輸出進(jìn)行激活，表達(dá)式為：式中，w3和b3分別是第二全連接層的權(quán)重和偏置，所述拼接層對各個所述第三全連接層的輸出進(jìn)行拼接，得到拼接后的特征，表達(dá)式為：所述自注意力層將拼接后的特征線性映射到查詢矩陣q、鍵矩陣k和值矩陣v，表達(dá)式為：q＝wq*x*+bq，k＝wk*x*+bk，v＝wv*x*+bk，式中，wq、wk和wv為對應(yīng)的權(quán)重，bq、bk和bk為對應(yīng)的偏置項(xiàng)，所述自注意力層計算所述查詢矩陣q和所述鍵矩陣k的每兩個輸入向量之間的注意力值α，從而得到注意力矩陣a，表達(dá)式為：a＝(α)(i,j)＝softmax(q*k)，所述自注意力層計算每兩個所述輸入向量對應(yīng)的輸出向量，表達(dá)式為：xattention＝a*v，所述第四全連接層對所述自注意力層的輸出進(jìn)行激活，表達(dá)式為：ypredict＝sigmoid(w4*xattention+b4)，式中，w4和b4分別是第四全連接層的權(quán)重和偏置。

6、本發(fā)明提供的基于自注意力集成自動多視野的信貸違約預(yù)測方法，還可以具有這樣的技術(shù)特征，其中，所述模型訓(xùn)練步驟包括以下子步驟：初始化用于訓(xùn)練所述堆疊網(wǎng)絡(luò)模型的參數(shù)；基于訓(xùn)練集以及早停策略對所述堆疊網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，直到達(dá)到預(yù)定的訓(xùn)練輪數(shù)并且該模型的準(zhǔn)確率不再提升，得到訓(xùn)練好的所述堆疊網(wǎng)絡(luò)模型。

7、本發(fā)明提供的基于自注意力集成自動多視野的信貸違約預(yù)測方法，還可以具有這樣的技術(shù)特征，其中，基于adam優(yōu)化器進(jìn)行模型訓(xùn)練，初始化的所述參數(shù)包括所述堆疊網(wǎng)絡(luò)模型的權(quán)重和偏置、所述adam優(yōu)化器的學(xué)習(xí)率、一階矩估計和二階矩估計，利用訓(xùn)練集對所述堆疊網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的步驟包括：將一組所述訓(xùn)練集輸入所述堆疊網(wǎng)絡(luò)模型，并基于所述權(quán)重和所述偏置計算所述堆疊網(wǎng)絡(luò)模型的梯度；基于所述梯度更新動量的所述一階矩估計和所述二階矩估計；糾正所述一階矩估計和所述二階矩估計的偏差；基于糾正后的所述二階矩估計，更新所述堆疊網(wǎng)絡(luò)模型的權(quán)重和偏置；計算所述堆疊網(wǎng)絡(luò)模型的預(yù)測結(jié)果的準(zhǔn)確率分?jǐn)?shù)；判斷是否到達(dá)預(yù)定的第一訓(xùn)練輪次，在判斷為是時更新所述學(xué)習(xí)率；判斷是否到達(dá)預(yù)定的第二訓(xùn)練輪次且本次迭代的所述準(zhǔn)確率分?jǐn)?shù)相對于上次迭代的所述準(zhǔn)確率分?jǐn)?shù)沒有提升，在判斷為是時，輸出訓(xùn)練好的所述堆疊網(wǎng)絡(luò)模型。

8、本發(fā)明提供的基于自注意力集成自動多視野的信貸違約預(yù)測方法，還可以具有這樣的技術(shù)特征，其中，基于所述權(quán)重和所述偏置計算所述堆疊網(wǎng)絡(luò)模型的梯度，表達(dá)式為：式中，w和b分別為所述堆疊網(wǎng)絡(luò)模型的權(quán)重和偏置，基于所述梯度更新動量的所述一階矩估計，表達(dá)式為：mw＝β1·mw+(1-β1)·gw，mb＝β1·mb+(1-β1)·gb，式中，mw是w的一階矩估計，mb是b的一階矩估計，β1是一階矩估計的指數(shù)衰減率，基于所述梯度更新動量的所述二階矩估計，表達(dá)式為：式中，vw是w的二階矩估計，vb是b的二階矩估計，β2是二階矩估計的指數(shù)衰減率，糾正所述一階矩估計和所述二階矩估計的偏差，表達(dá)式為：式中，是β1的t次方，是β2的t次方，t為當(dāng)前迭代次數(shù)，是糾正后的w的一階矩估計，是糾正后的b的一階矩估計，是糾正后的w的二階矩估計，分別是糾正后的b的二階矩估計，基于糾正后的所述二階矩估計，更新所述堆疊網(wǎng)絡(luò)模型的權(quán)重和偏置，表達(dá)式為：式中，η是學(xué)習(xí)率，∈是用于防止分母為0的預(yù)定值。

9、本發(fā)明提供的基于自注意力集成自動多視野的信貸違約預(yù)測方法，還可以具有這樣的技術(shù)特征，其中，計算所述堆疊網(wǎng)絡(luò)模型的預(yù)測結(jié)果的準(zhǔn)確率分?jǐn)?shù)，表達(dá)式為：acc＝(tp+tn)/(tp+fp+tn+fn)，式中，tp和fp分別是真實(shí)違約用戶被預(yù)測為違約和不違約預(yù)測標(biāo)簽的指標(biāo)，tn和fn分別是不違約用戶被預(yù)測為不違約和違約預(yù)測標(biāo)簽的樣本，所述第一訓(xùn)練輪次為10，更新所述學(xué)習(xí)率的表達(dá)式為：ξi+1＝ξi*0.1，所述第二訓(xùn)練輪次為20。

10、本發(fā)明提供了一種基于自注意力集成自動多視野的信貸違約預(yù)測裝置，其特征在于，包括：特征組劃分部，基于離散連接性和正負(fù)相關(guān)性將用于模型訓(xùn)練的金融數(shù)據(jù)的特征自動劃分為四個特征組，得到訓(xùn)練集；模型訓(xùn)練部，基于所述訓(xùn)練集對基于自注意力機(jī)制的堆疊網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的所述堆疊網(wǎng)絡(luò)模型，其中，該模型包括四個基神經(jīng)網(wǎng)絡(luò)模型以及自注意力層，四個所述基神經(jīng)網(wǎng)絡(luò)模型分別用于學(xué)習(xí)四個所述特征組的知識，所述自注意力層用于堆疊四個所述特征組的知識，并從中學(xué)習(xí)集成機(jī)制；以及信貸違約預(yù)測部，用于將待預(yù)測的金融數(shù)據(jù)輸入訓(xùn)練好的所述堆疊網(wǎng)絡(luò)模型，得到信貸違約的預(yù)測結(jié)果。

11、發(fā)明作用與效果

12、根據(jù)本發(fā)明的基于自注意力集成自動多視野的信貸違約預(yù)測方法及裝置，該方法包括特征組劃分步驟、模型訓(xùn)練步驟以及信貸違約預(yù)測步驟，其中，特征組劃分步驟中基于離散連接性和正負(fù)相關(guān)性將用于模型訓(xùn)練的金融數(shù)據(jù)的特征自動劃分為四個特征組，省去了費(fèi)時費(fèi)力的相應(yīng)人工標(biāo)注環(huán)節(jié)，并且這種劃分方式使得相同或類似的特征得以聚集，使得相異的特征得以區(qū)分，從而在信息組織層面上實(shí)現(xiàn)了更高的效率，并為模型能夠達(dá)到更優(yōu)的性能提供可能；模型訓(xùn)練步驟中，利用劃分特征組的訓(xùn)練集對基于自注意力機(jī)制的堆疊網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，該模型運(yùn)用先進(jìn)的自注意力機(jī)制，使得神經(jīng)網(wǎng)絡(luò)能夠更加準(zhǔn)確地識別和理解數(shù)據(jù)之間的內(nèi)在關(guān)聯(lián)，進(jìn)一步，通過基于自注意力機(jī)制的堆疊泛化學(xué)習(xí)，能夠有效集成來自不特征組(不同視野)的信息，并從中學(xué)習(xí)集成機(jī)制，該集成機(jī)制能夠?qū)⒉煌幕窠?jīng)網(wǎng)絡(luò)模型所做出的預(yù)測結(jié)合起來，更精準(zhǔn)地識別和處理來自不同基神經(jīng)網(wǎng)絡(luò)模型預(yù)測中的關(guān)鍵信息，從而提高模型對信貸違約的預(yù)測能力，使得預(yù)測結(jié)果的準(zhǔn)確度和魯棒性得以大幅提升。