本發(fā)明涉及統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)領(lǐng)域，具體涉及一種引入因果信息的機(jī)器學(xué)習(xí)歸因分析方法。

背景技術(shù)：

1、歸因分析是機(jī)器學(xué)習(xí)中的一種事后解釋方法，用于判斷模型中各特征對(duì)于輸出結(jié)果的影響情況，使得模型的預(yù)測(cè)結(jié)果變得透明和可解釋。這對(duì)于機(jī)器學(xué)習(xí)模型的實(shí)用化和部署有重要意義，可以增強(qiáng)人們對(duì)機(jī)器學(xué)習(xí)系統(tǒng)的信任和可解釋性。通過(guò)歸因分析能夠更好地理解模型背后的規(guī)律和原理，為改進(jìn)模型做出更加準(zhǔn)確的預(yù)測(cè)?；跉w因分析的常見(jiàn)解釋方法主要包括：lime，grad-cam，integrated?gradient(ig)和shapley?additiveexplanations(shap)等，它們都從不同側(cè)重點(diǎn)為模型解釋提供了好的思路。

2、然而，這些方法都忽略了對(duì)數(shù)據(jù)中因果信息的關(guān)注，極易導(dǎo)致其在解釋模型特征的過(guò)程中出現(xiàn)偏差。同時(shí)，主流歸因分析方法有著與模型無(wú)關(guān)的特性，這使得模型訓(xùn)練與歸因分析被割裂開(kāi)來(lái)，很難保證歸因分析的結(jié)果能夠達(dá)到符合人類意圖、有效指導(dǎo)下游應(yīng)用(如在醫(yī)學(xué)領(lǐng)域發(fā)現(xiàn)與某種疾病相關(guān)的重要基因)的目標(biāo)。

3、因此，開(kāi)發(fā)更加一致、透明和可靠的歸因分析方法，是提高人工智能系統(tǒng)可信度和可解釋性的有效手段，是使得歸因分析方法成為機(jī)器學(xué)習(xí)實(shí)用化的關(guān)鍵技術(shù)之一的必然要求。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)機(jī)器學(xué)習(xí)中歸因分析方法的不足，本發(fā)明提出了一種引入因果信息的機(jī)器學(xué)習(xí)歸因分析方法，該方法通過(guò)搭建歸因分析與模型訓(xùn)練的橋梁，用因果信息助力模型訓(xùn)練和歸因分析兩個(gè)階段，從而獲取具有較強(qiáng)解釋性和可靠性的歸因結(jié)論。

2、本發(fā)明的目的通過(guò)如下技術(shù)方案來(lái)實(shí)現(xiàn)：

3、步驟一：數(shù)據(jù)預(yù)處理，首先對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理，包括缺失值處理、異常值處理等步驟，然后進(jìn)行標(biāo)準(zhǔn)化處理，保證各特征之間的尺度一致；

4、步驟二：訓(xùn)練模型擬合數(shù)據(jù)，采用適合問(wèn)題類型的模型對(duì)步驟一處理后的特征進(jìn)行數(shù)據(jù)擬合，滿足調(diào)整則完成模型訓(xùn)練；

5、步驟三：圍繞步驟二中模型涉及的特征進(jìn)行因果推斷，包括自動(dòng)化因果關(guān)系發(fā)現(xiàn)、因果關(guān)系驗(yàn)證和因果效應(yīng)計(jì)算；

6、步驟四：將因果信息引入模型訓(xùn)練，將步驟二中所得模型的參數(shù)設(shè)為新模型的初始參數(shù)，在此基礎(chǔ)上結(jié)合因果信息重新在預(yù)處理后的數(shù)據(jù)上訓(xùn)練新模型；

7、步驟五：結(jié)合因果模型的結(jié)構(gòu)信息進(jìn)行歸因分析，對(duì)步驟四訓(xùn)練所得模型，結(jié)合因果結(jié)構(gòu)的差異，區(qū)分不同因果結(jié)構(gòu)下的歸因分析結(jié)果。

8、進(jìn)一步地，所述引入因果信息的機(jī)器學(xué)習(xí)歸因分析方法，其特征在于，所述步驟一中標(biāo)準(zhǔn)化方法采用z-score標(biāo)準(zhǔn)化。

9、進(jìn)一步地，所述引入因果信息的機(jī)器學(xué)習(xí)歸因分析方法，其特征在于，所述步驟二中模型訓(xùn)練每一次迭代應(yīng)包含以下處理：1)采用permutation?importance方法篩除無(wú)關(guān)特征；2)對(duì)模型進(jìn)行歸因分析，并度量歸因分析的穩(wěn)定性；3)判斷模型歸因分析的穩(wěn)定性是否滿足閾值，滿足則結(jié)束訓(xùn)練迭代，保存模型。

10、進(jìn)一步地，所述引入因果信息的機(jī)器學(xué)習(xí)歸因分析方法，其特征在于，所述步驟三中因果推斷的流程為：1)采用貝葉斯網(wǎng)絡(luò)方法進(jìn)行因果關(guān)系發(fā)現(xiàn)：涉及到因果模型構(gòu)建和模型參數(shù)的計(jì)算；2)因果關(guān)系驗(yàn)證：對(duì)自動(dòng)發(fā)現(xiàn)的因果關(guān)系進(jìn)行驗(yàn)證，采用敏感性分析和知識(shí)圖譜校驗(yàn)來(lái)發(fā)現(xiàn)可能存在的矛盾；3)因果效應(yīng)計(jì)算：確定因果圖模型后，通過(guò)因果路徑分析中的圖遍歷算法深度優(yōu)先搜索(bfs)來(lái)識(shí)別直接和間接因果效應(yīng)，采用pearl's?do-calculus估計(jì)多變量組合的間接因果效應(yīng)。

11、進(jìn)一步地，所述引入因果信息的機(jī)器學(xué)習(xí)歸因分析方法，其特征在于，所述步驟四中，選擇將因果信息以因果效應(yīng)的形式結(jié)合進(jìn)模型的訓(xùn)練損失中，并選擇合適的優(yōu)化算法以最小化損失，從而訓(xùn)練得模型。

12、進(jìn)一步地，所述引入因果信息的機(jī)器學(xué)習(xí)歸因分析方法，其特征在于，所述步驟五中考慮chain、fork、confounder三種因果結(jié)構(gòu)。

13、本發(fā)明的有益效果如下：

14、關(guān)于第一次模型訓(xùn)練，其作用在于：篩除無(wú)關(guān)特征以備因果建模、將歸因分析與模型進(jìn)行綁定。選擇在歸因分析穩(wěn)定的時(shí)候停止模型訓(xùn)練，而不是以模型擬合數(shù)據(jù)的指標(biāo)來(lái)判斷，有助于提高歸因分析結(jié)論的可用性。關(guān)于因果推斷，選擇在較小較可靠的變量集上開(kāi)展，且引入相關(guān)校驗(yàn)減少自動(dòng)因果關(guān)系發(fā)現(xiàn)的誤差，最后關(guān)注多種因果路徑下因果效應(yīng)，以上處理均為關(guān)注因果信息的準(zhǔn)確性，為后續(xù)因果信息的應(yīng)用做準(zhǔn)備；關(guān)于第二次模型訓(xùn)練和最終的歸因分析，其目的在于引入因果信息得到更可靠的模型，進(jìn)而開(kāi)展更可靠的歸因分析。

15、綜上，本發(fā)明通過(guò)建立模型與歸因分析的關(guān)系、設(shè)計(jì)較為可靠的因果推斷流程、利用因果信息訓(xùn)練并歸因模型等過(guò)程，提高了最終歸因分析結(jié)果的穩(wěn)定性和可參考性，在數(shù)據(jù)分析、醫(yī)學(xué)研究等領(lǐng)域具有廣泛的應(yīng)用前景。

技術(shù)特征：

1.權(quán)利要求1:一種引入因果信息的機(jī)器學(xué)習(xí)歸因分析方法，其特征在于，所述方法包括如下步驟：

2.權(quán)利要求2：根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟一中標(biāo)準(zhǔn)化方法采用z-score標(biāo)準(zhǔn)化。

3.權(quán)利要求3：根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟二中模型訓(xùn)練每一次迭代應(yīng)包含以下處理：1)采用permutation?importance方法篩除無(wú)關(guān)特征；2)對(duì)模型進(jìn)行歸因分析，并度量歸因分析的穩(wěn)定性；3)判斷模型歸因分析的穩(wěn)定性是否滿足閾值，滿足則結(jié)束訓(xùn)練迭代，保存模型。

4.權(quán)利要求4：根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟三中因果推斷的流程為：1)采用貝葉斯網(wǎng)絡(luò)方法進(jìn)行因果關(guān)系發(fā)現(xiàn)：涉及到因果模型構(gòu)建和模型參數(shù)的計(jì)算；2)因果關(guān)系驗(yàn)證：對(duì)自動(dòng)發(fā)現(xiàn)的因果關(guān)系進(jìn)行驗(yàn)證，采用敏感性分析和知識(shí)圖譜校驗(yàn)來(lái)發(fā)現(xiàn)可能存在的矛盾；3)因果效應(yīng)計(jì)算：確定因果圖模型后，通過(guò)因果路徑分析中的圖遍歷算法深度優(yōu)先搜索(bfs)來(lái)識(shí)別直接和間接因果效應(yīng)，采用pearl's?do-calculus估計(jì)多變量組合的間接因果效應(yīng)。

5.權(quán)利要求5：根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟四中選擇將因果信息以因果效應(yīng)的形式結(jié)合進(jìn)模型的訓(xùn)練損失中，并選擇合適的優(yōu)化算法以最小化損失，從而訓(xùn)練得模型。

6.權(quán)利要求6：根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟五中考慮了chain、fork、confounder三種因果結(jié)構(gòu)。

技術(shù)總結(jié)
本發(fā)明涉及一種引入因果信息的機(jī)器學(xué)習(xí)歸因分析方法，屬于統(tǒng)計(jì)學(xué)習(xí)、機(jī)器學(xué)習(xí)領(lǐng)域，所述引入因果信息的機(jī)器學(xué)習(xí)歸因分析方法包括以下步驟：(1)數(shù)據(jù)預(yù)處理。對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理，包括缺失值處理、異常值處理等步驟，然后進(jìn)行標(biāo)準(zhǔn)化處理，保證各特征之間的尺度一致，以統(tǒng)一不同的量級(jí)和單位；(2)訓(xùn)練模型擬合數(shù)據(jù)。采用適合問(wèn)題類型的模型對(duì)處理后的特征進(jìn)行數(shù)據(jù)擬合，在模型訓(xùn)練的每一次迭代中進(jìn)行特征排序篩選無(wú)關(guān)特征，進(jìn)行歸因分析計(jì)算每次歸因分析的穩(wěn)定性，以該穩(wěn)定性為指標(biāo)指導(dǎo)模型何時(shí)停止訓(xùn)練；(3)對(duì)(2)所得模型的特征在(1)預(yù)處理后的數(shù)據(jù)集上進(jìn)行因果推斷；(4)將(3)中所得因果信息引入模型訓(xùn)練，設(shè)計(jì)新的損失函數(shù)在前模型的參數(shù)基礎(chǔ)上再次訓(xùn)練；(5)將(3)中所得因果信息用以指導(dǎo)對(duì)(4)所得模型的歸因分析，進(jìn)一步獲得可靠的模型解釋。

技術(shù)研發(fā)人員：何亮,陳欣
受保護(hù)的技術(shù)使用者：新疆大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30