一種結(jié)合標(biāo)記相關(guān)性的半監(jiān)督多標(biāo)記特征選擇及分類方法
【專利摘要】本發(fā)明公開了一種結(jié)合標(biāo)記相關(guān)性的半監(jiān)督多標(biāo)記特征選擇及分類方法；屬于多標(biāo)記學(xué)習(xí)領(lǐng)域。該方法包含如下步驟：多標(biāo)記分類；多標(biāo)記特征選擇；標(biāo)記相關(guān)性的挖掘與利用。本發(fā)明通過構(gòu)建標(biāo)記協(xié)方差矩陣自動(dòng)學(xué)習(xí)了成對且對稱的標(biāo)記相關(guān)性,并有效利用了未知標(biāo)記數(shù)據(jù)的信息以幫助標(biāo)記協(xié)方差的估計(jì)，從而將標(biāo)記相關(guān)性的自動(dòng)學(xué)習(xí)與利用，多標(biāo)記特征選擇和多標(biāo)記分類統(tǒng)一在同一個(gè)模型框架中，有效提高了半監(jiān)督多標(biāo)記特征選擇及分類算法的效果；此外，結(jié)合標(biāo)記相關(guān)性的半監(jiān)督多標(biāo)記特征選擇及分類方法能夠在一定時(shí)間內(nèi)快速收斂，因此具有較高的使用價(jià)值。
【專利說明】
一種結(jié)合標(biāo)記相關(guān)性的半監(jiān)督多標(biāo)記特征選擇及分類方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于多標(biāo)記學(xué)習(xí)領(lǐng)域，特別涉及一種結(jié)合標(biāo)記相關(guān)性的半監(jiān)督多標(biāo)記特征 選擇及分類方法。
【背景技術(shù)】
[0002] 在機(jī)器學(xué)習(xí)研究中，監(jiān)督學(xué)習(xí) （Supervised Learning)是一種最常見且最重要的 學(xué)習(xí)框架。在傳統(tǒng)的監(jiān)督學(xué)習(xí)框架中，我們所面對的主要問題為單標(biāo)記學(xué)習(xí)問題，即每個(gè)學(xué) 習(xí)對象有且僅有一個(gè)類別標(biāo)記，標(biāo)記之間是相互獨(dú)立、互斥的。單標(biāo)記學(xué)習(xí)的主要任務(wù)是通 過學(xué)習(xí)已知的訓(xùn)練樣本，來預(yù)測未知樣本所屬的類別標(biāo)記。然而對于很多實(shí)際應(yīng)用中的對 象來說，單獨(dú)的一個(gè)標(biāo)記無法對這些復(fù)雜對象進(jìn)行準(zhǔn)確的描述，因?yàn)閷W(xué)習(xí)對象同時(shí)與多個(gè) 類別標(biāo)記相關(guān)，且標(biāo)記之間是交叉、有關(guān)聯(lián)的。例如，在文本分類中，一則新聞報(bào)道中可能同 時(shí)與"勝利日"，"閱兵"和"天安門廣場"等多個(gè)類別標(biāo)記相關(guān);在圖像分類中，一幅關(guān)于海濱 的圖像可能同時(shí)與"沙灘"、"海水"、"人群"、"藍(lán)天"和"白云"等多個(gè)語義概念標(biāo)記有關(guān);在 視頻自動(dòng)標(biāo)注中，一段視頻可能同時(shí)具有"魔術(shù)"、"舞蹈"、"雜技"等多個(gè)類別標(biāo)記;在生物 信息學(xué)中，一段基因序列可能同時(shí)具有"新陳代謝"、"轉(zhuǎn)錄"和"蛋白質(zhì)合成"等多種功能標(biāo) 記;在音樂分類中，一段音樂可能同時(shí)包含"寂寞的"和"悲傷的"等情感標(biāo)記。然而，在快速 滲透到各個(gè)領(lǐng)域的同時(shí)，多標(biāo)記學(xué)習(xí)也面臨著多種挑戰(zhàn)，其中之一便是"維數(shù)災(zāi)難"，與傳統(tǒng) 的單標(biāo)記學(xué)習(xí)一樣，多標(biāo)記數(shù)據(jù)中也存在著大量冗余特征、不相關(guān)特征，從而導(dǎo)致了分類器 性能的降低。
[0003] 大多數(shù)的多標(biāo)記學(xué)習(xí)研究工作都是在監(jiān)督學(xué)習(xí)的框架下開展的，即最重要的基本 假設(shè)是所有樣本所對應(yīng)的標(biāo)記集都是給定的。然而在實(shí)際應(yīng)用中，隨著社交網(wǎng)絡(luò)的快速發(fā) 展，樣本數(shù)據(jù)的數(shù)量也在急劇增長，因而獲取樣本的多個(gè)標(biāo)記往往需要很大的人力和時(shí)間 開銷，很多數(shù)據(jù)集中多數(shù)樣本是未經(jīng)人工標(biāo)記的。因此，對非監(jiān)督多標(biāo)記學(xué)習(xí)問題的研究同 樣具有十分重要的意義。眾所周知，如何有效利用標(biāo)記之間的相關(guān)性是多標(biāo)記學(xué)習(xí)研究工 作中的一個(gè)重要內(nèi)容。目前，大多數(shù)對標(biāo)記相關(guān)性進(jìn)行利用的多標(biāo)記學(xué)習(xí)算法均假設(shè)標(biāo)記 相關(guān)性是事先獲得的，也有一些學(xué)習(xí)算法利用標(biāo)記之間的層次關(guān)系來給出標(biāo)記相關(guān)性。但 是，這些事先獲得的信息并不能對標(biāo)記相關(guān)性進(jìn)行準(zhǔn)確定義，因此，有學(xué)者提出通過學(xué)習(xí)來 自動(dòng)發(fā)現(xiàn)和利用標(biāo)記之間的相關(guān)性。
[0004] 然而，現(xiàn)有的一些用于半監(jiān)督的多標(biāo)記學(xué)習(xí)方法大多是針對多標(biāo)記分類問題的研 究工作，能夠同時(shí)考慮半監(jiān)督多標(biāo)記特征選擇及分類的研究工作卻少之又少，也沒有有效 地挖掘并利用標(biāo)記之間的相關(guān)性。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明為了解決半監(jiān)督學(xué)習(xí)框架下多標(biāo)記特征選擇及分類問題，提出了一種結(jié)合 標(biāo)記相關(guān)性的多標(biāo)記特征選擇及分類方法，從而有效利用標(biāo)記之間的相關(guān)性來提高多標(biāo)記 特征選擇并且輔助多標(biāo)記分類效果。
[0006] 本發(fā)明公開了一種結(jié)合標(biāo)記相關(guān)性的半監(jiān)督多標(biāo)記特征選擇及分類方法，包含如 下步驟：
[0007] 步驟1，半監(jiān)督多標(biāo)記數(shù)據(jù)分類:利用最小二乘回歸作為損失函數(shù)對多標(biāo)記數(shù)據(jù)進(jìn) 行分類；
[0008] 步驟2，半監(jiān)督多標(biāo)記特征選擇:采用L2，i范數(shù)作為正則化項(xiàng)對半監(jiān)督多標(biāo)記學(xué)習(xí) 問題進(jìn)行稀疏化特征選擇；
[0009] 步驟3,標(biāo)記相關(guān)性的挖掘與利用:通過構(gòu)建標(biāo)記協(xié)方差矩陣自動(dòng)學(xué)習(xí)了成對且對 稱的標(biāo)記相關(guān)性，利用未知標(biāo)記數(shù)據(jù)的信息幫助標(biāo)記協(xié)方差矩陣的估計(jì)；
[0010] 步驟4,模型預(yù)測：綜合步驟1至3,將多標(biāo)記特征選擇和多標(biāo)記分類統(tǒng)一到同一模 型框架中學(xué)習(xí)預(yù)測。
[0011] 所述步驟3具體包括以下步驟：
[0012] ①定義協(xié)方差矩陣Ω用于表示成對標(biāo)記之間的相關(guān)性，加入標(biāo)記相關(guān)性后基本模 型可表示為：
[0013]
[0014] s.t. O^fi^l
[0015] Ω >〇
[0016] tr( Ω ) = 1
[0017] 式中前兩項(xiàng)分別為最小二乘損失項(xiàng)和輔助特征選擇的正則化項(xiàng)，第三項(xiàng)用于度量 基于權(quán)重矩陣W和協(xié)方差矩陣Ω的所有標(biāo)記之間的相關(guān)性并懲罰權(quán)重矩陣w的復(fù)雜度;其中 XleRd表示d維樣本數(shù)據(jù)，R為實(shí)數(shù)集，Y1為已知標(biāo)記空間；標(biāo)記矩陣為
.對于 所有已知標(biāo)記樣本為已知標(biāo)記的訓(xùn)練樣本的預(yù)測標(biāo)記矩陣，F(xiàn)u為未知標(biāo)記的訓(xùn)練 樣本的預(yù)測標(biāo)記矩陣;b為偏移向量，以和心均為正則化項(xiàng)參數(shù)，Sl表示事先定義的訓(xùn)練數(shù)據(jù) 的置信度分?jǐn)?shù)，h為第i個(gè)樣本的函數(shù)值；
[0018] ②為了更好地利用未標(biāo)記的數(shù)據(jù)來幫助協(xié)方差矩陣Ω的估計(jì)，加入未知標(biāo)記信息 項(xiàng)：
[0019]
[0020] s.t. O^fi^il
[0021] Ω >〇
[0022] tr( Ω ) = 1
[0023] 其中，λ2為正則化項(xiàng)參數(shù)。
[0024] ③定義對角矩陣S來為置信度分?jǐn)?shù)矩陣，對角矩陣S中，Sn = s1;將目標(biāo)函數(shù)轉(zhuǎn)化為 如下形式，其中1為全1列向量，乂=[11^2，~，^ 1]￡1^(1表示由11個(gè)樣本構(gòu)成的樣本空間：
[0025]
[0026] ④固定權(quán)重矩陣W和協(xié)方差矩陣Ω，根據(jù)下式求解偏移向量b:
[0027]
[0028] 其中，m=lTSl;
[0029] ⑤求出偏移向量b的解后代入步驟③的公式并轉(zhuǎn)換可得：
[0030]
[0031] 其中，丑=/ -丄丨17 S，I為單位矩陣； m
[0032] ⑥求解權(quán)重矩陣W可得：
[0033] XHSHXTff+yDff+Aiff Ω -1 = XHSHF
[0034] 其中，D為隨機(jī)初始化權(quán)重矩陣W的對角矩陣，定義為：
[0035]
[0036] 可以得到：
[0037] (XHSHXT+yD)ff+ffAi Ω -^XHSHF
[0038] 令A(yù) = XHSHXT+yD，B = λ: Ω -1，C = XHSHF，則上式變換為AW+WB = C的形式對權(quán)重矩陣 W進(jìn)行求解；
[0039] ⑦固定權(quán)重矩陣W和偏移向量b，求解協(xié)方差矩陣Ω ;此時(shí)，目標(biāo)函數(shù)可看作如下形 式：
[0040]
[0041 ] s.t. Ω>〇
[0042] tr( Ω ) = 1
[0043] ⑧已知：
[0044]
[0045] 令六二人…'+人疋卞，則可求得協(xié)方差矩陣Ω為：
[0046]
[0047] ⑨每次迭代過程中由戶=+ 計(jì)算出預(yù)測標(biāo)記矩陣？的結(jié)果并加以調(diào)整。
[0048] 本發(fā)明是專門針對標(biāo)記相關(guān)性的挖掘與利用提出的半監(jiān)督多標(biāo)記特征選擇及分 類的方法。通過構(gòu)建標(biāo)記協(xié)方差矩陣自動(dòng)學(xué)習(xí)了成對且對稱的標(biāo)記相關(guān)性，并有效利用了 未知標(biāo)記數(shù)據(jù)的信息以幫助標(biāo)記協(xié)方差的估計(jì)，從而將標(biāo)記相關(guān)性的自動(dòng)學(xué)習(xí)與利用，多 標(biāo)記特征選擇和多標(biāo)記分類統(tǒng)一在同一個(gè)模型框架中，有效提高了半監(jiān)督多標(biāo)記特征選擇 及分類算法的效果。與現(xiàn)有技術(shù)相比，本發(fā)明具有以下特征：
[0049] 首先，本發(fā)明有自動(dòng)學(xué)習(xí)了成對且對稱的標(biāo)記相關(guān)性，提高了半監(jiān)督多標(biāo)記特征 選擇及分類器的性能；
[0050] 然后，本發(fā)明有效利用了未標(biāo)記數(shù)據(jù)的信息，有效幫助了標(biāo)記相關(guān)性的學(xué)習(xí)；
[0051] 再者，本發(fā)明能夠在有效時(shí)間內(nèi)快速收斂，更接近實(shí)際應(yīng)用環(huán)境，具有更高的使用 價(jià)值。
【附圖說明】
[0052]圖1為本發(fā)明整體流程圖。
[0053]圖2為本發(fā)明多標(biāo)記特征選擇及分類的模型求解步驟流程圖。
【具體實(shí)施方式】
[0054] 以下結(jié)合【附圖說明】本發(fā)明的【具體實(shí)施方式】。
[0055] 如圖1所示，本發(fā)明公開了一種用于結(jié)合標(biāo)記相關(guān)性的半監(jiān)督多標(biāo)記特征選擇及 分類方法，需要說明的是，本發(fā)明的核心步驟是在半監(jiān)督多標(biāo)記特征選擇及分類中利用標(biāo) 記相關(guān)性，【具體實(shí)施方式】的描述主要側(cè)重于步驟3，步驟1以及步驟2未提及的內(nèi)容可采用現(xiàn) 有技術(shù)實(shí)現(xiàn)。
[0056] 1.多標(biāo)記特征選擇及分類：
[0057]半監(jiān)督學(xué)習(xí)中，大量的冗余特征和無關(guān)特征也時(shí)刻影響著分類器的學(xué)習(xí)效果，已 有的半監(jiān)督特征選擇算法大多針對于單標(biāo)記學(xué)習(xí)問題而設(shè)計(jì)，在多標(biāo)記學(xué)習(xí)中，半監(jiān)督特 征選擇問題同樣值得深入研究。
[0058]①選擇簡便有效的最小二乘回歸為損失函數(shù)，并以L2>1范數(shù)作為正則化項(xiàng)對半監(jiān) 督多標(biāo)記學(xué)習(xí)問題進(jìn)行稀疏化特征選擇，則目標(biāo)函數(shù)表示為：
[0059]
[0060] s.t. O^fi^il
[0061 ] 其中，XieRd表示d維樣本數(shù)據(jù)，Υι為已知標(biāo)記空間，μ為正則化項(xiàng)參數(shù)，Si表示事先 定義的訓(xùn)練數(shù)據(jù)的置信度分?jǐn)?shù)，W為權(quán)重矩陣，h為第i個(gè)樣本的函數(shù)值。在半監(jiān)督學(xué)習(xí)中， 已知標(biāo)記數(shù)據(jù)所提供的信息比未知標(biāo)記數(shù)據(jù)更加準(zhǔn)確，則已知標(biāo)記數(shù)據(jù)相對的置信度分?jǐn)?shù) 高于未知標(biāo)記數(shù)據(jù)的分?jǐn)?shù)；
[0062] ②求解過程中，通過定義對角矩陣S(Sn = Sl)來表示置信度分?jǐn)?shù)矩陣，將目標(biāo)函數(shù) 轉(zhuǎn)化為如下形式，其中1為全1列向量：
[0063]
[0064] 其中
％標(biāo)記矩陣，對于所有已知標(biāo)記樣本FI =Y1 為已知標(biāo)記 的訓(xùn)練樣本的預(yù)測標(biāo)記矩陣，F(xiàn)u為未知標(biāo)記的訓(xùn)練樣本的預(yù)測標(biāo)記矩陣。
[0065] ③采用交替迭代的方法求解權(quán)重矩陣W和偏移向量b，并根據(jù)下式對每次迭代中由 = 妒十1//'汁算出的結(jié)果進(jìn)行調(diào)整。
[0066]
[0067] 2.標(biāo)記相關(guān)性的挖掘與利用：
[0068] ①設(shè)置概率模型妒□ ΜΛ/(〇μ , ? Ω)，其中MV(.4,3 ?幻表示以j e &為均值， 以5 eO ?/χ?/為行協(xié)方差，五e(cuò)O ixi為列協(xié)方差的矩陣正態(tài)分布。W= [wl，…，wL]為權(quán)重矩陣， OdxL表示dXL的零矩陣，行協(xié)方差矩陣Id用于刻畫特征之間的關(guān)系，列協(xié)方差矩陣Ω則用于 刻畫標(biāo)記之間的關(guān)系，當(dāng)Ω cx u寸，該模型則可退化為L個(gè)獨(dú)立的二類SVM模型；
[0069] ②概率模型可進(jìn)一步得到，
[0070]③基于此，模型框架可表示為：
[0071]
[0072] s.t. yii(wiTXi+bi)^l-Cii
[0073] ξη^：0,i = l, . . . ,n；l = l, . . .L
[0074] 其中，第一項(xiàng)為損失項(xiàng)，第二項(xiàng)用于度量基于權(quán)重矩陣W和協(xié)方差矩陣Ω的所有標(biāo) 記之間的相關(guān)性并懲罰權(quán)重矩陣W的復(fù)雜度，第三項(xiàng)則為協(xié)方差矩陣Ω的復(fù)雜度的懲罰項(xiàng)。 b=[h，. . .，bL]為偏差向量，tr( ·)表示矩陣的跡，半正定協(xié)方差矩陣Ω用于度量標(biāo)記之間 的相關(guān)性；
[0075] ④由于In | Ω | <tr( Ω )-L，可進(jìn)一步表示為：
[0076]
[0077] s.t. yii(wiTXi+bi)^l-Cii
[0078] ξη^：0,i = l, . . . ,n；l = l, . . .L
[0079] ⑤進(jìn)一步化簡后可等價(jià)優(yōu)化為：
[0080]
[0081] s.t. yii(wiTXi+bi)1-ξ??
[0082] ξη^：0,i = l, . . . ,n；l = l, . . .L
[0083] Ω >〇
[0084] tr( Ω ) = 1
[0085] 其中，λ為正則化參數(shù)，最后的約束項(xiàng)則用于控制協(xié)方差矩陣Ω的復(fù)雜度。
[0086] 3 ·模型求解及預(yù)測：
[0087] 本發(fā)明通過利用標(biāo)記相關(guān)性以提高半監(jiān)督多標(biāo)記特征選擇及分類效果，且能夠在 有效時(shí)間內(nèi)快速收斂，有實(shí)用價(jià)值。本發(fā)明的模型求解及預(yù)測過程如下：
[0088] ①定義協(xié)方差矩陣Ω用于表示成對標(biāo)記之間的相關(guān)性。加入標(biāo)記相關(guān)性后基本模 型可表示為：
[0089]
[0090] s.t. O^fi^il
[0091] Ω >〇
[0092] tr( Ω ) = 1
[0093] 其中前兩項(xiàng)分別為最小二乘損失項(xiàng)和輔助特征選擇的正則化項(xiàng)，第三項(xiàng)用于度量 基于權(quán)重矩陣W和協(xié)方差矩陣Ω的所有標(biāo)記之間的相關(guān)性并懲罰權(quán)重矩陣W的復(fù)雜度；
[0096] s.t. O^fi^il[0097] Ω >〇[0098] tr( Ω ) = 1[0099] ③定義對角矩陣S(Sn = Sl)來為置信度分?jǐn)?shù)矩陣，將目標(biāo)函數(shù)轉(zhuǎn)化為如下形式，其 中1為全1列向量：
[0094] ②為了更好地利用未標(biāo)記的數(shù)據(jù)來幫助協(xié)方差矩陣Ω的估計(jì)，加入未知標(biāo)記信息 項(xiàng)：
[0095]
[0100]
[0101] ④固定權(quán)重矩陣W和協(xié)方差矩陣Ω，求解偏移向量b:
[0102]
[0103] 其中，m=iTsi;
[0104] ⑤求出偏移向量b的解后代入并轉(zhuǎn)換可得：
[0105]
I 2
[0106] 其中
I為單位矩陣；
[0107] ⑥求解權(quán)重矩陣W可得：
[0108] XHSHXTff+yDff+Aiff Ω -1 = XHSHF
[0109] 其中，D為隨機(jī)初始化權(quán)重矩陣W的對角矩陣，定義為：
[0110]
[0111] 可以得到：
[0112] (XHSHXT+yD)ff+ffAi Ω -^XHSHF
[0113] 令A(yù) = XHSHXT+yD，B = λ: Ω -1，C = XHSHF，則上式變換為AW+WB = C的形式對權(quán)重矩陣 W進(jìn)行求解；
[0114] ⑦固定權(quán)重矩陣W和偏移向量b，求解協(xié)方差矩陣Ω。此時(shí)，目標(biāo)函數(shù)可看作如下形 式：
[0120] 令則可求得協(xié)方差矩陣Ω為：
[0115]
[0116]
[0117]
[0118]
[0119]
[0121]
[0122]⑨每次迭代過程中由# = J^F + 1/Z計(jì)算出預(yù)測標(biāo)記矩陣F的結(jié)果并加以調(diào)整。
【主權(quán)項(xiàng)】
1. 一種結(jié)合標(biāo)記相關(guān)性的半監(jiān)督多標(biāo)記特征選擇及分類方法，其特征在于，包含如下 步驟： 步驟1，半監(jiān)督多標(biāo)記數(shù)據(jù)分類:利用最小二乘回歸作為損失函數(shù)對多標(biāo)記數(shù)據(jù)進(jìn)行分 類； 步驟2,半監(jiān)督多標(biāo)記特征選擇:采用L2，l范數(shù)作為正則化項(xiàng)對半監(jiān)督多標(biāo)記學(xué)習(xí)問題 進(jìn)行稀疏化特征選擇； 步驟3,標(biāo)記相關(guān)性的挖掘與利用:通過構(gòu)建標(biāo)記協(xié)方差矩陣自動(dòng)學(xué)習(xí)了成對且對稱的 標(biāo)記相關(guān)性，利用未知標(biāo)記數(shù)據(jù)的信息幫助標(biāo)記協(xié)方差矩陣的估計(jì)； 步驟4,模型預(yù)測：綜合步驟1至3,將多標(biāo)記特征選擇和多標(biāo)記分類統(tǒng)一到同一模型框 架中學(xué)習(xí)預(yù)測。2. 如權(quán)利要求1所述的一種結(jié)合標(biāo)記相關(guān)性的半監(jiān)督多標(biāo)記特征選擇及分類方法，其 特征在于，所述步驟3具體包括W下步驟： ① 定義協(xié)方差矩陣Ω用于表示成對標(biāo)記之間的相關(guān)性，加入標(biāo)記相關(guān)性后基本模型可 表不為：s.t. Ω >0 tr( Ω ) = 1 式中前兩項(xiàng)分別為最小二乘損失項(xiàng)和輔助特征選擇的正則化項(xiàng)，第Ξ項(xiàng)用于度量基于 權(quán)重矩陣W和協(xié)方差矩陣Ω的所有標(biāo)記之間的相關(guān)性并懲罰權(quán)重矩陣W的復(fù)雜度;其中xie Rd表示d維樣本數(shù)據(jù)，R為實(shí)數(shù)集，Yi為已知標(biāo)記空間；標(biāo)記矩陣為對于所有 已知標(biāo)記樣本Fi = Yi;F功已知標(biāo)記的訓(xùn)練樣本的預(yù)測標(biāo)記矩陣，F(xiàn)u為未知標(biāo)記的訓(xùn)練樣本 的預(yù)測標(biāo)記矩陣;b為偏移向量，μ和λι均為正則化項(xiàng)參數(shù)，Si表示事先定義的訓(xùn)練數(shù)據(jù)的置 信度分?jǐn)?shù)，fi為第i個(gè)樣本的函數(shù)值； ② 為了更好地利用未標(biāo)記的數(shù)據(jù)來幫助協(xié)方差矩陣Ω的估計(jì)，加入未知標(biāo)記信息項(xiàng)：s.t. Ω >0 tr( Ω ) = 1 其中，λ2為正則化項(xiàng)參數(shù)。 ③ 定義對角矩陣S來為置信度分?jǐn)?shù)矩陣，對角矩陣S中，Sii = Si ;將目標(biāo)函數(shù)轉(zhuǎn)化為如下 形式，其中1為全巧!j向量，乂=山，義2，一，義。]￡滬^嗦示由11個(gè)樣本構(gòu)成的樣本空間：④固定權(quán)重矩陣w和協(xié)方差矩陣Ω，根據(jù)下式求解偏移向量b:其中，m二 l/si; ⑥求出偏移向量b的解后代入步驟③的公式并轉(zhuǎn)換可得：其中，巧=/-丄為單位矩陣； m ⑥ 求解權(quán)重矩陣W可得： XHSHXTw+yDW+AiW Ω J = X服HF 其中，D為隨機(jī)初始化權(quán)重矩陣W的對角矩陣，定義為：可W得到： (XHSHXT+yD)W+WAi Ω -i = X服HF 令A(yù)=X服ΗχΤ+μ〇，B = λι Ω -1，C = X服HF，則上式變換為AW+WB = C的形式對權(quán)重矩陣W進(jìn)行 求解； ⑦ 固定權(quán)重矩陣W和偏移向量b，求解協(xié)方差矩陣Ω ;此時(shí)，目標(biāo)函數(shù)可看作如下形式：令A(yù) = AiWTw+A2FTf，貝柯求得協(xié)方差矩陣Ω為：⑨每次迭代過程中由護(hù)=義^陳-+ 1終計(jì)算出預(yù)測標(biāo)記矩陣。的結(jié)果并加^調(diào)整。
【文檔編號(hào)】G06K9/62GK105975978SQ201610256462
【公開日】2016年9月28日
【申請日】2016年4月22日
【發(fā)明人】楊明, 蔡亞萍
【申請人】南京師范大學(xué)