專利名稱：決策機(jī)的特征簡(jiǎn)化方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種為諸如支持向量機(jī)或主要成分分析系統(tǒng)的決策機(jī)選擇簡(jiǎn)化的特征組的方法。
背景技術(shù)：
在本說明書中，對(duì)現(xiàn)有技術(shù)的引用不是并且也不應(yīng)該被認(rèn)為是認(rèn)可或以任何形式提議現(xiàn)有技術(shù)構(gòu)成公知常識(shí)的一部分。
決策機(jī)是一種通用學(xué)習(xí)機(jī)，其在訓(xùn)練階段確定用于對(duì)未知數(shù)據(jù)進(jìn)行分類的一組參數(shù)和向量。例如，在支持向量機(jī)(SVM)的情況下，該參數(shù)組包括核函數(shù)和帶有定義決策超平面的相應(yīng)乘數(shù)的支持向量組。該支持向量組從訓(xùn)練的向量群體選出。
在決策機(jī)根據(jù)主要成分分析、核主要成分分析(KPCA)、獨(dú)立成分分析(ICA)和線性判別式分析(LDA)其中一種來操作的情況下，確定子空間和相應(yīng)基，以用于確定兩個(gè)不同數(shù)據(jù)向量之間的距離從而確定未知數(shù)據(jù)的分類。貝葉斯內(nèi)部/外部分類器根據(jù)被分類的各組之間的區(qū)別的統(tǒng)計(jì)分析進(jìn)行分類。
在訓(xùn)練階段之后，所有這些決策機(jī)操作在測(cè)試階段，在測(cè)試階段，它們基于在訓(xùn)練階段確定的決策向量和參數(shù)對(duì)測(cè)試向量進(jìn)行分類。例如，在分類SVM的情況下，這種分類是基于在訓(xùn)練階段預(yù)先確定的決策超平面而進(jìn)行的。不過，帶來的問題是為了制造具有所用支持向量數(shù)目和待檢查特征數(shù)目(即向量的長(zhǎng)度)的決策規(guī)模必須承擔(dān)的計(jì)算復(fù)雜度。在其它大多數(shù)學(xué)習(xí)機(jī)的實(shí)踐應(yīng)用中也會(huì)遇到類似的困難。
決策機(jī)可應(yīng)用到許多不同的領(lǐng)域。例如，在S.Lyu和H.Farid的題為“利用更高階統(tǒng)計(jì)和支持向量機(jī)檢測(cè)隱藏消息(Detecting Hidden Messages usingHigher-Order Statistics and Support Vector Machines)”(第五屆國際信息隱藏研討會(huì)，Noordwijkerhout，荷蘭，2002年)的文章中，具有對(duì)利用SVM來區(qū)別未影響數(shù)字圖像和被摻雜數(shù)字圖像的描述。
可選地，在H.Kim和H.Park的題為“利用支持向量機(jī)和遠(yuǎn)程交互3d局部描述符對(duì)蛋白質(zhì)相對(duì)溶劑可達(dá)性的預(yù)測(cè)(Prediction of protein relativesolvent accessibility with support vector machines and long-range interaction 3dlocal descriptor)”(蛋白質(zhì)結(jié)構(gòu)、功能和遺傳學(xué)，2004年2月15日；54(3)557-62)的論文中，SVM被應(yīng)用于預(yù)測(cè)高分辨率3D結(jié)構(gòu)的問題，從而研究宏分子的灰分測(cè)定。
為了展開該特征簡(jiǎn)化方法，現(xiàn)在將闡述SVM的數(shù)學(xué)基礎(chǔ)。不過，可以理解，根據(jù)本發(fā)明實(shí)施例的方法可以應(yīng)用于包括之前提到?jīng)Q策機(jī)在內(nèi)的其它決策機(jī)。
SVM是一種學(xué)習(xí)機(jī)，其中給定m個(gè)輸入向量 為每個(gè)輸入向量xi從概率分布函數(shù)p(x)中獨(dú)立提取輸出值yi，對(duì)于不在輸入組中的任意向量xi返回估計(jì)的輸出值f(xi)＝y(tǒng)i。
(xi，yi)i＝0，...m被參考作為訓(xùn)練示例。結(jié)果函數(shù)f(x)確定超平面，然后該超平面用于估計(jì)未知映射。
圖1示出了上述訓(xùn)練方法。在步驟24，支持向量機(jī)接收均具有預(yù)分配類yi的訓(xùn)練組的向量xi。在步驟26，向量機(jī)通過將輸入數(shù)據(jù)向量xi映射到多維空間中，來變換該輸入數(shù)據(jù)向量xi。最后，在步驟28，確定由f(x)定義的最優(yōu)多維超平面的參數(shù)。圖1中的步驟24，26和28中每一個(gè)在現(xiàn)有技術(shù)中都是公知的。
通過對(duì)控制方程的一些處理，支持向量機(jī)可以被表達(dá)成下列的二次規(guī)劃問題MinW(α)＝αTΩα-αT(1)
其中Ωi，j＝y(tǒng)iyjK(xi，xi) (2)e＝[1，1，1，1......，1]T(3)令0＝αTy (4)0≤αi≤C (5)其中C是某正則化(regularization)常數(shù) (6)K(xi，xj)是核函數(shù)，并可以被看作兩個(gè)向量的廣義內(nèi)積。對(duì)SVM的訓(xùn)練結(jié)果是確定乘數(shù)αi。
假設(shè)，我們使用模式向量xi訓(xùn)練SVM分類器，并且這些向量的r被確定為支持向量，則利用xi，i＝1，2，......，r來表示它們。然后，用于模式分類的決策超平面采用以下形式f(x)=ΣirαiyiK(x,xi)+b---(7)]]>其中，αi是與模式xi相關(guān)的拉格朗日乘數(shù)，K(.，.)是將模式向量隱含映射到適當(dāng)特征空間的核函數(shù)。b可以由αi獨(dú)立確定。圖2示出了在二維空間由超平面30分開的兩個(gè)類。注意的是，包含在圖2中矩形內(nèi)的所有x和o，被看作支持向量并且會(huì)具有相關(guān)的非零αi。
假定方程(7)中，通過計(jì)算f(x)，然后對(duì)所有小于零的返回值返回-1并對(duì)所有大于零的值返回1，可以對(duì)未分類的樣本向量x進(jìn)行簡(jiǎn)單分類。
圖3是現(xiàn)有技術(shù)SVM為了對(duì)測(cè)試組的向量xi進(jìn)行分類而采用的典型方法的流程圖。在方框34，SVM接收測(cè)試向量組。在方框36，利用支持向量作為核函數(shù)中的參數(shù)，將測(cè)試向量變換到多維空間中。在方框38，SVM由決策面產(chǎn)生分類信號(hào)，以指示每個(gè)輸入向量的成員狀態(tài)，第一類為“1”的項(xiàng)或者第二類為“-1”的項(xiàng)。步驟34到40在文獻(xiàn)中由方程(7)定義。
可以意識(shí)到的是，在訓(xùn)練和測(cè)試這兩個(gè)階段，定義超平面以及隨后對(duì)輸入向量分類所需操作的計(jì)算復(fù)雜度，至少部分地依賴于向量xi。反之，向量xi的大小依賴于從中得出xi的問題中正被檢查的特征的數(shù)目。
在研究和開發(fā)學(xué)習(xí)機(jī)的早期階段，幾乎沒有問題包含多于40個(gè)的特征。然而，包含被表達(dá)的成百上萬個(gè)變量或特征的問題，在現(xiàn)在則相對(duì)普遍。因此，增加了確定測(cè)試面以及執(zhí)行分類所需的計(jì)算。
這類問題的一個(gè)示例是，對(duì)于非期望的郵件或“垃圾郵件”和正常郵件的分類。如果消息中所用的單詞或者短語都被用于分類，那么特征數(shù)目可以為通用單詞的數(shù)量大小。對(duì)于說英語的成年人，該數(shù)量可以很容易超過5000到10000個(gè)單詞。如果加上普通單詞的誤拼和藥品及其它產(chǎn)品的固有名稱和類屬名，那么該特征列表很容易超過5萬個(gè)單詞。區(qū)分垃圾郵件和正常郵件所需的實(shí)際特征(短語中的單詞)可明顯少于特征的總數(shù)量。例如，單詞“to”不會(huì)添加到?jīng)Q策平面的判定中，但是可能在很多郵件中出現(xiàn)。
處理大量特征的問題在Guyon和Elisseeff的論文中被論述，該論文題目為“變量和特征選擇簡(jiǎn)介”，學(xué)習(xí)機(jī)研究雜志，3，1157-1182，2003。在該論文中，作者闡述到“變量和特征選擇具有很多潛在的益處推進(jìn)數(shù)據(jù)可視化和數(shù)據(jù)理解，減少測(cè)量和存儲(chǔ)需求，減少訓(xùn)練和利用次數(shù)，突破維數(shù)極限以提高預(yù)測(cè)性能”。文章的作者還聲明他們不知道在非線性學(xué)習(xí)系統(tǒng)的情況下存在特征選擇的任何直接方法。
本發(fā)明目的在于，提供一種進(jìn)行特征選擇的方法，以提供一種或更多上述潛在的益處。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的第一方面，提供一種操作至少一臺(tái)作為決策機(jī)的計(jì)算設(shè)備來解決問題的方法，所述問題具有依賴于從特征空間中的特征組得出的向量的解，該方法包括操作所述計(jì)算設(shè)備執(zhí)行以下步驟(a)解決與所述問題的SVM二次規(guī)劃方程相對(duì)應(yīng)的最小化問題，從而識(shí)別所述組的重要特征；以及(b)基于對(duì)重要特征的識(shí)別，通過以簡(jiǎn)化數(shù)目的計(jì)算步驟操作該決策機(jī)來解決所述問題。
該方法可以進(jìn)一步包括
利用與步驟(a)和(b)相對(duì)應(yīng)的計(jì)算機(jī)可執(zhí)行指令對(duì)至少一臺(tái)計(jì)算設(shè)備進(jìn)行編程，并且將該計(jì)算機(jī)可執(zhí)行指令存儲(chǔ)到計(jì)算機(jī)可讀介質(zhì)上。
在優(yōu)選實(shí)施例中，所述解決最小化問題的步驟包括解決最小平方問題。
所述計(jì)算設(shè)備可以被操作作為決策機(jī)，以解決包括分類問題在內(nèi)的問題，或者可選地解決包括回歸問題在內(nèi)的問題。
優(yōu)選地，所述決策機(jī)基于以下之一進(jìn)行操作主要成分分析、核主要成分分析(KPCA)、獨(dú)立成分分析(ICA)、線性判別式分析(LCA)和貝葉斯內(nèi)部或外部分類器。
優(yōu)選地，該方法包括當(dāng)解決所述問題時(shí)僅處理重要特征。
所述決策機(jī)包括下列任一個(gè)支持向量機(jī)、主要成分分析機(jī)、核主要成分分析機(jī)、獨(dú)立成分分析機(jī)或線性判別式分析機(jī)。
在所述決策機(jī)包括支持向量分類機(jī)的情況下，該方法可以進(jìn)一步包括將分開所述向量的超平面定義為離散類。
優(yōu)選地，所述超平面利用僅包含重要特征的向量來定義。
可選地，所述支持向量機(jī)可以包括支持向量回歸機(jī)。
在一實(shí)施例中，該方法包括將所述最小化問題的解的值與預(yù)定的閾值進(jìn)行比較，從而確定相應(yīng)的特征是否被認(rèn)為是無關(guān)緊要的。
優(yōu)選地，該方法可以包括歸一化(normalise)所述最小化問題的解。
在優(yōu)選實(shí)施例中，所述解決最小化問題的步驟可以包括最小化2-范數(shù)的平方。
可選地，所述解決最小化問題的步驟可以相對(duì)于諸如1-范數(shù)或無窮-范數(shù)的其它適合范數(shù)進(jìn)行最小化。
該方法可以包括將所述最小平方問題映射到所述特征空間中的步驟。在這種情況下，該方法提供了在非線性學(xué)習(xí)系統(tǒng)中進(jìn)行特征選擇的直接方法。
優(yōu)選地，該方法進(jìn)一步包括對(duì)從所述特征空間得出的測(cè)試向量進(jìn)行分類的步驟。
根據(jù)本發(fā)明的另一方面，提供一種計(jì)算設(shè)備，其可被編程以執(zhí)行上述方法。
該計(jì)算設(shè)備可以包括諸如個(gè)人計(jì)算機(jī)的常規(guī)計(jì)算系統(tǒng)，不過，也可以被并入個(gè)人數(shù)字助理、診斷醫(yī)療設(shè)備或者諸如例如蜂窩電話的無線設(shè)備。
根據(jù)本發(fā)明的另一方面，提供一種承載機(jī)器可讀指令的諸如磁盤或光盤的介質(zhì)，所述指令由一個(gè)或多個(gè)處理器執(zhí)行以實(shí)現(xiàn)上述方法。
本發(fā)明的進(jìn)一步優(yōu)選特征將在下文中參照以下附圖對(duì)示范性實(shí)施例的詳細(xì)描述中進(jìn)行說明。


本發(fā)明的優(yōu)選特征、實(shí)施例和變化可以從下列具體實(shí)施方式
中看出，該具體實(shí)施方式
為本領(lǐng)域技術(shù)人員提供足夠執(zhí)行本發(fā)明的信息。無論以何種方式，該具體實(shí)施方式
均不應(yīng)該被認(rèn)為是對(duì)上述發(fā)明內(nèi)容的限制。該具體實(shí)施方式
將參照如下附圖圖1是描述在實(shí)施現(xiàn)有技術(shù)支持向量機(jī)期間的訓(xùn)練階段的流程圖。
圖2是示出決策超平面的任一側(cè)上的大量支持向量的簡(jiǎn)圖。
圖3是描述在實(shí)施現(xiàn)有技術(shù)支持向量機(jī)期間的測(cè)試階段的流程圖。
圖4是描述根據(jù)本發(fā)明優(yōu)選實(shí)施例的訓(xùn)練階段方法的流程圖。
圖5是描述根據(jù)本發(fā)明優(yōu)選實(shí)施例的測(cè)試階段方法的流程圖。
圖6是根據(jù)本發(fā)明實(shí)施例的用于執(zhí)行軟件產(chǎn)品的計(jì)算機(jī)系統(tǒng)的框圖。
具體實(shí)施例方式
本發(fā)明人已認(rèn)識(shí)到，可以通過解決最小化問題來改良在非線性學(xué)習(xí)系統(tǒng)中進(jìn)行特征選擇的方法。更具體地說，該方法可以由最小平方方法來展開。在以下的實(shí)施例中，使用了最小平方最小化問題的2-范數(shù)公式表示。然而，本領(lǐng)域的技術(shù)人員會(huì)認(rèn)識(shí)到，也可以使用1-范數(shù)、無窮范數(shù)或者其它合適的公式表示。
方程(1-3)的最小化問題等價(jià)于Minimiseα||Kα-e||22---(8)]]>
其中在K中的(i，j)項(xiàng)是K(xi，xj)，α是拉格朗日乘數(shù)的向量，e是單位向量。約束方程(4-6)也將用于(8)。范數(shù)標(biāo)記之外的符號(hào)表示所采用的是2-范數(shù)的平方。首先，我們展開用于線性核的理論，其中K(xi,xj)=xiT·xj]]>是兩個(gè)向量的簡(jiǎn)單內(nèi)積。若將輸入向量寫成矩陣X＝[x1，...xk]，則對(duì)于某向量b寫成e＝XTb，然后重寫上述問題為Minimiseα||XTXα-XTb||22---(9)]]>這是下式的解的標(biāo)準(zhǔn)方程式Minimiseα||Xα-b||22---(10)]]>因此，(9)和(10)是等價(jià)的。(10)的解的第一步是解決具有多個(gè)解的未確定最小平方問題Minimiseb||XTb-e||22---(11)]]>任何解都是充分的。不過，所期望和可行的解是b=Pb1b2---(12)]]>其中P是合適的主元素矩陣，b2＝0。b2的大小取決于矩陣X的秩，或者X的獨(dú)立列的數(shù)目。為了解出(12)，我們使用任意提供最小2-范數(shù)解并滿足SVM問題的約束條件的方法。在(11)的解中，由于只有b的非零元素有助于該解，所以產(chǎn)生特征自然選擇的機(jī)會(huì)。例如，假定b＝[b1，...bn]T的非零或很小元素為b100，b1，b191，b202，b323，b344等等。在這種情況下只有x100，x1，x191，x202，x323，x344等被用于向量x中，x的其它元素可以被安全忽略而不改變SVM的性能。
該方法的第二個(gè)因素是方程(9)包含可用來依靠核函數(shù)將數(shù)據(jù)向量映射到特征空間中的內(nèi)積。在這種情況下，X矩陣變?yōu)閇Φ(x1)，...，Φ(xn)]，使得(9)中的內(nèi)積XTX提供了核矩陣。因此，問題可以表示為在(8)中e＝Φ(x)·Φ(b)。之后為了找到b，需要解決最優(yōu)化問題Minimiseb||Φ(x)·Φ(b)-e||22---(13)]]>
其中Φ(x)·Φ(b)被計(jì)算作為K(xi，b)。
因此，根據(jù)本發(fā)明實(shí)施例的方法可以很容易擴(kuò)展到核特征空間，從而提供非線性學(xué)習(xí)系統(tǒng)中的特征選擇的直接方法。在圖4中描述了根據(jù)本發(fā)明實(shí)施例的流程圖。在方框35，例如SVM的決策機(jī)接收向量xi的測(cè)試組。在方框37，例如通過執(zhí)行方程(2)，將測(cè)試數(shù)據(jù)向量映射到多維空間中。在方框39，解決相關(guān)最優(yōu)化問題(方程(13))以確定構(gòu)成測(cè)試向量的哪些特征是有效的，即重要的。該步驟的實(shí)例可參考前述方程(8)-(12)進(jìn)行描述。在方框41，對(duì)于特殊類型的決策機(jī)，僅利用有效特征來確定決策參數(shù)。例如，在分類SVM情況下，通過使用具有簡(jiǎn)化特征組的方程(1)到(6)來利用僅包含有效特征的測(cè)試向量，定義最優(yōu)多維超平面。
圖5是根據(jù)本發(fā)明實(shí)施例的對(duì)測(cè)試向量進(jìn)行分類的流程圖。首先，在方框42，接收測(cè)試向量組。在方框44，當(dāng)測(cè)試未分類向量時(shí)，不需要簡(jiǎn)化未分類向量到恰好是它的有效特征，包含在內(nèi)積K(xi，x)中的操作將僅僅自動(dòng)使用有效特征。
在方框48，計(jì)算用于測(cè)試向量的分類。然后在方框50呈現(xiàn)測(cè)試結(jié)果。在支持向量回歸問題中，由 提供訓(xùn)練組示例；其中yi可以是實(shí)值或二進(jìn)制值。在yi∈{±1}的情況下，支持向量分類機(jī)或支持向量回歸機(jī)可以應(yīng)用于數(shù)據(jù)?；貧w機(jī)的目標(biāo)是構(gòu)建盡可能與許多數(shù)據(jù)點(diǎn)“靠近”的超平面。通過一些數(shù)學(xué)方法，隨后二次規(guī)劃問題可以與分類問題類似地構(gòu)建，并且可以用相同的方式來解決。
MinimiseλTDλ-λT令λTg＝00≤λi≤C其中λ=[α1,α2,...,αm,α1*,α2*,...,αm*]]]>D=K(xi,xj)-K(xi,xj)-K(xi,xj)K(xi,xj)]]>
c＝[y1-ε，y2-ε，...，ym-ε，-y1-ε，-y2-ε，...，-ym-ε] 該最優(yōu)化也可以被表達(dá)為最小平方問題，并且可以使用相似的簡(jiǎn)化特征數(shù)量的方法。
在主要成分分析、核主要成分分析(KPCA)、獨(dú)立成分分析(ICA)和線性判別式分析(LCA)和貝葉斯內(nèi)部/外部分類(Bayesian)決策機(jī)的情況下，對(duì)于SVM訓(xùn)練階段如前述進(jìn)行，直到確定簡(jiǎn)化的特征組。然后，通過消去不在簡(jiǎn)化組中的所有特征來簡(jiǎn)化輸入向量，這些特征然后應(yīng)用于前述決策機(jī)中的任一種。然后如現(xiàn)有技術(shù)中所述那樣進(jìn)行每種決策機(jī)的訓(xùn)練和使用。從實(shí)踐觀點(diǎn)來看，按照本發(fā)明優(yōu)選實(shí)施例的決策機(jī)借助于例如個(gè)人計(jì)算機(jī)、PDA的計(jì)算設(shè)備或例如移動(dòng)電話的潛在無線設(shè)備來實(shí)現(xiàn)。計(jì)算設(shè)備執(zhí)行包含用于實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的方法的指令的軟件產(chǎn)品，所述實(shí)施例例如圖4和圖5流程圖中所示實(shí)施例等。
圖6描述了為常規(guī)計(jì)算機(jī)系統(tǒng)52形式的計(jì)算設(shè)備，其按照本發(fā)明的實(shí)施例作為決策機(jī)操作，同時(shí)也按照本發(fā)明實(shí)施例執(zhí)行決策機(jī)計(jì)算機(jī)程序。個(gè)人計(jì)算機(jī)系統(tǒng)52包括為點(diǎn)擊設(shè)備60和鍵盤58形式的數(shù)據(jù)輸入設(shè)備以及為顯示器56形式的數(shù)據(jù)輸出設(shè)備。數(shù)據(jù)輸入和輸出設(shè)備被連接到至少包括一個(gè)中央處理單元70的處理框54。中央處理單元70通過主板68與RAM 62、ROM 64和輔助存儲(chǔ)器66進(jìn)行交互。輔助存儲(chǔ)器66包括光學(xué)和/或磁性數(shù)據(jù)存儲(chǔ)介質(zhì)，該介質(zhì)承載中央處理器70執(zhí)行所需的指令。指令組成軟件產(chǎn)品72，該軟件產(chǎn)品72被執(zhí)行時(shí)促使計(jì)算機(jī)系統(tǒng)52操作作為決策機(jī)并且實(shí)現(xiàn)參照?qǐng)D4和方程(8)到(12)所述的特征簡(jiǎn)化方法和如果需要時(shí)還有參照?qǐng)D5所述的測(cè)試階段方法。本領(lǐng)域技術(shù)人員可以認(rèn)識(shí)到，軟件產(chǎn)品72的程序被直接給予按照本發(fā)明實(shí)施例的方法。因此，按照本發(fā)明實(shí)施例的方法可以包括對(duì)具有計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)或者一或多個(gè)計(jì)算設(shè)備進(jìn)行編程以實(shí)現(xiàn)該方法的步驟、以及在例如光盤或磁盤或固態(tài)存儲(chǔ)器等計(jì)算機(jī)可讀介質(zhì)上存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令的步驟。
由于在不偏離參照以下權(quán)利要求書確定的本發(fā)明的范圍下，本領(lǐng)域技術(shù)人員可以對(duì)本發(fā)明進(jìn)行許多修改，因此此處所描述的本發(fā)明的實(shí)施例是為了闡述該發(fā)明的原理而提供的，并不被認(rèn)為是對(duì)本發(fā)明的限制或約束。
權(quán)利要求
1.一種操作至少一臺(tái)作為決策機(jī)的計(jì)算設(shè)備以解決問題的方法，所述問題具有依賴于從特征空間中的特征組得出的向量的解，該方法包括操作所述計(jì)算設(shè)備執(zhí)行以下步驟(a)解決與所述問題的SVM二次規(guī)劃方程相對(duì)應(yīng)的最小化問題，從而識(shí)別所述組的重要特征；以及(b)基于對(duì)重要特征的識(shí)別，通過以簡(jiǎn)化數(shù)目的計(jì)算步驟操作該決策機(jī)來解決所述問題。
2.根據(jù)權(quán)利要求1所述的方法，其中所述解決最小化問題的步驟包括解決最小平方問題。
3.根據(jù)權(quán)利要求1所述的方法，其中所述計(jì)算設(shè)備被作為決策機(jī)操作，以解決包括分類問題在內(nèi)的問題。
4.根據(jù)權(quán)利要求1所述的方法，其中所述計(jì)算設(shè)備被作為決策機(jī)操作，以解決包括回歸問題在內(nèi)的問題。
5.根據(jù)權(quán)利要求1所述的方法，其中所述決策機(jī)根據(jù)以下之一來操作主要成分分析、核主要成分分析(KPCA)、獨(dú)立成分分析(ICA)、線性判別式分析(LCA)、貝葉斯內(nèi)部或外部分類器。
6.根據(jù)權(quán)利要求1所述的方法，包括當(dāng)解決所述問題時(shí)僅處理重要特征。
7.根據(jù)權(quán)利要求1所述的方法，其中所述決策機(jī)包括以下任一種支持向量機(jī)、主要成分分析機(jī)、核主要成分分析機(jī)、獨(dú)立成分分析機(jī)或線性判別式分析機(jī)。
8.根據(jù)權(quán)利要求7所述的方法，其中所述決策機(jī)包括支持向量分類機(jī)，該方法進(jìn)一步包括將分開所述向量的超平面定義為離散類。
9.根據(jù)權(quán)利要求8所述的方法，包括利用僅包含重要特征的向量來定義所述超平面。
10.根據(jù)權(quán)利要求7所述的方法，其中所述決策機(jī)包括支持向量回歸機(jī)。
11.根據(jù)權(quán)利要求1所述的方法，包括將所述最小化問題的解的值與預(yù)定的閾值進(jìn)行比較，從而確定相應(yīng)的特征是否被認(rèn)為是無關(guān)緊要的。
12.根據(jù)權(quán)利要求11所述的方法，包括歸一化所述最小化問題的解。
13.根據(jù)權(quán)利要求1所述的方法，其中所述解決最小化問題的步驟包括最小化2-范數(shù)的平方。
14.根據(jù)權(quán)利要求1所述的方法，其中所述解決最小化問題的步驟包括相對(duì)于1-范數(shù)進(jìn)行最小化。
15.根據(jù)權(quán)利要求1所述的方法，其中所述解決最小化問題的步驟包括相對(duì)于無窮-范數(shù)進(jìn)行最小化。
16.根據(jù)權(quán)利要求1所述的方法，包括將所述最小平方問題映射到所述特征空間中。
17.根據(jù)權(quán)利要求13所述的方法，包括對(duì)從所述特征空間得出的測(cè)試向量進(jìn)行分類。
18.一種被編程以執(zhí)行權(quán)利要求1所述方法的計(jì)算設(shè)備。
19.一種根據(jù)權(quán)利要求15的計(jì)算設(shè)備，包括下列任意一種個(gè)人計(jì)算機(jī)；個(gè)人數(shù)字助理；診斷醫(yī)療設(shè)備；或無線設(shè)備。
20.一種承載機(jī)器可讀指令的介質(zhì)，所述指令由一個(gè)或多個(gè)處理器執(zhí)行以實(shí)現(xiàn)權(quán)利要求1所述的方法。
21.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括利用與步驟(a)和(b)相對(duì)應(yīng)的計(jì)算機(jī)可執(zhí)行指令對(duì)至少一臺(tái)計(jì)算設(shè)備進(jìn)行編程，并且將該計(jì)算機(jī)可執(zhí)行指令存儲(chǔ)到計(jì)算機(jī)可讀介質(zhì)上。
全文摘要
一種在用于諸如支持向量機(jī)(SVM)的學(xué)習(xí)機(jī)的訓(xùn)練組中進(jìn)行特征簡(jiǎn)化的方法。在一實(shí)施例中，該方法包括步驟(35)，其接收訓(xùn)練組的輸入訓(xùn)練數(shù)據(jù)向量x
文檔編號(hào)G06F5/00GK101080707SQ200580043244
公開日2007年11月28日 申請(qǐng)日期2005年12月14日 優(yōu)先權(quán)日2004年12月17日
發(fā)明者凱文·E·蓋茨 申請(qǐng)人:昆士蘭大學(xué)