專利名稱：小樣本線性鑒別特征的快速實(shí)時(shí)抽取方法
技術(shù)領(lǐng)域：
發(fā)明涉及小樣本線性鑒別特征的快速實(shí)時(shí)抽取和識(shí)別領(lǐng)域，具體是小樣本條件 下的高維數(shù)據(jù)的線性鑒別特征快速實(shí)時(shí)抽取和識(shí)別方法。本發(fā)明可用于機(jī)器學(xué)習(xí)和模式 識(shí)別領(lǐng)域，可用于小樣本條件下的各種高維數(shù)據(jù)的特征快速實(shí)時(shí)抽取和識(shí)別。
背景技術(shù)：
特征抽取技術(shù)是模式識(shí)別中的一個(gè)重要內(nèi)容，通常可分為監(jiān)督和非監(jiān)督特征抽 取兩大類。非監(jiān)督的特征抽取方法可分為主分量分析和獨(dú)立分量分析兩類，由于沒(méi)有 用到訓(xùn)練樣本所屬的類別信息，因此難以獲得對(duì)分類識(shí)別有用的鑒別特征。監(jiān)督的鑒別 特征抽取利用了每個(gè)樣本所屬的類別這一重要信息，因此可以得到有利于分類的鑒別特 征。監(jiān)督的鑒別特征抽取常用的是基于某個(gè)準(zhǔn)則的特征抽取方法，此類方法通過(guò)最 優(yōu)化一個(gè)準(zhǔn)則函數(shù)得到一個(gè)變換陣，將原始高維樣本特征降維至低維子空間，使在低維 子空間中的特征更緊湊，有更好的可分性，因此這類方法也稱之為子空間方法。識(shí)別階段針對(duì)所抽取到的特征設(shè)計(jì)適合的分類方法，將樣本特征空間分為各個(gè) 區(qū)域，然后根據(jù)待識(shí)別樣本特征所在的區(qū)域?qū)⑵錃w入對(duì)應(yīng)類別中。特征抽取階段得到高 維樣本的鑒別特征后，常用最近鄰分類器分類。在基于子空間的線性特征抽取方法中，常見(jiàn)的是基于Fisher準(zhǔn)則的線性鑒別分 析(簡(jiǎn)稱FLDA)方法。FLDA方法通過(guò)最優(yōu)化Fisher準(zhǔn)則，使得到的鑒別矢量對(duì)樣本降 維后，在低維空間樣本特征的類間散度最大以及類內(nèi)散度最小，從而所得鑒別特征在降 維變換后有最好的類可分性。但是當(dāng)樣本的維數(shù)大于類內(nèi)散度陣的秩時(shí)，則求解最佳鑒 別特征存在病態(tài)奇異問(wèn)題，此問(wèn)題也稱為小樣本條件下的病態(tài)奇異問(wèn)題。目前已有的解 決小樣本病態(tài)奇異問(wèn)題的方法中，規(guī)整化方法對(duì)奇異的類內(nèi)散度陣加上一個(gè)小的擾動(dòng)陣 使其可逆，廣義逆方法則利用類內(nèi)散度陣的廣義逆取代逆矩陣。對(duì)高維的小樣本問(wèn)題， 這兩種方法的計(jì)算量較大，難以實(shí)用?；诹憧臻g的方法需要計(jì)算類內(nèi)散度陣的零空 間，計(jì)算量也較大，難以應(yīng)用到樣本數(shù)較多的場(chǎng)合；基于主分量分析和零空間的方法首 先對(duì)樣本進(jìn)行主分量分析，將樣本降維，再應(yīng)用零空間方法得到線性鑒別特征，雖然降 低了計(jì)算量，但是對(duì)大量高維樣本進(jìn)行主分量分析存在計(jì)算量大和數(shù)值不穩(wěn)定的問(wèn)題。 在FLDA方法中計(jì)算最佳鑒別矢量等效于求解廣義特征方程的特征矢量，而對(duì)高維數(shù)據(jù) 求解特征矢量存在計(jì)算量大和數(shù)值計(jì)算不穩(wěn)定的問(wèn)題。鑒別共同矢量方法(DCV)在類內(nèi) 散度陣的零空間中求解鑒別矢量最優(yōu)化類間散度，克服了 FLDA的小樣本問(wèn)題，計(jì)算量 小且數(shù)值穩(wěn)定。其整個(gè)計(jì)算過(guò)程分兩步完成首先在每個(gè)類別中任選一個(gè)樣本投影到類 內(nèi)散度陣的零空間中得到該類別的共同矢量，然后利用共同矢量最優(yōu)化類間散度得到最 佳Fisher鑒別矢量。為降低計(jì)算量和增加數(shù)值穩(wěn)定性，進(jìn)一步利用正交化過(guò)程代替求解 特征方程。然而改進(jìn)的DCV方法需要進(jìn)行一次高維數(shù)據(jù)的降維，并進(jìn)行兩次正交化過(guò) 程，這樣也增加了計(jì)算的復(fù)雜度。

發(fā)明內(nèi)容
本發(fā)明目的是針對(duì)現(xiàn)有高維小樣本數(shù)據(jù)線性鑒別特征抽取技術(shù)存在的缺陷提供 一種快速實(shí)時(shí)的線性鑒別特征抽取方法。本發(fā)明為實(shí)現(xiàn)上述目的，采用如下技術(shù)方案本發(fā)明小樣本線性鑒別特征的快速實(shí)時(shí)抽取方法包括如下步驟(1)、計(jì)算線性鑒別矢量有C個(gè)類別的樣本，第i個(gè)類別有Ii1個(gè)訓(xùn)練樣本，i = l，2…’ C，總樣本數(shù)為 本計(jì)算n-1個(gè)差矢量為Ι + ^為2,…,，其中d\=x\+l-x\ 左= H^1-I,d\ = x\ -X11 1 = 2,...,C, 1 = 2”..，％，表示第1個(gè)類別中的第k+1個(gè)樣本，X11表示第1個(gè)類別中第1個(gè)樣本，X丨表示 第i個(gè)類別中的第1個(gè)樣本；利用n-1個(gè)差矢量<，dc計(jì)算η--1個(gè)新矢量
Sl,—^ S H1-I^ Sl ” ..^Sn2-I7C C 2 ...？ Sl ” .. ？ Snc —1, Sl , ■C 7 Sl，
其中
ο 1 ？ · · ·,Sw1-I = ”9
Sl ”··2 τ2 ，^w2-1 = α2
Sl，..Snc-I = d2
Sl ”··^Si —dx,..■Λ，
將n--1個(gè)新矢量
權(quán)利要求
1. 一種小樣本線性鑒別特征的快速實(shí)時(shí)抽取方法，其特征在于包括如下步驟(1)、計(jì)算線性鑒別矢量有C個(gè)類別的樣本，第i個(gè)類別有II1個(gè)訓(xùn)練樣本，i=l，2...，C，總樣本數(shù)為 = 將采集到的樣本用矢量表示，即<表示第i個(gè)類別中的第j個(gè)樣本；用η個(gè)總樣 本計(jì)算η-1個(gè)差矢量為Ι + ^為2,…,，其中dI = xLi -xI 左=1,2”..,W1-I, d\ = X11 -X11 j = 2,...,C, 1 = 2,...,^ ,·4+1表示第1個(gè)類別中的第k+1個(gè)樣本，X11表示第1個(gè)類別中第1個(gè)樣本，劣表示第i 個(gè)類別中的第1個(gè)樣本；利用η-1個(gè)差矢量為ι",<，..., ζ計(jì)算η-1個(gè)新矢量
全文摘要
本發(fā)明公布了一種小樣本線性鑒別特征的快速實(shí)時(shí)抽取方法。所述方法包括利用訓(xùn)練樣本構(gòu)造差矢量，對(duì)其計(jì)算和重新排列得到新的矢量，對(duì)新矢量構(gòu)成的矩陣進(jìn)行QR分解得到小樣本條件下的最佳線性鑒別矢量；在識(shí)別階段將樣本特征和待識(shí)別特征分別投影到計(jì)算出的線性鑒別矢量上，得到最佳鑒別特征，然后計(jì)算待識(shí)別特征和樣本特征的距離，將待識(shí)別人臉圖像歸入最小距離對(duì)應(yīng)的人臉類別中。本發(fā)明所得線性鑒別矢量和特征互不相關(guān)，消除了線性鑒別特征間的冗余，提高了所得鑒別特征的鑒別能力。所得線性鑒別矢量位于總散度陣的秩空間和類內(nèi)散度陣的零空間中。由于使用QR分解計(jì)算正交化的線性鑒別矢量，因此本方法有較好的數(shù)值穩(wěn)定性和快速實(shí)時(shí)的性能。
文檔編號(hào)G06K9/66GK102013023SQ20101056817
公開(kāi)日2011年4月13日 申請(qǐng)日期2010年12月1日 優(yōu)先權(quán)日2010年12月1日
發(fā)明者賀云輝 申請(qǐng)人:南京信息工程大學(xué)