專利名稱：一種基于樣本信息的結(jié)構(gòu)設(shè)計方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及模式識別領(lǐng)域，尤其涉及一種基于樣本信息的結(jié)構(gòu)設(shè)計方法及裝置。
背景技術(shù)：
Vapnik在“統(tǒng)計學(xué)習(xí)理論本質(zhì)”一書中提到所有可用信息都包含于訓(xùn)練集中。如果能通過某種途徑獲得這些樣本中所包含的信息，再將獲取的信息映射到神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上去，并且這種映射保證了神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)時，已具備了該領(lǐng)域的初步知識。如此所設(shè)計出的網(wǎng)絡(luò)結(jié)構(gòu)必定優(yōu)于根據(jù)人為主觀而設(shè)計出的網(wǎng)絡(luò)結(jié)構(gòu)。傳統(tǒng)模式識別系統(tǒng)中的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計，大致上可以分為三類一是對神經(jīng)網(wǎng)絡(luò)權(quán)連接的修剪策略，即在獲得理想的訓(xùn)練精度之后，動態(tài)地刪掉多余地權(quán)和節(jié)點；二是對隱節(jié)點地增長與修剪策略；三是子網(wǎng)增長地神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。無論采用何種方法，最為關(guān)鍵的是以Vapnik的理論為指導(dǎo)方針即當(dāng)網(wǎng)絡(luò)的體系結(jié)構(gòu)可依樣本知識進(jìn)行選擇，且隨問題的復(fù)雜度而改變時，不僅能夠確保網(wǎng)絡(luò)的學(xué)習(xí)性能有所提高，而且也使得網(wǎng)絡(luò)結(jié)構(gòu)的大小針對特定任務(wù)十分合適，冗余性很小。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計方法雖然在一些領(lǐng)域的應(yīng)用取得了一定的成功，但是存在的問題也是很明顯的。在神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程中存在如下三個方面的困難，其一是學(xué)習(xí)速度緩慢；其二是局部極小值問題；其三是針對特定問題選擇合理的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；大量應(yīng)用實踐證明，網(wǎng)絡(luò)結(jié)構(gòu)過大易引起網(wǎng)絡(luò)訓(xùn)練速度太慢，甚至出現(xiàn)過擬合現(xiàn)象，而網(wǎng)絡(luò)結(jié)構(gòu)過小又容易造成不收斂的問題。實際應(yīng)用中的網(wǎng)絡(luò)結(jié)構(gòu)確定往往帶有人為主觀因素，缺乏一定的理論指導(dǎo)。本文提出了一種充分利用學(xué)習(xí)樣本中的先驗知識來指導(dǎo)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計，能夠有效減少上述三方面的困難。因此，設(shè)計一種加速網(wǎng)絡(luò)收斂和避免局部極小值的結(jié)構(gòu)設(shè)計方法及裝置十分必要，是模式識別領(lǐng)域目前急待解決的問題之一。

發(fā)明內(nèi)容
本發(fā)明實施例提供一種基于樣本信息的結(jié)構(gòu)設(shè)計方法及裝置，通過依據(jù)樣本信息對樣本空間進(jìn)行分類，獲取樣本信息確定樣本的基元素，并根據(jù)樣本基元素對隱節(jié)點層進(jìn)行分組，進(jìn)而實現(xiàn)有效加速網(wǎng)絡(luò)收斂，可針對特定的任務(wù)設(shè)計出大小適中的網(wǎng)絡(luò)結(jié)構(gòu)，有效避免局部極小值的出現(xiàn)。本發(fā)明實施例提供以下技術(shù)方案一種基于樣本信息的結(jié)構(gòu)設(shè)計方法及裝置，包括步驟一、依據(jù)樣本信息對樣本空間進(jìn)行分類；步驟二、獲取樣本信息確定樣本的基元素；步驟三、依據(jù)樣本基元素對隱節(jié)點層進(jìn)行分組。優(yōu)選的，上述步驟一中，預(yù)先依據(jù)樣本信息的性質(zhì)和關(guān)系將樣本空間分類。優(yōu)選的，上述步驟一中，樣本可包含同類別樣本和不同類別樣本。
優(yōu)選的，同類別樣本為差異較小，在特征空間存在一個連續(xù)、漸變的過程。優(yōu)選的，上述步驟二中，基元素是由樣本的特性決定。優(yōu)選的，同類樣本中基元素的數(shù)目與不同類樣本中類別數(shù)目一一對應(yīng)。優(yōu)選的，上述步驟三中，對隱節(jié)點層進(jìn)行分組為每一組分別對應(yīng)樣本空間中的某一類。一種基于樣本信息的結(jié)構(gòu)設(shè)計裝置，包括分類模塊、基元素確定模塊、分組模塊， 用于通過依據(jù)樣本信息對樣本空間進(jìn)行分類，獲取樣本信息確定樣本的基元素，并根據(jù)樣本基元素對隱節(jié)點層進(jìn)行分組。優(yōu)選的，上述分類模塊，用于依據(jù)樣本信息對樣本空間進(jìn)行分類。優(yōu)選的，上述基元素確定模塊，用于獲取樣本信息確定樣本的基元素。優(yōu)選的，上述分組模塊，用于依據(jù)樣本基元素對隱節(jié)點層進(jìn)行分組。本發(fā)明提供的一種基于樣本信息的結(jié)構(gòu)設(shè)計方法及裝置，通過依據(jù)樣本信息對樣本空間進(jìn)行分類，獲取樣本信息確定樣本的基元素，并根據(jù)樣本基元素對隱節(jié)點層進(jìn)行分組，進(jìn)而實現(xiàn)有效加速網(wǎng)絡(luò)收斂，可針對特定的任務(wù)設(shè)計出大小適中的網(wǎng)絡(luò)結(jié)構(gòu)，有效避免局部極小值的出現(xiàn)。


為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1是同類樣本的示意圖；圖2本發(fā)明實施例提供的基于樣本信息的結(jié)構(gòu)設(shè)計方法流程圖；圖3本發(fā)明實施例提供的基于樣本信息的結(jié)構(gòu)設(shè)計裝置示意圖。
具體實施例方式本發(fā)明實施例提供一種基于樣本信息的結(jié)構(gòu)設(shè)計方法及裝置，通過依據(jù)樣本信息對樣本空間進(jìn)行分類，獲取樣本信息確定樣本的基元素，并根據(jù)樣本基元素對隱節(jié)點層進(jìn)行分組，進(jìn)而實現(xiàn)有效加速網(wǎng)絡(luò)收斂，可針對特定的任務(wù)設(shè)計出大小適中的網(wǎng)絡(luò)結(jié)構(gòu)，有效避免局部極小值的出現(xiàn)。為使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，下面參照附圖并舉實施例，對本發(fā)明進(jìn)一步詳細(xì)說明。本發(fā)明實施例提供一種基于樣本信息的結(jié)構(gòu)設(shè)計方法及裝置，如圖3所示，具體步驟包括步驟一、依據(jù)樣本信息對樣本空間進(jìn)行分類。具體而言，在本發(fā)明實施例中，預(yù)先依據(jù)樣本信息的性質(zhì)和關(guān)系將樣本空間分為幾大類，進(jìn)而實現(xiàn)對樣本空間的分類。 在本發(fā)明實施例中，樣本可包含“同類別，，樣本和“不同類別，，樣本。 本發(fā)明實施例中所指的“不同類別”樣本含義是樣本在特征空間不存在一個連續(xù)
的漸變過程，即樣本之間差異較大，在特征空間完全可分。關(guān)于這一點，通過神經(jīng)網(wǎng)絡(luò)的模塊化學(xué)習(xí)理論不難得以證明。劃分不同樣本空間，對于“不同類別”樣本來說，樣本有多少種類別，樣本空間就有幾個，隱節(jié)點層就分為幾個組。本發(fā)明實施例中所指的“同類別，，樣本含義是差異較小，在特征空間存在一個連續(xù)、漸變的過程。同類樣本的示意圖如圖1所示。較為困難的問題在于“同類樣本”的劃分。在本發(fā)明實施例中，當(dāng)網(wǎng)絡(luò)分類器面臨同類樣本的劃分時，同樣可以采用上述結(jié)構(gòu)設(shè)計方法。基于“認(rèn)識”的模式識別理論中，被“認(rèn)識”的事物A的每一個輸入樣本都對應(yīng)高維特征空間1 中一個η維超球體，也就是一個球形鄰域。完成對“事物Α”的認(rèn)識過程就是在特征空間1 中對所有訓(xùn)練樣本點集所形成的無窮多個球形鄰域的“并”進(jìn)行覆蓋。在特征空間中，同類樣本間存在著連續(xù)性規(guī)律。也就是特征空間的所有屬于A類事物的全體點集為A，若集合A中存在任意兩個元素χ與y，則對任意大于零的值ε，則必存在集合B，
權(quán)利要求
1.一種基于樣本信息的結(jié)構(gòu)設(shè)計方法及裝置，其特征在于，所述方法包括步驟一、依據(jù)樣本信息對樣本空間進(jìn)行分類；步驟二、獲取樣本信息確定樣本的基元素；步驟三、依據(jù)樣本基元素對隱節(jié)點層進(jìn)行分組。
2.根據(jù)權(quán)利要求1所述的設(shè)計方法，其特征在于，所述步驟一中，預(yù)先依據(jù)樣本信息的性質(zhì)和關(guān)系將樣本空間分類。
3.根據(jù)權(quán)利要求1所述的設(shè)計方法，其特征在于，在所述步驟一中，樣本可包含同類別樣本和不同類別樣本。
4.根據(jù)權(quán)利要求3所述的設(shè)計方法，其特征在于，同類別樣本為差異較小，在特征空間存在一個連續(xù)、漸變的過程。
5.根據(jù)權(quán)利要求1所述的設(shè)計方法，其特征在于，在所述步驟二中，基元素是由樣本的特性決定。
6.根據(jù)權(quán)利要求5所述的設(shè)計方法，其特征在于，同類樣本中基元素的數(shù)目與不同類樣本中類別數(shù)目一一對應(yīng)。
7.根據(jù)權(quán)利要求1所述的設(shè)計方法，其特征在于，在所述步驟三中，對隱節(jié)點層進(jìn)行分組為每一組分別對應(yīng)樣本空間中的某一類。
8.一種基于樣本信息的結(jié)構(gòu)設(shè)計裝置，其特征在于，所述裝置包括分類模塊、基元素確定模塊、分組模塊，用于通過依據(jù)樣本信息對樣本空間進(jìn)行分類，獲取樣本信息確定樣本的基元素，并根據(jù)樣本基元素對隱節(jié)點層進(jìn)行分組。
9.根據(jù)權(quán)利要求8所述的設(shè)計裝置，其特征在于，所述分類模塊，用于依據(jù)樣本信息對樣本空間進(jìn)行分類。
10.根據(jù)權(quán)利要求8所述的設(shè)計裝置，其特征在于，所述基元素確定模塊，用于獲取樣本信息確定樣本的基元素。
11.根據(jù)權(quán)利要求8所述的設(shè)計裝置，其特征在于，所述分組模塊，用于依據(jù)樣本基元素對隱節(jié)點層進(jìn)行分組。
全文摘要
本發(fā)明公開了一種基于樣本信息的結(jié)構(gòu)設(shè)計方法及裝置，通過依據(jù)樣本信息對樣本空間進(jìn)行分類，獲取樣本信息確定樣本的基元素，并根據(jù)樣本基元素對隱節(jié)點層進(jìn)行分組，進(jìn)而實現(xiàn)有效加速網(wǎng)絡(luò)收斂，可針對特定的任務(wù)設(shè)計出大小適中的網(wǎng)絡(luò)結(jié)構(gòu)，有效避免局部極小值的出現(xiàn)。
文檔編號G06N3/08GK102169546SQ20111012616
公開日2011年8月31日 申請日期2011年5月16日 優(yōu)先權(quán)日2011年5月16日
發(fā)明者胡靜 申請人:上海電機(jī)學(xué)院