基于核空間的深度散射卷積網(wǎng)絡(luò)學(xué)習(xí)方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種數(shù)字圖像分類(lèi)方案，具體是一種基于核空間的深度散射卷積網(wǎng)絡(luò) 學(xué)習(xí)方法和系統(tǒng)。
【背景技術(shù)】
[0002] 數(shù)字圖像信號(hào)的分類(lèi)問(wèn)題通常由特征提取算子及分類(lèi)器聯(lián)合解決。特征提取算子 提取的特征識(shí)別類(lèi)內(nèi)相似性并區(qū)分類(lèi)間差異性的能力稱為特征可分性，運(yùn)種性質(zhì)顯然影響 著分類(lèi)精度。在特征提取算子確定的情況下，特征可分性受到后端的分類(lèi)器的影響。為了進(jìn) 一步提高信號(hào)的分類(lèi)準(zhǔn)確率，一種方案是聯(lián)合優(yōu)化特征提取算子和分類(lèi)器，運(yùn)種方案可W 提供對(duì)不同類(lèi)型的數(shù)字圖像進(jìn)行分類(lèi)的魯棒性。
[000；3] 經(jīng)過(guò)對(duì)現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn)，J. Bruna和S. Mal Iat在2013年的《IEEE Transactions on Pattern Analysis and Machine Intelligence》（TPAMI)其月甲J上發(fā)表的 "Invariant scattering convolution networks" -文中提出了一種基于復(fù)小波分解的散 射卷積網(wǎng)絡(luò)，該散射網(wǎng)絡(luò)通過(guò)級(jí)聯(lián)小波卷積、非線性取模及局部平均算子建立了一種能線 性化細(xì)微形變且有局部平移不變特性的特征提取算子。該方法可W有效提高紋理圖像和手 寫(xiě)字符的分類(lèi)準(zhǔn)確率，但運(yùn)種方法沒(méi)有考慮后端分類(lèi)器對(duì)散射網(wǎng)絡(luò)的特征可分性的影響， 且給出小波的旋轉(zhuǎn)和伸縮數(shù)，網(wǎng)絡(luò)中散射路徑的數(shù)量和參數(shù)是固定的，運(yùn)導(dǎo)致對(duì)于特定的 問(wèn)題分類(lèi)準(zhǔn)確率降低。M. San即ierj.Gauthier與A. Rakotomamonjy在2015年的《Signal Processing》其月甲J上發(fā)表的('Filter bank learning for signal classification"一文中 提出了一種聯(lián)合學(xué)習(xí)濾波器組和支持向量機(jī)的方法，該方法將濾波器組的學(xué)習(xí)問(wèn)題轉(zhuǎn)化為 多核學(xué)習(xí)問(wèn)題，可W在高噪聲水平下有效地解決音頻信號(hào)的二元分類(lèi)問(wèn)題。但運(yùn)種方法只 解決單層濾波器組的學(xué)習(xí)問(wèn)題，所得的信號(hào)分解系數(shù)不包含不同尺度和方向之間的交互信 息，最終會(huì)導(dǎo)致圖像信號(hào)的分類(lèi)不準(zhǔn)確。運(yùn)些不足促使申請(qǐng)人找到一種深度卷積網(wǎng)絡(luò)的學(xué) 習(xí)方法，針對(duì)不同的圖像數(shù)據(jù)庫(kù)自適應(yīng)地學(xué)習(xí)網(wǎng)絡(luò)中的卷積路徑。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明針對(duì)現(xiàn)有技術(shù)的不足，提供了一種基于核空間的深度散射卷積網(wǎng)絡(luò)學(xué)習(xí)方 法及系統(tǒng)，針對(duì)不同的圖像數(shù)據(jù)庫(kù)能自適應(yīng)地學(xué)習(xí)網(wǎng)絡(luò)中的卷積路徑，可W有效提高手寫(xiě) 字符和紋理圖像的識(shí)別準(zhǔn)確率，并可作為一種通用的數(shù)字圖像分類(lèi)方法。
[0005] 本發(fā)明是通過(guò)W下技術(shù)方案實(shí)現(xiàn)的：
[0006] 本發(fā)明提供一種基于核空間的深度散射卷積網(wǎng)絡(luò)學(xué)習(xí)方法，包括：
[0007] 參數(shù)化小波生成步驟:該步驟W隨機(jī)化參數(shù)構(gòu)造小波濾波器組；
[000引多核學(xué)習(xí)步驟:該步驟基于參數(shù)化小波生成步驟構(gòu)造的小波濾波器組對(duì)訓(xùn)練數(shù)據(jù) 集進(jìn)行散射卷積網(wǎng)絡(luò)的分解，并采用多核學(xué)習(xí)算法選擇最優(yōu)卷積路徑；
[0009]散射分解步驟:該步驟基于多核學(xué)習(xí)步驟選擇的最優(yōu)卷積路徑對(duì)測(cè)試數(shù)據(jù)集進(jìn)行 散射分解，所得的分解系數(shù)在支持向量機(jī)分類(lèi)被分類(lèi)。
[0010] 進(jìn)一步的，所述的參數(shù)化小波生成步驟:通過(guò)隨機(jī)化的變換參數(shù)對(duì)復(fù)小波基進(jìn)行 伸縮及旋轉(zhuǎn)變換構(gòu)造小波濾波器組。
[0011] 進(jìn)一步的，所述的多核學(xué)習(xí)步驟:基于最大化間距準(zhǔn)則和一對(duì)多策略聯(lián)合優(yōu)化散 射卷積網(wǎng)絡(luò)與支持向量機(jī)，并將該聯(lián)合優(yōu)化問(wèn)題轉(zhuǎn)化為多核學(xué)習(xí)問(wèn)題。
[0012] 進(jìn)一步的，所述的多核學(xué)習(xí)步驟，具體實(shí)現(xiàn)如下：
[0013] Sl、更新參數(shù)化小波生成步驟的隨機(jī)化參數(shù)，構(gòu)造小波濾波器組對(duì)訓(xùn)練數(shù)據(jù)集進(jìn) 行散射卷積網(wǎng)絡(luò)的分解，用分解結(jié)果中每條卷積路徑的系數(shù)分別構(gòu)建高斯核；
[0014] S2、通過(guò)廣義多核學(xué)習(xí)算法計(jì)算當(dāng)前高斯核集合中每個(gè)核的組合權(quán)值，基于活動(dòng) 集準(zhǔn)則去除集合中權(quán)值為零的非活動(dòng)核，并計(jì)算加權(quán)積形式的組合核；
[0015] S3、重復(fù)SI,結(jié)合所得的新生成的高斯核與S2中得到的組合核，計(jì)算當(dāng)前解是否滿 足KKT化arush-Kuhn-l\icker)條件，若滿足則根據(jù)S2中的高斯核集合推導(dǎo)對(duì)應(yīng)的卷積路徑， 作為局部最優(yōu)解輸出；否則在新生成的高斯核中選出一個(gè)違背KKT條件的核W零初始權(quán)值 加入S2選出的活動(dòng)核集合中，并轉(zhuǎn)到S2。
[0016] 進(jìn)一步的，所述的散射卷積網(wǎng)絡(luò)的分解，是指：由小波濾波器組迭代地對(duì)信號(hào)進(jìn)行 卷積分解，每條卷積分解路徑有不同的小波伸縮或旋轉(zhuǎn)參數(shù)且卷積次數(shù)2,每次卷積后 進(jìn)行復(fù)數(shù)取模操作，最后進(jìn)行高斯低通濾波，結(jié)果為該卷積路徑的分解系數(shù)。
[0017] 進(jìn)一步的，所述的散射分解步驟:匯總學(xué)到的散射分解路徑對(duì)測(cè)試數(shù)據(jù)集進(jìn)行分 解，并對(duì)分解系數(shù)取對(duì)數(shù)非線性變換，分離光照變化引入的低頻乘積部分。
[0018] 進(jìn)一步的，所述的支持向量機(jī)分類(lèi)，是指:采用一對(duì)多策略訓(xùn)練高斯核支持向量機(jī) 對(duì)散射分解系數(shù)進(jìn)行分類(lèi)。
[0019] 本發(fā)明提供一種用于實(shí)現(xiàn)上述方法的基于核空間的深度散射卷積網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)， 包括:參數(shù)化小波生成模塊、多核學(xué)習(xí)模塊、散射分解模塊和支持向量機(jī)分類(lèi)模塊，其中：
[0020] 所述參數(shù)化小波生成模塊W隨機(jī)化參數(shù)構(gòu)造小波濾波器組；
[0021] 所述多核學(xué)習(xí)模炔基于參數(shù)化小波生成模塊構(gòu)造的小波濾波器組對(duì)訓(xùn)練數(shù)據(jù)集 進(jìn)行散射卷積網(wǎng)絡(luò)的分解，并采用多核學(xué)習(xí)算法選擇最優(yōu)卷積路徑；
[0022] 所述散射分解模炔基于多核學(xué)習(xí)模塊選擇的最優(yōu)卷積路徑對(duì)測(cè)試數(shù)據(jù)集進(jìn)行散 射分解，所得的分解系數(shù)在支持向量機(jī)分類(lèi)模塊被分類(lèi)。
[0023] 進(jìn)一步的，所述的支持向量機(jī)分類(lèi)模塊，該模塊采用一對(duì)多策略訓(xùn)練高斯核支持 向量機(jī)對(duì)散射分解系數(shù)進(jìn)行分類(lèi)。
[0024] 與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：
[0025] 本發(fā)明針對(duì)不同的圖像數(shù)據(jù)庫(kù)提供一種基于核空間的局部平移不變的深度散射 卷積網(wǎng)絡(luò)的學(xué)習(xí)，將散射網(wǎng)絡(luò)的卷積路徑映射到高維核空間，從而把散射網(wǎng)絡(luò)和支持向量 機(jī)的聯(lián)合優(yōu)化問(wèn)題轉(zhuǎn)化為多核學(xué)習(xí)問(wèn)題，充分利用了多核學(xué)習(xí)算法選取信號(hào)特征的靈活 性；W多個(gè)核的加權(quán)積的形式計(jì)算組合核，得到的核特征空間是單獨(dú)核的特征空間的張量 積，相對(duì)于傳統(tǒng)的W加權(quán)和的形式計(jì)算組合核，即W單獨(dú)核特征空間的連接的作為核特征 空間的表示方式，大大提高了特征表示的維度;對(duì)于具有其它類(lèi)型局部不變性的深度散射 網(wǎng)絡(luò)，本發(fā)明經(jīng)過(guò)適當(dāng)?shù)男薷囊部蒞使用，具有較強(qiáng)的可擴(kuò)展性;本發(fā)明中深度散射網(wǎng)絡(luò)的 卷積路徑的數(shù)目與參數(shù)基于訓(xùn)練數(shù)據(jù)集自適應(yīng)地學(xué)得，可W有效地提高不同類(lèi)型數(shù)字圖像 的識(shí)別準(zhǔn)確率，具有良好的通用性。
【附圖說(shuō)明】
[0026] 通過(guò)閱讀參照W下附圖對(duì)非限制性實(shí)施例所作的詳細(xì)描述，本發(fā)明的其它特征、 目的和優(yōu)點(diǎn)將會(huì)變得更明顯：
[0027] 圖1為本發(fā)明一實(shí)施例的結(jié)構(gòu)框圖；
[0028] 圖2為本發(fā)明一實(shí)施例中散射分解過(guò)程的示意圖。
【具體實(shí)施方式】
[0029] 下面結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。W下實(shí)施例將有助于本領(lǐng)域的技術(shù) 人員進(jìn)一步理解本發(fā)明，但不W任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對(duì)本領(lǐng)域的普通技術(shù) 人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可W做出若干變形和改進(jìn)。運(yùn)些都屬于本發(fā)明 的保護(hù)范圍。
[0030] 本發(fā)明為有效提高手寫(xiě)字符和紋理圖像的識(shí)別準(zhǔn)確率，設(shè)計(jì)一種基于核空間的深 度散射卷積網(wǎng)絡(luò)學(xué)習(xí)方法，包括：
[0031] 參數(shù)化小波生成步驟:該步驟W隨機(jī)化參數(shù)構(gòu)造小波濾波器組；
[0032] 多核學(xué)習(xí)步驟:該步驟基于參數(shù)化小波生成步驟構(gòu)造的小波濾波器組對(duì)訓(xùn)練數(shù)據(jù) 集進(jìn)行散射卷積網(wǎng)絡(luò)的分解，并采用多核學(xué)習(xí)算法選擇最優(yōu)卷積路徑；
[0033] 散射分解步驟:該步驟基于多核學(xué)習(xí)步驟選擇的最優(yōu)卷積路徑對(duì)測(cè)試數(shù)據(jù)集進(jìn)行 散射分解，所得的分解系數(shù)在支持向量機(jī)分類(lèi)被分類(lèi)。
[0034] 如圖1所示，為用于實(shí)現(xiàn)上述方法的基于核空間的深度散射卷積網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)，對(duì) 應(yīng)于上述方法各步驟，該系統(tǒng)包括:參數(shù)化小波生成模塊、多核學(xué)習(xí)模塊、散射分解模塊和 支持向量機(jī)分類(lèi)模塊，其中：
[0035] 所述參數(shù)化小波生成模塊，W隨機(jī)化參數(shù)對(duì)復(fù)小波基進(jìn)行旋轉(zhuǎn)及伸縮變換構(gòu)造小 波濾波器組；
[0036] 所述多核學(xué)習(xí)模塊，基于參數(shù)化小波生成模塊構(gòu)造的小波濾波器組對(duì)訓(xùn)練數(shù)據(jù)集 進(jìn)行散射卷積分解，并采用多核學(xué)習(xí)算法選擇最優(yōu)卷積路徑；
[0037] 所述散射分解模塊，基于多核學(xué)習(xí)模塊選擇的最優(yōu)卷積路徑對(duì)測(cè)試數(shù)據(jù)集進(jìn)行散 射分解，所得的分解系數(shù)在所述支持向量機(jī)分類(lèi)模塊被分類(lèi)。
[0038] 上述系統(tǒng)用于實(shí)現(xiàn)基于核空間的深度散射卷積網(wǎng)絡(luò)學(xué)習(xí)，從而可W有效提升各種 類(lèi)型數(shù)字圖像的分類(lèi)準(zhǔn)確率。W下對(duì)系統(tǒng)的各個(gè)模塊進(jìn)行進(jìn)一步說(shuō)明，運(yùn)些說(shuō)明也同樣適 用于所述基于核空間的深度散射卷積網(wǎng)絡(luò)學(xué)習(xí)方法的各個(gè)對(duì)應(yīng)步驟。
[0039] 在一實(shí)施例中，所述的參數(shù)化小波生成模塊，Wj和0分別表示伸縮與旋轉(zhuǎn)變換的 參數(shù)，且j e [0，J-I)，0 e [0，JT)，從連續(xù)集[0，J-I) X [0，JT)中隨機(jī)地產(chǎn)生J X L組變換參數(shù) (j，e)并用^=2^0表示，其中，J與L分別表示對(duì)初始方向小波iH故伸縮及旋轉(zhuǎn)變換的變換參 數(shù)的數(shù)量，令UER 2表示空間域中某一點(diǎn)的坐標(biāo)，每組參數(shù)（j，0)對(duì)初始方向小波(6(11)