本發(fā)明涉及卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用領(lǐng)域，尤其是一種基于卷積神經(jīng)網(wǎng)絡(luò)的方言分類方法。

背景技術(shù)：

卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前語(yǔ)音分析和圖像識(shí)別領(lǐng)域的研究熱點(diǎn)。它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。該優(yōu)點(diǎn)在網(wǎng)絡(luò)的輸入是多維圖像時(shí)表現(xiàn)的更為明顯，使圖像可以直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識(shí)別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過(guò)程。卷積網(wǎng)絡(luò)是為識(shí)別二維形狀而特殊設(shè)計(jì)的一個(gè)多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、比例縮放、傾斜或者共他形式的變形具有高度不變性。

卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)多層的神經(jīng)網(wǎng)絡(luò)，每層由多個(gè)二維平面組成，而每個(gè)平面由多個(gè)獨(dú)立神經(jīng)元組成。輸入圖像通過(guò)和三個(gè)可訓(xùn)練的濾波器和可加偏置進(jìn)行卷積，卷積后在c1層產(chǎn)生三個(gè)特征映射圖，然后特征映射圖中每組的四個(gè)像素再進(jìn)行求和，加權(quán)值，加偏置，通過(guò)一個(gè)sigmoid函數(shù)得到三個(gè)s2層的特征映射圖。這些映射圖再經(jīng)過(guò)濾波得到c3層。這個(gè)層級(jí)結(jié)構(gòu)再和s2一樣產(chǎn)生s4。最終，這些像素值被光柵化，并連接成一個(gè)向量輸入到傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，得到輸出。

一般地，c層為特征提取層，每個(gè)神經(jīng)元的輸入與前一層的局部感受野相連，并提取該局部的特征，一旦該局部特征被提取后，它與其它特征間的位置關(guān)系也隨之確定下來(lái)；s層是特征映射層，網(wǎng)絡(luò)的每個(gè)計(jì)算層由多個(gè)特征映射組成，每個(gè)特征映射為一個(gè)平面，平面上所有神經(jīng)元的權(quán)值相等。特征映射結(jié)構(gòu)采用影響函數(shù)核小的sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)，使得特征映射具有位移不變性。

此外，由于一個(gè)映射面上的神經(jīng)元共享權(quán)值，因而減少了網(wǎng)絡(luò)自由參數(shù)的個(gè)數(shù)，降低了網(wǎng)絡(luò)參數(shù)選擇的復(fù)雜度。卷積神經(jīng)網(wǎng)絡(luò)中的每一個(gè)特征提取層(c-層)都緊跟著一個(gè)用來(lái)求局部平均與二次提取的計(jì)算層(s-層)，這種特有的兩次特征提取結(jié)構(gòu)使網(wǎng)絡(luò)在識(shí)別時(shí)對(duì)輸入樣本有較高的畸變?nèi)萑棠芰Α?/p>

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問(wèn)題在于，提供一種基于卷積神經(jīng)網(wǎng)絡(luò)的方言分類方法，能夠?qū)Ψ窖砸纛l聲譜圖片進(jìn)行分類和識(shí)別。

為解決上述技術(shù)問(wèn)題，本發(fā)明提供一種基于卷積神經(jīng)網(wǎng)絡(luò)的方言分類方法，包括如下步驟：

(1)建立包含多地方言的樣本集，對(duì)樣本進(jìn)行預(yù)處理，并進(jìn)行標(biāo)注；

(2)將訓(xùn)練集和測(cè)試集中的所有圖片縮放成預(yù)定大小的彩色圖，并為每張圖片賦予標(biāo)簽信息，標(biāo)簽信息表示對(duì)應(yīng)的圖片所屬的縣級(jí)市；

(3)建立卷積神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)各層次依次為輸入層、多個(gè)卷積層、全連接層和輸出層，使用梯度下降法和反向傳播算法訓(xùn)練所屬卷積神經(jīng)網(wǎng)絡(luò)；

(4)訓(xùn)練完成后，得到訓(xùn)練過(guò)程中的錯(cuò)誤率下降趨勢(shì)圖。

優(yōu)選的，步驟(1)中，對(duì)樣本集進(jìn)行預(yù)處理，將音頻文件轉(zhuǎn)換成聲譜圖，并去掉聲譜圖中的空白邊緣。

優(yōu)選的，步驟(1)中，樣本集包括多個(gè)地方的方言樣本。

優(yōu)選的，步驟(2)中，圖片統(tǒng)一縮放成227×227的彩色圖片。

優(yōu)選的，步驟(3)中，卷積神經(jīng)網(wǎng)絡(luò)為經(jīng)典的alexnet網(wǎng)絡(luò)結(jié)構(gòu)，在該網(wǎng)絡(luò)中，第一層為輸入層，接受大小為227×227的彩色圖像作為輸入，最后一層為輸出層，共n個(gè)結(jié)點(diǎn)，n表示需要分類的方言數(shù)據(jù)集的類別總數(shù)。

優(yōu)選的，步驟(3)中，梯度下降算法的具體步驟為：從任一點(diǎn)開始，沿該點(diǎn)梯度的反方向運(yùn)動(dòng)一段距離，再沿新位置的梯度反方向運(yùn)行一段距離，如此迭代。解一直朝下坡最陡的方向運(yùn)動(dòng)，希望能運(yùn)動(dòng)到函數(shù)的全局最小點(diǎn)，即使得誤差值最小的點(diǎn)。

優(yōu)選的，步驟(3)中，反向傳播算法的具體步驟為：當(dāng)使用梯度下降法找到誤差的最小值之后，從網(wǎng)絡(luò)的最后一層依次向前更新權(quán)值，用反向傳播的方法更新權(quán)值，即鏈?zhǔn)角髮?dǎo)法則，鏈?zhǔn)角髮?dǎo)法則如下：

優(yōu)選的，步驟(4)中，訓(xùn)練樣本和測(cè)試樣本，即分批次對(duì)所有樣本進(jìn)行訓(xùn)練，不斷更新權(quán)值，直到目標(biāo)函數(shù)的值收斂于一個(gè)穩(wěn)定區(qū)域內(nèi)的值，即錯(cuò)誤率收斂于一個(gè)穩(wěn)定值。

本發(fā)明的有益效果為：使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)二維圖像進(jìn)行分類，可取得良好的分類效果，很大程度上提高對(duì)方言的分類準(zhǔn)確率。

附圖說(shuō)明

圖1為本發(fā)明的方法流程示意圖。

圖2為本發(fā)明的卷積神經(jīng)網(wǎng)絡(luò)用語(yǔ)方言分類的目標(biāo)函數(shù)及錯(cuò)誤率的變化趨勢(shì)圖。

具體實(shí)施方式

如圖1所示，一種基于卷積神經(jīng)網(wǎng)絡(luò)的方言分類方法，包括如下步驟：

(1)建立包含多地方言的樣本集，對(duì)樣本進(jìn)行預(yù)處理，并進(jìn)行標(biāo)注；對(duì)樣本集進(jìn)行預(yù)處理，將音頻文件轉(zhuǎn)換成聲譜圖，并去掉聲譜圖中的空白邊緣；樣本集包括多個(gè)地方的方言樣本；

(2)將訓(xùn)練集和測(cè)試集中的所有圖片縮放成預(yù)定大小的彩色圖，并為每張圖片賦予標(biāo)簽信息，標(biāo)簽信息表示對(duì)應(yīng)的圖片所屬的縣級(jí)市；圖片統(tǒng)一縮放成227×227的彩色圖片；

(3)建立卷積神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)各層次依次為輸入層、多個(gè)卷積層、全連接層和輸出層，使用梯度下降法和反向傳播算法訓(xùn)練所屬卷積神經(jīng)網(wǎng)絡(luò)；

(4)分批次對(duì)所有樣本進(jìn)行訓(xùn)練，不斷更新權(quán)值，直到目標(biāo)函數(shù)的值收斂于一個(gè)穩(wěn)定區(qū)域內(nèi)的值，即錯(cuò)誤率收斂于一個(gè)穩(wěn)定值；訓(xùn)練完成后，得到訓(xùn)練過(guò)程中的錯(cuò)誤率下降趨勢(shì)圖。

卷積神經(jīng)網(wǎng)絡(luò)為經(jīng)典的alexnet網(wǎng)絡(luò)結(jié)構(gòu)，在該網(wǎng)絡(luò)中，第一層為輸入層，接受大小為227×227的彩色圖像作為輸入，最后一層為輸出層，共n個(gè)結(jié)點(diǎn)，n表示需要分類的方言數(shù)據(jù)集的類別總數(shù)。

梯度下降算法的具體步驟為：從任一點(diǎn)開始，沿該點(diǎn)梯度的反方向運(yùn)動(dòng)一段距離，再沿新位置的梯度反方向運(yùn)行一段距離，如此迭代。解一直朝下坡最陡的方向運(yùn)動(dòng)，希望能運(yùn)動(dòng)到函數(shù)的全局最小點(diǎn)，即使得誤差值最小的點(diǎn)。

反向傳播算法的具體步驟為：當(dāng)使用梯度下降法找到誤差的最小值之后，從網(wǎng)絡(luò)的最后一層依次向前更新權(quán)值，用反向傳播的方法更新權(quán)值，即鏈?zhǔn)角髮?dǎo)法則，鏈?zhǔn)角髮?dǎo)法則如下：

實(shí)驗(yàn)條件：現(xiàn)選取一臺(tái)計(jì)算機(jī)進(jìn)行方言分類，該計(jì)算機(jī)的配置有intel(r)處理器(3.30ghz)和32gb隨機(jī)存取存儲(chǔ)器(ram)，gtx970gpu,64位操作系統(tǒng)，編程語(yǔ)言用的是matlab(r2015a版本)。

實(shí)驗(yàn)對(duì)象：方言數(shù)據(jù)庫(kù)包含灰度圖像數(shù)據(jù)庫(kù)與彩色圖像數(shù)據(jù)庫(kù)，本發(fā)明中采用彩色圖像數(shù)據(jù)庫(kù)圖像進(jìn)行實(shí)驗(yàn)，所分類的是江蘇70個(gè)地方的方言，因此共有70個(gè)類，每個(gè)類別都包含200幅圖像，每幅圖像大小為227×227。在每一類圖像中隨機(jī)選取160幅作為訓(xùn)練圖像，剩下的40幅作為測(cè)試圖像。

實(shí)驗(yàn)步驟：

步驟1、將方言音頻文件轉(zhuǎn)換成聲譜圖，并去掉聲譜圖的空白邊緣，然后將圖片調(diào)整為227×227的彩色圖片。

步驟2、將所有訓(xùn)練和測(cè)試圖片做標(biāo)注。

步驟3、在matconvnet中alexnet網(wǎng)絡(luò)結(jié)構(gòu)中，修改部分參數(shù)，使得網(wǎng)絡(luò)結(jié)構(gòu)與方言數(shù)據(jù)庫(kù)匹配。

步驟4、準(zhǔn)備就緒后，將標(biāo)注的圖片送入網(wǎng)絡(luò)中，開始運(yùn)行程序。

步驟5、程序會(huì)輸出每一張圖片識(shí)別的錯(cuò)誤率，程序完成時(shí)，會(huì)輸出整個(gè)運(yùn)行過(guò)程中訓(xùn)練和測(cè)試的錯(cuò)誤率的變化趨勢(shì)圖。

圖2為本發(fā)明中卷積神經(jīng)網(wǎng)絡(luò)用于方言分類的目標(biāo)函數(shù)及錯(cuò)誤率的變化趨勢(shì)圖；其中，橫坐標(biāo)(epoch)表示訓(xùn)練的批次；左邊objective表示目標(biāo)函數(shù)的變化趨勢(shì)，縱坐標(biāo)表示目標(biāo)函數(shù)的值；中間top1err表示準(zhǔn)確分到其所屬類別的錯(cuò)誤率的變化趨勢(shì)圖，縱坐標(biāo)表示錯(cuò)誤率的大小；右邊top5err為表示分到與所屬類別最接近的5個(gè)類別的錯(cuò)誤率的變化趨勢(shì)圖，縱坐標(biāo)表示錯(cuò)誤率的大小。由于實(shí)驗(yàn)過(guò)程中，我們用曲線的顏色來(lái)區(qū)分訓(xùn)練和測(cè)試過(guò)程，由于限制圖2中曲線的顏色均為黑色，由于top1err是判斷實(shí)驗(yàn)準(zhǔn)確率的關(guān)鍵標(biāo)準(zhǔn)，我們僅參考top1err的指標(biāo)。top1err中上面曲線為測(cè)試過(guò)程，下面曲線為訓(xùn)練過(guò)程。top1err測(cè)試的值可以穩(wěn)定在90％。

盡管本發(fā)明就優(yōu)選實(shí)施方式進(jìn)行了示意和描述，但本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，只要不超出本發(fā)明的權(quán)利要求所限定的范圍，可以對(duì)本發(fā)明進(jìn)行各種變化和修改。