聯(lián)合懲罰稀疏表示字典學(xué)習(xí)的語音情感識別方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種聯(lián)合懲罰稀疏表示字典學(xué)習(xí)的語音情感識別方法及系統(tǒng)，該方法包括：S1、對訓(xùn)練樣本庫中每個情感語音信號進(jìn)行特征提取和處理，得到訓(xùn)練樣本特征矩陣A；S2、用子編碼和全編碼聯(lián)合懲罰的字典學(xué)習(xí)方法對訓(xùn)練樣本特征矩陣A進(jìn)行學(xué)習(xí)得到字典；S3、對測試樣本庫中的情感語音信號進(jìn)行特征提取和處理，每個測試樣本得到各自的測試樣本特征向量y；S4、將測試樣本特征向量y在字典上進(jìn)行稀疏編碼得到編碼系數(shù)S5、根據(jù)字典學(xué)習(xí)的識別準(zhǔn)則進(jìn)行識別。本發(fā)明成功地使用基于子編碼和全編碼聯(lián)合懲罰的稀疏表示字典學(xué)習(xí)方法對語音情感信號進(jìn)行識別，使得識別結(jié)果更準(zhǔn)確。
【專利說明】聯(lián)合懲罰稀疏表示字典學(xué)習(xí)的語音情感識別方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及語音信號處理、信號的稀疏表示和模式識別【技術(shù)領(lǐng)域】，尤其涉及一種基于聯(lián)合懲罰稀疏表示字典學(xué)習(xí)的語音情感識別方法及系統(tǒng)。
【背景技術(shù)】
[0002]語音信息在人類交流中扮演重要的角色，有研究表明，人類40%的情感信息都是通過說話進(jìn)行傳遞的。準(zhǔn)確理解人的情感有助于促進(jìn)和諧的人機(jī)交互。因此，如何使用計算機(jī)技術(shù)從語音中自動識別說話人的情感狀態(tài)近年來受到各領(lǐng)域研究者的廣泛關(guān)注。近年來，稀疏表示技術(shù)在圖像識別中取得很好的效果，例如人臉識別，數(shù)字和文本識別等。
[0003]現(xiàn)有技術(shù)一采用訓(xùn)練樣本作為原子組成一個結(jié)構(gòu)化的字典，對人臉特征進(jìn)行稀疏表示，稀疏表示后的特征具有很好的識別能力，并具有較好的魯棒性。但該技術(shù)簡單地將訓(xùn)練樣本作為原子組成一個結(jié)構(gòu)化的字典，得到的字典的性能過分依賴訓(xùn)練樣本。現(xiàn)有技術(shù)二通過在字典學(xué)習(xí)目標(biāo)函數(shù)中加入與類別標(biāo)簽信息相關(guān)的線性分類器懲罰函數(shù)的方法進(jìn)行字典學(xué)習(xí)，該技術(shù)能得到一個具有較強(qiáng)識別力的字典，但該技術(shù)學(xué)習(xí)得到的字典是一個被所有類別共享的字典，即學(xué)習(xí)后字典中的原子沒有與之對應(yīng)的類別標(biāo)簽信息，該技術(shù)不能用 SRC (Sparse Representation based Classification)的重構(gòu)誤差識別準(zhǔn)則來識另IJ，失去了重構(gòu)誤差識別準(zhǔn)則的優(yōu)勢。
[0004]然而，現(xiàn)有技術(shù)中未同時考慮子編碼和全編碼懲罰函數(shù)，而且未發(fā)現(xiàn)基于稀疏表示的語音情感識別技術(shù)。
[0005]為了解決現(xiàn)有技術(shù)的缺陷，因此，本發(fā)明提供了一種聯(lián)合懲罰稀疏表示字典學(xué)習(xí)的語音情感識別方法及系統(tǒng)。在字典學(xué)習(xí)的目標(biāo)函數(shù)中同時加入子編碼懲罰函數(shù)和全編碼懲罰函數(shù)，學(xué)習(xí)后能同時得到兩個具有較高識別力的識別準(zhǔn)則，即子編碼識別準(zhǔn)則和全編碼識別準(zhǔn)則(對應(yīng)著字典學(xué)習(xí)中兩個有識別力的懲罰函數(shù))。其中的子編碼識別準(zhǔn)則不但可以用每個子字典的重構(gòu)誤差來識別，還可以用每個子字典上的編碼系數(shù)大小來識別，全編碼識別準(zhǔn)則根據(jù)整個字典上的編碼系數(shù)來識別。聯(lián)合這兩個識別準(zhǔn)則設(shè)計出基于子編碼和全編碼聯(lián)合懲罰的字典學(xué)習(xí)識別準(zhǔn)則，可有效提高語音情感的識別率。

【發(fā)明內(nèi)容】

[0006]本發(fā)明針對【背景技術(shù)】中字典學(xué)習(xí)未同時考慮子編碼和全編碼懲罰函數(shù)，而且未發(fā)現(xiàn)基于稀疏表示的語音情感識別技術(shù)的缺陷，提供了一種聯(lián)合懲罰稀疏表示字典學(xué)習(xí)的語音情感識別方法及系統(tǒng)，將基于子編碼和基于全編碼的懲罰函數(shù)相結(jié)合進(jìn)行聯(lián)合懲罰的稀疏表示字典學(xué)習(xí)方法，并提供了基于聯(lián)合懲罰稀疏表示字典學(xué)習(xí)的語音情感識別技術(shù)，最終提高語音情感的識別率。
[0007]為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供的技術(shù)方案如下:
[0008]一種聯(lián)合懲罰稀疏表示字典學(xué)習(xí)的語音情感識別方法，所述方法包括:
[0009]S1、對訓(xùn)練樣本庫中每個情感語音信號進(jìn)行特征提取和處理，得到訓(xùn)練樣本特征矩陣A ；
[0010]S2、用子編碼和全編碼聯(lián)合懲罰的字典學(xué)習(xí)方法對訓(xùn)練樣本特征矩陣A進(jìn)行學(xué)習(xí)得到字典D ;
[0011]S3、對測試樣本庫中的情感語音信號進(jìn)行特征提取和處理，每個測試樣本得到各自的測試樣本特征向量I ;
[0012]S4、將測試樣本特征向量y在字典?上進(jìn)行稀疏編碼得到編碼系數(shù)& ；
[0013]S5、根據(jù)字血/)學(xué)習(xí)的識別準(zhǔn)則進(jìn)行識別。
[0014]作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟SI具體包括:
[0015]對訓(xùn)練樣本庫中的每個情感語音信號進(jìn)行預(yù)處理，預(yù)處理包括預(yù)加重、加窗處理、分幀、端點(diǎn)檢測；
[0016]對訓(xùn)練樣本庫中的每個情感語音信號提取包括美爾倒譜系數(shù)、基頻、時長、強(qiáng)度、振幅、音質(zhì)以及共振峰的語音的聲學(xué)和韻律特征，并在情感語音信號上分別提取所述聲學(xué)和韻律特征的最大值、最小值以及變化范圍的統(tǒng)計特征；
[0017]將訓(xùn)練樣本庫中的每個情感語音信號的特征向量作為列構(gòu)成訓(xùn)練樣本特征矩陣。
[0018]作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟S2中子編碼和全編碼聯(lián)合懲罰的字典學(xué)習(xí)
方法的目標(biāo)函數(shù)為:
[0019]
【權(quán)利要求】
1.一種聯(lián)合懲罰稀疏表示字典學(xué)習(xí)的語音情感識別方法，其特征在于，所述方法包括: 51、對訓(xùn)練樣本庫中每個情感語音信號進(jìn)行特征提取和處理，得到訓(xùn)練樣本特征矩陣A ； 52、用子編碼和全編碼聯(lián)合懲罰的字典學(xué)習(xí)方法對訓(xùn)練樣本特征矩陣A進(jìn)行學(xué)習(xí)得到字典； 53、對測試樣本庫中的情感語音信號進(jìn)行特征提取和處理，每個測試樣本得到各自的測試樣本特征向量y ； 54、將測試樣本特征向量y在字典?上進(jìn)行稀疏編碼得到編碼系數(shù)?; 55、根據(jù)字典?學(xué)習(xí)的識別準(zhǔn)則進(jìn)行識別。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟SI具體包括: 對訓(xùn)練樣本庫中的每個情感語音信號進(jìn)行預(yù)處理，預(yù)處理包括預(yù)加重、加窗處理、分幀、端點(diǎn)檢測； 對訓(xùn)練樣本庫中的每個情感語音信號提取包括美爾倒譜系數(shù)、基頻、時長、強(qiáng)度、振幅、音質(zhì)以及共振峰的語音的聲學(xué)和韻律特征，并在情感語音信號上分別提取所述聲學(xué)和韻律特征的最大值、最小值以及變化范圍的統(tǒng)計特征； 將訓(xùn)練樣本庫中的每個情感語音信號的特征向量作為列構(gòu)成訓(xùn)練樣本特征矩陣。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S2中子編碼和全編碼聯(lián)合懲罰的字典學(xué)習(xí)方法的目標(biāo)函數(shù)為:
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述步驟S2具體為: 對訓(xùn)練樣本特征矩陣A進(jìn)行預(yù)處理； 初始化A'和D'，將A'和D'的每一列都?xì)w一化； 固定字典D'更新編碼系數(shù)X'，目標(biāo)函數(shù)簡化為
5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述標(biāo)量參數(shù)λ，η，μ采用5倍交叉驗(yàn)證方法獲得。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S3具體為: 對測試樣本庫中的每個情感語音信號進(jìn)行預(yù)處理，預(yù)處理包括預(yù)加重、加窗處理、分幀、端點(diǎn)檢測； 對測試本庫中的每個情感語音信號提取包括美爾倒譜系數(shù)、基頻、時長、強(qiáng)度、振幅、音質(zhì)以及共振峰的語音的聲學(xué)和韻律特征，并在情感語句上分別提取所述聲學(xué)和韻律特征的最大值、最小值以及變化范圍的統(tǒng)計特征，每個情感語音信號得到各自的測試樣本特征向量I。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S4具體為: 對學(xué)習(xí)得到的字典D'進(jìn)行預(yù)處理； 將測試樣本特征向量I在字典0上進(jìn)行`稀疏編碼。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S5中字Ad學(xué)習(xí)的識別準(zhǔn)則為:
9.一種如權(quán)利要求1所述的聯(lián)合懲罰稀疏表示字典學(xué)習(xí)的語音情感識別系統(tǒng)，其特征在于，所述系統(tǒng)包括: 字典學(xué)習(xí)模塊，用于: 對訓(xùn)練樣本庫中每個情感語音信號進(jìn)行特征提取和處理，得到訓(xùn)練樣本特征矩陣A ;用子編碼和全編碼聯(lián)合懲罰的字典學(xué)習(xí)方法對訓(xùn)練樣本特征矩陣A進(jìn)行學(xué)習(xí)得到字典? ； 稀疏表不模塊，用于: 對測試樣本庫中的情感語音信號進(jìn)行特征提取和處理，每個測試樣本得到各自的測試樣本特征向量I ; 將測試樣本特征向量I在字典? ―上進(jìn)行稀疏編碼得到編碼系數(shù)? ; 識別模塊，用于: 根據(jù)字典6學(xué)習(xí)的識別準(zhǔn)則進(jìn)行識別。
【文檔編號】G10L25/63GK103594084SQ201310503631
【公開日】2014年2月19日 申請日期:2013年10月23日 優(yōu)先權(quán)日:2013年10月23日
【發(fā)明者】毛啟容, 董俊健, 黃正偉, 王新宇, 邢玉萍, 詹永照 申請人:江蘇大學(xué)