一種基于情感g(shù)mm模型權(quán)重合成的情感說話人識別方法
【專利摘要】本發(fā)明公開了一種基于情感GMM模型權(quán)重合成的情感說話人識別方法，步驟如下：（1）針對每個說話人，建立說話人的中性GMM模型，并依據(jù)對應(yīng)的中性情感權(quán)重參數(shù)變換模型，得到不同的情感GMM模型；（2）采集待識別說話人的語音并提取語音特征，將得到的語音特征在步驟（1）中得到的所有情感GMM模型中進(jìn)行得分計算；（3）將所有得分進(jìn)行比較，得分最高的情感GMM模型所對應(yīng)的說話人即為待識別說話人。本發(fā)明基于情感GMM模型權(quán)重合成的情感說話人識別方法，通過建立說話人的中性情感權(quán)重模型，在僅僅采集說話人中性語音的基礎(chǔ)上，提高對說話人情感變化識別的魯棒性，提高說話人識別的準(zhǔn)確性。
【專利說明】一種基于情感G圖模型權(quán)重合成的情感說話人識別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及信號處理和模式識別，更具體地，本發(fā)明涉及一種基于情感GMM模型權(quán)重合成的情感說話人識別方法。
【背景技術(shù)】
[0002]說話人識別技術(shù)是指利用信號處理技術(shù)和模式識別方法，通過采集說話人的語音來識別其身份的技術(shù)，主要包括兩個步驟:說話人模型訓(xùn)練和測試語音識別。情感說話人識別是為了解決注冊說話人的訓(xùn)練語音和測試語音存在情感不一致引起的說話人識別系統(tǒng)性能下降問題。本專利提出的方法就是通過建立說話人的虛擬情感模型，提高系統(tǒng)的識別性能。
[0003]目前，說話人識別采用的主要短時語音特征包括梅爾倒譜系數(shù)(MFCC)，線性預(yù)測編碼倒譜系數(shù)(LPCC)，感覺加權(quán)的線性預(yù)測系數(shù)(PLP)。說話人識別的算法主要包括矢量量化(VQ)，通用背景模型方法(GMM-UBM)，支持向量機(jī)(SVM)等等。其中，GMM-UBM在整個說話人識別領(lǐng)域應(yīng)用非常廣泛。
[0004]在情感說話人識別中，訓(xùn)練語音通常為中性情感語音，因為在現(xiàn)實應(yīng)用中，一般情況下用戶只會提供中性發(fā)音下的語音訓(xùn)練自己的模型。而測試時，語音可能包括各種情感的語音，如高興，悲傷等。然而，傳統(tǒng)的說話人識別系統(tǒng)并不能處理這種訓(xùn)練和測試環(huán)境的失配。

【發(fā)明內(nèi)容】

[0005]本發(fā)明提供了一種基于情感GMM模型權(quán)重合成的情感說話人識別方法，通過建立說話人的中性情感權(quán)重模型，在僅僅采集說話人中性語音的基礎(chǔ)上，提高對說話人情感變化識別的魯棒性，提高說話人識別的準(zhǔn)確性。
[0006]一種基于情感GMM模型權(quán)重合成的情感說話人識別方法，步驟如下:
[0007](I)針對每個說話人，建立說話人的中性GMM模型，并依據(jù)對應(yīng)的中性情感權(quán)重參數(shù)變換模型，得到不同的情感GMM模型；
[0008]本發(fā)明所說的情感可以有多種選擇，例如高興、憤怒、驚慌、悲傷、壓抑等，選擇的情感的種類越多，則最終的識別結(jié)果越精確，但相應(yīng)的計算量也會增加，因此，使用時可以依據(jù)需要選擇適當(dāng)數(shù)目的情感種類，相應(yīng)每種情感建立情感GMM模型。
[0009](2)采集待識別說話人的語音并提取語音特征，將得到的語音特征在步驟(I)中得到的所有情感GMM模型中進(jìn)行得分計算；
[0010]該步驟中待識別的說話人均已在步驟(I)中建立相應(yīng)的中性GMM模型以及情感GMM模型，即對于某一個待識別說話人來說，如果在步驟(I)中沒有建立過相應(yīng)的中性GMM模型以及情感GMM模型，則不能對該待識別說話人進(jìn)行識別。
[0011](3)將所有得分進(jìn)行比較，得分最高的情感GMM模型所對應(yīng)的說話人即為待識別說話人。[0012]每個說話人的中性模型與情感模型之間的權(quán)重之間存在映射關(guān)系，利用這種映射關(guān)系，即可通過中性模型直接計算得到情感模型，中性情感權(quán)重參數(shù)變換模型的建立方法可以采用現(xiàn)有技術(shù)中的各種算法，只要能夠在中性模型與情感模型之間建立起映射關(guān)系即可，優(yōu)選地，所述中性情感權(quán)重參數(shù)變換模型利用徑向基神經(jīng)網(wǎng)絡(luò)或者稀疏表達(dá)建立。
[0013]作為優(yōu)選，所述中性情感權(quán)重參數(shù)變換模型的建立過程，具體包括以下步驟:
[0014]1-1、在開發(fā)庫中，提取所有情感狀態(tài)下的不同說話人的短時語音特征，通過EM算法訓(xùn)練出情感無關(guān)的高斯混合背景模型；
[0015]1-2、利用該高斯混合背景模型，通過自適應(yīng)均值和自適應(yīng)權(quán)重，得到開發(fā)庫中每個說話人的中性GMM模型；
[0016]1-3、利用步驟1-2的中性GMM模型，通過自適應(yīng)權(quán)重的方法，得到各種情感狀態(tài)下的情感GMM模型；
[0017]1-4、利用步驟1-2的中性GMM模型中的權(quán)重和步驟1_3的情感GMM模型中的權(quán)重，訓(xùn)練徑向基神經(jīng)網(wǎng)絡(luò)或者稀疏表達(dá)模型，得到中性情感權(quán)重參數(shù)變換模型。
[0018]本發(fā)明中的開發(fā)庫是指，在實現(xiàn)本發(fā)明之前，先任意選取若干說話人組成開發(fā)庫，后續(xù)識別過程中的說話人與開發(fā)庫中的說話人不一定相同，即可以相同，也可以不同。
[0019]作為優(yōu)選，采用徑向基神經(jīng)網(wǎng)絡(luò)得到中性情感權(quán)重參數(shù)變換模型時，具體包括以下步驟:在開發(fā)庫中，利用每個說話人的中性GMM模型權(quán)重序列以及該說話人對應(yīng)的每種情感GMM模型權(quán)重序列，通過正交最小二乘法訓(xùn)練得到GMM模型權(quán)重序列與每種情感GMM模型權(quán)重序列之間的映射關(guān)系，即中性情感權(quán)重參數(shù)變換模型。
[0020]作為優(yōu)選，采用稀疏表達(dá)得到中性情感權(quán)重參數(shù)變換模型時，具體包括以下步驟:在開發(fā)庫中，利用每個說話人的中性GMM模型權(quán)重序列以及該說話人對應(yīng)的每種情感GMM模型權(quán)重序列，得到中性情感對齊字典，即中性情感權(quán)重參數(shù)變換模型。
[0021]本發(fā)明基于情感GMM模型權(quán)重合成的情感說話人識別方法，通過建立說話人的中性情感權(quán)重模型，在僅僅采集說話人中性語音的基礎(chǔ)上，提高對說話人情感變化識別的魯棒性，提高說話人識別的準(zhǔn)確性。
【專利附圖】

【附圖說明】
[0022]圖1是本發(fā)明基于情感GMM模型權(quán)重合成的情感說話人識別方法的流程圖；
[0023]圖2為本發(fā)明基于情感GMM模型權(quán)重合成的情感說話人識別方法中徑向基神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖；
[0024]圖3為本發(fā)明基于情感GMM模型權(quán)重合成的情感說話人識別方法中中性情感對齊字典的結(jié)構(gòu)圖。
【具體實施方式】
[0025]下面結(jié)合附圖，對本發(fā)明基于情感GMM模型權(quán)重合成的情感說話人識別方法做詳細(xì)描述。
[0026]本發(fā)明中的實驗數(shù)據(jù)中采用的是中文情感語音數(shù)據(jù)庫(MASC)，該數(shù)據(jù)庫是在安靜的環(huán)境下采用奧林巴斯DM-20錄音筆錄制的，該數(shù)據(jù)庫由68個母語為漢語的68個說話人組成，其中男性說話人45人，女性說話人23人。本發(fā)明所提供的識別方法中，可以有多種選擇，本實施例中為了便于描述以及提供具體的測試結(jié)果，選取了 5種情感狀態(tài)，分別是中性、生氣、高興、憤怒和悲傷，即每個說話人共有5種情感狀態(tài)下的語音。每個說話人在中性情感下朗讀2段段落(約30s錄音長度)并朗讀5個單詞和20句語句各3遍，在其余每種情感狀態(tài)下各朗讀5個單詞和20句語句各3遍，針對每個說話人，在中性以及其他情感狀態(tài)下朗讀的單詞和語句都相同；針對所有說話人，朗讀的單詞和語句都相同。
[0027]本發(fā)明中的測試數(shù)據(jù)是在聯(lián)想工作站進(jìn)行的，其配置為:CPU E5420，主頻2.5GHz，內(nèi)存為4G，實驗是在Visual Studio環(huán)境下實現(xiàn)的。
[0028]如圖1所示，一種基于情感GMM模型權(quán)重合成的情感說話人識別方法，步驟如下:
[0029](I)針對每個說話人，建立說話人的中性GMM模型，并依據(jù)對應(yīng)的中性情感權(quán)重參數(shù)變換模型，得到不同的情感GMM模型；
[0030]在測試過程中，任意選取若干個說話人的語音作為開發(fā)庫，通常情況下，選取的說話人個數(shù)不少于10個，例如選取前18個說話人的語音作為開發(fā)庫，該開發(fā)庫中記錄前18個說話人在中性以及其余五種情感狀態(tài)下的所有語音，訓(xùn)練得到UBM模型(即現(xiàn)有技術(shù)中的高斯混合背景模型)。
[0031]在測試過程中，除去開發(fā)庫中的說話人，將其余說話人組成評測集，在評測集中，每個說話人的中性GMM模型利用開發(fā)庫中訓(xùn)練得到的UBM模型，通過自適應(yīng)均值和自適應(yīng)權(quán)重得到。
[0032]該步驟中的中性情感權(quán)重參數(shù)變換模型的建立過程，具體包括以下步驟:
[0033]1-1、在開發(fā)庫中，提取所有情感狀態(tài)下的不同說話人的短時語音特征，通過EM算法訓(xùn)練出情感無關(guān)的高斯混合背景模型；
[0034]對開發(fā)庫中不同的說話人在中性以及其余情感狀態(tài)下的語音信號進(jìn)行預(yù)處理，預(yù)處理的步驟包括采樣量化，去零漂，預(yù)加重(加重信號的高頻部分)和加窗(將一段語音信號分為若干段)，并對每段語音信號提取短時語音特征。
[0035]將所有說話人的短時語音特征通過EM算法訓(xùn)練出情感無關(guān)的高斯混合背景模型UBMλ (X),表達(dá)式如下；
[0036]
【權(quán)利要求】
1.一種基于情感GMM模型權(quán)重合成的情感說話人識別方法，其特征在于，步驟如下: (1)針對每個說話人,建立說話人的中性GMM模型，并依據(jù)對應(yīng)的中性情感權(quán)重參數(shù)變換模型，得到不同的情感GMM模型； (2)采集待識別說話人的語音并提取語音特征，將得到的語音特征在步驟(I)中得到的所有情感GMM模型中進(jìn)行得分計算； (3)將所有得分進(jìn)行比較，得分最高的情感GMM模型所對應(yīng)的說話人即為待識別說話人。
2.如權(quán)利要求1所述的基于情感GMM模型權(quán)重合成的情感說話人識別方法，其特征在于，所述中性情感權(quán)重參數(shù)變換模型利用徑向基神經(jīng)網(wǎng)絡(luò)或者稀疏表達(dá)建立。
3.如權(quán)利要求2所述的基于情感GMM模型權(quán)重合成的情感說話人識別方法，其特征在于，所述中性情感權(quán)重參數(shù)變換模型的建立過程，具體包括以下步驟: 1-1、在開發(fā)庫中，提取所有情感狀態(tài)下的不同說話人的短時語音特征，通過EM算法訓(xùn)練出情感無關(guān)的高斯混合背景模型； 1-2、利用該高斯混合背景模型，通過自適應(yīng)均值和自適應(yīng)權(quán)重，得到開發(fā)庫中每個說話人的中性GMM |吳型； 1-3、利用步驟1-2的中性GMM模型，通過自適應(yīng)權(quán)重的方法，得到各種情感狀態(tài)下的情感GMM模型； 1-4、利用步驟1-2的中性GMM模型中的權(quán)重和步驟1-3的情感GMM模型中的權(quán)重，訓(xùn)練徑向基神經(jīng)網(wǎng)絡(luò)或者稀疏表達(dá)模型，得到中性情感權(quán)重參數(shù)變換模型。
4.如權(quán)利要求3所述的基于情感GMM模型權(quán)重合成的情感說話人識別方法，其特征在于，采用徑向基神經(jīng)網(wǎng)絡(luò)得到中性情感權(quán)重參數(shù)變換模型時，具體包括以下步驟:在開發(fā)庫中，利用每個說話人的中性GMM模型權(quán)重序列以及該說話人對應(yīng)的每種情感GMM模型權(quán)重序列，通過正交最小二乘法訓(xùn)練得到GMM模型權(quán)重序列與每種情感GMM模型權(quán)重序列之間的映射關(guān)系，即中性情感權(quán)重參數(shù)變換模型。
5.如權(quán)利要求3所述的基于情感GMM模型權(quán)重合成的情感說話人識別方法，其特征在于，采用稀疏表達(dá)得到中性情感權(quán)重參數(shù)變換模型時，具體包括以下步驟:在開發(fā)庫中，利用每個說話人的中性GMM模型權(quán)重序列以及該說話人對應(yīng)的每種情感GMM模型權(quán)重序列，得到中性情感對齊字典，即中性情感權(quán)重參數(shù)變換模型。
【文檔編號】G10L17/04GK103456302SQ201310394533
【公開日】2013年12月18日 申請日期:2013年9月2日 優(yōu)先權(quán)日:2013年9月2日
【發(fā)明者】楊瑩春, 陳力, 吳朝暉 申請人:浙江大學(xué)