具有情感識(shí)別功能的英語(yǔ)語(yǔ)音發(fā)音質(zhì)量評(píng)價(jià)系統(tǒng)及方法
【專利摘要】本發(fā)明涉及語(yǔ)音識(shí)別（包括情感識(shí)別）與評(píng)價(jià)的【技術(shù)領(lǐng)域】，更具體地，涉及具有情感識(shí)別功能的英語(yǔ)語(yǔ)音發(fā)音質(zhì)量評(píng)價(jià)系統(tǒng)及方法。具有情感識(shí)別功能的英語(yǔ)語(yǔ)音發(fā)音質(zhì)量評(píng)價(jià)系統(tǒng)，包括依次連接的語(yǔ)音采集模塊、語(yǔ)音預(yù)處理模塊、語(yǔ)音識(shí)別模塊、語(yǔ)音情感識(shí)別模塊、客觀評(píng)價(jià)模塊以及反饋指導(dǎo)模塊，還包括分別與語(yǔ)音識(shí)別模塊、語(yǔ)音情感識(shí)別模塊、客觀評(píng)價(jià)模塊、反饋指導(dǎo)模塊連接的標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)，通過模型匹配得到結(jié)果；實(shí)現(xiàn)英語(yǔ)句子的語(yǔ)音識(shí)別、情感識(shí)別、客觀評(píng)價(jià)和反饋指導(dǎo)等功能。本發(fā)明具有語(yǔ)音識(shí)別效率、情感識(shí)別效率和準(zhǔn)確率更高，語(yǔ)音評(píng)價(jià)和反饋指導(dǎo)準(zhǔn)確客觀等優(yōu)點(diǎn)。
【專利說明】具有情感識(shí)別功能的英語(yǔ)語(yǔ)音發(fā)音質(zhì)量評(píng)價(jià)系統(tǒng)及方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及語(yǔ)音識(shí)別(包括情感識(shí)別）與評(píng)價(jià)的【技術(shù)領(lǐng)域】，更具體地，涉及一種可 識(shí)別說話人的情感信息，并將語(yǔ)音信號(hào)識(shí)別后轉(zhuǎn)變?yōu)橄鄳?yīng)的翻譯結(jié)果，并給出客觀評(píng)價(jià)和 反饋指導(dǎo)的具有情感識(shí)別功能的英語(yǔ)語(yǔ)音發(fā)音質(zhì)量客觀評(píng)價(jià)系統(tǒng)。本發(fā)明還涉及該系統(tǒng)的 語(yǔ)音情感識(shí)別、語(yǔ)音識(shí)別與評(píng)價(jià)方法。

【背景技術(shù)】
[0002] 語(yǔ)音識(shí)別技術(shù)就是讓機(jī)器通過識(shí)別和理解，把人發(fā)出的語(yǔ)音信號(hào)轉(zhuǎn)變?yōu)橄鄳?yīng)的文 本或做出設(shè)定命令的技術(shù)，它正逐步成為信息技術(shù)中人機(jī)交互的關(guān)鍵技術(shù)。而情感識(shí)別技 術(shù)就是讓機(jī)器自動(dòng)識(shí)別出說話人的情感狀態(tài)及其變化，是進(jìn)一步建立智能和諧人機(jī)環(huán)境的 關(guān)鍵。如何從語(yǔ)音信號(hào)中自動(dòng)識(shí)別說話者的情感狀態(tài)，如何更好地對(duì)語(yǔ)音進(jìn)行客觀評(píng)價(jià)，近 年來已受到各領(lǐng)域研究者的廣泛關(guān)注。因此，具有情感識(shí)別功能的英語(yǔ)語(yǔ)音發(fā)音質(zhì)量客觀 評(píng)價(jià)系統(tǒng)有著巨大的發(fā)展?jié)摿εc應(yīng)用前景。研究成果可用于日常的英語(yǔ)教學(xué)中，如口語(yǔ)練 習(xí)及口語(yǔ)考試，還可運(yùn)用到計(jì)算機(jī)批量改卷中，大大減少改卷中耗費(fèi)的人力物力。此外，可 以用于自動(dòng)遠(yuǎn)程電話服務(wù)中心，及時(shí)發(fā)現(xiàn)客戶的不滿情緒；用于遠(yuǎn)程教學(xué)和嬰兒教育，及時(shí) 識(shí)別學(xué)生的情緒并做出適當(dāng)?shù)奶幚恚瑥亩岣呓虒W(xué)質(zhì)量；也可以用于刑事偵察中自動(dòng)檢測(cè) 犯罪嫌疑人的心理狀態(tài)以及輔助測(cè)謊等。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明為克服上述現(xiàn)有技術(shù)所述的至少一種缺陷，提供具有情感識(shí)別功能的英語(yǔ) 語(yǔ)音發(fā)音質(zhì)量評(píng)價(jià)系統(tǒng)，實(shí)現(xiàn)英語(yǔ)句子的情感識(shí)別、語(yǔ)音識(shí)別、口語(yǔ)翻譯、客觀評(píng)價(jià)和反饋 指導(dǎo)等功能。此外，本發(fā)明具有情感識(shí)別時(shí)可信度較高；語(yǔ)音識(shí)別時(shí)效率更高，識(shí)別準(zhǔn)確率 更高；語(yǔ)音評(píng)價(jià)時(shí)，評(píng)價(jià)指標(biāo)更全面，客觀評(píng)價(jià)和反饋指導(dǎo)準(zhǔn)確客觀，真實(shí)性和可信性高的 特點(diǎn)。
[0004] 進(jìn)一步的，本發(fā)明還提供應(yīng)用該系統(tǒng)的方法，可對(duì)語(yǔ)音情感識(shí)別、語(yǔ)音識(shí)別與評(píng) 價(jià)。
[0005] 為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案是：具有情感識(shí)別功能的英語(yǔ)語(yǔ)音 發(fā)音質(zhì)量評(píng)價(jià)系統(tǒng)，其包括依次連接的語(yǔ)音采集模塊、語(yǔ)音預(yù)處理模塊、語(yǔ)音特征提取模 塊、語(yǔ)音識(shí)別模塊、語(yǔ)音情感識(shí)別模塊、客觀評(píng)價(jià)模塊及反饋指導(dǎo)模塊，還包括分別與語(yǔ)音 識(shí)別模塊、語(yǔ)音情感識(shí)別模塊、客觀評(píng)價(jià)模塊、反饋指導(dǎo)模塊連接的標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)。
[0006] 語(yǔ)音采集模塊對(duì)語(yǔ)音信號(hào)進(jìn)行采集，語(yǔ)音預(yù)處理模塊對(duì)語(yǔ)音信號(hào)進(jìn)行預(yù)加重、分 幀、加窗、端點(diǎn)檢測(cè)預(yù)處理；語(yǔ)音特征提取模塊對(duì)語(yǔ)音信號(hào)進(jìn)行語(yǔ)音特征參數(shù)的提?。徽Z(yǔ)音 識(shí)別模塊、語(yǔ)音情感識(shí)別模塊、客觀評(píng)價(jià)模塊和反饋指導(dǎo)模塊通過與標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)的匹 配對(duì)語(yǔ)音信號(hào)進(jìn)行語(yǔ)音識(shí)別、情感識(shí)別、客觀評(píng)價(jià)和反饋指導(dǎo)。
[0007] 所述客觀評(píng)價(jià)模塊包括依次連接的語(yǔ)速評(píng)價(jià)單元、準(zhǔn)確度評(píng)價(jià)單元、重音評(píng)價(jià)單 元、節(jié)奏評(píng)價(jià)單元和語(yǔ)調(diào)評(píng)價(jià)單元，通過比較待評(píng)價(jià)語(yǔ)句和標(biāo)準(zhǔn)語(yǔ)句的語(yǔ)速、準(zhǔn)確度、重音、 節(jié)奏和語(yǔ)調(diào)進(jìn)行綜合評(píng)價(jià)； 所述語(yǔ)速評(píng)價(jià)單元通過計(jì)算待評(píng)價(jià)語(yǔ)句與標(biāo)準(zhǔn)語(yǔ)句的時(shí)長(zhǎng)比，與所設(shè)置的語(yǔ)速閾值進(jìn) 行比較； 所述準(zhǔn)確度評(píng)價(jià)單元采用短時(shí)能量作為特征來提取語(yǔ)句的強(qiáng)度曲線，進(jìn)而采用抽查值 的方法將待評(píng)價(jià)語(yǔ)句規(guī)整到與標(biāo)準(zhǔn)語(yǔ)句相近的程度，再將之與標(biāo)準(zhǔn)語(yǔ)音的強(qiáng)度曲線圖進(jìn)行 對(duì)比，通過比較其擬合程度進(jìn)行評(píng)價(jià)； 所述重音評(píng)價(jià)單元在規(guī)整后強(qiáng)度曲線圖的基礎(chǔ)上，設(shè)置重音閾值和非重音閾值作為特 征的雙門限以及重讀元音時(shí)長(zhǎng)，進(jìn)行重音單元的劃分；進(jìn)而采用DTW算法對(duì)待評(píng)價(jià)語(yǔ)句和 標(biāo)準(zhǔn)語(yǔ)句進(jìn)行模式匹配； 所述節(jié)奏評(píng)價(jià)單元采用改進(jìn)的dPVI參數(shù)計(jì)算公式，根據(jù)語(yǔ)音單元時(shí)長(zhǎng)差異性的特征， 將標(biāo)準(zhǔn)語(yǔ)句與待評(píng)價(jià)語(yǔ)句的音節(jié)單元片段時(shí)長(zhǎng)分別進(jìn)行對(duì)比計(jì)算，并轉(zhuǎn)換出相對(duì)應(yīng)的參 數(shù)； 所述語(yǔ)調(diào)評(píng)價(jià)單元通過提取語(yǔ)句發(fā)音的語(yǔ)速、能量、基頻、共振峰等短時(shí)特征參數(shù)并加 以分析，通過判斷共振峰在語(yǔ)音信號(hào)中的趨勢(shì)來判斷發(fā)音在語(yǔ)調(diào)方面的變化，再將之與標(biāo) 準(zhǔn)語(yǔ)音的語(yǔ)調(diào)變化進(jìn)行對(duì)比，最后通過語(yǔ)調(diào)的擬合程度進(jìn)行打分。
[0008] 同時(shí)，本發(fā)明還提供具有情感識(shí)別功能的英語(yǔ)語(yǔ)音發(fā)音質(zhì)量評(píng)價(jià)的方法，其包括 以下步驟： (1) 語(yǔ)音采集模塊對(duì)語(yǔ)音信號(hào)進(jìn)行采集，并根據(jù)奈奎斯特采樣定理將模擬信號(hào)數(shù)字 化； (2) 語(yǔ)音預(yù)處理模塊對(duì)所得的語(yǔ)音信號(hào)進(jìn)行預(yù)加重、分幀、加窗、端點(diǎn)檢測(cè)預(yù)處理； (3) 語(yǔ)音特征提取模塊對(duì)預(yù)處理后的語(yǔ)音信號(hào)進(jìn)行語(yǔ)音特征參數(shù)MFCC、情感特征參數(shù) 語(yǔ)音基頻、共振峰等參數(shù)的提取； (4) 語(yǔ)音識(shí)別模塊采用分段均值數(shù)據(jù)降維算法對(duì)所得的語(yǔ)音特征進(jìn)行降維處理，然后 通過與標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)的匹配，以語(yǔ)音和文本的形式輸出識(shí)別結(jié)果； (5) 情感識(shí)別模塊采用分段均值數(shù)據(jù)降維算法對(duì)所得的語(yǔ)音特征進(jìn)行降維處理，讓后 通過與標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)的相匹配，以語(yǔ)音和文本的形式輸出識(shí)別結(jié)果； (6) 客觀評(píng)價(jià)模塊和反饋指導(dǎo)模塊通過與標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)的匹配從語(yǔ)句的語(yǔ)速、準(zhǔn)確 度、重音、節(jié)奏和語(yǔ)調(diào)方面進(jìn)行客觀評(píng)價(jià)和反饋指導(dǎo)。
[0009] 所述標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)包括標(biāo)準(zhǔn)語(yǔ)句的語(yǔ)音信號(hào)庫(kù)、特征參數(shù)庫(kù)、聚類分組庫(kù)、HMM 模型庫(kù)，情感HMM模型庫(kù)和文本庫(kù)。
[0010] 標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)用于對(duì)語(yǔ)音信號(hào)進(jìn)行語(yǔ)音識(shí)別、情感識(shí)別、客觀評(píng)價(jià)和反饋指導(dǎo) 的模式匹配。語(yǔ)音信號(hào)庫(kù)存儲(chǔ)標(biāo)準(zhǔn)語(yǔ)句的語(yǔ)音信號(hào)，包括語(yǔ)音信號(hào)的強(qiáng)度曲線圖、時(shí)長(zhǎng)、重 音、共振峰及標(biāo)準(zhǔn)發(fā)音；特征參數(shù)庫(kù)存儲(chǔ)標(biāo)準(zhǔn)語(yǔ)句的特征參數(shù)；聚類分組庫(kù)存儲(chǔ)標(biāo)準(zhǔn)語(yǔ)句 的所屬分組；HMM模型庫(kù)存儲(chǔ)標(biāo)準(zhǔn)語(yǔ)句的HMM模型；情感HMM模型庫(kù)存儲(chǔ)句子的情感HMM模 型；文本庫(kù)存儲(chǔ)標(biāo)準(zhǔn)語(yǔ)句的中英文文本。
[0011] 聚類分組庫(kù)、HMM模型庫(kù)和情感HMM模型庫(kù)采用分段均值數(shù)據(jù)降維算法、聚類模型 交叉分組算法、HMM模型聚類分組技術(shù)和Viterbi算法進(jìn)行語(yǔ)音特征降維、分組建模和模型 匹配；所述分段均值數(shù)據(jù)降維算法解決語(yǔ)音特征參數(shù)維度較高和不同長(zhǎng)度問題，聚類模型 交叉分組算法解決分組性能較低問題，HMM模型聚類分組技術(shù)解決Viterbi算法運(yùn)算量和 混合高斯分布概率計(jì)算量大問題，Viterbi算法解決HMM的解碼問題。
[0012] 步驟（5)具體還包括如下步驟： (a)采用分段均值數(shù)據(jù)降維算法對(duì)語(yǔ)音特征提取模塊得到的短時(shí)特征進(jìn)行降維處理； (b)通過與標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)的匹配，利用改進(jìn)的DTW算法確定語(yǔ)音特征聚類分組K ； (c)對(duì)第K組內(nèi)的情感HMM模型參數(shù)進(jìn)行計(jì)算：將短時(shí)特征參數(shù)作為隱馬爾可夫模型 的觀察序列；訓(xùn)練得到的語(yǔ)音單元為狀態(tài)序列，通過Viterbi算法解出狀態(tài)轉(zhuǎn)移序列； (d)采用決策判決，得到最大概率的狀態(tài)轉(zhuǎn)移序列； (e)通過與標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)的匹配，根據(jù)最佳狀態(tài)序列對(duì)應(yīng)出句子情感。
[0013] 本發(fā)明通過對(duì)采集到的語(yǔ)音信號(hào)進(jìn)行預(yù)處理和分段均值降維處理，使系統(tǒng)在后期 進(jìn)行語(yǔ)音識(shí)別和評(píng)價(jià)時(shí)效率更高，準(zhǔn)確率也更高。采用隱馬爾可夫模型，并結(jié)合聚類交叉分 組算法訓(xùn)練模型庫(kù)，再用其進(jìn)行模型匹配，使識(shí)別過程更加準(zhǔn)確高效。，通過比較待評(píng)價(jià)語(yǔ) 句和標(biāo)準(zhǔn)語(yǔ)句的準(zhǔn)確度、語(yǔ)速、重音、節(jié)奏和語(yǔ)調(diào)等方面進(jìn)行客觀評(píng)價(jià)，并給予反饋指導(dǎo)，使 評(píng)價(jià)結(jié)果更加準(zhǔn)確客觀。
[0014] 與現(xiàn)有技術(shù)相比，有益效果是：本發(fā)明具有口語(yǔ)翻譯，同時(shí)融合和語(yǔ)音情感識(shí)別， 使得語(yǔ)音識(shí)別時(shí)效率更高，識(shí)別準(zhǔn)確率更高；語(yǔ)音評(píng)價(jià)時(shí)評(píng)價(jià)指標(biāo)更加全面，客觀評(píng)價(jià)和反 饋指導(dǎo)準(zhǔn)確客觀，真實(shí)性和可信性高等優(yōu)點(diǎn)，在語(yǔ)音識(shí)別、語(yǔ)音情感識(shí)別與評(píng)價(jià)系統(tǒng)領(lǐng)域具 有很大的消費(fèi)市場(chǎng)。

【專利附圖】

【附圖說明】
[0015] 圖1為本發(fā)明的模塊原理圖。
[0016] 圖2為MFCC參數(shù)提取流程圖。
[0017] 圖3為語(yǔ)首基頻提取不意圖。
[0018] 圖4為語(yǔ)音特征參數(shù)分段均值降維示意圖。
[0019] 圖5為聚類模型交叉分組訓(xùn)練算法示意圖。
[0020] 圖6為HMM模型聚類分組圖。
[0021] 圖7為本發(fā)明的語(yǔ)音識(shí)別過程圖。
[0022] 圖8為隱馬爾可夫模型識(shí)別過程圖。
[0023] 圖9為DTW算法約束后的匹配范圍。
[0024] 圖10為基于DTW算法的評(píng)價(jià)示意圖。
[0025] 圖11為同一句子在四種情感狀態(tài)下的基頻曲線。
[0026] 圖12為共振峰提取原理圖。

【具體實(shí)施方式】
[0027] 附圖僅用于示例性說明，不能理解為對(duì)本專利的限制；為了更好說明本實(shí)施例，附 圖某些部件會(huì)有省略、放大或縮小，并不代表實(shí)際產(chǎn)品的尺寸；對(duì)于本領(lǐng)域技術(shù)人員來說， 附圖中某些公知結(jié)構(gòu)及其說明可能省略是可以理解的。
[0028] 本發(fā)明設(shè)計(jì)并實(shí)現(xiàn)了一種具有情感識(shí)別功能的英語(yǔ)語(yǔ)音發(fā)音質(zhì)量客觀評(píng)價(jià)系統(tǒng)。 本發(fā)明的模塊原理圖如圖1所示，通過語(yǔ)音采集模塊1采集輸入的語(yǔ)音信號(hào)；通過語(yǔ)音預(yù)處 理模塊2對(duì)所得的語(yǔ)音信號(hào)進(jìn)行預(yù)處理；通過語(yǔ)音特征提取模塊3對(duì)預(yù)處理后的語(yǔ)音信號(hào) 進(jìn)行語(yǔ)音特征參數(shù)提取；通過情感識(shí)別模塊4與標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)6進(jìn)行匹配，以語(yǔ)音和文本 的形式輸出識(shí)別結(jié)果；通過語(yǔ)音識(shí)別模塊5與標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)6進(jìn)行匹配，以語(yǔ)音和文本的 形式輸出識(shí)別結(jié)果；通過客觀評(píng)價(jià)模塊7與標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)6進(jìn)行匹配，對(duì)待評(píng)價(jià)語(yǔ)句的重 音、語(yǔ)速、語(yǔ)調(diào)、節(jié)奏等方面進(jìn)行評(píng)價(jià)，實(shí)現(xiàn)上述處理功能的是語(yǔ)速因素評(píng)價(jià)單元71、準(zhǔn)確度 評(píng)價(jià)單元72、重音因素評(píng)價(jià)單元73、節(jié)奏因素評(píng)價(jià)單元74和語(yǔ)調(diào)因素評(píng)價(jià)單元75 ;通過反 饋指導(dǎo)模塊8與標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)6進(jìn)行匹配，給予反饋指導(dǎo)。
[0029] 下面分別對(duì)涉及到的各個(gè)模塊單元進(jìn)行說明： 一、標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)6 本發(fā)明的標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)包括標(biāo)準(zhǔn)語(yǔ)句的語(yǔ)音信號(hào)庫(kù)、特征參數(shù)庫(kù)、聚類分組庫(kù)、HMM 模型庫(kù)，情感HMM模型庫(kù)和文本庫(kù)。
[0030] 標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)用于對(duì)語(yǔ)音信號(hào)進(jìn)行語(yǔ)音識(shí)別、情感識(shí)別、客觀評(píng)價(jià)和反饋指導(dǎo) 的模式匹配。語(yǔ)音信號(hào)庫(kù)存儲(chǔ)標(biāo)準(zhǔn)語(yǔ)句的語(yǔ)音信號(hào)，包括語(yǔ)音信號(hào)的強(qiáng)度曲線圖、時(shí)長(zhǎng)、重 音、共振峰及標(biāo)準(zhǔn)發(fā)音等；特征參數(shù)庫(kù)存儲(chǔ)標(biāo)準(zhǔn)語(yǔ)句的特征參數(shù)；基頻特征參數(shù)；聚類分組 庫(kù)存儲(chǔ)標(biāo)準(zhǔn)語(yǔ)句的所屬分組；HMM模型庫(kù)存儲(chǔ)標(biāo)準(zhǔn)語(yǔ)句的HMM模型；情感HMM模型庫(kù)存儲(chǔ)語(yǔ) 句的情感HMM模型；文本庫(kù)存儲(chǔ)標(biāo)準(zhǔn)語(yǔ)句的中英文文本。
[0031] 其中，聚類分組庫(kù)和HMM模型庫(kù)采用分段均值數(shù)據(jù)降維算法、聚類模型交叉分組 算法、HMM模型聚類分組技術(shù)和Viterbi算法進(jìn)行語(yǔ)音特征降維、分組建模和模型匹配；所 述分段均值數(shù)據(jù)降維算法解決語(yǔ)音特征參數(shù)維度較高和不同長(zhǎng)度問題，聚類模型交叉分組 算法解決分組性能較低問題，HMM模型聚類分組技術(shù)解決Viterbi算法運(yùn)算量和混合高斯 分布概率計(jì)算量大問題，Viterbi算法解決HMM的解碼問題。
[0032] 1、特征參數(shù)提取 一般來說，語(yǔ)音中的情感特征往往通過語(yǔ)音韻律的變化表現(xiàn)出來。語(yǔ)音情感的變化通 ?？梢泽w現(xiàn)為語(yǔ)音特征參數(shù)的變化。統(tǒng)計(jì)分析表明，高興時(shí)，通常是語(yǔ)速較快，音量較大； 悲傷時(shí)，通常是語(yǔ)速緩慢，音量較小?；羰亲畛Ｓ玫呐卸ㄇ楦械恼Z(yǔ)音特征，它反映了超音 段的信息。在語(yǔ)音情感識(shí)別中使用的特征參數(shù)有基頻（Pitch)，其次才是能量（Energy)、語(yǔ) 速（Speech Rate)、共振峰頻率（Formant)、單個(gè)音節(jié)的持續(xù)時(shí)間（Duration)、音節(jié)之間的停 頓時(shí)間（Pause)、線性預(yù)測(cè)系數(shù)（LPC)、Mel倒譜系數(shù)(MFCC)等，以及它們的各種變化形式， 如最大值、最小值、均值、范圍、變化率等等。這些參數(shù)主要體現(xiàn)的是人體的聲門和聲道的特 征，因此和人的生理構(gòu)造有著密切的關(guān)系，在不同的個(gè)體上顯現(xiàn)出較強(qiáng)的相異性。
[0033] 基于心理學(xué)和韻律學(xué)研究的結(jié)果，說話者的情感在語(yǔ)音中最直觀的表現(xiàn)就是韻律 特征和語(yǔ)音質(zhì)量的變化。因此對(duì)語(yǔ)音情感識(shí)別的研究普遍從韻律特征和音質(zhì)特征開始，尤 其是韻律特征，被認(rèn)為是最主要的語(yǔ)音情感特征。
[0034] 因此對(duì)于英語(yǔ)句子的情感識(shí)別，主要從韻律特征、聲學(xué)特征、全局與時(shí)序結(jié)構(gòu)特征 并用的參數(shù)提取，非線性分析提取的特征參數(shù)四個(gè)方面提取語(yǔ)音特征參數(shù)。情感相關(guān)的語(yǔ) 音韻律特征包括：信號(hào)的持續(xù)時(shí)間、信號(hào)的振幅、基頻、基音周期和共振峰頻率，情感語(yǔ)句的 語(yǔ)速差異基于不同情感說話速率的不同。在提取持續(xù)時(shí)間時(shí)應(yīng)注意包括無聲部分，因?yàn)闊o 聲部分本身對(duì)情感是有貢獻(xiàn)的。信號(hào)的振幅特征與各種情感信息具有較強(qiáng)的相關(guān)性。求取 語(yǔ)音信號(hào)每幀的短時(shí)振幅，分析隨時(shí)間的變化情況?；羰侵赴l(fā)濁音時(shí)聲帶振動(dòng)所引起的 周期性，而基音周期是指聲帶振動(dòng)頻率的倒數(shù)，反映情感信息的重要特征參數(shù)。提取共振峰 參數(shù)主要有帶通濾波器組法、倒譜法和線性預(yù)測(cè)法（LPC)。
[0035] 語(yǔ)音特征是聲音的類型，包括元音、輔音和它們的發(fā)音。韻律特征包括重音、節(jié)奏 和語(yǔ)調(diào)等。
[0036] (l)MFCC 特征提取 本文采用的提取基于聽覺特性的MFCC語(yǔ)音特征作為識(shí)別的特征。Mel倒譜系數(shù) (Mel-Frequency Cepstral Coefficients,MFCC)是根據(jù)人類聽覺系統(tǒng)的特性提出的，模擬人 耳對(duì)不同頻率語(yǔ)音的感知。人耳分辨聲音頻率的過程就像一種取對(duì)數(shù)的操作。圖2為MFCC 參數(shù)提取流程圖。
[0037] (2)基頻提取 基音是指發(fā)濁音時(shí)聲帶振動(dòng)所引起的周期性，而基音周期是指聲帶振動(dòng)頻率的倒數(shù)。 基音周期是語(yǔ)音信號(hào)最重要的參數(shù)之一，它描述了語(yǔ)音激勵(lì)源的一個(gè)重要特征。
[0038] 自相關(guān)函數(shù)的性質(zhì)：若原信號(hào)具有周期性，那么它的自相關(guān)函數(shù)也具有周期性， 并且周期與原信號(hào)的周期相同。清音信號(hào)沒有周期性，它的自相關(guān)函數(shù)R(k)會(huì)隨著k的增 大呈衰減趨勢(shì)；濁音信號(hào)具有準(zhǔn)周期性，它的R(k)在基音周期整數(shù)倍上有很大的峰值，通 常取第一最大峰值點(diǎn)為基音周期點(diǎn)。自相關(guān)函數(shù)法基音檢測(cè)正是利用這一性質(zhì)對(duì)語(yǔ)音信號(hào) 進(jìn)行基音檢測(cè)的，同時(shí)結(jié)合濾波和三電平削波及后處理使基頻提取更準(zhǔn)確、高效。
[0039] 如圖3所示，基頻提取的流程為：帶通濾波、采樣分幀、三電平削波、基頻計(jì)算、后 期處理去除"野點(diǎn)"。
[0040] 2、分段均值數(shù)據(jù)降維算法 本發(fā)明采用一種分段均值的方法對(duì)語(yǔ)音特征參數(shù)進(jìn)行降維，首先將語(yǔ)音信號(hào)特征參數(shù) 進(jìn)行平均分段，語(yǔ)音特征參數(shù)可表示為！(；￡,·/；)，其中κ是特征參數(shù)的階數(shù)，j為分段后特征 參數(shù)的幀數(shù)，T為原語(yǔ)音幀數(shù)。則將特征參數(shù)平均分為N段的計(jì)算公式如下：

【權(quán)利要求】
1. 具有情感識(shí)別功能的英語(yǔ)語(yǔ)音發(fā)音質(zhì)量評(píng)價(jià)系統(tǒng)，其特征在于，包括依次連接的語(yǔ) 音采集模塊、語(yǔ)音預(yù)處理模塊、語(yǔ)音特征提取模塊、語(yǔ)音識(shí)別模塊、情感識(shí)別模塊、客觀評(píng)價(jià) 模塊及反饋指導(dǎo)模塊，還包括分別與語(yǔ)音識(shí)別模塊、情感識(shí)別模塊、客觀評(píng)價(jià)模塊、反饋指 導(dǎo)模塊連接的具備四種情感的標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)，包括語(yǔ)音信號(hào)庫(kù)、特征參數(shù)庫(kù)、聚類分組 庫(kù)、HMM模型庫(kù)，情感HMM模型庫(kù)和文本庫(kù)； 語(yǔ)音采集模塊對(duì)帶有高興、悲傷、憤怒、中性這四種情感的語(yǔ)音信號(hào)進(jìn)行采集；語(yǔ)音預(yù) 處理模塊對(duì)語(yǔ)音信號(hào)進(jìn)行預(yù)加重、分幀、加窗、端點(diǎn)檢測(cè)預(yù)處理；語(yǔ)音特征提取模塊對(duì)語(yǔ)音 信號(hào)進(jìn)行語(yǔ)音特征參數(shù)的提??；其中特征參數(shù)提取包括語(yǔ)音識(shí)別特征參數(shù)和情感特征參 數(shù)；情感特征參數(shù)包括語(yǔ)音基頻在內(nèi)的十二個(gè)參數(shù)進(jìn)行提?。磺楦凶R(shí)別模塊采用分段均值 數(shù)據(jù)降維算法對(duì)所得的語(yǔ)音特征進(jìn)行降維處理，然后通過與標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)的相匹配，以 語(yǔ)音和文本的形式輸出識(shí)別情感結(jié)果；語(yǔ)音識(shí)別模塊、客觀評(píng)價(jià)模塊和反饋指導(dǎo)模塊通過 與標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)的匹配對(duì)語(yǔ)音信號(hào)進(jìn)行語(yǔ)音識(shí)別、客觀評(píng)價(jià)和反饋指導(dǎo)。
2. 根據(jù)權(quán)利要求1所述的具有情感識(shí)別功能的英語(yǔ)語(yǔ)音發(fā)音質(zhì)量評(píng)價(jià)系統(tǒng)，其特征在 于，所述的情感識(shí)別模塊采用情感HMM模型，調(diào)用標(biāo)準(zhǔn)模型庫(kù)中已訓(xùn)練好的語(yǔ)音模型，同輸 入語(yǔ)音進(jìn)行匹配，解出狀態(tài)轉(zhuǎn)移序列
，最終采用決策判決，得到最大概 率的狀態(tài)轉(zhuǎn)移序列；根據(jù)最佳狀態(tài)序列對(duì)應(yīng)出英語(yǔ)句子的情感，并以文本的形式輸出識(shí)別 結(jié)果；所述客觀評(píng)價(jià)模塊包括依次連接的語(yǔ)速評(píng)價(jià)單元、準(zhǔn)確度評(píng)價(jià)單元、重音評(píng)價(jià)單元、 節(jié)奏評(píng)價(jià)單元和語(yǔ)調(diào)評(píng)價(jià)單元，通過比較待評(píng)價(jià)語(yǔ)句和標(biāo)準(zhǔn)語(yǔ)句的語(yǔ)速、準(zhǔn)確度、重音、節(jié) 奏和語(yǔ)調(diào)進(jìn)行綜合評(píng)價(jià)。
3. 根據(jù)權(quán)利要求2所述的具有情感識(shí)別功能的英語(yǔ)語(yǔ)音發(fā)音質(zhì)量評(píng)價(jià)系統(tǒng)，其特征在 于， 所述情感識(shí)別模塊通過提取語(yǔ)句的信號(hào)的持續(xù)時(shí)間、信號(hào)的振幅、基頻、基音周期和共 振峰頻率，并求取語(yǔ)音信號(hào)每幀的短時(shí)振幅，分析隨時(shí)間的變化情況；接著用分段均值數(shù)據(jù) 降維算法對(duì)所得的語(yǔ)音特征進(jìn)行降維處理，通過與標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)的參數(shù)范圍相匹配來得 到識(shí)別結(jié)果； 所述語(yǔ)速評(píng)價(jià)單元通過計(jì)算待評(píng)價(jià)語(yǔ)句與標(biāo)準(zhǔn)語(yǔ)句的時(shí)長(zhǎng)比，與所設(shè)置的語(yǔ)速閾值進(jìn) 行比較； 所述準(zhǔn)確度評(píng)價(jià)單元采用短時(shí)能量作為特征來提取語(yǔ)句的強(qiáng)度曲線，進(jìn)而采用抽查值 的方法將待評(píng)價(jià)語(yǔ)句規(guī)整到與標(biāo)準(zhǔn)語(yǔ)句相近的程度，再將之與標(biāo)準(zhǔn)語(yǔ)音的強(qiáng)度曲線圖進(jìn)行 對(duì)比，通過比較其擬合程度進(jìn)行評(píng)價(jià)； 所述重音評(píng)價(jià)單元在規(guī)整后強(qiáng)度曲線圖的基礎(chǔ)上，設(shè)置重音閾值和非重音閾值作為特 征的雙門限以及重讀元音時(shí)長(zhǎng)，進(jìn)行重音單元的劃分；進(jìn)而采用DTW算法對(duì)待評(píng)價(jià)語(yǔ)句和 標(biāo)準(zhǔn)語(yǔ)句進(jìn)行模式匹配； 所述節(jié)奏評(píng)價(jià)單元采用改進(jìn)的dPVI參數(shù)計(jì)算公式，根據(jù)語(yǔ)音單元時(shí)長(zhǎng)差異性的特征， 將標(biāo)準(zhǔn)語(yǔ)句與待評(píng)價(jià)語(yǔ)句的音節(jié)單元片段時(shí)長(zhǎng)分別進(jìn)行對(duì)比計(jì)算，并轉(zhuǎn)換出相對(duì)應(yīng)的參 數(shù)； 所述語(yǔ)調(diào)評(píng)價(jià)單元通過提取語(yǔ)句發(fā)音的語(yǔ)速、能量、基頻、共振峰等短時(shí)特征參數(shù)并加 以分析，通過判斷共振峰在語(yǔ)音信號(hào)中的趨勢(shì)來判斷發(fā)音在語(yǔ)調(diào)方面的變化，再將之與標(biāo) 準(zhǔn)語(yǔ)音的語(yǔ)調(diào)變化進(jìn)行對(duì)比，最后通過語(yǔ)調(diào)的擬合程度進(jìn)行打分。
4. 根據(jù)權(quán)利要求3所述的具有情感識(shí)別功能的英語(yǔ)語(yǔ)音發(fā)音質(zhì)量評(píng)價(jià)系統(tǒng)，其特征在 于，所述標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)包括標(biāo)準(zhǔn)語(yǔ)句的語(yǔ)音信號(hào)庫(kù)、特征參數(shù)庫(kù)、聚類分組庫(kù)、HMM模型 庫(kù)，情感HMM模型庫(kù)和文本庫(kù)； 標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)用于對(duì)語(yǔ)音信號(hào)進(jìn)行情感識(shí)別、語(yǔ)音識(shí)別、客觀評(píng)價(jià)和反饋指導(dǎo)的模 式匹配；語(yǔ)音信號(hào)庫(kù)存儲(chǔ)標(biāo)準(zhǔn)語(yǔ)句的語(yǔ)音信號(hào)，包括語(yǔ)音信號(hào)的強(qiáng)度曲線圖、時(shí)長(zhǎng)、重音、共 振峰及標(biāo)準(zhǔn)發(fā)音；特征參數(shù)庫(kù)存儲(chǔ)標(biāo)準(zhǔn)語(yǔ)句的特征參數(shù)；聚類分組庫(kù)存儲(chǔ)標(biāo)準(zhǔn)語(yǔ)句的所屬 分組；HMM模型庫(kù)存儲(chǔ)標(biāo)準(zhǔn)語(yǔ)句的HMM模型；情感HMM模型庫(kù)存儲(chǔ)情感語(yǔ)句的HMM模型；文 本庫(kù)存儲(chǔ)標(biāo)準(zhǔn)語(yǔ)句的中英文文本。
5. 應(yīng)用權(quán)利要求1至4任一所述的具有情感識(shí)別功能的英語(yǔ)語(yǔ)音發(fā)音質(zhì)量評(píng)價(jià)系統(tǒng)的 方法，其特征在于包括以下步驟： (1) 語(yǔ)音采集模塊對(duì)語(yǔ)音信號(hào)進(jìn)行采集，并根據(jù)奈奎斯特采樣定理將模擬信號(hào)數(shù)字 化； (2) 語(yǔ)音預(yù)處理模塊對(duì)所得的語(yǔ)音信號(hào)進(jìn)行預(yù)加重、分幀、加窗、端點(diǎn)檢測(cè)預(yù)處理； (3) 語(yǔ)音特征提取模塊對(duì)預(yù)處理后的語(yǔ)音信號(hào)進(jìn)行語(yǔ)音短時(shí)特征參數(shù)的提取； (4) 語(yǔ)音識(shí)別模塊采用分段均值數(shù)據(jù)降維算法對(duì)所得的語(yǔ)音特征進(jìn)行降維處理，然后 通過與標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)的匹配，以語(yǔ)音和文本的形式輸出識(shí)別結(jié)果； (5) 情感識(shí)別模塊采用分段均值數(shù)據(jù)降維算法對(duì)所得的語(yǔ)音特征進(jìn)行降維處理，讓后 通過與標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)的相匹配，以語(yǔ)音和文本的形式輸出識(shí)別結(jié)果； (6) 客觀評(píng)價(jià)模塊和反饋指導(dǎo)模塊通過與標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)的匹配從語(yǔ)句的語(yǔ)速、準(zhǔn)確 度、重音、節(jié)奏和語(yǔ)調(diào)方面進(jìn)行客觀評(píng)價(jià)和反饋指導(dǎo)。
6. 根據(jù)權(quán)利要求5所述的方法，其特征在于，所述的步驟（5)具體還包括如下步驟： (a) 采用分段均值數(shù)據(jù)降維算法對(duì)語(yǔ)音特征提取模塊得到的短時(shí)特征進(jìn)行降維處理； (b) 通過與標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)的匹配，利用改進(jìn)的DTW算法確定語(yǔ)音特征聚類分組K ; (c) 對(duì)第K組內(nèi)的情感HMM模型參數(shù)進(jìn)行計(jì)算：將短時(shí)特征參數(shù)作為隱馬爾可夫模型 的觀察序列；訓(xùn)練得到的語(yǔ)音單元為狀態(tài)序列，通過Viterbi算法解出狀態(tài)轉(zhuǎn)移序列； (d) 采用決策判決，得到最大概率的狀態(tài)轉(zhuǎn)移序列； (e) 通過與情感標(biāo)準(zhǔn)語(yǔ)句模型庫(kù)的匹配，根據(jù)最佳狀態(tài)序列對(duì)應(yīng)出句子情感。
【文檔編號(hào)】G10L15/14GK104050965SQ201310391948
【公開日】2014年9月17日 申請(qǐng)日期:2013年9月2日 優(yōu)先權(quán)日:2013年9月2日
【發(fā)明者】李心廣, 李蘇梅, 姚敏鋒, 任達(dá)成, 辛昊旭, 沈東雄, 江立銳, 林雅婷, 陳嘉華, 何智明 申請(qǐng)人:廣東外語(yǔ)外貿(mào)大學(xué), 李心廣, 李蘇梅, 姚敏鋒, 任達(dá)成, 辛昊旭, 沈東雄, 江立銳, 林雅婷, 陳嘉華, 何智明