基于語義分析的口語評(píng)測方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及語音識(shí)別和評(píng)價(jià)技術(shù)領(lǐng)域，尤其涉及基于語義分析的口語評(píng)測方法和 系統(tǒng)。
【背景技術(shù)】
[0002] 語音信號(hào)處理技術(shù)是語音處理和語音識(shí)別領(lǐng)域中的一個(gè)重要分支，也是現(xiàn)今語音 識(shí)別和語音評(píng)價(jià)系統(tǒng)的主要核心技術(shù)。如今科技迅速發(fā)展，語音信號(hào)處理技術(shù)已深入到各 個(gè)領(lǐng)域，包括語言學(xué)習(xí)以及口語自動(dòng)評(píng)分，而在語言學(xué)習(xí)和自動(dòng)評(píng)分中，運(yùn)用語音信號(hào)處理 的目的是將最新的語音技術(shù)與當(dāng)前的教學(xué)和學(xué)習(xí)方法結(jié)合，建立輔助語言學(xué)習(xí)的系統(tǒng)或者 口語智能評(píng)分系統(tǒng)。
[0003] 口語自動(dòng)評(píng)分在國內(nèi)外最常用的稱謂就是計(jì)算機(jī)輔助學(xué)習(xí)（Computer-Assisted/ Computer-AidedLanguageLearning,CALL)和計(jì)算機(jī)輔助發(fā)音訓(xùn)練（Computer-Assisted/ Computer-AidedPronunciationTraining,CAPT)。在許多國外機(jī)構(gòu)特別是國際會(huì)議中，口 語自動(dòng)評(píng)分被稱為口語語音技術(shù)在教育中的應(yīng)用。20世紀(jì)80年代，F(xiàn)lege研宄了如何利用 視覺信息輔助語言學(xué)習(xí)者對(duì)目標(biāo)語言中的元音進(jìn)行正確發(fā)音的問題，指出如果發(fā)音錯(cuò)誤可 以被自動(dòng)檢測出來，并且提供相應(yīng)的反饋信息，那么將會(huì)對(duì)非母語語言學(xué)習(xí)者改正發(fā)音錯(cuò) 誤起到極大的幫助。進(jìn)入90年代，Bernstein將非母語語音識(shí)別的技術(shù)研宄成果逐漸推廣 到各類非母語用戶的語言學(xué)習(xí)領(lǐng)域。21世紀(jì)以來，語音自動(dòng)評(píng)分技術(shù)取得了飛速的發(fā)展，美 國Ordinate公司開發(fā)的Versant系列口語自動(dòng)評(píng)測系統(tǒng)針對(duì)第二語言學(xué)習(xí)者的口語發(fā)音 水平進(jìn)行評(píng)測，評(píng)測完后系統(tǒng)自動(dòng)給出評(píng)分結(jié)果。
[0004] 然而，現(xiàn)有的口語語音評(píng)分系統(tǒng)大多只是將待測口語語音與標(biāo)準(zhǔn)語音進(jìn)行模式匹 配，然后對(duì)待測語音的發(fā)音準(zhǔn)確度、語調(diào)、韻律等進(jìn)行評(píng)分，并沒有對(duì)待測語音進(jìn)行詞匯語 義分析。當(dāng)測試者使用與標(biāo)準(zhǔn)答案意思相同的同義詞時(shí)，僅從發(fā)音質(zhì)量的角度進(jìn)行評(píng)測，而 不進(jìn)行同義詞辨析，將導(dǎo)致評(píng)測結(jié)果不準(zhǔn)確、不全面，從而影響評(píng)測的準(zhǔn)確率，使得評(píng)測的 可信度降低。而若需要對(duì)口語測試者所使用的同義詞進(jìn)行綜合考量，則必須通過人工地辨 另IJ，效率極低，人力成本較高。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明實(shí)施例的目的在于提供一種基于語義分析的口語評(píng)測方法和系統(tǒng)，對(duì)口語 測試語音中所使用的詞匯進(jìn)行同義詞辨析，判斷語音的語義是否正確。
[0006] 為了實(shí)現(xiàn)上述目的，一方面，本發(fā)明實(shí)施例提供了一種基于語義分析的口語評(píng)測 方法，包括：
[0007] 獲取口語測試語音，對(duì)所述口語測試語音進(jìn)行預(yù)處理；對(duì)預(yù)處理后的口語測試語 音進(jìn)行單詞切分，將所述口語測試語音切分為語音段；提取所述語音段的語音特征參數(shù)；
[0008] 根據(jù)所述語音段的語音特征參數(shù)，利用預(yù)先建立的隱馬爾可夫模型對(duì)所述語音段 進(jìn)行關(guān)鍵詞語音識(shí)別，提取出所述口語測試語音中使用的關(guān)鍵詞，獲得口語關(guān)鍵詞；
[0009] 根據(jù)所述口語關(guān)鍵詞，遍歷答題關(guān)鍵詞以及所述答題關(guān)鍵詞的同義詞，獲取所述 口語測試語音的關(guān)鍵詞使用情況，并根據(jù)所述關(guān)鍵詞使用情況，計(jì)算出所述口語測試語音 的語義得分；根據(jù)所述語義得分，判斷所述口語測試語音的語義是否正確，獲得語義分析結(jié) 果。
[0010] 進(jìn)一步地，在所述獲取口語測試語音之前，還包括：
[0011] 獲取標(biāo)準(zhǔn)語音語句，提取所述標(biāo)準(zhǔn)語音語句中的關(guān)鍵詞，獲得所述答題關(guān)鍵詞，并 收集所述答題關(guān)鍵詞的同義詞；
[0012] 根據(jù)所述答題關(guān)鍵詞的重要程度，以及所述同義詞與所述答題關(guān)鍵詞的意思相近 程度，建立語義樹。
[0013] 其中，所述語義樹為二叉樹結(jié)構(gòu)；所述答題關(guān)鍵詞和所述同義詞設(shè)置于所述二叉 樹的結(jié)點(diǎn)上；
[0014] 所述答題關(guān)鍵詞設(shè)置于所述二叉樹的右單支樹的根結(jié)點(diǎn)上，所述答題關(guān)鍵詞的同 義詞設(shè)置于所述右單支樹的葉子結(jié)點(diǎn)上；或者，所述答題關(guān)鍵詞設(shè)置于所述二叉樹的左單 支樹的根結(jié)點(diǎn)上，所述答題關(guān)鍵詞的同義詞設(shè)置于所述左單支樹的葉子結(jié)點(diǎn)上。
[0015] 在具體實(shí)施當(dāng)中，所述根據(jù)所述口語關(guān)鍵詞，遍歷答題關(guān)鍵詞以及所述答題關(guān)鍵 詞的同義詞，獲取所述口語測試語音的關(guān)鍵詞使用情況，并根據(jù)所述關(guān)鍵詞使用情況，計(jì)算 出所述口語測試語音的語義得分，具體為：
[0016] 根據(jù)所述口語關(guān)鍵詞，遍歷所述語義樹，獲取所述口語關(guān)鍵詞所在的單支樹，根據(jù) 所述口語關(guān)鍵詞在所述單支樹中與所述答題關(guān)鍵詞的距離，計(jì)算出所述口語測試語音的語 義得分。
[0017] 在具體實(shí)施當(dāng)中，所述提取所述標(biāo)準(zhǔn)語音語句中的關(guān)鍵詞，獲得所述答題關(guān)鍵詞， 具體為：
[0018] 對(duì)所述標(biāo)準(zhǔn)語音語句的句子結(jié)構(gòu)進(jìn)行分析，去除所述標(biāo)準(zhǔn)語音語句中的介詞和代 詞，獲得所述答題關(guān)鍵詞。
[0019] 優(yōu)選地，在所述建立語義樹之后，還包括：
[0020] 對(duì)所述答題關(guān)鍵詞和所述同義詞進(jìn)行語音采集，對(duì)采集到的詞匯語音進(jìn)行語音信 號(hào)預(yù)處理，提取所述詞匯語音的語音特征參數(shù)；
[0021] 根據(jù)所述詞匯語音的語音特征參數(shù)，建立所述隱馬爾可夫模型。
[0022] 在具體實(shí)施當(dāng)中，所述對(duì)預(yù)處理后的口語測試語音進(jìn)行單詞切分，將所述口語測 試語音切分為語音段，具體為：
[0023] 采用雙門限法對(duì)預(yù)處理后的所述口語測試語音進(jìn)行單詞切分，根據(jù)所述口語測試 語音的短時(shí)平均能量和短時(shí)平均過零率是否達(dá)到預(yù)設(shè)的閾值，將所述口語測試語音切分成 為多個(gè)語音段。
[0024] 優(yōu)選地，在所述獲取口語測試語音，對(duì)所述口語測試語音進(jìn)行預(yù)處理之后，還包 括：
[0025] 根據(jù)所述口語測試語音的語音特征參數(shù)，對(duì)所述口語測試語音的發(fā)音質(zhì)量進(jìn)行評(píng) 價(jià)，獲得所述口語測試語音的發(fā)音質(zhì)量評(píng)價(jià)；
[0026] 根據(jù)所述語義分析結(jié)果和所述發(fā)音質(zhì)量評(píng)價(jià)，對(duì)所述口語測試語音進(jìn)行綜合評(píng) 價(jià)。
[0027] 其中，所述根據(jù)所述口語測試語音的語音特征參數(shù)，對(duì)所述口語測試語音的發(fā)音 質(zhì)量進(jìn)行評(píng)價(jià)，獲得所述口語測試語音的發(fā)音質(zhì)量評(píng)價(jià)，包括：
[0028] 根據(jù)所述口語測試語音的關(guān)鍵詞語音識(shí)別的正確率，對(duì)所述口語測試語音的正確 度進(jìn)行評(píng)價(jià)，獲得所述口語測試語音的準(zhǔn)確度評(píng)價(jià)；
[0029] 根據(jù)所述口語測試語音的單詞平均發(fā)音時(shí)長，對(duì)所述口語測試語音的流利度進(jìn)行 評(píng)價(jià)，獲得所述口語測試語音的流利度評(píng)價(jià)。
[0030] 為了實(shí)現(xiàn)所述目的，另一方面，本發(fā)明實(shí)施例提供了一種基于語義分析的口語評(píng) 測系統(tǒng)，包括語音采集單元、語音預(yù)處理單元、語音特征提取單元、關(guān)鍵詞識(shí)別單元、語義分 析單元、發(fā)音質(zhì)量評(píng)價(jià)單元、綜合評(píng)價(jià)單元和標(biāo)準(zhǔn)模型庫；
[0031] 所述語音采集單元，用于獲取口語測試語音；
[0032] 所述語音預(yù)處理單元，用于對(duì)所述口語測試語音進(jìn)行預(yù)處理；
[0033] 所述語音特征提取單元，對(duì)預(yù)處理后的口語測試語音進(jìn)行單詞切分，將所述口語 測試語音切分為語音段，提取所述語音段的語音特征參數(shù)；
[0034] 所述關(guān)鍵詞識(shí)別單元，用于根據(jù)所述語音段的語音特征參數(shù)，利用預(yù)先建立的隱 馬爾可夫模型對(duì)所述語音段進(jìn)行關(guān)鍵詞語音識(shí)別，提取出所述口語測試語音中使用的關(guān)鍵 詞，獲得口語關(guān)鍵詞；
[0035] 所述語義分析單元，用于根據(jù)所述口語關(guān)鍵詞，遍歷答題關(guān)鍵詞以及所述答題關(guān) 鍵詞的同義詞，獲取所述口語測試語音的關(guān)鍵詞使用情況，并根據(jù)所述關(guān)鍵詞使用情況，計(jì) 算出所述口語測試語音的語義得分；根據(jù)所述語義得分，判斷所述口語測試語音的語義是 否正確，獲得語義分析結(jié)果；
[0036] 所述發(fā)音質(zhì)量評(píng)價(jià)單元，用于根據(jù)所述口語測試語音的語音特征參數(shù)和所述標(biāo)準(zhǔn) 語音語句的語音特征參數(shù)，對(duì)所述口語測試語音的發(fā)音質(zhì)量進(jìn)行評(píng)價(jià)，獲得所述口語測試 語音的發(fā)音質(zhì)量評(píng)價(jià)；
[0037] 所述綜合評(píng)價(jià)單元，用于根據(jù)所述語義檢測結(jié)果和所述發(fā)音質(zhì)量評(píng)價(jià)，對(duì)所述口 語測試語音進(jìn)行綜合評(píng)價(jià)；
[0038] 所述標(biāo)準(zhǔn)模型庫，用于存儲(chǔ)標(biāo)準(zhǔn)語音語句和所述標(biāo)準(zhǔn)語音語句的語音特征參數(shù)。
[0039] 本發(fā)明實(shí)施例提供的基于語義分析的口語評(píng)測方法和系統(tǒng)，通過提取口語測試語 音的語音特征參數(shù)，并根據(jù)所述口語測試語音的語音特征參數(shù)，利用預(yù)先建立的隱馬爾可 夫模型進(jìn)行關(guān)鍵詞語音識(shí)別，對(duì)識(shí)別出的口語關(guān)鍵詞進(jìn)行同義詞辨析，進(jìn)而判斷口語測試 語音的語義是否正確。本發(fā)明實(shí)施例采用同義詞辨析的方法對(duì)口語測試語音進(jìn)行語義分 析，自動(dòng)識(shí)別出測試語音中所使用的關(guān)鍵詞及其同義詞，智能判斷語音的語義是否正確，無 需人工進(jìn)行語義辨析，有利于提高效率，降低人工成本。
【附圖說明】
[0040] 圖1是本發(fā)明提供的基于語義分析的口語評(píng)測方法的一個(gè)實(shí)施例的方法流程圖；
[0041] 圖2是本發(fā)明提供的基于語義分析的口語評(píng)測方法的另一個(gè)實(shí)施例的方