專利名稱：多種語(yǔ)言適用的聾啞人語(yǔ)音學(xué)習(xí)計(jì)算機(jī)輔助方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種利用計(jì)算機(jī)進(jìn)行語(yǔ)音學(xué)習(xí)的方法，特別是一種適用于具有不同母語(yǔ)背景的聾啞人語(yǔ)音發(fā)音的計(jì)算機(jī)輔助學(xué)習(xí)方法。
背景技術(shù)：
聾啞人是殘疾人中的一個(gè)特殊群體，從外表上看，他們與普通健全人沒(méi)有任何區(qū)別，僅僅由于喪失了正常發(fā)音的能力，造成了他們與社會(huì)環(huán)境的交流出現(xiàn)難以逾越的障礙，最終導(dǎo)致他們中的絕大部分生活在社會(huì)的最底層，生活窘迫，終其一生。要從根本上改變聾啞人目前的生活現(xiàn)狀，單純讓他們被動(dòng)的依靠社會(huì)的理解和關(guān)注以及各國(guó)政府的支持還是不夠的，必不可少的是需要他們主動(dòng)的去掌握與周圍人群交流的能力。目前，很多聾啞人學(xué)會(huì)了使用手語(yǔ)，但是除了聾啞人，普通健全人中能夠認(rèn)識(shí)并使用手語(yǔ)的人是少之又少，因此手語(yǔ)的使用還是將聾啞人的交流范圍局限在同聾啞人的交流中。由此可見(jiàn)，要提高聾啞人的生活狀況，讓他們能與普通健全人具有同樣的生活與工作能力，教會(huì)他們能夠正常的說(shuō)話發(fā)音是絕對(duì)必要的。
在數(shù)目龐大的聾啞人群中，絕大部分都是具有健全發(fā)聲器官的“聾人”，他們完全具備發(fā)聲的生理?xiàng)l件。但由于先天或后天的原因喪失了聽(tīng)力，無(wú)法利用聽(tīng)覺(jué)系統(tǒng)去糾正自己的發(fā)聲器官發(fā)出的聲音，發(fā)聲器官逐漸退化，最終失去說(shuō)話的能力，變?yōu)椤懊@啞人”。有經(jīng)驗(yàn)表明，對(duì)于這樣的“聾人”，如果能夠通過(guò)某種有效方式隨時(shí)反饋其發(fā)音的正確與否，通過(guò)持之以恒的訓(xùn)練，是完全有可能幫助他們恢復(fù)說(shuō)話的能力。有報(bào)道稱，中國(guó)某個(gè)“聾兒訓(xùn)練中心”的學(xué)生在老師的悉心指導(dǎo)下，通過(guò)數(shù)年的刻苦學(xué)習(xí)，不但能夠象正常人一樣說(shuō)話，甚至學(xué)會(huì)了講相聲和繞口令。傳統(tǒng)方式下的反饋并糾正“聾人”發(fā)音是由人工完成的，這就意味著家長(zhǎng)或教師需要幾年如一日，日夜陪伴在那些聾啞人的身邊進(jìn)行一對(duì)一的教學(xué)練習(xí)，才能收到較好的成果。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種多種語(yǔ)言適用的聾啞人語(yǔ)音學(xué)習(xí)計(jì)算機(jī)輔助方法，要解決的技術(shù)問(wèn)題是幫助家長(zhǎng)和老師從繁重而重復(fù)的語(yǔ)言教學(xué)活動(dòng)中解放出來(lái)，讓學(xué)習(xí)發(fā)音的人們能夠更容易獲得糾正自身發(fā)音的機(jī)會(huì)，更快更方便的學(xué)會(huì)象正常人一樣說(shuō)話。
本發(fā)明采用以下技術(shù)方案一種多種語(yǔ)言適用的聾啞人語(yǔ)音學(xué)習(xí)計(jì)算機(jī)輔助方法，包括以下步驟一、用戶根據(jù)自身需要選擇所需要學(xué)習(xí)的語(yǔ)言種類；二、用戶選擇并確定所需學(xué)習(xí)的語(yǔ)音單元；三、計(jì)算機(jī)的顯示器向用戶顯示需要學(xué)習(xí)的語(yǔ)音和所需注意的環(huán)節(jié)；四、啟動(dòng)計(jì)算機(jī)的語(yǔ)音接收裝置，等待用戶語(yǔ)音信號(hào)的輸入；五、語(yǔ)音接收裝置接收用戶發(fā)出的語(yǔ)音信號(hào)，進(jìn)行模擬/數(shù)字轉(zhuǎn)換；六、計(jì)算機(jī)的中央處理器從模擬數(shù)字轉(zhuǎn)換裝置提取所需的語(yǔ)音特征；七、中央處理器對(duì)用戶發(fā)音做出準(zhǔn)確性判別；八、在顯示器上顯示用戶發(fā)音的準(zhǔn)確度。
本發(fā)明的中央處理器從模擬數(shù)字轉(zhuǎn)換裝置提取所需的語(yǔ)音特征時(shí)，通過(guò)端點(diǎn)檢測(cè)獲得用戶發(fā)音相關(guān)的數(shù)字語(yǔ)音數(shù)據(jù)。
本發(fā)明的方法當(dāng)用戶學(xué)習(xí)單音節(jié)的發(fā)音時(shí)，中央處理器采用對(duì)連續(xù)短時(shí)語(yǔ)音幀進(jìn)行基于μ律倒譜分析的MFCC參數(shù)計(jì)算，在每個(gè)參數(shù)矢量中包含信號(hào)短時(shí)能量以及參數(shù)的一階、二階差分分量，以DHMM模型參數(shù)為基礎(chǔ)，通過(guò)Viterbi算法，對(duì)發(fā)音準(zhǔn)確程度進(jìn)行判別；當(dāng)用戶學(xué)習(xí)多音節(jié)、單詞、句子發(fā)音時(shí)，中央處理器通過(guò)傳統(tǒng)HMM方法實(shí)現(xiàn)對(duì)用戶的連續(xù)發(fā)音過(guò)程進(jìn)行發(fā)音準(zhǔn)確程度判別。
本發(fā)明的語(yǔ)音接收裝置啟動(dòng)時(shí)，同時(shí)啟動(dòng)視頻采集裝置，捕捉用戶發(fā)音時(shí)的口型的細(xì)部特征。
本發(fā)明的顯示器向用戶顯示需要學(xué)習(xí)的語(yǔ)音和所需注意的環(huán)節(jié)時(shí)，使用文字和動(dòng)畫(huà)圖像向用戶提示發(fā)音特點(diǎn)與口型特征。
本發(fā)明的顯示器使用動(dòng)畫(huà)圖像向用戶提示發(fā)音特點(diǎn)與口型特征時(shí)，用口型變化和送氣特征的正面動(dòng)畫(huà)、側(cè)面動(dòng)畫(huà)和發(fā)聲器官解剖結(jié)構(gòu)的發(fā)音過(guò)程動(dòng)畫(huà)圖象，演示發(fā)聲器官的配合運(yùn)動(dòng)。
本發(fā)明計(jì)算機(jī)的中央處理器提取所需的語(yǔ)音單元時(shí)采用端點(diǎn)檢測(cè)的方法，通過(guò)計(jì)算信號(hào)能量和過(guò)零率實(shí)現(xiàn)對(duì)輸入話音信號(hào)起始和終止位置的初步判決。
本發(fā)明語(yǔ)音接收裝置接收用戶發(fā)出的語(yǔ)音信號(hào)時(shí)，通過(guò)軟件預(yù)處理數(shù)字濾波器，對(duì)環(huán)境噪聲進(jìn)行抑制和高頻信號(hào)分量預(yù)加重。
本發(fā)明在顯示器上顯示用戶發(fā)音的準(zhǔn)確度時(shí)，使用百分?jǐn)?shù)顯示發(fā)音準(zhǔn)確度，同時(shí)回放用戶發(fā)音時(shí)的錄像信息，與標(biāo)準(zhǔn)發(fā)音視頻動(dòng)畫(huà)進(jìn)行比較。
本發(fā)明的用戶選擇并確定所需學(xué)習(xí)的語(yǔ)音單元為音標(biāo)、單詞或句子。
本發(fā)明與現(xiàn)有技術(shù)相比，利用了多媒體計(jì)算機(jī)的各個(gè)硬件裝備，將計(jì)算機(jī)圖形圖像技術(shù)、多媒體計(jì)算機(jī)語(yǔ)音技術(shù)有效的結(jié)合起來(lái)，針對(duì)使用對(duì)象具有不同國(guó)別、不同母語(yǔ)的特點(diǎn)，在輔助教學(xué)過(guò)程中使用不同文字的教學(xué)語(yǔ)言，有效輔助英國(guó)、美國(guó)、日本、法國(guó)、德國(guó)、俄羅斯、西班牙等多個(gè)國(guó)家的聾啞人學(xué)習(xí)本國(guó)語(yǔ)言發(fā)音，滿足具有不同母語(yǔ)的聾啞人發(fā)音學(xué)習(xí)的需要。


圖1是本發(fā)明實(shí)施例的學(xué)習(xí)系統(tǒng)主界面圖。
圖2是本發(fā)明實(shí)施例1的英語(yǔ)發(fā)音學(xué)習(xí)功能選擇界面圖。
圖3是本發(fā)明實(shí)施例1的國(guó)際音標(biāo)選擇界面圖。
圖4是本發(fā)明實(shí)施例1的國(guó)際音標(biāo)[a:]發(fā)音教學(xué)界面圖。
圖5是本發(fā)明實(shí)施例1的國(guó)際音標(biāo)[a:]測(cè)試結(jié)果及反饋圖。
圖6是本發(fā)明實(shí)施例2的英語(yǔ)單詞“car”輸入界面圖。
圖7是本發(fā)明實(shí)施例2的英語(yǔ)單詞“car”發(fā)音學(xué)習(xí)界面圖。
圖8是本發(fā)明實(shí)施例3的英語(yǔ)句型“This is my car”發(fā)音教學(xué)界面圖。
圖9是本發(fā)明實(shí)施例4的日語(yǔ)發(fā)音學(xué)習(xí)功能選擇界面圖。
圖10是本發(fā)明實(shí)施例4的日文平假名[き]選擇界面。
圖11是本發(fā)明實(shí)施例4的日文平假名[き]發(fā)音教學(xué)界面圖。
圖12是本發(fā)明實(shí)施例4的日文平假名[き]測(cè)試結(jié)果及反饋圖。
圖13是本發(fā)明實(shí)施例5的法語(yǔ)發(fā)音學(xué)習(xí)功能選擇界面圖。
圖14是本發(fā)明實(shí)施例5的法語(yǔ)單詞“vélo”輸入界面圖。
圖15是本發(fā)明實(shí)施例5的法語(yǔ)單詞“vélo”發(fā)音學(xué)習(xí)界面圖。
圖16是本發(fā)明實(shí)施例5的法語(yǔ)單詞“vélo”測(cè)試結(jié)果及反饋圖。
圖17是本發(fā)明實(shí)施例6的法語(yǔ)句子“Cest mon vélo”發(fā)音學(xué)習(xí)界面圖。
具體實(shí)施例方式
下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)的描述。本發(fā)明的多種語(yǔ)言適用的聾啞人語(yǔ)音學(xué)習(xí)計(jì)算機(jī)輔助方法，包括以下步驟一種多種語(yǔ)言適用的聾啞人語(yǔ)音學(xué)習(xí)計(jì)算機(jī)輔助方法，包括以下步驟一、用戶根據(jù)自身需要選擇所需要學(xué)習(xí)的語(yǔ)言種類；二、用戶選擇并確定所需學(xué)習(xí)的語(yǔ)音單元，語(yǔ)音單元為音標(biāo)、單詞或句子；三、計(jì)算機(jī)的顯示器向用戶顯示需要學(xué)習(xí)的語(yǔ)音和所需注意的環(huán)節(jié)，使用文字和動(dòng)畫(huà)圖像向用戶提示發(fā)音特點(diǎn)與口型特征，用口型變化和送氣特征的正面動(dòng)畫(huà)、側(cè)面動(dòng)畫(huà)和發(fā)聲器官解剖結(jié)構(gòu)的發(fā)音過(guò)程動(dòng)畫(huà)圖象，演示發(fā)聲器官的配合運(yùn)動(dòng)；四、啟動(dòng)計(jì)算機(jī)的語(yǔ)音接收裝置，等待用戶語(yǔ)音信號(hào)的輸入，同時(shí)啟動(dòng)視頻采集裝置，捕捉用戶發(fā)音時(shí)的口型的細(xì)部特征；五、語(yǔ)音接收裝置接收用戶發(fā)出的語(yǔ)音信號(hào)，通過(guò)軟件預(yù)處理數(shù)字濾波器，對(duì)環(huán)境噪聲進(jìn)行抑制和高頻信號(hào)分量預(yù)加重，進(jìn)行模擬/數(shù)字轉(zhuǎn)換；六、計(jì)算機(jī)的中央處理器從模擬數(shù)字轉(zhuǎn)換裝置提取所需的語(yǔ)音特征，通過(guò)端點(diǎn)檢測(cè)獲得用戶發(fā)音相關(guān)的數(shù)字語(yǔ)音數(shù)據(jù)，采用端點(diǎn)檢測(cè)的方法，通過(guò)計(jì)算信號(hào)能量和過(guò)零率實(shí)現(xiàn)對(duì)輸入話音信號(hào)起始和終止位置的初步判決；七、中央處理器對(duì)用戶發(fā)音做出準(zhǔn)確性判別，當(dāng)用戶學(xué)習(xí)單音節(jié)的發(fā)音時(shí)，中央處理器采用對(duì)連續(xù)短時(shí)語(yǔ)音幀進(jìn)行基于μ律倒譜分析的MFCC參數(shù)計(jì)算，在每個(gè)參數(shù)矢量中包含信號(hào)短時(shí)能量以及參數(shù)的一階、二階差分分量，以DHMM模型參數(shù)為基礎(chǔ)，通過(guò)Viterbi算法，對(duì)發(fā)音準(zhǔn)確程度進(jìn)行判別；當(dāng)用戶學(xué)習(xí)多音節(jié)、單詞、句子發(fā)音時(shí)，中央處理器通過(guò)傳統(tǒng)HMM方法實(shí)現(xiàn)對(duì)用戶的連續(xù)發(fā)音過(guò)程進(jìn)行發(fā)音準(zhǔn)確程度判別；八、在顯示器上顯示用戶發(fā)音的準(zhǔn)確度，使用百分?jǐn)?shù)顯示發(fā)音準(zhǔn)確度，同時(shí)回放用戶發(fā)音時(shí)的錄像信息，與標(biāo)準(zhǔn)發(fā)音視頻動(dòng)畫(huà)進(jìn)行比較。
實(shí)施例1，英語(yǔ)國(guó)家聾啞人學(xué)習(xí)國(guó)際音標(biāo)[a:]的發(fā)音，本實(shí)施例使用計(jì)算機(jī)CPU為AMD2500+，內(nèi)存為1GB，160GB SATA Seagate硬盤，Benq FP71G+顯示器，聲卡為AC97板載集成聲卡，多媒體音箱使用Xfree XE233，語(yǔ)音接收裝置采用Voiceao VA-800MV、視頻采集裝置采用良田Camera-168型攝象頭，操作系統(tǒng)使用Microsoft WindowXP Professional，版本2002，Service Pack 2，聾啞人發(fā)音計(jì)算機(jī)輔助學(xué)習(xí)軟件使用根據(jù)本發(fā)明的方法編程的軟件“Audio-Video BimodalPronunciation Learning System for Deaf-Mute”，Version 1.0。
首先開(kāi)啟已成功安裝了根據(jù)本發(fā)明的方法編程的軟件的多媒體計(jì)算機(jī)，啟動(dòng)本輔助學(xué)習(xí)軟件系統(tǒng)。如圖1所示，學(xué)習(xí)系統(tǒng)檢測(cè)到各必要硬件設(shè)施都獲得正確安裝后，進(jìn)入本輔助學(xué)習(xí)系統(tǒng)主界面。主界面所使用的語(yǔ)言為英文。主界面提供了語(yǔ)言選項(xiàng)，用戶可以通過(guò)該選項(xiàng)選擇所學(xué)習(xí)發(fā)音的語(yǔ)言種類和教學(xué)過(guò)程中所使用的教學(xué)語(yǔ)言。本實(shí)施例針對(duì)用戶為英語(yǔ)國(guó)家聾啞人，所需學(xué)習(xí)的語(yǔ)言為英語(yǔ)，所使用的教學(xué)語(yǔ)言同樣為英語(yǔ)，因此用戶選擇“English”。此后系統(tǒng)將進(jìn)入英語(yǔ)發(fā)音教學(xué)，使用的教學(xué)語(yǔ)言為英文。
如圖2所示，選擇“English”后，用戶可以看到“Phonetic Symbol”、“Common Word”、“Common Sentence”三個(gè)英文選項(xiàng)，在本具體實(shí)施例中，用戶學(xué)習(xí)的是國(guó)際音標(biāo)[a:]的發(fā)音，因此用戶在屏幕上用鼠標(biāo)左鍵單擊“Phonetic Symbol”選項(xiàng)。如圖3所示，進(jìn)入該選項(xiàng)后，用戶可以看到計(jì)算機(jī)屏幕上顯示出全部48個(gè)國(guó)際音標(biāo)。
如圖4所示，用戶使用鼠標(biāo)左鍵單擊國(guó)際音標(biāo)[a:]，則進(jìn)入音標(biāo)[a:]的學(xué)習(xí)界面。計(jì)算機(jī)屏幕顯示出國(guó)際音標(biāo)[a:]以及國(guó)際音標(biāo)[a:]的發(fā)音提示“Open your mouth naturally and let your tongue off topronounce.Bear in mind to lay your tongue as low as possible and keepthe tip of your tongue away from teeth.Remember to low your Chin andrelax your tongue then you can pronounce smoothly.”。同時(shí)，屏幕顯示標(biāo)準(zhǔn)發(fā)音示范人正確發(fā)出[a:]音時(shí)口型變化和送氣特征的正面動(dòng)畫(huà)、側(cè)面動(dòng)畫(huà)和發(fā)聲器官解剖結(jié)構(gòu)的發(fā)音過(guò)程動(dòng)畫(huà)。
用戶點(diǎn)擊屏幕右下方按鈕“Prepare for test”，則屏幕顯示視頻采集裝置所捕捉的實(shí)時(shí)畫(huà)面，并提示“Please adjust the position of your headcorrectly”。用戶調(diào)整自己頭部的位置和角度，使視頻采集裝置能夠穩(wěn)定清晰的捕捉到用戶發(fā)音時(shí)的口型及面部特征。調(diào)整結(jié)束后，用戶再次點(diǎn)擊該按鈕。從用戶點(diǎn)擊該按鈕開(kāi)始，語(yǔ)音采集裝置和視頻采集裝置開(kāi)始分別記錄下長(zhǎng)度為10秒鐘的音頻和視頻信號(hào)，并在計(jì)算機(jī)屏幕上顯示十秒鐘倒計(jì)時(shí)。在十秒鐘之內(nèi)，用戶對(duì)準(zhǔn)語(yǔ)音采集裝置發(fā)出[a:]音。十秒鐘后，語(yǔ)音采集裝置和視頻采集裝置停止記錄音頻和視頻信號(hào)。
在英語(yǔ)國(guó)際音標(biāo)的發(fā)音學(xué)習(xí)過(guò)程中，為準(zhǔn)確掌握發(fā)音的特點(diǎn)，一般會(huì)有意拉長(zhǎng)音節(jié)的發(fā)音持續(xù)時(shí)間。因此本系統(tǒng)采用包含了發(fā)音持續(xù)時(shí)間統(tǒng)計(jì)信息的DHMM模型(Duration HMM)方法對(duì)學(xué)習(xí)者的發(fā)音進(jìn)行判別和評(píng)估。DHMM模型不僅包含了發(fā)音狀態(tài)一階、二階統(tǒng)計(jì)特征描述，還引入了對(duì)發(fā)音狀態(tài)持續(xù)時(shí)間的統(tǒng)計(jì)特征描述。因此，DHMM能夠有效地評(píng)估當(dāng)前音標(biāo)發(fā)音的準(zhǔn)確程度。
在系統(tǒng)對(duì)發(fā)音判別過(guò)程中，CPU通過(guò)基于能量判決的端點(diǎn)檢測(cè)方法，獲得用戶發(fā)音的起始時(shí)間位置和結(jié)束時(shí)間位置。對(duì)當(dāng)前連續(xù)數(shù)字語(yǔ)音數(shù)據(jù)流進(jìn)行短時(shí)分幀，在連續(xù)的短時(shí)數(shù)字語(yǔ)音幀之間保持一定的交疊。數(shù)字音頻數(shù)據(jù)經(jīng)過(guò)加窗，本系統(tǒng)使用漢明窗處理后，再通過(guò)軟件預(yù)處理數(shù)字濾波器，實(shí)現(xiàn)環(huán)境噪聲抑制和高頻信號(hào)分量預(yù)加重。為有效表達(dá)當(dāng)前發(fā)音的特征，對(duì)連續(xù)短時(shí)語(yǔ)音幀進(jìn)行基于μ律倒譜分析的MFCC(Mel-Frequency Cepstral Coefficients)參數(shù)計(jì)算，在每個(gè)參數(shù)矢量中包含信號(hào)短時(shí)能量以及參數(shù)的一階、二階差分分量。本發(fā)明在學(xué)習(xí)輔助系統(tǒng)中建立了英語(yǔ)音標(biāo)發(fā)音學(xué)習(xí)的DHMM模型庫(kù)，中央處理器以其中的模型參數(shù)為基礎(chǔ)，通過(guò)Viterbi算法對(duì)當(dāng)前用戶發(fā)音進(jìn)行發(fā)音狀態(tài)轉(zhuǎn)移路徑搜索。在迭代搜索過(guò)程中，統(tǒng)計(jì)各狀態(tài)的激活持續(xù)時(shí)間，通過(guò)DHMM模型中狀態(tài)持續(xù)時(shí)間統(tǒng)計(jì)信息，結(jié)合狀態(tài)轉(zhuǎn)移和狀態(tài)輸出概率，對(duì)用戶當(dāng)前的學(xué)習(xí)發(fā)音做出準(zhǔn)確性判別。本發(fā)明中以百分制對(duì)被訓(xùn)練者給出評(píng)測(cè)成績(jī)。
如圖5所示，語(yǔ)音評(píng)測(cè)結(jié)束后，在計(jì)算機(jī)屏幕上方用百分?jǐn)?shù)顯示出本次發(fā)音的得分，該百分?jǐn)?shù)表明用戶發(fā)音與標(biāo)準(zhǔn)發(fā)音的相似程度，用來(lái)定量地評(píng)判發(fā)音的準(zhǔn)確性。同時(shí)，屏幕中反復(fù)回放視頻采集裝置所記錄下的用戶在發(fā)[a:]音過(guò)程中口型及面部特征變化的視頻錄像。用戶還可以點(diǎn)擊屏幕右方的“Standard Video”按鍵。點(diǎn)擊該按鍵后，顯示器上播放標(biāo)準(zhǔn)發(fā)音示范人發(fā)[a:]音的標(biāo)準(zhǔn)發(fā)音口型錄像。用戶可以將自己的發(fā)音口型與標(biāo)準(zhǔn)口型做比較，根據(jù)這些反饋信息反復(fù)矯正自己的發(fā)音。
此時(shí)屏幕最下方有三個(gè)選項(xiàng)“Try again”、“Choose new section”、“Quit”。如果用戶選擇“Try again”，則系統(tǒng)重新進(jìn)行國(guó)際音標(biāo)[a:]的發(fā)音輔助訓(xùn)練。如果用戶選擇“Choose new section”，則系統(tǒng)退回到功能選擇界面，等待用戶選擇新的語(yǔ)音訓(xùn)練內(nèi)容。如果用戶選擇“Quit”，則程序退出，返回操作系統(tǒng)界面。
實(shí)施例2，英語(yǔ)國(guó)家聾啞人學(xué)習(xí)英語(yǔ)單詞“car”的發(fā)音，所使用的軟件與硬件，以及計(jì)算機(jī)輔助學(xué)習(xí)軟件與實(shí)施例1相同。學(xué)習(xí)系統(tǒng)的啟動(dòng)方式與實(shí)施例1相同。如圖1所示，首先進(jìn)入系統(tǒng)主界面，在主界面中選擇“English”。如圖2所示，用戶在“Phonetic Symbol”、“CommonWord”、“Common Sentence”三個(gè)選項(xiàng)中用鼠標(biāo)左鍵單擊“CommonWord”選項(xiàng)。如圖6所示，進(jìn)入該選項(xiàng)后，計(jì)算機(jī)屏幕顯示一個(gè)對(duì)話框，對(duì)話框下方有英文提示“Please input the word”。用戶通過(guò)鍵盤在該對(duì)話框內(nèi)鍵入“car”，并單擊回車鍵，進(jìn)入英語(yǔ)單詞“car”的發(fā)音學(xué)習(xí)界面。
如圖7所示，進(jìn)入單詞“car”的發(fā)音學(xué)習(xí)界面后，用戶將可以看到屏幕最上方為單詞“car”以及其國(guó)際音標(biāo)的注音[ka:]，屏幕中間以低速播放真人發(fā)音的正面及側(cè)面口型錄像。
用戶學(xué)習(xí)完單詞“car”發(fā)音特點(diǎn)之后，點(diǎn)擊屏幕右下方按鈕“Preparefor test”，則屏幕顯示視頻采集裝置所捕捉的實(shí)時(shí)畫(huà)面，并提示“Pleaseadjust the position of your head correctly”。用戶調(diào)整自己頭部的位置和角度，使視頻采集裝置能夠穩(wěn)定清晰的捕捉到用戶發(fā)音時(shí)的口型及面部特征。調(diào)整結(jié)束后，用戶再次點(diǎn)擊該按鈕。從用戶點(diǎn)擊該按鈕開(kāi)始，語(yǔ)音采集裝置和視頻采集裝置開(kāi)始分別記錄下長(zhǎng)度為10秒鐘的音頻和視頻信號(hào)，并在計(jì)算機(jī)屏幕上顯示十秒鐘倒計(jì)時(shí)。在十秒鐘之內(nèi)，用戶對(duì)準(zhǔn)語(yǔ)音采集裝置發(fā)出[ka:]音。十秒鐘后，語(yǔ)音采集裝置和視頻采集裝置停止記錄音頻和視頻信號(hào)。
由于英語(yǔ)單詞的發(fā)音由多個(gè)音素構(gòu)成，因此本發(fā)明的方法采用基于不包含狀態(tài)持續(xù)時(shí)間統(tǒng)計(jì)信息的連續(xù)HMM方法對(duì)單詞發(fā)音給出準(zhǔn)確性評(píng)價(jià)。語(yǔ)音信號(hào)由聲卡實(shí)現(xiàn)模擬/數(shù)字變換，CPU首先對(duì)采集到的數(shù)字音頻數(shù)據(jù)流進(jìn)行短時(shí)分幀，由于語(yǔ)音信號(hào)具有短時(shí)平穩(wěn)特性，在連續(xù)的短時(shí)數(shù)字語(yǔ)音幀之間保持一定的交疊。數(shù)字音頻數(shù)據(jù)經(jīng)過(guò)加窗，本發(fā)明使用漢明窗處理后，再通過(guò)軟件預(yù)處理數(shù)字濾波器，實(shí)現(xiàn)環(huán)境噪聲抑制和高頻信號(hào)分量預(yù)加重。在連續(xù)的短時(shí)語(yǔ)音幀中，通過(guò)計(jì)算信號(hào)能量和過(guò)零率等參數(shù)實(shí)現(xiàn)對(duì)輸入話音信號(hào)起始和終止位置的初步判斷。在經(jīng)過(guò)初步確認(rèn)的數(shù)字話音流中，對(duì)連續(xù)短時(shí)語(yǔ)音幀進(jìn)行基于μ律倒譜分析的MFCC參數(shù)計(jì)算，在每個(gè)參數(shù)矢量中包含信號(hào)短時(shí)能量以及參數(shù)的一階、二階差分分量。本發(fā)明在學(xué)習(xí)輔助系統(tǒng)中存儲(chǔ)了覆蓋全部訓(xùn)練場(chǎng)景的非特定人隱含馬爾可夫模型HMM集合。CPU以該集合為基礎(chǔ)，對(duì)特征提取后得到的特征向量序列應(yīng)用Viterbi最優(yōu)化算法。由于已知話音的內(nèi)容，通過(guò)Viterbi算法找到被訓(xùn)練者本次發(fā)音的最優(yōu)狀態(tài)轉(zhuǎn)移路徑。以該最優(yōu)路徑對(duì)應(yīng)的連續(xù)HMM模型輸出概率為基礎(chǔ)，以百分制對(duì)被訓(xùn)練者給出評(píng)測(cè)成績(jī)。此后的操作過(guò)程與實(shí)施例1相同。
實(shí)施例3，英語(yǔ)國(guó)家聾啞人學(xué)習(xí)常用句型“This is my car”的發(fā)音，本實(shí)施例所使用的軟件與硬件，以及計(jì)算機(jī)輔助學(xué)習(xí)軟件與實(shí)施例1相同。學(xué)習(xí)系統(tǒng)的啟動(dòng)方式與實(shí)施例1相同。如圖1所示，首先進(jìn)入系統(tǒng)主界面，在主界面中選擇“English”。用戶在“Phonetic Symbol”、“Common Word”、“Common Sentence”三個(gè)選項(xiàng)中用鼠標(biāo)左鍵單擊“Common Sentence”選項(xiàng)。如圖9所示，進(jìn)入該選項(xiàng)后，計(jì)算機(jī)屏幕將顯示一個(gè)對(duì)話框，對(duì)話框下方有英文提示“Please input the sentence”。用戶通過(guò)鍵盤在該對(duì)話框內(nèi)鍵入“This is my car”，并單擊回車鍵，則進(jìn)入英語(yǔ)常用句型“This is my car”的發(fā)音學(xué)習(xí)界面。
如圖8所示，進(jìn)入常用句型“This is my car”的發(fā)音學(xué)習(xí)界面后，用戶將可以看到屏幕最上方為句型“This is my car”以及其國(guó)際音標(biāo)的注音[is iz mai ka:]。屏幕中間播放真人發(fā)音的口型錄像。此后的操作過(guò)程與實(shí)施例2相同。
實(shí)施例4，日語(yǔ)國(guó)家聾啞人學(xué)習(xí)日語(yǔ)平假名“き”的發(fā)音，本實(shí)施例所使用的軟件與硬件，以及計(jì)算機(jī)輔助學(xué)習(xí)軟件與實(shí)施例1相同。學(xué)習(xí)系統(tǒng)的啟動(dòng)方式與實(shí)施例1相同。
如圖1所示，首先進(jìn)入系統(tǒng)主界面，選擇“Japanese”。如圖9所示，用戶在“平仮名ひらがな”、“片仮名かたかな”、“語(yǔ)彙”、“連語(yǔ)”、“センテンス”五個(gè)選項(xiàng)中用鼠標(biāo)左鍵單擊“平仮名ひらがな”選項(xiàng)。如圖10所示，進(jìn)入該選項(xiàng)后，用戶可以看到計(jì)算機(jī)屏幕上顯示出日文平假名的五十音圖，該圖提供了日文中的全部51個(gè)平假名。
如圖11所示，用戶使用鼠標(biāo)左鍵單擊平假名“き”，則進(jìn)入平假名“き”的學(xué)習(xí)界面。計(jì)算機(jī)屏幕顯示出平假名“き”以及“き”的發(fā)音提示“口を少し開(kāi)けて、口元を後ろに広げ、舌先を下前歯を押しながら、息を吹き出す”。同時(shí)，屏幕顯示標(biāo)準(zhǔn)發(fā)音示范人正確發(fā)出“き”音時(shí)口型變化和送氣特征的正面動(dòng)畫(huà)、側(cè)面動(dòng)畫(huà)和發(fā)聲器官解剖結(jié)構(gòu)的發(fā)音過(guò)程動(dòng)畫(huà)。
用戶點(diǎn)擊屏幕右下方按鈕“良ㄑ準(zhǔn)備しておいてㄑださい”，則屏幕顯示視頻采集裝置所捕捉的實(shí)時(shí)畫(huà)面。用戶調(diào)整自己頭部的位置和角度，使視頻采集裝置能夠穩(wěn)定清晰的捕捉到用戶發(fā)音時(shí)的口型及面部特征。調(diào)整結(jié)束后，用戶再次點(diǎn)擊該按鈕。從用戶點(diǎn)擊該按鈕開(kāi)始，語(yǔ)音采集裝置和視頻采集裝置開(kāi)始分別記錄下長(zhǎng)度為10秒鐘的音頻和視頻信號(hào)，并在計(jì)算機(jī)屏幕上顯示十秒鐘倒計(jì)時(shí)。在十秒鐘之內(nèi)，用戶對(duì)準(zhǔn)語(yǔ)音采集裝置發(fā)出“き”音。十秒鐘后，語(yǔ)音采集裝置和視頻采集裝置停止記錄音頻和視頻信號(hào)。
對(duì)于日語(yǔ)發(fā)音學(xué)習(xí)中平假名和片假名發(fā)音準(zhǔn)確度的評(píng)測(cè)，本發(fā)明同樣采用包含了發(fā)音持續(xù)時(shí)間統(tǒng)計(jì)信息的DHMM(Duration HMM)方法對(duì)學(xué)習(xí)者的發(fā)音進(jìn)行判別和評(píng)估。具體判別評(píng)估過(guò)程與實(shí)施例1中的過(guò)程相同。如圖12所示，語(yǔ)音評(píng)測(cè)結(jié)束后，在計(jì)算機(jī)屏幕上方用百分?jǐn)?shù)顯示出本次發(fā)音的得分，該百分?jǐn)?shù)表明用戶發(fā)音與標(biāo)準(zhǔn)發(fā)音的相似程度，用來(lái)定量地評(píng)判發(fā)音的準(zhǔn)確性。同時(shí)，屏幕中反復(fù)回放視頻采集裝置所記錄下的用戶在發(fā)“き”音過(guò)程中口型及面部特征變化的視頻錄像。用戶還可以點(diǎn)擊屏幕右方的“標(biāo)準(zhǔn)動(dòng)作”按鍵。點(diǎn)擊該按鍵后，顯示器上播放標(biāo)準(zhǔn)發(fā)音示范人發(fā)“き”音的標(biāo)準(zhǔn)發(fā)音口型錄像。用戶可以將自己的發(fā)音口型與標(biāo)準(zhǔn)口型做比較，根據(jù)這些反饋信息反復(fù)矯正自己的發(fā)音。
本次測(cè)試結(jié)束后，屏幕最下方有三個(gè)選項(xiàng)“前回テストを繰り返す”、“新しい內(nèi)容”、“終了”。如果用戶選擇“前回テストを繰り返す”，則系統(tǒng)重新進(jìn)行平假名“き”的發(fā)音輔助訓(xùn)練。如果用戶選擇“新しい內(nèi)容”，則系統(tǒng)退回到主界面，等待用戶選擇新的語(yǔ)音訓(xùn)練。如果用戶選擇“終了”，則程序退出，返回操作系統(tǒng)界面。
實(shí)施例5，法語(yǔ)國(guó)家聾啞人學(xué)習(xí)法語(yǔ)單詞“vélo”的發(fā)音，本實(shí)施例所使用的軟件與硬件，以及計(jì)算機(jī)輔助學(xué)習(xí)軟件與實(shí)施例1相同。學(xué)習(xí)系統(tǒng)的啟動(dòng)方式與實(shí)施例1相同。
如圖1所示，首先進(jìn)入系統(tǒng)主界面，選擇“French”。如圖13所示，用戶在“Transcription Phonétique”、“Mot d’usage Courant”、“Phrased’usage Courant”三個(gè)選項(xiàng)中用鼠標(biāo)左鍵單擊“Mot d’usage Courant”選項(xiàng)。如圖14所示，進(jìn)入該選項(xiàng)后，計(jì)算機(jī)屏幕顯示一個(gè)對(duì)話框，對(duì)話框下方有法文提示“Importer le Mot”。用戶通過(guò)鍵盤在該對(duì)話框內(nèi)鍵入“vélo”，并單擊回車鍵，進(jìn)入法語(yǔ)單詞“vélo”的發(fā)音學(xué)習(xí)界面。
如圖15所示，進(jìn)入單詞“vélo”的發(fā)音學(xué)習(xí)界面后，用戶可以看到屏幕最上方為單詞“vélo”以及其注音[velp]。屏幕中間以低速播放真人發(fā)音的正面及側(cè)面口型錄像。
用戶學(xué)習(xí)完單詞“vélo”發(fā)音特點(diǎn)之后，點(diǎn)擊屏幕右下方按鈕“Préparer pour test”，則屏幕顯示視頻采集裝置所捕捉的實(shí)時(shí)畫(huà)面，并提示“Corrigez la position de votre tête”。用戶調(diào)整自己頭部的位置和角度，使視頻采集裝置能夠穩(wěn)定清晰的捕捉到用戶發(fā)音時(shí)的口型及面部特征。調(diào)整結(jié)束后，用戶再次點(diǎn)擊該按鈕。從用戶點(diǎn)擊該按鈕開(kāi)始，語(yǔ)音采集裝置和視頻采集裝置開(kāi)始分別記錄下長(zhǎng)度為10秒鐘的音頻和視頻信號(hào)，并在計(jì)算機(jī)屏幕上顯示十秒鐘倒計(jì)時(shí)。在十秒鐘之內(nèi)，用戶對(duì)準(zhǔn)語(yǔ)音采集裝置發(fā)出[velp]音。十秒鐘后，語(yǔ)音采集裝置和視頻采集裝置停止記錄音頻和視頻信號(hào)。
由于法語(yǔ)單詞的發(fā)音一般也由多個(gè)音素構(gòu)成，因此本輔助學(xué)習(xí)系統(tǒng)同樣采用基于不包含狀態(tài)持續(xù)時(shí)間統(tǒng)計(jì)信息的連續(xù)HMM方法對(duì)單詞發(fā)音給出準(zhǔn)確性評(píng)價(jià)。具體判別評(píng)估過(guò)程與實(shí)施例2中的過(guò)程相同。
語(yǔ)音評(píng)測(cè)結(jié)束后，在計(jì)算機(jī)屏幕上方用百分?jǐn)?shù)顯示出本次發(fā)音的得分，該百分?jǐn)?shù)表明用戶發(fā)音與標(biāo)準(zhǔn)發(fā)音的相似程度，用來(lái)定量地評(píng)判發(fā)音的準(zhǔn)確性。同時(shí)，屏幕中反復(fù)回放視頻采集裝置所記錄下的用戶在“vélo[velp]”的發(fā)音過(guò)程中口型及面部特征變化的視頻錄像。用戶還可以點(diǎn)擊屏幕右方的“manière d’agir de prononciation”按鍵。點(diǎn)擊該按鍵后，顯示器上播放標(biāo)準(zhǔn)發(fā)音示范人發(fā)“vélo[velp]”音的標(biāo)準(zhǔn)發(fā)音口型錄像。用戶可以將自己的發(fā)音口型與標(biāo)準(zhǔn)口型做比較，根據(jù)這些反饋信息反復(fù)矯正自己的發(fā)音。
如圖16所示，本次測(cè)試結(jié)束后，屏幕最下方有三個(gè)選項(xiàng)“répéterle contenu d’études”、“chiosir nouveau contenu d’études”、“quitter”。如果用戶選擇“répéter le contenu d’études”，則系統(tǒng)重新進(jìn)行單詞“vélo”的發(fā)音輔助訓(xùn)練。如果用戶選擇“chiosir nouveau contenu d’études”，則系統(tǒng)退回到主界面，等待用戶選擇新的語(yǔ)音訓(xùn)練。如果用戶選擇“quitter”，則程序退出，返回操作系統(tǒng)界面。
實(shí)施例6，法語(yǔ)國(guó)家聾啞人學(xué)習(xí)法語(yǔ)句子“Cest mon vélo”的發(fā)音，本實(shí)施例所使用的軟件與硬件，以及計(jì)算機(jī)輔助學(xué)習(xí)軟件與實(shí)施例1相同。學(xué)習(xí)系統(tǒng)的啟動(dòng)方式與實(shí)施例1相同。如圖1所示，首先進(jìn)入系統(tǒng)主界面，選擇“French”。如圖13所示，用戶在“TranscriptionPhonétique”、“Mot d’usage Courant”、“Phrase d’usage Courant”三個(gè)選項(xiàng)中用鼠標(biāo)左鍵單擊“Phrase d’usage Courant”選項(xiàng)。進(jìn)入該選項(xiàng)后，計(jì)算機(jī)屏幕將顯示一個(gè)對(duì)話框，對(duì)話框下方有法文提示“Importer laPhrase”。用戶通過(guò)鍵盤在該對(duì)話框內(nèi)鍵入“Cest mon vélo”，并單擊回車鍵，進(jìn)入法語(yǔ)句子“Cest mon vélo”的發(fā)音學(xué)習(xí)界面。
如圖17所示，進(jìn)入常用句型“Cest mon vélo”的發(fā)音學(xué)習(xí)界面后，用戶將可以看到屏幕最上方為句型“Cest mon vélo”以及其注音[sεmηvelp]。屏幕中間播放真人發(fā)音的口型錄像。此后的操作過(guò)程與實(shí)施例5相同。
本發(fā)明充分利用多媒體計(jì)算機(jī)的語(yǔ)音接收裝置、視頻采集裝置以及顯示器等多個(gè)硬件裝備，將計(jì)算機(jī)圖形圖像技術(shù)，包括靜態(tài)圖像技術(shù)和動(dòng)畫(huà)技術(shù)、多媒體計(jì)算機(jī)語(yǔ)音技術(shù)，包括語(yǔ)音識(shí)別和語(yǔ)音評(píng)測(cè)有機(jī)的結(jié)合起來(lái)，針對(duì)使用對(duì)象具有不同國(guó)別、不同母語(yǔ)的特點(diǎn)，在輔助教學(xué)過(guò)程中使用不同文字的教學(xué)語(yǔ)言，有效輔助英國(guó)、美國(guó)、日本、法國(guó)、德國(guó)、俄羅斯、西班牙等多個(gè)國(guó)家的聾啞人學(xué)習(xí)本國(guó)語(yǔ)言發(fā)音，滿足具有不同母語(yǔ)的聾啞人發(fā)音學(xué)習(xí)的需要。本發(fā)明的聾啞人語(yǔ)音計(jì)算機(jī)輔助學(xué)習(xí)方法簡(jiǎn)便易用，用戶可以在任何一臺(tái)帶有語(yǔ)音接收裝置、視頻采集裝置的多媒體電腦上使用本輔助學(xué)習(xí)系統(tǒng)。對(duì)學(xué)習(xí)對(duì)象的發(fā)音正確性用百分?jǐn)?shù)進(jìn)行準(zhǔn)確的量化評(píng)估，并利用評(píng)分、視頻等手段向?qū)W習(xí)者充分反饋其發(fā)聲與參考標(biāo)準(zhǔn)的差異。
權(quán)利要求
1.一種多種語(yǔ)言適用的聾啞人語(yǔ)音學(xué)習(xí)計(jì)算機(jī)輔助方法，包括以下步驟一、用戶根據(jù)自身需要選擇所需要學(xué)習(xí)的語(yǔ)言種類；二、用戶選擇并確定所需學(xué)習(xí)的語(yǔ)音單元；三、計(jì)算機(jī)的顯示器向用戶顯示需要學(xué)習(xí)的語(yǔ)音和所需注意的環(huán)節(jié)；四、啟動(dòng)計(jì)算機(jī)的語(yǔ)音接收裝置，等待用戶語(yǔ)音信號(hào)的輸入；五、語(yǔ)音接收裝置接收用戶發(fā)出的語(yǔ)音信號(hào)，進(jìn)行模擬/數(shù)字轉(zhuǎn)換；六、計(jì)算機(jī)的中央處理器從模擬數(shù)字轉(zhuǎn)換裝置提取所需的語(yǔ)音特征；七、中央處理器對(duì)用戶發(fā)音做出準(zhǔn)確性判別；八、在顯示器上顯示用戶發(fā)音的準(zhǔn)確度。
2.根據(jù)權(quán)利要求1所述的多種語(yǔ)言適用的聾啞人語(yǔ)音學(xué)習(xí)計(jì)算機(jī)輔助方法，其特征在于所述中央處理器從模擬數(shù)字轉(zhuǎn)換裝置提取所需的語(yǔ)音特征時(shí)，通過(guò)端點(diǎn)檢測(cè)獲得用戶發(fā)音相關(guān)的數(shù)字語(yǔ)音數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的多種語(yǔ)言適用的聾啞人語(yǔ)音學(xué)習(xí)計(jì)算機(jī)輔助方法，其特征在于所述當(dāng)用戶學(xué)習(xí)單音節(jié)的發(fā)音時(shí)，中央處理器采用對(duì)連續(xù)短時(shí)語(yǔ)音幀進(jìn)行基于μ律倒譜分析的MFCC參數(shù)計(jì)算，在每個(gè)參數(shù)矢量中包含信號(hào)短時(shí)能量以及參數(shù)的一階、二階差分分量，以DHMM模型參數(shù)為基礎(chǔ)，通過(guò)Viterbi算法，對(duì)發(fā)音準(zhǔn)確程度進(jìn)行判別；當(dāng)用戶學(xué)習(xí)多音節(jié)、單詞、句子發(fā)音時(shí)，中央處理器通過(guò)傳統(tǒng)HMM方法實(shí)現(xiàn)對(duì)用戶的連續(xù)發(fā)音過(guò)程進(jìn)行發(fā)音準(zhǔn)確程度判別。
4.根據(jù)權(quán)利要求3所述的多種語(yǔ)言適用的聾啞人語(yǔ)音學(xué)習(xí)計(jì)算機(jī)輔助方法，其特征在于所述語(yǔ)音接收裝置啟動(dòng)時(shí)，同時(shí)啟動(dòng)視頻采集裝置，捕捉用戶發(fā)音時(shí)的口型的細(xì)部特征。
5.根據(jù)權(quán)利要求4所述的多種語(yǔ)言適用的聾啞人語(yǔ)音學(xué)習(xí)計(jì)算機(jī)輔助方法，其特征在于所述顯示器向用戶顯示需要學(xué)習(xí)的語(yǔ)音和所需注意的環(huán)節(jié)時(shí)，使用文字和動(dòng)畫(huà)圖像向用戶提示發(fā)音特點(diǎn)與口型特征。
6.根據(jù)權(quán)利要求5所述的多種語(yǔ)言適用的聾啞人語(yǔ)音學(xué)習(xí)計(jì)算機(jī)輔助方法，其特征在于所述顯示器使用動(dòng)畫(huà)圖像向用戶提示發(fā)音特點(diǎn)與口型特征時(shí)，用口型變化和送氣特征的正面動(dòng)畫(huà)、側(cè)面動(dòng)畫(huà)和發(fā)聲器官解剖結(jié)構(gòu)的發(fā)音過(guò)程動(dòng)畫(huà)圖像，演示發(fā)聲器官的配合運(yùn)動(dòng)。
7.根據(jù)權(quán)利要求6所述的多種語(yǔ)言適用的聾啞人語(yǔ)音學(xué)習(xí)計(jì)算機(jī)輔助方法，其特征在于所述計(jì)算機(jī)的中央處理器提取所需的語(yǔ)音單元時(shí)采用端點(diǎn)檢測(cè)的方法，通過(guò)計(jì)算信號(hào)能量和過(guò)零率實(shí)現(xiàn)對(duì)輸入話音信號(hào)起始和終止位置的初步判決。
8.根據(jù)權(quán)利要求7所述的多種語(yǔ)言適用的聾啞人語(yǔ)音學(xué)習(xí)計(jì)算機(jī)輔助方法，其特征在于所述語(yǔ)音接收裝置接收用戶發(fā)出的語(yǔ)音信號(hào)時(shí)，通過(guò)軟件預(yù)處理數(shù)字濾波器，對(duì)環(huán)境噪聲進(jìn)行抑制和高頻信號(hào)分量預(yù)加重。
9.根據(jù)權(quán)利要求8所述的多種語(yǔ)言適用的聾啞人語(yǔ)音學(xué)習(xí)計(jì)算機(jī)輔助方法，其特征在于所述在顯示器上顯示用戶發(fā)音的準(zhǔn)確度時(shí)，使用百分?jǐn)?shù)顯示發(fā)音準(zhǔn)確度，同時(shí)回放用戶發(fā)音時(shí)的錄像信息，與標(biāo)準(zhǔn)發(fā)音視頻動(dòng)畫(huà)進(jìn)行比較。
10.根據(jù)權(quán)利要求9所述的多種語(yǔ)言適用的聾啞人語(yǔ)音學(xué)習(xí)計(jì)算機(jī)輔助方法，其特征在于所述用戶選擇并確定所需學(xué)習(xí)的語(yǔ)音單元為音標(biāo)、單詞或句子。
全文摘要
本發(fā)明公開(kāi)了一種多種語(yǔ)言適用的聾啞人語(yǔ)音學(xué)習(xí)計(jì)算機(jī)輔助方法，要解決的技術(shù)問(wèn)題是幫助家長(zhǎng)和老師從繁重而重復(fù)的語(yǔ)言教學(xué)活動(dòng)中解放出來(lái)，本發(fā)明的方法包括以下步驟用戶選擇學(xué)習(xí)的語(yǔ)言種類，學(xué)習(xí)的語(yǔ)音單元，顯示器顯示學(xué)習(xí)的語(yǔ)音和注意環(huán)節(jié)，啟動(dòng)語(yǔ)音接收裝置，接收語(yǔ)音信號(hào)，進(jìn)行模擬/數(shù)字轉(zhuǎn)換，中央處理器提取語(yǔ)音特征，對(duì)發(fā)音做出準(zhǔn)確性判別，顯示器顯示發(fā)音的準(zhǔn)確度，本發(fā)明與現(xiàn)有技術(shù)相比，利用多媒體計(jì)算機(jī)的硬件裝備，將計(jì)算機(jī)圖形圖像技術(shù)、多媒體計(jì)算機(jī)語(yǔ)音技術(shù)結(jié)合起來(lái)，針對(duì)使用對(duì)象具有不同母語(yǔ)的特點(diǎn)，在輔助教學(xué)過(guò)程中使用不同文字的教學(xué)語(yǔ)言，有效輔助不同國(guó)家的聾啞人學(xué)習(xí)本國(guó)語(yǔ)言發(fā)音，滿足具有不同母語(yǔ)的聾啞人發(fā)音學(xué)習(xí)的需要。
文檔編號(hào)G06F17/00GK1851779SQ200610060778
公開(kāi)日2006年10月25日 申請(qǐng)日期2006年5月16日 優(yōu)先權(quán)日2006年5月16日
發(fā)明者黃中偉, 楊磊, 孫宏元, 蒙山, 徐 明 申請(qǐng)人:黃中偉, 楊磊, 孫宏元, 蒙山, 徐 明