專利名稱：電子耳蝸聽覺仿真平臺(tái)、仿真試驗(yàn)方法及算法比較方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種對電子耳蝸植入患者產(chǎn)生的電聽覺進(jìn)行仿真的軟件平臺(tái)，尤其是能整合多種電子耳蝸語音處理算法的聽覺仿真模型及評測算法效果的仿真平臺(tái)。
背景技術(shù)：
電子耳蝸是替代正常人內(nèi)耳功能的一種電子裝置，用于幫助全聾患者恢復(fù)聽覺。電子耳蝸利用植入內(nèi)耳的電極繞過內(nèi)耳受損部位，用微弱電流直接刺激殘余的聽神經(jīng)產(chǎn)生興奮，該興奮沿聽覺通路傳遞至大腦并被解釋為聲音，從而使患者獲得聽覺。由于患者聽到的不是真正聲場的聲音，而是由電刺激誘發(fā)的聽覺，所以簡稱電聽覺。電聽覺效果的好壞，是否真的和正常人聽到聲音的感覺相似，取決于電子耳蝸體外語音編碼器中運(yùn)行的語音編碼算法的好壞。然而，不可能依靠反復(fù)在患者身上多次植入來驗(yàn)證和選擇算法。因此，極為需要采用建立聽覺仿真模型的方法來調(diào)試、評價(jià)、驗(yàn)證各種算法的一種研究平臺(tái)。
根據(jù)耳蝸的位置-音調(diào)原理、頻率-音調(diào)原理、響度感覺原理等理論及電子耳蝸的語音信號處理原理，耳蝸在微弱電流刺激的作用下，電極附近的神經(jīng)元被同時(shí)激活，相當(dāng)于對語音信號非連續(xù)地頻域分析。刺激耳蝸的不同位置引起大腦不同的音調(diào)感覺，不同的刺激幅度引起不同的響度感覺，大腦對這些信息加工后，產(chǎn)生語音感覺，這就是電聽覺合成原理。聽覺仿真模型依據(jù)不同語音處理算法的處理流程，對電聽覺合成的原理公式做以相應(yīng)的簡化，從而得到基于不同算法的聽覺仿真模型。
目前，在已有的電子耳蝸語音處理算法的研究中，所提出和使用的主要是針對單一的電子耳蝸語音處理算法搭建的聽覺仿真模型。但是，目前臨床上使用的不同電子耳蝸產(chǎn)品分別采用的是不同的語音處理算法，僅僅靠建立單一的聽覺仿真模型來比較不同產(chǎn)品所采用的語音處理算法優(yōu)劣非常困難，基本上無法統(tǒng)一參數(shù)標(biāo)準(zhǔn)和評價(jià)準(zhǔn)則，并且現(xiàn)有的聽覺仿真模型并未涵蓋所有的電子耳蝸語音處理算法，所包含的仿真參數(shù)也沒有全面表征電子耳蝸產(chǎn)品的實(shí)際特點(diǎn)。這些缺陷都不利于電子耳蝸語音處理算法的研究和改進(jìn)以及新算法的開發(fā)。

發(fā)明內(nèi)容
為了克服現(xiàn)有的針對單一算法建立的聽覺仿真模型無法橫向比較算法效果，以及聽覺仿真模型包含的仿真參數(shù)有限的不足，本發(fā)明提供一種電子耳蝸聽覺仿真平臺(tái)，該聽覺仿真平臺(tái)不僅能預(yù)測出使用不同電子耳蝸語音處理算法的電子耳蝸植入者的電聽覺效果，而且整合了多種電子耳蝸語音處理算法的聽覺仿真模型，能方便地確定參數(shù)標(biāo)準(zhǔn)和評價(jià)準(zhǔn)則，從而橫向比較和評測不同的電子耳蝸硬件產(chǎn)品所采用的算法的語音處理效果，并且為研究人員提供了方便的算法研究和開發(fā)平臺(tái)。
本發(fā)明電子耳蝸聽覺仿真平臺(tái)包括一聽覺仿真模型程序庫，它整合了現(xiàn)有電子耳蝸產(chǎn)品中所使用的多種語音處理算法、以及基于漢語特征的語音處理算法所對應(yīng)的聽覺仿真模型程序；一語音材料數(shù)據(jù)庫，它存貯有若干原始語音材料和對應(yīng)于每一原始語音材料的幾個(gè)仿真語音材料，所述對應(yīng)于某一個(gè)原始語音材料的幾個(gè)仿真語音材料是由該原始語音材料分別經(jīng)過相應(yīng)語音處理算法的聽覺仿真模型程序處理得到的；一聽覺仿真試驗(yàn)數(shù)據(jù)庫，它包括聽覺仿真試驗(yàn)試題庫、聽覺仿真試驗(yàn)結(jié)果庫及聽覺仿真試驗(yàn)受試者信息庫；以及，一聽覺仿真軟件平臺(tái)，該仿真軟件平臺(tái)包括，一聽覺仿真試驗(yàn)?zāi)K，該模塊調(diào)用所述聽覺仿真試驗(yàn)數(shù)據(jù)庫中的試題，通過受測試的正常聽力人群對與該試題相對應(yīng)的經(jīng)過聽覺仿真模型處理的仿真語音材料進(jìn)行識(shí)別、分辨，預(yù)測電子耳蝸植入者的電聽覺效果，并統(tǒng)計(jì)試驗(yàn)結(jié)果的識(shí)別正確率來評測相應(yīng)的語音處理算法的效果；和，一語音處理算法比較模塊，該模塊調(diào)用所述聽覺仿真模型程序庫、語音材料數(shù)據(jù)庫和聽覺仿真試驗(yàn)數(shù)據(jù)庫進(jìn)行電子耳蝸產(chǎn)品的不同語音處理算法間比較和同種算法不同參數(shù)間比較，實(shí)現(xiàn)語音處理算法橫向比較。
所述聽覺仿真試驗(yàn)數(shù)據(jù)庫中的聽覺仿真試驗(yàn)試題，包括單項(xiàng)選擇試題和開放式試題兩種類型，試題內(nèi)容包括針對單個(gè)語音處理算法的仿真語音材料的試題和不同語音處理算法仿真語音材料混疊的試題，以及白噪聲背景下不同信噪比的單個(gè)語音處理算法的仿真語音材料的試題和不同語音處理算法仿真語音材料混疊的試題。
基于上述電子耳蝸聽覺仿真平臺(tái)的聽覺仿真試驗(yàn)方法，包括以下步驟①、正常聽力的受試者首先登陸電子耳蝸聽覺仿真平臺(tái)，注冊或更新所述受試者的信息；
②、選擇聽覺仿真試驗(yàn)的試題類型，開始聽覺仿真試驗(yàn)，聽覺仿真軟件平臺(tái)從聽覺仿真試驗(yàn)試題庫中調(diào)出所述受試者選擇的試題，向所述受試者播放每道試題對應(yīng)的仿真語音材料，受試者根據(jù)聽到的仿真語音材料進(jìn)行辨識(shí)，同時(shí)選擇或填寫相對應(yīng)的答案；③、試題全部答完后，所述聽覺仿真軟件平臺(tái)對試驗(yàn)結(jié)果進(jìn)行評分，統(tǒng)計(jì)所述受試者的識(shí)別正確率，同時(shí)更新聽覺仿真試驗(yàn)結(jié)果庫。
基于上述電子耳蝸聽覺仿真平臺(tái)的語音處理算法比較方法，包括不同語音處理算法間比較和同種語音處理算法不同參數(shù)間比較，所述不同語音處理算法間比較包括以下步驟a、選擇待比較的語音處理算法；b、預(yù)測不同算法電聽覺效果比較，進(jìn)行不同算法仿真語音信號時(shí)域和頻域波形的對比，和進(jìn)行原始語音與不同算法仿真語音效果的聽辨比較；c、將待比較的語音處理算法進(jìn)行仿真試驗(yàn)結(jié)果比較，對比不同算法下仿真試驗(yàn)識(shí)別正確率，和將不同算法的試驗(yàn)結(jié)果跟臨床統(tǒng)計(jì)數(shù)據(jù)比較；d、將待比較的語音處理算法進(jìn)行電刺激編碼策略比較，對不同算法下的電刺激編碼策略進(jìn)行對比；所述同種語音處理算法不同參數(shù)間比較包括以下步驟1)、選擇參數(shù)；2)、進(jìn)行不同參數(shù)下預(yù)測電聽覺效果比較，進(jìn)行不同參數(shù)仿真語音信號時(shí)域和頻域波形的對比，和進(jìn)行原始語音與不同參數(shù)仿真語音效果的聽辨比較；3)、選擇不同參數(shù)進(jìn)行仿真試驗(yàn)結(jié)果比較，對比不同參數(shù)下仿真試驗(yàn)識(shí)別正確率，和將不同參數(shù)的試驗(yàn)結(jié)果跟臨床統(tǒng)計(jì)數(shù)據(jù)比較。
本發(fā)明根據(jù)電子耳蝸語音信號處理算法和聽覺仿真技術(shù)，利用VC++6.0平臺(tái)結(jié)合Matlab6.5程序和Microsoft Access 2003數(shù)據(jù)庫接口，通過整合聽覺仿真模型程序庫、語音材料數(shù)據(jù)庫和聽覺仿真試驗(yàn)數(shù)據(jù)庫，實(shí)現(xiàn)了電子耳蝸聽覺仿真平臺(tái)。其主要效果有a)提供了整合多種電子耳蝸語音處理算法的聽覺仿真模型程序庫，能夠方便地預(yù)測出使用不同電子耳蝸語音處理算法的植入者的電聽覺效果。
b)能夠方便地確定參數(shù)標(biāo)準(zhǔn)和評價(jià)準(zhǔn)則，跨電子耳蝸硬件平臺(tái)來比較和評測不同語音處理算法的語音處理效果，為研究人員提供了方便的算法研究和開發(fā)平臺(tái)。
c)提供并擴(kuò)展了聽覺仿真模型算法的多參數(shù)控制，使得聽覺仿真模型能夠更加全面地表征電子耳蝸產(chǎn)品的特性，從而可以更加全面有效地研究電子耳蝸語音處理算法。


圖1是本電子耳蝸聽覺仿真平臺(tái)整體結(jié)構(gòu)框圖；圖2是其聽覺仿真軟件平臺(tái)的整體功能框圖；圖3是其進(jìn)行聽覺仿真試驗(yàn)和結(jié)果統(tǒng)計(jì)流程示意圖；圖4是其語音處理算法橫向比較流程示意圖。
具體實(shí)施例方式
下面結(jié)合

本發(fā)明的具體實(shí)施方式
。
圖1是本電子耳蝸聽覺仿真平臺(tái)的整體結(jié)構(gòu)框圖。本電子耳蝸聽覺仿真平臺(tái)包括以下四個(gè)部分聽覺仿真軟件平臺(tái)1、聽覺仿真模型程序庫4、語音材料數(shù)據(jù)庫2和聽覺仿真試驗(yàn)數(shù)據(jù)庫3。
聽覺仿真軟件平臺(tái)1基于VC++6.0開發(fā)，是整個(gè)電子耳蝸聽覺仿真平臺(tái)的基礎(chǔ)和用戶交互環(huán)境，聽覺仿真軟件平臺(tái)1通過打開和讀取語音材料數(shù)據(jù)庫2中原始語音材料和仿真語音材料文件，實(shí)現(xiàn)在聽覺仿真試驗(yàn)?zāi)K11、語音處理算法比較模塊12、語音材料數(shù)據(jù)庫維護(hù)模塊13、聽覺仿真試驗(yàn)數(shù)據(jù)庫維護(hù)模塊14中對語音材料數(shù)據(jù)庫2的調(diào)用；通過使用VC++6.0的ADO數(shù)據(jù)庫訪問技術(shù)，實(shí)現(xiàn)在聽覺仿真試驗(yàn)數(shù)據(jù)庫4的用戶信息數(shù)據(jù)庫維護(hù)模塊16中同用戶信息數(shù)據(jù)庫的接口；通過使用Matlab6.5的COM Builder技術(shù)將基于Matlab6.5開發(fā)的聽覺仿真模型程序庫4打包成COM組件并在VC++6.0中調(diào)用，實(shí)現(xiàn)與聽覺仿真模型程序庫4的接口。其中，語音材料數(shù)據(jù)庫2中的仿真語音數(shù)據(jù)由聽覺仿真模型程序庫4處理相應(yīng)的原始語音數(shù)據(jù)得到。
聽覺仿真模型程序庫4整合了現(xiàn)有電子耳蝸產(chǎn)品中所使用的多種語音處理算法、以及基于漢語特征的語音處理算法所對應(yīng)的聽覺仿真模型程序。聽覺仿真模型程序在Matlab6.5編程環(huán)境下實(shí)現(xiàn)，根據(jù)不同語音處理算法的原理，從原始語音材料中提取并向每個(gè)電子耳蝸植入電極上傳遞的信息，包括原始語音材料的音調(diào)頻率、電刺激的幅度信息、刺激脈寬、刺激電流幅度和刺激脈寬對產(chǎn)生音調(diào)感覺強(qiáng)度的影響、刺激幅度對音調(diào)的影響以及大腦對該植入電極所傳遞信號的音調(diào)感覺等，將各個(gè)植入電極上的信息特征按照語音合成規(guī)則加合起來，從而提取了原始語音材料的主要信息，調(diào)制合成仿真語音。聽覺仿真模型程序的輸入?yún)?shù)根據(jù)不同語音處理算法的原理，相應(yīng)的包括對應(yīng)電子耳蝸植入電極數(shù)目和位置的分頻帶濾波器參數(shù)，提取原始語音材料中信息特征的方法，合成仿真語音的方法等。以連續(xù)交替取樣(Continuous Interleaved Sampling，簡稱CIS)算法的聽覺仿真模型程序?yàn)槔?，根?jù)植入電極的數(shù)目和位置，對原始語音材料進(jìn)行分頻帶處理并提取相應(yīng)頻帶的幅度信息作為植入電極的電刺激幅度信息，產(chǎn)生的大腦的音調(diào)感覺用一組不同頻率的正弦信號來表征，植入電極的位置對應(yīng)特定頻率的正弦信號，電極上刺激電流的幅度對應(yīng)正弦信號的幅度，刺激速率的變化對應(yīng)于正弦頻率的改變，將幅度調(diào)制過的正弦信號加合起來就得到模擬電聽覺的仿真語音。
語音材料數(shù)據(jù)庫2存貯有若干原始語音材料和對應(yīng)于每一原始語音材料的幾個(gè)模擬電聽覺的仿真語音材料，所述的原始語音材料為外界采集的真實(shí)語音信號，所述對應(yīng)于某一個(gè)原始語音材料的幾個(gè)仿真語音材料是由該原始語音材料分別經(jīng)過相應(yīng)語音處理算法的聽覺仿真模型程序處理得到的合成仿真語音。所述的原始語音材料以普通話為主，包括按照普通話發(fā)聲的音素、詞語和句子材料。
聽覺仿真試驗(yàn)數(shù)據(jù)庫3基于Microsoft Access 2003開發(fā)，包括聽覺仿真試驗(yàn)試題庫、聽覺仿真試驗(yàn)結(jié)果庫及聽覺仿真試驗(yàn)受試者信息庫。其中，聽覺仿真試驗(yàn)試題包括單項(xiàng)選擇試題和開放式試題兩種類型，試題內(nèi)容包括針對單個(gè)語音處理算法的試題和各種語音處理算法混合的試題，以及白噪聲背景下不同信噪比的語音材料的試題和不同語音材料混疊的試題。
圖2是其聽覺仿真軟件平臺(tái)1的整體功能框圖。所述的聽覺仿真軟件平臺(tái)1基于VC++6.0環(huán)境開發(fā)，通過調(diào)用語音材料數(shù)據(jù)庫2和聽覺仿真試驗(yàn)數(shù)據(jù)庫3實(shí)現(xiàn)了聽覺仿真試驗(yàn)的試驗(yàn)平臺(tái)，并且分別利用了VC++6.0的ADO數(shù)據(jù)庫訪問技術(shù)、Matlab6.5的COMBuilder技術(shù)以及VC++6.0調(diào)用COM組件技術(shù)，整合了聽覺仿真試驗(yàn)數(shù)據(jù)庫3和聽覺仿真模型程序庫4。如圖2所示，聽覺仿真軟件平臺(tái)1包括以下六個(gè)模塊聽覺仿真試驗(yàn)?zāi)K11、語音處理算法比較模塊12、語音材料數(shù)據(jù)庫維護(hù)模塊13、聽覺仿真試驗(yàn)數(shù)據(jù)庫維護(hù)模塊14、聽覺仿真模型程序庫維護(hù)模塊15和用戶信息數(shù)據(jù)庫維護(hù)模塊16。
所述的六個(gè)模塊分別為電子耳蝸語音信號處理算法研發(fā)人員提供以下六種主要功能一、聽覺仿真試驗(yàn)?zāi)K11，進(jìn)行正常聽力人群的聽覺仿真試驗(yàn)，調(diào)用所述聽覺仿真試驗(yàn)數(shù)據(jù)庫3中的試題，受測試的正常聽力人群對與試題相對應(yīng)的經(jīng)過聽覺仿真模型處理的包含部分語音信息的仿真語音材料進(jìn)行識(shí)別、分辨，預(yù)測電子耳蝸植入者的電聽覺效果，并統(tǒng)計(jì)試驗(yàn)結(jié)果的識(shí)別正確率來評測相應(yīng)的語音處理算法的效果。
二、語音處理算法比較模塊12進(jìn)行語音處理算法橫向比較，調(diào)用所述的聽覺仿真模型程序庫4、語音材料數(shù)據(jù)庫2和聽覺仿真試驗(yàn)數(shù)據(jù)庫3進(jìn)行電子耳蝸產(chǎn)品的不同語音處理算法間比較和同種算法不同參數(shù)間比較。對每個(gè)電子耳蝸植入電極上傳遞的信息，提取其音調(diào)頻率、電刺激的幅度函數(shù)、刺激脈寬、刺激電流幅度和刺激脈寬對產(chǎn)生音調(diào)感覺強(qiáng)度的影響、刺激幅度對音調(diào)的影響以及大腦對該植入電極所傳遞信號的音調(diào)感覺。
三、語音材料數(shù)據(jù)庫維護(hù)模塊13，提供原始語音材料的維護(hù)更新和對應(yīng)的仿真語音材料的維護(hù)更新功能。所述的仿真語音材料的維護(hù)更新步驟包括，選擇原始語音材料，選擇聽覺仿真模型程序庫4中包含的語音處理算法，調(diào)用聽覺仿真模型程序庫4中選定的語音處理算法所對應(yīng)的聽覺仿真模型程序，處理選定的原始語音材料，合成對應(yīng)的仿真語音材料，更新語音材料數(shù)據(jù)庫。
四、聽覺仿真試驗(yàn)數(shù)據(jù)庫維護(hù)模塊14，進(jìn)行聽覺仿真試驗(yàn)材料和聽覺仿真試驗(yàn)試題的維護(hù)更新。聽覺仿真試驗(yàn)試題包括單項(xiàng)選擇試題和開放式試題兩種類型，試題內(nèi)容包括針對單個(gè)語音處理算法的仿真語音材料的試題和不同語音處理算法仿真語音材料混疊的試題，以及白噪聲背景下不同信噪比的單個(gè)語音處理算法的仿真語音材料的試題和不同語音處理算法仿真語音材料混疊的試題。聽覺仿真試驗(yàn)材料對應(yīng)于聽覺仿真試驗(yàn)試題的類型和內(nèi)容，單項(xiàng)選擇試題的試驗(yàn)材料以音素材料為主，包括元音、輔音和聲調(diào)，開放式試題的試驗(yàn)材料以詞語和句子為主；單個(gè)語音處理算法的仿真語音材料的試題的試驗(yàn)材料均為同一語音處理算法的聽覺仿真模型程序處理得到的仿真語音材料，不同語音處理算法仿真語音材料混疊的試題的試驗(yàn)材料則為語音處理算法的聽覺仿真模型程序處理得到的仿真語音材料的混疊，在試驗(yàn)材料中加入不同信躁比的白噪聲背景則得到白噪聲背景下不同信躁比的單個(gè)語音處理算法的仿真語音材料的試題的試驗(yàn)材料。
五、聽覺仿真模型程序庫維護(hù)模塊15提供聽覺仿真模型程序庫的維護(hù)功能。聽覺仿真模型程序的輸入?yún)?shù)根據(jù)不同語音處理算法的原理，相應(yīng)的包括對應(yīng)電子耳蝸植入電極數(shù)目和位置的分頻帶濾波器參數(shù)，提取原始語音材料中信息特征的方法，合成仿真語音的方法等。在聽覺仿真模型程序庫維護(hù)模塊15中，提供對聽覺仿真模型程序的輸入?yún)?shù)進(jìn)行設(shè)置更新和保存輸出的功能。
六、用戶信息數(shù)據(jù)庫維護(hù)模塊16進(jìn)行用戶信息數(shù)據(jù)庫維護(hù)，通過使用VC++6.0的ADO數(shù)據(jù)庫訪問技術(shù)，打開用戶信息數(shù)據(jù)庫，更新、添加或刪除聽覺仿真試驗(yàn)受試者和仿真平臺(tái)管理員的信息等。
圖3是進(jìn)行聽覺仿真試驗(yàn)和結(jié)果統(tǒng)計(jì)流程示意圖?；谏鲜鲭娮佣伮犛X仿真平臺(tái)的聽覺仿真試驗(yàn)方法，包括以下步驟①、正常聽力的受試者首先登陸電子耳蝸聽覺仿真平臺(tái)，注冊或更新所述受試者的信息S31；
②、選擇聽覺仿真試驗(yàn)的試題類型S32，開始聽覺仿真試驗(yàn)S34，聽覺仿真軟件平臺(tái)從聽覺仿真試驗(yàn)試題庫中調(diào)出所述受試者選擇的試題S33，同時(shí)利用VC++6.0的語音播放功能向所述受試者播放每道試題對應(yīng)的仿真語音材料，受試者根據(jù)聽到的仿真語音材料進(jìn)行辨識(shí)，同時(shí)選擇或填寫相對應(yīng)的答案；③、試題全部答完后，所述聽覺仿真軟件平臺(tái)對試驗(yàn)結(jié)果進(jìn)行評分，統(tǒng)計(jì)所述受試者的識(shí)別正確率S35，同時(shí)更新聽覺仿真試驗(yàn)結(jié)果庫S36。
圖4是語音處理算法橫向比較流程示意圖。本發(fā)明提供了跨電子耳蝸硬件平臺(tái)的語音處理算法橫向比較功能，它借助聽覺仿真手段對語音處理算法的處理效果實(shí)現(xiàn)了的全面比較，包括電子耳蝸產(chǎn)品的不同語音處理算法間比較S1和同種語音處理算法不同參數(shù)間比較S2。
其中，所述不同語音處理算法間比較S1包括以下步驟a、選擇待比較的語音處理算法S11；b、預(yù)測不同算法電聽覺效果比較S12，進(jìn)行不同算法仿真語音信號時(shí)域和頻域波形的對比S13，和進(jìn)行原始語音與不同算法仿真語音效果的聽辨比較S14；c、將待比較的語音處理算法進(jìn)行仿真試驗(yàn)結(jié)果比較S15，對比不同算法下仿真試驗(yàn)識(shí)別正確率S16，和將不同算法的試驗(yàn)結(jié)果跟臨床統(tǒng)計(jì)數(shù)據(jù)比較S17；d、將待比較的語音處理算法進(jìn)行電刺激編碼策略比較S18，對不同算法下的電刺激編碼策略進(jìn)行對比S19；所述同種語音處理算法不同參數(shù)間比較S2包括以下步驟1)、選擇參數(shù)S21；2)、進(jìn)行不同參數(shù)下預(yù)測電聽覺效果比較S22，進(jìn)行不同參數(shù)仿真語音信號時(shí)域和頻域波形的對比S23，和進(jìn)行原始語音與不同參數(shù)仿真語音效果的聽辨比較S24；3)、選擇不同參數(shù)進(jìn)行仿真試驗(yàn)結(jié)果比較S25，對比不同參數(shù)下仿真試驗(yàn)識(shí)別正確率S26，和將不同參數(shù)的試驗(yàn)結(jié)果跟臨床統(tǒng)計(jì)數(shù)據(jù)比較S27。
權(quán)利要求
1.一種電子耳蝸聽覺仿真平臺(tái)，其特征在于包括一聽覺仿真模型程序庫(4)，它整合了現(xiàn)有電子耳蝸產(chǎn)品中所使用的多種語音處理算法、以及基于漢語特征的語音處理算法所對應(yīng)的聽覺仿真模型程序；一語音材料數(shù)據(jù)庫(2)，它存貯有若干原始語音材料和對應(yīng)于每一原始語音材料的幾個(gè)仿真語音材料，所述對應(yīng)于某一個(gè)原始語音材料的幾個(gè)仿真語音材料是由該原始語音材料分別經(jīng)過相應(yīng)語音處理算法的聽覺仿真模型程序處理得到的；一聽覺仿真試驗(yàn)數(shù)據(jù)庫(3)，它包括聽覺仿真試驗(yàn)試題庫、聽覺仿真試驗(yàn)結(jié)果庫及聽覺仿真試驗(yàn)受試者信息庫；以及，一聽覺仿真軟件平臺(tái)(1)，該仿真軟件平臺(tái)(1)包括，一聽覺仿真試驗(yàn)?zāi)K(11)，該模塊調(diào)用所述聽覺仿真試驗(yàn)數(shù)據(jù)庫(3)中的試題，通過受測試的正常聽力人群對與該試題相對應(yīng)的經(jīng)過聽覺仿真模型處理的仿真語音材料進(jìn)行識(shí)別、分辨，預(yù)測電子耳蝸植入者的電聽覺效果，并統(tǒng)計(jì)試驗(yàn)結(jié)果的識(shí)別正確率來評測相應(yīng)的語音處理算法的效果；和，一語音處理算法比較模塊(12)，該模塊調(diào)用所述聽覺仿真模型程序庫(4)、語音材料數(shù)據(jù)庫(2)和聽覺仿真試驗(yàn)數(shù)據(jù)庫(3)進(jìn)行電子耳蝸產(chǎn)品的不同語音處理算法間比較和同種算法不同參數(shù)間比較，實(shí)現(xiàn)語音處理算法橫向比較。
2.根據(jù)權(quán)利要求1所述的電子耳蝸聽覺仿真平臺(tái)，其特征在于所述聽覺仿真軟件平臺(tái)(1)還包括語音材料數(shù)據(jù)庫維護(hù)模塊(13)，該模塊(13)用于原始語音材料的維護(hù)更新和對應(yīng)的仿真語音材料的維護(hù)更新；其中，仿真語音材料的維護(hù)更新包括，選擇原始語音材料，選擇聽覺仿真模型程序庫(4)中包含的語音處理算法，調(diào)用聽覺仿真模型程序庫(4)中選定的語音處理算法所對應(yīng)的聽覺仿真模型程序，處理選定的原始語音材料，合成對應(yīng)的仿真語音材料，更新語音材料數(shù)據(jù)庫。
3.根據(jù)權(quán)利要求2所述的電子耳蝸聽覺仿真平臺(tái)，其特征在于所述聽覺仿真軟件平臺(tái)(1)還包括聽覺仿真試驗(yàn)數(shù)據(jù)庫維護(hù)模塊(14)，該模塊(14)用于對聽覺仿真試驗(yàn)材料和試題的維護(hù)更新。
4.根據(jù)權(quán)利要求3所述的電子耳蝸聽覺仿真平臺(tái)，其特征在于所述聽覺仿真軟件平臺(tái)(1)還包括聽覺仿真模型程序庫維護(hù)模塊(15)，該模塊(15)用于對聽覺仿真模型程序的參數(shù)進(jìn)行及時(shí)設(shè)置更新。
5.根據(jù)權(quán)利要求4所述的電子耳蝸聽覺仿真平臺(tái)，其特征在于所述聽覺仿真軟件平臺(tái)(1)還包括用戶信息數(shù)據(jù)庫維護(hù)模塊(16)，該模塊(16)用于更新聽覺仿真試驗(yàn)受試者和仿真平臺(tái)管理員的信息。
6.根據(jù)權(quán)利要求1-5任一權(quán)利要求所述的電子耳蝸聽覺仿真平臺(tái)，其特征在于所述聽覺仿真試驗(yàn)數(shù)據(jù)庫(3)中的聽覺仿真試驗(yàn)試題包括單項(xiàng)選擇試題和開放式試題兩種類型，試題內(nèi)容包括針對單個(gè)語音處理算法的仿真語音材料的試題和不同語音處理算法仿真語音材料混疊的試題，以及白噪聲背景下不同信噪比的單個(gè)語音處理算法的仿真語音材料的試題和不同語音處理算法仿真語音材料混疊的試題。
7.基于權(quán)利要求1所述電子耳蝸聽覺仿真平臺(tái)的聽覺仿真試驗(yàn)方法，其特征在于包括以下步驟①、正常聽力的受試者首先登陸電子耳蝸聽覺仿真平臺(tái)，注冊或更新所述受試者的信息；②、選擇聽覺仿真試驗(yàn)的試題類型，開始聽覺仿真試驗(yàn)，聽覺仿真軟件平臺(tái)從聽覺仿真試驗(yàn)試題庫中調(diào)出所述受試者選擇的試題，向所述受試者播放每道試題對應(yīng)的仿真語音材料，受試者根據(jù)聽到的仿真語音材料進(jìn)行辨識(shí)，同時(shí)選擇或填寫相對應(yīng)的答案；③、試題全部答完后，所述聽覺仿真軟件平臺(tái)對試驗(yàn)結(jié)果進(jìn)行評分，統(tǒng)計(jì)所述受試者的識(shí)別正確率，同時(shí)更新聽覺仿真試驗(yàn)結(jié)果庫。
8.基于權(quán)利要求1所述電子耳蝸聽覺仿真平臺(tái)的語音處理算法比較方法，其特征在于包括不同語音處理算法間比較(S1)和同種語音處理算法不同參數(shù)間比較(S2)，所述不同語音處理算法間比較(S1)包括以下步驟a、選擇待比較的語音處理算法(S11)；b、預(yù)測不同算法電聽覺效果比較(S12)，進(jìn)行不同算法仿真語音信號時(shí)域和頻域波形的對比(S13)，和進(jìn)行原始語音與不同算法仿真語音效果的聽辨比較(S14)；c、將待比較的語音處理算法進(jìn)行仿真試驗(yàn)結(jié)果比較(S15)，對比不同算法下仿真試驗(yàn)識(shí)別正確率(S16)，和將不同算法的試驗(yàn)結(jié)果跟臨床統(tǒng)計(jì)數(shù)據(jù)比較(S17)；d、將待比較的語音處理算法進(jìn)行電刺激編碼策略比較(S18)，對不同算法下的電刺激編碼策略進(jìn)行對比(S19)；所述同種語音處理算法不同參數(shù)間比較(S2)包括以下步驟1)、選擇參數(shù)(S21)；2)、進(jìn)行不同參數(shù)下預(yù)測電聽覺效果比較(S22)，進(jìn)行不同參數(shù)仿真語音信號時(shí)域和頻域波形的對比(S23)，和進(jìn)行原始語音與不同參數(shù)仿真語音效果的聽辨比較(S24)；3)、選擇不同參數(shù)進(jìn)行仿真試驗(yàn)結(jié)果比較(S25)，對比不同參數(shù)下仿真試驗(yàn)識(shí)別正確率(S26)，和將不同參數(shù)的試驗(yàn)結(jié)果跟臨床統(tǒng)計(jì)數(shù)據(jù)比較(S27)。
全文摘要
一種電子耳蝸聽覺仿真平臺(tái)，包括聽覺仿真軟件平臺(tái)、聽覺仿真模型程序庫、語音材料數(shù)據(jù)庫和聽覺仿真試驗(yàn)數(shù)據(jù)庫。該仿真平臺(tái)的開發(fā)基于VC++6.0環(huán)境，利用了VC同數(shù)據(jù)庫接口及Matlab接口技術(shù)，不僅能預(yù)測出使用不同電子耳蝸語音處理算法的植入者的電聽覺效果，而且整合了多個(gè)電子耳蝸語音處理算法的聽覺仿真模型，能方便地確定參數(shù)標(biāo)準(zhǔn)和評價(jià)準(zhǔn)則，從而比較和評測不同算法的語音處理效果，克服了現(xiàn)有的針對單一算法的聽覺仿真模型無法統(tǒng)一起來比較算法效果和聽覺仿真模型包含的仿真參數(shù)有限的不足，為研究人員提供了方便的算法研究和開發(fā)平臺(tái)。
文檔編號G06F9/455GK1896955SQ200610060579
公開日2007年1月17日 申請日期2006年5月15日 優(yōu)先權(quán)日2006年5月15日
發(fā)明者葉大田, 于淑麗, 宮琴, 關(guān)添, 黃盛楊 申請人:清華大學(xué)深圳研究生院