語(yǔ)音識(shí)別方法和裝置制造方法
【專利摘要】本發(fā)明提出一種語(yǔ)音識(shí)別方法和裝置，該語(yǔ)音識(shí)別方法包括采集用戶輸入的語(yǔ)音信息；對(duì)所述語(yǔ)音信息進(jìn)行特征提取，得到特征信息；根據(jù)預(yù)先獲取的聲學(xué)模型和語(yǔ)言模型，對(duì)所述特征信息進(jìn)行解碼，得到識(shí)別后的語(yǔ)音信息，其中，所述聲學(xué)模型為預(yù)先進(jìn)行數(shù)據(jù)壓縮后得到的。該方法能夠不依賴網(wǎng)絡(luò)實(shí)現(xiàn)語(yǔ)音識(shí)別。
【專利說(shuō)明】語(yǔ)音識(shí)別方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及智能處理【技術(shù)領(lǐng)域】，尤其涉及一種語(yǔ)音識(shí)別方法和裝置。
【背景技術(shù)】
[0002]語(yǔ)音識(shí)別是信息【技術(shù)領(lǐng)域】重要的技術(shù)之一，語(yǔ)音識(shí)別的目標(biāo)是使機(jī)器聽懂人的自然語(yǔ)言，由識(shí)別后的語(yǔ)音作為控制信號(hào)可以應(yīng)用在不同的領(lǐng)域。
[0003]目前，語(yǔ)音識(shí)別通常采用在線方式，用戶輸入的語(yǔ)音信息由網(wǎng)絡(luò)傳入云端，經(jīng)云端的服務(wù)器進(jìn)行識(shí)別并將結(jié)果傳回給用戶。
[0004]但是，這種在線方式需要依賴網(wǎng)絡(luò)。

【發(fā)明內(nèi)容】

[0005]本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。
[0006]為此，本發(fā)明的一個(gè)目的在于提出一種語(yǔ)音識(shí)別方法，該方法可以不依賴網(wǎng)絡(luò)實(shí)現(xiàn)語(yǔ)音識(shí)別。
[0007]本發(fā)明的另一個(gè)目的在于提出一種語(yǔ)音識(shí)別裝置。
[0008]為達(dá)到上述目的，本發(fā)明第一方面實(shí)施例提出的語(yǔ)音識(shí)別方法，包括:采集用戶輸入的語(yǔ)音信息；對(duì)所述語(yǔ)音信息進(jìn)行特征提取，得到特征信息；根據(jù)預(yù)先獲取的聲學(xué)模型和語(yǔ)言模型，對(duì)所述特征信息進(jìn)行解碼，得到識(shí)別后的語(yǔ)音信息，其中，所述聲學(xué)模型為預(yù)先進(jìn)行數(shù)據(jù)壓縮后得到的。
[0009]本發(fā)明第一方面實(shí)施例提出的語(yǔ)音識(shí)別方法，通過(guò)離線的方式進(jìn)行語(yǔ)音識(shí)別，可以不需要依賴網(wǎng)絡(luò)實(shí)現(xiàn)語(yǔ)音識(shí)別，方便用戶使用。并且，通過(guò)對(duì)聲學(xué)模型進(jìn)行預(yù)先數(shù)據(jù)壓縮，可以使得聲學(xué)模型適應(yīng)于移動(dòng)設(shè)備中，以實(shí)現(xiàn)在移動(dòng)設(shè)備離線完成語(yǔ)音識(shí)別。
[0010]為達(dá)到上述目的，本發(fā)明第二方面實(shí)施例提出的語(yǔ)音識(shí)別裝置，包括:采集模塊，用于采集用戶輸入的語(yǔ)音信息；提取模塊，用于對(duì)所述語(yǔ)音信息進(jìn)行特征提取，得到特征信息；解碼模塊，用于根據(jù)預(yù)先獲取的聲學(xué)模型和語(yǔ)言模型，對(duì)所述特征信息進(jìn)行解碼，得到識(shí)別后的語(yǔ)音信息，其中，所述聲學(xué)模型為預(yù)先進(jìn)行數(shù)據(jù)壓縮后得到的。
[0011]本發(fā)明第二方面實(shí)施例提出的語(yǔ)音識(shí)別裝置，通過(guò)離線的方式進(jìn)行語(yǔ)音識(shí)別，可以不需要依賴網(wǎng)絡(luò)實(shí)現(xiàn)語(yǔ)音識(shí)別，方便用戶使用。并且，通過(guò)對(duì)聲學(xué)模型進(jìn)行預(yù)先數(shù)據(jù)壓縮，可以使得聲學(xué)模型適應(yīng)于移動(dòng)設(shè)備中，以實(shí)現(xiàn)在移動(dòng)設(shè)備離線完成語(yǔ)音識(shí)別。
[0012]為達(dá)到上述目的，本發(fā)明第三方面實(shí)施例提出的移動(dòng)設(shè)備，包括:殼體、處理器、存儲(chǔ)器、電路板和電源電路，其中，電路板安置在殼體圍成的空間內(nèi)部，處理器和存儲(chǔ)器設(shè)置在電路板上；電源電路，用于為移動(dòng)設(shè)備的各個(gè)電路或器件供電；存儲(chǔ)器用于存儲(chǔ)可執(zhí)行程序代碼；處理器通過(guò)讀取存儲(chǔ)器中存儲(chǔ)的可執(zhí)行程序代碼來(lái)運(yùn)行與可執(zhí)行程序代碼對(duì)應(yīng)的程序，以用于執(zhí)行以下步驟:采集用戶輸入的語(yǔ)音信息；對(duì)所述語(yǔ)音信息進(jìn)行特征提取，得到特征信息；根據(jù)預(yù)先獲取的聲學(xué)模型和語(yǔ)言模型，對(duì)所述特征信息進(jìn)行解碼，得到識(shí)別后的語(yǔ)音信息，其中，所述聲學(xué)模型為預(yù)先進(jìn)行數(shù)據(jù)壓縮后得到的。[0013]本發(fā)明第三方面實(shí)施例提出的移動(dòng)設(shè)備，通過(guò)離線的方式進(jìn)行語(yǔ)音識(shí)別，可以不需要依賴網(wǎng)絡(luò)實(shí)現(xiàn)語(yǔ)音識(shí)別，方便用戶使用。并且，通過(guò)對(duì)聲學(xué)模型進(jìn)行預(yù)先數(shù)據(jù)壓縮，可以使得聲學(xué)模型適應(yīng)于移動(dòng)設(shè)備中，以實(shí)現(xiàn)在移動(dòng)設(shè)備離線完成語(yǔ)音識(shí)別。
[0014]本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。
【專利附圖】

【附圖說(shuō)明】
[0015]本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中:
[0016]圖1為本發(fā)明一實(shí)施例提出的語(yǔ)音識(shí)別方法的流程示意圖；
[0017]圖2為本發(fā)明實(shí)施例中離線方式的語(yǔ)音識(shí)別的流程示意圖；
[0018]圖3為本發(fā)明另一實(shí)施例提出的語(yǔ)音識(shí)別方法的流程示意圖；
[0019]圖4為本發(fā)明實(shí)施例中過(guò)濾特征信息的示意圖；
[0020]圖5為本發(fā)明實(shí)施例中利用聲學(xué)模型進(jìn)行處理的流程示意圖；
[0021]圖6為本發(fā)明另一實(shí)施例提出的語(yǔ)音識(shí)別裝置的結(jié)構(gòu)示意圖；
[0022]圖7為本發(fā)明另一實(shí)施例提出的語(yǔ)音識(shí)別裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0023]下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過(guò)參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。相反，本發(fā)明的實(shí)施例包括落入所附加權(quán)利要求書的精神和內(nèi)涵范圍內(nèi)的所有變化、修改和等同物。
[0024]圖1為本發(fā)明一實(shí)施例提出的語(yǔ)音識(shí)別方法的流程示意圖，該方法包括:
[0025]Sll:移動(dòng)設(shè)備采集用戶輸入的語(yǔ)音信息；
[0026]其中，移動(dòng)設(shè)備可以為手機(jī)、平板電腦等。
[0027]相關(guān)技術(shù)中，移動(dòng)設(shè)備接收到用戶輸入的語(yǔ)音信息后，會(huì)通過(guò)網(wǎng)絡(luò)發(fā)送給云端的服務(wù)器，由服務(wù)器進(jìn)行識(shí)別并返回識(shí)別結(jié)果。
[0028]而本實(shí)施例中，為了避免語(yǔ)音識(shí)別受限于網(wǎng)絡(luò)，可以由移動(dòng)設(shè)備自身完成語(yǔ)音識(shí)另IJ，實(shí)現(xiàn)離線方式的語(yǔ)音識(shí)別。
[0029]S12:移動(dòng)設(shè)備對(duì)用戶輸入的語(yǔ)音信息進(jìn)行特征提取，得到特征信息。
[0030]其中，參見圖2，可以首先將用戶輸入的模擬語(yǔ)音信息轉(zhuǎn)換為數(shù)字語(yǔ)音信息。之后，可以根據(jù)語(yǔ)音激活檢測(cè)(Voice Activity Detector, VAD)確定語(yǔ)音起始點(diǎn)和終止點(diǎn)，再進(jìn)行特征提取。
[0031]S13:移動(dòng)設(shè)備根據(jù)預(yù)先獲取的聲學(xué)模型和語(yǔ)言模型，對(duì)所述特征信息進(jìn)行解碼，得到識(shí)別后的語(yǔ)音信息，其中，所述聲學(xué)模型為預(yù)先進(jìn)行數(shù)據(jù)壓縮后得到的。
[0032]其中，如圖2所示，解碼步驟往往占據(jù)著絕大部分的時(shí)間。解碼器通過(guò)對(duì)聲學(xué)模型的匹配和語(yǔ)言模型的處理來(lái)實(shí)現(xiàn)語(yǔ)音特征值和文本字串的對(duì)應(yīng)關(guān)系，其中聲學(xué)模型又比語(yǔ)言模型復(fù)雜得多。因此，對(duì)聲學(xué)模型的優(yōu)化會(huì)給整個(gè)語(yǔ)音識(shí)別系統(tǒng)的效率帶來(lái)大量收益。本實(shí)施例通過(guò)對(duì)聲學(xué)模型進(jìn)行數(shù)據(jù)壓縮，以避免龐大的聲學(xué)模型難以運(yùn)行在移動(dòng)設(shè)備中。
[0033]本實(shí)施例通過(guò)離線的方式進(jìn)行語(yǔ)音識(shí)別，可以不需要依賴網(wǎng)絡(luò)實(shí)現(xiàn)語(yǔ)音識(shí)別，方便用戶使用。并且，通過(guò)對(duì)聲學(xué)模型進(jìn)行預(yù)先數(shù)據(jù)壓縮，可以使得聲學(xué)模型適應(yīng)于移動(dòng)設(shè)備中，以實(shí)現(xiàn)在移動(dòng)設(shè)備離線完成語(yǔ)音識(shí)別。
[0034]圖3為本發(fā)明另一實(shí)施例提出的語(yǔ)音識(shí)別方法的流程示意圖，該方法包括:
[0035]S31:移動(dòng)設(shè)備采集用戶輸入的語(yǔ)音信息。
[0036]S32:移動(dòng)設(shè)備對(duì)語(yǔ)音信息進(jìn)行特征提取，得到特征信息。
[0037]S33:移動(dòng)設(shè)備對(duì)特征信息進(jìn)行過(guò)濾處理，得到過(guò)濾后的特征信息。
[0038]其中，如圖4所示，在一段語(yǔ)音信息中，由于字與字之間的停頓，帶來(lái)很多無(wú)用的信息。本實(shí)施例通過(guò)過(guò)濾掉這些無(wú)用信息，以保證輸入到解碼器中的特征信息緊湊有效。
[0039]過(guò)濾處理包括但不限于跳幀等。
[0040]S34:移動(dòng)設(shè)備根據(jù)數(shù)據(jù)壓縮后的聲學(xué)模型，對(duì)輸入的過(guò)濾后的特征信息進(jìn)行計(jì)算，得到聲學(xué)模型打分。
[0041]具體的，利用聲學(xué)模型進(jìn)行處理的流程可以參見圖5，包括:
[0042]S51:對(duì)輸入數(shù)據(jù)進(jìn)行數(shù)據(jù)壓縮。
[0043]其中，輸入數(shù)據(jù)是指過(guò)濾后的特征信息。
[0044]S52:利用數(shù)據(jù)壓縮過(guò)的聲學(xué)模型，對(duì)數(shù)據(jù)壓縮后的輸入數(shù)據(jù)進(jìn)行并行計(jì)算，得到輸出數(shù)據(jù)，其中，輸出數(shù)據(jù)是數(shù)據(jù)壓縮的聲學(xué)模型打分。
[0045]其中，對(duì)輸入數(shù)據(jù)進(jìn)行數(shù)據(jù)壓縮的算法與聲學(xué)模型的數(shù)據(jù)壓縮算法一致，以進(jìn)行相應(yīng)匹配。
[0046]本實(shí)施例中的優(yōu)化可以包括數(shù)據(jù)結(jié)構(gòu)優(yōu)化和計(jì)算模式優(yōu)化，其中，數(shù)據(jù)結(jié)構(gòu)優(yōu)化是指對(duì)輸入數(shù)據(jù)以及聲學(xué)模型都進(jìn)行了壓縮。計(jì)算模式優(yōu)化是指采用并行運(yùn)算。
[0047]在解碼器模塊中，本實(shí)施例采用了數(shù)據(jù)壓縮方法，使本來(lái)非常龐大的聲學(xué)模型壓縮到適合在移動(dòng)設(shè)備中使用的規(guī)模，同時(shí)能夠保證整體識(shí)別率沒有下降。此外，由于整個(gè)解碼過(guò)程中的操作數(shù)均是壓縮過(guò)的數(shù)據(jù)，所以，雖然相比于一般的解碼過(guò)程，本實(shí)施例多了數(shù)據(jù)壓縮和數(shù)據(jù)解壓的過(guò)程，但是得益于壓縮過(guò)的數(shù)據(jù)量比原數(shù)據(jù)量小一個(gè)量級(jí)，而且輸入壓縮和輸出解壓的計(jì)算量遠(yuǎn)小于模型打分的計(jì)算，因此，整體解碼時(shí)間大大短于沒有壓縮數(shù)據(jù)的解碼。
[0048]本實(shí)施例在對(duì)數(shù)據(jù)進(jìn)行壓縮的同時(shí)，也充分發(fā)掘了數(shù)據(jù)計(jì)算的并行性。在對(duì)大量輸入數(shù)據(jù)進(jìn)行解碼時(shí)，不同的輸入數(shù)據(jù)在進(jìn)行計(jì)算時(shí)完全沒有數(shù)據(jù)依賴，而且同一數(shù)據(jù)的計(jì)算中也存在毫無(wú)關(guān)聯(lián)的數(shù)個(gè)步驟，因此本實(shí)施例采用各種并行手段，包括但不限于數(shù)據(jù)并行、指令并行、線程并行等，對(duì)整個(gè)解碼過(guò)程進(jìn)行并行優(yōu)化，取得了巨大的時(shí)間收益。
[0049]在采用以上兩種優(yōu)化手段之后，解碼時(shí)間在整體識(shí)別時(shí)間中的占比由原來(lái)的95%以上縮減到了 20%以下，加速達(dá)到150倍以上；模型規(guī)模也縮減到原來(lái)的15%。這一指標(biāo)完全適合應(yīng)用于移動(dòng)設(shè)備中。
[0050]S53:對(duì)輸出數(shù)據(jù)進(jìn)行解壓縮，得到聲學(xué)模型打分。
[0051]在得到聲學(xué)模型打分后，還可以獲取語(yǔ)言模型打分，最后根據(jù)聲學(xué)模型打分和語(yǔ)言模型打分，得到識(shí)別后的語(yǔ)音信息。即，本實(shí)施例的方法還包括:
[0052]S35:移動(dòng)設(shè)備對(duì)經(jīng)過(guò)聲學(xué)模型匹配后的數(shù)據(jù)進(jìn)行語(yǔ)言模型打分，得到語(yǔ)言模型打分。
[0053]其中，經(jīng)過(guò)聲學(xué)模型處理后，可以得到聲學(xué)模型中每個(gè)字對(duì)應(yīng)的得分，之后根據(jù)每個(gè)字對(duì)應(yīng)的得分，可以對(duì)相應(yīng)的字進(jìn)行語(yǔ)言模型打分。
[0054]由于語(yǔ)言模型相對(duì)于聲學(xué)模型簡(jiǎn)單很多，因此，可以將目前服務(wù)器采用的語(yǔ)言模型應(yīng)用到移動(dòng)設(shè)備中，采用目前的語(yǔ)言模型處理流程。
[0055]S36:移動(dòng)設(shè)備根據(jù)聲學(xué)模型打分和語(yǔ)言模型打分,得到結(jié)合后的打分。
[0056]最終模型的打分由聲學(xué)模型的得分和語(yǔ)言模型的得分相結(jié)合得到，該方式包括但不限于加權(quán)求和:
[0057]score = Wam.Scoream 十 Wlm.Scorelm
[0058]其中，score為最終得分，Wam和Wlm分別是聲學(xué)模型和語(yǔ)言模型的權(quán)重，Scoream和Scorelm分別為聲學(xué)模型和語(yǔ)言模型的打分。
[0059]S37:移動(dòng)設(shè)備將最高的結(jié)合后的打分對(duì)應(yīng)的文字片斷，確定為語(yǔ)音識(shí)別后得到的文字片斷。
[0060]本實(shí)施例可以在移動(dòng)設(shè)備上實(shí)現(xiàn)離線語(yǔ)音識(shí)別，可以應(yīng)用在地圖導(dǎo)航、手機(jī)輸入等軟件中，使得用戶不需要手動(dòng)輸入信息，直接采用語(yǔ)音完成相應(yīng)控制，提升用戶體驗(yàn)。本實(shí)施例通過(guò)對(duì)解碼部分的聲學(xué)模型進(jìn)行計(jì)算以及數(shù)據(jù)的優(yōu)化，既能夠保證識(shí)別率，又能將占用的系統(tǒng)資源控制在一個(gè)合理的范圍內(nèi)，十分適合部署在移動(dòng)設(shè)備上。
[0061]圖6為本發(fā)明另一實(shí)施例提出的語(yǔ)音識(shí)別裝置的結(jié)構(gòu)示意圖，該裝置60包括采集模塊61、提取模塊62和解碼模塊63。
[0062]采集模塊61用于采集用戶輸入的語(yǔ)音信息；
[0063]其中，該裝置可以具體為移動(dòng)設(shè)備，移動(dòng)設(shè)備可以為手機(jī)、平板電腦等。
[0064]相關(guān)技術(shù)中，移動(dòng)設(shè)備接收到用戶輸入的語(yǔ)音信息后，會(huì)通過(guò)網(wǎng)絡(luò)發(fā)送給云端的服務(wù)器，由服務(wù)器進(jìn)行識(shí)別并返回識(shí)別結(jié)果。
[0065]而本實(shí)施例中，為了避免語(yǔ)音識(shí)別受限于網(wǎng)絡(luò)，可以由移動(dòng)設(shè)備自身完成語(yǔ)音識(shí)另IJ，實(shí)現(xiàn)離線方式的語(yǔ)音識(shí)別。
[0066]提取模塊62用于對(duì)所述語(yǔ)音信息進(jìn)行特征提取，得到特征信息；
[0067]其中，可以首先將用戶輸入的模擬語(yǔ)音信息轉(zhuǎn)換為數(shù)字語(yǔ)音信息。之后，可以根據(jù)語(yǔ)音激活檢測(cè)(Voice Activity Detector, VAD)確定語(yǔ)音起始點(diǎn)和終止點(diǎn)，再進(jìn)行特征提取。
[0068]解碼模塊63用于根據(jù)預(yù)先獲取的聲學(xué)模型和語(yǔ)言模型，對(duì)所述特征信息進(jìn)行解碼，得到識(shí)別后的語(yǔ)音信息，其中，所述聲學(xué)模型為預(yù)先進(jìn)行數(shù)據(jù)壓縮后得到的。
[0069]其中，解碼步驟往往占據(jù)著絕大部分的時(shí)間。解碼器通過(guò)對(duì)聲學(xué)模型的匹配和語(yǔ)言模型的處理來(lái)實(shí)現(xiàn)語(yǔ)音特征值和文本字串的對(duì)應(yīng)關(guān)系，其中聲學(xué)模型又比語(yǔ)言模型復(fù)雜得多。因此，對(duì)聲學(xué)模型的優(yōu)化會(huì)給整個(gè)語(yǔ)音識(shí)別系統(tǒng)的效率帶來(lái)大量收益。本實(shí)施例通過(guò)對(duì)聲學(xué)模型進(jìn)行數(shù)據(jù)壓縮，以避免龐大的聲學(xué)模型難以運(yùn)行在移動(dòng)設(shè)備中。
[0070]本實(shí)施例通過(guò)離線的方式進(jìn)行語(yǔ)音識(shí)別，可以不需要依賴網(wǎng)絡(luò)實(shí)現(xiàn)語(yǔ)音識(shí)別，方便用戶使用。并且，通過(guò)對(duì)聲學(xué)模型進(jìn)行預(yù)先數(shù)據(jù)壓縮，可以使得聲學(xué)模型適應(yīng)于移動(dòng)設(shè)備中，以實(shí)現(xiàn)在移動(dòng)設(shè)備離線完成語(yǔ)音識(shí)別。
[0071]圖7為本發(fā)明另一實(shí)施例提出的語(yǔ)音識(shí)別裝置的結(jié)構(gòu)示意圖，該裝置60還包括過(guò)濾模塊64。
[0072]過(guò)濾模塊64用于對(duì)所述特征信息進(jìn)行過(guò)濾，得到過(guò)濾后的特征信息，以對(duì)所述過(guò)濾后的特征信息進(jìn)行解碼。
[0073]其中，如圖3所示，在一段語(yǔ)音信息中，由于字與字之間的停頓，帶來(lái)很多無(wú)用的信息。本實(shí)施例通過(guò)過(guò)濾掉這些無(wú)用信息，以保證輸入到解碼器中的特征信息緊湊有效。
[0074]一個(gè)實(shí)施例中，所述過(guò)濾模塊64具體用于:對(duì)所述特征信息進(jìn)行跳幀提取。
[0075]—個(gè)實(shí)施例中，所述解碼模塊63具體用于:
[0076]對(duì)所述特征信息進(jìn)行數(shù)據(jù)壓縮，根據(jù)所述數(shù)據(jù)壓縮過(guò)的聲學(xué)模型，對(duì)數(shù)據(jù)壓縮后的特征信息進(jìn)行計(jì)算，得到聲學(xué)模型打分；
[0077]根據(jù)語(yǔ)言模塊，對(duì)聲學(xué)模型打分后的數(shù)據(jù)進(jìn)行運(yùn)算，得到語(yǔ)言模型打分；
[0078]根據(jù)所述聲學(xué)模型打分和所述語(yǔ)言模型打分，得到識(shí)別后的語(yǔ)音信息。
[0079]—個(gè)實(shí)施例中，所述解碼模塊63對(duì)數(shù)據(jù)壓縮后的特征信息進(jìn)行計(jì)算，包括:
[0080]對(duì)數(shù)據(jù)壓縮后的特征信息進(jìn)行并行運(yùn)算。
[0081]一個(gè)實(shí)施例中，所述解碼模塊63進(jìn)行的并行運(yùn)算具體包括如下項(xiàng)中的至少一項(xiàng):
[0082]數(shù)據(jù)并行運(yùn)算、指令并行運(yùn)算、線程并行運(yùn)算。
[0083]其中，對(duì)輸入數(shù)據(jù)進(jìn)行數(shù)據(jù)壓縮的算法與聲學(xué)模型的數(shù)據(jù)壓縮算法一致，以進(jìn)行相應(yīng)匹配。
[0084]本實(shí)施例中的優(yōu)化可以包括數(shù)據(jù)結(jié)構(gòu)優(yōu)化和計(jì)算模式優(yōu)化，其中，數(shù)據(jù)結(jié)構(gòu)優(yōu)化是指對(duì)輸入數(shù)據(jù)以及聲學(xué)模型都進(jìn)行了壓縮。計(jì)算模式優(yōu)化是指采用并行運(yùn)算。
[0085]在解碼器模塊中，本實(shí)施例采用了數(shù)據(jù)壓縮方法，使本來(lái)非常龐大的聲學(xué)模型壓縮到適合在移動(dòng)設(shè)備中使用的規(guī)模，同時(shí)能夠保證整體識(shí)別率沒有下降。此外，由于整個(gè)解碼過(guò)程中的操作數(shù)均是壓縮過(guò)的數(shù)據(jù)，所以，雖然相比于一般的解碼過(guò)程，本實(shí)施例多了數(shù)據(jù)壓縮和數(shù)據(jù)解壓的過(guò)程，但是得益于壓縮過(guò)的數(shù)據(jù)量比原數(shù)據(jù)量小一個(gè)量級(jí)，而且輸入壓縮和輸出解壓的計(jì)算量遠(yuǎn)小于模型打分的計(jì)算，因此，整體解碼時(shí)間大大短于沒有壓縮數(shù)據(jù)的解碼。
[0086]本實(shí)施例在對(duì)數(shù)據(jù)進(jìn)行壓縮的同時(shí)，也充分發(fā)掘了數(shù)據(jù)計(jì)算的并行性。在對(duì)大量輸入數(shù)據(jù)進(jìn)行解碼時(shí)，不同的輸入數(shù)據(jù)在進(jìn)行計(jì)算時(shí)完全沒有數(shù)據(jù)依賴，而且同一數(shù)據(jù)的計(jì)算中也存在毫無(wú)關(guān)聯(lián)的數(shù)個(gè)步驟，因此本實(shí)施例采用各種并行手段，包括但不限于數(shù)據(jù)并行、指令并行、線程并行等，對(duì)整個(gè)解碼過(guò)程進(jìn)行并行優(yōu)化，取得了巨大的時(shí)間收益。
[0087]在采用以上兩種優(yōu)化手段之后，解碼時(shí)間在整體識(shí)別時(shí)間中的占比由原來(lái)的95%以上縮減到了 20%以下，加速達(dá)到150倍以上；模型規(guī)模也縮減到原來(lái)的15%。這一指標(biāo)完全適合應(yīng)用于移動(dòng)設(shè)備中。
[0088]在得到聲學(xué)模型打分后，還可以獲取語(yǔ)言模型打分，最后根據(jù)聲學(xué)模型打分和語(yǔ)言模型打分，得到識(shí)別后的語(yǔ)音信息。
[0089]最終模型的打分由聲學(xué)模型的得分和語(yǔ)言模型的得分相結(jié)合得到，該方式包括但不限于加權(quán)求和:
[0090]score = Wam.scoream+fflm.Scorelm
[0091]其中，score為最終得分，Wam和Wlm分別是聲學(xué)模型和語(yǔ)言模型的權(quán)重，Scoream和Scorelm分別為聲學(xué)模型和語(yǔ)言模型的打分。[0092]其中，可以將最高的結(jié)合后的打分對(duì)應(yīng)的文字片斷，確定為語(yǔ)音識(shí)別后得到的文字片斷。
[0093]本實(shí)施例可以在移動(dòng)設(shè)備上實(shí)現(xiàn)離線語(yǔ)音識(shí)別，可以應(yīng)用在地圖導(dǎo)航、手機(jī)輸入等軟件中，使得用戶不需要手動(dòng)輸入信息，直接采用語(yǔ)音完成相應(yīng)控制，提升用戶體驗(yàn)。本實(shí)施例通過(guò)對(duì)解碼部分的聲學(xué)模型進(jìn)行計(jì)算以及數(shù)據(jù)的優(yōu)化，既能夠保證識(shí)別率，又能將占用的系統(tǒng)資源控制在一個(gè)合理的范圍內(nèi)，十分適合部署在移動(dòng)設(shè)備上。
[0094]本發(fā)明實(shí)施例還提供了一種移動(dòng)設(shè)備，該移動(dòng)設(shè)備包括殼體、處理器、存儲(chǔ)器、電路板和電源電路，其中，電路板安置在殼體圍成的空間內(nèi)部，處理器和存儲(chǔ)器設(shè)置在電路板上；電源電路，用于為移動(dòng)設(shè)備的各個(gè)電路或器件供電；存儲(chǔ)器用于存儲(chǔ)可執(zhí)行程序代碼；處理器通過(guò)讀取存儲(chǔ)器中存儲(chǔ)的可執(zhí)行程序代碼來(lái)運(yùn)行與可執(zhí)行程序代碼對(duì)應(yīng)的程序，以用于執(zhí)行以下步驟:
[0095]SlT:采集用戶輸入的語(yǔ)音信息；
[0096]其中，移動(dòng)設(shè)備可以為手機(jī)、平板電腦等。
[0097]相關(guān)技術(shù)中，移動(dòng)設(shè)備接收到用戶輸入的語(yǔ)音信息后，會(huì)通過(guò)網(wǎng)絡(luò)發(fā)送給云端的服務(wù)器，由服務(wù)器進(jìn)行識(shí)別并返回識(shí)別結(jié)果。
[0098]而本實(shí)施例中，為了避免語(yǔ)音識(shí)別受限于網(wǎng)絡(luò)，可以由移動(dòng)設(shè)備自身完成語(yǔ)音識(shí)另IJ，實(shí)現(xiàn)離線方式的語(yǔ)音識(shí)別。
[0099]S12’:對(duì)用戶輸入的語(yǔ)音信息進(jìn)行特征提取，得到特征信息。
[0100]其中，可以首先將用戶輸入的模擬語(yǔ)音信息轉(zhuǎn)換為數(shù)字語(yǔ)音信息。之后，可以根據(jù)語(yǔ)音激活檢測(cè)(Voice Activity Detector, VAD)確定語(yǔ)音起始點(diǎn)和終止點(diǎn)，再進(jìn)行特征提取。
[0101]S13’:根據(jù)預(yù)先獲取的聲學(xué)模型和語(yǔ)言模型，對(duì)所述特征信息進(jìn)行解碼，得到識(shí)別后的語(yǔ)音信息，其中，所述聲學(xué)模型為預(yù)先進(jìn)行數(shù)據(jù)壓縮后得到的。
[0102]其中，解碼步驟往往占據(jù)著絕大部分的時(shí)間。解碼器通過(guò)對(duì)聲學(xué)模型的匹配和語(yǔ)言模型的處理來(lái)實(shí)現(xiàn)語(yǔ)音特征值和文本字串的對(duì)應(yīng)關(guān)系，其中聲學(xué)模型又比語(yǔ)言模型復(fù)雜得多。因此，對(duì)聲學(xué)模型的優(yōu)化會(huì)給整個(gè)語(yǔ)音識(shí)別系統(tǒng)的效率帶來(lái)大量收益。本實(shí)施例通過(guò)對(duì)聲學(xué)模型進(jìn)行數(shù)據(jù)壓縮，以避免龐大的聲學(xué)模型難以運(yùn)行在移動(dòng)設(shè)備中。
[0103]本實(shí)施例通過(guò)離線的方式進(jìn)行語(yǔ)音識(shí)別，可以不需要依賴網(wǎng)絡(luò)實(shí)現(xiàn)語(yǔ)音識(shí)別，方便用戶使用。
[0104]另一實(shí)施例中，處理器通過(guò)讀取存儲(chǔ)器中存儲(chǔ)的可執(zhí)行程序代碼來(lái)運(yùn)行與可執(zhí)行程序代碼對(duì)應(yīng)的程序，以用于執(zhí)行以下步驟:
[0105]S31’:采集用戶輸入的語(yǔ)音信息。
[0106]S32’:對(duì)語(yǔ)音信息進(jìn)行特征提取，得到特征信息。
[0107]S33’:對(duì)特征信息進(jìn)行過(guò)濾處理，得到過(guò)濾后的特征信息。
[0108]其中，如圖4所示，在一段語(yǔ)音信息中，由于字與字之間的停頓，帶來(lái)很多無(wú)用的信息。本實(shí)施例通過(guò)過(guò)濾掉這些無(wú)用信息，以保證輸入到解碼器中的特征信息緊湊有效。
[0109]過(guò)濾處理包括但不限于跳幀等。
[0110]S34’:根據(jù)數(shù)據(jù)壓縮后的聲學(xué)模型，對(duì)輸入的過(guò)濾后的特征信息進(jìn)行計(jì)算，得到聲學(xué)模型打分。[0111]具體的，得到聲學(xué)模型打分的流程可以包括:
[0112]S51’:對(duì)輸入數(shù)據(jù)進(jìn)行數(shù)據(jù)壓縮。
[0113]其中，輸入數(shù)據(jù)是指過(guò)濾后的特征信息。
[0114]S52’:利用數(shù)據(jù)壓縮過(guò)的聲學(xué)模型，對(duì)數(shù)據(jù)壓縮后的輸入數(shù)據(jù)進(jìn)行并行計(jì)算，得到輸出數(shù)據(jù)，其中，輸出數(shù)據(jù)是數(shù)據(jù)壓縮的聲學(xué)模型打分。
[0115]其中，對(duì)輸入數(shù)據(jù)進(jìn)行數(shù)據(jù)壓縮的算法與聲學(xué)模型的數(shù)據(jù)壓縮算法一致，以進(jìn)行相應(yīng)匹配。
[0116]本實(shí)施例中的優(yōu)化可以包括數(shù)據(jù)結(jié)構(gòu)優(yōu)化和計(jì)算模式優(yōu)化，其中，數(shù)據(jù)結(jié)構(gòu)優(yōu)化是指對(duì)輸入數(shù)據(jù)以及聲學(xué)模型都進(jìn)行了壓縮。計(jì)算模式優(yōu)化是指采用并行運(yùn)算。
[0117]在解碼器模塊中，本實(shí)施例采用了數(shù)據(jù)壓縮方法，使本來(lái)非常龐大的聲學(xué)模型壓縮到適合在移動(dòng)設(shè)備中使用的規(guī)模，同時(shí)能夠保證整體識(shí)別率沒有下降。此外，由于整個(gè)解碼過(guò)程中的操作數(shù)均是壓縮過(guò)的數(shù)據(jù)，所以，雖然相比于一般的解碼過(guò)程，本實(shí)施例多了數(shù)據(jù)壓縮和數(shù)據(jù)解壓的過(guò)程，但是得益于壓縮過(guò)的數(shù)據(jù)量比原數(shù)據(jù)量小一個(gè)量級(jí)，而且輸入壓縮和輸出解壓的計(jì)算量遠(yuǎn)小于模型打分的計(jì)算，因此，整體解碼時(shí)間大大短于沒有壓縮數(shù)據(jù)的解碼。
[0118]本實(shí)施例在對(duì)數(shù)據(jù)進(jìn)行壓縮的同時(shí)，也充分發(fā)掘了數(shù)據(jù)計(jì)算的并行性。在對(duì)大量輸入數(shù)據(jù)進(jìn)行解碼時(shí)，不同的輸入數(shù)據(jù)在進(jìn)行計(jì)算時(shí)完全沒有數(shù)據(jù)依賴，而且同一數(shù)據(jù)的計(jì)算中也存在毫無(wú)關(guān)聯(lián)的數(shù)個(gè)步驟，因此本實(shí)施例采用各種并行手段，包括但不限于數(shù)據(jù)并行、指令并行、線程并行等，對(duì)整個(gè)解碼過(guò)程進(jìn)行并行優(yōu)化，取得了巨大的時(shí)間收益。
[0119]在采用以上兩種優(yōu)化手段之后，解碼時(shí)間在整體識(shí)別時(shí)間中的占比由原來(lái)的95%以上縮減到了 20%以下，加速達(dá)到150倍以上；模型規(guī)模也縮減到原來(lái)的15%。這一指標(biāo)完全適合應(yīng)用于移動(dòng)設(shè)備中。
[0120]S53’:對(duì)輸出數(shù)據(jù)進(jìn)行解壓縮，得到聲學(xué)模型打分。
[0121]在得到聲學(xué)模型打分后，還可以獲取語(yǔ)言模型打分，最后根據(jù)聲學(xué)模型打分和語(yǔ)言模型打分，得到識(shí)別后的語(yǔ)音信息。即，本實(shí)施例的方法還包括:
[0122]S35’:對(duì)經(jīng)過(guò)聲學(xué)模型匹配后的數(shù)據(jù)進(jìn)行語(yǔ)言模型打分，得到語(yǔ)言模型打分。
[0123]其中，經(jīng)過(guò)聲學(xué)模型處理后，可以得到聲學(xué)模型中每個(gè)字對(duì)應(yīng)的得分，之后根據(jù)每個(gè)字對(duì)應(yīng)的得分，可以對(duì)相應(yīng)的字進(jìn)行語(yǔ)言模型打分。
[0124]由于語(yǔ)言模型相對(duì)于聲學(xué)模型簡(jiǎn)單很多，因此，可以將目前服務(wù)器采用的語(yǔ)言模型應(yīng)用到移動(dòng)設(shè)備中，采用目前的語(yǔ)言模型處理流程。
[0125]S36’:根據(jù)聲學(xué)模型打分和語(yǔ)言模型打分，得到結(jié)合后的打分。
[0126]最終模型的打分由聲學(xué)模型的得分和語(yǔ)言模型的得分相結(jié)合得到，該方式包括但不限于加權(quán)求和:
[0127]score = Wam.scoream+fflm.Scorelm
[0128]其中，score為最終得分，Wam和Wlm分別是聲學(xué)模型和語(yǔ)言模型的權(quán)重，Scoream和Scorelm分別為聲學(xué)模型和語(yǔ)言模型的打分。
[0129]S37’:將最高的結(jié)合后的打分對(duì)應(yīng)的文字片斷，確定為語(yǔ)音識(shí)別后得到的文字片斷。
[0130]本實(shí)施例可以在移動(dòng)設(shè)備上實(shí)現(xiàn)離線語(yǔ)音識(shí)別，可以應(yīng)用在地圖導(dǎo)航、手機(jī)輸入等軟件中，使得用戶不需要手動(dòng)輸入信息，直接采用語(yǔ)音完成相應(yīng)控制，提升用戶體驗(yàn)。本實(shí)施例通過(guò)對(duì)解碼部分的聲學(xué)模型進(jìn)行計(jì)算以及數(shù)據(jù)的優(yōu)化，既能夠保證識(shí)別率，又能將占用的系統(tǒng)資源控制在一個(gè)合理的范圍內(nèi)，十分適合部署在移動(dòng)設(shè)備上。
[0131]需要說(shuō)明的是，在本發(fā)明的描述中，術(shù)語(yǔ)“第一”、“第二”等僅用于描述目的，而不能理解為指示或暗示相對(duì)重要性。此外，在本發(fā)明的描述中，除非另有說(shuō)明，“多個(gè)”的含義是兩個(gè)或兩個(gè)以上。
[0132]流程圖中或在此以其他方式描述的任何過(guò)程或方法描述可以被理解為，表示包括一個(gè)或更多個(gè)用于實(shí)現(xiàn)特定邏輯功能或過(guò)程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分，并且本發(fā)明的優(yōu)選實(shí)施方式的范圍包括另外的實(shí)現(xiàn)，其中可以不按所示出或討論的順序，包括根據(jù)所涉及的功能按基本同時(shí)的方式或按相反的順序，來(lái)執(zhí)行功能，這應(yīng)被本發(fā)明的實(shí)施例所屬【技術(shù)領(lǐng)域】的技術(shù)人員所理解。
[0133]應(yīng)當(dāng)理解，本發(fā)明的各部分可以用硬件、軟件、固件或它們的組合來(lái)實(shí)現(xiàn)。在上述實(shí)施方式中，多個(gè)步驟或方法可以用存儲(chǔ)在存儲(chǔ)器中且由合適的指令執(zhí)行系統(tǒng)執(zhí)行的軟件或固件來(lái)實(shí)現(xiàn)。例如，如果用硬件來(lái)實(shí)現(xiàn)，和在另一實(shí)施方式中一樣，可用本領(lǐng)域公知的下列技術(shù)中的任一項(xiàng)或他們的組合來(lái)實(shí)現(xiàn):具有用于對(duì)數(shù)據(jù)信號(hào)實(shí)現(xiàn)邏輯功能的邏輯門電路的離散邏輯電路，具有合適的組合邏輯門電路的專用集成電路，可編程門陣列(PGA)，現(xiàn)場(chǎng)可編程門陣列(FPGA)等。
[0134]本【技術(shù)領(lǐng)域】的普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法攜帶的全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件完成，所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，包括方法實(shí)施例的步驟之一或其組合。
[0135]此外，在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理模塊中，也可以是各個(gè)單元單獨(dú)物理存在，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)模塊中。上述集成的模塊既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能模塊的形式實(shí)現(xiàn)。所述集成的模塊如果以軟件功能模塊的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，也可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。
[0136]上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器，磁盤或光盤等。
[0137]在本說(shuō)明書的描述中，參考術(shù)語(yǔ)“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說(shuō)明書中，對(duì)上述術(shù)語(yǔ)的示意性表述不一定指的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任何的一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。
[0138]盡管上面已經(jīng)示出和描述了本發(fā)明的實(shí)施例，可以理解的是，上述實(shí)施例是示例性的，不能理解為對(duì)本發(fā)明的限制，本領(lǐng)域的普通技術(shù)人員在本發(fā)明的范圍內(nèi)可以對(duì)上述實(shí)施例進(jìn)行變化、修改、替換和變型。
【權(quán)利要求】
1.一種語(yǔ)音識(shí)別方法，其特征在于，包括: 采集用戶輸入的語(yǔ)音信息； 對(duì)所述語(yǔ)音信息進(jìn)行特征提取，得到特征信息； 根據(jù)預(yù)先獲取的聲學(xué)模型和語(yǔ)言模型，對(duì)所述特征信息進(jìn)行解碼，得到識(shí)別后的語(yǔ)音信息，其中，所述聲學(xué)模型為預(yù)先進(jìn)行數(shù)據(jù)壓縮后得到的。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述得到特征信息之后，所述方法還包括: 對(duì)所述特征信息進(jìn) 行過(guò)濾，得到過(guò)濾后的特征信息，以對(duì)所述過(guò)濾后的特征信息進(jìn)行解碼。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)所述特征信息進(jìn)行過(guò)濾，包括: 對(duì)所述特征信息進(jìn)行跳幀提取。
4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，所述根據(jù)預(yù)先獲取的聲學(xué)模型和語(yǔ)言模型，對(duì)所述特征信息進(jìn)行解碼，得到識(shí)別后的語(yǔ)音信息，包括: 對(duì)所述特征信息進(jìn)行數(shù)據(jù)壓縮，根據(jù)所述數(shù)據(jù)壓縮過(guò)的聲學(xué)模型，對(duì)數(shù)據(jù)壓縮后的特征信息進(jìn)行計(jì)算，得到聲學(xué)模型打分； 根據(jù)語(yǔ)言模塊，對(duì)聲學(xué)模型打分后的數(shù)據(jù)進(jìn)行運(yùn)算，得到語(yǔ)言模型打分； 根據(jù)所述聲學(xué)模型打分和所述語(yǔ)言模型打分，得到識(shí)別后的語(yǔ)音信息。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述對(duì)數(shù)據(jù)壓縮后的特征信息進(jìn)行計(jì)算，包括: 對(duì)數(shù)據(jù)壓縮后的特征信息進(jìn)行并行運(yùn)算。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述并行運(yùn)算包括如下項(xiàng)中的至少一項(xiàng): 數(shù)據(jù)并行運(yùn)算、指令并行運(yùn)算、線程并行運(yùn)算。
7.一種語(yǔ)言識(shí)別裝置，其特征在于，包括: 采集模塊，用于采集用戶輸入的語(yǔ)音信息； 提取模塊，用于對(duì)所述語(yǔ)音信息進(jìn)行特征提取，得到特征信息； 解碼模塊，用于根據(jù)預(yù)先獲取的聲學(xué)模型和語(yǔ)言模型，對(duì)所述特征信息進(jìn)行解碼，得到識(shí)別后的語(yǔ)音信息，其中，所述聲學(xué)模型為預(yù)先進(jìn)行數(shù)據(jù)壓縮后得到的。
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，還包括: 過(guò)濾模塊，用于對(duì)所述特征信息進(jìn)行過(guò)濾，得到過(guò)濾后的特征信息，以對(duì)所述過(guò)濾后的特征信息進(jìn)行解碼。
9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述過(guò)濾單元具體用于: 對(duì)所述特征信息進(jìn)行跳幀提取。
10.根據(jù)權(quán)利要求7至9任一項(xiàng)所述的裝置，其特征在于，所述解碼模塊具體用于: 對(duì)所述特征信息進(jìn)行數(shù)據(jù)壓縮，根據(jù)所述數(shù)據(jù)壓縮過(guò)的聲學(xué)模型，對(duì)數(shù)據(jù)壓縮后的特征信息進(jìn)行計(jì)算，得到聲學(xué)模型打分； 根據(jù)語(yǔ)言模塊，對(duì)聲學(xué)模型打分后的數(shù)據(jù)進(jìn)行運(yùn)算，得到語(yǔ)言模型打分； 根據(jù)所述聲學(xué)模型打分和所述語(yǔ)言模型打分，得到識(shí)別后的語(yǔ)音信息。
11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述解碼模塊對(duì)數(shù)據(jù)壓縮后的特征信息進(jìn)行計(jì)算，包括:對(duì)數(shù)據(jù)壓縮后的特征信息進(jìn)行并行運(yùn)算。
12.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述解碼模塊進(jìn)行的并行運(yùn)算具體包括如下項(xiàng)中的至少一項(xiàng): 數(shù)據(jù)并行運(yùn)算、指令并行運(yùn)算、線程并行運(yùn)算。
【文檔編號(hào)】G10L15/06GK103915092SQ201410129541
【公開日】2014年7月9日 申請(qǐng)日期:2014年4月1日 優(yōu)先權(quán)日:2014年4月1日
【發(fā)明者】李博, 王志謙, 胡娜, 穆向禹, 賈磊, 魏偉 申請(qǐng)人:百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司