用于識(shí)別語(yǔ)音和文本的設(shè)備和方法
【專(zhuān)利摘要】一種用于識(shí)別語(yǔ)音和文本的設(shè)備和方法，所述方法包括：接收包含多種語(yǔ)言的語(yǔ)音作為輸入，通過(guò)使用與預(yù)設(shè)主要語(yǔ)言相匹配的語(yǔ)音識(shí)別算法，來(lái)識(shí)別語(yǔ)音的第一語(yǔ)音，識(shí)別包括在多種語(yǔ)言中的預(yù)設(shè)主要語(yǔ)言和不同于預(yù)設(shè)主要語(yǔ)言的非主要語(yǔ)言，基于上下文信息確定所述非主要語(yǔ)言的類(lèi)型，通過(guò)將與確定的非主要語(yǔ)言的類(lèi)型相匹配的語(yǔ)音識(shí)別算法應(yīng)用于第二語(yǔ)音，來(lái)識(shí)別所述非主要語(yǔ)言的語(yǔ)音的第二語(yǔ)音，輸出基于識(shí)別第一語(yǔ)音的結(jié)果和識(shí)別第二語(yǔ)音的結(jié)果的識(shí)別語(yǔ)音的結(jié)果。
【專(zhuān)利說(shuō)明】用于識(shí)別語(yǔ)音和文本的設(shè)備和方法

【技術(shù)領(lǐng)域】
[0001]本公開(kāi)總體上涉及一種用于識(shí)別語(yǔ)音的設(shè)備和方法，更具體地，涉及一種用于識(shí)別包含多種語(yǔ)言的語(yǔ)音的設(shè)備和方法。

【背景技術(shù)】
[0002]隨著交通和通信的進(jìn)步，存在碰到外語(yǔ)語(yǔ)音的快速增長(zhǎng)。然而，那些不熟練外語(yǔ)的人可能遇到聽(tīng)懂外語(yǔ)的困難。就此而言，用于識(shí)別外語(yǔ)語(yǔ)音并將識(shí)別外語(yǔ)語(yǔ)音的結(jié)果轉(zhuǎn)換為文本的方法已被開(kāi)發(fā)并取得進(jìn)展。
[0003]在根據(jù)現(xiàn)有技術(shù)的用于識(shí)別語(yǔ)音的方法中，以音素為單位分割輸入語(yǔ)音，隨后將每個(gè)分割的音素與數(shù)據(jù)庫(kù)進(jìn)行比較，從而確定語(yǔ)音與哪個(gè)文本或單詞相匹配。
[0004]同時(shí)，因?yàn)樘囟▏?guó)家的人居住在外國(guó)的情況經(jīng)常發(fā)生，所以有必要對(duì)同時(shí)包含多種語(yǔ)言的語(yǔ)音進(jìn)行處理。例如，可能存在特定國(guó)家的人主要使用特定國(guó)家的語(yǔ)言，但混合著來(lái)自于在另一國(guó)家使用的語(yǔ)言的單詞的情況。因此，需要開(kāi)發(fā)一種用于識(shí)別包含多種語(yǔ)言的語(yǔ)音的設(shè)備和方法。
[0005]例如在根據(jù)現(xiàn)有技術(shù)的用于識(shí)別包含多種語(yǔ)言的語(yǔ)音的方法中，各種國(guó)家的語(yǔ)言共有的用于交流的單詞或慣用的句子被定義為代碼，隨后各種國(guó)家的語(yǔ)言被分別映射為代碼。就此而言，以上方法是不利的，因?yàn)橹灰粗付ㄅc設(shè)置為主要語(yǔ)言的語(yǔ)言不同的語(yǔ)言的類(lèi)型，就必須在所有語(yǔ)言上執(zhí)行映射，因此計(jì)算量迅速增加。
[0006]具體地，不能實(shí)時(shí)執(zhí)行的用于識(shí)別語(yǔ)音的方法具有低程度的利用率，因此，在用于識(shí)別語(yǔ)音的方法中計(jì)算量的減少是開(kāi)發(fā)技術(shù)所需的重要需求之一。
[0007]因此，當(dāng)識(shí)別包含主要語(yǔ)言和非主要語(yǔ)言的語(yǔ)音時(shí)，需要一種能夠快速識(shí)別與主要語(yǔ)言不同的非主要語(yǔ)言的類(lèi)型，并能夠?qū)崟r(shí)識(shí)別包含多種語(yǔ)言的語(yǔ)音的設(shè)備和方法。
[0008]以上信息僅作為背景信息被呈現(xiàn)以協(xié)助對(duì)本公開(kāi)的理解。至于以上的任何內(nèi)容是否可應(yīng)用為針對(duì)本公開(kāi)的現(xiàn)有技術(shù)，尚未做出聲明。


【發(fā)明內(nèi)容】

[0009]為解決以上討論的缺陷，主要目標(biāo)在于提供一種當(dāng)識(shí)別包含主要語(yǔ)言和非主要語(yǔ)言的語(yǔ)音時(shí)，能夠快速識(shí)別不同于主要語(yǔ)言的非主要語(yǔ)言的類(lèi)型，并實(shí)時(shí)識(shí)別包含多種語(yǔ)言的語(yǔ)音的設(shè)備和方法。
[0010]根據(jù)本公開(kāi)的一方面，提供了一種識(shí)別語(yǔ)音的方法。所述方法包括:接收包含多種語(yǔ)言的語(yǔ)音作為輸入，通過(guò)使用與預(yù)設(shè)主要語(yǔ)言相匹配的語(yǔ)音識(shí)別算法，來(lái)識(shí)別語(yǔ)音的第一語(yǔ)音，識(shí)別包括在多種語(yǔ)言中的預(yù)設(shè)主要語(yǔ)言和不同于預(yù)設(shè)主要語(yǔ)言的非主要語(yǔ)言，基于上下文信息確定所述非主要語(yǔ)言的類(lèi)型，通過(guò)將與確定的非主要語(yǔ)言的類(lèi)型相匹配的語(yǔ)音識(shí)別算法應(yīng)用于第二語(yǔ)音，來(lái)識(shí)別所述非主要語(yǔ)言的語(yǔ)音的第二語(yǔ)音，輸出基于識(shí)別第一語(yǔ)音的結(jié)果和識(shí)別第二語(yǔ)音的結(jié)果的識(shí)別語(yǔ)音的結(jié)果。
[0011]根據(jù)本公開(kāi)的另一方面，提供了一種識(shí)別語(yǔ)音的設(shè)備。所述設(shè)備包括麥克風(fēng)、存儲(chǔ)單元、控制器和顯示單元，其中，麥克風(fēng)接收包含包括預(yù)設(shè)主要語(yǔ)言和與預(yù)設(shè)主要語(yǔ)言不同的非主要語(yǔ)言的多種語(yǔ)言的語(yǔ)音作為輸入，存儲(chǔ)單元存儲(chǔ)與預(yù)設(shè)主要語(yǔ)言相匹配的語(yǔ)音識(shí)別算法和與非主要語(yǔ)言相匹配的語(yǔ)音識(shí)別算法，控制器通過(guò)使用與預(yù)設(shè)主要語(yǔ)言相匹配的語(yǔ)音識(shí)別算法識(shí)別語(yǔ)音的第一語(yǔ)音，識(shí)別包括在多種語(yǔ)言中的預(yù)設(shè)主要語(yǔ)言和不同于預(yù)設(shè)主要語(yǔ)言的非主要語(yǔ)言，基于上下文信息確定非主要語(yǔ)言的類(lèi)型，并通過(guò)將與確定的非主要語(yǔ)言的類(lèi)型相匹配的語(yǔ)音識(shí)別算法應(yīng)用于第二語(yǔ)音，來(lái)識(shí)別非主要語(yǔ)言的語(yǔ)音的第二語(yǔ)音，顯示單元輸出基于識(shí)別第一語(yǔ)音的結(jié)果和識(shí)別第二語(yǔ)音的結(jié)果的識(shí)別語(yǔ)音的結(jié)果。
[0012]根據(jù)本公開(kāi)的另一方面，提供了一種識(shí)別文本的方法。所述方法包括:接收包括多種語(yǔ)言的字符的文本作為輸入；通過(guò)使用與預(yù)設(shè)主要語(yǔ)言相匹配的文本識(shí)別算法識(shí)別文本的第一文本；識(shí)別包括在多種語(yǔ)言中的預(yù)設(shè)主要語(yǔ)言和不同于預(yù)設(shè)主要語(yǔ)言的非主要語(yǔ)言；基于上下文信息確定非主要語(yǔ)言的類(lèi)型；通過(guò)將與確定的非主要語(yǔ)言的類(lèi)型相匹配的文本識(shí)別算法應(yīng)用于第二文本，來(lái)識(shí)別非主要語(yǔ)言的文本的第二文本；將基于識(shí)別第一文本的結(jié)果和識(shí)別第二文本的結(jié)果的識(shí)別文本的結(jié)果轉(zhuǎn)換為語(yǔ)音；輸出轉(zhuǎn)換的語(yǔ)音。
[0013]根據(jù)本公開(kāi)的另一方面，提供了一種識(shí)別文本的設(shè)備。所述設(shè)備包括輸入單元、控制器和輸出單元，其中，輸入單元接收包括多種語(yǔ)言的字符的文本作為輸入，控制器通過(guò)使用與預(yù)設(shè)主要語(yǔ)言相匹配的文本識(shí)別算法識(shí)別文本的第一文本，識(shí)別包括在多種語(yǔ)言中的預(yù)設(shè)主要語(yǔ)言和不同于預(yù)設(shè)主要語(yǔ)言的非主要語(yǔ)言，基于上下文信息確定非主要語(yǔ)言的類(lèi)型，通過(guò)將與確定的非主要語(yǔ)言的類(lèi)型相匹配的文本識(shí)別算法應(yīng)用于第二文本，來(lái)識(shí)別非主要語(yǔ)言的文本的第二文本，并將基于識(shí)別第一文本的結(jié)果和識(shí)別第二文本的結(jié)果的識(shí)別文本的結(jié)果轉(zhuǎn)換為語(yǔ)音，輸出單元輸出轉(zhuǎn)換的語(yǔ)音。
[0014]在開(kāi)始下面的本發(fā)明的【具體實(shí)施方式】之前，闡述在本專(zhuān)利文檔中始終使用的特定詞匯和短語(yǔ)的定義會(huì)是有利的:術(shù)語(yǔ)“包括”和“包含”及其派生詞表示包括而非限制；術(shù)語(yǔ)“或”是包括在內(nèi)，表示和/或；短語(yǔ)“與…相關(guān)”和“與其相關(guān)”及其派生詞可表示包括，被包括在內(nèi)，與...互相連接、包含、被包含在…內(nèi)、連接至…或與…連接，接合至…或與…接合、與…可通信、與…協(xié)作、交錯(cuò)、并列、接近于…、被結(jié)合至或與…結(jié)合、具有、具有…屬性等；術(shù)語(yǔ)“控制器”表示控制至少一個(gè)操作的任何裝置、系統(tǒng)或其部件，這樣的裝置可以以硬件、固件或軟件來(lái)實(shí)現(xiàn)，或者以硬件、固件、軟件中的至少兩個(gè)的一些組合來(lái)實(shí)現(xiàn)。應(yīng)該注意，不論是本地還是遠(yuǎn)程，與任何特定控制器相關(guān)的功能都可以是集中式或分布式。貫穿本專(zhuān)利文檔，提供了特定詞匯和短語(yǔ)的定義，本領(lǐng)域的普通技術(shù)人員應(yīng)該理解在多數(shù)(如果不是大多數(shù))實(shí)例中，這樣的定義應(yīng)用于對(duì)這樣定義的詞匯和短語(yǔ)的現(xiàn)在及未來(lái)的使用中。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0015]為更徹底的理解本公開(kāi)和它的優(yōu)點(diǎn)，現(xiàn)在參照結(jié)合附圖進(jìn)行的下面的描述，其中相同的標(biāo)號(hào)表不相同的部分:
[0016]圖1是示出根據(jù)本公開(kāi)的實(shí)施例的用于識(shí)別語(yǔ)音的方法的流程圖；
[0017]圖2A至圖2D是示出根據(jù)本公開(kāi)的實(shí)施例的用于識(shí)別包含主要語(yǔ)言和非主要語(yǔ)言的語(yǔ)音的處理的概念示圖；
[0018]圖3A和圖3B均是示出根據(jù)本公開(kāi)的各種實(shí)施例的用于識(shí)別語(yǔ)音的設(shè)備的配置的框圖；
[0019]圖4是示出根據(jù)本公開(kāi)的實(shí)施例的用于識(shí)別語(yǔ)音的方法的流程圖；
[0020]圖5是詳細(xì)示出根據(jù)本公開(kāi)的實(shí)施例的用于識(shí)別語(yǔ)音的方法的流程圖；
[0021]圖6A至圖6F是示出根據(jù)本公開(kāi)的實(shí)施例的用于識(shí)別語(yǔ)音的方法的用于識(shí)別語(yǔ)言的設(shè)備的概念示圖；
[0022]圖7是示出根據(jù)本公開(kāi)的另一實(shí)施例的用于識(shí)別語(yǔ)音的方法的流程圖；
[0023]圖8是示出根據(jù)本公開(kāi)的實(shí)施例的用于在用于識(shí)別語(yǔ)音的方法中基于各條上下文信息確定非主要語(yǔ)言的類(lèi)型的處理的流程圖；
[0024]圖9是示出根據(jù)本公開(kāi)的實(shí)施例的用于識(shí)別包含多種語(yǔ)言的語(yǔ)音的方法的流程圖；
[0025]圖10是示出根據(jù)本公開(kāi)的實(shí)施例的文本到語(yǔ)音(TTS)方法的流程圖。
[0026]在整個(gè)附圖中，應(yīng)該注意相同的標(biāo)號(hào)被用于表示相同或相似的元件、特征和結(jié)構(gòu)。

【具體實(shí)施方式】
[0027]以下討論的圖1到圖10以及該專(zhuān)利文件中用于描述本公開(kāi)的原理的各種實(shí)施例，僅意在說(shuō)明而不應(yīng)該被以任何方式解釋來(lái)限制本公開(kāi)的范圍。本領(lǐng)域技術(shù)人員將理解本公開(kāi)的原理可在任何適當(dāng)布置的電子裝置中實(shí)現(xiàn)。
[0028]圖1是示出根據(jù)本公開(kāi)的實(shí)施例的用于識(shí)別語(yǔ)音的方法的流程圖。另外，圖2A至圖2D是示出根據(jù)本公開(kāi)的實(shí)施例的用于識(shí)別語(yǔ)音的方法的概念示圖。以下將參照?qǐng)D2A至圖2D更詳細(xì)地描述如圖1所示的用于識(shí)別語(yǔ)音的方法。
[0029]參照?qǐng)D1，在步驟S101，用于識(shí)別語(yǔ)音的設(shè)備接收包含多種語(yǔ)言的語(yǔ)音作為輸入。多種語(yǔ)言可包括主要語(yǔ)言和非主要語(yǔ)言。這里，主要語(yǔ)言可以是占輸入語(yǔ)音的較大部分的語(yǔ)言。相反，非主要語(yǔ)言是與主要語(yǔ)言的類(lèi)型不同的類(lèi)型，并可以是占輸入語(yǔ)音的較小部分的語(yǔ)言。主要語(yǔ)言占輸入語(yǔ)音的較大部分，因而在用于識(shí)別語(yǔ)音的設(shè)備中被設(shè)置為具有將被識(shí)別的語(yǔ)言的類(lèi)型。換言之，在用于識(shí)別語(yǔ)音的設(shè)備中已被預(yù)先設(shè)置用于語(yǔ)音識(shí)別的語(yǔ)言可被稱(chēng)為“主要語(yǔ)言”。在用于識(shí)別語(yǔ)音的設(shè)備中沒(méi)有被預(yù)先設(shè)置為將要識(shí)別的語(yǔ)言的語(yǔ)言可被稱(chēng)為“非主要語(yǔ)言”。
[0030]在本示例中，考慮了主要講第一語(yǔ)言的用戶(hù)也間歇地講第二語(yǔ)言的情況。因?yàn)橛脩?hù)主要講第一語(yǔ)言，所以在用于識(shí)別語(yǔ)音的設(shè)備中第一語(yǔ)言被設(shè)置為將被識(shí)別的語(yǔ)言。相反，第二語(yǔ)言被相對(duì)間歇地講，因而沒(méi)有被設(shè)置為將被識(shí)別的語(yǔ)言。因此，第一語(yǔ)言為主要語(yǔ)言，第二語(yǔ)言為非主要語(yǔ)言。
[0031]圖2A是示出根據(jù)本公開(kāi)的實(shí)施例的包含主要語(yǔ)言和非主要語(yǔ)言的語(yǔ)音的概念示圖。
[0032]圖2A 示出輸入了表達(dá)“How was your Chuseok holiday ? ” 的語(yǔ)音 200 的情況。在如圖2八所示的本公開(kāi)的實(shí)施例中，英語(yǔ)單詞“!10?”、、&8”、、0111'”和“holiday”指主要語(yǔ)言，韓語(yǔ)單詞“Chuseok”指非主要語(yǔ)言。具體地，用于識(shí)別語(yǔ)音的設(shè)備將英語(yǔ)設(shè)置為了主要語(yǔ)言，而沒(méi)有針對(duì)韓語(yǔ)執(zhí)行專(zhuān)門(mén)的設(shè)置。
[0033]再參照?qǐng)D1，在步驟S103，用于識(shí)別語(yǔ)音的設(shè)備從輸入語(yǔ)音200中識(shí)別非主要語(yǔ)言。例如，用于識(shí)別語(yǔ)音的設(shè)備通過(guò)使用用于識(shí)別聲學(xué)模型的方法，以音素為單位分割已如圖2A所示接收到的語(yǔ)音200。用于識(shí)別語(yǔ)音的設(shè)備可將語(yǔ)音200分割為音素“h”、“au”、‘ V，、“ a ”、“ z ”、“ yo ”、“ rr ”、“ ch ”、“ u ”、“ s ”、“ aw ”、“ k ”、“ h ”、“ aw ”、“I”、“ i ”、“ d ”、“ e ” 和 “ i ”。
[0034]或者，用于識(shí)別語(yǔ)音的設(shè)備可通過(guò)使用用于識(shí)別語(yǔ)言模型的方法，以單詞為單位分割輸入語(yǔ)音200。用于識(shí)別語(yǔ)音的設(shè)備可將語(yǔ)音200分割為第一單詞201到第五單詞205。
[0035]本領(lǐng)域的技術(shù)人員將容易地理解本公開(kāi)的技術(shù)理念不被用于識(shí)別聲學(xué)模型或語(yǔ)言模型的方法的類(lèi)型所限制。
[0036]用于識(shí)別語(yǔ)音的設(shè)備將每個(gè)分割的音素與音素?cái)?shù)據(jù)庫(kù)進(jìn)行匹配，從而確定它們之間的相似度。例如，用于識(shí)別語(yǔ)音的設(shè)備如圖2B所示識(shí)別單獨(dú)的音素或音素集211與音素?cái)?shù)據(jù)庫(kù)212之間的匹配關(guān)系。
[0037]參照?qǐng)D2B，用于識(shí)別語(yǔ)音的設(shè)備識(shí)別第一音素Pl與音素?cái)?shù)據(jù)庫(kù)212中第一單詞Wordl到第η單詞Word N之間的匹配關(guān)系，從而確定它們之間的相似度。另外，用于識(shí)別語(yǔ)音的設(shè)備將第二音素P2添加到第一音素Pl，并識(shí)別添加到第一音素Pl的第二音素P2與第一單詞Wordl到第η單詞Word N之間的匹配關(guān)系，從而確定它們之間的相似度。按照與如上所述的方式類(lèi)似的方式，用于識(shí)別語(yǔ)音的設(shè)備可將至少一個(gè)音素211與音素?cái)?shù)據(jù)庫(kù)212進(jìn)行匹配，從而可確定它們之間的相似度。用于識(shí)別語(yǔ)音的設(shè)備確定具有大于或等于預(yù)設(shè)閾值的相似度的單詞為識(shí)別出的單詞。就此而言，當(dāng)存在均具有大于或等于預(yù)設(shè)閾值的相似度的多個(gè)單詞時(shí)，用于識(shí)別語(yǔ)音的設(shè)備確定多個(gè)單詞中具有最大相似度的單詞為識(shí)別出的單詞。
[0038]圖2C是示出用于將音素“w”、“a”和“z”識(shí)別為單詞“was”的處理的概念示圖。參照?qǐng)D2C，用于識(shí)別語(yǔ)音的設(shè)備檢測(cè)匹配的結(jié)果和分割的音素“w”的相似度，檢測(cè)匹配的結(jié)果以及音素“w”和“a”的相似度，并檢測(cè)匹配的結(jié)果以及三個(gè)音素“w”、“a”和“z”的相似度。如圖2C所示，用于識(shí)別語(yǔ)音的設(shè)備識(shí)別三個(gè)音素“w”、“a”和“z”與音素?cái)?shù)據(jù)庫(kù)212的單詞“was”之間的相似度具有最大值，并大于或等于閾值。因此，用于識(shí)別語(yǔ)音的設(shè)備識(shí)別三個(gè)音素“W”、“a”和“z”與單詞“was”相應(yīng)。
[0039]同時(shí)，圖2D是示出識(shí)別“Chuseok”的處理的概念示圖。參照?qǐng)D2D，用于識(shí)別語(yǔ)音的設(shè)備檢測(cè)匹配的結(jié)果和分割的音素“ch”的相似度，檢測(cè)匹配的結(jié)果以及音素“ch”和“U”的相似度，檢測(cè)匹配的結(jié)果以及音素“ch”、“U”和“S”的相似度，檢測(cè)匹配的結(jié)果以及音素“ ch”、“u”、“ s ”和“aw”的相似度，并檢測(cè)匹配的結(jié)果以及音素“ Ch”、“u”、“ s ”、“aw”和“k”的相似度。就此而言，用于識(shí)別語(yǔ)音的設(shè)備可識(shí)別與每個(gè)音素項(xiàng)(即“ch”，“ch”和“U”，“ch”、“u”和“S，，, “ch”、“u”、“s” 和“aw”，“ch”、“u”、“s”、“aw”和“k”)匹配的單詞不存在?；蛘?，用于識(shí)別語(yǔ)音的設(shè)備可識(shí)別每個(gè)相似度均小于預(yù)設(shè)閾值。因此，用于識(shí)別語(yǔ)音的設(shè)備確定與“Chuseok”相應(yīng)的單詞不存在。以上所述的處理可被命名為“置信度測(cè)量”。
[0040]就此而言，用于識(shí)別語(yǔ)音的設(shè)備可執(zhí)行分離操作。在如圖2C和圖2D所示的本公開(kāi)的實(shí)施例中，用于識(shí)別語(yǔ)音的設(shè)備識(shí)別三個(gè)音素“w”、“a”和“z”與單詞“was”相應(yīng)，并且與音素“ch”、“U”、“S”、“aw”和“k”相應(yīng)的單詞不存在。因此，用于識(shí)別語(yǔ)音的設(shè)備識(shí)別三個(gè)音素“w”、“a”和“z”屬于英語(yǔ)，音素“ch”、“U”、“S”、“aw”和“k”屬于英語(yǔ)以外的其他語(yǔ)言。用于識(shí)別語(yǔ)音的設(shè)備確定音素“ch”、“u”、“s”、“aw”和“k”屬于非主要語(yǔ)言，確定除了音素“Ch”、“u”、“S”、“aw”和“k”以外剩下的音素屬于主要語(yǔ)言，隨后將剩下的音素與音素“ch”、“U”、“S”、“aw”和“k”分離，并識(shí)別非主要語(yǔ)言。
[0041]同時(shí)，以上描述的處理可被相似地應(yīng)用于接收到包含三種或更多種不同語(yǔ)言的語(yǔ)音的情況。在本示例中，用于識(shí)別語(yǔ)音的設(shè)備接收包含第一語(yǔ)言、第二語(yǔ)言和第三語(yǔ)言的語(yǔ)音作為輸入。用于識(shí)別語(yǔ)音的設(shè)備將第一語(yǔ)言設(shè)置為主要語(yǔ)言。用于識(shí)別語(yǔ)音的設(shè)備基于與第一語(yǔ)言相匹配的語(yǔ)音識(shí)別算法確定音素或音素集的相似度。用于識(shí)別語(yǔ)音的設(shè)備確定具有小于第一閾值的相似度的音素或音素集屬于不同于第一語(yǔ)言的語(yǔ)言。另外，用于識(shí)別語(yǔ)音的設(shè)備基于與第二語(yǔ)言相匹配的語(yǔ)音識(shí)別算法確定音素或音素集的相似度。用于識(shí)別語(yǔ)音的設(shè)備確定具有小于第二閾值的相似度的音素或音素集屬于不同于第二語(yǔ)言的語(yǔ)言。另外，用于識(shí)別語(yǔ)音的設(shè)備通過(guò)使用與第三語(yǔ)言相匹配的語(yǔ)音識(shí)別算法識(shí)別剩下的語(yǔ)音。如上所述，用于識(shí)別語(yǔ)音的設(shè)備識(shí)別包含多種語(yǔ)言的語(yǔ)音。
[0042]再參照?qǐng)D1，在步驟S105，用于識(shí)別語(yǔ)音的設(shè)備基于上下文信息確定非主要語(yǔ)言的類(lèi)型。在如圖1所示的本公開(kāi)的實(shí)施例中，上下文信息包括語(yǔ)音中是否存在國(guó)家的名稱(chēng)、關(guān)于用于識(shí)別語(yǔ)音的設(shè)備所在的地方的信息、對(duì)話(huà)歷史信息和更新的非主要語(yǔ)言數(shù)據(jù)庫(kù)中的至少一個(gè)。例如，當(dāng)確定了用于識(shí)別語(yǔ)音的設(shè)備所在的地方為韓國(guó)時(shí)，用于識(shí)別語(yǔ)音的設(shè)備確定非主要語(yǔ)言的類(lèi)型為韓語(yǔ)。以下將更詳細(xì)地描述確定與每個(gè)上下文信息相匹配的非主要語(yǔ)言的類(lèi)型的境況。
[0043]同時(shí)，用于識(shí)別語(yǔ)音的設(shè)備可顯示確定的非主要語(yǔ)言的類(lèi)型。用戶(hù)可識(shí)別非主要語(yǔ)言的類(lèi)型，并可輸入關(guān)于識(shí)別的非主要語(yǔ)言的類(lèi)型的肯定的反饋或否定的反饋。用于識(shí)別語(yǔ)音的設(shè)備可響應(yīng)于輸入的反饋確定非主要語(yǔ)言的類(lèi)型。例如，當(dāng)用戶(hù)輸入肯定的反饋時(shí)，用于識(shí)別語(yǔ)音的設(shè)備可最后定下來(lái)確定的非主要語(yǔ)言的類(lèi)型。相反，當(dāng)用戶(hù)輸入否定的反饋時(shí)，用于識(shí)別語(yǔ)音的設(shè)備可確定非主要語(yǔ)言的類(lèi)型為另一語(yǔ)言。或者，用于識(shí)別語(yǔ)音的設(shè)備可提供用戶(hù)界面(UI)，該UI提供其他語(yǔ)言的列表，并允許用戶(hù)選擇非主要語(yǔ)言的類(lèi)型。
[0044]在步驟S107，用于識(shí)別語(yǔ)音的設(shè)備通過(guò)使用預(yù)設(shè)類(lèi)型的語(yǔ)言識(shí)別算法識(shí)別主要語(yǔ)言，并通過(guò)使用用于識(shí)別確定的類(lèi)型的語(yǔ)言的語(yǔ)音的算法來(lái)識(shí)別非主要語(yǔ)言。例如，用于識(shí)別語(yǔ)音的設(shè)備將用于識(shí)別韓語(yǔ)語(yǔ)音的算法應(yīng)用于音素“ch”、“u”、“S”、“aw”和“k”，從而識(shí)別出音素“ ch”、“u”、“ s ”、“aw”和“k”與單詞“Chuseok”相應(yīng)。
[0045]用于識(shí)別語(yǔ)音的設(shè)備基于上下文信息確定非主要語(yǔ)言的類(lèi)型，從而可大大減小將非主要語(yǔ)言與所有語(yǔ)言進(jìn)行匹配以便識(shí)別出非主要語(yǔ)言所需的計(jì)算量。
[0046]圖3A是示出根據(jù)本公開(kāi)的實(shí)施例的用于識(shí)別語(yǔ)音的設(shè)備的配置的框圖。
[0047]參照?qǐng)D3A，用于識(shí)別語(yǔ)音的設(shè)備300包括麥克風(fēng)362、控制器310、存儲(chǔ)單元375和顯示單元390。
[0048]麥克風(fēng)362接收包含多種語(yǔ)言的語(yǔ)音作為輸入,將輸入語(yǔ)音轉(zhuǎn)換為電信號(hào)，并輸出電信號(hào)。例如，麥克風(fēng)362執(zhí)行模數(shù)(A/D)轉(zhuǎn)換，將輸入的模擬語(yǔ)音轉(zhuǎn)換為數(shù)字電信號(hào)，并輸出數(shù)字電信號(hào)。
[0049]控制器310將輸入語(yǔ)音分離為主要語(yǔ)言和非主要語(yǔ)言，并識(shí)別非主要語(yǔ)言。例如，控制器310以音素為單位分割輸入語(yǔ)音?？刂破?10從存儲(chǔ)單元375讀取用于識(shí)別被設(shè)置為主要語(yǔ)言的類(lèi)型的語(yǔ)言的語(yǔ)音的算法和主要語(yǔ)言的音素的數(shù)據(jù)庫(kù)?？刂破?10通過(guò)將至少一個(gè)音素與主要語(yǔ)言的一個(gè)單詞進(jìn)行匹配，來(lái)識(shí)別所述至少一個(gè)音素。同時(shí)，控制器310確定與主要語(yǔ)言的單詞不匹配(即，不存在于主要語(yǔ)言的音素的數(shù)據(jù)庫(kù)中)的音素或音素集屬于非主要語(yǔ)言。如上所述，控制器310針對(duì)從麥克風(fēng)362接收的作為輸入的語(yǔ)音來(lái)識(shí)別主要語(yǔ)言和非主要語(yǔ)言。
[0050]另外，控制器310基于上下文信息確定非主要語(yǔ)言的類(lèi)型，并通過(guò)使用與確定的非主要語(yǔ)言的類(lèi)型相匹配的語(yǔ)音識(shí)別算法，來(lái)識(shí)別非主要語(yǔ)言。
[0051]控制器310將識(shí)別主要語(yǔ)言的結(jié)果加到識(shí)別非主要語(yǔ)言的結(jié)果，并控制顯示單元390顯示識(shí)別結(jié)果?；蛘撸谖谋镜秸Z(yǔ)音(TTS)的情況下，控制器310可控制揚(yáng)聲器363以語(yǔ)音的形式輸出識(shí)別結(jié)果。
[0052]圖3B是示出根據(jù)本公開(kāi)的實(shí)施例的用于識(shí)別語(yǔ)音的設(shè)備的配置的更詳細(xì)的框圖。
[0053]參照?qǐng)D3B，用于識(shí)別語(yǔ)音的設(shè)備300包括控制器310、移動(dòng)通信模塊320、子通信模塊330、多媒體模塊340、相機(jī)模塊350、全球定位系統(tǒng)(GPS)模塊355、輸入/輸出模塊360、傳感器模塊370、存儲(chǔ)單元375、電源單元380、顯示單元390和顯示單元控制器395。在本公開(kāi)的該實(shí)施例中，具體地，顯示單元390被實(shí)現(xiàn)為觸摸屏。
[0054]根據(jù)本公開(kāi)的實(shí)施例，可通過(guò)使用移動(dòng)通信模塊320、子通信模塊330和連接器365將用于識(shí)別語(yǔ)音的設(shè)備300連接到外部裝置(未示出)。外部裝置的示例可包括另一裝置(未示出)、移動(dòng)電話(huà)(未示出)、智能電話(huà)(未示出)、平板PC(未示出)和服務(wù)器(未示出)。
[0055]根據(jù)本公開(kāi)的實(shí)施例，子通信模塊330包括無(wú)線(xiàn)局域網(wǎng)(LAN)模塊331和短距離通信模塊332 (例如近場(chǎng)通信(NFC)通信模塊)中的至少一個(gè)。例如，子通信模塊330可包括無(wú)線(xiàn)LAN模塊331和短距離通信模塊332中的一個(gè)或兩者。
[0056]根據(jù)本公開(kāi)的實(shí)施例，多媒體模塊340包括廣播通信模塊341、音頻再現(xiàn)模塊342和運(yùn)動(dòng)圖像再現(xiàn)模塊343中的至少一個(gè)。
[0057]根據(jù)本公開(kāi)的實(shí)施例，相機(jī)模塊350包括第一相機(jī)351和第二相機(jī)352中的至少一個(gè)。
[0058]根據(jù)本公開(kāi)的實(shí)施例，輸入/輸出模塊360包括至少一個(gè)按鈕361、麥克風(fēng)362、揚(yáng)聲器363、振動(dòng)馬達(dá)364、連接器365和鍵盤(pán)366。
[0059]控制器310可包括中央處理單元(CPU) 311、只讀存儲(chǔ)器(ROM) 312和隨機(jī)存取存儲(chǔ)器(RAM)313，其中，R0M312存儲(chǔ)用于控制用于識(shí)別語(yǔ)音的設(shè)備300的控制程序，RAM313存儲(chǔ)從用于識(shí)別語(yǔ)音的設(shè)備300的外部接收的信號(hào)或數(shù)據(jù)，或被用作由用于識(shí)別語(yǔ)音的設(shè)備300執(zhí)行的任務(wù)的存儲(chǔ)區(qū)域。CPU311可包括多個(gè)處理器。例如，CPU311可包括單核處理器、雙核處理器、三核處理器、四核處理器等。CPU311、R0M312和RAM313可通過(guò)內(nèi)部總線(xiàn)互相連接。
[0060]控制器310控制移動(dòng)通信模塊320、子通信模塊330、多媒體模塊340、相機(jī)模塊350,GPS模塊355、輸入/輸出模塊360、傳感器模塊370、存儲(chǔ)單元375、電源單元380、顯示單元390和顯示單元控制器395。
[0061]根據(jù)控制器310的控制，移動(dòng)通信模塊320通過(guò)使用至少一個(gè)天線(xiàn)或多個(gè)天線(xiàn)(未示出)，通過(guò)移動(dòng)通信允許用于識(shí)別語(yǔ)音的設(shè)備300被連接到外部裝置。移動(dòng)通信模塊320將用于語(yǔ)音呼叫、視頻呼叫、短消息服務(wù)(SMS)消息、多媒體消息服務(wù)(MMS)消息等的無(wú)線(xiàn)信號(hào)發(fā)送到電話(huà)號(hào)碼被輸入到用于識(shí)別語(yǔ)音的設(shè)備300的移動(dòng)電話(huà)(未示出)、智能電話(huà)(未示出)、平板PC或另一裝置(未示出)，并從所述移動(dòng)電話(huà)(未示出)、智能電話(huà)(未示出)、平板PC或另一裝置(未示出)接收所述無(wú)線(xiàn)信號(hào)。
[0062]根據(jù)控制器310的控制，可在安裝了無(wú)線(xiàn)接入點(diǎn)(AP)的地方將無(wú)線(xiàn)LAN模塊331連接到互聯(lián)網(wǎng)。無(wú)線(xiàn)LAN模塊331支持無(wú)線(xiàn)LAN標(biāo)準(zhǔn)(例如電氣和電子工程師協(xié)會(huì)(IEEE)的IEEE802.1lx)。根據(jù)控制器310的控制，短距離通信模塊332使用于識(shí)別語(yǔ)音的設(shè)備300能夠執(zhí)行與圖像形成裝置(未示出)的近距離無(wú)線(xiàn)通信。短距離通信方案可包括藍(lán)牙、紅外線(xiàn)數(shù)據(jù)協(xié)會(huì)(IrDA)等。
[0063]根據(jù)本公開(kāi)的變化的實(shí)施例，用于識(shí)別語(yǔ)音的設(shè)備300可包括移動(dòng)通信模塊320、無(wú)線(xiàn)LAN模塊331和短距離通信模塊332中的至少一個(gè)，或它們的任何組合。另外，移動(dòng)通信模塊320、無(wú)線(xiàn)LAN模塊331和短距離通信模塊332的組合可被稱(chēng)為“通信模塊”。
[0064]多媒體模塊340可包括廣播通信模塊341、音頻再現(xiàn)模塊342和/或運(yùn)動(dòng)圖像再現(xiàn)模塊343。根據(jù)控制器310的控制，廣播通信模塊341通過(guò)廣播通信天線(xiàn)(未示出)接收由廣播站發(fā)送的廣播信號(hào)(例如，TV廣播信號(hào)、無(wú)線(xiàn)電廣播信號(hào)或數(shù)據(jù)廣播信號(hào)等)和額外的廣播信息(例如，電子節(jié)目指南(EPG)或電子服務(wù)指南(ESG))。根據(jù)控制器310的控制，音頻再現(xiàn)模塊342再現(xiàn)存儲(chǔ)的或接收的數(shù)字音頻文件(例如,具有mp3、wma、ogg或wav文件擴(kuò)展名的文件)。根據(jù)控制器310的控制，運(yùn)動(dòng)圖像再現(xiàn)模塊343再現(xiàn)存儲(chǔ)的或接收的數(shù)字運(yùn)動(dòng)圖像文件(例如，具有mpeg、mpg、mp4、av1、mov或mkv文件擴(kuò)展名的文件)。運(yùn)動(dòng)圖像再現(xiàn)模塊343也可再現(xiàn)數(shù)字音頻文件。
[0065]根據(jù)本公開(kāi)的實(shí)施例，多媒體模塊340可包括音頻再現(xiàn)模塊342和運(yùn)動(dòng)圖像再現(xiàn)模塊343，而不包括廣播通信模塊341。根據(jù)本公開(kāi)的另一實(shí)施例，多媒體模塊340的音頻再現(xiàn)模塊342或運(yùn)動(dòng)圖像再現(xiàn)模塊343可被包括在控制器310中。
[0066]相機(jī)模塊350包括均用于根據(jù)控制器310的控制捕獲靜止圖像或運(yùn)動(dòng)圖像的第一相機(jī)351和第二相機(jī)352中的至少一個(gè)。另外,第一相機(jī)351或第二相機(jī)352可包括提供當(dāng)捕獲圖像時(shí)將被使用的額外光的輔助光源(諸如閃光燈(未示出))。第一相機(jī)351可被安裝在用于識(shí)別語(yǔ)音的設(shè)備300的前表面，第二相機(jī)352可被安裝在用于識(shí)別語(yǔ)音的設(shè)備300的后表面上?；蛘?，第一相機(jī)351和第二相機(jī)352可被彼此相鄰地布置(例如，第一相機(jī)351和第二相機(jī)352之間的距離可以是大于Icm并且小于8cm)，并且按照這樣的配置，第一相機(jī)351和第二相機(jī)352可捕獲三維靜止圖像或三維運(yùn)動(dòng)圖像。
[0067]GPS模塊355從地球軌道上的多個(gè)GPS衛(wèi)星中的每個(gè)GPS衛(wèi)星(未示出)接收信號(hào)，并通過(guò)使用從每個(gè)GPS衛(wèi)星(未示出)到用于識(shí)別語(yǔ)音的設(shè)備300的到達(dá)時(shí)間(TOA)，來(lái)計(jì)算用于識(shí)別語(yǔ)音的設(shè)備300的位置。如下詳細(xì)所述，控制器310通過(guò)使用用于識(shí)別語(yǔ)音的設(shè)備300的位置，來(lái)確定非主要語(yǔ)言的類(lèi)型。
[0068]輸入/輸出模塊360包括至少一個(gè)輸入/輸出裝置，諸如多個(gè)按鈕361、麥克風(fēng)362、揚(yáng)聲器363、振動(dòng)馬達(dá)364、連接器365和鍵盤(pán)366中的至少一個(gè)。
[0069]按鈕361可被形成在用于識(shí)別語(yǔ)音的設(shè)備300的殼體的前表面、側(cè)表面或后表面上，并可包括電源/鎖定按鈕(未示出)、音量按鈕(未示出)、菜單按鈕、主屏按鈕、返回按鈕和搜索按鈕中的至少一個(gè)。
[0070]根據(jù)控制器310的控制，麥克風(fēng)362接收語(yǔ)首或聲首作為輸入，并根據(jù)接收到的輸入產(chǎn)生電信號(hào)。
[0071]根據(jù)控制器310的控制，揚(yáng)聲器363將與來(lái)自于移動(dòng)通信模塊320、子通信模塊330、多媒體模塊340和相機(jī)模塊350的各種信號(hào)(例如，無(wú)線(xiàn)信號(hào)、廣播信號(hào)、數(shù)字音頻文件、數(shù)字運(yùn)動(dòng)圖像文件和拍攝)相匹配的聲音輸出到用于識(shí)別語(yǔ)音的設(shè)備300的外部。揚(yáng)聲器363可輸出與用于識(shí)別語(yǔ)音的設(shè)備300執(zhí)行的功能相匹配的聲音(例如，按鈕操作的聲音或與電話(huà)呼叫相匹配的回鈴音)。用于識(shí)別語(yǔ)音的設(shè)備300可包括多個(gè)揚(yáng)聲器。揚(yáng)聲器363或多個(gè)揚(yáng)聲器可被布置在用于識(shí)別語(yǔ)音的設(shè)備300的殼體的一個(gè)或多個(gè)合適的位置，以便直接輸出聲音。
[0072]根據(jù)控制器310的控制，振動(dòng)馬達(dá)364將電信號(hào)轉(zhuǎn)換為機(jī)械振動(dòng)。例如，當(dāng)用于識(shí)別語(yǔ)音的設(shè)備300在振動(dòng)模式下從另一裝置(未示出)接收到語(yǔ)音呼叫時(shí)，用于識(shí)別語(yǔ)音的設(shè)備300的振動(dòng)馬達(dá)364可進(jìn)行操作。用于識(shí)別語(yǔ)音的設(shè)備300可包括多個(gè)振動(dòng)馬達(dá)。振動(dòng)馬達(dá)364或多個(gè)振動(dòng)馬達(dá)可被安裝在用于識(shí)別語(yǔ)音的設(shè)備300的殼體中。振動(dòng)馬達(dá)364可響應(yīng)于觸摸顯示單元390的用戶(hù)的觸摸動(dòng)作和在顯示單元390上的觸摸的持續(xù)移動(dòng)而操作。
[0073]連接器365被用作用于將用于識(shí)別語(yǔ)音的設(shè)備300連接到外部裝置(未示出)或電源(未示出)的接口。根據(jù)控制器310的控制，通過(guò)連接到連接器365的有線(xiàn)線(xiàn)纜，用于識(shí)別語(yǔ)音的設(shè)備300將存儲(chǔ)在用于識(shí)別語(yǔ)音的設(shè)備300的存儲(chǔ)單元375中的數(shù)據(jù)發(fā)送到外部裝置(未示出)和/或從外部裝置(未示出)接收數(shù)據(jù)。另外，通過(guò)連接到連接器365的有線(xiàn)線(xiàn)纜，用于識(shí)別語(yǔ)音的設(shè)備300可被從電源(未示出)供電或可通過(guò)使用電源為電池(未示出)充電。
[0074]鍵盤(pán)366從用戶(hù)接收按鍵輸入以便控制用于識(shí)別語(yǔ)音的設(shè)備300。鍵盤(pán)366包括安裝在用于識(shí)別語(yǔ)音的設(shè)備300的前表面上的物理鍵盤(pán)(未示出)和/或由顯示單元390顯示的虛擬鍵盤(pán)(未示出)。根據(jù)本公開(kāi)的實(shí)施例，可省略安裝在用于識(shí)別語(yǔ)音的設(shè)備300的前表面上的物理鍵盤(pán)(未不出)。
[0075]傳感器模塊370包括用于檢測(cè)用于識(shí)別語(yǔ)音的設(shè)備300的狀態(tài)的至少一個(gè)傳感器。例如，傳感器模塊370可包括接近傳感器、照度傳感器(未示出)、運(yùn)動(dòng)傳感器(未示出)等，其中，接近傳感器用于檢測(cè)用戶(hù)是否靠近用于識(shí)別語(yǔ)音的設(shè)備300，照度傳感器用于檢測(cè)用于識(shí)別語(yǔ)音的設(shè)備300周?chē)墓饬?，運(yùn)動(dòng)傳感器用于檢測(cè)用于識(shí)別語(yǔ)音的設(shè)備300的運(yùn)動(dòng)(例如，用于識(shí)別語(yǔ)音的設(shè)備300的旋轉(zhuǎn)、應(yīng)用于用于識(shí)別語(yǔ)音的設(shè)備300的加速度或振動(dòng))。至少一個(gè)傳感器可檢測(cè)用于識(shí)別語(yǔ)音的設(shè)備300的狀態(tài)，可產(chǎn)生與檢測(cè)相匹配的信號(hào)，并可將產(chǎn)生的信號(hào)發(fā)送到控制器310。根據(jù)用于識(shí)別語(yǔ)音的設(shè)備300的性能，可將傳感器添加到傳感器模塊370或從傳感器模塊370中移除傳感器。
[0076]根據(jù)控制器310的控制，存儲(chǔ)單元375可存儲(chǔ)響應(yīng)于移動(dòng)通信模塊320、子通信模塊330、多媒體模塊340、相機(jī)模塊350、GPS模塊355、輸入/輸出模塊360、傳感器模塊370和顯示單元390中的每個(gè)的操作而輸入/輸出的信號(hào)或數(shù)據(jù)。存儲(chǔ)單元375可存儲(chǔ)用于控制用于識(shí)別語(yǔ)音的設(shè)備300的控制程序或用于控制器310的控制程序和應(yīng)用。
[0077]術(shù)語(yǔ)“存儲(chǔ)單元”可指存儲(chǔ)單元375、控制器310中的R0M312和RAM313、或安裝在用于識(shí)別語(yǔ)音的設(shè)備300上的諸如安全數(shù)字(SD)卡或記憶棒的存儲(chǔ)卡(未示出)中的任何一個(gè)或它們的組合。存儲(chǔ)單元可包括非易失性存儲(chǔ)器、易失性存儲(chǔ)器、硬盤(pán)驅(qū)動(dòng)器(HDD)、固態(tài)驅(qū)動(dòng)器(SSD)等。
[0078]根據(jù)控制器310的控制，電源單元380可向布置在用于識(shí)別語(yǔ)音的設(shè)備300的殼體中的一個(gè)或多個(gè)電池(未示出)提供電能。所述一個(gè)或多個(gè)電池(未示出)向用于識(shí)別語(yǔ)音的設(shè)備300提供電能。另外，電源單元380可通過(guò)連接到連接器365的有線(xiàn)線(xiàn)纜，將由外部電源(未示出)提供的電能提供給用于識(shí)別語(yǔ)音的設(shè)備300。
[0079]顯示單元390將與各種服務(wù)(例如，電話(huà)呼叫、數(shù)據(jù)傳輸、廣播和拍攝)相匹配的用戶(hù)界面提供給用戶(hù)。顯示單元390將與輸入到用戶(hù)界面的至少一個(gè)觸摸相匹配的模擬信號(hào)發(fā)送到顯示單元控制器395。顯示單元390可從用戶(hù)身體(例如，手指、拇指等)或能夠進(jìn)行觸摸的輸入部件(例如，觸控筆)接收至少一個(gè)觸摸作為輸入。另外，顯示單元390可接收關(guān)于至少一個(gè)觸摸的一個(gè)觸摸的持續(xù)移動(dòng)作為輸入。顯示單元390可將與輸入觸摸的持續(xù)移動(dòng)相匹配的模擬信號(hào)發(fā)送到顯示單元控制器395。
[0080]根據(jù)本公開(kāi)的實(shí)施例，觸摸不限于用戶(hù)的身體或能夠在顯示單元390上進(jìn)行觸摸的輸入部件的觸摸，而可包括非接觸觸摸(例如，顯示單元390和用戶(hù)的身體或能夠進(jìn)行觸摸的輸入部件之間的可檢測(cè)距離小于或等于Imm)。在顯示單元390中，可檢測(cè)距離可根據(jù)用于識(shí)別語(yǔ)音的設(shè)備300的性能或結(jié)構(gòu)而改變。
[0081]根據(jù)本公開(kāi)的實(shí)施例，顯示單元390例如包括第一觸摸面板390a和第二觸摸面板390b。第一觸摸面板390a可測(cè)量用戶(hù)身體的一部分的觸摸或接近。例如，第一觸摸面板390a可被實(shí)現(xiàn)為電阻觸摸屏、電容觸摸屏、紅外觸摸屏、表面聲波觸摸屏等。
[0082]同時(shí)，第二觸摸面板390b可測(cè)量輸入部件(諸如，觸控筆)的觸摸或接近。例如，可以以電磁輻射(EMR)測(cè)量方案來(lái)實(shí)現(xiàn)第二觸摸面板390b。
[0083]顯示單元控制器395將從顯示單元390接收到的模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)(例如，X和Y坐標(biāo))，并將數(shù)字信號(hào)提供給控制器310?？刂破?10通過(guò)使用從顯示單元控制器395接收到的數(shù)字信號(hào)，來(lái)控制顯示單元390。例如，控制器310可響應(yīng)于觸摸來(lái)控制顯示單元390選擇或執(zhí)行在顯示單元390上顯示的快捷圖標(biāo)(未示出)。根據(jù)本公開(kāi)的實(shí)施例，顯示單元控制器395可被包括在控制器310中。顯示單元控制器395例如包括控制第一觸摸面板390a的第一觸摸面板控制器395a和控制第二觸摸面板390b的第二觸摸面板控制器395b。
[0084]同時(shí)，控制器310檢測(cè)由相機(jī)模塊350、輸入/輸出模塊360、傳感器模塊370等以及顯示單元390接收的各種用戶(hù)輸入。用戶(hù)輸入的示例可包括輸入到用于識(shí)別語(yǔ)音的設(shè)備300的各種形式的多條信息，諸如用戶(hù)的觸摸、用戶(hù)的手勢(shì)、用戶(hù)的語(yǔ)音、用戶(hù)眼睛的瞳孔的移動(dòng)、用戶(hù)的生物醫(yī)學(xué)信號(hào)等。控制器310大體上控制用于識(shí)別語(yǔ)音的設(shè)備300執(zhí)行與檢測(cè)到的用戶(hù)輸入相匹配的預(yù)定操作或功能。
[0085]圖4是示出根據(jù)本公開(kāi)的實(shí)施例的用于識(shí)別語(yǔ)音的方法的流程圖。
[0086]參照?qǐng)D4，在步驟S401，用于識(shí)別語(yǔ)音的設(shè)備基于上下文信息確定非主要語(yǔ)言的類(lèi)型。在步驟S403，用于識(shí)別語(yǔ)音的設(shè)備通過(guò)使用與確定的非主要語(yǔ)言的類(lèi)型相匹配的語(yǔ)音識(shí)別算法，來(lái)識(shí)別非主要語(yǔ)言的語(yǔ)音。同時(shí)，在步驟S405，用于識(shí)別語(yǔ)音的設(shè)備通過(guò)使用識(shí)別語(yǔ)音的結(jié)果，來(lái)更新上下文信息和語(yǔ)音識(shí)別算法中的至少一個(gè)。
[0087]例如，如上所述，在如圖1和圖2A至圖2D所示的本公開(kāi)的實(shí)施例中，將音素“ch”、“u”、“s”、“aw”和“k”識(shí)別為韓語(yǔ)“Chuseok”，并且更新非主要語(yǔ)言數(shù)據(jù)庫(kù)。當(dāng)音素“ch”、“u”、“s”、“aw”和“k”作為輸入被接收時(shí)，用于識(shí)別語(yǔ)音的設(shè)備立即將用于識(shí)別韓語(yǔ)語(yǔ)音的算法應(yīng)用于接收到的音素“ch”、“U”、“S”、“aw”和“k”。或者，當(dāng)音素“ch”、“u”、“S”、“aw”和“k”作為輸入被接收時(shí)，用于識(shí)別語(yǔ)音的設(shè)備可立即將接收到的音素“ch”、“U”、“S”、“aw”和“k”識(shí)別為韓語(yǔ)“Chuseok”。如上所述，本公開(kāi)的實(shí)施例可提供用于識(shí)別具有每個(gè)用戶(hù)的特征的語(yǔ)音的方法。在本示例中，描述了不熟悉韓語(yǔ)的美國(guó)人沒(méi)有將“Chuseok”發(fā)音為音素“ch”、“U”、“S”、“aw”和“k”，而是發(fā)音為音素“ch”、“U”、“S”、“o”和“k”的情況。在這種情況下，用于識(shí)別語(yǔ)音的設(shè)備以參照?qǐng)D1所述的方法，將音素“ch”、“u”、“s”、“0”和“k”識(shí)別為“Chuseok”，并且音素“ch”、“U”、“S”、“o”和“k”與“Chuseok”相應(yīng)的信息被用于更新非主要語(yǔ)言數(shù)據(jù)庫(kù)。此后，即使當(dāng)同一用戶(hù)再次輸入音素“ch”、“U”、“S”、“o”和“k”時(shí)，用于識(shí)別語(yǔ)音的設(shè)備也可立即將用于識(shí)別韓語(yǔ)語(yǔ)音的算法應(yīng)用于音素“ch”、“u”、“s”、“o”和“k”，或可立即將音素“ch”、“u”、“s”、“0”和“k”識(shí)別為韓語(yǔ)“Chuseok”。因此，在根據(jù)本公開(kāi)的實(shí)施例的用于識(shí)別語(yǔ)音的方法中，用于識(shí)別語(yǔ)音的設(shè)備快速確定對(duì)于每個(gè)用戶(hù)不同的發(fā)音屬于非主要語(yǔ)言，并識(shí)別對(duì)于每個(gè)用戶(hù)不同的發(fā)音。
[0088]圖5是詳細(xì)示出根據(jù)本公開(kāi)的實(shí)施例的用于識(shí)別語(yǔ)音的方法的流程圖。以下將參照?qǐng)D6A至6F更詳細(xì)地描述如圖5所示的本公開(kāi)的實(shí)施例。圖6A至圖6F是示出根據(jù)本公開(kāi)的實(shí)施例的用于識(shí)別語(yǔ)音的方法的用于識(shí)別語(yǔ)音的設(shè)備的概念示圖。
[0089]參照?qǐng)D5，在步驟S501，用于識(shí)別語(yǔ)音的設(shè)備基于上下文信息確定非主要語(yǔ)言的類(lèi)型。在步驟S503，用于識(shí)別語(yǔ)音的設(shè)備通過(guò)使用與確定的非主要語(yǔ)言的類(lèi)型相匹配的語(yǔ)音識(shí)別算法，來(lái)識(shí)別非主要語(yǔ)言的語(yǔ)音。
[0090]在步驟S511，用于識(shí)別語(yǔ)音的設(shè)備接收包含多種語(yǔ)言的語(yǔ)音作為輸入，并輸出識(shí)別語(yǔ)音的結(jié)果。
[0091]例如，如圖6A所示，用于識(shí)別語(yǔ)音的設(shè)備300通過(guò)麥克風(fēng)362接收包含多種語(yǔ)言的語(yǔ)音601作為輸入。在本示例中，語(yǔ)音601包括音素“1!”、“&11”、、”、“&”、“00”、“1.!.”、“ ch ”、“u ”、“ s ”、“ aw”、“ k”、“h ”、“ aw”、“ I ”、“ i ”、“ d”、“ e ” 和 “ i ”。
[0092]隨后，如圖6B所示，用于識(shí)別語(yǔ)音的設(shè)備將與輸入語(yǔ)音相應(yīng)的文本顯示在顯示單元上。參照?qǐng)D6B,用于識(shí)別語(yǔ)音的設(shè)備顯示識(shí)別結(jié)果為“How was your two sunholiday ? ”。如圖6B所示，用于識(shí)別語(yǔ)音的設(shè)備300將音素“ch”、“U”、“S”、“aw”和“k”錯(cuò)誤識(shí)別為英語(yǔ)單詞“two sun”，并在與音素“ch”、“U”、“S”、“aw”和“k”相匹配的位置處輸出英語(yǔ)單詞“two sun”。
[0093]在步驟S513，用于識(shí)別語(yǔ)音的設(shè)備接收關(guān)于識(shí)別結(jié)果的用戶(hù)反饋?zhàn)鳛檩斎搿＿@里，用戶(hù)反饋可以是指示識(shí)別的結(jié)果合適還是不合適的用戶(hù)反饋。響應(yīng)于如圖6B所示的錯(cuò)誤識(shí)別的結(jié)果，用戶(hù)輸入指示識(shí)別的結(jié)果不合適的用戶(hù)反饋。例如，如圖6C所示，用戶(hù)輸入觸摸顯示單元兩次的手勢(shì)610，從而輸入指示識(shí)別的結(jié)果不合適的用戶(hù)反饋。同時(shí)，描述觸摸顯示單元兩次的手勢(shì)610僅用于示出性的目的，并且本領(lǐng)域技術(shù)人員將容易地理解不存在對(duì)用于輸入用戶(hù)反饋的方法的限制。
[0094]或者，用戶(hù)可僅指示被錯(cuò)誤識(shí)別的部分。例如，用戶(hù)可在顯示“two sun”的屏幕的部分處輸入拖動(dòng)手勢(shì)。用于識(shí)別語(yǔ)音的設(shè)備識(shí)別出錯(cuò)誤發(fā)生在識(shí)別與“two sun”相匹配的音素“ ch ”、“u ”、“ s ”、“ aw”和“ k”中，其中，在“ two sun ”上用戶(hù)反饋已被輸入。
[0095]用于識(shí)別語(yǔ)音的設(shè)備在步驟S515基于輸入的用戶(hù)反饋來(lái)更新上下文信息和語(yǔ)音識(shí)別算法中的至少一個(gè)。例如，在圖6C中，用于識(shí)別語(yǔ)音的設(shè)備基于關(guān)于在將音素“ch”、“u”、“s”、“aw”和“k”識(shí)別為英語(yǔ)單詞“two sun”中的錯(cuò)誤的信息，來(lái)更新上下文信息和語(yǔ)音識(shí)別算法中的至少一個(gè)。
[0096]同時(shí)，用于識(shí)別語(yǔ)音的設(shè)備可重新識(shí)別輸入語(yǔ)音，并例如可顯示如圖6D所示的重新識(shí)別的結(jié)果。參照?qǐng)D6D,用于識(shí)別語(yǔ)音的設(shè)備顯示識(shí)別的結(jié)果為“How was your Chuseokholiday ? ”。參照?qǐng)D6E，用戶(hù)可通過(guò)如由標(biāo)號(hào)620表示的觸摸顯示單元一次，來(lái)輸入識(shí)別的結(jié)果合適的用戶(hù)反饋。響應(yīng)于輸入的用戶(hù)反饋，用于識(shí)別語(yǔ)音的設(shè)備可如圖6F所示最后確定并顯示識(shí)別的結(jié)果。
[0097]用于識(shí)別語(yǔ)音的設(shè)備基于將音素“ch”、“U”、“S”、“aw”和“k”識(shí)別為韓語(yǔ)單詞“Chuseok”合適的信息，來(lái)更新上下文信息和語(yǔ)音識(shí)別算法中的至少一個(gè)。因此，此后，當(dāng)音素“ch”、“u”、“S”、“aw”和“k”被作為輸入接收時(shí)，在從識(shí)別的結(jié)果中排除英語(yǔ)單詞“twosun”的同時(shí)，用于識(shí)別語(yǔ)音的設(shè)備立即將音素“ch”、“U”、“S”、“aw”和“k”識(shí)別為韓語(yǔ)單詞“Chuseok”，并提供已從音素“ch”、“U”、“S”、“aw”和“k”識(shí)別出的韓語(yǔ)單詞“Chuseok”。
[0098]如上所述，用于識(shí)別語(yǔ)音的設(shè)備基于識(shí)別語(yǔ)音的結(jié)果來(lái)更新非主要語(yǔ)言數(shù)據(jù)庫(kù)。用于識(shí)別語(yǔ)音的設(shè)備可基于用戶(hù)反饋來(lái)更新非主要語(yǔ)言數(shù)據(jù)庫(kù)。相反，用于識(shí)別語(yǔ)音的設(shè)備可無(wú)需基于用戶(hù)反饋而更新非主要語(yǔ)言數(shù)據(jù)庫(kù)。
[0099]圖7是示出根據(jù)本公開(kāi)的另一實(shí)施例的用于識(shí)別語(yǔ)音的方法的流程圖。
[0100]在步驟S701，用于識(shí)別語(yǔ)音的設(shè)備基于上下文信息確定非主要語(yǔ)言的類(lèi)型并識(shí)別輸入的語(yǔ)音。在步驟S703，用于識(shí)別語(yǔ)音的設(shè)備輸出識(shí)別的結(jié)果。在步驟S705，用于識(shí)別語(yǔ)音的設(shè)備接收指示識(shí)別的結(jié)果合適還是不合適的用戶(hù)反饋?zhàn)鳛檩斎?。?dāng)用戶(hù)反饋指示識(shí)別的結(jié)果合適(在步驟S707中的是)時(shí)，在步驟S711，用于識(shí)別語(yǔ)音的設(shè)備基于相關(guān)識(shí)別的結(jié)果來(lái)更新非主要語(yǔ)言數(shù)據(jù)庫(kù)。當(dāng)用戶(hù)反饋指示識(shí)別的結(jié)果不合適(在步驟S707中的否)時(shí)，在步驟S709，用于識(shí)別語(yǔ)音的設(shè)備從非主要語(yǔ)言數(shù)據(jù)庫(kù)中排除相關(guān)識(shí)別的結(jié)果，并重新識(shí)別輸入的語(yǔ)音。
[0101]上述處理能夠?qū)崿F(xiàn)用于識(shí)別具有每個(gè)用戶(hù)的特征的語(yǔ)音的方法。用于識(shí)別語(yǔ)音的設(shè)備可為每個(gè)用戶(hù)不同地設(shè)置用于識(shí)別語(yǔ)音的方法。或者，用于識(shí)別語(yǔ)音的設(shè)備可將用于識(shí)別具有特定用戶(hù)的特征的語(yǔ)音的方法，發(fā)送到用于識(shí)別語(yǔ)音的另一設(shè)備。因此，即使當(dāng)特定用戶(hù)使用用于識(shí)別語(yǔ)音的另一設(shè)備時(shí)，特定用戶(hù)也可使用用于識(shí)別具有特定用戶(hù)的特征的語(yǔ)音的方法，而無(wú)需任何改變。或者，用于識(shí)別語(yǔ)音的設(shè)備可從外部接收用于識(shí)別具有特定用戶(hù)的特征的語(yǔ)音的方法，并可使用它。換言之，用于識(shí)別語(yǔ)音的方法可將非主要語(yǔ)言數(shù)據(jù)庫(kù)發(fā)送到外部，或可從外部接收非主要語(yǔ)言數(shù)據(jù)庫(kù)。
[0102]圖8是示出根據(jù)本公開(kāi)的實(shí)施例的在用于識(shí)別語(yǔ)音的方法中基于各條上下文信息確定非主要語(yǔ)言的類(lèi)型的處理的流程圖。在下文中，將參照?qǐng)D8描述用于基于各條上下文信息確定非主要語(yǔ)言的類(lèi)型的處理。
[0103]在步驟S801，用于識(shí)別語(yǔ)音的設(shè)備從輸入的語(yǔ)音中識(shí)別主要語(yǔ)言和非主要語(yǔ)言。
[0104]在步驟S803，用于識(shí)別語(yǔ)音的設(shè)備確定是否在一個(gè)句子中提及了國(guó)家的名稱(chēng)。當(dāng)用于識(shí)別語(yǔ)音的設(shè)備確定國(guó)家的名稱(chēng)被提及時(shí)(在步驟S803中的是)時(shí)，在步驟S811，用于識(shí)別語(yǔ)音的設(shè)備可確定相關(guān)國(guó)家的語(yǔ)言為非主要語(yǔ)言類(lèi)型。
[0105]在本不例中，描述了用戶(hù)將說(shuō) “Are there any direct flights fromIncheon, South Korea to Reykjavik, Iceland ?”的用戶(hù)語(yǔ)音輸入到用于識(shí)別語(yǔ)音的設(shè)備的情況。另外，用于識(shí)別語(yǔ)音的設(shè)備將英語(yǔ)設(shè)置為主要語(yǔ)言。用于識(shí)別語(yǔ)音的設(shè)備識(shí)別“Incheon”和“Reykjavik”屬于非主要語(yǔ)言。同時(shí)，用于識(shí)別語(yǔ)音的設(shè)備確定在輸入的語(yǔ)音中提及了國(guó)家名稱(chēng)“South Korea”和國(guó)家名稱(chēng)“ Iceland”。因此，用于識(shí)別語(yǔ)音的設(shè)備確定與“South Korea”鄰近的“Incheon”所屬的非主要語(yǔ)言的類(lèi)型為韓語(yǔ)，并確定與“Iceland”鄰近的“Reykjavik”所屬的非主要語(yǔ)言的類(lèi)型為冰島語(yǔ)。在步驟S805，用于識(shí)別語(yǔ)音的設(shè)備確定全球定位系統(tǒng)(GPS)坐標(biāo)或位置信息是否存在。當(dāng)GPS坐標(biāo)或位置信息存在(在步驟S805中的是)時(shí)，在步驟S811，用于識(shí)別語(yǔ)音的設(shè)備基于GPS坐標(biāo)或位置信息確定非主要語(yǔ)言的類(lèi)型。同時(shí)，終端裝置可將輸入的語(yǔ)音發(fā)送到服務(wù)器，并且隨后服務(wù)器可識(shí)別輸入的語(yǔ)音。在此示例中，服務(wù)器可接收終端裝置的GPS坐標(biāo)。另外，服務(wù)器可基于接收到的終端裝置的GPS坐標(biāo)確定非主要語(yǔ)言的類(lèi)型。
[0106]例如，用于識(shí)別語(yǔ)音的設(shè)備通過(guò)使用GPS坐標(biāo)識(shí)別用于識(shí)別語(yǔ)音的設(shè)備所在的國(guó)家。當(dāng)識(shí)別出的國(guó)家的語(yǔ)言未被設(shè)置為主要語(yǔ)言時(shí)，用于識(shí)別語(yǔ)音的設(shè)備確定識(shí)別出的國(guó)家的語(yǔ)言為非主要語(yǔ)言。另外，用于識(shí)別語(yǔ)音的設(shè)備通過(guò)使用用于識(shí)別語(yǔ)音的設(shè)備所在的地方的特點(diǎn)，來(lái)確定用于識(shí)別語(yǔ)音的設(shè)備位于哪個(gè)地方。例如，當(dāng)用于識(shí)別語(yǔ)音的設(shè)備所在的地方為法國(guó)餐館時(shí)，用于識(shí)別語(yǔ)音的設(shè)備確定非主要語(yǔ)言為法語(yǔ)。用于識(shí)別語(yǔ)音的設(shè)備可通過(guò)使用GPS坐標(biāo)識(shí)別位置信息，或可基于由子通信模塊330識(shí)別出的W1-Fi信道特性、標(biāo)識(shí)符等識(shí)別位置信息。
[0107]在步驟S807，用于識(shí)別語(yǔ)音的設(shè)備確定對(duì)話(huà)歷史是否包括語(yǔ)言指示物。當(dāng)對(duì)話(huà)歷史包括語(yǔ)言指示物(在步驟S807中的是)時(shí)，在步驟S811，用于識(shí)別語(yǔ)音的設(shè)備基于對(duì)話(huà)歷史來(lái)確定非主要語(yǔ)言的類(lèi)型。更具體地，用于識(shí)別語(yǔ)音的設(shè)備確定對(duì)話(huà)歷史是否包括特定國(guó)家的名稱(chēng)。當(dāng)與特定國(guó)家的名稱(chēng)相匹配的語(yǔ)言不是主要語(yǔ)言時(shí)，用于識(shí)別語(yǔ)音的設(shè)備確定與特定國(guó)家的名稱(chēng)相匹配的語(yǔ)言與非主要語(yǔ)言的類(lèi)型相應(yīng)。
[0108]例如，用戶(hù)與用于識(shí)別語(yǔ)音的設(shè)備進(jìn)行對(duì)話(huà)。用于識(shí)別語(yǔ)音的設(shè)備提供與用戶(hù)已輸入的語(yǔ)音相匹配的輸出。具體地，用戶(hù)可輸入說(shuō)“Which city will hold the winterOlympics in2018 ? ”的用戶(hù)的語(yǔ)音。用于識(shí)別語(yǔ)音的設(shè)備識(shí)別輸入的語(yǔ)音，并分析輸入的語(yǔ)音表示的意思。用于識(shí)別語(yǔ)音的設(shè)備提供與用戶(hù)已輸入的語(yǔ)音相匹配的輸出，例如可提供輸出“Pyeongchang, the Republic of Korea”。用于識(shí)別語(yǔ)音的設(shè)備可提供以文本的形式顯示的“Pyeongchang, the Republic of Korea”?；蛘撸糜谧R(shí)別語(yǔ)音的設(shè)備可基于TTS以語(yǔ)音的形式提供“Pyeongchang, the Republic of Korea”。用于識(shí)別語(yǔ)音的設(shè)備存儲(chǔ)它本身與用戶(hù)之間的對(duì)話(huà)歷史。具體地講，用于識(shí)別語(yǔ)音的設(shè)備存儲(chǔ)包括單詞“the Republicof Korea”和單詞“Pyeongchang”的一個(gè)句子，并存儲(chǔ)與“the Republic of Korea”相應(yīng)的音素和與“Pyeongchang”相應(yīng)的音素。
[0109]此后，當(dāng)用于識(shí)別語(yǔ)音的設(shè)備接收具有作為非主要語(yǔ)言的音素的與“Pyeongchang”相應(yīng)的音素的語(yǔ)音作為輸入時(shí),用于識(shí)別語(yǔ)音的設(shè)備確定“Pyeongchang”所屬的非主要語(yǔ)言的類(lèi)型為韓語(yǔ)，并將識(shí)別韓語(yǔ)語(yǔ)音的算法應(yīng)用于“Pyeongchang”。
[0110]在步驟S809，用于識(shí)別語(yǔ)音的設(shè)備確定更新的非主要語(yǔ)言數(shù)據(jù)庫(kù)是否存在。當(dāng)更新的非主要語(yǔ)言數(shù)據(jù)庫(kù)存在(在步驟S809中的是)時(shí)，在步驟S811，用于識(shí)別語(yǔ)音的設(shè)備基于更新的非主要語(yǔ)言數(shù)據(jù)庫(kù)確定非主要語(yǔ)言的類(lèi)型。更具體地，用于識(shí)別語(yǔ)音的設(shè)備確定在非主要語(yǔ)言數(shù)據(jù)庫(kù)中是否存在識(shí)別非主要語(yǔ)言的歷史。當(dāng)在非主要語(yǔ)言數(shù)據(jù)庫(kù)中存在識(shí)別非主要語(yǔ)言的歷史時(shí)，用于識(shí)別語(yǔ)音的設(shè)備立即基于與歷史相應(yīng)的識(shí)別的結(jié)果識(shí)別非主要語(yǔ)言，并輸出識(shí)別非主要語(yǔ)言的結(jié)果。相反，當(dāng)更新的非主要語(yǔ)言數(shù)據(jù)庫(kù)不存在(在步驟S809中的否)時(shí)，在步驟S813，用于識(shí)別語(yǔ)音的設(shè)備以單種語(yǔ)言(B卩，主要語(yǔ)言)對(duì)語(yǔ)音進(jìn)行解碼。
[0111]已參照?qǐng)D5描述了用于基于更新的非主要語(yǔ)言數(shù)據(jù)庫(kù)確定非主要語(yǔ)言的類(lèi)型的方法。如上所述，根據(jù)本公開(kāi)的實(shí)施例的用于識(shí)別語(yǔ)音的方法可被實(shí)現(xiàn)為具有每個(gè)用戶(hù)的特征的語(yǔ)音識(shí)別方法。具體地講，根據(jù)本公開(kāi)的實(shí)施例的用于識(shí)別語(yǔ)音的方法可被實(shí)現(xiàn)為基于每個(gè)用戶(hù)的聲音、語(yǔ)法/語(yǔ)言模式和行為模式中的至少一個(gè)并具有每個(gè)用戶(hù)的特征的語(yǔ)首識(shí)別方法。
[0112]例如，用戶(hù)的聲音與語(yǔ)音特征相關(guān)，并通過(guò)對(duì)每個(gè)用戶(hù)發(fā)音的獨(dú)立的音素模型或者音素的發(fā)生概率進(jìn)行建模來(lái)判定。另外，語(yǔ)法/語(yǔ)言模式通過(guò)識(shí)別最終解碼的文本的語(yǔ)法來(lái)判定。另外，行為模式可與每個(gè)用戶(hù)講多種語(yǔ)言的方式相關(guān)。
[0113]如上所述，根據(jù)本公開(kāi)的實(shí)施例的用于識(shí)別語(yǔ)音的方法基于各條上下文信息檢測(cè)非主要語(yǔ)言的類(lèi)型。
[0114]圖9是示出根據(jù)本公開(kāi)的實(shí)施例的用于識(shí)別包含多種語(yǔ)言的語(yǔ)音的方法的流程圖。
[0115]參照?qǐng)D9，在步驟S901，用于識(shí)別語(yǔ)音的設(shè)備接收包含多種語(yǔ)言的語(yǔ)音作為輸入。在如圖9所示的本公開(kāi)的實(shí)施例中，語(yǔ)音涵蓋第一語(yǔ)言和第二語(yǔ)言。用于識(shí)別語(yǔ)音的設(shè)備將第一語(yǔ)言設(shè)置為主要語(yǔ)言。在步驟S903，用于識(shí)別語(yǔ)音的設(shè)備通過(guò)使用第一語(yǔ)音識(shí)別算法來(lái)識(shí)別輸入語(yǔ)音的第一語(yǔ)音，其中，第一語(yǔ)音識(shí)別算法是與已被設(shè)置為主要語(yǔ)言的第一語(yǔ)言相匹配的語(yǔ)音識(shí)別算法。
[0116]在步驟S905，用于識(shí)別語(yǔ)音的設(shè)備基于識(shí)別第一語(yǔ)音的結(jié)果來(lái)識(shí)別主要語(yǔ)言和非主要語(yǔ)言。例如，如上所述，用于識(shí)別語(yǔ)音的設(shè)備基于每個(gè)音素的相似度(每個(gè)音素的相似度基于第一語(yǔ)音識(shí)別算法)，來(lái)確定具有小于預(yù)設(shè)閾值的相似度的每個(gè)音素屬于非主要語(yǔ)言。
[0117]用于識(shí)別語(yǔ)音的設(shè)備在步驟S907確定非主要語(yǔ)言的類(lèi)型，例如確定非主要語(yǔ)言的類(lèi)型是第二語(yǔ)言。在步驟S909用于識(shí)別語(yǔ)音的設(shè)備通過(guò)使用與第二語(yǔ)言相匹配的第二語(yǔ)音識(shí)別算法，來(lái)識(shí)別輸入語(yǔ)音的第二語(yǔ)音。在步驟S911，用于識(shí)別語(yǔ)音的設(shè)備輸出基于識(shí)別第一語(yǔ)音的結(jié)果和識(shí)別第二語(yǔ)言的結(jié)果的識(shí)別語(yǔ)音的結(jié)果。
[0118]圖10是示出根據(jù)本公開(kāi)的實(shí)施例的文本到語(yǔ)音(TTS)方法的流程圖。
[0119]在步驟S1001，用于識(shí)別文本的設(shè)備接收包括多種語(yǔ)言的字符的文本作為輸入。在如圖10所示的本公開(kāi)的實(shí)施例中，文本包括第一語(yǔ)言的字符和第二語(yǔ)言的字符。用于識(shí)別文本的設(shè)備將第一語(yǔ)言設(shè)置為主要語(yǔ)言。在步驟S1003，用于識(shí)別文本的設(shè)備通過(guò)使用第一文本識(shí)別算法識(shí)別輸入文本的第一文本，其中，第一文本識(shí)別算法是與已被設(shè)置為主要語(yǔ)言的第一語(yǔ)言相匹配的文本識(shí)別算法。
[0120]在步驟S1005，用于識(shí)別文本的設(shè)備基于識(shí)別第一文本的結(jié)果來(lái)識(shí)別主要語(yǔ)言和非主要語(yǔ)言。例如，用于識(shí)別文本的設(shè)備基于每個(gè)字符的相似度(每個(gè)字符的相似度基于第一文本識(shí)別算法)，來(lái)確定具有小于預(yù)設(shè)閾值的相似度的每個(gè)字符屬于非主要語(yǔ)言。
[0121]用于識(shí)別文本的設(shè)備在步驟S1007確定非主要語(yǔ)言的類(lèi)型，例如確定非主要語(yǔ)言的類(lèi)型是第二語(yǔ)言。用于識(shí)別文本的設(shè)備與如上所述的用于識(shí)別語(yǔ)音的方法相似地確定非主要語(yǔ)言的類(lèi)型。例如，用于識(shí)別文本的設(shè)備可基于輸入文本是否包括特定國(guó)家的名稱(chēng)，文本記錄歷史是否包括語(yǔ)言指示物、上下文信息和/或GPS/位置信息，來(lái)確定非主要語(yǔ)言的類(lèi)型。
[0122]在步驟S1009，用于識(shí)別文本的設(shè)備通過(guò)使用與第二語(yǔ)言相匹配的第二文本識(shí)別算法，來(lái)識(shí)別輸入文本的第二文本。在步驟S1011，用于識(shí)別文本的設(shè)備輸出基于識(shí)別第一文本的結(jié)果和識(shí)別第二文本的結(jié)果的識(shí)別文本的結(jié)果。具體地講，用于識(shí)別文本的設(shè)備以語(yǔ)音的形式輸出識(shí)別第一文本的結(jié)果和識(shí)別第二文本的結(jié)果。
[0123]可理解本公開(kāi)的實(shí)施例可在軟件、硬件或它們的組合中實(shí)現(xiàn)。任何這樣的軟件可例如被存儲(chǔ)在易失性或非易失性存儲(chǔ)裝置(諸如ROM)、存儲(chǔ)器(諸如RAM、存儲(chǔ)芯片、存儲(chǔ)器件、或存儲(chǔ)器IC)或可記錄光學(xué)或磁介質(zhì)(諸如CD、DVD、磁盤(pán)或磁帶)中，而不考慮它的將被刪除的能力或它的將被重記錄的能力。另外，將理解可通過(guò)包括控制單元和存儲(chǔ)器的計(jì)算機(jī)或便攜式終端實(shí)現(xiàn)本公開(kāi)的示例性實(shí)施例，其中，存儲(chǔ)器可以是可由適于存儲(chǔ)包括用于實(shí)現(xiàn)本公開(kāi)的示例性實(shí)施例的一個(gè)或更多個(gè)程序的機(jī)器讀取的存儲(chǔ)介質(zhì)的示例。因此，本公開(kāi)包括用于實(shí)現(xiàn)在本說(shuō)明書(shū)的權(quán)利要求中描述的設(shè)備和方法的代碼的程序和用于存儲(chǔ)所述程序的機(jī)器(計(jì)算機(jī)等)可讀存儲(chǔ)介質(zhì)。此外，可通過(guò)任意介質(zhì)(諸如通過(guò)線(xiàn)纜或無(wú)線(xiàn)連接傳輸?shù)耐ㄐ判盘?hào))來(lái)電傳輸如上所述的程序，并且本公開(kāi)適當(dāng)?shù)匕ǖ韧谒鼋橘|(zhì)的事物。
[0124]此外，所述裝置可從無(wú)線(xiàn)地或通過(guò)線(xiàn)纜連接到裝置的程序提供設(shè)備接收程序，并存儲(chǔ)接收到的程序。所述程序提供設(shè)備可包括程序、存儲(chǔ)器、通信單元和控制單元，其中，程序包括用于執(zhí)行本公開(kāi)的示例性實(shí)施例的指令，存儲(chǔ)器存儲(chǔ)本公開(kāi)的示例性實(shí)施例所需的信息等，通信單元執(zhí)行與電子設(shè)備的有線(xiàn)或無(wú)線(xiàn)通信，控制單元響應(yīng)于來(lái)自于電子設(shè)備的請(qǐng)求或自動(dòng)地將相應(yīng)程序發(fā)送到發(fā)送/接收設(shè)備。
[0125]盡管已參照示例性實(shí)施例描述了本公開(kāi)，但是各種改變和修改可被建議給本領(lǐng)域技術(shù)人員。意在使本公開(kāi)包含落在權(quán)利要求的范圍內(nèi)的這樣的改變和修改。
【權(quán)利要求】
1.一種識(shí)別語(yǔ)音的方法，所述方法包括: 接收包含多種語(yǔ)言的語(yǔ)音作為輸入(SlOl)； 通過(guò)使用與預(yù)設(shè)主要語(yǔ)言相匹配的語(yǔ)音識(shí)別算法，來(lái)識(shí)別語(yǔ)音的第一語(yǔ)音； 識(shí)別包括在多種語(yǔ)言中的預(yù)設(shè)主要語(yǔ)言和不同于預(yù)設(shè)主要語(yǔ)言的非主要語(yǔ)言(S103)； 基于上下文信息確定所述非主要語(yǔ)言的類(lèi)型(S105)； 通過(guò)將與確定的非主要語(yǔ)言的類(lèi)型相匹配的語(yǔ)音識(shí)別算法應(yīng)用于第二語(yǔ)音，來(lái)識(shí)別所述非主要語(yǔ)言的語(yǔ)音的第二語(yǔ)音(S107)； 輸出基于識(shí)別第一語(yǔ)音的結(jié)果和識(shí)別第二語(yǔ)音的結(jié)果的識(shí)別語(yǔ)音的結(jié)果。
2.如權(quán)利要求1所述的方法，其中，上下文信息包括以下信息中的至少一個(gè): 語(yǔ)音中是否存在國(guó)家的名稱(chēng)； 關(guān)于用于識(shí)別語(yǔ)音的設(shè)備所在的地方的信息； 對(duì)話(huà)歷史信息； 更新的非主要語(yǔ)言數(shù)據(jù)庫(kù)。
3.如權(quán)利要求2所述的方法，其中，基于上下文信息確定非主要語(yǔ)言的類(lèi)型的步驟包括: 當(dāng)語(yǔ)音中存在國(guó)家的名稱(chēng)時(shí)，如果與國(guó)家的名稱(chēng)相匹配的語(yǔ)言不是主要語(yǔ)言，則確定與國(guó)家的名稱(chēng)相匹配的語(yǔ)言是否為非主要語(yǔ)言(S803);或 基于測(cè)量的全球定位系統(tǒng)GPS坐標(biāo)確定非主要語(yǔ)言是否是與用于識(shí)別語(yǔ)音的設(shè)備所在的國(guó)家和地方中的至少一個(gè)的特點(diǎn)相匹配的語(yǔ)言(S805)。
4.如權(quán)利要求2所述的方法，其中，基于上下文信息確定非主要語(yǔ)言的類(lèi)型的步驟包括: 確定是否已經(jīng)預(yù)先存儲(chǔ)了非主要語(yǔ)言和國(guó)家名稱(chēng)共存的對(duì)話(huà)歷史； 當(dāng)對(duì)話(huà)歷史包括非主要語(yǔ)言和國(guó)家的名稱(chēng)時(shí)，確定非主要語(yǔ)言是否是與國(guó)家的名稱(chēng)相匹配的語(yǔ)言。
5.如權(quán)利要求2所述的方法，其中，基于上下文信息確定非主要語(yǔ)言的類(lèi)型的步驟包括: 確定非主要語(yǔ)言數(shù)據(jù)庫(kù)中是否存在識(shí)別非主要語(yǔ)言的歷史； 當(dāng)非主要語(yǔ)言數(shù)據(jù)庫(kù)中存在識(shí)別非主要語(yǔ)言的歷史時(shí)，由用于識(shí)別語(yǔ)音的設(shè)備立即基于與識(shí)別非主要語(yǔ)言的歷史相應(yīng)的識(shí)別的結(jié)果來(lái)識(shí)別非主要語(yǔ)言。
6.如權(quán)利要求1所述的方法，其中，識(shí)別預(yù)設(shè)主要語(yǔ)言和不同于預(yù)設(shè)主要語(yǔ)言的非主要語(yǔ)言的步驟包括: 以音素為單位分割語(yǔ)音； 通過(guò)將至少一個(gè)分割的音素與主要語(yǔ)言音素的數(shù)據(jù)庫(kù)進(jìn)行匹配，來(lái)確定所述至少一個(gè)分割的音素與主要語(yǔ)言單詞的相似度； 識(shí)別具有確定的小于預(yù)設(shè)閾值的相似度的所述至少一個(gè)分割的音素屬于非主要語(yǔ)言。
7.如權(quán)利要求1所述的方法，還包括:通過(guò)在上下文信息和與非主要語(yǔ)言相匹配的語(yǔ)音識(shí)別算法中的至少一個(gè)中反映識(shí)別非主要語(yǔ)言的結(jié)果，來(lái)更新上下文信息和與非主要語(yǔ)言相匹配的語(yǔ)音識(shí)別算法中的至少一個(gè)； 顯示識(shí)別非主要語(yǔ)言的結(jié)果； 接收指示識(shí)別非主要語(yǔ)言的結(jié)果合適還是不合適的用戶(hù)反饋?zhàn)鳛檩斎?；?dāng)用戶(hù)反饋指示識(shí)別非主要語(yǔ)言的結(jié)果合適時(shí)，通過(guò)在非主要語(yǔ)言數(shù)據(jù)庫(kù)中反映識(shí)別非主要語(yǔ)言的結(jié)果來(lái)更新非主要語(yǔ)言數(shù)據(jù)庫(kù)； 當(dāng)用戶(hù)反饋指示識(shí)別非主要語(yǔ)言的結(jié)果不合適時(shí)，排除識(shí)別非主要語(yǔ)言的結(jié)果； 重新識(shí)別非主要語(yǔ)言，并輸出識(shí)別的非主要語(yǔ)言。
8.一種識(shí)別語(yǔ)音的設(shè)備，所述設(shè)備包括: 麥克風(fēng)(362)，被配置為用于接收包含包括預(yù)設(shè)主要語(yǔ)言和與預(yù)設(shè)主要語(yǔ)言不同的非主要語(yǔ)言的多種語(yǔ)言的語(yǔ)音作為輸入； 存儲(chǔ)單元(375)，被配置為用于存儲(chǔ)與預(yù)設(shè)主要語(yǔ)言相匹配的語(yǔ)音識(shí)別算法和與非主要語(yǔ)言相匹配的語(yǔ)音識(shí)別算法； 控制器(310)，被配置為通過(guò)使用與預(yù)設(shè)主要語(yǔ)言相匹配的語(yǔ)音識(shí)別算法識(shí)別語(yǔ)音的第一語(yǔ)音，識(shí)別包括在多種語(yǔ)言中的預(yù)設(shè)主要語(yǔ)言和不同于預(yù)設(shè)主要語(yǔ)言的非主要語(yǔ)言，基于上下文信息確定非主要語(yǔ)言的類(lèi)型，并通過(guò)將與確定的非主要語(yǔ)言的類(lèi)型相匹配的語(yǔ)音識(shí)別算法應(yīng)用于第二語(yǔ)音，來(lái)識(shí)別非主要語(yǔ)言的語(yǔ)音的第二語(yǔ)音； 顯示單元(390)，被配置為用于輸出基于識(shí)別第一語(yǔ)音的結(jié)果和識(shí)別第二語(yǔ)音的結(jié)果的識(shí)別語(yǔ)音的結(jié)果。
9.如權(quán)利要求8所述的設(shè)備，其中，上下文信息包括以下信息中的至少一個(gè): 語(yǔ)音中是否存在國(guó)家的名稱(chēng)； 關(guān)于用于識(shí)別語(yǔ)音的設(shè)備所在的地方的信息； 對(duì)話(huà)歷史信息； 更新的非主要語(yǔ)言數(shù)據(jù)庫(kù)。
10.如權(quán)利要求9所述的設(shè)備，還包括:全球定位系統(tǒng)GPS模塊(355)，被配置為測(cè)量用于識(shí)別語(yǔ)音的設(shè)備所在的GPS坐標(biāo)，并輸出測(cè)量的GPS坐標(biāo)， 其中，控制器(310)被配置為當(dāng)語(yǔ)音中存在國(guó)家的名稱(chēng)時(shí)，如果與國(guó)家的名稱(chēng)相匹配的語(yǔ)言不是主要語(yǔ)言，則確定與國(guó)家的名稱(chēng)相匹配的語(yǔ)言為非主要語(yǔ)言；或 其中，控制器(310)被配置為基于測(cè)量的GPS坐標(biāo)，確定非主要語(yǔ)言是與用于識(shí)別語(yǔ)音的設(shè)備所在的國(guó)家和地方中的至少一個(gè)的特點(diǎn)相匹配的語(yǔ)言。
11.如權(quán)利要求9所述的設(shè)備，其中，存儲(chǔ)單元(375)被配置為預(yù)先存儲(chǔ)非主要語(yǔ)言和國(guó)家的名稱(chēng)共存的對(duì)話(huà)歷史，并且控制器(310)被配置為當(dāng)對(duì)話(huà)歷史包括非主要語(yǔ)言和國(guó)家的名稱(chēng)時(shí)，確定非主要語(yǔ)言是與國(guó)家的名稱(chēng)相匹配的語(yǔ)言。
12.如權(quán)利要求9所述的設(shè)備，其中，存儲(chǔ)單元(375)被配置為存儲(chǔ)非主要語(yǔ)言數(shù)據(jù)庫(kù)，控制器(310)被配置為當(dāng)非主要語(yǔ)言數(shù)據(jù)庫(kù)中存在識(shí)別非主要語(yǔ)言的歷史時(shí)，基于與識(shí)別非主要語(yǔ)言的歷史相應(yīng)的識(shí)別的結(jié)果，立即識(shí)別非主要語(yǔ)言。
13.如權(quán)利要求8所述的設(shè)備，其中，存儲(chǔ)單元(375)被配置為存儲(chǔ)主要語(yǔ)言的音素的數(shù)據(jù)庫(kù)，控制器(310)被配置為以音素為單位分割語(yǔ)音，通過(guò)將至少一個(gè)分割的音素與主要語(yǔ)言的音素的數(shù)據(jù)庫(kù)進(jìn)行匹配，來(lái)確定所述至少一個(gè)分割的音素與主要語(yǔ)言單詞之間的相似度，并識(shí)別具有確定的小于預(yù)設(shè)閾值的相似度的所述至少一個(gè)分割的音素屬于非主要;五古P口口 ο
14.一種識(shí)別文本的方法，所述方法包括: 接收包括多種語(yǔ)言的字符的文本作為輸入(SlOOl)； 通過(guò)使用與預(yù)設(shè)主要語(yǔ)言相匹配的文本識(shí)別算法識(shí)別文本的第一文本(S1003)； 識(shí)別包括在多種語(yǔ)言中的預(yù)設(shè)主要語(yǔ)言和不同于預(yù)設(shè)主要語(yǔ)言的非主要語(yǔ)言(S1005)； 基于上下文信息確定非主要語(yǔ)言的類(lèi)型(S1007)； 通過(guò)將與確定的非主要語(yǔ)言的類(lèi)型相應(yīng)的文本識(shí)別算法應(yīng)用于第二文本，來(lái)識(shí)別非主要語(yǔ)言的文本的第二文本(S1009)； 將基于識(shí)別第一文本的結(jié)果和識(shí)別第二文本的結(jié)果的識(shí)別文本的結(jié)果轉(zhuǎn)換為語(yǔ)音； 輸出轉(zhuǎn)換的語(yǔ)音(SlOll)。
15.一種用于識(shí)別文本的設(shè)備，所述設(shè)備包括: 輸入單元(360)，被配置為接收包括多種語(yǔ)言的字符的文本作為輸入； 控制器(310)，被配置為通過(guò)使用與預(yù)設(shè)主要語(yǔ)言相匹配的文本識(shí)別算法識(shí)別文本的第一文本；識(shí)別包括在多種語(yǔ)言中的預(yù)設(shè)主要語(yǔ)言和不同于預(yù)設(shè)主要語(yǔ)言的非主要語(yǔ)言；基于上下文信息確定非主要語(yǔ)言的類(lèi)型；通過(guò)將與確定的非主要語(yǔ)言的類(lèi)型相應(yīng)的文本識(shí)別算法應(yīng)用于第二文本，來(lái)識(shí)別非主要語(yǔ)言的文本的第二文本；將基于識(shí)別第一文本的結(jié)果和識(shí)別第二文本的結(jié)果的識(shí)別文本的結(jié)果轉(zhuǎn)換為語(yǔ)音； 輸出單元(360)，被配置為輸出轉(zhuǎn)換的語(yǔ)音。
【文檔編號(hào)】G06F17/27GK104282302SQ201410318864
【公開(kāi)日】2015年1月14日 申請(qǐng)日期:2014年7月4日 優(yōu)先權(quán)日:2013年7月4日
【發(fā)明者】沙布霍吉特·查科拉達(dá) 申請(qǐng)人:三星電子株式會(huì)社