專利名稱：強(qiáng)魯棒性語(yǔ)音分離方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種實(shí)現(xiàn)兩混合語(yǔ)音分離而魯棒性較強(qiáng)的方法。
背景技術(shù)：
雞尾酒會(huì)效應(yīng)通常會(huì)影響語(yǔ)音質(zhì)量。如何將兩個(gè)不同方向傳來(lái)的混合語(yǔ)音分離，現(xiàn)有的解決辦法是1)使用揚(yáng)聲器陣列實(shí)現(xiàn)波達(dá)方向(DOA)識(shí)別技術(shù)及2)基于獨(dú)立分量分析(ICA)的盲分離技術(shù)。陣列方法主瓣寬度難以做到很窄，旁瓣難以抑制；盲分離技術(shù)則要求信號(hào)互不相關(guān)，這使得此技術(shù)的實(shí)際應(yīng)用受阻。
中國(guó)專利公開(kāi)CN00804884.3用于語(yǔ)音識(shí)別的聲調(diào)特性，(皇家菲利浦電子有限公司)增強(qiáng)的聲音聲調(diào)特性首先通過(guò)引入帶有自適應(yīng)切除的在線的先行追溯基頻(F0)輪廓而得到，這個(gè)基頻用作為信號(hào)預(yù)處理前端。F0輪廓隨后借助于時(shí)變的加權(quán)移動(dòng)平均(MA)濾波器并結(jié)合F0輪廓的加權(quán)的(更多地關(guān)注元音)最小平方而被分解為詞匯聲調(diào)影響、詞組語(yǔ)調(diào)影響、和隨機(jī)影響。詞組語(yǔ)調(diào)影響被定義為發(fā)聲的F0輪廓的長(zhǎng)期趨勢(shì)，它可用F0輪廓的加權(quán)移動(dòng)平均來(lái)近似，而其加權(quán)值與信號(hào)的周期性程度有關(guān)。
CN200510067777.0利用中樞網(wǎng)絡(luò)分離語(yǔ)音信號(hào)，它能夠分離和重建在語(yǔ)音信號(hào)的頻率成分被背景噪聲掩蓋的環(huán)境中傳輸?shù)恼Z(yǔ)音信號(hào)。該語(yǔ)音分離系統(tǒng)從一個(gè)音頻源獲得一個(gè)伴有噪聲的語(yǔ)音信號(hào)。然后噪聲語(yǔ)音信號(hào)可通過(guò)一個(gè)已訓(xùn)練為能夠從背景噪聲中隔離和重建純凈語(yǔ)音信號(hào)的中樞網(wǎng)絡(luò)進(jìn)行饋送。一旦噪聲語(yǔ)音信號(hào)通過(guò)中樞網(wǎng)絡(luò)進(jìn)行饋送，該語(yǔ)音信號(hào)分離系統(tǒng)就產(chǎn)生一個(gè)充分降噪的估值語(yǔ)音信號(hào)。
CN00815076.1語(yǔ)音識(shí)別的健壯特征提取方法和裝置，涉及一種在有噪聲環(huán)境下用于語(yǔ)音識(shí)別的健壯(robust)特征提取方法和裝置，在其中按頻譜分量的特征對(duì)一個(gè)語(yǔ)音信號(hào)分段。將語(yǔ)音信號(hào)劃分成L次能帶中的許多短期頻譜分量，其中的L＝1，2，...，并且根據(jù)僅含噪聲的片段估算一個(gè)噪聲頻譜。然后根據(jù)對(duì)應(yīng)的短期頻譜執(zhí)行對(duì)估算的噪聲頻譜的頻譜減法，并且為各個(gè)短期頻譜分量計(jì)算出含噪聲的概率。最后為含語(yǔ)音的概率很低的各短期頻譜的這些頻譜分量執(zhí)行內(nèi)插，以便平滑那些僅含噪聲的短期頻譜。通過(guò)對(duì)含噪聲的頻譜分量執(zhí)行內(nèi)插就能從近旁找到可靠的頻譜語(yǔ)音分量。
但現(xiàn)有技術(shù)未涉及混合語(yǔ)音分離過(guò)濾，尤其是魯棒性高，計(jì)算量較小的語(yǔ)音分離方法并未作為專利提出。
如圖1，假設(shè)房間中有兩個(gè)聲源發(fā)出音頻信號(hào)(s1和s2)，同時(shí)有兩個(gè)麥克風(fēng)對(duì)信號(hào)采樣(x1和x2)。如果兩聲源同時(shí)發(fā)聲，s1和s2通過(guò)房間固有的傳遞函數(shù)Hij，i，j＝1，2混合，麥克風(fēng)將會(huì)得到混合語(yǔ)音。
發(fā)明內(nèi)容
本發(fā)明的目的是提供一種魯棒性高，計(jì)算量較小的語(yǔ)音分離算法。該方法假設(shè)聲源存在足夠長(zhǎng)的單聲源作用時(shí)段，采用簡(jiǎn)單的單聲源作用時(shí)段檢測(cè)方法，在單聲源作用時(shí)段實(shí)現(xiàn)分離濾波器估計(jì)，兩聲源同時(shí)作用時(shí)段進(jìn)行混合語(yǔ)音分離。
本發(fā)明是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)的強(qiáng)魯棒性語(yǔ)音分離方法，采用兩路麥克風(fēng)接收信號(hào)x1和x2，且每路信號(hào)分別聯(lián)接分離濾波器Wij(n)，i，j＝1，2(如圖1)，同時(shí)x1和x2分別聯(lián)接檢測(cè)濾波器Di(n)，i＝1，2(如圖2)，使用單聲源作用檢測(cè)方法檢測(cè)出單聲源作用時(shí)段后，再進(jìn)行分離濾波器估計(jì)，這樣，兩聲源同時(shí)作用時(shí)就可以進(jìn)行混合語(yǔ)音分離；本發(fā)明提供一種魯棒性較強(qiáng)的方法，可以實(shí)現(xiàn)混合語(yǔ)音的分離，在系統(tǒng)輸出分別得到s1和s2還原后的信號(hào)u1和u2。方法的關(guān)鍵在于假設(shè)聲源存在足夠長(zhǎng)的單聲源作用時(shí)段(即只有si，i＝1或2，作用的時(shí)段)，此時(shí)x1、x2分別為xj(n)=Σk=0K-1hji(k)si(n-k)+vj(n),j=1,2]]>(1)其中，hji(k)是分離濾波器Hji的第k個(gè)系數(shù)。利用自適應(yīng)仿射算法最小化u3-i(n)，即得W3-i,i≅-Ai⊗H3-i,i,W3-i,3-i≅Ai⊗Hji]]>(2)其中Ai是長(zhǎng)度為(L-K+1)的任意濾波器(假設(shè)L＞K)。
估計(jì)出分離濾波器后，兩聲源同時(shí)發(fā)聲時(shí)可以在輸出端得到分離后的語(yǔ)音信號(hào)u1(n)≅A1Σk=02K-2D(k)s1(n-k)]]>u2(n)≅A2Σk=02K-2D(k)s2(n-k).]]>(3)其中，D＝H11H22-H12H21，“”代表卷積。
A)采用單聲源作用檢測(cè)方法，使用檢測(cè)濾波器Di(n)，i＝1，2實(shí)現(xiàn)單聲源作用時(shí)段的檢測(cè)即檢測(cè)出只有一個(gè)聲源(s1或s2)發(fā)聲的時(shí)段。當(dāng)然，兩麥克風(fēng)接收到的信號(hào)(x1和x2)同時(shí)輸入；B)當(dāng)單聲源作用時(shí)段被檢測(cè)出后，開(kāi)始分離濾波器Wij(n)，i，j＝1，2的估計(jì)；C)使用分離濾波器分離混合語(yǔ)音，得到分離后的語(yǔ)音信號(hào)ui(n)，i＝1，2。
本發(fā)明特點(diǎn)是本發(fā)明采用一種簡(jiǎn)單的單聲源作用檢測(cè)方法，在單聲源作用時(shí)段進(jìn)行分離濾波器估計(jì)，兩聲源同時(shí)作用時(shí)段進(jìn)行混合語(yǔ)音分離。本方法思路簡(jiǎn)單，計(jì)算量不大，魯棒性好，較易實(shí)現(xiàn)。
四
圖1為語(yǔ)音混合原理及分離濾波器(四個(gè)分離濾波器中，{Wj1}與x1聯(lián)接，{Wj2}與x2聯(lián)接，j＝1，2)的結(jié)構(gòu)框圖；圖2為檢測(cè)濾波器(兩個(gè)檢測(cè)濾波器D1、D2分別與x1、x2聯(lián)接)的結(jié)構(gòu)框圖。
五具體實(shí)施例方式
下面通過(guò)實(shí)施案例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明如圖1，假設(shè)房間中有兩個(gè)聲源發(fā)出音頻信號(hào)(s1和s2)，兩麥克風(fēng)接收信號(hào)，要求麥克風(fēng)之間的距離大于1米，可以是全指向性的(如麥克風(fēng)置于房間中間的情況)或者指向聲源方向(如麥克風(fēng)置于房間壁面上的情況)。對(duì)于聲源的位置沒(méi)有特別的限制，但兩聲源之間距離越大，分離效果會(huì)越好。檢測(cè)濾波器的檢測(cè)、分離濾波器的估計(jì)及混合語(yǔ)音的分離均可由軟件完成。視聽(tīng)室實(shí)地錄音中，兩揚(yáng)聲器相距1米，兩全指向性麥克風(fēng)相距3米，置于房間中間，該算法在正常的背景噪聲下(信噪比為13dB)可達(dá)到的信號(hào)干擾比(即其任一輸出中兩聲源信號(hào)的能量之比值)SIR指標(biāo)為18dB；低信噪比(5dB)時(shí)，SIR仍可達(dá)到14dB，完全可以實(shí)現(xiàn)混合語(yǔ)音分離，充分體現(xiàn)了此算法的魯棒性。
本發(fā)明實(shí)施包括三個(gè)階段單聲源作用檢測(cè)階段；分離濾波器估計(jì)階段；及混合語(yǔ)音分離階段。第一階段即步驟A)由圖2所示濾波器組Di(n)，i＝1，2實(shí)現(xiàn)，第二、三階段即步驟B)、C)由圖1所示濾波器組Wij(n)，i，j＝1，2實(shí)現(xiàn)。第二階段中，在檢測(cè)出只有信號(hào)s1作用或只有信號(hào)s2作用時(shí)，對(duì)分離濾波器{W1j}{W2j}，j＝1，2，分別進(jìn)行估計(jì)。
首先令i＝1，估計(jì)W11和W12(如圖1所示x1、x2分別經(jīng)W11、W12濾波)(1)即步驟A)兩個(gè)檢測(cè)濾波器(如圖2x1、x2分別經(jīng)D1、D2濾波)工作，濾波器長(zhǎng)度為L(zhǎng)(大小視房間混響時(shí)間及采樣頻率而定)，按式(4)(5)更新，步長(zhǎng)較大，具體可根據(jù)實(shí)際情況調(diào)節(jié)但須滿足μj＜1，(j＝1，2)，P＝5Ei(n)＝XTe(n)[DTi(n)DT3-i(n)]T(4)Dj(n+1)＝Dj(n)-μjXP，j(n)[XTP，j(n)XP，j(n)+δI]-1Ei(n) (5)其中，[DTi(n)DT3-i(n)]是由兩濾波器系數(shù)依次排列組成的長(zhǎng)度為2L的行向量且它的第一個(gè)系數(shù)固定為1；Xe(n)為2LxP的矩陣，XP，j(n)為L(zhǎng)xP的矩陣，具體如式(6)(7)所示；I是P階單位矩陣；δ是一個(gè)很小的正數(shù)，一般令其為0.01。檢測(cè)濾波器輸出為uD(n)=Σi=12Σl=0L-1Di,l(n)xi(n-l),]]>Di，l(n)是n時(shí)刻檢測(cè)濾波器的第l個(gè)系數(shù)。
(6)
(2)步驟B)和C)當(dāng)檢測(cè)濾波器輸出uD(n)的絕對(duì)值的平均值(1/N)∑nm＝n-N+1|uD(n)|(N的值根據(jù)錄音的采樣頻率而定，一般滿足樣本uD(n)長(zhǎng)度達(dá)到100ms)小于某一門限T時(shí)(T值根據(jù)實(shí)際情況調(diào)節(jié)，約為輸入信號(hào)能量的1/4)，說(shuō)明只有一個(gè)聲源發(fā)聲。此時(shí)令分離濾波器的系數(shù)與測(cè)量濾波器的系數(shù)相同，即Wij＝Dj，j＝1，2，并開(kāi)始分離濾波器更新；輸入信號(hào)仍為x1和x2，更新公式如(4)(5)，其中Dj用Wij代替，但步長(zhǎng)減??；(3)當(dāng)檢測(cè)濾波器輸出uD(n)的絕對(duì)值的平均值(1/N)∑nm＝n-N+1|uD(n)|大于T時(shí)，說(shuō)明兩個(gè)聲源同時(shí)發(fā)聲，Wij停止更新，令i＝2，重復(fù)步驟(1)(2)，估計(jì)W22和W21(如圖1所示x1、x2分別經(jīng)W22、W21濾波)。
(4)當(dāng)檢測(cè)濾波器輸出uD(n)的絕對(duì)值的平均值(1/N)∑nm＝n-N+1|uD(n)|大于T時(shí)，Wij停止更新?？梢园词?8)進(jìn)行混合語(yǔ)音分離，得到分離信號(hào)uj(n)，j＝1，2uj(n)=Σi=1nΣl=0L-1wji(l)xi(n-l),]]>(8)其中，wji(l)是分離濾波器Wji的第l個(gè)系數(shù)。
權(quán)利要求
1.強(qiáng)魯棒性語(yǔ)音分離方法，其特征是采用單聲源作用檢測(cè)方法檢測(cè)出單聲源作用時(shí)段，在單聲源作用時(shí)段實(shí)現(xiàn)分離濾波器估計(jì)，兩聲源同時(shí)作用時(shí)進(jìn)行混合語(yǔ)音分離；A)采用單聲源作用檢測(cè)方法，使用檢測(cè)濾波器Di(n)，i＝1，2實(shí)現(xiàn)單聲源作用時(shí)段的檢測(cè)即檢測(cè)出只有一個(gè)聲源(s1或s2)發(fā)聲的時(shí)段；B)當(dāng)單聲源作用時(shí)段被檢測(cè)出后，在單聲源作用時(shí)段進(jìn)行分離濾波器Wij(n)，i，j＝1，2的估計(jì)；C)分離濾波器估計(jì)完成后，使用分離濾波器分離混合語(yǔ)音，得到分離后的語(yǔ)音信號(hào)ui(n)，i＝1，2。
2.根據(jù)權(quán)利要求1所述的強(qiáng)魯棒性語(yǔ)音分離方法其特征是在步驟A)時(shí)，采用兩路麥克風(fēng)接收信號(hào)x1和x2，且每路信號(hào)同時(shí)串聯(lián)檢測(cè)濾波器Di(n)，i＝1，2用于單聲源作用時(shí)段的檢測(cè)；步驟B)時(shí)，兩路麥克風(fēng)接收信號(hào)x1和x2，同時(shí)串聯(lián)檢測(cè)濾波器Wij(n)，i，j＝1，2用于分離濾波器的估計(jì)。
3.根據(jù)權(quán)利要求1所述的強(qiáng)魯棒性語(yǔ)音分離方法其特征是在步驟A)檢測(cè)濾波的方法濾波器長(zhǎng)度為L(zhǎng)，按式(1)(2)更新，i＝1，滿足μj＜1，(j＝1，2)，P＝5Ei(n)＝XTe(n)[DTi(n)DT3-i(n)]T(1)Dj(n+1)＝Dj(n)-μjXP，j(n)[XTP，j(n)XP，j(n)+δI]-1Ei(n)(2)其中，[DTi(n)DT3-i(n)]是由兩濾波器系數(shù)順次排列組成的長(zhǎng)度為2L的行向量且它的第一個(gè)系數(shù)固定為1；Xe(n)為2LxP的矩陣，XP，j(n)為L(zhǎng)xP的矩陣，具體如式(3)(4)所示；I是P階單位矩陣；δ是一個(gè)很小的正數(shù)，一般令其為0.01；Xe(n)=xi(n)xi(n-1)...xi(n-P+1)xi(n-1)............xi(n-L+1)......xi(n-L-P+2)x3-i(n)x3-i(n-1)...x3-i(n-P+1)x3-i(n-1)............x3-i(n-L+1)......x3-i(n-L-P+2)---(3)]]>XPj(n)=xj(n)xj(n-1)...xj(n-P+1)xj(n-1)............xj(n-L+1)......xj(n-L-P+2)---(4)]]>
4.根據(jù)權(quán)利要求1所述的強(qiáng)魯棒性語(yǔ)音分離方法其特征是步驟B)和C)中當(dāng)檢測(cè)濾波器輸出uD(n)的絕對(duì)值的平均值(1/N)∑nn＝n-N+1|uD(n)|小于某一門限T時(shí)，令Wij＝Dj，并開(kāi)始分離濾波器更新；輸入信號(hào)仍為x1和x2，更新公式如(1)(2)，其中Dj用Wij代替，但步長(zhǎng)減?。划?dāng)檢測(cè)濾波器輸出uD(n)的絕對(duì)值的平均值(1/N)∑nn＝n-N+1|uD(n)|大于T時(shí)，Wij停止更新，令i＝2，重復(fù)步驟B)和C)；檢測(cè)濾波器輸出uD(n)的絕對(duì)值的平均值(1/N)∑nn＝n-N+1|uD(n)|大于T時(shí)，Wij停止更新；可以進(jìn)行混合語(yǔ)音分離，得到分離信號(hào)uj(n)，j＝1，2。
全文摘要
本發(fā)明公開(kāi)了強(qiáng)魯棒性語(yǔ)音分離算法，采用單聲源作用檢測(cè)方法檢測(cè)出單聲源作用時(shí)段，在單聲源作用時(shí)段實(shí)現(xiàn)分離濾波器估計(jì)，兩聲源同時(shí)作用時(shí)進(jìn)行混合語(yǔ)音分離；A)采用單聲源作用檢測(cè)方法，使用檢測(cè)濾波器D
文檔編號(hào)G10L21/00GK101083078SQ20071002489
公開(kāi)日2007年12月5日 申請(qǐng)日期2007年7月5日 優(yōu)先權(quán)日2007年7月5日
發(fā)明者褚軼景, 丁和平, 邱小軍 申請(qǐng)人:南京大學(xué), 加拿大國(guó)家研究委員會(huì)