語(yǔ)音分離方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明實(shí)施例涉及信號(hào)處理技術(shù)領(lǐng)域，尤其涉及一種語(yǔ)音分離方法和裝置。
【背景技術(shù)】
[0002] 語(yǔ)音信號(hào)處理作為一個(gè)近年來(lái)引人注目的研究領(lǐng)域，至今已經(jīng)在大詞匯量連續(xù)語(yǔ) 音識(shí)別、語(yǔ)音合成、語(yǔ)音通信等方面取得了一系列令人矚目的成果。然而，現(xiàn)有的語(yǔ)音信號(hào) 處理技術(shù)不少都是在純凈語(yǔ)音或帶弱噪聲的語(yǔ)音環(huán)境下研發(fā)的，在比較嘈雜的環(huán)境中并不 總是能獲得令人滿(mǎn)意的效果，這在一定程度上限制了部分語(yǔ)音相關(guān)產(chǎn)品在實(shí)際生活中的應(yīng) 用。因此，如何抑制或者消除背景噪音，從而分離出目標(biāo)語(yǔ)音信號(hào)已經(jīng)成為語(yǔ)音信號(hào)處理領(lǐng) 域中一個(gè)重要的研究方向。
[0003] 計(jì)算聽(tīng)覺(jué)場(chǎng)景分析主要是基于聽(tīng)覺(jué)生理學(xué)和心理學(xué)領(lǐng)域的研究，采用聲學(xué)掩蔽策 略進(jìn)行語(yǔ)音分離，使得分離語(yǔ)音更符合人耳的感知特性?，F(xiàn)有技術(shù)中，通常采用基于閾值的 理想二值掩蔽（Ideal Binary Mask,簡(jiǎn)稱(chēng)IBM)矩陣進(jìn)行計(jì)算聽(tīng)覺(jué)場(chǎng)景分析，IBM矩陣是一 個(gè)維度與時(shí)頻譜圖相同的0-1矩陣，其中1對(duì)應(yīng)語(yǔ)音主導(dǎo)時(shí)頻單元，〇對(duì)應(yīng)噪音主導(dǎo)時(shí)頻單 元。在目標(biāo)語(yǔ)音合成階段，語(yǔ)音主導(dǎo)的時(shí)頻單元能量全部被保留，噪音主導(dǎo)時(shí)頻單元能量會(huì) 全部被拒絕。然而由于基于閾值的IBM矩陣的錯(cuò)誤估計(jì)會(huì)造成部分語(yǔ)音主導(dǎo)的時(shí)頻單元被 錯(cuò)誤地拒絕，部分噪聲主導(dǎo)的時(shí)頻單元被錯(cuò)誤地保留，從而導(dǎo)致在分離后的語(yǔ)音信號(hào)中產(chǎn) 生許多語(yǔ)音能量的空洞，從而在很大程度上扭曲了原語(yǔ)音信號(hào)。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明實(shí)施例提供一種語(yǔ)音分離方法和裝置，采用計(jì)算聽(tīng)覺(jué)場(chǎng)景分析和理想浮值 掩蔽策略獲得分離語(yǔ)音信號(hào)，從而減少分離語(yǔ)音信號(hào)中能量空洞的產(chǎn)生，抑制了分離語(yǔ)音 信號(hào)的扭曲。
[0005] 第一方面，本發(fā)明實(shí)施例提供一種語(yǔ)音分離方法，包括：
[0006] 獲得第一信號(hào)，所述第一信號(hào)包括語(yǔ)音信號(hào)和噪音信號(hào)；
[0007] 根據(jù)所述第一信號(hào)確定初始理想二值掩蔽矩陣，所述初始理想二值掩蔽矩陣用于 區(qū)分所述第一信號(hào)包括的語(yǔ)音信號(hào)和噪音信號(hào)；
[0008] 根據(jù)所述初始理想二值掩蔽矩陣，對(duì)所述第一信號(hào)進(jìn)行諧波補(bǔ)償，得到諧波補(bǔ)償 后的分離語(yǔ)音信號(hào)；
[0009] 根據(jù)所述諧波補(bǔ)償后的分離語(yǔ)音信號(hào)，對(duì)所述第一信號(hào)和第二信號(hào)進(jìn)行濾波，得 到目標(biāo)分離語(yǔ)音信號(hào)。
[0010] 在第一方面的第一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述第一信號(hào)確定初始理想二 值掩蔽矩陣，包括：
[0011] 計(jì)算所述噪音信號(hào)的功率譜的平均值；
[0012] 根據(jù)所述噪音信號(hào)的功率譜的平均值，確定構(gòu)成所述初始理想二值掩蔽矩陣的所 有時(shí)頻單元的值；
[0013] 根據(jù)構(gòu)成所述初始理想二值掩蔽矩陣的所有時(shí)頻單元的值，確定所述初始理想二 值掩蔽矩陣。
[0014] 根據(jù)第一方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，所述計(jì)算 所述噪音信號(hào)的功率譜的平均值，包括：
[0015] 根據(jù)所述第一信號(hào)中用于估計(jì)噪音的幀數(shù)目和對(duì)所述第一信號(hào)進(jìn)行傅里葉變換 之后第t幀、第k頻段的頻域信號(hào)的功率譜密度，計(jì)算所述噪音信號(hào)的功率譜的平均值，t是 大于或等于1的整數(shù)，k是大于或等于1的整數(shù)。
[0016] 根據(jù)第一方面、第一方面的第一種至第二種可能的實(shí)現(xiàn)方式中的任意一種，在第 三種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述初始理想二值掩蔽矩陣，對(duì)所述第一信號(hào)進(jìn)行諧波 補(bǔ)償，得到諧波補(bǔ)償后的分離語(yǔ)音信號(hào)，包括 ：
[0017] 對(duì)所述初始理想二值掩蔽矩陣進(jìn)行更新，得到更新后的二值掩蔽矩陣，所述更新 后的二值掩蔽矩陣用于凈化所述目標(biāo)分離語(yǔ)音信號(hào)；
[0018] 根據(jù)所述更新后的二值掩蔽矩陣，對(duì)所述第一信號(hào)進(jìn)行諧波補(bǔ)償，得到諧波補(bǔ)償 后的分離語(yǔ)音信號(hào)。
[0019] 根據(jù)第一方面的第三種可能的實(shí)現(xiàn)方式，在第四種可能的實(shí)現(xiàn)方式中，對(duì)所述初 始理想二值掩蔽矩陣進(jìn)行更新，得到更新后的二值掩蔽矩陣，包括 ：
[0020] 根據(jù)當(dāng)前迭代次數(shù)和最大迭代次數(shù)，對(duì)所述初始理想二值掩蔽矩陣中的語(yǔ)音主導(dǎo) 的時(shí)頻單元的值進(jìn)行更新；
[0021] 根據(jù)對(duì)所述初始理想二值掩蔽矩陣中的語(yǔ)音主導(dǎo)的時(shí)頻單元的值進(jìn)行更新的結(jié) 果，得到更新后的二值掩蔽矩陣。
[0022] 根據(jù)第一方面的第三種或第四種可能的實(shí)現(xiàn)方式，在第五種可能的實(shí)現(xiàn)方式中， 所述根據(jù)所述更新后的二值掩蔽矩陣，對(duì)所述第一信號(hào)進(jìn)行諧波補(bǔ)償，得到諧波補(bǔ)償后的 分離語(yǔ)音信號(hào)，包括：
[0023] 根據(jù)所述更新后的二值掩蔽矩陣，得到所述第一信號(hào)的初始分離語(yǔ)音信號(hào)；
[0024] 對(duì)所述初始分離語(yǔ)音信號(hào)進(jìn)行處理，得到理想浮值掩蔽矩陣；
[0025] 根據(jù)所述理想浮值掩蔽矩陣，對(duì)所述第一信號(hào)進(jìn)行諧波補(bǔ)償，得到諧波補(bǔ)償后的 分離語(yǔ)音信號(hào)。
[0026] 根據(jù)第一方面的第五種可能的實(shí)現(xiàn)方式，在第六種可能的實(shí)現(xiàn)方式中，
[0027] 所述對(duì)所述初始分離語(yǔ)音信號(hào)進(jìn)行處理，得到理想浮值掩蔽矩陣，包括：
[0028] 對(duì)所述初始分離語(yǔ)音信號(hào)進(jìn)行逆傅里葉變換，獲得與所述初始分離語(yǔ)音信號(hào)相應(yīng) 的時(shí)域信號(hào)；
[0029] 對(duì)所述初始分離語(yǔ)音信號(hào)相應(yīng)的時(shí)域信號(hào)進(jìn)行半波整流處理，獲得半波整流后的 時(shí)域信號(hào)；
[0030] 對(duì)所述半波整流后的時(shí)域信號(hào)進(jìn)行短時(shí)傅里葉變換，并計(jì)算經(jīng)過(guò)所述短時(shí)傅里葉 變換后得到的功率譜密度；
[0031] 根據(jù)所述短時(shí)傅里葉變換后得到的功率譜密度，對(duì)所述初始分離語(yǔ)音信號(hào)進(jìn)行平 滑處理，以獲得平滑處理后的結(jié)果；
[0032] 根據(jù)所述噪音信號(hào)的功率譜的平均值和所述平滑處理后的結(jié)果，得到所述理想浮 值掩蔽矩陣。
[0033] 根據(jù)第一方面的第六種可能的實(shí)現(xiàn)方式，在第七種可能的實(shí)現(xiàn)方式中，所述根據(jù) 所述諧波補(bǔ)償后的分離語(yǔ)音信號(hào)，對(duì)所述第一信號(hào)和第二信號(hào)進(jìn)行濾波，得到所述目標(biāo)分 離語(yǔ)音信號(hào)，包括：
[0034] 根據(jù)所述諧波補(bǔ)償后的分離語(yǔ)音信號(hào)，確定對(duì)所述第一信號(hào)和第二信號(hào)進(jìn)行濾波 時(shí)采用的主通道的濾波器和副通道的濾波器；
[0035] 根據(jù)對(duì)所述第一信號(hào)和第二信號(hào)進(jìn)行濾波時(shí)采用的主通道的濾波器和副通道的 濾波器，對(duì)所述第一信號(hào)和第二信號(hào)進(jìn)行濾波，得到所述目標(biāo)分離語(yǔ)音信號(hào)。
[0036] 第二方面，本發(fā)明實(shí)施例提供一種語(yǔ)音分離裝置，包括：
[0037] 獲得模塊，用于獲得第一信號(hào)，所述第一信號(hào)包括語(yǔ)音信號(hào)和噪音信號(hào)；
[0038] 確定模塊，用于根據(jù)所述第一信號(hào)確定初始理想二值掩蔽矩陣，所述初始理想二 值掩蔽矩陣用于區(qū)分所述第一信號(hào)包括的語(yǔ)音信號(hào)和噪音信號(hào)；
[0039] 諧波補(bǔ)償模塊，用于根據(jù)所述初始理想二值掩蔽矩陣，對(duì)所述第一信號(hào)進(jìn)行諧波 補(bǔ)償，得到諧波補(bǔ)償后的分離語(yǔ)音信號(hào)；
[0040] 濾波模塊，用于根據(jù)所述諧波補(bǔ)償后的分離語(yǔ)音信號(hào)，對(duì)所述第一信號(hào)和第二信 號(hào)進(jìn)行濾波，得到目標(biāo)分離語(yǔ)音信號(hào)。
[0041] 在第二方面的第一種可能的實(shí)現(xiàn)方式中，所述確定模塊，具體用于計(jì)算所述噪音 信號(hào)的功率譜的平均值；根據(jù)所述噪音信號(hào)的功率譜的平均值，確定構(gòu)成所述初始理想二 值掩蔽矩陣的所有時(shí)頻單元的值；根據(jù)構(gòu)成所述初始理想二值掩蔽矩陣的所有時(shí)頻單元的 值，確定所述初始理想二值掩蔽矩陣。
[0042] 根據(jù)第二方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，所述確定 模塊，具體用于根據(jù)所述第一信號(hào)中用于估計(jì)噪音的幀數(shù)目和對(duì)所述第一信號(hào)進(jìn)行傅里葉 變換之后第t幀、第k頻段的頻域信號(hào)的功率譜密度，計(jì)算所述噪音信號(hào)的功率譜的平均 值，t是大于或等于1的整數(shù)，k是大于或等于1的整數(shù)。
[0043] 根據(jù)第二方面、第二方面的第一種至第二種可能的實(shí)現(xiàn)方式中的任意一種，在第 三種可能的實(shí)現(xiàn)方式中，所述諧波補(bǔ)償模塊，具體用于對(duì)所述初始理想二值掩蔽矩陣進(jìn)行 更新，得到更新后的二值掩蔽矩陣，所述更新后的二值掩蔽矩陣用于凈化所述目標(biāo)分離語(yǔ) 音信號(hào)；根據(jù)所述更新后的二值掩蔽矩陣，對(duì)所述第一信號(hào)進(jìn)行諧波補(bǔ)償，得到諧波補(bǔ)償后 的分離語(yǔ)音信號(hào)。
[0044] 根據(jù)第二方面的第三種可能的實(shí)現(xiàn)方式，在第四種可能的實(shí)現(xiàn)方式中，所述諧波 補(bǔ)償模塊，具體用于根據(jù)當(dāng)前迭代次數(shù)和最大迭代次數(shù)，對(duì)所述初始理想二值掩蔽矩