用于使用采用譜權(quán)重生成器的頻域處理分解立體聲錄音的方法和裝置制造方法
【專利摘要】提供了一種用于從具有第一輸入聲道和第二輸入聲道的立體聲輸入信號生成具有第一側(cè)聲道和第二側(cè)聲道的立體聲側(cè)信號的裝置。所述裝置包括修改信息生成器（110），其用于基于中側(cè)信息生成修改信息。此外，所述裝置包括信號操縱器（120），其適于基于所述修改信息操縱所述第一輸入聲道以獲得所述第一側(cè)聲道并適于基于所述修改信息操縱所述第二輸入聲道以獲得所述第二側(cè)聲道。所述修改信息生成器（110）包括譜權(quán)重生成器（116），其用于通過基于所述立體聲輸入信號的單聲道中信號和單聲道側(cè)信號生成第一譜加權(quán)因子生成所述修改信息。
【專利說明】用于使用采用譜權(quán)重生成器的頻域處理分解立體聲錄音的方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及音頻處理，并特別涉及一種用于使用頻域處理分解立體錄音的方法和
>J-U ρ?α裝直。
【背景技術(shù)】
[0002]音頻處理在許多方面都已經(jīng)發(fā)展了。特別而言，環(huán)繞系統(tǒng)已變得越來越重要。然而，大部分音樂錄音仍然作為立體聲信號而不是作為多聲道信號被編碼并傳輸。環(huán)繞系統(tǒng)包括多個揚聲器(例如四個或五個揚聲器)，當(dāng)只有兩個可用輸入信號時哪個信號應(yīng)該被提供給多個揚聲器已經(jīng)成為許多研究的主題。
[0003]在這種情況下，使用環(huán)繞聲系統(tǒng)重放立體聲信號的格式轉(zhuǎn)換(例如上混合(upmixing))起著重要的作用。術(shù)語“m到η上混合描述從m聲道音頻信號轉(zhuǎn)換到采用η聲道音頻信號的轉(zhuǎn)換，其中n>m。上混合的兩個概念是眾所周知的:采用引導(dǎo)所述上混合處理的附加信息的上混合以及本申請所關(guān)注的不使用任何枝節(jié)信息的無引導(dǎo)上混合(unguided(blind)upmixing)。
[0004]在文獻中，報告了用于上混合處理的兩種不同方法。這些概念是直接/環(huán)境(direct/ambient)方法 和“在波段中”的方法(“in-the_band”-approach)。基于直接/環(huán)境的技術(shù)的核心部分是提取被饋送到環(huán)繞聲信號的多聲道的后聲道中的環(huán)境信號。環(huán)境聲音是形成(虛擬)聽音環(huán)境(包括室內(nèi)混響、觀眾的聲音(例如掌聲)、環(huán)境聲音(例如雨水)、藝術(shù)意圖的效果聲音(例如乙烯的爆裂)和背景噪聲的印象的那些聲音。使用后聲道再現(xiàn)環(huán)境可由聆聽者喚起對周圍的印象(即“沉浸在聲音)。此外，直接聲源根據(jù)它們在立體全景中的位置分布在前聲道。
[0005]“在波段中”的方法的目的在于使用所有可用的揚聲器定位聆聽者周圍的所有聲音(直接聲音以及環(huán)境聲音)。在再現(xiàn)上混合格式時感知的聲源的位置理想化為立體聲輸入信號中的它們的感知位置的函數(shù)?？墒褂盟岢龅男盘柼幚韥韺嵤┻@種方法。
[0006]已經(jīng)在過去開發(fā)了在頻域中上混合的各種方法[9、10]。它們試圖分解輸入信號以及直接和環(huán)境信號成分并基于聲源的空間位置進行分解。環(huán)境信號成分基于左和右聲道之間的聲道間相干性的測量而被識別。基于方向的分解可基于譜系數(shù)的振幅的相似度來實現(xiàn)。專利申請US2009/0080666描述了一種用于使用譜加權(quán)提取環(huán)境信號的方法。
[0007]US2010/0030563描述了一種用于提取應(yīng)用于上混合應(yīng)用的環(huán)境信號的方法。所述方法使用譜減法。從輸入信號的時-頻域表示和其壓縮版本的差獲得時-頻域表示，優(yōu)選使用非負矩陣因子分解來計算。
[0008]US2010/0296672描述了使用基于矢量的信號分解的頻域上混合方法。分解的目的在于與直接/環(huán)境信號分解相反的中心聲道的提取[13]。中心聲道的輸出信號被計算為其包含左和右輸入聲道信號共有的所有信息。輸入信號和中心聲道信號的殘留信號被計算用于左和右輸出聲道信號。
【發(fā)明內(nèi)容】

[0009]本發(fā)明的目的是提供用于從具有第一輸入聲道和第二輸入聲道的立體聲輸入信號生成額外聲道的改進概念。本發(fā)明的目的通過根據(jù)權(quán)利要求1的用于生成立體側(cè)信號的一種裝置、根據(jù)權(quán)利要求10所述的用于產(chǎn)生立體聲中信號的裝置、根據(jù)權(quán)利要求12的用于產(chǎn)生立體側(cè)信號的方法、根據(jù)權(quán)利要求13所述的用于產(chǎn)生立體聲中信號的方法和權(quán)利要求15所述的計算機程序來解決。
[0010]提供了一種用于具有從具有第一輸入聲道和一個第二輸入聲道的立體聲輸入信號的生成具有第一側(cè)聲道和第二側(cè)聲道的立體聲側(cè)信號的裝置。該裝置包括用于基于中側(cè)信息的生成修改信息的修改信息生成器。此外，該裝置包括一信號操縱器適于根據(jù)該修改信息操縱第一輸入聲道以獲得第一側(cè)聲道，和適于基于所述修改信息操縱第二輸入聲道以獲得所述第二側(cè)聲道。
[0011]操縱信息生成器可以包括譜減法器，其用于通過生成指示單聲道中信號或單聲道側(cè)信號和第一或第二輸入聲道之間的差的差值生成修改信息?；蛘撸薷男畔⑸善骺砂ㄗV權(quán)重生成器，其用于通過基于立體聲輸入信號的單聲道中信號和單聲道側(cè)信號生成第一譜加權(quán)因子生成修改信息。
[0012]中側(cè)信息可以是立體聲輸入信號的單聲道中信號、立體聲輸入信號的單聲道側(cè)信號和/或立體聲輸入信號的單聲道中信號和單聲道側(cè)信號之間的關(guān)系。在一個實施例中，修改信息生成器適于基于立體聲輸入信號的單聲道中信號或立體聲輸入信號的單聲道側(cè)信號生成修改信息作為中側(cè)信息。
[0013]根據(jù)一個實施例，立體聲錄音被分解為側(cè)信號和中信號，與常規(guī)中側(cè)(MS)分解相反，側(cè)信號和中信號兩者都是立體聲信號?？墒褂萌缗c頻域處理結(jié)合的常規(guī)M-S處理(即譜減法或譜加權(quán))中的相位消除(phase cancellation)來應(yīng)用信號分離。導(dǎo)出的信號可被應(yīng)用于利用額外播放聲道再現(xiàn)音頻信號。
[0014]根據(jù)一個實施例的裝置將雙聲道立體聲錄音分解為立體聲側(cè)信號和立體聲中信號。立體聲側(cè)信號具有兩個主要特點。首先，它包括所有信號成分，但并不包括調(diào)移到中心的那些。在這方面，它類似于由立體聲信號的中側(cè)處理已知的側(cè)信號。實際上，它包括與由常規(guī)M-S分解導(dǎo)出的側(cè)信號相同的信號成分。
[0015]所提出的立體聲側(cè)信號與常規(guī)側(cè)信號相比的重要差別由立體聲屬性描述:立體聲側(cè)信號是雙聲道立體聲信號，與常規(guī)側(cè)信號(是單聲道的)相反。立體聲側(cè)信號的左聲道包括其被調(diào)移到輸入信號的左側(cè)的所有信號成分。立體聲信號的右聲道包括其被調(diào)移到右側(cè)的所有信號成分。
[0016]立體聲中信號是包括存在于兩個輸入聲道中的所有成分的立體聲信號。它是雙聲道立體聲信號并包括與輸入信號與立體聲側(cè)信號相比較少的立體聲信息，但它不是如常規(guī)中信號那樣的單聲道信號。它包括與常規(guī)中信號相同的信號成分，但具有原始立體聲信息。
[0017]根據(jù)一個實施方案，修改信息生成器包括譜減法器。譜減法器可適于通過從立體聲輸入信號的單聲道中信號或單聲道側(cè)信號的振幅值或加權(quán)振幅值中減去第一或第二輸入聲道的振幅值或加權(quán)振幅值生成修改信息?；蛘?，譜減法器可適于通過從第一或第二輸入聲道的振幅值或加權(quán)振幅值中減去立體聲輸入信號的單聲道中信號或單聲道側(cè)信號的振幅值或加權(quán)振幅值生成修改信息。[0018]此外，修改信息生成器可包括振幅確定器。振幅確定器可適于接收第一輸入聲道、第二輸入聲道、單聲道中信號或單聲道側(cè)信號中的至少一個(以譜域表示)作為所接收的振幅輸入信號。此外，振幅確定器可適于確定每個接收的振幅輸入信號的至少一個振幅值，并且可適于將每個接收的振幅輸入信號的至少一個振幅值饋送到譜減法器中。
[0019]在一個實施例中，譜減法器包括第一譜減法單元和第二譜減法單元，其中振幅確定器被布置為接收第一和第二輸入聲道和單聲道中信號，其中振幅確定器適于確定第一輸入聲道的第一振幅值、第二輸入聲道的第二振幅值和所述單聲道中信號的第三振幅值，其中振幅確定器適于將第一、第二和第三振幅值饋送到譜減法器中。第一譜減法單元可適于基于第一輸入聲道的第一振幅值和單聲道中信號的第三振幅值進行第一譜減法以獲得第一立體聲側(cè)信號的第一立體聲側(cè)振幅值，并且其中第二譜減法單元適于基于第二輸入聲道的第二振幅值和單聲道中信號的第三振幅值進行第二譜減法以獲得第二側(cè)立體聲信號的第二立體聲側(cè)幅值。
[0020]第一譜減法單元可適于通過應(yīng)用下式來進行第一譜減法:
[0021]Si (f) = |Xi(f)| - W |M,(f)|
[0022]其中指示譜減法結(jié)果為正時的第一立體聲側(cè)振幅譜，其中Ixjf) I指示第一
輸入聲道的第一振幅譜，其中Im1 (f) I指示單聲道中信號的第三振幅譜，并且其中W指示范圍O < W < I內(nèi)的標(biāo)量系數(shù)。第二譜減法單元可適于通過應(yīng)用下式來進行第二譜減法:
[0023]S (f) = |Xr(f)| - W IM1Cf)!
[0024]其中,.(f).指示譜減法結(jié)果為正時的第二立體聲側(cè)振幅譜，其中Ixjf) I指示第一
輸入聲道的第二振幅譜，其中Im1 (f) I指示單聲道中信號的第三振幅譜，并且其中W指示范圍O≤w≤I內(nèi)的標(biāo)量系數(shù)。
[0025]在一個實施例中，信號操縱器可包括相位提取器和組合器。相位提取器可被布置為接收第一輸入聲道和第二輸入聲道，其中相位提取器適于確定第一輸入聲道的第一相位值作為第一立體聲側(cè)相位值和第二輸入聲道的第二相位值作為第二立體聲側(cè)相位值。相位提取器可適于將第一立體聲側(cè)相位值和第二立體聲側(cè)相位值饋送到組合器中，其中第一譜減法單元適于將第一立體聲側(cè)振幅值饋送到組合器中，其中第二譜減法單元適于將第二立體聲側(cè)相位值饋送到組合器中。組合器可適于組合第一立體聲側(cè)振幅值和第一立體聲側(cè)相位值以獲得第一側(cè)聲道的第一譜的第一復(fù)數(shù)系數(shù)。此外，該組合器可適于將第二立體聲側(cè)振幅值和第二立體聲側(cè)相位值相組合以獲得所述第二側(cè)聲道的第二譜的第二復(fù)數(shù)系數(shù)。
[0026]根據(jù)一個實施例，修改信息生成器包括用于通過生成第一譜加權(quán)因子生成修改信息的譜權(quán)重生成器，其中第一譜加權(quán)因子依賴于立體聲輸入信號的單聲道中信號和單聲道側(cè)信號。
[0027]修改信息生成器還可包括振幅確定器。振幅確定器可適于接收以譜域表示的單聲道中信號。振幅確定器可適于接收以譜域表示的單聲道側(cè)信號，其中振幅確定器適于確定單聲道側(cè)信號的振幅值作為振幅側(cè)值且其中幅值確定器適于確定單聲道中信號的振幅值作為振幅中值。振幅確定器可適于將振幅側(cè)值和振幅中值饋送到譜權(quán)重生成器中。譜權(quán)重生成器可適于基于第一數(shù)量相對第二數(shù)量的比率生成第一譜加權(quán)因子，其中第一數(shù)量取決于振幅側(cè)值，且其中第二數(shù)量取決于振幅中值和振幅側(cè)值。
[0028]在其它實施例中，譜權(quán)重生成器適于根據(jù)下式生成修改因子
[0029]
【權(quán)利要求】
1.一種用于從具有第一輸入聲道和第二輸入聲道的立體聲輸入信號生成具有第一側(cè)聲道和第二側(cè)聲道的立體聲側(cè)信號的裝置，其包括: 修改信息生成器(110、610、710、810、910、1310)，其用于基于所述立體聲輸入信號的中側(cè)信息生成修改信息，和 信號操縱器(120、620、720、820、1320)，其適于基于所述修改信息操縱所述第一輸入聲道以獲得所述第一側(cè)聲道并適于基于所述修改信息操縱所述第二輸入聲道以獲得所述第二側(cè)聲道， 其中所述修改信息生成器(110、610、710、810、910、1310)包括譜權(quán)重生成器(116、615、715、815、915),其用于通過基于所述立體聲輸入信號的單聲道中信號和單聲道側(cè)信號生成第一譜加權(quán)因子而生成所述修改信息。
2.根據(jù)權(quán)利要求1所述的裝置， 其中所述信號操縱器(120、620、720、820、1320)適于基于所述第一譜加權(quán)因子作為修改信息操縱所述第二輸入聲道以獲得所述第二側(cè)聲道。
3.根據(jù)權(quán)利要求1或2所述的裝置， 其中所述修改信息生成器(110、610、710、810、910、1310)包括譜權(quán)重生成器(116、615、715、815、915),其用于通過基于所述立體聲輸入信號的所述單聲道中信號和所述單聲道側(cè)信號生成所述第一譜加權(quán)因子生成所述修改信息， 其中所述譜權(quán)重生成器(116、615、715、815、915)適于基于所述立體聲輸入信號的所述單聲道中信號和所述單聲道側(cè)信號生成第二譜加權(quán)因子， 且其中所述信號操縱器(120、620、720、820、1320)適于基于所述第二譜加權(quán)因子作為修改信息操縱所述第二輸入聲道以獲得`所述第二側(cè)聲道。
4.根據(jù)前述權(quán)利要求中的一項所述的裝置， 其中所述修改信息生成器(110、610、710、810、910、1310)包括所述譜權(quán)重生成器(116、615、715、815、915),其用于通過基于所述立體聲輸入信號的所述單聲道中信號和所述單聲道側(cè)信號生成所述第一譜加權(quán)因子生成所述修改信息， 其中所述修改信息生成器(110、610、710、810、910、1310)還包括振幅確定器(912)，其中所述振幅確定器(912)適于接收以譜域表示的所述單聲道中信號，且其中所述振幅確定器適于接收以譜域表示的所述單聲道側(cè)信號， 其中所述振幅確定器(912)適于確定所述單聲道側(cè)信號的振幅值作為振幅側(cè)值且其中所述振幅確定器(912)適于確定所述單聲道中信號的振幅值作為振幅中值， 其中所述振幅確定器(912)適于將所述振幅側(cè)值和所述振幅中值饋送到所述譜權(quán)重生成器(116、615、715、815、915)中，且 其中所述譜權(quán)重生成器(116、615、715、815、915)適于基于第一數(shù)量相對第二數(shù)量的比率生成所述第一譜加權(quán)因子，其中所述第一數(shù)量取決于所述振幅側(cè)值，且其中所述第二數(shù)量取決于所述振幅中值和所述振幅側(cè)值。
5.根據(jù)前述權(quán)利要求中的一項所述的裝置， 其中所述修改信息生成器(110、610、710、810、910、1310)包括所述譜權(quán)重生成器(116、615、715、815、915),其用于通過基于所述立體聲輸入信號的所述單聲道中信號和所述單聲道側(cè)信號生成所述第一譜加權(quán)因子生成所述修改信息，其中所述譜權(quán)重生成器(116、615、715、815、915)適于根據(jù)下式生成修改因子:
6.根據(jù)權(quán)利要求2至5中的一項所述的裝置，其中所述修改信息生成器(110、610、710、810、910、1310)適于基于所述立體聲輸入信號的所述單聲道中信號或所述立體聲輸入信號的所述單聲道側(cè)信號信息生成所述修改信息，其中所述單聲道中信號取決于由所述第一和第二輸入聲道相加而產(chǎn)生的和信號，且其中所述單聲道側(cè)信號取決于從所述第一輸入聲道減去所述第二輸入聲道而產(chǎn)生的差信號。
7.根據(jù)權(quán)利要求2至6 中的一項所述的裝置，其中所述裝置還包括聲道生成器(561、562)，其中所述聲道生成器適于基于所述第一和第二輸入聲道生成所述單聲道中信號或所述單聲道側(cè)信號。
8.根據(jù)權(quán)利要求2至7中的一項所述的裝置，其中所述裝置還包括: 變換單兀(1305),其用于將所述立體聲輸入信號的所述第一和第二輸入聲道從時域變換到譜域，和 逆變換單元(1325)， 其中所述信號操縱器(120、620、720、820、1320)適于操縱以所述譜域表示的所述第一輸入聲道和以所述譜域表示的所述第二輸入聲道以獲得以所述譜域表示的所述立體聲側(cè)信號， 且其中所述逆變換單元(1325)適于將以所述譜域表示的所述立體聲側(cè)信號從所述譜域變換到所述時域。
9.一種上混合器,其包括: 裝置，其用于根據(jù)前述權(quán)利要求中的一項生成具有第一側(cè)聲道和第二側(cè)聲道的立體聲信號側(cè)(1510)，其中所述裝置適于生成所述第一側(cè)聲道作為第一上混合器聲道，且其中所述裝置適于生成所述第一側(cè)聲道作為第一上混合器聲道， 第一中聲道生成器(1520),其用于基于所述第一立體聲輸入聲道和所述第一側(cè)聲道之間的差生成所述第一中聲道作為第三上混合器聲道， 第二中聲道生成器(1530)，其用于基于所述第二立體聲輸入聲道和所述第二側(cè)聲道之間的差生成所述第二中聲道作為第四上混合器聲道。
10.一種用于從具有第一輸入聲道和第二輸入聲道的立體聲輸入信號生成具有第一中聲道和第二中聲道的立體聲中信號的裝置，其包括: 修改信息生成器(1010),其用于基于所述立體聲輸入信號的中側(cè)信息生成修改信息，和 信號操縱器(1020)，其適于基于所述修改信息操縱所述第一輸入聲道以獲得所述第一中聲道并適于基于所述修改信息操縱所述第二輸入聲道以獲得所述第二中聲道， 其中所述修改信息生成器(1020)包括: 譜權(quán)重生成器，其用于通過基于所述立體聲輸入信號的單聲道中信號和單聲道側(cè)信號生成第一譜加權(quán)因子生成所述修改信息。
11.根據(jù)權(quán)利要求10所述的裝置， 其中所述修改信息生成器還包括振幅確定器， 其中所述振幅確定器適于確定以譜域表示的所述單聲道側(cè)信號的振幅值作為振幅側(cè)值且其中所述振幅確定器適于確定以譜域表示的所述單聲道中信號的振幅值作為振幅中值， 其中所述振幅確定器適于將所述振幅側(cè)值和所述振幅中值饋送到所述譜權(quán)重生成器中，且 其中所述譜權(quán)重生成器適于基于第一數(shù)量相對第二數(shù)量的比率生成所述第一譜加權(quán)因子，其中所述第一數(shù)量取決于所述振幅側(cè)值，且其中所述第二數(shù)量取決于所述振幅中值和所述振幅側(cè)值。`
12.—種用于從具有第一輸入聲道和第二輸入聲道的立體聲輸入信號生成具有第一側(cè)聲道和第二側(cè)聲道的立體聲側(cè)信號的方法，其包括: 基于所述立體聲輸入信號的中側(cè)信息生成修改信息，和 基于所述修改信息操縱所述第一輸入聲道以獲得所述第一側(cè)聲道，和 基于所述修改信息操縱所述第二輸入聲道以獲得所述第二側(cè)聲道， 其中生成所述修改信息的步驟包括: 通過基于所述立體聲輸入信號的單聲道中信號和單聲道側(cè)信號生成第一譜加權(quán)因子生成所述修改信息。
13.—種用于從具有第一輸入聲道和第二輸入聲道的立體聲輸入信號生成具有第一中聲道和第二中聲道的立體聲中信號的方法，其包括: 基于所述立體聲輸入信號的中側(cè)信息生成修改信息，和 基于所述修改信息操縱所述第一輸入聲道以獲得所述第一中聲道，和 基于所述修改信息操縱所述第二輸入聲道以獲得所述第二中聲道， 其中生成所述修改信息的步驟包括: 通過基于所述立體聲輸入信號的單聲道中信號和單聲道側(cè)信號生成第一譜加權(quán)因子生成所述修改信息。
14.根據(jù)權(quán)利要求13所述的方法，其中生成修改信息的所述步驟包括: 通過生成第一譜加權(quán)因子生成所述修改信息，其中所述第一譜加權(quán)因子取決于所述立體聲輸入信號的單聲道中信號和單聲道側(cè)信號，確定以譜域表示的所述單聲道側(cè)信號的振幅值作為振幅側(cè)值， 確定以譜域表示的所述單聲道中信號的振幅值作為振幅中值， 將所述振幅側(cè)值和所述振幅值中值饋送到所述譜權(quán)重生成器中，和基于第一數(shù)量相對第二數(shù)量的比率生成所述第一譜加權(quán)因子，其中所述第一數(shù)量取決于所述振幅側(cè)值，且其中所述第二數(shù)量取決于所述振幅中值和所述振幅側(cè)值。
15.一種用于實施根據(jù)權(quán)利要求12至14中的一項所述的方法的計算機程序，其在計算機或處理器 上執(zhí)行。
【文檔編號】H04S3/00GK103650538SQ201280033585
【公開日】2014年3月19日 申請日期:2012年7月3日 優(yōu)先權(quán)日:2011年7月5日
【發(fā)明者】克里斯蒂安·烏勒, 斯特凡·菲瑙爾, 帕特里克·甘普, 奧利弗·黑爾慕斯, 彼得·普羅克因, 克里斯蒂安·斯托克爾梅爾 申請人:弗蘭霍菲爾運輸應(yīng)用研究公司