專(zhuān)利名稱(chēng)：修改多個(gè)音頻信號(hào)的空間圖像的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及音頻處理，更具體涉及修改多個(gè)音頻信號(hào)的空間圖像。
背景技術(shù)：
人類(lèi)聽(tīng)覺(jué)系統(tǒng)非常適于根據(jù)聲源的位置關(guān)注聲源。這有時(shí)候被稱(chēng)為“雞尾酒會(huì)效應(yīng)在嘈雜擁擠的房間中可以進(jìn)行會(huì)談，因?yàn)槁?tīng)者可以排除大部分的來(lái)自除其正在交談的人之外的方向的干擾聲音。
對(duì)于聽(tīng)者來(lái)說(shuō)，分離來(lái)自相同方向的聲音難得多。例如，當(dāng)通過(guò)耳機(jī)聽(tīng)立體音樂(lè)時(shí)，聲音并不是表現(xiàn)為來(lái)自單個(gè)位置而是在寬的聲場(chǎng)上掃描。在該情況中，如果將語(yǔ)音重疊在音樂(lè)上而沒(méi)有任何將二者空間分離的措施，將難于理解對(duì)話。這在使用例如移動(dòng)電話時(shí)可能存在問(wèn)題?，F(xiàn)代的移動(dòng)終端包括允許通過(guò)耳機(jī)收聽(tīng)高質(zhì)量音樂(lè)再現(xiàn)的特征。然而，如果在音樂(lè)再現(xiàn)期間接聽(tīng)電話呼叫，或者關(guān)閉音樂(lè)或者在音樂(lè)上疊加電話呼叫。從而，無(wú)法將電話呼叫或語(yǔ)音消息與立體音樂(lè)音軌混合而不降低可理解性。從而希望能夠空間修改音頻流，從而在仍播放音軌時(shí)容易理解對(duì)話。

發(fā)明內(nèi)容
本發(fā)明提出了ー種改善的方法和實(shí)施該方法的技術(shù)設(shè)備，通過(guò)本發(fā)明在對(duì)話或其它音頻信號(hào)與另ー個(gè)音頻信號(hào)混合時(shí)增加了對(duì)話或其它音頻信號(hào)的可理解性。本發(fā)明內(nèi)容包括ー種方法、設(shè)備和計(jì)算機(jī)程序，其特征在于獨(dú)立權(quán)利要求中的陳述。在從屬權(quán)利要求中公開(kāi)了本發(fā)明各個(gè)實(shí)施例。根據(jù)第一方面，根據(jù)本發(fā)明的方法基于這樣的構(gòu)思修改包括兩個(gè)或更多個(gè)音頻信道的輸入音頻信號(hào)所產(chǎn)生的聲場(chǎng)，使得對(duì)于ー個(gè)或多個(gè)附加聲源釋放(relieve)空間空位(spatial room);以及將所述ー個(gè)或多個(gè)附加聲源插入到所述輸入音頻信號(hào)的修改聲場(chǎng)的釋放空間空位中，而不引入與輸入音頻信號(hào)的修改聲場(chǎng)的空間干渉。根據(jù)實(shí)施例，輸入音頻信號(hào)包括兩信道立體信號(hào)，所述方法還包括通過(guò)對(duì)輸入音頻信號(hào)施加幅度平移(panning)處理而窄化通過(guò)兩信道立體信號(hào)產(chǎn)生的聲場(chǎng)；以及在窄化的聲場(chǎng)的至少任ー側(cè)插入一個(gè)附加聲源。根據(jù)實(shí)施例，根據(jù)以下對(duì)所述兩信道立體信號(hào)的輸入信號(hào)分量施加幅度平移處理
. .. Pぐ)
UJ..I.. I- JuJ*其中L入、R入和Ra分別是左和右側(cè)立體信道的輸入和輸出信號(hào)分量，并且O << 0.5。根據(jù)實(shí)施例，如果ー個(gè)或多個(gè)附加聲源基于語(yǔ)音信號(hào)，則□的值被調(diào)節(jié)為約O. 3或更高。根據(jù)實(shí)施例，其中輸入音頻信號(hào)包括兩信道立體信號(hào)，所述方法還包括基于立體信號(hào)共有的音頻分量確定中心信道音頻分量；通過(guò)除去中心信道音頻分量而窄化通過(guò)兩信道立體信號(hào)產(chǎn)生的聲場(chǎng)；以及在聲場(chǎng)的極值之間的非干涉空間中插入附加聲源。根據(jù)實(shí)施例，分別根據(jù)因子l-α和α相互成比例地進(jìn)行所述除去中心信道音頻分量和所述插入附加聲源。根據(jù)實(shí)施例，α的值被隨時(shí)間變化地調(diào)節(jié)。根據(jù)實(shí)施例，一旦確定附加聲源應(yīng)包括在由兩信道立體信號(hào)產(chǎn)生的聲場(chǎng)中，該方法還包括在第一預(yù)定時(shí)段(例如一秒)中將α的值逐漸増加到預(yù)定值，諸如其最大值。根據(jù)實(shí)施例，該方法還包括延遲對(duì)附加聲源的饋給所述第一預(yù)定時(shí)段。根據(jù)實(shí)施例，一旦確定在第二預(yù)定時(shí)段中未檢測(cè)到產(chǎn)生所述附加聲源的活躍附加信號(hào)，該方法還包括將α的值逐漸減小到零。 根據(jù)實(shí)施例，輸入音頻信號(hào)包括雙耳線索編碼下混信號(hào)，所述方法還包括通過(guò)選擇信道間時(shí)間差參數(shù)在將抑制的預(yù)定范圍內(nèi)的子帶，抑制從至少一個(gè)虛擬聲源到達(dá)的音頻信號(hào)；以及在所述雙耳線索編碼下混信號(hào)中插入所述ー個(gè)或多個(gè)附加聲源代替所述抑制的
音頻信號(hào)。根據(jù)實(shí)施例，輸入音頻信號(hào)包括定向音頻編碼信號(hào)，所述方法還包括通過(guò)選擇方位角和/或高度參數(shù)在將抑制的預(yù)定范圍內(nèi)的子帶，抑制從至少一個(gè)虛擬音源到達(dá)的音頻信號(hào)；以及在所述定向音頻編碼信號(hào)中插入ー個(gè)或多個(gè)附加聲源代替所述抑制的音頻信號(hào)。根據(jù)實(shí)施例，輸入音頻信號(hào)包括定向音頻編碼(DirAC)信號(hào)或雙耳線索編碼(BCC)下混信號(hào)，所述方法還包括對(duì)所述輸入音頻信號(hào)施加重新平移處理，以將ー個(gè)或多個(gè)預(yù)定DirAC或BCC信號(hào)的能量重新分配到新的空間位置；以及將所述ー個(gè)或多個(gè)附加聲源插入在由所述ー個(gè)或多個(gè)預(yù)定DirAC或BCC信號(hào)釋放的空間位置中。根據(jù)本發(fā)明的配置提供多個(gè)優(yōu)點(diǎn)。它使得在由原始輸入音頻信號(hào)產(chǎn)生的聲場(chǎng)中能夠包括基于音頻信號(hào)(例如語(yǔ)音信號(hào))的一個(gè)或多個(gè)附加聲源，使得即使屬于聲場(chǎng)的原始音頻信號(hào)(例如立體音樂(lè))仍在被再現(xiàn)，附加聲源也是可理解的。尤其在立體聲場(chǎng)的情況中，提供了直接的方法，針對(duì)有待可理解地與底層聲場(chǎng)混合的ー個(gè)或兩個(gè)語(yǔ)音信號(hào)，釋放非干渉空間空位。這對(duì)于例如社會(huì)音樂(lè)服務(wù)提供了令人愉悅的特征，其中在“現(xiàn)在收聽(tīng)”頁(yè)面上可獲得“ー鍵通”特征，從而用戶的朋友可以立即評(píng)論聽(tīng)到的音樂(lè)。根據(jù)第二方面，提供了一種設(shè)備，其包括至少ー個(gè)處理器和至少ー個(gè)存儲(chǔ)計(jì)算機(jī)程序代碼的存儲(chǔ)器，其中所述至少一個(gè)存儲(chǔ)器和存儲(chǔ)的計(jì)算機(jī)程序代碼被配置為，通過(guò)所述至少一個(gè)處理器，使得所述設(shè)備至少修改包括兩個(gè)或更多個(gè)音頻信道的輸入音頻信號(hào)所產(chǎn)生的聲場(chǎng)，使得對(duì)于ー個(gè)或多個(gè)附加聲源釋放空間空位；以及在不引入與輸入音頻信號(hào)的修改聲場(chǎng)空間干渉的情況下，將所述一個(gè)或多個(gè)附加聲源插入到所述輸入音頻信號(hào)的修改聲場(chǎng)的釋放空間空位中。根據(jù)第三方面，提供了ー種用于處理音頻信號(hào)的計(jì)算機(jī)程序產(chǎn)品，其被存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中并可在數(shù)據(jù)處理裝置中被執(zhí)行，該計(jì)算機(jī)程序產(chǎn)品包括用于修改包括兩個(gè)或更多個(gè)音頻信道的輸入音頻信號(hào)所產(chǎn)生的聲場(chǎng)，使得對(duì)于ー個(gè)或多個(gè)附加聲源釋放空間空位的計(jì)算機(jī)程序代碼部分；以及用于將所述ー個(gè)或多個(gè)附加聲源插入到所述輸入音頻信號(hào)的修改聲場(chǎng)的釋放空間中而不引入與輸入音頻信號(hào)的修改聲場(chǎng)空間干渉的計(jì)算機(jī)程序代碼部分。通過(guò)對(duì)下面的實(shí)施例的詳細(xì)公開(kāi)，本發(fā)明的這些和其它方面以及與其相關(guān)的實(shí)施例將變得顯而易見(jiàn)。


在下文中，將參考附圖更詳細(xì)地描述本發(fā)明的各個(gè)實(shí)施例，其中圖la、lb示出分別在沒(méi)有空間處理和有空間處理的情況下，聽(tīng)者在通過(guò)耳機(jī)播放立體音樂(lè)時(shí)可以感知到的立體音樂(lè)的空間特性；圖2a示出立體拓寬的聲場(chǎng)；圖2b示出圖2a的立體拓寬聲場(chǎng)如何被窄化以對(duì)附加信號(hào)提供空位；

圖3示出根據(jù)實(shí)施例的用于產(chǎn)生圖2b的空間效應(yīng)所需的處理部件的簡(jiǎn)化框圖；圖4a示出用于立體信號(hào)的中心信道共用音頻分量的特征；圖4b示出圖4a的聲場(chǎng)如何通過(guò)除去中心信道共用音頻分量而被窄化，以為附加信號(hào)提供空位；圖5示出根據(jù)實(shí)施例的用于產(chǎn)生圖4b的空間效應(yīng)所需的處理部件的簡(jiǎn)化框圖；圖6a、6b示出基于重新平移的實(shí)施例，其用于釋放多個(gè)虛擬音源之間的空間空位；以及圖7示出根據(jù)實(shí)施例的設(shè)備的簡(jiǎn)化框圖。
具體實(shí)施例方式下面，通過(guò)以(立體)音樂(lè)作為源材料說(shuō)明本發(fā)明，其中形成用于插入基于語(yǔ)音信號(hào)的附加聲源的空間空位。然而，應(yīng)注意，本發(fā)明不僅限于作為源材料的音樂(lè)，而是可以在任何類(lèi)型的具有空間內(nèi)容的多信道音頻中實(shí)施，所述多信道音頻包括電影音軌、電視廣播以及游戲。另外，可由其他類(lèi)型的材料代替語(yǔ)音信號(hào)，所述材料具有相比于空間音軌的優(yōu)先權(quán)，例如UI聲音和警報(bào)?；趦尚诺?立體)輸入音頻信號(hào)描述第一實(shí)施例，但是基本方面還可以應(yīng)用于多信道輸入音頻信號(hào)，如在之后的實(shí)施例中所述。通常已知的是，可以這樣修改立體信號(hào)所形成的聲場(chǎng)，使得聽(tīng)者將聲場(chǎng)感知為在兩側(cè)延伸超過(guò)揚(yáng)聲器的位置。該處理通常被稱(chēng)為立體拓寬，其中通常通過(guò)從左側(cè)輸入向右側(cè)擴(kuò)音器引入串音、且從右側(cè)輸入向左側(cè)擴(kuò)音器引入串音而形成該拓寬效應(yīng)。已知用于擴(kuò)音器播放和耳機(jī)播放的立體拓寬方案。下面，使用耳機(jī)播放作為實(shí)例，然而在使用兩個(gè)近距離隔開(kāi)的擴(kuò)音器的情況中，原理是相同的。在兩種情況中，可以假設(shè)聲源的位置沿直線或弧線分布，以與在坐在傳統(tǒng)立體設(shè)備(其中，擴(kuò)音器展開(kāi)相對(duì)于聽(tīng)者的60度角)前的經(jīng)歷類(lèi)似地，繞子午面對(duì)稱(chēng)地，相對(duì)于聽(tīng)者從左側(cè)延伸到右側(cè)。在附圖中，從上方繪制聽(tīng)者的頭部，三角形表示聽(tīng)者的鼻子，兩個(gè)半球形表示聽(tīng)者的耳朵，并且通過(guò)橢圓區(qū)域繪制由聽(tīng)者感知的聲場(chǎng)。圖la、lb示出聽(tīng)者在通過(guò)耳機(jī)播放立體音樂(lè)時(shí)可以感知到的立體音樂(lè)的空間特性。在沒(méi)有空間處理的情況下(圖la)，聲場(chǎng)的所有聲源穿過(guò)頭部中心從左耳延伸到右耳。在存在通過(guò)立體拓寬產(chǎn)生的空間效應(yīng)的情況下(圖lb)，聲場(chǎng)的極值被外部化，從而ー些聲源表現(xiàn)為從頭部的外部聽(tīng)到。無(wú)論是否使用空間處理，典型立體音軌的聲場(chǎng)(即空間圖像)是密集的，沒(méi)有用于塞入附加聲源的間隙。這通過(guò)實(shí)線橢圓區(qū)域繪制出。現(xiàn)在根據(jù)尤其應(yīng)用于立體信號(hào)的實(shí)施例，原始立體輸入信號(hào)的空間圖像被修改，使得基于例如一個(gè)或多個(gè)附加信號(hào)為ー個(gè)或多個(gè)附加音頻聲源釋放空間空位，從而可以在不引入與原始立體信號(hào)的修改的空間圖像的空間干涉的情況下在釋放的空間空位中插入一個(gè)或多個(gè)附加聲源。從而，通過(guò)從原始聲場(chǎng)(包括，例如音樂(lè))釋放空間空位，可以在原始兩信道立體信號(hào)的聲場(chǎng)中包括ー個(gè)或多個(gè)例如語(yǔ)音信號(hào)的附加音頻信號(hào)的內(nèi)容作為附加聲源，從而即使仍在再現(xiàn)例如音樂(lè)的立體信號(hào)，附加聲源也是可理解的。根據(jù)實(shí)施例，聲場(chǎng)被窄化，從而在空間圖像中在兩側(cè)存在用于附加(例如語(yǔ)音)信號(hào)的空間。當(dāng)左信道L的音頻與右信道R的相同時(shí)，立體拓寬對(duì)立體信號(hào)具有較少或沒(méi)有影響。因此，通過(guò)將左信道與右信道混合在一起，從而使得輸入到立體拓寬網(wǎng)絡(luò)的立體信號(hào)的兩個(gè)信道比在原始記錄中更加相似，可以人為地窄化聲場(chǎng)。這是通常稱(chēng)為幅度平移的標(biāo)準(zhǔn)操作。當(dāng)根據(jù)以下公式對(duì)兩個(gè)信道應(yīng)用幅度平移吋，實(shí)現(xiàn)對(duì)聲場(chǎng)寬度的控制
YLΛ (I)
、及IH J V a I八及入J其中α為在0-0. 5之間變化的參數(shù)。如公式(I)中所示，當(dāng)α =0，對(duì)立體輸入沒(méi)有影響；即L出=L入，且R出=R入。冋樣，當(dāng)α = 0.5時(shí)，使得兩個(gè)輸出イ目號(hào)相冋；即，L出=R出=O. 5*L入+O. 5*R入。實(shí)驗(yàn)示出，當(dāng)α的值變?yōu)榇笥诩sO. 3時(shí)，平均立體信號(hào)的聲場(chǎng)被充分窄化以在聽(tīng)者的左側(cè)和右側(cè)都增加語(yǔ)音信號(hào)。這使得例如兩個(gè)呼叫者或語(yǔ)音消息被同時(shí)聽(tīng)到，并且在存在聲場(chǎng)的底層音頻信號(hào)時(shí)仍可被理解。這在圖2a和2b中示出，其中圖2a的(立體拓寬)聲場(chǎng)被窄化，以在聽(tīng)者兩側(cè)為語(yǔ)音信號(hào)SI和S2提供空位。應(yīng)注意，根據(jù)將作為聲源被添加到聲場(chǎng)的附加音頻信號(hào)(例如非語(yǔ)音信號(hào))的特性，可以利用顯著小于O. 3的α在聽(tīng)者的ー側(cè)或兩側(cè)添加一個(gè)或多個(gè)附加聲源。對(duì)于ー些類(lèi)型的附加音頻信號(hào)，例如各種警報(bào)或用戶界面聲音，即使小于O. I的α值可以是足夠的。圖3示出用于產(chǎn)生圖2b的空間效應(yīng)所需的處理部件的示例框圖的實(shí)施例。首先，在幅度平移単元300中饋給兩個(gè)立體輸入信道L入和R入，所述幅度平移単元300如上所述地通過(guò)α的值控制幅度平移處理。利用合適的α值，從幅度平移単元300輸出的聲場(chǎng)被充分窄化，使得可以在窄化聲場(chǎng)的ー側(cè)或兩側(cè)插入基于音頻信號(hào)SI、S2的附加聲源。然后將從兩個(gè)立體輸入信道La和R入產(chǎn)生的窄化聲場(chǎng)和基于音頻信號(hào)S1、S2的一個(gè)或兩個(gè)附加聲源饋給到空間處理単元302中?？臻g處理単元302然后產(chǎn)生將經(jīng)由耳機(jī)播放再現(xiàn)的通過(guò)左側(cè)L和右側(cè)R音頻信號(hào)表示的3D空間音頻圖像。根據(jù)另ー個(gè)實(shí)施例，通過(guò)在聲場(chǎng)中間提供空位可以窄化聲場(chǎng)。通過(guò)在立體輸入中減去兩個(gè)信道共有的分量，可以在聲場(chǎng)的中間而不是兩側(cè)中的ー側(cè)添加基于例如語(yǔ)音信號(hào)的聲源。圖4a示出這樣的實(shí)例，其中已經(jīng)根據(jù)中心信道提取算法確定聲場(chǎng)的共同分量C。已知很多可用于中心信道提取的算法，并且其通常依賴(lài)于使用的環(huán)境聲處理。在聲場(chǎng)中，左耳分量L-C/2和右耳分量R-C/2與中心信道(共同分量)C至少部分重疊。通常，不能完全提取中心信道，以避免處理偽像，優(yōu)選通過(guò)適當(dāng)調(diào)節(jié)中心信道提取算法的參數(shù)允許共同分量相對(duì)較寬(如圖4a所示)。如圖4a所示，應(yīng)用中心信道提取算法的結(jié)果為，如果將中心信道(共同)分量C除去，左耳分量L-C/2與右耳分量R-C/2彼此不空間干渉，而是在它們之間存在空間空位。這在圖4b中示出，其中通過(guò)將聲場(chǎng)分割為之間具有空間空位的兩個(gè)部分L-C/2和R-C/2而窄化該聲場(chǎng)，從而可將附加音頻信號(hào)S作為附加聲源插入聲場(chǎng)而不與原始立體信號(hào)的修改空間圖像空間干涉，同時(shí)仍允許所 述附加音頻信號(hào)被可理解地聽(tīng)到。根據(jù)實(shí)施例，優(yōu)選將同時(shí)出現(xiàn)的聲源的數(shù)目限制為一，因?yàn)橥ǔＴ诼晥?chǎng)的中心僅存在用于僅僅單個(gè)附加聲源的空間空位。例如在附加聲源基于語(yǔ)音信號(hào)的情況中，如果幾個(gè)人同時(shí)說(shuō)話，則難于識(shí)別活躍的說(shuō)話者，即與常規(guī)的具有單聲道播放的遠(yuǎn)程電信會(huì)議設(shè)備類(lèi)似的現(xiàn)象。圖5示出用于產(chǎn)生圖4b的空間效應(yīng)所需的處理部件的示例框圖的實(shí)施例。首先，將兩個(gè)立體輸入信道L入和1 入饋入中心信道提取單元500，其產(chǎn)生基本表示圖4a所示的聲場(chǎng)的輸出信號(hào)分量Lc、C和Re。相互非干涉的左耳分量Lc和右耳分量Re被這樣饋入空間處理單元504，但是在將中心信道(共同)分量C和附加音頻信號(hào)S饋入求和単元502之前，將中心信道(共同)分量C乘以l-α，并將附加音頻信號(hào)S乘以α。從而，通過(guò)調(diào)節(jié)α的值，可以確定中心信道分量C，基于音頻信號(hào)S的附加聲源或所述信號(hào)C和S的混合是否被饋入空間處理単元504?？臻g處理単元504然后產(chǎn)生將經(jīng)由耳機(jī)播放再現(xiàn)的通過(guò)左側(cè)L和右側(cè)R音頻信號(hào)表示的3D空間音頻圖像。本領(lǐng)域技術(shù)人員容易理解，通過(guò)圖3中的空間處理單元302和圖5中的空間處理単元504施加的空間處理方法可以根據(jù)使用的應(yīng)用而變化。而且，由于基本方面還可以應(yīng)用于擴(kuò)音器播放，在擴(kuò)音器播放中施加的空間處理方法優(yōu)選與耳機(jī)播放不同。從而，如此應(yīng)用的空間處理方法與這里描述的實(shí)施例不是相關(guān)的。在上述窄化聲場(chǎng)的實(shí)施例中，如果沒(méi)有有待包括的基于音頻信號(hào)S的附加聲源，聽(tīng)者以簡(jiǎn)化的從而不滿意的方式感知例如音樂(lè)的原始音頻信號(hào)的空間內(nèi)容。從而，有利的是，僅當(dāng)存在具有可聽(tīng)內(nèi)容的附加信號(hào)時(shí)修改聲場(chǎng)并為附加聲源提供空位，例如，在有待引入的附加聲源所基于的附加信號(hào)是語(yǔ)音信號(hào)的情況中，僅當(dāng)在各個(gè)信號(hào)中存在語(yǔ)音活動(dòng)時(shí)，可以修改聲場(chǎng)以對(duì)附加聲源提供空位。根據(jù)實(shí)施例，這通過(guò)使得參數(shù)α隨時(shí)間變化而實(shí)施。在參考圖3和5描述的實(shí)施例中，當(dāng)α=ο時(shí)，在聲場(chǎng)中沒(méi)有用于附加聲源的空位，并且有待引入的附加聲源所基于的語(yǔ)音信道S被靜音。根據(jù)實(shí)施例,一旦確定應(yīng)該在聲場(chǎng)中包括附加聲源,在例如一秒的第一預(yù)定時(shí)段內(nèi)α的值被逐漸增加到預(yù)定值，提供用于原始音頻信號(hào)的希望寬度的聲場(chǎng)。從而，獲得舒適和愉悅的空間效應(yīng)。應(yīng)注意，α的最大值為用于窄化聲場(chǎng)的O. 5和用于除去中心信道的I。根據(jù)另ー個(gè)實(shí)施例，將基于信號(hào)S的附加聲源的饋給延遲(第一)預(yù)定時(shí)段，該時(shí)段與將α増加到預(yù)定值花費(fèi)的時(shí)長(zhǎng)相同。這允許可以在例如語(yǔ)音的附加聲源被聽(tīng)到之前修改聲場(chǎng)。根據(jù)實(shí)施例，當(dāng)在第二預(yù)定時(shí)段(例如5秒沖已經(jīng)沒(méi)有活躍的附加信號(hào)吋，則使用與増加α?xí)r相同的逐漸更新方案但是當(dāng)然以相反地方式將α的值減小到零。已經(jīng)結(jié)合兩信道(立體)輸入音頻信號(hào)描述了上述實(shí)施例，但是如上所述，基本方面也可應(yīng)用于多信道輸入音頻信號(hào)。本領(lǐng)域技術(shù)人員可以了解，可以使用不同方法進(jìn)行空間處理，并且例如可以將立體拓寬僅僅看作對(duì)兩信道輸入起作用的特定例子。從而，所述實(shí)施例的基本方面可以概括為修改包括兩個(gè)或更多個(gè)音頻信道的輸入音頻信號(hào)的空間圖像，使得對(duì)于基于例如ー個(gè)或多個(gè)附加音頻信號(hào)的一個(gè)或多個(gè)附加聲源釋放空間空位，從而可以將所述ー個(gè)或多個(gè)附加聲源插入到釋放的空間空位中，而不引入與原始輸入信號(hào)的修改空間圖像的空間干渉，并在輸入音頻信號(hào)的修改空間圖像的釋放空間空位中插入所述ー個(gè)或多個(gè)附加聲源。從而，在具有兩個(gè)以上信道的多信道輸入音頻的情況中，同樣，可以將ー個(gè)或多個(gè)附加聲源插入聲場(chǎng)，使得即使在仍然再現(xiàn)所述多信道音頻信號(hào)的情況下，仍可理解所述附加聲源。多個(gè)稱(chēng)為“虛擬環(huán)繞”的音頻處理算法利用人類(lèi)聽(tīng)覺(jué)系統(tǒng)的特性產(chǎn)生由多于實(shí)際存在的聲源所產(chǎn)生的聲場(chǎng)的感覺(jué)。這些算法可以基于對(duì)以下各項(xiàng)的使用頭相關(guān)傳輸函數(shù)(HRTF)、參數(shù)音頻編碼技術(shù)(如雙耳線索編碼(BCC))、反射或散射聲源或其組合。這些算法 中的多個(gè)至少在ー些處理階段可以包括兩個(gè)以上的信道信號(hào)。在雙耳線索編碼(BCC)中，編碼器利用例如傅立葉變換或QMF過(guò)濾帶技術(shù)將輸入信號(hào)變換為頻域，并且然后進(jìn)行空間分析。對(duì)于每個(gè)輸入幀中的每個(gè)頻率子帶估計(jì)信道間級(jí)別差(ILD)和時(shí)間差(ITD)參數(shù)以及附加參數(shù)。與通過(guò)組合輸入信號(hào)產(chǎn)生的下混音頻信號(hào)一起，這些參數(shù)被傳輸為邊信息(side information)ο在定向音頻編碼(DirAC)中，通過(guò)將輸入信號(hào)分割到頻帶中而分析來(lái)自空間傳聲器系統(tǒng)(諸如B格式聲場(chǎng)傳聲器)的信號(hào)。對(duì)于每個(gè)時(shí)刻和頻帶獨(dú)立地估計(jì)到達(dá)方向和擴(kuò)散。以全方向傳聲器信號(hào)傳輸由每個(gè)頻帶的方位角、高度和擴(kuò)散值構(gòu)成的空間邊信息。 根據(jù)實(shí)施例，如果音頻信號(hào)已經(jīng)被BCC或DirAC編碼，有可能抑制來(lái)自特定(虛擬)空間方向的聲音。例如，從N個(gè)空間方向，可以抑制一個(gè)或多個(gè)空間方向以對(duì)將混合在其中的一個(gè)或多個(gè)附加聲源提供空間空位，然后可以插入基于例如附加音頻信號(hào)的附加聲源代替所抑制的虛擬聲源。在實(shí)踐中，這可以通過(guò)在參數(shù)域中處理邊信息而實(shí)施。例如，在BCC編碼信號(hào)中，可以抑制具有處于特定范圍的ITD的子帯。在DirAC編碼信號(hào)中，可以抑制具有特定方位角和/或高度值的子帯。重新平移是ー種基本應(yīng)用于立體音軌的音頻處理方法，其將特定空間位置中的能量映射到新的空間位置。根據(jù)實(shí)施例，對(duì)BCC或DirAC編碼信號(hào)施加重新平移。從而，通過(guò)將特定BCC或DirAC編碼信號(hào)的能量重新分配到新的空間位置，可以從聲場(chǎng)釋放空間空位，以允許在聲場(chǎng)中包括一個(gè)或多個(gè)附加聲源，同時(shí)仍可以理解原始信號(hào)中的基本全部?jī)?nèi)容。圖6a和6b示出該實(shí)施例的原理。在圖6a中，在聲場(chǎng)中等距地分布以數(shù)字I至7表示的聲場(chǎng)的虛擬音源。在圖6b中，作為重新平移處理的結(jié)果，將虛擬音源I至3和4至7分別擠壓到一起并分開(kāi)放入兩組中，從而為位于聽(tīng)者的略靠左的附加音頻信號(hào)S提供空位。在專(zhuān)利申請(qǐng)公開(kāi)US2008/0298610 “Parameter Space Re-Panning for SpatialAudio”中更詳細(xì)地描述了用于通過(guò)重新平移提供空間空位的處理，其整體內(nèi)容在此引入作為參考。根據(jù)實(shí)施例，聲場(chǎng)不限于位于聽(tīng)者的前方/側(cè)面，如果使用例如頭部跟蹤的高級(jí)渲染技術(shù)，聲場(chǎng)也可以延伸到聽(tīng)者的后方。
本領(lǐng)域技術(shù)人員可以理解，上述任一實(shí)施例可以與ー個(gè)或多個(gè)其他實(shí)施例組合地實(shí)施，除非清楚地或明確地陳述特定實(shí)施例僅是相互可替換的。圖7示出設(shè)備(即數(shù)據(jù)處理裝置(TE))的簡(jiǎn)化結(jié)構(gòu)，其中可以實(shí)施根據(jù)實(shí)施例的聲場(chǎng)修改方法。該數(shù)據(jù)處理裝置(TE)例如可以是移動(dòng)終端、PDA裝置或個(gè)人計(jì)算機(jī)(PC)。數(shù)據(jù)處理單元(TE)包括I/O裝置(I/O)、中央處理單元(CPU)和存儲(chǔ)器(MEM)。存儲(chǔ)器(MEM)包括只讀存儲(chǔ)器ROM部分和可重寫(xiě)部分，諸如隨機(jī)存取存儲(chǔ)器RAM和閃存。通過(guò)I/O裝置(I/O)向/從中央處理單元(CPU)傳輸用于與不同的外部方(例如⑶-ROM、附加裝置和用戶)通信的信息。如果數(shù)據(jù)處理裝置被實(shí)施為移動(dòng)站，其通常包括收發(fā)器Tx/Rx，該收發(fā)器Tx/Rx通常通過(guò)天線(ANT)與無(wú)線網(wǎng)絡(luò)(通常與收發(fā)器基站(BTS))通信。用戶界面(UI)設(shè)備通常包括顯示器、鍵盤(pán)、傳聲器和用于耳機(jī)的連接裝置。數(shù)據(jù)處理裝置還可以包括連接裝置MMC,諸如標(biāo)準(zhǔn)形式插槽，用于各個(gè)硬件模塊或集成電路1C，其可以提供將在數(shù)據(jù)處理裝置中運(yùn)行的各個(gè)應(yīng)用?！ひ虼?，可以在中央處理單元CPU或數(shù)據(jù)處理裝置的專(zhuān)用數(shù)字信號(hào)處理器DSP (參數(shù)編碼處理器)、以及存儲(chǔ)計(jì)算機(jī)程序代碼的至少ー個(gè)存儲(chǔ)器MEM中執(zhí)行根據(jù)實(shí)施例的聲場(chǎng)修改方法，其中所述至少一個(gè)存儲(chǔ)器和存儲(chǔ)的計(jì)算機(jī)程序代碼被配置為，通過(guò)至少ー個(gè)處理器，使得所述設(shè)備至少修改兩個(gè)或更多個(gè)音頻信號(hào)的空間圖像，使得對(duì)于ー個(gè)或多個(gè)附加音頻信號(hào)釋放空間空位，所述空間空位在所述兩個(gè)或更多個(gè)音頻信號(hào)之間沒(méi)有空間干渉，然后將所述ー個(gè)或多個(gè)附加音頻信號(hào)插入到兩個(gè)或更多個(gè)音頻信號(hào)的空間圖像的釋放空間空位中。從而，可以在諸如移動(dòng)站的設(shè)備中將實(shí)施例的功能實(shí)施為計(jì)算機(jī)程序，所述計(jì)算機(jī)程序當(dāng)在中央處理單元CPU或?qū)Ｓ脭?shù)字信號(hào)處理器DSP中被執(zhí)行吋，使得終端裝置進(jìn)行本發(fā)明的過(guò)程。計(jì)算機(jī)程序SW的功能可以被分布到彼此連接的幾個(gè)分離的程序構(gòu)件中。計(jì)算機(jī)軟件可以被存儲(chǔ)到任何存儲(chǔ)器裝置中，諸如PC的硬盤(pán)或CD-ROM盤(pán)，從該存儲(chǔ)器裝置可以將計(jì)算機(jī)軟件裝載到移動(dòng)終端的存儲(chǔ)器中。還可以通過(guò)網(wǎng)絡(luò)，例如利用TCP/IP協(xié)議棧裝載計(jì)算機(jī)軟件。還可以使用硬件方案或硬件和軟件方案的組合來(lái)實(shí)現(xiàn)本發(fā)明裝置。相應(yīng)地，上述計(jì)算機(jī)程序產(chǎn)品可以在硬件模塊中至少部分被實(shí)現(xiàn)為硬件方案，例如ASIC或FPGA電路，所述硬件模塊包括用于將該模塊連接到電子裝置的連接裝置，或者被至少部分地實(shí)現(xiàn)為ー個(gè)或多個(gè)集成電路1C，該硬件模塊或IC還包括用于進(jìn)行所述程序代碼任務(wù)的各個(gè)裝置，所述裝置被實(shí)現(xiàn)為硬件和/或軟件。顯然，本發(fā)明不僅僅限于上述實(shí)施例，而是可以在所附權(quán)利要求的范圍內(nèi)修改。
權(quán)利要求
1.一種方法，包括 修改包括兩個(gè)或更多個(gè)音頻信道的輸入音頻信號(hào)所產(chǎn)生的聲場(chǎng)，使得對(duì)于一個(gè)或多個(gè)附加聲源釋放空間空位；以及 在不引入與輸入音頻信號(hào)的修改聲場(chǎng)空間干涉的情況下，將所述一個(gè)或多個(gè)附加聲源插入到所述輸入音頻信號(hào)的修改聲場(chǎng)的釋放的空間空位中。
2.根據(jù)權(quán)利要求I所述的方法，其中所述輸入音頻信號(hào)包括兩信道立體信號(hào)，所述方法還包括 通過(guò)對(duì)輸入音頻信號(hào)施加幅度平移處理而窄化兩信道立體信號(hào)所產(chǎn)生的聲場(chǎng)；以及 在所窄化的聲場(chǎng)的至少任一側(cè)插入一個(gè)附加聲源。
3.根據(jù)權(quán)利要求2的方法，其中根據(jù)以下公式對(duì)所述兩信道立體信號(hào)的輸入信號(hào)分量施加幅度平移處理
4.根據(jù)權(quán)利要求3所述的方法，其中如果一個(gè)或多個(gè)附加聲源基于語(yǔ)音信號(hào)，則α的值被調(diào)節(jié)為約O. 3或更高。
5.根據(jù)權(quán)利要求I所述的方法，其中輸入音頻信號(hào)包括兩信道立體信號(hào)，所述方法還包括 基于立體信號(hào)共有的音頻分量確定中心信道音頻分量； 通過(guò)除去中心信道音頻分量而窄化所述兩信道立體信號(hào)所產(chǎn)生的聲場(chǎng)；以及 在聲場(chǎng)的極值之間的非干涉空間中插入附加聲源。
6.根據(jù)權(quán)利要求5所述的方法，其中分別根據(jù)因子l-α和α相互成比例地進(jìn)行所述除去中心信道音頻分量和所述插入附加聲源。
7.根據(jù)權(quán)利要求3或6所述的方法，其中α的值被隨時(shí)間變化地調(diào)節(jié)。
8.根據(jù)權(quán)利要求7所述的方法,其中一旦確定應(yīng)該在兩信道立體信號(hào)產(chǎn)生的聲場(chǎng)中包括附加聲源，該方法還包括 在第一預(yù)定時(shí)段，例如一秒，中將α的值逐漸增加到預(yù)定值，諸如其最大值。
9.根據(jù)權(quán)利要求8所述的方法，還包括 將附加聲源的饋給延遲所述第一預(yù)定時(shí)段。
10.根據(jù)權(quán)利要求8或9所述的方法，其中一旦確定在第二預(yù)定時(shí)段中未檢測(cè)到產(chǎn)生所述附加聲源的活躍附加信號(hào)，該方法還包括 將α的值逐漸減小到零。
11.根據(jù)權(quán)利要求I的方法，其中輸入音頻信號(hào)包括雙耳線索編碼下混信號(hào)，所述方法還包括 通過(guò)選擇信道間時(shí)間差參數(shù)在將抑制的預(yù)定范圍內(nèi)的子帶，抑制從至少一個(gè)虛擬音源到達(dá)的音頻信號(hào)；以及 在所述雙耳線索編碼下混信號(hào)中插入所述一個(gè)或多個(gè)附加聲源代替所述抑制的音頻信號(hào)。
12.根據(jù)權(quán)利要求I所述的方法，其中所述輸入音頻信號(hào)包括定向音頻編碼信號(hào)，所述方法還包括 通過(guò)選擇方位角和/或高度參數(shù)在將抑制的預(yù)定范圍內(nèi)的子帶，抑制從至少一個(gè)虛擬音源到達(dá)的音頻信號(hào)；以及 在所述定向音頻編碼信號(hào)中插入所述一個(gè)或多個(gè)附加聲源代替所述抑制的音頻信號(hào)。
13.根據(jù)權(quán)利要求I所述的方法，其中輸入音頻信號(hào)包括定向音頻編碼(DirAC)信號(hào)或雙耳線索編碼(BCC)下混信號(hào)，所述方法還包括 對(duì)所述輸入音頻信號(hào)施加重新平移處理，以將一個(gè)或多個(gè)預(yù)定DirAC或BCC信號(hào)的能量重新分配到新的空間位置；以及 在由所述一個(gè)或多個(gè)預(yù)定DirAC或BCC信號(hào)釋放的空間位置中插入所述一個(gè)或多個(gè)附加聲源。
14.一種設(shè)備，其包括至少一個(gè)處理器和至少一個(gè)存儲(chǔ)計(jì)算機(jī)程序代碼的存儲(chǔ)器，其中所述至少一個(gè)存儲(chǔ)器和存儲(chǔ)的計(jì)算機(jī)程序代碼被配置為，通過(guò)所述至少一個(gè)處理器，使得所述設(shè)備至少 修改包括兩個(gè)或更多個(gè)音頻信道的輸入音頻信號(hào)所產(chǎn)生的聲場(chǎng)，使得對(duì)于一個(gè)或多個(gè)附加聲源釋放空間空位；以及 在不引入與輸入音頻信號(hào)的修改聲場(chǎng)空間干涉的情況下，將所述一個(gè)或多個(gè)附加聲源插入到所述輸入音頻信號(hào)的修改聲場(chǎng)的釋放的空間空位中。
15.根據(jù)權(quán)利要求14所述的設(shè)備，其中所述輸入音頻信號(hào)包括兩信道立體信號(hào)，其中所述至少一個(gè)存儲(chǔ)器和存儲(chǔ)的計(jì)算機(jī)程序代碼還被配置為，通過(guò)所述至少一個(gè)處理器，使得所述設(shè)備至少 通過(guò)對(duì)輸入音頻信號(hào)施加幅度平移處理而窄化所述兩信道立體信號(hào)所產(chǎn)生的聲場(chǎng)；以及 在所窄化的聲場(chǎng)的至少任一側(cè)插入一個(gè)附加聲源。
16.根據(jù)權(quán)利要求15所述的設(shè)備，其中所述幅度平移處理被配置為根據(jù)以下公式被施加到所述兩信道立體信號(hào)的輸入信號(hào)分量
17.根據(jù)權(quán)利要求16所述的設(shè)備，其中如果一個(gè)或多個(gè)附加聲源基于語(yǔ)音信號(hào)，則α的值被設(shè)置為被調(diào)節(jié)為約O. 3或更高。
18.根據(jù)權(quán)利要求14所述的設(shè)備，其中所述輸入音頻信號(hào)包括兩信道立體信號(hào)，其中所述至少一個(gè)存儲(chǔ)器和存儲(chǔ)的計(jì)算機(jī)程序代碼還被配置為，通過(guò)所述至少一個(gè)處理器，使得所述設(shè)備至少 基于立體信號(hào)共有的音頻分量確定中心信道音頻分量； 通過(guò)除去中心信道音頻分量而窄化兩信道立體信號(hào)產(chǎn)生的聲場(chǎng)；以及 在聲場(chǎng)的極值之間的非干涉空間中插入附加聲源。
19.根據(jù)權(quán)利要求18所述的設(shè)備，其中所述除去中心信道音頻分量和所述插入附加聲源被配置為分別根據(jù)因子I-α和α相互成比例地進(jìn)行。
20.根據(jù)權(quán)利要求16或19所述的設(shè)備，其中α的值被配置為隨時(shí)間變化地被調(diào)節(jié)。
21.根據(jù)權(quán)利要求20所述的設(shè)備,其中一旦確定應(yīng)該在兩信道立體信號(hào)產(chǎn)生的聲場(chǎng)中包括附加聲源，所述至少一個(gè)存儲(chǔ)器和存儲(chǔ)的計(jì)算機(jī)程序代碼進(jìn)一步配置為，經(jīng)由至少一個(gè)處理器，使得所述設(shè)備至少 在第一預(yù)定時(shí)段，例如一秒，中將α的值逐漸增加到預(yù)定值，諸如其最大值。
22.根據(jù)權(quán)利要求21所述的設(shè)備，還包括 將附加聲源的饋給延遲所述第一預(yù)定時(shí)段。
23.根據(jù)權(quán)利要求21或22所述的設(shè)備，其中一旦確定在第二預(yù)定時(shí)段中未檢測(cè)到產(chǎn)生所述附加聲源的活躍附加信號(hào)，所述至少一個(gè)存儲(chǔ)器和存儲(chǔ)的計(jì)算機(jī)程序代碼被進(jìn)一步配置為，經(jīng)由至少一個(gè)處理器，使得所述設(shè)備至少 將α的值逐漸減小到零。
24.根據(jù)權(quán)利要求14所述的設(shè)備，其中所述輸入音頻信號(hào)包括雙耳線索編碼下混信號(hào)，所述至少一個(gè)存儲(chǔ)器和存儲(chǔ)的計(jì)算機(jī)程序代碼進(jìn)一步配置為，經(jīng)由至少一個(gè)處理器，使得所述設(shè)備至少 通過(guò)選擇信道間時(shí)間差參數(shù)在將抑制的預(yù)定范圍內(nèi)的子帶，抑制從至少一個(gè)虛擬音源到達(dá)的音頻信號(hào)；以及 在所述雙耳線索編碼下混信號(hào)中插入所述一個(gè)或多個(gè)附加聲源代替所述抑制的音頻信號(hào)。
25.根據(jù)權(quán)利要求14所述的設(shè)備，其中所述輸入音頻信號(hào)包括定向音頻編碼信號(hào)，所述至少一個(gè)存儲(chǔ)器和存儲(chǔ)的計(jì)算機(jī)程序代碼進(jìn)一步配置為，經(jīng)由至少一個(gè)處理器，使得所述設(shè)備至少 通過(guò)選擇方位角和/或高度參數(shù)在將抑制的預(yù)定范圍內(nèi)的子帶，抑制從至少一個(gè)虛擬音源到達(dá)的音頻信號(hào)；以及 在所述定向音頻編碼信號(hào)中插入所述一個(gè)或多個(gè)附加聲源代替所述抑制的音頻信號(hào)。
26.根據(jù)權(quán)利要求14所述的設(shè)備，其中所述輸入音頻信號(hào)包括定向音頻編碼(DirAC)信號(hào)或雙耳線索編碼(BCC)下混信號(hào)，所述至少一個(gè)存儲(chǔ)器和存儲(chǔ)的計(jì)算機(jī)程序代碼進(jìn)一步配置為，經(jīng)由至少一個(gè)處理器，使得所述設(shè)備至少 對(duì)所述輸入音頻信號(hào)施加重新平移處理，以將一個(gè)或多個(gè)預(yù)定DirAC或BCC信號(hào)的能量重新分配到新的空間位置；以及 在由所述一個(gè)或多個(gè)預(yù)定DirAC或BCC信號(hào)釋放的空間位置中插入所述一個(gè)或多個(gè)附加聲源。
27.一種用于處理音頻信號(hào)的計(jì)算機(jī)程序產(chǎn)品，其被存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中并可在數(shù)據(jù)處理裝置中被執(zhí)行，該計(jì)算機(jī)程序產(chǎn)品包括 用于修改包括兩個(gè)或更多個(gè)音頻信道的輸入音頻信號(hào)所產(chǎn)生的聲場(chǎng)，使得對(duì)于一個(gè)或多個(gè)附加聲源釋放空間空位的計(jì)算機(jī)程序代碼部分；以及 用于在不引入與輸入音頻信號(hào)的修改聲場(chǎng)空間干涉的情況下，將所述一個(gè)或多個(gè)附加聲源插入到所述輸入音頻信號(hào)的修改聲場(chǎng)的釋放的空間空位中的計(jì)算機(jī)程序代碼部分。
全文摘要
一種方法，包括修改包括兩個(gè)或更多個(gè)音頻信道的輸入音頻信號(hào)所產(chǎn)生的聲場(chǎng)，使得對(duì)于一個(gè)或多個(gè)附加聲源釋放空間空位；以及在不引入與輸入的音頻信號(hào)的修改聲場(chǎng)空間干涉的情況下，將所述一個(gè)或多個(gè)附加聲源插入到所述輸入音頻信號(hào)的修改聲場(chǎng)的釋放空間空位中。
文檔編號(hào)H04S7/00GK102860048SQ201080064811
公開(kāi)日2013年1月2日 申請(qǐng)日期2010年2月26日 優(yōu)先權(quán)日2010年2月26日
發(fā)明者O·柯克比, J·維羅萊寧 申請(qǐng)人:諾基亞公司