專利名稱：用于處理音頻信號的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及音頻信號的處理。
背景技術(shù)：
音頻處理系統(tǒng)可以包含布置成捕獲若干音頻信號的若干麥克風(fēng)。為了以高比特率經(jīng)由傳輸路徑進(jìn)行傳輸，可以對音頻信號加以處理。但是，可能需要減少發(fā)送音頻信號所需的帶寬。音頻處理系統(tǒng)可以用作例如遠(yuǎn)程會議系統(tǒng)的一部分。
眾所周知，參數(shù)編碼技術(shù)例如雙耳線索編碼(binaural cue coding, BCC)可以用于降低多聲道音頻傳輸中的比特率。

發(fā)明內(nèi)容
本發(fā)明的目的是提供用于處理音頻信號的裝置。本發(fā)明的進(jìn)一步目的是提供用于處理音頻信號的方法。按照本發(fā)明的第一方面，提供了按照權(quán)利要求I所述的裝置。按照本發(fā)明的第二方面，提供了按照權(quán)利要求14所述的方法。按照本發(fā)明的第三方面，提供了按照權(quán)利要求19所述的計(jì)算機(jī)程序。按照本發(fā)明的第四方面，提供了按照權(quán)利要求20所述的計(jì)算機(jī)可讀介質(zhì)。按照本發(fā)明的裝置(300)可以包含-用以接收兩個(gè)或更多個(gè)不同音頻信號(S1,S2)的一個(gè)或多個(gè)輸入端(IN1, IN2)；-用以接收方向信號(Svdii)的輸入端(INvdii);以及-布置成從所述兩個(gè)或更多個(gè)不同音頻信號(S1,S2)中生成經(jīng)過處理的音頻信號(Saudioi)的信號處理單元(100)，所述經(jīng)過處理的音頻信號(S_IQ1)包含與源自由所述方向信號(Svdii)所指的位置(x2，J2)的聲音(SND2)相對應(yīng)的增強(qiáng)音頻信號(Seici)。由于根據(jù)由方向指示器提供的方向信號增強(qiáng)了音頻信號，所以可以降低音頻傳輸所需的總比特率。所希望的到達(dá)方向的信息可以用于提高空間音頻編碼和表示的質(zhì)量。傳統(tǒng)空間音頻編碼方案平等地對待整個(gè)音頻場景，其目的是在給定比特率下以最佳可能的感知質(zhì)量來表示整個(gè)聲像。但是，例如對于會話服務(wù)，可能只需要表示感興趣的關(guān)鍵性內(nèi)容，而把其余音頻場景當(dāng)作環(huán)境聲音，以便以感興趣的方向優(yōu)化音頻質(zhì)量。聽像內(nèi)的感興趣方向可以通過使用方向檢測單元來確定。例如，所述方向檢測單元可以是注視方向檢測設(shè)備。聽像可以通過集中在所確定的感興趣方向上、例如通過使用定向麥克風(fēng)陣列來捕
-M-犾。聽像在所確定的感興趣方向上的音頻信號成分可以使用較高比特率來編碼，而其余音頻成分可以以較低比特率來編碼。換句話說，源自所選到達(dá)方向的音頻信號可以比聲像的其余部分更精確地被編碼。在一個(gè)實(shí)施例中，方向信號可以由注視方向跟蹤設(shè)備提供。因此，可以增強(qiáng)感興趣方向上的音頻信號。舉一個(gè)例子來說，遠(yuǎn)程會話的參與者可以簡單地通過看著最相關(guān)揚(yáng)聲器或通過看著所述揚(yáng)聲器的顯示圖像來增強(qiáng)所述揚(yáng)聲器的聲音。在一個(gè)實(shí)施例中，由方向指示器提供的方向信號可以用于指引定向麥克風(fēng)陣列的最大靈敏度的方向。按照本發(fā)明的系統(tǒng)和方法可以提供周圍音頻場景中集中朝向感興趣方向的空間音頻內(nèi)容的高效和靈活的編碼?？臻g音頻參數(shù)化可以從由注視方向檢測設(shè)備或用于指出感興趣方向的其它部件所指的感興趣方向中提取。在一個(gè)實(shí)施例中，可以利用較粗糙參數(shù)化和編碼來處理音頻場景的其余部分。在一個(gè)實(shí)施例中，可以利用最少數(shù)量參數(shù)和利用低比特率將音頻場景的其余部分當(dāng)作環(huán)境噪聲來處理。本領(lǐng)域的技術(shù)人員可以通過下文給出的描述和例子，以及也通過所附權(quán)利要求書更清楚地了解本發(fā)明的實(shí)施例以及它們的益處。


·在如下例子中，將參考附圖更詳細(xì)地描述本發(fā)明的實(shí)施例，在附圖中圖Ia示出了方向選擇單元位于系統(tǒng)的發(fā)送側(cè)的音頻處理系統(tǒng)；圖Ib示出了方向選擇單元位于系統(tǒng)的接收側(cè)的音頻處理系統(tǒng)；圖2示出了眼睛的注視方向；圖3示出了注視方向檢測設(shè)備；圖4示出了如由注視方向檢測設(shè)備的圖像傳感器所捕獲的眼睛的圖像；圖5a示出了看著真實(shí)物體的眼睛，其中眼睛的注視方向由注視方向檢測設(shè)備監(jiān)視；圖5b示出了看著物體的圖像的眼睛，其中眼睛的注視方向由注視方向檢測設(shè)備監(jiān)視；圖5c示出了看著物體的虛像的眼睛，其中眼睛的注視方向由注視方向檢測設(shè)備監(jiān)視；圖6不出了一種音頻處理系統(tǒng)；圖7a示出了包含定向麥克風(fēng)陣列的音頻處理系統(tǒng)；圖7b不出了包含定向麥克風(fēng)陣列的音頻處理系統(tǒng)；圖7c示出了包含定向麥克風(fēng)陣列和濾波單元的音頻處理系統(tǒng)；圖8a示出了參數(shù)音頻編碼器；圖Sb示出了布置成根據(jù)由附加麥克風(fēng)捕獲的音頻信號提供空間音頻參數(shù)的參數(shù)音頻編碼器；圖8c不出了布置用于為參數(shù)音頻編碼提供縮混(downmixed)信號的定向麥克風(fēng)陣列；圖8d示出了根據(jù)方向信號調(diào)整空間音頻參數(shù)；以及圖9示出了根據(jù)聽眾的位置和取向創(chuàng)建到所述聽眾的虛擬聲場。所有圖形都是示意性的。
具體實(shí)施方式
參照圖la，音頻處理系統(tǒng)300可以包含兩個(gè)或更多個(gè)麥克風(fēng)Ml，M2，M3、方向選擇單元VD1、信號處理單元100、和一個(gè)或多個(gè)電聲換能器SPK1，SPK2。聲音可以源自處在不同空間位置(X^y1), (x2,y2)和(x3，y3)上的聲源Al,A2,A3。聲源Al，A2，A3可以是聽覺場景中的任何聲源，例如參加會議的參與者。從聲源Al，A2，A3發(fā)出的聲音SND1, SND2, SND3可以被麥克風(fēng)M1, M2, M3捕獲，以便分別提供音頻信號S1, S2，S3。例如由于聲源與麥克風(fēng)之間的不同距離，由于聲源的定向發(fā)射模式，和/或由于麥克風(fēng)的定向靈敏度，麥克風(fēng)M1, M2, M3對于從源Al，A2，A3發(fā)出的聲音可以具有不同靈敏度。例如，第一麥克風(fēng)Ml可能主要對從第一聲源Al發(fā)出的聲音靈敏,并且第一麥克風(fēng) Ml可能對從第二聲源A2和第三聲源A3發(fā)出的聲音較不靈敏。第二麥克風(fēng)M2可能對從第二聲源A2發(fā)出的聲音靈敏，以及第三麥克風(fēng)可能對從第三聲源A3發(fā)出的聲音靈敏等。音頻信號S1, S2, S3可以被轉(zhuǎn)換成數(shù)字形式并且加以處理以供發(fā)送和/或存儲在例如存儲設(shè)備中。如果需要的話，可以經(jīng)由傳輸路徑400發(fā)送與所述音頻信號S1, S2, S3相對應(yīng)的經(jīng)過處理的音頻信號S_M1。為了降低傳輸所需的總比特率，可以將信號處理單元100布置用于為源自由方向選擇單元VDIl所指的所選空間位置的音頻信號分配較高比特率，以及可以將信號處理單元100布置用于為源自其它位置的音頻信號指定較低比特率。具體地，可以將信號處理單元100布置成增強(qiáng)源自由方向選擇單元VDIl所指的空間位置的音頻信號。換句話說，可以將信號處理單元100布置成抑制源自其它位置的音頻信號。方向選擇單兀VDII提供信號Svdii,信號Svdii可以包含有關(guān)所選空間位置相對于基準(zhǔn)方向的方向的信息。該方向可以例如通過方向SY與從方向選擇單元VDIl畫到所選位置的直線SELD之間的水平角度α來表達(dá)。信號Svdii還可以包含有關(guān)方向SY與直線SELD之間的垂直角度的信息。方向選擇單元VDIl可以由用戶Α5操作。方向選擇單元VDIl可以是例如注視方向檢測設(shè)備、衛(wèi)星導(dǎo)航設(shè)備、電子羅盤、陀螺羅盤或集成加速度計(jì)。電子羅盤可以包含例如基于霍爾效應(yīng)的磁場傳感器?？梢詫⒎较蜻x擇單元VDIl布置成檢測用戶Α5的注視方向，或用戶可以手動地使羅盤或加速度計(jì)指向所選位置。可以沿著所希望的方向移動衛(wèi)星導(dǎo)航設(shè)備例如GPS設(shè)備(全球定位系統(tǒng))，以便提供方向信號Svdii。信號處理單元100可以包含濾波單元20。濾波單元20可以包含一組濾波器Fl，F(xiàn)3，F(xiàn)3。第一麥克風(fēng)Ml捕獲的音頻信號S1可以由第一濾波器Fl濾波，第二麥克風(fēng)M2捕獲的音頻信號S2可以由第二濾波器F2濾波，以及第三麥克風(fēng)M3捕獲的音頻信號S3可以由第三濾波器F3濾波?？梢詫V波單元20的濾波器Fl，F(xiàn)2，F(xiàn)3布置成改變音頻信號的至少一個(gè)(例如，S2)相對于其它音頻信號(例如，S1; S3)的電平，以便可以增強(qiáng)源自由方向選擇單元VDIl所指的空間位置的音頻信號。濾波器可以按照由方向選擇單元VDIl提供的方向信號SVDIl改變音頻信號S1, S2, S3的至少一個(gè)的電平。每個(gè)濾波器F1，F(xiàn)2，F(xiàn)3可以包含一個(gè)或多個(gè)濾波系數(shù)k1;k2，k3。符號Ii1可以表示單個(gè)標(biāo)量乘數(shù)。系數(shù)k1;k2，k3可以是標(biāo)量乘數(shù)。例如，可以將音頻信號S1乘以第一濾波系數(shù)h，可以將音頻信號S2乘以第二濾波系數(shù)k2，以及可以將音頻信號S3乘以第三濾波系數(shù)k3，以便增強(qiáng)所選音頻信號。每個(gè)符號k1;k2，k3也可以表示濾波系數(shù)的集合。具體地，符號Ic1可以表示代表數(shù)字濾波器Fl的系數(shù)的陣列。例如，當(dāng)選擇了與第二聲源A2的位置(x2，y2)相對應(yīng)的方向時(shí)，則可以將信號處理單元100布置成將第二濾波系數(shù)k2的值設(shè)置得大于第一濾波系數(shù)匕和第三濾波系數(shù)匕的值。因此，可以有選擇地提高第二麥克風(fēng)M2的音頻信號S2的電平，以便提供增強(qiáng)音頻信號S·。
音頻信號的電平可以在它們處在模擬形式或數(shù)字形式下時(shí)加以調(diào)整。信號處理單元100可以包含編碼器30。編碼器30可以是參數(shù)編碼器(參見圖8a)。具體地，可以將編碼器布置成提供雙耳線索編碼信號(BCC)。可以將編碼器30布置成將時(shí)域信號轉(zhuǎn)換到頻域中。音頻信號的電平也可以在頻域中加以改變，而不是在時(shí)域中調(diào)整電平。例如，可以在頻域中將經(jīng)傅立葉變換的信號乘以系數(shù)1^，1^，1^，...，而不是在時(shí)域中乘以音頻信號SpSyS3t5可以將信號處理單元100布置成提供經(jīng)過處理的音頻信號Saudim,經(jīng)過處理的音頻信號S_M1包含與源自由方向信號所指的位置的聲音相對應(yīng)的增強(qiáng)音頻信號S·。例如，增強(qiáng)音頻信號Sen?？梢詫?yīng)于源自位置(x2, J2)的聲音SND2。經(jīng)過處理的音頻信號Saudiqi可以是例如單聲道(monophonic)音頻信號。單聲道音頻信號Sc2可以經(jīng)由單個(gè)換能器SPKl再生。但是，在那種情況下，在系統(tǒng)300的接收端上不再生聽像。當(dāng)接收器只解碼和再現(xiàn)縮混信號時(shí)，聽眾可以只專注于方向選擇單元VDIl已選擇的聲源。為了再生空間效果，系統(tǒng)300可以包含布置成根據(jù)編碼音頻信號Saudim提供兩個(gè)或更多個(gè)音頻信號的解碼器200。分離的音頻信號可以經(jīng)由兩個(gè)或更多個(gè)電聲換能器SPKl, SPK2再生，從而在系統(tǒng)300的接收端的聽眾A4可以聽到再生的聲像。換能器SPK1，SPK2可以是例如揚(yáng)聲器或耳機(jī)。編碼首頻/[目號Saudiot可以是雙耳線索編碼(BCC)的，并且可以將解碼器200布置成將編碼音頻信號S_M1轉(zhuǎn)換成兩個(gè)不同聲道，以便經(jīng)由SPK1，SPK2再生立體聲。經(jīng)過處理的音頻信號Saudim可以是雙耳線索編碼(BCC)的，并且可以將解碼器200布置成將音頻信號S_M1轉(zhuǎn)換成三個(gè)或更多個(gè)聲道，以便經(jīng)由揚(yáng)聲器再生。例如，可以將解碼器200布置成將音頻信號Smiira轉(zhuǎn)換成5. I環(huán)繞聲或7. I環(huán)繞聲。5. I環(huán)繞聲系統(tǒng)具有相對于聽眾處在不同方向上的五個(gè)揚(yáng)聲器、和一個(gè)低頻音效聲道(LFE)。7. I環(huán)繞聲系統(tǒng)具有相對于聽眾處在不同方向上的七個(gè)揚(yáng)聲器、和一個(gè)低頻音效聲道(LFE)。一般說來，可以將解碼器200布置成根據(jù)經(jīng)過處理的音頻信號S_IQ1提供1，2，3，4，5，6，7，8，9，10個(gè)或更多不同音頻聲道。如果需要的話，也可以經(jīng)由傳輸路徑400發(fā)送方向選擇單元VDIl所提供的信號Svdiio可以將方向信號Svdi耦合到解碼器200。因此，如果需要的話，可以按照由方向信號Svdi所指的方向再現(xiàn)再生的音頻信號?？梢詫Ⅺ溈孙L(fēng)Ml，M2，M3所捕獲的音頻信號S1, S2, S3耦合到信號處理單元100的各自輸入端IN1, IN2, IN3。信號處理單元100可以包含接口 IF1，用于提供經(jīng)過處理的音頻信號Saudiqi以供發(fā)送器(未示出)進(jìn)行發(fā)送和/或從接收器(未示出)接收方向信號SVDI1。但是，信號處理單元100可以包含發(fā)送器，和/或解碼器200可以包含接收器。信號處理設(shè)備100可以包含用于例如存儲用于操作所述信號處理設(shè)備100的計(jì)算機(jī)程序代碼的存儲器MEMl。如果與聲源Al，A2，A3和麥克風(fēng)Ml，M2，M3之間的最小距離LI相比，方向指示器VDIl與麥克風(fēng)Ml，M2，M3之間的距離Wvm較大，則可以將數(shù)據(jù)處理單元100布置成考慮到方向指示器VDII相對于麥克風(fēng)Ml，M2，M3的位置和/或聲源Al，A2，A3與麥克風(fēng)之間的距離。方向指示器VDIl與麥克風(fēng)Ml，M2，M3之間的距離WVM優(yōu)選地比聲源Al，A2，A3與麥克風(fēng)Ml, M2, M3之間的最小距離LI的25%更小。如果需要的話，也可以在經(jīng)由單個(gè)輸入端IN1耦合到信號處理設(shè)備100之前多路復(fù)用音頻信號S1, S2, S3O信號處理設(shè)備100可以包含布置成將音頻信號S1, S2, S3分別分配給不同濾波器Fl，F(xiàn)2，F(xiàn)3的解多路復(fù)用器?！X，SY和SZ表示正交方向。方向SY可以解釋為例如基準(zhǔn)方向。方向SX可以解釋為例如水平方向，以及方向SZ可以解釋為例如垂直方向。參照圖lb，方向信號SVDIl也可以經(jīng)由傳輸路徑400發(fā)送。具體地，方向選擇單元VDIl可以由聽眾A4在系統(tǒng)300的接收端上操作。方向指示器VDIl可以位于系統(tǒng)300的接收端上，以及方向信號SVDIl可以經(jīng)由傳輸路徑400發(fā)送到發(fā)送端，以便控制信號處理單元100。信號300可以進(jìn)一步包含用于捕獲與聲源Al，A2，A3相對應(yīng)的視覺圖像的相機(jī)CAMl0可以將相機(jī)CAMl布置成經(jīng)由傳輸路徑400將圖像信號Siki發(fā)送到接收側(cè)?？梢詫⑴c聲源相對應(yīng)的各自圖像顯示在例如屏幕上(參見圖6)。信號S_IQ1，Simgi，Svdii也可以經(jīng)由不同傳輸路徑400發(fā)送。例如，視覺圖像信號Siki和經(jīng)過處理的音頻信號S_M1可以經(jīng)由電視廣播網(wǎng)絡(luò)發(fā)送，而方向信號Svdii可以經(jīng)由移動電話網(wǎng)絡(luò)從遠(yuǎn)程聽眾A4發(fā)送到TV演播室。參照圖2，方向信號SVDIl可以例如通過使用注視方向檢測設(shè)備來提供。圖2示出了任意眼睛El的注視方向GZD。通過監(jiān)視注視方向GZD，可以確定眼睛El看著物體Al、A2還是A3。具體地，該物體可以是聲源。注視方向GZD可以例如通過注視方向GZD與基準(zhǔn)方向REFl之間的水平角度α，以及通過注視方向GZD與基準(zhǔn)方向REFl之間的垂直角度β來定義?；鶞?zhǔn)方向REFl可以例如與方向SY對齊。圖3示出了注視方向檢測設(shè)備700。注視方向檢測設(shè)備700可以包含一個(gè)或多個(gè)光源710，720和成像單元730?？梢詫⒐庠?10，720布置成發(fā)出光束LB1，LB2。注視方向檢測設(shè)備700可以進(jìn)一步包含圖像分析單元750，以便根據(jù)成像單元730捕獲的圖像頂Gei確定注視方向GZD。注視方向檢測設(shè)備700可以進(jìn)一步包含阻尼單元770，以便降低方向信號Svdii的起伏。光源710，720、圖像分析單元750和/或阻尼單元770也可以是外部組件。例如，也可以將太陽或其它外部基本上點(diǎn)狀的光源用作光源710。具體地，光源710，720提供的光束LBl，LB2可以基本上準(zhǔn)直在眼睛El的位置，以便有助于精確確定注視方向GZD。
圖4示出了注視方向檢測設(shè)備700的成像單元730捕獲的眼睛El的圖像MGE1。從光源710，720發(fā)出的光從眼睛El的表面反射。因此，圖像MGei可以包含稱為Purkinje圖像的一個(gè)或多個(gè)反射點(diǎn)Gl，G2?？梢愿鶕?jù)瞳孔P相對于Purkinje圖像Gl，G2的位置確定水平注視角α和/或垂直注視角β。兩個(gè)或更多個(gè)Purkinje圖像Gl，G2的使用提高了精度，并且可以基本上與眼睛El和跟蹤設(shè)備700之間的距離無關(guān)地作出注視角α和β的確定。但是，在本發(fā)明的一些實(shí)施例中，可以容忍較低精確度，并且只使用一個(gè)Purkinje圖像Gl或G2來估計(jì)注視角α和β就足夠了。一些移動電話包含相機(jī)單元。如果將信號處理設(shè)備布置成根據(jù)所述相機(jī)單元所捕獲的圖像IMGei確定注視方向，則即使移動電話的相機(jī)單元也可以用作注視方向檢測設(shè)備700的成像單元。所述移動電話或外部便攜式計(jì)算機(jī)的信號處理能力可以用于分析注視方向。
參照圖5a，可以將注視方向檢測設(shè)備700布置成檢測眼睛El看著光源Al、A2還是A3的位置。方向選擇單兀VDIl可以位于音頻傳輸系統(tǒng)300的發(fā)送端上。方向選擇單兀VDIl可以是布置成監(jiān)視用戶A5(圖I)的注視方向的注視方向檢測設(shè)備700。方向選擇單元VDIl或信號處理單元100可以包含阻尼單元770，以便消除方向信號3￥1)11的快速起伏，因?yàn)槁牨夾4感受的音像中的快速起伏可能相當(dāng)令人不悅。例如，可以將方向選擇單元VDIl布置成使得至少在改變方向信號Svdii的值之前的預(yù)定時(shí)段內(nèi)眼睛El必須看著新的位置。該預(yù)定時(shí)段可以是例如10秒?？梢詫⑿盘柼幚韱卧?00布置成使得至少在變更濾波單元20的濾波系數(shù)k1;k2，k3的值之前的預(yù)定時(shí)段內(nèi)眼睛El必須看著新的位置?？商娲氖?，系統(tǒng)300可以包含由若干用戶操作的若干方向選擇單元VDI1，并且可以通過表決確定方向信號SVDI1。換句話說，可以將可能方向的總范圍劃分成一組相鄰扇區(qū)，并可以對指示每個(gè)范圍內(nèi)的方向的方向選擇單元的數(shù)量進(jìn)行計(jì)數(shù)?？梢詫⑴c計(jì)數(shù)最高的扇區(qū)相對應(yīng)的方向用于指示所選位置。例如，可以監(jiān)視例如十個(gè)參與者的注視方向，并且如果例如其中六個(gè)看著某個(gè)位置，則可以將信號處理單元100布置成增強(qiáng)源自所述位置的音頻信號。為了監(jiān)視注視方向，如果可以提高足夠高的圖像分辨率，可以由單個(gè)相機(jī)同時(shí)捕獲若干參與者的眼睛的圖像。參照圖5b，也可以將與聲源A1，A2，A3相對應(yīng)的視覺圖像MGl，MG2，MG3顯示在屏幕SCRl上，并且可以通過注視方向檢測設(shè)備700確定注視方向。參照圖5c，也可以通過虛擬顯示器800顯示與聲源Al，A2，A3相對應(yīng)的虛擬圖像IMGl, IMG2, MG3。聽眾A4可以將虛擬顯示器放置在他的眼睛El附近，從而當(dāng)虛擬顯示器提供的光入射在他的眼睛上時(shí)，他感知到有大虛擬圖像顯示在無限遠(yuǎn)距離上的印象。例如，人可以戴著包含注視方向檢測設(shè)備700和虛擬顯示器800的目鏡900。該目鏡可以進(jìn)一步包含換能器SPKl，SPK2。專利公布W02007/085682和專利申請PCT/FI2008/050065公開了適合這種用途的注視方向檢測設(shè)備。PCT/FI2008/050065還公開了包含注視方向檢測設(shè)備和虛擬顯示器的目鏡。圖6示出了包含第一側(cè)P1、第二側(cè)P2、和數(shù)據(jù)傳輸路徑400的音頻處理系統(tǒng)300。從聲源Al，A2，A3發(fā)出的聲音可以由兩個(gè)或更多個(gè)麥克風(fēng)Ml，M2，M3捕獲。聲源Al，A2，A3可以是例如會議的參與者。系統(tǒng)300可以是例如遠(yuǎn)程會議系統(tǒng)?？梢詫⑿盘柼幚韱卧?00布置成增強(qiáng)源自由方向選擇單元VDIl所指的空間位置的音頻信號。音頻信號Saudmi可以經(jīng)由傳輸路徑400發(fā)送到第二側(cè)P2，在該第二側(cè)P2它可以經(jīng)由一個(gè)或多個(gè)換能器Kl，K2再生。方向指示器VDII可以位于系統(tǒng)300的第二側(cè)P2。方向指示器VDIl可以是例如布置成根據(jù)聽眾A4的注視方向提供方向信號Svdii的注視方向檢測設(shè)備700。可以將方向信號Svdii從第二側(cè)P2發(fā)送到第一側(cè)Pl，在該第一側(cè)Pl它可以稱合到信號處理單兀100。第一側(cè)Pl的相機(jī)CAMl可以捕獲視頻或靜止圖像，并且可以經(jīng)由傳輸路徑400將相應(yīng)圖像信號Siki發(fā)送到第二側(cè)P2?？梢詫⑴c聲源Al，A2，A3相對應(yīng)的視頻或靜止圖像IMGl, IMG2, IMG3顯示在第二側(cè)P2的屏幕或虛擬顯示器SCRl上。
因此，可以將注視方向檢測設(shè)備布置成確定聽眾A4是否看著圖像MG1，IMG2,MG3，并且可以分別設(shè)置音頻增強(qiáng)的方向角α。系統(tǒng)300可以包含編碼器以便提供例如參數(shù)編碼音頻信號SAUDIQ1。音頻信號Saudiqi可以由第二側(cè)P2的解碼器200解碼并經(jīng)由換能器SPK1，SPK2再生。系統(tǒng)300可以進(jìn)一步包含用于捕獲聽眾A4的圖像的第二相機(jī)CAM4?？梢越?jīng)由傳輸路徑400將相應(yīng)圖像信號Sik4從第二側(cè)P2發(fā)送到第一側(cè)Pl?？梢詫⒙牨夾4的圖像IMG4顯示在第一側(cè)Pl的屏幕SCRl上。第二相機(jī)CAM4也可以用作注視方向檢測設(shè)備的成像單元。此外,可以將音頻信號Saudim從第二側(cè)P2發(fā)送到第一側(cè)Pl。音頻信號Saudim可以由麥克風(fēng)M4捕獲并由換能器SPK4再生。參照圖7a，可以將多個(gè)麥克風(fēng)Ml，M2，M3布置成作為定向麥克風(fēng)陣列ARRl而操作。定向麥克風(fēng)陣列ARRl的最大靈敏度方向可以通過方向選擇單元VDIl來控制，以便增強(qiáng)源自所選位置的音頻信號。具體地，定向麥克風(fēng)陣列ARRl的最大靈敏度方向可以通過注視方向檢測設(shè)備700來控制。定向麥克風(fēng)陣列ARRl的麥克風(fēng)也可以是雙耳麥克風(fēng)。信號處理單元100可以包含延遲組(delay bank) 52和求和單元53?？梢詫⒌谝畸溈孙L(fēng)Ml捕獲的音頻信號S1延遲第一時(shí)段T115可以將第二麥克風(fēng)M2捕獲的音頻信號S2延遲第二時(shí)段τ2?？梢詫⒌谌溈孙L(fēng)M3捕獲的音頻信號S3延遲第三時(shí)段τ3?？梢詫⒀舆tT1, τ2, τ3調(diào)整成使得源自所選位置并且由麥克風(fēng)Ml，M2，M3捕獲的音頻信號當(dāng)它們在求和單元53中組合時(shí)處在同相上。延遲的音頻信號可以例如通過求和或求平均來組合。所選位置由方向信號Svdii指不。定向麥克風(fēng)陣列ARRl可以包含例如兩個(gè)或更多個(gè)麥克風(fēng)Μ1，Μ2，Μ3。聲源Α1，Α2，A3與麥克風(fēng)Ml，M2，M3之間的最小距離LI可以大于麥克風(fēng)Ml，M2，M3之間的最大距離W13。例如，三個(gè)或更多個(gè)麥克風(fēng)的使用可以提供改進(jìn)的方向選擇性。求和單元53的輸出可以是增強(qiáng)音頻信號SEN。。如果單聲道聲音可接受，則求和單元53的輸出可以用作經(jīng)由傳輸路徑發(fā)送到系統(tǒng)300的接收側(cè)的信號SAUDIM。可以不相對聲源Al，A2，A3移動麥克風(fēng)Ml，M2，M3而改變定向麥克風(fēng)陣列ARRl的最大靈敏度方向。最大靈敏度方向MAXD可以例如通過所述方向MAXD與基準(zhǔn)方向SY之間的角度Y來定義。因此，可以將裝置300布置成使得最大靈敏度的角度Y取決于注視角α ο參照圖7b，可以通過使用波束成形濾波器H1, H2, H3來處理由定向陣列ARRl的各個(gè)麥克風(fēng)Ml，M2，M3提供的音頻信號S1, S2, S3。圖7b的陣列ARRl的輸出由如下方程給出
M L-I
5ENC{n) =(n)Sm(η -k)(1)
m~] k = 0其中，n表示離散時(shí)間指數(shù)，M表示音頻信號S1, S2, S3的數(shù)量，而L表示波束成形濾波器H1, H2, H3的長度。如圖7a所示，濾波器H1, H2, H3，…的最平凡選擇是延遲線。在那種情況下，陣列ARRl的輸出由如下方程給出
M SENC(n) = ^Sm(n-Tm)(2)
m=l其中，T1, τ 2, τ 3,...表示每個(gè)信號SI, S2, S3. . ·的時(shí)間延遲。定向性也可以在子頻帶域中，或例如在DFT(離散傅立葉變換)變換域中實(shí)現(xiàn)。在那種情況下，每個(gè)音頻信號K，A2, A3的延遲可以是頻率相關(guān)的。參照圖7c，可以將定向麥克風(fēng)陣列ARRl的輸出與各個(gè)麥克風(fēng)Ml，M2，M3的輸出S1，S2, S3—起加權(quán)。具體地，所述各個(gè)麥克風(fēng)Ml，M2，M3中的一個(gè)或多個(gè)可以是所述定向麥克風(fēng)陣列ARRl的一部分。可以相對各個(gè)麥克風(fēng)的輸出增強(qiáng)定向麥克風(fēng)陣列ARRl的輸出，以便提供增強(qiáng)的音頻信號S·。定向麥克風(fēng)陣列ARRl的輸出和各個(gè)麥克風(fēng)Ml，M2，M3的音頻信號S1, S2, S3可以使用各自的濾波器H)，F(xiàn)l, F2，F(xiàn)3來濾波。具體地，可以將定向麥克風(fēng)陣列ARRl的輸出和各個(gè)麥克風(fēng)Ml，M2，M3的音頻信號S1, S2, S3乘以各自的濾波系數(shù)kQ，k1； k2，k3。由定向麥克風(fēng)陣列ARRl捕獲的增強(qiáng)的音頻信號Seic可以以高比特率發(fā)送，而由各個(gè)麥克風(fēng)Ml，M2，M3中的一個(gè)或多個(gè)捕獲的音頻信號S1, S2, S3可以以較低比特率發(fā)送。定向麥克風(fēng)陣列捕獲的音頻信號可以傳達(dá)主要音頻信息，例如所說的話或直接從樂器發(fā)出的聲音。各個(gè)麥克風(fēng)捕獲的音頻信號可以傳達(dá)在再生聲像時(shí)可以利用的次要信息，例如背景噪聲、來自墻壁的回聲或掌聲。圖8a示出了參數(shù)編碼器30。參數(shù)音頻編碼方法使得能夠?qū)崿F(xiàn)多聲道和空間音頻編碼和表示?？梢詫⒃家纛l信號表示成縮混信號Ssm以及描述空間聲像的參數(shù)的比特流。縮混信號包含數(shù)量減少的聲道。例如，縮混信號可以是單聲道和信號或雙聲道(立體聲)和信號。參數(shù)可以包含描述例如聲道間水平差(ILD)、聲道間時(shí)間差(ITD)和聲道間相干性(ICC)的參數(shù)。這種類型的編碼方案可以允許多聲道信號的極高效壓縮。而且，給定所提取的空間信息足夠，則可以允許解碼成任何其它空間混合格式，即，用于任何其它揚(yáng)聲器裝置的任何其它空間混合格式。例如，可以通過例如5. I揚(yáng)聲器系統(tǒng)來再生利用雙耳麥克風(fēng)捕獲的音樂或談話。編碼器30可以包含縮混單元31、單聲道音頻編碼器32、空間分析單元33、參數(shù)編碼器34和位流格式化單元35。具體地，可以將編碼器30布置成提供雙耳線索編碼(BCC)
十H 可 Saudioi ο對于BCC 方法的詳細(xì)描述，參考F. Baumgarte and C. Faller " BinauralCue Coding-Part I Psychoacoustic Fundamentals and Design Principles " ；IEEETransactions on Speech and Audio Processing, Vol. 11, No. 6, November 2003,以及參考C. Faller and F. Baumgarte " Binaural Cue Coding-Part II Schemes andApplications" , IEEE Transactions on Speech and Audio Processing, Vol. 11, No. 6,November 2003。
參照圖8b，空間音頻參數(shù)ILD，ITD和/或ICC也可以從附加麥克風(fēng)M·，Meight提供的進(jìn)一步音頻信號SL，SR中確定。換句話說，空間音頻參數(shù)也可以從不用于縮混的信號中確定。具體地，附加麥克風(fēng)M·，Mkkht可以構(gòu)成一組雙耳麥克風(fēng)?？梢詫⒏郊欲溈孙L(fēng)M_，Meight附在例如移動電話的不同側(cè)或耳機(jī)上。耳機(jī)可以由用戶A5佩戴。參照圖8c，定向麥克風(fēng)陣列ARRl的增強(qiáng)的單聲道輸出Senc也可以這樣用作縮混信號Ssm，即在那種情況下，不必利用顯示在圖Sb中的縮混單元31?？臻g音頻參數(shù)ILD，ITD和/或ICC也可以從附加麥克風(fēng)M·，Meight提供的音頻信號SL，SR中確定。可替代的是，空間音頻參數(shù)ILD，ITD和/或ICC可以從定向麥克風(fēng)陣列ARRl的各個(gè)麥克風(fēng)Ml，M2，M3提供的兩個(gè)或更多個(gè)音頻信號S1, S2, S3中確定(圖7c)。聽眾A4感受的聲像可以按照方向信號Svdii來修改。如在圖Ia的上下文中所注意到的那樣，方向信號Svdii也可以發(fā)送給解碼器200以供在再現(xiàn)中利用。如果在接收端提供方向信號Svdii，則也可以通過使用平移法則在所選方向再現(xiàn)定向麥克風(fēng)陣列ARRl所提供的單聲道增強(qiáng)信號S·。在那種情況下，甚至可以完全省略BCC再現(xiàn)，并且用戶可以只專注于捕獲用戶專注的聲源。參照圖8d，可以在系統(tǒng)300的發(fā)送端中按照方向信號Svdii修改編碼器300提供的空間參數(shù)。因此，即使不經(jīng)由傳輸路徑400發(fā)送方向信號SVDI1，也可以調(diào)整再生的聲音的表觀方向。修改空間音頻參數(shù)使得能夠?qū)崿F(xiàn)再現(xiàn)的兩種不同的可能性，S卩，可以將聲像再現(xiàn)到所希望的到達(dá)方向，或可以將聲像再現(xiàn)到聲像的中心。在BCC編碼信號S_M的情況下，例如通過修改聲道間時(shí)間差(ITD)參數(shù)，以及通過修改聲道間水平差(ILD)參數(shù)，可以調(diào)整再生的聲音的表觀方向。編碼器30可以進(jìn)一步包含布置成根據(jù)方向信號SVDIl修改參數(shù)ILD，ITD和/或ICC的值的參數(shù)修改單元37。因此，可以將參數(shù)修改單元37布置成從空間分析單元33提供的聲道間水平差參數(shù)ILD中計(jì)算修改的聲道間水平差參數(shù)ILDn?？梢詫?shù)修改單元37布置成從空間分析單元33提供的聲道間時(shí)間差參數(shù)ITD中計(jì)算修改的聲道間時(shí)間差參數(shù)ITDn?？梢詫?shù)修改單元37布置成從空間分析單元33提供的聲道間相干性參數(shù)ICC中計(jì)算修改的聲道間相干性參數(shù)ICCN。與ITD參數(shù)相聯(lián)系的時(shí)間延遲可以按照如下方程來調(diào)整τ q,NEW = Τ Γ Tm⑶其中，τ,表示與第q子頻帶相聯(lián)系的聲道間時(shí)間差參數(shù)的時(shí)域變換，tq,new表示與第q子頻帶相聯(lián)系的新的修改的聲道間時(shí)間差參數(shù)的時(shí)域變換，并且τπ表示與由方向信號Svdii所指的方向相對應(yīng)的時(shí)間延遲。聲道間水平差(ILD)參數(shù)可以通過如下計(jì)算增益系數(shù)g·和g_T來修改
權(quán)利要求
1.一種裝置(300)，其包含 -用以接收兩個(gè)或更多個(gè)不同音頻信號(SnS2)的一個(gè)或多個(gè)輸入端(INpIN2)； -用以接收方向信號(Svdii)的輸入端(INvdii);以及 -布置成從所述兩個(gè)或更多個(gè)不同音頻信號(S1, S2)中生成經(jīng)過處理的音頻信號(Saudioi)的信號處 單元(100)，所述經(jīng)過處 的音頻信號(S_IQ1)包含與源自由所述方向信號(Svdii)所指的位置(x2，J2)的聲音(SND2)相對應(yīng)的增強(qiáng)音頻信號(Senq)。
2.如權(quán)利要求I所述的裝置(300)，包含用以提供所述方向信號(Svdii)的方向選擇單元(VDIl)。
3.如權(quán)利要求2所述的裝置(300)，其中所述方向選擇單元(VDIl)是注視方向檢測設(shè)備(700)。
4.如權(quán)利要求2所述的裝置(300)，其中所述方向選擇單元(VDIl)是電子羅盤、加速度計(jì)或陀螺儀。
5.按照權(quán)利要求2到4中的任何一項(xiàng)所述的裝置(300)，包含用于接收經(jīng)由傳輸路徑(400)發(fā)送的所述方向信號(Svdii)的接口(IFl)。
6.按照權(quán)利要求I到5中的任何一項(xiàng)所述的裝置(300)，包含用以減少所述方向信息(Svdii)中的起伏的阻尼單元(770)。
7.按照權(quán)利要求I到6中的任何一項(xiàng)所述的裝置(300)，包含布置成作為定向麥克風(fēng)陣列(ARRl)操作的兩個(gè)或更多個(gè)麥克風(fēng)(M1，M2，M3)，其中所述定向麥克風(fēng)陣列(ARRl)的最大靈敏度的方向(MAXD)被布置成根據(jù)所述方向信號(Svdii)來調(diào)整。
8.按照權(quán)利要求I到7中的任何一項(xiàng)所述的裝置(300)，進(jìn)一步包含用以確定所述方向選擇單元(VDIl)的位置的位置檢測單元(780)。
9.如權(quán)利要求8所述的裝置(300)，其中所述位置檢測單元(780)基于衛(wèi)星導(dǎo)航系統(tǒng)(GPS)。
10.按照權(quán)利要求I到9中的任何一項(xiàng)所述的裝置(300)，其中所述信號處理單元(100)被進(jìn)一步布置成提供用于在所述經(jīng)過處理的音頻信號(S^01)的隨后解碼中控制聲源位置的一個(gè)或多個(gè)空間音頻參數(shù)(ILD，ITD, DOFq)。
11.如權(quán)利要求10所述的裝置(300)，進(jìn)一步包含布置成根據(jù)所述方向信號(Svdii)調(diào)整所述空間參數(shù)(ILD，ITD, DOFq)的值的參數(shù)修改單元(37)。
12.如權(quán)利要求10或11所述的裝置(300)，其中所述經(jīng)過處理的音頻信號(Saudmi)是雙耳線索編碼(BCC)的，并且其中所述空間參數(shù)包含聲道間時(shí)間差參數(shù)(ITD)和/或聲道間水平差(ILD)參數(shù)。
13.按照權(quán)利要求10到12中的任何一項(xiàng)所述的裝置(300)，其中所述空間參數(shù)包含描述聲音(SNDpSNDySND3)的到達(dá)方向的參數(shù)。
14.一種用于提供音頻信號的方法，所述方法包含 -從兩個(gè)或更多個(gè)麥克風(fēng)(M1，M2)接收兩個(gè)或更多個(gè)音頻信號(S1, S2)； -接收方向信號(Svdii);以及 -從所述兩個(gè)或更多個(gè)不同音頻信號(S1, S2)中生成經(jīng)過處理的音頻信號(Saudmi),所述經(jīng)過處理的音頻信號(Saudiqi)包含與源自由所述方向信號(Svdii)所指的位置(x2，J2)的聲音(SND2)相對應(yīng)的增強(qiáng)音頻信號(Senci)。
15.如權(quán)利要求14所述的方法，進(jìn)一步包含提供用于在所述經(jīng)過處理的音頻信號(Saudioi)的隨后解碼中控制聲源位置的一個(gè)或多個(gè)空間音頻參數(shù)(ILD，ITD, DOFq)。
16.如權(quán)利要求16所述的方法，進(jìn)一步包含根據(jù)所述方向信號(Svdii)調(diào)整所述空間參數(shù)(ILD，ITD, DOFq)的值。
17.按照權(quán)利要求14到16中的任何一項(xiàng)所述的方法，進(jìn)一步包含從方向選擇單元(VDIl)發(fā)送所述方向信號(Svdii)。
18.按照權(quán)利要求14到17中的任何一項(xiàng)所述的方法，進(jìn)一步包含接收經(jīng)由所述傳輸路徑(400)發(fā)送的所述方向信號(Svdii)。
19.一種執(zhí)行按照權(quán)利要求14到18中的任何一項(xiàng)所述的方法的計(jì)算機(jī)程序。
20.一種包含程序代碼的計(jì)算機(jī)可讀介質(zhì)(MEMl)，所述程序代碼當(dāng)被數(shù)據(jù)處理器執(zhí)行時(shí)，用于執(zhí)行按照權(quán)利要求14到18中的任何一項(xiàng)所述的方法。
21.一種用于處理音頻信號的部件(300)，其包含 -用于接收音頻信號的部件(IN1, IN2),布置成接收兩個(gè)或更多個(gè)不同音頻信號(S1,S2); -用于接收方向信號(Svdii)的部件(INvdii);以及 -用于信號處理的部件(100)，布置成從所述兩個(gè)或更多個(gè)不同音頻信號(SnS2)中生成經(jīng)過處理的音頻信號(S_IQ1)，所述經(jīng)過處理的音頻信號(S_IQ1)包含與源自由所述方向信號(Svdii)所指的位置(x2，J2)的聲音(SND2)相對應(yīng)的增強(qiáng)音頻信號(Senq)。
22.如權(quán)利要求21所述的部件(300)，其中所述用于信號處理的部件(100)被進(jìn)一步布置成提供用于在所述經(jīng)過處理的音頻信號(S_M1)的隨后解碼中控制聲源位置的一個(gè)或多個(gè)空間參數(shù)(ILD，ITD, DOFq)。
23.如權(quán)利要求22所述的部件(300)，進(jìn)一步包含用于根據(jù)所述方向信號(Svdii)修改所述空間參數(shù)(ILD，ITD, DOFq)的值的部件(37)。
全文摘要
一種裝置(300)包含用以接收兩個(gè)或更多個(gè)不同音頻信號(S1，S2)的一個(gè)或多個(gè)輸入端(IN1，IN2)；用以接收方向信號(SVDI1)的輸入端(INVDI1)；以及布置成從所述兩個(gè)或更多個(gè)不同音頻信號(S1，S2)中生成經(jīng)過處理的音頻信號(SAUDIO1)的信號處理單元(100)，所述經(jīng)過處理的音頻信號(SAUDIO1)包含與源自由所述方向信號(SVDI1)所指的位置(x2，y2)的聲音(SND2)相對應(yīng)的增強(qiáng)音頻信號(SENC1)。
文檔編號H04S7/00GK102804806SQ200980160095
公開日2012年11月28日 申請日期2009年6月23日 優(yōu)先權(quán)日2009年6月23日
發(fā)明者A·埃羅南, P·奧雅拉 申請人:諾基亞公司