一種虛擬現(xiàn)實(shí)聲場(chǎng)生成方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開一種虛擬現(xiàn)實(shí)聲場(chǎng)生成方法與系統(tǒng)，其中，所述方法包括：獲取一個(gè)聲源的N路雙耳音頻信號(hào)，所述N路雙耳音頻信號(hào)是N個(gè)方向的雙耳音頻信號(hào)，N為大于零的整數(shù)；進(jìn)一步的所述N路雙耳音頻信號(hào)是將音頻對(duì)象、音頻聲場(chǎng)和人頭錄音統(tǒng)一處理獲得的N路雙耳音頻信號(hào)；檢測(cè)收聽所述N路雙耳音頻信號(hào)的收聽者的人頭方向，所述人頭方向是收聽者的人頭相對(duì)于所述聲源位置的順時(shí)針旋轉(zhuǎn)角度；按照所述人頭方向?qū)λ鯪路雙耳音頻信號(hào)進(jìn)行預(yù)處理，還原雙耳全景聲場(chǎng)。
【專利說明】
-種虛擬現(xiàn)實(shí)聲場(chǎng)生成方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及信號(hào)處理領(lǐng)域，特別設(shè)及空間聲的生成。
【背景技術(shù)】
[0002] 在用虛擬現(xiàn)實(shí)頭戴設(shè)備化ead-mounted display,HMD)向用戶呈現(xiàn)內(nèi)容時(shí)，音頻 內(nèi)容通過立體聲耳機(jī)向用戶播放。我們面臨提高虛擬環(huán)繞聲效果的問題。在虛擬現(xiàn)實(shí)應(yīng)用 中，當(dāng)通過立體聲耳機(jī)播放音頻內(nèi)容時(shí)，虛擬3D音頻目的是想要達(dá)到一種效果讓用戶就像 用揚(yáng)聲器陣列(如5.1或7.1)聽一樣，甚至像聽現(xiàn)實(shí)中的聲音一樣真實(shí)。
[0003] 在制作虛擬現(xiàn)實(shí)音頻內(nèi)容時(shí)，通常需要幾種聲音元素。一種提高臨場(chǎng)感的方法是 跟蹤用戶頭部動(dòng)作化ead化acking)，對(duì)聲音進(jìn)行相應(yīng)的處理。比如，如果原始聲音被用戶 感知為來(lái)自正前方，當(dāng)用戶向左轉(zhuǎn)頭90度后，聲音應(yīng)被處理使得用戶感知聲音來(lái)自正右方 90度。
[0004] 在運(yùn)里虛擬現(xiàn)實(shí)設(shè)備可W有很多種類，比如帶頭部跟蹤的顯示設(shè)備，或者只是一 部帶頭部跟蹤傳感器的立體聲耳機(jī)。
[0005] 實(shí)現(xiàn)頭部跟蹤也有多種方法。比較常見的是使用多種傳感器。運(yùn)動(dòng)傳感器套件通 常包括加速度計(jì)、巧螺儀和磁力傳感器。在運(yùn)動(dòng)跟蹤和絕對(duì)方向方面每種傳感器都有自己 固有的強(qiáng)項(xiàng)和弱點(diǎn)。因此常用做法是采用傳感器"融合"（sensor fusion)將來(lái)自各傳感器 的信號(hào)組合在一起，產(chǎn)生一個(gè)更加精確的運(yùn)動(dòng)檢測(cè)結(jié)果。
[0006] 在得到頭部旋轉(zhuǎn)角度后，我們需要對(duì)聲音進(jìn)行相應(yīng)的變化。生成虛擬現(xiàn)實(shí)聲場(chǎng)有 幾種方法。
[0007] 一種做法是對(duì)音頻對(duì)象使用皿TF化ead Related Transfer Function,頭相關(guān)變 換函數(shù)）濾波器進(jìn)行濾波，得到虛擬環(huán)繞聲。HRTF在時(shí)間域所對(duì)應(yīng)的名稱是HRIR化ead Related Impulse Response)?；蛘邔⒁粼磁c雙耳房間脈沖響應(yīng)（Binaural Room Impulse Response, BRIR)做卷積。雙耳房間脈沖響應(yīng)由Ξ個(gè)部分組成:直達(dá)聲，早期反射聲和混響。 直接將音頻對(duì)象和BRIR卷積運(yùn)種做法的缺點(diǎn)是如果場(chǎng)景復(fù)雜，含有大量的音頻對(duì)象，則復(fù) 雜度會(huì)變得非常高，對(duì)于很多音頻播放終端，運(yùn)將導(dǎo)致功耗過大，甚至無(wú)法播放。在虛擬現(xiàn) 實(shí)設(shè)備上，還需要根據(jù)頭部的動(dòng)作對(duì)音頻對(duì)象位置實(shí)時(shí)調(diào)整，運(yùn)更極大的加大了運(yùn)算量，使 得在移動(dòng)虛擬現(xiàn)實(shí)設(shè)備上應(yīng)用傳統(tǒng)做法變的不切實(shí)際。
[000引第二種方式是將聲音轉(zhuǎn)到ambisonic域，然后再通過使用旋轉(zhuǎn)矩陣對(duì)信號(hào)做變換。 具體做法是將音頻轉(zhuǎn)為B格式信號(hào)，將該B格式信號(hào)轉(zhuǎn)換為虛擬揚(yáng)聲器陣列信號(hào)，將虛擬揚(yáng) 聲器陣列信號(hào)通過HRTF濾波器進(jìn)行濾波，得到虛擬環(huán)繞聲。但此種方法則在聲音擅染靈活 性有所欠缺，及無(wú)法對(duì)單獨(dú)音源進(jìn)行精準(zhǔn)的控制。
[0009] 第Ξ種方法是采用人頭錄音。直接得到雙耳的信號(hào)。通過多個(gè)方向的人頭錄音，進(jìn) 行插值，從而得到頭部在任何旋轉(zhuǎn)角度時(shí)的雙耳信號(hào)。
[0010] 可W看到，W上幾種方法從效率W及效果上各有優(yōu)缺點(diǎn)。有鑒于此，在本領(lǐng)域需要 一種有效且高質(zhì)量生成虛擬環(huán)繞聲音的解決方案。

【發(fā)明內(nèi)容】

[0011] 根據(jù)本發(fā)明的一個(gè)方面，提供了一種虛擬現(xiàn)實(shí)聲場(chǎng)生成方法，該方法步驟包含:獲 取一個(gè)聲源的N路雙耳音頻信號(hào)，N為大于零的整數(shù);檢測(cè)收聽N路雙耳音頻信號(hào)的收聽者的 人頭方向，人頭方向是收聽者的人頭相對(duì)于所述聲源當(dāng)前位置的順時(shí)針旋轉(zhuǎn)角度，且N路雙 耳音頻信號(hào)是將音頻對(duì)象、音頻聲場(chǎng)和人頭錄音統(tǒng)一預(yù)處理獲得的N路雙耳音頻信號(hào);按照 人頭方向?qū)路雙耳音頻信號(hào)進(jìn)行預(yù)處理，還原雙耳全景聲場(chǎng)。
[0012] 根據(jù)本發(fā)明的進(jìn)一步方面，該虛擬現(xiàn)實(shí)聲場(chǎng)生成方法中，N路雙耳音頻信號(hào)的N是 4,進(jìn)一步的是指前、后、左、右四個(gè)方向的雙耳音頻信號(hào)。
[0013] 根據(jù)本發(fā)明的進(jìn)一步方面，該虛擬現(xiàn)實(shí)聲場(chǎng)生成方法中，按照人頭方向?qū)路雙耳 音頻信號(hào)進(jìn)行預(yù)處理是對(duì)N路雙耳音頻信號(hào)進(jìn)行插值處理。
[0014] 根據(jù)本發(fā)明的進(jìn)一步方面，該虛擬現(xiàn)實(shí)聲場(chǎng)生成方法中，插值處理采用插值系數(shù) 對(duì)N路雙耳音頻信號(hào)進(jìn)行插值處理，進(jìn)一步的插值系數(shù)是一個(gè)余弦值。
[0015] 根據(jù)本發(fā)明的進(jìn)一步方面，該虛擬現(xiàn)實(shí)聲場(chǎng)生成方法中，余弦值是依照所述收聽 者的人頭方向計(jì)算得到的余弦值。
[0016] 根據(jù)本發(fā)明的另一個(gè)方面，提供了一種虛擬現(xiàn)實(shí)聲場(chǎng)生成系統(tǒng)，該系統(tǒng)包含:一個(gè) 獲取裝置，用于獲取一個(gè)聲源的N路雙耳音頻信號(hào)，N為大于零的整數(shù)，且N路雙耳音頻信號(hào) 是將音頻對(duì)象、音頻聲場(chǎng)和人頭錄音統(tǒng)一預(yù)處理獲得的N路雙耳音頻信號(hào)；一個(gè)檢測(cè)裝置， 用于檢測(cè)收聽N路雙耳音頻信號(hào)的收聽者的人頭方向，人頭方向是收聽者的人頭相對(duì)于所 述聲源當(dāng)前位置的順時(shí)針旋轉(zhuǎn)角度;一個(gè)處理裝置，用于按照人頭方向?qū)路雙耳音頻信號(hào) 進(jìn)行預(yù)處理，還原雙耳全景聲場(chǎng)。
[0017] 根據(jù)本發(fā)明的進(jìn)一步方面，該虛擬現(xiàn)實(shí)聲場(chǎng)生成系統(tǒng)中，N路雙耳音頻信號(hào)的N是 4,進(jìn)一步的是指前、后、左、右四個(gè)方向的雙耳音頻信號(hào)。
[0018] 根據(jù)本發(fā)明的進(jìn)一步方面，該虛擬現(xiàn)實(shí)聲場(chǎng)生成系統(tǒng)中，按照人頭方向?qū)路雙耳 音頻信號(hào)進(jìn)行預(yù)處理是對(duì)N路雙耳音頻信號(hào)進(jìn)行插值處理。
[0019] 根據(jù)本發(fā)明的進(jìn)一步方面，該虛擬現(xiàn)實(shí)聲場(chǎng)生成系統(tǒng)中，插值處理是采用插值系 數(shù)對(duì)N路雙耳音頻信號(hào)進(jìn)行插值處理，進(jìn)一步的插值系數(shù)是一個(gè)余弦值。
[0020] 根據(jù)本發(fā)明的進(jìn)一步方面，該虛擬現(xiàn)實(shí)聲場(chǎng)生成系統(tǒng)中，余弦值是依照所述收聽 者的人頭方向計(jì)算得到的余弦值。
【附圖說明】
[0021 ]圖1為本發(fā)明虛擬現(xiàn)實(shí)聲場(chǎng)生成方法的一種實(shí)施方式的流程圖；
[0022] 圖2為本發(fā)明一種N路雙耳音頻信號(hào)生成示意圖；
[0023] 圖3為本發(fā)明一種雙耳音頻信號(hào)生成示意圖；
[0024] 圖4為本發(fā)明虛擬現(xiàn)實(shí)聲場(chǎng)生成系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0025] 為了更清楚的說明本發(fā)明的技術(shù)方案，下文將對(duì)實(shí)施例描述中所需要使用的附圖 做簡(jiǎn)單的介紹。顯而易見的，下文及附體所描述的僅僅是本發(fā)明的一些具體的實(shí)施例，對(duì)于 相關(guān)領(lǐng)域的技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可w根據(jù)運(yùn)些描述與附圖，將 本發(fā)明應(yīng)用于其他方面。應(yīng)當(dāng)理解，給出運(yùn)些示例性實(shí)施例僅僅是為了使相關(guān)領(lǐng)域的技術(shù) 人員能夠更好的理解進(jìn)而實(shí)現(xiàn)本發(fā)明，而并非W任何方式限制本發(fā)明的范圍。
[0026] 下面結(jié)合附圖和具體的實(shí)施方式進(jìn)行說明。
[0027] 請(qǐng)參見圖1，圖1是本發(fā)明虛擬現(xiàn)實(shí)聲場(chǎng)生成方法的一種實(shí)施方式的流程圖。
[0028] 步驟S101:獲取多個(gè)方向的N路雙耳音頻信號(hào)，通過獲取多個(gè)方向的N路雙耳音頻 信號(hào)獲得具有立體聲音效果的輸出聲音信號(hào)。雙耳音頻信號(hào)是指將音頻對(duì)象、音頻聲場(chǎng)和 人頭錄音經(jīng)統(tǒng)一處理形成的雙耳音頻信號(hào)。雙耳音頻信號(hào)是指雙耳的左耳和右耳聲音輸入 信號(hào)。其中左耳聲音輸入信號(hào)即為模擬人工頭左耳接收到的聲信號(hào)，右耳聲音輸入信號(hào)即 為模擬人工頭右耳接收到的聲信號(hào)。具體的，雙聲道移動(dòng)終端中的左聲道信號(hào)即為左耳接 收到的輸入信號(hào)，右聲道即為右耳接收到的輸入信號(hào)。N路是指將雙耳音頻信號(hào)處理成N個(gè) 方向的雙耳音頻信號(hào)，方向是從人工頭中屯、模擬到聲源的方向。如，N = 4的時(shí)候，就代表四 個(gè)方向，具體的可W是模擬從人工頭中屯、的前、后、左、右4個(gè)正方向，也可W按照一定的角 度定義的四個(gè)方向，如模擬從人工頭中屯、的正前方水平夾角為±45°、±90° dN的取值包括 但不限于4,還可W是不等于4的任意非零整數(shù)。方向也不限于上述方向，還可W是從人工頭 中屯、模擬的到聲源的實(shí)際角度方向。雙耳音頻信號(hào)的獲取方式可W是有線的也可是無(wú)線 的，還可W即包括有線方式又包括無(wú)線方式，用戶可W按照自己的使用需求從有線切換到 無(wú)線方式或者從無(wú)線方式切換到有線方式。
[0029] 步驟S102:檢測(cè)人頭方向。人頭方向的檢測(cè)裝置可W是帶頭部追蹤裝置的立體聲 耳機(jī)也可W是帶頭部追蹤裝置頭戴式虛擬現(xiàn)實(shí)設(shè)備，其中，頭戴式虛擬現(xiàn)實(shí)設(shè)備可W是頭 戴式虛擬現(xiàn)實(shí)眼鏡、虛擬現(xiàn)實(shí)頭盎、虛擬現(xiàn)實(shí)頭帶顯示器等。人頭方向的檢測(cè)可W使用多種 傳感器，包括但不限于電阻式傳感器、力學(xué)傳感器、光敏傳感器等?？蒞是其中一種傳感器， 也可W是其中幾種傳感器的組合，可W是一個(gè)傳感器還可W是幾個(gè)傳感器的組合。人頭方 向的檢測(cè)可W是實(shí)時(shí)的也可W是定期檢測(cè)的。檢測(cè)人頭方向是收聽者的人頭相對(duì)于所述聲 源位置的順時(shí)針旋轉(zhuǎn)角度。
[0030] 步驟S103:基于人頭方向?qū)路雙耳音頻信號(hào)進(jìn)行插值。收聽者在虛擬現(xiàn)實(shí)的場(chǎng)景 中頭部發(fā)生連續(xù)的運(yùn)動(dòng)時(shí)，為了獲得立體聲的效果，需要對(duì)獲取的N路雙耳音頻信號(hào)進(jìn)行插 值處理，從而對(duì)N路雙耳音頻信號(hào)進(jìn)行校正，獲取更接近與真實(shí)場(chǎng)景的立體聲效果。插值方 法包括但不限于Lagrange插值，Newton插值，Hermi te插值，分段插值，樣條插值等。具體的 還可W是依照插值系數(shù)對(duì)N路雙耳音頻信號(hào)進(jìn)行插值處理。插值系數(shù)包括但不限于依照收 聽者的人頭相對(duì)于聲源的方位角計(jì)算得到的正弦值、余弦值等?？蒞采用一種插值方法也 可W采用多種插值方法，可W采用一個(gè)插值算法，還可W采用多個(gè)插值算法。并依照收聽者 的人頭相對(duì)于所述聲源位置的順時(shí)針旋轉(zhuǎn)角度計(jì)算插值，對(duì)N路雙耳音頻信號(hào)進(jìn)行插值處 理。
[0031] 步驟S104:還原雙耳全景聲場(chǎng)。是指將步驟S103插值后的N路雙耳音頻信號(hào)輸出并 通過收聽者的設(shè)備播放，還原雙耳全景聲場(chǎng)的效果。收聽者的設(shè)備可W是耳機(jī)、VR頭盎等任 何可W播放聲音的頭戴設(shè)備。
[0032] 圖2是本發(fā)明一種N路雙耳音頻信號(hào)生成示意圖。雙耳編碼器對(duì)音頻對(duì)象201、音頻 聲場(chǎng)202、人頭錄音203分別進(jìn)行預(yù)處理生成N個(gè)方向的雙耳音頻信號(hào)，然后對(duì)生成的N個(gè)方 向的雙耳音頻信號(hào)進(jìn)行mix處理，生成多個(gè)方向的N路雙耳音頻信號(hào)205?！揪唧w實(shí)施方式】分別 如下（WN=4,東南西北4個(gè)正方向?yàn)槔?br>[0033] 音頻對(duì)象的處理:將音頻對(duì)象通過皿TF濾波得到雙耳信號(hào)。因?yàn)橐幚鞱 = 4個(gè)方 向的雙耳信號(hào)，所W音頻對(duì)象要與4個(gè)方向?qū)?yīng)的HRTF濾波器都進(jìn)行一次濾波。
[0034] 811 =出*5〇^，
[0035] 其中：i = l ~N，
[0036] 出表示第i路的HRTF濾波矩陣，
[0037] SdW表示輸入的音頻對(duì)象。
[0038] 獲得4個(gè)方向的雙耳信號(hào)。
[0039] 音頻聲場(chǎng)處理:將音頻聲場(chǎng)通過旋轉(zhuǎn)矩陣旋轉(zhuǎn)得到N = 4個(gè)方向的聲場(chǎng)信號(hào)，分別 將旋轉(zhuǎn)后的聲場(chǎng)信號(hào)轉(zhuǎn)換為虛擬揚(yáng)聲器陣列信號(hào)，將虛擬揚(yáng)聲器陣列信號(hào)通過HRTF濾波器 進(jìn)行濾波，得到N=4個(gè)方向的雙耳信號(hào)。
[0040] B2i =出· Di · Ri · S/tab [0041 ]其中：i = l ~N，
[0042] 出表示第i路的HRTF濾波矩陣，
[0043] 化表示第i路的解碼矩陣，
[0044] Ri表示第i路的旋轉(zhuǎn)矩陣，
[0045] Stab表示輸入的音頻聲場(chǎng)。
[0046] 人頭錄音處理:可W通過集成多組人耳的人工頭同時(shí)錄N = 4個(gè)方向的錄音B31，其 中：i = l~4。
[0047] 音頻對(duì)象的處理、音頻聲場(chǎng)處理、人頭錄像處理可W是同時(shí)處理也可W是按照一 定的順序分別處理。
[004引合成N路雙耳音頻信號(hào):N = 4時(shí)，將上面Ξ種方法產(chǎn)生的雙耳信號(hào)mix成一組信號(hào) Bi，其中：i = l~4。
[0049]
[0050] 圖3是本發(fā)明一種雙耳音頻信號(hào)生成示意圖。N路雙耳音頻信號(hào)205經(jīng)雙耳解碼器 302處理，還原出與人頭相對(duì)于聲源方向相一致的雙耳音頻信號(hào)303,還原出全景聲場(chǎng)。具體 實(shí)施方式如下：
[0051] 根據(jù)人頭方向，通過對(duì)多個(gè)方向的N路雙耳音頻信號(hào)進(jìn)行插值，還原出全景聲場(chǎng)。
[0化2]
[0化3] 其中：i = l~N，
[0054] Gi表示第i路的插值系數(shù)。
[0055] 例如N=4時(shí)，為了保持信號(hào)能量，可W采用余弦值作為插值系數(shù)。
[0化6]
if G, <0,則Gi = 0，
[0化7] 其中，i = i~N，
[0058] Θ表示收聽者的人頭相對(duì)于所述聲源位置的順時(shí)針旋轉(zhuǎn)角度。
[0059] 圖4是本發(fā)明的虛擬現(xiàn)實(shí)聲場(chǎng)生成系統(tǒng)的結(jié)構(gòu)示意圖。具體的包括一個(gè)獲取裝置 401，檢測(cè)裝置402,處理裝置403。檢測(cè)裝置402用于檢測(cè)收聽者頭部的運(yùn)動(dòng)，并將檢測(cè)到的 用于表征收聽者頭部方向的信息傳送給獲取裝置401。獲取裝置401用于獲取外部信息、檢 測(cè)信息，并將上述信息傳送給處理裝置403進(jìn)行處理，并向收聽者輸出處理后的雙耳音頻信 號(hào)。其中獲取裝置403獲取的外部信息包括但不限于N路雙耳音頻信號(hào)信息。
[0060] 獲取裝置401用于獲取信息，信息可W是N路雙耳音頻信號(hào)還可W是檢測(cè)裝置402 檢測(cè)到的信息。信息的獲取可W是實(shí)時(shí)的也可W是定期傳送的，可W是有線的也可W是無(wú) 線的。雙耳音頻信號(hào)是指將音頻對(duì)象、音頻聲場(chǎng)和人頭錄音經(jīng)統(tǒng)一處理形成的雙耳音頻信 號(hào)。雙耳音頻信號(hào)是指左耳和右耳的輸入信號(hào)。其中左耳聲音輸入信號(hào)即為模擬人工頭左 耳接收到的聲信號(hào)，右耳聲音輸入信號(hào)即為模擬人工頭右耳接收到的聲信號(hào)。具體的，雙聲 道移動(dòng)終端中的左聲道信號(hào)即為左耳接收到的輸入信號(hào)，右聲道即為右耳接收到的輸入信 號(hào)。N路是指將雙耳音頻信號(hào)處理成N個(gè)方向的雙耳音頻信號(hào)，方向是從人工頭中屯、模擬到 聲源的方向。如，N = 4的時(shí)候，就代表四個(gè)方向，具體的可W是模擬從人工頭中屯、的前、后、 左、右4個(gè)正方向，也可W按照一定的角度定義的四個(gè)方向，如模擬從人工頭中屯、的正前方 水平夾角為±45°、±90° "N的取值包括但不限于4,還可W是不等于4的任意非零整數(shù)。方向 也不限于上述方向，還可W是從人工頭中屯、模擬的到聲源的實(shí)際角度方向。
[0061] N路雙耳音頻信號(hào)是對(duì)音頻對(duì)象、音頻聲場(chǎng)、人頭錄音分別進(jìn)行預(yù)處理并進(jìn)行mix 處理生成的。針對(duì)于音頻對(duì)象、音頻聲場(chǎng)、人頭錄音的預(yù)處理方式可W-樣的也可W是不一 樣的，一種實(shí)施方式如下（WN=4,東南西北4個(gè)正方向?yàn)槔?br>[0062] 音頻對(duì)象的處理:將音頻對(duì)象通過皿TF濾波得到雙耳信號(hào)。因?yàn)橐幚鞱 = 4個(gè)方 向的雙耳信號(hào)，所W音頻對(duì)象要與4個(gè)方向?qū)?yīng)的HRTF濾波器都進(jìn)行一次濾波。
[006；3] 811 =出*5〇^，
[0064] 其中：i = i~N，
[0065] 出表示第i路的HRTF濾波矩陣，
[0066] Sow表示輸入的音頻對(duì)象。
[0067] 獲得4個(gè)方向的雙耳信號(hào)。
[0068] 音頻聲場(chǎng)處理:將音頻聲場(chǎng)通過旋轉(zhuǎn)矩陣旋轉(zhuǎn)得到N = 4個(gè)方向的聲場(chǎng)信號(hào)，分別 將旋轉(zhuǎn)后的聲場(chǎng)信號(hào)轉(zhuǎn)換為虛擬揚(yáng)聲器陣列信號(hào)，將虛擬揚(yáng)聲器陣列信號(hào)通過HRTF濾波器 進(jìn)行濾波，得到N=4個(gè)方向的雙耳信號(hào)。
[0069] B2i =出· Di · Ri · S/tab
[0070] 其中：i = l ~N，
[0071] 出表示第i路的HRTF濾波矩陣，
[0072] 化表示第i路的解碼矩陣，
[0073] Ri表示第i路的旋轉(zhuǎn)矩陣，
[0074] Stab表示輸入的音頻聲場(chǎng)。
[0075] 人頭錄音處理:可W通過集成多組人耳的人工頭同時(shí)錄N = 4個(gè)方向的錄音B31，其 中：i = l~4。
[0076] 音頻對(duì)象的處理、音頻聲場(chǎng)處理、人頭錄像處理可W是同時(shí)處理也可W是按照一 定的順序分別處理。
[0077]合成N路雙耳音頻信號(hào):N = 4時(shí)，將上面Ξ種方法產(chǎn)生的雙耳信號(hào)mix成一組信號(hào) Bi，其中：i = l~4。
[007引
[0079] 檢測(cè)裝置402用于檢測(cè)人頭方向的檢測(cè)裝置。檢測(cè)裝置包括但不限于電阻式傳感 器、力學(xué)傳感器、光敏傳感器等?？蒞是其中一種傳感器，也可W其中幾種傳感器的組合，可 W是一個(gè)傳感器還可W是幾個(gè)傳感器的組合。人頭方向的檢測(cè)可W是實(shí)時(shí)的也可W是定期 檢測(cè)的。檢測(cè)人頭方向是收聽者的人頭相對(duì)于所述聲源位置的順時(shí)針旋轉(zhuǎn)角度。
[0080] 處理裝置403用于處理來(lái)自獲取裝置401的N路雙耳音頻信號(hào)信息和人頭方向信 息。并依照人頭方向信息對(duì)N路雙耳音頻信號(hào)進(jìn)行插值處理，還原出全景聲場(chǎng)，并向收聽者 404輸出雙耳音頻信號(hào)。所述依照人頭方向信息對(duì)N路雙耳音頻信號(hào)進(jìn)行插值處理，可W是 分別多音頻對(duì)象、音頻聲場(chǎng)和人頭錄音生成的N路雙耳音頻信號(hào)進(jìn)行插值處理，也可W是同 時(shí)對(duì)其中的幾種N路雙耳音頻信號(hào)進(jìn)行插值處理。所述插值處理是對(duì)N路雙耳音頻信號(hào)進(jìn)行 校正，獲取更接近于真實(shí)場(chǎng)景的立體聲效果，使得在虛擬現(xiàn)實(shí)的場(chǎng)景中收聽者的頭部發(fā)生 連續(xù)的運(yùn)動(dòng)時(shí)，還可W獲得接近于真實(shí)場(chǎng)景的立體聲效果。插值方法包括但不限于 Lagrange插值，Newton插值，Hermite插值，分段插值，樣條插值等。具體的還可W是依照插 值系數(shù)對(duì)N路雙耳音頻信號(hào)進(jìn)行插值處理。插值系數(shù)包括但不限于依照收聽者的人頭相對(duì) 于聲源的方位角計(jì)算得到的正弦值、余弦值等。插值處理可W采用一種插值方法也可W采 用多種插值方法，可W采用一個(gè)插值算法，還可W采用多個(gè)插值算法。并依照收聽者的人頭 相對(duì)于所述聲源位置的順時(shí)針旋轉(zhuǎn)角度計(jì)算插值，對(duì)N路雙耳音頻信號(hào)進(jìn)行插值處理，進(jìn)而 獲得更接近于真實(shí)場(chǎng)景的立體聲效果。
[0081] W上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)，但并 不能因此而理解為對(duì)本發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對(duì)于本領(lǐng)域的普通技術(shù)人員 來(lái)說，在不脫離本發(fā)明構(gòu)思的前提下，還可W做出若干變形和改進(jìn)，如，可W不包含一個(gè)獲 取裝置，處理裝置直接獲取N路雙耳音頻信號(hào)和收聽者的人頭方向，并依照插值方法和收聽 者的人頭方向?qū)路雙耳音頻信號(hào)進(jìn)行處理;還可W不包含一個(gè)檢測(cè)裝置，由處理裝置對(duì)收 聽者的人頭方向進(jìn)行檢測(cè)，并依照插值方法和收聽者的人頭方向?qū)路雙耳音頻信號(hào)進(jìn)行 處理。
[0082] W上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)，但并 不能因此而理解為對(duì)本發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對(duì)于本領(lǐng)域的普通技術(shù)人員 來(lái)說，在不脫離本發(fā)明構(gòu)思的前提下，還可W做出若干變形和改進(jìn)，運(yùn)些都屬于本發(fā)明的保 護(hù)范圍。因此，本發(fā)明專利的保護(hù)范圍應(yīng)W所附權(quán)利要求為準(zhǔn)。
【主權(quán)項(xiàng)】
1. 一種虛擬現(xiàn)實(shí)聲場(chǎng)生成方法，其特征在于，所述方法包括： 獲取一個(gè)聲源的N路雙耳音頻信號(hào)，所述N路雙耳音頻信號(hào)是N個(gè)方向的雙耳音頻信號(hào)， N為大于零的整數(shù)； 進(jìn)一步的所述N路雙耳音頻信號(hào)是將音頻對(duì)象、音頻聲場(chǎng)和人頭錄音統(tǒng)一處理獲得的N 路雙耳音頻信號(hào)； 檢測(cè)收聽所述N路雙耳音頻信號(hào)的收聽者的人頭方向，所述人頭方向是收聽者的人頭 相對(duì)于所述聲源位置的順時(shí)針旋轉(zhuǎn)角度； 按照所述人頭方向?qū)λ鯪路雙耳音頻信號(hào)進(jìn)行預(yù)處理，還原雙耳全景聲場(chǎng)。2. 根據(jù)權(quán)利要求1所述的虛擬現(xiàn)實(shí)聲場(chǎng)生成方法，其特征在于，所述N路雙耳音頻信號(hào)， N為4,指前、后、左、右四個(gè)方向的雙耳音頻信號(hào)。3. 根據(jù)權(quán)利要求1所述的虛擬現(xiàn)實(shí)聲場(chǎng)生成方法，其特征在于，所述按照人頭方向?qū)λ?述N路雙耳音頻信號(hào)進(jìn)行預(yù)處理是對(duì)所述N路雙耳音頻信號(hào)進(jìn)行插值處理。4. 根據(jù)權(quán)利要求3所述的虛擬現(xiàn)實(shí)聲場(chǎng)生成方法，其特征在于，所述插值處理是用插值 系數(shù)對(duì)所述N路雙耳音頻信號(hào)進(jìn)行所述插值處理，所述插值系數(shù)是一個(gè)余弦值。5. 根據(jù)權(quán)利要求4所述的虛擬現(xiàn)實(shí)聲場(chǎng)生成方法，其特征在于，所述余弦值是依照所述 收聽者的人頭方向計(jì)算得到的余弦值。6. -種虛擬現(xiàn)實(shí)聲場(chǎng)生成系統(tǒng)，其特征在于，包括： 一個(gè)獲取裝置，用于獲取一個(gè)聲源的N路雙耳音頻信號(hào)，所述N路雙耳音頻信號(hào)是N個(gè)方 向的雙耳音頻信號(hào)，N為大于零的整數(shù)； 進(jìn)一步的所述N路雙耳音頻信號(hào)是將音頻對(duì)象、音頻聲場(chǎng)和人頭錄音統(tǒng)一處理獲得的N 路雙耳音頻信號(hào)； 一個(gè)檢測(cè)裝置，用于檢測(cè)收聽所述N路雙耳音頻信號(hào)的收聽者的人頭方向，所述人頭方 向是收聽者的人頭相對(duì)于所述聲源位置的順時(shí)針旋轉(zhuǎn)角度； 一個(gè)處理裝置，用于按照所述人頭方向?qū)λ鯪路雙耳音頻信號(hào)進(jìn)行預(yù)處理，還原雙耳 全景聲場(chǎng)。7. 根據(jù)權(quán)利要求6所述的虛擬現(xiàn)實(shí)聲場(chǎng)生成系統(tǒng)，其特征在于，所述N路雙耳音頻信號(hào)， N是4,指前、后、左、右四個(gè)方向的雙耳音頻信號(hào)。8. 根據(jù)權(quán)利要求6所述的虛擬現(xiàn)實(shí)聲場(chǎng)生成系統(tǒng)，其特征在于，所述按照所述人頭方向 對(duì)所述N路雙耳音頻信號(hào)進(jìn)行預(yù)處理是對(duì)所述N路雙耳音頻信號(hào)進(jìn)行插值處理。9. 根據(jù)權(quán)利要求8所述的虛擬現(xiàn)實(shí)聲場(chǎng)生成系統(tǒng)，其特征在于，所述插值處理是用插值 系數(shù)對(duì)所述N路雙耳音頻信號(hào)進(jìn)行所述插值處理，所述插值系數(shù)是一個(gè)余弦值。10. 根據(jù)權(quán)利要求9所述的虛擬現(xiàn)實(shí)聲場(chǎng)生成系統(tǒng)，其特征在于，所述余弦值是依照所 述收聽者的人頭方向計(jì)算得到的余弦值。
【文檔編號(hào)】H04S1/00GK105872940SQ201610402793
【公開日】2016年8月17日
【申請(qǐng)日】2016年6月8日
【發(fā)明人】張晨, 孫學(xué)京
【申請(qǐng)人】北京時(shí)代拓靈科技有限公司