本發(fā)明涉及虛擬現(xiàn)實(shí)(virtualreality，vr)，更具體地涉及用于增強(qiáng)虛擬現(xiàn)實(shí)的音頻效果的實(shí)現(xiàn)。

背景技術(shù)：

除非本文另有指出，否則本小節(jié)所描述的內(nèi)容相對于本發(fā)明的權(quán)利要求而言不構(gòu)成現(xiàn)有技術(shù)，且其也不會被承認(rèn)為現(xiàn)有技術(shù)。

除了現(xiàn)實(shí)的視覺體驗(yàn)之外，從用戶角度來看的真實(shí)的聽覺體驗(yàn)也是用戶在虛擬現(xiàn)實(shí)中具有沉浸式體驗(yàn)的關(guān)鍵因素。通常，vr中的聲音可以由有限的頻道產(chǎn)生，例如用戶佩戴的兩個耳機(jī)。在實(shí)踐中，聽覺體驗(yàn)往往不同于在真實(shí)世界中的聲音，其通常來自給定環(huán)境中的所有方向。例如，在音樂源位于用戶北部的vr應(yīng)用中，當(dāng)用戶面向西和當(dāng)用戶面向東時，頻道輸出將不同。此外，通常使用者不能在長時間段內(nèi)將他/她的頭部固定在給定位置；相反，用戶可能不斷地移動他/她的頭部，并且這將需要根據(jù)用戶的頭部運(yùn)動隨時間改變頻道輸出。因此，通過有限頻道渲染(render)音頻效果以匹配或以其他方式模擬真實(shí)世界聽覺體驗(yàn)的能力是在vr的背景下的音頻相關(guān)技術(shù)的目標(biāo)。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明提供一種增強(qiáng)虛擬現(xiàn)實(shí)的音頻效果的方法和電子裝置。

依據(jù)本發(fā)明一實(shí)施方式，提供一種增強(qiáng)虛擬現(xiàn)實(shí)的音頻效果的方法，包括：接收在虛擬現(xiàn)實(shí)環(huán)境中的數(shù)據(jù)，所述數(shù)據(jù)與來自一個或多個聲源的音頻樣本、所述一個或多個聲源的運(yùn)動、以及用戶的運(yùn)動相關(guān)；基于接收的所述數(shù)據(jù)執(zhí)行用于實(shí)現(xiàn)一個或多個音頻效果的物理模擬；使用所述物理模擬的結(jié)果來執(zhí)行信號處理；以及使用所述信號處理的結(jié)果來生成音頻輸出。

依據(jù)本發(fā)明另一實(shí)施方式，提供一種電子裝置，包括處理器。所述處理器包括：模擬電路，可執(zhí)行以下操作：接收在虛擬現(xiàn)實(shí)環(huán)境中的數(shù)據(jù)，所述數(shù)據(jù)與來自一個或多個聲源的音頻樣本、所述一個或多個聲源的運(yùn)動、以及用戶的運(yùn)動相關(guān)；以及基于接收的所述數(shù)據(jù)執(zhí)行用于實(shí)現(xiàn)一個或多個音頻效果的物理模擬。以及，耦接到所述模擬電路的信號處理電路，所述信號處理電路可執(zhí)行以下操作：使用所述物理模擬的結(jié)果來執(zhí)行信號處理；以及使用所述信號處理的結(jié)果來生成音頻輸出。

本發(fā)明所提供的增強(qiáng)虛擬現(xiàn)實(shí)的音頻效果的方法和電子裝置，可提高在虛擬現(xiàn)實(shí)中的音頻效果，提升用戶的聽覺體驗(yàn)。

對于已經(jīng)閱讀后續(xù)由各附圖及內(nèi)容所顯示的較佳實(shí)施方式的本領(lǐng)域的技術(shù)人員來說，本發(fā)明的各目的是明顯的。

附圖說明

本發(fā)明提供了附圖以更好地理解本發(fā)明，附圖并入本發(fā)明且構(gòu)成本發(fā)明的一部分。附圖揭露了本發(fā)明的實(shí)施方式，并同說明書一起共同解釋本發(fā)明的原理?？梢岳斫獾氖?，附圖并不一定是按照比例繪制的，因而，某些繪制的元件可能同其在實(shí)際的實(shí)施方式中的尺寸不成比例，這樣做可更清晰地闡釋本發(fā)明的構(gòu)思。

圖1是本發(fā)明所提出的方案的概念的示意圖。

圖2是根據(jù)本發(fā)明的實(shí)施方式的示例場景的示意圖。

圖3是根據(jù)本發(fā)明的實(shí)施方式的示例場景的示意圖。

圖4是根據(jù)本發(fā)明的實(shí)施方式的示例場景的示意圖。

圖5是根據(jù)本發(fā)明的實(shí)施方式的示例方案的示意圖。

圖6是根據(jù)本發(fā)明的實(shí)施方式的示例場景的示意圖。

圖7是根據(jù)本發(fā)明的實(shí)施方式的示例場景的示意圖。

圖8是根據(jù)本發(fā)明的實(shí)施方式的示例場景的示意圖。

圖9是根據(jù)本發(fā)明的實(shí)施方式的示例場景的示意圖。

圖10是根據(jù)本發(fā)明的實(shí)施方式的示例場景的示意圖。

圖11是根據(jù)本發(fā)明的實(shí)施方式的示例場景的示意圖。

圖12是根據(jù)本發(fā)明的實(shí)施方式的示例場景的示意圖。

圖13是根據(jù)本發(fā)明的實(shí)施方式的示例裝置的框圖。

圖14是根據(jù)本發(fā)明的實(shí)施方式的示例裝置的框圖。

圖15是根據(jù)本發(fā)明的實(shí)施方式的示例處理的流程圖。

具體實(shí)施方式

以下描述為本發(fā)明的較佳實(shí)施例。以下實(shí)施例僅用來舉例闡釋本發(fā)明的技術(shù)特征，并非用以限定本發(fā)明。本發(fā)明的保護(hù)范圍當(dāng)視權(quán)利要求書所界定為準(zhǔn)。

概述

從用戶角度來實(shí)現(xiàn)真實(shí)聽覺體驗(yàn)的關(guān)鍵是模擬各種音頻效果，包括但不限于，方向、混響(reverberation)、衰減(attenuation)、遮擋(occlusion)、傳輸時間和多普勒效應(yīng)(dopplereffect)等?！胺较颉钡囊纛l效果是指區(qū)分相對于用戶在不同方向上的不同聲源的能力?！盎祉憽钡囊纛l效果是指在封閉空間中收集反射聲音?！八p”的音頻效果是指當(dāng)聲音通過一個或多個介質(zhì)傳輸時的能量損失?！罢趽酢钡囊纛l效果是指當(dāng)聲音的傳輸路徑被一個或多個物體(例如，墻壁)阻擋或以其它方式阻擋時聲音信號的改變?！皞鬏敃r間”的音頻效果是指通過給定介質(zhì)來傳輸聲音的時間?！岸嗥绽招?yīng)”的音頻效果是指觀察到的頻率偏移，其在觀察者和聲源之間存在相對速度或運(yùn)動時發(fā)生。

在vr應(yīng)用中，多普勒效應(yīng)是一種難以渲染的音頻效果。多普勒效應(yīng)可以由方程式f＝[(c+vr)/(c+vs)]*f0來表示。這里，f0表示來自聲源的聲音的頻率，c表示聲音給定介質(zhì)中的速度，vr表示觀察者的速度，vs表示聲源的速度，f表示由于多普勒效應(yīng)而產(chǎn)生的結(jié)果或其他的頻率偏移?；谠摲匠淌?，存在兩種類型的頻率變化(這里可互換地稱為“頻率偏移”)，即：向上偏移和向下偏移(upshiftanddownshift)。當(dāng)觀察者和聲源之間的距離減小(例如，他們越來越近)時，發(fā)生頻率向上偏移，因此，觀察者接收或聽到的聲音的頻率向上偏移。當(dāng)觀察者和聲源之間的距離增加(例如，他們變得越來越遠(yuǎn))時，發(fā)生頻率向下偏移，因此觀察者接收或聽到的聲音的頻率向下偏移。

盡管通過應(yīng)用濾波器可以渲染上述音頻效果中的一些，但是由于聲源和觀察者(例如，vr應(yīng)用的用戶)可能會不斷地運(yùn)動，關(guān)于vr中的多普勒效應(yīng)的頻率變化，通過簡單地應(yīng)用濾波器是難以渲染的。例如，利用純信號處理以在常規(guī)方法下實(shí)現(xiàn)多普勒效應(yīng)，純信號處理不能確定應(yīng)當(dāng)應(yīng)用哪種類型的頻率偏移。此外，純信號處理無法得知頻率偏移的程度。因此，根據(jù)本發(fā)明的所提出的方案提供了在vr應(yīng)用中實(shí)時實(shí)現(xiàn)多普勒效應(yīng)的技術(shù)、方法和裝置。

圖1是本發(fā)明的所提出的方案的概念100的示意圖。概念100可以包括由一個或多個塊(例如圖1中所示的方框110和120)表示的一個或多個操作、動作和/或功能。雖然被示為相互分離的塊，但是根據(jù)期望的實(shí)施方式，概念100的多個塊可以被劃分為額外的塊、組合成更少的塊或被移除。概念100可以由控制邏輯、一個或多個處理器和/或電子裝置來實(shí)現(xiàn)，其中的每個可以在由適當(dāng)?shù)墓碳?、軟件?或中間件來操作的硬件中實(shí)現(xiàn)。為了說明的目的而非限制本發(fā)明，以下描述的概念100可在電子裝置(例如，智能手機(jī)，平板電腦或膝上型計(jì)算機(jī))中實(shí)施的處理器(數(shù)字信號處理器(dsp)、應(yīng)用處理器(ap)等)的情況下提供。

在方框110中，概念100可以包括處理器，基于聲音數(shù)據(jù)102和用戶運(yùn)動數(shù)據(jù)104執(zhí)行用于實(shí)現(xiàn)一個或多個音頻效果的物理模擬。聲音數(shù)據(jù)102可以包括，例如，來自一個或多個聲源的聲音的音頻數(shù)據(jù)，以及該一個或多個聲源中的每一個的運(yùn)動的運(yùn)動數(shù)據(jù)。用戶運(yùn)動數(shù)據(jù)104可以包括，例如，用戶頭部運(yùn)動的運(yùn)動數(shù)據(jù)(例如，由用戶佩戴的vr頭盔的運(yùn)動來表示)。在多普勒效應(yīng)的情況下，物理模擬的結(jié)果可以包括關(guān)于來自一個或多個聲源中的每一個的聲音的頻率偏移類型和偏移程度。概念100可以從方框110進(jìn)行到方框120。

在方框120處，概念100可以包括處理器，使用物理學(xué)模擬的結(jié)果(例如，多普勒效應(yīng)的頻率偏移類型和偏移程度)，執(zhí)行信號處理以生成音頻輸出106，音頻輸出106可以是聲音輸出以發(fā)送到用戶佩戴的vr頭盔的左耳機(jī)和右耳機(jī)的揚(yáng)聲器。例如，概念100可以包括處理器可以執(zhí)行關(guān)于信號處理的重采樣、樣本渲染和樣本混合。在多普勒效應(yīng)的情況下，概念100下的信號處理可以包括根據(jù)頻率偏移類型和偏移程度，通過重采樣來修改、調(diào)整或以其它方式修改音頻樣本。

圖2是根據(jù)本發(fā)明的實(shí)施方式的示例場景200的示意圖。場景200表示關(guān)于多普勒效應(yīng)的物理模擬的物理模擬和重采樣的場景。關(guān)于物理模擬，可以從每個聲源擴(kuò)展(spread)音頻樣本，并且這種處理被稱為樣本擴(kuò)展(samplespreading)。擴(kuò)展原點(diǎn)(spreadingorigin)是聲源發(fā)射樣本的位置。擴(kuò)展速度等于聲速。音頻樣本的擴(kuò)展位置形成波前(wavefront)，其指示音頻樣本可被用戶聽到的最大范圍。

在場景200中，聲源以恒定速度移動，并且在時間點(diǎn)t1、t2、t3、t4和t5中的每一個時間點(diǎn)由聲源發(fā)射相應(yīng)的音頻樣本。因此，t5和t4之間的時間間隔、t4和t3之間的時間間隔、t3和t2之間的時間間隔、以及t2和t1之間的時間間隔相等。聲速可以由方程來表示，聲速＝d/(t5–t4)，其中d表示兩個樣本之間的距離或擴(kuò)展量。場景200的部分(a)是在時間點(diǎn)t4已經(jīng)生成和展開的由樣本-1、樣本-2和樣本-3表示的三個波前。場景200的部分(b)是在時間點(diǎn)t5已經(jīng)生成和展開的由樣本-1、樣本-2、樣本-3和樣本4表示的四個波前。

圖3是根據(jù)本發(fā)明的實(shí)施方式的示例場景300的示意圖。場景300表示關(guān)于多普勒效應(yīng)的重采樣的場景。在重采樣中，跟蹤每個聲源的運(yùn)動、樣本擴(kuò)展波前和在虛擬現(xiàn)實(shí)環(huán)境(virtualrealitysetting)中用戶的運(yùn)動，以便確定頻率偏移類型(例如，向上偏移或向下偏移)。然后，基于所確定的頻率偏移類型對音頻數(shù)據(jù)或音頻樣本進(jìn)行重采樣。

在場景300的部分(a)中，聲源停留不動或以其它方式靜止。因此，不需要重采樣，因?yàn)橐纛l樣本不會比采樣率更快或更慢地到達(dá)。在場景300的部分(b)中，聲源以恒定速度移動。在聲源遠(yuǎn)離觀察者的情況下，音頻樣本將比原始聲音的采樣率更慢地到達(dá)。因此，可以通過上采樣來實(shí)現(xiàn)頻率向下偏移，以保持采樣率。在聲源移動得更靠近觀察者的情況下，音頻樣本將比原始聲音的采樣率更快地到達(dá)。因此，可以通過下采樣來實(shí)現(xiàn)頻率向上偏移，以保持采樣率。

圖4是根據(jù)本發(fā)明的實(shí)施方式的示例場景400的示意圖。場景400表示關(guān)于多普勒效應(yīng)的下采樣和上采樣的場景。場景400的部分(a)顯示了一系列的輸入音頻樣本。場景400的部分(b)顯示了在輸入音頻樣本更快地到達(dá)(例如，當(dāng)聲源移動更接近觀察者時)的情況下，相對于輸入音頻樣本的輸出樣本。場景400的部分(c)顯示了在輸入音頻樣本到達(dá)較慢(例如，當(dāng)聲源移動離開觀察者時)的情況下，相對于輸入音頻樣本的輸出樣本。場景400的部分(d)顯示了在輸入音頻樣本更快到達(dá)的情況下，對輸入音頻樣本的下采樣，以實(shí)現(xiàn)部分(b)中的輸出樣本。場景400的部分(e)顯示了在輸入音頻樣本到達(dá)較慢的情況下，對輸入音頻樣本的上采樣，以實(shí)現(xiàn)部分(c)中的輸出樣本。

圖5是根據(jù)概念100的實(shí)施方式的示例方案500的示意圖。圖6-圖10是根據(jù)方案500的實(shí)現(xiàn)的相應(yīng)的示例場景的示意圖。因此，下面參照圖6-圖10來描述方案500。

在方案500下，可以執(zhí)行或以其他方式執(zhí)行多個任務(wù)以實(shí)現(xiàn)一個或多個音頻效果。在圖5所示的例子中，在概念100的方框110中作為物理模擬以模擬多普勒效應(yīng)的情況下，方案500可以包括執(zhí)行以下任務(wù)以完成多普勒效應(yīng)的實(shí)現(xiàn)：(1)樣本波前生成，(2)波前擴(kuò)展，(3)頻率偏移類型的確定，(4)重采樣，(5)樣本渲染，以及(6)樣本混合。在方案500中，調(diào)度器510可以用于確定執(zhí)行每個任務(wù)的適當(dāng)時機(jī)并且觸發(fā)其執(zhí)行。在方案500中，定時器520還可以用于向調(diào)度器510提供時間信息。當(dāng)觸發(fā)任務(wù)的執(zhí)行時，調(diào)度器510可以提供一個或多個聲源的vr內(nèi)容的數(shù)據(jù)530、以及用戶的vr內(nèi)容的數(shù)據(jù)540，以作為任務(wù)的輸入。例如，在方案500中實(shí)現(xiàn)概念100時，一個或多個聲源的vr內(nèi)容的數(shù)據(jù)530可以是圖1所示的聲音數(shù)據(jù)102。類似地，在方案500中的實(shí)現(xiàn)概念100時，用戶的vr內(nèi)容的數(shù)據(jù)540可以是圖1所示的用戶運(yùn)動數(shù)據(jù)104。數(shù)據(jù)530可以包括，例如但不限于，關(guān)于一個或多個聲源中的每一個的音頻樣本和聲音運(yùn)動(例如，位置和速度)。數(shù)據(jù)540可以包括，例如但不限于，用戶的用戶運(yùn)動(例如，位置和速度)。執(zhí)行這些任務(wù)的結(jié)果是，樣本波前550和音頻輸出560的生成。在一些實(shí)施方式中，可以以軟件的形式實(shí)現(xiàn)調(diào)度器510和定時器520中的任一個或兩者。或者，調(diào)度器510和定時器520中的任一個或兩者可以以硬件的形式實(shí)現(xiàn)。

在一些實(shí)施方式中，根據(jù)本發(fā)明，調(diào)度器510可以通過時間軸的概念來實(shí)現(xiàn)，并且時間軸可以用于模擬隨時間變化的行為。在時間軸的概念下，多個任務(wù)的執(zhí)行可以被視為一流程(aprocess)，并且執(zhí)行流程的時間可以被劃分為多個小的時間片段或時間段。代替直接執(zhí)行整個流程，可以通過將流程劃分為多個子流程來執(zhí)行給定的流程，并且可以在相應(yīng)的時間段觸發(fā)每個子流程的執(zhí)行。每個子流程可以對應(yīng)于相應(yīng)的任務(wù)。關(guān)于用于實(shí)現(xiàn)多普勒效應(yīng)的任務(wù)，每個任務(wù)可以被看作或被視為調(diào)度器510的流程。此外，每個子流程的行為可以在其相應(yīng)的時間段期間被調(diào)整。例如，可以響應(yīng)于vr設(shè)置中的用戶的運(yùn)動和/或一個或多個聲源的運(yùn)動來調(diào)整子流程的行為。鑒于上述，調(diào)度器510是用于實(shí)現(xiàn)vr應(yīng)用的實(shí)時音頻渲染的方案500中的關(guān)鍵。

時間軸的概念可以參考如圖6-10所示的場景600、700、800、900和1000來詳細(xì)解釋。在場景600中，可以沿時間軸利用時間刻度(timetick)以指示時間單位(例如，前述時間段)。每個時間刻度可以對應(yīng)于一個或多個子流程的執(zhí)行。在一些實(shí)施方式中，每個子流程可以由相應(yīng)的代碼集來實(shí)現(xiàn)，并且因此給定子流程的執(zhí)行可以包括相應(yīng)代碼集的執(zhí)行。在執(zhí)行給定子流程之后，可以生成一個或多個子流程以在某個未來時間刻度插回到時間軸中。在一些實(shí)施方式中，子流程集合和所生成的子流程可以形成完整的流程。另外，生成子流程的方式可以定義整個流程的行為。值得注意的是，對時間刻度之間的間隔沒有限制。例如，但不限于，間隔可以是1秒、1毫秒或1/48毫秒。間隔的確切值可以取決于具體實(shí)現(xiàn)的要求。

場景700是定時器520和調(diào)度器510的執(zhí)行流程之間的工作關(guān)系的示意圖。在場景700中，對于每個時間刻度，調(diào)度器510可以執(zhí)行與所關(guān)注的時間刻度相對應(yīng)的一個或多個子流程，并且可選地，生成一個或多個子流程以供將來執(zhí)行。調(diào)度器510還可以沿著時間軸將所生成的子流程插入未來的目標(biāo)時間刻度中。然后，調(diào)度器510可以根據(jù)由定時器520提供的時間信息，通過等待直到該時間到達(dá)來繼續(xù)到下一時間刻度。例如，調(diào)度器510將在沒有用于執(zhí)行的子流程的那些時間刻度中進(jìn)行等待而不執(zhí)行。

場景800是執(zhí)行作為子流程的任務(wù)的示意圖。在圖1所示的例子中，如圖8所示，對于時間軸上的給定時間刻度，可以執(zhí)行多個子流程(或任務(wù))以實(shí)現(xiàn)多普勒效應(yīng)，包括：樣本波前生成、頻率偏移類型的確定或檢查、重采樣(下采樣或上采樣)、樣本渲染和樣本混合。在執(zhí)行樣本波前生成的子流程之后，可以生成波前擴(kuò)展的子流程，并將其插入到隨后的時間刻度中。這可以對多個樣本執(zhí)行。值得注意的是，在子流程的執(zhí)行期間，調(diào)度器510可以繼續(xù)提供關(guān)于一個或多個聲源的更新的vr內(nèi)容以及用戶的vr內(nèi)容的新數(shù)據(jù)530和新數(shù)據(jù)540。另外，可以生成新的樣本波前550。

在一些實(shí)施方案中，可為時間軸利用較高分辨率(例如，每兩個相鄰時間刻度之間的較短間隔)。例如，對于48khz的音頻輸出，每兩個相鄰時間刻度之間的間隔可以是1/48毫秒，以便滿足采樣率。

在方案500中，對于每個聲源，樣本波前生成的任務(wù)可以在每個時間刻度(例如，在場景800中的時間刻度t1、t2、t3、t4等)處生成音頻樣本的波前。也就是說，每個波前可以被映射到用于一個或多個聲源的vr內(nèi)容的數(shù)據(jù)530的音頻數(shù)據(jù)中的特定音頻樣本。對于每個生成的波前，波前擴(kuò)展的任務(wù)可以基于聲速(例如，在場景800中的時間刻度t2、t3、t4等等處)擴(kuò)展波前位置。此外，當(dāng)波前的擴(kuò)展半徑超過用戶在vr設(shè)置中可以聽到聲音的可聽范圍時，方案500可以停止維持給定波前。值得注意的是，在波前擴(kuò)展的模擬期間，聲音的傳輸時間也可以同時被模擬。因此，本文中關(guān)于波前擴(kuò)展的模擬的描述也可以應(yīng)用于聲音的傳輸時間的模擬。因此，為了簡潔起見，不重復(fù)這樣的描述以避免冗余。

在方案500中，確定(或檢查)頻率偏移類型的任務(wù)可以觀察用戶附近的波前，以確定該類型是向上偏移還是向下偏移，并且該任務(wù)可以在每個時間刻度(例如，在場景800中的時間刻度t1、t2、t3、t4等處)執(zhí)行。例如，當(dāng)多個波前命中(hit)用戶時，頻率偏移類型可以被確定為向上偏移。作為另一示例，當(dāng)沒有波前命中用戶并且在用戶的可聽范圍中存在波前時，頻率偏移類型可以被確定為向下偏移。

在方案500中，重采樣的任務(wù)可以對音頻樣本進(jìn)行重采樣以滿足輸出采樣率，并且該任務(wù)可以在每個時間刻度(例如，在場景800中的時間刻度t1、t2、t3、t4等處)執(zhí)行。例如，可以基于命中波前來執(zhí)行下采樣，以生成具有更高頻率的樣本。相反，可以基于用戶的可聽范圍中的波前來執(zhí)行上采樣，以生成具有較低頻率的樣本。值得注意的是，由于一個或多個聲源和的運(yùn)動用戶的運(yùn)動可能隨時間不斷變化，因此沒有用于重采樣的固定結(jié)果數(shù)量的樣本。

在方案500中，樣本渲染的任務(wù)可以對一個或多個音頻效果的重采樣樣本執(zhí)行濾波，以生成每個聲源的最終樣本，并且該任務(wù)可以在每個時間刻度(例如，在場景800中的時間刻度t1、t2、t3、t4等處)執(zhí)行。一個或多個音頻效果可以包括，例如但不限于，方向、混響、衰減、遮擋和多普勒效應(yīng)。

在方案500中，樣本混合的任務(wù)可以混合來自所有聲源的最終樣本，以生成音頻輸出560，并且該任務(wù)可以在每個時間刻度(例如，在場景800中的時間刻度t1、t2、t3、t4等處)執(zhí)行。在一些實(shí)施方式中，音頻輸出560可以至少表示由用戶佩戴的vr頭盔中的耳機(jī)的左和右音軌或揚(yáng)聲器。

場景900是根據(jù)本發(fā)明的時間軸的替代使用的示意圖。在場景900中，樣本波前生成的任務(wù)可以為一音頻樣本集合而不是一個音頻樣本來生成一個波前。也就是說，每個波前可以表示一音頻樣本集合。因此，可基于音頻樣本集合來執(zhí)行重采樣的任務(wù)。

在一些實(shí)施方案中，較低分辨率(例如，每兩個相鄰時間刻度之間的較長間隔)可用于時間軸。例如，對于48khz的音頻輸出，每兩個相鄰時間刻度之間的間隔可以是1毫秒，以便滿足采樣率。為了使用較低的分辨率，每個子流程可以一次操作一音頻樣本集合而不是單個音頻樣本。

場景1000是根據(jù)本發(fā)明的方案500的附加特征的示意圖。

場景1000的部分(a)是在方案500下的附加任務(wù)。例如，用戶運(yùn)動更新的任務(wù)可以包括在每個時間刻度處的多個子流程，以提取關(guān)于用戶的運(yùn)動的信息，包括由用戶佩戴的頭戴裝置感測的頭部方向以及vr設(shè)置中的用戶位置。另外，聲音運(yùn)動更新的任務(wù)可以包括在每個時間刻度處的多個子流程，以模擬聲音的移動行為，例如但不限于，具有恒定速度的直線路徑(straightlinepath)或具有變化速度的環(huán)路(circularpath)。

場景1000的部分(b)是可以在相同時間刻度處并行執(zhí)行的獨(dú)立子流程以及獨(dú)立流程。例如，多核處理器的多個核的計(jì)算能力可以用于并行執(zhí)行多個子流程/流程。

圖11是根據(jù)本發(fā)明的實(shí)施方式的示例場景1100的示意圖。場景1100表示在方案500下的頻率向上偏移的場景。場景1100的部分(a)對應(yīng)于較早的時間刻度，而場景1100的部分(b)對應(yīng)于稍后的時間刻度。在場景1100的部分(a)中，方案500可以包括生成波前并保持波前的軌跡。方案500還可以包括基于聲速來擴(kuò)展每個波前。在場景1100的部分(b)中，第一音頻樣本和第二音頻樣本的波前可以命中在vr設(shè)置中用戶。因此，方案500可以包括基于兩個樣本來執(zhí)行下采樣以輸出多普勒效應(yīng)的一個正確的樣本。

圖12是根據(jù)本發(fā)明的實(shí)施方式的示例場景1200的示意圖。場景1200表示在方案500下的頻率向下偏移的場景。場景1200的部分(a)對應(yīng)于較早的時間刻度，而場景1200的部分(b)對應(yīng)于稍后的時間刻度。在場景1200的部分(a)中，方案500可以包括生成波前并保持波前的軌跡。方案500還可以包括基于聲速來擴(kuò)展每個波前。在場景1200的部分(b)中，在第一音頻樣本的波前命中用戶之后，第二音頻樣本的波前可能不會命中用戶，因?yàn)槁曉纯赡苷谝苿舆h(yuǎn)離用戶。為了輸出下一個樣本，方案500可以包括在用戶的可聽范圍(例如，最接近的波前)中找到波前，并且基于已經(jīng)命中用戶的先前波前和最接近的波前的音頻樣本來執(zhí)行上采樣。

說明性實(shí)施方式

圖13是根據(jù)本發(fā)明的實(shí)施方式的示例裝置1300。裝置1300可執(zhí)行各種功能以實(shí)現(xiàn)本文所述的關(guān)于虛擬現(xiàn)實(shí)的增強(qiáng)的音頻效果實(shí)現(xiàn)的方案、技術(shù)、過程和方法，所述虛擬現(xiàn)實(shí)包括概念100、方案500和場景200、300、400、600、700、800、900、1000、1100和1200、以及下面描述的流程1500。裝置1300可以是電子裝置的一部分，其可以是便攜式或移動裝置、可穿戴裝置、無線通信裝置或計(jì)算裝置。例如，裝置1300可以在智能電話、智能手表、個人數(shù)字助理、數(shù)字照相機(jī)或例如平板計(jì)算機(jī)、膝上型計(jì)算機(jī)、筆記本計(jì)算機(jī)、臺式計(jì)算機(jī)或服務(wù)器的計(jì)算裝置中實(shí)現(xiàn)。或者，裝置1300可以以一個或多個集成電路芯片的形式來實(shí)現(xiàn)，例如但不限于，一個或多個單核處理器、一個或多個多核處理器或一個或多個復(fù)雜指令集計(jì)算(complex-instruction-set-computing，cisc)處理器。裝置1300可以包括至少圖13所示的那些組件，例如處理器1305。裝置1300還可以包括與本發(fā)明的所提出的方案不相關(guān)的一個或多個其他組件(例如，內(nèi)部電源、通信裝置、顯示裝置和/或用戶接口裝置)，并且，因此，為了簡單和簡潔起見，這樣的組件在圖13中未示出，下面也未描述。例如，在一些實(shí)施方式中，裝置1300可以是vr相關(guān)裝置，并且還可以包括例如頭戴式裝置、聽筒(或耳機(jī))和一個或多個傳感器(例如，加速度計(jì)、陀螺儀、圖像傳感器、紅外傳感器、超聲傳感器等)。為了簡潔起見，由于裝置1300可以在各種應(yīng)用中實(shí)現(xiàn)，所以這里未示出或描述這樣的附加組件。

一方面，處理器1305可以以一個或多個單核處理器、一個或多個多核處理器、或者一個或多個cisc處理器的形式實(shí)現(xiàn)。也就是說，盡管本文中使用單數(shù)術(shù)語“處理器”來指代處理器1305，但是根據(jù)本發(fā)明，處理器1305可以在一些實(shí)施方式中包括多個處理器，而在其他實(shí)現(xiàn)中可以包括單個處理器。另一方面，處理器1305可以以具有電子組件的硬件(可選地，以及固件)的形式來實(shí)現(xiàn)，電子組件包括，例如但不限于，一個或多個晶體管、一個或多個二極管、一個或多個電容器、一個或多個電阻器、一個或多個電感器、一個或多個憶阻器和/或一個或多個變?nèi)荻O管，其用于實(shí)現(xiàn)根據(jù)本發(fā)明的特定目的。換句話說，在至少一些實(shí)施方式中，處理器1305是專門設(shè)計(jì)、用于根據(jù)本發(fā)明的各種實(shí)施方式執(zhí)行包括用于虛擬現(xiàn)實(shí)的增強(qiáng)音頻效果實(shí)現(xiàn)的特定任務(wù)的專用機(jī)器。

處理器1305可以包括模擬電路1310和耦接到模擬電路1310的信號處理電路1320。模擬電路1310可以接收虛擬現(xiàn)實(shí)環(huán)境中的數(shù)據(jù)。該數(shù)據(jù)可以與來自一個或多個聲源的音頻樣本、一個或多個聲源的運(yùn)動以及用戶的運(yùn)動相關(guān)。模擬電路1310可以基于接收的數(shù)據(jù)執(zhí)行物理模擬以實(shí)現(xiàn)一個或多個音頻效果。信號處理電路1320可以使用物理模擬的結(jié)果來執(zhí)行信號處理。信號處理電路1320還可以使用信號處理的結(jié)果來生成音頻輸出。

在一些實(shí)施方式中，在執(zhí)行用于實(shí)現(xiàn)一個或多個音頻效果的物理模擬時，模擬電路1310可以執(zhí)行多個操作。例如，模擬電路1310可以生成音頻樣本的樣本波前。另外，模擬電路1310可以擴(kuò)展樣本波前。此外，模擬電路1310可以基于在虛擬現(xiàn)實(shí)環(huán)境中在用戶附近觀察到的樣本波前中的相應(yīng)一個來確定每個音頻樣本的頻率偏移類型和偏移程度。

在一些實(shí)施方案中，在執(zhí)行信號處理時，信號處理電路1320可以執(zhí)行若干操作。例如，對于一個或多個聲源的每個聲源，信號處理電路1320可以根據(jù)相應(yīng)的頻率偏移類型和相應(yīng)的偏移程度對每個音頻樣本重采樣，以提供重采樣的音頻樣本。此外，對于一個或多個聲源的每個聲源，信號處理電路1320可以通過對一個或多個音頻效果進(jìn)行濾波，對重采樣的音頻樣本執(zhí)行樣本渲染，以提供最終樣本。此外，信號處理電路1320可以混合來自一個或多個聲源的最終樣本以生成音頻輸出。

在一些實(shí)施方案中，每一樣本波前可表示音頻樣本的相應(yīng)樣本集合。在這種情況下，在對每個音頻樣本進(jìn)行重采樣時，信號處理電路1320可以對音頻樣本的多個樣本集合進(jìn)行重采樣。

在一些實(shí)施方式中，在執(zhí)行用于實(shí)現(xiàn)一個或多個音頻效果的物理模擬時，模擬電路1310可以模擬與在虛擬現(xiàn)實(shí)環(huán)境中用戶經(jīng)歷的多普勒效應(yīng)有關(guān)的物理學(xué)，以獲得關(guān)于每個音頻樣本的頻率偏移類型和偏移程度的信息。在一些實(shí)施方案中，在執(zhí)行信號處理時，信號處理電路1320可以通過根據(jù)每一音頻樣本的相應(yīng)的頻率偏移類型和相應(yīng)的偏移程度，對音頻樣本進(jìn)行重采樣，來修正音頻樣本。

在一些實(shí)施方式中，在執(zhí)行用于實(shí)現(xiàn)一個或多個音頻效果的物理模擬時，模擬電路1310可以模擬一個或多個聲源的一個或多個行為以及用戶的一個或多個行為沿時間軸隨著時間的改變。

在一些實(shí)施方式中，在模擬一個或多個聲源的一個或多個行為以及用戶的一個或多個行為沿時間軸隨著時間的改變時，模擬電路1310可以執(zhí)行多個的任務(wù)以實(shí)現(xiàn)在虛擬現(xiàn)實(shí)環(huán)境中用戶經(jīng)歷的多普勒效應(yīng)。例如，模擬電路1310可以生成音頻樣本的樣本波前。另外，模擬電路1310可以擴(kuò)展樣本波前。另外，模擬電路1310可以基于在虛擬現(xiàn)實(shí)環(huán)境中在用戶附近觀察到的樣本波前中的相應(yīng)一個，來確定每個音頻樣本的頻率偏移類型和偏移程度。對于一個或多個聲源中的每個聲源，信號處理電路1320可以根據(jù)相應(yīng)的頻率偏移類型和相應(yīng)的偏移程度來對每個音頻樣本重采樣，以提供重采樣的音頻樣本。此外，對于一個或多個聲源中的每個聲源，信號處理電路1320可以通過對一個或多個音頻效果進(jìn)行濾波來對重采樣的音頻樣本執(zhí)行樣本渲染，以提供最終樣本。此外，信號處理電路1320可以混合來自一個或多個聲源的最終樣本以生成音頻輸出。在一些實(shí)施方式中，調(diào)度器(例如調(diào)度器510)可以根據(jù)來自定時器(例如，定時器520)的時間信息，來確定用于執(zhí)行每個任務(wù)的時機(jī)并觸發(fā)執(zhí)行。

在一些實(shí)施方式中，在執(zhí)行多個任務(wù)以實(shí)現(xiàn)在虛擬現(xiàn)實(shí)環(huán)境中用戶經(jīng)歷的多普勒效應(yīng)時，模擬電路1310可以執(zhí)行多個操作。例如，模擬電路1310可以將每個任務(wù)的流程劃分為相應(yīng)的多個子流程，使得每個子流程對應(yīng)于沿著時間軸的多個時間段中的相應(yīng)時間段。另外，模擬電路1310可以根據(jù)在相應(yīng)時間段期間一個或多個聲源的運(yùn)動和用戶的運(yùn)動來調(diào)整每個子流程。

在一些實(shí)施方式中，在模擬一個或多個聲源的一個或多個行為以及用戶的一個或多個行為沿時間軸隨著時間的改變時，模擬電路1310可以通過執(zhí)行多個操作，來執(zhí)行多個任務(wù)，以實(shí)現(xiàn)在虛擬現(xiàn)實(shí)環(huán)境中用戶經(jīng)歷的多普勒效應(yīng)。例如，模擬電路1310可以將每個任務(wù)的流程劃分為相應(yīng)的多個子流程，使得每個子流程對應(yīng)于沿著時間軸的多個時間段中的相應(yīng)時間段。在每個時間段期間，模擬電路1310可以執(zhí)行的操作包括：執(zhí)行相應(yīng)的子流程；確定是否要生成沿時間軸在時間上稍晚的一個或多個目標(biāo)時間段的下一個子流程；響應(yīng)于所述確定操作的肯定結(jié)果，生成所述下一個子流程；將所述下一個子流程插入到所述一個或多個目標(biāo)時間段中；在所述一個或多個目標(biāo)時間段到達(dá)時執(zhí)行所述下一個子流程；基于與所述時間段的用戶的運(yùn)動相關(guān)的數(shù)據(jù)來更新所述用戶的運(yùn)動；以及基于與所述時間段的所述一個或多個聲源的運(yùn)動相關(guān)的數(shù)據(jù)來更新所述一個或多個聲源中的每一個的相應(yīng)運(yùn)動。在一些實(shí)施方式中，可以并行執(zhí)行用戶的運(yùn)動的更新和一個或多個聲源中的每一個的相應(yīng)運(yùn)動的更新。

圖14是根據(jù)本發(fā)明的實(shí)施方式的示例裝置1400的框圖。裝置1400可執(zhí)行各種功能以實(shí)施本文所述的關(guān)于虛擬現(xiàn)實(shí)的增強(qiáng)的音頻效果實(shí)現(xiàn)的方案、技術(shù)、流程和方法，所述虛擬現(xiàn)實(shí)包括概念100、方案500和場景200、300、400、600、700、800、900、1000、1100和1200以及下面描述的流程1500。裝置1400可以是電子裝置的一部分，其可以是便攜式或移動裝置、可穿戴裝置、無線通信裝置或計(jì)算裝置。例如，裝置1400可以在智能電話、智能手表、個人數(shù)字助理、數(shù)字相機(jī)或例如平板計(jì)算機(jī)、膝上型計(jì)算機(jī)、筆記本計(jì)算機(jī)、臺式計(jì)算機(jī)或服務(wù)器的計(jì)算裝置中實(shí)現(xiàn)。裝置1400還可以包括與本發(fā)明的所提出的方案不相關(guān)的一個或多個其他組件(例如，內(nèi)部電源、通信裝置、顯示裝置和/或用戶接口裝置)，并且為了簡潔和簡潔起見，這樣的組件在圖14中均未示出，下面也未描述。例如，在一些實(shí)施方式中，裝置1400可以是vr相關(guān)裝置，并且還可以包括例如頭戴式裝置、聽筒(或耳機(jī))以及一個或多個傳感器(例如，加速度計(jì)、陀螺儀、圖像傳感器、紅外傳感器、超聲傳感器等)。為了簡潔起見，由于裝置1400可以在各種應(yīng)用中實(shí)現(xiàn)，所以這里未示出或描述這樣的附加組件。

裝置1400可以包括圖14中所示的那些組件中的一個，一些或全部，例如處理器1410(例如，數(shù)字信號處理器(dsp)或應(yīng)用處理器(ap))。裝置1400還可以包括與本發(fā)明的所提出的方案不相關(guān)的一個或多個其他組件(例如，內(nèi)部電源、通信裝置、顯示裝置和/或用戶接口裝置)，并且為了簡潔和簡潔起見，這樣的組件在圖14中均未示出，下面也未描述。處理器1410(在圖14中標(biāo)記為“dsp”，盡管處理器1410在各種實(shí)現(xiàn)中可以是不同類型的處理器)可以是處理器1305的示例實(shí)現(xiàn)。因此，與處理器1305及其組件相關(guān)的特征、功能和描述適用于處理器1410，并且在此不再重復(fù)以避免冗余。處理器1410可以通過利用如上面在場景600-1000中描述的時間軸1450來執(zhí)行操作或以其它方式執(zhí)行流程、子流程和/或任務(wù)。

在一些實(shí)施方案中，裝置1400還可包括音頻組件1420，其可表示來自處理器1410的輸出音頻樣本的集合。雖然展示為與處理器1410相分離，但在一些實(shí)施方案中，音頻組件1420可以位于處理器1410中。在一些其它實(shí)施方案中，音頻組件1420可位于存儲器或存儲裝置(未圖示)中。附加地或可替代地，裝置1400可以包括傳感器集線器(sensorhub)1430和多個傳感器1435(1)-1435(n)。例如，傳感器1435(1)-1435(n)可以包括一個或多個加速度計(jì)和/或一個或多個陀螺儀，以感測用戶的運(yùn)動(例如，用戶頭部的運(yùn)動)，其可以表示為由用戶佩戴的頭盔的運(yùn)動。傳感器集線器1430可以從傳感器1435(1)-1435(n)收集數(shù)據(jù)并且將收集的數(shù)據(jù)作為用戶的運(yùn)動的數(shù)據(jù)提供給處理器1410。有利地，使用例如用于傳感器數(shù)據(jù)的傳感器集線器1430和用于實(shí)現(xiàn)所提出的方案(例如，方案500)的dsp來作為處理器1410的低級單元(low-levelunits)，可以減少通常與高級和低級計(jì)算單元之間的通信相關(guān)的延遲時間(latency)。在一些實(shí)現(xiàn)中，裝置1400還可以包括并行執(zhí)行流程/子流程的一個或多個并行計(jì)算單元1440(例如，多核處理器的一個或多個核)。

圖15是根據(jù)本發(fā)明的實(shí)現(xiàn)的示例流程1500。關(guān)于根據(jù)本發(fā)明的用于虛擬現(xiàn)實(shí)的增強(qiáng)的音頻效果實(shí)現(xiàn)，無論是部分地還是完全地，流程1500可以是概念100、方案500以及場景200、300、400、600、700、800、900、1000、1100和1200中的任一個的示例實(shí)現(xiàn)。流程1500可以表示裝置1300和裝置1400的特征的實(shí)現(xiàn)一方面。流程1500可以包括如方框1510、1520、1530和1540中的一個或多個所示的一個或多個操作、動作或功能。盡管表示為離散的方框，根據(jù)期望的實(shí)現(xiàn)，流程1500的各個方框可以被劃分為額外的方框、組合成更少的方框或者被移除。此外，流程1500的方框可以以圖15中所示的順序來執(zhí)行。或者，以不同的順序來執(zhí)行。流程1500可以由裝置1300和/或裝置1400來實(shí)施。僅為了說明的目的而非限制，流程1500在由裝置1400實(shí)施的情況下，描述如下。流程1500可以從方框1510或方框1520開始。

在方框1510中，流程1500可以包括裝置1400的處理器1410(例如，從傳感器集線器1430)接收在虛擬現(xiàn)實(shí)環(huán)境中的數(shù)據(jù)。數(shù)據(jù)可以與來自一個或多個聲源的音頻樣本、一個或多個聲源的運(yùn)動以及用戶的運(yùn)動相關(guān)。流程1500可以從方框1510前進(jìn)到方框1520。

在方框1520中，流程1500可以包括處理器1410基于接收的數(shù)據(jù)執(zhí)行物理模擬以實(shí)現(xiàn)一個或多個音頻效果。流程1500可以從方框1520前進(jìn)到方框1530。

在方框1530中，流程1500可以包括處理器1410使用物理模擬的結(jié)果來執(zhí)行信號處理。流程1500可以從前進(jìn)1530前進(jìn)到前進(jìn)1540。

在方框1540中，流程1500可以包括處理器1410使用信號處理的結(jié)果來生成音頻輸出(例如，輸出到音頻組件1420)。

在一些實(shí)施方式中，在執(zhí)行用于實(shí)現(xiàn)一個或多個音頻效果的物理模擬時，流程1500可以包括處理器1410執(zhí)行多個操作。例如，流程1500可以包括處理器1410生成音頻樣本的樣本波前、擴(kuò)展樣本波前、以及基于觀察到的在虛擬現(xiàn)實(shí)環(huán)境中靠近用戶的樣本波前中的相應(yīng)一個來確定每個音頻樣本的頻率偏移類型和偏移程度。

在一些實(shí)施方式中，在執(zhí)行信號處理時，流程1500可以包括處理器1410執(zhí)行多個操作。例如，對于一個或多個聲源中的每個聲源，流程1500可以包括處理器1410根據(jù)相應(yīng)的頻率偏移類型和相應(yīng)的偏移程度對每個音頻樣本進(jìn)行重采樣，以提供重采樣的音頻樣本。此外，對于一個或多個聲源中的每個聲源，流程1500可以包括處理器1410通過對一個或多個音頻效果進(jìn)行濾波來對重采樣的音頻樣本執(zhí)行樣本渲染，以提供最終樣本。此外，流程1500可以包括處理器1410混合來自一個或多個聲源的最終樣本以生成音頻輸出。

在一些實(shí)施方案中，樣本波前中的每一個可表示音頻樣本的相應(yīng)樣本集合。在這種情況下，在對每個音頻樣本進(jìn)行重采樣中，流程1500可以包括處理器1410對音頻樣本的多個樣本集合進(jìn)行重采樣。

在一些實(shí)施方式中，在執(zhí)行用于實(shí)現(xiàn)一個或多個音頻效果的物理模擬時，流程1500可以包括處理器1410模擬與在虛擬現(xiàn)實(shí)環(huán)境中用戶經(jīng)歷的多普勒效應(yīng)有關(guān)的物理學(xué)，以獲得關(guān)于每個音頻樣本的頻率偏移類型和偏移程度。此外，在執(zhí)行信號處理時，流程1500可以包括處理器1410通過根據(jù)每個音頻樣本的相應(yīng)的頻率偏移類型和相應(yīng)的偏移程度來對音頻樣本進(jìn)行重采樣，來修正音頻樣本。

在一些實(shí)施方式中，頻率偏移類型可以包括向上偏移或向下偏移。向上偏移可以歸因于虛擬現(xiàn)實(shí)環(huán)境中的用戶與一個或多個聲源中的至少一個之間的距離的減小。向下偏移可以歸因于在虛擬現(xiàn)實(shí)環(huán)境中的用戶與一個或多個聲源中的至少一個之間的距離增加。

在一些實(shí)施方式中，在執(zhí)行用于實(shí)現(xiàn)一個或多個音頻效果的物理模擬時，流程1500可以包括處理器1410模擬一個或多個聲源的一個或多個行為以及用戶的一個或多個行為沿時間軸隨著時間的改變。

在一些實(shí)施方式中，在模擬一個或多個聲源的一個或多個行為以及用戶的一個或多個行為沿時間軸隨著時間的改變時，流程1500可以包括處理器1410執(zhí)行多個操作。例如，流程1500可以包括處理器1410執(zhí)行多個任務(wù)以實(shí)現(xiàn)在虛擬現(xiàn)實(shí)環(huán)境中用戶經(jīng)歷的多普勒效應(yīng)。多個任務(wù)可以包括：生成音頻樣本的樣本波前；擴(kuò)展樣本波前；基于在所述虛擬現(xiàn)實(shí)環(huán)境中在所述用戶附近觀察到的樣本波前中的相應(yīng)一個來確定每個所述音頻樣本的頻率偏移類型和偏移程度；對于所述一個或多個聲源中的每個聲源，根據(jù)相應(yīng)的頻率偏移類型和相應(yīng)的偏移程度對每個音頻樣本進(jìn)行重采樣，以提供重采樣的音頻樣本；對于所述一個或多個聲源中的每個聲源，通過對所述一個或多個音頻效果進(jìn)行濾波來對所述重采樣的音頻樣本執(zhí)行樣本渲染，以提供最終樣本；以及混合來自所述一個或多個聲源的最終樣本以生成音頻輸出?？梢允褂谜{(diào)度器和定時器，使得調(diào)度器可以用于基于來自定時器的時間信息來確定用于執(zhí)行每個任務(wù)的時機(jī)并觸發(fā)執(zhí)行。

在一些實(shí)施方式中，在執(zhí)行多個任務(wù)以實(shí)現(xiàn)在虛擬現(xiàn)實(shí)環(huán)境中用戶經(jīng)歷的多普勒效應(yīng)時，流程1500可以包括處理器1410將每個任務(wù)的流程劃分成相應(yīng)的多個子流程，使得每個子流程對應(yīng)于沿著時間軸的多個時間段中的相應(yīng)時間段。另外，流程1500可以包括處理器1410根據(jù)在對應(yīng)的時間段期間一個或多個聲源的運(yùn)動和用戶的運(yùn)動來調(diào)整每個子流程。

在一些實(shí)施方式中，在模擬一個或多個聲源的一個或多個行為以及用戶的一個或多個行為沿時間軸隨時間的改變時，流程1500可以包括處理器1410執(zhí)行多個任務(wù)以實(shí)現(xiàn)在虛擬現(xiàn)實(shí)環(huán)境中用戶經(jīng)歷的多普勒效應(yīng)。例如，流程1500可以包括處理器1410將每個任務(wù)的流程劃分成相應(yīng)的多個子流程，使得每個子流程對應(yīng)于沿著時間軸的多個時間段中的相應(yīng)時間段。在每個時間段期間，流程1500可以包括處理器1410執(zhí)行多個操作，包括：執(zhí)行相應(yīng)的子流程；確定是否要生成沿時間軸在時間上較晚的一個或多個目標(biāo)時間段的下一個子流程；響應(yīng)于所述確定操作的肯定結(jié)果，生成所述下一個子流程；將所述下一個子流程插入到所述一個或多個目標(biāo)時間段中；以及在所述一個或多個目標(biāo)時間段到達(dá)時執(zhí)行所述下一個子流程。在一些實(shí)施方式中，在每個時間段期間，流程1500可以包括處理器1410執(zhí)行額外的操作，包括：基于與用戶在時間段中的運(yùn)動相關(guān)的數(shù)據(jù)更新用戶的運(yùn)動；以及基于與在所述時間段中的所述一個或多個聲源的運(yùn)動相關(guān)的數(shù)據(jù)，更新所述一個或多個聲源中的每一個的相應(yīng)運(yùn)動。在一些實(shí)施方式中，可以并行執(zhí)行用戶的運(yùn)動的更新和一個或多個聲源中的每一個的相應(yīng)運(yùn)動的更新。

附注

本文中有時會描述不同的元件包括在其他不同的元件內(nèi)，或同其他不同的元件相連接。應(yīng)當(dāng)理解的是，所描述的這種結(jié)構(gòu)關(guān)系僅僅作為示例，事實(shí)上，也可以通過實(shí)施其他的結(jié)構(gòu)以實(shí)現(xiàn)相同的功能。從概念上講，任何可實(shí)現(xiàn)相同功能的元件的配置均是有效的“相關(guān)聯(lián)的”，從而實(shí)現(xiàn)所需要的功能。因此，本文為實(shí)現(xiàn)某特定功能所組合的任意兩個元件均可被看作是彼此“相關(guān)聯(lián)的”，以此實(shí)現(xiàn)所需要的功能，而不管其架構(gòu)或者中間元件如何。類似地，以這種方式相關(guān)聯(lián)的任意兩個元件也可被看作是彼此間“操作上相連接的”或“操作上相耦合的”，從而實(shí)現(xiàn)所需要的功能，并且，能夠以這種方式相關(guān)聯(lián)的任意兩個元件還可被看作是彼此間“操作上可耦合的”，從而實(shí)現(xiàn)所需要的功能。操作上可耦合的具體實(shí)例包括但不限于物理上可配對的和/或物理上相互交互的元件、和/或無線地可交互的和/或無線地相互交互的元件、和/或邏輯上相互交互的和/或邏輯上可交互的元件。

此外，對于本文所使用的任何復(fù)數(shù)和/或單數(shù)形式的詞語，本領(lǐng)域的技術(shù)人員可根據(jù)其語境和/或應(yīng)用場景是否合適而將復(fù)數(shù)轉(zhuǎn)換至單數(shù)和/或?qū)螖?shù)轉(zhuǎn)換至復(fù)數(shù)。為清晰起見，此處即對單數(shù)/復(fù)數(shù)之間的各種置換作出明確規(guī)定。

并且，本領(lǐng)域的熟練技術(shù)人員可以理解的是，一般地，本文所使用的詞語，特別是所附權(quán)利要求如權(quán)利要求主體中所使用的詞語通常具有“開放性”意義，例如，詞語“包括”應(yīng)該理解為“包括但不限于”，詞語|“具有”應(yīng)該理解為“至少具有”等等。本領(lǐng)域的熟練技術(shù)人員可進(jìn)一步理解的是，若某權(quán)利要求意圖將其引入的權(quán)利要求列舉中某一具體的數(shù)值包括進(jìn)來，那么這種意圖將會明確地列舉于該權(quán)利要求中，而如果沒有列舉的話，這種意圖即不存在。為幫助理解，可舉例如，下面的權(quán)利要求可能包括引導(dǎo)性短語的使用如“至少一個”和“一個或多個”來引入權(quán)利要求列舉。然而，類似這種短語不應(yīng)將該權(quán)利要求列舉解釋為：對不定冠詞“一個”的引入意味著把包括這種引入權(quán)利要求列舉的任何特定權(quán)利要求限制為僅包括一個這種列舉的實(shí)施方式，甚至當(dāng)同一權(quán)利要求包括引導(dǎo)性短語“一個或多個”或“至少一個”和不定冠詞例如“一個”時同樣符合這種情況，例如，“一個”應(yīng)該解釋為“至少一個”或“一個或多個”；同樣的，使用定冠詞來引入權(quán)利要求列舉也是這樣。另外，即使某一引入的權(quán)利要求列舉中明確列舉了一具體數(shù)值，本領(lǐng)域的熟練技術(shù)人員會認(rèn)識到，這種列舉應(yīng)該理解為至少包括所列舉的數(shù)值，例如，僅“兩個列舉”而沒有任何其他限定時，其意味著至少兩個列舉，或者說兩個或多個列舉。此外，在某些情況下，如使用了類似“a、b和c等中的至少一個”，通常，本領(lǐng)域的熟練技術(shù)人員可以理解的是，如“具有a、b和c中至少一個的系統(tǒng)”將包括但不限于：只具有a的系統(tǒng)、只具有b的系統(tǒng)、只具有c的系統(tǒng)、具有a和b的系統(tǒng)、具有a和c的系統(tǒng)、具有b和c的系統(tǒng)，和/或具有a、b和c的系統(tǒng)等等。另外一些情況下，若使用了類似“a、b或c等中至少一個”，通常，本領(lǐng)域的熟練技術(shù)人員可以理解的是，如“具有a、b或c中至少一個的系統(tǒng)”將包括但不限于：只具有a的系統(tǒng)、只具有b的系統(tǒng)、只具有c的系統(tǒng)、具有a和b的系統(tǒng)、具有a和c的系統(tǒng)、具有b和c的系統(tǒng)，和/或具有a、b和c的系統(tǒng)等等。本領(lǐng)域的技術(shù)人員可進(jìn)一步理解的是，無論是說明書、權(quán)利要求書或附圖中所出現(xiàn)的幾乎所有連接兩個或多個替代性詞語的析取詞語和/或短語，均應(yīng)理解為其考慮到了所有的可能性，即包括所有詞語中某一個、兩個詞語中任一個或包括兩個詞語。例如，短語“a或b”應(yīng)該理解為包括可能性：“a”、“b”或“a和b”。

上述內(nèi)容已經(jīng)描述了本發(fā)明的各個實(shí)施方式以對本發(fā)明作出解釋，并且，可在不背離本發(fā)明的范疇和精神的情況下對各個實(shí)施方式做出多種修改。相應(yīng)地，本文所公開的各個實(shí)施方式不應(yīng)理解為具有限制意義，真實(shí)的范疇和精神通過所附權(quán)利要求進(jìn)行限定。