顯示器710可以顯示環(huán)境音頻源(例如，音樂)和點音頻源(例如，語音電話)，如圖8A至圖SE所示，圖中示出根據(jù)各種實施方案的用戶與立體顯示器710交互，以便重新定位音頻事件。在一些實施方案中，當音頻事件是跨越聲音空間的一部分的環(huán)境音頻源時，視覺表示跨越立體顯示器710的對應部分。在相同或其它實施方案中，當音頻源是在聲音空間內(nèi)的特定位置處呈現(xiàn)的點音頻源時，視覺表示位于立體顯示器710上對應于聲音空間內(nèi)的位置的顯示位置處。因此，音頻事件的視覺表示大致上可以反映或匹配音頻事件在聲音空間內(nèi)的位置。
[0054]如圖8A和圖SB所示，在用戶聆聽環(huán)境音樂源時，用戶可以接收撥入語音電話的通知。然后，用戶可以將他或她的手部放在相對于立體顯示器710所顯示的一個或多個音頻事件的所需位置處，并且做出手勢，如滑動手勢。在用戶做出手勢時，傳感器140跟蹤用戶手部的位置，并且更新音頻事件的位置。另外，音頻事件的視覺表示在立體顯示器710的位置被更新來反映用戶的手部和與音頻事件相關(guān)聯(lián)的虛擬對象之間的交互，如圖8C和圖8D所示。然后，如圖8E中所示，用戶可以接聽語音電話，所述語音電話可以在立體顯示器710上作為點音頻源顯示到用戶的右側(cè)。因此，用戶能夠接收反映他或她與音頻事件交互的視覺反饋，從而使得用戶能夠更加有效地在聲音空間內(nèi)重新定位音頻事件。
[0055]在各種實施方案中，用戶使用上文所述技術(shù)中的一種或多種來與立體顯示器710交互。例如并且無限制地，處理單元210可以跟蹤與音頻事件相關(guān)聯(lián)的第一虛擬對象的位置，并且(例如，通過傳感器140)確定與用戶手指、手部和/或手臂相關(guān)聯(lián)的第二虛擬對象何時與第一虛擬對象交互(例如，抓取)。在相同或其它實施方案中，手勢系統(tǒng)100可以通過檢測用戶的手指、手部、手臂等何時鄰近由立體顯示器710所生成的圖像或與之相交，以便確定用戶與音頻事件之間的交互。在一些實施方案中，通過傳感器140來檢測用戶與由立體顯示器710所生成的圖像之間的交互。例如并且無限制地，一個或多個傳感器140可以檢測用戶的手部正在做出鄰近由立體顯示器710所產(chǎn)生的三維圖像(或同時與之相交)的手勢。然后，處理單元210可以修改一個或多個音頻參數(shù)，和/或顯示與對應于三維圖像的音頻事件相關(guān)聯(lián)的位置。
[0056]盡管以上所提供的實例將立體顯示器710描述成用來提供視覺反饋以用于通過滑動手勢與某些類型的音頻事件交互，但是立體顯示器710也可以用來針對上述手勢、交互技術(shù)和/或音頻事件中的任何一項而提供視覺反饋。例如并且無限制地，立體顯示器710可以通過顯示用戶在聲音空間內(nèi)抓取和移動的一個或多個音頻事件(例如，點音頻源)(如圖4A至圖4C所示的點音頻源)來提供反饋。另外，立體顯示器710可以用來針對通過單個手部位置(例如，靜態(tài)手勢)發(fā)起的動作來提供視覺反饋，而不需要用戶使用他或她的手臂來抓取、推動、拖拉、滑動單個音頻事件等。此外，立體顯示器710可以結(jié)合由手勢系統(tǒng)100所提供的其它類型的反饋(例如，觸覺反饋、聽覺反饋等)來提供視覺反饋。
[0057]圖9為根據(jù)各種實施方案的基于手勢來修改音頻參數(shù)的方法步驟的流程圖。盡管方法步驟是結(jié)合圖1A至圖SB的系統(tǒng)來描述，但是本領(lǐng)域技術(shù)人員將理解的是，被配置來以任何順序來執(zhí)行方法步驟的任何系統(tǒng)都落在本發(fā)明的范圍內(nèi)。
[0058]如圖所示，方法900開始于步驟910上，其中在處理單元210上執(zhí)行的應用程序232通過傳感器140來獲取與用戶(例如，用戶的手部、手臂、手指等)相關(guān)聯(lián)的傳感器數(shù)據(jù)。在步驟920，應用程序232分析傳感器數(shù)據(jù)以便基于用戶手部、手指、手臂等的位置和/或方位來確定一個或多個手部位置。然后，在步驟930，應用程序232基于一個或多個手部位置來確定是否已經(jīng)做出手勢(例如，分裂手勢)。如果用戶尚未做出手勢，那么方法900返回步驟910，其中應用程序232繼續(xù)獲取傳感器數(shù)據(jù)。
[0059]如果用戶已經(jīng)做出手勢，那么方法900進行至步驟940，其中應用程序232修改與音頻流相關(guān)聯(lián)的一個或多個參數(shù)。例如并且無限制地，如果手勢是分裂手勢，那么應用程序232可以修改與音頻流相關(guān)聯(lián)的一個或多個空間音頻參數(shù)，以便使一個或多個音頻事件移動到聲音空間的側(cè)面。然后，在步驟950，應用程序232更新音頻事件在可選顯示器上所顯示的視覺表示。例如并且無限制地，應用程序232可以使通過立體顯示器710所生成的一個或多個三維圖像的位置得以修改。接著，在步驟960，應用程序232基于修改過的空間音頻參數(shù)，通過揚聲器130來使修改過的音頻流重現(xiàn)給用戶。然后方法900結(jié)束。
[0060]圖10為根據(jù)各種實施方案的基于虛擬對象的定位來修改音頻參數(shù)的方法步驟的流程圖。盡管所述方法步驟是結(jié)合圖1A至圖SB的系統(tǒng)來描述，但是本領(lǐng)域技術(shù)人員將理解的是，被配置來以任何順序來執(zhí)行方法步驟的任何系統(tǒng)都落在本發(fā)明的范圍內(nèi)。
[0061]如圖所示，方法1000開始于步驟1010，其中顯示器(例如，立體顯示器710)顯示音頻流中包括的一個或多個音頻事件的視覺表示。然后，在步驟1020，在處理單元210上執(zhí)行的應用程序232通過傳感器140來獲取與用戶(例如，用戶的手部、手臂、手指等)相關(guān)聯(lián)的傳感器數(shù)據(jù)。在步驟1030，應用程序232分析傳感器數(shù)據(jù)，以便基于用戶手部、手指、手臂等的位置和/或方位來確定一個或多個手部位置。
[0062]在步驟1040，應用程序232確定與音頻事件相關(guān)聯(lián)的虛擬對象是否定位成鄰近手部位置(例如，用戶手部、手指、手臂等的位置)中的一個或多個。如果虛擬對象并不定位成鄰近手部位置，那么方法1000返回步驟1020，其中應用程序232繼續(xù)獲取傳感器數(shù)據(jù)。如果虛擬對象定位成鄰近手部位置，那么方法1000進行至步驟1050，其中應用程序232基于手部位置來檢測用戶是否正在做出手勢(例如，抓取手勢)。
[0063]如果用戶并未做出手勢，那么方法1000返回步驟1020，其中應用程序232繼續(xù)獲取傳感器數(shù)據(jù)。如果用戶正在做出手勢，那么方法1000進行至步驟1060，其中應用程序232確定用戶與虛擬對象之間的交互。例如并且無限制地，應用程序232可以繼續(xù)獲取傳感器數(shù)據(jù)，并且確定其它手部/手臂/手指等的位置，以便確定用戶將虛擬對象移動到的位置。
[0064]然后，在步驟1070，應用程序232基于用戶與虛擬對象之間的交互來確定與音頻流相關(guān)聯(lián)的一個或多個參數(shù)。例如并且無限制地，當用戶抓取與音頻事件相關(guān)聯(lián)的虛擬對象時，應用程序232可以動態(tài)地修改與音頻事件相關(guān)聯(lián)的空間音頻參數(shù)，以使得用戶可以聽到從聲音空間內(nèi)第一位置移動到聲音空間內(nèi)第二位置的音頻事件。在步驟1080，應用程序232使顯示器基于用戶與虛擬對象之間的交互(如，通過將視覺表示從第一顯示位置移動到第二顯示位置)來更新一個或多個音頻事件的表示。
[0065]接著，在步驟1090，應用程序232確定用戶是否已經(jīng)完成手勢(例如，通過釋放虛擬對象完成手勢)。如果用戶尚未完成手勢，那么方法1000返回步驟1060。如果用戶已經(jīng)完成手勢，那么應用程序232會停止修改與音頻事件相關(guān)聯(lián)的參數(shù)和視覺表示，并且方法1000結(jié)束。
[0066]總之，音頻事件的視覺表示會被顯示給用戶。然后，在處理單元上執(zhí)行的應用程序通過一個或多個傳感器來檢測由用戶做出的手勢。響應于手勢，應用程序修改與音頻流相關(guān)聯(lián)的一個或多個參數(shù)，并且更新視覺表示的位置。然后，手勢系統(tǒng)基于修改過的參數(shù)來為用戶重現(xiàn)音頻流。另外，手勢系統(tǒng)可以顯示音頻事件的三維視覺表示，并且通過物理模型來確定用戶和與音頻事件相關(guān)聯(lián)的虛擬對象之間的交互。然后，可以基于交互來修改三維視覺表示和與音頻流相關(guān)聯(lián)的一個或多個音頻參數(shù)。
[0067]本文所述技術(shù)的至少一個優(yōu)勢在于，用戶能夠修改虛擬聲音空間內(nèi)正在重現(xiàn)音頻事件的位置。例如，用戶可以與立體顯示器交互來抓取與音頻事件相關(guān)聯(lián)的虛擬對象，并且將虛擬對象重新定位在虛擬三維空間內(nèi)的所需位置處。另外，當用戶與音頻事件交互時，視覺、聽覺和/或觸覺反饋可以被提供給用戶(例如，通過立體顯示器提供)。因此，音頻事件可以被重新定位在聲音空間內(nèi)，從而使得用戶能夠更加有效地同時聆聽多個音頻事件和/或與多個音頻事件交互。
[0068]已出于說明目的提出各種實施方案的描述，但是這些描述并不意圖是詳盡的或受限于所公開的實施方案。在不背離所描述實施方案的范圍和精神的情況下，許多修改和變化對于本領(lǐng)域的一般技術(shù)人員來說是明顯的。
[0069]本發(fā)明實施方案的各個方面可體現(xiàn)為系統(tǒng)、方法或計算機程序產(chǎn)品。因此，本公開的各個方面可以采用以下形式:完全硬件實施方案、完全軟件實施方案(包括固件、常駐軟件、微代碼等)或結(jié)合軟件方面與硬件方面的實施方案，所述實施方案在本文中全部可總體上稱為“電路”、“模塊”或“系統(tǒng)”。另外，本公開的各個方面可采用體現(xiàn)在一個或多個計算機可讀介質(zhì)中的計算機程序產(chǎn)品的形式，所述一個或多個計算機可讀介質(zhì)上體現(xiàn)有計算機可讀程序代碼。
[0