本原理涉及一種用于控制觸覺效果的系統(tǒng)和方法，更具體地，涉及一種用于將觸覺效果自動(dòng)定位在身體上的系統(tǒng)和方法。

背景技術(shù)：

為了提高用戶對(duì)觀看體驗(yàn)的沉浸感，刺激視覺和聲音以外的感覺的多媒體內(nèi)容變得越來越受歡迎。觸感(觸覺)似乎與此目的尤其相關(guān)，并且越來越多的研究集中在將觸覺技術(shù)整合到視聽系統(tǒng)中。來自于這項(xiàng)研究工作，出現(xiàn)了一個(gè)新的科學(xué)領(lǐng)域-觸覺視聽(hav)。創(chuàng)建觸覺效果的三種典型方法包括捕獲、提取和手動(dòng)創(chuàng)作。捕獲包括將傳感器附著于對(duì)象以收集數(shù)據(jù)。通常使用加速度計(jì)來記錄運(yùn)動(dòng)。然后可以使用數(shù)據(jù)來驅(qū)動(dòng)觸覺設(shè)備。以類似的方式，可以使用力傳感器來捕獲兩個(gè)對(duì)象之間的沖擊力。提取方法包括從視聽內(nèi)容計(jì)算觸覺效果。最常用的技術(shù)是將音頻信號(hào)轉(zhuǎn)換為振動(dòng)。還可以使用例如顯著性圖(saliencymap)來從圖像中提取觸覺效果以檢測(cè)感興趣的對(duì)象。然后將該圖映射到振動(dòng)電機(jī)的矩陣。還可以使用具有在包括起點(diǎn)和終點(diǎn)的時(shí)間軸上表示的觸覺效果的圖形界面對(duì)觸覺效果進(jìn)行手動(dòng)編輯。在這兩點(diǎn)之間，指定效果的特性(振動(dòng)的強(qiáng)度、加速度的方向等)。這些技術(shù)允許自動(dòng)產(chǎn)生觸覺效果，但需要繁瑣的手動(dòng)方法來指定效果在空間中的位置。

技術(shù)實(shí)現(xiàn)要素：

將觸覺效果自動(dòng)定位在用戶身體上的技術(shù)依賴于多媒體內(nèi)容和/或相關(guān)聯(lián)的元數(shù)據(jù)來確定可由觸覺效果刺激的用戶的身體部位。由效果定位器分析多媒體內(nèi)容。還提供用戶身體的表示(例如，身體模型)。該技術(shù)使用用于觸覺事件的強(qiáng)度閾值和效果應(yīng)發(fā)生的時(shí)間來確定應(yīng)刺激的用戶身體部位。因此，該方法提供了一種快速有效的方式，以自動(dòng)確定在多媒體內(nèi)容觀看體驗(yàn)期間要刺激身體的哪些部位。該方法允許對(duì)內(nèi)容進(jìn)行實(shí)時(shí)處理以進(jìn)行效果定位，而不需要用于手動(dòng)編輯的預(yù)處理。

本原理涉及一種用于確定觸覺定位的方法，包括：接收與在多媒體內(nèi)容中發(fā)生的至少一個(gè)觸覺事件相關(guān)聯(lián)的至少一個(gè)觸覺效果；所述觸覺事件從來自所述多媒體內(nèi)容的音頻事件而得出；基于多媒體內(nèi)容信息自動(dòng)地將所述至少一個(gè)觸覺效果關(guān)聯(lián)到身體的至少一部分；以及將所關(guān)聯(lián)的所述至少一個(gè)觸覺效果轉(zhuǎn)換為對(duì)人體部位的刺激信號(hào)。

根據(jù)實(shí)施例，所述方法還包括：利用所述多媒體內(nèi)容的音頻部分的至少一個(gè)通道來促進(jìn)將所述觸覺效果定位在身體上。

根據(jù)實(shí)施例，所述方法還包括：利用所述多媒體內(nèi)容的音頻部分的聲學(xué)圖來促進(jìn)將所述觸覺效果定位在身體上。

根據(jù)實(shí)施例，所述方法還包括：利用從音頻源點(diǎn)到身體模型上的點(diǎn)的到達(dá)時(shí)間差來確定將所述觸覺效果應(yīng)用于身體的哪些部分。

根據(jù)實(shí)施例，所述方法還包括：利用從音頻源點(diǎn)到身體模型上的點(diǎn)的到達(dá)時(shí)間差來確定以什么程度的強(qiáng)度來應(yīng)用所述觸覺效果。

根據(jù)實(shí)施例，所述方法還包括：利用身體模型來促進(jìn)將所述觸覺效果定位在身體上。

本原理還涉及一種被配置為確定觸覺定位的設(shè)備，包括：用于接收與多媒體內(nèi)容中發(fā)生的至少一個(gè)觸覺事件相關(guān)聯(lián)的至少一個(gè)觸覺效果的裝置；用于基于多媒體內(nèi)容信息自動(dòng)地將所述至少一個(gè)觸覺效果關(guān)聯(lián)到身體的至少一部分的裝置；以及用于將所關(guān)聯(lián)的所述至少一個(gè)觸覺效果轉(zhuǎn)換為對(duì)身體部位的刺激信號(hào)的裝置。

本原理還涉及一種用于確定觸覺定位的系統(tǒng)，包括：觸覺效果產(chǎn)生器，分析多媒體內(nèi)容以確定至少一個(gè)觸覺事件，并基于所述觸覺事件產(chǎn)生至少一個(gè)觸覺效果；以及定位器，基于多媒體內(nèi)容信息自動(dòng)地將所述至少一個(gè)觸覺效果關(guān)聯(lián)到身體的至少一部分，其中所述定位器的輸出被轉(zhuǎn)換為對(duì)身體部位的刺激效果。

根據(jù)實(shí)施例，所述定位器或用于進(jìn)行自動(dòng)關(guān)聯(lián)的裝置采用身體模型來促進(jìn)定位所述至少一個(gè)觸覺效果。

根據(jù)實(shí)施例，所述定位器或用于進(jìn)行自動(dòng)關(guān)聯(lián)的裝置提供至少一個(gè)觸覺效果場(chǎng)所和至少一個(gè)觸覺效果強(qiáng)度。

根據(jù)實(shí)施例，所述定位器或用于進(jìn)行自動(dòng)關(guān)聯(lián)的裝置使用所述多媒體內(nèi)容的音頻部分的聲學(xué)圖來促進(jìn)將所述觸覺效果定位在身體上。

根據(jù)實(shí)施例，所述定位器或用于進(jìn)行自動(dòng)關(guān)聯(lián)的裝置使用從音頻源點(diǎn)到身體模型上的點(diǎn)的到達(dá)時(shí)間差來確定將所述觸覺效果應(yīng)用于身體的哪些部分。

本原理還涉及一種包括程序代碼的指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)所述程序在計(jì)算機(jī)上執(zhí)行時(shí)所述程序代碼執(zhí)行用于確定觸覺定位的方法的步驟。

本原理還涉及一種其中存儲(chǔ)有指令的處理器可讀介質(zhì)，所述指令用于使處理器至少執(zhí)行用于確定觸覺定位的方法的步驟。

本原理還涉及一種用于定位觸覺的用戶界面，包括三維身體模型，該模型自動(dòng)地指示針對(duì)來自多媒體內(nèi)容信息的至少一個(gè)觸覺事件，將至少一個(gè)觸覺效果定位在身體的至少一部分上；以及觸覺效果持續(xù)時(shí)間指示符，示出在所述三維身體模型上指示的所述至少一個(gè)觸覺效果的持續(xù)時(shí)間。

根據(jù)實(shí)施例，所述用戶界面還包括：選擇器，允許選擇用于所述三維身體模型的給定部分的不同觸覺效果。

根據(jù)實(shí)施例，所述用戶界面包括：選擇器，允許根據(jù)多媒體內(nèi)容選擇不同觸覺事件以及在所述三維身體模型上與所述觸覺事件相關(guān)聯(lián)的觸覺效果。

根據(jù)實(shí)施例，所述觸覺效果持續(xù)時(shí)間指示符允許改變與觸覺效果相關(guān)聯(lián)的起始時(shí)間和停止時(shí)間。

以上呈現(xiàn)了對(duì)本主題的簡(jiǎn)要概括以便提供對(duì)本主題實(shí)施例的一些方面的基本理解。本發(fā)明內(nèi)容不是本主題的擴(kuò)展概述。其不旨在標(biāo)識(shí)實(shí)施例的關(guān)鍵/必要要素或描繪主題的范圍。其目的是以簡(jiǎn)化形式呈現(xiàn)本主題的一些構(gòu)思，作為稍后呈現(xiàn)的更詳細(xì)描述的前言。

為了實(shí)現(xiàn)前述和相關(guān)目的，本文結(jié)合以下描述和附圖來描述實(shí)施例的某些說明性方面。然而，這些方面僅指示可以采用主題的原理的各種方式中的一些方式，并且本主題意在包括所有這些方面及其等同物。在結(jié)合附圖考慮時(shí)，根據(jù)下面的詳細(xì)描述，本主題的其他優(yōu)點(diǎn)和新穎性特征會(huì)變得清楚。

附圖說明

圖1示出了根據(jù)本原理實(shí)施例的將觸覺效果自動(dòng)定位在用戶身體上的示例。

圖2示出了根據(jù)本原理實(shí)施例的用于將觸覺效果定位在用戶身體上的視頻文件的音軌的示例。

圖3示出了根據(jù)本原理實(shí)施例的示例性身體模型。

圖4示出了根據(jù)本原理實(shí)施例的可用于允許編輯觸覺效果的示例性用戶界面。

圖5示出了根據(jù)本原理實(shí)施例的另一示例性用戶界面。

圖6示出了根據(jù)本原理實(shí)施例的用戶界面的又一示例。

圖7示出了根據(jù)本原理實(shí)施例的可相對(duì)于音軌通道分析的示例性虛擬音頻源。

圖8示出了根據(jù)本原理實(shí)施例的采用自動(dòng)觸覺效果定位的示例性系統(tǒng)。

圖9以流程圖的形式示出了根據(jù)本原理實(shí)施例的將觸覺效果自動(dòng)定位在身體上的示例性方法的步驟。

具體實(shí)施方式

現(xiàn)在參考附圖描述主題，其中，相似的附圖標(biāo)記始終用于表示相似的元素。在下文的描述中，為了解釋的目的，闡述了許多具體細(xì)節(jié)，以便提供對(duì)主題的透徹理解。然而，顯而易見的是，沒有這些具體細(xì)節(jié)也可以實(shí)施主題實(shí)施例。在其他實(shí)例中，以框圖形式示出了公知的結(jié)構(gòu)和設(shè)備，以便于描述實(shí)施例。

如圖1的示例100中所示，將觸覺效果自動(dòng)定位在用戶身體上的技術(shù)依賴于多媒體內(nèi)容和/或其相關(guān)聯(lián)的元數(shù)據(jù)102來確定可由觸覺效果刺激的用戶的身體部位。接收多媒體內(nèi)容/視聽內(nèi)容，并且由效果定位器104分析其內(nèi)容。還利用用戶身體的表示(例如，身體模型)106。該技術(shù)確定效果位置108(例如，應(yīng)由通常使用身體模型106的給定效果來刺激的用戶的身體部位)。該技術(shù)還給出了效果發(fā)生的時(shí)間，從而使效果與內(nèi)容同步。使用更復(fù)雜的兩個(gè)示例來說明該技術(shù)。本領(lǐng)域技術(shù)人員將理解，這些實(shí)施例不意味著對(duì)如何利用這些技術(shù)進(jìn)行限制。為了說明如何實(shí)現(xiàn)該技術(shù)的各個(gè)部分，簡(jiǎn)化了第一示例。第二示例表明，可以使用高級(jí)的信號(hào)處理方法來獲得更精確的結(jié)果。

示例1

在該簡(jiǎn)化示例中使用來自視頻文件的音頻信息來確定觸覺效果的位置。圖2中的示例200示出了來自視頻文件的音軌202。所示出的格式為杜比數(shù)字ac-3(dolbydigitalac-3)。使用六個(gè)聲道來產(chǎn)生5.1音頻聲軌。聲道的順序是標(biāo)準(zhǔn)化的，對(duì)應(yīng)于左204、右206、中心208、重低音210、后左212和后右214。本領(lǐng)域技術(shù)人員將理解，可以以類似的方式使用具有單個(gè)或多個(gè)聲道的任何其他音頻格式。聲音的定位用于定位觸覺效果。例如，如果在左聲道204上檢測(cè)到聲音，則可以將其用于在用戶身體的左側(cè)等提供觸覺效果。

身體模型-在圖3中示出身體模型302的示例300，該模型用關(guān)節(jié)和節(jié)段表示用戶身體。在表304中定義了身體模型節(jié)段長(zhǎng)度。在身體模型302中，例如，手臂被認(rèn)為是兩個(gè)節(jié)段(手臂306和前臂308)和兩個(gè)關(guān)節(jié)(肘部310和肩部312)。頸部318由一個(gè)節(jié)段314和一個(gè)關(guān)節(jié)316組成。節(jié)段的大小由解剖數(shù)據(jù)定義(見表304)。這里只定義了用戶身體的上部，但身體的其余部分也可以形式化。

效果定位器-效果定位器的偽代碼示例如下表1所示?；旧?，將每個(gè)音頻通道映射到用戶身體的一個(gè)或多個(gè)部位。然后，處理音頻信號(hào)以確定是否存在要應(yīng)用于所選用戶身體部位的效果。分析音頻信號(hào)的強(qiáng)度。如果該強(qiáng)度大于給定的閾值，則對(duì)目標(biāo)身體部位添加觸覺效果。

表1：效果定位器偽代碼

當(dāng)然，可以應(yīng)用更復(fù)雜的信號(hào)處理來確定是否應(yīng)當(dāng)應(yīng)用效果?？梢宰R(shí)別特定的聲音效果，如爆炸或槍聲。然后，觸覺效果可以自動(dòng)與這些事件相關(guān)聯(lián)。

為了便于定位效果，包括編輯器400的用戶界面可以用于允許編輯觸覺效果(例如，振動(dòng)402)，并將它們定位在用戶的身體上，如圖4所示。顯示三維(3d)身體模型404以示出觸覺效果可以定位于何處。所編輯的效果與多媒體內(nèi)容406同步。編輯器400可以是在任意類型的操作系統(tǒng)上運(yùn)行和/或以獨(dú)立方式操作的應(yīng)用。多媒體內(nèi)容406可以使用例如媒體播放器等通過應(yīng)用編程接口(api)等進(jìn)行播放。api提供了與例如可以用于實(shí)現(xiàn)上述效果定位器的多媒體內(nèi)容的音軌相關(guān)的信息。在圖5和圖6的用戶界面圖示中，編輯器示例500和600示出了可以如何使用效果定位器的結(jié)果。在圖5中，用戶504的右臂502已被選擇并且用于特定持續(xù)時(shí)間506。在圖6中，用戶604的左臂602被選擇用于視頻的另一時(shí)刻。然后可以將觸覺效果轉(zhuǎn)換為應(yīng)用于該身體部位的刺激效果。此外，一旦選擇了身體部位和視頻幀，還可以在將觸覺效果轉(zhuǎn)換為刺激效果之前手動(dòng)地編輯觸覺效果。

示例2

在仍然利用六個(gè)杜比數(shù)字ac-3音軌作為用于觸覺效果定位的輸入的第二實(shí)施例中，可以嘗試使用高級(jí)的信號(hào)處理技術(shù)來更精確地定位聲源，然后推斷應(yīng)當(dāng)刺激身體模型的哪部分。在圖7的示例700中，可以相對(duì)于來自多媒體內(nèi)容的音軌通道704分析可能的虛擬音頻源702。更準(zhǔn)確地，音軌(不考慮重低音)的每個(gè)通道可以被認(rèn)為是在一個(gè)主導(dǎo)外圍音頻活動(dòng)的用戶的特定部分(分別是左、右、中心、后左和后右)處的觀察，所述主導(dǎo)外圍音頻活動(dòng)被建模為均勻地映射在用戶706周圍的球體708上的虛擬音頻源702。然后，通過確定哪個(gè)源(方向)更可能在聲軌的給定時(shí)間處，可以使用專用信號(hào)處理技術(shù)(例如，利用音頻信號(hào)的到達(dá)時(shí)間差)來解決聲源定位的這個(gè)逆問題。一旦識(shí)別出源位置，就可以選擇與該源最接近的身體部位作為要刺激的身體部位。

上述兩個(gè)示例不包括可以利用所描述的技術(shù)的所有實(shí)施例。圖8示出了根據(jù)本原理方面的采用用于自動(dòng)觸覺效果定位的上述技術(shù)的示例性系統(tǒng)800。在典型場(chǎng)景中，系統(tǒng)800可以使用觸覺效果產(chǎn)生器802來處理多媒體內(nèi)容804。觸覺效果產(chǎn)生器802分析多媒體內(nèi)容804以確定可以通過某種類型的感覺刺激而增強(qiáng)的發(fā)生在多媒體內(nèi)容804中的“觸覺事件”或事件。觸覺事件可以是爆炸、火箭發(fā)射或坦克的隆隆聲等。觸覺事件表示多媒體內(nèi)容804中應(yīng)當(dāng)通過除了視覺和聲音之外的感覺來刺激用戶的點(diǎn)。該點(diǎn)還可以包括多媒體內(nèi)容804中的事件持續(xù)時(shí)間和/或起始點(diǎn)/停止點(diǎn)(例如，要包括哪些幀)。該信息允許觸覺效果與觸覺事件同步。因此，用戶將看到、聽到和感覺到坦克的隆隆聲或火箭發(fā)射的爆炸等。

觸覺效果定位器806從觸覺效果產(chǎn)生器802接收觸覺事件和相關(guān)聯(lián)的觸覺效果。觸覺效果定位器806自動(dòng)地確定用戶身體的哪個(gè)部位應(yīng)該被觸覺效果刺激。當(dāng)發(fā)現(xiàn)觸覺事件的強(qiáng)度超過針對(duì)特定身體部位的預(yù)定閾值時(shí)，將刺激(對(duì)應(yīng)于觸覺效果)定位于該特定身體部位。這通過利用多媒體內(nèi)容信息808以及可選地音頻信號(hào)分析器810來實(shí)現(xiàn)。多媒體內(nèi)容信息808可以包括但不限于多媒體內(nèi)容和/或與多媒體內(nèi)容相關(guān)聯(lián)的元數(shù)據(jù)。多媒體內(nèi)容信息可以源自諸如聲軌、電影、游戲/環(huán)境和/或音樂等的不同類型的媒體。該信息有助于將觸覺效果置于上下文中。如上述示例1和2所示，這可以包括由音頻信號(hào)分析器810提供的音頻信號(hào)分析。因此，可以從多媒體內(nèi)容信息808得出音頻通道信息和/或聲學(xué)圖等，以幫助確定所定位的觸覺效果812。本領(lǐng)域技術(shù)人員可以理解，可以采用其他技術(shù)幫助在多媒體內(nèi)容的上下文中確定事件的來源等。在一個(gè)實(shí)施例中，觸覺效果定位器806使用身體模型814將觸覺效果映射或關(guān)聯(lián)到用戶身體。身體模型814可以是但不限于用戶身體的關(guān)節(jié)和節(jié)段表示。這種類型的模型允許觸覺效果定位器806使用用戶的手臂、腿、軀干和頭/頸部的尺寸來計(jì)劃應(yīng)如何將觸覺效果應(yīng)用于用戶。

然后可以將觸覺效果轉(zhuǎn)換為刺激效果，該刺激效果自動(dòng)地以不同程度的強(qiáng)度應(yīng)用于用戶身體的各個(gè)部分。例如，可能在多媒體內(nèi)容的右側(cè)發(fā)生了爆炸(觸覺事件)。爆炸還可能高于地面。因此，使用在爆炸期間站立的人的身體模型，可以從多媒體內(nèi)容自動(dòng)確定爆炸的影響最有可能是頭部和身體的右上部分。因此，與觸覺效果相對(duì)應(yīng)的刺激效果的強(qiáng)度可以以較高的水平應(yīng)用于頭部和身體的右上部分，并且以較低的強(qiáng)度應(yīng)用于身體的右下部分。因此，效果定位可以具有與其相關(guān)聯(lián)的場(chǎng)所和強(qiáng)度。

系統(tǒng)800還可以采用用戶界面816以允許控制自動(dòng)化處理的結(jié)果?？梢栽趫D4至圖6中找到一個(gè)實(shí)施例的示例。用戶界面816可以包括三維身體模型，該模型自動(dòng)地指示對(duì)于來自多媒體內(nèi)容信息808的至少一個(gè)觸覺事件，將至少一個(gè)觸覺效果定位在身體的至少一部分上。用戶界面816還可以包括示出了在三維身體模型上指示的至少一個(gè)觸覺效果的持續(xù)時(shí)間的觸覺效果持續(xù)時(shí)間指示符(參見圖5的持續(xù)時(shí)間506、以及圖6的持續(xù)時(shí)間606)。還可以包括允許選擇用于三維身體模型的給定部分的不同觸覺效果的選擇器(參見圖5的508、以及圖6的608)。觸覺效果持續(xù)時(shí)間指示符還可以允許改變與觸覺效果相關(guān)聯(lián)的起始時(shí)間和/或停止時(shí)間(持續(xù)時(shí)間指示符還可以基于起始幀和停止幀和/或包括接下來y幀在內(nèi)的起始幀等)。這可以在一個(gè)實(shí)施例中通過拖動(dòng)停止點(diǎn)和/或起始點(diǎn)來實(shí)現(xiàn)。還可以包括允許選擇來自多媒體內(nèi)容808的不同觸覺事件及三維身體模型上與觸覺事件相關(guān)聯(lián)的觸覺效果的另一選擇器(參見圖5的510、以及圖6的610)。

用戶界面允許根據(jù)需要查看和/或更改所得到的自動(dòng)化處理。這可以提供對(duì)處理的附加質(zhì)量控制檢查和/或允許針對(duì)未來處理的觸覺事件而改變處理。例如，可以總體上增加槍聲觸覺強(qiáng)度水平，使得感官影響對(duì)于包括槍聲的未來觸覺事件而言更為重要。當(dāng)使用質(zhì)量差的音軌等時(shí)，可能需要進(jìn)行此調(diào)整。對(duì)于給定的觸覺效果，還可以對(duì)身體的受影響部分進(jìn)行調(diào)整，和/或可以將附加的觸覺效果添加到身體的部分。三維身體模型允許編輯器旋轉(zhuǎn)身體模型以查看身體的所有受影響部分(即，發(fā)生效果定位的位置)。

其他控制可以包括對(duì)強(qiáng)度閾值(用于確定觸覺效果定位何時(shí)發(fā)生)的調(diào)整，其中可以針對(duì)整個(gè)身體模型和/或各個(gè)身體部位調(diào)整所述強(qiáng)度閾值。這允許該界面的用戶確定身體部位將在什么強(qiáng)度閾值下具有自動(dòng)定位的效果(換句話說，身體模型對(duì)特定觸覺事件的敏感度如何和/或每個(gè)身體部位對(duì)特定觸覺事件的敏感度如何)。如在現(xiàn)實(shí)生活中發(fā)現(xiàn)的，身體的不同部位對(duì)同一刺激的感覺或反應(yīng)不同。因此，這種調(diào)整允許這些差異。作為示例，多媒體內(nèi)容中發(fā)生的爆炸可以將熱元素包括到觸覺效果中。由于在用戶穿著衣服的情況下通常在臉上感受到更多的熱量，所以包括熱元素的觸覺效果可以針對(duì)身體模型的上半身部位觸發(fā)較低的強(qiáng)度閾值。這可以導(dǎo)致熱相關(guān)觸覺效果的自動(dòng)定位，以定位在上半身部位上，但不一定定位在下半身部位上。

考慮到以上示出和描述的示例性系統(tǒng)，將參考圖9的流程圖來更好地理解可以根據(jù)實(shí)施例實(shí)現(xiàn)的方法。雖然為了簡(jiǎn)化說明的目的，將方法示出和描述為一系列方框，但是應(yīng)當(dāng)理解和清楚，實(shí)施例不受方框的順序限制，根據(jù)實(shí)施例，一些方框可以以與本文所示和描述的其他方框不同的順序和/或與其他方框同時(shí)發(fā)生。另外，并非所示出的所有方框都是實(shí)施根據(jù)實(shí)施例的方法所需要的。

圖9是將觸覺效果自動(dòng)定位在身體上的方法900的流程圖。方法900開始于接收與多媒體內(nèi)容中發(fā)生的至少一個(gè)觸覺事件相關(guān)聯(lián)的至少一個(gè)觸覺效果(902)。然后，基于多媒體內(nèi)容信息，將該至少一個(gè)觸覺效果自動(dòng)地關(guān)聯(lián)到身體的至少一部分(904)。多媒體內(nèi)容信息可以包括但不限于多媒體內(nèi)容和/或與多媒體內(nèi)容相關(guān)聯(lián)的元數(shù)據(jù)。以上已經(jīng)充分描述了可以用于自動(dòng)確定觸覺效果定位的技術(shù)。這些技術(shù)包括但不限于使用身體模型來允許對(duì)觸覺事件如何影響身體的空間確定以及因此自動(dòng)應(yīng)用觸覺效果的位置。例如，可以使用多媒體內(nèi)容的音頻部分的至少一個(gè)通道來促進(jìn)將觸覺效果定位在身體上。在另一示例中，多媒體內(nèi)容的音頻部分的聲學(xué)圖用于促進(jìn)將觸覺效果定位在身體上。此外，可以使用從來自聲學(xué)圖的音頻源點(diǎn)到身體模型上的點(diǎn)的到達(dá)時(shí)間差來確定將觸覺效果應(yīng)用于身體的哪些部分。此外，可以使用從音頻源點(diǎn)到身體模型上的點(diǎn)的到達(dá)時(shí)間差來確定以什么程度的強(qiáng)度應(yīng)用與觸覺效果相對(duì)應(yīng)的刺激效果。

以上描述的內(nèi)容包括實(shí)施例的示例。當(dāng)然，為了描述實(shí)施例的目的，不可能描述組件或方法的每個(gè)可想到的組合，但是本領(lǐng)域普通技術(shù)人員可以認(rèn)識(shí)到，實(shí)施例的許多進(jìn)一步的組合和排列是可能的。因此，本主題意在包含落在所附權(quán)利要求范圍內(nèi)的所有這種改變、修改和變型。此外，在詳細(xì)描述或權(quán)利要求中使用術(shù)語(yǔ)“包括”的范圍內(nèi)，該術(shù)語(yǔ)旨在以類似于術(shù)語(yǔ)“包含”的方式包括在內(nèi)，在作為權(quán)利要求中的過渡詞時(shí)被解釋為“包括”。

可以例如用方法或過程、裝置、軟件程序、數(shù)據(jù)流或信號(hào)來實(shí)現(xiàn)本文所描述的實(shí)施方式。雖然僅在單個(gè)實(shí)現(xiàn)形式的上下文中進(jìn)行討論(例如，僅作為方法或設(shè)備進(jìn)行討論)，但是所討論的特征的實(shí)現(xiàn)還可以以其他形式(如程序)來實(shí)現(xiàn)。裝置可以實(shí)現(xiàn)為例如適當(dāng)?shù)挠布?、軟件和固件。所述方法可以被?shí)現(xiàn)于諸如處理器的裝置中，所述處理器一般地是指處理設(shè)備，包括例如計(jì)算機(jī)、微處理器、集成電路或可編程邏輯器件。處理器還包括通信設(shè)備，諸如智能電話、平板計(jì)算機(jī)、計(jì)算機(jī)、移動(dòng)電話、便攜式/個(gè)人數(shù)字助理(“pda”)以及便于終端用戶之間的信息通信的其他設(shè)備。

本文所述的各種處理和特征的實(shí)施方式可以表現(xiàn)為多種不同設(shè)備或應(yīng)用，具體地，例如，與數(shù)據(jù)編碼、數(shù)據(jù)解碼、視圖生成、紋理處理以及圖像和相關(guān)紋理信息和/或深度信息的其他處理相關(guān)聯(lián)的設(shè)備或應(yīng)用。這種設(shè)備的示例包括編碼器、解碼器、處理來自解碼器的輸出的后處理器、向編碼器提供輸入的預(yù)處理器、視頻編碼器、視頻解碼器、視頻編解碼器、網(wǎng)絡(luò)服務(wù)器、機(jī)頂盒、膝上型計(jì)算機(jī)、個(gè)人電腦、蜂窩電話、pda以及其他通信設(shè)備。應(yīng)當(dāng)清楚，設(shè)備可以是移動(dòng)的，甚至安裝在移動(dòng)交通工具中。

此外，可以通過由處理器執(zhí)行的指令實(shí)現(xiàn)所述方法，而且這些指令(和/或通過實(shí)現(xiàn)產(chǎn)生的數(shù)據(jù)值)可以存儲(chǔ)在處理器可讀介質(zhì)上，諸如集成電路、軟件載體或其他存儲(chǔ)設(shè)備，例如硬盤、壓縮盤(“cd”)、光盤(諸如dvd，其通常稱為數(shù)字多功能盤或數(shù)字視頻盤)、隨機(jī)存取存儲(chǔ)器(“ram”)或只讀存儲(chǔ)器(“rom”)。指令可以形成在處理器可讀介質(zhì)上有形實(shí)施的應(yīng)用程序。指令可以位于例如硬件、固件、軟件或其組合中?？梢栽诶绮僮飨到y(tǒng)、單獨(dú)應(yīng)用或這兩者的組合中發(fā)現(xiàn)指令。因此，處理器可以被表征為例如配置用于執(zhí)行處理的設(shè)備和包括具有用于執(zhí)行處理的指令的處理器可讀介質(zhì)的設(shè)備(諸如，存儲(chǔ)設(shè)備)。此外，處理器可讀介質(zhì)可以存儲(chǔ)實(shí)現(xiàn)所產(chǎn)生的數(shù)據(jù)值，作為對(duì)指令的添加或替代。

本領(lǐng)域技術(shù)人員應(yīng)清楚，實(shí)施方式可以產(chǎn)生被格式化為攜帶例如所存儲(chǔ)的或所傳輸?shù)男畔⒌亩喾N信號(hào)。信息可以包括例如用于執(zhí)行方法的指令、或通過描述的實(shí)施方式之一所產(chǎn)生的數(shù)據(jù)。例如，信號(hào)可以被格式化為將用于寫入或讀取所述實(shí)施例的語(yǔ)法的規(guī)則作為數(shù)據(jù)進(jìn)行攜帶，或?qū)⒂伤鰧?shí)施例寫入的真實(shí)語(yǔ)法值作為數(shù)據(jù)進(jìn)行攜帶。這種信號(hào)可被格式化為例如電磁波(例如使用頻譜的射頻部分)或基帶信號(hào)。格式化可以包括例如對(duì)數(shù)據(jù)流進(jìn)行編碼或者使用已編碼數(shù)據(jù)流對(duì)載波進(jìn)行調(diào)制。信號(hào)攜帶的信息可以是例如模擬或數(shù)字信息。可以通過公知的多種不同的有線或無線鏈路來傳輸該信號(hào)。信號(hào)可以存儲(chǔ)在處理器可讀介質(zhì)上。

已經(jīng)描述了多個(gè)實(shí)現(xiàn)。然而，將理解，可以進(jìn)行各種修改。例如，可以組合、增補(bǔ)、修改或去除不同實(shí)施方式的元素，以便產(chǎn)生其他實(shí)施方式。附加地，本領(lǐng)域普通技術(shù)人員將理解的是，其他結(jié)構(gòu)或過程可以替代那些公開的結(jié)構(gòu)或過程，并且所得到的實(shí)施方式將用至少基本相同的方式來執(zhí)行至少基本相同的功能，以實(shí)現(xiàn)與所公開的實(shí)施方式基本相同的結(jié)果。因此，本申請(qǐng)還涵蓋這些和其他實(shí)施方式。