專利名稱：利用波形的聲音到觸覺效應(yīng)轉(zhuǎn)換系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
一種實(shí)施例一般指向一種設(shè)備，且更具體地，指向一種生成觸覺效應(yīng)的設(shè)備。
背景技術(shù)：
觸覺是一種通過向用戶應(yīng)用觸覺反饋效應(yīng)(即，“觸覺效應(yīng)”)，例如力、振動(dòng)、以及運(yùn)動(dòng)，利用用戶觸摸感覺的觸覺壓力反饋技術(shù)。例如移動(dòng)設(shè)備、觸摸屏設(shè)備、以及個(gè)人計(jì)算機(jī)的設(shè)備，可以被配置為產(chǎn)生觸覺效應(yīng)。通常，能夠產(chǎn)生觸覺效應(yīng)(例如致動(dòng)器)的、到嵌入式硬件的調(diào)用能夠在設(shè)備的操作系統(tǒng)(“OS”)中被編程。這些調(diào)用指定插放(play)哪個(gè)觸覺效應(yīng)。例如，當(dāng)用戶通過使用，例如，按鈕、觸摸屏、杠桿、操縱桿、滾輪、或一些其他控制與設(shè)備交互時(shí)，設(shè)備的OS會(huì)經(jīng)由控制電路發(fā)送插放命令給嵌入式硬件。該嵌入式硬件然后生成合適的觸覺效應(yīng)。這種設(shè)備還可以被配置為播放音頻數(shù)據(jù)，例如數(shù)字音頻信號(hào)。例如，這種設(shè)備可以包括配置為播放視頻數(shù)據(jù)的應(yīng)用程序，例如電影或視頻游戲，其包含音頻部分或音頻數(shù)據(jù)，例如歌曲。類似于觸覺，能夠產(chǎn)生音頻效應(yīng)(例如揚(yáng)聲器)的、到另外的嵌入式硬件的調(diào)用能夠在設(shè)備的OS中被編程。因此，設(shè)備的OS能經(jīng)由控制電路發(fā)送播放命令給另外的嵌入式硬件，其中另外的嵌入式硬件接著生成適當(dāng)?shù)穆犛X效應(yīng)
發(fā)明內(nèi)容
一個(gè)實(shí)施例指向一種將音頻信號(hào)轉(zhuǎn)換成一個(gè)或多個(gè)觸覺效應(yīng)的系統(tǒng)。該系統(tǒng)接收該音頻信號(hào)的數(shù)據(jù)幀。該系統(tǒng)進(jìn)一步產(chǎn)生該數(shù)據(jù)幀的最大值。該系統(tǒng)進(jìn)一步變換該數(shù)據(jù)幀。該系統(tǒng)進(jìn)一步基于該變換的數(shù)據(jù)幀的最大值產(chǎn)生至少一個(gè)正弦載波波形。該系統(tǒng)進(jìn)一步混合該變換的數(shù)據(jù)幀與該至少一個(gè)正弦載波波形來產(chǎn)生調(diào)制數(shù)據(jù)幀。該系統(tǒng)進(jìn)一步基于該最大值以及該調(diào)制數(shù)據(jù)幀產(chǎn)生觸覺信號(hào)。該系統(tǒng)進(jìn)一步發(fā)送該觸覺信號(hào)到致動(dòng)器來產(chǎn)生一個(gè)或多個(gè)觸覺效應(yīng)。


更多的實(shí)施例、細(xì)節(jié)、優(yōu)點(diǎn)、以及修改將從下面優(yōu)選實(shí)施例的詳細(xì)描述中變得明白，其將結(jié)合附圖來考慮。圖1示出了根據(jù)本發(fā)明實(shí)施例的觸覺轉(zhuǎn)換系統(tǒng)的方框圖。圖2示出了根據(jù)本發(fā)明實(shí)施例的觸覺轉(zhuǎn)換系統(tǒng)的結(jié)構(gòu)圖。圖3示出了根據(jù)本發(fā)明實(shí)施例，由觸覺轉(zhuǎn)換系統(tǒng)執(zhí)行的功能(functionality)的流程圖。
圖4示出了根據(jù)本發(fā)明實(shí)施例，被應(yīng)用來控制輸出值范圍的線性轉(zhuǎn)換函數(shù)。圖5示出了根據(jù)本發(fā)明實(shí)施例，基于數(shù)字音頻信號(hào)生成的觸覺效應(yīng)的振幅示例計(jì)
笪
ο圖6示出了根據(jù)本發(fā)明實(shí)施例，數(shù)字音頻信號(hào)的包絡(luò)的示例計(jì)算。圖7示出了根據(jù)本發(fā)明實(shí)施例,基于頻率含量(frequency content)的數(shù)字音頻信號(hào)的包絡(luò)的示例計(jì)算。圖8A示出了根據(jù)本發(fā)明實(shí)施例，在數(shù)字音頻信號(hào)被過濾之前數(shù)字音頻信號(hào)的振幅譜的示例計(jì)算。圖SB示出了根據(jù)本發(fā)明實(shí)施例，在數(shù)字音頻信號(hào)被過濾之后數(shù)字音頻信號(hào)的振幅譜的示例計(jì)算。

圖9示出了根據(jù)本發(fā)明實(shí)施例，觸覺轉(zhuǎn)換模塊的功能流程圖。
具體實(shí)施例方式一個(gè)實(shí)施例是能夠截取一個(gè)或多個(gè)幀音頻數(shù)據(jù)的觸覺轉(zhuǎn)換(conversion)系統(tǒng)，例如數(shù)字音頻信號(hào)，變換(transform)該一個(gè)或多個(gè)幀，將一個(gè)或多個(gè)轉(zhuǎn)換的幀轉(zhuǎn)換(convert)為觸覺信號(hào)，并通過致動(dòng)器播放該生成的觸覺信號(hào)來產(chǎn)生一個(gè)或多個(gè)觸覺效應(yīng)。該觸覺信號(hào)可以包括波形，其中波形是以脈沖編碼調(diào)制(“PCM”)格式的一個(gè)或多個(gè)信號(hào)值的集合。該觸覺信號(hào)可以應(yīng)用于一種類型的配置為接收波形的致動(dòng)器，其中該致動(dòng)器能夠利用該波形來產(chǎn)生一個(gè)或多個(gè)觸覺效應(yīng)。圖1示出了根據(jù)本發(fā)明實(shí)施例的觸覺轉(zhuǎn)換系統(tǒng)10的方框圖。在一個(gè)實(shí)施例中，系統(tǒng)10是移動(dòng)設(shè)備的一部分，并且系統(tǒng)10為該移動(dòng)設(shè)備提供觸覺轉(zhuǎn)換功能。盡管示出為一個(gè)單獨(dú)的系統(tǒng)，但系統(tǒng)10的功能可以作為分布式系統(tǒng)來實(shí)現(xiàn)。系統(tǒng)10包括總線12或用于通信信息的其他通信機(jī)制，以及耦合于總線12的用于處理信息的處理器22。處理器22可以是任何類型的通用或?qū)Ｓ媚康牡奶幚砥?。系統(tǒng)10進(jìn)一步包括用于存儲(chǔ)由處理器22執(zhí)行的信息和指令的存儲(chǔ)器14。存儲(chǔ)器14可以包括:隨機(jī)存取存儲(chǔ)器(“RAM”)、只讀存儲(chǔ)器(“ROM”)、靜態(tài)存儲(chǔ)器例如磁盤或光盤、或任何其他類型的計(jì)算機(jī)可讀介質(zhì)的任何組合。計(jì)算機(jī)可讀介質(zhì)可以是任何可獲得的介質(zhì)，其能被處理器22訪問并可以包括易失性和非易失性介質(zhì)、可移動(dòng)和不可移動(dòng)介質(zhì)、通信介質(zhì)、以及存儲(chǔ)介質(zhì)。通信介質(zhì)可以包括計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或調(diào)制數(shù)據(jù)信號(hào)中的其他數(shù)據(jù)，例如載波或其他傳輸機(jī)制，并且可以包括本領(lǐng)域公知的任何其他形式的信息傳遞介質(zhì)。存儲(chǔ)介質(zhì)可以包括RAM、閃存、ROM、可擦除可編程只讀存儲(chǔ)器(“EPR0M”)、電可擦除可編程只讀存儲(chǔ)器(“EEPR0M”)、寄存器、硬盤、移動(dòng)磁盤、光盤只讀存儲(chǔ)器(“⑶-ROM”)、或本領(lǐng)域公知的任何其他形式的存儲(chǔ)介質(zhì)。在實(shí)施例中，存儲(chǔ)器14存儲(chǔ)軟件模塊，其在被處理器22執(zhí)行時(shí)提供功能。在實(shí)施例中，該模塊包括為系統(tǒng)10提供操作系統(tǒng)功能性的操作系統(tǒng)15，以及移動(dòng)設(shè)備的剩余部分。該模塊進(jìn)一步包括觸覺轉(zhuǎn)換模塊16，其將音頻信號(hào)轉(zhuǎn)換為用來產(chǎn)生一個(gè)或多個(gè)觸覺效應(yīng)的觸覺信號(hào)，下文將更詳細(xì)描述。在某些實(shí)施例中，觸覺轉(zhuǎn)換模塊16包括多個(gè)模塊，其中每一個(gè)提供專用各個(gè)功能，用于將音頻信號(hào)轉(zhuǎn)換為用來產(chǎn)生一個(gè)或多個(gè)觸覺效應(yīng)的觸覺信號(hào)。系統(tǒng)10將典型地包括一個(gè)或多個(gè)另外的應(yīng)用程序模塊18以包括另外其他的功能，例如Immersion公司的MOTTV .觸覺開發(fā)平臺(tái)。在實(shí)施例中，系統(tǒng)10從遠(yuǎn)程源發(fā)送和/或接收數(shù)據(jù)，其進(jìn)一步包括例如網(wǎng)絡(luò)接口卡的通信設(shè)備20，以提供移動(dòng)無線的網(wǎng)絡(luò)通信，例如紅外的、射頻的、W1-F1、蜂窩網(wǎng)絡(luò)、或其他下一代無線數(shù)據(jù)網(wǎng)絡(luò)通信。在其池實(shí)施例中，通信設(shè)備20提供一種有線的網(wǎng)絡(luò)連接，例如以太網(wǎng)連接或調(diào)制解調(diào)器。處理器22進(jìn)一步經(jīng)由總線12耦合到顯示器24，例如液晶顯示器(“IXD”)，用于為用戶顯示圖形表示或用戶接口。顯示器24可以是一種觸摸敏感輸入設(shè)備，例如觸摸屏，其被配置為發(fā)送和接收來自處理器22的信號(hào)，并且可以是多觸摸的觸摸屏。系統(tǒng)10進(jìn)一步包括一個(gè)或多個(gè)致動(dòng)器26。處理器22可以傳送觸覺效應(yīng)相關(guān)的觸覺信號(hào)到致動(dòng)器26，其進(jìn)而輸出觸覺效應(yīng)。致動(dòng)器26可以是，例如，電子馬達(dá)、電磁致動(dòng)器、音圈、形狀記憶合金、電活性的聚合物、螺線管、質(zhì)量偏心旋轉(zhuǎn)電機(jī)(“ERM”)、線性諧振致動(dòng)器(“LRA”)、壓電致動(dòng)器、高帶寬致動(dòng)器、電活性聚合物(“ΕΑΡ”)致動(dòng)器、靜電摩擦顯示器、或超聲波振動(dòng)產(chǎn)生器。在一些實(shí)施例中，系統(tǒng)10進(jìn)一步包括一個(gè)或多個(gè)揚(yáng)聲器28。處理器22可以傳送音頻信號(hào)給揚(yáng)聲器28，其 進(jìn)而輸出音頻效應(yīng)。揚(yáng)聲器28可以是，例如，動(dòng)態(tài)喇叭、電動(dòng)喇叭、壓電揚(yáng)聲器、磁致伸縮喇叭、靜電揚(yáng)聲器、帶及平面磁喇叭、彎曲波喇叭、平板喇叭、海爾氣動(dòng)式喇叭、等離子弧揚(yáng)聲器、以及數(shù)字式音箱。圖2示出了根據(jù)本發(fā)明實(shí)施例的觸覺轉(zhuǎn)換系統(tǒng)的結(jié)構(gòu)圖。在該示出的實(shí)施例中，觸覺轉(zhuǎn)換系統(tǒng)包括音頻軌道模塊210和揚(yáng)聲器220。音頻軌道模塊210是用于設(shè)備(例如移動(dòng)設(shè)備)的操作系統(tǒng)模塊，其配置為接收一個(gè)或多個(gè)PCM音頻緩沖，并使一個(gè)或多個(gè)PCM音頻緩沖流向揚(yáng)聲器220，其中每個(gè)PCM音頻緩沖包括一個(gè)或多個(gè)PCM音頻數(shù)據(jù)幀。在一個(gè)實(shí)施例中，音頻軌道模塊210是用于移動(dòng)設(shè)備的Android 操作系統(tǒng)的一種Android音頻軌道模塊。揚(yáng)聲器220是一種配置為接收一個(gè)或多個(gè)PCM音頻緩沖并配置為輸出一個(gè)或多個(gè)音頻效應(yīng)的揚(yáng)聲器。揚(yáng)聲器220可以是,例如,動(dòng)態(tài)喇機(jī)、電動(dòng)喇機(jī)、壓電揚(yáng)聲器、磁致伸縮喇叭、靜電揚(yáng)聲器、帶及平面磁喇叭、彎曲波喇叭、平板喇叭、海爾氣動(dòng)式喇叭、等離子弧揚(yáng)聲器、以及數(shù)字式音箱。根據(jù)該實(shí)施例，觸覺轉(zhuǎn)換系統(tǒng)還包括觸覺轉(zhuǎn)換模塊230。在某些實(shí)施例中，觸覺轉(zhuǎn)換模塊230和圖1中的觸覺轉(zhuǎn)換模塊16相同。在該示出的實(shí)施例中，觸覺轉(zhuǎn)換模塊230包括三個(gè)子模塊:混響(reverb)模塊231、內(nèi)置揚(yáng)聲器(boombox)模塊232、以及帶通過濾器233。然而，這僅僅是一個(gè)示例性實(shí)施例，并且在可選實(shí)施例中，觸覺轉(zhuǎn)換模塊230可以包括任何數(shù)量的子模塊，或者觸覺轉(zhuǎn)換模塊230可以是單個(gè)模塊。根據(jù)實(shí)施例，混響模塊231配置為截取一個(gè)或多個(gè)由音頻軌道模塊210流向揚(yáng)聲器220的音頻緩沖(buffer)?；祉懩K231進(jìn)一步配置為發(fā)送每個(gè)音頻緩沖的每個(gè)音頻數(shù)據(jù)幀到內(nèi)置揚(yáng)聲器模塊232。內(nèi)置揚(yáng)聲器模塊232配置為分析每個(gè)音頻數(shù)據(jù)幀并為每個(gè)音頻數(shù)據(jù)幀計(jì)算最大值。由內(nèi)置揚(yáng)聲器模塊232執(zhí)行對(duì)每個(gè)音頻數(shù)據(jù)幀最大值的計(jì)算，并關(guān)于圖4-7進(jìn)一步更加詳細(xì)地描述。內(nèi)置揚(yáng)聲器模塊232進(jìn)一步配置為將每個(gè)音頻數(shù)據(jù)幀的最大值返回給混響模塊231。內(nèi)置揚(yáng)聲器模塊232進(jìn)一步配置為發(fā)送每個(gè)音頻緩沖的每個(gè)音頻數(shù)據(jù)幀給帶通過濾器233。帶通過濾器233配置為帶通過濾每個(gè)音頻緩沖的每個(gè)音頻數(shù)據(jù)幀。通過帶通過濾每個(gè)音頻數(shù)據(jù)幀，帶通過濾器233可以過濾給定音頻緩沖器中任何指定范圍的頻率信號(hào)的一個(gè)或更多頻率波段(例如，0-500HZ范圍內(nèi)的頻率信號(hào)的單獨(dú)頻率波段)。因此，這個(gè)頻率范圍內(nèi)的所有信號(hào)都可以被提取來生成僅這些信號(hào)的新的音頻緩沖。由這種過濾產(chǎn)生的效應(yīng)是“低音增強(qiáng)(bass-boost) ”或者“超低音(subwoofer) ”類型的信號(hào)。帶通過濾器233進(jìn)一步配置為返回每個(gè)帶通過濾的音頻數(shù)據(jù)幀給內(nèi)置揚(yáng)聲器模塊232。在可選實(shí)施例中，帶通過濾器233不是一種過濾器，而是一種變換模塊(例如，數(shù)字信號(hào)處理器(“DSP”)處理、狀態(tài)機(jī)、或其他類型的編程邏輯塊)。在這些可選實(shí)施例中，變換模塊可以將接收的音頻數(shù)據(jù)幀變換為一種新的音頻數(shù)據(jù)幀，其中變換不一定是一種過濾變換。內(nèi)置揚(yáng)聲器模塊232被進(jìn)一步配置，對(duì)于每個(gè)帶通過濾的音頻數(shù)據(jù)幀，基于被帶通過濾的音頻數(shù)據(jù)幀的最大值產(chǎn)生正弦波周期載波頻率(還可以稱為“正弦載波波形”)。產(chǎn)生該正弦波周期載波頻率將關(guān)于圖3進(jìn)一步詳細(xì)描述。在可選實(shí)施例中，內(nèi)置揚(yáng)聲器模塊232可被進(jìn)一步配置為產(chǎn)生多個(gè)正弦波周期頻率。對(duì)于每個(gè)被帶通過濾的音頻數(shù)據(jù)幀，內(nèi)置揚(yáng)聲器模塊232進(jìn)一步配置為將產(chǎn)生的正弦波周期載波頻率添加到被帶通過濾的音頻數(shù)據(jù)幀(也被稱為混合該產(chǎn)生的正弦波周期載波頻率與被帶通過濾的音頻數(shù)據(jù)幀)，由此調(diào)制被帶通過濾的音頻數(shù)據(jù)幀。內(nèi)置揚(yáng)聲器模塊232被進(jìn)一步配置為返回每個(gè)被調(diào)制的音頻數(shù)據(jù)幀給混響模塊231。 觸覺轉(zhuǎn)換系統(tǒng)還包括觸覺效應(yīng)播放摸塊240和致動(dòng)器250。觸覺效應(yīng)播放模塊240是一種嵌入在設(shè)備(例如移動(dòng)設(shè)備)中的模塊，并被配置為通過發(fā)送一個(gè)或多個(gè)觸覺信號(hào)到致動(dòng)器，而在致動(dòng)器播放一個(gè)或多個(gè)觸覺效應(yīng)。在一個(gè)實(shí)施例中，觸覺效應(yīng)播放模塊240是Immersion公司的TouchSense Player 。致動(dòng)器250是一種配置為接收一個(gè)或多個(gè)觸覺信號(hào)，并且配置為輸出一個(gè)或多個(gè)觸覺效應(yīng)的致動(dòng)器。在某些實(shí)施例中，致動(dòng)器250是一種配置為接收波形的致動(dòng)器，其中當(dāng)經(jīng)由致動(dòng)器播放時(shí)，該波形被用來控制波形效應(yīng)的振幅和精度。致動(dòng)器250可以是，例如，壓電致動(dòng)器、高帶寬致動(dòng)器、或者EAP致動(dòng)器。根據(jù)實(shí)施例，混響模塊231配置為確定每個(gè)音頻數(shù)據(jù)幀的每個(gè)最大值是否大于特定閾值。當(dāng)音頻數(shù)據(jù)幀的最大值大于該特定閾值時(shí)，混響模塊231配置為調(diào)用觸覺效應(yīng)播放模塊240的應(yīng)用程序接口(“API”)并將相應(yīng)的調(diào)制音頻數(shù)據(jù)幀作為API的參數(shù)，發(fā)送給觸覺效應(yīng)播放模塊240。當(dāng)音頻 數(shù)據(jù)幀的最大值不大于特定閾值時(shí)，混響模塊231配置為忽略該音頻數(shù)據(jù)幀，并且不發(fā)送相應(yīng)的調(diào)制音頻數(shù)據(jù)幀給觸覺效應(yīng)播放模塊240。在某些實(shí)施例中，觸覺效應(yīng)播放模塊240的API是Immersion公司的TouchSense P丨ayer 的“TmmVibeAppendWaveformEffect ”API。在其他實(shí)施例中，API 可以是“ ImmViberPlayMagSweepEf feet”或者“ImmVibePlayPeriodicEffect”。觸覺效應(yīng)播放模塊240的API發(fā)送該調(diào)制音頻數(shù)據(jù)幀到致動(dòng)器250，其中致動(dòng)器250配置為基于該調(diào)制音頻數(shù)據(jù)幀播放恰當(dāng)?shù)牟ㄐ?。根?jù)實(shí)施例，該調(diào)制音頻數(shù)據(jù)幀用作為由致動(dòng)器250播放的波形，其中波形包括加強(qiáng)除了周期觸覺信號(hào)之外的一個(gè)或多個(gè)頻率波段，并且其中調(diào)制音頻數(shù)據(jù)幀能夠控制由致動(dòng)器250播放的波形精度。通過播放波形，致動(dòng)器250產(chǎn)生觸覺效應(yīng)。圖3示出了根據(jù)本發(fā)明實(shí)施例，由觸覺轉(zhuǎn)換系統(tǒng)執(zhí)行的功能的流程圖。在實(shí)施例中，圖3的功能以及圖9的功能，都是由存儲(chǔ)在存儲(chǔ)器或其他計(jì)算機(jī)可讀或有形介質(zhì)中的軟件來實(shí)施，并由處理器執(zhí)行。在其他實(shí)施例中，功能可以由硬件(例如，通過使用專用集成電路(“ASIC”)、可編程門陣列(“PGA”)、現(xiàn)場可編程門陣列(1 6么”)，等)、或硬件和軟件的任何組合來執(zhí)行。此外，在可選實(shí)施例中，該功能可以利用模擬元件由硬件來執(zhí)行。根據(jù)實(shí)施例，觸覺轉(zhuǎn)換系統(tǒng)包括一個(gè)操作系統(tǒng)300、混響模塊301、以及內(nèi)置揚(yáng)聲器模塊302、以及無窮脈沖響應(yīng)(“IIR”)過濾器303。操作系統(tǒng)300是設(shè)備(例如移動(dòng)設(shè)備)的操作系統(tǒng)。在例示的實(shí)施例中，操作系統(tǒng)300是用于移動(dòng)設(shè)備的Android 操作系統(tǒng)?；祉懩K301、內(nèi)置揚(yáng)聲器模塊302、以及IIR過濾器303是觸覺轉(zhuǎn)換模塊(例如圖1中的觸覺轉(zhuǎn)換模塊16)的子模塊。在某些實(shí)施例中，混響模塊301、內(nèi)置揚(yáng)聲器模塊302、以及IIR過濾器303分別與圖2中的混響模塊231、內(nèi)置揚(yáng)聲器模塊232、以及帶通過濾器233相同。根據(jù)實(shí)施例，在305，生成配置為生成音頻信號(hào)的應(yīng)用。該應(yīng)用是能夠在操作系統(tǒng)300內(nèi)部執(zhí)行的任何應(yīng)用。在例示的實(shí)施例中，該應(yīng)用是Android 應(yīng)用。流程進(jìn)行到310。在310，由應(yīng)用生成“聲音池”對(duì)象，其中聲音池對(duì)象是聲音池API的一個(gè)實(shí)例(其是Android API )，并且其中，聲音池對(duì)象為應(yīng)用管理并播放音頻資源。聲音池對(duì)象可以包括音頻樣本的采集，其能被從設(shè)備內(nèi)存儲(chǔ)的資源或者從設(shè)備的文件系統(tǒng)內(nèi)存儲(chǔ)的文件載入設(shè)備的存儲(chǔ)器中。該聲音池對(duì)象能將音頻樣本的采集解碼為原始16位PCM單聲道或立體聲緩沖。流程進(jìn)行到315。在315，應(yīng)用生成其他音頻對(duì)象，其中其他音頻對(duì)象是其他音頻API的實(shí)例。其他音頻對(duì)象還能夠?qū)⒁纛l樣本解碼為16位PCM音頻緩沖。流程進(jìn)行到320。在320，音頻軌道對(duì)象是由聲音池對(duì)象或其他音頻對(duì)象之一生成的。音頻軌道對(duì)象配置為接收一個(gè)或多個(gè)PCM音頻緩沖并流出該一個(gè)或多個(gè)PCM音頻緩沖。流程進(jìn)行到325。在325，生成混響對(duì)象?；祉憣?duì)象是混響模塊301的一個(gè)實(shí)例，其中混響對(duì)象配置為處理由音頻軌道對(duì)象發(fā)送的PCM音頻緩沖的一個(gè)或多個(gè)音頻數(shù)據(jù)幀，如之前關(guān)于圖2所描述的。流程進(jìn)行到330。在330，混響對(duì)象的一個(gè)或多個(gè)設(shè)置被設(shè)定?；祉懺O(shè)置的例子包括:激活/不激活觸覺轉(zhuǎn)換、激活/不激活用于媒體的觸覺轉(zhuǎn)換、從三個(gè)選項(xiàng)(例如，輕的、中度的、強(qiáng)的)中選擇觸覺轉(zhuǎn)換的強(qiáng)度，以及選擇為其激活觸覺轉(zhuǎn)換的一個(gè)或多個(gè)應(yīng)用(例如，從列表中)。在某些實(shí)施例中，上述設(shè)置以可擴(kuò)展標(biāo)示語言(“XML”)文件被保存。上述設(shè)直能夠從XML文 件中讀取并被保存在混響對(duì)象中，其中混響對(duì)象能夠?yàn)槟承?yīng)用程序而激活，并不為其他應(yīng)用程序激活。在某些實(shí)施例中，三個(gè)值被標(biāo)識(shí)為強(qiáng)度、密度，以及銳度，是基于三個(gè)因素:(I)強(qiáng)度設(shè)置(例如，輕的、中度的、強(qiáng)的)、(2)觸覺主題(將用戶接口事件映射到觸覺效應(yīng))、以及(3)致動(dòng)器類型。強(qiáng)度、密度和銳度值可以被生成并被保存在混響對(duì)象中。流程進(jìn)行到335。在335，內(nèi)置揚(yáng)聲器對(duì)象由混響對(duì)象生成。內(nèi)置揚(yáng)聲器對(duì)象是內(nèi)置揚(yáng)聲器模塊302的實(shí)例，其中該內(nèi)置揚(yáng)聲器對(duì)象配置為從混響對(duì)象接收音頻數(shù)據(jù)幀，生成該音頻數(shù)據(jù)幀的最大值，發(fā)送該音頻數(shù)據(jù)幀的最大值給混響對(duì)象，發(fā)送該音頻數(shù)據(jù)幀給IIR過濾器303以被過濾，生成正弦波周期載波頻率，并混合該生成的正弦波周期載波頻率與該過濾的音頻數(shù)據(jù)幀，如之前關(guān)于圖2所描述的。在某些實(shí)施例中，所生成并被保存在混響對(duì)象中的強(qiáng)度和密度值還可以被保存在內(nèi)置揚(yáng)聲器對(duì)象中。流程進(jìn)行到340。在340，混響對(duì)象將從音頻軌道對(duì)象接收的PCM音頻緩沖的音頻數(shù)據(jù)幀，發(fā)送到內(nèi)置揚(yáng)聲器對(duì)象。流程進(jìn)行到345。在345，內(nèi)置揚(yáng)聲器對(duì)象采樣包含在音頻數(shù)據(jù)幀中的數(shù)據(jù)。關(guān)于圖4-7進(jìn)一步更加詳細(xì)地描述這種采樣。流程進(jìn)行到350。在350，內(nèi)置揚(yáng)聲器對(duì)象將音頻數(shù)據(jù)幀中包含的數(shù)據(jù)轉(zhuǎn)變?yōu)閱为?dú)的電壓值(即，最大值)。這種轉(zhuǎn)變還將關(guān)于圖4-7進(jìn)一步更加詳細(xì)地描述。該內(nèi)置揚(yáng)聲器對(duì)象接著返回該單獨(dú)的電壓值給混響對(duì)象。流程進(jìn)行到355。在355，混響對(duì)象執(zhí)行閾值(thresholding)任務(wù)。更特別地，混響對(duì)象確定從內(nèi)置揚(yáng)聲器對(duì)象接收的音頻數(shù)據(jù)幀的最大值是否大于指定閾值。該返回的最大值首先被線性映射到壓力值，在一個(gè)實(shí)施例中它可以在O和10000之間變化。例如，閾值可以被指定為1000。在這個(gè)例子中，如果壓力值大于1000，那么該音頻數(shù)據(jù)幀被寫到音頻緩沖，并被隨后發(fā)送給致動(dòng)器。如果壓力值小于或等于1000，那么該音頻數(shù)據(jù)幀被“丟棄”(即，不寫到音頻緩沖)，并且隨后不發(fā)送到致動(dòng)器。因此，根據(jù)該實(shí)施例，不是每個(gè)音頻數(shù)據(jù)幀都需要在致動(dòng)器播放。流程進(jìn)行到360。在360，混響對(duì)象從音頻緩沖讀取音頻數(shù)據(jù)幀，假設(shè)該音頻數(shù)據(jù)幀沒有在355被“丟棄”。流程進(jìn)行到365。在365，混響對(duì)象發(fā)送存儲(chǔ)在音頻數(shù)據(jù)緩沖內(nèi)的音頻數(shù)據(jù)幀給內(nèi)置揚(yáng)聲器對(duì)象。流程進(jìn)行到370。在370，內(nèi)置揚(yáng)聲器對(duì)象重復(fù)采樣音頻數(shù)據(jù)幀，例如，SKHz單音頻。內(nèi)置揚(yáng)聲器對(duì)象隨后發(fā)送被再采樣的音頻數(shù)據(jù)幀給IIR過濾器303。流程進(jìn)行到375。在375，IIR過濾器303低通過濾所接收的音頻數(shù)據(jù)幀，例如，在500Hz。在例子中，通過低通過濾音頻數(shù)據(jù)幀，IIR過濾器303過濾音頻數(shù)據(jù)幀內(nèi)低頻信號(hào)的單頻波段(例如，0-500HZ)。IIR過濾器303隨后返回該被低通過濾的音頻數(shù)據(jù)幀給內(nèi)置揚(yáng)聲器對(duì)象。在可選實(shí)施例中，IIR過濾器303不是一種過濾器，而是一種變換模塊(例如DSP處理、狀態(tài)機(jī)，或其他類型的編程邏輯)。在這些可選實(shí)施例中，變換模塊可以將接收的音頻數(shù)據(jù)幀變換為一種新的音頻數(shù)據(jù)幀，其中變換不一定是一種過濾變換。流程進(jìn)行到380。在380，內(nèi)置揚(yáng)聲器對(duì)象增強(qiáng)(boost)過濾的音頻數(shù)據(jù)幀中所包含的音頻數(shù)據(jù)信號(hào)。增強(qiáng)音頻數(shù)據(jù)信號(hào)包括常量乘以音頻數(shù)據(jù)信號(hào)的所有PCM值。流程進(jìn)行到385。在385，內(nèi)置揚(yáng)聲器對(duì)象在致動(dòng)器諧振頻率或任何想要的其他頻率上生成正弦載波波形(也被標(biāo)識(shí)為“正弦波周期載波頻率”或“正弦波”)，并混合該正弦載波波形與被過濾的音頻數(shù)據(jù)幀內(nèi)所包含的音頻數(shù)據(jù)信號(hào)。更特別地，內(nèi)置揚(yáng)聲器對(duì)象關(guān)于最大值(即，振幅)掃描被過濾的音頻數(shù) 據(jù)幀，標(biāo)識(shí)為A。接著，內(nèi)置揚(yáng)聲器對(duì)象利用正弦函數(shù)(例如C ++編程語言sin()函數(shù))來利用公式val = sin (2 * pi * frequency * phase)取回被過濾的音頻數(shù)據(jù)巾貞的被計(jì)算的正弦值，其中frequency是被過濾的音頻數(shù)據(jù)巾貞的頻率，以及phase是過濾的音頻數(shù)據(jù)幀的相位。隨后，內(nèi)置揚(yáng)聲器對(duì)象將被計(jì)算的正弦值(即，val)乘以過濾的音頻幀的最大值或振幅(即，A)。這種計(jì)算生成完整的正弦載波波形。內(nèi)置揚(yáng)聲器對(duì)象接著計(jì)算混合值，其中混合值表示被過濾的音頻數(shù)據(jù)幀和整個(gè)正弦載波波形的混合。更特別地，內(nèi)置揚(yáng)聲器根據(jù)公式final = (mix * bpSample) + ((1-mix) * (A * val))對(duì)象計(jì)算該混合值，其中final是表示被過濾的音頻數(shù)據(jù)幀與整個(gè)正弦載波波形的混合的混合值，bpSample是被過濾的音頻數(shù)據(jù)巾貞，mix是介于O和I之間的小數(shù)值，A是過濾的音頻中貞的最大值或振幅，以及val是整個(gè)正弦載波波形被計(jì)算的正弦值。因此，根據(jù)實(shí)施例，被過濾的音頻數(shù)據(jù)幀和整個(gè)正弦載波波形的混合通過確保表示被過濾的音頻數(shù)據(jù)幀和整個(gè)正弦載波波形(即，final)的混合值永遠(yuǎn)不會(huì)大于1，而被標(biāo)準(zhǔn)化?？商鎿Q地，如果僅僅將被過濾的音頻數(shù)據(jù)幀(即，bpSample)加上被過濾的音頻幀(即，A)的最大值或振幅和整個(gè)正弦載波波形(即，val)計(jì)算得到的正弦值結(jié)果乘積，那么該結(jié)果得到強(qiáng)的、不希望的、并且嘈雜的觸覺信號(hào)。這可以通過標(biāo)準(zhǔn)化被過濾的音頻數(shù)據(jù)幀和整個(gè)正弦載波波形來避免，如上所述。內(nèi)置揚(yáng)聲器對(duì)象然后將被過濾的音頻數(shù)據(jù)幀和整個(gè)正弦載波波形的混合返回給混響對(duì)象。在其他實(shí)施例中，多個(gè)同時(shí)載波信號(hào)(以不同頻率)可以用來生成高帶寬輸出信號(hào)。在這些實(shí)施例中，利用這里提供的算法擴(kuò)展來執(zhí)行單個(gè)載波的總和。流程進(jìn)行到390。在390，混響對(duì)象在致動(dòng)器利用被過濾的音頻數(shù)據(jù)幀和整個(gè)正弦載波波形的混合來播放波形效應(yīng)。通過在致動(dòng)器播放波形效應(yīng)，混響對(duì)象使致動(dòng)器產(chǎn)生觸覺效應(yīng)。如前所述，觸覺轉(zhuǎn)換模塊(例如圖1的觸覺轉(zhuǎn)換模塊16)處理包含在PCM音頻數(shù)據(jù)緩沖內(nèi)的音頻信號(hào)。同樣如前所述，音頻信號(hào)的處理包括采用PCM音頻數(shù)據(jù)緩沖的每個(gè)音頻數(shù)據(jù)幀，為PCM音頻數(shù)據(jù)緩沖的每個(gè)音頻數(shù)據(jù)幀計(jì)算最大值，以及振幅過濾。現(xiàn)在更加詳細(xì)地描述音頻信號(hào)的這種處理。根據(jù)某些實(shí)施例，音頻信號(hào)的包絡(luò)首先被提取。可以利用原始音頻信號(hào)或原始音頻信號(hào)的過濾版本的所有頻率來提取包絡(luò)。然而，包絡(luò)本身不具有和原始音頻信號(hào)相同的
頻率含量。在實(shí)施例中，音頻數(shù)據(jù)幀從音頻信號(hào)中得到。作為例子，音頻數(shù)據(jù)幀可以具有Ims的幀長。作為另一個(gè)例子，音頻數(shù)據(jù)幀可以具有IOms的幀長。Ims音頻數(shù)據(jù)幀捕獲頻率大于500Hz的包絡(luò)，但是不捕獲較低的頻率，并且“泄漏”通過。IOms幀捕獲頻率大于50Hz的包絡(luò)等。在一個(gè)實(shí)施例中，幀中每個(gè)樣本的絕對(duì)值被計(jì)算。在可選實(shí)施例中，計(jì)算幀中每個(gè)樣本的平方，而不是絕對(duì)值。這種處理構(gòu)成了由觸覺轉(zhuǎn)換模塊(例如圖1中的觸覺轉(zhuǎn)換模塊16)執(zhí)行的音頻數(shù)據(jù)幀采樣。絕對(duì)樣本值(或可選實(shí)施例中的平方樣本值)的最大值“V/’被計(jì)算。然后利用線性轉(zhuǎn)換函數(shù)轉(zhuǎn)換最大值“V/’，如下面關(guān)于圖4描述的。圖4示出了根據(jù)本發(fā)明的實(shí)施例的用來控制輸出值范圍的線性轉(zhuǎn)換功能400。根據(jù)實(shí)施例，線性轉(zhuǎn)換函數(shù)400可以被用來控制輸出值“V/’的范圍來獲取新的值“V2”，如圖4所示。根據(jù)示出的實(shí)施例，“X?！笨梢栽诮o定的范圍內(nèi)變化，例如[2...20]。“Χ(ι”定義將被轉(zhuǎn)換為新的值“V2”的最小值“V/’。“ymax”可以在給定的范圍內(nèi)變化，例如例子[60...255]?！皔max”定義最大被轉(zhuǎn)換值“V’。如果“V’小于或等于“V’，則輸出值“V’等于O。如果“V’大于“V’，則輸出值“V’由“V’乘以函數(shù)的斜率得到?！癡2”是收緊的(clamp)并且不會(huì)大于“Vmax”。在可選實(shí)施例中，還可以采用使用了( ,%)和(X1^max)的較為普遍的映射。這種處理構(gòu)成了由觸覺轉(zhuǎn)換模塊(例如圖1中的觸覺轉(zhuǎn)換模塊16)執(zhí)行的音頻數(shù)據(jù)幀的最大值計(jì)算。因此，根據(jù)實(shí)施例，音頻信號(hào)的包絡(luò)被映射到觸覺信號(hào)的振幅，其中該觸覺信號(hào)的振幅被過濾。在可選實(shí)施例中，該音頻信號(hào)的包絡(luò)首先被過濾，并且接著該音頻信號(hào)的被過濾包絡(luò)被映射到觸·覺信號(hào)的振幅。現(xiàn)在更詳細(xì)地描述由觸覺轉(zhuǎn)換模塊(例如圖1的觸覺轉(zhuǎn)換模塊)執(zhí)行的振幅過濾。觸覺效應(yīng)的振幅(或強(qiáng)度)“v3”是利用之前的值“v2”來計(jì)算的。在某些實(shí)施例中，“V3”可以被映射到一種頻率。在其他實(shí)施例中，“v3”可以被映射到一組頻率值。如果迭代“i”的“v2”小于迭代“1-1”的“v2”，那么輸出“v3”可以被設(shè)置為零或者其他一些小的值，或者輸出保持不變(“v3” = “v2”)。這種特殊的技術(shù)可以捕獲表示觸覺事件的信號(hào)峰值，并自動(dòng)地將獨(dú)立的觸覺效應(yīng)關(guān)聯(lián)到觸覺事件。這種技術(shù)還可以被用來在下一個(gè)觸覺事件播放之前平息致動(dòng)器，并且因此避免過度地給用戶太多的觸覺信息。在可選實(shí)施例中，當(dāng)?shù)癷”的“v2”小于迭代“1-1”的“V2”時(shí)，可以使用平滑衰減，而不是銳減到O。參數(shù)“銳度”，范圍從0%到100%，其可以用來定義衰減的數(shù)量，將其應(yīng)用于“V2”: V3 = V2X銳度/m，這里“m”是從I開始的整數(shù)，并且只要迭代“i”的“V2 ”小于迭代“1-Ι”的“V2 ”則遞增。根據(jù)實(shí)施例，當(dāng)?shù)癷”的“V2”大于或等于迭代“1-1”的“V2”，或換句話說，當(dāng)“V3” = “V，時(shí)，“m”被重置為I。在某些實(shí)施例中，在混響對(duì)象中產(chǎn)生并保存的銳度值被用作為銳度參數(shù)。圖5示出了根據(jù)本發(fā)明實(shí)施例的基于數(shù)字音頻信號(hào)生成的觸覺效應(yīng)的振幅的示例計(jì)算500。圖5示出了在44100Hz采樣的音頻信號(hào)510，為20ms幀長計(jì)算的最大值520，以及由振幅過濾獲得的脈沖530。根據(jù)實(shí)施例，脈沖530捕獲音頻信號(hào)510的包絡(luò)，并且因此，脈沖530可以通過一個(gè)或多個(gè)觸覺效應(yīng)將這介信息傳遞給用戶。圖6示出了根據(jù)本發(fā)明實(shí)施例的數(shù)字音頻信號(hào)的包絡(luò)的示例計(jì)算600。圖6示出了音頻信號(hào)610，通過低通過濾音頻信號(hào)610的絕對(duì)值獲得的包絡(luò)620，以及計(jì)算在特定幀，在本例中為20ms的最大值絕對(duì)值的包絡(luò)值630。每個(gè)特定ms周期的幀都在頻域中被處理。因此，在某些實(shí)施例中，幀的快速傅里葉變換(FFT)可以用來提取頻譜。在其他實(shí)施例中，帶通過濾器可以用來提取頻譜。在實(shí)施例中，幀信息可以劃分為低音或低頻率(例如，小于200Hz)，中頻(例如，介于240Hz和4000KHZ之間)，以及高頻(例如，大于4400KHz)，其中頻含量和高頻含量均利用信號(hào)的含量被提取。圖 7示出了根據(jù)本發(fā)明實(shí)施例的基于頻率含量的數(shù)字音頻信號(hào)的包絡(luò)的示例計(jì)算700。根據(jù)實(shí)施例，一旦音頻數(shù)據(jù)幀如前所述地被處理，則獲得最大值。實(shí)際上，三個(gè)最大值被獲得，一個(gè)用于低頻波段，一個(gè)用于中頻波段以及一個(gè)用于高頻波段。如圖7所示出的，圖表710表不未被處理的最大值(基于全部音頻信號(hào))，圖表720表不對(duì)應(yīng)于音頻信號(hào)的低頻范圍的最大值，圖表730表示對(duì)應(yīng)于音頻信號(hào)中頻范圍的最大值，以及圖表740表示對(duì)應(yīng)于音頻信號(hào)高頻范圍的最大值。根據(jù)實(shí)施例，當(dāng)信號(hào)開始被處理時(shí)，第一幀包含較多的中頻含量(即，圖表730)，考慮到獲得的最大值大于低頻波段(即，圖表720)和高頻波段(即，圖表740)中的頻率值。根據(jù)實(shí)施例，當(dāng)幀的頻率含量不同于之前幀的頻率含量時(shí)，可以播放觸覺效應(yīng)。如圖7中所示出的，觸覺效應(yīng)將在箭頭701-707指示的位置處被播放。在可選實(shí)施例中，這類技術(shù)的變形可以包括:在具有如下振幅的每個(gè)頻率變化處播放脈沖:未被處理的幀的最大振幅；對(duì)應(yīng)于頻率波段的最大振幅；在TouchSense軟件中所允許的僅用于第一幀的最大振幅。在某些可選實(shí)施例中，如果下面的幀具有相同的頻率含量，那么:該未被處理的幀的振幅可以被播放；或已被處理的幀的振幅可以被播放；或恒定振動(dòng)(可能是小的)只要幀具有相同的頻率含量就能被播放；或者基于頻率波段中的功率含量來改變振幅。在某些可選實(shí)施例中，當(dāng)發(fā)現(xiàn)具有不同頻率含量的幀時(shí)可以播放不同的觸覺效應(yīng)。此外，人類對(duì)于聲音的理解不是線性的，而是依賴于聲音的頻率。更特別地，人類對(duì)于低頻比對(duì)高頻更敏感。性別和年齡也影響理解。因此，在某些實(shí)施例中，可能存在增強(qiáng)特定頻率的補(bǔ)償因子。增強(qiáng)因子可以基于人類對(duì)聲音的理解或者甚至在一些頻率波段被人為提高時(shí)的用戶選擇。通常，軟件可以提高高頻含量，其中已知用戶對(duì)聲音具有較低的敏感度。這將允許對(duì)于特定波段的觸覺效應(yīng)變得更強(qiáng)，并且因此提高雖然被用戶的聽覺系統(tǒng)所感知和注意到、但可能沒有足夠的功率的聲音。圖8A示出了根據(jù)本發(fā)明實(shí)施例的在數(shù)字音頻信號(hào)已經(jīng)被過濾之前數(shù)字音頻信號(hào)的振幅譜計(jì)算示例800。在計(jì)算示例800中，沿著X軸表示數(shù)字音頻信號(hào)的頻率，并且沿著y軸表示在數(shù)字音頻信號(hào)的每個(gè)頻率處功率的絕對(duì)值。如圖8A所示，為所有頻率表示一些振幅的功率。圖SB示出了根據(jù)本發(fā)明實(shí)施例的在數(shù)字音頻信號(hào)已經(jīng)被過濾之后數(shù)字音頻信號(hào)的振幅譜的計(jì)算示例810。如前所述，數(shù)字音頻信號(hào)可以在給定音頻緩沖中以低頻信號(hào)的單獨(dú)頻率波段來過濾(例如，0-500HZ)。類似于計(jì)算示例800，沿著X軸表示數(shù)字音頻信號(hào)的頻率，沿著I軸表示數(shù)字音頻信號(hào)的振幅的絕對(duì)值。然而，如圖8B所示，振幅僅僅表示低頻信號(hào)的單獨(dú)被過濾的頻率波段(即，0-500HZ)。在某些實(shí)施例中，觸覺轉(zhuǎn)換系統(tǒng)的用戶可以定制聲音-觸覺效應(yīng)轉(zhuǎn)換系統(tǒng)。更特別地，用戶可以選擇是否利用低通過濾器、高通過濾器、或帶通過濾器來過濾數(shù)字音頻信號(hào)?？蛇x地，除了定制過濾器類型，用戶可以指定過濾器參數(shù)而不是在預(yù)定參數(shù)之間選擇。根據(jù)這些實(shí)施例，觸覺轉(zhuǎn)換系統(tǒng)可以顯示圖形用戶接口內(nèi)的一個(gè)或多個(gè)用戶定義的參數(shù)。利用該圖形用戶接口，用戶可以接著從一個(gè)或多個(gè)用戶定義的參數(shù)中選擇或者指定一個(gè)或多個(gè)用戶定義的參數(shù)。例如，用戶可以從低通過濾器、帶通過濾器、高通過濾器中選擇聲音-觸覺效應(yīng)轉(zhuǎn)換算法中利用的過濾器類型。作為另一個(gè)示例，用戶能夠指定一個(gè)或多個(gè)截止頻率，其中代替250和500Hz之間的值，用戶可以指定任何值。仍然作為另一個(gè)示例，用戶可以指定聲音-觸覺效應(yīng)轉(zhuǎn)換算法中使用的增益。在某些實(shí)施例中，不使用預(yù)先定義的過濾器參數(shù)，而是觸覺轉(zhuǎn)換系統(tǒng)可以基于用戶定義的參數(shù)計(jì)算運(yùn)行時(shí)的過濾器參數(shù)。更特別地，用戶可以選擇過濾器類型。例如，用戶可以選擇Butterworth設(shè)計(jì)、Bessel設(shè)計(jì)、或者Chebyshev設(shè)計(jì)，其中對(duì)于每個(gè)設(shè)計(jì)，用戶可以選擇低通過濾器、高通過濾器、帶通過濾器、或帶阻過濾器。如果用戶選擇Chebyshev設(shè)計(jì)，用戶還可以指定脈動(dòng)(ripple)。用戶還可以指定過濾器順序以及采樣率。如果用戶選擇低通過濾器或高通過濾器，用戶還可以指定拐點(diǎn)頻率，并且如果用戶選擇帶通過濾器或帶阻過濾器，則用戶可以選擇兩個(gè)拐點(diǎn)頻率。用戶還可以選擇可選的附加零值，以及可選的振幅比例下限。此外，用戶還可以選擇過濾器是否由雙線性變換方法設(shè)計(jì)，或由匹配的z變換方法設(shè)計(jì)。觸覺轉(zhuǎn)換系統(tǒng)能夠基于用戶指定的參數(shù)計(jì)算運(yùn)行時(shí)的一個(gè)或多個(gè)過濾器參數(shù)。圖9示出了根據(jù)本發(fā)明實(shí)施例的觸覺轉(zhuǎn)換模塊(例如圖1的觸覺轉(zhuǎn)換模塊16)的功能性流程圖。在910，接收音頻信號(hào)的數(shù)據(jù)幀。在某些實(shí)施例中，當(dāng)音頻信號(hào)流向揚(yáng)聲器時(shí)，音頻信號(hào)被截取。而且，在某些實(shí)施例中，音頻信號(hào)是PCM音頻緩沖。流程進(jìn)行到920。在920，生成數(shù)據(jù)幀的最大值。在某些實(shí)施例中，通過采樣數(shù)據(jù)幀來產(chǎn)生數(shù)據(jù)幀的一個(gè)或多個(gè)樣本值以產(chǎn)生最大值，其中該最大值是一個(gè)或多個(gè)樣本值的最大值。在一個(gè)實(shí)施例中，該一個(gè)或多個(gè)樣本值是絕對(duì)值。在一個(gè)可選實(shí)施例中，該一個(gè)或多個(gè)樣本值是平方值。在某些實(shí)施例中，該最大值是利用線性轉(zhuǎn)換函數(shù)從原始的最大值轉(zhuǎn)換的。流程進(jìn)行到930。在930，數(shù)據(jù)幀被 變換。在某些實(shí)施例中，利用帶通過濾器帶通過濾數(shù)據(jù)幀。在這些實(shí)施例中，數(shù)據(jù)幀中頻率信號(hào)的單獨(dú)頻率波段被過濾。在可選實(shí)施例中，利用II過濾器低通過濾數(shù)據(jù)幀。在這些實(shí)施例中，數(shù)據(jù)幀中的頻率信號(hào)的單獨(dú)頻率波段被過濾。例如，波段0-500HZ可以被過濾。在某些實(shí)施例中，在數(shù)據(jù)幀被變換之前，數(shù)據(jù)幀被再采樣。在某些實(shí)施例中，在數(shù)據(jù)幀被變換之后，含有數(shù)據(jù)幀的數(shù)字音頻信號(hào)被增強(qiáng)。流程進(jìn)行到940。在940，基于被變換的數(shù)據(jù)幀的最大值產(chǎn)生至少一個(gè)正弦載波波形。在某些實(shí)施例中，被變換的數(shù)據(jù)幀被掃描，以及被轉(zhuǎn)換的數(shù)據(jù)幀的最大值被確定。接著，基于被變換的數(shù)據(jù)幀的頻率，用正弦函數(shù)取回被變換的數(shù)據(jù)幀的計(jì)算出的正弦值，以及被變換的數(shù)據(jù)幀的相位。隨后，計(jì)算出的正弦值乘以被變換的數(shù)據(jù)幀的最大值，從而生成至少一個(gè)正弦載波波形。在950，該被變換的數(shù)據(jù)幀與至少一個(gè)正弦載波波形混合以產(chǎn)生調(diào)制數(shù)據(jù)幀。在某些實(shí)施例中，根據(jù)公式該被變換的數(shù)據(jù)幀與至少一個(gè)正弦載波波形混合，其中被變換的數(shù)據(jù)中貞和至少一個(gè)正弦載波波形的混合被標(biāo)準(zhǔn)化(normalized)。在960，基于最大值和調(diào)制數(shù)據(jù)幀產(chǎn)生觸覺信號(hào)。在某些實(shí)施例中，最大值確定是否產(chǎn)生該觸覺信號(hào)，并且該調(diào)制數(shù)據(jù)幀定義觸覺信號(hào)的精度。在某些實(shí)施例中，其中最大值確定是否產(chǎn)生該觸覺信號(hào)，這時(shí)僅當(dāng)最大值大于指定閾值時(shí)產(chǎn)生該觸覺信號(hào)。流程進(jìn)行到970。在970，通過致動(dòng)器發(fā)送觸覺信號(hào)來產(chǎn)生一個(gè)或多個(gè)觸覺效應(yīng)。在某些實(shí)施例中，觸覺信號(hào)是波形效應(yīng)。同樣，在某些實(shí)施例中，產(chǎn)生和發(fā)送觸覺信號(hào)進(jìn)一步包括將調(diào)制數(shù)據(jù)幀作為參數(shù)傳送給觸覺效應(yīng)播放模塊的應(yīng)用編程接口。因此，根據(jù)實(shí)施例，觸覺轉(zhuǎn)換系統(tǒng)截取作為音頻信號(hào)一部分的音頻數(shù)據(jù)幀，將音頻數(shù)據(jù)幀轉(zhuǎn)換為觸覺信號(hào)，其中每個(gè)音頻數(shù)據(jù)幀的最大值定義正弦波周期載波頻率，其與每個(gè)被過濾的音頻數(shù)據(jù)幀混合來定義觸覺信號(hào)的波形，并且通過致動(dòng)器播放被轉(zhuǎn)換的觸覺信號(hào)來產(chǎn)生觸覺效應(yīng)。由觸覺轉(zhuǎn)換系統(tǒng)執(zhí)行的對(duì)每個(gè)音頻數(shù)據(jù)幀的調(diào)制顯現(xiàn)出存在致動(dòng)器自身中的大量的精度以及真實(shí)感受，并且導(dǎo)致在致動(dòng)器處播放的觸覺信號(hào)更加靈活。
·
貫穿說明書描述的本發(fā)明的功能、結(jié)構(gòu)、或特征可以以任何適合的方式在一個(gè)或多個(gè)實(shí)施例中被組合。例如，使用一個(gè)“實(shí)施例，” “一些實(shí)施例，” “特定實(shí)施例，” “某些實(shí)施例”或其它類型的語言，貫穿說明書是指如下的事實(shí)，結(jié)合實(shí)施例描述的特定的功能、結(jié)構(gòu)、或特征可以被包括在本發(fā)明的至少一個(gè)實(shí)施例中。因此，出現(xiàn)的語句“一個(gè)實(shí)施例，I‘一些實(shí)施例，” “特定實(shí)施例，” “某些實(shí)施例”或其他類似的語言，貫穿本說明書不必都指代同一組實(shí)施例，并且描述的功能、結(jié)構(gòu)、或特征可以以任何適合的方式在一個(gè)或多個(gè)實(shí)施例中被細(xì)合。本領(lǐng)域普通技術(shù)人員容易理解，以上討論的本發(fā)明可以通過不同順序的步驟，和/或不同于那些已經(jīng)被公開的配置中的元件來實(shí)施。因此，盡管已經(jīng)基于這些優(yōu)選實(shí)施例描述了本發(fā)明，但是顯然對(duì)本領(lǐng)域技術(shù)人員而言某些修改、變化、以及可選的結(jié)構(gòu)是明顯的，同時(shí)仍在本發(fā)明的主旨和范圍之內(nèi)。因此，可以參考給出的附加的權(quán)利要求以便確定本發(fā)明的邊界和范圍。
權(quán)利要求
1.一種將音頻信號(hào)轉(zhuǎn)換為一個(gè)或多個(gè)觸覺效應(yīng)的方法，該方法包括: 接收該音頻信號(hào)的數(shù)據(jù)幀； 產(chǎn)生該數(shù)據(jù)幀的最大值； 變換該數(shù)據(jù)幀； 基于該被變換的數(shù)據(jù)幀的最大值產(chǎn)生至少一個(gè)正弦載波波形； 混合該被變換的數(shù)據(jù)幀與該至少一個(gè)正弦載波波形來產(chǎn)生調(diào)制數(shù)據(jù)幀； 基于該最大值和該調(diào)制數(shù)據(jù)幀產(chǎn)生觸覺信號(hào)；以及 發(fā)送該觸覺信號(hào)到致動(dòng)器來產(chǎn)生一個(gè)或多個(gè)觸覺效應(yīng)。
2.如權(quán)利要求1所述的方法，其中該數(shù)據(jù)幀的該最大值確定是否產(chǎn)生觸覺效應(yīng)，并且其中該調(diào)制數(shù)據(jù)幀定義該觸覺信號(hào)的精度。
3.如權(quán)利要求2所述的方法，其中僅當(dāng)該數(shù)據(jù)幀的最大值大于指定閾值時(shí)，產(chǎn)生該觸覺信號(hào)。
4.如權(quán)利要求1所述的方法，其中該觸覺信號(hào)包括波形效應(yīng)。
5.如權(quán)利要求1所述的方法,其中變換該數(shù)據(jù)幀包括帶通過濾該數(shù)據(jù)幀。
6.如權(quán)利要求1所述的方法,其中變換該數(shù)據(jù)幀包括低通過濾該數(shù)據(jù)幀。
7.如權(quán)利要求1所述的方法，產(chǎn)生至少一個(gè)正弦載波波形進(jìn)一步包括: 基于該被變換的數(shù)據(jù)幀 的頻率和該被變換的數(shù)據(jù)幀的相位計(jì)算該被變換的數(shù)據(jù)幀的正弦值；以及 將計(jì)算出的正弦值乘以該被變換的數(shù)據(jù)幀的最大值。
8.如權(quán)利要求1所述的方法，其中根據(jù)公式混合該被變換的數(shù)據(jù)幀與至少一個(gè)正弦載波波形，其中該被變換的數(shù)據(jù)幀和該至少一個(gè)正弦載波波形的混合被標(biāo)準(zhǔn)化。
9.如權(quán)利要求1所述的方法，進(jìn)一步包括利用該數(shù)據(jù)幀的快速傅里葉變換從該數(shù)據(jù)幀提取頻率含量。
10.如權(quán)利要求1所述的方法，進(jìn)一步包括利用帶通過濾器從該數(shù)據(jù)幀提取頻率含量。
11.如權(quán)利要求1所述的方法，進(jìn)一步包括: 將該數(shù)據(jù)幀劃分為低頻含量、中頻含量、和高頻含量；以及 利用該數(shù)字音頻信號(hào)的含量提取該中頻含量和高頻含量。
12.一種觸覺轉(zhuǎn)換系統(tǒng)，包括: 用于接收該音頻信號(hào)的數(shù)據(jù)幀的裝置； 用于產(chǎn)生該數(shù)據(jù)幀的最大值的裝置； 用于變換該數(shù)據(jù)幀的裝置； 用于基于該被變換數(shù)據(jù)幀的最大值產(chǎn)生至少一個(gè)正弦載波波形的裝置； 用于混合該被變換的數(shù)據(jù)幀與該至少一個(gè)正弦載波波形來產(chǎn)生調(diào)制數(shù)據(jù)幀的裝置； 用于基于該最大值和該調(diào)制數(shù)據(jù)幀產(chǎn)生觸覺信號(hào)的裝置； 用于發(fā)送該觸覺信號(hào)到致動(dòng)器來產(chǎn)生一個(gè)或多個(gè)觸覺效應(yīng)的裝置。
13.如權(quán)利要求12所述的觸覺轉(zhuǎn)換系統(tǒng)，其中該數(shù)據(jù)幀的該最大值確定是否產(chǎn)生該觸覺效應(yīng)，并且其中該調(diào)制數(shù)據(jù)幀定義該觸覺信號(hào)的精度。
14.如權(quán)利要求13所述的觸覺轉(zhuǎn)換系統(tǒng)，進(jìn)一步包括裝置用于僅當(dāng)該數(shù)據(jù)幀的該最大值大于指定閾值時(shí)，產(chǎn)生該觸覺信號(hào)。
15.如權(quán)利要求12所述的觸覺轉(zhuǎn)換系統(tǒng)，其中該觸覺信號(hào)包括波形效應(yīng)。
16.如權(quán)利要求12所述的觸覺轉(zhuǎn)換系統(tǒng)，進(jìn)一步包括用于帶通過濾該數(shù)據(jù)幀的裝置。
17.如權(quán)利要求12所述的觸覺轉(zhuǎn)換系統(tǒng)，進(jìn)一步包括用于利用該數(shù)據(jù)幀的快速傅里葉變換從該數(shù)據(jù)幀提取頻率含量的裝置。
18.如權(quán)利要求12所述的觸覺轉(zhuǎn)換系統(tǒng)，進(jìn)一步包括用于利用帶通過濾器從該數(shù)據(jù)幀提取頻率含量的裝置。
19.如權(quán)利要求12所述的觸覺轉(zhuǎn)換系統(tǒng)，進(jìn)一步包括: 用于將該數(shù)據(jù)幀劃分為低頻含量、中頻含量、和高頻含量的裝置；以及 用于利用該數(shù)字音頻信號(hào)的含量提取該中頻含量和高頻含量的裝置。
20.一種具有存儲(chǔ)在其上的指令的計(jì)算機(jī)可讀介質(zhì)，當(dāng)由處理器執(zhí)行時(shí)，使得該處理器執(zhí)行根據(jù)前述權(quán)利要求1-11中的一項(xiàng)的方法。
21.一種觸覺轉(zhuǎn)換系統(tǒng)，包括: 根據(jù)權(quán)利要求20的計(jì)算機(jī)可讀介質(zhì)； 處理器，耦合于該計(jì)算機(jī)可讀介質(zhì)，并配置為執(zhí)行該計(jì)算機(jī)可讀介質(zhì)；以及 致動(dòng)器，配置為輸出 一個(gè)或多個(gè)觸覺效應(yīng)。
全文摘要
本公開涉及利用波形的聲音到觸覺效應(yīng)轉(zhuǎn)換系統(tǒng)。提供了一種觸覺轉(zhuǎn)換系統(tǒng)，其截取音頻數(shù)據(jù)的幀，例如數(shù)字音頻信號(hào)，將幀轉(zhuǎn)換為觸覺信號(hào)，并通過致動(dòng)器播放該生成的觸覺信號(hào)來產(chǎn)生觸覺效應(yīng)。該觸覺信號(hào)基于每個(gè)音頻數(shù)據(jù)幀的最大值，其定義該觸覺信號(hào)的振幅。該觸覺信號(hào)被應(yīng)用到配置為接收該觸覺信號(hào)的致動(dòng)器，該致動(dòng)器利用該觸覺信號(hào)來產(chǎn)生一個(gè)或多個(gè)觸覺效應(yīng)。
文檔編號(hào)G10L21/06GK103247296SQ20121013118
公開日2013年8月14日 申請(qǐng)日期2012年2月10日 優(yōu)先權(quán)日2011年2月11日
發(fā)明者R·巴提亞, K·甘地, C·J·奧瑞奇, J·M·克魯茲-埃爾南德斯, H·T·提蒙, J·H·F·勞 申請(qǐng)人:英默森公司