上的原始格式(16位PCM)?？梢匀绫绢I(lǐng)域所公知的那樣，連同振幅標(biāo)準(zhǔn)化一起執(zhí)行過(guò)濾器，諸如帶通濾波器?？梢詫⑿盘?hào)進(jìn)一步地劃分為大小與基礎(chǔ)聲事件的變化速率相媲美的幀，以產(chǎn)生特定的幀速率?？梢詫㈠F形窗功能應(yīng)用到每個(gè)塊，并且應(yīng)用重疊以確保改變的魯棒性。然后，在預(yù)處理音頻上執(zhí)行變換303，以將其從時(shí)域轉(zhuǎn)換到頻域。適當(dāng)?shù)淖儞Q尤其包括FFT，DCT，Haar變換和Walsh-Hadamard變換。
[0043]在應(yīng)用變換之后，特征抽取塊304有知覺(jué)地從可能基于Mel頻率倒譜系數(shù)(MFCC)或者譜平面度測(cè)量(SFM)的音頻識(shí)別有意義的參數(shù)，其是對(duì)用于頻譜中的頻帶的類似音調(diào)或者類似噪聲的質(zhì)量的估計(jì)。另外，特征抽取304可以使用波段表示向量，該波段表示向量基于具有突出音調(diào)，諸如頂點(diǎn)的波段的指標(biāo)。另選地，可以使用每個(gè)波段的能量級(jí)，并且可以進(jìn)一步地使用bark尺度波段的能量，以獲得指示在時(shí)間和頻率分析兩者中的能量帶差的散列字符串。在后處理305中，決定在該音頻中的時(shí)間變化以產(chǎn)生特征向量，并且可以為了魯棒性規(guī)范化和/或量化該結(jié)果。
[0044]指紋模式306接收由305計(jì)算的特征向量序列并且為后來(lái)的檢索處理/建模該矢量。這里，該矢量服從(距離)量度和指標(biāo)算法，以參與后面的檢索。在一個(gè)實(shí)施方式下，可以將音頻片段的多維矢量序列概括成使用多塊過(guò)濾能量(例如，16塊)的平均值和漂移以生成多位簽名(例如，512位)。在另一個(gè)實(shí)施方式中，該矢量可以包括平均零交點(diǎn)比率，經(jīng)估計(jì)的每分鐘拍數(shù)(BPM)，和/或表示一部分音頻的平均功率譜。在又一個(gè)實(shí)施方式中，模式306可以基于特征的序列(蹤跡，軌跡)來(lái)產(chǎn)生二進(jìn)制向量序列。可以進(jìn)一步將矢量序列分組以形成電報(bào)密碼本，雖然在這個(gè)例子中可能丟失該音頻當(dāng)時(shí)的特征。本領(lǐng)域技術(shù)人員可以理解的是可以利用多種模式的技術(shù)，取決于所使用的系統(tǒng)的應(yīng)用和處理能力。一旦建模，存儲(chǔ)結(jié)果簽名307并為了后來(lái)的匹配而最終傳輸該結(jié)果簽名307。
[0045]繼續(xù)圖3A，從本地的外部信源(例如，裝置110)接收同步信號(hào)308，在那里接口309為時(shí)鐘310更新精確的時(shí)間。來(lái)自時(shí)鐘310的時(shí)間數(shù)據(jù)用于為在307提取的簽名生成時(shí)間戳311。相比于時(shí)間戳基于精確的時(shí)間，具有更大的把握來(lái)產(chǎn)生該音頻簽名隨后的識(shí)另O。優(yōu)選地在編碼器111中生成音頻簽名，然而也可能在裝置110或者其它硬件122中生成。
[0046]轉(zhuǎn)到圖3B，公開了另選實(shí)施方式，其中利用時(shí)鐘校正形成時(shí)域音頻簽名。這里，音頻320在321受到預(yù)處理，其中經(jīng)該音頻數(shù)字化(必要時(shí))并且將其轉(zhuǎn)變?yōu)橥ㄓ酶袷?，諸如處于某個(gè)采樣率(例如，44.1KHz)上的原始格式(16位PCM)。可以如本領(lǐng)域所公知的那樣，連同振幅標(biāo)準(zhǔn)化一起執(zhí)行過(guò)濾器，諸如帶通濾波器?？梢詫⑿盘?hào)進(jìn)一步地劃分為大小與基礎(chǔ)聲事件的變化速率相媲美的幀，以產(chǎn)生特定的幀速率。接下來(lái)，直接從所處理的音頻幀中提取音頻特征，其中不同于圖3A的實(shí)施方式，該音頻不受轉(zhuǎn)換的影響。顯著的音頻特征包括用于特定幀中音頻的零交點(diǎn)、頂點(diǎn)、最大峰值、平均幀幅度、以及其它特征。一旦被提取，后面的處理333可以通過(guò)將預(yù)定閾值應(yīng)用到幀來(lái)進(jìn)一步處理特征，以確定信號(hào)交叉等等。類似于圖3A，執(zhí)行建模334以確定音頻特征的基于時(shí)間的特性以形成音頻簽名335，存儲(chǔ)音頻簽名355并為了匹配最終將其發(fā)送。
[0047]從本地的外部信源(例如，裝置110)接收同步信號(hào)336，其中接口 337更新時(shí)鐘338精確的時(shí)間。來(lái)自時(shí)鐘338的時(shí)間數(shù)據(jù)用于生成時(shí)間戳339，其用于在335中提取簽名。再次，利用諸如上面所描述的那些時(shí)鐘同步技術(shù)增加所生成的音頻簽名的隨后識(shí)別的準(zhǔn)確度。圖3B的音頻簽名優(yōu)選地在編碼器111生成，然而也可以在裝置110或者其它硬件122中生成。
[0048]雖然已經(jīng)參考部件、特征等的具體布置描述了各種實(shí)施方式，但是這些并不旨在窮盡所有可能的布置或者特征，并且事實(shí)上，許多其它實(shí)施方式，修改以及變型對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)將是能夠確定的。
【主權(quán)項(xiàng)】
1.一種用于同步處理裝置的方法，所述方法包括以下步驟: 在所述處理裝置中接收音頻信號(hào)； 在所述處理裝置中產(chǎn)生第一時(shí)間數(shù)據(jù)； 經(jīng)由所述處理裝置上的耦合接口接收第二時(shí)間數(shù)據(jù)； 在所述處理裝置中處理所述第二時(shí)間數(shù)據(jù)，以確定該第二時(shí)間數(shù)據(jù)是否是預(yù)定類型； 在所述裝置中處理所述音頻信號(hào)，以便生成與所述音頻有關(guān)的至少一個(gè)可識(shí)別特征； 如果所述預(yù)定類型被確定，則將所述第二時(shí)間數(shù)據(jù)與所述可識(shí)別特征相關(guān)聯(lián)；以及 將所述可識(shí)別特征連同相關(guān)聯(lián)的第二時(shí)間數(shù)據(jù)一起發(fā)送。
2.如權(quán)利要求1所述的方法，其中所述至少一個(gè)可識(shí)別特征包括嵌入到所述音頻中的輔助代碼。
3.如權(quán)利要求2所述的方法，其中所嵌入的輔助代碼在該音頻信號(hào)中實(shí)質(zhì)上聽不見(jiàn)。
4.如權(quán)利要求3所述的方法，其中所述輔助代碼包括識(shí)別(i)與所述音頻信號(hào)有關(guān)的內(nèi)容以及(ii)所述音頻信號(hào)的源中的至少一個(gè)的信息。
5.如權(quán)利要求1所述的方法，其中所述至少一個(gè)可識(shí)別特征包括音頻簽名，所述音頻簽名包括識(shí)別該音頻信號(hào)的(i)基于頻率的特征以及(ii)基于時(shí)間的特征中的至少一個(gè)的數(shù)據(jù)。
6.如權(quán)利要求1所述的方法，其中所述第二時(shí)間數(shù)據(jù)的處理包括確定所述第二時(shí)間數(shù)據(jù)是否來(lái)源于預(yù)定IP地址的步驟。
7.如權(quán)利要求1所述的方法，其中所述第二時(shí)間數(shù)據(jù)的處理包括確定所述第二時(shí)間數(shù)據(jù)是否具有高于所述第一時(shí)間數(shù)據(jù)的層次次序的步驟。
8.如權(quán)利要求1所述的方法，其中所述耦合接口包括⑴藍(lán)牙接口、(ii)WiFi接口、(iii)USB 接口和(iv)RS-232 接口中的一個(gè)。
9.一種處理裝置，所述處理裝置包括: 音頻接口，所述音頻接口用于在所述處理裝置中接收音頻信號(hào)； 處理器，所述處理器耦合到所述音頻接口 ； 定時(shí)裝置，所述定時(shí)裝置用于在所述處理裝置中產(chǎn)生第一時(shí)間數(shù)據(jù)； 耦合接口，所述耦合接口用于接收第二時(shí)間數(shù)據(jù)；其中，所述處理器: (i)處理所述第二時(shí)間數(shù)據(jù)，以確定該第二時(shí)間數(shù)據(jù)是否是預(yù)定類型， (ii)處理所述音頻信號(hào)，以生成與所述音頻有關(guān)的至少一個(gè)可識(shí)別特征，以及 (iii)如果所述預(yù)定類型被確定，則將所述第二時(shí)間數(shù)據(jù)與所述可識(shí)別特征相關(guān)聯(lián)；以及 輸出端，所述輸出端用于將所述可識(shí)別特征連同相關(guān)聯(lián)的第二時(shí)間數(shù)據(jù)一起發(fā)送。
10.如權(quán)利要求9所述的裝置，其中所述至少一個(gè)可識(shí)別特征包括嵌入到所述音頻中的輔助代碼。
11.如權(quán)利要求10所述的裝置，其中所嵌入的輔助代碼在該音頻信號(hào)中實(shí)質(zhì)上聽不見(jiàn)。
12.如權(quán)利要求11所述的裝置，其中所述輔助代碼包括識(shí)別(i)與所述音頻信號(hào)有關(guān)的內(nèi)容以及(ii)所述音頻信號(hào)的源中的至少一個(gè)的信息。
13.如權(quán)利要求9所述的裝置，其中所述至少一個(gè)可識(shí)別特征包括音頻簽名，所述音頻簽名包括識(shí)別所述音頻信號(hào)的(i)基于頻率的特征以及(ii)基于時(shí)間的特征中的至少一個(gè)的數(shù)據(jù)。
14.如權(quán)利要求9所述的裝置，其中所述處理器處理所述第二時(shí)間數(shù)據(jù)，以確定該第二時(shí)間數(shù)據(jù)是否來(lái)源于預(yù)定IP地址。
15.如權(quán)利要求9所述的裝置，其中所述處理器處理所述第二時(shí)間數(shù)據(jù)，以確定所述第二時(shí)間數(shù)據(jù)是否具有高于所述第一時(shí)間數(shù)據(jù)的層次次序。
16.如權(quán)利要求9所述的裝置，其中所述耦合接口包括⑴藍(lán)牙接口、(ii)WiFi接口、(iii)USB 接口和(iv)RS-232 接口中的一個(gè)。
17.一種系統(tǒng)，所述系統(tǒng)包括: 便攜式裝置，所述便攜式裝置包括用于接收第一時(shí)間數(shù)據(jù)的數(shù)據(jù)接口 ； 處理裝置，所述處理裝置包括: 音頻接口，所述音頻接口用于在所述處理裝置中接收音頻信號(hào)； 處理器，所述處理器耦合到所述音頻接口 ； 定時(shí)裝置，所述定時(shí)裝置用于在所述處理裝置中產(chǎn)生所述第二時(shí)間數(shù)據(jù)； 耦合接口，所述耦合接口用于從所述便攜式裝置接收所述第一時(shí)間數(shù)據(jù)，其中所述處理器: (i)處理所述第一時(shí)間數(shù)據(jù)以確定該第一時(shí)間數(shù)據(jù)是否是預(yù)定類型，(ii)處理所述音頻信號(hào)以生成與所述音頻有關(guān)的至少一個(gè)可識(shí)別特征，以及(iii)如果所述預(yù)定類型被確定，則將所述第二時(shí)間數(shù)據(jù)與所述可識(shí)別特征相關(guān)聯(lián)；以及 輸出端，所述輸出端用于將所述可識(shí)別特征連同相關(guān)聯(lián)的第二時(shí)間數(shù)據(jù)一起發(fā)送。
18.如權(quán)利要求17所述的系統(tǒng)，其中所述至少一個(gè)可識(shí)別特征包括嵌入到該音頻中的輔助代碼。
19.如權(quán)利要求17所述的系統(tǒng)，其中所述至少一個(gè)可識(shí)別特征包括音頻簽名，所述音頻簽名包括識(shí)別該音頻信號(hào)的(i)基于頻率的特征以及(ii)基于時(shí)間的特征中的至少一個(gè)的數(shù)據(jù)。
20.如權(quán)利要求17所述的系統(tǒng)，其中所述處理器處理所述第二時(shí)間數(shù)據(jù)，以確定所述第二時(shí)間數(shù)據(jù)是否具有高于所述第一時(shí)間數(shù)據(jù)的層次次序，并且其中所述耦合接口包括⑴藍(lán)牙接口、(ii)WiFi 接口、(iii)USB 接口和(iv)RS_232 接口中的一個(gè)。
【專利摘要】公開了用于同步從音頻媒體產(chǎn)生可識(shí)別特征的裝置的系統(tǒng)和方法。裝置接收音頻并且產(chǎn)生初始時(shí)間數(shù)據(jù)。在耦合接口處從已經(jīng)訪問(wèn)精確時(shí)間源的便攜式裝置接收隨后的時(shí)間數(shù)據(jù)。處理隨后的時(shí)間數(shù)據(jù)以確定它是否比初始時(shí)間數(shù)據(jù)更加精確。如果是，則更新裝置的時(shí)鐘以反映第二時(shí)間數(shù)據(jù)。所述裝置然后處理所述音頻媒體以生成與所述音頻有關(guān)的至少一個(gè)可識(shí)別特征，所述至少一個(gè)可識(shí)別特征可以包括輔助代碼和/或音頻簽名。所述可識(shí)別特征連同隨后的時(shí)間數(shù)據(jù)接著一起被發(fā)送以供檢測(cè)。
【IPC分類】H04N7-12
【公開號(hào)】CN104521229
【申請(qǐng)?zhí)枴緾N201380029273
【發(fā)明人】J·斯塔夫羅普洛斯, A·詹, W·林奇, V·庫(kù)茲涅佐夫, J·克里斯特爾, D·吉什, A·諾伊豪澤爾
【申請(qǐng)人】尼爾森（美國(guó)）有限公司
【公開日】2015年4月15日
【申請(qǐng)日】2013年7月2日
【公告號(hào)】CA2875352A1, EP2910015A1, US20140114456, WO2014065902A1