音頻特征數(shù)據(jù)的提取及分析的制作方法
【專利摘要】一種特定方法包含在處理器處從低功率狀態(tài)轉(zhuǎn)變出。所述方法還包含在從所述低功率狀態(tài)轉(zhuǎn)變出之后從緩沖器檢索音頻特征數(shù)據(jù)。所述音頻特征數(shù)據(jù)指示在所述處理器的所述低功率狀態(tài)期間接收的音頻數(shù)據(jù)的特征。
【專利說明】音頻特征數(shù)據(jù)的提取及分析
[0001]相關(guān)申請案的交叉參考
[0002]本申請案主張來自2011年11月I日申請的第61/554，318號美國臨時申請案及2012年5月30日申請的第13/483，732號美國非臨時申請案的優(yōu)先權(quán)，所述申請案中的每一者的內(nèi)容以引用的方式全文并入。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明大體涉及音頻特征數(shù)據(jù)的提取及分析。
【背景技術(shù)】
[0004]技術(shù)的進步已產(chǎn)生更小且更強大的計算裝置。舉例來說，當前存在多種便攜式個人計算裝置，包含無線計算裝置，例如較小、輕重量且易于由用戶攜帶的便攜式無線電話、個人數(shù)字助理(PDA)及尋呼裝置。更具體來說，例如蜂窩式電話及因特網(wǎng)協(xié)議(IP)電話的便攜式無線電話可經(jīng)由無線網(wǎng)絡(luò)傳達語音及數(shù)據(jù)包。此外，許多此類無線電話包含并入其中的其它類型裝置。舉例來說，無線電話還可包含數(shù)字靜態(tài)相機、數(shù)字視頻攝像機、數(shù)字記錄器及音頻文件播放器。
[0005]由于并入到無線電話中的裝置數(shù)目增加，無線電話處的電池資源可變得缺乏。為節(jié)省電池資源，無線電話可在非活動時段后轉(zhuǎn)變到“閑置”或“睡眠”模式中。無線電話可響應(yīng)于網(wǎng)絡(luò)事件(例如，接收電話呼叫)或用戶輸入(例如，用戶按壓無線電話的按鈕)而轉(zhuǎn)變回到“活動”或“喚醒”模式中。一些裝置還可包含響應(yīng)于音頻輸入(例如，語音命令)而“喚醒”的能力。然而，為了實施此類功能性，裝置的處理器及其它組件可在“一直接通”模式中運行且可持續(xù)消耗功率，這可降低裝置的整體電池壽命。

【發(fā)明內(nèi)容】

[0006]揭示一種提取及分析音頻特征數(shù)據(jù)的低功率系統(tǒng)及方法。舉例來說，本文所揭示的技術(shù)可以減少的功率消耗來實現(xiàn)電子裝置(例如，無線電話)中的聲音感測功能性。電子裝置可包含耦合到處理器(例如，音頻數(shù)字信號處理器(DSP))的低功率譯碼器/解碼器(CODEC)。系統(tǒng)可具有多個操作模式，每一模式對應(yīng)于CODEC活動性與處理器活動性的不同比率。舉例來說，在第一模式中，CODEC可持續(xù)操作且處理器可以第一速率工作循環(huán)。舉例來說，處理器可根據(jù)10%工作循環(huán)而操作(B卩，10%的時間活動且90%的時間閑置)。在第二模式中，CODEC也可為具有工作循環(huán)的。CODEC可在不同模式中以不同的速率工作循環(huán)。在一些模式中，CODEC的活動性可大于或等于處理器的活動性。在其它模式中，例如在處理器具有沉重的計算負荷時，處理器的活動性可大于CODEC的活動性。CODEC可接收音頻數(shù)據(jù)(例如，從裝置的麥克風(fēng))，并從音頻數(shù)據(jù)提取音頻特征。處理器可分析音頻特征，且可基于分析而執(zhí)行一或多個動作。舉例來說，處理器可基于分析而激活電子裝置的一或多個其它組件。
[0007]在特定實施例中，一種方法包含在處理器處從低功率狀態(tài)轉(zhuǎn)變出。所述方法還包含處理器在從所述低功率狀態(tài)轉(zhuǎn)變出之后從緩沖器檢索音頻特征數(shù)據(jù)。所述音頻特征數(shù)據(jù)指示在所述處理器的所述低功率狀態(tài)期間接收的音頻數(shù)據(jù)的特征。在一些實施例中，在處理器處于低功率狀態(tài)中時，可能已接收到音頻數(shù)據(jù)，且可能已由耦合到處理器的CODEC提取音頻特征數(shù)據(jù)。
[0008]在另一特定實施例中，一種方法包含在CODEC處接收音頻數(shù)據(jù)的幀。所述方法還包含從音頻數(shù)據(jù)的所述幀提取音頻特征數(shù)據(jù)。所述方法進一步包含將所述經(jīng)提取音頻特征數(shù)據(jù)存儲在緩沖器中以在具有工作循環(huán)的處理器的活動狀態(tài)期間可由所述具有工作循環(huán)的處理器存取。
[0009]在另一特定實施例中，一種設(shè)備包含處理器及多個濾波器，所述濾波器經(jīng)配置以對音頻數(shù)據(jù)的一或多個幀濾波以產(chǎn)生經(jīng)濾波音頻數(shù)據(jù)的能量(與所述處理器處于低功率狀態(tài)中或是處于活動狀態(tài)中無關(guān))。所述設(shè)備還包含轉(zhuǎn)換器，其經(jīng)配置以基于所述經(jīng)濾波音頻數(shù)據(jù)的所述能量而產(chǎn)生音頻特征數(shù)據(jù)。所述設(shè)備進一步包含變換器，其經(jīng)配置以將變換函數(shù)應(yīng)用于所述音頻特征數(shù)據(jù)以產(chǎn)生經(jīng)變換數(shù)據(jù)。所述處理器經(jīng)配置以在從所述低功率狀態(tài)轉(zhuǎn)變出到所述活動狀態(tài)之后對所述經(jīng)變換數(shù)據(jù)執(zhí)行一或多個操作。
[0010]在另一特定實施例中，一種設(shè)備包含處理器，所述處理器經(jīng)配置以基于所述處理器的應(yīng)用程序上下文而在于第一模式中操作與在第二模式中操作之間動態(tài)地切換。所述處理器還經(jīng)配置以在從低功率狀態(tài)轉(zhuǎn)變出之后從緩沖器檢索及處理音頻特征數(shù)據(jù)。所述音頻特征數(shù)據(jù)指示在所述處理器處于所述低功率狀態(tài)時由CODEC接收的音頻數(shù)據(jù)的特征。在所述第一模式中CODEC活動性與處理器活動性的比率大于在所述第二模式中CODEC活動性與處理器活動性的比率。
[0011]在另一特定實施例中，一種非暫時性處理器可讀媒體包含在由處理器執(zhí)行時致使所述處理器在于第一模式中操作與在第二模式中操作之間動態(tài)地切換的指令。在所述第一模式中CODEC活動性與處理器活動性的比率大于在所述第二模式中CODEC活動性與處理器活動性的比率。所述指令在執(zhí)行時還致使處理器在工作循環(huán)期間從較低功率狀態(tài)轉(zhuǎn)變出，以及分析在所述低功率狀態(tài)期間提取的音頻特征數(shù)據(jù)。所述指令在執(zhí)行時進一步致使處理器轉(zhuǎn)變回到所述低功率狀態(tài)中。
[0012]所揭示實施例中的至少一者所提供的特定優(yōu)點包含電子裝置通過使用一直接通CODEC(或具有工作循環(huán)的CODEC)及具有工作循環(huán)的處理器而提取及分析音頻特征數(shù)據(jù)的能力。
[0013]舉例來說，所述音頻特征數(shù)據(jù)可指示在所述具有工作循環(huán)的處理器處于低功率狀態(tài)時由CODEC接收的音頻數(shù)據(jù)的特性。音頻特征數(shù)據(jù)的提取及分析可以與包含一直接通CODEC及一直接通音頻處理器的系統(tǒng)相比而降低的功率消耗來執(zhí)行。音頻特征數(shù)據(jù)的分析可觸發(fā)各種操作，例如激活電子裝置的觸摸屏或其它組件。
[0014]在檢視整個申請案之后，將明白本發(fā)明的其它方面、優(yōu)點及特征，申請案包含以下部分:【專利附圖】

【附圖說明】、【具體實施方式】及權(quán)利要求書。
【專利附圖】

【附圖說明】
[0015]圖1是用以說明可操作以提取及分析音頻特征數(shù)據(jù)的系統(tǒng)的特定實施例的圖；
[0016]圖2是用以說明可操作以提取及分析音頻特征數(shù)據(jù)的系統(tǒng)的另一特定實施例的圖；
[0017]圖3是用以說明圖2的CODEC與圖2的處理器之間的劃分操作的特定實施例的圖；
[0018]圖4是用以說明在圖1的系統(tǒng)或圖2的系統(tǒng)處的操作的特定實施例的圖；
[0019]圖5是用以說明在圖1的系統(tǒng)或圖2的系統(tǒng)處的功率消耗的特定實施例的圖；
[0020]圖6是用以說明在具有工作循環(huán)的處理器處對音頻特征執(zhí)行聲音辨識的方法的特定實施例的流程圖；
[0021]圖7是用以說明在CODEC處提取音頻特征的方法的特定實施例的流程圖；
[0022]圖8是用以說明在處理器處于存儲并轉(zhuǎn)發(fā)模式中操作與在直接傳送模式中操作之間動態(tài)切換的方法的特定實施例的流程圖；
[0023]圖9是用以說明通過電子裝置的較低功率組件來執(zhí)行所述電子裝置的較高功率組件的交錯分級激活的方法的特定實施例的流程圖；以及
[0024]圖10是根據(jù)圖1-9的系統(tǒng)及方法的可操作以提取及分析音頻特征數(shù)據(jù)的無線裝置的框圖。
【具體實施方式】
[0025]參考圖1，展示并大體用100表示可操作以提取及分析音頻特征數(shù)據(jù)的系統(tǒng)的特定實施例。系統(tǒng)100包含耦合到處理器150的譯碼器/解碼器(CODEC) 120。在特定實施例中，處理器150可為數(shù)字信號處理器(DSP)，例如音頻DSP。在一些實施例中，緩沖器140可位于C0DEC120與處理器150之間，如圖所示。在替代實施例中，緩沖器140可在C0DEC120或處理器150內(nèi)部，如參考圖2-3進一步描述。
[0026]在特定實施例中，C0DEC120可持續(xù)操作且接收音頻數(shù)據(jù)110。舉例來說，音頻數(shù)據(jù)110可通過耦合到C0DEC120的麥克風(fēng)或其它聲音輸入裝置來產(chǎn)生。音頻數(shù)據(jù)110可為“原始”(即，未處理及/或未壓縮)音頻數(shù)據(jù)。C0DEC120可經(jīng)配置以從音頻數(shù)據(jù)110提取音頻特征，借此產(chǎn)生音頻特征數(shù)據(jù)130。在特定實施例中，音頻特征數(shù)據(jù)130在大小方面可實質(zhì)上小于音頻數(shù)據(jù)110。C0DEC120可將音頻特征數(shù)據(jù)130存儲在緩沖器140 (例如，隨機存取存儲器(RAM)緩沖器)中。在特定實施例中，音頻特征數(shù)據(jù)130可指示音頻數(shù)據(jù)110的特定特性，例如音高、音調(diào)、音量及/或節(jié)奏特性。C0DEC120還可在提取音頻特征數(shù)據(jù)130后丟棄音頻數(shù)據(jù)110。
[0027]處理器150可根據(jù)工作循環(huán)來操作。為了進行說明，如果處理器150根據(jù)10%的工作循環(huán)來操作，那么處理器150在10%的時間為“活動”的(即，處于高功率狀態(tài))，且在90%的時間為“閑置”的(即，處于低功率狀態(tài))。在特定實施例中，處理器150可響應(yīng)于可編程時間周期(例如，處理器150的工作循環(huán)可為可編程的)的過期而在活動狀態(tài)與閑置狀態(tài)之間定期轉(zhuǎn)變。具有工作循環(huán)的處理器150因此可消耗比“一直接通”處理器少的功率。
[0028]在從低功率狀態(tài)轉(zhuǎn)變出之后，處理器150可從緩沖器140檢索音頻特征數(shù)據(jù)130且分析所檢索的音頻特征數(shù)據(jù)130。處理器150可基于分析的結(jié)果來執(zhí)行一或多個操作。舉例來說，當將系統(tǒng)100集成到電子裝置(例如無線電話)中時，處理器150可基于音頻特征數(shù)據(jù)130的分析而產(chǎn)生激活信號160以激活電子裝置的一或多個組件(例如，應(yīng)用程序處理器或移動站調(diào)制解調(diào)器(MSM)的一部分，如參考圖10進一步描述)。
[0029]在操作期間，C0DEC120可持續(xù)接收音頻數(shù)據(jù)110的幀，并將從音頻數(shù)據(jù)110提取的音頻特征數(shù)據(jù)130存儲在緩沖器140中。舉例來說，音頻數(shù)據(jù)110的每一幀可為20ms長。在特定實施例中，根據(jù)先進先出政策，較新的音頻特征數(shù)據(jù)130可改寫緩沖器140中的較舊的音頻特征數(shù)據(jù)130。
[0030]應(yīng)注意，代替如圖1中所描繪而持續(xù)地操作，C0DEC120可代替為具有工作循環(huán)的。舉例來說，如果C0DEC120沒有比所希望的節(jié)能或為“傳統(tǒng)”CODEC，那么C0DEC120可為具有工作循環(huán)的。一股來說，即使C0DEC120為具有工作循環(huán)的，C0DEC120仍可比處理器150更多活動。因此，系統(tǒng)100可支持多個操作模式。在第一模式中，C0DEC120可執(zhí)行較頻繁的音頻信號處理且可大概消耗較多功率。在第二模式中，C0DEC120可執(zhí)行較不頻繁的音頻信號處理且可大概消耗較少功率。處理器150可在第一模式與在第二模式中具有相同工作循環(huán)。
[0031]將了解，可由雙模式(或多模式)系統(tǒng)100支持各種實施方案,每一模式具有不同的CODEC活動性與處理器活動性比率。舉例來說，較高的活動性模式可涉及以第一速率(例如，Dl)工作循環(huán)的持續(xù)操作的C0DEC120及處理器150，且較低的活動性模式可涉及以大于或等于第一速率的第二速率(例如，D2，D2 >= Dl)工作循環(huán)的C0DEC120。作為另一實例，較高的活動性模式可涉及以第一速率(例如，Dl)工作循環(huán)的C0DEC120及以第二速率(例如，D2)工作循環(huán)的處理器150，且較低的活動性模式可涉及以第三速率(例如，D3)工作循環(huán)的C0DEC120及以第二速率(例如，D2)工作循環(huán)的處理器150。第一速率可實質(zhì)上大于第二速率(例如，Dl >>D2)，且第三速率可大于或等于第二速率(例如，D3>=D2)。選定實施方案還可支持其中CODEC活動性小于或等于處理器活動性的模式，例如在沉重的處理器計算負荷的時段期間。舉例來說，第三速率可小于或等于第二速率(例如，D3< =D2)。
[0032]取決于C0DEC120及處理器150活動的頻率，系統(tǒng)100可在存儲并轉(zhuǎn)發(fā)模式中操作或在直接傳送模式中有效工作。在存儲并轉(zhuǎn)發(fā)模式中，處理器150可在從低功率狀態(tài)轉(zhuǎn)變出后即騰空緩沖器140。即，處理器150可在處理器150處于低功率模式中的同時檢索對應(yīng)于C0DEC120所接收的音頻數(shù)據(jù)110的每個幀(或多個幀)的音頻特征數(shù)據(jù)130。在直接傳送模式中，處理器150可檢索對應(yīng)于音頻數(shù)據(jù)110的單個幀(例如，音頻數(shù)據(jù)110的最近接收的幀)的音頻特征數(shù)據(jù)130。在特定實施例中，處理器150可在于存儲并轉(zhuǎn)發(fā)模式中操作與在直接傳送模式中操作之間動態(tài)切換，及/或基于處理器150的應(yīng)用程序上下文在較高活動性模式與較低活動性模式(其中較高活動性模式具有比較低活動性模式高的CODEC活動性與處理器活動性比率)之間切換，如參看圖2及4進一步描述。
[0033]在檢索音頻特征數(shù)據(jù)130之后，處理器150可分析音頻特征數(shù)據(jù)130且可基于分析而產(chǎn)生激活信號160。舉例來說，當音頻特征數(shù)據(jù)130的分析識別特定語音輸入命令(例如，“喚醒”)時，處理器150可產(chǎn)生激活信號160以激活電子裝置的各種組件。
[0034]圖1的系統(tǒng)100 (其包含具有工作循環(huán)的處理器)因此可實現(xiàn)以比具有一直接通CODEC及一直接通處理器的系統(tǒng)低的功率來進行音頻特征提取及分析。此外，通過緩沖音頻數(shù)據(jù)來代替原始音頻數(shù)據(jù)，圖1的系統(tǒng)100可在降低存儲器使用量的情況下執(zhí)行音頻分析。
[0035]參考圖2，展示并大體用200表示可操作以提取及分析音頻特征數(shù)據(jù)的系統(tǒng)的另一特定實施例。系統(tǒng)200可包含耦合到處理器230(例如，圖1的處理器150)的C0DEC220(例如，圖1的C0DEC120)。C0DEC220還可耦合到聲音輸入裝置，例如說明性麥克風(fēng) 210。
[0036]C0DEC220可包含模擬/數(shù)字轉(zhuǎn)換器(ADC) 221，所述ADC221接收來自麥克風(fēng)210的模擬音頻數(shù)據(jù)212且將所述模擬音頻數(shù)據(jù)212轉(zhuǎn)換為數(shù)字音頻數(shù)據(jù)。在其中麥克風(fēng)210產(chǎn)生數(shù)字音頻數(shù)據(jù)的替代實施例中，ADC可不存在。
[0037]C0DEC220還可包含經(jīng)配置以從音頻數(shù)據(jù)212提取音頻特征226的特征提取器222。在特定實施例中，特征提取器222可包含對音頻數(shù)據(jù)212濾波以產(chǎn)生經(jīng)濾波音頻數(shù)據(jù)的能量224 (例如，梅爾帶(mel-band)能量)的多個濾波器223。舉例來說，濾波器223可為梅爾帶濾波器，其中每一梅爾帶濾波器對應(yīng)于人類感知頻率標度的不同部分(例如，倍頻程)。為了說明，濾波器223可包含產(chǎn)生對應(yīng)于22個倍頻程的梅爾帶能量224的22個梅爾帶濾波器。在替代實施例中，特征提取器222可執(zhí)行基于快速傅立葉變換(FFT)的特征提取。
[0038]特征提取器222還可包含對數(shù)轉(zhuǎn)換器225。對數(shù)轉(zhuǎn)換器225可將對數(shù)函數(shù)應(yīng)用于經(jīng)濾波音頻數(shù)據(jù)的能量224以產(chǎn)生經(jīng)提取音頻特征226。經(jīng)提取音頻特征226可存儲在緩沖器(例如，RAM緩沖器)227中。經(jīng)提取音頻特征226可由于緊密設(shè)計的音頻特征(例如，來自每一 20ms幀的22個對數(shù)梅爾帶能量)而在大小方面實質(zhì)上小于音頻數(shù)據(jù)212。為了說明，音頻數(shù)據(jù)212可具有16kHz、16位的分辨率。200ms(例如，對應(yīng)于10個幀)的音頻數(shù)據(jù)212可占據(jù)6400字節(jié)的空間。然而，10個幀的經(jīng)提取音頻特征226可僅占據(jù)220字節(jié)的空間(10幀X每幀22特征X每特征I字節(jié))。因此，通過將經(jīng)提取音頻特征226代替原始音頻數(shù)據(jù)212存儲在緩沖器227中，緩沖器227可保持地相對小且可消耗相對少的功率。
[0039]處理器230可包含狀態(tài)轉(zhuǎn)變邏輯231。在特定實施例中，狀態(tài)轉(zhuǎn)變邏輯231可將處理器230轉(zhuǎn)變進入及轉(zhuǎn)變出低功率狀態(tài)(例如，根據(jù)工作循環(huán))。在從低功率狀態(tài)轉(zhuǎn)變出后，處理器230即可從緩沖器227檢索經(jīng)提取的音頻特征226。變換器233可將變換函數(shù)應(yīng)用于經(jīng)提取音頻特征226以產(chǎn)生經(jīng)變換音頻特征數(shù)據(jù)234。在特定實施例中，變換器233可經(jīng)配置以應(yīng)用離散余弦變換(DCT)函數(shù)。為了說明，變換經(jīng)提取音頻特征226(其中經(jīng)提取音頻特征226包含對應(yīng)于每幀22個梅爾帶的特征)可通過獲取DCT系數(shù)的12個元素而產(chǎn)生每幀12個梅爾頻率倒頻譜系數(shù)(MFCC)。
[0040]處理器230還可包含經(jīng)配置以分析經(jīng)變換音頻特征數(shù)據(jù)234的一或多個聲音辨識模塊241-245。在特定實施例中，哪些聲音辨識模塊241-245為活動的可取決于處理器230在哪一模式中操作。為了說明，處理器230處的動態(tài)模式切換邏輯232可基于上下文(例如，應(yīng)用程序上下文)而動態(tài)切換處理器230的操作。舉例來說，當包含圖2的系統(tǒng)200的裝置執(zhí)行應(yīng)用程序或涉及收聽位置、持續(xù)音頻指紋識別及/或持續(xù)關(guān)鍵詞檢測的其它操作時，邏輯232可致使處理器230在存儲并轉(zhuǎn)發(fā)模式(例如，其中來自音頻數(shù)據(jù)的多個幀的特征在處理器230活動時經(jīng)處理)中操作，且模塊241-243可為活動的。作為另一實例，當裝置執(zhí)行涉及目標聲音檢測(例如，特定音樂或話音的檢測)及/或新穎性檢測時，邏輯232可致使處理器230在存儲并轉(zhuǎn)發(fā)模式中或在直接傳送模式(例如，其中來自音頻數(shù)據(jù)的單個幀的特征在處理器活動時經(jīng)處理)中操作，且模塊244-245可為活動的。在替代實施例中，動態(tài)模式切換邏輯232可基于其它因素而切換處理器230的操作，所述其它因素包含(例如)音頻數(shù)據(jù)212及/或音頻特征226的特性。
[0041]收聽位置模塊241可將輸入聲音轉(zhuǎn)換為音頻簽名。可將所述簽名發(fā)送到服務(wù)器(未圖示)，且服務(wù)器可比較所述簽名與從其它裝置接收的簽名。如果來自不同裝置的簽名類似，那么服務(wù)器可確定不同裝置處于相同的聲學(xué)空間中，其可指示不同裝置處于相同的物理位置，收聽相同的內(nèi)容，或具有如由周圍聲音確定的類似上下文。舉例來說，收聽位置可用于社交網(wǎng)絡(luò)服務(wù)中以將人分組及/或與一群人共享一項目。
[0042]持續(xù)音頻指紋識別模塊242可試圖檢測預(yù)登記(例如，預(yù)定)聲音快照的存在。與目標聲音或環(huán)境檢測不同，持續(xù)音頻指紋識別可在存在聲音質(zhì)量失真的情況下強勁地檢測感知相同的聲音快照，例如與信道降級、均衡、速度改變、數(shù)字/模擬或模擬/數(shù)字轉(zhuǎn)換等相關(guān)的失真。持續(xù)音頻指紋識別因此可在音樂及廣播識別情境下找到應(yīng)用程序。
[0043]持續(xù)關(guān)鍵詞檢測模塊243可接收聲音輸入且可檢測預(yù)登記(例如，預(yù)定)關(guān)鍵詞集合的存在。持續(xù)關(guān)鍵詞檢測可在相對低的功率狀態(tài)中執(zhí)行，且可基于所檢測關(guān)鍵詞而激活預(yù)定義應(yīng)用程序。預(yù)定關(guān)鍵詞集合可通過應(yīng)用程序處理器而可編程。在特定實施例中，可通過應(yīng)用程序處理器來下載用于關(guān)鍵詞的模型。持續(xù)關(guān)鍵詞檢測因此可在不使用專用語音命令按鈕或非語言用戶輸入的情況下實現(xiàn)語音激活命令。
[0044]目標聲音檢測模塊244可檢測聲音的類型，且可通知對應(yīng)應(yīng)用程序以響應(yīng)所述聲音。舉例來說，在檢測到話音后，目標聲音檢測可致使語音記錄應(yīng)用程序記錄話音。作為另一實例，在檢測到音樂后，目標聲音檢測可致使應(yīng)用程序識別音樂的屬性，例如歌名、藝術(shù)家名字及專輯名稱。
[0045]新穎性檢測模塊245可檢測輸入音頻中對應(yīng)于位置改變及/或活動性改變的改變。新穎性檢測可結(jié)合其它聲音辨識操作(例如，收聽位置及目標聲音檢測)來使用以識別位置及聲音活動性，且記錄用于后續(xù)使用及分析的對應(yīng)時間。當在環(huán)境聲學(xué)中存在顯著的改變時，新穎性檢測還可用以激活其它聲音辨識操作。
[0046]在操作期間，C0DEC220可持續(xù)接收來自麥克風(fēng)的音頻數(shù)據(jù)212的幀，從音頻數(shù)據(jù)212提取音頻特征226，且將音頻特征226存儲在緩沖器227中。處理器230可根據(jù)工作循環(huán)而轉(zhuǎn)變進入及轉(zhuǎn)變出低功率狀態(tài)。在從低功率狀態(tài)轉(zhuǎn)變出之后，處理器230可檢索及變換對應(yīng)于音頻數(shù)據(jù)212的多個幀(當在存儲并轉(zhuǎn)發(fā)模式中操作時)或?qū)?yīng)于音頻數(shù)據(jù)212的單個幀(當在直接傳送模式中操作時)的變換音頻特征226。處理器230還可在于較高活動性模式中操作與在較低活動性模式中操作之間轉(zhuǎn)變，如參考圖1所描述。當活動時，處理器230可經(jīng)由聲音辨識模塊241-245中的一或多者來分析經(jīng)變換音頻特征數(shù)據(jù)234，且可基于所述分析來確定是否激活應(yīng)用程序處理器及/或移動站調(diào)制解調(diào)器(MSM)的組件或其它組件。
[0047]在特定實施例中，圖2的系統(tǒng)200可提供可服務(wù)多個高級應(yīng)用程序(例如，音樂辨識應(yīng)用程序、關(guān)鍵詞檢測應(yīng)用程序等)的一股收聽服務(wù)。舉例來說，一股收聽服務(wù)可為高級應(yīng)用程序提供(例如，經(jīng)由應(yīng)用程序編程接口(API)、共享存儲器等)處理器230所執(zhí)行的聲音辨識操作的結(jié)果。一股收聽服務(wù)可減少互操作性問題，且可比其中每一高級應(yīng)用程序具有其自身收聽引擎的系統(tǒng)更節(jié)省功率。
[0048]圖2的系統(tǒng)200因此可以減少的功率消耗來實現(xiàn)音頻特征提取及分析。舉例來說，可將相對低功率操作(例如，模擬數(shù)字轉(zhuǎn)換及特征提取)并入到低功率一直接通CODEC (或具有工作循環(huán)的CODEC)中，及可將較高功率操作(例如，數(shù)據(jù)變換及聲音辨識)并入到具有工作循環(huán)的DSP，且所述較高功率操作可間斷地執(zhí)行。
[0049]在特定實施例中，圖2的系統(tǒng)200可在電子裝置處提供低功率用戶接口，所述低功率用戶接口包含通過低功率組件激活高功率組件。為了說明，系統(tǒng)200可支持聲訊(例如，0-16kHz的取樣速率)、信標(例如，16-24kHz的取樣速率)及超聲波(例如，> 24kHz的取樣速率)輸入。為了支持多個類型的輸入，麥克風(fēng)210可能夠接收音頻、信標及超聲波信號?；蛘?，可將額外麥克風(fēng)或組件并入到系統(tǒng)200中用于超聲波及/或信標檢測。用以將聲音信號轉(zhuǎn)換為電信號的組件可包含(但不限于)麥克風(fēng)、壓電傳感器及超聲波換能器。低功率C0DEC220可對所接收信號執(zhí)行粗略檢測/分類290。應(yīng)注意，盡管圖2說明粗略檢測/分類290被執(zhí)行于模擬/數(shù)字轉(zhuǎn)換器221的輸出上，但替代實施例可包含代替對模擬信號執(zhí)行粗略檢測/分類290。取決于粗略檢測/分類290的結(jié)果，C0DEC220可經(jīng)由激活信號292來激活較高功率處理器230。舉例來說，處理器230可在粗略檢測/分類290指示已接收到超聲波輸入的情況下被激活。
[0050]應(yīng)注意，雖然圖2說明兩級激活等級(即，C0DEC220及處理器230)，但可實施任何數(shù)目個級別。舉例來說，在三級等級中，低功率數(shù)字/模擬電路可執(zhí)行粗略檢測來確定是否激活較高功率前端處理單元，且前端處理單元可執(zhí)行精細檢測以確定是否激活更高功率主要處理單元，所述更高功率主要處理單元執(zhí)行最終檢測并執(zhí)行應(yīng)用程序/用戶接口組件。在特定實施例中，可將數(shù)字/模擬電路及前端處理單元集成到C0DEC220中，且可將主要處理單元集成到處理器230中。為了說明，可將粗略檢測/分類塊290集成到C0DEC220的數(shù)字/模擬電路中，且可經(jīng)由第一激活信號294來選擇性地激活C0DEC220的前端單元中的精細檢測/分類塊296。精細檢測/分類塊296可經(jīng)由第二激活信號298來激活處理器230處的最終檢測/分類塊。由較低功率組件進行的較高功率組件的交錯分級激活可改進電子裝置處的電池壽命。
[0051]可在系統(tǒng)200處使用各種檢測及分類方法，且一次可使用一個以上方法。在特定實施例中，均方根(RMS)或帶功率分類可用以確定所接收信號是否包含在音頻、信標及/或超聲波范圍中的數(shù)據(jù)。時域方法可包含使用具有信號級檢測的濾波器組，其中每一濾波器經(jīng)設(shè)計以提取特定類型的聲音，且其中將濾波器輸出級別與閾值比較以確定聲音是否合格。頻域方法可包含執(zhí)行梅爾間隔倒頻譜系數(shù)的FFT以導(dǎo)出用以對輸入數(shù)據(jù)分類的頻率。聲音內(nèi)容方法可涉及通過使輸入信號與已知樣式相關(guān)來進行樣式匹配(例如，以確定輸入信號是否從超聲波數(shù)字觸筆接收)。基于模型的方法可包含計算輸入信號與預(yù)定音樂或話音模型匹配的概率。新穎性檢測可涉及檢測輸入聲音特性的改變。當檢測到改變時，可通知應(yīng)用程序以更新上下文信息(例如，裝置是室內(nèi)的還是室外的)。舉例來說，當用戶從室內(nèi)環(huán)境進到室外環(huán)境時，輸入聲音特性的所得改變可導(dǎo)致用戶的移動電話處的應(yīng)用程序增加電話的振鈴音量。
[0052]針對圖2的系統(tǒng)200及/或其組件的使用情況的實例包含(但不限于):用以控制裝置(例如，電視、游戲控制臺、計算機及電話)的語音辨識、用于上下文感知的音頻辨識、用于數(shù)字觸筆(例如，用于經(jīng)由超聲波的傳輸而手寫輸入到數(shù)字裝置的超聲波數(shù)字觸筆)的聲學(xué)及脈沖辨識、超聲波手勢或鄰近檢測、使用超聲波的裝置對裝置定位、聲學(xué)觸摸檢測、用以識別裝置的位置的聲音信標、通過音頻指紋識別的內(nèi)容識別、通過聲音匹配的對等發(fā)現(xiàn)及鄰近檢測、及通過聲音匹配的位置估計。
[0053]應(yīng)注意，雖然圖1-2描繪CODEC所執(zhí)行的特征提取及處理器所執(zhí)行的數(shù)據(jù)變換，但這僅用于說明。在替代實施例中，不同功能性可由不同的硬件組件執(zhí)行。舉例來說，參考圖3，展示并大體用300表示圖2的C0DEC220與圖2的處理器(例如，DSP) 230之間的劃分操作的特定實施例。
[0054]在第一實施例中，C0DEC/DSP邊界可位于302。在此第一實施例中，CODEC可包含ADC321，且ADC321的輸出可被緩沖。DSP可執(zhí)行特征提取(例如，經(jīng)由梅爾帶濾波器323及對數(shù)轉(zhuǎn)換器325)、數(shù)據(jù)變換(例如，經(jīng)由DCT變換器333)、及聲音辨識(例如，經(jīng)由聲音辨識模塊340)。
[0055]在第二實施例中，C0DEC/DSP邊界可位于304。因此，在此第二實施例中，特征提取可部分由CODEC執(zhí)行且部分由DSP執(zhí)行。梅爾帶濾波器232的輸出可被緩沖。數(shù)據(jù)變換及聲音辨識可由DSP執(zhí)行。
[0056]在第三實施例中，C0DEC/DSP邊界可位于306。將注意，第三實施例可對應(yīng)于圖1的系統(tǒng)100及圖2的系統(tǒng)200。在此第三實施例中，特征提取可完全由CODEC執(zhí)行，且對數(shù)轉(zhuǎn)換器325的輸出可被緩沖。數(shù)據(jù)變換及聲音辨識可由DSP執(zhí)行。
[0057]在第四實施例中，C0DEC/DSP邊界可位于308。在此第四實施例中，特征提取及數(shù)據(jù)變換兩者可由CODEC執(zhí)行，且DCT變換器333的輸出可被緩沖。聲音辨識可由DSP執(zhí)行。
[0058]如參考圖1-2所描述，所揭示技術(shù)可涉及使用一直接通低功率CODEC (或具有工作循環(huán)的CODEC)及具有工作循環(huán)的處理器，所述具有工作循環(huán)的處理器消耗比CODEC在“活動”時多的功率。因此，可需要將相對低功率功能性并入到CODEC中，且在DSP中留下相對高功率功能性。如圖3中所示，C0DEC/DSP邊界及緩沖點可靈活位于多個位置中的任一者中。在特定實施例中，可在電子裝置的設(shè)計及測試期間且可基于例如電子裝置的整體功率消耗及性能的因素來確定C0DEC/DSP邊界的位置。
[0059]參考圖4，展示在圖1的系統(tǒng)100或圖2的系統(tǒng)200處的操作的特定說明且大體上將所述操作標示為400。舉例來說，圖4比較存儲并轉(zhuǎn)發(fā)模式與直接傳送(例如，實時或接近實時地)模式中的DSP操作。
[0060]當DSP在存儲并轉(zhuǎn)發(fā)模式中操作時，包含多個濾波器(例如，22個梅爾帶濾波器)的譯碼器/解碼器可對于所接收音頻數(shù)據(jù)的每一幀提取并累積22個特征/幀(如402處所指示)，同時DSP處于低功率狀態(tài)。當DSP轉(zhuǎn)變出低功率狀態(tài)時，DSP可檢索并分析所累積的特征，如412處所指示。在圖4中所說明的特定實施例中，DSP在已由譯碼器/解碼器提取對應(yīng)于10幀音頻數(shù)據(jù)的音頻特征之后轉(zhuǎn)變出低功率狀態(tài)。因此，在存儲并轉(zhuǎn)發(fā)模式中，DSP可在轉(zhuǎn)變回到低功率狀態(tài)之前檢索并處理220個音頻特征(對應(yīng)于10幀)。此過程可繼續(xù)(如由在404處對特征的后續(xù)提取所指示)，且處理所檢索的特征(在414處)。
[0061]為避免或減小音頻特征損失及緩沖器溢出，當在存儲并轉(zhuǎn)發(fā)模式中操作時，DSP可根據(jù)可編程時間周期轉(zhuǎn)變出低功率狀態(tài)。所述可編程時間周期可小于或等于基于緩沖器的大小的最大時間周期。因此，在存儲并轉(zhuǎn)發(fā)模式中，來自由譯碼器/解碼器接收的每一幀的音頻特征可最終由DSP加以分析。在特定實施例中，可利用DSP-譯碼器/解碼器握手或另一技術(shù)來維持DSP與譯碼器/解碼器之間的同步且減小緩沖器溢出/下溢。
[0062]當DSP在直接傳送模式中操作時，對應(yīng)于最近接收的音頻幀的音頻特征(在406處指示)可經(jīng)檢索且由DSP處理，如在416處所指示。因為存在音頻特征到DSP的有效的“直接傳送”，因此音頻特征可緩沖極短時間量或可根本不緩沖，且可獨立于緩沖器的大小而編程DSP的工作循環(huán)。因此，在直接傳送模式中，DSP可在轉(zhuǎn)變回到低功率狀態(tài)之前檢索并處理22個音頻特征(對應(yīng)于單個音頻幀)。此過程可繼續(xù)，如由在408處的后續(xù)提取的特征及418處的所檢索特征所指示。因此，在直接傳送模式中，可由DSP分析來自由譯碼器/解碼器接收的幀的僅一子集(例如，在圖4的實施例中每10幀一個)的音頻特征。
[0063]應(yīng)注意，譯碼器/解碼器及DSP可同樣支持額外操作模式。通常，譯碼器/解碼器的活動性可大于或等于DSP的活動性。各種操作模式可對應(yīng)于譯碼器/解碼器活動性與處理器活動性的不同比率。每一操作模式可包含譯碼器/解碼器的工作循環(huán)(其中100%對應(yīng)于一直接通)、DSP的工作循環(huán)及/或每次處理器喚醒時分析音頻數(shù)據(jù)的幀的數(shù)目的不同設(shè)定。可在設(shè)計時及/或制造時確定所支持的操作模式的細節(jié)。可基于例如應(yīng)用程序上下文等因素在運行時間確定選擇哪一特定操作模式。
[0064]參看圖5，展示在各種聲音感測系統(tǒng)處的功率消耗的特定說明，且其大體標示為500。更明確地說，圖5的左手側(cè)說明包含一直接通譯碼器/解碼器及一直接通DSP的系統(tǒng)處的功率消耗，且圖5的右手側(cè)說明根據(jù)所揭示技術(shù)的系統(tǒng)(例如圖1的系統(tǒng)100或圖2的系統(tǒng)200)處的功率消耗。
[0065]左側(cè)的聲音感測系統(tǒng)可包含一直接通譯碼器/解碼器502。所述系統(tǒng)還可包含一直接通DSP，其包含一直接通DSP特征提取504及一直接通DSP分析506。因為譯碼器/解碼器及DSP —直接通，因此由所述系統(tǒng)消耗的功率可由相對平坦的曲線表示，如508處所
/Jn ο
[0066]右側(cè)的聲音感測系統(tǒng)(例如，圖1的系統(tǒng)100或圖2的系統(tǒng)200)可包含一直接通低功率譯碼器/解碼器512及514處的譯碼器/解碼器特征提取。所述系統(tǒng)還可包含具有工作循環(huán)的DSP。舉例來說，在圖5的特定實施例中，DSP具有20ms活動時間及200ms閑置時間。因此，盡管在右手側(cè)上的譯碼器/解碼器與具有工作循環(huán)的DSP的組合可能在20ms活動時間516、518期間比左手側(cè)上的系統(tǒng)消耗更多功率，但所述組合在具有工作循環(huán)的DSP的200ms閑置時間期間可消耗實質(zhì)上較少的功率。右手側(cè)系統(tǒng)的功率消耗可由曲線518說明。將了解，圖5的右手側(cè)上的系統(tǒng)的平均功率消耗(由曲線519說明)可因此實質(zhì)上小于圖5的左手側(cè)上的系統(tǒng)的功率消耗(由曲線508說明)。在一些實施方案中，譯碼器/解碼器512可同樣具有工作循環(huán)，如參考圖1到4所描述。
[0067]參考圖6，展示在具有工作循環(huán)的處理器處對音頻特征數(shù)據(jù)執(zhí)行聲音辨識的方法的特定實施例，且其大體標示為600。在一說明性實施例中，方法600可由圖1的處理器150或圖2的處理器230執(zhí)行。
[0068]方法600可包含在602處在處理器的工作循環(huán)期間轉(zhuǎn)變出處理器處的低功率狀態(tài)。在特定實施例中，處理器可為具有10%工作循環(huán)的數(shù)字信號處理器(DSP)。舉例來說，在圖2中，處理器230可在工作循環(huán)期間轉(zhuǎn)變出低功率狀態(tài)(例如，從閑置轉(zhuǎn)變到活動)。
[0069]方法600還可包含從緩沖器檢索音頻特征數(shù)據(jù)，其中所述音頻特征數(shù)據(jù)指示在處理器的低功率狀態(tài)期間接收的音頻數(shù)據(jù)的特征。在604處，當處理器在存儲并轉(zhuǎn)發(fā)模式中操作時，所述音頻特征數(shù)據(jù)可對應(yīng)于多個音頻幀?；蛘撸?06處，當處理器在直接傳送模式中操作時，所述音頻特征數(shù)據(jù)可對應(yīng)于單個音頻幀。舉例來說，在圖2中，所述處理器可從緩沖器227檢索所提取的音頻特征226。
[0070]方法600可進一步包含在608處變換所檢索的音頻特征數(shù)據(jù)以產(chǎn)生經(jīng)變換的音頻特征數(shù)據(jù)，且在610處對所述經(jīng)變換的音頻特征數(shù)據(jù)執(zhí)行一或多個聲音辨識操作。在特定實施例中，所述音頻特征數(shù)據(jù)可經(jīng)由離散余弦變換(DCT)變換器來變換，且所得經(jīng)變換音頻特征數(shù)據(jù)可包含多個梅爾頻率倒頻譜系數(shù)(MFCC)。舉例來說，在圖2中，變換器233可變換所檢索的音頻特征226以產(chǎn)生經(jīng)變換音頻特征數(shù)據(jù)234，且聲音辨識模塊241到245中的一或多者可對經(jīng)變換音頻特征數(shù)據(jù)234執(zhí)行一或多個聲音辨識操作(例如，收聽位置、連續(xù)音頻指紋識別、連續(xù)關(guān)鍵字檢測、目標聲音檢測，及/或新穎性檢測)。
[0071]方法600可包含在于614處轉(zhuǎn)變回到低功率狀態(tài)之前，在612處基于所述一或多個聲音辨識操作的結(jié)果確定是否激活應(yīng)用程序處理器及/或移動臺調(diào)制解調(diào)器的一部分或其它組件。舉例來說，在圖2中，處理器230可基于由聲音辨識模塊241到245中的一或多者執(zhí)行的分析而確定是否在轉(zhuǎn)變回到低功率狀態(tài)中之前激活應(yīng)用程序處理器及/或移動臺調(diào)制解調(diào)器的一部分。
[0072]在特定實施例中，圖6的方法600可經(jīng)由處理單元(例如中央處理單元(CPU)、數(shù)字信號處理器(DSP))或控制器的硬件(例如，現(xiàn)場可編程門陣列(FPGA)裝置、專用集成電路(ASIC)等)、經(jīng)由固件裝置或其任何組合來實施。作為一實例，可由執(zhí)行指令的處理器執(zhí)行圖6方法600,如關(guān)于圖10所描述。
[0073]參考圖7，展示在譯碼器/解碼器處提取音頻特征數(shù)據(jù)的方法的特定實施例，且其大體上標示為700。在一說明性實施例中，方法700可由圖1的譯碼器/解碼器120或圖2的譯碼器/解碼器220執(zhí)行。
[0074]方法700可包含在702處在譯碼器/解碼器處接收音頻數(shù)據(jù)的幀。舉例來說，在圖2中，譯碼器/解碼器220可接收音頻數(shù)據(jù)212的幀。方法700還可包含在704處從所述幀提取音頻特征數(shù)據(jù)。為進行說明，提取音頻特征數(shù)據(jù)可包含在706處計算經(jīng)由多個梅爾帶濾波器濾波的所述幀的音頻數(shù)據(jù)的能量，且在708處將對數(shù)函數(shù)應(yīng)用于所計算的能量。舉例來說，在圖2中，特征提取器222可使用濾波器223對音頻數(shù)據(jù)212進行濾波以產(chǎn)生經(jīng)濾波音頻數(shù)據(jù)的能量224，且可使用對數(shù)轉(zhuǎn)換器225應(yīng)用對數(shù)函數(shù)以產(chǎn)生所提取的音頻特征226。
[0075]方法700可進一步包含在710處將所提取的音頻特征數(shù)據(jù)存儲在可由具有工作循環(huán)的處理器在具有工作循環(huán)的處理器的活動狀態(tài)期間存取的緩沖器中，且在712處丟棄所述音頻數(shù)據(jù)幀。舉例來說，在圖2中，所提取的音頻特征226可存儲在緩沖器227中，且音頻數(shù)據(jù)212的幀可由譯碼器/解碼器220丟棄?？舍槍τ勺g碼器/解碼器在具有工作循環(huán)的處理器處于低功率狀態(tài)中時接收的后續(xù)音頻幀重復(fù)方法700。
[0076]在特定實施例中，圖7的方法700可經(jīng)由譯碼器/解碼器的硬件(例如，現(xiàn)場可編程門陣列(FPGA)裝置、專用集成電路(ASIC)、控制器，等)、經(jīng)由固件裝置或其任何組合來實施。作為一實例，可由執(zhí)行指令的譯碼器/解碼器(或其中的處理器)執(zhí)行圖7方法700，如關(guān)于圖10所描述。
[0077]參考圖8，展示在處理器處于在存儲并轉(zhuǎn)發(fā)模式中操作與在直接傳送模式中操作之間動態(tài)地切換的方法的特定實施例，且大體標示為800。在一說明性實施例中，方法800可由圖1的處理器150或圖2的處理器230執(zhí)行。[0078]方法800可包含在處802,在處理器處基于處理器的應(yīng)用程序上下文于在第一模式中操作與在第二模式中操作之間動態(tài)地切換。第一模式中的譯碼器/解碼器活動與處理器活動的比率可大于第二模式中的譯碼器/解碼器活動與處理器活動的比率。舉例來說，在圖2中，動態(tài)模式切換邏輯232可基于處理器230的應(yīng)用程序上下文在各種模式之間動態(tài)地切換處理器230的操作。類似動態(tài)模式切換邏輯還可存在于圖2的譯碼器/解碼器220中?；蛘撸刂茍D2的譯碼器/解碼器220及處理器230兩者的動態(tài)模式切換邏輯可在外部組件中(例如，集成到控制器中)。方法800還可包含在804處在處理器的工作循環(huán)期間轉(zhuǎn)變出處理器處的低功率狀態(tài)。舉例來說，在圖2中，處理器230可在工作循環(huán)期間轉(zhuǎn)變出低功率狀態(tài)。
[0079]方法800可包含在806處分析所檢索的音頻特征數(shù)據(jù)，且在808處轉(zhuǎn)變回到低功率狀態(tài)。舉例來說，在圖2中，聲音辨識模塊441到445中的一或多者可在處理器230轉(zhuǎn)變回到低功率狀態(tài)之前分析所檢索的音頻特征數(shù)據(jù)。在特定實施例中，處理器230還可基于所述分析是否是否激活其它系統(tǒng)組件，例如應(yīng)用程序處理器及/或移動臺調(diào)制解調(diào)器(MSM)的部分。舉例來說，處理器230可基于所述分析產(chǎn)生激活信號，如參考圖1的激活信號160所描述。
[0080]在特定實施例中，圖8的方法800可經(jīng)由處理單元(例如中央處理單元(CPU)、數(shù)字信號處理器(DSP))或控制器的硬件(例如，現(xiàn)場可編程門陣列(FPGA)裝置、專用集成電路(ASIC)等)、經(jīng)由固件裝置或其任何組合來實施。作為一實例，可由執(zhí)行指令的處理器執(zhí)行圖8方法800，如關(guān)于圖10所描述。
[0081]參考圖9，展示通過電子裝置的較低功率組件執(zhí)行電子裝置的較高功率組件的交錯分級激活的方法的特定實施例，且其大體標示為900。在一說明性實施例中，方法900可由圖2的系統(tǒng)200執(zhí)行。
[0082]方法900可包含在902處在電子裝置的第一組件處接收聲音數(shù)據(jù)。所述第一組件可在譯碼器/解碼器的數(shù)字/模擬電路處。舉例來說，在圖2中，粗略檢測/分類塊290可接收聲音數(shù)據(jù)。方法900還可包含在904處在所述第一組件處對所述聲音數(shù)據(jù)執(zhí)行至少一個信號檢測操作。舉例來說，在圖2中，粗略檢測/分類塊290可執(zhí)行信號檢測操作(例如,RMS操作或帶功率操作(band-power operation))以確定所述聲音數(shù)據(jù)是否包含音頻、信標或超聲波數(shù)據(jù)。
[0083]方法900可進一步包含在906處基于所述至少一個信號檢測操作的結(jié)果選擇性地激活電子裝置的第二組件。第二組件在活動時可比第一組件在活動時在電子裝置處消耗更多功率。在特定實施例中，所述第二組件可處于譯碼器/解碼器的前端單元處。舉例來說，在圖2中，粗略檢測/分類塊290可經(jīng)由第一激活信號294選擇性地激活精細檢測/分類塊 296。
[0084]方法900可包含在908處，在所述第二組件處執(zhí)行至少一個第二信號檢測操作。方法900可包含基于所述至少一個第二信號檢測操作的結(jié)果選擇性地激活電子裝置的第三組件。所述第三組件在活動時可比第二組件在活動時在電子裝置處消耗更多功率。在特定實施例中，所述第三組件可并入DSP中。舉例來說，在圖2中，精細檢測/分類塊296可經(jīng)由第二激活信號298選擇性地激活處理器230處的最終檢測/分類塊。
[0085]在特定實施例中，圖9的方法900可經(jīng)由處理單元(例如中央處理單元(CPU)、數(shù)字信號處理器(DSP))或控制器的硬件(例如，現(xiàn)場可編程門陣列(FPGA)裝置、專用集成電路(ASIC)等)、經(jīng)由固件裝置或其任何組合來實施。作為一實例，可由執(zhí)行指令的處理器執(zhí)行圖9方法900，如關(guān)于圖10所描述。
[0086]參考圖10，描繪無線通信裝置的特定說明性實施例的框圖，且將其大體上標示為1000。裝置1000包含兩者皆耦合到存儲器1032的應(yīng)用程序處理器1010及數(shù)字信號處理器(DSP) 1080。在一說明性實施例中，DSP1080可為由圖1的處理器150或圖2的處理器230。存儲器1032可包含可由DSP1010執(zhí)行以執(zhí)行本文所揭示的方法及過程(例如圖6的方法600及圖8的方法800)的指令1060。所述指令還可由譯碼器/解碼器(譯碼器/解碼器)1034執(zhí)行以執(zhí)行本文所揭示的方法及過程(例如圖7的方法700)。所述指令還可由譯碼器/解碼器1034及DSP1080執(zhí)行以執(zhí)行圖9的方法900。
[0087]圖10還展示耦合到應(yīng)用程序處理器1010及顯示器1028的顯示器控制器1026。譯碼器/解碼器1034可耦合到DSP1080，如圖所示。揚聲器1036及麥克風(fēng)1038可耦合到譯碼器/解碼器1034。舉例來說，麥克風(fēng)1038可為圖2的麥克風(fēng)210。圖10還指示無線控制器1040可耦合到處理器1010、1080及無線天線1042。
[0088]譯碼器/解碼器1034可包含模擬/數(shù)字轉(zhuǎn)換器(ADC) 1071、多個濾波器1072，及對數(shù)轉(zhuǎn)換器1073。舉例來說，ADC1071可為圖2的ADC221，濾波器1072可為圖2的濾波器223，且對數(shù)轉(zhuǎn)換器1073可為圖2的對數(shù)轉(zhuǎn)換器225。在特定實施例中，譯碼器/解碼器1034還可包含緩沖器1074 (例如，如參考圖2的緩沖器227所描述)?；蛘?，緩沖器1074可在譯碼器/解碼器1034及DSP1080外部(例如，如參考圖1的緩沖器140所描述)。DSP1080可包含變換器1082 (例如，圖2的變換器233)及經(jīng)配置以執(zhí)行一或多個聲音辨識操作的一或多個聲音辨識模塊1083(例如，圖2的聲音辨識模塊241到245)。在特定實施例中，變換器1082及聲音辨識模塊1083可包含在DSP1080的低功率音頻子系統(tǒng)(LPASS) 1081中。
[0089]在特定實施例中，處理器1010、1080、顯示器控制器1026、存儲器1032、譯碼器/解碼器1034及無線控制器1040包含在系統(tǒng)級封裝或芯片上系統(tǒng)裝置(例如，移動臺調(diào)制解調(diào)器(MSM)) 1022中。在特定實施例中，例如觸摸屏及/或小鍵盤等輸入裝置1030及電力供應(yīng)器1044耦合到芯片上系統(tǒng)裝置1022。此外，在特定實施例中，如圖10中所說明，顯示器1028、輸入裝置1030、揚聲器1036、麥克風(fēng)1038、無線天線1042及電力供應(yīng)器1044在芯片上系統(tǒng)裝置1022外部。然而，顯示器1028、輸入裝置1030、揚聲器1036、麥克風(fēng)1038、無線天線1042及電力供應(yīng)器1044中的每一者可耦合到芯片上系統(tǒng)裝置1022的組件，例如接口或控制器。
[0090]結(jié)合所描述的實施例，揭示包含用于接收音頻數(shù)據(jù)的一或多個幀的裝置的設(shè)備。舉例來說，所述用于接收的裝置可包含圖1的譯碼器/解碼器120、圖2的麥克風(fēng)210、圖3的麥克風(fēng)310、圖10的麥克風(fēng)1038、經(jīng)配置以接收音頻數(shù)據(jù)幀的一或多個裝置，或其任何組合。所述設(shè)備還可包含用于獨立于處理器處于低功率狀態(tài)還是活動狀態(tài)而對音頻數(shù)據(jù)的所述一或多個幀進行濾波以產(chǎn)生經(jīng)濾波音頻數(shù)據(jù)的裝置。舉例來說，所述用于濾波的裝置可包含圖1的譯碼器/解碼器120、圖2的濾波器223、圖3的濾波器323、圖10的濾波器1072、經(jīng)配置以對音頻數(shù)據(jù)幀進行濾波的一或多個裝置，或其任何組合。
[0091]所述設(shè)備可進一步包含用于基于經(jīng)濾波音頻數(shù)據(jù)的能量產(chǎn)生音頻特征數(shù)據(jù)的裝置。舉例來說，所述用于產(chǎn)生的裝置可包含圖2的譯碼器/解碼器120、圖2的對數(shù)轉(zhuǎn)換器225、圖3的對數(shù)轉(zhuǎn)換器325、圖10的對數(shù)轉(zhuǎn)換器1073、經(jīng)配置以產(chǎn)生音頻特征數(shù)據(jù)的一或多個裝置，或其任何組合。所述設(shè)備可包含用于變換所述音頻特征數(shù)據(jù)以產(chǎn)生經(jīng)變換數(shù)據(jù)的裝置。舉例來說，所述用于變換的裝置可包含圖1的處理器150、圖2的變換器233、圖3的DCT333、圖10的變換器1082、經(jīng)配置以變換音頻特征數(shù)據(jù)的一或多個裝置，或其任何組
入
口 ο
[0092]所述設(shè)備還可包含用于在處理器從低功率狀態(tài)轉(zhuǎn)變到活動狀態(tài)之后對經(jīng)變換數(shù)據(jù)執(zhí)行一或多個操作的裝置。舉例來說，所述用于執(zhí)行的裝置可包含圖1的處理器150、圖2的聲音辨識模塊241到245中的一或多者、圖3的聲音辨識模塊340中的一或多者、圖10的聲音辨識模塊1083中的一或多者、經(jīng)配置以對經(jīng)變換數(shù)據(jù)執(zhí)行操作的一或多個裝置，或其任何組合。所述設(shè)備可進一步包含用于緩沖所述用于濾波的裝置、所述用于產(chǎn)生的裝置及所述用于變換的裝置中的至少一者的輸出的裝置。舉例來說，所述用于緩沖的裝置可包含圖1的緩沖器140、圖2的緩沖器227、圖3的緩沖點302到308中的一或多者處的緩沖器、圖10的緩沖器1074、經(jīng)配置以緩沖數(shù)據(jù)的一或多個裝置，或其任何組合。
[0093]所屬領(lǐng)域的技術(shù)人員將進一步了解，結(jié)合本文所揭示的實施例所描述的各種說明性邏輯塊、配置、模塊、電路及算法步驟可實施為電子硬件、由例如硬件處理器等處理裝置執(zhí)行的計算機軟件或兩者的組合。上文已大體在其功能性方面描述各種說明性組件、塊、配置、模塊、電路和步驟。此功能性是實施為硬件還是可執(zhí)行軟件取決于特定應(yīng)用及施加于整個系統(tǒng)的設(shè)計約束。所屬領(lǐng)域的技術(shù)人員可針對每一特定應(yīng)用以不同方式實施所描述的功能性，但此類實施決策不應(yīng)被解譯為引起對本發(fā)明的范圍的偏離。
[0094]結(jié)合本文中所揭示的實施例而描述的方法或演算法的步驟可直接體現(xiàn)于硬件、由處理器執(zhí)行的軟件模塊或其兩者的組合中。軟件模塊可駐留在非暫時性存儲媒體中，例如隨機存取存儲器(RAM)、磁阻隨機存取存儲器(MRAM)、自旋力矩轉(zhuǎn)移MRAM(STT-MRAM)、快閃存儲器、只讀存儲器(ROM)、可編程只讀存儲器(PROM)、可擦除可編程只讀存儲器(EPROM)、電可擦除可編程只讀存儲器(EEPROM)、寄存器、硬盤、可移除式磁盤、只讀光盤(CD-ROM)，或此項技術(shù)中已知的任何其它形式的存儲媒體。示范性存儲媒體耦合到處理器，使得處理器可從存儲媒體讀取信息和將信息寫入到存儲媒體。在替代方案中，存儲媒體可與處理器成一體式。處理器及存儲媒體可駐留在專用集成電路(ASIC)中。ASIC可駐留在計算裝置或用戶終端中。在替代方案中，處理器與存儲媒體可作為離散組件駐留在計算裝置或用戶終端中。
[0095]提供對所揭示實施例的先前描述以使得所屬領(lǐng)域的技術(shù)人員能夠制造或使用所揭示的實施例。所屬領(lǐng)域的技術(shù)人員將容易了解對這些實施例的各種修改，且可將本文定義的原理應(yīng)用到其它實施例而不脫離本發(fā)明的范圍。因此，本發(fā)明并不既定限于本文展示的實施例，而應(yīng)符合與如由所附權(quán)利要求書界定的原理和新穎特征一致的可能最寬范圍。
【權(quán)利要求】
1.一種方法，其包括: 在處理器處從低功率狀態(tài)轉(zhuǎn)變出；以及 在從所述低功率狀態(tài)轉(zhuǎn)變出之后，從緩沖器檢索音頻特征數(shù)據(jù)，所述音頻特征數(shù)據(jù)指示在所述處理器的所述低功率狀態(tài)期間接收的音頻數(shù)據(jù)的特征。
2.根據(jù)權(quán)利要求1所述的方法，其中所述處理器包括數(shù)字信號處理器，且所述方法進一步包括基于所述經(jīng)檢索音頻特征數(shù)據(jù)而確定是否激活應(yīng)用程序處理器。
3.根據(jù)權(quán)利要求1所述的方法，其中通過譯碼器/解碼器CODEC來提取所述音頻特征數(shù)據(jù)，所述CODEC在所述處理器的所述低功率狀態(tài)的至少一部分期間為活動的。
4.根據(jù)權(quán)利要求1所述的方法，其中所述處理器經(jīng)配置以在多個模式中操作，其中在所述多個模式中的第一模式中CODEC活動性與處理器活動性的比率大于在所述多個模式中的第二模式中CODEC活動性與處理器活動性的比率，且所述方法進一步包括基于所述處理器的應(yīng)用程序上下文來確定在哪一模式中操作所述處理器。
5.根據(jù)權(quán)利要求4所述的方法，其中在所述第一模式期間，所述CODEC—直接通且所述處理器以第一速率工作循環(huán)，且其中在所述第二模式期間，所述CODEC以第二速率工作循環(huán)且所述處理器以所述第一速率工作循環(huán)，其中所述第二速率大于或等于所述第一速率。
6.根據(jù)權(quán)利要求4所述的方法，其中在所述第一模式期間，所述CODEC以第一速率工作循環(huán)且所述處理器以第二速率工作循環(huán)，且其中在所述第二模式期間，所述CODEC以第三速率工作循環(huán)且所述處理器以所述第二速率工作循環(huán)，其中所述第一速率大于所述第二速率，且其中所述第三速率小于或等于所述第二速率。
7.根據(jù)權(quán)利要求4所述的方法，其中在特定模式中，所述音頻特征數(shù)據(jù)對應(yīng)于多個音頻幀，且其中所述處理器在轉(zhuǎn)變回到所述低功率狀態(tài)中之前檢索及處理所述音頻特征數(shù)據(jù)。
8.根據(jù)權(quán)利要求4所述的方法，其中在特定模式中，所述音頻特征數(shù)據(jù)對應(yīng)于單個音頻幀，且其中所述處理器在轉(zhuǎn)變回到所述低功率狀態(tài)中之前檢索及處理所述音頻特征數(shù)據(jù)。
9.根據(jù)權(quán)利要求4所述的方法，其中: 所述處理器響應(yīng)于可編程時間周期的過期而從所述低功率狀態(tài)轉(zhuǎn)變出； 在存儲并轉(zhuǎn)發(fā)模式中，所述可編程時間周期小于或等于基于所述緩沖器的大小而確定的最大時間周期；以及 在直接傳送模式中，所述可編程時間周期與所述緩沖器的所述大小無關(guān)。
10.根據(jù)權(quán)利要求3所述的方法，其中在所述處理器處于所述低功率狀態(tài)中時，所述CODEC: 接收所述音頻數(shù)據(jù)； 經(jīng)由多個濾波器對所述音頻數(shù)據(jù)濾波； 從所述多個濾波器中的每一者計算經(jīng)濾波音頻數(shù)據(jù)的能量； 將對數(shù)函數(shù)應(yīng)用于所述經(jīng)計算能量以產(chǎn)生所述音頻特征數(shù)據(jù)； 將所述音頻特征數(shù)據(jù)存儲在所述緩沖器中；以及 丟棄所述音頻數(shù)據(jù)。
11.根據(jù)權(quán)利要求3所述的方法，其中所述緩沖器在所述CODEC內(nèi)部。
12.根據(jù)權(quán)利要求3所述的方法，其中所述緩沖器在所述CODEC外部且在所述處理器外部。
13.根據(jù)權(quán)利要求1所述的方法，其中所述處理器基于工作循環(huán)而轉(zhuǎn)變進入及轉(zhuǎn)變出所述低功率狀態(tài)。
14.根據(jù)權(quán)利要求1所述的方法，其進一步包括: 變換所述音頻特征數(shù)據(jù)； 對所述經(jīng)變換音頻特征數(shù)據(jù)執(zhí)行一或多個聲音辨識操作；以及 在執(zhí)行所述一或多個聲音辨識操作之后轉(zhuǎn)變回所述低功率狀態(tài)。
15.根據(jù)權(quán)利要求14所述的方法，其中變換所述音頻特征數(shù)據(jù)產(chǎn)生多個梅爾頻率倒頻譜系數(shù)。
16.根據(jù)權(quán)利要求14所述的方法，其中所述一或多個聲音辨識操作包含收聽位置操作、關(guān)鍵詞檢測操作、音頻指紋識別操作、目標聲音檢測操作、新穎性檢測操作或其任何組合。
17.根據(jù)權(quán)利要求14所述的方法，其中將所述處理器集成到無線裝置中，且所述方法進一步包括基于所述一或多個聲音辨識操作的結(jié)果而確定是否激活所述無線裝置的移動站調(diào)制解調(diào)器的至少一部分。
18.根據(jù)權(quán)利要求14所述的方法，其進一步包括將所述一或多個聲音辨識操作的結(jié)果提供到多個應(yīng)用程序中的每一者。
19.一種方法,其包括: 在譯碼器/解碼器CODEC處接收音頻數(shù)據(jù)的幀； 從音頻數(shù)據(jù)的所述幀提取音頻特征數(shù)據(jù)；以及 將所述經(jīng)提取音頻特征數(shù)據(jù)存儲在緩沖器中以在具有工作循環(huán)的處理器的活動狀態(tài)期間可由所述具有工作循環(huán)的處理器存取。
20.根據(jù)權(quán)利要求19所述的方法，其進一步包括將所述CODEC的模擬/數(shù)字轉(zhuǎn)換器應(yīng)用于音頻數(shù)據(jù)的所述所接收幀。
21.根據(jù)權(quán)利要求19所述的方法，其中提取所述音頻特征數(shù)據(jù)包括: 經(jīng)由多個濾波器對音頻數(shù)據(jù)的所述幀濾波； 從所述多個濾波器中的每一者計算經(jīng)濾波音頻數(shù)據(jù)的能量；以及 將對數(shù)函數(shù)應(yīng)用于所述經(jīng)計算能量以產(chǎn)生所述音頻特征數(shù)據(jù)。
22.根據(jù)權(quán)利要求21所述的方法，其中所述多個濾波器中的每一者包括對應(yīng)于人類感知頻率標度的不同部分的梅爾帶濾波器。
23.根據(jù)權(quán)利要求19所述的方法，其進一步包括在提取所述音頻特征數(shù)據(jù)之后丟棄音頻數(shù)據(jù)的所述幀。
24.—種設(shè)備,其包括: 處理器； 多個濾波器，其經(jīng)配置以對音頻數(shù)據(jù)的一或多個幀濾波以產(chǎn)生經(jīng)濾波音頻數(shù)據(jù)的能量，此與所述處理器處于低功率狀態(tài)中或是處于活動狀態(tài)中無關(guān)； 轉(zhuǎn)換器，其經(jīng)配置以基于所述經(jīng)濾波音頻數(shù)據(jù)的所述能量而產(chǎn)生音頻特征數(shù)據(jù)；以及 變換器，其經(jīng)配置以將變換函數(shù)應(yīng)用于所述音頻特征數(shù)據(jù)以產(chǎn)生經(jīng)變換數(shù)據(jù)，其中，所述處理器經(jīng)配置以在從所述低功率狀態(tài)轉(zhuǎn)變出到所述活動狀態(tài)之后對所述經(jīng)變換數(shù)據(jù)執(zhí)行一或多個操作。
25.根據(jù)權(quán)利要求24所述的設(shè)備，其進一步包括譯碼器/解碼器CODEC，其中所述轉(zhuǎn)換器包括對數(shù)轉(zhuǎn)換器，且其中所述多個濾波器及所述對數(shù)轉(zhuǎn)換器被集成在所述CODEC中。
26.根據(jù)權(quán)利要求24所述的設(shè)備，其中所述變換器包括被集成在所述處理器中的離散余弦變換器。
27.根據(jù)權(quán)利要求24所述的設(shè)備，其進一步包括經(jīng)配置以存儲所述音頻特征數(shù)據(jù)的緩沖器。
28.根據(jù)權(quán)利要求24所述的設(shè)備，其中所述緩沖器包括隨機存取存儲器RAM。
29.—種設(shè)備,其包括: 處理器，其經(jīng)配置以: 基于所述處理器的應(yīng)用程序上下文而在于第一模式中操作與在第二模式中操作之間動態(tài)地切換； 在從低功率狀態(tài)轉(zhuǎn)變出之后從緩沖器檢索音頻特征數(shù)據(jù)，所述音頻特征數(shù)據(jù)指示在所述處理器處于所述低功率狀態(tài)時由譯碼器/解碼器CODEC接收的音頻數(shù)據(jù)的特征；以及 分析所述音頻特征數(shù) 據(jù)， 其中在所述第一模式中CODEC活動性與處理器活動性的比率大于在所述第二模式中CODEC活動性與處理器活動性的比率。
30.根據(jù)權(quán)利要求29所述的設(shè)備，其中在所述第一模式期間，所述CODEC—直接通且所述處理器以第一速率工作循環(huán)，且其中在所述第二模式期間，所述CODEC以第二速率工作循環(huán)且所述處理器以所述第一速率工作循環(huán)，其中所述第二速率大于或等于所述第一速率。
31.根據(jù)權(quán)利要求29所述的設(shè)備，其中在所述第一模式期間，所述CODEC以第一速率工作循環(huán)且所述處理器以第二速率工作循環(huán)，且其中在所述第二模式期間，所述CODEC以第三速率工作循環(huán)且所述處理器以所述第二速率工作循環(huán)，其中所述第一速率大于所述第二速率，且其中所述第三速率大于或等于所述第二速率。
32.根據(jù)權(quán)利要求29所述的設(shè)備，其中所述應(yīng)用程序上下文包含收聽位置檢測、持續(xù)關(guān)鍵詞檢測、持續(xù)音頻指紋識別、目標聲音檢測、新穎性檢測或其任何組合。
33.根據(jù)權(quán)利要求29所述的設(shè)備，其進一步包括所述譯碼器/解碼器CODEC，其中所述CODEC經(jīng)配置以從所述音頻數(shù)據(jù)提取所述音頻特征數(shù)據(jù)且將所述經(jīng)提取音頻特征數(shù)據(jù)存儲在所述緩沖器中。
34.根據(jù)權(quán)利要求29所述的設(shè)備，所述所述處理器響應(yīng)于可編程時間周期的過期而從所述低功率狀態(tài)轉(zhuǎn)變出。
35.一種設(shè)備,其包括: 用于接收音頻數(shù)據(jù)的一或多個幀的裝置； 用于對音頻數(shù)據(jù)的所述一或多個幀濾波以產(chǎn)生經(jīng)濾波音頻數(shù)據(jù)的裝置，此與處理器處于低功率狀態(tài)中或是處于活動狀態(tài)中無關(guān)； 用于基于所述經(jīng)濾波音頻數(shù)據(jù)的能量而產(chǎn)生音頻特征數(shù)據(jù)的裝置； 用于變換所述音頻特征數(shù)據(jù)以產(chǎn)生經(jīng)變換數(shù)據(jù)的裝置；以及用于在所述處理器從所述低功率狀態(tài)轉(zhuǎn)變出到所述活動狀態(tài)之后對所述經(jīng)變換數(shù)據(jù)執(zhí)行一或多個操作的裝置。
36.根據(jù)權(quán)利要求35所述的設(shè)備，其進一步包括用于緩沖所述用于濾波的裝置、所述用于產(chǎn)生的裝置及所述用于變換的裝置中的至少一者的輸出的裝置。
37.一種非暫時性處理器可讀媒體，其包括在由處理器執(zhí)行時致使所述處理器進行以下操作的指令: 在于第一模式中操作與在第二模式中操作之間動態(tài)地切換， 其中在所述第一模式中譯碼器/解碼器CODEC活動性與處理器活動性的比率大于在所述第二模式中CODEC活動性與處理器活動性的比率； 在工作循環(huán)期間從低功率狀態(tài)轉(zhuǎn)變出； 分析在所述低功率狀態(tài)期間提取的音頻特征數(shù)據(jù)；以及 轉(zhuǎn)變回到所述低功率狀態(tài)中。
38.根據(jù)權(quán)利要求37所述的非暫時性處理器可讀媒體，其中所述音頻特征數(shù)據(jù)是由CODEC提取。
39.一種方法，其包括 在電子裝置的第一組件處接收聲音數(shù)據(jù)； 在所述第一組件處對所述聲音數(shù)據(jù)執(zhí)行至少一個信號檢測操作；以及 基于所述至少一個信號檢測操作的結(jié)果而選擇性地激活所述電子裝置的第二組件， 其中所述第二組件在活動時比所述第一組件在活動時在所述電子裝置處消耗更多功率。
40.根據(jù)權(quán)利要求39所述的方法，其中所述第一組件包括譯碼器/解碼器CODEC的第一部分。
41.根據(jù)權(quán)利要求40所述的方法，其中所述第二組件包括所述CODEC的第二部分。
42.根據(jù)權(quán)利要求40所述的方法，其中所述第二組件包括所述電子裝置的處理器。
43.根據(jù)權(quán)利要求40所述的方法，其進一步包括: 在所述第二組件處執(zhí)行至少一個第二信號檢測操作；以及 基于所述至少一個第二信號檢測操作的結(jié)果而選擇性地激活所述電子裝置的第三組件， 其中所述第三組件在活動時比所述第二組件在活動時在所述電子裝置處消耗更多功率。
44.根據(jù)權(quán)利要求39所述的方法，其中所述至少一個信號檢測操作包括均方根RMS分類操作、帶功率分類操作、時域操作、頻域操作、樣式匹配操作、基于模型的操作、新穎性檢測操作或其任何組合。
【文檔編號】H04W52/02GK103999517SQ201280052875
【公開日】2014年8月20日 申請日期:2012年9月25日 優(yōu)先權(quán)日:2011年11月1日
【發(fā)明者】黃奎雄, 延奇宣, 真珉豪, 彼得·日萬·沙阿, 張國亮, 金泰殊 申請人:高通股份有限公司