基于音頻特征的廣播電視節(jié)目標(biāo)識(shí)與識(shí)別的方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種基于音頻特征的廣播電視節(jié)目標(biāo)識(shí)與識(shí)別的方法及系統(tǒng)，方法包括：服務(wù)器端提取節(jié)目音頻文件的特征數(shù)據(jù)，得到節(jié)目音頻特征數(shù)據(jù)；將節(jié)目音頻特征數(shù)據(jù)與節(jié)目標(biāo)識(shí)和交互應(yīng)用合并后，發(fā)送到移動(dòng)終端；移動(dòng)終端錄制節(jié)目的錄音音頻信號(hào)；對(duì)錄音音頻信號(hào)進(jìn)行音頻特征提取，得到錄音音頻特征數(shù)據(jù)；判斷節(jié)目音頻特征庫(kù)中是否存在與錄音音頻特征數(shù)據(jù)相匹配的節(jié)目音頻特征數(shù)據(jù)，如果有，則輸出匹配的節(jié)目標(biāo)識(shí)、播放時(shí)間點(diǎn)與對(duì)應(yīng)的交互應(yīng)用；另外，還計(jì)算得到節(jié)目時(shí)間偏移，并輸出計(jì)算得到的節(jié)目時(shí)間偏移。用戶只需簡(jiǎn)單操作移動(dòng)終端，即可享受與當(dāng)前正在觀看的廣播電視節(jié)目對(duì)應(yīng)的各項(xiàng)交互應(yīng)用，而且有效保護(hù)了用戶隱私，從而提升了用戶體驗(yàn)。
【專利說明】基于音頻特征的廣播電視節(jié)目標(biāo)識(shí)與識(shí)別的方法及系統(tǒng)【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于廣播電視【技術(shù)領(lǐng)域】，具體涉及一種基于音頻特征的廣播電視節(jié)目標(biāo)識(shí)與識(shí)別的方法及系統(tǒng)。
【背景技術(shù)】
[0002]隨著廣播電視技術(shù)和移動(dòng)終端技術(shù)的發(fā)展，移動(dòng)終端開始被大量用于廣播電視交互應(yīng)用，移動(dòng)終端被視為廣播電視的第二屏幕。觀眾在觀看廣播電視的同時(shí)，可以打開移動(dòng)終端，通過移動(dòng)終端查閱廣播電視節(jié)目相關(guān)的片花或介紹信息，還可以利用移動(dòng)終端實(shí)現(xiàn)觀眾評(píng)分、競(jìng)猜等交互應(yīng)用。
[0003]例如:當(dāng)觀眾通過電視機(jī)正在觀看電視頻道A播出的廣播電視節(jié)目B時(shí)，觀眾為參與廣播電視節(jié)目B推送的交互應(yīng)用服務(wù)C，則觀眾需要向移動(dòng)終端手工輸入電視頻道A和廣播電視節(jié)目B的名稱，然后移動(dòng)終端將電視頻道A和廣播電視節(jié)目B的名稱信息發(fā)送到服務(wù)器端；服務(wù)器端再查詢到廣播電視節(jié)目B所推送的各項(xiàng)交互應(yīng)用，然后將查詢到的各項(xiàng)交互應(yīng)用發(fā)送給移動(dòng)終端，從而移動(dòng)終端能夠享受與廣播電視節(jié)目B對(duì)應(yīng)的各項(xiàng)交互應(yīng)用。[0004]上述過程存在的主要問題為:
[0005](I)觀眾需要向移動(dòng)終端手工輸入電視頻道和廣播電視節(jié)目的名稱，才能使移動(dòng)終端享受與廣播電視節(jié)目對(duì)應(yīng)的交互應(yīng)用，一方面，操作繁瑣，從而為觀眾帶來不便；另一方面，由于為手工輸入，存在輸入錯(cuò)誤的問題，從而降低了用戶體驗(yàn)；
[0006](2)移動(dòng)終端需要將觀眾正在觀看的電視頻道和廣播電視節(jié)目的名稱上傳到服務(wù)器端，存在侵犯用戶隱私的問題。

【發(fā)明內(nèi)容】

[0007]本發(fā)明提供一種基于音頻特征的廣播電視節(jié)目標(biāo)識(shí)與識(shí)別的方法及系統(tǒng)，用戶只需簡(jiǎn)單操作移動(dòng)終端，即可享受與當(dāng)前正在觀看的廣播電視節(jié)目對(duì)應(yīng)的各項(xiàng)交互應(yīng)用，而且有效保護(hù)了用戶隱私，從而提升了用戶體驗(yàn)。
[0008]本發(fā)明采用的技術(shù)方案如下:
[0009]本發(fā)明提供一種基于音頻特征的廣播電視節(jié)目標(biāo)識(shí)與識(shí)別的方法，包括以下步驟:
[0010]SI，服務(wù)器端按照設(shè)定規(guī)則讀取P個(gè)節(jié)目音頻文件{Wi，W2...WP}，對(duì)節(jié)目音頻文件Wi執(zhí)行S1.1-S1.3，得到P個(gè)節(jié)目音頻特征數(shù)據(jù)包{ZpZy.-Zp};具體包括以下步驟:
[0011]S1.1，設(shè)置并讀取用于唯一標(biāo)識(shí)節(jié)目音頻文件Wi的節(jié)目標(biāo)識(shí)IDi ；
[0012]讀取節(jié)目音頻文件Wi在q個(gè)播放時(shí)間點(diǎn)IT1, T2...Tj分別關(guān)聯(lián)的q個(gè)交互應(yīng)用(Y1, Y2...YtJ，其中，所述播放時(shí)間點(diǎn)Ti為其所關(guān)聯(lián)的交互應(yīng)用Yi的啟動(dòng)時(shí)間點(diǎn)；
[0013]S1.2，對(duì)所述節(jié)目音頻文件Wi進(jìn)行音頻特征提取，得到節(jié)目音頻特征數(shù)據(jù)Fi ；
[0014]S1.3，將q個(gè)交互應(yīng)用(Y1, Y2...Y』與q個(gè)對(duì)應(yīng)的播放時(shí)間點(diǎn)H1, T2...Tj、節(jié)目標(biāo)識(shí)IDi和節(jié)目音頻特征數(shù)據(jù)Fi合并，得到節(jié)目音頻特征數(shù)據(jù)包Zi ；
[0015]S2，服務(wù)器端將P個(gè)節(jié)目音頻特征數(shù)據(jù)包(Z1, Z2...ZP}發(fā)送到移動(dòng)終端本地建立的節(jié)目音頻特征庫(kù)中；
[0016]S3，對(duì)于電視機(jī)正在播放的指定節(jié)目，當(dāng)所述移動(dòng)終端需要查詢與所述指定節(jié)目相關(guān)的交互應(yīng)用時(shí)，所述移動(dòng)終端錄制指定節(jié)目在當(dāng)前播放時(shí)刻的錄音音頻信號(hào)；
[0017]S4，所述移動(dòng)終端對(duì)所述錄音音頻信號(hào)進(jìn)行音頻特征提取，得到錄音音頻特征數(shù)據(jù)；
[0018]S5，以所述錄音音頻特征數(shù)據(jù)為查詢關(guān)鍵數(shù)據(jù)，查詢所述節(jié)目音頻特征庫(kù)，判斷所述節(jié)目音頻特征庫(kù)中是否存在與所述錄音音頻特征數(shù)據(jù)相匹配的節(jié)目音頻特征數(shù)據(jù)，如果有，則得到所述節(jié)目音頻特征數(shù)據(jù)所在的節(jié)目音頻特征數(shù)據(jù)包，輸出所述節(jié)目音頻特征數(shù)據(jù)包存儲(chǔ)的節(jié)目標(biāo)識(shí)、播放時(shí)間點(diǎn)與對(duì)應(yīng)的交互應(yīng)用；另外，還計(jì)算得到節(jié)目時(shí)間偏移，并輸出計(jì)算得到的節(jié)目時(shí)間偏移。
[0019]優(yōu)選的，SI中，所述設(shè)定規(guī)則包括以下規(guī)則的一種或幾種的組合:
[0020]規(guī)則1，服務(wù)器端只讀取綁定交互應(yīng)用的節(jié)目所包含的節(jié)目音頻文件；
[0021]規(guī)則2，設(shè)節(jié)目通過電視機(jī)播放的播放時(shí)間為TA，則服務(wù)器在播放時(shí)間TA之前的時(shí)間TB才讀取所述節(jié)目；其中，時(shí)間TB到時(shí)間TA的時(shí)間間隔小于預(yù)設(shè)值；
[0022]或者，S1.1中，所述交互應(yīng)用包括交互應(yīng)用標(biāo)識(shí)信息、交互應(yīng)用類型信息、交互應(yīng)用優(yōu)先級(jí)信息、交互應(yīng)用被啟動(dòng)控制的信息、交互應(yīng)用的版本信息和對(duì)交互應(yīng)用進(jìn)行的描述信息。
[0023]優(yōu)選的，S2具體包括S2.1或S2.2兩種方法:
[0024]S2.1，服務(wù)器端主動(dòng)向各個(gè)移動(dòng)終端本地的節(jié)目音頻特征庫(kù)中推送新的節(jié)目音頻特征數(shù)據(jù)包；
[0025]S2.2，移動(dòng)終端定期向服務(wù)器端發(fā)送節(jié)目音頻特征數(shù)據(jù)包的更新查詢請(qǐng)求；如果查詢到有新的節(jié)目音頻特征數(shù)據(jù)包，則將其下載到本地節(jié)目音頻特征庫(kù)中。
[0026]優(yōu)選的，S2之后，還包括:
[0027]移動(dòng)終端按預(yù)設(shè)規(guī)則自動(dòng)更新本地的節(jié)目音頻特征庫(kù)；或者，服務(wù)器端按預(yù)設(shè)規(guī)則自動(dòng)更新各個(gè)移動(dòng)終端本地的節(jié)目音頻特征庫(kù)；其中，所述預(yù)設(shè)規(guī)則為:自動(dòng)刪除所述節(jié)目音頻特征庫(kù)中所存儲(chǔ)的過期的節(jié)目音頻特征數(shù)據(jù)包。
[0028]優(yōu)選的，SI中，對(duì)于節(jié)目音頻文件Wi,還包括執(zhí)行以下步驟:
[0029]將節(jié)目音頻文件Wi分割為時(shí)長(zhǎng)為TW的a個(gè)節(jié)目音頻段{Wn，Wi2...WiJ，相鄰兩個(gè)節(jié)目音頻段之間有重疊，重疊時(shí)長(zhǎng)為TS ;以節(jié)目播放起始時(shí)間為原點(diǎn)，計(jì)算各個(gè)節(jié)目音頻段的起始時(shí)間tp,得到{tpn, tpi2...tpia},其中，起始時(shí)間tpi2為節(jié)目音頻段Wil距節(jié)目播放起始時(shí)間的時(shí)間間隔，j e (1,2...a);對(duì)各個(gè)節(jié)目音頻段進(jìn)行節(jié)目音頻特征提取，得到a個(gè)節(jié)目音頻特征子數(shù)據(jù){Cn，Ci2...CiJ ;將{tpn，tpi2...tpia}和ICil, Ci2...CiJ記為節(jié)目音頻特征數(shù)據(jù)Fi ；
[0030]將q個(gè)交互應(yīng)用(Y1, Y2...Y」、q個(gè)對(duì)應(yīng)的播放時(shí)間點(diǎn)H1, T2...Tq}、節(jié)目標(biāo)識(shí)IDi以及節(jié)目音頻特征數(shù)據(jù)Fi合并存儲(chǔ)到節(jié)目音頻特征數(shù)據(jù)包Zi ；
[0031]S4具體包括以下步驟:
[0032]將錄音音頻文件分割為時(shí)長(zhǎng)為TW的b個(gè)錄音音頻段(B1, B2...BJ，相鄰兩個(gè)錄音音頻段之間有重疊，重疊時(shí)長(zhǎng)為TS ;以錄音起始時(shí)間為原點(diǎn)，計(jì)算各個(gè)錄音音頻段的起始時(shí)間tr,得到Itrptr2...trj ,其中,起始時(shí)間^rj為錄音音頻段Bj距錄音起始時(shí)間的時(shí)間間隔，其中，j G (l、2...b);對(duì)各個(gè)錄音音頻段進(jìn)行錄音音頻特征提取，得到b個(gè)錄間音頻特征子數(shù)據(jù)(E1, E2...EbI ；
[0033]S5具體包括以下步驟:
[0034]將b個(gè)錄音音頻段(BpB2...BJ分別與P個(gè)節(jié)目音頻文件(W^W2...ffP}進(jìn)行匹配，對(duì)每一個(gè)節(jié)目音頻文件，均建立一個(gè)統(tǒng)計(jì)直方圖，共建立P個(gè)統(tǒng)計(jì)直方圖；當(dāng)任意一個(gè)統(tǒng)計(jì)直方圖的縱變量number值達(dá)到L時(shí)，則終止下列S5.2-S5.3的循環(huán)操作；
[0035]其中，對(duì)任一個(gè)節(jié)目音頻文件Wi,所建立的統(tǒng)計(jì)直方圖為HIST-1Di(C^number)；HIST-1Di (dt> number)的建立過程包括以下步驟:
[0036]S5.1，令 number = 0 ；
[0037]S5.2，$j = l;
[0038]S5.3，將錄音音頻段B」的錄間音頻特征子數(shù)據(jù)分別與各個(gè)節(jié)目音頻段{Wn，wi2...WiJ所分別對(duì)應(yīng)的節(jié)目音頻特征子數(shù)據(jù){Cn，Ci2...CiJ進(jìn)行匹配，判斷錄間音頻特征子數(shù)據(jù)與各個(gè)節(jié)目音頻特征子數(shù)據(jù)之間的漢明距離是否大于閾值TH，如果大于，則二者不匹配；否則，二者匹配；若與錄音音頻段h匹配成功的節(jié)目音頻特征子數(shù)據(jù)為Cu，則與錄音音頻段h匹配成功的節(jié)目音頻段為Wu，節(jié)目音頻段為胃^的起始時(shí)間為tpu ;錄音音頻段B」的錄音起始時(shí)間為tr」；則:在dt = tPij-trj的橫坐標(biāo)位置,令number = number+1 ；i =i+1 ;返回循環(huán)執(zhí)行S5.2和S5.3，直到P個(gè)統(tǒng)計(jì)直方圖中，存在一個(gè)統(tǒng)計(jì)直方圖的縱變量的number值達(dá)到L時(shí),終止循環(huán)過程；
[0039]S5.4，令縱變量number值最先達(dá)到L的統(tǒng)計(jì)直方圖所對(duì)應(yīng)的節(jié)目標(biāo)識(shí)為IDend,最先達(dá)到L的縱坐量所對(duì)應(yīng)的橫變量dt值為dtend ;最先達(dá)到L的最后匹配成功的節(jié)目音頻段的起始時(shí)間為tpend,最先達(dá)到L的`最后匹配成功的錄音音頻段的錄音起始時(shí)間為trend ;則:節(jié)目標(biāo)識(shí)為ID6nd的節(jié)目即為與錄音音頻信號(hào)匹配的節(jié)目；并且，該節(jié)目當(dāng)前播出時(shí)間偏移即為 tpend = trend+dtend。
[0040]本發(fā)明還提供一種基于音頻特征的廣播電視節(jié)目標(biāo)識(shí)與識(shí)別的系統(tǒng)，包括服務(wù)器立而和移動(dòng)終;
[0041]所述服務(wù)器端包括:
[0042]讀取模塊，用于按照設(shè)定規(guī)則讀取P個(gè)節(jié)目音頻文件{WpWr.Wp};還用于讀取節(jié)目音頻文件Wi在q個(gè)播放時(shí)間點(diǎn)IT1, T2...TJ分別關(guān)聯(lián)的q個(gè)交互應(yīng)用(Y1, Y2...Yq}，其中，所述播放時(shí)間點(diǎn)Ti為其所關(guān)聯(lián)的交互應(yīng)用Yi的啟動(dòng)時(shí)間點(diǎn)；
[0043]設(shè)置模塊，用于設(shè)置所述讀取模塊讀取到的節(jié)目音頻文件Wi的節(jié)目標(biāo)識(shí)IDi ；
[0044]節(jié)目音頻特征提取模塊，用于對(duì)所述讀取模塊讀取到的節(jié)目音頻文件Wi進(jìn)行音頻特征提取，得到節(jié)目音頻特征數(shù)據(jù)Fi ；
[0045]合并模塊，用于將q個(gè)交互應(yīng)用(Y1, Y2...Yq}與q個(gè)對(duì)應(yīng)的播放時(shí)間點(diǎn)IT1,T2...TJ、節(jié)目標(biāo)識(shí)IDi和節(jié)目音頻特征數(shù)據(jù)Fi合并，得到節(jié)目音頻特征數(shù)據(jù)包Zi ；
[0046]發(fā)送模塊，用于將所述合并模塊合并得到的P個(gè)節(jié)目音頻特征數(shù)據(jù)包(Z1,Z2...ZpI發(fā)送到移動(dòng)終端本地建立的節(jié)目音頻特征庫(kù)中；
[0047]所述移動(dòng)終端包括:[0048]錄音模塊，用于錄制指定節(jié)目在當(dāng)前播放時(shí)刻的錄音音頻信號(hào)；
[0049]錄音音頻特征提取模塊，用于對(duì)所述錄音模塊錄制得到的錄音音頻信號(hào)進(jìn)行音頻特征提取，得到錄音音頻特征數(shù)據(jù)；
[0050]節(jié)目音頻特征庫(kù)，用于存儲(chǔ)所述服務(wù)器端發(fā)送的P個(gè)節(jié)目音頻特征數(shù)據(jù)包(Z1,
7 7 1-? ? ? /-/p j ,
[0051]查詢模塊，用于以所述錄音音頻特征數(shù)據(jù)為查詢關(guān)鍵數(shù)據(jù)，查詢所述節(jié)目音頻特征庫(kù)；
[0052]判斷模塊，用于判斷所述節(jié)目音頻特征庫(kù)中是否存在與所述錄音音頻特征數(shù)據(jù)相匹配的節(jié)目音頻特征數(shù)據(jù)；
[0053]輸出模塊，用于當(dāng)所述判斷模塊判斷結(jié)果為是時(shí)，得到所述節(jié)目音頻特征數(shù)據(jù)所在的節(jié)目音頻特征數(shù)據(jù)包，輸出所述節(jié)目音頻特征數(shù)據(jù)包存儲(chǔ)的節(jié)目標(biāo)識(shí)、播放時(shí)間點(diǎn)與對(duì)應(yīng)的交互應(yīng)用；另外，還計(jì)算得到節(jié)目時(shí)間偏移，并輸出計(jì)算得到的節(jié)目時(shí)間偏移。
[0054]優(yōu)選的，所述服務(wù)器端的所述讀取模塊讀取時(shí)依據(jù)的所述設(shè)定規(guī)則為:以下規(guī)則的一種或幾種的組合:
[0055]規(guī)則1，服務(wù)器端只讀取綁定交互應(yīng)用的節(jié)目所包含的節(jié)目音頻文件；
[0056]規(guī)則2，設(shè)節(jié)目通過電視機(jī)播放的播放時(shí)間為TA，則服務(wù)器在播放時(shí)間TA之前的時(shí)間TB才讀取所述節(jié)目；其中，時(shí)間TB到時(shí)間TA的時(shí)間間隔小于預(yù)設(shè)值；
[0057]所述讀取模塊讀取到的所述交`互應(yīng)用包括交互應(yīng)用標(biāo)識(shí)信息、交互應(yīng)用類型信息、交互應(yīng)用優(yōu)先級(jí)信息、交互應(yīng)`用被啟動(dòng)控制的信息、交互應(yīng)用的版本信息和對(duì)交互應(yīng)用進(jìn)行的描述信息。
[0058]優(yōu)選的，所述發(fā)送模塊具體用于:主動(dòng)向各個(gè)移動(dòng)終端本地的節(jié)目音頻特征庫(kù)中推送新的節(jié)目音頻特征數(shù)據(jù)包；
[0059]所述移動(dòng)終端還包括下載模塊，所述下載模塊用于:定期向服務(wù)器端發(fā)送節(jié)目音頻特征數(shù)據(jù)包的更新查詢請(qǐng)求；如果查詢到有新的節(jié)目音頻特征數(shù)據(jù)包，則將其下載到本地節(jié)目音頻特征庫(kù)中。
[0060]優(yōu)選的，所述移動(dòng)終端還設(shè)置第一更新模塊，所述第一更新模塊用于:按預(yù)設(shè)規(guī)則自動(dòng)更新本地的節(jié)目音頻特征庫(kù)；其中，所述預(yù)設(shè)規(guī)則為:自動(dòng)刪除所述節(jié)目音頻特征庫(kù)中所存儲(chǔ)的過期的節(jié)目音頻特征數(shù)據(jù)包；
[0061]所述服務(wù)器端還設(shè)置第二更新模塊，所述第二更新模塊用于:按預(yù)設(shè)規(guī)則自動(dòng)更新各個(gè)移動(dòng)終端本地的節(jié)目音頻特征庫(kù)；其中，所述預(yù)設(shè)規(guī)則為:自動(dòng)刪除所述節(jié)目音頻特征庫(kù)中所存儲(chǔ)的過期的節(jié)目音頻特征數(shù)據(jù)包。
[0062]優(yōu)選的，所述服務(wù)器端還設(shè)置節(jié)目分段模塊、節(jié)目音頻段起始時(shí)間的計(jì)算模塊、節(jié)目音頻段特征提取模塊和節(jié)目音頻段特征數(shù)據(jù)合并模塊；
[0063]其中，所述節(jié)目分段模塊用于:將節(jié)目音頻文件Wi分割為時(shí)長(zhǎng)為TW的a個(gè)節(jié)目音頻段{wn，Wi2...WiJ，相鄰兩個(gè)節(jié)目音頻段之間有重疊，重疊時(shí)長(zhǎng)為TS ；
[0064]所述節(jié)目音頻段起始時(shí)間的計(jì)算模塊用于:以節(jié)目播放起始時(shí)間為原點(diǎn)，計(jì)算各個(gè)節(jié)目音頻段的起始時(shí)間tp,得到{tpn,tpi2...tpia},其中，起始時(shí)間tpi2為節(jié)目音頻段Wil距節(jié)目播放起始時(shí)間的時(shí)間間隔，j G (l、2...a)；
[0065]所述節(jié)目音頻段特征提取模塊，用于對(duì)各個(gè)節(jié)目音頻段進(jìn)行節(jié)目音頻特征提取，得到 a 個(gè)節(jié)目音頻特征子數(shù)據(jù){Cn, Ci2...CiJ ;將 Itpil, tpi2...tpia}和{Cn, Ci2...CiJ 記為節(jié)目音頻特征數(shù)據(jù)Fi;
[0066]所述節(jié)目音頻段特征數(shù)據(jù)合并模塊用于:將q個(gè)交互應(yīng)用(Y1, Y2...YtJ、q個(gè)對(duì)應(yīng)的播放時(shí)間點(diǎn)IT1, T2...T,}、節(jié)目標(biāo)識(shí)IDi以及節(jié)目音頻特征數(shù)據(jù)Fi合并存儲(chǔ)到節(jié)目音頻特征數(shù)據(jù)包Zi ；
[0067]所述移動(dòng)終端包括:錄音分段模塊、錄音音頻段起始時(shí)間的計(jì)算模塊、錄音音頻段特征提取模塊和匹配模塊；
[0068]所述錄音分段模塊用于:將錄音音頻文件分割為時(shí)長(zhǎng)為TW的b個(gè)錄音音頻段(B1,B2...Bb}，相鄰兩個(gè)錄音音頻段之間有重疊，重疊時(shí)長(zhǎng)為TS ；
[0069]所述錄音音頻段起始時(shí)間的計(jì)算模塊用于:以錄音起始時(shí)間為原點(diǎn)，計(jì)算各個(gè)錄音音頻段的起始時(shí)間tr,得到Itr1, tr2...trj ,其中,起始時(shí)間tr」為錄音音頻段Bj距錄音起始時(shí)間的時(shí)間間隔，其中，j e (1、2...b)；
[0070]所述錄音音頻段特征提取模塊用于:對(duì)各個(gè)錄音音頻段進(jìn)行錄音音頻特征提取，得到b個(gè)錄間音頻特征子數(shù)據(jù)(E1, E2...EJ ；
[0071]所述匹配模塊用于:將b個(gè)錄音音頻段IB2...BJ分別與P個(gè)節(jié)目音頻文件(W1,W2...ffp}進(jìn)行匹配，對(duì)每一個(gè)節(jié)目音頻文件，均建立一個(gè)統(tǒng)計(jì)直方圖，共建立P個(gè)統(tǒng)計(jì)直方圖；當(dāng)任意一個(gè)統(tǒng)計(jì)直 方圖的縱變量number值達(dá)到L時(shí),則終止下列S5.2-S5.3的循環(huán)操作；
[0072]其中，對(duì)任一個(gè)節(jié)目音頻文件Wi,所建立的統(tǒng)計(jì)直方圖為HIST-1Di(C^number)；HIST-1Di (dt> number)的建立過程包括以下步驟:
[0073]S5.1，令 number = 0 ；
[0074]S5.2，$j = l;
[0075]S5.3，將錄音音頻段B」的錄間音頻特征子數(shù)據(jù)分別與各個(gè)節(jié)目音頻段{Wn，wi2...WiJ所分別對(duì)應(yīng)的節(jié)目音頻特征子數(shù)據(jù){Cn，Ci2...CiJ進(jìn)行匹配，判斷錄間音頻特征子數(shù)據(jù)與各個(gè)節(jié)目音頻特征子數(shù)據(jù)之間的漢明距離是否大于閾值TH，如果大于，則二者不匹配；否則，二者匹配；若與錄音音頻段h匹配成功的節(jié)目音頻特征子數(shù)據(jù)為Cu，則與錄音音頻段h匹配成功的節(jié)目音頻段為Wu，節(jié)目音頻段為胃^的起始時(shí)間為tpu ;錄音音頻段B」的錄音起始時(shí)間為tr」；則:在dt = tPij-trj的橫坐標(biāo)位置,令number = number+1 ；i =i+1 ;返回循環(huán)執(zhí)行S5.2和S5.3，直到P個(gè)統(tǒng)計(jì)直方圖中，存在一個(gè)統(tǒng)計(jì)直方圖的縱變量的number值達(dá)到L時(shí),終止循環(huán)過程；
[0076]S5.4，令縱變量number值最先達(dá)到L的統(tǒng)計(jì)直方圖所對(duì)應(yīng)的節(jié)目標(biāo)識(shí)為IDend,最先達(dá)到L的縱坐量所對(duì)應(yīng)的橫變量dt值為dtend ;最先達(dá)到L的最后匹配成功的節(jié)目音頻段的起始時(shí)間為tpend,最先達(dá)到L的最后匹配成功的錄音音頻段的錄音起始時(shí)間為trend ;則；節(jié)目標(biāo)識(shí)為ID6nd的節(jié)目即為與錄音音頻信號(hào)匹配的節(jié)目；并且，該節(jié)目當(dāng)前播出時(shí)間偏移即為 tpend = trend+dtend。
[0077]本發(fā)明提供的基于音頻特征的廣播電視節(jié)目標(biāo)識(shí)與識(shí)別方法及系統(tǒng)，具有以下優(yōu)
占-
^ \\\ ?
[0078](I)通過錄音音頻特征自動(dòng)識(shí)別電視正在播出的廣播電視節(jié)目，具有識(shí)別準(zhǔn)確率1?的優(yōu)點(diǎn)；[0079](2)在識(shí)別播放節(jié)目的同時(shí)，還能夠準(zhǔn)確定位節(jié)目播出的時(shí)間偏移，向用戶提供更多的信息；
[0080](3)準(zhǔn)時(shí)輸出與當(dāng)前播放的電視節(jié)目關(guān)聯(lián)的交互應(yīng)用信息；
[0081](4)采用節(jié)目音頻特征下載的方法在移動(dòng)終端進(jìn)行音頻特征查詢，從而避免上傳錄音音頻特征，有效防止用戶錄音信息的泄露，保障了用戶隱私不受侵犯。
【專利附圖】

【附圖說明】
[0082]圖1為本發(fā)明提供的基于音頻特征的廣播電視節(jié)目標(biāo)識(shí)與識(shí)別方法流程示意圖?！揪唧w實(shí)施方式】
[0083]以下結(jié)合附圖對(duì)本發(fā)明進(jìn)行詳細(xì)說明:
[0084]實(shí)施例一
[0085]如圖1所示，本發(fā)明提供一種基于音頻特征的廣播電視節(jié)目標(biāo)識(shí)與識(shí)別的方法，包括以下步驟:
[0086]SI,服務(wù)器端按照設(shè)定規(guī)則讀取P個(gè)節(jié)目音頻文件(W1, W2...ffp},對(duì)節(jié)目音頻文件Wi執(zhí)行S1.1-S1.3，得到P個(gè)節(jié)目音頻特征數(shù)據(jù)包(Z1, Z2...Zpl ；
[0087]設(shè)定規(guī)則包括以下規(guī)則的一種或幾種的組合:
[0088]規(guī)則1，服務(wù) 器端只讀取綁定交互應(yīng)用的節(jié)目所包含的節(jié)目音頻文件；
[0089]規(guī)則2，設(shè)節(jié)目通過電視機(jī)播放的播放時(shí)間為TA，則服務(wù)器在播放時(shí)間TA之前的時(shí)間TB才讀取所述節(jié)目；其中，時(shí)間TB到時(shí)間TA的時(shí)間間隔小于預(yù)設(shè)值；例如，設(shè)定值可以為24小時(shí)。在某一節(jié)目未播放前，提前提取其音頻特征數(shù)據(jù)并推送到客戶端，可以防止因網(wǎng)絡(luò)堵塞可無(wú)法及時(shí)有效的使移動(dòng)終端存儲(chǔ)該音頻特征數(shù)據(jù)的概率。另外，由于僅對(duì)節(jié)目音頻數(shù)據(jù)進(jìn)行特征提取并存儲(chǔ)到移動(dòng)終端，不會(huì)存在侵犯電視臺(tái)權(quán)益的問題。另外，由于僅對(duì)節(jié)目音頻數(shù)據(jù)進(jìn)行特征提取，而不包括視頻數(shù)據(jù)，而節(jié)目音頻數(shù)據(jù)通常較小，從而也可降低移動(dòng)終端的存儲(chǔ)壓力。
[0090]本發(fā)明中，由于節(jié)目音頻文件數(shù)量龐大、種類繁多，而且，需要將對(duì)節(jié)目音頻文件進(jìn)行提取的節(jié)目音頻特征文件下載到移動(dòng)終端，而考慮到移動(dòng)終端存儲(chǔ)容量有限，因此，月艮務(wù)器端需要選擇性處理符合需求的節(jié)目音頻文件。
[0091]本步驟具體包括以下步驟:
[0092]S1.1，設(shè)置并讀取用于唯一標(biāo)識(shí)節(jié)目音頻文件Wi的節(jié)目標(biāo)識(shí)IDi ；
[0093]讀取節(jié)目音頻文件Wi在q個(gè)播放時(shí)間點(diǎn)IT1, T2...Tj分別關(guān)聯(lián)的q個(gè)交互應(yīng)用(Y1, Y2...YtJ，其中，所述播放時(shí)間點(diǎn)Ti為其所關(guān)聯(lián)的交互應(yīng)用Yi的啟動(dòng)時(shí)間點(diǎn)；
[0094]例如:某一節(jié)目音頻文件設(shè)置以下關(guān)聯(lián):播放時(shí)間點(diǎn)10分鐘關(guān)聯(lián)交互應(yīng)用1、播放時(shí)間點(diǎn)20分鐘關(guān)聯(lián)交互應(yīng)用2、播放時(shí)間點(diǎn)30分鐘關(guān)聯(lián)交互應(yīng)用3 ;則其含義為:只有當(dāng)電視節(jié)目通過電視機(jī)播放超過10分鐘時(shí)，才能夠啟動(dòng)交互應(yīng)用I ;其他類推，在此不再贅述。
[0095]S1.2，對(duì)所述節(jié)目音頻文件Wi進(jìn)行音頻特征提取，得到節(jié)目音頻特征數(shù)據(jù)Fi ；
[0096]S1.3，將q個(gè)交互應(yīng)用(Y1, Y2...Y』與q個(gè)對(duì)應(yīng)的播放時(shí)間點(diǎn)IT1, T2...Tj、節(jié)目標(biāo)識(shí)IDi和節(jié)目音頻特征數(shù)據(jù)Fi合并，得到節(jié)目音頻特征數(shù)據(jù)包Zi ；
[0097]S2，服務(wù)器端將P個(gè)節(jié)目音頻特征數(shù)據(jù)包(Z1, Z2...ZP}發(fā)送到移動(dòng)終端本地建立的節(jié)目音頻特征庫(kù)中；
[0098]本步驟具體包括S2.1或S2.2兩種方法:
[0099]S2.1，服務(wù)器端主動(dòng)向各個(gè)移動(dòng)終端本地的節(jié)目音頻特征庫(kù)中推送新的節(jié)目音頻特征數(shù)據(jù)包；
[0100]S2.2，移動(dòng)終端定期向服務(wù)器端發(fā)送節(jié)目音頻特征數(shù)據(jù)包的更新查詢請(qǐng)求；如果查詢到有新的節(jié)目音頻特征數(shù)據(jù)包，則將其下載到本地節(jié)目音頻特征庫(kù)中。
[0101]另外，移動(dòng)終端還進(jìn)行下列步驟:按預(yù)設(shè)規(guī)則自動(dòng)更新本地的節(jié)目音頻特征庫(kù)；或者，服務(wù)器端按預(yù)設(shè)規(guī)則自動(dòng)更新各個(gè)移動(dòng)終端本地的節(jié)目音頻特征庫(kù)；其中，所述預(yù)設(shè)規(guī)則為:自動(dòng)刪除所述節(jié)目音頻特征庫(kù)中所存儲(chǔ)的過期的節(jié)目音頻特征數(shù)據(jù)包。
[0102]S3，對(duì)于電視機(jī)正在播放的指定節(jié)目，當(dāng)所述移動(dòng)終端需要查詢與所述指定節(jié)目相關(guān)的交互應(yīng)用時(shí)，所述移動(dòng)終端錄制指定節(jié)目在當(dāng)前播放時(shí)刻的錄音音頻信號(hào)；
[0103]S4，所述移動(dòng)終端對(duì)所述錄音音頻信號(hào)進(jìn)行音頻特征提取，得到錄音音頻特征數(shù)據(jù)；
[0104]S5，以所述錄音音頻特征數(shù)據(jù)為查詢關(guān)鍵數(shù)據(jù)，查詢所述節(jié)目音頻特征庫(kù)，判斷所述節(jié)目音頻特征庫(kù)中是否存在與所述錄音音頻特征數(shù)據(jù)相匹配的節(jié)目音頻特征數(shù)據(jù)，如果有，則得到所述節(jié)目音頻特征數(shù)據(jù)所在的節(jié)目音頻特征數(shù)據(jù)包，輸出所述節(jié)目音頻特征數(shù)據(jù)包存儲(chǔ)的節(jié)目標(biāo)識(shí)、播放時(shí)間點(diǎn)與對(duì)應(yīng)的交互應(yīng)用；另外，還計(jì)算得到節(jié)目時(shí)間偏移，并輸出計(jì)算得到的節(jié)目時(shí)間偏移。
[0105]實(shí)施例二
[0106]在實(shí)施例一的基礎(chǔ)上，作為一種優(yōu)先實(shí)施方式，本發(fā)明還提供了一種分段匹配錄音音頻文件和節(jié)目音頻文件的方法，從而提高錄音音頻文件匹配到其所屬的節(jié)目音頻文件的概率，具體的，包括以下步驟:
[0107](I)對(duì)于節(jié)目音頻文件Wi,執(zhí)行以下步驟:
[0108]將節(jié)目音頻文件Wi分割為時(shí)長(zhǎng)為TW的a個(gè)節(jié)目音頻段{Wn，Wi2...Wia}，相鄰兩個(gè)節(jié)目音頻段之間有重疊，重疊時(shí)長(zhǎng)為TS;以節(jié)目播放起始時(shí)間為原點(diǎn)，計(jì)算各個(gè)節(jié)目音頻段的起始時(shí)間tp,得到{tpn, tpi2...tpia},其中，起始時(shí)間tpi2為節(jié)目音頻段Wil距節(jié)目播放起始時(shí)間的時(shí)間間隔，j e (1,2...a);對(duì)各個(gè)節(jié)目音頻段進(jìn)行節(jié)目音頻特征提取，得到a個(gè)節(jié)目音頻特征子數(shù)據(jù){Cn，Ci2...CiJ ;將{tpn，tpi2...tpia}和ICil, Ci2...CiJ記為節(jié)目音頻特征數(shù)據(jù)Fi ；
[0109]將q個(gè)交互應(yīng)用(Y1, Y2...Y」、q個(gè)對(duì)應(yīng)的播放時(shí)間點(diǎn)IT1, T2...Tj、節(jié)目標(biāo)識(shí)IDi以及節(jié)目音頻特征數(shù)據(jù)Fi合并存儲(chǔ)到節(jié)目音頻特征數(shù)據(jù)包Zi。
[0110]其中，節(jié)目音頻特征子數(shù)據(jù)可以為節(jié)目音頻段的頻譜能量，節(jié)目音頻段的頻譜能量的計(jì)算方法為:
[0111]對(duì)節(jié)目音頻段進(jìn)行離散傅里葉變換，計(jì)算傅里葉系數(shù)的幅值，在頻譜空間中選擇N個(gè)頻段，分別計(jì)算每個(gè)頻段內(nèi)傅里葉系數(shù)幅值的均方值作為該頻段的頻譜能量；頻譜能量記為 ENERGY (m，n)，m G {0,1,..., M_l}，n G {0,1,..., N_l};參數(shù) K、M 和 N 滿足下列條件:
[0112]K= (M-1) *N
[0113]按照下面公式計(jì)算二進(jìn)制音頻特征,該公式中m、n取值范圍是m G {0,1,...,[0114]
【權(quán)利要求】
1.一種基于音頻特征的廣播電視節(jié)目標(biāo)識(shí)與識(shí)別的方法，其特征在于，包括以下步驟: Si,服務(wù)器端按照設(shè)定規(guī)則讀取P個(gè)節(jié)目音頻文件(W1，W2...Wpl，對(duì)節(jié)目音頻文件Wi執(zhí)行S1.1-S1.3，得到P個(gè)節(jié)目音頻特征數(shù)據(jù)包{Ζ1;Ζ2...ΖΡ};具體包括以下步驟: S1.1，設(shè)置并讀取用于唯一標(biāo)識(shí)節(jié)目音頻文件Wi的節(jié)目標(biāo)識(shí)IDi ； 讀取節(jié)目音頻文件Wi在q個(gè)播放時(shí)間點(diǎn)IT1, T2...TJ分別關(guān)聯(lián)的q個(gè)交互應(yīng)用{Y1;Y2...YtJ，其中，所述播放時(shí)間點(diǎn)Ti為其所關(guān)聯(lián)的交互應(yīng)用Yi的啟動(dòng)時(shí)間點(diǎn)； S1.2，對(duì)所述節(jié)目音頻文件Wi進(jìn)行音頻特征提取，得到節(jié)目音頻特征數(shù)據(jù)Fi ； 51.3，將q個(gè)交互應(yīng)用{Y1; Y2...Yq}與q個(gè)對(duì)應(yīng)的播放時(shí)間點(diǎn)IT1, T2...Tj、節(jié)目標(biāo)識(shí)IDi和節(jié)目音頻特征數(shù)據(jù)Fi合并，得到節(jié)目音頻特征數(shù)據(jù)包Zi ； S2，服務(wù)器端將P個(gè)節(jié)目音頻特征數(shù)據(jù)包{Z1; Z2...ZP}發(fā)送到移動(dòng)終端本地建立的節(jié)目首頻特征庫(kù)中； S3，對(duì)于電視機(jī)正在播放的指定節(jié)目，當(dāng)所述移動(dòng)終端需要查詢與所述指定節(jié)目相關(guān)的交互應(yīng)用時(shí)，所述移動(dòng)終端錄制指定節(jié)目在當(dāng)前播放時(shí)刻的錄音音頻信號(hào)； S4，所述移動(dòng)終端對(duì)所述錄音音頻信號(hào)進(jìn)行音頻特征提取，得到錄音音頻特征數(shù)據(jù)；S5，以所述錄音音頻特征數(shù)據(jù)為查詢關(guān)鍵數(shù)據(jù)，查詢所述節(jié)目音頻特征庫(kù)，判斷所述節(jié)目音頻特征庫(kù)中是否存在與所述錄音音頻特征數(shù)據(jù)相匹配的節(jié)目音頻特征數(shù)據(jù)，如果有，則得到所述節(jié)目音頻特征數(shù)據(jù)所在的節(jié)目音頻特征數(shù)據(jù)包，輸出所述節(jié)目音頻特征數(shù)據(jù)包存儲(chǔ)的節(jié)目標(biāo)識(shí)、播放時(shí)間點(diǎn)與對(duì)應(yīng)的交互應(yīng)用；另外，還計(jì)算得到節(jié)目時(shí)間偏移，并輸出計(jì)算得到的節(jié)目時(shí)間偏移。
2.根據(jù)權(quán)利要求1所述的基于音頻特征的廣播電視節(jié)目標(biāo)識(shí)與識(shí)別的方法，其特征在于，SI中，所述設(shè)定規(guī)則包括以下規(guī)則的一種或幾種的組合: 規(guī)則1，服務(wù)器端只讀取綁定交互應(yīng)用的節(jié)目所包含的節(jié)目音頻文件； 規(guī)則2，設(shè)節(jié)目通過電視機(jī)播放的播放時(shí)間為TA，則服務(wù)器在播放時(shí)間TA之前的時(shí)間TB才讀取所述節(jié)目；其中，時(shí)間TB到時(shí)間TA的時(shí)間間隔小于預(yù)設(shè)值； 或者，S1.1中，所述交互應(yīng)用包括交互應(yīng)用標(biāo)識(shí)信息、交互應(yīng)用類型信息、交互應(yīng)用優(yōu)先級(jí)信息、交互應(yīng)用被啟動(dòng)控制的信息、交互應(yīng)用的版本信息和對(duì)交互應(yīng)用進(jìn)行的描述信肩、O
3.根據(jù)權(quán)利要求1所述的基于音頻特征的廣播電視節(jié)目標(biāo)識(shí)與識(shí)別的方法，其特征在于，S2具體包括S2.1或S2.2兩種方法: 52.1，服務(wù)器端主動(dòng)向各個(gè)移動(dòng)終端本地的節(jié)目音頻特征庫(kù)中推送新的節(jié)目音頻特征數(shù)據(jù)包； S2.2，移動(dòng)終端定期向服務(wù)器端發(fā)送節(jié)目音頻特征數(shù)據(jù)包的更新查詢請(qǐng)求；如果查詢到有新的節(jié)目音頻特征數(shù)據(jù)包，則將其下載到本地節(jié)目音頻特征庫(kù)中。
4.根據(jù)權(quán)利要求1所述的基于音頻特征的廣播電視節(jié)目標(biāo)識(shí)與識(shí)別的方法，其特征在于，S2之后,還包括: 移動(dòng)終端按預(yù)設(shè)規(guī)則自動(dòng)更新本地的節(jié)目音頻特征庫(kù)；或者，服務(wù)器端按預(yù)設(shè)規(guī)則自動(dòng)更新各個(gè)移動(dòng)終端本地的節(jié)目音頻特征庫(kù)；其中，所述預(yù)設(shè)規(guī)則為:自動(dòng)刪除所述節(jié)目音頻特征庫(kù)中所存儲(chǔ)的過期的節(jié)目音頻特征數(shù)據(jù)包。
5.根據(jù)權(quán)利要求1所述的基于音頻特征的廣播電視節(jié)目標(biāo)識(shí)與識(shí)別的方法，其特征在于，SI中，對(duì)于節(jié)目音頻文件Wi,還包括執(zhí)行以下步驟: 將節(jié)目音頻文件Wi分割為時(shí)長(zhǎng)為TW的a個(gè)節(jié)目音頻段{Wn，Wi2...WiJ，相鄰兩個(gè)節(jié)目音頻段之間有重疊，重疊時(shí)長(zhǎng)為TS;以節(jié)目播放起始時(shí)間為原點(diǎn)，計(jì)算各個(gè)節(jié)目音頻段的起始時(shí)間tp,得到{tpn, tpi2...tpia},其中，起始時(shí)間tpi2為節(jié)目音頻段Wil距節(jié)目播放起始時(shí)間的時(shí)間間隔，je (1,2...a);對(duì)各個(gè)節(jié)目音頻段進(jìn)行節(jié)目音頻特征提取，得到a個(gè)節(jié)目音頻特征子數(shù)據(jù)Icil, Ci2...CiJ ;將{tpn, tpi2...tpia}和ICil, Ci2...CiJ記為節(jié)目音頻特征數(shù)據(jù)Fi ； 將q個(gè)交互應(yīng)用(Y1, Y2-..YJ > Q個(gè)對(duì)應(yīng)的播放時(shí)間點(diǎn)IT1, !V..!；}、節(jié)目標(biāo)識(shí)IDi以及節(jié)目音頻特征數(shù)據(jù)Fi合并存儲(chǔ)到節(jié)目音頻特征數(shù)據(jù)包Zi ； S4具體包括以下步驟: 將錄音音頻文件分割為時(shí)長(zhǎng)為TW的b個(gè)錄音音頻段{B1; B2...BJ，相鄰兩個(gè)錄音音頻段之間有重置，重置時(shí)長(zhǎng)為TS ;以錄首起始時(shí)間為原點(diǎn)，計(jì)算各個(gè)錄首首頻段的起始時(shí)間tr,得到Itrptr2...trb},其中,起始時(shí)間tr」為錄音音頻段Bj距錄音起始時(shí)間的時(shí)間間隔，其中，je (1,2...b);對(duì)各個(gè)錄音音頻段進(jìn)行錄音音頻特征提取，得到b個(gè)錄間音頻特征子數(shù)據(jù){E^EyEj ； S5具體包括以下步驟: 將b個(gè)錄音音頻段{B1; B2...BJ分別與P個(gè)節(jié)目音頻文件{W1; W2...ffp}進(jìn)行匹配，對(duì)每一個(gè)節(jié)目音頻文件，均建立一個(gè)統(tǒng)計(jì)直方圖，共建立P個(gè)統(tǒng)計(jì)直方圖；當(dāng)任意一個(gè)統(tǒng)計(jì)直方圖的縱變量number值達(dá)到L時(shí)，則終止下列S5.2-S5.3的循環(huán)操作； 其中，對(duì)任一個(gè)節(jié)目音頻文件Wi，所建立的統(tǒng)計(jì)直方圖為HIST-1Di (dt、number)；HIST-1Di (dt> number)的建立過程包括以下步驟:
S5.1,令 number = O ；
S5.2，令 j = 1 ; S5.3，將錄音音頻段B」的錄間音頻特征子數(shù)據(jù)分別與各個(gè)節(jié)目音頻段{Wn，Wi2...WiJ所分別對(duì)應(yīng)的節(jié)目音頻特征子數(shù)據(jù){Cn，Ci2...CiJ進(jìn)行匹配，判斷錄間音頻特征子數(shù)據(jù)與各個(gè)節(jié)目音頻特征子數(shù)據(jù)之間的漢明距離是否大于閾值TH，如果大于，則二者不匹配；否貝U，二者匹配；若與錄音音頻段B」匹配成功的節(jié)目音頻特征子數(shù)據(jù)為Cu，則與錄音音頻段Bj匹配成功的節(jié)目音頻段為Wu，節(jié)目音頻段為Wu的起始時(shí)間為tpu ;錄音音頻段B」的錄音起始時(shí)間為tr」；則:在dt = tPij-trj的橫坐標(biāo)位置,令number = number+1 ；i = i+1 ;返回循環(huán)執(zhí)行S5.2和S5.3，直到P個(gè)統(tǒng)計(jì)直方圖中，存在一個(gè)統(tǒng)計(jì)直方圖的縱變量的number值達(dá)到L時(shí)，終止循環(huán)過程； S5.4，令縱變量number值最先達(dá)到L的統(tǒng)計(jì)直方圖所對(duì)應(yīng)的節(jié)目標(biāo)識(shí)為IDmd，最先達(dá)到L的縱坐量所對(duì)應(yīng)的橫變量dt值為dtend ;最先達(dá)到L的最后匹配成功的節(jié)目音頻段的起始時(shí)間為tpend，最先達(dá)到L的最后匹配成功的錄音音頻段的錄音起始時(shí)間為trend ;則--節(jié)目標(biāo)識(shí)為IDmd的節(jié)目即為與錄音音頻信號(hào)匹配的節(jié)目；并且，該節(jié)目當(dāng)前播出時(shí)間偏移即為tPend — trend+dtend。
6.一種基于音頻特征的廣播電視節(jié)目標(biāo)識(shí)與識(shí)別的系統(tǒng)，其特征在于，包括服務(wù)器端和移動(dòng)終端；所述服務(wù)器端包括: 讀取模塊，用于按照設(shè)定規(guī)則讀取P個(gè)節(jié)目音頻文件{WpWr.Wp};還用于讀取節(jié)目音頻文件Wi在q個(gè)播放時(shí)間點(diǎn)IT1J2...TJ分別關(guān)聯(lián)的q個(gè)交互應(yīng)用{Y1;Y2...Yq}，其中，所述播放時(shí)間點(diǎn)Ti為其所關(guān)聯(lián)的交互應(yīng)用Yi的啟動(dòng)時(shí)間點(diǎn)； 設(shè)置模塊，用于設(shè)置所述讀取模塊讀取到的節(jié)目音頻文件Wi的節(jié)目標(biāo)識(shí)IDi ； 節(jié)目音頻特征提取模塊，用于對(duì)所述讀取模塊讀取到的節(jié)目音頻文件Wi進(jìn)行音頻特征提取，得到節(jié)目音頻特征數(shù)據(jù)Fi ； 合并模塊，用于將q個(gè)交互應(yīng)用{Y1; Y2-..Yq}與q個(gè)對(duì)應(yīng)的播放時(shí)間點(diǎn)IT1, T2...TJ ,節(jié)目標(biāo)識(shí)IDi和節(jié)目音頻特征數(shù)據(jù)Fi合并，得到節(jié)目音頻特征數(shù)據(jù)包Zi ； 發(fā)送模塊，用于將所述合并模塊合并得到的P個(gè)節(jié)目音頻特征數(shù)據(jù)包{Z1; Z2...ZP}發(fā)送到移動(dòng)終端本地建立的節(jié)目音頻特征庫(kù)中； 所述移動(dòng)終端包括: 錄音模塊，用于錄制指定節(jié)目在當(dāng)前播放時(shí)刻的錄音音頻信號(hào)； 錄音音頻特征提取模塊，用于對(duì)所述錄音模塊錄制得到的錄音音頻信號(hào)進(jìn)行音頻特征提取，得到錄音音頻特征數(shù)據(jù)； 節(jié)目音頻特征庫(kù)，用于存儲(chǔ)所述服務(wù)器端發(fā)送的P個(gè)節(jié)目音頻特征數(shù)據(jù)包{Z1;7 7 1-./-/pj , 查詢模塊，用于以所述錄音音頻特征數(shù)據(jù)為查詢關(guān)鍵數(shù)據(jù)，查詢所述節(jié)目音頻特征庫(kù)； 判斷模塊，用于判斷所述節(jié)目音頻特征庫(kù)中是否存在與所述錄音音頻特征數(shù)據(jù)相匹配的節(jié)目音頻特征數(shù)據(jù)； 輸出模塊，用于當(dāng)所述判斷模塊判斷結(jié)果為是時(shí)，得到所述節(jié)目音頻特征數(shù)據(jù)所在的節(jié)目音頻特征數(shù)據(jù)包，輸出所述節(jié)目音頻特征數(shù)據(jù)包存儲(chǔ)的節(jié)目標(biāo)識(shí)、播放時(shí)間點(diǎn)與對(duì)應(yīng)的交互應(yīng)用；另外，還計(jì)算得到節(jié)目時(shí)間偏移，并輸出計(jì)算得到的節(jié)目時(shí)間偏移。
7.根據(jù)權(quán)利要求6所述的基 于音頻特征的廣播電視節(jié)目標(biāo)識(shí)與識(shí)別的系統(tǒng)，其特征在于，所述服務(wù)器端的所述讀取模塊讀取時(shí)依據(jù)的所述設(shè)定規(guī)則為:以下規(guī)則的一種或幾種的組合: 規(guī)則1，服務(wù)器端只讀取綁定交互應(yīng)用的節(jié)目所包含的節(jié)目音頻文件； 規(guī)則2，設(shè)節(jié)目通過電視機(jī)播放的播放時(shí)間為TA，則服務(wù)器在播放時(shí)間TA之前的時(shí)間TB才讀取所述節(jié)目；其中，時(shí)間TB到時(shí)間TA的時(shí)間間隔小于預(yù)設(shè)值； 所述讀取模塊讀取到的所述交互應(yīng)用包括交互應(yīng)用標(biāo)識(shí)信息、交互應(yīng)用類型信息、交互應(yīng)用優(yōu)先級(jí)信息、交互應(yīng)用被啟動(dòng)控制的信息、交互應(yīng)用的版本信息和對(duì)交互應(yīng)用進(jìn)行的描述信息。
8.根據(jù)權(quán)利要求6所述的基于音頻特征的廣播電視節(jié)目標(biāo)識(shí)與識(shí)別的系統(tǒng)，其特征在于，所述發(fā)送模塊具體用于:主動(dòng)向各個(gè)移動(dòng)終端本地的節(jié)目音頻特征庫(kù)中推送新的節(jié)目音頻特征數(shù)據(jù)包； 所述移動(dòng)終端還包括下載模塊，所述下載模塊用于:定期向服務(wù)器端發(fā)送節(jié)目音頻特征數(shù)據(jù)包的更新查詢請(qǐng)求；如果查詢到有新的節(jié)目音頻特征數(shù)據(jù)包，則將其下載到本地節(jié)目音頻特征庫(kù)中。
9.根據(jù)權(quán)利要求6所述的基于音頻特征的廣播電視節(jié)目標(biāo)識(shí)與識(shí)別的系統(tǒng)，其特征在于，所述移動(dòng)終端還設(shè)置第一更新模塊，所述第一更新模塊用于:按預(yù)設(shè)規(guī)則自動(dòng)更新本地的節(jié)目音頻特征庫(kù)；其中，所述預(yù)設(shè)規(guī)則為:自動(dòng)刪除所述節(jié)目音頻特征庫(kù)中所存儲(chǔ)的過期的節(jié)目音頻特征數(shù)據(jù)包； 所述服務(wù)器端還設(shè)置第二更新模塊，所述第二更新模塊用于:按預(yù)設(shè)規(guī)則自動(dòng)更新各個(gè)移動(dòng)終端本地的節(jié)目音頻特征庫(kù)；其中，所述預(yù)設(shè)規(guī)則為:自動(dòng)刪除所述節(jié)目音頻特征庫(kù)中所存儲(chǔ)的過期的節(jié)目音頻特征數(shù)據(jù)包。
10.根據(jù)權(quán)利要求6所述的基于音頻特征的廣播電視節(jié)目標(biāo)識(shí)與識(shí)別的系統(tǒng)，其特征在于，所述服務(wù)器端還設(shè)置節(jié)目分段模塊、節(jié)目音頻段起始時(shí)間的計(jì)算模塊、節(jié)目音頻段特征提取模塊和節(jié)目音頻段特征數(shù)據(jù)合并模塊； 其中，所述節(jié)目分段模塊用于:將節(jié)目音頻文件Wi分割為時(shí)長(zhǎng)為TW的a個(gè)節(jié)目音頻段{wn, Wi2...WiJ，相鄰兩個(gè)節(jié)目音頻段之間有重疊，重疊時(shí)長(zhǎng)為TS ； 所述節(jié)目音頻段起始時(shí)間的計(jì)算模塊用于:以節(jié)目播放起始時(shí)間為原點(diǎn)，計(jì)算各個(gè)節(jié)目音頻段的起始時(shí)間tp,得到{tpn, tpi2...tpia},其中，起始時(shí)間tpi2為節(jié)目音頻段Wil距節(jié)目播放起始時(shí)間的時(shí)間間隔，j G (l、2...a)； 所述節(jié)目音頻段特征提取模塊，用于對(duì)各個(gè)節(jié)目音頻段進(jìn)行節(jié)目音頻特征提取，得到a個(gè)節(jié)目音頻特征子數(shù)據(jù){Cn，Ci2...CiJ ;將{tPil，tpi2...tpia}和{Cn，Ci2...CiJ記為節(jié)目音頻特征數(shù)據(jù)Fi ； 所述節(jié)目音頻段特征數(shù)據(jù)合并模塊用于:將q個(gè)交互應(yīng)用(Y1, Y2...YJ , q個(gè)對(duì)應(yīng)的播放時(shí)間點(diǎn)IT1, T2...T,}、節(jié)目標(biāo)識(shí)IDi以及節(jié)目音頻特征數(shù)據(jù)Fi合并存儲(chǔ)到節(jié)目音頻特征數(shù)據(jù)包Zi ； 所述移動(dòng)終端包括:錄音分段模塊、錄音音頻段起始時(shí)間的計(jì)算模塊、錄音音頻段特征提取模塊和匹配模塊； 所述錄音分段模塊用于:將錄音音頻文件分割為時(shí)長(zhǎng)為TW的b個(gè)錄音音頻段(B1,B2...Bb}，相鄰兩個(gè)錄音音頻段之間有重疊，重疊時(shí)長(zhǎng)為TS ； 所述錄音音頻段起始時(shí)間的計(jì)算模塊用于:以錄音起始時(shí)間為原點(diǎn)，計(jì)算各個(gè)錄音音頻段的起始時(shí)間tr,得到Itr1, tr2...trj ,其中,起始時(shí)間trj為錄音音頻段Bj距錄音起始時(shí)間的時(shí)間間隔，其中，j e (1、2...b)； 所述錄音音頻段特征提取模塊用于:對(duì)各個(gè)錄音音頻段進(jìn)行錄音音頻特征提取，得到b個(gè)錄間音頻特征子數(shù)據(jù)(E1, E2...Ej ； 所述匹配模塊用于:將b個(gè)錄音音頻段(B1, B2...BJ分別與P個(gè)節(jié)目音頻文件(W1,W2...ffp}進(jìn)行匹配，對(duì)每一個(gè)節(jié)目音頻文件，均建立一個(gè)統(tǒng)計(jì)直方圖，共建立P個(gè)統(tǒng)計(jì)直方圖；當(dāng)任意一個(gè)統(tǒng)計(jì)直方圖的縱變量number值達(dá)到L時(shí),則終止下列S5.2-S5.3的循環(huán)操作； 其中，對(duì)任一個(gè)節(jié)目音頻文件Wi，所建立的統(tǒng)計(jì)直方圖為HIST-1Di (dt、number)；HIST-1Di (dt> number)的建立過程包括以下步驟:
S5.1,令 number = 0 ；
S5.2，令 j = I ; S5.3，將錄音音頻段B」的錄間音頻特征子數(shù)據(jù)分別與各個(gè)節(jié)目音頻段{Wn，Wi2...WiJ所分別對(duì)應(yīng)的節(jié)目音頻特征子數(shù)據(jù){Cn，Ci2...CiJ進(jìn)行匹配，判斷錄間音頻特征子數(shù)據(jù)與各個(gè)節(jié)目音頻特征子數(shù)據(jù)之間的漢明距離是否大于閾值TH，如果大于，則二者不匹配；否貝U，二者匹配；若與錄音音頻段B」匹配成功的節(jié)目音頻特征子數(shù)據(jù)為Cu，則與錄音音頻段Bj匹配成功的節(jié)目音頻段為Wu，節(jié)目音頻段為WL的起始時(shí)間為tpu ;錄音音頻段B」的錄音起始時(shí)間為tr」；則:在dt = tPij-trj的橫坐標(biāo)位置,令number = number+1 ；i = i+1 ;返回循環(huán)執(zhí)行S5.2和S5.3，直到P個(gè)統(tǒng)計(jì)直方圖中，存在一個(gè)統(tǒng)計(jì)直方圖的縱變量的number值達(dá)到L時(shí)，終止循環(huán)過程； S5.4令縱變量number值最先達(dá)到L的統(tǒng)計(jì)直方圖所對(duì)應(yīng)的節(jié)目標(biāo)識(shí)為IDmd，最先達(dá)到L的縱坐量所對(duì)應(yīng)的橫變量dt值為dtend ;最先達(dá)到L的最后匹配成功的節(jié)目音頻段的起始時(shí)間為tpend，最先達(dá)到L的最后匹配成功的錄音音頻段的錄音起始時(shí)間為trend ;則--節(jié)目標(biāo)識(shí)為IDmd的節(jié)目即為與錄音音頻信號(hào)匹配的節(jié)目；并且，該節(jié)目當(dāng)前播出時(shí)間偏移即為tPend — trend+dtend。
【文檔編號(hào)】H04N21/233GK103618953SQ201310356819
【公開日】2014年3月5日 申請(qǐng)日期:2013年8月15日 優(yōu)先權(quán)日:2013年8月15日
【發(fā)明者】唐小軍, 孫劍, 張昊 申請(qǐng)人:北京中視廣信科技有限公司