專(zhuān)利名稱(chēng)：視頻比分的檢測(cè)識(shí)別方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻領(lǐng)域，具體而言，涉及一種視頻比分的檢測(cè)識(shí)別方法及裝置。
背景技術(shù)：
對(duì)于廣播體育視頻，比分的變化情況十分重要，它為視頻的編輯和分析提供了非常有幫助的信息。對(duì)于大部分體育視頻，都會(huì)有比分牌出現(xiàn)，比分牌上記錄著隨時(shí)變化的比分，得到比分信息可以幫助我們對(duì)視頻進(jìn)行標(biāo)注和編目。例如，對(duì)于一個(gè)足球視頻，得到比分信息后，可以將視頻的進(jìn)球時(shí)間點(diǎn)標(biāo)注出來(lái)，并進(jìn)一步幫助標(biāo)注進(jìn)球精彩片段，這些編目信息對(duì)于這個(gè)視頻十分重要。相關(guān)現(xiàn)有技術(shù)的比分檢測(cè)識(shí)別方法包括如下兩類(lèi)第一類(lèi)是通過(guò)字符檢測(cè)識(shí)別的傳統(tǒng)方法來(lái)檢測(cè)識(shí)別比分，另一類(lèi)是根據(jù)先驗(yàn)的規(guī)律識(shí)別體育視頻中比分牌上的時(shí)間或比分，在這兩種方法中由于使用圖像處理技術(shù)來(lái)檢測(cè)每一幀圖像中的文字，然后使用視頻OCR 技術(shù)識(shí)別文字，這種方法非常耗時(shí)，更重要的是，這種檢測(cè)識(shí)別方法的準(zhǔn)確率很低，并不能處理低分辨率情況，不適用足球視頻的實(shí)際情況。具體的，上述傳統(tǒng)的字幕文字檢測(cè)識(shí)別方法，需要在全屏圖像上尋找文字區(qū)域，然后按照模式匹配找到兩個(gè)隊(duì)伍的比分區(qū)域，然后進(jìn)行識(shí)別。這種方式具有如下缺陷由于體育視頻圖像十分復(fù)雜，使用尋找文字區(qū)域然后再尋找比分區(qū)域時(shí)，準(zhǔn)確率非常低；由于比分牌十分復(fù)雜，對(duì)于文字檢測(cè)干擾非常大；由于面臨著區(qū)分文字和比分的問(wèn)題，導(dǎo)致比分檢測(cè)不準(zhǔn)或者無(wú)法檢測(cè)到比分；而且由于現(xiàn)有的很多視頻的分辨率相對(duì)較低，特別是比分?jǐn)?shù)字的分辨率很低使得文字檢測(cè)的過(guò)程比較耗時(shí)。目前針對(duì)相關(guān)技術(shù)中足球視頻比分的檢測(cè)和識(shí)別準(zhǔn)確率低且效率低的問(wèn)題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容
針對(duì)相關(guān)技術(shù)中足球視頻比分的檢測(cè)和識(shí)別準(zhǔn)確率低且效率低的問(wèn)題，目前尚未提出有效的問(wèn)題而提出本發(fā)明，為此，本發(fā)明的主要目的在于提供一種視頻比分的檢測(cè)識(shí)別方法及裝置，以解決上述問(wèn)題。為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種視頻比分的檢測(cè)識(shí)別方法，該視頻比分的檢測(cè)識(shí)別方法包括將視頻畫(huà)面中的靜止區(qū)域和紋理豐富區(qū)域進(jìn)行合并處理以得到候選比分牌區(qū)域；基于第一過(guò)濾條件對(duì)候選比分牌區(qū)域進(jìn)行篩選以獲取視頻畫(huà)面上的比分牌區(qū)域；將比分牌區(qū)域的比分牌圖像進(jìn)行分解，以獲取比分牌圖像中的文字區(qū)域；基于第二過(guò)濾條件對(duì)文字區(qū)域進(jìn)行篩選和匹配，以獲取比分牌區(qū)域的比分區(qū)域；通過(guò)結(jié)合粗識(shí)別算法和精識(shí)別算法來(lái)識(shí)別比分區(qū)域以獲取比分?jǐn)?shù)字。進(jìn)一步地，將視頻畫(huà)面中的靜止區(qū)域和紋理豐富區(qū)域進(jìn)行合并處理以得到候選比分牌區(qū)域之前，方法還包括采用跳幀方式在視頻畫(huà)面中均勻提取預(yù)定數(shù)目的幀圖像；獲取各個(gè)幀圖像之間的幀差，并將獲取到的幀差進(jìn)行二值化處理以獲取幀差圖；在幀差圖上進(jìn)行區(qū)域聚合運(yùn)算，以獲取靜止區(qū)域。進(jìn)一步地，將視頻畫(huà)面中的靜止區(qū)域和紋理豐富區(qū)域進(jìn)行合并處理以得到候選比分牌區(qū)域之前，方法還包括采用跳幀方式在視頻畫(huà)面中均勻提取預(yù)定數(shù)目的幀圖像；計(jì)算并獲取幀圖像中每個(gè)像素的梯度絕對(duì)值；通過(guò)比較梯度絕對(duì)值和第一閾值來(lái)獲取梯度圖，其中，在梯度絕對(duì)值大于等于第一閾值的情況下，將梯度圖中的像素標(biāo)亮，否則將梯度圖中的像素標(biāo)暗；在梯度圖上進(jìn)行區(qū)域聚合運(yùn)算，以獲取紋理豐富區(qū)域。進(jìn)一步地，基于第一過(guò)濾條件對(duì)候選比分牌區(qū)域進(jìn)行篩選以獲取視頻畫(huà)面上的比分牌區(qū)域包括計(jì)算候選比分牌區(qū)域在不同幀中的變化程度，當(dāng)變化程度在預(yù)定范圍內(nèi)時(shí)， 將持續(xù)的幀數(shù)最大的候選比分牌區(qū)域作為視頻畫(huà)面上的比分牌區(qū)域。進(jìn)一步地，在將視頻畫(huà)面中的靜止區(qū)域和紋理豐富區(qū)域進(jìn)行合并處理來(lái)獲取候選比分牌區(qū)域之后，方法還包括根據(jù)以下公式來(lái)獲取預(yù)定數(shù)目的幀圖像的比分牌模板 Tt (x, y) = IV1 (χ, y) X (l_k) +It (χ, y) X k，其中，Tt (χ, y)表示 t 幀時(shí)的模板像素，Tt^1 (x, y) 表示t-1幀時(shí)的模板像素，It (X，y)表示t幀時(shí)的圖像像素值，k表示更新速度；根據(jù)比分牌模板檢測(cè)任意圖像幀中的是否出現(xiàn)比分牌，在出現(xiàn)比分牌時(shí)執(zhí)行識(shí)別比分牌，并根據(jù)該公式更新比分牌模板。進(jìn)一步地，將比分牌區(qū)域的比分牌圖像進(jìn)行分解，以獲取所有的文字區(qū)域包括采用局部自適應(yīng)閾值二值化算法對(duì)比分牌區(qū)域的比分牌圖像進(jìn)行二值化處理，以獲取二值化區(qū)域；在二值化區(qū)域中進(jìn)行文字特征篩選處理來(lái)得到文字區(qū)域。進(jìn)一步地，基于第二過(guò)濾條件對(duì)所有的文字區(qū)域進(jìn)行篩選和匹配，以獲取比分牌區(qū)域的比分區(qū)域包括根據(jù)時(shí)間區(qū)域特征獲取文字區(qū)域中的時(shí)間區(qū)域，并刪除文字區(qū)域中的時(shí)間區(qū)域來(lái)獲取候選比分區(qū)域；根據(jù)比分區(qū)域的特征在比分區(qū)域模板中進(jìn)行篩選處理， 以得到與候選比分區(qū)域匹配的比分區(qū)域，其中，比分區(qū)域的特征包括比分區(qū)域特征和隊(duì)名區(qū)域特征。進(jìn)一步地，通過(guò)結(jié)合粗識(shí)別算法和精識(shí)別算法來(lái)識(shí)別比分區(qū)域以獲取比分?jǐn)?shù)字包括通過(guò)數(shù)字識(shí)別算法來(lái)識(shí)別比分區(qū)域，得到一個(gè)或多個(gè)粗比分?jǐn)?shù)字；統(tǒng)計(jì)預(yù)定時(shí)間內(nèi)的各個(gè)粗比分?jǐn)?shù)字的出現(xiàn)頻率，將出現(xiàn)頻率最高的數(shù)字作為比分?jǐn)?shù)字。進(jìn)一步地，在統(tǒng)計(jì)預(yù)定時(shí)間內(nèi)的各個(gè)粗比分?jǐn)?shù)字的出現(xiàn)頻率，將出現(xiàn)頻率最高的數(shù)字作為比分?jǐn)?shù)字之后，方法還包括當(dāng)比分?jǐn)?shù)字與上次識(shí)別到的比分?jǐn)?shù)字的差超過(guò)1時(shí)， 將預(yù)定時(shí)間內(nèi)的出現(xiàn)頻率次高的數(shù)字作為比分?jǐn)?shù)字，或者保持顯示上次識(shí)別到的比分?jǐn)?shù)字。進(jìn)一步地，通過(guò)二分跳動(dòng)解碼算法來(lái)處理視頻畫(huà)面，以獲取預(yù)定時(shí)刻的比分區(qū)域的比分?jǐn)?shù)字，該步驟包括步驟A，識(shí)別視頻畫(huà)面的起始位置的第一比分?jǐn)?shù)字和結(jié)束位置的第二比分?jǐn)?shù)字，在第一比分?jǐn)?shù)字與第二比分?jǐn)?shù)字不同的情況下，獲取第一有效視頻區(qū)間；步驟B，獲取第一有效視頻區(qū)間中間位置的第三比分?jǐn)?shù)字，在第三比分?jǐn)?shù)字與第一比分?jǐn)?shù)字或第二比分?jǐn)?shù)字不同時(shí)，獲取第二有效視頻區(qū)間；步驟C，根據(jù)第二有效視頻區(qū)間循環(huán)執(zhí)行步驟B，直至比分?jǐn)?shù)字不再發(fā)生變化時(shí)，識(shí)別該時(shí)刻所述比分區(qū)域的比分?jǐn)?shù)字。為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的另一方面，提供了一種視頻比分的檢測(cè)識(shí)別裝置，該視頻比分的檢測(cè)識(shí)別裝置包括比分牌位置檢測(cè)模塊，用于將獲取到的視頻畫(huà)面中的靜止區(qū)域和紋理豐富區(qū)域進(jìn)行合并處理以得到候選比分牌區(qū)域；比分牌區(qū)域定位模塊，用于基于第一過(guò)濾條件對(duì)候選比分牌區(qū)域進(jìn)行篩選以獲取視頻畫(huà)面上的比分牌區(qū)域；比分牌版面分解模塊，用于將比分牌區(qū)域的比分牌圖像進(jìn)行分解，以獲取所有的文字區(qū)域；比分區(qū)域定位模塊，用于基于第二過(guò)濾條件對(duì)所有的文字區(qū)域進(jìn)行篩選和匹配，以獲取比分牌區(qū)域的比分區(qū)域；比分識(shí)別單元，用于通過(guò)結(jié)合粗識(shí)別算法和精識(shí)別算法來(lái)識(shí)別比分區(qū)域以獲取比分?jǐn)?shù)字。進(jìn)一步地，裝置還包括靜止區(qū)域獲取模塊，用于采用跳幀方式在視頻畫(huà)面中均勻提取預(yù)定數(shù)目的幀圖像，獲取各個(gè)幀圖像之間的幀差，將獲取到的幀差進(jìn)行二值化處理以獲取幀差圖，并在幀差圖上進(jìn)行區(qū)域聚合運(yùn)算，以獲取靜止區(qū)域；以及紋理豐富區(qū)域獲取模塊，用于采用跳幀方式在視頻畫(huà)面中均勻提取預(yù)定數(shù)目的幀圖像，獲取幀圖像中每個(gè)像素的梯度絕對(duì)值，通過(guò)比較梯度絕對(duì)值和第一閾值來(lái)獲取梯度圖，并在梯度圖上進(jìn)行區(qū)域聚合運(yùn)算，以獲取紋理豐富區(qū)域。進(jìn)一步地，比分牌區(qū)域定位模塊包括計(jì)算處理模塊，用于計(jì)算候選比分牌區(qū)域在不同幀中的變化程度，當(dāng)變化程度在預(yù)定范圍內(nèi)時(shí)，將持續(xù)的幀數(shù)最大的候選比分牌區(qū)域作為視頻畫(huà)面上的比分牌區(qū)域。進(jìn)一步地，裝置還包括比分牌模板建立模塊，用于根據(jù)公式來(lái)獲取預(yù)定數(shù)目的幀圖像的比分牌模板，公式為T(mén)t (χ, y) = IV1 (χ, y) X (l_k) +It (χ, y) X k，其中，Tt (χ, y)表示t 幀時(shí)的模板像素，IV1(Xd)表示t-Ι幀時(shí)的模板像素，It(x，y)表示t幀時(shí)的圖像像素值，k 表示更新速度；檢測(cè)識(shí)別模塊，用于根據(jù)比分牌模板檢測(cè)任意圖像幀中的是否出現(xiàn)比分牌， 在出現(xiàn)比分牌時(shí)執(zhí)行識(shí)別比分牌。進(jìn)一步地，比分牌版面分解模塊包括二值化處理模塊，用于采用局部自適應(yīng)閾值二值化算法對(duì)比分牌區(qū)域的比分牌圖像進(jìn)行二值化處理，以獲取二值化區(qū)域；文字區(qū)域獲取模塊，用于在二值化區(qū)域中進(jìn)行文字特征篩選處理來(lái)得到文字區(qū)域。進(jìn)一步地，比分區(qū)域定位模塊包括過(guò)濾模塊，用于根據(jù)時(shí)間區(qū)域特征獲取文字區(qū)域中的時(shí)間區(qū)域，并刪除文字區(qū)域中的時(shí)間區(qū)域來(lái)獲取候選比分區(qū)域；匹配模塊，用于根據(jù)比分區(qū)域的特征在比分區(qū)域模板中進(jìn)行篩選處理，以得到與候選比分區(qū)域匹配的比分區(qū)域，其中，比分區(qū)域的特征包括比分區(qū)域特征和隊(duì)名區(qū)域特征。進(jìn)一步地，比分識(shí)別單元包括粗識(shí)別模塊，用于通過(guò)數(shù)字識(shí)別算法來(lái)識(shí)別比分區(qū)域，得到一個(gè)或多個(gè)粗比分?jǐn)?shù)字；精識(shí)別模塊，用于統(tǒng)計(jì)預(yù)定時(shí)間內(nèi)的各個(gè)粗比分?jǐn)?shù)字的出現(xiàn)頻率，將出現(xiàn)頻率最高的數(shù)字作為比分?jǐn)?shù)字，且當(dāng)比分?jǐn)?shù)字與上次識(shí)別到的比分?jǐn)?shù)字的差超過(guò)1時(shí)，將預(yù)定時(shí)間內(nèi)的出現(xiàn)頻率次高的數(shù)字作為比分?jǐn)?shù)字，或者保持顯示上次識(shí)別到的比分?jǐn)?shù)字。進(jìn)一步地，裝置還包括識(shí)別加速處理模塊，包括第一處理模塊，用于識(shí)別視頻畫(huà)面的起始位置的第一比分?jǐn)?shù)字和結(jié)束位置的第二比分?jǐn)?shù)字，在第一比分?jǐn)?shù)字與第二比分?jǐn)?shù)字不同的情況下，獲取第一有效視頻區(qū)間；第二處理模塊，用于獲取第一有效視頻區(qū)間中間位置的第三比分?jǐn)?shù)字，在第三比分?jǐn)?shù)字與第一比分?jǐn)?shù)字或第二比分?jǐn)?shù)字不同時(shí)，獲取第二有效視頻區(qū)間；第三處理模塊，根據(jù)第二有效視頻區(qū)間循環(huán)執(zhí)行第二處理模塊，直至比分?jǐn)?shù)字不再發(fā)生變化時(shí)，識(shí)別該時(shí)刻所述比分區(qū)域的比分?jǐn)?shù)字。通過(guò)本發(fā)明，采用將視頻畫(huà)面中的靜止區(qū)域和紋理豐富區(qū)域進(jìn)行合并處理以得到候選比分牌區(qū)域；基于第一過(guò)濾條件對(duì)候選比分牌區(qū)域進(jìn)行篩選以獲取視頻畫(huà)面上的比分牌區(qū)域；將比分牌區(qū)域的比分牌圖像進(jìn)行分解，以獲取比分牌圖像中的文字區(qū)域；基于第二過(guò)濾條件對(duì)文字區(qū)域進(jìn)行篩選和匹配，以獲取比分牌區(qū)域的比分區(qū)域；識(shí)別比分區(qū)域以獲取比分?jǐn)?shù)字，解決了相關(guān)現(xiàn)有技術(shù)中足球視頻比分的檢測(cè)和識(shí)別準(zhǔn)確率低且效率低的問(wèn)題，進(jìn)而實(shí)現(xiàn)提高檢測(cè)和識(shí)別足球視頻比分的準(zhǔn)確率、效率以及自適應(yīng)性，從而達(dá)到協(xié)助視頻編輯人員快速編目足球視頻，大大地減輕視頻編目人員的工作量的效果。


此處所說(shuō)明的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本發(fā)明的示意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中圖1是根據(jù)本發(fā)明實(shí)施例的視頻比分的檢測(cè)識(shí)別裝置的結(jié)構(gòu)示意圖；圖2是根據(jù)圖1所示實(shí)施例的比分區(qū)域和隊(duì)名區(qū)域的分布規(guī)律的模板示意圖；圖3是根據(jù)本發(fā)明實(shí)施例的視頻比分的檢測(cè)識(shí)別方法的流程圖；圖4是根據(jù)圖3所示實(shí)施例中比分牌檢測(cè)方法的流程示意圖；圖5是根據(jù)圖3所示實(shí)施例中比分區(qū)域檢測(cè)方法的流程示意圖。
具體實(shí)施例方式需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。下面將參考附圖并結(jié)合實(shí)施例來(lái)詳細(xì)說(shuō)明本發(fā)明。本申請(qǐng)中涉及到的廣播足球視頻由于自身的特性具有一定的應(yīng)用范圍，本發(fā)明利用先驗(yàn)知識(shí)來(lái)提高本發(fā)明的有益效果，已知的先驗(yàn)知識(shí)包括1)在一段體育視頻里，比分牌在視頻窗口中的位置和樣式一般不會(huì)變化；2)比分區(qū)域在比分牌上的位置不會(huì)變化，并且兩個(gè)比分的位置分布有一定規(guī)律；3)需要識(shí)別的比分只有零到九一共十個(gè)數(shù)字，雖然它們的字體顏色及大小在不同的視頻中會(huì)不同，但是它的字體一定是標(biāo)準(zhǔn)易于識(shí)別的字體， 顏色一定是和背景差別很大的，大小也在一定的范圍內(nèi)。4)足球比賽的比分從0比0開(kāi)始， 每次變化只增加1，并且變化頻率非常低。圖1是根據(jù)本發(fā)明實(shí)施例的視頻比分的檢測(cè)識(shí)別裝置的結(jié)構(gòu)示意圖。如圖1所示，該裝置包括比分牌檢測(cè)單元10，包括比分牌位置檢測(cè)模塊101，用于將獲取到的視頻畫(huà)面中的靜止區(qū)域和紋理豐富區(qū)域進(jìn)行合并處理以得到候選比分牌區(qū)域；比分牌區(qū)域定位模塊102，用于基于第一過(guò)濾條件對(duì)候選比分牌區(qū)域進(jìn)行篩選以獲取視頻畫(huà)面上的比分牌區(qū)域；比分區(qū)域檢測(cè)單元30，包括比分牌版面分解模塊301，用于將比分牌區(qū)域的比分牌圖像進(jìn)行分解，以獲取所有的文字區(qū)域；比分區(qū)域定位模塊303，用于基于第二過(guò)濾條件對(duì)所有的文字區(qū)域進(jìn)行篩選和匹配，以獲取比分牌區(qū)域的比分區(qū)域；比分識(shí)別單元50，用于通過(guò)結(jié)合粗識(shí)別算法和精識(shí)別算法來(lái)識(shí)別比分區(qū)域以獲取比分?jǐn)?shù)字。本申請(qǐng)上述實(shí)施例，先通過(guò)比分牌檢測(cè)單元10在視頻畫(huà)面上檢測(cè)比分牌，然后通過(guò)比分區(qū)域檢測(cè)單元30在比分牌上尋找比分區(qū)域，最后通過(guò)比分識(shí)別單元50讀取比分區(qū)域上的比分?jǐn)?shù)字。具體的，在比分牌檢測(cè)單元10進(jìn)行比分牌檢測(cè)時(shí)，利用了比分牌區(qū)域穩(wěn)定、紋理復(fù)雜的基本特點(diǎn)，通過(guò)幀差和紋理信息確定比分牌在視頻畫(huà)面中的位置。然后建立一個(gè)比分牌模板，根據(jù)比分牌模板，可以判斷當(dāng)前幀圖像中比分牌是否出現(xiàn)；在比分區(qū)域檢測(cè)單元30進(jìn)行比分區(qū)域檢測(cè)時(shí)，首先對(duì)比分牌做版面分析，版面分析采用局部自適應(yīng)閾值二值化算法，得到一些候選的文字區(qū)域。然后根據(jù)足球比分區(qū)域的特點(diǎn)對(duì)候選區(qū)域進(jìn)行篩選，找到配對(duì)出現(xiàn)的比分區(qū)域；在比分識(shí)別單元50進(jìn)行比分識(shí)別的時(shí)候，先是采用神經(jīng)網(wǎng)絡(luò)數(shù)字識(shí)別算法識(shí)別比分，得到初步的識(shí)別結(jié)果。然后根據(jù)時(shí)間相關(guān)性和比分變化規(guī)律等信息，對(duì)識(shí)別的比分進(jìn)行糾正，得到精確的識(shí)別結(jié)果。由上可知，由于通過(guò)結(jié)合獲取到的足球視頻畫(huà)面中的靜止區(qū)域和紋理豐富區(qū)域來(lái)確定比分牌區(qū)域，并且比分牌區(qū)域定位模塊102進(jìn)行了過(guò)濾處理以及文字和數(shù)字的區(qū)分處理，使得檢測(cè)和識(shí)別都有很高的準(zhǔn)確率，而且由于僅對(duì)比分區(qū)域進(jìn)行檢測(cè)和識(shí)別，因此，在實(shí)現(xiàn)對(duì)于低分辨率和低畫(huà)質(zhì)的視頻也有很好的處理結(jié)果的同時(shí)，可以實(shí)現(xiàn)不需要解碼整個(gè)視頻，從而實(shí)現(xiàn)自動(dòng)、快速準(zhǔn)確地分析足球視頻，并快速準(zhǔn)確地檢測(cè)并識(shí)別足球視頻比分牌上的比分變化情況。解決了相關(guān)現(xiàn)有技術(shù)的檢測(cè)和識(shí)別足球視頻比分的準(zhǔn)確率低、效率低， 且過(guò)程消耗資源較大，浪費(fèi)人力的問(wèn)題，進(jìn)而實(shí)現(xiàn)提高檢測(cè)和識(shí)別足球視頻比分的準(zhǔn)確率、 效率以及自適應(yīng)性，進(jìn)一步達(dá)到協(xié)助視頻編輯人員快速編目足球視頻，大大地減輕視頻編目人員的工作量的效果。優(yōu)選地，本申請(qǐng)實(shí)施例中的比分牌檢測(cè)單元10還可以包括靜止區(qū)域獲取模塊 103，用于采用跳幀方式在視頻畫(huà)面中均勻提取預(yù)定數(shù)目的幀圖像，獲取各個(gè)幀圖像之間的幀差，將獲取到的幀差進(jìn)行二值化處理以獲取幀差圖，并在幀差圖上進(jìn)行區(qū)域聚合運(yùn)算，以獲取靜止區(qū)域；以及紋理豐富區(qū)域獲取模塊104，用于采用跳幀方式在視頻畫(huà)面中均勻提取預(yù)定數(shù)目的幀圖像，獲取幀圖像中每個(gè)像素的梯度絕對(duì)值，通過(guò)比較梯度絕對(duì)值和第一閾值來(lái)獲取梯度圖，并在梯度圖上進(jìn)行區(qū)域聚合運(yùn)算，以獲取紋理豐富區(qū)域。具體地，本領(lǐng)域技術(shù)人員可知，絕大多數(shù)的足球視頻都有比分牌的出現(xiàn)，比分牌上面記錄了兩隊(duì)的比分變化情況，實(shí)時(shí)顯示給觀(guān)眾看。比分牌是足球比賽時(shí)人工疊加到視頻畫(huà)面上的，它的出現(xiàn)方式類(lèi)似于廣播視頻節(jié)目上人工實(shí)時(shí)疊加的文字。比分牌一般都出現(xiàn)在視頻畫(huà)面的左上角或右上角區(qū)域，占用區(qū)域較小，但上面的文字信息特別是比分信息足夠人眼識(shí)別。整個(gè)比分牌區(qū)域上面的紋理信息很豐富，這個(gè)特點(diǎn)和字幕文字很相似，可以把比分牌當(dāng)成一種特殊的文字來(lái)看待。另一方面，對(duì)于同一場(chǎng)比賽，比分牌的大小、樣式、出現(xiàn)的位置都是固定不變的，在大部分時(shí)間內(nèi)，比分牌會(huì)出現(xiàn)在畫(huà)面上，一般在回放、慢鏡頭、廣告等視頻片段，比分牌會(huì)暫時(shí)消失。根據(jù)比分牌的上述特點(diǎn)，本申請(qǐng)利用區(qū)域靜止和紋理復(fù)雜這兩個(gè)信息來(lái)定位比分牌，通過(guò)靜止區(qū)域獲取模塊103來(lái)計(jì)算視頻圖像的幀差，可以得到在視頻中靜止的區(qū)域；通過(guò)紋理豐富區(qū)域獲取模塊104來(lái)計(jì)算紋理，并得到靜止區(qū)域內(nèi)的紋理密度。將紋理密度低的區(qū)域刪除，得到候選的比分牌區(qū)域，然后進(jìn)一步篩選出比分牌區(qū)域。因?yàn)楸确峙频奈恢霉潭?，定位比分牌以后，建立一個(gè)比分牌像素顏色的模板，并實(shí)時(shí)更新它，通過(guò)模板可以快速判斷每一幀是否有比分牌出現(xiàn)。如圖1所示，本申請(qǐng)上述實(shí)施例中的比分牌區(qū)域定位模塊102可以包括計(jì)算處理模塊，用于計(jì)算候選比分牌區(qū)域在不同幀中的變化程度，當(dāng)變化程度在預(yù)定范圍內(nèi)時(shí)，將持續(xù)的幀數(shù)最大的候選比分牌區(qū)域作為視頻畫(huà)面上的比分牌區(qū)域。具體的，在上述實(shí)施例中，本發(fā)明可以采用啟發(fā)式規(guī)則來(lái)選擇最優(yōu)的區(qū)域作為檢測(cè)結(jié)果。首先根據(jù)一些規(guī)則來(lái)排除大部分噪聲區(qū)域，采用的規(guī)則有1，區(qū)域的大小必須在一定范圍內(nèi)，不能太大，也不能太小；2，區(qū)域的位置不能出現(xiàn)在圖像的中心位置附近；3，區(qū)域的形狀大致是矩形，矩形的可以是橫著的長(zhǎng)條，但不能是豎直的長(zhǎng)條。通過(guò)這些規(guī)則，可以排除大部分噪聲區(qū)域。剩下的區(qū)域利用時(shí)域的信息來(lái)尋找最優(yōu)，尋找的方法為利用計(jì)算處理模塊來(lái)實(shí)現(xiàn)，通過(guò)用于計(jì)算幀差的20幀圖像來(lái)計(jì)算每個(gè)候選區(qū)域的穩(wěn)定性(該區(qū)域在不同幀中的大小變化程度)，然后計(jì)算其持續(xù)性(該區(qū)域在滿(mǎn)足一定穩(wěn)定性要求的情況下持續(xù)的幀數(shù))，按照持續(xù)性對(duì)候選區(qū)域排隊(duì)，持續(xù)時(shí)間最長(zhǎng)的區(qū)域就是比分區(qū)域。比分牌區(qū)域的范圍可以采用20幀中出現(xiàn)的所有比分牌的邊界的均值來(lái)定位。優(yōu)選地，上述比分牌區(qū)域定位模塊102可以包括比分牌模板建立模塊，用于根據(jù)公式來(lái)獲取預(yù)定數(shù)目的幀圖像的比分牌模板，公式為T(mén)t(x，y) = V1 (χ, y) X (l_k)+It(x， y) X k，其中，Tt (x，y)表示t幀時(shí)的模板像素，k表示更新速度；檢測(cè)識(shí)別模塊，用于根據(jù)比分牌模板檢測(cè)任意圖像幀中的是否出現(xiàn)比分牌，在出現(xiàn)比分牌時(shí)執(zhí)行識(shí)別比分牌，并根據(jù)該公式更新比分牌模板。該實(shí)施例中，技術(shù)人員可知在一個(gè)足球視頻中，有的時(shí)候比分牌會(huì)暫時(shí)性的消失，比如慢鏡頭回放、解說(shuō)員鏡頭和廣告等，為了提高比分牌檢測(cè)的魯棒性，本比分牌區(qū)域定位模塊102建立了一個(gè)比分牌像素的模版，并實(shí)時(shí)更新它。通過(guò)前面的方法，定位了比分牌以后，采用20幀中持續(xù)有比分牌的幀中比分牌的像素的均值來(lái)建立模板，如等式Tt (x, y) =IV1 (χ, y) X (1-k) +It (χ, y) X k 所示，其中，Tt (χ, y)表示 t 幀時(shí)的模版像素，Tt^1 (x, y)表示t-Ι幀時(shí)的模板像素，It (x，y)表示t幀時(shí)的圖像像素值，k表示更新速度，這里采用經(jīng)驗(yàn)值0. 05。在后面的比分識(shí)別過(guò)程中，先根據(jù)模版比較來(lái)判斷該幀中是否有比分牌出現(xiàn)，如果沒(méi)有就跳過(guò)，如果有，進(jìn)行比分識(shí)別，并用該幀的比分牌像素更新比分牌模板。如圖1所示的裝置，該裝置中的比分牌版面分解模塊301可以包括二值化處理模塊，用于采用局部自適應(yīng)閾值二值化算法對(duì)比分牌區(qū)域的比分牌圖像進(jìn)行二值化處理，以獲取二值化區(qū)域；文字區(qū)域獲取模塊，用于在二值化區(qū)域中進(jìn)行文字特征篩選處理來(lái)得到文字區(qū)域。具體地，本領(lǐng)域技術(shù)人員可知，在足球視頻當(dāng)中，對(duì)于不同的視頻，比分牌的樣式和排版各不相同，但顯示的基本信息都比較一致，比分牌上面的信息一般包含兩個(gè)球隊(duì)的名稱(chēng)、兩個(gè)球隊(duì)的比分、比賽計(jì)時(shí)時(shí)間、其他文字信息等。比分牌的版面主要有以下幾個(gè)特點(diǎn)1)不同的視頻可能會(huì)有不同的排版，同一個(gè)比賽視頻，排版始終保持不變。2)對(duì)于兩個(gè)球隊(duì)的名稱(chēng)和時(shí)間這些信息，排版方式只有幾種情況，符合一定的規(guī)律?；梦淖趾蛿?shù)字的分辨率可能會(huì)比較低，但和背景顏色的對(duì)比度都比較大，很容易區(qū)分。根據(jù)比分牌的版面特點(diǎn)，算法在通過(guò)比分區(qū)域檢測(cè)單元30檢測(cè)比分區(qū)域的時(shí)候， 先通過(guò)比分牌版面分解模塊301對(duì)比分牌進(jìn)行版面分解，用于檢測(cè)到所有的文字區(qū)域，然后通過(guò)比分區(qū)域定位模塊303實(shí)現(xiàn)根據(jù)比分區(qū)域的分布規(guī)律確定比分區(qū)域。具體的，可以首先采用局部自適應(yīng)閾值對(duì)比分牌圖像進(jìn)行二值化處理，得到二值化區(qū)域，然后在這些區(qū)域中篩選出文字區(qū)域，對(duì)每個(gè)文字區(qū)域提取顏色和形狀特征，最后根據(jù)比分區(qū)域的特點(diǎn)進(jìn)行匹配，找到比分區(qū)域。由于比分牌上的文字和背景的對(duì)比度比較大，所以通過(guò)二值化算法可以將文字像素和背景像素區(qū)分出來(lái)。又因?yàn)椴煌淖謪^(qū)域的前景背景顏色不相同，所以采用基于局部自適應(yīng)閾值的方法可以很好地處理不同的文字區(qū)域。具體的局部自適應(yīng)閾值二值化算法流程如下。先定義一個(gè)滑動(dòng)窗口，窗口采用n*n的正方形，邊長(zhǎng)η采用比分牌區(qū)域長(zhǎng)邊的1/8，滑動(dòng)步長(zhǎng)為η/2。在滑動(dòng)窗口內(nèi)，閾值使用 ostu閾值法來(lái)確定，這樣每一個(gè)滑動(dòng)窗口的位置都會(huì)計(jì)算出一個(gè)局部閾值。由于滑動(dòng)窗口的滑動(dòng)步長(zhǎng)為滑動(dòng)窗口寬度的一半，所以比分牌圖像上每一個(gè)像素點(diǎn)都會(huì)得到4個(gè)局部閾值，采用這4個(gè)閾值的均值作為該像素的閾值。二值化后的圖像上形成了很多區(qū)域，包括白色區(qū)域和黑色區(qū)域，這些區(qū)域有的是文字區(qū)域，有的是背景區(qū)域，根據(jù)文字的特點(diǎn)可以將文字區(qū)域篩選出來(lái)。利用的文字特點(diǎn)有1)文字區(qū)域與圖像邊界不相連。2)文字區(qū)域的高度在一定范圍內(nèi)?；猛粋€(gè)比分牌上所有的文字高度差別不大。因此篩選文字區(qū)域的過(guò)程為1)去除和圖像邊界粘連的區(qū)域。 2)去除高度過(guò)小或過(guò)大的區(qū)域。3)去除寬度過(guò)大的區(qū)域。4)將剩余區(qū)域的高度去掉一個(gè)最大值和一個(gè)最小值后，取平均值作為參考文字高度。幻與參考文字高度比較，去掉差別較大的區(qū)域。篩選后剩余的區(qū)域就是文字區(qū)域。優(yōu)選地，上述實(shí)施例中的比分區(qū)域定位模塊303可以包括過(guò)濾模塊，用于根據(jù)時(shí)間區(qū)域特征獲取文字區(qū)域中的時(shí)間區(qū)域，并刪除文字區(qū)域中的時(shí)間區(qū)域來(lái)獲取候選比分區(qū)域；匹配模塊，用于根據(jù)比分區(qū)域的特征在比分區(qū)域模板中進(jìn)行篩選處理，以得到與候選比分區(qū)域匹配的比分區(qū)域，其中，比分區(qū)域的特征包括比分區(qū)域特征和隊(duì)名區(qū)域特征。對(duì)于每一個(gè)文字區(qū)域，提取顏色和形狀特征，提取的特征包括1)文字前景顏色； 2)文字背景顏色；幻文字的高度；4)文字的邊界。在匹配模塊進(jìn)行比分區(qū)域匹配前，可以先通過(guò)過(guò)濾模塊按照時(shí)間變化規(guī)律刪除掉時(shí)間區(qū)域。足球視頻的比分變化頻率很低，比賽隊(duì)名不會(huì)變化，只有時(shí)間區(qū)域會(huì)在每一秒都進(jìn)行更新。通過(guò)時(shí)間變化規(guī)律，可以快速找到時(shí)間區(qū)域的“秒”的個(gè)位數(shù)字的位置。進(jìn)而根據(jù)位置關(guān)系、顏色和形狀特征可以確定整個(gè)時(shí)間區(qū)域。去除掉時(shí)間區(qū)域，可以大大減少比分區(qū)域匹配錯(cuò)誤的概率。圖2是根據(jù)圖1所示實(shí)施例的比分區(qū)域和隊(duì)名區(qū)域的分布規(guī)律的模板示意圖。足球視頻圖像上的比分區(qū)域和隊(duì)名區(qū)域的分布有一定的規(guī)律，可以根據(jù)這個(gè)規(guī)律建立如圖2 所示的模板，隊(duì)名A和隊(duì)名B為一對(duì)，他們具有相同的顏色特征，在形狀特征上也滿(mǎn)足文字高度一致，中心位置水平或垂直方向上一致，文字的水平邊界或垂直邊界一致。比分A和比分B為一對(duì)，配對(duì)特征和隊(duì)名的方式一樣。另外隊(duì)名區(qū)域的寬度一般在兩個(gè)字符到四個(gè)字符之間，比分區(qū)域的寬度為一個(gè)數(shù)字字符的寬度。根據(jù)這幾個(gè)模板，對(duì)文字區(qū)域進(jìn)行組合匹配，如果滿(mǎn)足其中一個(gè)模板的分布特點(diǎn)， 根據(jù)這個(gè)模板就可以確定兩個(gè)比分區(qū)域的位置。如圖1所示，本發(fā)明實(shí)施例中的比分識(shí)別單元50可以包括粗識(shí)別模塊501，用于通過(guò)數(shù)字識(shí)別算法來(lái)識(shí)別比分區(qū)域，得到一個(gè)或多個(gè)粗比分?jǐn)?shù)字；精識(shí)別模塊502，用于統(tǒng)計(jì)預(yù)定時(shí)間內(nèi)的各個(gè)粗比分?jǐn)?shù)字的出現(xiàn)頻率，將出現(xiàn)頻率最高的數(shù)字作為比分?jǐn)?shù)字，且當(dāng)比分?jǐn)?shù)字與上次識(shí)別到的比分?jǐn)?shù)字的差超過(guò)1時(shí)，將預(yù)定時(shí)間內(nèi)的出現(xiàn)頻率次高的數(shù)字作為比分?jǐn)?shù)字，或者保持顯示上次識(shí)別到的比分?jǐn)?shù)字。優(yōu)選地，本實(shí)施例裝置還可以包括識(shí)別加速處理模塊70，包括第一處理模塊， 用于識(shí)別視頻畫(huà)面的起始位置的第一比分?jǐn)?shù)字和結(jié)束位置的第二比分?jǐn)?shù)字，在第一比分?jǐn)?shù)字與第二比分?jǐn)?shù)字不同的情況下，獲取第一有效視頻區(qū)間；第二處理模塊，用于獲取第一有效視頻區(qū)間中間位置的第三比分?jǐn)?shù)字，在第三比分?jǐn)?shù)字與第一比分?jǐn)?shù)字或第二比分?jǐn)?shù)字不同時(shí)，獲取第二有效視頻區(qū)間；第三處理模塊，根據(jù)第二有效視頻區(qū)間循環(huán)執(zhí)行第二處理模塊，直至比分?jǐn)?shù)字不再發(fā)生變化時(shí)，識(shí)別該時(shí)刻比分區(qū)域的比分?jǐn)?shù)字。該實(shí)施例中，通過(guò)識(shí)別加速處理模塊70來(lái)解決單純使用數(shù)字識(shí)別算法識(shí)別數(shù)字會(huì)發(fā)生識(shí)別錯(cuò)誤的缺陷，達(dá)到了優(yōu)化識(shí)別結(jié)果的效果。具體的，本領(lǐng)域技術(shù)人員可知，足球視頻的比分變化頻率很低，每一次比分變化到下一次變化，都會(huì)持續(xù)至少一分鐘時(shí)間，因此可以利用時(shí)間相關(guān)性信息來(lái)糾正一些識(shí)別錯(cuò)誤的幀。統(tǒng)計(jì)連續(xù)許多幀的粗識(shí)別結(jié)果，找出識(shí)別的次數(shù)最多的數(shù)字作為最后的識(shí)別結(jié)果， 這樣就可以排除掉單個(gè)錯(cuò)誤，大大提高識(shí)別結(jié)果。另外，比分的變化只能增加，不會(huì)減少，并且每次增加的值只能為1。如果比分一次增加超過(guò)1或者減少，說(shuō)明比分識(shí)別結(jié)果出了問(wèn)題，需要糾正。糾正的方法是采用識(shí)別次數(shù)第二多的數(shù)字作為識(shí)別結(jié)果。如果這個(gè)數(shù)字仍然不滿(mǎn)足比分變化規(guī)律，那么保持比分不變。由于足球視頻中，比分變化的頻率非常低，整場(chǎng)比賽的變化次數(shù)極少能超過(guò)10 次，一般都在O至5次之間，因此沒(méi)必要對(duì)每一幀都進(jìn)行檢測(cè)識(shí)別。如果只對(duì)必要的幀進(jìn)行解碼識(shí)別，會(huì)大大減少視頻處理的時(shí)間。對(duì)于批量處理大規(guī)模視頻數(shù)據(jù)和實(shí)時(shí)性要求較高的應(yīng)用情況，算法的時(shí)間效率非常重要。本發(fā)明實(shí)施例中，識(shí)別加速處理模塊70通過(guò)識(shí)別加速算法，即二份跳動(dòng)解碼加速算法來(lái)防止識(shí)別結(jié)果出錯(cuò)，二分跳動(dòng)解碼的方法可以加速視頻處理的過(guò)程。具體算法的流程如下步驟1，分別在視頻的起始位置和結(jié)束位置進(jìn)行比分識(shí)別，如果兩個(gè)位置的比分相同，則直接結(jié)束算法；反之，生成第一個(gè)“有效視頻區(qū)間”，起始點(diǎn)為視頻起始點(diǎn)，終止點(diǎn)為視頻終止點(diǎn)，將此區(qū)間壓入堆棧。步驟2，從堆棧中取出一個(gè)有效視頻區(qū)間，在時(shí)間中點(diǎn)位置解碼并識(shí)別該位置的比分。從中點(diǎn)位置將該有效視頻區(qū)間切成兩個(gè)新的有效視頻區(qū)間。步驟3，對(duì)于每個(gè)新的有效視頻區(qū)間，如果起始點(diǎn)位置比分與結(jié)束點(diǎn)位置比分相同，則丟掉該區(qū)間；如果該區(qū)間長(zhǎng)度小于MinLen分鐘(例如取3分鐘)，則直接解碼整段視頻并識(shí)別比分；如果都不是，則將此區(qū)間壓入堆棧。步驟4，如果堆棧中的有效視頻區(qū)間數(shù)目為0，結(jié)束算法；反之，返回到步驟2。通過(guò)二分跳動(dòng)解碼來(lái)處理足球視頻，解碼時(shí)間一般都是解碼整個(gè)視頻所要時(shí)間的幾分之一，具體節(jié)省的時(shí)間取決于視頻的比分變化情況。圖3是根據(jù)本發(fā)明實(shí)施例的視頻比分的檢測(cè)識(shí)別方法的流程圖。如圖3所示該方法包括如下步驟步驟S10，通過(guò)圖1中比分牌檢測(cè)單元10的比分牌位置檢測(cè)模塊101來(lái)實(shí)現(xiàn)，將視頻畫(huà)面中的靜止區(qū)域和紋理豐富區(qū)域進(jìn)行合并處理以得到候選比分牌區(qū)域。步驟S30，通過(guò)圖1中比分牌檢測(cè)單元10的比分牌區(qū)域定位模塊102來(lái)實(shí)現(xiàn)，基于第一過(guò)濾條件對(duì)候選比分牌區(qū)域進(jìn)行篩選以獲取視頻畫(huà)面上的比分牌區(qū)域。步驟S50，通過(guò)圖1中比分區(qū)域檢測(cè)單元30的比分牌版面分解模塊301將比分牌區(qū)域的比分牌圖像進(jìn)行分解，以獲取所有的文字區(qū)域。步驟S70，通過(guò)圖1中比分區(qū)域檢測(cè)單元30的比分區(qū)域定位模塊303來(lái)實(shí)現(xiàn)，基于第二過(guò)濾條件對(duì)所有的文字區(qū)域進(jìn)行篩選和匹配，以獲取比分牌區(qū)域的比分區(qū)域。
步驟S90，通過(guò)圖1中的比分識(shí)別單元50實(shí)現(xiàn)通過(guò)結(jié)合粗識(shí)別算法和精識(shí)別算法來(lái)識(shí)別比分區(qū)域以獲取比分?jǐn)?shù)字。本申請(qǐng)上述實(shí)施例，先通過(guò)比分牌檢測(cè)單元10在視頻畫(huà)面上檢測(cè)比分牌，然后通過(guò)比分區(qū)域檢測(cè)單元30在比分牌上尋找比分區(qū)域，最后通過(guò)比分識(shí)別單元50讀取比分區(qū)域上的比分?jǐn)?shù)字。具體的，在比分牌檢測(cè)單元10進(jìn)行比分牌檢測(cè)時(shí)，利用了比分牌區(qū)域穩(wěn)定、紋理復(fù)雜的基本特點(diǎn)，通過(guò)幀差和紋理信息確定比分牌在視頻畫(huà)面中的位置。然后建立一個(gè)比分牌模板，根據(jù)比分牌模板，可以判斷當(dāng)前幀圖像中比分牌是否出現(xiàn)；在比分區(qū)域檢測(cè)單元30進(jìn)行比分區(qū)域檢測(cè)時(shí)，首先對(duì)比分牌做版面分析，版面分析采用局部自適應(yīng)閾值二值化算法，得到一些候選的文字區(qū)域。然后根據(jù)足球比分區(qū)域的特點(diǎn)對(duì)候選區(qū)域進(jìn)行篩選，找到配對(duì)出現(xiàn)的比分區(qū)域；在比分識(shí)別單元50進(jìn)行比分識(shí)別的時(shí)候，先是采用神經(jīng)網(wǎng)絡(luò)數(shù)字識(shí)別算法識(shí)別比分，得到初步的識(shí)別結(jié)果。然后根據(jù)時(shí)間相關(guān)性和比分變化規(guī)律等信息，對(duì)識(shí)別的比分進(jìn)行糾正，得到精確的識(shí)別結(jié)果。由上可知，由于通過(guò)結(jié)合獲取到的足球視頻畫(huà)面中的靜止區(qū)域和紋理豐富區(qū)域來(lái)確定比分牌區(qū)域，并進(jìn)行了過(guò)濾處理以及文字和數(shù)字的區(qū)分處理，使得檢測(cè)和識(shí)別都有很高的準(zhǔn)確率，而且由于僅對(duì)比分區(qū)域進(jìn)行檢測(cè)和識(shí)別，因此，在實(shí)現(xiàn)對(duì)于低分辨率和低畫(huà)質(zhì)的視頻也有很好的處理結(jié)果的同時(shí)，可以實(shí)現(xiàn)不需要解碼整個(gè)視頻，從而實(shí)現(xiàn)自動(dòng)、快速準(zhǔn)確地分析足球視頻，并快速準(zhǔn)確地檢測(cè)并識(shí)別足球視頻比分牌上的比分變化情況。解決了相關(guān)現(xiàn)有技術(shù)的檢測(cè)和識(shí)別足球視頻比分的準(zhǔn)確率低、效率低，且過(guò)程消耗資源較大，浪費(fèi)人力的問(wèn)題，進(jìn)而實(shí)現(xiàn)提高檢測(cè)和識(shí)別足球視頻比分的準(zhǔn)確率、效率以及自適應(yīng)性，進(jìn)一步達(dá)到協(xié)助視頻編輯人員快速編目足球視頻，大大地減輕視頻編目人員的工作量的效果。圖4是根據(jù)圖3所示實(shí)施例中比分牌檢測(cè)方法的流程示意圖。如圖3和圖4所示， 本發(fā)明上述實(shí)施例中，在步驟SlO將視頻畫(huà)面中的靜止區(qū)域和紋理豐富區(qū)域進(jìn)行合并處理來(lái)獲取候選比分牌區(qū)域之前，還可以包括步驟SlOl 采用跳幀方式在視頻畫(huà)面中均勻提取預(yù)定數(shù)目的幀圖像；獲取各個(gè)幀圖像之間的幀差，并將獲取到的幀差進(jìn)行二值化處理以獲取幀差圖；在幀差圖上進(jìn)行區(qū)域聚合運(yùn)算，以獲取靜止區(qū)域。具體地，本申請(qǐng)實(shí)施例通過(guò)計(jì)算幀差來(lái)尋找靜止固定的像素，進(jìn)而找到靜止區(qū)域。 對(duì)于一般足球視頻，根據(jù)視頻壓縮的方式不同，每秒鐘大概有M-30幀，如果每一幀都計(jì)算幀差，不但計(jì)算量大，而且效果不好，因?yàn)槌吮确峙埔酝獾谋尘安糠衷谶B續(xù)兩幀間的變化非常小，很難突出比分牌前景。該實(shí)施例中采用跳幀的方式在一個(gè)視頻中均勻取出20幀， 然后計(jì)算它們之間的幀差。幀差的計(jì)算是在灰度圖上進(jìn)行的，采用經(jīng)驗(yàn)閾值將結(jié)果二值化， 得到的幀差圖，幀差圖上亮的像素是候選像素，表示該像素的位置幀差值很小。然后在幀差圖上進(jìn)行區(qū)域聚合運(yùn)算，可以得到靜止區(qū)域。對(duì)于每一個(gè)像素，計(jì)算它的鄰域內(nèi)候選像素的密度，如果密度足夠大，則將該像素標(biāo)亮，否則將其標(biāo)暗。局域聚合運(yùn)算的結(jié)果是標(biāo)亮的像素會(huì)成片出現(xiàn)，形成很多區(qū)域，每個(gè)區(qū)域內(nèi)的候選像素密度都足夠大， 即為候選的靜止區(qū)域。本發(fā)明上述實(shí)施例中，如圖3和4所示，在步驟SlO將視頻畫(huà)面中的靜止區(qū)域和紋理豐富區(qū)域進(jìn)行合并處理來(lái)獲取候選比分牌區(qū)域之前，還可以包括步驟S102 采用跳幀方式在視頻畫(huà)面中均勻提取預(yù)定數(shù)目的幀圖像；計(jì)算并獲取幀圖像中每個(gè)像素的梯度絕對(duì)值；通過(guò)比較梯度絕對(duì)值和第一閾值來(lái)獲取梯度圖，其中，在梯度絕對(duì)值大于等于第一閾值的情況下，將梯度圖中的像素標(biāo)亮，否則將梯度圖中的像素標(biāo)暗；在梯度圖上進(jìn)行區(qū)域聚合運(yùn)算，以獲取紋理豐富區(qū)域。本申請(qǐng)實(shí)施例中，在找到靜止區(qū)域之后，還不足以定位比分牌，因?yàn)樵谧闱蛞曨l當(dāng)中，對(duì)于計(jì)算幀差的兩幀，有時(shí)候靜止的部分不僅是比分牌，還可能包括其他物體，特別是顏色單一的比較大的物體，如單一顏色的球場(chǎng)等。由于球場(chǎng)等物的紋理信息非常少，本申請(qǐng)利用紋理來(lái)把它和比分牌區(qū)別開(kāi)。圖像的紋理計(jì)算方法有很多種，包括簡(jiǎn)單的梯度到復(fù)雜的小波變換。為了保證整個(gè)算法的實(shí)時(shí)性，本發(fā)明上述實(shí)施例采用了比較簡(jiǎn)單的梯度特征。在計(jì)算紋理時(shí)采用計(jì)算幀差使用的20幀圖像，對(duì)每一個(gè)像素都計(jì)算出它的梯度絕對(duì)值，將這個(gè)值與一個(gè)經(jīng)驗(yàn)閾值進(jìn)行比較，如果大于均值，則將該像素標(biāo)亮，否則將該像素標(biāo)暗。通過(guò)這個(gè)計(jì)算，可以得到一個(gè)梯度圖，圖上亮的像素是候選像素，表示該像素的梯度足夠大。然后在梯度圖上進(jìn)行區(qū)域聚合運(yùn)算，可以得到紋理豐富區(qū)域。計(jì)算的方法與計(jì)算靜止區(qū)域的方法相同。對(duì)于每個(gè)紋理豐富區(qū)域，區(qū)域內(nèi)都含有豐富的紋理信息。最后在步驟SlO中將靜止區(qū)域與紋理豐富區(qū)域進(jìn)行合并，采用與運(yùn)算，得到候選比分牌區(qū)域。候選比分牌區(qū)域既具有靜止特點(diǎn)，又具有紋理信息豐富的特點(diǎn)。優(yōu)選地，本發(fā)明實(shí)施例中的第一過(guò)濾條件可以包括候選比分牌區(qū)域的大小、位置、 形狀和時(shí)域信息，上述實(shí)施例的步驟S50 基于第一過(guò)濾條件對(duì)候選比分牌區(qū)域進(jìn)行篩選以獲取視頻畫(huà)面上的比分牌區(qū)域可以包括計(jì)算候選比分牌區(qū)域在不同幀中的變化程度， 當(dāng)變化程度在預(yù)定范圍內(nèi)時(shí)，將持續(xù)的幀數(shù)最大的候選比分牌區(qū)域作為視頻畫(huà)面上的比分牌區(qū)域。該實(shí)施例進(jìn)一步的，采用啟發(fā)式規(guī)則來(lái)選擇最優(yōu)的區(qū)域作為檢測(cè)結(jié)果。首先根據(jù)一些規(guī)則來(lái)排除大部分噪聲區(qū)域，采用的規(guī)則有1，區(qū)域的大小必須在一定范圍內(nèi)，不能太大，也不能太??；2，區(qū)域的位置不能出現(xiàn)在圖像的中心位置附近；3，區(qū)域的形狀大致是矩形，矩形的可以是橫著的長(zhǎng)條，但不能是豎直的長(zhǎng)條。通過(guò)這些規(guī)則，可以排除大部分噪聲區(qū)域。剩下的區(qū)域利用時(shí)域的信息來(lái)尋找最優(yōu)，尋找的方法為根據(jù)用來(lái)計(jì)算幀差的20幀， 計(jì)算每個(gè)候選區(qū)域的穩(wěn)定性(該區(qū)域在不同幀中的大小變化程度)，然后計(jì)算其持續(xù)性(該區(qū)域在滿(mǎn)足一定穩(wěn)定性要求的情況下持續(xù)的幀數(shù))，按照持續(xù)性對(duì)候選區(qū)域排隊(duì)，持續(xù)時(shí)間最長(zhǎng)的區(qū)域就是比分區(qū)域。比分牌區(qū)域的范圍采用20幀中出現(xiàn)的所有比分牌的邊界的均值來(lái)定位。優(yōu)選地，在步驟SlO將視頻畫(huà)面中的靜止區(qū)域和紋理豐富區(qū)域進(jìn)行合并處理來(lái)獲取候選比分牌區(qū)域之后，方法還包括步驟S103，根據(jù)公式來(lái)獲取預(yù)定數(shù)目的幀圖像的比分牌模板，公式為T(mén)t(x，y) = Tm (χ, y) X (l_k)+It(x，y) Xk，其中，Tt (x，y)表示 t 幀時(shí)的模板像素，k表示更新速度；根據(jù)比分牌模板檢測(cè)任意圖像幀中的是否出現(xiàn)比分牌，在出現(xiàn)比分牌時(shí)執(zhí)行識(shí)別比分牌，并根據(jù)該公式更新比分牌模板。具體實(shí)施過(guò)程中，本領(lǐng)域技術(shù)人員可知，在一個(gè)足球視頻中，有的時(shí)候比分牌會(huì)暫時(shí)性的消失，比如慢鏡頭回放、解說(shuō)員鏡頭和廣告等，為了提高比分牌檢測(cè)的魯棒性，本算法建立了一個(gè)比分牌像素的模版，并實(shí)時(shí)更新它。通過(guò)前面的方法，定位了比分牌以后，采用20幀中持續(xù)有比分牌的幀中比分牌的像素的均值來(lái)建立模板，如等式Tt(x，y) = IV1(^y) X (l_k)+It(X，y) X k所示，其中，Tt (x，y)表示t幀時(shí)的模版像素，Tt^1 (x, y)表示t-Ι幀時(shí)的模板像素，It(X，y)表示t幀時(shí)的圖像像素值，k表示更新速度，這里采用經(jīng)驗(yàn)值0.05。在后面的比分識(shí)別過(guò)程中，先根據(jù)模版比較來(lái)判斷該幀中是否有比分牌出現(xiàn)，如果沒(méi)有就跳過(guò)，如果有，進(jìn)行比分識(shí)別，并用該幀的比分牌像素更新比分牌模板。圖5是根據(jù)圖3所示實(shí)施例中比分區(qū)域檢測(cè)方法的流程示意圖。該實(shí)施例中，根據(jù)比分牌的版面特點(diǎn)，算法在檢測(cè)比分區(qū)域的時(shí)候，先對(duì)比分牌進(jìn)行版面分解，檢測(cè)到所有的文字區(qū)域，然后根據(jù)比分區(qū)域的分布規(guī)律確定比分區(qū)域。如圖3和5所示，步驟S50將比分牌區(qū)域的比分牌圖像進(jìn)行分解，以獲取所有的文字區(qū)域可以包括如下步驟步驟S501，采用局部自適應(yīng)閾值二值化算法對(duì)比分牌區(qū)域的比分牌圖像進(jìn)行二值化處理，以獲取二值化區(qū)域。由于比分牌上的文字和背景的對(duì)比度比較大，所以通過(guò)二值化算法可以將文字像素和背景像素區(qū)分出來(lái)。又因?yàn)椴煌淖謪^(qū)域的前景背景顏色不相同， 所以采用基于局部自適應(yīng)閾值的方法可以很好地處理不同的文字區(qū)域。步驟S502，在二值化區(qū)域中進(jìn)行文字特征篩選處理來(lái)得到文字區(qū)域。如圖3和5所示，第二過(guò)濾條件包括文字區(qū)域的時(shí)間區(qū)域特征、比分區(qū)域特征和隊(duì)名區(qū)域特征，步驟S70中基于第二過(guò)濾條件對(duì)所有的文字區(qū)域進(jìn)行篩選和匹配，以獲取比分牌區(qū)域的比分區(qū)域可以包括如下步驟步驟S503，根據(jù)比分區(qū)域的特征在比分區(qū)域模板中進(jìn)行篩選處理，以得到與候選比分區(qū)域匹配的比分區(qū)域，其中，比分區(qū)域的特征包括比分區(qū)域特征和隊(duì)名區(qū)域特征。該步驟中比分區(qū)域的特征由文字特征構(gòu)成，系統(tǒng)提取每一個(gè)文字區(qū)域的文字特征，文字特征包括位置關(guān)系；文字前景顏色；文字背景顏色；文字的高度；文字的邊界。該實(shí)施例中的比分區(qū)域模擬參照?qǐng)D2所示的實(shí)現(xiàn)方式。在步驟S503之前，還包括如下步驟根據(jù)時(shí)間區(qū)域特征獲取文字區(qū)域中的時(shí)間區(qū)域，并刪除文字區(qū)域中的時(shí)間區(qū)域來(lái)獲取候選比分區(qū)域?？梢岳蒙鲜鎏崛》绞綄?shí)現(xiàn)根據(jù)顏色和形狀特征來(lái)確定整個(gè)時(shí)間區(qū)域，并在文字區(qū)域中去除掉時(shí)間區(qū)域，可以大大減少比分區(qū)域匹配錯(cuò)誤的概率。綜上所述，圖5所示的實(shí)施例實(shí)現(xiàn)采用局部自適應(yīng)閾值對(duì)比分牌圖像進(jìn)行二值化處理，得到二值化區(qū)域，然后在這些區(qū)域中篩選出文字區(qū)域，對(duì)每個(gè)文字區(qū)域提取顏色和形狀特征，最后根據(jù)比分區(qū)域的特點(diǎn)進(jìn)行匹配，找到比分區(qū)域。如圖3所示的實(shí)施例中，步驟S90，通過(guò)結(jié)合粗識(shí)別算法和精識(shí)別算法來(lái)識(shí)別比分區(qū)域以獲取比分?jǐn)?shù)字可以包括如下步驟通過(guò)數(shù)字識(shí)別算法來(lái)識(shí)別比分區(qū)域，得到一個(gè)或多個(gè)粗比分?jǐn)?shù)字；統(tǒng)計(jì)預(yù)定時(shí)間內(nèi)的各個(gè)粗比分?jǐn)?shù)字的出現(xiàn)頻率，將出現(xiàn)頻率最高的數(shù)字作為比分?jǐn)?shù)字。該實(shí)施例通過(guò)統(tǒng)計(jì)連續(xù)許多幀的粗識(shí)別結(jié)果，找出識(shí)別的次數(shù)最多的數(shù)字作為最后的識(shí)別結(jié)果，這樣就可以排除掉單個(gè)錯(cuò)誤，大大提高識(shí)別結(jié)果。優(yōu)選地，在統(tǒng)計(jì)預(yù)定時(shí)間內(nèi)的各個(gè)粗比分?jǐn)?shù)字的出現(xiàn)頻率，將出現(xiàn)頻率最高的數(shù)字作為比分?jǐn)?shù)字之后，方法還可以包括當(dāng)比分?jǐn)?shù)字與上次識(shí)別到的比分?jǐn)?shù)字的差超過(guò)1 時(shí)，將預(yù)定時(shí)間內(nèi)的出現(xiàn)頻率次高的數(shù)字作為比分?jǐn)?shù)字，或者保持顯示上次識(shí)別到的比分?jǐn)?shù)字。由于足球比分的變化只能增加，不會(huì)減少，并且每次增加的值只能為1。因此，該實(shí)施例實(shí)現(xiàn)，如果比分一次增加超過(guò)1或者減少，將采用識(shí)別次數(shù)第二多的數(shù)字作為識(shí)別結(jié)果，以糾正錯(cuò)誤比分的出現(xiàn)，且如果這個(gè)數(shù)字仍然不滿(mǎn)足比分變化規(guī)律，那么保持比分不變。優(yōu)選地，本發(fā)明實(shí)施例可以通過(guò)二分跳動(dòng)解碼算法來(lái)處理視頻畫(huà)面，以獲取預(yù)定時(shí)刻的比分區(qū)域的比分?jǐn)?shù)字，該步驟包括步驟A，識(shí)別視頻畫(huà)面的起始位置的第一比分?jǐn)?shù)字和結(jié)束位置的第二比分?jǐn)?shù)字，在第一比分?jǐn)?shù)字與第二比分?jǐn)?shù)字不同的情況下，獲取第一有效視頻區(qū)間。具體地，該步驟實(shí)現(xiàn)分別在視頻的起始位置和結(jié)束位置進(jìn)行比分識(shí)別，如果兩個(gè)位置的比分相同，則直接結(jié)束算法；反之，生成第一個(gè)“有效視頻區(qū)間”，起始點(diǎn)為視頻起始點(diǎn)，終止點(diǎn)為視頻終止點(diǎn)，將此區(qū)間壓入堆棧。步驟B，獲取第一有效視頻區(qū)間中間位置的第三比分?jǐn)?shù)字，在第三比分?jǐn)?shù)字與第一比分?jǐn)?shù)字或第二比分?jǐn)?shù)字不同時(shí)，獲取第二有效視頻區(qū)間。具體地，該步驟實(shí)現(xiàn)從堆棧中取出一個(gè)有效視頻區(qū)間，在時(shí)間中點(diǎn)位置解碼并識(shí)別該位置的比分。從中點(diǎn)位置將該有效視頻區(qū)間切成兩個(gè)新的有效視頻區(qū)間，即獲取到了第二有效視頻區(qū)間。步驟C，根據(jù)第二有效視頻區(qū)間循環(huán)執(zhí)行步驟B，直至比分?jǐn)?shù)字不再發(fā)生變化時(shí)， 識(shí)別該時(shí)刻比分區(qū)域的比分?jǐn)?shù)字。具體地，該步驟實(shí)現(xiàn)對(duì)于每個(gè)新的有效視頻區(qū)間，如果起始點(diǎn)位置比分與結(jié)束點(diǎn)位置比分相同，則丟掉該區(qū)間；如果該區(qū)間長(zhǎng)度小于MinLen分鐘 (例如取3分鐘)，則直接解碼整段視頻并識(shí)別比分；如果都不是，則將此區(qū)間壓入堆棧。如果堆棧中的有效視頻區(qū)間數(shù)目為0，結(jié)束算法；反之，返回到步驟B。在進(jìn)行比分識(shí)別的時(shí)候，采用二分跳動(dòng)解碼算法來(lái)加速視頻的處理過(guò)程。足球視頻的比分變化頻率很低，沒(méi)有必要對(duì)整場(chǎng)比賽全程檢測(cè)比分變化情況，這里采用二分跳動(dòng)的方法來(lái)解碼視頻，可以大大減少需要解碼的視頻幀數(shù)量。針對(duì)批量處理大規(guī)模視頻數(shù)據(jù)和實(shí)時(shí)性要求較高的應(yīng)用情況，上述實(shí)施例算法提高了識(shí)別比分的時(shí)間效率。需要說(shuō)明的是，在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行，并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。從以上的描述中，可以看出，本發(fā)明實(shí)現(xiàn)了如下技術(shù)效果針對(duì)足球視頻專(zhuān)門(mén)設(shè)計(jì)算法，解決了足球視頻比分檢測(cè)和識(shí)別準(zhǔn)確率低、效率低，且過(guò)程消耗資源較大，浪費(fèi)人力的問(wèn)題，對(duì)于低分辨率和低畫(huà)質(zhì)的視頻也有很好的處理結(jié)果；有較強(qiáng)的魯棒性和適應(yīng)性，算法完全自動(dòng)處理足球視頻，可以適應(yīng)不同類(lèi)型的足球視頻，可以適應(yīng)不同分辨率和畫(huà)質(zhì)的視頻源，同時(shí)可以自適應(yīng)各種類(lèi)型的比分牌的樣式，并且不受比分牌偶爾消失等干擾的影響；采用二分跳動(dòng)解碼來(lái)加速視頻處理過(guò)程，可以快速分析視頻，不需要解碼整個(gè)視頻，具有很高的時(shí)間效率。顯然，本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述的本發(fā)明的各模塊或各步驟可以用通用的計(jì)算裝置來(lái)實(shí)現(xiàn)，它們可以集中在單個(gè)的計(jì)算裝置上，或者分布在多個(gè)計(jì)算裝置所組成的網(wǎng)絡(luò)上，可選地，它們可以用計(jì)算裝置可執(zhí)行的程序代碼來(lái)實(shí)現(xiàn)，從而，可以將它們存儲(chǔ)在存儲(chǔ)裝置中由計(jì)算裝置來(lái)執(zhí)行，或者將它們分別制作成各個(gè)集成電路模塊，或者將它們中的多個(gè)模塊或步驟制作成單個(gè)集成電路模塊來(lái)實(shí)現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種視頻比分的檢測(cè)識(shí)別方法，其特征在于，包括將視頻畫(huà)面中的靜止區(qū)域和紋理豐富區(qū)域進(jìn)行合并處理以得到候選比分牌區(qū)域； 基于第一過(guò)濾條件對(duì)所述候選比分牌區(qū)域進(jìn)行篩選以獲取所述視頻畫(huà)面上的比分牌區(qū)域；將所述比分牌區(qū)域的比分牌圖像進(jìn)行分解，以獲取所述比分牌圖像中的文字區(qū)域； 基于第二過(guò)濾條件對(duì)所述文字區(qū)域進(jìn)行篩選和匹配，以獲取所述比分牌區(qū)域的比分區(qū)域；通過(guò)結(jié)合粗識(shí)別算法和精識(shí)別算法來(lái)識(shí)別所述比分區(qū)域以獲取比分?jǐn)?shù)字。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，將視頻畫(huà)面中的靜止區(qū)域和紋理豐富區(qū)域進(jìn)行合并處理以得到候選比分牌區(qū)域之前，所述方法還包括采用跳幀方式在所述視頻畫(huà)面中均勻提取預(yù)定數(shù)目的幀圖像； 獲取各個(gè)所述幀圖像之間的幀差，并將獲取到的所述幀差進(jìn)行二值化處理以獲取幀差圖；在所述幀差圖上進(jìn)行區(qū)域聚合運(yùn)算，以獲取所述靜止區(qū)域。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，將視頻畫(huà)面中的靜止區(qū)域和紋理豐富區(qū)域進(jìn)行合并處理以得到候選比分牌區(qū)域之前，所述方法還包括采用跳幀方式在所述視頻畫(huà)面中均勻提取預(yù)定數(shù)目的幀圖像； 計(jì)算并獲取所述幀圖像中每個(gè)像素的梯度絕對(duì)值；通過(guò)比較所述梯度絕對(duì)值和第一閾值來(lái)獲取梯度圖，其中，在所述梯度絕對(duì)值大于等于所述第一閾值的情況下，將所述梯度圖中的像素標(biāo)亮，否則將所述梯度圖中的像素標(biāo)暗；在所述梯度圖上進(jìn)行區(qū)域聚合運(yùn)算，以獲取所述紋理豐富區(qū)域。
4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，其特征在于，基于第一過(guò)濾條件對(duì)所述候選比分牌區(qū)域進(jìn)行篩選以獲取所述視頻畫(huà)面上的比分牌區(qū)域包括計(jì)算所述候選比分牌區(qū)域在不同幀中的變化程度，當(dāng)所述變化程度在預(yù)定范圍內(nèi)時(shí)， 將持續(xù)的幀數(shù)最大的所述候選比分牌區(qū)域作為所述視頻畫(huà)面上的比分牌區(qū)域。
5.根據(jù)權(quán)利要求2或3述的方法，其特征在于，在將視頻畫(huà)面中的靜止區(qū)域和紋理豐富區(qū)域進(jìn)行合并處理來(lái)獲取候選比分牌區(qū)域之后，所述方法還包括根據(jù)以下公式來(lái)獲取所述預(yù)定數(shù)目的幀圖像的比分牌模板 Tt (x, y) = IV1 (χ, y) X (l_k) +It (χ, y) X k，其中，Tt (χ, y)表示t幀時(shí)的模板像素，Τη(χ，y)表示t_l幀時(shí)的模板像素，It (x, y) 表示t幀時(shí)的圖像像素值，k表示更新速度；根據(jù)所述比分牌模板檢測(cè)任意圖像幀中的是否出現(xiàn)比分牌，在出現(xiàn)所述比分牌時(shí)執(zhí)行識(shí)別所述比分牌，并根據(jù)該公式更新所述比分牌模板。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所述比分牌區(qū)域的比分牌圖像進(jìn)行分解，以獲取所有的文字區(qū)域包括采用局部自適應(yīng)閾值二值化算法對(duì)所述比分牌區(qū)域的比分牌圖像進(jìn)行二值化處理，以獲取二值化區(qū)域；在所述二值化區(qū)域中進(jìn)行文字特征篩選處理來(lái)得到文字區(qū)域。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，基于第二過(guò)濾條件對(duì)所述所有的文字區(qū)域進(jìn)行篩選和匹配，以獲取所述比分牌區(qū)域的比分區(qū)域包括根據(jù)所述時(shí)間區(qū)域特征獲取所述文字區(qū)域中的時(shí)間區(qū)域，并刪除所述文字區(qū)域中的時(shí)間區(qū)域來(lái)獲取候選比分區(qū)域；根據(jù)所述比分區(qū)域的特征在比分區(qū)域模板中進(jìn)行篩選處理，以得到與所述候選比分區(qū)域匹配的所述比分區(qū)域，其中，所述比分區(qū)域的特征包括所述比分區(qū)域特征和所述隊(duì)名區(qū)域特征。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過(guò)結(jié)合粗識(shí)別算法和精識(shí)別算法來(lái)識(shí)別所述比分區(qū)域以獲取比分?jǐn)?shù)字包括通過(guò)數(shù)字識(shí)別算法來(lái)識(shí)別所述比分區(qū)域，得到一個(gè)或多個(gè)粗比分?jǐn)?shù)字； 統(tǒng)計(jì)預(yù)定時(shí)間內(nèi)的各個(gè)所述粗比分?jǐn)?shù)字的出現(xiàn)頻率，將出現(xiàn)頻率最高的數(shù)字作為所述比分?jǐn)?shù)字。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，在統(tǒng)計(jì)預(yù)定時(shí)間內(nèi)的各個(gè)粗所述粗比分?jǐn)?shù)字的出現(xiàn)頻率，將出現(xiàn)頻率最高的數(shù)字作為所述比分?jǐn)?shù)字之后，所述方法還包括當(dāng)所述比分?jǐn)?shù)字與上次識(shí)別到的比分?jǐn)?shù)字的差超過(guò)1時(shí)，將所述預(yù)定時(shí)間內(nèi)的出現(xiàn)頻率次高的數(shù)字作為所述比分?jǐn)?shù)字，或者保持顯示所述上次識(shí)別到的比分?jǐn)?shù)字。
10.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過(guò)二分跳動(dòng)解碼算法來(lái)處理所述視頻畫(huà)面，以獲取預(yù)定時(shí)刻的所述比分區(qū)域的比分?jǐn)?shù)字，該步驟包括步驟A，識(shí)別所述視頻畫(huà)面的起始位置的第一比分?jǐn)?shù)字和結(jié)束位置的第二比分?jǐn)?shù)字，在所述第一比分?jǐn)?shù)字與所述第二比分?jǐn)?shù)字不同的情況下，獲取第一有效視頻區(qū)間；步驟B，獲取所述第一有效視頻區(qū)間中間位置的第三比分?jǐn)?shù)字，在所述第三比分?jǐn)?shù)字與所述第一比分?jǐn)?shù)字或第二比分?jǐn)?shù)字不同時(shí)，獲取第二有效視頻區(qū)間；步驟C，根據(jù)所述第二有效視頻區(qū)間循環(huán)執(zhí)行步驟B，直至所述比分?jǐn)?shù)字不再發(fā)生變化時(shí)，識(shí)別該時(shí)刻所述比分區(qū)域的比分?jǐn)?shù)字。
11.一種視頻比分的檢測(cè)識(shí)別裝置，其特征在于，包括比分牌位置檢測(cè)模塊，用于將獲取到的視頻畫(huà)面中的靜止區(qū)域和紋理豐富區(qū)域進(jìn)行合并處理以得到候選比分牌區(qū)域；比分牌區(qū)域定位模塊，用于基于第一過(guò)濾條件對(duì)所述候選比分牌區(qū)域進(jìn)行篩選以獲取所述視頻畫(huà)面上的比分牌區(qū)域；比分牌版面分解模塊，用于將所述比分牌區(qū)域的比分牌圖像進(jìn)行分解，以獲取所有的文字區(qū)域；比分區(qū)域定位模塊，用于基于第二過(guò)濾條件對(duì)所述所有的文字區(qū)域進(jìn)行篩選和匹配， 以獲取所述比分牌區(qū)域的比分區(qū)域；比分識(shí)別單元，用于通過(guò)結(jié)合粗識(shí)別算法和精識(shí)別算法來(lái)識(shí)別所述比分區(qū)域以獲取比分?jǐn)?shù)字。
12.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述裝置還包括靜止區(qū)域獲取模塊，用于采用跳幀方式在所述視頻畫(huà)面中均勻提取預(yù)定數(shù)目的幀圖像，獲取各個(gè)所述幀圖像之間的幀差，將獲取到的所述幀差進(jìn)行二值化處理以獲取幀差圖， 并在所述幀差圖上進(jìn)行區(qū)域聚合運(yùn)算，以獲取所述靜止區(qū)域；以及紋理豐富區(qū)域獲取模塊，用于采用跳幀方式在所述視頻畫(huà)面中均勻提取預(yù)定數(shù)目的幀圖像，獲取所述幀圖像中每個(gè)像素的梯度絕對(duì)值，通過(guò)比較所述梯度絕對(duì)值和第一閾值來(lái)獲取梯度圖，并在所述梯度圖上進(jìn)行區(qū)域聚合運(yùn)算，以獲取所述紋理豐富區(qū)域。
13.根據(jù)權(quán)利要求12所述的裝置，其特征在于，所述比分牌區(qū)域定位模塊包括計(jì)算處理模塊，用于計(jì)算所述候選比分牌區(qū)域在不同幀中的變化程度，當(dāng)所述變化程度在預(yù)定范圍內(nèi)時(shí)，將持續(xù)的幀數(shù)最大的所述候選比分牌區(qū)域作為所述視頻畫(huà)面上的比分牌區(qū)域。
14.根據(jù)權(quán)利要求12所述的裝置，其特征在于，所述裝置還包括比分牌模板建立模塊，用于根據(jù)公式來(lái)獲取所述預(yù)定數(shù)目的幀圖像的比分牌模板，所述公式為=Tt (x, y) = IV1 (X，y) X (l_k)+It(x，y) Xk，其中，Tt (χ, y)表示 t 幀時(shí)的模板像素，V1 (x, y)表示t-Ι幀時(shí)的模板像素，It (X，y)表示t幀時(shí)的圖像像素值，k表示更新速度；檢測(cè)識(shí)別模塊，用于根據(jù)所述比分牌模板檢測(cè)任意圖像幀中的是否出現(xiàn)比分牌，在出現(xiàn)所述比分牌時(shí)執(zhí)行識(shí)別所述比分牌，并根據(jù)該公式更新比分牌模板。
15.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述比分牌版面分解模塊包括二值化處理模塊，用于采用局部自適應(yīng)閾值二值化算法對(duì)所述比分牌區(qū)域的比分牌圖像進(jìn)行二值化處理，以獲取二值化區(qū)域；文字區(qū)域獲取模塊，用于在所述二值化區(qū)域中進(jìn)行文字特征篩選處理來(lái)得到文字區(qū)域。
16.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述比分區(qū)域定位模塊包括過(guò)濾模塊，用于根據(jù)所述時(shí)間區(qū)域特征獲取所述文字區(qū)域中的時(shí)間區(qū)域，并刪除所述文字區(qū)域中的時(shí)間區(qū)域來(lái)獲取候選比分區(qū)域；匹配模塊，用于根據(jù)所述比分區(qū)域的特征在比分區(qū)域模板中進(jìn)行篩選處理，以得到與所述候選比分區(qū)域匹配的所述比分區(qū)域，其中，所述比分區(qū)域的特征包括所述比分區(qū)域特征和所述隊(duì)名區(qū)域特征。
17.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述比分識(shí)別單元包括粗識(shí)別模塊，用于通過(guò)所述數(shù)字識(shí)別算法來(lái)識(shí)別所述比分區(qū)域，得到一個(gè)或多個(gè)粗比分?jǐn)?shù)字；精識(shí)別模塊，用于統(tǒng)計(jì)預(yù)定時(shí)間內(nèi)的各個(gè)所述粗比分?jǐn)?shù)字的出現(xiàn)頻率，將出現(xiàn)頻率最高的數(shù)字作為所述比分?jǐn)?shù)字，且當(dāng)所述比分?jǐn)?shù)字與上次識(shí)別到的比分?jǐn)?shù)字的差超過(guò)1時(shí)， 將所述預(yù)定時(shí)間內(nèi)的出現(xiàn)頻率次高的數(shù)字作為所述比分?jǐn)?shù)字，或者保持顯示所述上次識(shí)別到的比分?jǐn)?shù)字。
18.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述裝置還包括識(shí)別加速處理模塊，包括第一處理模塊，用于識(shí)別所述視頻畫(huà)面的起始位置的第一比分?jǐn)?shù)字和結(jié)束位置的第二比分?jǐn)?shù)字，在所述第一比分?jǐn)?shù)字與所述第二比分?jǐn)?shù)字不同的情況下，獲取第一有效視頻區(qū)間；第二處理模塊，用于獲取所述第一有效視頻區(qū)間中間位置的第三比分?jǐn)?shù)字，在所述第三比分?jǐn)?shù)字與所述第一比分?jǐn)?shù)字或第二比分?jǐn)?shù)字不同時(shí)，獲取第二有效視頻區(qū)間；第三處理模塊，根據(jù)所述第二有效視頻區(qū)間循環(huán)執(zhí)行所述第二處理模塊，直至所述比分?jǐn)?shù)字不再發(fā)生變化時(shí)，識(shí)別該時(shí)刻所述比分區(qū)域的比分?jǐn)?shù)字。
全文摘要
本發(fā)明公開(kāi)了一種視頻比分的檢測(cè)識(shí)別方法及裝置。其中，該方法包括將視頻畫(huà)面中的靜止區(qū)域和紋理豐富區(qū)域進(jìn)行合并處理以得到候選比分牌區(qū)域；基于第一過(guò)濾條件對(duì)候選比分牌區(qū)域進(jìn)行篩選以獲取視頻畫(huà)面上的比分牌區(qū)域；將比分牌區(qū)域的比分牌圖像進(jìn)行分解，以獲取比分牌圖像中的文字區(qū)域；基于第二過(guò)濾條件對(duì)文字區(qū)域進(jìn)行篩選和匹配，以獲取比分牌區(qū)域的比分區(qū)域；通過(guò)結(jié)合粗識(shí)別算法和精識(shí)別算法來(lái)識(shí)別比分區(qū)域以獲取比分?jǐn)?shù)字。通過(guò)本發(fā)明，能夠達(dá)到協(xié)助視頻編輯人員快速編目足球視頻，大大地減輕視頻編目人員的工作量。
文檔編號(hào)G06K9/00GK102254160SQ20111019379
公開(kāi)日2011年11月23日 申請(qǐng)日期2011年7月12日 優(yōu)先權(quán)日2011年7月12日
發(fā)明者張名舉, 苗廣藝 申請(qǐng)人:央視國(guó)際網(wǎng)絡(luò)有限公司