一種視頻廣告的自動(dòng)檢測方法
【專利摘要】本發(fā)明屬于計(jì)算機(jī)視頻處理【技術(shù)領(lǐng)域】，具體為一種視頻廣告的自動(dòng)檢測方法。本發(fā)明輸入為電視臺(tái)播放的數(shù)字電視信號(hào)或本地視頻格式，綜合采用顏色、紋理和邊緣特征，對(duì)視頻進(jìn)行鏡頭分割，關(guān)鍵幀提取，F(xiàn)MPI幀分類，拷貝檢測，和疑似廣告檢測，最終分析出視頻中的廣告成分?？梢杂米鲾?shù)字電視轉(zhuǎn)播的廣告過濾和解決項(xiàng)目中需要處理視頻數(shù)據(jù)自動(dòng)標(biāo)注的問題。本發(fā)明采用FMPI關(guān)鍵幀的概念，大大提高了廣告拷貝檢測的準(zhǔn)確率和算法效率，對(duì)于疑似廣告檢測也有了非?？煽康幕贔MPI關(guān)鍵幀的特征做分類器的依據(jù)。
【專利說明】一種視頻廣告的自動(dòng)檢測方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)視頻處理【技術(shù)領(lǐng)域】，具體涉及一種視頻廣告的自動(dòng)檢測方法?！颈尘凹夹g(shù)】
[0002]三網(wǎng)融合是我國未來幾年信息化發(fā)展的重要方向，其中廣播電視網(wǎng)和互聯(lián)網(wǎng)的融合是其重要組成部分。隨著互聯(lián)網(wǎng)和高速寬帶網(wǎng)絡(luò)技術(shù)的成熟，整個(gè)互聯(lián)網(wǎng)已經(jīng)具備了同時(shí)傳送高質(zhì)量音頻、視頻和數(shù)據(jù)的能力。同時(shí)和傳統(tǒng)的電視廣播網(wǎng)絡(luò)比較，互聯(lián)網(wǎng)的特點(diǎn)在于互聯(lián)網(wǎng)的數(shù)據(jù)傳輸是高速雙向的，融合后電視用戶利用這種雙向傳輸?shù)奶攸c(diǎn)，將享受前所未有的交互方式。利用互動(dòng)電視中的回看功能，在電視節(jié)目中自動(dòng)的去掉廣告內(nèi)容無疑會(huì)提聞?dòng)脩舻慕换ンw驗(yàn)。
[0003]目前，每天都有大量的電視視頻數(shù)據(jù)產(chǎn)生，如果要做到對(duì)那么多視頻數(shù)據(jù)進(jìn)行處理，簡單的根據(jù)人力去標(biāo)注視頻內(nèi)容，分割出哪些是正常的電視節(jié)目，哪些是廣告內(nèi)容，進(jìn)行廣告檢測，顯然不切實(shí)際。這就要求有一個(gè)自動(dòng)化的能夠高效準(zhǔn)確的完成這個(gè)功能的廣告檢測算法。
[0004]目前，學(xué)術(shù)界主要的廣告檢測算法有基于視頻拷貝檢測的廣告檢測算法，基于廣告特征的廣告檢測算法，和基于學(xué)習(xí)的廣告檢測算法。這些方法都有其應(yīng)用的場景和條件，也分別有優(yōu)點(diǎn)和缺點(diǎn)。
[0005](I)基于拷貝檢測的廣告檢測算法
廣告作為宣傳一種產(chǎn)品或者理念的視頻序列出現(xiàn)在電視上，為了達(dá)到宣傳的目的，最大的特點(diǎn)就是它的重復(fù)性。根據(jù)這種重復(fù)性，如果視頻庫中存在我們需要的廣告，應(yīng)用視頻拷貝檢測技術(shù)，我們就可以把重復(fù)出現(xiàn)的廣告檢測出來。
[0006]視頻拷貝檢測的關(guān)鍵點(diǎn)是視頻特征信息的提取和匹配算法[I]。視頻特征信息關(guān)系到視頻拷貝檢測準(zhǔn)確度，該部分大多數(shù)是由鏡頭分割后的鏡頭幀所提取圖像特征構(gòu)成。這種圖像特征大致分為兩類:第一是全局特征，該部分主要是那些表征圖像整體信息的特征，如顏色特征(顏色直方圖等)、紋理特征(邊緣分布等)，全局特征的優(yōu)點(diǎn)在于提取速度快，內(nèi)存占用率小，缺點(diǎn)在于忽略了圖像的局部信息，不抗旋轉(zhuǎn)和和縮放；第二是局部特征，如SIFT[2]等，這些特征優(yōu)點(diǎn)在于能反映圖像中的細(xì)節(jié)信息，抗旋轉(zhuǎn)與縮放，缺點(diǎn)是計(jì)算代價(jià)大，內(nèi)存占用較多。
[0007]特征匹配算法關(guān)系到視頻拷貝檢測的速度。線性匹配算法結(jié)構(gòu)簡單但速度較慢，需要遍歷視頻庫中所有的視頻才能得出結(jié)果，結(jié)構(gòu)化的匹配算法[I]能夠優(yōu)化匹配時(shí)間。
[0008]Covell把視頻拷貝檢測應(yīng)用到廣告檢測中來[3]，他的特點(diǎn)在于應(yīng)用視頻中的音頻作為主要的拷貝檢測的依據(jù)，并且達(dá)到了很好的效果。
[0009]基于拷貝檢測的廣告檢測，缺點(diǎn)主要有三方面:第一，對(duì)于在視頻庫中的廣告，視頻拷貝檢測查全率和查準(zhǔn)率都較高，但對(duì)于新上線的廣告，需要人工向廣告庫中添加廣告，才能識(shí)別出來；第二，視頻拷貝檢測的速度是和廣告庫中視頻的速度相關(guān)的，視頻庫中視頻越多，拷貝檢測的速度越慢；第三，對(duì)于那些已經(jīng)下線的廣告，需要人工的去廣告庫中刪除掉對(duì)應(yīng)廣告，以減少廣告庫中視頻的數(shù)量，從而保證視頻拷貝檢測的速度。對(duì)于這三方面缺點(diǎn)，都需要人工進(jìn)行操作，而且對(duì)于有大數(shù)據(jù)量的廣告庫，人工操作的工作量將會(huì)很大。
[0010](2)基于特征的廣告檢測
廣告作為一種特殊的媒體，在視覺和聽覺上有其獨(dú)特的特征，利用這些特征，可以有效的進(jìn)行廣告檢測。
[0011]Duygulu提出了一種根據(jù)廣告特征進(jìn)行廣告檢測的方法[4]。在圖像上，在國外的電視節(jié)目中，廣告作為電視節(jié)目的一類內(nèi)容，被定義了嚴(yán)格的格式要求，最重要的就是廣告和廣告之間會(huì)插入黑幀(black frame，即全黑的一張圖像幀)。由于有了這個(gè)特征，就可以很方便的檢測這樣的黑幀，作為廣告的邊界。
[0012]Sadlier不僅采用了黑幀，在音頻上還用了靜音段檢測的方法，當(dāng)黑幀和靜音段出現(xiàn)在同一個(gè)位置時(shí)，就檢測到廣告邊界[5]。對(duì)黑幀的檢測，該文章用到了 MPEG中的DCT系數(shù):當(dāng)圖片為單色時(shí)，DCT的低頻部分主要包含了圖片的細(xì)節(jié)，然而單色圖片基本上沒有細(xì)節(jié)，所以低頻部分幾乎為零。另外，黑幀和靜音段在正常的電視節(jié)目中也經(jīng)常同時(shí)出現(xiàn)，所以作者根據(jù)電視制式的特點(diǎn)，制定了一些規(guī)則來減少錯(cuò)判的情況。例如，連續(xù)六幀為黑幀和靜音才被認(rèn)為是廣告邊界；廣告時(shí)間總長度最長為30秒，超過則不是廣告。利用這些廣告制式的特點(diǎn)，該文章成功的提高了廣告檢測的效果。
[0013]Gauch除了應(yīng)用以上提到的一些廣告檢測的特征以外，還應(yīng)用了鏡頭速率來檢測廣告內(nèi)容[6]。鏡頭切換速率表示為每個(gè)鏡頭的持續(xù)時(shí)間。對(duì)于廣告來說，為了盡可能的在最短是的時(shí)間內(nèi)表達(dá)更多的內(nèi)容，鏡頭切換速率一般來講會(huì)非常的快，因此這個(gè)特征在一定程度上能夠表征廣告的特點(diǎn)。另外，該文章還用視頻拷貝檢測作為輔助，進(jìn)一步優(yōu)化了廣告檢測的效果。
[0014]基于廣告特征的廣告檢測，其缺點(diǎn)主要在于:第一，現(xiàn)在的廣告拍攝水平越來越高，拍攝手法越來越多樣化，現(xiàn)有的某些特征已經(jīng)不能滿足判斷是否是廣告幀的要求；第二，由于現(xiàn)在廣告的復(fù)雜性，簡單的規(guī)則已經(jīng)不能保證算法的高準(zhǔn)確性和易用性；第三，由于電視制式的不同，不同地區(qū)和不同國家間廣告特點(diǎn)的不同，以上文章描述的特征并不是對(duì)所有廣告都適用，例如，在中國的電視節(jié)目中，廣告的邊界就不存在必須插入黑幀的情況。這些在實(shí)際應(yīng)用中存在的問題都會(huì)使該類方法的效果大打折扣。
[0015](3)基于學(xué)習(xí)算法的廣告檢測
由于廣告越來越復(fù)雜，這就要求越來越復(fù)雜的規(guī)則去檢測。如果使用機(jī)器學(xué)習(xí)的辦法，通過學(xué)習(xí)，學(xué)習(xí)出廣告幀特征的內(nèi)在規(guī)律，那么在一定程度上會(huì)提高廣告檢測的準(zhǔn)確性。
[0016]Xian-Sheng等根據(jù)這種思路提出了一種基于學(xué)習(xí)的廣告檢測算法[7]。該算法運(yùn)用切分下來的鏡頭提取基于時(shí)間域的圖像特征，再用訓(xùn)練好的SVM分類器進(jìn)行分類，最后利用一些策略把分類出來的廣告鏡頭幀聚集在一起形成廣告序列。該方法所需要的特征有1.邊緣變化率平均值(A-ECR)和邊緣變化率方差(V-ECR)
2.幀間差平均值(A-FD)和幀間差方差(V-FD) 3.相鄰鏡頭的邊緣變化率均值(
AECR5IO和用相鄰鏡頭變化率的方法計(jì)算的上述其余三個(gè)特征。共八個(gè)特征，用這些特征作
為訓(xùn)練特征，在一定程度上能夠表征廣告鏡頭幀的特點(diǎn)，對(duì)標(biāo)定好的鏡頭提取上述特征，再放到SVM[9]訓(xùn)練器中訓(xùn)練，生成訓(xùn)練好的模型，以用來檢測視頻中的廣告鏡頭。[0017]此類方法的缺點(diǎn)在于:第一，過分依賴于訓(xùn)練數(shù)據(jù)，廣告鏡頭幀情況復(fù)雜，人選取樣本又具有主觀性，所以往往訓(xùn)練數(shù)據(jù)的構(gòu)成會(huì)有問題，這樣就會(huì)造成對(duì)于不同的檢測樣本，模型的準(zhǔn)確性會(huì)有較大出入的結(jié)果；第二，基于學(xué)習(xí)的廣告檢測，需要從視頻中判斷哪些幀為廣告鏡頭，而大多數(shù)情況下，廣告檢測的任務(wù)是標(biāo)定完整的廣告序列，包括一個(gè)廣告的開始位置和結(jié)束位置，該方法廣告區(qū)域邊界定位不準(zhǔn)的問題比較嚴(yán)重。

【發(fā)明內(nèi)容】

[0018]為了克服現(xiàn)有技術(shù)的不足，本發(fā)明目的在于提出一種實(shí)時(shí)高效的視頻廣告的自動(dòng)檢測方法，其可對(duì)數(shù)字信號(hào)的電視節(jié)目中的廣告進(jìn)行自動(dòng)的過濾，并對(duì)視頻中的廣告成分進(jìn)行自動(dòng)的標(biāo)注；準(zhǔn)確率和召回率高。
[0019]本發(fā)明提供的一種視頻廣告自動(dòng)檢測方法，利用廣告中帶有商品信息的廣告幀(FMPI)的特點(diǎn)；首先對(duì)人工切割好的廣告片段進(jìn)行鏡頭分割，為提取關(guān)鍵幀進(jìn)行數(shù)據(jù)準(zhǔn)備；接著對(duì)關(guān)鍵幀進(jìn)行特征提取；然后對(duì)關(guān)鍵幀集合進(jìn)行SVM篩選，構(gòu)建SVM分類器模型，選出FMPI關(guān)鍵幀；最后根據(jù)SVM模型對(duì)待測視頻進(jìn)行檢測；具體步驟如下:
一、數(shù)據(jù)準(zhǔn)備
數(shù)據(jù)來自于電視臺(tái)的數(shù)字電視視頻，從中挑選出比較有代表性的，完整的24小時(shí)電視數(shù)據(jù)。需要人工先從這些數(shù)據(jù)中切分出廣告的連續(xù)片段視頻，可以用鏡頭分割程序進(jìn)行輔助，最后得到的是連續(xù)的廣告視頻片段。
[0020]根據(jù)顏色直方圖變化率和邊緣直方圖變化率對(duì)人工切割好的廣告片段進(jìn)行鏡頭分割，用顏色直方圖變化率和邊緣直方圖變化率的線性組合，來判斷兩個(gè)鏡頭之間的幀突變；選取跳變第一幀作為關(guān)鍵幀，人工選出FMPI關(guān)鍵幀、普通廣告幀和非廣告跳變幀。FMPI幀指帶有商品信息的廣告幀；普通廣告幀指視頻鏡頭分割中切割出的廣告中間鏡頭跳變幀，即除去FMPI幀的其他廣告幀；非廣告幀指普通視頻幀，但是鏡頭分割時(shí)作為跳變幀也被挑選了出來，如連續(xù)劇中的鏡頭轉(zhuǎn)換幀。
[0021]計(jì)算顏色直方圖變化率時(shí)，對(duì)RGB三個(gè)分量色彩空間進(jìn)行區(qū)間劃分，每個(gè)分量取16個(gè)區(qū)間，用Chist[48]保存顏色直方圖信息，RGB分別對(duì)應(yīng)16維直方圖向量；計(jì)算邊緣直方圖變化率時(shí)，對(duì)圖像進(jìn)行4X 4分塊，對(duì)每一塊中的邊緣像素點(diǎn)進(jìn)行統(tǒng)計(jì)，用Ehist [16]保存。
[0022]二、特征提取
對(duì)關(guān)鍵幀提取的特征包括顏色特征、紋理特征和邊緣特征。
[0023]本發(fā)明中用HSV空間中H分量的分布直方圖表示顏色特征，用Canny邊緣分塊統(tǒng)計(jì)直方圖表示紋理特征，用二維Gabor四個(gè)方向的分塊累加直方圖表示邊緣特征；
顏色特征:首先需要對(duì)RGB色彩空間的關(guān)鍵幀進(jìn)行色彩轉(zhuǎn)化，得到對(duì)應(yīng)關(guān)鍵幀的HSV表示后，把H色度空間分成16個(gè)等距的角度做直方統(tǒng)計(jì)；得到Hhist[16]之后，取得最大的四個(gè)維度值構(gòu)成向量Hhist [4] ； [n]表示向量Hhist的維數(shù),下同；
紋理特征:對(duì)關(guān)鍵幀圖片提取Gabor濾波器四個(gè)方向的邊緣統(tǒng)計(jì)。關(guān)鍵幀分成4x4的塊，對(duì)于每個(gè)塊內(nèi)的四個(gè)方向分別統(tǒng)計(jì)Gabor邊緣點(diǎn)的數(shù)目得到向量Ghist[4];—共有16個(gè)這樣的塊，最終形成的Gabor濾波特征向量為Ghist[64]，即64維向量。
[0024]邊緣特征:對(duì)整張圖片經(jīng)行Canny邊緣提取，得到的邊緣圖同樣分成4x4的塊，分別統(tǒng)計(jì)落在其中的Canny邊緣點(diǎn)數(shù)目，得到的Chist [16]為16維向量Canny邊緣點(diǎn)分布。
[0025]三、樣本訓(xùn)練和測試
采用高斯核的SVM分類器，把上述的三個(gè)特征向量組合起來構(gòu)成84維向量，用作SVM訓(xùn)練，這個(gè)向量對(duì)應(yīng)了一張F(tuán)MPI關(guān)鍵幀特征，也即對(duì)應(yīng)了一個(gè)廣告鏡頭的特征。具體的，其首先對(duì)訓(xùn)練樣本進(jìn)行數(shù)據(jù)預(yù)處理，把特征提取得到的向量處理成SVM接受的輸入形式，即<label>〈indexl>:<valuel><index2>:<value2>〈index3>〈value3>…的形式，其中〈label〉是標(biāo)注類別，<indeXi>是特征序號(hào)，<valuei>是特征值，并做好數(shù)據(jù)處理，然后用測試樣本提取相同特征，處理為標(biāo)準(zhǔn)輸入形式后用于測試，最后得到關(guān)于FMPI關(guān)鍵幀的SVM模型；其公式如下所示:
【權(quán)利要求】
1.一種視頻廣告的自動(dòng)檢測方法，其特征在于，首先對(duì)人工切割好的廣告片段進(jìn)行鏡頭分割，為提取關(guān)鍵幀進(jìn)行數(shù)據(jù)準(zhǔn)備；接著對(duì)關(guān)鍵幀進(jìn)行特征提??；然后對(duì)于關(guān)鍵幀集合進(jìn)行SVM篩選，選擇出FMPI關(guān)鍵幀；最后用FMPI關(guān)鍵幀檢測待測視頻；具體步驟如下: (1)數(shù)據(jù)準(zhǔn)備 對(duì)于人工切割好的廣告片段進(jìn)行鏡頭分割，選取跳變第一幀作為關(guān)鍵幀，人工選出FMPI關(guān)鍵幀、普通廣告幀和非廣告跳變幀；將其分為訓(xùn)練樣本和測試樣本兩部分；兩部分中均含有FMPI關(guān)鍵幀、普通廣告幀和非廣告跳變幀； (2)特征提取 提取關(guān)鍵幀的顏色、紋理和邊緣三個(gè)方面的特征； 顏色特征:首先RGB轉(zhuǎn)化為HSV顏色，把HSV色彩空間分成16個(gè)等距的角度做直方統(tǒng)計(jì)，得到Hhist[16];之后取得最大的四個(gè)維度值構(gòu)成Hhist[4]； 紋理特征:將關(guān)鍵幀分成4x4的塊，對(duì)于每個(gè)塊內(nèi)的四個(gè)方向分別統(tǒng)計(jì)Gabor邊緣點(diǎn)的數(shù)目得到Ghist[4];最終形成64維向量的Gabor濾波特征向量Ghist[64]； 邊緣特征:對(duì)整張圖片進(jìn)行Canny邊緣提取，得到的邊緣圖同樣分成4x4的塊，分別統(tǒng)計(jì)落在其中的Canny邊緣點(diǎn)數(shù)目，得到的16維Canny邊緣點(diǎn)分布,構(gòu)成Chist[16]； (3)樣本訓(xùn)練和測試 采用高斯核的SVM分類 器，把上述的三個(gè)特征向量組合起來構(gòu)成84維向量用作SVM訓(xùn)練；具體過程為: 首先，對(duì)訓(xùn)練樣本進(jìn)行數(shù)據(jù)預(yù)處理，把特征提取得到的向量處理成SVM接受的輸入形式，即 <label>〈indexl>: <valuel>〈index2>: <value2>〈index3>〈value3>…的形式，其中〈label〉是標(biāo)注類別，<indeXi>是特征序號(hào)，<valuei>是特征值，并做好數(shù)據(jù)處理；然后，用測試樣本提取相同特征，處理為標(biāo)準(zhǔn)輸入形式后用于測試；最后，得到關(guān)于FMPI關(guān)鍵幀的SVM模型，其公式如下所示:
2.根據(jù)權(quán)利要求1所述的自動(dòng)檢測方法，其特征在于:步驟(1)中，根據(jù)顏色直方圖變化率和邊緣直方圖變化率對(duì)人工切割好的廣告片段進(jìn)行鏡頭分割；用顏色直方圖變化率和邊緣直方圖變化率的線性組合，來判斷兩個(gè)鏡頭之間的幀突變。
3.根據(jù)權(quán)利要求2所述的自動(dòng)檢測方法，其特征在于:計(jì)算顏色直方圖變化率時(shí)，對(duì)RGB三個(gè)分量色彩空間進(jìn)行區(qū)間劃分，每個(gè)分量取16個(gè)區(qū)間，用Chist [48]保存顏色直方圖信息，RGB分別對(duì)應(yīng)16維直方圖向量；計(jì)算邊緣直方圖變化率時(shí)，對(duì)圖像進(jìn)行4X4分塊，對(duì)每一塊中的邊緣像素點(diǎn)進(jìn)行統(tǒng)計(jì)，用Ehist[16]保存。
4.根據(jù)權(quán)利要求1所述的自動(dòng)檢測方法,其特征在于:所述訓(xùn)練樣本中，F(xiàn)MPI關(guān)鍵幀為正樣本；普通廣告幀和非廣告跳變幀為負(fù)樣本，正樣本和負(fù)樣本的數(shù)目比為1:1。
5.根據(jù)權(quán)利要求1所述的自動(dòng)檢測方法，其特征在于:步驟(2)中，對(duì)關(guān)鍵幀進(jìn)行顏色特征提取的算法具體如下: 首先，RGB轉(zhuǎn)換成HSV顏色，公式如下:

6.根據(jù)權(quán)利要求1所述的自動(dòng)檢測方法，其特征在于:步驟(2)中對(duì)關(guān)鍵幀進(jìn)行紋理特征提取的算法如下:圖像4X4分塊后，對(duì)每塊提取四個(gè)方向的二維Gabor邊緣統(tǒng)計(jì)向量；按照二維Gabor濾波器的一般表不形式:
7.根據(jù)權(quán)利要求1所述的自動(dòng)檢測方法，其特征在于:步驟(2)中對(duì)邊緣特征提取的算法如下:對(duì)圖片4 X 4分塊，然后對(duì)圖像進(jìn)行Canny邊緣計(jì)算，最后分別統(tǒng)計(jì)落在每個(gè)小塊中的Canny邊緣點(diǎn)數(shù)目，構(gòu)成4維向量Chist [4],實(shí)現(xiàn)邊緣特征提?。黄渲蠧anny邊緣計(jì)算分為四個(gè)步驟: 第一步，進(jìn)行高斯平滑濾波，構(gòu)造7X7的高斯濾波核，通過二維高斯函數(shù)計(jì)算出高斯核矩陣；第二步，算圖像的梯度，其做法是應(yīng)用一階偏導(dǎo)的有限差分來做，具體使用高斯偏導(dǎo)數(shù)系數(shù)模板與平滑后的圖片進(jìn)`行卷積操作，通過計(jì)算可以得到平滑圖片的梯度方向和梯度幅值。 第三步，是非極值抑制； 最后一步，是雙閾值檢測，強(qiáng)閾值需要確定強(qiáng)邊緣，和強(qiáng)邊緣聯(lián)通的邊緣點(diǎn)，如果超過弱閾值，都會(huì)計(jì)算成Canny邊緣點(diǎn)；若邊緣值并沒有超過強(qiáng)閾值，且沒有與任何強(qiáng)邊緣聯(lián)通，或者是與強(qiáng)邊緣聯(lián)通，但其邊緣強(qiáng)度沒有超過弱閾值的邊緣點(diǎn)，將會(huì)不被計(jì)算為Canny邊緣點(diǎn)。
【文檔編號(hào)】G06K9/66GK103605991SQ201310513702
【公開日】2014年2月26日 申請日期:2013年10月28日 優(yōu)先權(quán)日:2013年10月28日
【發(fā)明者】金城, 吳淵, 段超, 薛向陽 申請人:復(fù)旦大學(xué)