多特征融合的新聞視頻摘要提取方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及視頻內(nèi)容理解領(lǐng)域，具體設(shè)及一種多特征融合的新聞視頻摘要提取方 法。
【背景技術(shù)】
[0002] 新聞視頻是人們獲取信息的主要來(lái)源之一，其內(nèi)容涵蓋了人們生活中的各個(gè)方 面，包括體育、娛樂(lè)、時(shí)事等，受眾面廣，更新速度快，在日常生活中扮演著不可缺失的角色。 面對(duì)龐大的新聞視頻庫(kù)，如何高效地組織和瀏覽新聞視頻，如何有效地過(guò)濾和定位出最適 合，最準(zhǔn)確的新聞內(nèi)容是現(xiàn)階段新聞視頻內(nèi)容理解領(lǐng)域的一個(gè)亟待解決的問(wèn)題。
[0003] 新聞視頻摘要不僅可W顯示新聞視頻主旨內(nèi)容，幫助人們快速地瀏覽新聞內(nèi)容， 還可結(jié)合視頻標(biāo)注技術(shù)服務(wù)于視頻檢索領(lǐng)域等，具有較高的研究?jī)r(jià)值。然而由于新聞視頻 內(nèi)容主題跨度大，同一個(gè)新聞內(nèi)容在視覺(jué)呈現(xiàn)上千差萬(wàn)別，單純的底層特征分析很難描述 新聞視頻語(yǔ)義，導(dǎo)致現(xiàn)階段新聞視頻摘要研究仍面臨挑戰(zhàn)。
[0004] 現(xiàn)存在一些通用的摘要提取發(fā)明。如專利文獻(xiàn)"視頻摘要生成方法和視頻摘要生 成裝置(專利公開號(hào):CN103092930A，專利公開日：2013.05.08)"中通過(guò)背景建模得到背景 模型，再利用預(yù)設(shè)的分類器判斷提取到的運(yùn)動(dòng)目標(biāo)中是否包含人臉，并選取包含人臉的序 列成為最終的摘要。該發(fā)明僅適用于某些領(lǐng)域的視頻，如監(jiān)控視頻，對(duì)新聞視頻摘要獲取并 不能獲得有意義的結(jié)果。
[0005] 現(xiàn)有的新聞視頻摘要方法主要基于多特征融合，采用音視頻信息來(lái)表達(dá)視頻內(nèi) 容。而主題字幕帖包含新聞故事主要人物、新聞事件主題等重要信息，直接顯示新聞事件語(yǔ) 義信息，是新聞視頻摘要領(lǐng)域的研究重點(diǎn)。
[0006] 在文獻(xiàn)[1](孟文婷.基于多模態(tài)特征融合的新聞視頻摘要技術(shù)研究.[D].湖北:華 中師范大學(xué)，2012)中采用多特征融合來(lái)分析新聞視頻內(nèi)容，首先通過(guò)自適應(yīng)闊值進(jìn)行鏡頭 分割，再利用音視頻信息進(jìn)行主持人鏡頭檢測(cè)，隨后采用邊緣特征分析獲取新聞視頻主題 字幕帖，再選取具有主題字幕帖的鏡頭濃縮為摘要。然而該方法并未有效區(qū)分新聞視頻中 =類文本字幕，導(dǎo)致在僅采用邊緣特征的前提下對(duì)主題字幕帖的檢測(cè)效果不佳，同時(shí)由于 其在選擇具有主題字幕帖的鏡頭時(shí)并未考慮音頻信息，從而其最終得到的摘要并不友好， 不具有觀賞性。
[0007] 而文獻(xiàn)[2](李小寧.角點(diǎn)檢測(cè)技術(shù)在新聞視頻檢索中的應(yīng)用研究[D].沈陽(yáng)：東北 大學(xué)，2010)中探討了角點(diǎn)檢測(cè)在新聞視頻中的應(yīng)用。它采用角點(diǎn)檢測(cè)來(lái)識(shí)別主題字幕帖， 但其檢測(cè)方法也過(guò)于單一，最終檢測(cè)效果并不理想。綜合分析文獻(xiàn)[1]和文獻(xiàn)[2]的不足之 處，本發(fā)明設(shè)計(jì)了一種基于角點(diǎn)檢測(cè)、顏色濾波和形態(tài)學(xué)分析的有效的主題字幕帖檢測(cè)算 法，同時(shí)從工程實(shí)現(xiàn)角度出發(fā)，定義了新聞基本處理單元，方便模塊化分析新聞視頻。而基 于觀賞性和實(shí)用性考慮，本發(fā)明也分別設(shè)計(jì)了靜態(tài)和動(dòng)態(tài)視頻摘要。

【發(fā)明內(nèi)容】

[0008] 針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種多特征融合的新聞視頻摘要方 法。
[0009] 根據(jù)本發(fā)明提供的一種多特征融合的新聞視頻摘要提取方法，包括如下任一個(gè)或 任多個(gè)步驟：
[0010] 獲取新聞基本處理單元步驟:從新聞視頻中提取新聞基本處理單元；
[0011] 檢測(cè)主題字幕帖步驟:從新聞視頻中提取主題字幕帖；
[0012] 檢測(cè)靜音段步驟:從新聞視頻中提取靜音段；
[0013] 檢測(cè)人臉步驟:從新聞視頻中提取人臉。
[0014] 優(yōu)選地，所述新聞基本處理單元是指，一段W主持人鏡頭出現(xiàn)為開始時(shí)刻，中間時(shí) 段包含內(nèi)容鏡頭，并W下一個(gè)主持人鏡頭出現(xiàn)的開始時(shí)刻作為結(jié)束時(shí)刻的視頻片段。
[0015] 優(yōu)選地，所述獲取新聞基本處理單元步驟包括鏡頭分割步驟，其中，所述鏡頭分割 步驟，包括如下步驟：
[0016] 根據(jù)如下計(jì)算式得到D( i，j):
[001引其中，DQ J)表示第i帖與第j帖的差異，N表示新聞視頻帖灰度級(jí)的數(shù)量，fi,k表示 第i帖新聞視頻中第k級(jí)灰度的像素個(gè)數(shù)，枯k表示第j帖新聞視頻中第k級(jí)灰度的像素個(gè)數(shù)， 第i帖與第j帖為前后兩帖；i、j為正整數(shù)；
[0019] 如果第i帖與第j帖的差異D(i，j)大于指定闊值TshDt,則認(rèn)為存在鏡頭邊界，將第j 帖與設(shè)定的主持人模板進(jìn)行匹配;若第j帖與設(shè)定的主持人模板匹配，則將第j帖作為新聞 基本處理單元的起始帖。
[0020] 優(yōu)選地，所述檢測(cè)主題字幕帖步驟，包括如下步驟：
[0021] 設(shè)置新聞視頻帖的感興趣區(qū)域；
[0022] 對(duì)各個(gè)新聞視頻帖的感興趣區(qū)域，采用化rris角點(diǎn)檢測(cè)算子進(jìn)行角點(diǎn)檢測(cè)W獲取 感興趣區(qū)域中的角點(diǎn)，根據(jù)角點(diǎn)得到待融合主題字母區(qū)域；
[0023] 將各個(gè)新聞視頻帖的感興趣區(qū)域中滿足如下條件的區(qū)域提取為藍(lán)色區(qū)域：
[0024] 100 < Hue <260
[0025] 0.33 < Sa1:uration < 1
[00%]對(duì)提取到的藍(lán)色區(qū)域提取矩形外輪廓，其中，化e表示色調(diào)，Saturation表示飽和 度；
[0027]將符合如下條件的矩形外輪廓所屬的新聞視頻帖確認(rèn)為主題字幕帖，并將不符合 如下條件的矩形外輪廓所屬的新聞視頻帖確認(rèn)為偽主題字幕帖：
[002引 Heights Theight
[0030] 其中，Hei曲t表示矩形外輪廓的高度，Theight表示設(shè)定的高度闊值，ContourAreamax 為各個(gè)新聞視頻帖中矩形外輪廓中的最大輪廓面積，Contour Areamax-I為各個(gè)新聞視頻帖中 矩形外輪廓中的第二大輪廓面積，TwntDUr表示設(shè)定的比例闊值；
[0031] 將角點(diǎn)檢測(cè)得到的待融合主題字母區(qū)域與主題字幕帖中矩形外輪廓的內(nèi)部區(qū)域 進(jìn)行圖像融合，得到候選主題字幕區(qū)域；
[0032] W矩形結(jié)構(gòu)元素對(duì)候選主題字幕區(qū)域進(jìn)行形態(tài)學(xué)膨脹操作，得到待鑒別文本連通 域；
[0033] 將符合如下條件的待鑒別文本連通域認(rèn)為是偽文本塊，將不符合如下條件的待鑒 別文本連通域認(rèn)為是文本塊：
[0034] Areatext < Tarea
[0035] Ratiotext <Trati。
[0036] 其中，Areatext表示待鑒別文本連通域的面積，Tarea表示設(shè)定的面積闊值，Ratiotext 表示待鑒別文本連通域的寬高比，TratiD表示設(shè)定的寬高比闊值。
[0037] 優(yōu)選地，所述根據(jù)角點(diǎn)得到待融合主題字母區(qū)域，具體為:將角點(diǎn)連線劃定出待融 合主題字母區(qū)域。
[0038] 優(yōu)選地，所述檢測(cè)靜音段步驟，包括如下步驟：
[0039] 采用Hamming窗對(duì)新聞視頻中的音頻進(jìn)行加窗分帖，得到各帖音頻信號(hào)；
[0040] 根據(jù)如下計(jì)算式得到第i帖音頻信號(hào)的短時(shí)能量EiW及第i帖音頻信號(hào)的短時(shí)過(guò) 零率Zi:
[0043] 其中，N表示第i帖音頻信號(hào)中包含的音頻采樣數(shù)目，xi(m)表示第i帖音頻信號(hào)第m 個(gè)采樣值，xi(m+l)表示第i帖第m+1個(gè)采樣值，sgn( ?)為符號(hào)函數(shù)；
[0044] 如果一帖音頻信號(hào)滿足如下條件，則認(rèn)為該帖音頻信號(hào)為靜音帖，否則為非靜音 帖：
[0045] Ei < Te
[0046] Zi<Tz
[0047] 其中，Te表示設(shè)定的短時(shí)能量闊值，Tz表示設(shè)定的短時(shí)過(guò)零率闊值。
[004引優(yōu)選地，所述檢測(cè)人臉步驟包括如下步驟：
[0049] 對(duì)新聞視頻，采用Viola-化nes人臉檢測(cè)算法，結(jié)合跨平臺(tái)計(jì)算機(jī)視覺(jué)庫(kù)化enCV中 訓(xùn)練好的分類器11日日1^日3。日(16_；1^1'〇]11：日^日。6_日1：1/邸11提取積分圖像，計(jì)算化日1-1146特征， 進(jìn)而利用跨平臺(tái)計(jì)算機(jī)視覺(jué)庫(kù)化enCV中的CV化arDetectObjects函數(shù)在新聞視頻中檢測(cè)人 臉對(duì)象。
[0050] 優(yōu)選地，執(zhí)行檢測(cè)靜音段步驟得到靜音段，對(duì)靜音段執(zhí)行檢測(cè)主題字幕帖步驟，僅 在靜音段對(duì)應(yīng)的視頻帖中包含主題字幕帖的情況下，將靜音段對(duì)應(yīng)的視頻帖加入動(dòng)態(tài)摘要 序列。
[0051] 與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：
[0052] 1、本發(fā)明可依據(jù)用戶不同的需求得到有意義的高語(yǔ)義靜態(tài)或動(dòng)態(tài)視頻摘要。
[0053] 2、本發(fā)明提出了新聞基本處理單元?？蓪?duì)新聞視頻進(jìn)行結(jié)構(gòu)化處理，實(shí)現(xiàn)視頻流 的優(yōu)化重組。同時(shí)，縮小了問(wèn)題分析單元，有利于工程化實(shí)現(xiàn)摘要系統(tǒng)。
[0054] 3、本發(fā)明提出了基于角點(diǎn)檢測(cè)、顏色濾波和形態(tài)學(xué)分析的主題字幕檢測(cè)算法?？?有效區(qū)分新聞視頻中=類文本字幕，準(zhǔn)確地檢測(cè)出主題字幕。
[0055] 4、本發(fā)明設(shè)計(jì)了靜態(tài)摘要(例如主題字幕)和動(dòng)態(tài)摘要(例如音頻、人臉）。高度概 括新聞視頻內(nèi)容，可滿足不同的用戶和應(yīng)用需求，有較大的實(shí)用價(jià)值。
【附圖說(shuō)明】
[0056] 通過(guò)閱讀參照W下附圖對(duì)非限制性實(shí)施例所作的詳細(xì)描述，本發(fā)明的其它特征、 目的和優(yōu)點(diǎn)將會(huì)變得更明顯：
[0057] 圖1是本發(fā)明提供的多特征融合的新聞視頻摘要提取方法的流程框圖；
[0058] 圖2是本發(fā)明中單、雙主持人模板帖示例對(duì)比圖；
[0059] 圖3是本發(fā)明實(shí)施例中新聞視頻中=類字幕文本示例對(duì)比圖；
[0060] 圖4是本發(fā)明實(shí)施例中主題字幕帖分類和檢測(cè)流程框圖。
【具體實(shí)施方式】
[0061] 下面結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。W下實(shí)施例將有助于本領(lǐng)域的技術(shù) 人員進(jìn)一步理解本發(fā)明，但不W任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對(duì)本領(lǐng)域的普通技術(shù) 人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提