布步驟S60:用于對最終審核通過的軟廣數(shù)據(jù)進行數(shù)據(jù)發(fā)布。
[0068]其中，特征匹配步驟S20，如圖3所示，包括:
[0069]高相似度步驟S201:如果視頻數(shù)據(jù)特征匹配相似度大于范圍A，則識別軟廣數(shù)據(jù)成功，對識別成功的軟廣數(shù)據(jù)進行相應加工處理；
[0070]疑似處理步驟S202:如果視頻數(shù)據(jù)特征匹配相似度大于范圍B，小于范圍A，則發(fā)現(xiàn)疑似軟廣數(shù)據(jù)，進入審核步驟S50處理；
[0071]低相似度步驟S203:如果視頻數(shù)據(jù)特征匹配相似度小于范圍B，則識別軟廣數(shù)據(jù)失敗，進入系統(tǒng)推薦步驟S30處理。
[0072]其中，系統(tǒng)推薦步驟S30，如圖3所示，包括:
[0073]全自動推薦步驟S301:用于采用視頻節(jié)目的歷史數(shù)據(jù)，作為推薦識別的軟廣數(shù)據(jù)；
[0074]半自動推薦步驟S302:用于采用根據(jù)設定的條件，根據(jù)軟廣植入形式的不同，推薦識別不同的軟廣數(shù)據(jù)；
[0075]高頻推薦步驟S303:根據(jù)軟廣數(shù)據(jù)出現(xiàn)的頻率高低，推薦識別軟廣數(shù)據(jù)。
[0076]其中，編輯步驟S40，如圖3所示，包括:
[0077]廣告邊界截取步驟S401:用于對視頻節(jié)目中植入廣告的開始點和結束點的廣告邊界進行定位；
[0078]推薦方式選擇步驟S402:用于根據(jù)不同的判斷條件分別選擇全自動推薦步驟S301、半自動推薦步驟S302或高頻推薦步驟S303 ;
[0079]檢索步驟S403:如果推薦方式選擇步驟S402中沒有成功識別正確數(shù)據(jù)，則在知識庫中進行信息檢索，直至成功識別軟廣數(shù)據(jù)。
[0080]以下結合附圖對本發(fā)明具體實施例進行詳細說明:
[0081]在本發(fā)明具體實施例中，如圖4所示，本發(fā)明軟廣識別方法的實施步驟包括:
[0082]S1:特征提取，運用神經(jīng)網(wǎng)絡特征提取技術提取出節(jié)目視頻的特征。
[0083]以下闡述神經(jīng)網(wǎng)絡特征提取方法:
[0084]在本發(fā)明具體實施例中，軟廣目前的視覺特征主要是字幕和實物圖片，字幕識別包括區(qū)域檢測和字符識別兩塊。區(qū)域檢測主要是通過sobel邊緣檢測算子提取圖片中的輪廓，然后通過FCM提取字幕區(qū)域；字符識別則采用歸一化的灰度圖像作為輸入層，然后通過卷積神經(jīng)網(wǎng)絡方法(CNN)提取BN特征。對于實物圖片這部分，主要提取sift特征。
[0085]軟廣目前的聲音特征的主要是fb特征，即梅爾子帶能量，將音頻信號通過FFT變換到頻域，通過梅爾掩蔽效應計算出每個頻帶的能量，這樣的特征有很強的抗噪性能。然后輸入到一個經(jīng)典DNN深度神經(jīng)網(wǎng)絡得到每個發(fā)音音素的得分分布。
[0086]S2:特征匹配，讀取模板特征庫中所有的特征，讓之經(jīng)過S1后獲得的特征進行匹配。
[0087]下面闡述特征匹配原理:
[0088]對于視覺特征里面的字符匹配，主要是采用貝葉斯后驗算法進行特征匹配；對于視覺特征里面的實物圖片，則采用bog(bag of words)算法進行匹配；而對于聲音特征，則通過DTW+FSN算法，檢測是音頻流里面的關鍵字(口播商品名等)
[0089]在本發(fā)明具體實施例中，獲得特征匹配結果后，根據(jù)匹配結果做以下策略處理:
[0090]如果相似度高于80 %，則根據(jù)匹配上的模板特征所對應的軟廣信息，給新識別出的數(shù)據(jù)添加軟廣信息(廣告宣傳的產(chǎn)品、品牌、廠商、植入時長、植入類型等信息)并持久化到軟廣數(shù)據(jù)庫中。
[0091 ] 如果相似度介于50 %到80 %之間，則表示發(fā)現(xiàn)一條疑似數(shù)據(jù)。這種數(shù)據(jù)由于相似度不夠理想，所以需要進行審核流程。
[0092]如果相似度低于50%，則直接視為無效識別，進入系統(tǒng)推薦流程。
[0093]S3:系統(tǒng)推薦，系統(tǒng)推薦分為以下幾種:
[0094](1)全自動推薦
[0095]根據(jù)該節(jié)目的歷史植入數(shù)據(jù)，從植入時間偏移量的角度尋找規(guī)律，然后根據(jù)規(guī)律算法推薦出植入信息。這里所說的歷史數(shù)據(jù)，是指該節(jié)目在某一特定時間范圍(本系統(tǒng)中取值90天)內(nèi)的所有植入數(shù)據(jù)。設定節(jié)目的開始時間為T，需要系統(tǒng)推薦的節(jié)目時間段的開始時間為T1，則T1相對于節(jié)目開始點的時間偏移量Λ T = Tl-To從軟廣數(shù)據(jù)庫中統(tǒng)計出該欄目最近90天內(nèi)所有廣告主(在該欄目投放植入投放廣告的公司、品牌、產(chǎn)品)的植入偏移量集合為C{AT1，Δ T2, ΛΤ3^..ΛΤη-1，Λ Τη}。再計算出C介于Δ T左右波動5分鐘范圍內(nèi)的數(shù)據(jù)并按接近程度從大到小排序后取前10條數(shù)據(jù)形成集合S{ Δ S1, Δ S2, AS3^"AS9，Λ S10}。集合S即為系統(tǒng)全自動推薦數(shù)據(jù)。
[0096](2)半自動推薦
[0097]半自動推薦需要設定條件，根據(jù)軟廣植入的形式的不同，本系統(tǒng)將軟廣植入形式分為口播、角標、飛字、貼片、標版、地標、片尾鳴謝、實物擺放、壓屏條、燈箱等50多種植入類型，簡稱軟廣類型。半自動推薦在全自動推薦的基礎上加上軟廣類型的限制即可得到半自動推薦結果，即全自動推薦和半自動推薦的差別在于半自動推薦獲取的歷史數(shù)據(jù)是該欄目最近90天內(nèi)擁有某一類型植入的所有廣告主植入數(shù)據(jù)。然后計算出對應的植入偏移量集合C，通過C推算出對應的推薦數(shù)據(jù)集合S。半自動推薦獲取偏移量集合C和推薦集合S的算法和全自動一致。但是半自動推薦的數(shù)據(jù)相對來說更為精確。
[0098](3)高頻推薦
[0099]前面兩種推薦方式主要適用于植入分布時間比較規(guī)律的節(jié)目，對于植入時間不規(guī)律的數(shù)據(jù)，系統(tǒng)采用高頻推薦。獲取該欄目最近兩期(集)所有軟廣植入數(shù)據(jù)并按廣告主分組統(tǒng)計每個廣告主出現(xiàn)的頻率，然后按頻率從高到底排序形成推薦結合C。高頻推薦不關注廣告植入時間的偏移量，只關注廣告主在歷史植入中的頻率。這種推薦思想主要是盡量減少重復操作。
[0100]對于經(jīng)過特征匹配后相似度低于50%的數(shù)據(jù)。系統(tǒng)默認采用全自動推薦方式進行推薦，系統(tǒng)首先自動計算出推薦集合S，并去S中第一條數(shù)據(jù)對應的軟廣信息回填到軟廣編輯界面。然后確認正確性，如果確認無誤，則點擊保存，數(shù)據(jù)持久化入庫。反之，可選擇其他推薦方式或編輯。對于系統(tǒng)的默認推薦方式，可根據(jù)每個節(jié)目的植入特性設定。同一個欄目只需要設定一次，該欄目以后的節(jié)目的推薦方式自動生效。
[0101]S4:編輯
[0102]編輯主要針對未識別和系統(tǒng)推薦錯誤的數(shù)據(jù)進行時間(植入開始和結束時間)精確定位、廣告主信息檢索與填充，最后保存入庫。編輯步驟的詳細流程如圖5所示。
[0103]S41:廣告邊界截取
[0104]編輯過程中，系統(tǒng)首先加載節(jié)目視頻，然后進行植入廣告的開始點和結束點的廣告邊界定位。這一步主要確定廣告的開始時間和結束時間。系統(tǒng)播放器采用mediaplayer并用其視頻幀控件加以視頻輔助控制，通過視頻幀控件，可以讓視頻逐幀播放。然后調(diào)用播放器和視頻幀控件JS接口(以下簡稱API)，通過定義的快捷鍵，分別記錄開始點和結束點。根據(jù)視頻播放進度的某一位置計算廣告開始時間和結束時間的原理是:在視頻播放過程中或當視頻暫停到某一位置，當標記開始點時。通過API獲取到當前視頻播放點相對于當前視頻文件開始位置的時間偏移量，然后用該偏移量加上該視頻對應的時間即可得到廣告開始時間，同理可獲得結束時間。
[0105]S42:推薦方式選擇
[0106]完成邊界截取后，系統(tǒng)根據(jù)S41中取得的開始時間進行全自動推薦，并自動回填命中率最高的第一條數(shù)據(jù)。然后操作員判斷該推薦結果是否正確，如果不正確可選擇推薦集合中的其他數(shù)據(jù)，如果整個推薦集合都不正確，那么需要更換推薦方式，或者手動編輯。如果選擇半自動推薦方式，則需要選擇當前數(shù)據(jù)的軟廣植入類型。如果選擇半自動推薦和高頻推薦后，依舊找不到正確數(shù)據(jù)，則通過視頻內(nèi)容確定植入信息并做廣告信息檢索。如果在全自動推薦、半自動推薦和高頻推薦中找到了正確數(shù)據(jù)，則點擊保存即可結束該條數(shù)據(jù)的編輯工作。
[0107]S43:檢索
[0108]如果所有推薦方式都不能匹配出正確數(shù)據(jù)，或者不需要系統(tǒng)推薦也能快速完成編輯，那么進入檢索流程。首先，需要通過系統(tǒng)在知識庫中對當前軟廣數(shù)據(jù)的廣告主信息進行檢索。如果能檢索到正確結果，選擇填充即可保存數(shù)據(jù)。反之，如果知識庫中不存在該廣告主信息，則需要進行互聯(lián)網(wǎng)檢索。確定互聯(lián)網(wǎng)檢索結果無誤后，需要將檢索到的信息通過系統(tǒng)保存到知識庫中，隨后再保存當前軟廣數(shù)據(jù)即可完成編輯工作。
[0109]S5:審核
[0110]為保證數(shù)據(jù)的精確度，系統(tǒng)添加了一道審核的流程。審核的數(shù)據(jù)范圍包括機器識別的疑似數(shù)據(jù)和編輯的數(shù)據(jù)。系統(tǒng)加載節(jié)目視頻，當點擊視頻播放后，如果當前播放點對應的時間在軟廣庫中有數(shù)據(jù)，那么系統(tǒng)將加載出相關數(shù)據(jù)并暫停播放視頻。核對當前視頻畫面和已保存的軟廣數(shù)據(jù)。如果存在錯誤，則將數(shù)據(jù)打回到編輯流程。如果數(shù)據(jù)正確無誤，則點擊“通過”按鈕標示數(shù)據(jù)合格。當數(shù)據(jù)被標示