一種基于視頻內(nèi)容感知的廣告推薦方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于視頻內(nèi)容感知領(lǐng)域，尤其涉及一種互聯(lián)網(wǎng)視頻內(nèi)容感知的廣告推薦方 法及系統(tǒng)。
【背景技術(shù)】
[0002] 近年來(lái)，在互聯(lián)網(wǎng)廣告快速和持續(xù)發(fā)展的同時(shí)，網(wǎng)絡(luò)視頻得到大量普及。互聯(lián)網(wǎng) 廣告市場(chǎng)存在著巨大商機(jī)，吸引著互聯(lián)網(wǎng)公司開(kāi)發(fā)新的多媒體廣告，比如谷歌的AdSense， YouTube的植入式視頻廣告和雅虎視頻等等。大多數(shù)企業(yè)宣稱(chēng)自己的產(chǎn)品和用戶(hù)體驗(yàn)在線(xiàn) 廣告上獲得了重大的進(jìn)步，但是廣告的根本目標(biāo)并沒(méi)有改變。它的目的在于吸引真正想購(gòu) 買(mǎi)的用戶(hù)，而減少對(duì)不感興趣的用戶(hù)的干擾。在現(xiàn)實(shí)世界的廣告系統(tǒng)中，這兩個(gè)目標(biāo)是沖突 的，即提高收入和改善用戶(hù)體驗(yàn)，所以需要權(quán)衡這兩個(gè)目標(biāo)，尋找出版商和用戶(hù)之間的一種 折衷的關(guān)鍵是使廣告更具吸引力并且減少干擾。
[0003] 從廣告出版商的角度，在線(xiàn)廣告的效果通常是廣告受眾對(duì)一個(gè)廣告或品牌認(rèn)知度 的表現(xiàn)。最近研宄發(fā)現(xiàn)，對(duì)用戶(hù)體驗(yàn)的深度理解可以幫助理解在線(xiàn)廣告所產(chǎn)生的本質(zhì)和正、 負(fù)面的影響，因此，用戶(hù)體驗(yàn)從另一個(gè)角度反應(yīng)了廣告投放的效果。人們已經(jīng)認(rèn)識(shí)到，干擾 和廣告的不相關(guān)性會(huì)對(duì)用戶(hù)體驗(yàn)造成負(fù)面影響。干擾是認(rèn)知或心理過(guò)程在持續(xù)進(jìn)行中受到 突然的打擾，比如在激動(dòng)人心的電影畫(huà)面后播放與視頻無(wú)關(guān)的廣告。因此，有效的在線(xiàn)廣告 推薦系統(tǒng)的設(shè)計(jì)應(yīng)該考慮到視頻內(nèi)容與廣告的相關(guān)性并降低干擾。
[0004] 隨著個(gè)人計(jì)算機(jī)和移動(dòng)手持設(shè)備的普及，網(wǎng)絡(luò)視頻已經(jīng)成為最常用的網(wǎng)絡(luò)服務(wù)之 一。觀看在線(xiàn)視頻已經(jīng)從一個(gè)很小的活動(dòng)變?yōu)榛ヂ?lián)網(wǎng)的主流。除此之外，網(wǎng)絡(luò)視頻所占用 的流量也快速增長(zhǎng)。思科預(yù)測(cè)，全球范圍內(nèi)，網(wǎng)絡(luò)視頻將會(huì)在2016占據(jù)互聯(lián)網(wǎng)流量的55%。 對(duì)于在線(xiàn)視頻網(wǎng)站，大部分收入來(lái)自于廣告。2012年，中國(guó)在線(xiàn)視頻市場(chǎng)規(guī)模達(dá)90億人民 幣（約合14.7億美元），比去年同期相比增加43.9%。在線(xiàn)視頻網(wǎng)站的收入增長(zhǎng)主要源于 廣告收入的增長(zhǎng)。在線(xiàn)視頻網(wǎng)站的廣告形式是非常多樣的，包括Flash廣告，富媒體廣告， 關(guān)鍵字廣告。在中國(guó)網(wǎng)絡(luò)廣告市場(chǎng)中，在植入式視頻廣告的收入的市場(chǎng)份額只有6. 4%。相 對(duì)于其所占的網(wǎng)絡(luò)流量，這點(diǎn)市場(chǎng)份額顯得太微不足道。本文認(rèn)為，低市場(chǎng)份額可能主要是 由于普遍采用在視頻的開(kāi)頭或末尾顯示廣告的廣告策略。在這種策略中，用戶(hù)被迫觀看廣 告，但他們通常忽略它，因?yàn)樗c視頻的內(nèi)容無(wú)關(guān)。為了提高吸引力，降低廣告對(duì)用戶(hù)干擾， 可以在播放視頻的同時(shí)插入廣告，確保廣告與視頻內(nèi)容相關(guān)。特別地，可以讓廣告與視頻流 中出現(xiàn)的物體相關(guān)。例如，一個(gè)用戶(hù)可能是朱莉婭?羅伯茨的粉絲。當(dāng)用戶(hù)觀看電影《諾丁 山》，他或她可能會(huì)被佩戴朱莉婭?羅伯茨裙子所吸引。此時(shí)，如果一個(gè)類(lèi)似的裙子的廣告 彈出到屏幕上或朱莉婭?羅伯茨附近，用戶(hù)可能會(huì)很樂(lè)意點(diǎn)擊，而不是對(duì)廣告感到反感。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于提供一種基于視頻內(nèi)容感知的廣告推薦方法及系統(tǒng)，旨在解決 上述的技術(shù)問(wèn)題。
[0006] 本發(fā)明是這樣實(shí)現(xiàn)的，一種基于視頻內(nèi)容感知的廣告推薦方法，所述廣告推薦方 法包括以下步驟：
[0007] A、鏡頭分割步驟，利用基于聚類(lèi)的方法將源視頻分割為獨(dú)立的場(chǎng)景；
[0008] B、對(duì)象檢測(cè)步驟，對(duì)每個(gè)獨(dú)立場(chǎng)景利用基于區(qū)域卷積特征探測(cè)獲得視頻中物體的 相關(guān)信息；
[0009] C、廣告圖片檢索步驟，利用衣服檢索和基于類(lèi)別的策略在數(shù)據(jù)庫(kù)中搜索匹配物體 的廣告對(duì)象；
[0010] D、廣告目標(biāo)物體優(yōu)化步驟，對(duì)搜索到的匹配物體的廣告對(duì)象通過(guò)優(yōu)化處理得到候 選廣告；
[0011] E、廣告插入位置優(yōu)化步驟，優(yōu)化廣告和目標(biāo)物之間的距離及廣告與所有物體之間 的重疊區(qū)域的面積。
[0012] 本發(fā)明的進(jìn)一步技術(shù)方案是：所述鏡頭分割步驟包括以下步驟：
[0013] A1、根據(jù)視頻時(shí)間計(jì)算聚類(lèi)的類(lèi)別數(shù)目N;
[0014] A2、根據(jù)時(shí)間隨機(jī)選取N個(gè)幀作為初始中心；
[0015] A3、分別計(jì)算每幀與時(shí)間相近中心的距離并更新中心；
[0016] A4、重復(fù)步驟A3知道收斂或達(dá)到運(yùn)行次數(shù)上限。
[0017] 本發(fā)明的進(jìn)一步技術(shù)方案是：所述對(duì)象檢測(cè)步驟包括以下步驟：
[0018] B1、運(yùn)用選擇性地搜索在獨(dú)立場(chǎng)景中生成與類(lèi)別獨(dú)立的候選區(qū)域；
[0019] B2、利用CNN網(wǎng)絡(luò)對(duì)每個(gè)候選區(qū)域提取4096維特征向量并在倒數(shù)第二層輸出；
[0020] B3、對(duì)提取的4096維特征向量的物體分類(lèi)。
[0021] 本發(fā)明的進(jìn)一步技術(shù)方案是：所述廣告圖片檢索步驟包括以下步驟：
[0022] C1、利用基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)視頻中人進(jìn)行性別識(shí)別；
[0023] C2、對(duì)視頻中人的人體特征提?。?br>[0024] C3、對(duì)提取的人體特征進(jìn)行特征匹配。
[0025] 本發(fā)明的進(jìn)一步技術(shù)方案是：廣告插入視頻中是采用的無(wú)縫插入。
[0026] 本發(fā)明的另一目的在于提供一種基于視頻內(nèi)容感知的廣告推薦系統(tǒng)，所述廣告推 薦系統(tǒng)包括：
[0027] 鏡頭分割模塊，用于利用基于聚類(lèi)的方法將源視頻分割為獨(dú)立的場(chǎng)景；
[0028] 對(duì)象檢測(cè)模塊，用于對(duì)每個(gè)獨(dú)立場(chǎng)景利用基于區(qū)域卷積特征探測(cè)獲得視頻中物體 的相關(guān)彳目息；
[0029] 廣告圖片檢索模塊，用于利用衣服檢索和基于類(lèi)別的策略在數(shù)據(jù)庫(kù)中搜索匹配物 體的廣告對(duì)象；
[0030] 廣告目標(biāo)物體優(yōu)化模塊，用于對(duì)搜索到的匹配物體的廣告對(duì)象通過(guò)優(yōu)化處理得到 候選廣告；
[0031] 廣告插入位置優(yōu)化模塊，用于優(yōu)化廣告和目標(biāo)物之間的距離及廣告與所有物體之 間的重疊區(qū)域的面積。
[0032] 本發(fā)明的進(jìn)一步技術(shù)方案是：所述鏡頭分割模塊包括：
[0033] 類(lèi)別數(shù)目統(tǒng)計(jì)單元，用于根據(jù)視頻時(shí)間計(jì)算聚類(lèi)的類(lèi)別數(shù)目N;
[0034] 中心初始化單元，用于根據(jù)時(shí)間隨機(jī)選取N個(gè)幀作為初始中心；
[0035] 距離計(jì)算單元，用于分別計(jì)算每幀與時(shí)間相近中心的距離并更新中心；
[0036] 反復(fù)計(jì)算單元，重復(fù)步驟A3知道收斂或達(dá)到運(yùn)行次數(shù)上限。
[0037] 本發(fā)明的進(jìn)一步技術(shù)方案是：所述對(duì)象檢測(cè)模塊包括：
[0038] 區(qū)域生成單元，用于運(yùn)用選擇性地搜索在獨(dú)立場(chǎng)景中生成與類(lèi)別獨(dú)立的候選區(qū) 域；
[0039] 提取單元，用于利用CNN網(wǎng)絡(luò)對(duì)每個(gè)候選區(qū)域提取4096維特征向量并在倒數(shù)第二 層輸出；
[0040] 分類(lèi)單元，用于對(duì)提取的4096維特征向量的物體分類(lèi)。
[0041] 本發(fā)明的進(jìn)一步技術(shù)方案是：所述廣告圖片檢索模塊包括：
[0042] 性別識(shí)別單元，用于利用基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)視頻中人進(jìn)行性別識(shí)別；
[0043] 特征提取單元，用于對(duì)視頻中人的人體特征提??；
[0044] 特征匹配單元，用于對(duì)提取的人體特征進(jìn)行特征匹配。
[0045] 本發(fā)明的進(jìn)一步技術(shù)方案是：廣告插入視頻中是采用的無(wú)縫插入。
[0046] 本發(fā)明的有益效果是：開(kāi)發(fā)了一個(gè)視頻廣告推薦系統(tǒng)，同時(shí)考慮到內(nèi)容相關(guān)性和 插入廣告的干擾。對(duì)于給定視頻，該系統(tǒng)能夠自動(dòng)探測(cè)到出現(xiàn)的視頻物體，并選擇與該物 體相關(guān)的廣告，然后把所選擇的廣告插入在相關(guān)物體出現(xiàn)的位置。特別是，對(duì)于服裝廣告， 本發(fā)明設(shè)計(jì)了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的方法識(shí)別人的性別，然后提取特征進(jìn)行衣服檢 索。最后，對(duì)于物體級(jí)視頻廣告系統(tǒng)（ObjectLevelVideoAdvertising，OLVA)，本發(fā)明提 出了全局的優(yōu)化模型，該模型考慮了視頻廣告四個(gè)方面：內(nèi)容的相關(guān)性，對(duì)用戶(hù)的吸引度， 廣告展示時(shí)間的分散性，廣告類(lèi)別的多樣性。具體來(lái)說(shuō)，本發(fā)明的主要貢獻(xiàn)有以下三點(diǎn)：首 先，提出了OLVA的在線(xiàn)視頻廣告的框架。在此框架下，廣告發(fā)行商可以自動(dòng)探測(cè)由視頻物 體，并插入與視頻內(nèi)容相關(guān)的廣告，而無(wú)需使用任何其他的信息，如描述視頻的文本信息。 二，為了提高用戶(hù)體驗(yàn)，提出了一個(gè)優(yōu)化模型，該模型旨在提高廣告的吸引力，降低對(duì)用戶(hù) 的干擾。本發(fā)明提出了一種啟發(fā)式算法（HeuristicAlgorithm，HA)，來(lái)解決優(yōu)化問(wèn)題。本 發(fā)明還采用遺傳算法（GeneticAlgorithm，GA)，用合適的基因編碼方式解決全局優(yōu)化問(wèn) 題。在進(jìn)一步的工作中，本發(fā)明對(duì)比了兩種方法的實(shí)驗(yàn)結(jié)果。這項(xiàng)工作表明，遺傳算法相對(duì) 于啟發(fā)式算法能得到更好的全局最優(yōu)解，但是需要的運(yùn)算時(shí)間較長(zhǎng)。與此相反，啟發(fā)式算法 所需的運(yùn)算時(shí)間較短，同時(shí)為視頻廣告的優(yōu)化問(wèn)題產(chǎn)生令人滿(mǎn)意的解決方案。三，在所提出 的框架下，對(duì)視頻展示的策略進(jìn)行了討論。在視頻廣告的展示中，本發(fā)明提出了廣告展示位 置的優(yōu)化模型，旨在最大限度地縮小了選擇的廣告和目標(biāo)物體的距離，以及廣告和視頻中 出現(xiàn)的物體之間的重疊區(qū)域的面積。本發(fā)明采用梯度下降法求出最優(yōu)位置，然后在屏幕上 的最佳位置顯示廣告。
【附圖說(shuō)明】
[0047] 圖1是本發(fā)明實(shí)施例提供的基于視頻內(nèi)容感知的廣告推薦方法的流程圖；
[0048] 圖2是本發(fā)明實(shí)施例提供的基于視