專利名稱：基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送方法與系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理領(lǐng)域，特別涉及一種基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送方法與系統(tǒng)。
背景技術(shù)：
近年來，互聯(lián)網(wǎng)上的視頻數(shù)目在迅速增加，而這些海量視頻的存在極大地促進(jìn)了在線視頻廣告等服務(wù)的發(fā)展。目前，已經(jīng)有多種基于不同準(zhǔn)則將視頻和廣告關(guān)聯(lián)的方法在視頻網(wǎng)站和視頻播放軟件中投入了使用。一般來說，這些方法主要強(qiáng)調(diào)對預(yù)定義廣告的推送，包括1)時(shí)域插入廣告。如附圖1(a)所示，指在視頻的開頭緩沖、中途暫停或結(jié)尾播放一段預(yù)定義的廣告，形式可以為圖片、視頻等。2)周邊關(guān)聯(lián)廣告。如附圖1(b)所示，指當(dāng)視頻播放時(shí)，在視頻播放器的周邊(如網(wǎng)頁、播放器邊框)顯示預(yù)定義廣告。3)部分疊加廣告。如附圖1(c)所示，指在視頻的部分內(nèi)容上疊加小型廣告(圖片或簡單的FLASH)，通常不影響視頻主要部分。目前，以上三種廣告推送的方法都得到了廣泛的應(yīng)用。然而這些廣告推送的效果并不理想，比如第1種方法播放廣告時(shí)，用戶常常處于瀏覽其他網(wǎng)頁的狀態(tài)，降低了廣告效果；第2種方法雖然干擾較小，但廣告常常被作為網(wǎng)頁背景而忽視；第3種方法則在一定程度上影響了用戶正常的觀看體驗(yàn)。而最主要的問題在于，上述推送的廣告與內(nèi)容的關(guān)聯(lián)程度一般較低，且不能滿足每個(gè)用戶個(gè)性化的興趣需求，因此廣告所達(dá)到的效果較差。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供一種基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送方法和系統(tǒng)，用以解決現(xiàn)有的推送廣告與內(nèi)容的關(guān)聯(lián)程度低，且不能滿足每個(gè)用戶個(gè)性化興趣需求的問題。本發(fā)明實(shí)施例提供了一種基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送方法，包括通過多任務(wù)排序?qū)W習(xí)得到多個(gè)用戶興趣模型；根據(jù)所述用戶興趣模型，在視頻中提取興趣物體；提取所述興趣物體的多種視覺特征，根據(jù)所述視覺特征在廣告庫中檢索相關(guān)的廣
告fn息。本發(fā)明實(shí)施例還提供了一種基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送系統(tǒng)，包括興趣模型學(xué)習(xí)模塊，用于通過多任務(wù)排序?qū)W習(xí)得到多個(gè)用戶興趣模型；興趣物體提取模塊，用于根據(jù)所述用戶興趣模型，在視頻中提取興趣物體；廣告檢索模塊，用于提取所述興趣物體的多種視覺特征，根據(jù)所述視覺特征在廣告庫中檢索相關(guān)的廣告信息。由上述技術(shù)方案可知，本發(fā)明實(shí)施例利用多任務(wù)排序?qū)W習(xí)算法獲得用戶興趣模型，并在此基礎(chǔ)上針對不同用戶自動(dòng)提取視頻中的興趣區(qū)域，然后使用興趣區(qū)域進(jìn)行廣告信息關(guān)聯(lián)。通過這樣的方式提供的廣告不僅和視頻內(nèi)容緊密相關(guān)，而且從一定程度上滿足了用戶的個(gè)性化要求，實(shí)現(xiàn)了個(gè)性化的廣告推送。


為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的實(shí)施方式。圖1為現(xiàn)有的廣告推送方法示意圖；圖2為本發(fā)明實(shí)施例提供的基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送方法流程示意圖；圖3為本發(fā)明實(shí)施例提供的用戶興趣模型學(xué)習(xí)流程示意圖；圖4為本發(fā)明實(shí)施例提供的視頻興趣物體提取流程示意圖；圖5為本發(fā)明實(shí)施例提供的在視頻興趣物體提取流程中獲取的關(guān)鍵幀的興趣度分布示意圖；圖6為本發(fā)明實(shí)施例提供的基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送系統(tǒng)示意圖；圖7為本發(fā)明實(shí)施例提供的基于圖6所示系統(tǒng)的數(shù)據(jù)流動(dòng)示意圖；圖8為依據(jù)本發(fā)明實(shí)施例提供的方法和系統(tǒng)生成的廣告推送效果示意圖。
具體實(shí)施例方式下面結(jié)合附圖對本發(fā)明的具體實(shí)施例作進(jìn)一步詳細(xì)的說明。在本發(fā)明提供的實(shí)施例中，系統(tǒng)首先根據(jù)預(yù)先收集的內(nèi)容各異的場景集合與用戶對這些場景的興趣反饋，采用一種多任務(wù)排序?qū)W習(xí)算法訓(xùn)練得到用戶興趣模型，并同時(shí)得到場景分類及用戶分類。包括場景底層視覺特征提取、場景和用戶初始隨機(jī)分類、興趣模型參數(shù)計(jì)算等步驟。然后，系統(tǒng)在播放視頻的同時(shí)檢測關(guān)鍵幀，根據(jù)在模型學(xué)習(xí)過程中得到的場景類別，將關(guān)鍵幀所對應(yīng)的場景分類，再由各用戶的興趣模型分別計(jì)算生成興趣度圖。最后，利用區(qū)域生長的方法，從興趣度圖中生成一個(gè)興趣度較高的區(qū)域作為興趣物體，并根據(jù)其多種特征在廣告信息庫中檢索相關(guān)廣告，最后輸出帶個(gè)性化廣告的視頻流。其中，興趣物體的特征反映物體不同角度不同層次的視覺特性，包括但不限于顏色、結(jié)構(gòu)、輪廓、紋理特征，優(yōu)選地，本發(fā)明實(shí)施例中提取興趣物體的HSV顏色直方圖、Gabor直方圖、SIFT直方圖、 視紋特征。同時(shí)檢索方法為一種快速匹配算法，并且對于不同特征采取不同的匹配方法。圖2為本發(fā)明實(shí)施例提供的基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送方法的流程示意圖。如圖2所示，本實(shí)施例可以包括以下步驟步驟201、興趣模型學(xué)習(xí)通過多任務(wù)排序?qū)W習(xí)算法得到多個(gè)用戶興趣模型。其中，如圖3所示，該步驟進(jìn)一步包括步驟2011、獲取各種場景以及用戶對各場景的興趣反饋。具體地，所述場景可以包括多個(gè)方面的主題，比如廣告、新聞、卡通、電影等。用戶可以通過簡單的交互，在這些場景中標(biāo)注出興趣物體。由于即使在相同的場景中，不同用戶的感興趣點(diǎn)也不一樣，因此可以用如下方式來表征場景集合、用戶集合及它們之間的聯(lián)系
權(quán)利要求
1.一種基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送方法，其特征在于，該方法包括 通過多任務(wù)排序?qū)W習(xí)得到多個(gè)用戶興趣模型；根據(jù)所述用戶興趣模型，在視頻中提取興趣物體；提取所述興趣物體的多種視覺特征，根據(jù)所述視覺特征在廣告庫中檢索相關(guān)的廣告信信息。
2.如權(quán)利要求1所述的基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送方法，其特征在于，所述通過多任務(wù)排序?qū)W習(xí)得到多個(gè)用戶興趣模型，具體包括獲取訓(xùn)練數(shù)據(jù)中的各種場景，提取所述各場景中各宏塊的底層視覺特征； 根據(jù)所述底層視覺特征，通過多任務(wù)排序?qū)W習(xí)算法，進(jìn)行用戶聚類和場景聚類，并為每類用戶在每類場景上構(gòu)建興趣模型。
3.如權(quán)利要求2所述的基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送方法，其特征在于，所述提取所述各場景中各宏塊的底層視覺特征具體為從多尺度多視覺通道上提取所述各場景中各宏塊的底層視覺特征。
4.如權(quán)利要求2或3所述的基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送方法，其特征在于，所述底層視覺特征包括局部特征和全局特征。
5.如權(quán)利要求4所述的基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送方法，其特征在于，所述局部特征是通過計(jì)算宏塊與其周邊宏塊的多種視覺特性的差異得到的；所述全局特征是通過計(jì)算宏塊與其所在的整個(gè)場景的多種視覺特性的差異得到的。
6.如權(quán)利要求2所述的基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送方法，其特征在于，所述通過多任務(wù)排序?qū)W習(xí)算法，進(jìn)行用戶聚類和場景聚類，并為每類用戶在每類場景上構(gòu)建興趣模型，具體包括隨機(jī)將用戶和場景分別組合為多個(gè)類別，并為每類用戶在每類場景上初始化一個(gè)興趣模型；使用初始化后的興趣模型在訓(xùn)練集上建立損失函數(shù)，作為最優(yōu)化目標(biāo)； 通過最優(yōu)化算法，最小化損失函數(shù)，進(jìn)而更新各個(gè)興趣模型參數(shù)值，并優(yōu)化用戶和場景的聚類劃分；獲取最終的用戶和場景聚類以及多個(gè)用戶興趣模型。
7.如權(quán)利要求6所述的基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送方法，其特征在于，所述損失函數(shù)包括經(jīng)驗(yàn)損失和懲罰損失。
8.如權(quán)利要求7所述的基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送方法，其特征在于，所述經(jīng)驗(yàn)損失具體為所述各場景中各宏塊的底層視覺特征在所述興趣模型下的函數(shù)值和該場景對應(yīng)的用戶反饋的興趣值的差異。
9.如權(quán)利要求7所述的基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送方法，其特征在于，所述懲罰損失包括場景聚類懲罰，用戶聚類懲罰，模型差別懲罰和模型復(fù)雜度懲罰。
10.如權(quán)利要求1所述的基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送方法，其特征在于，所述根據(jù)所述用戶興趣模型，在視頻中提取興趣物體，具體包括接收輸入的視頻流，檢測所述視頻流中內(nèi)容具有代表性的關(guān)鍵幀； 對每一個(gè)關(guān)鍵幀，根據(jù)其宏塊的底層視覺特征計(jì)算出該關(guān)鍵幀對應(yīng)場景的整體視覺特征；根據(jù)所述整體視覺特征，將所述關(guān)鍵幀對應(yīng)的場景歸入構(gòu)建用戶興趣模型過程中所劃分的場景類別中的其中一類；根據(jù)所述得到的用戶興趣模型，計(jì)算所述關(guān)鍵幀所在場景的興趣度分布圖；從所述興趣度分布圖中提取出興趣度最高的物體。
11.如權(quán)利要求10所述的基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送方法，其特征在于，所述將所述關(guān)鍵幀對應(yīng)的場景歸入構(gòu)建用戶興趣模型過程中所劃分的場景類別中的其中一類，具體為利用所述場景中宏塊的底層視覺特征計(jì)算出該場景的整體特征，根據(jù)所述整體特征對該場景進(jìn)行分類。
12.如權(quán)利要求10所述的基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送方法，其特征在于，所述根據(jù)所述得到的用戶興趣模型，計(jì)算所述關(guān)鍵幀所在場景的興趣度分布圖，具體為利用所述得到的用戶興趣模型，推斷出所述關(guān)鍵幀所在場景內(nèi)候選塊的排序，并將其映射為各候選塊的興趣程度，從而得到場景興趣度分布圖。
13.如權(quán)利要求10所述的基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送方法，其特征在于，所述從所述興趣度分布圖中提取出興趣度最高的物體，具體為在所述興趣度分布圖中確定興趣度最高的宏塊；根據(jù)該宏塊利用區(qū)域生長技術(shù)獲得興趣度高的區(qū)域，并將其作為興趣物體。
14.一種基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送系統(tǒng)，其特征在于，該系統(tǒng)包括興趣模型學(xué)習(xí)模塊，用于通過多任務(wù)排序?qū)W習(xí)得到多個(gè)用戶興趣模型；興趣物體提取模塊，用于根據(jù)所述用戶興趣模型，在視頻中提取興趣物體；廣告檢索模塊，用于提取所述興趣物體的多種視覺特征，根據(jù)所述視覺特征在廣告庫中檢索相關(guān)的廣告信息。
15.如權(quán)利要求14所述的基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送系統(tǒng)，其特征在于，所述興趣模型學(xué)習(xí)模塊包括特征提取子模塊，用于獲取訓(xùn)練數(shù)據(jù)中的各種場景，提取所述各場景中各宏塊的底層視覺特征；初始化子模塊，用于根據(jù)所述底層視覺特征，隨機(jī)將用戶和場景分別組合為多個(gè)類別， 并為每類用戶在每類場景上初始化一個(gè)興趣模型；優(yōu)化子模塊，用于使用初始化后的興趣模型在訓(xùn)練集上建立損失函數(shù)，作為最優(yōu)化目標(biāo)，通過最優(yōu)化算法，最小化所述損失函數(shù)，進(jìn)而更新各個(gè)興趣模型參數(shù)值，優(yōu)化用戶和場景的聚類劃分；結(jié)果獲取子模塊，用于獲取最終的用戶和場景聚類以及多個(gè)用戶興趣模型。
16.如權(quán)利要求14所述的基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送系統(tǒng)，其特征在于，所述興趣物體提取模塊包括關(guān)鍵幀檢測子模塊，用于接收輸入的視頻流，檢測所述視頻流中內(nèi)容具有代表性的關(guān)鍵幀；特征計(jì)算子模塊，用于對每一個(gè)關(guān)鍵幀，根據(jù)其宏塊的底層視覺特征計(jì)算出該關(guān)鍵幀對應(yīng)場景的整體視覺特征；場景歸類子模塊，用于根據(jù)所述整體視覺特征，將所述關(guān)鍵幀對應(yīng)的場景歸入構(gòu)建用戶興趣模型過程中所劃分的場景類別中的其中一類；興趣度計(jì)算子模塊，用于根據(jù)用戶興趣模型，計(jì)算所述關(guān)鍵幀所在場景的興趣度分布圖；區(qū)域生長子模塊，用于通過區(qū)域生長算法在所述興趣度分布圖上獲得興趣度最高的區(qū)域，作為興趣物體。
全文摘要
本發(fā)明實(shí)施例涉及一種基于用戶興趣學(xué)習(xí)的個(gè)性化廣告推送方法和系統(tǒng)，所述方法包括通過多任務(wù)排序?qū)W習(xí)得到多個(gè)用戶興趣模型；根據(jù)所述用戶興趣模型，在視頻中提取興趣物體；提取所述興趣物體的多種視覺特征，根據(jù)所述視覺特征在廣告庫中檢索相關(guān)的廣告信息。通過本發(fā)明實(shí)施例提供的方法和系統(tǒng)，推送的廣告和視頻內(nèi)容緊密相關(guān)，從一定程度上滿足了用戶的個(gè)性化要求，實(shí)現(xiàn)了個(gè)性化的廣告推送。
文檔編號G06F17/30GK102334118SQ201080006502
公開日2012年1月25日 申請日期2010年11月29日 優(yōu)先權(quán)日2010年11月29日
發(fā)明者嚴(yán)軍, 余昊男, 張軍, 李甲, 田永鴻, 高云超 申請人:北京大學(xué), 華為技術(shù)有限公司