專利名稱：一種新聞檢索結(jié)果的多媒體摘要生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多媒體內(nèi)容分析與理解領(lǐng)域，特別是一種新聞檢索結(jié)果的多媒體摘要生成方法。
背景技術(shù)：
隨著信息技術(shù)的發(fā)展和網(wǎng)絡(luò)的全球化，在線新聞越來越多并且也越來越受歡迎， 變成了人們?nèi)粘Ｉ町?dāng)中獲取信息的一種重要的途徑。人們可以通過一些主要的網(wǎng)絡(luò)門戶網(wǎng)站，如雅虎、MSN等；或者大型新聞網(wǎng)站，如CNN、AOL和MSNBC等，及時獲取和瀏覽各種以文本、圖片或視頻形式呈現(xiàn)的多媒體新聞信息。但是每天都有大量的多媒體新聞涌現(xiàn)出來， 迫使用戶陷入“信息泛濫“的尷尬境地，使其難以快速獲取個人所需的新聞資訊，更難以全面了解新聞事件及其前因后果。因此，研究如何有效地挖掘與分析這些海量多媒體新聞數(shù)據(jù)，讓用戶快速全面地了解時事新聞是一項十分必要的任務(wù)。

發(fā)明內(nèi)容
鑒于此，本發(fā)明提出了一種對于新聞檢索結(jié)果的多媒體摘要生成方法，針對用戶檢索的相關(guān)新聞結(jié)果進(jìn)行二次整合，并通過總結(jié)摘要的方式連續(xù)緊湊地展示給用戶，使用戶能夠快速生動地了解新聞事件及其前因后果。這就需要挖掘出檢索結(jié)果中潛在的主題結(jié)構(gòu)，從每個主題中篩選出最具權(quán)威的代表性新聞文檔和新聞圖片來表示該主題，進(jìn)一步將各個主題串接起來，為用戶展示一個連續(xù)緊湊的新聞事件發(fā)展過程。為達(dá)到上述目的，本發(fā)明提出一種新聞檢索結(jié)果的多媒體摘要生成方法，其特征在于，該方法包括以下步驟步驟1，將從互聯(lián)網(wǎng)新聞網(wǎng)站上爬取的新聞數(shù)據(jù)組成新聞數(shù)據(jù)庫，并對新聞數(shù)據(jù)庫中的新聞數(shù)據(jù)進(jìn)行預(yù)處理；步驟2，基于用戶文本查詢在新聞數(shù)據(jù)庫中進(jìn)行新聞信息檢索，并按照新聞數(shù)據(jù)庫中的新聞文檔與用戶文本的相關(guān)性從大到小的順序排列檢索到的新聞文檔；步驟3，基于順序排列的新聞文檔，計算新聞文檔之間的文本相似度S，并使用層次化的潛在狄利克雷分布模型挖掘出新聞檢索結(jié)果中的主題層次樹結(jié)構(gòu)，計算新聞文檔基于層次樹結(jié)構(gòu)的相似度最終得到新聞文檔之間的相似度S。。mb ；步驟4，根據(jù)步驟3得到的新聞文檔之間的相似度S。。mb，基于權(quán)重聚合方法和最大池模型從下至上地為每個主題選擇最具權(quán)威的代表性新聞文檔和新聞圖片，作為每個主題的多媒體摘要表示；步驟5，采用考慮時間因素的最大生成樹模型將各個主題串接起來，生成新聞檢索結(jié)果的多媒體摘要；步驟6，展示新聞檢索結(jié)果及生成的多媒體摘要。本發(fā)明提出的多媒體新聞?wù)煞椒軌驅(qū)π侣勑畔⒉捎镁C合文本與圖片的多媒體形式進(jìn)行總結(jié)凝練，為用戶提供生動形象、全面具體的新聞時事展示，使其能夠掌握到所關(guān)心新聞的前因后果和事件的發(fā)展歷程。


圖1是本發(fā)明所提出的查詢相關(guān)的多媒體新聞?wù)煞椒鞒虉D。圖2是根據(jù)本發(fā)明實施例的用戶檢索和瀏覽界面示例圖。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參照附圖，對本發(fā)明進(jìn)一步詳細(xì)說明。本發(fā)明的實施例是基于英文新聞的，但是本發(fā)明的方法不受語言種類的限制。本發(fā)明提出了一個利用計算機(jī)的基于多媒體分析的新聞檢索結(jié)果的摘要生成方法，綜合利用了新聞文檔的多模態(tài)信息。該方法首先從網(wǎng)絡(luò)上獲取新聞數(shù)據(jù)并對其進(jìn)行預(yù)處理以及文本分析。然后采用層次化的潛在狄利克雷分布模型挖掘出檢索結(jié)果中的潛在主題層次結(jié)構(gòu)。通過本發(fā)明提出的基于權(quán)重聚合以及最大池模型的代表性節(jié)點篩選方法，從層次主題結(jié)構(gòu)中為每個節(jié)點篩選出最具權(quán)威的代表性新聞文檔以及新聞圖片，作為此節(jié)點及其子節(jié)點的多媒體摘要表示。篩選過程中，考慮到了同一個父節(jié)點的不同子節(jié)點之間的文本相似性以及基于層次主題樹結(jié)構(gòu)的相似性，并采用權(quán)重聚合算法從下至上依次計算屬于每個節(jié)點的新聞文檔的度，表示新聞文檔的權(quán)威性。最后采用最大池模型根據(jù)新聞文檔的權(quán)威性挑選出最具權(quán)威的代表性新聞文檔。另外還為每個節(jié)點挑選出了最具權(quán)威的代表性新聞圖片。本發(fā)明還通過提出的考慮時間信息的最大生成樹方法將主題結(jié)構(gòu)串接起來， 并設(shè)計了一個瀏覽界面，方便用戶進(jìn)行檢索和瀏覽。圖1給出了本發(fā)明所提出的新聞檢索結(jié)果的多媒體摘要生成方法流程圖。如圖1 所示，該方法包括以下步驟步驟1，將從互聯(lián)網(wǎng)新聞網(wǎng)站上爬取的新聞數(shù)據(jù)組成新聞數(shù)據(jù)庫，并對新聞數(shù)據(jù)庫中的新聞數(shù)據(jù)進(jìn)行預(yù)處理。首先，采用網(wǎng)絡(luò)爬蟲按照時間信息從ABC、BBC和CNN新聞網(wǎng)站以及谷歌新聞網(wǎng)站上爬取新聞文檔和對應(yīng)的新聞圖片，構(gòu)建自己的新聞數(shù)據(jù)庫；然后，采用自然語言處理技術(shù)從新聞數(shù)據(jù)中提取出新聞文檔的標(biāo)題、時間、摘要和正文以及新聞文檔對應(yīng)的網(wǎng)址，提取出新聞圖片的網(wǎng)址和新聞圖片對應(yīng)的文本信息。新聞文檔的標(biāo)題、摘要和正文用來計算新聞文檔之間的相似性；新聞文檔的網(wǎng)址用來去除重復(fù)文檔；新聞圖片的網(wǎng)址和文本信息用來收集圖片和說明圖片內(nèi)容；最后，采用自然語言處理技術(shù)根據(jù)新聞文檔的網(wǎng)址去除重復(fù)文檔。步驟2，基于用戶文本查詢在新聞數(shù)據(jù)庫中進(jìn)行新聞信息檢索，并按照新聞文檔與用戶文本的相關(guān)性從大到小的順序排列檢索到的新聞文檔。給定由步驟1爬取得到的新聞數(shù)據(jù)庫，可以使用目前常見的任何一種文本檢索方法，進(jìn)行與用戶文本查詢相關(guān)的新聞信息檢索，并返回包含新聞文檔、新聞圖片等信息的檢索結(jié)果集合。在本實施方案中，我們可采用基于詞頻-反文檔頻率(Term Frequency-Inverse Document Frequency，簡稱為TF-IDF)的文本向量形式來表示每個新聞文檔和用戶文本查詢，然后采用余弦相似性計算各文檔與用戶查詢的文本的相關(guān)性，然后按照相關(guān)性從大到小的降序排列各相關(guān)的文檔。步驟3，基于順序排列的新聞文檔，計算新聞文檔之間的文本相似度S，并使用層次化的潛在狄利克雷分布模型挖掘出新聞檢索結(jié)果中的主題層次樹結(jié)構(gòu)，計算新聞文檔基于層次樹結(jié)構(gòu)的相似度最終得到新聞文檔之間的相似度?？紤]到新聞文檔的標(biāo)題、摘要和正文部分在信息傳遞中的重要性不同，本發(fā)明首先針對新聞文檔的這三部分文本內(nèi)容分別計算他們之間的文本相似度，然后對其進(jìn)行線性組合，得到新聞文檔之間的文本相似度S S = 0. 5 X S'+O. 3 X Ss+0. 2 X Sb,其中，Ss和Sb是分別以標(biāo)題、摘要和正文為對象計算出來的新聞文檔之間的文本相似度。這里，文本相似度是按照文本處理中的常見做法，先通過詞頻-反文檔頻率模型來表示文本內(nèi)容，然后利用余弦相似性來度量其兩兩相似度。采用層次化的潛在狄利克雷分布模型(hierarchical Latent Dirichlet Allocation，簡稱為hLDA)挖掘出新聞信息檢索結(jié)果中的潛在的主題層次樹結(jié)構(gòu)采用一個深度固定為L的樹結(jié)構(gòu)表述檢索結(jié)果主題的分布，樹結(jié)構(gòu)中的每個節(jié)點對應(yīng)一個主題， 不同深度的節(jié)點對應(yīng)不同層次的主題，每個節(jié)點采用該主題文檔集合所包含文本關(guān)鍵詞的概率分布來描述。這樣，一篇文檔就對應(yīng)一條從根節(jié)點到葉節(jié)點的路徑，沿著這條路徑反復(fù)地抽樣主題和從抽樣的主題中選擇詞語就生成一篇文檔。采用hLDA模型能夠挖掘出潛在的主題層次樹結(jié)構(gòu)，然后采用多媒體信息描述每個主題。在hLDA模型中，具有共享路徑的新聞文檔是屬于同一個主題的，并且彼此之間很相似。本發(fā)明采用文本相似度和基于樹結(jié)構(gòu)的相似度的平均值來計算同一個主題下的新聞文檔之間的相似度S。。mb。其中，S是上文中提到的新聞文檔之間的文本相似度，Stree是基于樹結(jié)構(gòu)計算出的新聞文檔之間的相似度。新聞文檔基于層次樹結(jié)構(gòu)的相似度St帳的計算進(jìn)一步包括以下步驟步驟3. 1，分別計算新聞文檔d和g屬于某一主題的概率；用t表示所有詞在層次樹結(jié)構(gòu)中的層次分配，c表示具有詞w的所有文檔的路徑分配。給定詞語w在t已知的條件下的分布以及文檔在c已知條件下的分布，一個詞在一條路徑的某個特定主題上的后驗概率正比于這個詞被這個主題生成的次數(shù)，即p(w|t, c, w, η) #[t = t, c = c, w = w] + η ,其中，#[]表示滿足給定條件的元素個數(shù)，t為層次樹結(jié)構(gòu)中的某一層次，c為具有詞w的所有新聞文檔的路徑分配中的某一路徑，η表示主題對應(yīng)的hLDA模型的狄利克雷分布參數(shù)，其為一個常數(shù)?；谏鲜?，可以得到新聞文檔屬于某一個主題的概率文檔d和g屬于主題t的概率分別是 Pt, d = p(wt,d|zd = t, C, W = Vt)和 Ptjg = p(wtjg|zg = t, C, W = Vt),其中《^是文檔d中在路徑c上處于第t層次的主題中產(chǎn)生的詞集合，wt, g是文檔g中在路徑c上處于第t層次的主題Zg中產(chǎn)生的詞集合，Vt是主題t生成的詞集合，Zd和Zg分別是新聞文檔d和g在某個層次上對應(yīng)的主題。
8
步驟3. 2，采用延森-香農(nóng)散度計算公式計算新聞文檔d和g屬于主題t的概率即 Pt,g之間的散度
權(quán)利要求
1.一種新聞檢索結(jié)果的多媒體摘要生成方法，其特征在于，該方法包括以下步驟步驟1，將從互聯(lián)網(wǎng)新聞網(wǎng)站上爬取的新聞數(shù)據(jù)組成新聞數(shù)據(jù)庫，并對新聞數(shù)據(jù)庫中的新聞數(shù)據(jù)進(jìn)行預(yù)處理；步驟2，基于用戶文本查詢在新聞數(shù)據(jù)庫中進(jìn)行新聞信息檢索，并按照新聞數(shù)據(jù)庫中的新聞文檔與用戶文本的相關(guān)性從大到小的順序排列檢索到的新聞文檔；步驟3，基于順序排列的新聞文檔，計算新聞文檔之間的文本相似度S，并使用層次化的潛在狄利克雷分布模型挖掘出新聞檢索結(jié)果中的主題層次樹結(jié)構(gòu)，計算新聞文檔基于層次樹結(jié)構(gòu)的相似度最終得到新聞文檔之間的相似度S。。mb ；步驟4，根據(jù)步驟3得到的新聞文檔之間的相似度S。。mb，基于權(quán)重聚合方法和最大池模型從下至上地為每個主題選擇最具權(quán)威的代表性新聞文檔和新聞圖片，作為每個主題的多媒體摘要表示；步驟5，采用考慮時間因素的最大生成樹模型將各個主題串接起來，生成新聞檢索結(jié)果的多媒體摘要；步驟6，展示新聞檢索結(jié)果及生成的多媒體摘要。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟1進(jìn)一步包括按照時間信息從互聯(lián)網(wǎng)新聞網(wǎng)站上爬取新聞文檔和對應(yīng)的新聞圖片。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步驟1中對新聞數(shù)據(jù)庫中的新聞數(shù)據(jù)進(jìn)行的預(yù)處理進(jìn)一步為采用自然語言處理技術(shù)從所述新聞文檔中提取出標(biāo)題、時間、摘要、正文以及新聞文檔對應(yīng)的網(wǎng)址，從所述新聞圖片中提取出新聞圖片的網(wǎng)址和新聞圖片對應(yīng)的文本信息，并采用自然語言處理技術(shù)根據(jù)所述新聞文檔對應(yīng)的網(wǎng)址去除重復(fù)文檔。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟3中，新聞文檔之間的文本相似度S為S = 0. 5 X St+0. 3 X Ss+0. 2 X Sb，其中，S\SS和Sb是分別以標(biāo)題、摘要和正文為對象計算出來的新聞文檔之間的文本相似度。
5.根據(jù)權(quán)利要求1或4所述的方法，其特征在于，采用基于詞頻-反文檔頻率的文本向量形式來表示文本內(nèi)容，然后采用余弦相似性來計算各新聞文檔與用戶查詢的文本的相關(guān)性或以標(biāo)題、摘要和正文為對象的新聞文檔之間的文本相似度。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟3中，所述使用層次化的潛在狄利克雷分布模型挖掘出新聞檢索結(jié)果中的主題層次樹結(jié)構(gòu)為采用一個深度固定為L的樹結(jié)構(gòu)表述檢索結(jié)果主題的分布，樹結(jié)構(gòu)中的每個節(jié)點對應(yīng)一個主題，不同深度的節(jié)點對應(yīng)不同層次的主題，每個節(jié)點采用該主題文檔集合所包含文本關(guān)鍵詞的概率分布來描述。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，新聞文檔基于層次樹結(jié)構(gòu)的相似度Stoe 的計算進(jìn)一步包括以下步驟步驟3. 1，分別計算新聞文檔d和g屬于某一主題t的概率pt,d = ρ (wt,d zd = t,c,w =Vt)和pt, g = P (wt, g I Zg = t，C，W = Vt)，其中，Wt, d是新聞文檔d中在路徑C上處于第t 層次的主題Zd中產(chǎn)生的詞集合，Wt,g是新聞文檔g中在路徑C上處于第t層次的主題Zg中產(chǎn)生的詞集合，Vt是主題t生成的詞集合，Zd和Zg分別是文檔d和g在某個層次上對應(yīng)的主題；步驟3. 2，計算概率pt, d和pt, g之間的散度
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟3中，所述新聞文檔之間的相似度Scomb為
9.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述步驟4進(jìn)一步包括以下步驟步驟4. 1，采用最大池模型為主題層次樹結(jié)構(gòu)最底層即第L層上每個節(jié)點選擇最具權(quán)威的代表性新聞文檔；步驟4. 2，計算第1層主題的重要性，也就是該層主題的最具權(quán)威的代表性新聞文檔在該層上的重要性，作為節(jié)點的度，即權(quán)威性，采用最大池模型為第1層上每個節(jié)點選擇最具權(quán)威的代表性新聞文檔；步驟4. 3，按照步驟4. 2，從下至上地對主題層次樹結(jié)構(gòu)中的每一個節(jié)點所對應(yīng)的主題中選出代表性新聞文檔作為該主題的代表，直到到達(dá)根節(jié)點為止。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述步驟4.1進(jìn)一步包括以下步驟 首先，計算任一路徑c上第L層節(jié)點中的某一新聞文檔d的重要性score (d) score{d) = ^geflci Scomb (d，g)，其中，D。』表示在第L層節(jié)點上處于路徑c上的新聞文檔集合，Scofflb (d, g)為步驟3中計算的新聞文檔之間的相似度；然后，采用最大池模型選擇重要性最大的新聞文檔作為集合D?！坏淖罹邫?quán)威的代表性新聞文檔td。i:arg max score(d)。
11.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述步驟4. 2進(jìn)一步包括以下步驟 首先，計算第1層兩個主題的代表性新聞文檔d和g之間的相似度& (d，g)； 然后，計算每一個新聞文檔d在第1層主題上的重要性，作為其度的度量，即 score{d) = Yjgfzo ^{d^g)，其中，I1表示在第1層主題上處于路徑c上的代表性新聞文檔集合； 最后，采用最大池模型選擇出重要性最大的文檔作為集合Du的最具權(quán)威的代表性新
12.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述步驟4. 2中，第1層上節(jié)點的新聞文檔之間的相似度為Sz=Wf+1Sz+1Wz+1，其中，1 =L，L-1，…，2，1，L為主題層次樹結(jié)構(gòu)的深度，W1為插值矩陣其中，D1表示在第1層主題上的所有新聞文檔集合，當(dāng)1 = L時，定義Sm = Scofflb, Dl+1 是新聞文檔集合。
13.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟4中，為每個主題選擇最具權(quán)威的代表性新聞圖片進(jìn)一步包括以下步驟首先，采用近似重復(fù)檢測算法將屬于同一個子主題的新聞圖片分成幾組，找出包含圖片最多的那一組新聞圖片作為此子主題的視覺表示，其中，幾個新聞子主題組成一個新聞主題；然后，以該組內(nèi)的圖片為節(jié)點，圖片之間的視覺相似度為邊，構(gòu)建一個圖模型，采用每幅圖片和其他圖片之間的相似度之和作為該新聞圖片所對應(yīng)節(jié)點的度的定義；最后，從中挑選出度最大的新聞圖片作為該主題的新聞圖片表示。
14.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟5中，所述最大生成樹為若從主題層次樹結(jié)構(gòu)的某一節(jié)點出發(fā)，遍歷訪問到主題層次樹結(jié)構(gòu)中其他各節(jié)點，則遍歷時經(jīng)過的邊和主題層次樹結(jié)構(gòu)的所有節(jié)點所構(gòu)成的子圖，稱作該主題層次樹結(jié)構(gòu)的生成樹，而其中邊權(quán)值總和最大的生成樹即為最大生成樹，圖中各節(jié)點之間的邊權(quán)重表示了子節(jié)點所對應(yīng)子主題之間的相似度。
15.根據(jù)權(quán)利要求14所述的方法，其特征在于，所述邊權(quán)重的計算包括以下步驟首先，將新聞的時間信息進(jìn)行量化，將其表示為“年月日”的形式，記為date ；然后，計算某個主題的兩個子主題基于時間信息的相似度聞文檔td。,1:tdcl - arg max score{d)，^DcjWl+l(d,g)Sm(d^g)如果《薌€共禾口6 類薌如果式geQ和d = g如果和geSdate(d^g)其中，新聞文檔d和g是所述兩個子主題對應(yīng)的代表性新聞文檔，新聞文檔q是該主題的所有子主題對應(yīng)的新聞文檔集合T中的一員；最后，根據(jù)新聞文檔相似度&和基于時間信息的相似度計算節(jié)點之間的邊權(quán)重 SMST Smst (d，g) = ε S1 (d，g) + (l- ε ) Sdate (d, g)如果 d，g e DCjl_i;其中，D。,η是第1級上處于路徑c上的主題的子主題代表性新聞文檔集合，ε是線性組合的系數(shù)。
16.根據(jù)權(quán)利要求15所述的方法，其特征在于，所述最大樹的生成進(jìn)一步包括以下步驟步驟5. 1，首先選擇時間最早的節(jié)點作為最大生成樹的源節(jié)點，并將其加入到已選擇節(jié)點集中，初始選擇節(jié)點集合為空集；步驟5. 2，考慮余下節(jié)點與已選擇節(jié)點集中所有節(jié)點的邊權(quán)重，選擇出具有最大邊權(quán)重的節(jié)點以及對應(yīng)的關(guān)聯(lián)關(guān)系，并將其加入到已選擇節(jié)點集中；步驟5. 3，重復(fù)步驟5. 2，直至所有節(jié)點加入到已選擇節(jié)點集中；步驟5. 4，利用上述步驟得到的關(guān)聯(lián)關(guān)系將各節(jié)點連接起來，就得到了對應(yīng)的最大生成樹。
17.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟6中，為了節(jié)約新聞圖片的存儲空間，在保證新聞圖片中的新聞人物對應(yīng)區(qū)域的損失盡量小的前提下，對新聞圖片進(jìn)行縮
全文摘要
本發(fā)明公開了一種新聞檢索結(jié)果的多媒體摘要生成方法，該方法采用自然語言處理技術(shù)預(yù)處理新聞文檔，提取命名實體；采用層次潛在狄利克雷分布模型在與查詢相關(guān)的新聞信息中挖掘出潛在的主題；采用基于權(quán)重聚合和最大池模型算法從每個主題中篩選出典型文檔，同時也挑選出典型的新聞圖片；采用考慮時間信息的最大生成樹將各個主題串聯(lián)成連續(xù)緊湊的摘要，生成一個與查詢相關(guān)的簡要概述。本發(fā)明能夠?qū)π侣勑畔⒉捎镁C合文本與圖片的多媒體形式進(jìn)行總結(jié)凝練，為用戶提供生動形象、全面具體的新聞時事展示，使其能夠掌握到所關(guān)心新聞的前因后果和事件的發(fā)展歷程。
文檔編號G06F17/30GK102411638SQ201110455758
公開日2012年4月11日 申請日期2011年12月30日 優(yōu)先權(quán)日2011年12月30日
發(fā)明者劉靜, 盧漢清, 徐常勝, 李澤超 申請人:中國科學(xué)院自動化研究所