多特征融合的文本相似性度量系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及信息技術(shù)領(lǐng)域中的智能信息處理技術(shù)領(lǐng)域，尤其涉及基于語義的文本 相似性度量方法及系統(tǒng)。
【背景技術(shù)】
[0002] 語義相似性是智能信息處理領(lǐng)域中的一項核心技術(shù)，可應(yīng)用于查詢擴展、詞義消 歧、問答系統(tǒng)和信息檢索等。評估語義相似性也是眾多研究領(lǐng)域的一項重要任務(wù)，如心理 學(xué)、認知科學(xué)、人工智能等。
[0003] 監(jiān)督式方法和非監(jiān)督方法是語義相似性度量的兩種主流方法，監(jiān)督式方法需要先 驗知識，如知識庫系統(tǒng)或本體資源，如DBPedia、WordNet、HowNet等；非監(jiān)督方法則主要通 過統(tǒng)計學(xué)習(xí)方法獲取上下文信息和規(guī)律，完成語義相似性度量過程。
[0004] 基于路徑的相似性度量是監(jiān)督式方法中的一種經(jīng)典方法，以本體結(jié)構(gòu)為參照，根 據(jù)本體概念間的連接關(guān)系計算語義相似性，兩個概念間的連接路徑越短，則相似性越高，反 之亦然。
[0005]
【主權(quán)項】
1. 一種基于多特征融合的文本相似性度量系統(tǒng)，其特征在于該系統(tǒng)融合了基于詞頻、 詞向量和維基百科標(biāo)簽多種特征對文本相似性進行度量，具體操作按下列步驟進行： a. 訓(xùn)練文本預(yù)處理模塊：對訓(xùn)練文本進行預(yù)處理，分詞，去停用詞，去標(biāo)點符號； b. 詞向量模型訓(xùn)練模塊：獲取文本內(nèi)詞間語義特征，使用深度學(xué)習(xí)方法進行多次迭 代，通過邏輯回歸的方法對文本進行訓(xùn)練，采用二次抽樣的方法來平衡訓(xùn)練語料中的頻繁 詞匯和非頻繁詞匯的不對稱，將訓(xùn)練文本集合內(nèi)的每個詞匯表示成為200維的特征向量， 通過度量向量之間的余弦相似度，獲取詞匯間的語義關(guān)聯(lián)； c. 基于詞頻的相似性度量模塊：使用基于詞頻的方法，計算兩個文本間的相似程度； 首先獲取兩個輸入文本的詞匯并計算詞頻，存儲到向量中，然后度量兩個向量的余弦相似 度，兩個向量之間的余弦相似度越高，則表示兩個詞匯的上下文越近似，也就表示兩個詞匯 在語義上的相似程度越高； d. 基于詞向量的語義相似性度量模塊：使用步驟b模塊訓(xùn)練好的詞向量模型，度量兩 個文本間的相似性；其中包括首先對兩個文本中的詞匯進行基于對齊的消歧操作，具體是 根據(jù)詞向量計算得到的相似性，將兩個文本間相似性最高的詞作為詞對保存，然后計算兩 個文本間所有詞對間的語義相似性，并進行匯總； e. 基于維基百科標(biāo)簽的相似性度量模塊：使用維基百科標(biāo)簽作為中間媒介，計算兩個 文本所對應(yīng)的詞向量的相似性；首先計算所有維基百科標(biāo)簽與輸入文本的相似性，并從結(jié) 果中選取相似性最高的一個子集，然后直接計算兩個輸入文件所對應(yīng)的維基百科標(biāo)簽集之 間的相似性，從而獲取相似性結(jié)果； f. 融合詞頻特征、詞向量特征和維基百科標(biāo)簽特征的相似性度量模塊：為三種融合詞 頻特征、詞向量特征和維基百科標(biāo)簽特征分配權(quán)重，并將三種相似性度量結(jié)果匯總，得到兩 個輸入文本的最終相似性結(jié)果。
2. 根據(jù)權(quán)利要求1所述的基于多特征融合的文本相似性度量系統(tǒng)，其特征在于步驟 b中通過采用層次邏輯回歸方法，將計算量從輸入節(jié)點的線性計算開銷降低到對數(shù)計算開 銷，并獲得近似的概率分布，從而提高計算效率。
3. 根據(jù)權(quán)利要求1所述的基于多特征融合的文本相似性度量系統(tǒng)，其特征在于步驟d 中所述的基于對齊的消歧方法：對于給定的兩個詞匯序列1和2,對于詞匯序列1中的任一 詞匯，依次計算該詞匯與詞匯序列2中詞匯的相似性，并選擇相似性最高的詞匯形成詞對， 以此類推，遍歷詞匯序列1中的所有詞匯，找到所有的詞對，進而完成兩個輸入詞匯序列的 對齊和消歧過程。
4. 根據(jù)權(quán)利要求1所述的基于多特征融合的文本相似性度量系統(tǒng)，其特征在于步驟e 中所述的文本所對應(yīng)的詞向量采用該文本所包含詞匯的詞向量的平均值進行表示。
【專利摘要】本發(fā)明提供了一種涉及智能信息處理領(lǐng)域的基于多特征融合的文本相似性度量系統(tǒng)，該系統(tǒng)融合了基于詞頻、詞向量和維基百科標(biāo)簽多種特征對文本相似性進行度量，其目的在于解決常規(guī)文本相似性度量系統(tǒng)存在的未考慮文本上下文而造成的語義缺失問題，以及文本長度相差較大時所帶來的相似性結(jié)果精度低的問題。本發(fā)明所述系統(tǒng)包括以下步驟：對訓(xùn)練文本進行分詞、去停用詞等預(yù)處理；將處理好的訓(xùn)練文本語料訓(xùn)練成詞向量模型；對于輸入的待計算文本對，分別度量它們之間的基于詞頻的相似性、基于詞向量的相似性以及基于維基百科標(biāo)簽的相似性，并通過加權(quán)求和，得到最終的文本語義相似性度量結(jié)果。本發(fā)明所述的系統(tǒng)能夠提高文本相似性度量精度，從而滿足智能信息處理需求。
【IPC分類】G06F17-30
【公開號】CN104699763
【申請?zhí)枴緾N201510072955
【發(fā)明人】馬博, 李曉, 蔣同海, 周喜, 王磊, 楊雅婷, 趙凡
【申請人】中國科學(xué)院新疆理化技術(shù)研究所
【公開日】2015年6月10日
【申請日】2015年2月11日