技術(shù)總結(jié)
本發(fā)明提出一種支持海量長文本數(shù)據(jù)分類的分析模型的實現(xiàn)方法，屬于大數(shù)據(jù)文本分析技術(shù)領域。本發(fā)明采用HanLP分詞工具中的標準分詞并采用改進的CHI算法，一方面有效降低文本分類時每篇文章的詞向量空間的維度，降低文本分類計算的時間復雜度，提升算法效率，滿足大數(shù)據(jù)背景下海量長文本分類時的性能需求；同時最大程度低減少由于降低向量空間維度數(shù)而造成分類準確性降低。采用TFIDF算法能夠有效消除了文本與向量之間的屏障，最后采用樸素貝葉斯分類算法，能夠準確的將文本進行較好的訓練，實現(xiàn)長文本的準確的分類。本發(fā)明能有效地解決在大數(shù)據(jù)環(huán)境下長文本分類的性能指標和準確性指標的矛盾性問題，具有廣泛的應用前景。

技術(shù)研發(fā)人員：王宇;徐曉燕;周淵;劉慶良;鄭彩娟;黃成;周游;王海平;馬雪
受保護的技術(shù)使用者：北京賽思信安技術(shù)股份有限公司;國家計算機網(wǎng)絡與信息安全管理中心
文檔號碼：201611001399
技術(shù)研發(fā)日：2016.11.14
技術(shù)公布日：2017.05.24