專利名稱：一種基于數(shù)據(jù)挖掘技術(shù)的文本多精度表示方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機文本自動處理領(lǐng)域中的一種基于數(shù)據(jù)挖掘技 術(shù)的文本多精度表示方法，特別適用于任何語言的文本文檔的文本 搜索、文本聚類、文本摘要等諸多文本智能處理。
背景技術(shù)：
目前對文本的表示通常采用向量空間模型，即從詞匯表中抽取 特征詞構(gòu)成一個公共表示空間一向量空間，然后把文檔集合中的每 一個文檔表示在向量空間中。在向量空間模型中，是以單個詞為處 理對象的。并且，有一個重要的前提假設(shè)詞與詞之間是相互獨立 的。在這種設(shè)計中，由于是以單個詞為處理對象，這樣就割裂了語
言中詞與詞之間相互關(guān)聯(lián)關(guān)系；同樣，詞與詞之間相互獨立這一假
設(shè)也是不成立的。在現(xiàn)實語言中，詞與詞之間是相互關(guān)聯(lián)的。因 此，基于向量空間模型的文檔表示有表示不清，文檔間易于混淆等缺點。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題在于避免上述背景技術(shù)中的不足之 處而提供一種基于數(shù)據(jù)挖掘技術(shù)的詞關(guān)聯(lián)挖掘算法，準(zhǔn)確地從文本 中抽取多層次文本特征，形成文本精確表示的基于數(shù)據(jù)挖掘技術(shù)的 文本多精度表示方法。本發(fā)明利用數(shù)據(jù)挖掘算法充分發(fā)現(xiàn)文本中那 些相互關(guān)聯(lián)的且與文本中心內(nèi)容緊密相關(guān)的詞組合，這些詞組合代 表了與文本中心思想相關(guān)的概念，通過這些概念詞組合對文檔進行精確表示。本發(fā)明具有運算速度快，性能穩(wěn)定，與文本所用語言無 關(guān)，適用面廣等特點。
本發(fā)明所要解決的技術(shù)問題由以下技術(shù)方案實現(xiàn)
它包括步驟
① 對文本進行分詞處理，停用詞過濾處理；
② 根據(jù)數(shù)據(jù)挖掘技術(shù)設(shè)計詞關(guān)聯(lián)挖掘算法，對分詞及停用詞 過濾處理后的文本進行多層次文本特征抽?。?br> 詞關(guān)聯(lián)挖掘算法包括步驟給定一篇文檔D，
抽取出D中所有的句子形成集合S={Sl,s2，……s丄其中 s,， S2,……Sn代表文檔中的句子；
(1) D中出現(xiàn)的詞構(gòu)成集合d，統(tǒng)計d中各個詞在句子中出現(xiàn) 的頻率，設(shè)定一個限定值R,把發(fā)生次數(shù)超過R的詞放入集合L中， 把未能進入L,的詞放入集合 L,中；
(2) 利用集合 L,對S中的句子進行處理，其過程是去除每個 句子中在 L,中出現(xiàn)的詞組合元素，經(jīng)過處理的句子形成新的集合
。貼',
(3) 基于S,中的每個句子，找出句中所有兩個詞的詞組 合，形成集合C2，找出C2中每個詞組合在句子中出現(xiàn)的頻率，把發(fā) 生頻率次數(shù)超過R的詞組合放入L2中，把未能進入L2的詞組合放入 "中；
(4) 利用集合~"對S中的句子進行處理，其過程是去除每個 句子中在 L2中出現(xiàn)的詞組合元素，經(jīng)過處理的句子形成新的集合
(5) 基于S,中的每個句子，找出句中所有三個詞的詞組 合，形成集合C3，找出C3中每個詞組合在句子中出現(xiàn)的頻率，把發(fā)生頻率次數(shù)超過R的詞組合放入U中，把未能進入U的詞組合放入 U中；
重復(fù)上述(5)、 (6)步驟，直至找出所有滿足限定值R的包含n 個詞的詞組合特征，放入L中，n為大于3的整數(shù)，
集合L,，L2，...... ，U中的詞組合就構(gòu)成了文檔D的多層次文本
特征，多層次文本特征包括單個詞特征、兩詞特征、三詞特征及n 個詞的特征，n為大于3的整數(shù)；
多層次文本特征表示形式為
單個詞特征{WorcU, {Word2};
兩詞特征(Word,， Word2}， {Word3, Word4};
三詞特征(Word,， Word2, Word3}， {Word4, Words, WordJ ;
n個詞特征{Word, Word2,......， Wordn}。
本發(fā)明與背景技術(shù)相比具有以下有優(yōu)點
1. 本發(fā)明采用詞關(guān)聯(lián)挖掘算法不僅可以發(fā)現(xiàn)文本中的單個詞特 征，還可以發(fā)現(xiàn)多詞特征，對文本進行多層次描述，比傳統(tǒng)方法抽 取的單個詞的特征更能反映文本的內(nèi)容特征。
2. 本發(fā)明區(qū)別傳統(tǒng)的向量空間模型試圖用一個向量空間表示文檔 集合中所有的文檔，由于向量空間所含特征維數(shù)是有限的。因此， 向量空間模型的表示能力也是有限的。隨著文檔集合中文檔數(shù)量的 增加，向量空間模型的這種局限性就越明顯。因此，向量空間模型 不適用于動態(tài)增加的文檔集合。但現(xiàn)實生活中，大部分文檔集合是 動態(tài)增加的。本發(fā)明能對每個文檔單獨處理，抽取其特征，從而避 免了上述缺點，適合于動態(tài)文檔集合。
3. 本發(fā)明使用多層次特征表示文本，多層次特征的數(shù)量是依具體 文本的不同而不同的，文本中的特征多，挖掘出的特征就多；而在
6向量空間模型中，集合中所有的文檔都使用同一個向量表示空間。 因此，從每個文檔中挖掘出的特征數(shù)量是一樣的，不能隨文檔所含 特征量的不同而變化。
4.本發(fā)明還具有運算速度快，性能穩(wěn)定，與文本的文字語言無 關(guān)，適用范圍廣等優(yōu)點。


圖1是本發(fā)明的文本多層次特征挖掘過程的流程圖。
具體實施例方式
參照圖1,本發(fā)明包括計算機處理文本時的文本表示技術(shù)，文 本表示是指抽取自然語言原始文本中的特征并用特征表示文本的過 程，在計算機內(nèi)部是基于文本表示進行文本檢索、分類、聚類處理 運算。本發(fā)明包括步驟
① 對文本進行分詞處理，停用詞過濾處理； 實施例本發(fā)明文本分詞處理。對于中文文本，首先找出文本中
的詞邊界，從而把文本中包含的詞顯式表示出來，這一過程就是分 詞，然后對每一個詞進行詞性標(biāo)注。對于西方語言，詞與詞之間有 空格作為間隔，無需進行分詞處理，可直接進行詞性標(biāo)注處理。
實施例本發(fā)明停用詞過濾處理，即把與文本中與內(nèi)容不相關(guān)的 詞，如介詞、連詞等從文本中刪除。這樣不會損失文本的原有信 息，且可以減少運算量。如圖1所示，第①步驟中的文本分詞和停 用詞過濾是公知的文本處理措施。
② 根據(jù)數(shù)據(jù)挖掘技術(shù)設(shè)計詞關(guān)聯(lián)挖掘算法，對分詞及停用詞過 濾處理后的文本進行多層次文本特征抽取；
詞關(guān)聯(lián)挖掘算法包括步驟給定一篇文檔D，(1) 抽取出D中所有的句子形成集合S={Sl，s2，……s丄其中 Sl, S2,……s。代表文檔中的句子；
(2) D中出現(xiàn)的詞構(gòu)成集合d,統(tǒng)計d中各個詞在句子中出現(xiàn) 的頻率，設(shè)定一個限定值R，把發(fā)生次數(shù)超過R的詞放入集合"中， 把未能進入L的詞放入集合 L中；
(3) 利用集合 U對S中的句子進行處理，其過程是去除每個 句子中在 lw中出現(xiàn)的詞組合元素，經(jīng)過處理的句子形成新的集合 Snewj
(4) 基于S,中的每個句子，找出句中所有兩個詞的詞組合， 形成集合C2，找出C2中每個詞組合在句子中出現(xiàn)的頻率，把發(fā)生頻 率次數(shù)超過R的詞組合放入"中，把未能進入L2的詞組合放入 L2 中；
(5) 利用集合 U對S中的句子進行處理，其過程是去除每個 句子中在 L2中出現(xiàn)的詞組合元素，經(jīng)過處理的句子形成新的集合
(6) 基于S,中的每個句子，找出句中所有三個詞的詞組合， 形成集合C3，找出C3中每個詞組合在句子中出現(xiàn)的頻率，把發(fā)生頻 率次數(shù)超過R的詞組合放入U中，把未能進入U的詞組合放入 L3 中；
重復(fù)上述(5)、 (6)步驟，直至找出所有滿足限定值R的包含n 個詞的詞組合特征，放入L中，n為大于3的整數(shù)，
集合LbL2，...... ，Ln中的詞組合就構(gòu)成了文檔D的多層次文本特
征，多層次文本特征包括單個詞特征、兩詞特征、三詞特征及n個 詞的特征，n為大于3的整數(shù)；
多層次文本特征表示形式為單個詞特征{Word,}, {Word2}; 兩詞特征(Word,, Word2}， {Word3， WordJ; 三詞特征(Wor山，Word2， Word3}， {Word4， Words, WordJ; n個詞特征{Word!, Word2，......， Word}。
如圖1所示，實施例本發(fā)明第②步中詞關(guān)聯(lián)挖掘算法各步驟操 作過程如下-
利用數(shù)據(jù)挖據(jù)技術(shù)抽取文本中的多詞文本特征，多詞特征包括 單個詞特征，兩詞特征，三詞特征等各種長度的特征。特征長度越 長，對文本的刻畫越細膩。這些各種長度的詞特征形成文本的多精 度表示。具體的文本特征挖掘算法以函數(shù)的形式描述如下，是由一 組順序調(diào)用的函數(shù)組成的。 (l)MineDoc函數(shù) 輸入 一個文檔T
輸出文檔中包含的多層次詞組特征
MineDoc (Document r)
行l(wèi):S爭T: hl;〃S代表原始文檔T中的所有句子Sp s2， .....sn 行2: while ( Sk#0) do begin
行3: 找出在所有句子中發(fā)生次數(shù)超過或等于R次的詞序列， 組成集合A;同時也找出發(fā)生次數(shù)未超過R次的詞序列， 組成集合 A。
行4: 利用 丄;t對Sk中的每一個句子進行處理，刪除句子中在 Z^t中出現(xiàn)的詞。具體步驟參見SentenceProc()函數(shù)說明
行5:
行6: end
行7: Result- "k (k=l, 2，……n)〃結(jié)果Result由丄/，丄2,.....，丄 等 組成。L,含有單個詞，L2包含兩詞特征，以此類推。MineDoc函數(shù)中第4步使用的函數(shù)SentenceProc0描述如下， 即為第(2)個函數(shù)。 (2) SentenceProc 0函數(shù) 輸入 一個句子s
輸出 一個經(jīng)處理后縮短了的句子
SentenceProc (Sentence s， 行l(wèi):if(k-l)
行2: t = remove items in ~qk from s
行3: else {
行4: generate ordered frequency tree r;
行5: Ss = Break(r);
行6: t = mapping Ss to sentence;
行7: }
行8: return t
其中，s代表一個句子； w是一個集合，它包含了 "中所有與 s相關(guān)的非頻繁k-itemset集合。當(dāng)—l時，只需將^中的元素從s中刪 除即可。當(dāng)A:》2，首先需要建立一個頻率樹。然后，在SentenceProc 算法中的第5步，調(diào)用Break函數(shù)進行運算，結(jié)果放在&中。&中是 一些是由0和1組成的數(shù)字串，即在Break函數(shù)內(nèi)部的運算是二進制 的，這樣可以加快運算速度，到最后再把這些數(shù)字串通過映射變?yōu)?句子。
SentenceProc函數(shù)是此挖掘算法的核心，它能夠?qū)渥舆M行分 解，分解產(chǎn)生的子句的長度會比原來的句子短。這樣，每調(diào)用一次 SentenceProc函數(shù)，文檔中的句子會越變越短，數(shù)量也越變越少，對
文檔的掃描時間也會隨之縮短。
函數(shù)Break(灘述如下，即為第(3)個函數(shù)。(3)函數(shù)Break()
輸入 一棵基于句子建立的樹
輸出 一串由0和1組成的二進制碼
Break(Tree r)
行1: if(r is leaf) return 0;
行2: forall xer.subs do
行3:subres[x] = Break(x) U newString (~x)
今亍4: result =newStringO;
行5: forall xer.subs do
行6:result = result & subres[x];
行7: remove beresult， b.size《A
行8: return result;
Break函數(shù)的輸入是一個樹結(jié)構(gòu)，輸出是一些由若干0和1組 成的數(shù)字串。函數(shù)的第1行是一個退出條件，如果當(dāng)前節(jié)點是樹的 葉節(jié)點則返回空集。第2和3行是一個迭代循環(huán)，每一次迭代循環(huán) 負責(zé)處理樹r的一個分支，處理結(jié)果放在subres中。newString(~x) 函數(shù)負責(zé)生成一個由0和1組成的數(shù)字串，在此數(shù)字串中除與x對 應(yīng)的位是0外，其它位都是1。在第4行，利用newString( x)函數(shù) 對result進行初始化。在第5和6行，把subres中的數(shù)字串進行連續(xù) 邏輯與操作，具體運算過程是首先讓初始化后的result與subres 中的一個數(shù)字串進行邏輯與操作，在隨后的運算中每一個數(shù)字串都 與上一次操作的結(jié)果進行邏輯與運算。最終在result中會有若干個 由0和1組成的數(shù)字串。在第7步，刪除result中那些含1的個數(shù)不 大于k的數(shù)字串。因為，由這些數(shù)字串映射產(chǎn)生的句子的長度不會 大于k，在下一次第k+1次循環(huán)中，不可能從中產(chǎn)生長度為k+1的 特征。利用本發(fā)明所建立的一個文本檢索系統(tǒng)實驗表明，利用本發(fā)明所 述文本表示方法實現(xiàn)的文本檢索系統(tǒng)比使用傳統(tǒng)向量空間文本表示
方法建立的檢索系統(tǒng)的査全率和準(zhǔn)確率都能提高約io%。
權(quán)利要求
1. 一種基于數(shù)據(jù)挖掘技術(shù)的文本多精度表示方法，它包括步驟①對文本進行分詞處理，停用詞過濾處理；其特征在于還包括步驟②根據(jù)數(shù)據(jù)挖掘技術(shù)設(shè)計詞關(guān)聯(lián)挖掘算法，對分詞及停用詞過濾處理后的文本進行多層次文本特征抽取；詞關(guān)聯(lián)挖掘算法包括步驟給定一篇文檔D，(1)抽取出D中所有的句子形成集合S＝{s1，s2，……，sn}，其中s1，s2，……，sn代表文檔中的句子；(2)D中出現(xiàn)的詞構(gòu)成集合C1，統(tǒng)計C1中各個詞在句子中出現(xiàn)的頻率，設(shè)定一個限定值R，把發(fā)生次數(shù)超過R的詞放入集合L1中，把未能進入L1的詞放入集合~L1中；(3)利用集合~L1對S中的句子進行處理，其過程是去除每個句子中在~L1中出現(xiàn)的詞組合元素，經(jīng)過處理的句子形成新的集合Snew；(4)基于Snew中的每個句子，找出句中所有兩個詞的詞組合，形成集合C2，找出C2中每個詞組合在句子中出現(xiàn)的頻率，把發(fā)生頻率次數(shù)超過R的詞組合放入L2中，把未能進入L2的詞組合放入~L2中；(5)利用集合~L2對S中的句子進行處理，其過程是去除每個句子中在~L2中出現(xiàn)的詞組合元素，經(jīng)過處理的句子形成新的集合Snew；(6)基于Snew中的每個句子，找出句中所有三個詞的詞組合，形成集合C3，找出C3中每個詞組合在句子中出現(xiàn)的頻率，把發(fā)生頻率次數(shù)超過R的詞組合放入L3中，把未能進入L3的詞組合放入~L3中；重復(fù)上述(5)、(6)步驟，直至找出所有滿足限定值R的包含n個詞的詞組合特征，放入Ln中，n為大于3的整數(shù)，集合L1，L2，......，Ln中的詞組合就構(gòu)成了文檔D的多層次文本特征，多層次文本特征包括單個詞特征、兩詞特征、三詞特征及n個詞的特征，n為大于3的整數(shù)；多層次文本特征表示形式為單個詞特征{Word1}，{Word2}；兩詞特征{Word1，Word2}，{Word3，Word4}；三詞特征{Word1，Word2，Word3}，{Word4，Word5，Word6}；n個詞特征{Word1，Word2，……，Wordn}。
全文摘要
本發(fā)明公開了一種基于數(shù)據(jù)挖掘技術(shù)的文本多精度表示方法。它涉及計算機領(lǐng)域中的電子文本文檔的精確表示技術(shù)。它能夠利用數(shù)據(jù)挖掘技術(shù)從海量文本中發(fā)現(xiàn)重要的文本特征信息，這些特征信息是多層次、多精度的。利用這些特征能夠形成文本的精確表示，計算機基于這種精確的文本表示進行文本檢索、聚類和分類等處理，能產(chǎn)生更佳的效果。本發(fā)明還具有運算速度快、性能穩(wěn)定、適用于各種自然語言文本的特點。本發(fā)明可以用于任何語言的文本文檔的文本搜索、文本聚類、文本摘要等諸多文本智能處理。
文檔編號G06F17/27GK101436194SQ20081007968
公開日2009年5月20日 申請日期2008年11月4日 優(yōu)先權(quán)日2008年11月4日
發(fā)明者張佳驥, 勇 陳 申請人:中國電子科技集團公司第五十四研究所