本發(fā)明實施例涉及信息技術(shù)領(lǐng)域，尤其涉及一種分詞詞庫的選擇方法和系統(tǒng)。

背景技術(shù)：

對搜索文本的分詞能力是影響搜索引擎中文檢索質(zhì)量的重要因素，能否準(zhǔn)確、有效的分詞對提高搜索效果和用戶滿意度都至關(guān)重要?，F(xiàn)在常用的分詞方法是依據(jù)詞庫，并通過添加自定義詞庫修正提高分詞效果，因此詞庫的詞匯量在很大程度上會影響搜索效果。

進(jìn)一步地，發(fā)明人發(fā)現(xiàn)，如果能夠?qū)λ阉鹘Y(jié)果做到精準(zhǔn)定位，將會優(yōu)化用戶的搜索體驗效果。從當(dāng)前的狀況來看，用戶輸入的查詢語句，搜索系統(tǒng)首先會借助分詞器對其進(jìn)行分詞，然后再進(jìn)行搜索。因此，準(zhǔn)確分詞是搜索的關(guān)鍵條件。通常，分詞器是基于詞庫結(jié)合新詞識別算法進(jìn)行分詞的。新詞識別功能很多時候無法很好的避免歧義詞的產(chǎn)生和準(zhǔn)確發(fā)現(xiàn)例如影視劇名稱等新詞，所以詞庫的質(zhì)量將是影響分詞效果的主要因素。

但是，目前對于詞庫的質(zhì)量無直接的、行之有效的評估方法。現(xiàn)有線上的定量評估方法均基于分詞準(zhǔn)確度和檢索性能成正相關(guān)的假設(shè)。通過測試檢索性能，統(tǒng)計計算用戶的“首頁點擊率”和“翻頁率”來評估分詞準(zhǔn)確度，進(jìn)一步評定詞庫效果，從而選擇效果較好的分詞詞庫。但此方法需要上線后，統(tǒng)計用戶行為特征，測試時間長，且如果效果不好，存在流失一定用戶的風(fēng)險。

另外廣泛應(yīng)用于信息檢索的度量指標(biāo)“準(zhǔn)確率”和“召回率”，雖然是線下操作，但關(guān)鍵在于對“相關(guān)閾值”的設(shè)定，必須有標(biāo)準(zhǔn)文檔才能計算。但對于有針對性的搜索集群(如視頻網(wǎng)站)，沒有可供比對的標(biāo)準(zhǔn)文檔，所以也很難進(jìn)行詞庫選擇。

這兩種方法都不能直接的對詞庫進(jìn)行準(zhǔn)確的判斷以供選擇。

技術(shù)實現(xiàn)要素：

為了解決現(xiàn)有技術(shù)中的上述至少一個技術(shù)問題，本發(fā)明實施例提供一種分詞詞庫的選擇方法和系統(tǒng)。

一方面，本發(fā)明實施例提供一種分詞詞庫選擇方法，包括：

設(shè)置一評估處理裝置；

將多個分詞詞庫導(dǎo)入評估處理裝置，生成與所述多個分詞詞庫對應(yīng)的多個評估值；

從所述多個評估值中選取最大的評估值，并將所述最大的評估值對應(yīng)的分詞詞庫作為待選擇的分詞詞庫。

另一方面，本發(fā)明實施例提供一種分詞詞庫選擇系統(tǒng)，包括：

評估處理裝置；

詞庫導(dǎo)入模塊，用于將多個分詞詞庫導(dǎo)入評估處理裝置，生成與所述多個分詞詞庫對應(yīng)的多個評估值；

選擇模塊，用于從所述多個評估值中選取最大的評估值，并將所述最大的評估值對應(yīng)的分詞詞庫作為待選擇的分詞詞庫。

本發(fā)明實施例提供的分詞詞庫的選擇方法和系統(tǒng)，根據(jù)分詞詞庫劃分后的各類別下的詞頻數(shù)的分布均勻程度值來作為判斷詞庫的評估值，解決了現(xiàn)有技術(shù)中存在的不能直接對分詞詞庫進(jìn)行準(zhǔn)確選擇的問題，較之現(xiàn)有技術(shù)更加準(zhǔn)確、方便、省時，不需要長時間統(tǒng)計用戶行為特征，也對針對性的搜索集群有了可供驗證的方法。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實施例的一種分詞詞庫的選擇方法的流程圖；

圖2為圖1中子流程實施例示意圖；

圖3為圖2中子流程實施例示意圖；

圖4為本發(fā)明實施例中的另一種可選方法的實施例流程圖；

圖5為本發(fā)明實施例中的又一種可選方法的實施例流程圖；

圖6為本發(fā)明的實施例的一種分詞詞庫的選擇系統(tǒng)實施結(jié)構(gòu)示意圖；

圖7為圖6中特定模塊的具體實施例的示意圖；

圖8為本發(fā)明實施例中的另一種分詞詞庫的選擇系統(tǒng)實施結(jié)構(gòu)示意圖；

圖9為本發(fā)明實施例中的又一種分詞詞庫的選擇系統(tǒng)實施結(jié)構(gòu)示意圖；

圖10為本發(fā)明實施例提供的一種用戶設(shè)備結(jié)構(gòu)示意圖。

具體實施方式

為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

圖1示出的是本發(fā)明實施例的一種分詞詞庫的選擇方法的流程圖，方法可以包括以下步驟：

S11：設(shè)置一評估處理裝置；

S12：將多個分詞詞庫導(dǎo)入評估處理裝置，生成與所述多個分詞詞庫對應(yīng)的多個評估值；

S13：從所述多個評估值中選取最大的評估值，并將所述最大的評估值對應(yīng)的分詞詞庫作為待選擇的分詞詞庫；

在本實施方式中，首先設(shè)置一評估處理裝置，再將多個分詞詞庫導(dǎo)入評估處理裝置，經(jīng)過評估處理裝置的評估，生成與多個分詞詞庫對應(yīng)的評估值，選取評估值最大的分詞詞庫作為待選擇的分詞詞庫。

圖2為圖1中的子流程的實施例示意圖，如圖2所示，圖1中步驟S11可以包括：

S110：利用分詞詞庫對測試文本進(jìn)行分詞；

S111：統(tǒng)計所述分詞詞庫分詞后每個詞匯的詞頻數(shù)；

S112：基于每個詞匯的詞頻數(shù)以及整個分詞詞庫中的詞匯數(shù)量，確定所 述分詞詞庫劃分后的各類別下的詞頻數(shù)的分布均勻程度值，將所述分布均勻程度值作為評估值，其中，詞頻數(shù)相同的為同一個類別。

在本實施方式中，在所述導(dǎo)入多個的分詞詞庫后，對測試文本進(jìn)行分詞操作，從而統(tǒng)計出所述分詞詞庫后，每個詞匯的詞頻數(shù)，通過詞頻數(shù)以及整個分詞詞庫的詞匯數(shù)量，再確定出所述分詞詞庫劃分后各類別下的詞頻數(shù)的分布均勻程度值，從而進(jìn)行下一步操作。

圖3為圖2中的子流程的實施例示意圖，如圖3所示，圖2中步驟S112可以包括：

S1120：基于每個詞匯的詞頻數(shù)，劃分詞頻數(shù)的類別，其中，詞頻數(shù)相同的為同一個類別；

S1121：確定每個類別下的詞頻數(shù)所對應(yīng)的詞匯的數(shù)量，并確定各數(shù)量占整個分詞詞庫中的詞匯數(shù)量的比重；

S1122：根據(jù)所確定的比重和劃分后的類別的數(shù)量，確定所述分詞詞庫劃分后的各類別下的詞頻數(shù)的分布均勻程度值。

在本實施方式中，確定所述分詞詞庫劃分后的各類別下的詞頻數(shù)分布均勻程度值之后，將所確定的比重和所述分詞詞庫劃分后的各類的數(shù)量導(dǎo)入信息熵生成器，

$H\left(a\right)=-{\mathrm{\Σ}}_{i=1}^n{P}_i{\log }_n{P}_i$

例如，上述分詞詞庫的詞匯總數(shù)為m，通過分詞詞庫對測試文本進(jìn)行分詞，基于每個詞匯的詞頻數(shù)，劃分詞頻的類別，其中，詞頻數(shù)相同的為同一個類別，得到了n種類別的詞匯，生成詞頻數(shù)集a＝(a₁，a₂，…，a_i…，a_n)，其中第i類詞頻出現(xiàn)的概率就是P_i(i＝1,2,3,…，n)等于詞頻a_i所對應(yīng)的詞匯的數(shù)量占整個分詞詞庫中的詞匯數(shù)量m的比重。

設(shè)詞頻a_i使用率的不確定性為H(a_i)＝-log_nP_i，

由n類詞頻組成概率系統(tǒng)產(chǎn)生的熵為

根據(jù)上述公式，從而獲得與所述分詞詞庫對應(yīng)的熵值。

對于上述公式的具體應(yīng)用場景，舉例說明如下：

假設(shè)所述分詞詞庫包含為：東皇太一，丞相，中國，之下，之子，衛(wèi)莊，墨家，大將，天下，天下第一，天下第一劍，天明，最后，機關(guān)，李斯，楚國，殊不知，秦國，秦始皇，秦時明月，共計20個詞(m＝20)。

測試文本為所及抓取的影視劇類別的描述文本：秦時明月，戰(zhàn)國末期，荊軻刺秦失敗犧牲。天下第一劍客蓋聶受荊軻所托，護送荊軻之子荊天明躲避秦始皇追殺。在秦國邊境殘月谷，蓋聶一人擊退三百秦國鐵騎，秦始皇震怒，命丞相李斯務(wù)必鏟除兩人。李斯在陰陽家東皇太一的指引下尋訪到了蓋聶的同門兄弟衛(wèi)莊，衛(wèi)莊劍術(shù)超群卻始終居于蓋聶之下，為奪得天下第一劍的名號，衛(wèi)莊答應(yīng)了李斯的要求，殊不知自己已經(jīng)掉入了東皇太一的圈套。原來天明在出生之時，身上便被陰陽家偷偷種下“乾元玉煞”，“乾元玉煞”關(guān)系到一個巨大陰謀。逃亡路上，蓋聶與天明結(jié)識了墨家眾高手，以及楚國大將后人項少羽和墨家少女高月，一行人在命運的引領(lǐng)下進(jìn)入被譽為世間最后一片凈土的墨家機關(guān)城。機關(guān)城隱匿于絕嶺雄峰之間，集結(jié)了墨家深厚的智慧，是天下所有反秦勢力最后的堡壘，它也是墨家弟子最后的避難所。電視劇，秦時明月，古裝，陸毅，陳妍希，蔣勁夫，高清影視劇，在線觀看秦時明月第27集。

分詞結(jié)果中，詞庫中各個詞匯的使用次數(shù)如下：幽靈黨：0，東皇太一：2，丞相：1，之下：1，衛(wèi)莊：3，墨家：5，大將：1，天下：1，天下第一：1，天下第一劍：1，天明：3，最后：3，機關(guān)：2，李斯：3，楚國：1，殊不知：1，秦國：2，秦始皇：2，秦時明月：3，27：1。

得出詞頻種類為n＝5，詞頻數(shù)集a＝{0，1，2，3，5}。

其中，0出現(xiàn)的概率是1/20，1出現(xiàn)的概率是9/20，2出現(xiàn)的概率是4/20，3出現(xiàn)的概率是5/20，5出現(xiàn)的概率是1/20，根據(jù)所述公式得出詞庫熵值：

$H\left(a\right)=-(\frac{1}{20}{\log }_5\frac{1}{20}+\frac{10}{20}{\log }_5\frac{10}{20}+\frac{4}{20}{\log }_5\frac{4}{20}+\frac{5}{20}{\log }_5\frac{5}{20}+\frac{1}{20}{\log }_5\frac{1}{20})=\mathrm{0.824737.}$

通過上述示例，可以看出本發(fā)明的方法可以確定多個分詞詞庫的熵值，并從中選出最大熵值的詞庫作為待選擇的分詞詞庫。

圖4示出的是圖1所示方法中的一種可選實施例方法的流程圖，在步驟S11之前，通過從內(nèi)容庫中的文本內(nèi)容抓取部分文本內(nèi)容，生成測試文本，具體實施過程為：

S10：從內(nèi)容庫中的文本內(nèi)容中隨機抓取部分文本內(nèi)容，生成測試文本。

在本實施方式中，所述從內(nèi)容庫中的文本中隨機抓取部分文本內(nèi)容，生成測試文本，有了較好的測試文本，步驟S11中的評估才更快捷有效。測試 文本的抓取可以為一次，當(dāng)抓取為一次時，保證了效率；測試文本抓取也可以為兩次，當(dāng)抓取次數(shù)為多次時，可以保證測試文本的準(zhǔn)確率，多次抓取文本內(nèi)容要小于一次抓取內(nèi)容是保證在不失效率的情況下，提高測試文本的準(zhǔn)確率。

圖5示出的是圖1所示方法中的一種可選實施例方法的流程圖，在步驟S13之后，進(jìn)一步步驟S14：優(yōu)化分詞詞庫，例如包括：

根據(jù)刪除指令，進(jìn)一步刪除所述待選擇的分詞詞庫中的至少一個詞匯，生成更新的分詞詞庫：

將所述更新的分詞詞庫導(dǎo)入所述評估處理裝置，生成更新評估值；

比較所述更新評估值與所述帶選擇的分詞詞庫對應(yīng)的評估值的大小；

若所述更新評估值較大，則將所述更新的分詞詞庫作為選定詞庫；

若所述更新評估值較小，則將所述待選擇的分詞詞庫作為選定詞庫。

繼續(xù)以上述示例為例：在不影響分詞結(jié)果的情況下，這里可以刪除數(shù)字“27”，詞頻為0的詞“幽靈黨”，保留最精準(zhǔn)的分詞：保留“天下第一劍”，刪除“天下第一”。

詞庫分詞結(jié)果統(tǒng)計如下m＝17。

東皇太一：2，丞相：1，之下：1，衛(wèi)莊：3，墨家：5，大將：1，天下：1，天下第一劍：1，天明：3，最后：3，機關(guān)：2，李斯：3，楚國：1，殊不知：1，秦國：2，秦始皇：2，秦時明月：3。

結(jié)果：詞頻種類n＝4，詞頻數(shù)集a＝{1，2，3，5}。

1出現(xiàn)的概率是6/17，2出現(xiàn)的概率是5/17，3出現(xiàn)的概率是5/17，5出現(xiàn)的概率是1/17。

新詞庫熵值為：

$H\left(a\right)=-(\frac{6}{17}{\log }_4\frac{6}{17}+\frac{5}{17}{\log }_4\frac{5}{17}+\frac{5}{17}{\log }_4\frac{5}{17}+\frac{1}{17}{\log }_4\frac{1}{17})=0.904642$

這樣，修正后的詞庫熵值大，對所選的這個測試文本來說，修正后詞庫保證的分詞效果，又減少了存儲空間。

圖6為本發(fā)明的一種分詞詞庫的選擇系統(tǒng)實施結(jié)構(gòu)示意圖。如圖6所示，用于一種分詞詞庫的選擇系統(tǒng)可以包括：評估處理裝置12、詞庫導(dǎo)入模塊13、選擇模塊14。其中，

詞庫導(dǎo)入模塊13：用于將多個分詞詞庫導(dǎo)入評估處理裝置，生成與所述 多個分詞詞庫對應(yīng)的多個評估值；

選擇模塊14：用于從所述多個評估值中選取最大的評估值，并將所述最大的評估值對應(yīng)的分詞詞庫作為待選擇的分詞詞庫。

圖7所示，評估處理裝置12可以包括：分詞器120、統(tǒng)計器121、評估值生成器122。

分詞器120配置以用于利用分詞詞庫對測試文本進(jìn)行分詞；

統(tǒng)計器121配置以用于統(tǒng)計所述分詞詞庫分詞后每個詞匯的詞頻數(shù)；

評估值生成器122配置以用于基于每個詞匯的詞頻數(shù)以及整個分詞詞庫中的詞匯數(shù)量，確定所述分詞詞庫劃分后的各類別下的詞頻數(shù)的分布均勻程度值，將所述分布均勻程度值作為評估值，其中，詞頻數(shù)相同的為同一個類別。

評估值生成器122用于：

基于每個詞匯的詞頻數(shù)，劃分詞頻數(shù)的類別，其中，詞頻數(shù)相同的為同一個類別；

確定每個類別下的詞頻數(shù)所對應(yīng)的詞匯的數(shù)量，并確定各數(shù)量占整個分詞詞庫中的詞匯數(shù)量的比重；

根據(jù)所確定的比重和劃分后的類別的數(shù)量，確定所述分詞詞庫劃分后的各類別下的詞頻數(shù)的分布均勻程度值。

在本實施方式中，在確定的比重和劃分后的類別的數(shù)量導(dǎo)入信息熵生成器，則可以獲得與所述分詞詞庫對應(yīng)的熵值。為模塊14提供評估值。

圖8所示出的是圖6所示系統(tǒng)實施結(jié)例方法的另一種可選系統(tǒng)的實施例流程圖，如圖8所示，用于另一種分詞詞庫的選擇系統(tǒng)可以包括：測試文本生成模塊11、評估處理裝置12、詞庫導(dǎo)入模塊13、選擇模塊14。其中，

測試文本生成模塊11用于在評估處理模塊配置評估處理裝置之前，從內(nèi)容庫中的文本內(nèi)容中隨機抓取部分的文本內(nèi)容，生成測試文本，其中，當(dāng)所述抓取次數(shù)為一次時，所述部分的文本內(nèi)容為第一部分的文本內(nèi)容；當(dāng)所述抓取次數(shù)為多次時，所述部分的文本內(nèi)容為第二部分的文本內(nèi)容；所述第一部分的文本內(nèi)容大于多于所述第二部分的文本內(nèi)容。

在本實施方式中，所述測試文本生成模塊11在評估處理之前，從內(nèi)容庫中的文本內(nèi)容隨機抓取部分文本內(nèi)容，為詞庫導(dǎo)入模塊中的評估處理提供測 試文本。

圖9所示出的是圖6所示系統(tǒng)實施結(jié)例方法的又一種可選系統(tǒng)的實施例流程圖，如圖9所示，用于又一種分詞詞庫的選擇系統(tǒng)可以包括：測試文本生成模塊11、評估處理裝置12、詞庫導(dǎo)入模塊13、選擇模塊14、詞庫優(yōu)化模塊15。其中，

詞庫優(yōu)化模塊15用于在選擇模塊選取評估值最大的分詞詞庫作為待選擇詞庫后，根據(jù)刪除指令，進(jìn)一步刪除所述待選擇的分詞詞庫中的至少一個詞匯，生成更新的分詞詞庫；

將所述更新的分詞詞庫導(dǎo)入所述評估處理裝置，生成更新評估值；

比較所述更新評估值與所述待選擇的分詞詞庫對應(yīng)的評估值的大??；

若所述更新評估值小大，則將所述更新的分詞詞庫作為選定詞庫，若所述更新評估值較小，則將所述待選擇的分詞詞庫作為選定詞庫。

在本實施方式中，在詞庫優(yōu)化模塊15中，保證了所選取待優(yōu)化詞庫的精確值，又因為刪除部分致使詞庫詞量減少，加快詞庫的效率。

圖10為本申請實施例提供的又一種用戶設(shè)備1200的結(jié)構(gòu)示意圖，本申請具體實施例并不對用戶設(shè)備1200的具體實現(xiàn)做限定。如圖10所示，該用戶設(shè)備1200可以包括：

處理器(processor)1210、通信接口(Communications Interface)1220、存儲器(memory)1230、以及通信總線1240。其中：

處理器1210、通信接口1220、以及存儲器1230通過通信總線1240完成相互間的通信。

通信接口1220，用于與比如客戶端等的網(wǎng)元通信。

處理器1210，用于執(zhí)行程序1232，具體可以執(zhí)行上述方法實施例中的相關(guān)步驟。

具體地，程序1232可以包括程序代碼，所述程序代碼包括計算機操作指令。

處理器1210可能是一個中央處理器CPU，或者是特定集成電路ASIC(Application Specific Integrated Circuit)，或者是被配置成實施本申請實施例的一個或多個集成電路。

以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明 的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上。可以根據(jù)實際的需要選擇其中的部分或者全部模塊來實現(xiàn)本實施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性的勞動的情況下，即可以理解并實施。

通過以上的實施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到各實施方式可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)，當(dāng)然也可以通過硬件。基于這樣的理解，上述技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品可以存儲在計算機可讀存儲介質(zhì)中，如ROM/RAM、磁碟、光盤等，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行各個實施例或者實施例的某些部分所述的方法。

最后應(yīng)說明的是：以上實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述實施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對前述各實施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的精神和范圍。