1.一種基于人工智能的命名實(shí)體識別方法,其特征在于,包括以下步驟:
根據(jù)條件隨機(jī)場模型,對待識別文本進(jìn)行命名實(shí)體識別,確定第一識別結(jié)果;
根據(jù)預(yù)設(shè)的實(shí)體詞匯功能模型,對待識別文本進(jìn)行命名實(shí)體識別,確定第二識別結(jié)果,其中所述預(yù)設(shè)的實(shí)體詞匯功能模型為基于預(yù)設(shè)時間段內(nèi)的檢索日志生成的功能模型;
判斷所述第一識別結(jié)果和第二識別結(jié)果是否一致;
若否,則選擇置信度高的識別結(jié)果作為所述待識別文本的命名實(shí)體識別結(jié)果。
2.如權(quán)利要求1所述的方法,其特征在于,所述預(yù)設(shè)的實(shí)體詞匯功能模型中包括實(shí)體詞匯的切分歧義先驗(yàn)、普通語義先驗(yàn)和實(shí)體特征庫;
所述根據(jù)預(yù)設(shè)的實(shí)體詞匯功能模型,對待識別文本進(jìn)行命名實(shí)體識別,確定第二識別結(jié)果,包括:
確定所述待識別文本中包括的候選命名實(shí)體詞匯;
確定所述候選命名實(shí)體詞匯分別對應(yīng)的切分歧義先驗(yàn)、普通語義先驗(yàn)和實(shí)體特征匹配結(jié)果;
根據(jù)所述候選命名實(shí)體詞匯分別對應(yīng)的切分歧義先驗(yàn)、普通語義先驗(yàn)和實(shí)體特征匹配結(jié)果,確定所述候選命名實(shí)體詞匯分別對應(yīng)的置信度;
從所述候選命名實(shí)體詞匯中,將置信度最高的第一命名實(shí)體詞匯確定為第二識別結(jié)果。
3.如權(quán)利要求2所述的方法,其特征在于,所述將置信度最高的第一命名實(shí)體詞匯確定為第二識別結(jié)果之前,還包括:
判斷所述第一命名實(shí)體詞匯,是否對應(yīng)至少兩個實(shí)體類別或者實(shí)體;
若是,則根據(jù)所述待識別文本上下文特征,確定與所述第一命名實(shí)體詞匯對應(yīng)的至少兩個實(shí)體類別或者實(shí)體,分別對應(yīng)的置信度。
4.如權(quán)利要求3所述的方法,其特征在于,還包括:
判斷所述待識別文本的上下文特征是否完整;
若否,則根據(jù)所述預(yù)設(shè)的實(shí)體詞匯功能模型中的實(shí)體類別先驗(yàn)和實(shí)體需求度,確定與所述第一命名實(shí)體詞匯對應(yīng)的至少兩個實(shí)體類別或者實(shí)體,分別對應(yīng)的置信度。
5.如權(quán)利要求1所述的方法,其特征在于,所述根據(jù)預(yù)設(shè)的實(shí)體詞匯功能模型,對待識別文本進(jìn)行命名實(shí)體識別,確定第二識別結(jié)果之前,還包括:
獲取預(yù)設(shè)時間段內(nèi)的檢索日志;
確定檢索日志中包括的第一實(shí)體詞匯的切分歧義先驗(yàn)、普通語義先驗(yàn)、實(shí)體特征庫、實(shí)體類別先驗(yàn)和實(shí)體用戶需求度。
6.如權(quán)利要求5所述的方法,其特征在于,確定所述檢索日志中包括的第一實(shí)體詞匯的切分歧義先驗(yàn),包括:
統(tǒng)計(jì)所述檢索日志中,第一實(shí)體詞匯的邊界與分詞邊界發(fā)生沖突的概率、及所述第一實(shí)體詞匯的邊界被其他實(shí)體詞匯覆蓋的概率;
根據(jù)所述第一實(shí)體詞匯的邊界與分詞邊界發(fā)生沖突的概率、和/或所述第一實(shí)體詞匯的邊界被其他實(shí)體詞匯覆蓋的概率,確定所述第一實(shí)體詞匯的切分歧義。
7.如權(quán)利要求5所述的方法,其特征在于,所述確定所述檢索日志中包括的第一實(shí)體詞匯的普通語義先驗(yàn),包括:
根據(jù)所述第一實(shí)體詞匯,在檢索日志中的位置分布概率、時間分布概率、類別分布概率及在詞典中的詞性,確定所述第一實(shí)體詞匯的普通語義先驗(yàn)。
8.如權(quán)利要求5所述的方法,其特征在于,所述確定所述檢索日志中包括的第一實(shí)體詞匯的實(shí)體特征庫,包括:
根據(jù)所述第一實(shí)體詞匯,在所述檢索日志中的所有關(guān)聯(lián)特征,確定所述第一實(shí)體詞匯的實(shí)體特征庫。
9.如權(quán)利要求5所述的方法,其特征在于,所述確定所述檢索日志中包括的第一實(shí)體詞匯的實(shí)體類別先驗(yàn),包括:
根據(jù)所述第一實(shí)體詞匯的構(gòu)詞成分分類,及在所述檢索日志中的所有關(guān)聯(lián)特征的分類比例、對應(yīng)的檢索結(jié)果的分類比例,確定所述第一實(shí)體詞匯的實(shí)體類別先驗(yàn)。
10.如權(quán)利要求5所述的方法,其特征在于,所述確定所述檢索日志中包括的第一實(shí)體詞匯的實(shí)體用戶需求度,包括:
根據(jù)所述第一實(shí)體詞匯的不同實(shí)體義項(xiàng),在所述檢索日志中所占的比例,確定所述第一實(shí)體詞匯的實(shí)體用戶需求度。
11.一種基于人工智能的命名實(shí)體識別裝置,其特征在于,包括:
第一確定模塊,用于根據(jù)條件隨機(jī)場模型,對待識別文本進(jìn)行命名實(shí)體識別,確定第一識別結(jié)果;
第二確定模塊,用于根據(jù)預(yù)設(shè)的實(shí)體詞匯功能模型,對待識別文本進(jìn)行命名實(shí)體識別,確定第二識別結(jié)果,其中所述預(yù)設(shè)的實(shí)體詞匯功能模型為基于預(yù)設(shè)時間段內(nèi)的檢索日志生成的功能模型;
判斷模塊,用于判斷所述第一識別結(jié)果和第二識別結(jié)果是否一致;
選擇模塊,用于在所述第一識別結(jié)果和第二識別結(jié)果不一致時,選擇置信度高的識別結(jié)果作為所述待識別文本的命名實(shí)體識別結(jié)果。
12.如權(quán)利要求11所述的裝置,其特征在于,所述預(yù)設(shè)的實(shí)體詞匯功能模型中包括實(shí)體詞匯的切分歧義先驗(yàn)、普通語義先驗(yàn)和實(shí)體特征庫;
所述第二確定模塊包括:
第一確定單元,用于確定所述待識別文本中包括的候選命名實(shí)體詞匯;
第二確定單元,用于確定所述候選命名實(shí)體詞匯分別對應(yīng)的切分歧義先驗(yàn)、普通語義先驗(yàn)和實(shí)體特征匹配結(jié)果;
第三確定單元,用于根據(jù)所述候選命名實(shí)體詞匯分別對應(yīng)的切分歧義先驗(yàn)、普通語義先驗(yàn)和實(shí)體特征匹配結(jié)果,確定所述候選命名實(shí)體詞匯分別對應(yīng)的置信度;
第四確定單元,用于從所述候選命名實(shí)體詞匯中,將置信度最高的第一命名實(shí)體詞匯確定為第二識別結(jié)果。
13.如權(quán)利要求12所述的裝置,其特征在于,所述第二確定模塊還包括:
第一判斷單元,用于判斷所述第一命名實(shí)體詞匯,是否對應(yīng)至少兩個實(shí)體類別或者實(shí)體;
第五確定單元,用于所述第一命名實(shí)體詞匯對應(yīng)至少兩個實(shí)體類別或者實(shí)體時,根據(jù)所述待識別文本上下文特征,確定與所述第一命名實(shí)體詞匯對應(yīng)的至少兩個實(shí)體類別或者實(shí)體,分別對應(yīng)的置信度。
14.如權(quán)利要求13所述的裝置,其特征在于,所述第二確定模塊還包括:
第二判斷單元,用于判斷所述待識別文本的上下文特征是否完整;
第六確定單元,用于在所述待識別文本的上下文特征完整時,根據(jù)所述預(yù)設(shè)的實(shí)體詞匯功能模型中的實(shí)體類別先驗(yàn)和實(shí)體需求度,確定與所述第一命名實(shí)體詞匯對應(yīng)的至少兩個實(shí)體類別或者實(shí)體,分別對應(yīng)的置信度。
15.如權(quán)利要求11所述的裝置,其特征在于,還包括:
獲取模塊,用于獲取預(yù)設(shè)時間段內(nèi)的檢索日志;
第三確定模塊,用于確定檢索日志中包括的第一實(shí)體詞匯的切分歧義先驗(yàn)、普通語義先驗(yàn)、實(shí)體特征庫、實(shí)體類別先驗(yàn)和實(shí)體用戶需求度。
16.如權(quán)利要求15所述的裝置,其特征在于,確定所述檢索日志中包括的第一實(shí)體詞匯的切分歧義先驗(yàn),所述第三確定模塊用于:
統(tǒng)計(jì)所述檢索日志中,第一實(shí)體詞匯的邊界與分詞邊界發(fā)生沖突的概率、及所述第一實(shí)體詞匯的邊界被其他實(shí)體詞匯覆蓋的概率;
根據(jù)所述第一實(shí)體詞匯的邊界與分詞邊界發(fā)生沖突的概率、和/或所述第一實(shí)體詞匯的邊界被其他實(shí)體詞匯覆蓋的概率,確定所述第一實(shí)體詞匯的切分歧義。
17.如權(quán)利要求15所述的裝置,其特征在于,所述確定所述檢索日志中包括的第一實(shí)體詞匯的普通語義先驗(yàn),所述第三確定模塊用于:
根據(jù)所述第一實(shí)體詞匯,在檢索日志中的位置分布概率、時間分布概率、類別分布概率及在詞典中的詞性,確定所述第一實(shí)體詞匯的普通語義先驗(yàn)。
18.如權(quán)利要求15所述的裝置,其特征在于,所述確定所述檢索日志中包括的第一實(shí)體詞匯的實(shí)體特征庫,所述第三確定模塊用于:
根據(jù)所述第一實(shí)體詞匯,在所述檢索日志中的所有關(guān)聯(lián)特征,確定所述第一實(shí)體詞匯的實(shí)體特征庫。
19.如權(quán)利要求15所述的裝置,其特征在于,所述確定所述檢索日志中包括的第一實(shí)體詞匯的實(shí)體類別先驗(yàn),所述第三確定模塊用于:
根據(jù)所述第一實(shí)體詞匯的構(gòu)詞成分分類,及在所述檢索日志中的所有關(guān)聯(lián)特征的分類比例、對應(yīng)的檢索結(jié)果的分類比例,確定所述第一實(shí)體詞匯的實(shí)體類別先驗(yàn)。
20.如權(quán)利要求15所述的裝置,其特征在于,所述確定所述檢索日志中包括的第一實(shí)體詞匯的實(shí)體用戶需求度,所述第三確定模塊用于:
根據(jù)所述第一實(shí)體詞匯的不同實(shí)體義項(xiàng),在所述檢索日志中所占的比例,確定所述第一實(shí)體詞匯的實(shí)體用戶需求度。