本發(fā)明涉及大數(shù)據(jù),尤其涉及一種基于大數(shù)據(jù)的智能評(píng)標(biāo)方法。
背景技術(shù):
1、目前國(guó)內(nèi)電子招投標(biāo)行業(yè)已實(shí)現(xiàn)的智能評(píng)標(biāo)技術(shù)很多,例如不署名投標(biāo)評(píng)審系統(tǒng)、智能輔助評(píng)標(biāo)、電子招標(biāo)系統(tǒng)等,無(wú)法實(shí)現(xiàn)招投開(kāi)評(píng)定整個(gè)招投標(biāo)過(guò)程的全流程監(jiān)督、評(píng)審工作量大效率低、評(píng)審結(jié)果缺乏客觀公正性、數(shù)據(jù)準(zhǔn)確度和合法性無(wú)法實(shí)時(shí)驗(yàn)真。全面智能評(píng)標(biāo)技術(shù)為我國(guó)電子招投標(biāo)行業(yè)的一大壁壘,為招投標(biāo)企業(yè)增加了不少的人力和成本,至今國(guó)內(nèi)沒(méi)有相關(guān)技術(shù)突破。
2、因此,本發(fā)明提出了一種基于大數(shù)據(jù)的智能評(píng)標(biāo)方法。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明提供一種基于大數(shù)據(jù)的智能評(píng)標(biāo)方法,通過(guò)利用大數(shù)據(jù)分析和人工智能技術(shù),結(jié)合收集、整理和分析大量的招投標(biāo)數(shù)據(jù),減少人為因素對(duì)評(píng)標(biāo)結(jié)果的影響,且通過(guò)自動(dòng)化工具實(shí)現(xiàn)評(píng)標(biāo)流程的簡(jiǎn)化。
2、一方面,本發(fā)明提供一種基于大數(shù)據(jù)的智能評(píng)標(biāo)方法,包括:
3、步驟1:收集招標(biāo)項(xiàng)目相關(guān)的原始數(shù)據(jù),按照預(yù)設(shè)字段利用自然語(yǔ)言處理技術(shù)識(shí)別并提取原始數(shù)據(jù)中的關(guān)鍵指標(biāo)信息;
4、步驟2:將關(guān)鍵指標(biāo)信息進(jìn)行預(yù)處理后得到標(biāo)準(zhǔn)指標(biāo)信息,并存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中;
5、步驟3:將數(shù)據(jù)倉(cāng)庫(kù)的標(biāo)準(zhǔn)指標(biāo)信息以及對(duì)應(yīng)指標(biāo)字段代入權(quán)重模型中,得到不同指標(biāo)字段對(duì)應(yīng)的第一權(quán)重;
6、步驟4:將數(shù)據(jù)倉(cāng)庫(kù)的歷史招投標(biāo)數(shù)據(jù)作為訓(xùn)練集,標(biāo)準(zhǔn)投標(biāo)文件作為測(cè)試集,利用訓(xùn)練集訓(xùn)練評(píng)標(biāo)大模型,利用測(cè)試集和不同指標(biāo)字段的第一權(quán)重更新評(píng)標(biāo)大模型的指標(biāo)最新參數(shù)得到最終評(píng)標(biāo)大模型;
7、步驟5:將最終評(píng)標(biāo)大模型搭建到評(píng)標(biāo)大腦系統(tǒng)中,構(gòu)成大數(shù)據(jù)模型基礎(chǔ)評(píng)標(biāo)大腦,將實(shí)際招標(biāo)文件代入評(píng)標(biāo)大腦系統(tǒng)中,得到評(píng)標(biāo)報(bào)告結(jié)果。
8、另一方面,收集招標(biāo)項(xiàng)目相關(guān)的原始數(shù)據(jù),包括:
9、引入?yún)^(qū)塊鏈技術(shù),設(shè)計(jì)區(qū)塊鏈網(wǎng)絡(luò)架構(gòu),并預(yù)設(shè)區(qū)塊鏈網(wǎng)絡(luò)的節(jié)點(diǎn)權(quán)限和數(shù)據(jù)共享機(jī)制;
10、確定招標(biāo)主要數(shù)據(jù)源,根據(jù)預(yù)設(shè)接口標(biāo)準(zhǔn)開(kāi)發(fā)主要數(shù)據(jù)源的接口;
11、通過(guò)區(qū)塊鏈主體市場(chǎng)數(shù)據(jù)接口獲取招標(biāo)項(xiàng)目的原始接口數(shù)據(jù),通過(guò)數(shù)據(jù)格式轉(zhuǎn)化預(yù)處理操作得到招標(biāo)項(xiàng)目的原始數(shù)據(jù),所述原始數(shù)據(jù)包括格式化數(shù)據(jù)和非格式化數(shù)據(jù)。
12、另一方面,按照預(yù)設(shè)字段利用自然語(yǔ)言處理技術(shù)識(shí)別并提取原始數(shù)據(jù)中的關(guān)鍵指標(biāo)信息,包括:
13、若所述原始數(shù)據(jù)為格式化數(shù)據(jù),利用字段模板提取原始數(shù)據(jù)中的對(duì)應(yīng)字段指標(biāo)以及字段指標(biāo)匹配對(duì)應(yīng)的數(shù)據(jù)結(jié)果,生成字段指標(biāo)-指標(biāo)數(shù)據(jù)的關(guān)鍵指標(biāo)信息;
14、若所述原始數(shù)據(jù)為非格式化數(shù)據(jù),利用ocr工具將非格式化數(shù)據(jù)進(jìn)行處理,對(duì)所述非格式化數(shù)據(jù)進(jìn)行特征處理,篩選掉無(wú)用數(shù)據(jù),得到第一特征序列;
15、將第一特征序列的任一單元特征和標(biāo)準(zhǔn)字典進(jìn)行匹配,獲取匹配度最高的字符作為單元字符,得到第一特征序列對(duì)應(yīng)的文本字符數(shù)據(jù);
16、利用ner技術(shù)識(shí)別結(jié)合預(yù)設(shè)字段識(shí)別所述文本字符數(shù)據(jù)的實(shí)體,并且根據(jù)預(yù)設(shè)字段的字段類(lèi)型對(duì)實(shí)體標(biāo)注;
17、根據(jù)實(shí)體的標(biāo)注信息,對(duì)實(shí)體進(jìn)行分類(lèi),得到原始數(shù)據(jù)的所述關(guān)鍵指標(biāo)信息。
18、另一方面,將關(guān)鍵指標(biāo)信息進(jìn)行預(yù)處理后得到標(biāo)準(zhǔn)指標(biāo)信息,根并存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中,包括:
19、將關(guān)鍵指標(biāo)信息篩選掉異常數(shù)據(jù),之后根據(jù)預(yù)設(shè)標(biāo)準(zhǔn)單位進(jìn)行預(yù)處理,得到標(biāo)準(zhǔn)指標(biāo)信息數(shù)據(jù);
20、根據(jù)預(yù)設(shè)標(biāo)準(zhǔn)字段,設(shè)計(jì)數(shù)據(jù)表結(jié)構(gòu),將數(shù)據(jù)表與數(shù)據(jù)倉(cāng)庫(kù)匹配成功;
21、將標(biāo)準(zhǔn)指標(biāo)信息數(shù)據(jù)批量存儲(chǔ)到數(shù)據(jù)表中,不符合數(shù)據(jù)表字段的作為無(wú)用數(shù)據(jù)篩選到垃圾表中;
22、完成數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)存儲(chǔ),并且使用sql腳本啟動(dòng)。
23、另一方面,將數(shù)據(jù)倉(cāng)庫(kù)的標(biāo)準(zhǔn)指標(biāo)信息以及對(duì)應(yīng)指標(biāo)字段代入權(quán)重模型中,得到不同指標(biāo)字段對(duì)應(yīng)的第一權(quán)重,包括:
24、獲取數(shù)據(jù)倉(cāng)庫(kù)的預(yù)設(shè)標(biāo)準(zhǔn)字段,設(shè)計(jì)評(píng)分表的基本信息;之后將標(biāo)準(zhǔn)指標(biāo)信息的任一指標(biāo)字段和評(píng)分表中的評(píng)分標(biāo)準(zhǔn)結(jié)合進(jìn)行評(píng)定,得到第一評(píng)分;
25、其中,a1表示所述指標(biāo)字段的第一評(píng)分,j表示第j個(gè)評(píng)分標(biāo)準(zhǔn),m表示評(píng)分表一共有m個(gè)評(píng)分標(biāo)準(zhǔn),i表示所述指標(biāo)字段的第i個(gè)指標(biāo)數(shù)據(jù)值,n表示所述字段一共有n個(gè)指標(biāo)數(shù)據(jù)值,lij表示第i個(gè)指標(biāo)數(shù)據(jù)值和第j個(gè)評(píng)分標(biāo)準(zhǔn)的邏輯長(zhǎng)度距離差,σ1表示基于lij的方差;lj表示第j個(gè)評(píng)分標(biāo)準(zhǔn)的邏輯長(zhǎng)度,f()表示層次疊加函數(shù),e表示誤差系數(shù),wij表示第i個(gè)指標(biāo)數(shù)據(jù)值和第j個(gè)評(píng)分標(biāo)準(zhǔn)的層次距離差,wmax表示層次最大長(zhǎng)度,wave表示層次最大均值;
26、最后得到標(biāo)準(zhǔn)指標(biāo)信息的所有指標(biāo)的第一評(píng)分。
27、另一方面,得到不同指標(biāo)字段對(duì)應(yīng)的第一權(quán)重,還包括:
28、將標(biāo)準(zhǔn)指標(biāo)信息的所有指標(biāo)字段的第一評(píng)分及其對(duì)應(yīng)指標(biāo)字段代入權(quán)重模型中;
29、其中,g表示所述指標(biāo)字段的第一權(quán)重,n1表示一共有n1個(gè)指標(biāo)字段,σi1表示第i1個(gè)指標(biāo)字段的初始評(píng)價(jià)權(quán)重,ai1表示第i1個(gè)指標(biāo)字段的第一評(píng)分,lg()表示權(quán)重模型;
30、得到標(biāo)準(zhǔn)指標(biāo)信息的不同指標(biāo)字段對(duì)應(yīng)的第一權(quán)重。
31、另一方面,將數(shù)據(jù)倉(cāng)庫(kù)的歷史招投標(biāo)數(shù)據(jù)作為訓(xùn)練集,標(biāo)準(zhǔn)投標(biāo)文件作為測(cè)試集,利用訓(xùn)練集訓(xùn)練評(píng)標(biāo)大模型,利用測(cè)試集和不同指標(biāo)字段的第一權(quán)重更新評(píng)標(biāo)大模型的指標(biāo)最新參數(shù)得到最終評(píng)標(biāo)大模型,包括:
32、從數(shù)據(jù)倉(cāng)庫(kù)中提取包含招投標(biāo)歷史記錄的數(shù)據(jù)集作為訓(xùn)練集,將訓(xùn)練集數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗過(guò)濾,之后對(duì)訓(xùn)練集進(jìn)行特征提取,得到不同特征字段及其對(duì)應(yīng)的數(shù)據(jù);
33、利用所述特征字段對(duì)訓(xùn)練評(píng)標(biāo)大模型進(jìn)行第一次訓(xùn)練,得到第一模型指標(biāo);
34、之后對(duì)訓(xùn)練評(píng)標(biāo)大模型迭代處理得到對(duì)應(yīng)迭代次數(shù)的模型指標(biāo),和第一次模型指標(biāo)構(gòu)成模型指標(biāo)集;
35、利用模型指標(biāo)集得到評(píng)標(biāo)大模型的第一標(biāo)準(zhǔn)參數(shù),利用標(biāo)準(zhǔn)投標(biāo)文件作為測(cè)試集進(jìn)行測(cè)試評(píng)估,得到評(píng)標(biāo)大模型的評(píng)估指標(biāo);
36、根據(jù)評(píng)估指標(biāo)和不同指標(biāo)字段的第一權(quán)重,對(duì)評(píng)標(biāo)大模型的第一標(biāo)準(zhǔn)參數(shù)進(jìn)行調(diào)整處理,得到評(píng)標(biāo)大模型的超參數(shù);
37、所述超參數(shù)更新評(píng)標(biāo)大模型后得到最終評(píng)標(biāo)大模型。
38、另一方面,將最終評(píng)標(biāo)大模型搭建到評(píng)標(biāo)大腦系統(tǒng)中,構(gòu)成大數(shù)據(jù)模型基礎(chǔ)評(píng)標(biāo)大腦,將實(shí)際招標(biāo)文件代入評(píng)標(biāo)大腦系統(tǒng)中,得到評(píng)標(biāo)報(bào)告結(jié)果,包括:
39、將最終評(píng)標(biāo)大模型搭建到評(píng)標(biāo)大腦系統(tǒng)中,構(gòu)成大數(shù)據(jù)模型基礎(chǔ)評(píng)標(biāo)大腦;
40、在評(píng)標(biāo)大腦系統(tǒng)創(chuàng)建api接口,與前端界面接入;通過(guò)前端界面上傳實(shí)際招標(biāo)文件,經(jīng)過(guò)最終評(píng)標(biāo)大模型處理生成初始評(píng)標(biāo)結(jié)果,利用業(yè)務(wù)整合系統(tǒng)將初始評(píng)標(biāo)結(jié)果進(jìn)行業(yè)務(wù)整合,得到評(píng)標(biāo)報(bào)告結(jié)果并輸出前端,將初始評(píng)標(biāo)結(jié)果保存到后端數(shù)據(jù)庫(kù)中。
41、與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果為:
42、本發(fā)明提供一種基于大數(shù)據(jù)的智能評(píng)標(biāo)方法,通過(guò)利用大數(shù)據(jù)分析和人工智能技術(shù),結(jié)合收集、整理和分析大量的招投標(biāo)數(shù)據(jù),減少人為因素對(duì)評(píng)標(biāo)結(jié)果的影響,且通過(guò)自動(dòng)化工具實(shí)現(xiàn)評(píng)標(biāo)流程的簡(jiǎn)化。
1.一種基于大數(shù)據(jù)的智能評(píng)標(biāo)方法,其特征在于,包括:
2.根據(jù)權(quán)利要求1所述的一種基于大數(shù)據(jù)的智能評(píng)標(biāo)方法,其特征在于,收集招標(biāo)項(xiàng)目相關(guān)的原始數(shù)據(jù),包括:
3.根據(jù)權(quán)利要求1所述的一種基于大數(shù)據(jù)的智能評(píng)標(biāo)方法,其特征在于,按照預(yù)設(shè)字段利用自然語(yǔ)言處理技術(shù)識(shí)別并提取原始數(shù)據(jù)中的關(guān)鍵指標(biāo)信息,包括:
4.根據(jù)權(quán)利要求1所述的一種基于大數(shù)據(jù)的智能評(píng)標(biāo)方法,其特征在于,將關(guān)鍵指標(biāo)信息進(jìn)行預(yù)處理后得到標(biāo)準(zhǔn)指標(biāo)信息,根并存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中,包括:
5.根據(jù)權(quán)利要求1所述的一種基于大數(shù)據(jù)的智能評(píng)標(biāo)方法,其特征在于,將數(shù)據(jù)倉(cāng)庫(kù)的標(biāo)準(zhǔn)指標(biāo)信息以及對(duì)應(yīng)指標(biāo)字段代入權(quán)重模型中,得到不同指標(biāo)字段對(duì)應(yīng)的第一權(quán)重,包括:
6.根據(jù)權(quán)利要求5所述的一種基于大數(shù)據(jù)的智能評(píng)標(biāo)方法,其特征在于,得到不同指標(biāo)字段對(duì)應(yīng)的第一權(quán)重,還包括:
7.根據(jù)權(quán)利要求1所述的一種基于大數(shù)據(jù)的智能評(píng)標(biāo)方法,其特征在于,將數(shù)據(jù)倉(cāng)庫(kù)的歷史招投標(biāo)數(shù)據(jù)作為訓(xùn)練集,標(biāo)準(zhǔn)投標(biāo)文件作為測(cè)試集,利用訓(xùn)練集訓(xùn)練評(píng)標(biāo)大模型,利用測(cè)試集和不同指標(biāo)字段的第一權(quán)重更新評(píng)標(biāo)大模型的指標(biāo)最新參數(shù)得到最終評(píng)標(biāo)大模型,包括:
8.根據(jù)權(quán)利要求7所述的一種基于大數(shù)據(jù)的智能評(píng)標(biāo)方法,其特征在于,將最終評(píng)標(biāo)大模型搭建到評(píng)標(biāo)大腦系統(tǒng)中,構(gòu)成大數(shù)據(jù)模型基礎(chǔ)評(píng)標(biāo)大腦,將實(shí)際招標(biāo)文件代入評(píng)標(biāo)大腦系統(tǒng)中,得到評(píng)標(biāo)報(bào)告結(jié)果,包括: