本發(fā)明涉及圍串標(biāo)識(shí)別,具體為一種基于大數(shù)據(jù)處理的圍串標(biāo)行為識(shí)別方法及系統(tǒng)。
背景技術(shù):
1、在招標(biāo)投標(biāo)活動(dòng)中,圍標(biāo)串標(biāo)行為是一種常見(jiàn)的非法手段,它破壞了公平競(jìng)爭(zhēng)的原則,損害了招標(biāo)人的利益,傳統(tǒng)的圍標(biāo)串標(biāo)行為識(shí)別主要依賴(lài)人工審核,效率低下且易受主觀因素影響,隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展,電子招標(biāo)投標(biāo)成為趨勢(shì),大量數(shù)據(jù)的產(chǎn)生為圍標(biāo)串標(biāo)行為的自動(dòng)化識(shí)別提供了可能,然而,現(xiàn)有的圍標(biāo)串標(biāo)識(shí)別方法和技術(shù)大多側(cè)重于單一維度的分析,難以全面有效地識(shí)別復(fù)雜多變的圍標(biāo)串標(biāo)行為,因此為了能夠?qū)鷺?biāo)串標(biāo)行為進(jìn)行多維度的識(shí)別,利用大數(shù)據(jù)技術(shù)對(duì)投標(biāo)數(shù)據(jù)進(jìn)行檢測(cè),提出一種基于大數(shù)據(jù)處理的圍串標(biāo)行為識(shí)別方法及系統(tǒng)。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的在于提供一種基于大數(shù)據(jù)處理的圍串標(biāo)行為識(shí)別方法及系統(tǒng),以解決上述背景技術(shù)中提出現(xiàn)有的圍標(biāo)串標(biāo)識(shí)別方法和技術(shù)大多側(cè)重于單一維度的分析,難以全面有效地識(shí)別復(fù)雜多變的圍標(biāo)串標(biāo)行為的問(wèn)題。
2、為實(shí)現(xiàn)上述目的,本發(fā)明提供如下技術(shù)方案:一種基于大數(shù)據(jù)處理的圍串標(biāo)行為識(shí)別方法及系統(tǒng),包括地址獲取模塊、比較模塊、處理模塊、相似度分析模塊、計(jì)算模塊、加權(quán)計(jì)算評(píng)價(jià)模塊和預(yù)警模塊;
3、作為本技術(shù)方案的進(jìn)一步優(yōu)選的:所述地址獲取模塊,用于獲取所有投標(biāo)方的ip地址信息、mac地址信息,復(fù)制并存儲(chǔ)所有的地址信息至地址數(shù)據(jù)庫(kù),該模塊能夠自動(dòng)或手動(dòng)啟動(dòng),通過(guò)網(wǎng)絡(luò)接口獲取參與投標(biāo)的各方提交的投標(biāo)文件時(shí)的設(shè)備地址信息,這些信息被收集后會(huì)被復(fù)制并存儲(chǔ)在專(zhuān)門(mén)的地址數(shù)據(jù)庫(kù)中,用于后續(xù)分析使用;
4、所述比較模塊,用于將獲取到的地址信息與地址數(shù)據(jù)庫(kù)內(nèi)的地址信息進(jìn)行比較,如果地址數(shù)據(jù)庫(kù)內(nèi)存在一個(gè)以上的地址信息與所述地址信息相同,則輸出異常信息,如果不存在重復(fù),則進(jìn)入下一步,比較模塊會(huì)檢查地址數(shù)據(jù)庫(kù),確認(rèn)是否存在兩個(gè)或多個(gè)不同的投標(biāo)方使用了相同的地址信息,若發(fā)現(xiàn)重復(fù),則觸發(fā)異常報(bào)警流程,反之則允許投標(biāo)文件進(jìn)入后續(xù)的分析階段;
5、作為本技術(shù)方案的進(jìn)一步優(yōu)選的:所述處理模塊,用于獲取投標(biāo)方的投標(biāo)文件,并對(duì)其進(jìn)行拆解,將其分為標(biāo)題、章節(jié)和內(nèi)容等,并進(jìn)行分類(lèi)存儲(chǔ),處理模塊負(fù)責(zé)對(duì)投標(biāo)文件的關(guān)鍵部分如標(biāo)題、章節(jié)標(biāo)題、正文內(nèi)容進(jìn)行初步處理,并將這些信息按照預(yù)定義的格式進(jìn)行分類(lèi)和存儲(chǔ);
6、作為本技術(shù)方案的進(jìn)一步優(yōu)選的:所述相似度分析模塊,用于對(duì)投標(biāo)文件的章節(jié)與其他投標(biāo)文件的章節(jié)進(jìn)行相似度分析,以及對(duì)投標(biāo)文件的內(nèi)容與其他投標(biāo)文件的內(nèi)容進(jìn)行相似度分析,以得到第一相似度和第二相似度,所述相似度分析模塊采用文本余弦相似度、jaccard相似度的相似度算法,來(lái)評(píng)估不同投標(biāo)文件之間的章節(jié)和內(nèi)容的相似程度;
7、作為本技術(shù)方案的進(jìn)一步優(yōu)選的:所述計(jì)算模塊用于根據(jù)預(yù)設(shè)的第一權(quán)值、第二權(quán)值、第一相似度和第二相似度確定投標(biāo)相似度,所述計(jì)算模塊根據(jù)預(yù)先設(shè)定的權(quán)值和相似度分析結(jié)果,計(jì)算出投標(biāo)文件的整體相似度得分,權(quán)值反映了章節(jié)和內(nèi)容在整體評(píng)估中的相對(duì)重要性,而相似度得分則直接反映投標(biāo)文件之間的相似程度;
8、作為本技術(shù)方案的進(jìn)一步優(yōu)選的:所述加權(quán)計(jì)算評(píng)價(jià)模塊用于通過(guò)加權(quán)計(jì)算投標(biāo)者投標(biāo)行為、標(biāo)書(shū)信息、投標(biāo)者的綜合評(píng)分,加權(quán)計(jì)算評(píng)價(jià)模塊綜合考慮投標(biāo)者的行為、投標(biāo)文件的信息質(zhì)量以及投標(biāo)者的背景情況因素,通過(guò)特定的評(píng)分機(jī)制給出每個(gè)投標(biāo)者的綜合評(píng)分;
9、作為本技術(shù)方案的進(jìn)一步優(yōu)選的:預(yù)警模塊,用于根據(jù)加權(quán)計(jì)算的結(jié)果輸出警報(bào)信息,預(yù)警模塊依據(jù)綜合評(píng)分的結(jié)果,判斷是否存在圍標(biāo)串標(biāo)行為,一旦發(fā)現(xiàn)異常,會(huì)立即生成異常報(bào)告并通知相關(guān)人員;
10、作為本技術(shù)方案的進(jìn)一步優(yōu)選的:所述加權(quán)計(jì)算評(píng)價(jià)模塊還用于對(duì)投標(biāo)者投標(biāo)行為、標(biāo)書(shū)信息、投標(biāo)者的綜合評(píng)分進(jìn)行加權(quán)計(jì)算,根據(jù)預(yù)設(shè)的權(quán)重系數(shù)進(jìn)行綜合評(píng)分,并通過(guò)預(yù)警模塊輸出警報(bào)信息,加權(quán)計(jì)算評(píng)價(jià)模塊不僅計(jì)算單項(xiàng)評(píng)分,還能將投標(biāo)行為、標(biāo)書(shū)信息和投標(biāo)者的背景情況等各項(xiàng)評(píng)分綜合起來(lái),通過(guò)預(yù)設(shè)的權(quán)重系數(shù)得出最終的綜合評(píng)分,這一綜合評(píng)分結(jié)果將直接反饋給預(yù)警模塊,用于判斷是否存在圍標(biāo)串標(biāo)行為,并在必要時(shí)觸發(fā)警報(bào);
11、作為本技術(shù)方案的進(jìn)一步優(yōu)選的:所述相似度分析模塊還用于分析投標(biāo)文件的格式一致性,包括字體、字號(hào)、行間距,并將格式相似度納入第一相似度計(jì)算中,所述地址獲取模塊還用于定期更新地址數(shù)據(jù)庫(kù),并能夠自動(dòng)檢測(cè)并刪除無(wú)效或過(guò)期的地址記錄,地址獲取模塊除了在投標(biāo)過(guò)程中收集地址信息外,還會(huì)定期檢查地址數(shù)據(jù)庫(kù),確保其中的地址信息是最新的,任何無(wú)效或過(guò)期的地址記錄都將被自動(dòng)刪除,以保證數(shù)據(jù)庫(kù)的準(zhǔn)確性和有效性;
12、作為本技術(shù)方案的進(jìn)一步優(yōu)選的:所述計(jì)算模塊能夠根據(jù)不同的項(xiàng)目類(lèi)型設(shè)置不同的第一權(quán)值和第二權(quán)值,以適應(yīng)不同類(lèi)型項(xiàng)目的特殊需求,所述計(jì)算模塊可以根據(jù)不同類(lèi)型的項(xiàng)目調(diào)整第一權(quán)值和第二權(quán)值。
13、與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果是:
14、1、本發(fā)明中通過(guò)綜合分析投標(biāo)方的地址信息、投標(biāo)文件內(nèi)容的相似度以及投標(biāo)行為等多個(gè)維度的數(shù)據(jù),提高了識(shí)別圍標(biāo)串標(biāo)行為的準(zhǔn)確性,利用大數(shù)據(jù)處理技術(shù),可以快速處理大量的投標(biāo)數(shù)據(jù),縮短了檢測(cè)周期,提升了工作效率;
15、2、本發(fā)明中計(jì)算模塊可以根據(jù)不同項(xiàng)目的特性調(diào)整相似度的權(quán)值,使得系統(tǒng)能夠適應(yīng)不同類(lèi)型項(xiàng)目的特殊需求,不僅關(guān)注投標(biāo)文件的內(nèi)容相似度,還考慮到格式一致性等因素,使得檢測(cè)更加全面,地址獲取模塊能夠自動(dòng)更新地址數(shù)據(jù)庫(kù),并自動(dòng)刪除無(wú)效或過(guò)期的地址記錄,減少了人工維護(hù)的工作量,保證了數(shù)據(jù)庫(kù)的準(zhǔn)確性和有效性,預(yù)警模塊能夠根據(jù)加權(quán)計(jì)算的結(jié)果實(shí)時(shí)輸出警報(bào)信息,一旦發(fā)現(xiàn)異常行為,即刻生成異常報(bào)告并通知相關(guān)人員,確保了問(wèn)題能夠得到及時(shí)處理。
1.一種基于大數(shù)據(jù)處理的圍串標(biāo)行為識(shí)別方法及系統(tǒng),其特征在于:包括地址獲取模塊、比較模塊、處理模塊、相似度分析模塊、計(jì)算模塊、加權(quán)計(jì)算評(píng)價(jià)模塊和預(yù)警模塊。
2.根據(jù)權(quán)利要求1所述的一種基于大數(shù)據(jù)處理的圍串標(biāo)行為識(shí)別方法及系統(tǒng),其特征在于:所述地址獲取模塊,用于獲取所有投標(biāo)方的ip地址信息、mac地址信息,復(fù)制并存儲(chǔ)所有的地址信息至地址數(shù)據(jù)庫(kù),該模塊能夠自動(dòng)或手動(dòng)啟動(dòng),通過(guò)網(wǎng)絡(luò)接口獲取參與投標(biāo)的各方提交的投標(biāo)文件時(shí)的設(shè)備地址信息,這些信息被收集后會(huì)被復(fù)制并存儲(chǔ)在專(zhuān)門(mén)的地址數(shù)據(jù)庫(kù)中,用于后續(xù)分析使用;
3.根據(jù)權(quán)利要求2所述的一種基于大數(shù)據(jù)處理的圍串標(biāo)行為識(shí)別方法及系統(tǒng),其特征在于:所述處理模塊,用于獲取投標(biāo)方的投標(biāo)文件,并對(duì)其進(jìn)行拆解,將其分為標(biāo)題、章節(jié)和內(nèi)容等,并進(jìn)行分類(lèi)存儲(chǔ),處理模塊負(fù)責(zé)對(duì)投標(biāo)文件的關(guān)鍵部分如標(biāo)題、章節(jié)標(biāo)題、正文內(nèi)容進(jìn)行初步處理,并將這些信息按照預(yù)定義的格式進(jìn)行分類(lèi)和存儲(chǔ)。
4.根據(jù)權(quán)利要求3所述的一種基于大數(shù)據(jù)處理的圍串標(biāo)行為識(shí)別方法及系統(tǒng),其特征在于:所述相似度分析模塊,用于對(duì)投標(biāo)文件的章節(jié)與其他投標(biāo)文件的章節(jié)進(jìn)行相似度分析,以及對(duì)投標(biāo)文件的內(nèi)容與其他投標(biāo)文件的內(nèi)容進(jìn)行相似度分析,以得到第一相似度和第二相似度,所述相似度分析模塊采用文本余弦相似度、jaccard相似度的相似度算法,來(lái)評(píng)估不同投標(biāo)文件之間的章節(jié)和內(nèi)容的相似程度。
5.根據(jù)權(quán)利要求4所述的一種基于大數(shù)據(jù)處理的圍串標(biāo)行為識(shí)別方法及系統(tǒng),其特征在于:所述計(jì)算模塊用于根據(jù)預(yù)設(shè)的第一權(quán)值、第二權(quán)值、第一相似度和第二相似度確定投標(biāo)相似度,所述計(jì)算模塊根據(jù)預(yù)先設(shè)定的權(quán)值和相似度分析結(jié)果,計(jì)算出投標(biāo)文件的整體相似度得分,權(quán)值反映了章節(jié)和內(nèi)容在整體評(píng)估中的相對(duì)重要性,而相似度得分則直接反映投標(biāo)文件之間的相似程度。
6.根據(jù)權(quán)利要求5所述的一種基于大數(shù)據(jù)處理的圍串標(biāo)行為識(shí)別方法及系統(tǒng),其特征在于:所述加權(quán)計(jì)算評(píng)價(jià)模塊用于通過(guò)加權(quán)計(jì)算投標(biāo)者投標(biāo)行為、標(biāo)書(shū)信息、投標(biāo)者的綜合評(píng)分,加權(quán)計(jì)算評(píng)價(jià)模塊綜合考慮投標(biāo)者的行為、投標(biāo)文件的信息質(zhì)量以及投標(biāo)者的背景情況因素,通過(guò)特定的評(píng)分機(jī)制給出每個(gè)投標(biāo)者的綜合評(píng)分。
7.根據(jù)權(quán)利要求6所述的一種基于大數(shù)據(jù)處理的圍串標(biāo)行為識(shí)別方法及系統(tǒng),其特征在于:所述預(yù)警模塊用于根據(jù)加權(quán)計(jì)算的結(jié)果輸出警報(bào)信息,預(yù)警模塊依據(jù)綜合評(píng)分的結(jié)果,判斷是否存在圍標(biāo)串標(biāo)行為,一旦發(fā)現(xiàn)異常,會(huì)立即生成異常報(bào)告并通知相關(guān)人員。
8.根據(jù)權(quán)利要求7所述的一種基于大數(shù)據(jù)處理的圍串標(biāo)行為識(shí)別方法及系統(tǒng),其特征在于:所述加權(quán)計(jì)算評(píng)價(jià)模塊還用于對(duì)投標(biāo)者投標(biāo)行為、標(biāo)書(shū)信息、投標(biāo)者的綜合評(píng)分進(jìn)行加權(quán)計(jì)算,根據(jù)預(yù)設(shè)的權(quán)重系數(shù)進(jìn)行綜合評(píng)分,并通過(guò)預(yù)警模塊輸出警報(bào)信息,加權(quán)計(jì)算評(píng)價(jià)模塊不僅計(jì)算單項(xiàng)評(píng)分,還能將投標(biāo)行為、標(biāo)書(shū)信息和投標(biāo)者的背景情況等各項(xiàng)評(píng)分綜合起來(lái),通過(guò)預(yù)設(shè)的權(quán)重系數(shù)得出最終的綜合評(píng)分,這一綜合評(píng)分結(jié)果將直接反饋給預(yù)警模塊,用于判斷是否存在圍標(biāo)串標(biāo)行為,并在必要時(shí)觸發(fā)警報(bào)。
9.根據(jù)權(quán)利要求8所述的一種基于大數(shù)據(jù)處理的圍串標(biāo)行為識(shí)別方法及系統(tǒng),其特征在于:所述相似度分析模塊還用于分析投標(biāo)文件的格式一致性,包括字體、字號(hào)、行間距,并將格式相似度納入第一相似度計(jì)算中,所述地址獲取模塊還用于定期更新地址數(shù)據(jù)庫(kù),并能夠自動(dòng)檢測(cè)并刪除無(wú)效或過(guò)期的地址記錄,地址獲取模塊除了在投標(biāo)過(guò)程中收集地址信息外,還會(huì)定期檢查地址數(shù)據(jù)庫(kù),確保其中的地址信息是最新的,任何無(wú)效或過(guò)期的地址記錄都將被自動(dòng)刪除,以保證數(shù)據(jù)庫(kù)的準(zhǔn)確性和有效性。
10.根據(jù)權(quán)利要求9所述的一種基于大數(shù)據(jù)處理的圍串標(biāo)行為識(shí)別方法及系統(tǒng),其特征在于:所述計(jì)算模塊能夠根據(jù)不同的項(xiàng)目類(lèi)型設(shè)置不同的第一權(quán)值和第二權(quán)值,以適應(yīng)不同類(lèi)型項(xiàng)目的特殊需求,所述計(jì)算模塊可以根據(jù)不同類(lèi)型的項(xiàng)目調(diào)整第一權(quán)值和第二權(quán)值。