大數(shù)據(jù)分析挖掘管理面與業(yè)務(wù)面的關(guān)聯(lián)方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)挖掘與應(yīng)用領(lǐng)域，尤其涉及一種大數(shù)據(jù)分析挖掘管理面與業(yè)務(wù)面的關(guān)聯(lián)方法及系統(tǒng)。
【背景技術(shù)】
[0002]在“大數(shù)據(jù)”背景下，企業(yè)的大量數(shù)據(jù)不再按照傳統(tǒng)的相關(guān)格式存儲在企業(yè)數(shù)據(jù)庫中，數(shù)據(jù)存儲格式發(fā)生了很大的變化。而且，數(shù)據(jù)存儲量增大，數(shù)據(jù)的生成使用非傳統(tǒng)的數(shù)據(jù)輸入手段，例如無線射頻識別(RFID)、傳感器網(wǎng)絡(luò)等，并且數(shù)據(jù)對時間敏感。
[0003]以數(shù)據(jù)效能發(fā)揮和使用而言，大數(shù)據(jù)分析與傳統(tǒng)數(shù)據(jù)倉庫分析的區(qū)別體現(xiàn)在以下幾個方面:(I)傳統(tǒng)分析是針對已知的數(shù)據(jù)范圍中易理解的數(shù)據(jù)進(jìn)行分析，而大數(shù)據(jù)分析是針對傳統(tǒng)手段捕捉到的數(shù)據(jù)之外的非結(jié)構(gòu)化數(shù)據(jù)；(2)傳統(tǒng)分析是建立在關(guān)系數(shù)據(jù)模型之上的，主題之間的關(guān)系在系統(tǒng)內(nèi)就已經(jīng)被創(chuàng)立，且分析也在此基礎(chǔ)上進(jìn)行；而大數(shù)據(jù)體現(xiàn)在典型的世界里，很難在所有的信息間以一種正式的方式建立關(guān)系，絕大多數(shù)的大數(shù)據(jù)分析數(shù)據(jù)庫基于縱列數(shù)據(jù)庫之外；(3)傳統(tǒng)分析是定向的批處理，而大數(shù)據(jù)分析是利用對數(shù)據(jù)有意義的軟件的支持針對數(shù)據(jù)的實(shí)時分析。
[0004]在此背景下，需要充分使用建模工具，探索實(shí)時數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系和相關(guān)的模型。眾多大數(shù)據(jù)應(yīng)用背后是豐富的數(shù)據(jù)關(guān)聯(lián)關(guān)系以及以數(shù)據(jù)集成關(guān)系為主題的豐富的數(shù)據(jù)模型。可見，要形成開放的大數(shù)據(jù)應(yīng)用產(chǎn)品或者大數(shù)據(jù)應(yīng)用商店，必須建立開放的數(shù)據(jù)分析挖掘能力平臺。
[0005]目前，在數(shù)據(jù)運(yùn)營過程中，原始數(shù)據(jù)存在于內(nèi)部網(wǎng)絡(luò)系統(tǒng)(與外部網(wǎng)絡(luò)不互通)，無法直接支持在外部網(wǎng)絡(luò)的用戶或應(yīng)用。于數(shù)據(jù)運(yùn)營過程中，一方面，處于內(nèi)部系統(tǒng)的數(shù)據(jù)管理者，負(fù)責(zé)數(shù)據(jù)采集、整合、基礎(chǔ)加工以及數(shù)據(jù)安全等工作，承擔(dān)了數(shù)據(jù)安全與數(shù)據(jù)作業(yè)的工作；另外一方面，外部網(wǎng)絡(luò)中的數(shù)據(jù)用戶或應(yīng)用需要數(shù)據(jù)開放來支持相關(guān)的數(shù)據(jù)應(yīng)用或者形成數(shù)據(jù)產(chǎn)品，以發(fā)揮數(shù)據(jù)的最大核心價值。由于內(nèi)部系統(tǒng)和外部網(wǎng)絡(luò)不互通，造成外部網(wǎng)絡(luò)的用戶或應(yīng)用無法獲取相應(yīng)的數(shù)據(jù)，從而無法形成開放的大數(shù)據(jù)應(yīng)用產(chǎn)品或者應(yīng)用商店。
[0006]但是，若內(nèi)部系統(tǒng)的數(shù)據(jù)向外部網(wǎng)絡(luò)完全開放，容易導(dǎo)致數(shù)據(jù)外漏，存在數(shù)據(jù)安全隱患。比如，若沒有相應(yīng)數(shù)據(jù)模型的使用權(quán)限的人員獲取了該數(shù)據(jù)模型得到的結(jié)果數(shù)據(jù)，會造成數(shù)據(jù)外泄；若當(dāng)前數(shù)據(jù)人員獲取的結(jié)果數(shù)據(jù)涉及原始數(shù)據(jù)中的用戶數(shù)據(jù)隱私，也會造成數(shù)據(jù)外泄，等等。

【發(fā)明內(nèi)容】

[0007]本發(fā)明提供一種大數(shù)據(jù)分析挖掘管理面與業(yè)務(wù)面的關(guān)聯(lián)方法及系統(tǒng)，用來解決現(xiàn)有技術(shù)中數(shù)據(jù)開放會產(chǎn)生的數(shù)據(jù)安全性、有序性管理的問題，比如將目標(biāo)開放的數(shù)據(jù)能夠準(zhǔn)確開放給具備權(quán)限需求方，并能夠通過配置方式，實(shí)現(xiàn)數(shù)據(jù)需求方按字段要求獲取數(shù)據(jù)。
[0008]為了解決上述技術(shù)問題，本發(fā)明提供一種大數(shù)據(jù)分析挖掘管理面與業(yè)務(wù)面的關(guān)聯(lián)方法，包括以下步驟:數(shù)據(jù)網(wǎng)關(guān)從數(shù)據(jù)分析挖掘平臺獲取模型運(yùn)行得到的結(jié)果數(shù)據(jù)，并從所述數(shù)據(jù)分析挖掘平臺同步所述模型的管理信息及索引信息；所述數(shù)據(jù)網(wǎng)關(guān)根據(jù)所述管理信息、所述索引信息及所述結(jié)果數(shù)據(jù)，建立數(shù)據(jù)輸出索引；所述數(shù)據(jù)網(wǎng)關(guān)根據(jù)所述數(shù)據(jù)輸出索引判斷數(shù)據(jù)需求方對該模型的使用權(quán)限，并根據(jù)預(yù)設(shè)的安全規(guī)則處理所述結(jié)果數(shù)據(jù)后輸出至所述數(shù)據(jù)需求方。
[0009]進(jìn)一步地，所述管理信息包括數(shù)據(jù)需求方標(biāo)識信息、模型標(biāo)識信息及模型訓(xùn)練集信息。
[0010]進(jìn)一步地，所述索引信息包括模型標(biāo)識信息、模型運(yùn)行時間信息以及模型運(yùn)行輸入集信息。
[0011]進(jìn)一步地，所述數(shù)據(jù)網(wǎng)關(guān)根據(jù)所述管理信息、所述索引信息及所述結(jié)果數(shù)據(jù)，建立數(shù)據(jù)輸出索引包括:以模型標(biāo)識信息為關(guān)聯(lián)要素，確定該模型的管理信息及索引信息的對應(yīng)關(guān)系，結(jié)果數(shù)據(jù)與模型標(biāo)識信息及該模型運(yùn)行的輸入集信息一一對應(yīng)，建立數(shù)據(jù)輸出索引。
[0012]進(jìn)一步地，所述數(shù)據(jù)網(wǎng)關(guān)根據(jù)所述數(shù)據(jù)輸出索引及預(yù)設(shè)的安全規(guī)則將相關(guān)的結(jié)果數(shù)據(jù)輸出至所述數(shù)據(jù)需求方包括:當(dāng)所述數(shù)據(jù)需求方為用戶時，所述數(shù)據(jù)網(wǎng)關(guān)通過服務(wù)代理輸出所述相關(guān)的結(jié)果數(shù)據(jù)，當(dāng)所述數(shù)據(jù)需求方為應(yīng)用時，所述數(shù)據(jù)網(wǎng)關(guān)通過Webservice服務(wù)輸出所述相關(guān)的結(jié)果數(shù)據(jù)。
[0013]本發(fā)明還提供一種大數(shù)據(jù)分析挖掘管理面與業(yè)務(wù)面的關(guān)聯(lián)系統(tǒng)，設(shè)置于數(shù)據(jù)網(wǎng)關(guān)，包括獲取模塊、建立模塊以及輸出模塊。所述獲取模塊，用于從數(shù)據(jù)分析挖掘平臺獲取模型運(yùn)行得到的結(jié)果數(shù)據(jù)，并從數(shù)據(jù)分析挖掘平臺同步所述模型的管理信息及索引信息；所述建立模塊，用于根據(jù)所述管理信息、所述索引信息及所述結(jié)果數(shù)據(jù)，建立數(shù)據(jù)輸出索引；所述輸出模塊，用于根據(jù)所述數(shù)據(jù)輸出索引判斷數(shù)據(jù)需求方對該模型的使用權(quán)限，并根據(jù)預(yù)設(shè)的安全規(guī)則處理所述結(jié)果數(shù)據(jù)后輸出至所述數(shù)據(jù)需求方。
[0014]進(jìn)一步地，所述管理信息包括數(shù)據(jù)需求方標(biāo)識信息、模型標(biāo)識信息及模型訓(xùn)練集信息。
[0015]進(jìn)一步地，所述索引信息包括模型標(biāo)識信息、模型運(yùn)行時間信息以及模型運(yùn)行輸入集信息。
[0016]進(jìn)一步地，所述建立模塊，用于根據(jù)所述管理信息、所述索引信息及所述結(jié)果數(shù)據(jù)，建立數(shù)據(jù)輸出索引包括:以模型標(biāo)識信息為關(guān)聯(lián)要素，確定該模型的管理信息及索引信息的對應(yīng)關(guān)系，結(jié)果數(shù)據(jù)與模型標(biāo)識信息及該模型運(yùn)行的輸入集信息一一對應(yīng)，建立數(shù)據(jù)輸出索引。
[0017]進(jìn)一步地，當(dāng)所述數(shù)據(jù)需求方為用戶時，所述輸出模塊，用于通過服務(wù)代理輸出所述相關(guān)的結(jié)果數(shù)據(jù)；當(dāng)所述數(shù)據(jù)需求方為應(yīng)用時，所述輸出模塊，用于通過Webservice服務(wù)輸出所述相關(guān)的結(jié)果數(shù)據(jù)。
[0018]本發(fā)明提供的大數(shù)據(jù)分析挖掘管理面與業(yè)務(wù)面的關(guān)聯(lián)方法及系統(tǒng)，在數(shù)據(jù)分析挖掘平臺開放的基礎(chǔ)上，完成在數(shù)據(jù)分析挖掘平臺與數(shù)據(jù)網(wǎng)關(guān)上的管理信息、索引信息以及模型運(yùn)行的結(jié)果數(shù)據(jù)的關(guān)聯(lián)同步，由數(shù)據(jù)網(wǎng)關(guān)將相應(yīng)的模型運(yùn)行得到的結(jié)果數(shù)據(jù)根據(jù)數(shù)據(jù)輸出索引及預(yù)設(shè)的安全規(guī)則輸出至數(shù)據(jù)需求方(例如合適的數(shù)據(jù)用戶或者數(shù)據(jù)應(yīng)用APP)。如此，在數(shù)據(jù)開放的環(huán)境下，實(shí)現(xiàn)安全、高效、有序的數(shù)據(jù)結(jié)果輸出，直接支撐面向適合數(shù)據(jù)需求方的數(shù)據(jù)結(jié)果的自動化數(shù)據(jù)服務(wù)。
【附圖說明】
[0019]圖1所示為本發(fā)明較佳實(shí)施例提供的大數(shù)據(jù)分析挖掘管理面與業(yè)務(wù)面的關(guān)聯(lián)方法的流程圖；
[0020]圖2所示為本發(fā)明較佳實(shí)施例提供的數(shù)據(jù)分析挖掘平臺與數(shù)據(jù)網(wǎng)關(guān)的關(guān)聯(lián)示意圖。
【具體實(shí)施方式】
[0021]下面將結(jié)合附圖及實(shí)施例對本發(fā)明的技術(shù)方案進(jìn)行更詳細(xì)的說明。
[0022]如圖1所示，本發(fā)明較佳實(shí)施例提供的方法包括以下步驟:S1:數(shù)據(jù)網(wǎng)關(guān)從數(shù)據(jù)分析挖掘平臺獲取模型運(yùn)行得到的結(jié)果數(shù)據(jù)，并從數(shù)據(jù)分析挖掘平臺同步所述模型的管理信息及索引信息；S2:數(shù)據(jù)網(wǎng)關(guān)根據(jù)所述管理信息、所述索引信息及所述結(jié)果數(shù)據(jù)，建立數(shù)據(jù)輸出索引；S3:所述數(shù)據(jù)網(wǎng)關(guān)根據(jù)所述數(shù)據(jù)輸出索引判斷數(shù)據(jù)需求方對該模型的使用權(quán)限，并根據(jù)預(yù)設(shè)的安全規(guī)則處理所述結(jié)果數(shù)據(jù)后輸出至所述數(shù)據(jù)需求方。
[0023]于較佳實(shí)施例中，管理信息包括數(shù)據(jù)需求方標(biāo)識信息、模型標(biāo)識信息及模型訓(xùn)練集信息。
[0024]于較佳實(shí)施例中，索引信息包括模型標(biāo)識信息、模型運(yùn)行時間信息以及模型運(yùn)行輸入集信息。
[0025]于較佳實(shí)施例中，所述數(shù)據(jù)網(wǎng)關(guān)根據(jù)所述管理信息、所述索引信息及所述結(jié)果數(shù)據(jù)，建立數(shù)據(jù)輸出索引包括:以模型標(biāo)識信息為關(guān)聯(lián)要素，確定該模型的管理信息及索引信息的對應(yīng)關(guān)系，結(jié)果數(shù)據(jù)與模型標(biāo)識信息及該模型運(yùn)行的輸入集信息一一對應(yīng)，建立數(shù)據(jù)輸出索引。
[0026]于較佳實(shí)施例中，數(shù)據(jù)網(wǎng)關(guān)根據(jù)所述數(shù)據(jù)輸出索引及預(yù)設(shè)的安全過濾規(guī)則將相關(guān)的結(jié)果數(shù)據(jù)輸出至所述數(shù)據(jù)需求方包括:當(dāng)數(shù)據(jù)需求方為用戶時，數(shù)據(jù)網(wǎng)關(guān)通過服務(wù)代理輸出相關(guān)的結(jié)果數(shù)據(jù)；當(dāng)數(shù)據(jù)需求方為應(yīng)用時，數(shù)據(jù)網(wǎng)關(guān)通過Webservice服務(wù)輸出相關(guān)的結(jié)果數(shù)據(jù)。
[0027]以下詳細(xì)描述本發(fā)明較佳實(shí)施例的關(guān)聯(lián)方法。
[0028]具體而言，如圖2所示，大數(shù)據(jù)平臺為數(shù)據(jù)分析挖掘平臺提供基礎(chǔ)數(shù)據(jù)，數(shù)據(jù)分析挖掘平臺通過數(shù)據(jù)網(wǎng)關(guān)為數(shù)據(jù)需求方提供數(shù)據(jù)挖掘服務(wù)。數(shù)據(jù)分析挖掘平臺作為大數(shù)據(jù)分析挖掘的管理面，而數(shù)據(jù)網(wǎng)關(guān)作為大數(shù)據(jù)分析挖掘的業(yè)務(wù)面。
[0029]大數(shù)據(jù)平臺主要是以Hadoop+SMP+MPP等數(shù)據(jù)庫為核心技術(shù)要素混搭組成，完成數(shù)據(jù)的存儲、清洗、加工等數(shù)據(jù)加工工作，并且負(fù)責(zé)實(shí)現(xiàn)