本發(fā)明涉及計算機(jī)信息處理技術(shù)領(lǐng)域，具體涉及一種訂單模式的大數(shù)據(jù)計算分析任務(wù)可視化編輯與管理系統(tǒng)。

背景技術(shù)：

大數(shù)據(jù)技術(shù)發(fā)展至今，不僅對人類社會及行為分析帶來了很多新的技術(shù)支持，也為工業(yè)領(lǐng)域提供強(qiáng)大的工業(yè)大數(shù)據(jù)支持?，F(xiàn)如今，限制工業(yè)大數(shù)據(jù)進(jìn)一步發(fā)展的往往已不是大數(shù)據(jù)技術(shù)本身，而是大數(shù)據(jù)技術(shù)對專業(yè)人員的技術(shù)要求。以電力系統(tǒng)為例，電力系統(tǒng)運(yùn)行所產(chǎn)生的數(shù)據(jù)無論是數(shù)量還是種類都已非常全面和龐大，但對數(shù)據(jù)的分析技術(shù)卻相對落后，其最主要的原因之一便是對數(shù)據(jù)的分析存在許多的安全問題和對計算機(jī)技術(shù)專業(yè)水平的高要求，使得部分電力系統(tǒng)專業(yè)人員難以對電力系統(tǒng)產(chǎn)生的大數(shù)據(jù)進(jìn)行快速且深入的分析。為此，迫切需要能夠提供更加方便快捷并且能夠圖形化編輯所生成大數(shù)據(jù)計算分析任務(wù)的解決方案。

技術(shù)實(shí)現(xiàn)要素：

為了克服上述現(xiàn)有技術(shù)中存在的問題，本發(fā)明提出了一種訂單模式的大數(shù)據(jù)計算分析任務(wù)可視化編輯與管理系統(tǒng)，通過為用戶提供圖形化的計算分析任務(wù)編輯支持，以及訂單化的計算分析任務(wù)管理，為用戶提供比直接編寫計算腳本更加簡單方便的大數(shù)據(jù)計算分析支持，進(jìn)一步降低用戶對所在領(lǐng)域的大數(shù)據(jù)進(jìn)行價值挖掘的難度。

為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案為：

一種訂單模式的大數(shù)據(jù)計算分析任務(wù)可視化編輯與管理系統(tǒng)，包括：

計算分析任務(wù)可視化編輯與管理前端：用于接收用戶的操作，輔助用戶生成并管理計算分析任務(wù)；

基礎(chǔ)統(tǒng)計學(xué)分析可視化編輯模塊、基礎(chǔ)機(jī)器學(xué)習(xí)分析可視化編輯模塊和復(fù)雜算法腳本可視化編輯模塊：用于為所述計算分析任務(wù)可視化編輯與管理前端提供最常用的大數(shù)據(jù)計算分析任務(wù)編輯支持，使得用戶能夠快速編輯并生成常規(guī)的大數(shù)據(jù)計算分析任務(wù)；

數(shù)據(jù)源信息同步接口和規(guī)則庫與專家?guī)焱浇涌冢河糜跒樗龌A(chǔ)統(tǒng)計學(xué)分析可視化編輯模塊、基礎(chǔ)機(jī)器學(xué)習(xí)分析可視化編輯模塊和復(fù)雜算法腳本可視化編輯模塊提供對應(yīng)的數(shù)據(jù)源信息數(shù)據(jù)和規(guī)則庫與專家?guī)鞌?shù)據(jù)，使其能夠?yàn)橛脩籼峁?zhǔn)確的數(shù)據(jù)源信息并能夠引用規(guī)則庫和專家?guī)燧o助計算分析；

計算分析任務(wù)校驗(yàn)子系統(tǒng)：用于接收來自所述計算分析任務(wù)可視化編輯與管理前端的計算分析任務(wù)，校驗(yàn)所述計算分析任務(wù)邏輯正確性并進(jìn)行簡單整合；

計算分析任務(wù)訂單化管理子系統(tǒng)：用于接收來自所述計算分析任務(wù)校驗(yàn)子系統(tǒng)的計算分析任務(wù)，并對所述計算分析任務(wù)進(jìn)行訂單化管理；

計算分析任務(wù)下達(dá)及反饋接口：用于接收來自所述計算分析任務(wù)訂單化管理子系統(tǒng)的計算分析任務(wù)，將所述計算分析任務(wù)發(fā)送至處理集群，并跟蹤處理進(jìn)度；

所述計算分析任務(wù)可視化編輯與管理前端、數(shù)據(jù)源信息同步接口和規(guī)則庫與專家?guī)焱浇涌诰謩e與所述基礎(chǔ)統(tǒng)計學(xué)分析可視化編輯模塊、基礎(chǔ)機(jī)器學(xué)習(xí)分析可視化編輯模塊和復(fù)雜算法腳本可視化編輯模塊連接，所述計算分析任務(wù)校驗(yàn)子系統(tǒng)分別與所述計算分析任務(wù)可視化編輯與管理前端和計算分析任務(wù)訂單化管理子系統(tǒng)連接，所述計算分析任務(wù)下達(dá)及反饋接口與所述計算分析任務(wù)訂單化管理子系統(tǒng)連接。

優(yōu)選的，所述計算分析任務(wù)的格式是滿足能夠調(diào)用計算集群進(jìn)行分布式計算分析的Python腳本。

優(yōu)選的，所述計算分析任務(wù)可視化編輯與管理前端通過調(diào)用基礎(chǔ)統(tǒng)計學(xué)分析可視化編輯模塊和基礎(chǔ)機(jī)器學(xué)習(xí)分析可視化編輯模塊，為用戶圖形化計算任務(wù)編輯提供支持；用戶通過選擇數(shù)據(jù)源，選擇對應(yīng)的計算分析方法、引用的規(guī)則庫或者專家?guī)旌椭付ǖ妮斎?，生成一條計算分析語句，由多條所述計算分析語句組合為一個分析方案，并由所述計算分析任務(wù)可視化編輯與管理前端自動將所述分析方案轉(zhuǎn)換成計算分析任務(wù)。

優(yōu)選的，所述計算分析任務(wù)可視化編輯與管理前端通過調(diào)用復(fù)雜算法腳本可視化編輯模塊，為自主編程的用戶提供可視化編輯服務(wù)。

優(yōu)選的，所述計算分析任務(wù)訂單化管理子系統(tǒng)對接收到的計算分析任務(wù)進(jìn)行訂單式跟蹤管理，用戶通過所述計算分析任務(wù)可視化編輯與管理前端，查詢所有待執(zhí)行的計算分析任務(wù)的隊(duì)列并管理隊(duì)列優(yōu)先級，查詢正在執(zhí)行的計算分析任務(wù)并能掛起或重置，查詢已執(zhí)行完成的計算分析任務(wù)并瀏覽其結(jié)果或令其重新執(zhí)行。

優(yōu)選的，所述計算分析任務(wù)下達(dá)及反饋接口連接Spark計算集群和Hadoop計算集群中的一種或多種，發(fā)送執(zhí)行腳本并控制執(zhí)行。

優(yōu)選的，所述基礎(chǔ)統(tǒng)計學(xué)分析可視化編輯模塊、基礎(chǔ)機(jī)器學(xué)習(xí)分析可視化編輯模塊和復(fù)雜算法腳本可視化編輯模塊，均用WEB前端腳本語言來編寫，所述WEB前端腳本語言為JavaScript。

優(yōu)選的，所述數(shù)據(jù)源信息同步接口、規(guī)則庫與專家?guī)焱浇涌凇⒂嬎惴治鋈蝿?wù)校驗(yàn)子系統(tǒng)、計算分析任務(wù)訂單化管理子系統(tǒng)和計算分析任務(wù)下達(dá)及反饋接口，均用WEB后端語言來編寫，所述WEB后端語言為Java。

本發(fā)明的有益效果是：通過更加人性化的引導(dǎo)和對計算方法的封裝，極大降低了用戶編寫典型的大數(shù)據(jù)計算分析任務(wù)的難度，從而使得用戶能夠更加專注于業(yè)務(wù)分析和數(shù)據(jù)挖掘本身，為進(jìn)一步實(shí)現(xiàn)工業(yè)大數(shù)據(jù)的深入分析提供了方案。

附圖說明

附圖1為本發(fā)明提出的一種訂單模式的大數(shù)據(jù)計算分析任務(wù)可視化編輯與管理系統(tǒng)的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合附圖，詳細(xì)說明本發(fā)明提出的方案。

由附圖1可知，一種訂單模式的大數(shù)據(jù)計算分析任務(wù)可視化編輯與管理系統(tǒng)，包括九個部分，其中：

計算分析任務(wù)可視化編輯與管理前端：用于接收用戶的操作，并為用戶提供相應(yīng)的計算分析所需的快速編輯功能支持，輔助用戶生成并管理計算分析任務(wù)。本實(shí)施例中，計算分析任務(wù)的格式是滿足能夠調(diào)用計算集群進(jìn)行分布式計算分析的Python腳本。計算分析任務(wù)可視化編輯與管理前端通過調(diào)用基礎(chǔ)統(tǒng)計學(xué)分析可視化編輯模塊和基礎(chǔ)機(jī)器學(xué)習(xí)分析可視化編輯模塊，為用戶圖形化計算任務(wù)編輯提供支持。用戶通過選擇數(shù)據(jù)源，進(jìn)而選擇對應(yīng)的計算分析方法、引用的規(guī)則庫或者專家?guī)旌椭付ǖ妮斎?，即可生成一條計算分析語句，由多條所述計算分析語句就可組合為一個分析方案，并由計算分析任務(wù)可視化編輯與管理前端自動將所述分析方案轉(zhuǎn)換成計算分析任務(wù)。此外，計算分析任務(wù)可視化編輯與管理前端還可通過調(diào)用復(fù)雜算法腳本可視化編輯模塊，為自主編程的用戶提供可視化編輯服務(wù)。計算分析任務(wù)可視化編輯與管理前端，可由典型的WEB前端語言如HTML結(jié)合JavaScript編寫而成，并部署至系統(tǒng)服務(wù)器以運(yùn)行，等待用戶訪問。

基礎(chǔ)統(tǒng)計學(xué)分析可視化編輯模塊、基礎(chǔ)機(jī)器學(xué)習(xí)分析可視化編輯模塊和復(fù)雜算法腳本可視化編輯模塊：這三個模塊共同為計算分析任務(wù)可視化編輯與管理前端提供最常用的大數(shù)據(jù)計算分析任務(wù)編輯支持，使得用戶能夠快速編輯并生成常規(guī)的大數(shù)據(jù)計算分析任務(wù)。這三個模塊通過數(shù)據(jù)源信息同步接口、規(guī)則庫與專家?guī)焱浇涌?，獲取來自服務(wù)器的數(shù)據(jù)源信息和規(guī)則庫與專家?guī)煨畔?，并嵌入編輯模塊之中，為用戶提供對應(yīng)的數(shù)據(jù)源信息和規(guī)則庫與專家?guī)煨畔?，使得用戶能夠通過計算分析任務(wù)可視化編輯與管理前端，設(shè)計并生成完整、典型的計算分析任務(wù)，發(fā)送至計算分析任務(wù)可視化編輯與管理前端，然后通過計算任務(wù)校驗(yàn)子系統(tǒng)的校驗(yàn)，再發(fā)送至計算任務(wù)訂單化管理子系統(tǒng)，并通過計算任務(wù)下達(dá)及反饋接口進(jìn)行執(zhí)行和管理。基礎(chǔ)統(tǒng)計學(xué)分析可視化編輯模塊、基礎(chǔ)機(jī)器學(xué)習(xí)分析可視化編輯模塊和復(fù)雜算法腳本可視化編輯模塊，均可用典型的WEB前端腳本語言如JavaScript來編寫，并封裝后被計算分析任務(wù)可視化編輯與管理前端所調(diào)用。

數(shù)據(jù)源信息同步接口和規(guī)則庫與專家?guī)焱浇涌冢河糜跒榛A(chǔ)統(tǒng)計學(xué)分析可視化編輯模塊、基礎(chǔ)機(jī)器學(xué)習(xí)分析可視化編輯模塊和復(fù)雜算法腳本可視化編輯模塊提供對應(yīng)的數(shù)據(jù)源信息數(shù)據(jù)和規(guī)則庫與專家?guī)鞌?shù)據(jù)，能夠?yàn)橛脩籼峁?zhǔn)確的數(shù)據(jù)源信息并能夠引用規(guī)則庫和專家?guī)燧o助計算分析。數(shù)據(jù)源信息同步接口、及規(guī)則庫與專家?guī)焱浇涌?，可用典型的WEB后端語言如Java來編寫，并部署至服務(wù)器，再連接至對應(yīng)的分布式數(shù)據(jù)源和規(guī)則庫與專家?guī)?，從而為基礎(chǔ)統(tǒng)計學(xué)分析可視化編輯模塊、基礎(chǔ)機(jī)器學(xué)習(xí)分析可視化編輯模塊和復(fù)雜算法腳本可視化編輯模塊提供數(shù)據(jù)服務(wù)。

計算分析任務(wù)校驗(yàn)子系統(tǒng)：用于接收來自計算分析任務(wù)可視化編輯與管理前端的計算分析任務(wù)，然后校驗(yàn)所述計算分析任務(wù)的邏輯正確性并進(jìn)行簡單整合。

計算分析任務(wù)訂單化管理子系統(tǒng)：用于接收來自計算分析任務(wù)校驗(yàn)子系統(tǒng)的計算分析任務(wù)，并對所述計算分析任務(wù)進(jìn)行訂單式跟蹤管理。用戶通過計算分析任務(wù)可視化編輯與管理前端，可以查詢所有待執(zhí)行的計算分析任務(wù)的隊(duì)列并管理隊(duì)列優(yōu)先級，查詢正在執(zhí)行的計算分析任務(wù)并能掛起或重置，查詢已執(zhí)行完成的計算分析任務(wù)并瀏覽其結(jié)果或令其重新執(zhí)行。

計算分析任務(wù)下達(dá)及反饋接口：用于接收來自計算分析任務(wù)訂單化管理子系統(tǒng)的計算分析任務(wù)，并將所述計算分析任務(wù)發(fā)送至處理集群以執(zhí)行，跟蹤其處理進(jìn)度。計算分析任務(wù)下達(dá)及反饋接口連接Spark計算集群和Hadoop計算集群中的一種或多種，發(fā)送執(zhí)行腳本并控制執(zhí)行。

計算分析任務(wù)校驗(yàn)子系統(tǒng)、計算分析任務(wù)訂單化管理子系統(tǒng)、計算分析任務(wù)下達(dá)及反饋接口，均可用典型的WEB后端語言如Java來編寫，并部署至服務(wù)器，建立內(nèi)部連接，共同為計算分析任務(wù)可視化編輯與管理前端服務(wù)。

由圖1可知，計算分析任務(wù)可視化編輯與管理前端、數(shù)據(jù)源信息同步接口和規(guī)則庫與專家?guī)焱浇涌诰謩e與基礎(chǔ)統(tǒng)計學(xué)分析可視化編輯模塊、基礎(chǔ)機(jī)器學(xué)習(xí)分析可視化編輯模塊和復(fù)雜算法腳本可視化編輯模塊連接，計算分析任務(wù)校驗(yàn)子系統(tǒng)分別與計算分析任務(wù)可視化編輯與管理前端和計算分析任務(wù)訂單化管理子系統(tǒng)連接，計算分析任務(wù)下達(dá)及反饋接口與計算分析任務(wù)訂單化管理子系統(tǒng)連接。

上述實(shí)施例僅為說明發(fā)明而舉例，并非實(shí)施方式的限定。對于所述技術(shù)領(lǐng)域的普通技術(shù)來說，可以根據(jù)實(shí)際情況進(jìn)行方便快速的部署和實(shí)現(xiàn)，做出其它不同形式的變化或變動，但這些響應(yīng)的改變和變形都應(yīng)屬于本發(fā)明的權(quán)利要求的保護(hù)范圍。