本發(fā)明實施例涉及數(shù)據(jù)分析技術(shù)，尤其涉及一種大數(shù)據(jù)分析方法及裝置。
背景技術(shù)：
：：近幾年來，隨著計算機(jī)和信息技術(shù)的迅猛發(fā)展和普及應(yīng)用，行業(yè)應(yīng)用系統(tǒng)的規(guī)模迅速擴(kuò)大，行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈爆炸性增長。一些行業(yè)/企業(yè)的數(shù)據(jù)量達(dá)到數(shù)百TB甚至數(shù)十至數(shù)百PB，巨大的數(shù)據(jù)資產(chǎn)迫切需要數(shù)據(jù)價值化展示及對實時數(shù)據(jù)進(jìn)行監(jiān)測。下面介紹兩種傳統(tǒng)的數(shù)據(jù)處理方法：第一種是抽樣調(diào)查，這是一種非全面調(diào)查，它是從全部調(diào)查研究對象中，抽選一部分單位進(jìn)行調(diào)查，并據(jù)以對全部調(diào)查研究對象做出估計和推斷的一種調(diào)查方法。第二種是利用傳統(tǒng)關(guān)系型數(shù)據(jù)庫進(jìn)行數(shù)據(jù)處理，具體是通過對數(shù)據(jù)進(jìn)行篩選、排序、分組、運(yùn)算等操作形成統(tǒng)計報表?，F(xiàn)有技術(shù)的缺陷是：第一種調(diào)查方法是非全面調(diào)查，不僅耗時長、耗費(fèi)較多的人力資源，而且調(diào)查效率較低；第二種雖然用到了數(shù)據(jù)處理技術(shù)，但目前的關(guān)系型數(shù)據(jù)庫都比較單一，只能存儲有限的數(shù)據(jù)，且數(shù)據(jù)量較多時會影響訪問速度，因此進(jìn)行數(shù)據(jù)分析的效率相對較低。技術(shù)實現(xiàn)要素：本發(fā)明實施例提供一種大數(shù)據(jù)分析方法及裝置，以實現(xiàn)提高數(shù)據(jù)分析效率的目的。第一方面，本發(fā)明實施例提供了一種大數(shù)據(jù)分析方法，包括：接入數(shù)據(jù)并根據(jù)數(shù)據(jù)量和是否需要緩存數(shù)據(jù)將數(shù)據(jù)存入關(guān)系型數(shù)據(jù)庫或者大數(shù)據(jù)集群中；對關(guān)系型數(shù)據(jù)庫和大數(shù)據(jù)集群中的數(shù)據(jù)進(jìn)行解析、挖掘和封裝；將封裝后的數(shù)據(jù)以預(yù)設(shè)展示形式展示在可視化平臺中。第二方面，本發(fā)明實施例還提供了一種大數(shù)據(jù)分析裝置，該裝置包括：存儲模塊，用于接入數(shù)據(jù)并根據(jù)數(shù)據(jù)量和是否需要緩存數(shù)據(jù)將數(shù)據(jù)存入關(guān)系型數(shù)據(jù)庫或者大數(shù)據(jù)集群中；處理模塊，用于對關(guān)系型數(shù)據(jù)庫和大數(shù)據(jù)集群中的數(shù)據(jù)進(jìn)行解析、挖掘和封裝；展示模塊，用于將封裝后的數(shù)據(jù)以預(yù)設(shè)展示形式展示在可視化平臺中。本發(fā)明實施例通過接入數(shù)據(jù)并根據(jù)數(shù)據(jù)量和是否需要緩存數(shù)據(jù)將數(shù)據(jù)存入關(guān)系型數(shù)據(jù)庫或者大數(shù)據(jù)集群中，對關(guān)系型數(shù)據(jù)庫和大數(shù)據(jù)集群中的數(shù)據(jù)進(jìn)行解析、挖掘和封裝，將封裝后的數(shù)據(jù)以預(yù)設(shè)展示形式展示在可視化平臺中。解決了現(xiàn)有技術(shù)中數(shù)據(jù)庫單一、存儲容量小且數(shù)據(jù)分析效率低的問題，有效提高了數(shù)據(jù)分析效率。附圖說明圖1為本發(fā)明實施例一提供的一種大數(shù)據(jù)分析方法的流程示意圖；圖2為本發(fā)明實施例二提供的一種大數(shù)據(jù)分析方法的流程示意圖；圖3為本發(fā)明實施例三提供的一種大數(shù)據(jù)分析裝置的結(jié)構(gòu)示意圖。具體實施方式下面結(jié)合附圖和實施例對本發(fā)明作進(jìn)一步的詳細(xì)說明?？梢岳斫獾氖?，此處所描述的具體實施例僅僅用于解釋本發(fā)明，而非對本發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部結(jié)構(gòu)。實施例一圖1為本發(fā)明實施例一提供的一種大數(shù)據(jù)分析方法的流程示意圖，本實施例可適用于通過一個可視化平臺對多源數(shù)據(jù)進(jìn)行分析、處理并展示的情況，該方法可以由大數(shù)據(jù)分析裝置來執(zhí)行，該裝置可通過硬件和/或軟件的方式實現(xiàn)，并一般可集成于用于對多源數(shù)據(jù)進(jìn)行分析、處理并展示的移動終端或者PC端中。參考圖1，本實施例提供的大數(shù)據(jù)分析方法具體包括：S110、接入數(shù)據(jù)并根據(jù)數(shù)據(jù)量和是否需要緩存數(shù)據(jù)將數(shù)據(jù)存入關(guān)系型數(shù)據(jù)庫或者大數(shù)據(jù)集群中。其中，可利用數(shù)據(jù)采集工具實時采集移動終端或者PC端的用戶數(shù)據(jù)，數(shù)據(jù)采集工具可以是網(wǎng)絡(luò)爬蟲或者移動終端/PC端中安裝的數(shù)據(jù)采集軟件。還可以通過數(shù)據(jù)導(dǎo)入工具將不同的數(shù)據(jù)源導(dǎo)入大數(shù)據(jù)分析裝置中。優(yōu)選接入的數(shù)據(jù)為日志數(shù)據(jù)。其中，關(guān)系型數(shù)據(jù)庫主要用來存儲數(shù)據(jù)量不大且經(jīng)過緩存后的數(shù)據(jù)，可以包括Oracle數(shù)據(jù)庫和MySQL數(shù)據(jù)庫，大數(shù)據(jù)集群主要用來存儲數(shù)據(jù)量大的數(shù)據(jù)。由于接入的數(shù)據(jù)是多源的，后續(xù)對數(shù)據(jù)處理要求可能比較高，因此根據(jù)接入數(shù)據(jù)量的大小以及數(shù)據(jù)是否需要緩存來決定存儲到不同的數(shù)據(jù)庫，如此可以提高系統(tǒng)處理數(shù)據(jù)的效率。S120、對關(guān)系型數(shù)據(jù)庫和大數(shù)據(jù)集群中的數(shù)據(jù)進(jìn)行解析、挖掘和封裝。其中，對數(shù)據(jù)進(jìn)行解析主要是為了在海量數(shù)據(jù)中提取出有用的數(shù)據(jù)并對數(shù)據(jù)進(jìn)行初步的計算，計算后的數(shù)據(jù)經(jīng)過一系列特定處理匯總成前端需要的目標(biāo)數(shù)據(jù)，再將目標(biāo)數(shù)據(jù)封裝為前端可以展示的格式。S130、將封裝后的數(shù)據(jù)以預(yù)設(shè)展示形式展示在可視化平臺中。其中，所述預(yù)設(shè)展示形式可以包括文字、圖形以及表格中的任意一種或者任意組合。圖形可以是餅狀圖、曲線圖、折線圖或地圖等。本實施例的技術(shù)方案，通過接入數(shù)據(jù)并根據(jù)數(shù)據(jù)量和是否需要緩存數(shù)據(jù)將數(shù)據(jù)存入關(guān)系型數(shù)據(jù)庫或者大數(shù)據(jù)集群中，對關(guān)系型數(shù)據(jù)庫和大數(shù)據(jù)集群中的數(shù)據(jù)進(jìn)行解析、挖掘和封裝，將封裝后的數(shù)據(jù)以預(yù)設(shè)展示形式展示在可視化平臺中。解決了現(xiàn)有技術(shù)中數(shù)據(jù)庫單一、存儲容量小且數(shù)據(jù)分析效率低的問題，有效提高了數(shù)據(jù)分析效率。實施例二圖2為本發(fā)明實施例二提供的一種大數(shù)據(jù)分析方法的流程示意圖，本實施例在上述實施例的基礎(chǔ)上，優(yōu)選是對接入數(shù)據(jù)并根據(jù)數(shù)據(jù)量和是否需要緩存數(shù)據(jù)將數(shù)據(jù)存入關(guān)系型數(shù)據(jù)庫或者大數(shù)據(jù)集群中以及對關(guān)系型數(shù)據(jù)庫和大數(shù)據(jù)集群中的數(shù)據(jù)進(jìn)行解析、挖掘和封裝進(jìn)一步優(yōu)化，具體包括如下：S210、接入數(shù)據(jù)，并將數(shù)據(jù)量未超過預(yù)設(shè)閾值的數(shù)據(jù)存入關(guān)系型數(shù)據(jù)庫中，將數(shù)據(jù)量超過預(yù)設(shè)閾值的數(shù)據(jù)存入大數(shù)據(jù)集群中。優(yōu)選的，接入的數(shù)據(jù)可以通過Flume或Kafka等數(shù)據(jù)傳輸工具傳輸?shù)疥P(guān)系型數(shù)據(jù)庫或者大數(shù)據(jù)集群中。其中，F(xiàn)lume是Cloudera提供的一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時，F(xiàn)lume提供對數(shù)據(jù)進(jìn)行簡單處理，并寫到各種數(shù)據(jù)接受方(可定制)的能力。其中，Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費(fèi)者規(guī)模的網(wǎng)站中的所有動作流數(shù)據(jù)。這些數(shù)據(jù)通常是由于吞吐量的要求而通過處理日志和日志聚合來解決。具體地，可以根據(jù)關(guān)系型數(shù)據(jù)庫和大數(shù)據(jù)集群對數(shù)據(jù)存儲的能力來確定預(yù)設(shè)閾值，在接入數(shù)據(jù)時根據(jù)數(shù)據(jù)量是否超過預(yù)設(shè)閾值來決定將數(shù)據(jù)存入關(guān)系型數(shù)據(jù)庫還是大數(shù)據(jù)集群中。S220、根據(jù)預(yù)設(shè)定時任務(wù)對大數(shù)據(jù)集群中需要進(jìn)行緩存的數(shù)據(jù)進(jìn)行預(yù)處理，并將預(yù)處理后的數(shù)據(jù)緩存到關(guān)系型數(shù)據(jù)庫中。其中，大數(shù)據(jù)集群主要用于存儲數(shù)據(jù)量大的數(shù)據(jù)，根據(jù)數(shù)據(jù)的處理方式不同，又分為以Hadoop、HBase、Solr以及Hive等為主要組件構(gòu)建的通過策略提取有用信息的系統(tǒng)，該系統(tǒng)可以對大數(shù)據(jù)進(jìn)行預(yù)處理，主要是把大量數(shù)據(jù)進(jìn)行篩選、分類以及聚合成相對小量的數(shù)據(jù)，篩選出有效數(shù)據(jù)。其中，在處理大數(shù)據(jù)時通?？刹捎锰砑铀饕⒎謪^(qū)等優(yōu)化查詢速度的方法，但有時即使優(yōu)化也會造成延時過長，這種場景下可使用定時任務(wù)，將歷史統(tǒng)計數(shù)據(jù)通過提前執(zhí)行算法存儲到緩存表中，提高查詢性能。預(yù)設(shè)的定時任務(wù)可以是每日或者每小時需要實時更新的數(shù)據(jù)任務(wù)，示例性的，可以是每小時動態(tài)分析接入機(jī)場網(wǎng)絡(luò)的用戶數(shù)據(jù)分析任務(wù)。具體地，數(shù)據(jù)存儲到大數(shù)據(jù)集群后，可進(jìn)一步判斷該數(shù)據(jù)是否需要緩存，如果需要緩存，則可根據(jù)預(yù)設(shè)的定時任務(wù)調(diào)用Hadoop、HBase、Solr以及Hive中的至少一種對數(shù)據(jù)進(jìn)行預(yù)處理，篩選出有效數(shù)據(jù)，再將數(shù)據(jù)緩存到關(guān)系型數(shù)據(jù)庫中。其中，Hadoop實現(xiàn)了一個分布式文件系統(tǒng)(HadoopDistributedFileSystem)，簡稱HDFS。HDFS有高容錯性的特點，并且設(shè)計用來部署在低廉的硬件上，而且它提供高吞吐量來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。HDFS放寬了POSIX的要求，可以以流的形式訪問文件系統(tǒng)中的數(shù)據(jù)。Hadoop的框架最核心的設(shè)計就是HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，則MapReduce為海量的數(shù)據(jù)提供了計算。其中，HBase是一個分布式的、面向列的數(shù)據(jù)庫，HBase在Hadoop之上提供了類似于Bigtable的能力。HBase不同于一般的關(guān)系數(shù)據(jù)庫，它是一個適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫，且HBase是基于列的模式，而不是基于行的模式。其中，Solr是一個基于Lucene的Java搜索引擎服務(wù)器。Solr提供了層面搜索、命中醒目顯示并且支持多種輸出格式(包括XML/XSLT和JSON格式)。其中，Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供簡單的SQL查詢功能，可以將SQL語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。其優(yōu)點是學(xué)習(xí)成本低，可以通過類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計，不必開發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉庫的統(tǒng)計分析。S230、對關(guān)系型數(shù)據(jù)庫和/或大數(shù)據(jù)集群中的數(shù)據(jù)進(jìn)行提取和計算。其中，關(guān)系型數(shù)據(jù)庫和大數(shù)據(jù)集群可以作為動態(tài)多數(shù)據(jù)源，便于后續(xù)數(shù)據(jù)處理時快速切換不同的數(shù)據(jù)源。具體地，可以根據(jù)特征匹配規(guī)則對關(guān)系型數(shù)據(jù)庫和/或大數(shù)據(jù)集群中的數(shù)據(jù)進(jìn)行提取，再根據(jù)展示形式的不同對提取的數(shù)據(jù)進(jìn)行初步計算，該初步計算可以包括對數(shù)據(jù)進(jìn)行數(shù)學(xué)運(yùn)算、去重、聚合以及匯總等簡單的數(shù)據(jù)處理操作。其中，對于關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)，可通過SQL語句進(jìn)行數(shù)據(jù)提取和計算，SQL語句通過MyBatis進(jìn)行翻譯。其中，MyBatis是支持普通SQL查詢，存儲過程和高級映射的優(yōu)秀持久層框架。MyBatis消除了幾乎所有的JDBC代碼和參數(shù)的手工設(shè)置以及結(jié)果集的檢索。MyBatis使用簡單的XML或注解用于配置和原始映射，將接口和Java的POJOs(PlainOldJavaObjects，普通的Java對象)映射成數(shù)據(jù)庫中的記錄。其中，對于大數(shù)據(jù)集群中的數(shù)據(jù)，可通過Elasticsearch或ZooKeeper來進(jìn)行數(shù)據(jù)的提取和計算。其中，由于大數(shù)據(jù)集群和Elasticsearch/ZooKeeper是在不同的系統(tǒng)中，屬于不同的技術(shù)，為實現(xiàn)不同技術(shù)的兼容，可通過Spring提供的各種組件來充當(dāng)系統(tǒng)中的粘合劑。例如，對于Elasticsearch，可以通過Spring提供的JavaAPI(如SpringData-Elasticsearch)進(jìn)行數(shù)據(jù)提取和計算。其中，API(ApplicationProgrammingInterface,應(yīng)用程序編程接口)是一些預(yù)先定義的函數(shù)，目的是提供應(yīng)用程序與開發(fā)人員基于某軟件或硬件的以訪問一組例程的能力，而又無需訪問源碼，或理解內(nèi)部工作機(jī)制的細(xì)節(jié)。其中，ElasticSearch是一個基于Lucene的搜索服務(wù)器。它提供了一個分布式多用戶能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch采用Java客戶端，可設(shè)計用于云計算中，能夠達(dá)到實時搜索，穩(wěn)定，可靠，快速，安裝使用方便。其中，ZooKeeper是一個分布式應(yīng)用程序協(xié)調(diào)服務(wù)，是Hadoop和Hbase的重要組件。它是一個為分布式應(yīng)用提供一致性服務(wù)的軟件，提供的功能包括：配置維護(hù)、域名服務(wù)、分布式同步、組服務(wù)等。ZooKeeper的目標(biāo)就是封裝好復(fù)雜易出錯的關(guān)鍵服務(wù)，將簡單易用的接口和性能高效、功能穩(wěn)定的系統(tǒng)提供給用戶。ZooKeeper包含一個簡單的原語集，提供Java和C的接口?？蛇x的，對于大數(shù)據(jù)集群中的數(shù)據(jù)，還可通過中間件使用類SQL的語句進(jìn)行查詢，該中間件可使用Hession技術(shù)提供一個接口，系統(tǒng)只需調(diào)用該接口并且提供請求數(shù)據(jù)的SQL語句就能夠完成對數(shù)據(jù)的操作。S240、對計算后的數(shù)據(jù)進(jìn)行分類和/或匯總和/或聚合，得到目標(biāo)數(shù)據(jù)。其中，計算后的數(shù)據(jù)經(jīng)過了簡單的篩選，但要想展示在可視化平臺中還需更高級的處理和計算，具體是根據(jù)預(yù)設(shè)處理規(guī)則對數(shù)據(jù)進(jìn)一步進(jìn)行分類和/或匯總和/或聚合。S250、對目標(biāo)數(shù)據(jù)進(jìn)行封裝。具體地，可使用JSON技術(shù)將數(shù)據(jù)封裝為JSON格式，并通過SpringMVC將后臺數(shù)據(jù)傳到前端，并且轉(zhuǎn)發(fā)視圖。SpringMVC是Spring框架提供一種組件，用來充當(dāng)后端數(shù)據(jù)展示到前端的粘合劑。其中，JSON(JavaScriptObjectNotation)是一種輕量級的數(shù)據(jù)交換格式。JSON采用完全獨(dú)立于語言的文本格式，但是也使用了類似于C語言家族的習(xí)慣(包括C、C++、C#、Java、JavaScript、Perl、Python等)。S260、將封裝后的數(shù)據(jù)以預(yù)設(shè)展示形式展示在可視化平臺中。其中，可以通過Echarts、JavaScript、HTML、Boostrap或者JQuery將封裝后的數(shù)據(jù)以預(yù)設(shè)展示形式展示在可視化平臺中。其中，對于Echarts，調(diào)用其JS庫可以快速構(gòu)建餅圖、折線圖或者地圖等圖標(biāo)；Bootstrap為CSS框架，使用Boostrap能夠快速構(gòu)建頁面樣式；JQuery為封裝后的JavaScript框架，使用JQuery能夠簡化JavaScript代碼。具體地，可根據(jù)展示形式的需要按照數(shù)據(jù)中的某一參數(shù)對封裝后的數(shù)據(jù)進(jìn)行展示。例如，假設(shè)采集的數(shù)據(jù)為用戶認(rèn)證網(wǎng)絡(luò)的相關(guān)數(shù)據(jù)，該相關(guān)數(shù)據(jù)中包含了用戶認(rèn)證網(wǎng)絡(luò)時的地理位置信息，則對數(shù)據(jù)進(jìn)行前述解析、挖掘以及封裝后可得到不同省份網(wǎng)絡(luò)覆蓋量，則可以在可視化系統(tǒng)的地圖中，用不同顏色表示不同省份網(wǎng)絡(luò)覆蓋數(shù)量，可以以深紅色表示網(wǎng)絡(luò)覆蓋量最多，沒有顏色的省份沒有覆蓋場所。再例如，采集的數(shù)據(jù)為用戶認(rèn)證網(wǎng)絡(luò)的相關(guān)數(shù)據(jù)，該相關(guān)數(shù)據(jù)中包含了用戶認(rèn)證網(wǎng)絡(luò)時的地理位置信息，根據(jù)展示信息的不同，對數(shù)據(jù)進(jìn)行前述解析、挖掘以及封裝后可得到不同行政區(qū)域認(rèn)證成功次數(shù)占比，以展示各個行政區(qū)域分別接入了多少數(shù)據(jù)，展現(xiàn)的形式可以是餅狀圖。再例如，采集的數(shù)據(jù)為用戶認(rèn)證網(wǎng)絡(luò)的相關(guān)數(shù)據(jù)，且是實時進(jìn)行采集，該相關(guān)數(shù)據(jù)中包含了用戶認(rèn)證網(wǎng)絡(luò)時的地理位置信息以及采集時間，根據(jù)展示信息的不同，對數(shù)據(jù)進(jìn)行前述解析、挖掘以及封裝后可得到各個數(shù)據(jù)源每小時的流量信息等，如此可實現(xiàn)對關(guān)系型數(shù)據(jù)庫和/或大數(shù)據(jù)集群中的數(shù)據(jù)進(jìn)行實時監(jiān)測。優(yōu)選以折線圖來展示不通場所在某一時間段的連續(xù)數(shù)據(jù)變化量，進(jìn)一步優(yōu)選的，還可設(shè)置監(jiān)測報警機(jī)制，該監(jiān)測機(jī)制可以是如果沒有數(shù)據(jù)接入的連續(xù)時間超過預(yù)設(shè)時間，則發(fā)出報警提示，以方便運(yùn)維人員快速排查異常情況。本實施例的技術(shù)方案，通過接入數(shù)據(jù)并根據(jù)數(shù)據(jù)量和是否需要緩存數(shù)據(jù)將數(shù)據(jù)存入關(guān)系型數(shù)據(jù)庫或者大數(shù)據(jù)集群中，對關(guān)系型數(shù)據(jù)庫和大數(shù)據(jù)集群中的數(shù)據(jù)進(jìn)行解析、挖掘和封裝，將封裝后的數(shù)據(jù)以預(yù)設(shè)展示形式展示在可視化平臺中。解決了現(xiàn)有技術(shù)中數(shù)據(jù)庫單一、存儲容量小且數(shù)據(jù)分析效率低的問題，可提供大容量的動態(tài)多數(shù)據(jù)源，并支持對大量數(shù)據(jù)進(jìn)行分析、挖掘、監(jiān)測，并支持支持多種數(shù)據(jù)源和大數(shù)據(jù)集群的集成，且各系統(tǒng)之間相互兼容，可快速得到大數(shù)據(jù)查詢結(jié)果，有效提高了數(shù)據(jù)分析效率。實施例三圖3為本發(fā)明實施例三提供的一種大數(shù)據(jù)分析裝置的結(jié)構(gòu)示意圖，本實施例可適用于通過一個可視化平臺對多源數(shù)據(jù)進(jìn)行分析、處理并展示的情況，該裝置可通過硬件和/或軟件的方式實現(xiàn)，并一般可集成于用于對多源數(shù)據(jù)進(jìn)行分析、處理并展示的移動終端或者PC端中。參考圖3，本實施例提供的大數(shù)據(jù)分析裝置法具體包括：存儲模塊310，用于接入數(shù)據(jù)并根據(jù)數(shù)據(jù)量和是否需要緩存數(shù)據(jù)將數(shù)據(jù)存入關(guān)系型數(shù)據(jù)庫或者大數(shù)據(jù)集群中；處理模塊320，用于對關(guān)系型數(shù)據(jù)庫和大數(shù)據(jù)集群中的數(shù)據(jù)進(jìn)行解析、挖掘和封裝；展示模塊330，用于將封裝后的數(shù)據(jù)以預(yù)設(shè)展示形式展示在可視化平臺中。本實施例中，所述存儲模塊310可以包括：第一存儲單元，用于接入數(shù)據(jù)，并將數(shù)據(jù)量未超過預(yù)設(shè)閾值的數(shù)據(jù)存入關(guān)系型數(shù)據(jù)庫中，將數(shù)據(jù)量超過預(yù)設(shè)閾值的數(shù)據(jù)存入大數(shù)據(jù)集群中；第二存儲單元，用于根據(jù)預(yù)設(shè)定時任務(wù)對大數(shù)據(jù)集群中需要進(jìn)行緩存的數(shù)據(jù)進(jìn)行預(yù)處理，并將預(yù)處理后的數(shù)據(jù)緩存到關(guān)系型數(shù)據(jù)庫中。本實施例中，所述預(yù)處理可以包括：對數(shù)據(jù)進(jìn)行分類、聚合、轉(zhuǎn)換、計算以及匯總中的任意一種或者任意組合。本實施例中，所述處理模塊320可以包括：匹配計算單元，用于對關(guān)系型數(shù)據(jù)庫和/或大數(shù)據(jù)集群中的數(shù)據(jù)進(jìn)行提取和計算；數(shù)據(jù)處理單元，用于對計算后的數(shù)據(jù)進(jìn)行分類和/或匯總和/或聚合，得到目標(biāo)數(shù)據(jù)；封裝單元，用于對目標(biāo)數(shù)據(jù)進(jìn)行封裝。本實施例中，所述預(yù)設(shè)展示形式可以包括文字、圖形以及表格中的任意一種或者任意組合。本實施例提供的大數(shù)據(jù)分析裝置，與本發(fā)明任意實施例所提供的大數(shù)據(jù)分析方法屬于同一發(fā)明構(gòu)思，可執(zhí)行本發(fā)明任意實施例所提供的大數(shù)據(jù)分析方法，具備執(zhí)行方法相應(yīng)的功能模塊和有益效果。注意，上述僅為本發(fā)明的較佳實施例及所運(yùn)用技術(shù)原理。本領(lǐng)域技術(shù)人員會理解，本發(fā)明不限于這里所述的特定實施例，對本領(lǐng)域技術(shù)人員來說能夠進(jìn)行各種明顯的變化、重新調(diào)整和替代而不會脫離本發(fā)明的保護(hù)范圍。因此，雖然通過以上實施例對本發(fā)明進(jìn)行了較為詳細(xì)的說明，但是本發(fā)明不僅僅限于以上實施例，在不脫離本發(fā)明構(gòu)思的情況下，還可以包括更多其他等效實施例，而本發(fā)明的范圍由所附的權(quán)利要求范圍決定。當(dāng)前第1頁1 2 3 當(dāng)前第1頁1 2 3