本發(fā)明涉及大數(shù)據(jù)采集技術(shù)領(lǐng)域，具體涉及一種基于數(shù)據(jù)源的大數(shù)據(jù)采集方法，主要針對“互聯(lián)網(wǎng)+”智慧能源智能終端接入數(shù)據(jù)的采集。

背景技術(shù)：

新一代的數(shù)據(jù)體系中，將傳統(tǒng)數(shù)據(jù)體系中沒有考慮過的新數(shù)據(jù)源進(jìn)行歸納與分類，可將其歸納為線上行為數(shù)據(jù)與內(nèi)容數(shù)據(jù)兩大類。線上行為數(shù)據(jù)包括交互數(shù)據(jù)、表單數(shù)據(jù)、會話數(shù)據(jù)等。內(nèi)容數(shù)據(jù)包括應(yīng)用日志、電子文檔、機(jī)器數(shù)據(jù)、語音數(shù)據(jù)、社交媒體數(shù)據(jù)等。

智慧能源智能終端數(shù)據(jù)的采集大多是瞬時值，也可以是某段時間內(nèi)的特征值。智慧能源管理的數(shù)據(jù)采集數(shù)據(jù)來源廣泛，數(shù)據(jù)量巨大。數(shù)據(jù)類型包括結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)，為數(shù)據(jù)采集帶來很大的難度。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供了一種基于數(shù)據(jù)源的大數(shù)據(jù)采集方法，以數(shù)據(jù)源和數(shù)據(jù)協(xié)議格式進(jìn)行分類，針對不同的類型采用對應(yīng)的數(shù)據(jù)采集方法，提高數(shù)據(jù)采集效率。

為解決上述技術(shù)問題，本發(fā)明提供了一種基于數(shù)據(jù)源的大數(shù)據(jù)采集方法，其特征是，包括以下步驟；

步驟一，根據(jù)數(shù)據(jù)源和數(shù)據(jù)協(xié)議格式將數(shù)據(jù)劃分為若干類型，為每類數(shù)據(jù)定義唯一的數(shù)據(jù)標(biāo)識；

步驟二，為每類數(shù)據(jù)創(chuàng)建相應(yīng)的驅(qū)動模塊，驅(qū)動模塊將數(shù)據(jù)轉(zhuǎn)化為統(tǒng)一的數(shù)據(jù)存儲格式；

步驟三，創(chuàng)建映射表，映射表中包含不同數(shù)據(jù)類型的數(shù)據(jù)標(biāo)識和驅(qū)動模塊的映射關(guān)系；

步驟四，當(dāng)從數(shù)據(jù)源采集數(shù)據(jù)時，根據(jù)數(shù)據(jù)源和數(shù)據(jù)協(xié)議格式判斷數(shù)據(jù)屬于的類型，根據(jù)判斷結(jié)果獲得相應(yīng)的數(shù)據(jù)標(biāo)識，查找映射表得到相應(yīng)的驅(qū)動模塊，執(zhí)行驅(qū)動模塊將采集到的數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一存儲格式，存儲到數(shù)據(jù)倉庫中。

進(jìn)一步的，數(shù)據(jù)源包括傳感器、表計、采集器和集中器，數(shù)據(jù)協(xié)議格式包括Modbus、HTTP和DLT645。

進(jìn)一步的，數(shù)據(jù)倉庫為分布式數(shù)據(jù)庫。

與現(xiàn)有技術(shù)相比，本發(fā)明所達(dá)到的有益效果是：在智能終端數(shù)據(jù)格式種類眾多的情況下，將各個驅(qū)動模塊劃分為單個的功能模塊進(jìn)行研發(fā)，各項目可以獨(dú)立進(jìn)行，便于多人同時參與；而且各模塊之間耦合度低。且理論上驅(qū)動模塊可依據(jù)數(shù)據(jù)類型無限擴(kuò)展，新增功能模塊只要完成數(shù)據(jù)格式轉(zhuǎn)換功能，并在映射表中添加模塊的映射記錄即可。本發(fā)明對大數(shù)據(jù)采集方式改進(jìn)具有重大意義，以數(shù)據(jù)源和數(shù)據(jù)協(xié)議格式進(jìn)行分類，針對不同的類型采用對應(yīng)的數(shù)據(jù)采集驅(qū)動模塊，提高數(shù)據(jù)采集效率，減少開發(fā)成本。

附圖說明

圖1為本發(fā)明方法的流程框圖。

具體實(shí)施方式

下面結(jié)合附圖對本發(fā)明作進(jìn)一步描述。以下實(shí)施例僅用于更加清楚地說明本發(fā)明的技術(shù)方案，而不能以此來限制本發(fā)明的保護(hù)范圍。

如圖1所示，本發(fā)明的一種基于數(shù)據(jù)源的大數(shù)據(jù)采集方法，其特征是，包括以下步驟；

步驟一，根據(jù)數(shù)據(jù)源和數(shù)據(jù)協(xié)議格式將數(shù)據(jù)劃分為若干類型，為每類數(shù)據(jù)定義唯一的數(shù)據(jù)標(biāo)識；

智能終端的類型眾多，現(xiàn)有技術(shù)常用的包括溫濕度傳感器、電壓電流傳感器、電表、水表、氣表、采集器、集中器等等。依據(jù)智能終端的類型，數(shù)據(jù)源包括傳感器、表計、采集器和集中器，傳輸?shù)臄?shù)據(jù)協(xié)議格式包括Modbus、HTTP和DLT645。依據(jù)數(shù)據(jù)源和數(shù)據(jù)協(xié)議格式可以將數(shù)據(jù)劃分為4*3=12種類型，為了便于區(qū)分不同數(shù)據(jù)類型，為每類數(shù)據(jù)定義一個唯一的數(shù)據(jù)標(biāo)識，數(shù)據(jù)標(biāo)識對應(yīng)其數(shù)據(jù)類型。

步驟二，為每類數(shù)據(jù)創(chuàng)建相應(yīng)的驅(qū)動模塊，驅(qū)動模塊將數(shù)據(jù)轉(zhuǎn)化為統(tǒng)一的數(shù)據(jù)存儲格式；

統(tǒng)一的數(shù)據(jù)存儲方式，一般來說都是標(biāo)識、時間、和數(shù)據(jù)以txt格式來存儲采集過來的數(shù)據(jù)。每個驅(qū)動模塊需要將采集過來的數(shù)據(jù)轉(zhuǎn)化為這種結(jié)構(gòu)以便存儲。各驅(qū)動模塊可以創(chuàng)建為現(xiàn)有技術(shù)中常用的函數(shù)，也可以創(chuàng)建為常用的DLL類庫。在智能終端數(shù)據(jù)格式種類眾多的情況下，將各個驅(qū)動模塊劃分為單個的功能模塊進(jìn)行研發(fā)，各項目可以獨(dú)立進(jìn)行，便于多人同時參與；而且各模塊之間耦合度低。且理論上驅(qū)動模塊可依據(jù)數(shù)據(jù)類型無限擴(kuò)展，新增功能模塊只要完成數(shù)據(jù)格式轉(zhuǎn)換功能，并在映射表中添加模塊的映射記錄即可。

步驟三，創(chuàng)建映射表，映射表中包含不同數(shù)據(jù)類型的數(shù)據(jù)標(biāo)識和驅(qū)動模塊的映射關(guān)系；

步驟四，如圖1所示，當(dāng)從數(shù)據(jù)源采集數(shù)據(jù)時，根據(jù)數(shù)據(jù)源和數(shù)據(jù)協(xié)議格式判斷數(shù)據(jù)屬于的類型，根據(jù)判斷結(jié)果獲得相應(yīng)的數(shù)據(jù)標(biāo)識，查找映射表得到相應(yīng)的驅(qū)動模塊，執(zhí)行驅(qū)動模塊將采集到的數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一存儲格式，存儲到數(shù)據(jù)倉庫中。

為了提高數(shù)據(jù)的存儲效率和安全性，數(shù)據(jù)倉庫為分布式數(shù)據(jù)庫。

以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明技術(shù)原理的前提下，還可以做出若干改進(jìn)和變型，這些改進(jìn)和變型也應(yīng)視為本發(fā)明的保護(hù)范圍。