一種基于Hadoop的油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)的處理方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001 ]本申請(qǐng)涉及油氣生產(chǎn)物聯(lián)網(wǎng)數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種基于Hadoop的油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)的處理方法及系統(tǒng)。
【背景技術(shù)】
[0002]近年來(lái)，基于井場(chǎng)、站庫(kù)等油氣田生產(chǎn)現(xiàn)場(chǎng)的數(shù)據(jù)采集、過(guò)程控制、參數(shù)優(yōu)化、管理決策等凸現(xiàn)重要，將自動(dòng)化技術(shù)、通信技術(shù)、信息技術(shù)融合的油氣生產(chǎn)物聯(lián)網(wǎng)系統(tǒng)在智能識(shí)另IJ、數(shù)據(jù)融合、數(shù)據(jù)應(yīng)用等方面發(fā)揮越來(lái)越大的作用，油氣生產(chǎn)物聯(lián)網(wǎng)是油氣田信息化建設(shè)發(fā)展的必然趨勢(shì)。
[0003]目前，所建立的油氣生產(chǎn)物聯(lián)網(wǎng)系統(tǒng)主要包括感知層、傳輸層以及應(yīng)用層等結(jié)構(gòu)。其中，感知層主要由各種感知設(shè)備和控制設(shè)備構(gòu)成;其主要通過(guò)有/無(wú)線(xiàn)溫度變送器、有/無(wú)線(xiàn)壓力變送器、流量計(jì)等傳感器，自動(dòng)采集油氣水井、集輸管網(wǎng)及油氣處理站庫(kù)等生產(chǎn)單元的生產(chǎn)數(shù)據(jù)(主要包括壓力、溫度、工作電流、載荷以及有毒有害氣體濃度等)，從而實(shí)現(xiàn)對(duì)生產(chǎn)狀態(tài)的全面感知以及對(duì)各種設(shè)備的自動(dòng)控制。傳輸層主要采用有線(xiàn)傳輸或無(wú)線(xiàn)傳輸?shù)姆绞?，將感知層所采集到的油氣田生產(chǎn)數(shù)據(jù)傳輸至應(yīng)用層進(jìn)行分析。應(yīng)用層主要用于對(duì)所接收的油氣田生產(chǎn)數(shù)據(jù)進(jìn)行分析，根據(jù)分析結(jié)果來(lái)對(duì)生產(chǎn)設(shè)備的生產(chǎn)狀態(tài)進(jìn)行判斷和統(tǒng)計(jì)，幫助用戶(hù)監(jiān)控生產(chǎn)情況。應(yīng)用層一般包括應(yīng)用系統(tǒng)、關(guān)系數(shù)據(jù)庫(kù)以及Web應(yīng)用系統(tǒng)等結(jié)構(gòu)。
[0004]在實(shí)現(xiàn)本申請(qǐng)過(guò)程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問(wèn)題:
[0005]而現(xiàn)有技術(shù)中的應(yīng)用系統(tǒng)主要是基于關(guān)系數(shù)據(jù)庫(kù)的靜態(tài)數(shù)據(jù)來(lái)進(jìn)行分析，這無(wú)法對(duì)油氣田生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，從而導(dǎo)致無(wú)法實(shí)現(xiàn)實(shí)時(shí)監(jiān)控生產(chǎn)單元狀態(tài)、統(tǒng)計(jì)油氣田生產(chǎn)情況的目的。

【發(fā)明內(nèi)容】

[0006]本申請(qǐng)實(shí)施例的目的是提供一種基于Hadoop的油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)的處理方法及系統(tǒng)，以實(shí)現(xiàn)對(duì)油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行實(shí)時(shí)分析的目的。
[0007]為解決上述技術(shù)問(wèn)題，本申請(qǐng)實(shí)施例提供一種基于Hadoop的油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)的處理方法及系統(tǒng)是這樣實(shí)現(xiàn)的:
[0008]本申請(qǐng)實(shí)施例提供了一種基于Hadoop的油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)的處理方法，包括:
[0009]Hadoop平臺(tái)從實(shí)時(shí)數(shù)據(jù)庫(kù)中獲取生產(chǎn)單元的油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)；
[0010]所述Hadoop平臺(tái)對(duì)所獲取的油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行分布式計(jì)算；
[0011]所述Hadoop平臺(tái)將所述油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)的計(jì)算結(jié)果與預(yù)設(shè)閾值進(jìn)行對(duì)比，以判斷所述生產(chǎn)單元發(fā)生異常；
[0012I所述Hadoop平臺(tái)在判斷出所述生產(chǎn)單元發(fā)生異常時(shí)，輸出所述油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)的分析結(jié)果。
[0013]可選的，在至少一實(shí)施例中，所述從實(shí)時(shí)數(shù)據(jù)庫(kù)中獲取生產(chǎn)單元的油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)包括:
[0014]利用所獲取的配置文件中對(duì)油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)所設(shè)定的標(biāo)識(shí)，從所述實(shí)時(shí)數(shù)據(jù)庫(kù)中獲取具有與所述標(biāo)識(shí)相匹配的油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)。
[0015]可選的，在至少一實(shí)施例中，所述對(duì)所獲取的油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行分布式計(jì)算包括:
[0016]根據(jù)所獲取的配置文件中的算法配置參數(shù)，從邏輯算法庫(kù)中調(diào)用對(duì)應(yīng)的邏輯算法;
[0017]利用所調(diào)用的算法對(duì)所獲取的油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行分布式計(jì)算。
[0018]可選的，在至少一實(shí)施例中，在利用所調(diào)用的算法對(duì)所獲取的油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行分布式計(jì)算之前，該方法還包括:
[0019]利用所述配置文件，對(duì)所獲取的油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行分類(lèi)；
[0020]利用所述配置文件，對(duì)所述油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行排序。
[0021]可選的，在至少一實(shí)施例中，所述將所述油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)的計(jì)算結(jié)果與預(yù)設(shè)閾值進(jìn)行對(duì)比，以判斷所述生產(chǎn)單元發(fā)生異常包括:
[0022]根據(jù)所述油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)的計(jì)算結(jié)果與預(yù)設(shè)閾值的對(duì)比結(jié)果，判斷所述油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)中是否存在異常數(shù)據(jù)；
[0023]在判斷出所述油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)中存在異常數(shù)據(jù)時(shí)，判斷所述生產(chǎn)單元發(fā)生異常。
[0024]可選的，在至少一實(shí)施例中，所述輸出所述油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)的分析結(jié)果包括:
[0025]將所述分析結(jié)果存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)中；
[0026]在接收到用戶(hù)指令或自動(dòng)化腳本指令時(shí)，從所述關(guān)系數(shù)據(jù)庫(kù)中查找與所述用戶(hù)指令或所述自動(dòng)化腳本指令相匹配的分析結(jié)果；
[0027]將所查找到的分析結(jié)果發(fā)送給用戶(hù)。
[0028]可選的，在至少一實(shí)施例中，所述分析結(jié)果包括所述油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)與預(yù)設(shè)閾值的對(duì)比結(jié)果、異常數(shù)據(jù)和/或警示信息。
[0029]本申請(qǐng)實(shí)施例還提供了一種基于Hadoop的油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)的處理系統(tǒng)，包括:
[0030]應(yīng)用層，所述應(yīng)用層包括實(shí)時(shí)數(shù)據(jù)庫(kù)和Hadoop平臺(tái)，其中，
[0031]所述實(shí)時(shí)數(shù)據(jù)庫(kù)用于實(shí)時(shí)存儲(chǔ)所采集的生產(chǎn)單元的油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)；
[0032]所述Hadoop平臺(tái)包括:
[0033]獲取單元，用于從所述實(shí)時(shí)數(shù)據(jù)庫(kù)中獲取生產(chǎn)單元的油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)；
[0034]計(jì)算單元，用于對(duì)所獲取的油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行分布式計(jì)算；
[0035]對(duì)比單元，用于將所述油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)的計(jì)算結(jié)果與預(yù)設(shè)閾值進(jìn)行對(duì)比，以判斷所述生產(chǎn)單元發(fā)生異常；
[0036]輸出單元，用于在判斷出所述生產(chǎn)單元發(fā)生異常時(shí)，輸出所述油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)的分析結(jié)果。
[0037]可選的，在至少一實(shí)施例中，所述獲取單元包括:
[0038]獲取子單元，用于利用所獲取的配置文件中對(duì)油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)所設(shè)定的標(biāo)識(shí)，從所述實(shí)時(shí)數(shù)據(jù)庫(kù)中獲取具有與所述標(biāo)識(shí)相匹配的油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)。
[0039]可選的，在至少一實(shí)施例中，所述計(jì)算單元包括:
[0040]調(diào)用子單元，用于根據(jù)所獲取的配置文件中的算法配置參數(shù)，從邏輯算法庫(kù)中調(diào)用對(duì)應(yīng)的邏輯算法；
[0041]計(jì)算子單元，用于利用所調(diào)用的算法對(duì)所獲取的油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行分布式計(jì)算。
[0042]可選的，在至少一實(shí)施例中，所述系統(tǒng)還包括:
[0043]分類(lèi)單元，用于利用所述配置文件，對(duì)所獲取的油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行分類(lèi)；
[0044]排序單元，用于利用所述配置文件，對(duì)所述油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行排序。
[0045]可選的，在至少一實(shí)施例中，所述輸出單元包括:
[0046]存儲(chǔ)子單元，用于將所述分析結(jié)果存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)中；
[0047]查找子單元，用于在接收到用戶(hù)指令或自動(dòng)化腳本指令時(shí)，從所述關(guān)系數(shù)據(jù)庫(kù)中查找與所述用戶(hù)指令或所述自動(dòng)化腳本指令相匹配的分析結(jié)果；
[0048]發(fā)送子單元，用于將所查找到的分析結(jié)果發(fā)送給用戶(hù)。
[0049]可選的，在至少一實(shí)施例中，所述應(yīng)用層還包括:
[0050]應(yīng)用裝置，所述應(yīng)用裝置用于將所述輸出單元所輸出的分析結(jié)果提供給用戶(hù)。
[0051 ] 可選的，在至少一實(shí)施例中，所述處理系統(tǒng)還包括:
[0052]感知層，所述感知層用于采集油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)以及監(jiān)控所述生產(chǎn)單元；
[0053]傳輸層，所述傳輸層用于將感知層所采集到的油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)通過(guò)有線(xiàn)傳輸或無(wú)線(xiàn)傳輸?shù)姆绞桨l(fā)送給應(yīng)用層以實(shí)時(shí)存儲(chǔ)在所述實(shí)時(shí)數(shù)據(jù)庫(kù)中。
[0054]由以上本申請(qǐng)實(shí)施例提供的技術(shù)方案可見(jiàn)，本申請(qǐng)實(shí)施例通過(guò)從實(shí)時(shí)數(shù)據(jù)庫(kù)中獲取油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)，然后對(duì)所獲取的油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行分布式計(jì)算，而不是從關(guān)系數(shù)據(jù)庫(kù)中獲取油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)，并且采用分布式計(jì)算可以對(duì)實(shí)時(shí)數(shù)據(jù)庫(kù)中的實(shí)時(shí)油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行并發(fā)處理，因而可以實(shí)現(xiàn)對(duì)油氣生產(chǎn)物聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行實(shí)時(shí)分析的目的。
【附圖說(shuō)明】
[0055]為了更清楚地說(shuō)明本申請(qǐng)實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本申請(qǐng)中記載的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0056]圖1是本申請(qǐng)