本申請(qǐng)涉及雨量數(shù)據(jù)處理領(lǐng)域，具體涉及一種雨量監(jiān)測(cè)點(diǎn)的降雨數(shù)據(jù)分析方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、水利行業(yè)中通用統(tǒng)計(jì)降雨量的方式主要是按時(shí)間維度整點(diǎn)統(tǒng)計(jì)，如整1小時(shí)、3小時(shí)、6小時(shí)、12小時(shí)、日降雨量(早8點(diǎn)到第二天早8點(diǎn))，計(jì)算方式上相對(duì)簡(jiǎn)單，只需按照時(shí)間范圍分測(cè)站進(jìn)行累加統(tǒng)計(jì)即可。

2、上述傳統(tǒng)降雨統(tǒng)計(jì)方式無(wú)法滿足現(xiàn)在水利業(yè)務(wù)場(chǎng)景數(shù)據(jù)分析的要求，具體來(lái)講，在流域防洪和城市內(nèi)澇分析等水利業(yè)務(wù)場(chǎng)景，更關(guān)注一個(gè)完整的降雨過(guò)程，包括雨開(kāi)始下的具體時(shí)間點(diǎn)，雨停的具體時(shí)間點(diǎn)，降雨量是多少，以及上述三種數(shù)據(jù)跟流域防洪中監(jiān)測(cè)點(diǎn)流量或者城市內(nèi)澇點(diǎn)水位的關(guān)系。

3、現(xiàn)有的將與統(tǒng)計(jì)方式采用傳統(tǒng)關(guān)系庫(kù)進(jìn)行降雨場(chǎng)次的統(tǒng)計(jì)，需要多層嵌套循環(huán)進(jìn)行統(tǒng)計(jì)分析，而且雨量監(jiān)測(cè)數(shù)據(jù)數(shù)據(jù)量巨大，傳統(tǒng)關(guān)系庫(kù)無(wú)法支持這種數(shù)據(jù)量級(jí)的運(yùn)算規(guī)模。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述問(wèn)題，本申請(qǐng)?zhí)岢隽艘环N雨量監(jiān)測(cè)點(diǎn)的降雨數(shù)據(jù)分析方法、裝置、設(shè)備及介質(zhì)，其中方法包括：

2、確定目標(biāo)雨量監(jiān)測(cè)點(diǎn)的測(cè)站編碼，并通過(guò)flink?cdc接入目標(biāo)雨量監(jiān)測(cè)點(diǎn)的雨量數(shù)據(jù)；通過(guò)flink對(duì)所述雨量數(shù)據(jù)進(jìn)行計(jì)算，以更新所述目標(biāo)雨量監(jiān)測(cè)點(diǎn)的狀態(tài)數(shù)據(jù)；基于所述測(cè)站編碼，將所述狀態(tài)數(shù)據(jù)寫(xiě)入到doris的明細(xì)表中，以得到所述目標(biāo)雨量監(jiān)測(cè)點(diǎn)的降雨場(chǎng)次明細(xì)數(shù)據(jù)；基于所述測(cè)站編碼，將所述狀態(tài)數(shù)據(jù)寫(xiě)入到doris的匯聚表中，并利用函數(shù)對(duì)所述狀態(tài)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，以得到所述目標(biāo)雨量監(jiān)測(cè)點(diǎn)的降雨場(chǎng)次統(tǒng)計(jì)數(shù)據(jù)。

3、在一個(gè)示例中，所述通過(guò)flink?cdc接入目標(biāo)雨量監(jiān)測(cè)點(diǎn)的雨量數(shù)據(jù)，具體包括：確定所述目標(biāo)雨量監(jiān)測(cè)點(diǎn)對(duì)應(yīng)的雨量表監(jiān)測(cè)數(shù)據(jù)的mysql?binlog日志為開(kāi)啟狀態(tài)；通過(guò)flink?sql語(yǔ)句，創(chuàng)建flink流式執(zhí)行環(huán)境，并創(chuàng)建第一臨時(shí)表，并配置所述第一臨時(shí)表的庫(kù)表信息；創(chuàng)建flink執(zhí)行環(huán)境上kafka對(duì)應(yīng)的第二臨時(shí)表，并配置kafka的配置信息，執(zhí)行數(shù)據(jù)插入對(duì)應(yīng)的flink?sql，以完成mysql雨量數(shù)據(jù)到kafka的全增量同步工作。

4、在一個(gè)示例中，所述通過(guò)flink對(duì)所述雨量數(shù)據(jù)進(jìn)行計(jì)算，以更新所述目標(biāo)雨量監(jiān)測(cè)點(diǎn)的狀態(tài)數(shù)據(jù)，具體包括：接收到來(lái)自于雨量監(jiān)測(cè)點(diǎn)的新發(fā)送的雨量數(shù)據(jù)之后，根據(jù)所述測(cè)站編碼，確定所述目標(biāo)雨量監(jiān)測(cè)點(diǎn)新發(fā)送的雨量數(shù)據(jù)；獲取所述目標(biāo)雨量監(jiān)測(cè)點(diǎn)的狀態(tài)數(shù)據(jù)，所述狀態(tài)數(shù)據(jù)包括測(cè)站編碼、降雨持續(xù)時(shí)間、累計(jì)降雨量、降雨開(kāi)始時(shí)間、降雨結(jié)束時(shí)間；通過(guò)對(duì)比所述狀態(tài)數(shù)據(jù)與所述新發(fā)送的雨量數(shù)據(jù)，對(duì)所述狀態(tài)數(shù)據(jù)進(jìn)行更新。

5、在一個(gè)示例中，所述通過(guò)對(duì)比所述狀態(tài)數(shù)據(jù)與所述新發(fā)送的雨量數(shù)據(jù)，對(duì)所述狀態(tài)數(shù)據(jù)進(jìn)行更新，具體包括：讀取所述目標(biāo)雨量監(jiān)測(cè)站的初始狀態(tài)數(shù)據(jù)，并判斷初始狀態(tài)數(shù)據(jù)是否為空；若所述初始狀態(tài)數(shù)據(jù)為空，則將所述新發(fā)送的雨量數(shù)據(jù)填入所述初始狀態(tài)數(shù)據(jù)；若所述初始狀態(tài)數(shù)據(jù)不為空，則在所述新發(fā)送的雨量數(shù)據(jù)中獲取采集時(shí)間，以及所述初始狀態(tài)數(shù)據(jù)中的降雨結(jié)束時(shí)間；通過(guò)對(duì)比所述采集時(shí)間以及所述降雨結(jié)束時(shí)間，對(duì)所述初始狀態(tài)數(shù)據(jù)進(jìn)行更新。

6、在一個(gè)示例中，所述通過(guò)對(duì)比所述采集時(shí)間以及所述降雨結(jié)束時(shí)間，對(duì)所述初始狀態(tài)數(shù)據(jù)進(jìn)行更新，具體包括：若所述采集時(shí)間與所述降雨結(jié)束時(shí)間之差低于預(yù)設(shè)時(shí)間閾值，則基于所述新發(fā)送的雨量數(shù)據(jù)，更新所述初始狀態(tài)數(shù)據(jù)中的降雨持續(xù)時(shí)間、累計(jì)降雨量以及降雨結(jié)束時(shí)間；若所述采集時(shí)間與所述降雨結(jié)束時(shí)間之差高于所述預(yù)設(shè)時(shí)間閾值，則在將所述初始狀態(tài)數(shù)據(jù)保存后，初始化狀態(tài)數(shù)據(jù)，并基于所述新發(fā)送的雨量數(shù)據(jù)更新初始化后的狀態(tài)數(shù)據(jù)。

7、在一個(gè)示例中，所述基于所述測(cè)站編碼，將所述狀態(tài)數(shù)據(jù)寫(xiě)入到doris的明細(xì)表中，以得到所述目標(biāo)雨量監(jiān)測(cè)點(diǎn)的降雨場(chǎng)次明細(xì)數(shù)據(jù)，具體包括：獲取所述目標(biāo)雨量監(jiān)測(cè)點(diǎn)的當(dāng)前狀態(tài)數(shù)據(jù)；將所述當(dāng)前狀態(tài)數(shù)據(jù)寫(xiě)入到doris的明細(xì)表中；所述明細(xì)表的字段包括：測(cè)站編碼、降雨開(kāi)始時(shí)間、降雨結(jié)束時(shí)間、降雨持續(xù)時(shí)間、累計(jì)降雨量；其中，測(cè)站編碼、降雨開(kāi)始時(shí)間、降雨結(jié)束時(shí)間組成聯(lián)合主鍵。

8、在一個(gè)示例中，所述基于所述測(cè)站編碼，將所述狀態(tài)數(shù)據(jù)寫(xiě)入到doris的匯聚表中，并利用函數(shù)對(duì)所述狀態(tài)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，以得到所述目標(biāo)雨量監(jiān)測(cè)點(diǎn)的降雨場(chǎng)次統(tǒng)計(jì)數(shù)據(jù)，具體包括：獲取所述目標(biāo)雨量監(jiān)測(cè)點(diǎn)的當(dāng)前狀態(tài)數(shù)據(jù)；將所述當(dāng)前狀態(tài)數(shù)據(jù)寫(xiě)入到doris的匯聚表中；所述匯聚表的字段包括：測(cè)站編碼、連續(xù)降雨場(chǎng)次、最長(zhǎng)降雨持續(xù)時(shí)間、最大雨量值；基于測(cè)站編碼以及當(dāng)前狀態(tài)數(shù)據(jù)，利用求和函數(shù)統(tǒng)計(jì)所述目標(biāo)雨量監(jiān)測(cè)點(diǎn)的連續(xù)降雨場(chǎng)次；基于測(cè)站編碼以及當(dāng)前狀態(tài)數(shù)據(jù)，利用求最大值函數(shù)統(tǒng)計(jì)所述目標(biāo)雨量監(jiān)測(cè)點(diǎn)的最長(zhǎng)降雨持續(xù)時(shí)間和最大降雨量。

9、本申請(qǐng)還提供了一種雨量監(jiān)測(cè)點(diǎn)的降雨數(shù)據(jù)分析裝置，包括：數(shù)據(jù)接入模塊，確定目標(biāo)雨量監(jiān)測(cè)點(diǎn)的測(cè)站編碼，并通過(guò)flink?cdc接入目標(biāo)雨量監(jiān)測(cè)點(diǎn)的雨量數(shù)據(jù)；數(shù)據(jù)計(jì)算模塊，通過(guò)flink對(duì)所述雨量數(shù)據(jù)進(jìn)行計(jì)算，以更新所述目標(biāo)雨量監(jiān)測(cè)點(diǎn)的狀態(tài)數(shù)據(jù)；明細(xì)表模塊，基于所述測(cè)站編碼，將所述狀態(tài)數(shù)據(jù)寫(xiě)入到doris的明細(xì)表中，以得到所述目標(biāo)雨量監(jiān)測(cè)點(diǎn)的降雨場(chǎng)次明細(xì)數(shù)據(jù)；匯聚表模塊，基于所述測(cè)站編碼，將所述狀態(tài)數(shù)據(jù)寫(xiě)入到doris的匯聚表中，并利用函數(shù)對(duì)所述狀態(tài)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，以得到所述目標(biāo)雨量監(jiān)測(cè)點(diǎn)的降雨場(chǎng)次統(tǒng)計(jì)數(shù)據(jù)。

10、本申請(qǐng)還提供了一種雨量監(jiān)測(cè)點(diǎn)的降雨數(shù)據(jù)分析設(shè)備，包括：至少一個(gè)處理器；以及，與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行上述任意一個(gè)示例所述的方法。

11、本申請(qǐng)還提供了一種非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，其特征在于，所述計(jì)算機(jī)可執(zhí)行指令設(shè)置為執(zhí)行上述任意一個(gè)示例所述的方法。

12、通過(guò)本申請(qǐng)?zhí)岢龅姆椒軌驇?lái)如下有益效果：

13、1、在降雨統(tǒng)計(jì)方式上做出了創(chuàng)新性改變，更加真實(shí)的反應(yīng)一場(chǎng)降雨過(guò)程，有利于對(duì)降雨的精準(zhǔn)分析。

14、2、本方法引入flink流式計(jì)算和doris存算一體框架，改變了傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)統(tǒng)計(jì)分析的方式，計(jì)算性能上得到了很大的提升，實(shí)時(shí)性和穩(wěn)定性等到了保障。

15、3、本方法具有很好的適配性，對(duì)存放在不同類型數(shù)據(jù)庫(kù)中雨量監(jiān)測(cè)數(shù)據(jù)都可以進(jìn)行統(tǒng)計(jì)分析。

技術(shù)特征：

1.一種雨量監(jiān)測(cè)點(diǎn)的降雨數(shù)據(jù)分析方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過(guò)flink?cdc接入目標(biāo)雨量監(jiān)測(cè)點(diǎn)的雨量數(shù)據(jù)，具體包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過(guò)flink對(duì)所述雨量數(shù)據(jù)進(jìn)行計(jì)算，以更新所述目標(biāo)雨量監(jiān)測(cè)點(diǎn)的狀態(tài)數(shù)據(jù)，具體包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述通過(guò)對(duì)比所述狀態(tài)數(shù)據(jù)與所述新發(fā)送的雨量數(shù)據(jù)，對(duì)所述狀態(tài)數(shù)據(jù)進(jìn)行更新，具體包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述通過(guò)對(duì)比所述采集時(shí)間以及所述降雨結(jié)束時(shí)間，對(duì)所述初始狀態(tài)數(shù)據(jù)進(jìn)行更新，具體包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述基于所述測(cè)站編碼，將所述狀態(tài)數(shù)據(jù)寫(xiě)入到doris的明細(xì)表中，以得到所述目標(biāo)雨量監(jiān)測(cè)點(diǎn)的降雨場(chǎng)次明細(xì)數(shù)據(jù)，具體包括：

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述基于所述測(cè)站編碼，將所述狀態(tài)數(shù)據(jù)寫(xiě)入到doris的匯聚表中，并利用函數(shù)對(duì)所述狀態(tài)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，以得到所述目標(biāo)雨量監(jiān)測(cè)點(diǎn)的降雨場(chǎng)次統(tǒng)計(jì)數(shù)據(jù)，具體包括：

8.一種雨量監(jiān)測(cè)點(diǎn)的降雨數(shù)據(jù)分析裝置，其特征在于，包括：

9.一種雨量監(jiān)測(cè)點(diǎn)的降雨數(shù)據(jù)分析設(shè)備，其特征在于，包括：

10.一種非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，其特征在于，所述計(jì)算機(jī)可執(zhí)行指令設(shè)置為執(zhí)行如權(quán)利要求1-7中任意一項(xiàng)權(quán)利要求所述的方法。

技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種雨量監(jiān)測(cè)點(diǎn)的降雨數(shù)據(jù)分析方法、裝置、設(shè)備及介質(zhì)，其中方法包括：確定目標(biāo)雨量監(jiān)測(cè)點(diǎn)的測(cè)站編碼，并通過(guò)flink?CDC接入目標(biāo)雨量監(jiān)測(cè)點(diǎn)的雨量數(shù)據(jù)；通過(guò)flink對(duì)雨量數(shù)據(jù)進(jìn)行計(jì)算，以更新目標(biāo)雨量監(jiān)測(cè)點(diǎn)的狀態(tài)數(shù)據(jù)；基于測(cè)站編碼，將狀態(tài)數(shù)據(jù)寫(xiě)入到doris的明細(xì)表中，以得到目標(biāo)雨量監(jiān)測(cè)點(diǎn)的降雨場(chǎng)次明細(xì)數(shù)據(jù)；基于測(cè)站編碼，將狀態(tài)數(shù)據(jù)寫(xiě)入到doris的匯聚表中，以得到目標(biāo)雨量監(jiān)測(cè)點(diǎn)的降雨場(chǎng)次統(tǒng)計(jì)數(shù)據(jù)。通過(guò)引入flink流式計(jì)算和doris存算一體框架，改變了傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)統(tǒng)計(jì)分析的方式，計(jì)算性能上得到了很大的提升，實(shí)時(shí)性和穩(wěn)定性等到了保障。

技術(shù)研發(fā)人員：曲建龍,牛月華,徐強(qiáng),房愛(ài)印,尹曦萌
受保護(hù)的技術(shù)使用者：山東浪潮智水?dāng)?shù)字科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26