本發(fā)明涉及數(shù)據(jù)采集管理,具體涉及一種智慧航道環(huán)境數(shù)據(jù)采集管理系統(tǒng)及方法。
背景技術(shù):
1、智慧航道環(huán)境數(shù)據(jù)是指通過(guò)現(xiàn)代信息技術(shù)和傳感設(shè)備收集、處理并共享船只的航道環(huán)境相關(guān)的數(shù)據(jù);航道環(huán)境數(shù)據(jù)可以大幅提高航行的安全性和效率,提供實(shí)時(shí)的信息支持船舶導(dǎo)航和管理。
2、數(shù)據(jù)采集管理是確保高質(zhì)量數(shù)據(jù)能夠被準(zhǔn)確、及時(shí)地收集、存儲(chǔ)和處理的關(guān)鍵過(guò)程;數(shù)據(jù)采集管理包括了多個(gè)方面,從初始的數(shù)據(jù)收集到最終的數(shù)據(jù)利用;包括數(shù)據(jù)需求分析、數(shù)據(jù)采集方法和數(shù)據(jù)質(zhì)量管理等。
3、隨著全球化的深入發(fā)展和國(guó)際貿(mào)易的日益頻繁,船舶作為重要的水上運(yùn)輸工具,其數(shù)量的增加似乎已成為一個(gè)不可逆轉(zhuǎn)的趨勢(shì),故船舶的航道環(huán)境數(shù)據(jù)的采集變得越發(fā)重要;在現(xiàn)有技術(shù)中,由于船舶航道的數(shù)量越來(lái)越多,且航道越來(lái)越多樣性,如何快速且準(zhǔn)確的獲取航道的環(huán)境數(shù)據(jù),提高航道數(shù)據(jù)的采集效率并減少采集成本是我們要解決的問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的在于提供一種智慧航道環(huán)境數(shù)據(jù)采集管理系統(tǒng)及方法,解決以上技術(shù)問(wèn)題。
2、本發(fā)明的目的可以通過(guò)以下技術(shù)方案實(shí)現(xiàn):
3、一種智慧航道環(huán)境數(shù)據(jù)采集管理方法,包括以下步驟:
4、步驟s1:獲取全部航道,在所述航道上選取若干個(gè)監(jiān)測(cè)點(diǎn),所述監(jiān)測(cè)點(diǎn)用于獲取環(huán)境數(shù)據(jù),所述環(huán)境數(shù)據(jù)包括若干個(gè)指標(biāo);
5、設(shè)定采集時(shí)間區(qū)間和標(biāo)準(zhǔn)采集周期t0,在過(guò)去采集時(shí)間區(qū)間內(nèi),根據(jù)所述標(biāo)準(zhǔn)采集周期獲取監(jiān)測(cè)點(diǎn)處的環(huán)境數(shù)據(jù)和經(jīng)過(guò)的船舶總數(shù)n;并設(shè)定數(shù)目閾值n,選取出n≥n的監(jiān)測(cè)點(diǎn),記為常規(guī)監(jiān)測(cè)點(diǎn);
6、步驟s2:記除所述常規(guī)監(jiān)測(cè)點(diǎn)外的監(jiān)測(cè)點(diǎn)為其余監(jiān)測(cè)點(diǎn),將兩兩之間距離最近的其余監(jiān)測(cè)點(diǎn)記為一個(gè)對(duì)照組;獲取兩個(gè)其余監(jiān)測(cè)點(diǎn)之間環(huán)境數(shù)據(jù)的變化差異量c,其中:
7、;
8、其中m為環(huán)境數(shù)據(jù)的指標(biāo)總數(shù),i表示第i個(gè)指標(biāo),i∈[1,m]且i為正整數(shù),f(t)和g(t)分別為兩個(gè)其余監(jiān)測(cè)點(diǎn)在過(guò)去采集時(shí)間區(qū)間內(nèi)環(huán)境數(shù)據(jù)與采集次數(shù)的曲線,p表示f(t)和g(t)第p個(gè)交點(diǎn),tp為第p個(gè)交點(diǎn)對(duì)應(yīng)的時(shí)間,n為f(t)和g(t)的交點(diǎn)總個(gè)數(shù);
9、步驟s3:設(shè)定差異量閾值ε,若c≤ε,則在對(duì)照組內(nèi)選取其中一個(gè)其余監(jiān)測(cè)點(diǎn)作為重點(diǎn)監(jiān)測(cè)點(diǎn),使得各重點(diǎn)監(jiān)測(cè)點(diǎn)之間的距離總和達(dá)最小值;
10、步驟s4:獲取重點(diǎn)監(jiān)測(cè)點(diǎn)的平均離散系數(shù),其中表示采集時(shí)間區(qū)間內(nèi)采集的環(huán)境數(shù)據(jù)中第i個(gè)指標(biāo)的變化率標(biāo)準(zhǔn)差與平均變化率的比值;根據(jù)所述平均離散系數(shù)和標(biāo)準(zhǔn)采集周期,獲得所述重點(diǎn)監(jiān)測(cè)點(diǎn)的采集周期,其中α為預(yù)設(shè)系數(shù)且α>0;
11、步驟s5:根據(jù)所述采集周期獲取各重點(diǎn)監(jiān)測(cè)點(diǎn)處的環(huán)境數(shù)據(jù),并作為其對(duì)照組內(nèi)其余監(jiān)測(cè)點(diǎn)的環(huán)境數(shù)據(jù);并獲取最近一次經(jīng)過(guò)常規(guī)監(jiān)測(cè)點(diǎn)的船舶采集到的環(huán)境數(shù)據(jù)作為該常規(guī)監(jiān)測(cè)點(diǎn)的環(huán)境數(shù)據(jù)。
12、作為本發(fā)明進(jìn)一步的方案:所述監(jiān)測(cè)點(diǎn)的選取過(guò)程包括:
13、獲取全部船舶的航行路線,由全部航行路線構(gòu)成全部航道;
14、設(shè)定距離間隔閾值,在所述航道中每隔一個(gè)距離間隔閾值作為一個(gè)監(jiān)測(cè)點(diǎn),所述監(jiān)測(cè)點(diǎn)的選取包括航道的起點(diǎn)和終點(diǎn)。
15、作為本發(fā)明進(jìn)一步的方案:所述采集時(shí)間區(qū)間的設(shè)定范圍為[3,12]個(gè)月,所述環(huán)境數(shù)據(jù)包括河水的污染數(shù)據(jù),所述環(huán)境數(shù)據(jù)的指標(biāo)包括物理指標(biāo)、化學(xué)指標(biāo)和生物指標(biāo)。
16、作為本發(fā)明進(jìn)一步的方案:所述數(shù)目閾值的設(shè)定過(guò)程包括:
17、獲取在過(guò)去采集時(shí)間區(qū)間內(nèi)各監(jiān)測(cè)點(diǎn)處經(jīng)過(guò)的船舶的總數(shù),得到數(shù)據(jù)集,記為{n1,n2,...,nk},n1為第1個(gè)監(jiān)測(cè)點(diǎn)處經(jīng)過(guò)的船舶總數(shù),k為監(jiān)測(cè)點(diǎn)的總個(gè)數(shù);則得到經(jīng)過(guò)的船舶總數(shù)的平均值,其中e∈[1,k]且e為正整數(shù);
18、根據(jù)所述數(shù)據(jù)集得到標(biāo)準(zhǔn)差σ,其中:
19、;
20、則所述數(shù)目閾值的設(shè)定范圍為(nave-σ,nave+σ)。
21、作為本發(fā)明進(jìn)一步的方案:根據(jù)兩兩之間距離最近的其余監(jiān)測(cè)點(diǎn)確定對(duì)照組的過(guò)程包括:
22、隨機(jī)選取相鄰的兩個(gè)其余監(jiān)測(cè)點(diǎn)作為一個(gè)組合,獲取組合內(nèi)兩個(gè)其余監(jiān)測(cè)點(diǎn)的位置坐標(biāo),分別記為(x1,y1)和(x2,y2);則得到兩個(gè)其余監(jiān)測(cè)點(diǎn)之間的距離為;
23、獲取各組合內(nèi)兩個(gè)其余監(jiān)測(cè)點(diǎn)之間的距離總和,其中j∈[1,k/2]且j為正整數(shù);當(dāng)st達(dá)到最小值時(shí),記此時(shí)組合內(nèi)的兩個(gè)其余監(jiān)測(cè)點(diǎn)為一個(gè)對(duì)照組。
24、作為本發(fā)明進(jìn)一步的方案:若所述其余監(jiān)測(cè)點(diǎn)的c>ε,則直接記對(duì)照組內(nèi)兩個(gè)其余監(jiān)測(cè)點(diǎn)均為重點(diǎn)監(jiān)測(cè)點(diǎn)。
25、作為本發(fā)明進(jìn)一步的方案:所述變化率標(biāo)準(zhǔn)差和平均變化率的獲得過(guò)程包
26、獲取所述重點(diǎn)監(jiān)測(cè)點(diǎn)在過(guò)去采集時(shí)間區(qū)間內(nèi)的環(huán)境數(shù)據(jù),獲得相鄰兩次采集到的環(huán)境數(shù)據(jù)的變化率cra=(ea+1-ea)/t0,其中ea表示第a次采集到的環(huán)境數(shù)據(jù),cra為第a個(gè)變化率;得到平均變化率,其中num為采集的總次數(shù);
27、獲得變化率標(biāo)準(zhǔn)差s,其中:
28、。
29、作為本發(fā)明進(jìn)一步的方案:一種智慧航道環(huán)境數(shù)據(jù)采集管理系統(tǒng),包括:
30、樣本數(shù)據(jù)采集:獲取全部航道,在所述航道上選取若干個(gè)監(jiān)測(cè)點(diǎn),所述監(jiān)測(cè)點(diǎn)用于獲取環(huán)境數(shù)據(jù),所述環(huán)境數(shù)據(jù)包括若干個(gè)指標(biāo);
31、設(shè)定采集時(shí)間區(qū)間和標(biāo)準(zhǔn)采集周期t0,在過(guò)去采集時(shí)間區(qū)間內(nèi),根據(jù)所述標(biāo)準(zhǔn)采集周期獲取監(jiān)測(cè)點(diǎn)處的環(huán)境數(shù)據(jù)和經(jīng)過(guò)的船舶總數(shù)n;并設(shè)定數(shù)目閾值n,選取出n≥n的監(jiān)測(cè)點(diǎn),記為常規(guī)監(jiān)測(cè)點(diǎn);
32、一次篩選模塊:記除所述常規(guī)監(jiān)測(cè)點(diǎn)外的監(jiān)測(cè)點(diǎn)為其余監(jiān)測(cè)點(diǎn),將兩兩之間距離最近的其余監(jiān)測(cè)點(diǎn)記為一個(gè)對(duì)照組;獲取兩個(gè)其余監(jiān)測(cè)點(diǎn)之間環(huán)境數(shù)據(jù)的變化差異量c,其中:
33、;
34、其中m為環(huán)境數(shù)據(jù)的指標(biāo)總數(shù),i表示第i個(gè)指標(biāo),i∈[1,m]且i為正整數(shù),f(t)和g(t)分別為兩個(gè)其余監(jiān)測(cè)點(diǎn)在過(guò)去采集時(shí)間區(qū)間內(nèi)環(huán)境數(shù)據(jù)與采集次數(shù)的曲線,p表示f(t)和g(t)第p個(gè)交點(diǎn),tp為第p個(gè)交點(diǎn)對(duì)應(yīng)的時(shí)間,n為f(t)和g(t)的交點(diǎn)總個(gè)數(shù);
35、二次篩選模塊:設(shè)定差異量閾值ε,若c≤ε,則在對(duì)照組內(nèi)選取其中一個(gè)其余監(jiān)測(cè)點(diǎn)作為重點(diǎn)監(jiān)測(cè)點(diǎn),使得各重點(diǎn)監(jiān)測(cè)點(diǎn)之間的距離總和達(dá)最小值;
36、周期修正模塊:獲取重點(diǎn)監(jiān)測(cè)點(diǎn)的平均離散系數(shù),其中表示采集時(shí)間區(qū)間內(nèi)采集的環(huán)境數(shù)據(jù)中第i個(gè)指標(biāo)的變化率標(biāo)準(zhǔn)差與平均變化率的比值;根據(jù)所述平均離散系數(shù)和標(biāo)準(zhǔn)采集周期,獲得所述重點(diǎn)監(jiān)測(cè)點(diǎn)的采集周期,其中α為預(yù)設(shè)系數(shù)且α>0;
37、環(huán)境數(shù)據(jù)采集模塊:根據(jù)所述采集周期獲取各重點(diǎn)監(jiān)測(cè)點(diǎn)處的環(huán)境數(shù)據(jù),并作為其對(duì)照組內(nèi)其余監(jiān)測(cè)點(diǎn)的環(huán)境數(shù)據(jù);并獲取最近一次經(jīng)過(guò)常規(guī)監(jiān)測(cè)點(diǎn)的船舶采集到的環(huán)境數(shù)據(jù)作為該常規(guī)監(jiān)測(cè)點(diǎn)的環(huán)境數(shù)據(jù)。
38、本發(fā)明的有益效果:
39、在現(xiàn)有技術(shù)中,由于船舶航道的數(shù)量越來(lái)越多,且航道越來(lái)越多樣性,如何快速且準(zhǔn)確的獲取航道的環(huán)境數(shù)據(jù),提高航道數(shù)據(jù)的采集效率并減少采集成本是我們要解決的問(wèn)題;故本發(fā)明在航道中設(shè)置若干個(gè)監(jiān)測(cè)點(diǎn),根據(jù)不同監(jiān)測(cè)點(diǎn)處經(jīng)過(guò)的船舶總數(shù)目的大小不同,篩選出經(jīng)過(guò)的船舶總數(shù)目較少的監(jiān)測(cè)點(diǎn);對(duì)于經(jīng)過(guò)的船舶總數(shù)目較少的監(jiān)測(cè)點(diǎn)記為常規(guī)監(jiān)測(cè)點(diǎn),直接獲取最近一次經(jīng)過(guò)常規(guī)監(jiān)測(cè)點(diǎn)的船舶采集到的環(huán)境數(shù)據(jù)作為該常規(guī)監(jiān)測(cè)點(diǎn)的環(huán)境數(shù)據(jù),減少了不必要的數(shù)據(jù)采集,提升了整體數(shù)據(jù)采集的效率;對(duì)于經(jīng)過(guò)的船舶總數(shù)目較少的其余監(jiān)測(cè)點(diǎn),先根據(jù)兩兩之間的距離對(duì)各其余監(jiān)測(cè)點(diǎn)進(jìn)行分組配對(duì);獲取同一對(duì)照組內(nèi)兩個(gè)其余監(jiān)測(cè)點(diǎn)之間環(huán)境數(shù)據(jù)的變化差異量;所述變化差異量反映兩個(gè)其余監(jiān)測(cè)點(diǎn)處每次獲取的環(huán)境數(shù)據(jù)的差異大小;若同一對(duì)照組內(nèi)兩個(gè)其余監(jiān)測(cè)點(diǎn)的環(huán)境數(shù)據(jù)差異不大,則兩個(gè)其余監(jiān)測(cè)點(diǎn)的環(huán)境數(shù)據(jù)可以互相替代,只獲取其中一個(gè)其余監(jiān)測(cè)點(diǎn)的環(huán)境數(shù)據(jù)即可,減少采集次數(shù);故對(duì)于可替代的兩個(gè)其余監(jiān)測(cè)點(diǎn),選取其中一個(gè)作為重點(diǎn)監(jiān)測(cè)點(diǎn),此處所述重點(diǎn)監(jiān)測(cè)點(diǎn)的選取過(guò)程中,保證選取最后得到的各重點(diǎn)監(jiān)測(cè)點(diǎn)之間的距離總和達(dá)到最小值,以減少采集過(guò)程中的路線距離;此外,對(duì)于重點(diǎn)監(jiān)測(cè)點(diǎn),根據(jù)重點(diǎn)監(jiān)測(cè)點(diǎn)的環(huán)境數(shù)據(jù)的波動(dòng)情況,確定該重點(diǎn)監(jiān)測(cè)點(diǎn)的采集周期;若重點(diǎn)監(jiān)測(cè)點(diǎn)的環(huán)境數(shù)據(jù)的波動(dòng)越大,則采集周期越小,保證采集到的環(huán)境數(shù)據(jù)的準(zhǔn)確性;
40、本發(fā)明通過(guò)關(guān)注數(shù)據(jù)集之間的相關(guān)性和消除冗余數(shù)據(jù)點(diǎn),優(yōu)化了航道環(huán)境監(jiān)測(cè)數(shù)據(jù)的采集和管理;精簡(jiǎn)了監(jiān)測(cè)點(diǎn)數(shù)量,使資源得到更合理的分配,降低了監(jiān)測(cè)成本;依據(jù)監(jiān)測(cè)數(shù)據(jù)的波動(dòng)情況和采集周期,能夠?qū)崟r(shí)調(diào)整監(jiān)測(cè)方案,確保數(shù)據(jù)的時(shí)效性和可靠性。