一種軌道交通監(jiān)測(cè)數(shù)據(jù)的查詢方法
【專利摘要】本發(fā)明公開了一種軌道交通監(jiān)測(cè)數(shù)據(jù)的查詢方法。本方法為：1）數(shù)據(jù)存儲(chǔ)系統(tǒng)實(shí)時(shí)檢查新存儲(chǔ)的監(jiān)測(cè)數(shù)據(jù)文件，并將其轉(zhuǎn)換為二進(jìn)制形式進(jìn)行存儲(chǔ)；其中，數(shù)據(jù)存儲(chǔ)系統(tǒng)采用云計(jì)算平臺(tái)，其包括一分布式存儲(chǔ)系統(tǒng)和一索引查詢系統(tǒng)；2）數(shù)據(jù)存儲(chǔ)系統(tǒng)對(duì)所述監(jiān)測(cè)數(shù)據(jù)文件進(jìn)行并行處理，對(duì)每一檢測(cè)數(shù)據(jù)文件創(chuàng)建一索引，并將每個(gè)監(jiān)測(cè)數(shù)據(jù)文件對(duì)應(yīng)的索引數(shù)據(jù)插入到所述索引查詢系統(tǒng)中；3）所述索引查詢系統(tǒng)根據(jù)輸入的檢測(cè)查詢請(qǐng)求，查詢得到監(jiān)測(cè)數(shù)據(jù)文件列表，然后根據(jù)該檢測(cè)數(shù)據(jù)文件列表從所述分布式存儲(chǔ)系統(tǒng)的監(jiān)測(cè)數(shù)據(jù)文件中讀取監(jiān)測(cè)數(shù)據(jù)記錄。本發(fā)明大大提高了索引的創(chuàng)建速度和查詢的效率。
【專利說明】一種軌道交通監(jiān)測(cè)數(shù)據(jù)的查詢方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明提供一種軌道交通監(jiān)測(cè)數(shù)據(jù)的查詢方法，屬于云計(jì)算【技術(shù)領(lǐng)域】。
【背景技術(shù)】
[0002]隨著我國(guó)鐵路包括國(guó)有鐵路、企業(yè)鐵路和城市軌道交通系統(tǒng)的大規(guī)模建設(shè)，鐵路設(shè)備，特別是鐵路通信信號(hào)設(shè)備的技術(shù)越來越先進(jìn)，但鐵路電務(wù)維修維護(hù)技術(shù)并沒有伴隨鐵路的大規(guī)模建設(shè)而同步發(fā)展，導(dǎo)致鐵路電務(wù)維修維護(hù)技術(shù)成為鐵路領(lǐng)域的技術(shù)薄弱環(huán)節(jié)。鐵路電務(wù)的兩個(gè)市場(chǎng)主體:鐵路電務(wù)部門(鐵路總公司、鐵路局、電務(wù)段、電務(wù)車間、電務(wù)工區(qū))和鐵路通信信號(hào)設(shè)備廠商，在承擔(dān)著巨大上線壓力的同時(shí)，又承擔(dān)著日益繁重的已上線設(shè)備的運(yùn)維壓力，他們對(duì)于提高鐵路電務(wù)維修維護(hù)技術(shù)水平和安全生產(chǎn)能力的信息化生產(chǎn)工具有著亟待滿足的市場(chǎng)需求。
[0003]目前針對(duì)鐵路通信信號(hào)設(shè)備已存在多種監(jiān)測(cè)系統(tǒng)，包括高鐵信號(hào)監(jiān)測(cè)的車載計(jì)算機(jī)(ATP)、鐵路無線網(wǎng)絡(luò)(GSM-R)、無線閉塞中心(RBC)、臨時(shí)限速(TSRS)和既有信號(hào)監(jiān)測(cè)(CSM):聯(lián)鎖(CBI)、調(diào)度集中(CTC)和列控中心(TCC)以及其它基礎(chǔ)信號(hào)監(jiān)測(cè)，包括道岔、軌道電路、信號(hào)機(jī)和電源屏等，除了這些設(shè)備監(jiān)測(cè)系統(tǒng)之外，在車站、電務(wù)段、城軌集中站\車輛段以及城軌線路中心也都部署了 CSM系統(tǒng)，用來集中管理各種設(shè)備的監(jiān)測(cè)數(shù)據(jù)和告警信息，并根據(jù)這些信息通知電務(wù)人員進(jìn)行維修維護(hù)。
[0004]目前，鐵路電務(wù)部門存在的主要問題是在電務(wù)生產(chǎn)過程中沿用傳統(tǒng)的計(jì)劃修和故障修的電務(wù)生產(chǎn)方式，維護(hù)著眾多先進(jìn)的通信信號(hào)設(shè)備，不可避免地照成了設(shè)備隱患的盲區(qū)、盲點(diǎn)，電務(wù)生產(chǎn)領(lǐng)域普遍存在著過剩修和失修現(xiàn)象。過剩修，帶來的是人財(cái)物力的巨大浪費(fèi)；而失修，則可能帶來車毀人亡的行車事故。廣大鐵路電務(wù)人員，在沉重的心理壓力和勞動(dòng)強(qiáng)度負(fù)荷下、以人力維護(hù)著通信信號(hào)設(shè)備的正常運(yùn)行，不堪重負(fù)。他們迫切需要一套能夠解放電務(wù)生產(chǎn)力的生產(chǎn)工具一綜合化、智能化的電務(wù)監(jiān)測(cè)運(yùn)維系統(tǒng)，從而將當(dāng)前以故障修、計(jì)劃修為導(dǎo)向的傳統(tǒng)的電務(wù)安全生產(chǎn)運(yùn)維模式，逐步轉(zhuǎn)變?yōu)橐誀顟B(tài)修為導(dǎo)向的信息化的電務(wù)安全生產(chǎn)運(yùn)維模式，從而實(shí)現(xiàn)查隱患、治隱患，將設(shè)備隱患消除在萌芽狀態(tài)、實(shí)現(xiàn)保障行車安全的電務(wù)安全生產(chǎn)目標(biāo)。
[0005]鐵路通信信號(hào)設(shè)備廠商目前存在的主要問題在于，監(jiān)測(cè)信息的相對(duì)分散和孤立，使得監(jiān)測(cè)信息的利用非常不方便，利用率不高。部分監(jiān)測(cè)系統(tǒng)產(chǎn)生的監(jiān)測(cè)信息之間彼此是相對(duì)獨(dú)立的信息孤島，還沒有完全實(shí)現(xiàn)集中監(jiān)測(cè)；現(xiàn)有的軌道交通監(jiān)測(cè)數(shù)據(jù)的管理方法是將所用的數(shù)據(jù)都采用關(guān)系數(shù)據(jù)庫，如Oracle數(shù)據(jù)庫，進(jìn)行存儲(chǔ)和管理。為了應(yīng)對(duì)海量的數(shù)據(jù)，通常采用由多個(gè)數(shù)據(jù)庫服務(wù)器所組成的集群，如Oracle RAC。在關(guān)系數(shù)據(jù)庫中，數(shù)據(jù)是高度獨(dú)立的，隨著監(jiān)測(cè)和存儲(chǔ)數(shù)據(jù)量的逐漸增加，關(guān)系數(shù)據(jù)庫集群的數(shù)據(jù)存儲(chǔ)和管理方式具有以下的不足:
[0006]對(duì)于海量數(shù)據(jù)庫進(jìn)行存儲(chǔ)當(dāng)前最主要的方法是使用3級(jí)存儲(chǔ)器進(jìn)行存儲(chǔ)和并行存儲(chǔ)和查詢技術(shù)。但是這些方法對(duì)于數(shù)據(jù)的存儲(chǔ)最大的不足之處在于對(duì)于硬件的開銷比較大，而且需要開發(fā)專門的數(shù)據(jù)庫系統(tǒng)對(duì)其進(jìn)行管理，而且他們最本質(zhì)的思路就是以擴(kuò)充硬件設(shè)備來獲取大的存儲(chǔ)空間，加大存儲(chǔ)容量的同時(shí)大大增加的查詢的處理時(shí)間。
[0007]并行數(shù)據(jù)庫技術(shù)雖然利用多個(gè)處理機(jī)獲取的高速的處理速度，但代價(jià)是增加硬件開銷，而且處理的增長(zhǎng)速度要低于硬件設(shè)備的處理速度。當(dāng)數(shù)據(jù)量很大時(shí)，數(shù)據(jù)查詢和分析等操作需要花費(fèi)的時(shí)間開銷很大，無法滿足快速數(shù)據(jù)瀏覽和分析處理的需要。

【發(fā)明內(nèi)容】

[0008]針對(duì)上述問題，本發(fā)明的目的是提供一種軌道交通監(jiān)測(cè)數(shù)據(jù)的查詢方法，通過云平臺(tái)、云存儲(chǔ)技術(shù)提高各種資源和軌道交通監(jiān)測(cè)數(shù)據(jù)的查詢效率。
[0009]為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下:
[0010]一種軌道交通監(jiān)測(cè)數(shù)據(jù)的查詢方法，其步驟為:
[0011]I)數(shù)據(jù)存儲(chǔ)系統(tǒng)實(shí)時(shí)檢查新存儲(chǔ)的數(shù)值型監(jiān)測(cè)數(shù)據(jù)文件，并將其轉(zhuǎn)換為二進(jìn)制形式進(jìn)行存儲(chǔ)；其中，數(shù)據(jù)存儲(chǔ)系統(tǒng)采用云計(jì)算平臺(tái)，其包括一分布式存儲(chǔ)系統(tǒng)和一索引查詢系統(tǒng)；
[0012]2)數(shù)據(jù)存儲(chǔ)系統(tǒng)對(duì)所述監(jiān)測(cè)數(shù)據(jù)文件進(jìn)行并行處理，對(duì)每一檢測(cè)數(shù)據(jù)文件創(chuàng)建一索引，并將每個(gè)監(jiān)測(cè)數(shù)據(jù)文件對(duì)應(yīng)的索引數(shù)據(jù)插入到所述索引查詢系統(tǒng)中；
[0013]3)所述索引查詢系統(tǒng)根據(jù)輸入的檢測(cè)查詢請(qǐng)求，查詢得到監(jiān)測(cè)數(shù)據(jù)文件列表，然后根據(jù)該檢測(cè)數(shù)據(jù)文件列表從所述分布式存儲(chǔ)系統(tǒng)的監(jiān)測(cè)數(shù)據(jù)文件中讀取監(jiān)測(cè)數(shù)據(jù)記錄。
[0014]進(jìn)一步的，所述分布式存儲(chǔ)系統(tǒng)為HDFS存儲(chǔ)系統(tǒng)，所述索引查詢系統(tǒng)為Hbase索引查詢系統(tǒng)。
[0015]進(jìn)一步的，所述云計(jì)算平臺(tái)設(shè)置有主節(jié)點(diǎn)和若干子節(jié)點(diǎn)；利用主節(jié)點(diǎn)檢查分布式HDFS存儲(chǔ)系統(tǒng)中新存儲(chǔ)的監(jiān)測(cè)數(shù)據(jù)文件，并創(chuàng)建該檢測(cè)數(shù)據(jù)文件的索引數(shù)據(jù)；所述云計(jì)算平臺(tái)將所述監(jiān)測(cè)數(shù)據(jù)文件分發(fā)給不同的子節(jié)點(diǎn)進(jìn)行索引的并行創(chuàng)建。
[0016]進(jìn)一步的，所述分布式存儲(chǔ)系統(tǒng)包括一元數(shù)據(jù)文件，所述分布式存儲(chǔ)系統(tǒng)提取監(jiān)測(cè)數(shù)據(jù)文件的元數(shù)據(jù)，將其作為一條數(shù)據(jù)記錄存儲(chǔ)在該元數(shù)據(jù)文件中。
[0017]進(jìn)一步的，所述元數(shù)據(jù)包括文件名、監(jiān)測(cè)數(shù)據(jù)文件中的字段在該監(jiān)測(cè)數(shù)據(jù)文件中的偏移量、監(jiān)測(cè)文件大小。
[0018]進(jìn)一步的，所述對(duì)每一檢測(cè)數(shù)據(jù)文件創(chuàng)建一索引的方法為:
[0019]I)子節(jié)點(diǎn)對(duì)所分配的每一監(jiān)測(cè)數(shù)據(jù)文件索引創(chuàng)建任務(wù)新建一數(shù)據(jù)流，同時(shí)記錄下該監(jiān)測(cè)數(shù)據(jù)文件的文件名；
[0020]2)子節(jié)點(diǎn)根據(jù)該文件名從所述元數(shù)據(jù)文件中提取元數(shù)據(jù)，并根據(jù)該元數(shù)據(jù)記錄對(duì)該監(jiān)測(cè)文件數(shù)據(jù)進(jìn)行解析，利用所述偏移量提取設(shè)定的索引字段將其添加到索引數(shù)據(jù)列表中；
[0021]3)子節(jié)點(diǎn)對(duì)索引數(shù)據(jù)列表中每一索引字段建立一索引表；所述索引表中的信息包括:索引字段、數(shù)據(jù)采集時(shí)間、監(jiān)測(cè)數(shù)據(jù)記錄的存儲(chǔ)地址。
[0022]進(jìn)一步的，所述索引表的行鍵按照字節(jié)序順序排列。
[0023]進(jìn)一步的,所述云計(jì)算平臺(tái)采用Zookeeper設(shè)置主節(jié)點(diǎn)和子節(jié)點(diǎn)，并對(duì)所述云計(jì)算平臺(tái)進(jìn)行負(fù)載均衡。
[0024]進(jìn)一步的，所述監(jiān)測(cè)數(shù)據(jù)文件包括若干采集的設(shè)備狀態(tài)記錄；所述設(shè)備狀態(tài)記錄包括數(shù)據(jù)采集的時(shí)間，以及該時(shí)間下所對(duì)應(yīng)的設(shè)備監(jiān)測(cè)信號(hào)的若干開關(guān)量和模擬量的值。[0025]進(jìn)一步的，所述監(jiān)測(cè)查詢請(qǐng)求包括監(jiān)測(cè)數(shù)據(jù)的時(shí)間范圍和監(jiān)測(cè)參數(shù)。
[0026]軌道交通監(jiān)測(cè)數(shù)據(jù)是以設(shè)備監(jiān)測(cè)信號(hào)的開關(guān)量和模擬量的形式產(chǎn)生和保存的。然后數(shù)據(jù)采集系統(tǒng)將某一時(shí)刻的開關(guān)量和模擬量數(shù)據(jù)合并成一條設(shè)備狀態(tài)記錄，存儲(chǔ)于各電務(wù)段的集中監(jiān)測(cè)系統(tǒng)。該設(shè)備狀態(tài)記錄包括了數(shù)據(jù)采集的時(shí)間，以及該時(shí)間下所對(duì)應(yīng)的設(shè)備監(jiān)測(cè)信號(hào)的若干開關(guān)量和模擬量的值。綜合運(yùn)維平臺(tái)對(duì)各電務(wù)段的監(jiān)測(cè)數(shù)據(jù)進(jìn)行收集并集中存儲(chǔ)于數(shù)據(jù)存儲(chǔ)系統(tǒng)。本發(fā)明中的數(shù)據(jù)存儲(chǔ)系統(tǒng)采用云計(jì)算平臺(tái)，利用眾多X86架構(gòu)計(jì)算機(jī)，建立具有良好可靠性和可擴(kuò)展性的分布式云計(jì)算平臺(tái)，能夠?qū)Ω哌_(dá)PB級(jí)的監(jiān)測(cè)數(shù)據(jù)進(jìn)行實(shí)時(shí)監(jiān)測(cè)處理，提供監(jiān)測(cè)數(shù)據(jù)的實(shí)時(shí)查詢分析等多種業(yè)務(wù)支持，圖1所示是設(shè)備數(shù)據(jù)監(jiān)測(cè)系統(tǒng)中監(jiān)測(cè)數(shù)據(jù)采集和查詢系統(tǒng)的框架。
[0027]如圖1所示，監(jiān)測(cè)數(shù)據(jù)源源不斷地從設(shè)備信號(hào)采集系統(tǒng)采集出來，然后這些原始數(shù)據(jù)將經(jīng)過合成系統(tǒng)處理，以生成監(jiān)測(cè)數(shù)據(jù)記錄。合成的監(jiān)測(cè)數(shù)據(jù)記錄是以接近于文本數(shù)據(jù)的形式表示的，每個(gè)記錄中包含數(shù)十個(gè)數(shù)據(jù)字段，如軌道電路電壓、軌道電路相位角等信息。監(jiān)測(cè)數(shù)據(jù)通常以一個(gè)固定的時(shí)間(如一分鐘)為單位保持在數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)庫中。因此，每分鐘都會(huì)有監(jiān)測(cè)數(shù)據(jù)產(chǎn)生，而根據(jù)設(shè)備采集頻率的不同，每天的監(jiān)測(cè)數(shù)據(jù)庫中可包含很多的監(jiān)測(cè)數(shù)據(jù)記錄。集中存儲(chǔ)這些數(shù)據(jù)的存儲(chǔ)系統(tǒng)更需要維護(hù)多個(gè)電務(wù)段中存儲(chǔ)的監(jiān)測(cè)數(shù)據(jù)。
[0028]為了能對(duì)這些監(jiān)測(cè)數(shù)據(jù)記錄進(jìn)行查詢，需要將其轉(zhuǎn)換為二進(jìn)制形式。采用二進(jìn)制存儲(chǔ)的優(yōu)點(diǎn)是可以節(jié)省存儲(chǔ)空間，而且可以以固定字節(jié)長(zhǎng)度來存儲(chǔ)數(shù)據(jù)。由于二進(jìn)制形式的記錄之間偏移量是固定值，因此便于創(chuàng)建索引和進(jìn)行相關(guān)的查詢。表1是原始記錄結(jié)構(gòu)化存儲(chǔ)的一種具體形式，將其轉(zhuǎn)換為二進(jìn)制形式。對(duì)于這些結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和管理，本發(fā)明的解決方案是:將監(jiān)測(cè)數(shù)據(jù)以每天為單位合成一個(gè)數(shù)據(jù)文件，存儲(chǔ)在HDFS系統(tǒng)中，同時(shí)為了提供快速查詢處理能力，將針對(duì)監(jiān)測(cè)數(shù)據(jù)記錄建立查詢索引，并將這些查詢索引存放在HBase中。
[0029]表1為原始記錄結(jié)構(gòu)化存儲(chǔ)的具體形式
[0030]`
【權(quán)利要求】
1.一種軌道交通監(jiān)測(cè)數(shù)據(jù)的查詢方法，其步驟為: 1)數(shù)據(jù)存儲(chǔ)系統(tǒng)實(shí)時(shí)檢查新存儲(chǔ)的數(shù)值型監(jiān)測(cè)數(shù)據(jù)文件，并將其轉(zhuǎn)換為二進(jìn)制形式進(jìn)行存儲(chǔ)；其中，數(shù)據(jù)存儲(chǔ)系統(tǒng)采用云計(jì)算平臺(tái)，其包括一分布式存儲(chǔ)系統(tǒng)和一索引查詢系統(tǒng)； 2)數(shù)據(jù)存儲(chǔ)系統(tǒng)對(duì)所述監(jiān)測(cè)數(shù)據(jù)文件進(jìn)行并行處理，對(duì)每一檢測(cè)數(shù)據(jù)文件創(chuàng)建一索弓丨，并將每個(gè)監(jiān)測(cè)數(shù)據(jù)文件對(duì)應(yīng)的索引數(shù)據(jù)插入到所述索引查詢系統(tǒng)中； 3)所述索引查詢系統(tǒng)根據(jù)輸入的檢測(cè)查詢請(qǐng)求，查詢得到監(jiān)測(cè)數(shù)據(jù)文件列表，然后根據(jù)該檢測(cè)數(shù)據(jù)文件列表從所述分布式存儲(chǔ)系統(tǒng)的監(jiān)測(cè)數(shù)據(jù)文件中讀取監(jiān)測(cè)數(shù)據(jù)記錄。
2.如權(quán)利要求1所述的方法，其特征在于所述分布式存儲(chǔ)系統(tǒng)為HDFS存儲(chǔ)系統(tǒng)，所述索引查詢系統(tǒng)為ffiase索引查詢系統(tǒng)。
3.如權(quán)利要求2所述的方法，其特征在于所述云計(jì)算平臺(tái)設(shè)置有主節(jié)點(diǎn)和若干子節(jié)點(diǎn)；利用主節(jié)點(diǎn)檢查分布式HDFS存儲(chǔ)系統(tǒng)中新存儲(chǔ)的監(jiān)測(cè)數(shù)據(jù)文件，并創(chuàng)建該檢測(cè)數(shù)據(jù)文件的索引數(shù)據(jù)；所述云計(jì)算平臺(tái)將所述監(jiān)測(cè)數(shù)據(jù)文件分發(fā)給不同的子節(jié)點(diǎn)進(jìn)行索引的并行創(chuàng)建。
4.如權(quán)利要求1或3所述的方法，其特征在于所述分布式存儲(chǔ)系統(tǒng)包括一元數(shù)據(jù)文件，所述分布式存儲(chǔ)系統(tǒng)提取監(jiān)測(cè)數(shù)據(jù)文件的元數(shù)據(jù)，將其作為一條數(shù)據(jù)記錄存儲(chǔ)在該元數(shù)據(jù)文件中。
5.如權(quán)利要求4所述的方法，其特征在于所述元數(shù)據(jù)包括文件名、監(jiān)測(cè)數(shù)據(jù)文件中的字段在該監(jiān)測(cè)數(shù)據(jù)文件中的偏移量、監(jiān)測(cè)文件大小。
6.如權(quán)利要求5所述的方法，其特征在于所述對(duì)每一檢測(cè)數(shù)據(jù)文件創(chuàng)建一索引的方法為: 1)子節(jié)點(diǎn)對(duì)所分配的每一監(jiān)測(cè)數(shù)據(jù)文件索引創(chuàng)建任務(wù)新建一數(shù)據(jù)流，同時(shí)記錄下該監(jiān)測(cè)數(shù)據(jù)文件的文件名； 2)子節(jié)點(diǎn)根據(jù)該文件名從所述元數(shù)據(jù)文件中提取元數(shù)據(jù)，并根據(jù)該元數(shù)據(jù)記錄對(duì)該監(jiān)測(cè)文件數(shù)據(jù)進(jìn)行解析，利用所述偏移量提取設(shè)定的索引字段將其添加到索引數(shù)據(jù)列表中； 3)子節(jié)點(diǎn)對(duì)索引數(shù)據(jù)列表中每一索引字段建立一索引表；所述索引表中的信息包括:索引字段、數(shù)據(jù)采集時(shí)間、監(jiān)測(cè)數(shù)據(jù)記錄的存儲(chǔ)地址。
7.如權(quán)利要求6所述的方法，其特征在于所述索引表的行鍵按照字節(jié)序順序排列。
8.如權(quán)利要求3所述的方法，其特征在于所述云計(jì)算平臺(tái)采用Zookeeper設(shè)置主節(jié)點(diǎn)和子節(jié)點(diǎn)，并對(duì)所述云計(jì)算平臺(tái)進(jìn)行負(fù)載均衡。
9.如權(quán)利要求1或2或3所述的方法，其特征在于所述監(jiān)測(cè)數(shù)據(jù)文件包括若干采集的設(shè)備狀態(tài)記錄；所述設(shè)備狀態(tài)記錄包括數(shù)據(jù)采集的時(shí)間，以及該時(shí)間下所對(duì)應(yīng)的設(shè)備監(jiān)測(cè)信號(hào)的若干開關(guān)量和模擬量的值。
10.如權(quán)利要求1或2或3所述的方法，其特征在于所述監(jiān)測(cè)查詢請(qǐng)求包括監(jiān)測(cè)數(shù)據(jù)的時(shí)間范圍和監(jiān)測(cè)參數(shù)。
【文檔編號(hào)】G06F17/30GK103500173SQ201310395393
【公開日】2014年1月8日 申請(qǐng)日期:2013年9月3日 優(yōu)先權(quán)日:2013年9月3日
【發(fā)明者】鮑俠 申請(qǐng)人:北京泰樂德信息技術(shù)有限公司