一種基于物聯(lián)網(wǎng)的海量存儲系統(tǒng)及存儲方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及物聯(lián)網(wǎng)技術(shù)領(lǐng)域，特別涉及一種基于物聯(lián)網(wǎng)的海量存儲系統(tǒng)及存儲方法。
【背景技術(shù)】
[0002]物聯(lián)網(wǎng)是一個基于互聯(lián)網(wǎng)、傳統(tǒng)電信網(wǎng)等信息承載體，讓所有能夠被獨(dú)立尋址的普通物理對象實(shí)現(xiàn)互聯(lián)互通的網(wǎng)絡(luò)。
[0003]網(wǎng)關(guān)又稱網(wǎng)間連接器、協(xié)議轉(zhuǎn)換器。網(wǎng)關(guān)在傳輸層上以實(shí)現(xiàn)網(wǎng)絡(luò)互連，是最復(fù)雜的網(wǎng)絡(luò)互連設(shè)備，僅用于兩個高層協(xié)議不同的網(wǎng)絡(luò)互連。物聯(lián)網(wǎng)網(wǎng)關(guān)通常用于物聯(lián)網(wǎng)與互聯(lián)網(wǎng)之間的協(xié)議轉(zhuǎn)換。在10萬臺網(wǎng)關(guān)和10萬App用戶場景下，每秒鐘網(wǎng)關(guān)上報(bào)1167次狀態(tài)更新，每秒鐘觸發(fā)3333次聯(lián)動。在10萬網(wǎng)關(guān)情況下，一年就有36T的數(shù)據(jù)，數(shù)據(jù)量非常龐大，并且隨著業(yè)務(wù)的發(fā)展，還在不斷壯大，數(shù)據(jù)處理量非常大?，F(xiàn)有的數(shù)據(jù)存儲系統(tǒng)不支持?jǐn)?shù)據(jù)的水平擴(kuò)展，不支持?jǐn)?shù)據(jù)處理的水平擴(kuò)展，處理能力非常有限，處理速度慢。

【發(fā)明內(nèi)容】

[0004]針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種基于物聯(lián)網(wǎng)的海量存儲系統(tǒng)及存儲方法。
[0005]本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的:
[0006]本發(fā)明提供一種基于物聯(lián)網(wǎng)的海量存儲系統(tǒng)，其包括:多個高速緩存節(jié)點(diǎn)，用于存儲熱點(diǎn)數(shù)據(jù)；
[0007]多個數(shù)據(jù)庫節(jié)點(diǎn)，每個所述數(shù)據(jù)庫節(jié)點(diǎn)包括一個主服務(wù)器和多個備服務(wù)器，用于存儲溫和數(shù)據(jù)；
[0008]分布式文件系統(tǒng)，用于存儲冷數(shù)據(jù)。
[0009]較佳地，所述高速緩存節(jié)點(diǎn)為Redis節(jié)點(diǎn)。
[0010]較佳地，所述數(shù)據(jù)庫節(jié)點(diǎn)為MySQL節(jié)點(diǎn)。
[0011]較佳地，所述分布式計(jì)算節(jié)點(diǎn)為HDinsight節(jié)點(diǎn)。
[0012]本發(fā)明還提供一種基于物聯(lián)網(wǎng)的海量存儲方法，其包括以下流程:
[0013]Fll:熱點(diǎn)數(shù)據(jù)存儲于高速緩存節(jié)點(diǎn)中；
[0014]F12:溫和數(shù)據(jù)通過網(wǎng)關(guān)Id進(jìn)行水平切分，分別存儲于每個數(shù)據(jù)庫節(jié)點(diǎn)中的一個主服務(wù)器和多個備服務(wù)器中；
[0015]F13:冷數(shù)據(jù)存儲于分布式文件系統(tǒng)中；
[0016]上述流程不分先后順序，也可以同時進(jìn)行。
[0017]較佳地，所述流程FlI具體為:熱點(diǎn)數(shù)據(jù)通過一致性hash算法存儲于Redis節(jié)點(diǎn)。
[0018]較佳地，所述流程F12具體為:溫和數(shù)據(jù)通過網(wǎng)關(guān)Id進(jìn)行水平切分，和網(wǎng)關(guān)相關(guān)的設(shè)備也按照網(wǎng)關(guān)Id水平切分，用戶和App不進(jìn)行切分，在每個數(shù)據(jù)庫節(jié)點(diǎn)中的一個主服務(wù)器和多個備服務(wù)器中分別存儲一份。
[0019]較佳地，所述流程F12還包括:數(shù)據(jù)庫節(jié)點(diǎn)按照每預(yù)定時間進(jìn)行分區(qū)存放。
[0020]較佳地，所述流程F13具體為:冷數(shù)據(jù)通過HDinsight實(shí)現(xiàn)MapReduce算法，存儲于 Azure 的 blockblob 里。
[0021]相較于現(xiàn)有技術(shù)，本發(fā)明具有以下優(yōu)點(diǎn):
[0022]本發(fā)明提供的基于物聯(lián)網(wǎng)的海量存儲系統(tǒng)存儲方法，結(jié)合Redis高速緩存，Mysql數(shù)據(jù)庫水平切分，以及HDinsight實(shí)現(xiàn)分布式計(jì)算，從而解決物聯(lián)網(wǎng)的海量存儲問題；
[0023](I) ,Redis高速緩存節(jié)點(diǎn)可以不停機(jī)線性擴(kuò)展，新增或減少節(jié)點(diǎn)，不影響已經(jīng)緩存的數(shù)據(jù)；
[0024](2)、由于流水?dāng)?shù)據(jù)都和網(wǎng)關(guān)相關(guān)，既保證了切分的有效性，也實(shí)現(xiàn)了切分的簡單性；
[0025]3)、冷數(shù)據(jù)分布式統(tǒng)計(jì)算法和實(shí)時系統(tǒng)分開，從而保障實(shí)時系統(tǒng)性能。
[0026]當(dāng)然，實(shí)施本發(fā)明的任一產(chǎn)品并不一定需要同時達(dá)到以上所述的所有優(yōu)點(diǎn)。
【附圖說明】
[0027]下面結(jié)合附圖對本發(fā)明的實(shí)施方式作進(jìn)一步說明:
[0028]圖1為本發(fā)明的Redis節(jié)點(diǎn)的架構(gòu)圖；
[0029]圖2為本發(fā)明的數(shù)據(jù)庫節(jié)點(diǎn)的架構(gòu)圖；
[0030]圖3為本發(fā)明的分布式統(tǒng)計(jì)算法的流程圖。
[0031]符號說明:
[0032]1-Redis節(jié)點(diǎn)，2-數(shù)據(jù)庫節(jié)點(diǎn)；
[0033]11-第一 Redis 節(jié)點(diǎn)，12-第二 Redis 節(jié)點(diǎn)；
[0034]21-第一數(shù)據(jù)庫節(jié)點(diǎn)，22-第二數(shù)據(jù)庫節(jié)點(diǎn)，23-第三數(shù)據(jù)庫節(jié)點(diǎn)；
[0035]111-第一主 Redis 節(jié)點(diǎn)，112-第一備 Redis 節(jié)點(diǎn)，121-第二主 Redis 節(jié)點(diǎn)，122-第二備Redis節(jié)點(diǎn)；
[0036]211-第一主服務(wù)器，212-第一備服務(wù)器，221-第二主服務(wù)器，222-第二備服務(wù)器，231-第三主服務(wù)器，232-第三備服務(wù)器。
【具體實(shí)施方式】
[0037]下面對本發(fā)明的實(shí)施例作詳細(xì)說明，本實(shí)施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施例。
[0038]實(shí)施例1:
[0039]結(jié)合圖1-圖2，本實(shí)施例詳細(xì)描述本發(fā)明的基于物聯(lián)網(wǎng)的海量存儲系統(tǒng)，其包括:多個Redis節(jié)點(diǎn)，每個Redis節(jié)點(diǎn)實(shí)現(xiàn)主機(jī)存儲key-value，用于熱點(diǎn)數(shù)據(jù)存儲；客戶端通過一致性hash算法，把緩存數(shù)據(jù)分布到不同的節(jié)點(diǎn)上，并保證新增或減少節(jié)點(diǎn)，不影響已經(jīng)緩存的數(shù)據(jù)。當(dāng)主機(jī)宕機(jī)時，備機(jī)自動起來，其結(jié)構(gòu)如圖1所示，此處以兩個Redis節(jié)點(diǎn)I為例，分別為第一 Redis節(jié)點(diǎn)11和第二 Redis節(jié)點(diǎn)12，其中:第一 Redis節(jié)點(diǎn)11包括第一 Redis主節(jié)點(diǎn)111和第一 Redis備節(jié)點(diǎn)112 ;第二 Redis節(jié)點(diǎn)12包括第二 Redis主節(jié)點(diǎn)121和第二 Redis備節(jié)點(diǎn)122。APP對key做一致性hash算法，定位到具體的Redis節(jié)點(diǎn)，然后就可以存儲數(shù)據(jù)。同時Redis主節(jié)點(diǎn)會同步一份數(shù)據(jù)到備節(jié)點(diǎn)。
[0040]多個數(shù)據(jù)庫節(jié)點(diǎn)2，每個數(shù)據(jù)庫節(jié)點(diǎn)包括一個主服務(wù)器和多個備服務(wù)器，用于存儲溫和數(shù)據(jù)；所有的流水?dāng)?shù)據(jù)都是和網(wǎng)關(guān)相關(guān)的，所以按照網(wǎng)關(guān)ID對所有的流水?dāng)?shù)據(jù)進(jìn)行切分，其他元數(shù)據(jù)，保證每個數(shù)據(jù)庫都有一份，極大的減少查詢聚合的復(fù)雜性；主服務(wù)器和備服務(wù)器之間即解決的單點(diǎn)問題，讀數(shù)據(jù)從備服務(wù)器讀，其結(jié)構(gòu)如圖2所示，此處以三個數(shù)據(jù)庫節(jié)點(diǎn)2為例，分別為第一數(shù)據(jù)庫節(jié)點(diǎn)21、第二數(shù)據(jù)庫節(jié)點(diǎn)22和第三數(shù)據(jù)庫節(jié)點(diǎn)，第一數(shù)據(jù)庫節(jié)點(diǎn)21包括一第一主服務(wù)器211和三個第一備服務(wù)器212，第二數(shù)據(jù)庫節(jié)點(diǎn)22包括一第二主服務(wù)器221和三個第二備服務(wù)器222，第三數(shù)據(jù)庫節(jié)點(diǎn)23包括一第三主服務(wù)器231和三個第三備服務(wù)器232。APP根據(jù)網(wǎng)關(guān)ID，Hash到具體某一節(jié)點(diǎn)數(shù)據(jù)庫。節(jié)點(diǎn)內(nèi)的主備數(shù)據(jù)庫通過數(shù)據(jù)庫自己的備份方案實(shí)現(xiàn)數(shù)據(jù)同步，數(shù)據(jù)查詢和一些聚合運(yùn)算通過開源工具“變形蟲”實(shí)現(xiàn)。
[0041]分布式文件系統(tǒng)，用于存儲冷數(shù)據(jù)；通過HDinsight實(shí)現(xiàn)MapReduce算法。
[0042]實(shí)施例2:
[0043]結(jié)合圖1-圖3的存儲方案，本實(shí)施例詳細(xì)描述本發(fā)明的基于物聯(lián)網(wǎng)的海量存儲方法，其包括以下流程:
[0044]Fll:熱點(diǎn)數(shù)據(jù)存儲于高速緩存節(jié)點(diǎn)中。
[0045]F12:溫和數(shù)據(jù)通過網(wǎng)關(guān)Id進(jìn)行水平切分，分別存儲于每個數(shù)據(jù)庫節(jié)點(diǎn)中的一個主服務(wù)器和多個備服務(wù)器中；
[0046]F13:冷數(shù)據(jù)存儲于分布式文件系統(tǒng)中；
[0047]上述流程不分先后順序，也可以同時進(jìn)行。
[0048]其中:
[0049]Fll:緩存每個設(shè)備的最新狀態(tài)，緩存每個設(shè)備用戶的元數(shù)據(jù)；
[0050]F12:連接主服務(wù)器讀取二進(jìn)制日志，提取發(fā)生在所述主服務(wù)器上的行插入事件、解碼事件，提取數(shù)據(jù)，并將其追加到分布式文件系統(tǒng)中的一個文本文件中；
[0051]F13:把前一段時間內(nèi)的數(shù)據(jù)分配到不同的作業(yè)點(diǎn)，按產(chǎn)品需求進(jìn)行不同的MapReduce計(jì)算，得到輸出結(jié)果，包括:設(shè)備運(yùn)行時段分析、用戶使用設(shè)備分析等大數(shù)據(jù)。
[0052]以上對本發(fā)明的具體實(shí)施例進(jìn)行了描述。需要理解的是，本發(fā)明并不局限于上述特定實(shí)施方式，本領(lǐng)域技術(shù)人員可以在權(quán)利要求的范圍內(nèi)做出各種變形或修改，這并不影響本發(fā)明的實(shí)質(zhì)內(nèi)容。
【主權(quán)項(xiàng)】
1.一種基于物聯(lián)網(wǎng)的海量存儲系統(tǒng)，其特征在于，包括:多個高速緩存節(jié)點(diǎn)，用于存儲熱點(diǎn)數(shù)據(jù)； 多個數(shù)據(jù)庫節(jié)點(diǎn)，每個所述數(shù)據(jù)庫節(jié)點(diǎn)包括一個主服務(wù)器和多個備服務(wù)器，用于存儲溫和數(shù)據(jù)； 分布式文件系統(tǒng)，用于存儲冷數(shù)據(jù)。2.根據(jù)權(quán)利要求1所述的海量存儲系統(tǒng)，其特征在于，所述高速緩存節(jié)點(diǎn)為Redis節(jié)點(diǎn)。3.根據(jù)權(quán)利要求1所述的海量存儲系統(tǒng)，其特征在于，所述數(shù)據(jù)庫節(jié)點(diǎn)為MySQL節(jié)點(diǎn)。4.根據(jù)權(quán)利要求1所述的海量存儲系統(tǒng)，其特征在于，所述分布式文件系統(tǒng)為AzureBlock Blob05.一種基于物聯(lián)網(wǎng)的海量存儲方法，其特征在于，包括以下流程: Fll:熱點(diǎn)數(shù)據(jù)存儲于高速緩存節(jié)點(diǎn)中； F12:溫和數(shù)據(jù)通過網(wǎng)關(guān)Id進(jìn)行水平切分，分別存儲于每個數(shù)據(jù)庫節(jié)點(diǎn)中的一個主服務(wù)器和多個備服務(wù)器中； F13:冷數(shù)據(jù)存儲于分布式文件系統(tǒng)中； 上述流程不分先后順序，也可以同時進(jìn)行。6.根據(jù)權(quán)利要求5所述的海量存儲方法，其特征在于，所述流程Fll具體為:熱點(diǎn)數(shù)據(jù)通過一致性hash算法存儲于Redis節(jié)點(diǎn)。7.根據(jù)權(quán)利要求5所述的海量存儲方法，其特征在于，所述流程F12具體為:溫和數(shù)據(jù)通過網(wǎng)關(guān)Id進(jìn)行水平切分，和網(wǎng)關(guān)相關(guān)的設(shè)備也按照網(wǎng)關(guān)Id水平切分，用戶和App不進(jìn)行切分，在每個數(shù)據(jù)庫節(jié)點(diǎn)中的一個主服務(wù)器和多個備服務(wù)器中分別存儲一份。8.根據(jù)權(quán)利要求7所述的海量存儲方法，其特征在于，所述流程F12還包括:數(shù)據(jù)庫節(jié)點(diǎn)按照每預(yù)定時間進(jìn)行分區(qū)存放。9.根據(jù)權(quán)利要求5所述的海量存儲方法，其特征在于，所述流程F13具體為:冷數(shù)據(jù)通過 HDinsight 實(shí)現(xiàn) MapReduce 算法，存儲于 Azure 的 blockblob 里。
【專利摘要】本發(fā)明提供了一種基于物聯(lián)網(wǎng)的海量存儲系統(tǒng)及存儲方法，該系統(tǒng)包括：多個高速緩存節(jié)點(diǎn)，用于存儲熱點(diǎn)數(shù)據(jù)；多個數(shù)據(jù)庫節(jié)點(diǎn)，每個所述數(shù)據(jù)庫節(jié)點(diǎn)包括一個主服務(wù)器和多個備服務(wù)器，用于存儲溫和數(shù)據(jù)；分布式文件系統(tǒng)，用于存儲冷數(shù)據(jù)。該方法包括：熱點(diǎn)數(shù)據(jù)存儲于高速緩存節(jié)點(diǎn)中；溫和數(shù)據(jù)通過網(wǎng)關(guān)Id進(jìn)行水平切分，分別存儲于每個數(shù)據(jù)庫節(jié)點(diǎn)中的一個主服務(wù)器和多個備服務(wù)器中；冷數(shù)據(jù)存儲于分布式文件系統(tǒng)中；上述流程不分先后順序，也可以同時進(jìn)行。本發(fā)明的海量存儲系統(tǒng)及方法支持海量數(shù)據(jù)的水平擴(kuò)展，且支持?jǐn)?shù)據(jù)處理的水平擴(kuò)展，存儲及處理速度非?？?。
【IPC分類】G06F17/30
【公開號】CN105138673
【申請?zhí)枴緾N201510566048
【發(fā)明人】馬延文
【申請人】浙江風(fēng)向標(biāo)科技有限公司
【公開日】2015年12月9日
【申請日】2015年9月8日