一種將數(shù)據(jù)錄入數(shù)據(jù)庫(kù)的方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及通信技術(shù)領(lǐng)域，尤其涉及一種將數(shù)據(jù)錄入數(shù)據(jù)庫(kù)的方法及裝置。
【背景技術(shù)】
[0002] 現(xiàn)有的詳單查詢(xún)系統(tǒng)采用傳統(tǒng)的小型機(jī)+陣列的實(shí)現(xiàn)方式，通過(guò)兩臺(tái)主機(jī)處理不 同號(hào)段的詳單處理、查詢(xún)服務(wù)，以減小單臺(tái)主機(jī)的處理壓力，并且通過(guò)完全公平調(diào)度程序 (Completely Fair Scheduler, CFS)軟件提供不同主機(jī)共享文件系統(tǒng)，以解決查詢(xún)?cè)攩螖?shù) 據(jù)的統(tǒng)一管理，具體來(lái)說(shuō)：系統(tǒng)通過(guò)索引+查詢(xún)來(lái)實(shí)現(xiàn)整體的查詢(xún)功能。為滿(mǎn)足數(shù)據(jù)查詢(xún)的 高速和并發(fā)要求，現(xiàn)有系統(tǒng)索引以文件形式存儲(chǔ)管理，同時(shí)為保證查詢(xún)時(shí)文件及文件內(nèi)容 的快速定位，為文件及文件內(nèi)容創(chuàng)建二級(jí)索引，一級(jí)索引對(duì)文件提供快速速定位，二級(jí)索引 對(duì)文件內(nèi)容提供快速的定位。
[0003] 但是，現(xiàn)有詳單查詢(xún)模式在系統(tǒng)擴(kuò)展上存在有如下缺點(diǎn)：擴(kuò)容復(fù)雜，并且需要長(zhǎng)時(shí) 間停止查詢(xún)服務(wù)；服務(wù)器、存儲(chǔ)等價(jià)格昂貴；沒(méi)有完備的容災(zāi)方案。
[0004] 以上的幾個(gè)缺點(diǎn)也是集中式系統(tǒng)架構(gòu)普遍存在的缺點(diǎn)，而采用分布式系統(tǒng)相比有 明顯的幾個(gè)優(yōu)點(diǎn)：分布式計(jì)算，充分利用計(jì)算機(jī)資源；分布式部署，數(shù)據(jù)容災(zāi)；多服務(wù)器響 應(yīng)，處理速度快；采用刀片設(shè)備替換小型機(jī)+存儲(chǔ)架構(gòu)，節(jié)約投資成本。
[0005] 傳統(tǒng)的分布式系統(tǒng)涉及到兩個(gè)分布式架構(gòu)，分別為分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS)和分布式數(shù)據(jù)庫(kù)（Hadoop database，HBASE)。
[0006] HDFS是分布式系統(tǒng)基礎(chǔ)架構(gòu)（Hadoop)的組成部分，以流式數(shù)據(jù)訪(fǎng)問(wèn)模式來(lái)存儲(chǔ) 千兆字節(jié)（Gigabyte, GB)到太字節(jié)（Terabyte, TB)級(jí)的超大文件，可以運(yùn)行于X86集群中， 擁有高容錯(cuò)性和高吞吐量的特點(diǎn)，HDFS中每份數(shù)據(jù)存儲(chǔ)擁有兩個(gè)備份，并動(dòng)態(tài)對(duì)數(shù)據(jù)備份 進(jìn)行優(yōu)化調(diào)整，這樣可以避免硬件故障帶來(lái)的存儲(chǔ)丟失。HDFS中的名字節(jié)點(diǎn)（NameNode)和 數(shù)據(jù)節(jié)點(diǎn)（DataNode)以一主多從的方式對(duì)集群進(jìn)行管理。當(dāng)系統(tǒng)需要擴(kuò)容時(shí)，無(wú)需停止文 件系統(tǒng)，只需增加機(jī)器，安裝并啟動(dòng)DataNode節(jié)點(diǎn)，DataNode節(jié)點(diǎn)發(fā)送新地址給NameNode, 當(dāng)NameNode發(fā)現(xiàn)新的DataNode后，即可更新集群存儲(chǔ)容量，完成對(duì)系統(tǒng)的擴(kuò)容。
[0007] HBASE是基于分布式文件系統(tǒng)HDFS的，其利用低成本的硬件提供高性能的數(shù)據(jù)加 載、索引和查詢(xún)能力，用于海量、多樣（結(jié)構(gòu)化、非結(jié)構(gòu)化）、實(shí)時(shí)的大數(shù)據(jù)存取場(chǎng)景。分布式 數(shù)據(jù)庫(kù)中數(shù)據(jù)存儲(chǔ)在最底層的分布式文件系統(tǒng)中。
[0008] 分布式數(shù)據(jù)庫(kù)也是一主多從的結(jié)構(gòu)，當(dāng)客戶(hù)端發(fā)起數(shù)據(jù)庫(kù)查詢(xún)后，主服務(wù)器會(huì)通 知客戶(hù)端，它需要的數(shù)據(jù)在哪個(gè)從服務(wù)器中，然后客戶(hù)端直接連接到從服務(wù)器。從服務(wù)器在 它所管理的各個(gè)數(shù)據(jù)分區(qū)中，準(zhǔn)確定位客戶(hù)端查詢(xún)的數(shù)據(jù)是在哪個(gè)數(shù)據(jù)文件中，然后將讀 取到的數(shù)據(jù)返回給客戶(hù)端。數(shù)據(jù)文件中存儲(chǔ)的是鍵值對(duì)類(lèi)型的數(shù)據(jù)。
[0009] 數(shù)據(jù)文件的存儲(chǔ)結(jié)構(gòu)如圖1所示，包括：KEY的值、值長(zhǎng)度、索引長(zhǎng)度、索引值、列簇 長(zhǎng)度、列簇名、列名、時(shí)間戳、KEY類(lèi)型、列的值和列的版本。對(duì)于數(shù)據(jù)庫(kù)中任一單元格，按照 HBASE的存儲(chǔ)結(jié)構(gòu)，其占用的空間序列如表1所7K :
[0010]
[0012] 表 1
[0013] 現(xiàn)對(duì)數(shù)據(jù)庫(kù)中每個(gè)單元格采用HBASE的存儲(chǔ)結(jié)構(gòu)存儲(chǔ)時(shí)占用的存儲(chǔ)空間進(jìn)行分 析：
[0014] 任一單兀格占用存儲(chǔ)的大小為：凝|=4.；3+冗^(guò)1瑪
[0015] 由兩部分組成，其中%為可變因素，包括列簇名Co lumn Fami 1 y，列名 Column Qualifier 和列的值 Value。
[0016] 先假設(shè)Column Family設(shè)置為2個(gè)字節(jié)，列名設(shè)置為6個(gè)字節(jié)（例如：以YYYYMMDD 作為列名），存儲(chǔ)大小的計(jì)算公式變?yōu)閊5-=43+2+6+^3=：51 +-^3 〇
[0017] 這樣多條詳單數(shù)據(jù)所占存儲(chǔ)的公式：詳單數(shù)據(jù)數(shù)量*每個(gè)詳單數(shù)據(jù)錄入數(shù)據(jù)庫(kù)占 用的單元格數(shù)*(51+B 3)，其中，B3為詳單數(shù)據(jù)中每個(gè)字段的字節(jié)數(shù)。
[0018] HBASE有一個(gè)特性，當(dāng)某個(gè)單元格值為空時(shí)，不占用任何存儲(chǔ)空間，而傳統(tǒng)數(shù)據(jù)庫(kù) 一般的單元格是定長(zhǎng)的，不論單元格是否為空都需要占用存儲(chǔ)空間。因此，HBASE對(duì)于稀疏 數(shù)據(jù)而言，數(shù)據(jù)庫(kù)中數(shù)據(jù)占用的存儲(chǔ)空間不會(huì)比原始數(shù)據(jù)大很多。對(duì)于詳單數(shù)據(jù)而言，詳單 的每個(gè)字段幾乎都不為空，難以利用HBASE處理稀疏數(shù)據(jù)的優(yōu)點(diǎn)。
[0019] 另外，現(xiàn)有技術(shù)中在將詳單數(shù)據(jù)錄入數(shù)據(jù)庫(kù)時(shí)，詳單數(shù)據(jù)的每個(gè)字段均占用數(shù)據(jù) 庫(kù)中的一個(gè)單元格，如此一來(lái)，在采用HBASE存儲(chǔ)結(jié)構(gòu)存儲(chǔ)每個(gè)單元格的數(shù)據(jù)時(shí)，數(shù)據(jù)庫(kù)中 每個(gè)單元格的數(shù)據(jù)均需要占用51+83字節(jié)的存儲(chǔ)空間，存儲(chǔ)詳單數(shù)據(jù)占用的存儲(chǔ)空間將遠(yuǎn) 大于原始詳單數(shù)據(jù)所需存儲(chǔ)空間。
[0020] 綜上所述，現(xiàn)有技術(shù)中將詳單數(shù)據(jù)錄入數(shù)據(jù)庫(kù)時(shí)，詳單數(shù)據(jù)的每個(gè)字段均占用數(shù) 據(jù)庫(kù)中的一個(gè)單元格，當(dāng)采用HBASE的方式對(duì)數(shù)據(jù)庫(kù)中每一單元格的數(shù)據(jù)進(jìn)行存儲(chǔ)時(shí)，存 儲(chǔ)詳單數(shù)據(jù)占用的存儲(chǔ)空間遠(yuǎn)大于原始詳單數(shù)據(jù)所需存儲(chǔ)空間。

【發(fā)明內(nèi)容】

[0021] 本發(fā)明實(shí)施例提供了一種將數(shù)據(jù)錄入數(shù)據(jù)庫(kù)的方法及裝置，在將詳單數(shù)據(jù)錄入到 數(shù)據(jù)庫(kù)時(shí)，將詳單數(shù)據(jù)中的多個(gè)字段錄入到數(shù)據(jù)庫(kù)的一個(gè)單元格中，減小了詳單數(shù)據(jù)在數(shù) 據(jù)庫(kù)中所占的單元格數(shù)量，從而使得在采用分布式數(shù)據(jù)庫(kù)方式存儲(chǔ)數(shù)據(jù)庫(kù)中每個(gè)單元格的 數(shù)據(jù)時(shí)，減小了存儲(chǔ)詳單數(shù)據(jù)占用的存儲(chǔ)空間，節(jié)省存儲(chǔ)成本。
[0022] 本發(fā)明實(shí)施例提供的一種將數(shù)據(jù)錄入數(shù)據(jù)庫(kù)的方法，包括：獲取用戶(hù)設(shè)備的標(biāo)識(shí) 以及用于描述該用戶(hù)設(shè)備處理事件的詳單數(shù)據(jù)，該詳單數(shù)據(jù)包括多個(gè)用于描述事件信息的 字段；將所述用戶(hù)設(shè)備的標(biāo)識(shí)與所述詳單數(shù)據(jù)的對(duì)應(yīng)關(guān)系錄入數(shù)據(jù)庫(kù)中，其中，將所述詳單 數(shù)據(jù)中的多個(gè)字段錄入到該數(shù)據(jù)庫(kù)的一個(gè)單元格中。
[0023] 本發(fā)明實(shí)施例提供的上述方法中，在將詳單數(shù)據(jù)錄入到數(shù)據(jù)庫(kù)時(shí)，通過(guò)將詳單數(shù) 據(jù)中的多個(gè)字段錄入到數(shù)據(jù)庫(kù)的一個(gè)單元格中，與現(xiàn)有技術(shù)中在將詳單數(shù)據(jù)錄入數(shù)據(jù)庫(kù) 時(shí)，詳單數(shù)據(jù)的每個(gè)字段占用一個(gè)單元格相比，減小了詳單數(shù)據(jù)在數(shù)據(jù)庫(kù)中所占的單元格 數(shù)量，從而當(dāng)采用分布式數(shù)據(jù)庫(kù)方式存儲(chǔ)數(shù)據(jù)庫(kù)中每個(gè)單元格的數(shù)據(jù)時(shí)，減小了存儲(chǔ)詳單 數(shù)據(jù)占用的存儲(chǔ)空間，節(jié)省存儲(chǔ)成本。
[0024] 在一種可能的實(shí)施方式中，本發(fā)明實(shí)施例提供的上述方法中，將所述詳單數(shù)據(jù)中 的多個(gè)字段錄入到該數(shù)據(jù)庫(kù)的一個(gè)單元格中，包括：將所述詳單數(shù)據(jù)中的所有字段全部錄 入到所述數(shù)據(jù)庫(kù)的一個(gè)單元格中。
[0025] 在一種可能的實(shí)施方式中，本發(fā)明實(shí)施例提供的上述方法中，所述用戶(hù)設(shè)備的標(biāo) 識(shí)對(duì)應(yīng)N條詳單數(shù)據(jù)，且N為大于1的正整數(shù)。
[0026] 本發(fā)明實(shí)施例提供的上述方法中，在將詳單數(shù)據(jù)錄入數(shù)據(jù)庫(kù)時(shí)，當(dāng)同一用戶(hù)設(shè)備 的標(biāo)識(shí)對(duì)應(yīng)N條詳單數(shù)據(jù)需要錄入數(shù)據(jù)庫(kù)時(shí)，通過(guò)將所述N條詳單數(shù)據(jù)錄入到所述數(shù)據(jù)庫(kù) 的同一個(gè)單元格中，與現(xiàn)有技術(shù)中在將詳單數(shù)據(jù)錄入數(shù)據(jù)庫(kù)時(shí)，詳單數(shù)據(jù)的每個(gè)字段占用 一個(gè)單元格相比，大大減小了詳單數(shù)據(jù)在數(shù)據(jù)庫(kù)中所占的單元格數(shù)量，從而當(dāng)采用分布式 數(shù)據(jù)庫(kù)方式存儲(chǔ)數(shù)據(jù)庫(kù)中每個(gè)單元格的數(shù)據(jù)時(shí)，減小了存儲(chǔ)詳單數(shù)據(jù)占用的存儲(chǔ)空間，節(jié) 省存儲(chǔ)成本。
[0027] 在一種可能的實(shí)施方式中，本發(fā)明實(shí)施例提供的上述方法中，將所述N條詳單數(shù) 據(jù)錄入到所述數(shù)據(jù)庫(kù)的同一個(gè)單元格中，具體包括：以N條詳單數(shù)據(jù)中任一詳單數(shù)據(jù)作為 第一條詳單數(shù)據(jù)，將該第一條詳單數(shù)據(jù)中所有字段的值，以及第n條詳單數(shù)據(jù)中的相關(guān)字 段的索引及對(duì)應(yīng)的值錄入到所述數(shù)據(jù)庫(kù)的同一個(gè)單元格中，n的取值范圍是[2, N-1];其 中，第n條詳單數(shù)據(jù)中的相關(guān)字段的索引及對(duì)應(yīng)的值，包括：特定字段的索引及對(duì)應(yīng)的值， 該特定字段的值與第n-1條詳單數(shù)據(jù)中同一字段的值不同，該特定字段的索引用于指示該 特定字段對(duì)應(yīng)第n-1條詳單數(shù)據(jù)中的同一字段的位置。
[0028] 在一種可能的實(shí)施方式中，本發(fā)明實(shí)施例提供的上述方法中，將所述詳單數(shù)據(jù)中 的多個(gè)字段錄入到該數(shù)據(jù)庫(kù)的一個(gè)單元格中，包括：若所述詳單數(shù)據(jù)中的多個(gè)字段的值占 用的總的存儲(chǔ)空間大于預(yù)設(shè)閾值，則通過(guò)預(yù)設(shè)算法對(duì)所述多個(gè)字段的值進(jìn)行計(jì)算，記錄計(jì) 算得到的值到該數(shù)據(jù)庫(kù)的一個(gè)單元格中。
[0029] 本發(fā)明實(shí)施例提供