一種數據統(tǒng)計方法及系統(tǒng)的制作方法
【技術領域】
[0001] 本發(fā)明設及大數據處理技術領域，特別設及一種數據統(tǒng)計方法及系統(tǒng)。
【背景技術】
[0002] 目前，分布式集群已經成為國內外云計算研究的熱點。分布式集群具有良好的讀 寫能力，能夠支持大數據量的表格，且適用于簡單業(yè)務、數據量巨大的在線數據庫及數據倉 庫。由于分布式集群不適合作業(yè)務數據庫，一般業(yè)務數據庫往往由關系型數據庫來擔任，分 布式集群負責匯集各個關系型數據庫中的數據。對于分布式集群運樣的大數據平臺，數據 量的情況是一項重要指標。
[0003] 現有技術中，可W通過MapReduce程序，遍歷大數據平臺中存儲的所有數據，并利 用時間戳字段對遍歷到的滿足該時間戳字段的數據進行統(tǒng)計，W實現對數據量或數據總量 的統(tǒng)計。
[0004] 然而，對于大數據平臺中存儲的數據量非常大，表格的數量也非常多，因此，統(tǒng)計 效率較低，且需要耗費大量的計算、網絡資源。
【發(fā)明內容】
[0005] 有鑒于此，本發(fā)明提供一種數據統(tǒng)計方法及系統(tǒng)，W實現對大數據平臺中數據量 的統(tǒng)計。
[0006] 第一方面，本發(fā)明提供了一種數據統(tǒng)計方法，預先創(chuàng)建數據抽取記錄表，W及預先 設置目標條件，包括：
[0007] 監(jiān)測與大數據平臺相連接的至少一個關系型數據庫；
[000引在滿足所述目標條件時，將具有增量數據的關系型數據庫中的增量數據抽取到大 數據平臺中；
[0009] 更新所述數據抽取記錄表；
[0010] 在獲取到統(tǒng)計指令時，根據所述數據抽取記錄表響應所述統(tǒng)計指令。
[0011] 優(yōu)選地，所述滿足所述目標條件，包括:到達設定時間段，和/或，所述至少一個關 系型數據庫中任意一個或多個關系型數據庫中具有目標數據量的增量數據。
[0012]優(yōu)選地，所述數據抽取記錄表包括：rowkey項W及該rowkey項對應的數據量；其 中，所述rowkey項包括：{表名字}、{表名字}間隔符{時間}、{時間}間隔符{表名字忡的任 意一項或多項。
[0013] 優(yōu)選地，所述根據所述數據抽取記錄表響應所述統(tǒng)計指令，包括:根據所述數據抽 取記錄表中的rowkey項，統(tǒng)計至少一個表名字的數據量、至少一個表名字在第一時間段內 的數據量、在第二時間段內至少一個表名字的數據量，W實現對所述統(tǒng)計指令的響應。
[0014] 優(yōu)選地，執(zhí)行所述將目標關系型數據庫中的增量數據抽取到大數據平臺中的工具 包括:Sqoop工具、Kettle工具、Flume工具或Qiuwa工具。
[0015] 第二方面，本發(fā)明還提供了一種數據統(tǒng)計系統(tǒng)，包括：
[0016] 創(chuàng)建單元，用于創(chuàng)建數據抽取記錄表，并將所述數據抽取記錄表發(fā)送給更新單元；
[0017] 存儲單元，用于存儲目標條件，并將所述目標條件發(fā)送給抽取工具；
[0018] 監(jiān)測單元，用于監(jiān)測與大數據平臺相連接的至少一個關系型數據庫，并將監(jiān)測信 息發(fā)送給所述抽取工具；
[0019] 所述抽取工具，用于在滿足所述目標條件時，將具有增量數據的關系型數據庫中 的增量數據抽取到大數據平臺中，并將抽取信息發(fā)送給所述更新單元；
[0020] 所述更新單元，用于更新所述數據抽取記錄表，并將更新后的所述數據抽取記錄 表發(fā)送給響應單元；
[0021 ]所述響應單元，用于在獲取到統(tǒng)計指令時，根據所述數據抽取記錄表響應所述統(tǒng) 計指令。
[0022] 優(yōu)選地，所述滿足所述目標條件，包括:到達設定時間段，和/或，所述至少一個關 系型數據庫中任意一個或多個關系型數據庫中具有目標數據量的增量數據。
[0023] 優(yōu)選地，所述數據抽取記錄表包括jowk巧項W及該rowkey項對應的數據量；其 中，所述rowkey項包括：{表名字}、{表名字}間隔符{時間}、{時間}間隔符{表名字忡的任 意一項或多項。
[0024] 優(yōu)選地，所述響應單元，具體用于根據所述數據抽取記錄表中的rowkey項，統(tǒng)計至 少一個表名字的數據量、至少一個表名字在第一時間段內的數據量、在第二時間段內至少 一個表名字的數據量，W實現對所述統(tǒng)計指令的響應。
[00巧]優(yōu)選地，所述抽取工具包括:Sqoop工具、Kettle工具、F1皿e工具或化uwa工具。
[0026] 本發(fā)明實施例提供了一種數據統(tǒng)計方法及系統(tǒng)，在將關系型數據庫中的數據抽取 到大數據平臺之后，對數據抽取記錄表進行更新，在對大數據平臺中的數據進行統(tǒng)計時，可 W利用該數據抽取記錄表進行響應，無需對大數據平臺中所有數據進行遍歷，從而可W提 高統(tǒng)計效率，節(jié)省了大量的計算、網絡資源。
【附圖說明】
[0027] 圖1是本發(fā)明實施例提供的方法流程圖；
[0028] 圖2是本發(fā)明實施例提供的另一方法流程圖；
[0029] 圖3是本發(fā)明實施例提供的數據統(tǒng)計系統(tǒng)硬件架構圖；
[0030] 圖4是本發(fā)明實施例提供的數據統(tǒng)計系統(tǒng)結構示意圖。
【具體實施方式】
[0031] 下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完 整地描述。顯然，所描述的實施例僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本 發(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實 施例，都屬于本發(fā)明保護的范圍。
[0032] 如圖1所示，本發(fā)明實施例提供了一種數據統(tǒng)計方法，該方法可W包括W下步驟：
[0033] 步驟101:預先創(chuàng)建數據抽取記錄表，W及預先設置目標條件。
[0034] 步驟102:監(jiān)測與大數據平臺相連接的至少一個關系型數據庫。
[0035] 步驟103:在滿足所述目標條件時，將具有增量數據的關系型數據庫中的增量數據 抽取到大數據平臺中。
[0036] 步驟104:更新所述數據抽取記錄表。
[0037] 步驟105:在獲取到統(tǒng)計指令時，根據所述數據抽取記錄表響應所述統(tǒng)計指令。
[0038] 根據本方案，在將關系型數據庫中的數據抽取到大數據平臺之后，對數據抽取記 錄表進行更新，在對大數據平臺中的數據進行統(tǒng)計時，可W利用該數據抽取記錄表進行響 應，無需對大數據平臺中所有數據進行遍歷，從而可W提高統(tǒng)計效率，節(jié)省了大量的計算、 網絡資源。
[0039] 在本發(fā)明一個優(yōu)選實施例中，由于各個關系型數據庫幾乎每天都會產生增量數 據，且需要將產生的增量數據抽取到大數據平臺中，可W通過如下目標條件，來啟動該抽取 操作，到達設定時間段，和/或，所述至少一個關系型數據庫中任意一個或多個關系型數據 庫中具有增量數據。
[0040] 在本發(fā)明一個優(yōu)選實施例中，為了能夠利用該數據抽取記錄表來實現對大數據平 臺中數據量的統(tǒng)計，需要對數據抽取記錄表中所記錄的信息進行設計，由于大數據平臺是 皿ase數據庫，因此對于大數據平臺中該數據抽取記錄表的設計可W包括:rowk巧項W及該 rowkey項對應的數據量。其中，對于rowkey(行主鍵）的設計可W包括：{表名字}、{表名字} 間隔符附間}、{時間}間隔符{表名字忡的任意一項或多項。
[0041] 為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚，下面結合附圖及具體實施例對本 發(fā)明作進一步地詳細描述。
[0042] 如圖2所示，本發(fā)明實施例提供了一種數據統(tǒng)計方法，該方法可W包括W下步驟：
[0043] 步驟201:確定數據抽取工具。
[0044] 由于數據量的不斷增長，傳統(tǒng)的關系型數據庫(例如mysql、oracle等）已經不能夠 支撐龐大的統(tǒng)計分析工作，因此，大數據平臺（例如化ase)應運而生，但是大數據平臺也有 其局限性，不能很好的支持在線事務。傳統(tǒng)的關系型數據庫支撐