專利名稱：一種多維度數(shù)據(jù)查詢和存儲方法及系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及企業(yè)信息化領域，特別是指一種多維度數(shù)據(jù)查詢分析及存儲的方法及系統(tǒng)。
背景技術：
目前，幾乎所有的數(shù)據(jù)查詢工具、模塊、組件或服務都能夠?qū)崿F(xiàn)基本的數(shù)據(jù)查詢，最終的效果也僅僅停留在數(shù)據(jù)匯總與格式化的層面上，只是對一般使用者查看數(shù)據(jù)提供了一定的方便。而對于需要進行數(shù)據(jù)分析的職業(yè)數(shù)據(jù)分析人員或企業(yè)運營分析人員來說，還要將查詢得到數(shù)據(jù)進行二次的加工處理。這不僅僅增加了其工作量，更是帶來更高的工作復雜度，結果便是單次分析工作的周期長，難度大，發(fā)現(xiàn)問題不直接，甚至會出現(xiàn)較高的錯誤率，為企業(yè)發(fā)展所提供的推動力量不能達到預期。多維度，通俗的理解就是多個角度。如果能有一種辦法，讓使用者能夠高效而快速地得到自己真實需要從特定角度的數(shù)據(jù)，那么，對其后續(xù)工作的展開是事半功倍的。數(shù)據(jù)分析人員無需對數(shù)據(jù)進行再次加工處理，便可得到進行分析的基礎數(shù)據(jù)，避免上述提到的種種困難及問題。那么對于整個行業(yè)來講，將大大的提高效率，加快發(fā)展速度。

發(fā)明內(nèi)容
為了解決現(xiàn)有技術中，在數(shù)據(jù)龐大且種類繁多時，對數(shù)據(jù)進行二次加工耗時耗能，且數(shù)據(jù)分析的難度大，數(shù)據(jù)查詢效率低下等問題，本發(fā)明提出了一種多維度的數(shù)據(jù)查詢分析及存儲方法，目的在于提高對多維度數(shù)據(jù)的查詢分析效率，縮短多維度數(shù)據(jù)生成時間。本方法是通過自定義數(shù)據(jù)配置語法，完成多維度數(shù)據(jù)報表模板的配置，實現(xiàn)多維度數(shù)據(jù)報表的生成，用以進行數(shù)據(jù)對比分析。通過本發(fā)明提出的多維度數(shù)據(jù)查詢和存儲方法，可以靈活的配置需要查詢或存儲的各種數(shù)據(jù)，尤其是帶有維度的數(shù)據(jù)，使得效率大大提高。同時，本方法也很好的兼容了沒有維度的數(shù)據(jù)的查詢及存儲。對于配置了計算公式，或者圖形展示的數(shù)據(jù)模板，本發(fā)明提出的方法能夠很好的支持。


圖1是本發(fā)明中多維度數(shù)據(jù)查詢和存儲系統(tǒng)的組成結構圖；圖2是本發(fā)明中數(shù)據(jù)配置的流程圖；圖3是本發(fā)明中數(shù)據(jù)查詢的流程圖；圖4是本發(fā)明中數(shù)據(jù)存儲的流程圖。
具體實施例方式為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚明白，以下結合具體實施例，并參照附圖，對本發(fā)明進一步詳細說明。
I)名詞解釋多維度“維”是一種度量，原意是指空間坐標中的某一條軸。在本文中定義為視角或角度，那么多維度的含義即是多個角度，對數(shù)據(jù)來說就是滿足多個維度條件的數(shù)據(jù)。數(shù)據(jù)源與數(shù)據(jù)庫相關的配置信息，包括查詢數(shù)據(jù)源和存儲數(shù)據(jù)源。查詢數(shù)據(jù)源為從數(shù)據(jù)庫查詢數(shù)據(jù)進行一系列配置得到的數(shù)據(jù)源。存儲數(shù)據(jù)源為存儲數(shù)據(jù)到數(shù)據(jù)庫進行一系列配置得到的數(shù)據(jù)源。數(shù)據(jù)表數(shù)據(jù)源中為查詢或存儲而設定的表。查詢數(shù)據(jù)標識在查詢數(shù)據(jù)源的基礎上，為得到表中某項數(shù)據(jù)而配置的數(shù)據(jù)標識。存儲數(shù)據(jù)標識在存儲數(shù)據(jù)源的基礎上，為表明數(shù)據(jù)要保存到哪個數(shù)據(jù)表而配置的數(shù)據(jù)標識。2)實現(xiàn)方案本發(fā)明提出的多維度數(shù)據(jù)查詢和存儲系統(tǒng)包括配置組件、語法解析組件、業(yè)務組件、數(shù)據(jù)訪問組件以及數(shù)據(jù)持久層(物理存在的數(shù)據(jù)庫)。如圖1所示。本發(fā)明提出的多維度數(shù)據(jù)查詢和存儲方法包括以下步驟步驟1、定義數(shù)據(jù)配置信息，由配置組件完成相應邏輯，如圖1 ;配置過程，如圖2所示，具體包括步驟11、配置數(shù)據(jù)源，包括查詢數(shù)據(jù)源和存儲數(shù)據(jù)源。每一次配置只能針對一個源進行配置，如果需要多個數(shù)據(jù)源，多次配置即可。由定義組件中的數(shù)據(jù)源編輯器完成，如圖1o數(shù)據(jù)源支持Microsoft SqlServer、Oracle以及Access等數(shù)據(jù)庫,配置時可以為數(shù)據(jù)源命名為一個更好理解的名稱，選擇數(shù)據(jù)庫類別，編輯數(shù)據(jù)庫連接字符串，以及查詢數(shù)據(jù)源的查詢語句或存儲數(shù)據(jù)源的數(shù)據(jù)表名稱，可選配置為備注信息，用以說明數(shù)據(jù)源的其他信息。數(shù)據(jù)源的定義方法遵循XML語法，定義的結構如下<數(shù)據(jù)源配置><數(shù)據(jù)源1>〈名稱〉數(shù)據(jù)源名稱〈/名稱〉< 數(shù)據(jù)庫類別 >SqlServer/Oracle/Access〈/ 數(shù)據(jù)庫類別 >〈鏈接字符串>DataSource = IP地址/主機名！Initial Catalog =數(shù)據(jù)庫名；uid =登錄名；password =登錄密碼；〈/鏈接字符串><sql語句 > 數(shù)據(jù)庫中某個表的名稱〈/sql語句><數(shù)據(jù)源類別 > 查詢/存儲〈/數(shù)據(jù)源類別>< 備注 ></ 備注 ><數(shù)據(jù)源1><數(shù)據(jù)源2>〈名稱〉數(shù)據(jù)源名稱〈/名稱〉<數(shù)據(jù)庫類別>SqlServer〈/數(shù)據(jù)庫類別>〈鏈接字符串>DataSource = IP地址/主機名；Initial Catalog =數(shù)據(jù)庫名；uid =登錄名；password =登錄密碼；〈/鏈接字符串>〈sql語句>sql查詢語句〈/sql語句><數(shù)據(jù)源類別 > 查詢〈/數(shù)據(jù)源類別>< 備注 ></ 備注 ><數(shù)據(jù)源2>......<數(shù)據(jù)源n>〈名稱〉數(shù)據(jù)源名稱n〈/名稱〉<數(shù)據(jù)庫類別>SqlServer〈/數(shù)據(jù)庫類別>〈鏈接字符串>Data Source = 192. 168. 40. 169 ；Initial Catalog =能源統(tǒng)計數(shù)據(jù)庫；uid = sa ；password = ；</鏈接字符串>〈sql語句>sql查詢語句〈/sql語句><數(shù)據(jù)源類別 > 查詢〈/數(shù)據(jù)源類別>< 備注 ></ 備注 ><數(shù)據(jù)源n></數(shù)據(jù)源配置>以上為數(shù)據(jù)源的定義語法規(guī)則，使用時根據(jù)實際使用情況可配置多個數(shù)據(jù)源，只要按照該規(guī)則配置即可。各個節(jié)點的標記可以是任何有效符號或符號的組合，但必須要符合XML標記語言的標準。配置查詢數(shù)據(jù)源時，編寫的查詢語句不僅可以帶有查詢條件，而且支持動態(tài)的查詢條件，所使用的方法是將查詢條件的值使用“ H ”括起來，如車間=‘ {車間} ’，那么在執(zhí)行過程中，就會提示使用者，對車間進行動態(tài)的賦值，完成相應的查詢，得到導出數(shù)據(jù)源的數(shù)據(jù)結果集。除動態(tài)賦值部分，查詢語句遵循sql (結構化查詢語言)語法。數(shù)據(jù)源配置舉例I)背景1、選取IP地址為192. 168.1. 100的SqlServer數(shù)據(jù)庫服務器，用戶名和密碼均為sa，數(shù)據(jù)庫名稱為DataBase ;2、將其中數(shù)據(jù)表名稱為SourceTable的表配置為查詢數(shù)據(jù)源，查詢數(shù)據(jù)源名稱為Source ;3、將其中數(shù)據(jù)表名稱為TargetTable的表配置為存儲數(shù)據(jù)源，存儲數(shù)據(jù)源名稱為Target。2)配置結果<數(shù)據(jù)源配置><數(shù)據(jù)源1>〈名稱〉Srouce〈/名稱〉<數(shù)據(jù)庫類別>SqlServer〈/數(shù)據(jù)庫類別>< 鏈接字符串 >Data Source = 192. 168. 40. 100 ;InitialCatalog = DataBase ；uid = sa ；password = sa ；</ 鏈接字符串 >〈sql 語句〉select*from SourceTable〈/sql 語句〉<數(shù)據(jù)源類別 > 查詢〈/數(shù)據(jù)源類別>
< 備注 ></ 備注 >〈/數(shù)據(jù)源 1><數(shù)據(jù)源2>〈名稱〉Srouce〈/名稱〉
<數(shù)據(jù)庫類別>SqlServer〈/數(shù)據(jù)庫類別>< 鏈接字符串 >Data Source = 192. 168. 40. 100 ;InitialCatalog = DataBase ；uid = sa ；password = sa ；</ 鏈接字符串 ><sql 語句 >TargetTable〈/sql 語句 ><數(shù)據(jù)源類別 > 存儲〈/數(shù)據(jù)源類別>< 備注 ></ 備注 ></ 數(shù)據(jù)源 2>〈/數(shù)據(jù)源配置〉以上便是完成后的數(shù)據(jù)源配置信息。可以看出，查詢數(shù)據(jù)源和存儲數(shù)據(jù)源的存儲結構是完全相同的，僅內(nèi)容有區(qū)別1、查詢數(shù)據(jù)源和存儲數(shù)據(jù)源的“〈數(shù)據(jù)源類別 >”標記內(nèi)是不同的，分別對應著查詢和存儲；2、查詢數(shù)據(jù)源的sql語句是符合sql語法的查詢語句，從數(shù)據(jù)表中查詢數(shù)據(jù)，存儲數(shù)據(jù)源的sql語句僅是數(shù)據(jù)表的名稱，表示向這個表中存儲數(shù)據(jù)。步驟12、配置數(shù)據(jù)標識，包括配置數(shù)據(jù)查詢標識和數(shù)據(jù)存儲標識，其由配置組件中的數(shù)據(jù)標識編輯器完成，如圖1。對于本發(fā)明，多維度體現(xiàn)在數(shù)據(jù)標識中，在下面關于數(shù)據(jù)查詢標識和數(shù)據(jù)存儲標識中有具體的說明。完成數(shù)據(jù)源的配置后，就可以進行數(shù)據(jù)標識的配置。數(shù)據(jù)查詢標識表征從查詢數(shù)據(jù)源取出滿足條件的數(shù)據(jù)并展示；數(shù)據(jù)存儲標識表示將數(shù)據(jù)按照何種條件保存到存儲數(shù)據(jù)源對應的數(shù)據(jù)庫表中。本發(fā)明使用自主定義的語法規(guī)則，用來實現(xiàn)數(shù)據(jù)的查詢與存儲。標識語法■數(shù)據(jù)查詢標識查詢起始符.查詢數(shù)據(jù)源名稱.數(shù)據(jù)項名稱.處理方式.條件或維度.標識命名說明標識分為6段第I段查詢起始符表明當前數(shù)據(jù)標識為查詢，即查詢數(shù)據(jù)并展示。第2段查詢數(shù)據(jù)源名稱配置查詢數(shù)據(jù)源時設定的名稱，如有多個時，可選擇一個且僅為一個。第3段數(shù)據(jù)項名稱查詢數(shù)據(jù)源對應的查詢結果集中的某一字段，也就是該數(shù)據(jù)源中，哪一項數(shù)據(jù)希望被展示。第4段處理方式當查詢得到的結果有多個時，對于如何展示，需要選擇以下處理方式■取頭條記錄默認情況，只取第一條記錄
■向下填充從標識所在位置開始向下填充■向右填充從標識所在位置開始向右填充■最大值多結果中的最大值■最小值多結果中的最小值■平均值多結果的平均值■求和多結果數(shù)值的總和■求個數(shù)多結果的記錄條數(shù)第5段條件或維度■條件對多記錄按一定條件篩選數(shù)據(jù)，可設置多個■維度按照維度字段篩選數(shù)據(jù)，可設置多個第6段標識名稱如果有其他位置想要使用與本標識相同的配置，那么無需再次從頭配置，只需要將本標識定義標識名稱，然后在其他使用的位置引用即可。引用語法查詢起始符.標識名稱這種導出標識語法具有很強的靈活性，具體如下I)前三段標識查詢數(shù)據(jù)，處理方式默認為取頭條記錄。即查詢起始符.查詢數(shù)據(jù)源名稱.數(shù)據(jù)項名稱=查詢起始符.查詢數(shù)據(jù)源名稱.數(shù)據(jù)項名稱.取頭條記錄。2)前四段標識查詢數(shù)據(jù)，主要是處理方式不為取頭條記錄的情況，如果設置為取頭條記錄，情況同上述I。3)前五段標識查詢數(shù)據(jù)，主要是針對需要多維度查詢數(shù)據(jù)的情況，可以是自定義編寫的查詢條件，也可以使用某一單元格的值作為過來條件。4)六段標識查詢數(shù)據(jù)，上述情況的基礎上，其他位置需要引用該標識所在單元格的值的情況，這樣可以減少配置標識的工作量，直接取值。數(shù)據(jù)查詢標識配置及查詢結果舉例I)背景結合數(shù)據(jù)源配置舉例的內(nèi)容，從已配置好的查詢數(shù)據(jù)源Source中查詢數(shù)據(jù)，Source對應的表SourceTable的表結構及示例數(shù)據(jù)如下
權利要求
1.一種多維度數(shù)據(jù)查詢及存儲方法，其包括 步驟1、配置多維度數(shù)據(jù)，包括多維度數(shù)據(jù)源的配置和多維度數(shù)據(jù)標識的配置； 步驟2、多維度數(shù)據(jù)查詢和存儲，包括根據(jù)所配置的多維度數(shù)據(jù)源和多維度數(shù)據(jù)標識進行多維度數(shù)據(jù)的查詢和存儲。
2.如權利要求1所述的方法，其特征在于，所述多維度數(shù)據(jù)標識包括數(shù)據(jù)查詢標識和數(shù)據(jù)存儲標識，其中數(shù)據(jù)查詢標識定義為〈查詢起始符.查詢數(shù)據(jù)源名稱.數(shù)據(jù)項名稱.處理方式.條件或維度.標識命名〉；所述數(shù)據(jù)存儲標識定義為〈存儲起始符.目標.數(shù)據(jù)項.維度〉。
3.如權利要求2所述的方法，其特征在于，所述方法還包括根據(jù)查詢或存儲的結果生成報表，并且所述報表包括標準Excel數(shù)據(jù)文件和HTML文件兩種形式。
4.如權利要求1所述的方法，其特征在于，步驟I中多維度數(shù)據(jù)標識的配置包括多維度數(shù)據(jù)查詢標識的配置和多維度數(shù)據(jù)存儲標識的配置；步驟2中，進行多維度數(shù)據(jù)查詢時，根據(jù)所配置的數(shù)據(jù)查詢標識進行數(shù)據(jù)查詢；進行多維度數(shù)據(jù)存儲時，根據(jù)所配置的數(shù)據(jù)存儲標識進行數(shù)據(jù)存儲。
5.如權利要求4所述的方法，其特征在于，步驟2中進行多維度數(shù)據(jù)查詢的具體步驟包括 步驟21、解析多維度數(shù)據(jù)源的配置信息，獲得所配置的多維數(shù)據(jù)源中的查詢數(shù)據(jù)源對象； 步驟22、在所獲得的查詢數(shù)據(jù)源對象中，根據(jù)查詢語句獲得查詢結果，并進行緩存；步驟23、遍歷所配置的多維度數(shù)據(jù)標識，判斷該多維度數(shù)據(jù)標識是否為數(shù)據(jù)查詢標識，如果是，則在所緩存的查詢結果中按照所述數(shù)據(jù)查詢標識配置的維度進行篩選，以獲得相應于所述數(shù)據(jù)查詢標識的最終查詢結果； 步驟24、判斷是否還有未遍歷的多維度數(shù)據(jù)標識，如果有則重復步驟23，直到所有多維度數(shù)據(jù)標識遍歷完成。
6.如權利要求1所述的方法，其特征在于，步驟2中進行多維度數(shù)據(jù)存儲的具體步驟包括 步驟25、解析多維度數(shù)據(jù)源的配置信息，獲得所配置的多維數(shù)據(jù)源中的存儲數(shù)據(jù)源對象； 步驟26、遍歷所獲得的多維度數(shù)據(jù)標識，判斷該多維度數(shù)據(jù)標識是否為數(shù)據(jù)存儲標識，如果是，則判斷在所述存儲數(shù)據(jù)源對象中是否存在指定的數(shù)據(jù)表、要存儲的字段以及維度字段；如果存在，則檢查當前維度下的數(shù)據(jù)是否存在，如果存在，則使用所述當前維度下的數(shù)據(jù)更新所述數(shù)據(jù)表中相應字段的值； 步驟27、判斷是否還有未遍歷的多維度數(shù)據(jù)標識，如果有則重復步驟26，直到所有多維度數(shù)據(jù)標識遍歷完成。
7.如權利要求7所述的方法，其特征在于，步驟22中如果判斷出指定的數(shù)據(jù)表、要存儲的字段或維度字段不存在，則自動創(chuàng)建所述指定的數(shù)據(jù)表、要存儲的字段或維度字段；如果當前維度條件下的數(shù)據(jù)不存在，則插入一條新紀錄。
8.如權利要求1所述的方法，其特征在于，所述多維度數(shù)據(jù)源的配置遵循XML語法規(guī)則。
9.一種多維度數(shù)據(jù)查詢及存儲系統(tǒng)，其包括 數(shù)據(jù)配置模塊，用于配置多維度數(shù)據(jù)，包括多維度數(shù)據(jù)源的配置和多維度數(shù)據(jù)標識的配置； 數(shù)據(jù)查詢模塊，用于根據(jù)所配置的多維度數(shù)據(jù)源和多維度數(shù)據(jù)標識進行多維度數(shù)據(jù)的查詢； 數(shù)據(jù)存儲模塊，用于根據(jù)所配置的多維度數(shù)據(jù)源和多維度數(shù)據(jù)標識進行多維度數(shù)據(jù)的存儲； 數(shù)據(jù)庫模塊，用于存儲所配置的多維度數(shù)據(jù)源。
全文摘要
本發(fā)明提出了一種自定義語法建立多維度數(shù)據(jù)報表的數(shù)據(jù)查詢分析與存儲方法。多維度報表是一種可以從多個角度對數(shù)據(jù)進行對比分析的方法，能否快速的在多個角度進行數(shù)據(jù)的對比分析更是決定了發(fā)現(xiàn)問題和解決問題的效率，直接影響到企業(yè)的運營和發(fā)展。本發(fā)明提出的多維度數(shù)據(jù)查詢及存儲方法，其包括步驟1、配置多維度數(shù)據(jù)，包括多維度數(shù)據(jù)源的配置和多維度數(shù)據(jù)標識的配置；步驟2、多維度數(shù)據(jù)查詢和存儲，包括根據(jù)所配置的多維度數(shù)據(jù)源和多維度數(shù)據(jù)標識進行多維度數(shù)據(jù)的查詢和存儲。
文檔編號G06F17/30GK103020301SQ20121059268
公開日2013年4月3日 申請日期2012年12月31日 優(yōu)先權日2012年12月31日
發(fā)明者林紅權, 朱明皞, 馬增良, 辛若家, 田曉娟, 魏書楷, 陳武, 牛鵬飛 申請人:中國科學院自動化研究所, 北京三博中自科技有限公司