專利名稱：數(shù)據(jù)處理方法及設備的制作方法
技術領域：
本發(fā)明實施例涉及通信技術領域，并且更具體地，涉及數(shù)據(jù)處理方法及設備。
背景技術：
OLAP (On-Line Analytical Processing,聯(lián)機分析處理)是 BI(BusinessIntelligence,商業(yè)智能)領域中一個常用的技術，能夠全方位查詢、分析數(shù)據(jù)，通過OLAP報表將整體數(shù)據(jù)展現(xiàn)給用戶。但是，由于OLAP服務器處理的數(shù)據(jù)量非常大，性能成為OLAP技術推廣應用的瓶頸。在現(xiàn)有的OLAP實現(xiàn)技術中，使用了內(nèi)存處理技術，即將數(shù)據(jù)庫中的數(shù)據(jù)預先存儲到內(nèi)存，在生成OLAP報表時，通過OLAP服務器直接從內(nèi)存查詢并讀取數(shù)據(jù)來提高性能。但是，在初始狀態(tài)時，將全部數(shù)據(jù)從數(shù)據(jù)庫加載到內(nèi)存的耗時長，影響用戶查詢數(shù)據(jù)，并且內(nèi)存配置的要求高，普通的服務器難以滿足。

發(fā)明內(nèi)容
本發(fā)明實施例提供一種數(shù)據(jù)處理方法及設備，能夠提高數(shù)據(jù)處理性能，并有效地降低硬件配置要求。第一方面，提供了一種數(shù)據(jù)處理方法，該方法包括根據(jù)數(shù)據(jù)的至少一個第一維度的信息在所述數(shù)據(jù)中確定熱點數(shù)據(jù)；根據(jù)所述熱點數(shù)據(jù)的至少一個第二維度的信息在數(shù)據(jù)庫中查詢所述熱點數(shù)據(jù)；將查詢到的所述熱點數(shù)據(jù)從所述數(shù)據(jù)庫加載到內(nèi)存。結(jié)合第一方面，在第一種實現(xiàn)方式中，在所述根據(jù)所述熱點數(shù)據(jù)的至少一個第二維度的信息在數(shù)據(jù)庫中查詢所述熱點數(shù)據(jù)之前，具體實現(xiàn)可以為生成緩存文件，所述緩存文件的內(nèi)容包括所述數(shù)據(jù)的至少一個第一維度的信息和至少一個第二維度的信息。結(jié)合第一方面的第一種可能的實現(xiàn)方式，在第二種可能的實現(xiàn)方式中，具體實現(xiàn)可以為所述緩存文件的內(nèi)容還包括所述數(shù)據(jù)是否已在內(nèi)存中的指示。結(jié)合第一方面或第一方面的第一種可能的實現(xiàn)方式或第二種可能的實現(xiàn)方式，在第三種可能的實現(xiàn)方式中，具體實現(xiàn)可以為對所述緩存文件的內(nèi)容進行更新。結(jié)合第一方面的第三種可能的實現(xiàn)方式，在第四種可能的實現(xiàn)方式中，所述對所述緩存文件的內(nèi)容進行更新，具體實現(xiàn)可以為根據(jù)用戶查詢的數(shù)據(jù)信息對所述緩存文件的內(nèi)容進行更新；或者根據(jù)統(tǒng)計的數(shù)據(jù)信息對所述緩存文件的內(nèi)容進行更新。結(jié)合第一方面或第一方面的第一種可能的實現(xiàn)方式至第四種可能的實現(xiàn)方式的任一種方式，在第五種可能的實現(xiàn)方式中，所述根據(jù)所述熱點數(shù)據(jù)的至少一個第二維度的信息從數(shù)據(jù)庫中查詢所述熱點數(shù)據(jù)，將所述熱點數(shù)據(jù)的至少一個第二維度的信息解析為字段，生成結(jié)構化查詢語言SQL語句；根據(jù)所述SQL語句從數(shù)據(jù)庫中查詢所述熱點數(shù)據(jù)。結(jié)合第一方面或第一方面的第一種可能的實現(xiàn)方式至第五種可能的實現(xiàn)方式的任一種方式，在第六種可能的實現(xiàn)方式中，具體實現(xiàn)可以為接收聯(lián)機分析處理OLAP服務器發(fā)送的用戶查詢的數(shù)據(jù)信息；根據(jù)所述用戶查詢的數(shù)據(jù)信息以及所述熱點數(shù)據(jù)的至少一個第二維度的信息判斷與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)是否在所述內(nèi)存中；如果判斷出所述與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)在所述內(nèi)存中，則在所述內(nèi)存中獲取所述與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)。結(jié)合第一方面的第六種可能的實現(xiàn)方式的任一種方式，在第七種可能的實現(xiàn)方式中，具體實現(xiàn)可以為將獲取的所述與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)發(fā)送給所述OLAP服務器，以便所述OLAP服務器根據(jù)所述與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)生成OLAP報表，呈現(xiàn)給所述用戶。第二方面，提供了數(shù)據(jù)處理設備，該設備包括確定單元，用于根據(jù)數(shù)據(jù)的至少一個第一維度的信息在所述數(shù)據(jù)中確定熱點數(shù)據(jù)；查詢單元，用于根據(jù)所述確定單元確定的所述熱點數(shù)據(jù)的至少一個第二維度的信息在數(shù)據(jù)庫中查詢所述熱點數(shù)據(jù)；加載單元，用于將所述查詢單元查詢到的所述熱點數(shù)據(jù)從所述數(shù)據(jù)庫加載到內(nèi)存。結(jié)合第二方面，在第一種可能的實現(xiàn)方式中。所述設備還包括生成單元，用于生成緩存文件，所述緩存文件的內(nèi)容包括所述數(shù)據(jù)的至少一個第一維度的信息和至少一個第二維度的信息。結(jié)合第二方面的第一種可能的實現(xiàn)方式，在第二種可能的實現(xiàn)方式中，所述生成單元還用于根據(jù)所述數(shù)據(jù)的信息對所述緩存文件的內(nèi)容進行更新。結(jié)合第二方面的第二種可能的實現(xiàn)方式，在第三種可能的實現(xiàn)方式中，所述生成單元具體用于根據(jù)用戶查詢的數(shù)據(jù)信息對所述緩存文件的內(nèi)容進行更新；或者根據(jù)統(tǒng)計的數(shù)據(jù)信息對所述緩存文件的內(nèi)容進行更新。結(jié)合第二方面或第二方面的第一種可能的實現(xiàn)方式至第三種可能的實現(xiàn)方式的任一種方式，在第四種可能的實現(xiàn)方式中，所述查詢單元具體用于將所述熱點數(shù)據(jù)的至少一個第二維度的信息解析為字段，生成結(jié)構化查詢語言SQL語句；根據(jù)所述SQL語句從數(shù)據(jù)庫中查詢所述熱點數(shù)據(jù)。結(jié)合第二方面或第二方面的第一種可能的實現(xiàn)方式至第四種可能的實現(xiàn)方式的任一種方式，在第五種可能的實現(xiàn)方式中，所述設備還包括接收單元，所述接收單元，用于接收聯(lián)機分析處理OLAP服務器發(fā)送的用戶查詢的數(shù)據(jù)信息；所述確定單元還用于根據(jù)所述用戶查詢的數(shù)據(jù)信息以及所述熱點數(shù)據(jù)的至少一個第二維度的信息判斷與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)是否在所述內(nèi)存中；所述加載單元還用于如果判斷出所述與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)在所述內(nèi)存中，則在所述內(nèi)存中獲取所述與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)。結(jié)合第二方面的第五種可能的實現(xiàn)方式，在第六種可能的實現(xiàn)方式中，所述設備還包括發(fā)送單元，所述發(fā)送單元，用于將獲取的所述與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)發(fā)送給所述OLAP服務器，以便所述OLAP服務器根據(jù)所述與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)生成OLAP報表，呈現(xiàn)給所述用戶。本發(fā)明實施例根據(jù)數(shù)據(jù)的至少一個第一維度的信息確定哪些數(shù)據(jù)為熱點數(shù)據(jù)，根據(jù)該熱點數(shù)據(jù)的至少一個第二維度的信息在數(shù)據(jù)庫中查詢熱點數(shù)據(jù)，將查詢到的熱點數(shù)據(jù)從數(shù)據(jù)庫加載到內(nèi)存。因此，將熱點數(shù)據(jù)預加載到內(nèi)存中，解決熱點數(shù)據(jù)查詢速率慢的問題，提高數(shù)據(jù)處理性能，且非將全部數(shù)據(jù)從數(shù)據(jù)庫加載到內(nèi)存，從而有效地降低硬件配置要求。


為了更清楚地說明本發(fā)明實施例的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1是本發(fā)明一個實施例的數(shù)據(jù)處理方法的流程圖。圖2是本發(fā)明一個實施例的數(shù)據(jù)處理方法的過程的示意性流程圖。圖3是本發(fā)明一個實施例的數(shù)據(jù)處理設備的結(jié)構框圖。圖4是根據(jù)本發(fā)明另一個實施例的存儲空間對象的處理設備的示意框圖。
具體實施例方式下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。本發(fā)明實施例的技術方案可以應用于各種通信系統(tǒng)，例如全球移動通訊(GlobalSystem of Mobile communication,簡稱為 “GSM”)系統(tǒng)、石馬分多址(Code DivisionMultiple Access,簡稱為 “CDMA”)系統(tǒng)、寬帶碼分多址(Wideband Code DivisionMultiple Access,簡稱為 “WCDMA”)系統(tǒng)、通用分組無線業(yè)務(General Packet RadioService,簡稱為 “GPRS”)、長期演進(LongTerm Evolution,簡稱為 “LTE”)系統(tǒng)、LTE 頻分雙工(Frequency DivisionDuplex,簡稱為 “FDD”)系統(tǒng)、LTE 時分雙工(Time DivisionDuplex,簡稱為 “TDD”)、通用移動通信系統(tǒng)(Universal Mobile TelecommunicationSystem,簡稱為“UMTS”)、全球互聯(lián)微波接入(Worldwide Interoperability forMicrowaveAccess，簡稱為“WiMAX”)通信系統(tǒng)或無線保真(Wireless Fidelity，簡稱為“WiFi ”)等。圖1是本發(fā)明一個實施例的數(shù)據(jù)處理方法的流程圖。圖1的方法由數(shù)據(jù)處理設備執(zhí)行。101，根據(jù)數(shù)據(jù)的至少一個第一維度的信息在數(shù)據(jù)中確定熱點數(shù)據(jù)。102，根據(jù)熱點數(shù)據(jù)的至少一個第二維度的信息在數(shù)據(jù)庫中查詢熱點數(shù)據(jù)。103，將查詢到的熱點數(shù)據(jù)從數(shù)據(jù)庫加載到內(nèi)存。本發(fā)明實施例根據(jù)數(shù)據(jù)的至少一個第一維度的信息確定哪些數(shù)據(jù)為熱點數(shù)據(jù)，根據(jù)該熱點數(shù)據(jù)的至少一個第二維度的信息在數(shù)據(jù)庫中查詢熱點數(shù)據(jù)，將查詢到的熱點數(shù)據(jù)從數(shù)據(jù)庫加載到內(nèi)存。因此，將熱點數(shù)據(jù)預加載到內(nèi)存中，解決熱點數(shù)據(jù)查詢速率慢的問題，提高數(shù)據(jù)處理性能，且非將全部數(shù)據(jù)從數(shù)據(jù)庫加載到內(nèi)存，從而有效地降低硬件配置要求。可選地，作為一個實施例，在步驟101之前，可以生成緩存文件，該緩存文件的內(nèi)容包括數(shù)據(jù)的至少一個第一維度的信息和至少一個第二維度的信息。應理解，至少一個第一維度的信息和至少一個第二維度的信息可以不相同，或者部分或全部相同。進一步地，緩存文件的內(nèi)容還可以包括數(shù)據(jù)是否已經(jīng)存儲在內(nèi)存中的指示。
優(yōu)選地，第一維度可以為配置成用戶關心的維度。例如，第一維度可以為用戶行為(例如用戶查詢數(shù)據(jù)信息的次數(shù))、產(chǎn)品銷售量或者商家的信用度等。第二維度可以是時間、地理位置或產(chǎn)品名稱等。又例如，第一維度可以是用戶角色，第二維度可以是用戶名。等等。具體而言，緩存文件的內(nèi)容可以示意性地(以表格形式)表示如下表 1-權利要求
1.一種數(shù)據(jù)處理方法，其特征在于，包括根據(jù)數(shù)據(jù)的至少一個第一維度的信息在所述數(shù)據(jù)中確定熱點數(shù)據(jù)；根據(jù)所述熱點數(shù)據(jù)的至少一個第二維度的信息在數(shù)據(jù)庫中查詢所述熱點數(shù)據(jù)；將查詢到的所述熱點數(shù)據(jù)從所述數(shù)據(jù)庫加載到內(nèi)存。
2.如權利要求1所述的方法，其特征在于，在所述根據(jù)所述熱點數(shù)據(jù)的至少一個第二維度的信息在數(shù)據(jù)庫中查詢所述熱點數(shù)據(jù)之前，所述方法還包括生成緩存文件，所述緩存文件的內(nèi)容包括所述數(shù)據(jù)的至少一個第一維度的信息和至少一個第二維度的信息。
3.如權利要求2所述的方法，其特征在于，所述緩存文件的內(nèi)容還包括所述數(shù)據(jù)是否已在內(nèi)存中的指示。
4.如權利要求1-3任一項所述的方法，其特征在于，所述方法還包括對所述緩存文件的內(nèi)容進行更新。
5.如權利要求4所述的方法，其特征在于，所述對所述緩存文件的內(nèi)容進行更新，包括根據(jù)用戶查詢的數(shù)據(jù)信息對所述緩存文件的內(nèi)容進行更新；或者根據(jù)統(tǒng)計的數(shù)據(jù)信息對所述緩存文件的內(nèi)容進行更新。
6.如權利要求1-5任一項所述的方法，其特征在于，所述根據(jù)所述熱點數(shù)據(jù)的至少一個第二維度的信息從數(shù)據(jù)庫中查詢所述熱點數(shù)據(jù)，包括將所述熱點數(shù)據(jù)的至少一個第二維度的信息解析為字段，生成結(jié)構化查詢語言SQL語句；根據(jù)所述SQL語句從數(shù)據(jù)庫中查詢所述熱點數(shù)據(jù)。
7.如權利要求1-6任一項所述的方法，其特征在于，所述方法還包括接收聯(lián)機分析處理OLAP服務器發(fā)送的用戶查詢的數(shù)據(jù)信息；根據(jù)所述用戶查詢的數(shù)據(jù)信息以及所述熱點數(shù)據(jù)的至少一個第二維度的信息判斷與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)是否在所述內(nèi)存中；如果判斷出所述與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)在所述內(nèi)存中，則在所述內(nèi)存中獲取所述與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)。
8.如權利要求7所述的方法，其特征在于，所述方法還包括將獲取的所述與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)發(fā)送給所述OLAP服務器，以便所述OLAP服務器根據(jù)所述與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)生成OLAP報表，呈現(xiàn)給所述用戶。
9.一種數(shù)據(jù)處理設備，其特征在于，包括確定單元，用于根據(jù)數(shù)據(jù)的至少一個第一維度的信息在所述數(shù)據(jù)中確定熱點數(shù)據(jù)；查詢單元，用于根據(jù)所述確定單元確定的所述熱點數(shù)據(jù)的至少一個第二維度的信息在數(shù)據(jù)庫中查詢所述熱點數(shù)據(jù)；加載單元，用于將所述查詢單元查詢到的所述熱點數(shù)據(jù)從所述數(shù)據(jù)庫加載到內(nèi)存。
10.如權利要求9所述的設備，其特征在于，所述設備還包括生成單元，用于生成緩存文件，所述緩存文件的內(nèi)容包括所述數(shù)據(jù)的至少一個第一維度的信息和至少一個第二維度的信息。
11.如權利要求10所述的設備，其特征在于，所述生成單元還用于根據(jù)所述數(shù)據(jù)的信息對所述緩存文件的內(nèi)容進行更新。
12.如權利要求11所述的設備，其特征在于，所述生成單元具體用于根據(jù)用戶查詢的數(shù)據(jù)信息對所述緩存文件的內(nèi)容進行更新；或者根據(jù)統(tǒng)計的數(shù)據(jù)信息對所述緩存文件的內(nèi)容進行更新。
13.如權利要求9-12任一項所述的設備，其特征在于，所述查詢單元具體用于將所述熱點數(shù)據(jù)的至少一個第二維度的信息解析為字段，生成結(jié)構化查詢語言SQL語句；根據(jù)所述SQL語句從數(shù)據(jù)庫中查詢所述熱點數(shù)據(jù)。
14.如權利要求9-13任一項所述的設備，其特征在于，所述設備還包括接收單元， 所述接收單元，用于接收聯(lián)機分析處理OLAP服務器發(fā)送的用戶查詢的數(shù)據(jù)信息； 所述確定單元還用于根據(jù)所述用戶查詢的數(shù)據(jù)信息以及所述熱點數(shù)據(jù)的至少一個第二維度的信息判斷與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)是否在所述內(nèi)存中；所述加載單元還用于如果判斷出所述與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)在所述內(nèi)存中，則在所述內(nèi)存中獲取所述與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)。
15.如權利要求14所述的設備，其特征在于，所述設備還包括發(fā)送單元，所述發(fā)送單元，用于將獲取的所述與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)發(fā)送給所述OLAP服務器，以便所述OLAP服務器根據(jù)所述與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)生成OLAP報表，呈現(xiàn)給所述用戶。
全文摘要
本發(fā)明實施例提供一種數(shù)據(jù)處理方法及設備。該方法包括根據(jù)數(shù)據(jù)的至少一個第一維度的信息在所述數(shù)據(jù)中確定熱點數(shù)據(jù)；根據(jù)所述熱點數(shù)據(jù)的至少一個第二維度的信息在數(shù)據(jù)庫中查詢所述熱點數(shù)據(jù)；將查詢到的所述熱點數(shù)據(jù)從所述數(shù)據(jù)庫加載到內(nèi)存。有效地降低硬件配置要求，并提高數(shù)據(jù)處理性能。因此，將熱點數(shù)據(jù)預加載到內(nèi)存中，解決熱點數(shù)據(jù)查詢速率慢的問題，提高數(shù)據(jù)處理性能，且非將全部數(shù)據(jù)從數(shù)據(jù)庫加載到內(nèi)存，從而有效地降低硬件配置要求。
文檔編號G06F17/30GK103020146SQ20121047839
公開日2013年4月3日 申請日期2012年11月22日 優(yōu)先權日2012年11月22日
發(fā)明者譚紀輝, 朱星, 劉鵬 申請人:華為技術有限公司