專利名稱：數(shù)據(jù)索引方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)索引技術(shù)領(lǐng)域，具體涉及數(shù)據(jù)的索引方法及裝置。
背景技術(shù)：
隨著商業(yè)智能(Business Intelligent)的發(fā)展,在電信業(yè)務(wù)質(zhì)量管理、網(wǎng)絡(luò)性能管理、互聯(lián)網(wǎng)應(yīng)用分析等多種領(lǐng)域需要對海量數(shù)據(jù)進(jìn)行快速統(tǒng)計以及索引，一般的單維索引技術(shù)已經(jīng)滿足不了對海量數(shù)據(jù)進(jìn)行快速存儲、統(tǒng)計以及索引的高要求。目前，采用分布式存儲系統(tǒng)(HadoopDatabase)的數(shù)據(jù)索引技術(shù)解決了海量數(shù)據(jù)的索引問題，主要通過對海量數(shù)據(jù)進(jìn)行區(qū)域劃分建立索引數(shù)據(jù)，并以列存儲形式存儲在不 同的域存儲器上，依據(jù)單維索弓I技術(shù)索弓I數(shù)據(jù)?；诜植际酱鎯ο到y(tǒng)(Hadoop Database )的數(shù)據(jù)建立的單維索引技術(shù)只能建立有限的索引數(shù)據(jù)，大量的索引數(shù)據(jù)必須在外部存儲介質(zhì)上存儲。而且單維索引技術(shù)無法滿足多維分析以及多維索引組合查詢的需求，增加大量數(shù)據(jù)后單維索引速度存在衰減，繼而不能快捷方便地查詢目標(biāo)數(shù)據(jù)，應(yīng)用普遍性受限。因此，為了滿足海量數(shù)據(jù)的快速統(tǒng)計以及索引，多維索引技術(shù)成為新的研究方向。

發(fā)明內(nèi)容
鑒于此，本發(fā)明實施例提供了一種數(shù)據(jù)索引方法及裝置，解決了單位索引應(yīng)用普遍性受限，索引效率低的問題。本發(fā)明實施例一方面提供的一種數(shù)據(jù)索引方法，包括獲取與N個維度對應(yīng)的、且相互獨(dú)立的N個單維索引；所述N大于等于2;判斷所述N個單維索引中包含的地址記錄是否有交集；若有交集，則獲取所述交集對應(yīng)的地址記錄所指向的數(shù)據(jù)作為索引目標(biāo)數(shù)據(jù)。作為一種可選的實施方式，所述判斷所述N個單維索引中包含的地址記錄是否有交集包括以下步驟判斷所述N個單維索引中包含的地址記錄是否存在相同地址記錄；若存在，則確認(rèn)所述N個單維索引中包含的地址記錄有交集。作為一種可選的實施方式，所述判斷所述N個單維索引包含的地址記錄是否存在相同地址記錄包括以下步驟根據(jù)N個維度獲取所述N個維度相對應(yīng)的單維索引的地址記錄；對所述地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值加I ;判斷所述地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值是否等于所述N ；如果是，則選取所述地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值等于所述N的地址記錄作為相同地址記錄。作為一種可選的實施方式，所述判斷所述N個單維索引包含的地址記錄是否存在相同地址記錄包括以下步驟A、從所述N個單維索引中獲取第K個單維索引作為當(dāng)前單維索引，其中，K小于所述N且K大于零；B、獲取所述當(dāng)前單維索引的地址記錄；C、對與所述地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值加I ;D、從所述N個單維索引中獲取第K+1個單維索引，作為當(dāng)前單維索引；E、判斷K+1是否等于N ;如果不等于N則執(zhí)行步驟B ；F、根據(jù)K+1等于N的結(jié)果，則獲取第N個單維索引的地址記錄；G、判斷所述第N個單維索引的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值是否等于 N-I ；
H、如果是，則選取所述第N個單維索引的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值等于N-I的所述地址記錄，作為相同地址記錄。作為一種可選的實施方式，對與所述地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位進(jìn)行計數(shù)之前，所述方法還包括初始化清零與所述地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值。作為一種可選的實施方式，所述獲取與N個維度對應(yīng)的、且相互獨(dú)立的N個單維索引之前，所述方法還包括根據(jù)元數(shù)據(jù)將若干數(shù)據(jù)進(jìn)行分區(qū)存儲，生成i個分區(qū)存儲區(qū)；根據(jù)分類標(biāo)準(zhǔn)對每個分區(qū)存儲區(qū)中的數(shù)據(jù)建立互相獨(dú)立的單維索引；存儲所述每個分區(qū)存儲區(qū)及所述每個分區(qū)存儲區(qū)對應(yīng)包含的單維索引至相同的存儲處理節(jié)點(diǎn)上，以生成包含i個不同存儲處理節(jié)點(diǎn)的索引表。作為一種可選的實施方式，所述索引表包含鍵值表和地址分配表，所述地址分配表記錄了每個單維索引的鍵值對應(yīng)的地址記錄，所述鍵值表包括每個單維索引的鍵值及與所述鍵值對應(yīng)的存儲地址，與所述鍵值對應(yīng)的存儲地址用于指向所述鍵值對應(yīng)的地址記錄;所述地址記錄表示數(shù)據(jù)記錄在分區(qū)存儲區(qū)中的偏移位置，包括記錄號和記錄長度。作為一種可選的實施方式，所述鍵值表的存儲方式包括有序線性存儲方式或者二叉樹存儲方式。作為一種可選的實施方式，所述地址分配表的存儲方式米用分塊存儲方式。本發(fā)明實施例的另一方面提供了一種數(shù)據(jù)索引裝置，包括第一單元，用于獲取與N個維度對應(yīng)的、且相互獨(dú)立的N個單維索引；所述N大于等于2 ；第二單元，用于判斷所述N個單維索引包含的地址記錄是否有交集；第三單元，用于獲取所述交集對應(yīng)的地址記錄所指向的數(shù)據(jù)作為索引目標(biāo)數(shù)據(jù)。作為一種可選的實施方式，所述第二單元，具體用于判斷所述N個單維索引中包含的地址記錄是否存在相同地址記錄；若存在，則確認(rèn)所述N個單維索引中包含的地址記錄有交集。作為一種可選的實施方式，所述第二單元包括第一子單元，用于獲取所述N個單維索引的地址記錄；第二子單元，用于對所述地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值加I ;
第三子單元，用于判斷所述地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值是否等于所述N；第四子單元，用于根據(jù)第三子單元判斷所述地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值等于所述N的判斷通知，選取所述地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值等于所述N的地址記錄作為相同地址記錄。作為一種可選的實施方式，所述第二單元包括第一獲取單元，用于從所述N個單維索引中獲取第K個單維索引作為當(dāng)前單維索弓丨，其中，K小于所述N且K大于零；第二獲取單元，用于獲取所述當(dāng)前單維索引的地址記錄； 計數(shù)單元，用于對與所述當(dāng)前單維索引的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值加I ;所述第一獲取單元，還用于從所述N個單維索引中獲取第K+1個單維索引，作為當(dāng)前單維索引； 控制單元，用于判斷K+1是否等于N ;如果不等于N，則控制第二獲取單元獲取所述當(dāng)前單維索引的地址記錄；所述第一獲取單元，還用于根據(jù)所述控制單元判斷K+1等于N的結(jié)果，獲取第N個單維索引的地址記錄；所述控制單元，還用于判斷所述第N個單維索引的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值是否等于N-I ；所述第一獲取單元，還用于根據(jù)所述控制單元判斷所述第N個單維索引的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值等于N-I的判斷通知，選取所述第N個單維索引的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值等于N-I的所述地址記錄，作為相同地址記錄。作為一種可選的實施方式，所述第二單元還包括初始化單元，用于初始化清零與所述地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值。作為一種可選的實施方式，所述數(shù)據(jù)索引裝置還包括分區(qū)存儲單元，用于根據(jù)元數(shù)據(jù)將若干數(shù)據(jù)進(jìn)行分區(qū)存儲，生成i個分區(qū)存儲區(qū)；處理單元，用于根據(jù)分類標(biāo)準(zhǔn)對每個分區(qū)存儲區(qū)中的數(shù)據(jù)建立互相獨(dú)立的單維索弓I ;所述處理單元，還用于存儲所述每個分區(qū)存儲區(qū)及所述每個分區(qū)存儲區(qū)對應(yīng)包含的單維索引至相同的存儲處理節(jié)點(diǎn)上，以生成包含i個不同存儲處理節(jié)點(diǎn)的索引表。作為一種可選的實施方式，所述索引表包含鍵值表和地址分配表，所述地址分配表記錄了每個單維索引的鍵值對應(yīng)的地址記錄，所述鍵值表包括每個單維索引的鍵值及與所述鍵值對應(yīng)的存儲地址，與所述鍵值對應(yīng)的存儲地址用于指向所述鍵值對應(yīng)的地址記錄;所述地址記錄表示數(shù)據(jù)記錄在分區(qū)存儲區(qū)中的偏移位置，包括記錄號和記錄長度。作為一種可選的實施方式，所述鍵值表的存儲方式包括有序線性存儲方式或者二叉樹存儲方式。作為一種可選的實施方式，所述地址分配表的存儲方式米用分塊存儲方式。
本發(fā)明實施例提供的數(shù)據(jù)索引方法，根據(jù)N個維度獲取與N個維度對應(yīng)的、且相互獨(dú)立的N個單維索引，判斷與所述維度相對應(yīng)的N個所述相互獨(dú)立的單維索引包含的地址記錄是否有交集，以獲取交集相對應(yīng)的地址記錄所指向的數(shù)據(jù)為索引目標(biāo)數(shù)據(jù)。解決了單維索引技術(shù)無法滿 足多維索引組合查詢以及多維分析的需求。以及通過確定與N個所述單維索引包含的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值的大小，簡單方便地實現(xiàn)了多維分析的速度要求，降低了索引的復(fù)雜度，提升了精確索引數(shù)據(jù)的索引性能。


為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1是本發(fā)明實施例一提供的一種數(shù)據(jù)索引方法示意圖；圖2是本發(fā)明實施例一提供的另一種數(shù)據(jù)索引方法示意圖；圖3是本發(fā)明實施例一提供的又一種數(shù)據(jù)索引方法示意圖；圖4為本發(fā)明實施例一提供的數(shù)據(jù)進(jìn)行分區(qū)存儲建立單維索引的示意圖；圖5為本發(fā)明實施例一提供的索引表中分區(qū)存儲區(qū)CDFl包含的單維索引的鍵值與地址分配關(guān)系示意圖；圖6a為本發(fā)明實施例提供的多維關(guān)鍵指標(biāo)分布式存儲應(yīng)用示意圖；圖6b為本發(fā)明實施例提供的數(shù)據(jù)索引方法在詳單存儲查詢中的應(yīng)用示意圖；圖7為本發(fā)明實施例二提供的一種數(shù)據(jù)索引裝置結(jié)構(gòu)圖；圖8為本發(fā)明實施例二提供的第二單元的一種結(jié)構(gòu)圖；圖9為本發(fā)明實施例二提供的第二單元的另一種結(jié)構(gòu)圖；圖10為本發(fā)明實施例二提供的又一種數(shù)據(jù)索引裝置結(jié)構(gòu)圖。
具體實施例方式下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。圖1是本發(fā)明實施例一提供的一種數(shù)據(jù)索引方法示意圖，如圖I所示，本實施例提供的數(shù)據(jù)索引方法包括以下步驟S110、獲取與N個維度對應(yīng)的、且相互獨(dú)立的N個單維索引小大于等于2 ;S120、判斷N個單維索引包含的地址記錄是否有交集；若有交集，則執(zhí)行步驟S130 ;若否，則執(zhí)行步驟S131，即結(jié)束本流程。S130、獲取所述交集對應(yīng)的地址記錄所指向的數(shù)據(jù)作為索引目標(biāo)數(shù)據(jù)。本實施例根據(jù)N個維度獲取與N個維度對應(yīng)的、且相互獨(dú)立的N個單維索引，判斷與維度相對應(yīng)的N個相互獨(dú)立的單維索引包含的地址記錄是否有交集，以獲取交集相對應(yīng)的地址記錄所指向的數(shù)據(jù)為索引目標(biāo)數(shù)據(jù)。解決了單維索引技術(shù)無法滿足多維索引組合查詢以及多維分析的需求。作為一種可選的實施方式，基于圖I所示的步驟S120，即判斷所述N個單維索引中包含的地址記錄是否有交集還可以包括以下步驟判斷所述N個單維索引中包含的地址記錄是否存在相同地址記錄；若存在，則確認(rèn)所述N個單維索引中包含的地址記錄有交集。
作為一種可選的實施方式，請參閱圖2，圖2是本發(fā)明實施例一提供的另一種數(shù)據(jù)索引方法的示意圖，如圖2所示，判斷N個單維索引包含的地址記錄是否存在相同地址記錄包括以下步驟S121、獲取N個單維索引包含的地址記錄；S122、對地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值加I ;S123、判斷地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值是否等于N ;如果是，則執(zhí)行步驟S124 ;若果不是，則執(zhí)行步驟S125，即結(jié)束本流程。S124、選取地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值等于N的地址記錄作為相同地址記錄。本實施方式通過標(biāo)簽計數(shù)的方式實現(xiàn)了選取相同地址記錄的功能，技術(shù)實現(xiàn)簡單可靠，無誤差性。通過確定與N個單維索引包含的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值的大小，簡單方便地實現(xiàn)了多維分析的速度要求，降低了索引的復(fù)雜度，提升了數(shù)據(jù)精確索引數(shù)據(jù)的性能。作為一種可選的實施方式，請參閱圖3，圖3是本發(fā)明實施例一提供的又一種數(shù)據(jù)索引方法示意圖，如圖3所示，判斷N個單維索引包含的地址記錄是否存在相同地址記錄包括以下步驟S1201、從N個單維索引中獲取第K個單維索引作為當(dāng)前單維索引；其中，K小于N且K大于零；S1202、獲取當(dāng)前單維索引的地址記錄；S1203、對與地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值加I ;S1204、從N個單維索引中獲取第K+1個單維索引，作為當(dāng)前單維索引；S1205、判斷K+1是否等于N ;如果不等于N，則執(zhí)行步驟S1202 ；若K+1等于N，則執(zhí)行步驟S1206 ;S1206、獲取第N個單維索引的地址記錄；S1207、判斷第N個單維索引的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值是否等于 N-I ；如果是，則執(zhí)行步驟S1208 ;如果否，則執(zhí)行步驟S1209，即結(jié)束本流程。S1208、選取第N個單維索引的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值等于N_1的地址記錄,作為相同地址記錄。本實施方式也是通過標(biāo)簽計數(shù)的方式實現(xiàn)了選取相同地址記錄的功能，技術(shù)實現(xiàn)簡單可靠，無誤差性。當(dāng)對最后一個單維索引的地址記錄進(jìn)行對應(yīng)的標(biāo)簽數(shù)標(biāo)志位計數(shù)之前，已確定需要對當(dāng)前的地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值加1，故只需判斷當(dāng)前的地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值是否等于N-1，如果等于，則可間接的確定當(dāng)前的地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值為N，即當(dāng)前的地址記錄作為相同的地址記錄。作為一種可選的實施方式，對與地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位進(jìn)行計數(shù)之前，方法還包括初始化清零與地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值。作為一種可選的實施方式，獲取與N個維度對應(yīng)的、且相互獨(dú)立的N個單維索引之前，方法還可以包括根據(jù)元數(shù)據(jù)將若干數(shù)據(jù)進(jìn)行分區(qū)存儲，生成i個分區(qū)存儲區(qū)；
根據(jù)分類標(biāo)準(zhǔn)對每個分區(qū)存儲區(qū)中的數(shù)據(jù)建立相獨(dú)立的單維索引；存儲每個分區(qū)存儲區(qū)及每個分區(qū)存儲區(qū)對應(yīng)包含的單維索引至相同的存儲處理節(jié)點(diǎn)上，以生成包含i個不同存儲處理節(jié)點(diǎn)的索引表。元數(shù)據(jù)包括記錄信息，可以是時間信息，也可以是分類標(biāo)準(zhǔn)信息。分區(qū)存儲區(qū)可存儲至內(nèi)存或者外部存儲介質(zhì)中。其請參閱圖4，圖4為本發(fā)明實施例一提供的數(shù)據(jù)進(jìn)行分區(qū)存儲建立單維索引的示意圖。通過元數(shù)據(jù)對海量數(shù)據(jù)按照時間記錄信息或者其他分類標(biāo)準(zhǔn)信息進(jìn)行分區(qū)存儲，可以是若干個，在本實施例中分成三個分區(qū)存儲區(qū)，如圖4所示，共分成三個分區(qū)存儲區(qū)(Container Data File,⑶F)，分別是分區(qū)存儲區(qū)⑶F1、分區(qū)存儲區(qū)⑶F2以及分區(qū)存儲區(qū)CDF3，根據(jù)分類標(biāo)準(zhǔn)針對每個分區(qū)存儲區(qū)的數(shù)據(jù)建立單維索弓|，每個分區(qū)存儲區(qū)中的有限數(shù)量的單維索引相互之間是獨(dú)立的，即分區(qū)存儲區(qū)CDFl中包含的單維索引 DimensionlIndex、Dimension2Index 和 Dimension3Index 三者之間是相互獨(dú)立的；同理，分區(qū)存儲區(qū)CDF2中包含的單維索引Dimensionl Index、Dimension2Index和DimenSi0n3Index三者之間也是相互獨(dú)立的；分區(qū)存儲區(qū)⑶F3中包含的單維索引Dimensionl Index、Dimension〗 Index 和 Dimension3 Index 三者之間也是相互獨(dú)立的。其中，存儲分區(qū)存儲區(qū)⑶F1、分區(qū)存儲區(qū)⑶Fl包含的單維索引Dimensionl Index、Dimension〗 Index和Dimension3 Index至同一節(jié)點(diǎn)NodeA上，存儲分區(qū)存儲區(qū)CDF2、分區(qū)存儲區(qū) CDF2 包含的單維索引 Dimensionl Index>Dimension2 Index 和 Dimension3 Index至同一節(jié)點(diǎn)NodeB上，存儲分區(qū)存儲區(qū)⑶F3、分區(qū)存儲區(qū)⑶F3包含的單維索引Dimensionllndex、存儲 Dimension2 Index 和 Dimension3 Index 至同一節(jié)點(diǎn) NodeC 上。請參閱圖5，圖5為本發(fā)明實施例一提供的索引表中分區(qū)存儲區(qū)⑶Fl包含的單維索引的鍵值與地址分配關(guān)系示意圖。如圖5所示，索引表包含鍵值表和地址分配表，地址分配表記錄了每個單維索引的鍵值對應(yīng)的地址記錄，鍵值表包括每個單維索引的鍵值及與鍵值對應(yīng)的地址分配表的首地址記錄的存儲地址；地址記錄可用記錄號和記錄長度表示，地址記錄可定位記錄地址偏移量，從而獲取數(shù)據(jù)。其中，地址記錄表示數(shù)據(jù)記錄在分區(qū)存儲區(qū)中的偏移位置，對于等長的數(shù)據(jù)，地址記錄可簡化用記錄號表示。本實施例中，設(shè)定若干數(shù)據(jù)的類型為等長數(shù)據(jù)類型，則地址記錄簡化用記錄號表示。例如，單維索引DimensionlIndex對應(yīng)的鍵值表包括鍵值Kl和鍵值Kl對應(yīng)的存儲地址FirstAdd，其中，鍵值Kl對應(yīng)的存儲地址FirstAdd用于指向鍵值Kl對應(yīng)的地址記錄addl、地址記錄add7、地址記錄addl5 ;其中，addl、add7、addl5為地址記錄的記錄號。單維索引Dimension2Index對應(yīng)的鍵值表包括鍵值K2和鍵值K2對應(yīng)的存儲地址FirstAdd，其中，鍵值K2對應(yīng)的存儲地址FirstAdd用于指向鍵值K2對應(yīng)的地址記錄addl、地址記錄add9、地址記錄addl4 ;其中，addl、add9、addl4為地址記錄的記錄號。單維索引Dimension3 Index對應(yīng)的鍵值表包括鍵值K3和鍵值K3對應(yīng)的存儲地址FirstAdd，其中，鍵值K3對應(yīng)的存儲地址FirstAdd用于指向鍵值K3對應(yīng)的地址記錄add2、地址記錄add9、地址記錄addl4 ;其中add2、add9、addl4為記錄號。當(dāng)應(yīng)用到具體地檢索場景時，可以是話單查詢，⑶Fl分區(qū)存儲區(qū)存儲的為9月I號的話單信息，單據(jù)至少包括兩部分信息，分別是區(qū)號和計費(fèi)標(biāo)識，則檢索條件對應(yīng)區(qū)號和計費(fèi)標(biāo)識。其中，以鍵值Kl對應(yīng)區(qū)號“武漢”，鍵值K2對應(yīng)計費(fèi)標(biāo)識“免費(fèi)撥打”，則通過索引獲得維度與索引信息“武漢”對應(yīng)的單維索引，索引到鍵值Kl對應(yīng)的地址記錄addl、地址記錄add7、地址記錄addl5 ;以及通過索引獲得維度與索引信息“免費(fèi)撥打”對應(yīng)的單位索引，貝1J索引到鍵值K2對應(yīng)的地址記錄addl、地址記錄add9、地址記錄addl4。地址記錄addl、add9、addl4指向的話單信息都是免費(fèi)撥打的話單數(shù)據(jù)。址記錄addl、地址記錄add7、地址記錄addl5指向的話單信息都為打給武漢的話單數(shù)據(jù)，則索引到地址記錄addl是相同的地址記錄，則確定地址記錄addl指向的話單信息是索引目標(biāo)數(shù)據(jù)。作為一種可選的實施方式，鍵值表的存儲方式包括有序線性存儲方式或者二叉樹存儲方式。
作為一種可選的實施方式,地址分配表的存儲方式米用分塊存儲方式。此外，需要說明的是，本實施例提供的數(shù)據(jù)索引方法可以有效地提高數(shù)據(jù)入庫性能，以100萬512字節(jié)的單據(jù)為例，包含12個維度，采用正交多維索引組織數(shù)據(jù)與SybaseIQ數(shù)據(jù)庫入庫性能測試結(jié)果如表(一)記錄可以看出，正交多維索引數(shù)據(jù)插入性能是 SybaseIQ 的 9. 84 倍。
'P正交多維索引SybaseIQ 性能提升-(單 RH2285)(網(wǎng)節(jié)點(diǎn)集群)數(shù) 100 萬 36.9MB/S 15MB/S 9.84 fff表(一)本實施例提供的數(shù)據(jù)索引方法用過標(biāo)簽數(shù)標(biāo)志位計數(shù)值疊加方式進(jìn)行地址記錄的正交運(yùn)算，以取得相同的地址記錄，降低了比較次數(shù)的算法復(fù)雜度，通過表(二)可以看出，標(biāo)簽疊加方式進(jìn)行向量交集運(yùn)算大幅降低了算法復(fù)雜度，提升了性能。
維度組合，塊I是否優(yōu)化|ιο萬次向集邁算耗時I優(yōu)化效率(倍)
_____(#)__
10*100008 普通向量交集運(yùn)算450I
10*100008標(biāo)簽疊加OI,
10*1000032標(biāo)簽疊加tU14
10*1000064標(biāo)簽疊加2.8161
10*1000096標(biāo)簽疊加1.67
表(二)在電信信令監(jiān)測、網(wǎng)絡(luò)性能管理(Service Quanlity Management, SQM)、客戶經(jīng)驗管理(Customer Experience Management, CEM)及互聯(lián)網(wǎng)數(shù)據(jù)分析中，根據(jù)輸入的呼叫信息記錄單據(jù)(Call Detail Record, CDR)計算多維關(guān)鍵指標(biāo)(Key Performance Indicator,KPI)，挖掘數(shù)據(jù)中包含的信息。例如，移動用戶上網(wǎng)產(chǎn)生的⑶R包含終端類型、操作系統(tǒng)類型、設(shè)備類型、小區(qū)、網(wǎng)關(guān)支持節(jié)點(diǎn)(Gateway GPRS Support Node)、服務(wù)支持節(jié)點(diǎn)(ServingGPRS SUPP0RTN0DE)、瀏覽訪問網(wǎng)站等維度，需要進(jìn)行多維KPI分析。請參閱圖6a，圖6a為本發(fā)明實施例提供的多維關(guān)鍵指標(biāo)分布式存儲應(yīng)用示意圖。如圖6a所示，本實施例提供的多維KPI分布式存儲可以基于數(shù)據(jù)索引方法實現(xiàn)，即基于本實施例提供的多維索引方法的實現(xiàn)，獲取到包括目標(biāo)數(shù)據(jù)的單據(jù)，對所述單據(jù)進(jìn)行關(guān)鍵指標(biāo)的計算。其中，多維關(guān)鍵指標(biāo)的獲取可以基于本實施例提供的索引表的獲取方式進(jìn)行計算得出，即先對所述單據(jù)進(jìn)行分區(qū)存儲，然后對每個分區(qū)存儲區(qū)建立若干個單維索引，將每個分區(qū)存儲區(qū)的若干個單位索引對應(yīng)的關(guān)鍵指標(biāo)元數(shù)據(jù)進(jìn)行匯總得出每個分區(qū)存儲區(qū)的關(guān)鍵指標(biāo)，之后再匯總每個分區(qū)存儲區(qū)的關(guān)鍵指標(biāo)，以獲得多維KPI，如圖6a所示，獲取多 維KPI的方法包括如下步驟S610，接收數(shù)據(jù)；S620，解析數(shù)據(jù)；S630，分布式存儲計算出KPI ；S640，聯(lián)機(jī)分析處理；S650，網(wǎng)絡(luò)應(yīng)用呈現(xiàn)多維KPI。其中，執(zhí)行步驟S630時，可參考圖6a顯示的虛線框部分，示出了分布式存儲計算獲得多維KPI的簡單過程，主要是在內(nèi)存或者外部存儲介質(zhì)中將數(shù)據(jù)中的呼叫信息記錄單據(jù)⑶R分區(qū)存儲，圖中示出了三個分區(qū)存儲區(qū)，分別是⑶F1、⑶F2以及⑶F3，并在每個分區(qū)存儲區(qū)獨(dú)立建立多個單維索引，圖示中在每個分區(qū)存儲區(qū)中示出三個單維索引，即Dimensionl Index、Dimension〗 Index、Dimension3Index,然后對每個分布式節(jié)點(diǎn)執(zhí)行計算任務(wù)，利用單維維度，獲取CDR，計算每個分布式節(jié)點(diǎn)的關(guān)鍵指標(biāo)即進(jìn)行KPI分析；分布式節(jié)點(diǎn)計算完成后，將每個分布式節(jié)點(diǎn)的關(guān)鍵指標(biāo)KPI發(fā)送到匯總節(jié)點(diǎn)進(jìn)行匯總；匯總后的多維關(guān)鍵指標(biāo)KPI存儲在聯(lián)機(jī)分析處理數(shù)據(jù)倉庫中，供網(wǎng)絡(luò)應(yīng)用呈現(xiàn)多維關(guān)鍵指標(biāo)KPI。在電信信令監(jiān)測、網(wǎng)絡(luò)性能管理(Service Quanlity Management,簡稱SQM)、客戶經(jīng)驗管理(Customer Experience Management,簡稱CEM)及互聯(lián)網(wǎng)數(shù)據(jù)分析中，根據(jù)輸入的呼叫信息記錄單據(jù)(Call Detail Record,簡稱⑶R)計算多維關(guān)鍵指標(biāo)(Key PerformanceIndicator，簡稱KPI)，挖掘數(shù)據(jù)中包含的信息。例如，移動用戶上網(wǎng)產(chǎn)生的⑶R包含終端類型、操作系統(tǒng)類型、設(shè)備類型、小區(qū)、網(wǎng)關(guān)(Gateway GPRS Support Node)、服務(wù)支持節(jié)點(diǎn)(Serving GPRS SUPP0RTN0DE)、瀏覽訪問網(wǎng)站等維度，需要進(jìn)行多維詳單查詢。請參閱圖6b，圖6b為本發(fā)明實施例提供的數(shù)據(jù)索引方法在詳單存儲查詢中的應(yīng)用示意圖。如圖6b所示，本實施例提供的數(shù)據(jù)索引方法在詳單存儲查詢中的應(yīng)用方法如下S710、接收數(shù)據(jù)；S720、解析數(shù)據(jù)；
S730、查詢詳單；S740、網(wǎng)絡(luò)應(yīng)用呈現(xiàn)詳單。其中，步驟S730的執(zhí)行應(yīng)基于本實施例提供的數(shù)據(jù)索引方法實現(xiàn)。如步驟S730指向的虛線框所示，通過本實施例提供的數(shù)據(jù)索引方法獲得包括目標(biāo)數(shù)據(jù)的單據(jù)后，通過網(wǎng)絡(luò)應(yīng)用呈現(xiàn)所述單據(jù)。請參閱圖7，圖7為本發(fā)明實施例二提供的數(shù)據(jù)索引裝置結(jié)構(gòu)圖。如圖7所示，本實施例提供的數(shù)據(jù)索引裝置包括第一單元710、第二單元720和第三單元730。其中，第一單元710，用于獲取與N個維度對應(yīng)的、且相互獨(dú)立的N個單維索引；N大于等于2 ;第二單元720，用于判斷N個單維索引包含的地址記錄是否有交集；
第三單元730，用于根據(jù)第二單元的判斷為是的通知獲取交集對應(yīng)的地址記錄所指向的數(shù)據(jù)作為索引目標(biāo)數(shù)據(jù)。本實施例通過第一單元710根據(jù)N個維度獲取與N個維度對應(yīng)的、且相互獨(dú)立的N個單維索引，通過第二單元720判斷與維度相對應(yīng)的N個相互獨(dú)立的單維索引包含的地址記錄是否有交集，以通過第三單元730獲取交集相對應(yīng)的地址記錄所指向的數(shù)據(jù)為索引目標(biāo)數(shù)據(jù)。解決了單維索引技術(shù)無法滿足多維索引組合查詢以及多維分析的需求。作為一種可選的實施方式，第二單元，具體用于判斷所述N個單維索引中包含的地址記錄是否存在相同地址記錄；若存在，則確認(rèn)所述N個單維索引中包含的地址記錄有交集。作為一種可選的實施方式，請參閱圖8，圖8為本發(fā)明實施例二提供的第二單元的一種結(jié)構(gòu)圖，如圖8所示，第二單元720具體包括第一子單元721，用于獲取N個單維索引的地址記錄；第二子單元722，用于對地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值加I ;第三子單元723，用于判斷地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值是否等于N ；第四子單元724，用于根據(jù)第三子單元723判斷地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值等于N的判斷通知，選取地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值等于N的地址記錄作為相同地址記錄。請參閱圖9，圖9為本發(fā)明實施例二提供的第二單元的另一種結(jié)構(gòu)圖。如圖9所示，基于圖7示出的第二單元720具體包括第一獲取單元7201，用于從N個單維索引中獲取第K個單維索引作為當(dāng)前單維索弓丨，其中，K小于N且K大于零；第二獲取單元7202，用于獲取當(dāng)前單維索引的地址記錄；計數(shù)單元7203，用于對與當(dāng)前單維索引的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值加I ;第一獲取單元7201，還用于從N個單維索引中獲取第K+1個單維索引，作為當(dāng)前單維索引；控制單元7204，用于判斷K+1是否等于N ;如果不等于N，則控制第二獲取單元7202獲取當(dāng)前單維索引的地址記錄；第一獲取單元7201，還用于根據(jù)控制單元判斷K+1等于N的結(jié)果，獲取第N個單維索引的地址記錄；控制單元7204，還用于判斷第N個單維索引的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值是否等于N-I ；第一獲取單元7201，還用于根據(jù)控制單元7204判斷第N個單維索引的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值等于N-I的判斷通知，選取第N個單維索引的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值等于N-I的地址記錄，作為相同地址記錄。作為一種可選的實施方式，第二單元還包括初始化單元，用于初始化清零與地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值。作為一種可選的實施方式，數(shù)據(jù)索引裝置還包括分區(qū)存儲單元，用于根據(jù)元數(shù)據(jù)將若干數(shù)據(jù)進(jìn)行分區(qū)存儲，生成i個分區(qū)存儲區(qū)； 處理單元，用于根據(jù)分類標(biāo)準(zhǔn)對每個分區(qū)存儲區(qū)中的數(shù)據(jù)建立互相獨(dú)立的單維索弓I ;處理單元，還用于存儲每個分區(qū)存儲區(qū)及每個分區(qū)存儲區(qū)對應(yīng)包含的單維索引至相同的存儲處理節(jié)點(diǎn)上，以生成包含i個不同存儲處理節(jié)點(diǎn)的索引表。作為一種可選的實施方式，索引表包含鍵值表和地址分配表,地址分配表記錄了每個單維索引的鍵值對應(yīng)的地址記錄，鍵值表包括每個單維索引的鍵值及與鍵值對應(yīng)的地址分配表的首地址記錄的存儲地址；地址記錄表示數(shù)據(jù)記錄在分區(qū)存儲區(qū)中的偏移位置，包括記錄號和記錄長度。作為一種可選的實施方式，鍵值表的存儲方式包括有序線性存儲方式或者二叉樹存儲方式。作為一種可選的實施方式，地址分配表的存儲方式米用分塊存儲方式。請參閱圖10，圖10為本發(fā)明實施例二提供的又一種數(shù)據(jù)索引裝置結(jié)構(gòu)圖。如圖10所示，該數(shù)據(jù)索引裝置包括至少一個處理器1001，至少一個網(wǎng)絡(luò)接口 1004，存儲器1005，至少一個通信總線1002和用戶接口 1003。該通信總線1002用于實現(xiàn)上述組件之間的連接通信；該用戶接口 1003用于實現(xiàn)與用戶交互。其中，該存儲器1005可以存儲指令，以使處理器1001執(zhí)行以下流程獲取與N個維度對應(yīng)的、且相互獨(dú)立的N個單維索引；所述N大于等于2。判斷所述N個單維索引中包含的地址記錄是否有交集；若有交集，則獲取所述交集對應(yīng)的地址記錄所指向的數(shù)據(jù)作為索引目標(biāo)數(shù)據(jù)。作為一種可選的實施方式，處理器1001還可以執(zhí)行在判斷N個單維索引中包含的地址記錄是否存在相同地址記錄；若存在，則確認(rèn)所述N個單維索引中包含的地址記錄有交集。作為一種可選的實施方式，處理器1001還可以具體執(zhí)行以下流程根據(jù)N個維度獲取所述N個維度相對應(yīng)的單維索引的地址記錄；對所述地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值加I ;判斷所述地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值是否等于所述N ；如果是，則選取所述地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值等于所述N的地址記錄作為相同地址記錄。作為一種可選的實施方式，處理器1001還可以具體執(zhí)行如下流程
A、從所述N個單維索引中獲取第K個單維索引作為當(dāng)前單維索引，其中，K小于所述N且K大于零；B、獲取所述當(dāng)前單維索引的地址記錄；C、對與所述地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值加I ;D、從所述N個單維索引中獲取第K+1個單維索引，作為當(dāng)前單維索引；E、判斷K+1是否等于N ;如果不等于N則執(zhí)行步驟B ；F、根據(jù)K+1等于N的結(jié)果，則獲取第N個單維索引的地址記錄；G、判斷所述第N個單維索引的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值是否等于 N-I ； H、如果是，則選取所述第N個單維索引的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值等于N-I的所述地址記錄，作為相同地址記錄。作為一種可選的實施方式，處理器1001對與所述地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位進(jìn)行計數(shù)之前，還用于初始化清零與所述地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值。作為一種可選的實施方式，處理器1001獲取與N個維度對應(yīng)的、且相互獨(dú)立的N個單維索引之前，還執(zhí)行如下步驟根據(jù)元數(shù)據(jù)將若干數(shù)據(jù)進(jìn)行分區(qū)存儲，生成i個分區(qū)存儲區(qū)；根據(jù)分類標(biāo)準(zhǔn)對每個分區(qū)存儲區(qū)中的數(shù)據(jù)建立互相獨(dú)立的單維索引；存儲所述每個分區(qū)存儲區(qū)及所述每個分區(qū)存儲區(qū)對應(yīng)包含的單維索引至相同的存儲處理節(jié)點(diǎn)上，以生成包含i個不同存儲處理節(jié)點(diǎn)的索引表。作為一種可選的實施方式，所述索引表包含鍵值表和地址分配表，所述地址分配表記錄了每個單維索引的鍵值對應(yīng)的地址記錄，所述鍵值表包括每個單維索引的鍵值及與所述鍵值對應(yīng)的所述地址分配表的首地址記錄的存儲地址；所述地址記錄表示數(shù)據(jù)記錄在分區(qū)存儲區(qū)中的偏移位置，包括記錄號和記錄長度。作為一種可選的實施方式，所述鍵值表的存儲方式包括有序線性存儲方式或者二叉樹存儲方式。作為一種可選的實施方式，所述地址分配表的存儲方式米用分塊存儲方式。在本申請所提供的幾個實施例中，應(yīng)該理解到，所揭露的裝置和方法，可以通過其它的方式實現(xiàn)。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模塊或單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或模塊可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另外，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口、裝置、模塊或單元的間接耦合或通信連接，也可以是電的，機(jī)械的或其它的形式連接。所述作為分離部件說明的模塊或單元可以是或者也可以不是物理上分開的，作為模塊或單元顯示的部件可以是或者也可以不是物理模塊或單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)模塊或單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部模塊或單元來實現(xiàn)本發(fā)明實施例方案的目的。另外，在本發(fā)明各個實施例中的各功能模塊或單元可以集成在一個處理模塊或單元中，也可以是各個模塊或單元單獨(dú)物理存在，也可以是兩個或兩個以上模塊或單元集成在一個模塊或單元中。上述集成的模塊或單元既可以采用硬件的形式實現(xiàn)，也可以采用軟件功能單元的形式實現(xiàn)。所述集成的模塊或單元如果以軟件功能模塊或單元的形式實現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時，可以存儲在一個計算機(jī)可讀取存儲介質(zhì)中?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分，或者該技術(shù)方案的全部或部分可以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機(jī)軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機(jī)設(shè)備(可以是個人計算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括u盤、移動硬盤、只讀存儲器(R0M，Read-OnlyMemory)、隨機(jī)存取存儲器(RAM, Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。以上所述，僅為本發(fā)明的具體實施方式
，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到各種等效的修改或替換，這些修改或替換都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明 的保護(hù)范圍應(yīng)以權(quán)利要求的保護(hù)范圍為準(zhǔn)。
權(quán)利要求
1.一種數(shù)據(jù)索引方法，其特征在于，包括 獲取與N個維度對應(yīng)的、且相互獨(dú)立的N個單維索引；所述N大于等于2 ; 判斷所述N個單維索引中包含的地址記錄是否有交集； 若有交集，則獲取所述交集對應(yīng)的地址記錄所指向的數(shù)據(jù)作為索引目標(biāo)數(shù)據(jù)。
2.如權(quán)利要求I所述的數(shù)據(jù)索引方法，其特征在于，所述判斷所述N個單維索引中包含的地址記錄是否有交集包括以下步驟 判斷所述N個單維索引中包含的地址記錄是否存在相同地址記錄； 若存在，則確認(rèn)所述N個單維索引中包含的地址記錄有交集。
3.如權(quán)利要求2所述的數(shù)據(jù)索引方法，其特征在于，所述判斷所述N個單維索引包含的地址記錄是否存在相同地址記錄包括以下步驟 根據(jù)N個維度獲取所述N個維度相對應(yīng)的單維索引的地址記錄； 對所述地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值加I ; 判斷所述地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值是否等于所述N ； 如果是，則選取所述地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值等于所述N的地址記錄作為相同地址記錄。
4.如權(quán)利要求2所述的數(shù)據(jù)索引方法，其特征在于，所述判斷所述N個單維索引包含的地址記錄是否存在相同地址記錄包括以下步驟 A、從所述N個單維索引中獲取第K個單維索引作為當(dāng)前單維索引，其中，K小于所述N且K大于零； B、獲取所述當(dāng)前單維索引的地址記錄； C、對與所述地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值加I; D、從所述N個單維索引中獲取第K+1個單維索引，作為當(dāng)前單維索引； E、判斷K+1是否等于N;如果不等于N則執(zhí)行步驟B ； F、根據(jù)K+1等于N的結(jié)果，則獲取第N個單維索引的地址記錄； G、判斷所述第N個單維索引的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值是否等于N-I ； H、如果是，則選取所述第N個單維索引的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值等于N-I的所述地址記錄，作為相同地址記錄。
5.如權(quán)利要求3或4所述的數(shù)據(jù)索引方法，其特征在于，對與所述地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位進(jìn)行計數(shù)之前，所述方法還包括 初始化清零與所述地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值。
6.如權(quán)利要求5所述的數(shù)據(jù)索引方法，其特征在于，所述獲取與N個維度對應(yīng)的、且相互獨(dú)立的N個單維索引之前，所述方法還包括 根據(jù)元數(shù)據(jù)將若干數(shù)據(jù)進(jìn)行分區(qū)存儲，生成i個分區(qū)存儲區(qū)； 根據(jù)分類標(biāo)準(zhǔn)對每個分區(qū)存儲區(qū)中的數(shù)據(jù)建立互相獨(dú)立的單維索引； 存儲所述每個分區(qū)存儲區(qū)及所述每個分區(qū)存儲區(qū)對應(yīng)包含的單維索引至相同的存儲處理節(jié)點(diǎn)上，以生成包含i個不同存儲處理節(jié)點(diǎn)的索引表。
7.如權(quán)利要求6所述的數(shù)據(jù)索引方法，其特征在于，所述索引表包含鍵值表和地址分配表，所述地址分配表記錄了每個單維索引的鍵值對應(yīng)的地址記錄，所述鍵值表包括每個單維索引的鍵值及與所述鍵值對應(yīng)的存儲地址，與所述鍵值對應(yīng)的存儲地址用于指向所述鍵值對應(yīng)的地址記錄； 所述地址記錄表示數(shù)據(jù)記錄在分區(qū)存儲區(qū)中的偏移位置，包括記錄號和記錄長度。
8.如權(quán)利要求7所述的數(shù)據(jù)索引方法，其特征在于，所述鍵值表的存儲方式包括有序線性存儲方式或者二叉樹存儲方式。
9.如權(quán)利要求8所述的數(shù)據(jù)索引方法，其特征在于，所述地址分配表的存儲方式采用分塊存儲方式。
10.一種數(shù)據(jù)索引裝置，其特征在于，包括 第一單元，用于獲取與N個維度對應(yīng)的、且相互獨(dú)立的N個單維索引；所述N大于等于2 ； 第二單元，用于判斷所述N個單維索引包含的地址記錄是否有交集； 第三單元，用于獲取所述交集對應(yīng)的地址記錄所指向的數(shù)據(jù)作為索引目標(biāo)數(shù)據(jù)。
11.如權(quán)利要求10所述的數(shù)據(jù)索引裝置，其特征在于，所述第二單元，具體用于判斷所述N個單維索引中包含的地址記錄是否存在相同地址記錄；若存在，則確認(rèn)所述N個單維索引中包含的地址記錄有交集。
12.如權(quán)利要求11所述的數(shù)據(jù)索引裝置，其特征在于，所述第二單元包括 第一子單元，用于獲取所述N個單維索引的地址記錄； 第二子單元，用于對所述地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值加I ; 第三子單元，用于判斷所述地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值是否等于所述N ;第四子單元，用于根據(jù)第三子單元判斷所述地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值等于所述N的判斷通知，選取所述地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值等于所述N的地址記錄作為相同地址記錄。
13.如權(quán)利要求11所述的數(shù)據(jù)索引裝置，其特征在于，所述第二單元包括 第一獲取單元，用于從所述N個單維索引中獲取第K個單維索引作為當(dāng)前單維索引，其中，K小于所述N且K大于零； 第二獲取單元，用于獲取所述當(dāng)前單維索引的地址記錄； 計數(shù)單元，用于對與所述當(dāng)前單維索引的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值加I ; 所述第一獲取單元，還用于從所述N個單維索引中獲取第K+1個單維索引，作為當(dāng)前單維索引； 控制單元，用于判斷K+1是否等于N ;如果不等于N，則控制第二獲取單元獲取所述當(dāng)前單維索引的地址記錄； 所述第一獲取單元，還用于根據(jù)所述控制單元判斷K+1等于N的結(jié)果，獲取第N個單維索引的地址記錄； 所述控制單元，還用于判斷所述第N個單維索引的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值是否等于N-I ； 所述第一獲取單元，還用于根據(jù)所述控制單元判斷所述第N個單維索引的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值等于N-I的判斷通知，選取所述第N個單維索引的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值等于N-I的所述地址記錄，作為相同地址記錄。
14.如權(quán)利要求12或13所述數(shù)據(jù)索引裝置，其特征在于，所述第二單元還包括 初始化單元，用于初始化清零與所述地址記錄對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值。
15.如權(quán)利要求14所述的數(shù)據(jù)索引裝置，其特征在于，還包括 分區(qū)存儲單元，用于根據(jù)元數(shù)據(jù)將若干數(shù)據(jù)進(jìn)行分區(qū)存儲，生成i個分區(qū)存儲區(qū)； 處理單元，用于根據(jù)分類標(biāo)準(zhǔn)對每個分區(qū)存儲區(qū)中的數(shù)據(jù)建立互相獨(dú)立的單維索引； 所述處理單元，還用于存儲所述每個分區(qū)存儲區(qū)及所述每個分區(qū)存儲區(qū)對應(yīng)包含的單維索引至相同的存儲處理節(jié)點(diǎn)上，以生成包含i個不同存儲處理節(jié)點(diǎn)的索引表。
16.如權(quán)利要求15所述的數(shù)據(jù)索引裝置，其特征在于，所述索引表包含鍵值表和地址 分配表，所述地址分配表記錄了每個單維索引的鍵值對應(yīng)的地址記錄，所述鍵值表包括每 個單維索引的鍵值及與所述鍵值對應(yīng)的存儲地址，與所述鍵值對應(yīng)的存儲地址用于指向所述鍵值對應(yīng)的地址記錄； 所述地址記錄表示數(shù)據(jù)記錄在分區(qū)存儲區(qū)中的偏移位置，包括記錄號和記錄長度。
17.如權(quán)利要求16所述的數(shù)據(jù)索引裝置，其特征在于，所述鍵值表的存儲方式包括有序線性存儲方式或者二叉樹存儲方式。
18.如權(quán)利要求17所述的數(shù)據(jù)索引裝置，其特征在于，所述地址分配表的存儲方式采用分塊存儲方式。
全文摘要
本發(fā)明實施例公開了一種數(shù)據(jù)索引方法及裝置。本發(fā)明實施例提供的數(shù)據(jù)索引方法及裝置，根據(jù)N個維度獲取與N個維度對應(yīng)的、且相互獨(dú)立的N個單維索引，判斷與所述維度相對應(yīng)的N個所述相互獨(dú)立的單維索引包含的地址記錄是否有交集，以獲取交集相對應(yīng)的地址記錄所指向的數(shù)據(jù)為索引目標(biāo)數(shù)據(jù)。解決了單維索引技術(shù)無法滿足多維索引組合查詢以及多維分析的需求。以及通過確定與N個所述單維索引包含的地址記錄相對應(yīng)的標(biāo)簽數(shù)標(biāo)志位的計數(shù)值的大小，簡單方便地滿足了多維分析的速度要求，降低了索引的復(fù)雜度，提升了數(shù)據(jù)精確索引數(shù)據(jù)的性能。
文檔編號G06F17/30GK102890714SQ20121035647
公開日2013年1月23日 申請日期2012年9月24日 優(yōu)先權(quán)日2012年9月24日
發(fā)明者楊建洲, 王新宇 申請人:華為技術(shù)有限公司