一種海量結(jié)構(gòu)化日志數(shù)據(jù)全局索引管理方法及裝置制造方法
【專利摘要】本發(fā)明涉及一種海量結(jié)構(gòu)化日志數(shù)據(jù)全局索引管理方法，包括以下步驟：在數(shù)據(jù)存儲子系統(tǒng)中在其內(nèi)部的各個數(shù)據(jù)節(jié)點中建立關(guān)于結(jié)構(gòu)化日志數(shù)據(jù)的局部數(shù)據(jù)塊及索引信息，在全局索引服務(wù)器中建立全局索引表；客戶端解析用戶輸入的查詢請求，獲取目標局部數(shù)據(jù)塊的信息，客戶端確認本地是否有全局索引服務(wù)器的地址信息，客戶端根據(jù)包含有目標局部數(shù)據(jù)塊的數(shù)據(jù)節(jié)點的地址信息向數(shù)據(jù)存儲子系統(tǒng)中的相應(yīng)數(shù)據(jù)節(jié)點發(fā)送遠程調(diào)用請求；數(shù)據(jù)存儲子系統(tǒng)匯總各數(shù)據(jù)節(jié)點的響應(yīng)數(shù)據(jù)，將最終查詢結(jié)果發(fā)送給客戶端。本發(fā)明該方法有效地增加了系統(tǒng)的查詢多樣性和查詢效率，并且提高了系統(tǒng)的可擴展性。
【專利說明】一種海量結(jié)構(gòu)化日志數(shù)據(jù)全局索引管理方法及裝置
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及一種海量結(jié)構(gòu)化日志數(shù)據(jù)管理方法，特別涉及一種海量結(jié)構(gòu)化日志數(shù)據(jù)全局索引管理方法及裝置。
【背景技術(shù)】
[0002]隨著計算機技術(shù)不斷的發(fā)展，人類迎來了數(shù)字化時代，網(wǎng)絡(luò)技術(shù)迅猛發(fā)展并得到廣泛應(yīng)用，網(wǎng)絡(luò)規(guī)模不斷擴大，新的網(wǎng)絡(luò)協(xié)議和網(wǎng)絡(luò)業(yè)務(wù)不斷出現(xiàn)。在互聯(lián)網(wǎng)用戶數(shù)量迅猛增長的同時，互聯(lián)網(wǎng)用戶在訪問互聯(lián)網(wǎng)時留下的結(jié)構(gòu)化日志數(shù)據(jù)也呈現(xiàn)指數(shù)級的增長趨勢。存儲并分析海量結(jié)構(gòu)化日志數(shù)據(jù)，在分析用戶行為、網(wǎng)絡(luò)資源配置優(yōu)化以及信息安全等領(lǐng)域存在重要的研究與應(yīng)用價值。同時，存儲設(shè)備技術(shù)也在發(fā)展，能提供越來越多的存儲容量，存儲容量瓶頸問題已經(jīng)得到了很大程度的解決。因此，如何對海量結(jié)構(gòu)化日志數(shù)據(jù)進行最佳組織，提高存儲與檢索效率，成為了一個非常有意義的研究課題。
[0003]面對如此的海量日志數(shù)據(jù)，傳統(tǒng)的單機存儲數(shù)據(jù)已經(jīng)不可行，分布式存儲系統(tǒng)成為了解決這些問題的必然選擇，而高效快速的全局索引系統(tǒng)成為分布式存儲系統(tǒng)的關(guān)鍵。
[0004]索引是信息資源快速查找訪問的一種有效的手段，傳統(tǒng)的海量數(shù)據(jù)存儲系統(tǒng)主要利用哈希索引或樹索引進行全局索引設(shè)計。哈希索引是一種散列的方法，采用直接尋址技術(shù)，在理想情況下，在極短的時間內(nèi)即可以找到待查關(guān)鍵字，查找的期望時間為0(1);然而，哈希索引只適合精確查找，不適合范圍檢索，而且，Hash索引的可擴展性較差，不能很好的適應(yīng)存儲節(jié)點增加或刪減的情況。樹索引是一種基于樹構(gòu)建的元素查找方法，常見的有二叉排序樹、B樹、B+樹等。B+樹是一種多路平衡樹，在文件系統(tǒng)中很有用，它的內(nèi)節(jié)點用戶知道搜索，葉子節(jié)點包含數(shù)據(jù)目錄項，B+樹在全局索引系統(tǒng)中應(yīng)用也很廣泛。B+樹索引具有較高的空間利用率和良好的存取性能，比較適合作為海量信息的索引機制。但是，B+樹索引不適合維護多個key的索引，查詢方式也比較單一，在處理多key的復雜檢索情況下表現(xiàn)不夠理想。
[0005]在全文索引領(lǐng)域，目前最權(quán)威的方案是Apache的Lucene。Lucene是一個全文檢索引擎的架構(gòu)，提供了完整的查詢引擎和索引引擎，其主要實現(xiàn)目的是全文索引，通過文檔倒排索引及打分機制把最符合用戶查詢條件的文檔放在靠前的位置。為了實現(xiàn)這個目標，Lucene對于文檔建立了比較復雜的打分系統(tǒng)，而在分布式場景下，打分機制就顯得并不必要，因為對于記錄的評判標注只有命中，與未命中兩種。在分布式存儲場景中，如果保留打分的一系列操作，對于查詢的效率有非常大的影響，尤其是在命中的記錄條數(shù)比較多的情況下。
[0006]和目前的方法相比，針對于海量結(jié)構(gòu)化日志數(shù)據(jù)的存儲與檢索問題，本發(fā)明提出了一種新的索引管理機制。該方法將基于Lucene機制的倒排索引原理與全局索引思想相結(jié)合，可以維護多個Key的索引，支持范圍檢索，并且實現(xiàn)了基于Lucene倒排索引的索引合并與分裂機制，該方法能夠高效的將全局索引進行合并與分裂，增加了系統(tǒng)的可擴展性與查詢效率；與此同時，本發(fā)明對Lucene索引機制進行了優(yōu)化，減少了打分機制，提高了其在 分布式存儲場景下的效率。

【發(fā)明內(nèi)容】

[0007]本發(fā)明所要解決的技術(shù)問題是提供一種能夠解決數(shù)據(jù)量與檢索速率的矛盾、滿足海量結(jié)構(gòu)化日志數(shù)據(jù)檢索需求的海量結(jié)構(gòu)化日志數(shù)據(jù)全局索引管理方法及裝置。
[0008]本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下:一種海量結(jié)構(gòu)化日志數(shù)據(jù)全局索引管理方法，包括以下步驟:
[0009]步驟1:在數(shù)據(jù)存儲子系統(tǒng)中在其內(nèi)部的各個數(shù)據(jù)節(jié)點中建立關(guān)于結(jié)構(gòu)化日志數(shù)據(jù)的局部數(shù)據(jù)塊及索引信息，在全局索引服務(wù)器中建立全局索引表；
[0010]步驟2:客戶端解析用戶輸入的查詢請求，獲取目標局部數(shù)據(jù)塊的信息，客戶端確認本地是否有全局索引服務(wù)器的地址信息，如果有，轉(zhuǎn)入步驟3，如果沒有，客戶端向元數(shù)據(jù)集群發(fā)送查詢請求,元數(shù)據(jù)集群根據(jù)查詢請求將全局索引服務(wù)器的地址信息反饋給客戶端;
[0011]步驟3:客戶端根據(jù)全局索引服務(wù)器的地址信息訪問全局索引服務(wù)器，根據(jù)目標局部數(shù)據(jù)塊的信息獲取目標局部數(shù)據(jù)塊的地址信息，根據(jù)目標局部數(shù)據(jù)塊的地址信息，從全局索引服務(wù)器中的全局索引表中獲取包含有目標局部數(shù)據(jù)塊的數(shù)據(jù)節(jié)點的地址信息；
[0012]步驟4:客戶端根據(jù)包含有目標局部數(shù)據(jù)塊的數(shù)據(jù)節(jié)點的地址信息向數(shù)據(jù)存儲子系統(tǒng)中的相應(yīng)數(shù)據(jù)節(jié)點發(fā)送遠程調(diào)用請求；
[0013]步驟5:數(shù)據(jù)存儲子系統(tǒng)匯總各數(shù)據(jù)節(jié)點的響應(yīng)數(shù)據(jù)，將最終查詢結(jié)果發(fā)送給客戶端。
[0014]本發(fā)明的有益效果是:本發(fā)明采用基于Lucene倒排索引組織結(jié)構(gòu)的全局索引維護方式，同時，對Lucene索引技術(shù)進行效率改進,并添加了基于Lucene機制的全局索引合并與分裂功能，有效地增加了系統(tǒng)的查詢多樣性和查詢效率，并且提高了系統(tǒng)的可擴展性。
[0015]在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進。
[0016]進一步，所述步驟I具體為:
[0017]步驟1.1:客戶端將結(jié)構(gòu)化日志數(shù)據(jù)發(fā)送給數(shù)據(jù)存儲子系統(tǒng)，數(shù)據(jù)存儲子系統(tǒng)將結(jié)構(gòu)化日志數(shù)據(jù)分發(fā)給各個數(shù)據(jù)節(jié)點，并根據(jù)結(jié)構(gòu)化日志數(shù)據(jù)在每個數(shù)據(jù)節(jié)點上建立局部數(shù)據(jù)塊及索引信息；
[0018]步驟1.2:數(shù)據(jù)節(jié)點向全局索引服務(wù)器發(fā)送全局索引信息更新請求，所述全局索引信息更新請求中攜帶全局索引表中的全局索引信息數(shù)量變化的信息；
[0019]步驟1.3:全局索引服務(wù)器收到全局索引信息更新請求后，根據(jù)全局索引表中的全局索引信息數(shù)量變化的信息，相應(yīng)的對全局索引表進行合并或者分裂。
[0020]進一步，一種海量結(jié)構(gòu)化日志數(shù)據(jù)全局索引管理裝置，包括客戶端，數(shù)據(jù)存儲子系統(tǒng)，全局索引服務(wù)器和元數(shù)據(jù)集群；
[0021]所述客戶端，用于解析用戶輸入的查詢請求，獲取目標局部數(shù)據(jù)塊的信息，確認本地是否有全局索引服務(wù)器的地址信息，如果有，根據(jù)全局索引服務(wù)器的地址信息訪問全局索引服務(wù)器，根據(jù)目標局部數(shù)據(jù)塊的信息獲取目標局部數(shù)據(jù)塊的地址信息，根據(jù)目標局部數(shù)據(jù)塊的地址信息，從全局索引服務(wù)器中的全局索引表中獲取包含有目標局部數(shù)據(jù)塊的數(shù)據(jù)節(jié)點的地址信息，如果沒有，向元數(shù)據(jù)集群發(fā)送查詢請求，根據(jù)包含有目標局部數(shù)據(jù)塊的數(shù)據(jù)節(jié)點的地址信息向數(shù)據(jù)存儲子系統(tǒng)中的相應(yīng)數(shù)據(jù)節(jié)點發(fā)送遠程調(diào)用請求
[0022]所述數(shù)據(jù)存儲子系統(tǒng)，用于在其內(nèi)部的各個數(shù)據(jù)節(jié)點中建立關(guān)于結(jié)構(gòu)化日志數(shù)據(jù)的局部數(shù)據(jù)塊及索引信息，匯總各數(shù)據(jù)節(jié)點的響應(yīng)數(shù)據(jù)，將最終查詢結(jié)果發(fā)送給客戶端；
[0023]所述全局索引服務(wù)器，用于存儲全局索引表；
[0024]所述元數(shù)據(jù)集群，用于根據(jù)查詢請求將全局索引服務(wù)器的地址信息反饋給客戶端。
[0025]進一步，所述客戶端還用于將結(jié)構(gòu)化日志數(shù)據(jù)發(fā)送給數(shù)據(jù)存儲子系統(tǒng)。
[0026]進一步，所述數(shù)據(jù)存儲子系統(tǒng)還用于將結(jié)構(gòu)化日志數(shù)據(jù)分發(fā)給各個數(shù)據(jù)節(jié)點，并根據(jù)結(jié)構(gòu)化日志數(shù)據(jù)在每個數(shù)據(jù)節(jié)點上建立局部數(shù)據(jù)塊及索引信息，其中的數(shù)據(jù)節(jié)點向全局索引服務(wù)器發(fā)送全局索引信息更新請求，所述全局索引信息更新請求中攜帶全局索引表中的全局索引信息數(shù)量變化的信息。
[0027]進一步，所述全局索引服務(wù)器，還用于在收到全局索引信息更新請求后，根據(jù)全局索引表中的全局索引信息數(shù)量變化的信息，相應(yīng)的對全局索引表進行合并或者分裂。
【專利附圖】

【附圖說明】
[0028]圖1為本發(fā)明方法步驟流程圖；
[0029]圖2為本發(fā)明步驟I具體步驟流程圖；
[0030]圖3為本發(fā)明裝置結(jié)構(gòu)圖。
[0031]附圖中，各標號所代表的部件列表如下:
[0032]1、客戶端，2、數(shù)據(jù)存儲子系統(tǒng)，3、全局索引服務(wù)器，4、元數(shù)據(jù)集群。
【具體實施方式】
[0033]以下結(jié)合附圖對本發(fā)明的原理和特征進行描述，所舉實例只用于解釋本發(fā)明，并非用于限定本發(fā)明的范圍。
[0034]如圖1所示，為本發(fā)明方法步驟流程圖；圖2為本發(fā)明步驟I具體步驟流程圖；圖3為本發(fā)明裝置結(jié)構(gòu)圖。
[0035]實施例1
[0036]一種海量結(jié)構(gòu)化日志數(shù)據(jù)全局索引管理方法，包括以下步驟:
[0037]步驟1:在數(shù)據(jù)存儲子系統(tǒng)中在其內(nèi)部的各個數(shù)據(jù)節(jié)點中建立關(guān)于結(jié)構(gòu)化日志數(shù)據(jù)的局部數(shù)據(jù)塊及索引信息，在全局索引服務(wù)器中建立全局索引表；
[0038]步驟2:客戶端解析用戶輸入的查詢請求，獲取目標局部數(shù)據(jù)塊的信息，客戶端確認本地是否有全局索引服務(wù)器的地址信息，如果有，轉(zhuǎn)入步驟3，如果沒有，客戶端向元數(shù)據(jù)集群發(fā)送查詢請求,元數(shù)據(jù)集群根據(jù)查詢請求將全局索引服務(wù)器的地址信息反饋給客戶端;
[0039]步驟3:客戶端根據(jù)全局索引服務(wù)器的地址信息訪問全局索引服務(wù)器，根據(jù)目標局部數(shù)據(jù)塊的信息獲取目標局部數(shù)據(jù)塊的地址信息，根據(jù)目標局部數(shù)據(jù)塊的地址信息，從全局索引服務(wù)器中的全局索引表中獲取包含有目標局部數(shù)據(jù)塊的數(shù)據(jù)節(jié)點的地址信息；
[0040]步驟4:客戶端根據(jù)包含有目標局部數(shù)據(jù)塊的數(shù)據(jù)節(jié)點的地址信息向數(shù)據(jù)存儲子系統(tǒng)中的相應(yīng)數(shù)據(jù)節(jié)點發(fā)送遠程調(diào)用請求；[0041]步驟5:數(shù)據(jù)存儲子系統(tǒng)匯總各數(shù)據(jù)節(jié)點的響應(yīng)數(shù)據(jù)，將最終查詢結(jié)果發(fā)送給客戶端。
[0042]所述步驟I具體為:
[0043]步驟1.1:客戶端將結(jié)構(gòu)化日志數(shù)據(jù)發(fā)送給數(shù)據(jù)存儲子系統(tǒng)，數(shù)據(jù)存儲子系統(tǒng)將結(jié)構(gòu)化日志數(shù)據(jù)分發(fā)給各個數(shù)據(jù)節(jié)點，并根據(jù)結(jié)構(gòu)化日志數(shù)據(jù)在每個數(shù)據(jù)節(jié)點上建立局部數(shù)據(jù)塊及索引信息；
[0044]步驟1.2:數(shù)據(jù)節(jié)點向全局索引服務(wù)器發(fā)送全局索引信息更新請求，所述全局索引信息更新請求中攜帶全局索引表中的全局索引信息數(shù)量變化的信息；
[0045]步驟1.3:全局索引服務(wù)器收到全局索引信息更新請求后，根據(jù)全局索引表中的全局索引信息數(shù)量變化的信息，相應(yīng)的對全局索引表進行合并或者分裂。
[0046]—種海量結(jié)構(gòu)化日志數(shù)據(jù)全局索引管理裝置，包括客戶端1，數(shù)據(jù)存儲子系統(tǒng)2，全局索引服務(wù)器3和元數(shù)據(jù)集群4 ；
[0047]所述客戶端1，用于解析用戶輸入的查詢請求，獲取目標局部數(shù)據(jù)塊的信息，確認本地是否有全局索引服務(wù)器的地址信息，如果有，根據(jù)全局索引服務(wù)器的地址信息訪問全局索引服務(wù)器，根據(jù)目標局部數(shù)據(jù)塊的信息獲取目標局部數(shù)據(jù)塊的地址信息，根據(jù)目標局部數(shù)據(jù)塊的地址信息，從全局索引服務(wù)器中的全局索引表中獲取包含有目標局部數(shù)據(jù)塊的數(shù)據(jù)節(jié)點的地址信息，如果沒有，向元數(shù)據(jù)集群發(fā)送查詢請求，根據(jù)包含有目標局部數(shù)據(jù)塊的數(shù)據(jù)節(jié)點的地址信息向數(shù)據(jù)存儲子系統(tǒng)中的相應(yīng)數(shù)據(jù)節(jié)點發(fā)送遠程調(diào)用請求；
[0048]所述數(shù)據(jù)存儲子系統(tǒng)2，用于在其內(nèi)部的各個數(shù)據(jù)節(jié)點中建立關(guān)于結(jié)構(gòu)化日志數(shù)據(jù)的局部數(shù)據(jù)塊及索引信息，匯總各數(shù)據(jù)節(jié)點的響應(yīng)數(shù)據(jù)，將最終查詢結(jié)果發(fā)送給客戶端;
[0049]所述全局索引服務(wù)器3，用于存儲全局索引表；
[0050]所述元數(shù)據(jù)集群4，用于根據(jù)查詢請求將全局索引服務(wù)器的地址信息反饋給客戶端。
[0051]所述客戶端I還用于將結(jié)構(gòu)化日志數(shù)據(jù)發(fā)送給數(shù)據(jù)存儲子系統(tǒng)。
[0052]所述數(shù)據(jù)存儲子系統(tǒng)2還用于將結(jié)構(gòu)化日志數(shù)據(jù)分發(fā)給各個數(shù)據(jù)節(jié)點，并根據(jù)結(jié)構(gòu)化日志數(shù)據(jù)在每個數(shù)據(jù)節(jié)點上建立局部數(shù)據(jù)塊及索引信息，其中的數(shù)據(jù)節(jié)點向全局索引服務(wù)器發(fā)送全局索引信息更新請求，所述全局索引信息更新請求中攜帶全局索引表中的全局索引信息數(shù)量變化的信息。
[0053]所述全局索引服務(wù)器3，還用于在收到全局索引信息更新請求后，根據(jù)全局索引表中的全局索引信息數(shù)量變化的信息，相應(yīng)的對全局索引表進行合并或者分裂。
[0054]本發(fā)明客戶端I負責接收用戶輸入的數(shù)據(jù)，完成元數(shù)據(jù)的表結(jié)構(gòu)信息讀取，并通過內(nèi)置路由引擎將數(shù)據(jù)發(fā)送給數(shù)據(jù)存儲子系統(tǒng)進行數(shù)據(jù)持久化工作?？蛻舳薎用來接收用戶的查詢請求,解析并生成統(tǒng)一查詢結(jié)構(gòu),完成與元數(shù)據(jù)以及全局索引模塊的交互,獲取檢索請求所對應(yīng)的具體數(shù)據(jù)塊列表，并與數(shù)據(jù)存儲子系統(tǒng)2交互進行數(shù)據(jù)讀取操作。數(shù)據(jù)存儲子系統(tǒng)2主要完成數(shù)據(jù)的復雜均衡、副本拷貝、持久化等存儲與管理工作，其內(nèi)部通過數(shù)據(jù)塊或數(shù)據(jù)分片的方式來保存海量數(shù)據(jù)；元數(shù)據(jù)集群4用來維護系統(tǒng)的所有元數(shù)據(jù)信息，元數(shù)據(jù)信息總體上分為三類，第一類是物理結(jié)構(gòu)信息，包括節(jié)點的開放地址、端口號及運行狀態(tài)等；第二類是邏輯結(jié)構(gòu)信息，如各業(yè)務(wù)的存儲表結(jié)構(gòu)信息，存儲模塊各數(shù)據(jù)塊的概要描述信息，如數(shù)據(jù)塊大小，記錄數(shù)，所在節(jié)點及目錄位置等；第三類是其它輔助信息，如全局索引服務(wù)器3的地址，當前各運行節(jié)點資源占用情況監(jiān)測結(jié)果等。全局索引服務(wù)器3主要完成系統(tǒng)的全局索引管理工作，其內(nèi)部保存著基于字段的索引記錄信息，例如業(yè)務(wù)字段的key值以及key值對應(yīng)的局部數(shù)據(jù)塊邏輯ID信息等，全局索引服務(wù)器3通過在分布式的索引管理服務(wù)器上維護基于Lucene的倒排索引結(jié)構(gòu)信息，來提升數(shù)據(jù)的檢索響應(yīng)效率。
[0055]以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
【權(quán)利要求】
1.一種海量結(jié)構(gòu)化日志數(shù)據(jù)全局索引管理方法，其特征在于，包括以下步驟: 步驟1:在數(shù)據(jù)存儲子系統(tǒng)內(nèi)部的各個數(shù)據(jù)節(jié)點中建立關(guān)于結(jié)構(gòu)化日志數(shù)據(jù)的局部數(shù)據(jù)塊及索引信息，在全局索引服務(wù)器中建立全局索引表； 步驟2:客戶端解析用戶輸入的查詢請求，獲取目標局部數(shù)據(jù)塊的信息，客戶端確認客戶端上是否有全局索引服務(wù)器的地址信息，如果有，轉(zhuǎn)入步驟3，如果沒有，客戶端向元數(shù)據(jù)集群發(fā)送查詢請求,元數(shù)據(jù)集群根據(jù)查詢請求將全局索引服務(wù)器的地址信息反饋給客戶端; 步驟3:客戶端根據(jù)全局索引服務(wù)器的地址信息訪問全局索引服務(wù)器，根據(jù)目標局部數(shù)據(jù)塊的信息獲取目標局部數(shù)據(jù)塊的地址信息，根據(jù)目標局部數(shù)據(jù)塊的地址信息，從全局索引服務(wù)器中的全局索引表中獲取包含有目標局部數(shù)據(jù)塊的數(shù)據(jù)節(jié)點的地址信息； 步驟4:客戶端根據(jù)包含有目標局部數(shù)據(jù)塊的數(shù)據(jù)節(jié)點的地址信息向數(shù)據(jù)存儲子系統(tǒng)中的相應(yīng)數(shù)據(jù)節(jié)點發(fā)送遠程調(diào)用請求； 步驟5:數(shù)據(jù)存儲子系統(tǒng)匯總各數(shù)據(jù)節(jié)點的響應(yīng)數(shù)據(jù)，將最終查詢結(jié)果發(fā)送給客戶端。
2.根據(jù)權(quán)利要求1所述的海量結(jié)構(gòu)化日志數(shù)據(jù)全局索引管理方法，其特征在于，所述步驟I具體為: 步驟1.1:客戶端將結(jié)構(gòu)化日志數(shù)據(jù)發(fā)送給數(shù)據(jù)存儲子系統(tǒng)，數(shù)據(jù)存儲子系統(tǒng)將結(jié)構(gòu)化日志數(shù)據(jù)分發(fā)給各個數(shù)據(jù)節(jié)點，并根據(jù)結(jié)構(gòu)化日志數(shù)據(jù)在每個數(shù)據(jù)節(jié)點上建立局部數(shù)據(jù)塊及索引信息； 步驟1.2:數(shù)據(jù)節(jié)點向全局索引服務(wù)器發(fā)送全局索引信息更新請求，所述全局索引信息更新請求中攜帶全局索引表中的全局索引信息數(shù)量變化的信息； 步驟1.3:全局索引服務(wù)器收到全局索引信息更新請求后，根據(jù)全局索引表中的全局索引信息數(shù)量變化的信息，相應(yīng)的對全局索引表進行合并或者分裂。
3.—種海量結(jié)構(gòu)化日志數(shù)據(jù)全局索引管理裝置，其特征在于:包括客戶端(1)，數(shù)據(jù)存儲子系統(tǒng)(2)，全局索引服務(wù)器(3)和元數(shù)據(jù)集群(4); 所述客戶端(I )，用于解析用戶輸入的查詢請求，獲取目標局部數(shù)據(jù)塊的信息，確認客戶端(I)上是否有全局索引服務(wù)器的地址信息，如果有，根據(jù)全局索引服務(wù)器的地址信息訪問全局索引服務(wù)器，根據(jù)目標局部數(shù)據(jù)塊的信息獲取目標局部數(shù)據(jù)塊的地址信息，根據(jù)目標局部數(shù)據(jù)塊的地址信息，從全局索引服務(wù)器中的全局索引表中獲取包含有目標局部數(shù)據(jù)塊的數(shù)據(jù)節(jié)點的地址信息，如果沒有，向元數(shù)據(jù)集群發(fā)送查詢請求，根據(jù)包含有目標局部數(shù)據(jù)塊的數(shù)據(jù)節(jié)點的地址信息向數(shù)據(jù)存儲子系統(tǒng)中的相應(yīng)數(shù)據(jù)節(jié)點發(fā)送遠程調(diào)用請求 所述數(shù)據(jù)存儲子系統(tǒng)(2)，用于在其內(nèi)部的各個數(shù)據(jù)節(jié)點中建立關(guān)于結(jié)構(gòu)化日志數(shù)據(jù)的局部數(shù)據(jù)塊及索引信息，匯總各數(shù)據(jù)節(jié)點的響應(yīng)數(shù)據(jù)，將最終查詢結(jié)果發(fā)送給客戶端； 所述全局索引服務(wù)器(3)，用于存儲全局索引表； 所述元數(shù)據(jù)集群(4)，用于根據(jù)查詢請求將全局索引服務(wù)器的地址信息反饋給客戶端。
4.根據(jù)權(quán)利要求3所述的海量結(jié)構(gòu)化日志數(shù)據(jù)全局索引管理裝置，其特征在于:所述客戶端(I)還用于將結(jié)構(gòu)化日志數(shù)據(jù)發(fā)送給數(shù)據(jù)存儲子系統(tǒng)。
5.根據(jù)權(quán)利要求4所述的海量結(jié)構(gòu)化日志數(shù)據(jù)全局索引管理裝置，其特征在于:所述數(shù)據(jù)存儲子系統(tǒng)(2)還用于將結(jié)構(gòu)化日志數(shù)據(jù)分發(fā)給各個數(shù)據(jù)節(jié)點，并根據(jù)結(jié)構(gòu)化日志數(shù)據(jù)在每個數(shù)據(jù)節(jié)點上建立局部數(shù)據(jù)塊及索引信息，其中的數(shù)據(jù)節(jié)點向全局索引服務(wù)器發(fā)送全局索引信息更新請求，所述全局索引信息更新請求中攜帶全局索引表中的全局索引信息數(shù)量變化的信息。
6.根據(jù)權(quán)利要求5所述的海量結(jié)構(gòu)化日志數(shù)據(jù)全局索引管理裝置，其特征在于:所述全局索引服務(wù)器(3)，還用于在收到全局索引信息更新請求后，根據(jù)全局索引表中的全局索引信息數(shù)量變化的信息，相應(yīng)的對全局索引表進行合并或者分裂。
【文檔編號】G06F17/30GK103544261SQ201310484663
【公開日】2014年1月29日 申請日期:2013年10月16日 優(yōu)先權(quán)日:2013年10月16日
【發(fā)明者】陳巡遜, 王明華, 李佳, 王 琦, 常為領(lǐng), 王樹鵬, 張永錚, 王勇 申請人:國家計算機網(wǎng)絡(luò)與信息安全管理中心, 中國科學院信息工程研究所