基于雙閾值的分布式Top-|K|查詢方法
【專利摘要】本發(fā)明涉及基于雙閾值的分布式Top-|K|查詢方法。整個方案包括了三個階段：雙閾值計算階段、候選集計算階段、Top-|K|查詢階段。本發(fā)明涉及一種分布式網(wǎng)絡(luò)環(huán)境中查詢絕對值最大的前K項元素聚合值(聚合函數(shù)的計算結(jié)果，如所有元素值的和)的方法，具體是一種通過部分已知數(shù)據(jù)構(gòu)建分布式系統(tǒng)中元素聚合值的正、負閾值，從而在有限次交互過程中實現(xiàn)對絕對值最大的前K項元素聚合值進行查詢的方法，可以應(yīng)用于互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等分布式系統(tǒng)中元素聚合值的Top-|K|項查詢。本發(fā)明能夠大大節(jié)省數(shù)據(jù)傳輸量，降低查詢時延。
【專利說明】基于雙閾值的分布式Top-|K|查詢方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種分布式網(wǎng)絡(luò)環(huán)境中查詢絕對值最大的前K項元素聚合值(聚合函數(shù)的計算結(jié)果，如所有元素值的和)的方法，具體是一種通過部分已知數(shù)據(jù)構(gòu)建分布式系統(tǒng)中元素聚合值的正、負閾值，從而在有限次交互過程中實現(xiàn)對絕對值最大的前K項元素聚合值進行查詢的方法，可以應(yīng)用于互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等分布式系統(tǒng)中元素聚合值的Top-1KI項查詢。
【背景技術(shù)】
[0002]隨著信息技術(shù)的不斷發(fā)展，人們獲取和處理數(shù)據(jù)的規(guī)模越來越大。在眾多分布式應(yīng)用中，如何實現(xiàn)快速高效地查詢大規(guī)模數(shù)據(jù)集中的前|κ|項數(shù)據(jù)具有重要的作用。分布式系統(tǒng)中需要處理的數(shù)據(jù)集分散在多個節(jié)點內(nèi)，如圖1所示。因此，獲取同一元素的聚合值需要在多個節(jié)點間傳遞相應(yīng)元素的信息。進而，查詢絕對值最大的前K項元素聚合值需要在分布式系統(tǒng)中頻繁傳遞 大量的交互信息，從而造成帶寬的消耗和查詢的延時。
[0003]目前，分布式系 統(tǒng)中Top-1Kl查詢采用單閾值的方法，查詢過程需要在管理節(jié)點和成員節(jié)點間進行多次信息交換，需要消耗大量的帶寬并產(chǎn)生較長時間的延遲，同時無法提前確定需求交互的次數(shù)。其他的Top-κ方法只適用于具有單調(diào)特性的聚合函數(shù)，無法實現(xiàn)對絕對值最大的前K項元素聚合值進行查詢的需求。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于查詢分布式系統(tǒng)中絕對值最大的前K項元素的聚合值，適用于具有兩階段單調(diào)特性的聚合函數(shù)。
[0005]為實現(xiàn)上述目的，本發(fā)明采取了以下技術(shù)方案。整個方案包括了三個階段:雙閾值計算階段、候選集計算階段、Top-1Kl查詢階段。方案中管理節(jié)點與成員節(jié)點之間的交互過程如圖2所不。
[0006]分布式系統(tǒng)由m個節(jié)點構(gòu)成，其中包括一個管理節(jié)點和多個成員節(jié)點，每個節(jié)點中包含一個由若干對(索引，值)構(gòu)成并按值降序排列的元素列表Lj= {(i,Vj(i)),i=I,…η」},其中η」為該節(jié)點中包含元素的個數(shù)。管理節(jié)點遵循與成員節(jié)點相同的元素選
取規(guī)則。定義全部元素和
【權(quán)利要求】
1.基于雙閾值的分布式Top-lKl查詢方法，其特征在于，整個方案包括了三個階段:雙閾值計算階段、候選集計算階段、Top-ΙκΙ查詢階段； 分布式系統(tǒng)由m個節(jié)點構(gòu)成，其中包括一個管理節(jié)點和多個成員節(jié)點，每個節(jié)點中包含一個由若干對(索引，值)構(gòu)成并按值降序排列的元素列表Lj= {(i，vdi))，i = 1,...ηj}，其中ηj為該節(jié)點中包含元素的個數(shù)；




管理節(jié)點遵循與成員節(jié)點相同的元素選取規(guī)則；定義全部元素和
【文檔編號】G06F17/30GK103984707SQ201410175464
【公開日】2014年8月13日 申請日期:2014年4月28日 優(yōu)先權(quán)日:2014年4月28日
【發(fā)明者】李國瑞, 王穎 申請人:東北大學(xué)