一種基于大數(shù)據(jù)的高效搜索方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)大數(shù)據(jù)領(lǐng)域，具體涉及一種基于大數(shù)據(jù)的高效搜索方法。
【背景技術(shù)】
[0002]隨著云計(jì)算技術(shù)的飛速發(fā)展，尤其是物聯(lián)網(wǎng)技術(shù)和移動(dòng)技術(shù)的發(fā)展，越來(lái)越多的數(shù)據(jù)被人、各種傳感設(shè)備或者機(jī)器所產(chǎn)生。越來(lái)越多的應(yīng)用每個(gè)月都會(huì)產(chǎn)生TB級(jí)別甚至PB級(jí)別的數(shù)據(jù)，與此同時(shí)，越來(lái)越多的需求也需要每天處理幾十PB、幾百PB甚至EB級(jí)的數(shù)據(jù)。
[0003]雖然針對(duì)大數(shù)據(jù)的處理已經(jīng)有許多新的技術(shù)或者方法，但是如何從PB級(jí)這樣的大數(shù)據(jù)中取出滿足用戶查詢需求的一條記錄或者合適的網(wǎng)頁(yè)，仍然需要花費(fèi)很長(zhǎng)的時(shí)間，這對(duì)于交互式的查詢，尤其是即時(shí)查詢來(lái)說(shuō)，仍然是一個(gè)巨大的挑戰(zhàn)。
[0004]雖然現(xiàn)在已經(jīng)有各種各樣的搜索方法出現(xiàn)，但是仍然很難滿足這種針對(duì)大數(shù)據(jù)搜索的需求。針對(duì)這種情況，本發(fā)明提出了一種新的基于大數(shù)據(jù)的高效搜索方法。這種新的搜索方法將為大數(shù)據(jù)的查詢，尤其是針對(duì)大數(shù)據(jù)的即時(shí)查詢提供一種新的思路和方法，對(duì)實(shí)現(xiàn)交互式的查詢具有重要的意義。

【發(fā)明內(nèi)容】

[0005]本發(fā)明要解決的技術(shù)問(wèn)題是:針對(duì)大數(shù)據(jù)搜索效率低下的問(wèn)題，本發(fā)明提出了一種高效的搜索方法。將共享的歷史查詢結(jié)果作為中間結(jié)果集，在新的查詢請(qǐng)求到達(dá)時(shí)，首先與歷史查詢進(jìn)行匹配，若能實(shí)現(xiàn)匹配，則直接將匹配部分的歷史查詢結(jié)果直接作為新查詢請(qǐng)求結(jié)果的一部分。這減少了大量的對(duì)歷史查詢的重復(fù)計(jì)算，節(jié)省了搜索時(shí)間，提高了查詢效率。
[0006]本發(fā)明所采用的技術(shù)方案為:
一種基于大數(shù)據(jù)的高效搜索方法，所述方法根據(jù)來(lái)自用戶的新的查詢請(qǐng)求，首先判斷歷史記錄上是否有針對(duì)該查詢或者部分查詢的先例，若有，則共享歷史查詢的結(jié)果集合，以減少重新針對(duì)大數(shù)據(jù)的集合進(jìn)行全部查詢帶來(lái)的時(shí)間消耗。
[0007]所述方法實(shí)現(xiàn)步驟如下:
步驟一:用戶首先提出新的查詢請(qǐng)求；
步驟二:對(duì)來(lái)自用戶新的查詢請(qǐng)求和歷史查詢網(wǎng)進(jìn)行匹配，
步驟三:將用戶查詢所需的結(jié)果反饋給用戶；
步驟四:實(shí)現(xiàn)對(duì)歷史查詢網(wǎng)的更新。
[0008]所述匹配有如下3種情況:
1)完全共享:若為完全共享，則表明用戶新來(lái)的查詢請(qǐng)求以前同樣出現(xiàn)過(guò)，這樣以前同樣的查詢所得到的查詢結(jié)果可以直接為本次查詢所利用；
2)部分共享:若為部分共享，則表明用戶新來(lái)的查詢請(qǐng)求以前部分出現(xiàn)過(guò)，這樣以前同樣的查詢部分所得到的查詢結(jié)果可以直接為本次查詢所利用；
3)不共享:若為完全不共享，則表明用戶新來(lái)的查詢請(qǐng)求沒(méi)有任何歷史查詢記錄可供共享，需要重新執(zhí)行查詢。
[0009]所述新的查詢請(qǐng)求與歷史查詢網(wǎng)匹配的算法，實(shí)現(xiàn)步驟如下:
步驟一:找到與新的查詢請(qǐng)求的數(shù)據(jù)源相同的云數(shù)據(jù)庫(kù)；
步驟二:查找云數(shù)據(jù)庫(kù)下的Si節(jié)點(diǎn)，找到后做一標(biāo)記，并跳到步驟三；若沒(méi)有找到，則退出程序；
步驟三:繼續(xù)在步驟二的基礎(chǔ)上往下找節(jié)點(diǎn)S7，找到后做一標(biāo)記，并跳到步驟三，若沒(méi)有找到，則退出程序；
步驟四:重復(fù)步驟三，直到退出程序。
[0010]所述歷史查詢網(wǎng)的更新算法，實(shí)現(xiàn)步驟如下:
步驟一:找到與新的查詢請(qǐng)求的數(shù)據(jù)源相同的云數(shù)據(jù)庫(kù)；
步驟二:查找云數(shù)據(jù)庫(kù)下的Si節(jié)點(diǎn)，找到后做一標(biāo)記，并跳到步驟三，若沒(méi)有找到，則將新的查詢節(jié)點(diǎn)連接到該云數(shù)據(jù)庫(kù)；
步驟三:重復(fù)步驟二，直到所有的新節(jié)點(diǎn)均已經(jīng)更新。
[0011]本發(fā)明的有益效果為:本發(fā)明方法針對(duì)大數(shù)據(jù)搜索效率低下的問(wèn)題，將共享的歷史查詢結(jié)果作為中間結(jié)果集，在新的查詢請(qǐng)求到達(dá)時(shí)，首先與歷史查詢進(jìn)行匹配，若能實(shí)現(xiàn)匹配，則直接將匹配部分的歷史查詢結(jié)果直接作為新查詢請(qǐng)求結(jié)果的一部分，減少了大量的對(duì)歷史查詢的重復(fù)計(jì)算，節(jié)省了搜索時(shí)間，提高了查詢效率。
【附圖說(shuō)明】
[0012]圖1為本發(fā)明方法大數(shù)據(jù)的搜索框架圖；
圖2為新的查詢請(qǐng)求與歷史查詢網(wǎng)匹配示意圖；
圖3為更新后的歷史查詢網(wǎng)示意圖。
【具體實(shí)施方式】
[0013]下面通過(guò)【具體實(shí)施方式】對(duì)本發(fā)明進(jìn)一步說(shuō)明:
實(shí)施例1:
一種基于大數(shù)據(jù)的高效搜索方法，所述方法根據(jù)來(lái)自用戶的新的查詢請(qǐng)求，首先判斷歷史記錄上是否有針對(duì)該查詢或者部分查詢的先例，若有，則共享歷史查詢的結(jié)果集合，以減少重新針對(duì)大數(shù)據(jù)的集合進(jìn)行全部查詢帶來(lái)的時(shí)間消耗。
[0014]實(shí)施例2:
在實(shí)施例1的基礎(chǔ)上，本實(shí)施例所述方法實(shí)現(xiàn)步驟如下:
步驟一:用戶首先提出新的查詢請(qǐng)求；
步驟二:對(duì)來(lái)自用戶新的查詢請(qǐng)求和歷史查詢網(wǎng)進(jìn)行匹配，
步驟三:將用戶查詢所需的結(jié)果反饋給用戶；
步驟四:實(shí)現(xiàn)對(duì)歷史查詢網(wǎng)的更新。
[0015]實(shí)施例3:
如圖1所示，在實(shí)施例2的基礎(chǔ)上，本實(shí)施例所述匹配有如下3種情況:
I)完全共享:若為完全共享，則表明用戶新來(lái)的查詢請(qǐng)求以前同樣出現(xiàn)過(guò)，這樣以前同樣的查詢所得到的查詢結(jié)果可以直接為本次查詢所利用； 其需要執(zhí)行如下處理即可:
a.共享歷史同樣查詢的查詢結(jié)果；
b.由于歷史查詢只是對(duì)某段時(shí)間以前的數(shù)據(jù)進(jìn)行的查詢，有可能在該歷史查詢后又有新的數(shù)據(jù)記錄產(chǎn)生，因此對(duì)新增的數(shù)據(jù)仍然需要執(zhí)行查詢，并得出相關(guān)結(jié)果；
c.將a和b的結(jié)果進(jìn)行合并，得到用戶所需的最終結(jié)果；
2)部分共享:若為部分共享，則表明用戶新來(lái)的查詢請(qǐng)求以前部分出現(xiàn)過(guò)，這樣以前同樣的查詢部分所得到的查詢結(jié)果可以直接為本次查詢所利用；
其需要執(zhí)行如下處理即可:
a.共享歷史同樣的部分查詢的查詢結(jié)果；
b.由于歷史查詢只是對(duì)某段時(shí)間以前的數(shù)據(jù)進(jìn)行的查詢，有可能在該歷史查詢后又有新的數(shù)據(jù)記錄產(chǎn)生，因此對(duì)新增的數(shù)據(jù)仍然需要執(zhí)行查詢，并得出相關(guān)結(jié)果；
c.其中a和b只是得到了查詢相同部分的共享結(jié)果，對(duì)于查詢不相同部分仍然需要執(zhí)行查詢，并得到相應(yīng)的結(jié)果；
d.將a、b和c的結(jié)果進(jìn)行合并，得到用戶所需的最終結(jié)果；
3)不共享:若為完全不共享，則表明用戶新來(lái)的查詢請(qǐng)求沒(méi)有任何歷史查詢記錄可供共享，需要重新執(zhí)行查詢；
其需要執(zhí)行如下處理即可:
a.執(zhí)行全部的查詢，并得到相應(yīng)結(jié)果；
b.其中a所得到的結(jié)果即為用戶所需的最終結(jié)果。
[0016]實(shí)施例4:
在實(shí)施例2的基礎(chǔ)上，本實(shí)施例所述新的查詢請(qǐng)求與歷史查詢網(wǎng)匹配的算法，如附圖2所示，輸入:新的查詢請(qǐng)求，歷史查詢網(wǎng)；輸出:新的查詢請(qǐng)求和歷史查詢網(wǎng)的匹配情況，即哪些節(jié)點(diǎn)匹配成功，匹配不成功的節(jié)點(diǎn)為新的查詢請(qǐng)求節(jié)點(diǎn)，實(shí)現(xiàn)步驟如下:
步驟一:找到與新的查詢請(qǐng)求的數(shù)據(jù)源相同的云數(shù)據(jù)庫(kù)；
步驟二:查找云數(shù)據(jù)庫(kù)下的SI節(jié)點(diǎn)，找到后做一標(biāo)記，并跳到步驟三；若沒(méi)有找到，則退出程序；
步驟三:繼續(xù)在步驟二的基礎(chǔ)上往下找節(jié)點(diǎn)S7，找到后做一標(biāo)記，并跳到步驟三，若沒(méi)有找到，則退出程序；
步驟四:重復(fù)步驟三，直到退出程序。
[0017]實(shí)施例5:
在實(shí)施例2的基礎(chǔ)上，本實(shí)施例所述歷史查詢網(wǎng)的更新算法，如附圖3所示，輸入:查詢請(qǐng)求、歷史查詢網(wǎng)；輸出:更新后的查詢網(wǎng)，實(shí)現(xiàn)步驟如下:
步驟一:找到與新的查詢請(qǐng)求的數(shù)據(jù)源相同的云數(shù)據(jù)庫(kù)；
步驟二:查找云數(shù)據(jù)庫(kù)下的SI節(jié)點(diǎn)，找到后做一標(biāo)記，并跳到步驟三，若沒(méi)有找到，則將新的查詢節(jié)點(diǎn)連接到該云數(shù)據(jù)庫(kù)；
步驟三:重復(fù)步驟二，直到所有的新節(jié)點(diǎn)均已經(jīng)更新。
[0018]以上實(shí)施方式僅用于說(shuō)明本發(fā)明，而并非對(duì)本發(fā)明的限制，有關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員，在不脫離本發(fā)明的精神和范圍的情況下，還可以做出各種變化和變型，因此所有等同的技術(shù)方案也屬于本發(fā)明的范疇，本發(fā)明的專利保護(hù)范圍應(yīng)由權(quán)利要求限定。
【主權(quán)項(xiàng)】
1.一種基于大數(shù)據(jù)的高效搜索方法，其特征在于:所述方法根據(jù)來(lái)自用戶的新的查詢請(qǐng)求，首先判斷歷史記錄上是否有針對(duì)該查詢或者部分查詢的先例，若有，則共享歷史查詢的結(jié)果集合。
2.根據(jù)權(quán)利要求1所述的一種基于大數(shù)據(jù)的高效搜索方法，其特征在于，所述方法實(shí)現(xiàn)步驟如下: 步驟一:用戶首先提出新的查詢請(qǐng)求； 步驟二:對(duì)來(lái)自用戶新的查詢請(qǐng)求和歷史查詢網(wǎng)進(jìn)行匹配， 步驟三:將用戶查詢所需的結(jié)果反饋給用戶； 步驟四:實(shí)現(xiàn)對(duì)歷史查詢網(wǎng)的更新。
3.根據(jù)權(quán)利要求2所述的一種基于大數(shù)據(jù)的高效搜索方法，其特征在于，所述匹配有如下3種情況: 1)完全共享:若為完全共享，則表明用戶新來(lái)的查詢請(qǐng)求以前同樣出現(xiàn)過(guò)，這樣以前同樣的查詢所得到的查詢結(jié)果可以直接為本次查詢所利用； 2)部分共享:若為部分共享，則表明用戶新來(lái)的查詢請(qǐng)求以前部分出現(xiàn)過(guò)，這樣以前同樣的查詢部分所得到的查詢結(jié)果可以直接為本次查詢所利用； 3)不共享:若為完全不共享，則表明用戶新來(lái)的查詢請(qǐng)求沒(méi)有任何歷史查詢記錄可供共享，需要重新執(zhí)行查詢。
4.根據(jù)權(quán)利要求2所述的一種基于大數(shù)據(jù)的高效搜索方法，其特征在于:所述新的查詢請(qǐng)求與歷史查詢網(wǎng)匹配的算法，實(shí)現(xiàn)步驟如下: 步驟一:找到與新的查詢請(qǐng)求的數(shù)據(jù)源相同的云數(shù)據(jù)庫(kù)； 步驟二:查找云數(shù)據(jù)庫(kù)下的SI節(jié)點(diǎn)，找到后做一標(biāo)記，并跳到步驟三；若沒(méi)有找到，則退出程序； 步驟三:繼續(xù)在步驟二的基礎(chǔ)上往下找節(jié)點(diǎn)S7，找到后做一標(biāo)記，并跳到步驟三，若沒(méi)有找到，則退出程序； 步驟四:重復(fù)步驟三，直到退出程序。
5.根據(jù)權(quán)利要求2所述的一種基于大數(shù)據(jù)的高效搜索方法，其特征在于:所述歷史查詢網(wǎng)的更新算法，實(shí)現(xiàn)步驟如下: 步驟一:找到與新的查詢請(qǐng)求的數(shù)據(jù)源相同的云數(shù)據(jù)庫(kù)； 步驟二:查找云數(shù)據(jù)庫(kù)下的SI節(jié)點(diǎn)，找到后做一標(biāo)記，并跳到步驟三，若沒(méi)有找到，則將新的查詢節(jié)點(diǎn)連接到該云數(shù)據(jù)庫(kù)； 步驟三:重復(fù)步驟二，直到所有的新節(jié)點(diǎn)均已經(jīng)更新。
【專利摘要】本發(fā)明公開(kāi)了一種基于大數(shù)據(jù)的高效搜索方法，所述方法根據(jù)來(lái)自用戶的新的查詢請(qǐng)求，首先判斷歷史記錄上是否有針對(duì)該查詢或者部分查詢的先例，若有，則共享歷史查詢的結(jié)果集合。本發(fā)明方法針對(duì)大數(shù)據(jù)搜索效率低下的問(wèn)題，減少了大量的對(duì)歷史查詢的重復(fù)計(jì)算，節(jié)省了搜索時(shí)間，提高了查詢效率。
【IPC分類】G06F17-30
【公開(kāi)號(hào)】CN104765800
【申請(qǐng)?zhí)枴緾N201510142893
【發(fā)明人】馬辰, 聶品, 于治樓
【申請(qǐng)人】浪潮集團(tuán)有限公司
【公開(kāi)日】2015年7月8日
【申請(qǐng)日】2015年3月30日