1.一種基于數(shù)據(jù)表的數(shù)據(jù)淘汰方法,包括:
在執(zhí)行數(shù)據(jù)一致性檢測時遍歷各個數(shù)據(jù)表中的數(shù)據(jù),以檢測所述各個數(shù)據(jù)表中的數(shù)據(jù)是否一致;
在遍歷過程中針對任一個數(shù)據(jù)表,進(jìn)一步根據(jù)該數(shù)據(jù)表對應(yīng)的數(shù)據(jù)淘汰規(guī)則確定該數(shù)據(jù)表中的各個數(shù)據(jù)是否需要淘汰;
對該數(shù)據(jù)表中需要淘汰的數(shù)據(jù)進(jìn)行淘汰。
2.根據(jù)權(quán)利要求1所述的方法,其中,所述方法執(zhí)行之前,進(jìn)一步包括步驟:預(yù)先根據(jù)各個數(shù)據(jù)表的數(shù)據(jù)淘汰周期設(shè)置所述數(shù)據(jù)一致性檢測的執(zhí)行周期;和/或,
在所述方法執(zhí)行過程中,進(jìn)一步包括步驟:獲取各個數(shù)據(jù)表的數(shù)據(jù)淘汰周期,根據(jù)獲取結(jié)果調(diào)整所述數(shù)據(jù)一致性檢測的執(zhí)行周期。
3.根據(jù)權(quán)利要求1或2所述的方法,其中,所述方法執(zhí)行之前,進(jìn)一步包括步驟:預(yù)先設(shè)置并存儲各個數(shù)據(jù)表對應(yīng)的數(shù)據(jù)淘汰規(guī)則;其中,所述數(shù)據(jù)淘汰規(guī)則包括以下中的至少一個:基于數(shù)據(jù)的溫度屬性進(jìn)行淘汰的規(guī)則、以及基于數(shù)據(jù)的過期時間進(jìn)行淘汰的規(guī)則。
4.根據(jù)權(quán)利要求3所述的方法,其中,所述預(yù)先設(shè)置并存儲各個數(shù)據(jù)表對應(yīng)的數(shù)據(jù)淘汰規(guī)則的步驟之后,進(jìn)一步包括步驟:按照所述數(shù)據(jù)淘汰規(guī)則將全部數(shù)據(jù)表劃分為多個數(shù)據(jù)表分組,分別為每個數(shù)據(jù)表分組創(chuàng)建對應(yīng)的線程池,由各個線程池并行執(zhí)行后續(xù)步驟。
5.根據(jù)權(quán)利要求4所述的方法,其中,進(jìn)一步包括:為各個線程池分別設(shè)置對應(yīng)的權(quán)重值,根據(jù)各個線程池的權(quán)重值設(shè)置各個線程池內(nèi)包含的線程的數(shù)量;其中,線程池的權(quán)重值越大,線程池內(nèi)包含的線程的數(shù)量越多;線程池的權(quán)重值越小,線程池內(nèi)包含的線程的數(shù)量越少。
6.根據(jù)權(quán)利要求1-5任一所述的方法,其中,所述檢測所述各個數(shù)據(jù)表中的數(shù)據(jù)是否一致的步驟具體包括:
提取各個數(shù)據(jù)表中鍵值相同的數(shù)據(jù),計算所述鍵值相同的數(shù)據(jù)對應(yīng)的數(shù)據(jù)校驗(yàn)值,根據(jù)計算結(jié)果確定各個數(shù)據(jù)是否一致。
7.一種基于數(shù)據(jù)表的數(shù)據(jù)淘汰裝置,包括:
檢測模塊,適于在執(zhí)行數(shù)據(jù)一致性檢測時遍歷各個數(shù)據(jù)表中的數(shù)據(jù),以檢測所述各個數(shù)據(jù)表中的數(shù)據(jù)是否一致;
確定模塊,適于在遍歷過程中針對任一個數(shù)據(jù)表,進(jìn)一步根據(jù)該數(shù)據(jù)表對應(yīng)的數(shù)據(jù)淘汰規(guī)則確定該數(shù)據(jù)表中的各個數(shù)據(jù)是否需要淘汰;
淘汰模塊,適于對該數(shù)據(jù)表中需要淘汰的數(shù)據(jù)進(jìn)行淘汰。
8.根據(jù)權(quán)利要求7所述的裝置,其中,所述裝置進(jìn)一步包括:第一預(yù)處理模塊,適于預(yù)先根據(jù)各個數(shù)據(jù)表的數(shù)據(jù)淘汰周期設(shè)置所述數(shù)據(jù)一致性檢測的執(zhí)行周期;
調(diào)整模塊,適于獲取各個數(shù)據(jù)表的數(shù)據(jù)淘汰周期,根據(jù)獲取結(jié)果調(diào)整所述數(shù)據(jù)一致性檢測的執(zhí)行周期。
9.根據(jù)權(quán)利要求7或8所述的裝置,其中,所述裝置進(jìn)一步包括:第二預(yù)處理模塊,適于預(yù)先設(shè)置并存儲各個數(shù)據(jù)表對應(yīng)的數(shù)據(jù)淘汰規(guī)則;其中,所述數(shù)據(jù)淘汰規(guī)則包括以下中的至少一個:基于數(shù)據(jù)的溫度屬性進(jìn)行淘汰的規(guī)則、以及基于數(shù)據(jù)的過期時間進(jìn)行淘汰的規(guī)則。
10.根據(jù)權(quán)利要求9所述的裝置,其中,所述裝置進(jìn)一步包括:劃分創(chuàng)建模塊,適于按照所述數(shù)據(jù)淘汰規(guī)則將全部數(shù)據(jù)表劃分為多個數(shù)據(jù)表分組,分別為每個數(shù)據(jù)表分組創(chuàng)建對應(yīng)的線程池,由各個線程池并行執(zhí)行后續(xù)步驟。