本發(fā)明涉及數(shù)據(jù)處理，具體是一種高并發(fā)環(huán)境下的數(shù)據(jù)緩存排序方法及系統(tǒng)。

背景技術(shù)：

1、大型項(xiàng)目的生產(chǎn)環(huán)境中，會(huì)面對(duì)復(fù)雜的多方系統(tǒng)建設(shè)，需要針對(duì)協(xié)議、接口設(shè)計(jì)等做相應(yīng)配合處理，以實(shí)現(xiàn)各子系統(tǒng)聯(lián)合運(yùn)行，完成相應(yīng)的生產(chǎn)運(yùn)行目的。但部分場(chǎng)景下，由于早期建設(shè)的系統(tǒng)未考慮更多場(chǎng)景拓展，數(shù)據(jù)協(xié)議不完備且難以擴(kuò)充，又無(wú)法短時(shí)間通過(guò)耗費(fèi)大量人力物力財(cái)力去改造重建。

2、在需要對(duì)接實(shí)現(xiàn)新技術(shù)賦能的場(chǎng)景下，如音頻、視頻流或其他高并發(fā)持續(xù)發(fā)送數(shù)據(jù)的需要接入新場(chǎng)景，由于產(chǎn)品以前設(shè)計(jì)的缺陷，如標(biāo)識(shí)序號(hào)不足、序號(hào)易重復(fù)、沒(méi)有時(shí)間戳等可靠標(biāo)識(shí)、數(shù)據(jù)亂序、數(shù)據(jù)丟包等情況，會(huì)導(dǎo)致對(duì)接與后續(xù)設(shè)計(jì)工作形成極大阻力。

3、在現(xiàn)有網(wǎng)絡(luò)條件和通用技術(shù)場(chǎng)景下，采用緩存、分布式緩存、數(shù)據(jù)庫(kù)寫(xiě)入、多線(xiàn)程處理等，由于高并發(fā)數(shù)據(jù)的重復(fù)發(fā)送、序號(hào)不足易重復(fù)、亂序、丟包和無(wú)可靠標(biāo)識(shí)等，均會(huì)存在很多缺陷，無(wú)法實(shí)現(xiàn)數(shù)據(jù)的可靠組合排序與兼顧性能、穩(wěn)定性。

4、所以，為兼顧新、老服務(wù)系統(tǒng)的共同接入使用，需要在架構(gòu)、設(shè)計(jì)上做針對(duì)性改造與創(chuàng)新處理，為未來(lái)更好地更新迭代設(shè)計(jì)做好基礎(chǔ)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明旨在提供一種高并發(fā)環(huán)境下的數(shù)據(jù)緩存與排序方法及系統(tǒng)，以有效解決上述問(wèn)題。

2、一種高并發(fā)數(shù)據(jù)緩存排序方法，包括以下步驟：

3、1.?一種高并發(fā)數(shù)據(jù)緩存排序方法，包括以下步驟：

4、s1.多線(xiàn)程接收數(shù)據(jù)，接收的數(shù)據(jù)包括：數(shù)據(jù)值v和數(shù)據(jù)序號(hào)s，設(shè)置分段時(shí)間閾值和間隔時(shí)間閾值，生成本地網(wǎng)絡(luò)時(shí)間戳t；

5、s2.將本地網(wǎng)絡(luò)時(shí)間戳t和數(shù)據(jù)序號(hào)s組合成主鍵p（t，s），再將組合成主鍵p（t，s）和數(shù)據(jù)值v寫(xiě)入一級(jí)緩存組合形成組合數(shù)據(jù)（p（t，s），v）；

6、s3.在接收數(shù)據(jù)時(shí)同時(shí)啟動(dòng)線(xiàn)程池1，從一級(jí)緩存中讀取組合數(shù)據(jù)（p（t，s），v），并通過(guò)與數(shù)據(jù)序號(hào)s、本地網(wǎng)絡(luò)時(shí)間戳t、間隔時(shí)間閾值有關(guān)的間隔時(shí)間判斷路徑寫(xiě)入二級(jí)緩存的當(dāng)前檢查緩沖隊(duì)列或與數(shù)據(jù)序號(hào)s、本地網(wǎng)絡(luò)時(shí)間戳t、數(shù)據(jù)值v、分段時(shí)間閾值、間隔時(shí)間閾值有關(guān)的綜合判斷路徑來(lái)確定是否寫(xiě)入二級(jí)緩存的另一個(gè)檢查緩沖隊(duì)列；

7、s4.在接收數(shù)據(jù)時(shí)同時(shí)啟動(dòng)線(xiàn)程池2，從二級(jí)緩存按兩個(gè)檢查緩沖隊(duì)列中各自的數(shù)據(jù)排序順序開(kāi)始讀取相應(yīng)數(shù)據(jù)序號(hào)s以及對(duì)應(yīng)的數(shù)據(jù)值v；

8、如果一段所有數(shù)據(jù)序號(hào)s齊全，則按檢查緩沖隊(duì)列中數(shù)據(jù)排序順序讀取數(shù)據(jù)并移除緩沖隊(duì)列中相應(yīng)數(shù)據(jù)，將數(shù)據(jù)進(jìn)行下一步分析與處理操作；

9、如果數(shù)據(jù)序號(hào)s不全，則按檢查緩沖隊(duì)列中數(shù)據(jù)排序順序讀取，到缺失的數(shù)據(jù)序號(hào)s位置時(shí)，等待線(xiàn)程池1讀取分析對(duì)應(yīng)的數(shù)據(jù)序號(hào)s+1以及數(shù)據(jù)序號(hào)s+1對(duì)應(yīng)的數(shù)據(jù)值v，如果等待時(shí)間超出間隔時(shí)間閾值，則忽略數(shù)據(jù)序號(hào)s+1以及對(duì)應(yīng)的數(shù)據(jù)值v，繼續(xù)取下一個(gè)數(shù)據(jù)進(jìn)行分析處理并移除。

10、進(jìn)一步的，間隔時(shí)間判斷路徑具體為：

11、s311.啟動(dòng)線(xiàn)程池1，從一級(jí)緩存中讀取組合數(shù)據(jù)（p（t，s），v）；

12、s312.獲取組合數(shù)據(jù)（p（t，s），v）中的數(shù)據(jù)序號(hào)s，且數(shù)據(jù)序號(hào)s不存在于任意一個(gè)檢查緩沖隊(duì)列；

13、s313.當(dāng)前檢查隊(duì)列不為空隊(duì)列，否則轉(zhuǎn)s315；

14、s314.將上一個(gè)存在于當(dāng)前檢查隊(duì)列數(shù)據(jù)的本地網(wǎng)絡(luò)時(shí)間戳與組合數(shù)據(jù)（p（t，s），v）的本地網(wǎng)絡(luò)時(shí)間戳t做差，得到差值，且差值小于等于間隔時(shí)間閾值；

15、s315.將組合數(shù)據(jù)（p（t，s），v）寫(xiě)入當(dāng)前檢查隊(duì)列并刪除一級(jí)緩存中的組合數(shù)據(jù)（p（t，s），v）并轉(zhuǎn)s1。

16、進(jìn)一步的，綜合判斷路徑具體為：

17、s321.啟動(dòng)線(xiàn)程池1，從一級(jí)緩存中讀取組合數(shù)據(jù)（p（t，s），v）；

18、s322.獲取組合數(shù)據(jù)（p（t，s），v）中的數(shù)據(jù)序號(hào)s，且數(shù)據(jù)序號(hào)s存在于任意一個(gè)檢查緩沖隊(duì)列；

19、s323.獲取組合數(shù)據(jù)（p（t，s），v）中的數(shù)據(jù)值v，且數(shù)據(jù)值v和已存在的數(shù)據(jù)序號(hào)對(duì)應(yīng)的已存在的數(shù)據(jù)值相同；

20、s324.組合數(shù)據(jù)的本地網(wǎng)絡(luò)時(shí)間戳t與數(shù)據(jù)序號(hào)s相同的已存在數(shù)據(jù)序號(hào)對(duì)應(yīng)的本地網(wǎng)絡(luò)時(shí)間戳進(jìn)行做差得到時(shí)間差；

21、s325.時(shí)間差大于分段時(shí)間閾值；否則轉(zhuǎn)s330；

22、s326.組合數(shù)據(jù)（p（t，s），v）不存在于另一個(gè)檢查緩沖隊(duì)列；否則轉(zhuǎn)s330；

23、s327.另一個(gè)緩沖隊(duì)列不為空隊(duì)列，否則轉(zhuǎn)s329；

24、s328.將上一個(gè)存在于另一個(gè)緩沖隊(duì)列的數(shù)據(jù)的本地網(wǎng)絡(luò)時(shí)間戳與組合數(shù)據(jù)的本地網(wǎng)絡(luò)時(shí)間戳做差，當(dāng)差值小于或等于間隔時(shí)間閾值轉(zhuǎn)s329；否則轉(zhuǎn)s330；

25、s329.將組合數(shù)據(jù)（p（t，s），v）寫(xiě)入另一個(gè)檢查緩沖隊(duì)列；

26、s330.刪除一級(jí)緩存中的對(duì)應(yīng)的組合數(shù)據(jù)（p（t，s），v）并丟棄轉(zhuǎn)s1。

27、進(jìn)一步的，綜合判斷路徑具體為：

28、s321.啟動(dòng)線(xiàn)程池1，從一級(jí)緩存中讀取組合數(shù)據(jù)（p（t，s），v）；

29、s322.獲取組合數(shù)據(jù)（p（t，s），v）中的數(shù)據(jù)序號(hào)s，且數(shù)據(jù)序號(hào)s存在于任意一個(gè)檢查緩沖隊(duì)列；

30、s323.獲取組合數(shù)據(jù)（p（t，s），v）中的數(shù)據(jù)值v，且數(shù)據(jù)值v和已存在的數(shù)據(jù)序號(hào)對(duì)應(yīng)的已存在的數(shù)據(jù)值不相同；

31、s324.組合數(shù)據(jù)（p（t，s），v）不存在于另一個(gè)檢查緩沖隊(duì)列;?否則轉(zhuǎn)s328；

32、s325.另一個(gè)緩沖隊(duì)列不為空隊(duì)列，否則轉(zhuǎn)s327；

33、s326.將上一個(gè)存在于另一個(gè)緩沖隊(duì)列的數(shù)據(jù)的本地網(wǎng)絡(luò)時(shí)間戳與組合數(shù)據(jù)的本地網(wǎng)絡(luò)時(shí)間戳做差，當(dāng)差值小于或等于間隔時(shí)間閾值轉(zhuǎn)s327；否則轉(zhuǎn)s328；

34、s327.將組合數(shù)據(jù)（p（t，s），v）寫(xiě)入另一個(gè)檢查緩沖隊(duì)列；

35、s328.刪除一級(jí)緩存中的對(duì)應(yīng)的組合數(shù)據(jù)（p（t，s），v）并丟棄轉(zhuǎn)s1。

36、進(jìn)一步的，綜合判斷路徑具體為：

37、s321.啟動(dòng)線(xiàn)程池1，從一級(jí)緩存中讀取組合數(shù)據(jù)（p（t，s），v）；

38、s322.獲取組合數(shù)據(jù)（p（t，s），v）中的數(shù)據(jù)序號(hào)s，且數(shù)據(jù)序號(hào)s不存在于任意一個(gè)檢查緩沖隊(duì)列；

39、s323.當(dāng)前檢查隊(duì)列不為空隊(duì)列；

40、s324.將上一個(gè)存在于當(dāng)前檢查隊(duì)列數(shù)據(jù)的本地網(wǎng)絡(luò)時(shí)間戳與組合數(shù)據(jù)（p（t，s），v）的本地網(wǎng)絡(luò)時(shí)間戳做差，得到差值，且差值大于間隔時(shí)間閾值；

41、s325.組合數(shù)據(jù)（p（t，s），v）不存在于另一個(gè)檢查緩沖隊(duì)列；否則轉(zhuǎn)s329；

42、s326.?另一個(gè)緩沖隊(duì)列不為空隊(duì)列，否則轉(zhuǎn)s328；

43、s327.將上一個(gè)存在于另一個(gè)緩沖隊(duì)列的數(shù)據(jù)的本地網(wǎng)絡(luò)時(shí)間戳與組合數(shù)據(jù)的本地網(wǎng)絡(luò)時(shí)間戳做差，當(dāng)差值小于或等于間隔時(shí)間閾值轉(zhuǎn)s328；

44、s328.將組合數(shù)據(jù)（p（t，s），v）寫(xiě)入另一個(gè)檢查緩沖隊(duì)列；

45、s329.刪除一級(jí)緩存中的對(duì)應(yīng)的組合數(shù)據(jù)（p（t，s），v）并丟棄轉(zhuǎn)s1。

46、進(jìn)一步的，

47、所述數(shù)據(jù)值v如果數(shù)據(jù)量大，采用壓縮存儲(chǔ)。

48、進(jìn)一步的，

49、一級(jí)緩存和二級(jí)緩存可以根據(jù)實(shí)際數(shù)據(jù)量級(jí)、數(shù)據(jù)復(fù)雜度選用本地存儲(chǔ)或虛擬機(jī)存儲(chǔ)或分布式緩存。

50、進(jìn)一步的，

51、主鍵p和數(shù)據(jù)序號(hào)s均通過(guò)哈?；蜃詭饕绞浇⑺饕?。

52、進(jìn)一步的，

53、分段時(shí)間閾值為兩個(gè)數(shù)據(jù)分段的數(shù)據(jù)序號(hào)s相同時(shí)兩個(gè)數(shù)據(jù)的本地網(wǎng)絡(luò)時(shí)間戳之間的時(shí)間閾值；間隔時(shí)間閾值為同段數(shù)據(jù)內(nèi)數(shù)據(jù)序號(hào)s與s+常量n之間計(jì)算的間隔時(shí)間閾值；分段時(shí)間閾值和間隔時(shí)間閾值是基于網(wǎng)絡(luò)傳輸數(shù)據(jù)質(zhì)量狀況的專(zhuān)家經(jīng)驗(yàn)來(lái)設(shè)定的常量。

54、進(jìn)一步的，

55、一種高并發(fā)數(shù)據(jù)緩存和排序系統(tǒng)，包括子系統(tǒng)，

56、集成的子服務(wù)器向系統(tǒng)服務(wù)器發(fā)送數(shù)據(jù),?子服務(wù)器與系統(tǒng)服務(wù)器時(shí)間同步，采用網(wǎng)絡(luò)時(shí)間協(xié)議或高精度時(shí)間同步；

57、系統(tǒng)服務(wù)器包括：

58、存儲(chǔ)器，用于存儲(chǔ)指令；

59、處理器，用于執(zhí)行所述指令，使得能夠?qū)崿F(xiàn)一種高并發(fā)數(shù)據(jù)緩存排序方法。

60、本發(fā)明具有的有益效果：

61、1.本發(fā)明通過(guò)本地網(wǎng)絡(luò)時(shí)間戳t與數(shù)據(jù)序號(hào)s組合形成主鍵p（t，s），且主鍵p、數(shù)據(jù)序號(hào)s均建立索引，還將數(shù)據(jù)值v與主鍵p（t，s）組合形成組合數(shù)據(jù)（p（t，s），v），從而使一個(gè)數(shù)據(jù)序號(hào)s對(duì)應(yīng)一個(gè)本地網(wǎng)絡(luò)時(shí)間戳t和一個(gè)數(shù)據(jù)值v，實(shí)現(xiàn)快速定位數(shù)據(jù)，進(jìn)一步提升數(shù)據(jù)檢索效率。

62、2.本發(fā)明根據(jù)多重判斷，在數(shù)據(jù)序號(hào)s存在、數(shù)據(jù)值v相同的情況下對(duì)兩個(gè)相同s各自對(duì)應(yīng)的本地網(wǎng)絡(luò)時(shí)間戳t做差，基于得到的差值與分段時(shí)間閾值進(jìn)行判斷，從而達(dá)到去除重復(fù)數(shù)據(jù)的目的。

63、3.根據(jù)間隔時(shí)間閾值來(lái)判斷獲取的數(shù)據(jù)是否為兩檢查緩沖隊(duì)列上同一段內(nèi)的數(shù)據(jù)，在兩檢查緩沖隊(duì)列上都不是，則丟棄獲取的數(shù)據(jù)，以此來(lái)達(dá)到解決數(shù)據(jù)亂序的問(wèn)題。

64、