本發(fā)明涉及一種基于時(shí)空感知的流式計(jì)算作業(yè)調(diào)度方法，屬于大數(shù)據(jù)處理技術(shù)任務(wù)調(diào)度領(lǐng)域。

背景技術(shù)：

1、在公共交通場(chǎng)景下，很多不同的實(shí)時(shí)計(jì)算任務(wù)(例如gps軌跡地圖匹配，線路偏離檢測(cè)，移動(dòng)物體聚類(lèi)等)依附于數(shù)以萬(wàn)計(jì)的移動(dòng)物體（例如公交車(chē)，出租車(chē)或網(wǎng)約車(chē)）。這些任務(wù)是一系列運(yùn)營(yíng)，公共服務(wù)，應(yīng)急管理的基礎(chǔ)。后臺(tái)在完成這些計(jì)算任務(wù)之前，首先要進(jìn)行任務(wù)調(diào)度。具體來(lái)講，就是將數(shù)以萬(wàn)計(jì)的車(chē)輛的gps數(shù)據(jù)劃分為多個(gè)分組，每個(gè)分組調(diào)度到不同的計(jì)算節(jié)點(diǎn)。在這個(gè)過(guò)程中，任務(wù)調(diào)度是一個(gè)關(guān)鍵環(huán)節(jié)，不恰當(dāng)?shù)娜蝿?wù)調(diào)度方法會(huì)導(dǎo)致性能急劇下降，甚至無(wú)法滿足服務(wù)質(zhì)量需求；尤其是在大規(guī)模數(shù)據(jù)場(chǎng)景下，會(huì)導(dǎo)致大量計(jì)算資源的嚴(yán)重浪費(fèi)。

2、當(dāng)前的一些經(jīng)典調(diào)度算法例如哈希算法，等網(wǎng)格分區(qū)，要么沒(méi)有保持?jǐn)?shù)據(jù)的局部性，要么產(chǎn)生了嚴(yán)重的數(shù)據(jù)偏移。一些新的分區(qū)方法盡管也可以在保持?jǐn)?shù)據(jù)局部性的前提下，緩解數(shù)據(jù)偏移問(wèn)題。但是還存在以下三點(diǎn)不足之處：

3、（1）無(wú)法應(yīng)對(duì)移動(dòng)物體的動(dòng)態(tài)的變化。部分研究可以針對(duì)一個(gè)具體時(shí)空的移動(dòng)物體空間分布提出一個(gè)較好的分區(qū)方法，保持局部性的同時(shí)可以基本達(dá)到數(shù)據(jù)均勻。但是，隨著時(shí)間推移，單個(gè)車(chē)輛的空間位置會(huì)發(fā)生變化，移動(dòng)物體整體的空間分布也會(huì)發(fā)生變化。如果還按照之前的分區(qū)方法進(jìn)行任務(wù)調(diào)度，系統(tǒng)的性能會(huì)急劇下降。因此，現(xiàn)有方法不能有效應(yīng)對(duì)移動(dòng)物體的時(shí)空分布變化；

4、（2）切換調(diào)度成本過(guò)高。對(duì)于帶有時(shí)空屬性每時(shí)每刻都處于動(dòng)態(tài)變化的移動(dòng)物體，在變更調(diào)度方案時(shí)，需要將移動(dòng)物體按照新方案進(jìn)行重新調(diào)度，重新調(diào)度會(huì)產(chǎn)生切換成本。如果移動(dòng)物體集合中每個(gè)對(duì)象均要進(jìn)行切換，調(diào)度期間會(huì)對(duì)系統(tǒng)的性能產(chǎn)生嚴(yán)重的負(fù)面影響。針對(duì)這個(gè)場(chǎng)景，迫切需要一個(gè)能進(jìn)行增量聚類(lèi)，減少切換成本的調(diào)度方法。

5、（3）缺少綜合性的量化指標(biāo)。大多數(shù)調(diào)度方法，部分解決了數(shù)據(jù)局部性，數(shù)據(jù)偏移，很少有關(guān)注切換成本的研究方法。在真實(shí)的調(diào)度場(chǎng)景下，三個(gè)因素對(duì)系統(tǒng)的性能均有重要的影響?，F(xiàn)有方法沒(méi)有建立統(tǒng)一的綜合性指標(biāo)，來(lái)評(píng)價(jià)調(diào)度方法的優(yōu)劣。

6、專(zhuān)利“cn117828388a，一種改進(jìn)的車(chē)聯(lián)網(wǎng)節(jié)點(diǎn)啟發(fā)式k-means聚類(lèi)方法”所提出的聚類(lèi)方法充分利用移動(dòng)物體時(shí)空屬性動(dòng)態(tài)變化的特點(diǎn)，對(duì)k-means聚類(lèi)算法做出了改進(jìn)，提升了聚類(lèi)速度，然而卻忽視了數(shù)據(jù)局部性與數(shù)據(jù)偏移兩個(gè)關(guān)鍵指標(biāo)，所得到的簇集合聚類(lèi)質(zhì)量不佳。

7、專(zhuān)利“cn117591904a，一種基于密度聚類(lèi)的貨車(chē)聚類(lèi)方法”所提出的聚類(lèi)方法相比dbscan聚類(lèi)算法，通過(guò)將貨車(chē)gps轉(zhuǎn)為od點(diǎn)計(jì)算geohash值與詞向量的相似度分析，加速了同簇點(diǎn)的搜尋且增強(qiáng)了數(shù)據(jù)局部性，然而卻忽視了數(shù)據(jù)偏移與代碼執(zhí)行耗時(shí)過(guò)長(zhǎng)這兩個(gè)因素。

8、與上述專(zhuān)利相比，本發(fā)明提出了一種基于(移動(dòng)物體)時(shí)空感知的調(diào)度方法，針對(duì)移動(dòng)物體的空間分布隨時(shí)間動(dòng)態(tài)變化的特點(diǎn)，該調(diào)度方法包括三個(gè)核心步驟：聚類(lèi)、映射、和調(diào)度。首先，對(duì)當(dāng)前時(shí)刻的移動(dòng)物體進(jìn)行兩階段聚類(lèi)，保持?jǐn)?shù)據(jù)局部性的同時(shí)達(dá)到數(shù)據(jù)均勻；其次，在當(dāng)前時(shí)刻兩階段聚類(lèi)的基礎(chǔ)上，對(duì)最新時(shí)刻的移動(dòng)物體進(jìn)行增量動(dòng)態(tài)聚類(lèi)，降低切換成本。隨后，設(shè)計(jì)了三個(gè)度量指標(biāo)（數(shù)據(jù)偏移、數(shù)據(jù)局部性、切換成本）與一個(gè)綜合指標(biāo)來(lái)評(píng)價(jià)動(dòng)態(tài)聚類(lèi)算法的聚類(lèi)質(zhì)量；最后，將動(dòng)態(tài)聚類(lèi)后的每個(gè)簇映射到流式計(jì)算引擎的不同分區(qū)，再將每個(gè)分區(qū)調(diào)度到不同的計(jì)算任務(wù)，執(zhí)行各種實(shí)時(shí)計(jì)算。本發(fā)明解決了大規(guī)模交通場(chǎng)景下任務(wù)實(shí)時(shí)調(diào)度的問(wèn)題，通過(guò)保持?jǐn)?shù)據(jù)局部性，降低數(shù)據(jù)偏移，減少切換成本，顯著節(jié)省了計(jì)算資源。

9、與上述專(zhuān)利相比，本發(fā)明所提出的一種基于時(shí)空感知的流式計(jì)算作業(yè)調(diào)度方法，主要做出了以下兩點(diǎn)貢獻(xiàn)：

10、（1）在保持局部性和均勻性的同時(shí)，降低了調(diào)度算法的切換成本。本發(fā)明所提出的兩階段聚類(lèi)可以得到固定時(shí)刻綜合指標(biāo)最優(yōu)的簇合集，當(dāng)移動(dòng)物體時(shí)空屬性動(dòng)態(tài)變化需要切換調(diào)度時(shí)，本發(fā)明所提出的動(dòng)態(tài)增量聚類(lèi)以上一時(shí)刻兩階段聚類(lèi)得到的簇集合為基礎(chǔ)進(jìn)行優(yōu)化，最小化需要進(jìn)行切換的移動(dòng)物體的數(shù)量。在保持?jǐn)?shù)據(jù)局部性、數(shù)據(jù)均勻性的情況下，顯著降低了調(diào)度算法的切換成本。

11、（2）提出了一個(gè)系統(tǒng)性的量化指標(biāo)來(lái)評(píng)價(jià)調(diào)度方法的優(yōu)劣。本發(fā)明所提出的綜合指標(biāo)可以從數(shù)據(jù)局部性、數(shù)據(jù)偏移、切換成本三方面對(duì)聚類(lèi)質(zhì)量進(jìn)行綜合性評(píng)價(jià)，驗(yàn)證了本發(fā)明所提出的調(diào)度方案在真實(shí)調(diào)度場(chǎng)景下的有效性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問(wèn)題是提供一種基于時(shí)空感知的流式計(jì)算作業(yè)調(diào)度方法，針對(duì)大規(guī)模交通場(chǎng)景下任務(wù)實(shí)時(shí)調(diào)度的運(yùn)營(yíng)成本過(guò)高、資源利用率過(guò)低的問(wèn)題。

2、本發(fā)明分析了現(xiàn)有的調(diào)度方案及其不足之處，具體來(lái)講，有三點(diǎn)不足：

3、（1）無(wú)法應(yīng)對(duì)移動(dòng)物體的動(dòng)態(tài)變化。部分研究可以針對(duì)一個(gè)具體時(shí)空的移動(dòng)物體空間分布提出一個(gè)較好的分區(qū)方法，保持?jǐn)?shù)據(jù)局部性的同時(shí)基本達(dá)到數(shù)據(jù)均勻。但是，隨著時(shí)間推移，單個(gè)車(chē)輛的空間位置會(huì)發(fā)生變化，移動(dòng)物體整體的空間分布也會(huì)發(fā)生變化。如果還按照之前的分區(qū)方法進(jìn)行任務(wù)調(diào)度，系統(tǒng)的性能會(huì)急劇下降。因此，現(xiàn)有方法不能有效應(yīng)對(duì)移動(dòng)物體的時(shí)空分布變化；

4、（2）切換調(diào)度成本過(guò)高。對(duì)于帶有時(shí)空屬性每時(shí)每刻都處于動(dòng)態(tài)變化的移動(dòng)物體，在變更調(diào)度方案時(shí)，需要將移動(dòng)物體按照新方案進(jìn)行重新調(diào)度，存在切換成本。如果移動(dòng)物體集合中每個(gè)對(duì)象均要進(jìn)行切換，調(diào)度期間會(huì)對(duì)系統(tǒng)的性能產(chǎn)生嚴(yán)重的負(fù)面影響。針對(duì)這個(gè)場(chǎng)景，迫切需要一個(gè)能進(jìn)行增量聚類(lèi)，減少切換成本的調(diào)度方法。

5、（3）缺少綜合性的量化指標(biāo)。大多數(shù)調(diào)度方法，部分解決了數(shù)據(jù)局部性，數(shù)據(jù)偏移，卻很少關(guān)注切換成本的研究。在真實(shí)的調(diào)度場(chǎng)景下，三個(gè)因素對(duì)系統(tǒng)的性能均有重要的影響?，F(xiàn)有方法沒(méi)有建立統(tǒng)一的綜合性指標(biāo)，來(lái)衡量調(diào)度方法。

6、本發(fā)明的技術(shù)方案是：基于以上分析，提出了一種基于時(shí)空感知的流式計(jì)算作業(yè)調(diào)度方法。為了滿足流式計(jì)算任務(wù)調(diào)度關(guān)于資源利用率高、切換調(diào)度快、切換成本低的要求，本發(fā)明所提方法在調(diào)度大規(guī)模移動(dòng)物體時(shí)，分為三個(gè)核心步驟：聚類(lèi)、映射、和調(diào)度。在第一步聚類(lèi)中，本發(fā)明考慮了移動(dòng)物體當(dāng)前時(shí)刻的時(shí)空屬性設(shè)計(jì)兩階段聚類(lèi)，在保持?jǐn)?shù)據(jù)局部性的同時(shí)降低了簇間數(shù)據(jù)偏移，得到了當(dāng)前時(shí)刻的最優(yōu)調(diào)度；同時(shí)考慮到移動(dòng)物體時(shí)空屬性動(dòng)態(tài)變化的特點(diǎn)，在切換調(diào)度時(shí)，提出了動(dòng)態(tài)增量聚類(lèi)，在上一時(shí)刻兩階段聚類(lèi)結(jié)果的基礎(chǔ)上結(jié)合當(dāng)前時(shí)刻的數(shù)據(jù)，僅對(duì)部分移動(dòng)物體重新聚類(lèi)，在保持?jǐn)?shù)據(jù)局部性，數(shù)據(jù)均勻性的基礎(chǔ)上，顯著降低了切換成本，避免了現(xiàn)有方案切換成本過(guò)高的問(wèn)題。

7、具體方法如下：

8、一種基于時(shí)空感知的流式計(jì)算作業(yè)調(diào)度方法，包括如下步驟：

9、step1：獲取移動(dòng)物體集合當(dāng)前時(shí)刻在路網(wǎng)上的空間分布；

10、step2：對(duì)給定空間分布的移動(dòng)物體集合，按照數(shù)據(jù)密度將緯度區(qū)間分割為多個(gè)緯度長(zhǎng)度不等的子區(qū)間，保證不同子區(qū)間內(nèi)的移動(dòng)物體數(shù)量一致，每個(gè)子區(qū)間視為第一階段聚類(lèi)后的大簇；

11、step3：在得到的第一階段聚類(lèi)后的大簇內(nèi)，按照數(shù)據(jù)密度切割經(jīng)度區(qū)間為多個(gè)經(jīng)度子區(qū)間，保證不同子區(qū)間內(nèi)的移動(dòng)物體數(shù)量一致，每個(gè)子區(qū)間視為第二階段聚類(lèi)后的小簇；

12、step4：獲取移動(dòng)物體集合最新時(shí)刻在路網(wǎng)上的空間分布；

13、step5：設(shè)定參數(shù)組合的集合，每個(gè)參數(shù)組合包括三個(gè)參數(shù)，分別是時(shí)間間隔，位移閾值，半徑閾值；

14、step6：在當(dāng)前時(shí)刻得到的第二階段聚類(lèi)后的小簇的基礎(chǔ)上，使用當(dāng)前參數(shù)組合結(jié)合最新時(shí)刻移動(dòng)物體的空間分布進(jìn)行動(dòng)態(tài)增量聚類(lèi)，計(jì)算每個(gè)移動(dòng)物體兩個(gè)不同時(shí)刻間產(chǎn)生的位移，若位移超過(guò)位移閾值，則對(duì)所述移動(dòng)物體重新聚類(lèi)；若位移沒(méi)有超過(guò)位移閾值，則所述移動(dòng)物體保留當(dāng)前時(shí)刻的簇標(biāo)記作為最新時(shí)刻的簇標(biāo)記，得到最新時(shí)刻的小簇集合；

15、step7：為最新時(shí)刻的每個(gè)小簇生成簇心，將同一個(gè)簇內(nèi)每個(gè)移動(dòng)物體的經(jīng)度相加后除以簇內(nèi)移動(dòng)物體的數(shù)量，緯度相加后除以簇內(nèi)移動(dòng)物體數(shù)量，獲得簇心的經(jīng)緯度；

16、step8：對(duì)于需要重新聚類(lèi)的移動(dòng)物體，以移動(dòng)物體為圓心，半徑閾值為半徑，生成圓形搜索區(qū)域，對(duì)于出現(xiàn)在搜索區(qū)域的簇心，作為移動(dòng)物體在重新聚類(lèi)中的備選簇；

17、step9：在備選簇中，選擇移動(dòng)物體數(shù)量最少的簇作為移動(dòng)物體重新聚類(lèi)后的新簇；

18、step10：迭代step8與step9，直到所有需要重新聚類(lèi)的移動(dòng)物體處理完畢，完成動(dòng)態(tài)增量聚類(lèi)；

19、step11：使用數(shù)據(jù)偏移、數(shù)據(jù)局部性和切換成本三個(gè)度量指標(biāo)評(píng)價(jià)使用當(dāng)前參數(shù)組合進(jìn)行動(dòng)態(tài)增量聚類(lèi)后的聚類(lèi)質(zhì)量，獲得一個(gè)綜合指標(biāo)；

20、step12：迭代step7至step11，直到遍歷完所有參數(shù)組合，獲得不同參數(shù)組合下的所有綜合指標(biāo)；

21、step13：選擇綜合指標(biāo)最小的參數(shù)組合，作為動(dòng)態(tài)增量聚類(lèi)算法的最優(yōu)參數(shù)組合，并在每次切換調(diào)度時(shí)選用最優(yōu)參數(shù)組合；

22、step14：將最優(yōu)參數(shù)組合中的時(shí)間間隔作為切換調(diào)度的時(shí)間間隔，每次切換調(diào)度時(shí)，將動(dòng)態(tài)增量聚類(lèi)后的每個(gè)簇映射到流式計(jì)算引擎的不同分區(qū)，再將每個(gè)分區(qū)調(diào)度到不同的計(jì)算任務(wù)，執(zhí)行各種實(shí)時(shí)計(jì)算。

23、具體地，所述step2中的第一階段的聚類(lèi)構(gòu)建過(guò)程如下：

24、對(duì)給定時(shí)空分布的移動(dòng)物體集合，按照數(shù)據(jù)密度將緯度區(qū)間分割為多個(gè)緯度長(zhǎng)度不等的子區(qū)間，保證不同緯度子區(qū)間內(nèi)的移動(dòng)物體數(shù)量一致，每個(gè)緯度子區(qū)間視為第一階段聚類(lèi)后的大簇；

25、詳細(xì)過(guò)程如下：

26、step2.1：第一次聚類(lèi)前的數(shù)據(jù)預(yù)處理與相關(guān)變量的定義、計(jì)算，如公式（1）所描述：

27、???????????（1）

28、在公式（1）中，表示按照經(jīng)度由小到大對(duì)原始數(shù)據(jù)集排序后的列表，表示大簇的數(shù)量，1表示第一次聚類(lèi)中大簇的理想數(shù)據(jù)量；

29、step2.2：獲取每個(gè)大簇的數(shù)據(jù)，如公式（2）所描述:

30、?（2）

31、在公式（2）中，表示大簇的編號(hào)，表示第個(gè)大簇，表示在中對(duì)應(yīng)的子集；

32、step2.3：為添加對(duì)應(yīng)的簇標(biāo)記；

33、step2.4：迭代step2.2與step2.3，直到所有移動(dòng)物體完成第一階段的聚類(lèi)。

34、具體地，所述step3中的第二階段聚類(lèi)構(gòu)建過(guò)程如下：

35、在step2生成的每個(gè)大簇內(nèi)，按照數(shù)據(jù)密度切割經(jīng)度區(qū)間為多個(gè)經(jīng)度子區(qū)間，保證不同經(jīng)度區(qū)間內(nèi)的移動(dòng)物體數(shù)量一致，每個(gè)經(jīng)度區(qū)間視為第二階段聚類(lèi)后的小簇；

36、詳細(xì)過(guò)程如下：

37、step3.1：第二次聚類(lèi)前的數(shù)據(jù)預(yù)處理與相關(guān)變量的定義、計(jì)算，如公式（3）所描述：

38、????????????????（3）

39、在公式（3）中，表示每個(gè)大簇中的小簇?cái)?shù)量，表示的數(shù)據(jù)量，ideal表示每個(gè)小簇內(nèi)的理想數(shù)據(jù)量；

40、step3.2：令表示第個(gè)小簇，尋找的簇心，按緯度從大到小對(duì)中的數(shù)據(jù)排序得到，選取其中緯度最大點(diǎn)作為簇心；

41、step3.3：尋找的同簇點(diǎn)，如公式（4）與公式（5）所描述：

42、????????????（4）

43、在公式（4）中，distance()函數(shù)輸入與，輸出兩者之間的垂直歐式距離，表示距離列表；

44、???????（5）

45、在公式（5）中，表示的同簇點(diǎn)；

46、step3.4：令表示存儲(chǔ)第j個(gè)小簇的數(shù)據(jù)列表，將與加入，并添加簇標(biāo)記；

47、step3.5：令表示存儲(chǔ)所有小簇的數(shù)據(jù)列表，將加入；

48、step3.6：迭代step3.2到step3.5，直到所有數(shù)據(jù)都被劃分到簇中。

49、具體地，所述step11中綜合指標(biāo)具體為：

50、綜合指標(biāo)是數(shù)據(jù)偏移，數(shù)據(jù)局部性和切換成本三個(gè)指標(biāo)的加權(quán)平均；

51、數(shù)據(jù)偏移是對(duì)移動(dòng)物體聚類(lèi)后不同簇之間數(shù)據(jù)量的不均衡程度，數(shù)據(jù)偏移的計(jì)算方法如公式（6）所描述：

52、???????????????????????（6）

53、在公式（6）中，表示數(shù)據(jù)偏移，表示簇的編號(hào)，表示簇的數(shù)量，表示第個(gè)簇內(nèi)的移動(dòng)物的數(shù)量，表示聚類(lèi)后每個(gè)簇內(nèi)移動(dòng)物體的理想數(shù)量，表示移動(dòng)物體的總數(shù)量，數(shù)據(jù)偏移越小，不同簇之間數(shù)據(jù)量越均衡，按照調(diào)度方案將這些簇映射到分區(qū)，分區(qū)調(diào)度到任務(wù)，執(zhí)行計(jì)算后，任務(wù)間的時(shí)間延遲越低；

54、數(shù)據(jù)局部性是從空間分布的視角，判斷不同簇邊界分明的程度，數(shù)據(jù)局部性的計(jì)算方法如公式（7）到（9）所描述：

55、（7）

56、????????????????????（8）

57、?????????????????????????（9）

58、在公式（7）到（9）中，表示第個(gè)移動(dòng)物體，表示所在簇以外的其它簇的外接多邊形集合，函數(shù)輸入與輸出對(duì)應(yīng)的數(shù)據(jù)局部性，表示移動(dòng)物體的總數(shù)量，表示所有移動(dòng)物體的平均數(shù)據(jù)局部性，局部性越大，不同簇之間越邊界分明；

59、切換成本是切換調(diào)度時(shí)，進(jìn)行重聚類(lèi)的移動(dòng)物體的比例，切換成本的計(jì)算方法如公式（10）與（11）所描述：

60、??????????????????（10）

61、??????????????????????????（11）

62、在公式（10）與（11）中，表示的切換成本，，分別表示在上下兩個(gè)時(shí)刻的位置，表示位移閾值，表示所有移動(dòng)物體的切換成本，切換成本越小，進(jìn)行重新聚類(lèi)的移動(dòng)物體比例越低，節(jié)省的計(jì)算資源越多；

63、對(duì)應(yīng)聚類(lèi)質(zhì)量的綜合指標(biāo)的計(jì)算方法如公式（12）與（13）描述：

64、???????????????????????????（12）

65、?????????（13）

66、在公式（12）與（13）中，表示綜合指標(biāo)，、分別表示數(shù)據(jù)偏移、數(shù)據(jù)局部性、切換成本的權(quán)重，綜合指標(biāo)越小，說(shuō)明數(shù)據(jù)局部性高、數(shù)據(jù)偏移低的同時(shí)切換成本低。

67、具體地，所述step13的最優(yōu)參數(shù)組合為：

68、三個(gè)參數(shù)分別為時(shí)間間隔、位移閾值、半徑閾值，其中控制切換調(diào)度的時(shí)間間隔，控制切換成本，控制數(shù)據(jù)局部性與數(shù)據(jù)偏移，于是尋找最優(yōu)調(diào)度方案的過(guò)程就可以視作尋找最優(yōu)參數(shù)組合的過(guò)程，尋找方式是在歷史數(shù)據(jù)上使用不同的參數(shù)組合進(jìn)行動(dòng)態(tài)增量聚，計(jì)算綜合指標(biāo)，選取得到最優(yōu)綜合指標(biāo)的參數(shù)組合作為接下來(lái)每次切換調(diào)度時(shí)使用的參數(shù)。以上過(guò)程如公式（14）所示：

69、?????????????（14）

70、在公式（14）中，表示時(shí)間間隔、表示位移閾值、表示半徑閾值，表示參數(shù)組合，表示參數(shù)組合的集合，表示最優(yōu)參數(shù)組合?，后續(xù)流程所用參數(shù)皆源于。

71、具體地，所述step14具體為：

72、step:14.1：獲取通過(guò)時(shí)空感知?jiǎng)討B(tài)聚類(lèi)異構(gòu)的聚類(lèi)結(jié)果集合，聚類(lèi)結(jié)果集合為；

73、step:14.2：將聚類(lèi)結(jié)果集合，映射到流式計(jì)算引擎不同的分區(qū)中，分區(qū)結(jié)果集合為；

74、step:14.3：在每個(gè)分區(qū)上啟動(dòng)一個(gè)任務(wù)，開(kāi)始執(zhí)行各種針對(duì)移動(dòng)物體的計(jì)算；

75、具體地，所述動(dòng)態(tài)增量聚類(lèi)，構(gòu)建過(guò)程如下：

76、首先，在上一時(shí)刻兩階段聚類(lèi)的基礎(chǔ)上結(jié)合當(dāng)前時(shí)刻的新數(shù)據(jù)，搜索出需要重新聚類(lèi)的移動(dòng)物體，具體來(lái)說(shuō)就是計(jì)算出每個(gè)移動(dòng)物體上下兩個(gè)時(shí)刻的位移，將位移大于的移動(dòng)物體加入需要重聚類(lèi)的列表，剩余移動(dòng)物體則簇標(biāo)記保持不變，加入列表。

77、動(dòng)態(tài)增量聚類(lèi)并非面向全部移動(dòng)物體，而是只對(duì)其中一小部分進(jìn)行重聚類(lèi)，大幅度降低了切換成本。且由于動(dòng)態(tài)增量聚類(lèi)是在上一時(shí)刻兩階段聚類(lèi)的基礎(chǔ)上進(jìn)行增量聚類(lèi)，所以大幅度保留了數(shù)據(jù)局部性的同時(shí)并未增加數(shù)據(jù)偏移。

78、具體來(lái)說(shuō)，所述構(gòu)建過(guò)程需要用到以下三個(gè)函數(shù)：

79、（1）：尋找簇心的函數(shù)。輸入簇列表，計(jì)算當(dāng)前簇中所有移動(dòng)物體的經(jīng)度均值與緯度均值，虛構(gòu)一個(gè)簇心，并輸出該簇心；

80、（2）：計(jì)算兩點(diǎn)之間距離的函數(shù)。輸入兩個(gè)具有經(jīng)緯度的點(diǎn)，輸出兩點(diǎn)之間的距離；

81、（3）search_center()?：為需要重聚類(lèi)的移動(dòng)物體尋找合適新簇的函數(shù)。

82、輸入需要重聚類(lèi)的某個(gè)移動(dòng)物體，半徑閾值，簇心列表，簇?cái)?shù)據(jù)量列表。以當(dāng)前移動(dòng)物體為圓心，半徑閾值為半徑，構(gòu)成一個(gè)圓形搜索區(qū)域，查詢簇心列表獲得所有簇心的位置，對(duì)于出現(xiàn)在搜索區(qū)域的簇心將其視作備選簇，此舉是為了保證數(shù)據(jù)局部性不要降低。查詢簇?cái)?shù)據(jù)量列表中每個(gè)備選簇的現(xiàn)有數(shù)據(jù)量，選擇其中數(shù)據(jù)量最小的一個(gè)作為當(dāng)前移動(dòng)物體的新簇，此舉是為了不要增加數(shù)據(jù)偏移。最后輸出新簇的簇心。

83、基于以上三個(gè)函數(shù)，動(dòng)態(tài)增量聚類(lèi)的具體流程如下：

84、首先，生成簇心，調(diào)用函數(shù)為中的每個(gè)簇生成簇心；

85、其次，遍歷change，令表示當(dāng)前需要重聚類(lèi)的移動(dòng)物體；

86、隨后，搜索備選簇，調(diào)用函數(shù)search_center()為搜索當(dāng)前的備選簇；

87、接著，確定新簇，選擇移動(dòng)物體最少的備選簇作為的新簇；

88、最后，完成中的所有移動(dòng)物體重新聚類(lèi)。

89、本發(fā)明的有益效果是：

90、（1）在應(yīng)對(duì)移動(dòng)物體動(dòng)態(tài)變化的同時(shí)降低切換成本。本發(fā)明所提出的兩階段聚類(lèi)可以得到固定時(shí)刻綜合指標(biāo)最優(yōu)的簇合集，當(dāng)移動(dòng)物體時(shí)空屬性動(dòng)態(tài)變化需要切換調(diào)度時(shí)，本發(fā)明所提出的動(dòng)態(tài)增量聚類(lèi)在上一時(shí)刻兩階段聚類(lèi)得到的簇集合基礎(chǔ)上結(jié)合當(dāng)前時(shí)刻的數(shù)據(jù)，在保持?jǐn)?shù)據(jù)局部性不降低、數(shù)據(jù)偏移不升高的情況下，將切換成本降到了最低。

91、（2）提出了綜合性的量化指標(biāo)。本發(fā)明所提出的綜合指標(biāo)可以從數(shù)據(jù)局部性、數(shù)據(jù)偏移、切換成本三方面對(duì)聚類(lèi)質(zhì)量進(jìn)行綜合性評(píng)價(jià)，驗(yàn)證了本發(fā)明所提出的調(diào)度方案在真實(shí)調(diào)度場(chǎng)景下的有效性。