本發(fā)明屬于數(shù)據(jù)處理，具體涉及基于時空數(shù)據(jù)的關(guān)系集群數(shù)據(jù)庫動態(tài)分區(qū)方法。

背景技術(shù)：

1、在現(xiàn)代數(shù)據(jù)庫管理領(lǐng)域中，隨著數(shù)據(jù)量和數(shù)據(jù)復(fù)雜性的快速增長，如何有效管理和分配數(shù)據(jù)負(fù)載，特別是動態(tài)調(diào)整數(shù)據(jù)庫分區(qū)，以適應(yīng)實(shí)時變化的負(fù)載需求，已成為關(guān)鍵技術(shù)難題。時空數(shù)據(jù)具有高度的動態(tài)性和復(fù)雜性，傳統(tǒng)的靜態(tài)分區(qū)方法往往難以有效應(yīng)對這種復(fù)雜性，因此，基于負(fù)載自適應(yīng)的動態(tài)分區(qū)方法逐漸成為數(shù)據(jù)庫領(lǐng)域的研究熱點(diǎn)。然而，盡管已有技術(shù)在分區(qū)管理方面取得了一定進(jìn)展，現(xiàn)有方案在實(shí)際應(yīng)用中仍然面臨著諸多挑戰(zhàn)，難以滿足高效、穩(wěn)定的數(shù)據(jù)庫管理需求。

2、在早期數(shù)據(jù)庫分區(qū)管理中，傳統(tǒng)的靜態(tài)分區(qū)技術(shù)被廣泛應(yīng)用，這種方法通過預(yù)先對數(shù)據(jù)集進(jìn)行分區(qū)，并在分區(qū)生成后將分區(qū)結(jié)構(gòu)固定不變，未能針對負(fù)載變化進(jìn)行動態(tài)調(diào)整。靜態(tài)分區(qū)技術(shù)的實(shí)現(xiàn)主要依賴于數(shù)據(jù)的預(yù)定義規(guī)則，例如基于地理位置、時間戳等進(jìn)行劃分。這些方法簡單易行，在數(shù)據(jù)負(fù)載相對穩(wěn)定的場景下能夠保持一定的效率。然而，對于具有強(qiáng)動態(tài)特性和復(fù)雜性的數(shù)據(jù)集，如時空數(shù)據(jù)，靜態(tài)分區(qū)的局限性逐漸顯現(xiàn)。當(dāng)數(shù)據(jù)負(fù)載發(fā)生波動或數(shù)據(jù)量顯著增長時，靜態(tài)分區(qū)方案很難適應(yīng)實(shí)時的負(fù)載變化，導(dǎo)致某些分區(qū)負(fù)載過重，而其他分區(qū)則處于低負(fù)載狀態(tài)，從而產(chǎn)生資源浪費(fèi)和性能瓶頸。因此，靜態(tài)分區(qū)方法在負(fù)載動態(tài)分布和復(fù)雜數(shù)據(jù)管理上無法滿足現(xiàn)代數(shù)據(jù)庫的要求，尤其在高并發(fā)訪問或?qū)崟r處理場景中，靜態(tài)分區(qū)會顯著降低系統(tǒng)的響應(yīng)速度和負(fù)載均衡能力。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的主要目的在于提供基于時空數(shù)據(jù)的關(guān)系集群數(shù)據(jù)庫動態(tài)分區(qū)方法，本發(fā)明的動態(tài)分區(qū)方法不僅可以實(shí)現(xiàn)精準(zhǔn)的負(fù)載均衡，還能在最低的遷移代價(jià)下確保分區(qū)調(diào)整的合理性。該方法充分考慮了系統(tǒng)的負(fù)載需求、資源狀況及負(fù)載變化趨勢，使得數(shù)據(jù)庫系統(tǒng)在保持高效負(fù)載管理的同時，避免了不必要的資源消耗，從而在復(fù)雜數(shù)據(jù)環(huán)境下實(shí)現(xiàn)了最優(yōu)的性能表現(xiàn)。

2、為了解決上述問題，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

3、基于時空數(shù)據(jù)的關(guān)系集群數(shù)據(jù)庫動態(tài)分區(qū)方法，所述方法包括：

4、步驟1：對目標(biāo)關(guān)系集群數(shù)據(jù)庫中的時空數(shù)據(jù)記錄進(jìn)行多維度分解，構(gòu)建特征矩陣；基于特征矩陣，計(jì)算每個潛在分區(qū)的負(fù)載度量；

5、步驟2：基于每個潛在分區(qū)的負(fù)載度量，計(jì)算平衡指數(shù)；基于平衡指數(shù)，計(jì)算分區(qū)重組觸發(fā)閾值；

6、步驟3：結(jié)合分區(qū)重組觸發(fā)閾值和數(shù)據(jù)遷移代價(jià)判斷是否需要進(jìn)行分區(qū)重組，若是，則計(jì)算每個潛在分區(qū)的新的分區(qū)邊界，完成分區(qū)重組。

7、進(jìn)一步的，步驟1中，使用如下公式，構(gòu)建特征矩陣：

8、；

9、其中，為目標(biāo)關(guān)系集群數(shù)據(jù)庫中的時空數(shù)據(jù)記錄的數(shù)量；為整數(shù)下標(biāo)索引；表示第條時空數(shù)據(jù)記錄的時間戳；為第條時空數(shù)據(jù)記錄的變化率；時空數(shù)據(jù)記錄的平均變化率；為絕對值運(yùn)算符；為時間窗口的下邊界；為時間窗口的上邊界；為時間窗口內(nèi)的時空數(shù)據(jù)記錄的變化率的標(biāo)準(zhǔn)差；為時間衰減函數(shù)；為時間序列熵值函數(shù)。

10、進(jìn)一步的，時間衰減函數(shù)為指數(shù)衰減函數(shù)、倒數(shù)衰減函數(shù)或線性衰減函數(shù)；所述時間序列熵值函數(shù)為香農(nóng)熵函數(shù)、基于自相關(guān)的熵值函數(shù)或譜熵函數(shù)。

11、進(jìn)一步的，通過如下公式，計(jì)算每個潛在分區(qū)的負(fù)載度量：

12、；

13、其中，表示第個潛在分區(qū)的負(fù)載度量；表示對潛在分區(qū)內(nèi)的所有時空數(shù)據(jù)記錄進(jìn)行求和；表示屬于潛在分區(qū)內(nèi)的所有時空數(shù)據(jù)記錄的特征矩陣；表示沿潛在分區(qū)的邊界，對空間位置的空間向量場進(jìn)行積分；空間向量場表示在空間位置的時空數(shù)據(jù)記錄的流動方向和流動大??；為邊界上的微小向量元素，表示積分時的邊界位置微小增量，用于沿潛在分區(qū)邊界上的空間向量場積分；為潛在分區(qū)的體積，表示潛在分區(qū)所占據(jù)的空間范圍；為潛在分區(qū)內(nèi)的時空數(shù)據(jù)記錄的數(shù)量；為潛在分區(qū)內(nèi)第個時空數(shù)據(jù)記錄的i/o操作數(shù)；為潛在分區(qū)內(nèi)第條時空數(shù)據(jù)記錄的cpu利用率。

14、進(jìn)一步的，通過如下公式，計(jì)算平衡指數(shù)：

15、；

16、其中，時間時的平衡指數(shù)；為潛在分區(qū)總數(shù)；為整數(shù)下標(biāo)索引；表示潛在分區(qū)與潛在分區(qū)的最短距離；為潛在分區(qū)的體積；為全局平均負(fù)載。

17、進(jìn)一步的，步驟2中，通過如下公式，基于平衡指數(shù)，計(jì)算分區(qū)重組觸發(fā)閾值：

18、；

19、其中，表示潛在分區(qū)的內(nèi)存占用率；表示潛在分區(qū)的磁盤占用率。

20、進(jìn)一步的，數(shù)據(jù)遷移代價(jià)，通過如下公式計(jì)算得到：

21、；

22、其中，表示第條時空數(shù)據(jù)記錄與第條時空數(shù)據(jù)記錄之間的距離；為第個潛在分區(qū)的負(fù)載度量的梯度；為根據(jù)歷史數(shù)據(jù)得到的平均需要遷移的數(shù)據(jù)記錄的數(shù)量；為時間時的網(wǎng)絡(luò)帶寬。

23、進(jìn)一步的，步驟3中，通過如下公式，結(jié)合分區(qū)重組觸發(fā)閾值和數(shù)據(jù)遷移代價(jià)判斷是否需要進(jìn)行分區(qū)重組：

24、；

25、其中，表示潛在分區(qū)的查詢率；表示潛在分區(qū)的容量；當(dāng)為1時，則判斷需要進(jìn)行分區(qū)重組。

26、進(jìn)一步的，通過如下公式，計(jì)算每個潛在分區(qū)的新的分區(qū)邊界：

27、；

28、其中，為潛在分區(qū)在時間時的新的分區(qū)邊界。

29、本發(fā)明的基于時空數(shù)據(jù)的關(guān)系集群數(shù)據(jù)庫動態(tài)分區(qū)方法，具有以下有益效果：

30、本發(fā)明的有益效果體現(xiàn)在其精確的負(fù)載均衡能力。通過構(gòu)建特征矩陣，全面刻畫了時空數(shù)據(jù)記錄的變化率、空間位置及時間變化等特征，使得分區(qū)負(fù)載的評估更加精細(xì)和準(zhǔn)確。具體而言，特征矩陣不僅保留了每條數(shù)據(jù)記錄的時間戳、變化率和空間位置等基本信息，還通過引入時間衰減函數(shù)、時間序列熵值函數(shù)等對時空數(shù)據(jù)的動態(tài)變化進(jìn)行了多維度量化。該方法可以識別出高頻數(shù)據(jù)變化區(qū)域和復(fù)雜度較高的負(fù)載分布區(qū)域，為分區(qū)重組提供了數(shù)據(jù)支持。與傳統(tǒng)靜態(tài)或單一維度的動態(tài)分區(qū)方法相比，本發(fā)明的負(fù)載度量機(jī)制能夠更精確地捕捉負(fù)載動態(tài)，有助于實(shí)現(xiàn)分區(qū)間負(fù)載的精確平衡，減少了資源浪費(fèi)和性能瓶頸。

31、其次，本發(fā)明在數(shù)據(jù)遷移代價(jià)的控制上具備顯著優(yōu)勢。通過對數(shù)據(jù)遷移代價(jià)的多因素計(jì)算，本發(fā)明避免了因頻繁重組而產(chǎn)生的高額遷移成本，提升了資源使用效率。在計(jì)算數(shù)據(jù)遷移代價(jià)時，本發(fā)明引入了數(shù)據(jù)記錄距離、負(fù)載梯度、分區(qū)邊界負(fù)載密度以及網(wǎng)絡(luò)帶寬等因素，綜合考量遷移過程中的多重開銷。例如，當(dāng)分區(qū)邊界的負(fù)載密度較大或分區(qū)之間的距離較近時，遷移代價(jià)相對較低，系統(tǒng)可以較低的資源成本實(shí)現(xiàn)分區(qū)重組。若網(wǎng)絡(luò)帶寬受限或分區(qū)之間遷移成本過高，系統(tǒng)則自動延緩重組操作。該動態(tài)遷移代價(jià)控制策略使得系統(tǒng)能夠根據(jù)實(shí)際情況靈活調(diào)整遷移代價(jià)，避免了不必要的數(shù)據(jù)傳輸，從而提高了數(shù)據(jù)庫系統(tǒng)的整體效率和性能穩(wěn)定性。

32、另外，本發(fā)明通過平衡指數(shù)和觸發(fā)閾值的設(shè)定，實(shí)現(xiàn)了動態(tài)負(fù)載監(jiān)控和分區(qū)重組觸發(fā)的智能化控制。平衡指數(shù)作為負(fù)載均衡度的衡量標(biāo)準(zhǔn)，能夠通過計(jì)算分區(qū)負(fù)載的空間位置、分區(qū)體積及其變化趨勢，實(shí)時評估負(fù)載的均衡情況。而觸發(fā)閾值根據(jù)負(fù)載變化趨勢和系統(tǒng)的容忍度進(jìn)行動態(tài)設(shè)定，使得分區(qū)重組的觸發(fā)條件不再依賴于固定的閾值設(shè)定。當(dāng)負(fù)載不均衡程度較小時，觸發(fā)閾值較高，系統(tǒng)會選擇維持現(xiàn)有分區(qū)狀態(tài)，減少分區(qū)重組的頻率，從而節(jié)省資源；而當(dāng)負(fù)載不均衡顯著時，觸發(fā)閾值降低，系統(tǒng)優(yōu)先進(jìn)行分區(qū)重組以實(shí)現(xiàn)負(fù)載均衡。這樣的動態(tài)監(jiān)控和智能觸發(fā)機(jī)制，有效提升了分區(qū)管理的靈活性和自適應(yīng)性，使系統(tǒng)能夠在負(fù)載變化頻繁的場景中高效運(yùn)作。