基于云服務數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)及分割方法
【專利摘要】基于云服務數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)及分割方法，該方法包括：提供大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心：以云應用服務中心為單元對本中心的云應用服務及數(shù)據(jù)的特征進行歸總管理，并根據(jù)所述云應用特征行為管理單元中的特征信息，建立各個云應用服務中心之間的關聯(lián)關系;接收云應用服務中心及時更新的數(shù)據(jù)信息，根據(jù)云應用業(yè)務管理單元中預先存儲的關聯(lián)關系，找到相關聯(lián)的其它云應用服務中心信息，并通知更新數(shù)據(jù)的云應用服務中心或相關聯(lián)的云應用服務中心；接收到所述DBRange管理中心下發(fā)的相關聯(lián)的云應用服務中心時，將更新數(shù)據(jù)的相關信息發(fā)送至對應的云應用服務中心，或者當接收到所述DBRange管理中心下發(fā)的更新數(shù)據(jù)的云應用服務中心時與該云應用服務中心建立數(shù)據(jù)交互獲得當前更新的數(shù)據(jù)。
【專利說明】基于云服務數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)及分割方法
【技術領域】
[0001]本發(fā)明涉及一種云計算領域，特別涉及一種基于云服務數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)及分割方法。
[0002]
【背景技術】
[0003]云存儲是在云計算概念上延伸和發(fā)展出來的一個新概念。是指通過集群應用、網格技術或分布式文件系統(tǒng)等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，工人同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。當云計算系統(tǒng)運算和處理的核心是大量數(shù)據(jù)的存儲和管理時，云計算系統(tǒng)中就需要配置在量的存儲設備，那么云計算系統(tǒng)就轉變成一個云存儲系統(tǒng)，所述云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。
[0004]從云存儲的概念及目前應用來看，其本質是向用戶提供一種透明的網絡存儲服務。用戶服務只要連接進入互聯(lián)網，即可享受網絡存儲服務-隨時隨地的管理其所存儲的數(shù)據(jù)，就如同這些數(shù)據(jù)存儲在本地一樣；同時用戶可以方便將存儲在云存儲的數(shù)據(jù)與其他用戶共享。因此如何實現(xiàn)在任意網絡接入點方便快捷的讀取數(shù)據(jù)，同時保證數(shù)據(jù)的保密性、完整性成為云存儲技術的關鍵。
[0005]在申請?zhí)枮?01110103409.2、發(fā)明名稱為云存儲分割與備份數(shù)據(jù)的方法及裝置的專利中，公開了云存儲分割與備份數(shù)據(jù)的方法及裝置，其設計思路是通過改變以往將數(shù)據(jù)完整的保存在同一物理存儲設備上的做法，而采用將數(shù)據(jù)分割為若干數(shù)據(jù)段保存每段的校驗信息，再將每一數(shù)據(jù)段再復制若干副本，將這些數(shù)據(jù)段副本分別保存在不同的物理存儲設備上。即對完整數(shù)據(jù)進行有限、可控的分割與備份，數(shù)據(jù)分割片為多少片段、每一片段有多少副本都依據(jù)對數(shù)據(jù)保密性、完整性、可用性的要求高、底來決定。合并完整數(shù)據(jù)時，將通過校驗的數(shù)據(jù)片段副本重新合并即可。
[0006]這種設計的確能夠解決數(shù)據(jù)分割和存儲的一些問題。但是，大規(guī)模云計算應用數(shù)據(jù)規(guī)模的快速增長，從原有的每日GB級數(shù)據(jù)增長膨脹到TB級，甚至PB級，如何實現(xiàn)大規(guī)模用戶對大規(guī)模數(shù)據(jù)的實時高效的訪問，如何保障云應用服務的連續(xù)性、可靠性、穩(wěn)定性和滿足SLA的服務滿意度指標，已經成為大規(guī)模云計算應用平臺面臨且迫切需要解決的問題。
[0007]另外，云服務提供多種不同的應用，我們稱之為云應用服務平臺或云計算服務平臺。比如，云郵箱服務平臺、移動辦公云服務平臺等。目前，各個云應用服務平臺或云計算服務平臺之間通常不進行數(shù)據(jù)同步工作的。比如，移動辦公云服務平臺更改了某些數(shù)據(jù)(t匕如，聯(lián)系人的聯(lián)系電話發(fā)生變化)，移動辦公云服務平臺不會主動將更改后的數(shù)據(jù)發(fā)送至云郵箱服務平臺，云郵箱服務平臺的聯(lián)系人聯(lián)系電話還是老的數(shù)據(jù)，存在同步性差的問題。
[0008]在申請?zhí)枮?01210393339.3中公開一種云管理平臺和云平臺間數(shù)據(jù)同步的方法，其步驟:云管理平臺在啟動時向云平臺獲取全部數(shù)據(jù)，更新到云管理平臺的數(shù)據(jù)庫并存放在內存中的比較數(shù)據(jù)庫；云管理平臺每隔時間Y向云平臺獲取數(shù)據(jù)存放到內存中；當云管理平臺第N次向云平臺獲取數(shù)據(jù)時，其中N*Y>X，云管理平臺開始同步數(shù)據(jù)；當內存中的比較數(shù)據(jù)庫與當前獲取的數(shù)實時據(jù)不一致時，將當前獲取的實時數(shù)據(jù)放入更新隊列；云管理平臺將更新隊列中實時數(shù)據(jù)更新到云管理平臺的數(shù)據(jù)庫中，云管理平臺將次數(shù)N清零，并將當前獲取的實時數(shù)據(jù)存放到內存中。該法是一種高效可行的方法，能夠減少云管理平臺的工作量。
[0009]這種云管理平臺來管理并同步云應用服務平臺或云計算服務平臺的數(shù)據(jù)，雖然能達到比較好的同步效果。但是，以一個云郵箱服務平臺來說，有可能會涉及到郵箱數(shù)據(jù)、郵件數(shù)據(jù)是極度龐大的，如果僅同步某一部分數(shù)據(jù)，則云管理平臺可以將該部分數(shù)據(jù)存儲在本端的數(shù)據(jù)庫，然后更新相關其它云應用服務平臺或云計算服務平臺，但是如果同步該些涉及到的所有或絕大部分數(shù)據(jù)，對于云管理平臺來說，需要一個極其龐大的數(shù)據(jù)庫來存儲這些預同步的數(shù)據(jù)，特別大規(guī)模云計算應用數(shù)據(jù)規(guī)模的快速增長，從原有的每日GB級數(shù)據(jù)增長膨脹到TB級，甚至PB級，如何實現(xiàn)大規(guī)模用戶對大規(guī)模數(shù)據(jù)的實時高效的訪問，如何保障云應用服務的連續(xù)性、可靠性、穩(wěn)定性和滿足SLA的服務滿意度指標，已經成為大規(guī)模云計算應用平臺面臨且迫切需要解決的問題。
[0010]

【發(fā)明內容】

[0011]本發(fā)明的第一目的在于提供基于云服務數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)，以解決如何實現(xiàn)大規(guī)模用戶對大規(guī)模數(shù)據(jù)的實時高效的訪問，如何保障云應用服務的連續(xù)性、可靠性、穩(wěn)定性和滿足SLA的服務滿意度指標的技術問題。
[0012]—種基于云服務數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)，包括:若干云客戶端、若干云應用服務中心和至少一個大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心，
大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心進一步包括云服務數(shù)據(jù)智能分割引擎和分布式云服務數(shù)據(jù)庫關系管理單元，
云服務數(shù)據(jù)智能分割引擎:接收和處理云應用服務中心提交的各種云應用特征數(shù)據(jù)信息或數(shù)據(jù)信息，基于各種云應用服務的數(shù)據(jù)特征和用戶數(shù)據(jù)特征分析，將出現(xiàn)性能瓶頸約束的大數(shù)據(jù)表進行分割，將一個大數(shù)據(jù)表分割存儲在不同的小數(shù)據(jù)表中；
分布式云服務數(shù)據(jù)庫關系管理單元:連接云服務數(shù)據(jù)智能分割引擎，在記錄數(shù)據(jù)分割關系表中記錄云服務數(shù)據(jù)智能分割引擎進行的數(shù)據(jù)分割關系和變化情況；
云應用服務中心:與云客戶端連接，用于給云客戶端提供云服務，并且提供與所述大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心進行數(shù)據(jù)通訊，將用戶云應用服務的特征數(shù)據(jù)提交到云服務數(shù)據(jù)智能分割引擎進行分割保存。
[0013]較佳地，大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心還包括:
云應用特征行為管理單元:以云應用服務中心為單元對本中心的云應用服務及數(shù)據(jù)的特征進行歸總管理。
[0014]較佳地，云服務數(shù)據(jù)智能分割引擎進一步包括:數(shù)據(jù)庫:用于存儲云應用服務中心對應各種數(shù)據(jù)表；分割判斷單元:用于連接云應用特征行為管理單元，用于對用于基于各種云應用服務的數(shù)據(jù)特征和用戶數(shù)據(jù)特征分析，判斷所述特征是否滿足分割條件；分割單元:用于對滿足分割條件的大規(guī)模數(shù)據(jù)進行分割，將一個大數(shù)據(jù)表分割存儲在不同的小數(shù)據(jù)表中。
[0015]較佳地，大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心還包括:云應用業(yè)務管理單元:與云應用特征行為管理單元進行連接，根據(jù)所述云應用特征行為管理單元中的特征信息，建立各個云應用服務中心之間的關聯(lián)關系；實時數(shù)據(jù)處理單元:用于接收云應用服務中心及時更新的數(shù)據(jù)信息，根據(jù)云應用業(yè)務管理單元中預先存儲的關聯(lián)關系，找到相關聯(lián)的其它云應用服務中心信息，并通知更新數(shù)據(jù)的云應用服務中心或相關聯(lián)的云應用服務中心。
[0016]較佳地，云應用服務中心還進一步包括:更新通訊單元:用于給云客戶端提供云服務，并且提供與所述大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心進行數(shù)據(jù)通訊，將用戶云應用服務的特征數(shù)據(jù)提交到云服務數(shù)據(jù)智能分割引擎進行分割保存；數(shù)據(jù)交互單元:用于將更新數(shù)據(jù)信息發(fā)送至一個大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心，當接收到所述DBRange管理中心下發(fā)的相關聯(lián)的云應用服務中心時，將更新數(shù)據(jù)的相關信息發(fā)送至對應的云應用服務中心，或者當接收到所述DBRange管理中心下發(fā)的更新數(shù)據(jù)的云應用服務中心時與該云應用服務中心建立數(shù)據(jù)交互獲得當前更新的數(shù)據(jù)。
[0017]一種基于云服務數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割方法，包括以下步驟:
大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心中云服務數(shù)據(jù)智能分割引擎接收和處理云應用服務中心提交的各種云應用特征數(shù)據(jù)信息或數(shù)據(jù)信息，通過數(shù)據(jù)分割關系表找到對應的數(shù)據(jù)表；
基于各種云應用服務的數(shù)據(jù)特征和用戶數(shù)據(jù)特征分析，將出現(xiàn)性能瓶頸約束的數(shù)據(jù)表進行分割；
將一個大數(shù)據(jù)表分割存儲在不同的小數(shù)據(jù)表中；
在記錄數(shù)據(jù)分割關系表中記錄云服務數(shù)據(jù)智能分割引擎進行的數(shù)據(jù)分割關系和變化情況。
[0018]較佳地，本發(fā)明還包括:
大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心以云應用服務中心為單元對本中心的云應用服務及數(shù)據(jù)的特征進行歸總管理；
云服務數(shù)據(jù)智能分割引擎通過對歸總的特征設置不同的閥值集合，當數(shù)據(jù)表的數(shù)據(jù)滿足所述閥值集合要求時判斷其數(shù)據(jù)表出現(xiàn)性能瓶頸約束，以此來作為數(shù)據(jù)表分割依據(jù)。
[0019]較佳地，本發(fā)明還包括:大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心以云應用服務中心為單元對本中心的云應用服務及數(shù)據(jù)的特征進行歸總管理；根據(jù)所述云應用特征行為管理單元中的特征信息，建立各個云應用服務中心之間的關聯(lián)關系；接收云應用服務中心及時更新的數(shù)據(jù)信息，根據(jù)預先存儲的關聯(lián)關系，找到相關聯(lián)的其它云應用服務中心信息，并通知更新數(shù)據(jù)的云應用服務中心或相關聯(lián)的云應用服務中心。
[0020]較佳地，本發(fā)明還包括:大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心中云服務數(shù)據(jù)智能分割引擎接收和處理云應用服務中心提交的各種云應用特征數(shù)據(jù)信息或數(shù)據(jù)信息，通過數(shù)據(jù)分割關系表找到對應的數(shù)據(jù)表；如果數(shù)據(jù)表不滿足進行分割的條件，則直接將所述數(shù)據(jù)存儲至對應的數(shù)據(jù)表中。
[0021]與現(xiàn)有技術相比，本發(fā)明具有以下的優(yōu)點:
本項目采用的RangeDB技術,源于對MapReduce技術的深入分析研究與實踐、融入多年來云應用實踐過程中掌握的云應用行業(yè)技術特征、用戶使用習慣等服務參數(shù)，實現(xiàn)對大規(guī)模分布式數(shù)據(jù)庫智能分割，解決大規(guī)模用戶對云服務的消息響應與大規(guī)模數(shù)據(jù)增長帶來的性能瓶頸問題，按照分布式數(shù)據(jù)庫的設計理念，可以分為以表為單位的分割和從數(shù)據(jù)的中間分割。兩種分割方式都可以在很好的解決一個數(shù)據(jù)庫容量超出內存規(guī)模的問題，以表為單位的分割是將不同的數(shù)據(jù)表獨立存儲在不同的數(shù)據(jù)庫服務器上，從數(shù)據(jù)的中間分割是當一個表的數(shù)據(jù)量超過服務器最大內存容量(如32GB)，搜索操作效率都比較低下，需要按照一定的索引排序規(guī)則，將表分割成多個比較小的數(shù)據(jù)表，實現(xiàn)每個小表的高速訪問與使用。
[0022]平臺的智能分布式數(shù)據(jù)庫分割引擎，通過對大規(guī)模云應用服務的業(yè)務和實時數(shù)據(jù)處理分析，對大規(guī)模數(shù)據(jù)庫各個數(shù)據(jù)表的數(shù)據(jù)情況和關聯(lián)關系進行分析處理，自動調整數(shù)據(jù)表采用表為分割單位的數(shù)據(jù)庫分割或采用中間數(shù)據(jù)分割，同時引擎自動將用戶云應用服務請求重新分解為對不同分割后數(shù)據(jù)庫的操作請求。
[0023]本發(fā)明可以預先對各個云服務的特征點進行劃分，并預先保存它們之間的關聯(lián)關系，當某一些數(shù)據(jù)發(fā)生變化時，可以通過云服務之間的關聯(lián)關系找到對應相關聯(lián)的云服務，并將發(fā)生變化的數(shù)據(jù)發(fā)送至關聯(lián)的云服務，以便其及時更新，本發(fā)明的方案簡單，同步效率聞。
[0024]本發(fā)明還可以及時更新云服務的特征點，并更新對應的關聯(lián)關系，做到當前的關聯(lián)關系為動態(tài)的，實時更新的，以提聞其準確率。
[0025]【專利附圖】

【附圖說明】
圖1為本發(fā)明基于云服務數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)一實施例的原理示意圖；
圖2為云應用服務中心的原理結構示意圖。
【具體實施方式】
[0026]以下結合附圖，具體說明本發(fā)明。
[0027]請參閱圖1，本發(fā)明基于云服務數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)，即基于DBRange的大規(guī)模分布式數(shù)據(jù)庫分割平臺架構由云客戶端4、云應用服務中心、大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心I三個層次組成。
[0028]云客戶端4是指使用云應用服務的各種智能終端設備，包括但不限于PC、筆記本、智能手機等，用戶通過這些設備來使用云應用服務。
[0029]云應用服務中心，是一組具備提供云客戶端使用某種或多種類型云應用服務能力的中心服務器群，這個服務器群組架設有服務于云應用服務的數(shù)據(jù)庫系統(tǒng)和其它系統(tǒng)服務組件，相比常規(guī)的云應用服務器群來說，除能提供云客戶端的云應用服務能力外，還通過與DBRange管理中心的通訊來進一步優(yōu)化提供云服務中心節(jié)點間的數(shù)據(jù)同步和服務能力，云應用服務中心將云客戶端的應用或數(shù)據(jù)請求特征數(shù)據(jù)提交到DBRange管理中心，DBRange管理中心通過對用戶歷史和當前行為數(shù)據(jù)分析，將智能決策結果推送到云應用服務節(jié)點，云應用服務節(jié)點獲取決策和授權后與其它云應用服務節(jié)點進行必要的數(shù)據(jù)同步來進一步優(yōu)化云客戶端應用體驗。在本實例中，云應用服務中心給出了云應用服務端A 2和云應用服務端B 3兩個中心來舉例說明。但需要說明的是，這僅是舉例，并非用來局限本發(fā)明。
[0030]基于DBRange的大規(guī)模分布式數(shù)據(jù)庫管理中心1，核心依賴于對云應用服務的特征智能分析，在數(shù)據(jù)庫規(guī)?；驍?shù)據(jù)表達到一定的性能指標閥值時，將多個云應用或服務的大規(guī)模數(shù)據(jù)按照數(shù)據(jù)的特征進行分割，常用的特征包含但不限于地理位置、操作時間、用戶、云應用或服務間關系，通過分割可以讓這些數(shù)據(jù)表或數(shù)據(jù)庫滿足性能閥值約束要求。特別是對云應用服務端A 2和云應用服務端B 3要進行某些智能控制時，通過實時獲取云應用服務端A 2和云應用服務端B 3的更新數(shù)據(jù)或實時處理數(shù)據(jù)，進行分析，可方便管理和監(jiān)控，也可以進一步指導、監(jiān)控或控制云應用服務端A 2和云應用服務端B 3端的智能服務。比如，云應用服務端A 2提供企業(yè)郵件服務，則當某一企業(yè)郵件的處理數(shù)據(jù)達到某一閥值時，大規(guī)模分布式數(shù)據(jù)庫管理中心可以監(jiān)控到該種情況，可建議或監(jiān)控云應用服務端A 2進行郵箱或郵件優(yōu)化，提升郵件處理的數(shù)據(jù)。
[0031]還請參閱圖1，大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心主要包括:云應用業(yè)務管理管理單元11、云應用特征行為管理單元13、和實時數(shù)據(jù)處理平臺。實時數(shù)據(jù)處理平臺進一步包括云服務數(shù)據(jù)智能分割引擎12、分布式云服務數(shù)據(jù)庫關系管理單元14。大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心一般還包括一些數(shù)據(jù)庫服務器等，在此就省略不敘述。
[0032]云應用特征行為管理單元13:定義數(shù)據(jù)庫分割的參照特征約束，包括但不限于地理位置、時間維度、用戶屬性、企業(yè)屬性、云應用服務屬性等，對各種云應用服務和數(shù)據(jù)的特征進行集中管理和維護。也就是說，對每個云應用服務中心包括云應用服務、涉及數(shù)據(jù)進行參照特征的分割，并按照分割分的參照特征來進行歸總。云應用特征行為管理單元13獲得一個云應用服務時，主要以這幾個方面進行參照特征的獲取:網絡和云應用屬性的特征提取、云應用服務特征的提取、云應用數(shù)據(jù)的特征提取。網絡和云應用屬性的特征提取包括地理位置信息、時間維度信息、IP地址信息、云應用涉及到的客戶信息、云應用屬性等，云應用服務特征的提取進一步可以包括服務特征點的羅列，云應用數(shù)據(jù)的特征提取包括云應用數(shù)據(jù)涉及到的共性數(shù)據(jù)特征點。云應用特征行為管理單元獲得該些數(shù)據(jù)特征及對應的描述，當一旦云應用服務中心有相關特征進行更改時，可以及時更新。云應用特征行為管理單元可以以表格的形式保存每個云應用服務中心所涉及到的相關所有參照特征。而且，根據(jù)每個云應用服務中心的具體屬性可以按照預先設定的規(guī)定來進行特征的提取，并保存至對應的表格中。
[0033]云應用業(yè)務管理單元11:與云應用特征行為管理單元13進行連接，根據(jù)所述云應用特征行為管理單元中的特征信息，建立各個云應用服務中心之間的關聯(lián)關系。云應用業(yè)務管理單元11的關聯(lián)關系的建立可以分為兩部分，一部分是根據(jù)每個云應用服務中心表格中對應的字段所表示的含義自動建議關聯(lián)關系，比如，相同的IP地址等。另一部分是可以通過人工進行二次關聯(lián)，提高關聯(lián)率。以上僅是舉例說明，并非是局限，可是只通過自動匹配的方式來進行關聯(lián)，也可以僅通過人工匹配的方式來進行關聯(lián)。
[0034]云應用業(yè)務管理單元訪問云應用特征行為管理單元13保存的每個云應用服務中心所涉及到的相關所有參照特征，比如，某些云應用服務中心都涉及到聯(lián)系人信息(聯(lián)系人名稱、聯(lián)系人郵箱、聯(lián)系人職業(yè)、職系人電話等)這幾個特征信息，而且該用戶的標識信息(用戶的身份信息、聯(lián)系信息等)存在相同或相關，即可以建立該些云應用服務中心針對該用戶的聯(lián)系人信息的關聯(lián)。
[0035]各個云應用服務中心之間的關聯(lián)關系可以預先建立，在同步時進行驗證，若某些云應用服務中心的關聯(lián)關系建立出錯，則可以反過來取消預先設置的關聯(lián)關系。當某些應該建立的關聯(lián)關系未建立，則同步時某些數(shù)據(jù)就不能達到及時同步，可通過人工方式更改云應用業(yè)務管理單元相關的數(shù)據(jù)庫信息，以建立對應的關聯(lián)關系。也就是說，云應用業(yè)務管理單元建立的各個云應用服務中心之間的關聯(lián)關系是動態(tài)的，可隨著各個云應用服務的數(shù)據(jù)或設計變化，及時更改的。
[0036]實時數(shù)據(jù)處理平臺:用于接收云應用服務中心及時更新的數(shù)據(jù)信息，根據(jù)云應用業(yè)務管理單元中預先存儲的關聯(lián)關系，找到相關聯(lián)的其它云應用服務中心信息，并通知更新數(shù)據(jù)的云應用服務中心或相關聯(lián)的云應用服務中心。
[0037]當云應用服務中心某些特征發(fā)生改變時,也會通知大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心I。云應用業(yè)務管理管理單元11和云應用特征行為管理單元13獲得某些特征變化后，及時調整特征庫或對應的關聯(lián)關系，以保證當前的云應用業(yè)務管理管理單元11和云應用特征行為管理單元13中的特征信息及關聯(lián)關系是最新的。
[0038]當云應用服務中心的數(shù)據(jù)信息發(fā)生變化時，可以直接將發(fā)生變化的數(shù)據(jù)發(fā)送至大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心1，根據(jù)云應用業(yè)務管理單元中預先存儲的關聯(lián)關系，找到相關聯(lián)的其它云應用服務中心信息，并通知更新數(shù)據(jù)的云應用服務中心或相關聯(lián)的云應用服務中心。一種方案是云應用服務中心直接進行數(shù)據(jù)同步交互，另一種方案時，大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心I直接將各個相關聯(lián)云應用服務中心所涉及到的預更新的數(shù)據(jù)發(fā)送到各自相關聯(lián)的云應用服務中心。
[0039]云應用服務中心的數(shù)據(jù)信息發(fā)生變化，且變化的數(shù)據(jù)量非常龐大時，本發(fā)明也可以僅將涉及到的特征點信息發(fā)送至大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心1，不需要把整個數(shù)據(jù)發(fā)送至大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心1，這樣就避免大量數(shù)據(jù)網絡的傳輸，提高了網絡傳輸?shù)男?，也不需要占用過多的網絡資源。大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心I只需要該些特征點涉及到的各自相關的云應用服務中心信息信息發(fā)送至該數(shù)據(jù)信息發(fā)化的云應用服務中心。云應用服務中心即可將特征點涉及到的變化數(shù)據(jù)信息直接發(fā)送到各自對應相關的云應用服務中心。
[0040]實時數(shù)據(jù)處理平臺除了包括實時數(shù)據(jù)處理單元之外，還可以包括云服務數(shù)據(jù)智能分割引擎12、分布式云服務數(shù)據(jù)庫關系管理單元14:
實時數(shù)據(jù)處理單元:用于接收云應用服務中心及時更新的數(shù)據(jù)信息，根據(jù)云應用業(yè)務管理單元中預先存儲的關聯(lián)關系，找到相關聯(lián)的其它云應用服務中心信息，并通知更新數(shù)據(jù)的云應用服務中心或相關聯(lián)的云應用服務中心。
[0041]云服務數(shù)據(jù)智能分割引擎12，接收和處理云應用服務中心實時反饋提交的各種云應用特征數(shù)據(jù)信息和數(shù)據(jù)信息，基于各種云應用服務的數(shù)據(jù)特征和用戶數(shù)據(jù)特征分析，將出現(xiàn)性能瓶頸約束的大數(shù)據(jù)表進行分割，將一個大數(shù)據(jù)表分割存儲在不同的小數(shù)據(jù)表中；
也就是說云服務數(shù)據(jù)智能分割引擎12接收和處理云應用服務中心實時反饋提交的各種云應用特征數(shù)據(jù)信息和數(shù)據(jù)信息，基于各種云應用服務的數(shù)據(jù)特征和用戶數(shù)據(jù)特征分析，將出現(xiàn)性能瓶頸約束的大數(shù)據(jù)表進行分割，閥值約束包括但不限于數(shù)據(jù)表的大小，數(shù)據(jù)據(jù)記錄的條數(shù)，用戶的數(shù)量等，將一個大數(shù)據(jù)表通過智能分割規(guī)則分割存儲在不同的小數(shù)據(jù)表中，同時在記錄數(shù)據(jù)分割關系表中記錄這種數(shù)據(jù)分割關系和變化。
[0042]分布式云服務數(shù)據(jù)庫關系管理單元14，提供對所有DBRange管理中心管理云服務應用集群節(jié)點的集中管理和數(shù)據(jù)服務控制，通過用戶特征數(shù)據(jù)和應用數(shù)據(jù)的智能分析，通知云應用服務集群節(jié)點進行必要的數(shù)據(jù)的數(shù)據(jù)同步操作。
[0043]當云應用服務中心的數(shù)據(jù)信息發(fā)生變化，且變化的數(shù)據(jù)量非常龐大時，本發(fā)明涉及到的特征點信息發(fā)送至大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心，若大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心需要進行對應表的數(shù)據(jù)更新時，先查詢分布式云服務數(shù)據(jù)庫關系管理單元14，通過分布式云服務數(shù)據(jù)庫關系管理單元14可以獲知該云應用服務中心存儲的數(shù)據(jù)存儲的地址、存儲的規(guī)則(比如，存儲在幾張表內，每張表是以什么規(guī)則劃分的)等，即可獲知該些對應數(shù)據(jù)信息應存儲的地址，進行存儲更新。
[0044]一般在存儲更新之前，本發(fā)明的一個比較大的特點是通過云服務數(shù)據(jù)智能分割引擎12判斷當前更新的數(shù)據(jù)(如表)需不需要進行分割，在云服務數(shù)據(jù)智能分割引擎12中預先存儲分割的規(guī)則，比如，數(shù)據(jù)表的記錄不能超過約定的N條，再比如，數(shù)據(jù)表的存儲量不能超過某一范圍等等，如果需要分割，對其進行分割，并將分割后的表信息存儲至分布式云服務數(shù)據(jù)庫關系管理單元14，云服務數(shù)據(jù)智能分割引擎12的分割規(guī)則可以通過訪問云應用特征行為管理單元13來進行制定規(guī)則，這種分割更為規(guī)則，其不容易出錯，能達到云平臺的最佳狀態(tài)。
[0045]請參閱圖2，其為云應用服務中心的一種原理結構示意圖。云應用服務中心主要包括云應用服務21、DBRange數(shù)據(jù)交互模塊22、集群節(jié)點間數(shù)據(jù)同步模塊23、數(shù)據(jù)同步日志管理模塊24。
[0046]云應用服務21，提供面向云客戶端服務使用能力，常見的云應用服務有:企業(yè)云郵局、IAAS云主機、企業(yè)云視頻會議等。
[0047]DBRange數(shù)據(jù)交互模塊22，提供云應用集群節(jié)點與DBRange大規(guī)模數(shù)據(jù)庫管理中心的通訊能力，將用戶云應用服務的特征數(shù)據(jù)實時提交到DBRange分割引擎，同時接收DBRange中心的推送與其它云應用集群之間的數(shù)據(jù)同步命令或要求。
[0048]集群節(jié)點間數(shù)據(jù)同步模塊23，提供與其它云應用集群節(jié)點的數(shù)據(jù)同步和交互能力，實現(xiàn)云應用數(shù)據(jù)的快速分布式共享與使用。
[0049]數(shù)據(jù)同步日志管理模塊24，提供日志記錄行為或命令記錄。
[0050]一種基于云服務數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割方法，包括以下步驟:
大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心中云服務數(shù)據(jù)智能分割引擎接收和處理云應用服務中心提交的各種云應用特征數(shù)據(jù)信息或數(shù)據(jù)信息，通過數(shù)據(jù)分割關系表找到對應的數(shù)據(jù)表；
基于各種云應用服務的數(shù)據(jù)特征和用戶數(shù)據(jù)特征分析，將出現(xiàn)性能瓶頸約束的數(shù)據(jù)表進行分割；
將一個大數(shù)據(jù)表分割存儲在不同的小數(shù)據(jù)表中；
在記錄數(shù)據(jù)分割關系表中記錄云服務數(shù)據(jù)智能分割引擎進行的數(shù)據(jù)分割關系和變化情況。
[0051]本方法還包括:大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心以云應用服務中心為單元對本中心的云應用服務及數(shù)據(jù)的特征進行歸總管理；云服務數(shù)據(jù)智能分割引擎通過對歸總的特征設置不同的閥值集合，當數(shù)據(jù)表的數(shù)據(jù)滿足所述閥值集合要求時判斷其數(shù)據(jù)表出現(xiàn)性能瓶頸約束，以此來作為數(shù)據(jù)表分割依據(jù)。
[0052]本方法還包括:大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心以云應用服務中心為單元對本中心的云應用服務及數(shù)據(jù)的特征進行歸總管理；根據(jù)所述云應用特征行為管理單元中的特征信息，建立各個云應用服務中心之間的關聯(lián)關系；接收云應用服務中心及時更新的數(shù)據(jù)信息，根據(jù)預先存儲的關聯(lián)關系，找到相關聯(lián)的其它云應用服務中心信息，并通知更新數(shù)據(jù)的云應用服務中心或相關聯(lián)的云應用服務中心。
[0053]并且，大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心中云服務數(shù)據(jù)智能分割引擎接收和處理云應用服務中心提交的各種云應用特征數(shù)據(jù)信息或數(shù)據(jù)信息，通過數(shù)據(jù)分割關系表找到對應的數(shù)據(jù)表；如果數(shù)據(jù)表不滿足進行分割的條件，則直接將所述數(shù)據(jù)存儲至對應的數(shù)據(jù)表中。
[0054]應用例
流程說明:
DDBRange管理中心云服務數(shù)據(jù)智能分割引擎啟動數(shù)據(jù)表分析；
2)檢查是否數(shù)據(jù)表超過設計定義的約束閥值，約束閥值定義包括但不限于數(shù)據(jù)表文件大小、數(shù)據(jù)記錄的條數(shù)、用戶量的大小、企業(yè)數(shù)量大小等，如果超過，繼續(xù)進行處理，否則，完成這次分割處理；
3)提取數(shù)據(jù)表存在的云應用和特征數(shù)據(jù)定義關系；
4)按照特征數(shù)據(jù)約束和定義關系分割數(shù)據(jù)表，將原有的大數(shù)據(jù)表拆分為多個數(shù)據(jù)表，解決性能約束問題，同時記錄數(shù)據(jù)表的分割索引關系；
完成這次數(shù)據(jù)表分割處理。
【權利要求】
1.一種基于云服務數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)，其特征在于，包括:若干云客戶端、若干云應用服務中心和至少一個大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心， 大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心進一步包括云服務數(shù)據(jù)智能分割引擎和分布式云服務數(shù)據(jù)庫關系管理單元， 云服務數(shù)據(jù)智能分割引擎:接收和處理云應用服務中心提交的各種云應用特征數(shù)據(jù)信息或數(shù)據(jù)信息，基于各種云應用服務的數(shù)據(jù)特征和用戶數(shù)據(jù)特征分析，將出現(xiàn)性能瓶頸約束的大數(shù)據(jù)表進行分割，將一個大數(shù)據(jù)表分割存儲在不同的小數(shù)據(jù)表中； 分布式云服務數(shù)據(jù)庫關系管理單元:連接云服務數(shù)據(jù)智能分割引擎，在記錄數(shù)據(jù)分割關系表中記錄云服務數(shù)據(jù)智能分割引擎進行的數(shù)據(jù)分割關系和變化情況； 云應用服務中心:與云客戶端連接，用于給云客戶端提供云服務，并且提供與所述大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心進行數(shù)據(jù)通訊，將用戶云應用服務的特征數(shù)據(jù)提交到云服務數(shù)據(jù)智能分割引擎進行分割保存。
2.如權利要求1所述的 基于云服務數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)，其特征在于，大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心還包括: 云應用特征行為管理單元:以云應用服務中心為單元對本中心的云應用服務及數(shù)據(jù)的特征進行歸總管理。
3.如權利要求2所述的基于云服務數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)，其特征在于，云服務數(shù)據(jù)智能分割引擎進一步包括: 數(shù)據(jù)庫:用于存儲云應用服務中心對應各種數(shù)據(jù)表； 分割判斷單元:用于連接云應用特征行為管理單元，用于對用于基于各種云應用服務的數(shù)據(jù)特征和用戶數(shù)據(jù)特征分析，判斷所述特征是否滿足分割條件； 分割單元:用于對滿足分割條件的大規(guī)模數(shù)據(jù)進行分割，將一個大數(shù)據(jù)表分割存儲在不同的小數(shù)據(jù)表中。
4.如權利要求2所述的基于云服務數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)，其特征在于，大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心還包括: 云應用業(yè)務管理單元:與云應用特征行為管理單元進行連接，根據(jù)所述云應用特征行為管理單元中的特征信息，建立各個云應用服務中心之間的關聯(lián)關系； 實時數(shù)據(jù)處理單元:用于接收云應用服務中心及時更新的數(shù)據(jù)信息，根據(jù)云應用業(yè)務管理單元中預先存儲的關聯(lián)關系，找到相關聯(lián)的其它云應用服務中心信息，并通知更新數(shù)據(jù)的云應用服務中心或相關聯(lián)的云應用服務中心。
5.如權利要求1所述的基于云服務數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)，其特征在于，云應用服務中心還進一步包括: 更新通訊單元:用于給云客戶端提供云服務，并且提供與所述大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心進行數(shù)據(jù)通訊，將用戶云應用服務的特征數(shù)據(jù)提交到云服務數(shù)據(jù)智能分割引擎進行分割保存； 數(shù)據(jù)交互單元:用于將更新數(shù)據(jù)信息發(fā)送至一個大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心，當接收到所述DBRange管理中心下發(fā)的相關聯(lián)的云應用服務中心時，將更新數(shù)據(jù)的相關信息發(fā)送至對應的云應用服務中心，或者當接收到所述DBRange管理中心下發(fā)的更新數(shù)據(jù)的云應用服務中心時與該云應用服務中心建立數(shù)據(jù)交互獲得當前更新的數(shù)據(jù)。
6.一種基于云服務數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割方法，其特征在于，包括以下步驟: 大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心中云服務數(shù)據(jù)智能分割引擎接收和處理云應用服務中心提交的各種云應用特征數(shù)據(jù)信息或數(shù)據(jù)信息，通過數(shù)據(jù)分割關系表找到對應的數(shù)據(jù)表； 基于各種云應用服務的數(shù)據(jù)特征和用戶數(shù)據(jù)特征分析，將出現(xiàn)性能瓶頸約束的數(shù)據(jù)表進行分割； 將一個大數(shù)據(jù)表分割存儲在不同的小數(shù)據(jù)表中； 在記錄數(shù)據(jù)分割關系表中記錄云服務數(shù)據(jù)智能分割引擎進行的數(shù)據(jù)分割關系和變化情況。
7.如權利要求6所述的基于云服務數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割方法，其特征在于，還包括: 大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心以云應用服務中心為單元對本中心的云應用服務及數(shù)據(jù)的特征進行歸總管理； 云服務數(shù)據(jù)智能分割引擎通過對歸總的特征設置不同的閥值集合，當數(shù)據(jù)表的數(shù)據(jù)滿足所述閥值集合要求時判斷其數(shù)據(jù)表出現(xiàn)性能瓶頸約束，以此來作為數(shù)據(jù)表分割依據(jù)。
8.如權利要求6所述的基于云服務數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割方法，其特征在于，還包括: 大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心以云應用服務中心為單元對本中心的云應用服務及數(shù)據(jù)的特征進行歸總管理； 根據(jù)所述云應用特征行為管理單元中的特征信息，建立各個云應用服務中心之間的關聯(lián)關系； 接收云應用服務中心及時更新的數(shù)據(jù)信息，根據(jù)預先存儲的關聯(lián)關系，找到相關聯(lián)的其它云應用服務中心信息，并通知更新數(shù)據(jù)的云應用服務中心或相關聯(lián)的云應用服務中心。
9.如權利要求6所述的基于云服務數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割方法，其特征在于，還包括: 大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心中云服務數(shù)據(jù)智能分割引擎接收和處理云應用服務中心提交的各種云應用特征數(shù)據(jù)信息或數(shù)據(jù)信息，通過數(shù)據(jù)分割關系表找到對應的數(shù)據(jù)表； 如果數(shù)據(jù)表不滿足進行分割的條件，則直接將所述數(shù)據(jù)存儲至對應的數(shù)據(jù)表中。
【文檔編號】G06F17/30GK103607418SQ201310315980
【公開日】2014年2月26日 申請日期:2013年7月25日 優(yōu)先權日:2013年7月25日
【發(fā)明者】許曉魯, 鐘冰 申請人:上海和辰信息技術有限公司