本發(fā)明屬于信息,特別是涉及到一種城市仿真領(lǐng)域云計算資源的調(diào)度方法及裝置。
背景技術(shù):
1、傳統(tǒng)的云計算資源分配主要通過虛擬化技術(shù)將物理資源(如cpu、內(nèi)存、存儲)封裝成獨(dú)立的虛擬資源,形成資源池。這些資源根據(jù)用戶的需求進(jìn)行靜態(tài)或動態(tài)分配,以支持不同規(guī)模的應(yīng)用程序運(yùn)行。資源調(diào)度算法如先來先服務(wù)(fcfs)、最短作業(yè)優(yōu)先(sjf)等,用于決定資源的具體分配策略。
2、城市仿真領(lǐng)域?qū)υ朴嬎阗Y源分配提出了獨(dú)特的需求。首先,城市仿真涉及大規(guī)模數(shù)據(jù)處理和高精度計算,要求云計算平臺能夠提供強(qiáng)大的計算能力和高可擴(kuò)展性。其次,仿真過程需要實(shí)時反饋和快速迭代,以支持決策制定和方案優(yōu)化。
3、傳統(tǒng)的云計算資源分配方式在城市仿真領(lǐng)域面臨挑戰(zhàn)。首先,城市仿真對資源的需求動態(tài)變化大,傳統(tǒng)靜態(tài)或簡單的動態(tài)分配方式難以實(shí)時響應(yīng)。其次,城市仿真需要高并發(fā)處理和低延遲反饋,而傳統(tǒng)資源分配算法在優(yōu)化資源利用率和響應(yīng)速度方面存在局限。因此,需要針對城市仿真領(lǐng)域的特點(diǎn),設(shè)計更加智能、靈活和安全的云計算資源分配方案。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明提出一種城市仿真領(lǐng)域云計算資源的調(diào)度方法及裝置,可以使得云計算資源分配更加高效,能夠更好地適應(yīng)城市仿真領(lǐng)域復(fù)雜多變的工作負(fù)載。
2、為達(dá)到上述目的,本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的:
3、一種城市仿真領(lǐng)域云計算資源的調(diào)度方法,包括:
4、s1、初始化服務(wù)器列表:
5、所述初始化包括每臺服務(wù)器的平均反應(yīng)時間、最大請求數(shù)閾值以及是否標(biāo)記為預(yù)留資源服務(wù)器;所述是否標(biāo)記為預(yù)留資源服務(wù)器的初始化值為否;
6、s2、設(shè)定周期:
7、設(shè)定一個固定的周期,用于計算服務(wù)器權(quán)重、更新服務(wù)器列表以及監(jiān)控任務(wù)請求;
8、s3、任務(wù)請求處理:
9、接收用戶根據(jù)常規(guī)手段發(fā)出的任務(wù)請求并作為常規(guī)任務(wù)分配服務(wù)器,監(jiān)控用戶是否由于預(yù)定時間內(nèi)沒有服務(wù)器響應(yīng)而第二次發(fā)出任務(wù)請求;
10、s4、識別高反應(yīng)時間要求任務(wù):
11、將用戶第二次發(fā)出的任務(wù)請求識別為高反應(yīng)時間要求任務(wù);
12、s5、調(diào)整預(yù)留資源:
13、當(dāng)識別出高反應(yīng)時間要求任務(wù)時,查找當(dāng)前任務(wù)最少的服務(wù)器,并將其標(biāo)記為預(yù)留資源服務(wù)器,不再向預(yù)留資源服務(wù)器分配常規(guī)任務(wù),只分配高反應(yīng)時間要求任務(wù),并將高反應(yīng)時間要求任務(wù)排在原來還未執(zhí)行完成的常規(guī)任務(wù)之前;
14、s6、監(jiān)控預(yù)留資源服務(wù)器:
15、實(shí)時監(jiān)控所述預(yù)留資源服務(wù)器的未處理任務(wù)數(shù),如果未處理任務(wù)數(shù)超過所述最大請求數(shù)閾值,則選擇其他任務(wù)較少的服務(wù)器加入,擴(kuò)大預(yù)留資源服務(wù)器的規(guī)模;
16、s7、任務(wù)分配:
17、對于常規(guī)任務(wù),使用基礎(chǔ)分配策略,根據(jù)服務(wù)器的權(quán)重和當(dāng)前請求數(shù)來分配任務(wù);對于高反應(yīng)時間要求任務(wù),直接從預(yù)留資源服務(wù)器中分配服務(wù)器來處理;
18、所述基礎(chǔ)分配策略包括:
19、s701、定義服務(wù)器權(quán)重;服務(wù)器的權(quán)重wi定義為服務(wù)器平均反應(yīng)時間ri的倒數(shù),即wi=1/ri;
20、s702、計算分配概率;所述分配概率與服務(wù)器權(quán)重成正比,;其中n是服務(wù)器的總數(shù),i和j表示服務(wù)器的序號;
21、s703、考慮已分配任務(wù)數(shù)量:在分配任務(wù)時,需要考慮服務(wù)器已經(jīng)分配但還未執(zhí)行的任務(wù)數(shù)量ti;如果ti加上新分配的任務(wù)數(shù)量t超過服務(wù)器的最大請求數(shù)閾值ci,則該服務(wù)器不再分配新任務(wù),將分配概率設(shè)為0;
22、s704、任務(wù)分配決策:基于所述分配概率,以不同的概率隨機(jī)選擇一個服務(wù)器來分配任務(wù);
23、s705、更新服務(wù)器狀態(tài):每次分配任務(wù)后,更新所選服務(wù)器的任務(wù)數(shù)量ti;
24、s8、更新服務(wù)器狀態(tài)與預(yù)留資源調(diào)整:
25、在每個周期結(jié)束時,更新服務(wù)器列表中服務(wù)器的平均反應(yīng)時間,如果整個周期內(nèi)未出現(xiàn)高反應(yīng)時間要求任務(wù),則將是否標(biāo)記為預(yù)留資源服務(wù)器重新設(shè)置為否。
26、進(jìn)一步的,步驟s1中所述平均反應(yīng)時間的初始化包括:
27、s101、監(jiān)控服務(wù)器的實(shí)際任務(wù)請求及處理過程,設(shè)置監(jiān)控點(diǎn)并記錄時間戳;
28、s102、收集任務(wù)實(shí)際反應(yīng)時間數(shù)據(jù),根據(jù)所述監(jiān)控點(diǎn)的時間戳進(jìn)行計算并存儲;
29、s103、定期匯總所述周期內(nèi)所有實(shí)際任務(wù)的反應(yīng)時間,計算平均值,作為平均反應(yīng)時間的初始化值。
30、進(jìn)一步的,步驟s1中所述最大請求數(shù)閾值的初始化方法包括:
31、分析服務(wù)器的cpu核心數(shù)、內(nèi)存大小、磁盤i/o能力;結(jié)合任務(wù)的計算密集度、內(nèi)存占用率、磁盤讀寫頻率,評估服務(wù)器能夠高效處理的任務(wù)并發(fā)量;設(shè)定請求數(shù)上限,作為所述最大請求數(shù)閾值。
32、進(jìn)一步的,步驟s2中所述周期的設(shè)定方法包括 :
33、根據(jù)城市仿真領(lǐng)域系統(tǒng)的任務(wù)類型,包括計算密集型或i/o密集型或混合型任務(wù),以及任務(wù)對實(shí)時性的要求,考慮系統(tǒng)資源的利用率,統(tǒng)計任務(wù)的平均到達(dá)率,測量任務(wù)從接收到完成所需的平均時間,監(jiān)控系統(tǒng)的當(dāng)前負(fù)載情況,設(shè)定能及時響應(yīng)任務(wù)請求又能有效管理資源分配的周期時長;設(shè)定周期時長后,通過實(shí)際運(yùn)行和監(jiān)控系統(tǒng)狀態(tài),進(jìn)行調(diào)整和優(yōu)化。
34、本發(fā)明另一方面還提出了一種城市仿真領(lǐng)域云計算資源的調(diào)度裝置,包括:
35、初始化模塊,用于初始化服務(wù)器列表:所述初始化包括每臺服務(wù)器的平均反應(yīng)時間、最大請求數(shù)閾值以及是否標(biāo)記為預(yù)留資源服務(wù)器;所述是否標(biāo)記為預(yù)留資源服務(wù)器的初始化值為否;
36、周期模塊,用于設(shè)定周期:設(shè)定一個固定的周期,用于計算服務(wù)器權(quán)重、更新服務(wù)器列表以及監(jiān)控任務(wù)請求;
37、任務(wù)請求處理模塊:接收用戶根據(jù)常規(guī)手段發(fā)出的任務(wù)請求并作為常規(guī)任務(wù)分配服務(wù)器,監(jiān)控用戶是否由于預(yù)定時間內(nèi)沒有服務(wù)器響應(yīng)而第二次發(fā)出任務(wù)請求;
38、識別模塊,用于識別高反應(yīng)時間要求任務(wù):將用戶第二次發(fā)出的任務(wù)請求識別為高反應(yīng)時間要求任務(wù);
39、調(diào)整預(yù)留資源模塊:當(dāng)識別出高反應(yīng)時間要求任務(wù)時,查找當(dāng)前任務(wù)最少的服務(wù)器,并將其標(biāo)記為預(yù)留資源服務(wù)器,不再向預(yù)留資源服務(wù)器分配常規(guī)任務(wù),只分配高反應(yīng)時間要求任務(wù),并將高反應(yīng)時間要求任務(wù)排在原來還未執(zhí)行完成的常規(guī)任務(wù)之前;
40、監(jiān)控模塊,用于監(jiān)控預(yù)留資源服務(wù)器:實(shí)時監(jiān)控所述預(yù)留資源服務(wù)器的未處理任務(wù)數(shù),如果未處理任務(wù)數(shù)超過所述最大請求數(shù)閾值,則選擇其他任務(wù)較少的服務(wù)器加入,擴(kuò)大預(yù)留資源服務(wù)器的規(guī)模;
41、任務(wù)分配模塊:對于常規(guī)任務(wù),使用基礎(chǔ)分配策略,根據(jù)服務(wù)器的權(quán)重和當(dāng)前請求數(shù)來分配任務(wù);對于高反應(yīng)時間要求任務(wù),直接從預(yù)留資源服務(wù)器中分配服務(wù)器來處理;所述任務(wù)分配模塊包括基礎(chǔ)分配策略子模塊,所述基礎(chǔ)分配策略子模塊包括:定義服務(wù)器權(quán)重單元:服務(wù)器的權(quán)重wi定義為服務(wù)器平均反應(yīng)時間ri的倒數(shù),即wi=1/ri;計算分配概率單元:所述分配概率與服務(wù)器權(quán)重成正比,;其中n是服務(wù)器的總數(shù),i和j表示服務(wù)器的序號;慮已分配任務(wù)數(shù)量單元:在分配任務(wù)時,需要考慮服務(wù)器已經(jīng)分配但還未執(zhí)行的任務(wù)數(shù)量ti;如果ti加上新分配的任務(wù)數(shù)量t超過服務(wù)器的最大請求數(shù)閾值ci,則該服務(wù)器不再分配新任務(wù),將分配概率設(shè)為0;任務(wù)分配決策單元:基于所述分配概率,以不同的概率隨機(jī)選擇一個服務(wù)器來分配任務(wù);更新服務(wù)器狀態(tài)單元:每次分配任務(wù)后,更新所選服務(wù)器的任務(wù)數(shù)量ti;
42、更新模塊:更新服務(wù)器狀態(tài)與預(yù)留資源調(diào)整:
43、在每個周期結(jié)束時,更新服務(wù)器列表中服務(wù)器的平均反應(yīng)時間,如果整個周期內(nèi)未出現(xiàn)高反應(yīng)時間要求任務(wù),則將是否標(biāo)記為預(yù)留資源服務(wù)器重新設(shè)置為否。
44、進(jìn)一步的,所述初始化模塊包括:
45、監(jiān)控單元:監(jiān)控服務(wù)器的實(shí)際任務(wù)請求及處理過程,設(shè)置監(jiān)控點(diǎn)并記錄時間戳;
46、收集單元:收集任務(wù)實(shí)際反應(yīng)時間數(shù)據(jù),根據(jù)所述監(jiān)控點(diǎn)的時間戳進(jìn)行計算并存儲;
47、計算單元:定期匯總所述周期內(nèi)所有實(shí)際任務(wù)的反應(yīng)時間,計算平均值,作為平均反應(yīng)時間的初始化值。
48、進(jìn)一步的,所述初始化模塊包括:
49、最大請求數(shù)閾值單元:分析服務(wù)器的cpu核心數(shù)、內(nèi)存大小、磁盤i/o能力;結(jié)合任務(wù)的計算密集度、內(nèi)存占用率、磁盤讀寫頻率,評估服務(wù)器能夠高效處理的任務(wù)并發(fā)量;設(shè)定請求數(shù)上限,作為所述最大請求數(shù)閾值。
50、進(jìn)一步的,所述周期模塊包括 :
51、設(shè)定單元:根據(jù)城市仿真領(lǐng)域系統(tǒng)的任務(wù)類型,包括計算密集型或i/o密集型或混合型任務(wù),以及任務(wù)對實(shí)時性的要求,考慮系統(tǒng)資源的利用率,統(tǒng)計任務(wù)的平均到達(dá)率,測量任務(wù)從接收到完成所需的平均時間,監(jiān)控系統(tǒng)的當(dāng)前負(fù)載情況,設(shè)定能及時響應(yīng)任務(wù)請求又能有效管理資源分配的周期時長;
52、調(diào)整單元:設(shè)定周期時長后,通過實(shí)際運(yùn)行和監(jiān)控系統(tǒng)狀態(tài),進(jìn)行調(diào)整和優(yōu)化。
53、與現(xiàn)有技術(shù)相比,本發(fā)明具有如下的有益效果:
54、1、本發(fā)明具有高靈活性與動態(tài)適應(yīng)性:本發(fā)明的方案能夠?qū)崟r監(jiān)控任務(wù)請求和服務(wù)器狀態(tài),動態(tài)調(diào)整預(yù)留資源池的規(guī)模,確保在高反應(yīng)時間要求的任務(wù)出現(xiàn)時,能夠迅速響應(yīng)并分配足夠的資源。這種靈活性使得資源分配更加高效,能夠更好地適應(yīng)城市仿真領(lǐng)域復(fù)雜多變的工作負(fù)載。
55、2、本發(fā)明優(yōu)化資源利用率:通過智能監(jiān)控和資源動態(tài)調(diào)整,本發(fā)明能夠更準(zhǔn)確地判斷城市仿真領(lǐng)域資源需求,避免資源過分配或欠分配的情況。這不僅可以減少資源浪費(fèi),還能確保關(guān)鍵任務(wù)在需要時獲得足夠的資源支持,從而提升整體系統(tǒng)的性能和穩(wěn)定性。