基于近數(shù)據(jù)計算原則的多衛(wèi)星數(shù)據(jù)中心工作流調(diào)度算法
【專利摘要】本發(fā)明公開了一種基于近數(shù)據(jù)計算原則的多衛(wèi)星數(shù)據(jù)中心工作流調(diào)度算法，包括步驟1：構(gòu)建工作流執(zhí)行綜合時間最小化的近數(shù)據(jù)計算模型；步驟2：基于計算資源處理能力與關(guān)鍵數(shù)據(jù)資源傳輸代價的虛擬工作流動態(tài)構(gòu)建方法；步驟3：基于超圖理論的按組劃分任務方式PGH對步驟2中的虛擬工作流調(diào)度進行優(yōu)化；步驟4：對預先設置的多衛(wèi)星數(shù)據(jù)中心計算近數(shù)據(jù)計算模型之間的算法進行自動遷移。本發(fā)明的有益效果為：可實現(xiàn)最大程度地降低工作流總執(zhí)行時間，從而大大提高多衛(wèi)星數(shù)據(jù)中心的工作流調(diào)度效率，能夠快速構(gòu)建基于多衛(wèi)星數(shù)據(jù)中心架構(gòu)的一站式遙感數(shù)據(jù)產(chǎn)品服務模式，并為應對多用戶的復雜需求提供技術(shù)支撐。
【專利說明】基于近數(shù)據(jù)計算原則的多衛(wèi)星數(shù)據(jù)中心工作流調(diào)度算法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種面向多衛(wèi)星數(shù)據(jù)中心工作流調(diào)度算法，具體來說，涉及一種基于 近數(shù)據(jù)計算原則的多衛(wèi)星數(shù)據(jù)中心工作流調(diào)度算法。

【背景技術(shù)】
[0002] 隨著對地觀測領(lǐng)域內(nèi)多種傳感器的發(fā)展，海量多源遙感數(shù)據(jù)獲取能力的提高，專 業(yè)化的數(shù)據(jù)獲取與多源數(shù)據(jù)的綜合應用呈現(xiàn)出精細化分工與協(xié)同式綜合處理需求并存的 發(fā)展局面。一方面，各類遙感數(shù)據(jù)獲取與管理方式更為專業(yè)化，由此形成了多個不同類型衛(wèi) 星、不同區(qū)域或國家的數(shù)據(jù)中心；另一方面，遙感領(lǐng)域的大型綜合性應用又需要得到不同衛(wèi) 星、不同區(qū)域或國家數(shù)據(jù)中心的數(shù)據(jù)支持，面臨著需要同時面對不同類型傳感器數(shù)據(jù)的處 理、不同數(shù)據(jù)中心之間數(shù)據(jù)類型與覆蓋區(qū)域的互補、綜合性信息處理等現(xiàn)實問題。
[0003] 這一系列現(xiàn)實狀況、需求與發(fā)展趨勢，一方面催生了各數(shù)據(jù)中心聯(lián)合提供數(shù)據(jù)共 享的動力與技術(shù)解決方案，另一方面，各中心聯(lián)合起來，共同為用戶提供綜合性的信息處理 與一站式信息服務，成為未來的發(fā)展趨勢之一。為此，構(gòu)建多衛(wèi)星數(shù)據(jù)中心協(xié)同處理與一站 式信息服務模式，依托于國內(nèi)外已有的氣象、陸地、海洋等衛(wèi)星數(shù)據(jù)中心，研究在多衛(wèi)星數(shù) 據(jù)中心架構(gòu)下處理多源遙感數(shù)據(jù)產(chǎn)品所需的若干關(guān)鍵技術(shù)，建立一個可以統(tǒng)一、協(xié)同調(diào)度 多衛(wèi)星數(shù)據(jù)中心資源的多源遙感數(shù)據(jù)協(xié)同處理平臺成為當下遙感領(lǐng)域的一個迫切問題。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是提供一種基于近數(shù)據(jù)計算原則的多衛(wèi)星數(shù)據(jù)中心工作流調(diào)度算 法，通過建立近數(shù)據(jù)計算的目標約束模型，確定最小化的工作流執(zhí)行綜合時間確定近數(shù)據(jù) 計算的具體實現(xiàn)方式。通過超圖理論的按組劃分任務方式將多衛(wèi)星數(shù)據(jù)中心計算平臺的工 作流調(diào)度方法進行優(yōu)化，能夠使相同分組內(nèi)的計算任務其輸入數(shù)據(jù)的傳輸時間最短。同時， 在輸入數(shù)據(jù)量較大的情況下，利用多衛(wèi)星數(shù)據(jù)中心計算平臺之間的算法自動遷移方法替代 大規(guī)模的數(shù)據(jù)遷移。如此可避免長時間的海量數(shù)據(jù)傳輸過程中會遇到的網(wǎng)絡中斷、存儲空 間消耗過大等問題，從而提高多衛(wèi)星數(shù)據(jù)中心的工作流調(diào)度效率和協(xié)同處理能力，有效的 克服了現(xiàn)有技術(shù)中的上述不足。
[0005] 本發(fā)明的目的是通過以下技術(shù)方案來實現(xiàn)： 一種基于近數(shù)據(jù)計算原則的多衛(wèi)星數(shù)據(jù)中心工作流調(diào)度算法，包括以下步驟： 步驟1 :將預先配置的工作流執(zhí)行綜合時間簡化為工作流所需數(shù)據(jù)的傳輸時間和輸入 數(shù)據(jù)拷貝到計算資源后的實際處理時間，以時間成本為約束條件，計算所述工作流執(zhí)行綜 合時間的最小值； 步驟2 :根據(jù)得到待調(diào)度的數(shù)據(jù)資源與計算資源信息，在預先配置的既定調(diào)度原則的 指導下，選擇相匹配的資源進行組合，得到虛擬工作流； 步驟3 :基于超圖理論的按組劃分任務方式PGH對步驟2中的虛擬工作流調(diào)度進行優(yōu) 化； 步驟4 :對預先設置的多衛(wèi)星數(shù)據(jù)中心計算近數(shù)據(jù)計算模型之間的算法進行自動遷 移，包括算法運行環(huán)境的解析與封裝方法分析以及算法的跨計算模型自動編譯。
[0006] 進一步的，在步驟3中，優(yōu)化的方法包括將具有相同輸入數(shù)據(jù)的工作流劃分為相 同的任務組，在同一任務組內(nèi)重復利用已經(jīng)拷貝過的輸入數(shù)據(jù)。
[0007] 進一步的，在步驟4中，所述算法運行環(huán)境的解析與封裝方法分析包括： 步驟4-1-1 :查詢預先配置的算法庫中關(guān)于該算法資源的信息，確定算法資源是否具 備源代碼和源代碼的路徑，同時對該路徑下的源代碼與動態(tài)鏈接庫文件進行檢查； 步驟4-1-2 :對算法可執(zhí)行文件運行用戶的環(huán)境變量進行解析，提取出算法運行時動 態(tài)鏈接庫所需的環(huán)境變量名稱，并保存為xml文件格式； 步驟4-1-3 :對算法運行所依賴的動態(tài)鏈接庫進行封裝，并使動態(tài)鏈接庫的封裝與預 先配置的算法源代碼的壓縮方法一致。
[0008] 進一步的，在步驟4中，所述算法的跨計算模型自動編譯包括： 步驟4-2-1 :利用預先配置在系統(tǒng)平臺中與源代碼與動態(tài)鏈接庫的壓縮文件格式相匹 配的解壓縮命令對源代碼與動態(tài)鏈接庫進行解壓縮，并且將動態(tài)鏈接庫解壓縮后的路徑保 存在預先配置的臨時文件中； 步驟4-2-2 :算法資源遷移到目標數(shù)據(jù)中心后，同時還要將遷移過來的動態(tài)鏈接庫文 件所對應的路徑添加到環(huán)境變量中，將步驟4-2-1中所記錄的動態(tài)鏈接庫文件路徑添更新 到當前用戶的環(huán)境變量中，并判斷配置文件中是否已存在同名環(huán)境變量，在不存在同名環(huán) 境變量的情況下，新建環(huán)境變量并對其賦值； 步驟4-2-3 :對預先配置的自動編譯腳本進行調(diào)用，通過預先設置的ssh協(xié)議調(diào)用目標 數(shù)據(jù)中心的預先配置的算法編譯MakeFile文件，驅(qū)動算法資源編譯過程自動執(zhí)行； 步驟4-2-4 :編譯成功后的算法資源生成相匹配的可執(zhí)行文件，通過預先配置的數(shù)據(jù) 庫操作接口增加目標數(shù)據(jù)中心算法庫中的新算法記錄。
[0009] 進一步的，在步驟4-2-2中，在存在同名環(huán)境變量的情況下，對該環(huán)境變量進行追 加。
[0010] 本發(fā)明的有益效果為：在多衛(wèi)星數(shù)據(jù)中心工作流進行調(diào)度中，近數(shù)據(jù)計算原則實 現(xiàn)計算向數(shù)據(jù)靠近的目的，最大程度地降低工作流總執(zhí)行時間，從而大大提高多衛(wèi)星數(shù)據(jù) 中心的工作流調(diào)度效率，另外，針對海量遙感數(shù)據(jù)的多中心協(xié)同處理過程中涉及的大規(guī)模 數(shù)據(jù)遷移問題，多衛(wèi)星數(shù)據(jù)中心環(huán)境下近數(shù)據(jù)工作流調(diào)度算法能夠以算法遷移代替大規(guī)模 數(shù)據(jù)遷移，可避免長時間的海量數(shù)據(jù)傳輸過程中會遇到的網(wǎng)絡中斷、存儲空間消耗過大等 問題，能夠快速構(gòu)建基于多衛(wèi)星數(shù)據(jù)中心架構(gòu)的一站式遙感數(shù)據(jù)產(chǎn)品服務模式，并為應對 多用戶的復雜需求提供技術(shù)支撐，有利于市場的推廣與應用。

【專利附圖】

【附圖說明】
[0011] 為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例中所 需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施 例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲 得其他的附圖。
[0012] 圖1是根據(jù)本發(fā)明實施例所述的一種基于近數(shù)據(jù)計算原則的多衛(wèi)星數(shù)據(jù)中心工 作流調(diào)度算法的示意圖； 圖2是根據(jù)本發(fā)明實施例所述的基于計算資源處理能力與關(guān)鍵數(shù)據(jù)資源傳輸代價的 虛擬工作流動態(tài)構(gòu)建示意圖； 圖3是本發(fā)明實施例所述的基于超圖理論的按組劃分任務方式的示意圖； 圖4是本發(fā)明實施例所述的多衛(wèi)星數(shù)據(jù)中心計算平臺之間的算法自動遷移的流程圖。

【具體實施方式】
[0013] 下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完 整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；?本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員所獲得的所有其他實施例，都屬于本發(fā)明保護的 范圍。
[0014] 如圖1-4所示，根據(jù)本發(fā)明實施例所述的一種基于近數(shù)據(jù)計算原則的多衛(wèi)星數(shù)據(jù) 中心工作流調(diào)度算法，包括以下步驟： 步驟1 :構(gòu)建工作流執(zhí)行綜合時間最小化的近數(shù)據(jù)計算模型，將所述工作流執(zhí)行綜合 時間簡化為工作流所需數(shù)據(jù)的傳輸時間與輸入數(shù)據(jù)拷貝到計算資源后的實際處理時間兩 部分，以時間成本為約束條件計算所述工作流執(zhí)行綜合時間的最小值，即為最小化的近數(shù) 據(jù)計算模型； 步驟2 :基于計算資源處理能力與關(guān)鍵數(shù)據(jù)資源傳輸代價的虛擬工作流動態(tài)構(gòu)建方 法，在構(gòu)建虛擬工作流之前，根據(jù)得到待調(diào)度的數(shù)據(jù)資源與計算資源信息，在預先配置的既 定調(diào)度原則的指導下，選擇相匹配的資源進行組合，得到虛擬工作流； 步驟3 :基于超圖理論的按組劃分任務方式PGH對步驟2中的虛擬工作流調(diào)度進行優(yōu) 化； 優(yōu)化的方法包括將具有相同輸入數(shù)據(jù)的工作流劃分為相同的任務組，在同一任務組內(nèi) 重復利用已經(jīng)拷貝過的輸入數(shù)據(jù)。
[0015] 步驟4:對預先設置的多衛(wèi)星數(shù)據(jù)中心計算近數(shù)據(jù)計算模型之間的算法進行自動 遷移，包括算法運行環(huán)境的解析與封裝方法分析以及算法的跨計算模型自動編譯。
[0016] 其中，在步驟4中，所述算法運行環(huán)境的解析與封裝方法分析包括： 步驟4-1-1 :算法資源完備性檢查，查詢預先配置的算法庫中關(guān)于該算法資源的信息， 確定算法資源是否具備源代碼和源代碼的路徑，同時對該路徑下的源代碼與動態(tài)鏈接庫文 件進行檢查； 步驟4-1-2 :算法資源環(huán)境變量解析，對算法可執(zhí)行文件運行用戶的環(huán)境變量進行解 析，提取出算法運行時動態(tài)鏈接庫所需的環(huán)境變量名稱，并保存為xml文件格式； 步驟4-1-3 :對算法運行所依賴的動態(tài)鏈接庫進行封裝，對動態(tài)鏈接庫的封裝與預先 配置的算法源代碼的壓縮方法一致。
[0017] 其中，在步驟4中，所述算法的跨計算模型自動編譯包括： 步驟4-2-1 :源代碼與動態(tài)鏈接庫文件的解壓縮，利用預先配置在系統(tǒng)平臺中與源代 碼與動態(tài)鏈接庫的壓縮文件格式相匹配的解壓縮命令對源代碼與動態(tài)鏈接庫進行解壓縮， 并且將動態(tài)鏈接庫解壓縮后的路徑保存在預先配置的臨時文件中； 步驟4-2-2 :環(huán)境變量更新，算法資源遷移到目標數(shù)據(jù)中心后，同時還要將遷移過來的 動態(tài)鏈接庫文件所對應的路徑添加到環(huán)境變量中，將步驟4-2-1中所記錄的動態(tài)鏈接庫文 件路徑添更新到當前用戶的環(huán)境變量中，并判斷配置文件中是否已存在同名環(huán)境變量， 在不存在同名環(huán)境變量的情況下，新建環(huán)境變量并對其賦值； 在存在同名環(huán)境變量的情況下，對該環(huán)境變量進行追加。
[0018] 步驟4-2-3 :對預先配置的自動編譯腳本進行調(diào)用，通過預先設置的SSh協(xié)議調(diào)用 目標數(shù)據(jù)中心的預先配置的算法編譯MakeFile文件，驅(qū)動算法資源編譯過程自動執(zhí)行； 步驟4-2-4 :算法資源注冊，編譯成功后的算法資源生成相匹配的可執(zhí)行文件，通過預 先配置的數(shù)據(jù)庫操作接口增加目標數(shù)據(jù)中心算法庫中的新算法記錄。
[0019] 對于工作流執(zhí)行綜合時間最小化的近數(shù)據(jù)計算模型，近數(shù)據(jù)計算模型重點考慮工 作流輸入數(shù)據(jù)源的選擇、衛(wèi)星數(shù)據(jù)中心計算資源節(jié)點的選擇兩個主要因素，工作流總執(zhí)行 時間規(guī)定為工作流所需數(shù)據(jù)的傳輸時間、輸入數(shù)據(jù)拷貝到計算資源后的實際處理時間兩部 分，為了使工作流總執(zhí)行時間最小化，近數(shù)據(jù)模型規(guī)定實現(xiàn)過程的約束條件為數(shù)據(jù)資源傳 輸時間最短和計算資源處理時間最短。
[0020] 其中，對于基于計算資源處理能力與關(guān)鍵數(shù)據(jù)資源傳輸代價的虛擬工作流動態(tài)構(gòu) 建方法，多衛(wèi)星數(shù)據(jù)中心平臺下進行資源分配、調(diào)度的模擬過程需構(gòu)建虛擬工作流，虛擬工 作流的構(gòu)建是以計算資源的計算能力與數(shù)據(jù)資源傳輸代價為主要考慮要素的。近數(shù)據(jù)計算 原則將數(shù)據(jù)傳輸代價作為調(diào)度的首要因子，再對比計算資源之間差別，從而動態(tài)構(gòu)建虛擬 工作流。
[0021] 其中，在多衛(wèi)星數(shù)據(jù)中心架構(gòu)下，多源遙感數(shù)據(jù)產(chǎn)品的生產(chǎn)過程中會涉及到多個 衛(wèi)星數(shù)據(jù)中心的協(xié)同處理時，共享輸入數(shù)據(jù)的重復拷貝的時間將會大幅增加工作流調(diào)度過 程中的時間成本。由此，本發(fā)明方法可以利用PGH，將包任務模型引入到多衛(wèi)星數(shù)據(jù)中心架 構(gòu)下的多源遙感數(shù)據(jù)產(chǎn)品生產(chǎn)過程中，對共享輸入數(shù)據(jù)的多個工作流的調(diào)度方法進行了優(yōu) 化。
[0022] 對于基于PGH(超圖理論的按組劃分任務方式）的多衛(wèi)星數(shù)據(jù)中心計算平臺的工 作流調(diào)度優(yōu)化方法，多源遙感數(shù)據(jù)產(chǎn)品的生產(chǎn)過程中涉及到的多個衛(wèi)星數(shù)據(jù)中心的協(xié)同處 理時，每個數(shù)據(jù)中心在提供多個數(shù)據(jù)供其他計算資源重復使用，數(shù)據(jù)拷貝的時間將會大幅 增加工作流調(diào)度的時間成本。對多共享輸入文件利用PGH的劃分方式，將具有相同輸入數(shù) 據(jù)的工作流劃分為相同的任務組，在同一任務組內(nèi)重復利用已經(jīng)拷貝過的輸入數(shù)據(jù)。
[0023] 另外，在多衛(wèi)星數(shù)據(jù)中心計算平臺之間輸入數(shù)據(jù)量較大的情況下，基于近數(shù)據(jù)計 算的算法自動遷移方法代替大規(guī)模數(shù)據(jù)遷移。由此，本發(fā)明方法可以在多衛(wèi)星數(shù)據(jù)中心協(xié) 同處理過程中能夠避免長時間的海量數(shù)據(jù)傳輸過程中會遇到的網(wǎng)絡中斷、存儲空間消耗過 大等問題。
[0024] 對于多衛(wèi)星數(shù)據(jù)中心計算平臺之間的算法自動遷移方法，近數(shù)據(jù)計算另一種方法 可由算法資源自動遷移實現(xiàn)，即算法資源的分布式遷移代替多衛(wèi)星數(shù)據(jù)中心之間的大規(guī)模 數(shù)據(jù)遷移。首先，在算法所在原數(shù)據(jù)中心上進行的算法運行環(huán)境解析與封裝方法分析。然 后在算法需要遷移到的數(shù)據(jù)中心上進行自動編譯，將算法信息注冊到目標數(shù)據(jù)中心的計算 平臺上。
[0025] 具體應用時，1)工作流執(zhí)行綜合時間最小化的近數(shù)據(jù)計算模型：工作流的總執(zhí)行 時間簡化為工作流所需數(shù)據(jù)的傳輸時間、輸入數(shù)據(jù)拷貝到計算資源后的實際處理時間兩部 分；其中，近數(shù)據(jù)計算模型也稱為計算平臺。

【權(quán)利要求】
1. 一種基于近數(shù)據(jù)計算原則的多衛(wèi)星數(shù)據(jù)中心工作流調(diào)度算法，其特征在于，包括以 下步驟： 步驟1:將預先配置的工作流執(zhí)行綜合時間簡化為工作流所需數(shù)據(jù)的傳輸時間和輸入 數(shù)據(jù)拷貝到計算資源后的實際處理時間，以時間成本為約束條件，計算所述工作流執(zhí)行綜 合時間的最小值； 步驟2 :根據(jù)得到待調(diào)度的數(shù)據(jù)資源與計算資源信息，在預先配置的既定調(diào)度原則的 指導下，選擇相匹配的資源進行組合，得到虛擬工作流； 步驟3 :基于超圖理論的按組劃分任務方式PGH對步驟2中的虛擬工作流調(diào)度進行優(yōu) 化； 步驟4 :對預先設置的多衛(wèi)星數(shù)據(jù)中心計算近數(shù)據(jù)計算模型之間的算法進行自動遷 移，包括算法運行環(huán)境的解析與封裝方法分析以及算法的跨計算模型自動編譯。
2. 根據(jù)權(quán)利要求1所述的基于近數(shù)據(jù)計算原則的多衛(wèi)星數(shù)據(jù)中心工作流調(diào)度算法，其 特征在于，在步驟3中，優(yōu)化的方法包括將具有相同輸入數(shù)據(jù)的工作流劃分為相同的任務 組，在同一任務組內(nèi)重復利用已經(jīng)拷貝過的輸入數(shù)據(jù)。
3. 根據(jù)權(quán)利要求1所述的基于近數(shù)據(jù)計算原則的多衛(wèi)星數(shù)據(jù)中心工作流調(diào)度算法，其 特征在于，在步驟4中，所述算法運行環(huán)境的解析與封裝方法分析包括： 步驟4-1-1 :查詢預先配置的算法庫中關(guān)于該算法資源的信息，確定算法資源是否具 備源代碼和源代碼的路徑，同時對該路徑下的源代碼與動態(tài)鏈接庫文件進行檢查； 步驟4-1-2 :對算法可執(zhí)行文件運行用戶的環(huán)境變量進行解析，提取出算法運行時動 態(tài)鏈接庫所需的環(huán)境變量名稱，并保存為xml文件格式； 步驟4-1-3 :對算法運行所依賴的動態(tài)鏈接庫進行封裝，并使動態(tài)鏈接庫的封裝與預 先配置的算法源代碼的壓縮方法一致。
4. 根據(jù)權(quán)利要求1所述的基于近數(shù)據(jù)計算原則的多衛(wèi)星數(shù)據(jù)中心工作流調(diào)度算法，其 特征在于，在步驟4中，所述算法的跨計算模型自動編譯包括： 步驟4-2-1 :利用預先配置在系統(tǒng)平臺中與源代碼與動態(tài)鏈接庫的壓縮文件格式相匹 配的解壓縮命令對源代碼與動態(tài)鏈接庫進行解壓縮，并且將動態(tài)鏈接庫解壓縮后的路徑保 存在預先配置的臨時文件中； 步驟4-2-2 :算法資源遷移到目標數(shù)據(jù)中心后，同時還要將遷移過來的動態(tài)鏈接庫文 件所對應的路徑添加到環(huán)境變量中，將步驟4-2-1中所記錄的動態(tài)鏈接庫文件路徑添更新 到當前用戶的環(huán)境變量中，并判斷配置文件中是否已存在同名環(huán)境變量，在不存在同名環(huán) 境變量的情況下，新建環(huán)境變量并對其賦值； 步驟4-2-3 :對預先配置的自動編譯腳本進行調(diào)用，通過預先設置的ssh協(xié)議調(diào)用目標 數(shù)據(jù)中心的預先配置的算法編譯Make File文件，驅(qū)動算法資源編譯過程自動執(zhí)行； 步驟4-2-4:編譯成功后的算法資源生成相匹配的可執(zhí)行文件，通過預先配置的數(shù)據(jù) 庫操作接口增加目標數(shù)據(jù)中心算法庫中的新算法記錄。
5. 根據(jù)權(quán)利要求4所述的基于近數(shù)據(jù)計算原則的多衛(wèi)星數(shù)據(jù)中心工作流調(diào)度算法，其 特征在于，在步驟4-2-2中，在存在同名環(huán)境變量的情況下，對該環(huán)境變量進行追加。
【文檔編號】G06F9/48GK104484230SQ201410851865
【公開日】2015年4月1日 申請日期:2014年12月31日 優(yōu)先權(quán)日:2014年12月31日
【發(fā)明者】王力哲, 張萬峰, 馬艷, 張 杰 申請人:中國科學院遙感與數(shù)字地球研究所