一種基于算法分類的多源遙感衛(wèi)星數(shù)據(jù)并行處理系統(tǒng)及方法
【專利摘要】一種基于算法分類的多源遙感衛(wèi)星數(shù)據(jù)并行處理系統(tǒng)及方法，支持新算法注冊，對所注冊的算法進行儲存和管理；根據(jù)任務的需要，從算法注冊模塊中選取一個或多個算法，將需要處理的遙感衛(wèi)星數(shù)據(jù)和選取的算法推送到并行處理節(jié)點進行處理；多個并行處理節(jié)點同時根據(jù)各個節(jié)點接收的算法，按照執(zhí)行順序，對需要處理的遙感衛(wèi)星數(shù)據(jù)并行計算；對送至各并行處理節(jié)點算法的執(zhí)行情況進行監(jiān)控；對各個并行處理節(jié)點得到的處理結(jié)果進行歸檔存儲。本方案支持各類遙感算法與多源遙感數(shù)據(jù)，能夠在分布式集群上同時響應和執(zhí)行多源遙感數(shù)據(jù)處理請求，解決多源遙感衛(wèi)星數(shù)據(jù)多算法綜合處理、并行計算和分布存儲的問題，達到多源遙感衛(wèi)星數(shù)據(jù)并行處理的效果。
【專利說明】
-種基于算法分類的多源遙感衛(wèi)星數(shù)據(jù)并行處理系統(tǒng)及方法
技術領域
[0001] 本發(fā)明設及一種基于算法分類的多源遙感衛(wèi)星數(shù)據(jù)并行處理系統(tǒng)及方法，屬于衛(wèi) 星數(shù)據(jù)處理和應用領域。
【背景技術】
[0002] 衛(wèi)星數(shù)據(jù)處理是指將衛(wèi)星下傳的原始數(shù)據(jù)經(jīng)加工處理成為相應的影像，W及從衛(wèi) 星數(shù)據(jù)中提取各類信息，憑借衛(wèi)星數(shù)據(jù)具有的全球性、高動態(tài)、連續(xù)性、全天候、全天時、多 樣化數(shù)據(jù)獲取特點，廣泛用于為農(nóng)業(yè)、林業(yè)、水利、測繪、交通、氣象、海洋等專業(yè)領域提供數(shù) 據(jù)支持。其目的在于能夠在有限的硬件條件下，盡可能穩(wěn)定、快速地執(zhí)行特定數(shù)據(jù)處理算 法，生產(chǎn)高質(zhì)量的衛(wèi)星數(shù)據(jù)產(chǎn)品。
[0003] 經(jīng)過多年的發(fā)展，我國衛(wèi)星信息獲取、處理及應用技術取得了顯著的成績，逐步形 成了氣象、資源、海洋、環(huán)境減災四大民用遙感衛(wèi)星系列。在863計劃、高分專項等大型課題 的推動下，我國遙感應用研究進入了大型化、快速化的發(fā)展階段。與此同時，各種衛(wèi)星平臺 和傳感器器無 論種類、數(shù)量還是質(zhì)量都在不斷提升。我國衛(wèi)星遙感地面站接收的數(shù)據(jù)目前 已經(jīng)超過PB級，并將W超過IOTB/天的速率增長。衛(wèi)星遙感數(shù)據(jù)龐大的數(shù)據(jù)量，需要借助海 量數(shù)據(jù)存儲方法進行歸檔存儲。海量不僅包括大容量的數(shù)據(jù)存儲能力，還包括大規(guī)模的數(shù) 據(jù)吞吐能力。隨著業(yè)務量的增長，數(shù)據(jù)存儲量和存儲性能急速增長，還要求方法具有極高的 動態(tài)可擴展性能，避免存儲擴容對業(yè)務系統(tǒng)造成長時間中斷。另一方面，W監(jiān)測、災害應急 等為目的的衛(wèi)星應用對于時效性的需求越來越高，給衛(wèi)星數(shù)據(jù)處理帶來了新的挑戰(zhàn)。面對 接收的海量數(shù)據(jù)，要具備高效的數(shù)據(jù)處理能力，才能滿足面向農(nóng)情、火情、災情、環(huán)境、氣象 等多行業(yè)的應用需求，而由于處理設備和傳統(tǒng)技術方法的限制，仍然有大量的數(shù)據(jù)沒有得 到有效的處理和利用，一般50%到90%數(shù)據(jù)處于閑置或半閑置狀態(tài)，對于衛(wèi)星資源和存儲 資源極大浪費。此外，常規(guī)的集群并行處理解決方案要保證最高計算需求的資源使用率需 要配置超過一倍的冗余計算和存儲資源，導致在小計算需求的時段大部分資源處于無負荷 運轉(zhuǎn)狀態(tài)。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明解決的技術問題為：克服現(xiàn)有技術不足，提供一種基于算法分類的多源遙 感衛(wèi)星數(shù)據(jù)并行處理系統(tǒng)及方法，W解決現(xiàn)有技術中，遙感衛(wèi)星數(shù)據(jù)處理系統(tǒng)無法匹配越 來越復雜的衛(wèi)星數(shù)據(jù)種類、衛(wèi)星數(shù)據(jù)處理算法W及海量數(shù)據(jù)歸檔與存儲需要，制約衛(wèi)星數(shù) 據(jù)綜合處理與應用的擴展性差和資源利用率低的缺陷，實現(xiàn)匹配海量的衛(wèi)星數(shù)據(jù)、復雜的 衛(wèi)星數(shù)據(jù)處理算法，提供衛(wèi)星數(shù)據(jù)高性能快速并行計算的能力。
[0005] 本發(fā)明提供的技術方案為:一種基于算法分類的多源遙感衛(wèi)星數(shù)據(jù)并行處理系統(tǒng) 及方法，包括算法注冊模塊、算法推送模塊、并行處理模塊、任務監(jiān)控模塊、數(shù)據(jù)歸檔模塊；
[0006] 算法注冊模塊，支持新算法注冊，對所注冊的算法進行儲存和管理。算法注冊模 塊，支持新算法注冊，對所注冊的算法進行儲存和管理。所述新算法主要執(zhí)行過程應不包含 人機交互，且算法執(zhí)行所需的所有參數(shù)可在算法執(zhí)行前確定；
[0007] 算法推送模塊，根據(jù)任務的需要，從算法注冊模塊中選取需要的一個或多個算法， 當有多個算法時，能夠?qū)Χ鄠€算法的執(zhí)行順序進行排列，按照需要處理的遙感衛(wèi)星數(shù)據(jù)到 達每個并行處理節(jié)點的遷移量，將多個并行處理節(jié)點進行排列，根據(jù)任務需要的并行處理 節(jié)點的數(shù)量，選擇使遙感衛(wèi)星數(shù)據(jù)遷移量最小的幾個節(jié)點，若運些節(jié)點具有滿足按照選定 的算法進行數(shù)據(jù)處理的資源，則將需要處理的遙感衛(wèi)星數(shù)據(jù)和選取的算法送至運些節(jié)點； 若選擇的使遙感衛(wèi)星數(shù)據(jù)遷移量最小的幾個節(jié)點中有節(jié)點不具有按照選定的算法進行數(shù) 據(jù)處理的資源，則順延選取遷移量最小的運幾個節(jié)點W外的具有按照選定的算法進行數(shù)據(jù) 處理的所需資源的節(jié)點，W替換不具有按照選定的算法進行數(shù)據(jù)處理的所需資源的節(jié)點， 將需要處理的遙感衛(wèi)星數(shù)據(jù)和選取的算法送至運些節(jié)點；
[0008] 并行處理模塊中的多個并行處理節(jié)點同時根據(jù)各個節(jié)點接收的算法，按照執(zhí)行順 序，對需要處理的遙感衛(wèi)星數(shù)據(jù)并行計算，多個并行處理節(jié)點得到多個計算結(jié)果并儲存，多 個并行處理節(jié)點能夠根據(jù)任務的需要，再次將多個計算結(jié)果重復計算使用；
[0009] 任務監(jiān)控模塊，對送至各并行處理節(jié)點的一個或多個算法的執(zhí)行情況進行監(jiān)控， 當任務需要執(zhí)行多個算法時，在一個算法完成后，任務監(jiān)控模塊能夠通知任務需要執(zhí)行的 下一個算法進行數(shù)據(jù)處理，直至任務需要執(zhí)行的所有算法結(jié)束。
[0010] 數(shù)據(jù)歸檔模塊，對各個并行處理節(jié)點得到的處理結(jié)果進行歸檔存儲，能夠建立處 理結(jié)果與處理結(jié)果的元數(shù)據(jù)的對應關系，根據(jù)該處理結(jié)果與處理結(jié)果的元數(shù)據(jù)的對應關 系，能夠調(diào)取需要的處理結(jié)果。
[0011] 任務監(jiān)控模塊能夠監(jiān)控并行處理節(jié)點的資源使用狀況和記錄執(zhí)行過的算法的執(zhí) 行時間。
[0012] 所述并行處理節(jié)點為多個，將所述處理結(jié)果拆分成多個64MB的原文件塊，并將該 多個64MB的文件塊復制得到復制文件塊，將原文件塊和復制文件塊均勻存儲在所有并行處 理節(jié)點中，且復制文件塊和原文件塊不在同一并行處理節(jié)點內(nèi)。
[0013] 算法注冊模塊在新算法注冊時，按照設定的接口規(guī)范，利用XML語言編寫算法需要 的參數(shù)列表。
[0014] 一種多源遙感衛(wèi)星數(shù)據(jù)并行處理方法，包括步驟如下：
[0015] (1)算法注冊模塊，支持新算法注冊，對所注冊的算法進行儲存和管理；
[0016] (2)算法推送模塊，根據(jù)任務的需要，從步驟（1)算法注冊模塊中選取需要的一個 或多個算法，當有多個算法時，能夠?qū)Χ鄠€算法的執(zhí)行順序進行排列，按照需要處理的遙感 衛(wèi)星數(shù)據(jù)到達每個并行處理節(jié)點的遷移量，將多個并行處理節(jié)點進行排列，根據(jù)任務需要 的并行處理節(jié)點的數(shù)量，選擇使遙感衛(wèi)星數(shù)據(jù)遷移量最小的幾個節(jié)點，若運些節(jié)點具有滿 足按照選定的算法進行數(shù)據(jù)處理的資源，則將需要處理的遙感衛(wèi)星數(shù)據(jù)和選取的算法送至 運些節(jié)點;若選擇的使遙感衛(wèi)星數(shù)據(jù)遷移量最小的幾個節(jié)點中有節(jié)點不具有按照選定的算 法進行數(shù)據(jù)處理的資源，則順延選取遷移量最小的運幾個節(jié)點W外的具有按照選定的算法 進行數(shù)據(jù)處理的所需資源的節(jié)點，W替換不具有按照選定的算法進行數(shù)據(jù)處理的所需資源 的節(jié)點，將需要處理的遙感衛(wèi)星數(shù)據(jù)和選取的算法送至運些節(jié)點；
[0017] (3)并行處理模塊中的多個并行處理節(jié)點同時根據(jù)各個節(jié)點接收的算法，按照執(zhí) 行順序，對需要處理的遙感衛(wèi)星數(shù)據(jù)并行計算，多個并行處理節(jié)點得到多個計算結(jié)果，多個 并行處理節(jié)點能夠根據(jù)任務的需要，再次將多個計算結(jié)果重復計算使用；
[0018] (4)任務監(jiān)控模塊，對送至各并行處理節(jié)點的一個或多個算法的執(zhí)行情況進行監(jiān) 控，當任務需要執(zhí)行多個算法時，在一個算法完成后，任務監(jiān)控模塊能夠通知任務需要執(zhí)行 的下一個算法進行數(shù)據(jù)處理，直至任務需要執(zhí)行的所有算法結(jié)束。
[0019] (5)數(shù)據(jù)歸檔模塊，對各個并行處理節(jié)點得到的處理結(jié)果進行歸檔存儲，能夠建立 處理結(jié)果與處理結(jié)果的元數(shù)據(jù)的對應關系，根據(jù)該處理結(jié)果與處理結(jié)果的元數(shù)據(jù)的對應關 系，能夠調(diào)取需要的處理結(jié)果。
[0020] 本發(fā)明與現(xiàn)有技術相比的優(yōu)點在于：
[0021] (1)本發(fā)明在將遙感衛(wèi)星數(shù)據(jù)處理算法推送到不同的處理節(jié)點進行處理前，還包 括:判斷前述遙感衛(wèi)星數(shù)據(jù)處理算法所需數(shù)據(jù)文件存儲位置，并選擇數(shù)據(jù)遷移量最小的節(jié) 點，將算法向前述數(shù)據(jù)遷移量最小的節(jié)點遷移；
[0022] (2)本發(fā)明的衛(wèi)星數(shù)據(jù)并行處理模塊中：對所述生產(chǎn)任務的并行執(zhí)行流程進行管 理和監(jiān)控，通過監(jiān)控計算節(jié)點的資源狀況和歷史執(zhí)行記錄為并行處理策略提供依據(jù)；
[0023] (3)本發(fā)明的衛(wèi)星數(shù)據(jù)并行處理模塊中：所述生產(chǎn)任務的結(jié)果采用分布式方法存 儲在所有節(jié)點中；
[0024] (4)本發(fā)明的分布式存儲方法，還包括:所述生產(chǎn)任務的處理結(jié)果歸檔存儲的同 時，按照預設的規(guī)則建立元數(shù)據(jù)和數(shù)據(jù)的索引；
[0025] (5)本發(fā)明的算法注冊模塊，還包括:標準的算法接口規(guī)范，對于符合接口規(guī)范的 新算法，能夠動態(tài)地納入并行處理流程中參與所述遙感衛(wèi)星數(shù)據(jù)處理算法的執(zhí)行。
[0026] (6)本發(fā)明提供的基于算法分類的多源遙感衛(wèi)星數(shù)據(jù)并行處理系統(tǒng)及方法中，能 夠在分布式計算機集群上同時響應和執(zhí)行多源遙感數(shù)據(jù)的多種處理算法請求，根據(jù)算法和 數(shù)據(jù)存放位置自適應地選擇執(zhí)行操作的節(jié)點計算機。與傳統(tǒng)單衛(wèi)星單處理方法相比，能夠 充分利用衛(wèi)星數(shù)據(jù)的多樣性和處理算法的復用性，減少了計算節(jié)點之間數(shù)據(jù)的遷移。本方 案能夠支持各類遙感算法與多源遙感數(shù)據(jù)，能夠在分布式集群上同時響應和執(zhí)行多源遙感 數(shù)據(jù)處理請求，降低多源衛(wèi)星數(shù)據(jù)處理中的數(shù)據(jù)吞吐瓶頸，提高生產(chǎn)效率，解決多源遙感衛(wèi) 星數(shù)據(jù)多算法綜合處理、并行計算和分布存儲的問題，達到多源遙感衛(wèi)星數(shù)據(jù)并行處理的 效果。
【附圖說明】
[0027] 圖1為本發(fā)明提供的多源衛(wèi)星數(shù)據(jù)并行處理系統(tǒng)框架示意圖；
[0028] 圖2為本發(fā)明提供的多源衛(wèi)星數(shù)據(jù)并行處理方法層次結(jié)構圖；
[0029] 圖3為本發(fā)明提供的多源衛(wèi)星數(shù)據(jù)并行處理方法數(shù)據(jù)管理層次結(jié)構圖；
[0030] 圖4為本發(fā)明提供的海上溢油監(jiān)測與仿真算法執(zhí)行示意圖。
【具體實施方式】
[0031] 本發(fā)明的基本思路為:本發(fā)明提供了一種基于算法分類的多源遙感衛(wèi)星數(shù)據(jù)并行 處理系統(tǒng)及方法，支持新算法注冊，對所注冊的算法進行儲存和管理;根據(jù)任務的需要，從 算法注冊模塊中選取一個或多個算法，將需要處理的遙感衛(wèi)星數(shù)據(jù)和選取的算法推送到并 行處理節(jié)點進行處理;多個并行處理節(jié)點同時根據(jù)各個節(jié)點接收的算法，按照執(zhí)行順序，對 需要處理的遙感衛(wèi)星數(shù)據(jù)并行計算;對送至各并行處理節(jié)點算法的執(zhí)行情況進行監(jiān)控;對 各個并行處理節(jié)點得到的處理結(jié)果進行歸檔存儲。本方案支持各類遙感算法與多源遙感數(shù) 據(jù)，能夠在分布式集群上同時響應和執(zhí)行多源遙感數(shù)據(jù)處理請求，解決多源遙感衛(wèi)星數(shù)據(jù) 多算法綜合處理、并行計算和分布存儲的問題，達到多源遙感衛(wèi)星數(shù)據(jù)并行處理的效果。
[0032]下面結(jié)合附圖和具體實施例對本發(fā)明進行詳細說明。
[003引實施例一：
[0034] 針對現(xiàn)有技術中，遙感衛(wèi)星數(shù)據(jù)處理系統(tǒng)無法匹配越來越復雜的衛(wèi)星數(shù)據(jù)種類、 衛(wèi)星數(shù)據(jù)處理算法W及海量數(shù)據(jù)歸檔與存儲需要，制約衛(wèi)星數(shù)據(jù)綜合處理與應用的擴展性 差和資源利用率低的缺陷，本申請實施例實現(xiàn)匹配海量的衛(wèi)星數(shù)據(jù)、復雜的衛(wèi)星數(shù)據(jù)處理 算法，提供衛(wèi)星數(shù)據(jù)高性能快速并行計算的能力。
[0035] 結(jié)合附圖1所述系統(tǒng)框架示意圖，對本實施例作進一步說明，該方法包含W下步 驟：
[0036] 算法注冊模塊101，支持新算法注冊，對所注冊的算法進行儲存和管理。所述新算 法主要執(zhí)行過程應不包含人機交互，且算法執(zhí)行所需的所有參數(shù)可在算法執(zhí)行前確定。按 照設定的接口規(guī)范，利用XML語言編寫算法需要的參數(shù)列表。
[0037] 具體的，根據(jù)遙感算法的特點，在注冊算法時，通過讀取算法作者所提交的注冊接 口，包括產(chǎn)品名稱、執(zhí)行程序名稱、需要的生產(chǎn)參數(shù)及說明，為每個應遙感算法生成特定的 生產(chǎn)流程。
[0038] 算法推送模塊102,根據(jù)任務的需要，從算法注冊模塊中選取需要的一個或多個算 法，當有多個算法時，能夠?qū)Χ鄠€算法的執(zhí)行順序進行排列，按照需要處理的遙感衛(wèi)星數(shù)據(jù) 到達每個并行處理節(jié)點的遷移量，將多個并行處理節(jié)點進行排列，根據(jù)任務需要的并行處 理節(jié)點的數(shù)量，選擇使遙感衛(wèi)星數(shù)據(jù)遷移量最小的幾個節(jié)點，若運些節(jié)點具有滿足按照選 定的算法進行數(shù)據(jù)處理的資源，則將需要處理的遙感衛(wèi)星數(shù)據(jù)和選取的算法送至運些節(jié) 點;若選擇的使遙感衛(wèi)星數(shù)據(jù)遷移量最小的幾個節(jié)點中有節(jié)點不具有按照選定的算法進行 數(shù)據(jù)處理的資源，則順延選取遷移量最小的運幾個節(jié)點W外的具有按照選定的算法進行數(shù) 據(jù)處理的所需資源的節(jié)點，W替換不具有按照選定的算法進行數(shù)據(jù)處理的所需資源的節(jié) 點，將需要處理的遙感衛(wèi)星數(shù)據(jù)和選取的算法送至運些節(jié)點。
[0039] 并行處理模塊103,并行處理模塊中的多個并行處理節(jié)點同時根據(jù)各個節(jié)點接收 的算法，按照執(zhí)行順序，對需要處理的遙感衛(wèi)星數(shù)據(jù)并行計算，多個并行處理節(jié)點得到多個 計算結(jié)果并儲存，多個并行處理節(jié)點能夠根據(jù)任務的需要，再次將多個計算結(jié)果重復計算 使用。
[0040] 如圖2所述的并行處理模塊層次結(jié)構圖，描述了優(yōu)選的并行處理模塊的實現(xiàn)方法， 在通過下層分布式文件系統(tǒng)、并行處理集群和流程調(diào)度方案獲得算法和集群運行狀態(tài)后， 根據(jù)設定的策略將算法推送到優(yōu)先級最高的計算節(jié)點進行執(zhí)行，并保持對算法的跟蹤W獲 得執(zhí)行結(jié)果信息。
[0041] 并行處理模塊，包括模型組件、數(shù)據(jù)訪問組件、基礎服務組件、業(yè)務服務組件、資源 組件。
[0042] 首先，模型組件將平臺提供的數(shù)據(jù)和算法轉(zhuǎn)化為數(shù)據(jù)模型和算法模型，由數(shù)據(jù)訪 問組件通過對運些模型進行操作，實現(xiàn)對相應資源的訪問；同時，基礎服務組件使用持久化 框架、IOC容器等技術實現(xiàn)對分布式文件系統(tǒng)、并行處理集群和流程調(diào)度方案的管理;業(yè)務 服務組件利用上述資源實現(xiàn)各種服務于平行處理業(yè)務的服務，其中，業(yè)務服務組件具有業(yè) 務管理功能實現(xiàn)對數(shù)據(jù)和算法所在集群節(jié)點位置的動態(tài)感知并依此信息對處理算法的執(zhí) 行節(jié)點進行動態(tài)分派，算法推送功能執(zhí)行將算法遷移到節(jié)點的具體操作，任務管理功能能 夠查詢正在執(zhí)行的算法信息并獲得其執(zhí)行狀態(tài)，業(yè)務服務組件具有任務調(diào)度功能負責啟動 具體的算法執(zhí)行任務;接著，工作流組件使用業(yè)務服務組件提供的流程調(diào)度相關服務，啟動 并行處理流程;最后，由資源組件通過調(diào)用工作流組件處理流程相關的操作，對其他模塊發(fā) 布并行處理服務。
[0043] 任務監(jiān)控模塊104,對送至各并行處理節(jié)點的一個或多個算法的執(zhí)行情況進行監(jiān) 控，能夠監(jiān)控并行處理節(jié)點的資源使用狀況和記錄執(zhí)行過的算法的執(zhí)行時間。當任務需要 執(zhí)行多個算法時，在一個算法完成后，任務監(jiān)控模塊能夠通知任務需要執(zhí)行的下一個算法 進行數(shù)據(jù)處理，直至任務需要執(zhí)行的所有算法結(jié)束。
[0044] 數(shù)據(jù)歸檔模塊105,對各個并行處理節(jié)點得到的處理結(jié)果進行歸檔存儲，能夠建立 處理結(jié)果與處理結(jié)果的元數(shù)據(jù)的對應關系，根據(jù)該處理結(jié)果與處理結(jié)果的元數(shù)據(jù)的對應關 系，能夠調(diào)取需要的處理結(jié)果。歸檔過程將所述處理結(jié)果拆分成多個64MB的原文件塊，并將 該多個64MB的文件塊復制得到復制文件塊，將原文件塊和復制文件塊均勻存儲在所有并行 處理節(jié)點中，且復制文件塊和原文件塊不在同一并行處理節(jié)點內(nèi)。
[0045] 如圖3所述的數(shù)據(jù)管理層次結(jié)構圖。衛(wèi)星數(shù)據(jù)及其處理結(jié)果采用分布式的方法存 儲在整個集群中，配合數(shù)據(jù)檢索、提取、統(tǒng)計分析的方法，可W管理數(shù)據(jù)的屬性并進行空間 檢索、將分布于整個集群中的衛(wèi)星數(shù)據(jù)及產(chǎn)品數(shù)據(jù)拷貝到指定的位置，保持對海量數(shù)據(jù)信 息的監(jiān)控，從而為步驟SlOl提供數(shù)據(jù)支撐，并保證最小數(shù)據(jù)延遲。
[0046] 實施例二：
[0047] 在實施例一算法注冊模塊101所述支持新算法注冊，對所注冊的算法進行儲存和 管理，按照設定的接口規(guī)范，利用XML語言編寫算法需要的參數(shù)列表的基礎上，本實施例提 供了一種詳細的XML語言參數(shù)定義，如表1所示，算法的參數(shù)定義具體如下表1:
[004引表1參數(shù)定義內(nèi)容
[0049]
[(K)加 ]
[0051 ] I.參數(shù)定義中所述[ProductName]標簽為算法名稱；
[0052] 2. [Manual化rams]標簽中包含了各個子算法所有需要的參數(shù)值，包括文件類型參 數(shù)[FileArg]、數(shù)值類型參數(shù)[化IueArg];
[0053] 3. [ModelArgs]標簽中包含了子算法所有指定參數(shù)，如果算法包含多個子算子，貝U 參數(shù)定義中也包含多個對應的[ModelArgs ]標簽組；
[0054] 4. [FileArg]標簽中包含了當前子算法的所有文件類型參數(shù)的文件完整路徑；
[0055] 5.[化IueArg]標簽中包含了當前子算法的所有數(shù)值或者字符串類型的參數(shù)。
[0056] 本實施例中，采用標準化的XML標記語言對對算法需要的參數(shù)列表進行定義，在算 法調(diào)用過程中不設及具體的參數(shù)文件解析或參數(shù)類型判斷，特別適用于跨行業(yè)、數(shù)據(jù)源復 雜的遙感算法處理，具有良好的通用性，并對未來更復雜的遙感算法具有可擴展性。
[0057] 實施例
[0058] 在實施例一算法推送模塊102所述根據(jù)任務的需要，從算法注冊模塊中選取需要 的一個或多個算法的基礎上，本實施例提供了一種對于不同遙感算法的具體選取策略。對 于復雜的衛(wèi)星數(shù)據(jù)處理算法，根據(jù)預先設定的策略，分解為一個或多個有一定觸發(fā)機制的 系列子算法，每一個子算法可W描述為并行計算的基本形式一一映射（Map)和化簡 (Reduce)。例如，海上溢油仿真和風暴潮監(jiān)測等算法，要分解為有一定觸發(fā)機制的一系列子 算法鏈；
[0059] E0S±壤水含量反演算法可W視為只包含一個子算法。
[0060] 其中，針對不同的算法類型，可W有W下的分解設定策略：
[0061 ] 1.單景獨立處理類算法：同樣的算法作為子算法多次調(diào)用，W算法具體約束為觸 發(fā)機制，分配到集群中的不同節(jié)點執(zhí)行。算法執(zhí)行結(jié)果由多次調(diào)用結(jié)果匯集歸檔。
[0062] 2.多景多時相綜合處理類算法:將算法分解為多個包含映射化簡循環(huán)的子算法， 依據(jù)就近原則和節(jié)點負載，選擇數(shù)據(jù)遷移較少和負載較輕的節(jié)點，按照算法具體約束在多 個節(jié)點同時執(zhí)行所有子算法，最后將整個算法作為映射化簡循環(huán)得到算法執(zhí)行結(jié)果進行歸 檔。
[0063] 3.半自動交互式算法:根據(jù)算法具體特征，抽象出算法中適用于并行處理的部分， 將此部分再次作為獨立算法參考單景獨立處理類算法或多景多時相綜合處理類算法策略 進行并行處理。需要交互的部分通過虛擬化的方式獨立運行。
[0064] 本實施例提供了針對不同類型遙感處理算法的分類策略，根據(jù)算法具體的執(zhí)行過 程和調(diào)用數(shù)據(jù)的特征配置相應的集群資源和執(zhí)行流程，可W應對更多類型、更復雜執(zhí)行過 程的算法，便于為不同算法分配合適的執(zhí)行流程，能夠提高多元遙感衛(wèi)星數(shù)據(jù)處理算法的 執(zhí)行效率和效果。
[0065] 實施例四：
[0066] 本申請中，對于多源遙感衛(wèi)星數(shù)據(jù)并行處理算法的執(zhí)行是一個動態(tài)調(diào)用和監(jiān)控的 過程，需要不斷獲取算法執(zhí)行狀態(tài)并按照算法注冊時的定義控制算法的執(zhí)行過程。本實施 例提供了海上溢油監(jiān)測與仿真算法的算法調(diào)用和數(shù)據(jù)流實施例，如圖4所述。
[0067] 1.溢油遙感面積提取子算法，輸入溢油區(qū)域遙感數(shù)據(jù)，利用分類決策樹算法，通過 分類樣本訓練完成對遙感數(shù)據(jù)的決策樹分類，進而提取溢油面積信息。子算法適用并行，直 接獲取分布式存儲的遙感數(shù)據(jù)，在各處理節(jié)點上并行處理。
[0068] 2.溢油仿真模擬子算法，對于溢油仿真數(shù)據(jù)(包含仿真溢油數(shù)據(jù)與洋流、天氣等數(shù) 據(jù)），采用ECOM模型，完成對溢油事件油粒子漂移及風化過程的模擬，獲得連續(xù)時間段溢油 面積f胃息；
[0069] 3. DDDAS數(shù)據(jù)驅(qū)動子算法，首先，對步驟1和步驟2中的得到的遙感提取面積與ECOM 仿真面積做數(shù)據(jù)整合，獲得較為精確的溢油面積，并由神經(jīng)網(wǎng)絡算法得出溢油初始條件，進 而進行下一時刻較為精確的溢油仿真模擬，并結(jié)合下一時刻的遙感溢油面積得出質(zhì)量評價 結(jié)果；
[0070] 4.動態(tài)結(jié)果合成子算法，在前述步驟2和步驟3執(zhí)行完成后，將多個時相的溢油仿 真面積繪制成動態(tài)GIF圖像；
[0071 ] 5.質(zhì)量評價子算法，將仿真模型得出的溢油面積與遙感提取的溢油面積做疊置分 析，得出溢油模擬精度及擴散趨勢正確率。輸入為遙感溢油提取面積，輸出為面積重合比值 及擴散趨勢正確率。
[0072] 本實施例所提供的上述方法根據(jù)海上溢油監(jiān)測與仿真算法的執(zhí)行特征對算法進 行分解和重組，提高了對計算資源的利用率和算法的執(zhí)行效率。
[0073] 實施例五：
[0074] 本發(fā)明中，對于各類遙感衛(wèi)星數(shù)據(jù)處理算法分別進行了測試，形成如下結(jié)論：
[0075] I.支持表2所述分屬遙感、農(nóng)業(yè)、林業(yè)、水利、測繪、交通、氣象、海洋等各領域的多 源遙感衛(wèi)星數(shù)據(jù)處理算法。
[0076] 2.提高了算法執(zhí)行效率，相較于單機處理，在兩個處理節(jié)點的條件下算法執(zhí)行效 率約為200%，在8節(jié)點條件下算法執(zhí)行效率約為800%，本發(fā)明能夠?qū)崿F(xiàn)算法執(zhí)行效率隨集 群計算能力提升而線性提升。
[0077] 3.本發(fā)明提高了資源利用率，能夠快速匯集數(shù)據(jù)資源并充分利用所有處理節(jié)點的 處理能力。
[0078] 表 2
[0079]
[0080]
[00川實施例六：
[0082] 相應于上述實施例所述的系統(tǒng)，本實施例還提供了一種多源遙感衛(wèi)星數(shù)據(jù)并行處 理方法，包括步驟如下：
[0083] (1)新算法注冊，對所注冊的算法進行儲存和管理；
[0084] (2)根據(jù)任務的需要，從步驟(1)中選取需要的一個或多個算法，當有多個算法時， 能夠?qū)Χ鄠€算法的執(zhí)行順序進行排列，按照需要處理的遙感衛(wèi)星數(shù)據(jù)到達每個并行處理節(jié) 點的遷移量，將多個并行處理節(jié)點進行排列，根據(jù)任務需要的并行處理節(jié)點的數(shù)量，選擇使 遙感衛(wèi)星數(shù)據(jù)遷移量最小的幾個節(jié)點，若運些節(jié)點具有滿足按照選定的算法進行數(shù)據(jù)處理 的資源，則將需要處理的遙感衛(wèi)星數(shù)據(jù)和選取的算法送至運些節(jié)點；若選擇的使遙感衛(wèi)星 數(shù)據(jù)遷移量最小的幾個節(jié)點中有節(jié)點不具有按照選定的算法進行數(shù)據(jù)處理的資源，則順延 選取遷移量最小的運幾個節(jié)點W外的具有按照選定的算法進行數(shù)據(jù)處理的所需資源的節(jié) 點，W替換不具有按照選定的算法進行數(shù)據(jù)處理的所需資源的節(jié)點，將需要處理的遙感衛(wèi) 星數(shù)據(jù)和選取的算法送至運些節(jié)點；
[0085] (3)多個并行處理節(jié)點同時根據(jù)各個節(jié)點接收的算法，按照執(zhí)行順序，對需要處理 的遙感衛(wèi)星數(shù)據(jù)并行計算，多個并行處理節(jié)點得到多個計算結(jié)果，多個并行處理節(jié)點能夠 根據(jù)任務的需要，再次將多個計算結(jié)果重復計算使用；
[0086] (4)對送至各并行處理節(jié)點的一個或多個算法的執(zhí)行情況進行監(jiān)控，當任務需要 執(zhí)行多個算法時，在一個算法完成后，任務監(jiān)控模塊能夠通知任務需要執(zhí)行的下一個算法 進行數(shù)據(jù)處理，直至任務需要執(zhí)行的所有算法結(jié)束。
[0087] (5)對各個并行處理節(jié)點得到的處理結(jié)果進行歸檔存儲，能夠建立處理結(jié)果與處 理結(jié)果的元數(shù)據(jù)的對應關系，根據(jù)該處理結(jié)果與處理結(jié)果的元數(shù)據(jù)的對應關系，能夠調(diào)取 需要的處理結(jié)果。
[0088] 本實施例為實施例一、二、=、四對應的裝置實施例，其類同之處相互參見即可，在 此不再寶述。
[0089] 本說明書中各個實施例采用遞進的方式描述，每個實施例重點說明的都是與其他 實施例的不同之處，各個實施例之間相同相似部分互相參見即可。
[0090] 對所公開的實施例的上述說明，使本領域?qū)I(yè)技術人員能夠?qū)崿F(xiàn)或使用本發(fā)明。 對運些實施例的多種修改對本領域的專業(yè)技術人員來說將是顯而易見的，本文中所定義的 一般原理可W在不脫離本發(fā)明的精神或范圍的情況下，在其它實施例中實現(xiàn)。因此，本發(fā)明 將不會被限制于本文所示的運些優(yōu)選實施例，而是要符合與本文所公開的原理和新穎特點 相一致的最寬的范圍。
【主權項】
1. 一種基于算法分類的多源遙感衛(wèi)星數(shù)據(jù)并行處理系統(tǒng)，其特征在于：包括算法注冊 模塊、算法推送模塊、并行處理模塊、任務監(jiān)控模塊、數(shù)據(jù)歸檔模塊； 算法注冊模塊，支持新算法注冊，對所注冊的算法進行儲存和管理，所述算法執(zhí)行所需 的所有參數(shù)在算法執(zhí)行前確定； 算法推送模塊，根據(jù)任務的需要，從算法注冊模塊中選取需要的一個或多個算法，當有 多個算法時，能夠?qū)Χ鄠€算法的執(zhí)行順序進行排列，按照需要處理的遙感衛(wèi)星數(shù)據(jù)到達每 個并行處理節(jié)點的迀移量，將多個并行處理節(jié)點進行排列，根據(jù)任務需要的并行處理節(jié)點 的數(shù)量，選擇使遙感衛(wèi)星數(shù)據(jù)迀移量最小的幾個節(jié)點，若這些節(jié)點具有滿足按照選定的算 法進行數(shù)據(jù)處理的資源，則將需要處理的遙感衛(wèi)星數(shù)據(jù)和選取的算法送至這些節(jié)點；若選 擇的使遙感衛(wèi)星數(shù)據(jù)迀移量最小的幾個節(jié)點中有節(jié)點不具有按照選定的算法進行數(shù)據(jù)處 理的資源，則順延選取迀移量最小的這幾個節(jié)點以外的具有按照選定的算法進行數(shù)據(jù)處理 的所需資源的節(jié)點，以替換不具有按照選定的算法進行數(shù)據(jù)處理的所需資源的節(jié)點，將需 要處理的遙感衛(wèi)星數(shù)據(jù)和選取的算法送至這些節(jié)點； 并行處理模塊中的多個并行處理節(jié)點同時根據(jù)各個節(jié)點接收的算法，按照執(zhí)行順序， 對需要處理的遙感衛(wèi)星數(shù)據(jù)并行計算，多個并行處理節(jié)點得到多個計算結(jié)果并儲存，多個 并行處理節(jié)點能夠根據(jù)任務的需要，再次將多個計算結(jié)果重復計算使用； 任務監(jiān)控模塊，對送至各并行處理節(jié)點的一個或多個算法的執(zhí)行情況進行監(jiān)控，當任 務需要執(zhí)行多個算法時，在一個算法完成后，任務監(jiān)控模塊能夠通知任務需要執(zhí)行的下一 個算法進行數(shù)據(jù)處理，直至任務需要執(zhí)行的所有算法結(jié)束； 數(shù)據(jù)歸檔模塊，對各個并行處理節(jié)點得到的處理結(jié)果進行歸檔存儲，能夠建立處理結(jié) 果與處理結(jié)果的元數(shù)據(jù)的對應關系，根據(jù)該處理結(jié)果與處理結(jié)果的元數(shù)據(jù)的對應關系，能 夠調(diào)取需要的處理結(jié)果。2. 根據(jù)權利要求1所述的一種基于算法分類的多源遙感衛(wèi)星數(shù)據(jù)并行處理系統(tǒng)，其特 征在于:任務監(jiān)控模塊能夠監(jiān)控并行處理節(jié)點的資源使用狀況和記錄執(zhí)行過的算法的執(zhí)行 時間。3. 根據(jù)權利要求1所述的一種基于算法分類的多源遙感衛(wèi)星數(shù)據(jù)并行處理系統(tǒng)，其特 征在于:所述并行處理節(jié)點為多個，將所述處理結(jié)果拆分成多個64MB的原文件塊，并將該多 個64MB的文件塊復制得到復制文件塊，將原文件塊和復制文件塊均勻存儲在所有并行處理 節(jié)點中，且復制文件塊和原文件塊不在同一并行處理節(jié)點內(nèi)。4. 根據(jù)權利要求1所述的一種基于算法分類的多源遙感衛(wèi)星數(shù)據(jù)并行處理系統(tǒng)，其特 征在于:算法注冊模塊在新算法注冊時，按照設定的接口規(guī)范，利用XML語言編寫算法需要 的參數(shù)列表。5. -種基于算法分類的多源遙感衛(wèi)星數(shù)據(jù)并行處理方法，其特征在于，包括步驟如下： (1) 算法注冊模塊能夠支持新算法注冊，對所注冊的算法進行儲存和管理； (2) 算法推送模塊根據(jù)任務的需要從步驟（1)算法注冊模塊中選取需要的一個或多個 算法，當有多個算法時，能夠?qū)Χ鄠€算法的執(zhí)行順序進行排列，按照需要處理的遙感衛(wèi)星數(shù) 據(jù)到達每個并行處理節(jié)點的迀移量，將多個并行處理節(jié)點進行排列，根據(jù)任務需要的并行 處理節(jié)點的數(shù)量，選擇使遙感衛(wèi)星數(shù)據(jù)迀移量最小的幾個節(jié)點，若這些節(jié)點具有滿足按照 選定的算法進行數(shù)據(jù)處理的資源，則將需要處理的遙感衛(wèi)星數(shù)據(jù)和選取的算法送至這些節(jié) 點;若選擇的使遙感衛(wèi)星數(shù)據(jù)迀移量最小的幾個節(jié)點中有節(jié)點不具有按照選定的算法進行 數(shù)據(jù)處理的資源，則順延選取迀移量最小的這幾個節(jié)點以外的具有按照選定的算法進行數(shù) 據(jù)處理的所需資源的節(jié)點，以替換不具有按照選定的算法進行數(shù)據(jù)處理的所需資源的節(jié) 點，將需要處理的遙感衛(wèi)星數(shù)據(jù)和選取的算法送至這些節(jié)點； (3) 并行處理模塊中的多個并行處理節(jié)點同時根據(jù)各個節(jié)點接收的算法，按照執(zhí)行順 序，對需要處理的遙感衛(wèi)星數(shù)據(jù)并行計算，多個并行處理節(jié)點得到多個計算結(jié)果，多個并行 處理節(jié)點能夠根據(jù)任務的需要，再次將多個計算結(jié)果重復計算使用； (4) 任務監(jiān)控模塊對送至各并行處理節(jié)點的一個或多個算法的執(zhí)行情況進行監(jiān)控，當 任務需要執(zhí)行多個算法時，在一個算法完成后，任務監(jiān)控模塊能夠通知任務需要執(zhí)行的下 一個算法進行數(shù)據(jù)處理，直至任務需要執(zhí)行的所有算法結(jié)束； (5) 數(shù)據(jù)歸檔模塊對各個并行處理節(jié)點得到的處理結(jié)果進行歸檔存儲，能夠建立處理 結(jié)果與處理結(jié)果的元數(shù)據(jù)的對應關系，根據(jù)該處理結(jié)果與處理結(jié)果的元數(shù)據(jù)的對應關系， 能夠調(diào)取需要的處理結(jié)果。
【文檔編號】G06K9/00GK106022245SQ201610322284
【公開日】2016年10月12日
【申請日】2016年5月16日
【發(fā)明人】曹宇, 王峰, 祝令亞, 孫業(yè)超
【申請人】中國資源衛(wèi)星應用中心