一種基于Java虛擬機資源池的數(shù)據(jù)處理方法
【專利摘要】本發(fā)明公開了一種基于Java虛擬機資源池的數(shù)據(jù)處理方法，通過JVM Pool Controller對JVM池中的虛擬機資源按需的進行創(chuàng)建、殺死、重置，進而維護一個保持活動的JVM池，為Hadoop MapReduce框架提供Job復用JVM支持，消除連續(xù)運行MapReduce任務時JVM的重復啟動開銷，加速MapReduce任務的啟動加載速度；通過對JVM池的管理，為分布式的Java程序提供JVM級別的橫向擴展和負載均衡支持。在應用于海量數(shù)據(jù)處理時，可以大大降低用于海量數(shù)據(jù)處理的Hadoop MapReduce任務的啟動時間；在用于其他大規(guī)模分布的Java程序能夠大大提升JVM負載均衡和橫向擴展能力。
【專利說明】一種基于Java虛擬機資源池的數(shù)據(jù)處理方法

【技術(shù)領域】
[0001]本發(fā)明涉及計算機數(shù)據(jù)處理領域，尤其涉及一種基于Java虛擬機資源池的數(shù)據(jù)處理方法。

【背景技術(shù)】
[0002](1)已有技術(shù):
[0003]目前用Hadoop Map Reduce框架對海量數(shù)據(jù)進行分析，提交一個Job (即作業(yè))到MapReduce框架，隨即被分解為多臺服務器上多個并行的Task(即任務)，完成后將計算結(jié)果回收歸并。通常每個Task運行在一個JVM上,每個JVM是一個獨立的進程，同一個Job的多個Task可以復用一個JVM。
[0004](2)已有技術(shù)問題及缺陷:
[0005]MapReduce Job啟動加載慢，由于每個Job需要在多臺服務器上啟動多個JVM進程，服務器越多啟動開銷越大、啟動越慢。目前Hadoop MapReduce只支持Task復用JVM,當需要連續(xù)地處理海量數(shù)據(jù)上的多個數(shù)據(jù)分析業(yè)務時，這種重復啟動JVM的開銷十分明顯而且不必要。更廣泛地、對于集群上的分布式Java程序，負載均衡的粒度也不能細致到JVM級別。


【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于提供一種針對海量信令數(shù)據(jù)處理分析業(yè)務時能夠大大降低用于海量數(shù)據(jù)處理的Hadoop MapReduce任務的啟動時間,提高數(shù)據(jù)處理效率的方法,從而解決現(xiàn)有技術(shù)中存在的前述問題。
[0007]本發(fā)明主要應用于云計算領域海量數(shù)據(jù)分析業(yè)務和其他分布式Java程序。使用一種云數(shù)據(jù)中心Java虛擬機資源池技術(shù)，可以大大降低用于海量數(shù)據(jù)處理的HadoopMapReduce任務的啟動時間，有效地提升了 Java Virtual Machine (Java虛擬機，以下簡稱JVM)負載均衡和橫向擴展能力。
[0008]為了實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下:
[0009]一種基于Java虛擬機資源池的數(shù)據(jù)處理方法，通過JVM Pool Controller對JVM池中的虛擬機資源按需的進行創(chuàng)建、殺死、重置；
[0010]維護一個保持活動的JVM池，為Hadoop MapReduce框架提供Job復用JVM支持；
[0011]消除連續(xù)運行MapReduce任務時JVM的重復啟動開銷，加速MapReduce任務的啟動加載速度；
[0012]通過對JVM池的管理，為分布式的Java程序提供JVM級別的橫向擴展和負載均衡支持。
[0013]優(yōu)選的，所述維護一個保持活動的JVM池的方法,具體為:通過JVM Pool Manager啟動、維護和管理一組活動的JVM進程，并負責分發(fā)Task到空閑的JVM實例。
[0014]優(yōu)選的，具體包括以下步驟:
[0015]SI，系統(tǒng)初始化；
[0016]S2，JVM通過JVM控制器協(xié)議周期性向JVM控制器上報心跳，傳遞JVM的基本信息；
[0017]S3，JVM控制器通過JVM池控制器協(xié)議周期性的向JVM池控制器上報心跳，傳遞JVM控制器的基本信息；
[0018]S4，當客戶端需要通過JStack執(zhí)行任務或者申請資源時，需要先通過存儲器內(nèi)容加載器使用JVM客戶端協(xié)議向JVM控制器獲取JVM端口和JVM當前工作目錄，并傳遞給存儲器內(nèi)存執(zhí)行器；
[0019]S5，存儲器內(nèi)容執(zhí)行器通過JVM協(xié)議將請求直接傳遞給JVM，并通過心跳機制將請求間接傳遞給JVM控制器以及JVM池控制器執(zhí)行相應的命令。
[0020]優(yōu)選的，所述JVM的基本信息，包括:JVM通信端口、內(nèi)存、創(chuàng)建時間、運行時間和工作目錄。
[0021]優(yōu)選的，所述JVM控制器的基本信息，包括:JVM創(chuàng)建數(shù)量、運行狀態(tài)、每個JVM的內(nèi)存、通信端口、創(chuàng)建時間、運行時間和工作目錄。
[0022]優(yōu)選的，所述的對JVM池的管理，包括:創(chuàng)建、殺死和重置JVM池中的JVM的步驟。
[0023]本發(fā)明的有益效果是:
[0024]本發(fā)明的基于云數(shù)據(jù)中心Java虛擬機資源池的數(shù)據(jù)處理方法，在應用于海量數(shù)據(jù)處理時,可以大大降低用于海量數(shù)據(jù)處理的Hadoop MapReduce任務的啟動時間；
[0025]在用于其他大規(guī)模分布的Java程序能夠大大提升JVM負載均衡和橫向擴展能力。

【專利附圖】

【附圖說明】
[0026]圖1是本發(fā)明的基于云數(shù)據(jù)中心Java虛擬機資源池的數(shù)據(jù)處理方法的JVM池結(jié)構(gòu)示意圖；
[0027]圖2是本發(fā)明的基于云數(shù)據(jù)中心Java虛擬機資源池的數(shù)據(jù)處理方法的處理流程示意圖。

【具體實施方式】
[0028]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的【具體實施方式】僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0029]JVM Pool Controller---Java 池控制器；
[0030]JVM---JavaVirtualMachine (Java 虛擬機)的縮寫；
[0031]hadoop是一個分布式系統(tǒng)基礎架構(gòu)，由Apache基金會開發(fā)。用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序；
[0032]MapReduce 是 hadoop 的核心組件之一；
[0033]本發(fā)明是在解決海量信令數(shù)據(jù)處理分析業(yè)務時提出，主要目的是為了解決在連續(xù)數(shù)據(jù)處理時Hadoop MapReduce框架啟動加載慢的問題。
[0034]如圖1、2所示，本發(fā)明公開了一種基于Java虛擬機資源池的數(shù)據(jù)處理方法，通過JVM Pool Controller對JVM池中的虛擬機資源按需的進行創(chuàng)建、殺死、重置，進而維護一個保持活動的JVM池，為Hadoop MapReduce框架提供Job復用JVM支持，消除連續(xù)運行MapReduce任務時JVM的重復啟動開銷，加速MapReduce任務的啟動加載速度；通過對JVM池的管理(包括:創(chuàng)建、殺死和重置JVM池中的JVM)，為分布式的Java程序提供JVM級別的橫向擴展和負載均衡支持。所述維護一個保持活動的JVM池的方法，具體為:通過JVM PoolManager啟動、維護和管理一組活動的JVM進程，并負責分發(fā)Task到空閑的JVM實例。
[0035]具體包括以下步驟:
[0036]S1，系統(tǒng)初始化；
[0037]S2，JVM通過JVM控制器協(xié)議周期性向JVM控制器上報心跳，傳遞JVM的基本信息(如:JVM通信端口、內(nèi)存、創(chuàng)建時間、運行時間、工作目錄等)；
[0038]S3，JVM控制器通過JVM池控制器協(xié)議周期性的向JVM池控制器上報心跳，傳遞JVM控制器的基本信息(如:JVM創(chuàng)建數(shù)量、運行狀態(tài)、每個JVM的內(nèi)存、通信端口、創(chuàng)建時間、運行時間、工作目錄等)；
[0039]S4，當客戶端需要通過JStack執(zhí)行任務或者申請資源時，需要先通過存儲器內(nèi)容加載器使用JVM客戶端協(xié)議向JVM控制器獲取JVM端口和JVM當前工作目錄，并傳遞給存儲器內(nèi)存執(zhí)行器；
[0040]S5，存儲器內(nèi)容執(zhí)行器通過JVM協(xié)議將請求直接傳遞給JVM，并通過心跳機制將請求間接傳遞給JVM控制器以及JVM池控制器執(zhí)行相應的命令。
[0041]通過采用本發(fā)明公開的上述技術(shù)方案，得到了如下有益的效果:
[0042]本發(fā)明的基于云數(shù)據(jù)中心Java虛擬機資源池的數(shù)據(jù)處理方法，:
[0043]在應用于海量數(shù)據(jù)處理時,可以大大降低用于海量數(shù)據(jù)處理的Hadoop MapReduce任務的啟動時間；
[0044]在用于其他大規(guī)模分布的Java程序能夠大大提升JVM負載均衡和橫向擴展能力。
[0045]以上所述僅是本發(fā)明的優(yōu)選實施方式，應當指出，對于本【技術(shù)領域】的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視本發(fā)明的保護范圍。
【權(quán)利要求】
1.一種基于Java虛擬機資源池的數(shù)據(jù)處理方法，其特征在于包括以下步驟: 通過JVM Pool Controller對JVM池中的虛擬機資源按需的進行創(chuàng)建、殺死、重置； 維護一個保持活動的JVM池,為Hadoop MapReduce框架提供Job復用JVM支持； 消除連續(xù)運行MapReduce任務時JVM的重復啟動開銷,加速MapReduce任務的啟動加載速度； 通過對JVM池的管理，為分布式的Java程序提供JVM級別的橫向擴展和負載均衡支持。
2.根據(jù)權(quán)利要求1所述的基于Java虛擬機資源池的數(shù)據(jù)處理方法，其特征在于，所述維護一個保持活動的JVM池，具體為:通過JVM Pool Manager啟動、維護和管理一組活動的JVM進程，并負責分發(fā)Task到空閑的JVM實例。
3.根據(jù)權(quán)利要求1所述的基于Java虛擬機資源池的數(shù)據(jù)處理方法，其特征在于，具體包括以下步驟: SI，系統(tǒng)初始化； S2，JVM通過JVM控制器協(xié)議周期性向JVM控制器上報心跳，傳遞JVM的基本信息； S3，JVM控制器通過JVM池控制器協(xié)議周期性的向JVM池控制器上報心跳，傳遞JVM控制器的基本信息； S4,當客戶端需要通過JStack執(zhí)行任務或者申請資源時，需要先通過存儲器內(nèi)容加載器使用JVM客戶端協(xié)議向JVM控制器獲取JVM端口和JVM當前工作目錄，并傳遞給存儲器內(nèi)存執(zhí)行器； S5，存儲器內(nèi)容執(zhí)行器通過JVM協(xié)議將請求直接傳遞給JVM，并通過心跳機制將請求間接傳遞給JVM控制器以及JVM池控制器執(zhí)行相應的命令。
4.根據(jù)權(quán)利要求3所述的基于Java虛擬機資源池的數(shù)據(jù)處理方法，其特征在于，所述JVM的基本信息，包括:JVM通信端口、內(nèi)存、創(chuàng)建時間、運行時間和工作目錄。
5.根據(jù)權(quán)利要求3所述的基于Java虛擬機資源池的數(shù)據(jù)處理方法，其特征在于，所述JVM控制器的基本信息，包括:JVM創(chuàng)建數(shù)量、運行狀態(tài)、每個JVM的內(nèi)存、通信端口、創(chuàng)建時間、運行時間和工作目錄。
6.根據(jù)權(quán)利要求1所述的基于Java虛擬機資源池的數(shù)據(jù)處理方法，其特征在于，所述的對JVM池的管理，包括:創(chuàng)建、殺死和重置JVM池中的JVM的步驟。
【文檔編號】G06F9/455GK104252368SQ201310264290
【公開日】2014年12月31日 申請日期:2013年6月27日 優(yōu)先權(quán)日:2013年6月27日
【發(fā)明者】張明浩, 王耘, 喻大發(fā) 申請人:珠海世紀鼎利通信科技股份有限公司