一種面向aws平臺的并行系統(tǒng)快速部署方法
【專利摘要】本方法公開了面向AWS（AmazonWebServices亞馬遜網(wǎng)絡服務系統(tǒng)）平臺，快速部署并行處理系統(tǒng)的基本方法。本發(fā)明明確了基于AWS所提供的EC2（ElasticComputeCloud彈性計算云）服務，利用外部初始化腳本來構建大規(guī)模且穩(wěn)定的計算機集群系統(tǒng)，同時利用內置初始化腳本來部署Hadoop擴展平臺的基本流程。在保證部署質量的前提下，將集群準備的時間與費用成本降到最低。
【專利說明】—種面向AWS平臺的并行系統(tǒng)快速部署方法

【技術領域】
[0001]本發(fā)明涉及一種面向AWS平臺的并行系統(tǒng)快速部署方法，屬于信息技術處理領域。

【背景技術】
[0002]AffSCAmazon Web Services亞馬遜網(wǎng)絡服務系統(tǒng))是由亞馬遜公司于2002年開始運營的云計算平臺，提供多種類型的遠端Web服務。其中的EC2 (Elastic Compute Cloud彈性計算云)服務可以讓用戶以租用虛擬計算機(實例)方式，遠程使用不同類型的計算機系統(tǒng)，并且運行任何自己所需要的軟件。租用虛擬計算機的價格隨提供的硬件資源多少而區(qū)分，并且用戶可以隨時創(chuàng)建、運行和終止服務，因此AWS EC2被視為一個靈活的、相對廉價的云計算平臺。實例中所包含的操作系統(tǒng)和預安裝軟件取決于它啟動時所選擇的系統(tǒng)鏡像AMI，不僅是AWS官方，任何用戶均可以將自己所設置的軟件環(huán)境封裝為AMI，并且提供給其它用戶使用。
[0003]由于受到EC2服務自己的限制，申請大量EC2實例來組建計算機集群，并在此上部署基于Hadoop的并行處理平臺的過程繁瑣且耗時。首先的原因在于EC2實例無法擁有一個長久固定的IP地址。一臺EC2實例在其創(chuàng)建時被賦予一個惟一的公有鏈接地址和私有IP地址，分別用于從數(shù)據(jù)中心外部和內部來對實例進行訪問。在從外部進行訪問時，由于網(wǎng)絡受到途經(jīng)所有路由的限制，其帶寬有限且會根據(jù)使用流量收取相應的費用，而在從內部網(wǎng)絡訪問實例時，則帶寬質量受到保證，且不計入流量費用。此外，當實例被暫?；蚪K止后，僅管不再計價，但相應地，實例的公有鏈接地址與私有IP均被收回，因此在AWS EC2平臺中，無法長久保存一個擁有固定私有IP的計算機集群系統(tǒng)。針對此問題，AWS提供了 EIP(Elastic IP彈性IP)服務，用于租用一系列固定的私有IP地址，但會收取一定的額外費用。
[0004]其次，在部署基于Hadoop的并行處理平臺時，需要修改一定數(shù)量的配置文件，如masters>slaves>core-site.xml等,用于設置當前集群中的主實例與子實例的IP址址。由于受到不能獲取固定IP的問題局限，每當建立一個新的集群系統(tǒng)時，都要對這些文件需要進行更新。當集群規(guī)模超過50臺實例時，廣播傳輸更新后的文件也需要耗費一定的時間與費用。
[0005]最后，由于EC2平臺自身存在的不穩(wěn)定性，在申請大批量實例時，會存在部分實例無法順利啟動的問題，從而對其它已啟動實例的計算資源造成了浪費。
[0006]這種AWS EC2服務的不穩(wěn)定性以及無法免費獲取固定私有IP地址的局限構成了在此平臺上部署基于Hadoop平臺的并行處理系統(tǒng)的一個技術難點。
[0007]目前，也沒有公開發(fā)表的技術或手段來對此問題加以解決。


【發(fā)明內容】

[0008]本發(fā)明所要解決的技術問題是針對上述【背景技術】的不足，提供一種面向AWS平臺的并行系統(tǒng)快速部署方法。
[0009]本發(fā)明為實現(xiàn)上述發(fā)明目的采用如下技術方案:
步驟1，檢測當前系統(tǒng)是否準備有EC2命令行工具以及其它必須文件，如賬戶私有密鑰等;
步驟2，設置啟動EC2實例的參數(shù)，包括實例數(shù)量、類型，AMI ID，主子實例的標簽名，數(shù)據(jù)中心的名稱，防火墻規(guī)則等，并啟動所有實例；
步驟3，等待并確保所有實例啟動成功，具體方法為:
步驟3-1，檢測并收集當前未順利啟動的實例ID，若全部實例均已啟動，則返回；
步驟3-2，告知用戶未啟動的實例數(shù)量，詢問是否繼續(xù)等待一定周期(如10s)，若是則返回步驟3-1 ；
步驟3-3，終止未啟動成功的實例，并再次啟動相應數(shù)量的新實例，返回步驟3-1 ；
步驟4，為啟動實例添加相應標簽，以區(qū)分主實例與其它子實例；
步驟5，收集主實例的公有鏈接地址，以及所有實例的私有IP地址；
步驟6，初始化主實例，并上傳所收集到的實例私有IP地址信息，具體方法為:
步驟6-1，查看此實例的初始化標記，若存在則說明此實例已用于其它集群，則返回失敗信息，否則將收集到的實例私有IP地址上傳至主實例；
步驟6-2，查看當前是否為主實例，否則進入步驟6-5-1 ；
步驟6-3，根據(jù)主子實例的私有IP地址，修改并行處理系統(tǒng)的所有相關配置文件，然后將所有配置文件封裝并進行壓縮；
步驟6-4，將封裝后的配置文件并行傳輸至所有參與此集群的子實例中；
步驟6-5，標記主實例初始化完成，初始化所有子實例，待全部完成后結束部署。這一過程通過并發(fā)進程的方式完成，以便加快整體部署的效率，具體包含兩個步驟:
步驟6-5-1，子實例檢測是否已被初始化，若是則返回步驟6-5 ；
步驟6-5-2，待接收到步驟6-4傳輸?shù)姆庋b配置文件后，解壓縮至相應路徑，并標記此子實例初始化完成并返回步驟6-5。
[0010]以上
【發(fā)明內容】
中所述的EC2命令行工具是指由AWS EC2服務提供的，通過文本命令方式來運行服務的腳本；
所述的賬戶私有密鑰是指用于辨別AWS用戶的惟一標識，以此來啟動并計價所使用的服務資源；
所述的公有鏈接地址是指用于從外部網(wǎng)絡訪問所創(chuàng)建實例時需要的網(wǎng)絡地址，而私有IP地址則是指實例被分配到的用于從內部網(wǎng)絡進行訪問的惟一 IP地址；
所述的EC2實例是指由AWS EC2服務所提供的虛擬計算平臺，每個實例具有物理計算機的基本特征，包含若干處理器單元，內存與外存設備，以及網(wǎng)絡接口，實例的硬件計算資源的多少取決于實例的類型，并由此決定實例租用的單位時間價格；
所述的AMI (Amazon Machine Image亞馬遜機器鏡像)是指實例的軟件資源,包括操作系統(tǒng)，預安裝軟件，系統(tǒng)位數(shù)等，鏡像通過惟一的ID標識加以區(qū)別，AWS官方以及普通用戶均可提供公開的鏡像資源；所述的實例標簽是指用于區(qū)別不同實例角色的文本描述，同一實例可擁有多個標簽，而不同的實例也可標記相同的標簽內容；所述的主子實例是指利用實例標簽來區(qū)分基于Hadoop平臺的并行處理系統(tǒng)中實例的不同角色，包含一個主實例與若干子實例，主實例亦可被用作一個子實例；所述的數(shù)據(jù)中心是指用于提供AWS服務的，包含大量物理計算資源的設備中心，分布在全球不同區(qū)域，用戶可自行挑選某個數(shù)據(jù)中心來使用；所述的防火墻規(guī)則是指由用戶自行設定的，維護實例使用安全的路由規(guī)則，包括開放的網(wǎng)絡端口和對應的IP地址段。
[0011]本發(fā)明采用上述技術方案，具有以下有益效果:
1、通過階段性的檢測與及交互提示，從而可以在短時間內申請大規(guī)?？蛇\行的EC2實例來建立所需要的計算機集群系統(tǒng)。
[0012]2、在實例創(chuàng)建過程中，收集所有相關實例的私有IP地址，并通過添加對應標簽的方法對主子實例進行區(qū)分。
[0013]3、通過主實例一次性配置完成后，以并行方式借由數(shù)據(jù)中心內部網(wǎng)絡對所有子實例進行初始化，保證了部署的效率。
[0014]

【專利附圖】

【附圖說明】
[0015]圖1為面向AWS平臺的并行系統(tǒng)快速部署方法基本流程圖。
[0016]圖2為實例初始過程流程圖。

【具體實施方式】
[0017]下面結合附圖對發(fā)明的技術方案進行詳細說明:
利用面向AWS平臺的快速部署方法進行基于Hadoop平臺的并行處理系統(tǒng)的最小對象為一個包含有Hadoop系統(tǒng)文件以及初始化腳本的AMI，一個可以有效申請EC2實例的Amazon賬號，以及一臺設置有EC2命令行工具的可聯(lián)網(wǎng)的計算機設備。
[0018]按照圖1所示的流程圖，實現(xiàn)面向AWS平臺的快速并行平臺的部署方法，包括以下步驟:
步驟1，檢測當前計算機系統(tǒng)內是否準備有EC2命令行工具，工具均為可執(zhí)行的系統(tǒng)腳本，以“ec2_”為命名前綴,也可通過命令如“ec2-describe_reg1ns”來進行實地驗證,此命令用于打印所有可用的EC2數(shù)據(jù)中心名稱；檢測當前計算機內是否存在AWS EC2賬戶私有密鑰，如不存在，則可通過訪問EC2圖形化網(wǎng)頁界面來獲??；
步驟2，設置啟動EC2實例的參數(shù)，包括實例數(shù)量、類型，AMI ID，主子實例的標簽名，數(shù)據(jù)中心的名稱，防火墻規(guī)則等；此處可以設置實例數(shù)量為50，主實例標簽為master，而子實例標簽為slaves，AMI ID則設置為事前準備好的包含有所需軟件資源AMI的ID編號，數(shù)據(jù)中心通常默認設置為處于美國弗吉尼亞州的數(shù)據(jù)中心編號us-east-la，類型可設置為m3, large，S卩每臺實例含有兩顆Intel Xeon 2.5GHz處理器，7.5GB內存與32GB SSD外存設備，防火墻規(guī)則通常打開所有Hadoop平臺運行過程所需要的網(wǎng)絡端口，而賬戶私有密鑰可通過設置環(huán)境變化或給予絕對路徑的方式來指定；在所有參數(shù)設置完畢后，利用EC2命令行工具中的“ec2-run-1nstances”命令來啟動所需要的實例；
步驟3，等待并確保所有實例啟動成功，具體方法為:
步驟3-1，利用EC2命令行工具中的“ec2-describe-1nstances”命令來檢測所有需要啟動的實例狀態(tài)，若其“instance-state-name”條件不為“running”,則說明此實例未能正常啟動；統(tǒng)計未順利啟動的實例ID，若全部實例均已啟動，則返回；
步驟3-2，告知用戶未啟動的實例數(shù)量，詢問是否繼續(xù)等待一定周期(如10s)，若是則返回步驟3-1 ；
步驟3-3,利用EC2命令行工具中的“ec2-terminate_instances”命令來終止未啟動成功的實例，并再次利用EC2命令行工具中的“ec2-run-1nstances”命令啟動相應數(shù)量的新實例，并返回步驟3-1繼續(xù)等待；
步驟4，利用EC2命令行工具中的“ec2-create-tags”命令來為啟動實例添加相應標簽，以區(qū)分主實例與其它子實例；其中，最先啟動的實例被視為主實例，并將其Name標簽設置為master,而其它實例的Name標簽則均被設置為slaves ；
步驟5，利用EC2命令行工具中的“ec2-describe-1nstances”命令獲取主實例的狀態(tài)信息，并從返回值中的第16列字符得到其公有鏈接地址；所有實例的私有實例的私有IP地址也可通過讀取“ec2-describe_instances”命令返回值的第17列內容來獲??；
步驟6，如圖2所示，初始化主實例，并上傳所收集到的實例私有IP地址信息，具體方法為:
步驟6-1，在AMI所封裝的軟件系統(tǒng)內，其啟動腳本包含實例初始化功能的觸發(fā)指令，當實例啟動并被遠程連接時，初始化過程被觸發(fā)；為避免重復進行初始化過程，方法利用一個臨時文件作為系統(tǒng)初始化標記，當初始化結束后則此文件被創(chuàng)建，而在下次實例被連接時，由于此文件的存在，則說明此實例已被初始化或者已用于其它集群，因此返回失敗信息；在主實例被初始化前，所有收集到的實例私有IP地址被上傳，以便進行下一步過程；步驟6-2，通過查看自身的Name標簽來確定當前計算機是否為主實例，否則進入步驟6-5-1 ；
步驟6-3，根據(jù)收集到的實例私有IP地址，修改并行處理系統(tǒng)的所有相關配置文件，如masters、slaves、core-site.xml等,然后將所有配置文件封裝并進行壓縮；
步驟6-4，將封裝后的配置文件并行傳輸至所有參與此集群的子實例中；
步驟6-5，標記主實例初始化完成，初始化所有子實例，待全部完成后結束部署。這一過程通過并發(fā)進程的方式完成，以便加快整體部署的效率。子實例的初始化具體包含兩個步驟:
步驟6-5-1，子實例檢測是否已被初始化，若是則返回步驟6-5 ；
步驟6-5-2，待接收到步驟6-4傳輸?shù)姆庋b配置文件后，解壓縮至相應路徑，并標記此子實例初始化完成并返回步驟6-5。
【權利要求】
1.一種面向AWS平臺的并行系統(tǒng)快速部署方法，其特征在于利用外部初始化腳本來構建大規(guī)模且穩(wěn)定的計算機集群系統(tǒng)，包括如下步驟: 步驟1，檢測當前系統(tǒng)具有構建與控制AWS EC2計算機集群的必要條件，待設置必要參數(shù)后，利用具備內部初始化腳本的系統(tǒng)鏡像，啟動所有實例； 步驟2，等待并確保所有實例啟動成功； 步驟3，為啟動實例添加相應標簽，以區(qū)分主實例與其它子實例，并收集主實例的公有鏈接地址，以及所有實例的私有IP地址； 步驟4，利用系統(tǒng)內置的初始化腳本完成所有實例的初始化過程。
2.根據(jù)權利要求1所述的一種面向AWS平臺的并行系統(tǒng)快速部署方法，其特征在于步驟2的實例啟動及等待過程，具體步驟為: 步驟2-1，周期性檢測并收集未順利啟動的實例ID，若全部實例均已啟動，則返回； 步驟2-2，告知用戶未啟動的實例數(shù)量，由用戶自行決定是否繼續(xù)等待一定周期，若是則返回步驟2-1 ； 步驟2-3，若用戶決定不再等待，則終止未啟動成功的實例，并再次啟動相應數(shù)量的新實例，返回步驟2-1。
3.根據(jù)權利要求1所述的一種面向AWS平臺的并行系統(tǒng)快速部署方法，其特征在于步驟4的利用預設于系統(tǒng)鏡像內部的初始化腳本完成實例初始化過程，具體步驟為: 步驟4-1，查看此實例的初始化標記，并將收集到的實例私有IP地址上傳至主實例； 步驟4-2，查看當前是否為主實例，否則進入步驟4-5-1 ； 步驟4-3，根據(jù)主子實例的私有IP地址，修改并行處理系統(tǒng)的所有相關配置文件，然后將所有配置文件封裝并進行壓縮； 步驟4-4，將封裝后的配置文件并行傳輸至所有參與此集群的子實例中； 步驟4-5，標記主實例初始化完成，初始化所有子實例，待全部完成后結束部署；這一過程通過并發(fā)進程的方式完成，以便加快整體部署的效率。
4.根據(jù)權利要求1所述的一種面向AWS平臺的并行系統(tǒng)快速部署方法，其特征在于步驟4-5利用預設于系統(tǒng)鏡像內部的初始化腳本完成子實例初始化過程，具體步驟為: 步驟4-5-1，實例檢測是否已被初始化，若是則返回； 步驟4-5-2，待接收到步驟4-4傳輸?shù)姆庋b配置文件后，解壓縮至相應路徑，并標記此子實例初始化完成并返回步驟4-5。
5.根據(jù)權利要求1所述的主實例是指由Hadoop系統(tǒng)指定為主計算機的AWSEC2實例，所述的子實例是指由Hadoop系統(tǒng)指定為子計算機的AWS EC2實例。
【文檔編號】G06F9/44GK104243563SQ201410444527
【公開日】2014年12月24日 申請日期:2014年9月3日 優(yōu)先權日:2014年9月3日
【發(fā)明者】陸佳民, 馮鈞 申請人:河海大學