專利名稱:一種科學(xué)計算網(wǎng)格的門戶網(wǎng)站結(jié)構(gòu)的制作方法
技術(shù)領(lǐng)域:
本實用新型涉及能提供交互式作業(yè)的科學(xué)計算網(wǎng)格的門戶網(wǎng)站,其為建立在網(wǎng)格中間件Globus Toolkit 2.0的基礎(chǔ)上的高性能計算的門戶網(wǎng)站。
背景技術(shù):
目前從高性能計算應(yīng)用的角度上來說,可以將用戶劃分為三類一類是已經(jīng)很習(xí)慣并已熟練使用遠程登錄這種方式的用戶,這類用戶已經(jīng)可以很熟練的運用命令行的方式來調(diào)試程序及編寫腳本;一類是各領(lǐng)域的知識工程師,他們有非常豐富的領(lǐng)域經(jīng)驗和知識,對于高性能計算雖然有一定的需求,但還很不熟悉,其完成作業(yè)在短期內(nèi)還無法完全通過遠程登錄的命令行方式來實現(xiàn)。同時,對于此類用戶而言,調(diào)試程序的需求并不是很強烈,而大多是調(diào)用比較成熟的程序和算法;還有一類是介于二者之間的,雖然已經(jīng)習(xí)慣了遠程登錄的方式,但很多時候還不能熟練運用。
我們在建的門戶網(wǎng)站(Portal)主要將其分為計算Portal和應(yīng)用Portal,計算Portal是普適性的,提供提交作業(yè)、查詢結(jié)果、信息查詢、文件/目錄管理、上傳下載及其它與計算相差的常規(guī)功能,同時還負責(zé)為應(yīng)用Portal提供API接口等,而應(yīng)用Portal則是將各領(lǐng)域的軟件操作進行定制,引導(dǎo)用戶只須以輸入?yún)?shù)的方式來完成程序的運行。從其實現(xiàn)的功能來看,前者(計算Portal)較為適合我們上文分析到的第一類用戶,后者(應(yīng)用Portal)更適合吸引第二類用戶介入高性能計算領(lǐng)域,也更方便其使用。因此,從功能上講,計算Portal對于用戶的吸引力要小于應(yīng)用Portal(因為計算Portal最適合第一類及第三類用戶使用,而這部分用戶由于習(xí)慣了遠程登錄的方式,是不大容易接受這種定制的作業(yè)提交方式的,畢竟這類用戶大部分的作業(yè)都是用于調(diào)試程序,這種定制的方式缺乏靈活性,同時從目前來看,其穩(wěn)定性以及功能上還有待增強;而應(yīng)用Portal針對的用戶群原本就對高性能計算不熟悉,同時他們更加常用的功能不是調(diào)試程序,而只是用本領(lǐng)域成熟的軟件去解決問題)。
發(fā)明內(nèi)容
科學(xué)計算網(wǎng)格的門戶網(wǎng)站(ScGrid Portal)建設(shè)的最終目標就是為了給用戶提供一個為高性能計算定制的、易用的、完全基于瀏覽器的科學(xué)計算環(huán)境,因此可以將我們的任務(wù)定位為建設(shè)一個用于高性能計算的普適性的Portal,并最終實現(xiàn)對于高性能計算環(huán)境的無縫化訪問。國內(nèi)外目前已經(jīng)實現(xiàn)的計算Portal,都沒有提供提交交互式作業(yè)的功能。我們在ScGrid Portal的建設(shè)中,實現(xiàn)了從Portal提交交互式作業(yè)的功能。
本實用新型所采用的技術(shù)方案是基于網(wǎng)格的高性能計算的門戶網(wǎng)站ScGrid是建立在網(wǎng)格Globus Toolkit 2.0的基礎(chǔ)上的,基本上利用了它的整套安全認證機制及網(wǎng)格(Grid)環(huán)境下的在線證書倉庫—認證服務(wù)器(Myproxy),認證服務(wù)器中有認證模塊,用于認證用戶身份、存放用戶證書及管理員模塊,其與門戶網(wǎng)站網(wǎng)絡(luò)連接;該門戶網(wǎng)站還包括信息查詢服務(wù)器(GIIS),用于搜集各高性能服務(wù)器的信息,并將該信息提供給門戶網(wǎng)站,其分別與曙光高性能服務(wù)器(Dawning 2000)、深騰6800高性能服務(wù)器、SGI高性能服務(wù)器及日立高性能服務(wù)器網(wǎng)絡(luò)連接,還與門戶網(wǎng)站網(wǎng)絡(luò)連接;門戶網(wǎng)站,用于提供超級計算的入口,具有提交交互式作業(yè)的功能,其分別與曙光高性能服務(wù)器、深騰6800高性能服務(wù)器、SGI高性能服務(wù)器及日立高性能服務(wù)器網(wǎng)絡(luò)連接,還與信息查詢服務(wù)器(GIIS)網(wǎng)絡(luò)連接。
在網(wǎng)格環(huán)境下,通常我們把作業(yè)分成批處理和交互式兩大類。系統(tǒng)管理員會配置一些作業(yè)隊列和一定的作業(yè)調(diào)度策略,批處理作業(yè)被提交后要在隊列中排隊,直到作業(yè)調(diào)度器允許它執(zhí)行,并且作業(yè)已經(jīng)獲得所請求的所有資源。交互式作業(yè)提交后馬上運行,不需要等待,而且輸入輸出對用戶透明,所以交互式作業(yè)在調(diào)試程序、測試腳本的時候非常有用。交互式作業(yè)由于獨占結(jié)點,因此對系統(tǒng)的利用率有一定影響。但是,提供交互式作業(yè)的支持乃然是必須的。
在目前眾多的網(wǎng)格建設(shè)項目中,Globus Toolkit是使用最多的網(wǎng)格中間件。我們對Globus Toolkit的源代碼進行了分析,特別是與作業(yè)提交相關(guān)部分的代碼。Globus提供對批處理作業(yè)的支持,但是不支持提交交互式作業(yè)。
本實用新型基于網(wǎng)格的門戶網(wǎng)站為用戶提供一個簡單而且直觀的界面,通過這個統(tǒng)一的界面,用戶可以透明的使用網(wǎng)格里廣泛分布的各種異構(gòu)的計算資源、存儲資源、科學(xué)儀器、傳感設(shè)備等等。從Portal訪問這些網(wǎng)格資源也是使用網(wǎng)格中間件提供的接口。為了方便用戶,對于網(wǎng)格中間件不支持的功能,Portal也必須提供。比如Globus中間件支持提交批處理作業(yè),只需要在Portal中調(diào)用其提供的接口即可。但是Globus不支持交互式作業(yè)的提交,為了提高Portal的可用性,這部分功能必須單獨實現(xiàn)。GlobusToolkit提供GSISSH服務(wù),我們用Java實現(xiàn)了一個GSISSH的客戶端,用戶認證使用”external-keyx”方法。通過這個客戶端及運行在用戶瀏覽器端的Applet保持用戶端與計算資源之間的連接。用戶可以直接運行交互式作業(yè),獲得相當于在遠程終端運行程序的實時交互性。
國內(nèi)外目前已經(jīng)實現(xiàn)的計算Portal,都沒有提供提交交互式作業(yè)的功能。我們在基于網(wǎng)格的高性能計算的門戶網(wǎng)站(ScGridPortal)的建設(shè)中,實現(xiàn)了從門戶網(wǎng)站(Portal)提交交互式作業(yè)的功能。
附圖是基于網(wǎng)格的高性能計算的門戶網(wǎng)站的結(jié)構(gòu)圖。
具體實施方式
在圖1中,用戶通過防火墻后,在認證服務(wù)器(Myproxy)進行身份認證,認證服務(wù)器中有CA認證中心,用于認證用戶身份、存放用戶證書及管理員模塊,其與門戶網(wǎng)站網(wǎng)絡(luò)連接;該門戶網(wǎng)站還包括信息查詢服務(wù)器(GIIS),用于搜集各高性能服務(wù)器的信息,并將該信息提供給門戶網(wǎng)站,其分別與曙光高性能服務(wù)器(Dawning 2000)、深騰6800高性能服務(wù)器、SGI高性能服務(wù)器及日立高性能服務(wù)器(HITACHI SR2001)網(wǎng)絡(luò)連接,還與門戶網(wǎng)站網(wǎng)絡(luò)連接;用戶確認身份后,即可登錄該門戶網(wǎng)站,該門戶網(wǎng)站用于提供超級計算的入口,具有提交交互式作業(yè)的功能,其分別與曙光高性能服務(wù)器、深騰6800高性能服務(wù)器、SGI高性能服務(wù)器及日立高性能服務(wù)器網(wǎng)絡(luò)連接,還與信息查詢服務(wù)器(GIIS)網(wǎng)絡(luò)連接,用戶通過該入口在一定時效內(nèi)進行所需要的高性能運算。深騰6800高性能服務(wù)器的每一結(jié)點配置為四顆1.3GHz CPU,以適于高性能運算。
本實用新型的基于網(wǎng)格的高性能計算的門戶網(wǎng)站可以看作是超級計算用戶的一個入口,是進行超級運算的門戶網(wǎng)站。
權(quán)利要求1.一種科學(xué)計算網(wǎng)格的門戶網(wǎng)站結(jié)構(gòu),其特征在于包括認證服務(wù)器,用于認證用戶身份、存放用戶證書及管理員模塊,其與門戶網(wǎng)站網(wǎng)絡(luò)連接;信息查詢服務(wù)器,用于搜集各高性能服務(wù)器的信息,并將該信息提供給門戶網(wǎng)站,其分別與曙光高性能服務(wù)器、深騰6800高性能服務(wù)器、SGI高性能服務(wù)器及日立高性能服務(wù)器網(wǎng)絡(luò)連接,還與門戶網(wǎng)站網(wǎng)絡(luò)連接;門戶網(wǎng)站,用于提供超級計算的入口,具有提交交互式作業(yè)的功能,其分別與曙光高性能服務(wù)器、深騰6800高性能服務(wù)器、SGI高性能服務(wù)器及日立高性能服務(wù)器網(wǎng)絡(luò)連接,還與信息查詢服務(wù)器網(wǎng)絡(luò)連接。
2.如權(quán)利要求1所述的門戶網(wǎng)站結(jié)構(gòu),其特征在于深騰6800高性能服務(wù)器的每一結(jié)點配置為四顆CPU。
專利摘要一種科學(xué)計算網(wǎng)格的門戶網(wǎng)站,其建設(shè)的最終目標就是為了給用戶提供一個為高性能計算定制的、易用的、完全基于瀏覽器的科學(xué)計算環(huán)境。該門戶網(wǎng)站是建立在網(wǎng)格中間件GlobusToolkit 2.0的基礎(chǔ)上的,基本上利用了它的整套安全認證機制及網(wǎng)格環(huán)境下的在線證書倉庫-認證服務(wù)器,認證服務(wù)器中有認證模塊,用于認證用戶身份、存放用戶證書及管理員模塊,其與門戶網(wǎng)站網(wǎng)絡(luò)連接;該門戶網(wǎng)站還包括信息查詢服務(wù)器,用于搜集各高性能服務(wù)器的信息,并將該信息提供給門戶網(wǎng)站,門戶網(wǎng)站,用于提供超級計算的入口。在科學(xué)計算網(wǎng)格的門戶網(wǎng)站建設(shè)中,實現(xiàn)了從門戶網(wǎng)站提交交互式作業(yè)的功能。
文檔編號G06F17/30GK2774021SQ20042011238
公開日2006年4月19日 申請日期2004年11月4日 優(yōu)先權(quán)日2004年11月4日
發(fā)明者遲學(xué)斌, 武虹, 肖海力, 鄧筍根, 張宏海 申請人:中國科學(xué)院計算機網(wǎng)絡(luò)信息中心