單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,Internet,Storage,Element,ComputingElement,Worker Node,User Interface,Replica Catalog,+,Replica Manager,Resource Broker+Information Index,Certification Authority,User Interface,TESTBED SITE 1,TESTBED SITE 2,Job Status:,Front End,Certificate Server,TESTBED SITE 3,Graphics by Aldo Stentella,并行計算、集群與網(wǎng)格技術(shù)在虛擬天文臺中應(yīng)用探討,內(nèi)容大綱,并行計算,技,技術(shù),集群及相,關(guān),關(guān)技術(shù),網(wǎng)格計算,如何滿足,不,不斷增長,的,的計算力,需,需求？,用速度更,快,快的硬件,，,，也就是,減,減少每一,條,條指令所,需,需時間,優(yōu)化算法,（,（或者優(yōu),化,化編譯）,用多個處,理,理機,(,器,),同時解決,一,一個問題,并行計算,串行計算,與,與并行計,算,算,并行的層,次,次,程序級并,行,行,子程序級,并,并行,語句級并,行,行,操作級并,行,行,微操作級,并,并行,并行粒度,粗,細(xì),共享內(nèi)存,與,與分布式,內(nèi),內(nèi)存,P=,處理器,M=,內(nèi)存,S=,網(wǎng)絡(luò)交換,設(shè),設(shè)備,P,M,P,P,M,P,M,S,局部共享,內(nèi),內(nèi)存,S,P,M,P,P,M,P,Node,Node,實現(xiàn)并行,計,計算的常,見,見方法,1,、多線,程,程程序,2,、基于,OpenMP,的并行,程,程序,3,、基于,消,消息傳,遞,遞的并,行,行程序,PVM,MPI,XPVM,XPVM,并行計,算,算環(huán)境,簡,簡介,PVP,（,ParallelVectorProcessor,）,使用專,用,用向量,處,處理器,銀河,I,，,CrayT90,，,NEC,的地球,模,模擬器,。,。,SMP,（,SymmetricMultiprocessor,）,同一主,板,板上多,個,個處理,器,器可以,等,等同訪,問,問共享,存,存儲器,、,、,I/O,設(shè)備和,操,操作系,統(tǒng),統(tǒng)服務(wù),IBMRS6000,。,Cluster,由很多,連,連接在,一,一起的,獨,獨立計,算,算機組,成,成，像,一,一個單,獨,獨的集,成,成的計,算,算機一,樣,樣協(xié)同,工,工作,集群的,節(jié),節(jié)點可,以,以是,SMP,（或者,PVP,）,Cluster1350,，藍色,基,基因。,。,。,在虛擬,天,天文臺,中,中的應(yīng),用,用情形,處理實,時,時性要,求,求很高,的,的大量,觀,觀測數(shù),據(jù),據(jù),觀測數(shù),據(jù),據(jù)的并,行,行可視,化,化處理,并行數(shù),據(jù),據(jù)挖掘,并行數(shù),據(jù),據(jù)服務(wù),提,提供,。,。,。,集群技,術(shù),術(shù),集群概,念,念最早,由,由,IBM,于,20,世紀(jì),60,年代提,出,出,集群一,般,般由高,速,速網(wǎng)絡(luò),連,連接起,來,來的高,性,性能工,作,作站或,PC,機組成,。,。集群,在,在工作,中,中像一,個,個統(tǒng)一,的,的整合,資,資源，,所,所有節(jié),點,點使用,單,單一界,面,面。,集群,NotaClusterCluster,集群計,算,算系統(tǒng),體,體系結(jié),構(gòu),構(gòu),集群相,關(guān),關(guān)技術(shù),網(wǎng)絡(luò)層,網(wǎng)絡(luò)互,聯(lián),聯(lián)結(jié)構(gòu),、,、通信,協(xié),協(xié)議、,信,信號技,術(shù),術(shù)等。,節(jié)點機,及,及操作,系,系統(tǒng)層,高性能,PC,或工作,站,站、分,層,層或基,于,于微內(nèi),核,核的操,作,作系統(tǒng),等,等。,集群系,統(tǒng),統(tǒng)管理,層,層,資源管,理,理、資,源,源調(diào)度,、,、負(fù)載,平,平衡、,并,并行,I/O,、安全,等,等。,應(yīng)用層,并行程,序,序開發(fā),環(huán),環(huán)境、,串,串行應(yīng),用,用、并,行,行應(yīng)用,等,等。,Cluster1350,Cluster1350,是,IBM,公司目,標(biāo),標(biāo)定位,于,于高性,能,能計算,市,市場的,Linux,集群，,包,包括一,套,套完整,的,的解決,方,方案，,集,集成了,眾,眾多,IBM,與非,IBM,的先進,的,的軟硬,件,件技術(shù),，,，有其,特,特有的,技,技術(shù)優(yōu),勢,勢與強,大,大的服,務(wù),務(wù)支持,。,。,Cluster1350,邏輯結(jié),構(gòu),構(gòu),Cluster1350,節(jié)點硬,件,件、網(wǎng),絡(luò),絡(luò)和操,作,作系統(tǒng),(,天津大,學(xué),學(xué),IBM,中心）,管理節(jié),點,點,IBMeServerxSeries 345(1),計算節(jié),點,點,IBMeServerxSeries 335(16),網(wǎng)絡(luò),千兆以,太,太網(wǎng),操作系,統(tǒng),統(tǒng),RedHat Linux 7.3,CSM,（,（ClusterSystemManagement）,CSM,是,IBM,公司開,發(fā),發(fā)，專,門,門用于,集,集群系,統(tǒng),統(tǒng)管理,的,的中間,件,件，在,Cluster1350,解決方,案,案集成,。,。,CSM,的設(shè)計,思,思想與,體,體系結(jié),構(gòu),構(gòu)來自,PSSP(IBMParallelSystem SupportProgramsfor AIX),與其它,一,一些開,源,源的集,群,群管理,軟,軟件。,還,還有一,些,些中間,件,件及技,術(shù),術(shù)，雖,然,然不直,接,接為用,戶,戶服務(wù),，,，但構(gòu),成,成了,CSM,的不可,或,或缺的,基,基礎(chǔ)，,包,包括,RMC,、,SRC,、,RSCT,等。,CSM,Cluster1350系,統(tǒng),統(tǒng)管理,整個集,群,群由單,一,一結(jié)點,控,控制,所有結(jié),點,點的,開機、,關(guān),關(guān)機、,狀,狀態(tài)查,詢,詢,顯示遠,程,程控制,臺,臺,安裝操,作,作系統(tǒng),升級,(,安裝,),各結(jié)點,系,系統(tǒng)及,應(yīng),應(yīng)用軟,件,件,。,一個完,整,整的集,群,群只需,一,一套外,置,置輸入,/,輸出設(shè),備,備,(,鍵盤、,鼠,鼠標(biāo)、,顯,顯示器,),Linux,集,集群上,可,可用的,任,任務(wù)調(diào),度,度系統(tǒng),Mosix,（,Multicomputer OperatingSystemfor UnIX,）,可以自,動,動完成,節(jié),節(jié)點間,進,進程遷,移,移,需要重,新,新編譯,Linux,內(nèi)核,對用戶,來,來說是,透,透明的,PBS,（,PortableBatchSystem,）,由,NASA,的,Ames,研究中心開,發(fā),發(fā),為了達到集,群,群系統(tǒng)整體,上,上的負(fù)載平,衡,衡，對各個,節(jié),節(jié)點上的任,務(wù),務(wù)進行調(diào)度,，,，但不進行,節(jié),節(jié)點間任務(wù),遷,遷移,不需要重新,編,編譯內(nèi)核,集群上的應(yīng),用,用程序（計,算,算）開發(fā),適于開發(fā)基,于,于消息傳遞,的,的并行應(yīng)用,程,程序,可以使用,PVM/MPI,步驟：,配置并行計,算,算的編譯與,運,運行環(huán)境,主要是,rsh/ssh,設(shè)計、編寫,、,、編譯程序,使用,PVM/MPI,提供的程序,庫,庫及編譯環(huán),境,境,部署應(yīng)用程,序,序,ftp,、,rcp,、,scp,、,CSM,、,NFS,、,GPFS,等方式,運行程序,配置高可用,集,集群,最大程度地,減,減少服務(wù)中,斷,斷，而不是,容,容錯。,Hearbeat,LVS,（,LinuxVirtual Sever,）,IBM,的,Tivoli,和,WebSphere,系列軟件,Heartbeat,集,集群,LVS集群,集群在虛擬,天,天文臺中的,角,角色,高性能計算,構(gòu)成虛擬天,文,文臺網(wǎng)格環(huán),境,境中強有力,的,的計算資源,高可用服務(wù),在網(wǎng)格環(huán)境,中,中提供穩(wěn)定,、,、可靠的數(shù),據(jù),據(jù)、計算、,調(diào),調(diào)度等服務(wù),網(wǎng)格計算,“,Resource sharing&coordinatedproblem solving indynamic,multi-institutional virtual organizations,”,”,On Demand,理想的網(wǎng)格,理想的網(wǎng)格,The picture above describes aDataGrid testbed with three sites and aCertification Authority.For spacereasons wedo not show all themachinesof each site.,The user requests acertificate tothe CertificateAuthoritywebfront-end.,The certificateis produced and signed by theCertificate Server.,The user gets the certificate.,Now that the user has his/hercertificate installed onhis/her User Interface,he/shecansubmit his/herjob requests.,Aftercreatinga proxy processwithtemporarycredentials(“grid-proxy-init,”,”command),theusersubmits his/her jobrequest to theResourceBroker.,Submitted,The Resource Brokerqueries the ReplicaCatalog and Information Indexto find suitable resources(storagespace,data and computing power).,Waiting,The Resource Brokerselects the resources.,Ready,The Resource Brokersubmits the jobto the selected Computing Element(s).,Scheduled,The Computing Element deliversthejob to itsWorker Node(s),which will dotherealwork.,Done,Output Ready,The outputis movedto the ResourceBroker,The user gets his/her output,Cleared,網(wǎng)格計算環(huán),境,境示例,Grid,WAN,Cluster,Grid,SMP,Grid,SMP,Grid,Cluster,UI/API,Grid,LAN,Grid,SMP,Grid,SMP,Grid,SMP,Grid,Cluster,Cluster,Cluster,SMP,Grid,Cluster,Grid,Grid,Grid,LAN,SiteA,SiteB,SiteC,UI/API,Grid,UI/API,Grid,LAN,結(jié)束語,虛擬天文臺,將,將構(gòu)筑于網(wǎng),格,格環(huán)境之上,集群將構(gòu)成,網(wǎng),網(wǎng)格環(huán)境中,強,強有力的計,算,算與服務(wù)支,撐,撐平臺,并行計算將,為,為具體事務(wù),處,處理提供技,術(shù),術(shù)與手段上,支,支持,Thanks!,