并行計(jì)算,第一級(jí),第二級(jí),第三級(jí),第一級(jí),第二級(jí),第三級(jí),現(xiàn)代密碼學(xué)理論與實(shí)踐之五,*,*,并 行 計(jì) 算,中國科學(xué)技術(shù)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系,國家高性能計(jì)算中心,(,合肥,),2003,年,9,月,2024/10/7,1,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,PC,機(jī)群的搭建,機(jī)群系統(tǒng)概述,硬件的選擇與安裝,軟件的選擇與安裝,機(jī)群系統(tǒng)性能評(píng)測(cè),2024/10/7,2,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,機(jī)群系統(tǒng)概述,什么是機(jī)群？,機(jī)群是一組獨(dú)立的計(jì)算機(jī)（節(jié)點(diǎn)）的集合體，節(jié)點(diǎn)間通過高性能的互連網(wǎng)絡(luò)連接；各節(jié)點(diǎn)除了可以作為一個(gè)單一的計(jì)算資源供交互式用戶使用外，還可以協(xié)同工作并表現(xiàn)為一個(gè)單一的、集中的計(jì)算資源供并行計(jì)算任務(wù)使用。,一種造價(jià)低廉、易于構(gòu)筑、并且具有較好可擴(kuò)放性的并行機(jī)體系結(jié)構(gòu),2024/10/7,3,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,發(fā)展迅速的原因,作為機(jī)群節(jié)點(diǎn)的工作站系統(tǒng)的處理性能越來越強(qiáng)大，更快的處理器和更高效的多CPU機(jī)器將大量進(jìn)入市場(chǎng)；,隨著局域網(wǎng)上新的網(wǎng)絡(luò)技術(shù)和新的通信協(xié)議的引入，機(jī)群節(jié)點(diǎn)間的通信能獲得更高的帶寬和較小的延遲；,機(jī)群系統(tǒng)比傳統(tǒng)的并行計(jì)算機(jī)更易于融合到已有的網(wǎng)絡(luò)系統(tǒng)中去；,機(jī)群上的開發(fā)工具更成熟，而傳統(tǒng)的并行計(jì)算機(jī)上缺乏一個(gè)統(tǒng)一的標(biāo)準(zhǔn)；,機(jī)群價(jià)格便宜并且易于構(gòu)建；,機(jī)群的可擴(kuò)放性良好，節(jié)點(diǎn)的性能也很容易通過增加內(nèi)存或改善處理器性能獲得提高。,2024/10/7,4,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,重要特征,機(jī)群的各節(jié)點(diǎn)都是一個(gè)完整的系統(tǒng)，節(jié)點(diǎn)可以是工作站，也可以是PC機(jī)或SMP機(jī)器；,互連網(wǎng)絡(luò)通常使用商品化網(wǎng)絡(luò)，如以太網(wǎng)、FDDI、光通道等，部分商用機(jī)群也采用專用網(wǎng)絡(luò)互連；,網(wǎng)絡(luò)接口與節(jié)點(diǎn)的I/O總線松耦合相連；,各節(jié)點(diǎn)有一個(gè)本地磁盤；,各節(jié)點(diǎn)有自己的完整的操作系統(tǒng)。,2024/10/7,5,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,分類,根據(jù)不同的標(biāo)準(zhǔn)，可有多種分類方式,針對(duì)機(jī)群系統(tǒng)的使用目的可將其分為三類：,高性能計(jì)算機(jī)群,負(fù)載均衡機(jī)群,高可用性機(jī)群,2024/10/7,6,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,典型機(jī)群系統(tǒng),Berkeley NOW,Beowulf,COTS,（,Commodity off the shelf,）,LAMP,SMP,cluster,2024/10/7,7,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,PC,機(jī)群的搭建,機(jī)群系統(tǒng)概述,硬件的選擇與安裝,軟件的選擇與安裝,機(jī)群系統(tǒng)性能評(píng)測(cè),2024/10/7,8,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,硬件的選擇與安裝,節(jié)點(diǎn)構(gòu)建,處理器、內(nèi)存、總線、磁盤與,I/O,系統(tǒng)構(gòu)建,網(wǎng)絡(luò)適配卡、交換機(jī),機(jī)群系統(tǒng)示例,天體物理中心,64,個(gè)節(jié)點(diǎn),PC,機(jī)群,1,個(gè)服務(wù)節(jié)點(diǎn)（兼作計(jì)算節(jié)點(diǎn)）和,63,個(gè)計(jì)算節(jié)點(diǎn),2024/10/7,9,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,機(jī)群系統(tǒng)示例,服務(wù)節(jié)點(diǎn)配置,：,CPU,：,Pentium 2.0G,（,512KB,全速二級(jí)緩存）,內(nèi)存：,1G,（,2,512M,）,Rambus,硬盤：,80GB IDE,主板：,ASUS P4T Socket 423,網(wǎng)卡：,3com 905 TX,（兩個(gè)）,顯卡、顯示器、鍵盤、鼠標(biāo)、光驅(qū)、軟驅(qū)：略,計(jì)算節(jié)點(diǎn)配置：,CPU,：,Pentium 1.5G,（,512KB,全速二級(jí)緩存）,內(nèi)存：,512MB,（,2,256M,）,Rambus,硬盤：,40GB IDE,主板：,ASUS P4T Socket 423,網(wǎng)卡,：,3com 905 TX,2024/10/7,10,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,機(jī)群系統(tǒng)示例,交換設(shè)備由2個(gè)3com 3c16980和1個(gè)3com 3c16985的交換機(jī)通過一個(gè)matrix module堆疊而成，并安裝了一個(gè)千兆光纖模塊，以備服務(wù)接點(diǎn)連接內(nèi)部機(jī)群的網(wǎng)卡升級(jí)為千兆網(wǎng)卡。,2024/10/7,11,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,PC,機(jī)群的搭建,機(jī)群系統(tǒng)概述,硬件的選擇與安裝,軟件的選擇與安裝,機(jī)群系統(tǒng)性能評(píng)測(cè),2024/10/7,12,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,軟件的選擇與安裝,OS,的選擇,SSI,的構(gòu)建,編程環(huán)境的選擇,2024/10/7,13,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,OS的選擇,Windows,UNIX,Linux,機(jī)群系統(tǒng)示例,Redhat 7.2,版本（內(nèi)核）,2024/10/7,14,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,SSI的構(gòu)建,單一系統(tǒng)映像,SSI,（,Single System Image,）,單一系統(tǒng),：盡管系統(tǒng)中有多個(gè)處理器，用戶仍然把整個(gè)機(jī)群視為一個(gè)單一的系統(tǒng)來使用,單一控制,：邏輯上，最終用戶或系統(tǒng)用戶使用的服務(wù)都來自只有唯一接口的同一個(gè)地方,對(duì)稱性,：用戶可以從任一個(gè)節(jié)點(diǎn)上獲得機(jī)群服務(wù)，也就是說，對(duì)于所有節(jié)點(diǎn)和所有用戶，除了那些對(duì)一般訪問權(quán)限作保護(hù)的服務(wù)和功能外，所有機(jī)群服務(wù)和功能都是對(duì)稱的,位置透明,：用戶不用了解真正執(zhí)行服務(wù)的物理設(shè)備的位置,2024/10/7,15,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,SSI提供的三種服務(wù),單一登錄（,Single Sign On,）,單一文件管理（,Single File Hierarchy,）,單一作業(yè)管理系統(tǒng),(Single Job Management System),2024/10/7,16,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,單一登錄（Single Sign On）,兩種方法,網(wǎng)絡(luò)信息系統(tǒng),NIS,（,Network Information System,）,Shell,腳本（,Shell Script,）,2024/10/7,17,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,網(wǎng)絡(luò)信息系統(tǒng)NIS,服務(wù)器端：,設(shè)置,NIS,域名：,在文件,/etc/sysconfig/network,中添加如下一行,：,NISDOMAIN=PCCluster,初始化數(shù)據(jù)庫：,運(yùn)行,/usr/lib/yp,目錄下的,ypinit,命令初始化系統(tǒng)信息數(shù)據(jù)庫：,node0,#/usr/lib/ypinit m,啟動(dòng)守護(hù)進(jìn)程：,在,/etc/rc.d/rc3.d,目錄下增加兩個(gè)鏈接，以便系統(tǒng)在啟動(dòng)時(shí)自動(dòng)載入守護(hù)進(jìn)程：,node0,#cd/etc/rc.d/rc3.d,node0,#ln s./init.d/ypserv S61ypserv,node0,#ln s./init.d/yppasswdd S61yppasswd,2024/10/7,18,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,網(wǎng)絡(luò)信息系統(tǒng)NIS,客戶端：,在客戶節(jié)點(diǎn)上（,node1,到,node63,）運(yùn)行,setup,命令，然后在出現(xiàn)的對(duì)話框中選擇“,Authentication Configuration”,，選擇,NIS,，填入域名,PCCluster,以及服務(wù)器名,node0,；并在文件,/etc/passwd,中加入以下一行：,+,：,0,：,0,：,2024/10/7,19,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,Shell腳本,NIS：設(shè)置方便，但是采用客戶服務(wù)器模式，在應(yīng)用啟動(dòng)的時(shí)有可能產(chǎn)生瓶頸。,為了提高性能，我們可以采用Shell腳本的方式來完成同樣的工作。,例如，對(duì)用戶信息的管理，可以創(chuàng)建一個(gè)名為cluster_user的腳本，負(fù)責(zé)在其所在結(jié)點(diǎn)上創(chuàng)建新的用戶，而后再將相關(guān)的配置文件（/etc/passwd、/etc/groups）復(fù)制到機(jī)群系統(tǒng)中所有其它節(jié)點(diǎn)，這里要注意的一點(diǎn)是用戶的主目錄應(yīng)該建立在全局共享的分區(qū)中（NFS共享）。對(duì)其它的一些信息，比如/etc/hosts和/etc/host.equiv等文件可同樣處理。,2024/10/7,20,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,單一文件管理,NFS是一種Unix/Linux之間通過網(wǎng)絡(luò)共享文件的標(biāo)準(zhǔn)方式。使用NFS，就能夠透明的安裝和訪問網(wǎng)絡(luò)上遠(yuǎn)程主機(jī)的文件系統(tǒng)，將其安裝（mount）在本地的文件系統(tǒng)中，類似于Windows下的映射驅(qū)動(dòng)器。,示例機(jī)群：節(jié)點(diǎn)node0是服務(wù)器，把目錄/home和/Cluster進(jìn)行共享；節(jié)點(diǎn)node1到node63是客戶端，把服務(wù)器的/home和/Cluster安裝到自己的文件系統(tǒng)當(dāng)中。,2024/10/7,21,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,單一文件管理,服務(wù)器端：,(1),啟動(dòng)服務(wù)進(jìn)程：,NFS,服務(wù)器需要使用守護(hù)進(jìn)程,nfsd,和,mountd,，通過在目錄,/etc/rc.d/rc3.d,之下增加鏈接可以使系統(tǒng)在啟動(dòng)時(shí)自動(dòng)載入這兩個(gè)進(jìn)程：,node0,#cd/etc/rc.d/rc3.d,node0,#ln s./init.d/nfs S60nfs,2024/10/7,22,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,單一文件管理,(2),設(shè)置共享目錄：首先，在根目錄下建立目錄,/home,和,/Cluster,。,node0,#mkdir home,node0,#mkdir Cluster,然后，在文件,/etc/exports,當(dāng)中增加以下幾行。,/,home node1(rw),/Cluster node1(rw),/,home node63(rw),/Cluster node63(rw),這幾行的意思是將服務(wù)器上的,/home,和,/Cluster,目錄進(jìn)行共享，設(shè)置節(jié)點(diǎn),node1,到,node63,可以訪問，,rw,表示允許讀和寫（缺省為只讀）。這里要注意的一點(diǎn)是所有用到的主機(jī)名必須在文件,/etc/hosts,中給出,ip,地址，例如：,192.168.0.11node1,2024/10/7,23,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,單一文件管理,客戶端：,在文件,/etc/fstab,當(dāng)中加入兩行：,node0:/home/homenfs,node0:/Cluster/Clusternfs,當(dāng)然，相應(yīng)的要在文件,/etc/hosts,中給出主機(jī),node0,的,ip,地址：,192.168.0.10node0,這樣就完成了,NFS,在機(jī)群系統(tǒng)中的設(shè)置，以后所有用戶的主目錄都可以設(shè)置在,/home,中，所有可以共享安裝的軟件可以放在,/Cluster,中。,2024/10/7,24,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,單一作業(yè)管理系統(tǒng),用戶可以透明地從任一節(jié)點(diǎn)提交一項(xiàng)作業(yè)，作業(yè)可以調(diào)度為以批處理、交互或并行的模式運(yùn)行,用戶服務(wù)器、任務(wù)調(diào)度器、資源管理器,典型的作業(yè)管理系統(tǒng),PBS,（,Portable Batch System,）,LSF,（,Load Sharing Facility,）,Condor,JOSS,PBS,的安裝,2024/10/7,25,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,軟件的選擇與安裝,OS,的選擇,SSI,的構(gòu)建,編程環(huán)境的選擇,2024/10/7,26,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,編程環(huán)境的選擇,流行的編程軟件,MPI,、,OpenMP,、,HPF,MPICH,的安裝及配置,示例機(jī)群中構(gòu)建了單一映象系統(tǒng)。,64,個(gè)節(jié)點(diǎn)（,node0,到,node63,）中,node0,共享,./Cluster,目錄給所有其它節(jié)點(diǎn)。這樣只需將,MPICH,安裝在這個(gè)共享目錄中即可，即整個(gè)系統(tǒng)中只需安裝一次。,2024/10/7,27,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,MPICH的安裝,MPICH,是一個(gè)開放源碼的軟件，所以可以從網(wǎng)上免費(fèi)獲取它的源代碼。用戶可以直接從,MPICH,的主頁下載最新的軟件包，然后將它置于,/Cluster,目錄下。,使用如下命令解壓縮源代碼：,node0,#tar zxf,解壓縮后會(huì)生成一個(gè)名字為的目錄。,2024/10/7,28,現(xiàn)代密碼學(xué)理論與實(shí)踐之五,MPICH的安裝,進(jìn)入該目錄，并執(zhí)行位于該目錄下,configure,腳本，為下一步編譯源代碼進(jìn)行準(zhǔn)備。該配置腳本可以接受很多的參數(shù)（,Options,），通過運(yùn)行命令如下：,node0,#./configure help,可以獲取更詳細(xì)的參數(shù)信息。這里只列舉幾個(gè)最常用的參數(shù)：,-prefix,：指定,mpich,的安裝目錄。,-with-device,：指明所使用的通信系統(tǒng)類型。一般情況下我們使用,ch_p4,，它表示通常的,TCP/IP,通信系統(tǒng)。,-with-arch,：指明所使用的操作系統(tǒng)的類型。,運(yùn)行如下命令完成前