《《分布式文件系統(tǒng)》PPT課件.ppt》由會員分享，可在線閱讀，更多相關《《分布式文件系統(tǒng)》PPT課件.ppt（59頁珍藏版）》請在裝配圖網上搜索。

第九章分布式文件系統(tǒng),主講：陳志剛教授,2,2020/6/7,中南大學,9.1分布式文件系統(tǒng)的特點和基本要求,分布式文件系統(tǒng)的特點為整個網絡上的文件系統(tǒng)資源提供了一個邏輯樹結構，用戶可以拋開文件的實際物理位置，僅通過一定的邏輯關系就可以查找和訪問網絡的共享資源。用戶能夠像訪問本地文件一樣，訪問分布在網絡中多個服務器上的文件。分布式文件系統(tǒng)的顧客、服務員和存儲設備分散在各機器上，服務活動必須跨網完成。存儲設備不是單一的集中數據存儲器。分布式文件系統(tǒng)的具體配置和實現可以有很大的不同，有的服務員運行在專用的服務器上，有的機器既是服務員又是顧客。,3,2020/6/7,中南大學,9.1分布式文件系統(tǒng)的特點和基本要求,分布式文件系統(tǒng)的基本要求透明性位置透明性：服務員和存儲器的多重性和分散性對顧客透明。移動透明性：用戶意識不到資源的移動。性能透明性：當服務負載在一定范圍內變化時，客戶程序可以保持滿意的性能。擴展透明性：文件服務可以擴充，以滿足負載和網絡規(guī)模的增長。性能分布式文件系統(tǒng)比常規(guī)文件系統(tǒng)類似（有時更好）的性能和可靠性,4,2020/6/7,中南大學,容錯為了處理暫時的通信錯誤，容錯設計可以基于最多一次性語義無狀態(tài)的服務器:崩潰重啟時不需恢復安全性身份驗證，訪問控制，安全通道效率：應提供比傳統(tǒng)文件系統(tǒng)相同或更強的性能和可靠性,9.1分布式文件系統(tǒng)的特點和基本要求,5,2020/6/7,中南大學,9.2分布式文件系統(tǒng)中的命名,命名方案分布式文件系統(tǒng)中名字透明和位置透明：數據和位置分離為文件提供一個較好的抽象名字透明給用戶共享數據提供了一個簡便方法位置透明把命名結構從存儲器結構和服務員見的結構分開,6,2020/6/7,中南大學,9.2分布式文件系統(tǒng)中的命名,命名方案分布式文件系統(tǒng)中用于文件和目錄命名的方法有以下常見的3種：主機名+文件本地名，如/machine/path，它能保證唯一的系統(tǒng)范圍內的名字將遠程文件目錄附加到本地名字空間中把所有個部分文件系統(tǒng)全部集成組合成一個在所有機器上看上去都一樣的單個名字空間,7,2020/6/7,中南大學,9.2分布式文件系統(tǒng)中的命名,命名的實現技術常用的命名實現技術有：路徑名翻譯。正文名字到底層標識符的變換典型地都使用常規(guī)UNIX中的方法，即遞歸查找(recursivelookup)程序。,8,2020/6/7,中南大學,9.2分布式文件系統(tǒng)中的命名,命名的實現技術常用的命名實現技術有：有結構的標識符。實現透明的命名需要提供文件名到其位置的變換機制。提示(hint)。這是用于位置變換的另一個方法。一個提示是一份信息，能提高性能，如果它不正確也不會引起任何語義上的副作用。安裝機制。為了創(chuàng)建一個全局名字結構而把遠程文件系統(tǒng)連接起來，通常使用安裝機制。,9,2020/6/7,中南大學,9.3共享語義,共享語義是評價分布式文件系統(tǒng)允許多個顧客共享文件的重要標準。它說明分布式文件系統(tǒng)的這樣一個特性，即多個顧客同時訪問共享文件的效果。特別是，這些語義應當說明被顧客修改的數據何時可以被遠程顧客看到。在分布式系統(tǒng)中處理共享文件的四種方法,10,2020/6/7,中南大學,9.4緩存,文件的遠程訪問方法文件的遠程訪問方法有2種：遠程服務在遠程服務方法中，顧客把訪問請求傳送給服務員，服務員執(zhí)行訪問，結果回送給顧客。訪問請求被變換成對服務員的報文，服務員的回答也打包成報文回送給顧客。緩存如果請求的數據不在本地，則從服務員處取來那些數據的復制件給顧客。通常取來的數據量比實際請求的要多得多，例如整個文件或幾個頁面，所以隨后的訪問可在顧客所在地的本地副本中進行。,11,2020/6/7,中南大學,9.4緩存,文件的遠程訪問方法緩存方案的設計需要考慮的問題：緩存的單位問題存儲部分文件的位置如何決定各個顧客緩存中的數據是否一致,12,2020/6/7,中南大學,9.4緩存,緩存的粒度和地點緩存的粒度：如果數據單元(即粒度)愈大，則下次訪問的數據在顧客方的本地找到的可能性愈大，但傳送數據的時間和一致性問題也增加了。反之，粒度太小，通信的開銷也隨之增加。緩存的地點在一個各自有主存和磁盤的客戶-服務器系統(tǒng)中，有四個地方可以用來存儲文件或存儲部分文件：服務器磁盤、服務器主存、客戶磁盤（如果可用的話）或者客戶主存。,13,2020/6/7,中南大學,9.4緩存,緩存的粒度和地點存儲所有文件最直接的地方是在服務器磁盤上，使用磁盤緩存具有可靠性的優(yōu)點。但是使用主存作緩存器也有若干優(yōu)點。首先，它可支持無盤工作站；其次，從主存緩存器中訪問數據要比從磁盤緩沖器中訪問數據要快；第三，服務員緩存器(用于加速磁盤輸入輸出操作)是設在主存中，如果顧客緩存器也使用主存，就可以構造一個單一的緩存機構，服務員和顧客均可使用。兩種緩存地點強調的功能不一樣，主存緩存器主要減少訪問時間，磁盤緩存器主要提高可靠性和單個機器的自治性。,14,2020/6/7,中南大學,9.4緩存,更新策略、緩存有效性檢驗和一致性,15,2020/6/7,中南大學,9.4緩存,更新策略、緩存有效性檢驗和一致性判定本地緩存的數據副本是否與原本一致，有兩個基本方法驗證其有效性：顧客發(fā)動的方法。顧客與服務員聯系，檢查本地數據與原本是否一致。這個方法的關鍵是有效性檢驗的頻度。服務員發(fā)動的方法。服務員為每個顧客登記被該顧客緩存的文件或文件的某個部分。當服務員檢測出可能不一致時，必須做出反應。服務員發(fā)動方法的一個問題是違背顧客/服務員模型,16,2020/6/7,中南大學,9.4緩存,緩存和遠程服務的比較兩種方法的優(yōu)缺點：選擇緩存還是遠程服務的問題本質上是選擇改進性能的潛力還是選擇簡單性的問題。使用緩存時，大量的遠程訪問可由本地的緩存器有效地處理，大多數遠程訪問獲得的服務速度和本地的一樣快。使用緩存時，服務員負載和網絡通信量都減少了，擴充能力加強了。而在使用遠程服務方法時，每次遠程訪問都是跨過網絡處理的，明顯增加了網絡通信量和服務員負載，引起性能下降。緩存時，傳輸大批數據的全部網絡開銷低于遠程服務時傳輸一系列對具體請求的短的回答的網絡開銷。,17,2020/6/7,中南大學,9.4緩存,緩存和遠程服務的比較緩存方案的主要缺點是一致性問題。在不經常寫的訪問模式中，緩存方法是優(yōu)越的；但在有經常寫的情況下，用于解決一致性問題的機制在性能、網絡通信量和服務員負載方面產生重大開銷。在用緩存作為遠程訪問方法的系統(tǒng)中，仿真集中式系統(tǒng)的共享語義是很困難的。使用遠程服務時，服務員將所有訪問串行化，因此能夠實現任何集中的共享語義。遠程服務風范僅僅是本地文件系統(tǒng)接口在網絡上的擴充。這樣，機間接口是本地顧客和文件系統(tǒng)之間的接口的映射。,18,2020/6/7,中南大學,9.5容錯和可擴充性,無狀態(tài)服務和有狀態(tài)服務文件、目錄和其他的服務器是否應該保留客戶的狀態(tài)信息。存在兩種派別思想的對抗：當一個服務員在為其顧客請求進行服務的時候，如果它保存其顧客的有關信息時，稱該服務員是有狀態(tài)的(stateful)。如果服務員在為其顧客請求進行服務的時候不保存該顧客的任何信息，就稱該服務員是無狀態(tài)的(stateless)。,19,2020/6/7,中南大學,9.5容錯和可擴充性,無狀態(tài)服務和有狀態(tài)服務比較,20,2020/6/7,中南大學,9.5容錯和可擴充性,可用性與文件復制可恢復性：當對某個文件的操作失敗，或由顧客夭折此操作時，如果文件能轉換到原來的一致狀態(tài)，則說此文件是可恢復的。堅定性：如果當某個存儲器崩潰和存儲介質損壞時某個文件能保證完好，則說此文件是堅定的?？捎眯裕喝绻麩o論何時一旦需要就可訪問，甚至在某個機器和存儲器崩潰，或者在發(fā)生通信失效的情況下，某個文件仍然可被訪問，則這種文件叫做是可用的。,21,2020/6/7,中南大學,9.5容錯和可擴充性,可用性與文件復制文件復制：文件復制是一個冗余措施。這里指的是不同機器上的文件復制，而不是同一機器上不同介質上的文件復制(如鏡像磁盤)。文件復制的原因通過對每個文件的獨立備份來增加系統(tǒng)的可靠性。當一個文件服務器出現問題時，仍允許進行文件訪問；將工作量分配到多個服務器上，避免運行性能上的瓶頸。,22,2020/6/7,中南大學,9.5容錯和可擴充性,可用性與文件復制用戶需要了解文件復制到何種程度嗎？在文件復制進程中需要達到什么要求呢？文件復制的要求：應對用戶隱匿復制細節(jié)。把一份復制件名字變換成指定的復制件是命名方案的任務。與復制件有關的主要問題是它們的更新。從用戶觀點看，文件的所有復制品代表同一邏輯實體，所以對任何復制件的更新必須反映到所有其他復制件。大多數情況下，不能放棄文件數據的一致性，因此使用復制來增加可用性時還要使用復雜的更新傳播協(xié)議。,23,2020/6/7,中南大學,9.5容錯和可擴充性,可擴充性設計大規(guī)模系統(tǒng)要考慮的問題：首先是有界資源(boundedresources)原理：“從系統(tǒng)的任何部分來的服務要求應該限于一個常數，此常數和系統(tǒng)中的節(jié)點數無關”。負載和系統(tǒng)規(guī)模成比例的任何服務員，一旦系統(tǒng)擴充到超過某一范圍則必然阻塞，再增加資源也緩解不了這個問題。廣播是一種使網絡中的每個機器都參加的活動。在廣播基礎上建立的機構對超大型系統(tǒng)很明顯不實際。網絡擁擠和延遲是大規(guī)模系統(tǒng)的主要障礙。使用緩存和實施放松的共享語義，使跨機器的交互作用最少。,24,2020/6/7,中南大學,9.5容錯和可擴充性,可擴充性設計大規(guī)模系統(tǒng)要考慮的問題：不應當使用集中控制方案和集中的資源建立可擴充的和容錯的系統(tǒng)。分散化的一個重要方面是系統(tǒng)的管理。分配管理職責時，應有利于自治性和對稱性，不干擾分布式系統(tǒng)的連貫性和一致性。將系統(tǒng)劃分為若干半自治的小組。每個小組包括一些機器和一個專用的小組服務員。為了盡量減少跨越小組的文件訪問，大多數時間，每個機器的請求應由其小組服務員滿足。,25,2020/6/7,中南大學,9.5容錯和可擴充性,用線程實現文件服務員單個進程服務員的缺點在于一旦有一個請求需要磁盤輸入輸出時，整個服務將被推遲到輸入輸出完成為止。每個顧客分配一個服務進程將導致CPU完成進程切換付出很大代價。使用線程服務員，同一個進程里的多個線程之間只有很少的非共享狀態(tài)。線程的切換和線程的創(chuàng)建比起進程的切換和進程的創(chuàng)建要便宜得多。使用線程方案實現服務的優(yōu)點有：一是一個輸入輸出請求僅推遲一個線程而不是整個服務；二是容易實現諸線程共享數據結構。,26,2020/6/7,中南大學,9.6安全性,分布式文件系統(tǒng)的安全性還包括保護和加密兩個方面：保護方面：文件系統(tǒng)中的每個文件有一張小表格和文件相聯系，在UNIX文件系統(tǒng)中，這個小表格稱為inode，記錄文件的所有者和分配的磁盤塊。每個用戶有一個用戶標識符(UID)來訪問文件。為了訪問遠程文件，有四種方法：所有遠程用戶想要訪問處理機A上的文件，應該首先用A的本地用戶名登錄到A。,27,2020/6/7,中南大學,9.6安全性,任何用戶可以不登錄而訪問任何處理機上的文件，除了具有對應于來賓(guest)或者其他公共訪問名的UID的遠程用戶。操作系統(tǒng)提供UID間的映射，使本地處理機上UID為a的用戶可以用它在遠程處理機上的UIDb來訪問遠程處理機。分布式系統(tǒng)設計中，每個用戶應當有一個確定且唯一的UID，這個UID在任何處理機上有效而且不需要映射。,28,2020/6/7,中南大學,9.6安全性,加密：主要作用是防止未經授權的數據發(fā)布和數據修改。這一機制的關鍵是協(xié)議的握手類型，每一方都要證明自己的身份。當前，多數系統(tǒng)使用下列兩種不同的方法之一：一個認證服務器，它物理上安全地維護一個用戶口令列表。SUN公司的網絡文件系統(tǒng)(NFS)使用的公共密鑰機制，維護一個以用戶口令加密后的確認密鑰的公共可讀數據庫。,29,2020/6/7,中南大學,9.7SUN網絡文件系統(tǒng),NFS概述通信服務員命名緩存和復制容錯性安全性,30,2020/6/7,中南大學,NFS概述NFS(NetworkFileSystem)是一種分布式文件系統(tǒng)，允許網絡中的安裝不同操作系統(tǒng)的計算機間共享文件和外設。它是由SUN公司于1984年推出，使得可以像使用本地機一樣地使用另一臺聯網計算機的文件和外設。NFS的基本思想是讓任意組合的客戶機和服務器共享一個公共的文件系統(tǒng)。NFS服務器輸出目錄，而客戶機安裝目錄。,9.7SUN網絡文件系統(tǒng),31,2020/6/7,中南大學,9.7SUN網絡文件系統(tǒng),NFS的實現分為3層：頂層是系統(tǒng)調用層，處理open、read、close等調用；第二層虛擬文件系統(tǒng)(VFS)，解析調用參數并檢查錯誤；第三層本地操作系統(tǒng)，翻譯和準備VFS相應部分的調用。,32,2020/6/7,中南大學,9.7SUN網絡文件系統(tǒng),33,2020/6/7,中南大學,9.7SUN網絡文件系統(tǒng),NFS文件系統(tǒng)模型與UNIX系統(tǒng)提供的文件系統(tǒng)模型很類似文件是字節(jié)流，層次化組織在命名圖中每個文件有文件句柄支持硬連接和符號鏈接,34,2020/6/7,中南大學,NFS支持的文件系統(tǒng)操作的不完全列表.,35,2020/6/7,中南大學,NFS中的通信NFS協(xié)議建立于RPC層之上，RPC層隱藏了不同操作系統(tǒng)及不同網絡之間的差別。NFSv3一個請求對應一個RPC，而NFSv4多個請求可以對應一個RPC。前一種方案中，如果將NFS運行在廣域網中，兩個以上遠程過程調用產生的延遲會導致性能的下降。后一種方案中，將多個遠程過程調用組織到一個單一的請求中，成為一個復合過程。NFSv4的復合過程很明顯可以減小延遲并且減少網絡中的信息傳輸。,9.7SUN網絡文件系統(tǒng),36,2020/6/7,中南大學,NFS中的通信每個NFS操作都可以被實現為文件服務器的單一遠程過程調用RPC，可以通過支持復合過程來提高性能，復合過程并不包含事務處理語義,9.7SUN網絡文件系統(tǒng),在NFSversion3中從文件讀取數據在NFSversion4中使用復合過程從文件讀取數據,37,2020/6/7,中南大學,9.5容錯和可擴充性,NFS服務員在NFSversion3中NFS協(xié)議是無狀態(tài)的，服務器不必保持關于它的客戶端的任何協(xié)議狀態(tài)信息。優(yōu)點是簡單，在失敗的事件發(fā)生時，不需要進入回到原先狀態(tài)的恢復階段。缺點是客戶端得不到任何關于請求是否執(zhí)行的保證。在NFSversion4中NFS采用有狀態(tài)方案的原因：無狀態(tài)的模型難以實現文件鎖某些身份驗證需要服務器保留客戶的狀態(tài)需要高速緩存協(xié)議，這些協(xié)議與保留客戶文件信息的服務器合作的最好（如租用）,38,2020/6/7,中南大學,9.7SUN網絡文件系統(tǒng),NFS中的命名NFS命名模型為客戶提供完全透明的訪問由服務器保存的遠程文件系統(tǒng)的機制,NFS中裝入（部分）遠程文件系統(tǒng).,39,2020/6/7,中南大學,9.7SUN網絡文件系統(tǒng),NFS中從多個服務器裝入嵌套目錄,40,2020/6/7,中南大學,NFS中的命名文件句柄(handle)：文件句柄：文件句柄是文件系統(tǒng)本身用來標識一個文件的，一個文件只有一個文件句柄。只要這個文件存在，它就一直存在。文件句柄的不變特性使得顧客能夠使用名字查找該文件并在本地保存文件的文件句柄。顧客在本地保存所訪問文件的文件句柄好處：第一個好處是能夠改善性能，對文件進行一系列操作時，可以通過文件句柄對文件進行操作而不是通過名字，這樣避免了對文件的每一個訪問操作都要通過名字查找文件；另一個好處是對一個文件的訪問可以不依賴于它當前的名字。,9.7SUN網絡文件系統(tǒng),41,2020/6/7,中南大學,NFS中的命名文件句柄(handle)：NFSv3中，顧客可以實際地安裝一個遠程文件系統(tǒng)，安裝完成后，被安裝的遠程文件系統(tǒng)的根文件句柄被傳遞給顧客，這個根文件句柄就作為查找遠程文件的起點。在NFSv4中，通過一個特殊的操作putrootfh告訴服務員對某個文件系統(tǒng)的根進行解析獲得其文件句柄，從這個根文件句柄開始，就可以得到對應文件系統(tǒng)中的所有文件的文件句柄。這種方案的好處是不需要一個獨立的安裝協(xié)議，當一個顧客要求服務員對其上的某個文件系統(tǒng)的根對應的名字進行解析時，該文件系統(tǒng)就在顧客方安裝了。,9.7SUN網絡文件系統(tǒng),42,2020/6/7,中南大學,NFS中的命名文件參數：一個NFS文件有一系列參數與其相對應。在NFSv3中，參數數目是固定的，每個NFS都期望支持這些參數。在NFSv4中，文件參數被分成三組：第一組是強制性的參數，所有的NFS實現必須支持這些參數；第二組是推薦參數，這組參數應該盡量得到支持；第三組參數是只被命名的參數，只被命名的參數隨文件一起存儲，NFS提供一些操作對這些參數進行讀和寫，然而這些參數和其對應的值的意義完全留給應用程序去解釋。,9.7SUN網絡文件系統(tǒng),43,2020/6/7,中南大學,NFS中的命名NFS中的強制文件參數,9.7SUN網絡文件系統(tǒng),44,2020/6/7,中南大學,9.7SUN網絡文件系統(tǒng),NFS中的命名NFS中的推薦文件參數,45,2020/6/7,中南大學,9.7SUN網絡文件系統(tǒng),NFS中的文件封鎖分布式文件系統(tǒng)中的文件一般來說需要被多個顧客共享，文件的共享需要有一致性的同步機構。在NFSv4以前的版本中，文件封鎖是由一個附加的獨立協(xié)議處理的，在NFS協(xié)議之外提供了一個有狀態(tài)的鎖管理員。在NFSv4中，文件封鎖被集成到NFS的文件訪問協(xié)議中，顧客使用這種封鎖機制要比使用NFSv3中的封鎖機制要簡單。,46,2020/6/7,中南大學,9.7SUN網絡文件系統(tǒng),NFS中的文件封鎖NFSversion4上關于文件鎖定的操作,47,2020/6/7,中南大學,緩存和復制讀操作緩存和寫操作緩存（實現會話語義）同一機器上的多客戶可以共享一個高速緩存,9.7SUN網絡文件系統(tǒng),48,2020/6/7,中南大學,緩存和復制NFSv4的兩種緩存方案：簡單方案和委派方案簡單方案：當顧客打開一個文件時，就將該文件的數據取到本地的緩存中，然后對該文件的讀和寫操作就在該緩存中進行。當關閉該文件時，緩存中被修改過的數據要被傳回給文件服務員，對文件服務員上文件的原本進行刷新。委派方案：允許NFS服務員將它的一部分權力委派給顧客。服務員在隨后能夠對其委派出的權利進行收回。,9.7SUN網絡文件系統(tǒng),49,2020/6/7,中南大學,緩存和復制,9.7SUN網絡文件系統(tǒng),使用NFSversion4回調機制撤銷文件委派,50,2020/6/7,中南大學,緩存和復制復制：NFSv4最低限度地支持了文件復制，在NFSv4中，復制的單位是整個文件系統(tǒng)。文件復制是以參數FS_LOCATIONS的形式得到支持的，每個文件有一個參數FS_LOCATIONS，這個參數指出了包含此文件的文件系統(tǒng)在哪些地方有副本，該參數的值是一個位置表，表中的每個位置是一個DNS名字或者是一個IP地址。文件復制由特定的NFS實現提供實際的支持，NFSv4并未規(guī)定怎樣實現文件復制。,9.7SUN網絡文件系統(tǒng),51,2020/6/7,中南大學,NFS中的容錯,9.7SUN網絡文件系統(tǒng),處理重傳的三種情況請求正在處理剛返回響應早已返回響應，但響應丟失,52,2020/6/7,中南大學,NFS中的容錯出現故障的文件封鎖顧客失效：在期限到達之前執(zhí)行renew操作要考慮時鐘同步消息的可靠性服務員失效：在NFSv4中，進入寬限期，服務員只接收來自顧客的重新聲明的請求，拒絕普通的申請鎖的請求。,9.7SUN網絡文件系統(tǒng),53,2020/6/7,中南大學,NFS中的容錯出現故障的打開委派顧客失效：文件修改可能丟失，顧客只部分地負責文件恢復。服務員失效：恢復時要求顧客返回修改，撤銷委派服務員的文件是最新修改的服務員再次完全控制了文件，可以將文件委派給其他用戶,9.7SUN網絡文件系統(tǒng),54,2020/6/7,中南大學,NFS的安全性NFS的安全性主要表現在兩個方面：一方面是通信的安全性，另一方面是服務員需要驗證顧客的訪問權限。在NFSversion4之前只支持身份驗證：系統(tǒng)身份驗證：客戶向服務器以明文發(fā)送用戶ID、組ID，服務器假設客戶已通過登錄過程，且信任客戶所在的機器。安全NFS：使用Diffie-Hellman方法建立共享會話密鑰；密鑰太短(192位)Kerberos協(xié)議,9.7SUN網絡文件系統(tǒng),55,2020/6/7,中南大學,NFS的安全性在NFSv4中實現驗證機制的方法：安全的RPCNFSversion4支持通用的安全框架RPCSEC_GSSRPCSEC_GSS不僅支持不同的身份驗證系統(tǒng)，而且支持消息的機密性和完整性NFS安全設計為不僅支持自己的安全性機制，而且支持處理安全性的標準方法,9.7SUN網絡文件系統(tǒng),56,2020/6/7,中南大學,NFS的安全性,9.7SUN網絡文件系統(tǒng),NFSversion4中的安全RPC,9.7SUN網絡文件系統(tǒng),NFS訪問控制的操作分類,58,2020/6/7,中南大學,9.7SUN網絡文件系統(tǒng),NFS中關于訪問控制的各種用戶和進程,59,2020/6/7,中南大學,9.8其他的分布式文件系統(tǒng)及其比較,