亚洲最新永久观看在线,亚洲澳门在线高清无码,欧美suv日韩在线观看,国产一区二区精品久久

行業資訊

什么是2023年最新分布式存儲技術?
2023-05-04 16:34:56
閱讀()
來源:互聯數據
摘要: ? ? 分布式存儲系統(Distributed Storage System,DSS),也指分布式文件系統(Distributed File System,DFS)。分布式存儲,從原理上講,是將數據文件分散地存儲到集群服務器上,而構建集群的服務器往往由低成本的

分布式存儲系統(Distributed Storage System,DSS),也指分布式文件系統(Distributed File System,DFS)。分布式存儲,從原理上講,是將數據文件分散地存儲到集群服務器上,而構建集群的服務器往往由低成本的商用硬件組成。用戶利用系統提供的接口方便、快捷地訪問存儲系統,系統內部通過軟件和硬件共同協作完成用戶操作指令。


一、分布式存儲技術


(1) 分布式存儲技術


①分布式 連接存儲(Network Attached Storage,NAS)


NAS主要組件包括NAS頭和存儲陣列,NAS頭主要由四個部分組成,包括 *** 接口、 文件共享協議、 專用的操作系統以及底層的存儲接口。存儲可以位于NAS內部,也可以獨立于NAS作為單獨的存儲陣列存在。客戶端用戶可以通過專有的文件共享協議,如Windows用戶可以利用CIFS協議、Unix用戶利用NFS協議,經過普適的IP *** 訪問NAS設備上的存儲資源。NAS頭部在接收到用戶的文件訪問I/O后,通過其內部專用的操作系統將其轉換為數據塊I/O,并結合操作系統記錄的文件位置,進行文件的存取工作。


優點:提高傳統存儲環境的擴展性,并且整合服務器和存儲資源以進行統一管理,簡化管理任務

缺點:無法滿足高性能要求,不適合于對存儲介質進行復雜操作的任務

什么是分布式存儲技術?

②存儲區域 *** (Storage Area Network,SAN)


根據數據在服務器和存儲設備之間傳輸協議的不同,SAN主要分為光纖通道SAN和IP SAN兩種類型,SAN主要由服務器、 存儲設備以及 *** 連接三部分構成。服務器通過 *** 連接和常見的串行SCSI協議FCP(Fiber Channel Protocol),來遠程訪問存儲設備上的數據資源。SAN將應用與存儲分離,在降低了應用存儲耦合的基礎上,分離了兩者的管理工作。在光纖通道SAN中,服務器與存儲設備的連接渠道包括集線器,交換機和導向器,通過專門搭建的基于光纖通道的 *** ,能夠實現數據的穩定、高速傳輸。而在IP SAN中,數據傳輸的渠道是通用的IP *** ,可以利用現有的 *** 連接迅速構建簡易的IP SAN,方便靈活。


優缺點:基于光纖通道的SAN由于需要搭建專用的 *** ,成本高昂,維護難度較大,并且性能也與現有IP SAN相差無幾,無法體現出自身的性能優勢;而IP SAN受限于傳統IP *** 的性能和穩定性,無法達到光纖通道SAN的高速、穩定的特性。


(2)分布式文件系統


①Google File System(GFS)

GFS是Google公司云計算基礎設施中負責分布式數據管理的重要子系統,是一個面向大規模分布式環境的、 高可用、 高可靠、 高可擴展性的分布式文件系統,用于對大量數據的存儲和管理。


②Hadoop File System(HDFS)

GFS源于Google公司自身的業務和應用服務要求,其具體的工程實現細節并未完全公布。研究人員根據GFS論文的核心設計思想,在Amazon、Yahoo 等IT 巨擘的牽頭下,設計了一種新的面向分布式環境、高可靠性、高性能的分布式文件系統HDFS。該文件系統最初是作為Apache Nutch搜索引擎工程的底層基礎架構而研發的,屬于Apache Hadoop Core項目的重要組成部分,主要用于數據的分布式存儲以及計算任務。


③Ceph

Ceph是一種新的、開源分布式文件系統,是Sage Weil在加州大學圣克魯茲分校攻博期間負責的關于存儲研究的項目,用于面向高性能、高可靠性、大規模的分布式環境。Ceph的生態系統包括四個組成部分,它們是客戶端(Client)、元數據服務器(Metadata server cluster)、對象存儲集群(Object storage cluster)和集群監視器(Cluster monitors),目前Ceph已經被用于實際生產環境中,許多大型IT及互聯網公司,如華為、沃爾瑪、Bloomberg、AT&T,eBay等均將Ceph用于其分布式文件系統以及存儲系統的構建。


(3)P2P存儲技術

在P2P存儲中,所有節點地位均等,既可以是客戶機,也可以是服務器。每個節點可以同時提供存儲服務和訪問其他節點的存儲服務,打破了節點角色的壁壘,充分利用了節點自身的存儲和計算資源。現有P2P存儲技術主要包括OceanStore、PAST、CFS、Dynamo。


(4)新型存儲技術


①基于對象的存儲(Object-based Storage Devices,OSD)

OSD系統通常由三個組件構成,它們分別是OSD節點、 內部私有 *** 以及存儲系統。OSD節點主要負責元數據服務和存儲服務,不僅如此,它還負責維護對象ID與文件系統域名空間的映射關系。內部 *** 保證了節點與存儲系統、多節點之間的互聯互通。存儲系統通常由廉價、高密度磁盤組成,用于存儲對象。


②統一存儲

一個統一存儲系統主要包括底層存儲系統、存儲控制器、NAS機頭、OSD節點以及相應的訪問協議。存儲控制器可以通過iSCSI、FC和FCoE協議,為應用服務器提供基于塊級的數據存儲和訪問。NAS機頭通過CIFS和NFS協議,可以為NAS 用戶提供文件級的存儲和訪問服務。OSD節點通過REST和SOAP協議,以及對應的API為應用服務器提供對象級別的訪問服務。應用服務器或者用戶無需知曉底層實現細節,只需要根據數據訪問的粒度,選擇合適的協議就可以在統一存儲的平臺中進行數據的讀寫,方便快捷。現有的統一存儲產品,如EMC VNX、Huawei OceanStor T系列,已經能夠為企業級用戶提供統一存儲的服務。


二、分布式存儲與傳統存儲的區別


(1)高性能,每個節點服務器都具有單獨的處理數據請求的能力,集群中所有節點并行執行不同的處理請求,每當有新的節點加入集群,總資源池都會得到增長,系統性能得到提升

(2)高可靠性,能夠有效避免SPoF問題的出現,當系統中某一節點服務器出現宕機或者其他故障時,系統服務不受影響

(3)低成本,能夠很大程度地減少建立基礎設施的成本,同時數據管理的成本也會有效減少

(4)高擴展性,可以通過更多的添加服務器節點實現系統的水平擴展,從而線性地提高系統總體容量與性能,并減輕對特定設備的依賴

0

上一篇:2023年,歐洲網絡服務器還安全嗎?
下一篇:超融合基礎架構部署是什么意思?
HKT4為您的網站提供全球IDC資源
立即免費測試