- 相關(guān)推薦
Hadoop并非完美:8個(gè)代替 HDFS 的絕佳方案
HDFS(Hadoop Distributed File System)是Hadoop項目的核心子項目,是分布式計算中數據存儲管理的基礎,坦白說(shuō)HDFS是一個(gè)不錯的分布式文件系統,它有很多的優(yōu)點(diǎn),但也存在有一些缺點(diǎn),包括:不適合低延遲數據訪(fǎng)問(wèn)、無(wú)法高效存儲大量小文件、不支持多用戶(hù)寫(xiě)入及任意修改文件。
Apache軟件基金會(huì )成立的時(shí)候,HDFS就一直在想辦法提高它的性能和可用性,坦白說(shuō),這也許對試點(diǎn)項目、非常規項目、要求不嚴格的大環(huán)境中比較適用,但是對于某些Hadoop用戶(hù)來(lái)說(shuō),他們對于性能、可用性、企業(yè)級特性有較高的要求,且注重直接附加存儲(DAS)架構,特別是老版本的Hadoop沒(méi)有高性能的主節點(diǎn),那么接下來(lái)8個(gè)產(chǎn)品就是代替HDFS的絕佳方案。
1.Cassandra(DataStax)
并非一個(gè)完全的文件系統,而是一個(gè)開(kāi)源、NoSQL 鍵值(key-value)商店。這給依靠快速數據訪(fǎng)問(wèn)的Web 應用多了一個(gè)HDFS選擇。簡(jiǎn)單來(lái)說(shuō)它把Hadoop融合在Cassandra里面,支持Web應用通過(guò)Hadoop快速訪(fǎng)問(wèn)數據, 而Hadoop可以快速訪(fǎng)問(wèn)流入Cassandra的數據。
2.Ceph
Ceph 是一個(gè)開(kāi)源、多管齊下的操作系統,因為其高性能并行文件系統的特性,有人甚至認為它是基于Hadoop環(huán)境下的HDFS的接班人,因為自2010年就有研究者在尋找這個(gè)特性。
3.Cleversafe:分散存儲網(wǎng)絡(luò )
本周一Cleversafe宣布將融合Hadoop的并行編程技術(shù)和自己的分散存貯網(wǎng)絡(luò )。其原理是通過(guò)把整個(gè)元數據分布在集群中(不是依靠單個(gè)主節點(diǎn)、不是依靠復制),Cleversafe表示這比HDFS更快、更穩定、更具擴展性。
4.GPFS(IBM)
IBM一直在向高性能要求的用戶(hù)銷(xiāo)售其并行文件系統,包括世界上最快的超級電腦,2010年它推出了基于Hadoop的GPFS, 并宣布GPFS不共享集群版本比Hadoop快多了,因為
它在內核級別中運行,而不是在操作系統中運行例如HDFS。
5.Isilon(EMC)
EMC提供Hadoop發(fā)行版已經(jīng)一年了,但2012年1月轉型為HDFS企業(yè)級別的新方案Isilon 的 OneFS文件系統。因為Isilon可以讀取 NFS, CIFS以及 HDFS 協(xié)議, 一個(gè)單獨的 Isilon NAS系統可以攝入、處理、分析數據。
6.Lustre
HPC存儲提供商Xyratex 增在2011年的一份報道中寫(xiě)到, 基于Lustre的集群會(huì )比基于HDFS的集群更快更便宜。
7. MapR文件系統
MapR 文件系統在業(yè)內已經(jīng)具有一定知名度了,不僅MapR宣布它自己的文件系統比HDFS快2-5倍(實(shí)際上有20倍),它還具有鏡像、快照、高性能這些企業(yè)用戶(hù)喜歡的特點(diǎn)。
8.NetAppHadoop開(kāi)放方案
NetApp重新改版了物理Hadoop結構:把HDFS放在磁盤(pán)陣列中,通過(guò)這樣來(lái)達到更快、更穩定、更安全的Hadoop工作。
[Hadoop并非完美:8個(gè)代替 HDFS 的絕佳方案]相關(guān)文章:
1.Hadoop并非完美:8個(gè)代替 HDFS 的絕佳方案
【Hadoop并非完美:8個(gè)代替 HDFS 的絕佳方案】相關(guān)文章:
其實(shí)并非這樣作文06-04
其實(shí)并非這樣作文5篇06-04
cpu散熱硅膠可以用什么代替05-24
我的完美哲學(xué)作文07-03
演講如何完美收尾04-27
完美戚風(fēng)的做法步驟02-10
我不是完美小孩作文07-01
澄粉是什么粉-澄粉可以用什么代替08-04
我的完美哲學(xué)作文3篇07-31