当前位置:首页 >> 计算机软件及应用 >>

分布式文件系统MFS、Ceph、GlusterFS、Lustre的比较


MooseFS(MFS) Ceph 多个MDS,不存在 Metadata server 单个MDS。存在 单点故障和瓶颈。 单点故障和瓶颈。 MDS可以扩展,不 元数据服务器 存在瓶颈。 FUSE 访问接口 支持 POSIX 支持 POSIX

GlusterFS 无,不存在单点故障。靠运行在各 个节点上的动态算法来代替 MDS,不需同步元数据,无硬盘 I/O瓶颈。 支持 POSIX Cluster Translators(GlusterFS集 群存储的核心)包括AFR、DHT分 布式哈希表和Stripe三种类型。

文件分布/数据分 布

文件被分片,每个 文件被分片,数据 数据块是一个对象 块保存在不同的存 。对象保存在不同 储服务器上。 的存储服务器上。

AFR相当于RAID1,每个文件都被 复制到多个存储节点上。Stripe相 当于RAID0,文件被分片,数据被 条带化到各个存储节点上。 Translators可以组合,即AFR和 stripe可以组成RAID10,实现高 性能和高可用。

冗余保护/副本

多副本

多副本

镜像

数据可靠性

由数据的多副本提 由数据的多副本提 供可靠性。 供可靠性。

由镜像提供可靠性。

备份 当节点失效时,自 动迁移数据、重新 复制副本。 可以增加元数据服 务器和存储节点。 容量可扩展。文件 操作性能可扩展。 元数据操作性能可 扩展。 当节点、硬件、磁盘、网络发生故 障时,系统会自动处理这些故障, 管理员不需介入。

故障恢复

手动恢复 增加存储服务器, 可以提高容量和文 件操作性能。但是 由于不能增加 MDS,因此元数 据操作性能不能提 高,是整个系统的 瓶颈。 简单 C

扩展性

容量可扩展。

安装/部署 开发语言

简单 C++

简单 C 适合大文件。

适合场景

大量小文件读写

小文件

适合场景

大量小文件读写

小文件

对于小文件,无元数据服务设计解 决了元数据的问题。但GlusterFS 并没有在I/O方面作优化,在存储 服务器底层文件系统上仍然是大量 小文件,本地文件系统元数据访问 是瓶颈,数据分布和并行性也无法 充分发挥作用。因此,GlusterFS 的小文件性能还存在很大优化空间 。 中型 较多用户使用 无元数据服务器,堆栈式架构(基 本功能模块可以进行堆栈式组合, 实现强大功能)。具有线性横向扩 展能力。 由于没有元数据服务器,因此增加 了客户端的负载,占用相当的CPU 和内存。 但遍历文件目录时,则实现较为复 杂和低效,需要搜索所有的存储节 点。因此不建议使用较深的路径。

产品级别 应用

小型 国内较多

中型 无

优缺点

不稳定,目前还在 实施简单,但是存 实验阶段,不适合 在单点故障。 于生产环境。

Lustre 双MDS(互相备份)。 MDS不可以扩展, 存在瓶颈。 支持 POSIX/MPI

可以把大文件分片并 以类似RAID0的方式 分散存储在多个存储 节点上。

无 由存储节点上的 RAID1或RAID5/6提 供可靠性。假如存储 节点失效,则数据不 可用。 提供备份工具。支持 远程备份。 无

可增加存储节点,提 高容量可文件操作性 能,但是由于不能增 加MDS,因此元数 据操作性能不能提 高,是整个系统的瓶 颈。 复杂。而且Lustre严 重依赖内核,需要重 新编译内核。 C

大文件读写

大文件读写

重型 HPC领域。

很成熟、很庞大。


相关文章:
分布式文件系统试用比较
适合做通用文件系统的有 MooseFS,GlusterFS,Lustre。 ...文件元信息 + mfsmount 很好用 + 编译依赖少,文档...Ceph (http://ceph.newdream.net/) - 开发初期,...
开源分布式文件系统比较
第一:CEPH 网上搜索了一些资料, 开源分布式文件系统...第二:glusterfs 网上说 glusterfs 比较不错, 稳定,...第六:Lustre 本来还对这个分布式文件系统抱有无限的...
MFS安装维护文档v1
MFS 文档 20140902 目前开源的几种分布式文件系统 1...官方说法是 glusterfsd 需要创建不同属主的文件,...Ceph (http://ceph.newdream.net/) - 开发初期,...
常见的分布式文件系统
常见的分布式文件系统有,GFS、HDFS、LustreCeph 、GridFS 、mogileFS、TFS、 FastDFS 等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应 用...
MFS文档
分布式文件系统 1、 MooseFS 易用,稳定,对小文件很...官方说法是 glusterfsd 需要创建不同属主的文件,...Ceph (http://ceph.newdream.net/) - 开发初期,...
GlusterFS-Lustre-MooseFS实践总结
//www.cooje.com/ GlusterFS/Lustre/MooseFS 实践...GlusterFS 是一款比较成熟稳定的开源分布式文件系统,其...Ceph 是一款比较年轻的开源分布式文件系统,使用 C ...
GlusterFS分布式集群文件系统安装、配置及性能测试
GlusterFS分布式集群文件系统安装、配置及性能测试_IT/计算机_专业资料。GlusterFS ...MFS分布式文件系统安装配... 11页 1下载券 PDA系统安装配置文档 10页 免费 ...
更多相关标签: