当前位置:首页 >> 计算机软件及应用 >>

分布式文件系统MFS、Ceph、GlusterFS、Lustre的比较


MooseFS(MFS) Ceph 多个MDS,不存在 Metadata server 单个MDS。存在 单点故障和瓶颈。 单点故障和瓶颈。 MDS可以扩展,不 元数据服务器 存在瓶颈。 FUSE 访问接口 支持 POSIX 支持 POSIX

GlusterFS 无,不存在单点故障。靠运行在各 个节点上的动态算法来代替 MDS,不需同步元数据,无硬盘 I/O瓶颈。 支持 POSIX Cluster Translators(GlusterFS集 群存储的核心)包括AFR、DHT分 布式哈希表和Stripe三种类型。

文件分布/数据分 布

文件被分片,每个 文件被分片,数据 数据块是一个对象 块保存在不同的存 。对象保存在不同 储服务器上。 的存储服务器上。

AFR相当于RAID1,每个文件都被 复制到多个存储节点上。Stripe相 当于RAID0,文件被分片,数据被 条带化到各个存储节点上。 Translators可以组合,即AFR和 stripe可以组成RAID10,实现高 性能和高可用。

冗余保护/副本

多副本

多副本

镜像

数据可靠性

由数据的多副本提 由数据的多副本提 供可靠性。 供可靠性。

由镜像提供可靠性。

备份 当节点失效时,自 动迁移数据、重新 复制副本。 可以增加元数据服 务器和存储节点。 容量可扩展。文件 操作性能可扩展。 元数据操作性能可 扩展。 当节点、硬件、磁盘、网络发生故 障时,系统会自动处理这些故障, 管理员不需介入。

故障恢复

手动恢复 增加存储服务器, 可以提高容量和文 件操作性能。但是 由于不能增加 MDS,因此元数 据操作性能不能提 高,是整个系统的 瓶颈。 简单 C

扩展性

容量可扩展。

安装/部署 开发语言

简单 C++

简单 C 适合大文件。

适合场景

大量小文件读写

小文件

适合场景

大量小文件读写

小文件

对于小文件,无元数据服务设计解 决了元数据的问题。但GlusterFS 并没有在I/O方面作优化,在存储 服务器底层文件系统上仍然是大量 小文件,本地文件系统元数据访问 是瓶颈,数据分布和并行性也无法 充分发挥作用。因此,GlusterFS 的小文件性能还存在很大优化空间 。 中型 较多用户使用 无元数据服务器,堆栈式架构(基 本功能模块可以进行堆栈式组合, 实现强大功能)。具有线性横向扩 展能力。 由于没有元数据服务器,因此增加 了客户端的负载,占用相当的CPU 和内存。 但遍历文件目录时,则实现较为复 杂和低效,需要搜索所有的存储节 点。因此不建议使用较深的路径。

产品级别 应用

小型 国内较多

中型 无

优缺点

不稳定,目前还在 实施简单,但是存 实验阶段,不适合 在单点故障。 于生产环境。

Lustre 双MDS(互相备份)。 MDS不可以扩展, 存在瓶颈。 支持 POSIX/MPI

可以把大文件分片并 以类似RAID0的方式 分散存储在多个存储 节点上。

无 由存储节点上的 RAID1或RAID5/6提 供可靠性。假如存储 节点失效,则数据不 可用。 提供备份工具。支持 远程备份。 无

可增加存储节点,提 高容量可文件操作性 能,但是由于不能增 加MDS,因此元数 据操作性能不能提 高,是整个系统的瓶 颈。 复杂。而且Lustre严 重依赖内核,需要重 新编译内核。 C

大文件读写

大文件读写

重型 HPC领域。

很成熟、很庞大。


赞助商链接
相关文章:
更多相关标签: