< Back

v3.0.0 版本正式发布

2022-04-22CubeFS

摘要

v3.0.0版本为适配更多的业务场景,推出以下关键特性:

  • 基于多级缓存的混合云加速,解决云上云下数据延迟问题
  • 提供低成本的在线纠删码存储引擎
  • 支持单副本存储,适配数据低耐久性需求的业务
  • 客户端支持热更新,升级时服务不中断
  • 性能优化,包括元数据节点迁移、大目录分页拉取、数据节点的内存池使用和Metric分级等方向
  • 工程使用go mod管理

版本链接地址:https://github.com/cubefs/cubefs/releases/tag/v3.0.0

架构调整

ar

3.0.0版本增加纠删码存储引擎,存储层提供多副本和纠删码的能力;并与历史版本兼容,可支持平滑更新到3.0.0版本

特性介绍

基于多级缓存的混合云加速

ar

存储系统基于数据冷热自动分层,用户可灵活配置卷策略,动态适应业务对成本及性能需求,为存储编排提供更多可能性

纠删码

纠删码子系统有以下优点:

  • 集群容量更大
  • 12个9s的耐久性更高
  • 更低的 TCO,将冗余从 3 倍降低到 1.33 倍或更少
  • 多可用区部署
  • 多规格可配置纠删码模式
  • 在线EC可避免数据迁移并节省存储空间

单副本

ar

单副本适用可靠性要求低的业务,比如spark remote shuffle。

用户可选择单副本到三副本,副本数量越少,存储成本与写入延迟越低。

客户端热更新

ar

客户端的热更新可保障业务访问连续性,尤其对AI训练或者大数据分析类型的长任务,不需要担心客户端升级带来的业务中断。

性能优化

  • 元数据节点迁移

通过减少快照处理关键路径上的系统调用,将千万级inode迁移时间降低至分钟级

  • 大目录分页拉取

通过分页拉取及超时重试机制,解决大目录单次拉取数据量过大、网络抖动易失败等问题

  • 数据节点的内存池使用

通过提高数据缓冲池的利用率,降低将近40%CPU使用率

  • Metric分级

通过索引分级策略,减少索引数据量,降低30%CPU使用率

后续版本计划

版本路标见:

https://github.com/CubeFS/CubeFS/blob/master/ROADMAP.md

3.1.0版本更新预告:

  • 纠删码(blobstore)代码仓库合入CubeFS
  • 新增QOS流量控制系统
  • 支持两副本
  • 优化数据迁移算法,提升稳定性

此外,感谢参与此版本设计、开发贡献的各位社区成员:

  • Xiaochun HE,https://github.com/xiaochunhe
  • Hongyan Wang,https://github.com/jadewang198510
  • Tianjiong Zhang ,https://github.com/tianjiongzhang
  • Shuoran Liu ,https://github.com/shuoranliu
  • Chi He,https://github.com/bboyCH4
  • Xiang Li ,https://github.com/lixiang
  • Liang Chang ,https://github.com/leonrayang
  • Xuewei Zeng,https://github.com/Victor1319
  • Yong Sheng ,https://github.com/shyodx
  • Zhengyi Zhu ,https://github.com/zhuzhengyi
  • Xiaobo Yu,https://github.com/cessory
  • Cloudstriff ,https://github.com/Cloudstriff
  • Zongchao Hu ,https://github.com/JasonHu520
  • Tianyue Peng ,https://github.com/pengtianyue025
  • Slasher ,https://github.com/sejust
  • Zhixiang Tang ,https://github.com/xiangcai1215