云原生的分布式非结构化数据存储

CubeFS 是一款新一代云原生开源存储系统，支持 S3、HDFS 和 POSIX 等访问协议。它广泛适用于各种场景，如大数据、AI/LLMs、容器平台、数据库和中间件的存储与计算分离、数据共享和保护等。

开始下载

Github

CubeFS关键特性

多协议

兼容S3、POSIX、HDFS等多种访问协议，协议间访问可互通

双引擎

支持多副本及纠删码两种引擎，用户可以根据业务场景灵活选择

多租户

支持多租户管理，提供细粒度的租户隔离策略

可扩展

可以轻松构建PB或者EB级规模的分布式存储服务，各模块可水平扩展

高性能

支持多级缓存，多种高性能的复制协议，针对小文件特定性能优化

云原生

基于CSI插件可以快速地在Kubernetes上使用CubeFS

CubeFS部署

CubeFS已经开发了一个CSI插件，以支持在Kubernetes集群中使用云存储。

CubeFS应用场景

CubeFS作为云原生存储基础设施，广泛应用于大数据存储、机器学习平台、大规模容器平台、数据库及中间件存算分离，数据共享与保护等各类场景。

CubeFS搭建高可靠、高可用、低成本、支持 EB 规模的独立键值存储系统

随着数据规模持续增长，业务面临着更大的成本挑战，为了缓解多副本模式带来的存储成本压力，CubeFS 推出纠删码子系统（又称 BlobStore），是一个高可靠、高可用、低成本、支持 EB 规模的独立键值存储系统。

与CubeFS共创未来：BIGO的实践与思考

随着BIGO机器学习平台模型和数据量的增长，对底层依赖的文件系统提出了更多的需求，如多租户、高并发、多机房高可用、高性能、云原生等特性。CubeFS很好得满足了这些需求，BiGO尝试用CubeFS解决问题。

OPPO数据湖统一存储技术实践

OPPO一直使用HDFS集群存储大规模数据，总存储容量达到EB级。然而，随着业务的快速增长，公司面临着一些运营问题，包括机器资源不足、高昂的运营成本以及在存储冷热数据时存在高度冗余。为了解决这些问题，OPPO引入了CubeFS。

CubeFS 在 OPPO 混合云平台中加速 AI 训练3倍的实践

这篇文章讨论了OPPO的机器学习平台，该平台支持超过100个AI业务，每天进行数万次的训练任务。在2021年，AI先驱Oppo构建了一个大规模、端到端的机器学习平台，利用CubeFS支持100多个Oppo业务的AI训练——每天运行数万个训练任务，涵盖语音助手、商业广告、OPPO游戏、ctag多模式、NLP等业务领域。