3FS:面向 AI 训练与推理的高性能分布式文件系统
利用现代 SSD 与 RDMA 网络构建的分布式文件系统,为 AI 训练和推理提供共享存储层,支持数据准备、数据加载、检查点与 KVCache 等负载。
Fire-Flyer File System(3FS)是为 AI 训练与推理负载设计的高性能分布式文件系统,通过聚合数千块 SSD 的吞吐与数百个存储节点的网络带宽,让应用以与数据本地性无关的方式访问存储。架构上采用分离式设计,用 CRAQ(链式复制与分摊查询)实现强一致性,元数据服务为无状态并由事务型键值存储(如 FoundationDB)支撑,对外提供熟悉的文件接口,无需学习新的存储 API。面向的负载包括:以层次目录组织数据准备流水线的输出、让训练节点随机访问样本从而免去预取与洗牌、大规模训练的高吞吐并行检查点,以及作为 DRAM 缓存替代方案的推理 KVCache。依赖 libfuse 3.16.1+、FoundationDB 7.1+ 与 Rust 工具链,提供 Docker 构建镜像;README 给出了在 180 存储节点集群上约 6.6 TiB/s 聚合读吞吐等测试数据。