curvine:面向 AI 的 POSIX 分布式缓存文件系统
基于对象存储、带多级分布式缓存的 POSIX 文件系统,用 Rust 编写,为 AI 训练、推理与 Agent 平台提供低延迟数据访问。
Curvine 是一个云原生文件系统,在对象存储之上提供完整 POSIX 语义,并内置内存、SSD、HDD 多级分布式缓存,用 Rust 编写,面向 AI 训练、推理与 AI Agent 平台。数据持久保存在 S3 或兼容对象存储中,应用通过 FUSE 挂载看到 POSIX 文件系统;文件与 S3 对象路径一一对应,即使 Curvine 停止运行,桶中数据仍可作为普通对象读取。架构分四层:接入层(Agent Pod、训练推理任务、OLAP 引擎、cv CLI)、协议层(POSIX/FUSE、S3 网关、Hadoop FileSystem API、Java/Python/Rust SDK、Kubernetes CSI 驱动)、集群核心(Raft 复制的 master 管理元数据与调度,worker 负责数据缓存与冷热淘汰)、存储层(AWS S3、Azure Blob、GCS、阿里云 OSS、MinIO 等 S3 兼容存储及 HDFS)。元数据请求经 RPC 发往 master,数据在客户端与 worker 间直传,缓存未命中时 worker 从对象存储读取,写入回持久层。README 称其 FUSE 挂载通过 1129 项 LTP 文件系统测试零失败,单集群可容纳 50 亿文件;在 Kubernetes 上通过 CSI 驱动动态供给卷,创建卷仅需毫秒级。提供 Helm charts、Web UI 与指标。性能数据包括与 JuiceFS、Alluxio 的对比表格,以及 MLPerf Storage v2.0 中的加速器利用率结果。