投稿 提交工具 投放合作

Daft:面向 AI 与多模态的数据引擎

数据分析 5.9k(+1) 590 Rust 2026-11-21 访问官网 ↗ 在 GitHub 打开

Python 原生、Rust 驱动的高性能数据引擎,可在同一框架中处理图像、音频、视频与结构化数据,并内置 LLM 调用与嵌入生成。

Daft 是面向 AI 与多模态工作负载的高性能数据引擎,可在同一框架内处理图像、音频、视频、嵌入与结构化数据。它内置 AI 操作,能大规模运行 LLM 提示、生成嵌入和分类,可对接 OpenAI、Transformers 或自定义模型;架构上以 Python 为接口、Rust 实现执行内核,带查询优化器、基于 Arrow 的向量化执行引擎并支持 out-of-core 执行。可从本地起步,扩展到 Ray 或 Kubernetes 上的分布式集群;数据源覆盖 S3、GCS、Iceberg、Delta Lake、Hugging Face、Unity Catalog 等。安装方式为 pip install daft,要求 Python 3.10 及以上,更复杂的安装(如源码安装或附加 Ray、AWS 工具依赖)见其安装指南。README 还提供与 Pandas、Polars、Ray Data、PySpark、Dask 等引擎的特性对比表,并说明通过 Scarf 收集非标识性的元数据遥测,可用 DO_NOT_TRACK=true 关闭。

Star 趋势2026-11-10 — 2026-11-20当前 Stars 5.9k24h +17 日 +7

5.8k5.9k11-1011-1111-1211-1311-1411-1511-1611-1711-1811-20