投稿 提交工具 投放合作

uzu:高性能本地AI推理引擎

大语言模型 3.4k(+4) 241 Rust 2026-11-22 访问官网 ↗ 在 GitHub 打开

Rust实现的AI模型推理引擎,提供Rust/Python/Swift/TypeScript绑定与OpenAI兼容服务器。

uzu 是一个高性能 AI 模型推理引擎,核心卖点是本地部署、低延迟、数据隐私与零推理成本。特性包括简洁高层 API、统一模型配置、可追溯计算(对照源实现校验正确性)、Apple 设备统一内存利用、广泛模型支持。原生 Rust crate,通过 uniffi-rs/pyo3/napi-rs 提供 Swift、Python、TypeScript 绑定;支持 metal 与 cpu 后端。提供 Chat、结构化输出(Grammar 指定 JSON schema)、工具调用、云端模型、共享实例等示例,以及 CLI 交互界面、基准测试、OpenAI 兼容 HTTP 服务器(/v1/chat/completions、/v1/models,支持流式)。使用自有模型格式,可用 lalamo 导出。当加载决策模型时,服务器提供 TypeSafe System One API(/v1/systemone),支持 choice、noul、score 三类问题。MIT 许可。

Star 趋势2026-11-08 — 2026-11-22当前 Stars 3.4k24h +47 日 +33

3.2k3.3k3.4k11-0811-1211-1411-1611-1811-2111-22