uzu:高性能本地AI推理引擎
Rust实现的AI模型推理引擎,提供Rust/Python/Swift/TypeScript绑定与OpenAI兼容服务器。
uzu 是一个高性能 AI 模型推理引擎,核心卖点是本地部署、低延迟、数据隐私与零推理成本。特性包括简洁高层 API、统一模型配置、可追溯计算(对照源实现校验正确性)、Apple 设备统一内存利用、广泛模型支持。原生 Rust crate,通过 uniffi-rs/pyo3/napi-rs 提供 Swift、Python、TypeScript 绑定;支持 metal 与 cpu 后端。提供 Chat、结构化输出(Grammar 指定 JSON schema)、工具调用、云端模型、共享实例等示例,以及 CLI 交互界面、基准测试、OpenAI 兼容 HTTP 服务器(/v1/chat/completions、/v1/models,支持流式)。使用自有模型格式,可用 lalamo 导出。当加载决策模型时,服务器提供 TypeSafe System One API(/v1/systemone),支持 choice、noul、score 三类问题。MIT 许可。