投稿 提交工具 投放合作

Chitu 赤兔:大模型推理框架

大语言模型 3k 252 Python 2026-11-21 访问官网 ↗ 在 GitHub 打开

面向生产部署的高性能大模型推理框架,支持多种 GPU 与从 CPU 到集群的多档部署规模。

Chitu「赤兔」是一个定位于生产级的大模型推理引擎,支持 NVIDIA 多代 GPU 以及昇腾、摩尔线程、沐曦、海光等国产芯片,部署规模从纯 CPU、单 GPU 到大规模集群可伸缩。已支持 DeepSeek、Qwen、GLM、Kimi 等模型,提供 FP4/FP8 与 BF16 之间的在线转换算子、CPU+GPU 异构混合推理,以及 PD 分离、多结点多实例等部署形态。建议从 Releases 下载 chitu.run 可执行文件进行部署,单文件即可启动复杂任务;完整安装说明见开发手册。性能数据与硬件配置、软件版本、测试负载相关,多次测试可能波动。采用 Apache License v2.0,代码中以 SPDX 标注了来自其他开源项目的片段。

Star 趋势2026-11-08 — 2026-11-20当前 Stars 3k7 日 +5

3k11-0811-1111-1211-1311-1411-1511-1611-1711-1811-20