投稿 提交工具 投放合作

MiniMind:从零训练超小语言模型的教程项目

学习教程 68k(+491) 8.9k Python 2026-11-21 在 GitHub 打开

从零用PyTorch实现并训练约64M参数小语言模型的开源教程,覆盖预训练到RLHF全流程。

MiniMind 是一个从零开始训练超小语言模型(约 64M 参数)的开源项目与教程,主线结构对齐 Qwen3/Qwen3-MoE,核心算法均用 PyTorch 原生实现,不依赖 transformers/trl/peft 等高层封装。覆盖分词器训练、预训练、SFT、LoRA、DPO、PPO/GRPO/CISPO、Tool Use、Agentic RL、模型蒸馏等完整链路,兼容 llama.cpp、vllm、ollama 等推理引擎,并提供 OpenAI 兼容 API 服务端与 Streamlit 聊天 WebUI。README 称 SFT 阶段在单张 3090 上约 2 小时、约 3 元成本可复现。

Star 趋势2026-11-08 — 2026-11-21当前 Stars 68k24h +4917 日 +2.7k

65k66k68k11-0811-1211-1411-1611-1811-21