MiniMind:从零训练超小语言模型的教程项目
从零用PyTorch实现并训练约64M参数小语言模型的开源教程,覆盖预训练到RLHF全流程。
MiniMind 是一个从零开始训练超小语言模型(约 64M 参数)的开源项目与教程,主线结构对齐 Qwen3/Qwen3-MoE,核心算法均用 PyTorch 原生实现,不依赖 transformers/trl/peft 等高层封装。覆盖分词器训练、预训练、SFT、LoRA、DPO、PPO/GRPO/CISPO、Tool Use、Agentic RL、模型蒸馏等完整链路,兼容 llama.cpp、vllm、ollama 等推理引擎,并提供 OpenAI 兼容 API 服务端与 Streamlit 聊天 WebUI。README 称 SFT 阶段在单张 3090 上约 2 小时、约 3 元成本可复现。