Happy-LLM:从零构建大模型的中文教程
Datawhale 的系统性 LLM 中文教程,从 NLP 与 Transformer 基础讲到亲手实现 LLaMA2、预训练与微调,以及 RAG、Agent 和 Agentic RL 实践。
Happy-LLM 分为基础知识与实战两部分:第 1 至 4 章介绍 NLP 基础、Transformer 架构与注意力机制、预训练语言模型三种架构对比,以及 LLM 的训练策略与涌现能力;第 5 至 8 章带领读者基于 PyTorch 实现 LLaMA2、训练 Tokenizer 并预训练小型 LLM,再用 Transformers 框架练习预训练、有监督微调与 LoRA/QLoRA 高效微调,随后介绍模型评测、RAG 与智能体,以及 GRPO、OPD、Search-R1、ReTool 等 Agentic RL 实践。仓库提供第 5 章对应的 215M Base 与 SFT 模型下载,章节按依赖拆分、建议使用独立 Python 环境。另有 PDF、配套 PPT 与社区博客章节,采用 CC BY-NC-SA 4.0 许可。