投稿 提交工具 投放合作

Happy-LLM:从零构建大模型的中文教程

大语言模型 35k(+14) 3.3k Python 2026-11-21 在 GitHub 打开

Datawhale 的系统性 LLM 中文教程,从 NLP 与 Transformer 基础讲到亲手实现 LLaMA2、预训练与微调,以及 RAG、Agent 和 Agentic RL 实践。

Happy-LLM 分为基础知识与实战两部分:第 1 至 4 章介绍 NLP 基础、Transformer 架构与注意力机制、预训练语言模型三种架构对比,以及 LLM 的训练策略与涌现能力;第 5 至 8 章带领读者基于 PyTorch 实现 LLaMA2、训练 Tokenizer 并预训练小型 LLM,再用 Transformers 框架练习预训练、有监督微调与 LoRA/QLoRA 高效微调,随后介绍模型评测、RAG 与智能体,以及 GRPO、OPD、Search-R1、ReTool 等 Agentic RL 实践。仓库提供第 5 章对应的 215M Base 与 SFT 模型下载,章节按依赖拆分、建议使用独立 Python 环境。另有 PDF、配套 PPT 与社区博客章节,采用 CC BY-NC-SA 4.0 许可。

Star 趋势2026-11-08 — 2026-11-21当前 Stars 35k24h +147 日 +114

35k11-0811-1211-1411-1611-1811-21