LLMs-from-scratch：从零构建大语言模型教程代码
《Build a Large Language Model (From Scratch)》官方代码仓库，用 PyTorch 逐步实现并训练 GPT 类模型。
这是书籍《Build a Large Language Model (From Scratch)》的官方代码仓库，包含从零开发、预训练和微调 GPT 类大语言模型的完整代码，全部用 PyTorch 实现，不依赖外部 LLM 库。章节覆盖文本数据处理、注意力机制、从零实现 GPT 模型、无标注数据预训练、文本分类微调、指令微调等，另有 PyTorch 入门、LoRA 参数高效微调等附录，每章配有 notebook、摘要脚本和练习解答。README 说明主章节代码可在普通笔记本电脑上运行，有 GPU 时会自动使用；另有一套与书籍结构对应的视频课程，以及续作《Build A Reasoning Model (From Scratch)》。