llm-course:大模型学习路线与实验笔记本
分三部分的大模型课程,配套微调、量化、模型合并等可运行的笔记本与文章。
课程分为三部分:可选的 LLM Fundamentals 讲数学、Python 与神经网络基础;LLM Scientist 关注用最新技术构建大模型;LLM Engineer 关注构建与部署基于大模型的应用。仓库还收录作者写的笔记本与文章,涵盖工具(自动评估、MergeKit 合并、Axolotl 微调、多种格式量化、数据去重等)、微调(QLoRA、DPO、ORPO、Unsloth 等)、量化(8-bit、GPTQ、GGUF/llama.cpp、ExLlamaV2)以及其他主题(模型合并、MoE、abliteration、知识图谱增强、解码策略)。README 提到基于该课程合写了 LLM Engineer's Handbook,课程本身保持免费。