Learn LLM

从训练闭环到领域小模型

一套面向工程实践的 LLM 学习课程，从 PyTorch 训练闭环、tokenizer、attention、MiniGPT 到 RAG、SFT、LoRA、评测、安全和领域项目。

开始阅读

按顺序读下去，会从模型原理一路走到 Agent 与 Harness 的工程视角。

01 数学深挖篇：从可学习函数到可靠领域小模型导读如果你已经学过训练闭环、shape、概率目标、embedding、attention、RAG 和 LoRA，这篇会把背后的数学线索重新串起来。只跟着工程主线走时，数学容易变成“哪里用到哪里学”的碎片。
02 第 0 章：课程目标、风险边界与学习仓库很多人学习 LLM 会从论文、视频、模型榜单和 demo 之间来回跳，最后知道很多名词，却没有一个能复现、能评测、能回滚的学习工程。本章先回答一个容易被忽略的问题：
03 第 1 章：从函数到 PyTorch 训练闭环神经网络到底怎么“学会”？
04 第 2 章：张量、shape 与 PyTorch 基础 LLM 学习里，很多 bug 不是公式不懂，而是 shape 对不上。
05 第 3 章：概率、Softmax、交叉熵与 next-token 模型不是在分类图片，而是在继续写一句话。它到底怎么训练？
06 第 4 章：Tokenizer、LM Dataset 与 padding label masking 文本如何变成模型能计算、能训练、还能正确忽略 padding 的数字？Tokenizer 不是附属工具，它决定文本边界、特殊 token 和 causal LM 的 loss 计算范围。
07 第 5 章：Embedding 与相似度 token id 只是编号，模型怎么学出语义？
08 第 6 章：从 Bigram 到神经语言模型这一章只解决一个问题：为什么语言模型不能停在计数表，必须走向可学习表示？
09 第 7 章：Attention 手算与实现 Attention 到底在算什么？
10 第 8 章：Transformer Block Attention 解决“看谁”，但完整 Transformer Block 还需要“如何变换”和“如何稳定堆深”。本章把 multi-head attention、FFN、残差和归一化合成一个可训练 block。
11 第 9 章：MiniGPT 从零实现到这里，attention 和 block 都能单测通过。但 MiniGPT 仍然可能不工作：loss 不降、生成重复、save/load 对不上。
12 第 10 章：现代 LLaMA 架构主流开源大模型在教学版 GPT 上改了什么，为什么改？
13 第 11 章：Hugging Face 工作流现实中不可能每次从零写 tokenizer、模型结构、训练循环和保存加载逻辑。问题是：如果直接使用 Hugging Face，会不会从“理解模型”退回到“复制模板”？
14 第 12 章：最小评测系统在开始 RAG、SFT、LoRA 之前，怎么知道模型有没有变好？如果没有固定评测集和指标，后面所有优化都会退化成“看起来不错”。
15 第 13 章：领域任务定义与数据工程领域模型能力主要来自模型，还是任务定义和数据？在高风险领域，任务边界、数据来源、许可、脱敏、标注规范和 eval 冻结，往往比换一个更大的模型更重要。
16 第 14 章：RAG Baseline 模型参数不是数据库。法律条文会更新，医学指南有版本，回答前先查资料是为了让输出有依据、可追溯、可拒答。
17 第 15 章：SFT 指令微调怎么让模型从“续写文本”变成“按指令回答”？SFT 让模型学习消息格式、输出结构和行为边界，但不会自动让事实更可靠。
18 第 16 章：LoRA / QLoRA 参数高效微调全量微调太贵，能不能只训练少量参数？
19 第 17 章：证据约束蒸馏很多同学第一次做蒸馏时，会自然地把 teacher 当成“更聪明的答案生成器”：把问题丢给大模型，收集一批看起来流畅的回答，再拿去训练 student。这个流程在闲聊任务里可能暂时可用，但一进入法律、医学、金融、政务这类高风险领域，问题就变了：如果 teacher 自信地编出一个不存在的依据，...
20 第 18 章：安全、合规与模型卡法律/医学领域模型不能只追求答得像，还要知道什么时候不能答。安全不是最后补一页免责声明，而是贯穿任务定义、数据、RAG、SFT、蒸馏和部署的边界系统。
21 第 19 章：量化、服务与发布门禁模型训练好了，怎么在成本、延迟、吞吐、质量和安全之间做可验证取舍？部署优化如果没有评测和回滚，只会更快地放大错误。
22 第 20 章：法律合同审查项目如何把 RAG、LoRA、蒸馏、评测和安全组合成法律合同审查小模型？本章不是讲法律意见，而是搭建一个可审计的信息辅助系统。
23 第 21 章：医学科普助手项目如何做一个谨慎、安全、可评测的医学科普助手？医学项目的第一责任不是显得能干，而是识别危险信号、表达不确定性，并引导用户寻求合适帮助。
24 第 22 章：毕业发布审计一个领域小模型能不能发布，应该由什么材料证明？不能由一次漂亮 demo 决定，而要由代码、数据、评测、安全和部署证据共同决定。