Series · 14 篇
小模型训练系列
按章节顺序阅读这一组文章，从概念入口到工程判断逐步展开。适合把零散知识串成一条可复用的学习路线。
从这里开始
模型训练流程图解（从 0 到 1 训练自己的 AI） 先建立主线，再进入每个技术细节。最新更新
系列总结：从数据到 Agent 的小模型工程地图 优先补齐真实工程里最容易被忽略的问题。适合谁读
想系统理解技术，又不想被术语劝退的读者。 内容会尽量兼顾通俗表达、工程判断和长期复用。-
模型训练流程图解（从 0 到 1 训练自己的 AI）
本篇是「小模型训练系列」第 1 篇：用工程视角梳理大模型训练从数据到参数更新的完整链路。
-
Embedding：词是如何变成数学的？
本篇是「小模型训练系列」第 2 篇：从工程与数学直觉出发，解释大模型训练中的语义坐标系。
-
Attention 是如何工作的？（从 0 到 1 看懂“关系建模引擎”）
本篇是「小模型训练系列」第 3 篇：用工程 + 数学直觉拆开 Attention 的核心结构、复杂度来源、KV Cache 与长上下文优化路线。
-
Loss & 优化：模型为什么会“学会”？（从误差到能力的塑形）
本篇是「小模型训练系列」第 4 篇：从 Loss、反向传播、优化器与学习率出发，解释模型能力如何被目标函数一步步塑形。
-
数据工程：为什么训练数据决定了模型上限？（从清洗到样本配比）
本篇是「小模型训练系列」第 5 篇：从数据质量、清洗、去重、样本配比与能力边界出发，解释训练数据如何决定梯度方向和模型上限。
-
Tokenizer & 样本构造：模型到底读到了什么？
本篇是「小模型训练系列」第 6 篇：从 token 切分、上下文窗口、label shift、loss mask 与对话样本格式出发，解释模型真正读到的不是文本，而是 token 序列与训练目标。
-
LoRA / QLoRA：为什么低成本微调可行？
本篇是「小模型训练系列」第 7 篇：从全参微调的成本、LoRA 的低秩增量、rank/alpha/dropout 与 QLoRA 的显存账本出发，解释为什么低成本微调不是少训练一点，而是把可训练能力放在更聪明的位置上。
-
评估体系：模型到底有没有真的变好？
本篇是「小模型训练系列」第 8 篇：从 training loss、validation loss、任务评估集、回归集、人工验收和上线门槛出发，解释为什么模型有没有变好，不能只看训练日志，而要看它是否在真实任务闭环里更可靠。
-
RAG vs 微调：知识应该放进检索，还是写进参数？
本篇是「小模型训练系列」第 9 篇：从知识更新频率、事实追溯、RAG 召回、微调能力边界与小团队选型出发，解释什么时候该检索，什么时候该微调。
-
推理与部署：模型能力如何稳定跑起来？
本篇是「小模型训练系列」第 10 篇：从训练成本与推理成本的区别、prefill / decode、KV Cache、量化、吞吐、并发、延迟和上线稳定性出发，解释模型能力如何变成可控、可负担、可服务用户的系统。
-
工具调用与 Agent：模型如何从会说话变成会做事？
本篇是「小模型训练系列」第 11 篇：从 Function Calling、工具 schema、参数校验、行动权限、Agent 循环、日志、回滚与人工确认出发，解释模型如何从生成文字走向可控行动。
-
Memory 与工作流：模型如何承接长期任务？
本篇是「小模型训练系列」第 12 篇：从对话记忆、任务状态、事件日志、上下文压缩、恢复现场和工作流编排出发，解释 Agent 如何承接长期任务，而不是只完成一次回答。
-
行业模型与业务闭环：训练如何进入真实场景？
本篇是「小模型训练系列」第 13 篇：从领域数据、业务流程、人工审核、持续评估、灰度上线和反馈闭环出发，解释模型能力如何进入真实行业场景并持续产生价值。
-
系列总结：从数据到 Agent 的小模型工程地图
本篇是「小模型训练系列」第 14 篇：把数据、Tokenizer、Embedding、Attention、Loss、数据工程、LoRA、评估、RAG、部署、工具调用、Memory 和业务闭环串成一张完整的小模型工程地图。