系列总结:从数据到 Agent 的小模型工程地图
本篇是「小模型训练系列」第 14 篇:把数据、Tokenizer、Embedding、Attention、Loss、数据工程、LoRA、评估、RAG、部署、工具调用、Memory 和业务闭环串成一张完整的小模型工程地图。
Start Here
这里会持续写 AI 与技术理解、生活与成长观察、好物与真实体验、正向文化与人物。不是追热点堆文章,而是把持续学习、真实使用和长期筛选沉淀成可以反复搜索的内容资产。
本篇是「小模型训练系列」第 14 篇:把数据、Tokenizer、Embedding、Attention、Loss、数据工程、LoRA、评估、RAG、部署、工具调用、Memory 和业务闭环串成一张完整的小模型工程地图。
本篇是「小模型训练系列」第 13 篇:从领域数据、业务流程、人工审核、持续评估、灰度上线和反馈闭环出发,解释模型能力如何进入真实行业场景并持续产生价值。
本篇是「小模型训练系列」第 12 篇:从对话记忆、任务状态、事件日志、上下文压缩、恢复现场和工作流编排出发,解释 Agent 如何承接长期任务,而不是只完成一次回答。
本篇是「小模型训练系列」第 11 篇:从 Function Calling、工具 schema、参数校验、行动权限、Agent 循环、日志、回滚与人工确认出发,解释模型如何从生成文字走向可控行动。
本篇是「小模型训练系列」第 10 篇:从训练成本与推理成本的区别、prefill / decode、KV Cache、量化、吞吐、并发、延迟和上线稳定性出发,解释模型能力如何变成可控、可负担、可服务用户的系统。
本篇是「小模型训练系列」第 9 篇:从知识更新频率、事实追溯、RAG 召回、微调能力边界与小团队选型出发,解释什么时候该检索,什么时候该微调。
本篇是「小模型训练系列」第 8 篇:从 training loss、validation loss、任务评估集、回归集、人工验收和上线门槛出发,解释为什么模型有没有变好,不能只看训练日志,而要看它是否在真实任务闭环里更可靠。
本篇是「小模型训练系列」第 7 篇:从全参微调的成本、LoRA 的低秩增量、rank/alpha/dropout 与 QLoRA 的显存账本出发,解释为什么低成本微调不是少训练一点,而是把可训练能力放在更聪明的位置上。
本篇是「小模型训练系列」第 6 篇:从 token 切分、上下文窗口、label shift、loss mask 与对话样本格式出发,解释模型真正读到的不是文本,而是 token 序列与训练目标。
本篇是「小模型训练系列」第 5 篇:从数据质量、清洗、去重、样本配比与能力边界出发,解释训练数据如何决定梯度方向和模型上限。
本篇是「小模型训练系列」第 4 篇:从 Loss、反向传播、优化器与学习率出发,解释模型能力如何被目标函数一步步塑形。
本篇是「小模型训练系列」第 3 篇:用工程 + 数学直觉拆开 Attention 的核心结构、复杂度来源、KV Cache 与长上下文优化路线。
本篇是「小模型训练系列」第 2 篇:从工程与数学直觉出发,解释大模型训练中的语义坐标系。
本篇是「小模型训练系列」第 1 篇:用工程视角梳理大模型训练从数据到参数更新的完整链路。
这是我个人网站的第一篇文章,记录我们的开始。