目录
1) 三者的本质差异:信息放在哪里
RAG(检索增强生成)
微调(Fine-tuning)
Agent 搜索 / 工具调用(Tool-using Agent)
2) 一张“选型边界”对照表(工程视角)
3) 什么时候优先 RAG(“可更新 + 可引用”的场景)
4) 什么时候微调更划算(“稳定行为 + 成本敏感”的场景)
5) 什么时候 Agent 搜索/工具调用更优(“开放域 + 实时 + 多步验证”)
6) 最常见、也最“能上线”的组合拳
组合 1:微调做“骨架” + RAG 做“事实”
组合 2:RAG 优先;低置信/未命中时触发 Agent
组合 3:微调做路由/意图识别 + 分桶 RAG
7) 用一句“工程决策口诀”收尾
1) 三者的本质差异:信息放在哪里
RAG(检索增强生成)
- 信息放在:上下文(prompt 里)
- 核心动作:检索 →(可选)改写/多路召回/重排 → 把证据片段塞进上下文 → 让模型基于证据回答
- 关键收益:可更新、可追溯(能给引用)、不必训练
- 关键代价:上下文不稳定 → 缓存命中差、token 成本高;检索噪声会污染上下文并带偏回答
微调(Fine-tuning)
- 信息放在:参数(模型权重里)
- 核心动作:用标注/合成数据训练,让模型学会“稳定的映射/行为”
- 关键收益:输出稳定、推理更快更便宜、缓存友好
- 关键代价:更新慢(新知识要再训练或增量适配),可追溯性弱(很难解释“依据是哪段资料”)
- 信息放在:外部世界(搜索引擎、数据库、业务系统、代码执行等)
- 核心动作:规划 → 调工具(查、算、比对)→ 汇总 → 再查缺口 → 最终回答
- 关键收益:开放域 & 实时性 & 多跳验证强;能“主动找证据”
- 关键代价:链路长、延迟高、稳定性更难;要做权限、安全、重试、观测,否则不可控
2) 一张“选型边界”对照表(工程视角)
| 维度 | RAG | 微调 | Agent 搜索/工具 |
|---|
| 知识更新频率 | 高(天级/周级)更合适 | 低(月级/季度)更合适 | 极高/实时最合适 |
| 可追溯/审计(引用证据) | 强(原文片段) | 弱 | 中~强(可记录工具结果与日志) |
| 成本结构 | token 高且波动大 | token 低且稳定 | 多次工具调用,成本不确定 |
| 缓存命中 | 差(上下文经常变) | 好(输入稳定) | 一般(取决于是否重复调用/结果是否可缓存) |
| 失败模式 | 检索错/噪声 → 被证据带偏 | 训练数据错 → 错误被固化 | 工具链错/规划偏 → 错误累积 |
| 工程复杂度 | 中~高(切块/多路/重排/评测/观测) | 中(数据闭环+训练评测) | 高(编排、重试、安全、观测、权限) |
| 适合任务 | 企业资料问答、条款定位、文档解释 | 话术/格式/SOP、分类抽取、稳定策略 | 开放域研究、实时数据、需要多源交叉验证 |
3) 什么时候优先 RAG(“可更新 + 可引用”的场景)
满足越多,越应该先做 RAG:
- 知识变动频繁:政策、产品版本、内部公告、FAQ 经常更新
- 必须给出处/引用:合规、法务、风控、审计、客服质检
- 长尾覆盖很广:不可能全训练进模型
- 你能治理文档:版本、权威等级、结构、metadata 做得起来
- 你愿意做评测与观测:召回率、噪声、rerank 贡献、失败用例闭环
典型:制度条款问答、技术文档问答、合同条款定位与解释(带引用)、内部知识库检索式问答。
但要记住论坛里的“祛魅点”:
RAG 的关键不是“向量库”,而是“什么证据值得进上下文”。否则越塞越糟(污染注意力、破坏缓存、成本暴涨)。
4) 什么时候微调更划算(“稳定行为 + 成本敏感”的场景)
满足越多,越应该微调(或至少偏微调方案):
- 你要的是稳定行为而不是每次现查:统一口径、固定流程、结构化输出模板
- 问题类型集中:80% 问题在少数意图/模板上
- 高并发成本敏感:希望输入更稳定、缓存命中更好、延迟更低
- 知识更新不频繁:月/季度更新可接受
- 你能建设训练数据闭环:错误样本回流、持续迭代
典型:客服话术/SOP、工单分类、信息抽取、表单填写指导、审批建议格式化输出、路由/意图识别。
论坛里那句“RAG 越做越复杂,成本比微调还高”在这类场景尤其容易成立:
因为你为了“偶尔的长尾”付出了“每次都检索+塞上下文”的固定成本。
5) 什么时候 Agent 搜索/工具调用更优(“开放域 + 实时 + 多步验证”)
满足越多,越应该做 Agent(或至少加一层工具调用兜底):
- 答案不在你的库里,或者库覆盖不足、命中不稳定
- 强实时性:行情、库存、状态、新闻、业务指标
- 需要多源交叉验证:单一来源不可信/冲突多
- 需要多步行动:先查 A,再根据结果查 B,再比对,再总结
- 可接入可靠工具:数据库/BI/搜索/日志/工单系统等
典型:竞品调研、舆情汇总、业务数据查询(SQL/BI)、复杂排障(查日志→定位→验证)、实时运营问答。
6) 最常见、也最“能上线”的组合拳
真实系统通常不是三选一,而是组合:
组合 1:微调做“骨架” + RAG 做“事实”
- 微调:回答结构、拒答策略、引用规范、输出格式、流程步骤
- RAG:条款/参数/版本差异/最新通知等事实证据
- 好处:输出稳定、成本可控,同时又能更新知识
组合 2:RAG 优先;低置信/未命中时触发 Agent
- 先内部 RAG
- 命中差/证据不足 → Agent 去外部或业务系统查
- 最后把“证据等级”写进回答(强/弱/无)
组合 3:微调做路由/意图识别 + 分桶 RAG
- 微调:判断是否该查库、查哪个桶
- RAG:在正确桶里检索,降低噪声与冲突
7) 用一句“工程决策口诀”收尾
- 要更新快、要引用证据 → RAG
- 要稳定一致、要便宜快 → 微调
- 要实时、要开放域、要多步查证 → Agent
- 既要稳定又要更新 → 微调(骨架)+ RAG(事实)
- RAG 命中不稳或经常缺证据 → RAG + Agent 分级触发
本文作者:huagege
本文链接:
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA
许可协议。转载请注明出处!