去年到今年，开沿见过最典型的 RAG 选型场景是这样：一个客户的 IT 负责人看了 5 家 RAG 平台的官方 demo，每一家都惊艳到眼睛发光，2 个月里他排了 5 场内部宣讲，董事会都被讲激动了。真正把自己公司的 3000 份文档扔上去跑，5 家全部翻车——回答不着边、召回一半是无关内容、多轮对话到第三轮就开始重复自己。
这不是个例。RAG 平台的官方 demo 永远比你自建的强 3 倍，因为 demo 用的是被精挑细选过的知识库，你的业务数据没有。这篇文章把开沿这 5 年在 2000+ 家企业做数字化项目里，实际跑过的 5 家主流 RAG 平台横向拆开，讲清楚每家的甜蜜点和硬伤，给你一份不看 demo 也能做决策的选型底稿。
1. 为什么大多数企业 RAG 选型死在 demo 阶段
RAG 平台的 demo 是一个「幸存者信息」——展示的都是最好看的样例，你看到的不是它的真实水平。开沿在做 RAG 项目评审时，最常见的三个死法是：
第一，被 demo 里的召回准确率带节奏。厂家演示时用的知识库通常是几百篇结构规整、术语统一、彼此不冲突的文档；企业真实的知识库是几千份 Word/PDF/扫描件混杂，同一个概念有 5 种叫法，20% 的文档已经过期没人更新。demo 里的 90% 准确率到自己业务里可能只剩 40%。
第二，把效果调优当成"接进来就好"。RAG 从跑通到真正好用之间有一个 6-10 周的调优期：切分策略、召回参数、重排模型、prompt 模板每一样都要按业务数据反复调。选型时如果只看功能列表不看调优深度，上线后会发现"调不动"。
第三，忽视数据合规和二次开发能力。有些平台默认数据要走公网、日志留在厂家侧、prompt 模板不开放。业务好用是好用，一到过等保和监管审查就要推倒重来。
这三个坑本质是同一件事：RAG 平台的价值不在 demo，而在你踩过这 6-10 周调优期之后它还能不能陪你继续走。选型的关键动作是找出每家在调优深度、数据可控、集成开放这三个维度的真实水位，而不是看谁的 demo 更华丽。关于 RAG 到底是什么、企业为什么要用它，可以先看什么是 RAG和企业知识库 RAG 落地的 6 个关键决策，帮助你先把认知底盘打稳。
2. 9 个维度的横评总表
先给一张开沿做 RAG 平台评审时常用的对照表。9 个维度不是拍脑袋，而是过去 12 个月里，开沿参与的每一个 RAG 项目在选型阶段都会问到的实际问题。数字和评级都是经验值，不代表绝对。
| 维度 | 腾讯云 ima | 阿里百炼 | 字节 Coze | OpenAI Assistant | 自建 LangChain |
|---|---|---|---|---|---|
| 上线速度 | 3-5 天 | 5-10 天 | 1-3 天 | 3-7 天 | 4-8 周 |
| 私有化能力 | 支持（企微生态版） | 支持（专有云） | 弱（仅火山方舟部分能力） | 不支持（境外服务） | 完全支持 |
| 支持文档类型 | 常见 10+ 种 | 常见 15+ 种 | 常见 10+ 种 | 常见 20+ 种 | 由你定 |
| 向量库与召回 | 内置封装 | 支持自选（含私有 VDB） | 内置封装 | 内置封装 | 完全自主 |
| 大模型接入自由度 | 主推腾讯混元 | 通义 + 三方模型 20+ | 豆包为主 | 仅 GPT 系列 | 任意模型 |
| 数据安全与合规 | 国内云、等保友好 | 国内云、等保友好 | 国内云、等保一般 | 境外、合规不通 | 由你把控 |
| 定价结构 | 按坐席+按调用 | 按 token+按存储 | 按调用+免费额度大 | 按 token+存储 | 一次性建设+持续人力 |
| 集成开放度 | 企微/腾讯文档强 | 钉钉/飞书/企微都可 | 抖音/飞书生态强 | REST API 通用 | 完全开放 |
| 效果调优深度 | 中 | 中-高 | 中 | 中 | 高 |
这张表的读法有几个要点：
- 上线速度不等于好用。Coze 1-3 天上线的是玩具级 demo，真正到生产级要再花 2-4 周做召回调优；自建 LangChain 那 4-8 周里已经包含了初步的调优期，账要这么算才公平；
- 私有化能力是分层的。ima 的私有化更多是"随企微一起私有化"，百炼的专有云是完整的独立部署，两者不是一码事；
- 调优深度决定天花板。中和高的区别是：中意味着可以改 prompt 模板和召回 top_k，高意味着可以插入自定义重排模型、可以改切分逻辑、可以做多路召回。
3. 腾讯云 ima：企微生态和轻量客服的甜蜜点
ima 是腾讯基于混元和企微生态推出的 RAG + Agent 一体化产品。它的定位很清楚：帮已经在企微里跑业务的公司，把散落在企微文档、腾讯文档、企微群聊里的知识变成一个能问答的助手。
甜蜜点：
- 企微生态原生集成，客户群、审批流、企业文档打通几乎零成本；
- 面向客服和内部问答场景，产品化程度高，业务方可以自己搭；
- 混元模型的中文表现在客服场景里稳定，价格也在国内云里偏低。
硬伤：
- 深度定制弱，如果要接 SAP、Oracle、自建业务系统，二开成本不低；
- 大模型接入相对封闭，用第三方模型（如 GPT-4、Claude、DeepSeek）不友好；
- 召回策略是黑盒，多路召回、自定义重排的口子不开放。
适配的客户画像：主要业务在企微上跑、客服和内部问答是主诉求、不需要复杂的外部系统集成。
我们做过一家连锁餐饮客户，全公司 200 多家店的 SOP、供应商联系方式、菜单版本都在企微文档里。ima 上线两周就跑通了店长问答场景，加盟商投诉响应时间从平均 40 分钟压到 8 分钟。但当他们想把 ERP 里的进销存数据也接进来做经营问答，就撞到了 ima 的定制天花板，最后不得不再叠一层自建服务。
4. 阿里百炼：模型丰富和 Agent 化的重型选手
百炼是阿里云 2024 年推出、2025 年在企业市场快速起量的 RAG + Agent 平台。相对 ima 的"轻"，百炼走的是"重"路线：模型多、能力全、可以私有化，价格弹性也大。
甜蜜点：
- 通义千问系列覆盖从 0.5B 到 100B+ 全尺寸，还能一键调用 20+ 家三方模型；
- Agent 编排能力强，工具调用、多轮规划、复杂任务分解都有现成模板；
- 支持专有云私有化，从 SaaS 到私有部署路径顺，不用换平台；
- 向量库可以自选，支持自建 VDB 或者用阿里云 OpenSearch 向量版。
硬伤：
- 学习曲线陡，业务方自己搭不动，需要开沿这样的技术合作方陪跑；
- 私有化版本报价从 60 万起步，中小客户会觉得偏贵；
- 集成阿里系（钉钉、企业微信、飞书都能接）没问题，但接非阿里系统时文档不如三方成熟。
适配的客户画像：已经在用钉钉或阿里云生态、数据规模大（千万级向量以上）、有明确的 Agent 化诉求（不只是问答还要能办事）、预算在 30-100 万区间。
关于百炼的模型路由怎么用得省钱，可以看LLMOps 平台对比那篇里的百炼章节，里面有一份实际的成本对比。
5. 字节 Coze：低门槛可视化和快速原型的先锋
Coze 是字节 2024 年推出的低代码 Agent 搭建平台，2025 年发布企业版之后开始进入 B 端市场。它的定位相当于**"AI Agent 界的宜搭"**：拖拉拽把插件、知识库、模型串起来。
甜蜜点：
- 学习门槛低，业务方自己看 2 天教程就能搭个原型；
- 免费额度慷慨，PoC 阶段几乎零成本；
- 豆包模型在长文本理解上表现不错，价格也很有竞争力；
- 抖音、飞书、火山方舟这些生态里有原生集成。
硬伤：
- 企业级能力弱：权限体系粗、日志审计不完整、多环境隔离刚起步；
- 数据不出境的私有化路径不清晰，个别行业（金融、政府、军工）审查过不了；
- 复杂 Agent（超过 5 层工具调用）容易出现莫名其妙的错误，排查起来痛苦；
- 向量库和召回策略基本是黑盒，调优空间小。
适配的客户画像：初创企业、创新业务部门、需要在 1-2 周内做出一个可 demo 的原型让老板拍板、对数据合规要求不高。
我们见过一家新消费品牌，市场部想做一个"分析小红书评论、生成投放建议"的 Agent，用 Coze 三天就跑起来了，团队自己维护，开沿只做了架构评审。这就是 Coze 的甜蜜点——快、便宜、业务方自己能上手。但当他们后来想把这个能力沉到集团 IT 平台、做统一管理和审计，就要迁移到别的平台了。
6. OpenAI Assistant API：能力天花板但合规不通
OpenAI 的 Assistant API（含 GPT-4o、GPT-4.5、o 系列）在纯技术能力上仍然是天花板级别，特别是复杂推理、多语言、代码生成场景。但对国内企业，它的问题不是能力，是合规。
甜蜜点：
- 模型能力最强，很多复杂场景只有 GPT 家能跑通；
- Assistant API 自带文件检索、代码解释器、function calling，开箱即用；
- 文档和社区最成熟，工程师招聘时最不缺人才储备；
- 出海业务场景是首选，特别是英文客服、跨境电商。
硬伤：
- 数据必须走境外服务器，国内业务过等保、过网信办审查基本走不通；
- 单价高，重度使用下月费上万很常见；
- 网络稳定性在国内是个持续问题，需要中转层做熔断；
- Assistant API 的知识库容量和检索精度对生产级 RAG 而言仍然偏弱，很多客户会拆出来自建向量库。
适配的客户画像：只用于出海业务、内部研发提效、数据非敏感的公开信息处理。国内 to C、to B 主流业务上生产强烈不推荐。
7. 自建 LangChain：灵活性最高但人力最重
自建 LangChain（或 LlamaIndex、Haystack 等开源框架）是灵活度的天花板：你想要什么就能有什么，代价是你得自己养这个技术栈。
甜蜜点：
- 数据完全在内网、代码完全在自己仓库、模型可以随时换；
- 召回策略、切分方案、评估集、重排模型全部可以按业务深度定制；
- 长期看，随着模型升级和技术演进，自建平台的复用价值最高；
- 一旦做对了，就是公司的核心资产，不会被平台方绑架。
硬伤：
- 初期人力投入最大，一个能扛住的 RAG 平台通常需要 2-3 个 AI 工程师 + 1 个数据工程师，跑 3-6 个月；
- 版本升级追不上开源社区节奏，容易被历史技术债拖累；
- 效果调优上限高但底也低，团队能力不够反而不如买 SaaS；
- 治理层面（权限、审计、多租户）要从零建，比看起来贵得多。
适配的客户画像：数据高敏感、有专职 AI 团队（至少 3 人）、业务对 RAG 依赖度高（不是玩具而是核心链路）、有 3-5 年的长期规划。
一个诚实的观察是：过去 12 个月里，开沿看到的自建成功案例，团队都有 3 人以上的 AI 工程能力和一个不空转的 RAG 评估集。少一样都容易翻车。关于 AI Agent 落地的整体路线，可以看AI Agent 实施路线图，里面有一份从 PoC 到生产级的分阶段清单。
8. 4 类典型场景推荐组合
把 5 家平台按 4 类企业最常见的 RAG 场景做推荐组合。这不是唯一答案，是开沿在真实项目里给出过的落地路径。
| 场景 | 首选 | 备选 | 不建议 |
|---|---|---|---|
| 内部知识库/员工助手 | 阿里百炼 或 腾讯云 ima | 自建 LangChain | Coze（企业级弱） |
| 外部客服/售后问答 | 腾讯云 ima（企微生态） 或 阿里百炼 | 自建 LangChain | OpenAI（合规） |
| 销售辅助/业务问答 | 阿里百炼（Agent 强） | 自建 LangChain | ima（定制弱） |
| 研发辅助/代码问答 | 自建 LangChain 或 OpenAI（出海） | 阿里百炼 | Coze（复杂 Agent 弱） |
内部知识库/员工助手：本质是把散落的 HR 政策、报销规则、产品手册、内部 wiki 变成能问答的助手。这类场景数据体量不大、合规要求高、调优空间可控，SaaS 就够用。已经在企微上跑业务的走 ima，用钉钉的走百炼。
外部客服/售后问答：核心是响应速度、准确率、可交接给人工的能力。ima 在企微生态里对客户群、客服人员、CRM 的打通是原生的，起量快；百炼适合已经在阿里云上的重型客服场景。
销售辅助/业务问答：不只是问答，还要能查订单、看客户档案、生成话术、发企微消息，这就是 Agent 化的活。百炼的 Agent 编排最成熟，自建 LangChain 是备选。
研发辅助/代码问答：代码搜索、API 文档问答、故障排查建议这类场景，对模型能力要求高。自建 LangChain 灵活性最高、可以接内部代码仓库；纯出海业务可以用 OpenAI。
9. 决策自检 6 问
选型之前先问自己 6 个问题，答完再看上面的推荐组合，会稳很多。
| 自检问题 | 关键分档 | 影响的选型方向 |
|---|---|---|
| 数据敏感度 | 公开信息 / 内部信息 / 高敏感 | 高敏感必自建或私有化 |
| 预算档位 | <30 万 / 30-100 万 / >100 万 | 低预算走 SaaS，高预算才考虑自建 |
| 团队 AI 工程能力 | 0-1 人 / 2-3 人 / 3+ 人 | <2 人放弃自建 |
| 文档规模 | 万级 / 十万级 / 百万级+ | 百万级以上必上专用架构 |
| 峰值 QPS | <10 / 10-100 / 100+ | 高 QPS 要提前规划集群和缓存 |
| 接入生态 | 企微 / 钉钉 / 飞书 / 独立 | 生态匹配比模型选择更重要 |
硬约束：6 个问题全部答完并写下明确答案，才能推进选型；任何一个模糊或者"看情况"，先补齐再谈。开沿见过太多客户跳过这一步直接看 demo，选完之后又回来推倒重来。
关于预算档位怎么算得更准确，可以看AI Agent 定制开发价格和AI Agent 开发成本拆解，那两篇把成本结构讲得比较透。
10. AI 接进来的 3 个坑
RAG 平台从跑通到用得好，中间隔着 3 个几乎所有客户都要踩一遍的坑。开沿在 1000+ 个项目里反复见过，先在这里写下来，或许能帮你少踩一次。
坑 1：不建召回评估集就是玄学。 RAG 的效果就是召回质量和 prompt 质量的乘积。没有评估集你根本不知道改一次参数是变好还是变坏，只能靠客服反馈判断，反馈周期太长，最后不敢动。评估集建设的成本不高但需要业务方参与——200-500 条真人问答、覆盖高频/边缘/恶意三类、每周跑一次基线。这件事没做，选任何平台都会陷入"越调越差"。
坑 2：大模型换代成本。 从我们做过的项目看，一个 RAG 系统的生命周期里至少要经历 2-3 次大模型换代。选平台时要看：换模型时切分、召回、prompt 是不是要全部推倒重来。开放度高的平台（百炼、自建）换代成本低，封闭平台（Coze、ima）换代基本等于重做。
坑 3：数据治理才是决胜局。 平台好不好用只决定项目的 40%，剩下 60% 是数据本身的质量。同一个概念多种叫法、老文档不更新、重要知识散落在 IM 里没沉淀，这些问题不解决，任何 RAG 平台都跑不出好效果。数据治理是慢功夫，需要在选平台的同时启动，不然平台上线时数据还没准备好，effect 会打折 50% 以上。
关于 AI Agent 的记忆、工具调用和 RAG 是怎么一起工作的，AI Agent 的记忆、工具与 RAG有更细的架构拆解。
11. 写在最后
企业 RAG 平台选型，核心的 5 条铁律：
- 不要看 demo 做决定。用自己的业务数据跑 PoC，用自己的评估集打分，看真实分数不看厂家演示；
- 数据合规是硬门槛。国内主流业务不要碰境外服务，出海业务另说；
- 调优深度比模型能力更重要。天花板不是模型给的，是平台给的调优口子给的；
- SaaS 起步、自建接管是最常见的成熟路径，不用一步到位；
- 数据治理和评估集这两件事不做，任何平台都救不了你。
如果你正在做 RAG 平台的选型评估，欢迎把你现在的数据规模、合规要求、预算档位、团队能力这几个信息整理一下，我们可以一起过一遍，看看哪些是真需求、哪些是被 demo 带偏的。开沿 5 年做过 2000+ 家企业的数字化、1000+ 个项目，见过的坑够多，或许可以帮你把这一次的选型做得更稳一点。
