做 AI 产品最常见的剧本是：PoC 阶段惊艳全场，上线之后灰头土脸。演示时模型对答如流，一到真实用户手里就各种翻车。

问题通常不在模型，而在三件事没做好：数据、评估、成本。这三个词听起来不性感，但决定了产品能不能从"玩具"变成"工具"。

关键一：数据——地基决定天花板

很多人纠结选哪个模型、调什么参数，却忽略了数据质量才是真正的天花板。喂给模型的知识库又旧又乱，再强的模型也给不出好答案。

  • 数据质量 > 模型选择：先整理好你的知识库，再谈模型。
  • 数据闭环：把用户反馈、标注结果回流到数据里，形成飞轮。
  • RAG vs 微调：多数场景先上 RAG（检索增强）够用，数据量大且任务固定时再考虑微调。

关键二：评估——没有评测就没有迭代

传统软件有测试用例，AI 产品的"测试用例"就是评估集。没有评估集，你就无法判断一次 Prompt 修改到底是变好了还是变差了，只能靠感觉。

我的做法是：自动评测 + 人工抽检结合。用一批有标准答案的代表性问题自动打分，再定期人工抽检边缘 case。用指标驱动迭代，而不是用心情。

关键三：成本——算得清账才走得远

AI 产品的成本不是一次性投入，而是每次调用都在花钱。规模化之后，延迟和 Token 成本会迅速放大。

  • 延迟：响应用户要快，必要时用流式输出、缓存常见问题。
  • Token 成本：精简 Prompt、只检索必要上下文，别把整本手册都塞进去。
  • 单位经济模型：算清楚"每服务一个用户花多少钱"，再决定定价和规模。

一个不能算清账的 AI 产品，规模越大，亏得越快。

结语

AI 产品的落地，本质上是一个工程问题，而不只是模型问题。把数据、评估、成本这三件事做实，PoC 的惊艳才有可能变成上线的稳定。