问题 / 你大概正在遇到
改提示词靠感觉，改完不知道变好还是变差。
一、为什么会反复发生
- 没有固定测试集，每次用不同例子
- 只看一两个案例就下结论
- 没有记录版本，改坏了回不去
二、四步做法
- 收集 30 个真实输入，标注期望输出
- 每次改动跑同一批，记录通过率
- 保留版本与改动原因
- 通过率提升 ≥5% 才上线，否则回滚
三、对照表
| 维度 | 怎么看 | 注意 |
|---|---|---|
| 通过率 | 30 个里多少符合期望 | 样本要真实 |
| 稳定性 | 同一输入多次结果 | 温度影响 |
| 成本 | token 与耗时 | 别只看效果 |
四、常见问题
30 个样本够吗？
起步够；上线后每周补新样本，逐步到 100 个。
谁来标注？
业务方标，不要由写提示词的人自己标。
五、怎么落地
上面这些做法，用一张表 + 一个看板就能先跑起来：免费模板里有窗口台账、日报、审批队列与周会议程； 跑通之后想固化成一屏，再看在线看板与定价。
我们不写客户案例（当前 ARR $0，没有可公开的付费客户），所以文中只给方法与边界，效果需要你自己测。
六、测试集怎么攒才不费劲
不用专门造数据，从三个地方捡：
- 客服/销售的真实提问：每周挑 5 条存下来。
- 上线后翻车的案例：每翻一次车，把输入与正确输出补进测试集。
- 边界情况：空输入、超长输入、多语言混写，各准备 3 条。
三个月就能攒到 60–100 条。此后每次改提示词，先跑这批再看效果——比"感觉变好了"可靠得多。
另：改提示词前先跑一遍测试集，改完再跑一遍。
RELATED // 继续读
相关的几篇（含跨分类）
- 低代码平台怎么选：先看「三年后谁来改」 · 对比与选型
- 上线后优化：先解决「慢」，再谈「智能」 · ERP 与系统选型
- AI 成本控制：先看「谁在烧」，再谈优化 · AI 转型
- 项目管理工具怎么横向比：五个维度，别再比功能数量 · 对比与选型