问题 / 你大概正在遇到
报表上一堆指标，看不出转型到底有没有用。
一、为什么会反复发生
- 用模型指标（准确率）代替业务指标（节省的工时）
- 只看总量不看分布：平均值好看，关键场景仍然很慢
- 没有对照组：改善可能来自季节或人员变动
二、四步做法
- 每个场景定一个业务指标：处理时长、退回率、人均产出、响应时效
- 保留一个对照组（没用 AI 的同类团队或同类任务）
- 每月看分布而不只看均值：P50 与 P90 都要看
- 连续两个月没改善就停，不要用「还在爬坡」解释
三、对照表
| 指标 | 怎么算 | 常见造假 |
|---|---|---|
| 处理时长 | 任务从进入到完成的中位耗时 | 只统计成功样本 |
| 退回率 | 被退回重做的产出占比 | 把退回算成新任务 |
| 人均产出 | 产出物数量 / 有效工时 | 把半成品算成产出 |
四、常见问题
没有对照组怎么办？
用时间对照：改造前后各四周，同一批人、同一类任务，比较中位数。
老板只看一个数看什么？
看「同样的活，现在几个人做」。这是最不容易被口径操纵的指标。
没有对照组怎么办？
用时间对照：改造前后各四周，同一批人、同一类任务。
指标多久看一次？
每月一次，且连续两个月不看单点波动。
场景推演
SCENARIO // 假设一个团队
假设一个客服初筛场景：原来人工 8 分钟/单，AI 初筛后 5 分钟/单，但 P90 从 10 分钟变成 18 分钟（复杂单被 AI 拖慢）。只看均值是变好了，看 P90 才发现体验变差【假设，示意分布】。
这是推演不是客户案例；数字为演算口径，标【假设】的部分请按你自己的数据替换。
五、怎么落地
上面这些做法，用一张表 + 一个看板就能先跑起来：免费模板里有窗口台账、日报、审批队列与周会议程； 跑通之后想固化成一屏，再看在线看板与定价。
我们不写客户案例（当前 ARR $0，没有可公开的付费客户），所以文中只给方法与边界，效果需要你自己测。
RELATED // 继续读
相关的几篇（含跨分类）
- AI 转型的预算怎么花：先花在流程上，别先花在模型上 · AI 转型
- 企业 AI 转型怎么开始：先选一个「能量化」的试点 · AI 转型
- AI 转型的组织配套：谁来推、谁负责、怎么算成绩 · AI 转型
- ERP 上线后看什么：四个数，别只看「有没有在用」 · ERP 与系统选型