问题 / 你大概正在遇到
想微调模型,但标注没人做。
一、为什么会反复发生
- 把标注当成一次性任务,没算长期
- 没有标注规范,同一个样本三个人三种标法
- 标完不校验,数据质量差
二、四步做法
- 先判断:是评测集(几十条)还是训练集(几千条)
- 评测集自己标,业务方标最准
- 训练集可外包,但规范与抽检必须自己做
- 每批抽 10% 复核,一致率低于 90% 就返工
三、对照表
| 用途 | 量级 | 谁做 |
|---|---|---|
| 评测集 | 30–100 条 | 业务方自己 |
| 微调训练集 | 1,000+ 条 | 外包 + 抽检 |
| 线上反馈 | 持续 | 自动收集 + 人工抽检 |
四、常见问题
能不能用 AI 标注?
可以做预标,但必须人工复核,否则错误会放大。
标注贵吗?
按条计费,量级决定成本;先标 100 条试成本。
五、怎么落地
上面这些做法,用一张表 + 一个看板就能先跑起来:免费模板里有窗口台账、日报、审批队列与周会议程; 跑通之后想固化成一屏,再看在线看板与定价。
我们不写客户案例(当前 ARR $0,没有可公开的付费客户),所以文中只给方法与边界,效果需要你自己测。
七、把方法落到具体动作
标注这件事,最大的成本不是人力,而是「标准不一致」。同一个样本,三个人标出三种结果,最后训练出来的模型会学到混乱。所以开始标注之前必须先做三件事:写一份标注规范,用十个例子说明边界情况;让三个人独立标同一批二十条,算一致率,低于 90% 就先改规范而不是继续标;固定抽检比例,比如每批抽 10% 复核,错误率高的批次整批返工。规范与抽检做好,标注质量能上一个台阶;跳过这两步,标得越多错得越多。
RELATED // 继续读
相关的几篇(含跨分类)
- 创始人怎么决策:把「拍脑袋」变成「可复盘」 · 管理与协作
- 要不要给免费试用:看「上线成本」而不是「价格」 · 增收与获客
- 轻量数据库怎么选:先看「多人同时改」这一条 · 对比与选型
- 历史数据迁移:只迁「还在用的」,其余归档 · ERP 与系统选型