用 WorkBuddy 整理「失败样本」:按原因分堆而不是按时间
模型用久了会攒一堆失败样本:答非所问、格式崩了、中途截断。多数人把它们按时间堆在一个文档里,复盘时从头翻,翻完也没结论。这次用 WorkBuddy 做了一次重新整理:按原因分堆,而不是按时间。
先定分堆维度
不让它自由归类,否则每次换一套标签,前后没法比。固定四个维度:
| 维度 | 判定依据 |
|---|---|
| 指令未遵守 | 输出明显偏离要求 |
| 结构错误 | 格式、分段、字段不对 |
| 知识缺口 | 事实错误或编造 |
| 截断丢失 | 没写完、被截断 |
每条样本只进一类,判不准标「待确认」。之后由人看「待确认」那批,不批量处理。
工具负责什么
把失败样本交给 WorkBuddy,要求按上面四个维度归类,并给出每一堆的数量与一句典型例子。明确要求不改写样本、不臆造原因、只做分类与计数。
这与 WorkBuddy 文档 里强调的「先说清输入与边界再执行」一致:把维度写死,输出才稳定可比。关于「数据要结构化成可统计的字段」这一点,HTML 入门教程 讲结构化数据时的原则也相通——能按字段归,就能按字段数。
整理完的用处
- 哪一类占比最高,改进就先打哪一类;按时间排是看不出优先级的。
- 同一类反复出现,说明是系统性问题,该改提示词或流程,不是个别偶发。
- 数量下降曲线比「感觉好点了」更有说服力。
最实用的是第一点:失败样本的价值不在收藏,在指向该改哪。
适用边界
适合输出可判定对错的场景。开放生成、本就多样的表达不适合硬分堆,强分类反而失真。另外,计数别当绝对指标,样本少时比例会晃。
小结
失败样本按原因分堆,时间线让给优先级。四个维度、只进一类、给分布,一堆散乱的出错记录就能变成可行动的改进清单。