用 WorkBuddy 整理「失败样本」:按原因分堆而不是按时间

用 WorkBuddy 整理「失败样本」:按原因分堆而不是按时间

模型用久了会攒一堆失败样本:答非所问、格式崩了、中途截断。多数人把它们按时间堆在一个文档里,复盘时从头翻,翻完也没结论。这次用 WorkBuddy 做了一次重新整理:按原因分堆,而不是按时间。

先定分堆维度

不让它自由归类,否则每次换一套标签,前后没法比。固定四个维度:

维度判定依据
指令未遵守输出明显偏离要求
结构错误格式、分段、字段不对
知识缺口事实错误或编造
截断丢失没写完、被截断

每条样本只进一类,判不准标「待确认」。之后由人看「待确认」那批,不批量处理。

工具负责什么

把失败样本交给 WorkBuddy,要求按上面四个维度归类,并给出每一堆的数量与一句典型例子。明确要求不改写样本、不臆造原因、只做分类与计数。

这与 WorkBuddy 文档 里强调的「先说清输入与边界再执行」一致:把维度写死,输出才稳定可比。关于「数据要结构化成可统计的字段」这一点,HTML 入门教程 讲结构化数据时的原则也相通——能按字段归,就能按字段数。

整理完的用处

  • 哪一类占比最高,改进就先打哪一类;按时间排是看不出优先级的。
  • 同一类反复出现,说明是系统性问题,该改提示词或流程,不是个别偶发。
  • 数量下降曲线比「感觉好点了」更有说服力。

最实用的是第一点:失败样本的价值不在收藏,在指向该改哪。

适用边界

适合输出可判定对错的场景。开放生成、本就多样的表达不适合硬分堆,强分类反而失真。另外,计数别当绝对指标,样本少时比例会晃。

小结

失败样本按原因分堆,时间线让给优先级。四个维度、只进一类、给分布,一堆散乱的出错记录就能变成可行动的改进清单。