一、为什么需要自己的评测集
榜单测的是榜单想测的东西。
你的任务是抽取订单号、判断语病、写短句，这些榜单都不测。
二、建集子的四步
第一步：抽真实样本。
从你过去的真实任务里拿，不要自己编。编的题目往往太干净。
第二步：定标准答案。
每个样本写一行“什么算对”。
如果连你自己都说不清什么算对，这个任务就不适合自动化。
第三步：分层。
三十道里，十道简单、十道中等、十道难。难度分层才能看出上限。
第四步：写评分方式。
两类：完全匹配（对/错）、部分匹配（给分）。
抽取类用前者，写作类用后者。
三、一个最小集子的样子
```
id: 1
输入：发票截图文字…
类型：抽取
期望：金额=3880.00，日期=2026-10-12
评分：两项全对才算对
```
三十条就是三十行。
四、怎么用
每次换模型、改提示词、升级版本，都跑一遍。
记录三个数：准确率、平均耗时、平均输出长度。
五、一个常见错误
集子建完就不再更新。
半年后它测的东西已经不是你现在的任务了。
我的做法是每季度加五道新题、删五道过时的。
六、一个经验
三十道题比一百道题有用。
一百道题你不会每次跑，三十道你会。
能坚持跑的评测，才是有用的评测。
七、人工评分怎么办
不要指望全自动。
我的做法是：机器先跑，标出可疑的（例如长度异常、包含“无法”字样），人只检查这些。
八、扩展阅读
数据管理的基本功在这里用得上。
BackendWiki 的 MySQL 专题里讲了表设计与索引，适合把评测结果存起来做趋势对比。