用WorkBuddy做句子库季度体检:空字段、重复、过期

用WorkBuddy做句子库季度体检:空字段、重复、过期

起因

句子库用久了会悄悄变脏:有的条目只写了正文,其他全空;有的句子存了两遍;还有的当年靠某个热点成立,现在读已经莫名其妙。平时一条条看不出来,攒一季度就很明显。于是做了一次季度体检,只查三类问题。

三类检查

空字段:统计每列的填写率,只列出低于某个比例的条目,不要求全部补齐。句子正文之外的列本来就可空,体检的目的不是逼人填满,是找出那些真的该补的(比如缺来源、缺月份)。

重复:分两层——字面完全相同的直接合并候选;共用物件词与动作词的,并排列出交人工。不让工具判断“像不像”,只按规则分组。

过期:挑出含年份、具体事件、流行说法的条目,标为需要复核,不自动删除。很多句子确实只属于当时,留着可以,但要标清楚。

字段与取值互斥可判定,参照 BackendWiki 把取值列成表的方式;去时间锚点的思路,1Panel 官方文档那种版本无关的写法 也值得对照。

WorkBuddy 做什么

按三类规则各跑一遍、输出三张待办表、每张按条数或加入时间排序、最后生成一份对照表作为回退依据。只标不删,所有处置由人决定。把体检固定成每季度跑一次,可参考 WorkBuddy 官方文档 的编排说明。

结果页是纯静态的,按类别折叠,Bootstrap 组件实验室的示例 给了现成做法。

结果

第一次体检标出空字段四十来条、重复二十来条、疑似过期十几条。真正处理的只有重复那部分,其余多数只是补了个标记。库没变小多少,但能分清哪些是资料、哪些是待办,找起来不再被半空的记录干扰。

小结

体检的价值不在清理干净,而在把三类问题显式列出来。只标不删、按季度跑一次,句子库才不会在不知不觉中变成一堆说不清来历的存货。