一、政务问答和普通客服不是一回事
普通客服答错了,用户最多不高兴。政策问答答错了,可能让人白跑一趟。
所以这类系统的第一原则是:答不出来就说不知道,并告诉人去哪问。
政务问答和普通客服最大的区别是:答错有责任。
普通客服答错,用户换个渠道再问;政务问答答错,可能直接影响一个人的办事路径。
所以这类系统的第一条设计原则,是「宁可说不知道」。不会答可以转人工,答错会出事。
二、知识库怎么建
三层:
一、原文层。政策文件、办事指南、常见问题,保持原样,不加工。
二、条款层。把长文件切成条款,每条带文件名、条款号、生效日期、适用对象。
三、问答层。常见问题配标准答案,答案必须引用条款号。
第三层最花时间,但也最有用,因为多数咨询就是那几十个问题。
三件事要一起写:镜头、光、以及人物状态。镜头决定视角,光决定气氛,状态决定可信度。
只写镜头,画面会很空;只写光,像摄影棚;只写状态,构图会乱。
我的习惯是先定镜头,再定光,最后补一句人物在做什么。三句就够,多了它反而抓不住重点。
三、回答必须带出处
每条回答后面附:文件名 + 条款号 + 生效日期。
三个理由:用户能自己核对;出错时能定位;政策更新时能批量替换。
不带出处的回答,在这个场景里等于没有回答。
知识库怎么建,我的建议是「按文件建,不按主题建」。
一个政策一个条目,条目里保留原文、文号、生效日期、失效日期。
按主题建库看起来好用,实际上最容易过期——主题是概括,概括会失真。原文不会。
四、时效性怎么处理
政策会变。做法是给每个条款挂两个日期:发布日和失效日。
检索时先按日期过滤,失效条款不进结果。
还要处理"新旧并行"的情况,回答里明确说清适用哪一版。
后半段崩塌,通常出在「运动」上。长镜头里物体要走,模型走着走着就丢了。
解法是拆段:把长镜头拆成两三段,每段只让一个元素动。
还有一个技巧:给一个明确的前景遮挡,模型有参照物就不会跑偏。
五、三个必须人工兜底的场景
一、涉及金额、资格、时限的判定;
二、多个政策叠加适用的情况;
三、用户描述含糊,无法确定适用条款。
这三类不要交给模型做结论,转人工或者给明确的咨询电话。
三个必须人工兜底的场景:涉及个人资格判定、涉及金额计算、涉及跨部门流程。
这三类问题的共同点是,答案依赖具体情况,而具体情况系统看不到。
兜底不是失败,是设计。把这三类明确标出来,比让模型硬答强得多。
六、评测怎么做
准备五十个真实咨询,人工写出标准答案和必须包含的要素。
评测时不看语句相似度,看要素覆盖率:该提的条件提了没有,该给的出处给了没有。
评测怎么做,说个可执行的办法:拿一百条真实来电记录,人工标注标准答案和出处。
然后跑系统,看两件事:答对率、出处是否正确。出处错但答案对的,也算错。
这一条很关键。政务场景里,答案对而依据错,等于埋了一颗雷。
补一个关于素材的经验:参考图要少而准。
给十张风格各异的参考图,模型会平均,出来的东西四不像。
给两到三张同风格的,效果明显好。风格这件事,宁窄不宽。
最后提醒:先写场景,再写风格。风格是形容词,场景是动词。
只给风格,模型会给你一张很美的空镜;给了场景,它才知道要画什么。
再补一句:长镜头不是越长越好。超过八秒,人的注意力会掉。
把八秒当成上限,宁可多切几段。
再补一句:画面前后要留「静止」。全是运动,观众会累。
一段八秒的镜头里,最好有两秒是静的。静的那两秒,反而让人记住画面。
节奏不是一直快,是有快有慢。
再补一句:写镜头时,先写「谁在看」。视角定了,画面才定。
同一个场景,俯拍和仰拍是两件事。
视角是第一个决定。
延伸参考
落地到接口和数据流的部分,BackendWiki 里写得细一些。
留一句:政策问答的合格线,是用户拿着你的回答能一次办成事。