转赞:从部署文档学上线前必查的五件事

一、AI 服务上线前该看什么

很多人把模型调通了就直接上线,然后被三件事打穿:超时、并发、遥测。

这三件事,都不在模型里。

二、一个反向的思路

与其问“模型能做什么”,不如问“服务能不能稳定跑”。

BackendWiki 的部署类文档里,几乎每一篇都在强调同一个顺序:先确认环境、再确认端口、再确认日志。

这个顺序放在 AI 服务上也成立。

三、三个先确认的事

一、超时。

模型调用很慢。前端请求默认 30 秒,后端调用却要 60 秒。结果就是前端先断。

所以要用异步任务:提交 → 查状态 → 取结果。不要让用户等。

二、并发。

十个用户同时点,就是一个排队问题。

不设队列,结果就是全部超时。

三、日志。

出了问题,至少要知道:输入什么、输出什么、耗时多少。

三样不存,排查就只能猜。

四、五个上线前必查

  1. 网络连通与超时设置。
  1. 队列长度与重试次数。
  1. 失败时的降级方案(例如转人工、返回缓存)。
  1. 成本上限(每天的调用封顶)。
  1. 关闭错误暴露(不要把上游报错原文给用户)。

五、为什么要设成本上限

因为一个循环调用能在几小时内把预算烧完。

这不是假想,是真实发生的事。

六、一个最小的监控

三个数:成功率、P95 耗时、今日调用量。

每天看一眼,异常时能马上发现。

七、一个提醒

不要把 API 密钥写进前端。

这条每年都有人犯。密钥泄露的后果,比服务挂了严重得多。

八、扩展阅读

部署细节可以对照官方文档。

万象云档 的云计算与大数据分类下有一百多篇公开文档,环境准备与端口配置写得比较完整。