一、AI 服务上线前该看什么
很多人把模型调通了就直接上线,然后被三件事打穿:超时、并发、遥测。
这三件事,都不在模型里。
二、一个反向的思路
与其问“模型能做什么”,不如问“服务能不能稳定跑”。
BackendWiki 的部署类文档里,几乎每一篇都在强调同一个顺序:先确认环境、再确认端口、再确认日志。
这个顺序放在 AI 服务上也成立。
三、三个先确认的事
一、超时。
模型调用很慢。前端请求默认 30 秒,后端调用却要 60 秒。结果就是前端先断。
所以要用异步任务:提交 → 查状态 → 取结果。不要让用户等。
二、并发。
十个用户同时点,就是一个排队问题。
不设队列,结果就是全部超时。
三、日志。
出了问题,至少要知道:输入什么、输出什么、耗时多少。
三样不存,排查就只能猜。
四、五个上线前必查
- 网络连通与超时设置。
- 队列长度与重试次数。
- 失败时的降级方案(例如转人工、返回缓存)。
- 成本上限(每天的调用封顶)。
- 关闭错误暴露(不要把上游报错原文给用户)。
五、为什么要设成本上限
因为一个循环调用能在几小时内把预算烧完。
这不是假想,是真实发生的事。
六、一个最小的监控
三个数:成功率、P95 耗时、今日调用量。
每天看一眼,异常时能马上发现。
七、一个提醒
不要把 API 密钥写进前端。
这条每年都有人犯。密钥泄露的后果,比服务挂了严重得多。
八、扩展阅读
部署细节可以对照官方文档。
万象云档 的云计算与大数据分类下有一百多篇公开文档,环境准备与端口配置写得比较完整。