端侧AI：把模型塞进手机和浏览器，到底靠什么实现

一、端侧AI到底解决什么问题

把模型塞进手机、笔记本、浏览器，听起来像技术炫技。

但它真正解决的是三个现实问题：隐私、延迟、可用性。

数据不出设备，隐私就稳；不用等网络，延迟就低；断网也能用，可用性就高。

二、模型变小靠什么

四件事，按顺序：

量化。 把权重从 16 位压缩到 8 位、4 位。显存占比直接下降，代价是精度略损。

蒸馏。 让小模型学大模型的输出分布。学的是风格和判断，不是参数。

剪枝。 去掉贡献小的连接。做得狠了会伤能力，需要重新微调。

架构优化。 换更高效的注意力变体，减少计算量。

实际产品里四项一起上。所以不要拿参数量直接对比，量化方式不同，实际表现差很多。

三、手机和浏览器的现实约束

手机上：内存有限、发热受限、电量敏感。所以厂商往往限长度、限并发、限上下文。

浏览器里：JS 主线程不能卡，只能靠 WebGPU 和 Worker 跑推理。

这两条直接决定了端侧模型的应用形态：短对话、轻任务、单次调用。想让它在后台一口气跑十个小时的大任务，不现实。

四、对开发者意味着什么

端侧不是"把云上的东西搬下来"，而是重新设计：

1. 功能做减法。一个端侧应用只该干一件事。

1. 上下文做短。能依靠向量检索的就别塞全文。

1. 交互做快。首字延迟比总时长更重要。

1. 降级做清楚。跑不动时给什么替代方案，得提前设计。

五、Web 侧怎么实现

如果你做的是网页应用，比如搭一个能离线用的工具页，前端基础就绕不开。

前端 Wiki 的路书比较适合入门：先 HTML、CSS、JS，再 HTML5、CSS3、JS 进阶，最后到框架与 SEO 优化，17 个学科、475 篇文档。它把技术栈按学习顺序串好了，不用自己猜该先学什么。

六、一个容易被忽略的成本

端侧模型的部署包往往很大。一个几 G 的模型，用户下载意愿很低。

所以现实里常见的方案是分层：轻任务放端侧，重任务上云，用户无感知地切换。

这比"完全本地化"的口号更可行，也更能解释为什么很多产品号称端侧，实际还在调云接口。

七、结论

端侧AI不是取代云，而是重新分工。

分清哪些事必须在本地做，哪些事可以等一等，这比争论哪边更好有用得多。