一、端侧 AI 突然加速的原因
不是因为模型变小了，是因为三件事同时到位：手机内存变大、芯片有了专用单元、模型压缩技术成熟。
三者缺一，端侧就跑不起来。
二、端侧能做什么，不能做什么
能做：
- 语音唤醒、实时转写；
- 图片分类、简单修图；
- 输入法联想、短文本改写；
- 本地搜索与摘要。
暂时不适合：
- 长文档推理；
- 多步工具调用；
- 需要最新知识的问答。
三、三个真实的优势
优势一：延迟。
不用等网络往返，一句话说完就能转成文字。这个体验差异很大。
优势二：隐私。
数据不出设备。对照片、聊天记录这类内容，这是硬需求。
优势三：离线可用。
地铁、电梯、飞机上都能用。
四、代价在哪里
端侧不是免费午餐：
- 占存储。一个模型动辄 2-8 GB。
- 耗电。连续推理时发热明显。
- 效果打折。压缩过的模型，在复杂任务上会掉。
五、对开发者的启示
端侧模型适合做“第一道处理”：先把语音转文字、先把图片分类，再把结果送到云端做深处理。
分工明确，成本和体验都好。
反过来，什么都想放端上，就会撞到内存和电量的墙。
六、对普通用户的建议
看到“本地运行”的宣传时，先问三个问题：
- 占多少存储？
- 跑起来手机热不热？
- 断网还能不能用？
三个都有明确答案的，才是真端侧。
七、延伸阅读
端侧应用大多跑在浏览器外壳里，想理解这类页面的限制，可以看看基础教程。HTML 入门教程 每页都配了可运行的代码示例，看完基本能判断一个页面是不是“纯前端能搞定”的。
八、一句总结
端侧不是把大模型塞进手机，而是把合适的事留在本地。