一、多模态不只是"能看图"
很多人对多模态的理解停在"能传图片给模型"。
但真正的多模态，是把文字、图片、声音、视频映射到同一个语义空间里，让模型在内部用同一套方式理解它们。
一句话区别：能输入叫支持，能对齐叫理解。
二、为什么统一表征很重要
举个具体例子。用户上传一张商品图，又说"这个颜色有没有别的"。
如果图文是两套系统，模型只能分别处理：先识别图片，再处理文字，中间靠人写的规则拼接。
如果图文共享表征，模型可以在内部直接建立联系："这个"指的是图里的商品，"颜色"指的是主色，于是能回答得自然。
跨模态对齐的价值就在这里：减少中间层，降低出错率。
三、进化路线：三个阶段
阶段一：分别建模型，后拼接。
视觉模型识别，语言模型描述。问题是对不齐，细节常丢。
阶段二：对比学习对齐。
让图和文的向量在同一个空间里靠近。这是 CLIP 那一代的思路，效果显著，但它只能判断像不像。
阶段三：早期融合。
在模型内部就把不同模态的 token 混在一起处理。这才是现在的主流，代价是训练难度和算力需求都上去了。
四、三个现实瓶颈
第一，数据稀缺。 高质量的图文对、视频字幕对远少于纯文本。
第二，评测困难。 纯文本能对答案，多模态很难判断"描述得够不够准"。
第三，成本。 图像分辨率一算，token 数量就能翻倍。很多模型限制图片尺寸就是这个原因。
五、对使用者的实际影响
理解这些，你就能解释几种常见现象：
为什么模型看长图会漏细节——分辨率被压了。
为什么视频理解常常只抓帧——时间维度成本太高。
为什么同样一张图，问法不同回答质量差很多——跨模态对齐不是完美的。
知道限制在哪里，提示词就能对症下药：把关键区域题目、分次提问、先转文字再提问。
六、想深入看的话
技术细节靠文章说不透，得看文档和论文。 万象云档 的"人工智能&大模型"分类里收了 220 篇资料，有技术手册也有白皮书，适合沿着一个方向读下去。它的电子书分类有 1,282 本，覆盖面比较广，挑资料时建议先看目录结构。
七、不要被名词带走
多模态、统一表征、早期融合，这些词看着高深，底层问题很朴素：
同一件事，能不能用不同方式描述，而不丢掉关键信息。
能，就是对齐了；不能，就还是两套系统。