视觉投影:让本地模型看懂图片
本地模型的视觉短板与补法
纯文本 GGUF 模型只认文字。多模态开源模型(如视觉语言模型)的发布包里通常还带一个投影文件,扩展名 .mmproj——它负责把图像转成模型能理解的表示。Agora 支持把两者配对:主模型管语言,投影管看图。
配对步骤
- 下载模型时确认发布页同时提供 .mmproj 文件(没有就说明该模型不支持视觉);
- 「设置 → Providers → Local」导入或编辑模型条目;
- 在条目里关联可选的视觉投影文件;
- 保存后,模型行会出现视觉支持的标记,聊天里发图片即可走多模态处理。
换绑与删除的细节
官方手册明确了几个容易踩的清理规则:
- 编辑条目替换或移除投影文件时,Agora 会删除旧的投影副本——不用担心残留占空间;
- 删除整个模型条目时,应用托管的 GGUF 与投影文件一起删;
- 这些删除只作用于应用自管理的副本,你自己下载的原始文件在应用外部,不受影响。
能力预期
- 本地视觉模型的表现与参数量强相关,小模型看图能力有限,复杂的图表、密集文字识别不要抱太高期望;
- 视觉处理同样吃内存,与上下文大小叠加计算;
- 云端多模态(如 Gemini)的效果通常好于本地小模型——重要场景两条路线都试再定。
相关页面
- 主模型的导入与参数,回看导入 GGUF 模型;
- 附件(图片、视频、PDF)在对话里的完整处理链路,见附件与多模态。