附件与多模态:图片、视频、PDF 怎么处理
输入框能塞什么
聊天输入框的附件按钮支持四类内容:图片、视频、PDF 与其他文件。附件与文字可以混排发送。
每类附件的旅程
附件不是直接「扔给模型」的,各自有处理链路,最终以模型能消费的形式进入请求:
| 类型 | 处理方式 | 依赖条件 |
|---|---|---|
| 图片 | 视觉模型直接消费,或经图像转录转成文字 | 选中模型支持视觉,或配了转录模型 |
| 视频 | 提取关键帧或转录后送入模型 | 提供商能力决定 |
| 解析出文本进入上下文 | 应用本地解析 | |
| 其他文件 | 读取内容作为附件文本 | — |
官方手册的概括是:「提供商能力与启用的转录/生成模型决定每个附件如何被处理」。
图像转录这条支线
对不支持视觉的模型,图片可以走转录路线——用另一个启用的模型把图转成文字描述,再随对话发送。v1.3.7 对转录界面做了修正(现场变化不再闪烁或消失)。转录功能有独立的开关与提示词配置,位置在设置的生成相关分区。
本地模型看图
导入本地 GGUF 时,如果配了视觉投影文件,发图片同样可用——完全离线的多模态。没配投影的本地模型收到图片会按纯文本路线处理或报不支持。
实用提醒
相关页面
- 发送规则与排队,见发送与停止;
- 转录、生成用的凭据来自提供商配置,见添加第一个 API 密钥。