Agora 中文文档 下载 App

模型选型:手机内存能跑多大的模型

两个决定一切的参数

挑 GGUF 文件时反复出现两个词:

一个粗略的心算公式:内存占用 ≈ 参数量 × 量化字节系数 + 上下文开销。上下文开得越大,额外吃掉的内存越多,手机上别把上下文一次拉满。

按手机运存分档

以下建议综合了第三方应用市场整理的经验与本地推理的普遍规律,供起步参考:

手机运存建议范围说明
6 GB 以下3B 以下小模型更大的模型易闪退,小模型反而流畅
6–8 GB3B–7B 量化版(Q4 系)主流选择,速度与质量可接受
12 GB 以上7B–13B 量化版可尝试留意后台留白,别满载

量化档位上,新手闭眼选 Q4 系列(如 Q4_K_M 这类常见命名)——质量与体积的平衡点,也是社区下载量最大的档位。

文件体积的现实提醒

选型的顺序建议

  1. 先用最小可用模型跑通全流程(确认权限、导入、加载都正常);
  2. 再逐级上探,每次记下加载时长与生成速度;
  3. 卡在「能用但很慢」的档位就是你这台手机的上限。

模型表现可能随版本更新优化,以官方最新版为准。

相关页面