模型选型:手机内存能跑多大的模型
两个决定一切的参数
挑 GGUF 文件时反复出现两个词:
- 参数量:模型大小的基础单位,常见 1B、3B、7B、13B(B = 十亿参数)——越大越聪明,也越吃内存;
- 量化等级:把参数压缩存储的精度,常见 Q4、Q5、Q8——数字越大越接近原精度,文件越大。同参数量下,Q4 版体积与内存占用大约只有 Q8 的一半。
一个粗略的心算公式:内存占用 ≈ 参数量 × 量化字节系数 + 上下文开销。上下文开得越大,额外吃掉的内存越多,手机上别把上下文一次拉满。
按手机运存分档
以下建议综合了第三方应用市场整理的经验与本地推理的普遍规律,供起步参考:
| 手机运存 | 建议范围 | 说明 |
|---|---|---|
| 6 GB 以下 | 3B 以下小模型 | 更大的模型易闪退,小模型反而流畅 |
| 6–8 GB | 3B–7B 量化版(Q4 系) | 主流选择,速度与质量可接受 |
| 12 GB 以上 | 7B–13B 量化版可尝试 | 留意后台留白,别满载 |
量化档位上,新手闭眼选 Q4 系列(如 Q4_K_M 这类常见命名)——质量与体积的平衡点,也是社区下载量最大的档位。
文件体积的现实提醒
- 模型文件通常以 GB 计(小模型几百 MB,7B 级 4 GB 上下,更大模型十几 GB);
- 下载用 Wi-Fi,安装前确认剩余存储充足——空间不足是「下到一半失败」的头号原因;
- 下载源建议选官方模型库或可信社区发布页,文件本身的质量也需要把关。
选型的顺序建议
- 先用最小可用模型跑通全流程(确认权限、导入、加载都正常);
- 再逐级上探,每次记下加载时长与生成速度;
- 卡在「能用但很慢」的档位就是你这台手机的上限。
模型表现可能随版本更新优化,以官方最新版为准。
相关页面
- 导入的具体操作,见导入 GGUF 模型;
- 加载失败、闪退的排查,见故障排查。