本地运行大模型的理由很明确:数据不出本机、不受网络和额度限制、可离线。但把它当成「下载一个 App 就有云端效果」多半会失望:能力、速度、上下文长度都受显存与量化约束。这篇讲清三个方案怎么选,以及第一次跑通要注意什么。
一、先算三笔账:显存、速度、场景
- 显存与内存:模型权重加 KV cache。4-bit 量化下,8B 权重约 5GB,14B 约 9GB,32B 约 20GB(经验值,随结构与量化变化)。上下文越长,KV cache 越大。
- 速度:能否接受每秒十几个 token,取决于显卡和是否把部分层放 CPU。纯 CPU 可用但慢。
- 场景:写作、翻译、代码补全、本地 RAG、隐私数据处理,对模型大小和上下文要求不同,先定主目标。
别只看参数量。14B 的指令微调模型在你的任务上可能比 32B 更稳。先用自己的 20 条真实输入做评测,再决定要不要换。
二、三个工具,三种定位
| 工具 | 是什么 | 强项 | 限制 | 更适合 |
|---|---|---|---|---|
| Ollama | 命令行工具 + 本地服务 | 一条命令拉取并运行模型,提供 OpenAI 兼容接口,应用集成方便 | 可调参数较少;模型库以官方打包格式为主 | 想快速起步、给自己项目接本地模型的开发者 |
| LM Studio | 图形化桌面应用 | 搜模型、下载、聊天、起本地 API 都在界面完成,支持 MCP | 桌面应用为主;高级参数与自动化不如命令行顺手 | 第一次接触本地模型、需要演示和调试的人 |
| llama.cpp | C/C++ 推理引擎 | 直接跑 GGUF,量化与硬件加速选项最多,可嵌入自己的程序 | 要自己编译或挑发行包,参数多、文档偏工程向 | 想榨性能、做部署、研究推理细节的人 |
三者不是并列竞品:Ollama 和 LM Studio 底层都用到 llama.cpp 这类引擎,只是把复杂度包起来。「选哪个」实际是「你愿意接管多少复杂度」。
三、硬件、量化与上下文怎么配
下表数字是保守经验值,不是硬门槛。模型结构、量化方案、上下文长度、是否用 GPU 都会改变结果:
| 内存 / 显存 | 建议尝试 | 预期体验 |
|---|---|---|
| 8GB 统一内存或显存 | 3B–4B,4-bit | 轻量问答、摘要;上下文别开太大 |
| 16GB | 7B–8B,4-bit | 日常写作、翻译、简单代码,速度可用 |
| 24GB | 14B,4-bit | 质量明显提升,长上下文更从容 |
| 32GB 以上 | 30B 级,4-bit | 接近可用的本地助手,速度与显存要权衡 |
量化就是降低权重精度,换更小体积和更快速度。Q4 级量化在多数任务上和更高精度差距不大,但数学、长链推理、代码生成更敏感。GGUF 是目前本地推理最常见的格式,权重和元数据打包在一个文件里,llama.cpp 及上层工具直接读取。买硬件前先跑一个 4B 和一个 8B,看速度能否接受。
四、上手步骤
Ollama,最快路径:
# 安装后确认版本
ollama --version
# 拉取并运行模型(模型名以模型库页面为准)
ollama pull qwen3:8b
ollama run qwen3:8b
# 本地 API 默认在 http://localhost:11434,兼容路径为 /v1
LM Studio:安装后搜索并下载模型,在聊天页加载,打开本地服务器开关,用界面给出的 OpenAI 兼容地址接入脚本。生成参数、上下文长度、GPU 卸载层数都能在界面调,调完存成预设。
llama.cpp:准备 GGUF 文件,按官方说明编译或下载发行包,用 llama-cli 交互测试,再用 llama-server 提供 HTTP 服务。GPU 加速要按显卡后端(CUDA、Metal、Vulkan 等)配置,以官方构建文档为准。
模型动辄几 GB 到几十 GB,注意磁盘和下载源。不同模型许可证差别很大,商用前逐个确认,模型卡通常写明授权。
五、常见坑
- 显存不够硬跑:模型被拆到内存与显存之间,速度骤降。先降量化或换小模型。
- 上下文开太大:长上下文吃掉大量显存,能让本来能跑的模型跑不动。
- 把本地小模型当云端旗舰用:复杂推理、长文写作、多轮工具调用,8B 级和云端旗舰差距明显,任务要匹配能力。
- 只看 tok/s 不看首字延迟:长提示词下,首 token 时间对体验影响更大。
- 格式与版本不匹配:GGUF 版本、量化类型、引擎版本对不上会加载失败,先看模型卡和 release note。
- 忽略采样参数:同一模型不同温度,输出稳定性差别很大;可复现就固定参数并记录。
六、选型清单
- 写下真实用途(隐私、离线、成本、学习),只保留一个主目标。
- 用现有机器跑通一个 4B 模型,记录首字延迟和生成速度。
- 用同一组 20 条问题对比 4B、8B、14B 的可用率,而不是看排行榜。
- 需要 API 兼容与自动化,优先 Ollama 或 LM Studio 的本地服务;需要极限性能或嵌入自有程序,再投入 llama.cpp。
- 定下来后写一页「环境 + 模型 + 参数 + 已知问题」记录,换机器时能复现。
本地模型的正确期待是「一个可控、够用的私有助手」,不是「免费版云端旗舰」。先把任务限定在它能稳定完成的范围内,再逐步加难度。
参考与延伸阅读
外链内容由对应网站负责,访问以实际可用性为准。