本地部署大语言模型入门：Ollama + Open WebUI 实战

本地跑模型的三类理由

数据不出本机（隐私与合规）、离线可用、以及免费无限次调用。代价是模型能力通常弱于顶级商业 API，且受本机显存/内存限制。

第一步：安装 Ollama

Ollama 是目前最流行的本地模型管理工具，一条命令拉取并运行模型：

• 下载安装后执行 ollama run qwen2.5:7b，即可在终端对话。
• 常用命令：ollama list 查看已装模型，ollama pull 拉取，ollama rm 删除。
• 国内下载模型慢的话，可设置镜像源或先用本站收录的 硅基流动 SiliconFlow 等平台体验。

第二步：选模型

• 8GB 显存/内存：7B–8B 的 4-bit 量化模型（如 Qwen2.5 7B、Llama 3.1 8B）是甜点。
• 16GB 以上：可上 14B，或 7B 的更高精度量化，质量提升明显。
• 纯 CPU：能跑，但速度慢，建议 7B 起步并降低上下文长度。

第三步：套一个对话界面

Open WebUI 提供类 ChatGPT 的网页界面，支持多模型切换、知识库（RAG）与用户管理，Docker 一条命令即可启动，对接 Ollama 零配置。想把自己的模型包成服务，vLLM 提供高吞吐推理，Text Generation Inference 是 Hugging Face 的对应方案；快速做演示页可以用 Streamlit。

理解量化

量化把模型权重从 16 位压到 4–8 位，显存占用大幅下降，质量损失通常很小。Q4_K_M 是社区最常用的均衡档位；显存紧张时再考虑更激进的量化。

性能预期

• 速度以 tokens/s 衡量，7B 模型在消费级显卡上通常 20–60 tokens/s，够日常使用。
• 上下文越长，显存占用与延迟越高，本地使用建议 8K 以内。
• 首 token 延迟比生成速度更影响体感，预热与合理批处理能改善。