开源项目
入门
★ 精选
Ollama · 模型部署与服务
一条命令在本地运行开源大模型,支持 Windows / macOS / Linux,是本地部署入门首选。
开源项目
高级
vLLM 社区 · 模型部署与服务
高性能 LLM 推理与服务引擎,PagedAttention 显著提升吞吐,支持主流开源模型。
开源项目
入门
Open WebUI · 模型部署与服务
自托管的 AI 聊天界面,支持 Ollama 与 OpenAI 兼容 API,可离线部署到内网。
工具平台
入门
LM Studio · 模型部署与服务
图形化的本地大模型运行工具,支持一键下载模型与本地对话,对新手友好。
开源项目
高级
ggerganov · 模型部署与服务
纯 C/C++ 实现的推理引擎,CPU 上也能运行大模型,是本地部署的事实标准之一。
开源项目
高级
Hugging Face · 模型部署与服务
Hugging Face 官方推理服务框架,支持连续批处理与张量并行,适合 API 化部署。