开源项目
进阶
《AI Engineer Roadmap》仓库
dswh
资源简介
从大模型 API 基础到 LLMOps 的三阶段学习路线仓库，附大量项目创意清单。
https://github.com/dswh/ai-engineer-roadmap
同类资源
查看模型部署与服务全部 →
开源项目
入门
★ 精选
Ollama 本地大模型工具
Ollama · 模型部署与服务
一条命令在本地运行开源大模型，支持 Windows / macOS / Linux，是本地部署入门首选。
开源项目
高级
vLLM 官方文档
vLLM 社区 · 模型部署与服务
高性能 LLM 推理与服务引擎，PagedAttention 显著提升吞吐，支持主流开源模型。
开源项目
入门
Open WebUI
Open WebUI · 模型部署与服务
自托管的 AI 聊天界面，支持 Ollama 与 OpenAI 兼容 API，可离线部署到内网。
工具平台
入门
LM Studio 本地模型工具
LM Studio · 模型部署与服务
图形化的本地大模型运行工具，支持一键下载模型与本地对话，对新手友好。
开源项目
高级
llama.cpp 推理引擎
ggerganov · 模型部署与服务
纯 C/C++ 实现的推理引擎，CPU 上也能运行大模型，是本地部署的事实标准之一。
开源项目
高级
Hugging Face Text Generation Inference
Hugging Face · 模型部署与服务
Hugging Face 官方推理服务框架，支持连续批处理与张量并行，适合 API 化部署。