EN

🚀 模型部署与服务

本地推理、服务化部署、MLOps 与工程化 · 共 14 个资源（已核验 14）

🌱 AI 基础📐 机器学习🔬 深度学习🧠 大语言模型💬 提示词与应用💻 AI 编程🤖 AI Agent 开发🔌 MCP 协议📚 RAG 检索增强生成🚀 模型部署与服务🏗️ 实战项目🎨 多模态与 AIGC🛠️ 开源项目与工具📰 社区与资讯🧰 工具与 API 平台
开源项目 入门 ★ 精选

Ollama 本地大模型工具

Ollama · 模型部署与服务

一条命令在本地运行开源大模型，支持 Windows / macOS / Linux，是本地部署入门首选。

免费 英文 查看详情 →
开源项目 高级

vLLM 官方文档

vLLM 社区 · 模型部署与服务

高性能 LLM 推理与服务引擎，PagedAttention 显著提升吞吐，支持主流开源模型。

免费 英文 查看详情 →
开源项目 入门

Open WebUI

Open WebUI · 模型部署与服务

自托管的 AI 聊天界面，支持 Ollama 与 OpenAI 兼容 API，可离线部署到内网。

免费 英文 查看详情 →
开源项目 高级

llama.cpp 推理引擎

ggerganov · 模型部署与服务

纯 C/C++ 实现的推理引擎，CPU 上也能运行大模型，是本地部署的事实标准之一。

免费 英文 查看详情 →
官方文档 入门

Gradio 官方文档

Gradio · 模型部署与服务

Python 机器学习演示界面库，几行代码把模型包装成可分享的网页应用。

免费 英文 查看详情 →
官方文档 入门

Streamlit 官方文档

Streamlit · 模型部署与服务

纯 Python 构建交互式网页应用的框架，AI 应用原型与内部工具的热门选择。

免费 英文 查看详情 →
开源项目 进阶

MLflow 官方文档

MLflow · 模型部署与服务

开源 MLOps 平台，覆盖实验追踪、模型注册与部署管理的全生命周期。

免费 英文 查看详情 →
免费教程 进阶

Made With ML 课程

Goku Mohandas · 模型部署与服务

面向生产的机器学习课程，覆盖特征、训练、部署与监控的完整工程闭环。

免费 英文 查看详情 →
官方课程 进阶

Full Stack Deep Learning

Full Stack Deep Learning · 模型部署与服务

高校联合发起的全栈深度学习课程，覆盖从数据到部署的工程全链路。

免费 英文 查看详情 →
官方文档 进阶

Weights & Biases 文档

W&B · 模型部署与服务

流行的实验追踪平台文档，记录指标、对比实验与管理数据集，个人免费额度充足。

部分免费 英文 查看详情 →