百余家 LLM 的统一 OpenAI 形态 API，可选自建网关
LiteLLM 是 docs.litellm.ai 上的开源 Python 库与可选代理栈：通过单一 completion 接口调用多家提供商，响应保持 OpenAI 风格；文档介绍 Router 重试/回退/负载均衡、观测回调，以及带虚拟密钥与费用追踪的 LiteLLM Proxy，并含 MCP Gateway 说明。
使用场景
- 切换模型供应商而不改客户端
- 内部 LLM 网关分团队预算
- 主部署故障自动回退
- 对接 Langfuse 等观测
- 经 Proxy 暴露 MCP
主要功能
- 统一 completion 等 API
- Router 重试与回退
- Proxy OpenAI 兼容端点
- 虚拟密钥与护栏
- MCP Gateway（HTTP/SSE/stdio）
相关推荐
相关推荐
3 收录条目
OpenRouter
OpenRouter 提供与 OpenAI 风格兼容的统一 API，让团队可以在一个接入层上调用多家模型、对比成本与效果，并按场景调整路由策略，减少多供应商 SDK 维护成本。
Langfuse
Langfuse 提供面向大模型与 Agent 的可观测性：接入 trace/span、管理 prompt 与数据集，支持云托管或自建，便于排查多步工具调用、对比 prompt 并跟踪线上指标。
LangSmith
LangSmith 是 LangChain 提供的云端／可自建平台，用于追踪、监控与改进大模型应用。docs.langchain.com 说明可通过环境变量、框架集成（文档集成页列出的 OpenAI、Anthropic、CrewAI、Vercel AI SDK、Pydantic AI 等）或 LangSmith SDK 接入，以便查看多步 run、对比 Prompt 版本、构建数据集、运行离线与在线评测、配置自动化并收集反馈队列。