API unificada formato OpenAI para 100+ proveedores LLM y gateway opcional autogestionado

LiteLLM es una biblioteca Python open source y stack proxy documentado en docs.litellm.ai que expone una interfaz `completion()` única para proveedores como OpenAI, Anthropic, Vertex AI, Bedrock y Ollama con formas de petición/respuesta compatibles con OpenAI. El proyecto documenta un Router con reintentos, fallback y balanceo, callbacks de observabilidad (Langfuse, MLflow, Helicone y otros en las guías) y un LiteLLM Proxy autogestionado con claves virtuales, seguimiento de gasto, guardrails y UI admin. La documentación reciente también describe un MCP Gateway que centraliza herramientas MCP con permisos por clave, equipo y organización.

Categoría Herramientas para desarrolladores

Precio Open-source library + self-hosted proxy; enterprise features documented separately

Plataformas Python / API / Docker / CLI

llm-gatewayopenai-compatiblerouting

Casos de uso

Cambiar proveedor sin reescribir clientes
Gateway interno con presupuestos por equipo
Fallbacks automáticos ante rate limits
Callbacks a Langfuse/MLflow
Exponer MCP servers vía proxy LiteLLM

Funciones principales

APIs agnósticas al proveedor con objetos `ModelResponse` según docs
Router con reintentos, fallback y balanceo
Quickstarts del proxy (CLI y Docker) con URL compatible OpenAI
Claves virtuales, cost tracking y guardrails en docs del proxy
MCP Gateway con HTTP streamable, SSE y stdio

Relacionados

3 Entradas indexadas

OpenRouter

Herramientas para desarrolladoresFree tier + Pay-as-you-go

OpenRouter es una pasarela de modelos que expone muchos modelos de IA de terceros mediante una API compatible con OpenAI. Los equipos pueden comparar proveedores, definir reglas de enrutamiento y cambiar de modelo sin reescribir la lógica cliente para cada SDK. El servicio publica precios por modelo y admite uso de pago por consumo.

Langfuse

Herramientas para desarrolladoresOpen source + hosted plans

Langfuse es un producto open source de observabilidad para aplicaciones con LLM: ingiere trazas y spans desde tu stack, admite datasets y flujos de prompts/versiones, y ofrece Langfuse Cloud opcional o despliegue self-hosted. Se integra con SDKs Python/JS y frameworks que emiten telemetría compatible con OpenTelemetry, para depurar bucles de agentes, comparar iteraciones de prompts y vigilar métricas de calidad en producción sin construir analítica a medida desde cero.

LangSmith

Herramientas para desarrolladoresFree developer tier plus paid Team/Enterprise plans (see LangSmith pricing docs)

LangSmith es la plataforma de LangChain (cloud o self-hosted) para trazar, monitorizar y mejorar aplicaciones LLM. La documentación en docs.langchain.com describe instrumentación mediante variables de entorno, integraciones de frameworks (OpenAI, Anthropic, CrewAI, Vercel AI SDK, Pydantic AI y otras listadas) o el SDK, de modo que equipos inspeccionen runs multipaso, comparen versiones de prompts, construyan datasets, ejecuten evaluaciones offline/online, automaticen flujos y recojan feedback sin analítica ad hoc para bucles de agentes.

LiteLLM