API de inferencia de alta velocidad con chat completions compatible con OpenAI
Cerebras documenta Shared y Dedicated Inference en inference-docs.cerebras.ai. Shared Inference (Free Trial y Pay as You Go) lista gpt-oss-120b (~3000 tokens/s, 65k/131k) y qwen-3.8-27b (~1850 tokens/s, 64k/128k). Chat completions vía SDK cerebras.cloud.sdk / cerebras_cloud_sdk, roles system/user/assistant/tool/developer, reasoning_effort y stream. Tool calling documentado en esos modelos. Dedicated Inference cubre más familias, capacidad reservada y SLA. Los modelos Shared son originales sin poda.
Casos de uso
- Chat y agentes de baja latencia
- Migración estilo OpenAI SDK
- Agentes con tools en modelos Shared
- Comparar límites Shared vs SLA Dedicated
- Observabilidad del uso de Cerebras
Funciones principales
- Chat completions con Cerebras Cloud SDK
- gpt-oss-120b y qwen-3.8-27b en Shared Inference
- Streaming con stream=true
- Tool calling con modo estricto y llamadas paralelas
- Dedicated Inference para más modelos y capacidad reservada
Relacionados
Relacionados
3 Entradas indexadas
CoreWeave
CoreWeave documenta en docs.coreweave.com/products/inference productos Serverless, Dedicated (BYOW en GPUs H100/B200/A100) y CKS con endpoints compatibles con OpenAI. La API de inferencia en api.coreweave.com (v1alpha1) gestiona gateways, despliegues y capacity claims vía REST/gRPC/Connect con tokens Bearer (roles Inference Viewer/Admin).
NVIDIA NIM
NVIDIA NIM documenta microservicios en docs.api.nvidia.com/nim: APIs compatibles con OpenAI (/v1/chat/completions, /v1/completions, /v1/responses) y /v1/messages tipo Anthropic, contenedores con TensorRT-LLM, vLLM o SGLang. Autohospedaje en GPU o prototipos vía APIs alojadas del Developer Program. Sondas /v1/health/ready y métricas Prometheus.
Baseten
Baseten documenta en docs.baseten.co una plataforma de entrenamiento e inferencia: despliegues con el framework Truss o Model APIs alojadas sin infra propia. Despliegues solo con `config.yaml` apuntan a checkpoints de Hugging Face, GPUs y motores como TensorRT-LLM; `truss push` construye contenedores optimizados y expone APIs compatibles con OpenAI. Arquitecturas personalizadas usan la clase `Model` con `load` y `predict`. Model APIs permiten inferencia inmediata con `BASETEN_API_KEY`.