OpenAI 兼容 AI Gateway:请求日志、可观测性与统一计费
Helicone 通过 ai-gateway.helicone.ai 提供 OpenAI 兼容网关,可调用 100+ 模型并将请求记录到控制台;支持 0% 加价额度、上游故障回退及自带厂商密钥(BYOK)。
使用场景
- 多模型原型无需逐一签约
- 集中对话功能的轨迹与费用
- 经单一网关路由生产流量
- 用历史请求对比模型表现
- 沿用 OpenAI SDK 并自动采集遥测
主要功能
- OpenAI 兼容 AI Gateway
- Requests 请求日志面板
- 百余家模型统一计费
- 文档化的自动回退
- BYOK 自带密钥路径
相关推荐
相关推荐
3 收录条目
LiteLLM
LiteLLM 是 docs.litellm.ai 上的开源 Python 库与可选代理栈:通过单一 completion 接口调用多家提供商,响应保持 OpenAI 风格;文档介绍 Router 重试/回退/负载均衡、观测回调,以及带虚拟密钥与费用追踪的 LiteLLM Proxy,并含 MCP Gateway 说明。
OpenRouter
OpenRouter 提供与 OpenAI 风格兼容的统一 API,让团队可以在一个接入层上调用多家模型、对比成本与效果,并按场景调整路由策略,减少多供应商 SDK 维护成本。
Groq Cloud API
GroqCloud 通过 Groq 的 HTTP API 提供托管的语言与语音等推理能力;文档说明可将 OpenAI 兼容客户端指向 Groq 的 `base_url` 并使用 Groq API 密钥,亦提供 Groq 官方 Python/JavaScript SDK。定价页面以美元公示按 token 计费档位,便于预估推理成本。