面向 AI 推理的无服务器 GPU 端点与 Pods API
RunPod 在 docs.runpod.io 提供无服务器 GPU 平台：用 Runpod SDK 编写 handler、Docker 部署，经 api.runpod.ai/v2/{ENDPOINT_ID}/runsync 调用，Bearer RUNPOD_API_KEY 鉴权；含 Pods 持久 GPU 与 REST API。
使用场景
- 无空闲成本的推理扩缩
- 本地原型后 Docker 部署
- Pods 长训 + Serverless 突发
- REST 自动化
- LLM 流式输出
主要功能
- /runsync、/run、/status、/stream
- Runpod SDK handler
- 负载均衡端点
- Pods 与网络卷
- REST OpenAPI
相关推荐
相关推荐
3 收录条目
Modal
Modal 在 modal.com 文档化无服务器云：工程师用 Python 运行算力密集型任务而无需配置基础设施，可部署 OpenAI 兼容 LLM 服务、批处理工作流、任务队列、GPU 训练/微调，以及大规模隔离 Sandbox 执行 Agent 生成代码。官方指南通过 @app.function、modal.Image 与代码内 GPU 类型定义环境。按秒计费 serverless，并在多家云之间池化容量；除 Python 外还可经 JavaScript/Go 客户端调用。
Baseten
Baseten 在 docs.baseten.co 文档化训练与推理平台：团队可通过开源 Truss 框架部署模型，或不经自建基础设施直接调用托管 Model APIs。仅 config.yaml 的 Truss 部署指向 Hugging Face 检查点、GPU 与 TensorRT-LLM 等引擎；truss push 构建优化容器并暴露 OpenAI 兼容端点。自定义架构在 model.py 中用 Model 类的 load/predict 实现。Model APIs 以 BASETEN_API_KEY 即时调用目录模型。
Fireworks AI
Fireworks AI 提供 REST API 调用语言/图像/embedding 模型；支持 serverless 目录模型与专属 GPU 部署 custom base model 及 LoRA；默认不记录 prompt/输出（见文档例外）。