LangChain 出品的 LLM 可观测、评测与 Prompt 平台
LangSmith 是 LangChain 提供的云端／可自建平台，用于追踪、监控与改进大模型应用。docs.langchain.com 说明可通过环境变量、框架集成（文档集成页列出的 OpenAI、Anthropic、CrewAI、Vercel AI SDK、Pydantic AI 等）或 LangSmith SDK 接入，以便查看多步 run、对比 Prompt 版本、构建数据集、运行离线与在线评测、配置自动化并收集反馈队列。
使用场景
- 沿嵌套 run 排查多工具 Agent 失败点
- 在数据集实验稳定后再发布 Prompt 变更
- 用生产 trace 构造发布前回归评测集
- 让平台团队在预发与生产环境共享同一观测面
主要功能
- 与 LangSmith 可观测概念对齐的 trace／thread 视图
- Prompt Hub 与程序化管理的官方指南
- 数据集与实验工具支撑离线评测与回归
- 监控看板、告警与自动化（见 monitoring 文档）
- 云托管、混合与自建的平台部署选项
相关推荐
相关推荐
3 收录条目
Langfuse
Langfuse 提供面向大模型与 Agent 的可观测性：接入 trace/span、管理 prompt 与数据集，支持云托管或自建，便于排查多步工具调用、对比 prompt 并跟踪线上指标。
Replicate
Replicate 提供面向开发者的托管机器学习推理平台，通过 HTTP API 与官方 Quickstart（Python、Node.js、Colab 等）调用公开或自发布模型。文档涵盖预测生命周期、流式输出、Webhook、速率与计费、模型目录检索，以及推送自定义模型与按指南进行图像等场景微调的路径。
Together AI
Together AI 为开发者提供在托管 GPU 上运行主流开源模型的推理与训练类产品线。入门文档介绍在控制台创建 API Key、导出 `TOGETHER_API_KEY`、安装 Python `together` 或 npm `together-ai`，以及向 `https://api.together.ai/v1/chat/completions` 发起带 Bearer 鉴权的 HTTPS 调用；并可按文档扩展到流式输出、函数调用、结构化输出、模型目录、专用算力预留与微调等专题。