主题
连接到兼容 TypeSafe 的模型提供商
将 LangSmith 决策模型评估器指向任何实现 TypeSafe System One API 的服务器,例如 OpenRouter 或自托管模型。
兼容 TypeSafe 的端点是一种保存的模型配置。它会将决策模型评估器的请求发送到任何实现 TypeSafe System One API 的服务器。借助兼容 TypeSafe 的端点,你可以通过其他提供商(例如 OpenRouter)调用 TypeSafe 模型,也可以调用你自己托管的决策模型。对于实现 OpenAI API 的模型,请参阅连接到兼容 OpenAI 的模型提供商/代理。
兼容 TypeSafe 的端点可用于决策模型评估器。要直接从 TypeSafe 使用 Jev,或通过 LLM Gateway 使用 SemIf,则不需要兼容端点。
配置
兼容 TypeSafe 的端点有三项设置:
- Model:服务器期望的模型 ID。默认为
jev-latest。 - API Key Name:存储服务器 API key 的工作区密钥名称。默认为
TYPESAFE_API_KEY。 - Base URL:服务器 System One API 的根地址。请参阅 Base URL 格式。
在评估器中使用端点
只有先将兼容 TypeSafe 的端点保存为模型配置,评估器才能使用该端点。
要在评估器中使用兼容 TypeSafe 的端点:
- 将服务器的 API key 添加为工作区密钥。转到 Settings > Integrations > Provider secrets,点击 + Secret,选择 Custom 以输入你自己的密钥名称。要使用默认名称,请改为选择 TypeSafe。
- 在评估器中,展开 Prompt & Model,打开 Model Configuration。
- 在 Provider 下选择 TypeSafe Compatible Endpoint。它位于 Other 下。
- 输入 Model、API Key Name 和 Base URL。
- 点击 Save as preset 并为配置命名。
- 选择保存的配置作为评估器的模型。
评估器运行时,会使用你在 API Key Name 中输入的密钥所存储的 API key 调用端点。接下来,按如何定义决策模型评估器中的说明添加问题并保存评估器。
Base URL 格式
Base URL 应指向服务器 System One API 的根地址。LangSmith 会自动追加 /v1/systemone。请勿将其包含在 Base URL 中。
示例 Base URL
| 提供商 | 模型 | 示例 Base URL |
|---|---|---|
| TypeSafe | jev-latest | https://api.typesafe.ai |
| OpenRouter | ~typesafe/jev-latest | https://openrouter.ai/api |
| 自托管(远程) | 你的模型 ID | https://my-model-server.example.com |
另请参阅
- 如何定义决策模型评估器:设置使用决策模型的评估器。
- LLM Gateway 中的决策模型:通过 LLM Gateway 直接调用 SemIf 和 Jev。
- 模型配置:管理工作区中保存的模型配置。