主题
跟踪并限制评估器花费
通过一个组织范围的默认值或按评估器的覆盖来限制评估器的每周 LLM 花费，以保持评估器成本可预测。
按评估器限制每周 LLM 花费，以防止单个评估器超出你的预算。LangSmith 跟踪评估器的周内累计花费，于周一 UTC 12AM 重置。它允许组织管理员为每个评估器的附加项目和数据集设置每周上限。该上限可以是一个组织范围的单一默认值，或对某个特定附加项目/数据集的自定义覆盖。
本指南展示如何查看和配置每周评估器花费上限。
TIP
LangSmith 还提供按追踪和按模型的成本跟踪以及追踪用量限制用于成本控制。
WARNING
设置花费限制对 OpenAI、Anthropic 和 Gemini 模型可用。花费限制仅对针对具有在 LangSmith 中配置了定价的受支持模型上的运行强制执行。在依赖某个限制之前，请核实模型定价。一旦设置了限制，不受支持的模型就不能用于评估器。
NOTE
UI 将周内时间窗口标记为 this week。
强制执行如何工作
LangSmith 在每次评估器运行完成后记录花费，然后求和从周一 UTC 12AM 到当前时刻的花费。当总额达到有效限制时，LangSmith 会暂停该附加项目/数据集上的评估器。进行中的运行可能在最终完成前把总额略微推高到上限之上，因此花费可能短暂地小幅超出。
该 agent 和该追踪不受影响。只有评估器会停止产生分数，直到花费限制重置或该限制被手动提高。
花费视图和控件
| 视图 | 在哪里找到 | 谁可以查看或更改 |
|---|---|---|
| 评估器页面仪表板 | 左侧边栏中的 Evaluators | 所有工作区成员 |
| 评估器表格（Spend、Spend Status） | 左侧边栏中的 Evaluators | 所有工作区成员 |
| Projects & Datasets 标签 | 打开一个评估器，Projects & Datasets | 所有工作区成员 |
| 组织默认花费限制 | 组织 Settings > Usage Configuration | 需要 organization:manage 才能查看和编辑 |
| 按评估器覆盖 | 编辑评估器 > Advanced > Spend limit | 所有成员可查看，需要 organization:manage 才能编辑 |
Set your first limit
打开组织 Settings 并定义一个单一每周上限，它适用于该组织中所有工作区里对每个项目和数据集的所有评估器附件。
Override for one project or dataset
为附加到某个评估器的特定项目或数据集自定义该限制。
查看评估器花费
你可以在以下 UI 位置找到花费：
评估器页面仪表板
从左侧边栏导航到 Evaluators 页面。页面顶部显示一个跨越工作区的每周视图：
- Daily evaluator spend：每日花费的堆叠柱状图。在 Evaluator 和 Project / Dataset 细分之间切换。
- Evaluator spend this week：所有评估器的 USD 总花费，附带与上周相比的变化。
- Evaluator traces this week：所有评估器的总追踪计数，附带与上周相比的变化。
- Weekly evaluator spend limit monitoring：花费最高者的排序列表，每个项目或数据集都有一个针对其
$ spent / $ limit的进度条。标题会显示已达到其限制（Limit hit）或有望达到限制的项目或数据集数量。
使用页面标题中的 Prev week 和 Next week 控件来移动每周视图。
追踪项目或数据集视图有一个 Evaluators 标签，它在限定到该项目或数据集的情况下复现了这些小部件，例如 Daily evaluator spend on this tracing project。
评估器表格
同一页面上的评估器表格包括：
- Spend (this week)：自周一 UTC 12AM 起，该评估器在所有附加项目和数据集上的 LLM 总成本。不调用 LLM 的评估器（例如代码评估器）、已禁用的评估器，以及没有附加项目/数据集的评估器不显示值。
- Spend Status：以下之一：
- Under limits：至少一个附加项目或数据集有一个限制，且没有一个达到上限。
- N limit hit：该评估器在其所附加的一个或多个项目或数据集中已达到其限制。数字反映有多少个被暂停。
- Unlimited：未设置任何限制。
- 对于不调用 LLM 的评估器（例如代码评估器）和没有附加项目/数据集的评估器，不显示值。
评估器上的 Projects & Datasets 标签
打开一个评估器并选择 Projects & Datasets 标签，以查看按项目/数据集的花费和限制：
- Spend (this week)：自周一 UTC 12AM 起，该评估器在该项目或数据集上的 LLM 总成本。
- Percent of Spend Limit：显示自周一 UTC 12AM 起相对于限制的进度条。
- Weekly Limit：该项目或数据集的有效每周限制，或是组织默认值，或是一个自定义覆盖。
有关附件管理，参阅管理评估器。
设置组织默认花费限制
组织管理员设置一个单一每周上限，它适用于组织中每个工作区里每个评估器的附加项目和数据集。每个组织只有一个默认值，而非每个工作区一个。
NOTE
设置和编辑组织默认值需要 organization:manage 权限。
- 打开组织 Settings 并导航到 Usage Configuration。
- 对于 Evaluator spend limit，输入一个 USD 金额。单位为
/ week。留空表示无限制。 - 点击 Save。
如果未设置组织默认值，则附加项目和数据集是不限的，除非配置了一个自定义覆盖。清除默认值会移除目前继承它的所有附加项目/数据集的上限。
更改默认值只会更新继承它的附加项目和数据集。自定义覆盖会被保留。
为附加项目或数据集覆盖默认值
组织管理员可以为附加到某个评估器的特定项目或数据集覆盖默认值。
- 导航到左侧边栏中的 Evaluators 并打开该评估器。
- 点击右上角的 Edit evaluator 图标。
- 在 Source 下，选择特定的项目或数据集。
- 越过 Filters 和 Sampling Rate，然后展开 Advanced。
- 在 Spend limit 字段中，设置一个自定义 USD 金额。单位为
/ week。 - Save 评估器配置。
字段下方的提示文本会显示当前值是组织默认值还是一个自定义限制。要将一个覆盖恢复为组织默认值，请点击 Reset to organization default。
没有 organization:manage 的成员能看到该限制，但无法更改它。只读视图显示以下之一：
Unlimited / week (organization default)$<amount> / week (organization default)$<amount> / week (custom limit)
达到限制时
当某个附加项目或数据集的每周花费达到其有效限制时：
- LangSmith 停止在该项目或数据集的新运行上运行该评估器。
- 评估器表格的 Spend Status 列显示 N limit hit，而 Weekly evaluator spend limit monitoring 小部件会显示受影响的项目或数据集。
- 被跳过的运行不会被回填。一旦花费限制重置或该限制被手动提高，评估会在新的运行上自动恢复。
配置模型定价
当设置了花费限制时，评估器只能在受支持的模型（OpenAI、Anthropic 和 Gemini）上运行，且这些模型需要已配置定价。未配置定价的模型不能用于评估器。
在你的评估器所使用的模型定价下为其配置定价。
故障排查
创建评估器遇到困难：当设置了限制时，评估器必须使用一个受支持的模型（OpenAI、Anthropic 或 Gemini），并在模型定价中有一个定价条目。
LangSmith 花费与我的 LLM 提供商发票不符：LangSmith 根据模型定价中配置的每模型费率来计算花费，而非根据你提供商的账单。如果你的提供商应用了折扣、自定义合同或你尚未添加到 LangSmith 的模型变体，出现差异是预期的。