主题
监控 LLM Gateway 支出
按用户、API 密钥和模型查看并分析 LLM Gateway 成本。
NOTE
LLM Gateway 处于 beta 阶段。
LLM Gateway 的 Spend Monitoring 仪表板显示工作区通过网关累计的 LLM 成本。你可以用它比较不同时期的支出,并识别造成这些支出的用户、API 密钥和模型。该仪表板一次涵盖一个工作区;切换工作区即可比较。
查看该仪表板需要组织管理员角色以及 Plus 或 Enterprise 套餐。缺少任一条件时,Usage 选项卡不会显示。
WARNING
该仪表板目前在欧洲 (EU)、亚太 (APAC) 或 AWS 环境中不可用。
打开仪表板
要查看网关支出:
- 在 LangSmith UI 中,选择左侧导航中的 LLM Gateway。
- 选择 Usage。
- 选择要分析的工作区。
所选工作区通过 LLM Gateway 发送流量后,仪表板才会显示数据。如果该工作区没有网关流量,仪表板会显示空状态。
设置时间范围和粒度
使用时间控件定义页面中每个摘要、图表和表格所涵盖的时段:
- Time range:选择从一天到一年的预设范围,或选择自定义日期。日期和时间桶使用 UTC。
- Granularity:将支出按小时、每天或每周分组。可用选项取决于所选时间范围的长度。
- Previous or next period:向后或向前移动一个相同长度的时段,以比较相邻的时间范围。
细分和筛选支出
选择 Breakdown by,按以下维度之一对支出进行分组:
- User:将支出归属于调用网关的个人访问令牌所关联的用户。使用工作区或组织范围的服务密钥发出的请求会显示为 Unaffiliated with any user。
- API key:将支出归属于调用网关的 LangSmith API 密钥。
- Model:将支出归属于请求所用的模型。
选择维度后,使用相邻的筛选器聚焦特定用户、API 密钥或模型。你最多可以选择六个实体。要移除筛选器,请选择列表底部的 All 选项。
解读支出摘要
摘要卡片描述所选工作区、时间范围、维度和筛选条件下的支出:
- Total Spend:所选时间范围内的网关支出总和。
- Hourly, Daily, or Weekly Avg:总支出除以所选范围内的时间桶数量。
- Hourly, Daily, or Weekly Avg / dimension:每个时间桶内每个所选用户、API 密钥或模型的平均支出。未应用实体筛选器时,此指标使用支出最高的 10 个实体。
分析图表和表格
堆叠柱状图显示每个实体在每个时间桶中对支出的贡献。将鼠标悬停在柱上,可查看该时间桶的总计以及每个可见实体的贡献。未应用筛选器时,图表会将支出最高的六个实体显示为独立系列,并将其余实体合并到 Other 中。
表格以每个可见实体一行的形式汇总相同的选择。你可以用它比较:
- Hourly, Daily, or Weekly Avg:实体的总支出除以时间桶数量。
- Spend Share:归属于该实体的支出百分比。
- Total Spend:该实体在所选时间范围内的总支出。
选择列标题可对表格排序。
深入查看用户或 API 密钥
选择用户或 API 密钥行以打开详细视图:
- 从用户视图,查看按 API 密钥分组的支出。
- 从 API 密钥视图,查看按用户分组的支出。
详细视图有自己的实体筛选器、时间范围和粒度控件。在此视图中的更改不会更改主仪表板上的控件。