使用 Smithtune 微调模型

使用 Smithtune 在 LangSmith 对话上微调模型，并在 LangSmith 中比较结果。

NOTE

Smithtune 处于 beta 阶段。

Smithtune 是一个命令行工具，用于在 LangSmith 中记录的轨迹上微调模型。它使用 Fireworks 或 Baseten 训练模型，并在 LangSmith 实验中比较基础模型和微调后的模型。你还可以选择将微调后的模型部署为应用的端点。

Smithtune 的工作原理

Create a dataset

从追踪项目中选择轨迹，可使用 trace query 过滤器、模型评审，或两者兼用。

Prepare data

验证这些轨迹，然后将其拆分为训练、验证和测试数据。每条轨迹只保留在一个拆分中。

Train a model

预览运行，然后用你的提供商微调受支持的模型。

Compare results

在测试数据上评估基础模型和微调后的模型，然后在 LangSmith 中比较实验。评估不需要已部署的端点。

Deploy an endpoint (optional)

为你的应用提供微调后的模型服务。要在生产环境中运行使用它的 agent，请参见 LangSmith Deployment。

TIP

要让你的编码智能体端到端地驱动微调流程，请使用 Smithtune skill。

评估分数衡量的是每个模型与已记录行为的接近程度，而不是端到端完成任务的能力。Smithtune 不会执行模型生成的工具调用。

设置 Smithtune

Smithtune 需要追踪项目中的轨迹或 LangSmith 轨迹数据集。你还需要 LangSmith、训练提供商和评审模型的 API key。训练、评估和已部署的端点会产生你所使用服务的费用。

设置 Smithtune：

1. 安装 Smithtune 和 LangSmith CLI，并设置你的 API key。安装命令和各提供商需要的环境变量请遵循 Smithtune README。

2. 阅读数据权利与允许使用条款（从 README 链接而来），并在首次运行前确认接受：

   smithtune acknowledge-data-rights

3. 检查你的本地设置：

   smithtune doctor

各步骤中的命令，请参见 README 或运行 smithtune --help。

另请参阅

• 轨迹评估
• 查询线程
• 管理数据集

---