主题
如何给已有实验添加评估器(仅 Python)
目前只有 Python SDK 支持对已有实验进行评估。
实验跑完之后,你可能想在不重跑应用的前提下新增评估指标。当你新加了评估器,或想用不同的打分标准重新衡量已有结果时,这一点尤其有用。不必对所有示例重新执行目标函数,可以直接对已有的实验追踪做评估。
要给已有实验添加评估器,就把实验名或 ID 传给 evaluate() / aevaluate(),而不是目标函数。评估器会基于原实验缓存的追踪运行,读取其中记录的输入、输出以及所有中间步骤。
示例
python
from langsmith import evaluate
def always_half(inputs: dict, outputs: dict) -> float:
return 0.5
experiment_name = "my-experiment:abc" # Replace with an actual experiment name or ID
evaluate(experiment_name, evaluators=[always_half])