主题
实验配置
LangSmith 为实验提供了多种配置选项:
重复
重复次数 会将实验运行多次,以应对 LLM 输出的波动。由于 LLM 输出具有非确定性,多次重复可以提供更准确的性能估计。
通过向 evaluate / aevaluate 传入 num_repetitions 参数来配置重复次数(Python、TypeScript)。每次重复都会重新运行目标函数和所有评估器。
更多信息请参阅重复次数操作指南。
并发
并发 控制实验期间同时运行多少个示例。通过向 evaluate / aevaluate 传入 max_concurrency 参数来配置。两个函数的语义有所不同:
evaluate
max_concurrency 参数指定同时运行目标函数和评估器的最大并发线程数。
aevaluate
max_concurrency 参数使用信号量来限制并发任务数。aevaluate 会为每个示例创建一个任务,每个任务运行该示例的目标函数和所有评估器。max_concurrency 参数指定要同时处理的最大示例数。
缓存
缓存 会将 API 调用结果存储到磁盘,以加速后续实验。将 LANGSMITH_TEST_CACHE 环境变量设置为具有写权限的有效文件夹路径。之后进行相同 API 调用的实验将复用缓存结果,而不再发起新请求。