主题
导入导出的数据
将 LangSmith 批量导出的 Parquet 数据导入 BigQuery、Snowflake、Redshift、Clickhouse 或 DuckDB。
从 S3 和 Parquet 格式导入数据是大多数分析系统普遍支持的能力。各系统的文档链接见下文:
BigQuery
要将数据导入 BigQuery,请参阅 Loading Data from Parquet 以及 Hive Partitioned loads。
Snowflake
你可以按照 Load from Cloud Document 从 S3 将数据加载到 Snowflake。
RedShift
你可以按照 AWS COPY command documentation 将 S3 或 Parquet 中的数据 COPY 到 Amazon Redshift。
Clickhouse
你可以直接在 Clickhouse 中查询 S3 / Parquet 格式的数据。例如,如果使用 GCS,可以按如下方式查询数据:
sql
SELECT count(distinct id) FROM s3('https://storage.googleapis.com/<bucket>/<prefix>/export_id=<export_id>/**',
'access_key_id', 'access_secret', 'Parquet')更多信息请参阅 Clickhouse S3 Integration Documentation。
DuckDB
你可以使用 DuckDB 通过 SQL 在内存中查询来自 S3 的数据。请参阅 S3 import Documentation。