有没有办法将 csv 数据加载到雪花表中并报告每条记录是不是已成功加载? (使用 Python)

Posted

技术标签:

【中文标题】有没有办法将 csv 数据加载到雪花表中并报告每条记录是不是已成功加载? (使用 Python)【英文标题】:Is there any way to load csv data into a snowflake table and report if each record has been loaded successfully? (using Python)有没有办法将 csv 数据加载到雪花表中并报告每条记录是否已成功加载? (使用 Python) 【发布时间】:2021-05-27 09:08:10 【问题描述】:

我正在尝试使用 copy into 命令将数据(csv 文件)加载到 snowsql 表中。 我还想显示/报告一条消息以了解是否所有记录都已成功加载,如果没有加载成功,则无法加载哪个记录

【问题讨论】:

【参考方案1】:

Snowflake 表函数 VALIDATE,可能会有所帮助:

验证在过去执行 COPY INTO 命令时加载的文件,并返回加载期间遇到的所有错误,而不仅仅是第一个错误。

返回上次执行的 COPY 命令的错误:

select * from table(validate(t1, job_id => '_last'));

详情:https://docs.snowflake.com/en/sql-reference/functions/validate.html#validate

【讨论】:

以上是关于有没有办法将 csv 数据加载到雪花表中并报告每条记录是不是已成功加载? (使用 Python)的主要内容,如果未能解决你的问题,请参考以下文章

数据加载到雪花表中 - 几何数据

将 CSV 数据加载到雪花表

插入时的雪花微分区

尝试将 csv 文件加载到雪花数据库时出现“在预期解析列时到达记录结尾”错误

将多个 CSV 文件加载到 MYSQL 中的单个表中 [重复]

如何在不先定义表中的列的情况下将数据加载到 PostgreSQL 中?