有没有办法将 csv 数据加载到雪花表中并报告每条记录是不是已成功加载? (使用 Python)
Posted
技术标签:
【中文标题】有没有办法将 csv 数据加载到雪花表中并报告每条记录是不是已成功加载? (使用 Python)【英文标题】:Is there any way to load csv data into a snowflake table and report if each record has been loaded successfully? (using Python)有没有办法将 csv 数据加载到雪花表中并报告每条记录是否已成功加载? (使用 Python) 【发布时间】:2021-05-27 09:08:10 【问题描述】:我正在尝试使用 copy into 命令将数据(csv 文件)加载到 snowsql 表中。 我还想显示/报告一条消息以了解是否所有记录都已成功加载,如果没有加载成功,则无法加载哪个记录。
【问题讨论】:
【参考方案1】:Snowflake 表函数 VALIDATE,可能会有所帮助:
验证在过去执行 COPY INTO 命令时加载的文件,并返回加载期间遇到的所有错误,而不仅仅是第一个错误。
返回上次执行的 COPY 命令的错误:
select * from table(validate(t1, job_id => '_last'));
详情:https://docs.snowflake.com/en/sql-reference/functions/validate.html#validate
【讨论】:
以上是关于有没有办法将 csv 数据加载到雪花表中并报告每条记录是不是已成功加载? (使用 Python)的主要内容,如果未能解决你的问题,请参考以下文章
尝试将 csv 文件加载到雪花数据库时出现“在预期解析列时到达记录结尾”错误