Parquet 文件加载到 Snowflake 时跳过标题

Posted

技术标签:

【中文标题】Parquet 文件加载到 Snowflake 时跳过标题【英文标题】:Skipping header while Parquet file loading into Snowflake 【发布时间】:2021-08-26 07:11:15 【问题描述】:

在将 parquet 文件加载到 Snowflake 时需要跳过标题,有人可以帮忙吗?

谢谢!

【问题讨论】:

别以为你可以,你只能对结构化数据这样做。 【参考方案1】:

对于 Parquet,文件格式选项为:

 COMPRESSION = AUTO | SNAPPY | NONE
     BINARY_AS_TEXT = TRUE | FALSE
     TRIM_SPACE = TRUE | FALSE
     NULL_IF = ( '<string>' [ , '<string>' ... ] )

更多详情:https://docs.snowflake.com/en/sql-reference/sql/copy-into-table.html#type-parquet

另外,您可以在以下链接查看加载 Parquet 教程:

https://docs.snowflake.com/en/user-guide/script-data-load-transform-parquet.html#script-loading-and-unloading-parquet-data

【讨论】:

以上是关于Parquet 文件加载到 Snowflake 时跳过标题的主要内容,如果未能解决你的问题,请参考以下文章

使用复制命令和清单文件将 parquet 格式文件加载到 Amazon Redshift 时出错

加载到 Hive 分区 Parquet 表时内存不足

将 CSV 文件从 S3 加载到 Snowflake 时出现 SQL 编译错误

如何将 CSV 文件批量加载到 Snowflake 中,并将文件名添加为列?

加载 Parquet 文件时无法推断架构

我们可以直接将 Parquet 文件加载到 Hive 中吗?