Presto 查询错误:读取尾部时出错

Posted

技术标签:

【中文标题】Presto 查询错误:读取尾部时出错【英文标题】:Presto query error: Error reading tail from 【发布时间】:2021-11-25 17:44:09 【问题描述】:

我正在尝试使用 Presto 连接查询数据。数据(增量格式)在 S3 存储桶中,并因以下错误而失败:

SQL Error [16777232]: Query failed (#20211005_122441_00037_s2r9w): Error reading tail from s3://*/*/*/table/*/part-00015-bc2cc6d2-706d-4859-ab57-5f87d93d81f5-c000.snappy.parquet with length 16384

当我查看存储桶时,该文件不存在。

【问题讨论】:

【参考方案1】:

看起来您的数据已更改,但元数据(我假设您使用 AWS Glue 作为元存储)没有。

您可以尝试CALL system.sync_partition_metadata('<YOUR_SCHEMA>', '<YOUR _TABLE>', 'full'); 更新。

如果您正在使用分区,请确保您在分区之间具有一致的架构。

【讨论】:

以上是关于Presto 查询错误:读取尾部时出错的主要内容,如果未能解决你的问题,请参考以下文章

Presto 无法读取十六进制字符串:不是有效的 base-16 数字

Presto odbc 无法读取 HIVE 中的时间戳字段

Presto 无法查询配置单元表

填坑!线上Presto查询Hudi表异常排查

为啥从 Presto 中的 dtap:// hive 表读取时总是得到 0 条记录作为输出?

这个 presto 查询有啥问题?