读取parquet文件后和其它表join后回写问题
Posted 坐而论道，起而行之
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了读取parquet文件后和其它表join后回写问题相关的知识，希望对你有一定的参考价值。
背景
需要对埋点数据进行增量清洗，增量更新parquet数据文件，步骤如下：
- 首次清洗历史所有数据
- 后续每次取增量数据和上次清洗结果做合并
问题
1、如何判断为首次任务，实现方案：
- 方案1:判断指定目录下是否存在数据文件
- 方案2:默认按照增量处理，首次不存在数据文件，通过异常捕获机制全量清洗
2、增量后回写文件失败
It is possible the underlying files have been updated. You can explicitly invalidate the cache in Spark by running ‘REFRESH TABLE tableName’ command in SQL or by recreating the Dataset/DataFrame involved
spark file not exists
原因分析：回写文件时才触发action，真正去读上一次生成的数据文件，而此时由于覆盖写原文件被删除掉，导致文件读取失败。
解决方案：回写文件前触发action，把结果缓存后再用于回写文件即可
以上是关于读取parquet文件后和其它表join后回写问题的主要内容，如果未能解决你的问题，请参考以下文章
使用存储在 s3 中的 parquet 文件在 Greenplum 中创建外部表