kettle全量抽取---抽取MySQL数据到HDFS

Posted sanerbaby

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kettle全量抽取---抽取MySQL数据到HDFS相关的知识,希望对你有一定的参考价值。

问题描述:抽取到的.parquet文件在HDFS上的/user/hive/warehouse/itcast_ods.db/目录下,.parquet文件和表在同一级目录,且hive分区未正常生成。

解决方案-----由于配置时的粗心,导致hive表的分区未正常建立。在全量抽取作业的全量抽取数据转换部分,配置Parquet output:

如图配置完后,保存并重新执行作业即可。

以上是关于kettle全量抽取---抽取MySQL数据到HDFS的主要内容,如果未能解决你的问题,请参考以下文章

怎么使用kettle进行增量数据的抽取

kettle实现单表增量抽取

kettle实现单表增量抽取

在idea上链接hive 并将mysql上的数据抽取到hive表中

kettle下转移mongo中数据到mysql中

Kettle_Spoon如何将MySQL数据抽取到ES