用nifi把hdfs数据导到hive

Posted 疯吻IT

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了用nifi把hdfs数据导到hive相关的知识,希望对你有一定的参考价值。

全景图:

技术分享?

?

1. ListHDFS & FetchHDFS:

ListHDFS:

技术分享

?

FetchHDFS:

技术分享

?

2. EvaluateJsonPath:

{"status": {"code":500,"message":"FAILED","detail":"DTU ID not exists"}}

技术分享

如果json里有数组,需要先用SplitJson分隔:

技术分享

?

?

3. RouteOnContent:

技术分享

?

4. ReplaceText:

先在hive里创建一个表:

create table tb_test(
register string,
register_url string
);

?
技术分享
insert into yongli.tb_test(register, register_url)values(‘${register}‘,‘${register_url}‘)
?
?

下面介绍一种效率更高的方式:

还是用ReplaceText:

技术分享

?
再用MergeContent:

技术分享

insert into yongli.tb_dtu(dtuid, addr, value, time)values

?

5. PutHiveQL:

创建一个HiveConnectionPool

技术分享

?

设置Database Connection URL, User, Password:

技术分享

以上是关于用nifi把hdfs数据导到hive的主要内容,如果未能解决你的问题,请参考以下文章

HDFS定时导入Hive的分区表

ClickHouase读写HDFS

HDFS和本地文件系统文件互导

使用 NiFi 写入启用 MFA 的 AWS S3 存储桶

大数据NiFi(十八):离线同步MySQL数据到HDFS

mysql导入到hive hdfs上显示又数据了 hive表里面啥都没有