flume kafka hive
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了flume kafka hive相关的知识，希望对你有一定的参考价值。
参考技术A 遇到问题：找不到RecordWriter类java.lang.NoClassDefFoundError: org/apache/hive/hcatalog/streaming/RecordWriter
解决：将 hive-hcatalog-streaming-3.1.2.jar 拷贝到hive的lib目录
cp /opt/module/hive/hcatalog/share/hcatalog/hive-hcatalog-streaming-3.1.2.jar /opt/module/hive/lib/
先开启hive表的事务
创建hive表，注意：表字段需要与kafka发送的JSON字段对应上
以上是关于flume kafka hive的主要内容，如果未能解决你的问题，请参考以下文章
[Flume][Kafka]Flume 与 Kakfa结合例子（Kakfa 作为flume 的sink 输出到 Kafka topic）