spark读取kafka文件写入hive

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark读取kafka文件写入hive相关的知识,希望对你有一定的参考价值。

参考技术A

/opt/module/hadoop-2.7.2/sbin/start-dfs.sh
/opt/module/hadoop-2.7.2/sbin/start-yarn.sh

zk.sh start

kf.sh start

bin/kafka-console-producer.sh --broker-list s201:9092 --topic student

xiekain 24 ningdu

插入成功

以上是关于spark读取kafka文件写入hive的主要内容,如果未能解决你的问题,请参考以下文章

如何在写入hive orc表时合并spark中的小文件

Apache Spark 结构化流 (DataStreamWriter) 写入 Hive 表

spark利用sparkSQL将数据写入hive两种通用方式实现及比较

spark利用sparkSQL将数据写入hive两种通用方式实现及比较

flink写入hdfs

使用 pyspark 将数据从 kafka 写入 hive - 卡住