如何使用spark streaming接收kafka中发送的自定义对象
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了如何使用spark streaming接收kafka中发送的自定义对象相关的知识，希望对你有一定的参考价值。
参考技术A 若将Spark作业以yarn cluster模式提交到Yarn，由Yarn启动Spark作业，在某个子节点的Executor会监听该端口，接收数据。以上是关于如何使用spark streaming接收kafka中发送的自定义对象的主要内容，如果未能解决你的问题，请参考以下文章
java spark-streaming接收TCP/Kafka数据
Spark Streaming性能优化系列-如何获得和持续使用足够的集群计算资源？
使用 Avro 序列化器将 Spark Structured Streaming 数据发送到 Confluent Kafka