如何收集SparkSteaming运行日志实时进入kafka中

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何收集SparkSteaming运行日志实时进入kafka中相关的知识,希望对你有一定的参考价值。

参考技术A 采集层 主要可以使用Flume, Kafka两种技术。 Flume:Flume 是管道流方式,提供了很多的默认实现,让用户通过参数部署,及扩展API. Kafka:Kafka是一个可持久化的分布式的消息队列。 Kafka 是一个非常通用的系统。你可以有许多生产者和很多的消费...

以上是关于如何收集SparkSteaming运行日志实时进入kafka中的主要内容,如果未能解决你的问题,请参考以下文章

如何收集项目日志统一发送到kafka中?

Flume 实时收集日志

如何查看docker日志 怎样查看docker日志

如何查看docker日志 怎样查看docker日志

用Kibana+Logstash+Elasticsearch快速搭建实时日志查询 收集与分析系统

实时收集Storm日志到ELK集群