Spark Streaming 第一个程序 WordCount

Posted 2022-11-26 @SmartSi

传送门：Spark 系统性学习笔记

---

Spark 版本：3.1.3

1. 概述

Spark Streaming 是 Spark Core API 的一个扩展，它对实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。数据可以从诸如 Kafka，Flume，Kinesis 或 TCP 套接字等许多源中提取，并且可以使用由诸如 map，reduce，join 或者 window 等高级函数组成的复杂算法来处理。最后，处理后的数据可以推送到文件系统、数据库、实时仪表盘中。事实上，你可以将处理后的数据应用到 Spark 的机器学习算法、 图处理算法中去。

内部工作原理如下图所示。Spark Streaming 接收实时输入数据流，并将数据分成多个批次，然后由 Spark 引擎处理，批量生成最终结果数据流。

Spark Strea