StructuredStreaming总结
Posted tiepihetao
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了StructuredStreaming总结相关的知识，希望对你有一定的参考价值。
1----StructuredStreaming的应用场景
- 统一了流式计算和批处理的AP都是使用 Data frame/ Data Set
- 适用于结构化的数据
- 官方的想法是以后逐渐成为 Spark开发的首选技术
- 注意:目前还是微批次处理,2.3之后支持实时处理类似于Fink,但是还是有很多限制
5.输出模式
- append:默认的只支持简单的 select/where不支持聚合
- complete:仅支持包含聚合
- update:不支持排序
以上是关于StructuredStreaming总结的主要内容，如果未能解决你的问题，请参考以下文章
2，StructuredStreaming的事件时间和窗口操作
Note_Spark_Day12： StructuredStreaming入门
Spark Structured Streaming - 1
Spark（StructuredStreaming）从Mysql读取数据写入Mysql表（自增ID）